Мельников Д.С.
АНАЛИЗ И УСТАНОВКА ПЛАТФОРМЫ ДЛЯ РАСПРЕДЕЛЁННОЙ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ «APACHE HADOOP» *
Аннотация:
в статье проанализированы возможности платформы для распределённой обработки больших данных «Apache Hadoop», а также проведана её установка и настройка
Ключевые слова:
большие данные, обработка и хранение данных
УДК 004.6
Мельников Д.С.
студент, высшая школа информационных
технологий и автоматизированных систем
Северный (Арктический) Федеральный Университет имени М.В. Ломоносова
(г. Архангельск, России)
АНАЛИЗ И УСТАНОВКА ПЛАТФОРМЫ
ДЛЯ РАСПРЕДЕЛЁННОЙ ОБРАБОТКИ
БОЛЬШИХ ДАННЫХ «APACHE HADOOP»
Аннотация: в статье проанализированы возможности платформы для распределённой обработки больших данных «Apache Hadoop», а также проведана её установка и настройка.
Ключевые слова: большие данные, обработка и хранение данных.
Работа в сфере аналитики данных часто связана с обработкой большого объёма информации. Такими сферами, например является следующий список:
1) Банковская – для обработки данных о клиентах и автоматического подборка лучших для клиентов предложениях
2) Здравоохранение – для обработки данных о пациентах, вывода статистки, составления прогнозов эпидемий и пандемий.
3) Розничная торговля – для отслеживания роста и падения цен.
4) Обучение нейронных сетей.
5) И так далее
На обработку огромного количества ежеминутно поступающей информации одному устройству понадобится большой промежуток времени. Именно для этих целей в 2005 году был разработан «Apache Hadoop» (далее Hadoop). Hadoop является экосистемой с открытым кодом и состоит из несколько приложений позволяющим быстро обрабатывать и удобно работать с большими данными. Стоит ответить, что установка и настройка Hadoop это сложный и времязатратный процесс. Это вкупе с необходимостью искать или дописывать необходимые для отдельных задач скрипты отталкивают пользователей от использования данного продукта.
Для того чтобы начать установку необходимо создать виртуальную машину на базе операционной системы (далее ОС) «Linux». Для данного исследования был выбран дистрибутив ОС «Linux» «Linux Mint». Для создания виртуальной машины был использован «Oracle VM VirtualBox». Было выделено 32 гигабайта на жёстком диске, 4 гигабайта ОЗУ и 2 ядра процессора.
После создания виртуальной машины необходимо открыть консоль и прописать команды, представленные на рисунке 1.
Рис. 1. Процесс скачивания и разархивирования «Hadoop»
Далее откроем файл «set_vars.sh» и отредактируем его с помощью редактора «nano». Список внесённых изменений представлен на рисунке 2.
Рис. 2. Внесённые изменения в файл «set_vars.sh»
Далее создадим исполняющие файлы для запуска и остановки «Hadoop». С ними можно ознакомиться на рисунках 3 и 4.
Рис. 3. Запуск «Hadoop»
Рис. 4. Остановка «Hadoop»
Последним действием будет запуск «Hadoop». Если всё успешно запустилось, то в консоли будет отражена информация, представленная на рисунке 5.
Рис. 5. Успешный запуск «Hadoop»
В заключении можно сказать, что «Hadoop» достаточно сложно устанавливать и настраивать. В процессе установки несколько раз появлялась критические ошибки, информацию о исправлении которых было крайне сложно найти. Но после устранения всех ошибок и предварительной настройки, получилось запустить экосистему, с которой можно дальше работать.
СПИСОК ЛИТЕРАТУРЫ:
Номер журнала Вестник науки №8 (65) том 4
Ссылка для цитирования:
Мельников Д.С. АНАЛИЗ И УСТАНОВКА ПЛАТФОРМЫ ДЛЯ РАСПРЕДЕЛЁННОЙ ОБРАБОТКИ БОЛЬШИХ ДАННЫХ «APACHE HADOOP» // Вестник науки №8 (65) том 4. С. 293 - 297. 2023 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/9854 (дата обращения: 19.05.2024 г.)
Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2023. 16+