Лобанов О.А.
ОБЗОР ОСНОВНЫХ ТРУДНОСТЕЙ ИНТЕГРАЦИИ ДАННЫХ И ВАЖНОСТЬ В ИХ КАЧЕСТВЕ *
Аннотация:
в работе показаны существующие трудности интеграционных данных в виде качества данных, организационных трудностей и технических трудностей, на которые стоит обратить внимание и уменьшить вероятность появления этих трудностей при интеграции
Ключевые слова:
качественные данные, мастер-данные, интеграция, организационные трудности, технические трудности
УДК 004
Лобанов О.А.
студент 2 курса магистратуры кафедры
управления и информатики в технических системах
Московский государственный технический университет «СТАНКИН»
(г. Москва, Россия)
ОБЗОР ОСНОВНЫХ ТРУДНОСТЕЙ ИНТЕГРАЦИИ
ДАННЫХ И ВАЖНОСТЬ В ИХ КАЧЕСТВЕ
Аннотация: в работе показаны существующие трудности интеграционных данных в виде качества данных, организационных трудностей и технических трудностей, на которые стоит обратить внимание и уменьшить вероятность появления этих трудностей при интеграции.
Ключевые слова: качественные данные, мастер-данные, интеграция, организационные трудности, технические трудности.
Качество данных
При отсутствии качественных данных, которые приведены к единому формату, не дублируются и согласованы между собой, в информационных системах многочисленных компаний является жизненными реалиями, с которыми необходимо работать или избегать. Этот факт, когда внедряются новые информационные системы, не учитывается, что в конце реализации проекта компания может получить еще одну систему со своим набором данных, которые слабо согласуются с данными других систем. В этих случаях, когда происходит попытка настройки взаимодействия, несогласованность данных может привести к тому, что интеграция систем есть, а интеграции данных нет. При этом также может получиться несколько наборов данных в одной системе одинаковых по сути, но разных по представлению, например.
Для решения задачи согласованности данных созданы системы управления мастер-данными – MDM (Master Data Management). Во время отсутствия единой системы мастер-данных в компании, задачи для согласования данных и обеспечения их качества ложатся на процессы интеграции. В связи с этим разрабатываются бизнес-правила преобразования данных, создаются таблицы соответствия, решения, что в сущности представляет систему мастер-данных для одной или нескольких интеграционных процессов.
Прежде чем начать разрабатывать бизнес-правила и таблицы соответствия, нужно и необходимо изучить имеющиеся данные, провести их предварительный анализ.
С помощью анализа, можно получить информацию о содержании, качестве и структуре данных. Этот процесс является одним из важных этапов, который предшествует этапу проектирования процессов интеграции, при этом этот процесс довольно часто игнорируется, что приводит в итоге к несогласованности данных в интегрируемых системах. Следующей важной задачей анализа данных является уменьшение множества передаваемых данных, которые в процессе анализа можно выявить как “мусорные”, “не нужные” или дублирующиеся.
При подведении итогов, можно сказать, что к типичным проблемам интеграции, связанных с качеством данных, можно отнести:
Организационные трудности
Процессы интеграции находятся на стыке некоторого количества информационных систем, которые обязаны решать в первую очередь вопросы ответственности за обеспечение работоспособности процессов интеграции и обеспечению качества данных, которые являются всегда спорными. Поэтому для решения этих вопросов нужно использовать следующее правило: сторона, которая заинтересована в данных, должна выполнить всю основную работу по организации интеграции, и ее дальнейшему сопровождению.
Если заинтересованные стороны отсутствуют, то в интеграции, следует применять административный ресурс – то есть назначить ответственного специалиста сверху.
При этом можно столкнуться с еще одной сложностью – это закрытость служб, то есть невозможность получения данных от этих служб, сопровождения и разработчиков информационных систем компании заказчика. Это может привести к тому, что у бизнес-аналитиков и специалиста по модели данных сложится неполная или недостоверная картина об имеющихся данных в компании. В результате этого получим неполное хранилище данных, что приведет к проблемам в будущем. Избежать это возможно только путем правильного совместного взаимодействия специалистов заказчиков и консультантов разработчиков.
Необходимо привлечь к анализу данных и их последующей разработке бизнес-правил преобразования данных предметных экспертов заказчика. К сожалению, даже самые опытные бизнес-аналитики разработчиков не всегда могут знать все тонкие особенности и мелкие детали конкретного бизнеса, которые знают только специалисты заказчика, имеющие практический опыт работы с данными компании.
Из выше сказанного можно подытожить и сказать про организационные трудности и отнести к ним следующие пункты:
Технические трудности
Процесс организации интеграции можно свести к следующим действиям:
Основные трудности, как правило, возникают на этапах разработки и тестирования, но причины их появления закладываются раньше.
Одним из важных этапов интеграции данных является выбор платформы интеграции данных. Следует понимать, что нужно иметь хорошую интеграционную платформу для решения задач очистки данных и организацию сложных бизнес-процессов их передачи для работы с большим объемом данных, а также учитывать особенности бизнеса при выборе платформы интеграционных данных или принятии решения создания новой.
Еще одной распространенной ошибкой, которая связана с интеграционной платформой – это её неправильное использование.
Можно излишне усложнить решение по интеграции при стремлении разработчиков к универсальности и применению передовых технологий, форматов, шаблонов и т.д. К задержкам передачи и обработки большого объема данных, усложнению выявления ошибок в данных в огромных xml-файлах и так далее. Поэтому все должно стремиться к простоте. Во время организации процессов интеграции не следует их усложнять без сильной необходимости протоколами с шифрованием или web-сервисами.
При подведении итогов по техническими трудностями, можно отнести к ним следующие:
СПИСОК ЛИТЕРАТУРЫ:
Номер журнала Вестник науки №7 (64) том 4
Ссылка для цитирования:
Лобанов О.А. ОБЗОР ОСНОВНЫХ ТРУДНОСТЕЙ ИНТЕГРАЦИИ ДАННЫХ И ВАЖНОСТЬ В ИХ КАЧЕСТВЕ // Вестник науки №7 (64) том 4. С. 239 - 243. 2023 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/9594 (дата обращения: 17.05.2024 г.)
Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2023. 16+