Процесс миграции данных может являться одним из этапов проекта внедрения ИС, а может быть организован как отдельный проект. Под процессом миграции данных в рамках настоящей работы будем подразумевать проектные работы, покрывающие полный цикл задач, связанных с миграцией данных: от планирования работ по миграции данных до оценки результатов этапа миграции данных.
В любом случае процесс миграции данных распадается на несколько взаимосвязанных последовательных этапов, в настоящем исследовании будут последовательно рассмотрены все шаги процесса миграции по методологии Oracle и IBM .
Жизненный цикл процесса миграции начинается после формирования стратегии и оценки рисков этапа миграции данных. Схема процесса миграции представлена на диаграмме процесса.
Целью любого процесса миграции данных является маппинг информации, типов и форматов данных старой системы с типами и форматами данных новой системы. При миграции данных этапу «Data Extraction» соответствует выбор и выгрузка данных из старой системы, а этапу «Data Loading» соответствует перенос полученных данных старой системы и их загрузка в новую систему. Ниже процесс миграции будет рассмотрен более детально.
После завершения этапа планирования миграции данных наступает этап определения требований к мигрируемым данным. Этот этап включает в себя разработку требований заказчика и описание их в соответствующих проектных документах. На этапе сбора требований ответственной ролью в команде проекта за результат этапа является бизнес-аналитик или системный аналитик. Подробнее этот этап миграции будет освещен в третьей главе настоящей работы. Выходной информацией этапа определения требований к данным для миграции является описание структуры и состава данных для миграции.
Этап сбора требований к данным для миграции, как правило, очень тесно взаимосвязан со следующим этапом - разработки алгоритмов переноса данных из системы-источника в целевую систему. На этапе проектирования аналитиками создаются подробные спецификации с описанием типов данных системы-источника и их взаимосвязей с типами данных целевой системы. В таких спецификациях описывается структура данных для миграции, их объемы, источник, назначение. Спецификация является источником для постановки задач разработчику, который будет проектировать и разрабатывать специализированное ПО для переноса данных. На этапе проектирования проводится анализ существующей архитектуры данных в системе-источнике - анализ «as is» и разработка архитектуры данных в целевой системе - «to be». При анализе существующей архитектуры данных выявляются и учитываются все ограничения и ИТ-инфраструктуре, а также их влияние на работу целевой системы с мигрированными данными. Выходными артефактами анализа архитектуры данных могут являться такие документы, как логические модели данных (ER-диаграммы, модели баз данных), словари и справочники с детальным описанием каждого элемента и его атрибутов, описание бизнес-правил работы с данными, сведения о системах, взаимодействующих с системой-источником при информационном обмене и интеграции.
Результаты сбора требований и проектирования являются основаниями для выбора метода и определения технологии миграции данных. Миграция может осуществляться в режиме «оффлайн» или «онлайн», категоризация методов зависит от того, поддерживается ли работоспособность приложений в течение процесса миграции. Выбор метода и средств миграции определяется совокупностью факторов, в числе которых доступное время простоя систем, зависимость бизнеса от партнеров, объем данных, физическое размещение хранилищ данных системы-источника, политика информационной безопасности системы-источника и целевой системы.
Описанные выше этапы анализа и планирования можно объединить в общий подготовительный этап. Разработанные процедуры и механизмы миграции регламентируют этапы извлечения, переноса и загрузки данных в новую систему, то есть осуществляются последовательно все шаги ETL-процесса. После получения необходимых для миграции данных наступает фаза загрузки этих данных в целевую систему, перед началом которой необходимо выделить отдельный этап - верификация мигрируемого контента.
Проверка соответствия загружаемых данных требованиям может происходить в режиме «онлайн» - непосредственно на входе в целевую информационную систему или в режиме «оффлайн» - как промежуточный этап в процессе миграции. По завершении загрузки данных в целевую систему производится дополнительная проверка, зачастую, запускаются обе системы для параллельной работы. Тестовые мероприятия параллельной работы планируются при проектировании правил и процедур миграционного процесса. В рамках миграционного процесса параллельная работа двух систем может рассматриваться как опытная эксплуатация. Результатом опытной эксплуатацией может стать подтверждение полной работоспособности новой системы с мигрированными данными. В случае выявления массовых ошибок в ходе параллельной работы системы-источника и целевой системы может быть принято решение о повторной миграции данных и перезагрузке контента. Согласованные результаты миграции фиксируются в журнале опытной эксплуатации целевой системы с загруженными данными, выполненных тест-кейсах, могут быть составлены опросные листы для проверки соответствия мигрированных данных требованиям целевой системы.
Мероприятия тестирования не ограничиваются параллельной эксплуатацией системы-источника и целевой системы. Тесты могут проводиться на выборках из мигрируемых данных с целью раннего выявления ошибок и их исправления до начала разработки миграционного ПО. Более ранняя ликвидация ошибок позволяет экономить бюджет и избежать повторных загрузок данных. К работам по тестированию могут быть отнесены мероприятия по аудиту данных в процессе миграции. Аудит данных позволяет отслеживать состояние данных и избежать ошибок, вызванных изменениями в контенте, которые могут быть внесены пользователями уже во время проведения работ по миграции.
После согласования результатов миграции стартует этап пост-миграционных работ, включающих проверку, очистку и тестирование работоспособности целевой системы, в целом, после миграции данных. Очистка может происходить вручную или с помощью программных средств. Очистка данных производится для удаления устаревшей информации и удовлетворения требований к информационному обеспечению новой системы.
Методология проведения миграции данных, приведенная выше, предполагает, что наиболее «узким» местом при организации данного этапа проекта является этап планирования и работы с бизнес-требованиями заказчика, то есть сбор требований и проектирование, поэтому рассмотрим подходы к решению задач этих этапов подробнее в следующих частях работы. Помимо этапов планирования и разработки бизнес-требований особое внимание стоит уделить этапу оценки результатов работ этапа миграции данных, так как в соответствии с циклом Деминга (PDCA) , именно проведение мероприятий по оценке работ является условием успешности проведения аналогичных работ в аналогичных проектах.
1.1. Особенности планирования миграции данных
Планирование миграции данных является первым этапом жизненного цикла процесса и производится с учетом понимания основных рисков процесса и стратегии миграции. Входной информацией помимо стратегии миграции может являться раздел технического задания или документа о рамках всего проекта, посвященный миграции данных. На этапе планирования определяются рамки процесса миграции данных, устанавливаются достижимые в условиях проектных ограничения (источники данных, требования верхнего уровня) цели процесса миграции данных. Для определения рамок процесса миграции целесообразно привлечение бизнес-пользователей, обладающих пониманием того, как система работала с данными в прошлом и как она должна работать с ними в будущем. Далее в зависимости от способа миграции устанавливается срок, и выделяются необходимые ресурсы в рамках заданного бюджета. При планировании миграции данных важными моментом является определение участников процесса со стороны заказчика, то есть тех бизнес-пользователей и технических специалистов заказчика, которые отвечают за управление данными. На выходе процесса планирования процесса миграции данных могут формироваться следующие проектные артефакты:
Организация этапа миграции в проектах внедрения ИС начинается с этапа планирования, где необходимо составить план работ, рассчитать необходимые ресурсы и сроки выполнения.
Пакеты работ на этапе миграции должны соответствовать фазам жизненного цикла процесса, примерная структура плана-графика работ может быть следующей:
Назначение ответственных членов проектной команды за выполнение пакетов работ этапа миграции данных происходит на этапе планирования после составления плана работ.
Выбранным проектным ролям приведены в соответствие кластеры - зоны ответственности, определенные в методологии MSF . Стоит отдельно отметить, что под управлением продуктом в контексте миграции будем понимать управление качеством мигрированных данных и работоспособностью целевой системы после миграции. Управление релизами (выпусками) в терминах процесса миграции - осуществление итераций процесса миграции, получение и загрузка данных миграции.
В соответствии с моделью MSF предполагается следующее распределение зон ответственности между ролевыми кластерами:
Для того чтобы наглядно продемонстрировать участие привлеченных человеческих ресурсов в мероприятиях процесса миграции данных составим матрицу RACI - приведена в приложении 1 к работе (см. Приложение 1 - Матрица RACI для работ по миграции данных).
Нужно оговориться, что менеджер по разработке (технический менеджер) рассматривается как лидер команды, занимающейся миграцией данных, поэтому он несет ответственность за проведение всего процесса, в целом. Однако если миграция данных проводится в рамках масштабного проекта внедрения ИС, где назначен менеджер всего проекта, то технический менеджер этапа миграции будет только исполнителем в задачах, касающихся определения сроков и подбора персонала. Решения по вопросам персонала, ресурсов и сроков в таком случае принимается менеджментом проекта коллегиально.
Услуга по миграции действующей системы автоматизации управления ИТ-услугами с продукта HP OpenView Service Desk 4.5/5.x нацелена на решение следующих задач:
Миграция выполняется на специализированное проектное решение OMNITRACKER CleverENGINE , реализованное на базе платформы OMNITRACKER. Данное решение обеспечивает заказчикам следующими важными преимуществами:
В рамках миграции выполняется обследование действующей системы автоматизации, проводятся ознакомительные семинары по CleverENGINE для ключевого персонала заказчика. По итогам уточняются требования к конечному решению, выявляются возможности получить быстрые преимущества за счет использования готовых функциональных возможностей CleverENGINE, не доступных ранее. Затем выполняется построение новой системы автоматизации, выполняются квалификационные испытания, проводится обучение персонала. Далее при необходимости осуществляется перенос исторических данных и выполняется переключение на новую систему автоматизации. После этого заказчику предоставляется техническая поддержка на время опытной эксплуатации. По окончанию проекта система автоматизации передается в промышленную эксплуатацию.
В результате выполнения проекта по миграции заказчик получает:
Длительность проекта по миграции составляет от 2,5 до 4,5 месяцев - в зависимости от степени «кастомизации» действующей системы на базе HP OpenView Service Desk (количества правил бизнес-логики, форм и представлений данных, отчетности, решений по интеграции и так далее), а также от необходимости переноса исторических данных. Проект выполняется силами 1-2 специалистов. К работам привлекаются специалисты с экспертными знаниями по обоим продуктам - и HP OpenView Service Desk, и OMNITRACKER CleverENGINE.
Услуга по миграции действующей системы автоматизации управления ИТ-услугами может выполняться для систем, реализованных на базе различных программных продуктов. В зависимости от того, с какого продукта выполняется миграция, заказчик получит различные преимущества, проект потребует различных ресурсов. При этом общая логика организации работ сохраняется.
Примеры проектов, выполненных консультантами Cleverics:
Установить и настроить операционную систему на порядок сложнее и дольше по времени, чем создать образ и перенести на другой компьютер. Если у вас возникла необходимость перенести ОС вместе со всеми программами (причиной может быть, например, покупка нового устройства), не стоит паниковать - это делается вполне просто. Внимательно прочитайте рекомендации ниже и выберите удачный способ «переселить» Windows. Все необходимые вам файлы и утилиты окажутся на месте, вы больше не будете терять массу времени и нервов на переустановку ОС. С установкой SSD диска также не будет сложностей.
Пожалуй, самый легкий и быстрый вариант. В системе имеется инструмент создания резервной копии - заходим в меню Пуск, выбираем «Все программы», затем «Обслуживание» и «Архивация и восстановление». Далее необходимо создать диск восстановления ОС и создать образ. Выполняем следующие действия:
Обратите внимание! Чтобы система загрузилась, необходимо поставить в настройках BIOS загрузку с жесткого диска.
В принципе, метод довольно простой и не требует установки никаких утилит. Однако архив создается не так-то быстро и нет возможности его сжатия. Есть более эффективные программы.
Следующий метод переноса виндовс - посредством приложения для бэкапа или с помощью виртуализации. Вы сможете запустить операционную систему, не устанавливая.
Чтобы выполнить клонирование диска старого ПК необходимо скачать и поставить приложение . Эта программа запросто поможет осуществить миграцию операционки с одного устройства на другое. Утилита довольно функциональна, имеет множество вариантов создания образа и хранения данных.
Итак, чтобы перенести ОС, используя данную утилиту, необходимо выполнить ряд действий:
Теперь, когда мы создали образ, переносим его на новое устройство. Часто бывает так, что на компьютере стоит устаревшая операционка (например, Windows XP), но пользователь хочет поставить туда современную ОС. В таком случае нужно сделать новый раздел в уже имеющейся системе и выбрать его в загрузчиках системы.
Что нужно для этого сделать?
Если у вас хорошая скорость подсоединения к сети, можете хранить резервную копию операционки в виртуальном хранилище. Преимущество такого метода в том, что вы не только осуществите миграцию системы с одного устройства на другое, но и с легкостью восстановите любые данные при сбое. Кроме того, если вы владеете ноутбуком, такой метод позволит восстановить все файлы при потере устройства. Если ноутбук будет украден, вы не потеряете важные документы и программы, а сможете все восстановить на другое устройство. Однако не забывайте о безопасности, помещая образ в виртуальное хранилище.
Первое, на что стоит обратить внимание, - наличие свободного места. Если вы хотите разместить не сильно объемный диск, можете использовать бесплатный ресурс - Windows Live SkyDrive.
Объем информации может быть до 25 Гб.
Инструмент позволяет создать 3 вида папок, которые хранятся в сети:
Папки, которые доступны только создателю,
Папки, для которых создатель может составить список лиц для доступа,
Всем доступные открытые папки.
Данная утилита открывает такие возможности:
Некоторые сервисы предоставляют возможность зашифровать данные онлайн. Но все же лучше лишний раз отнестись с осторожностью и выполнить этой действие на своем компьютере, исключая возможность заразить файлы.
Чтобы зашифровать информацию, выполните следующие действия:
Наиболее типичный вариант, когда необходимо перенести ОС на другое устройство с аналогичной системой. В таком случае миграция быстро осуществляется посредством создания протокола бэкапа утилитой Ocster Backup .
«Мои документы» и прочие стандартные папки не отличаются в версиях Windows, это упрощает задачу - вам нужно лишь обозначить в программе необходимую копию и выполнить установку, следуя подсказкам.
Обратите внимание! Должна быть активирована функция «Use default access permissions», иначе новая операционка не получит прав для доступа к файлам.
Бесплатная программа Windows Easy Transfer позволяет перенести систему и все настройки на виндовс другой версии. Не забывайте про особенности определенных систем. Например, информация о профиле сохраняется в разных папках.
Программа имеет довольно простой интерфейс и функционал. Есть и несколько ограничений: утилита не разрешит миграцию, если локализация системы на устройствах различна, могут возникнуть трудности с переносом ОС, если одна из них 64-битная, а другая - 32х.
В семерке данная утилита уже есть, поэтому вы сможете легко и просто выполнить перенос с помощью подсказок мастера.
Как осуществить перенос виндовс с IDE или SATA на SSD?
Информация на жестких дисках обычно сохраняется на дорожках, которые имеют разделение на сектора. SSD же отличается отсутствием такой разбивки. Когда вы устанавливаете семерку на накопитель, она самостоятельно определяет характеристики памяти накопителя. Однако при импорте копии старого устройства диск в два раза сбавит скорость работы, причиной тому есть сохранность копии соответственно тем самым секторам разбивки.
Программ довольно много, рассмотрим одну из наиболее популярных и функциональных. Это Drive Copy 11 Professional производства бренда Paragon. Данная утилита дает возможность перенести образ на диск. В чем преимущество этой программы?
Твердотелые диски прекрасно выполняют свои функции, почти беззвучно работают, однако цена на более крупные объемы довольно существенна, а на диски меньшего объема зачастую не помещаются вся необходимая информация. Так вот главный момент функционирования утилиты - это исключение всего лишнего. Таким образом, можно не тратить огромные деньги на диск большего объема, а просто исключить программой то, что совершенно не нужно.
Покупая диск емкостью более 2,2 Тб, многие часто сталкиваются с проблемой: операционная система не хочет использовать полностью весь объем диска - она его попросту не видит. Причина проста - стандартный вариант разметки MBR не допускает такого действия. Однако выход из ситуации есть и он просто - снова воспользоваться уже известной нам утилитой Drive Copy 11 Professional, она предоставит возможность прочитать весь свободный объем жесткого диска.
Таким образом, перенести операционную систему довольно просто. Стоит только установить нужную утилиту и пользоваться подсказками данной статьи.
Большинство современных Компаний используют в своей деятельности различные информационные решения, и практически для каждой Компании рано или поздно становятся актуальными вопросы по интеграции информационных систем и/или миграции на более технологичные платформы. Готовых ответов на эти вопросы зачастую нет, поэтому IDelync комплексно и взвешенно подходит к выбору оптимальных вариантов решения для каждой Компании.
Интеграция различных информационных решений позволяет Компании:
организовать работу со всеми уровнями корпоративных данных вне зависимости от типа программных продуктов;
исключить или минимизировать дублирующий ввод информации в существующие информационные решения Компании;
организовать единое информационное пространство Компании, с четко определенными потоками информации между различными решениями, разграничением прав между пользователями.
Основным преимуществом решений по интеграции являются то, что положительный эффект от их использования Компания может получить в более коротки сроки и с меньшими затратами, чем при выборе решений, подразумевающих замену или модернизации информационных решений. Специалисты IDelync обладают большим опытом по интеграции и реализовывали проекты различных информационных систем, таких как: 1С 7.7 --> 1С 8.x; Инфобухгалтер --> 1С; Турбобухгалтер --> 1C; Парус --> 1С; StoreHouse --> 1С; R-Keeper --> 1С; Excel --> 1C.
Миграция систем на более технологичные платформы или решения осуществляется в случае, когда отдельные информационные решения устарели и перестали отвечать требованиям компании. При этом Компании необходимо осуществить переход быстро и качественно. Именно на таких – качественных и оптимальных по времени решений – специализируется IDelync. Кроме того, наша компания разработала унифицированный интегрируемый модуль для учетных систем на базе 1С:Предприятие, а именно с 1С:Предприяте 7.7 на 1С:Предприятие 8. В результате миграции Компания получает не только более современное, производительное решение, но и может автоматизировать процессы, ранее не охваченные.
Осуществлять миграцию на другие программные продукты IDelync предлагает поэтапно, проходя следующие стадии:
Архитектурный, аналитический и бизнес-аудит существующих IT-систем. Эти работы производятся для определения текущего состояния систем и получения информации для выбора новой системы. В этот же период осуществляется сбор бизнес-требований к новому решению, что позволяет предусмотреть в новом решении необходимые модули.
Выбор технологий для миграции IT-систем. На этом этапе осуществляется выбор и проектирование технологий для выполнения работ по миграции. В случае, если предполагается миграция с различных конфигураций 1С:Предприятие 7.7 на 1С:Предприятие 8, IDelync использует собственный, протестированный на множестве проектов модуль.
Разработка и настройка механизма миграции и его тестирование.
Осуществление миграции на новое решение, опытная эксплуатация полученной IT-системы.
Ввод IT-систем в эксплуатацию, поддержка системы. Тщательное планирование работ, связанных с вводом в эксплуатацию новой системы, позволяет осуществить запуск нового решения в срок и минимизировать риски, связанные с внедрением нового решения.
Поддержка системы осуществляется в рамках отдельной договоренности с Заказчиком или собственной ИТ-службой Заказчика.
Благодаря тщательному сбору и анализу бизнес-требований Заказчика, проектированию и тестированию механизмов интеграции и миграции систем и четкому взаимодействию с Заказчиком на всех этапах выполнения работ IDelync успешно осуществляет интеграцию и миграцию систем как в рамках отдельных проектов, так и в составе проектов комплексной автоматизации оперативного, управленческого учета компаний.
Ещё услуги (3)
Ещё решения (1)
Ещё опыт (3)
Оперативный учет – учет, предназначенный для предоставления информации с целью ведения текущей деятельности компании исполнительными службами. Оперативный учет является естественным продолжением бухгалтерского учета и направлен на удовлетворение потребностей исполнительных служб в актуальной и достоверной информации в любой момент времени.
Под оперативным учетом подразумевается учет следующих бизнес-процессов:
Продажи и CRM;
Производство;
Бухгалтерский и налоговый учет, регламентированная отчетность;
Казначейство;
Кадры и заработная плата.
Данные оперативного учета необходимы исполнительным службам компании для осуществления текущей деятельности и оперативного решения возникающих вопросов, а также являются источниками для получения данных управленческого учета. Информация, полученная в результате оперативного учета, обрабатывается, дополняется необходимыми аналитическими разрезами и, далее, преобразуется в агрегированную информацию управленческого учета.
Реализация проектов по комплексной автоматизации управленческого учета выполняется поэтапно, в следующей последовательности:
Этап 1. Предпроектное обследование (анализ)
Целью данного этапа является определение и согласование с ключевыми специалистами бизнес-требований к разрабатываемой системе, функциональности решения и результатов проекта автоматизации в целом, выработка предложений по выбору платформы и конфигурации для реализации системы. Особое внимание при разработке системы оперативного учета уделяется вопросам возможностей использования данных этой системы в качестве источника для будущей системы управленческого учета.
Этап 2. Подготовка документа «Видение проекта»
На основании проведенного предпроектного обследования консультанты IDelync совместно с ключевыми специалистами Заказчика готовят документ «Видение проекта».Целью этого этапа является формализация и фиксация достигнутого на этапе обследования понимания основных параметров Проекта по комплексной автоматизации оперативного учета.
В документе «Видение Проекта» описываются следующие разделы:
Структура Решения в терминах и объектах выбранной платформы и конфигурации;
Перечень и описание реализованного функционала Решения, а также отклонений от базовых возможностей выбранной конфигурации;
Необходимость и степень интеграции предлагаемого Решения с другими информационными системами (Клиент-банк, Web-приложение, OLAP-отчетность и т.п);
Этапы, сроки и бюджет реализации Проекта.
Этап 3. Проектирование, настройка и адаптация информационного решения:
Методологическая адаптация регламентированных процессов, документооборота, отчетности;
Проектирование изменений в информационном решении, их реализация в системе;
Настройка и создание прототипа для отладки и проверки корректной реализации учета и отчетности полученного решения;
Первичное заполнение информационного решения (заполнение нормативно-справочной информации, перенос первоначальных остатков).
По результатам данного этапа формируется информационное решение на базе выбранной типовой конфигурации или собственного решения IDelync, адаптированное под нужды предприятия, в соответствие с текущими требованиями к автоматизации, определенными на этапе Предпроектного обследования. Полученное информационное решение, передается в опытную эксплуатацию.
Этап 4. Опытная эксплуатация и консультирование пользователей
Целью этапа опытной эксплуатации является полноценное тестирование реализованных настроек и произведенной адаптации информационного решения при непосредственной поддержке Консультанта на протяжении согласованного периода времени. На данном этапе сотрудники предприятия максимально вовлечены в работу с полученным информационным решением, получают всю необходимую консультационную поддержку со стороны Консультанта, обучаются особенностям работы информационного решения.
Этап 5. Продуктивная эксплуатация информационного решения и постпроектное сопровождение
После успешного завершения этапа опытной эксплуатации информационное решение передается в продуктивную эксплуатацию. Специалисты предприятия самостоятельно эксплуатируют информационное решение и обращаются к Консультанту по мере необходимости.
Залогом успешной реализации Проекта по автоматизации оперативного учета является наличие в Проекте полного перечня услуг Исполнителя: от содействия в формализации текущих требований до полноценной методологической поддержки на всем протяжении проекта. Поэтому в состав проектной команды от Исполнителя обязательно входят специалисты в области информационных технологий, системного анализа и финансового анализа.
Компания IDelync предлагает услуги по разработке и внедрению специализированных информационных систем под конкретные требования и методологию заказчика. Подобные решения востребованы при автоматизации специфических бизнес-процессов различных отраслей бизнеса и их реализация требует высокой квалификации и опыта исполнителей.
Специализированные отраслевые решения IDelync:
расчет тарифа ЖКХ;
автоматизация специальных банковских продуктов и интеграции с внутренними информационными решениями банков;
автоматизация учета трудозатрат в проектных организациях;
автоматизация инвентаризации и учета программно-технического обеспечения компании;
интеграция учетных систем с интернет-магазином на WEB-сайте компании;
автоматизация управленческого учета генподрядных строительных организаций и другие.
При разработке и внедрении специализированных информационных систем наши специалисты уделяют особое внимание первоначальному сбору требований Заказчика в проектируемой системе, их документированию, тщательному проектированию будущей системы, согласованию ключевых требований с ответственными лицами компании. Отлаженная технология внутреннего контроля качества на всех этапах выполнения работ позволяют автоматизировать специфические разделы учета или бизнес-процессы с приемлемыми для компании сроками, бюджетом и требуемой функциональностью.
Множество предприятий в настоящий момент достигли высокой степени автоматизации. В большинстве случаев Компании не обладают каким-либо единым информационным решением, а обеспечены набором различных систем, которые эксплуатируются для локальных учетных задач по ведению бухгалтерского и налогового учета, оперативного и управленческого учета, а также получения необходимой отчетности.
Типовым продуктом, на базе которого выполнены информационные решения отечественных предприятий, является 1С. В связи с этим можно выделить вопросы, наиболее часто возникающие у предприятий Компании:
Интеграция – необходимость объединения нескольких отдельных систем для получения единого информационного решения и исключения необходимости многократного внесения данных в отдельные информационные базы;
Миграция
– осуществление быстрого и качественного перехода с решений любых версий системы учета на системы версии 1С:Предприятие 8.
Для решения этих вопросов специалистами компании IDelync разработан универсальный интегрируемый модуль обмена данными между различными учетными программами и конфигурациями «1С:Предприятие» платформ версии 7.7 и 8.1.
Интегрируемый модуль обеспечивает широкие возможности гибкой настройки:
Синхронизацию объектов НСИ, включая возможность объединения нескольких объектов из источника в один объект приемника для получения совокупных данных, а также сопоставления объектов разных баз-источников к единому значению в приемнике.
Синхронизацию ПС, проводок и корреспонденций – для отражения операций ведения хозяйственной деятельности.
Использование универсального модуля обмена данными позволяет корректно решить следующие задачи:
Слияние данных множества учетных баз в единую консолидированную систему.
Трансформация проводок бухгалтерского учета как в проводки учетов других видов (Налоговый, Международный и др.), так и в проводки бухгалтерского учета с другой корреспонденцией в зависимости от объектов аналитики.
Полная автоматизация процесса обмена данными. В соответствии с предварительной настройкой таблиц сопоставления НСИ, ПС и корреспонденции осуществляется автоматизированный процесс обмена данными, после чего достаточно просто проконтролировать корректность загруженных данных.
Возможность осуществления ручного обмена данными с гибкой предварительной настройкой вплоть до отдельной операции отражения учета хозяйственной деятельности. При этом на стороне базы-приемника предусмотрена возможность ручной корректировки проводок загруженных операций с условием предохранения изменений от корректировки при повторном обновлении данных по этой операции.
Следует отметить, что использование модуля интеграции при переходе предприятия с систем на базе 1С 7.7 на 1С 8.1, позволяет не только качественно и быстро перенести «срез» остатков (т.е. остатки на бухгалтерских счетах на определенную дату), но и обеспечить полный перенос оборотов по счетам за любой период данных, имеющихся в текущей системе учета. Такой подход позволяет осуществить переход с одной системы учета на другую с сохранением возможности формирования регламентированной отчетности за весь отчетный период, вне зависимости от даты начала эксплуатации новой системы.
Оптовая и розничная торговля, E-Commerce
Компания ООО «Торговый Дом «Слобожанка» (далее «ТДС», «Предприятие») – импортёр и дистрибутор известных брендов косметики, средств гигиены и товаров для дома. Используя развитую структуру, ТДС продаёт оптом своим клиентам широкий выбор косметических и гигиенических товаров известных марок от производителей Польши, России, Украины, Китая.
Целями данного проекта были повышение эффективности оперативных и управленческих процессов Предприятия в части учетной функции, функции управления и контроля посредством автоматизации.
Учитывая непрерывный режим работы Предприятия, а также достаточно сложные вопросы логистики, связанные с необходимостью быстрой качественной организации загрузки транспорта, основной из решаемых задач в части оперативного учета была оптимизация процессов обработки заказов, подготовки необходимых для отгрузки документов, загрузка автомобилей и их отправка.
По результатам предварительного обследования, на основании анализа бизнес-требований Предприятия Консультант рекомендовал осуществить переход с информационной системы «Гранит» на систему ERP класса на базе 1С Предприятие 8. В качестве базового решения была выбрана конфигурация 1С «Управление производственным предприятием». В единой системе оперативного, управленческого учета реализован бизнес-процесс по управлению обслуживанием заказов покупателей, включающий в себя задачи подготовки документов, транспортной и складской логистики и контроля подтверждения отгрузки. Для оптимизации процесса приема заказов покупателей в системе реализован широкий спектр возможностей интеграции с внешними источниками (Emigo, Exite, EXCEL, КПК). В системе также реализован процесс ценообразования по брендам и клиентам, а также механизм контроля дебиторской задолженности по брендам и срокам. Внедренное решение охватывает все блоки хозяйственной деятельности Предприятия и позволяет также вести учет ОС, расчет управленческой заработной платы, управлять взаимоотношениями с клиентами (CRM) и получать финансовую отчетность за любой интересующий период (в т.ч. на ежедневной основе). В блоке финансовой отчетности реализованы следующие отчеты: Отчет о финансовых результатах, Отчет о движении денежных средств, Баланс. Единая система управленческого учета интегрирована с системами бухгалтерского учета для последующей подготовки регламентированной отчетности, осуществлена интеграция с системой «Клиент-банк».
Техносила, Москва, Россия, http://www.tehnosila.ru, один из лидеров сетевой розницы в сфере торговли электроникой и предметами бытовой техники в России. 50 регионов, 137 магазинов и интернет магазин с охватом всех регионов.
Проекты: IT Аудит информационных систем и бизнес-окружения (SAP, 1C, PHP, FoxPro, Delphi); Управление IT Проектами и бизнес-инновациями для e-commerce направления; Реинжиниринг бизнес-процессов для e-commerce; Дизайн IT-архитектуры для e-commerce, интеграция и онлайн взаимодействие; Релизация IT-Проектов для e-commerce; Слияние Техносилы с группой Техношок, http://tshok.ru , Ст.Петербург, Россия, 16 городов, 42 магазина и интернет магазин.
Целью данного Проекта являлись разработка и внедрение приложения, решающего задачу обмена информацией в установленном формате между специализированной информационной системой Microsoft Dynamics CRM 4.0 и УИС на базе 1С:8.1 «Управление производственным предприятием».
Реализованный механизм осуществляет двухсторонний обмен информацией между информационными базами в оперативном режиме. В результате каждого сеанса обмена данными в УИС поступает обновленная нормативно-справочная информация о клиентах, номенклатуре, заявках клиента, а в обратном направлении (в MS CRM) передается информация об оплатах, оформленных на клиента документах.
Проектирование и реализация механизма обмена данными были реализованы Консультантом в тесном взаимодействии со сторонним внедренцем информационной системы по управлению взаимоотношениями с клиентами (CRM) на базе продукта Microsoft Dynamics CRM 4.0. Четкая организация работ по взаимодействию с командой стороннего разработчика позволила спроектировать, реализовать и внедрить механизм обмена данными в сжатые сроки и обеспечить Компанию необходимой, непротиворечивой информацией в обеих системах.
В данной статье мы хотели бы систематизировать наш опыт проведения миграции данных в крупных корпоративных проектах, связанных с переходом Заказчиков на работу в конфигурациях «1С:Предприятие 8».
При этом основной акцент в статье будет сделан, прежде всего, на технологическую составляющую процесса миграции. Организационная составляющая также затронута, но в меньшей степени.
Под миграцией данных принято понимать конечную последовательность работ, проект, направленный на разовое массовое перемещение данных из систем-источников (исторические системы) в систему-приёмник. При этом эксплуатация этих данных в системах-источниках прекращается.
Следует отличать миграцию данных от интеграции данных. Интеграция, в отличие от миграции - это постоянная часть архитектуры IT, и ответственна за потоки данных между различными системами и хранилищами данных - и является процессом, а не деятельностью по осуществлению проекта.
Схема миграции в общем случае выглядит следующим образом:
Рис. 1
Исторические системы - базы данных компании Заказчика, которые планируется полностью или частично заменить при внедрении новой системы.
Система-приёмник - целевая система, произвольная конфигурация «1С:Предприятие 8».
Исходные данные - данные, выгруженные из исторических систем в произвольный формат xls -файлов. В данном случае формат xls представляется, как один из самых удобных, поскольку возможность выгрузки в xls -файл присутствует во многих учетных системах «предыдущих поколений».
Как современную альтернативу в качестве транспорта возможно рассматривать формат xml -файлов.
Также существуют варианты использования промежуточной базы данных.
Трансформация, конвертация - процесс преобразования исходных данных в данные для загрузки. Трансформация данных происходит в соответствии с шаблонами для загрузки. Результатом трансформации являются данные для загрузки.
Данные для загрузки - данные, предназначенные для загрузки в систему-приёмник. В данной статье, так же как и исходные данные, рассматривается xls -формат.
Шаблоны данных для загрузки - описание таблиц данных для загрузки в целевую систему.
Рассмотрим поэтапно процесс подготовки и проведения миграции.
К организационным этапам миграции можно отнести следующие пункты:
· Определение стратегии миграции. На данном этапе Исполнитель и Заказчик договариваются о технологии проведения миграционных работ;
· Определение состава рабочей группы по миграции. В рабочую группу должны входить специалисты и Исполнителя и Заказчика, знакомые в достаточной степени с работой исторических систем (со стороны Заказчика) и целевой системы (со стороны Исполнителя);
· Предварительный план миграции. План миграции по ходу проекта будет неоднократно корректироваться;
· Периоды дат выгрузки данных из исторических систем, объемы данных. Периоды среза данных для миграций, даты тестовых и итоговой миграций. Данную информацию можно отнести к плану миграции;
· Состав данных, подлежащих миграции. Справочные данные, классификаторы, транзакционные данные, остатки, обороты и пр.;
· Вопросы проверки качества, корректности и целостности данных в процессе миграции и по итогам;
· Вопросы отката к предыдущему состоянию в случае сбоев.
Остановимся подробнее на технологических этапах миграции.
Рис. 2
Шаблон загрузки данных содержит технические описания таблиц данных для загрузки, алгоритмы и правила загрузки для текущего шаблона.
Каждый шаблон в общем случае предназначен для одной или нескольких связанных таблиц в целевой системе-приёмнике.
В шаблоне указывается:
· Описание всех полей xls -файла данных для загрузки, включая:
o Имя поля
o Признак обязательности заполнения поля
o Пример заполнения поля
o Примечание
· Описание правил загрузки таблицы целевой системы на основании данных для загрузки (очередность в случае нескольких связанных таблиц, алгоритмы поиска по ключевым полям и т.п.)
· Описание заполнения непосредственно полей таблиц целевой системы в случае, если предусматривается что-либо отличное от переноса данных «один в один» из файла данных для загрузки. Актуально для ссылочных полей, например.
В процессе работ по данному этапу Исполнитель также должен подготовить загрузчик файлов данных для загрузки. В случае работы с файлами xls данная задача не представляет особой сложности.
Данный этап может начинаться вместе с предыдущим этапом «1. Подготовка шаблонов загрузки данных».
В рамках данного этапа специалисты Заказчика определяют из каких систем и какие данные могут быть выгружены. Также следует определить какие данные возможно могут понадобиться.
Как правило, в больших проектах миграции выявление полного исчерпывающего списка источников данных может занимать достаточно продолжительное время и происходит по мере работ на последующих этапах.
Нередки ситуации, когда для обеспечения в дальнейшем целостности информации некоторые данные приходится переносить с печатных источников (оцифровывать) или даже заносить в таблицы со слов ключевых сотрудников Заказчика.
Тем не менее, на данном этапе нужно постараться выявить как можно больше необходимых данных.
Процесс выгрузки данных из исторических систем может занять достаточное количество времени, особенно, если систем много, они разные и за них ответственны разные подразделения Заказчика. Необходимо учитывать данный момент при тестовых и итоговой миграциях.
Наиболее удобным вариантом представляется выгрузка в xls файлы. Многие старые IT -системы поддерживают такой вариант.
Также могут быть варианты выгрузки в csv формат, dbf , xml форматы и прочие.
Стоит отметить, что по тем или иным причинам (вопросы безопасности, например) Заказчик не всегда может предоставить выгрузки данных в полном объеме на этом этапе! Только структура данных и несколько тестовых позиций. Таким образом, может сложиться такая ситуация, что при тестовых и итоговой загрузках будут обнаруживаться некачественные данные в исходных таблицах, что будет приводить к незапланированным ошибкам.
Для минимизации данной проблемы следует оговорить заранее объемы тестовых выгрузок из исторических систем.
Мэппинг (data mapping ) - в общем случае процесс сопоставления данных исторических систем и системы-приемника. То есть, исходных данных и данных для загрузки.
Этап мэппинга - наиболее трудоёмкий этап и может занимать более 50% всех работ по задаче миграции.
На данном этапе в полной мере задействуется вся рабочая группа проекта по миграции.
В процессе мэппинга данных необходимо выделить подэтапы мэппинга таблиц и мэппинга полей.
· Мэппинг таблиц, или мэппинг шаблонов - сопоставление таблиц исходных данных и шаблонов данных для загрузки. Соответствие может быть как 1:1, так и N :N . В результате данной работы составляется и поддерживается реестр мэппинга таблиц. Данный подэтап необходим для следующего подэтапа мэппинга полей и для отслеживания общего состояния дел по мэппингу.
|
Группа шаблонов 1С |
Наименование шаблона 1С |
Наименование файла- источника |
Правила формирования файла-источника |
Ответственный |
Статус |
Примечание |
|
НСИ |
Шаблон_ Номенклатура |
Номенк латура.xls |
В системе N установить отбор |
Иванов И.И. |
в работе |
· Мэппинг полей - сопоставление полей таблиц в рамках уже определенного мэппинга таблиц. Результатом данной работы является реестр мэппинга полей.
|
№пп |
Кл. поле |
Обязательный |
Имя поля шаблона 1С «Шаблон_Номенклатура» |
Описание |
Имя поля «Номенклатура.xls» |
Алгоритм заполнения |
||||||||
|
Код |
Код элемента справочника |
Код |
||||||||||||
|
Наименование |
Наименование |
|||||||||||||
|
Да |
Это группа |
Содержит одно из значений: |
Если длина кода=11 символов и последние 4 символа <> "0000", то это элемент - "0", иначе группа - "1". |
|||||||||||
|
Полное наименование |
Наименование элемента справочника |
Наименование |
Если ЭтоГруппа =1 , То "", ИначеЕсли ЭтоГруппа=0, то Наименование. |
|||||||||||
В рамках данного этапа также следует провести возможные работы по нормализации данных.
В отличие от предыдущих этапов, данный этап - технический и предполагает работу разработчика Исполнителя.
На основании согласованных реестров мэппинга полей специалисты Исполнителя разрабатывают правила трансформации данных.
Для оперативной работы в процессе подготовительных миграционных этапов и дальше, в ходе тестовых и итоговых миграций важно, чтобы существовала удобная среда разработки правил (скриптов) трансформации данных и среда конвертации исходных данных в данные для загрузки.
При этом требования к данной среде включают в себя:
· Удобство и быстрота разработки правил трансформации;
· Скорость конвертации данных. Файлы на входе и на выходе могут быть и в сотни тысяч строк!
· Возможность работать с несколькими входными файлами одновременно;
· Возможность сохранения правил трансформации в отдельные файлы.
Для своих проектов миграции мы разработали специализированное АРМ разработчика, взяв за основу стандартную обработку «Консоль запросов» 1С.
Обработка «Консоль запросов» была доработана для возможности делать прямые запросы к файлам xls .
Приведем пример объединения двух исходных xls -файлов Сотрудники. xls
|
Код сотрудника |
Фамилия |
Имя |
Отчество |
Дата рождения |
|
2423 |
Иванов |
Иван |
Иванович |
17.11.1992 |
|
1523 |
Петров |
Василий |
Александрович |
04.02.1991 |
|
4363 |
Сидоров |
Кирилл |
Николаевич |
01.05.1995 |
|
Денисов |
Денис |
Денисович |
01.01.1990 |
и Операции. xls со страницами:
Списания
|
Код сотрудника |
Дата |
Сумма |
|
2423 |
01.02.2014 |
|
|
1523 |
02.02.2014 |
|
|
4363 |
03.02.2014 |
|
|
04.02.2014 |
100000 |
|
|
2423 |
05.02.2014 |
|
|
1523 |
06.02.2014 |
|
|
4363 |
07.02.2014 |
2356 |
|
08.02.2014 |
140000 |
|
|
2423 |
09.02.2014 |
|
|
1523 |
10.02.2014 |
|
|
4363 |
11.02.2014 |
23523 |
|
12.02.2014 |
80000 |
и Поступления :
|
Код сотрудника |
Дата |
Сумма |
||
|
01.05.2004 |
||||
|
02.05.2004 |
||||
|
03.05.2004 |
||||
|
04.05.2004 |
||||
|
2423Дата рождения |
Сумма поступление |
Сумма списание |
||
|
Иванов Иван Иванович |
2423 |
17.11.1992 |
1341234 |
1010 |
|
Петров Василий Александрович |
1523 |
04.02.1991 |
245245 |
|
|
Денисов Денис Денисович |
01.01.1990 |
380000 |
320000 |
|
|
Сидоров Кирилл Николаевич |
4363 |
01.05.1995 |
613382 |
26336 |
|
ИТОГО: |
2579861 |
347842 |
Отметим, что пример является искусственным, специально подобранным для демонстрации всех возможных стадий трансформации источников данных.
Технологическая последовательность операций трансформации здесь выглядит следующим образом:
С помощью языка запросов Access SQL (дающего существенные дополнительные возможности, по сравнению с языком запросов 1С) создается первоначальный запрос, извлекающий данные из файла xls в среду 1С. При этом уже на данном этапе возможны различные проверки и нормализации данных.
Технология доступа к данным ADO обеспечивает высокую скорость работы.
Рис. 3
2.Запрос на языке 1С - основной запрос, реализующий алгоритм мэппинга полей. А также: обогащение загружаемых данных данными из базы 1С, перегруппирование, объединение с результатами запросов к другим исходным xls -файлам и пр.
3.Постобработка результата запроса 1С при необходимости. Реализуется с помощью скрипта на языке 1С.
Для примера здесь реализуется добавление строки «ИТОГО» по колонкам сумм.
4.Запись итогового набора данных в xls -файл.
В общем случае на выходе мы получаем итоговые файлы для загрузки в целевую базу данных 1С.
Также данный инструмент позволяет сохранять правила конвертации данных в отдельный xml файл:
Кроме того, реализована возможность работать в пакетном режиме , что особенно актуально при большом количестве разнородных мигрирующих данных.
В ходе предыдущих этапов подготовительная часть работы в целом заканчивается - выявлены все источники данных, сделана выгрузка исходных данных из источников, подготовлены шаблоны загрузки в целевую базу, подготовлен мэппинг данных и, наконец, разработаны скрипты трансформации данных.
Следует отметить, что перед итоговой миграцией обязательно следует провести несколько тестовых. В ходе тестовых миграций Исполнитель совместно с Заказчиков выявляют:
· ошибки конвертации, ошибки загрузки данных
· проводят предварительную оценку качества загружаемых в целевую систему данных
· по итогам тестовых миграций составляют/актуализируют план итоговой миграции
Проверка качества загруженных данных должна производиться как после тестовых миграций, так и по окончанию итоговой миграции. В ходе выверки могут проверяться следующие показатели:
· Совпадения итоговых сумм по остаткам, по документам;
· Количественные совпадения, например количество ОС;
· Корректность заполнения отдельных выборочных сущностей;
Обращаем внимание, что те или иные проверки мигрирующих данных, вопросы нормализации данных необходимо решать на протяжении всех миграционных процессов. Необходимо всегда задаваться вопросом, что нужно сделать на текущем этапе, чтобы избежать ошибок на последующих этапах.
Например:
· Проверка на дубли по ключевым полям. Можно и нужно проводить еще на исходных данных;
· Приведение типов полей;
· Ссылочная целостность;
· Математические нестыковки. Например, проверка на незаполненные численные поля, на которые запланировано деление при трансформации;
· В целом, проверки обязательной заполненности полей;
· Замена некорректных символов. Например, английские символы в кириллических полях («о», «а», «е» и т.п.) Особенно актуально это для ключевых полей!
· Проверка значений строковых полей на соответствие типов системы-приемника (Ограничения по длине)
После завершения итоговой миграции согласно заранее определенной стратегии миграции и плану миграции принимается решение о дальнейшей эксплуатации исторических систем.
Часто эксплуатация завершается сразу после финальных сверок данных и фиксирования успешности проведенной миграции - пользователи новой системы уже не ведут учет параллельно в двух системах, а полностью переходят в новую систему. При этом доступ к старой системе сохраняется в режиме чтения.
В некоторых случаях может происходить параллельная работа двух систем на время опытной эксплуатации (ОЭ) и даже более этого периода. Вопрос параллельной работы пользователей в двух системах тесно связан с вопросом возможности отката к старой системе, в случае если миграция (или же, в целом, работа новой системы!) будет признана неудовлетворительной.
В заключении хотелось бы отметить, что когда речь идёт о миграции больших транзакционных систем, к которым относятся и многие конфигурации «1С:Предприятия», переход на новую систему может быть весьма трудоёмким.
Поэтому следует помнить, что любой подобный проект требует тщательной подготовки и должен сопровождаться индивидуальным планом. Однако независимо от типа мигрируемых систем, объемов баз данных и пр. общая схема миграции выглядит практически идентично.
