Migracje danych zawodzą w sposób spektakularny i kosztowny. Europejska firma usług finansowych przeniosła dane klientów do nowego systemu CRM, by trzy miesiące później odkryć, że 15% adresów klientów zostało uszkodzonych podczas transferu, co skutkowało nieudanymi dostawami, sfrustrowanymi klientami i kosztami operacyjnymi w wysokości 2 mln euro, zanim problem został całkowicie rozwiązany. 

To nie jest odosobniony przypadek. Według badania Bloor, 83% projektów migracji danych albo kończy się niepowodzeniem, albo znacznie przekracza budżet i harmonogram. Głównym winowajc{

Migracje to także miejsce, w którym najczęściej pojawiają się rekordy osierocone: wiersze podrzędne ładują się przed nadrzędnymi albo klucze zmieniają po drodze format. Zobacz, jak znaleźć rekordy osierocone w SQL i nie dopuszczać do nich po każdym ładowaniu.

Najczęściej zadawane pytania

Dlaczego walidacja danych zawodzi podczas migracji?

Najczęstszym błędem jest kontrola typu „wygląda dobrze”: liczba wierszy się zgadza, dashboardy się wyświetlają, a nikt nie porównuje rozkładów ani znaczenia biznesowego danych. Większość pozostałych problemów wynika z błędnych założeń dotyczących mapowania schematów oraz walidacji przeprowadzanej dopiero na końcu projektu.

Co należy walidować podczas migracji danych?

Wolumeny, rozkłady, odsetek wartości NULL, powiązania kluczy i czasy dostarczenia zarówno w systemie źródłowym, jak i docelowym, zbiór po zbiorze – a nie tylko łączną liczbę wierszy. Porównanie kształtu danych wychwytuje problemy, które porównanie liczności przepuszcza.

Kiedy uruchamiać walidację w projekcie migracyjnym?

W sposób ciągły, po obu stronach, od pierwszego ładowania testowego aż do okresu po przełączeniu. Walidacja przeprowadzona dopiero na końcu informuje, że coś jest nie tak, ale nie mówi, kiedy problem się zaczął.

Czym jest uzgadnianie danych podczas migracji?

Uzgadnianie (rekoncyliacja) to systematyczne porównanie źródła i celu: te same metryki obliczane na obu platformach i porównywane dla każdego zbioru danych, tak aby każdą różnicę można było jednoznacznie przypisać, zamiast się o nią spierać.

Jak europejskie przepisy o danych wpływają na walidację migracji?

Obowiązki dotyczące rezydencji danych i ochrony prywatności często uniemożliwiają kopiowanie danych produkcyjnych do platformy zewnętrznej w celu ich sprawdzenia, co oznacza, że walidacja musi odbywać się w środowiskach, w których dane już się znajdują.