Оптимізація моделей масштабування процесів обробки потоків даних

Abstract

Кваліфікаційна робота присвячена оптимізації моделей масштабування процесів обробки потоків даних шляхом виконання порівняння продуктивності графових алгоритмів в найсучаснішій системі пакетної обробки, спеціалізованій системі аналізу графів і власному потоку даних системи, яка підтримує як масові, так і поетапні ітерації. В першому розділі проаналізовано підходи до побудови, контролю та масштабування потоків даних, наведено опис платформи Apache Flink для обробки потоків даних. Здійснено огляд моделі та підходу обробки великих потоків даних на основі Apache Flink, наведено основні аспекти проектування систем контролю потоків даних. В другому розділі виконано моделювання послідовностей станів для процесів масштабування обробки потоків даних, приведена концепція обробки потоків на основі епох та досліджено процес моделювання станів даних засобами розподіленого середовища. Приведені процеси реконфігурації системи для масштабування обробки потоків даних та ізоляції доступу для керованого стану даних. В третьому розділі здійснена розробка моделей оптимізації ітеративних потоків даних, описана сутність ітераційної обробки та опис базової моделі ітеративних процесів. Наведені процеси виконання завдань ітеративних процесів, модель масштабування для позачергової ітеративної обробки даних і представлена реалізація підтримки ітераційних процесів на основі Apache Flink.