Распределенные и облачные вычисления

Чему учим

• разрабатывать приложения для работы на вычислительном кластере с использованием языка Python/ Java/ Scala;
  
• выполнять обработку данных из SQL и NoSQL баз данных в распределенной среде;
  
• создавать модели машинного и глубокого обучения с помощью прогопроцессных вычислений;
  
• управлять обработкой поступающих сообщений в кластерной системе;
  
• управлять развертыванием приложения в публичном облаке;
  
• выполнять задачи оценки и оптимизации ресурсов в облачной среде;
  
• управлять реляционными и нереляционными базами в публичном облаке.

Содержание программы

Образовательная программа состоит из трех модулей.

• Модуль 1. Реализация распределенной обработки данных в кластерной среде (86 ч.). Теоретическая часть модуля включает изучение инструментов Apache Spark для выполнения операций обработки данных в распределенной системе, практическая часть даёт возможность закрепить теоретические знания и получить опыт написания приложений на языке Python с использованием фреймворка Apache Spark для задач обработки неструктирированных и структурированных (базы данных, JSON, т.д.) данных, применение инструментов машинного обучения, выполение задач обработки потоковых данных и управления устойчивыми наборами данных в кластерной среде.
• Модуль 2. Разработка распределенных приложений (80 ч.). Теоретическая часть модуля предполагает изучения особенностей проектирования приложений, предполагающих операции с разнородными хранилищами и базами данных и осуществляющих взаимодействие с другими приложениями. В практической части модуля имеется ряд заданий, связанных с разработкой распределенных Web-приложений с использованием инструментов и фреймфорков Python.
• Модуль 3. Технологии облачной обработки данных (84 ч.). Теоретическая часть модуля представляет обсуждение аспектов развертывания, настройки и управления приложениями в облачной среде. В практической части модуля необходимо разработать и развернуть на публичных облаках ряд решений, осуществляющих задачи анализа структурированных и слабоструктурированных наборов данных.