Программирование [ВigData Тeam] Практический курс по Big Data. Часть 2. Spark: from zero to hero (2023)

[Dr. Dre]

На протяжении этой части курса вы будете работать со Spark: от основных терминов и RDD до Spark DataFrames и оптимизации Spark вычислений.

В этом модуле вы изучите:

• cхема выполнения задачи в Spark;
• основные термины Spark (job, task, stage);
• представление вычислений в виде графа. Spark Python API. Spark RDD API;
• Broadcast-сообщения и счетчики.
• взаимодействие Hive и Spark SQL;
• отличия DF от RDD.
• Spark on YARN;
• типы stage в Spark;
• оптимизация операции shuffle;
• настройка Garbage Collection, тюнинг потребления памяти.

Курс ведет: ВigData Тeam

О курсе от автора:

Для просмотра ссылок пройдите регистрацию

Скачать материалы курса:

Для просмотра ссылок пройдите регистрацию!

Материал может быть удалён по требованию правообладателя