Анализ масштабируемости кластерных систем с учетом накладных расходов

Выводы:

- Эффективность падает с увеличением числа процессоров

- Эффективность растет с увеличением сложности задачи

14. Кластерные системы. Проблема организации связей между узлами кластера. Типы сетей в кластерах. Стандартные сетевые технологии, применяемые для соединения узлов (Ethernet, Infiniband). Технология RDMA.

Сеть кластера в первую очередь предназначена не для связи машин, а для связи вычислительных процессов. Поэтому чем выше будет пропускная способность вашей сети, тем быстрее будут считаться параллельные задачи, запущенные на кластере.

Параметры сетевого оборудования:

Пропускная способность - это скорость передачи данных между двумя узлами после того, как связь установлена.

Латентность - это среднее время между вызовом функции передачи данных и самой передачей. Время затрачивается на адресацию информации, срабатывание промежуточных сетевых устройств, прочие накладные расходы, возникающие при передаче данных.

Сетевые технологии для кластерных систем

Gigabit Ethernet:

- Производители: Intel, Broadcom,…

- Пропускная способность TCP/IP: до 120 Мбайт/с

- Пропускная способность MPI:до 70 Мбайт/с

- Задержка: ~50 мкс

- Топология: Коммутируемая

10G Ethernet:

- Производители: Mellanox, Cisco, Brocade,…

- Пропускная способность TCP/IP: до 1,2 Гбайт/с

- Пропускная способность MPI: до 700 Мбайт/с

- Задержка: ~10 мкс

- Топология: Коммутируемая

InfiniBand:

- Производители: Qlogic, Mellanox,Cisco, …

- Эффективная пропускная способность: базовая 2ГБит/с (модификации SDR, DDR, QDR, FDR, EDR, 1Х, 4Х, 12Х) до 56 Гбит/с

- Задержка: ~ 100 нс – 500 нс (3 мкс)

- Топология: Fat Tree (до 648 портов в коммутаторе/директоре)

Проприетарные технологии:

- Тороидальные топологии межузловых соединений: пример: Tofu interconnect Architecture (6D torus, 10 link, 2009) - K Computer

- Каждый с каждым: NEC SX

RDMA: классический режим работы DMA: прямой доступ к памяти - режим обмена данными между устройствами или же между устройством и основной памятью без участия ЦП. В результате скорость передачи увеличивается, так как данные не пересылаются в ЦП и обратно.

RDMA: удаленный прямой доступ в память: вариант прямого доступа к памяти DMA к ОЗУ другого компьютера. Такой доступ позволяет получить доступ к данным хранящимся в удаленной системе без привлечения ОС обоих компьютеров. Является методом пересылки данных с высокой пропускной способностью и низкой латентностью и особенно полезен в кластерах.

 

15. Кластерные системы. Архитектуры межузловых соединений (топологии). Метрики (характеристики) топологий. Типы передач данных при оценке потерь.

Классификации топологий

1. Уровень

- Логический

- Физический

2. Однородность

- Однородные

- Неоднородные

3. Регулярность

- Регулярные

- Нерегулярные

- Частично регулярные: с краевыми эффектами, с нарушенной структурой

- Иерархические

Некоторые топологии:

- Шина

- N-мерная решетка

- Звезда

- Кольцо

- Полносвязная

- Дерево (в т.ч. бинарное)

- Гиперкуб

- 2D/3D-тор

- Толстое дерево (Fat Tree) (1)

- Плоская бабочка (Flattened Butterfly) (2)

- Топология Dragonfly (3)

Характеристики топологий:

- Диаметр (D)

- Связность (C)

- Ширина бинарного деления (BW)

- Стоимость (Cst)

Типы передач:

1. По способу передачи

- Сообщения

- Пакеты

2. По направлению:

- 1->1

- Простая 1->N / N->1

- Обобщенная 1->N / N->1

- Обобщенная N->N