Редактирование: Параллельная Обработка Данных, 04 лекция (от 25 сентября)

Материал из eSyr's wiki.

Внимание: Вы не представились системе. Ваш IP-адрес будет записан в историю изменений этой страницы.

Правка может быть отменена. Пожалуйста, просмотрите сравнение версий, чтобы убедиться, что это именно те изменения, которые вас интересуют, и нажмите «Записать страницу», чтобы изменения вступили в силу.

[[Параллельная Обработка Данных, 03 лекция (от 18 сентября)|Предыдущая лекция]] | [[Параллельная Обработка Данных, 05 лекция (от 02 октября)|Следующая лекция]]

=Коммуникационные среды и технологии=

==Распространенные коммуникационные технологии==

*FastEthernet. Сейчас на нем кластеры уже почти не делают, но приведем для сравнения.Скорость 100 мегабит(12.5 мегабайт). Это пиковые характеристики. При общении процессоров через MPI обычно удается достичь 6-7 МБ/сек. Латентность зависит от производителя. В среднем 70 мкс. Сейчас он уже считается слишком слабым для построения кластеров.

*Следующее поколение Gigabit Ethernet . Его достаточно широко используют в кластерах (125 МБайт/сек). В рамках MPI удается получить порядка 45 МБайт/сек. Латентность как правило больше, чем у FastEthernet. В среднем 90-100 мкс, но можно получить и более низкую латентность. Часто используют в клаcтерах, как самое дешевое решение, или используют как вспомогательную сеть, если есть высокопроизводительные  коммуникационые среды.

==Специализированные коммуникационные среды==

*Myrinet 2000. Пиковая пропускная сопособность 2 гигабита(250 МБ/сек). В рамках MPI порядка 200 МБ/сек.  Латентность 10 мкс. Но это уже другой уровень стоимотсти. За такую коммуникационную среду надо платить примерно столько же сколько за вычислительные узлы.

*SCI(SCalable Coherent Intropy). Правда последнее время о ней не слышно. В отличие от остальных сетевых решений не базируется на свитчах, позволяет создавать двух-трехмерные торы, в ней отсутствует понятие коммутатор, вся коммутация ведется специальными платами, вставляемыми в вычислительные узлы. Давала скорость 400 МБ/сек. И латентность 1.2 мкс. Но новых версий не выходит, поэтому популярность она потеряла. Тоже дорогая технология.

*Сейчас наиболее популярна Infiniband. Популярна в дорогом сегменте. Изначально была рассчитана на скорость 1 ГБ/сек. Сейчас уже продают 20 ГБ/сек. К этому никто из остальных блиизко не подходит. Ведутся разработки ещё более быстрых. Латентность сначала была порядка 7 мкс, сейчас примерно 1.5 мкс.

Это краткие характеристики 5 основных коммуникационных технологий, используемых в кластерах. Зачастую используются несколько коммуникационных сред.

Есть множество других сетевых решений. Эти -- наиболее распространенные.

Краткий обзорчик кластеров мы на этом закончим. И подойдем к завершению темы компьютеров с распределенной памятью.

=Что же влияет на производительность?=

-Не забываем закон Амдала, который важен для компьютеров с распределенной памятью.

-латентность и пропускная способность

-возможность асинхронной посылки сообщений -- влияет на то, что процессор не простаивает, когда общается с другими процессорами.

-равномерная загрузка узлов - очень важный фактор. Надо строить задачу таким образом, что бы все процессорам, которые есть, давалась 
примерно одинаковое количество данных на счет, чтобы процессоры не простаивали. Это относительно легко, когда система однородная, но становится намного сложнее если система неоднородная(узлы с разной производительностью, разной памятью).
Далее, если спускаться на более низкий уровень:

-производительность процессора.Каждый процессор может иметь свою архитектуру.

Таких факторов много, это только основные И нужно учитывать, что все эти факторы действую одновременно.

=GRID=
И как крайнюю точку компьютеров с распределенной памятью рассмотрим ещё один класс.
Если мы двигаемся от компьютеров с общей памятью через компьютеры с массивно-параллельной памятью, через кластеры, то крайней точкой можно рассматривать такое понятие, как мета компьютинг, когда в качестве компьютера рассматривают компьютеры хоть как-то умеющие друг с другом общаться(даже через интернет).Это направление очень модное, так как вычислительная мощность такого компьютера потенциально ужасно огромна. GRID технологии.

==Весьма известные и распространенные проекты==

*PACX-MPI - расширение MPI. MPI работающий через TCP/IP. Было продемонстрировано использование 2 компьютеров(Германия-США), решающих одну задачу. Это хорошо когда в задаче выделяются большие независимые части. Расширение было разработано в конце 90 годов.

*Condar. Занимает нерабочее время корпоративных компьютеров на полезную работу. Свободно распространяемое ПО, есть реализации под различные операционные системы.

==Проекты решающие конкретные прикладные задачи==

*SETI@home - всем желающим было предложено анализировать данные радиолокаторов и иаскть следы внеземных цивилизаций, но вроде ничего не нашли. Но был один из наиболее известных проектов, привлекший внимание к подобным затеям.

*distributed.net -- продолжается даже сейчас, решает ряд задач, в первую очередь расшифровки различных шифров.

*GIMPS - ищут простые числа. В рамках этого проекта найдено максимальное  простое число 2^13466917-1.

Проектов последнее очень много, желающие могут найти информацию. Но это -- решение конкретных задач, а что делать если хочется создать более менее универсальный мета компьютер?
==Универсальные GRID==
Наиболее популярны:

*Globus. Недостаток - сложность установки и настройки. чтобы подключиться надо проделать много магических движений, что бы настроить прочитать много документации. Это является значительным недостатком.

Пожалуйста, обратите внимание, что все ваши добавления могут быть отредактированы или удалены другими участниками. Если вы не хотите, чтобы кто-либо изменял ваши тексты, не помещайте их сюда.
Вы также подтверждаете, что являетесь автором вносимых дополнений, или скопировали их из источника, допускающего свободное распространение и изменение своего содержимого (см. eSyr's_wiki:Авторское право).
НЕ РАЗМЕЩАЙТЕ БЕЗ РАЗРЕШЕНИЯ ОХРАНЯЕМЫЕ АВТОРСКИМ ПРАВОМ МАТЕРИАЛЫ!

Описание изменений:

Отменить | Справка по редактированию (в новом окне)

Шаблоны, использованные на этой странице:

Получено с http://esyr.name/wiki/%D0%9F%D0%B0%D1%80%D0%B0%D0%BB%D0%BB%D0%B5%D0%BB%D1%8C%D0%BD%D0%B0%D1%8F_%D0%9E%D0%B1%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%BA%D0%B0_%D0%94%D0%B0%D0%BD%D0%BD%D1%8B%D1%85%2C_04_%D0%BB%D0%B5%D0%BA%D1%86%D0%B8%D1%8F_%28%D0%BE%D1%82_25_%D1%81%D0%B5%D0%BD%D1%82%D1%8F%D0%B1%D1%80%D1%8F%29

Редактирование: Параллельная Обработка Данных, 04 лекция (от 25 сентября)

Материал из eSyr's wiki.

Просмотры

Личные инструменты

Навигация

инструменты

Разделы

Спецкурсы

9 семестр

7 семестр

5 семестр

3 семестр

Поиск

Инструменты

@@ Строка 7: / Строка 7: @@
 *FastEthernet. Сейчас на нем кластеры уже почти не делают, но приведем для сравнения.Скорость 100 мегабит(12.5 мегабайт). Это пиковые характеристики. При общении процессоров через MPI обычно удается достичь 6-7 МБ/сек. Латентность зависит от производителя. В среднем 70 мкс. Сейчас он уже считается слишком слабым для построения кластеров.
-*Следующее поколение Gigabit Ethernet . Его достаточно широко используют в кластерах (125 МБайт/сек). В рамках MPI удается получить порядка 45 МБайт/сек. Латентность как правило больше, чем у FastEthernet. В среднем 90-100 мкс, но можно получить и более низкую латентность. Часто используют в клаcтерах, как самое дешевое решение, или используют как вспомогательную сеть, если есть высокопроизводительные  коммуникационные среды.
+*Следующее поколение Gigabit Ethernet . Его достаточно широко используют в кластерах (125 МБайт/сек). В рамках MPI удается получить порядка 45 МБайт/сек. Латентность как правило больше, чем у FastEthernet. В среднем 90-100 мкс, но можно получить и более низкую латентность. Часто используют в клаcтерах, как самое дешевое решение, или используют как вспомогательную сеть, если есть высокопроизводительные  коммуникационые среды.
 ==Специализированные коммуникационные среды==
-*Myrinet 2000. Пиковая пропускная способность 2 гигабита(250 МБ/сек). В рамках MPI порядка 200 МБ/сек.  Латентность 10 мкс. Но это уже другой уровень стоимости. За такую коммуникационную среду надо платить примерно столько же сколько за вычислительные узлы.
+*Myrinet 2000. Пиковая пропускная сопособность 2 гигабита(250 МБ/сек). В рамках MPI порядка 200 МБ/сек.  Латентность 10 мкс. Но это уже другой уровень стоимотсти. За такую коммуникационную среду надо платить примерно столько же сколько за вычислительные узлы.
-*SCI(Scalable Coherent Intropy). Правда последнее время о ней не слышно. В отличие от остальных сетевых решений не базируется на свитчах, позволяет создавать двух-трехмерные торы, в ней отсутствует понятие коммутатор, вся коммутация ведется специальными платами, вставляемыми в вычислительные узлы. Давала скорость 400 МБ/сек. И латентность 1.2 мкс. Но новых версий не выходит, поэтому популярность она потеряла. Тоже дорогая технология.
+*SCI(SCalable Coherent Intropy). Правда последнее время о ней не слышно. В отличие от остальных сетевых решений не базируется на свитчах, позволяет создавать двух-трехмерные торы, в ней отсутствует понятие коммутатор, вся коммутация ведется специальными платами, вставляемыми в вычислительные узлы. Давала скорость 400 МБ/сек. И латентность 1.2 мкс. Но новых версий не выходит, поэтому популярность она потеряла. Тоже дорогая технология.
-*Сейчас наиболее популярна Infiniband. Популярна в дорогом сегменте. Изначально была рассчитана на скорость 1 ГБ/сек. Сейчас уже продают 20 ГБ/сек. К этому никто из остальных близко не подходит. Ведутся разработки ещё более быстрых. Латентность сначала была порядка 7 мкс, сейчас примерно 1.5 мкс.
+*Сейчас наиболее популярна Infiniband. Популярна в дорогом сегменте. Изначально была рассчитана на скорость 1 ГБ/сек. Сейчас уже продают 20 ГБ/сек. К этому никто из остальных блиизко не подходит. Ведутся разработки ещё более быстрых. Латентность сначала была порядка 7 мкс, сейчас примерно 1.5 мкс.
@@ Строка 23: / Строка 23: @@
 Краткий обзорчик кластеров мы на этом закончим. И подойдем к завершению темы компьютеров с распределенной памятью.
 =Что же влияет на производительность?=