Железо и гаджеты

Установлен рекорд скорости сортировки данных

28 июля 2010 года, 01:59 | Текст: Дмитрий Сафин | Послушать эту новость

Исследователи из Калифорнийского университета в Сан-Диего (США) создали систему, которая за минуту справилась с сортировкой массива данных объёмом 1,014 Тб.

Результат был показан на специализированных «соревнованиях» Sort Benchmark, где для выявления победителей используются эталонные тесты.

«Сортировка — комплексное испытание, которое позволяет моделировать целый ряд других проблем обработки данных, — рассказывает участник научной группы Алекс Расмуссен (Alex Rasmussen). — Это удобный способ измерения того, насколько быстро вы можете считать данные с некоторого набора дисков, произвести какие-то простые операции, передать информацию по сети и записать её на другие диски. Сортировка нагружает всю подсистему ввода/вывода: жёсткие диски, сетевое оборудование, операционную систему, прикладное ПО».

Алекс Расмуссен. На заднем плане — стойки с серверами, сортировавшими данные.

Установившая рекорд система состояла из 52 серверов HP ProLiant DL380 G6. Каждый оснащён двумя четырёхъядерными процессорами Intel Xeon E5520, работающими на частоте 2,27 ГГц, 24 Гб оперативной памяти и 16 жёсткими дисками на 500 Гб, отформатированными в файловой системе ext4. На всех компьютерах была установлена ОС с Linux-ядром версии 2.6.32.8. Развёрнутое описание экспериментальной установки можно скачать отсюда.

Команда Калифорнийского университета также заняла первое место в другой номинации, где требовалось отсортировать 100 Тб данных. На решение этой задачи ушло 10 318 секунд (около 172 минут); скорость сортировки, таким образом, составила 0,582 Тб/мин. Показавшая этот результат система была построена на основе 47 серверов описанной выше конфигурации. «Мы использовали в четыре раза меньше компьютеров, чем команда, ранее добившаяся таких же значений скорости сортировки, — говорит другой участник работ Джордж Портер (George Porter). — А это значит, что в четыре раза было снижено энергопотребление и размеры системы».

Подготовлено по материалам Калифорнийского университета в Сан-Диего.