“Яндекс”, netflix и ibm ускоряют обработку “больших данных” с помощью графических процессоров

В понедельник в Сан-Хосе началась конференция Nvidia 2014 GPU Technology не, посвящённая графическим ускорителям Nvidia. Вопреки расхожему представлению, они годятся не только для увеличения качества трёхмерной графики в компьютерных играх. Многие компании применяют ускорители Nvidia для параллельной обработки громадных количеств данных.

На конференции обсуждали решения подобного рода, каковые разрабатывают в “Яндексе”, Netflix и Baidu. Все они пробуют улучшить производительность методов машинного обучения за счёт применения Nvidia CUDA – программно-аппаратной архитектуры параллельных вычислений Nvidia.

В Nvidia утверждают, что “Яндекс” был одной из первых компаний, каковые стали использовать совокупности на базе Nvidia Tesla для улучшения ранжирования поисковых результатов. Железо Nvidia разрешило ускорить тренировку моделей ранжирования в двадцать раз если сравнивать с производительностью, которую давали простые процессоры.

Второй поисковик – китайский Baidu – использует процессоры Nvidia для увеличения производительности на самых разнообразных задачах, подразумевающих глубокое обучение и работу с огромными нейронными сетями. В их перечень, например, входят распознавание речи, непроизвольный перевод, распознавание текстовых документов, распознавание образов, а также лиц людей, поиск по изображениям и оптимизация размещения сетевой рекламы.

Netflix экспериментирует с нейронной сетью, которая разбирает изюминке поведения десятков миллионов подписчиков видеосервиса и пробует уловить, какие конкретно фильмы оптимальнее порекомендовать каждому из них. Она также реализована на базе графических процессоров Nvidia.

Представители IBM поведают на конференции о том, как корпорация применяет ускорители Nvidia для кластеризации данных, делаемой при помощи фреймворков Hadoop и Mahout.

Кластеризация может употребляться, например, чтобы выделить в массиве информации о клиентах людей со схожим поведением. Полученные результаты смогут оказать помощь разрабатывать продукты, рассчитанные на разные группы потребителей, либо проводить адресные маркетинговые кампании.

Случайное видео:


Интересные записи: