Технологии
Нужна помощь в создание Grid (кластера) системы для кодирования видео. - вопрос №19382
Нужна помощь в создание Grid (кластера) системы для кодирования видео. Один компьютер кодирует видео часами. В сети есть множество людей у которых простаивают мощностя процессора и которые согласны предоставить свои компы в помощь.
Хотелось бы узнать, как это можно сделать? Есть ли у кого уже опыт в создании подобных систем? Что для этого нужно?
oleg78 март 1, 2010 г.
-
Всего ответов: 3
-
Олег
и снова , гуглим , гуглим ))
http://habrahabr.ru/blogs/sfworld/25224/
в сети предостаточно информации о процессах так называемых кластерных сетях
и вопрос ваш очень короток и не ясен по большому счету) , что должна делать такая система , какие сети использовать , локальные, глобальные? В вопросе нет конечного результата ) для чего ?
ну вопрос задан , надо отвечать )
вот проект http://www.codergrid.de
-
По состоянию на 2009 год такого сервиса сам нигде не встречал и догадываюсь почему.
Обработка видео - самая "тяжелая" работа для компьютера. Для этого "разгоняют" процессоры, увеличивают оперативную память и ставят мощную видеокарту. Известные кинокомпании для обработки спецэффектов арендуют целые залы с серверами. Одна российская компьютерная фирма уже третий год сообщает в рекламе, что давала свою технику для работы с фрагментами фильма "Особо опасен".
Сам процесс разбивки исходного видеоролика на маленькие кусочки, пересылка их на "простаивающие" компьютеры волонтеров, обратное скачивание на сервер и "склейка" готового файла требует особого подхода кучи опытных программистов.
Да, и с клиентами, которые повернуты на авторском праве, как вы будете обсуждать вопросы приватности и копирайта ?
-
Идея появилась после того, как конвертил фильм Blu-ray (28 Gb, 1080p) без потери качества, кодеком х264 (2 pass) с помощью программы XviD4PSP. На моём довольно мощном компе это заняло около 20 часов. Сжало с 28 до 4,5 Gb. Вот и решил, что было бы не плохо свою видеотеку пережать этим кодеком, раз экономится столько места без потери качества. Друзья согласны предоставить свои компы (как по локалке, так и по инету) если пережму и их фильмы.
Для этого нужно найти софт распределяющий нагрузку на процы компов в сети при конвертации.
Валерий, думаю теперь объяснил более развёрнуто? :)
Вообще удивлён, что до сих пор нет такого сервиса.
По поводу авторских прав. Продавать ничего не собираюсь, исключительно использовать в личных целях, т.е. деятельность не коммерческая. :)
-
все гораздо проще
1 — RAW (сырец) будет занимать очень много места. но выполнить параллельную обработку можно только для RAW медиапотоков. любые алгоритмы сжатия последовательны*, либо кодировка основана на анализе всего первичного обьема данных, либо на том что каждый фрагмент основан на предыдущем, любо и то и другое. единственный способ распаралелить — это порезать исходник на коротеие фрагменты и перекодировать их по отдельности. для алгоритмов сжатия это гарантированно на много более низкое сжатие, для медиапотоков я не знаю, но подозваю что такой грубый подход тоже может иметь недостатки
*не путайте с обработкой на многоядерных GPU. на пример если обработка фрейма может быть распаралелена, но потока нет — это не содержит ни какого логичекого противоречия, если перекодирование основано на пример на сохранении только отличий фрейма от предыдущего
2 — не существует универсального софта распаралелливающего любую вычислительную деятельность. для распределенного выполнения конкретного типа задач должен быть написан конкретный софт. существует ли такой софт (распределенное выполнение именно перекодирования медиапотоков) для Вашей задачи — это самостоятельный вопрос. кстати отсутствие беплатного софта или сервиса не означает что пункт 1 в точности применим к Вашей теме. если такой софт существует — возможно он узкопрофессиональный и очень дорогой
upd
3 — хотя я склоняюсь к технологической версии, есть еще одна. как минимум версия против публичного сервиса подобного рода — законы об охране авторских прав. в некоторых странах даже право просто создавать резервные копии является спорным )))
upd2
проект описаный в
http://habrahabr.ru/blogs/sfworld/25224/
это средство для написания программ подобного рода, но ни в коем случае не готовое решенеи которое можно прикрутить к любой иной программе. та мидет речь о шаринге вот этих GPU )))
ps различайте grid-вычисления и кластер )))
http://ru.wikipedia.org/wiki/%D0%93%D1%80%D0%B8%D0%B4
хотя грид и считают иногда частным случаем кластера, под кластером все таки обычно понимаю NLB или оказоустойчивый кластер, без уточнения Вас очень многие не поймут. см суть различий
Похожие вопросы
{x1 -2x4+x5=1 x3+x4-2x5=2 x2 +2x4+3x5=10 найти три опорных решения данной канонической системы линейных уравнений методом преобразования однократного замещения
октябрь 19, 2015 г.