Hiload для чайников

Индустрия не стоит на месте, развитие идет. Народу нужно строить высоконагруженные сайты — индустрия подгоняет инструменты. Вот уже «Как Построить Гуглоридер на PHP, Для Чайников» появляются.

Если запустить написанный нами скрипт, то он будет работать как и обычная “ПеХаПешка” - сначала первая лента, потом вторая и так далее. И неважно, на скольких серверах ты его запустишь. К тому же, ошибка при обработке какой-то ленты вырубит сразу весь скрипт, а значит, остальные новости будут пропущены. Непорядок, согласись. Настоящие пацаны пишут масштабируемые и параллельные приложения на Java, С или хоть бы Python. И будут косо смотреть в твою сторону, если ты скажешь, что напишешь такое же на РНР. Не смотри на них, давай писать на РНР!

А поможет тебе в этом почётном деле крутая штука под названием Gearman. Это такой специальный сервер, который берет на себя всю работу по управлению заданиями, которые ты ему поручишь. Он сам выстроит их в очередь, посмотрит, сколько серверов и процессов у него есть, потом разошлёт всем работу, проконтролирует её выполнение и соберёт результаты.

abrdev.com/?p=1138

Лучше день потерять, да потом за час долететь:

We spent a number of days laying out this project. We planned for how to move these images to the cloud and resize the whole batch using EC2. We investigated resizing each photo on-demand as it was displayed on the site. Both of these options had drawbacks for us.

...

...им удалось завершить обработку 135 млн фотографий всего за 9 дней, задействуя четыре 16-ядерных сервера. Средняя скорость обработки составила 180 изображений в секунду.

habrahabr.ru/blogs/webdev/99108