Масштабируемость

Вроде достаточно просто, но впечатляет: если в реализации алгоритма 10% вычислений строго последовательны, нет смысла считать такую задачу на кластере более чем из 100 узлов, при этом максимальный выигрыш - в 10 раз быстрее чем на одном узле. Более десятикратного роста на такой задаче не добиться.
Закон Амдала выводит зависимость роста производительности от количества вычислителей и количества последовательных вычислений.

А тем временем только ленивый не написал про фреймворк MapReduce. Поскольку я ленивый не совсем, я тоже напишу.
По простому.
Вся фенечка этого фреймворка в том, что вам надо написать две функции для обработки ваших петабайт данных. Всего две.

Первая
map (in_key, in_value) -> list(out_key, intermediate_value)
и вторая
reduce (out_key, list(intermediate_value)) -> list(out_value)

Функция мэп получает на вход куски ваших данных в виде "ключ - значение", что-то делает (вам видней что, это ваша функция) и должна выдать результат в виде "ключ - значение".
Далее работает фреймворк, он группирует выход функции мэп так, чтобы ключи не повторялись, поэтому ключи связаны уже со списками значений (если в выходе мэп был уникальный ключ, то список получится из одного элемента).
И эти пары "ключ - список значений" фреймворк передает в вашу функцию редюс. Которая посчитает то, что вам надо. В виде списка или единственного значения, вам видней.

Если у вас есть задача, которую можно посчитать в таком стиле, если данных для обсчета очень много - ура, с помощью этого фреймворка вы можете посчитать свою задачу на гуглевом кластере. Очень быстро.

http://ru.wikipedia.org/wiki/MapReduce