Записки программиста, обо всем и ни о чем. Но, наверное, больше профессионального.

2006-07-16

как оценить требования к ГИС железкам

Наверное многих гисостроителей интересует тема "как подобрать/посчитать" железо под систему? Вот взгляд на тему, по следам переписки по электропочте:

цитата из письма первого:

На самом деле я и сам давно в ГИСовской тематике, вы наверняка натыкались и на мои статьи...но общаясь с очередным заказчиком вдруг заполучил вопрос о возможной связи между некими статистическими параметрами объекта, подлежащего ГИСизации (мера, степень, глубина..) и "железными" параметрами сервера.
Я-то привык это решать по принципу "начните с такого-то минимума, а там посмотрим как пойдет", но настырный клиент не отстает...Не натыкались на какую-то оценку?

Спасибо заранее за любой ответ,


вот цитата из ответа:


Я попросил сказать пару слов по Вашему вопросу одного из коллег, получилось примерно так:

"...да, вопрос туманен.
Что может дать объект гисизации в плане требований к железу?
Убьем хранимых/обрабатываемых/выдаваемых данных? В единицу времени?
Типы данных (растры, вектор, атрибутика)?
Скорость роста объема данных?

А как получить оценку количества пользователей, средний профиль работы типичного пользователя?
Архитектура системы и конкретный программный комплекс тоже имеют определенные требования.

В общем, грубо, серверные системы можно оценить по объему данных (хранимых, обрабатываемых), пропускной способности систем ввода-вывода, скорости обработки определенного объема данных (вычислительная мощность), надежность (бесперебойность), масштабируемость.

Можно ли параметры объекта гисизации отобразить на эти параметры сервера? Только на основе опыта построения аналогичных систем. И только очень грубо.
А, кроме того, ГИС становится частью КИС, с взаимной диффузией данных и функций между подсистемами, в какой-то момент уже и не скажешь, данные и серверы гисовые или не только. Кстати, именно поэтому так популярны серверные фермы и хранение данных в SAN - всегда можно недорого добавить еще выч. мощности, объемов к хранилищу.

Простой ответ такой: безусловно, связь есть между параметрами объекта и требованиями к железу. И наиболее очевидная - масштабы объекта прямо пропорциональны размерам подсистемы хранения".

В общем, я могу только присоединиться к этим формулировкам.
От себя добавлю, что мы когда-то прикидывали конфигурацию серверной группы для одного из Заказчиков, просчитывая приведенные выше параметры, но проблема в том, что Заказчик не мог сам оценить, что у него есть и как он с системой собирается работать. Быть может Ваш принцип: "начните с такого-то минимума, а там посмотрим, как пойдет" можно сдобрить предложением сначала Заказчику помочь подумать о конфигурации, которая его устроит на какое время развития и роста системы, а потом, когда мощности не смогут сильно масштабироваться, просто перенести используемую технику на другие задачи. Ротация оборудования она же всегда идет.

В общем, вот такие мысли, ничего нового...


ну и финальная цитата:


Re: про ГИСовы " железки"

спасибо за пространный ответ, вы утвердили меня в собственном мнении, а это немало :-)
Мне-то, по большому счету, это совсем не нужно, но мы вышли на "поляну" ххх кадастра. а большие "дяди и тети" часто необоснованно умничают, вместо того, чтобы просто слушать мнение экспертов, к коим я отношу нас обоих.
Вот у нас идет сейчас промышленная эксплуатация системы в ххх, одновременно на редактировании вращаются до 4 миллионов графических объектов, десятки пользователей...начали с некой разумной конфигурации, теперь стало видно, что стоит в первую очередь подумать о гигабитной сети, в общем, все в процессе.
А в другом регионе мне с апломбом заявляют: это почему это для неодинаковых муниципальных образований вы предлагаете одинаковые железки? Для чего ж вы, песьи дети, делали обследование? вот и вычислите нам теперь индивидуальные для каждого города мегабайты и гигагерцы...на дурацкий вопрос, конечно, и ответ должен быть дурацкий, но что-то я и зацепиться ни за что не могу...



Напоследок могу привести пример расчета серверных мощностей по известным (собранным статистически на этапе пилота) параметрам:

Данные, принятые к расчету Расчетный Ожидаемый Пиковый
Количество пользователей (чел.) 200 40 200
Максимальное допустимое время ответа (сек.) 30 3 3
Среднестатистический размер ответа на запрос (Мб) 1 1 1
Общий объем данных, обрабатываемых системой (Мб) 5000 5000 5000
Поддержка сессии пользователя в оперативной памяти (Мб) 5 5 5
Средний объем данных обрабатываемых сервером для ответа на запрос (Мб) 500 400 600
Память, используемая операционной системой (Мб) 300 300 300
Память для кеширования информации файловой системы (Мб) 300 300 300
Коэффициент запаса 2 2 2


Расчет объема оперативной памяти на кластер (Мб) 4200 2400 4400
по формуле: (кол.пользователей*памятьНаСессию+обьемОбрабатываемыхДанных+памятьОС+обьемКэша)*запас


Расчет системы ввода-вывода на кластер


Внутрисерверный ввод-вывод (Мб/сек.) 6666,67 10666,67 80000
Ввод-вывод к клиентам (Мб/сек.) 13,33 26,67 133,33
по формулам: пользователи*обьемОбрабатываемыхДанных/времяОтвета*запас
пользователи*размерОтвета/времяОтвета*запас

Данные для расчета вычислительной мощности


Частота процесора (Ггц) 3,5

Запросов 1

Время ответа (сек.) 1

Загрузка процессора (%) 40

Ггц на запрос, чтобы ответить в секунду 1,4

Нагрузка (Ггц) 9,33 18,67 93,33

формула: пользователей/времяОтвета*ГгцНаЗапросДляОтветаВСекунду

Комментариев нет:

Отправить комментарий

Архив блога

Ярлыки

linux (241) python (191) citation (186) web-develop (170) gov.ru (159) video (124) бытовуха (115) sysadm (100) GIS (97) Zope(Plone) (88) бурчалки (84) Book (83) programming (82) грабли (77) Fun (76) development (73) windsurfing (72) Microsoft (64) hiload (62) internet provider (57) opensource (57) security (57) опыт (55) movie (52) Wisdom (51) ML (47) driving (45) hardware (45) language (45) money (42) JS (41) curse (40) bigdata (39) DBMS (38) ArcGIS (34) history (31) PDA (30) howto (30) holyday (29) Google (27) Oracle (27) tourism (27) virtbox (27) health (26) vacation (24) AI (23) Autodesk (23) SQL (23) Java (22) humor (22) knowledge (22) translate (20) CSS (19) cheatsheet (19) hack (19) Apache (16) Manager (15) web-browser (15) Никонов (15) Klaipeda (14) functional programming (14) happiness (14) music (14) todo (14) PHP (13) course (13) scala (13) weapon (13) HTTP. Apache (12) SSH (12) frameworks (12) hero (12) im (12) settings (12) HTML (11) SciTE (11) USA (11) crypto (11) game (11) map (11) HTTPD (9) ODF (9) Photo (9) купи/продай (9) benchmark (8) documentation (8) 3D (7) CS (7) DNS (7) NoSQL (7) cloud (7) django (7) gun (7) matroska (7) telephony (7) Microsoft Office (6) VCS (6) bluetooth (6) pidgin (6) proxy (6) Donald Knuth (5) ETL (5) NVIDIA (5) Palanga (5) REST (5) bash (5) flash (5) keyboard (5) price (5) samba (5) CGI (4) LISP (4) RoR (4) cache (4) car (4) display (4) holywar (4) nginx (4) pistol (4) spark (4) xml (4) Лебедев (4) IDE (3) IE8 (3) J2EE (3) NTFS (3) RDP (3) holiday (3) mount (3) Гоблин (3) кухня (3) урюк (3) AMQP (2) ERP (2) IE7 (2) NAS (2) Naudoc (2) PDF (2) address (2) air (2) british (2) coffee (2) fitness (2) font (2) ftp (2) fuckup (2) messaging (2) notify (2) sharepoint (2) ssl/tls (2) stardict (2) tests (2) tunnel (2) udev (2) APT (1) CRUD (1) Canyonlands (1) Cyprus (1) DVDShrink (1) Jabber (1) K9Copy (1) Matlab (1) Portugal (1) VBA (1) WD My Book (1) autoit (1) bike (1) cannabis (1) chat (1) concurrent (1) dbf (1) ext4 (1) idioten (1) join (1) krusader (1) license (1) life (1) migration (1) mindmap (1) navitel (1) pneumatic weapon (1) quiz (1) regexp (1) robot (1) science (1) serialization (1) spatial (1) tie (1) vim (1) Науру (1) крысы (1) налоги (1) пианино (1)