PayPal & Python

Махмуд, ведущий разработчик в PayPal, рассказал нам, почему мифы — такие мифы и как правильно готовить Python в энтерпрайзе

I joined PayPal a few years ago, and chose Python to work on internal applications, but I’ve personally found production PayPal Python code from nearly 15 years ago.

Today, Python powers over 50 projects, including:

Features and products, such as eBay Now and RedLaser

Operations and infrastructure, both OpenStack and proprietary

Mid-tier services and applications, like the one used to set PayPal’s prices and check customer feature eligibility

Monitoring agents and interfaces, used for several deployment and security use cases

Batch jobs for data import, price adjustment, and more

And far too many developer tools to count

In the coming series of posts I’ll detail the initiatives and technologies that led the eBay/PayPal Python community to grow from just under 25 engineers in 2011 to over 260 in 2014. For this introductory post, I’ll be focusing on the 10 myths I’ve had to debunk the most in eBay and PayPal’s enterprise environments

https://www.paypal-engineering.com/2014/12/10/10-myths-of-enterprise-python/

Myth #1: Python is a new language

Myth #2: Python is not compiled

Myth #3: Python is not secure

Myth #4: Python is a scripting language

Myth #5: Python is weakly-typed

Myth #6: Python is slow

Myth #7: Python does not scale

Myth #8: Python lacks good concurrency support

Myth #9: Python programmers are scarce

Myth #10: Python is not for big projects

https://www.paypal-engineering.com/2014/12/10/10-myths-of-enterprise-python/

Из этой десятки мифов реальный интерес представляют номера 3, 6, 7, 8.

Приводя примеры из жизни, Махмуд на пальцах объясняет, почему это всего лишь мифы а не горькая правда жизни.

original post http://vasnake.blogspot.com/2015/03/paypa-python.html

Access for BigData

Airbnb выпустил свой инструментарий для работы с БигДата, что-то вроде MS Access, пользовательский интерфейс к залежам данных в Hadoop.

Apartment-sharing startup Airbnb has open sourced a tool called Airpal that the company built to give more of its employees access to the data they need for their jobs. Airpal is built atop the Presto SQL engine that Facebook created in order to speed access to data stored in Hadoop.

Airbnb built Airpal about a year ago so that employees across divisions and roles could get fast access to data rather than having to wait for a data analyst or data scientist to run a query for them. According to product manager James Mayfield, it’s designed to make it easier for novices to write SQL queries by giving them access to a visual interface, previews of the data they’re accessing, and the ability to share and reuse queries

https://gigaom.com/2015/03/05/airbnb-open-sources-sql-tool-built-on-facebooks-presto-database/

A couple years ago, Facebook created and then open sourced Presto as a means to solve Hive’s speed problems. It still accesses data from Hive, but is designed to deliver results at interactive speeds rather than in minutes or, depending on the query, much longer. It also uses standard ANSI SQL, which Kramolisch said is easier to learn than the Hive Query Language and its “lots of hidden gotchas.”

https://gigaom.com/2015/03/05/airbnb-open-sources-sql-tool-built-on-facebooks-presto-database/

https://github.com/airbnb/airpal

http://labs.gree.jp/blog/2014/12/12838/

https://www.facebook.com/prestodb

Популярная онлайн-площадка для краткосрочной аренды жилья Airbnb представила свою новую Open Source-разработку Airpal — инструмент для анализа данных, основанный на движке Presto SQL от Facebook.

До сих пор в Airbnb использовалась система управления данными Apache Hive, работающая на платформе Hadoop и довольно сложная в плане использования конечным пользователем. Новый же инструмент — Airpal — имеет графический интерфейс, позволяющий составлять SQL-запросы к базам данных без особых усилий. В его основе лежит PrestoDB — Open Source-проект Facebook, запущенный пару лет тому назад с целью решить проблему с недостаточно высокой производительностью Hive

http://www.nixp.ru/news/13256.html

original post http://vasnake.blogspot.com/2015/03/access-for-bigdata.html

Transfer learning и поиск похожих изображений

ML, transfer learning.

Использование уже построенных моделей, наработанных знаний, для решения других задач.

В качестве аналогии приводится мой любимый пример, когда мозг перестраивается и обучается распознавать визуальные образы через вкусовые или слуховые центры.

Авторы проводят четкую границу между стандартным машинным обучением и transfer learning. В стандартном подходе у вас есть только цель и набор данных, а задача заключается в том, чтобы какими-либо методами достичь этой цели. В рамках решения задачи вы можете построить глубокую сеть, предобучить ее жадным алгоритмом, построить еще с десяток таких же и каким-либо образом сделать ансамбль из них. Но все это будет в рамках решения какой-то одной проблемы, и время, потраченное на решение такой проблемы, будет сравнимо с суммарным временем, потраченным на обучение каждой модели, и ее предобучение.

А теперь представьте, что есть две задачи, и решали их, возможно, даже разные люди. Один из них использует часть модели другого (source task) для уменьшения временных затрат на создание модели с нуля и улучшения производительности своей модели (target task). Процесс передачи знаний от одной проблемы к другой и есть transfer learning. А наш мозг, вероятно, так и поступает. Как в примере выше, его реальная задача почувствовать вкус рецепторами языка и видеть глазами. Встает задача — воспринимать визуальную информацию рецепторами языка. И вместо того, чтобы вырастить новые нейроны или же сбросить веса старых и обучить их заново, мозг просто слегка корректирует имеющуюся нейронную сеть для достижения результата

http://habrahabr.ru/company/mailru/blog/252965/

Во второй части статьи рассматривается практический пример, в котором решалась задача поиска похожих изображений.

При этом, на первом этапе выделения свойств картинки, была использована уже обученная сеть победителей конкурса ImageNet.

При такой вариативности датасета логично предположить, что где-то в сети присутствует эффективный извлекатель признаков, а также классификатор, который и решает, к какому классу относится изображение. Хотелось бы достать этот самый извлекатель, отделить его от классификатора и поиспользовать его для обучения глубокого автоенкодера из статьи о семантическом хешировании

http://habrahabr.ru/company/mailru/blog/252965/

Очень интересно.

original post http://vasnake.blogspot.com/2015/03/transfer-learning.html

ArcGIS Server Object Interceptors

ArcGIS SOI это новая фишка для ArcGIS Server, прослойка, позволяющая вмешиваться в запросы/ответы сервера.

They have the same API as Server Object Extensions, and are intended to extend an ArcGIS Server with custom capabilities. An SOI intercepts REST and/or SOAP calls on a MapServer before and/or after it executes the operation on an SOE or SO. Think servlet filters

http://thunderheadxpler.blogspot.ru/2015/03/bigdata-memsql-and-arcgis-soi.html

Mansour сделал showcase с использованием SOI и BigData (MemSQL), для отображения на веб-карте маршрутов такси

The good folks at MemSQL bootstrapped a set of AWS instances with their “new” engine and loaded the now-very-famous New York City taxis trips data. This (very very small) set consists of about 170 million records with geospatial and temporal information such as pickup and drop off locations and times. Each trip has additional attributes such as travel times, distances and number of passengers. It was up to me now to query and display dynamically this information in a standard WebMap on every map pan and zoom. What do I mean by “standard” here, is that an out-of-the-box WebMap should be able to interact with this MemSQL database without being augmented with a new layer type or any other functionality. Thus the usage of an SOI. It will intercept the call to an export image operation with a map extent as an argument in a “stand-in” MapService and will execute a spatial MemSQL call on the AWS instances. The result set is drawn on an off-screen PNG image and is sent back to the requesting WebMap for display as a layer on a map

http://thunderheadxpler.blogspot.ru/2015/03/bigdata-memsql-and-arcgis-soi.html

https://github.com/mraad/ExportImageSOI

original post http://vasnake.blogspot.com/2015/03/arcgis-server-object-interceptors.html

An army of frogs

Интересная табличка нашлась на просторах Интернета.

Как для разных животных и прочих насекомых называют скопления, группы.

Ну, типа «стадо коров».

http://www.npwrc.usgs.gov/about/faqs/animals/names.htm

we have received a spate of questions on collective nouns or group names for all sorts of critters. Perhaps the following, gleaned and compiled from several sources, will help. I've tried to indicate proper usage for terms that apply to a specific type of assemblage or to only a single gender or age, but some of my sources were fairly general. Where my sources disagreed on spelling, I let the majority rule. This listing exhausts the meager pile of references available at Northern Prairie Wildlife Research Center; if the animal that you are interested in doesn't appear here, please, please, ask someone else, because I can't help you!

http://www.npwrc.usgs.gov/about/faqs/animals/names.htm

Mammals | Birds | Reptiles and Amphibians | Fish | Invertebrates

---

Mammals
Apes	A shrewdness
Asses	A pace
Badgers	A cete
Bats	A colony
Bears	A sloth, sleuth
Buffalo	A gang, an obstinacy (I suspect these refer to old world buffalo; use "herd" for American bison)
Cats	A clowder, a pounce; for kittens...A kindle, litter, an intrigue
Cattle	A drove, herd
Deer	A herd, bevy (refers only to roe deer)
Dogs	A litter (young), pack (wild), cowardice (of curs); specific to hounds...A cry, mute, pack, kennel
Elephants	A herd
Elk	A gang
Ferrets	A business
Fox	A leash, skulk, earth
Giraffes	A tower
Goats	A tribe, trip
Gorillas	A band
Hippopotamuses	A bloat
Horses	A team, harras, rag (for colts), stud (a group of horses belonging to a single owner, string (ponies)
Hyenas	A cackle
Kangaroos	A troop
Leopards	A leap
Lions	A pride
Martens	A richness
Moles	A labor
Monkeys	A troop, barrel
Mules	A pack, span, barren
Otters	A romp
Oxen	A team, yoke
Pigs	A drift, drove, litter (young), sounder (of swine), team, passel (of hogs), singular (refers to a group of boars)
Porcupines	A prickle
Rabbits	A colony, warren, nest, herd (domestic only), litter (young); specific to hares...A down, husk
Rhinoceroses	A crash
Seals	A pod, herd
Sheep	A drove, flock, herd
Squirrels	A dray, scurry
Tigers	A streak
Whales	A pod, gam, herd
Wolves	A pack, rout or route (when in movement)

Return to Top

---

Birds
Birds in general	A flight (in the air), flock (on the ground), volary, brace (generally for gamebirds or waterfowl, referring to a pair or couple killed by a hunter)
Bitterns	A sedge
Buzzards	A wake
Bobolinks	A chain
Chicks (of many species)	A brood; clutch
Coots	A cover
Cormorants	A gulp
Cranes	A sedge
Crows	A murder, horde
Dotterel	A trip
Doves	A dule, pitying (specific to turtle doves)
Ducks	A brace, flock (in flight), raft (on water) team, paddling (on water), badling
Eagles	A convocation
Finches	A charm
Flamingos	A stand
Geese	A flock, gaggle (on the ground), skein (in flight)
Grouse	A pack (in late season)
Gulls	A colony
Hawks	A cast, kettle (flying in large numbers), boil (two or more spiraling in flight)
Herons	A sedge, a siege
Jays	A party, scold
Lapwings	A deceit
Larks	An exaltation
Mallards	A sord (in flight), brace
Magpies	A tiding, gulp, murder, charm
Nightingales	A watch
Owls	A parliament
Parrots	A company
Partridge	A covey
Peacocks	A muster, an ostentation
Penguins	A colony
Pheasant	A nest, nide (a brood), nye, bouquet
Plovers	A congregation, wing (in flight)
Ptarmigans	A covey
Rooks	A building
Quail	A bevy, covey
Ravens	An unkindness
Snipe	A walk, a wisp
Sparrows	A host
Starlings	A murmuration
Storks	A mustering
Swallows	A flight
Swans	A bevy, wedge (in flight)
Teal	A spring
Turkeys	A rafter, gang
Widgeons	A company
Woodcocks	A fall
Woodpeckers	A descent

Return to Top

---

Reptiles and Amphibians
Crocodiles	A bask
Frogs	An army
Toads	A knot
Turtles	A bale, nest
Snakes, vipers	A nest

Return to Top

---

Fish
Fish in general	A draft, nest, school, shoal (some authors claim that the common "school" is a corruption of shoal, and therefore incorrect)
Bass	A shoal
Herring	An army
Sharks	A shiver
Trout	A hover

Return to Top

---

Invertebrates
Ants	A colony
Bees	A grist, hive, swarm
Caterpillars	An army
Clams	A bed
Cockroaches	An intrusion
Flies	A business
Gnats	A cloud, horde
Grasshoppers	A cloud
Hornets	A nest
Jellyfish	A smack
Locusts	A plague
Oysters	A bed

Return to Top

original post http://vasnake.blogspot.com/2015/03/an-army-of-frogs.html

Zope, ZODB и ACID

Памятка на тему конфликтов чтения-записи и прочей ACID-ности в БД Zope, ZODB.

ZODB provides execution time consistency by raising read conflict errors. A simple explanation of read conflict errors requires some extra details about how ZODB works. ZODB transactions execute in parallel. When one connection commits a transaction, it sends an invalidation message to all the other connections; the invalidation messages lists all the objects that were modified by the committed transaction. The next time another connection commits a transaction, it will apply the invalidation; i.e. it will ghostify all the objects in the invalidation message.

If a connection is asked to load an object from the database and it has received (but not applied) an invalidation message for the object, it raises a ReadConflictError. This error is necessary to avoid an inconsistent read. When ZODB loads an object from storage, it always reads the most recent revision. Since the connection has an invalidation message for the object, the object was modified after the transaction began. If it reads the current revision of that object, it could be inconsistent with other objects read before the transaction began.

https://www.python.org/~jeremy/weblog/030514.html

The way ZODB and threading works is that each thread that uses the database gets its own connection to the database. Each connection gets its own copy of your object. All of the threads can read and change any of the objects. ZODB keeps all of these objects synchronized between the threads. The upshot is that you don’t have to do any locking or thread synchronization yourself. Your code can act as though it is single threaded.

However, synchronization problems can occur when objects are changed by two different threads at the same time.

Imagine that thread 1 gets its own copy of object A, as does thread 2. If thread 1 changes its copy of A, then thread 2 will not see those changes until thread 1 commits them. In cases where lots of objects are changing, this can cause thread 1 and 2 to try and commit changes to object 1 at the same time.

When this happens, ZODB lets one transaction do the commit (it “wins”) and raises a ‘ConflictError’ in the other thread (which “looses”).

http://docs.zope.org/zope2/zdgbook/ZODBPersistentComponents.html#threads-and-conflict-errors

def writing_to_zdb(): zdb = open_db() retry = 0 while retry < max_retry: try: # this is where you write to, delete from, & change the DB # for example, this creates a new {} that is persistent zdb['root']['new_dict'] = PersistentDict() transaction.get().commit() except ConflictError: retry += 1 time.sleep(sleep_delay) pass else: break else: # retried too many times close_db(zdb) return "Error - transaction could not complete" close_db(zdb) return "Data written successfully"

http://www.fprimex.com/coding/zodb.html

Еще?

https://www.google.ru/search?q=zodb+ConflictError+usecase

original post http://vasnake.blogspot.com/2015/03/zope-zodb-acid.html

Perfect Continuous

Язык и время.

Настоящее, прошедшее и будущее.

К каждому из трех времён четыре варианта действий:

простое (неопределенное), длительное, совершённое, длительное совершённое.

http://www.native-english.ru/grammar/english-tenses

Непонятно?

Смотрите картинку:

http://cybernatic-cat.livejournal.com/1443918.html

original post http://vasnake.blogspot.com/2015/03/perfect-continuous.html

Webogram

Я тут недавно начал пользоваться IM Telegram. Это тот, который спонсируется Павлом Дуровым.

https://telegram.org/faq#q-how-are-you-going-to-make-money-out-of-this

Мне очень нравится. Рекламы нет, работает быстро, ресурсов жрет немного, все сообщения появляются сразу на всех залогиненных устройствах, картинки и файлы отсылаются на раз-два.

Не нравится только одно – жесткая привязка к номеру телефона. Я предпочитаю старый добрый способ – через электропочту.

Говорят – приватный, безопасный. Не знаю, мне пофиг. Я не жду от них особой защещенности моей переписки или моих данных.

Зато есть веб-клиент и он с открытым кодом.

https://github.com/zhukov/webogram

Добротно написанная на Ангуляре веб-аппликуха, учитесь фронтэндщики.

original post http://vasnake.blogspot.com/2015/03/webogram.html