Google App Engine Bulk uploader
This article is still being written.
Uploading Data with Bulk Data Uploader - Google App Engine - Google Code
こっちに書いてあった。
ふつうにputたくさんまわすとうまくいかないっぽい。
INFO 2008-04-09 13:57:45,178 bulkload_client.py] Starting import; maximum 10 entities per post INFO 2008-04-09 13:57:45,179 bulkload_client.py] Importing 10 entities in 604 bytes
bulk uploaderのbulkっていうのは10のことらしいっす....
一回で10ずつアップロードしてくれる。ひたすら待つしかないっ!
でも1Mentitiesで100k回で、1回0.1sだとしても10ksだから3時間かー... パラレルで3本とかまわしても大丈夫かな。
あと順番重要。*より先に書かないとだめ。
handlers: - url: /load script: myloader.py - url: .* script: bigtable.py
1Mentities作るより前にCPUがlimitに達しそう。既に10%になってる...途中で切り上げる。