ガラケー向けのサービスをGAEで開発していたときに直面した問題を。
GAEでクエリ文字列やPOSTされたデータを取得する際には、下記のメソッドを使います。
self.request.get('hoge')
しかし、文字コードがShiftJISの場合、何故か取得出来ない。
UTF-8は取れるのにぃ。
こんな時は、GETの場合はQUERY_STRINGを、POSTの場合はBODYを調べる。
self.request.query_string
self.request.body
すると、ここまでは値が来ている。
文字コードがAsciiかUTF-8じゃなかったら捨ててると見た。
そこで、QUERY_STRINGまたはBODYから直接文字列を取り出す。
その文字列をunquoteして、decode('cp932')すれば無事取得できる。
まさか、ここでコケるとは思わなかったので、マジでビビった。
2010年6月10日木曜日
Google App Engine で全文検索を実装(Python)
もちろんPythonです。Javaじゃありません。
ともかく、一応SearchableModelというクラスで全文検索らしきことができるのですが、
当然マルチバイトなんて知らないわけです。
まあ、こんな感じで使いますが。
def Hoge(SearchableModel):
id = db.IntegerProperty()
name = db.StringProperty()
q = Hoge.all().search("hoge")
問題点としては、
・スペース区切りで単語を分ける(日本語はどないすんのじゃ)
・二文字以下はインデックスしない(そりゃ英語はいいわな、それで)
・検索する単語も二文字以下はなかったことになる(絞り込みできない)
ところが、こちとら日本人な訳で、なんとかせにゃならん訳です。
GAEだと分かち書きエンジン導入も面倒だし。
で、検索対象の文字列が50文字程度なら、こうしたらいいのでは?と。
・N-Gramもどき(一文字、二文字、三文字…で文章を分割)で文字列を分割
・これで出来た文字列の二文字以下のものは、マルチバイト文字列の何かを足して三文字にする(足した文字は検索でも使う)
・これらをスペースで繋げて、インデックス用プロパティに保存
・後はSearchableModelが勝手にインデックス化
実際に実装したところ、きちんと日本語で全文検索できてます。
これで少しは役に立つかな?
ともかく、一応SearchableModelというクラスで全文検索らしきことができるのですが、
当然マルチバイトなんて知らないわけです。
まあ、こんな感じで使いますが。
def Hoge(SearchableModel):
id = db.IntegerProperty()
name = db.StringProperty()
q = Hoge.all().search("hoge")
問題点としては、
・スペース区切りで単語を分ける(日本語はどないすんのじゃ)
・二文字以下はインデックスしない(そりゃ英語はいいわな、それで)
・検索する単語も二文字以下はなかったことになる(絞り込みできない)
ところが、こちとら日本人な訳で、なんとかせにゃならん訳です。
GAEだと分かち書きエンジン導入も面倒だし。
で、検索対象の文字列が50文字程度なら、こうしたらいいのでは?と。
・N-Gramもどき(一文字、二文字、三文字…で文章を分割)で文字列を分割
・これで出来た文字列の二文字以下のものは、マルチバイト文字列の何かを足して三文字にする(足した文字は検索でも使う)
・これらをスペースで繋げて、インデックス用プロパティに保存
・後はSearchableModelが勝手にインデックス化
実際に実装したところ、きちんと日本語で全文検索できてます。
これで少しは役に立つかな?
2010年2月25日木曜日
Google App Engine (Python)
久しぶりなのでメモ。
今回はUbuntu 9.04にて。
まず、SDKをダウンロードします。真ん中辺りのzipファイルです。
http://code.google.com/intl/ja/appengine/downloads.html
解凍すると google_appengine というディレクトリができるので、
ここにパスを通します。
次に、AppEngineのサイトでアプリケーションを登録します。
下記からログインします。
https://appengine.google.com/
ログイン後、アプリケーションの名前を設定します。
#初めての場合は初回の設定が必要です。
次に、アプリケーションの開発です。
例えばtest9999というアプリケーションを作るには、まず開発用ディレクトリを作ります。
$ mkdir test9999
$ cd test9999
次に、app.yaml という設定ファイルを作成します。
中にアプリケーションに関する記述をします。
$ vi app.yaml
(ファイルの中身)
application: test9999
version: 1
runtime: python
api_version: 1
handlers:
- url: /.*
script: test9999.py
(ここまで)
サンプルプログラムを書いてみます。
$ vi test9999.py
print 'Content-Type: text/plain'
print ""
print "TEST"
書き終わったら、まず開発しているサーバーで確認してみます。
「http://開発サーバー:8080/」にアクセスして表示されればOK。
$ dev_appserver.py ../test9999 --address=開発サーバーのIPアドレス
動作が確認出来たら、AppEngineにアップロードしましょう。
途中、登録したEメールとパスワードを入力します。
$ appcfg.py update ../test9999
アップロードしたら、下記のURLにアクセスするとアプリケーションが確認出来ます。
http://test9999.appspot.com/
GAE/Jの方が何となく盛り上がってる感じがしますが、Pythonでもいろいろできますので、
挑戦していきたいなと思う次第です。
登録:
投稿 (Atom)