ラベル python の投稿を表示しています。 すべての投稿を表示
ラベル python の投稿を表示しています。 すべての投稿を表示

2010年6月10日木曜日

Google App Engine / Python での Shift_JIS 問題

ガラケー向けのサービスをGAEで開発していたときに直面した問題を。

GAEでクエリ文字列やPOSTされたデータを取得する際には、下記のメソッドを使います。

self.request.get('hoge')

しかし、文字コードがShiftJISの場合、何故か取得出来ない。
UTF-8は取れるのにぃ。

こんな時は、GETの場合はQUERY_STRINGを、POSTの場合はBODYを調べる。

self.request.query_string
self.request.body

すると、ここまでは値が来ている。
文字コードがAsciiかUTF-8じゃなかったら捨ててると見た。

そこで、QUERY_STRINGまたはBODYから直接文字列を取り出す。
その文字列をunquoteして、decode('cp932')すれば無事取得できる。

まさか、ここでコケるとは思わなかったので、マジでビビった。

Google App Engine で全文検索を実装(Python)

もちろんPythonです。Javaじゃありません。

ともかく、一応SearchableModelというクラスで全文検索らしきことができるのですが、
当然マルチバイトなんて知らないわけです。
まあ、こんな感じで使いますが。

def Hoge(SearchableModel):
id = db.IntegerProperty()
name = db.StringProperty()

q = Hoge.all().search("hoge")


問題点としては、
・スペース区切りで単語を分ける(日本語はどないすんのじゃ)
・二文字以下はインデックスしない(そりゃ英語はいいわな、それで)
・検索する単語も二文字以下はなかったことになる(絞り込みできない)

ところが、こちとら日本人な訳で、なんとかせにゃならん訳です。
GAEだと分かち書きエンジン導入も面倒だし。
で、検索対象の文字列が50文字程度なら、こうしたらいいのでは?と。

・N-Gramもどき(一文字、二文字、三文字…で文章を分割)で文字列を分割
・これで出来た文字列の二文字以下のものは、マルチバイト文字列の何かを足して三文字にする(足した文字は検索でも使う)
・これらをスペースで繋げて、インデックス用プロパティに保存
・後はSearchableModelが勝手にインデックス化

実際に実装したところ、きちんと日本語で全文検索できてます。
これで少しは役に立つかな?

2010年2月25日木曜日

Google App Engine (Python)

久しぶりなのでメモ。
今回はUbuntu 9.04にて。

まず、SDKをダウンロードします。真ん中辺りのzipファイルです。
http://code.google.com/intl/ja/appengine/downloads.html

解凍すると google_appengine というディレクトリができるので、
ここにパスを通します。

次に、AppEngineのサイトでアプリケーションを登録します。
下記からログインします。
https://appengine.google.com/

ログイン後、アプリケーションの名前を設定します。
#初めての場合は初回の設定が必要です。

次に、アプリケーションの開発です。
例えばtest9999というアプリケーションを作るには、まず開発用ディレクトリを作ります。

$ mkdir test9999
$ cd test9999

次に、app.yaml という設定ファイルを作成します。
中にアプリケーションに関する記述をします。

$ vi app.yaml

(ファイルの中身)
application: test9999
version: 1
runtime: python
api_version: 1

handlers:
- url: /.*
script: test9999.py
(ここまで)

サンプルプログラムを書いてみます。
$ vi test9999.py

print 'Content-Type: text/plain'
print ""
print "TEST"

書き終わったら、まず開発しているサーバーで確認してみます。
「http://開発サーバー:8080/」にアクセスして表示されればOK。

$ dev_appserver.py ../test9999 --address=開発サーバーのIPアドレス

動作が確認出来たら、AppEngineにアップロードしましょう。
途中、登録したEメールとパスワードを入力します。

$ appcfg.py update ../test9999

アップロードしたら、下記のURLにアクセスするとアプリケーションが確認出来ます。
http://test9999.appspot.com/

GAE/Jの方が何となく盛り上がってる感じがしますが、Pythonでもいろいろできますので、
挑戦していきたいなと思う次第です。