機械学習の学習済みモデルを使用して API サーバーを構築する

#!/usr/bin/env python
# -*- coding: utf-8 -*-
#
# このファイルは api_server.py として保存

# Flask 関連の import
from flask import Flask
from flask_restful import reqparse, abort, Api, Resource

# Caffe の import
import caffe

# その他 import
import os.path
import numpy as np
import sys

img_dir = '/path/to/image-dir'
model_dir = '/path/to/model-dir'
model_file = 'snapshot_iter.caffemodel'

# AWS DL AMI に載ってる Caffe は、CPU モードが使えない
# https://docs.aws.amazon.com/ja_jp/dlami/latest/devguide/cpu.html
caffe.set_mode_gpu()

# モデルの読み込み
net = caffe.Net(model_dir + '/deploy.prototxt',
model_dir + '/' + model_file,
caffe.TEST)

# transformer の作成（詳細は Caffe のチュートリアルとかを参照）
transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_transpose('data', (2,0,1))
transformer.set_raw_scale('data', 255) # the reference model operates on images in [0,255] range instead of [0,1]
transformer.set_channel_swap('data', (2,1,0)) # the reference model has channels in BGR order instead of RGB

# API の引数として、filename を受け取るように設定
parser = reqparse.RequestParser()
parser.add_argument('filename')

# API のメイン処理
class ClassifyImage(Resource):
    def get(self):
        # ファイル名を取得
        args = parser.parse_args()
        filename = args['filename']
        file_path = img_dir + '/' + filename

        if not os.path.isfile(file_path):
            return {'result': 'error', 'message': '{} not found'.format(file_path)}

        # 入力データの設定
        net.blobs['data'].data[...] = transformer.preprocess('data', caffe.io.load_image(file_path))
        # 推論
        out = net.forward()

        # 推論結果のベクトル
        a = out['softmax'][0]

        # 結果の JSON object を生成
        output = {'result': 'ok', 'prediction': a.argmax()}

        return output

# Flask の初期化みたいなの
app = Flask(__name__)
api = Api(app)

# / にアクセスされたら、ClassifyImage.get を実行するように設定
# 最近は以下のようにやるのが普通らしいが、今回は参考元のページに倣った
# @app.route('/')
api.add_resource(ClassifyImage, '/')

# コマンドラインから実行されたときに限り、実行する
if __name__ == '__main__':
    app.run(debug=True)

./api-server.py

curl http://localhost:5000/?filename=foo.jpg

# foo-api.wsgi
import sys, os

import logging
# to output to Apache log
logging.basicConfig(stream = sys.stderr)

sys.path.insert(0, os.path.abspath(os.path.dirname(__file__)))

from api_server import app as application

# Amazon Linux 等、Red Hat 系の場合
sudo yum install mod_wsgi-python27
# Debian, Ubuntu 等
sudo apt-get install libapache2-mod-wsgi

Listen 5000

WSGIDaemonProcess foo-api user=ec2-user group=apache threads=1
WSGIScriptAlias / /var/www/foo-api/foo-api.wsgi

WSGIProcessGroup foo-api
WSGIApplicationGroup %{GLOBAL}
Order deny,allow
Allow from all

# Caffe in Python 2.7 の環境に切り替える
source activate caffe_p27

# flask はインストール済みっぽいので、flask-restful のみインストール
pip install flask-restful

# 既存の mod_wsgi をアンインストール
sudo yum remove mod_wsgi-python27

# mod_wsgi のビルドに必要なのでインストール
sudo yum install httpd-devel
# mod_wsgi をインストール
pip install mod_wsgi

# root じゃないとインストールできませんが、caffe_p27 環境は
# ec2-user にしか存在しないので
sudo -i
export PATH=/home/ec2-user/anaconda3/bin/:$PATH
source activate caffe_p27

# モジュールのインストール
mod_wsgi-express install-module
exit

Listen 5000

LoadModule wsgi_module "/usr/lib64/httpd/modules/mod_wsgi-py27.so"
WSGIPythonHome "/home/ec2-user/anaconda3/envs/caffe_p27"

WSGISocketPrefix /var/run/wsgi

WSGIDaemonProcess foo-api user=ec2-user group=apache threads=1
WSGIScriptAlias / /var/www/foo-api/foo-api.wsgi

WSGIProcessGroup foo-api
WSGIApplicationGroup %{GLOBAL}
Order deny,allow
Allow from all

sys.path.insert(0, '/home/ec2-user/src/caffe_python_2/python')