スマートフォン上でのディープラーニングによる物体認識アプリケーション
ディープラーニングを使ったスマホアプリ外観
AppStoreで"ディープラーニング", "deep learning"で検索すると次の2つが引っかかります． ディープラーニングが注目され始めた2012年から4年ほど経つが，ディープラーニングと名を売ったiPhoneアプリとしてAppStoreで公開されているのは2つしか見つかりません...(自分の検索の仕方が悪い??)
勿論，LINEスタンプのレコメンデーションにあるように，システム内部でディープラーニングを取り入れているサービスは沢山存在すると思うけど，気軽にディープラーニングを体験できるようなスマホアプリって以外に存在しないものなんですね．
過去には，2014年8月にGoogleに買収されたJetPac社による「Jetpac Spotter」が存在していましたが，現在は非公開．このアプリに用いられていた認識エンジンはオープンソースのフレームワークDeepBeliefSDKとしてGitHubに現在も公開されています．
今回開発したアプリ(iOS版)
バージョン管理のためにここに追加した機能を追記していきます．
デモ画面はバージョン1.0で，次の機能があります．
【バージョン1.0】
- 結果表示@5
- 精度選択
- カロリー調整（バーコントロール）
- 認識時間表示
- トータルカロリー
【バージョン1.1】
- 言語選択機能の追加(英語/日本語)
【バージョン1.2】
- 撮影画像のサムネイル表示
- 認識結果のサムネイル表示@5
iPhoneバージョン
iPadバージョン
iPhoneバージョン(GUIの配置を変更)+認識結果のサムネイル表示
画像を表示する部分には青色で枠線を囲むように変更してみました．また，認識結果をサムネイルで確認できるようにしました．認識結果部分で表示させている画像は認識エンジンのファインチューンにも使っているUECFOOD-100 Dataset(URL:http://foodcam.mobi/dataset100.html)を使っています．
認識結果のサムネイル表示は
Real-time food intake classification and energy expenditure estimation on a mobile device
(論文URL:
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?reload=true&arnumber=7299410)を参考にしました．今回は認識対象にチャーハンを選んでみましたが，チキンライスやピラフなど似たような食事が上位にサムネイル表示されているのがわかって見てて結構楽しい！笑
ただ，iPhone 5sは4インチだから結果表示がキツイ…けど，サムネイル付きだと結果がわかりやすくていいな！画面の都合上，トップ5までしか表示してないけど，iPadのデモ用ではトップ10まで表示しようかな？結果が沢山表示された方が見てて楽しいし．
GUI部分で「こんな風なGUIにしてみたら？」などありましたら，Twitterかコメントに書いていただけたら幸いですm(_ _)m
【追加予定機能】
認識部分
- セグメンテーション
- 領域補正
- 料理領域の方向推定
カロリー部分
- 四郡点数
その他