JP6079566B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、例えばデジタルカメラや、スマートフォンなど、撮像素子とともに、ジャイロスコープなどの様々なセンサを備える機器が各種開発されている。

例えば、特許文献１には、カムコーダによる撮影と同じタイミングで、カムコーダに内蔵されたセンサにより取得されたセンサデータに基づいて、カムコーダを持っているユーザの行動を認識し、そして、認識した行動結果を、撮影した画像と関連づけて記録する技術が開示されている。

特許第４２８９３２６号

ところで、撮影された画像を外部の装置へ送信する場面において上記の技術を適用することを想定すると、上記の技術では、通信量を適応的に減少させることができない。例えば、上記の技術では、外部の装置へ送信する画像を自動的に取捨選択することができない。このため、全ての画像を送信することになるので、撮影された画像の枚数が大量である場合には、通信量が大きくなってしまう。また、上記の技術では、撮影された画像の情報量を減少することは可能であるが、全ての画像に関して均一に減少させることしかできない。このため、例えば撮影時において利用者が注目していた物体に関する画像領域の解像度も減少されてしまうなど、利用者にとって望ましくない場合が生じる。

そこで、本開示では、撮影された画像を外部の装置へ送信する場面において、通信量を適応的に減少させることが可能な、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

上記課題を解決するために、本開示のある観点によれば、利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、を備える、情報処理装置が提供される。

また、上記課題を解決するために、本開示の別の観点によれば、利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識することと、前記利用者が携帯する撮影部による撮影時において認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工をプロセッサにより行うことと、加工された画像を、画像認識を行うための画像処理装置へ送信させることと、を備える、情報処理方法が提供される。

また、上記課題を解決するために、本開示の別の観点によれば、コンピュータを、利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、として機能させるための、プログラムが提供される。

以上説明したように本開示によれば、撮影された画像を外部の装置へ送信する場面において、通信量を適応的に減少させることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の各実施形態に共通する情報処理システムの基本構成を示した説明図である。 同実施形態による情報処理装置１０のハードウェア構成を示した説明図である。 本開示の第１の実施形態による情報処理装置１０の構成を示した機能ブロック図である。 同実施形態による動作認識部１０２による動作認識の一例を示した説明図である。 同実施形態による動作認識部１０２による動作認識の一例を示した説明図である。 同実施形態による動作認識部１０２による動作認識の一例を示した説明図である。 同実施形態による動作認識部１０２による動作認識の一例を示した説明図である。 同実施形態による撮影制御部１０４による撮影制御の一例を示した説明図である。 同実施形態による撮影制御部１０４による撮影制御の一例を示した説明図である。 同実施形態による表示制御部１０８による表示制御の一例を示した説明図である。 同実施形態による動作を示したシーケンス図である。 本開示の第２の実施形態による情報処理装置１０の構成を示した機能ブロック図である。 同実施形態による画像処理部１１０による画像処理の一例を示した説明図である。 同実施形態による画像処理部１１０による画像処理の一例を示した説明図である。 利用者が前方を見て、静止している状態を示した説明図である。 利用者が前方を見ながら、歩行している状態を示した説明図である。 同実施形態による画像処理部１１０による画像処理の一例を示した説明図である。 同実施形態による画像処理部１１０による画像処理の一例を示した説明図である。 利用者が下方を見て、静止している状態を示した説明図である。 同実施形態による画像処理部１１０による画像処理の一例を示した説明図である。 同実施形態による画像処理部１１０による画像処理の一例を示した説明図である。 同実施形態による画像処理部１１０による画像処理の一例を示した説明図である。 同実施形態による画像処理部１１０による画像処理の一例を示した説明図である。 同実施形態による動作を示したシーケンス図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、以下に示す項目順序に従って当該「発明を実施するための形態」を説明する。
１．背景
２．情報処理システムの基本構成
３．各実施形態の詳細な説明
３−１．第１の実施形態
３−２．第２の実施形態
４．変形例

＜＜１．背景＞＞
本開示は、一例として「３−１．第1の実施形態」〜「３−２．第２の実施形態」において詳細に説明するように、多様な形態で実施され得る。最初に、本開示の特徴を明確に示すために、本開示による情報処理装置を創作するに至った背景について説明する。

近年、イメージセンサを内蔵し、利用者が常時装着して使用するウェアラブルデバイスの開発が検討されている。このウェアラブルデバイスでは、例えば、付属のカメラにより撮影された画像に含まれる物体や人物などに対して常時認識を行い、そして、認識結果に基づいて、例えば利用者が見ている物体や人物などに関する情報を利用者に提供することなどが期待されている。

しかし、このようなサービスを実現するためには、下記のような課題がある。第１に、ウェアラブルデバイスをバッテリー駆動のモバイル機器として構成する場合には、利用者が身に付けるという特質上、質量を抑制する必要があり、そのため、ウェアラブルデバイスに備えられるバッテリーの容量が制約されるという課題がある。そのため、利用者が連続して使用可能な時間には制約がある。

第２に、利用者が身に付けるという特質上、撮影のタイミング次第では撮影者の動きに伴いぶれが発生する。このため、仮に常時カメラが起動して、自動的に撮影を行うようなサービスを想定した場合には、撮影画像に含まれるぶれにより環境認識が適切に行えず、認識の誤りや処理の遅延などが発生し得るという課題がある。また、被写体が移動する場合など、認識するための機会が非常に短時間である場合には、認識ができない可能性が高くなる。

第３に、通常、イメージセンサの出力から環境認識を行うとき、例えば任意の物体を特定したり、撮影場所や撮影者の姿勢を特定する場合には、別途、参照用のデータが大量に必要となる。このような参照用のデータをウェアラブルデバイスに記憶させることは困難であるので、参照用のデータを蓄えたサーバーに対して、撮影された画像を送信し、そして、サーバーに画像認識を行わせる方法が考えられる。しかし、例えば長時間撮影された動画像のデータのように、大量の画像データをサーバーへ送信し続けることは、現在の移動体通信環境における通信速度やバッテリ性能等を考えると現実的ではない。

そこで、上記事情を一着眼点にして本開示による情報処理装置１０を創作するに至った。情報処理装置１０は、利用者の動作状態に応じて、撮影のタイミングを適応的に制御することができる。また、情報処理装置１０は、撮影された画像をサーバ２０へ送信する場面において、通信量を適応的に減少させることができる。

＜＜２．情報処理システムの基本構成＞＞
次に、各実施形態において共通する情報処理システムの基本構成について図１を参照して説明する。図１に示したように、各実施形態による情報処理システムは、情報処理装置１０、通信網１２、およびサーバ２０を含む。

＜２−１．情報処理装置１０＞
情報処理装置１０は、本開示による情報処理装置の一例である。情報処理装置１０は、図１に示したように、例えばメガネ型のディスプレイを有する装置である。また、このディスプレイには、半透明なシースルー型のディスプレイを適用可能である。なお、シースルー型のディスプレイでは、利用者はディスプレイを介して、外部の環境を見ることが可能である。

この情報処理装置１０は、例えば利用者の頭部に身に付けて、使用される。また、図１に示したように、情報処理装置１０は、ディスプレイの周辺の位置において、後述するカメラ１６６を有する。利用者は、情報処理装置１０を身に付けることにより、移動しながら、利用者が見ている景観をカメラ１６６により撮影することが可能である。

［２−１−１．ハードウェア構成］
なお、情報処理装置１０は、例えば図２に示すようなハードウェア構成を有する。図２に示したように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）１５０、ＲＯＭ（Read Only
Memory）１５２、ＲＡＭ（Random Access Memory）１５４、内部バス１５６、インターフェース１５８、出力装置１６０、ストレージ装置１６２、通信装置１６４、カメラ１６６、位置情報測定装置１６８、加速度センサ１７０、ジャイロスコープ１７２、およびマイクロフォン１７４を備える。

（ＣＰＵ１５０）
ＣＰＵ１５０は、例えば各種処理回路などで構成され、情報処理装置１０全体を制御する制御部１００として機能する。また、ＣＰＵ１５０は、情報処理装置１０において、例えば、後述する動作認識部１０２、撮影制御部１０４、送信制御部１０６、表示制御部１０８、画像処理部１１０、顔領域検出部１１２、およびぶれ判断部１１４の各機能を実現する。

（ＲＯＭ１５２）
ＲＯＭ１５２は、ＣＰＵ１５０が使用するプログラムや演算パラメータなどの制御用データなどを記憶する。

（ＲＡＭ１５４）
ＲＡＭ１５４は、例えば、ＣＰＵ１５０により実行されるプログラムなどを一時的に記憶する。

（インターフェース１５８）
インターフェース１５８は、出力装置１６０、ストレージ装置１６２、通信装置１６４、カメラ１６６、位置情報測定装置１６８、加速度センサ１７０、ジャイロスコープ１７２、およびマイクロフォン１７４を、内部バス１５６と接続する。例えば出力装置１６０は、このインターフェース１５８および内部バス１５６を介して、ＣＰＵ１５０などとの間でデータをやり取りする。

（出力装置１６０）
出力装置１６０は、例えば、液晶ディスプレイ（LCD:Liquid Crystal Display）装置、ＯＬＥＤ（Organic
Light Emitting Diode）装置およびランプなどの表示装置を含む。この表示装置は、カメラ１６６により撮像された画像や、ＣＰＵ１５０により生成された画像などを表示する。

さらに、出力装置１６０は、スピーカーなどの音声出力装置を含む。この音声出力装置は、音声データ等を音声に変換して出力する。

（ストレージ装置１６２）
ストレージ装置１６２は、例えばＣＰＵ１５０が実行するプログラムや各種データを格納する、データ格納用の装置である。ストレージ装置１６２は、例えば、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置、または記憶媒体に記録されたデータを削除する削除装置などを含む。

（通信装置１６４）
通信装置１６４は、例えば公衆網やインターネットなどの通信網に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置１６４は、無線ＬＡＮ対応通信装置、ＬＴＥ（Long Term Evolution）対応通信装置、または有線による通信を行うワイヤー通信装置であってもよい。通信装置１６４は、例えば、後述する通信部１２０として機能する。

（カメラ１６６）
カメラ１６６は、外部の映像を、レンズを通して例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary
Metal Oxide Semiconductor）などの撮像素子に結像させ、静止画像又は動画像を撮影する機能を有する。

（位置情報測定装置１６８）
位置情報測定装置１６８は、例えばGPS（Global Positioning System）やGLONASS（Global Navigation Satellite System）などの測位衛星から測位信号を受信して、現在位置を測位する。また、位置情報測定装置１６８は、複数の基地局からWi-Fi電波（登録商標）を受信し、受信したWi-Fi電波の受信強度及び各基地局の位置に基づいて現在位置を測位する機能を有してもよい。また、位置情報測定装置１６８は、Bluetoothアクセスポイントとの間の通信に基づいて現在位置を測位する機能を有してもよい。なお、位置情報測定装置１６８は、後述する測定部１２２として機能する。

（加速度センサ１７０）
加速度センサ１７０は、情報処理装置１０の加速度を測定する。加速度センサ１７０は、測定部１２２として機能する。

（ジャイロスコープ１７２）
ジャイロスコープ１７２は、情報処理装置１０の角度または角速度を測定する。例えば、ジャイロスコープ１７２は、情報処理装置１０に加わる慣性力、またはコリオリの力を検出することにより、情報処理装置１０の角速度を測定する。なお、ジャイロスコープ１７２は、測定部１２２として機能する。

（マイクロフォン１７４）
マイクロフォン１７４は、外部の音声を集音する。マイクロフォン１７４は、測定部１２２として機能する。

なお、情報処理装置１０のハードウェア構成は、上述した構成に限定されない。例えば、情報処理装置１０は、ストレージ装置１６２、位置情報測定装置１６８、加速度センサ１７０、ジャイロスコープ１７２、またはマイクロフォン１７４のうちいずれか１以上を備えなくてもよい。

＜２−２．通信網１２＞
通信網１２は、通信網１２に接続されている装置から送信される情報の無線、または有線の伝送路である。例えば、通信網１２は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet（登録商標）を含む各種のLAN（Local Area Network）、WAN（Wide Area Network）などを含んでもよい。また、通信網１２は、IP-VPN（Internet Protocol-Virtual Private Network）などの専用回線網を含んでもよい。

＜２−３．サーバ２０＞
サーバ２０は、本開示における画像処理装置の一例である。サーバ２０は、撮影画像に対して画像認識を行う機能を有する。また、サーバ２０は、実世界における様々な情報を含む、複数の参照データを記憶部（図示省略）に記憶している。

このサーバ２０は、例えば撮影画像が情報処理装置１０から受信された場合には、まず、撮影画像に対して画像認識を行うことにより、撮影画像に含まれる物体や人物などを認識することが可能である。そして、サーバ２０は、記憶部に記憶している複数の参照データから、認識された物体や人物などに関する情報である付加情報を抽出し、抽出した付加情報を情報処理装置１０へ送信することが可能である。

このようなサーバ２０の機能により、情報処理装置１０を携帯する利用者は、実世界を移動しながら見かけた建物、商品、または人物などに関する詳細な情報をサーバ２０から通知してもらうことが可能となる。また、サーバ２０から受信された付加情報は、情報処理装置１０の出力装置１６０から出力される映像、音声、またはバイブレーションの変化などにより、利用者は確認することができる。例えば、出力装置１６０は、表示画面に付加情報を重畳表示させたり、または、バイブレーションの鳴らし方を変化させることにより、情報の内容や所在方向などを利用者へ知らせることができる。

＜＜３．実施形態の詳細な説明＞＞
以上、各実施形態による情報処理システムの基本構成について説明した。続いて、各実施形態について詳細に説明する。

＜３−１．第１の実施形態＞
［３−１−１．情報処理装置１０の構成］
まず、第１の実施形態による情報処理装置１０の構成について詳細に説明する。図３は、第１の実施形態による情報処理装置１０の構成を示した機能ブロック図である。図３に示したように、情報処理装置１０は、制御部１００、通信部１２０、測定部１２２、撮影部１２４、および表示部１２６を有する。

（３−１−１−１．制御部１００）
制御部１００は、情報処理装置１０に内蔵されるＣＰＵ１５０、ＲＡＭ１５４などのハードウェアを用いて、情報処理装置１０の動作を全般的に制御する。また、図３に示したように、制御部１００は、動作認識部１０２、撮影制御部１０４、送信制御部１０６、および表示制御部１０８を有する。

（３−１−１−２．動作認識部１０２）
動作認識部１０２は、後述する測定部１２２による測定結果に基づいて、利用者の動作状態を認識する。なお、測定部１２２は、本開示におけるセンサの一例である。また、動作状態は、例えば、利用者の移動状態、利用者の目視に関する状態、または、利用者の発声に関する状態を含む。以下、それぞれの状態に関する具体的な処理の内容について説明を行う。

‐認識例１（移動状態の認識）‐
例えば、動作認識部１０２は、測定部１２２による測定結果に基づいて、利用者の移動状態を認識することが可能である。なお、移動状態とは、例えば、利用者が歩行している状態、走っている状態、自転車に乗っている状態、自動車、電車、飛行機などの乗り物に乗っている状態、または利用者が椅子に座っている場合のような静止している状態などを示す。

ここで、図４を参照して、上記の機能についてより詳細に説明する。図４は、加速度センサ１７０による測定値を測定時刻と対応づけて示したグラフの例である。図４に示したように、時刻ｔ１〜時刻ｔ２の時間帯、時刻ｔ２〜時刻ｔ３の時間帯、時刻ｔ３〜時刻ｔ４の時間帯では、概ね同様な波形の、加速度の変化が測定されている。このような波形の、加速度の変化は、人間が歩行しているときの加速度の変化に近似している。このため、動作認識部１０２は、図４に示した加速度センサ１７０による測定結果に基づいて、時刻ｔ１〜時刻ｔ４の時間帯において、利用者が歩行状態にあることを認識する。

‐認識例２（目視に関する状態の認識）‐
また、認識例２として、動作認識部１０２は、測定部１２２による測定結果に基づいて、利用者の目視に関する状態を認識することが可能である。なお、目視に関する状態は、利用者がどのような態様で対象を見ているかを示す。例えば、目視に関する状態は、利用者が特定の物体や人物などを注目していること、利用者が周囲を見回していること、または、正面や上下左右のような、利用者が見ている方向などを示す。

より具体的には、動作認識部１０２は、ジャイロスコープ１７２により測定される、利用者の頭部の動きに基づいて、利用者の目視に関する状態を認識することが可能である。例えば、利用者の頭部の動きの速度が所定の値以下に低下したことがジャイロスコープ１７２により測定された場合には、動作認識部１０２は、利用者が注目していることを認識する。

ここで、図５または図６を参照して、上記の機能についてより詳細に説明する。図５は、加速度センサ１７０による測定値を測定時刻と対応づけて示したグラフの一例である。図５に示したグラフでは、時刻ｔ１〜時刻ｔ２の時間帯では加速度が大きく変動し、そして、時刻ｔ２の後には、変化量が大幅に小さくなり、加速度の測定値がほぼ０になっている。図５に示したような波形の加速度の変化は、概ね時刻ｔ２において、人間が何かを発見し、注目する際の頭部の加速度の変化に近似している。

また、図６は、ジャイロスコープ１７２による、利用者の頭部の角度の測定値を測定時刻と対応づけて示したグラフの一例である。図６に示したグラフでは、時刻ｔ１〜時刻ｔ２の時間帯では角度が大きく変動し、そして、時刻ｔ２の後には、変化量が大幅に小さくなり、角度の測定値がほぼ一定の値になっている。図６に示したような波形の加速度の変化は、概ね時刻ｔ２において、例えば人間が何かを発見し、注目する場合のように、利用者が頭部を動かした後に停止する動作時における頭部の加速度の変化に近似している。

このため、動作認識部１０２は、図５に示した加速度センサ１７０による測定結果および／または図６に示したジャイロスコープ１７２による測定結果に基づいて、時刻ｔ２以後において、利用者は注目していることを認識する。なお、動作認識部１０２は、ジャイロスコープ１７２の代わりに、マイクロフォン１７４により検知される、風を切る音の大きさの変化に基づいて、利用者が頭部を動かした後に停止する動作を認識することも可能である。

また、図７は、ジャイロスコープ１７２による、利用者の頭部の角度の測定値を測定時刻と対応づけて示したグラフの別の例である。図７に示したグラフでは、測定期間全般において、角度がθ１〜θ２の間で緩やかに振動している。図７に示したような波形の角度の変化は、例えば人間が周囲を見回している、ぶらついている、または見下ろしているときにおける人間の頭部の加速度の変化に近似している。このため、動作認識部１０２は、図７に示した加速度センサ１７０による測定結果に基づいて、測定期間全般において、利用者が例えば周囲を見回していることを認識する。

‐認識例３（発声に関する状態の認識）‐
また、認識例３として、動作認識部１０２は、測定部１２２による測定結果に基づいて、利用者の発声に関する状態を認識することが可能である。なお、発声に関する状態は、例えば、利用者が他人と会話していること、利用者が黙っていること、または、利用者が発している声の大きさの程度などを示す。

例えば、動作認識部１０２は、マイクロフォン１７４による測定結果に基づいて、利用者が他人と会話していることを認識する。

（３−１−１−３．撮影制御部１０４）
撮影制御部１０４は、動作認識部１０２により認識された利用者の動作状態に基づいて、後述する撮影部１２４に撮影を行わせるタイミングを制御する。なお、本明細書では、以後、撮影制御部１０４が撮影部１２４に静止画像を撮影させる例を中心に説明する。この背景としては、本開示では、消費電力をできるだけ抑制することを目的とすることがある。但し、かかる例に限定されず、撮影制御部１０４は、撮影部１２４に動画像を撮影させてもよい。

‐制御例１（移動状態に基づいた制御）‐
より具体的には、撮影制御部１０４は、利用者が移動しているか否かに基づいて、撮影部１２４に撮影を行わせるタイミングを変化させることが可能である。例えば、撮影制御部１０４は、利用者が静止している場合には、撮影部１２４に撮影を行わせる頻度を利用者が移動している場合よりも小さくする。一般的に、利用者が静止している場合には、利用者が見ている景観の変化はあまり大きくないことが想定される。このため、この制御例によれば、例えば利用者が望まなかったり、利用者にとって価値が少ないと想定される画像が撮影されることを抑制することができる。

また、撮影制御部１０４は、利用者が移動を継続している場合には、所定の時間間隔で撮影部１２４に撮影を行わせる。ここで、図９を参照して、上記の機能についてより詳細に説明する。図９は、加速度センサ１７０による測定値を測定時刻と対応づけて示したグラフの一例である。なお、図９では、時刻ｔ１〜時刻ｔ７の時間帯では、図４に示した時刻ｔ１〜時刻ｔ２の時間帯における加速度の変化と同様の変化が連続して測定された結果を図示している。また、図９において、時刻ｔｂと時刻ｔｃとの間の時間長は、時刻ｔａと時刻ｔｂとの間の時間長と同じであることとする。

図９に示した時刻ｔ１〜時刻ｔ７の時間帯では、動作認識部１０２により、利用者が歩行状態にあると認識される。このため、撮影制御部１０４は、図９における例えば時刻ｔａ、時刻ｔｂ、および時刻ｔｃにおいて撮影を行わせるように、時刻ｔａと時刻ｔｂとの時間間隔で撮影部１２４に撮影を行わせる。

一般的に、利用者の歩行時や電車の乗車時には、利用者の目に入る周囲の景色は刻一刻と変化する。このため、制御例１によれば、動画像を撮影しなくても、利用者の移動による景色の変化を捉えた画像列を撮影することができる。従って、撮影部１２４による撮影枚数を抑制することができ、消費電力を抑制することができる。

‐制御例２（目視に関する状態に基づいた制御）‐
また、制御例２として、撮影制御部１０４は、動作認識部１０２により認識された利用者の目視に関する状態に基づいて、撮影部１２４に撮影を行わせるタイミングを変化させることが可能である。例えば、図５または図６に示した時刻ｔ２の直後のように、利用者が注目していることが動作認識部１０２により認識された場合には、撮影制御部１０４は、撮影部１２４に撮影を行わせる。

この制御例２によれば、例えばデパートに陳列された商品、旅行地における建物や建造物、利用者が街中で見かけた人物などを利用者が注目した場合に、利用者が注目した対象を即時的かつ確実に撮影することができる。

なお、変形例として、利用者により頭部または首を動かす動作が認識された場合には、利用者が注目していると推定されるので、撮影制御部１０４は、利用者の頭部または首の動きに合わせて、撮影部１２４に連続的に撮影を行わせてもよい。この変形例によれば、撮影時において利用者がどのように注目したかという推移を記録することができるという効果がある。

‐制御例３（発声に関する状態に基づいた制御）‐
また、制御例３として、撮影制御部１０４は、動作認識部１０２により利用者が発声したことが認識された場合には、撮影部１２４に撮影を行わせることが可能である。この制御例３によれば、利用者が他人と会話している場合において、例えば利用者がシャッターを切ることなく、相手の人物を自動的に撮影することが可能である。

（３−１−１−４．送信制御部１０６）
送信制御部１０６は、例えば撮影部１２４により撮影された画像をサーバ２０へ通信部１２０に送信させる。

（３−１−１−５．表示制御部１０８）
表示制御部１０８は、例えばサーバ２０から受信される付加情報などの各種文字列や画像などを、後述する表示部１２６に表示させる。

ここで、図１０を参照して、上記の機能についてより詳細に説明する。図１０は、サーバ２０から受信される付加情報が表示部１２６に表示される表示例を示した説明図である。図１０の左図は、撮影部１２４により撮影された撮影画像の例（撮影画像３０）である。また、図１０の右図は、撮影画像３０がサーバ２０へ送信された後に、サーバ２０から受信される付加情報が表示部１２６に表示される例（映像４０）を示している。なお、図１０に示した例では、撮影画像３０に撮影されているデパート３００に関しては、「セール中（１０／１〜１０／３１）」という広告の付加情報を、また、駅３０２に関しては、「Ａ線 Ｘ駅」という駅名を示す付加情報を、それぞれ情報処理装置１０がサーバ２０から受信した例を示している。

図１０の右図に示したように、表示制御部１０８は、サーバ２０から受信された付加情報を示す表示を映像４０に重畳表示させる。なお、例えば表示部１２６がシースルー型ディスプレイにより構成される場合には、映像４０は、利用者がディスプレイを介して、実際に見ている景観である。または、表示制御部１０８は、撮影画像３０と同じ画像を映像４０として表示してもよい。

（３−１−１−６．通信部１２０）
通信部１２０は、例えば無線通信により、通信網１２に接続された各種装置との間で情報を送受信する。例えば、通信部１２０は、送信制御部１０６による制御に従って、撮影部１２４により撮影された画像をサーバ２０へ送信する。また、通信部１２０は、上記の付加情報をサーバ２０から受信する。

（３−１−１−７．測定部１２２）
測定部１２２は、例えば、位置情報測定装置１６８、加速度センサ１７０、ジャイロスコープ１７２、およびマイクロフォン１７４などから構成される。測定部１２２は、例えば、情報処理装置１０の加速度、情報処理装置１０の角度、または外部の音声を測定する。

なお、第１の実施形態では、測定部１２２は、基本的には常時測定していることを想定する。この理由としては、例えば、加速度センサ１７０などの各種センサによる電力消費量は常時起動していても、カメラ１６６の撮影による電力消費量よりも概ね小さいことが挙げられる。

（３−１−１−８．撮影部１２４）
撮影部１２４は、撮影制御部１０４による制御に従って、外部の静止画像または動画像を撮影する。

また、撮影部１２４は、例えば情報処理装置１０に取り付けられたボタンなどの入力装置（図示省略）に対する利用者の指示に従って、外部の静止画像または動画像を撮影することも可能である。なお、本明細書では以後、撮影部１２４が、撮影制御部１０４による制御に従って画像を撮影する例を中心として説明を行う。

（３−１−１−９．表示部１２６）
表示部１２６は、表示制御部１０８による制御に従って、例えばサーバ２０から受信される付加情報などの各種文字列や画像などを表示する。

なお、第１の実施形態による情報処理装置１０の構成は、上述した構成に限定されない。例えば、測定部１２２は情報処理装置１０に含まれず、他の装置に備えられてもよい。

［３−１−２．動作］
以上、第１の実施形態による構成について説明した。続いて、第１の実施形態による動作について説明する。

図１１は、第１の実施形態による動作を示したシーケンス図である。図１１に示したように、まず、情報処理装置１０の測定部１２２は、例えば、情報処理装置１０の加速度、情報処理装置１０の角度、または外部の音声などを測定する（Ｓ１０１）。

続いて、動作認識部１０２は、Ｓ１０１で測定された測定結果に基づいて、利用者の動作状態を認識する（Ｓ１０２）。

続いて、撮影制御部１０４は、Ｓ１０２で認識された利用者の動作状態に基づいて、現在が撮影部１２４に撮影を行わせるタイミングであるか否かを判定する（Ｓ１０３）。撮影を行わせるタイミングではないと判定された場合には（Ｓ１０３：Ｎｏ）、情報処理装置１０は、再びＳ１０１の動作を行う。

一方、撮影を行わせるタイミングであると判定された場合には（Ｓ１０３：Ｙｅｓ）、撮影制御部１０４は、例えば環境の明るさ等の情報に基づいて、撮影感度やシャッタースピードなどの各種カメラパラメータを適切な値に調整する（Ｓ１０４）。そして、撮影制御部１０４は、撮影部１２４に撮影を行わせる（Ｓ１０５）。

続いて、送信制御部１０６は、例えば撮影された画像に物体や人物などが撮影されているか否かなどの所定の条件に基づいて、Ｓ１０５で撮影された画像をサーバ２０へ送信させるか否かを判定する（Ｓ１０６）。画像を送信させないと判定された場合には（Ｓ１０６：Ｎｏ）、情報処理装置１０は、再びＳ１０１の動作を行う。

画像を送信させると判定された場合には（Ｓ１０６：Ｙｅｓ）、送信制御部１０６は、撮影された画像をサーバ２０へ通信部１２０に送信させる（Ｓ１０７）。

続いて、サーバ２０は、情報処理装置１０から受信された画像に対して画像認識を行う（Ｓ１０８）。そして、サーバ２０は、受信された画像から認識された物体や人物などに関する付加情報を、例えばサーバ２０の記憶部に記憶されている大量の参照データから抽出する（Ｓ１０９）。その後、サーバ２０は、抽出された付加情報を情報処理装置１０へ送信する（Ｓ１１０）。

その後、情報処理装置１０の表示制御部１０８は、サーバ２０から受信された付加情報を表示部１２６に表示させる（Ｓ１１１）。

［３−１−３．効果］
以上、例えば図３、図１１等を参照して説明したように、第１の実施形態による情報処理装置１０は、測定部１２２による測定結果に基づいて、利用者の動作状態を認識し、そして、認識された動作状態に基づいて、撮影部１２４に撮影を行わせるタイミングを制御する。このため、利用者の動作状態に応じて、撮影のタイミングを適応的に制御することができる。

例えば、利用者が移動せずに静止していることが認識された場合には、情報処理装置１０は、撮影部１２４に撮影を行わせる頻度を利用者が移動している場合よりも小さくする。一般的に、利用者が静止している場合には、利用者が見ている景観の変化はあまり大きくないことが想定される。このため、例えば利用者が望まなかったり、利用者にとって価値が少ないと想定される画像が撮影されることを大幅に抑制することができる。そして、撮影に伴う消費電力を抑制することができる。

＜３−２．第２の実施形態＞
以上、第１の実施形態について説明した。続いて、第２の実施形態について説明する。後述するように、第２の実施形態によれば、情報処理装置１０は、サーバ２０に送信する画像の情報量を減少させることにより、消費電力を削減することができる。

［３−２−１．情報処理装置１０の構成］
まず、第２の実施形態による情報処理装置１０の構成について詳細に説明する。図１２は、第２の実施形態による情報処理装置１０の構成を示した機能ブロック図である。図１２に示したように、情報処理装置１０は、第１の実施形態と比べて、新たに画像処理部１１０、顔領域検出部１１２、およびぶれ判断部１１４を有する。

（３−２−１−１．送信制御部１０７）
第２の実施形態による送信制御部１０７は、後述する画像処理部１１０により加工された画像をサーバ２０へ通信部１２０に送信させることが可能である。より具体的には、送信制御部１０７は、撮影部１２４による撮影画像を基にして、画像処理部１１０により生成される、情報量が減少された画像をサーバ２０へ送信させることが可能である。

詳細については後述するが、例えば、送信制御部１０７は、撮影された画像から画像処理部１１０により切り出された特定の領域の画像をサーバ２０へ送信させる。または、送信制御部１０７は、撮影された画像から画像処理部１１０により解像度が減少された画像をサーバ２０へ送信させる。または、送信制御部１０７は、撮影された画像から画像処理部１１０により切り出された、１以上の人物の顔領域の画像をサーバ２０へ送信させる。

また、変形例として、後述するぶれ判断部１１４により、撮影された画像が閾値以上ぶれていると判断された場合には、送信制御部１０７は、撮影された画像をサーバ２０へ送信させないことも可能である。

（３−２−１−２．画像処理部１１０）
画像処理部１１０は、撮影部１２４による撮影時において動作認識部１０２により認識された利用者の動作状態に基づいて、撮影部１２４により撮影された画像に対して情報量に関する加工を行う。より具体的には、画像処理部１１０は、撮影部１２４による撮影時において動作認識部１０２により認識された利用者の動作状態に応じた方法で、撮影された画像から情報量を減少させた画像を生成することが可能である。

‐加工例１（解像度の削減）‐
例えば、撮影時において動作認識部１０２により例えば利用者が見回していたり、俯いていたり、または仰向いていることが認識された場合には、画像処理部１１０は、撮影された画像から解像度が圧縮された画像を生成する。

ここで、図１３を参照して、上記の機能についてより詳細に説明する。図１３は、撮影された画像（撮影画像３０）から解像度が圧縮された画像（加工画像５０）が生成される生成例を示した説明図である。図１３に示したように、例えば、画像処理部１１０は、解像度が６４０×４８０である撮影画像３０から、解像度が３２０×２４０に圧縮された画像である加工画像５０を生成する。

一般的に、利用者が見回していたり、俯いていたり、または仰向いている場合には、利用者は、通常よりも広角の領域を見ようとしていることが推定される。この加工例１によれば、撮影された画像の解像度を圧縮することにより、利用者が撮影しようとした撮影範囲を削減することなく、画像の情報量を減少させることができる。

‐加工例２（特定領域の切り出し）‐
また、加工例２として、撮影時において動作認識部１０２により利用者が注目していることが認識された場合には、画像処理部１１０は、撮影された画像から所定の領域を切り出した画像を生成することが可能である。

ここで、図１４を参照して、上記の機能についてより詳細に説明する。図１４は、撮影された画像（撮影画像３０）から、撮影画像３０における所定の領域が切り出された画像（加工画像５０）が生成される生成例を示した説明図である。図１４に示したように、例えば、画像処理部１１０は、解像度が６４０×４８０である撮影画像３０から、撮影画像３０の中央部分である解像度が３２０×２４０の領域を切り出した画像である加工画像５０を生成する。なお、所定の領域の大きさは、例えば、サーバ２０へ送信するための通信回線のビット幅の上限に応じて設定されてもよい。

‐加工例２ａ（歩行時における特定領域の切り出し）‐
また、撮影時において利用者が移動していることが動作認識部１０２により認識された場合には、画像処理部１１０は、撮影された画像から所定の領域を切り出した画像を生成することも可能である。

ここで、図１５〜図１８を参照して、上記の機能についてより詳細に説明する。図１５は、利用者が前方を見て、静止している状態を示した説明図である。なお、図１５では説明を簡単にするため、利用者が見ている領域である視領域３２を平面で描いている。

また、図１６は、利用者が前方を見ながら、歩行している状態を示した説明図である。一般的に、利用者が歩行している場合には静止時よりも視野が狭くなるので、図１６に示したように、静止時における利用者の視領域３２よりも狭い領域５２を利用者は見ようとする傾向にある。

このため、撮影時において利用者が前方を見ながら、歩行していることが認識された場合には、例えば、画像処理部１１０は、図１７に示したように、撮影された画像における、中心から所定の距離以内の領域を切り出した画像を生成してもよい。なお、図１７では、撮影された画像（撮影画像３０）における、中心から距離d1以内の領域を切り出した画像（加工画像５０）の生成例を示している。この生成例によれば、撮影時において利用者が注目している物体や人物の画像を適切に切り出すことができ、また、画像の情報量を削減することができる。

あるいは、このような場合には、画像処理部１１０は、図１８に示したように、撮影された画像における、中心から所定の距離以上離れた周辺領域を切り出した画像を生成してもよい。なお、図１８では、撮影された画像（撮影画像３０）における、中心から距離d1以上離れた周辺領域を切り出した画像（加工画像５０）の生成例を示している。

この生成例によれば、撮影時において利用者が注目していなかった物体や人物の画像を抽出することができる。このため、切り出された画像がサーバ２０へ送信され、そして、切り出された画像に関する付加情報がサーバ２０から受信された場合には、利用者は、撮影時において気づかなかったり、意識が薄かった物体や人物の情報について知ることができるという利点がある。

‐加工例２ｂ（俯き時における特定領域の切り出し）‐
また、撮影時において利用者が俯いていることが動作認識部１０２により認識された場合には、画像処理部１１０は、撮影された画像の下端から所定の距離以内の領域を、撮影された画像から切り出すことが可能である。

ここで、図１９および図２０を参照して、上記の機能についてより詳細に説明する。図１９は、利用者が下方を見て、静止している状態を示した説明図である。図１９に示したように、一般的に、利用者が頭部を曲げて下方を見ようとする場合には、利用者は、例えば眼球を下方へ向けることにより、眼球を正面に向けたときの視領域３２よりも下方の領域５２を見ようとする傾向にある。

このため、撮影時において利用者が俯いていることが動作認識部１０２により認識された場合には、画像処理部１１０は、図２０に示したように、撮影された画像（撮影画像３０）の下端から距離d2以内の領域を撮影画像３０から切り出した画像（加工画像５０）を生成してもよい。なお、距離d2の値としては、例えば予めユーザテストを行うことにより、適切な固定値を設定することが可能である。

‐加工例２ｃ（仰向き時における特定領域の切り出し）‐
また、撮影時において利用者が仰向いていることが動作認識部１０２により認識された場合には、画像処理部１１０は、撮影された画像の上端から所定の距離以内の領域を撮影された画像から切り出すことが可能である。

ここで、図２１を参照して、上記の機能についてより詳細に説明する。一般的に、利用者が頭部を曲げて上方を見ようとする場合には、利用者が俯く場合とは反対に、利用者は、眼球を上方へ向けることにより、眼球を正面に向けたときよりも上方の領域を見ようとする傾向にある。

このため、撮影時において利用者が仰向いていることが動作認識部１０２により認識された場合には、画像処理部１１０は、図２１に示したように、撮影された画像（撮影画像３０）の上端から距離d2以内の領域を撮影画像３０から切り出した画像（加工画像５０）を生成してもよい。

‐加工例３（人物の顔領域の切り出し）‐
また、加工例３として、図２２または図２３に示したように、後述する顔領域検出部１１２により、撮影された画像に含まれる人物の顔領域が検出された場合には、画像処理部１１０は、撮影された画像から、検出された顔領域を切り出した画像を生成することが可能である。

なお、図２２に示したように、顔領域検出部１１２により、人物の顔の全体の領域が検出された場合には、画像処理部１１０は、撮影された画像から、検出された全体の顔の領域を切り出した画像を生成してもよい。また、図２３に示したように、顔領域検出部１１２により、人物の顔の一部の領域が検出された場合には、画像処理部１１０は、撮影された画像から、検出された一部の顔の領域のみを切り出した画像を生成してもよい。

‐加工例４（ぶれの補正）‐
また、変形例として、後述するぶれ判断部１１４により撮影された画像が閾値以上ぶれていると判断された場合には、画像処理部１１０は、撮影時において動作認識部１０２により認識された利用者の動作状態に基づいて、撮影された画像に含まれるぶれを補正することも可能である。例えば、撮影時において利用者が歩行状態にあることが動作認識部１０２により認識された場合には、画像処理部１１０は、例えば予めストレージ装置１６２に記憶されている、歩行状態に応じたぶれの補正プログラムにより、撮影された画像を補正してもよい。

また、予め個々の利用者の動作の特徴が例えば情報処理装置１０により把握されている場合には、画像処理部１１０は、例えば予めストレージ装置１６２に記憶されている、各利用者の動作の特徴に応じたぶれの補正プログラムにより、撮影された画像を補正してもよい。

また、画像処理部１１０は、撮影時において測定部１２２により測定される情報処理装置１０の３次元空間における移動の変化量や、角度の変化量に応じて、撮影された画像に含まれるぶれを補正してもよい。

（３−２−１−３．顔領域検出部１１２）
顔領域検出部１１２は、撮影された画像に含まれる人物の顔領域を検出することが可能である。例えば、顔領域検出部１１２は、撮影された画像において、目、鼻、または顔の輪郭などの特徴点を抽出することにより、人物の顔領域を検出する。

（３−２−１−４．ぶれ判断部１１４）
ぶれ判断部１１４は、撮影された画像が閾値以上ぶれているか否かを判断する。例えば、ぶれ判断部１１４は、撮影時においてジャイロスコープ１７２により検出される角度の変化量の大きさに応じて、撮影された画像が閾値以上ぶれているか否かを判断する。なお、閾値は、例えば情報処理装置１０の設計者もしくは利用者により設定される値であってもよい。

なお、他の構成要素の機能は、第１の実施形態と同様である。従って、ここでは説明を省略する。

［３−２−２．動作］
以上、第２の実施形態による構成について説明した。続いて、第２の実施形態による動作について説明する。

図２４は、第２の実施形態による動作を示したシーケンス図である。なお、Ｓ２０１〜Ｓ２０５の動作は、図１１に示した第１の実施形態による動作と同様であるので、説明を省略する。

Ｓ２０５の後、送信制御部１０７は、Ｓ２０５で撮影された画像をサーバ２０へ送信させるか否かを判定する（Ｓ２０６）。例えば、ぶれ判断部１１４により、撮影された画像が閾値以上ぶれていると判断された場合には、送信制御部１０７は、撮影された画像をサーバ２０へ送信させないことを判定する（Ｓ２０６：Ｎｏ）。一方、ぶれ判断部１１４により、撮影された画像のぶれが閾値未満であると判断された場合には、送信制御部１０７は、撮影された画像をサーバ２０へ送信させることを判定する（Ｓ２０６：Ｙｅｓ）。

そして、撮影された画像をサーバ２０へ送信させないと判定された場合には（Ｓ２０６：Ｎｏ）、情報処理装置１０は、再びＳ２０１の動作を行う。

一方、撮影された画像をサーバ２０へ送信させると判定された場合には（Ｓ２０６：Ｙｅｓ）、画像処理部１１０は、撮影部１２４による撮影時において動作認識部１０２により認識された利用者の動作状態に応じた方法で、撮影された画像から情報量を減少させた画像を生成する（Ｓ２０７）。例えば、顔領域検出部１１２により、撮影された画像において人物の顔領域が検出された場合には、画像処理部１１０は、撮影された画像から、検出された顔領域を切り出した画像を生成する。

続いて、送信制御部１０７は、Ｓ２０７で生成または加工された画像をサーバ２０へ通信部１２０に送信させる（Ｓ２０８）。

なお、Ｓ２０８より後の動作は、図１１に示した第１の実施形態によるＳ１０８〜Ｓ１１１の動作と概略同様であるので、説明を省略する。

［３−２−３．効果］
以上、例えば図１２、図２４等を参照して説明したように、第２の実施形態による情報処理装置１０は、まず、測定部１２２による測定結果に基づいて、利用者の動作状態を認識する。そして、情報処理装置１０は、撮影部１２４による撮影時において認識された利用者の動作状態に基づいて、撮影部１２４により撮影された画像に対して情報量に関する加工を行う。そして、情報処理装置１０は、加工された画像をサーバ２０へ送信させる。このため、情報処理装置１０は、撮影された画像をサーバ２０へ送信する場面において、通信量を適応的に減少させることができる。

例えば、情報処理装置１０は、撮影時において利用者が見回している動作が認識された場合には、撮影された画像の解像度を圧縮し、そして、解像度を圧縮した画像をサーバ２０へ送信する。または、情報処理装置１０は、撮影時において利用者が注目している動作が認識された場合には、利用者が注目していると推定される領域を切り出し、そして、切り出した領域をサーバ２０へ送信する。このため、撮影時における利用者の動作状態に応じて、適切な方法で画像の情報量を減少させることにより、通信量を適応的に減少させることができる。

また、情報処理装置１０は、撮影された画像が閾値以上ぶれている場合には、当該画像をサーバ２０へ送信しない。このように、情報処理装置１０は、サーバ２０において適切に画像認識を行うことが難しい画像をサーバ２０へ送信しないので、通信量をさらに効率的に抑制することができる。

また、情報処理装置１０は、基本的には、撮影された画像に人物の顔領域が有るか否かを検出することだけを行い、顔領域が検出された場合には、検出された顔領域の画像をサーバ２０に送信する。そして、情報処理装置１０は、検出された顔領域に対応する人物の特定をサーバ２０に行わせ、特定された結果をサーバ２０から受信する。このため、情報処理装置１０は、撮影画像に含まれる人物の特定を計算量少なく行うことができ、消費電力を抑制できる。

＜＜３．変形例＞＞
なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、各実施形態による情報処理装置１０は、図１に示したような、メガネ型のディスプレイを有する装置に限定されない。情報処理装置１０は、腕時計型の装置、ネックストラップのように利用者が首に掛ける装置、ウェアラブルバッジのように、利用者の衣服に装着する装置、あるいはヘッドフォンのように、利用者の身体に装着する装置などとして構成してもよい。

また、上記の説明では、情報処理装置１０が、例えば位置情報測定装置１６８や加速度センサ１７０などの各種センサを全て有する例について説明したが、かかる例に限定されない。位置情報測定装置１６８、加速度センサ１７０、ジャイロスコープ１７２、またはマイクロフォン１７４のうちいずれか１以上は、利用者が携帯可能な他の装置に備えられてもよい。例えば、加速度センサ１７０が他の装置に備えられ、かつ、利用者の腰付近に装着される場合には、利用者の歩行時における加速度をより精度高く測定できるという利点がある。

また、本開示の各実施形態によれば、ＣＰＵ１５０、ＲＯＭ１５２、およびＲＡＭ１５４などのハードウェアを、上述した情報処理装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも提供可能である。また、該コンピュータプログラムが記録された記録媒体も提供される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
を備える、情報処理装置。
（２）
前記画像処理部は、前記撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に応じた方法で、前記撮影された画像から情報量を減少させた画像を生成し、
前記送信制御部は、前記情報量を減少させた画像を前記画像処理装置へ送信させる、前記（１）に記載の情報処理装置。
（３）
前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識する、前記（１）または（２）に記載の情報処理装置。
（４）
前記利用者の動作状態は、前記利用者の目視に関する状態を含み、
前記動作認識部は、前記センサにより前記利用者の頭部の動きが所定の範囲内であることが測定される場合には、前記利用者が見回していることを認識し、
前記画像処理部は、前記利用者が見回していることが認識された場合には、前記撮影された画像から解像度を減少させた画像を生成する、前記（３）に記載の情報処理装置。
（５）
前記動作認識部は、前記センサにより前記利用者の頭部の動きの速度が所定の値以下に低下したことが測定された場合には、前記利用者が注目していることを認識し、
前記画像処理部は、前記利用者が注目していることが認識された場合には、前記撮影された画像から所定の領域を切り出した画像を生成する、前記（３）または（４）に記載の情報処理装置。
（６）
前記利用者の動作状態は、前記利用者の移動状態を含み、
前記画像処理部は、前記撮影部による撮影時において前記利用者が移動していることが認識された場合には、前記撮影された画像から所定の領域を切り出した画像を生成する、前記（３）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記所定の領域は、前記撮影された画像における、中心から所定の距離以上離れた周辺領域である、前記（５）または（６）に記載の情報処理装置。
（８）
前記所定の領域は、前記撮影された画像における、中心から所定の距離以内の領域である、前記（５）または（６）に記載の情報処理装置。
（９）
前記情報処理装置は、前記撮影された画像に含まれる人物の顔領域を検出する顔領域検出部をさらに備え、
前記画像処理部は、前記撮影された画像から、前記顔領域検出部により検出された顔領域を切り出し、
前記送信制御部は、前記画像処理部により切り出された顔領域の画像を前記画像処理装置へ送信させる、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（１０）
前記動作認識部は、前記センサにより前記利用者が俯いていることを認識し、
前記画像処理部は、前記利用者が俯いていることが認識された場合には、前記撮影された画像の下端から所定の距離以内の領域を前記撮影された画像から切り出し、
前記送信制御部は、前記画像処理部により切り出された領域の画像を前記画像処理装置へ送信させる、前記（３）または（４）に記載の情報処理装置。
（１１）
前記動作認識部は、前記センサにより前記利用者が仰向いていることを認識し、
前記画像処理部は、前記利用者が仰向いていることが認識された場合には、前記撮影された画像の上端から所定の距離以内の領域を前記撮影された画像から切り出し、
前記送信制御部は、前記画像処理部により切り出された領域の画像を前記画像処理装置へ送信させる、前記（３）または（４）に記載の情報処理装置。
（１２）
前記情報処理装置は、前記撮影された画像が閾値以上ぶれているか否かを判断するぶれ判断部をさらに備え、
前記送信制御部は、前記ぶれ判断部により前記撮影された画像が前記閾値以上ぶれていると判断された場合には、前記撮影された画像を前記画像処理装置へ送信させない、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記情報処理装置は、前記撮影された画像が閾値以上ぶれているか否かを判断するぶれ判断部をさらに備え、
前記画像処理部は、前記ぶれ判断部により前記撮影された画像が前記閾値以上ぶれていると判断された場合には、前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影された画像に含まれるぶれを補正する、前記（１）〜（１１）のいずれか一項に記載の情報処理装置。
（１４）
利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識することと、
前記利用者が携帯する撮影部による撮影時において認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工をプロセッサにより行うことと、
加工された画像を、画像認識を行うための画像処理装置へ送信させることと、
を備える、情報処理方法。
（１５）
コンピュータを、
利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
として機能させるための、プログラム。

１０ 情報処理装置
１２ 通信網
２０ サーバ
１００、１０１ 制御部
１０２ 動作認識部
１０４ 撮影制御部
１０６、１０７ 送信制御部
１０８ 表示制御部
１１０ 画像処理部
１１２ 顔領域検出部
１１４ ぶれ判断部
１２０ 通信部
１２２ 測定部
１２４ 撮影部
１２６ 表示部
１５０ ＣＰＵ
１５２ ＲＯＭ
１５４ ＲＡＭ
１５６ 内部バス
１５８ インターフェース
１６０ 出力装置
１６２ ストレージ装置
１６４ 通信装置
１６６ カメラ
１６８ 位置情報測定装置
１７０ 加速度センサ
１７２ ジャイロスコープ
１７４ マイクロフォン

Claims (15)

1. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
   前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
   前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
   を備え、
   前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
   前記利用者が見回していることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、情報処理装置。
2. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
   前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
   前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
   を備え、
   前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
   前記利用者が注目していることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、情報処理装置。
3. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
   前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
   前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
   を備え、
   前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
   前記撮影部による撮影時において前記利用者が移動していることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、情報処理装置。
4. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
   前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
   前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
   を備え、
   前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
   前記利用者が俯いていることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、情報処理装置。
5. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
   前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
   前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
   を備え、
   前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
   前記利用者が仰向いていることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、情報処理装置。
6. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識することと、
   前記利用者が携帯する撮影部による撮影時において認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工をプロセッサにより行うことと、
   加工された画像を、画像認識を行うための画像処理装置へ送信させることと、
   前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識することと、
   前記利用者が見回していることが認識された場合には、前記撮影された画像から情報量を減少させた画像を生成することと、
   を含む、情報処理方法。
7. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識することと、
   前記利用者が携帯する撮影部による撮影時において認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工をプロセッサにより行うことと、
   加工された画像を、画像認識を行うための画像処理装置へ送信させることと、
   前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識することと、
   前記利用者が注目していることが認識された場合には、前記撮影された画像から情報量を減少させた画像を生成することと、
   を含む、情報処理方法。
8. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識することと、
   前記利用者が携帯する撮影部による撮影時において認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工をプロセッサにより行うことと、
   加工された画像を、画像認識を行うための画像処理装置へ送信させることと、
   前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識することと、
   前記撮影部による撮影時において前記利用者が移動していることが認識された場合には、前記撮影された画像から情報量を減少させた画像を生成することと、
   を含む、情報処理方法。
9. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識することと、
   前記利用者が携帯する撮影部による撮影時において認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工をプロセッサにより行うことと、
   加工された画像を、画像認識を行うための画像処理装置へ送信させることと、
   前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識することと、
   前記利用者が俯いていることが認識された場合には、前記撮影された画像から情報量を減少させた画像を生成することと、
   を含む、情報処理方法。
10. 利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識することと、
    前記利用者が携帯する撮影部による撮影時において認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工をプロセッサにより行うことと、
    加工された画像を、画像認識を行うための画像処理装置へ送信させることと、
    前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識することと、
    前記利用者が仰向いていることが認識された場合には、前記撮影された画像から情報量を減少させた画像を生成することと、
    を含む、情報処理方法。
11. コンピュータを、
    利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
    前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
    前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
    として機能させるための、プログラムであって、
    前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
    前記利用者が見回していることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、プログラム。
12. コンピュータを、
    利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
    前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
    前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
    として機能させるための、プログラムであって、
    前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
    前記利用者が注目していることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、プログラム。
13. コンピュータを、
    利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
    前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
    前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
    として機能させるための、プログラムであって、
    前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
    前記撮影部による撮影時において前記利用者が移動していることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、プログラム。
14. コンピュータを、
    利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
    前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
    前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
    として機能させるための、プログラムであって、
    前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
    前記利用者が俯いていることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、プログラム。
15. コンピュータを、
    利用者が携帯するセンサの測定結果に基づいて、前記利用者の動作状態を認識する動作認識部と、
    前記利用者が携帯する撮影部による撮影時において前記動作認識部により認識された前記利用者の動作状態に基づいて、前記撮影部により撮影された画像に対して情報量に関する加工を行う画像処理部と、
    前記画像処理部により加工された画像を、画像認識を行うための画像処理装置へ送信させる送信制御部と、
    として機能させるための、プログラムであって、
    前記動作認識部は、前記センサにより測定される前記利用者の頭部の動きに基づいて、前記利用者の動作状態を認識し、
    前記利用者が仰向いていることが認識された場合には、前記画像処理部は、前記撮影された画像から情報量を減少させた画像を生成する、プログラム。

Images