WO2023181862A1

WO2023181862A1 - 情報処理装置、情報処理方法、記憶媒体

Info

Publication number: WO2023181862A1
Application number: PCT/JP2023/008152
Authority: WO
Inventors: 恵一朗谷口; 紗也加山崎; 正幸横山
Original assignee: ソニーグループ株式会社
Priority date: 2022-03-25
Filing date: 2023-03-03
Publication date: 2023-09-28

Abstract

情報処理装置は、目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する登録情報取得部と、目および目の周辺の画像を取得する画像取得部と、登録情報と画像とに基づいて登録情報に含まれる処理を選択する処理選択部と、処理選択部が選択した処理が行われるように制御する制御部と、を備えるようにする。

Description

情報処理装置、情報処理方法、記憶媒体

　本技術は情報処理装置、情報処理方法、記憶媒体に関し、特にはユーザインタフェースについての技術分野に関する。

　例えば撮像装置の分野において、笑顔などの表情や目を閉じる動作などをシャッター操作などと認識し、シャッター処理を行うものが知られている。
　下記特許文献１では、ユーザが手を使わずに入力操作をすることが可能な情報処理装置が開示されている。

特開２０１３－３６４７号公報

　撮像装置（カメラ）による撮影を行う際に、片手持ちなど両手が使用できない状況がある。例えば一眼レフカメラなどでは、一般にカメラ本体を左手で把持し、右手で操作を行うため、両手が使えないと撮影が困難である。
　また片手が不自由な障害者においても、カメラ操作は困難である。
　特許文献１のように表情や目を閉じる動作などを操作とすることで、手が使えない状況でも例えばシャッター操作を行うことができるが、多様な操作や処理を実現することは難しい。
　音声入力による操作を認識する技術もあるが、撮影時には声を出せない状況も多々ある。

　そこで本技術は、画像として得られるユーザの目及び目の周辺の形状に基づいて処理を選択することで、多様な処理を実行可能とする技術を提案する。

　本技術に係る情報処理装置は、目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する登録情報取得部と、目および目の周辺の画像を取得する画像取得部と、前記登録情報と前記画像とに基づいて、前記登録情報に含まれる処理を選択する処理選択部と、前記処理選択部が選択した処理が行われるように制御する制御部と、を備える。
　目及び目の周辺の画像を取得して、目及び目の周辺で表現される動作を判定する。この動作とは、目自体の動作だけでなく、目の周辺（例えば眉やしわ）の動きや、首の動きによる目の位置の変化なども含む。そして動作と処理を紐づけた登録情報から、処理を選択し、当該処理が実行されるように制御する。

本技術の実施の形態の情報処理装置の適用装置例の説明図である。実施の形態の撮像装置の斜視図である。実施の形態の撮像装置のブロック図である。実施の形態の情報処理装置のブロック図である。実施の形態の演算部の機能構成のブロック図である。実施の形態の登録情報の説明図である。実施の形態の登録情報の説明図である。第１の実施の形態の処理例のフローチャートである。実施の形態で認識する目の動作の説明図である。実施の形態の動作の一致度による判定の例の説明図である。実施の形態の動作の一致度による判定の例の説明図である。実施の形態の動作の一致度による判定の例の説明図である。第２の実施の形態の処理例のフローチャートである。第３の実施の形態の処理例のフローチャートである。第４の実施の形態の処理例のフローチャートである。第５の実施の形態の処理例のフローチャートである。実施の形態における操作例の説明図である。実施の形態における通知例の説明図である。

　以下、実施の形態を次の順序で説明する。
＜１．適用装置例＞
＜２．撮像装置の構成例＞
＜３．情報処理装置の構成例＞
＜４．演算部の機能構成及び登録情報＞
＜５．第１の実施の形態＞
＜６．第２の実施の形態＞
＜７．第３の実施の形態＞
＜８．第４の実施の形態＞
＜９．第５の実施の形態＞
＜１０．各実施の形態における動作と処理＞
＜１１．まとめ及び変形例＞

　なお、本開示では「画像」とは、動画、静止画のいずれをも指す。特に区別する場合は「静止画」「動画」と表記する。
　また「画像」とは、実際に画面に表示される画像を指すが、画面に表示されるまでの信号処理過程や伝送路における「画像」とは画像データを指す。

＜１．適用装置例＞
　まず本開示の情報処理装置として想定される具体的な装置例を説明する。
　本開示の情報処理装置は、情報処理を行うことができる装置であり、具体的にはマイクロプロセッサ等を備えて、ユーザの目及び目の周辺を撮像した画像を基づいて、実行すべき処理を選択し、選択した処理を実行することができる装置である。
　なお、以下、ユーザの目及び目の周辺を撮像した画像を「目周辺画像」ともいう。実施の形態において「目周辺画像」とは、目と、目の周囲のしわ、眉などを含む画像を意味する。

　目周辺画像に基づいて実行すべき処理を選択することの具体的な例としては、まず画像により目及び目の周辺による「動作」を判定する。そして判定した「動作」に紐づけられている「処理」を、実行する処理として選択することが考えられる。
　例えばこのような処理を行うＣＰＵ、ＤＳＰ等のプロセッサ自体、或いはそのようなプロセッサを備える機器が、本開示でいう情報処理装置となる。

　図１に情報処理装置に該当する具体的な装置例として、撮像装置１、１Ａ、端末装置１００を例示している。
　撮像装置１はＥＶＦ（Electric Viewfinder）５等のビューファインダを備えたカメラ、撮像装置１Ａはビューファインダを備えない、いわゆるコンパクトタイプのカメラを例示している。
　端末装置１００としてはスマートフォンやＰＣ（パーソナルコンピュータ）を例示している。端末装置１００としては他にタブレット装置なども想定される。

　これらの各種装置では、説明上「アイセンサカメラ４２」と呼ぶ撮像装置を所要位置に搭載し、ユーザの目の周辺を撮像して目周辺画像を得ることができるようにしている。
　撮像装置１の場合、アイセンサカメラ４２をＥＶＦ５の近辺に設け、そのＥＶＦ５を覗くユーザの目及び目の周囲を撮像する構成が想定される。

　ビューファインダのない撮像装置１Ａの場合、例えば背面モニタ４の周辺位置にアイセンサカメラ４２を設け、その背面モニタ４を見ているユーザの目及び目の周辺を撮像する構成が想定される。

　スマートフォンやＰＣ等の端末装置１００の場合、画面の周辺位置にアイセンサカメラ４２を設け、画面を見ているユーザの目及び目の周囲を撮像する構成が想定される。

　例えばこれらのように、各種の機器においてアイセンサカメラ４２を搭載する構成が想定される。その場合、内部のプロセッサ装置において、アイセンサカメラ４２による撮像画像、つまり目周辺画像を取得し、その目周辺画像と登録情報を用いて、登録情報に含まれる処理を選択し、当該選択した処理を実行する。

　図１に挙げた機器は一例に過ぎない。目周辺画像の撮像及びそれに基づく処理を行う機器に本開示の技術を適用できる。例えばテレビジョン受像器、ゲーム機器、パーソナルコンピュータ、ワークステーション、ヘッドマウントディスプレイ機器、ロボット、監視装置、センサ装置など、本開示の情報処理装置に相当する機器は極めて多様である。

＜２．撮像装置の構成例＞
　本開示の情報処理装置の例としての撮像装置１の構成例を説明する。
　図２は撮像装置１を背面側から見た斜視図である。なお説明上、被写体側を前方（正面側）とし撮像者側を後方（背面側）とする。

　撮像装置１は、カメラ筐体２と、カメラ筐体２に対して着脱可能とされ前面部２ａに取り付けられるレンズ鏡筒３を備える。なお、レンズ鏡筒３がいわゆる交換レンズとして着脱可能とされるのは一例であり、カメラ筐体２から取り外せないレンズ鏡筒であってもよい。

　カメラ筐体２の後面部２ｂには、背面モニタ４が配置されている。背面モニタ４には、ライブビュー画像や記録した画像の再生画像などが表示される。
　背面モニタ４は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等の表示デバイスにより構成される。

　カメラ筐体２の上面部２ｃには、ＥＶＦ５が配置されている。ＥＶＦ５は、ＥＶＦモニタ５ａとＥＶＦモニタ５ａの上方及び左右の側方を囲むように後方に突出された枠状の囲い部５ｂを備えている。
　ＥＶＦモニタ５ａは、ＬＣＤや有機ＥＬディスプレイ等を用いて形成されている。なお、ＥＶＦモニタ５ａに代わって光学式ファインダー（ＯＶＦ：Optical View Finder）が設けられていてもよい。
　上述のように、このＥＶＦ５の近傍、例えば囲い部５ｂの内側にアイセンサカメラ４２が配置され、ＥＶＦ５を覗くユーザの目周辺画像を撮像する。

　後面部２ｂや上面部２ｃには、各種の操作子６が設けられている。例えば、シャッターボタン、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー等である。これらの操作子６としては、ボタン、ダイヤル、押圧及び回転可能な複合操作子など、各種の態様のものを含んでいる。各種の態様の操作子６により、例えば、シャッター操作、メニュー操作、再生操作、モード選択／切換操作、フォーカス操作、ズーム操作、シャッタースピードやＦ値等のパラメータ選択／設定などが可能とされる。

　撮像装置１の内部構成を図３に示す。
　撮像装置１は、例えばレンズ系１１、撮像素子部１２、カメラ信号処理部１３、記録制御部１４、表示部１５、通信部１６、操作部１７、カメラ制御部１８、メモリ部１９、ドライバ部２２、視線検出装置部４１、アイセンサカメラ４２、センサ部４３を有する。

　レンズ系１１は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系１１により被写体からの光（入射光）が導かれ撮像素子部１２に集光される。

　撮像素子部１２は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサ１２ａ（撮像素子）を有して構成される。
　この撮像素子部１２では、イメージセンサ１２ａで受光した光を光電変換して得た電気信号について、例えばＣＤＳ(Correlated Double Sampling)処理、ＡＧＣ(Automatic Gain Control)処理などを実行し、さらにＡ／Ｄ(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部１３やカメラ制御部１８に出力する。

　カメラ信号処理部１３は、例えばＤＳＰ（Digital Signal Processor）等により画像処理プロセッサとして構成される。このカメラ信号処理部１３は、撮像素子部１２からのデジタル信号（撮像画像信号）に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部１３は、前処理、同時化処理、ＹＣ生成処理、解像度変換処理等を行う。

　そしてカメラ信号処理部１３は、例えば以上の各種処理が施された画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタデータの生成や付加などを行って記録用や通信用のファイル生成を行う。
　例えば静止画ファイルとしてＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、ＧＩＦ（Graphics Interchange Format）等の形式の画像ファイルの生成を行う。またＭＰＥＧ－４準拠の動画・音声の記録に用いられているＭＰ４フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
　なおロー（RAW）画像データとして画像ファイルを生成することも考えられる。

　記録制御部１４は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部１４は例えば記録媒体に対し動画データや静止画データ等の画像ファイルや、サムネイル画像等を含むメタデータを記録する処理を行う。
　記録制御部１４の実際の形態は多様に考えられる。例えば記録制御部１４は、撮像装置１に内蔵されるフラッシュメモリとその書込／読出回路として構成されてもよい。また記録制御部１４は、撮像装置１に着脱できる記録媒体、例えばメモリカード（可搬型のフラッシュメモリ等）に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部１４は、撮像装置１に内蔵されている形態としてＨＤＤ（Hard Disk Drive）などとして実現されることもある。

　表示部１５は撮像者に対して各種表示を行う表示部であり、例えば撮像装置１の筐体に配置される背面モニタ４やＥＶＦ５などとしての液晶パネル（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイ等のディスプレイデバイスとされる。
　表示部１５は、カメラ制御部１８の指示に基づいて表示画面上に各種表示を実行させる。例えば表示部１５は、記録制御部１４において記録媒体から読み出された画像データの再生画像を表示させる。
　また表示部１５にはカメラ信号処理部１３で表示用に解像度変換された撮像画像の画像データが供給され、表示部１５はカメラ制御部１８の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画（被写体のライブビュー画像）が表示される。
　また表示部１５はカメラ制御部１８の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を画面上に実行させる。

　通信部１６は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。例えば外部の情報処理装置、表示装置、記録装置、再生装置等に対して撮像画像データ（静止画ファイルや動画ファイル）やメタデータの送信出力を行う。
　また通信部１６はネットワーク通信部として、例えばインターネット、ホームネットワーク、ＬＡＮ（Local Area Network）等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。
　また撮像装置１は、通信部１６により、例えばＰＣ、スマートフォン、タブレット端末、ヘッドフォン、イヤフォン、ヘッドセットなどとの間で、例えばブルートゥース（Bluetooth（登録商標））、Ｗｉ－Ｆｉ通信、ＮＦＣ等の近距離無線通信、赤外線通信により、相互に情報通信を行うことも可能とされてもよい。
　また撮像装置１と他の機器が有線接続通信によって相互に通信可能とされてもよい。

　操作部１７は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部１７は撮像装置１の筐体に設けられた各種の操作子（キー、ダイヤル、タッチパネル、タッチパッド等）を示している。例えばタッチパネルとしては、背面モニタ４の表面に設けられていることが想定される。
　操作部１７によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部１８へ送られる。

　視線検出装置部４１は、ユーザの視線検出のためのデバイスであり、例えばユーザの目に赤外線を照射する赤外線ＬＥＤや、ユーザの目を撮像する赤外線カメラなどにより構成される。
　例えばこのような視線検出装置部４１が、図２に示したＥＶＦ５内に配置され、赤外線カメラの撮像画像をカメラ制御部１８に送ることで、ＥＶＦ５をのぞき込んだユーザの視線方向を検出することができる。またこのような視線検出装置部４１が背面モニタ４の近辺に配置されるようにし、背面モニタ４を見ているユーザの視線方向の検出のための撮像を行うことができるようにしてもよい。
　なお実施の形態としては、視線検出装置部４１を備えない構成例も想定される。

　アイセンサカメラ４２は上述のように例えばＥＶＦ５内に設けられてユーザの目及び目の周辺を撮像する。
　アイセンサカメラ４２は例えば可視光のイメージセンサと撮像信号処理回路を有してなり、例えばカラー画像或いはモノクロ画像としての静止画データや動画データを得る。即ちこの静止画や動画は目周辺画像である。このアイセンサカメラ４２により撮像される目周辺画像はカメラ制御部１８に送られる。

　カメラ制御部１８はＣＰＵ（Central Processing Unit）を備えたマイクロコンピュータにより構成される。
　メモリ部１９は、カメラ制御部１８が処理に用いる情報等を記憶する。図示するメモリ部１９としては、例えばＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリなどを包括的に示している。
　メモリ部１９はカメラ制御部１８としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。

　カメラ制御部１８はメモリ部１９のＲＯＭやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置１の全体を制御する。
　例えばカメラ制御部１８は、撮像素子部１２のシャッタースピードの制御、カメラ信号処理部１３における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系１１の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。

　また視線検出装置部４１が設けられる場合、カメラ制御部１８は、視線検出装置部４１からの赤外線撮像画像に基づいてユーザの視線方向検出処理を行うことができる。そしてカメラ制御部１８は、検出したユーザの視線方向に基づいて、各種の制御を行うこともできる。例えば視線方向に応じて、視線方向の被写体がジャストフォーカスとなるようにフォーカスエリアを設定することや、視線方向の被写体の明るさに応じて絞り調整制御を行うことなどが可能である。

　カメラ制御部１８は、アプリケーションプログラムにより演算部４０としての機能を備える。
　演算部４０は、目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する処理を行う。また演算部４０はアイセンサカメラ４２からの目周辺画像を取得する処理を行う。また演算部４０は、登録情報と目周辺画像とに基づいて、登録情報に含まれる処理を選択する処理を行う。また演算部４０は、選択した処理が実行されるように制御する。
　これらの演算部４０の処理の詳細については後述する。

　なおカメラ制御部１８は、演算部４０の処理や他の処理のためにいわゆるＡＩ（artificial intelligence）処理を行うものとしてもよい。

　メモリ部１９におけるＲＡＭは、カメラ制御部１８のＣＰＵの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
　メモリ部１９におけるＲＯＭやフラッシュメモリ（不揮発性メモリ）は、ＣＰＵが各部を制御するためのＯＳ（Operating System）や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
　各種の設定情報としては、通信設定情報や、撮像動作に関する設定情報としての露出設定、シャッタースピード設定、モード設定や、画像処理に係る設定情報としてのホワイトバランス設定、色設定、画像エフェクトに関する設定などがある。

　またメモリ部１９には、目周辺画像を用いた処理や各種のキャリブレーション処理のためのプログラムが記憶される。またメモリ部１９には、これらの処理に用いるデータも記憶される。例えばメモリ部１９は目周辺画像及び登録情報を用いた処理選択のためのデータベースとしても機能することができる。例えば後述の登録情報が記憶される。

　ドライバ部２２には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
　これらのモータドライバはカメラ制御部１８からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。

　センサ部４３は、撮像装置１に搭載される各種のセンサを包括的に示している。
　センサ部４３としては例えばＩＭＵ（inertial measurement unit：慣性計測装置）が搭載される場合がある。ＩＭＵにより例えばピッチ、ヨー、ロールの３軸の角速度（ジャイロ）センサで角速度を検出し、加速度センサで加速度を検出することができる。これにより撮像装置１の重力方向に対する姿勢などが検出可能である。
　またセンサ部４３としては、例えば圧力センサ、タッチセンサ、位置情報センサ、照度センサ、測距センサ等が搭載される場合もある。

＜３．情報処理装置の構成例＞
　次に図４で、本開示の情報処理装置の例として図１に示したＰＣやスマートフォンとしての端末装置１００の構成例を説明する。

　端末装置１００のＣＰＵ７１は、ＲＯＭ７２や例えばＥＥＰ－ＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などの不揮発性メモリ部７４に記憶されているプログラム、または記憶部７９からＲＡＭ７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　ＣＰＵ７１、ＲＯＭ７２、ＲＡＭ７３、不揮発性メモリ部７４は、バス８３を介して相互に接続されている。このバス８３にはまた、入出力インタフェース７５も接続されている。

　なお端末装置１００は、画像処理やＡＩ（artificial intelligence）処理を行うことも想定されるため、ＣＰＵ７１に代えて、或いはＣＰＵ７１と共に、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-purpose computing on graphics processing units）、ＡＩ専用プロセッサ等が設けられてもよい。

　入出力インタフェース７５には、操作子や操作デバイスよりなる入力部７６が接続される。例えば入力部７６としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
　入力部７６によりユーザの操作が検知され、入力された操作に応じた信号はＣＰＵ７１によって解釈される。
　入力部７６としてはマイクロフォンも想定される。ユーザの発する音声を操作情報として入力することもできる。
　また入力部としてはイメージセンサ（撮像部）、加速度センサ、角速度センサ、振動センサ、気圧センサ、温度センサ、照度センサなど、各種のセンシングデバイスも想定される。

　入出力インタフェース７５には、ＬＣＤ或いは有機ＥＬパネルなどよりなる表示部７７や、スピーカなどよりなる音声出力部７８が一体又は別体として接続される。
　表示部７７は各種表示を行う表示部であり、例えば端末装置１００の筐体に設けられるディスプレイデバイスや、端末装置１００に接続される別体のディスプレイデバイス等により構成される。
　表示部７７は、ＣＰＵ７１の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部７７はＣＰＵ７１の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちＧＵＩ（Graphical User Interface）としての表示を行う。

　入出力インタフェース７５には、ハードディスクや固体メモリなどより構成される記憶部７９や、モデムなどにより構成される通信部８０が接続される場合もある。
　記憶部７９には各種のプログラム、データファイル等が記憶される。データベースが構築される場合もある。
　通信部８０は、インターネット等の伝送路を介しての通信処理や、各種機器との有線／無線通信、バス通信などによる通信を行う。

　入出力インタフェース７５にはまた、必要に応じてドライブ８１が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体８２が適宜装着される。
　ドライブ８１により、リムーバブル記録媒体８２からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部７９に記憶されたり、データファイルに含まれる画像や音声が表示部７７や音声出力部７８で出力されたりする。またリムーバブル記録媒体８２から読み出されたコンピュータプログラム等は必要に応じて記憶部７９にインストールされる。

　この端末装置１００では、例えば本実施の形態の処理のためのソフトウェアを、通信部８０によるネットワーク通信やリムーバブル記録媒体８２を介してインストールすることができる。或いは当該ソフトウェアは予めＲＯＭ７２や記憶部７９等に記憶されていてもよい。

　入出力インタフェース７５には視線検出装置部４１が接続される場合もある。視線検出装置部４１は図３の撮像装置１の構成で説明したように、ユーザの視線検出のためのデバイスであり、例えばユーザの目に赤外線を照射する赤外線ＬＥＤや、ユーザの目を撮像する赤外線カメラなどにより構成される。

　入出力インタフェース７５にはアイセンサカメラ４２が接続される。アイセンサカメラ４２についても図３で説明したように、例えば可視光のイメージセンサと撮像信号処理回路を有してなり、目周辺画像を撮像する。撮像した目周辺画像はＣＰＵ７１による処理に用いられる。

　入出力インタフェース７５には、センサ部４３が接続される場合もある。センサ部２３としては図３の撮像装置１の構成で説明したものと同様に、各種のセンシングデバイスが想定される。

　この端末装置１００では、ＣＰＵ７１は、アプリケーションプログラムにより演算部４０としての機能を備えるようにされる。この演算部４０は、図３の撮像装置１で述べた演算部４０と同様の処理機能である。
　また不揮発性メモリ部７４、ＲＯＭ７２、記憶部７９は、演算部４０の処理に必要な情報の記憶が行われる。例えば後述する登録情報等が記憶される。

＜４．演算部の機能構成及び登録情報＞
　以上の撮像装置１や端末装置１００における演算部４０について説明する。
　図５は演算部４０の機能構成を示している。演算部４０は、アプリケーションプログラムにより実現されるソフトウェア機能構成として、画像取得部５１、処理選択部５２、登録情報取得部５３、制御部５４を備える。

　画像取得部５１は、アイセンサカメラ４２による撮像画像を処理対象として取得する機能である。アイセンサカメラ４２は、例えば所定のフレームレートで継続して撮像動作を行っており、目周辺画像としての各フレームの画像データをカメラ制御部１８又はＣＰＵ７１に供給する。画像取得部５１はこの各フレーム（或いは間欠的なフレーム）の画像データを逐次、処理対象として取り込む。

　登録情報取得部５３は、記憶部５５から、目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する。

　記憶部５５は、例えば図３の撮像装置１であればメモリ部１９の記憶領域、図４の端末装置１００であれば不揮発性メモリ部７４や記憶部７９の記憶領域として構成される。そして記憶部５５は登録情報を記憶する。

　登録情報の例を図６に示す。
　登録情報は、ユーザの登録操作によって、或いは撮像装置１や端末装置１００の製造者によるプリセット登録などとして、予め登録されている情報である。
　登録情報は、「動作」と「処理」を紐づけて記憶している。
　「動作」とは目及び目の周辺の形状により表現される動作である。説明上、このような目及び目の周辺の形状により表現される動作を「アイジェスチャ」ともいう。そしてアイジェスチャとしての具体的な態様が登録情報に登録される。登録情報に登録された動作を、説明上「登録動作」と呼ぶ。例えばアイジェスチャによって表現される動作として、図６の例では「目を強く瞑る」「ウインク」「驚愕」「笑顔」「眉を顰める」が登録動作とされていることを示している。

　登録情報では、これらの登録動作に対して処理を紐づけている。紐づけられた処理を説明上「登録処理」と呼ぶ。図６の例では、「目を強く瞑る」等の各登録動作に対してそれぞれ、「シャッター操作」「ＡＦ（オートフォーカス）操作」「ＡＥ（オートエクスポージャ）操作」「ピーキングアシスト操作」「ズームイン操作」の各種の操作の処理が登録処理として紐づけられている。なおピーキングアシストとはスルー画内で合焦位置をハイライトさせて提示する処理である。

　また、登録情報は、図７のようにユーザ毎に設けられるものでもよい。図７ではユーザＵ１、Ｕ２という個人毎に登録情報が記憶されている例を示している。

　例えばユーザＵ１に関する登録情報は、ユーザＵ１の個人識別情報とともに、「目を強く瞑る」「ウインク」「驚愕」「笑顔」「眉を顰める」等の登録動作と、「シャッター操作」「ＡＦ操作」「ＡＥ操作」「ピーキングアシスト」「ズームイン操作」等の登録処理が紐づけられている。
一方、例えばユーザＵ２に関する登録情報は、ユーザＵ２の個人識別情報とともに、「目を細める」「眉を顰める」「目を瞑る」「目に力を入れる（睨む）」「目を見開く」等の登録動作と、「決定操作」「シャッター操作」「連写操作」「ズームイン操作」「ズームアウト操作」等の登録処理が紐づけられている。

　例えばこの図６，図７の例のように、登録情報として、登録動作と登録処理が紐づけられている。

　なお記憶部５５には、目周辺画像について登録動作との動作判定を行うためのデータも記憶されている。例えば動作に対応する形状データ、ＤＮＮ（Deep Neural Network）学習モデルのデータセット、セマンティックセグメンテーションによる物体認識に用いるパターンデータなども記憶されている。
　さらに記憶部５５には、ユーザ毎の目周辺の形状の個人差や動作の個人差に対応するキャリブレーションデータが記憶される場合もある。
　また記憶部５５には、図７のように個人別の登録情報を用いる場合の個人認識のためのデータ、例えば虹彩パターンをコード化したコード情報や、目の形状のパターンデータなどが記憶される場合もある。

　図５の登録情報取得部５３は、登録動作取得部５３ａの機能として、記憶部５５から登録動作に関するデータを取得する。
　また登録情報取得部５３は、登録処理取得部５３ｂの機能として、記憶部５５から登録処理のデータを取得する。

　処理選択部５２は、登録情報と、目周辺画像とに基づいて、登録情報に含まれる登録処理を選択する機能である。
　この例では、処理選択部５２は、符号化部５２ａ、一致度計算部５２ｂ、選択部５２ｃとしての処理を行うものとしている。

　符号化部５２ａは、画像取得部５１が取得した目周辺画像のフレームについて符号化を行う。これは１フレームの目周辺画像について、機械学習モデルを用いた計算を行い、ユーザの目及び目の周辺で表現される「状態」を検出し、状態を示す符号化データを得る処理である。「状態」とは、その瞬間の目及び目の周辺の形状の状態、或いはその形状から推定される、感情・動作の状態である。具体例は後述する。
　符号化を行うアルゴリズムの例としては、機械学習モデルによるクラス分類やエッジ検出、前回画像との差分抽出等の画像処理が考えられる。
　これにより、どのような「状態」であるかをフレーム単位で検出する。

　一致度計算部５２ｂは、顔周辺画像で表現される動作について、各登録動作との一致度を計算する。例えば一定時間の連続した「状態」の情報を顔周辺画像の「動作」とする。つまり一致度計算部５２ｂは、現在から過去の所定フレーム期間において符号化部５２ａが求めた「状態」を「動作」とし、その「動作」と、各登録動作の間の一致度を計算する。
　なお一致度計算部５２ｂは、上記のようにフレーム毎の符号化を行わず、複数フレームとしての動画データ自体と、各登録動作の一致度を計算するようにしてもよい。

　選択部５２ｃは、一致度計算部５２ｂで計算された一致度に基づいて、登録処理を選択する。例えば一致度が最も高い登録動作を判定し、その登録動作に紐づけられた登録処理を選択する。

　処理選択部５２は、例えばこのように符号化部５２ａ、一致度計算部５２ｂ、選択部５２ｃの処理により、１つの登録処理を選択する。

　制御部５４は、処理選択部５２によって選択された登録処理が撮像装置１や端末装置１００において実行されるように制御する。例えば「シャッター操作」が選択された場合、制御部５４はシャッター処理（静止画の撮像記録処理）が実行されるように撮像装置１や端末装置１００の動作制御を行う。

　なお図６，図７において登録処理としてはユーザの操作を実行する処理を例示したが、登録処理は操作に対応する処理に限られない。具体例は後述するが、各種の補助的な処理としてユーザへの通知、表示画面に関する処理、撮影状況に適した処理などもある。そのような操作以外の処理が登録処理とされていることで、制御部５４は操作に応じた制御以外の制御を行う場合もある。

＜５．第１の実施の形態＞
　上記の演算部４０による第１の実施の形態の処理例を説明する。登録動作の判定は、複数フレームの動画としての顔周辺画像単位で行ってもよし、一枚の画像（１フレーム）毎に「状態」を識別し、それらの組み合わせを「動作」として、登録動作との一致判定を行うようにしてもよい。第１の実施の形態では、比較的負荷が軽い処理となる、１フレーム毎の「状態」を識別する例で述べる。

　図８に演算部４０の処理例を示す。
　ステップＳ１０１で演算部４０の機能を実行するアプリケーションを開始する。つまり、アイセンサカメラ４２により得られる目周辺画像に基づいてアイジェスチャを判定し、対応する処理を選択して実行するためのアプリケーションプログラムに基づく処理を開始する。このアプリケーションプログラムにより図５に示した画像取得部５１、処理選択部５２、登録情報取得部５３、制御部５４としての各機能の処理が、演算部４０としてのプロセッサにおいて実行される。

　そして演算部４０は、アプリケーションがステップＳ１１０で終了と判定されるまでは、ステップＳ１０２からステップＳ１０９として示す処理を繰り返す。

　ステップＳ１０２で演算部４０は、アイセンサカメラ４２により撮像されるユーザの目周辺画像の１フレームを取得する。
　なお取得した１フレームの撮像画像が、目周辺画像とはなっていない場合もある。例えば撮像装置１の場合は、ユーザがＥＶＦ５を覗いているときに目周辺画像が得られるが、覗いていないときは、目周辺画像は得られない。
　フローチャートでは示していないが、取得した１フレームが、目が映っていない画像であった場合は、演算部４０はステップＳ１０３以降の処理を行わず、次のフレームの取得に進むことになる。

　ステップＳ１０３で演算部４０は、取得した目周辺画像について上述の符号化部５２ａの処理によりユーザの「状態」を取得する。即ち上述のように機械学習モデルによるクラス分類等の手法で、ユーザの目及び目の周辺の形状で表現される「状態」を検出する。

　目周辺画像から判定できる「状態」の具体例を図９に示す。
　１フレームの目周辺画像からは、個人の目の形状や、左目、右目の別が判定できる。つまりユーザの個人識別のための形状情報や、左目、右目を示す情報などが、「状態」の情報の一例になる。
　また１フレームの目周辺画像からは、その時点の目の開き具合として、見開いた状態、通常の状態、閉じた状態、強く瞑る状態などが判定できる。これらも「状態」の情報の一例になる。

　また１フレームの目周辺画像からは、目の位置、向き、回転の状態が判定できる。例えばＥＶＦ５を覗いているユーザの目の位置、つまりＥＶＦ５に対する相対的な目の位置や向きの情報である。このような情報として、通常の位置や、Ｘ方向（水平方向）又はＹ方向（垂直方向）にずれた回転の状態、Ｚ方向（ＥＶＦ５に対する遠近方向）にずれた状態などがある。また、「下向き」として示すようにＥＶＦ５に対してユーザが上から覗きこんだときの状態、「上向き」として示すようにＥＶＦ５に対してユーザが下から覗き込んだときの状態、「横向き」として示すようにＥＶＦ５に対してユーザが左右方向から覗き込んだときの状態などもある。さらに撮像装置１の姿勢、つまりユーザが縦持ち、横持ちのいずれで撮像装置１を持つかによって、縦横が変化し、図の「縦持ち」のような状態もある。これらも「状態」の情報の一例になる。

　さらに「状態」としては、図示していないが、目の周辺のしわの形状や、眉毛の形状、位置、角度などの情報もあり、これらも「状態」の情報の一例になる。

　図８のステップＳ１０４で演算部４０は、ユーザの「動作」を更新する。例えば今回のフレームから過去のＮフレームにおける「状態」というように、一定の連続した「状態」の情報を現時点の「動作」とする。
　つまりフレーム毎に新規に「状態」が加えられ、一定時間以上前の「状態」は削除され、その一定時間における複数の「状態」が「動作」とされる。
　なお、前後の「状態」の判定結果と明らかに異なる結果が検出された場合は、外れ値として修正する等の処理をすることが望ましい。

　動作とは、図９のような「状態」の連続として把握するものであるため、「状態」の変化によって表現される動作や、或いは「状態」の継続によって表現される動作がある。

　例えば「状態」の継続による「動作」としては、「目を見開く」「目を強く瞑る」など、「状態」と同じ種別となる動作がある。例えば一定期間の状態が全て「目を見開く」であれば、「動作」も「目を見開く」と判定される。
　また「状態」の変化によって表現される「動作」としては、「連続ウインク」「一定間隔のウインク」「頭部の移動」「表情」などがある。
　「連続ウインク」「一定間隔のウインク」などは、ある期間において「目を開く」「目を瞑る」の「状態」が検出されたことで判定される。
　「頭部の移動」としては例えば「水平移動」「接近」「離隔」「回転」などがあるが、これらは「状態」としての位置や向きや回転の一定期間における変化によって判定できる。

　また「状態」の継続又は変化のいずれかで判定できる「動作」として「表情」がある。表情としては例えば「驚愕」「笑顔」「眉を顰める」「睨む」「侮蔑」などがあるが、これらは「状態」としての目の開き具合やしわの具合、眉の形状、角度などの一定期間における継続や変化によって判定できる。

　演算部４０は、顔周辺画像の複数フレームのそれぞれの「状態」から以上の例のような「動作」を判定する。

　ステップＳ１０５で演算部４０は、更新した「動作」について、全ての登録動作に対しての一致度を計算する。
　なお全ての登録動作とは、図６のように、個人別に登録していない場合は、記憶されている登録動作の全てである。図７のように、個人別に登録情報が用意されている場合は、目周辺画像からユーザの個人識別を行い、その個人について登録されている登録動作の全てである。
　また、全ての登録動作との一致度計算を行うのは一例であり、ある「動作」即ち一定期間の「状態」から推定されるいくつかの候補の登録動作を判定し、その候補の登録動作について一致度計算を行うようにしてもよい。

　演算部４０は、目周辺画像から判定された「動作」と、例えば全ての登録動作との一致度計算を行ったら、一致度が閾値以上で、かつ一致度が最も高い登録動作を選択する。このため演算部４０は、まずステップＳ１０６で、一致度が閾値以上の登録動作が存在するか否かを確認する。

　存在しなければ、現時点で登録動作に該当する動作（アイジェスチャー）は行われていないとしてステップＳ１１０を介してステップＳ１０２に戻る。つまりこの場合は、アイジェスチャによる処理制御は発動されない。

　一致度が閾値以上の登録動作が存在した場合は、演算部４０はステップＳ１０７で、一致度が最大となる１つの登録動作が存在するか否かを確認する。
　複数の登録動作が最大の一致度となっている場合は、明確に動作を判定できていないとして、演算部４０は、ステップＳ１１０を介してステップＳ１０２に戻る。この場合も、アイジェスチャによる処理制御は発動されない。

　一致度が最大となる１つの登録動作が存在した場合は、演算部４０はステップＳ１０８に進み、その登録動作に紐づけられた登録処理を選択する。

　そしてステップＳ１０９で演算部４０は、選択した登録処理が実行されるように制御する。例えば選択された処理がシャッター操作の処理であれば、演算部４０は、シャッター操作に応じた静止画撮像記録の処理が実行されるように制御する。

　この図８の処理がステップＳ１１０でアプリケーション終了と判定されるまで繰り返されることで、アプリケーション発動中は、ユーザが任意の時点でアイジェスチャを行うことで、それに応じた操作処理等が実行される。

　なお、ステップＳ１０８の際に演算部４０は、動作の判定結果や処理の選択結果をアイコンや文字で画面に表示させ、ユーザに通知するようにしてもよい。効果音や音声で通知しても良い。またこのような通知に対して、ユーザが首を振るなどした場合に、その選択をキャンセルするようにしてもよい。例えばユーザの意図にそぐわない処理が実行されようとしたときに、ステップＳ１１０の処理を実行せずにキャンセルできるようにする。

　以上の図８の処理における一致度計算に応じた処理の選択の例を説明する。
　例えば一致度の計算結果が図１０のような場合を考える。図１０の例は、登録情報として「目を強く瞑る」「ウインク」「驚愕」「笑顔」「眉を顰める」という登録動作が存在する場合において、それぞれに対して算出された一致度を示している。
　演算部４０は、ステップＳ１０６で一致度と閾値を比較する。

　なお、図１０の例では、閾値が登録動作毎に異なるようにしている。これは、登録動作に紐づけられる登録処理として、発動しやすさを調整するためである。例えばシャッター操作など、間違って発動しても特に問題ない登録処理に対応する登録動作は、閾値を低めにし、発動しやすくする。一方、画像の削除操作などの登録処理があった場合、それを紐づけている登録動作については、閾値を高めにし、慎重にアイジェスチャの判定を行うようにする。
　もちろん、これは一例であり、全ての登録動作について閾値を同じとしてもよい。

　図１０の例では「驚愕」の一致度が閾値を超えている。従って演算部４０は、ステップＳ１０７に進む。またこの場合、一致度が最大となる登録動作は「驚愕」のみである。そこで演算部４０はステップＳ１０８，Ｓ１０９に進み「驚愕」に対応する登録処理、例えば図６の登録情報の例によればＡＥ操作に対応する処理が行われるように制御する。

　図１１の例は、一致度が閾値を超える登録動作として「目を強く瞑る」「眉を顰める」のように複数存在し、かつこれらの一致度が最大値で同じ場合である。このような場合、演算部４０はステップＳ１０７からステップＳ１０２に戻り、処理を発動させない。

　図１２の例は、一致度が最大値の登録動作として「笑顔」があるが、一致度が閾値を超える登録動作が存在しない場合である。このような場合、演算部４０はステップＳ１０６からステップＳ１０２に戻り、処理を発動させない。

　なお以上の処理は一例である。例えばステップＳ１０６の閾値の判定を設けず、図１２のように一致度が最大となる登録動作があれば、その登録動作に紐づけられた登録処理の制御を実行してもよい。
　また図１１のように一致度が最大値となる登録動作が複数存在する場合は、いずれかを選択して、対応する処理の実行制御を行うようにしてもよい。例えば処理に優先順位をつけておき、その優先順位に照らして、いずれかを選択することが考えられる。

＜６．第２の実施の形態＞
　第２の実施の形態は、以上の図１１，図１２のように、一致度が閾値以上となる登録動作が存在しない場合や、一致度が最大値となる登録動作が複数存在する場合にユーザに通知を行う例である。

　図１３に演算部４０の処理例を示す。なお以降の各実施の形態のフローチャートにおいて、既述の処理と同一の処理は同一のステップ番号を付し、重複説明を避ける。

　この図１３の処理例では、ステップＳ１０６で、一致度が閾値以上の登録動作が存在しないと判定された場合に、演算部４０はステップＳ１２０に進み、一致度の最も高い動作に関する情報を通知する処理を行う。
　例えば図１２の場合、「笑顔」が最も一致度が高いが、閾値より低いことで、アイジェスチャの確からしさが低い。そこで演算部４０は、ＥＶＦ５等の表示部１５などにおいて「目を細めて笑ってください」などのメッセージ表示を実行させ、ユーザによりはっきりした笑顔とするように通知する。これによりユーザが、通知に応じて、よりはっきりしたアイジェスチャを行うようになることが期待できる。

　またステップＳ１０７で、一致度が最大となる登録動作が複数存在すると判定した場合は、演算部４０はステップＳ１２１に進み、各動作を区別するための情報を表示する制御を行う。
例えば図１１のように「目を強く瞑る」「眉を顰める」がともに一致度が最大値となった場合、「瞑る時間を長くするか、もう少し眉を動かしてください」といった通知を文字やアイコンで示すように制御することが考えられる。
　これによってもユーザが、よりはっきりしたアイジェスチャを行うようになることが期待できる。

＜７．第３の実施の形態＞
　第３の実施の形態の処理例を図１４に示す。この図１４は、上記の図６又は図１３におけるステップＳ１０２とステップＳ１０６の間の処理の変形例である。
　登録情報は図７のように、個人毎に対応して登録されているとする。

　ステップＳ１０２で目周辺画像のフレームを取得したら、演算部４０は図１４のステップＳ１３０で、その目周辺画像によりユーザが登録されたユーザか否かの判定を行う。例えば目周辺画像における目の形状を登録されたユーザの目の形状と比較する。虹彩認証によって登録ユーザであるか否かを判定してもよい。

　もし登録されたユーザの目周辺画像ではないと判定したら、演算部４０は、ステップＳ１３１からステップＳ１１０を介してステップＳ１０２に戻る。
　つまり登録されたユーザでなければ、アイジェスチャの判定に応じた処理を発動させないようにする。

　一方、登録されたユーザと判定したら、演算部４０はステップＳ１０４，Ｓ１０５で「状態」の判定及び「動作」の更新を行い、ステップＳ１３２で今回判定したユーザ個人に対応する登録情報を取得する。そしてステップＳ１０６Ａで、その該当ユーザの登録情報に含まれている登録動作のそれぞれと、ステップＳ１０５で判定した「動作」との一致度を計算する。そして演算部４０は、ステップＳ１０６以降、図６又は図１３で説明した処理を行う。

　このような図１４の処理例により、登録したユーザについてのみ、アイジェスチャによる処理を発動させることができる。

＜８．第４の実施の形態＞
　第４の実施の形態の処理例を図１５に示す。この図１５は、上記の図６又は図１３におけるステップＳ１０９とステップＳ１１０の間の処理を加える例である。

　ステップＳ１０９で選択した処理の制御を実行した場合に、演算部４０は、ステップＳ１５０で、ユーザの否定的動作を判定する。
　例えばシャッター操作などの処理が行われた直後の所定時間（例えば２秒程度）において、ユーザの顔周辺画像から、眉を顰める、驚くなど、処理動作に対して否定的と推定できる動作の有無を判定する。ユーザが頭部を左右に振った場合、それを否定的な動作としてもよい。

　特に否定的動作が検出されなければ、演算部４０はステップＳ１１０を介してステップＳ１０２に戻る。一方否定的動作が検出されたら、演算部４０はステップＳ１５２に進んで、実行処理に応じた対応処理を選択する。

　ユーザが否定的動作を示した場合とは、アイジェスチャに応じて実行した処理が、ユーザの意にそぐわなかった場合と推定する。そこで、その実行した処理のリカバリーをするような対応処理を行う。但し、実行した処理の種別によって適切な対応処理が異なるとして、処理毎に対応処理を選択するものとする。
　例えばシャッター操作に応じて静止画撮像記録処理を実行した場合は、ユーザに対しての大きな損害はないと考えられるため、通知のみとする。一方、画像の削除の処理を実行した場合は、比較的重大な誤動作となるため、削除をキャンセル（削除画像の復元）するとともに通知を行うなどである。ＡＦ処理などを実行した場合は、キャンセル（ＡＦの解除）のみでよいとすることもできる。

　ステップＳ１５２の対応処理選択によって、処理のキャンセルを実行するとした場合は、演算部４０はステップＳ１５３からステップＳ１５４に進み、キャンセル処理を行う。なおステップＳ１５４のキャンセル処理については、キャンセルするか否かの問い合わせ通知を行い、ユーザがキャンセルを許容する操作（アイジェスチャを含む）を行った場合にキャンセル処理を実行するようにしてもよい。

　またステップＳ１５２の対応処理選択によって、メッセージ等の通知を実行するとした場合は、演算部４０はステップＳ１５５からステップＳ１５６に進み、ユーザに対して必要な通知処理を行う。例えばアイジェスチャによる処理でシャッター処理を行った旨等を通知する。

　このような図１５の処理例により、アイジェスチャによる処理を発動させたことについてユーザにとって適切でなかったと推定した場合にリカバリーすることができる。

＜９．第５の実施の形態＞
　第５の実施の形態として、複数フレームの動画により一致度計算を行う例を図１６に示す。

　演算部４０はステップＳ２０１でアプリケーションを開始したら、ステップＳ２０８でアプリケーション終了となるまで、ステップＳ２０２からステップＳ２０７の処理を繰り返す。

　ステップＳ２０２で演算部４０は、目周辺画像としての動画を取得する。この場合、ある一定期間の動作を撮像した複数フレームを処理対象とする。
　そしてステップＳ２０３で演算部４０は、複数フレームの動画に対してＤＮＮ処理などを行い、登録動作との一致度を計算する。

　ステップＳ２０４からステップＳ２０７は、図８のステップＳ１０６からステップＳ１０９の処理と同様である。

　このように複数フレームの単位で登録動作との一致度を判定する処理例も想定される。但しその場合、図８のようなフレーム毎に「状態」を判定する処理よりも処理負担が大きくなるという事情があるため、処理能力に余裕がある装置において適用することが望ましい。

＜１０．各実施の形態における動作と処理＞
　以下では、ここまで説明した第１から第５の実施の形態の処理例において適用できる動作と処理について説明する。

　上述のように登録情報を備え、また目周辺画像を取得して動作を判定し、処理を選択することで、撮像装置１や端末装置１００においてアイジェスチャに応じた各種の処理が実現できる。例えば次のような処理である。

・目を強く瞑るとシャッター操作として、静止画撮像記録処理が行われる。
・目を大きく見開くとＡＦやＡＥが行われる。
・目に力を入れる（睨みつける）とズーム動作やピーキングアシストが行われる。
・笑ったり驚いたりするとシャッター操作として、静止画撮像記録処理が行われる。
・静止画撮像記録の直後の画像プレビュー時に、眉間にしわが寄るとプレビュー画面を即時終了させる。
・画像プレビュー閲覧時にユーザが笑顔であると判定したら、画像にタグをつけたり、プロテクトをかけたりする。
・設定値変更の通知時にユーザが目をつぶっていた場合、目が開いてから再度通知する。
・ダイヤル操作で値を変更する際に、結果を見ながら眉間にしわが寄った場合、値を変更しすぎたと判断して値を戻す。
・眩しくてユーザが目を細めると、露出を下げたり、ＥＶＦ５の輝度を下げたりする。

　以上はアイジェスチャとしての動作に対応する具体的な処理例である。
　このような動作と処理の組み合わせはユーザ或いは製造者が事前に設定し、登録情報として登録する。
　以下、これら例示した操作と処理について説明する。

　操作と処理の組み合わせの例としては、操作系の動作及び処理と、操作補助系の処理がある。まず操作系の動作及び処理の例を示す。

　目を強く瞑る動作については、例えばシャッター操作、決定操作としての処理が考えられる。瞑っている時間に応じて連写操作としてもよい。

　目を大きく見開く動作については、ＡＦ処理、ＡＥ処理を対応づけることが考えられる。ＡＦ処理、ＡＥ処理はＥＶＦ５に表示しているスルー画におけるカーソル（マウスカーソル）の位置に対して実行する例がある。
　また視線検出装置部４１を備えて視線検出可能な場合は、ＥＶＦ５等の表示における視線の先の被写体を対象としてＡＦ処理、ＡＥ処理を行うようにしてもよい。

　目をほそめて睨みつけるという動作については、例えばズーム処理やピーキングアシスト処理を対応づけることが考えられる。これもＥＶＦ５の表示画像におけるカーソル（マウスカーソル）の位置に対して実行する例がある。また視線検出装置部４１を備えて視線検出可能な場合は、ＥＶＦ５等の表示における視線の先の被写体を対象としてピーキングアシスト処理を行うようにしてもよい。

　また操作系の動作として、例えばアイジェスチャによる複合的な動作を登録動作としてもよい。
　例えば「目を細める」という動作と「頭部の動き」という動作を組み合わせる。
　図１７Ａは、ＥＶＦ５においてプレビュー画像３０を見ている様子を示している。このようなプレビュー画像３０に表示状態で、ユーザが図１７Ｂのように目を細めながら、図１７Ｃのように頭部を上下左右に動かすことで、演算部４０は、プレビュー画像３０のドラッグ操作と認識し、画像を移動させるようにする。
　また図１７Ｄのように、ユーザが目を細めた上で頭部を前後に動かすことに応じて、演算部４０は、プレビュー画像３０の拡大・縮小操作と認識して画像の拡大・縮小制御を行うようにしてもよい。
　さらに図１７Ｅのように、ユーザが目を細めた上で頭部を左右に振ること応じて、演算部４０は、プレビュー画像３０を次の画像にスキップする操作と認識して表示上の画像送り制御を行うようにしてもよい。

　次に操作補助系の処理を例示する。例えば演算部４０は、アイジェスチャとして判定される動作から推定される状況への対応処理を行うようにする。

　個人識別、目の左右の別、撮像装置１の横持ち／縦持ちなどに応じて、それぞれで保存しているデータを呼び出す処理が考えられる。
　例えば上述のように個人に応じて登録情報が記憶される場合は、個人識別に応じて登録情報を選択して呼び出す。
　また目及び目の周囲の形状は個人毎や、目の左右により異なるため、ある程度キャリブレーションを行うことが想定される。そのようなキャリブレーションデータを記憶する場合は、個人認識や目の左右の認識に応じてキャリブレーションデータを呼び出すようにする。
　横持ち／縦持ちによっても登録情報やキャリブレーションデータを選択することが適切である。

　頭部位置によって補助的な処理を行うこともできる。
　例えば頭部の覗き込み位置を検出して、ＥＶＦ５等に表示するＧＵＩやライブビュー画像や記録した画像の再生画像を、頭の位置に追従させる。
　また視線検出装置部４１を有する場合、検出精度向上のため頭部位置によって点灯する赤外線ＬＥＤの位置を変更するようにしてもよい。

　目つぶりの検出によって補助的な処理を行うこともできる。
　例えば何らかの設定値変更を行い、その旨をユーザに通知するタイミングでユーザが目をつぶっていたことを検知した場合、目が開いてから再度通知するようにする。

　目を細めることに対応して、眩しい状況として補助的な処理を行うことができる。例えばユーザが目を細めた場合、露出を下げたり、ＥＶＦ５の輝度を下げたりする。

　笑顔などの感情の判定により補助的な処理を行う例もある。
　例えば撮影した画像のプレビュー時にユーザが笑顔になったり驚きを示したりした場合、その画像にお気に入りのタグを付けたり、プロテクト設定を行うなどの処理を行ったりする。

　眉間にしわを寄せるなど、否定的な感情の動作を検知した場合は、次のような処理例がある。
　例えばシステム側の通知（ポップアップ等）に対して、否定的感情の動作を検知したら、そのような通知を即時終了させる。或いは以降、通知を行わないような設定変更の処理を行う。
　また画像のプレビュー時に否定的な感情の動作を検知したら、その画像のプレビューを即時に終了させる。
　また各種の値の入力、ダイヤル操作などの過程で否定的な感情の動作を検知したら、値の設定を元に戻す。

　またユーザが目を細めるなど、「見えづらさ」を示す動作を行った場合は、表示が小さくて見えにくいと判定して、表示の拡大や、表示を簡略化して見やすくする処理を行う。
　「見えづらさ」を示す動作に応じて、キャリブレーションの際に、年齢や適正なサイズを設定しても良い。

　以上の例示のような動作と処理の関係は、予め登録情報として記憶させておく。
　動作と処理の登録の手順の例を説明する。

　まずユーザは、撮像装置１や端末装置１００としてのデバイス上で実行可能な処理を選択する。
　なお、同じ動作であっても、対象毎（被写体、撮影モード、プレビュー時等）に異なる処理を設定して良い。

　続いてユーザは、その処理に紐づける動作（アイジェスチャ）を行う。アイジェスチャについては、複数回を行い、システム側でキャリブレーションや学習処理を行うことが適切である。
　この場合に目周辺画像から観測される目や目の周辺の形状や、形状の変化を示す情報を登録動作とする。
　またユーザは登録動作について一致度の閾値（Ｓ１０６参照）を設定する。

　ここで、登録動作の入力としてアイジェスチャを実行する場合、まずユーザの真顔を登録することが望ましい。
　その上で、システムが提示する情動（笑い・驚き・怒り等）に応じて、ユーザがアイジェスチャを行う。これを複数回行い、システム側でキャリブレーションや学習を行う。これにより、個人に適合した動作の情報を登録することができる。

　以上のようにユーザ個人が登録を行うようにすることで、そのユーザのアイジェスチャに適合した登録動作が記憶され、またユーザの望む登録処理が紐づけられる。
なおユーザが自身で登録しなくても、デバイスがプリセットデータとして、登録動作と登録処理の組み合わせによる登録情報を記憶していても良い。

　目及び目の周辺の動作（アイジェスチャ）の登録は、実際に使用するデバイス上で行うことが望ましい。
　また登録内容をクラウド上に保存して、別デバイスで呼び出すことができるようにしてもよい。

　登録動作は、複数の動作の組み合わせで設定可能としてもよい。複数の動作の組み合わせとすることで、誤作動防止に適している。例えば目を見開いてから強く瞑るとシャッター操作であるとする。

　アイジェスチャと他の操作（ボタン入力、音声入力）と組み合わせても良い。例えば「シャッター」と発声を行い、かつ目つぶりを行うことでシャッター操作とする。

　登録動作については、ユーザ毎に設定を保存することや、繰り返しキャリブレーションを行うことで精度を向上させることが望ましい。
　使用中の操作が成功する度にバックグラウンドでキャリブレーションを行って精度を更新しても良い。
　登録していないユーザがデバイスを使った場合は、図１４のように処理を発動させないのではなく、他のユーザの登録情報を活用して、本例の機能を発動させてもよい。
　また、撮像装置１等で、縦持ち、横持ちが行われる場合、例えば縦持ち時の登録動作の情報を回転させて横持時の登録動作のデータとして利用して良い。

　また太陽光などが眩しい屋外で、真顔状態でも眉間にしわがよってしまう場合は、動作を判定する閾値を変更させて誤作動を防ぐことが考えられる。
　そのような状況に合わせた真顔データを別に保存しておくようにしてもよい。また真顔を更新し、登録動作を自動で修正してもよい。
　また、目周辺画像やその他センサから心拍、発汗、鳥肌など生体情報が取得できる場合はそれらと組み合わせた登録動作を記憶しても良い。

＜１１．まとめ及び変形例＞
　以上の実施の形態によれば次のような効果が得られる。
　実施の形態の情報処理装置は、撮像装置１や端末装置１００として実現される。或いは演算部４０の機能を有するプロセッサとして実現される。
　このような実施の形態の情報処理装置は、目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する登録情報取得部５３と、目周辺画像を取得する画像取得部５１と、登録情報と目周辺画像とに基づいて登録情報に含まれる登録処理を選択する処理選択部５２と、処理選択部５２が選択した処理（登録動作に紐づけられた処理）が行われるように制御する制御部５４を備える。
　即ち演算部４０は、目周辺画像を取得して、目及び目の周辺による動作（アイジェスチャ）を判定する。そして登録情報においてアイジェスチャに合致する登録動作に紐づけられた登録処理を選択し、当該登録処理が実行されるように制御する。

　これによりユーザは、手がふさがっている状態でもアイジェスチャのみで撮影等に関する操作が可能になる。また情報処理装置は、ユーザの意図を推測しそれに応じた操作補助処理を行うことが可能になる。
　特に、目だけでなく目の周辺も含めて目の動作を判定する。例えば単に目の開き具合だけでなく、目の周辺のしわ等の動きも識別に利用する。これにより、例えば同じ目を閉じた状態であっても、強く目をつぶっているのか、軽く目をつぶっているのか、という識別が可能となる。また、目の開き具合以外から得られる情報も多い。従ってより多様な動作を判定し、処理と結びつけることができる。
　また目の周辺も含めて判定することで、人々の多様な目の形状に関わらず、より精度良くアイジェスチャを判定できる。例えば目の大きい人、細い人などによらず、目の動作を精度良く判定できる。
　またアイジェスチャを登録動作と比較するものであることで、操作等として有効なアイジェスチャと、操作等としては無効（未登録）のアイジェスチャを区別できることにもなる。

　実施の形態では、処理選択部５２は、目周辺画像に現れる動作と、登録情報における登録動作との一致度を計算し、一致度が一定の数値（閾値）を満たした登録動作に紐づけられた登録処理を選択する例を挙げた（図８、図１３、図１６参照）。
　動画或いは静止画としての複数のフレームで観測される動作と、各登録動作の一致度を判定し、一致度が一定の閾値以上の登録動作を判定する。そして、その登録動作に応じた登録処理を選択する。これにより、閾値に満たない登録動作は選択されないので、各種の動作の中で、確からしさの高い動作を判定できる。

　実施の形態では、処理選択部５２は、目周辺画像に現れる動作と、登録情報における全ての登録動作との一致度を計算し、登録された動作の中で最も一致度が高い動作に紐づけられた処理を選択する例を述べた（図８、図１３、図１６参照）。
　撮像した目周辺画像について、全ての登録動作との一致度を計算することで、ユーザの元々の目の形状による動作の誤判定の防止に有効である。例えば目の形状、大きさ、細さ、まぶたの状態、しわの寄り方などは、ユーザ毎に異なるが、全ての登録動作と比較することで、そのユーザの目付近の形状に応じて、最も確からしい登録動作を判定できるためである。

　第１の実施の形態では、処理選択部５２は、目周辺画像のフレーム毎に目および目の周辺の状態の判定を行って符号化することで得られる、一定期間における状態の符号化情報を、目周辺画像に現れる動作の情報として、登録動作との一致度を計算する例を挙げた（図８参照）。
　フレーム毎に目および目の周辺の「状態」を機械学習モデルによるクラス分類などの処理により判定して符号化しておく。そして各時点の状態（状態の変化）を「動作」とする。その「動作」を登録動作と比較することで確からしい動作を判定できる。このように静止画毎に「状態」として符号化しておくことによれば複数フレームの画像についてＤＮＮ等に入力して動作判定するよりも、処理負担を極めて軽くできる。

　第２の実施の形態では、演算部４０は、登録動作のうちで動作の候補が複数得られた場合、ユーザに対する通知の制御を行う例を述べた（図１３参照）。
　例えばユーザに対し、よりはっきりしたアイジェスチャを促すような通知を行うようにする。これにより操作認識の正確性を高めることができる。複数のいずれを選択するかを求めるような通知を行っても良い。

　第２の実施の形態では、演算部４０は、目周辺画像に現れる動作と登録動作との一致度を算出した際に、登録動作のいずれについても一致度が一定の数値（閾値）を満たさなかった場合、ユーザに対する通知の制御を行う例を述べた（図１３参照）。
　例えばユーザに対し、よりはっきりしたアイジェスチャを促すような通知を行うことで、操作認識の正確性を高めることができる。或いは一致度は低いが最大のものを選択する旨の通知を行うようにしてもよい。

　実施の形態では、登録情報には、ユーザの個人を識別する個人識別情報が含まれる例を挙げた（図７参照）。
　目及び目の周辺の画像によれば個人識別が可能となる。登録情報として個人識別情報を含むようにすれば、ユーザの個人識別に応じた対応が可能となる。

　処理選択部５２は、個人識別情報に基づいて、取得した目周辺画像が登録されたユーザの目周辺画像であるか否かを判定し、登録されたユーザではない場合は処理の選択を行なわないとする例を挙げた（図１４参照）。
　すなわち登録されたユーザでなければ、アイジェスチャによる処理を発動させないようにする。これにより、登録した特定のユーザのみアイジェスチャ操作等が可能となる。換言すれば、アイジェスチャ機能を知らないユーザの使用時に機能を発動させて、そのユーザを混乱させてしまうことを防止できる。

　第３の実施の形態では、登録情報には、個人識別情報に対応して、目および目の周辺の形状から判定される動作と処理とが紐づけられているとした。そして処理選択部５２は、登録情報における、個人識別情報に基づいて識別されるユーザに応じた登録動作と登録処理の情報を用いて、動作の判定と処理の選択を行う例を挙げた（図７，図１４参照）。
　これによりユーザ毎に目周辺画像で表現されるアイジェスチャを登録動作とすることができ、判定の正確性を向上させることができる。キャリブレーションデータもユーザ毎に蓄積できる。
　またユーザ毎に任意の操作をアイジェスチャとして登録できる。またユーザ毎に必要な補助処理を設定できるようになる。
　以上により、複数のユーザが使用する装置であっても、各ユーザに適したアイジェスチャ対応処理が可能になる。

　実施の形態では、目周辺画像は、眉の形状または目の周辺のしわの形状を含む画像であるとした。
　目及び目の周辺の画像として、眉やしわの形状も含むことで、単に目の状態による判定よりも正確なアイジェスチャの判定ができるようになる。
　特に目の形状が人によって様々であることから、眉やしわの形状を含めることで、目の開き具合、目の閉じ具合、感情表現などが判定しやすくなる。

　実施の形態において処理選択部５２が選択する登録処理は、ユーザの操作に応じた操作対応処理を含むものとした。
　つまりアイジェスチャを、シャッター操作などの「操作」として認識し、その操作に対応した処理を制御部５４が実行するようにする。これによりユーザは意識的な操作をアイジェスチャにより行うことが可能になる。

　また処理選択部５２が選択する登録処理には、カメラについての撮像画像の記録操作、ズームイン操作、ズームアウト操作についての操作対応処理を含むものとした。
　例えばアイジェスチャとして撮像操作を可能とする。撮像操作とは、静止画撮像としてのシャッター操作や、動画撮像のための録画開始操作などである。或いはアイジェスチャとしてズームイン、ズームアウトとしてのズーム操作を可能としてもよい。
　これらは比較的頻繁に行われる操作であるため、アイジェスチャで可能とすることで操作性向上に有効である。

　実施の形態において処理選択部５２が選択する登録処理は、特定の操作画像又は視線検出により特定される画像に関する操作対応処理を含むものとした。
　例えばマウスカーソルやアイコンなどの特定の操作画像や、視線検出で特定されるアイコン、静止画などの画像に関する操作、例えばドラッグ操作、拡大縮小操作などを、アイジェスチャにより可能とする。これによりＧＵＩによる操作としての多様な操作をアイジェスチャにより可能とすることができる。

　実施の形態において処理選択部５２が選択する登録処理は、判定される動作から推定される状況への対応処理を含むものとした。
　例えば操作補助系の処理例として各種を例示したように、判定される動作から推定される状況に対して自動的に対応するような対応処理を行うことで、装置の使用性、利便性を向上させることができる。例えばユーザのまぶしそうな動作に応じて表示輝度を下げるなどである。これはユーザの無意識のアイジェスチャにも対応する処理といえる。

　第４の実施の形態では、処理選択部５２は、目周辺画像により、制御部５４による制御の実行に対しての否定的な動作を判定した場合、対応処理を選択し、制御部５４は対応処理が行われるように制御する例を挙げた（図１５参照）。
　例えばアイジェスチャによる何らかの操作系の処理や操作補助系の処理を実行した際に、ユーザにとって、その処理が本意でない場合がある。その際の否定的な意思を目及び目の周辺の画像から判定し、通知やキャンセル等の対応処理を行う。これにより、ユーザが意図しない操作と認識してしまった場合のリカバリーができるようにする。

　以下、本開示の技術の変形例や応用例をさらに述べる。
　視線検出装置部４１が搭載されている撮像装置１や端末装置１００の場合、目周辺画像から判定される目の形状によって左右、縦持ち、個人を識別し、視線検出のためのキャリブレーションデータを自動で切り替えるようにすることができる。

　なお視線検出は、目の「基準点」と「動く部分（動点）」を見つけ、基準点に対する動点の位置から視線を検出する。例えば角膜反射法は、点光源を角膜に照射した状態の目を撮影し、この角膜反射像（プルキニエ像）から求まる角膜曲率中心を基準点、動点を瞳孔として計測する。そして動点と基準点の位置から視線方向を算出する。このような視線検出処理を行うためには個人差に応じたキャリブレーションが必要になる。そこで、目周辺画像から個人識別を行い、視線検出のためのキャリブレーションデータを自動で切り替えるようにすることは、視線検出精度の向上に有効である。

　また、この切り替え時に文字またはアイコンでユーザに通知を行うとよい。
　例えば、「右目を検出したので、右目データに切り替えました」「縦持ちを検出したのでデータを切り替えました」等の通知を行う。
　もし通知に対して眉を顰めるなどのユーザのネガティブな反応があった場合は、切り替えを中止するようにしてもよい。

　視線検出時に覗き方が悪く視線検出が行いづらい場合は、頭の位置を正しく移動するようガイド通知を表示することもできる。
　例えば図１８Ａは、ユーザが撮像装置１のＥＶＦ５を上方から覗いており、視線検出が行いづらい状況であるとする。このような頭部の位置は目周辺画像から判定できる。そこで図１８ＢのようにＥＶＦ５の表示で、正面からＥＶＦ５を覗くような通知を行う。これにより図１８Ｃのようにユーザが頭部の姿勢を正すことが期待できる。
　このような通知は、視線検出のキャリブレーション時に行ってもよい。

　実施の形態では本技術の情報処理装置として撮像装置１や端末装置１００を挙げた。目周辺の領域が撮影可能な構成とされることで、スマートフォンやＰＣ等の端末装置１００でも本技術を実現できる。
　なお、スマートフォン等では、ユーザ自身を映すカメラが広角である場合が多いため、顔検出機能を用い、目周辺の画像のみを切り出し、切り出した目周辺画像を用いて本実施の形態の処理を行うようにする。

　本開示の技術をスマートフォンに適用する場合、自撮り撮影時は片手で筐体を把持するため、操作が行いづらい。そこで、片目を強く瞑って、その動作終了後にシャッター処理を行うなど、動作と処理を登録することで、使用性を向上させることができる。

　ＰＣの場合、両手で操作を行っている場合が多く、目によるジェスチャ入力が有効である。例えばタイピング中に目を見開いて強く閉じるとスクリーンショットを撮影するなどの例が考えられる。

　またＰＣ等において視線検出と組み合わせるようにしてもよい。
　例えばポップアップ通知を見ながら睨むと、通知が即座に消えるようにする。
　またポップアップ通知を見て驚くと、その通知内容の詳細が表示されるようにする。
　また、無効になっているウインドウを見ながら目を強く瞑ると、有効になるようにする。

　撮像装置１や端末装置１００におけるアイセンサカメラ４２は、目の中心から眉が入る程度の画角であり、それが撮影可能であればどのような構成でもよく、どのような配置でも良い。接眼検知用、視線検出用などの他用途のカメラをアイセンサカメラ４２として利用しても良い。
　また撮像装置１や端末装置１００としてのデバイスに測距センサ、圧力センサ、タッチセンサなどを設置し、表情筋の動作を検知して、アイジェスチャの判定に用いてもよい。

　また物理的な操作子、若しくはシステム上の操作子として、アイジェスチャによる入力の有効・無効スイッチを設けてもよい。

　アイジェスチャ入力について、ある登録動作／登録処理を判定した後にユーザによって無効にされたら、その判定は間違いであるという判定をし、学習処理を行うことも適切である。

　実施の形態のプログラムは、上述の図８、図１３、図１４、図１５、図１６のような処理を、例えばＣＰＵ、ＤＳＰ等のプロセッサ、或いはこれらを含むデバイスに実行させるプログラムである。
　即ち実施の形態のプログラムは、目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する手順と、目周辺画像を取得する手順と、登録情報と目周辺画像とに基づいて登録情報に含まれる登録処理を選択する手順と、選択した処理が行われるように制御する手順と、を情報処理装置に実行させるプログラムである。

　このようなプログラムにより、上述した演算部４０の処理を実行する情報処理装置を、各種のコンピュータ装置により実現できる。

　このようなプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。また、このようなプログラムは、フレキシブルディスク、ＣＤ－ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magneto Optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

　またこのようなプログラムによれば、実施の形態の情報処理装置の広範な提供に適している。例えばパーソナルコンピュータ、通信機器、スマートフォンやタブレット等の携帯端末装置、携帯電話機、ゲーム機器、ビデオ機器、ＰＤＡ（Personal Digital Assistant）等にプログラムをダウンロードすることで、これらの装置を本開示の情報処理装置として機能させることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

　なお本技術は以下のような構成も採ることができる。
　（１）
　目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する登録情報取得部と、
　目および目の周辺の画像を取得する画像取得部と、
　前記登録情報と前記画像とに基づいて、前記登録情報に含まれる処理を選択する処理選択部と、
　前記処理選択部が選択した処理が行われるように制御する制御部と、を備える
　情報処理装置。
　（２）
　前記処理選択部は、
　前記画像に現れる動作と、前記登録情報における動作との一致度を計算し、一致度が一定の数値を満たした動作に紐づけられた処理を選択する
　上記（１）に記載の情報処理装置。
　（３）
　前記処理選択部は、
　前記画像に現れる動作と、前記登録情報における全ての動作との一致度を計算し、登録された動作の中で最も一致度が高い動作に紐づけられた処理を選択する
　上記（１）又は（２）に記載の情報処理装置。
　（４）
　前記処理選択部は、
　前記画像のフレーム毎に目および目の周辺の状態の判定を行って符号化することで得られる、一定期間における状態の符号化情報を、前記画像に現れる動作の情報として、前記登録情報における動作との一致度を計算し、一致度に基づいて動作を判定し、判定した動作に紐づけられた処理を選択する
　上記（１）から（３）のいずれかに記載の情報処理装置。
　（５）
　前記処理選択部が前記画像に現れる動作と前記登録情報における動作との一致度に基づいて動作を判定し、判定した動作に紐づけられた処理を選択する場合において、
　複数の動作の候補が得られた場合、ユーザに対する通知の制御を行う
　上記（１）から（４）のいずれかに記載の情報処理装置。
　（６）
　前記処理選択部が前記画像に現れる動作と前記登録情報における或る動作との一致度に基づいて動作を判定し、判定した動作に紐づけられた処理を選択する場合において、
　前記登録情報における動作のいずれについても一致度が一定の数値を満たさなかった場合、ユーザに対する通知の制御を行う
　上記（１）から（５）のいずれかに記載の情報処理装置。
　（７）
　前記登録情報には、ユーザの個人を識別する個人識別情報が含まれる
　上記（１）から（６）のいずれかに記載の情報処理装置。
　（８）
　前記処理選択部は、
　前記個人識別情報に基づいて、前記画像が、登録されたユーザの画像であるか否かを判定し、登録されたユーザではない場合は処理の選択を行なわない
　上記（７）に記載の情報処理装置。
　（９）
　前記登録情報には、前記個人識別情報に対応して、目および目の周辺の形状から判定される動作と処理とが紐づけられており、
　前記処理選択部は、前記登録情報における、前記個人識別情報に基づいて識別されるユーザに応じた動作と処理の情報を用いて、動作の判定と処理の選択を行う
　上記（７）又は（８）に記載の情報処理装置。
　（１０）
　目および目の周辺の画像は、眉の形状または目の周辺のしわの形状を含む画像である
　上記（１）から（９）のいずれかに記載の情報処理装置。
　（１１）
　前記処理選択部が選択する処理は、ユーザの操作に応じた操作対応処理を含む
　上記（１）から（１０）のいずれかに記載の情報処理装置。
　（１２）
　前記処理選択部が選択する処理は、カメラについての撮像画像の記録操作、ズームイン操作、ズームアウト操作うちの少なくとも１つの操作についての操作対応処理を含む
　上記（１）から（１１）のいずれかに記載の情報処理装置。
　（１３）
　前記処理選択部が選択する処理は、特定の操作画像又は視線検出により特定される画像に関する操作対応処理を含む
　上記（１）から（１２）のいずれかに記載の情報処理装置。
　（１４）
　前記処理選択部が選択する処理は、判定される動作から推定される状況への対応処理を含む
　上記（１）から（１３）のいずれかに記載の情報処理装置。
　（１５）
　前記処理選択部は、前記画像により、前記制御部による制御の実行に対しての否定的な動作を判定した場合、対応処理を選択し、
　前記制御部は前記対応処理が行われるように制御する
　上記（１）から（１４）のいずれかに記載の情報処理装置。
　（１６）
　情報処理装置が、
　目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得し、
　目および目の周辺の画像を取得し、
　前記登録情報と前記画像とに基づいて、前記登録情報に含まれる処理を選択し、
　前記選択した処理が行われるように制御する
　情報処理方法。
　（１７）
　目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する手順と、
　目および目の周辺の画像を取得する手順と、
　前記登録情報と前記画像とに基づいて、前記登録情報に含まれる処理を選択する手順と、
　前記選択した処理が行われるように制御する手順と、
　を情報処理装置に実行させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。

１　撮像装置
５　ＥＶＦ
１８　カメラ制御部
１９　メモリ部
４０　演算部
４１　視線検出装置部
４２　アイセンサカメラ
４３　センサ部
５１　画像取得部
５２　処理選択部
５２ａ　符号化部
５２ｂ　一致度計算部
５２ｂ　選択部
５３　登録情報取得部
５３ａ　登録動作取得部
５３ｂ　登録処理取得部
５４　制御部
５５　記憶部
７１　ＣＰＵ
１００　端末装置

Claims

　目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する登録情報取得部と、
　目および目の周辺の画像を取得する画像取得部と、
　前記登録情報と前記画像とに基づいて、前記登録情報に含まれる処理を選択する処理選択部と、
　前記処理選択部が選択した処理が行われるように制御する制御部と、を備える
　情報処理装置。
　前記処理選択部は、
　前記画像に現れる動作と、前記登録情報における動作との一致度を計算し、一致度が一定の数値を満たした動作に紐づけられた処理を選択する
　請求項１に記載の情報処理装置。
　前記処理選択部は、
　前記画像に現れる動作と、前記登録情報における全ての動作との一致度を計算し、登録された動作の中で最も一致度が高い動作に紐づけられた処理を選択する
　請求項１に記載の情報処理装置。
　前記処理選択部は、
　前記画像のフレーム毎に目および目の周辺の状態の判定を行って符号化することで得られる、一定期間における状態の符号化情報を、前記画像に現れる動作の情報として、前記登録情報における動作との一致度を計算し、一致度に基づいて動作を判定し、判定した動作に紐づけられた処理を選択する
　請求項１に記載の情報処理装置。
　前記処理選択部が前記画像に現れる動作と前記登録情報における動作との一致度に基づいて動作を判定し、判定した動作に紐づけられた処理を選択する場合において、
　複数の動作の候補が得られた場合、ユーザに対する通知の制御を行う
　請求項１に記載の情報処理装置。
　前記処理選択部が前記画像に現れる動作と前記登録情報における或る動作との一致度に基づいて動作を判定し、判定した動作に紐づけられた処理を選択する場合において、
　前記登録情報における動作のいずれについても一致度が一定の数値を満たさなかった場合、ユーザに対する通知の制御を行う
　請求項１に記載の情報処理装置。
　前記登録情報には、ユーザの個人を識別する個人識別情報が含まれる
　請求項１に記載の情報処理装置。
　前記処理選択部は、
　前記個人識別情報に基づいて、前記画像が、登録されたユーザの画像であるか否かを判定し、登録されたユーザではない場合は処理の選択を行なわない
　請求項７に記載の情報処理装置。
　前記登録情報には、前記個人識別情報に対応して、目および目の周辺の形状から判定される動作と処理とが紐づけられており、
　前記処理選択部は、前記登録情報における、前記個人識別情報に基づいて識別されるユーザに応じた動作と処理の情報を用いて、動作の判定と処理の選択を行う
　請求項７に記載の情報処理装置。
　目および目の周辺の画像は、眉の形状または目の周辺のしわの形状を含む画像である
　請求項１に記載の情報処理装置。
　前記処理選択部が選択する処理は、ユーザの操作に応じた操作対応処理を含む
　請求項１に記載の情報処理装置。
　前記処理選択部が選択する処理は、カメラについての撮像画像の記録操作、ズームイン操作、ズームアウト操作うちの少なくとも１つの操作についての操作対応処理を含む
　請求項１に記載の情報処理装置。
　前記処理選択部が選択する処理は、特定の操作画像又は視線検出により特定される画像に関する操作対応処理を含む
　請求項１に記載の情報処理装置。
　前記処理選択部が選択する処理は、判定される動作から推定される状況への対応処理を含む
　請求項１に記載の情報処理装置。
　前記処理選択部は、前記画像により、前記制御部による制御の実行に対しての否定的な動作を判定した場合、対応処理を選択し、
　前記制御部は前記対応処理が行われるように制御する
　請求項１に記載の情報処理装置。
　情報処理装置が、
　目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得し、
　目および目の周辺の画像を取得し、
　前記登録情報と前記画像とに基づいて、前記登録情報に含まれる処理を選択し、
　前記選択した処理が行われるように制御する
　情報処理方法。
　目および目の周辺の形状から判定される動作と、処理とが紐づけられた登録情報を取得する手順と、
　目および目の周辺の画像を取得する手順と、
　前記登録情報と前記画像とに基づいて、前記登録情報に含まれる処理を選択する手順と、
　前記選択した処理が行われるように制御する手順と、
　を情報処理装置に実行させるプログラムを記憶したコンピュータ読み取り可能な記憶媒体。