WO2022065033A1

WO2022065033A1 - 電子機器及び電子機器の制御方法

Info

Publication number: WO2022065033A1
Application number: PCT/JP2021/032981
Authority: WO
Inventors: 征志中田; 貴博赤羽; 淳一金井
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2020-09-28
Filing date: 2021-09-08
Publication date: 2022-03-31
Anticipated expiration: 2023-03-28
Also published as: DE112021005083T5; JPWO2022065033A1; US20230335043A1; CN116324959A

Abstract

［課題］本開示では、より中央部にＥＶＳ画素の配置が可能な電子機器及び電子機器の制御方法を提供する。［解決手段］電子機器は、第１の方向と第１の方向と異なる第２の方向において、アレイ状に表示素子が配置される表示領域を有する表示部と、第１の方向と第２の方向と異なる第３の方向において、表示領域と重なって表示部の表示面と反対側に配置され、複数の画素を備える撮像素子と、を備え、表示部は、入射した光を透過し、複数の画素は、表示部を介して入射した光の輝度の変化が、所定の閾値より大きい場合にイベント信号を出力する、電子機器。

Description

電子機器及び電子機器の制御方法

　本開示は、電子機器及び電子機器の制御方法に関する。

　垂直同期信号などの同期信号に同期して画像データ（フレーム）を撮像する同期型の固体撮像素子が、電子機器などにおいて用いられている。この一般的な同期型の固体撮像素子では、同期信号の周期（例えば、１／６０秒）ごとにしか画像データを取得することができないため、交通やロボットなどに関する分野において、より高速な処理が要求された場合に対応することが困難になる。そこで、画素アドレスごとに、その画素の光量が閾値を超えた旨をアドレスイベントとしてリアルタイムに検出する検出回路を画素毎に設けた非同期型の固体撮像素子が提案されている。このように、画素毎にアドレスイベントを検出する固体撮像素子は、ＥＶＳ（Ｅｖｅｎｔ　ｂａｓｅ　Ｖｉｓｉｏｎ　Ｓｅｎｓｏｒ）と呼ばれる。

ＷＯ２０１９／０８７４７１号公報特開２０１７－１６９９８７号公報

　一方で、ＥＶＳ用画素で生成した検出信号に基づくＥＶＳ画像により、電子機器前部の状態観察が行われる場合がある。ところが、ＥＶＳ画素の配置は電子機器の表面部の端部であり、オクルージョンなどが発生しやすくなる恐れがある。

　そこで、本開示では、より中央部にＥＶＳ画素の配置が可能な電子機器及び電子機器の制御方法を提供するものである。

　上記の課題を解決するために、本開示によれば、第１の方向と前記第１の方向と異なる第２の方向において、アレイ状に表示素子が配置される表示領域を有する表示部と、
　前記第１の方向と前記第２の方向と異なる第３の方向において、前記表示領域と重なって前記表示部の表示面と反対側に配置され、複数の画素を備える撮像素子と、を備え、
　前記表示部は、入射した光を透過し、
　前記複数の画素は、前記表示部を介して入射した光の輝度の変化が、所定の閾値より大きい場合にイベント信号を出力する、電子機器が提供される。

　前記イベント信号の情報を用いて、ユーザの前記表示部に対する接触動作における挙動を解析し、ユーザ感情を推定する状態解析部を更に備えてもよい。

　前記イベント信号の情報を用いて、ユーザが前記表示部を接触した位置を推定する接触位置解析部を更に備えてもよい。

　接触位置解析部は、前記イベント信号の伝搬情報を用いて、前記表示部にタッチしたものを区別してもよい。

　前記表示部を制御する制御部を更に備え、
　前記接触した位置、及びタッチしたもの少なくともいずれかに応じて、前記表示部に表示させる表示内容を変更してもよい。

　前記イベント信号の情報を用いて生成したユーザの振動画像に基づき、前記表示部に表示させる表示内容を変更してもよい。

　前記イベント信号の情報を用いて生成したユーザの振動画像に基づき、ユーザの感情を推定する状態解析部を更に備えてもよい。

　前記状態解析部の推定結果に応じた、画像を前記表示部に表示させる状態処理部を更に備えてもよい。

　前記状態処理部は、前記状態解析部の推定結果に応じた、ヘルスケア用の画像を前記表示部に表示させてもよい。

　前記状態処理部は、前記状態解析部の推定結果に応じた、コンテンツの選択枝を前記表示部に表示させてもよい。

　前記状態処理部は、前記状態解析部の推定結果に応じた、ユーザへの行動提案を前記表示部に表示させてもよい。

　前記行動提案は、外部のサーバから取得された第３者の改善例の情報に基づいてもよい。

　音声を発するスピーカ部と、
　前記イベント信号の情報を用いて、前記スピーカ部から発せられた音が、ユーザのどこにあたっているかを推定する音声到達位置解析部と、を更に備えてもよい。

　前記音声到達位置解析部は、前記スピーカ部から発せられた音が、ユーザの耳にあたっているか否かを判別してもよい。

　前記音声到達位置解析部が解析した音声の到達位置に応じて、スピーカの向きを制御する音波方向調整部を更に備えてもよい。

　前記ユーザの３次元画像における両目、両耳、鼻、及び口の３次元位置情報を記録部に記録する顔形状解析部を更に備えてもよい。

　前記顔形状解析部は、予め記録され前記ユーザの両目、両耳、鼻、及び口の３次元位置情報と前記ユーザの３次元画像の回転角を用いて、前記ユーザの斜め方向の３画像における耳の位置を推定してもよい。

　前記音声到達位置解析部は、前記スピーカの音声波長に応じて、解析により抽出する到達位置を変更可能であってもよい。

　前記音声到達位置解析部が前記イベント信号に基づき、音声が前記ユーザに音声が到達していると判定する場合に、前記ユーザの３次元画像を撮像する深度センサを起動してもよい。

　前記音声到達位置解析部は、前記イベント信号に基づく画像と、前記深度センサに基づく画像を融合し、前記ユーザの両目、両耳、鼻、及び口の３次元位置情報を取得してもよい。

　前記顔形状解析部は、前記深度センサの起動後に骨格推定による前記ユーザの３次元画像を生成してもよい。

　前記イベント信号は常に取得されてもよい。

　前記複数の画素の感度を満たすように、前記表示部を発光させてもよい。

　本開示によれば、光第１の方向と前記第１の方向と異なる第２の方向において、アレイ状に表示素子が配置される表示領域を有する表示部と、
　前記第１の方向と前記第２の方向と異なる第３の方向において、前記表示領域と重なって前記表示部の表示面と反対側に配置され、複数の画素を備える撮像素子と、を備える電子機器の制御方法であって、
　前記表示部は、入射した光を透過し、
　前記複数の画素は、前記表示部を介して入射した光の輝度の変化が、所定の閾値より大きい場合にイベント信号を出力する、電子機器の制御方法が提供される。

本技術の実施の形態における電子機器一構成例を示すブロック図。技術の実施の形態における固体撮像素子の積層構造の一例を示す図。第１実施形態による電子機器の模式的な断面図。図１の電子機器の模式的な外観図。固体撮像素子の構成例を示すブロック図。画素アレイ部に行列状に配置される画素ブロック３０ａを模式的に示す図。画素ブロックの構成を模式的に示す図。ＡＤ変換器の構成例を示すブロック図。別のＡＤ変換器の構成例を示すブロック図。階調用画素の構成例を示す図。ＥＶＳ用画素の構成例を示す図。ＥＶＳ用ＡＦＥの第１構成例を示すブロック図。電流電圧変換部の構成の一例を示す回路図。減算器及び量子化器の構成の一例を示す回路図ＥＶＳ用ＡＦＥの第２構成例を示すブロック図。解析部の構成例を示すブロック図。指先の領域の移動が表示部を介して撮像された模式図。状態解析部が解析に用いるデータ例を示す図。第２実施形態の処理例を示すフローチャート。第３実施形態に係る解析部の構成例を示すブロック図。カバーガラスをタッチした際の第１ＥＶＳ画像の時系列画像を重畳表示した図。第４実施形態に係る解析部の構成例を示すブロック図。認識処理部により認識された顔領域を示す図。顔の下顎部分の位置の変化を時系列に示した模式図５実施形態に係る解析部の構成例を示すブロック図。電子機器にコンテンツを供給するサーバを模式的に示す図。時系列に撮像された第１ＥＶＳ画像の例を示す図。振動画像生成部が生成した振動画像を模式的に示す図。状態処理部が表示する画像例を示す図。状態処理部が表示する別の画像例を示す図。状態処理部が表示する外部情報を用いた画像例を示す図。状態解析部における推定結果の記録状態を模式的に示す図。第２モードでの状態解析部における推定結果の記録状態を模式的に示す図。ユーザの振動画像を用いたユーザの状態分析の流れを示すフローチャート。コンテンツ表示時のユーザの状態分析の流れを示すフローチャート。第６実施形態に係る解析部の構成例を示すブロック図。第６実施形態に係る電子機器のセンサ構成を模式的に示す図。第６実施形態に係る電子機器のスピーカ部の垂直断面を模式的に示す図。深度センサにより撮像されたユーザの正面の３次元画像を示す図。ユーザの斜め方向の３次元画像を示す図。ユーザの正面の３次元画像を斜め方向の３次元画像と一致するように回転させた画像。回転角と両目、両耳、鼻、及び口の３次元位置情報を用いて耳の位置を取得した図。時系列に撮像されたユーザの正面の第１ＥＶＳ画像を示す図。音波方向調整後の時系列に撮像されたユーザの正面の第１ＥＶＳ画像を示す図。時系列に撮像されたユーザの斜め方向の第１ＥＶＳ画像を示す図。音波方向調整後の時系列に撮像されたユーザの斜め方向の第１ＥＶＳ画像を示す図。音声の向きを変更する処理例の流れを示すフローチャート。

　以下、図面を参照して、電子機器及び電子機器の制御方法の実施形態について説明する。以下では、電子機器の主要な構成部分を中心に説明するが、電子機器には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。

（第１実施形態）
［電子機器の構成例］
　図１は、本技術の実施の形態における電子機器１００の一構成例を示すブロック図である。この電子機器１００は、撮像レンズ１１０、固体撮像素子２００、記録部１２０、制御部１３０、奇跡部１４０、通信部１５０、及びスピーカ部１６０を備える。電子機器１００は、例えば、スマートフォンや携帯電話、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などである。

　撮像レンズ１１０は、入射光を集光して固体撮像素子２００に導くものである。固体撮像素子２００は、ＥＶＳ用画素と階調用画素を有する。ＥＶＳ用画素は、輝度の変化量の絶対値が閾値を超えた旨をアドレスイベントとして検出することが可能である。このアドレスイベントは、例えば、輝度の上昇量が上限閾値を超えた旨を示すオンイベントと、輝度の低下量が上限閾値未満の下限閾値を下回った旨を示すオフイベントとを含む。そして、固体撮像素子２００は、アドレスイベントの検出結果を示す検出信号をＥＶＳ用の画素毎に生成する。それぞれの検出信号は、オンイベントの有無を示すオンイベント検出信号ＶＣＨと、オフイベントの有無を示すオフイベント検出信号ＶＣＬとを含む。なお、固体撮像素子２００は、オンイベントおよびオフイベントの両方の有無を検出しているが、一方のみを検出することもできる。また、本実施形態に係るＥＶＳ用画素は、検知信号の他に、ＥＶＳ輝度信号を出力することも可能である。これにより、ＥＶＳ用画素の検出信号に基づく第１ＥＶＳ画像と、ＥＶＳ用画素の輝度信号に基づく第２ＥＶＳ画像とが構成される。

　一方で、階調用画素は階調用輝度信号を出力する。階調用画素が出力する階調用輝度信号に基づき、階調用画像が構成される。なお、本実施形態では、ＥＶＳ用画素の検出信号に基づく画像を第１ＥＶＳ画像と称し、ＥＶＳ用画素の輝度信号に基づく画像を第２ＥＶＳ画像と称し、階調用画素が出力する階調用輝度信号に基づく画像を階調用画像と称する。本実実施形態では、階調用画素と、ＥＶＳ用画素とが共に駆動される第１モードと、ＥＶＳ用画素のみが駆動される第２モード、及び第３モードを有する。第２モードは、ＥＶＳ用画素の検出信号に基づく第１ＥＶＳ画像と、ＥＶＳ用画素の輝度信号に基づく第２ＥＶＳ画像とが構成されるモードである。これに対して、第３モードは、ＥＶＳ用画素の検出信号に基づく第１ＥＶＳ画像が構成されるモードである。階調用画素と、ＥＶＳ用画素とは独立に駆動できるので、階調用画素は、例えば６０ｆｐｓの撮像レートであるのに対し、第２モードは、２００ｆｐｓなどのレートで撮像可能である。更に第３モードは、ＥＶＳ用の画素から輝度信号を読み出さないので、更に高速のフレームレートで撮像可能である。

　電力消費は、第３モードが最も少なく、次に第２モードである。このため、第３モードで常にＥＶＳ用の画素を駆動し、ＥＶＳ用画素の検出信号に基づく第１ＥＶＳ画像に基づく、状態監視などが可能となる。

　固体撮像素子２００は、第１ＥＶＳ画像、第２ＥＶＳ画像、及び階調用画像に対し、画像処理などの所定の信号処理を実行し、その処理後のデータを記録部１２０に信号線２０９を介して出力する。

　記録部１２０は、固体撮像素子２００からのデータなどを記録するものである。制御部１３０は、電子機器１００全体を制御する。例えば、制御部１３０は、固体撮像素子２００を制御して画像データを撮像させるものである。

　解析部１４０は、第１ＥＶＳ画像、第２ＥＶＳ画像、及び階調用画像の少なくともいずれかを用いて、所定の解析処理を行う。
　通信部１５０は、外部装置と無線通信を行う。これにより、外部のサーバからコンテンツなどを受信し、制御部１３０を介して記録部１２０に記録する。制御部１３０は、例えばこのコンテンツに基づく画像を表示部１７０に表示させる。

　スピーカ部１６０は、高指向性のスピーカを備え、ユーザのみに音声情報を伝達可能である。このスピーカ部１６０は、音声の伝達する向きを変更可能である。

［固体撮像素子の構成例］
　図２は、本技術の実施の形態における固体撮像素子２００の積層構造の一例を示す図である。この固体撮像素子２００は、検出チップ２０２と、その検出チップ２０２に積層された受光チップ２０１とを備える。これらの基板は、ビアなどの接続部を介して電気的に接続される。なお、ビアの他、Ｃｕ－Ｃｕ接合やバンプにより接続することもできる。

　図３は、第１実施形態による電子機器１００の模式的な断面図である。光学系１１０を有する電子機器１００の例であり、スマートフォンや携帯電話、タブレット、バーコードリーダ、ＰＣなど、表示機能と撮影機能を兼ね備えた任意の電子機器である。表示部１７０の表示面とは反対側に配置されるカメラモジュール３を備えている。すなわち、カメラモジュール３内に、光学系１１０及び固体撮像素子２００が配置される。このように、図１の電子機器１は、表示部１７０の表示面の裏側にカメラモジュール３を設けられる。したがって、カメラモジュール３は、表示部１７０を通して撮影を行うことになる。このように、電子機器１００の中心付近にカメラモジュール３を設置できるため、オクルージョンを低減させることが可能となる。更に、表示部１７０そのものの発光を利用して高感度化させることも可能となる。また、表示部１７０の表示面の裏側にカメラモジュール３を設けているので、光学系１１０に厚みを持たせる空間的な余裕ができる。これにより、光学系１１０に魚眼レンズなどを用いることが可能となり、広範囲の画像を取得可能となる。

　図４は、図１の電子機器１００の模式的な外観図、左図は、表示部１７０側の外観図であり、右図は、Ａ－Ａ線方向の表示部１７０の断面図である。図４の例では、電子機器１００の外形サイズの近くまで表示画面１ａが広がって記載しているが、ベゼル１ｂには、不図示のフロントカメラ、深度センサが搭載される。

　なお、図４では、表示画面１ａの略中央部の裏面側にカメラモジュール３を配置しているが、本実施形態では、表示画面１ａの裏面側であればよい。このように、本実施形態におけるカメラモジュール３は、表示画面１ａと重なる裏面側の任意の位置に配置される。

　図４に示すように、表示部１７０は、偏光板４ｃ、４分の１波長板４ｂ、表示パネル４（４ａ）、タッチパネル５、円偏光板６、カバーガラス７（タッチパネルを含んでもよい）を順に積層した構造体である。また、円偏光板６は、後述するように偏光板６ａ、４分の１波長板６ｂを有する。

　偏光板４ｃ、及び４分の１波長板４ｂは、内部反射光がカメラモジュール３に入射するのを抑制する。表示パネル４は、アレイ状に表示素子が配置される。表示パネル４は、例えば有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ　Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｅｖｉｃｅ）でもよいし、液晶表示部でもよいし、ＭｉｃｒｏＬＥＤでもよいし、その他の表示原理に基づく表示パネルでもよい。

　ＯＬＥＤ部等の表示パネル４は、複数の層で構成されている。表示パネル４には、カラーフィルタ層等の透過率が低い部材が設けられることが多い。表示パネル４における透過率が低い部材には、カメラモジュール３の配置場所に合わせて、貫通孔を形成してもよい。貫通孔を通った被写体光がカメラモジュール３に入射されるようにすれば、カメラモジュール３で撮像される画像の画質を向上できる。

　円偏光板６は、ギラツキを低減したり、明るい環境下でも表示画面１ａの視認性を高めたり、するために設けられている。タッチパネル５には、タッチセンサが組み込まれている。タッチセンサには、静電容量型や抵抗膜型など、種々の方式があるが、いずれの方式を用いてもよい。また、タッチパネル５と表示パネル４を一体化してもよい。カバーガラス７は、表示パネル４等を保護するために設けられている。

　図５は、固体撮像素子２００の構成例を示すブロック図である。図５に示すように、本開示に係る固体撮像素子２００は、ＥＶＳと呼ばれる非同期型の撮像と、階調画像用の同期型の撮像とが並行して可能な装置である。この固体撮像素子２００は、画素アレイ部３０と、第１アクセス制御回路２１１ａと、第２アクセス制御回路２１１ｂと、ＡＤ変換器２１２ａと、ＡＤ変換器２１２ｂと、第１信号処理部２１３と、第２信号処理部２１４と、タイミング制御回路２１５と、出力インターフェース２１６、２１７とを有する。

　ここで、図６及び図７に基づき、画素アレイ部３０の構成を説明する。図６は、画素アレイ部３０に行列状に配置される画素ブロック３０ａを模式的に示す図である。図６に示すように、画素アレイ部３０には、複数の画素ブロック３０ａが行列状（アレイ状）に２次元配列されている。

　図７に基づき、画素ブロック３０ａの構成を説明する。図７は、画素ブロック３０ａの構成を模式的に示す図である。図７に示すように、画素ブロック３０ａは、複数の階調用画素３０８ａと、ＥＶＳ用画素３０８ｂと、ＥＶＳ用ＡＦＥ（アナログ・フロント・エンド：Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）３１４とを有する。この画素ブロック３０ａには、複数の階調用画素３０８ａとＥＶＳ用画素３０８ｂとが行列状に配置される。この画素配列に対して、階調用画素３０８ａの画素列毎に、後述する垂直信号線ＶＳＬ１が配線される。また、垂直信号線ＶＳＬ１とは独立した垂直信号線ＶＳＬ２が、ＥＶＳ用画素３０８ｂの画素列毎に配線される。複数の階調用画素３０８ａのそれぞれは、光電流に応じた電圧のアナログ信号を階調用輝度信号（第２輝度信号）として生成し、ＡＤ変換器２１２ａ（図５参照）に出力する。

　ＥＶＳ用画素３０８ｂは、第１モード及び第２モードでは、光電流に応じた電圧のアナログ信号をＥＶＳ用ＡＦＥ３１４に出力する。また、ＥＶＳ用画素３０８ｂは、光電流に応じた電圧のアナログ信号をＥＶＳ用輝度信号（第１輝度信号）として生成し、アドレスイベントが生じた場合にＡＤ変換器回路２１２ｂ（図５参照）に出力する。

　一方で、第３モードでは、ＥＶＳ用画素３０８ｂは、ＥＶＳ用輝度信号をＡＤ変換器回路２１２ｂ（図５参照）に出力せず、ＥＶＳ用ＡＦＥ（アナログ・フロント・エンド：Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）３１４にのみＥＶＳ用輝度信号を出力する。

　ＥＶＳ用ＡＦＥ（アナログ・フロント・エンド：Ａｎａｌｏｇ　Ｆｒｏｎｔ　Ｅｎｄ）３１４は、ＥＶＳ用画素３０８ｂの出力に基づく電圧信号から検出信号を生成し、第２信号処理部２１４（図３参照）に出力する。より詳細には、ＥＶＳ用ＡＦＥ３１４は、ＥＶＳ用画素３０８ｂにおける光電流の変化量が所定の閾値を超えたか否かにより、アドレスイベントの有無を検出する。そして、ＥＶＳ用ＡＦＥ３１４は、検出信号を第２信号処理部２１４に出力する。例えば、ＥＶＳ用ＡＦＥ３１４は、検出した活性画素のアドレス情報（Ｘ、Ｙ）、タイムスタンプ情報Ｔ、及びアドレスイベント情報ＶＣＨ、ＶＣＬを、例えば、イベント情報（Ｘ、Ｙ、Ｔ、ＶＣＨ、ＶＣＬ））として、第２信号処理部２１４に出力する。また、ＥＶＳ用ＡＦＥ３１４は、検出チップ２０２に構成される。これらの複数の階調用画素３０８ａと、ＥＶＳ用画素３０８ｂ及びＥＶＳ用ＡＦＥ３１４とは、独立した制御系により、並列動作が可能である。なお、階調用画素３０８ａ、ＥＶＳ用画素３０８ｂ、及びＥＶＳ用ＡＦＥ３１４の詳細な構成は、後述する。

　再び図５に戻り、第１アクセス制御回路２１１ａは、複数の階調用画素３０８ａを制御する。第１アクセス制御回路２１１ａは、複数の階調用画素３０８ａそれぞれの蓄積電荷のリセット、光電変換電流の蓄積量に応じた階調用輝度信号の生成、階調用輝度信号の出力などを制御する。例えば、第１アクセス制御回路２１１ａは、複数の階調用画素３０８ａそれぞれに蓄積された光電変換電流を、行毎に順に階調用輝度信号としてＡＤ変換器２１２ａに出力させる。なお、階調用画素３０８ａの制御動作の詳細は後述する。

　第２アクセス制御回路２１１ｂは、複数のＥＶＳ用画素３０８ｂと、複数のＥＶＳ用ＡＦＥ３１４と、を制御する。本実施形態に係る第２アクセス制御回路２１１ｂは、複数のＥＶＳ用ＡＦＥ３１４に対して行毎にアドレスイベントを順に検出させ、検出信号を第２信号処理部２１４に対して行毎に順に出力させる。

　また、第２アクセス制御回路２１１ｂは、アドレスイベントが検出された場合に、複数のＥＶＳ用画素３０８ｂの輝度信号をＥＶＳ読み出し回路２１２ｂに対して行毎に順に出力させる。

　図８に基づき、ＡＤ変換器２１２ａの構成例を説明する。図８は、ＡＤ変換器２１２ａの構成例を示すブロック図である。このＡＤ変換器２１２ａは、画素ブロック３０ａ毎に配置される階調用画素３０８ａの列ごとにＡＤＣ２３０を備える。ＡＤＣ２３０は、垂直信号線ＶＳＬ１を介して供給されたアナログの階調用輝度信号ＳＩＧをデジタル信号に変換する。このデジタル信号は、階調用輝度信号ＳＩＧ１よりもビット数の多いデジタルの画素信号に変換される。例えば、階調用輝度信号ＳＩＧ１を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。ＡＤＣ２３０は、生成したデジタル信号を第１信号処理部２１３に供給する。なお、画素アレイ部３０における複数の階調用画素３０８ａの領域を複数の領域に分け、ＡＤ変換器２１２ａは、複数の領域毎に階調用輝度信号ＳＩＧ１を読み出してもよい。これにより、より高速に階調用輝度信号ＳＩＧ１を読み出すことが可能となる。

　図９に基づき、ＥＶＳ用のＡＤ変換器２１２ｂの構成例を説明する。図９は、ＡＤ変換器２１２ｂの構成例を示すブロック図である。このＥＶＳ用のＡＤ変換器２１２ｂは、画素ブロック３０７毎に配置されるＥＶＳ用画素３０８ｂの列ごとにＡＤＣ２３０を備える。ＡＤＣ２３０は、垂直信号線ＶＳＬ２を介して供給されたアナログのＥＶＳ用輝度信号ＳＩＧ２をデジタル信号に変換する。このデジタル信号は、ＥＶＳ用輝度信号ＳＩＧ２よりもビット数の多いデジタルの画素信号に変換される。例えば、ＥＶＳ用輝度信号ＳＩＧ２を２ビットとすると、画素信号は、３ビット以上（１６ビットなど）のデジタル信号に変換される。ＡＤＣ２３０は、生成したデジタル信号を第２信号処理部２１４に供給する。

　再び図５に示すように、第１信号処理部２１３は、ＡＤ変換器２１２ａからのデジタル信号に対し、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理などの所定の信号処理を実行するものである。この信号処理部２１２は、処理結果を示すデータと検出信号とを信号線２０９を介して記録部１２０に供給する。

　タイミング制御回路２１５は、タイムスタンプ情報に基づき固体撮像素子２００の各構成のタイミングを制御する。例えば、タイミング制御回路２１２ｄは、第１アクセス制御回路２１１ａ、及び第２アクセス制御回路２１１ｂのタイミングを制御する。これにより、ＡＤ変換器２１２ａに読み出される階調用画素３０８ａの輝度信号と、ＥＶＳ読み出し回路２１２ｂに読み出されるＥＶＳ用画素３０８ｂのＥＶＳ用輝度信号とを同期させることも可能である。

　再び図５に示すように、第１信号処理部２１３は、ＡＤ変換器２１２ａからのデジタル信号に対し、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ　Ｄｏｕｂｌｅ　Ｓａｍｐｌｉｎｇ）処理などの所定の信号処理を実行するものである。この信号処理部２１２は、処理結果を示すデータと検出信号とを信号線２０９を介して記録部１２０に供給する。また、第１信号処理部２１３は、ＡＤ変換器２１２ａからのデジタル信号を所定のデータ形式の画像データを生成する。

　第２信号処理部２１４は、複数のＥＶＳ用ＡＦＥ３１４からの検出信号に対して所定の信号処理を実行する。第２信号処理部２１４は、例えば検出信号を画素信号として二次元格子状に配列し、第１ＥＶＳ画像を生成する。

　図５に示すように、出力インターフェース２１６は、第１信号処理部２１３から供給される画像データなどを記録部１２０に出力する。同様に、出力インターフェース２１７は、第２信号処理部２１４から供給される画像データなどを記録部１２０に出力する。

　ここで、図１０に基づき、階調用画素３０８ａの詳細な構成例及び制御動作例を説明する。図１０は、階調用画素３０８ａの構成例を示す図である。図１０に示すように、階調用画素３０８ａは、リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３および浮遊拡散層３２４、受光部３３０を有する。

　リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３および転送トランジスタ３３１０として、例えば、Ｎ型のＭＯＳ（Ｍｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジタが用いられる。また、光電変換素子３１１は、受光チップ２０１に配置される。光電変換素子３１１以外の素子の全ては、検出チップ２０２に配置される。

　光電変換素子３１１は、入射光を光電変換して電荷を生成する。
　光電変換素子３１１から転送トランジスタ３３１０によって、光電変換素子３１１で光電変換された電荷が浮遊拡散層３２４に供給される。光電変換素子３１１から供給される電荷は、浮遊拡散層３２４に蓄積される。浮遊拡散層３２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。

　増幅トランジスタ３２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬ１との間に、選択トランジスタ３２３と直列に接続されている。増幅トランジスタ３２２は、浮遊拡散層３２４で電荷電圧変換された電圧信号を増幅する。

　選択トランジスタ３２３のゲート電極には、第１アクセス制御回路２１１ａから選択信号ＳＥＬが供給される。選択トランジスタ３２３は、選択信号ＳＥＬに応答して、増幅トランジスタ３２２によって増幅された電圧信号を画素信号ＳＩＧとして垂直信号線ＶＳＬ１を介してＡＤ変換器２１２ａ（図５参照）へ出力する。

［ＥＶＳ用画素の回路構成例］
　　ここで、図１１に基づき、ＥＶＳ用画素３０８ｂの詳細な構成例を説明する。図１１は、ＥＶＳ用画素３０８ｂの構成例を示す図である。複数のＥＶＳ用画素３０８ｂのそれぞれは、受光部３１、画素信号生成部３２、及び、ＥＶＳ用ＡＦＥ３１４を有する構成となっている。

　上記の構成のＥＶＳ用画素３０８ｂにおいて、受光部３１は、受光素子（光電変換素子）３１１、転送トランジスタ３１２、及び、ＯＦＧ（Ｏｖｅｒ　Ｆｌｏｗ　Ｇａｔｅ）トランジスタ３１３を有する構成となっている。転送トランジスタ３１２及びＯＦＧトランジスタ３１３としては、例えば、Ｎ型のＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）トランジスタが用いられる。転送トランジスタ３１２及びＯＦＧトランジスタ３１３は、互いに直列に接続されている。

　受光素子３１１は、転送トランジスタ３１２とＯＦＧトランジスタ３１３との共通接続ノードＮ１とグランドとの間に接続されており、入射光を光電変換して入射光の光量に応じた電荷量の電荷を生成する。

　転送トランジスタ３１２のゲート電極には、図２に示す第２アクセス制御回路２１１ｂから転送信号ＴＲＧが供給される。転送トランジスタ３１２は、転送信号ＴＲＧに応答して、受光素子３１１で光電変換された電荷を画素信号生成部３２に供給する。

　ＯＦＧトランジスタ３１３のゲート電極には、第２アクセス制御回路２１１ｂから制御信号ＯＦＧが供給される。ＯＦＧトランジスタ３１３は、制御信号ＯＦＧに応答して、受光素子３１１で生成された電気信号をＥＶＳ用ＡＦＥ３１４に供給する。ＥＶＳ用ＡＦＥ３１４に供給される電気信号は、電荷からなる光電流である。

　画素信号生成部３２は、リセットトランジスタ３２１、増幅トランジスタ３２２、選択トランジスタ３２３、及び、浮遊拡散層３２４を有する構成となっている。リセットトランジスタ３２１、増幅トランジスタ３２２、及び、選択トランジスタ３２３としては、例えば、Ｎ型のＭＯＳトランジスタが用いられる。

　画素信号生成部３２には、受光部３１から転送トランジスタ３１２によって、受光素子３１１で光電変換された電荷が供給される。受光部３１から供給される電荷は、浮遊拡散層３２４に蓄積される。浮遊拡散層３２４は、蓄積した電荷の量に応じた電圧値の電圧信号を生成する。すなわち、浮遊拡散層３２４は、電荷を電圧に変換する。

　リセットトランジスタ３２１は、電源電圧ＶＤＤの電源ラインと浮遊拡散層３２４との間に接続されている。リセットトランジスタ３２１のゲート電極には、第２アクセス制御回路２１１ｂからリセット信号ＲＳＴが供給される。リセットトランジスタ３２１は、リセット信号ＲＳＴに応答して、浮遊拡散層３２４の電荷量を初期化（リセット）する。

　増幅トランジスタ３２２は、電源電圧ＶＤＤの電源ラインと垂直信号線ＶＳＬとの間に、選択トランジスタ３２３と直列に接続されている。増幅トランジスタ３２２は、浮遊拡散層３２４で電荷電圧変換された電圧信号を増幅する。

　選択トランジスタ３２３のゲート電極には、第２アクセス制御回路２１１ｂから選択信号ＳＥＬが供給される。選択トランジスタ３２３は、選択信号ＳＥＬに応答して、増幅トランジスタ３２２によって増幅された電圧信号を画素信号ＳＩＧとして垂直信号線ＶＳＬを介してＥＶＳ読み出し回路２１２ｂ（図２参照）へ出力する。

　上記の構成のＥＶＳ用画素３０８ｂが２次元配置されて成る画素アレイ部３０を有する電子機器１００において、第２アクセス制御回路２１１ｂは、図１に示す制御部１３０によりアドレスイベントの検出開始が指示されると、受光部３１のＯＦＧトランジスタ３１３に制御信号ＯＦＧを供給することによって当該ＯＦＧトランジスタ３１３を駆動してＥＶＳ用ＡＦＥ３１４に光電流を供給させる。

　そして、あるＥＶＳ用画素３０８ｂにおいてアドレスイベントが検出されると、第２アクセス制御回路２１１ｂは、そのＥＶＳ用画素３０８ｂのＯＦＧトランジスタ３１３をオフ状態にしてＥＶＳ用ＡＦＥ３１４への光電流の供給を停止させる。次いで、第２アクセス制御回路２１１ｂは、転送トランジスタ３１２に転送信号ＴＲＧを供給することによって当該転送トランジスタ３１２を駆動して、受光素子３１１で光電変換された電荷を浮遊拡散層３２４に転送させる。

　このようにして、上記の構成のＥＶＳ用画素３０８ｂが２次元配置されて成る画素アレイ部３０を有する電子機器１００は、アドレスイベントが検出されたＥＶＳ用画素３０８ｂの画素信号のみをＥＶＳ読み出し回路２１２ｂに出力する。これにより、アドレスイベントの有無に関わらず、全画素の画素信号を出力する場合と比較して、電子機器１００の消費電力や、画像処理の処理量を低減することができる。

　尚、ここで例示したＥＶＳ用画素３０８ｂの構成は一例であって、この構成例に限定されるものではない。例えば、画素信号生成部３２を備えない画素構成とすることもできる。この画素構成の場合は、受光部３１において、ＯＦＧトランジスタ３１３を省略し、当該ＯＦＧトランジスタ３１３の機能を転送トランジスタ３１２に持たせるようにすればよい。

［ＥＶＳ用ＡＦＥの第１構成例］
　図１２は、ＥＶＳ用ＡＦＥ３１４の第１構成例を示すブロック図である。図１２に示すように、本構成例に係るＥＶＳ用ＡＦＥ３１４は、電流電圧変換部３３１、バッファ３３２、減算器３３３、量子化器３３４、及び、転送部３３５を有する構成となっている。

　電流電圧変換部３３１は、階調用画素３０８ａの受光部３１からの光電流を、その対数の電圧信号に変換する。電流電圧変換部３３１は、変換した電圧信号をバッファ３３２に供給する。バッファ３３２は、電流電圧変換部３３１から供給される電圧信号をバッファリングし、減算器３３３に供給する。

　減算器３３３には、第２アクセス制御回路２１１ｂから行駆動信号が供給される。減算器３３３は、行駆動信号に従って、バッファ３３２から供給される電圧信号のレベルを低下させる。そして、減算器３３３は、レベル低下後の電圧信号を量子化器３３４に供給する。量子化器３３４は、減算器３３３から供給される電圧信号をデジタル信号に量子化してアドレスイベントの検出信号として転送部３３５に出力する。

　転送部３３５は、量子化器３３４から供給されるアドレスイベントの検出信号を第２信号処理部２１４等に転送する。この転送部３３５は、アドレスイベントが検出された際に、アドレスイベントの検出信号を第２信号処理部２１４及び第２アクセス制御回路２１１ｂに供給する。

　続いて、ＥＶＳ用ＡＦＥ３１４における電流電圧変換部３３１、減算器３３３、及び、量子化器３３４の構成例について説明する。

（電流電圧変換部の構成例）
　図１３は、ＥＶＳ用ＡＦＥ３１４における電流電圧変換部３３１の構成の一例を示す回路図である。図１３に示すように、本例に係る電流電圧変換部３３１は、Ｎ型トランジスタ３３１１、Ｐ型トランジスタ３３１２、及び、Ｎ型トランジスタ３３１３を有する回路構成となっている。これらのトランジスタ３３１１～３３１３としては、例えば、ＭＯＳトランジスタが用いられる。

　Ｎ型トランジスタ３３１１は、電源電圧ＶＤＤの電源ラインと信号入力線３３１４との間に接続されている。Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３は、電源電圧ＶＤＤの電源ラインとグランドとの間に直列に接続されている。そして、Ｐ型トランジスタ３３１２及びＮ型トランジスタ３３１３の共通接続ノードＮ２には、Ｎ型トランジスタ３３１１のゲート電極と、図１１に示すバッファ３３２の入力端子とが接続されている。

　Ｐ型トランジスタ３３１２のゲート電極には、所定のバイアス電圧Ｖｂｉａｓが印加される。これにより、Ｐ型トランジスタ３３１２は、一定の電流をＮ型トランジスタ３３１３に供給する。Ｎ型トランジスタ３３１３のゲート電極には、信号入力線３３１４を通して、受光部３１から光電流が入力される。

　Ｎ型トランジスタ３３１１及びＮ型トランジスタ３３１３のドレイン電極は電源側に接続されており、このような回路はソースフォロワと呼ばれる。これらのループ状に接続された２つのソースフォロワにより、受光部３１からの光電流は、その対数の電圧信号に変換される。

（減算器及び量子化器の構成例）
　図１４は、ＥＶＳ用ＡＦＥ３１４における減算器３３３及び量子化器３３４の構成の一例を示す回路図である。

　本例に係る減算器３３３は、容量素子３３３１、インバータ回路３３３２、容量素子３３３３、及び、スイッチ素子３３３４を有する構成となっている。

　容量素子３３３１の一端は、図１４に示すバッファ３３２の出力端子に接続され、その他端は、インバータ回路３３３２の入力端子に接続されている。容量素子３３３３は、インバータ回路３３３２に対して並列に接続されている。スイッチ素子３３３４は、容量素子３３３３の両端間に接続されている。スイッチ素子３３３４にはその開閉制御信号として、第２アクセス制御回路２１１ｂから行駆動信号が供給される。スイッチ素子３３３４は、行駆動信号に応じて、容量素子３３３３の両端を接続する経路を開閉する。インバータ回路３３３２は、容量素子３３３１を介して入力される電圧信号の極性を反転する。

　上記の構成の減算器３３３において、スイッチ素子３３３４をオン（閉）状態とした際に、容量素子３３３１のバッファ３３２側の端子に電圧信号Ｖｉｎｉｔが入力され、その逆側の端子は仮想接地端子となる。この仮想接地端子の電位を、便宜上、ゼロとする。このとき、容量素子３３３１に蓄積されている電荷Ｑｉｎｉｔは、容量素子３３３１の容量値をＣ１とすると、次式（１）により表される。一方、容量素子３３３３の両端は、短絡されているため、その蓄積電荷はゼロとなる。
　　Ｑｉｎｉｔ＝Ｃ１×Ｖｉｎｉｔ　　　　　　　　　　　・・・（１）

　次に、スイッチ素子３３３４がオフ（開）状態となり、容量素子３３３１のバッファ３３２側の端子の電圧が変化してＶａｆｔｅｒになった場合を考えると、容量素子３３３１に蓄積される電荷Ｑａｆｔｅｒは、次式（２）により表される。
　　Ｑａｆｔｅｒ＝Ｃ１×Ｖａｆｔｅｒ　　　　　　　　　・・・（２）

　一方、容量素子３３３３に蓄積される電荷Ｑ２は、容量素子３３３３の容量値をＣ２とし、出力電圧をＶｏｕｔとすると、次式（３）により表される。
　　Ｑ２＝－Ｃ２×Ｖｏｕｔ　　　　　　　　　　　　　　・・・（３）

　このとき、容量素子３３３１及び容量素子３３３３の総電荷量は変化しないため、次の式（４）が成立する。
　　Ｑｉｎｉｔ＝Ｑａｆｔｅｒ＋Ｑ２　　　　　　　　　　・・・（４）

　式（４）に式（１）乃至式（３）を代入して変形すると、次式（５）が得られる。
　　Ｖｏｕｔ＝－（Ｃ１／Ｃ２）×（Ｖａｆｔｅｒ－Ｖｉｎｉｔ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　・・・（５）

　式（５）は、電圧信号の減算動作を表し、減算結果の利得はＣ１／Ｃ２となる。通常、利得を最大化することが望まれるため、Ｃ１を大きく、Ｃ２を小さく設計することが好ましい。一方、Ｃ２が小さすぎると、ｋＴＣノイズが増大し、ノイズ特性が悪化するおそれがあるため、Ｃ２の容量削減は、ノイズを許容することができる範囲に制限される。また、ＥＶＳ用画素３０８ｂ毎に減算器３３３を含むＥＶＳ用ＡＦＥ３１４が搭載されるため、容量素子３３３１や容量素子３３３３には、面積上の制約がある。これらを考慮して、容量素子３３３１、３３３３の容量値Ｃ１、Ｃ２が決定される。

　図１４において、量子化器３３４は、コンパレータ３３４１を有する構成となっている。コンパレータ３３４１は、インバータ回路３３３２の出力信号、即ち、減算器３３３からの電圧信号を非反転（＋）入力とし、所定の閾値電圧Ｖｔｈを反転（－）入力としている。そして、コンパレータ３３４１は、減算器３３３からの電圧信号と所定の閾値電圧Ｖｔｈとを比較し、比較結果を示す信号をアドレスイベントの検出信号として転送部３３５に出力する。

［ＥＶＳ用ＡＦＥの第２構成例］
　図１５は、ＥＶＳ用ＡＦＥ１４の第２構成例を示すブロック図である。図１５に示すように、本構成例に係るＥＶＳ用ＡＦＥ３１４は、電流電圧変換部３３１、バッファ３３２、減算器３３３、量子化器３３４、及び、転送部３３５の他に、記憶部３３６及び制御部３３７を有する構成となっている。

　記憶部３３６は、量子化器３３４と転送部３３５との間に設けられており、制御部３３７から供給されるサンプル信号に基づいて、量子化器３３４の出力、即ち、コンパレータ３３４１の比較結果を蓄積する。記憶部３３６は、スイッチ、プラスチック、容量などのサンプリング回路であってもよいし、ラッチやフリップフロップなどのデジタルメモリ回路でもあってもよい。

　制御部３３７は、コンパレータ３３４１の反転（－）入力端子に対して所定の閾値電圧Ｖｔｈを供給する。制御部３３７からコンパレータ３３４１に供給される閾値電圧Ｖｔｈは、時分割で異なる電圧値であってもよい。例えば、制御部３３７は、光電流の変化量が上限の閾値を超えた旨を示すオンイベントに対応する閾値電圧Ｖｔｈ１、及び、その変化量が下限の閾値を下回った旨を示すオフイベントに対応する閾値電圧Ｖｔｈ２を異なるタイミングで供給することで、１つのコンパレータ３３４１で複数種類のアドレスイベントの検出が可能になる。

　記憶部３３６は、例えば、制御部３３７からコンパレータ３３４１の反転（－）入力端子に、オフイベントに対応する閾値電圧Ｖｔｈ２が供給されている期間に、オンイベントに対応する閾値電圧Ｖｔｈ１を用いたコンパレータ３３４１の比較結果を蓄積するようにしてもよい。尚、記憶部３３６は、ＥＶＳ用画素３０８ｂの内部にあってもよいし、ＥＶＳ用画素３０８ｂの外部にあってもよい。また、記憶部３３６は、ＥＶＳ用ＡＦＥ３１４の必須の構成要素ではない。すなわち、記憶部３３６は、無くてもよい。

　以上説明したように、本実施形態によれば、以上説明したように、本実施形態によれば、表示部１７０の表示面と反対側に複数のＥＶＳ画素３０８ｂを備える個体撮像素子２００を配置することとした。これにより、複数のＥＶＳ画素３０８ｂの輝度信号に応じて、表示部１７０を介して入射した光の輝度の変化が、所定の閾値より大きい場合イベント信号を出力することが可能となる。また、表示部１７０の下にＥＶＳ画素３０８ｂを備える個体撮像素子２００を設けることで、オクルージョンを抑制可能となり、
　なおかつ魚眼レンズのような所定の厚さを有する広角レンズを光学系１１０に配置可能となる。

（第２実施形態）
　第２実施形態に係る電子機器１００は、ユーザの感情状態を推定可能な機能を更に搭載する点で、第１実施形態に係る電子機器１００と相違する。以下では、第１実施形態に係る電子機器１００と相違する点に関して説明する。

　図１６は、解析部１４０の構成例を示すブロック図である。図１６に示すように、解析部１４０は、認識処理部１４００と、状態解析部１４０２とを有する。解析部１４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）を含んで構成される。例えば記録部１２０（図１参照）は、解析部１４０における処理を実行するための各種のプログラムも記憶している。これにより、解析部１４０は、例えば記録部１２０に記憶されるプログラムを実行することにより、各部を構成する。

　図１７は、指先の領域ｆ１６の移動が表示部１７０を介して撮像された模式図である。図１７に示すように、指先の領域ｆ１６は、表示部１７０の端部から第１ＥＶＳ画像への写像が開始され、指先の領域ｆ１６がタッチする目的の位置ｇ１６まで移動する。

　認識処理部１４００は、観察対象を例えば第１ＥＶＳ画像に基づき、認識する。本実施形態に係る認識対象は、例えば指先である。認識処理には、一般的な処理アルゴリズムを用いることが可能である。例えば第１ＥＶＳ画像におけるアドレスイベントの発生領域をラベリングし、Ｕ字形、またはリング状にラベリングされた領域内の面積が、所定の範囲内であれば指先として認識する。第１ＥＶＳ画像では、観察対象のエッジ部分に対応する領域がアドレスイベントの発生領域となる。このため、指先の場合、例えばアドレスイベントの発生領域はＵ字形、またはリング状にラベリングされる。そして、認識処理部１４００は、観察対象が指であることを示す情報と、指先の領域ｆ１６の重心座標を示す情報を含む認識信号を順に状態解析部１４０２に出力する。

　状態解析部１４０２は、ユーザの表示部１６０に対するタッチパネル動作における挙動（迷いなど）を元にユーザ感情を推定する。
　図１８は、状態解析部１４０２が解析に用いるデータ例を示す図である。横軸は時間を示し、縦軸は目的の位置ｇ１６からの例えば縦方向の距離を示す。ここでは、目的の位置ｇ１６を０として示している。

　図１８の（ａ）は、目的の位置ｇ１６に対してユーザに迷いがない、すなわち精神的に安定している状態を示す図である。一方で、（ｂ）は、目的の位置ｇ１６に対してユーザに迷いがある、すなわち精神的に不安定な状態を示す図である。

　図１８の（ａ）で示すように、迷いがない場合には、より短時間で、目的の位置ｇ１６に達する。一方で、図１８の（ｂ）で示すように、迷いがある場合には、目的の位置ｇ１６に指が達しても、指先の位置が振動し、目的の位置ｇ１６をタッチするまでより時間がかかる傾向を示す。

　そこで、状態解析部１４０２は、目的の位置ｇ１６をタッチするまでの時間と、振動状態とに基づく評価値を生成し、評価値に基づき精神状態を評価する。例えば、状態解析部１４０２が生成する評価値は、目的の位置ｇ１６をタッチするまでの時間が長くなるほど、より大きくなり、振動数が増加するほど、より大きくなる。これにより、状態解析部１４０２は、評価値が第１閾値以下であれば、安定、第２閾値以上であれば、不安定、第１閾値より大きく、且つ第２閾値未満であれば、通常と推定する。このように、目的の位置ｇ１６をタッチするまでの感情状態を推定することにより、操作性改善にフイードバックすることが可能となる。例えば、迷いが推定される場合には、目的の位置ｇ１６の大きさや表示色などの表示形態を改善することが可能である。

　また、目的の位置ｇ１６がｅコマース用に関するコンテンツの選択ボタンである場合には、ユーザの心理状態をフイードバックし、集客方法、宣伝方法などに反映させることが可能となる。例えば、迷いが推定される場合には、迷いが低減されるような集客方法、宣伝方法に改善することが可能である。

　図１９は、第２実施形態の処理例を示すフローチャートである。図１９に示すように、制御部１３０は、まず第１モードで階調画素による階調用画像から対象物に対する輝度が適切か否かを判定する（ステップＳ１００）。この場合、表示部１７０に「指を提示してください」などの表示により、予め第１モードで予備撮影が行われる。輝度調整が不適切である場合（ステップＳ１００のＮ）には、表示部１７０の光量を調整する（ステップＳ１０２）。

　一方で、外部環境の輝度が適切である場合（ステップＳ１００のＹ）には、制御部１３０は、第３モードに移行し、第１ＥＶＳ画像のみの撮像を繰り返す（ステップＳ１０４）。続けて、認識処理部１４００は、観察対象を例えば第１ＥＶＳ画像に基づき、認識する（ステップＳ１０６）。

　次に、状態解析部１４０２は、認識処理部１４００が指を認識したか否かを判定する（ステップＳ１０８）。状態解析部１４０２は、指を認識したと判定した場合（ステップＳ１０８のＹ）、第１ＥＶＳ画像のみの撮像を行い（ステップｓ１０６）、ユーザの指が表示部１７０にタッチするまでの指先の位置座標と時間を記録部１２０に記録する。

　次に、状態解析部１４０２は、タッチパネル５（図３参照）からの信号に基づき、ユーザの指が表示部１７０にタッチしたか否かを判定する（ステップＳ１１２）。タッチしたと判定した場合に、状態解析部１４０２は、状態分析を行い（ステップＳ１１４）、全体処理を終了する。一方で、ユーザの指が表示部１７０にタッチしていないと判定する場合（ステップＳ１１２のＮ）、ステップＳ１１０からの処理を繰り返す。

　以上説明したように、状態解析部１４０２は、ユーザの表示部１７０のタッチパネル動作に対する挙動を記録し、その目的の位置ｇ１６０に対するユーザの指の振動及び、タッチまでの時間を評価値とし、理状態が推定することとした。これにより、客観的にユーザの心理状態が推定可能となる。また、操作と心理状態の関係性により、操作性改善のフイードバックを行うことが可能となる。さらにまた、目的の位置ｇ１６がｅコマース用に関するコンテンツの選択ボタンである場合には、コンテンツの選択時におけるユーザの心理状態をフイードバックし、集客方法、宣伝方法などに反映させることが可能となる。

（第３実施形態）
　第３実施形態に係る電子機器１００は、第１ＥＶＳ画像によりユーザのタッチ位置を推定可能な機能を更に搭載する点で、第２実施形態に係る電子機器１００と相違する。以下では、第２実施形態に係る電子機器１００と相違する点に関して説明する。

　図２０は、第３実施形態に係る解析部１４０の構成例を示すブロック図である。図２０に示すように、第３実施形態に係る解析部１４０は、接触位置解析部１４０４を更に有する。

　図２１は、指先の領域ｆ１６が表示部１７０のカバーガラス７（図４参照）をタッチした際の第１ＥＶＳ画像の時系列画像を同一の位置で模式的に重畳表示した図である。図２１に示すように、カバーガラス７（図４参照）をタッチした後には、波紋Ｔ２０がアドレスイベントの値として伝搬していく。すなわち、図２１では、リング形状は、大きくなるに従い時間が経過していることを示す。このように、表示部１７０のカバーガラス７をタッチした場合には、特有のアドレスイベン値の伝搬パターンである波紋Ｔ２０が観察される。この場合、指の腹でタッチした場合と、爪先でタッチした場合とで、異なる伝搬パターンが観察される。

　接触位置解析部１４０４は、時系列に撮影された第１ＥＶＳ画像のアドレスイベントの値の広がりの形態から、表示部１７０のカバーガラス７に指のタッチがあったか否かを判定する。そして、接触位置解析部１４０４は、タッチがあったと判定する場合、タッチ中心の座標を解析する。例えば、波紋状のリング形状に広がるアドレスイベント値の重心座標をタッチ中心とする。

　また、接触位置解析部１４０４は、時系列な第１ＥＶＳ画像の重畳画像における２次元フーリエ解析を行う。これにより、周波数毎の振幅成分を解析し、タッチが指の腹であったか、爪などの指先であったかを判定する。例えば、タッチが指の腹であった場合には、低周波よりの振幅成分の値と、高周波よりの振幅成分の値との比率が、タッチが爪などの指先であった場合よりも大きくなる。このように、接触位置解析部１４０４は、低周波よりの振幅成分の値と、高周波よりの振幅成分の値との比率により、タッチが指の腹であったか、タッチが爪などの指先であったか、を判定する。そして、制御部１３０（図１参照）は、接触位置解析部１４０４が解析した指の接触位置に応じて、表示部１７０に表示する表示内容を変更する。また、制御部１３０（図１参照）は、接触位置解析部１４０４が解析した接触したもの、例えば指の腹、爪により、表示部１７０に表示する表示内容を変更する。

　以上説明したように、接触位置解析部１４０４は、時系列に撮影された第１ＥＶＳ画像のアドレスイベントの値の広がりの形態から、タッチ中心の座標を解析することとした。これにより、電子機器１００がタッチパネルを有さない場合にも、ユーザによるカバーガラス７（図４参照）のタッチ位置を検出可能となる。

（第４実施形態）
　第４実施形態に係る電子機器１００は、第１ＥＶＳ画像により、ユーザと周囲の人物とのインタラクションを推定可能な機能を更に搭載する点で、第３実施形態に係る電子機器１００と相違する。以下では、第２実施形態に係る電子機器１００と相違する点に関して説明する。

　図２２は、第４実施形態に係る解析部１４０の構成例を示すブロック図である。図２２に示すように、第４実施形態に係る解析部１４０は、インタラクション解析部１４０６を更に有する。

　図２３は、認識処理部１４００により認識された顔領域ａ２３０、ａ２３２、ａ２３４を示す図である。第１ＥＶＳ画像内の顔領域ａ２３０、ａ２３２、ａ２３４を模式的に示した図である。

　図２４は、顔の下顎部分の位置の変化を時系列に示した模式図である。横軸は時間を示し、縦軸は下顎部分の位置を示す。図２４（ａ）は、対象者の顔領域ａ２３０における動作例をラインＬ２４０で示し、図２４（ｂ）、（ｃ）は、周辺にいる者の顔領域ａ２３２、ａ２３４の動作例をラインＬ２４２、Ｌ２４４示している。ラインＬ２４０、Ｌ２４２、Ｌ２４４の値は、第１ＥＶＳ画像における下あごの垂直座標の値を示している。

　例えば、図２４（ａ）におけるラインＬ２４０の０より下の領域は、対象者がうなずいている様子を示している。図２４（ｂ）の顔領域ａ２３２おけるラインＬ２４２にも、対象者の顔領域ａ２３０のうなずきに同調するようにうなずきの動作がみられる。一方で、図２４（ｂ）の顔領域ａ２３４おけるラインＬ２４４の値は一定であり、つまり下顎の位置は一定であり、対象者の顔領域ａ２３０のうなずきに同調していない様子がみられる。

　インタラクション解析部１４０６は、時系列に撮影された第１ＥＶＳ画像の下顎の位置の時間変化の形態により、対象者と周囲の人物とのインタラクションを推定する。例えば、対象者にした顎の動きが見られ、連動するように、周辺にいる者のした顎の動きが見られると、同意度合いが高いと推定する。一方で、周辺にいる者のした顎の動きの連動が見られない場合には、同意度合いが低いと推定とする。

　より詳細には、インタラクション解析部１４０６は、顔領域ａ２３０、ａ２３２、ａ２３４毎の下顎の位置に対応するアドレスイベント値の位置座標、例えば垂直座標を、下顎の位置情報として時系列に記録部１２０（図１参照）に記録する。そして、インタラクション解析部１４０６は、対象者の顔領域ａ２３０の時系列変動値と、比較者の顔領域、ａ２３２、ａ２３４毎の時系列変動値との相関値を計算する。インタラクション解析部１４０６は、相関値が高いほど、同意度合いが高いと推定する。例えば、インタラクション解析部１４０６は、閾値を０．６の設定し、Ｌ２４０と、Ｌ２４２、及びＬ２４４それぞれとの相関値が０．６以上であれば、同意度合いが高いと推定し、０．６未満であれば、同意度合いが低いと推定する。なお、閾値は、一例であり、これに限定されない。例えば、インタラクション解析部１４０６は、閾値を０．６５と０．５５に設定し、０．６５以上であれば、同意度合いが高いと推定し、０．５５未満であれば、同意度合いが低いと推定してもよい。

　以上説明したように、インタラクション解析部１４０６は、時系列に撮影された第１ＥＶＳ画像における下顎の位置の時間変化を解析することとした。これにより、対象者の下顎の位置に連動して、周辺にいる者のした顎の動きが見られると、同意度合いが高いと推定可能であり、周辺にいる者のした顎の動きが見られないと、同意度合いが低いと推定可能である。

（第５実施形態）
　第５実施形態に係る電子機器１００は、第１ＥＶＳ画像により、ユーザの振動を解析することにより心理状態を推定する機能を更に備える点で、第４実施形態に係る電子機器１００と相違する。以下では、第４実施形態に係る電子機器１００と相違する点に関して説明する。

　図２５は、第５実施形態に係る解析部１４０の構成例を示すブロック図である。図２５に示すように、第５実施形態に係る解析部１４０は、振動画像生成部１４０８と、状態処理部１５００とを更に有する。

　図２６は、電子機器１００にコンテンツを供給するサーバ１０００を模式的に示す図である。サーバ１０００は、コンテンツ蓄積部１０００ａを有する。コンテンツ蓄積部１０００ａが蓄積するコンテンツには、時系列に感情情報が関連付けられている。例えば、事前に例えば被験者１０００人にコンテンツを鑑賞させ、心理状態を時系列に計測した感情情報が取得されている。例えば、ある時点で、最も多くの人が安定を示した場合には、その時点の感情情報を安定とする。一方で、別のある時点で、最も多くの人が不安定を示した場合には、その時点の感情情報を不安定とする。

　また、ある時点で、最も多くの人が不安定を示した場合には、その人たちの感情を安定化させる改善例を知見として、取得している。この改善例も感情情報に関連付けて記憶されている。改善例としては、リラックスするコンテンツを視聴させる、深呼吸や、ストレッチなどのリラック動作をさせる、などの動作例がある。

　図２７は、時系列に撮像された第１ＥＶＳ画像の例を示す図である。図２７では、時間ｔ０からｔ３まで時系列に撮像された第１ＥＶＳ画像を示す。第１ＥＶＳ画像はアドレスイベントの値で構成される。例えば、アドレスイベントがあれば１であり、アドレスイベントがなければ０である。このため、例えば、ある画素のアドレスイベント１の周期を解析すれば、その画素におけるユーザの振動状態の情報が取得される。

　振動画像生成部１４０８は、時系列に取得された画素毎のアドレスイベントの周期に基づき、ユーザの振動画像を生成する。
　図２８は、振動画像生成部１４０８が生成した振動画像を模式的に示す図である。例えば図２８（ａ）が安定状態であり、図２８（ｂ）が例えば不安定状態であり、図２８（ｃ）が例えば怒り状態、例えば攻撃性が増している状態である。人体の様々な部分の動きの特徴と微動の速度は精神生理学的状態に依存し、その運動活動自体やマクロ運動には少ししか依存しないということが知られている。攻撃性、ストレス、不安のレベルが高まった、活発な精神生理学的状態においては、体全体の微動（力学的な観点から見れば振動）の特徴が精神生理学的プロセスによって決定され、肩、胸、骨盤の動きは頭部の微動と高い相関性を有していることが知れている。

　第５実施形態に係る状態解析部１４０２は、振動画像生成部１４０８が生成した振動画像に基づき、ユーザの心理状態、例えば感情を推定する。この推定方法には、例えば特許文献２に開示される技術を用いることが可能である。第５実施形態に係る状態解析部１４０２は、振動画像生成部１４０８が生成した振動画像を用いる点で、特許文献２に開示される技術と相違する。

　状態処理部１５００は、状態解析部１４０２の推定結果に応じた、表示形態の画像を表示部１７０に表示する。
　図２９は、状態処理部１５００が表示する画像例を示す図である。図２９の（ａ）は、状態解析部１４０２の推定結果において感情が安定している場合に表示される画像である。図２９の（ｂ）は、状態解析部１４０２の推定結果において感情が不安定である場合に表示される画像である。図２９の（ａ）に示すようよう、全体的な感情が安定している場合には、表示中のコンテンツに満足していると判定し、同系統のコンテンツを選択枝として表示部１７０に表示する。

　一方で、図２９の（ｂ）に示すようよう、全体的な感情が不安定である場合には、表示中のコンテンツに満足していないと判定し、表示中のコンテンツと異なる系統のコンテンツを選択枝として表示部１７０に表示する。このように、ユーザの感情に応じて、選択可能なコンテンツを変えることにより、ユーザの意思により近いコンテンツを選択肢として表示可能となる。

　図３０は、状態処理部１５００が表示する別の画像例を示す図である。図３０は、状態解析部１４０２の推定結果において感情が不安定である場合に表示される画像である。例えば、状態処理部１５００は、「体調不全が推定されます」、「少し休みましょう」、「深呼吸しましょう」などと、リラックスを促す行動を進める画像を表示部１７０に表示させる。このように、ユーザの感情センシング結果に応じて、ユーザへの行動提案を行うことが可能となる。これにより、ユーザは、自身の心理状態に気づき、表示にしたがった行動を行うことで、ストレスの増加などを抑制可能となる。また、状態処理部１５００は、サーバ１０００のコンテンツ蓄積部１０００ａから表示中のコンテンツに関連付けられている第３者の改善例の情報に基づき、図３０に示すユーザへの行動提案を行うことも可能である。

　図３１は、状態処理部１５００が表示する外部情報を用いた画像例を示す図である。図３１は、状態解析部１４０２の推定結果において、感情が不安定である場合に表示される画像である。状態処理部１５００は、サーバ１０００のコンテンツ蓄積部１０００ａから表示中のコンテンツに関連付けられている改善例の情報を取得する。例えば、リラックスコンテンツは、多くの人の感情を安定化させた実績のあるコンテンツである。例えば、このコンテンツを表示すると、多くの人の脈拍が安定化し、血圧も低下することが分かっている。同様に、気分転換コンテンツは、多くの人の感情を高揚化させた実績のあるコンテンツである。例えば、このコンテンツを表示すると、多くの人がやる気を出すことが分かっている。同様に、音楽コンテンツは多くの人の感情を安定化させた実績のあるコンテンツである。例えば、このコンテンツを表示すると、多くの人の脈拍が安定化し、血圧も低下することが分かっている。このように、状態処理部１５００は、状態解析部１４０２の推定結果に応じて、より適したヘルスケアのコンテンツを表示可能となる。

　図３２は、状態解析部１４０２における推定結果の記録状態を模式的に示す図である。縦軸は時間を示す。状態解析部１４０２は、コンテンツを表示している際の心理状態を記録部１２０（図１参照）に記録し、通信部１５０（図１参照）を介してサーバ１０００に送信する。サーバ１０００は、コンテンツに対するユーザの心理状態の一例として、情報の蓄積を増加させる。コンテンツ１３の領域Ａ３１に表示するように、時系列な感情と、その時の行動とを、記録してもよい。これにより、コンテンツの内容と、ユーザの感情と、ユーザの行動との関係を分析することも可能となる。

　図３３は、第２モードで撮像した場合の、状態解析部１４０２における推定結果の記録状態を模式的に示す図である。縦軸は時間を示す。上述のように、第２モードでは、第２ＥＶＳ画像の動画である輝度動画も撮像される。

　図３３に示すように、状態解析部１４０２ユーザの行動と感情を記録することで、特定の行為、例えば善行為、不法行為など、への関与を検出することが可能となる。例えば、不安定状態の輝度画像を解析すると、不法行為などがより効率的に検出できる。一方で、安定状態の輝度画像を解析すると、善行為などがより効率的に検出できる。

　図３４は、ユーザの振動画像を用いたユーザの状態分析の流れを示すフローチャートである。まず、振動画像生成部１４０８は、記録部１２０に記録される第１ＥＶＳ画像を時系列に取得する（ステップＳ２００）。続けて、振動画像生成部１４０８は、振動画像が生成可能な所定枚数の第１ＥＶＳ画像が取得されたか、否かを判定する（ステップＳ２０２）。画像が取得されていない場合（ステップＳ２０２のＮ）、ステップＳ２００からの処理を繰り返す。

　一方で、画像が取得された場合（ステップＳ２０２のＹ）、振動画像生成部１４０８は、振動画像を生成する（ステップＳ２０４）。
　次に、状態解析部１４０２は、振動画像生成部１４０８が生成した振動画像を用いてユーザの心理状態を推定する。状態解析部１４０２は、更に続けて、処理を終了するか否かを判定し（ステップＳ２０８）、処理を終了しない場合（ステップＳ２０８のＮ）、ステップＳ２００からの処理を繰り返す。一方で、処理を終了する場合（ステップＳ２０８のＹ）、全体処理を終了する。

　図３５は、コンテンツ表示時のユーザの状態分析の流れを示すフローチャートである。まず、状態処理部１５００は、ユーザが選択したコンテンツ情報を取得する（ステップＳ３００）。続けて、状態処理部１５００は、状態解析部１４０２が順次に推定しているユーザの心理状態の情報を取得する（ステップＳ３０２）。

　次に、状態処理部１５００は、状態解析部１４０２から取得したユーザの心理状態が不安定であるか否かを判定する（ステップＳ３０４）。不安定でない場合（ステップＳ３０４のＮ）、ステップＳ３００からの処理を繰り返す。

　一方で、不安定である場合（ステップＳ３０４のＹ）、サーバ１０００のコンテンツ蓄積部１０００ａから表示中のコンテンツに関連付けられた改善例の情報を、通信部１５０（図１参照）を介して取得する（ステップＳ３０６）。そして、状態処理部１５００は、表示中のコンテンツに関連付けられた改善例の情報に基づき、表示部１７０に推奨コンテンツとして改善実績のあるコンテンツをユーザの選択枝として表示させる（ステップＳ３０８）。

　次に、状態処理部１５００は、全体処理を終了するか否かを判定する（ステップＳ３１０）。終了しないと判定する場合（ステップＳ３１０のＮ）、ステップＳ３００からの処理を繰り返す。一方で、終了すると判定する場合（ステップＳ３１０のＹ）、全体処理を終了する。

　以上説明したように、本実施形態に係る状態解析部１４０２は、振動画像生成部１４０８が生成したユーザの振動画像を用いてユーザの心理状態を推定する理状態が推定することとした。これにより、客観的にユーザの心理状態が推定可能となる。また、コンテンツを表示中のユーザの心理状態が推定可能であるので、次のコンテンツの選択枝をユーザの心理状態に応じて変更できる。

　また、コンテンツを表示中のユーザの心理状態が不安定である場合、そのコンテンツに関連付けられた改善策に対応するコンテンツを選択枝として表示部１７０に表示することとした。これにより、改善実績のあるコンテンツをユーザに選択させることが可能となる。

（第６実施形態）
　第６実施形態に係る電子機器１００は、スピーカ部１６０が発する音声の到達領域を解析することによりスピーカ部１６０が発する音声の到達領域を変更する機能を更に備える点で、第５実施形態に係る電子機器１００と相違する。以下では、第５実施形態に係る電子機器１００と相違する点に関して説明する。

　図３６は、第６実施形態に係る解析部１４０の構成例を示すブロック図である。図３６に示すように、第６実施形態に係る解析部１４０は、顔形状解析部１５０２と、音声到達位置解析部１５０４と、音波方向調整部１５０６とを更に有する。

　図３７は、第６実施形態に係る電子機器１００のセンサ構成を模式的に示す図である。図３７に示すように、第６実施形態に係る電子機器１００は、個体撮像素子２００と、深度センサ２０００とを有する。深度センサ２０００は、ユーザＢ３７の３次元形状データを生成可能なセンサである。個体撮像素子２００と、深度センサ２０００との撮像画像は、それぞれの画素の座標を関連付けることが可能であり融合（Ｆｕｓｉｏｎ）させて処理することができる。

　図３８は、第６実施形態に係る電子機器１００のスピーカ部１６０の垂直断面を模式的に示す図である。図３８に示すように、第６実施形態に係る電子機器１００は、指向性の高い第１スピーカ１６０ａと、同様に指向性の高い第２スピーカ１６０ｂと、を有する。ベースラインＢＬが表示部１７０の水平面に対応する。第１スピーカ１６０ａと第２スピーカ１６０ｂとは、ベースラインＢＬからの向きを角度θ１、θ２に応じて変更可能に構成されている。第１スピーカ１６０ａは、指向性の高い音波Ｓａを角度θ１に応じた向きに発する。同様に、第２スピーカ１６０ｂは、指向性の高い音波Ｓｂを角度θ２に応じた向きに発する。これらの音波Ｓａ、Ｓｂは指向性が高いので、音波Ｓａ、Ｓｂが到達しているユーザＢ３７以外が視聴されることは抑制される。このように、スピーカ部１６０は、音波Ｓａ、ＳｂがユーザＢ３７しか聞こえないように構成される。

　図３９Ａ乃至図３９Ｄを用いて顔形状解析部１５０２の処理例を説明する。図３９Ａは、深度センサ２０００により撮像されたユーザＢ３７の正面の３次元画像を示す図である。図３９Ｂは、深度センサ２０００により撮像されたユーザＢ３７の斜め方向の３次元画像を示す図である。

　図３９Ｃは、ユーザＢ３７の正面の３次元画像をユーザＢ３７の斜め方向の３次元画像と一致するように回転させた画像である。図３９Ｄは、回転角と両目、両耳、鼻、及び口の３次元位置情報を用いて耳Ｅ３９の位置情報を取得した図である。

　図３９Ａに示すように、顔形状解析部１５０２は、ユーザＢ３７の正面の３次元画像に基づき骨格推定した３次元画像を予め記録部１２０（図１参照）に記録する。また、３０Ａに示すユーザＢ３７の正面を撮影した際の階調画像も取得し、予め記録部１２０（図１参照）に記録する。顔形状生成部１５０２は、認識処理部１４００による、両目、両耳、鼻、及び口の認識処理結果を用いて、ユーザＢ３７の正面の骨格推定による３次元画像における両目、両耳、鼻、及び口の３次元位置情報を記録部１２０に記録する。

　図３９Ｂ、Ｃに示すように、顔形状解析部１５０２は、深度センサ２０００によりユーザＢ３７の斜め方向の３次元画像が撮像された場合、ユーザＢ３７の正面の３次元画像を回転させ、ユーザＢ３７の斜め方向の３次元画像に一致する回転位置を演算する。

　図３９Ｄに示すように、顔形状解析部１５０２は、予め記録されるユーザＢ３７の両目、両耳、鼻、及び口の３次元位置情報と回転角を用いて、ユーザＢ３７の斜め方向の３次元画像における耳Ｅ３９の位置を推定する。また、顔形状解析部１５０２は、階調画像、第１ＥＶＳ画像、３次元画像の座標は予め対応付けられているため、顔形状解析部１５０２が取得した耳Ｅ３９の領域情報により、第１ＥＶＳ画像上の耳Ｅ３９の領域を推定可能である。この場合、ユーザＢ３７の耳Ｅ３９が髪などで隠れていても、他部位（眼や口など）の位置関係からターゲット部位である耳Ｅ３９の位置を推定することができる。

　図４０Ａ乃至図４０Ｄを用いて音声到達位置解析部１５０４、及び音波方向調整部１５０６の処理例を説明する。図４０Ａは、時系列に撮像されたユーザＢ３７の正面の第１ＥＶＳ画像を示す図である。Ｔ４０Ｌ、Ｒは、音波のあたっている領域であり、時間経過とともに音のあたっている領域が波状に広がっている。図４０Ｂは、音波方向調整後の時系列に撮像されたユーザＢ３７の正面の第１ＥＶＳ画像を示す図である。図４０Ｃは、時系列に撮像されたユーザＢ３７の斜め方向の第１ＥＶＳ画像を示す図である。Ｔ４０は、音波のあたっている領域であり、時間経過とともに音のあたっている領域が波状に広がっている。図４０Ｄは、音波方向調整後の時系列に撮像されたユーザＢ３７の斜め方向の第１ＥＶＳ画像を示す図である。

　図４０Ａに示すように、音声到達位置解析部１５０４は、リング状に広がる領域を音波のあたっている領域Ｔ４０Ｌ、Ｒとして推定する。同様に、耳が一つしか撮像されていない場合にも、領域Ｔ４０Ｍとして推定する。また、音声到達位置解析部１５０４は、時系列な第１ＥＶＳ画像を解析し、ユーザＢ３７に音波があたっているか否かを判定することも可能である。

　図４０Ｂ、及び図４０Ｄに示すように、音波方向調整部１５０６は、顔形状解析部１５０２が推定した耳Ｅ３９の位置と、音声到達位置解析部１５０４が推定した音波のあたっている領域Ｔ４０Ｌ、Ｒ、Ｔ４０Ｍが一致するように、第１スピーカ１６０ａと第２スピーカ１６０ｂとの角度θ１とθ２を調整する。このように、常にユーザＢ３７の耳Ｅ３９の領域に音波をあてることが可能となる。

　また、音声到達位置解析部１５０４は、二次元のフーリエ変換により、音のあたっている領域の周波数分析を行うことも可能である。この場合、スピーカ部１６０から発せられる音の周波数に対応する領域のみを耳Ｅ３９の領域として推定できる。このため、多数の音源がある場合には、より推定精度を上げることが可能となる。

　また、音波方向調整部１５０６は、第１スピーカ１６０ａと第２スピーカ１６０ｂとの音波Ｓａ、Ｓｂの波面を合成し、ユーザＢ３７に特化した音場を生成することが可能である。より詳細には、音波方向調整部１５０６は、第１スピーカ１６０ａと第２スピーカ１６０ｂとの向きと、波Ｓａ、Ｓｂの波面の重なりを調整し、耳Ｅ３９の領域により集中的に到達する音場を生成する。また、音波方向調整部１５０６は、認識処理部１４００の処理結果に基づき、近くに人がいるかどうかをセンサで判定し、近くに人がいる場合に、発信する音の強さや範囲を変えることも可能である。

　図４１は、音声の向きを変更する処理例の流れを示すフローチャートである。まず、音声到達位置解析部１５０４は、時系列な第１ＥＶＳ画像を解析し、ユーザＢ３７に音波があたっているか否かを判定する（ステップＳ４００）。音波があたっていない場合（ステップＳ４００のＮ）、ステップＳ４００の処理を繰り返す。一方で、音波があたっている場合（ステップＳ４００のＹ）、制御部１３０は、ＥＶＳ画素３０８ｂ（図７参照）の他に階調用画素３０８ａ及び、深度センサ２０００（図３７参照）を起動する（ステップＳ４０２）。これにより、第１ＥＶＳ画像、深度画像、及び階調画像が取得される。

　次に、顔形状解析部１５０２は、深度センサ２０００の深度画像に基づきユーザＢ３７の３次元画像を生成する（ステップＳ４０４）。続けて、顔形状解析部１５０２は、予め記録される正面の三次元顔画像を回転させ、ステップＳ４０４で生成された三次元顔画像と一致する角度により、ユーザＢ３７の顔の向きを判定する（ステップＳ４０６）。

　次に、顔形状解析部１５０２は、予め色くされた両目、両耳、鼻、及び口の３次元位置情報と、回転角、すなわち顔の向きの情報を用いて、第１ＥＶＳ画像内の耳の位置を推定する（ステップＳ４０８）。

　次に、音声到達位置解析部１５０４は、音波のあたっている領域を推定する（ステップＳ４１０）。続けて、音波方向調整部１５０６は、顔形状解析部１５０２が推定した耳の位置と、音声到達位置解析部１５０４が推定した音波のあたっている領域が一致するか否かを判定する（ステップＳ４１２）。そして、音波方向調整部１５０６は、領域が一致する場合、（ステップＳ４１２のＹ）、ステップＳ４０２からの処理を繰り返す。

　一方で、領域が一致しない場合、（ステップＳ４１２のＮ）、音波方向調整部１５０６は、顔形状解析部１５０２が推定した耳の位置と、音声到達位置解析部１５０４が推定した音波のあたっている領域が一致するように、第１スピーカ１６０ａと第２スピーカ１６０ｂとの角度θ１とθ２を調整する（ステップＳ４１４）。次に、音波方向調整部１５０６は、全体処理を終了するか否かを判定し（ステップＳ４１６）、終了しないと判定する場合（ステップＳ４１６）に、ステップＳ４０２からの処理を繰り返す。

　以上説明したように、本実施形態に係る状音声到達位置解析部１５０４は、第１ＥＶＳ画像を用いて音波のあたっている領域を推定し、音波方向調整部１５０６は、顔形状解析部１５０２が推定した耳の位置と、音声到達位置解析部１５０４が推定した音波のあたっている領域が一致するように、第１スピーカ１６０ａと第２スピーカ１６０ｂとの角度θ１とθ２を調整することとした。これにより、ユーザＢ３７が移動しても、常にユーザＢ３７の耳Ｅ３９の領域に音波をあてることが可能となる。

　なお、本技術は以下のような構成を取ることができる。

　（１）第１の方向と前記第１の方向と異なる第２の方向において、アレイ状に表示素子が配置される表示領域を有する表示部と、
　前記第１の方向と前記第２の方向と異なる第３の方向において、前記表示領域と重なって前記表示部の表示面と反対側に配置され、複数の画素を備える撮像素子と、を備え、
　前記表示部は、入射した光を透過し、
　前記複数の画素は、前記表示部を介して入射した光の輝度の変化が、所定の閾値より大きい場合にイベント信号を出力する、電子機器。

　（２）前記イベント信号の情報を用いて、ユーザの前記表示部に対する接触動作における挙動を解析し、ユーザ感情を推定する状態解析部を更に備える、（１）に記載の電子機器。

　（３）前記イベント信号の情報を用いて、ユーザが前記表示部を接触した位置を推定する接触位置解析部を更に備える、（１）又は（２）に記載の電子機器。

　（４）接触位置解析部は、前記イベント信号の伝搬情報を用いて、前記表示部にタッチしたものを区別する、（３）に記載の電子機器。

　（５）前記表示部を制御する制御部を更に備え、
　前記接触した位置、及びタッチしたもの少なくともいずれかに応じて、前記表示部に表示させる表示内容を変更する、（４）に記載の電子機器。

　（６）前記イベント信号の情報を用いて生成したユーザの振動画像に基づき、前記表示部に表示させる表示内容を変更する、（１）に記載の電子機器。

　（７）前記イベント信号の情報を用いて生成したユーザの振動画像に基づき、ユーザの感情を推定する状態解析部を更に備える、（６）に記載の電子機器。

　（８）前記状態解析部の推定結果に応じた、画像を前記表示部に表示させる状態処理部を更に備える、、（７）に記載の電子機器。

　（９）前記状態処理部は、前記状態解析部の推定結果に応じた、ヘルスケア用の画像を前記表示部に表示させる、（７）に記載の電子機器。

　（１０）前記状態処理部は、前記状態解析部の推定結果に応じた、コンテンツの選択枝を前記表示部に表示させる、（８）に記載の電子機器。

　（１１）前記状態処理部は、前記状態解析部の推定結果に応じた、ユーザへの行動提案を前記表示部に表示させる、（８）に記載の電子機器。

　（１２）前記行動提案は、外部のサーバから取得された第３者の改善例の情報に基づく、（１１）に記載の電子機器。

　（１３）音声を発するスピーカ部と、
　前記イベント信号の情報を用いて、前記スピーカ部から発せられた音が、ユーザのどこにあたっているかを推定する音声到達位置解析部と、を更に備える、（１）に記載の電子機器。

　（１４）前記音声到達位置解析部は、前記スピーカ部から発せられた音が、ユーザの耳にあたっているか否かを判別する、（１３）に記載の電子機器。

　（１５）前記音声到達位置解析部が解析した音声の到達位置に応じて、スピーカの向きを制御する音波方向調整部を更に備える、（１４）に記載の電子機器。

　（１６）前記音波方向調整部は、ユーザの耳に直接音が到達するように、スピーカの向きを制御する、（１５）に記載の電子機器。

　（１７）前記ユーザの３次元画像における両目、両耳、鼻、及び口の３次元位置情報を記録部に記録する顔形状解析部を更に備える、（１６）に記載の電子機器。

　（１８）前記顔形状解析部は、予め記録され前記ユーザの両目、両耳、鼻、及び口の３次元位置情報と前記ユーザの３次元画像の回転角を用いて、前記ユーザの斜め方向の３画像における耳の位置を推定する、（１７）に記載の電子機器。

　（１９）前記音声到達位置解析部は、前記スピーカの音声波長に応じて、解析により抽出する到達位置を変更可能である、（１８）に記載の電子機器。

　（２０）前記音声到達位置解析部が前記イベント信号に基づき、音声が前記ユーザに音声が到達していると判定する場合に、前記ユーザの３次元画像を撮像する深度センサを起動する、（１９）に記載の電子機器。

　（２１）前記音声到達位置解析部は、前記イベント信号に基づく画像と、前記深度センサに基づく画像を融合し、前記ユーザの両目、両耳、鼻、及び口の３次元位置情報を取得する、（２０）に記載の電子機器。

　（２２）前記顔形状解析部は、前記深度センサの起動後に骨格推定による前記ユーザの３次元画像を生成する、（２１）に記載の電子機器。

　（２３）前記イベント信号は常に取得される、（１）に記載の電子機器。

　（２４）前記複数の画素の感度を満たすように、前記表示部を発光させる、（１）に記載の電子機器。

　（２５）第１の方向と前記第１の方向と異なる第２の方向において、アレイ状に表示素子が配置される表示領域を有する表示部と、
　前記第１の方向と前記第２の方向と異なる第３の方向において、前記表示領域と重なって前記表示部の表示面と反対側に配置され、複数の画素を備える撮像素子と、を備える電子機器の制御方法であって、
　前記表示部は、入射した光を透過し、
　前記複数の画素は、前記表示部を介して入射した光の輝度の変化が、所定の閾値より大きい場合にイベント信号を出力する、電子機器の制御方法。

　本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

　１００：電子機器、１３０：制御部、１６０：スピーカ部、１７０：表示部、２００：固体撮像素子、１０００：サーバ、１４０２：状態解析部、１４０４：接触位置解析部、１５０４：音声到達位置解析部、１５０６：音波方向調整部、２０００：深度センサ。

Claims

　第１の方向と前記第１の方向と異なる第２の方向において、アレイ状に表示素子が配置される表示領域を有する表示部と、
　前記第１の方向と前記第２の方向と異なる第３の方向において、前記表示領域と重なって前記表示部の表示面と反対側に配置され、複数の画素を備える撮像素子と、を備え、
　前記表示部は、入射した光を透過し、
　前記複数の画素は、前記表示部を介して入射した光の輝度の変化が、所定の閾値より大きい場合にイベント信号を出力する、電子機器。
　前記イベント信号の情報を用いて、ユーザの前記表示部に対する接触動作における挙動を解析し、ユーザ感情を推定する状態解析部を更に備える、請求項１に記載の電子機器。
　前記イベント信号の情報を用いて、ユーザが前記表示部を接触した位置を推定する接触位置解析部を更に備える、請求項１に記載の電子機器。
　接触位置解析部は、前記イベント信号の伝搬情報を用いて、前記表示部にタッチしたものを区別する、請求項３に記載の電子機器。
　前記表示部を制御する制御部を更に備え、
　前記制御部は、前記接触した位置、及びタッチしたもの少なくともいずれかに応じて、前記表示部に表示させる表示内容を変更する、請求項４に記載の電子機器。
　前記イベント信号の情報を用いて生成したユーザの振動画像に基づき、前記表示部に表示させる表示内容を変更する、請求項１に記載の電子機器。
　前記イベント信号の情報を用いて生成したユーザの振動画像に基づき、ユーザの感情を推定する状態解析部を更に備える、請求項６に記載の電子機器。
　前記状態解析部の推定結果に応じた、画像を前記表示部に表示させる状態処理部を更に備える、請求項７に記載の電子機器。
　前記状態処理部は、前記状態解析部の推定結果に応じた、ヘルスケア用の画像を前記表示部に表示させる、請求項８に記載の電子機器。
　前記状態処理部は、前記状態解析部の推定結果に応じた、コンテンツの選択枝を前記表示部に表示させる、請求項８に記載の電子機器。
　前記状態処理部は、前記状態解析部の推定結果に応じた、ユーザへの行動提案を前記表示部に表示させる、請求項８に記載の電子機器。
　前記行動提案は、外部のサーバから取得された第３者の改善例の情報に基づく、請求項１１に記載の電子機器。
　音声を発するスピーカ部と、
　前記イベント信号の情報を用いて、前記スピーカ部から発せられた音が、ユーザのどこにあたっているかを推定する音声到達位置解析部と、を更に備える、請求項１に記載の電子機器。
　前記音声到達位置解析部は、前記スピーカ部から発せられた音が、ユーザの耳にあたっているか否かを判別する、請求項１３に記載の電子機器。
　前記音声到達位置解析部が解析した音声の到達位置に応じて、スピーカの向きを制御する音波方向調整部を更に備える、請求項１４に記載の電子機器。
　前記音波方向調整部は、ユーザの耳に直接音が到達するように、スピーカの向きを制御する、請求項１５に記載の電子機器。
　前記ユーザの３次元画像における両目、両耳、鼻、及び口の３次元位置情報を記録部に記録する顔形状解析部を更に備える、請求項１６に記載の電子機器。
　前記顔形状解析部は、予め記録され前記ユーザの両目、両耳、鼻、及び口の３次元位置情報と前記ユーザの３次元画像の回転角を用いて、前記ユーザの斜め方向の３画像における耳の位置を推定する、請求項１７に記載の電子機器。
　前記音声到達位置解析部は、前記スピーカの音声波長に応じて、解析により抽出する到達位置を変更可能である、請求項１８に記載の電子機器。
　前記音声到達位置解析部が前記イベント信号に基づき、音声が前記ユーザに音声が到達していると判定する場合に、前記ユーザの３次元画像を撮像する深度センサを起動する、請求項１９に記載の電子機器。
　前記音声到達位置解析部は、前記イベント信号に基づく画像と、前記深度センサに基づく画像を融合し、前記ユーザの両目、両耳、鼻、及び口の３次元位置情報を取得する、請求項２０に記載の電子機器。
　前記顔形状解析部は、前記深度センサの起動後に骨格推定による前記ユーザの３次元画像を生成する、請求項２１に記載の電子機器。
　前記イベント信号は常に取得される、請求項１に記載の電子機器。
　前記複数の画素の感度を満たすように、前記表示部を発光させる、請求項１に記載の電子機器。
　第１の方向と前記第１の方向と異なる第２の方向において、アレイ状に表示素子が配置される表示領域を有する表示部と、
　前記第１の方向と前記第２の方向と異なる第３の方向において、前記表示領域と重なって前記表示部の表示面と反対側に配置され、複数の画素を備える撮像素子と、を備える電子機器の制御方法であって、
　前記表示部は、入射した光を透過し、
　前記複数の画素は、前記表示部を介して入射した光の輝度の変化が、所定の閾値より大きい場合にイベント信号を出力する、電子機器の制御方法。