JP4961914B2 - 撮像表示装置、撮像表示方法 - Google Patents

Description

本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザが視認する方向を被写体方向として撮像し、ユーザの目の前方で撮像画像の表示を行う撮像表示装置と、撮像表示方法に関する。

特開平８−１２６０３１号公報 特開平９−２７９７０号公報 特開平９−１８５００９号公報

例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。

しかしながら従来の装置では、特にユーザの視覚の補助や、視覚能力の拡大という観点で撮像や表示に関する制御を行うものは知られていない。
そこで本発明では、ユーザの視力補助や視覚能力の拡張を実現することを目的とする。さらには、視力補助や視覚能力拡張を実現する表示動作や撮像動作の制御に関して、ユーザの状況（意志、視覚状態、身体状況等）に応じて、的確な動作制御が行われるようにする。

本発明の撮像表示装置は、使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段と、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、上記使用者情報取得手段で取得された情報に基づいて、使用者の意志又は状況を判定し、判定結果に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御手段と、を備え、上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とが切換可能とされるとともに、上記制御手段は、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行うとともに、上記表示手段における表示画像の拡大／縮小及び画面分割表示の制御を行う。

上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサであるとする。
また上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサであるとする。
また上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサである。
また上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとする。
また上記使用者情報取得手段は、使用者の生体情報を検出する生体センサであるとする。
また上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとする。
また上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとする。
また上記使用者情報取得手段は、少なくとも視力情報を入力することのできる入力部として形成されている。

また上記制御手段は、上記撮像手段における撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行う。
また上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行う。
また上記被写体方向に対して照明を行う照明手段を更に備え、上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行う。

本発明の撮像表示方法は、使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段とを備えた撮像表示装置の撮像表示方法として、使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、上記使用者情報取得ステップで取得された情報に基づいて、上記使用者情報取得ステップで取得された情報に基づいて、使用者の意志又は状況を判定し、判定結果に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御ステップと、を備え、上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とが切換可能とされるとともに、上記制御ステップは、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行うとともに、上記表示手段における表示画像の拡大／縮小及び画面分割表示の制御を行う。

以上の本発明では、使用者（ユーザ）は、例えば眼鏡型もしくは頭部装着型の装着ユニットにより本発明の撮像表示装置を装着することで、目の前方に位置する表示手段を視認する状態となる。そして撮像手段で撮像された画像を表示手段で表示させることで、ユーザが通常に視認する方向の光景の撮像画像を、表示手段で視認できることになる。
これはユーザにとっては、通常に視認する前方の光景を、本発明の撮像表示装置を介して見ることになるが、するとこの場合、ユーザは表示手段に映し出された画像を通常の視覚風景として見ることになる。ここで、表示手段に映し出す画像の態様を、ユーザの意志や視力、或いは身体状態などのユーザ状況に応じて変化させると、ユーザの視覚能力を補助したり拡張した状態とすることができる。
例えば望遠画像を表示させれば、ユーザが通常では見えない遠方の光景が見える。また本や新聞を見ているときに、表示手段でそれらの文字の拡大表示を行えば、視力の低いユーザにとって、見やすいものとなる。
即ち、ユーザ状況に応じて撮像手段や表示手段の動作を制御し、表示される撮像画像の態様を制御することで、ユーザにとって快適な視覚状況を作り出すことができる。

本発明によれば、撮像手段で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示手段で表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいて撮像手段又は表示手段の動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができるという効果がある。
また撮像手段又は表示手段の制御による表示態様の変更は、ユーザの動作又は身体の状況の情報から判定されるユーザの意志又は状況に基づいて行うことで、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示手段は、撮像手段による撮像画像を表示させずに透明又は半透明のスルー状態ともできるようにもすることで、装着状態のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本発明の撮像表示装置の利点を有効に得ることができる。

以下、本発明の撮像表示装置、撮像表示方法の実施の形態を、次の順序で説明する。

［１．撮像表示装置の外観例］
［２．撮像表示装置の構成例］
［３．表示例］
［４．ユーザ状況の判定］
［５．各種動作例］
［６．実施の形態の効果、変形例及び拡張例］

［１．撮像表示装置の外観例］

実施の形態として、図１に眼鏡型ディスプレイカメラとした撮像表示装置１の外観例を示す。撮像表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの撮像表示装置１は、図１のような装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示部２、２が配置される構成とされている。この表示部２には、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部２がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像するように、前方に向けて撮像レンズ３ａが配置されている。
また撮像レンズ３ａによる撮像方向に対して照明を行う発光部４ａが設けられる。発光部４ａは例えばＬＥＤ（Light Emitting Diode）により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿入できる一対のイヤホンスピーカ５ａが設けられる。
また右眼用の表示部２の右方と、左眼用の表示部２の左方に、外部音声を集音するマイクロホン６ａ，６ｂが配置される。

なお図１は一例であり、撮像表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも本実施の形態としては、ユーザの眼の前方に近接して表示部２が設けられ、また撮像レンズ３ａによる撮像方向がユーザが視認する方向、つまりユーザの前方となるようにされていればよい。また表示部２は、両眼に対応して一対設けられる他、片側の眼に対応して１つ設けられる構成でもよい。
またイヤホンスピーカ５ａは、左右のステレオスピーカとせずに、一方の耳にのみ装着するために１つ設けられるのみでもよい。またマイクロホンも、マイクロホン６ａ，６ｂのうちの一方でもよい。さらには、撮像表示装置１としてマイクロホンやイヤホンスピーカを備えない構成も考えられる。
また発光部４ａを設けない構成も考えられる。

［２．撮像表示装置の構成例］

図２に撮像表示装置１の内部構成例を示す。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、撮像表示装置１の全体を制御する制御部とされる。
このシステムコントローラ１０はユーザの状況に基づいて、撮像表示装置１内の各部の制御を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するようにされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユーザの状況を判定するユーザ状況判定機能１０ａと、ユーザ状況判定機能１０ａの判定結果に従って各部に制御指示を行う動作制御機能１０ｂを有することになる。

撮像表示装置１内では、ユーザの前方の光景の撮像のための構成として、撮像部３、撮像制御部１１、撮像信号処理部１５が設けられる。
撮像部３は、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。

撮像信号処理部１５は、撮像部３の固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部１５は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理なども行う。

撮像制御部１１は、システムコントローラ１０からの指示に基づいて、撮像部３及び撮像信号処理部１５の動作を制御する。例えば撮像制御部１１は、撮像部３，撮像信号処理部１５の動作のオン／オフを制御する。また撮像制御部１１は撮像部３に対して、オートフォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御（モータ制御）を行うものとされる。
また撮像制御部１１はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理部１１のサンプルホールド／ＡＧＣ回路、ビデオＡ／Ｄコンバータに対しては、タイミングジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、このタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部１１は、固体撮像素子及び撮像信号処理部１５における撮像感度や信号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲイン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理により可能である。これらの場合、撮像制御部１１は、波長フィルタの挿入制御や、フィルタ演算係数の指定等により、感度制御を行うことができる。

また撮像表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示画像処理部１２、表示駆動部１３，表示制御部１４が設けられる。
撮像部３で撮像され、撮像信号処理部１５で処理された撮像信号は表示画像処理部１２に供給される。表示画像処理部１２は、例えばいわゆるビデオプロセッサとされ、供給された撮像信号に対して各種表示処理を実行できる部位とされる。例えば撮像信号の輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また表示画像処理部１２は、撮像信号の一部を拡大した拡大画像の生成、或いは縮小画像の生成や、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成や、生成した画像を撮像画像に合成する処理なども行うことができる。つまり撮像信号としてのデジタル映像信号に対しての各種処理を行うことができる。

表示駆動部１３は、表示画像処理部１２から供給される映像信号を、例えば液晶ディスプレイとされる表示部２において表示させるための画素駆動回路で構成されている。即ち表示部２においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表示駆動部１３は、表示部２の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部１４は、システムコントローラ１０の指示に基づいて、表示画像処理部１２の処理動作や表示駆動部１３の動作を制御する。即ち表示画像処理部１２に対しては、上記の各種処理を実行させる。また表示駆動部１３に対してはスルー状態、画像表示状態の切り換えが行われるように制御する。
なお以下では、表示部２を透明もしくは半透明とする「スルー状態」に対して、表示部２で画像表示を行っている動作（及びその状態）を「モニタ表示」（「モニタ表示状態」）と言うこととする。

また撮像表示装置１には、音声入力部６、音声信号処理部１６，音声出力部５が設けられる。
音声入力部６は、図１に示したマイクロホン６ａ，６ｂと、そのマイクロホン６ａ，６ｂで得られた音声信号を処理するマイクアンプ部を有して成る。
音声信号処理部１６は、例えばＡ／Ｄ変換器、デジタルシグナルプロセッサ、Ｄ／Ａ変換器などからなり、音声入力部６から供給される音声信号をデジタルデータに変換して、システムコントローラ１０の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処理した音声信号をアナログ信号に変換して音声出力部５に供給する。なお、音声信号処理部１６は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィルタによって信号処理を行うものでも良い。
音声出力部５は、図１に示した一対のイヤホンスピーカ５ａと、そのイヤホンスピーカ５ａに対するアンプ回路を有する。
この音声入力部６、音声信号処理部１６，音声出力部５により、ユーザは外部音声を当該撮像表示装置１を介して聞くことができる。
なお、音声出力部５は、いわゆる骨伝導スピーカとして構成されても良い。

また照明部4と照明制御部１８が設けられる。照明部４は、図１に示した発光部４ａとその発光部４（例えばＬＥＤ）を発光させる発光回路から成る。照明制御部１８は、システムコントローラ１０の指示に基づいて、照明部４に発光動作を実行させる。
照明部４における発光部４ａが図１に示したように前方に対する照明を行うものとして取り付けられていることで、照明部４はユーザの視界方向に対する照明動作を行うことになる。

この撮像表示装置１は、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２、及び入力部１７を有する。
視覚センサ１９は、ユーザの視覚に関する情報を検出する。視覚センサ１９は、例えばユーザの視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉など、視覚に関する情報を検知することができるセンサである。
加速度センサ２０、及びジャイロ２１は、ユーザの動きに応じた信号を出力する。例えば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出するためのセンサである。
生体センサ２２は、ユーザの生体情報を検出する。例えば生体センサ２２は、ユーザの心拍情報、脈拍情報、発汗情報、脳波情報、又は皮膚電気反応（ＧＳＲ）、体温、血圧、呼吸活動情報等を検出するセンサである。これらの生体センサ２２の検出信号は、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる情報となる。
入力部１７は、ユーザは手動で情報を入力できる部位として示している。例えば入力部１７にはユーザが自分の視力を入力できる操作子が形成される。

これら視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２、及び入力部１７により、撮像表示装置１を装着したユーザの動作又は身体の状況に関する情報（使用者情報）が取得され、システムコントローラ１０に供給される。
システムコントローラ１０はユーザ状況判定機能１０ａの処理により、取得した使用者情報からユーザの意志又は状況を判定する。そしてシステムコントローラ１０は判定したユーザの意志又は状況に応じて動作制御機能１０ｂの処理により、撮像動作や表示動作に関する制御を行う。即ちシステムコントローラ１０は撮像制御部１１に指示して撮像部３や撮像信号処理部１５の動作を制御し、また表示制御部１４に指示して表示画像処理部１２や表示駆動部１３の動作を制御する。

なお、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２、入力部１７を示したが、これらは必ずしも全てを備える必要はない。また、ユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。

［３．表示例］

システムコントローラ１０が、ユーザの意志又は状況に応じて撮像動作や表示動作に関する制御を行うことは、結果として表示部２における多様な表示態様としてユーザに認識される。図３から図９により、各種の表示態様を例示する。
図３（ａ）は表示部２がスルー状態となっている場合を示しているとする。つまり、表示部２は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部２を介して見ている状態である。
図３（ｂ）は、モニタ表示状態として、撮像部３で撮像した画像が表示部２に表示された状態である。例えば図３（ａ）の状態で撮像部３，撮像信号処理部１５，表示画像処理部１２，表示駆動部１３が動作し、これらの部位が撮像画像を通常に表示部２に表示した状態である。この場合の表示部２に表示される撮像画像（通常撮像画像）は、スルー状態の場合とほぼ同様となる。つまりユーザにとっては、通常の視界を、撮像された画像として見ている状態である。

図３（ｃ）は、システムコントローラ１０が撮像制御部１１を介して撮像部３に望遠撮像を実行させた場合であり、望遠画像が表示部２に表示されている。
図示しないが、逆にシステムコントローラ１０が撮像制御部１１を介して撮像部３に広角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部２に表示されることになる。なお、望遠−広角の制御は、撮像部３におけるズームレンズの駆動制御の他、撮像信号処理部１５での信号処理でも可能である。

図４（ａ）は表示部２がスルー状態となっている場合を示しているとする。例えばユーザが新聞等を見ている状態である。
図４（ｂ）は、いわゆる広角ズームとした状態である。即ち近距離の焦点位置状態でズーム撮像を行い、例えば新聞等の文字がユーザに拡大されるように表示部２に表示されている状態である。

図５（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。
このときにシステムコントローラ１０が、表示制御部１４を介して表示画像処理部１２に対して画像拡大処理を指示することで、図５（ｂ）のような拡大画像が表示部２に表示されることになる。

図６（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。特に、ユーザが新聞や書籍を読んでいる場合を示している。ここでは、周囲が薄暗く、通常撮像画像やスルー状態では、新聞等の文字が見えにくい状況となっているとする。
このような場合に、システムコントローラ１０は撮像制御部１１（撮像部３，撮像信号処理部１５）に対して撮像感度を上げることを指示したり、表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して輝度アップ、コントラスト、シャープネス調整を指示することなどにより、図６（ｂ）のように、よりはっきりした画像を表示部２に表示させることができる。なお、照明部４に照明動作を実行させることも、このような表示を行う場合に好適となる。

図７（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。ここでは、ユーザが、子供が寝ている暗い寝室に居る場合を示している。暗い部屋の中であるため、通常撮像画像やスルー状態では、子供の姿等がはっきり見えない状況である。
このときにシステムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して赤外線撮像感度の上昇を指示することで、図７（ｂ）のように赤外線撮像画像が表示部２に表示され、暗い部屋で子供の寝顔などを確認できる。

図８（ａ）は、表示部２に通常撮像画像が表示されている場合、もしくは表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が、撮像制御部１１（撮像部３，撮像信号処理部１５）に対して紫外線撮像感度の上昇を指示することで、図８（ｂ）のように紫外光成分を表した撮像画像が表示部２に表示される。

図９（ａ）は、表示部２がスルー状態とされている場合を示している。
システムコントローラ１０が表示制御部１４（表示画像処理部１２、表示駆動部１３）に対して分割表示及び分割画面での拡大表示を指示することにより、図９（ｂ）のような画像を表示部２に表示させることができる。即ち表示部２の画面上を領域ＡＲ１、ＡＲ２に分割し、領域ＡＲ１はスルー状態又は通常画像表示とし、領域ＡＲ２には拡大画像とした例である。
また図９（ｃ）は他の分割表示の例を示しており、この場合は表示部２の画面上を領域ＡＲ１、ＡＲ２、ＡＲ３，ＡＲ４に分割するとともに、各領域には、所定時間間隔で撮像画像の１フレームを抽出して表示させている。例えば表示画像処理部１２に、撮像画像信号において０．５秒間隔で１フレームを抽出させ、抽出したフレームの画像を領域ＡＲ１→ＡＲ２→ＡＲ３→ＡＲ４→ＡＲ１→ＡＲ２・・・と順に表示させていく。これは、いわゆるストロボ表示と呼ばれるような画像を表示部２で分割表示により実行した例である。

ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像部３，撮像信号処理部１５、表示画像処理部１２，表示駆動部１３の各処理や動作を制御することで、多様な表示形態が実現される。
例えば、望遠表示、広角表示、望遠から広角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレートの可変表示（高フレームレートでの撮像など）、高輝度表示、低輝度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、モザイク画像／輝度反転画像／ソフトフォーカス画像／画面内の一部のハイライト表示画像／画像全体の色の雰囲気の可変などの画像エフェクト表示、スロー表示、コマ送り表示、これらの各種の撮像画像表示を組み合わせた分割表示、スルー状態と撮像画像を組み合わせた分割表示、ストロボ表示、撮像画像の１フレームの表示を継続させる静止画表示など、非常に多様な表示態様が想定される。

［４．ユーザ状況の判定］

上述したように本例の撮像表示装置１は、使用者情報を取得するための構成として、視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２、及び入力部１７を有する。

視覚センサ１９は、ユーザの視覚に関する情報を検出するものとするが、この視覚センサ１９は、一例としては、例えば表示部２の近辺に配置されてユーザの眼部を撮像するようにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシステムコントローラ１０が取り込み、ユーザ状況判定機能１０ａが画像解析を行うことで、視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、これた基づいてユーザの状況や意志を判定できる。
或いは視覚センサ１９は、表示部２の近辺に配置されてユーザの眼部に光を照射する発光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユーザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。

ユーザの視線方向を検出することで、システムコントローラ１０は例えば表示部２に表示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ１０は、ユーザの視線方向を、操作入力として認識することも可能である。例えばユーザが視線を左右に動かすことを、撮像表示装置１に要求する所定の操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別でき、それに応じてズーム制御、拡大／縮小制御などを行うことも可能である。例えばユーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、またモニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみモニタ表示の動作を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れを判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも可能である。例えばユーザが３回まばたきをすることを、所定の操作入力と判定するなどである。

加速度センサ２０、及びジャイロ２１は、ユーザの動きに応じた信号を出力する。例えば加速度センサ２０は直線方向の動きを検出し、ジャイロ２１により回転系の動きや振動を検出する場合に適している。
加速度センサ２０やジャイロ２１の配置位置にもよるが、加速度センサ２０やジャイロ２１によって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図１のような眼鏡型の撮像表示装置１の内部に取り付けられた場合、つまり加速度センサ２０及びジャイロ２１がユーザの頭部の動きを検出するものとされた場合は、加速度センサ２０の情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジャイロ２１はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いている状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を見ていると判断することもできる。
またシステムコントローラ１０はユーザの首から頭部を動かす挙動を検出したら、それをユーザの意識的な操作と認識することもできる。例えば左に２回首を振ったら、それが所定の操作入力とするなどである。
また加速度センサ２０及びジャイロ２１によっては、ユーザが静止状態（非歩行状態）であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立っている状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサ２０やジャイロ２１が、頭部に装着する装着ユニットとは別体に設けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知できる。

生体センサ２２は、ユーザの生体情報として例えば心拍情報（心拍数）、脈拍情報（脈拍数）、発汗情報、脳波情報（例えばα波、β波、θ波、δ波の情報）、又は皮膚電気反応、体温、血圧、呼吸活動（例えば呼吸の速さ、深さ、換気量など）等を検出するが、これらの情報からシステムコントローラ１０は、ユーザが緊張状態や興奮状態にあること、或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなどを判定できる。
また撮像表示装置１をユーザが装着したことの検知も、生体情報により可能である。例えばシステムコントローラ１０は、ユーザが撮像表示装置１を装着していない時には生体情報検知のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが撮像表示装置１を装着したことを検知したら、電源オン状態とすることや、逆にユーザが撮像表示装置１の装着を外したらスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサ２２による検出情報は、ユーザの個人認証（装着者個人の識別）にも利用できる。
なお生体センサ２２は、例えば眼鏡型の撮像表示装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、撮像表示装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。

入力部１７は、ユーザは手動で自分の視力の情報を入力できる部位としている。ユーザが自分の視力の情報、例えば視力の値や近視、遠視、乱視、老眼などの情報を入力することで、システムコントローラ１０は、ユーザの視力に適した表示画像の制御を行うことができる。

［５．各種動作例］

本実施の形態の撮像表示装置１は、以上のように視覚センサ１９、加速度センサ２０、ジャイロ２１、生体センサ２２、入力部１７から検出されるユーザの情報に応じて、システムコントローラ１０が撮像動作や表示動作を制御することで、表示部２においてユーザの意志や状況に応じた表示を実行し、これによってユーザの視覚の補助や拡張を実現するものである。
このためのシステムコントローラ１０の制御に基づく各種動作例を説明していく。

図１０は、システムコントローラ１０の動作制御機能１０ｂとしての制御処理を示している。
ステップＦ１０１は、システムコントローラ１０が表示制御部１４に対して表示部２をスルー状態とする制御処理を示している。例えば撮像表示装置１が電源オンとされた初期段階では、システムコントローラ１０はステップＦ１０１で表示部２をスルー状態に制御する。
表示部２をスルー状態にしている期間は、システムコントローラ１０はステップＦ１０２でモニタ表示状態の開始のトリガが発生したか否かを確認している。ここではモニタ表示状態を開始させるトリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、モニタ表示を開始させるとシステムコントローラ１０自身が判断することを意味している。ユーザの操作、ユーザの意識的な動作（操作と認識される動作）、又はユーザの無意識な動作や状態（ユーザ個人の認識も含む）によって、システムコントローラ１０はモニタ表示の開始トリガの有無を判断する。具体例は後述する。

モニタ表示開始のトリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０３に進め、モニタ表示の開始制御を行う。即ち撮像制御部１１に撮像開始を指示して撮像部３及び撮像信号処理部１５の通常撮像動作を実行させ、また表示制御部１４に指示して、表示画像処理部１２及び表示駆動部１３に、撮像信号を通常撮像画像の態様で表示部２に表示させる動作を実行させる。
この処理により、例えば図３（ａ）のスルー状態から例えば図３（ｂ）の通常撮像画像のモニタ表示状態となる。

通常撮像画像、つまりスルー状態で見える光景と同様の撮像画像を表示部２に表示させている期間は、システムコントローラ１０は、ステップＦ１０４で画像制御のトリガが発生したか否かを監視し、またステップＦ１０５でモニタ表示の終了のトリガが発生したか否かを監視する。
画像制御のトリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、モニタ表示の表示画像態様の変更を行うとシステムコントローラ１０自身が判断することを意味している。またモニタ表示の終了のトリガの発生とは、ユーザ状況判定機能１０ａによって判定されたユーザの意志又は状況により、モニタ表示を終了してスルー状態への切り換えを行うとシステムコントローラ１０自身が判断することを意味している。ユーザの操作、ユーザの意識的な動作（操作と認識される動作）、又はユーザの無意識な動作や状態（ユーザの身体状況やユーザ個人の認識など）によって、システムコントローラ１０はモニタ表示の終了トリガの有無を判断する。これらについても具体例は後述する。

画像制御のトリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０４からＦ１０６に進め、撮像画像の表示動作に関しての制御を行う。つまり撮像制御部１１、表示制御部１４に指示し、その時点のユーザの意志又は状況に応じた態様の表示を表示部２において実行させる。
ステップＦ１０６で表示態様に関しての制御を行った後も、ステップＦ１０４，Ｆ１０５のトリガ発生の監視を行う。

モニタ終了のトリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０５からＦ１０１に戻し、撮像制御部１１に対して撮像動作の終了を指示し、また表示制御部１４に対して表示部２をスルーとする指示を行う。

ユーザが撮像表示装置１を装着して電源オンとしている期間は、システムコントローラ１０の動作制御機能１０ｂは、例えばこの図１０のような制御処理を行うことになる。
そしてこの処理においては、モニタ表示開始トリガの判断によるモニタ表示の開始制御、画像制御トリガの判断による表示態様制御、及びモニタ表示終了トリガの判断によるモニタ表示を停止させてスルー状態とする制御を行うが、これらのトリガ判断と制御内容の具体例について、図１１以降で説明していく。
図１１から図１９は、システムコントローラ１０のユーザ状況判定機能１０ａとしての処理例を示しており、これらは動作制御機能１０ｂによる上記図１０の処理と並列的に実行されているとする。なお並列的な処理とは、例えばシステムコントローラ１０が図１０の処理を実行している期間中に、図１１〜図１９のような検知処理が定期的に割込処理としてに行われればよいものである。これら図１１〜図１９のような処理のプログラムは、図１０の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。

まず図１１で、スルー状態からモニタ表示状態に切り換える、モニタ表示開始トリガの判断についての例を述べる。
図１１（ａ）（ｂ）は、ユーザの挙動をモニタ表示開始の操作として検知する例である。
図１１（ａ）のステップＦ２００では、システムコントローラ１０が加速度センサ２０、又はジャイロ２１からの検出情報（加速度信号、角速度信号）を監視する処理を示している。
例えば首を縦に２回振る、左右に１往復振る、首を１周回す・・など、特定の動作を、ユーザがモニタ表示を求める操作であると設定されているとする。システムコントローラ１０は、加速度センサ２０又はジャイロ２１（又はその両方）からの検出情報により、そのようなモニタ表示開始の意志を示す特定の動作に相当する動作があったと判別した場合は、処理をステップＦ２０１からＦ２０２に進め、撮像信号のモニタ表示開始のトリガ発生と判別する。
このようにステップＦ２０２でモニタ表示開始のトリガ発生と判別することにより、上記図１０の処理はステップＦ１０２からＦ１０３に進むことになり、システムコントローラ１０は表示部２において撮像画像の表示を開始する制御を実行することになる。
なお加速度センサ２０又はジャイロ２１からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えばジャンプする、手を振る、腕をゆらす、足をゆらすなど、他にも各種考えられる。

図１１（ｂ）は、視覚センサ１９の情報に基づいてモニタ表示開始のトリガを判別する例である。
システムコントローラ１０はステップＦ２１０で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
例えばまばたきを３回連続して行うという特定の動作を、ユーザがモニタ表示を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ２１１からＦ２１２に進め、撮像信号のモニタ表示開始のトリガ発生と判別する。
ステップＦ２１２でモニタ表示開始のトリガ発生と判別することにより、上記図１０の処理はステップＦ１０２からＦ１０３に進むことになり、システムコントローラ１０は表示部２において撮像画像の表示を開始する制御を実行することになる。
なお視覚センサ１９からの情報で検出する、モニタ表示を求める操作となるユーザの特定の挙動としては、例えば眼球を回す、眼球を左右又は上下に２往復させるなど、他にも各種考えられる。

ユーザの意識的な挙動によって、撮像表示装置１をスルー状態からモニタ表示状態に切り換える処理としては、例えばこのような例が考えられるが、他にも各種想定される。
例えばスルー状態からモニタ表示状態に切り換えることに関しては、操作スイッチを設け、その操作スイッチの操作に応じて実行するようにしてもよい。
また、ユーザが入力部１７から視力情報を入力した場合は、それをモニタ表示開始のトリガとするようにしてもよい。

さらには、ユーザが撮像表示装置１を装着すること自体を、モニタ表示開始のトリガとしてもよい。例えば生体センサ２２の反応により、ユーザによる装着を検出できるため、生体センサ２２による生体反応として、例えば脈拍、脳波、皮膚反応等の検出が開始されたことをモニタ表示開始のトリガ発生とする。その場合、ユーザにとっては装着した時点からモニタ表示状態となっていることになる。

また、特定のユーザが装着したら、モニタ表示状態を開始することも考えられる。上述のように視覚センサ１９で検出する眼底パターンや生体センサ２２による検出信号によっては、ユーザの個人を識別できる。例えば予め使用するユーザについて眼底パターンや生体情報を登録しておくことで、システムコントローラ１０は、特定のユーザが装着しているか否かを判別することが可能である。
従って、システムコントローラ１０は、撮像表示装置１が或るユーザ装着された際に個人認証を行い、特定のユーザを認識した場合に、それをモニタ表示開始のトリガと判別し、モニタ表示状態とするように制御することができる。
また例えば撮像表示装置１による機能を特定のユーザのみしか使用できないようにしたい場合には、モニタ表示の開始トリガと判別する条件に、このような個人認証を加えればよい。

なお、以上のようなモニタ表示開始のトリガに応じて撮像画像を表示部２に表示させる際には、図９（ｂ）のように表示部２の画面上でスルー状態の領域ＡＲ１を残し、一部の領域ＡＲ２において撮像画像表示を行うようにしてもよい。

次に、図１０のステップＦ１０４としての、画像制御のトリガ発生の判断に関する処理例を図１２から図１７で説明する。
図１２（ａ）は、ユーザの視線の動きによりズーム制御を行う例である。
システムコントローラ１０は図１２（ａ）のステップＦ３００で、視覚センサ１９からの情報を解析する。例えば視覚センサ１９としてユーザの眼部を撮像する撮像部が設けられている場合、その撮像画像を解析する。
ここで、システムコントローラ１０は、ユーザの視線方向が下方に移動したことを検知したら、ステップＦ３０１からＦ３０２に進め、ズームアップ（広角ズーム）表示への切換トリガの発生と判別する。
ステップＦ３０２で広角ズームへの切換トリガ発生と判別することにより、上記図１０の処理はステップＦ１０４からＦ１０６に進むことになり、システムコントローラ１０は撮像制御部１１にズームアップ動作を指示する。これにより、表示部２では、例えば図４（ｂ）のような表示が行われる。
ユーザの視線が下方に向くときは、新聞や書籍を読んだり、目の前の非常に近い位置を見ようとしているときであるため、このようにズームアップされることで、特に近視或いは老眼のユーザにとって好適な表示となる。

図１２（ｂ）はユーザの首（頭部）の動きと焦点距離に基づいて、ズーム制御を行う例である。
システムコントローラ１０は図１２（ｂ）のステップＦ３１０で、視覚センサ１９からの情報を解析し、ユーザの眼の焦点距離や視線方向を検出する。またステップＦ３１１でシステムコントローラ１０は加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ユーザの首の動きを判別する。
そしてシステムコントローラ１０はステップＦ３１２，Ｆ３１３で、焦点距離及び首の向きの検出結果から、ユーザが近傍を見る状態にあるか、遠方を見る状態にあるかを判別する。

システムコントローラ１０は、ユーザが近傍（特に手元）を見ていると判別したらステップＦ３１２からＦ３１４に進んで、ズームアップ（広角ズーム）表示への切換トリガの発生と判別する。そしてステップＦ３１６で、その際の焦点距離とユーザの首（頭部）の向きから適切なズーム倍率を算出する。
またシステムコントローラ１０は、ユーザが遠方を見ていると判別したらステップＦ３１３からＦ３１５に進んで、望遠ズーム表示への切換トリガの発生と判別する。そしてステップＦ３１６で、その際の焦点距離とユーザの首（頭部）の向きから適切なズーム倍率を算出する。
このステップＦ３１４，Ｆ３１６、もしくはステップＦ３１５、Ｆ３１６の処理が行われることで、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に計算した倍率でのズーム動作を指示する。
これにより表示部２では、ユーザが見ようとしている光景に応じて図４（ｂ）のようなズームアップ画像や、図３（ｃ）のような望遠画像が表示されることになる。
またこのような制御は、遠視と近視の両方を補助するような機能ともなる。

なお、図１２（ａ）（ｂ）では撮像部１３のズーム動作により表示画像を変化させる例を述べたが、視線方向、焦点距離、首の向きなどに応じて、表示画像処理部１２に画像拡大／縮小処理などを実行させるようにしてもよい。

図１３（ａ）はユーザが入力部１７から自分の視力情報を入力した場合の例である。
システムコントローラ１０は、入力部１７から視力情報が入力されたら、処理を図１３（ａ）のステップＦ４００からＦ４０１に進め、視力に応じた表示への切換トリガの発生と判別する。そしてステップＦ４０２で、視力の値に応じた倍率を計算する。
このステップＦ４０１，Ｆ４０２の処理が行われることで、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、表示画像処理部１２に対して計算した倍率での拡大表示を指示する。この処理により、表示部２では、ユーザの視力に応じた拡大画像が表示されることになる。
なお、システムコントローラ１０は例えば内部メモリに、ユーザの眼底パターンと視力情報を対応させて予め登録しておき、眼底パターン検出でユーザ特定し、それをトリガとして、その視力に応じた拡大画像表示を行うようにしても良い。

図１３（ｂ）は、例えば老眼や乱視などによる明るさに対する感度の低下やぼやけなどに対応できるようにしたり、周囲が暗い状況に対応できるようにする例である。
システムコントローラ１０は図１３（ｂ）のステップＦ４１０で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ユーザの動きを判別する。例えば歩行していない静止状態であるか否かを判別する。またステップＦ４１１でシステムコントローラ１０は視覚センサ１９からの情報を解析し、ユーザの眼の焦点距離や瞳孔の開き具合、眼の細め方（まぶたの状態）を検出する。
そしてシステムコントローラ１０は、ユーザが静止状態で、近距離を見ている、或いはまぶたを細めていると判断した場合は、処理をステップＦ４１２からＦ４１３に進め、老眼等の対応の表示のトリガ発生と判別する。
このステップＦ４１３でトリガ発生とされることで、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の向上や、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度上昇、コントラスト上昇、輪郭強調（シャープネス強調）などの処理を指示する。この処理により、表示部２では、図６（ｂ）のように、はっきりした画像を表示させる。これにより老眼のユーザや、或いは暗い場所にいるユーザが例えば新聞等を読む場合の視覚補助となる。
なお、この場合に、さらに図４（ｂ）に示したように画像拡大表示を行うようにすることも想定される。
また瞳孔の開き具合から暗い状況と判断した場合は、更にシステムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。

図１４は、ユーザの視覚としての快、不快の感覚に応じた制御の例である。
システムコントローラ１０は図１４のステップＦ４２０で、視覚センサ１９からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況（単位時間あたりのまばたき回数など）を検出する。
またステップＦ４２１で、生体センサ２２からの脳波、心拍数、発汗量、血圧などの情報をチェックする。
システムコントローラ１０は、これらの視覚センサ１９や生体センサ２２からの情報に基づいて、表示部２の表示画像に対してユーザが快適な状態であるか不快な状態であるか否かを判断する。
そしてシステムコントローラ１０は、ユーザの画像感知状況が快適ではないと判断した場合は、処理をステップＦ４２２からＦ４２３に進め、画像の調整制御のトリガ発生と判別する。その場合ステップＦ４２４で、ユーザの状況に応じて快適と考えられる調整値、例えば表示輝度、コントラスト、シャープネス、撮像感度等、照明の明るさなどの調整値を算出する。
このステップＦ４２３，Ｆ４２４の処理により、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の調整、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処理により、表示部２での表示画像の画質が調整され、ユーザにとって快適な表示画像となる。また暗い状況と判断した場合は、システムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
例えばユーザの視力状況や、周囲の明るさ、更には眼の疲れなどによって、ユーザの視覚感知状況が不快な状態になったときに、このような処理が行われることで、快適な視覚状況を提供できる。例えば暗くて見にくい場合には、はっきり見えるような画像を提供し、また眼が疲れてきたような場合は、柔らかな画質の画像とすることなどである。

ここまでの図１２，図１３，図１４の処理は、ユーザが特に意識的な操作を行うことなく、無意識のうちに、システムコントローラ１０がユーザの状況を判断して、表示画像態様を制御する例を述べたが、図１５，図１６、図１７では、ユーザの意識的な挙動を画像制御のトリガ（もしくはトリガの条件の１つ）とする例を述べる。

図１５はユーザの首（頭部）の動きを操作とみなす処理である。
システムコントローラ１０はステップＦ５００で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ステップＦ５０１でユーザの頭部の動きを判定する。例えばここでは、後ろに２回頭部を傾ける動作があったか、又は前に２回頭部を傾ける動作があったか、又は２回左に首を振る動作があったかを判定する。
後ろに２回頭部を傾ける動作を検出した場合、システムコントローラ１０は処理をステップＦ５０２からＦ５０５に進め、望遠倍率２倍への画像切換のトリガ発生と判別する。
この場合、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に倍率２倍のズーム動作を指示する。これにより表示部２では、図３（ｃ）のような２倍の望遠倍率の画像が表示されることになる。

また前に２回頭部を傾ける動作を検出したら、システムコントローラ１０は処理をステップＦ５０３からＦ５０６に進め、望遠倍率１／２倍への画像切換のトリガ発生と判別する。この場合、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に倍率１／２倍のズーム動作を指示する。これにより表示部２では、１／２倍の望遠倍率の画像が表示されることになる。

また２回左に首を振る動作を検出したら、システムコントローラ１０は処理をステップＦ５０４からＦ５０７に進め、望遠倍率をリセットするという画像切換のトリガ発生と判別する。この場合、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、撮像制御部１１に標準倍率のズーム動作を指示する。これにより表示部２では、標準倍率に戻された画像が表示されることになる。

このようにユーザの意識的な動きをトリガと判断し、表示される画像態様が切り換えられるようにすることで、ユーザが求める視覚を提供することができる。
もちろん首の挙動以外にも、ジャンプなど身体全体の挙動や、手、腕、脚部の動きを、それぞれ所定の操作と判定するようにしてもよい。
またユーザの挙動に応じては、ズーム制御ではなく、図５（ｂ）のような画像の拡大や、画像縮小の制御、撮像感度の制御、撮像フレームレートの切換、図７（ｂ）のような赤外線感度向上表示の制御、図８（ｂ）のような紫外線感度向上表示の制御、図９（ｂ）の分割表示の制御、図９（ｃ）のようなストロボ表示の制御など、他の制御を行うようにしても良い。

図１６は、ユーザの状況や周囲環境をあわせて、ユーザの挙動を所定の制御のトリガとする例である。
システムコントローラ１０は図１６のステップＦ６００で、視覚センサ１９からの情報を解析し、ユーザの眼の瞳孔の開き具合やまばたきを検出する。またステップＦ６０１でシステムコントローラ１０は加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ユーザの首の動きや全身の動作（静止（非歩行状態）しているか否か）を判別する。
そしてシステムコントローラ１０は、ステップＦ６０２では、ユーザが静止状態で下向きであり、さらに周囲が暗い状況であり、その上で例えばまばたき３回という特定の挙動を行ったか否かを判別する。
即ち加速度センサ２０、ジャイロ２１からの検出情報で、ユーザが首を下方に向けて静止しているという状況を判定し、また瞳孔の開き具合から暗い状況であるかを判定する。そしてこれらの条件が満たされている上で、ユーザがまばたきを３回を連続して行ったか否かを判定する。
ユーザが首を下方に向けて静止し、かつ周囲が暗い状況であるというのは、例えば薄暗い部屋で読書を行っているような状況である。このようなときにユーザは意識的な操作としてまばたきを３回行ったことが、ユーザは明るく見やすい画像を求めていると判断する。そこで、そのような状況でまばたき３回を検知したら、システムコントローラ１０はステップＦ６０３に進み、画像の調整制御のトリガ発生と判別する。
このステップＦ６０３の処理により、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部１３の撮像感度の上昇、撮像信号処理部１５もしくは表示画像処理部１２に対して輝度増大、コントラスト強調、シャープネス強調などの処理を指示する。またシステムコントローラ１０は照明部４に照明を実行させる制御を行っても良い。
するとユーザにとって快適な状況で画像を見ることができるようになる。
また、ここではユーザのまばたきという操作を、ユーザの状況や周囲環境の条件が満たされた限りは有効とするものであるが、これは、ユーザが無意識に操作に該当する挙動を行ってしまったような場合でも、むやみに画像が変化されないような処理として有効である。

図１７（ａ）は、図７で述べた赤外線感度を上昇させた撮像を行う場合の処理例であるが、特にユーザの挙動による操作を、ユーザの身体状況に応じて、有効もしくは無効とする例である。
図１７（ａ）において、システムコントローラ１０はステップＦ７００で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ユーザの首の動きや全身の動作などを判別する。
またステップＦ７０１で、生体センサ２２からの脳波、心拍数、発汗量、血圧などの情報をチェックする。システムコントローラ１０は、生体センサ２２からの情報に基づいて、ユーザが緊張又は興奮状態にあるか否かを判断する。
そしてシステムコントローラ１０は、ユーザが赤外線撮像を指示する特定の挙動（例えば首を２回振るなど）を行ったことを検知したら、処理をステップＦ７０２からＦ７０３に進め、このときユーザが緊張又は興奮状態にあるか否かを判定する。
緊張又は興奮状態ではないと判断したら、ユーザの挙動を、有効な操作とし、ステップＦ７０４に進んで、赤外線感度上昇撮像のトリガ発生と判断する。
このステップＦ７０４の処理により、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部３の赤外線撮像感度の上昇を指示する。これにより図７（ｂ）のような画像が表示部２に表示されることになる。
一方、ステップＦ７０３でユーザが緊張又は興奮状態と判断した場合は、赤外線感度上昇撮像のトリガが発生したとは判断しないものとしている。つまりユーザの挙動による操作を無効とする。
このように、ユーザの身体状況を条件に入れた上で、挙動による操作の有効性を判断する例も考えられる。例えば、赤外線感度上昇撮像などの特殊撮像機能が悪用されるような事態の防止に有効である。

図１７（ｂ）は、図８で述べた紫外線感度を上昇させた撮像を行う場合の処理例である。
図１７（ｂ）において、システムコントローラ１０はステップＦ７１０で、加速度センサ２０、ジャイロ２１からの検出情報（加速度信号、角速度信号）を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザが紫外線撮像を指示する特定の挙動を行ったことを検知したら、処理をステップＦ７１１からＦ７１２に進め、紫外線感度上昇撮像のトリガ発生と判断する。
このステップＦ７１２の処理により、システムコントローラ１０の図１０の処理はステップＦ１０４からＦ１０６に進むことになり、この場合は撮像部３の紫外線撮像感度の上昇を指示する。これにより図８（ｂ）のような画像が表示部２に表示されることになる。

以上、撮像画像表示を切り換えるトリガや表示態様の例を述べてきたが、もちろんこれらは一例であり、更に多様な例が想定されることは言うまでもない。
また、以上のように画像制御のトリガに応じて表示部２の表示態様を切り換える際には、図９（ｂ）のように表示部２の画面上でスルー状態もしくは通常撮像画像の領域ＡＲ１を残し、一部の領域ＡＲ２において、異なる態様の画像の表示を行うようにしてもよい。もちろん逆に広い領域ＡＲ１において、画像制御トリガに応じた画像を表示してもよいし、画面上を等分割して、通常撮像画像と、画像制御トリガに応じた画像を表示してもよい。

続いて、図１０のステップＦ１０５として検出するトリガ、つまり撮像画像のモニタ表示状態からスルー状態に切り換えるトリガについての例を図１８，図１９で述べる。
図１８（ａ）は、ユーザが意識的な挙動によりモニタ表示を終了させる処理例である。
図１８（ａ）において、システムコントローラ１０はステップＦ８００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの首の動きや全身の動作などを判別する。
そしてシステムコントローラ１０は、ユーザがモニタ表示の終了を指示する特定の挙動を行ったことを検知したら、処理をステップＦ８０１からＦ８０２に進め、撮像画像のモニタ表示の終了トリガ発生と判断する。
このステップＦ８０２の処理により、システムコントローラ１０の図１０の処理はステップＦ１０５からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図３（ａ）のようなスルー状態に戻る。

図１８（ｂ）も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ１０は図１８（ｂ）のステップＦ８１０で、視覚センサ１９からの情報を解析する。例えばまばたきを３回連続して行うという特定の動作を、ユーザがモニタ表示の終了を求める操作であると設定されているとすると、システムコントローラ１０は、画像解析によりこの挙動を監視することになる。
そしてシステムコントローラ１０は、ユーザがまばたきを３回連続して行ったことを検知したら、処理をステップＦ８１１からＦ８１２に進め、撮像信号のモニタ表示終了のトリガ発生と判別する。
このステップＦ８１２の処理により、システムコントローラ１０の図１０の処理はステップＦ１０５からＦ１０１に進み、表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図３（ａ）のようなスルー状態に戻る。

この図１８（ａ）（ｂ）のような処理により、ユーザがスルー状態を求めた場合に、スルー状態となるという、ユーザの意志に応じた制御が実行される。
もちろん、スルー状態に戻すというユーザの意志を表す挙動は、他にも各種考えられる。

図１９（ａ）は、ユーザの動作（操作として意識しない動作）に応じて自動的にスルー状態に戻す処理例である。
図１９（ａ）において、システムコントローラ１０はステップＦ９００で、加速度センサ２０、ジャイロ２１からの検出情報を監視し、ユーザの全身の動作を判別する。特にユーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ１０は、ユーザが歩行又は走行を開始したと判断した場合は、処理をステップＦ９０１からＦ９０２に進め、撮像画像のモニタ表示の終了トリガ発生と判断する。
このステップＦ９０２の処理により、システムコントローラ１０の図１０の処理はステップＦ１０５からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。これにより表示部２は図３（ａ）のようなスルー状態に戻る。

例えばこのように歩行又は走行状態になったら、スルー状態にもどすことは、ユーザに対する安全性を確保する意味で好適である。
なお、ここではスルー状態に戻すとして説明したが、例えば歩行又は走行状態においては、スルー状態と同様のモニタ表示として、図３（ｂ）のような通常撮像画像の表示に切り換えるようにしてもよい。

図１９（ｂ）は、ユーザの身体状況に応じて自動的にスルー状態に戻す処理例であるが、特に赤外線撮像の悪用を防止する意味を持つ処理例である。
図１９（ｂ）において、システムコントローラ１０はステップＦ９１０で、生体センサ２２からの情報、例えば脳波、心拍数、発汗量、血圧などの情報をチェックする。システムコントローラ１０は、生体センサ２２からの情報に基づいて、ユーザが緊張又は興奮状態にあるか否かを判断する。
そして、赤外線感度上昇撮像を実行中である場合は、ステップＦ９１１からＦ９１２に進み、ユーザが緊張又は興奮状態にあるか否かを判定する。
緊張又は興奮状態ではないと判断した場合は、そのまま赤外線感度上昇撮像を続行許可するが、ユーザが緊張又は興奮状態であると判断した場合は、ステップＦ９１３に進み、その時点で撮像画像のモニタ表示の終了トリガ発生と判断する。
このステップＦ９１３の処理により、システムコントローラ１０の図１０の処理はステップＦ１０５からＦ１０１に進むことになり、この場合は表示制御部１４にスルー状態への切換を指示する。つまり赤外線感度上昇撮像のモニタ表示が終了され、表示部２はスルー状態に戻る。

このようにユーザの身体状況に応じて赤外線感度上昇撮像を終了させてスルー状態にもどすことは、ユーザが赤外線感度上昇撮像を悪用することの防止の意味で好適である。
なお、この場合も、スルー状態に戻すとして説明したが、例えば赤外線感度上昇撮像を終了させて通常撮像画像の表示に切り換えるようにしてもよい。

［６．実施の形態の効果、変形例及び拡張例］

以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型の装着ユニットに配置された撮像部３で撮像した画像、つまりユーザが視認する方向を被写体方向とした撮像画像を、使用者の目の前方の表示部２で表示させるが、この場合に、ユーザの動作又は身体の状況に関する情報に基づいて撮像動作又は表示動作を制御することで、擬似的にユーザの視覚能力を補助したり拡張させる状況を作り出すことができる。
また撮像部３の撮像動作や撮像信号処理部１５、表示画像処理部１２の信号処理に対する制御による表示態様の変更は、ユーザの動作又は身体の状況の情報から判定されるユーザの意志又は状況に基づいて行うことで、ユーザに操作負担はなく、かつ的確な制御が実行されるため、使用性のよいものとなる。
また表示部２は、透過率制御により透明又は半透明のスルー状態とできることで、装着ユニットが装着されたままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、本例の撮像表示装置１の利点を有効に活用できる。

なお、実施の形態では撮像部３の撮像動作や撮像信号処理部１５、表示画像処理部１２の信号処理の制御によって実現される表示態様に関する制御を主に説明したが、例えば電源オン／オフ／スタンバイの切換や、音声出力部５から出力される音声の音量や音質の制御などを、ユーザの挙動や身体状況に基づいて行っても良い。例えば生体センサ２２の情報からユーザの快適性を考慮して音量調整を行うことなども考えられる。

また、撮像表示装置１の外観や構成は図１，図２の例に限定されるものではなく、各種の変形例が考えられる。
例えば撮像部３で撮像した画像信号を記録するストレージ部や、他の機器に送信する送信部を設けてもよい。
さらには、表示部２で表示させる画像のソースとして、撮像部３に加えて、外部機器から映像を入力する入力部や受信部を設けても良い。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を設け、撮像画像に文字が含まれている場合に、音声合成部で、その読み上げ音声の音声信号を生成し、音声出力部５から出力させるようにすることも考えられる。
また、撮像表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発明の撮像表示装置は、ユーザの視界方向を撮像するとともに、ユーザの眼前で表示を行うことができるように構成されればよく、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態であってもよい。

本発明の実施の形態の撮像表示装置の外観例の説明図である。 実施の形態の撮像表示装置のブロック図である。 実施の形態のスルー状態、通常撮像画像表示状態、望遠画像表示状態の説明図である。 実施の形態の広角ズーム画像の表示状態の説明図である。 実施の形態の拡大画像の表示状態の説明図である。 実施の形態の調整画像の表示状態の説明図である。 実施の形態の赤外線感度上昇撮像画像の表示状態の説明図である。 実施の形態の紫外線感度上昇撮像画像の表示状態の説明図である。 実施の形態の分割表示の説明図である。 実施の形態の制御処理のフローチャートである。 実施の形態のモニタ表示開始トリガの判別処理のフローチャートである。 実施の形態の画像制御トリガの判別処理のフローチャートである。 実施の形態の画像制御トリガの判別処理のフローチャートである。 実施の形態の画像制御トリガの判別処理のフローチャートである。 実施の形態の画像制御トリガの判別処理のフローチャートである。 実施の形態の画像制御トリガの判別処理のフローチャートである。 実施の形態の画像制御トリガの判別処理のフローチャートである。 実施の形態のモニタ表示終了トリガの判別処理のフローチャートである。 実施の形態のモニタ表示終了トリガの判別処理のフローチャートである。

符号の説明

１ 撮像表示装置、２ 表示部、３ 撮像部、４ 照明部、５ 音声出力部、６ 音声入力部、１０ システムコントローラ、１１ 撮像制御部、１２ 表示画像処理部、１３ 表示駆動部、１４ 表示制御部、１５ 撮像信号処理部、１６ 音声信号処理部、１７ 入力部、１９ 視覚センサ、２０ 加速度センサ、２１ ジャイロ、２２ 生体センサ

Claims (14)

1. 使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、
   上記使用者の目の前方に位置するように配置され、上記撮像手段で撮像された画像の表示を行う表示手段と、
   使用者の動作又は身体の状況に関する情報を取得する使用者情報取得手段と、
   上記使用者情報取得手段で取得された情報に基づいて、使用者の意志又は状況を判定し、判定結果に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御手段と、
   を備え、
   上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とが切換可能とされるとともに、
   上記制御手段は、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行うとともに、上記表示手段における表示画像の拡大／縮小及び画面分割表示の制御を行う
   撮像表示装置。
2. 上記使用者情報取得手段は、使用者の頭部の動き、又は腕部の動き、又は手の動き、又は脚部の動き、又は身体全体の動きを検出するセンサである請求項１に記載の撮像表示装置。
3. 上記使用者情報取得手段は、使用者の非歩行状態と歩行状態と走行状態とを検出するセンサである請求項１に記載の撮像表示装置。
4. 上記使用者情報取得手段は、使用者の視覚情報を検出する視覚センサである請求項１に記載の撮像表示装置。
5. 上記使用者情報取得手段は、使用者の視覚情報として、使用者の視線方向、又は使用者の焦点距離、又は使用者の瞳孔の状態、又は使用者の眼底パターン、又は使用者のまぶたの動きを検出するためのセンサとされている請求項１に記載の撮像表示装置。
6. 上記使用者情報取得手段は、使用者の生体情報を検出する生体センサである請求項１に記載の撮像表示装置。
7. 上記使用者情報取得手段は、使用者の生体情報として、使用者の、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされている請求項１に記載の撮像表示装置。
8. 上記使用者情報取得手段は、使用者の緊張状態もしくは興奮状態を表す情報を検出する生体センサとされている請求項１に記載の撮像表示装置。
9. 上記使用者情報取得手段は、少なくとも視力情報を入力することのできる入力部として形成されている請求項１に記載の撮像表示装置。
10. 上記制御手段は、上記撮像手段における撮像感度の可変制御を行う請求項１に記載の撮像表示装置。
11. 上記制御手段は、上記撮像手段における赤外線撮像感度の可変制御を行う請求項１に記載の撮像表示装置。
12. 上記制御手段は、上記撮像手段における紫外線撮像感度の可変制御を行う請求項１に記載の撮像表示装置。
13. 上記被写体方向に対して照明を行う照明手段を更に備え、
    上記制御手段は、上記使用者情報取得手段で取得された情報に基づいて、上記照明手段による照明動作の制御を行う請求項１に記載の撮像表示装置。
14. 使用者が視認する方向を被写体方向として撮像するようにされる撮像手段と、上記使用者の目の前方に位置するように配置され上記撮像手段で撮像された画像の表示を行う表示手段とを備えた撮像表示装置の撮像表示方法として、
    使用者の動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
    上記使用者情報取得ステップで取得された情報に基づいて、使用者の意志又は状況を判定し、判定結果に基づいて、上記撮像手段又は上記表示手段の動作を制御する制御ステップと、
    を備え、
    上記表示手段は、透明もしくは半透明であるスルー状態と、上記撮像手段で撮像された画像の表示を行う画像表示状態とが切換可能とされるとともに、
    上記制御ステップは、上記表示手段に対して上記スルー状態と上記画像表示状態の切換制御を行うとともに、上記表示手段における表示画像の拡大／縮小及び画面分割表示の制御を行う
    撮像表示方法。

Images