JP5904246B2 - 頭部装着型表示装置、表示方法 - Google Patents

頭部装着型表示装置、表示方法 Download PDF

Info

Publication number
JP5904246B2
JP5904246B2 JP2014193805A JP2014193805A JP5904246B2 JP 5904246 B2 JP5904246 B2 JP 5904246B2 JP 2014193805 A JP2014193805 A JP 2014193805A JP 2014193805 A JP2014193805 A JP 2014193805A JP 5904246 B2 JP5904246 B2 JP 5904246B2
Authority
JP
Japan
Prior art keywords
display
user
unit
image
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014193805A
Other languages
English (en)
Other versions
JP2015028654A (ja
Inventor
佐古 曜一郎
曜一郎 佐古
雅明 鶴田
雅明 鶴田
大二 伊藤
大二 伊藤
正道 飛鳥井
正道 飛鳥井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014193805A priority Critical patent/JP5904246B2/ja
Publication of JP2015028654A publication Critical patent/JP2015028654A/ja
Application granted granted Critical
Publication of JP5904246B2 publication Critical patent/JP5904246B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着さ
れた状態で、ユーザの目の前方に位置するように表示手段が配置されて画像の表示を行う
表示装置と、表示方法に関する。
特開平8−126031号公報 特開平9−27970号公報 特開平9−185009号公報
例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユ
ーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。
しかしながら従来の装置では、ユーザが操作キー等の操作子の操作を不要としたうえで、
ユーザの意志や状況に応じて、ユーザにとって望ましい表示動作を行う装置は開発されて
いない。
そこで本発明では、ユーザの状況(意志や身体状況等)に応じて、的確な表示動作が行
われるようにすることを目的とする。
本発明の頭部装着型表示装置は、ユーザの視界方向の光景が視認可能であり、各種画像表示を行う頭部装着型表示装置であって、ユーザの頭部の動き、腕部の動き、手の動き、脚部の動き、又は身体全体の動きを検出するセンサ、ユーザの歩行状態と非歩行状態を検出するセンサ、ユーザの視覚情報を検出するセンサ又はユーザの生体情報を検出する生体センサのうち少なくとも2種類のセンサによりユーザの動作又は身体の状況に関する情報を取得する使用者情報取得部と、外部機器との間でデータの送受信を行う通信部と、上記使用者情報取得部で取得された使用者の情報に基づいて、上記通信部により受信されたデータに基づく画像の表示に関して、表示画面をスルーとする状態と、表示画面の一部領域で上記画像の表示を行う状態と、表示画面の全部領域で上記画像の表示を行う状態とを選択して表示制御を行う制御部とを備える。
上記頭部の動きは、ユーザが頭部を後ろに傾ける動作である。
上記制御部の表示動作の制御は、表示開始の制御である。
上記表示開始の制御は初期画面を表示する制御である。
更に撮像機能を有する撮像部を備える。
上記制御部は、上記生体情報に基づき個人認証を行う。
ユーザの頭部への装着は、上記生体センサにより検知され、上記制御部は、上記生体センサが上記頭部への装着を検知した場合には、上記頭部装着型表示装置の電源をオンにする。
ユーザの頭部からの取り外しは、上記生体センサにより検知され、上記制御部は、上記生体センサが上記頭部からの取り外しを検知した場合には、上記頭部装着型表示装置の電源をオフにする。
上記制御部は、上記生体情報に基づき音声の制御を行う。
記生体センサは、ユーザの、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされている。
本発明の表示方法は、ユーザが視界方向の光景と各種画像の表示が視認可能な頭部装着型表示装置の表示方法であって、ユーザの頭部の動き、腕部の動き、手の動き、脚部の動き、又は身体全体の動きを検出するセンサ、ユーザの歩行状態と非歩行状態を検出するセンサ、ユーザの視覚情報を検出するセンサ又はユーザの生体情報を検出する生体センサのうち少なくとも2種類のセンサによりユーザの動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、外部機器との間でデータの送受信を行う通信ステップと、上記使用者情報取得ステップにおいて取得された使用者の情報に基づいて、上記通信ステップで受信されたデータに基づく画像の表示に関して、表示画面をスルーとする状態と、表示画面の一部領域で上記画像の表示を行う状態と、表示画面の全部領域で上記画像の表示を行う状態とを選択して表示制御を行う制御ステップを備える。
以上の本発明では、使用者(ユーザ)は、表示装置を例えば眼鏡型もしくは頭部装着型
の装着ユニットなどにより装着することで、目の前方に位置する表示手段を視認する状態
となる。即ちユーザは装着状態で、撮像手段で撮像された画像や、再生手段で再生された
データの画像、或いは受信手段で受信されたデータの画像などを表示手段で視認できる。
ここで、表示動作のオン/オフ/スルー、表示する画像データのソースの選択、各種表
示動作態様(例えば分割表示、拡大/縮小表示、表示輝度などの表示画質調整、画像のス
クロールやページ送り/ページ戻しなど)、表示に対する入力、再生画像表示の際の再生
動作など、表示動作に関する制御としてユーザの意志や状況に応じた適切な制御が行われ
ることが好ましいが、本発明では、これらをユーザの操作子の操作ではなく、ユーザの動
作又は身体の状況に関する情報を取得し、その情報から使用者の意志又は状況を判定し、
判定結果に基づいて各種適切な制御を行うようにする。
本発明によれば、ユーザの眼の直前とされる表示手段で各種画像を表示させるが、この
場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況を判
定して表示動作に関する制御を行うことで、ユーザに操作負担がないまま、ユーザの意志
又は状況に応じた的確な表示動作が実行される。これによりユーザにとって使用性が良く、
また多様な視界光景を提供できる表示装置を実現できるという効果がある。
また表示手段は透明又は半透明のスルー状態ともできるようにもすることで、装着状態
のままでも通常の生活に支障がないようにできる。このためユーザの通常の生活の中で、
本発明の表示装置の利点を有効に得ることができる。
本発明の実施の形態の表示装置の外観例の説明図である。 実施の形態の表示装置の使用形態の説明図である。 実施の形態の表示装置の構成例のブロック図である。 実施の形態の表示装置の他の構成例のブロック図である。 実施の形態のスルー状態と撮像画像表示状態の説明図である。 実施の形態のストレージ部から画像の表示状態の説明図である。 実施の形態の通信部からの画像の表示状態の説明図である。 実施の形態の通信部からの画像の表示状態の説明図である。 実施の形態の分割表示の説明図である。 実施の形態の拡大画像の表示状態の説明図である。 実施の形態の明るさ調整画像の表示状態の説明図である。 実施の形態の制御処理のフローチャートである。 実施の形態の表示開始トリガの判別処理のフローチャートである。 実施の形態の表示制御トリガの判別処理のフローチャートである。 実施の形態の表示制御トリガの判別処理のフローチャートである。 実施の形態の表示制御トリガの判別処理のフローチャートである。 実施の形態の表示制御トリガの判別処理のフローチャートである。 実施の形態の表示終了トリガの判別処理のフローチャートである。 実施の形態の表示終了トリガの判別処理のフローチャートである。
以下、本発明の表示装置、表示方法の実施の形態を、次の順序で説明する。
[1.表示装置の外観例及び外部機器との関連]
[2.表示装置の構成例]
[3.表示例]
[4.ユーザ状況の判定]
[5.各種動作例]
[6.実施の形態の効果、変形例及び拡張例]
[1.表示装置の外観例及び外部機器との関連]

実施の形態として、図1に眼鏡型ディスプレイとした表示装置1の外観例を示す。表示
装置1は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユ
ニットを持ち、図のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置1は、図1のような装着状態において、ユーザの両眼の直前、即ち
通常の眼鏡におけるレンズが位置する場所に、左眼用途右眼用の一対の表示部2、2が配
置される構成とされている。この表示部2には、例えば液晶パネルが用いられ、透過率を
制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示部2
がスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活に
は支障がない。
またユーザが装着した状態において、ユーザが視認する方向を被写体方向として撮像す
るように、前方に向けて撮像レンズ3aが配置されている。
また撮像レンズ3aによる撮像方向に対して照明を行う発光部4aが設けられる。発光
部4aは例えばLED(Light Emitting Diode)により形成される。
また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳孔に挿
入できる一対のイヤホンスピーカ5aが設けられる。
また右眼用の表示部2の右方と、左眼用の表示部2の左方に、外部音声を集音するマイ
クロホン6a,6bが配置される。
なお図1は一例であり、表示装置1をユーザが装着するための構造は多様に考えられる。
一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、少なくとも
本実施の形態としては、ユーザの眼の前方に近接して表示部2が設けられていればよい。
また表示部2は、両眼に対応して一対設けられる他、片側の眼に対応して1つ設けられる
構成でもよい。
またイヤホンスピーカ5aは、左右のステレオスピーカとせずに、一方の耳にのみ装着
するために1つ設けられるのみでもよい。またマイクロホンも、マイクロホン6a,6b
のうちの一方でもよい。
また図1は撮像機能を含む例としているが、撮像機能を備えない例も考えられる。
さらには、表示装置1としてマイクロホンやイヤホンスピーカを備えない構成も考えら
れる。また発光部4aを設けない構成も考えられる。
ところで内部構成例については後述するが、この表示装置1は、記録媒体に対して再生
を行う再生機能(図3,図4で述べるストレージ部25)や、外部機器と通信を行う通信
機能(図3,図4で述べる通信部26)を備えることも考えられる。
従って、表示部2において表示する画像としてのデータのソースは、撮像機能部位、再
生機能部位、通信機能部位が想定される。
図2は、表示装置1の使用形態を、外部機器との関連において例示したものである。
図2(a)は表示装置1を単体で使用する場合であり、この場合、表示装置1が撮像機
能を有していれば、撮像された画像データを表示部2に表示させることができる。また、
表示装置1が再生機能を有していれば、記録媒体から再生されたデータによる画像を表示
部2に表示させることができる。記録媒体から再生されるデータとしては、例えば映画や
ビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に
記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等
で作成して記録媒体に記録した画像データ、テキストデータ、表計算データ等のコンピュ
ータユースのデータ、記録媒体に記録されたゲームプログラムに基づくゲーム画像など、
記録媒体に記録されて表示対象となるあらゆるデータが想定される。
図2(b)は、表示装置1が通信機能を備え、外部の撮像装置70と通信を行う例であ
る。この場合、表示装置1は、撮像装置70で撮像された画像(動画/静止画)を受信し
て表示部2に表示させる。外部の撮像装置70とは、通信機能を備えたビデオカメラ、デ
ジタルスチルカメラなどが想定できるし、また図1のように撮像機能を備えた表示装置1
を、或る表示装置1に対して外部の撮像装置1と考えることもできる。
また外部の撮像装置70は、表示装置1を用いるユーザ本人が所有する撮像装置であっ
たり、表示装置1のユーザの知人が所有する撮像装置であったり、或いは画像提供を行う
公共或いはサービス企業等の撮像装置であって表示装置1と通信可能とされているものな
ど多様に考えられる。
図2(c)は、表示装置1が通信機能を備え、外部のコンテンツソース機器71と通信
を行う例である。この場合、表示装置1は、コンテンツソース機器71から提供される画
像(動画/静止画)を受信して表示部2に表示させる。
コンテンツソース機器71とは、例えばビデオ機器、テレビジョンチューナ、ホームサ
ーバ機器等のAV(Audio-Visual)機器や、パーソナルコンピュータ、PDA(Personal
Digital Assistant)、携帯電話機などの情報処理装置などが想定できる。このようなコンテ
ンツソース機器71も、表示装置1を用いるユーザ本人やその知人が所有する機器であっ
たり、各種コンテンツ提供を行う公共或いはサービス企業等のサーバ機器であるなど多様
に考えられる。
コンテンツソース機器71から表示装置1に送信されるデータとしては、例えば映画や
ビデオクリップなどの動画コンテンツ、デジタルスチルカメラ等で撮像されて記録媒体に
記録された静止画コンテンツ、電子書籍等のデータ、ユーザがパーソナルコンピュータ等
で作成した画像データ、テキストデータ、表計算データ等のコンピュータユースのデータ、
ゲーム画像など、表示対象となるあらゆるデータが想定される。
図2(d)は、表示装置1が通信機能、特にインターネット等のネットワーク73を介
した通信アクセス機能を備えることで、ネットワーク73で接続される外部の撮像装置7
0やコンテンツソース機器71と通信を行う例である。この場合表示装置1は、ネットワ
ーク73を介して各種データを受信し、その受信したデータの画像を表示部2で表示させ
る。
[2.表示装置の構成例]
図3に表示装置1の内部構成例を示す。
システムコントローラ10は、例えばCPU(Central Processing Unit)、ROM(R
ead Only Memory)、RAM(Random Access Memory)、不揮発性メモリ部、インターフェー
ス部を備えたマイクロコンピュータにより構成され、表示装置1の全体を制御する制御部
とされる。
このシステムコントローラ10はユーザの状況に基づいて、表示装置1内の各部の制御
を行う。つまりユーザの状況を検知判定し、それに応じて各部の動作制御を実行するよう
にされた動作プログラムに従って動作する。このため機能的に見れば、図示するようにユ
ーザの状況を判定するユーザ状況判定機能10aと、ユーザ状況判定機能10aの判定結
果に従って各部に制御指示を行う動作制御機能10bを有することになる。
表示装置1内では、ユーザの前方の光景の撮像のための構成として、撮像部3、撮像制
御部11、撮像信号処理部15が設けられる。
撮像部3は、図1に示した撮像レンズ3aや、絞り、ズームレンズ、フォーカスレンズ
などを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行
わせるための駆動系、さらにレンズ系で得られる撮像光を検出し、光電変換を行うことで
撮像信号を生成する固体撮像素子アレイなどが設けられる。固体撮像素子アレイは、例え
ばCCD(Charge Coupled Device)センサアレイや、CMOS(Complementary Metal O
xide Semiconductor)センサアレイとされる。
撮像信号処理部15は、撮像部3の固体撮像素子によって得られる信号に対するゲイン
調整や波形整形を行うサンプルホールド/AGC(Automatic Gain Control)回路や、ビデオA
/Dコンバータを備え、デジタルデータとしての撮像信号を得る。また撮像信号処理部1
5は、撮像信号に対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理な
ども行う。
撮像制御部11は、システムコントローラ10からの指示に基づいて、撮像部3及び撮
像信号処理部15の動作を制御する。例えば撮像制御部11は、撮像部3,撮像信号処理
部15の動作のオン/オフを制御する。また撮像制御部11は撮像部3に対して、オート
フォーカス、自動露出調整、絞り調整、ズームなどの動作を実行させるための制御(モー
タ制御)を行うものとされる。
また撮像制御部11はタイミングジェネレータを備え、固体撮像素子及び撮像信号処理
部11のサンプルホールド/AGC回路、ビデオA/Dコンバータに対しては、タイミン
グジェネレータにて生成されるタイミング信号により信号処理動作を制御する。また、こ
のタイミング制御により撮像フレームレートの可変制御も可能とされる。
さらに撮像制御部11は、固体撮像素子及び撮像信号処理部15における撮像感度や信
号処理の制御を行う。例えば撮像感度制御として固体撮像素子から読み出される信号のゲ
イン制御を行ったり、黒レベル設定制御や、デジタルデータ段階の撮像信号処理の各種係
数制御、ぶれ補正処理における補正量制御などを行うことができる。撮像感度に関しては、
特に波長帯域を考慮しない全体的な感度調整や、例えば赤外線領域、紫外線領域など、特
定の波長帯域の撮像感度を調整する感度調整なども可能である。波長に応じた感度調整は、
撮像レンズ系における波長フィルタの挿入や、撮像信号に対する波長フィルタ演算処理に
より可能である。これらの場合、撮像制御部11は、波長フィルタの挿入制御や、フィル
タ演算係数の指定等により、感度制御を行うことができる。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号(撮像による画像デー
タ)は画像入出力コントロール部27に供給される。
画像入出力コントロール部27は、システムコントローラ10の制御に応じて、画像デ
ータの転送を制御する。即ち撮像系(撮像信号処理部15)、表示系(表示画像処理部1
2)、ストレージ部25、通信部26の間の画像データの転送を制御する。
例えば画像入出力コントロール部27は、撮像信号処理部15で処理された撮像信号と
しての画像データを、表示画像処理部12に供給したり、ストレージ部25に供給したり、
通信部26に供給する動作を行う。
また画像入出力コントロール部27は例えばストレージ部25から再生された画像デー
タを、表示画像処理部12に供給したり、通信部26に供給する動作を行う。
また画像入出力コントロール部27は例えば通信部26で受信された画像データを、表
示画像処理部12に供給したり、ストレージ部25に供給する動作を行う。
表示装置1においてユーザに対して表示を行う構成としては、表示部2、表示画像処理
部12、表示駆動部13,表示制御部14が設けられる。
例えば撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像デ
ータは、画像入出力コントロール部27を介して表示画像処理部12に供給することがで
きる。表示画像処理部12は、例えばいわゆるビデオプロセッサとされ、供給された画像
データに対して各種表示処理を実行できる部位とされる。例えば画像データの輝度レベル
調整、色補正、コントラスト調整、シャープネス(輪郭強調)調整などを行うことができ
る。また表示画像処理部12は、供給された画像データの一部を拡大した拡大画像の生成、
或いは縮小画像の生成や、供給された画像データの分割表示のための画像の分離や合成、
キャラクタ画像やイメージ画像の生成や、生成した画像を供給された画像データに合成す
る処理なども行うことができる。つまり供給された画像データに対しての各種処理を行う
ことができる。
表示駆動部13は、表示画像処理部12から供給される画像データを、例えば液晶ディ
スプレイとされる表示部2において表示させるための画素駆動回路で構成されている。即
ち表示部2においてマトリクス状に配置されている各画素について、それぞれ所定の水平
/垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。また表
示駆動部13は、表示部2の各画素の透過率を制御して、スルー状態とすることもできる。
表示制御部14は、システムコントローラ10の指示に基づいて、表示画像処理部12
の処理動作や表示駆動部13の動作を制御する。即ち表示画像処理部12に対しては、上
記の各種処理を実行させる。また表示駆動部13に対してはスルー状態、画像表示状態の
切り換えが行われるように制御する。
なお、ストレージ部25で再生された画像データや、通信部26で受信された画像デー
タも、画像入出力コントロール部27を介して表示画像処理部12に供給できる。その場
合、表示画像処理部12、表示駆動部13の上記動作により、表示部2において再生画像
や受信画像が出力されることになる。
また表示装置1には、音声入力部6、音声信号処理部16,音声出力部5が設けられる。
音声入力部6は、図1に示したマイクロホン6a,6bと、そのマイクロホン6a,6
bで得られた音声信号を増幅処理するマイクアンプ部やA/D変換器を有し、音声データ
を出力する。
音声入力部6で得られた音声データは音声入出力コントロール部28に供給される。
音声入出力コントロール部28は、システムコントローラ10の制御に応じて、音声デ
ータの転送を制御する。即ち音声入力部6、音声信号処理部16、ストレージ部25、通
信部26の間の音声信号の転送を制御する。
例えば音声入出力コントロール部28は、音声入力部6で得られた音声データを、音声
信号処理部16に供給したり、ストレージ部25に供給したり、通信部26に供給する動
作を行う。
また音声入出力コントロール部28は例えばストレージ部25で再生された音声データ
を、音声信号処理部16に供給したり、通信部26に供給する動作を行う。
また音声入出力コントロール部28は例えば通信部26で受信された音声データを、音
声信号処理部16に供給したり、ストレージ部25に供給する動作を行う。
音声信号処理部16は、例えばデジタルシグナルプロセッサ、D/A変換器などからな
る。この音声信号処理部16には、音声入力部6で得られた音声データや、ストレージ部
25、或いは通信部26からの音声データが、音声入出力コントロール部28を介して供
給される。音声信号処理部16は、供給された音声データに対して、システムコントロー
ラ10の制御に応じて、音量調整、音質調整、音響エフェクト等の処理を行う。そして処
理した音声データをアナログ信号に変換して音声出力部5に供給する。なお、音声信号処
理部16は、デジタル信号処理を行う構成に限られず、アナログアンプやアナログフィル
タによって信号処理を行うものでも良い。
音声出力部5は、図1に示した一対のイヤホンスピーカ5aと、そのイヤホンスピーカ
5aに対するアンプ回路を有する。
この音声入力部6、音声信号処理部16,音声出力部5により、ユーザは外部音声を聞
いたり、ストレージ部25で再生された音声を聞いたり、通信部26で受信された音声を
聞くことができる。なお音声出力部5は、いわゆる骨伝導スピーカとして構成されてもよ
い。
ストレージ部25は、所定の記録媒体に対してデータの記録再生を行う部位とされる。
例えばHDD(Hard Disc Drive)として実現される。もちろん記録媒体としては、フラッ
シュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード、光ディスク、光磁気デ
ィスク、ホログラムメモリなど各種考えられ、ストレージ部25としては採用する記録媒
体に応じて記録再生を実行できる構成とされればよい。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データや、
通信部26で受信した画像データは、画像入出力コントロール部27を介してストレージ
部25に供給することができる。また音声入力部6で得られた音声データや、通信部26
で受信した音声データは、音声入出力コントロール部28を介してストレージ部25に供
給することができる。
ストレージ部25はシステムコントローラ10の制御に従って、供給された画像データ
や音声データに対して、記録媒体への記録のためのエンコード処理を行い、記録媒体に記
録する。
またストレージ部25はシステムコントローラ10の制御に従って、記録媒体から画像
データや音声データを再生する。再生した画像データは画像入出力コントロール部27へ
出力し、また再生した音声データは音声入出力コントロール部28へ出力する。
通信部26は外部機器との間でのデータの送受信を行う。外部機器としては、図2で述
べた撮像装置70やコンテンツソース機器71などとしての各種の機器が考えられる。
通信部26は、無線LAN、ブルートゥースなどの方式で、例えばネットワークアクセ
スポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良い
し、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。
撮像部3で撮像され、撮像信号処理部15で処理された撮像信号としての画像データや、
ストレージ部25で再生した画像データは、画像入出力コントロール部27を介して通信
部26に供給することができる。また音声入力部6で得られた音声データや、ストレージ
部25で再生された音声データは、音声入出力コントロール部28を介して通信部26に
供給することができる。
通信部26はシステムコントローラ10の制御に従って、供給された画像データや音声
データに対して、送信のためのエンコード処理、変調処理等を行い、外部機器に送信する。
また通信部26は外部機器からのデータ受信動作を行う。受信復調した画像データは画
像入出力コントロール部27へ出力し、また受信復調した音声データは音声入出力コント
ロール部28へ出力する。
表示装置1には照明部4と照明制御部18が設けられる。照明部4は、図1に示した発
光部4aとその発光部4(例えばLED)を発光させる発光回路から成る。照明制御部1
8は、システムコントローラ10の指示に基づいて、照明部4に発光動作を実行させる。
照明部4における発光部4aが図1に示したように前方に対する照明を行うものとして
取り付けられていることで、照明部4はユーザの視界方向に対する照明動作を行うことに
なる。
この表示装置1は、使用者情報を取得するための構成として、視覚センサ19、加速度
センサ20、ジャイロ21、生体センサ22を有する。
視覚センサ19は、ユーザの視覚に関する情報を検出する。視覚センサ19は、例えば
ユーザの視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉など、視覚
に関する情報を検知することができるセンサである。
加速度センサ20、及びジャイロ21は、ユーザの動きに応じた信号を出力する。例え
ば頭部の動き、首の動き、全身の動き、腕部の動き、脚部の動きなどを検出するためのセ
ンサである。
生体センサ22は、ユーザの生体情報を検出する。例えば生体センサ22は、ユーザの
心拍情報、脈拍情報、発汗情報、脳波情報、又は皮膚電気反応(GSR)、体温、血圧、
呼吸活動情報等を検出するセンサである。これらの生体センサ22の検出信号は、例えば
ユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態
などを判定できる情報となる。
これら視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22により、表
示装置1を装着したユーザの動作又は身体の状況に関する情報(使用者情報)が取得され、
システムコントローラ10に供給される。
システムコントローラ10はユーザ状況判定機能10aの処理により、取得した使用者
情報からユーザの意志又は状況を判定する。そしてシステムコントローラ10は判定した
ユーザの意志又は状況に応じて動作制御機能10bの処理により、表示動作に関する制御
を行う。即ちシステムコントローラ10は表示制御部14に指示して表示画像処理部12
や表示駆動部13の動作を制御したり、表示するデータのソースを選択したり、ストレー
ジ部25の再生動作や通信部26の通信動作の制御を行う。
なお、使用者情報を取得するための構成として、視覚センサ19、加速度センサ20、
ジャイロ21、生体センサ22、入力部17を示したが、これらは必ずしも全てを備える
必要はない。また、ユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他の
センサが設けられても良い。
次に図4は、撮像機能を有しない表示装置1の構成例を示すものである。なお、図3と
同一機能のブロックには同一符号を付し、重複説明を避ける。
この図4の構成は、図3の構成から、撮像部3,撮像信号処理部15、撮像制御部11、
照明部4、照明制御部18、音声入力部6を省いたものとなっている。
上記図3の構成例の場合、表示部2に表示させるデータのソースは、撮像機能系(撮像
部3,撮像信号処理部15、撮像制御部11)と、再生機能系(ストレージ部25)と、
受信機能系(通信部26)の3つとなるが、この図4の構成例の場合、表示部2に表示さ
せるデータのソースは、再生機能系(ストレージ部25)と、受信機能系(通信部26)
の2つとなる。
つまり図3は表示画像のソースとして表示装置1内に3系統のソースを備える場合の例
であり、図4は表示装置1内に2系統のソースを備える場合の例である。
なお図示しないが表示装置1の構成例としては、この図3,図4以外に、表示装置1内
の表示画像のソースとして、例えば撮像機能系のみを備える例、再生機能系のみを備える
例、受信機能系のみを備える例、撮像機能系と再生機能系を備える例、撮像機能系と受信
機能系を備える例などが、それぞれ考えられる。
[3.表示例]

システムコントローラ10が、ユーザの意志又は状況に応じて表示動作に関する制御を
行い、表示するデータのソースを選択したり、表示画像処理を行うことなどにより、ユー
ザは表示部2において多様な表示態様、表示内容の画像を見ることができる。図5から図
10により、各種の表示例を示す。
図5(a)は表示部2がスルー状態となっている場合を示しているとする。つまり、表
示部2は単なる透明の板状体となっており、ユーザが視界光景を透明の表示部2を介して
見ている状態である。
図5(b)は、撮像部3で撮像した画像が表示部2に表示された状態である。例えば図
5(a)の状態で撮像部3,撮像信号処理部15,表示画像処理部12,表示駆動部13
が動作し、撮像画像を通常に表示部2に表示した状態である。この場合の表示部2に表示
される撮像画像(通常撮像画像)は、スルー状態の場合とほぼ同様となる。つまりユーザ
にとっては、通常の視界を、撮像された画像として見ている状態である。
図5(c)は、システムコントローラ10が撮像制御部11を介して撮像部3に望遠撮
像を実行させた場合であり、望遠画像が表示部2に表示されている。
図示しないが、逆にシステムコントローラ10が撮像制御部11を介して撮像部3に広
角撮像を実行させれば、近距離の光景が広角に映し出された画像が表示部2に表示される
ことになる。なお、望遠−広角の制御は、撮像部3におけるズームレンズの駆動制御の他、
撮像信号処理部15での信号処理でも可能である。
上記図5(b)(c)は撮像機能系を画像ソースとして表示部2に表示を行った例を示
したが、図6はストレージ部25を表示画像のソースとして表示部2に表示を行う例を示
している。
図6(a)は、ストレージ部25における記録媒体に動画や静止画の画像コンテンツが
記録されており、その画像コンテンツが再生されて表示部2で表示されている例である。
図6(b)は、ストレージ部25における記録媒体にゲームプログラムが記録されてお
り、そのゲームプログラムに基づく画像が表示部2で表示されている例である。
図6(c)は、ストレージ部25における記録媒体に電子書籍コンテンツが記録されて
おり、その電子書籍コンテンツが再生されて表示部2で表示されている例である。
これら図6(a)(b)(c)のようにユーザは表示装置1を用いて記録媒体に記録さ
れたデータの再生画像を楽しむことができる。
次に図7,図8は通信部26を表示画像のソースとして表示部2に表示を行う例を示し
ている。
図7は、図2(b)又は図2(d)のような通信で、外部の撮像装置70から送信され、
通信部26で受信した画像を表示する例である。
図7(a)は、例えばユーザからの視界が図5(a)のようであり、つまりスタジアム
で客席からサッカーを観戦している状態にあるときに、スタジアムの別の場所で撮像を行
う撮像装置70による映像を、通信部26で受信し、表示部2に表示させている例である。
例えば監督席近辺に設置された撮像装置70や、審判が装着する小型の撮像装置70など
からの映像を受信して、表示部2で表示することで、より興味深く試合観戦を行うことが
できる。
図7(b)は、リゾート地に設置した撮像装置70や、旅行中の知人が所持する撮像装
置70によって撮像した映像を、通信部26で受信し、表示部2に表示させている例であ
る。このような映像表示により、ユーザは、例えば自宅等にいながら、多様な地域の映像
を見ることができる。
図7(c)は、航空機や衛星に設置された撮像装置70で撮像した地上の映像(バード
ビュー映像)を、通信部26で受信し、表示部2に表示させている例である。このような
映像表示により、ユーザは、通常は見ることのできない風景を楽しむことができる。
図8は、図2(c)又は図2(d)のような通信で、外部のコンテンツソース機器71
から送信され、通信部26で受信した画像を表示する例である。
図8(a)は、AV機器やパーソナルコンピュータ等のコンテンツソース機器71から、
動画や静止画の画像コンテンツを受信した場合に、その画像コンテンツが表示部2で表示
されている例である。
図8(b)は、例えばパーソナルコンピュータ等のコンテンツソース機器71において
アクセスしているウェブサイトのブラウザ画面、或いは起動中のアプリケーション画面な
どとしての画像データを、表示装置1に送信させ、表示装置1においては通信部26で受
信した画像データを表示部2で表示させている例である。
図8(c)は、例えばパーソナルコンピュータ等のコンテンツソース機器71において
見ることのできる写真画像の一覧表示画像などを表示装置1に送信させ、表示装置1にお
いて通信部26で受信し、表示部2に表示させている例である。
例えばこのようにコンテンツソース機器71からの画像として、ビデオプレーヤ等のA
V機器や、パーソナルコンピュータ等の情報処理装置からのデータを受信して画像表示を
行うことで、ユーザは装着した表示装置1において、これらの画像を確認したり、各種の
作業を行うことができる。
なお、図6はストレージ部25をソースとする画像、図8は通信部26をソースとする
画像として述べたが、例えば図8で例に挙げた画像内容を、ストレージ部25からの再生
画像と考えることもできるし、図6で例に挙げた画像内容を、外部機器から送信されて通
信部26で受信した画像と考えることもできる。
図9,図10,図11は、上記のような各種ソース(撮像機能系、再生機能系、又は受
信機能系)からの画像について、表示態様や画像データに関する処理を行う例である。
図9(a)は、表示部2がスルー状態とされている場合を示している。
システムコントローラ10が表示制御部14(表示画像処理部12、表示駆動部13)
に対して分割表示を指示することにより、図9(b)のような画像を表示部2に表示させ
ることができる。即ち表示部2の画面上を領域AR1、AR2に分割し、領域AR1はス
ルー状態又は通常画像表示とし、領域AR2には、例えばストレージ部25或いは通信部
26をソースとする画像(例えば再生又は受信した映像コンテンツの画像など)を表示さ
せている例である。
また図9(c)は他の分割表示の例を示しており、この場合は表示部2の画面上を領域
AR1、AR2、AR3,AR4に分割するとともに、各領域には、所定時間間隔で画像
の1フレームを抽出して表示させている。例えば表示画像処理部12に、画像データにつ
いて0.5秒間隔で1フレームを抽出させ、抽出したフレームの画像を領域AR1→AR
2→AR3→AR4→AR1→AR2・・・と順に表示させていく。これは、いわゆるス
トロボ表示と呼ばれるような画像を表示部2で分割表示により実行した例である。
もちろん画面上の複数の領域で、それぞれ異なるソースからの画像を表示することも考
えられる。
図10(a)は表示部2に、撮像機能系、再生機能系、又は受信機能系からの画像がそ
のまま通常のサイズで表示されている場合を示している。
このときにシステムコントローラ10が、表示制御部14を介して表示画像処理部12
に対して画像拡大処理を指示することで、図10(b)のような拡大画像を表示部2に表
示させることができる。
図11(a)は表示部2に、撮像機能系、再生機能系、又は受信機能系からの画像が通
常に表示されている場合を示している。
但しこの表示画像は、輝度の低い画像であって、ユーザにとって快適な見やすい画像で
はないとする。
このような場合に、システムコントローラ10は表示制御部14(表示画像処理部12、
表示駆動部13)に対して輝度アップ、コントラスト、シャープネス調整を指示すること
などにより、図11(b)のように、よりはっきりした画像を表示部2に表示させること
ができる。
ここまで各種の表示例を示したが、これらは一例にすぎない。本例においては、撮像機
能系、再生機能系、受信機能系というソースの選択や、撮像機能系や再生機能系の動作、
さらには表示画像処理部12,表示駆動部13の各処理や動作を制御することで、多様な
表示形態が実現される。
例えば、撮像機能系を表示画像ソースとする場合は、望遠表示、広角表示、望遠から広
角までの間のズームインもしくはズームアウト表示、拡大表示、縮小表示、フレームレー
トの可変表示(高フレームレートや低フレームレートでの撮像など)、高輝度表示、低輝
度表示、コントラスト可変表示、シャープネス可変表示、撮像感度上昇状態の表示、赤外
線撮像感度上昇状態の表示、紫外線撮像感度上昇状態の表示、特定波長帯域をカットした
画像の表示なども可能である。
また再生機能系、受信機能系を表示画像ソースとする場合は、高速再生、スロー再生、
コマ送り再生などの変速再生による画像表示や、表示ページの切換、スクロール表示など
パーソナルコンピュータ等における表示と同様の表示も可能である。
また表示画像処理部12の処理により、モザイク画像/輝度反転画像/ソフトフォーカ
ス/画像内の一部の強調表示/画像全体の色の雰囲気の可変などの画像エフェクト表示な
ども想定される。
[4.ユーザ状況の判定]

上述したように本例の表示装置1は、使用者情報を取得するための構成として、視覚セ
ンサ19、加速度センサ20、ジャイロ21、生体センサ22を有する。
視覚センサ19は、ユーザの視覚に関する情報を検出するものとするが、この視覚セン
サ19は、一例としては、例えば表示部2の近辺に配置されてユーザの眼部を撮像するよ
うにされた撮像部により形成できる。そして該撮像部が撮像したユーザの眼部の画像をシ
ステムコントローラ10が取り込み、ユーザ状況判定機能10aが画像解析を行うことで、
視線方向、焦点距離、瞳孔の開き具合、眼底パターン、まぶたの開閉などを検出でき、こ
れた基づいてユーザの状況や意志を判定できる。
或いは視覚センサ19は、表示部2の近辺に配置されてユーザの眼部に光を照射する発
光部と、眼部からの反射光を受光する受光部により形成できる。例えば受光信号からユー
ザの水晶体の厚みを検知することでユーザの眼の焦点距離を検出することも可能である。
ユーザの視線方向を検出することで、システムコントローラ10は例えば表示部2に表
示された画像においてユーザが注目している部分を判定できる。
またシステムコントローラ10は、ユーザの視線方向を、操作入力として認識すること
も可能である。例えばユーザが視線を左右に動かすことを、表示装置1に要求する所定の
操作入力とするなどである。
ユーザの焦点距離を検出することで、ユーザが注目している光景が遠方か近傍かを判別
でき、それに応じてズーム制御、拡大/縮小制御などを行うことも可能である。例えばユ
ーザが遠くを見たときに望遠表示を行うなどである。
ユーザの瞳孔の開き具合を検出すれば、スルー状態であれば周囲の明るさの状態、また
モニタ表示状態であれば表示している画像に対してユーザが感じているまぶしさ等を判定
でき、それに応じて輝度調整、撮像感度調整などを行うことができる。
ユーザの眼底パターンの検出は、例えばユーザの個人認証に用いることができる。眼底
パターンは各人に固有のパターンであるため、眼底パターンによって装着したユーザを判
定し、そのユーザに適した制御を行うこと、或いは特定のユーザにのみモニタ表示の動作
を実行できるようにすることなどの制御が可能である。
ユーザのまぶたの開閉動作を検出することで、ユーザが感じているまぶしさや眼の疲れ
を判定できる。また、まぶたの開閉を、ユーザの意識的な操作入力として認識することも
可能である。例えばユーザが3回まばたきをすることを、所定の操作入力と判定するなど
である。
加速度センサ20、及びジャイロ21は、ユーザの動きに応じた信号を出力する。例え
ば加速度センサ20は直線方向の動きを検出し、ジャイロ21により回転系の動きや振動
を検出する場合に適している。
加速度センサ20やジャイロ21の配置位置にもよるが、加速度センサ20やジャイロ
21によって、ユーザの身体全体もしくは身体の各部の動きを検知できる。
例えば図1のような眼鏡型の表示装置1の内部に取り付けられた場合、つまり加速度セ
ンサ20及びジャイロ21がユーザの頭部の動きを検出するものとされた場合は、加速度
センサ20の情報は、ユーザの頭部或いは全身の動きとしての加速度情報となり、またジ
ャイロ21はユーザの頭部或いは全身の動きとしての角速度や振動の情報となる。
これによって、ユーザが首から頭部を動かす挙動を検知できる。例えば上方を向いてい
る状態や下方を向いている状態を判定できる。下方を向いているときとは、ユーザが読書
など近傍を見ていると判断することも可能である。逆に上方を向いているときは、遠方を
見ていると判断することもできる。
またシステムコントローラ10はユーザの首から頭部を動かす挙動を検出したら、それ
をユーザの意識的な操作と認識することもできる。例えば左に2回首を振ったら、それが
所定の操作入力とするなどである。
また加速度センサ20及びジャイロ21によっては、ユーザが静止状態(非歩行状態)
であるか、歩行状態であるか、走行状態であるかなどの判断も可能である。また立ってい
る状態から座った場合、或いは立ち上がった場合などの検出も可能である。
また、加速度センサ20やジャイロ21が、頭部に装着する装着ユニットとは別体に設
けられ、腕や足に取り付けられるようにすれば、腕のみの挙動、足のみの挙動も検知でき
る。
生体センサ22は、ユーザの生体情報として例えば心拍情報(心拍数)、脈拍情報(脈
拍数)、発汗情報、脳波情報(例えばα波、β波、θ波、δ波の情報)、又は皮膚電気反
応、体温、血圧、呼吸活動(例えば呼吸の速さ、深さ、換気量など)等を検出するが、こ
れらの情報からシステムコントローラ10は、ユーザが緊張状態や興奮状態にあること、
或いは感情的に穏やかな状態にあること、或いは快適な状態か不快な状態にあることなど
を判定できる。
また表示装置1をユーザが装着したことの検知も、生体情報により可能である。例えば
システムコントローラ10は、ユーザが表示装置1を装着していない時には生体情報検知
のみをおこなうスタンバイ状態に制御し、生体情報によりユーザが表示装置1を装着した
ことを検知したら、電源オン状態とすることや、逆にユーザが表示装置1の装着を外した
らスタンバイ状態に戻すなどの制御も可能である。
さらに生体センサ22による検出情報は、ユーザの個人認証(装着者個人の識別)にも
利用できる。
なお生体センサ22は、例えば眼鏡型の表示装置1の装着フレーム内側に配置すること
で、例えばユーザの側頭部や後頭部において、上記情報を検知できるようにしてもよいし、
表示装置1の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにして
もよい。
[5.各種動作例]

本実施の形態の表示装置1は、以上のように視覚センサ19、加速度センサ20、ジャ
イロ21、生体センサ22から検出されるユーザの情報に応じて、システムコントローラ
10が表示動作に関する制御することで、表示部2においてユーザの意志や状況に応じた
表示を実行し、これによってユーザに好適な画像を提供できる。
このためのシステムコントローラ10の制御に基づく各種動作例を説明していく。
図12は、システムコントローラ10の動作制御機能10bとしての制御処理を示して
いる。
ステップF101は、システムコントローラ10が表示制御部14に対して表示部2を
スルー状態とする制御処理を示している。例えば表示装置1が電源オンとされた初期段階
では、システムコントローラ10はステップF101で表示部2をスルー状態に制御する。
表示部2をスルー状態にしている期間は、システムコントローラ10はステップF10
2で表示開始のトリガが発生したか否かを確認している。ここでは表示開始トリガの発生
とは、ユーザ状況判定機能10aによって判定されたユーザの意志又は状況により、表示
部2での表示を開始させるとシステムコントローラ10自身が判断することを意味してい
る。ユーザの操作、ユーザの意識的な動作(操作と認識される動作)、又はユーザの無意
識な動作や状態(ユーザ個人の認識も含む)によって、システムコントローラ10は表示
開始トリガの有無を判断する。具体例は後述する。
表示開始トリガがあったと判別した場合は、システムコントローラ10は処理をステッ
プF103に進め、表示開始制御を行う。即ち表示制御部14に指示して、表示画像処理
部12及び表示駆動部13に、供給されるデータを通常撮像画像の態様で表示部2に表示
させる動作を実行させる。
表示画像処理部12には、画像入出力コントロール部27を介して画像データが供給さ
れるが、例えば図3又は図4のように複数の画像データソースを備える場合は、この時点
では、撮像機能系(撮像部3、撮像信号処理部15)、再生機能系(ストレージ部25)、
受信機能系(通信部26)のソースのうちで内でデフォルト設定で選択されているソース
からの画像データが、表示画像処理部12に供給されるようにすればよい。例えば撮像機
能系をデフォルト設定のソースであるとすると、ステップF103の表示開始制御の際に、
システムコントローラ10は撮像制御部11に撮像開始を指示して撮像部3及び撮像信号
処理部15の通常撮像動作を実行させ、その撮像信号としての画像データを、画像入出力
コントロール部27を介して表示画像処理部12に供給させる。この場合、表示部2では
例えば図5(a)のスルー状態から例えば図5(b)の通常撮像画像のモニタ表示状態に
切り換えられることになる。
また、デフォルト設定のソースがストレージ部25であれば、表示開始制御の際にスト
レージ部25の制御も行い、コンテンツの再生やコンテンツ選択等のメニュー画面を表示
部2に表示させてもよいし、デフォルト設定のソースが通信部26であれば、表示開始制
御の際に通信部26の動作の制御も行い、通信用の画面や、外部機器からの受信データに
よる表示を表示部2に実行させてもよい。
もちろん、ソースが1つの構成の場合は、そのソースからの画像データが表示画像処理
部12に供給されるようにすればよい。
さらには、ステップF103での表示開始制御の際には、画像ソースからの画像データ
は供給させず、初期画面としてメニュー画面やソース選択画面等を表示部2に表示させる
ような制御を行うことも考えられる。
なお、この図12の処理では音声出力部5からの音声出力動作については特に述べない
が、表示部2で表示動作が実行される際には、システムコントローラ10は、表示画像と
同一のソースからの音声データに基づく音声出力が実行されるよに音声入出力コントロー
ル部28及び音声信号処理部16を制御するものとする。
表示部2で或るソースからの画像の表示を行っている期間は、システムコントローラ1
0は、ステップF104で表示制御トリガが発生したか否かを監視し、またステップF1
05でソース切換トリガが発生したか否かを監視し、またステップF106で表示終了ト
リガが発生したか否かを監視する。
表示制御トリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザの意
志又は状況により、表示動作における表示画像態様や表示する画像データに関する処理な
どについての変更を行うとシステムコントローラ10自身が判断することを意味してい
る。
またソース切換トリガの発生とは、例えば図3,図4のように表示装置1に複数のソー
スが設けられている場合に、ユーザ状況判定機能10aによって判定されたユーザの意志
又は状況により、表示する画像データのソースの切換を行うとシステムコントローラ10
自身が判断することを意味している。
また表示終了トリガの発生とは、ユーザ状況判定機能10aによって判定されたユーザ
の意志又は状況により、表示部2での表示を終了してスルー状態への切り換えを行うとシ
ステムコントローラ10自身が判断することを意味している。
これらのトリガ発生は、ユーザの意識的な動作(操作と認識される動作)、又はユーザ
の無意識な動作や状態(ユーザの身体状況やユーザ個人の認識など)によって、システム
コントローラ10が判断するが、その判断手法やトリガに応じた制御内容についても、具
体例は後述する。
表示制御トリガ発生と判断した場合は、システムコントローラ10は処理をステップF
104からF107に進め、画像の表示動作に関しての制御を行う。つまり表示制御部1
4に所定の指示を与え、その時点のユーザの意志又は状況に応じた態様の表示を表示部2
において実行させる。その時点で選択されているソースによっては、システムコントロー
ラ10は撮像機能系の制御、ストレージ部25に対する動作制御、通信部26に対する動
作制御を行う場合もある。
ステップF107で表示動作制御を行った後も、システムコントローラ10はステップ
F104,F105,F106のトリガ発生の監視を行う。
ソース切換トリガ発生と判断した場合は、システムコントローラ10は処理をステップ
F105からF108に進め、ソース切換制御を行う。この場合、切換前後のソースに対
する動作制御や、新たなソースからの画像データ/音声データが、表示画像処理部12/
音声信号処理部16に供給されるように画像入出力コントロール部27/音声入出力コン
トロール部28の制御を行う。
このソース切換制御により、例えば表示部2は、撮像部3で撮像された画像が表示され
ていた状態から、例えばストレージ部25での再生画像が表示される状態等に切り換えら
れることになる。
ステップF108でソース切換制御を行った後も、システムコントローラ10はステッ
プF104,F105,F106のトリガ発生の監視を行う。
表示終了トリガ発生と判断した場合は、システムコントローラ10は処理をステップF
106からF101に戻し、表示制御部14に対して表示部2をスルーとする指示を行う。
またその時点で選択されていた画像ソースに対して画像供給動作の終了を指示する。
ユーザが表示装置1を装着して電源オンとしている期間は、システムコントローラ10
の動作制御機能10bは、例えばこの図12のような制御処理を行うことになる。
そしてこの処理においては、表示開始トリガの判断による表示開始制御、表示制御トリ
ガの判断による表示態様制御、ソース切換トリガの判断によるソース切換制御、及び表示
終了トリガの判断による表示部2の表示を停止させてスルー状態とする制御を行うが、こ
れらのトリガ判断と制御内容の具体例について、図13以降で説明していく。
図13から図19は、システムコントローラ10のユーザ状況判定機能10aとしての
処理例を示しており、これらは動作制御機能10bによる上記図12の処理と並列的に実
行されているとする。なお並列的な処理とは、例えばシステムコントローラ10が図12
の処理を実行している期間中に、図13〜図19のような検知処理が定期的に割込処理と
して行われればよいものである。これら図13〜図19のような処理のプログラムは、図
12の処理を実行するプログラムに組み込まれていても良いし、定期的に呼び出される別
のプログラムとされても良い。つまりプログラムの形態が限定されるものではない。
まず図13で、スルー状態から表示状態に切り換える、表示開始トリガの判断について
の例を述べる。
図13(a)(b)は、ユーザの挙動をモニタ表示開始の操作として検知する例である。
図13(a)のステップF200では、システムコントローラ10が加速度センサ20、
又はジャイロ21からの検出情報(加速度信号、角速度信号)を監視する処理を示してい
る。
例えば首を縦に2回振る、左右に1往復振る、首を1周回す・・など、特定の動作を、
ユーザが表示開始を求める操作であると設定されているとする。システムコントローラ1
0は、加速度センサ20又はジャイロ21(又はその両方)からの検出情報により、その
ような表示開始の意志を示す特定の動作に相当する動作があったと判別した場合は、処理
をステップF201からF202に進め、表示開始トリガ発生と判別する。
このようにステップF202で表示開始トリガ発生と判別することにより、上記図12
の処理はステップF102からF103に進むことになり、システムコントローラ10は
表示部2において画像表示を開始する制御を実行することになる。
なお加速度センサ20又はジャイロ21からの情報で検出する、モニタ表示を求める操
作となるユーザの特定の挙動としては、例えばジャンプする、手を振る、腕をゆらす、足
をゆらすなど、他にも各種考えられる。
図13(b)は、視覚センサ19の情報に基づいて表示開始トリガを判別する例である。
システムコントローラ10はステップF210で、視覚センサ19からの情報を解析す
る。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられている場合、
その撮像画像を解析する。
例えばまばたきを3回連続して行うという特定の動作を、ユーザが表示開始を求める操
作であると設定されているとすると、システムコントローラ10は、画像解析によりこの
挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検
知したら、処理をステップF211からF212に進め、表示開始トリガ発生と判別する。
ステップF212で表示開始トリガ発生と判別することにより、上記図12の処理はス
テップF102からF103に進むことになり、システムコントローラ10は表示部2に
おいて画像表示を開始する制御を実行することになる。
なお視覚センサ19からの情報で検出する、モニタ表示を求める操作となるユーザの特
定の挙動としては、例えば眼球を回す、眼球を左右又は上下に2往復させるなど、他にも
各種考えられる。
図13(c)は、ユーザが表示装置1を装着すること自体を、表示開始トリガとする例
である。
システムコントローラ10はステップF230で、生体センサ22からの脳波、心拍数、
皮膚電気反応などの情報をチェックする。
そしてステップF231でシステムコントローラ10は、生体センサ22からの情報に
基づいて、ユーザが表示装置1を装着したか否かを判断する。生体センサ22により人体
からの情報が得られる状態になったか否かによりユーザの装着を検知できる。
システムコントローラ10はユーザが表示装置1を装着したと判別した場合は、処理を
ステップF231からF232に進め、表示開始トリガ発生と判別する。
このようにステップF232で表示開始トリガ発生と判別することにより、上記図12
のステップF103で、システムコントローラ10は表示開始制御を行うことになる。
このように例えば生体センサ22の反応により、ユーザによる装着を検出できるため、
生体センサ22による生体反応として、例えば脈拍、脳波、皮膚反応等の検出が開始され
たことを撮像開始トリガ発生とする。これにより、ユーザが装着したら表示を開始すると
いう動作制御を実行できる。
なお、不特定のユーザの装着ではなく、特定のユーザが装着したら、表示を開始すると
いう制御ことも考えられる。上述のように視覚センサ19で検出する眼底パターンや生体
センサ22による検出信号によっては、ユーザの個人を識別できる。例えば予め使用する
ユーザについて眼底パターンや生体情報を登録しておくことで、システムコントローラ1
0は、特定のユーザが装着しているか否かを判別することが可能である。
従って、システムコントローラ10は、表示装置1が或るユーザに装着された際に個人
認証を行い、特定のユーザを認識した場合に、それを表示開始トリガと判別し、表示開始
制御を行うこともできる。
なお、ユーザの無意識的な挙動や身体状況によって撮像開始トリガを判別する処理とし
て他にも各種想定される。
例えば視覚センサ19からの情報で、ユーザの視線が急に動いた場合に撮像開始トリガ
発生と判断するなど、視覚センサ19の情報を用いたり、また音声入力部6からの入力音
声に基づいて表示開始トリガ発生を判断することも考えられる。
なお、以上のような表示開始トリガに応じて画像を表示部2に表示させる際には、図9
(b)のように表示部2の画面上でスルー状態の領域AR1を残し、一部の領域AR2に
おいて画像表示を行うようにしてもよい。
また図12には示していないが、上記図13(c)のようなユーザによる装着検出を電
源オンのトリガとし、システムコントローラ10はユーザの装着を検知したら表示装置1
の電源をオンとするようにしてもよい。
この場合、逆に、ユーザが表示装置1を取り外したことを検知したら、電源オフとすれ
ばよい。
次に、図12のステップF104としての、表示制御トリガ発生の判断に関する処理例
を図14から図17で説明する。
図14は、ユーザの視線の動きにより表示画像のページや選択部分の進み/戻しの制御
を行う例である。
システムコントローラ10は図14のステップF300で、視覚センサ19からの情報
を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられてい
る場合、その撮像画像を解析する。
ここで、システムコントローラ10は、ユーザの視線方向が左方に移動したことを検知
したら、ステップF301からF303に進め、画像戻しのトリガ発生と判別する。
またシステムコントローラ10は、ユーザの視線方向が右方に移動したことを検知した
ら、ステップF302からF304に進め、画像進みのトリガ発生と判別する。
これらの場合、上記図12の処理はステップF104からF107に進むことになり、
システムコントローラ10は表示画像の進み/戻しの制御を行う。例えばストレージ部2
5をソースとし、その再生画像として図6(c)や図8(c)のような画像を表示させて
いるときに、そのページ又は選択部分の進み/戻しが行われるように表示画像処理部12
やストレージ部25の制御を行う。
ここでは視線方向の左右の動きを検知したが、例えば視線方向の上下の動きを検知した
ときに、画面スクロールのトリガ発生と判別し、表示画面のスクロール処理を実行させる
ようにすることも好適である。
図15は、ユーザの視覚としての快、不快の感覚に応じた制御の例である。
システムコントローラ10は図1のステップF400で、視覚センサ19からの情報
を解析し、ユーザの眼の瞳孔の開き具合やまばたきの状況(単位時間あたりのまばたき回
数など)を検出する。
またステップF401で、生体センサ22からの脳波、心拍数、発汗量、血圧などの情
報をチェックする。
システムコントローラ10は、これらの視覚センサ19や生体センサ22からの情報に
基づいて、表示部2の表示画像に対してユーザが快適な状態であるか不快な状態であるか
否かを判断する。
そしてシステムコントローラ10は、ユーザの画像感知状況が快適ではないと判断した
場合は、処理をステップF402からF403に進め、画像の調整制御のトリガ発生と判
別する。その場合ステップF404で、ユーザの状況に応じて快適と考えられる調整値、
例えば表示輝度、コントラスト、シャープネス等の調整値を算出する。
このステップF403,F404の処理により、システムコントローラ10の図12の
処理はステップF104からF107に進むことになり、この場合は表示画像処理部12
に対して輝度調整、コントラスト調整、シャープネス調整などの処理を指示する。この処
理により、表示部2での表示画像の画質が調整され、ユーザにとって快適な表示画像とな
る。
例えばユーザの撮像機能系からの撮像画像を表示しているときの周囲の明るさや、ユー
ザの眼の疲れなどによって、ユーザの視覚感知状況が不快な状態になったときに、このよ
うな処理が行われることで、快適な視覚状況を提供できる。例えば図11(a)のように
暗くて見にくい画像が表示されている場合に、図11(b)のようなはっきり見えるよう
な画像を提供したり、また眼が疲れてきたような場合は、柔らかな画質の画像とすること
などが可能となる。
図16はユーザの首(頭部)の動きを操作とみなす処理である。
システムコントローラ10はステップF500で、加速度センサ20、ジャイロ21か
らの検出情報(加速度信号、角速度信号)を監視し、ステップF501でユーザの頭部の
動きを判定する。例えばここでは、後ろに2回頭部を傾ける動作があったか、又は前に2
回頭部を傾ける動作があったか、又は2回左に首を振る動作があったかを判定する。
後ろに2回頭部を傾ける動作を検出した場合、システムコントローラ10は処理をステ
ップF502からF505に進め、画像拡大のトリガ発生と判別する。
この場合、システムコントローラ10の図12の処理はステップF104からF107
に進むことになり、表示画像処理部12に画像拡大処理を指示する。これにより表示部2
では、例えば図10(b)のような拡大画像が表示されることになる。
また前に2回頭部を傾ける動作を検出したら、システムコントローラ10は処理をステ
ップF503からF506に進め、画像縮小のトリガ発生と判別する。この場合も、シス
テムコントローラ10の図12の処理はステップF104からF107に進むことにな
り、表示画像処理部12にに画像縮小処理を指示する。これにより表示部2では、縮小画
像が表示されることになる。
また2回左に首を振る動作を検出したら、システムコントローラ10は処理をステップ
F504からF507に進め、拡大/縮小倍率をリセットするというトリガ発生と判別す
る。この場合も、システムコントローラ10の図12の処理はステップF104からF1
07に進むことになり、表示画像処理部12に拡大/縮小処理をリセットさせる。これに
より表示部2では、標準倍率に戻された画像が表示されることになる。
図17は、視覚センサ19の情報により表示画面上での操作入力のトリガを判別する例
である。
システムコントローラ10は図17のステップF600で、視覚センサ19からの情報
を解析する。例えば視覚センサ19としてユーザの眼部を撮像する撮像部が設けられてい
る場合、その撮像画像を解析し、表示部2を見ているユーザの視線移動やまばたきを検出
する。
システムコントローラ10は、ユーザの視線移動を検知したら、ステップF601から
F603に進め、表示画面上のカーソル(画面上のポインタ)の移動のトリガ発生と判別
する。そしてステップF604で、視線の移動方向と移動量から、画面上でのカーソル移
動方向と移動量を算出する。
この場合、システムコントローラ10は図12のステップF107で、表示画像処理部
12にカーソル移動を指示する。例えば図8(b)(c)のような画像を表示していると
きに、その表示画面上でカーソルを移動させる。
また、システムコントローラ10は、ユーザが2回連続してまばたきを行ったことを検
知したら、ステップF602からF605に進め、クリック操作のトリガ発生と判別する。
この場合、システムコントローラ10は図12のステップF107で、クリック操作に応
じた制御処理を行うことになる。例えばストレージ部25での再生画像に関しての何らか
の操作であれば、操作に応じたストレージ部25の再生動作の制御を行い、また通信部2
6で受信している画像上でのクリック操作であれば、その際のカーソル位置やクリック操
作の情報を外部機器に送信するなどの処理を行う。
このような処理により、ユーザの眼の動作を、コンピュータシステムにおけるマウスの
操作と同等に扱うことができる。また、図6(b)のようなゲーム画像を表示していると
きに、ユーザの視線方向やまばたきをゲームに対する操作として扱うこともできる。
ここまでの図14,図15,図16、図17の処理として、ユーザの意識的な動作や無
意識な動作又は身体状況に応じて、表示画像の表示態様、或いは表示する画像データの処
理、或いは表示画面上での操作などの制御を行う例を挙げたが、これらは一例にすぎず、
他にも表示制御トリガの判別及び制御例として非常に多様な例が考えられる。
表示制御トリガとしては、視覚センサ19、加速度センサ20、ジャイロ21、生体セ
ンサ22の各情報から各種のユーザの挙動や身体状況を検知し、所定の条件が満たされた
場合にトリガ発生と判断すればよい。
そして多様な条件において表示制御トリガ発生と判断した場合の制御例として、表示画
像処理部12に対する制御としては、拡大/縮小の制御、輝度、コントラスト、シャープ
ネス等の調整制御、モザイク画像/輝度反転画像/ソフトフォーカスなどの画像エフェク
ト表示、更には図9のような画面分割やストロボ表示などの制御を、ユーザの挙動や身体
状況に応じて実行できる。
また撮像機能系をソースとして撮像画像を表示部2に表示している場合は、撮像部3,
撮像信号処理部15の動作制御として、望遠/広角のズーム処理、撮像感度の制御、撮像
フレームレートの切換、赤外線撮像感度や紫外線撮像感度の変更制御などを行うことが考
えられる。
またストレージ部25での再生画像や通信部26での受信画像を表示部2に表示してい
る場合は、表示制御トリガを、早送り/早戻し、頭出し、コマ送り、スロー、一時停止な
どの変速再生制御を行ったり、ページ送り、ページスクロール、一覧表示上での選択部分
の送り、カーソル移動、決定操作、ゲーム操作などのトリガとして扱い、ストレージ部2
5や通信部26に所要の動作を実行させるように制御することが想定される。
即ち、表示制御トリガの発生判断の条件と、それに応じた制御内容としては、これらの
中でのあらゆる組み合わせが考えられる。
また、以上のように表示制御のトリガに応じて表示部2の表示を切り換える際には、図
9(b)のように表示部2の画面上でスルー状態もしくは通常撮像画像の領域AR1を残
し、一部の領域AR2において、異なる態様の画像の表示を行うようにしてもよい。もち
ろん逆に広い領域AR1において、画像制御トリガに応じた画像を表示してもよいし、画
面上を等分割して、通常撮像画像と、画像制御トリガに応じた画像を表示してもよい。
ところで以上の図14〜図17では表示制御トリガの発生判断の例と、それに応じた制
御の例について述べたが、図12のステップF105で判断するソース切換トリガについ
ても、同様に各種の例が想定される。
即ち視覚センサ19、加速度センサ20、ジャイロ21、生体センサ22の各情報から
各種のユーザの意識的な挙動や無意識の動作や身体状況を検知し、所定の条件が満たされ
た場合にソース切換トリガ発生と判断すればよい。
そして図12のステップF108では、そのソース切換トリガ発生に応じて、システム
コントローラ10は表示画像処理部12に供給する画像データのソースを切り換える制御
を行う。
続いて、図12のステップF106として検出する表示終了トリガ、つまり画像表示状
態からスルー状態に切り換えるトリガについての例を図18,図19で述べる。
図18(a)は、ユーザが意識的な挙動により表示を終了させる処理例である。
図18(a)において、システムコントローラ10はステップF800で、加速度セン
サ20、ジャイロ21からの検出情報を監視し、ユーザの首の動きや全身の動作などを判
別する。
そしてシステムコントローラ10は、ユーザがモニタ表示の終了を指示する特定の挙動
を行ったことを検知したら、処理をステップF801からF802に進め、表示終了トリ
ガ発生と判断する。
このステップF802の処理により、システムコントローラ10の図12の処理はステ
ップF106からF101に進むことになり、この場合は表示制御部14にスルー状態へ
の切換を指示する。これにより表示部2は図5(a)のようなスルー状態に戻る。
図18(b)も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ10は図18(b)のステップF810で、視覚センサ19から
の情報を解析する。例えばまばたきを3回連続して行うという特定の動作を、ユーザが表
示終了を求める操作であると設定されているとすると、システムコントローラ10は、画
像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検
知したら、処理をステップF811からF812に進め、表示終了トリガ発生と判別する。
このステップF812の処理により、システムコントローラ10の図12の処理はステ
ップF106からF101に進み、表示制御部14にスルー状態への切換を指示する。こ
れにより表示部2は図5(a)のようなスルー状態に戻る。
続いて、図12のステップF106として検出する表示終了トリガ、つまり画像表示状
態からスルー状態に切り換えるトリガについての例を図18,図19で述べる。
図18(a)は、ユーザが意識的な挙動により表示を終了させる処理例である。
図18(a)において、システムコントローラ10はステップF800で、加速度セン
サ20、ジャイロ21からの検出情報を監視し、ユーザの首の動きや全身の動作などを判
別する。
そしてシステムコントローラ10は、ユーザがモニタ表示の終了を指示する特定の挙動
を行ったことを検知したら、処理をステップF801からF802に進め、表示終了トリ
ガ発生と判断する。
このステップF802の処理により、システムコントローラ10の図12の処理はステ
ップF106からF101に進むことになり、この場合は表示制御部14にスルー状態へ
の切換を指示する。これにより表示部2は図3(a)のようなスルー状態に戻る。
図18(b)も、ユーザの意識的な挙動によりモニタ表示を終了させる処理例である。
システムコントローラ10は図18(b)のステップF810で、視覚センサ19から
の情報を解析する。例えばまばたきを3回連続して行うという特定の動作を、ユーザが表
示終了を求める操作であると設定されているとすると、システムコントローラ10は、画
像解析によりこの挙動を監視することになる。
そしてシステムコントローラ10は、ユーザがまばたきを3回連続して行ったことを検
知したら、処理をステップF811からF812に進め、表示終了トリガ発生と判別する。
このステップF812の処理により、システムコントローラ10の図12の処理はステ
ップF106からF101に進み、表示制御部14にスルー状態への切換を指示する。こ
れにより表示部2は図3(a)のようなスルー状態に戻る。
この図18(a)(b)のような処理により、ユーザがスルー状態を求めた場合に、ス
ルー状態となるという、ユーザの意志に応じた制御が実行される。もちろん、スルー状態
に戻すというユーザの意志を表す挙動は、他にも各種考えられる。
図19(a)は、ユーザの動作(操作として意識しない動作)に応じて自動的にスルー
状態に戻す処理例である。
図19(a)において、システムコントローラ10はステップF900で、加速度セン
サ20、ジャイロ21からの検出情報を監視し、ユーザの全身の動作を判別する。特にユ
ーザが静止状態を保っているか、或いは歩行状態又は走行状態となったかを検知する。
そしてシステムコントローラ10は、ユーザが歩行又は走行を開始したと判断した場合
は、処理をステップF901からF902に進め、表示終了トリガ発生と判断する。
このステップF902の処理により、システムコントローラ10の図12の処理はステ
ップF106からF101に進むことになり、この場合は表示制御部14にスルー状態へ
の切換を指示する。これにより表示部2は図5(a)のようなスルー状態に戻る。
例えばこのように歩行又は走行状態になったら、スルー状態にもどすことは、ユーザに
対する安全性を確保する意味で好適である。
なお、ここではスルー状態に戻すとして説明したが、例えば歩行又は走行状態において
は、スルー状態と同様のモニタ表示として、図5(b)のような通常撮像画像の表示に切
り換えるようにしてもよい。
図19(b)は、ユーザの身体状況に応じて自動的にスルー状態に戻す処理例である。
図19(b)において、システムコントローラ10はステップF910で、生体センサ
22からの情報、例えば脳波、心拍数、発汗量、血圧などの情報をチェックする。
またステップF911で視覚センサ19からの情報を解析し、ユーザの眼の瞳孔の開き
具合やまばたきの状況(単位時間あたりのまばたき回数など)を検出する。
システムコントローラ10は、生体センサ22や視覚センサ19からの情報に基づいて、
ユーザの眼が疲労している状態にあるか否かを判断する。
そして、ユーザの眼が疲労していると判断した場合は、ステップF912からF913
に進み、表示終了トリガ発生と判断する。
このステップF913の処理により、システムコントローラ10の図12の処理はステ
ップF106からF101に進むことになり、この場合は表示制御部14にスルー状態へ
の切換を指示する。つまり赤外線感度上昇撮像のモニタ表示が終了され、表示部2はスル
ー状態に戻る。
このようにユーザの眼の疲れなどの身体状況に応じて表示部2の表示を終了させること
で、ユーザの身体に負担をかけないような表示装置1の使用が実現できる。
[6.実施の形態の効果、変形例及び拡張例]

以上、実施の形態を説明してきたが、実施の形態によれば、眼鏡型もしくは頭部装着型
の装着ユニットに配置された表示部2により、使用者の目の直前で画像を表示させるが、
この場合に、ユーザの動作又は身体の状況に関する情報に基づいてユーザの意志又は状況
を判定して表示動作に関する制御を行うことで、ユーザに操作負担をかけずに、ユーザの
意志又は状況に応じた的確な表示動作が実行される。これにより表示装置1は、ユーザに
とって使用性が良く、また多様な視界光景を提供できる装置となる。
また表示部2は、透過率制御により透明又は半透明のスルー状態とできることで、装着
ユニットにより装着されたままでも通常の生活に支障がないようにできる。このためユー
ザの通常の生活の中で、本例の表示装置1の利点を有効に活用できる。
なお、実施の形態では特に表示動作に関する制御について説明したが、例えば電源オン
/オフ/スタンバイの切換や、音声出力部5から出力される音声の音量や音質の制御など
を、ユーザの挙動や身体状況に基づいて行っても良い。例えば生体センサ22の情報から
ユーザの快適性を考慮して音量調整を行うことなども考えられる。
また、画像内における文字を認識する文字認識部と、音声合成処理を行う音声合成部を
設け、撮像画像、再生画像、受信画像に文字が含まれている場合に、音声合成部で、その
読み上げ音声の音声信号を生成し、音声出力部5から出力させるようにすることも考えら
れる。
また、表示装置1の外観や構成は図1,図3,図4の例に限定されるものではなく、各
種の変形例が考えられる。
表示装置1として眼鏡型或いは頭部装着型の装着ユニットを有する例を述べたが、本発
明の表示装置は、ユーザの眼前で表示を行うことができるように構成されればよく、例え
ばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザ
に装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッ
ドホン等に、クリップなどの取付具で取り付けることでユーザに装着されるような形態で
あってもよい。
1 表示装置、2 表示部、3 撮像部、4 照明部、5 音声出力部、6 音声入力
部、10 システムコントローラ、11 撮像制御部、12 表示画像処理部、13 表
示駆動部、14 表示制御部、15 撮像信号処理部、16 音声信号処理部、17 入
力部、19 視覚センサ、20 加速度センサ、21 ジャイロ、22 生体センサ、2
5 ストレージ部、26 通信部

Claims (10)

  1. ユーザの視界方向の光景が視認可能であり、各種画像表示を行う頭部装着型表示装置であって、
    ユーザの頭部の動き、腕部の動き、手の動き、脚部の動き、又は身体全体の動きを検出するセンサ、ユーザの歩行状態と非歩行状態を検出するセンサ、ユーザの視覚情報を検出するセンサ又はユーザの生体情報を検出する生体センサのうち少なくとも2種類のセンサによりユーザの動作又は身体の状況に関する情報を取得する使用者情報取得部と、
    外部機器との間でデータの送受信を行う通信部と、
    上記使用者情報取得部で取得された使用者の情報に基づいて、上記通信部により受信されたデータに基づく画像の表示に関して、表示画面をスルーとする状態と、表示画面の一部領域で上記画像の表示を行う状態と、表示画面の全部領域で上記画像の表示を行う状態とを選択して表示制御を行う制御部とを備える
    頭部装着型表示装置。
  2. 上記頭部の動きは、ユーザが頭部を後ろに傾ける動作である
    請求項1に記載の頭部装着型表示装置。
  3. 上記制御部の表示動作の制御は、表示開始の制御である
    請求項2に記載の頭部装着型表示装置。
  4. 上記表示開始の制御は初期画面を表示する制御である
    請求項3に記載の頭部装着型表示装置。
  5. 更に撮像機能を有する撮像部を備える
    請求項1に記載の頭部装着型表示装置。
  6. 上記制御部は、上記生体情報に基づき個人認証を行う
    請求項に記載の頭部装着型表示装置。
  7. ユーザの頭部への装着は、上記生体センサにより検知され、
    上記制御部は、上記生体センサが上記頭部への装着を検知した場合には、上記頭部装着型表示装置の電源をオンにする
    請求項に記載の頭部装着型表示装置。
  8. ユーザの頭部からの取り外しは、上記生体センサにより検知され、
    上記制御部は、上記生体センサが上記頭部からの取り外しを検知した場合には、上記頭部装着型表示装置の電源をオフにする
    請求項に記載の頭部装着型表示装置。
  9. 上記生体センサは、ユーザの、心拍情報、又は脈拍情報、又は発汗情報、又は脳波情報、又は皮膚電気反応、又は血圧情報、又は体温情報、又は呼吸活動情報を検出するセンサとされている
    請求項に記載の頭部装着型表示装置。
  10. ユーザが視界方向の光景と各種画像の表示が視認可能な頭部装着型表示装置の表示方法であって、
    ユーザの頭部の動き、腕部の動き、手の動き、脚部の動き、又は身体全体の動きを検出するセンサ、ユーザの歩行状態と非歩行状態を検出するセンサ、ユーザの視覚情報を検出するセンサ又はユーザの生体情報を検出する生体センサのうち少なくとも2種類のセンサによりユーザの動作又は身体の状況に関する情報を取得する使用者情報取得ステップと、
    外部機器との間でデータの送受信を行う通信ステップと、
    上記使用者情報取得ステップにおいて取得された使用者の情報に基づいて、上記通信ステップで受信されたデータに基づく画像の表示に関して、表示画面をスルーとする状態と、表示画面の一部領域で上記画像の表示を行う状態と、表示画面の全部領域で上記画像の表示を行う状態とを選択して表示制御を行う制御ステップを備える
    表示方法。
JP2014193805A 2014-09-24 2014-09-24 頭部装着型表示装置、表示方法 Expired - Fee Related JP5904246B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014193805A JP5904246B2 (ja) 2014-09-24 2014-09-24 頭部装着型表示装置、表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014193805A JP5904246B2 (ja) 2014-09-24 2014-09-24 頭部装着型表示装置、表示方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012254402A Division JP2013077013A (ja) 2012-11-20 2012-11-20 表示装置、表示方法

Publications (2)

Publication Number Publication Date
JP2015028654A JP2015028654A (ja) 2015-02-12
JP5904246B2 true JP5904246B2 (ja) 2016-04-13

Family

ID=52492338

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014193805A Expired - Fee Related JP5904246B2 (ja) 2014-09-24 2014-09-24 頭部装着型表示装置、表示方法

Country Status (1)

Country Link
JP (1) JP5904246B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6518134B2 (ja) * 2015-05-27 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 眼前装着型表示装置
WO2016194232A1 (ja) * 2015-06-05 2016-12-08 日立マクセル株式会社 映像表示装置および制御方法
EP3310042B1 (en) * 2015-06-12 2021-12-15 Sony Interactive Entertainment Inc. Control device, control method, and program
JP2019016316A (ja) * 2017-07-11 2019-01-31 株式会社日立エルジーデータストレージ 表示システム、及び表示システムの表示制御方法
CN107422653A (zh) * 2017-08-03 2017-12-01 深圳纬目信息技术有限公司 一种利用脑电技术自动唤醒头戴显示设备的方法及装置
JP6743254B2 (ja) * 2019-08-08 2020-08-19 マクセル株式会社 映像表示装置および制御方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1024091A (ja) * 1996-07-10 1998-01-27 Noboru Mori 粒体物等のためのカウンティングスプーン
JPH10221637A (ja) * 1997-02-10 1998-08-21 Olympus Optical Co Ltd 頭部装着型画像表示装置
JP2003157136A (ja) * 2001-11-20 2003-05-30 Canon Inc 生体反応を記録可能な高臨場感映像表示装置
JP3901061B2 (ja) * 2002-08-29 2007-04-04 ソニー株式会社 ヘッドマウント装置
JP2004109995A (ja) * 2003-08-12 2004-04-08 Toshiba Corp 装着型情報呈示装置および方法および記憶媒体
JP2005172851A (ja) * 2003-12-05 2005-06-30 Sony Corp 画像表示装置
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
US20090040233A1 (en) * 2004-06-10 2009-02-12 Kakuya Yamamoto Wearable Type Information Presentation Device

Also Published As

Publication number Publication date
JP2015028654A (ja) 2015-02-12

Similar Documents

Publication Publication Date Title
JP5228305B2 (ja) 表示装置、表示方法
JP4961914B2 (ja) 撮像表示装置、撮像表示方法
JP2013077013A (ja) 表示装置、表示方法
JP2008067219A (ja) 撮像装置、撮像方法
JP5309448B2 (ja) 表示装置、表示方法
JP5904246B2 (ja) 頭部装着型表示装置、表示方法
JP4367663B2 (ja) 画像処理装置、画像処理方法、プログラム
JP5228307B2 (ja) 表示装置、表示方法
EP1921844B1 (en) Imaging apparatus and method
US8514149B2 (en) Imaging display apparatus and method
EP2060231A2 (en) Imaging and display
EP1924084A2 (en) Imaging system and method
JP2008099834A (ja) 表示装置、表示方法
JP2013210643A (ja) 表示装置、表示方法
JP6160654B2 (ja) 表示装置、表示方法、プログラム
JP2008288821A (ja) 撮像装置、撮像方法
JP2013083994A (ja) 表示装置、表示方法
JP5971298B2 (ja) 表示装置、表示方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160216

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160229

R151 Written notification of patent or utility model registration

Ref document number: 5904246

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees