JP6160654B2 - 表示装置、表示方法、プログラム - Google Patents

Description

本発明は、例えば眼鏡型もしくは頭部装着型の装着ユニットなどによりユーザに装着された状態で、ユーザの眼の前方で画像表示を行う表示装置と、表示方法に関する。

特開平４−２６２８９号公報 特開平８−１２６０３１号公報 特開平９−２７９７０号公報 特開平９−１８５００９号公報

例えば上記各特許文献のように、眼鏡型もしくは頭部装着型の装着ユニットにより、ユーザの目の直前に表示部を配置して表示を行う装置が、各種提案されている。

これらのように装着状態でユーザの目の直前で表示を行う場合、表示画面を透明又は半透明のスルー状態とし、ユーザが外界光景を見えるようにできることが好適である。
また、画面表示を行う画像としては、必ずしも画面全体において表示しない場合も想定されるが、例えばスルー状態の表示画面の一部に何らかの情報画像を表示するという表示態様も考えられる。
そこで本発明では、ユーザの目の直前で表示を行う表示装置において、画面の一部で情報画像の表示を行う表示装置を想定し、その表示する情報画像の視認性の向上やユーザの使用性の向上を実現することを目的とする。

本発明の表示装置は、使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより透過率を変化させることのできる表示手段と、上記表示手段において画像表示を実行させる際、上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に上記液晶シャッタを制御し、上記画像表示領域の透過率を、上記画像表示領域以外とは異なる透過率となるように上記液晶シャッタを制御して、上記画像表示領域に画像表示を実行させる制御手段と、使用者の身体状況としての使用者の瞳孔の状態を検出する使用者情報検出手段と、を備え、上記制御手段は、上記検出された使用者の瞳孔の状態に応じて上記画像表示領域の透過率を維持しつつ上記画像表示領域以外の透過率を変更する。

また使用者の瞳孔の状態を検出するための使用者の眼部を撮像するカメラをさらに備える。
また上記画像表示領域の透過率を下げる。
また上記画像表示領域の大きさ及び位置の少なくとも一方を変更する制御を行う。

また外光レベルを検知する外光検知手段をさらに備え、 上記制御手段は、上記画像表示領域を、上記外光検知手段で検知された外光レベルに応じて算出した透過率に制御する。
また外部機器との間でデータ通信を行う通信手段をさらに備え、上記制御手段は、上記通信手段により受信した情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる。

本発明の表示方法は、使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより透過率を変化させることのできる表示手段を備えた表示装置の表示方法として、上記表示手段において画像表示を実行させる際、上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に上記液晶シャッタを制御し、上記画像表示領域の透過率を、上記画像表示領域以外とは異なる透過率となるように上記液晶シャッタを制御するステップと、上記画像表示領域に画像表示を実行するステップと、使用者の身体状況としての使用者の瞳孔の状態を検出する使用者情報検出ステップと、上記検出された使用者の瞳孔の状態に応じて上記画像表示領域の透過率を維持しつつ上記画像表示領域以外の透過率を変更するステップとを備える。

以上の本発明では、使用者（ユーザ）の目の前方に位置するように配置された表示画面により画像表示を行う表示装置において、特に表示画面内の一部としての画像表示領域に各種情報画像の表示を行う。例えば撮像画像に基づく画像、受信したデータに基づく画像、再生したデータに基づく画像などの表示を、表示画面の一部領域で行う。
なお、本発明でいう表示手段で表示する画像とは、動画、静止画などのいわゆる狭義の「画像」だけではなく、テキスト画像、アイコン画像なども含めて、表示手段で表示されるあらゆる表示内容として広義の「画像」を指すものである。
そして画面の一部である画像表示領域に画像表示を行う場合、その周囲の画像表示領域外でユーザが視認する内容との関係で、表示画像が見えにくくなることがある。そこで、画像表示領域の透過率を、画像表示領域以外とは異なる透過率に制御して、表示画像の視認性を向上させる。
また画像表示領域の透過率は、外光や処理プログラム（起動するアプリケーション）に応じて自動に設定又は可変調整したり、或いはユーザの挙動や状況に応じて設定又は可変調整する。

本発明によれば、画面の一部である画像表示領域に画像表示を行う場合、画像表示領域の透過率を、画像表示領域以外とは異なる透過率に制御することで、表示画像の視認性を向上させることができる。例えば画像表示領域以外がスルー状態であってユーザが視界光景を視認できる状態である場合、画像表示領域もスルー状態とすると、表示画像の視認性が低下するが、画像表示領域については異なる透過率とすることで、視認性の良い表示画像を提供できる。
また画像表示領域の透過率は、外光や処理プログラム（起動するアプリケーション）に応じて自動に設定又は可変調整することで、ユーザの操作負担はない。またユーザの挙動や状況に応じて設定又は可変調整することで、ユーザが望む透過率を容易に実現できる。
これらにより、視認性に優れ、かつ使用性の良好な表示装置を提供できる。

本発明の実施の形態の表示装置の外観例の説明図である。 実施の形態の表示装置の使用形態の説明図である。 実施の形態の表示装置のブロック図である。 実施の形態の表示部のブロック図である。 実施の形態で認識するユーザの挙動の一例の説明図である。 実施の形態の表示例の説明図である。 実施の形態の表示例の説明図である。 実施の形態の表示例の説明図である。 実施の形態の表示例の説明図である。 実施の形態の表示装置の処理例のフローチャートである。

以下、本発明の表示装置、表示方法の実施の形態を説明する。説明は次の順序で行う。
［１．表示装置の外観例］
［２．表示装置の構成例］
［３．表示例］
［４．表示のための制御処理例］
［５．実施の形態の効果、及び変形例、拡張例］

［１．表示装置の外観例］

実施の形態として、図１に眼鏡型ディスプレイとした表示装置１の外観例を示す。表示装置１は、例えば両側頭部から後頭部にかけて半周回するようなフレームの構造の装着ユニットを持ち、図１のように両耳殻にかけられることでユーザに装着される。
そしてこの表示装置１は、装着状態において、ユーザの両眼の直前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表示パネル部２ａ、２ａが配置される構成とされている。この表示パネル部２ａには、例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即ち透明又は半透明の状態とできる。表示パネル部２ａがスルー状態とされることで、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

またユーザが装着した状態において、ユーザの前方方向に向けて撮像レンズ３ａが配置されている。つまりこの場合、撮像レンズ３ａは、表示パネル部２ａをスルー状態としたときにユーザが表示パネル部２ａを介して視認する方向を被写体方向として撮像するようにされている。

なお図１は一例であり、表示装置１をユーザが装着するための構造は多様に考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されればよく、その状態で例えばユーザの眼の前方に近接して表示パネル部２ａ、２ａが設けらればよい。
表示装置１として眼鏡型或いは頭部装着型の装着ユニットを有する例を示しているが、例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニットでユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザー、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させる形態であってもよい。
また表示パネル部２ａとして両眼に対応して表示部が一対設けられる構成の他、片側の眼に対応して１つ表示パネル部２ａが設けられる構成でもよい。
また、装着状態でユーザの右耳孔及び左耳孔の一方又は両方に挿入されるイヤホンスピーカを設ける構成や、外部音声を集音するマイクロホンを設ける構成も考えられる。
また撮像レンズ３ａによる撮像方向に対して照明を行うように、例えばＬＥＤ（Light Emitting Diode）等により形成される発光部が設けられてもよい。

また図１では撮像レンズ３ａがユーザの前方を被写体方向とするように取り付けられているが、撮像レンズ３ａが、表示部２をスルー状態としたときにユーザが表示部２を介して視認する方向とは異なる方向を被写体方向として撮像するように取り付けられていても良い。例えば撮像レンズ３ａは、ユーザの後方、上方、左側方、右側方、足下などを被写体方向とするように取り付けられていてもよい。
また、図１の例では撮像レンズ３ａは固定的に取り付けられていることで撮像時の被写体方向は固定であるが、被写体方向を変化させることのできる可動機構を介して撮像レンズ３ａを取り付けることで、手動又は自動で撮像時の被写体方向を変化させることができるようにしてもよい。
また、複数の撮像レンズ３ａを取り付け、複数の撮像機能部を備えるようにしてもよい。
さらに撮像レンズ３ａを含む後述する撮像部を設けない構成も考えられる。

例えばこのような表示装置１では、通常時は、表示パネル部２ａの画面全体をスルー状態（透過率を１００％或いは１００％に近い値とする）とし、ユーザが前方を視認できるようにしている。
そして何らかの情報に基づいて、表示パネル部２ａの画像を表示するが、その場合、表示パネル部２ａの画面の一部を画像表示領域として画像表示を行う。表示する画像とは、静止画、動画、テキスト画像、表やグラフなどの画像、キャラクタ画像、アイコン画像など、多様に想定される。
画像表示を行う領域については、それ以外の領域、つまりスルー状態としている領域とは異なる透過率とする。

図２は、表示装置１の使用形態を、外部機器との関連において例示したものである。
図２（ａ）は表示装置１を単体で使用する場合であり、この場合、表示装置１が撮像機能を有していることで、撮像された画像信号をソースとして生成した表示画像信号を表示パネル部２ａに表示させることができる。
或いは内部で発生させたデータに基づく表示を行ったり、内部メモリに記憶されているデータに基づく表示を行うことができる。
また、可搬性記録媒体に対する再生ドライブ機能を有するようにすれば、可搬性記録媒体から読み出したデータに基づく表示を行うことができる。

図２（ｂ）は、表示装置１が通信機能を備え、外部のデータ送信装置７０と通信を行う例である。この場合、表示装置１は、外部のデータ送信装置７０から送信されてきたデータに基づく表示を行うことができる。
データ送信装置７０とは、通信機能を備えたデータサーバ、パーソナルコンピュータ、ビデオプレーヤ、ビデオカメラ、デジタルスチルカメラなど多様な機器が想定できる。
また外部のデータ送信装置７０は、表示装置１を用いるユーザ本人が所有する機器であったり、データ提供を行う公共或いはサービス企業等の機器であって表示装置１と通信可能とされているものなど多様に考えられる。

図２（ｃ）は、表示装置１が通信機能、特にインターネット等のネットワーク７３を介した通信アクセス機能を備えることで、ネットワーク７３で接続される外部のデータ送信装置７０と通信を行う例である。この場合、表示装置１は、ネットワーク７３を介して受信したデータに基づいた表示を行うことができる。

［２．表示装置の構成例］

表示装置１の構成例を図３で説明する。
システムコントローラ１０は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ部、インターフェース部を備えたマイクロコンピュータにより構成され、表示装置１の全体を制御する制御部とされる。このシステムコントローラ１０は内部のＲＯＭ等に保持したプログラムに基づいて、各種演算処理やバス１３を介した各部と制御信号等のやりとりを行い、各部に所要の動作を実行させる。

撮像部３は、撮像光学系、撮像素子部、撮像信号処理部を有する。
撮像部３における撮像光学系では、図１に示した撮像レンズ３ａや、絞り、ズームレンズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォーカス動作やズーム動作を行わせるための駆動系等が備えられる。
また撮像部３における撮像素子部では、撮像光学系で得られる撮像光を検出し、光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体撮像素子アレイは、例えばＣＣＤ（Charge Coupled Device）センサアレイや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサアレイとされる。
また撮像部３における撮像信号処理部では、固体撮像素子によって得られる信号に対するゲイン調整や波形整形を行うサンプルホールド／ＡＧＣ(Automatic Gain Control)回路や、ビデオＡ／Ｄコンバータを備え、デジタルデータとしての撮像画像データを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処理、ぶれ補正処理などを行う。

これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部３により、撮像が行われ、撮像による画像データが得られる。
この撮像部３の撮像動作によって得られた画像データは、撮像制御部６で処理される。
撮像制御部６は、システムコントローラ１０の制御に従って、撮像画像データを所定の画像データフォーマットに変換する処理や、表示部２でモニタ表示させるための所要の信号処理を行う。表示部２でモニタ表示させるための信号処理とは、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整、画面分割処理、キャラクタ画像の合成処理、拡大又は縮小画像の生成、モザイク画像／輝度反転画像／ソフトフォーカス／画像内の一部の強調表示／画像全体の色の雰囲気の可変などの画像エフェクト処理などである。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像部３における撮像動作のオン／オフ制御、撮像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度やフレームレート制御、撮像信号処理部の各処理のパラメータや実行処理の設定などを行う。
また撮像制御部６はシステムコントローラ１０の指示に基づいて、撮像画像データを記録のためにメモリ部１２に供給したり、表示部２での表示のために表示制御部７に供給する。撮像画像データをメモリ部１２に供給する場合、撮像制御部６は、画像データの記録のためのエンコード処理を行う。

また撮像制御部６は、撮像画像データの解析処理を行い、撮像された対象物の判別や対象物の挙動、形状の判定などを行うことができる。そして解析結果の情報をシステムコントローラ１０に供給する。

表示装置１においてユーザに対して表示を行う構成としては、表示部２、表示制御部７が設けられる。
表示部２には、図４に示すようにスクリーン２１，液晶シャッタ２２、外光検知器２３を有する表示パネル部２ａと、画素駆動部２４と、シャッタ駆動部２５が設けられる。
表示パネル部２ａにおいては、液晶シャッタ２２とスクリーン２１が重ね合わせられた状態に形成され、スクリーンは例えば通常の液晶表示パネルなどにより形成され、表示画面を形成する。
液晶シャッタ２２は表示画面の透過率を変化させるために設けられる。液晶シャッタ２２において使用される液晶の種類としては、ＳＴＮ液晶、ＴＦＴ液晶など透過・遮光状態を切り換え可能なものや、ポリマーネットワーク液晶など透過・拡散状態を切り換え可能なものがある。
液晶シャッタ２２が透過状態となると、表示パネル部２ａはスルー状態となり、つまりユーザは表示パネル部２ａを介して外部光景を見ることができる。
スクリーン２１において画像表示が行われることで、ユーザは表示パネル部２ａにおいて表示画像を見ることができる。
ここで液晶シャッタ２２の透過率を変えると、液晶シャッタ２２を透過する外界の像と、スクリーン２１に表示される画像とのコントラスト比を変えることができる。

画素駆動部２４は、供給される表示画像信号による表示をスクリーン２１において実行させる。即ちスクリーン２１においてマトリクス状に配置されている各画素について、それぞれ所定の水平／垂直駆動タイミングで映像信号に基づく駆動信号を印加し、表示を実行させる。
シャッタ駆動部２５は、液晶シャッタ２２においてマトリクス状に配置されている各液晶画素に透過率制御信号を印加し、例えば画素単位で所定の透過率となるように駆動する。

表示制御部７は、このような表示部２に対して、システムコントローラ１０の制御に基づいて、表示動作や透過率変化を実行させる。
即ちシステムコントローラ１０の制御により転送されてくる表示データや表示する画像信号に基づいて、表示のための各種処理を行い、表示画像信号として画素駆動部２４に供給する。
表示のための処理としては、例えば輝度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調）調整などを行うことができる。また画像データの一部を拡大した拡大画像の生成、或いは縮小画像の生成、ソフトフォーカス、モザイク、輝度反転、画像内の一部のハイライト表示（強調表示）、全体の色の雰囲気の変化などの画像エフェクト処理、撮像画像の分割表示のための画像の分離や合成、キャラクタ画像やイメージ画像の生成及び生成した画像を撮像画像に合成する処理なども行うことができる。

表示制御部７は、各種処理を行って生成した表示画像信号を、表示パネル部２ａとしての画面の一部において表示されるようにする。システムコントローラ１０の指示により表示画面の一部を画像表示領域とし、画像表示領域として設定した画素において、表示画像信号による表示が実行されるようにする。

また表示制御部７は、システムコントローラ１０から指示に応じて、シャッタ駆動部２５を制御し、液晶シャッタ２２の透過率を可変させる。
例えば液晶シャッタ２２の全面をスルー状態としたり、或いは前面を非透過状態とする制御を行う。さらには画面上で部分的に透過率を変化させる制御を行う。特に、画像表示を行う画像表示領域のみを、それ以外の領域と異なる透過率に制御する。例えば基本的に画面上をスルー状態としたうえで、画像表示領域のみ、非透過の状態に制御するなどである。

また上述のように表示部２には外光検知器２３が設けられている。外光検知器２３は例えばフォトダイオード、フォトトランジスタなどの光検出素子で構成可能である。
この外光検知器２３によって外光レベルが検知される。例えば外光光量に応じた電気信号が発生され、その電気信号を表示制御部７がレベル情報に変換し、システムコントローラ１０に供給する。

通信部１５は外部機器との間でのデータの送受信を行う。外部機器としては、図２で述べたデータ送信装置７０としての各種の機器が考えられる。
通信部１５は、無線ＬＡＮ、ブルートゥースなどの方式で、例えばネットワークアクセスポイントに対する近距離無線通信を介してネットワーク通信を行う構成としても良いし、対応する通信機能を備えた外部機器との間で直接無線通信を行うものでもよい。

位置検出部１４は例えばＧＰＳ受信部とされる。ＧＰＳ受信部は、ＧＰＳ（Global Positioning System）の衛星からの電波を受信し、現在位置としての緯度・経度の情報をシステムコントローラ１０に出力する。
なお、位置検出部１４としては、ＷｉＦｉ（Wireless Fidelity）や携帯電話会社が提供する位置情報サービスを利用するものとしてもよいし、それらやＧＰＳを組み合わせて利用しても良い。また、後述するセンサ部１１の情報などからユーザの歩行速度を判別し、検出位置を補正できるようにすることも考えられる。

メモリ部１２は、各種データの保存に用いられる。例えば撮像画像データや通信部１５で受信したデータの保存に用いられる。また各種のアプリケーションプログラムの格納にも用いられる。
このメモリ部１２は、ＲＡＭ或いはフラッシュメモリなどの固体メモリにより構成されても良いし、例えばＨＤＤ（Hard Disk Drive）により構成されてもよい。
また内蔵の記録媒体ではなく、可搬性の記録媒体、例えば固体メモリを内蔵したメモリカード、光ディスク、光磁気ディスク、ホログラムメモリなどの記録媒体に対応する記録再生ドライブなどとされても良い。

このメモリ部１２は、システムコントローラ１０の制御に基づいて、撮像によって得られる画像データや、通信による受信データを記録する。またシステムコントローラ１０の制御に基づいて、記録したデータを読み出し、システムコントローラ１０や表示制御部７などに供給する。
また、表示部２で地図画像を表示する例を後述するが、地図画像表示のために地図データベースをメモリ部１２に記憶させるようにしてもよい。

この表示装置１では、ユーザの挙動や状況としての使用者情報を検出して、その使用者情報をユーザの操作入力として処理する。つまりユーザの挙動や状況に応じて表示動作や透過率制御を行う。
ユーザの挙動や状況を検出する手段としては、センサ部１１が設けられる。また上述した撮像部３及び撮像制御部６もユーザの挙動を検出する手段として用いられる。

まずセンサ部１１について説明する。
センサ部１１においてユーザの挙動を検知する構成とする場合は、センサ部１１として加速度センサ、角速度センサ、振動センサ、圧力センサ等を設けることが考えられる。
例えばユーザが表示装置１を側面側からコツコツと軽く叩くといったことを、加速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたときにシステムコントローラ１０がユーザの操作（例えば透過率可変操作）として認識するようにすることができる。
また、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当する部分）を叩いたか、左側から側部を叩いたかを検出できるようにすれば、それらを、それぞれ所定の操作として判別することもできる。
またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで検知し、これをシステムコントローラ１０がユーザの操作として認識することができる。
また、表示装置１の左右の側部（眼鏡のツルに相当する部分）等に圧力センサを配置し、右側部をユーザが指で押したときは透過率を上げる操作、左側部をユーザが指で押したときは透過率を下げる操作などとすることもできる。
また加速度センサや振動センサによって、ユーザが静止しているか、歩行しているか、走行しているかなどを判別し、それぞれの判別結果に応じて透過率を可変させるような処理も考えられる。

またセンサ部１１に、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して、操作入力と認識するようにしても良い。
生体情報とは、脈拍数、心拍数、心電図情報、筋電、呼吸情報（例えば呼吸の速さ、深さ、換気量など）、発汗、ＧＳＲ（皮膚電気反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えばα波、β波、θ波、δ波の情報）、血流変化、眼の状態などである。
そしてシステムコントローラ１０は生体センサの検出情報を、ユーザの操作入力として認識するようにしてもよい。例えばユーザの意識的な挙動として目の動き（視線方向の変化やまばたき）が考えられるが、ユーザが３回まばたきをしたことを検知したら、それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知によりユーザが表示装置１を装着したことや外したこと、あるいは特定のユーザが装着したことなども検出可能であり、システムコントローラ１０がその検出に応じて電源オン／オフなどを行うようにしてもよい。
また上記の生体情報を生体センサで検出することで、ユーザの身体状況として、例えばユーザの緊張状態や興奮状態、穏やかな状態、うとうとしている状態、快適、不快な状態などを判定できる。このような判定に応じて透過率可変を行うという処理例も考えられる。
例えばユーザが快適となる状況となるように透過率を調整することができる。
またユーザの瞳孔の開き具合を検出してユーザが感じているまぶしさ等を判定し、それに応じて透過率制御を行うことができる。

なお生体センサは、例えば眼鏡型の表示装置１の装着フレーム内側に配置することで、例えばユーザの側頭部や後頭部に接触して、上記各種情報を検知できるようにしてもよいし、表示装置１の装着フレーム部分とは別体として、身体の所定箇所に装着されるようにしてもよい。
また眼の状態や動き、瞳孔などの状態の検出のためには、ユーザの眼部を撮像するカメラを用いることが考えられる。

撮像部３及び撮像制御部６によっても、ユーザの挙動を検出することができる。
例えばユーザは、自分の目の前方に手を差し出して、手が撮像部３で撮像されるようにする。そして図５（ａ）（ｂ）（ｃ）（ｄ）のように、手の形によって、それぞれ所定の操作入力が行われるよういにする。
このような手の形は、撮像制御部６が撮像画像を解析することで判別可能であり、判別した手の形の情報をシステムコントローラ１０に供給する。システムコントローラ１０は手の形のそれぞれを所定の操作情報と認識する。
例えば図５（ａ）（ｂ）（ｃ）（ｄ）の手の形を、それぞれ画像表示開始、画像表示領域の透過率アップ、画像表示領域の透過率ダウン、画像表示終了などとしての操作情報と認識することが考えられる。
或いは、指の数を透過率パーセンテージに対応させ、図５（ａ）の場合は透過率０％、指１本で透過率２０％、図５（ｂ）（ｃ）のように指２本で透過率４０％、指３本で透過率６０％、指４本で透過率８０％、図５（ｄ）のように指５本で透過率１００％などとしての操作入力と解釈するようにしてもよい。
もちろんこれらは一例であり、手の形に対応してどのような内容の操作情報とするかは多様に考えられる。

なお、ユーザの挙動や状況としてのユーザ情報を取得するための構成としては、さらにユーザの声を検知するセンサ、唇の動きを検知するセンサなど、他のセンサが設けられても良い。
またキーやダイヤルなどの操作子を設けても良い。

以上、表示装置１の構成を示したが、これは一例にすぎない。実際に実施される動作例や機能に応じて各種の構成要素の追加や削除は当然考えられる。

［３．表示例］

本例の表示装置１における表示例を図６〜図９に示す。
本例では、表示部２において各種の画像表示が行われる。例えばアプリケーションプログラムによる処理動作による画像の表示、通信部１５で受信されたデータに基づく画像の表示、撮像部３で撮像された画像に基づく表示、メモリ部１２から読み出されたデータに基づく表示、メモリ部１２が可搬性記録媒体に対する記録再生ドライブとされている場合に、可搬性記録媒体から再生されたデータに基づく表示などが行われる。

まず図６には、地図画像を表示する例を示す。
例えばメモリ部１２に地図表示の機能を有するアプリケーションプログラムが格納されており、これがシステムコントローラ１０において起動されて地図表示が行われるとする。一例として、この地図表示プログラムは、現在地に応じて周辺の地図表示を行ったり、地図上で経路案内を行うプログラムであるとする。

表示パネル部２ａは例えば通常時は、全面が例えば透過率１００％のスルー状態、つまり、表示部２は単なる透明の板状体となっており、例えば図６（ａ）のようにユーザが視界光景を視認できる状態とされている。
ここで、システムコントローラ１０のＣＰＵにおいて地図表示プログラムが起動されると、システムコントローラ１０は、画面上の一部領域を画像表示領域と設定して地図表示を行う。
例えばシステムコントローラ１０は位置検出部１４で検出される現在位置に応じて地図画像データを取得する。この場合、メモリ部１２に地図データベースが格納されていれば、現在位置情報に応じた地図画像データを検索して取得できる。
また地図データベースを格納していない場合、例えば外部のサーバなどのデータ送信装置７０に対して現在位置情報を通信部１５から送信させ、その現在位置情報に応じた地図画像データを、外部のデータ送信装置７０から受信するという処理も考えられる。

システムコントローラ１０は現在位置に応じた地図画像を表示画面上の一部領域に表示させるが、例えば図６（ｂ）（ｃ）のように画面を領域ＡＲ１，ＡＲ２とに分け、領域ＡＲ２地図画像を表示させる。
ここで図６（ｂ）は、領域ＡＲ２が、スルー状態である領域ＡＲ１と同じ透過率の状態（つまりスルー状態）である場合を示し、一方、図６（ｃ）は、領域ＡＲ２が、スルー状態である領域ＡＲ１と異なる透過率の状態（つまり非透過状態もしくは透過率の低い状態）である場合を示している。
図６（ｂ）の例では、全面がスルー状態のままであることで、領域ＡＲ２に表示された地図画像が見えにくい状態となっている。
これに対して図６（ｃ）のように領域ＡＲ２のみ透過率を変化させることで、地図画像を見やすくユーザに提示できるようになる。

なお、ここでは地図表示プログラムによる表示例を示したが、このように表示動作を伴うアプリケーションプログラムは多様に考えられる。
例えばインターネットウェブブラウザなどのブラウザソフトウエア、写真画像などの画像管理／表示プログラム、グラフィック作成／編集ソフトウエア、文書作成ソフトウエア、表計算ソフトウエアなど、多様なアプリケーションプログラムによる表示画像が想定される。
もちろん表示する画像内容としては、動画、静止画、テキスト、図表、ダウンロード画像など、各種考えられる。
またアプリケーションプログラムの動作に応じて、表示する情報は、プログラム動作で作成された文字や図表、デザインの画像であったり、ブラウザソフトウエアなどの動作によって通信部１５によってダウンロードした画像であったり、メモリ部１２から読み出したデータに基づく画像や、読み出した画像自体であるなど、多様である。

図７は外部のデータ送信装置７０から送信される情報を表示する例である。
図７（ａ）は表示パネル部２ａの全面がスルー状態である場合を示している。例えばユーザが優勝カップの展示会場などにいる場合の情景を示している。
この近辺には、展示物に関連する情報や、各種広告情報、案内情報などを送信するデータ送信装置７０が設置されており、ユーザが装着している表示装置１に対して各種情報を送信しているとする。
表示装置１では、例えばデータ送信装置７０からの情報を受信することに応じて、受信した情報に基づくテキスト画像を画面の一部領域ＡＲ２に表示する。
図７（ｂ）は、領域ＡＲ２が、スルー状態である領域ＡＲ１と同じ透過率の状態（つまりスルー状態）である場合を示し、一方、図７（ｃ）は、領域ＡＲ２が、スルー状態である領域ＡＲ１と異なる透過率の状態（つまり非透過状態もしくは透過率の低い状態）である場合を示している。
図７（ｂ）の例では、全面がスルー状態のままであることで、領域ＡＲ２に表示されたテキスト画像が見えにくい状態となっている。
これに対して図７（ｃ）のように領域ＡＲ２のみ透過率を変化させることで、テキスト画像を見やすくユーザに提示できるようになる。
ここではテキスト画像を表示する例を挙げたが、外部のデータ送信装置７０から送信される情報としては、静止画、動画なども当然考えられる。

図８，図９は、撮像部３において撮像した画像に基づく表示を行う例を示している。
図８（ａ）は全面スルー状態を示している。
図８（ｂ）（ｃ）は、撮像部３において撮像された画像の一部を拡大処理して領域ＡＲ２に表示している例を示している。図８（ｂ）は、領域ＡＲ２が、領域ＡＲ１と同じスルー状態の場合であり、図８（ｃ）は、領域ＡＲ２が、領域ＡＲ１と異なる非透過状態もしくは透過率の低い状態である場合を示している。上記各例と同様に、図８（ｃ）のように領域ＡＲ２の透過率を変化させることで、表示内容の視認性を高めることができる。
また図９（ａ）は全面スルー状態を示し、図９（ｂ）（ｃ）は、撮像部３において望遠撮像を行った画像を領域ＡＲ２に表示している例を示している。図８（ｂ）は、領域ＡＲ２が、領域ＡＲ１と同じスルー状態の場合であり、図９（ｃ）は、領域ＡＲ２が、領域ＡＲ１と異なる非透過状態もしくは透過率の低い状態である場合を示している。上記各例と同様に、図９（ｃ）のように領域ＡＲ２の透過率を変化させることで、撮像画像の表示内容の視認性を高めることができる。

撮像部３で撮像された画像としての表示内容は次のように多様に考えられる。
・撮像部３で通常撮像された画像
・撮像部３のズーム動作で得られる望遠ズーム画像
・撮像部３のズーム動作で得られる広角ズーム画像
・撮像部３の焦点制御動作で得られる遠景画像
・撮像部３の焦点制御動作で得られる近景画像
・撮像部３での撮像フレームレートを変更させて得た高速撮像画像や低速撮像画像
・撮像制御部６または表示制御部７の信号処理での拡大処理や縮小処理を行った画像
・撮像部３での撮像感度を上昇させて明るさをアップさせた画像
・撮像部３での撮像感度を低下させて明るさを抑えた画像
・撮像部３での赤外線撮像感度を上昇させて得た暗視画像
・撮像部３での紫外線撮像感度を上昇させて得た画像
・撮像部３で特定波長帯域をカットして撮像した画像
・撮像制御部６または表示制御部７の信号処理で輝度を上昇させて明るさをアップさせた画像
・撮像制御部６または表示制御部７の信号処理で輝度を低下させて明るさを抑えた画像
・撮像制御部６または表示制御部７の色信号処理で色合いや雰囲気を変化させた画像
・撮像制御部６または表示制御部７の信号処理でコントラスト、シャープネス等を調整した画像
・撮像制御部６または表示制御部７の信号処理として、モザイク／輝度反転／ソフトフォーカス／画像内の一部の強調表示／ハイライト表示などの画像エフェクト処理を行って得た画像
・以上の各動作又は信号処理の組み合わせにより得た画像

もちろん、これら列挙したものに限定されるものではなく、撮像部３の動作、撮像制御部６または表示制御部７の信号処理により得られる表示用の画像は多様に考えられる。

［４．表示のための制御処理例］

上記表示例として述べたように、本例では、表示画面上の一部領域ＡＲ２において画像表示を行うが、このとき、領域ＡＲ２を、周囲の他の領域ＡＲ１とは異なる透過率とすることで、視認性を向上させる。またユーザの挙動や状況に応じて透過率を調整することで、より好適な表示を実現する。
この動作のためのシステムコントローラ１０の処理例を図１０に示す。

ステップＦ１０１は、システムコントローラ１０が表示制御部７に対して表示パネル部２ａの全面を透過率１００％のスルー状態とする制御処理を示している。例えば表示装置１が電源オンとされた初期段階では、システムコントローラ１０はステップＦ１０１で表示パネル部２ａの画面全面をスルー状態に制御する。
表示パネル部２ａの画面全面をスルー状態にしている期間は、システムコントローラ１０はステップＦ１０２で表示開始のトリガが発生したか否かを確認している。

表示トリガとは多様に考えられる。
例えばユーザの挙動や状況によって或るアプリケーションプログラムが起動され、アプリケーションプログラムの動作に応じた表示を実行する場合、システムコントローラ１０は表示トリガ発生と判断すればよい。
また、通信部１５によって外部機器からの表示のための情報が受信された場合に、システムコントローラ１０は表示トリガ発生と判断しても良い。
また、ユーザの挙動や状況の検出によりユーザの操作があったと認識した場合にシステムコントローラ１０が表示トリガ発生と判断することもできる。
またユーザの挙動等による操作に応じて撮像部３での撮像動作を開始させる場合に、その撮像モニタのための表示トリガ開始と判断しても良い。

表示開始トリガがあったと判別した場合は、システムコントローラ１０は処理をステップＦ１０３に進め、まず表示画面上での画像表示領域を設定する。即ち上記領域ＡＲ２としての画面上での位置やサイズを設定する。
この画像表示領域の位置やサイズは固定でも良いし、ユーザ設定により可変できるものでも良い。
或いは、表示トリガの内容に応じて決められるものでも良い。例えば或るアプリケーションプログラムが起動された場合は画面右下隅、他の或るアプリケーションプログラムが起動された場合は画面上部、撮像モニタとしての表示を行う場合は画面左下隅などとする例が考えられる。

また、画像表示領域（領域ＡＲ２）の透過率を設定する。透過率の設定処理は次のように各種考えられる。
まず、固定的に透過率を設定する例が考えられる。例えば常に透過率０％とするなどである。
或いは、その時点の画像表示領域以外（つまり領域ＡＲ１）の透過率に応じて画像表示領域の透過率を決定するようにしてもよい。例えば領域ＡＲ１の透過率に所定の係数演算を行って、十分にコントラスト比が得られる領域ＡＲ２の透過率を算出する。

また外光検知器２３によって外光光量が検出できるため、外光光量に応じて画像表示領域の透過率を算出してもよい。例えば外光光量の値に対して係数演算を行って画像表示領域の透過率を算出する。
またアプリケーションプログラムが起動される場合は、そのアプリケーションプログラムの別や種類によって透過率を設定する例が考えられる。例えば或るアプリケーションプログラムが起動された場合は画像表示領域の透過率を０％、他の或るアプリケーションプログラムが起動された場合は画像表示領域の透過率を２０％とするなどである。
まず表示トリガの内容に応じて透過率を設定する例が考えられる。例えばアプリケーションプログラムが起動された場合であったか、外部のデータ送信装置７０からデータを受信した場合であったかに応じて異なる透過率を設定する。
さらには、ユーザの挙動としての操作内容に応じて透過率を設定することが考えられる。例えば図５で説明した手の形によってユーザが透過率を指示したり、センサ部１１で検出できる挙動によって透過率を指示できるようにする場合である。

続いてシステムコントローラ１０はステップＦ１０４に進み、設定した画像表示領域の透過率を、設定した透過率に制御する。即ち表示制御部７に画像表示領域と透過率を指示し、液晶シャッタ２２を駆動させて、画像表示領域である領域ＡＲ２の透過率を、他の領域ＡＲ１とは異なるようにする。
そしてステップＦ１０５で、表示パネル部２ａに画像表示を実行させる。即ち表示制御部７が、供給された表示データに基づいて、表示パネル部２ａのスクリーン２１の画面上における画像表示領域に所定の画像表示を実行するように制御する。

画像表示を開始させた後、つまり表示パネル部２ａの画面上で一部がスルー状態の領域ＡＲ１とされ一部が画像表示領域ＡＲ２とされている期間は、システムコントローラ１０は、ステップＦ１０６で透過率変更トリガが発生したか否かを監視し、またステップＦ１０７で表示終了トリガが発生したか否かを監視する。

ステップＦ１０６では、ユーザの挙動や状況の検出に基づいて、システムコントローラ１０が表示切換トリガの発生判断を行う例が考えられる。例えば図５で説明したような手の形によるユーザの操作入力や、或いはセンサ部１１で検出されるユーザの挙動により、ユーザが意識的に透過率変更の操作を行った場合に、透過率変更トリガ発生とすればよい。
或いは、センサ部１１において生体センサで検出された生体情報から、ユーザが不快な状況（画像に対して見にくいと思っている状況）であることを判定したら、透過率変更トリガ発生としてもよい。
さらに、外光検知器２３により検出される外光光量を監視し、外光光量の変化を検知した場合に、透過率変更トリガ発生としてもよい。

透過率変更トリガ発生と判断した場合、システムコントローラ１０はステップＦ１０８に進み、変更する透過率を算出する。
例えばユーザの意識的な挙動による透過率変更トリガ発生の場合は、その挙動（つまり操作）によって指示される透過率を、新たな透過率とする。
外光光量の変化による透過率変更トリガ発生の場合は、外光光量の値に対して係数演算を行って、視認性を維持できる新たな透過率を算出する。
ユーザの状況（例えば不快な状況）の検知として透過率変更トリガ発生とした場合は、視認性を高める方向に新たな透過率を算出する。
新たな透過率を算出したら、システムコントローラ１０はステップＦ１０４に戻って、画像表示領域の透過率を、新たな透過率に変更する制御を行い、ステップＦ１０５、Ｆ１０６，Ｆ１０７に進む。

ステップＦ１０５での表示終了トリガについては、例えばユーザが所定の挙動により表示を終了させる操作を行った場合に、システムコントローラ１０は表示状態を終了させるトリガの発生と判断すればよいが、ユーザの状況や、所定の条件に応じて表示終了トリガの発生とシステムコントローラ１０が判断することもできる。
そして表示終了トリガ発生と判断した場合は、システムコントローラ１０は処理をステップＦ１０７からＦ１０９に進め、表示終了制御を行って表示部２における画像表示領域の画像表示を終了させる。そしてステップＦ１０１に戻り、表示パネル部２ａの全面を透過率１００％のスルー状態とする指示を行う。

ユーザが表示装置１を装着して電源オンとしている期間は、システムコントローラ１０は、例えばこの図１０のような制御処理を行うことになる。
但し、具体的な処理例としては多様な変形例が考えられる。
例えばステップＦ１０３の時点では画像表示領域としての領域ＡＲ２の透過率を変化させず、つまり領域ＡＲ１と同様としてもよい。その場合、例えば図６（ｂ）、図７（ｂ）、図８（ｂ）、図９（ｂ）のような表示状態となるが、その後、透過率変更トリガに応じてステップＦ１０８で算出される透過率に変更されていくようにしてもよい。

［５．実施の形態の効果、及び変形例、拡張例］

以上の実施の形態によれば、表示パネル部２ａの画面の一部である画像表示領域ＡＲ２に画像表示を行う場合、画像表示領域ＡＲ２の透過率を、画像表示領域以外の領域ＡＲ１とは異なる透過率に制御することで、表示画像の視認性を向上させることができる。例えば領域ＡＲ１がスルー状態であってユーザが視界光景を視認できる状態である場合、画像表示領域もスルー状態とすると、表示画像の視認性が低下するが、画像表示領域ＡＲ２については異なる透過率とすることで、視認性の良い表示画像を提供できる。
また画像表示領域の透過率は、外光光量や処理プログラム（起動するアプリケーション）に応じて自動に設定又は可変調整することで、ユーザの操作負担はない。かつ表示内容に応じた適切な透過率設定が可能となる。
またユーザの挙動や状況に応じて設定又は可変調整することで、ユーザが望む透過率を容易に実現できる。これらにより、視認性に優れ、かつ使用性の良好な表示装置を実現できる。

また通常は表示パネル部２ａの全面をスルー状態とすることで装着状態のままでも通常の生活に支障がないようにできる。また画像表示を行う際も、領域ＡＲ１はスルー状態であり、ユーザは外界を視認できる。このためユーザの通常の生活の中で、本例の表示装置１の利点を有効に享受できる。

なお、本発明は上記実施の形態に限られず、表示装置１の構成例や処理例として各種の変形例や拡張例が考えられる。

上記例では、画像表示領域ＡＲ２において領域ＡＲ１とは異なる透過率に制御するものとしたが、このような透過率制御に加えて、表示画像の輝度や色を調整することも考えられる。例えばテキスト画像の表示などにおいて、例えば周囲の画像に相反する色や輝度を選択して表示を行うことで、より視認性を高めることができる。

画像表示領域としての領域ＡＲ２を表示パネル部２ａの画面上のどの位置に表示するかは多様に考えられる。上記図６〜図９の例では、領域ＡＲ１内に子画面のように領域ＡＲ２を設定した場合を示したが、画面上の下端部、上端部などにおいて領域ＡＲ１とは分割して設定しても良い。また領域ＡＲ２を領域ＡＲ１より広いサイズとしてもよい。また画面上での領域ＡＲ２の表示位置やサイズをユーザが選択したり、表示実行中に任意に変更できるようにしてもよい。
また表示するデータ量が多い場合などは、領域ＡＲ２においてスクロール表示やページ送り表示によって全データが表示されるようにすることも考えられる。

画像表示を行っていない時点の全画面や、画像表示実行中の領域ＡＲ１については、必ずしも透過率１００％のスルー状態としなくてもよい。例えば透過率５０％程度としてもよい。つまりユーザが外界を視認できる範囲で透過率を下げても良い。外光検知器２３で検出する外光光量によってこれらの透過率を調整することも好適である。
このように領域ＡＲ１の透過率を下げる場合でも、領域ＡＲ２については、非常に低い透過率（例えば透過率０％程度）とすることで、表示画像の視認性を高めることができる。
また、画像表示領域を拡張して、その周囲までも透過率を変え、例えば画像表示領域の周囲が黒画像としてユーザに認識されるようにしてもよい。

１ 表示装置、２ 表示部、２ａ 表示パネル部、３ 撮像部、６ 撮像制御部、７ 表示制御部、１０ システムコントローラ、１１ センサ部、１２ メモリ部、１４ 位置検出部、１５ 通信部

Claims (7)

1. 使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより透過率を変化させることのできる表示手段と、
   上記表示手段において画像表示を実行させる際、上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に上記液晶シャッタを制御し、上記画像表示領域の透過率を、上記画像表示領域以外とは異なる透過率となるように上記液晶シャッタを制御して、上記画像表示領域に画像表示を実行させる制御手段と、
   使用者の身体状況としての使用者の瞳孔の状態を検出する使用者情報検出手段と、
   を備え、
   上記制御手段は、上記検出された使用者の瞳孔の状態に応じて上記画像表示領域の透過率を維持しつつ上記画像表示領域以外の透過率を変更する
   表示装置。
2. 使用者の瞳孔の状態を検出するための使用者の眼部を撮像するカメラをさらに備える
   請求項１に記載の表示装置。
3. 上記画像表示領域の大きさ及び位置の少なくとも一方を変更する制御を行う請求項１に記載の表示装置。
4. 外光レベルを検知する外光検知手段をさらに備え、
   上記制御手段は、上記画像表示領域を、上記外光検知手段で検知された外光レベルに応じて算出した透過率に制御する請求項１に記載の表示装置。
5. 外部機器との間でデータ通信を行う通信手段をさらに備え、
   上記制御手段は、上記通信手段により受信した情報に基づく画像を、上記表示手段の上記画像表示領域に表示させる請求項１に記載の表示装置。
6. 使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより透過率を変化させることのできる表示手段を備えた表示装置の表示方法として、
   上記表示手段において画像表示を実行させる際、上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に上記液晶シャッタを制御し、上記画像表示領域の透過率を、上記画像表示領域以外とは異なる透過率となるように上記液晶シャッタを制御するステップと、
   上記画像表示領域に画像表示を実行するステップと、
   使用者の身体状況としての使用者の瞳孔の状態を検出する使用者情報検出ステップと、
   上記検出された使用者の瞳孔の状態に応じて上記画像表示領域の透過率を維持しつつ上記画像表示領域以外の透過率を変更するステップと、
   を備えた表示方法。
7. 使用者の目の前方に位置するように配置された表示画面により画像表示を行うとともに、透過率可変の液晶シャッタにより透過率を変化させることのできる表示手段において画像表示を実行させる際、上記表示画面の一部領域を画像表示領域とし、上記画像表示領域以外を透明もしくは半透明となる透過率に上記液晶シャッタを制御し、上記画像表示領域の透過率を、上記画像表示領域以外とは異なる透過率となるように上記液晶シャッタを制御するステップと、
   上記画像表示領域に画像表示を実行させるステップと、
   使用者の身体状況としての使用者の瞳孔の状態を検出する使用者情報検出ステップと、
   上記検出された使用者の瞳孔の状態に応じて上記画像表示領域の透過率を維持しつつ上記画像表示領域以外の透過率を変更するステップと、
   を演算処理装置に実行させるプログラム。

Images