JP6350705B2 - 表示装置、および、表示装置の制御方法 - Google Patents
表示装置、および、表示装置の制御方法 Download PDFInfo
- Publication number
- JP6350705B2 JP6350705B2 JP2017051591A JP2017051591A JP6350705B2 JP 6350705 B2 JP6350705 B2 JP 6350705B2 JP 2017051591 A JP2017051591 A JP 2017051591A JP 2017051591 A JP2017051591 A JP 2017051591A JP 6350705 B2 JP6350705 B2 JP 6350705B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- image
- input
- unit
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、上述した事情に鑑みてなされたものであり、画像として表示される仮想的な指標に基づいて操作を行う際の操作性の向上を図ることを目的とする。
本発明によれば、外光に重ねて出力される画像光により画像を表示するため、ユーザーは画像光により表示される操作エリアとともに、外光により外景を見ることができ、この外景の任意の場所を見て操作を行うことができる。そして、表示される操作エリアの態様を変更することにより、操作の状況に応じて操作エリアの表示態様を変更して、快適な操作性を実現することができ、操作性の向上を図ることができる。
本発明によれば、ユーザーが操作を行う位置に対応した態様で操作エリアを表示し、より快適な操作性を実現できる。
本発明によれば、ユーザーが操作を行う仮想入力面までの距離を検出するので、仮想入力面までの距離を入力または設定する操作を省略することができ、より一層の操作性の向上を図ることができる。
本発明によれば、ユーザーが操作に利用する可能性がある面を検出するので、より正確に仮想入力面までの距離を検出できる。
本発明によれば、ユーザーの操作の指標となる入力補助画像のサイズを変更することにより、文字入力等の細かい入力操作を容易に、正確に行うことが可能となる。
本発明によれば、入力補助画像を構成する画素数を変更することにより、入力補助画像のサイズを変更した場合に、サイズの拡大に伴う解像度の低下や、サイズの縮小に伴う視認性の低下等を防止できる。
本発明によれば、入力補助画像の補助線の間隔を変更することにより、文字入力等の細かい入力操作をより容易に、正確に行うことが可能となる。
本発明によれば、仮想キーボードを表示することにより、容易に文字入力を行うことが可能になる。そして、この仮想キーボードの表示サイズ、表示色あるいは表示領域を変更することで、ユーザーがより快適に入力操作を行うことができる。
本発明によれば、操作エリアの表示態様の変化によって、表示装置が検出した操作位置をユーザーに示すことができる。また、操作エリアの表示態様を変えることで、この操作に続く操作を行い易くし、より一層の操作性の向上を図ることができる。
本発明によれば、光学部材により使用者の眼に画像光を導くとともに、この光学部材を透過して外光を使用者の眼に導くシースルー型の表示装置によって、より簡単に入力操作を行うことが可能となる。
本発明によれば、外光に重ねて出力される画像光により画像を表示するため、ユーザーは画像光により表示される操作エリアとともに外景を見ることができ、この外景の任意の場所を見て操作を行うことができる。そして、表示される操作エリアの態様を変更するため、操作の状況に応じて操作エリアの表示態様を変更し、快適な操作性を実現することができ、操作性の向上を図ることができる。
図1は、本発明の実施形態に係る頭部装着型表示装置の外観図である。
頭部装着型表示装置HMは、ユーザーの頭部に装着される頭部装着型表示装置であり、ヘッドマウントディスプレイ(HMD:Head Mounted Display)と呼ばれる。本実施形態の頭部装着型表示装置HMは、ユーザーが、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。
右光学像表示部26および左光学像表示部28は、それぞれユーザーの右眼および左眼の眼前に位置し、ユーザーの眉間に対応する位置で相互に接続されて一体となっている。右光学像表示部26の端部ERからは右保持部21が延伸し、左光学像表示部28の端部ELからは左保持部23が延伸している。
右保持部21の基端部には右表示駆動部22が内蔵され、左保持部23の基端部には左表示駆動部24が内蔵される。これら右表示駆動部22および左表示駆動部24により、頭部装着型表示装置HMはユーザーの右眼と左眼の各々に画像を視認させる。
また、頭部装着型表示装置HMの前面において右光学像表示部26と左光学像表示部28の境目部分には、カメラ61が配置されている。カメラ61の位置は頭部装着型表示装置HMの前面のほぼ中央であり、ユーザーの左右の眼の中間位置となっている。
画像表示部20の左表示駆動部24は、LED等の光源と拡散板とを有する左バックライト222、左バックライト222の拡散板から発せられる光の光路上に配置される透過型の左LCD(Liquid Crystal Display:液晶ディスプレイ)242、および、左LCD242を透過した画像光Lを導くレンズ群等を備えた左投写光学系252を備えている。
左投写光学系252は、左LCD242から射出された画像光Lを並行状態の光束にするコリメートレンズによって構成される。左投写光学系252を経た画像光Lは左導光板262に入射する。左導光板262は画像光Lを反射する複数の反射面が形成されたプリズムであり、画像光Lは左導光板262の内部において複数回の反射を経て左眼LE側に導かれる。そして、左眼LEの眼前に位置する面262Aで反射した画像光Lは左眼LEに向けて右光学像表示部26から射出され、この画像光Lが左眼LEの網膜に像を結び、ユーザーに画像を視認させる。
なお、左投写光学系252と左導光板262とを総称して「導光部」とも呼ぶ。この導光部は、画像光を用いてユーザーの眼前に虚像を形成する限りにおいて任意の方式を用いることができ、例えば、回折格子を用いても良いし、半透過反射膜を用いても良い。
画像表示部20と制御装置10とは、接続部40を介して各種信号の伝送を行う。右コード42、左コード44、および本体コード48には、例えば、金属ケーブルや、光ファイバーを採用することができる。
点灯部12は、LED等からなるインジケーターを備え、頭部装着型表示装置HMの動作状態(例えば、電源のON/OFF等)を、その発光状態によって通知する。タッチパッド14は、ユーザーの指による接触操作を検出して、検出内容に応じた信号を出力する。十字キー16は、上下左右方向に対応するキーであり、押下操作に応じた信号を出力する。電源スイッチ18は、頭部装着型表示装置HMの電源状態を切り替えるスイッチである。
制御装置10は、入力情報取得部110と、記憶部120と、電源130と、制御部140と、インターフェイス180と、送信部(Tx)51および52と、を備える。前述の各部はバス(図示省略)により相互に接続されている。
表示制御部190は、右表示駆動部22および左表示駆動部24を制御する制御信号を生成する。具体的には、表示制御部190は、制御信号により、右LCD制御部211による右LCD241の駆動ON/OFFや、右バックライト制御部201による右バックライト221の駆動ON/OFF、左LCD制御部212による左LCD242の駆動ON/OFFや、左バックライト制御部202による左バックライト222の駆動ON/OFF、などを個別に制御することにより、右表示駆動部22および左表示駆動部24のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部190は、右表示駆動部22および左表示駆動部24の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。
表示制御部190は、右LCD制御部211と左LCD制御部212とに対する制御信号を、送信部51および52を介してそれぞれ送信する。また、表示制御部190は、右バックライト制御部201と左バックライト制御部202とに対する制御信号を、それぞれ送信する。
インターフェイス180は、制御装置10に対して、コンテンツの供給元となる種々の外部機器OAを接続するためのインターフェイスである。インターフェイス180は、頭部装着型表示装置HMの外部の機器OAに有線接続される各種コネクターおよびインターフェイス回路、および/又は、外部の機器OAと無線信号を送受信する無線通信部およびインターフェイス回路を備えている。インターフェイス180は、例えば、USB規格に準拠したインターフェイス、メモリーカード用インターフェイス、無線LANやBluetooth(登録商標)規格に準拠した無線通信インターフェイス、その他の近距離無線通信インターフェイス等を備えることができる。機器ОAとしては、例えば、パーソナルコンピューターPCや携帯電話端末、ゲーム端末等がある。また、インターフェイス180にアナログ信号を入力するコネクター等を設けてもよい。
右表示駆動部22は、受信部(Rx)53と、右バックライト(BL)制御部201および右バックライト(BL)221と、表示素子として機能する右LCD制御部211および右LCD241と、右投写光学系251とを備える。
受信部53は、送信部51から入力される信号を受信する。右バックライト制御部201は、受信部53に入力された制御信号に基づいて、右バックライト221を駆動する。右LCD制御部211は、受信部53に入力されたクロック信号と、垂直同期信号と、水平同期信号と、右眼用の画像データとに基づいて、右LCD241を駆動する。右LCD241は、複数の画素をマトリクス状に配置した透過型液晶パネルであり、右LCD制御部211により駆動されて各種画像を描画する。
なお、右バックライト制御部201、右LCD制御部211、右バックライト221、および右LCD241を総称して右側の「画像光生成部」と呼び、左バックライト制御部202、左LCD制御部212、左バックライト222、および左LCD242を総称して、左側の「画像光生成部」と呼ぶ。また、右保持部21および左保持部23を総称して単に「保持部」と、右表示駆動部22および左表示駆動部24を総称して単に「表示駆動部」と、右光学像表示部26および左光学像表示部28を総称して単に「光学像表示部」とも呼ぶ。
そして、これら表示駆動部と、画像光生成部とによって本発明の表示手段が構成される。表示手段には、光学像表示部を含んでもよいし、導光部を含んでもよい。
以下の説明では、頭部装着型表示装置HMによりユーザーが視認する虚像を「画像」と呼ぶ。この画像は、右LCD241、左LCD242に形成される画像がユーザーの網膜に結像して認識されるものである。また、頭部装着型表示装置HMがユーザーに虚像を視認させることを、「表示」と呼ぶ。
この操作は、カメラ61の撮影範囲内において、ユーザーの手指、ペン型や棒形状の操作デバイス、或いはレーザーポインターやLED等の光源等の指示体を動かすことにより行われる。
入力補助画像は、指示体により文字や図形を入力するために画像表示部20が表示する画像であり、例えば文字が配列された仮想キーボードや手書き文字入力を行うための罫線等である。入力補助画像については後に詳述する。
操作検出用データ122には、指示位置の動きまたは軌跡の条件を示すデータが含まれている。このデータは、例えば、指示位置の動きの方向、動きの大きさ、動きの速度、一続きの動きの時間、軌跡の形状を示すデータ等である。入力検出部142は、撮影画像データから検出した指示位置の動きまたは軌跡が操作検出用データ122に含まれる条件に該当する場合には、特定の操作が行われたものとして検出する。入力検出部142は、操作検出用データ122に含まれる複数の異なる条件を用いて、複数種類の操作を検出するものであってもよい。
本実施形態では、距離検出部144は、画像表示部20の前方に位置する面までの距離を検出する。検出される面は、固定的な面であっても移動可能な物体の面であってもよく、例えば、壁面、家具什器類の側面や上面、床面、地面、本や紙またはユーザーの掌を含む物体の面等が挙げられる。
距離検出部144が検出する面は平面に限定されず、曲面であってもよい。例えば、距離検出部144は、画像表示部20の前方において複数の方向の距離検出を行い、検出された距離から一つの面が存在することが明らかな場合に、この面までの距離を検出する。この場合、距離検出部144が一つの面であることを認識可能であることが望ましく、例えば極端に曲率の高い曲面でないことが好ましい。また、距離検出部144は、画像表示部20の前方における距離検出結果と合わせて、カメラ61により撮影された撮影画像データから面を抽出することにより、画像表示部20の前方の面を認識してもよい。
記憶部120には、例えば上記の仮想キーボードや罫線を表示するための画像データやベクトルデータを含む入力補助画像データ124が記憶されている。入力補助画像データ124には、複数種類の入力補助画像を表示するためのデータが含まれていてもよく、この場合、入力補助画像処理部146は入力補助画像データ124からデータを選択して使用する。
図4(A)に示す例では、入力補助画像処理部146の制御により仮想キーボード301が表示されている。仮想キーボード301は、一般的なQWERTYキーボードと同様に文字が配列され、各文字を選択するための枠が表示されている。
ユーザーには、仮想キーボード301と外景とが重ねて視認されるため、図4(A)の例のように手指Fを指示体として用いる場合、自分の手指Fが仮想キーボード301上の所望の文字に重なるように操作を行う。図4(A)の例では手指Fの先端が文字「O」に重なる位置にある。ここで、例えば、手指Fを所定時間静止させる、手指Fの先(例えば第1関節)を曲げる、手指Fの先を特定の方向に動かす等の動作を行うと、手指Fの先に重なる文字(図の例では「O」)が選択され、入力される。
頭部装着型表示装置HMにおいては、入力検出部142が、カメラ61の撮影画像データに基づき手指Fによる操作を検出し、ユーザーの視界における仮想キーボード301の表示位置(ユーザーが視認する位置)と、検出された手指Fの先端の位置とを対照することにより、手指Fの操作により選択された文字を特定する。
仮想キーボード301および仮想入力ボード302、303を表示するための画像データまたはベクトルデータは入力補助画像データ124として記憶部120に記憶されている。
図5は入力補助画像の表示例を示す説明図であり、(A)はユーザーが遠方を注視する場合の例を示し、(B)はユーザーが近くを注視する場合の例を示す。図5(A)、(B)の例は画像表示部20の表示可能領域全体に仮想入力ボード302、303を表示した例である。また、図中の符号VAはユーザーの視野を示している。
例えば図5(A)に示すように、ユーザーが遠方の風景等を注視している場合には、仮想入力ボード302に重なる外景は、非常に広い範囲の景色である。このため、ユーザーには仮想入力ボード302そのものが大きなもののように感じられる。
図5(B)は、ユーザーが、ユーザーの近くに位置する机Dを注視している例であり、視野VAのほぼ全体に机Dの天面が見えている。この場合、仮想入力ボード303に重なる外景はほぼ机Dの大きさとなっており、図5(A)の例に比べて小さい。このため、ユーザーには仮想入力ボード303が机Dと同じ大きさであるように見える。
このような見え方の差に関しては、ユーザーに見える外景においてユーザーが注視する場所までの距離が、支配的な要因となっている。
具体的には、図5(A)に示すように、ユーザーが注視する外景が遠方の場合には、入力補助画像として、罫線の間隔が広い仮想入力ボード302を表示し、図5(B)に示すようにユーザーが近景を注視している場合には、入力補助画像として、罫線の間隔が狭い仮想入力ボード303を表示する。
距離検出部144は、上述した距離検出機能によってユーザーの視界方向の物体までの距離を検出する。距離検出部144は、例えばユーザーの視線を検出する機構を備え、ユーザーの視線方向に位置する物体までの距離を検出してもよい。
頭部装着型表示装置HMの電源がオンの状態で、制御装置10のタッチパッド14や十字キー16に対する操作により、入力開始が指示されると(ステップS11)、制御部140は図6の動作を開始する。
まず、距離検出部144が仮想入力面までの距離を検出する(ステップS12)。次いで、入力補助画像処理部146が、距離検出部144により検出された距離に基づいて入力補助画像の表示態様を決定して表示制御部190に画像データを出力する(ステップS13)。これにより入力補助画像が右表示駆動部22、左表示駆動部24により表示される。ここで、入力検出部142は、カメラ61の撮影画像データに基づく入力操作の検出を開始する。
図7(A)および(B)には、上述したように制御部140がウェブブラウザーを実行し、検索エンジンに入力する検索キーワードを入力する動作を例示する。
図7(A)では表示可能領域の一部に仮想入力ボード302が表示され、仮想入力ボード302に並べて、検索文字列の入力ボックス305が表示され、仮想入力ボード302を用いて入力ボックス305への入力を行う状態である。この例では仮想入力ボード302のマスに合わせて、文字を描くように手指Fを動かすことで、制御部140が描かれた文字を認識し、認識された文字が仮想入力ボード302の各マスに表示される。
また、仮想入力ボード302と入力内容表示部306とを切り替えた際の違和感を防ぐため、入力内容表示部306は仮想入力ボード302と同様に、暗色の背景を有する画像となっている。図7の例では、仮想入力ボード302および入力内容表示部306の罫線や枠線は、背景色よりもさらに暗色で表示され、入力された文字は、視認性を確保するため明度の高い色(例えば白色)で表示される。また、背景を黒にして罫線や枠線を灰色で表示するなど、罫線や枠線を背景より明度の高い色としてもよい。背景、罫線、枠線、文字等は無彩色に限らず、より彩度の高い色で表示してもよい。
さらに、カメラ61の撮像画像データの変化やユーザーの視線を検出する機構により、入力補助画像の表示中にユーザーの視線方向が動いたことを検出した場合に、移動後のユーザーの視線方向に位置する対象物までの距離を距離検出部144により検出し、入力補助画像の表示態様を変更してもよい。
そして、上記の例のように入力補助画像の表示中に入力補助画像の表示態様を変更する場合には、いったん入力補助画像の表示を停止して、入力補助画像が表示されない状態を所定時間保ち、その後に変更後の入力補助画像を表示してもよい。
さらに、入力補助画像が表示可能領域の一部に表示される場合において、入力補助画像の表示中にユーザーの視線方向が動いたことを検出した場合に、この視線方向の移動が所定範囲内であれば、視線方向の移動を相殺する方向に、表示可能領域における入力補助画像の表示位置を変更することもできる。この場合、ユーザーの視線や頭の位置のゆらぎにより視線方向が移動した場合に、入力補助画像を安定して同じ位置に表示することで、ゆらぎの影響を感じさせず、より入力操作が容易になる。画像表示部20がジャイロセンサー等を用いて姿勢を検出可能な場合に、検出した画像表示部20の姿勢の変化に基づいて、上記のように入力補助画像の表示位置を移動させてもよい。
この場合、入力補助画像処理部146は、表示制御部190に出力する入力補助画像の画像データを変更することにより、マトリクス状に配置された複数の画素により画像を形成する右LCD241および左LCD242において、入力補助画像を構成する画素数を変更可能である。
図8は入力補助画像の別の表示例を示す説明図である。図8(A)は入力操作中の指示位置を強調表示する例を示し、(B)は表示用の領域と入力補助画像とを並べて表示する例を示す。
図8(A)の例では、図7(A)と同様に表示可能領域の一部に仮想入力ボード302が表示され、仮想入力ボード302に並べて、検索文字列の入力ボックス305が表示され、仮想入力ボード302を用いて入力ボックス305への入力を行う状態である。この図8(A)の例では、指示位置である手指Fの先端を含む指示領域302Aが強調表示されている。例えば、仮想入力ボード302が暗色の背景で表示されている場合に、指示領域302Aは背景色が無い、「透かし」の表示状態となっており、手指Fの先端がより視認しやすい状態とされている。この場合、入力補助画像処理部146は、入力検出部142が検出した指示位置を含む所定面積の範囲を指示領域302Aに設定して、指示領域302Aの表示状態を、仮想入力ボード302における他の部分とは異なる表示とする。指示領域302Aは、図に示した透かし表示の他、仮想入力ボード302の背景色よりも外景を視認しやすい他の色としたり、指示領域302Aの枠を視認しやすい高彩度の色としたりする方法も挙げられる。
図8(B)の例では、アプリケーション画面307と、仮想入力ボード309とがともに表示されている。アプリケーション画面307は、制御部140が実行するアプリケーションプログラムの処理結果等を表示する画面である。例えば制御部140がウェブブラウザーを実行して検索エンジンへの入力を行う場合、アプリケーション画面307には検索キーワードを入力する入力ボックス308が配置され、その下方には検索結果が一覧表示される。この例ではアプリケーション画面307は外景に比べて視認性が高まるよう、明色の背景で表示される。
仮想入力ボード309は、アプリケーション画面307の表示を隠さないようにアプリケーション画面307の下方に並べて配置される。仮想入力ボード309は、アプリケーション画面307の横に並べて配置してもよいし、アプリケーション画面307の周囲に複数の仮想入力ボード309を配置してもよい。
仮想入力ボード309は、仮想入力ボード302(図8(A))と同様に入力補助画像として表示され、外景の視認性を確保するように暗色の背景を有する。入力補助画像処理部146は、距離検出部144が検出した距離に応じて仮想入力ボード309の罫線の間隔や数を変化させることができる。これにより、ユーザーが外景を見ながら、ユーザーの手指や操作デバイス等による入力操作を容易に行うことができ、この入力操作の内容により実行されるアプリケーションプログラムの結果をアプリケーション画面307により視認できる。
また、入力補助画像処理部146は、位置指示操作が行われる仮想入力面までの距離に応じて、入力補助画像の態様を変更可能であるため、ユーザーが操作を行う位置に対応した態様で入力補助画像を表示し、より快適な操作性を実現できる。
さらに、画像表示部20の右LCD241および左LCD242は、マトリクス状に配置された複数の画素により画像を形成し、入力補助画像処理部146は、入力補助画像を構成する画素数を変更可能であるため、入力補助画像のサイズを変更した場合に、サイズの拡大に伴う解像度の低下や、サイズの縮小に伴う視認性の低下等を防止できる。
また、入力補助画像処理部146は、入力検出部142により受け付けた操作位置に対応する位置で入力補助画像の表示態様を変化させるので、検出した操作位置をユーザーに示すことができる。また、入力補助画像の表示態様を変えることで、この操作に続く操作を行い易くし、より一層の操作性の向上を図ることができる。
また、上記実施形態では、頭部装着型表示装置の一例として、ユーザーが眼鏡のように装着する画像表示部20を備えた構成を例に挙げて説明したが、本発明はこれに限定されるものではなく、画像表示部20に代えて、例えば帽子のように装着する画像表示部や、ヘルメット等に組み込まれた画像表示部を備えた構成としてもよい。また、イヤホン32、34は耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。
上記実施形態の頭部装着型表示装置HMは、左右のバックライト221、222と、左右のバックライト制御部201、202と、左右のLCD241、242と、左右のLCD制御部211、212とを備える画像光生成部を用い、画像光生成部が生成した光を右導光板261及び左導光板262によりユーザーの眼に導く構成とした。
これに対し、MEMSミラーを用いた走査光学系を採用してもよい。すなわち、画像表示素子として、信号光形成部と、信号光形成部が射出する光を走査するMEMSミラーを有する走査光学系と、走査光学系により走査される光によって虚像が形成される光学部材とを備えてもよい。この構成では、信号光形成部が射出した光がMEMSミラーにより反射され、光学部材に入射し、光学部材の中を導かれて、虚像形成面に達する。MEMSミラーが光を走査することにより、虚像形成面に虚像が形成され、この虚像をユーザーが眼で捉えることで、画像が認識される。この場合の光学部品は、例えば上記実施形態の右導光板261及び左導光板262のように、複数回の反射を経て光を導くものであってもよく、虚像形成面は、面262Aのようにハーフミラー面となっていてもよい。
また、本発明の表示装置は、上述した頭部装着型の表示装置に限定されず、フラットパネルディスプレイやプロジェクター等の各種の表示装置に適用できる。
さらに、制御部140が実行するプログラムを記憶部120に記憶する構成に限定されず、例えば上記プログラムを、コンピューター読み取り可能な可搬型の記録媒体や制御装置10に外部接続される記憶装置、或いは、制御装置10に有線または無線通信回線を介して接続される装置に記憶させ、必要に応じて制御装置10がプログラムを読み込んで実行するようにしてもよい。その他の頭部装着型表示装置HMの細部構成についても任意に変更可能であることは勿論である。
Claims (12)
- 使用者に画像を視認させる頭部装着型の表示装置であり、
外光に画像光を重ねて出力し、前記画像を視認させる表示手段と、
前記画像に操作エリアを配置して前記表示手段に表示させる表示制御手段と、
撮像部と、
前記撮像部の撮像画像データから指示体の画像を検出し、検出した前記指示体の画像に基づいて前記操作エリアに対応する位置指示操作を受け付ける入力手段と、
少なくとも前記指示体の形状を示すデータを記憶する記憶部と、を備え、
前記表示制御手段は、前記画像に前記位置指示操作をガイドする入力補助画像を含む前記操作エリアを配置して前記表示手段に表示させ、
前記表示制御手段は、前記画像における前記操作エリアの態様を変更可能であり、前記入力手段により受け付けた前記位置指示操作により指定された指示位置を含む範囲を指定領域に設定し、設定した前記指定領域の表示態様を、前記操作エリアの他の領域とは異なる表示態様とすることで、前記操作エリアの態様を変更し、
前記入力手段は、前記撮像部の撮像画像データと、前記記憶部の記憶する形状を示す前記データとに基づき、前記指示体と、前記指示体の種類とを検出して、前記位置指示操作を受け付け、
前記表示制御手段は、前記入力手段により受け付けた前記位置指示操作に対応する位置で前記操作エリアの表示態様を変化させ、前記位置指示操作において検出された前記指示体の種類に対応して前記入力補助画像の表示態様を変更することを特徴とする表示装置。 - 請求項1記載の表示装置であって、
前記表示制御手段は、前記画像に、前記入力補助画像と表示用の領域とを含む前記操作エリアを前記表示手段により表示させ、前記表示用の領域及び前記入力補助画像を、予め設定された背景色に重ねて表示し、前記表示用の領域の背景色を、前記入力補助画像の背景色よりも明色とすることにより、前記外光の光量と前記画像光の光量とのバランスによって前記表示用の領域が前記入力補助画像に比べて視認性が高まるようにすることを特徴とする表示装置。 - 請求項1又は2記載の表示装置であって、
前記位置指示操作が行われる仮想入力面までの距離を検出する距離検出手段を備え、
前記表示制御手段は、前記距離検出手段により検出された距離に応じて、前記操作エリアの態様を変更することを特徴とする表示装置。 - 請求項3記載の表示装置であって、
前記距離検出手段は、前記外光により視認される面を前記仮想入力面として検出し、前記面までの距離を検出することを特徴とする表示装置。 - 請求項4記載の表示装置であって、
前記距離検出手段は、固定物の面又は前記使用者の掌を前記面として検出し、前記面までの距離を検出することを特徴とする表示装置。 - 請求項3ないし5のいずれか一項記載の表示装置であって、
前記表示制御手段は、前記入力補助画像として、前記位置指示操作により文字入力を行うための仮想キーボードの画像を前記表示手段により表示させ、
前記距離検出手段により検出された距離に応じて、前記仮想キーボードの表示サイズ、表示色、表示領域の少なくともいずれかを変更することを特徴とする表示装置。 - 請求項6記載の表示装置であって、
前記入力手段は、前記仮想キーボードの表示位置と、前記撮像画像データから検出された前記指示体の指示位置とを対照して、前記仮想キーボードの選択された文字を特定することを特徴とする表示装置。 - 請求項3ないし5のいずれか一項記載の表示装置であって、
前記表示制御手段は、前記入力補助画像として複数の補助線を含む画像を前記表示手段により表示させ、前記距離検出手段により検出された距離に応じて、前記補助線の間隔を変更することを特徴とする表示装置。 - 請求項8記載の表示装置であって、
前記表示制御手段は、前記入力補助画像として、前記補助線によって区分けされた枠を有する仮想入力ボードの画像を前記表示手段により表示させ、
前記入力手段は、前記撮像部の撮像画像データに基づいて、前記枠内で移動する前記指示体の軌跡を特定して、前記指示体により入力された文字を判定することを特徴とする表示装置。 - 請求項1ないし9のいずれか一項記載の表示装置であって、
前記表示制御手段は、前記撮像部の前記撮像画像データに基づいて前記使用者の視線方向を判定し、前記撮像画像データに基づき前記使用者の視線方向の移動が検出された場合に、前記視線方向の移動が所定範囲内の移動であるか否かを判定し、前記所定範囲内の移動である場合に、検出された前記視線方向の移動を相殺する方向に、前記入力補助画像の表示位置を変更することを特徴とする表示装置。 - 請求項1ないし10のいずれか一項記載の表示装置であって、
前記表示手段は、
表示用画像データを用いて前記画像を表す前記画像光を生成し射出させる画像光生成部と、
射出された前記画像光を前記使用者の眼に導く光学部材と、
を含み、前記光学部材を透過した前記外光を前記画像光とともに前記使用者の眼に入射させることを特徴とする表示装置。 - 外光に画像光を重ねて出力し、画像を視認させる表示手段と、撮像部と、少なくとも指示体の形状を示すデータを記憶する記憶部と、を備え、使用者に画像を視認させる頭部装着型の表示装置の制御方法であって、
前記画像に位置指示操作をガイドする入力補助画像を含む操作エリアを配置して前記表示手段に表示させるステップと、
前記撮像部の撮像画像データから前記指示体の画像を検出し、検出した前記指示体の画像に基づいて前記操作エリアに対応する位置指示操作を受け付けるステップと、
受け付けた前記位置指示操作により指定された指示位置を含む範囲を指定領域に設定するステップと、
設定した前記指定領域の表示態様を、前記操作エリアの他の領域とは異なる表示態様とすることで、前記操作エリアの態様を変更するステップと、を有し、
前記位置指示操作を受け付けるステップは、前記撮像部の撮像画像データと、前記記憶部が記憶する形状を示す前記データとに基づき、前記指示体と、前記指示体の種類とを検出して前記位置指示操作を受け付け、
前記操作エリアの態様を変更するステップは、受け付けた前記位置指示操作に対応する位置で前記操作エリアの表示態様を変化させ、前記位置指示操作において検出された前記指示体の種類に対応して前記入力補助画像の表示態様を変更することを特徴とする表示装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017051591A JP6350705B2 (ja) | 2017-03-16 | 2017-03-16 | 表示装置、および、表示装置の制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017051591A JP6350705B2 (ja) | 2017-03-16 | 2017-03-16 | 表示装置、および、表示装置の制御方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012286584A Division JP6111659B2 (ja) | 2012-12-28 | 2012-12-28 | 表示装置、および、表示装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017139000A JP2017139000A (ja) | 2017-08-10 |
JP6350705B2 true JP6350705B2 (ja) | 2018-07-04 |
Family
ID=59564962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017051591A Active JP6350705B2 (ja) | 2017-03-16 | 2017-03-16 | 表示装置、および、表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6350705B2 (ja) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH075978A (ja) * | 1993-06-18 | 1995-01-10 | Sony Corp | 入力装置 |
JPH0778055A (ja) * | 1993-06-25 | 1995-03-20 | Casio Comput Co Ltd | データ処理装置 |
JP2008009490A (ja) * | 2006-06-27 | 2008-01-17 | Konica Minolta Holdings Inc | 情報入力装置 |
JP5309448B2 (ja) * | 2007-01-26 | 2013-10-09 | ソニー株式会社 | 表示装置、表示方法 |
JP2009033592A (ja) * | 2007-07-30 | 2009-02-12 | Kyocera Mita Corp | 画像形成装置 |
JP4679661B1 (ja) * | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
JP5743416B2 (ja) * | 2010-03-29 | 2015-07-01 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2011243157A (ja) * | 2010-05-21 | 2011-12-01 | Panasonic Corp | 電子機器、ボタンサイズ制御方法、及びプログラム |
JP5348114B2 (ja) * | 2010-11-18 | 2013-11-20 | 日本電気株式会社 | 情報表示システム、装置、方法及びプログラム |
JP2012248067A (ja) * | 2011-05-30 | 2012-12-13 | Canon Inc | 情報入力装置、その制御方法、および制御プログラム |
-
2017
- 2017-03-16 JP JP2017051591A patent/JP6350705B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017139000A (ja) | 2017-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6111659B2 (ja) | 表示装置、および、表示装置の制御方法 | |
JP6089705B2 (ja) | 表示装置、および、表示装置の制御方法 | |
JP5884576B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6149403B2 (ja) | 表示装置、および、表示装置の制御方法 | |
JP6232763B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
US9921646B2 (en) | Head-mounted display device and method of controlling head-mounted display device | |
US10140768B2 (en) | Head mounted display, method of controlling head mounted display, and computer program | |
US20150168729A1 (en) | Head mounted display device | |
US9792710B2 (en) | Display device, and method of controlling display device | |
JP6264871B2 (ja) | 情報処理装置および情報処理装置の制御方法 | |
JP6459380B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
JP6303274B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP2016004340A (ja) | 情報配信システム、頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム | |
US20160021360A1 (en) | Display device, method of controlling display device, and program | |
JP6036291B2 (ja) | 表示装置、表示システム、および、表示装置の制御方法 | |
JP5990958B2 (ja) | 頭部装着型表示装置 | |
JP6428024B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP6350705B2 (ja) | 表示装置、および、表示装置の制御方法 | |
JP6394108B2 (ja) | 頭部装着型表示装置およびその制御方法、並びにコンピュータープログラム | |
JP6669183B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6217772B2 (ja) | 頭部装着型表示装置および頭部装着型表示装置の制御方法 | |
JP6308249B2 (ja) | 頭部装着型表示装置および方法 | |
JP6268704B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム | |
JP2013201636A (ja) | 電子機器 | |
JP2018081415A (ja) | 入力装置、入力方法、コンピュータープログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6350705 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |