JP6790769B2 - 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 - Google Patents
頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 Download PDFInfo
- Publication number
- JP6790769B2 JP6790769B2 JP2016232379A JP2016232379A JP6790769B2 JP 6790769 B2 JP6790769 B2 JP 6790769B2 JP 2016232379 A JP2016232379 A JP 2016232379A JP 2016232379 A JP2016232379 A JP 2016232379A JP 6790769 B2 JP6790769 B2 JP 6790769B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- candidate
- indicator
- user
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Description
特許文献1は、手話者の指文字を撮像して、撮像した画像データを処理して手話者の指文字を認識する手話認識装置を開示する。
本発明は、指示体による入力の精度を向上させ、使用者の使い勝手を向上させることを目的とする。
本発明によれば、検出部が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出エリアを示す画像に対応する位置に表示されるので、指示体による入力の精度を向上させることができる。また、使用者は、指示体により入力を行うことができるので、使用者の使い勝手を向上させることができる。
本発明によれば、候補表示エリアを示す画像が、検出エリアを示す画像に対応する位置、又は検出エリアにおいて検出された指示体に対応する位置に表示される。このため、候補表示エリアに表示された候補を選択する操作が簡易になる。
本発明によれば、指示体の動き、形状及び位置の少なくともいずれかにより、複数の候補のいずれかを選択することができる。
本発明によれば、指示体の動き、形状及び位置の少なくともいずれかに基づき、候補として表示された複数の文字からいずれかを選択することができる。
本発明によれば、候補を表示させた方向に指示体を移動させることで、移動させた方向に表示された候補を選択することができる。
本発明によれば、指示体の形状が予め設定された時間以上同一の形状である場合に、候補が表示される。このため、使用者の意図する候補が表示される確率を高めることができる。
本発明によれば、使用者の左手を含む指示体の検出エリアを示す画像と、右手を含む指示体の検出エリアを示す画像とがそれぞれに表示される。このため、検出部が検出した指示体が左手を含む指示体であるのか、右手を含む指示体であるのかを判定する必要がなくなり、候補を表示する時間を短縮し、使用者の意図する候補が表示される確率を高めることができる。
本発明によれば、予め設定された音声により、頭部装着型表示装置に、指示体の検出を開始させることができる。
本発明によれば、使用者の手指の動き又は形状に基づいてジェスチャー又ハンドサインを特定し、特定したジェスチャー又はハンドサインに対応する候補を表示させることができる。
本発明によれば、検出部が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出エリアを示す画像に対応する位置に表示されるので、指示体による入力の精度を向上させることができる。また、使用者は、身体の一部を含む指示体により入力を行うことができるので、使用者の使い勝手を向上させることができる。
本発明によれば、検出部が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出エリアを示す画像に対応する位置に表示されるので、指示体による入力の精度を向上させることができる。また、使用者は、身体の一部を含む指示体により入力を行うことができるので、使用者の使い勝手を向上させることができる。
HMD100は、使用者の頭部に装着され、使用者に虚像を視認させる画像表示部20(表示部)と、画像表示部20を制御する制御装置10と、を備える表示装置である。画像表示部20を頭部に装着した者を使用者という。
右保持部21及び左保持部23は、それぞれ、前部フレーム27の両端部から後方に延び、眼鏡のテンプル(つる)のように、使用者の頭部に画像表示部20を保持する。ここで、前部フレーム27の両端部のうち、画像表示部20の装着状態において使用者の右側に位置する端部を端部ERとし、使用者の左側に位置する端部を端部ELとする。右保持部21は、前部フレーム27の端部ERから、画像表示部20の装着状態において使用者の右側頭部に対応する位置まで延伸して設けられる。左保持部23は、端部ELから、画像表示部20の装着状態において使用者の左側頭部に対応する位置まで延伸して設けられる。
右導光板26及び左導光板28の表面に、調光板(図示略)を設けてもよい。調光板は、光の波長域により透過率が異なる薄板上の光学素子であり、いわゆる波長フィルターとして機能する。調光板は、例えば、使用者の眼の側と反対の側である前部フレーム27の表側を覆うように配置される。この調光板の光学特性を適宜選択することにより、可視光、赤外光及び紫外光等の任意の波長域の光の透過率を調整することができ、外部から右導光板26及び左導光板28に入射し、右導光板26及び左導光板28を透過する外光の光量を調整できる。
カメラ61は、制御部150(図5)が備える撮像制御部147の制御に従って撮像を実行する。カメラ61は、撮像画像データを、後述するインターフェイス211を介して制御部150に出力する。
図2に示すように、右表示ユニット22及び左表示ユニット24は、左右対称に構成される。右表示ユニット22は、使用者の右眼REに画像を視認させる構成として、画像光を発するOLED(Organic Light Emitting Diode)ユニット221と、OLEDユニット221が発する画像光Lを導くレンズ群等を備えた右光学系251とを備える。画像光Lは、右光学系251により右導光板26に導かれる。
なお、OLEDパネル223は、白色に発光する発光素子をマトリクス状に配置し、R、G、Bの各色に対応するカラーフィルターを重ねて配置する構成であってもよい。また、R、G、Bの色光をそれぞれ放射する発光素子に加え、W(白)の光を発する発光素子を備えるWRGB構成のOLEDパネル223を用いてもよい。
ハーフミラー261、281は、右表示ユニット22及び左表示ユニット24がそれぞれ出力する画像光を反射して画像を取り出す画像取り出し部であり、表示部ということができる。
制御装置10と画像表示部20とを無線接続してもよい。例えば、Bluetooth(登録商標)、無線LAN(Wi−Fi(登録商標)を含む)等の規格に準拠した無線通信により、制御装置10と画像表示部20とが制御信号やデータを相互に送受信する構成としてもよい。
LEDインジケーター12は、HMD100の動作状態に対応して点灯し、又は点滅する。上下キー15は、右イヤホン32及び左イヤホン34から出力する音量の増減の指示入力や、画像表示部20の表示の明るさの増減の指示入力に利用される。切替スイッチ16は、上下キー15の操作に対応する入力を切り替えるスイッチである。電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチであり、例えばスライドスイッチである。
図3では、使用者の右眼REに画像光を照射するハーフミラー261、及び左眼LEに画像光を照射するハーフミラー281が、略四角形の領域として見える。また、ハーフミラー261、281を含む右導光板26及び左導光板28の全体が、上述したように外光を透過する。このため、使用者には、右導光板26及び左導光板28の全体を透過して外景が視認され、ハーフミラー261、281の位置に矩形の表示画像が視認される。
制御装置10は、プログラムを実行してHMD100を制御するメインプロセッサー140を備える。メインプロセッサー140には、メモリー118及び不揮発性記憶部121が接続される。また、メインプロセッサー140には、入力装置としてトラックパッド14及び操作部110が接続される。また、メインプロセッサー140には、センサー類として、6軸センサー111、磁気センサー113が接続される。また、メインプロセッサー140には、GPS受信部115、通信部117、ビーコン受信部119、音声コーデック180、外部コネクター184、外部メモリーインターフェイス186、USBコネクター188、センサーハブ192及びFPGA194が接続される。これらは外部とのインターフェイスとして機能する。
操作部110は、ボタン11及びLED表示部17を含む。操作部110は、ボタン11が有するボタンやスイッチ等の操作子が操作された場合に、操作された操作子に対応する操作信号をメインプロセッサー140に出力する。
磁気センサー113は、例えば、3軸の地磁気センサーである。
6軸センサー111及び磁気センサー113は、検出値を、予め指定されたサンプリング周期に従ってメインプロセッサー140に出力する。また、6軸センサー111及び磁気センサー113は、メインプロセッサー140の要求に応じて、メインプロセッサー140により指定されたタイミングで、検出値をメインプロセッサー140に出力する。
USB(Universal Serial Bus)コネクター188は、USB規格に準拠したコネクターとインターフェイス回路とを備える。USBコネクター188は、USBメモリーデバイス、スマートフォン、コンピューター等を接続できる。USBコネクター188のサイズや形状、適合するUSB規格のバージョンは適宜に選択、変更可能である。
インターフェイス211は、受信部213、EEPROM215、温度センサー217、カメラ61、照度センサー65、及びLEDインジケーター67を、制御装置10に接続する。
照度センサー65は、図1に示すように、前部フレーム27の端部ERに設けられ、画像表示部20を装着する使用者の前方からの外光を受光するよう配置される。照度センサー65は、受光量(受光強度)に対応する検出値を出力する。
LEDインジケーター67は、図1に示すように、前部フレーム27の端部ERにおいてカメラ61の近傍に配置される。LEDインジケーター67は、カメラ61による撮像を実行中に点灯して、撮像中であることを報知する。
インターフェイス231は、受信部233、6軸センサー235、磁気センサー237、及び温度センサー239を、制御装置10に接続する。
磁気センサー237は、例えば、3軸の地磁気センサーである。
また、温度センサー239が、OLEDパネル243又はOLED駆動回路245に内蔵されてもよい。また、上記基板は半導体基板であってもよい。具体的には、OLEDパネル243が、Si−OLEDとして、OLED駆動回路245等とともに統合半導体チップ上の集積回路として実装される場合、この半導体チップに温度センサー239を実装してもよい。
また、センサーハブ192は、メインプロセッサー140の制御に従ってLEDインジケーター67への通電を開始及び停止させ、カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯又は点滅させる。
記憶部122は、制御部150が処理する各種のデータを記憶する。具体的には、記憶部122は、設定データ123、コンテンツデータ124、パターン認識辞書125及び音声パターン辞書126を記憶する。
また、コンテンツデータ124は、コンテンツを画像表示部20により表示する際に、制御装置10によって使用者の操作を受け付けて、受け付けた操作に応じた処理を制御部150が実行する、双方向型のコンテンツであってもよい。この場合、コンテンツデータ124は、操作を受け付ける場合に表示するメニュー画面の画像データ、メニュー画面に含まれる項目に対応する処理等を定めるデータ等を含んでもよい。
ジェスチャー認識辞書125Aは、ジェスチャーを特定するための情報と、文字や記号を示す情報(以下、文字情報という)とを対応付けて登録した辞書である。ジェスチャーは、予め設定された手の形状(形態)を予め設定された順番に行う手指の動きの軌跡である。ジェスチャーを特定するための情報として、各形状(形態)における指の位置や形状等を示すデータがジェスチャーごとに辞書に登録される。例えば、ジェスチャーが、握った手を開く動作、すなわち「グー」の状態の手を開いて「パー」の状態にする動作であると仮定する。この場合、ジェスチャーを特定するための情報には、手や指の変化前の形状や位置を示す情報と、変化後の形状や位置を示す情報とが含まれる。また、手や指の変化前や変化後の形状や位置を示す情報には、例えば、各指の位置等を示す情報が含まれる。具体的には、手のひらが閉じられた状態での各指の位置等を示す情報と、手のひらが開いた状態での各指の位置等を示す情報とが含まれる。
また、ハンドサイン認識辞書125Bは、ハンドサインを特定するための情報と、文字情報とを対応付けて登録した辞書である。ハンドサインは、予め設定された手や指の形状や位置を示し、ハンドサインを特定するための情報は、手や指の位置や形状を示す情報である。
音声パターン辞書126は、予め設定された音声データを登録した辞書である。音声パターン辞書126には、例えば、指を鳴らす動作であるフィンガースナップの音声データや、例えば、トラックパッド14等を叩くノック音の音声データが登録される。
また、画像処理部145は、必要に応じて、画像データの解像度を右表示ユニット22及び左表示ユニット24に適した解像度に変換する解像度変換処理を行ってもよい。また、画像処理部145は、画像データの輝度や彩度を調整する画像調整処理、3D画像データから2D画像データを作成し、又は2D画像データから3D画像データを生成する2D/3D変換処理等を実行してもよい。画像処理部145は、これらの画像処理を実行した場合、処理後の画像データに基づき画像を表示するための信号を生成して、接続ケーブル40を介して画像表示部20に送信する。
また、操作制御部149は、トラックパッド14における操作を検出した場合に、トラックパッド14における操作位置の座標を取得する。操作制御部149は、操作位置の軌跡を生成する。操作位置の軌跡は、トラックパッド14のタッチ操作が解除されない間、すなわち操作体がトラックパッド14に接触した状態が継続する間の操作位置の軌跡である。
検出制御部151は、記憶部122から撮像画像データを取得し、取得した撮像画像データに撮像された使用者の手や指の領域(以下、手指領域という)を検出する。また、検出制御部151は、検出した手指領域に写った手指の形状や位置を特定し、特定した手指の形状や位置を、パターン認識辞書125に登録された情報と比較して、ジェスチャーやハンドサインを検出する。
具体的には、検出制御部151は、取得した撮像画像データから使用者の手指が撮像された領域を検出する。検出制御部151は、例えば、肌色抽出処理により、撮像画像データの領域から肌色領域を抽出し、しきい値処理により、抽出した肌色領域の画素値をしきい値と比較して手指領域を検出する。また、検出制御部151は、エッジ検出処理により、求めた手指領域の輪郭を抽出し、輪郭の凹凸による特徴点マッチングや曲率判定を用いて手指の形状や位置を検出する。また、検出制御部151は、連続して撮像される撮像画像データのそれぞれから手指の形状や位置を検出し、手指の形状や位置の変化、すなわち動きを検出する。検出制御部151は、手指の形状や位置を検出すると、検出した手指の形状や位置を、パターン認識辞書125に登録された情報と比較して、ジェスチャーやハンドサインを検出する。
また、使用者が身に付けた指輪や時計、バンドを検出し、検出した指輪や時計、バンドよりも使用者の体から離れた側を手指と判定して、ジェスチャーやハンドサインを判定してもよい。これにより、複雑な手指認識を行わなくても簡易に手指を認識することができ、ジェスチャーやハンドサインの認識にかかる時間を短縮し、ジェスチャーやハンドサインの認識精度を高めることができる。
表示制御部153が表示させる入力内容の候補は、文字や記号に限定されるものではない。例えば、表示制御部153が表示領域310にソフトウェアキーボードの画像を表示させ、検出制御部151が撮像画像データから手指の位置を検出して、選択されたキーを検出する構成であると仮定する。この場合、表示制御部153は、検出制御部151が検出した手指の位置に表示されたキーを入力内容の候補として表示してもよい。
制御部150は、まず、予め設定された操作を受け付けたか否かを判定する(ステップS1)。予め設定された操作には、例えば、ボタン11や、上下キー15、トラックパッド14の操作が含まれる。
また、制御部150は、使用者の頭部の動きを画像表示部20に搭載された6軸センサー235により検出し、予め設定された頭部の動きが検出された場合に、予め設定された操作を受け付けたと判定してもよい。例えば、制御部150は、6軸センサー235の検出値に基づいて、うなずきや首振りといった頭部の動きを検出した場合に、予め設定された操作を受け付けたと判定してもよい。
また、制御部150は、カメラ61が撮像した撮像画像データから使用者の手指領域を検出し、予め設定されたジェスチャーやハンドサインが検出された場合に、予め設定された操作を受け付けたと判定してもよい。
また、制御部150は、マイク63から入力される音声信号に基づき、予め設定された操作を受け付けたか否かを判定してもよい。制御部150は、マイク63から入力される音声信号を、音声パターン辞書126から取得した音声パターンと比較する。制御部150は、音声パターン辞書126に登録されたフィンガースナップやノック音に一致する音声信号が入力された場合に、予め設定された操作を受け付けたと判定してもよい。
HMD100の右導光板26及び左導光板28は、外界から入射される光を透過する。このため使用者は、外景を視認することができる。外景とは、使用者の眼に画像表示部20越しに見える景色である。図7には、先生が黒板を使って授業を行っている授業風景が外景として視認される場合を示す。すなわち、図7は、HMD100を装着した生徒の視界300を示す。
また、HMD100の使用者は、表示領域310に表示される拡張現実の画像を視認する。拡張現実の画像は、右表示ユニット22及び左表示ユニット24により使用者の両眼に導かれた画像光が使用者の網膜に結像することによって視認される。表示領域310は、HMD100が画像を表示することができる領域をいう。使用者は、表示領域310内では、HMD100の表示する拡張現実の画像と外景とを視認する。また、使用者は、表示領域310の外側では、外景を視認する。
なお、図7には、説明のため表示領域310を示す矩形の画像を示したが、使用者が表示領域310を示す画像を視認することはない。
制御部150は、左検出範囲画像321に対応する撮像画像データの範囲から検出した手指領域を使用者の左手の手指と判定する。また、制御部150は、右検出範囲画像322に対応する撮像画像データの範囲から検出した手指領域を使用者の右手の手指と判定する。このため、制御部150は、検出した手指が右手の手指であるのか、左手の手指であるのかを判定する必要がなくなり、手指の認識にかかる時間を短縮することができる。また、左右の手指を誤って認識する誤認識の発生を低減することができる。
また、図7には、左検出範囲画像321及び右検出範囲画像322として円形の画像を表示させたが、検出範囲画像320の形状は円形に限定されるものではない。例えば、検出範囲画像320として、矩形の画像であってもよいし、多角形の画像であってもよい。
また、検出範囲画像320の画像サイズは、カメラ61が撮像する撮像画像データに写った使用者の手指のサイズよりも大きくなるように予め設定される。
使用者が行うハンドサインやジェスチャーは、左右の手指がそれぞれ1つの文字や記号を表すものであってもよいし、左手指が母音を示し、右手指が子音を示す等、両手の組み合わせで1つの文字を表すものであってもよい。
図8は、左検出範囲画像321及び右検出範囲画像322内に使用者の手指が表示された状態を示す図である。
制御装置10は、カメラ61の撮像画像データ上での位置と、画像表示部20が画像を表示する表示領域310上での位置とを対応付けるためのキャリブレーションを、この処理フローの開始前に予め実行する。本実施形態では、次の方法によりキャリブレーションを行う。
制御部150は、画像表示部20にキャリブレーション用画像を表示させながら、キャリブレーション用画像に対応した参照実物体を、カメラ61の撮像画像データから認識し、追跡する。この状態で、使用者が、トラックパッド14等のユーザーインターフェイスを介してキャリブレーション用画像の位置を画像表示部20上で移動させる。そして、使用者が、キャリブレーション用画像と参照実物体とが重なる(位置、大きさ、向きの少なくとも1つがほぼ一致する)ように知覚したタイミングにて、ユーザーインターフェイスを介して制御部150に通知する。制御部150は、取得した通知に応じて、当該タイミングでの参照実物体の検出結果(撮像画像データ上の位置)と、画像表示部20上でのキャリブレーション用画像の表示位置とを対応付けるパラメーターを生成する。
例えば、制御部150は、肌色抽出処理により、抽出した領域した撮像画像データの領域から肌色領域を抽出し、しきい値処理により、抽出した肌色領域の画素値をしきい値と比較して手指領域を求める。また、制御部150は、エッジ検出処理により、求めた手指領域の輪郭を抽出し、輪郭の凹凸による特徴点マッチングや曲率判定を用いて手指を検出する。
例えば、制御部150は、連続して撮像される撮像画像データから手指の形状や位置特定して手指の動きを追跡し、追跡した手指の動きに対応する文字を特定する。より詳細には、制御部150は、手指が検出範囲画像320内において撮像され始めた時点をジェスチャーの開始時、手指が検出範囲画像320から外に出た時点をジェスチャーの終了時として、一連の動きを追跡する。そして、制御部150は、ジェスチャー認識辞書125Aに登録されたジェスチャーを特定するための情報と、追跡した手指の動きとのマッチング処理を行って、マッチング結果が条件を満たすジェスチャーを選択する(ステップS9)。
例えば、制御部150は、手指の変化前の形状や位置や、手指の変化後の形状や位置を、ジェスチャーを特定するための情報と比較する。そして、制御部150は、変化前の手指の形状や位置や、変化後の手指の形状や位置と少なくとも一部が一致するジェスチャーを選択する(ステップS9)。そして、制御部150は、選択したジェスチャーを示す画像を候補表示領域330に表示させると共に、このジェスチャーに対応付けられた文字を候補文字として候補表示領域330に表示させる(ステップS10)。
制御部150は、同一の手指の形状が予め設定された時間以上、継続して検出された場合に、検出された手指の形状や位置に基づいてハンドサインを選択してもよい。同一の手指の形状が予め設定された時間以上、継続して検出された場合にハンドサインを選択することで、使用者が意図した候補文字が候補表示領域330に表示される確率を高めることができる。
候補表示領域330は、検出範囲画像320に対応する位置、又は検出範囲画像320において検出された手指に対応する位置に表示される。候補表示領域330は、左候補表示領域331と、右候補表示領域332とを有する。左候補表示領域331は、左検出範囲画像321に対応する位置、又は左検出範囲画像321において検出された手指に対応する位置に表示される。また、右候補表示領域332は、右検出範囲画像322に対応する位置、又は右検出範囲画像322において検出された手指に対応する位置に表示される。
図9には、左候補表示領域331を左検出範囲画像321の周囲に表示し、右候補表示領域332を右検出範囲画像322の周囲に表示した例を示す。左検出範囲画像321の周囲とは、左検出範囲画像321の近傍であって、左候補表示領域331と左検出範囲画像321とが対応付けられていると使用者が認識できる距離の範囲である。この距離は、使用者が予め設定した距離を用いてもよい。右検出範囲画像322の周囲も同様である。左候補表示領域331は、撮像画像データに撮像された左の手指の動きや形状、位置等に基づいて選択したジェスチャーやハンドサインを表示する領域である。右候補表示領域332は、撮像画像データに撮像された右の手指の動きや形状、位置等に基づいて選択したジェスチャーやハンドサインを表示する領域である。
また、左候補表示領域331の少なくとも一部が左検出範囲画像321に重なるように左候補表示領域331を表示し、右候補表示領域332の少なくとも一部が右検出範囲画像322に重なるように右候補表示領域332を表示してもよい。また、検出された手指に対応する位置として、例えば、使用者の手指のうち、人指し指等の予め設定された指の指先の位置に左候補表示領域331及び右候補表示領域332を表示してもよい。このように候補表示領域330を検出範囲画像320の近傍に表示することで、使用者は、視線を移動させることなく、手指の近傍に表示される候補文字を選択することができる。
次に、制御部150は、カメラ61に撮像を実行させ、カメラ61の生成する撮像画像データを取得する(ステップS13)。制御部150は、キャリブレーションにより生成したパラメーターを使用して、候補表示領域330に対応する撮像画像データの領域を特定し、特定した領域に対して抽出処理を実行して手指領域を抽出する。制御部150は、ステップS4で実行した抽出処理と同様の処理を行って、特定した撮像画像データの領域から手指領域を検出する検出処理を実行する。制御部150は、検出処理を実行すると、撮像画像データから手指領域を検出したか否かを判定する(ステップS14)。
制御部150は、手指領域を検出できなかった場合(ステップS14/NO)、ステップS13に戻り撮像画像データを取得し(ステップS13)、検出処理を再度実行する。
例えば、制御部150は、候補表示領域330に表示する複数の候補文字にそれぞれ番号を付し、この番号を候補文字と共に候補表示領域330に表示させる。
使用者は、選択する候補文字に対応する番号の指文字を作り、指文字を作った手指が候補表示領域330に重なるようにする。制御部150は、撮像画像データから手指領域を検出し、検出した手指領域に写った手指の形状を特定して、選択された候補文字を判定する。また、使用者は、選択する候補文字に対応する番号に対応付けられたジェスチャーを行ってもよい。制御部150は、連続して撮像される複数枚の撮像画像データから手指領域を検出して手指の動きを検出し、パターン認識辞書125を参照してジェスチャーを特定する。そして、制御部150は、特定したジェスチャーに対応付けられた番号を判定して、候補文字を選択する。
図11には、左検出範囲画像321の上下左右の4方向に対応する方向に左候補表示領域331をそれぞれ表示し、右検出範囲画像322の上下左右の4方向に対応する方向に右候補表示領域332をそれぞれ表示した例を示す。
使用者は、入力したい候補文字が表示された候補表示領域330の方向に手指を移動させる。制御部150は、カメラ61の撮像画像データを取得し、上下左右の候補表示領域330に対応する撮像画像データの各領域から、上述した方法により手指領域を検出する。制御部150は、手指領域が検出された場合、この手指領域を検出した候補表示領域330に表示した候補文字が選択されたと判定する。使用者は、入力したい文字が表示された方向に手指を移動させればよいので、候補文字の選択を容易に行うことができる。
図11には、検出範囲画像320の上下左右の4方向に候補表示領域330を表示させた場合を示したが、選択される候補文字の数に応じて候補表示領域330を表示させる方向を変更してもよい。例えば、候補文字として2つの文字を選択した場合、検出範囲画像320の上下方向、又は左右方向に候補表示領域330を表示させることができる。
画像表示部20は、外景を透過し、外景とともに視認できるように画像を表示領域310に表示する。カメラ61及び検出制御部151は、使用者の動作に対応付けられた指示体を検出する。表示制御部153は、検出制御部151が指示体を検出する範囲を示す検出範囲画像320を表示領域310に表示させる。また、表示制御部153は、検出制御部151が検出する指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、表示領域310において検出範囲画像320に対応する位置に表示させる。
従って、検出制御部151が検出した指示体の動き、形状及び位置のいずれかに対応する入力内容の候補が、検出範囲画像320に対応する位置に表示される。このため、指示体による入力の精度を向上させることができる。また、使用者は、身体の一部を含む指示体により入力を行うことができるので、使用者の使い勝手を向上させることができる。
従って、候補表示領域330に表示された候補文字を選択する操作が簡易になる。
従って、指示体の動き、形状及び位置の少なくともいずれかにより、複数の候補文字の中からいずれかを選択することができる。
従って、指示体の動き、形状及び位置の少なくともいずれかに基づき、複数の候補文字の中からいずれかを選択することができる。
従って、候補文字を表示させた方向に指示体を移動させることで、移動させた方向に表示された候補を選択することができる。
従って、使用者の意図する候補文字が表示される確率を高めることができる。
従って、検出制御部151が検出した指示体が左手を含む指示体であるのか、右手を含む指示体であるのかを判定する必要がなくなり、候補文字を表示する時間を短縮し、使用者の意図する候補が表示される確率を高めることができる。
例えば、上述した実施形態は、カメラ61の撮像画像データを用いて使用者の手指を検出したが、使用者の手指の検出方法はこの方法に限定されるものではない。例えば、HMD100に赤外線を撮像するカメラを搭載し、使用者の手に付けたデバイスから出力される赤外線をこのカメラにより撮像して、使用者の手指の動きや、形状、位置等を検出してもよい。
また、使用者の指にセンサーを付けて、このセンサーにより使用者の手指の動きや、形状、位置等を検出し、センサーにより検出される手指の動きや、形状、位置等を近距離無線通信によりHMD100に送信してもよい。
また、ジャイロセンサーや加速度センサー等の慣性センサーを使用者の手指に装着し、慣性センサーにより動きとして計測される情報から逆算して、手指の動きや形状、位置等を求めてもよい。
例えば、HMD100の画像表示部20に装着検出部(図示略)を設ける。装着検出部は、例えば、画像表示部20に設けられた6軸センサー235や磁気センサー237の検出値に基づいて、HMD100が使用者の頭部に装着されたことを検出してもよい。また、HMD100の画像表示部20にハードスイッチを設け、HMD100が使用者の頭部に装着され、ハードスイッチの状態が切り替わったことを装着検出部が検出して、HMD100が使用者の頭部に装着されたことを検出してもよい。
さらに、本発明の光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
Claims (8)
- 使用者の頭部に装着される頭部装着型表示装置であって、
外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、
前記使用者の動作に対応付けられた指示体を検出する検出部と、
前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させ、前記検出部が検出した前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域の前記検出エリアを示す画像に対応する位置に表示させる制御部と、を備え、
前記制御部は、前記検出エリアを示す画像の周囲に複数の前記入力内容の候補を表示させ、
前記検出部により検出された前記指示体の移動方向が前記入力内容の候補を表示させたいずれかの方向に対応する場合に、前記指示体の移動方向に対応する前記入力内容の候補が選択されたと判定する、頭部装着型表示装置。 - 使用者の頭部に装着される頭部装着型表示装置であって、
外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、
前記使用者の動作に対応付けられた指示体を検出する検出部と、
前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させ、前記検出部が検出した前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域の前記検出エリアを示す画像に対応する位置に表示させる制御部と、
前記指示体としての前記使用者の手指の予め設定された動きの軌跡を示すジェスチャーと、前記入力内容の候補とを対応付けたジェスチャー登録辞書と、前記手指の予め設定された形状を示すハンドサインと、前記入力内容の候補とを対応付けたハンドサイン登録辞書とを記憶する記憶部と、を備え、
前記制御部は、前記検出部が検出した前記手指の動き又は形状と、前記ジェスチャー登録辞書及び前記ハンドサイン登録辞書とのマッチングにより前記ジェスチャー又は前記ハンドサインを選択し、選択した前記ジェスチャー又は前記ハンドサインに対応する前記入力内容の候補を表示させる、頭部装着型表示装置。 - 前記制御部は、前記検出部により検出された前記指示体の形状が、予め設定された時間以上同一の形状である場合に前記ハンドサイン登録辞書を選択し、前記入力内容の候補として、前記検出部が検出した前記指示体の形状に対応したハンドサインの候補を前記ハンドサイン登録辞書から取得し、取得した前記入力内容の候補を前記表示部に表示させる、請求項2記載の頭部装着型表示装置。
- 使用者の頭部に装着される頭部装着型表示装置であって、
外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、
前記使用者の動作に対応付けられた指示体を検出する検出部と、
前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させ、前記検出部が検出した前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域の前記検出エリアを示す画像に対応する位置に表示させる制御部と、を備え、
前記制御部は、前記入力内容の候補として候補文字を前記表示領域の候補表示エリアに表示させ、前記候補表示エリアを、前記検出エリアを示す画像に対応する位置、又は前記検出エリアにおいて検出された前記指示体に対応する位置に表示させ、
前記検出部が前記候補表示エリアに表示された前記候補文字に対応する位置で前記指示体を検出した場合に、前記指示体を検出した位置に表示した前記候補文字が選択されたと判定する、頭部装着型表示装置。 - 前記制御部は、前記検出エリアを示す画像として、前記使用者の左手を含む指示体を検出する検出エリアを示す画像と、前記使用者の右手を含む指示体を検出する検出エリアを示す画像とを表示させる請求項1から4のいずれか一項に記載の頭部装着型表示装置。
- 音声を入力する音声入力部を備え、
前記制御部は、前記音声入力部により予め設定された音声が入力された場合に、前記表示領域に前記検出エリアを示す画像を表示させ、
前記検出部は、前記検出エリアを示す画像が示す範囲内で前記指示体を検出する、請求項1から5のいずれか一項に記載の頭部装着型表示装置。 - 外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置に搭載されたコンピューターが実行するプログラムであって、
コンピューターに、
前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させる手順と、
前記検出部が検出した前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域の前記検出エリアを示す画像に対応する位置に表示させる手順と、
前記表示領域に表示された前記入力内容の候補のうち、いずれの候補が選択されたのかを判定する手順と、を実行させ、
前記表示させる手順は、前記検出エリアを示す画像の周囲に複数の前記入力内容の候補を表示させ、
前記判定する手順は、前記検出部により検出された前記指示体の移動方向が前記入力内容の候補を表示させたいずれかの方向に対応する場合に、前記指示体の移動方向に対応する前記入力内容の候補が選択されたと判定する、プログラム。 - 外景を透過し、前記外景とともに視認できるように画像を表示領域に表示する表示部と、使用者の動作に対応付けられた指示体を検出する検出部とを備え、前記使用者の頭部に装着される頭部装着型表示装置の制御方法であって、
前記検出部が前記指示体を検出する検出エリアを示す画像を前記表示領域に表示させるステップと、
前記検出部が検出した前記指示体の動き、形状及び位置の少なくともいずれかに対応する入力内容の候補を、前記表示領域の前記検出エリアを示す画像に対応する位置に表示させるステップと、
前記表示領域に表示された前記入力内容の候補のうち、いずれの候補が選択されたのかを判定するステップと、を有し、
前記表示させるステップは、前記検出エリアを示す画像の周囲に複数の前記入力内容の候補を表示させ、
前記判定するステップは、前記検出部により検出された前記指示体の移動方向が前記入力内容の候補を表示させたいずれかの方向に対応する場合に、前記指示体の移動方向に対応する前記入力内容の候補が選択されたと判定する、頭部装着型表示装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232379A JP6790769B2 (ja) | 2016-11-30 | 2016-11-30 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
US15/801,916 US10296105B2 (en) | 2016-11-30 | 2017-11-02 | Head-mounted display device, computer program, and control method for head-mounted display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016232379A JP6790769B2 (ja) | 2016-11-30 | 2016-11-30 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018092206A JP2018092206A (ja) | 2018-06-14 |
JP6790769B2 true JP6790769B2 (ja) | 2020-11-25 |
Family
ID=62565562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016232379A Active JP6790769B2 (ja) | 2016-11-30 | 2016-11-30 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6790769B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019219904A (ja) | 2018-06-20 | 2019-12-26 | ソニー株式会社 | プログラム、認識装置、及び、認識方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4267648B2 (ja) * | 2006-08-25 | 2009-05-27 | 株式会社東芝 | インターフェース装置及びその方法 |
JP5766957B2 (ja) * | 2011-01-14 | 2015-08-19 | オリンパス株式会社 | ジェスチャ入力装置 |
JP2013164834A (ja) * | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5900393B2 (ja) * | 2013-03-21 | 2016-04-06 | ソニー株式会社 | 情報処理装置、操作制御方法及びプログラム |
US20160109957A1 (en) * | 2013-05-09 | 2016-04-21 | Sony Computer Entertainment Inc. | Information processing apparatus and application execution method |
WO2015030264A1 (ja) * | 2013-08-30 | 2015-03-05 | 国立大学法人山梨大学 | クリック動作検出装置,方法およびプログラム |
EP2924539B1 (en) * | 2014-03-27 | 2019-04-17 | Lg Electronics Inc. | Display device and operating method thereof using gestures |
JP6288372B2 (ja) * | 2015-05-21 | 2018-03-07 | 日本電気株式会社 | インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム |
-
2016
- 2016-11-30 JP JP2016232379A patent/JP6790769B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018092206A (ja) | 2018-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10643390B2 (en) | Head mounted display, method for controlling head mounted display, and computer program | |
US11310483B2 (en) | Display apparatus and method for controlling display apparatus | |
US10635182B2 (en) | Head mounted display device and control method for head mounted display device | |
CN108508603B (zh) | 头部佩戴型显示装置及其控制方法、以及记录介质 | |
US10296105B2 (en) | Head-mounted display device, computer program, and control method for head-mounted display device | |
US10474226B2 (en) | Head-mounted display device, computer program, and control method for head-mounted display device | |
CN108376029B (zh) | 显示系统 | |
US20170289533A1 (en) | Head mounted display, control method thereof, and computer program | |
US10782531B2 (en) | Head-mounted type display device and method of controlling head-mounted type display device | |
US10296104B2 (en) | Display device, method of controlling display device, and program | |
JP2019128693A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
US10884498B2 (en) | Display device and method for controlling display device | |
JP2018124721A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
JP6776578B2 (ja) | 入力装置、入力方法、コンピュータープログラム | |
JP2018084886A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP6996115B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2018206080A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP2019109849A (ja) | 透過型頭部装着型表示装置、表示制御方法、およびコンピュータープログラム | |
JP6790769B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
JP6932917B2 (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
US20170285765A1 (en) | Input apparatus, input method, and computer program | |
JP2017182460A (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP6693160B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム | |
JP2019053714A (ja) | 頭部装着型表示装置、及び頭部装着型表示装置の制御方法 | |
JP6631299B2 (ja) | 表示装置、表示装置の制御方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191018 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6790769 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |