JP5168161B2 - ヘッドマウントディスプレイ - Google Patents

ヘッドマウントディスプレイ Download PDF

Info

Publication number
JP5168161B2
JP5168161B2 JP2009007612A JP2009007612A JP5168161B2 JP 5168161 B2 JP5168161 B2 JP 5168161B2 JP 2009007612 A JP2009007612 A JP 2009007612A JP 2009007612 A JP2009007612 A JP 2009007612A JP 5168161 B2 JP5168161 B2 JP 5168161B2
Authority
JP
Japan
Prior art keywords
manual information
user
hand
imaging
manual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009007612A
Other languages
English (en)
Other versions
JP2010164814A (ja
Inventor
美佳 松島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Brother Industries Ltd
Original Assignee
Brother Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Brother Industries Ltd filed Critical Brother Industries Ltd
Priority to JP2009007612A priority Critical patent/JP5168161B2/ja
Priority to PCT/JP2010/050176 priority patent/WO2010082547A1/ja
Publication of JP2010164814A publication Critical patent/JP2010164814A/ja
Priority to US13/178,234 priority patent/US20110260967A1/en
Application granted granted Critical
Publication of JP5168161B2 publication Critical patent/JP5168161B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/002Mounting on the human body
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ヘッドマウントディスプレイに関するものであり、特に、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射してユーザに画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイに関するものである。
従来より、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を記憶する記憶手段と、この記憶手段に記憶したコンテンツ情報を再生する再生手段とを備えた情報処理装置が知られている。
この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために使用者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生されたコンテンツ情報を画像として表示するディスプレイ等とから構成されている。
この表示情報を表示するディスプレイとしては、CRT(Cathode Ray Tube)ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、ユーザが頭部に装着した状態で画像を視認することができるヘッドマウントディスプレイ(以下、「HMD」ということがある。)等も開発されている。
また、このようなHMDにおいては、外光をも透過するシースルー型のHMDがあり、コンテンツ情報を画像として表示している最中であっても、コンテンツ情報を視認させながら、ユーザが外界を視認できるように構成している。
ところで、上述したようなディスプレイにおいて、例えば、特許文献1に示すように、各作業過程の順番に従って、視認される作業対象物そのものに対して、各作業過程の作業対象物を象って予め作成されたアニメーション画像を重なるように表示させるものが開示されており、作業対象物に対して行われるべき作業内容を装着者に示すようにしている。
特開2004−21931号公報
ところが、上記特許文献1に記載の技術では、単に作業支援マニュアルが提示されるだけであり、ユーザの作業速度等、ユーザの作業熟練度に応じたマニュアルが提示されるわけではなく、効率的に作業を進めることができないことがあった。
本発明は、上述したような課題に鑑みてなされたものであり、ユーザの作業熟練度に応じたマニュアル情報を提示することによって、効率的に作業を行うことができるヘッドマウントディスプレイを提供することを目的とする。
以上のような目的を達成するために、本発明は、以下のようなものを提供する。
すなわち、請求項1記載の本発明では、外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、作業に関する主マニュアル情報と、当該主マニュアル情報にそれぞれ関連付けられた標準時間及び副マニュアル情報を記憶するマニュアル情報記憶手段と、前記ユーザの視野範囲のうち少なくとも一部を撮像する撮像手段と、前記撮像手段による撮像画像を解析する画像解析手段と、前記画像解析手段によって解析された結果に基づいて、前記撮像手段による撮像領域内にユーザの手があるか否かを判定する手検知判定手段と、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合には、前記マニュアル情報記憶手段に記憶された前記主マニュアル情報の再生を前記表示手段に開始させる表示開始制御手段と、前記表示手段によって前記主マニュアル情報の再生が開始されてから、前記手検知判定手段によって前記撮像領域内にユーザの手がないとは判定されずに、再生中の主マニュアル情報に関連付けられて前記マニュアル情報記憶手段に記憶された標準時間が経過した場合には、当該主マニュアル情報の再生を、前記マニュアル情報記憶手段に記憶された前記副マニュアル情報の再生に切り替える表示切替制御手段と、前記表示手段により前記主マニュアル情報又は前記副マニュアル情報が再生されている場合において、前記手検知判定手段によって前記撮像領域内にユーザの手がないと判定されたときには、当該再生されている主マニュアル情報又は副マニュアルの再生を終了させる表示終了制御手段と、を備えたことを特徴とするものである。
また、請求項2記載の本発明では、請求項1に記載の発明において、前記表示手段によって前記主マニュアル情報の再生が開始されてから、前記手検知判定手段によって前記撮像領域内にユーザの手がないと判定されるまでの時間が前記標準時間以下である場合に、当該時間に基づいて前記標準時間を更新する標準時間更新手段を備えたことを特徴とするものである。
また、請求項3記載の本発明では、請求項1又は2に記載のヘッドマウントディスプレイにおいて、ユーザの操作に応じてマニュアル情報を作成するか否かを判定する手段をさらに備え、前記表示開始制御手段は、前記判定する手段によってマニュアル情報を作成すると判定された場合には、前記主マニュアル情報の再生を開始させず、前記マニュアル情報記憶手段は、前記判定する手段によってマニュアル情報を作成すると判定され、且つ、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合には、前記撮像手段による撮像画像を主マニュアル情報又は副マニュアル情報として記憶することを特徴とするものである。
また、請求項4記載の本発明では、請求項3に記載の発明において、前記マニュアル情報記憶手段は、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合において、当該手があると判定されてから所定の作業時間が経過するまでは前記撮像手段による撮像画像を主マニュアル情報として記憶し、当該手があると判定されてから所定の作業時間が経過してから前記撮像手段による撮像画像を副マニュアル情報として記憶することを特徴とするものである。
また、請求項5記載の本発明では、請求項4に記載の発明において、前記マニュアル情報記憶手段により主マニュアル情報を記憶するときと副マニュアル情報を記憶するときとで前記撮像手段の撮像条件を変更する撮像条件変更手段を備えたことを特徴とするものである。
本発明によれば、ユーザの作業熟練度に応じたマニュアル情報を提示することによって、効率的に作業を行うことができる。
本発明の一実施形態に係るHMDを示す説明図である。 本発明の一実施形態に係るHMD本体を示す外観図である。 本発明の一実施形態に係るHMDの表示画面を示す説明図である。 本発明の一実施形態に係るHMDの電気的構成を示す説明図である。 本発明の一実施形態に係るHMDにおける作業標準時間テーブルを示す説明図である。 本発明の一実施形態に係るHMDの機能構成を示す説明図である。 HMDにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 HMDにおいて制御を行う際に実行する処理の一例を示すフローチャートである。 HMDにおいて制御を行う際に実行する処理の一例を示すフローチャートである。
以下、本発明の一実施形態について、図面を参照して具体的に説明する。図1は、本実施形態に係るヘッドマウントディスプレイ(以下、「HMD」ということがある。)を示す説明図であり、図2は、HMD本体2を示す外観図である。
[HMD概観]
図1に示すように、本実施形態に係るHMD1は、ユーザPが頭部に装着した状態で、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報や後述する作業に関するマニュアル情報を画像としてそのユーザPに視認可能に表示するHMD本体2と、そのHMD本体2に対して画像信号を供給する処理を主に行うコントローラ3と、ユーザPの視野範囲の少なくとも一部を撮像するCCD(Charge Coupled Devices)カメラ4と、コントローラ3と通信可能なパーソナルコンピュータ(以下、「PC」という。)150とを備えている。
HMD本体2は、各色(R,G,B)毎に強度変調された光(以下、「画像光」という。)をユーザPの網膜上で2次元方向に走査させることにより、ユーザPにコンテンツ情報に対応する画像(以下、単に「コンテンツ」という。)を視認させる網膜走査ディスプレイ(Retinal Imaging Display)である。
尚、本実施形態においては、HMD本体2として網膜走査ディスプレイを採用したが、これに限らず、例えば、LCD(Liquid Crystal Display)を透過又は反射させて生成した光(画像光)をユーザPの眼に投射して、ユーザPにコンテンツを視認させるディスプレイを用いてもよい。
このHMD本体2は、コンテンツを表示している最中であっても、ユーザPの視野範囲の中では、外界を視認できるように構成している。
HMD本体2は、図2に示すように、略眼鏡形状とした支持部材2aと、使用者に認識させるための画像を形成する画像形成部2bとを備えている。画像形成部2bは、ユーザPの眼前にハーフミラー2cを設けており、外光Laをハーフミラー2cを透過させてユーザPの眼Yに入射させ、コンテンツ情報に応じた画像光Lbをハーフミラー2cで反射させてユーザPの眼に入射させるようにしている。このようにHMD1は、外光を透過しつつ、コンテンツ情報に応じた画像光をユーザPの眼Yに投射するシースルー型のヘッドマウントディスプレイとしている。
コントローラ3は、HMD本体2、CCDカメラ4、PC150等と通信可能に接続されており、HMD1全体を制御する後述の制御部10(図4参照)等が内蔵されている。
CCDカメラ4は、ユーザPの視野範囲内におけるユーザPの手を検出できるように、ユーザPの視野範囲のうち少なくとも一部を撮像する撮像手段201(図6参照)として機能し、ユーザPの視野範囲の画像をサンプリングするように構成されている。また、CCDカメラ4は、ズーム機能を有しており、撮像範囲を変更可能である。
このような構成において、本実施形態に係るHMD1は、作業に関するマニュアル情報を記憶しており、ユーザPの視野範囲のうち少なくとも一部にユーザPの手が入ってきたときには、作業が行われている状態と想定できるため、作業に関するマニュアル情報の再生や作成が行われる。また、このHMD1は、シースルー型であるため、外界を視認しつつ、作業に関するマニュアル情報が視認可能である。
このマニュアル情報としては、作業毎に設定されており、主マニュアル情報と、副マニュアル情報と、マニュアル開始時静止画像と、マニュアル終了時静止画像とが含まれている。
主マニュアル情報は、再生開始時から再生される動画像情報であり、副マニュアル情報は、再生開始から、例えば作業内容に応じて設定された標準時間が経過した後に、主マニュアル情報に代わり再生される動画像情報である。本実施形態においては、主マニュアル情報は、ユーザPの手元を広い撮像範囲で撮像した動画像とし、副マニュアル情報は、ユーザPの手元を主マニュアルよりも狭い撮像範囲で(ズーミングして)撮像した動画像としている。また、マニュアル開始時静止画像は、作業開始前に表示される静止画像であり、マニュアル終了時静止画像は、作業終了後に表示される静止画像である。
また、これらマニュアル情報には、HMD1の初期設定時から記憶されている既存マニュアル情報と、実際に作業した結果に基づいて作成される作成マニュアル情報とが含まれている。作成マニュアル情報としては、実際に作業しているユーザPの手元が撮像されることによって作成される。また、本実施形態において、副マニュアル情報は、主マニュアル情報の撮像よりも狭い撮像範囲で撮像されるため、主マニュアル情報よりも拡大された詳細のマニュアル情報となる。
[表示画面]
ここで、本実施形態に係るHMD1における表示画面について、図3を参照して説明する。図3は、本実施形態に係るHMD1の表示画面を示す説明図である。
図3に示すように、HMD1の表示領域50内には、各種のマニュアル情報が表示される。このマニュアル情報は、作業に関する動画像であり、例えば、組み立て作業に関する動画像や分解作業に関する動画像である。また、このHMD1は、シースルー型であるため、外界(ユーザP自身による作業光景)51を視認しつつ、図3に示すようなマニュアル情報が視認可能である。
また、マニュアル情報には、図3(A)に示すような主マニュアル情報や、図3(B)に示すような副マニュアル情報が含まれている。主マニュアル情報は、再生が開始されてから、作業内容に応じて設定された標準時間が経過する以前に再生され、副マニュアル情報は、その標準時間が経過した以降に再生される。また、主マニュアル情報は、図3(A)に示すように、撮像範囲が相対的に広い動画像であり、副マニュアル情報は、図3(B)に示すように、撮像範囲が相対的に狭い動画像であり、主マニュアル情報の動画像よりも拡大表示されている。すなわち、副マニュアル情報は、主マニュアル情報よりも細かい箇所まで視認可能となっている。
従って、作業熟練度が高いユーザは、標準時間が経過するまでに作業が終了し、主マニュアル情報のみが再生されて、副マニュアル情報の再生は特に必要ではないが、作業熟練度が低いユーザは、標準時間が経過しても作業が終了していないこともあり、かかるユーザに対しては主マニュアル情報のみならず、作業の詳細が表示される副マニュアル情報も再生されることとなる。こうして、熟練度に応じたマニュアル情報を再生することができ、ユーザの作業熟練度に応じてマニュアル情報に関する改良を加えた副マニュアル情報を再生することによって、効率的に作業を行うことができる。
また、本実施形態においては、マニュアル情報の再生及び作成が可能である。特に、装置の組み立て作業に関するマニュアル情報が再生可能である。この組み立て作業に関するマニュアル情報を作成する方法としては、単に、組み立て作業が行われる際にユーザPの手元を撮像し、その撮像画像を再生する方法もあるが、同じ装置を分解作業する際にユーザPの手元を撮像し、その分解作業の撮像画像を時系列に逆転させて再生することによって、装置の組み立て作業に関するマニュアル情報の再生が可能である。このように、撮像したマニュアル情報を時系列に逆転させて再生することによって、撮像する機会を別途設けることなく、効率的に作業を行うことができる。
[HMDの電気的構成]
本実施形態におけるHMD1の電気的構成などについて図4を用いて説明する。
図4に示すように、このHMD1は、上述したようなHMD本体2と、そのHMD本体2等を制御するコントローラ3と、CCDカメラ4と、周辺機器34と、PC150とを備えている。
コントローラ3は、当該HMD1全体の動作を統括制御する制御部10と、CCDカメラコントローラ22と、CCDカメラVRAM24と、HMDインターフェース(図中「I/F」と示し、以下「I/F」ということがある)コントローラ26と、HMD VRAM28と、周辺機器I/F30と、PC接続I/Fコントローラ32と、を備えている。
制御部10は、CPU(Central Processing Unit)12と、不揮発性メモリであるプログラムROM(Read Only Memory)14と、フラッシュROM(フラッシュメモリ)16と、RAM(Random Access Memory)18と、を備えており、これらはデータ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。
CPU12は、プログラムROM14に記憶されている各種情報処理プログラムを実行することにより、制御部10としてHMD1を構成する各種回路を動作させて、HMD1が備える各種機能を実行させる演算処理装置である。
フラッシュROM16は、制御部10がCCDカメラ4により撮像した画像や、PC150などの他の装置から供給される画像を記憶する。
CCDカメラコントローラ22は、CCDカメラ4を制御し、CCDカメラVRAM24は、CCDカメラ4からの画像を一時的に記憶する。制御部10は、ユーザPの手を認識するために、CCDカメラコントローラ22を介してCCDカメラ4を制御し、CCDカメラ4によって撮像された画像データをCCDカメラVRAM24から取得する。これによって、制御部10は、CCDカメラ4によって撮像された画像を取得することができ、詳しく後述するが、その画像を解析することによって、ユーザPの手を認識可能となる。
HMD I/Fコントローラ26は、制御部10からの要求に応じてHMD本体2を制御し、制御部10によりHMD VRAM28に記憶された画像データに基づいた画像信号をHMD本体2に供給する。これによって、制御部10は、画像を表示させる制御を行う。
HMD本体2は、HMD I/Fコントローラ26から画像信号が入力されると、この画像信号に基づいて画像を生成するための要素となる各信号(R,G,Bの3原色の信号)を発生する。また、発生した各信号に基づくレーザ光を出射して合波し、そのレーザ光を2次元に走査する。2次元に走査された光は、その中心線がユーザPの瞳孔に収束するように変換され、ユーザPの眼の網膜に投影される。HMD本体2の一般的な構成及び動作については、周知であり(例えば、特開2007−178941号公報参照)、ここでは具体的な説明は省略する。
周辺機器I/F30は、電源スイッチやランプ類、操作類等(図示せず)の周辺機器34をコントローラ3に接続するためのインターフェースである。例えば、電源スイッチやランプ類が周辺機器I/F30に接続されたとき、制御部10は、電源スイッチ等のスイッチ類からの操作情報を周辺機器I/F30を介して受け取り、周辺機器I/F30を介してランプ類の点灯情報をランプ類に供給する。
PC接続I/Fコントローラ32は、コントローラ3とPC150とを通信可能に制御する。制御部10は、PC接続I/Fコントローラ32を介して画像データの供給をPC150に要求し、PC150からPC接続I/Fコントローラ32を介して供給された画像データをHMD本体2に供給する。また、制御部10は、周辺機器34からの情報をPC接続I/Fコントローラ32を介してPC150に供給する。
[作業標準時間テーブル]
上述したような構成のHMD1におけるフラッシュROM16に記憶されている作業標準時間テーブルについて図5を用いて説明する。図5は、作業標準時間テーブルを示す説明図である。
フラッシュROM16に記憶された作業標準時間テーブルは、主マニュアル情報と副マニュアル情報の切り替えタイミングとなる標準時間に関するテーブルである。この作業標準時間テーブルには、図5に示すように、作業毎に標準時間に関する情報が対応付けて設定されている。この標準時間に関する情報としては、設定標準時間、既存標準時間、平均時間、合計時間及び作業回数が作業毎に対応付けられている。設定標準時間とは、作業毎に設定されている標準時間であり、既存標準時間と平均時間とで小さい時間が設定される。既存標準時間とは、既存に設定されている標準時間である。平均時間とは、作業が終了するまでの平均の時間であり、合計時間を作業回数で割った結果である。
このような作業標準時間テーブルの参照によって、作業毎に設定された標準時間が選択されることとなる。また、平均時間に応じても設定標準時間が変更されることとなり、その作業者の作業に応じた標準時間が設定されることとなる。言い換えると、このようなフラッシュROM16は、主マニュアル情報と、副マニュアル情報とに関連付けて標準時間を記憶することとなる。尚、このようなフラッシュROM16は、後述するマニュアル情報記憶手段204(図6参照)として機能する。
また、標準時間とは、主マニュアル情報の再生と副マニュアル情報の再生との切替の基準となる時間であるが、それとともに、主マニュアル情報の作成と副マニュアル情報の作成との切替の基準となる時間でもある。つまり、このような作業標準時間テーブルによって、主マニュアル情報を作成するための時間(所定の作業時間)が作業毎に設定されている。このように作業標準時間テーブルが記憶されたフラッシュROM16は、作業毎に所定の作業時間を記憶することとなる。尚、本実施形態においては、この標準時間を基準として、再生及び作成の切替基準としたが、これに限らず、例えば、再生の切替基準となる時間と、作成の切替基準となる時間とが異なっていてもよい。
[HMD機能構成]
ここで、本実施形態に係るHMD1の機能構成等について、図6を参照して説明する。図6は、本実施形態に係るHMD1の機能構成を示す説明図である。
図6に示すように、このHMD1におけるCCDカメラ4は、ユーザPの視野範囲を撮像して画像データを生成し、制御部10にその画像データを供給する撮像手段201として機能する。
また、このHMD1におけるHMD本体2は、表示手段210として機能する。この表示手段210は、外光を透過しつつ、画像情報(表示情報)に応じた画像光をユーザPの眼に投射してそのユーザPに画像光に応じた画像を視認させる。
HMD1における制御部10は、後述のCPU12が所定の情報処理プログラムを実行することによって、画像解析手段202、手検知判定手段203、マニュアル情報記憶手段204、撮像条件変更手段205、表示開始制御手段206、表示切替制御手段207、表示終了制御手段208、標準時間更新手段209として機能することとなる。
画像解析手段202は、撮像手段201よって撮像された画像データを解析する。特に、画像解析手段202は、撮像手段201から出力される画像データを解析して、撮像手段201によって撮像された画像の輪郭検出、色検出などを行う。
手検知判定手段203は、画像解析手段202によって解析された結果に基づいて、ユーザPの手を検知し、撮像手段201による撮像領域内にユーザの手があるか否かを判定する。
マニュアル情報記憶手段204は、上述したCPU12やフラッシュROM16が相当する。このマニュアル情報記憶手段204には、作業に関する主マニュアル情報及び副マニュアル情報が記憶されている。また、このマニュアル情報記憶手段204は、手検知判定手段203によって撮像領域内にユーザPの手があると判定された場合において、その手があると判定されてから所定の作業時間が経過するまでに撮像手段201による撮像画像を主マニュアル情報として記憶し、その手があると判定されてから所定の作業時間が経過してから撮像手段201による撮像画像を副マニュアル情報として記憶する。また、マニュアル情報記憶手段204は、主マニュアル情報と副マニュアル情報と、それらにそれぞれ関連付けられた標準時間を記憶している。また、マニュアル情報記憶手段204は、作業毎に所定の作業時間を記憶する。
撮像条件変更手段205は、マニュアル情報記憶手段204により主マニュアル情報を記憶するときと副マニュアル情報を記憶するときとで撮像手段201の撮像条件を変更する。具体的には、撮像条件変更手段205は、主マニュアル情報を記憶するときよりも、副マニュアル情報を記憶するときのほうが狭い撮像範囲で撮像されるように変更する。
表示開始制御手段206は、手検知判定手段203によって撮像領域内にユーザPの手があると判定された場合には、マニュアル情報記憶手段204に記憶された主マニュアル情報の再生を表示手段210に開始させる。
表示切替制御手段207は、表示手段210によって主マニュアル情報の再生が開始されてから、手検知判定手段203によって撮像領域内にユーザの手がないとは判定されず、再生中の主マニュアル情報に関連付けられた標準時間が経過した場合には、その主マニュアル情報の再生を副マニュアル情報の再生に切り替える。
表示終了制御手段208は、表示手段210により主マニュアル情報又は副マニュアル情報が再生されている場合において、手検知判定手段203によって撮像領域内にユーザの手がないと判定されたときには、その再生されている主マニュアル情報又は副マニュアルの再生を終了させる。
標準時間更新手段209は、表示手段210によって主マニュアル情報の再生が開始されてから、手検知判定手段203によって撮像領域内にユーザの手がないと判定されるまでの時間が標準時間以下である場合に、その時間に基づいて標準時間を更新する。
[制御動作]
次に、図7から図9のフローチャートを参照して、HMD1の動作について説明する。図7から図9は、HMD1において実行される処理の動作を示すフローチャートである。特に、図7に示すメイン処理は、HMD1の電源がオンされた際に、コントローラ3における制御部10によって実行され、その実行によってコントローラ3の制御部10が上記各手段として機能する。
[メイン処理]
最初に、図7に示すように、HMD1に電源が投入されると、制御部10は、初期設定を行う(ステップS11)。この処理において、制御部10は、RAMアクセス許可、作業領域の初期化等を実行する。また、制御部10は、HMD本体2を起動させ、HMD本体2による初期画面を表示させる等の表示制御を行う。この処理が終了した場合には、ステップS12に処理を移す。
ステップS12において、制御部10は、ユーザPの操作に応じて、マニュアルを再生するか否かを判定する。この処理において、制御部10は、ユーザPの操作に応じて行われる作業を判定することとなり、その結果、選択された作業に対応するマニュアル情報を再生するか否かを判定することとなる。
制御部10は、マニュアルを再生すると判定すると(ステップS12:YES)、詳しくは図8を用いて後述するが、マニュアル再生処理を実行し(ステップS14)、ステップS20に処理を移す。
一方、制御部10は、マニュアルを再生しないと判定すると(ステップS12:NO)、ユーザPの操作に応じてマニュアルを作成するか否かを判定する(ステップS13)。この処理において、制御部10は、ユーザPの操作に応じて行われる作業を判定することとなり、その結果、選択された作業に対応するマニュアル情報を作成するか否かを判定することとなる。
制御部10は、マニュアルを作成すると判定すると(ステップS13:YES)、詳しくは図9を用いて後述するが、マニュアル作成処理を実行し(ステップS15)、ステップS20に処理を移す。
一方、制御部10は、マニュアルを作成しないと判定すると(ステップS13:NO)、ステップS20に処理を移す。
ステップS20において、制御部10は、電源オフであるか否かを判定する。この処理において、制御部10は、電源スイッチの操作等に応じて、電源オフであるか否かを判定することとなる。制御部10は、電源オフであると判定すると(ステップS20:YES)、メイン処理を終了する。一方、制御部10は、電源オフではないと判定すると(ステップS20:NO)、再度、ステップS12に処理を移す。これによって、制御部10は、電源オフとなるまで、上述した処理を繰り返し実行することとなる。
尚、本実施形態においては、ユーザの操作に応じて、マニュアル情報の再生や作成を行うと判定したが、これに限らず、例えば、CCDカメラ4によって撮像された画像を解析し、その画像のなかにQRコードなどの識別体が認識できた場合に、その識別体に対応する作業を選択し、その作業に対応するマニュアル情報の再生を行うように判定してもよい。
[マニュアル再生処理]
図7のステップS14において実行されるサブルーチンについて図8を用いて説明する。
最初に、図8に示すように、制御部10は、CCDカメラ4による撮像を有効化し、初期設定時からフラッシュROM16に記憶されている既存のマニュアル情報か、後述するマニュアル作成処理において作成されるマニュアル情報かをユーザの操作に応じて選択する(ステップS31)。この処理が終了した場合には、ステップS32に処理を移す。
ステップS32において、制御部10は、作業標準時間テーブル(図5参照)を参照し、作業に対応する設定標準時間を読み出す。そして、制御部10は、その作業に対応するマニュアル情報を選択する(ステップS33)。この処理が終了した場合には、ステップS34に処理を移す。
ステップS34において、制御部10は、撮像領域内にユーザPの手があるか否かを判定する。この処理において、制御部10は、CCDカメラ4によって撮像された画像データの輪郭検出、色検出を行う。つまり、制御部10は、CCDカメラ4による撮像領域にある画像を解析することとなる。そして、制御部10は、この輪郭検出、色検出の結果に基づいて、ユーザPの手の輪郭を検知する処理を行う。具体的には、制御部10は、画像データに含まれる肌色領域を検出し、その肌色領域の輪郭とフラッシュROM16に記憶された手の輪郭のテンプレートとのパターンマッチングを行う。そして、制御部10は、撮像領域内にユーザPの手があるか否かを判定することとなる。つまり、制御部10は、画像が解析された結果に基づいて、撮像領域内にユーザの手があるか否かを判定することとなる。
この処理において、制御部10は、撮像領域内にユーザPの手があると判定すると(ステップS34:YES)、ステップS36に処理を移す。一方、制御部10は、撮像領域内にユーザPの手がないと判定すると(ステップS34:NO)、マニュアル開始時静止画像をHMD本体2に表示させる制御を行い(ステップS35)、再度、ステップS34に処理を移す。これによって、ユーザPの手が撮像領域に入ってくるまで、マニュアル開始時静止画像がHMD本体2によって表示されることとなる。
ステップS36において、制御部10は、作業に対応する主マニュアル情報をフラッシュROM16から読み出し、その主マニュアル情報の再生をHMD本体2に開始させる。そして、制御部10は、タイマのカウントを開始させる(ステップS37)。このタイマは、作業が開始されてからの時間を計測するためのものである。つまり、制御部10は、撮像領域内にユーザPの手があると判定された場合には、主マニュアル情報の再生をHMD本体2に開始させ、それからの時間を計測することとなる。この処理が終了した場合には、ステップS38に処理を移す。
ステップS38において、制御部10は、撮像領域内にユーザPの手がないか否かを判定する。この処理において、制御部10は、上述したステップS34と同じように制御することによって、撮像領域内にユーザPの手がないか否かを判定することとなる。つまり、制御部10は、CCDカメラ4による撮像領域にある画像を解析し、画像が解析された結果に基づいて、撮像領域内にユーザの手があるか否かを判定することとなる。
制御部10は、撮像領域内にユーザPの手がないと判定すると(ステップS38:YES)、作業が終了したと認識し、ステップS42に処理を移す。一方、制御部10は、撮像領域内にユーザPの手があると判定すると(ステップS38:NO)、作業が終了していないと認識し、ステップS39に処理を移す。
ステップS39において、制御部10は、標準時間が経過したか否かを判定する。この処理において、制御部10は、ステップS37においてカウントを開始したタイマから値を読み出し、作業開始から標準時間が経過したか否かを判定することとなる。制御部10は、標準時間が経過したと判定すると(ステップS39:YES)、ステップS40に処理を移す。一方、制御部10は、標準時間が経過していないと判定すると(ステップS39:NO)、ステップS40及びステップS41を実行することなく、再度、ステップS38に処理を移す。
ステップS40において、制御部10は、選択されている作業に対応する副マニュアル情報を選択する。そして、制御部10は、再生していた主マニュアル情報を副マニュアル情報に切り替える主副マニュアル切替処理を実行する(ステップS41)。
これによって、制御部10は、主マニュアル情報の再生が開始されてから、撮像領域内にユーザの手がないとは判定されずに標準時間が経過するまで主マニュアル情報の再生を継続し、主マニュアル情報の再生が開始されてから、撮像領域内にユーザの手がないとは判定されずに標準時間が経過した場合には、継続されていた主マニュアル情報の再生を、副マニュアル情報の再生に切り替えることとなる。この処理が終了した場合には、再度、ステップS38に処理を移す。
一方、ステップS42において、制御部10は、タイマのカウントを終了し、マニュアル終了時静止画像をHMD本体2に表示させる制御を行う(ステップS43)。これによって、主マニュアル情報や副マニュアル情報が再生されている場合において、撮像領域内にユーザの手がないと判定されたときには、再生されている主マニュアル情報や副マニュアルの再生を終了させ、マニュアル終了時静止画像がHMD本体2によって表示されることとなる。この処理が終了した場合には、ステップS44に処理を移す。
ステップS44において、制御部10は、作業標準時間テーブル更新処理を実行する。この処理において、制御部10は、終了させたタイマの値を読み出し、作業標準時間テーブルにおける合計時間に加算し、作業回数を“1”増加させる。また、制御部10は、更新した合計時間と作業回数とに基づいて平均時間を算出し、更新する。そして、制御部10は、更新した平均時間と既存標準時間とを比較し、小さい値を設定標準時間として更新する。
これによって、制御部10は、主マニュアル情報の再生が開始されてから、撮像領域内にユーザの手がないと判定されるまでの時間に基づいて標準時間を更新することとなる。この処理が終了した場合には、ステップS45に処理を移す。
このように、作業に時間が掛からない場合には、副マニュアル情報の再生を行うことなく、主マニュアル情報の再生を終了させるが、作業に時間が掛かる場合には、主マニュアル情報から副マニュアル情報の再生に切り替えることとなり、ユーザの作業熟練度に応じたマニュアル情報を提示することによって、効率的に作業を行うことができる。
ステップS45において、制御部10は、次のマニュアル情報を再生するか否かのスタンバイ画像をHMD本体2に表示させ、ユーザPの操作に応じてマニュアル再生が終了であるか否かを判定する。この処理において、制御部10は、マニュアル再生が終了であると判定すると(ステップS45:YES)、CCDカメラ4による撮像を無効化し、本サブルーチンを終了する。一方、制御部10は、マニュアル再生が終了ではないと判定すると(ステップS45:NO)、次のマニュアル情報を選択し(ステップS46)、再度、ステップS31に処理を移す。これによって、連続してマニュアル情報の再生が可能となる。
このように、作業を行った結果、その作業した時間に基づいて標準時間を更新することができ、以前に行った作業を参考にした標準時間の設定が可能となり、ユーザの作業熟練度に応じたマニュアル情報を提示することによって、効率的に作業を行うことができる。
[マニュアル作成処理]
図7のステップS15において実行されるサブルーチンについて図9を用いて説明する。
最初に、図9に示すように、制御部10は、CCDカメラ4による撮像を有効化し、作業標準時間テーブル(図5参照)を参照し、作業に対応する設定標準時間を読み出す(ステップS51)。そして、制御部10は、CCDカメラ4によって撮像された画像をマニュアル開始時静止画像としてフラッシュROM16に記憶する(ステップS52)。この処理が終了した場合には、ステップS53に処理を移す。
ステップS53において、制御部10は、撮像領域内にユーザPの手があるか否かを判定する。この処理において、制御部10は、上述したステップS34、ステップS38と同じように制御することによって、撮像領域内にユーザPの手がないか否かを判定することとなる。つまり、制御部10は、CCDカメラ4による撮像領域にある画像を解析し、画像が解析された結果に基づいて、撮像領域内にユーザの手があるか否かを判定することとなる。
この処理において、制御部10は、撮像領域内にユーザPの手があると判定すると(ステップS53:YES)、ステップS54に処理を移す。一方、制御部10は、撮像領域内にユーザPの手がないと判定すると(ステップS53:NO)、再度、ステップS53に処理を移す。これによって、ユーザPの手が撮像領域に入ってくるまで、マニュアル情報の作成を待機させることとなる。
ステップS54において、制御部10は、主マニュアル情報としての撮像を開始する。この処理において、制御部10は、CCDカメラ4によって撮像された画像データを主マニュアル情報としてフラッシュROM16に記憶することとなる。そして、制御部10は、タイマのカウントを開始させる(ステップS55)。このタイマは、主マニュアル情報の作成が開始されてからの時間を計測するためのものである。この処理が終了した場合には、ステップS56に処理を移す。
ステップS56において、制御部10は、撮像領域内にユーザPの手がないか否かを判定する。この処理において、制御部10は、上述したステップS34、ステップS38、ステップS53と同じように制御することによって、撮像領域内にユーザPの手がないか否かを判定することとなる。つまり、制御部10は、CCDカメラ4による撮像領域にある画像を解析し、画像が解析された結果に基づいて、撮像領域内にユーザの手があるか否かを判定することとなる。
制御部10は、撮像領域内にユーザPの手がないと判定すると(ステップS56:YES)、作業が終了し、マニュアル情報の作成が終了したと認識し、ステップS60に処理を移す。一方、制御部10は、撮像領域内にユーザPの手があると判定すると(ステップS56:NO)、作業が終了しておらず、マニュアル情報の作成が継続されていると認識し、ステップS57に処理を移す。
ステップS57において、制御部10は、標準時間が経過したか否かを判定する。この処理において、制御部10は、ステップS55においてカウントを開始したタイマから値を読み出し、作業開始(作成開始)から標準時間が経過したか否かを判定することとなる。制御部10は、標準時間が経過したと判定すると(ステップS57:YES)、ステップS58に処理を移す。一方、制御部10は、標準時間が経過していないと判定すると(ステップS57:NO)、ステップS58及びステップS59を実行することなく、再度、ステップS56に処理を移す。
ステップS58において、制御部10は、撮像範囲を狭く(ズーミング)するなど、撮像条件を変更する撮像条件変更処理を実行する。このように、制御部10は、主マニュアル情報を記憶するときと副マニュアル情報を記憶するときとでCCDカメラ4の撮像条件を変更することによって、主マニュアル情報と副マニュアル情報との差異を出すことができる。特に、例えば、主マニュアル情報よりも副マニュアル情報を詳細に撮像することによって、ユーザの作業熟練度に応じたマニュアル情報を作成することができる。
そして、制御部10は、副マニュアル情報として撮像を切り替える(ステップS59)。この処理において、制御部10は、撮像条件を変更させる前に、今まで撮像した画像データを主マニュアル情報として作業に対応させてフラッシュROM16に記憶する。そして、制御部10は、撮像条件を変更し、副マニュアル情報としての撮像を開始し、今から撮像する画像データを副マニュアル情報としてフラッシュROM16に記憶する。
これによって、制御部10は、撮像領域内にユーザの手があると判定された場合において、その手があると判定されてから所定の作業時間が経過するまでに撮像された撮像画像を主マニュアル情報として記憶し、その手があると判定されてから所定の作業時間が経過してから撮像された撮像画像を副マニュアル情報として記憶することとなる。この処理が終了した場合には、再度、ステップS56に処理を移す。
一方、ステップS60において、制御部10は、タイマのカウントを終了し、主マニュアル情報又は副マニュアル情報としての撮像を終了し、フラッシュROM16に保存する(ステップS61)。これによって、制御部10は、撮像領域内にユーザの手があると判定された場合には、撮像された撮像画像を主マニュアル情報又は副マニュアル情報として記憶し、撮像領域内にユーザの手がないと判定された場合には、主マニュアル情報又は副マニュアル情報としての撮像を終了させることとなる。この処理が終了した場合には、ステップS62に処理を移す。
ステップS62において、制御部10は、CCDカメラ4によって撮像された画像をマニュアル終了時静止画像としてフラッシュROM16に記憶する。この処理が終了した場合には、ステップS63に処理を移す。
ステップS63において、制御部10は、上述したように撮像されたマニュアル開始時静止画像、主マニュアル情報、副マニュアル情報、マニュアル終了時静止画像を、一つの作業に対応するマニュアル情報としてフラッシュROM16に保存する。これによって、上述したステップS31において、既存のマニュアル情報以外の作成マニュアル情報が選択可能となる。
また、制御部10は、撮像したマニュアル情報を時系列に逆転させて再生させる場合には、撮像したマニュアル情報を逆転させて記憶する。これによって、制御部10は、再生時に逆転させるか否かを意識することなく、再生することができる。もちろん、制御部10は、撮像したマニュアル情報を逆転させずに記憶しておき、再生時に逆転させて再生させてもよい。この処理が終了した場合には、ステップS64に処理を移す。
ステップS64において、制御部10は、次のマニュアル情報を作成するか否かのスタンバイ画像を表示させ、ユーザPの操作に応じてマニュアル作成が終了であるか否かを判定する。この処理において、制御部10は、マニュアル作成が終了であると判定すると(ステップS64:YES)、CCDカメラ4による撮像を無効化し、本サブルーチンを終了する。一方、制御部10は、マニュアル作成が終了ではないと判定すると(ステップS64:NO)、再度、ステップS51に処理を移す。これによって、連続してマニュアル情報の作成が可能となる。
このように、作業を行うことによって、その作業自体における撮像画像が主マニュアル情報又は副マニュアル情報となり、別途主マニュアル情報又は副マニュアル情報を作成する時間を省くことができ、効率的に作業を行うことができる。また、所定の作業時間前後で主マニュアル情報と副マニュアル情報とを切り替えて記憶することができ、別途主マニュアル情報及び副マニュアル情報を作成する時間を省くことができ、効率的に作業を行うことができる。また、作業毎に所定の作業時間が設定されるので、作業の種類に対応した作業時間が設定可能であり、簡便である。
[その他の実施形態]
尚、上述した実施形態において、制御部10は、主マニュアル情報を撮影範囲が広い(広画角)画像とし、副マニュアル情報を撮影範囲が狭い(狭画角)画像としたが、これに限らず、例えば、主マニュアル情報を通常速度の画像とし、副マニュアル情報を1/2倍速の画像としてもよい。また、例えば、制御部10は、主マニュアル情報と副マニュアル情報とで異なる角度で撮像されていてもよい。即ち、副マニュアル情報は、主マニュアル情報よりも詳細な情報として認識可能であればよい。
また、上述した実施形態においては、CCDカメラ4の撮像範囲内にユーザPの手が入る前に静止画像が表示され、入ったら主マニュアル情報、副マニュアル情報として動画像が表示され、CCDカメラ4の撮像範囲内からユーザPの手が出ると、静止画像が表示されたが、これに限らず、例えば、CCDカメラ4の撮像範囲内にユーザPの手が入る前や、CCDカメラ4の撮像範囲内からユーザPの手が出た後であっても動画像が表示されるようにしてもよい。
また、上述実施形態において、制御部10は、既存標準時間と平均時間との小さいほうを設定標準時間としたが、これに限らず、例えば、前回の作業時間自体を設定標準時間としてもよい。また、例えば、制御部10は、前回の作業時間の最短時間を設定標準時間としてもよい。つまり、制御部10は、主マニュアル情報の再生が開始されてから、撮像領域内にユーザの手がないと判定されるまでの時間が標準時間以下である場合に、その時間に基づいて標準時間を更新するようにしてもよい。また、例えば、このように標準時間自体を更新しない構成であっても問題ない。
また、上述した実施形態においては、HMD本体2、コントローラ3、PC150を別々に構成したが、これに限らず、例えば、コントローラ3とPC150とを一体に構成してもよく、HMD本体2とコントローラ3とを一体に構成してもよい。もちろん、それら全てを一体に構成してもよく、更に別体に構成してもよい。
1 HMD
4 CCDカメラ
10 制御部

Claims (5)

  1. 外光を透過しつつ、表示情報に応じた画像光をユーザの眼に投射して当該ユーザに前記画像光に応じた画像を視認させる表示手段を備えたシースルー型のヘッドマウントディスプレイにおいて、
    作業に関する主マニュアル情報と、当該主マニュアル情報にそれぞれ関連付けられた標準時間及び副マニュアル情報を記憶するマニュアル情報記憶手段と、
    前記ユーザの視野範囲のうち少なくとも一部を撮像する撮像手段と、
    前記撮像手段による撮像画像を解析する画像解析手段と、
    前記画像解析手段によって解析された結果に基づいて、前記撮像手段による撮像領域内にユーザの手があるか否かを判定する手検知判定手段と、
    前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合には、前記マニュアル情報記憶手段に記憶された前記主マニュアル情報の再生を前記表示手段に開始させる表示開始制御手段と、
    前記表示手段によって前記主マニュアル情報の再生が開始されてから、前記手検知判定手段によって前記撮像領域内にユーザの手がないとは判定されずに、再生中の主マニュアル情報に関連付けられて前記マニュアル情報記憶手段に記憶された標準時間が経過した場合には、当該主マニュアル情報の再生を、前記マニュアル情報記憶手段に記憶された前記副マニュアル情報の再生に切り替える表示切替制御手段と、
    前記表示手段により前記主マニュアル情報又は前記副マニュアル情報が再生されている場合において、前記手検知判定手段によって前記撮像領域内にユーザの手がないと判定されたときには、当該再生されている主マニュアル情報又は副マニュアルの再生を終了させる表示終了制御手段と、を備えたことを特徴とするヘッドマウントディスプレイ。
  2. 請求項1に記載のヘッドマウントディスプレイにおいて、
    前記表示手段によって前記主マニュアル情報の再生が開始されてから、前記手検知判定手段によって前記撮像領域内にユーザの手がないと判定されるまでの時間が前記標準時間以下である場合に、当該時間に基づいて前記標準時間を更新する標準時間更新手段を備えたことを特徴とするヘッドマウントディスプレイ。
  3. 請求項1又は2に記載のヘッドマウントディスプレイにおいて、
    ユーザの操作に応じてマニュアル情報を作成するか否かを判定する手段をさらに備え、
    前記表示開始制御手段は、前記判定する手段によってマニュアル情報を作成すると判定された場合には、前記主マニュアル情報の再生を開始させず、
    前記マニュアル情報記憶手段は、前記判定する手段によってマニュアル情報を作成すると判定され、且つ、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合には、前記撮像手段による撮像画像を主マニュアル情報又は副マニュアル情報として記憶することを特徴とするヘッドマウントディスプレイ。
  4. 請求項3に記載のヘッドマウントディスプレイにおいて、
    前記マニュアル情報記憶手段は、前記手検知判定手段によって前記撮像領域内にユーザの手があると判定された場合において、当該手があると判定されてから所定の作業時間が経過するまでは前記撮像手段による撮像画像を主マニュアル情報として記憶し、当該手があると判定されてから所定の作業時間が経過してから前記撮像手段による撮像画像を副マニュアル情報として記憶することを特徴とするヘッドマウントディスプレイ。
  5. 請求項4に記載のヘッドマウントディスプレイにおいて、
    前記マニュアル情報記憶手段により主マニュアル情報を記憶するときと副マニュアル情報を記憶するときとで前記撮像手段の撮像条件を変更する撮像条件変更手段を備えたことを特徴とするヘッドマウントディスプレイ。
JP2009007612A 2009-01-16 2009-01-16 ヘッドマウントディスプレイ Expired - Fee Related JP5168161B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009007612A JP5168161B2 (ja) 2009-01-16 2009-01-16 ヘッドマウントディスプレイ
PCT/JP2010/050176 WO2010082547A1 (ja) 2009-01-16 2010-01-08 ヘッドマウントディスプレイ
US13/178,234 US20110260967A1 (en) 2009-01-16 2011-07-07 Head mounted display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009007612A JP5168161B2 (ja) 2009-01-16 2009-01-16 ヘッドマウントディスプレイ

Publications (2)

Publication Number Publication Date
JP2010164814A JP2010164814A (ja) 2010-07-29
JP5168161B2 true JP5168161B2 (ja) 2013-03-21

Family

ID=42339800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009007612A Expired - Fee Related JP5168161B2 (ja) 2009-01-16 2009-01-16 ヘッドマウントディスプレイ

Country Status (3)

Country Link
US (1) US20110260967A1 (ja)
JP (1) JP5168161B2 (ja)
WO (1) WO2010082547A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5169907B2 (ja) * 2009-02-27 2013-03-27 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9113050B2 (en) * 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
JP2013206412A (ja) * 2012-03-29 2013-10-07 Brother Ind Ltd ヘッドマウントディスプレイ及びコンピュータプログラム
TWI442264B (zh) * 2012-09-11 2014-06-21 Wistron Corp 互動式虛像顯示器及互動式顯示方法
WO2014141504A1 (ja) * 2013-03-11 2014-09-18 Necソリューションイノベータ株式会社 3次元ユーザインタフェース装置及び3次元操作処理方法
DE102013207528A1 (de) 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
US10019149B2 (en) 2014-01-07 2018-07-10 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for implementing retail processes based on machine-readable images and user gestures
US9910501B2 (en) 2014-01-07 2018-03-06 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for implementing retail processes based on machine-readable images and user gestures
JP6287293B2 (ja) * 2014-02-07 2018-03-07 セイコーエプソン株式会社 表示システム、表示装置、および表示方法
US20150268728A1 (en) * 2014-03-18 2015-09-24 Fuji Xerox Co., Ltd. Systems and methods for notifying users of mismatches between intended and actual captured content during heads-up recording of video
JP2016131782A (ja) * 2015-01-21 2016-07-25 セイコーエプソン株式会社 頭部装着型表示装置、検出装置、頭部装着型表示装置の制御方法、およびコンピュータープログラム
CN104102349B (zh) * 2014-07-18 2018-04-27 北京智谷睿拓技术服务有限公司 内容分享方法和装置
JP6515473B2 (ja) * 2014-09-18 2019-05-22 凸版印刷株式会社 動作指示システム、動作指示方法、および、動作指示管理サーバ
JP6437257B2 (ja) * 2014-09-19 2018-12-12 株式会社日立ソリューションズ 作業工程学習支援システム
US20160092726A1 (en) * 2014-09-30 2016-03-31 Xerox Corporation Using gestures to train hand detection in ego-centric video
US10140768B2 (en) 2014-10-17 2018-11-27 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, and computer program
JP6421543B2 (ja) * 2014-10-17 2018-11-14 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP6358038B2 (ja) * 2014-10-17 2018-07-18 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP6488661B2 (ja) * 2014-11-17 2019-03-27 セイコーエプソン株式会社 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
JP6620420B2 (ja) * 2015-05-22 2019-12-18 セイコーエプソン株式会社 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10108832B2 (en) * 2014-12-30 2018-10-23 Hand Held Products, Inc. Augmented reality vision barcode scanning system and method
JP2017134575A (ja) * 2016-01-27 2017-08-03 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
JP2017049763A (ja) * 2015-09-01 2017-03-09 株式会社東芝 電子機器、支援システムおよび支援方法
US9798385B1 (en) * 2016-05-31 2017-10-24 Paypal, Inc. User physical attribute based device and content management system
US10037080B2 (en) 2016-05-31 2018-07-31 Paypal, Inc. User physical attribute based device and content management system
JP6943672B2 (ja) * 2017-08-04 2021-10-06 株式会社ディスコ 加工装置の情報伝達機構
JP7060804B2 (ja) * 2018-06-20 2022-04-27 富士通株式会社 情報処理装置、プロジェクト管理方法およびプロジェクト管理プログラム
JP6711379B2 (ja) * 2018-08-22 2020-06-17 セイコーエプソン株式会社 頭部装着型表示装置、コンピュータープログラム
JP7145553B1 (ja) 2022-06-23 2022-10-03 英明 原田 遠隔指導管理装置及び遠隔指導システム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2001070A1 (en) * 1988-10-24 1990-04-24 Douglas B. George Telescope operating system
EP0450196B1 (en) * 1990-04-02 1998-09-09 Koninklijke Philips Electronics N.V. Data processing system using gesture-based input data
US5588139A (en) * 1990-06-07 1996-12-24 Vpl Research, Inc. Method and system for generating objects for a multi-person virtual world using data flow networks
US5381158A (en) * 1991-07-12 1995-01-10 Kabushiki Kaisha Toshiba Information retrieval apparatus
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP2000299851A (ja) * 1999-02-12 2000-10-24 Sanyo Electric Co Ltd 指示情報伝達装置
JP2001006001A (ja) * 1999-06-18 2001-01-12 Hitachi Ltd 三次元表現制御システムと方法およびその処理プログラムを記録した記録媒体
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US6753879B1 (en) * 2000-07-03 2004-06-22 Intel Corporation Creating overlapping real and virtual images
JP4288843B2 (ja) * 2000-10-25 2009-07-01 沖電気工業株式会社 遠隔作業支援システム
JP3735086B2 (ja) * 2002-06-20 2006-01-11 ウエストユニティス株式会社 作業誘導システム
JP2004102727A (ja) * 2002-09-10 2004-04-02 Mitsubishi Heavy Ind Ltd 作業支援システム
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
GB2407635B (en) * 2003-10-31 2006-07-12 Hewlett Packard Development Co Improvements in and relating to camera control
JP2006012042A (ja) * 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
JP4747232B2 (ja) * 2006-09-06 2011-08-17 独立行政法人産業技術総合研究所 小型携帯端末
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP4950834B2 (ja) * 2007-10-19 2012-06-13 キヤノン株式会社 画像処理装置、画像処理方法
US9772689B2 (en) * 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
JP5250834B2 (ja) * 2008-04-03 2013-07-31 コニカミノルタ株式会社 頭部装着式映像表示装置
US8193766B2 (en) * 2008-04-30 2012-06-05 Medtronic, Inc. Time remaining to charge an implantable medical device, charger indicator, system and method therefore
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface

Also Published As

Publication number Publication date
JP2010164814A (ja) 2010-07-29
WO2010082547A1 (ja) 2010-07-22
US20110260967A1 (en) 2011-10-27

Similar Documents

Publication Publication Date Title
JP5168161B2 (ja) ヘッドマウントディスプレイ
JP5293154B2 (ja) ヘッドマウントディスプレイ
JP5272827B2 (ja) ヘッドマウントディスプレイ
JP4707034B2 (ja) 画像処理方法、入力インタフェース装置
EP2107414A1 (en) Head mount display and head mount display system
EP2163937A1 (en) Head mount display
US10666853B2 (en) Virtual makeup device, and virtual makeup method
JP2004312733A (ja) 網膜トラッキングを組み込んだ装置及び方法
JP6341755B2 (ja) 情報処理装置、方法及びプログラム並びに記録媒体
JP2010145861A (ja) ヘッドマウントディスプレイ
CN102457692A (zh) 投影仪以及投影仪的控制方法
US20110316763A1 (en) Head-mounted display apparatus, image control method and image control program
JP2006101186A (ja) カメラ
JP2009100084A (ja) 情報処理装置、指示システム及び制御プログラム
JP2010139901A (ja) ヘッドマウントディスプレイ
US8525890B2 (en) Projected-image based photographing apparatus control system
JP2013085073A (ja) 画像投影装置
JPH10320109A (ja) 表示装置、拡大表示支援方法、および音声化支援方法
JPWO2018158921A1 (ja) 画像表示装置、及び、眼の挙動検出方法
JP6569320B2 (ja) 電子機器、及び、電子機器の制御方法
JP5012780B2 (ja) ヘッドマウントディスプレイ
JP2018042004A (ja) 表示装置、頭部装着型表示装置、及び、表示装置の制御方法
JP4674627B2 (ja) 情報処理装置、遠隔指示システム及びプログラム
JP2010134051A (ja) 画像表示装置
JP2017161759A (ja) 網膜投影型表示装置、画像表示方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121210

R150 Certificate of patent or registration of utility model

Ref document number: 5168161

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees