JPWO2017169909A1 - 作業支援装置、ウェアラブル端末、作業支援方法およびコンピュータプログラム - Google Patents
作業支援装置、ウェアラブル端末、作業支援方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JPWO2017169909A1 JPWO2017169909A1 JP2018509054A JP2018509054A JPWO2017169909A1 JP WO2017169909 A1 JPWO2017169909 A1 JP WO2017169909A1 JP 2018509054 A JP2018509054 A JP 2018509054A JP 2018509054 A JP2018509054 A JP 2018509054A JP WO2017169909 A1 JPWO2017169909 A1 JP WO2017169909A1
- Authority
- JP
- Japan
- Prior art keywords
- related information
- movement
- wearable terminal
- display
- displayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
作業者の作業を効果的に支援する技術を提供する。作業支援装置は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識部と、対象物が認識された時点におけるウェアラブル端末の向き、および、ウェアラブル端末の位置またはカメラの焦点距離を基準として、ウェアラブル端末の移動量を測定する測定部と、測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において対象物の隣に表示する表示部と、を備える。
Description
本開示は、作業支援装置、ウェアラブル端末、作業支援方法および記録媒体に関する。
ウェアラブル端末に搭載されたカメラによって撮影された画像にコンテンツ情報を重畳して表示させる拡張現実(Augmented Reality:AR)技術が知られている。例えば、特許文献1には、入力画像から空き領域を判定し、空き領域にコンテンツを表示する技術が開示されている。また、特許文献2には、現実画像に関連する架空画像を現実画像に重畳して表示する技術が開示されている。
例えば、作業者がある装置に対して作業を行う場合、操作マニュアル等を参照しながら作業を行う場合がある。操作マニュアルが紙媒体の場合、作業者は作業対象の装置の横に、該操作マニュアルを置いて、操作マニュアルと装置とを交互に見ながら作業を行うことがある。
特許文献1に記載の技術では、カメラの画角の変化について述べられていないため、画角が変更する度に、基準物の認識と空き領域の判定とを行う可能性がある。そのため、表示される内容および位置が、画角が変更する度に変わってしまう可能性がある。したがって、特許文献1の技術では、作業者が見たい情報が、該作業者が意図した領域に表示されない場合がある。例えば、上述した紙媒体の操作マニュアルを使用している場合と同様の動作を作業者が行った場合、特許文献1の技術では、作業者が頭を動かすたびに、作業マニュアルの表示位置が変わり、作業者に対し煩わしさを与えてしまう可能性がある。
また、特許文献2に記載の技術では、使用者の頭部の動きを検出することにより、使用者が現実画像のどの部分を見ているのかを推定し、この頭部の動きに基づいて、吹き出しの表示位置を変更している。例えば、マニュアルなどを特許文献2に記載の技術で表示すると、吹き出しの部分が大きくなる場合がある。この吹き出しの部分に視線を合わせるように作業者が頭部を移動させた場合、この移動後の位置が現実画像上に含まれない可能性がある。この場合、特許文献2に記載の技術では、移動量が大きくなるため、撮像部が動作し、表示内容と表示位置とが再度定められることになる。したがって、特許文献2に記載の技術において、例えば、作業者が、作業対象の装置の横に該操作マニュアルを置いた状態と同じような状態で表示された操作マニュアルを見るために頭部を動かすと、架空画像の表示される内容および位置が変わる可能性がある。また、撮像部が動作しなかった場合であっても、移動量に基づいて、メモリに記憶した現実画像を参照し表示内容を変更しているため、視線の先が現実画像上に含まれない場合、何も表示されない、または、表示内容が変わってしまう可能性がある。したがって、特許文献2の技術では、作業者が見たい情報が、該作業者が意図した内容で意図した領域に表示されない場合があり、作業者に対し煩わしさを与えてしまう可能性がある。
本開示は上記課題に鑑みてなされたものであり、その目的は、作業者の作業を効果的に支援する技術を提供することにある。
本開示の一態様に係る作業支援装置は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、を備える。
また、本開示の一態様に係るウェアラブル端末は、画像を取得するカメラと、前記画像から、当該画像に含まれる対象物を認識する認識手段と、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、を備える。
また、本開示の一態様に係る作業支援方法は、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する。
なお、上記作業支援装置、ウェアラブル端末または作業支援方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
本開示によれば、作業者の作業を効果的に支援することができる。
<第1の実施の形態>
本開示の第1の実施の形態について、図面を参照して説明する。図1は、本実施の形態に係る作業支援装置10の機能構成の一例を示す機能ブロック図である。図1に示す通り、本実施の形態に係る作業支援装置10は、認識部11と、測定部12と、表示部13とを備える。
本開示の第1の実施の形態について、図面を参照して説明する。図1は、本実施の形態に係る作業支援装置10の機能構成の一例を示す機能ブロック図である。図1に示す通り、本実施の形態に係る作業支援装置10は、認識部11と、測定部12と、表示部13とを備える。
認識部11は、ウェアラブル端末に搭載されたカメラより取得された画像を入力とする。認識部11は、入力された画像に含まれる対象物を認識する。認識部11は、カメラより取得された画像と、対象物の認識結果とを表示部13に供給する。また、認識部11は、認識したことを示す通知を測定部12に供給する。
測定部12は、認識部11から通知を受け取ると、対象物が認識された時点におけるウェアラブル端末の位置、および、向きまたは焦点距離を基準とする。そして、この基準からウェアラブル端末が移動すると、測定部12は、この移動を検知し、該ウェアラブル端末の移動量を測定する。そして、測定部12は、移動量を表示部13に供給する。
表示部13は、認識部11から認識結果と画像とを受け取る。また、表示部13は、測定部12から移動量を受け取る。表示部13は、受け取った移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する。例えば、表示部13は、認識結果から、認識された対象物に関連する関連情報を図示しない記憶部等より取得する。そして、認識部11から受け取った画像から、認識された対象物の輪郭の座標群を特定し、該対象物の隣の領域を算出する。そして、表示部13は、移動量に基づいて、移動後の表示画面を含む平面上における対象物の座標群を再計算し、対象物の隣に位置する関連情報の表示領域に、関連情報をAR(Augmented Reality:拡張現実)表示する。
なお、表示部13は、例えば液晶ディスプレイによって実現される場合、該液晶ディスプレイに関連情報を表示することにより作業者に視認させてもよい。また表示部13がハーフミラーによって実現される場合、表示部13は、関連情報をハーフミラーに反射させることにより、関連情報を作業者に視認させてもよい。また、表示部13は、関連情報を網膜に直接を投影することにより、該関連情報を作業者に視認させてもよい。なお、本実施の形態および以下に説明する他の実施の形態においては表示部13が液晶ディスプレイであるとして説明を行う。
図2は、本実施の形態に係る作業支援装置10の処理の流れの一例を示すフローチャートである。図2に示す通り、認識部11が、ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する(ステップS1)。そして、測定部12が、対象物が認識された時点におけるウェアラブル端末の向き、および、ウェアラブル端末の位置またはカメラの焦点距離を基準として、ウェアラブル端末の移動量を測定する(ステップS2)。その後、表示部13が測定された移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する(ステップS3)。以上により作業支援装置10は、処理を終了する。
以上のように、本実施の形態に係る作業支援装置10は、ウェアラブル端末の移動量に基づいて、対象物に関連する情報を対象物の隣に位置するように表示する。したがって、例えば、カメラを搭載したウェアラブル端末を装着した作業者が、作業時において、作業対象の対象物と、対象物に関連する関連情報が表示された領域とを交互に見ながら作業を行った場合であっても、関連情報は対象物の隣に表示される。よって、作業者は、関連情報があたかも対象物の隣に表示されている場合と同様に、関連情報を視認することができる。これにより、作業支援装置10は、作業者に煩わしさを与えることなく、関連情報を作業者に視認させることができる。したがって、作業支援装置10は、作業者の作業を効果的に支援することができる。
<第2の実施の形態>
上述した第1の実施の形態を基本とする第2の実施の形態について説明する。図3は、本実施の形態に係る作業支援装置100を含むウェアラブル端末1の構成の一例を示すブロック図である。図3に示す通り、ウェアラブル端末1は、カメラ20と、作業支援装置100とを含む。作業支援装置100は、認識部110と、測定部120と、表示部130と、記憶部140とを備える。また、作業支援装置100は、カメラ20に接続している。なお、記憶部140は、作業支援装置100の外部に設けられてもよい。
上述した第1の実施の形態を基本とする第2の実施の形態について説明する。図3は、本実施の形態に係る作業支援装置100を含むウェアラブル端末1の構成の一例を示すブロック図である。図3に示す通り、ウェアラブル端末1は、カメラ20と、作業支援装置100とを含む。作業支援装置100は、認識部110と、測定部120と、表示部130と、記憶部140とを備える。また、作業支援装置100は、カメラ20に接続している。なお、記憶部140は、作業支援装置100の外部に設けられてもよい。
図4は、本実施の形態に係るウェアラブル端末1の利用シーンを説明するための図である。図4に示す通り、作業者がウェアラブル端末1を装着し、対象物を見ると、ウェアラブル端末1に含まれるカメラ20が対象物を撮影する。ウェアラブル端末1の作業支援装置100は、カメラ20によって撮影された画像を用いて、対象物を認識し、ウェアラブル端末1の移動量(つまり、作業者の頭の移動の量)を測定し、移動量に基づいて、対象物に関連する関連情報を対象物の隣に表示する。
本実施の形態では、このように、ウェアラブル端末1が、例えば、眼鏡型であるとして説明を行うが、ウェアラブル端末1の形態はどのようなものであってもよい。カメラ20が取得した画像(撮影画像と呼ぶ)は、作業支援装置100に送信される。ここで、カメラ20が撮影した撮影画像の一例を図5に示す。図5は、本実施の形態に係るウェアラブル端末1におけるカメラ20が撮影した撮影画像の一例を示す図である。図5に示す通り、撮影画像には、対象物が含まれる。なお、撮影画像は、図5に示す対象物の内部の計器のみが対象物として含まれる画像であってもよい。
以下、作業支援装置100の各部について説明を行う。記憶部140は、対象物の認識に用いられる認識用データを記憶している。記憶部140が記憶する認識用データには、該認識用データが示す対象物に関連する情報が関連付けられている。対象物に関連する情報とは、例えば、該対象物を説明する情報、該対象物に対する操作マニュアル等が挙げられるがこれに限定されるものではない。また、認識用データには、該認識用データが示す対象物の大きさ、形状等、画像から該対象物の輪郭を特定可能な情報が関連付けられていてもよい。
認識部110は、上述した第1の実施の形態に係る認識部11に相当する。認識部110は、カメラ20から送信された撮影画像を受信する。なお、認識部110は、カメラ20が撮影した撮影画像を、カメラ20から取得する構成であってもよいし、カメラ20が撮影した撮影画像を記憶する記憶装置から取得する構成であってもよい。
認識部110は、記憶部140を参照し、該撮影画像から、該撮影画像に含まれる対象物を認識する。そして、認識部110は、認識結果を撮影画像と共に表示部130に供給する。認識部110が表示部130に供給する認識結果は、記憶部140に格納された認識用データが示す対象物を表す情報であればよい。また、認識部110は、対象物を認識したことを示す通知(認識通知)を撮影画像と共に測定部120に供給する。
測定部120は、認識通知を受け取ると、対象物が認識された時点におけるウェアラブル端末1の位置および向きを基準とする。なお、測定部120は、対象物が認識された時点におけるカメラ20の焦点距離および向きを基準としてもよい。本実施の形態では、ウェアラブル端末1を装着した作業者が視認可能な画角と、カメラ20が撮影した画角とがほぼ同じになるようにカメラ20の焦点距離が設定されているとして説明を行う。なお、基準の決定方法は特に限定されないが、測定部120は、対象物が認識された時点のウェアラブル端末1の位置情報と、ウェアラブル端末1の向きとから、該基準を算出することができる。以下では、対象物が認識された時点のウェアラブル端末1の位置を始点とし、該ウェアラブル端末1の方向へ向かう矢印によって上記基準を表すとする。なお、この基準を以下では基準位置や原点とも呼ぶが、これらは特に言及しない限り、基準によって表されるウェアラブル端末1の位置のみを示すものではなく、ウェアラブル端末1の位置および方向を示すとする。
測定部120は、その後、ウェアラブル端末1の移動量を測定する。測定部120は、ウェアラブル端末1の位置の変化量およびウェアラブル端末1の向きの変化量を移動量として測定する。測定部120は、例えば、モーションセンサによって実現される。
測定部120は、移動量を測定すると、移動量を測定する前の位置および方向と、移動量とを、表示部130に供給する。
表示部130は、認識部110から認識結果を撮影画像と共に受け取る。表示部130は、記憶部140と、認識結果とから、撮影画像に含まれる対象物を特定し、該対象物に関連する関連情報を取得する。そして、表示部130は、該関連情報をAR表示する際、該関連情報の表示領域が表示画面上において対象物の隣に位置するように、該関連情報の表示領域を決定する。例えば、表示部130は、対象物の大きさから撮影画像上における対象物の輪郭の座標群を算出し、該輪郭の座標群の外側になるように、関連情報の表示領域を決定する。例えば、認識された対象物が、複数の部品を含む装置である場合、表示部130は、この装置の外周に沿った領域のうちの何れかの領域を表示領域として決定してもよい。また、例えば、認識された対象物が複数の部品を含む装置内の何れかの部品である場合、表示部130は、認識された対象物の外周に沿った領域のうちの何れかの領域を表示領域としてもよいし、認識された対象物と他の対象物との位置関係から、何も対象物が存在しない領域を表示領域としてもよい。
また、表示部130は、基準位置において表示部130が表示する表示画面を含む平面上において関連情報を表示した場合に、該関連情報が所定の大きさで視認される大きさに表示領域の大きさを決定してもよい。例えば、表示部130は、対象物を認識した時点におけるウェアラブル端末1の位置および方向において、該対象物の隣に関連情報を表示した場合に、該関連情報の大きさが所定の大きさ(例えば、210×297ミリ)となるように、表示領域の大きさを決定してもよい。
また、表示部130は、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ20の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定してもよい。例えば、認識用データに、該認識用データが表す対象物の実世界上の大きさに対する縮尺が関連付けられており、対象物の実世界上の大きさが推定可能であるとする。なお、対象物の実世界上の大きさの推定方法は特に限定されない。表示部130は、推定した実世界上の対象物の大きさと、撮影画像とから該対象物を含む実世界上の、カメラ20の光軸と水平な平面の位置を推定し、該平面上において、所定の大きさ(例えば、210×297ミリ)となるように、表示領域の大きさを決定してもよい。
以下では、表示部130が表示する表示画面上の関連情報のサイズの横幅が所定のサイズ(例えば210ミリ)であるとして説明を行う。
そして、表示部130は、決定した表示領域が、現時点の画角内に少なくとも一部分が含まれるか否かを確認する。表示部130は、現時点の画角内に決定した表示領域が少なくとも一部分含まれる場合、決定した大きさで該表示領域に関連情報を表示した際の該画角内に含まれる部分の画像(AR表示用画像)を生成する。そして、表示部130は、カメラ20が撮影した撮影画像上に生成したAR表示用画像を重畳して表示する。図6に表示部130が表示する表示画面の一例を示す。図6は、図5の撮影画像に、関連情報をAR表示させた表示画面の一例である。図6に示す通り、表示画面には、対象物の右隣に、関連情報が表示される。関連情報は、表示画面を含む平面上では、所定の大きさであり、表示画面の画角内には、左側の一部のみが含まれる。なお、破線で示す通り、関連情報は対象物の左隣に表示されてもよい。
なお、例えば、現時点の画角内いっぱいに対象物が写っている場合、対象物の隣に位置する表示領域は、該画角内には含まれない。したがって、表示部130は、現時点の画角内に決定した表示領域は含まれないと確認する。この場合、表示部130は、関連情報の少なくとも一部分を表示画面に表示しない。
また、表示部130は、測定部120から移動量を測定する前の位置および方向と、移動量とを、受け取る。ここで、測定部120が測定する移動量について、図7および図8を用いて説明する。図7および図8は測定部120が測定する移動量を説明するための図である。図7および図8では、移動量として左右方向(鉛直方向に略垂直な方向)について説明するが、上下方向(鉛直方向に略平行な方向)の移動を含んでいてもよい。
基準位置は、図7に示す通り、ウェアラブル端末1を装着した作業者から対象物に向かう方向であるとする。そして、図7では、表示部130が上述のようにして決定した関連情報の表示領域を破線で示している。作業者が、表示領域側に顔を動かすと、ウェアラブル端末1の向きは、基準位置の方向から一点鎖線の矢印で示す方向に移動する。測定部120は、この向きの変化量(回転量)を移動量として測定する。
また、図8に示す通り、作業者が基準位置を決定した時点の作業者の位置から右方向に体ごと移動した場合、ウェアラブル端末1の方向は変わらないがウェアラブル端末1の位置が変化する。測定部120は、この位置の変化量を移動量として測定する。
表示部130は、測定部120から移動量を測定する前の位置および方向である基準位置と、移動量とを受け取る。そして、表示部130は、この移動量に基づいて、関連情報を表示する。図9および図10を用いてその説明を行う。
まず、ウェアラブル端末1を装着した作業者が図7に示す状態で対象物を見ている状態の場合の表示画面が図6の状態であるとする。作業者は、作業対象の対象物に関連する情報を見るために、図7のように頭を右方向に回転させ、関連情報の表示領域の方を見たとする。このとき、カメラ20が撮影する撮影画像は、図9に示すように、対象物が左側に移動した状態となる。表示部130は、移動量に基づいて、対象物の位置や対象物の輪郭の座標群を再計算する。また、表示部130は、再計算した対象物の位置や輪郭の座標群に基づいて、該対象物の隣に表示される関連情報の表示領域も再計算する。そして、再計算された領域が、移動後の画角内に少なくとも一部分が含まれるか否かを確認する。表示部130は、現時点の画角内に決定した表示領域が少なくとも一部分含まれる場合、既に決定している大きさで該表示領域に関連情報を表示した際の該画角内に含まれる部分の画像(AR表示用画像)を生成する。そして、表示部130は、カメラ20が撮影した撮影画像上に生成したAR表示用画像を重畳して表示する。図10に表示部130が表示する表示画面の一例を示す。表示部130は、図10に示すように、対象物の関連情報が関連情報の隣に位置するように表示画面に関連情報を表示する。
図6および図10を比較すると、関連情報が、図6の状態から作業者が右方向に回転した状態で表示されていることがわかる。つまり、表示部130は、対象物の関連情報があたかも対象物の隣に固定されているかのように、該関連情報を表示している。
また、表示部130が、測定部120から、移動量を測定する前の位置および方向と、移動量とを受け取る場合の他の例について説明する。まず、表示部130が測定部120から受け取る移動量を測定する前の位置および方向と、移動量とを図11を用いて説明する。なお、図11では、図6に示すようにウェアラブル端末1の位置が変化しておらず、ウェアラブル端末1の向きのみが変化する場合について説明を行うが、ウェアラブル端末1の位置が変化してもよい。
図11において、一点鎖線の矢印で示す1回目に移動した後のウェアラブル端末1の向きは、図6における移動後の向きと同じであるとする。つまり、ウェアラブル端末1を装着した作業者が、関連情報の表示領域の方を向いているとする。この位置から作業者が下方向に頭を向けると、測定部120はこの移動量を測定する。測定部120は、移動前の位置(一点鎖線の矢印の位置)と、この移動前の位置からの移動量(二点鎖線の矢印の位置までの変化量)とを、表示部130に供給する。
表示部130は、測定部120から測定した移動量と、移動量の測定前の位置とを受け取ると、この移動量に基づいて関連情報を表示する。具体的には、表示部130は、測定前の位置からの移動が、関連情報が表示された画角内から該関連情報に沿った移動であるか否かを判定する。そして、該関連情報に沿った移動である場合、表示部130は、移動量に基づいて、表示画面上における関連情報の表示位置において、該関連情報の表示内容を変更して表示する。
図11において、2回目に移動した後のウェアラブル端末の向きで、表示部130が表示する表示画面の一例を図12に示す。図12は、図10の状態からウェアラブル端末1を装着した作業者がスクロール方向(上下方向)に頭を動かした場合における表示画面の一例である。図12に示す通り、図10において関連情報が表示された位置に内容が異なる関連情報が表示されている。表示部130は、移動量に応じて、関連情報が下にスクロールされた状態になるように、該関連情報を表示している。なお、表示部130がこの関連情報を表示する状態において、カメラ20が取得する画像には対象物が含まれないため、図12に示す表示画面には対象物が含まれない。これにより、表示部130は、対象物の関連情報が、実世界上において、あたかも対象物の隣に固定して貼り付けられているかのように、該関連情報を表示することができる。
また、表示部130は、実世界上において、対象物の隣にあたかも関連情報が固定して貼り付けられていることを、より実世界に近い状態で表示してもよい。例えば、図7に示す通り移動量が角度である場合、実世界で対象物の隣に関連情報が貼り付けられているとすると、該関連情報は傾斜を有した状態で見える。したがって、表示部130は、図13に示す通り、この傾斜も考慮して、関連情報を対象物の隣に表示してもよい。このように、本実施の形態に係る作業支援装置100は、より実世界に近い状態を再現する表示を行うことができる。
また、図10および図12では、表示部130は関連情報の表示領域を横幅のみ所定の大きさにして表示したが、表示領域の縦の長さも所定の大きさにしてもよい。例えば、表示部130は、図14に示す通り、実際の用紙を対象物の隣に貼り付けているかのように、関連情報を所定の大きさ(例えば、210×297ミリ)で表示してもよい。そして、ウェアラブル端末1の方向がスクロール方向に移動すると、表示部130は、作業者が次のページを見るかのように、図14の表示画面に表示した内容の続きの内容を、同じ大きさで、図15に示すように表示してもよい。これにより、作業者は、実際に作業の際に使用する、例えばマニュアルなどを見る場合と同じように、AR表示された関連情報を視認することができる。
図16は、本実施の形態に係る作業支援装置100の処理の流れの一例を示すフローチャートである。図16に示す通り、まず、認識部110がカメラ20から供給された画像(撮影画像)を受信する(ステップS11)。そして、認識部110が、受信した撮影画像に含まれる対象物を認識する(ステップS12)。
そして、測定部120が、対象物が認識された時点におけるウェアラブル端末1の位置および向きから基準位置を決定する(ステップS13)。そして、表示部130が、対象物の関連情報をAR表示する表示領域を決定する(ステップS14)。
そして、表示部130は、対象物の表示領域の少なくとも一部分が、現時点の画角内に含まれるか否かを確認し(ステップS15)、含まれる場合(ステップS15にてYES)、現時点の画角内において表示されるAR表示用画像を生成する(ステップS16)。そして、表示部130は、生成したAR表示用画像を、撮影画像に重畳して表示する(ステップS17)。
対象物の表示領域の少なくとも一部分が、現時点の画角内に含まれない場合(ステップS15にてNO)、表示部130は、撮影画像のみを表示する(ステップS18)。撮影画像にAR表示用画像を重畳して表示した後(ステップS17終了後)、または、撮影画像を表示後(ステップS18終了後)、ウェアラブル端末1は、自身が移動を検知したか否かを確認する。つまり、測定部120が移動量を測定したか否かを確認する(ステップS19)。測定部120は、移動量を測定するまで待機する(ステップS19にてNO)。
一方、測定部120が移動量を測定した場合(ステップS19にてYES)、表示部130は移動方向が関連情報のスクロール方向か否かを確認する(ステップS20)。スクロール方向ではない場合(ステップS20にてNO)、すなわち、図7および図8に示したような移動の場合、表示部130は移動量に基づいて、対象物の位置および表示領域を再計算する(ステップS21)。そして、処理をステップS15に戻し、再計算した表示領域が画角内に含まれる場合、表示部130は例えば図10に示すように関連情報を対象物の隣に表示することができる。
移動方向がスクロール方向の場合(ステップS20にてYES)、すなわち、図11に示したような移動の場合、表示部130は移動量に基づいて、対象物の表示内容を変更したAR表示用画像を生成する(ステップS22)。そして、処理をステップS17に戻し、表示部130が生成したAR表示用画像を表示する。
これにより、表示部130は、移動量に基づいて、関連情報の表示位置または表示内容を変更しながら、カメラ20が取得した撮影画像にAR表示用画像を重畳させて表示した表示画面を表示することができる。
以上のように、本実施の形態に係る作業支援装置100は、認識部110がカメラ20より取得された画像から、当該画像に含まれる対象物を認識する。そして、測定部120が、対象物が認識された時点におけるウェアラブル端末1の向き、および、ウェアラブル端末1の位置またはカメラ20の焦点距離を基準として、ウェアラブル端末1の移動量を測定する。そして、表示部130が、測定された移動量に基づいて、認識された対象物に関連する関連情報を、表示画面上において対象物の隣に表示する。したがって、例えば、カメラを搭載したウェアラブル端末1を装着した作業者が、作業時において、作業対象の対象物と、対象物に関連する関連情報が表示された領域とを交互に見ながら作業を行った場合であっても、関連情報は対象物の隣に表示される。よって、作業者は、関連情報があたかも対象物の隣に表示されている場合と同様に、関連情報を視認することができる。これにより、作業支援装置100は、作業者に煩わしさを与えることなく、関連情報を作業者に視認させることができ、高いリアル感を与えることができる。したがって、作業支援装置100は、作業者の作業を効果的に支援することができる。
(変形例1)
次に、本実施の形態に係る作業支援装置100の変形例1について説明する。上述した第2の実施の形態では、作業支援装置100は、表示画面との距離が一定の状態における移動量を測定したが、測定部120は表示画面との距離の変化量も測定してもよい。このとき表示部130が表示する表示画面について説明する。
次に、本実施の形態に係る作業支援装置100の変形例1について説明する。上述した第2の実施の形態では、作業支援装置100は、表示画面との距離が一定の状態における移動量を測定したが、測定部120は表示画面との距離の変化量も測定してもよい。このとき表示部130が表示する表示画面について説明する。
表示部130は、上述した通り、基準位置において表示部130が表示する表示画面を含む平面上において関連情報を表示した場合に、所定の大きさで視認される大きさに表示領域の大きさを決定するとする。そして、表示部130は決定した大きさで関連情報を表示する。そして、本変形例における表示部130は、対象物との距離が変化しても、表示画面上において、関連情報が所定の大きさで視認されるように、関連情報を表示する。これについて、図17から図19を参照して説明を行う。
まず、図17は、対象物が認識された時点における表示画面の一例を示す。図17に示す通り、関連情報は、対象物の隣に位置するように表示される。表示部130は、この関連情報を、例えば、実世界上において、対象物の隣に、210×297ミリのサイズの用紙が置かれているのと同じ大きさとなるように表示している。
この図17の表示画面を表示した時点は、対象物が認識された時点であるため、該対象物の認識に用いた画像を撮影したウェアラブル端末1の位置と方向とが基準となる。この基準から、ウェアラブル端末1を装着した作業者が対象物から離れる方向に移動した場合、対象物との距離が遠くなる。そのため、図18に示す通り、表示部130が表示する表示画面上において、対象物は、図17に示す状態から小さくなる。この場合であっても、表示部130は、対象物の隣に関連情報を表示する。このとき、表示部130は、関連情報の大きさを図17に表示した大きさから変更しない。つまり、本変形例において、表示部130は、表示画面上において所定の大きさ(210×297ミリ)で関連情報が視認されるように、関連情報を表示する。このときカメラのピントは、対象物に合っている場合が多い。したがって、表示部130は、表示画面に表示する関連情報にもピントが合うように関連情報を所定の大きさで表示する。
図17の表示画面を表示した時点から対象物に近づいた場合も同様である。図19は、基準から、ウェアラブル端末1を装着した作業者が対象物に近づく方向に移動した場合、対象物との距離が近くなる。そのため、図19に示す通り、表示部130が表示する表示画面上において、対象物は、図17に示す状態から大きくなる。この場合であっても、表示部130は、対象物の隣に関連情報を表示する。このとき、表示部130は、関連情報の大きさを図17に表示した大きさから変更しない。この場合も、表示部130は、表示画面に表示する関連情報にもピントが合うように関連情報を所定の大きさで表示する。
上述した通り、ウェアラブル端末1の位置が変化し、カメラ20と対象物との距離が変化する場合、この対象物との距離に応じてカメラ20のピントも合せる場合、カメラ20の焦点距離も変化する。つまり、本変形例における測定部120は、対象物が認識された時点におけるウェアラブル端末の向き、および、カメラ20の焦点距離を基準とし、カメラ20の焦点距離の基準からの変化量を、該カメラ20を搭載したウェアラブル端末の移動量として測定すると言い換えることができる。このような場合であっても、作業支援装置100は、焦点距離の変化に合わせて、ピントを合わせた所定の大きさの関連情報を対象物の隣に表示することができる。
つまり、実際にウェアラブル端末1を移動させなくとも、例えば、図示しない入力装置等から焦点距離を変更させる指示が入力された場合、作業支援装置100は、該焦点距離の変更に従って変更させた焦点距離に基づいて、関連情報を表示することができる。
このような構成によれば、例えば、ウェアラブル端末1から遠くに位置する対象物を認識した場合であっても、作業支援装置100は、対象物の隣に、作業者が視認可能な状態で関連情報を表示することができる。
(変形例2)
本実施の形態の変形例2について説明する。本変形例では、上述した変形例1と同様に、測定部120が表示画面との距離の変化量を測定する場合について説明する。ただし、本変形例では、上述した変形例1と異なり、表示部130が、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ20の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定するとして説明する。これについて、図17、図20および図21を参照して説明を行う。
本実施の形態の変形例2について説明する。本変形例では、上述した変形例1と同様に、測定部120が表示画面との距離の変化量を測定する場合について説明する。ただし、本変形例では、上述した変形例1と異なり、表示部130が、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ20の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定するとして説明する。これについて、図17、図20および図21を参照して説明を行う。
まず、図17は、上述と同様に対象物が認識された時点における表示画面である。表示部130は、対象物が認識された時点において、該対象物を含む実世界上の平面であり、カメラ20の光軸と平行な平面上において、所定の大きさとなるように、関連情報の表示領域の大きさを決定し、決定した大きさで関連情報を表示する。表示部130は、この関連情報を、例えば、実世界上において、対象物の隣に、210×297ミリのサイズの用紙が置かれているのと同じ大きさとなるように表示している。
そして、基準から、ウェアラブル端末1を装着した作業者が対象物から離れる方向に移動した場合、対象物との距離が遠くなる。そのため、図20に示す通り、表示部130が表示する表示画面上において、対象物は、図17に示す状態から小さくなる。ここで、表示部130が対象物を含む実世界上の平面上で所定の大きさで関連情報を表示するため、図20に示す通り、関連情報は小さく表示される。
図17の表示画面を表示した時点から対象物に近づいた場合も同様である。図21は、基準から、ウェアラブル端末1を装着した作業者が対象物に近づく方向に移動した場合の表示画面の一例を示す図である。図21に示す通り、表示部130が表示する表示画面上において、対象物とウェアラブル端末1との距離が近くなるため、対象物は、図17に示す状態から大きくなる。表示部130が対象物を含む実世界上の平面上で所定の大きさで関連情報を表示するため、図21に示す通り、関連情報も対象物と同様に大きく表示される。
このような構成によれば、作業支援装置100は、実世界上において対象物の隣に、関連情報である例えば、操作マニュアル等を置いた場合と、同様の状態を再現することができる。
また、作業支援装置100は、変形例1と変形例2とを組み合わせた構成であってもよい。例えば、表示部130は、対象物を認識した時点では関連情報が表示画面上において所定の大きさ(第1の大きさ)で視認されるようにし、焦点距離の変化に応じて、第1の大きさから変化させた第2の大きさで該関連情報が視認されるように、該関連情報を表示してもよい。
このような構成により、作業支援装置100は、作業者の作業に応じてより適切なサイズで、関連情報を表示することができる。よって、作業支援装置100は、作業者の作業をより効果的に支援することができる。
<第3の実施の形態>
次に、第3の実施の形態について図22を参照して説明する。本実施の形態に係るウェアラブル端末2は、上述したウェアラブル端末1の作業支援装置100に代えて、作業支援装置101を備え、更に、入力装置30を備える。作業支援装置101は、上述した作業支援装置100に受付部150を更に備える構成である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
次に、第3の実施の形態について図22を参照して説明する。本実施の形態に係るウェアラブル端末2は、上述したウェアラブル端末1の作業支援装置100に代えて、作業支援装置101を備え、更に、入力装置30を備える。作業支援装置101は、上述した作業支援装置100に受付部150を更に備える構成である。なお、説明の便宜上、前述した各実施の形態で説明した図面に含まれる部材と同じ機能を有する部材については、同じ符号を付し、その説明を省略する。
図22は、本実施の形態に係る作業支援装置101を含むウェアラブル端末2の構成の一例を示すブロック図である。図22に示す通り、ウェアラブル端末2は、カメラ20と、入力装置30と、作業支援装置101とを含む。作業支援装置101は、認識部110と、測定部120と、表示部130と、記憶部140と、受付部150とを備える。また、作業支援装置101は、カメラ20および入力装置30に接続している。なお、入力装置30は、ウェアラブル端末2とは別個の装置であってもよい。また、入力装置30は、作業支援装置101に内蔵されていてもよい。
入力装置30は、作業者が指示を入力するための装置である。受付部150は、入力装置30を介して入力された内容を受け付ける。受付部150は受け付けた内容を表示部130に供給する。
受付部150が受け付ける内容は、例えば、表示内容を変更する指示である。表示内容を変更する指示とは、例えば、表示された関連情報を所定の方向にスクロールさせる指示である。受付部150は受け付けた指示を表示部130に供給する。そして、表示部130は、受付部150から受け取った指示に従って、表示内容を変更させて表示する。
表示部130が表示させる表示画面の一例を図23に示す。ここでは、図10に示す表示画面から、受付部150が下方向へのスクロール指示を受け取ったとする。このとき、表示部130は、関連情報の内容をスクロールさせて表示する。これにより、図23に示す通り、関連情報を表示する領域には、スクロール後の関連情報が表示される。このように、表示部130は、スクロール指示に従った内容に表示内容を変更したAR表示用画面を作成し、撮影画像に重畳して表示する。これにより、作業者は、簡単な操作で表示内容を変更した関連情報を確認することができる。よって、本実施の形態に係る作業支援装置101は、作業者の作業をより効果的に支援することができる。
(ハードウェア構成について)
本開示の各実施形態において、各作業支援装置の各構成要素は、機能単位のブロックを示している。各作業支援装置の各構成要素の一部又は全部は、例えば図24に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図24は、各作業支援装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
本開示の各実施形態において、各作業支援装置の各構成要素は、機能単位のブロックを示している。各作業支援装置の各構成要素の一部又は全部は、例えば図24に示すような情報処理装置900とプログラムとの任意の組み合わせにより実現される。図24は、各作業支援装置の各構成要素を実現する情報処理装置900のハードウェア構成の一例を示すブロック図である。情報処理装置900は、一例として、以下のような構成を含む。
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
各実施形態における各作業支援装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各作業支援装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901が読み出す。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
各実施形態における各作業支援装置の各構成要素は、これらの機能を実現するプログラム904をCPU901が取得して実行することで実現される。各作業支援装置の各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901が読み出す。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
各作業支援装置の実現方法には、様々な変形例がある。例えば、各作業支援装置は、構成要素毎にそれぞれ別個の情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。また、各作業支援装置が備える複数の構成要素が、一つの情報処理装置900とプログラムとの任意の組み合わせにより実現されてもよい。
また、各作業支援装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
各作業支援装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
各作業支援装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備える作業支援装置。
(付記2)
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記1に記載の作業支援装置。
(付記3)
前記表示手段は、前記表示画面を含む平面上において所定の大きさで前記関連情報が視認されるように、当該関連情報を表示する、付記1または2に記載の作業支援装置。
(付記4)
前記表示手段は、前記対象物が認識された時点において、前記対象物を含む実世界上の平面であって、当該カメラの光軸と平行な前記平面上において、所定の大きさとなるように、前記関連情報を表示する、付記1または2に記載の作業支援装置。
(付記5)
前記表示手段は、前記基準における表示画面を含む平面上において第1の大きさで視認されるように、且つ、前記カメラの焦点距離が、前記対象物が認識された時点から変化した場合、当該焦点距離の変化に応じて前記第1の大きさを変化させた第2の大きさで視認されるように、前記関連情報を表示する、付記1または2に記載の作業支援装置。
(付記6)
前記測定手段は、前記移動量として、移動前の前記ウェアラブル端末の向きからの移動角度を測定する、付記1から5の何れか1つに記載の作業支援装置。
(付記7)
入力装置に入力された内容を受け付ける受付手段を更に備え、
前記表示手段は、前記関連情報が表示された状態において、前記受付手段が受け付けた内容に応じて、現時点における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記1から6の何れか1つに記載の作業支援装置。
(付記8)
画像を取得するカメラと、
前記画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備えるウェアラブル端末。
(付記9)
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記8に記載のウェアラブル端末。
(付記10)
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する、作業支援方法。
(付記11)
前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更して表示する、付記10に記載の作業支援方法。
(付記12)
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する処理と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する処理と、
をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
(付記13)
前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する処理を、更にコンピュータに実行させる、付記12に記載の記録媒体。
この出願は、2016年3月29日に出願された日本出願特願2016−065671を基礎とする優先権を主張し、その開示の全てをここに取り込む。
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備える作業支援装置。
(付記2)
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記1に記載の作業支援装置。
(付記3)
前記表示手段は、前記表示画面を含む平面上において所定の大きさで前記関連情報が視認されるように、当該関連情報を表示する、付記1または2に記載の作業支援装置。
(付記4)
前記表示手段は、前記対象物が認識された時点において、前記対象物を含む実世界上の平面であって、当該カメラの光軸と平行な前記平面上において、所定の大きさとなるように、前記関連情報を表示する、付記1または2に記載の作業支援装置。
(付記5)
前記表示手段は、前記基準における表示画面を含む平面上において第1の大きさで視認されるように、且つ、前記カメラの焦点距離が、前記対象物が認識された時点から変化した場合、当該焦点距離の変化に応じて前記第1の大きさを変化させた第2の大きさで視認されるように、前記関連情報を表示する、付記1または2に記載の作業支援装置。
(付記6)
前記測定手段は、前記移動量として、移動前の前記ウェアラブル端末の向きからの移動角度を測定する、付記1から5の何れか1つに記載の作業支援装置。
(付記7)
入力装置に入力された内容を受け付ける受付手段を更に備え、
前記表示手段は、前記関連情報が表示された状態において、前記受付手段が受け付けた内容に応じて、現時点における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記1から6の何れか1つに記載の作業支援装置。
(付記8)
画像を取得するカメラと、
前記画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備えるウェアラブル端末。
(付記9)
前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、付記8に記載のウェアラブル端末。
(付記10)
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する、作業支援方法。
(付記11)
前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更して表示する、付記10に記載の作業支援方法。
(付記12)
ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する処理と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する処理と、
をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。
(付記13)
前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する処理を、更にコンピュータに実行させる、付記12に記載の記録媒体。
この出願は、2016年3月29日に出願された日本出願特願2016−065671を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 ウェアラブル端末
2 ウェアラブル端末
10 作業支援装置
11 認識部
12 測定部
13 表示部
20 カメラ
30 入力装置
100 作業支援装置
101 作業支援装置
110 認識部
120 測定部
130 表示部
140 記憶部
150 受付部
2 ウェアラブル端末
10 作業支援装置
11 認識部
12 測定部
13 表示部
20 カメラ
30 入力装置
100 作業支援装置
101 作業支援装置
110 認識部
120 測定部
130 表示部
140 記憶部
150 受付部
Claims (13)
- ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備える作業支援装置。 - 前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項1に記載の作業支援装置。
- 前記表示手段は、前記表示画面を含む平面上において所定の大きさで前記関連情報が視認されるように、当該関連情報を表示する、請求項1または2に記載の作業支援装置。
- 前記表示手段は、前記対象物が認識された時点において、前記対象物を含む実世界上の平面であって、当該カメラの光軸と平行な前記平面上において、所定の大きさとなるように、前記関連情報を表示する、請求項1または2に記載の作業支援装置。
- 前記表示手段は、前記基準における表示画面を含む平面上において第1の大きさで視認されるように、且つ、前記カメラの焦点距離が、前記対象物が認識された時点から変化した場合、当該焦点距離の変化に応じて前記第1の大きさを変化させた第2の大きさで視認されるように、前記関連情報を表示する、請求項1または2に記載の作業支援装置。
- 前記測定手段は、前記移動量として、移動前の前記ウェアラブル端末の向きからの移動角度を測定する、請求項1から5の何れか1項に記載の作業支援装置。
- 入力装置に入力された内容を受け付ける受付手段を更に備え、
前記表示手段は、前記関連情報が表示された状態において、前記受付手段が受け付けた内容に応じて、現時点における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項1から6の何れか1項に記載の作業支援装置。 - 画像を取得するカメラと、
前記画像から、当該画像に含まれる対象物を認識する認識手段と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する測定手段と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する表示手段と、
を備えるウェアラブル端末。 - 前記関連情報が表示された状態において、前記測定手段が更に前記移動量を測定すると、前記表示手段は、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する、請求項8に記載のウェアラブル端末。
- ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識し、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定し、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する、作業支援方法。 - 前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更して表示する、請求項10に記載の作業支援方法。
- ウェアラブル端末に搭載されたカメラより取得された画像から、当該画像に含まれる対象物を認識する処理と、
前記対象物が認識された時点における前記ウェアラブル端末の向き、および、前記ウェアラブル端末の位置または前記カメラの焦点距離を基準として、前記ウェアラブル端末の移動量を測定する処理と、
前記測定された移動量に基づいて、認識された前記対象物に関連する関連情報を、表示画面上において前記対象物の隣に表示する処理と、
をコンピュータに実行させるプログラムを記録するコンピュータ読み取り可能な非一時的な記録媒体。 - 前記関連情報が表示された状態において、更に前記移動量が測定されると、当該移動量の測定前の位置からの移動が、前記関連情報が表示された画角内から該関連情報に沿った移動か否かを判定し、前記移動が前記関連情報に沿った移動である場合、該移動量に基づいて、表示画面上における前記関連情報の表示位置において、該関連情報の表示内容を変更する処理を、更にコンピュータに実行させる、請求項12に記載の記録媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016065671 | 2016-03-29 | ||
JP2016065671 | 2016-03-29 | ||
PCT/JP2017/010949 WO2017169909A1 (ja) | 2016-03-29 | 2017-03-17 | 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2017169909A1 true JPWO2017169909A1 (ja) | 2019-02-14 |
Family
ID=59964328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018509054A Pending JPWO2017169909A1 (ja) | 2016-03-29 | 2017-03-17 | 作業支援装置、ウェアラブル端末、作業支援方法およびコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JPWO2017169909A1 (ja) |
WO (1) | WO2017169909A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6802547B2 (ja) * | 2018-10-10 | 2020-12-16 | 株式会社日立製作所 | 拡張現実による機械的締結部の管理方法 |
CN115244565A (zh) * | 2020-03-05 | 2022-10-25 | 株式会社日立制作所 | 基于增强现实的机械紧固作业方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5315111B2 (ja) * | 2009-03-31 | 2013-10-16 | 株式会社エヌ・ティ・ティ・ドコモ | 端末装置、情報提示システム及び端末画面表示方法 |
US20170038838A1 (en) * | 2014-05-09 | 2017-02-09 | Sony Corporation | Information processing system and information processing method |
JP6364952B2 (ja) * | 2014-05-23 | 2018-08-01 | 富士通株式会社 | 情報処理装置、情報処理システムおよび情報処理方法 |
-
2017
- 2017-03-17 WO PCT/JP2017/010949 patent/WO2017169909A1/ja active Application Filing
- 2017-03-17 JP JP2018509054A patent/JPWO2017169909A1/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2017169909A1 (ja) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI663876B (zh) | 影像處理裝置、影像處理方法及儲存介質與用於影像處理裝置的攝影輔助器材 | |
US10095458B2 (en) | Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system | |
US10354449B2 (en) | Augmented reality lighting effects | |
EP2864832B1 (en) | Method and apparatus for augmenting an index image generated by a near eye display | |
US10234955B2 (en) | Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program | |
JP7005224B2 (ja) | 情報処理装置、システム、画像処理方法、コンピュータプログラム、及び記憶媒体 | |
JP6344530B2 (ja) | 入力装置、入力方法、及びプログラム | |
US10713488B2 (en) | Inspection spot output apparatus, control method, and storage medium | |
KR102450236B1 (ko) | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 | |
JP2017134771A (ja) | 情報処理装置、情報処理方法、プログラム | |
WO2017169909A1 (ja) | 作業支援装置、ウェアラブル端末、作業支援方法および記録媒体 | |
JPWO2018189971A1 (ja) | 画像処理装置、撮像装置、端末装置、画像補正方法および画像処理プログラム | |
CN105278807A (zh) | Gui装置 | |
JP2022058753A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6686319B2 (ja) | 画像投影装置及び画像表示システム | |
WO2015045679A1 (ja) | 情報機器および制御プログラム | |
JP2014096057A (ja) | 画像処理装置 | |
JP2018032991A (ja) | 画像表示装置、画像表示方法及び画像表示用コンピュータプログラム | |
KR102614026B1 (ko) | 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법 | |
JP2012058353A (ja) | 画像表示装置、及びその制御方法 | |
JP6192454B2 (ja) | 表示システム | |
JP2020197856A (ja) | 情報表示装置 | |
JP2016111521A (ja) | 情報処理装置、情報処理プログラムおよび情報処理方法 | |
US20220345680A1 (en) | Information processing apparatus, information processing method, and program | |
JP2014082648A (ja) | 電子機器、画像補正方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180920 |