JP6696925B2 - 操作支援装置 - Google Patents

Description

本発明は、操作対象の指定領域に対する操作時の視認性を向上させる操作支援装置に係り、特に、所定の指定領域に対して正しい操作が行われていることを容易に認識できるようにする操作支援装置に関する。

AR（拡張現実感）は、CG（Computer Graphics：以下、視覚的な仮想情報をCGで総称する）を現実世界に重畳する技術である。ARの用途としては、例えばユーザが自ら所持する端末のカメラを商品にかざした際に、その商品を特定し、その商品に紐付いた価格等の情報をディスプレイの適切な位置に表示させるものがある。近年、携帯電話機やスマートフォンのような端末の処理性能の向上に伴って、ARを実行可能な環境が提供されてきている。

例えば、ユーザの頭部に装着する小型ディスプレイを備えた眼鏡状装置としてHMD（ヘッド・マウント・ディスプレイ）がある。HMDに搭載されたカメラは、ユーザの視線の先に映る現実空間の映像を撮影し続けるために、ユーザが自ら意識的にカメラをかざす必要もない。そのために、ユーザの視線の先の現実空間上にCGを重畳的に表示することができる。HMDとARとを連携した用途として作業支援システムがある。作業者は、例えば手先の作業をしながら、ディスプレイに映る作業指示CGをハンズフリーで確認することができる。

HMDは、主に(1)透過型と、(2)非透過型とに分類できる。透過型は、ハーフミラー等を通して装着者に虚像を見せるものであり、装着者は現実空間を直接視認できる。この方式は光学シースルー型とも呼ばれる。一方、非透過型は装着者の視界の一部もしくは全てを覆うように装着者の眼前にディスプレイが設置されるため、装着者はディスプレイの後方の現実空間を直接視認できない。但し、カメラを内蔵している場合、カメラで撮影した映像をディスプレイ上に表示することで、装着者は後方の現実空間を映像越しに視認することができる。この方式はビデオシースルー型と呼ばれる。

操作支援システムでは、視界の一部が遮られることで操作効率が低下する恐れがあるため、非透過よりも光学もしくはビデオのいずれかのシースルー方式を用いる方が望ましい。なお、スマートフォンやタブレットを用いたＡＲシステムもビデオシースルー型と表現することができる。非特許文献１，２には、それぞれ非透過型HMD、透過型HMDを用いた作業支援システムが開示されている。

非特許文献１に開示されるような、スマートフォンやタブレットなどを含む非透過型HMDを用いたビデオシースルー型の一般的なARシステムでは、カメラの撮影画像とCGとをディスプレイ内で位置合わせして表示する。

非特許文献２に開示された光学シースルー型のARシステムでは、スクリーンにはCGのみが表示され、その表示位置は装着者の視界で実環境の作業領域と重なるように、事前のキャリブレーションに基づいて補正される。そのため、装着者は実環境中の作業領域から視線を逸らすことなく作業指示を把握することができる。

http://jpn.nec.com/wearable/images/leaf_Remote-V1.4.pdf.pdf 巻渕有哉 ，小林達也，加藤晴久，柳原広昌，"HMDキャリブレーションとオンサイト学習によるハンズフリー遠隔作業支援ARシステム，" 研究報告オーディオビジュアル複合情報処理（AVM），2015-AVM-88(2)，1-6 (2015-02-20) 加藤博一，M.Billinghurst，浅野浩一，橘啓八郎，"マーカー追跡に基づく拡張現実感システムとそのキャリブレーション" ，日本バーチャルリアリティ学会論文誌，Vol4，No4，pp.607-616，(1999)

非特許文献１に開示されている方式は、撮影画像を通して実環境を視認するため、作業領域の視認性が撮影位置や方向に依存する。例えば、広角カメラの撮影画像の全体をディスプレイに表示する場合、作業領域が撮影画像内に小さく写ることになり、作業領域の細かい状態の把握が困難である。一方で、撮影画像の一部をトリミングして表示した場合、作業対象が表示範囲内に収まるように撮影位置や向きを調整する手間が生じる。

非特許文献２に開示されている方式は、透過型HMDのキャリブレーションに計算誤差を含む場合に、CGと実環境（作業領域）との位置合わせにずれが生じる。そのため、特に作業領域が小さい、または細かい場合に、例えば小さいポートが並んでいると、キャリブレーションの計算誤差に起因して、作業指示のCGが誤ったポートを指し示す可能性がある。

本発明の目的は、上記の従来技術の課題を解決し、操作対象に対する作業者の位置や方向にかかわらず、操作対象の指定領域のリアルタイム映像を作業者に視認し易い形態で提供でき、さらには作業指示のCGを正規の位置に重畳表示できる操作支援装置を提供することにある。

上記の目的を達成するために、本発明は、操作対象の指定領域に関する操作支援用の情報を表示する操作支援装置において、以下の構成を具備した。

(1) 本発明の操作支援装置は、操作対象を撮影したカメラ映像を出力するカメラと、操作対象ごとに指定領域を特定する情報を記憶する記憶手段と、操作対象の位置／姿勢パラメータを算出する位置／姿勢算出手段と、指定領域を特定する情報および位置／姿勢パラメータに基づいてカメラ映像上で指定領域範囲を識別する指定領域範囲識別手段と、指定領域範囲内のカメラ映像を指定領域映像として切り出す指定領域映像切出手段と、切り出した指定領域映像をディスプレイに表示する表示手段とを具備した。

(2) 指定領域ごとに操作支援補助CGを記憶する記憶手段と、前記指定領域映像に操作支援補助CGを重畳表示するCG重畳表示手段とを具備した.

(3) カメラ映像から切り出した指定領域映像を前記ディスプレイに表示する際の表示形態を制御する表示制御手段をさらに具備し、指定領域映像をディスプレイ上の所定の固定位置に所定の固定サイズで表示し、あるいはディスプレイに全面表示し、あるいは正面映像に変換して表示するようにした。

(4) 表示制御手段は、指定領域範囲が認識されて指定領域映像が切り出されるまでは、当該指定領域に関連して予め用意された指定領域暫定映像を表示するようにした。

本発明によれば、以下のような効果が達成される。

(1) 操作対象と作業者（カメラ）との相対的な位置／姿勢の関係を表す位置／姿勢パラメータに基づいて、操作対象のカメラ映像上で指定領域範囲を識別して指定領域映像を切り出し、これを略リアルタイムで表示するので、作業者は指定領域に対する自身の操作を略リアルタイムで確認しながら操作できるので、正規の指定領域に対して正しい操作を行えるようになる。

(2) 透過型HMDを用いた場合に、指定領域映像をHMDスクリーンの一部に表示することで、指定領域映像以外の領域では実環境を直接視認できるという特長を有しつつ、作業者とHMD間の位置関係に基づくキャリブレーションが不要となるため、キャリブレーションの計算誤差によるCGと作業領域間のずれの問題が生じない。なお、この効果は本発明を透過型HMDに適用した場合に固有のものであるが、それ以外の効果については透過型HMDのみならず非透過型HMDやスマートフォンへの適用時にも達成できる。

(3) カメラ映像から切り出した指定領域映像を位置／姿勢パラメータに基づいて正面映像等の適宜の形態に整えて表示できるので、操作対象に対する作業者の位置や方向にかかわらず指定領域映像を視認し易い形態で表示できる。

(4) カメラ映像上の指定領域から指定領域映像が切り出されてディスプレイに表示する準備が整うまでは定領域暫定映像をディスプレイに暫定表示し、指定領域映像の表示準備が完了した時点で当該指定領域映像に切り換えることができるので、指定領域映像の無表示期間が生じないようにできる。

本発明の第１実施形態に係る操作支援装置の主要部の構成を示した機能ブロック図である。 マーカを用いた座標系の設定例を示した図である。 特徴点の配置を用いた座標系の設定例を示した図である。 カメラ映像から指定領域映像を切り出す例を示した図である。 指定領域映像を正面映像に射影変換してディスプレイの一部領域に重畳表示する例を示した図である。 指定領域映像を射影変換せずに表示する場合と、一部の領域を切り出して正面映像に射影変換して表示する場合との見え方を比較した図である。 指定領域映像の準備が整うまで指定領域暫定映像を表示する例を示した図である。 本発明の第２実施形態に係る操作支援装置の主要部の構成を示した機能ブロック図である。 指定領域映像に操作支援補助CGを重畳表示する例を示した図である。 略リアルタイムで更新される指定領域映像に操作支援補助CGを重畳表示する例を示した図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図１は、本発明の第１実施形態に係る操作支援装置１の主要部の構成を示した機能ブロック図であり、操作対象を撮影する可視光カメラ１０、各種のデータを記憶するデータベース２０、操作支援情報の表示形態を整えて出力する映像出力装置３０及び操作支援情報をディスプレイに表示する表示装置４０を主要な構成としている。

可視光カメラ１０は、操作対象を撮影したカメラ映像を出力する。本実施形態では、カメラ映像として動画を想定している。データベース２０は、操作対象とカメラ１０との相対的な位置／姿勢の関係を表す位置／姿勢パラメータの算出に必要な情報、後述する指定領域情報および指定領域暫定映像等の電子情報を記録する記憶装置である。このような記憶装置としては、ハードディスクやフラッシュメモリ等の不揮発性メモリストレージまたはPCの主記憶装置として使用される揮発性メモリを用いることができる。

表示装置４０は、PCやスマートフォンのディスプレイを含み、ヘッドマウントディスプレイやヘッドアップディスプレイ、ホログラムディスプレイを使用してもよい。ヘッドマウントディスプレイには透過型および非透過型の２種類が存在するが、そのいずれであっても良い。

映像出力装置３０において、位置／姿勢算出部３１は、操作対象と可視光カメラ１０との相対的な位置／姿勢の関係を表す位置／姿勢パラメータを算出する。位置／姿勢を検知するセンサとしては、可視光、赤外線、超音波または磁気用の各種センサなどを用いることができる。本実施形態は、操作対象を撮影する可視光カメラ１０を備えるので、可視光カメラ１０が位置／姿勢を検知するセンサ装置を兼ねる場合を例にして説明する。

センサ装置として可視光カメラ１０を用いる場合は、例えば非特許文献２に開示された手法を利用して、可視光カメラ１０が撮影したカメラ映像から抽出した複数の特徴点（SIFT，SURF，ORB等）またはマーカの配置と、操作対象から予め抽出してデータベース２０に蓄積されている複数の特徴点またはマーカの配置との対応関係に基づいて位置／姿勢パラメータを算出する。専用のマーカを対象物に貼り付けることで操作対象Tの位置／姿勢パラメータを取得する手法は、例えば非特許文献３に開示されている。

前記位置／姿勢パラメータとしては、並進及び移動のパラメータ、射影変換行列またはアフィン変換行列、ホモグラフィ行列などを用いることができる。位置／姿勢パラメータとは、より厳密には可視光カメラ１０と操作対象との間との相対的な位置関係を示すものであり、操作対象に対する可視光カメラ１０の位置／姿勢パラメータ及び可視光カメラ１０に対する操作対象の位置／姿勢パラメータのいずれも用いることができる。

本実施形態では、前記位置／姿勢パラメータを算出するために、特徴点やマーカの配置を用いる場合及び可視光カメラ以外を用いる場合のいずれにおいても、操作対象物に対して座標系が設定される。

図２は、マーカを用いた際に設定される座標系（X,Y,Z）の一例を示しており、図３は、特徴点（図中の×印）の配置を用いた際に設定される座標系の一例を示している。なお、図２，３ではいずれも映像の左上が原点となっているが、本発明はこれに限定されるものではない。

指定領域範囲識別部３２は、データベース２０から取得した指定領域の位置及び形状に関する情報（指定領域情報）および前記位置／姿勢パラメータに基づいて、カメラ映像上で指定領域の範囲を識別する。指定領域切出部３３は、前記指定領域範囲の識別結果に基づいて、カメラ映像から指定領域の映像を切り出し、これを指定領域映像として表示制御部３４へ出力する。

ここで、指定領域とは操作対象における具体的な操作部分として予め指定される少なくとも一つの領域であり、位置／姿勢算出部３１を算出する際に使用した操作対象の座標系上の点群に基づいて定めることができる。

例えば、図２，３に示したように、指定領域が矩形の形状であって、その４頂点の座標を操作対象の座標系上で指定することで指定領域が予め登録されているのであれば、指定領域を示す情報として当該4頂点の各座標をデータベース２０から取得する。

指定領域を示す情報は、領域の輪郭を構成する点や線分を用いても良い。例えば、輪郭を構成する点群の全て又は一部（頂点等）を用いることができる。なお、指定領域を示す情報は点や線分に限定されるものではなく、対象物の座標系上での位置及び形状を特定できる情報であれば、どのような情報であっても良い。

本実施形態では、前記位置／姿勢パラメータおよび指定領域情報を用いることにより、カメラ映像中の指定領域の範囲を算出することができる。

指定領域映像は、図４に示したように、カメラ映像[同図(a)]から、位置／姿勢パラメータに基づいて算出された指定領域範囲の形状通り[同図(b)]に切り出して取得しても良いし、あるいは指定領域範囲の形状とは異なる形状、例えば指定領域範囲の外接矩形[同図(c)]として切り出しても良い。なお、指定領域映像の切り出し方はこれらに限定されるものではなく、切り出した指定領域映像が映像中の指定領域範囲と映像的に何らかの関連性があればよい。

表示制御部３４は、指定領域切出部３３が切り出した指定領域映像を表示装置４０のディスプレイ上に所定の形態で表示する。例えば、ディスプレイ上の一部分を占める固定位置に所定の固定サイズで表示してもよいし、ディスプレイ上にフルスクリーンで表示するようにしてもよい。

指定領域映像の表示サイズを、カメラ映像からの切り出しサイズにかかわらず固定にすれば、操作対象を離れた位置から撮影し、作業者の視界やカメラ映像内で指定領域が小さく写る場合でも、表示制御部３４が一種の拡大鏡のように機能することで、その指定領域を大きく、見やすく表示できるようになる。

また、ディスプレイ上での指定領域映像の表示位置を固定とすれば、撮影位置や方向、すなわちカメラ映像上で指定領域がどこに写っているかに関わらず、作業者は指定領域の詳細な状態を確認する際に常に決まった位置を視認すればよいことになる。

表示位置については、事前にいくつかの候補を用意しておき、位置／姿勢パラメータを用いて最適な表示位置を選択するようにしてもよい。または、表示装置４０のディスプレイに収まる範囲内で、カメラ映像もしくは実環境内の指定領域の近傍に表示してもよい。指定領域映像の表示方法は本発明を限定するものではない。

表示制御部３４はさらに、指定領域切出部３３から取得した指定領域映像を射影変換（アフィン変換や相似変換を含む）により所望の向きに変換することで、指定領域の視認性を更に向上させることができる。図５は、指定領域映像を正面映像に変換して、ディスプレイの左下の位置に表示する例を示している。

図６は、操作対象のカメラ映像から切り出した指定領域映像を、射影変換等することなく表示する場合[同図(a)，(b)]と、正面映像に変換して表示する場合[同図(c)，(d)]との見え方を比較した図である。

射影変換せずに表示すると、操作対象に対する作業者の位置や方向に応じて指定領域の見え方が大きく異なるのに対して、正面映像に変換して表示すれば、操作対象に対する作業者の位置や方向にかかわらず良好な視認性を確保できることが解る。

ところで、本実施形態では所定のフレームレートで入力されるカメラ映像上で指定領域範囲をリアルタイムで識別して指定領域映像を切り出し、更には必要に応じて射影変換等の画像処理を行ってから表示装置４０へ出力する。そのため、特に作業開始時や操作対象を切り換えた直後等には、映像処理遅延の影響によりディスプレイに何も表示されない無表示期間が生じ得る。

このような事態を回避するために、本実施形態では、指定領域ごとに予め指定領域暫定映像をデータベース２０に用意しておき、図７に示したように、カメラ映像上の指定領域から指定領域映像が切り出されてディスプレイに表示されるまでの間は前記指定領域暫定映像をディスプレイに暫定表示し[同図(a)]、指定領域映像の表示準備が完了した時点で当該指定領域映像に切り換える[同図(b)]ようにしても良い。

図８は、本発明の第２実施形態に係る操作支援装置１の主要部の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態はCG重畳部３５をさらに具備し、操作対象を撮影したカメラ映像から逐次的に切り出される指定領域映像上に操作支援補助CGを重畳表示するようにした点に特徴がある。

CG重畳部３５は、図９に示すように、表示装置４０のディスプレイ上に表示される指令領域映像[同図(a)]上に、操作支援を補助する操作支援補助CG[同図(b)]を重畳表示[同図(c)]する。操作支援補助CGは、操作箇所や交換部品等を具体的に特定するための目印や操作内容を説明する文字、図形、記号等であり、各指定領域と対応付けて予めデータベース２０に蓄積されているか、あるいは他の機能やアプリ等によってメモリ上に展開されている。例えば、遠隔作業支援の用途では、一般的に通信機能を有するが、遠隔者が作成したCGを受信して用いるようにしても良い。CG重畳部３５は指定領域映像ごとに、当該指定領域の識別子をキーとしてデータベース２０から操作支援補助CGを読み出して表示装置４０へ出力する。

前記図９は、所定のLANポートに装着されているLANケーブルを取り外す操作を支援する操作支援補助CGなので、所定のLANポートにLANケーブルが装着されている指定領域映像[同図(a)]に、取り外し対象のLANケーブルを特定するための目印（ここでは、〇印）及び操作内容（ここでは、「ヌク」の文字列）を示す操作支援補助CG[同図(b)]が重畳[同図(c)]されている。

一般的なARでは、カメラ映像上にCGを位置合わせして表示する。つまり、CGの表示位置は位置／姿勢パラメータによってその都度異なる。一方、本実施形態では操作対象のカメラ映像から指定領域映像を切り出すことが上記の位置合わせと同義であるため、操作支援補助CGの表示位置は位置／姿勢パラメータによらず固定となる。

本実施形態では、指定領域映像が略リアルタイムで逐次的に更新されるので、図１０に示したように、例えば作業者が作業箇所に手を伸ばすと、これに同期して指定領域映像も変化するので、自身の手とCG（例えば、「ヌク（抜く）」）との距離感を把握しやすくなる。

なお、透過型HMDを用いる場合は、上述の通り、キャリブレーション誤差に起因して、装着者の視界で実環境中の指定領域とCGとがずれる課題があった。一方で、本実施形態の場合は、指定領域映像を切り出し、その上に操作支援補助CGを重ね合わせる処理の中でキャリブレーションパラメータを使用することがないため、透過型HMDを用いる場合でも、操作支援補助CGが指定領域映像上でずれて表示されることがない。

すなわち、透過型HMDにおけるARには２通りの実現方法があり、一つはスクリーンにCGのみを表示し、実環境と位置合わせする方式である。この場合、実環境とカメラとの位置関係に加えて、カメラと装着者の眼との位置関係を推定する必要がある。後者の位置関係を算出する処理は、透過型HMDのキャリブレ―ションと呼ばれる。この方式の場合、カメラ姿勢（実環境とカメラ間の位置関係）の推定精度が十分であっても、キャリブレーションに推定誤差がある場合、CGと実環境間のずれが生じる。もう一つの方式では、スクリーンに撮影画像を表示し、その上にCGを表示するものである。本発明によれば、この方式をベースとして、撮影画像中の指定領域を高い視認性で表示することが可能になる。

１０…センサ装置（可視光カメラ），２０…データベース，３０…映像出力装置，３１…位置／姿勢算出部，３２…指定領域範囲識別部，３３…指定領域切出部，３４…表示制御部，３５…CG重畳部，４０…表示装置

Claims (8)

1. 操作対象の指定領域に関する操作支援用の情報を表示する操作支援装置において、
   操作対象を撮影したカメラ映像を出力するカメラと、
   操作対象ごとに指定領域を特定する情報を記憶する記憶手段と、
   操作対象の位置／姿勢パラメータを算出する位置／姿勢算出手段と、
   前記指定領域を特定する情報および位置／姿勢パラメータに基づいてカメラ映像上で指定領域範囲を識別する指定領域範囲識別手段と、
   前記指定領域範囲内のカメラ映像を指定領域映像として切り出す指定領域映像切出手段と、
   前記切り出した指定領域映像をディスプレイに表示する表示手段とを具備したことを特徴とする操作支援装置。
2. 指定領域ごとに操作支援補助CGを記憶する記憶手段と、
   前記指定領域映像に操作支援補助CGを重畳表示するCG重畳表示手段とを具備したことを特徴とする請求項１に記載の操作支援装置。
3. 前記カメラ映像から切り出した指定領域映像を前記ディスプレイに表示する際の形態を制御する表示制御手段をさらに具備したことを特徴とする請求項１または２に記載の操作支援装置。
4. 前記指定領域範囲識別手段は、指定領域の位置及び形状を特定する情報に前記位置／姿勢パラメータを適用して指定領域範囲を識別することを特徴とする請求項１ないし３のいずれかに記載の操作支援装置。
5. 前記表示制御手段は、前記指定領域映像をディスプレイ上の所定の固定位置に所定の固定サイズで表示することを特徴とする請求項３に記載の操作支援装置。
6. 前記表示制御手段は、前記指定領域映像をディスプレイに全面表示することを特徴とする請求項３または５に記載の操作支援装置。
7. 前記表示制御手段は、前記位置／姿勢パラメータに基づき、指定領域映像を正面映像に変換して表示することを特徴とする請求項３，５，６のいずれかに記載の操作支援装置。
8. 前記表示制御手段は、前記指定領域範囲が認識されて前記指定領域映像が切り出されるまでは、当該指定領域に関連して予め用意された指定領域暫定映像を表示することを特徴とする請求項３，５，６，７のいずれかに記載の操作支援装置。