JP6372149B2 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents
表示制御装置、表示制御方法および表示制御プログラム Download PDFInfo
- Publication number
- JP6372149B2 JP6372149B2 JP2014092303A JP2014092303A JP6372149B2 JP 6372149 B2 JP6372149 B2 JP 6372149B2 JP 2014092303 A JP2014092303 A JP 2014092303A JP 2014092303 A JP2014092303 A JP 2014092303A JP 6372149 B2 JP6372149 B2 JP 6372149B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- captured image
- marker
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 114
- 239000003550 marker Substances 0.000 claims description 324
- 238000003384 imaging method Methods 0.000 claims description 218
- 238000012545 processing Methods 0.000 claims description 80
- 238000003860 storage Methods 0.000 claims description 52
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000009825 accumulation Methods 0.000 claims description 32
- 230000009466 transformation Effects 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 13
- 239000000284 extract Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 description 49
- 239000013598 vector Substances 0.000 description 34
- 230000000052 comparative effect Effects 0.000 description 29
- 230000036544 posture Effects 0.000 description 28
- 238000013519 translation Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 9
- 230000014509 gene expression Effects 0.000 description 9
- 238000012790 confirmation Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
Description
さらに、1つの案では、上記の表示制御装置と同様の処理をコンピュータに実行させる表示制御プログラムが提供される。
〔第1の実施の形態〕
図1は、第1の実施の形態に係る表示制御装置の構成例および処理例を示す図である。図1に示す表示制御装置1は、撮像画像から認識されたマーカの位置情報に基づいて、マーカを基準とした撮像位置および撮像姿勢を算出する。そして、算出した撮像位置および撮像姿勢に基づく撮像画像上の位置に、所定の作業支援情報を重畳表示させる。
図2は、第2の実施の形態に係る端末装置のハードウェア構成例を示す図である。第2の実施の形態に係る端末装置100は、図2に示すような携帯型のコンピュータとして実現される。
RAM102は、端末装置サーバ100の主記憶装置として使用される。RAM102には、プロセッサ101に実行させるOS(Operating System)プログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、RAM102には、プロセッサ101による処理に必要な各種データが格納される。
カメラ108は、撮像素子によって得られた画像信号をデジタル化して、プロセッサ101に送信する。
図3は、端末装置の利用シーンの例を示す図である。作業者200は、作業の対象とする作業対象物201が存在する作業空間において、端末装置100を携帯する。作業対象物201には、作業の段階ごとに、所定位置にマーカが貼付されている。図3の例では、2つのマーカ211,212が示されている。それぞれのマーカの外形の形状や大きさは同じであり、ここでは、各マーカは、長辺および短辺がそれぞれ同一の矩形であるとする。また、各マーカの外縁部は、同じ太さおよび同じ色の線によって縁取られているものとする。さらに、マーカの内部に表示された情報(内部パターン)は、マーカごとに異なっている。
図4は、撮像画像に対する作業支援情報の重畳表示の例を示す図である。前述のように、端末装置100は、基本的に、撮像画像からのマーカの認識結果に基づいて、そのマーカに対応付けられた作業支援情報を撮像画像上の適切な位置に重畳表示させる。すなわち、端末装置100は、通常、マーカベースAR技術を用いて作業支援情報の重畳表示処理を行う。
図5は、マーカ座標系、カメラ座標系および画像座標系の例を示す図である。図5において、マーカ214の中心を原点とし、マーカ214の面をX−Y平面としたマーカ座標系を、行列[Xm Ym Zm 1]Tと定義する。なお、右上に付した“T”は転置行列を示す。また、カメラの焦点を原点とし、撮像方向の中心をZ軸とする3次元の“カメラ座標系”を、行列[Xc Yc Zc 1]Tと定義する。さらに、撮像画像の左上を原点とする2次元の“画像座標系”を、行列[xc yc 1]Tと定義する。なお、カメラ座標系におけるZ軸は、画像座標系における画像平面231と、撮像画像の中心点232において直交する。
次に、カメラ座標系から画像座標系への射影変換は、次の式(2)によって定義される。また、式(2)における行列Pは、式(3)のように表される。
l1:a1xc+b1yc+c1=0 ・・・(4−1)
l2:a2xc+b2yc+c2=0 ・・・(4−2)
式(2),(3),(4−1),(4−2)から、次の式(5−1),(5−2)が得られる。
a1P11Xc+(a1P12+b1P22)Yc+(a1P13+b1P23+c1)Zc=0・・・(5−1)
a2P11Xc+(a2P12+b2P22)Yc+(a2P13+b2P23+c2)Zc=0・・・(5−2)
式(5−1)は、直線l1に対応するマーカ214の辺と、カメラ108の焦点234とを通る面S1を表す。また、式(5−2)は、直線l2に対応するマーカ214の辺と、カメラ108の焦点234とを通る面S2を表す。式(5−1),(5−2)から、面S1,S2のそれぞれの法線ベクトルn1,n2を示す式が求められる。そして、直線l1に対応する空間中のマーカ214の辺の方向ベクトルをV1とおくと、方向ベクトルは、法線ベクトルn1,n2の外積から与えられる。
次に、上記の式(2)に基づき、画像座標系における点の座標は、カメラ座標系の点の座標を用いて次の式(7−1),(7−2)のように表される。
[Xm Ym Zm 1]T=M[x y z 1]T ・・・(8)
Mを下記の式(9)に示す変換行列とすると、作業支援情報の並進成分p(tx,ty,tz)および回転軸成分(回転角)(l,m,n,θ)は、それぞれ下記の式(10),(11)によって表される。
端末装置100は、撮像画像取得部111、マーカ認識部112、撮像位置姿勢推定部113、重畳表示制御部114、情報蓄積制御部115、比較画像情報選択部116および撮像位置姿勢推定部117を有する。これらの各ブロックの処理は、例えば、プロセッサ101が所定のプログラムを実行することで実現される。
マーカ画像データベース120には、マーカの認識処理で使用されるマーカのテンプレート画像が格納される。マーカ画像データベース120には、内部パターンが互いに異なる複数のマーカのテンプレート画像が格納されており、各テンプレート画像は1つの作業段階に対応している。以下、各作業段階は作業IDによって識別され、マーカ画像データベース120では、テンプレート画像がそれぞれ個別の作業IDに対応付けられているものとする。
重畳表示制御部114は、マーカ認識部112によって認識された作業IDを、撮像位置姿勢推定部113を介して取得し、作業支援情報データベース130から、取得した作業IDに対応する作業支援情報を特定する。重畳表示制御部114は、撮像位置姿勢推定部113によって算出された撮像位置姿勢情報に基づいて、特定した作業支援情報の撮像画像における表示位置を算出し、算出した表示位置に撮像位置姿勢情報を表示させる。
比較画像情報選択部116は、マーカ認識部112が撮像画像からのマーカの認識に失敗した場合に、比較画像情報データベース140から、撮像位置姿勢情報の推定に使用するために適切な比較画像の情報を選択する。以下、マーカの認識に失敗した撮像画像を、“認識失敗画像”と呼ぶ場合がある。
比較画像情報データベース140には、作業IDごとのレコード141が設けられる。各レコード141には、作業IDに対応づけて1つ以上の比較画像情報が登録される。比較画像情報は、比較画像(すなわち、マーカ認識に成功した撮像画像)のそれぞれに対応する情報である。
[ステップS11]撮像画像取得部111は、カメラ108から撮像画像の画像データを取得する。マーカ認識部112は、マーカ画像データベース120内のテンプレート画像を用いて、撮像画像取得部111によって取得された撮像画像からのマーカ認識処理を行う。
例えば、端末装置100が作業の進捗状況を管理する機能を備えている場合、ステップS22では、作業が完了した作業段階の次の作業段階を示す作業IDが特定される。また、作業IDが作業者の入力操作によって入力されてもよい。
具体的には、比較画像情報選択部118は、ステップS23で選択した画像IDに対応付けられた特徴点情報を比較画像情報データベース140から読み出す。比較画像情報選択部118は、読み出した特徴点情報が示す比較画像の特徴点と、ステップS23で認識失敗画像から抽出された特徴点とのマッチング処理を行う。マッチング処理では、例えば、各画像内での特徴点の位置関係から、画像間で対応する特徴点のペアが特定され、特定されたペア内の各特徴点の特徴量の差分が閾値Ta以内かが判定される(ただし、Taは0より大きい)。位置関係から特徴点のペアとして特定され、そのペア内の各特徴点の特徴量の差分が閾値Ta以内である場合に、1組のマッチングに成功したと判定される。
[ステップS27]比較画像情報選択部118は、比較画像情報データベース140に情報が登録された、該当作業IDに対応する比較画像を、すべて選択済みかを判定する。比較画像がすべて選択済みである場合には、ステップS28の処理が実行される。一方、未選択の比較画像がある場合には、ステップS24の処理が実行される。
sPr=HPw ・・・(13−1)
式(13−1)のパラメータsは、スケーリングの不定性に基づくスケーリングファクタを表している。この式(13−1)をxw,ywについて整理すると、次の式(13−2),(13−3)が求められる。
xw=(H11xr+H12yr+H13)/(H31xr+H32yr+H33) ・・・(13−2)
yw=(H21xr+H22yr+H23)/(H31xr+H32yr+H33) ・・・(13−3)
ここで、行列Hはスカラーによる倍率の自由度があるため8自由度となり、このことからH33=1とする。未知数が8個であり、対応点1組ごとに方程式が生成できることから、少なくとも4組の特徴点ペアの座標が得られれば未知数は一意に定まる。
H11xri+H12yri+H13−H31xrixwi−H32yrixwi=xwi ・・・(14−1)
H21xri+H22yri+H23−H31xriywi−H32yriywi=ywi ・・・(14−2)
上記の式(14−1),(14−2)を4つの特徴点ペア(i=1,2,3,4)について得られた式は、行列形式で次の式(15)のように表現できる。
情報蓄積制御部115は、ステップS15において、認識されたマーカの位置情報を比較画像情報データベース140に登録する代わりに、マーカの位置情報に基づいて算出された撮像位置姿勢情報を比較画像情報データベース140に登録する。登録される撮像位置姿勢情報としては、撮像位置姿勢推定部113によって算出された値が利用される。
次に、第3の実施の形態に係る端末装置について説明する。第3の実施の形態に係る端末装置は、第2の実施の形態に係る端末装置100の一部を変形したものである。以下、第2の実施の形態に係る端末装置100と異なる点について説明する。
比較画像情報データベース140aには、第2の実施の形態と同様、作業IDごとのレコード141aが設けられる。また、各レコード141aには、1つ以上の比較画像情報が登録されるが、それらの比較画像情報はグループごとに分類されて登録されている。グループは、グループIDによって識別される。さらに、グループごとに代表画像IDが登録される。代表画像IDは、グループに属する比較画像情報のうち、代表画像に対応する情報に付与された画像IDを示す。
マーカ認識部112がマーカの認識に成功した場合、情報蓄積制御部115aは、図10のステップS15において、作業ID、特徴点の位置と特徴量、マーカの位置情報に加えて、撮像位置姿勢推定部113によって算出された撮像位置姿勢情報を、比較画像情報データベース140aに登録する。さらに、情報蓄積制御部115aは、比較画像情報データベース140aに登録された情報について、例えば一定時間ごとに、次の図15に示す分類処理を実行する。
[ステップS51]情報蓄積制御部115aは、比較画像情報データベース140aに登録された各比較画像の撮像位置姿勢情報を用いて、比較画像をグループに分類する。分類の手法としては、k−means法を用いることができる。ここで、k−means法を用いる場合、分類計算に用いる撮像位置姿勢情報としては、回転行列Rおよび並進ベクトルTより、前述したカメラ位置(x,y,z)および回転角度(rx,ry,rz)を用いる方が、処理負荷を低くすることができる。
[ステップS52]情報蓄積制御部115aは、分類されたグループごとに代表画像を特定する。例えば、情報蓄積制御部115aは、グループに属する比較画像のうち、カメラ位置(x,y,z)または回転角θが、グループ全体でのカメラ位置(x,y,z)または回転角θの重心に最も近い比較画像を、代表画像として特定する。情報蓄積制御部115aは、代表画像を特定すると、その代表画像の画像IDを、比較画像情報データベース140内の対応するグループに設けられた代表画像IDのフィールドへ登録する。
次に、第4の実施の形態に係る端末装置について説明する。第4の実施の形態に係る端末装置は、第3の実施の形態に係る端末装置100aの一部を変形したものである。以下、第3の実施の形態に係る端末装置100aと異なる点について説明する。
第4の実施の形態に係る端末装置100aは、マーカの認識に失敗したとき、図17の上側に示すように、表示装置104上の撮像画像251a内にガイド枠252を表示させる。そして、撮像画像251aに写っているマーカの外形をガイド枠252に合わせるように、作業者に促す。例えば、このような動作を作業者に促すための案内画像253が、撮像画像251a上に表示される。さらに、このような動作が完了したことを作業者が入力するための完了ボタン254が、撮像画像251a上に表示される。
〔第5の実施の形態〕
次に、第5の実施の形態に係る端末装置について説明する。第5の実施の形態に係る端末装置は、第3の実施の形態に係る端末装置100aの一部を変形したものである。以下、第5の実施の形態に係る端末装置100aと異なる点について説明する。
[rx ry rz]=||(r32−r23)(r13−r31)(r21−r12)||・・・(17)
θ=cos-1((trace(R)−1)/2) ・・・(18)
なお、式(17)は、回転軸ベクトルを正規化した表現となっている。また、θは0以上π以下の値をとる。また、式(18)のtrace(R)は、Rの対角要素の和を示す。
図19は、第5の実施の形態の比較画像情報選択部による処理の一部の例を示すフローチャートである。図19の処理では、図11のステップS23とステップS24との間に、ステップS81〜S83が追加されている。
(付記1) 撮像画像から認識されたマーカの位置情報に基づいてマーカを基準とした撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づく撮像画像上の位置に所定の作業支援情報を重畳表示させる表示制御装置において、
撮像画像からのマーカの認識に成功したとき、当該撮像画像と他の画像との類似度の計算に使用される、当該撮像画像に関する第1の情報と、当該撮像画像からのマーカの認識結果に基づく第2の情報とを、記憶装置へ記録する蓄積処理部と、
第1の撮像画像からのマーカの認識に失敗したとき、前記記憶装置に記録された撮像画像ごとの前記第1の情報に基づいて、前記第1の撮像画像と類似する第2の撮像画像に対応する前記第2の情報を前記記憶装置から抽出し、抽出した前記第2の情報に基づいて、前記第1の撮像画像に対応する撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づいて作業支援情報の重畳表示位置を決定する表示位置決定部と、
を有することを特徴とする表示制御装置。
前記記憶装置から、前記第1の撮像画像と類似する前記第2の撮像画像に対応する前記第1の情報を抽出し、
抽出した前記第1の情報に基づき、前記第2の撮像画像における複数の特徴点の座標を、前記第1の撮像画像における複数の特徴点の座標に変換する変換式を算出して、前記変換式による座標変換の評価値を算出し、
前記評価値が所定条件を満たす場合に、前記第2の撮像画像に対応する前記第2の情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする付記1記載の表示制御装置。
前記表示位置決定部は、前記評価値が前記所定条件を満たす場合に、前記第2の撮像画像に対応する前記第2の情報に含まれるマーカの位置情報を、前記変換式を用いて変換し、変換後のマーカの位置情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする付記2記載の表示制御装置。
前記表示位置決定部は、
前記記憶装置から、前記第1の撮像画像と類似する前記第2の撮像画像に対応する前記第1の情報を抽出し、
抽出した前記第1の情報に基づいて、前記第2の撮像画像における複数の特徴点の座標を、前記第1の撮像画像における複数の特徴点の座標に変換する変換式を算出し、
前記第2の撮像画像に対応する前記第2の情報に含まれるマーカの位置情報を、前記変換式を用いて変換し、変換後のマーカの位置情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする付記1記載の表示制御装置。
前記表示位置決定部は、前記複数のグループからそれぞれ1つずつ選択された前記第1の情報を用いて、選択された前記第1の情報にそれぞれ対応する撮像画像の中から前記第1の撮像画像と類似する撮像画像を抽出し、抽出した撮像画像が属するグループを選択し、選択したグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から前記第1の撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする付記1記載の表示制御装置。
撮像画像からのマーカの認識に失敗したとき、前記複数のグループの中から前記第1の情報および前記第2の情報が含まれる数が最も多いグループを選択し、選択したグループから前記第2の情報を1つ選択し、選択した前記第2の情報に基づくマーカの外形と同じ形状で同じ大きさのガイド枠を、撮像画像上の当該マーカと同じ位置に表示させ、
前記ガイド枠の表示後に取り込んだ撮像画像を用いて、前記選択したグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から、前記ガイド枠の表示後に取り込んだ撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする付記5記載の表示制御装置。
前記第1の撮像画像からのマーカの認識に失敗したとき、前記第1の撮像画像におけるマーカの形状および位置の情報を入力する操作を受け付け、
前記複数のグループからそれぞれ1つずつ選択された前記第2の情報と、入力された前記位置情報に基づくマーカに関する情報とを比較して、選択された前記第2の情報に対応する撮像画像の中から、前記位置情報に基づくマーカとの関連性を示す指標が所定条件を満たすマーカが認識された撮像画像を判定し、
判定した撮像画像が属するグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から前記第1の撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする付記5記載の表示制御装置。
撮像画像からのマーカの認識に成功したとき、当該撮像画像と他の画像との類似度の計算に使用される、当該撮像画像に関する第1の情報と、当該撮像画像からのマーカの認識結果に基づく第2の情報とを、記憶装置へ記録し、
第1の撮像画像からのマーカの認識に失敗したとき、前記記憶装置に記録された撮像画像ごとの前記第1の情報に基づいて、前記第1の撮像画像と類似する第2の撮像画像に対応する前記第2の情報を前記記憶装置から抽出し、抽出した前記第2の情報に基づいて、前記第1の撮像画像に対応する撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づいて作業支援情報の重畳表示位置を決定する、
ことを特徴とする表示制御方法。
前記記憶装置から、前記第1の撮像画像と類似する前記第2の撮像画像に対応する前記第1の情報を抽出し、
抽出した前記第1の情報に基づき、前記第2の撮像画像における複数の特徴点の座標を、前記第1の撮像画像における複数の特徴点の座標に変換する変換式を算出して、前記変換式による座標変換の評価値を算出し、
前記評価値が所定条件を満たす場合に、前記第2の撮像画像に対応する前記第2の情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする付記8記載の表示制御方法。
前記第1の撮像画像に対応する撮像位置および撮像姿勢の算出では、
前記表示位置決定部は、前記評価値が前記所定条件を満たす場合に、前記第2の撮像画像に対応する前記第2の情報に含まれるマーカの位置情報を、前記変換式を用いて変換し、変換後のマーカの位置情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする付記9記載の表示制御方法。
前記第1の撮像画像に対応する撮像位置および撮像姿勢の算出では、
前記記憶装置から、前記第1の撮像画像と類似する前記第2の撮像画像に対応する前記第1の情報を抽出し、
抽出した前記第1の情報に基づいて、前記第2の撮像画像における複数の特徴点の座標を、前記第1の撮像画像における複数の特徴点の座標に変換する変換式を算出し、
前記第2の撮像画像に対応する前記第2の情報に含まれるマーカの位置情報を、前記変換式を用いて変換し、変換後のマーカの位置情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする付記8記載の表示制御方法。
前記第2の撮像画像に対応する前記第2の情報の抽出では、前記複数のグループからそれぞれ1つずつ選択された前記第1の情報を用いて、選択された前記第1の情報にそれぞれ対応する撮像画像の中から前記第1の撮像画像と類似する撮像画像を抽出し、抽出した撮像画像が属するグループを選択し、選択したグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から前記第1の撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする付記8記載の表示制御方法。
前記第2の撮像画像に対応する前記第2の情報の抽出では、前記ガイド枠の表示後に取り込んだ撮像画像を用いて、前記選択したグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から、前記ガイド枠の表示後に取り込んだ撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする付記12記載の表示制御方法。
前記第2の撮像画像に対応する前記第2の情報の抽出では、
前記複数のグループからそれぞれ1つずつ選択された前記第2の情報と、入力された前記位置情報に基づくマーカに関する情報とを比較して、選択された前記第2の情報に対応する撮像画像の中から、前記位置情報に基づくマーカとの関連性を示す指標が所定条件を満たすマーカが認識された撮像画像を判定し、
判定した撮像画像が属するグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から前記第1の撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする付記12記載の表示制御方法。
前記コンピュータに、
撮像画像からのマーカの認識に成功したとき、当該撮像画像と他の画像との類似度の計算に使用される、当該撮像画像に関する第1の情報と、当該撮像画像からのマーカの認識結果に基づく第2の情報とを、記憶装置へ記録し、
第1の撮像画像からのマーカの認識に失敗したとき、前記記憶装置に記録された撮像画像ごとの前記第1の情報に基づいて、前記第1の撮像画像と類似する第2の撮像画像に対応する前記第2の情報を前記記憶装置から抽出し、抽出した前記第2の情報に基づいて、前記第1の撮像画像に対応する撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づいて作業支援情報の重畳表示位置を決定する、
処理を実行させることを特徴とする表示制御プログラム。
2 蓄積処理部
3 表示位置決定部
4 記憶装置
5a 第1の情報
5b 第2の情報
11a,11b 撮像画像
12 画像
21 マーカ
22 作業支援情報
Claims (9)
- 撮像画像から認識されたマーカの位置情報に基づいてマーカを基準とした撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づく撮像画像上の位置に所定の作業支援情報を重畳表示させる表示制御装置において、
撮像画像を順次取得し、取得した撮像画像のうち、マーカの認識に成功した撮像画像のそれぞれについて、撮像画像と他の画像との類似度の計算に使用される、当該撮像画像に関する第1の情報と、当該撮像画像からのマーカの認識結果に基づく第2の情報とを、記憶装置へ記録する蓄積処理部と、
第1の撮像画像からのマーカの認識に失敗したとき、前記記憶装置に記録された撮像画像ごとの前記第1の情報に基づいて、前記第1の撮像画像と類似する第2の撮像画像に対応する前記第2の情報を前記記憶装置から抽出し、抽出した前記第2の情報に基づいて、前記第1の撮像画像に対応する撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づいて作業支援情報の重畳表示位置を決定する表示位置決定部と、
を有することを特徴とする表示制御装置。 - 前記表示位置決定部は、
前記記憶装置から、前記第1の撮像画像と類似する前記第2の撮像画像に対応する前記第1の情報を抽出し、
抽出した前記第1の情報に基づき、前記第2の撮像画像における複数の特徴点の座標を、前記第1の撮像画像における複数の特徴点の座標に変換する変換式を算出して、前記変換式による座標変換の評価値を算出し、
前記評価値が所定条件を満たす場合に、前記第2の撮像画像に対応する前記第2の情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする請求項1記載の表示制御装置。 - 前記第2の情報には、撮像画像におけるマーカの位置情報が含まれ、
前記表示位置決定部は、前記評価値が前記所定条件を満たす場合に、前記第2の撮像画像に対応する前記第2の情報に含まれるマーカの位置情報を、前記変換式を用いて変換し、変換後のマーカの位置情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする請求項2記載の表示制御装置。 - 前記第2の情報には、撮像画像におけるマーカの位置情報が含まれ、
前記表示位置決定部は、
前記記憶装置から、前記第1の撮像画像と類似する前記第2の撮像画像に対応する前記第1の情報を抽出し、
抽出した前記第1の情報に基づいて、前記第2の撮像画像における複数の特徴点の座標を、前記第1の撮像画像における複数の特徴点の座標に変換する変換式を算出し、
前記第2の撮像画像に対応する前記第2の情報に含まれるマーカの位置情報を、前記変換式を用いて変換し、変換後のマーカの位置情報に基づいて撮像位置および撮像姿勢を算出する、
ことを特徴とする請求項1記載の表示制御装置。 - 前記記憶装置では、前記第1の情報および前記第2の情報が、対応する撮像画像から算出された撮像位置および撮像姿勢に基づいて複数のグループに分類されて記録され、
前記表示位置決定部は、前記複数のグループからそれぞれ1つずつ選択された前記第1の情報を用いて、選択された前記第1の情報にそれぞれ対応する撮像画像の中から前記第1の撮像画像と類似する撮像画像を抽出し、抽出した撮像画像が属するグループを選択し、選択したグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から前記第1の撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする請求項1記載の表示制御装置。 - 前記表示位置決定部は、
撮像画像からのマーカの認識に失敗したとき、前記複数のグループの中から前記第1の情報および前記第2の情報が含まれる数が最も多いグループを選択し、選択したグループから前記第2の情報を1つ選択し、選択した前記第2の情報に基づくマーカの外形と同じ形状で同じ大きさのガイド枠を、撮像画像上の当該マーカと同じ位置に表示させ、
前記ガイド枠の表示後に取り込んだ撮像画像を用いて、前記選択したグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から、前記ガイド枠の表示後に取り込んだ撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする請求項5記載の表示制御装置。 - 前記表示位置決定部は、
前記第1の撮像画像からのマーカの認識に失敗したとき、前記第1の撮像画像におけるマーカの形状および位置の情報を入力する操作を受け付け、
前記複数のグループからそれぞれ1つずつ選択された前記第2の情報と、入力された前記位置情報に基づくマーカに関する情報とを比較して、選択された前記第2の情報に対応する撮像画像の中から、前記位置情報に基づくマーカとの関連性を示す指標が所定条件を満たすマーカが認識された撮像画像を判定し、
判定した撮像画像が属するグループに含まれる複数の前記第1の情報を用いて、当該グループに含まれる前記第1の情報に対応する撮像画像の中から前記第1の撮像画像と類似する前記第2の撮像画像を抽出する、
ことを特徴とする請求項5記載の表示制御装置。 - 撮像画像から認識されたマーカの位置情報に基づいてマーカを基準とした撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づく撮像画像上の位置に所定の作業支援情報を重畳表示させる表示制御方法において、
撮像画像を順次取得し、取得した撮像画像のうち、マーカの認識に成功した撮像画像のそれぞれについて、撮像画像と他の画像との類似度の計算に使用される、当該撮像画像に関する第1の情報と、当該撮像画像からのマーカの認識結果に基づく第2の情報とを、記憶装置へ記録し、
第1の撮像画像からのマーカの認識に失敗したとき、前記記憶装置に記録された撮像画像ごとの前記第1の情報に基づいて、前記第1の撮像画像と類似する第2の撮像画像に対応する前記第2の情報を前記記憶装置から抽出し、抽出した前記第2の情報に基づいて、前記第1の撮像画像に対応する撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づいて作業支援情報の重畳表示位置を決定する、
ことを特徴とする表示制御方法。 - 撮像画像から認識されたマーカの位置情報に基づいてマーカを基準とした撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づく撮像画像上の位置に所定の作業支援情報を重畳表示させる処理を、コンピュータに実行させる表示制御プログラムにおいて、
前記コンピュータに、
撮像画像を順次取得し、取得した撮像画像のうち、マーカの認識に成功した撮像画像のそれぞれについて、撮像画像と他の画像との類似度の計算に使用される、当該撮像画像に関する第1の情報と、当該撮像画像からのマーカの認識結果に基づく第2の情報とを、記憶装置へ記録し、
第1の撮像画像からのマーカの認識に失敗したとき、前記記憶装置に記録された撮像画像ごとの前記第1の情報に基づいて、前記第1の撮像画像と類似する第2の撮像画像に対応する前記第2の情報を前記記憶装置から抽出し、抽出した前記第2の情報に基づいて、前記第1の撮像画像に対応する撮像位置および撮像姿勢を算出し、算出した撮像位置および撮像姿勢に基づいて作業支援情報の重畳表示位置を決定する、
処理を実行させることを特徴とする表示制御プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014092303A JP6372149B2 (ja) | 2014-04-28 | 2014-04-28 | 表示制御装置、表示制御方法および表示制御プログラム |
US14/694,331 US20150310617A1 (en) | 2014-04-28 | 2015-04-23 | Display control device and display control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014092303A JP6372149B2 (ja) | 2014-04-28 | 2014-04-28 | 表示制御装置、表示制御方法および表示制御プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015211363A JP2015211363A (ja) | 2015-11-24 |
JP6372149B2 true JP6372149B2 (ja) | 2018-08-15 |
Family
ID=54335254
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014092303A Active JP6372149B2 (ja) | 2014-04-28 | 2014-04-28 | 表示制御装置、表示制御方法および表示制御プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20150310617A1 (ja) |
JP (1) | JP6372149B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6339609B2 (ja) * | 2016-02-23 | 2018-06-06 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
US10685490B2 (en) * | 2016-03-10 | 2020-06-16 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
US10740614B2 (en) | 2016-04-14 | 2020-08-11 | Nec Corporation | Information processing device, information processing method, and program storing medium |
EP3242228A1 (en) * | 2016-05-02 | 2017-11-08 | Artag SARL | Managing the display of assets in augmented reality mode |
JP2018005091A (ja) * | 2016-07-06 | 2018-01-11 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
JP2018056253A (ja) * | 2016-09-28 | 2018-04-05 | パナソニックIpマネジメント株式会社 | 部品管理支援システムおよび部品管理支援方法 |
JP6678298B2 (ja) | 2016-09-28 | 2020-04-08 | パナソニックIpマネジメント株式会社 | フィーダ配置支援システムおよびフィーダ配置支援方法 |
JP6762913B2 (ja) * | 2017-07-11 | 2020-09-30 | キヤノン株式会社 | 情報処理装置、情報処理方法 |
JP7039216B2 (ja) * | 2017-08-30 | 2022-03-22 | キヤノン株式会社 | 情報処理装置及びその方法、プログラム |
CN108062776B (zh) * | 2018-01-03 | 2019-05-24 | 百度在线网络技术(北京)有限公司 | 相机姿态跟踪方法和装置 |
JP7500238B2 (ja) | 2020-03-24 | 2024-06-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP7443938B2 (ja) | 2020-06-01 | 2024-03-06 | コニカミノルタ株式会社 | 物品の認識方法、プログラム、および情報処理装置 |
JP6982659B1 (ja) * | 2020-06-26 | 2021-12-17 | 株式会社ドワンゴ | サーバ、端末、配信システム、配信方法、および情報処理方法 |
JP7453175B2 (ja) | 2021-03-25 | 2024-03-19 | Kddi株式会社 | 位置推定装置、方法及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5481622A (en) * | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
JP4532856B2 (ja) * | 2003-07-08 | 2010-08-25 | キヤノン株式会社 | 位置姿勢計測方法及び装置 |
JP5423406B2 (ja) * | 2010-01-08 | 2014-02-19 | ソニー株式会社 | 情報処理装置、情報処理システム及び情報処理方法 |
JP2013141049A (ja) * | 2010-03-24 | 2013-07-18 | Hitachi Ltd | 世界座標系データベースを利用したサーバ及び端末 |
JP4971483B2 (ja) * | 2010-05-14 | 2012-07-11 | 任天堂株式会社 | 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法 |
US8384770B2 (en) * | 2010-06-02 | 2013-02-26 | Nintendo Co., Ltd. | Image display system, image display apparatus, and image display method |
KR101293776B1 (ko) * | 2010-09-03 | 2013-08-06 | 주식회사 팬택 | 객체 리스트를 이용한 증강 현실 제공 장치 및 방법 |
-
2014
- 2014-04-28 JP JP2014092303A patent/JP6372149B2/ja active Active
-
2015
- 2015-04-23 US US14/694,331 patent/US20150310617A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2015211363A (ja) | 2015-11-24 |
US20150310617A1 (en) | 2015-10-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6372149B2 (ja) | 表示制御装置、表示制御方法および表示制御プログラム | |
Romero-Ramirez et al. | Speeded up detection of squared fiducial markers | |
JP6435750B2 (ja) | 3次元座標算出装置、3次元座標算出方法および3次元座標算出プログラム | |
US10964049B2 (en) | Method and device for determining pose of camera | |
JP6237326B2 (ja) | 姿勢推定装置、姿勢推定方法及び姿勢推定用コンピュータプログラム | |
CN102640185B (zh) | 图像序列中对象实时表示的混合跟踪的方法和设备 | |
JP6842039B2 (ja) | カメラ位置姿勢推定装置、方法およびプログラム | |
KR101729195B1 (ko) | 질의동작기반 안무 검색 시스템 및 방법 | |
US20140086488A1 (en) | Image processing device and image processing method | |
JP6507730B2 (ja) | 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム | |
CN102708355A (zh) | 信息处理装置、信息处理方法及程序 | |
JP2004213332A (ja) | キャリブレーション装置、キャリブレーション方法、キャリブレーション用プログラム、及び、キャリブレーション治具 | |
WO2021077982A1 (zh) | 标记点的识别方法、装置、设备及存储介质 | |
JP4876056B2 (ja) | 画像処理装置、画像処理方法 | |
WO2007108100A1 (ja) | 画像情報処理装置、判定方法、及びコンピュータプログラム | |
JP2020179441A (ja) | 制御システム、情報処理装置および制御方法 | |
JP7516037B2 (ja) | 算出システム、算出方法、プログラム、及び記憶媒体 | |
JP2009216503A (ja) | 三次元位置姿勢計測方法および装置 | |
JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
WO2016084142A1 (ja) | 作業支援システム、及び、作業支援方法 | |
JP5536124B2 (ja) | 画像処理システム及び画像処理方法 | |
CN103765477B (zh) | 通过图形匹配和环形检测而用自动模型初始化进行线跟踪 | |
WO2008032375A1 (fr) | Dispositif et procédé de correction d'image, et programme informatique | |
WO2024012463A1 (zh) | 一种定位方法及装置 | |
JP5683695B2 (ja) | 資産管理システム、操作端末、及び資産管理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180105 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180702 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6372149 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |