JP7265143B2 - 表示制御方法、表示制御プログラムおよび情報処理装置 - Google Patents
表示制御方法、表示制御プログラムおよび情報処理装置 Download PDFInfo
- Publication number
- JP7265143B2 JP7265143B2 JP2019101130A JP2019101130A JP7265143B2 JP 7265143 B2 JP7265143 B2 JP 7265143B2 JP 2019101130 A JP2019101130 A JP 2019101130A JP 2019101130 A JP2019101130 A JP 2019101130A JP 7265143 B2 JP7265143 B2 JP 7265143B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- outline
- edge lines
- predetermined number
- posture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 38
- 238000000034 method Methods 0.000 title claims description 38
- 238000012545 processing Methods 0.000 claims description 63
- 238000000605 extraction Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 40
- 238000011960 computer-aided design Methods 0.000 description 17
- 238000013500 data storage Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 6
- 238000010276 construction Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000017105 transposition Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Description
また、1つの態様では、情報処理装置が提供される。
[第1の実施の形態]
第1の実施の形態を説明する。
情報処理装置10は、構造物の撮影画像と三次元モデルとの対比を支援する。情報処理装置10は、表示装置20に接続される。情報処理装置10は、記憶部11および処理部12を有する。
例えば、予め定められた特定の初期姿勢で三次元モデルを表示することも考えられる。しかし、撮影画像における構造物の姿勢と、三次元モデルの初期姿勢との乖離の度合いが大きいほど、両者の対比を適切に行うための、ユーザによる三次元モデルの姿勢変更の操作が難しくなる。
次に、第2の実施の形態を説明する。
図2は、第2の実施の形態の情報処理装置のハードウェア例を示す図である。
情報処理装置100は、CADデータ記憶部120、姿勢候補データ記憶部130、転置インデックス記憶部140、撮影画像記憶部150、姿勢候補管理部160および表示制御部170を有する。
姿勢候補管理部160は、CADデータ記憶部120に記憶されたCADデータに基づいて、複数の姿勢候補画像および姿勢候補画像毎の転置インデックスを生成する。姿勢候補管理部160は、姿勢候補データ生成部161、第1PDLデータ生成部162および転置インデックス生成部163を有する。
姿勢候補テーブル131は、姿勢候補データ記憶部130に記憶される姿勢候補データの一例である。姿勢候補テーブル131は、姿勢候補データ生成部161により生成される。姿勢候補テーブル131は、姿勢候補ID(IDentifier)、回転角、仰角および姿勢候補画像の項目を含む。
図5は、姿勢候補画像の例を示す図である。
姿勢候補画像P1~P12は、ある3Dモデルについて、仰角45°に対応する回転角30°刻みで生成された12個の姿勢候補画像である。姿勢候補画像P1は回転角0°の場合である。姿勢候補画像P2は回転角30°の場合である。姿勢候補画像P3は回転角60°の場合である。以降、同様に、姿勢候補画像P4~P12も、回転角30°刻みで変化させた場合の姿勢候補画像となる。ここでは、仰角45°の場合が例示されているが、仰角0°、15°、45°、60°…それぞれに対して12個の姿勢候補画像が生成され、姿勢候補テーブル131に登録される。
転置インデックステーブル141は、転置インデックス記憶部140に記憶される。転置インデックステーブル141に登録される情報は、第1PDLデータ生成部162および転置インデックス生成部163により生成される。転置インデックステーブル141は、姿勢候補ID、PDLデータおよび転置インデックスの項目を含む。
図7は、撮影画像の例を示す図である。
アウトライン画像152は、アウトライン152aを含む画像である。アウトライン152aは、構造物画像151aの外周のエッジを繋いだ輪郭線である。アウトライン152aは、撮影画像151に基づいて、第2PDLデータ生成部171により特定される。例えば、第2PDLデータ生成部171は、撮影画像151において画素値が比較的大きく異なる(例えば、画素値に閾値以上の差がある)領域間の境界線を特定することで、撮影画像151に含まれるエッジを検出する。第2PDLデータ生成部171は、検出された複数のエッジのうちの幾つかのエッジに囲われた領域を検出し、当該領域を囲う各エッジを繋いだ閉じた線をアウトライン152aとして抽出する。
図9は、姿勢候補画像に含まれるエッジの例を示す図である。
アウトラインP21aの形状は、アウトラインP21a上の点の座標および点間を結ぶ線(線分または曲線)により表される。アウトラインP21a上の点として、2つのエッジが接続する点(アウトラインP21a上の節点)が用いられる。
点Aは、姿勢候補画像P1~P12それぞれにおける3Dモデルのアウトラインの始点である。点Bは、姿勢候補画像P1~P12それぞれにおける始点の次の点である。姿勢候補画像P1~P12それぞれにおける点A,Bを結ぶ線分がアウトラインに対するPDLデータで最初に記述される線分(エッジ)である。
例えば、透明でない三角柱の3DモデルV1を考える。3DモデルV1は、高さ方向のエッジV11,V12,V13を有する。観察点aは、エッジV11,V13を含む面に臨む。したがって、観察点aから3DモデルV1が観察されたとき、エッジV11,V13は観察されるが、エッジV12は観察されない。また、観察点bは、エッジV12,V13を含む面に臨む。したがって、観察点bから3DモデルV1が観察されたとき、エッジV12,V13は観察されるが、エッジV11は観察されない。
ここでは、一例として、アウトライン画像152に対する姿勢候補画像P1~P12の絞込みを説明する。アウトライン画像152は、アウトライン152aで表される形状の中心を原点として正規化後のXY座標系において、XYが共に正である領域に点A,Bを含む。姿勢候補画像P1~P12のうち、正規化後のXY座標系において、XYが共に正である領域に点A,Bが含まれている姿勢候補画像は、姿勢候補画像P2,P6~P9である。
アウトライン画像152は、正規化後のXY座標系において、XYが共に正である領域に、端点として点B,Cを含み、点B,C以外に点α,βを制御点とする曲線を含む。姿勢候補画像P2,P6~P9のうち、正規化後のXY座標系において、XYが共に正である領域に、端点として点B,Cを含み、点B,C以外に点α,βを制御点とする曲線を含む姿勢候補画像は、姿勢候補画像P2である。
こうして、検索部172は、姿勢候補画像P1~P12の中から、アウトライン152aに最も良く類似する3Dモデルのアウトラインに対応する姿勢候補画像P2を特定する。
図15に示す例では、アウトライン200のPostScriptデータを生成する場合を説明する。アウトライン200は、線分201、曲線202、線分203および線分204により形成される。線分201は、点A,Bを端点とする線分である。曲線202は点B,Cを端点とする曲線であり、制御点B,C,α,βにより曲線の形状が決定されるベジェ曲線である。
図16で説明する例では、32ビットレジスタを想定する。例えば、転置インデックス生成部163は、情報処理装置100が有する32ビットのレジスタを用いて、転置インデックスのハッシュ化を行える。また、一例として、転置インデックス生成部163は、「29」と「31」の素数(底)を基に、転置インデックスの各行のビットマップをハッシュ化するものとする。ここでは、ビットマップb1から、ハッシュ化ビットマップh11およびハッシュ化ビットマップh12を生成する場合について説明する。
ハッシュ化ビットマップh21は、コマンド「moveto」に対応するハッシュ化ビットマップの一例である。ハッシュ化ビットマップh22は、コマンド「lineto」に対応するハッシュ化ビットマップの一例である。ハッシュ化ビットマップh23は、座標「Xa,Ya」に対応するハッシュ化ビットマップの一例である。このように、PostScriptデータに含まれるコマンドおよび座標毎に、ハッシュ化ビットマップが生成される。転置インデックス生成部163は、転置インデックスに代えて、ハッシュ化ビットマップを転置インデックス記憶部140に保存することで、転置インデックスのサイズが比較的大きい(本例では64ビットより大きい)場合に、保存するデータサイズを圧縮できる。
図18は、転置インデックスの復元例を示す図である。
図18(A)は、転置インデックスの復元の手順のうち、ハッシュ化ビットマップから中間ビットマップへ展開するステップを示す。
図18(B)は、転置インデックスの復元の手順のうち、中間ビットマップ同士のAND演算を行うステップを示す。
検索部172は、転置インデックスの絞込みにより、撮影画像151から抽出されるアウトライン152aに対応する姿勢候補画像の検索を行う。例えば、検索部172は、第2PDLデータ生成部171からアウトライン152aに対応するPostScriptデータを取得する。そして、検索部172は、PostScriptデータに含まれるコマンドまたは座標が、各姿勢候補画像に対応するPostScriptデータに含まれるかを、転置インデックスを用いて照合する。
撮影画像153は、対象の構造物の構造物画像153aと、他の構造物の構造物画像153bとを含む。例えば、カメラ113による撮像時、他の構造物が、対象の構造物の手前に置かれていると、撮影画像153で示されるように、構造物画像153bにより、対象の構造物の一部が隠れた構造物画像153aが取得されることがある。
図21は、アウトラインの誤検出時の修正例を示す図である。
(S10)第2PDLデータ生成部171は、撮影画像記憶部150に記憶された撮影画像151を解析し、画素値に所定値以上の差がある領域の境界線を特定する。
(S14)第2PDLデータ生成部171は、ユーザによるアウトラインの補完入力があるか否かを判定する。補完入力がある場合、ステップS15に処理が進む。補完入力がない場合、ステップS16に処理が進む。
(S16)第2PDLデータ生成部171は、抽出したアウトラインのPDLデータ(例えば、PostScriptデータ)を生成し、検索部172に提供する。そして、アウトライン抽出の処理が終了する。
(S20)検索部172は、姿勢候補画像の全てのアウトラインのPDLデータと、撮影画像151から取得したアウトラインのPDLデータとを比較する。ここで、検索部172は、当該比較に転置インデックスを用いることができる。検索部172は、転置インデックスを用いることで、姿勢候補の絞込みを高速に実行できる。ただし、検索部172は、転置インデックスを用いずに、PDLデータ同士を比較してもよい。また、検索部172は、撮影画像151から取得したアウトラインのPDLデータに対しても転置インデックスを生成し、転置インデックス同士を照合してもよい。
(S30)表示処理部173は、3Dモデルの姿勢候補画像P2のエッジ(稜線)と撮影画像151のエッジとを対応付ける、ユーザの操作を受け付ける。
ユーザは、撮影画像151に重畳表示された3Dモデルの投影像を、撮影画像151における構造物画像151aと見比べることで、製造された構造物の検品などの作業を容易に行うことができる。
図25では、図23のステップS22の処理により、ディスプレイ111に表示される画面300の例を示す。画面300は撮影画像151および姿勢候補画像P2を含む。
図26では、比較例として、撮影画像151と、予め定められた初期姿勢の姿勢候補画像P3とを含む画面400の例を示す。この場合、姿勢候補画像P3における3Dモデルの初期姿勢は、3Dモデルを仰角90°の方向から眺めたときの姿勢であり、撮影画像151における構造物の姿勢(構造物を仰角約45°の所定方向から眺めたときの姿勢)と乖離している。このため、ユーザは、姿勢候補画像P3に映し出されている3Dモデルの姿勢を変更(回転)する操作を行わなければ、撮影画像151における構造物のエッジと、姿勢候補画像P3における3Dモデルのエッジとの対応を確認することが難しい。このため、入力デバイス112によりポインタK1を操作して、姿勢候補画像P3における3Dモデルの姿勢を変更する操作を、ユーザに強いることになる。3Dモデルの姿勢を変更して、撮影画像151における構造物の姿勢に合わせる操作は、比較的経験の浅いユーザにとって難しいこともある。
また、姿勢候補の絞込みに転置インデックスを用いることで、絞込みの処理を高速化できる。
11 記憶部
12 処理部
20 表示装置
31,32,33 投影像
40 撮影画像
41 構造物画像
50 表示画像
51 稜線群
52 エッジ線群
Claims (7)
- コンピュータが、
撮像装置により撮像された構造物を含む撮影画像を取得し、
前記構造物の三次元モデルから生成された複数の投影像を取得し、
取得した前記複数の投影像の内、取得した前記撮影画像に含まれる前記構造物の形状に応じた第1の投影像を特定し、
特定した前記第1の投影像に含まれる前記三次元モデルの稜線と、前記撮影画像から抽出されたエッジ線とを表示し、
表示した前記稜線に含まれる所定数の稜線を、表示した前記エッジ線に含まれる所定数のエッジ線にそれぞれ対応付ける操作を受け付けると、前記所定数の稜線の位置が、前記所定数の稜線に対応付けられた前記所定数のエッジ線の位置にそれぞれ対応する前記三次元モデルの第2の投影像を生成し、
生成した前記第2の投影像を前記撮影画像に重畳表示する、
ことを特徴とする表示制御方法。 - 前記第1の投影像の特定では、前記複数の投影像それぞれの第1のアウトラインを示す情報と前記撮影画像に含まれる前記構造物の第2のアウトラインを示す情報とを比較し、前記第2のアウトラインとの一致の度合いが最も高い前記第1のアウトラインに対応する前記第1の投影像を特定する、請求項1記載の表示制御方法。
- 前記第1のアウトラインを示す情報は、前記第1のアウトラインの描画命令を含む第1のテキスト情報であり、前記第2のアウトラインを示す情報は、前記第2のアウトラインの描画命令を含む第2のテキスト情報であり、
前記第1および前記第2のアウトラインを示す情報の比較では、前記第2のテキスト情報と記述内容が一致する度合いが最も高い前記第1のテキスト情報に対応する前記第1の投影像を特定する、
請求項2記載の表示制御方法。 - 前記第1および前記第2のテキスト情報の記述内容の比較では、複数の描画命令それぞれの前記第1のテキスト情報における出現位置を示す転置インデックスに基づいて、前記第1および前記第2のテキスト情報それぞれに含まれる描画命令と前記描画命令の出現順序とを比較する、請求項3記載の表示制御方法。
- 前記コンピュータが、更に、前記撮影画像を取得すると、前記撮影画像に含まれる前記構造物の形状を表すアウトライン候補の線を表示し、前記撮影画像における前記アウトライン候補の線の抽出範囲の指定、または、前記アウトライン候補の線を補完する線の入力を受け付ける、請求項1乃至4の何れか1項に記載の表示制御方法。
- コンピュータに、
撮像装置により撮像された構造物を含む撮影画像を取得し、
前記構造物の三次元モデルから生成された複数の投影像を取得し、
取得した前記複数の投影像の内、取得した前記撮影画像に含まれる前記構造物の形状に応じた第1の投影像を特定し、
特定した前記第1の投影像に含まれる前記三次元モデルの稜線と、前記撮影画像から抽出されたエッジ線とを表示し、
表示した前記稜線に含まれる所定数の稜線を、表示した前記エッジ線に含まれる所定数のエッジ線にそれぞれ対応付ける操作を受け付けると、前記所定数の稜線の位置が、前記所定数の稜線に対応付けられた前記所定数のエッジ線の位置にそれぞれ対応する前記三次元モデルの第2の投影像を生成し、
生成した前記第2の投影像を前記撮影画像に重畳表示する、
処理を実行させることを特徴とする表示制御プログラム。 - 構造物の三次元モデルから生成された複数の投影像を記憶する記憶部と、
撮像装置により撮像された前記構造物を含む撮影画像を取得し、前記構造物の前記複数の投影像を前記記憶部から取得し、取得した前記複数の投影像の内、取得した前記撮影画像に含まれる前記構造物の形状に応じた第1の投影像を特定し、特定した前記第1の投影像に含まれる前記三次元モデルの稜線と、前記撮影画像から抽出されたエッジ線とを表示し、表示した前記稜線に含まれる所定数の稜線を、表示した前記エッジ線に含まれる所定数のエッジ線にそれぞれ対応付ける操作を受け付けると、前記所定数の稜線の位置が、前記所定数の稜線に対応付けられた前記所定数のエッジ線の位置にそれぞれ対応する前記三次元モデルの第2の投影像を生成し、生成した前記第2の投影像を前記撮影画像に重畳表示する処理部と、
を有することを特徴とする情報処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019101130A JP7265143B2 (ja) | 2019-05-30 | 2019-05-30 | 表示制御方法、表示制御プログラムおよび情報処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019101130A JP7265143B2 (ja) | 2019-05-30 | 2019-05-30 | 表示制御方法、表示制御プログラムおよび情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020194482A JP2020194482A (ja) | 2020-12-03 |
JP7265143B2 true JP7265143B2 (ja) | 2023-04-26 |
Family
ID=73546427
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019101130A Active JP7265143B2 (ja) | 2019-05-30 | 2019-05-30 | 表示制御方法、表示制御プログラムおよび情報処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7265143B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7311696B1 (ja) | 2022-10-18 | 2023-07-19 | 川田テクノシステム株式会社 | マルチ画面表示システム、マルチ画面表示装置、およびマルチ画面表示プログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010176380A (ja) | 2009-01-29 | 2010-08-12 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP2017091078A (ja) | 2015-11-06 | 2017-05-25 | 富士通株式会社 | 重畳表示方法、重畳表示装置、及び重畳表示プログラム |
JP2017187882A (ja) | 2016-04-04 | 2017-10-12 | セイコーエプソン株式会社 | 画像処理に用いられるコンピュータープログラム |
JP2018142109A (ja) | 2017-02-27 | 2018-09-13 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1151611A (ja) * | 1997-07-31 | 1999-02-26 | Tokyo Electric Power Co Inc:The | 認識対象物体の位置姿勢認識装置および位置姿勢認識方法 |
-
2019
- 2019-05-30 JP JP2019101130A patent/JP7265143B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010176380A (ja) | 2009-01-29 | 2010-08-12 | Sony Corp | 情報処理装置および方法、プログラム、並びに記録媒体 |
JP2017091078A (ja) | 2015-11-06 | 2017-05-25 | 富士通株式会社 | 重畳表示方法、重畳表示装置、及び重畳表示プログラム |
JP2017187882A (ja) | 2016-04-04 | 2017-10-12 | セイコーエプソン株式会社 | 画像処理に用いられるコンピュータープログラム |
JP2018142109A (ja) | 2017-02-27 | 2018-09-13 | 富士通株式会社 | 表示制御プログラム、表示制御方法および表示制御装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020194482A (ja) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107810522B (zh) | 实时、基于模型的对象检测及姿态估计 | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
CN107430686B (zh) | 用于移动设备定位的区域描述文件的众包创建和更新 | |
JP6216508B2 (ja) | 3dシーンにおける3d物体の認識および姿勢決定のための方法 | |
US20180150971A1 (en) | Information processing apparatus, control method for information processing apparatus, and non-transitory computer-readable storage medium | |
US9311756B2 (en) | Image group processing and visualization | |
Taira et al. | Is this the right place? geometric-semantic pose verification for indoor visual localization | |
JP5487970B2 (ja) | 特徴点配置照合装置及び画像照合装置、その方法及びプログラム | |
US11842514B1 (en) | Determining a pose of an object from rgb-d images | |
CN107438853A (zh) | 在上载之前区域描述文件的隐私过滤 | |
GB2512460A (en) | Position and orientation measuring apparatus, information processing apparatus and information processing method | |
CN109559347A (zh) | 对象识别方法、装置、系统及存储介质 | |
US11189053B2 (en) | Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium | |
Xiao et al. | Coupling point cloud completion and surface connectivity relation inference for 3D modeling of indoor building environments | |
Al Nasr et al. | Intensity-based skeletonization of CryoEM gray-scale images using a true segmentation-free algorithm | |
CN116596755A (zh) | 一种点云数据的拼接方法、装置、设备及存储介质 | |
CN109463003A (zh) | 对象识别 | |
JP2014164483A (ja) | データベース生成装置、カメラ姿勢推定装置、データベース生成方法、カメラ姿勢推定方法、およびプログラム | |
JP7265143B2 (ja) | 表示制御方法、表示制御プログラムおよび情報処理装置 | |
US11657568B2 (en) | Methods and systems for augmented reality tracking based on volumetric feature descriptor data | |
JP2017168081A (ja) | 記述子を用いた3dオブジェクトの位置特定 | |
US11205091B2 (en) | Object information registration apparatus and object information registration method | |
JP2019105992A (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
JP6946912B2 (ja) | 推定プログラム、推定装置、及び推定方法 | |
US11321914B1 (en) | System for generating a navigational map of an environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230314 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230327 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7265143 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |