JP6946087B2 - 情報処理装置及びその制御方法、並びに、プログラム - Google Patents
情報処理装置及びその制御方法、並びに、プログラム Download PDFInfo
- Publication number
- JP6946087B2 JP6946087B2 JP2017138467A JP2017138467A JP6946087B2 JP 6946087 B2 JP6946087 B2 JP 6946087B2 JP 2017138467 A JP2017138467 A JP 2017138467A JP 2017138467 A JP2017138467 A JP 2017138467A JP 6946087 B2 JP6946087 B2 JP 6946087B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- information processing
- orientation
- imaging
- image pickup
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
- G06F9/453—Help systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
また、本発明は、上述した情報処理装置の制御方法、及び、上述した情報処理装置の各手段としてコンピュータを機能させるためのプログラムを含む。
まず、本発明の第1の実施形態について説明する。
例えば、図2に示すCPU101及びROM102に記憶されているプログラム、並びに、I/F105から、図1に示す画像入力部110、撮像範囲設定部130、誘導情報提示部150が構成される。また、例えば、図2に示すCPU101及びROM102に記憶されているプログラムから、図1に示す位置姿勢算出部120、評価部140、三次元地図更新部170が構成される。また、例えば、図2に示すCPU101及びROM102に記憶されているプログラム、並びに、記憶装置104から、図1に示す三次元地図保持部160が構成される。
図3に示す評価対象位置姿勢リストでは、横方向の一行に1組の位置及び姿勢の情報を示している。各組の位置及び姿勢の情報には、例えば、位置座標(X座標,Y座標,Z座標)で表現される撮像装置210の位置と、例えば、姿勢ベクトル(X軸方向,Y軸方向,Z軸方向)で表現される撮像装置210の姿勢と、撮像済みフラグの情報が含まれている。この際、撮像済みフラグは、その撮像装置210の位置及び姿勢で撮像が完了しているか否か(より広義には、撮像を行う必要があるか否か)を表すフラグである。
図4は、本発明の第1の実施形態に係る情報処理装置100−1の制御方法における処理手順の一例を示すフローチャートである。
図5(b)には、現実空間S10を拡張することで形成される仮想空間内の、評価対象位置姿勢リスト540において撮像済みフラグがFalseになっている評価対象位置姿勢に対応する誘導情報510〜530が示されている。現実空間S10の位置P01にいる、頭部装着型表示装置200を装着した操作者には、誘導情報提示部150によって、表示装置220を介して、誘導情報510〜530を含む提示画像D01が提示される。なお、誘導情報510〜530の提示方法は、この図5に示す方法に限定されるものではなく、誘導する撮像装置210の位置及び姿勢が分かれば、四角錐や矢印で表示して提示しても良く、また、姿勢の数によって色を変えても提示しても良い。
さらに、この提示画像D01には、誘導情報提示部150によって、評価対象位置姿勢リスト540に記載の評価対象位置姿勢のうち、撮像済みフラグがTrueとなっている位置姿勢(撮像が行われた位置姿勢(より広義には、撮像を行う必要がない位置姿勢))の割合を示す進捗率情報A01が提示されている。なお、進捗率情報A01の提示方法は、進捗度合いが分かれば、百分率で表示して提示しても良いし、分数で表示して提示しても良い。
ステップS104の処理が終了すると、ステップS105に進む。
ステップS105に進むと、画像入力部110は、撮像装置210で撮像された現実空間の画像を撮像装置210から取得し、これを位置姿勢算出部120、誘導情報提示部150及び三次元地図更新部170に入力する。
図5(c)は、操作者が、図5(b)に示す位置P01から、図5(c)に示す位置P02に移動した状況である。具体的に、この図5(c)に示す場合は、図5(b)の誘導情報510に対応する位置及び姿勢と、操作者が装着する撮像装置210の位置及び姿勢との差が閾値以下となった場合を示している。この場合、評価部140は、ステップS107の処理において、図5(c)に示す評価対象位置姿勢リスト550について誘導情報510に対応する位置及び姿勢の撮像済みフラグをTrueに変更する。この評価対象位置姿勢リスト550の変更に伴って、後述するステップS107で否定判断(S107/NO)された後に移行するステップS104の処理によって、図5(c)に示す提示画像D02から誘導情報510が除外されることになる。そして、本実施形態の場合、評価部140は、評価対象位置姿勢リストに記載された各組の位置及び姿勢における撮像済みフラグが全てTrueとなった場合に、ステップS102で設定された撮像範囲における撮像状況をOKと評価する。
続いて、上述した本発明の第1の実施形態の変形例1について説明する。
上述した本発明の第1の実施形態では、撮像装置210としてステレオカメラを適用した形態を示したが、本発明においてはこの形態に限定されるものではない。撮像装置210は、現実空間の画像を撮像するカメラであれば如何なるカメラも適用可能であり、例えば単眼カメラであっても良いし、また、相対的な位置及び姿勢が既知な三台以上のカメラで構成されていても良い。また、撮像装置210は、カラー画像を撮像するカメラに限定されるものではなく、濃淡画像を撮像するカメラであっても良いし、奥行き情報を撮像するカメラであっても良いし、カラー画像と奥行き情報とをセットとして持つRGBD画像であっても良い。但し、撮像装置210として単眼カメラを用いる場合には、位置及び姿勢の算出、及び、再投影誤差の算出に当たっては奥行き情報が必要となるため、例えば非特許文献4に記載のKleinらの方法を用いて、当該カメラの動きから奥行き情報を算出する。
続いて、上述した本発明の第1の実施形態の変形例2について説明する。
上述した本発明の第1の実施形態では、撮像範囲設定部130は、入力装置300からの入力によって撮像範囲を設定するものであった。しかしながら、撮像範囲の設定方法は、三次元空間の範囲を設定できるものであれば、この形態に限らず適用可能である。例えば、撮像範囲設定部130は、IDごとに範囲の決められた人工的な指標を空間に配置し、それを撮像及び認識することで、撮像範囲を設定しても良い。また、例えば、撮像範囲設定部130は、複数の人工的な指標を撮像範囲の端点に設置し、それらが全て撮像できる位置から撮像することでそれらの位置関係を認識し、それらで囲まれる範囲を撮像範囲として設定しても良い。また、例えば、撮像装置210の位置及び姿勢を算出しながら設定したい範囲の外周を移動することによって、撮像範囲設定部130で撮像範囲を設定しても良い。また、撮像範囲設定部130は、これらの複数を組み合わせて撮像範囲を設定しても良く、例えば、Z座標は入力装置300の入力によって設定し、X座標及びY座標は移動によって設定するようにしても良い。
続いて、上述した本発明の第1の実施形態の変形例3について説明する。
上述した本発明の第1の実施形態では、図5に示すように評価対象位置姿勢を示すオブジェクトを誘導情報として提示する例を示したが、本発明においてはこの形態に限定されるものではない。例えば、誘導情報提示部150で提示する誘導情報として、評価対象位置姿勢のうち、次の1組の評価対象位置姿勢に至るまでの変化の方向を示すオブジェクトを提示する形態も、本発明に適用可能である。この際、次の1組の評価対象位置姿勢としては、現在の撮像装置210の位置及び姿勢からもっとも近い撮像装置210の位置及び姿勢を評価対象位置姿勢リストの中から選択しても良いし、評価対象位置姿勢リストを最短経路で移動できるような経路を計算し、その順に示しても良い。
図6において、画像C10は、撮像装置210で撮像された撮像画像である。また、画像V10は、評価対象位置姿勢から撮像される仮想視点画像である。この仮想視点画像V10は、射影変換により生成される。そして、誘導情報提示部150は、撮像画像C10と仮想視点画像V10を重畳して合成した提示画像D10を生成し、これを表示装置220に表示する。この提示画像D10において、薄く表示された仮想視点画像V10の部分が誘導情報に相当する。操作者は、提示画像D10において、仮想視点画像V10に相当する部分が撮像画像C10に相当する部分と一致するように移動することで、評価対象位置姿勢をとる。また、仮想視点画像V10の全体を重畳表示すると、可視性が低下するため、仮想視点画像V10の勾配強度が強い箇所だけを表示しても良い。
図7に示す提示画像のように、三次元の位置及び姿勢が分かりやすい参照物体710のオブジェクトと、参照物体710をどのように撮像して欲しいのかを示す指標711のオブジェクトとに係る誘導情報を提示するようにしても良い。
図8に示す提示画像のように、並進を示す矢印810のオブジェクトと回転方向を示す矢印811のオブジェクトとによって位置及び姿勢の変化を示した誘導情報を提示するようにしても良いし、CGアバターによる誘導を行っても良い。この際、CGアバターによる誘導は、現在の撮像装置210の位置及び姿勢から、既定の距離離れた位置にCGアバターを表示し、評価対象位置姿勢へ向かう軌跡を辿るようにCGアバターを動かす表示を行う。この場合、操作者がCGアバターを追いかけるように移動することで、評価対象位置姿勢からの撮像ができる。また、誘導情報として次の1組の位置及び姿勢に至るまでの変化の方向を示すオブジェクトを提示する場合、ステップS107での評価は、第1の実施形態で上述したような評価対象位置姿勢リストを用いた評価の他に、指示した移動経路との差が閾値未満であるかを評価し、閾値以上である場合には警告を出すといった誘導及び評価方法もある。
図5に示す提示画像D01及びD02では、撮像装置210で撮像された現実空間の画像に対して評価対象位置に誘導情報を描画して(即ち、画像の誘導情報を重畳表示して)提示を行うものであった。本発明のおいてはこの形態に限らず、例えば、図9に示す形態も適用可能である。具体的に、例えば、図9(a)に示すように、表示装置220の画面910の一部の領域に撮像装置210で撮像された現実空間の画像を表示し、画面910のその他の領域911に図7に示した誘導情報を表示する形態も、本発明に適用可能である。また、例えば、図9(b)に示すように、表示装置220の画面920の一部の領域に撮像装置210で撮像された現実空間の画像を表示し、画面920のその他の領域921に図8に示した誘導情報を表示する形態も、本発明に適用可能である。即ち、この図9に示す形態では、撮像装置210で撮像された現実空間の画像とは異なる領域に誘導情報を表示して、表示位置に依存しない誘導情報の提示形態を示している。また、その他の変形例として、撮像装置210の現在の位置及び姿勢と評価対象位置姿勢とを俯瞰図や二面図乃至三面図として描画して、誘導情報の提示するようにしても良い。さらに、仮想視点画像V10の重畳表示による誘導のように画面全体に二次元表示しても良い。
続いて、上述した本発明の第1の実施形態の変形例4について説明する。
上述した本発明の第1の実施形態では、位置姿勢算出部120による撮像装置210の位置及び姿勢の算出処理において、非特許文献1に記載の方法を用いる場合について説明した。しかしながら、位置姿勢算出部120による位置及び姿勢の算出方法は、この形態に限定されるものではなく、撮像装置210の位置及び姿勢が算出できればいかなる方法でも良い。
かかる構成によれば、撮像装置210で撮像し得る撮像範囲における撮像状況の評価結果に基づいて誘導情報を提示するようしたので、撮像装置210を操作する操作者が体験可能な範囲(撮像範囲)について網羅的に三次元地図を作成することができる。これにより、作成した三次元地図を用いて撮像装置210の位置及び姿勢を算出する場合に、その算出の精度及び安定性を向上させることが可能となる。
次に、本発明の第2の実施形態について説明する。
例えば、図2に示すCPU101及びROM102に記憶されているプログラム、並びに、I/F105から、図10に示す画像入力部110、撮像範囲設定部130、誘導情報提示部150が構成される。また、例えば、図2に示すCPU101及びROM102に記憶されているプログラムから、図10に示す位置姿勢算出部120、評価部140、三次元地図更新部170が構成される。また、例えば、図2に示すCPU101及びROM102に記憶されているプログラム、並びに、記憶装置104から、図10に示す三次元地図保持部160が構成される。
これに対して、第2の実施形態では、図4のステップS107において、評価部140は、ステップS105で算出された撮像装置210の位置及び姿勢に基づき三次元地図更新部170により更新された三次元地図保持部160で保持する三次元地図に基づいて、ステップS102で設定された撮像範囲における撮像状況を評価する。この際、評価部140は、三次元地図保持部160が保持する三次元地図を構成するキーフレームの位置及び姿勢と、評価対象位置姿勢リストの位置及び姿勢とを比較し、位置及び姿勢の差が閾値未満であれば、評価対象位置姿勢リストの撮像済みフラグをTrueに変更する。
続いて、上述した本発明の第2の実施形態の変形例について説明する。
上述した本発明の第2の実施形態では、評価部140は、三次元地図を構成するキーフレームの位置及び姿勢と、評価対象位置姿勢リストの位置及び姿勢との差に基づく評価を行ったが、三次元地図に基づく撮像状況の評価はこの形態に限定されるものではない。例えば、三次元地図の持つキーフレームを評価対象位置姿勢に投影した際に、既定の閾値以上の画像領域がキーフレームに取得されている場合には、その位置及び姿勢を撮像済みとしてその撮像済みフラグをTrueにしても良い。
かかる構成によれば、算出された位置及び姿勢に基づき更新された三次元地図を用いて撮像状況を評価するようにしたので、第1の実施形態の効果に加えて、三次元地図に直結したが可能となる。
次に、本発明の第3の実施形態について説明する。
例えば、図2に示すCPU101及びROM102に記憶されているプログラム、並びに、I/F105から、図11に示す画像入力部110、撮像範囲設定部130、誘導情報提示部150が構成される。また、例えば、図2に示すCPU101及びROM102に記憶されているプログラムから、図11に示す位置姿勢算出部120、評価部140、三次元地図更新部170が構成される。また、例えば、図2に示すCPU101及びROM102に記憶されているプログラム、並びに、記憶装置104から、図11に示す三次元地図保持部160が構成される。
図12は、本発明の第3の実施形態に係る情報処理装置100−3の制御方法における処理手順の一例を示すフローチャートである。図12において、図4に示す第1の実施形態に係る情報処理装置100−1の制御方法における処理ステップと同様の処理ステップについては、同じステップ番号を付しており、その詳細な説明は省略する。
図13は、図12のステップS202における詳細な処理手順の一例を示すフローチャートである。
ステップS305に進むと、評価部140は、ステップS302で投影したキーフレームのもつ特徴(幾何特徴)のうち、画像上にある特徴(幾何特徴)の数をカウントする。
ステップS307に進むと、評価部140は、評価対象位置姿勢リストの当該1組の位置及び姿勢における撮像済みフラグをTrueに変更する。ステップS307の処理が終了すると、図13に示すフローチャートの処理を終了する。
上述した本発明の第3の実施形態では、特徴(幾何特徴)が不足している領域への誘導情報の提示を避ける形態を示したが、本発明においてはこの形態に限定されるものではない。例えば、第3の実施形態の変形例として、操作者が物理的に行けない(即ち、撮像装置210を物理的に配置できない)と判断される領域への誘導情報の提示を避ける形態も、本発明に適用可能である。
かかる構成によれば、誘導すべきでないと評価した評価対象位置姿勢を誘導情報として提示する対象から除外するようにしたので、第1の実施形態の効果に加えて、撮像装置210の位置及び姿勢の算出処理が不安定となる領域への誘導を回避することができる。
次に、本発明の第4の実施形態について説明する。
例えば、図2に示すCPU101及びROM102に記憶されているプログラム、並びに、I/F105から、図14に示す画像入力部110、撮像範囲設定部130、誘導情報提示部150、特徴追加領域提示部180が構成される。また、例えば、図2に示すCPU101及びROM102に記憶されているプログラムから、図14に示す位置姿勢算出部120、評価部140、三次元地図更新部170が構成される。また、例えば、図2に示すCPU101及びROM102に記憶されているプログラム、並びに、記憶装置104から、図14に示す三次元地図保持部160が構成される。
図15は、本発明の第4の実施形態に係る情報処理装置100−4の制御方法における処理手順の一例を示すフローチャートである。図15において、図4に示す第1の実施形態に係る情報処理装置100−1の制御方法における処理ステップと同様の処理ステップについては、同じステップ番号を付しており、その詳細な説明は省略する。
具体的に、ステップS402において、特徴追加領域提示部180は、図16(a)に示す撮像画像1610を複数の領域1611に分割し、分割領域1611ごとにステップS401で抽出した特徴(幾何特徴)の数が閾値以上であるかを判断する。そして、特徴(幾何特徴)の数が閾値未満であると判断した分割領域1611を特徴追加領域と判定する。
ステップS402の処理が終了すると、ステップS403に進む。
ステップS403に進むと、特徴追加領域提示部180は、ステップS402の探索により得られた特徴追加領域を表示装置220に提示する。
続いて、上述した本発明の第4の実施形態の変形例について説明する。
上述した本発明の第4の実施形態では、撮像画像の分割領域ごとに特徴(幾何特徴)の数に基づく特徴追加領域の判定処理を行ったが、本発明においてはこの形態に限定されるものではなく、特徴を追加すべき領域が判定できれば如何なる方法を用いても良い。例えば、特許文献2に記載の方法のように、特徴の分布が均一になるように特徴追加領域を決定しても良いし、分布が広がるように特徴追加領域を決定しても良い。また、特徴追加領域の提示方法も、図16(b)に示す特徴追加領域1621及び1622のように矩形領域で表示することに限定されるものではなく、特徴追加領域が分かれば、例えば、その特徴追加領域の中心に星形やピン等の図形を表示しても良い。
かかる構成によれば、特徴(幾何特徴)が不足している領域を提示するようにしたので、第1の実施形態の効果に加えて、操作者に撮像装置210の位置及び姿勢の算出処理が不安定になる領域を知らせることができる。これにより、例えば操作者が提示された特徴追加領域に特徴(幾何特徴)を追加する作業を行うことで、当該領域における撮像装置210の位置及び姿勢の算出の精度及び安定性を向上させることが可能となる。
本発明に係る撮像装置210は、現実空間の画像を撮像する撮像装置であれば如何なる撮像装置であっても適用可能である。例えば、撮像装置210は、濃淡画像を撮像するカメラでも良いし、カラー画像を撮像するカメラでも良いし、距離画像を撮像するデプスカメラでも良いし、カラー画像と距離画像とを同時に撮像するRGBDカメラでも良い。また、撮像装置210は、1台であっても良いし、ステレオカメラ等の複数台のカメラによって構成されても良い。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
Claims (19)
- 情報処理装置であって、
撮像装置で撮像し得る撮像範囲を設定する設定手段と、
前記撮像装置で撮像された画像を用いて前記撮像装置の位置および姿勢を算出する算出手段と、
前記設定手段で設定された前記撮像範囲に基づいて評価対象とする前記撮像装置の位置および姿勢を決定し、前記評価対象とする位置および姿勢と前記算出手段で算出された位置および姿勢とに基づいて、撮像状況を評価する評価手段と、
前記評価手段による評価に基づいて、前記撮像装置の操作を誘導する誘導情報を提示する情報提示手段と、
を有することを特徴とする情報処理装置。 - 前記情報提示手段は、前記評価手段で決定された前記評価対象とする位置および姿勢のうち、少なくとも1組の位置および姿勢を示すオブジェクトを前記誘導情報として提示することを特徴とする請求項1に記載の情報処理装置。
- 前記情報提示手段は、前記誘導情報として提示するオブジェクトを識別可能な表示態様で表示することを特徴とする請求項2に記載の情報処理装置。
- 前記情報提示手段は、前記誘導情報として、参照物体を示すオブジェクトと当該参照物体を撮影すべき状態を示す指標とを提示することを特徴とする請求項2に記載の情報処理装置。
- 前記情報提示手段は、前記撮像装置が、前記評価手段で決定された前記評価対象とする1組の位置および姿勢に至るまでの変化の方向を示すオブジェクトを前記誘導情報として提示することを特徴とする請求項1に記載の情報処理装置。
- 前記情報提示手段は、前記変化の方向を示すオブジェクトとして1または複数の矢印を提示することを特徴とする請求項5に記載の情報処理装置。
- 前記撮像範囲の幾何特徴に係る三次元地図を保持する保持手段を更に有し、
前記算出手段は、前記撮像装置で撮像された画像と前記保持手段で保持する三次元地図とを用いて、前記撮像装置の位置および姿勢を算出することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。 - 前記撮像装置で撮像された画像と前記算出手段で算出された位置および姿勢とに基づいて、前記保持手段で保持する三次元地図を更新する更新手段を更に有し、
前記評価手段は、前記保持手段で保持する三次元地図を用いて、前記撮像状況を評価することを特徴とする請求項7に記載の情報処理装置。 - 前記評価手段は、前記設定手段で設定された前記撮像範囲に基づいて評価対象とする前記撮像装置の位置および姿勢を決定するとともに、前記保持手段で保持する三次元地図を用いて当該決定した前記評価対象とする位置および姿勢を変更し、当該変更した前記評価対象とする位置および姿勢と前記算出手段で算出された位置および姿勢とに基づいて、前記撮像状況を評価することを特徴とする請求項7または8に記載の情報処理装置。
- 前記評価手段は、前記変更において、前記決定した前記評価対象とする位置および姿勢のうち、前記撮像装置を物理的に配置できない位置および姿勢を除外することを特徴とする請求項9に記載の情報処理装置。
- 前記評価手段は、前記変更において、前記決定した前記評価対象とする位置および姿勢のうち、前記幾何特徴の数が閾値未満となる領域の位置および姿勢を除外することを特徴とする請求項9または10に記載の情報処理装置。
- 前記評価手段は、前記評価対象とする位置および姿勢と前記算出手段で算出された位置および姿勢との差が閾値以下であるか否かに応じて、前記撮像状況を評価することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
- 前記情報提示手段は、前記撮像装置の操作者が視認する表示装置に前記誘導情報を表示して前記提示を行うことを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 前記情報提示手段は、前記表示装置に表示される前記画像に前記誘導情報を重畳表示することを特徴とする請求項13に記載の情報処理装置。
- 前記情報提示手段は、前記表示装置に表示される前記画像とは異なる領域に前記誘導情報を表示することを特徴とする請求項13に記載の情報処理装置。
- 前記情報提示手段は、前記撮像範囲に基づき決定される評価対象とする前記撮像装置の位置および姿勢のうち、前記撮像装置で撮像が行われた位置および姿勢の割合を示す進捗率情報を、前記表示装置に更に表示することを特徴とする請求項13乃至15のいずれか1項に記載の情報処理装置。
- 前記撮像装置で撮像された画像の各領域のうち、幾何特徴の数が閾値未満となる領域を提示する領域提示手段を更に有することを特徴とする請求項1乃至16のいずれか1項に記載の情報処理装置。
- 情報処理装置の制御方法であって、
撮像装置で撮像し得る撮像範囲を設定する設定ステップと、
前記撮像装置で撮像された画像を用いて前記撮像装置の位置および姿勢を算出する算出ステップと、
前記設定ステップで設定された前記撮像範囲に基づいて評価対象とする前記撮像装置の位置および姿勢を決定し、前記評価対象とする位置および姿勢と前記算出ステップで算出された位置および姿勢とに基づいて、撮像状況を評価する評価ステップと、
前記評価ステップによる評価に基づいて、前記撮像装置の操作を誘導する誘導情報を提示する情報提示ステップと、
を有することを特徴とする情報処理装置の制御方法。 - コンピュータを、請求項1乃至17のいずれか1項に記載の情報処理装置の各手段として機能させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017138467A JP6946087B2 (ja) | 2017-07-14 | 2017-07-14 | 情報処理装置及びその制御方法、並びに、プログラム |
PCT/JP2018/026023 WO2019013204A1 (ja) | 2017-07-14 | 2018-07-10 | 情報を提示する情報処理装置、情報処理方法及びプログラム |
US16/734,831 US11108964B2 (en) | 2017-07-14 | 2020-01-06 | Information processing apparatus presenting information, information processing method, and storage medium |
JP2021150421A JP7238060B2 (ja) | 2017-07-14 | 2021-09-15 | 情報処理装置及びその制御方法、並びに、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017138467A JP6946087B2 (ja) | 2017-07-14 | 2017-07-14 | 情報処理装置及びその制御方法、並びに、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021150421A Division JP7238060B2 (ja) | 2017-07-14 | 2021-09-15 | 情報処理装置及びその制御方法、並びに、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019020997A JP2019020997A (ja) | 2019-02-07 |
JP2019020997A5 JP2019020997A5 (ja) | 2020-08-20 |
JP6946087B2 true JP6946087B2 (ja) | 2021-10-06 |
Family
ID=65002219
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017138467A Active JP6946087B2 (ja) | 2017-07-14 | 2017-07-14 | 情報処理装置及びその制御方法、並びに、プログラム |
JP2021150421A Active JP7238060B2 (ja) | 2017-07-14 | 2021-09-15 | 情報処理装置及びその制御方法、並びに、プログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021150421A Active JP7238060B2 (ja) | 2017-07-14 | 2021-09-15 | 情報処理装置及びその制御方法、並びに、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11108964B2 (ja) |
JP (2) | JP6946087B2 (ja) |
WO (1) | WO2019013204A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11748964B2 (en) * | 2018-10-17 | 2023-09-05 | Siemens Schweiz Ag | Method for determining at least one region in at least one input model for at least one element to be placed |
US11985440B2 (en) | 2018-11-12 | 2024-05-14 | Magic Leap, Inc. | Depth based dynamic vision sensor |
US12041380B2 (en) | 2018-11-13 | 2024-07-16 | Magic Leap, Inc. | Event-based IR camera |
EP3899644A4 (en) * | 2018-12-21 | 2022-09-21 | Magic Leap, Inc. | MULTI-CAMERA CROSS-REALITY DEVICE |
CN113678435A (zh) | 2019-02-07 | 2021-11-19 | 奇跃公司 | 具有高时间分辨率的轻型低功耗交叉现实设备 |
CN114942638A (zh) * | 2019-04-02 | 2022-08-26 | 北京石头创新科技有限公司 | 机器人工作区域地图构建方法、装置 |
US11080862B2 (en) * | 2019-11-18 | 2021-08-03 | Ncku Research And Development Foundation | Reliability based keyframe switching system and method adaptable to ICP |
WO2023149118A1 (ja) * | 2022-02-03 | 2023-08-10 | ソニーグループ株式会社 | プログラム、情報処理装置、および情報処理方法 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010219825A (ja) | 2009-03-16 | 2010-09-30 | Topcon Corp | 三次元計測用画像撮影装置 |
JP5812599B2 (ja) | 2010-02-25 | 2015-11-17 | キヤノン株式会社 | 情報処理方法及びその装置 |
JP2011223292A (ja) | 2010-04-09 | 2011-11-04 | Sony Corp | 撮像装置、表示制御方法およびプログラム |
US8933996B2 (en) * | 2010-06-30 | 2015-01-13 | Fujifilm Corporation | Multiple viewpoint imaging control device, multiple viewpoint imaging control method and computer readable medium |
JP5726024B2 (ja) * | 2011-09-05 | 2015-05-27 | キヤノン株式会社 | 情報処理方法および装置 |
JP2013225245A (ja) * | 2012-04-23 | 2013-10-31 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
KR20140112909A (ko) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 파노라마 영상을 생성하는 전자 장치 및 방법 |
US9667873B2 (en) * | 2013-05-02 | 2017-05-30 | Qualcomm Incorporated | Methods for facilitating computer vision application initialization |
US9338440B2 (en) * | 2013-06-17 | 2016-05-10 | Microsoft Technology Licensing, Llc | User interface for three-dimensional modeling |
JP6102648B2 (ja) * | 2013-09-13 | 2017-03-29 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
KR102208329B1 (ko) * | 2013-12-25 | 2021-01-26 | 소니 주식회사 | 화상 처리 장치 및 화상 처리 방법, 컴퓨터 프로그램, 및 화상 표시 시스템 |
US10038838B2 (en) * | 2015-05-29 | 2018-07-31 | Hover Inc. | Directed image capture |
US9934608B2 (en) * | 2015-05-29 | 2018-04-03 | Hover Inc. | Graphical overlay guide for interface |
JP6576177B2 (ja) * | 2015-09-09 | 2019-09-18 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP6704712B2 (ja) * | 2015-11-17 | 2020-06-03 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法及びプログラム |
JP2017097578A (ja) * | 2015-11-24 | 2017-06-01 | キヤノン株式会社 | 情報処理装置及び方法 |
US10171730B2 (en) * | 2016-02-15 | 2019-01-01 | Canon Kabushiki Kaisha | Information processing apparatus, method of controlling information processing apparatus, and storage medium |
EP3422955B1 (en) * | 2016-02-29 | 2023-10-18 | Packsize International, LLC | System and method for assisted 3d scanning |
JP2019114822A (ja) * | 2016-03-23 | 2019-07-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
US10341568B2 (en) * | 2016-10-10 | 2019-07-02 | Qualcomm Incorporated | User interface to assist three dimensional scanning of objects |
US10602056B2 (en) * | 2017-01-13 | 2020-03-24 | Microsoft Technology Licensing, Llc | Optimal scanning trajectories for 3D scenes |
US10489651B2 (en) * | 2017-04-14 | 2019-11-26 | Microsoft Technology Licensing, Llc | Identifying a position of a marker in an environment |
US11003939B2 (en) * | 2018-07-06 | 2021-05-11 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
US11557060B2 (en) * | 2018-11-05 | 2023-01-17 | Wayfair Llc | Systems and methods for scanning three-dimensional objects |
-
2017
- 2017-07-14 JP JP2017138467A patent/JP6946087B2/ja active Active
-
2018
- 2018-07-10 WO PCT/JP2018/026023 patent/WO2019013204A1/ja active Application Filing
-
2020
- 2020-01-06 US US16/734,831 patent/US11108964B2/en active Active
-
2021
- 2021-09-15 JP JP2021150421A patent/JP7238060B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019013204A1 (ja) | 2019-01-17 |
US20200145588A1 (en) | 2020-05-07 |
US11108964B2 (en) | 2021-08-31 |
JP2021192304A (ja) | 2021-12-16 |
JP7238060B2 (ja) | 2023-03-13 |
JP2019020997A (ja) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6946087B2 (ja) | 情報処理装置及びその制御方法、並びに、プログラム | |
CA3016539C (en) | Image processing method, display device, and inspection system | |
US10930008B2 (en) | Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image | |
KR20170007102A (ko) | 3차원 지도 생성 및 표시 장치 및 방법 | |
EP1766580A2 (en) | Method and apparatus for machine-vision | |
JP6985897B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
JP7379065B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
TWI821220B (zh) | 影像擷取之設備及方法 | |
JP6894707B2 (ja) | 情報処理装置およびその制御方法、プログラム | |
JP2011085971A (ja) | 画像処理装置、画像処理方法、画像処理プログラム、記録媒体及び画像処理システム | |
CN108629799B (zh) | 一种实现增强现实的方法及设备 | |
JP6061334B2 (ja) | 光学式シースルー型hmdを用いたarシステム | |
KR20110088995A (ko) | 3차원 모델 안에서 감시 카메라 영상을 시각화하기 위한 방법 및 시스템, 및 기록 매체 | |
KR101611427B1 (ko) | 영상 처리 방법 및 이를 수행하는 영상 처리 장치 | |
CN113228117B (zh) | 创作装置、创作方法和记录有创作程序的记录介质 | |
JP2021009557A (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2013092888A (ja) | データ処理装置 | |
JP2019066196A (ja) | 傾き測定装置及び傾き測定方法 | |
KR101473234B1 (ko) | 신체 트래킹에 기반한 영상 디스플레이 방법 및 시스템 | |
JP6358996B2 (ja) | 警備シミュレーション装置 | |
KR20200094941A (ko) | 생산 라인에서의 작업자 위치 인식 방법 및 그 장치 | |
EP4227731A1 (en) | Method and mobile device for determining a visual point of a person | |
JP7452768B2 (ja) | 撮像システム、および撮像方法 | |
WO2023054661A1 (ja) | 注視位置分析システム及び注視位置分析方法 | |
CN113297952B (zh) | 一种复杂环境下绳驱柔性机器人的测量方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200709 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210608 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210730 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210915 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6946087 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |