JP7276978B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7276978B2
JP7276978B2 JP2022501734A JP2022501734A JP7276978B2 JP 7276978 B2 JP7276978 B2 JP 7276978B2 JP 2022501734 A JP2022501734 A JP 2022501734A JP 2022501734 A JP2022501734 A JP 2022501734A JP 7276978 B2 JP7276978 B2 JP 7276978B2
Authority
JP
Japan
Prior art keywords
point
feature points
points
dimensional shape
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022501734A
Other languages
English (en)
Other versions
JPWO2021166574A1 (ja
JPWO2021166574A5 (ja
Inventor
喜宏 山下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2021166574A1 publication Critical patent/JPWO2021166574A1/ja
Publication of JPWO2021166574A5 publication Critical patent/JPWO2021166574A5/ja
Application granted granted Critical
Publication of JP7276978B2 publication Critical patent/JP7276978B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、複数の画像からの３次元形状の構築を可能にするための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。
近年、画像に写っている対象の３次元形状を構築する技術が注目されている。このような技術の代表例としては、ＳｆＭ（Structure from Motion）が知られている。ＳｆＭでは、特定の対象をカメラの視点を変えながら複数回撮影し、得られた複数枚の画像から、特定の対象の３次元形状が復元される。
具体的には、まず、ＳｆＭでは、画像毎に、その特徴量（例えば、SIFT特徴量、SURF特徴量）が計算され、画像の拡大縮小、回転、及び照度変化に強いロバストネスな特徴点が抽出される。次に、画像間で、抽出した特徴点のマッチングが実行され、一致する特徴点のペアが抽出される。次に、例えば、ロバスト推定（Robust Estimation）によって、特徴点ペアの幾何学的な関係が計算され、誤った特徴点ペアが除外される。
その後、幾つかの特徴点ペア毎に、これらの幾何学的な関係に基づいて、Fundamental行列が算出され、算出された各Fundamental行列間での差が最も少なくなるように、特徴点ペア毎の幾何学的な関係が調整される。そして、調整後の幾何学的な関係に基づいて、３次元形状（点群）が再構築される。なお、この時の誤差の調整方法としては、Bundle Adjustmentと呼ばれる処理手法が挙げられる。
ところで、上述のＳｆＭでは、特徴点のマッチングに間違いが発生する場合がある。このような場合、対応しない特徴点同士が特徴点ペアとして抽出されてしまい、復元される３次元形状の精度が低下してしまう。このため、特許文献１は、間違った特徴点ペアの抽出を抑制する技術を開示している。
具体的には、特許文献１に開示された技術では、まず、上述した従来からの手法を用いて、複数の画像から、対応する特徴点ペアが抽出され、抽出された特徴点ペアを用いて仮の３次元形状が構築される。続いて、対象を撮影した各画像において、互いに対応する点又は線分が指定される。このとき指定される点又は線分の合計は２以上となる。
次に、指定された点間又は線分間の幾何学的関係を示す数値行列が算出され、算出された数値行列を用いて、先に抽出された特徴点ペアの中から間違った特徴点ペアが排除される。その後、排除されなかった特徴点ペアのみを用いて、再度、３次元形状が構築される。特許文献１に開示された技術を用いれば、復元される３次元形状の精度の向上が図られる。
国際公開第２０１９／０６５７８４号
ところで、特許文献１に開示された技術では、上述したように、画像毎に、対応する点又は線分が指定されるが、点又は線分の指定は、作業者が肉眼で対応する点又は線分を見つけ出すことによって行われている。このため、点または線分の指定は、作業者にとって大きな負担になる。
本発明の目的の一例は、上記問題を解消し、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減し得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における画像処理装置は、
対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出部と、
前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定部と、
指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を備えている、ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における画像処理方法は、
対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を実行させる、ことを特徴とする。
以上のように本発明によれば、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減することができる。
図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。 図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。 図３は、実施の形態で処理対象となる複数の画像の一例を示す図である。 図４は、実施の形態における特徴点抽出部による処理を説明する図であり、図４（ａ）及び図４（ｂ）はそれぞれ一連の処理を示している。 図５は、実施の形態における対応点特定部による処理を説明する図であり、図５（ａ）及び図５（ｂ）はそれぞれ一連の処理を示している。 図６は、本発明の実施の形態における３次元形状構築部による、幾何学的関係が矛盾する特徴点の組合せの特定処理を説明する図である。 図７は、特徴点の組合せが抽出されたペア画像の一例を示す図である。 図８は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。 図９は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。 図１０は、対象物における特徴点の３次元座標を２次元画像に再投影する処理を説明する図である。 図１１は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。 図１２は、実施の形態における変形例での特徴点抽出部及び対応点特定部による処理を説明する図であり、図１２（ａ）及び図１２（ｂ）はそれぞれ一連の処理を示している。 図１３は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
以下、実施の形態における、画像処理装置、画像処理方法、及びプログラムについて、図１～図１３を参照しながら説明する。
［装置構成］
最初に、実施の形態における画像処理装置の概略構成について図１を用いて説明する。図１は、本発明の実施の形態における画像処理装置の概略構成を示すブロック図である。
図１に示す、実施の形態における画像処理装置１０は、複数の画像からの３次元形状の構築を可能にするための装置である。図１に示すように、画像処理装置１０は、組合せ抽出部１１と、仮３次元形状構築部１２と、特徴点抽出部１３と、対応点特定部１４と、行列算出部１５と、３次元形状構築部１６と、を備えている。
このような構成において、組合せ抽出部１１は、対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する。仮３次元形状構築部１２は、抽出された特徴点の組合せを用いて、特徴点の点群で構成された、対象物の仮の３次元形状を構築する。
特徴点抽出部１３は、対象物の複数の画像のうちの１の画像上において点が指定されると、指定された点を基準にした設定領域に存在する特徴点を抽出する。対応点特定部１４は、まず、仮の３次元形状を用いて、抽出された特徴点の３次元座標を求める。対応点特定部１４は、求めた３次元座標に基づいて、点が指定された画像とは別の画像における、指定された点に対応する対応点を特定する。
行列算出部１５は、指定された点と対応点との幾何学的関係を求め、求めた幾何学的関係を表現する数値行列を算出する。３次元形状構築部１６は、まず、算出された数値行列を用いて、抽出された特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する特徴点の組合せを特定する。３次元形状構築部１６は、特定した特徴点の組合せ以外の特徴点の組合せを用いて３次元形状を再構築する。
このように、実施の形態では、３次元形状の精度を高めるための点の指定が１の画像上での１点のみで良く、１点の指定だけで別の画像における対応点が自動的に特定される。このため、実施の形態によれば、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減することができる。
続いて、図２～図１０を用いて、実施の形態における画像処理装置の構成及び機能について具体的に説明する。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。
図２に示すように、実施の形態では、画像処理装置１０は、組合せ抽出部１１、仮３次元形状構築部１２、特徴点抽出部１３、対応点特定部１４、行列算出部１５、及び３次元形状構築部１６に加えて、画像取得部１７と、フィルタリング部１８と、入力受付部１９と、表示部２０とを更に備えている。図２において、２１は、表示装置である。
画像取得部１７は、外部の装置、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、３次元形状の構築対象が写った複数の画像それぞれの画像データを取得する。図３は、実施の形態で処理対象となる複数の画像の一例を示す図である。図３の例では、ペア画像が例示されているが、本実施の形態において対象となる画像の枚数は特に限定されるものではない。
組合せ抽出部１１は、実施の形態では、まず、画像毎に、例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定する。そして、組合せ抽出部１１は、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する。図３の例では、画像が２枚であるため、特徴点の組合せは、特徴点ペアである。図３において、丸で囲まれた部分は特徴点の一つを示している。対応する特徴点の組合せが抽出された２枚の画像は、以降においては、「ペア画像」と表記する。
フィルタリング部１８は、特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する。フィルタリング部１８によるフィルタリング処理は、従来からのＳｆＭと同様に、ロバスト推定を用いて行われる。実施の形態では、後述する３次元形状構築部１６によるフィルタリング処理（以下「第２のフィルタリング処理」と表記する。）に加えて、フィルタリング部１８によるフィルタリング処理（以下「第１のフィルタリング処理」と表記する。）も行われるので、より確実に間違った特徴点の組合せが排除される。
仮３次元形状構築部１２は、実施の形態では、抽出された特徴点の組合せを用いて、仮の３次元座標を算出し、更に、算出された仮の３次元座標を用いて、特徴点の点群で構成された対象物の仮の３次元形状を構築する。
なお、仮３次元形状構築部１２による３次元座標の算出処理及び３次元形状の構築処理は、後述する３次元形状構築部１６による３次元座標の算出処理及び３次元形状の構築処理と同様に行われる。両者の違いは、処理対象となる特徴点の組合せに対して第２のフィルタリング処理が行われているかどうかのみである。従って、仮３次元形状構築部１２による３次元座標の算出処理及び３次元形状の構築処理の詳細については、後述する３次元形状構築部１６による３次元座標の算出処理及び３次元形状の構築処理の詳細説明に代える。
入力受付部１９は、処理対象となる画像上における点の指定を受け付ける。点の指定は、例えば、表示装置２１の画面上に表示された画像上で、ユーザによって、タッチパネル、マウスといった入力装置を用いて行われる。また、点の指定は、ユーザによって、外部の端末装置を介して行われていても良い。
特徴点抽出部１３は、実施の形態では、入力受付部１９において画像上での点の指定が受け付けられると、指定が受け付けられた点を中心とする環状の領域に存在する３以上の特徴点を抽出する。
図４を用いて、入力受付部１９及び特徴点抽出部１３による処理について具体的に説明する。図４は、実施の形態における特徴点抽出部による処理を説明する図であり、図４（ａ）及び図４（ｂ）はそれぞれ一連の処理を示している。
まず、図４（ａ）に示すように、対象物の複数の画像のうちの１つの画像上で１点が指定されると、入力受付部１９は、指定された点（以下「指定点」と表記する。）の入力を受け付ける。続いて、図４（ｂ）に示すように、特徴点抽出部１３は、指定点を中心とした、内縁の半径がｒ１以上、外縁の半径がｒ２以下となる環状の領域内から、３以上の特徴点を抽出する。具体的には、組合せ抽出部１１によって既に画像から抽出され、更にフィルタリング部１８によってフィルタリングされた、特徴点の中から、上記領域内に存在する特徴点を特定し、特定した特徴点を抽出する。
図４（ｂ）の例では、特徴点Ａ（ｘ０，ｙ０）、特徴点Ｂ（ｘ１，ｙ１）、特徴点Ｃ（ｘ２，ｙ２）の３点が抽出されている。なお、３以上の特徴点が抽出されなかった場合は、特徴点抽出部１３は、環状の領域を広げて再度特徴点の抽出を実行する。
対応点特定部１４は、実施の形態では、仮の３次元形状を用いて、特徴点抽出部１３が抽出した３以上の特徴点それぞれの３次元座標を求め、求めた３次元座標それぞれに基づいて、別の画像上における、３以上の特徴点の座標を求める。更に、対応点特定部１４は、点が指定された画像上における、３以上の特徴点の座標と、別の画像上における、３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定点に対応する対応点を特定する。
図５を用いて、対応点特定部１４による処理について具体的に説明する。図５は、実施の形態における対応点特定部による処理を説明する図であり、図５（ａ）及び図５（ｂ）はそれぞれ一連の処理を示している。
図５（ａ）に示すように、特徴点抽出部１３が、画像１において、上述の特徴点Ａ、特徴点Ｂ、特徴点Ｃを抽出しているとすると、対応点特定部１４は、仮の３次元形状から、特徴点Ａ、特徴点Ｂ、特徴点Ｃの３次元座標を求める。そして、対応点特定部１４は、求めた３次元座標それぞれに基づき、画像２において、対応する特徴点として、特徴点Ａ’（ｘ０’，ｙ０’）、特徴点Ｂ’（ｘ１’，ｙ１’）、特徴点Ｃ’（ｘ２’，ｙ２’）
を求める。
続いて、対応点特定部１４は、画像１上の特徴点Ａ、Ｂ、Ｃと、画像２上の特徴点Ａ’、Ｂ’、Ｃ’との位置関係として、特徴点Ａ、Ｂ、Ｃの位置関係を、特徴点Ａ’、Ｂ’、Ｃ’に相似変換するための行列を求める。具体的には、対応点特定部１４は、例えば、下記の数１～数３を満足する回転行列Ｒと並進行列ｔとを求める。
Figure 0007276978000001
Figure 0007276978000002
Figure 0007276978000003
そして、ユーザが画像１で指定した点をＰ（ｘｔ，ｙｔ）すると、対応点特定部１４は、点Ｐに回転行列Ｒと並進行列ｔと適用して、図５（ｂ）に示すように、画像２上において、点Ｐに対応する対応点Ｐ’（ｘｔ’，ｙｔ’）を特定する。入力受付部１９、特徴点抽出部１３、及び対応点特定部１４は、このような処理を繰り返し実行する。実施の形態では、例えば、少なくとも５個以上の指定点が指定され、それに対応する５個以上の対応点が特定される。
行列算出部１５は、実施の形態では、画像１で指定された５個以上の指定点Ｐと、画像２上の５個以上の対応点Ｐ’との幾何学的関係として、下記の数４の関係式から、Fundamental行列（参照文献）を算出し、この数値行列を絶対的数値行列として定義する。下記の数４において、Ｔは転置行列である。また、ＦはFundamental行列である。実施の形態において数値行列は、Fundamental行列に限定されるものではなく、幾何学的関係を表現できる行列であれば良い。
Figure 0007276978000004
参照文献：Richard Hartleyand Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, March 2004.
３次元形状構築部１６は、本実施の形態では、まず、行列算出部１５によって算出された数値行列（Fundamental行列）を用いて、組合せ抽出部１１で抽出された特徴点の組合せ（フィルタリング部１８で除外されたものを除く）から、幾何学的関係が矛盾する特徴点の組合せを特定する。
図６を用いて、３次元形状構築部１６による幾何学的関係が矛盾する特徴点の組合せの特定処理について具体的に説明する。図６は、本発明の実施の形態における３次元形状構築部による、幾何学的関係が矛盾する特徴点の組合せの特定処理を説明する図である。図６の例では、特徴点ｐｉと特徴点ｐ’ｉとの組合せが、間違っているかどうかの判断対象
となっている。
また、図６において、Ｅはエピポーラ面を示し、Ｏｉは一方の画像のカメラの中心位置を示し、Ｏ’ｉは他方の画像のカメラの中心位置を示している。ｅｉは一方の画像とエピポーラ面との交点を示し、ｅ’ｉは他方の画像とエピポーラ面との交点を示している。更に、図６において、左右に示された並行四辺形はそれぞれ画像のフレームを示している。
また、図６においては、一方の画像における点Ｐは指定点であり、他方の画像における点Ｐ’は対応点である。そして、指定点Ｐと交わるエピポーラ線を、エピポーラ線ｌｎと定義し、対応点Ｐ’と交わるエピポーラ線を、エピポーラ線ｌ’ｎと定義する。
図６の例では、３次元形状構築部１６は、エピポーラ線についての下記の数５に示す関係を用いて、特徴点ｐｉが存在しているエピポーラ線ｌ１に対応するエピポーラ線ｌ’１を算出する。数５において、Ｆは、数４に示したFundamental行列である。ｘは、エピポーラ線ｌの座標である。
Figure 0007276978000005
そして、３次元形状構築部１６は、算出したエピポーラ線ｌ’１と特徴点ｐ’ｉとの距離ｄが閾値以上となっているかどうかを判定し、距離ｄが閾値以上となっている場合は、特徴点ｐｉと特徴点ｐ’ｉとの組合せは間違っていると判定する。この場合、３次元形状構築部１６は、特徴点ｐｉと特徴点ｐ’ｉとの組合せを、幾何学的関係が矛盾する特徴点の組合せとして特定する。
また、３次元形状構築部１６は、幾何学的関係が矛盾する特徴点の組合せを特定すると、特定しなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する。
図７～図９を用いて、３次元形状構築部１６による３次元座標の算出処理について具体的に説明する。図７は、特徴点の組合せが抽出されたペア画像の一例を示す図である。図８は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図９は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。
図７示すように、３次元形状構築部１６は、最初に、一組のペア画像（初期ペア画像）として画像３１と画像３２とを選択する。そして、この場合、画像３１から抽出されている特徴点（ｍ１～ｍ５）と、画像３２から抽出されている特徴点（ｍ’１～ｍ’５）とは対応している。ｍ１とｍ’１、ｍ２とｍ’２、ｍ３とｍ’３、ｍ４とｍ’４、ｍ５とｍ’５は、それぞれ特徴点の組合せ（以下「特徴点ペア」とも表記する）である。また、図７の例では、画像３１はカメラ４１によって撮影され、画像３２はカメラ４２によって撮影されている。図７において、Ｍ（Ｍ１～Ｍ５）は、各特徴点に対応する対象物上の３次元座標である。
続いて、３次元形状構築部１６は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ１～ｍ５、ｍ’１～ｍ’５）を用いて、画像３１を撮影したカメラ４１のカメラ行列Ｑと、画像３２を撮影したカメラ４２のカメラ行列Ｑ’とを算出する。また、カメラ行列Ｑ及びカメラ行列Ｑ’は、カメラ４１の位置を原点とすると、それぞれ下記の数６及び数７によって表すことができる。
Figure 0007276978000006
Figure 0007276978000007
上記数６において、Ｉは、カメラ４１の回転行列である。図８に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数４において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒｘ，Ｒｙ，Ｒｚ））。ｔは、並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔｘ，ｔｙ，ｔｚ））。
従って、この場合は、カメラ行列Ｑ及びカメラ行列Ｑ’から逆算することによって、回転行列Ｒと並進行列ｔとを算出することが出来る。具体的には、３次元形状構築部１６は、各特徴点の座標を用いて、下記の数８～数１０に示す方程式を解くことによって、回転行列Ｒと並進行列ｔとを算出する。数８～数１０において、ｍハットは、ｍ（ｍ１～ｍ５）を正規化して得られた画像３１上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’１～ｍ’５）を正規化して得られた画像３１上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。
Figure 0007276978000008
Figure 0007276978000009
Figure 0007276978000010
また、キャリブレーション行列Ｋは、下記の数１１及び数１２から求めることができる。なお、ｃｘ、ｃｙは、カメラの中心座標である。
Figure 0007276978000011
Figure 0007276978000012
次に、３次元形状構築部１６は、各カメラの位置の３次元座標と回転行列とを用いて、抽出された特徴点の３次元座標Ｍ（Ｍ１～Ｍ５）を算出する。具体的には、３次元形状構築部１６は、下記の数１３を解くことで３次元座標Ｍを算出する。また、数１３における行列Ａは、数１４で示される。数１４において、ｑｉＴは、カメラ行列Ｑの行であり、ｑ’ｉＴは、カメラ行列Ｑ’の行である。
Figure 0007276978000013
Figure 0007276978000014
次に、図９に示すように、３次元形状構築部１６は、特徴点が抽出されている画像であって、初期ペア画像以外の画像の中から、１つの画像３３を新たに選択し、新たに選択した画像３３と初期ペア画像の１つとを新たなペア画像とする。画像３３は、カメラ４３によって撮影されている。
そして、３次元形状構築部１６は、画像３２の特徴点に対応する画像３３の特徴点（ｍ’’１～ｍ’’３）を特定し、画像３２の特徴点と画像３３との特徴点とを特徴点ペアとする。そして、３次元形状構築部１６は、画像３３を撮影したカメラ４３のカメラ行列Ｑｎを算出する。カメラ行列Ｑｎは、下記の数１５によって表すことができる。
Figure 0007276978000015
具体的には、３次元形状構築部１６は、画像３３の特定された特徴点を用いて、下記の
数１６に示す方程式を解くことによって、カメラ４３のカメラ行列ＱｎのＲｎ及びｔｎを
算出する。
Figure 0007276978000016
数１６において、Ｍｉは、新たに選択された画像３３における画像３２と共通する特徴点の３次元座標である。ｍｉハットは、新たに選択された画像３３における特徴点の正規化された座標である。ｄｉは、下記の数１７に示すように、画像３３を撮影したカメラ４３とｍｉハットとの距離を示している。
Figure 0007276978000017
次に、３次元形状構築部１６は、算出したカメラ４３のカメラ行列ＱｎのＱｎ及びｔｎを用いて、画像３３の特定された特徴点（ｍ’’１～ｍ’’３）の３次元座標Ｍｉを算出する。この場合も、３次元形状構築部１６は、上記数１３を解くことで、特徴点の３次元座標Ｍ（Ｍ１～Ｍ３）を算出する。以上の処理により、３次元形状構築部１６は、対象物の３次元座標を算出することができる。
また、実施の形態では、３次元形状構築部１６は、３次元座標が算出された特徴点について適正を判定することができる。３次元形状構築部１６は、例えば、特徴点の組合せの一つについて、それから得られる３次元座標と、抽出元の画像に対応するカメラ行列とを用いて、元の２次元画像上に再投影を行い、投影された位置の２次元座標と、抽出時の位置の２次元座標とを比較する。そして、３次元形状構築部１６は、実施の形態では、比較結果として、前者の２次元座標と後者の２次元座標との差分を算出し、算出した差分が閾値以下の場合に、対象となった特徴点が適正であると判定する。一方、３次元形状構築部１６は、算出した差分が閾値を越える場合は、対象となった特徴点が適正でないと判定する。
また、実施の形態では、３次元形状構築部１６は、３次元座標が算出された特徴点の組合せ毎に、この組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定することもできる。例えば、特徴点の組合せが３つの特徴点で構成されている場合は、３次元形状構築部１６は、３つの特徴点について１つずつ適正かどうかを判定しても良いし、このうち２つのみを選択し、選択した２つの特徴点について１つずつ適正かどうかを判定しても良い。
図１０を用いて、３次元形状構築部１６による特徴点の適性の判定処理について具体的に説明する。図１０は、対象物における特徴点の３次元座標を２次元画像に再投影する処理を説明する図である。また、図１０の例では、図７に示した画像３２上の特徴点の一つを再投影する例について示している。更に、図１０において、特徴点に対応する３次元座標、即ち、世界座標系での３次元座標を（ＸＷ，ＹＷ，ＺＷ）とし、特徴点の抽出時の位置の２次元座標を（ｘｆ，ｙｆ）とする。また、特徴点のカメラ座標系での座標を（ＸＣ，ＹＣ，ＺＣ）とする。
まず、３次元形状構築部１６は、下記の数１８を用いて、カメラ行列Ｑ’（＝［Ｒ｜ｔ］）と特徴点の３次元座標（ＸＷ，ＹＷ，ＺＷ）とから、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を算出する。
Figure 0007276978000018
続いて、３次元形状構築部１６は、下記の数１９を用いて、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を正規化する。
Figure 0007276978000019
続いて、３次元形状構築部１６は、上記数１９で正規化された座標と、カメラの内部パラメータ（図１０の例では、カメラ４２の焦点距離ｆ、画像中心位置の座標（ｃｘ，ｃｙ）とを、下記の数２０に適用して、特徴点を画像３２に再投影した時の２次元座標（ｘｐ，ｙｐ）を算出する。
Figure 0007276978000020
次に、３次元形状構築部１６は、下記の数２１を用いて、上記数２０から算出した再投影後の２次元座標（ｘｐ，ｙｐ）と特徴点の抽出時の位置の２次元座標（ｘｆ，ｙｆ）との差分ｄを算出する。
Figure 0007276978000021
その後、３次元形状構築部１６は、算出した差分ｄが閾値Ｇ以下の場合に、対象となった特徴点が適正であると判定し、算出した差分ｄが閾値Ｇを越える場合は、対象となった特徴点が適正でないと判定する。
判定後、３次元形状構築部１６は、適正でないと判定された特徴点に対応する３次元座標、及び、この３次元座標に対応する全ての特徴点を除外する。また、３次元形状構築部１６は、実施の形態では、適正でないと判定された特徴点のみを除外し、適正でないと判定された特徴点に対応する３次元座標、及び、この３次元座標に対応する特徴点の組み合わせのうち、適正でないと判定された特徴点以外の特徴点は除外しないことも可能である。但し、この場合は、３次元形状構築部１６は、全ての特徴点の適合性判定が完了したときに、全ての３次元座標に対して、それぞれの３次元座標に対応する特徴点の数が２個未満の３次元座標は除外する必要がある。
そして、３次元形状構築部１６は、残りの特徴点を用いて、３次元座標を再計算し、最終的に得られた各特徴点の３次元座標によって、対象物の点群データを構築し、これを対象物の３次元形状とする。
また、表示部２０は、３次元形状構築部１６によって構築された３次元形状を、２次元画像として、表示装置２１の画面上に表示させる。具体的には、表示部２０は、構築された３次元形状を二次元画面上に表示するための画像データを作成し、作成した画像データを表示装置２１に出力する。
また、本実施の形態では、表示部２０は、ユーザによる点の指定を支援するために、画像取得部１７で取得された複数の画像を、表示装置２１の画面上に表示させることができる。この場合、ユーザは、画面に表示された画像上で、点を指定することができる。更に、表示部２０は、仮３次元形状構築部１２によって仮の３次元形状が構築されると、構築された仮の３次元形状も、２次元画像として、表示装置２１の画面上に表示させることができる。
［装置動作］
次に、実施の形態における画像処理装置の動作について図１１を用いて説明する。図１１は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図１０を参照する。また、実施の形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
図１０に示すように、最初に、画像取得部１７は、外部の装置から、３次元形状の構築対象が写った複数の画像それぞれの画像データを取得する（ステップＡ１）。また、ステップＡ１が実行されると、表示部２０は、取得された各画像を表示装置２１の表示画面に表示させる。
次に、組合せ抽出部１１は、ステップＡ１で取得された画像データ毎に、その画像における特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する（ステップＡ２）。
次に、フィルタリング部１８は、ステップＡ２で抽出された特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する（ステップＡ３）。
次に、仮３次元形状構築部１２は、ステップＡ３の処理後の特徴点の組合せを用いて、仮の３次元座標を算出し、算出された仮の３次元座標を用いて、特徴点の点群で構成された対象物の仮の３次元形状を構築する（ステップＡ４）。
次に、表示装置２１の画面上に表示されている画像上で、ユーザが点を指定すると、入力受付部１９は、点の指定を受け付ける（ステップＡ５）。
次に、特徴点抽出部１３は、ステップＡ５で指定が受け付けられた点を中心とする環状の領域に存在する３以上の特徴点を抽出する（ステップＡ６）。
次に、対応点特定部１４は、ステップＡ４で構築された仮の３次元形状を用いて、ステップＡ６で抽出された特徴点の３次元座標を求め、求めた３次元座標に基づいて、指定点の画像とは別の画像における、指定点に対応する対応点を特定する（ステップＡ７）。また、実施の形態では、ステップＡ５～Ａ７は、指定点と対応点との数が必要数（例えば５個）となるまで繰り返し実行される。
次に、行列算出部１５は、ステップＡ５で指定された指定点とステップＡ７特定された対応点との幾何学的関係を求め、求めた幾何学的関係を表現する数値行列（Fundamental行列）を算出する（ステップＡ８）。
次に、３次元形状構築部１６は、ステップＡ８で算出された数値行列を用いて、ステップＡ３の処理後の特徴点の組合せの中から、幾何学的関係が矛盾する特徴点の組合せを特定する（ステップＡ９）。
次に、３次元形状構築部１６は、ステップＡ９で特定しなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する（ステップＡ１０）。
次に、３次元形状構築部１６は、ステップＡ１０で３次元座標が算出された特徴点について適性を判定し、更に、適正でない特徴点を排除し、適正な特徴点を用いて３次元座標を再計算する。そして、３次元形状構築部１６は、最終的に得られた各特徴点の３次元座標によって、対象物の点群データを構築し、これを対象物の３次元形状とする（ステップＡ１１）。
その後、表示部２０は、ステップＡ１１で構築された３次元形状を、２次元画像として、表示装置２１の画面上に表示させる（ステップＡ１２）。
［実施の形態における効果］
以上のように、実施の形態によれば、３次元形状の精度を高めるための点の指定が１の画像上での１点のみで良く、１点の指定だけで別の画像における対応点が自動的に特定される。この結果、複数の画像を用いて対象の３次元形状を構築する際において、作業者であるユーザは、肉眼で対応する複数の点を見つける必要がないため、ユーザにおける負担が軽減される。また、同時に、複数画像上で互いに対応する点が指定されることになるので、３次元形状の精度の向上が図られることになる。
［変形例］
続いて、図１２を用いて実施の形態の変形例について説明する。本変形例は、特徴点抽出部１３及び対応点特定部１４における処理の点で、上述の例と異なっている。図１２は、実施の形態における変形例での特徴点抽出部及び対応点特定部による処理を説明する図であり、図１２（ａ）及び図１２（ｂ）はそれぞれ一連の処理を示している。
図１２（ａ）に示すように、指定された指定点Ｐとの距離が閾値以下となる位置、例えば、指定点を中心に半径ｒ３以内に特徴点が存在するとする。この場合、本変形例では、特徴点抽出部１３は、この特徴点を抽出する。
そして、この場合、対応点特定部１４は、仮の３次元形状を用いて、抽出された特徴点の３次元座標を求め、求めた３次元座標に基づいて、別の画像上における、抽出された特徴点の座標を求め、求めた座標にある点を、指定された点に対応する対応点Ｐ’として特定する、
本変形例では、指定点が、抽出された特徴点に極めて近い場合に、この極めて近い特徴点を指定点として近似して、対応点が求められる。本変形例では、図４及び図５に示した例に比べて計算量を少なくできることから、画像処理装置１０における処理負担が軽減される。
［プログラム］
実施の形態におけるプログラムは、コンピュータに、図１１に示すステップＡ１～Ａ１２を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、組合せ抽出部１１、仮３次元形状構築部１２、特徴点抽出部１３、対応点特定部１４、行列算出部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、入力受付部１９、及び表示部２０として機能し、処理を行なう。また、コンピュータとしては、汎用のＰＣの他に、スマートフォン、タブレット型端末装置が挙げられる。
本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、組合せ抽出部１１、仮３次元形状構築部１２、特徴点抽出部１３、対応点特定部１４、行列算出部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、入力受付部１９、及び表示部２０としてのいずれかとして機能しても良い。
［物理構成］
ここで、実施の形態におけるプログラムを実行することによって、画像処理装置１０を実現するコンピュータについて図１３を用いて説明する。図１３は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
図１３に示すように、コンピュータ１１０は、ＣＰＵ（Central Processing Unit）１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。
また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。この態様では、ＧＰＵ又はＦＰＧＡが、実施の形態におけるプログラムを実行することができる。
ＣＰＵ１１１は、記憶装置１１３に格納された、コード群で構成された実施の形態におけるプログラムをメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。
また、実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）など
の光学記録媒体が挙げられる。
なお、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア、例えば電子回路を用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１２）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出部と、
前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定部と、
指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を備えている、ことを特徴とする画像処理装置。
（付記２）
付記１に記載の画像処理装置であって、
前記特徴点抽出部が、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
前記対応点特定部が、
前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
ことを特徴とする画像処理装置。
（付記３）
付記１に記載の画像処理装置であって、
前記特徴点抽出部が、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
前記対応点特定部が、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
ことを特徴とする画像処理装置。
（付記４）
付記１から３のいずれかに記載の画像処理装置であって、
前記３次元形状構築部によって構築された前記３次元形状を、２次元画像として画面上に表示する、表示部を更に備えている、
ことを特徴とする画像処理装置。
（付記５）
対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を有する、ことを特徴とする画像処理方法。
（付記６）
付記５に記載の画像処理方法であって、
前記特徴点抽出ステップにおいて、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
前記対応点特定ステップにおいて、
前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
ことを特徴とする画像処理方法。
（付記７）
付記５に記載の画像処理方法であって、
前記特徴点抽出ステップにおいて、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
前記対応点特定ステップにおいて、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
ことを特徴とする画像処理方法。
（付記８）
付記５から７のいずれかに記載の画像処理方法であって、
前記３次元形状構築ステップによって構築された前記３次元形状を、２次元画像として画面上に表示する、表示ステップを更に有する、
ことを特徴とする画像処理方法。
（付記９）
コンピュータに、
対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を実行させる、プログラム。
（付記１０）
付記９に記載のプログラムであって、
前記特徴点抽出ステップにおいて、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
前記対応点特定ステップにおいて、
前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
ことを特徴とするプログラム。
（付記１１）
付記９に記載のプログラムであって、
前記特徴点抽出ステップにおいて、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
前記対応点特定ステップにおいて、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
ことを特徴とするプログラム。
（付記１２）
付記９から１１のいずれかに記載のプログラムであって、
前記コンピュータに、更に、
前記３次元形状構築ステップによって構築された前記３次元形状を、２次元画像として画面上に表示する、表示ステップを実行させる、
ことを特徴とするプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０２０年２月１７日に出願された日本出願特願２０２０－２４７４８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上のように本発明によれば、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減することができる。本発明は、ＳｆＭといった複数の画像から３次元形状を構築する技術に有用である。
１０ 画像処理装置
１１ 組合せ抽出部
１２ 仮３次元形状構築部
１３ 特徴点抽出部
１４ 対応点特定部
１５ 行列算出部
１６ ３次元形状構築部
１７ 画像取得部
１８ フィルタリング部
１９ 入力受付部
２０ 表示部
２１ 表示装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (9)

  1. 対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
    抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
    前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出部と、
    前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定部と、
    指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
    前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
    を備えている、ことを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記特徴点抽出部が、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
    前記対応点特定部が、
    前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
    前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
    ことを特徴とする画像処理装置。
  3. 請求項１に記載の画像処理装置であって、
    前記特徴点抽出部が、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
    前記対応点特定部が、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
    ことを特徴とする画像処理装置。
  4. 請求項１から３のいずれかに記載の画像処理装置であって、
    前記３次元形状構築部によって構築された前記３次元形状を、２次元画像として画面上に表示する、表示部を更に備えている、
    ことを特徴とする画像処理装置。
  5. 対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出し、
    抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築し、
    前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出し、
    前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定し、
    指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出し、
    前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、
    ことを特徴とする画像処理方法。
  6. 請求項５に記載の画像処理方法であって、
    前記特徴点の抽出において、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
    前記対応点の特定において、
    前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
    前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
    ことを特徴とする画像処理方法。
  7. 請求項５に記載の画像処理方法であって、
    前記特徴点の抽出において、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
    前記対応点の特定において、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
    ことを特徴とする画像処理方法。
  8. 請求項５から７のいずれかに記載の画像処理方法であって、
    更に、構築された前記３次元形状を、２次元画像として画面上に表示する、
    ことを特徴とする画像処理方法。
  9. コンピュータに、
    対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出させ、
    抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築させ、
    前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出させ、
    前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定させ、
    指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出させ、
    前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定させ、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築させる、
    プログラム。
JP2022501734A 2020-02-17 2021-01-27 画像処理装置、画像処理方法、及びプログラム Active JP7276978B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020024748 2020-02-17
JP2020024748 2020-02-17
PCT/JP2021/002850 WO2021166574A1 (ja) 2020-02-17 2021-01-27 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Publications (3)

Publication Number Publication Date
JPWO2021166574A1 JPWO2021166574A1 (ja) 2021-08-26
JPWO2021166574A5 JPWO2021166574A5 (ja) 2022-10-04
JP7276978B2 true JP7276978B2 (ja) 2023-05-18

Family

ID=77390951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022501734A Active JP7276978B2 (ja) 2020-02-17 2021-01-27 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7276978B2 (ja)
WO (1) WO2021166574A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230527A (ja) 2001-01-31 2002-08-16 Olympus Optical Co Ltd 立体情報取得装置および立体情報取得方法ならびに立体情報取得プログラムを記録したコンピュータリーダブル記録媒体
WO2019065784A1 (ja) 2017-09-29 2019-04-04 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230527A (ja) 2001-01-31 2002-08-16 Olympus Optical Co Ltd 立体情報取得装置および立体情報取得方法ならびに立体情報取得プログラムを記録したコンピュータリーダブル記録媒体
WO2019065784A1 (ja) 2017-09-29 2019-04-04 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
JPWO2021166574A1 (ja) 2021-08-26
WO2021166574A1 (ja) 2021-08-26

Similar Documents

Publication Publication Date Title
US10368062B2 (en) Panoramic camera systems
US10373380B2 (en) 3-dimensional scene analysis for augmented reality operations
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
JP5713790B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
WO2012100225A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
TW201616451A (zh) 點雲套索選取系統及方法
JP2018055199A (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US20230237777A1 (en) Information processing apparatus, learning apparatus, image recognition apparatus, information processing method, learning method, image recognition method, and non-transitory-computer-readable storage medium
US11189053B2 (en) Information processing apparatus, method of controlling information processing apparatus, and non-transitory computer-readable storage medium
US20120038785A1 (en) Method for producing high resolution image
JP6989153B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN114972689A (zh) 执行增强现实姿态确定的方法和装置
JP5122650B2 (ja) 経路近傍レンダリング
JP7276978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6645442B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7294702B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019105992A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
CN116188349A (zh) 图像处理方法、装置、电子设备及存储介质
CN114170257A (zh) 一种拟合弯曲目标轮廓的、装置、计算机设备及存储介质
JP2023104399A (ja) 画像処理装置、画像処理方法、及びプログラム
CN111369425A (zh) 图像处理方法、装置、电子设备和计算机可读介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220808

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230427

R151 Written notification of patent or utility model registration

Ref document number: 7276978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151