JP7294702B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP7294702B2
JP7294702B2 JP2021552339A JP2021552339A JP7294702B2 JP 7294702 B2 JP7294702 B2 JP 7294702B2 JP 2021552339 A JP2021552339 A JP 2021552339A JP 2021552339 A JP2021552339 A JP 2021552339A JP 7294702 B2 JP7294702 B2 JP 7294702B2
Authority
JP
Japan
Prior art keywords
feature points
combination
dimensional coordinates
feature
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021552339A
Other languages
English (en)
Other versions
JPWO2021075314A5 (ja
JPWO2021075314A1 (ja
Inventor
喜宏 山下
伸弘 森岡
健吾 深川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2021075314A1 publication Critical patent/JPWO2021075314A1/ja
Publication of JPWO2021075314A5 publication Critical patent/JPWO2021075314A5/ja
Application granted granted Critical
Publication of JP7294702B2 publication Critical patent/JP7294702B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Description

本発明は、複数の画像からの３次元形状の構築を可能にするための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。
近年、画像に写っている対象の３次元形状を構築する技術が注目されている。このような技術の代表例としては、ＳｆＭ（Structure from Motion）が知られている。ＳｆＭでは、特定の対象をカメラの視点を変えながら複数回撮影が行われ、得られた複数枚の画像から、特定の対象の３次元形状が再構築される。
具体的には、まず、ＳｆＭでは、画像毎に、その特徴量（例えば、SIFT特徴量、SURF特徴量）が計算され、画像の拡大縮小、回転、及び照度変化に強いロバストネスな特徴点が抽出される。次に、画像間で、抽出した特徴点のマッチングが実行され、一致する特徴点のペアが抽出される。次に、例えば、ロバスト推定（Robust Estimation）によって、特徴点ペアの幾何学的な関係が計算され、誤った特徴点ペアが除外される。
その後、幾つかの特徴点ペア毎に、これらの幾何学的な関係に基づいて、Fundamental行列が算出され、算出された各Fundamental行列間での差が最も少なくなるように、特徴点ペア毎の幾何学的な関係が調整される。そして、調整後の幾何学的な関係に基づいて、３次元形状（点群）が再構築される。なお、この時の誤差の調整方法としては、Bundle Adjustmentと呼ばれる処理手法が挙げられる。
ところで、上述のＳｆＭでは、特徴点間のマッチングに間違いが発生する場合があり、この場合、異なる特徴点間で特徴点ペアが抽出されてしまい、復元される３次元形状の精度が低下してしまう。このため、特許文献１及び特許文献２は、対応する特徴点の位置を補正するシステムを開示している。
具体的には、特許文献１に開示されたシステムは、まず、同一の対象物を撮影した２枚の画像を、それぞれのエピポーラ線が走査線に平行となるよう配置し、走査線毎に、各画像から対応する特徴点を抽出する。次に、特許文献１に開示されたシステムは、ユーザーによる各画像上への対応する箇所を指定する線分の入力を受け付ける。
そして、特許文献１に開示されたシステムは、走査線上の対応する各特徴点が、この走査線と入力された線分との交点に一致しているかどうかを判定し、一致していない場合は、各特徴点の位置を交点の位置に補正する。その後、特許文献１に開示されたシステムは、位置が補正された特徴点を用いて、３次元形状の再構築を実行する。
また、特許文献２に開示されたシステムは、まず、同一の対象物を撮影したペア画像それぞれから、対応する特徴点の組合せを抽出する。次に、特許文献２に開示されたシステムは、ペア画像それぞれにおいて、対応する線分又は点が指定されると、線分間又は点間の幾何学的関係から数値行列を算出する。
続いて、ペア画像の一方の画像において、特徴点をｐ、特徴点ｐが存在するエピポーラ線をｌ、他方の画像において、対応する特徴点をｐ’、特徴点ｐ’が存在するエピポーラ線をｌ’とする。この場合、特許文献２に開示されたシステムは、算出した数値行列を用いて、エピポーラ線ｌに対応するエピポーラ線ｌ’を算出し、更に、エピポーラ線ｌ’と特徴点ｐ’との距離ｄを算出する。
そして、特許文献２に開示されたシステムは、距離ｄが閾値以上となっている場合は、特徴点ｐと特徴点ｐ’との組合せは、幾何学的に矛盾すると判定する。そして、特許文献２に開示されたシステムは、算出した数値行列を用いて、幾何学的関係が矛盾すると判定した組合せを除外して３次元形状を再構築する。
このように、特許文献１又は特許文献２に開示されたシステムによれば、間違った特徴点ペアが抽出されてしまうという問題が解消されるので、復元される３次元形状の精度の低下が抑制されると考えられる。
特許第５３１１４６５号公報 国際公開第２０１９／０６５７８４号
しかしながら、特許文献１に開示されたシステムでは、特徴点の位置の補正は、２枚の画像のエピポーラ線に沿った走査線上でしか行われないので、同一の走査線上にない間違った特徴点ペアが排除されることがない。
一方、特許文献２に開示されたシステムでは、指定された線分間又は点間の幾何学的関係が求められ、更にこの幾何学的関係から求められたエピポーラ線と特徴点との距離に基づいて、間違った特徴点ペアが排除されるので、特許文献１における問題点は解消される。しかし、特許文献２に開示されたシステムには、幾何学的関係から求められたエピポーラ線と間違った特徴点との距離が近い場合に、間違った特徴点ペアを排除できないという問題がある。
このように、特許文献１及び特許文献２に開示されたシステムでは、間違った特徴点ペアの排除が不十分であり、復元される３次元形状の精度が低下する場合がある。
本発明の目的の一例は、上記問題を解消し、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制しうる、画像処理装置、画像処理方法、及びプログラムを提供することにある。
上記目的を達成するため、本発明の一側面における画像処理装置は、対象物の複数の画像から前記対象物の３次元形状を構築するための装置であって、
前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、不要特徴点特定部と、
特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出部と、
前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、適合性判定部と、
適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を備えている、ことを特徴とする。
また、上記目的を達成するため、本発明の一側面における画像処理方法は、対象物の複数の画像から前記対象物の３次元形状を構築するための方法であって、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、ステップと、
（ｄ）特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、ステップと、
（ｅ）前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、ステップと、
（ｆ）適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、ステップと、
を有する、ことを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、対象物の複数の画像から前記対象物の３次元形状を構築するためのプログラムであって、
前記コンピュータに、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、ステップと、
（ｄ）特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、
当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、ステップと、
（ｅ）前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、ステップと、
（ｆ）適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、ステップと、
を実行させることを特徴とする。
以上のように、本発明によれば、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制することができる。
図１は、本発明の実施の形態における画像処理装置を概略的に示すブロック図である。 図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。 図３は、本実施の形態で処理対象となる複数の画像の一例を示す図である。 図４は、本発明の実施の形態における行列算出部による処理を説明する図である。 図５は、本発明の実施の形態における形状構築部による処理を説明する図である。 図６は、特徴点の組合せが抽出されたペア画像の一例を示す図である。 図７は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。 図８は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。 図９は、対象物における特徴点の３次元座標を２次元画像に再投影する処理を説明する図である。 図１０は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。 図１１は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
（実施の形態）
以下、本発明の実施の形態における画像処理装置について、図１～図１１を参照しながら説明する。
［装置構成］
最初に、図１を用いて、本発明の実施の形態における画像処理装置の概略構成について説明する。図１は、本発明の実施の形態における画像処理装置を概略的に示すブロック図である。
図１に示す、本実施の形態における画像処理装置１０は、対象物の複数の画像から対象物の３次元形状を構築するための装置である。図１に示すように、画像処理装置１０は、特徴点抽出部１１と、行列算出部１２と、不要特徴点特定部１３と、３次元座標算出部１４と、適合性判定部１５と、３次元形状構築部１６とを備えている。
特徴点抽出部１１は、複数の画像それぞれから、対応する特徴点の組合せを抽出する。行列算出部１２は、複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定する。また、行列算出部１２は、特定した幾何学的関係を表現する数値行列を算出する。
不要特徴点特定部１３は、算出された数値行列を用いて、抽出された特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する特徴点の組合せを特定する。３次元座標算出部１４は、特定された特徴点の組合せを除く、特徴点の組合せ毎に、その組合せを構成する特徴点それぞれのカメラ行列を算出する。また、３次元座標算出部１４は、特徴点の組合せ毎に、算出したカメラ行列を用いて、その組合せの特徴点に対応する、対象物の３次元座標を算出する。
適合性判定部１５は、３次元座標が算出された特徴点の組合せ毎に、この組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、この組合せの３次元座標に適用する。そして、適合性判定部１５は、このカメラ行列の適用によって、この組合せの３次元座標を上述の１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出する。更に、適合性判定部１５は、算出した２次元座標と１つの特徴点の２次元座標（抽出元の画像上の２次元座標）とを比較し、その比較結果に基づいて、上述の１つの特徴点が適正かどうかを判定する。
３次元形状構築部１６は、適合性判定部１５によって適正であると判定された組合せの特徴点に対応する、対象物の３次元座標を用いて、対象物の３次元形状を構築する。
このように、本実施の形態では、まず、指定された線分又は点から得られた幾何学的関係によって、矛盾する特徴点の組合せが除外され、その後、得られた対象物の３次元座標を、２次元の画像に投影することによって、特徴点が適正かどうかの判定が行われる。つまり、本実施の形態では、３次元座標の算出前と算出後との２回に渡って、間違った特徴点の排除が行われる。このため、本実施の形態によれば、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制することができる。結果、精度の高い３次元形状が構築される。
続いて、図２～図９を用いて、本実施の形態における画像処理装置１０の構成についてより具体的に説明する。図２は、本発明の実施の形態における画像処理装置の具体的構成を示すブロック図である。
図２に示すように、画像処理装置１０は、本実施の形態では、特徴点抽出部１１、行列算出部１２、不要特徴点特定部１３、３次元座標算出部１４、適合性判定部１５、及び３次元形状構築部１６に加えて、画像取得部１７と、フィルタリング部１８と、入力受付部１９と、表示部２０とを更に備えている。図２において、２１は、表示装置である。
画像取得部１７は、外部の装置、例えば、撮像装置、端末装置、画像データを保持している記憶装置等から、３次元形状の構築対象が写った複数の画像それぞれの画像データを取得する。図３は、本実施の形態で処理対象となる複数の画像の一例を示す図である。図３の例では、ペア画像が例示されているが、本実施の形態において対象となる画像の枚数は特に限定されるものではない。
特徴点抽出部１１は、本実施の形態では、画像毎に、例えば、SIFT特徴量、又はSURF特徴量を計算して特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する。なお、図３の例では、画像が２枚であるため、特徴点の組合せは、特徴点ペアである。図３において、丸で囲まれた部分が特徴点の一つである。また、対応する特徴点の組合せが抽出された２枚の画像は、以降においては、「ペア画像」と表記する。
フィルタリング部１８は、特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する。フィルタリング部１８によるフィルタリング処理は、従来からのＳｆＭと同様に、ロバスト推定を用いて行われる。本実施の形態では、後述する不要特徴点特定部１３によるフィルタリングに加えて、フィルタリング部１８によるフィルタリングも行われるので、より確実に間違った特徴点の組合せが排除される。
入力受付部１９は、処理対象となる各画像上において互いに対応する線分又は点が指定されると、指定された線分又は点の入力を受け付ける。また、入力受付部１９は、各画像上で互いに対応する線分の入力を受け付けた場合は各線分の情報（始点及び終点の座標）を、行列算出部１２に通知する。更に、入力受付部１９は、各画像上で互いに対応する点の入力を受け付けた場合は各点の情報（座標）を、行列算出部１２に通知する。なお、線分又は点の指定は、画像処理装置１０のユーザーによって行われても良いし、別の計算機によって行われても良い。
行列算出部１２は、入力受付部１９から各画像上の線分又は点の情報が通知されると、通知された情報に基づいて、線分間又は点間の幾何学的関係を特定し、特定した幾何学的関係を表現する数値行列を算出し、この数値行列を絶対的数値行列として定義する。行列算出部１２は、入力受付部１９から通知された各画像上の線分又は点の情報から数値行列が算出できない、または画像によっては線分又は点の情報が存在しない場合には、特徴点抽出部１１で抽出された後のフィルタリングで残った誤差の少ない特徴点の組み合わせから数値行列を算出することもできる。但し、この場合算出される数値行列は従来と同様の数値行列であり、絶対的数値行列ではない。
ここで、図４を用いて、行列算出部１２における処理についてより具体的に説明する。図４は、本発明の実施の形態における行列算出部による処理を説明する図である。図４において、Ｅはエピポーラ面を示し、Ｏｉは一方の画像のカメラの中心位置を示し、Ｏ’ｉは他方の画像のカメラの中心位置を示している。また、図４において、左右に示された並行四辺形はそれぞれ画像のフレームを示している。
また、図４の例では、一方の画像において線分Ｌが指定され、他方の画像において線分Ｌ’が指定されており、両線分は対応している。この場合において、線分Ｌにおいて、その始点と交わるエピポーラ線ｌｎと、終点で交わるエピポーラ線ｌｎ＋ｍとを絶対的エピポーラ線として定義し、線分Ｌ’においても、その始点と交わるエピポーラ線ｌ’ｎと、終点で交わるエピポーラ線ｌ’ｎ＋ｍとを絶対的エピポーラ線として定義する。
更に、線分Ｌと絶対的エピポーラ線ｌｎとの交点ｘｉと、線分Ｌ’と絶対的エピポーラ線ｌ’ｎとの交点ｘ’ｉとは、絶対的な特徴点の組合せとして定義する。また、線分Ｌと絶対的エピポーラ線ｌｎ＋ｍとの交点ｘｊと、線分Ｌ’と絶対的エピポーラ線ｌ’ｎ＋ｍとの交点ｘ’ｊも、絶対的な特徴点の組合せとして定義する。
なお、図４に示すように、エピポーラ線ｌｎとエピポーラ線ｌｎ＋ｍとの間に、任意のエピポーラ線ｌｎ＋１及びｌｎ＋２が設定されていても良い。この場合、同様に、エピポーラ線ｌ’ｎとエピポーラ線ｌ’ｎ＋ｍとの間にも、任意のエピポーラ線ｌ’ｎ＋１及びｌ’ｎ＋２が設定される。また、この場合、線分Ｌと新たに設定されたエピポーラ線ｌｎ＋１及びｌｎ＋２それぞれとの交点は、線分Ｌ’と新たに設定されたエピポーラ線ｌ’ｎ＋１及びｌ’ｎ＋２それぞれとの交点との間で、絶対的な特徴点の組合せとなる。なお、エピポーラ線間の間隔は任意の値に設定される。
従って、図４の例においては、行列算出部１２は、線分間の幾何学的関係として、絶対的な特徴点の組合せを求め、求めた特徴点の組合せを用いて、下記の数１の関係式から、絶対的数値行列として、Fundamental行列（参照文献）を算出する。なお、下記の数１において、「ｘ」は、３次元空間における点Ｘを一方の画像上に射影することによって得られた二次元上の点である。「ｘ’」は、３次元空間における点Ｘを他方の画像上に射影することによって得られた二次元上の点である。Ｔは転置行列である。また、ＦはFundamental行列である。また、本実施の形態において数値行列は、Fundamental行列に限定されるものではなく、幾何学的関係を表現できる行列であれば良い。
Figure 0007294702000001
参照文献：Richard Hartleyand Andrew Zisserman, “Multiple View Geometry in Computer Vision Second Edition”, Cambridge University Press, March 2004.
不要特徴点特定部１３は、本実施の形態では、まず、行列算出部１２によって算出された数値行列（Fundamental行列）を用いて、特徴点抽出部１１で抽出された特徴点の組合せ（フィルタリング部１８で除外されたものを除く）から、幾何学的関係が矛盾する特徴点の組合せを特定する。
また、不要特徴点特定部１３は、特徴点抽出部１１で抽出された特徴点の組合せ（フィルタリング部１８で除外されたものを除く）の中から、指定された線分又は点に重なる特徴点を含むものを特定し、特定した特徴点を含む特徴点の組合せも、幾何学的関係が矛盾する特徴点として特定することができる。これは、一方の線分又は一方の点のみに重なる特徴点に対応する特徴点が、他方の線分又は他方の点の上にないときは、この特徴点の組合せは間違っている可能性が高いからである。
ここで、図５を用いて、不要特徴点特定部１３における処理についてより具体的に説明する。図５は、本発明の実施の形態における形状構築部による処理を説明する図である。図５において、図４示された符号が付されたものは、図４で同じ記号が付与されたものを示している。そして、図５においては、特徴点ｐｉと特徴点ｐ’ｉとの組合せが、間違っているかどうかの判断対象であるとする。
図５の例において、不要特徴点特定部１３は、エピポーラ線についての下記の数２に示す関係を用いて、特徴点ｐｉが存在しているエピポーラ線ｌ１に対応するエピポーラ線ｌ’１を算出する。
Figure 0007294702000002
そして、不要特徴点特定部１３は、算出したエピポーラ線ｌ’１と特徴点ｐ’ｉとの距離ｄが、閾値以上となっているかどうかを判定し、距離ｄが閾値以上となっている場合は、特徴点ｐｉと特徴点ｐ’ｉとの組合せは間違っていると判定する。この場合、不要特徴点特定部１３は、特徴点ｐｉと特徴点ｐ’ｉとの組合せを、幾何学的関係が矛盾する特徴点の組合せとして特定する。
３次元座標算出部１４は、不要特徴点特定部１３によって特定されなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する。また、このとき、３次元座標算出部１４は、入力受付部１９によって受け付けられた、対応する点、又は対応する線分上の点も、特徴点の組合せとして用いることができる。
ここで、図６～図８を用いて、３次元座標算出部１４による３次元座標の算出処理について具体的に説明する。図６は、特徴点の組合せが抽出されたペア画像の一例を示す図である。図７は、カメラ行列から求められる、初期ペア画像のカメラの３次元座標と回転行列との一例を示す図である。図８は、初期ペア画像の選択後に新たに選択された画像とそれから抽出された特徴点の組合せの一例を示す図である。
図６に示すように、３次元座標算出部１４は、最初に、一組のペア画像（初期ペア画像）として画像３１と画像３２とを選択する。そして、この場合、画像３１から抽出されている特徴点（ｍ１～ｍ５）と、画像３２から抽出されている特徴点（ｍ’１～ｍ’５）とは対応している。ｍ１とｍ’１、ｍ２とｍ’２、ｍ３とｍ’３、ｍ４とｍ’４、ｍ５とｍ’５は、それぞれ特徴点の組合せ（以下「特徴点ペア」とも表記する）である。また、図６の例では、画像３１はカメラ４１によって撮影され、画像３２はカメラ４２によって撮影されている。図６において、Ｍ（Ｍ１～Ｍ５）は、各特徴点に対応する対象物上の３次元座標である。
続いて、３次元座標算出部１４は、初期ペア画像それぞれから抽出された特徴点ペア（ｍ１～ｍ５、ｍ’１～ｍ’５）を用いて、画像３１を撮影したカメラ４１のカメラ行列Ｐと、画像３２を撮影したカメラ４２のカメラ行列Ｐ’とを算出する。また、カメラ行列Ｐ及びカメラ行列Ｐ’は、カメラ４１の位置を原点とすると、それぞれ下記の数３及び数４によって表すことができる。
Figure 0007294702000003
Figure 0007294702000004
上記数３において、Ｉは、カメラ４１の回転行列である。図７に示すように、カメラ４１の位置が原点となるので、Ｉ＝（１，１，１）となる。また、上記数４において、Ｒは、カメラ４２の回転行列である（Ｒ＝（Ｒｘ,Ｒｙ，Ｒｚ））。ｔは、上述したように並進行列であり、カメラ４２の位置の３次元座標に相当する（ｔ＝（ｔｘ,ｔｙ，ｔｚ））。
従って、この場合は、カメラ行列Ｐ及びカメラ行列Ｐ’から逆算することによって、Ｒ及びｔを算出することが出来る。具体的には、３次元座標算出部１４は、各特徴点の座標を用いて、下記の数５～数７に示す方程式を解くことによって、Ｒ及びｔを算出する。数５～数７において、ｍハットは、ｍ（ｍ１～ｍ５）を正規化して得られた画像Ａ上の座標である。同様に、ｍ’ハットは、ｍ’（ｍ’１～ｍ’５）を正規化して得られた画像Ｂ上の座標である。Ｅは、Ｅｓｓｅｎｔｉａｌ行列、Ｋはカメラのキャリブレーション行列である。
Figure 0007294702000005
Figure 0007294702000006
Figure 0007294702000007
また、キャリブレーション行列Ｋは、下記の数８及び数９から求めることができる。なお、ｃｘ、ｃｙは、カメラの中心座標である。
Figure 0007294702000008
Figure 0007294702000009
次に、３次元座標算出部１４は、各カメラの位置の３次元座標と回転行列とを用いて、抽出された特徴点の３次元座標Ｍ（Ｍ１～Ｍ５）を算出する。具体的には、３次元座標算出部１４は、下記の数１０を解くことで３次元座標Ｍを算出する。また、数１０における行列Ａは、数１１で示される。数１１において、ｐｉＴは、カメラ行列Ｐの行であり、ｐ’ｉＴは、カメラ行列Ｐ’の行である。
Figure 0007294702000010
Figure 0007294702000011
次に、図８に示すように、３次元座標算出部１４は、特徴点が抽出されている画像であって、初期ペア画像以外の画像の中から、１つの画像３３を新たに選択し、新たに選択した画像３３と初期ペア画像の１つとを新たなペア画像とする。画像３３は、カメラ４３によって撮影されている。
そして、３次元座標算出部１４は、画像３２の特徴点に対応する画像３３の特徴点（ｍ’’１～ｍ’’３）を特定し、画像３２の特徴点と画像３３との特徴点とを特徴点ペアとする。そして、３次元座標算出部１４は、画像３３を撮影したカメラ４３のカメラ行列Ｐｎを算出する。カメラ行列Ｐｎは、下記の数１２によって表すことができる。
Figure 0007294702000012
具体的には、３次元座標算出部１４は、画像３３の特定された特徴点を用いて、下記の数１３に示す方程式を解くことによって、カメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを算出する。
Figure 0007294702000013
数１３において、Ｍｉは、新たに選択された画像３３における画像３２と共通する特徴点の３次元座標である。ｍｉハットは、新たに選択された画像３３における特徴点の正規化された座標である。ｄｉは、下記の数１４に示すように、画像３３を撮影したカメラ４３とｍｉハットとの距離を示している。
Figure 0007294702000014
次に、３次元座標算出部１４は、算出したカメラ４３のカメラ行列ＰｎのＲｎ及びｔｎを用いて、画像３３の特定された特徴点（ｍ’’１～ｍ’’３）の３次元座標Ｍｉを算出する。この場合も、３次元座標算出部１４は、上記数１０を解くことで、特徴点の３次元座標Ｍ（Ｍ１～Ｍ３）を算出する。以上の処理により、３次元座標算出部１４は、対象物の３次元座標を算出することができる。
適合性判定部１５は、本実施の形態では、例えば、特徴点ペアの一方について、それから得られた３次元座標と、抽出元の画像に対応するカメラ行列とを用いて、元の２次元画像上に再投影を行い、投影された位置の２次元座標と、抽出時の位置の２次元座標とを比較する。そして、適合性判定部１５は、本実施の形態では、比較結果として、前者の２次元座標と後者の２次元座標との差分を算出し、算出した差分が閾値以下の場合に、対象となった特徴点が適正であると判定する。一方、適合性判定部１５は、算出した差分が閾値を越える場合は、対象となった特徴点が適正でないと判定する。
また、本実施の形態では、適合性判定部１５は、３次元座標が算出された特徴点の組合せ毎に、この組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定することができる。例えば、特徴点の組合せが３つの特徴点で構成されている場合は、適合性判定部１５は、３つの特徴点について１つずつ適正かどうかを判定しても良いし、このうち２つのみを選択し、選択した２つの特徴点について１つずつ適正かどうかを判定しても良い。
ここで、図９を用いて、適合性判定部１５による判定処理について具体的に説明する。図９は、対象物における特徴点の３次元座標を２次元画像に再投影する処理を説明する図である。また、図９の例では、図６に示した画像３２上の特徴点の一つを再投影する例について示している。更に、図９において、特徴点に対応する３次元座標、即ち、世界座標系での３次元座標を（ＸＷ，ＹＷ，ＺＷ）とし、特徴点の抽出時の位置の２次元座標を（ｘｆ、ｙｆ）とする。また、特徴点のカメラ座標系での座標を（ＸＣ，ＹＣ，ＺＣ）とする。
まず、適合性判定部１５は、下記の数１５を用いて、カメラ行列Ｐ’（＝［Ｒ｜ｔ］）と特徴点の３次元座標（ＸＷ，ＹＷ，ＺＷ）とから、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を算出する。
Figure 0007294702000015
続いて、適合性判定部１５は、下記の数１６を用いて、特徴点のカメラ座標系での座標（ＸＣ，ＹＣ，ＺＣ）を正規化する。
Figure 0007294702000016
続いて、適合性判定部１５は、上記数１６で正規化された座標と、カメラの内部パラメータ（図９の例では、カメラ４２の焦点距離ｆ、画像中心位置の座標（ｃｘ，ｃｙ）とを、下記の数１７に適用して、特徴点を画像３２に再投影した時の２次元座標（ｘｐ、ｙｐ）を算出する。
Figure 0007294702000017
次に、適合性判定部１５は、下記の数１８を用いて、上記数１７から算出した再投影後の２次元座標（ｘｐ、ｙｐ）と特徴点の抽出時の位置の２次元座標（ｘｆ、ｙｆ）との差分ｄを算出する。
Figure 0007294702000018
その後、適合性判定部１５は、算出した差分ｄが閾値Ｇ以下の場合に、対象となった特徴点が適正であると判定し、算出した差分ｄが閾値Ｇを越える場合は、対象となった特徴点が適正でないと判定する。
適合性判定部１５は、本実施の形態では、適正でないと判定された特徴点に対応する３次元座標、及び、この３次元座標に対応する全ての特徴点の組み合わせを除外する。また、適合性判定部１５は、本実施の形態では、適正でないと判定された特徴点のみを除外し、適正でないと判定された特徴点に対応する３次元座標、及び、この３次元座標に対応する特徴点の組み合わせのうち、適正でないと判定された特徴点以外の特徴点は除外しないことも可能である。この場合、適合性判定部１５は、全ての特徴点の適合性判定が完了したときに、全ての３次元座標に対して、それぞれの３次元座標に対応する特徴点の数が２個未満の３次元座標は除外する必要がある。
３次元形状構築部１６は、残りの特徴点を用いて、３次元座標を再計算し、対象物の点群データを構築し、これを対象物の３次元形状とする。
また、表示部２０は、３次元形状構築部１６によって構築された３次元形状を、表示装置２１の画面上に表示させる。具体的には、表示部２０は、構築された３次元形状を二次元画面上に表示するための画像データを作成し、作成した画像データを表示装置２１に出力する。
また、本実施の形態では、特徴点抽出部１１によって抽出された特徴点の組合せを用いて、例えば、フィルタリング部１８によるフィルタリングのみが行われた後の特徴点の組合せを用いて、３次元座標算出部１４は、対象物の仮の３次元座標を算出することもできる。この場合、３次元形状構築部１６は、更に、算出された仮の３次元座標を用いて、仮の３次元形状を構築する。その後、表示部２０は、構築された仮の３次元形状を表示装置２１の画面上に表示させる。この場合、ユーザーは、画面に表示された仮の３次元形状において、互いに対応する線分又は点を指定することができる。
［装置動作］
次に、本発明の実施の形態における画像処理装置１０の動作について図１０を用いて説明する。図１０は、本発明の実施の形態における画像処理装置の動作を示すフロー図である。以下の説明においては、適宜図１～図９を参照する。また、本実施の形態では、画像処理装置１０を動作させることによって、画像処理方法が実施される。よって、本実施の形態における画像処理方法の説明は、以下の画像処理装置１０の動作説明に代える。
図１０に示すように、最初に、画像取得部１７は、外部の装置から、３次元形状の構築対象が写った複数の画像それぞれの画像データを取得する（ステップＡ１）。
次に、特徴点抽出部１１は、ステップＡ１で取得された画像データ毎に、その画像における特徴点を特定し、更に、画像間で対応する特徴点同士を、対応する特徴点の組合せとして抽出する（ステップＡ２）。
次に、フィルタリング部１８は、ステップＡ２で抽出された特徴点の組合せ毎に、特徴点間の幾何学的な関係を計算し、計算結果に基づいて、誤った特徴点の組合せを特定し、特定した特徴点の組合せを排除する（ステップＡ３）。
次に、ステップＡ３によるフィルタリング処理が実行されると、フィルタリング後の特徴点の組合せを用いて、３次元座標算出部１４は、仮の３次元座標を算出し、更に、３次元形状構築部１６は、算出された仮の３次元座標を用いて、仮の３次元形状を構築する。更に、表示部２０は、構築された仮の３次元形状を表示装置２１の画面上に表示させる（ステップＡ４）。
ステップＡ４が実行され、仮の３次元形状が表示装置２１の画面上に表示されると、ユーザーは、入力装置（図２において図示せず）を介して、各画像上において互いに対応する線分又は点を指定する。これにより、入力受付部１９は、指定された線分又は点の入力を受け付ける（ステップＡ５）。また、入力受付部１９は、指定された各線分の情報又は各点の情報を、行列算出部１２に通知する。
次に、行列算出部１２は、ステップＡ５が実行されると、各線分の情報又は各点の情報に基づいて、線分間又は点間の幾何学的関係を特定し、特定した幾何学的関係を表現する数値行列を算出する（ステップＡ６）。
次に、不要特徴点特定部１３は、ステップＡ６で算出された数値行列（Fundamental行列）を用いて、ステップＡ３の実行後の特徴点の組合せから、幾何学的関係が矛盾する特徴点の組合せを特定する（ステップＡ７）。
次に、３次元座標算出部１４は、ステップＡ７において特定されなかった特徴点の組合せを用いて、３次元形状を構築するための３次元座標を算出する（ステップＡ８）。
次に、適合性判定部１５は、ステップＡ８で３次元座標が算出された特徴点の組合せ毎に、この組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、この組合せの３次元座標に適用する。そして、適合性判定部１５は、このカメラ行列の適用によって、この組合せの３次元座標を、上述の１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出する。更に、適合性判定部１５は、算出した２次元座標と１つの特徴点の２次元座標（抽出元の画像上の２次元座標）とを比較し、その比較結果に基づいて、上述の１つの特徴点が適正かどうかを判定する（ステップＡ９）。
次に、３次元形状構築部１６は、ステップＡ６において、適正であると判定された組合せの特徴点に対応する、対象物の３次元座標を用いて、対象物の３次元形状を構築する（ステップＡ１０）。その後、表示部２０は、ステップＡ１０で構築された３次元形状を、表示装置２１の画面上に表示させる（ステップＡ１１）。
［実施の形態による効果］
以上のように、本実施の形態における画像処理装置１０は、フィルタリング部１８、不要特徴点特定部１３、及び適合性判定部１５によって、間違った特徴点を排除することができる。このため、画像処理装置１０は、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せを抽出してしまう事態を抑制できる。この結果、本実施の形態によれば、対象物の３次元形状を高い精度で構築することができる。
［プログラム］
本実施の形態におけるプログラムは、コンピュータに、図１０に示すステップＡ１～Ａ１１を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における画像処理装置１０と画像処理方法とを実現することができる。この場合、コンピュータのプロセッサは、特徴点抽出部１１、行列算出部１２、不要特徴点特定部１３、３次元座標算出部１４、適合性判定部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、及び入力受付部１９として機能し、処理を行なう。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、特徴点抽出部１１、行列算出部１２、不要特徴点特定部１３、３次元座標算出部１４、適合性判定部１５、３次元形状構築部１６、画像取得部１７、フィルタリング部１８、及び入力受付部１９のいずれかとして機能しても良い。
ここで、本実施の形態におけるプログラムを実行することによって、画像処理装置を実現するコンピュータについて図１１を用いて説明する。図１１は、本発明の実施の形態における画像処理装置を実現するコンピュータの一例を示すブロック図である。
図１１に示すように、コンピュータ１１０は、ＣＰＵ１１１と、メインメモリ１１２と、記憶装置１１３と、入力インターフェイス１１４と、表示コントローラ１１５と、データリーダ／ライタ１１６と、通信インターフェイス１１７とを備える。これらの各部は、バス１２１を介して、互いにデータ通信可能に接続される。また、コンピュータ１１０は、ＣＰＵ１１１に加えて、又はＣＰＵ１１１に代えて、ＧＰＵ（Graphics Processing Unit）、又はＦＰＧＡ（Field-Programmable Gate Array）を備えていても良い。
ＣＰＵ１１１は、記憶装置１１３に格納された、本実施の形態におけるプログラム（コード群）をメインメモリ１１２に展開し、各コードを所定順序で実行することにより、各種の演算を実施する。メインメモリ１１２は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体１２０に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス１１７を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置１１３の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス１１４は、ＣＰＵ１１１と、キーボード及びマウスといった入力機器１１８との間のデータ伝送を仲介する。表示コントローラ１１５は、ディスプレイ装置１１９と接続され、ディスプレイ装置１１９での表示を制御する。
データリーダ／ライタ１１６は、ＣＰＵ１１１と記録媒体１２０との間のデータ伝送を仲介し、記録媒体１２０からのプログラムの読み出し、及びコンピュータ１１０における処理結果の記録媒体１２０への書き込みを実行する。通信インターフェイス１１７は、ＣＰＵ１１１と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体１２０の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記録媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記録媒体が挙げられる。
なお、本実施の形態における画像処理装置１０は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェア（例えば、回路）を用いることによっても実現可能である。更に、画像処理装置１０は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する（付記１）～（付記１８）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
対象物の複数の画像から前記対象物の３次元形状を構築するための装置であって、
前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、不要特徴点特定部と、
特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出部と、
前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、適合性判定部と、
適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
を備えている、ことを特徴とする画像処理装置。
（付記２）
付記１に記載の画像処理装置であって、
前記適合性判定部が、比較結果として、算出した２次元座標と前記１つの特徴点の２次元座標との差分を算出し、算出した前記差分が閾値以下の場合に、前記１つの特徴点が適正であると判定し、算出した前記差分が閾値を越える場合に、前記１つの特徴点が適正でないと判定する、
ことを特徴とする画像処理装置。
（付記３）
付記１または２に記載の画像処理装置であって、
前記適合性判定部が、前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定する、
ことを特徴とする画像処理装置。
（付記４）
付記１～３のいずれかに記載の画像処理装置であって、
前記不要特徴点特定部が、更に、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定する、
ことを特徴とする画像処理装置。
（付記５）
付記１～４のいずれかに記載の画像処理装置であって、
前記３次元形状構築部によって構築された前記３次元形状を画面上に表示する、表示部を更に備えている、
ことを特徴とする画像処理装置。
（付記６）
付記５に記載の画像処理装置であって、
前記３次元座標算出部が、前記特徴点抽出部によって抽出された前記特徴点の組合せを用いて、前記対象物の仮の３次元座標を算出し、
前記３次元形状構築部が、算出された前記仮の３次元座標を用いて、前記対象物の仮の３次元形状を構築し、
前記表示部が、更に、前記仮の３次元形状を画面上に表示する、
ことを特徴とする画像処理装置。
（付記７）
対象物の複数の画像から前記対象物の３次元形状を構築するための方法であって、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、ステップと、
（ｄ）特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、ステップと、
（ｅ）前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、ステップと、
（ｆ）適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、ステップと、
を有する、ことを特徴とする画像処理方法。
（付記８）
付記７に記載の画像処理方法であって、
前記（ｅ）のステップにおいて、比較結果として、算出した２次元座標と前記１つの特徴点の２次元座標との差分を算出し、算出した前記差分が閾値以下の場合に、前記１つの特徴点が適正であると判定し、算出した前記差分が閾値を越える場合に、前記１つの特徴点が適正でないと判定する、
ことを特徴とする画像処理方法。
（付記９）
付記７または８に記載の画像処理方法であって、
前記（ｅ）のステップにおいて、前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定する、
ことを特徴とする画像処理方法。
（付記１０）
付記７～９のいずれかに記載の画像処理方法であって、
前記（ｃ）のステップにおいて、更に、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定する、
ことを特徴とする画像処理方法。
（付記１１）
付記７～１０のいずれかに記載の画像処理方法であって、
（ｇ）前記（ｆ）のステップによって構築された前記３次元形状を画面上に表示する、ステップを更に有する、
ことを特徴とする画像処理方法。
（付記１２）
付記１１に記載の画像処理方法であって、
（ｈ）前記（ａ）のステップによって抽出された前記特徴点の組合せを用いて、前記対象物の仮の３次元座標を算出し、算出された前記仮の３次元座標を用いて、前記対象物の仮の３次元形状を構築し、更に、前記仮の３次元形状を画面上に表示する、ステップを、
更に有する、
ことを特徴とする画像処理方法。
（付記１３）
コンピュータによって、対象物の複数の画像から前記対象物の３次元形状を構築するためのプログラムであって、
前記コンピュータに、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、ステップと、
（ｄ）特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、ステップと、
（ｅ）前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、ステップと、
（ｆ）適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、ステップと、
を実行させる、プログラム。
（付記１４）
付記１３に記載のプログラムであって、
前記（ｅ）のステップにおいて、比較結果として、算出した２次元座標と前記１つの特徴点の２次元座標との差分を算出し、算出した前記差分が閾値以下の場合に、前記１つの特徴点が適正であると判定し、算出した前記差分が閾値を越える場合に、前記１つの特徴点が適正でないと判定する、
ことを特徴とするプログラム。
（付記１５）
付記１３または１４に記載のプログラムであって、
前記（ｅ）のステップにおいて、前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定する、
ことを特徴とするプログラム。
（付記１６）
付記１３～１５のいずれかに記載のプログラムであって、
前記（ｃ）のステップにおいて、更に、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定する、
ことを特徴とするプログラム。
（付記１７）
付記１３～１６のいずれかに記載のプログラムであって、
前記コンピュータに、更に、
（ｇ）前記（ｆ）のステップによって構築された前記３次元形状を画面上に表示する、ステップを実行させる、
ことを特徴とするプログラム。
（付記１８）
付記１７に記載のプログラムであって、
前記コンピュータに、更に、
（ｈ）前記（ａ）のステップによって抽出された前記特徴点の組合せを用いて、前記対象物の仮の３次元座標を算出し、算出された前記仮の３次元座標を用いて、前記対象物の仮の３次元形状を構築し、更に、前記仮の３次元形状を画面上に表示する、ステップを実行させる、
ことを特徴とするプログラム。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１９年１０月１６日に出願された日本出願特願２０１９－１８９７９２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
以上のように、本発明によれば、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制することができる。本発明は、ＳｆＭといった複数の画像から三次元形状を構築する技術に有用である。
１０ 画像処理装置
１１ 特徴点抽出部
１２ 行列算出部
１３ 不要特徴点特定部
１４ ３次元座標算出部
１５ 適合性判定部
１６ ３次元形状構築部
１７ 画像取得部
１８ フィルタリング部
１９ 入力受付部
２０ 表示部
２１ 表示装置
１１０ コンピュータ
１１１ ＣＰＵ
１１２ メインメモリ
１１３ 記憶装置
１１４ 入力インターフェイス
１１５ 表示コントローラ
１１６ データリーダ／ライタ
１１７ 通信インターフェイス
１１８ 入力機器
１１９ ディスプレイ装置
１２０ 記録媒体
１２１ バス

Claims (7)

  1. 対象物の複数の画像から前記対象物の３次元形状を構築するための装置であって、
    前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
    前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
    前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、不要特徴点特定部と、
    特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出部と、
    前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、適合性判定部と、
    適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
    を備え、
    前記適合性判定部が、前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定する、
    ことを特徴とする画像処理装置。
  2. 請求項１に記載の画像処理装置であって、
    前記適合性判定部が、比較結果として、算出した２次元座標と前記１つの特徴点の２次元座標との差分を算出し、算出した前記差分が閾値以下の場合に、前記１つの特徴点が適正であると判定し、算出した前記差分が閾値を越える場合に、前記１つの特徴点が適正でないと判定する、
    ことを特徴とする画像処理装置。
  3. 請求項１または２に記載の画像処理装置であって、
    前記不要特徴点特定部が、更に、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定する、
    ことを特徴とする画像処理装置。
  4. 請求項１または２に記載の画像処理装置であって、
    前記３次元形状構築部によって構築された前記３次元形状を画面上に表示する、表示部を更に備えている、
    ことを特徴とする画像処理装置。
  5. 請求項４に記載の画像処理装置であって、
    前記３次元座標算出部が、前記特徴点抽出部によって抽出された前記特徴点の組合せを用いて、前記対象物の仮の３次元座標を算出し、
    前記３次元形状構築部が、算出された前記仮の３次元座標を用いて、前記対象物の仮の３次元形状を構築し、
    前記表示部が、更に、前記仮の３次元形状を画面上に表示する、
    ことを特徴とする画像処理装置。
  6. 対象物の複数の画像から前記対象物の３次元形状を構築するための方法であって、
    前記複数の画像それぞれから、対応する特徴点の組合せを抽出し、
    前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出し、
    前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、
    特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出し、
    前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定し、
    適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築し、
    更に、適性の判定において、前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定する、
    ことを特徴とする画像処理方法。
  7. コンピュータによって、対象物の複数の画像から前記対象物の３次元形状を構築するためのプログラムであって、
    前記コンピュータに、
    前記複数の画像それぞれから、対応する特徴点の組合せを抽出させ、
    前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出させ、
    前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定させ、
    特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出させ、
    前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定させ、
    適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築させ、
    更に、適性の判定において、前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定する、
    プログラム。
JP2021552339A 2019-10-16 2020-10-06 画像処理装置、画像処理方法、及びプログラム Active JP7294702B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019189792 2019-10-16
JP2019189792 2019-10-16
PCT/JP2020/037860 WO2021075314A1 (ja) 2019-10-16 2020-10-06 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Publications (3)

Publication Number Publication Date
JPWO2021075314A1 JPWO2021075314A1 (ja) 2021-04-22
JPWO2021075314A5 JPWO2021075314A5 (ja) 2022-06-22
JP7294702B2 true JP7294702B2 (ja) 2023-06-20

Family

ID=75537457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021552339A Active JP7294702B2 (ja) 2019-10-16 2020-10-06 画像処理装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP7294702B2 (ja)
WO (1) WO2021075314A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016075637A (ja) 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置およびその方法
WO2019065784A1 (ja) 2017-09-29 2019-04-04 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016075637A (ja) 2014-10-08 2016-05-12 キヤノン株式会社 情報処理装置およびその方法
WO2019065784A1 (ja) 2017-09-29 2019-04-04 Ｎｅｃソリューションイノベータ株式会社 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
WO2021075314A1 (ja) 2021-04-22
JPWO2021075314A1 (ja) 2021-04-22

Similar Documents

Publication Publication Date Title
US10368062B2 (en) Panoramic camera systems
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
JP6716996B2 (ja) 画像処理プログラム、画像処理装置、及び画像処理方法
US10169891B2 (en) Producing three-dimensional representation based on images of a person
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
JP6989153B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20120038785A1 (en) Method for producing high resolution image
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP7294702B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2006113832A (ja) ステレオ画像処理装置およびプログラム
JP2010538729A (ja) 経路近傍レンダリング
JP7276978B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2022064506A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2017187935A1 (en) Information processing apparatus, information processing method, and program
CN116188349A (zh) 图像处理方法、装置、电子设备及存储介质
JP7188798B2 (ja) 座標算出装置、座標算出方法、及びプログラム
JP2023104399A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6586852B2 (ja) 画像処理装置
US20240029288A1 (en) Image processing apparatus, image processing method, and storage medium
JP5636966B2 (ja) 誤差検出装置及び誤差検出プログラム
JPWO2017090705A1 (ja) 画像処理装置、画像処理方法、及びプログラム
KR20160031948A (ko) 데이터 프로세싱 방법 및 디바이스
JP2022186523A (ja) ３次元点群処理装置、３次元点群処理方法、及び３次元点群処理プログラム
CN116758239A (zh) 激光线处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220413

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230314

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230601

R151 Written notification of patent or utility model registration

Ref document number: 7294702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151