JPWO2021075314A5 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、複数の画像からの３次元形状の構築を可能にするための、画像処理装置、及び画像処理方法に関し、更には、これらを実現するためのプログラムに関する。

本発明の目的の一例は、上記問題を解消し、複数の画像から対応する特徴点の組合せを抽出するに際して、間違った特徴点の組合せの抽出を抑制しうる、画像処理装置、画像処理方法、及びプログラムを提供することにある。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、コンピュータによって、対象物の複数の画像から前記対象物の３次元形状を構築するためのプログラムであって、
前記コンピュータに、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、ステップと、
（ｄ）特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、
当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、ステップと、
（ｅ）前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、ステップと、
（ｆ）適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、ステップと、
を実行させることを特徴とする。

ステップＡ４が実行され、仮の３次元形状が表示装置２１の画面上に表示されると、ユーザーは、入力装置（図２において図示せず）を介して、各画像上において互いに対応する線分又は点を指定する。これにより、入力受付部１９は、指定された線分又は点の入力を受け付ける（ステップＡ５）。また、入力受付部１９は、指定された各線分の情報又は各点の情報を、行列算出部１２に通知する。

（付記１３）
コンピュータによって、対象物の複数の画像から前記対象物の３次元形状を構築するためのプログラムであって、
前記コンピュータに、
（ａ）前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、ステップと、
（ｂ）前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、ステップと、
（ｃ）前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、ステップと、
（ｄ）特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、ステップと、
（ｅ）前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、ステップと、
（ｆ）適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、ステップと、
を実行させる、プログラム。

（付記１４）
付記１３に記載のプログラムであって、
前記（ｅ）のステップにおいて、比較結果として、算出した２次元座標と前記１つの特徴点の２次元座標との差分を算出し、算出した前記差分が閾値以下の場合に、前記１つの特徴点が適正であると判定し、算出した前記差分が閾値を越える場合に、前記１つの特徴点が適正でないと判定する、
ことを特徴とするプログラム。

（付記１５）
付記１３または１４に記載のプログラムであって、
前記（ｅ）のステップにおいて、前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定する、
ことを特徴とするプログラム。

（付記１６）
付記１３～１５のいずれかに記載のプログラムであって、
前記（ｃ）のステップにおいて、更に、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定する、
ことを特徴とするプログラム。

（付記１７）
付記１３～１６のいずれかに記載のプログラムであって、
前記コンピュータに、更に、
（ｇ）前記（ｆ）のステップによって構築された前記３次元形状を画面上に表示する、ステップを実行させる、
ことを特徴とするプログラム。

（付記１８）
付記１７に記載のプログラムであって、
前記コンピュータに、更に、
（ｈ）前記（ａ）のステップによって抽出された前記特徴点の組合せを用いて、前記対象物の仮の３次元座標を算出し、算出された前記仮の３次元座標を用いて、前記対象物の仮の３次元形状を構築し、更に、前記仮の３次元形状を画面上に表示する、ステップを実行させる、
ことを特徴とするプログラム。

Claims (8)

1. 対象物の複数の画像から前記対象物の３次元形状を構築するための装置であって、
   前記複数の画像それぞれから、対応する特徴点の組合せを抽出する、特徴点抽出部と、
   前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
   前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定する、不要特徴点特定部と、
   特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出する、３次元座標算出部と、
   前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定する、適合性判定部と、
   適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
   を備えている、ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記適合性判定部が、比較結果として、算出した２次元座標と前記１つの特徴点の２次元座標との差分を算出し、算出した前記差分が閾値以下の場合に、前記１つの特徴点が適正であると判定し、算出した前記差分が閾値を越える場合に、前記１つの特徴点が適正でないと判定する、
   ことを特徴とする画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記適合性判定部が、前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する特徴点の全部又は１部を選択し、選択した特徴点について１つずつ適正かどうかを判定する、
   ことを特徴とする画像処理装置。
4. 請求項１または２に記載の画像処理装置であって、
   前記不要特徴点特定部が、更に、抽出された前記特徴点の組合せを構成している特徴点のうち、指定された、互いに対応する２以上の線分又は２以上の点に重なる特徴点を特定する、
   ことを特徴とする画像処理装置。
5. 請求項１または２に記載の画像処理装置であって、
   前記３次元形状構築部によって構築された前記３次元形状を画面上に表示する、表示部を更に備えている、
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記３次元座標算出部が、前記特徴点抽出部によって抽出された前記特徴点の組合せを用いて、前記対象物の仮の３次元座標を算出し、
   前記３次元形状構築部が、算出された前記仮の３次元座標を用いて、前記対象物の仮の３次元形状を構築し、
   前記表示部が、更に、前記仮の３次元形状を画面上に表示する、
   ことを特徴とする画像処理装置。
7. 対象物の複数の画像から前記対象物の３次元形状を構築するための方法であって、
   前記複数の画像それぞれから、対応する特徴点の組合せを抽出し、
   前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出し、
   前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、
   特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出し、
   前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定し、
   適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築する、ことを特徴とする画像処理方法。
8. コンピュータによって、対象物の複数の画像から前記対象物の３次元形状を構築するためのプログラムであって、
   前記コンピュータに、
   前記複数の画像それぞれから、対応する特徴点の組合せを抽出させ、
   前記複数の画像のうちの少なくとも２つの画像上に、互いに対応する２以上の線分又は２以上の点が指定された場合に、互いに対応する２以上の線分間の幾何学的関係、又は互いに対応する２以上の点間の幾何学的関係を特定し、特定した前記幾何学的関係を表現する数値行列を算出させ、
   前記数値行列を用いて、抽出された前記特徴点の組合せのうち、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定させ、
   特定された前記特徴点の組合せを除く、前記特徴点の組合せ毎に、当該組合せを構成する特徴点それぞれのカメラ行列を算出し、更に、算出した前記カメラ行列を用いて、当該組合せの特徴点に対応する、前記対象物の３次元座標を算出させ、
   前記３次元座標が算出された前記特徴点の組合せ毎に、当該組合せを構成する１つの特徴点の抽出元の画像に対応するカメラ行列を、当該組合せの３次元座標に適用することによって、当該組合せの前記３次元座標を前記１つの特徴点が抽出された画像上に投影して得られる、２次元座標を算出し、算出した２次元座標と前記１つの特徴点の２次元座標との比較結果に基づいて、前記１つの特徴点が適正かどうかを判定させ、
   適正であると判定された特徴点に対応する、前記対象物の３次元座標を用いて、前記対象物の３次元形状を構築させる、
   プログラム。