JPWO2021166574A5 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明の目的の一例は、上記問題を解消し、複数の画像を用いて対象の３次元形状を構築する際において、３次元形状の精度の向上を図りつつ、作業者の負担を軽減し得る、画像処理装置、画像処理方法、及びプログラムを提供することにある。

更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を実行させる、ことを特徴とする。

（付記９）
コンピュータに、
対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出ステップと、
抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築ステップと、
前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出ステップと、
前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定ステップと、
指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出ステップと、
前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築ステップと、
を実行させる、プログラム。

（付記１０）
付記９に記載のプログラムであって、
前記特徴点抽出ステップにおいて、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
前記対応点特定ステップにおいて、
前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
ことを特徴とするプログラム。

（付記１１）
付記９に記載のプログラムであって、
前記特徴点抽出ステップにおいて、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
前記対応点特定ステップにおいて、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
ことを特徴とするプログラム。

（付記１２）
付記９から１１のいずれかに記載のプログラムであって、
前記コンピュータに、更に、
前記３次元形状構築ステップによって構築された前記３次元形状を、２次元画像として画面上に表示する、表示ステップを実行させる、
ことを特徴とするプログラム。

Claims (9)

1. 対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出する、組合せ抽出部と、
   抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築する、仮３次元形状構築部と、
   前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出する、特徴点抽出部と、
   前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定する、対応点特定部と、
   指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出する、行列算出部と、
   前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、３次元形状構築部と、
   を備えている、ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記特徴点抽出部が、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
   前記対応点特定部が、
   前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
   前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
   ことを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記特徴点抽出部が、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
   前記対応点特定部が、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
   ことを特徴とする画像処理装置。
4. 請求項１から３のいずれかに記載の画像処理装置であって、
   前記３次元形状構築部によって構築された前記３次元形状を、２次元画像として画面上に表示する、表示部を更に備えている、
   ことを特徴とする画像処理装置。
5. 対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出し、
   抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築し、
   前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出し、
   前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定し、
   指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出し、
   前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定し、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築する、
   ことを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法であって、
   前記特徴点の抽出において、指定された前記点を中心とする環状の領域に存在する３以上の特徴点を抽出し、
   前記対応点の特定において、
   前記仮の３次元形状を用いて、抽出された前記３以上の特徴点それぞれの３次元座標を求め、求めた前記３次元座標それぞれに基づいて、前記別の画像上における、前記３以上の特徴点の座標を求め、
   前記点が指定された前記画像上における、前記３以上の特徴点の座標と、前記別の画像上における、前記３以上の特徴点の座標とから、両者の位置関係を求め、求めた位置関係を用いて、指定された前記点に対応する前記対応点を特定する、
   ことを特徴とする画像処理方法。
7. 請求項５に記載の画像処理方法であって、
   前記特徴点の抽出において、指定された前記点との距離が閾値以下となる位置に前記特徴点が存在する場合に、当該特徴点を抽出し、
   前記対応点の特定において、前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記別の画像上における、抽出された前記特徴点の座標を求め、求めた座標にある点を、指定された前記点に対応する前記対応点として特定する、
   ことを特徴とする画像処理方法。
8. 請求項５から７のいずれかに記載の画像処理方法であって、
   更に、構築された前記３次元形状を、２次元画像として画面上に表示する、
   ことを特徴とする画像処理方法。
9. コンピュータに、
   対象物の複数の画像からそれぞれから、対応する特徴点の組合せを抽出させ、
   抽出された前記特徴点の組合せを用いて、前記特徴点の点群で構成された、前記対象物の仮の３次元形状を構築させ、
   前記複数の画像のうちの１の画像上において点が指定されると、指定された前記点を基準にした設定領域に存在する特徴点を抽出させ、
   前記仮の３次元形状を用いて、抽出された前記特徴点の３次元座標を求め、求めた前記３次元座標に基づいて、前記点が指定された画像とは別の画像における、指定された前記点に対応する対応点を特定させ、
   指定された前記点と前記対応点との幾何学的関係を求め、求めた前記幾何学的関係を表現する数値行列を算出させ、
   前記数値行列を用いて、抽出された前記特徴点の組合せの中から、特徴点間の幾何学的関係が矛盾する前記特徴点の組合せを特定させ、特定した前記特徴点の組合せ以外の前記特徴点の組合せを用いて、前記対象物の３次元形状を構築させる、
   プログラム。