JPWO2017199696A1 - 画像処理装置及び画像処理方法 - Google Patents

Abstract

画像処理装置（１０）は、計測点設定部（１３）と、対応点算出部（１６）と、信頼度算出部（１５）と、代替計測点設定部（１７）とを備える。計測点設定部（１３）は、ユーザからの指示に基づいて、被写体における計測点を、第１の画像に設定する。対応点算出部（１６）は、異なる視点から撮影された第２の画像における計測点に対応する対応点をマッチングによって算出する。信頼度算出部（１５）は、計測点と対応点とのマッチングの信頼度を算出する。代替計測点設定部（１７）は、信頼度が所定の閾値未満のとき、計測点に代わる、高い信頼度が得られる代替計測点を第１の画像内に設定する。

Description

本発明は、画像処理装置及び画像処理方法に関する。

一般に、異なる視点から得られた複数の画像の位置ずれに基づき、三角測量の原理を用いて被写体の３次元座標を求める技術が知られている。例えば日本国特開２０１４−１４７５７２号公報には、同一被写体に係る２つの画像に基づいて、被写体の大きさを計測する技術が開示されている。この技術では、以下が行われる。２つの画像の一方を第１の画像とし他方を第２の画像としたときに、ユーザによって第１の画像上に計測点が設定される。この計測点に対応する第２の画像上の点である対応点についての複数の候補が、複数のマッチング手法を用いて算出される。さらに、複数の対応点の候補について、マッチングの信頼度が算出される。この信頼度が所定値未満である場合には、複数の対応点の候補がユーザに提示される。ユーザによって対応点が選択されると、当該対応点を用いて、被写体上の計測点に対応する点の３次元座標が算出される。以上のような３次元座標の算出が２点以上で行われることで、被写体の大きさが算出される。上述の技術では、信頼度の高い対応点が用いられることで、得られる被写体の大きさの精度が向上する。

異なる視点から得られた複数の画像に基づいて３次元座標が算出されるにあたって、一方の画像に設定された計測点に対する対応点が、他方の画像に正しく特定されないことがある。例えば、画像において、テクスチャがない場合、白飛びしている場合、オクルージョンが発生している場合等では、計測点に対応する信頼度の高い対応点の設定が困難なことがある。

そこで本発明は、高い信頼度を有する計測点と対応点との対が得られる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の一態様によれば、画像処理装置は、互いに異なる視点から被写体が撮影された少なくとも第１の画像と第２の画像とを含む複数の画像を取得する画像取得部と、ユーザからの指示を取得する指示取得部と、前記指示に基づいて、前記被写体における３次元座標が要求される計測点を、前記第１の画像に設定する計測点設定部と、前記計測点に対応する前記第２の画像における対応点をマッチングによって算出する対応点算出部と、前記計測点と前記対応点との前記マッチングの信頼度を計測点信頼度として算出する信頼度算出部と、前記計測点信頼度が所定の閾値未満のとき、前記計測点に代わる、前記計測点信頼度よりも高い前記信頼度が得られる代替計測点を前記第１の画像内に設定する代替計測点設定部とを備える。

本発明の一態様によれば、画像処理方法は、互いに異なる視点から被写体が撮影された少なくとも第１の画像と第２の画像とを含む複数の画像を取得することと、ユーザからの指示を取得することと、前記指示に基づいて、前記被写体における３次元座標が要求される計測点を、前記第１の画像に設定することと、前記計測点に対応する前記第２の画像における対応点をマッチングによって算出することと、前記計測点と前記対応点との前記マッチングの信頼度を計測点信頼度として算出することと、前記計測点信頼度が所定の閾値未満のとき、前記計測点に代わる、前記計測点信頼度よりも高い前記信頼度が得られる代替計測点を前記第１の画像内に設定することとを含む。

本発明によれば、高い信頼度を有する計測点と対応点との対が得られる画像処理装置及び画像処理方法を提供できる。

図１は、第１の実施形態に係る画像処理システムの構成例の概略を示すブロック図である。 図２は、３次元空間における位置の算出方法について説明するための図である。 図３は、第１の実施形態に係る画像処理装置の動作の一例の概略を示すフローチャートである。 図４は、コスト算出部で算出される視差とコストとの関係を示すコスト波形の一例の概略を示す図である。 図５は、代替計測点の設定方法の一例について説明するための図である。 図６は、代替計測点の設定方法の別の例について説明するための図である。 図７は、第１の実施形態の第１の変形例に係る画像処理装置の動作の一例を示すフローチャートである。 図８は、第１の実施形態の第２の変形例に係る画像処理装置の動作の一例を示すフローチャートである。 図９は、第１の実施形態の第３の変形例に係る画像処理装置の動作の一例を示すフローチャートである。 図１０は、比較例における代替計測点の設定について説明するための図である。 図１１は、第２の実施形態に係る代替計測点の設定の一例について説明するための図である。 図１２は、第２の実施形態に係る代替計測点の設定の一例について説明するための図である。 図１３は、第２の実施形態に係る代替計測点の設定の一例について説明するための図である。 図１４は、第２の実施形態に係る代替計測点の設定の一例について説明するための図である。 図１５は、第２の実施形態に係る代替計測点の設定の一例について説明するための図である。 図１６は、第２の実施形態に係る信頼度を優先する場合の代替計測点の設定の一例について説明するための図である。 図１７は、第２の実施形態に係る計測点と代替計測点とが近いことを優先する場合の代替計測点の設定の一例について説明するための図である。 図１８は、表示装置に表示される画面の一例の概略を示す図である。

［第１の実施形態］
〈画像処理システムの概要〉
第１の実施形態に係る画像処理システムは、視差のある２つの画像に基づいて、被写体の３次元座標を算出する。画像処理システムに含まれる画像処理装置は、視差のある第１の画像と第２の画像とを取得する。また、画像処理装置は、例えば第１の画像における３次元座標を算出したい点である計測点の位置を、例えばユーザからの指示として取得する。画像処理装置は、計測点に対応する第２の画像における点である対応点を算出する。画像処理装置は、計測点と対応点との対応関係の信頼度を算出する。信頼度が所定値以上であるとき、画像処理装置は、当該計測点及び対応点に基づいて被写体の３次元座標を算出する。一方、信頼度が所定値未満であるとき、計測点近傍であって、信頼度が高くなる点を代替計測点として算出し、代替計測点とその対応点とに基づいて被写体の３次元座標を算出する。

〈画像処理システムの構成〉
第１の実施形態に係る画像処理システムについて、図面を参照して説明する。第１の実施形態に係る画像処理システム１の構成例の概略を図１に示す。図１に示すように、画像処理システム１は、画像処理装置１０と、画像取得装置３１と、入力装置３２と、表示装置３３とを備える。

画像取得装置３１は、例えば、撮像光学系及び撮像素子が２組あり、同一被写体を異なる方向から撮影することができる撮像装置である。すなわち、画像取得装置３１は、いわゆるステレオカメラを含む。画像取得装置３１は、例えばステレオカメラが内視鏡の先端部に設けられたステレオ内視鏡システムであってもよい。このように、画像取得装置３１は、視差を有する、いわゆる左画像及び右画像といった、複数の画像を生成する。すなわち、画像取得装置３１は、互いに異なる視点から被写体を撮影し、第１の画像と第２の画像とを含む複数の画像を生成する。

入力装置３２は、例えばマウス、タッチパネル、キーボード等の入力装置を含む。表示装置３３は、例えば液晶ディスプレイといった表示装置を含む。

画像処理装置１０は、プロセッサを有する例えばパーソナルコンピュータ等のコンピュータを含む。画像処理装置１０は、入力装置３２又は表示装置３３と一体として設けられてもよい。

画像処理装置１０は、画像取得部１１と、指示取得部１２と、計測点設定部１３と、評価値算出部１４と、信頼度算出部１５と、対応点算出部１６と、代替計測点設定部１７と、位置算出部１８と、表示処理部１９としての機能を備える。

画像取得部１１は、画像処理装置１０の外部から、画像データを取得する。画像取得部１１は、例えば、画像取得装置３１から画像を取得する。ここで、画像取得部１１が取得する画像は、互いに異なる視点から被写体が撮影された第１の画像と第２の画像とを含む複数の画像である。

画像取得部１１は、さらに、平行化変換処理を行ってもよい。平行化変換処理には、画像取得装置３１の光学系に起因する歪みを取り除く処理が含まれうる。また、平行化変換処理には、後述する第１の画像と第２の画像との対応関係を得るために、エピポーララインを平行に合わせる処理が含まれうる。

指示取得部１２は、ユーザからの指示を取得する。指示取得部１２は、例えば、入力装置３２からユーザの指示を取得する。本実施形態では、画像処理装置１０は、画像取得部１１で取得した画像のうち少なくとも１つの画像を表示装置３３に表示させ、ユーザはこの画像のうち被写体の３次元座標を要求する点を計測点として入力する。指示取得部１２は、ユーザが指定する計測点の位置に係る情報を入力装置３２から取得する。

計測点設定部１３は、指示取得部１２からユーザが入力した計測点の位置に係る情報を取得する。計測点設定部１３は、取得した情報に基づいて、画像上における計測点の座標を設定する。この計測点の座標は、画像取得部１１が取得した第１の画像上の点として設定される。

評価値算出部１４は、画像取得部１１から第１の画像と第２の画像とを取得する。評価値算出部１４は、第１の画像と第２の画像との対応関係を求めるための評価値を算出する。第１の画像と第２の画像との対応関係を評価するためには、例えばテンプレートマッチング処理等の技術が用いられうる。この処理におけるマッチングの評価指標としては、例えば、Sum of Squared Difference（ＳＡＤ）や、Zero-mean Normalized Cross Correlation（ＺＮＣＣ）等が用いられうる。ＳＡＤは、テンプレート間の相違（コスト）を表す指標である。ＳＡＤは、値が小さいほど一致度合いが高いことを示す。ＺＮＣＣは、テンプレート間の相関（類似度）を表す指標である。ＺＮＣＣは、値が大きいほど一致度合いが高いことを示す。本実施形態では、マッチング指標として、値が小さいほど一致していることを示すコストを用いるものとする。しかしながら、マッチング指標としてはコストに限らず各種の評価値が用いられうる。

信頼度算出部１５は、第１の画像における点と第２の画像における点とのマッチングの信頼度を計測点信頼度として算出する。すなわち、基準画像となる第１の画像上のそれぞれの点について、マッチングが行われ、そのマッチングの信頼度がスカラー値として算出される。

対応点算出部１６は、第１の画像に設定された計測点に対応する、第２の画像における対応点をマッチングによって算出する。対応点算出部１６は、テンプレートマッチング処理において、計測点に係るテンプレートの位置をずらしながら求められた各々のコストに基づいて、コストが最も小さくなった点を対応点として算出する。また、対応点算出部１６は、同様にして、後述の代替計測点に対応する第２の画像における対応点をマッチングによって算出する。これらの対応点を得るために、本実施形態における対応点算出部１６は、第１の画像の各点について第２の画像における対応点を算出する。

代替計測点設定部１７は、信頼度算出部１５から信頼度の情報を取得し、計測点信頼度が所定の閾値以上であるか判定する。計測点信頼度が所定の閾値未満のとき、代替計測点設定部１７は、計測点に代わる、計測点信頼度よりも高い信頼度が得られる代替計測点を第１の画像内に設定する。

位置算出部１８は、画像取得装置３１による撮影方向等の撮影条件と、計測点設定部１３又は代替計測点設定部１７から取得した計測点又は代替計測点と、対応点算出部１６から取得した対応点とに基づいて、計測点又は代替計測点に応じた被写体の３次元座標を算出する。

表示処理部１９は、表示装置３３に表示される画像を作成し、表示装置３３の表示を制御する。表示装置３３には、例えば、画像取得部１１で取得された画像、座標算出に用いられた計測点又は代替計測点の位置、位置算出部１８が算出した３次元座標等が表示される。

画像処理装置１０の画像取得部１１、指示取得部１２、計測点設定部１３、評価値算出部１４、信頼度算出部１５、対応点算出部１６、代替計測点設定部１７、位置算出部１８、及び表示処理部１９は、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、又はField Programmable Gate Array（ＦＰＧＡ）等の集積回路等を含む。各部は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、各部のうち２つ以上が１つの集積回路等で構成されてもよい。これら集積回路の動作は、画像処理装置１０内に設けられた図示しない記憶装置や記憶領域に記録されたプログラムに従って行われる。

〈位置算出方法について〉
２つの画像に基づいて、３次元空間における位置を算出する方法について、図２を参照して説明する。対象物１１１の３次元座標を求める場合を考える。画像取得装置３１に含まれる左カメラ１２１及び右カメラ１２２は、対象物１１１を撮像する。この撮像によって得られた画像を、それぞれ左画像１３１及び右画像１３２とする。左画像１３１は、例えば第１の画像に相当し、右画像１３２は、例えば第２の画像に相当する。

左画像１３１において、対象物１１１の位置が計測点１４１の位置として設定される。このとき、右画像１３２において、計測点１４１に相当する対応点１５１が探索される。この探索は、右画像１３２において矢印１６１に示すように、エピポーララインに沿った直線上で探索される。例えば平行化処理によってエピポーララインが水平方向となるように調整されている場合、計測点１４１に対応する点から左右方向に探索することで、対応点１５１が発見されうる。

画像が撮影されたときの左カメラ１２１及び右カメラ１２２の位置関係と、計測点１４１及び対応点１５１とに基づくと、三角測量の原理によって対象物１１１の３次元空間における座標が求まる。

なお、計測点が設定されるのは右画像と左画像とのうち何れか一方であればどちらでもよく、対応点が特定されるのは他方の画像となる。

〈画像処理装置の動作〉
第１の実施形態に係る画像処理装置１０の動作について、図３に示すフローチャートを参照して説明する。

ステップＳ１０１において、画像処理装置１０の画像取得部１１は、画像取得装置３１から第１の画像と第２の画像とを取得する。画像取得部１１は、取得した画像を評価値算出部１４及び表示処理部１９へと伝達する。

ステップＳ１０２において、画像処理装置１０の計測点設定部１３は、指示取得部１２を介して取得したユーザの指示に基づいて、画像上の座標である計測点を設定する。計測点設定部１３は、設定した計測点の座標に係る情報を、評価値算出部１４、位置算出部１８及び表示処理部１９へと伝達する。

ステップＳ１０３において、画像処理装置１０の評価値算出部１４は、第１の画像全体の各点について、評価値の一つであるコストを算出する。ある点について算出されるコスト波形の一例の概略を図４に示す。算出されるコストは、第１の画像の注目する点と第２の画像上の各点との相違を示す。図４では、横軸に第１の画像における注目する点の座標と第２の画像におけるコストが算出される点との位置的な差異、すなわち、視差が示されており、縦軸に当該視差において算出されるコストが示されている。算出されるコストに基づいて、後述する信頼度の算出と対応点の算出とが行われる。評価値算出部１４は、算出したコストを、信頼度算出部１５及び対応点算出部１６へと伝達する。

ステップＳ１０４の処理とステップＳ１０５の処理とは、並列に行われる。ステップＳ１０４において、画像処理装置１０の対応点算出部１６は、画像全体について対応点の算出を行う。すなわち、対応点算出部１６は、第１の画像の各点について、ステップＳ１０３で算出されたコストに基づいて、第２の画像上の対応点を決定する。図４に示す例では、矢印で示した第１の視差においてコストが最小となっている。対応点算出部１６は、このようにコストが最小となる点を対応点として決定する。なお、評価値として類似度が用いられた場合は、類似度が最大となる点が対応点として決定される。対応点算出部１６は、算出した対応点を代替計測点設定部１７と位置算出部１８へと伝達する。

ステップＳ１０５において、画像処理装置１０の信頼度算出部１５は、画像全体の信頼度の算出を行う。すなわち、信頼度算出部１５は、第１の画像の各点について、ステップＳ１０３で算出されたコストに基づいて、対応点の決定についての信頼度を算出する。対応点の決定は、コスト波形の最小値を特定する処理であるので、信頼度は、コスト波形の急峻度やコストの極値を利用して求められうる。コスト波形の急峻度に基づいて信頼度を求める技術は、例えば日本国特開２００３−２６９９１７号公報に開示されている。コストの極値を利用して信頼度を求める技術は、例えば日本国特開２０１０−１６５８０号公報に開示されている。また、信頼度は、画像の特徴から求められてもよい。例えば、画像のエッジ強度が強い箇所は、信頼度が高いとされうる。また、注目領域内のコントラストが大きい箇所は、信頼度が高いとされうる。信頼度算出部１５は、算出した信頼度を代替計測点設定部１７へと伝達する。

ステップＳ１０４及びステップＳ１０５の処理の後、処理はステップＳ１０６に進む。ステップＳ１０６において、画像処理装置１０の代替計測点設定部１７は、ステップＳ１０２で設定された計測点について、ステップＳ１０５で算出された信頼度が所定の閾値以上であるか否かを判定する。信頼度が所定の閾値以上であるとき、処理はステップＳ１０８に進む。一方、信頼度が所定の閾値未満であるとき、処理はステップＳ１０７に進む。例えば、計測点が白とび領域、テクスチャがない領域、オクルージョンが発生している領域等の内部である場合、信頼度が所定の閾値未満となりうる。

ステップＳ１０７において、画像処理装置１０の代替計測点設定部１７は、代替計測点の設定を行う。代替計測点は、計測点に代えて３次元座標が求められる点であり、計測点よりも高い信頼度が得られる点である。

代替計測点の設定について、図５を参照して説明する。図５において、計測点３１１の信頼度が低かった場合を考える。このとき、計測点３１１を中心とし、半径が所定の長さである円内を近傍領域３１３とする。代替計測点設定部１７は、近傍領域３１３内で、信頼度が最大となる点を探索し、代替計測点３１２として設定する。

また、代替計測点設定部１７は、図６に示すような画像において、画像のエッジ等に基づいて、近傍領域３２４を設定してもよい。この場合、代替計測点設定部１７は、近傍領域３２４内であり、かつ、信頼度が最大となる点を代替計測点３２３として設定する。仮に計測点から所定の距離よりも近い位置に信頼度が高い点３２２が存在しても、当該点３２２が近傍領域３２４の内部にないとき、代替計測点設定部１７は、当該点３２２よりも信頼度が低くても近傍領域３２４の内部にある点を代替計測点３２３に設定する。画像のエッジ等に基づいて設定された近傍領域３２４の外部は、近傍領域３２４の内部と異なる被写体を表している場合がありうる。したがって、近傍領域３２４の外部の点が代替計測点として設定されると、注目している被写体と異なる被写体の３次元座標が求められるおそれがある。近傍領域３２４が画像のエッジ等に基づいて設定されると、注目している被写体において代替計測点が設定され、注目している被写体の３次元座標が求められることになる。近傍領域３２４は、例えば、検出されたエッジに沿って設定された領域、エッジをまたがない領域、計測点との明暗差が所定値以内の領域、又は計測点との色差が所定値以内の領域等でありうる。このような領域の設定には、例えば、Ｋ−ｍｅａｎｓ法、領域成長法、Ｓｎａｋｅアルゴリズム等が用いられうる。

代替計測点設定部１７は、設定した代替計測点を位置算出部１８及び表示処理部１９へと伝達する。ステップＳ１０７の代替計測点の設定の後、処理はステップＳ１０８に進む。

ステップＳ１０８において、画像処理装置１０の位置算出部１８は、計測点又は代替計測点と、当該点に対応する対応点とに基づいて、計測点又は代替計測点に対応する被写体の３次元座標を算出する。３次元座標の算出は、例えば図２を参照して説明した三角測量の原理に基づいて行われる。位置算出部１８は、算出した３次元座標を表示処理部１９へと伝達する。その後、画像処理装置１０の表示処理部１９は、表示装置３３に、画像取得部１１で取得された第１の画像、３次元座標の算出に用いられた計測点又は代替計測点の位置、算出された３次元座標等を表示させる。表示装置３３には、第２の画像も併せて表示されてもよい。その場合、第２の画像上に対応点の位置が表示されてもよい。その後、本処理は終了する。

なお、本実施形態として、画像取得部１１が撮像装置を含む画像取得装置３１から画像を取得する場合を例に挙げたが、これに限らない。画像取得部１１は、例えば記憶装置等から画像を取得してもよい。また、本実施形態は、３次元座標を算出する際に２つの画像を用いる場合であるが、画像は、少なくとも２つあればよく、３つ以上であることを妨げない。また、上述の例では、ステップＳ１０４の処理とステップＳ１０５の処理とが並列処理によって行われる例を示したが、これらの処理は順に行われてもよい。この場合、どちらの処理が先に行われてもよい。

〈画像処理装置の特長〉
本実施形態に係る画像処理装置１０によれば、次のような効果が得られる。すなわち、例えば白とび領域やテクスチャがない領域の内部に、ユーザが計測点を選択した場合、当該計測点に応じた対応点の算出は信頼度が低くなる。その結果、当該計測点と算出された対応点とから算出される３次元座標も信頼度が低くなる。本実施形態では、このような場合に、信頼度が高い代替計測点が計測点の近傍に設定される。設定された代替計測点と、当該代替計測点に応じた対応点とに基づいて、代替計測点の３次元座標が算出される。したがって、ユーザが指定した計測点の近傍に設定された代替計測点の３次元座標が精度よく算出される。なお、代替計測点はユーザが指定した計測点の近傍の点であるので、それらの３次元座標は同一ではないが、その差は許容できると考えられる。さらに、代替計測点は、信頼度に基づいて画像処理装置１０によって選択されるので、ユーザにとって計測点を選択し直すという煩わしさがない。このように、本実施形態に係る画像処理装置１０によれば、ユーザにとっての負担も少なく、精度が高い３次元座標の算出が実現されうる。

［第１の実施形態の第１の変形例］
本発明の第１の実施形態の第１の変形例について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本変形例は、第１の実施形態と比較して、処理の順序が異なる。より詳しくは、計測点の設定のタイミングが、第１の実施形態の場合と異なる。第１の実施形態の第１の変形例に係る画像処理装置１０の動作について、図７に示すフローチャートを参照して説明する。

ステップＳ２０１において、画像取得部１１は、第１の画像と第２の画像とを取得する。ステップＳ２０２において、評価値算出部１４は、画像全体についての評価値としてのコストを算出する。

ステップＳ２０３及びステップＳ２０４の処理は並列処理である。ステップＳ２０３において、対応点算出部１６は、第１の画像全体の各点について、対応点を算出する。ステップＳ２０４において、信頼度算出部１５は、第１の画像全体の各点について、信頼度を算出する。

ステップＳ２０３及びステップＳ２０４の処理の後、ステップＳ２０５において、計測点設定部１３は、指示取得部１２を介してユーザが入力した計測点に係る指示を取得し、計測点を設定する。

ステップＳ２０６において、代替計測点設定部１７は、設定された計測点に係る信頼度が所定の閾値以上であるか否かを判定する。信頼度が所定の閾値以上であるとき、処理はステップＳ２０８に進む。一方、信頼度が所定の閾値未満であるとき、処理はステップＳ２０７に進む。ステップＳ２０７において、代替計測点設定部１７は、計測点の近傍に代替計測点を設定する。その後、処理はステップＳ２０８に進む。

ステップＳ２０８において、位置算出部１８は、計測点又は代替計測点と、当該点に対応する対応点とに基づいて、３次元座標の算出を行う。その後、表示処理部１９は、必要な情報を表示装置３３に表示させる。

画像全体について対応点の算出と信頼度の算出が行われているので、本変形例のように、計測点の設定は、対応点及び信頼度の算出の後に行われてもよい。本変形例によっても、上述の実施形態と同様の効果が得られる。

［第１の実施形態の第２の変形例］
本発明の第１の実施形態の第２の変形例について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本変形例では、計測点の近傍の点のみについて、コストの算出が行われ、対応点及び信頼度の算出が行われる。第１の実施形態の第２の変形例に係る画像処理装置１０の動作について、図８に示すフローチャートを参照して説明する。

ステップＳ３０１において、画像取得部１１は、第１の画像と第２の画像とを取得する。ステップＳ３０２において、計測点設定部１３は、指示取得部１２を介してユーザが入力した計測点に係る指示を取得し、計測点を設定する。ステップＳ３０３において、評価値算出部１４は、ステップＳ３０２で設定された計測点とその近傍のみについて評価値としてのコストを算出する。

ステップＳ３０４及びステップＳ３０５の処理は並列処理である。ステップＳ３０４において、対応点算出部１６は、第１の画像の計測点とその近傍の各点について、対応点を算出する。ステップＳ３０５において、信頼度算出部１５は、第１の画像の計測点とその近傍の各点について、信頼度を算出する。ステップＳ３０４及びステップＳ３０５の処理の後、処理はステップＳ３０６に進む。

ステップＳ３０６において、代替計測点設定部１７は、設定された計測点に係る信頼度が所定の閾値以上であるか否かを判定する。信頼度が所定の閾値以上であるとき、処理はステップＳ３０８に進む。一方、信頼度が所定の閾値未満であるとき、処理はステップＳ３０７に進む。ステップＳ３０７において、代替計測点設定部１７は、計測点の近傍に代替計測点を設定する。その後、処理はステップＳ３０８に進む。

ステップＳ３０８において、位置算出部１８は、計測点又は代替計測点と、当該点に対応する対応点とに基づいて、３次元座標の算出を行う。その後、表示処理部１９は、必要な情報を表示装置３３に表示させる。

本変形例によれば、計測点の近傍に限定してコスト、対応点、及び信頼度の算出が行われる。その結果、計算量が削減され、また、計算時間が短縮されうる。本変形例によっても、上述の実施形態と同様の効果が得られる。

［第１の実施形態の第３の変形例］
本発明の第１の実施形態の第３の変形例について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。本変形例では、計測点の信頼度が所定値未満であり、代替計測点が必要であるときのみ、計測点の近傍の点について、コストの算出が行われ、対応点及び信頼度の算出が行われる。第１の実施形態の第３の変形例に係る画像処理装置１０の動作について、図９に示すフローチャートを参照して説明する。

ステップＳ４０１において、画像取得部１１は、第１の画像と第２の画像とを取得する。ステップＳ４０２において、計測点設定部１３は、指示取得部１２を介してユーザが入力した計測点に係る指示を取得し、計測点を設定する。ステップＳ４０３において、評価値算出部１４は、ステップＳ４０２で設定された計測点とその極近傍のみについて評価値としてのコストを算出する。

ステップＳ４０４及びステップＳ４０５の処理は並列処理である。ステップＳ４０４において、対応点算出部１６は、第１の画像の計測点について、対応点を算出する。ステップＳ４０５において、信頼度算出部１５は、第１の画像の計測点について、信頼度を算出する。ステップＳ４０４及びステップＳ４０５の処理の後、処理はステップＳ４０６に進む。

ステップＳ４０６において、代替計測点設定部１７は、設定された計測点に係る信頼度が所定の閾値以上であるか否かを判定する。信頼度が所定の閾値以上であるとき、処理はステップＳ４１１に進む。一方、信頼度が所定の閾値未満であるとき、処理はステップＳ４０７に進む。

ステップＳ４０７において、評価値算出部１４は、ステップＳ４０２で設定された計測点近傍の評価値としてのコストを算出する。

ステップＳ４０８及びステップＳ４０９の処理は並列処理である。ステップＳ４０８において、対応点算出部１６は、第１の画像の計測点の近傍の各点について、対応点を算出する。ステップＳ４０９において、信頼度算出部１５は、第１の画像の計測点の近傍の各点について、信頼度を算出する。ステップＳ４０８及びステップＳ４０９の処理の後、処理はステップＳ４１０に進む。

ステップＳ４１０において、代替計測点設定部１７は、ステップＳ４０９で算出された信頼度に基づいて、計測点の近傍に代替計測点を設定する。その後、処理はステップＳ４１１に進む。

ステップＳ４１１において、位置算出部１８は、計測点又は代替計測点と、当該点に対応する対応点とに基づいて、３次元座標の算出を行う。その後、表示処理部１９は、必要な情報を表示装置３３に表示させる。

本変形例によれば、ユーザが指定した計測点の信頼度が所定値未満であり、代替計測点が必要になったときにのみ、計測点の近傍の点について、コスト、対応点、及び信頼度の算出が行われる。その結果、計算量が削減され、また、計算時間が短縮されうる。本変形例によっても、上述の実施形態と同様の効果が得られる。なお、代替計測点の算出にあたっては、信頼度の算出を先に行い、信頼度が高い点についてのみ対応点の算出を行ってもよい。

［第２の実施形態］
本発明の第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については、同一の符号を付してその説明を省略する。第２の実施形態は、計測点が複数設定される場合の処理に係る。計測点が複数設定される場合も、第１の実施形態又はその変形例と同様に、計測点についての信頼度が低い場合には、代替計測点が設定される。本実施形態では、代替計測点の設定にあたって、代替計測点設定部１７は、複数ある計測点の相対的な位置関係と、複数設定される代替計測点の相対的な位置関係とが保たれるように、代替計測点を設定する。

図１０は、比較例として、計測点毎に個別に代替計測点が設定される場合を模式的に示す。図１０に示す例では、第１の計測点４１１に係る第１の代替計測点４１２は、第１の計測点４１１からの距離が所定の範囲内である第１の領域４１３内において信頼度が高い点として設定される。同様に、第２の計測点４２１に係る第２の代替計測点４２２は、第２の計測点４２１からの距離が所定の範囲内である第２の領域４２３内において信頼度が高い点として設定される。第３の計測点４３１に係る第３の代替計測点４３２は、第３の計測点４３１からの距離が所定の範囲内である第３の領域４３３内において信頼度が高い点として設定される。第１の代替計測点４１２と第２の代替計測点４２２と第３の代替計測点４３２とが、それぞれ個別に信頼度が高くなるように設定されるので、計測点から代替計測点への移動方向は、それぞれ異なる。その結果、例えば代替計測点と代替計測点とを結ぶ線分の長さは、対応する計測点と計測点とを結ぶ線分の長さと異なることになる。また、代替計測点によって囲まれる領域の面積又は体積は、対応する計測点によって囲まれる領域の面積又は体積と異なることになる。

これに対して本実施形態では、計測点と計測点との相対的な位置関係と、代替計測点と代替計測点との相対的な位置関係とが保たれるように、代替計測点の組み合わせが決定される。この際、例えば各代替計測点の信頼度の総和が最も高くなるように、代替計測点の組み合わせが決定される。信頼度の和ではなく信頼度の積に基づいて、代替計測点の組み合わせが決定されてもよい。

本実施形態によれば、代替計測点と代替計測点とを結ぶ線分の長さや、代替計測点によって囲まれる領域の面積又は体積は、計測点と計測点とを結ぶ線分の長さや、計測点によって囲まれる領域の面積又は体積とほぼ等しくなる。

代替計測点の設定方法の例について、図面を参照して説明する。図１１は、２点の計測点が平行移動するようにして設定される代替計測点の例の概略を示す。第１の計測点５１１と第２の計測点５２１とのうち何れかについて、信頼度が所定の閾値よりも低い場合、代替計測点設定部１７は、信頼度が共に閾値以上となる第１の代替計測点５１２及び第２の代替計測点５２２を設定する。第１の代替計測点５１２及び第２の代替計測点５２２は、第１の計測点５１１及び第２の計測点５２１を平行移動した位置に設定される。したがって、第１の計測点５１１と第２の計測点５２１との間の距離５３１は、第１の代替計測点５１２と第２の代替計測点５２２との間の距離５３２と等しくなる。

例えば画像取得装置３１がステレオ内視鏡である場合、ユーザは画像で確認される腫瘍等の対象物の大きさを測定したいことがある。本実施形態によれば、計測したいものの大きさが正確に取得されうる。

なお、表示装置３３には、第１の計測点５１１と第１の代替計測点５１２とを通る第１のガイド線５１４が示されてもよい。同様に、表示装置３３には、第２の計測点５２１と第２の代替計測点５２２とを通る第２のガイド線５２４が示されてもよい。

図１２は、２点の計測点が回転移動するようにして設定される代替計測点の例の概略を示す。第１の計測点５６１と第２の計測点５７１とのうち何れかについて、信頼度が所定の閾値よりも低い場合、代替計測点設定部１７は、信頼度が共に閾値以上となる第１の代替計測点５６２及び第２の代替計測点５７２を設定する。第１の代替計測点５６２及び第２の代替計測点５７２は、第１の計測点５６１及び第２の計測点５７１を回転移動した位置に設定される。したがって、第１の計測点５６１と第２の計測点５７１との間の距離５８１は、第１の代替計測点５６２と第２の代替計測点５７２との間の距離５８２とほぼ等しくなる。なお、回転移動と平行移動とが共に用いられてもよい。

複数ある計測点の相対的な位置関係と複数設定される代替計測点の相対的な位置関係とは、等しいことが好ましい。しかしながら、特に回転移動を含む移動によって代替計測点を設定する場合、一般に移動後の座標が整数値になるとは限らない。このため、計測点の相対的な位置関係と代替計測点の相対的な位置関係とを厳密に等しく設定することはできないことが多い。本実施形態では、計測点の相対的な位置関係と代替計測点の相対的な位置関係とは、厳密に一致しなくてもそれらの関係が十分に保たれていればよいものとする。

例えば図１３に示す例では、格子が例えば画素を示すものとする。図１３に示す例において、白抜き丸印で示した第１の計測点８１１及び第２の計測点８２１を回転移動させたとき、小数精度では斜線を付した丸印で示した第１の点８１２及び第２の点８２２に移動することになる。しかしながら、整数画素で考えると、実際には格子を付した丸印で示した第１の代替計測点８１３及び第２の代替計測点８２３が設定されることになる。このとき、第１の点８１２と第１の代替計測点８１３との位置関係と、第２の点８２２と第２の代替計測点８２３との位置関係とは一致しないことがある。したがって、計測点の相対的な位置関係と代替計測点の相対的な位置関係とは厳密に一致しなくなることがある。しかしながら、本実施形態では、それらの位置関係が十分に保たれていればよいものとする。

図１４は、３点の計測点が平行移動するようにして設定される代替計測点の例の概略を示す。第１の計測点６１１と第２の計測点６２１と第３の計測点６３１のうち何れかについて、信頼度が所定の閾値よりも低い場合、代替計測点設定部１７は、信頼度が共に閾値以上となる第１の代替計測点６１２、第２の代替計測点６２２及び第３の代替計測点６３２を設定する。第１の代替計測点６１２、第２の代替計測点６２２及び第３の代替計測点６３２は、第１の計測点６１１、第２の計測点６２１及び第３の計測点６３１を平行移動した位置に設定される。したがって、各代替計測点の間隔や代替計測点で囲まれる領域の面積等は、各計測点の間隔や計測点で囲まれる領域の面積等と等しくなる。

図１５は、３点の計測点が回転移動するようにして設定される代替計測点の例の概略を示す。第１の計測点６６１と第２の計測点６７１と第３の計測点６８１のうち何れかについて、信頼度が所定の閾値よりも低い場合、代替計測点設定部１７は、信頼度が共に閾値以上となる第１の代替計測点６６２、第２の代替計測点６７２及び第３の代替計測点６８２を設定する。第１の代替計測点６６２、第２の代替計測点６７２及び第３の代替計測点６８２は、ほぼ第１の計測点６６１、第２の計測点６７１及び第３の計測点６８１を回転移動した位置に設定される。したがって、各代替計測点の間隔や代替計測点で囲まれる領域の面積等は、各計測点の間隔や計測点で囲まれる領域の面積等とほぼ等しくなる。

計測点の相対的な位置関係と代替計測点の相対的な位置関係とが厳密に一致しなくても、それらの関係が適切に保たれていれば十分に効果が得られる。すなわち、代替計測点は、ユーザが指定した計測点と同一ではないが、その差を許容できる結果を求めるための点である。したがって、代替計測点に関する位置について計測点に関する位置と数画素程度の差が生じていても、距離又は面積等について十分有意義な結果が得られる。

代替計測点の決定方法についてさらに説明する。代替計測点は、信頼度を優先して例えば上述のように複数ある計測点の信頼度が全体として高くなるように決定されうる。信頼度が全体として高くなる代替計測点は、例えば上述のように各々の代替計測点の信頼度の総和又は平均が最も高くなるような代替計測点の組み合わせとして決定されてもよいし、信頼度の積が最も高くなるような代替計測点の組み合わせとして決定されてもよい。

また、代替計測点は、信頼度を優先するのではなく、計測点と代替計測点とが近いことを優先して決定されてもよい。すなわち、ユーザが指定した計測点に近いことが優先されてもよい。例えば、複数の代替計測点の信頼度が全て所定の閾値以上であり、かつ、対応する計測点と代替計測点との距離の和が最小となるように、代替計測点の組み合わせは決定されうる。

信頼度を優先する場合と、計測点と代替計測点とが近いことを優先する場合とを、図１６及び図１７を参照して説明する。図１６は、信頼度が優先される場合の例を示す。ユーザによって第１の計測点８３１と第２の計測点８４１と第３の計測点８５１とが指定されたとする。ここで、白抜き丸印で示した第２の計測点８４１と第３の計測点８５１との信頼度は、例えば９０％のように、十分に高いとする。一方で、黒丸で示した第１の計測点８３１の信頼度は、例えば５０％のように、所定値未満であったとする。第１の計測点８３１が低いので、代替計測点が設定される。ここで第１の計測点８３１に対応する第１の代替計測点８３３は、第１の計測点８３１の周辺に設けられた第１の探索領域８３２内で決定される。同様に、第２の計測点８４１に対応する第２の代替計測点８４３は、第２の計測点８４１の周辺に設けられた第２の探索領域８４２内で決定され、第３の計測点８５１に対応する第３の代替計測点８５３は、第３の計測点８５１の周辺に設けられた第３の探索領域８５２内で決定される。

このとき、信頼度が優先されるので、各々の探索領域内であれば、計測点からの距離に関わらず、信頼度の総和等が最大となる代替計測点が決定される。図１６に斜線を付した丸印で示した第１の代替計測点８３３と第２の代替計測点８４３と第３の代替計測点８５３との信頼度は、例えば全て９０％のように、十分に高いものとなる。信頼度が優先される場合、代替計測点は計測点からやや離れる可能性もあるが、このようにして選択された代替計測点を用いた各種計測自体の精度はよくなる。なお、探索領域の大きさを調整することで、代替計測点が計測点からどの程度離れる可能性があるかを調整することが可能である。探索領域は、適宜に設定されうる。

これに対して、図１７は、計測点と代替計測点とが近いことが優先される場合の例を示す。図１７に示す例でも、図１６に示す場合と同様に、第２の計測点８４１と第３の計測点８５１とは信頼度が十分に高いが、第１の計測点８３１の信頼度が低いために、代替計測点が設定される場合を考える。このとき、第１の代替計測点８３４と第２の代替計測点８４４と第３の代替計測点８５４との信頼度が、例えば全て８０％のように、全ての信頼度が所定の閾値以上であり、かつ、例えば対応する計測点と代替計測点との距離の和が最小となるように、代替計測点の組み合わせは決定される。計測点と代替計測点とが近いことが優先される場合、信頼度を優先する場合と比較して信頼度が劣る可能性もあるが、ユーザが指定した計測点に近い点の計測が行われることになる。

〈表示例〉
本実施形態において、表示装置３３に表示される画面の一例を図１８に示す。図１８に示す例では、第１の計測点７１１の信頼度が所定の閾値未満であり、第２の計測点７２１の信頼度が所定の閾値以上であったものとする。このとき、代替計測点設定部１７は、信頼度が所定値以上である第１の代替計測点７１２と第２の代替計測点７２２とを設定する。このとき表示装置３３に表示される画面では、信頼度が閾値未満である第１の計測点と、信頼度が閾値以上である第２の計測点、第１の代替計測点及び第２の代替計測点とで、表示される点の色が異なるものとされてもよい。また、ユーザが選択した第１の計測点７１１及び第２の計測点７２１と、代替計測点設定部１７で設定された第１の代替計測点７１２及び第２の代替計測点７２２とで、表示される点の色が異なるものとされてもよい。また、位置算出部１８で算出された第１の計測点７１１と第２の計測点７２１との距離が例えば第１の距離表示７３１として表示され、第１の代替計測点７１２と第２の代替計測点７２２との距離が例えば第２の距離表示７３２として表示されてもよい。さらに、第１の計測点７１１と第１の代替計測点７１２とを通る第１のガイド線７１４と、第２の計測点７２１と第２の代替計測点７２２とを通る第２のガイド線７２４とが表示されてもよい。

以上のように、計測点としてユーザが指定した点と、信頼度が高い代替計測点と、距離及びガイド線等とが同時に表示されることで、ユーザは、代替計測点の妥当性と、代替計測点に基づいて算出された距離の妥当性とを容易に判断することができるようになる。

なお、表示装置３３に表示される画像は、第１の画像のみであってもよいし、第１の画像と第２の画像との両方であってもよい。

Claims (10)

1. 互いに異なる視点から被写体が撮影された少なくとも第１の画像と第２の画像とを含む複数の画像を取得する画像取得部と、
   ユーザからの指示を取得する指示取得部と、
   前記指示に基づいて、前記被写体における３次元座標が要求される計測点を、前記第１の画像に設定する計測点設定部と、
   前記計測点に対応する前記第２の画像における対応点をマッチングによって算出する対応点算出部と、
   前記計測点と前記対応点との前記マッチングの信頼度を計測点信頼度として算出する信頼度算出部と、
   前記計測点信頼度が所定の閾値未満のとき、前記計測点に代わる、前記計測点信頼度よりも高い前記信頼度が得られる代替計測点を前記第１の画像内に設定する代替計測点設定部と
   を備える画像処理装置。
2. 前記第１の画像と前記第２の画像とが撮影された位置、及び、視差を用いて、前記計測点又は前記代替計測点の位置を算出する位置算出部をさらに備え、
   前記視差は、前記計測点と前記対応点との視差、又は、前記第２の画像における前記代替計測点に対応する点と前記代替計測点との視差である、
   請求項１に記載の画像処理装置。
3. 前記代替計測点設定部は、前記第１の画像又は前記第２の画像の特徴を利用して前記代替計測点の探索を行う領域を限定する、請求項１又は２に記載の画像処理装置。
4. 前記探索を行う領域は、前記第１の画像又は前記第２の画像において検出されるエッジに沿って設定された領域、前記エッジをまたがない領域、前記計測点との明暗差が所定値以内の領域、又は前記計測点との色差が所定値以内の領域である、請求項３に記載の画像処理装置。
5. 前記計測点設定部は、複数の前記計測点を設定し、
   前記代替計測点設定部は、複数の前記計測点の各々に対応する複数の代替計測点を、前記複数の計測点の相対的な位置関係と前記複数の代替計測点の相対的な位置関係とを保つように設定する、
   請求項１乃至４のうち何れか１項に記載の画像処理装置。
6. 前記代替計測点設定部は、前記計測点の周囲の探索領域内で前記複数の代替計測点の前記信頼度が全体として最も高くなるように、前記代替計測点を設定する、請求項５に記載の画像処理装置。
7. 前記代替計測点設定部は、前記複数の代替計測点の前記信頼度の各々が所定の閾値よりも高く、かつ、前記計測点と前記代替計測点との距離が最も小さくなるように、前記代替計測点を設定する、請求項５に記載の画像処理装置。
8. 前記第１の画像又は前記第２の画像と、前記計測点又は前記代替計測点とを表示装置に表示させる表示処理部をさらに備える請求項１乃至７のうち何れか１項に記載の画像処理装置。
9. 前記表示処理部は、前記計測点から前記代替計測点への移動方向に沿ったガイド線を前記計測点及び前記代替計測点とともに表示させる、請求項８に記載の画像処理装置。
10. 互いに異なる視点から被写体が撮影された少なくとも第１の画像と第２の画像とを含む複数の画像を取得することと、
    ユーザからの指示を取得することと、
    前記指示に基づいて、前記被写体における３次元座標が要求される計測点を、前記第１の画像に設定することと、
    前記計測点に対応する前記第２の画像における対応点をマッチングによって算出することと、
    前記計測点と前記対応点との前記マッチングの信頼度を計測点信頼度として算出することと、
    前記計測点信頼度が所定の閾値未満のとき、前記計測点に代わる、前記計測点信頼度よりも高い前記信頼度が得られる代替計測点を前記第１の画像内に設定することと
    を含む画像処理方法。

Images