JP2024040828A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】注目する被写体の３Ｄモデルを精度良く生成可能な画像処理装置を提供すること。【解決手段】画像処理装置は、撮像装置による撮像により得られた３枚以上の画像を取得する取得部と、３枚以上の画像に写った被写体の３Ｄモデルを生成する生成部と、３枚以上の画像のそれぞれを撮像したときの撮像装置の位置情報を用いて閉曲面を設定する設定部と、生成部により生成された３Ｄモデルのうち閉曲面の内部に含まれる３Ｄモデルを注目する被写体の注目３Ｄモデルとして選択する選択部とを有する。【選択図】図１

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

従来、被写体の３Ｄモデルを取得するために、被写体の３Ｄ点群を生成する方法が提案されている。特許文献１には、複数枚の画像を撮像した場合、複数のカメラ位置のビューイングコーンが交わる領域に存在する物体の３Ｄ点群のみを生成する構成が開示されている。

特開２００１－２３６５２２号公報

しかしながら、特許文献１の構成では、注目する被写体以外の被写体が上記領域に存在する場合、高精度に注目する被写体を特定することができない。

本発明は、注目する被写体の３Ｄモデルを精度良く生成可能な画像処理装置を提供することができる。

本発明の一側面としての画像処理装置は、撮像装置による撮像により得られた３枚以上の画像を取得する取得部と、３枚以上の画像に写った被写体の３Ｄモデルを生成する生成部と、３枚以上の画像のそれぞれを撮像したときの撮像装置の位置情報を用いて閉曲面を設定する設定部と、生成部により生成された３Ｄモデルのうち閉曲面の内部に含まれる３Ｄモデルを選択する選択部とを有することを特徴とする。

本発明によれば、注目する被写体の３Ｄモデルを精度良く生成可能な画像処理装置を提供することができる。

本発明の実施形態に係る画像処理装置を有する撮像装置の説明図である。 ３Ｄモデル生成方法を示すフローチャートである。 ３Ｄモデル構成モード開始のインターフェースの一例を示す図である。 連続撮影方法の選択のインターフェースの一例を示す図である。 注意通知の一例を示す図である 被写体の３Ｄ点群と撮像装置の位置を取得する方法の説明図である。 閉曲面の説明図である。 閉曲面を上から見た図である。 撮像装置と被写体との位置関係を示す図である。 閉曲面と３Ｄ点群との位置関係を示す図である。 閉曲面と３Ｄ点群との位置関係を示す図である。 注目被写体の通知の一例を示す図である。 注目被写体を主被写体として捉えていない画像がある場合の撮像装置と被写体との位置関係を示す図である。 非注目被写体の３Ｄ点群を含む３Ｄモデルを示す図である。 図１３における撮像装置の位置で被写体を撮像し、本実施形態の３Ｄモデル生成方法を実行した場合の様子を示す図である。 図１５において注目被写体の３Ｄ点群だけを抽出して３Ｄモデルを生成した様子を示す図である。 既に撮像された複数の画像から注目３Ｄモデルを生成する３Ｄモデル生成方法を示すフローチャートである。 非注目被写体の３Ｄ点群が閉曲面の内部に含まれる様子を示す図である。 閉曲面を正しく決定できた様子を示す図である。 閉曲面を正しく決定できていない様子を示す図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１は、本発明の実施形態に係る画像処理装置を有する撮像装置１００の説明図である。図１（ａ）は、撮像装置１００のブロック図である。図１（ｂ）と図１（ｃ）はそれぞれ、撮像装置１００の正面図と背面図である。

撮像装置１００は、撮像部１０１、演算部１０２、記憶部１０３、シャッターボタン１０４、操作部１０５、表示部１０６、及び制御部１０７を有する。撮像部１０１は、レンズ１０１ａ、絞り１０１ｂ、及び撮像素子１０１ｃを備える。

レンズ１０１ａは、被写体から放たれた光を集光し、撮像素子１０１ｃ上に光学像を作る。絞り１０１ｂは集光する光の範囲を制御し、該範囲を通過した光が光束となる。撮像素子１０１ｃは、光学像を電子像に変換して映像データを出力する。シャッターボタン１０４は、撮影を行う際に、撮像装置１００の使用者により押下される。撮像により得られた画像は、演算部１０２によって現像処理され、記憶部１０３に記憶される。記憶部１０３は、例えばＳＤカードのような着脱可能なものでもよいし、撮像装置１００の内部に備えられたものでもよい。

演算部１０２は、取得部１０２ａ、生成部１０２ｂ、設定部１０２ｃ、選択部１０２ｄ、及び通知部１０２ｅを備える。取得部１０２ａは、撮像装置１００による撮像により得られた３枚以上の画像を取得する。生成部１０２ｂは、３枚以上の画像に写った被写体の３Ｄモデルを生成する。設定部１０２ｃは、３枚以上の画像のそれぞれを撮像したときの撮像装置１００の位置情報を用いて閉曲面を設定する。選択部１０２ｄは、生成部１０２ｂにより生成された３Ｄモデルのうち閉曲面の内部に含まれる３Ｄモデルを注目する被写体（注目被写体）の３Ｄモデル（注目３Ｄモデル）として選択する。通知部１０２ｅは、注目被写体を通知する。なお、演算部は、本実施形態では、撮像装置１００に搭載されているが、撮像装置１００とは別の画像処理装置として構成されてもよい。

操作部１０５は、撮影条件の設定や、高精度焦点検出モードの開始や終了等の指示を行う際に操作される。表示部１０６は例えば液晶ディスプレー等であり、撮影時の構図を映し出したり、諸々の設定時に項目や映像検索結果を表示したりする。また、表示部１０６がタッチパネルとなっている場合、シャッターボタン１０４や操作部１０５を兼用することができ、使用者が表示部１０６にタッチすることで、撮影や設定を行うことができる。この場合、シャッターボタン１０４や操作部１０５等のハードウェアパーツを装備する必要がなく、表示部１０６として大きいものを設置して見やすくしたり、使用者が操作しやすくしたりすることができる。制御部１０７は、各種インターフェースや演算部１０２の処理の制御を行う。

図２は、３Ｄモデル生成方法を示すフローチャートである。以下の説明では、３Ｄモデルという言葉を被写体の表面をメッシュやポリゴンで表現したものや３Ｄ点群で表現されたものの総称として用いる。

ステップＳ２０１では、使用者は、操作部１０５を操作して３Ｄモデル構成モード開始を指示する。図３は、３Ｄモデル構成モード開始のインターフェースの一例を示す図である。表示部１０６に表示３０１，３０２を表示し、使用者は操作部１０５を操作することによって表示３０１を選択して３Ｄモデル構成モードを開始することができる。表示部１０６がタッチパネルとなっている場合、表示３０１の「開始」が表示されている部分を指でタッチすることにより表示３０１が選択される。３Ｄモデル構成モードを開始しない場合、表示３０２を選択することで通常のモードに戻ることができる。

ステップＳ２０２では、使用者は、連続撮影方法の選択を行う。図４は、連続撮影方法の選択のインターフェースの一例を示す図である。表示部１０６に表示４０１，４０２を表示し、使用者は操作部１０５を操作することによって表示４０１又は表示４０２を選択して連続撮影方法を決定する。表示部１０６がタッチパネルとなっている場合、表示４０１の「静止画」又は表示４０２の「動画」が表示されている部分に指でタッチすることにより表示４０１又は表示４０２が選択される。「静止画」を選択された場合、使用者は自らの意思でシャッターボタン１０４を複数回押下することにより複数枚の画像を撮影する。使用者がシャッターボタン１０４を押下することなしに一定の時間間隔で自動的に画像を撮影する連写が行われてもよい。「動画」が選択され場合、使用者が撮影終了の指示を出すまで動画が撮影し続けられる。以下の説明では、「静止画」によって撮影した画像も「動画」によって撮影したフレームも区別なく画像と記す。連続撮影方法が選択されて３Ｄモデル構成モードが開始されると、使用者には撮影時の注意が通知される。図５は、注意通知の一例を示す図である。表示部１０６に通知５０１が表示され、３Ｄモデルを構成したい被写体を回りながら撮影するよう注意が促される。

ステップＳ２０３では、制御部１０７は、ステップＳ２０２で選択された連続撮影方法で連続撮影のループを開始する。演算部１０２（取得部１０２ａ）は、撮像装置１００による撮像により得られた画像を取得する。得られた画像は、演算部１０２により現像や圧縮処理等を施された後、記憶部１０３に記憶される。

ステップＳ２０４では、演算部１０２（生成部１０２ｂ）は、撮影した被写体の３Ｄ点群と画像を撮影したときの撮像装置１００の位置を取得する。

図６は、画像上の被写体の位置から被写体の３Ｄ点群とカメラの位置を算出する方法であるフォトグラメトリによって被写体の３Ｄ点群と撮像装置１００の位置を取得する方法の説明図である。フォトグラメトリは、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）やＳＬＡＭ（Ｓｉｍａｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）等の総称である。位置６０１，６０２は、異なる画像を撮像したときの撮像装置１００の位置である。画像６０７，６０８はそれぞれ、位置６０１，６０２で撮像部１０１による撮像により得られた画像である。被写体上の点６０５，６０６は、画像６０７上ではそれぞれ特徴点６０９，６１１として捉えられ、画像６０８上ではそれぞれ特徴点６１０，６１２として捉えられている。特徴点６０９，６１０は点６０５の像であり、特徴点６１１，６１２は点６０６の像であるという対応付けを行っている。特徴点の抽出方法は代表的なものでは、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）や、ＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）が挙げられる。また、ＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）等が挙げられるが、他の方法であってもよい。点６０５，６０６の３次元位置、撮像装置１００の位置、レンズ１０１ａの焦点距離、及びレンズ１０１ａの光軸に対する撮像素子１０１ｃの位置等が決まっている場合、特徴点６０９，６１１の画像上の位置は結像関係から一意に決まる。特徴点６０９，６１１の画像６０７上の位置と特徴点６１０，６１２の画像６０８上の位置が分かっているので、点６０５の３次元位置や、撮像装置１００の位置６０１に対する位置６０２等を最適化変数として逆算することが可能である。なお、３Ｄ点群を取得する方法として、本実施形態ではフォトグラメトリを挙げたが、例えば撮像装置１００がステレオカメラである場合、焦点検出を用いてもよいし、他の方法を用いてもよい。また、撮像装置１００の位置を取得する方法として、例えば撮像装置１００にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を搭載し、ＧＰＳから取得される位置情報を用いてもよいし、他の方法を用いてもよい。

ステップＳ２０５では、演算部１０２は、ステップＳ２０６で閉曲面を決定するために少なくとも３枚の画像が必要であるため、得られた画像が３枚以上であるか否かを判定する。得られた画像が３枚以上であると判定された場合、ステップＳ２０６の処理が実行される。得られた画像が２枚以下であると判定された場合、ステップＳ２０４の処理が再び実行される。

ステップＳ２０６では、演算部１０２（設定部１０２ｃ）は、撮像装置１００の位置を用いて閉曲面を決定する。

図７は、閉曲面の説明図である。位置７０１，７０２，７０３は、撮像装置１００で画像を撮像した位置である。軌跡７０４，７０５はそれぞれ、位置７０１，７０２を結んだ直線と位置７０２，７０３を結んだ直線である。直線７０６，７０７，７０８はそれぞれ、位置７０１，７０２，７０３を通り重力方向と向きが一致した直線である。側面７０９は、直線７０６，７０７の両方を含み、直線７０６，７０７で切られる重力方向と平行な平面である。側面７１０は、直線７０７，７０８の両方を含み、直線７０７，７０８で切られる重力方向と平行な平面である。側面７０９，７１０は、閉曲面の一部となる。位置７０１，７０２，７０３と同様に撮像装置１００で画像を撮像した位置を逐次取得し、側面７０９，７１０と同様に側面を決定することで閉曲面が決定される。

図８は、閉曲面を上から見た図である。重力方向に直交する平面を底面とすることで、閉曲面の一例として多角柱（柱体）が定義される。重力方向は、撮像装置１００に加速度センサーが搭載されている場合、加速度センサーを用いて検出可能である。また、撮像装置１００の隣り合う軌跡によって張られる平面の平均的な面に直交する方向を重力方向とみなしてもよい。底面の決め方として例えば、側面に囲まれる被写体の３Ｄ点群のうち最も高い位置を上方の底面の位置とし、最も低い位置を下方の底面の位置とすればよい。底面の位置を無限遠遠方としてもよい。すなわち、重力方向と反対の無限遠を上方の底面の位置とし、重力方向の無限を下方の底面の位置として、閉曲面を無限に長い多角柱と定義してもよい。

ステップＳ２０７では、演算部１０２（選択部１０２ｄ）は、ステップＳ２０６で決定した閉曲面の内部に含まれている３Ｄ点群を特定する。図９は、非注目被写体９０２と区別するように注目被写体９０１を周回しながら画像を撮像した場合の撮像装置１００と注目被写体９０１との位置関係を示す図である。図１０は、閉曲面と３Ｄ点群との位置関係を示す図である。注目被写体９０１の３Ｄ点群１００１と非注目被写体９０２の３Ｄ点群１００２が生成された場合、３Ｄ点群１００１，１００２に対する撮像装置１００の相対位置が取得される。注目被写体９０１の３Ｄ点群１００１は閉曲面の内部１００３に含まれているが、非注目被写体９０２の３Ｄ点群１００２は閉曲面の内部１００３に含まれていない。これにより、３Ｄ点群１００１が注目被写体９０１の３Ｄ点群であることが特定される。

ここで、注目被写体の３Ｄ点群を特定するために、それまでに得られた全ての画像に対する撮像装置１００の位置を用いる必要はない。注目被写体の３Ｄ点群を特定するために最低限必要な数の撮像装置１００の位置を用いればよい。図１１は、閉曲面と３Ｄ点群との位置関係を示す図であり、少ない数の撮像装置１００の位置から注目被写体９０１の３Ｄ点群１００１を特定する一例を示している。図１１では、最低限必要な数である３つの撮像装置１００の位置を用いて、３Ｄ点群１００１が閉曲面の内部１１０１に含まれている注目被写体の３Ｄ点群であることが特定される。

ステップＳ２０８では、演算部１０２（通知部１０２ｅ）は、使用者に注目被写体を通知する。これにより、使用者は、意図した通りに注目被写体が特定されているかを確認しながら撮影することができる。図１２は、注目被写体の通知の一例を示す図である。図１２では、表示部１０６に現在撮影中のライブビュー映像が映し出されており、特定された注目被写体の像に重畳表示による網掛け１２０１を行うことで使用者に注目被写体を通知している。網掛け１２０１の範囲は例えば、特定された注目被写体の３Ｄ点群を現在の撮像装置１００の位置に対して射影して決定すればよい。なお、注目被写体の通知として、網掛け１２０１の他に注目被写体の像を塗りつぶしたり、非注目被写体を半透明にしたりしてもよい。

ステップＳ２０９では、制御部１０７は、連続撮影のループを終了する。なお、本実施形態では、演算部１０２により注目被写体の十分な点数の３Ｄ点群が生成されたと判断されると、制御部１０７が自動的に撮影を終了するが、使用者が意図的に撮影を終了してもよい。

ステップＳ２１０では、演算部１０２は、注目被写体の３Ｄ点群を生成する。なお、ステップＳ２０４で既に十分な点数の３Ｄ点群が十分な精度で生成されていれば、演算部１０２は生成された３Ｄ点群をそのまま使用してもよい。そうでない場合、演算部１０２は、３Ｄ点群の点数を増やしたり、点の位置を補正したりする。例えば、演算部１０２は、Ｂｕｎｄｌｅ Ａｄｊｕｓｔｍｅｎｔ等の方法を用いて、得られた全ての撮像装置１００の位置を補正してより高精度な位置を取得してから３Ｄ点群を再び生成すればよい。これにより、被写体と撮像装置１００の位置関係が高精度に算出され、これまでアウトライアーと判断されて生成されずにいた３Ｄ点群が生成される。

ステップＳ２１１では、演算部１０２は、注目被写体の３Ｄモデルを生成する。以下の説明では、注目被写体の３Ｄモデルを注目３Ｄモデルと呼ぶ。具体的には、演算部１０２は、ステップＳ２１０で生成された注目被写体の３Ｄ点群１００１に対してメッシュ化やポリゴン化等の処理を施して密度の高い表面にして注目３Ｄモデルを生成する。

本実施形態の３Ｄモデル生成方法を実行することで、複数の画像のうち注目被写体を主として捉えていない画像があっても高精度に注目被写体を抽出することができる。図１３は、注目被写体を主被写体として捉えていない画像がある場合の撮像装置１００と被写体と位置関係を示す図である。位置１３０１，１３０２，１３０３で撮影した画像はそれぞれ、画像１３０４，１３０５，１３０６として示されている。位置１３０１では注目被写体９０１を正しく捉えて撮影されているが、位置１３０２，１３０３では非注目被写体９０２が主被写体として撮影されている。

図１４は、非注目被写体９０２の３Ｄ点群を含む３Ｄモデルを示す図である。図１３のように非注目被写体９０２も高い頻度で主被写体として撮影されてしまった場合、画像に高い頻度で写った被写体を注目被写体として判定すると、注目被写体の３Ｄ点群１００１だけでなく非注目被写体の３Ｄ点群１００２も生成されてしまう。

図１５は、図１３における撮像装置１００の位置で被写体を撮影し、本実施形態の３Ｄモデル生成方法を実行した場合の様子を示す図である。位置１３０２，１３０３では非注目被写体９０２が主被写体として撮影されているが、撮像装置１００の位置から作られる閉曲面の内部には注目被写体９０１の３Ｄ点群１００１だけが含まれているので、注目３Ｄモデルだけを生成することができる。

図１６は、図１５において注目被写体９０１の３Ｄ点群１００１だけを抽出して３Ｄモデルを生成した様子を示す図である。本実施形態の３Ｄモデル生成方法を用いることで撮影に不慣れな人が撮影し、複数の画像の中に失敗した構図で撮像された画像を含んでいても、精度よく注目３Ｄモデルだけを生成することができる。

本実施形態では、撮像装置１００が３Ｄモデル生成処理まで行う例について説明したが、撮像装置１００では画像の撮影だけを行い、３Ｄモデル生成処理をパソコンやモバイル等の他の演算処理装置に行わせてもよい。図１７は、既に撮影された複数の画像から注目３Ｄモデルを生成する３Ｄモデル生成方法を示すフローチャートである。ステップＳ１７０１では、演算処理装置は、既に撮影された複数の画像を取得する。ステップＳ１７０２では、演算処理装置は、取得した画像の処理のループを開始する。ステップＳ１７０３の処理は、図２のステップＳ２０４の処理と同様であるため、詳細な説明は省略する。ステップＳ１７０４では、演算処理装置は、処理した画像が３枚以上であるか否かを判定する。処理した画像が３枚以上であると判定された場合、ステップＳ１７０６の処理が実行される。処理した画像が２枚以下であると判定された場合、ステップＳ１７０４の処理が再び実行される。ステップＳ１７０５乃至ステップＳ１７０７の処理はそれぞれ、図２のステップＳ２０６、ステップＳ２０７、及びステップＳ２１０の処理と同様であるため、詳細な説明は省略する。ステップＳ１７０８では、演算処理装置は、画像の処理のループを終了する。ステップＳ１７０９の処理は、図２のステップＳ２１１の処理と同様であるため、詳細な説明は省略する。このように、撮影と３Ｄモデル生成のハードウェアを分けることによって、撮像装置の種類に関係なく、得られた画像を用いて注目被写体の３Ｄモデルを生成することができる。

また、注目被写体の付近に存在する非注目被写体も閉曲面の内部に含まれてしまう場合、すなわち閉曲面の内部に複数の３Ｄ点群が含まれる場合がある。図１８は、非注目被写体の３Ｄ点群が閉曲面の内部１００３に含まれる様子を示す図である。非注目被写体１８０１は、小さい被写体であり、使用者が意図的に閉曲面の内部から除外することができなかった被写体である。閉曲面の内部１００３に含まれる３Ｄ点群のうち最も大きい３Ｄ点群１００１だけを注目被写体の３Ｄ点群として特定することで、非注目被写体１８０１を除外することができる。

また、本実施形態では、撮像装置１００の位置だけを用いて閉曲面を決定する方法が用いられるが、この方法では使用者が意図した通りに注目被写体９０１を特定することができないことがある。図１９は、閉曲面を正しく決定できた様子を示す図であり、使用者が意図した通りに閉曲面が決定され、注目被写体の３Ｄ点群１００１が決定された閉曲面の内部１００３に含まれている様子を示している。図２０は、閉曲面を正しく決定できていない様子を示す図であり、撮像装置１００の位置だけを考慮して決定された閉曲面が示されている。図２０における撮像装置１００の位置は図１９の場合と全く同じであるが、閉曲面が全く異なっている。図２０では、閉曲面の内部２００１に注目被写体の３Ｄ点群１００１が含まれていないため、注目被写体を特定することができない。図２０のような状態を回避するために、撮像装置１００の姿勢も同時に考慮すればよい。図１９のように閉曲面を正しく決定できた場合、ほとんどの撮像装置１００の撮影方向は閉曲面の内部１００３を向いている。一方、図２０のように閉曲面を正しく決定できていない場合、撮像装置１００の撮影方向が閉曲面の内部２００１を向いていないものが半数近くある。そこで、例えば、閉曲面を決定するために用いる撮像装置１００の位置の数に対する撮影方向が閉曲面の内部を向いている数の割合が所定の閾値以上となるように閉曲面を決定すればよい。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態の開示は、以下の構成及び方法を含む。
（構成１）
撮像装置による撮像により得られた３枚以上の画像を取得する取得部と、
前記３枚以上の画像に写った被写体の３Ｄモデルを生成する生成部と、
前記３枚以上の画像のそれぞれを撮像したときの前記撮像装置の位置情報を用いて閉曲面を設定する設定部と、
前記生成部により生成された前記３Ｄモデルのうち前記閉曲面の内部に含まれる３Ｄモデルを選択する選択部とを有することを特徴とする画像処理装置。
（構成２）
前記閉曲面は、重力方向に平行な側面を持つ柱体であることを特徴とする構成１に記載の画像処理装置。
（構成３）
前記設定部は、前記撮像装置の撮影方向に関する情報を用いて前記閉曲面を設定することを特徴とする構成１又は２に記載の画像処理装置。
（構成４）
前記撮像装置の撮影方向に関する情報は、前記３枚以上の画像を用いて取得されることを特徴とする構成３に記載の画像処理装置。
（構成５）
前記撮像装置の位置情報は、前記３枚以上の画像を用いて取得されることを特徴とする構成１乃至４の何れか一つの構成に記載の画像処理装置。
（構成６）
前記選択部は、前記閉曲面の内部に複数の３Ｄモデルが含まれる場合、最も大きい３Ｄモデルを選択することを特徴とする構成１乃至５の何れか一つの構成に記載の画像処理装置。
（構成７）
前記注目する被写体を通知する通知部を更に有することを特徴とする構成１乃至６の何れか一つの構成に記載の画像処理装置。
（構成８）
構成１乃至７の何れか一つの構成に記載の画像処理装置と、
撮像部とを有することを特徴とする撮像装置。
（方法１）
撮像装置による撮像により得られた３枚以上の画像を取得するステップと、
前記３枚以上の画像に写った被写体の３Ｄモデルを生成するステップと、
前記３枚以上の画像のそれぞれを撮像したときの前記撮像装置の位置情報を用いて閉曲面を設定するステップと、
前記生成部により生成された前記３Ｄモデルのうち前記閉曲面の内部に含まれる３Ｄモデルを選択するステップとを有することを特徴とする画像処理方法。
（構成９）
方法１に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０２ 演算部（画像処理装置）
１０２ａ 取得部
１０２ｂ 生成部
１０２ｃ 設定部
１０２ｄ 選択部

Claims (10)

1. 撮像装置による撮像により得られた３枚以上の画像を取得する取得部と、
   前記３枚以上の画像に写った被写体の３Ｄモデルを生成する生成部と、
   前記３枚以上の画像のそれぞれを撮像したときの前記撮像装置の位置情報を用いて閉曲面を設定する設定部と、
   前記生成部により生成された前記３Ｄモデルのうち前記閉曲面の内部に含まれる３Ｄモデルを選択する選択部とを有することを特徴とする画像処理装置。
2. 前記閉曲面は、重力方向に平行な側面を持つ柱体であることを特徴とする請求項１に記載の画像処理装置。
3. 前記設定部は、前記撮像装置の撮影方向に関する情報を用いて前記閉曲面を設定することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記撮像装置の撮影方向に関する情報は、前記３枚以上の画像を用いて取得されることを特徴とする請求項３に記載の画像処理装置。
5. 前記撮像装置の位置情報は、前記３枚以上の画像を用いて取得されることを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記選択部は、前記閉曲面の内部に複数の３Ｄモデルが含まれる場合、最も大きい３Ｄモデルを選択することを特徴とする請求項１又は２に記載の画像処理装置。
7. 前記注目する被写体を通知する通知部を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
8. 請求項１又は２に記載の画像処理装置と、
   撮像部とを有することを特徴とする撮像装置。
9. 撮像装置による撮像により得られた３枚以上の画像を取得するステップと、
   前記３枚以上の画像に写った被写体の３Ｄモデルを生成するステップと、
   前記３枚以上の画像のそれぞれを撮像したときの前記撮像装置の位置情報を用いて閉曲面を設定するステップと、
   前記生成部により生成された前記３Ｄモデルのうち前記閉曲面の内部に含まれる３Ｄモデルを選択するステップとを有することを特徴とする画像処理方法。
10. 請求項９に記載の画像処理方法をコンピュータに実行させることを特徴とするプログラム。