JP6304244B2 - ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム - Google Patents

Description

本発明は、３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラムに関する。
本願は、２０１３年４月１９日に日本に出願された特願２０１３−０８８５５５号に基づき優先権を主張し、その内容をここに援用する。

撮像部を移動させながら撮像した対象物を含む複数の２次元画像に基づいて対象物の３次元形状モデルを生成する技術の一例が非特許文献１に記載されている。この非特許文献１に記載されている３次元形状計測システムでは、次のようにして対象物の３次元形状モデルが生成される。まず撮像部を構成するステレオカメラを移動させながら対象物全体を動画で撮像する。ここでステレオカメラとは、両眼立体視カメラとも呼ばれ、複数の異なる視点から対象物を撮像する装置である。次に、所定フレーム毎に、１組の２次元画像に基づいて各画素に対応する３次元座標値が算出される。ただし、この時点で算出された３次元座標値は、ステレオカメラの視点毎に異なる複数の３次元座標で表されている。そこで、非特許文献１に記載されている３次元形状計測システムでは、動画として撮像した複数の２次元画像に含まれている特徴点群を、複数のフレームにわたって追跡することで、ステレオカメラの視点の移動を推定している。そして、視点移動の推定結果に基づいて複数の座標系で表された３次元形状モデルが同一座標系に統合され、対象物の３次元形状モデルが生成される。

また、非特許文献２には、赤外線深度センサー（以下、撮像部と呼ぶ）を移動させながら取得した複数の深度画像（デプス画像、距離画像等とも呼ばれる）に基づいて対象物の３次元形状モデルを生成する技術の一例が記載されている。ここで深度画像とは、測定した対象物までの距離情報を画素単位で表した画像である。非特許文献２に記載されている３次元形状計測システムでは、赤外線深度センサーが、赤外線投射部と赤外線撮像部と信号処理部とから構成されている。赤外線投射部が対象物に対してランダムスペックルパターンを投射し、その反射光を赤外線撮像部で撮像する。そして、赤外線撮像部で撮像したランダムスペックルパターンの偏りや形状変化に基づいて、信号処理部が対象物までの距離情報を算出して深度画像を生成する。この赤外線深度センサーの構成等については例えば、特許文献１〜３に記載されている。

なお、本願において対象物の３次元形状モデルとは、３次元空間内の対象物の形状をコンピュータ内部に数値化することで表現したモデルを意味し、例えば、多視点の２次元画像や各画素が距離情報を表す２次元画像に基づいて対象物の表面形状を３次元空間内の複数の点の集合（すなわち点群）によって復元する点群モデルを意味する。また、本願において３次元形状計測とは、複数の２次元画像を撮像することで対象物の３次元形状モデルを生成することを意味するとともに、対象物の３次元形状モデルを生成ために複数の２次元画像を撮像することを意味する。

日本国特表２０１１−５２７７９０号公報 日本国特表２００９−５１１８９７号公報 日本国特表２００９−５３０６０４号公報

運天弘樹、増田智仁、三橋徹、安藤真、「ステレオカメラ移動撮影によるＶＲモデル自動生成手法の検討」、日本バーチャルリアリティ学会論文誌、Ｖｏｌ．１２、Ｎｏ．２、２００７年 Ｓｈａｈｒａｍ Ｉｚａｄｉ， Ｄａｖｉｄ Ｋｉｍ， Ｏｔｍａｒ Ｈｉｌｌｉｇｅｓ， Ｄａｖｉｄ Ｍｏｌｙｎｅａｕｘ， Ｒｉｃｈａｒｄ Ｎｅｗｃｏｍｂｅ， Ｐｕｓｈｍｅｅｔ Ｋｏｈｌｉ， Ｊａｍｉｅ Ｓｈｏｔｔｏｎ， Ｓｔｅｖｅ Ｈｏｄｇｅｓ， Ｄｕｓｔｉｎ Ｆｒｅｅｍａｎ， Ａｎｄｒｅｗ Ｄａｖｉｓｏｎ， ａｎｄ Ａｎｄｒｅｗ Ｆｉｔｚｇｉｂｂｏｎ，"ＫｉｎｅｃｔＦｕｓｉｏｎ： Ｒｅａｌ−ｔｉｍｅ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ Ｉｎｔｅｒａｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｍｏｖｉｎｇ Ｄｅｐｔｈ Ｃａｍｅｒａ，" Ｏｃｔｏｂｅｒ ２０１１， Ｐｕｂｌｉｓｈｅｒ： ＡＣＭ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，［平成２５年４月１５日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｒｅｓｅａｒｃｈ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ａｐｐｓ／ｐｕｂｓ／ｄｅｆａｕｌｔ．ａｓｐｘ？ｉｄ＝１５５４１６＞

上述したように、非特許文献１や非特許文献２に示されている３次元形状計測システムでは、撮像部を移動させながら複数の２次元画像を撮像し、撮像した複数の２次元画像に基づいて対象物の３次元形状モデルが生成される。このような構成では、３次元形状モデルを生成する際に処理対象とする２次元画像を一定の時間間隔で撮像すると、例えば、撮像部の移動速度が大きいときに、撮像されていない部分が発生してしまう場合がある。他方、撮像部の移動速度が小さいときには複数の画像間で重複して撮像される領域が大きくなる場合がある。あるいは、対象物によっては形状の複雑さに応じて画像をより密に撮像することが望ましい部分とそうではない部分とがあるような場合、例えば、撮像者が熟練していないようなときには、撮像方向や頻度を適切にして画像を撮像することが難いという場合もある。すなわち、３次元形状モデルを生成する際に処理対象となる２次元画像を複数撮像する場合、各画像を撮像する時間間隔を一定にすると、移動速度が大きいときや小さいとき、あるいは対象物の形状が複雑なときなどに２次元画像が適切に取得できない可能性がある。また、不要な重複した撮像が増えると、２次元画像が過剰となって、画像データを記憶するメモリ量が多くなってしまったり、あるいは、余分な処理が発生してしまったりするという可能性がある。このように、３次元形状モデルを生成する際に処理対象とする２次元画像を一定の時間間隔で撮像すると、複数の画像を適切に撮像することができない場合があるという課題があった。

本発明は、以上の事情を考慮してなされたものであり、３次元形状モデルを生成する際に処理対象となる２次元画像を適切に撮像することができる３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラムを提供することを目的とする。

上記の課題を解決するため、本発明の第一態様の３次元形状計測装置は、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する撮像部と、前記撮像部が出力した前記第２の２次元画像に基づく３次元形状モデルを前記第１の２次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成する出力指示生成部と、前記撮像部が出力した前記第２の２次元画像を記憶する記憶部とを備える。
本発明の第一態様の３次元形状計測装置においては、前記第１の２次元画像と前記第２の２次元画像とは画像の解像度の設定が異なり、前記第２の２次元画像が、前記第１の２次元画像よりも高解像度であることが好ましい。
本発明の第一態様の３次元形状計測装置においては、前記形状欠損割合は、前記第２の２次元画像に基づいて求めた前記３次元形状モデルを、前記第１の２次元画像の撮像時の視点から２次元画像として表した場合に、算出することができた画像の割合に対応することが好ましい。
本発明の第一態様の３次元形状計測装置においては、前記第１の２次元画像と前記第２の２次元画像とは画像を撮像する際のシャッタースピード、絞り値又は撮像素子の感度の少なくとも１つの設定が異なることが好ましい。
本発明の第一態様の３次元形状計測装置は、撮像対象物を照明する照明部を備え、前記出力指示に対応させて、前記撮像部が前記第２の２次元画像を撮像するとともに、前記照明部が前記撮像対象物に対して所定の照明を行うことが好ましい。
本発明の第一態様の３次元形状計測装置においては、前記第１の２次元画像と前記第２の２次元画像が、深度画像であることが好ましい。

また、本発明の第二態様の３次元形状計測方法は、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する撮像部を用い、前記撮像部が出力した前記第２の２次元画像に基づく３次元形状モデルを前記第１の２次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成し（出力指示生成ステップ）、前記撮像部が出力した前記第２の２次元画像を記憶する（記憶ステップ）。

また、本発明の第三態様の３次元形状計測プログラムは、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する撮像部を用い、前記撮像部が出力した前記第２の２次元画像に基づく３次元形状モデルを前記第１の２次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成する出力指示生成ステップと、前記撮像部が出力した前記第２の２次元画像を記憶する記憶ステップとをコンピュータに実行させる。

本発明の態様によれば、逐次出力される第１の２次元画像と、第１の２次元画像とは設定が異なる第２の２次元画像とに基づき、第２の２次元画像に基づく３次元形状モデルを第１の２次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、撮像部に対する第２の２次元画像の出力指示が生成される。したがって、一定の時間間隔で撮像する場合と比べ、画像の撮像タイミングと撮像する画像の量とを適切に設定すること容易に可能となる。

本発明の一実施の形態の構成例を示したブロック図である。 図１に示した撮像部１１の構成例を示したブロック図である。 図１に示した出力指示生成部１２の構成例を示したブロック図である。 図３に示した出力指示生成部１２ａの動作例を説明するためのフローチャートである。 図３に示した出力指示生成部１２ａの動作例を説明するためのフローチャートである。 図２に示した撮像部１１を用いた対象物の計測例を説明するための模式図である。 図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。 図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。 図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。 図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。 図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。 図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。 図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。 図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の一実施形態としての３次元形状計測装置１の構成例を示したブロック図である。３次元形状計測装置１は、撮像部１１と、出力指示生成部１２と、記憶部１３と、照明部１４とを備えている。撮像部１１は、撮像した所定の２次元画像（以下、第１の２次元画像とする）を逐次出力するとともに、撮像した第１の２次元画像とは設定が異なる２次元画像（以下、第２の２次元画像とする）を所定の出力指示に対応させて出力する。

なお、本発明の実施の形態において、２次元画像とは、２次元配列された複数の画素を有する撮像素子で撮像した各画素値に基づく画像またはその画像を表す信号もしくはデータを意味することとする。この場合の画像は、モノクロ画像（グレー画像）、カラー画像、赤外線画像、距離画像等である。また、撮像した２次元画像の設定とは、画像データの構造や形式を示す設定情報や、撮像条件等の撮像の仕方を表す設定情報を意味する。ここで、画像データの構造や形式を示す設定情報とは、例えば、画像の解像度（以下、画像解像度とも記す）、画像圧縮の方式や圧縮率等の画像データの仕様を表す情報である。他方、撮像の仕方を表す設定情報とは、例えば、撮像解像度、撮像時のシャッタースピード、絞り値、撮像素子の感度（ＩＳＯ感度）等の撮像時の仕様（すなわち撮像の仕方）を表す情報である。なお、本発明の実施の形態において、撮像解像度とは、撮像素子からの、複数の画素信号の読み出し解像度を意味する。撮像素子によっては、フレームレートと出力有効ライン数との組み合わせを複数、有する撮像素子がある。このような撮像素子では、例えば、第１の２次元画像を有効ライン数が少ない画素信号から形成し、第２の２次元画像を有効ライン数が多い画素信号から形成するように設定することができる。なお、上述した画像解像度は、撮像部１１から出力される画像データの解像度であり、撮像解像度と同一の場合と異なる場合（例えば、間引き処理で小さくしたり、補間処理で疑似的に大きくしたりする場合）とがある。なお、第１の２次元画像とは、例えば、所定のフレームレートで繰り返し順次撮像される画像（すなわち動画像）である。そして、第２の２次元画像は、第１の２次元画像の解像度とは異なる解像度の画像（動画像又は静止画像）であったり、第１の２次元画像の撮像条件とは異なる撮像条件で撮像された画像である。

また、撮像条件には、照明部１４による照明の有無や照明の強さの違いを含ませることもできる。また、これらの条件は、複数組み合わせて設定することもできる。例えば、第２の２次元画像の撮像する際に、照明部１４の照明を行う又は照明を強くするとともにシャッタースピードを速くして、ぶれによる影響を小さくすることができる。あるいは、第２の２次元画像撮像する際に、照明部１４の照明を行う又は照明を強くするとともに絞り値（Ｆ値）を大きくすることで（つまり絞りを絞ることで）被写界深度を深くすることができる。また、画像解像度や撮像解像度については、第２の２次元画像の解像度を、第１の２次元画像の解像度よりも高解像度とすることができる。この場合、第２の２次元画像を、３次元形状モデルを生成する際に処理対象となる画像とし、その解像度を高解像度とすることで３次元形状モデルの生成精度をより高くすることができる。これと同時に、第１の２次元画像は逐次撮像される画像であるから、第１の２次元画像を低解像度とすることで容易にフレームレートを高めたり、あるいはデータ量を少なくしたりすることができる。これらの撮像条件の設定値は、第１の２次元画像と第２の２次元画像とのそれぞれに対して予め定めた値を用いるようにしてもよいし、出力指示生成部１２等から適宜に設定値を指示する情報を撮像部１１に対して入力することで設定されるようにしてもよい。

また、撮像部１１は、以下のように構成しても良い。すなわち、撮像部１１は、第１の２次元画像を出力する際に、第２の２次元画像と同一の解像度の画像データを取得し、この画像データを自身内部の記憶部に一旦記憶させ、所定の画素のみを抽出し、第２の２次元画像より低解像度の第１の２次元画像として、出力指示生成部１２や記憶部１３に対して出力する。そして、撮像部１１は、出力指示生成部１２から出力指示が供給された際、この出力指示に対応する第１の２次元画像とした画像データを自身内部の記憶部から読み出し、そのまま撮像した際の解像度で第２の２次元画像として出力する。そして、撮像部１１は、出力指示に対応して第２の２次元画像とした画像データを含め、この画像データより前の時刻に撮像した画像データを自身内部の記憶部から消去する。ここで、撮像部１１の内部の記憶部は、現在記憶されている第２の２次元画像の次のタイミングにおける第２の２次元画像が取得されるまでに、取得される画像データの記憶に必要な容量のみを、例えば、実験などによって決められた容量とし、必要最小限の容量とする。
また、この場合、撮像部１１は、上述した画像データとして、動画像で画像データを取得しても良いし、所定の周期で画像データを取得しても良い。この場合、第１の２次元画像と第２の２次元画像とで異なる設定は画像解像度のみとなる。したがって、撮像条件については、例えば、予め撮像データを撮像する周囲の環境によって、撮像データを撮像する際のシャッタースピード、絞り値、撮像素子の感度などの撮像条件の設定値が環境の違いにより設定しておくことができ、その時点の撮像する周囲の環境に合わせ、撮像するユーザが３次元形状計測装置１に対して設定することができる。

なお、撮像部１１としては、望遠や広角に焦点距離を変化させることができる撮像部を用いてもよいし、固定された撮像部を用いてもよい。この場合、焦点距離は、例えば、出力指示生成部１２等からの指示に応じて変化させることができる。また、撮像部１１は、オートフォーカス機能（すなわち対象物に自動でピント（焦点）を合わせる機能）を備えてもよいし、手動フォーカス機能を備えてもよい。ただし、撮像部１１は、出力指示生成部１２等からの指示によらずに焦点距離を変化させる場合、焦点距離を示すデータを、撮像した画像を表す画像データである第１の２次元画像や第２の２次元画像とともに、出力指示生成部１２等に対して供給できるようにしておく。

出力指示生成部１２は、撮像部１１が出力した第１の２次元画像と第２の２次元画像とに基づいて出力指示を生成する。

記憶部１３は、出力指示に応じて撮像部１１が出力した第２の２次元画像を記憶する記憶装置である。記憶部１３は、出力指示に応じて撮像部１１が出力した第２の２次元画像を直接記憶してもよいし、出力指示生成部１２の指示に応じてあるいは一旦出力指示生成部１２が撮像部１１から取得した第２の２次元画像を出力指示生成部１２を介して受け取ることで記憶するようにしてもよい。また、記憶部１３は、第２の２次元画像を記憶するとともに、出力指示生成部１２が出力指示を生成する処理の過程で算出した各種データ（例えば、画像から抽出した複数の特徴点を表すデータ、画像から抽出した複数の特徴点の異なるフレーム間での追跡結果を表すデータ、画像から復元した３次元形状データ等）を記憶してもよい。特徴点とは、ステレオ画像や動画像において画像間で点と点との対応付けがしやすい点を意味する。特徴点は、例えば、ある点（任意に選択された点、第一点）、又は、当該ある点の周囲の色、輝度、輪郭情報が、画像内の他の点（第二点）と比べて際立って異なるような点として定義される。換言すると、画像内において、色、輝度、輪郭情報の観点で、相対的な差異が際立って表れる互いに異なる２つの点のうち一方の点が、特徴点として定義される。特徴点は、頂点などとも呼ばれる。画像から特徴点を抽出する抽出アルゴリズムとしては、コーナー検出アルゴリズムとして機能する種々のアルゴリズムが提案されており、使用するアルゴリズムについては特に限定しない。但し、画像を回転、並行移動、拡大縮小しても安定して同じような領域に特徴点を抽出可能であることが望ましく、このようなアルゴリズムとしては、ＳＩＦＴ（ＵＳ６７１１２９３）などが知られている。また、記憶部１３は、第２の２次元画像を記憶するとともに、第１の２次元画像を記憶するようにしてもよい。

照明部１４は、撮像部１１の撮像対象物を照明する装置である。照明部１４は、出力指示生成部１２が出力した出力指示に対応させて、撮像部１１が第２の２次元画像を撮像するタイミングに合うように撮像対象物に対して所定の照明を行う。照明部１４は、フラッシュ、ストロボ等と呼ばれる撮像対象物に向けて短時間に強い光を照射する発光装置であってもよいし、所定の光を連続して発光する装置であってもよい。なお、照明部１４が出力指示に対応させて撮像対象物に対して行う所定の照明とは、出力指示の有無によって発光の有り無し又は発光量の大小を異ならせる照明を意味する。つまり、照明部１４は、出力指示に対応させて、撮像対象物に対して短時間の強い光を発光したり、照明の強度を強めたりする。

なお、３次元形状計測装置１は、図１に示したように、撮像部１１、出力指示生成部１２、記憶部１３及び照明部１４を一体として備えることもできるし、例えば、１又は２以上の要素（３次元形状計測装置の構成要素）の各々を別の装置で構成することもできる。例えば、撮像部１１、出力指示生成部１２、記憶部１３及び照明部１４を、一体として、携帯カメラ、携帯情報端末等の電子機器で構成することができる。また、例えば、撮像部１１と記憶部１３の一部又は全部を携帯カメラで構成し、出力指示生成部１２と記憶部１３の一部とをパーソナルコンピュータ等で構成することができる。また、照明部１４は、省略することもできるし、撮像部１１とは別の装置、例えば、据え置き型の照明装置で照明部１４を構成してもよい。また、照明部１４は、複数の発光装置を有して構成されてもよい。

さらに、３次元形状計測装置１は、無線や有線の通信装置を備え、図１に示した構成要素間を無線や有線の通信回線を介して接続してもよい。また、３次元形状計測装置１は、図１に示していない表示部、信号音出力部、表示灯や操作部を備えて、出力指示生成部１２からの出力指示をその表示部、信号音出力部や表示灯に出力する構成を有してもよい。そして、撮影者が、所定の操作子を操作することで、撮像部１１が第２の２次元画像を撮像するようにしてもよい。すなわち、出力指示生成部１２が出力指示を出力した場合、撮像部１１が直接その出力指示に応じて第２の２次元画像を撮像する構成のほか、撮影者の操作を介して撮像部１１が出力指示に応じて第２の２次元画像を撮像する構成を採用することもできる。

また、３次元形状計測装置１は、例えば、出力指示生成部１２内に（あるいは出力指示生成部１２とは別に）複数の第１の２次元画像に基づいて、３次元形状計測装置１の移動を推定する処理を行う構成を設けることができる。この移動の推定は、例えば、複数の第１の２次元画像において各第１の２次元画像に含まれる複数の特徴点を追跡することで行うことができる（例えば、非特許文献１参照）。その際、動画像のような複数の２次元画像間で特徴点を追跡する手法としては、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ法（ＫＬＴ法）等、複数の手法が広く使用されている。この移動の推定結果は、例えば、記憶部１３に記憶することができる。

また、３次元形状計測装置１は、例えば、ＧＰＳ（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ）受信機等を用いて自装置の位置情報を取得する機能を有したり、加速度センサ、ジャイロセンサ等を用いて自装置の移動を検知する機能を有していてもよい。この移動の検知結果は、例えば、記憶部１３に記憶することができる。

次に、図２を参照して、図１を参照して説明した撮像部１１の構成例について説明する。図２に示した撮像部１１は、第１撮像部５１ａと、第２撮像部５１ｂと、制御部５２とを備えている。第１撮像部５１ａと第２撮像部５１ｂとは、同一の構成を有する撮像装置である。第１撮像部５１ａは、光学系６１ａ、露出制御部６２ａ及び撮像素子６５ａを備えている。第２撮像部５１ｂは、光学系６１ａ、露出制御部６２ａ及び撮像素子６５ａと同一構成の光学系６１ｂ、露出制御部６２ｂ及び撮像素子６５ｂを備えている。第１撮像部５１ａと第２撮像部５１ｂとは、撮像部１１において互いに位置と向きとが異なるように配置されている。光学系６１ａ及び６１ｂは、１又は複数のレンズと、焦点距離を望遠又は広角に変化させるためのレンズの駆動機構やオートフォーカス用のレンズの駆動機構とを備えている。露出制御部６２ａ及び６２ｂは、絞り値制御部６３ａ及び６３ｂとシャッタースピード制御部６４ａ及び６４ｂとを備えている。絞り値制御部６３ａ及び６３ｂは、機械式絞り可変機構と、可変機構を駆動する駆動部とを備え、光学系６１ａ及び６１ｂから入射した光の量を可変して出射する。シャッタースピード制御部６４ａ及び６４ｂは、機械式シャッターと、機械式シャッターを駆動する駆動部とを備え、光学系６１ａ及び６１ｂから入射した光を遮断したり、所定の時間だけ通過させたりする。シャッタースピード制御部６４ａ及び６４ｂは、機械式シャッターに代えて電子シャッターを用いることもできる。

撮像素子６５ａ及び６５ｂは、光学系６１ａ及び６１ｂ及び露出制御部６２ａ及び６２ｂを介して対象物の反射光を入射し、電気信号に変換して出力する。撮像素子６５ａ及び６５ｂは、平面上で縦横に格子状に配列した複数の受光素子によって各画素を構成している（ここで画素は画像の記録単位を意味する）。また、撮像素子６５ａ及び６５ｂは、各画素に対応するカラーフィルターを備えていてもよいし、備えていなくてもよい。また、撮像素子６５ａ及び６５ｂは、各受光素子の駆動回路や出力信号の変換回路等を有し、各画素で受光した光をデジタル又はアナログの所定の電気信号に変換して、制御部５２に対して画素信号として出力する。また、撮像素子６５ａ及び６５ｂとしては、制御部５２からの指示に応じて画素信号の読み出し解像度を可変することができる撮像素子を用いてもよい。

制御部５２は、第１撮像部５１ａ及び第２撮像部５１ｂがそれぞれ備える光学系６１ａ及び６１ｂ、露出制御部６２ａ及び６２ｂ及び撮像素子６５ａ及び６５ｂを制御する。制御部５２は、第１撮像部５１ａ及び第２撮像部５１ｂが出力する画素信号を所定のフレーム周期で繰り返し入力し、第１撮像部５１ａ及び第２撮像部５１ｂが出力した各画素信号をフレーム毎に組み合わせてプレビュー用画像Ｓｐ（図１の第１の２次元画像に対応）として出力する。制御部５２は、また、出力指示生成部１２から入力した出力指示に応じて、例えば、プレビュー用画像Ｓｐの撮像時の撮像条件から所定の撮像条件に変化させるとともに、その条件で第１撮像部５１ａと第２撮像部５１ｂとから読み出された画素信号を１又は所定フレーム分、入力する。制御部５２は、例えば、出力指示に応じて変化させた撮像条件で撮像された画像信号をフレーム毎に組み合わせて計測用ステレオ画像Ｓｍ（図１の第２の２次元画像に対応）として出力する（ここでｎはペア番号を表す１〜Ｎまでの整数）。なお、プレビュー用画像Ｓｐは、フレーム毎に１枚のプレビュー画像を含む画像と、フレーム毎に２枚のプレビュー画像を含む画像の２種類を含む名称である。また、ステレオカメラで撮像された２枚のプレビュー画像を含む場合に特定するときには、プレビュー用ステレオ画像Ｓｐと呼ぶこととする。

また、制御部５２は、内部に記憶部７１を備えてもよい。この場合、制御部５２は、プレビュー用画像Ｓｐ（第１の２次元画像）を出力する際に、計測用ステレオ画像Ｓｍ（第２の２次元画像）と同一の解像度の画像データを取得し、この画像データを自身内部の記憶部７１に一旦記憶させ、所定の画素のみを抽出し、計測用ステレオ画像Ｓｍより低解像度のプレビュー用画像Ｓｐとして、出力指示生成部１２や記憶部１３に対して出力するようにしてもよい。また、この場合、制御部５２は、出力指示生成部１２から出力指示が供給された際、この出力指示に対応するプレビュー用画像Ｓｐとした画像データを自身内部の記憶部７１から読み出し、そのまま撮像した際の解像度で計測用ステレオ画像Ｓｍとして出力する。そして、制御部５２は、出力指示に対応して計測用ステレオ画像Ｓｍとした画像データを含め、この画像データより前の時刻に撮像した画像データを自身内部の記憶部７１から消去する。ここで、制御部５２の内部の記憶部７１は、現在記憶されている計測用ステレオ画像Ｓｍの次のタイミングにおける計測用ステレオ画像Ｓｍが取得されるまでに、取得される画像データの記憶に必要な容量のみを、例えば、実験などによって決められた容量とし、必要最小限の容量とすることができる。

図２に示した構成において、第１撮像部５１ａと第２撮像部５１ｂとは、ステレオカメラとして用いられる。例えば、第１撮像部５１ａの内部パラメータ行列Ａと、第２撮像部５１ｂの内部パラメータ行列Ａとは、同一である。また、第１撮像部５１ａと第２撮像部５１ｂとの間の外部パラメータ行列Ｍは予め所定の値に設定されている。したがって、同時に撮像された第１撮像部５１ａの撮像画像と第２撮像部５１ｂの撮像画像（以下、この１対の画像をステレオ画像ペアとも呼ぶ）とに基づき画素間（あるいは副画素（サブピクセル）間）の対応付けを行うことで、当該画像を撮像した視点を基準とする３次元形状（すなわち３次元座標）を不定性無く復元することができる。

なお、内部パラメータ行列Ａとは、カメラ校正行列とも呼ばれ、撮像対象物に関する物理的座標を、画像座標（すなわち第１撮像部５１ａの撮像素子６５ａの撮像面及び第２撮像部５１ｂの撮像素子６５ｂの撮像面を中心とした座標でありカメラ座標とも呼ばれる）へ変換する行列である。画像座標は、画素を単位とする座標である。内部パラメータ行列Ａは、焦点距離、画像中心の座標、画像座標の各成分のスケールファクタ（＝換算係数）、せん断係数によって表される。また、外部パラメータ行列Ｍは、画像座標を、ワールド座標（すなわちすべての視点や対象物に対して共通に決められた座標）に変換する行列である。外部パラメータ行列Ｍは、複数の視点間の３次元の回転（すなわち姿勢の変化）と並進（すなわち位置の変化）によって決まる行列である。第１撮像部５１ａと第２撮像部５１ｂとの間の外部パラメータ行列Ｍは、例えば、第１撮像部５１ａの画像座標を基準とした第２撮像部５１ｂの画像座標への回転と並進とによって表すことができる。また、ステレオ画像ペアに基づいて３次元形状を不定性無く復元するとは、内部パラメータ行列Ａと外部パラメータ行列Ｍとがともに既知である２個の撮像部の各撮像画像から、各画素に対応する対象物の物理的な３次元座標を算出することを意味する。また、本発明の実施の形態において不定性があることとは、画像に投影され３次元形状を一意には決定できないことを意味する。

なお、図１に示した撮像部１１は、必ずしも図２に示すようなステレオカメラ（つまり２台のカメラを用いた構成）としなくてもよい。例えば、撮像素子を１つのみとして（つまりカメラを１台として）、その撮像素子を移動させながら撮像した２枚の画像をステレオ画像ペアとして用いるようにしてもよい。ただし、この場合には、外部パラメータ行列Ｍが不定となるので一定の不定性が残ることになる。しかし、例えば、対象物の複数の基準点に関する３次元座標の実測データを用いて補正したり、あるいは、実測データを用いない場合でも現実の３次元空間ではなく不定性の存在を前提とした仮想空間内で３次元の形状を復元することなどが可能である。また、カメラの台数は、２台に限定されず、例えば、３台や４台としてもよい。

また、図１に示した撮像部１１としては、例えば、特許文献１に記載されているような、深度画像の生成部とカラー画像の生成部とを備える撮像部を用いることができる。そして、この場合には、出力指示に応じて、深度画像の解像度を変更したり、深度画像とカラー画像の両方の解像度を変更したり、カラー画像の解像度を変更したりする撮像部を採用することができる。

次に、図３から図１４を参照して、図１を参照して説明した出力指示生成部１２の構成例について説明する。図３に示した出力指示生成部１２ａは、計測用ステレオ画像Ｓｍ（第２の２次元画像）に基づく３次元形状モデルを、プレビュー用画像Ｓｐ（第１の２次元画像）を撮像した視点からみた場合の形状の欠損率（すなわち形状欠損割合）に基づいて、出力指示を生成する。ここで、形状欠損割合は、計測用ステレオ画像Ｓｍ（第２の２次元画像）に基づいて求めた３次元形状モデルを、プレビュー用画像Ｓｐ（第１の２次元画像）の撮像時の視点から２次元画像として表した場合に、算出することができた画像の割合に対応している。図３では、図１に示した出力指示生成部１２に対応する構成を、出力指示生成部１２ａとして示している。出力指示生成部１２ａは、例えば、ＣＰＵ（中央処理装置）、ＲＡＭ（ランダムアクセスメモリ）等の構成とＣＰＵで実行されるプログラムと用いて構成することができる。図３では、そのプログラムを実行することで行われる処理（あるいは機能）を複数のブロックに分けて、出力指示生成部１２ａの構成要素として示している。図３に示した出力指示生成部１２ａは、取得した計測用ステレオ画像Ｓｍから生成された３次元形状モデルにおける形状の欠損率に基づいて次の計測用ステレオ画像Ｓｍの取得の要否を判断している。なお、本発明の実施の形態において、形状の欠損率（つまり形状欠損割合）とは、３次元形状モデルにおいて所望の点群密度にどの程度達していないのかということを意味している。ただし、この形状の欠損率は、密度、取得率、充足率あるいは完成度といった、他の語（特徴量）を用いて表すことも可能である。

なお、図４及び図５は、図３に示した出力指示生成部１２ａの動作を説明するためのフローチャートである。そして、図６から図１４は、図３に示した出力指示生成部１２ａの動作例を説明するための説明図である。

図３に示した出力指示生成部１２ａは、プレビュー用ステレオ画像取得部３１と、プレビュー用形状復元部３２と、プレビュー用形状三次元特徴点算出部３３と、三次元対応算出部３４と、座標変換算出部３５と、撮影視点算出部３６と、計測形状描画部３７と、形状欠損率算出部３８とを備えている。出力指示生成部１２ａは、さらに、撮像要否判定部３９と、出力指示信号出力部４０と、計測用ステレオ画像取得部４１と、計測形状復元部４２と、計測形状統合部４３と、計測形状三次元特徴点算出部４４とを備えている。

プレビュー用ステレオ画像取得部３１は、撮像部１１からプレビュー用ステレオ画像Ｓｐをフレーム毎に入力し、プレビュー用形状復元部３２に対して出力する。プレビュー用形状復元部３２は、プレビュー用ステレオ画像取得部３１から入力したプレビュー用ステレオ画像Ｓｐに基づいて、プレビュー用形状Ｇｐを復元する。ここで、プレビュー用形状Ｇｐは、プレビュー用ステレオ画像Ｓｐを撮像した際の視点からみた座標系で表されている。ここで、プレビュー用形状Ｇｐは、プレビュー用ステレオ画像Ｓｐを構成する１対のステレオペア画像に基づいて復元された３次元形状のモデルであり、ペア画像間で対応付けられた各画素の３次元座標を表す点群モデルである。図７及び図１１に、プレビュー用形状Ｇｐを模式的に示した。図７に示したプレビュー用形状Ｇｐは、図６において位置Ｐｍを視点として撮像対象物１００を撮像した１対のプレビュー用ステレオ画像Ｓｐから復元された３次元モデルの一例を模式的に示した図である。一方、図１１に示したプレビュー用形状Ｇｐは、図６において移動後の位置Ｐｐを視点として撮像対象物１００を撮像した１対のプレビュー用ステレオ画像Ｓｐから復元された３次元モデルの一例を模式的に示した図である。図７及び図１１に示したプレビュー用形状Ｇｐは、３次元空間内に位置する複数の点３０１を含んでいる。各点３０１を表すデータは、少なくとも各点３０１の位置を表す３次元座標値を示すデータを含んでいる。

なお、図６は、図１から図３を参照して説明した３次元形状計測装置１を、撮像対象物１００の周囲で矢印方向に移動させながら撮像する動作を模式的に示した説明図である。
この場合、図６は、３次元形状計測装置１が有する２つの撮像部５１ａと撮像部５１ｂについて、撮像部５１ａの撮像素子６５ａが形成する面である撮像面（あるいは画像面）６６ａと、撮像部５１ｂの撮像素子６５ｂが形成する面である撮像面６６ｂとの位置関係を示している。ここで、撮像面６６ａの視点（つまり焦点あるいは光学中心）の位置を３次元座標点Ｐｍで表し、Ｐｍから撮像面６６ａに垂直に引いた直線である光軸の向きを表すベクトルをＶｍ、撮像面６６ａに沿った上向きのベクトルをＵｍとして表している。また、移動後の視点の位置を３次元座標点ｐで表し、光軸の向きを表すベクトルをＶｐ、撮像面６６ａに沿った上向きのベクトルをＵｐとして表している。ここで、Ｐｍ、Ｖｍ及びＵｍで表される視点は、最初の撮像を行った際の視点であり、出力指示生成部１２ａでは、ワールド座標における基準視点として用いている。

次に、プレビュー用形状三次元特徴点算出部３３は、プレビュー用形状復元部３２が復元したプレビュー用形状Ｇｐから、三次元特徴点群Ｆｐを抽出して出力する。図８及び図１２に三次元特徴点群Ｆｐの一例を模式的に示した。図８に示した三次元特徴点群Ｆｐは、図７に示したプレビュー用形状Ｇｐを構成する複数の点３０１のうち、所定の条件に従って抽出された０個以上の特徴点３０２を含んで構成されている。図１２に示した三次元特徴点群Ｆｐは、図１１に示したプレビュー用形状Ｇｐを構成する複数の点３０１のうち、所定の条件に従って抽出された０個以上の特徴点３０２を含んで構成されている。

三次元対応算出部３４は、プレビュー用形状Ｇｐから抽出された三次元特徴点群Ｆｐと、計測形状Ｇｉから抽出された三次元特徴点群Ｆｉとを対応付ける計算処理を行い、対応付けの結果を表す３次元対応行列Ｍ（以下、３次元対応Ｍと称する）を出力する。ここで、計測形状Ｇｉは、計測形状統合部４３で求められた３次元形状モデルであり、計測用ステレオ画像Ｓｍに基づいて復元された点群モデルを表す。また、計測形状Ｇｉは、Ｐｍ、Ｖｍ及びＵｍで表される基準視点からみたワールド座標系で表されている。図９に計測形状Ｇｉの一例を模式的に示した。図９に示した計測形状Ｇｉは、３次元空間内に位置する複数の点４０１を含んでいる。各点４０１を表すデータは、少なくとも各点４０１の位置を表す３次元座標値を示すデータを含んでいる。また、図１０に計測形状Ｇｉから抽出された三次元特徴点群Ｆｉの一例を模式的に示した。図１０に示した三次元特徴点群Ｆｉは、図９に示した計測形状Ｇｉを構成する複数の点４０１のうち、所定の条件に従って抽出された０個以上の特徴点４０２を含んで構成されている。

座標変換算出部３５は、３次元対応Ｍに基づいて、プレビュー用形状Ｇｐの座標系と、計測形状Ｇｉの座標系との座標変換を表す座標変換行列Ｔ（以下、座標変換Ｔと称する）を算出して、出力する。プレビュー用形状Ｇｐの座標系は、例えば、図６に示した移動後の未知の視点（位置Ｐｐ、向きＶｐ、上方向ベクトルＵｐ）から見た座標系である。一方、計測形状Ｇｉの座標系は、図６に示した基準視点（位置Ｐｍ、向きＶｍ、上方向ベクトルＵｍ）から見たワールド座標系である。

撮影視点算出部３６は、座標変換Ｔと基準視点（位置Ｐｍ、向きＶｍ、上方向ベクトルＵｍ）を表す各パラメータとに基づいて、プレビュー用ステレオ画像Ｓｐを撮像した際の撮像視点（位置Ｐｐ、向きＶｐ、上方向ベクトルＵｐ）を算出して、出力する。

計測形状描画部３７は、撮影視点算出部３６が算出した撮像視点（位置Ｐｐ、向きＶｐ、上方向ベクトルＵｐ）と、カメラの内部パラメータＡ（すなわち内部パラメータ行列Ａの各要素を表すパラメータ）を用いて、計測形状統合部４３が求めた計測形状Ｇｉを撮像視点（位置Ｐｐ、向きＶｐ、上方向ベクトルＵｐ）から描画した２次元画像Ｉｐを算出する。図１３に画像Ｉｐの一例を模式的に示した。画像Ｉｐは、複数の画素５０１から構成される画像である。図１３に示した例では、図６に示した撮像対象物１００に対応する画素のみを示しているが、画像Ｉｐは背景の一部又は全部を含めて２次元画像の全面にわたるような画像であってもよい。

形状欠損率算出部３８は、計測形状描画部３７が描画した統合済み計測形状Ｇｉを表す画像Ｉｐから形状が描画されているピクセル数の全画素数に対する割合Ｘｐを算出する。ここで、割合Ｘｐは、形状欠損率を表す値である。割合Ｘｐは、全画素数を分母として求めることもできるし、画像中の一定の領域が有する画素数を分母として求めることもできる。つまり、全画素数は、画像全体の画素数を表してもよいし、画像中の一部の領域が有する画素数のすべてを表してもよい。例えば、対象物が大きく撮像画像の全面にわたるような場合には、画像の全画素数を分母として割合Ｘｐを求めることが望ましい場合があると考えられる。一方、図１３に示したように、対象物が比較的小さく、対象物の周りを移動しながら対象物を撮像するような場合には、画像中の一部の領域が有する画素数のすべてを分母として割合Ｘｐを求めることが望ましい場合があると考えられる。なお、一部の領域が有する画素数のすべてを分母とする場合としては、例えば、図１４に示したように、プレビュー用ステレオ画像Ｓｐから対象物の境界を含む領域を認識し、その境界内に含まれる画素数を分母とする場合が考えられる。図１４は、図１３に示した画像Ｉｐと、プレビュー用ステレオ画像Ｓｐから認識した撮像対象物１００の領域を示す複数の画素７０１からなる画像Ｉｂとを重ねて示している。この場合、画像Ｉｂの画素数（ただし、画像Ｉｐの解像度を考慮した変換を行った値を用いる）を分母として、画像Ｉｐの画素数を分子として割合Ｘｐを算出する。

撮像要否判定部３９は、形状欠損率算出部３８が算出した割合Ｘｐと、所定の閾値Ｘｔとを比較することで、プレビュー用ステレオ画像取得部３１がプレビュー用ステレオ画像Ｓｐを取得した際の視点の位置で、計測用ステレオ画像Ｓｍを取得する必要があるか否かを判定する。ここで、所定の閾値Ｘｔは、形状欠損率を示す割合Ｘｐが、計測用ステレオ画像Ｓｍの取得を必要とする値であるのか否かを判断する際の基準として用いられる値である。閾値Ｘｔとしては、事前に設定した値を用いてもよいし、取得した計測用ステレオ画像Ｓｍのペア数等に合わせて可変な値を用いてもよい。撮像要否判定部３９は、条件：Ｘｐ＜Ｘｔが成立した場合、次の計測用ステレオ画像Ｓｍの取得が必要であると判定する。他方、条件：Ｘｐ＜Ｘｔが成立しなかった場合、撮像要否判定部３９は、次の計測用ステレオ画像Ｓｍの取得が不要であると判定する。撮像要否判定部３９は、最後にプレビュー用ステレオ画像Ｓｐを撮像した視点（あるいはほぼ同一の視点）で次の計測用ステレオ画像Ｓｍを取得することが必要であると判定すると、出力指示信号出力部４０に対してその旨（判定結果）を示す信号を出力する。一方、不要であると判定した場合、撮像要否判定部３９は、プレビュー用ステレオ画像取得部３１に対してその旨（判定結果）を示す信号を出力する。

出力指示信号出力部４０は、撮像要否判定部３９から次の計測用ステレオ画像Ｓｍの取得が必要であることを示す信号を入力すると、撮像部１１等に対して出力指示信号を出力する。また、プレビュー用ステレオ画像取得部３１は、撮像要否判定部３９から次の計測用ステレオ画像Ｓｍの取得が不要であることを示す信号を入力すると、次のプレビュー用ステレオ画像Ｓｐの取得処理を行う（例えば、撮像部１１から次のプレビュー用ステレオ画像Ｓｐが出力するまで待機する処理を行う）。

計測用ステレオ画像取得部４１は、出力指示信号出力部４０が出力した出力指示信号に対応して撮像部１１が撮像した計測用ステレオ画像Ｓｍを取得して、計測形状復元部４２に対して出力する。

計測形状復元部４２は、計測用ステレオ画像Ｓｍに基づいて、計測形状Ｇｍを復元する。ここで、計測形状Ｇｍは、計測用ステレオ画像Ｓｍに基づいて復元された点群モデルを表す。この計測形状Ｇｍは、計測用ステレオ画像Ｓｍを取得した撮像部１１の視点を基準とする座標系で表されている。

計測形状統合部４３は、計測形状復元部４２が復元した計測形状Ｇｍを、これまでに復元された１又は複数の計測形状Ｇｍから生成された３次元モデルである計測形状Ｇｉに統合して、更新された計測形状Ｇｉを出力する（図９参照）。その際、計測形状統合部４３は、例えば、プレビュー用ステレオ画像Ｓｐに含まれる複数の特徴点の追跡結果に基づいて推定した撮像部１１の移動の推定結果に応じて、計測形状Ｇｍの座標系を、計測形状Ｇｉの座標系すなわちワールド座標系に変換する。あるいは、計測形状統合部４３は、計測用ステレオ画像Ｓｍに含まれる複数の特徴点の追跡結果に基づいて推定した撮像部１１の移動の推定結果に応じて、計測形状Ｇｍの座標系を、計測形状Ｇｉの座標系すなわちワールド座標系に変換するようにしてもよい。この場合には、プレビュー用ステレオ画像Ｓｐに含まれる複数の特徴点の追跡結果に基づくときと比べて、より高精度の座標変換を行うことができる。

計測形状三次元特徴点算出部４４は、計測形状統合部４３によって統合された計測形状Ｇｉから三次元特徴点群Ｆｉを算出する（図１０参照）。計測形状三次元特徴点算出部４４が三次元特徴点群Ｆｉを算出すると、プレビュー用ステレオ画像取得部３１が次のプレビュー用ステレオ画像Ｓｐの取得処理を行う。

次に、図４及び図５を参照して、図３に示した出力指示生成部１２ａを備える３次元形状計測装置１の動作例について説明する。なお、図４と図５のフローは、１対の結合子Ａ及び１対の結合子Ｂで互いに接続されている。例えば、撮影者が所定の指示操作を行うと、出力指示生成部１２ａでは、プレビュー用ステレオ画像取得部３１が、プレビュー用ステレオ画像Ｓｐを取得する（ステップＳ３０１）。次に、プレビュー用形状復元部３２が、プレビュー用ステレオ画像Ｓｐからプレビュー用形状Ｇｐを復元する（ステップＳ３０２）。次に、プレビュー用形状三次元特徴点算出部３３が、プレビュー用形状Ｇｐから三次元特徴点群Ｆｐを算出する（ステップＳ３０３）。次に、三次元対応算出部３４が、プレビュー用形状Ｇｐから抽出された三次元特徴点群Ｆｐと統合された計測形状Ｇｉから抽出された三次元特徴点群Ｆｉを対応付け、三次元対応Ｍを得る（ステップＳ３０４）。次に、座標変換算出部３５が、三次元対応Ｍからプレビュー用形状Ｇｐの座標系と統合された計測形状Ｇｉの座標系の間の座標変換Ｔを算出する（ステップＳ３０５）。次に、撮影視点算出部３６が、座標変換Ｔと基準視点（位置Ｐｍ、向きＶｍ、上方向ベクトルＵｍ）からプレビュー用ステレオ画像Ｓｐの撮影視点（位置Ｐｐ、向きＶｐ，上方向ベクトルＵｐ）を算出する（ステップＳ３０６）。

次に、計測形状描画部３７が、算出された撮影視点（位置Ｐｐ、向きＶｐ、上方向ベクトルＵｐ）からカメラパラメータＡを用いて、統合された計測形状Ｇｉを描画した画像Ｉｐを得る（ステップＳ３０７）。次に、形状欠損率算出部３８が、描画された統合済み計測形状Ｇｉの画像Ｉｐから形状が描画されているピクセル数の全画素数に対する割合Ｘｐを算出する（ステップＳ３０８）。次に、撮像要否判定部３９が、次の条件の成立／不成立を判定する（条件：Ｘｐ＜Ｘｔ）（ステップＳ３０９）。

ここで条件が成立した場合、出力指示信号出力部４０が、出力指示信号を出力する（ステップＳ３１０）。次に、計測用ステレオ画像取得部４１が、計測用ステレオ画像Ｓｍを取得する（ステップＳ３１１）。次に、計測形状復元部４２が、計測用ステレオ画像Ｓｍから計測形状Ｇｍを復元する（ステップＳ３１２）。次に、計測形状統合部４３が、計測形状Ｇｍをこれまでに統合された計測形状Ｇｉに統合する（ステップＳ３１３）。次に、計測形状三次元特徴点算出部４４が、統合された計測形状Ｇｉから三次元特徴点群Ｆｉを算出する（ステップＳ３１４）。ここで、処理がステップＳ３０１に戻って上記の処理が繰り返し実行される。

一方、ステップＳ３０９で条件が不成立の場合、処理がステップＳ３０１に戻って上記の処理が繰り返し実行される。

以上のようにして、本実施形態の３次元形状計測装置１では、逐次撮像するプレビュー用ステレオ画像Ｓｐ（第１の２次元画像）と３次元形状モデルを生成する際に処理対象とする計測用ステレオ画像Ｓｍ（第２の２次元画像）とに基づいて次の計測用ステレオ画像Ｓｍ（第２の２次元画像）の取得の要否を判定する。したがって、例えば、プレビュー用ステレオ画像Ｓｐ（第１の２次元画像）に基づいて取得タイミングを適切に設定し、計測用ステレオ画像Ｓｍ（第２の２次元画像）に基づいて取得する画像の量を適切に設定することができ、一定の時間間隔で取得する場合に比べて容易に取得タイミングを適切に設定することができる。

また、本実施形態の出力指示生成部１２ａは、計測用ステレオ画像Ｓｍ（第２の２次元画像）に基づく３次元形状モデルＧｉを、プレビュー用ステレオ画像Ｓｐ（第１の２次元画像）を撮像した視点からみた場合の形状欠損割合に基づいて、次の計測用ステレオ画像Ｓｍ（第２の２次元画像）の取得の要否を判定する。したがって、３次元モデルを生成した際に必要とする計測用ステレオ画像Ｓｍ（第２の２次元画像）が不足していることを精度よく推定することができ、取得の要否の判断を精度よく行うことができる。また、形状欠損割合は、計測用ステレオ画像Ｓｍ（第２の２次元画像）に基づいて求めた３次元形状モデルＧｉを、プレビュー用ステレオ画像Ｓｐ（第１の２次元画像）の撮像時の視点から２次元画像として表した場合に算出することができた画像Ｉｐの割合に対応している。したがって、撮像部１１の位置や向きを考慮して精度良く取得の要否を判定することができる。

なお、撮像部１１に距離画像を出力する機能を備える場合には、プレビュー用ステレオ画像Ｓｐ（第１の２次元画像）を例えば、解像度が小さい距離画像とし、計測用ステレオ画像Ｓｍ（第２の２次元画像）を例えば、解像度が大きい距離画像とすることができる。この場合、深度画像に含まれる各画素の深度情報（あるいはデプス値、奥行き値、距離情報）を利用して３次元形状モデルを算出することができる。

なお、本発明の実施の形態は、上記実施形態に限定されない。例えば、３次元形状計測装置１は、撮像した画像に基づいて復元した３次元モデルを表示する表示部等を備えるなど、３次元モデルを復元したり、復元した結果を出力する構成を備える等の変更を適宜行うことができる。また、３次元形状計測装置１は、１又は複数のＣＰＵと、ＣＰＵで実行されるプログラムとを用いて構成することができ、そのプログラムは、コンピュータ読み取り可能な記録媒体や通信回線を介して流通等させることができる。

１ ３次元形状計測装置１１ 撮像部１２、１２ａ 出力指示生成部１３ 記憶部１４ 照明部

Claims (8)

1. 撮像した第１の２次元画像を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる第２の２次元画像を所定の出力指示に対応させて出力する撮像部と、
   前記撮像部が出力した前記第２の２次元画像に基づく３次元形状モデルを前記第１の２次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成する出力指示生成部と、
   前記撮像部が出力した前記第２の２次元画像を記憶する記憶部と
   を備える３次元形状計測装置。
2. 前記第１の２次元画像と前記第２の２次元画像とは画像の解像度の設定が異なり、
   前記第２の２次元画像が、前記第１の２次元画像よりも高解像度である請求項１に記載の３次元形状計測装置。
3. 前記形状欠損割合は、前記第２の２次元画像に基づいて求めた前記３次元形状モデルを、前記第１の２次元画像の撮像時の視点から２次元画像として表した場合に、算出することができた画像の割合に対応する請求項１又は請求項２に記載の３次元形状計測装置。
4. 前記第１の２次元画像と前記第２の２次元画像とは画像を撮像する際のシャッタースピード、絞り値又は撮像素子の感度の少なくとも１つの設定が異なる請求項１から請求項３のいずれか一項に記載の３次元形状計測装置。
5. 撮像対象物を照明する照明部を備え、
   前記出力指示に対応させて、前記撮像部が前記第２の２次元画像を撮像するとともに、前記照明部が前記撮像対象物に対して所定の照明を行うことを特徴とする請求項１から請求項４のいずれか一項に記載の３次元形状計測装置。
6. 前記第１の２次元画像と前記第２の２次元画像が、深度画像であることを特徴とする請求項１から請求項３のいずれか一項に記載の３次元形状計測装置。
7. 撮像した第１の２次元画像を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる第２の２次元画像を所定の出力指示に対応させて出力する撮像部を用い、
   前記撮像部が出力した前記第２の２次元画像に基づく３次元形状モデルを前記第１の２次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成し、
   前記撮像部が出力した前記第２の２次元画像を記憶する３次元形状計測方法。
8. 撮像した第１の２次元画像を逐次出力するとともに、撮像した前記第１の２次元画像とは設定が異なる第２の２次元画像を所定の出力指示に対応させて出力する撮像部を用い、
   前記撮像部が出力した前記第２の２次元画像に基づく３次元形状モデルを前記第１の２次元画像を撮像した視点からみた場合の形状欠損割合に基づいて、前記出力指示を生成する出力指示生成ステップと、
   前記撮像部が出力した前記第２の２次元画像を記憶する記憶ステップとを
   コンピュータに実行させる３次元形状計測プログラム。

Images