JP5450380B2 - 画像処理装置、集積回路、および画像処理方法 - Google Patents

Description

本発明は、鏡面を用いて、対象物が当該鏡面に映り込んだ虚像に基づいて、その対象物の三次元計測を行う方法およびその装置に関する。

従来の三次元形状測定装置としては、レーザースリット光を対象物に照射し、その対象物上のスリット光の位置関係をカメラで捉えることにより対象物までの距離を測定し、対象物の三次元形状を復元する光切断法が知られている。他にも対象物の全周囲に、複数台のカメラを設置して撮影の死角を無くし、それぞれのカメラが捉えた対象物のシルエット画像とカメラの位置から、対象物のシルエットを三次元的に重ね合わせていくことで、対象物の外形を推定していく視体積交差法がある。

前記のような手法で対象物の三次元復元を行う場合、カメラの台数が多ければ多いほど復元の精度が向上する。しかし、それぞれのカメラに対し、キャリブレーションを行う必要があるため、カメラの台数を増やせば増やすほどキャリブレーションを行うのが困難になるという矛盾が生じる。

そこで、精度を保ったまま、カメラ台数を減らす方法として、カメラから死角となる部分の三次元形状復元を行うために、鏡に死角部分を映し出すことで、１台のカメラにより正面および死角部分双方の撮影を１度に行うような手法が考えられる。実際に鏡で死角部分の映像を取得する方法として、まずは対象物の可視部分を光切断法で計測し、この対象物の座標と、既知である鏡面の座標を考慮することによって、鏡面に映し出された死角部分の虚像のみの切り抜きを行い、死角部分の三次元形状復元結果とする手法が提案されている（特許文献１参照）。

特許第３５７４０４４号公報

特許文献１は、カメラからの可視部分にあたる実像と鏡に映り込んでいる虚像との切り分けを行っている。しかしながら、この手法は、まず１度実像部分の三次元形状復元を光切断法により行い、その装置内での座標を求めてから、さらにもう１度虚像部分の三次元形状復元を行わなければ鏡に映り込んだ部分の三次元形状復元は行うことができない。さらに、光切断法は測定に時間を要するので、人のような動きのある対象物の測定には向いていないという問題もある。

本発明は、前記従来の手法が有する課題を解決するもので、鏡を用いたときに生じる実像と虚像の切り分けの問題を解決しながら、高速に鏡を用いて対象物の三次元形状復元を行うことを目的とした方法およびその装置を提供することを目的とする。つまり、簡単な処理により実像と虚像の切り分けができ、しかも、対象物に動きがあるときでも正しく切り分けができることを第１の目的とする。そして、これにより、簡単な処理によって、三次元形状計測ができて、しかも、対象物に動きがあるときでも計測ができる三次元形状計測装置を提供することを第２の目的とする。

前記従来の課題を解決するために、本発明の画像処理装置は対象物からの光を反射する鏡面と、前記対象物の実像と、前記鏡面により形成された、前記対象物の虚像との両者を撮影し、撮影画像を取得する撮影部と、前記実像と、前記虚像とのうちで、前記虚像の光量を変化させる光量変化部と、前記撮影部により撮影された撮影画像のうち、前記光量変化部による前記変化の影響を有する第１の撮影画像と、影響を有さない第２の撮影画像とにおける、光量が異なる部分を前記虚像と特定し、同じである部分を前記実像と特定する像分離部と、を備える画像処理装置である。

これにより、例えば、対象物の三次元形状を計測する三次元形状計測装置であって、前記対象物からの光を反射する鏡面と、前記対象物の実像と、前記鏡面により形成された、前記対象物の虚像との両者を撮影し、撮影画像を取得する撮影部と、前記実像と、前記虚像とのうちで、前記虚像の光量を変化させる光量変化部と、前記撮影部により撮影された撮影画像のうち、前記光量変化部による前記変化の影響を有する第１の撮影画像と、影響を有さない第２の撮影画像とにおける、光量が異なる部分を前記虚像と特定し、同じである部分を前記実像と特定する像分離部とを備える上述の画像処理装置を含み、かつ、この画像処理装置の内部などに、前記像分離部によって特定された前記実像と前記虚像とを利用して、前記対象物の三次元形状を復元する復元部を備える三次元形状計測装置などが提供できる。

こうすることで、例えば、光切断法における、スリット光を照射したり、対象物上のスリット光の位置関係をカメラで捉えるなどの処理が必要とならない。これにより、複雑な処理が必要なくなり、簡単に、三次元形状を復元できる。しかも、カメラで位置関係を捉える処理の時間と比べて、２つの撮影画像が撮影される間の時間は短くできるので、対象物に動きがあったとしても、短い時間の間にそれらの撮影ができて、撮影される各対象物の映像の間に動きがないようにできる。これにより、対象物に動きがあっても、三次元形状を復元できる。従って、簡単な処理により復元ができて、しかも、対象物に動きがあっても、復元ができる。

なお、三次元形状計測装置は、複数の撮影部を備えてもよい。それら複数の撮影部のうちの１個又は複数は、実像と虚像のうちのどちらか一方のみが映っている撮影画像を撮影してもよい。また、撮影部は、像分離部により実像と虚像が分離される撮影画像以外の他の撮影画像を撮影してもよい。ここで、他の撮影画像は、例えば、実像と虚像のうちのどちらか一方のみが映っている画像でもよい。

また、「前記実像と、前記虚像とのうちで、前記虚像の光量を変化させる」とは、予め定められた変化を虚像の光量には生じさせ、実像の光量には生じさせないことをいう。ここで、予め定められた変化とは、虚像では生じ、実像では生じないことにより、像分離部による像の分離が可能になる変化をいう。例えば、実像では、虚像での変化に伴って、像分離部による像の分離が不可能になるような変化（例えば、上記の予め定められた変化）ではない多少の変化が生じてもよい。

本発明の三次元形状計測装置によれば、鏡面を利用した対象物の撮影時に、撮影部から捉えることのできる対象物の実像と、前記鏡面に映り込んだ対象物の虚像との切り分けを行うことが可能となる。これにより、例えば１つの撮影部から撮影された映像を前記実像と前記虚像と異なる撮影位置から撮影された映像として利用することができる。これにより三次元形状計測を行う際に利用する撮影部の数を減らすことができ、撮影部が多ければ多い程複雑になるカメラキャリブレーションの問題を軽減するなどの効果が得られる。

また、他の効果としては、簡単な処理により実像と虚像の切り分けができ、しかも、対象物に動きがあるときでも正しく切り分けができる。これにより、三次元形状の復元が簡単な処理によりできて、しかも、対象物に動きがあるときでも復元ができる効果が生じる。

図１は、実施の形態１における三次元形状計測装置の概略を示す構成図である。 図２は、実施の形態１を構成するそれぞれの部分と、実施の形態１において三次元形状復元を行う際の一連の処理の流れを示した基本構成図である。 図３は、実施の形態１の構成要素の位置関係を示す図である。 図４は、実施の形態１における鏡面および鏡面反射制御部の具体的な構成図である。 図５は、画像が表示されていない状態が撮影された映像を示す図である。 図６は、画像が表示されていない状態が撮影された映像を示す図である。 図７は、画像が表示されていない状態が撮影された映像を示す図である。 図８は、画像が表示されている状態が撮影された映像を示す図である。 図９は、画像が表示されている状態が撮影された映像を示す図である。 図１０は、画像が表示されている状態が撮影された映像を示す図である。 図１１は、実施の形態１における画像処理による実像部分と虚像部分の抽出の処理フローを示す図である。 図１２は、実施の形態２における三次元形状計測装置の概略を示す構成図である。 図１３は、実施の形態２における三次元形状計測装置の概略を示す構成図である。 図１４は、実施の形態２を構成するそれぞれの部分と、実施の形態２において三次元形状復元を行う際の一連の処理の流れを示した基本構成図である。 図１５は、実施の形態２における鏡面および鏡面反射制御部の具体的な構成図である。 図１６は、実施の形態２の構成要素の位置関係を示す図である。 図１７は、実施の形態３における三次元形状計測装置の概略を示す構成図である。 図１８は、実施の形態３における三次元形状計測装置の概略を示す構成図である。 図１９は、実施の形態３における鏡面および鏡面反射制御部の具体的な構成図である。 図２０は、実施の形態３の構成要素の位置関係を示す図である。 図２１は、実施の形態４における三次元形状計測装置の概略を示す構成図である。 図２２は、実施の形態４における三次元形状計測装置の概略を示す構成図である。 図２３は、実施の形態４を構成するそれぞれの部分と、実施の形態４において三次元形状復元を行う際の一連の処理の流れを示した基本構成図である。 図２４は、実施の形態４における鏡面および鏡面反射制御部の具体的な構成図である。 図２５は、本発明の実施の形態４における三次元形状計測装置の概略を示す構成図である。 図２６は、本発明の実施の形態４における三次元形状計測装置の概略を示す構成図である。 図２７は、実施の形態５に係る三次元形状計測装置を示す図である。 図２８は、実施の形態５に係る三次元形状計測装置を示す図である。 図２９は、三次元形状計測装置の構成を示す図である。 図３０は、三次元形状計測装置が備える鏡面等の複数の部分の間の位置関係を示す図である。 図３１は、距離センサ部の詳細な構成を示す図である。 図３２は、変形例である三次元形状計測装置を示す図である。 図３３は、三次元形状計測装置を示す図である。

以下本発明の実施の形態について、図面を参照しながら説明する。

なお、以下で使用する全ての図において、適宜、同じ構成要素のものは同じ符号を用い、説明を省略する。

実施の形態における三次元形状計測装置（三次元形状計測装置１〜８）は、対象物（対象物１１３Ｒ）の三次元形状を計測する三次元形状計測装置であって、前記対象物からの光を反射する鏡面（鏡面１０１、１５０等）と、前記対象物の実像と、前記鏡面により形成された、前記対象物の虚像との両者を映した撮影画像を撮影する撮影部（撮影部１０３）と、前記実像と、前記虚像とのうちで、一方の像の光量を変化させる光量変化部（光量変化部６３ａ、表示部１２０、鏡面遮断部１３０、光照射部１４０等）と、前記光量変化部による前記変化の影響を有する第１の撮影画像（変化画像Ｉａ等）と、影響を有さない第２の撮影画像（通常画像Ｉｂ）とにおける、光量が異なる部分を前記一方の像（実像Ｉｂ２、実像１１３等）と特定し、同じである部分を他方の像（虚像Ｉｂ１、虚像１１４等）と特定する像分離部（撮像分離部１０４）と、前記像分離部によって特定された前記実像と前記虚像とを利用して、前記対象物の三次元形状を復元する復元部（三次元復元部１０７）とを備える三次元形状計測装置である。

このため、一方の像の光量の変化に基づいて、実像と虚像との全体のうちから、実像および虚像がそれぞれ特定される。これにより、実像および虚像が切り分けられる。このため、簡単な処理で、高速に、切り分けができる。

なお、実像と…虚像との両者を映した撮影画像を撮影するとは、実像の領域と、虚像の領域との両者が含まれる撮影画像を撮影することをいう。

一方の像の光量を変化させるとは、一方の像の光の光路（光路１０１Ｒ）において、その光に作用することにより、その光の量を変化させることをいう。

第１の撮影画像と、…第２の撮影画像とにおける、…光量が…同じである部分を他方の像と特定するとは、影響を有する第１の撮影画像における、実像の領域および虚像の領域の全体のうちで、影響を有しない部分、つまり、光量の変化がされなかった部分を、他方の像の領域と特定することをいう。また、光量が異なる部分を一方の像と特定するとは、その全体における、特定された、他方の像の領域以外の他の部分を、一方の像の領域と特定することをいう。

なお、他方の像の領域が特定されることと、一方の像の領域が特定されることとの順序は、後者が後の順序でもよいし、前者が後の順序でもよいし、両方が同時の順序でもよい。

特定された前記実像と前記虚像とを利用して、…三次元形状を復元するとは、特定された一方の像の領域と、他方の像の領域とを上記第１の撮影画像に撮影させる三次元形状を、対象物の三次元形状と特定することをいう。

例えば、撮影部は、影響を有する第１の撮影画像（変化画像Ｉａ）を撮影すると共に、有さない第２の撮影画像（通常画像Ｉｂ）も撮影する。そして、像分離部は、撮影された第２の撮影画像（通常画像Ｉｂ）における、特定された一方の像の領域（虚像の領域Ｒ１）の画像（虚像Ｉｂ１）を第２の撮影画像に撮影させる三次元形状を、対象物の三次元形状として特定する。これにより、変化のない画像から三次元形状が特定され、特定の精度を高くできる。

なお、光量変化部は、例えば、撮影画像（撮影画像Ｉ）に含まれる、実像の領域（実像の領域Ｒ２）と、虚像の領域（虚像の領域Ｒ１）との２つの領域の像のうちの一方の像の光量を、０に変化させるものでもよい。

なお、例えば、換言すれば、三次元形状計測装置（三次元形状計測装置１）においては、鏡面（鏡面１０１）が、対象物の虚像を形成する。そして、撮影部（撮影部１０３）が、対象物の実像の領域（実像の領域Ｒ２）と、虚像の領域（虚像の領域Ｒ２）との両者が含まれる撮影映像を撮影する。そして、光量変化部（光量変化部６３ａ）が、虚像と実像とのうち一方の像の光が進む光路（光路１０１Ｒ）において、その光に作用して、その一方の像の光量を変化させる。そして、像分離部（撮像分離部１０４）が、上記撮影画像における、実像の領域と虚像の領域との全体のうちで、光量の変化がされなかった部分を、他方の像（実像）の領域（実像の領域Ｒ２）と特定し、特定される領域以外の他の部分を、一方の像（虚像）の領域（虚像の領域Ｒ１）と特定する。そして、復元部が、特定された２つの領域を撮影させる三次元形状を、対象物の三次元形状として特定する。特定された三次元形状は、例えば、ユーザに表示される。

これにより、単なる、一方の像の光量の変化を用いて、簡単かつ高速に、２つの像の切り分けができる。

しかも、実像の領域と、虚像の領域とのうちの一方の領域のみが撮影画像に含まれる位置、方向等が撮影装置等に設定された複雑な構成が必要でない。つまり、両方の領域が含まれる撮影画像を撮影する位置、方向等を有する撮影部による単純な構成により、装置が構成される。これにより、装置の構成を単純にできる。

なお、光量変化部は、例えば、前記一方の像のうちの、特定の色の光量のみを変化させるものであってもよい。また、光量変化部は、例えば、予め定められた範囲の各色の光量を一様に何れも変化させるものであってもよい。なお、光量変化部は、これらの態様ではない他の態様であってもよい。

また、前記像分離部は、前記光量変化部により前記光量を変化させて、変化がされた第１の光量での、第１の撮影画像を前記撮影部に撮影させると共に、変化させないで、変化がされない第２の光量での、第２の撮影画像を撮影させて、撮影された当該２つの撮影画像を取得し、取得された当該２つの撮影画像を用いて、実像と虚像とを各々特定するものとしてもよい。

なお、三次元形状計測装置は、第１の撮影画像の撮影のタイミングに同期して変化をさせ、つまり、第１の撮影のタイミングと同時に、変化をさせるようにすると共に、第２の撮影画像の撮影に同期して、変化がされないようにし、つまり、第２の撮影のタイミングと同時に、変化がされるようにする同期部を備えるものとしてもよい。

復元部は、例えば、前記実像と前記虚像を利用して、当該実像と当該虚像を生じさせる三次元形状を算出して、算出された三次元形状を、前記対象物の三次元形状と特定するものである。すなわち、復元部は、三次元形状に含まれる各三次元位置を算出することによって、算出された各三次元位置よりなる三次元形状を算出する。例えば、復元部は、複数の画像から人間がステレオ視によって、三次元形状を認識する際の方法と同様の方法によって、三次元の形状を復元するものであってもよい。

なお、次のような三次元形状計測装置を構成してもよい。

すなわち、光を反射する鏡面部と、対象物と前記鏡面部とを映す画像を撮影する撮影部と、光量制御部（光量変化部）とを有し、撮影と同期して前記鏡面に反射する前記虚像の前記撮影部からの見え方を変更することを行う三次元形状計測装置を構成してもよい。

本構成によって、複数回撮影を行った場合に撮影された映像における前記虚像部分の映像に変化を与え、撮影部から直接捉えることのできる対象物の実像と前記虚像とを合わせた映像と、前記実像と前記光量制御部により変化を与えた前記虚像とを合わせた映像が取得される。さらに、三次元形状復元部（復元部）を構成に加えることにより、前記２種類の映像から対象物の実像部分と虚像部分のみを抽出し、この抽出結果を用いて三次元形状復元を行うことが可能となる。

そして、この三次元形状計測装置は、三次元形状復元を行う際に用いる前記実像と前記虚像を別々に利用する際には、撮像分離部（像分離部）を用いる。これ（撮像分離部）は、前記複数回の撮影において取得した前記実像と前記虚像を合わせた映像と、前記実像と前記変化を与えた前記虚像とを合わせた映像との差分を用いて、画像処理により前記実像と前記虚像とを別々に抽出するものである。

さらに、この三次元形状計測装置では、鏡面部に映り込んだ虚像部分は、鏡面反射の性質により、左右が反転している。よって、前記撮像分離部で分離された虚像を実際に三次元形状復元に用いる際には、三次元形状計測装置は、虚像反転部を用いて、前記虚像の左右を反転させる。

ここで、この三次元形状計測装置においては、前記実像と前記虚像を三次元形状復元に利用する際は、この２つの映像は、異なる視点からの撮影画像として利用可能である。すなわち、これは、例えば、三次元形状計測装置が、鏡面が平面であった場合に、前記実像については、前記撮影部の位置を視点として用いる一方で、前記虚像については、前記鏡面部に対して、前記撮影部の位置と面対称の位置を視点として用いることが考えられる。

なお、前記光量制御部の１つの例としては、前記撮影と同期し、前記鏡面を透過する画像を表示させる表示部が考えられる。三次元形状計測装置は、この表示部を用いて、前記鏡面における反射と重ねて、所定の色もしくは所定の模様からなる画像を表示させることにより、前記虚像部分の撮影された画像に変化を持たせる。前記表示部によって表示させる画像に用いる前記所定の色もしくは所定の模様に関しては、具体的には、前記表示部に画像を表示していないときに撮影部で撮影した撮影画像に使用されていない色や、対象物の補色などを用いることが考えられる。

なお、表示部が表示する画像の色は、撮影画像におけるその画像の部分以外の他の部分の色ではない色であることが好ましい。他の部分の色ではない色とは、具体的には、例えば、表示部が画像を表示していないときに撮影部に撮影される撮影画像に使用されない色であってもよいし、対象物の色の補色であってもよい。

また、このような、表示部を有する三次元形状計測装置であれば、前記表示部を用いて復元された三次元形状を前記表示部に表示し、前記鏡面に映り込んでいる対象物の前記虚像と比較することも可能となる。

さらに、撮影された映像の前記虚像部分に変化を持たせる方法としては、例えばシャッターなどの物理的な部で鏡面部の反射光を遮断する手法や、前記鏡面部に対して光を照射して反射光量を変化させる手法などが考えられる。

また、次のような三次元形状計測装置を構成してもよい。

すなわち、表示部、鏡面および撮影部を備えた三次元形状復元装置（三次元形状計測装置）であり、撮影部から直接捉えることのできる、対象物の実像と、鏡面に映り込んだ、対象物の虚像とを三次元形状復元装置が撮影部により撮影する。これによって、１台の撮影部により、２視点分の対象物の撮影を行うことが可能となる。そして、この手法を利用するために、三次元形状復元装置は、表示制御部により、撮影と同期して、表示部に画像を表示したり、その表示を消したりする。そして、三次元形状復元装置は、抽出部を用いて、その撮影結果から、画像処理により、実像と虚像のそれぞれの抽出を行う。ここで、従来の方法では、三次元形状復元を行うためには、死角を減らすためにカメラ台数を増やした方が良いが、カメラ台数を増やすとキャリブレーションが困難になるというジレンマが生じていた。これに対して、この三次元形状計測装置では、この課題を解決して、対象物の三次元形状復元を行うシステムを家庭内に導入する際に、極力カメラ台数を削減することができる。このような三次元形状計測装置を構成してもよい。

（実施の形態１）
図１は、本発明の実施の形態１における三次元形状計測装置１の概略を示す構成図である。

三次元形状計測装置１は、図１に示されるよう、鏡面１０１と、撮影装置１１０ないし撮影装置１１２を有する撮影部１０３と、制御部１Ａとを備える。

なお、対象物１１３Ｒは、三次元形状計測装置１により三次元の形状が計測される対象物である。例えば、対象物１１３Ｒは、三次元の形状を三次元形状計測装置１に計測させるユーザである。また、虚像１１４は、鏡面１０１に対象物１１３Ｒが映り込んだ、対象物１１３Ｒの実像１１３とは別に現れた虚像である。つまり、虚像１１４は、対象物１１３Ｒからの光を鏡面１０１が反射した光によって形成される、対象物１１３Ｒの像である。

制御部１Ａ（図１）は、撮影部１０３などの、三次元形状計測装置１の各部に接続されて、三次元形状計測装置１の各部の動作を制御する制御装置である。

なお、制御部１Ａは、例えば、ＣＰＵ１Ａａ（プロセッサ）、ＲＯＭ１Ａｂ、ＲＡＭ１Ａｃを備えるコンピュータである。そして、制御部１Ａは、例えば、ＲＯＭ１Ａｂに記憶されるコンピュータプログラムをＣＰＵ１Ａａにより実行することによって、この書類で説明される各機能を実現する。制御部１Ａは、例えば、ＣＰＵ１Ａａにより各機能を実現する。換言すれば、例えば、制御部１Ａにおいて、ＣＰＵ１Ａａが各機能を実現する。また、ＣＰＵ１Ａａは、一部の処理だけを行い、制御部１Ａは、残りの処理を実行する専用のプロセッサを更に備えてもよい。なお、制御部１Ａは、上記の態様以外の他の態様を採ってもよいのは当然である。

図２は、本発明を構成するそれぞれの部分と、本発明を用いて三次元形状復元を行う際の一連の処理の流れを示したブロック図である。

三次元形状計測装置１は、鏡面１０１および撮影部１０３に加えて、さらに、撮像分離部１０４と、三次元復元部１０７と、鏡面反射制御部１０２とを備える。

制御部１Ａ（図１）は、ソフトウェアを実行すること、あるいはハードウェアによって、当該制御部１Ａに実現する機能の機能ブロックとして、これら、撮像分離部１０４と、三次元復元部１０７と、鏡面反射制御部１０２とをそれぞれ実現する。

図３は、鏡面１０１、表示部１２０（図２参照）、撮影装置１１０ないし撮影装置１１２（撮影部１０３）、対象物１１３Ｒの実像１１３（図１参照）、および、実像１１３に対応する虚像１１４（図１参照）の位置関係の例を表した図である。

鏡面１０１（図１〜図３）は、対象物１１３Ｒの光を反射して、反射した光によって、鏡面１０１に対象物１１３Ｒが映り込んだ虚像１１４を形成する。ここで、鏡面１０１は、光を反射する機能と同時に透過する機能も持ち合わせた鏡面である。鏡面１０１は、対象物１１３Ｒの位置（図３参照）に対して鏡面１０１の裏面の側（表示部１２０がある側）から鏡面１０１への光の少なくとも一部を、表面側、つまり、対象物１１３Ｒがあり、撮影装置１１２ないし撮影装置１１０がある面の側へと透過する。

なお、実空間ＲＳは、対象物１１３Ｒ等からの直接の光で示される空間、すなわち、実際の空間である。また、虚空間ＩＳは、鏡面１０１により反射された光で示される空間である。実像１１３は、実空間ＲＳに現れる像である。虚像１１４は、虚空間ＩＳに現れる像である。

撮影部１０３（図１〜図３）は、撮影装置１１０ないし撮影装置１１２によって構成されるものである。

撮影装置１１０ないし撮影装置１１２は、対象物１１３Ｒの実像１１３と、鏡面１０１に映り込んだ虚像１１４とのうちの片方もしくは両方が撮影されている映像を取得する。撮影装置１１０等は、それぞれ、１台の撮影装置により、対象物１１３Ｒの実像１１３と虚像１１４とを同時に撮影する。これにより、各撮影装置は、それぞれ、本来その撮影装置の撮影位置からは死角になる、対象物１１３Ｒの鏡面１０１側から見た映像も、鏡面１０１に反射した虚像１１４として取得する。

なお、説明の便宜上、撮影装置１１０ないし撮影装置１１２は、どの撮影装置も、対象物１１３Ｒの実像１１３および虚像１１４の両方が含まれる映像を撮影し、一方のみを撮影する撮影装置は含まれない場合について説明する。一方のみを撮影する撮影装置が含まれる場合については、変形例として、後で詳しく述べる。

そして、撮影部１０３は、撮影装置１１０ないし撮影装置１１２に同時に対象物１１３Ｒの撮影を行わせ、３つの異なる映像を同時に取得する。なお、撮影部１０３は、十分に短い適切な、時間の範囲内のうちに、撮影装置１１０ないし撮影装置１１２に各々撮影を行わせるものでもよい。例えば、三次元形状計測装置１は、撮影装置１１０ないし撮影装置１１２に同時に撮影をさせる撮影タイミング制御部を備え、撮影部１０３が、かかる撮影タイミング制御部を含むものとしてもよい。また、撮影部１０３以外の、例えば後で詳しく述べる実像・虚像分離部１０５が、かかる撮影タイミング制御部を含むものとしてもよい。

図４は、鏡面反射制御部１０２（図２）の詳細な構成を示すブロック図である。

鏡面反射制御部１０２は、表示部１２０（図３参照）と、同期制御部１２１（図４）とによって構成される。

表示部１２０（図３、図４）は、鏡面１０１の後方、つまり、鏡面１０１の裏面の側に設けられており、所定の画像を表示する機能を備える。表示部１２０は、その前方にある鏡面１０１は先述のように、裏面の側にある表示部１２０からの光を透過するので、画像を表示することにより、表示する画像の光を、鏡面１０１の表面側に表させる。これにより、表示部１２０は、鏡面１０１に映り込んだ画像の色を変化させる。

なお、ここで、表示部１２０により表示される画像は、特定の色や模様など、鏡面１０１に映り込んでいる対象物１１３Ｒの虚像１１４の映り方に影響を与えるものであれば、所定の色あるいは所定の模様など、どのような画像でも良い。例えば、表示される画像は、表示部１２０が画像を表示していない状態における撮影画像に現れない色、あるいは、対象物１１３Ｒに含まれる色の補色などが用いられるものとしてもよい。こうすることで、実像１１３と虚像１１４の切り分けがし易くなり、理想的である。

図５〜図７は、表示部１２０が画像を表示していないときに撮影された映像に対する三次元形状計測装置１の処理の内容を説明する説明図である。

図８〜図１０は、表示部１２０が画像を表示しているときに撮影された映像に対する三次元形状計測装置１の処理の内容を説明する説明図である。

図５は、画像が表示されないで撮影された映像を示す図である。また、図８は、画像が表示されつつ撮影された映像を示す図である。例えば、これらの、撮影された各映像は、それぞれ、撮影装置１１０により撮影された映像である。

画像が表示されて撮影された映像（図８）は、ハッチングによって図示される、鏡面１０１を透過した、表示部１２０により表示された画像の光が現れた領域を含む。そして、撮影された映像における虚像１１５は、このような透過した光の表れた領域に含まれる。

他方、画像が表示されないで撮影された映像（図５）は、画像が表示されていないので、このようなハッチングの領域がなく、つまり、透過した光が現れた領域はない。

なお、表示部１２０は、虚像の光量を、画像を表示していない際の虚像１１４（図５〜図７）の光量から、画像を表示している際の虚像１１５（図８〜図１０）の光量に変化させる。

なお、表示部１２０は、例えば、白色の画像を表示するなどして、虚像１１５における各色の光の光量を同時に変化させ、虚像１１４の濃度を変化させるものであってもよい。また、表示部１２０は、例えば青色などの特定の色の画像を表示して、虚像１１４における特定の色の光量のみを変化させるものであってもよい。

同期制御部１２１（図４）は、撮影部１０３による撮影と同期して、表示部１２０の表示を切り換えさせる機能を備える。同期制御部１２１は、図５の映像に示されるように、表示部１２０が何も表示していない状態と、図８の映像に示されるように、表示部１２０が画像を表示している状態とを、撮影部における撮影と同期して切り換え、それぞれの状態における撮影を各撮影装置に行わせる。

つまり、同期制御部１２１は、例えば、撮影がされるタイミングを検知する。そして、同期制御部１２１は、予め定められた表示指示信号が入力されずに検知がされた場合には、検知がされるタイミングで、表示部１２０に表示をさせないようにして、表示されない状態（図５の状態）で各撮影装置１１０等に撮影をさせる。一方で、同期制御部１２１は、表示指示信号が入力されて検知がされると、検知がされるタイミングで、画像を表示させて、表示がされた状態（図６の状態）で各撮影をさせる。

なお、同期制御部１２１も、制御部１Ａ（図１）によって実現される機能ブロックであるものとしてもよい。

撮像分離部１０４（図２）は、実像・虚像分離部１０５と、虚像反転部１０６によって構成される。

実像・虚像分離部１０５は、撮影装置１１０ないし撮影装置１１２により撮影された、実像１１３および虚像１１４の両者が含まれる映像から、それぞれ、実像１１３および虚像１１４を各々分離する。すなわち、実像・虚像分離部１０５は、それぞれの映像に含まれる実像１１３および虚像１１４を各々特定する。つまり、実像・虚像分離部１０５は、３つの撮影装置のうちのそれぞれの撮影装置により撮影された映像を取得して、取得された映像に含まれる実像１１３および虚像１１４を各々特定する。

図１１は、以上の画像処理による実像部分と虚像部分の抽出の処理フローを示す図である。抽出の処理フローを図１１に示す。

図１１に示される処理のうち、実像・虚像分離部１０５は、ステップＳ２０１、ステップＳ２０２、ステップＳ２０３、ステップＳ２０４、ステップＳ２０５、ステップＳ２０６、ステップＳ２０７、ステップＳ２０８の処理により、上記した、実像１１３および虚像１１４を分離する処理を行う。

なお、実像・虚像分離部１０５は、上記ステップＳ２０１等のうちのそれぞれのステップにおいて、３つの撮影装置のうちのそれぞれの撮影装置により撮影された映像に対して、同様の処理を行う。以下の説明では、説明の便宜上、実像・虚像分離部１０５が、各ステップで、撮影装置１１０により撮影された映像に対して行う処理のみを詳しく説明する。

ステップＳ２０１で、実像・虚像分離部１０５は、例えば同期制御部１２１に対して上記表示指示信号を取得させることなく、撮影部１０３に撮影を実行させるなどして、表示部１２０（図３、図４）が画像を表示せずに撮影された映像（図５）を取得する。

図６は、対象物１１３Ｒがなく、かつ、画像が表示されない状態を、撮影装置１１０で撮影したときの映像を示した図である。

ここで、実像・虚像分離部１０５は、例えば、この図６により示され映像を保持する。なお、実像・虚像分離部１０５は、事前に撮影装置１１０により撮影された、このような図６の映像を保持するものであってもよい。

次に、図７は、図５の映像のうち、対象物１１３Ｒの実像１１３と虚像１１４のみを表した図である。

ステップＳ２０３で、実像・虚像分離部１０５は、ステップＳ２０１で取得された、図５の、対象物１１３Ｒがある状態を撮影装置１１０で撮影したときの映像と、保持される図６の映像との差分をとる。ここで、差分をとるとは、差分の映像を算出することである。

これにより、ステップＳ２０５で、実像・虚像分離部１０５は、図７により示される、ステップＳ２０１で取得された映像から、実像１１３および虚像１１４のみからなり、その他の部分が除かれた抽出映像を抽出する。つまり、実像・虚像分離部１０５は、差分をとることによって、かかる抽出映像を取得（算出）する。

図８は、先述の通り、画像が表示されて、かつ、対象物１１３Ｒがあるときの撮影画像を示す。

ステップＳ２０２において、実像・虚像分離部１０５は、例えば同期制御部１２１に対して上記表示指示信号を取得させつつ、撮影部１０３に撮影を実行させるなどして、表示部１２０（図３、図４）が画像を表示して撮影された映像（図８）を取得する。

なお、実像・虚像分離部１０５は、このステップＳ２０２における撮影と、上記ステップＳ２０１における撮影を、例えば、対象物１１３Ｒに動きがない十分に短い時間のうちに行わせる。図５の映像および図６の映像は、こうして十分に短い時間の範囲に各映像が撮影されて、対象物１１３Ｒの位置および方向に変化がない２つの映像である。

図９は、画像が表示されて、かつ、対象物１１３Ｒがないときの撮影画像を示す。

ここで、実像・虚像分離部１０５は、例えば、図９に示される映像を保持する。なお、実像・虚像分離部１０５は、事前に撮影装置１１０により撮影された図９の映像を保持するとしてもよい。

図１０は、対象物１１３Ｒの実像１１３と虚像１１５のみの抽出結果を示している。

ステップＳ２０４で、実像・虚像分離部１０５は、ステップＳ２０２で取得された図８の映像と、保持する図９の映像との差分をとる。

これにより、ステップＳ２０６で、実像・虚像分離部１０５は、図１０により示される、ステップＳ２０２で取得された映像から、実像１１３および虚像１１５のみからなり、その他の部分を除いた抽出映像を抽出し、つまり、差分をとることによって、かかる抽出映像を取得（算出）する。

こうして、実像・虚像分離部１０５は、ステップＳ２０１、Ｓ２０３、ステップＳ２０５の処理により、表示部１２０が画像を表示していない状態における撮影画像（図５）と、対象物がないときの撮影画像（図６）との差分をとることにより、これら２つの撮影画像から、実像１１３と虚像１１４を併せたもの（図７の抽出映像）を、画像処理により抽出（算出）する。

また、実像・虚像分離部１０５は、さらに、ステップＳ２０２、ステップＳ２０４、ステップＳ２０６の処理により、表示部１２０で画像を表示している状態における、対象物１１３Ｒがあるときの撮影画像（図８）と、対象物１１３Ｒがないときの撮影画像（図９）との差分をとることにより、これら２つの撮影画像から、対象物１１３Ｒの実像１１３と虚像１１５を併せたもの（図１０の抽出映像）を抽出する。

そして、実像・虚像分離部１０５は、さらに、この図７と図１０で表されるような２つの抽出結果（抽出映像）を比較する。

表示部１２０で画像を表示している状態（図８〜図１０）における、鏡面１０１に映り込む虚像１１５は、表示部１２０で画像を表示していない状態（図５〜図７）における、鏡面１０１に映り込む虚像１１４に対して、差を有する。この差が、実像・虚像分離部１０５によって利用される。

ステップＳ２０７で、実像・虚像分離部１０５は、図７の抽出映像と図１０の抽出映像との間で、差が少ない部分を、実像１１３として抽出する。すなわち、ステップＳ２０７で、実像・虚像分離部１０５は、例えば、画像の表示により生じる変化のうち最小の変化による差の値などの予め定められた閾値よりも小さい差を有する部分を、実像１１３と特定して、２つの抽出映像から実像１１３を抽出する。

例えば、ステップＳ２０７で、実像・虚像分離部１０５は、図７の抽出映像と図１０の抽出映像とのうちで予め定められた一方における、上記差の少ない部分（例えば図７における実像１１３の部分）を特定し、特定された当該部分を、対象物１１３Ｒの実像１１３と特定する。

また、ステップＳ２０８で、実像・虚像分離部１０５は、図７の抽出映像のうちで、先にステップＳ２０７で抽出された実像１１３以外の部分を虚像１１４として抽出する。

なお、実像・虚像分離部１０５は、図５と図６との間の差分画像（図７）と、図８と図９との間の差分画像（図１０）とを比較して、対象物１１３Ｒの実像１１３を抽出し、図７のうち実像１１３以外の部分を虚像１１４として抽出しても良い。

ここで、ステップＳ２０７で抽出される実像１１３と、ステップＳ２０８で抽出される虚像１１４とを詳しく説明する。

図３に示されるように、虚像１１４は、その虚像１１４の撮影を行った撮影装置（例えば撮影装置１１０）の位置から考えて、虚像１１４が映り込んでいる鏡面１０１に対して当該撮影装置の位置と面対称な位置に、実際に撮影を行っている撮影装置とは別の撮影装置を仮想的に設置したときの、その仮想的な撮影装置（例えば、図３に示される仮想的な撮影装置２１０）から撮影した対象物１１３Ｒの映像として、三次元形状計測装置１が利用することができるものである。

仮想的な撮影装置２１０（図３）、仮想的な撮影装置２１１（図３）、仮想的な撮影装置２１２（図３）は、それぞれ、実在の撮影装置１１０、撮影装置１１１、撮影装置１１２に対応する、このような仮想的な撮影装置を図示したものである。これら、仮想的な撮影装置２１０等は、それぞれ、対応する撮影装置から抽出された虚像１１４に対する三次元形状計測装置１の処理を説明するために図示されている。これら仮想的な撮影装置２１０等は、単なる仮想のもので、三次元形状計測装置１の一部分ではなく、実在のものではない。

このため、各撮影装置は、それぞれ、その１台の撮影装置で、１度の撮影を行うだけで、実際のその撮影装置の位置から直接捉えられる実像と、その撮影装置に対応する仮想的な撮像装置によって虚像を撮影したときの映像とを、併せて、取得する。つまり、各撮影装置は、それぞれ、それら２台の撮影装置の位置から撮影された２つの映像を得ることができる。

ただし、ここで、虚像１１４は、仮想の撮像装置の位置から実際に撮影した場合の撮影画像と比べて、鏡面の性質により、左右が反転している。

ステップＳ２０８で抽出される虚像１１４は、このような左右の反転がされた映像である。

虚像反転部１０６（図２）は、前述のようにして実像・虚像分離部１０５が抽出した虚像部分の映像（虚像１１４）の左右を反転させる。虚像反転部１０６により反転がされた後の虚像１２４は、その対象物１１３Ｒを仮想の撮像装置の位置から実際に撮影した場合の撮影画像と同一の画像である。

ステップＳ２０９では、虚像反転部１０６が、ステップＳ２０８で抽出された各虚像１１４に対して、このような反転の処理をそれぞれ行う。

三次元復元部１０７（図２）は、実像・虚像分離部１０５により抽出された３つの実像１１３と、抽出された後に虚像反転部１０６により反転がされた３つの虚像１１４とから、対象物１１３Ｒの三次元形状を復元する。すなわち、三次元復元部１０７は、対象物１１３Ｒの各部位の三次元位置、および、対象物１１３Ｒの、その三次元位置における色を特定する処理を行う。

より具体的には、三次元復元部１０７は、例えば、上記した、６つの対象物１１３Ｒの画像と、撮影装置１１２等の位置（図３参照）、および、前記仮想的な撮影装置２１０等の位置とを用いて、対象物１１３Ｒの三次元形状の復元を行う。

そして、三次元復元部１０７は、この三次元形状復元の結果を、表示部１２０に表示することにより、ユーザが、対象物１１３Ｒの計測の結果、つまりユーザ自身の三次元形状の計測の結果を見ることができるようにする。これにより、ユーザは、鏡面１０１に映り込んだ対象物１１３Ｒ（ユーザ）の虚像１１４（図３、図５〜図７等参照）と、表示される計測の結果とを比較することなどが可能となる。つまり、ユーザは、その視覚により見る虚像１１４と、計測の結果とを比較できる。

なお、三次元復元部１０７は、例えば、公知の技術により、上記した、６つの画像および、６つの撮影位置に基づいた三次元形状の復元の処理を行うものとしてもよい。

また、三次元復元部１０７は、次のようにして、三次元形状の復元を行うものとしてもよい。なお、以下の方法は単なる一例であり、以下の方法以外の他の方法が採られてもよいのは当然である。

すなわち、三次元復元部１０７は、まず、上記６つの画像のうちにおける、同一の部位が撮影された部分をそれぞれ特定する。三次元復元部１０７は、例えば、この特定を、マッチングの技術によって行い、６つの画像のうちで互いに類似した内容を有する部分を、対象物１１３Ｒの同一の部位が撮影された部分であると特定する。

そして、三次元復元部１０７は、６つの撮影位置から、特定された部分を見る方向を各々特定する。そして、三次元復元部１０７は、６つの撮影位置から、特定された方向に延びる直線が互いに交わる位置を、それら各部分に撮影された対象物１１３Ｒの部位の三次元位置と特定する。

なお、三次元復元部１０７は、例えば、それら直線が１点で交わらない場合には、それら直線が集積する位置を特定し、つまり、各直線への距離の和が最小となる位置や、距離の２乗の和が最小となる位置を、対象物１１３Ｒの部位の三次元位置と特定するものとしてもよい。

ここで、三次元復元部１０７は、実像１１３に含まれる部分については、当該実像１１３を撮影した実在の撮影装置１１２等の撮影位置からの直線を特定し、虚像１１４に含まれる部分については、当該虚像１１４を撮影した実在の撮影装置１１２等に対応する仮想的な撮影装置２１０等の撮影位置からの直線を特定する。

なお、三次元復元部１０７は、６つの撮影位置を保持し、保持される各撮影位置を用いて、直線の特定を行うものとしてもよい。

なお、三次元復元部１０７は、少なくとも一部の部位の三次元位置は、６つの画像のうちで一部の画像のみを用いて特定するものとしてもよい。

三次元復元部１０７は、上記のようにして、対象物１１３Ｒの各部位の三次元位置を特定する。

そして、三次元復元部１０７は、特定された三次元位置の部位の色を、例えば、当該三次元位置が算出された６つの画像の前記各部分のうちの１つの色と特定するなどして、当該部位の色を特定する。

三次元復元部１０７は、こうして、各部位の三次元位置と、その三次元位置の部位の色とを特定する。

ここで、変形例に係る三次元形状計測装置１を説明する。変形例に係る三次元形状計測装置１においては、撮影装置１１０ないし撮影装置１１２のうちの一部の撮影装置が、対象物１１３Ｒの実像１１３および虚像１１４の両方が含まれる映像ではなく、例えば実像１１３のみなど、一方のみが含まれる映像を撮影する。このような、変形例に係る三次元形状計測装置１では、例えば、三次元復元部１０７は、対象物１１３Ｒの５つ以下の映像から、三次元形状を復元することがあるものとしてもよい。

このようにして、対象物１１３Ｒの三次元形状を計測する三次元形状計測装置（三次元形状計測装置１）であって、前記対象物からの光を反射する鏡面部（鏡面１０１）と、前記対象物の実像（実像１１３）と、前記鏡面との両者を映した撮影画像を撮影する撮影部（撮影部１０３）と、前記実像と、前記鏡面部により形成された、前記対象物の虚像（虚像１１４）とのうちで、一方の像（虚像１１４）の光量を変化させる光量変化部（表示部１２０）と、前記変化がされた際に撮影された前記撮影画像（図８の映像）と、前記変化がされない際に撮影された前記撮影画像（図５の映像）とにおける、光量が異なる部分を前記一方の像（虚像１１４）と特定し、同じである部分を他方の像（実像１１３）と特定する像分離部（実像・虚像分離部１０５）と、前記像分離部によって特定された前記実像と前記虚像とを利用して、前記対象物の三次元形状を復元する復元部（三次元復元部１０７）とを備える、三次元形状計測装置（三次元形状計測装置１）が構成される。

なお、ここで、光量変化部（表示部１２０）は、一方の像（虚像１１４）の光量を、図５における虚像１１４の光量から、図８における虚像１１５の光量へと変化させる。

ここで、前記鏡面部は、前記対象物からの光を反射する表面とは反対側の裏面の側から当該鏡面部への光を前記表面の側へと透過し、前記光量変化部は、前記鏡面部が前記表面へと透過する透過光量を変化させることで、前記虚像の光量を変化させる。

また、前記光量変化部は、前記虚像の光量を変化させ、前記撮影部に撮影される前記対象物がない場合において当該撮影部により撮影される基準映像（図６の映像）を保持する基準映像保持部（実像・虚像分離部１０５）を備え、前記像分離部（実像・虚像分離部１０５）は、前記光量変化部により前記光量を変化させて第１の撮影画像（図８の映像）を前記撮影部に撮影させると共に、変化させないで第２の撮影画像（図５の映像）を撮影させ、撮影された当該２つの撮影画像のうちで、保持される前記基準映像に含まれず、かつ、光量が同じである部分を前記実像（実像１１３）と特定し、当該２つの撮影画像のうちで、変化がされていない前記第２の撮影画像（図５の映像）に含まれ、かつ、保持される前記基準映像（図６の映像）には含まれず、かつ、光量が異なる部分を、前記虚像（虚像１１４）と特定する。

また、前記鏡面部は、前記鏡面部が前記対象物からの光を反射する表面とは反対側の裏面から当該鏡面部への光を前記表面へと透過し、前記光量変化部は、前記鏡面部の前記裏面の側に設けられ、画像を表示することにより、表示した画像の光を前記表面へと透過させて、透過した光によって前記虚像の光量を変化させる表示部（表示部１２０）を備える（光量変化部は表示部である）。

ここで、前記表示部は、所定の色もしくは所定の模様からなる画像を表示する。そして、前記所定の色は、前記表示部が画像を表示していないときに前記撮影部に撮影される撮影画像に使用されない色であってもよい。また、前記所定の色は、前記対象物の色の補色であってもよい。

そして、この三次元形状計測装置は、前記復元部により復元された三次元形状を前記表示部に表示させる三次元形状表示制御部（三次元復元部１０７）を備える。

また、この三次元形状計測装置は、前記像分離部により特定された前記虚像を左右反転させる反転部（虚像反転部１０６）を備える。

また、前記復元部は、前記分離部により特定された前記実像と前記虚像とを、互いに異なる２つの視点位置からの、前記対象物の２つの画像として、三次元形状の復元に利用する。

そして、前記実像に係る前記視点位置は前記撮影部の撮影位置であり、前記虚像に係る前記視点位置は、前記撮影部の位置に対して、前記鏡面部に関して面対称の撮影位置である。

（実施の形態２）
図１２〜図１３は、本発明の実施の形態２の三次元形状計測装置２の概略図である。

図１４は、本発明の実施の形態２に係る三次元形状計測装置２を構成するそれぞれの部分、および本発明の三次元形状計測装置２を用いて三次元形状復元を行う際の一連の処理の流れを示すブロック図である。

図１５は、この実施の形態２における鏡面１０１および鏡面反射制御部１３２の構成を示すブロック図である。

図１６は、鏡面１０１、鏡面遮断部１３０、表示部１３１、撮影装置１１０ないし１１２、およびそれぞれの撮影装置に対応した仮想的な撮影装置２１０ないし２１２、そして、対象物１１３Ｒの実像１１３およびそれに対応する虚像１１４の位置関係の例を表した図である。

三次元形状計測装置２は、図１２〜図１３において示されるように、鏡面遮断部１３０と、表示部１３１とを備える。三次元形状計測装置２は、実施の形態１に係る上述の三次元形状計測装置１とは、表示部１３１、鏡面遮断部１３０、および鏡面反射制御部１３２（図１４、図１５）の構成要素に違いがある。

表示部１３１（図１２〜図１３、図１４、図１５）は、実施の形態１の表示部１２０（図３、図４参照）とは異なり、実像１１３と虚像１１４の切り分けのためのものではない。表示部１３１は、図１２〜図１３に示されるよう、各撮影装置やユーザから直接見える、鏡面１０１の左右や上下などの位置に設けられる。表示部１３１は、図１６に示されるように、虚像１１４が見える鏡面１０１の反射面上に画像を表示せず、鏡面１０１の反射面の外側に画像を表示させる。

なお、実施の形態２に係る鏡面１０１は、鏡面１０１の裏面の側から鏡面１０１へと当たる光を、表面の側へ透過しないものであることが好ましい。

図１２は、鏡面遮断部１３０が全く鏡面１０１を覆っていない状態を表した図である。

図１３は、鏡面遮断部１３０が鏡面１０１を覆っている状態を表した図を示す。

鏡面遮断部１３０（図１２〜図１３、図１５、図１６）は、鏡面１０１を覆わない図１２の状態と、鏡面１０１を覆い、シャッターのように虚像１１４の反射を遮断する図１３の状態とに、状態が変化するものである。

例えば、鏡面遮断部１３０は、一例としては、車庫の入り口や、店舗の入り口に設けられて、それら入り口より外側に対して、入り口の内部を遮断するシャッターと同様の構造を有してもよい。具体的には、例えば、鏡面遮断部１３０は、上部に巻き取りを行う巻き取り機構を有すると共に、巻き取り機構により巻き取られる遮断部とを備える。鏡面遮断部１３０は、この遮断部が巻き取られることにより、図１２の状態になってもよい。そして、遮断部は、巻き取り機構から巻き出されて、鏡面１０１の前面側を下部へと巻き取り機構からぶら下がることにより、鏡面１０１を覆い、対象物１１３Ｒから鏡面１０１への光を、鏡面１０１よりも対象物１１３Ｒに近い位置で遮る。これにより、遮断部が、虚像１１４の光の反射を遮断してもよい（図１２、図１３参照）。

また、例えば、鏡面遮断部１３０は、上記の巻き取り機構等を有するものでなくともよく、例えば、鏡面１０１の前面側に設けられて、対象物１１３Ｒから鏡面１０１への光が通る位置にあるパネルであってもよい。ここで、このパネルは、例えば、透過状態（図１２の状態）では、対象物１１３Ｒからの光を透過すると共に、透過した光が鏡面１０１に反射した反射光も同じく透過することにより、鏡面１０１の表面側にある各撮影装置に虚像１１４を撮影させる。他方、このパネルは、例えば、非透過状態（図１３の状態）では、光を透過しない黒色等の不透過色に変化することにより、対象物１１３Ｒからの光を遮って、鏡面１０１を覆い、鏡面１０１に虚像１１４が映り込まないようにすることにする。そして、このパネルは、透過状態と非透過状態との間で、状態が変化する。このパネルは、例えば、液晶パネルであってもよい。

三次元形状計測装置２は、このような鏡面遮断部１３０を用いて、実施の形態１と同様に、撮影される映像中のどの部分が虚像１１４に相当し、どの部分が各撮影装置から直接捉えることのできる実像１１３かを明確にする（図５〜図７、図８〜図１０、図１１等を参照）。

鏡面反射制御部１３２（図１４、図１５）は、鏡面遮断部１３０と同期制御部１２１とによって構成される。

同期制御部１２１は、このような、上述の鏡面遮断部１３０（図１２〜図１３等参照）が、全く鏡面１０１を覆っていない状態（図１２の状態）と、覆っている状態（図１３の状態）とを、撮影部１０３（図１４）の撮影と同期して切り換え、撮影部１０３は前記２つの状態それぞれの撮影を行う。

すなわち、実像・虚像分離部１０５は、予め定められた表示指示信号を同期制御部１２１に入力するか否かを切り換えるなどにより、図１１のステップＳ２０１およびステップＳ２０２において、それぞれ、撮影に際しての鏡面遮断部１３０の状態を、図１２の状態および図１３の状態に各々、設定する。

ここに、鏡面遮断部１３０が図１３の状態で撮影された映像は、例えば、虚像１１５が鏡面遮断部１３０に完全に遮断されて、虚像１１５が完全に消えた映像であってもよい。

そして、実像・虚像分離部１０５は、実施の形態１で示した手法と同様の手法で、鏡面遮断部１３０が全く鏡面１０１を覆っていないときに撮影したときの映像（図１２の映像）から、実像１１３と虚像１１４を併せたもの（図７の抽出映像）を抽出する（図１１のステップＳ２０１、ステップＳ２０３、ステップＳ２０５）。

他方、実像・虚像分離部１０５は、鏡面遮断部１３０が鏡面１０１を覆っているときに撮影したときの、虚像１１５が完全に消えた映像でも同様に、処理を行う。つまり、実像・虚像分離部１０５は、対象物１１３Ｒがある状態とない状態とにおいて撮影したときの２つの映像の間の差分をとることにより、対象物１１３Ｒの実像部分（実像１１３）を抽出する（ステップＳ２０２、ステップＳ２０４、ステップＳ２０６）。

なお、実像・虚像分離部１０５は、ステップＳ２０６で実像１１３が抽出されるので、ステップＳ２０７の処理は行わないものとしてもよい。ただし、実像・虚像分離部１０５は、映像から虚像１１５（図８〜図１０参照）が完全には消えず、ステップＳ２０６で、実像１１３と共に虚像１１５が含まれた映像（図１０の映像）が抽出される場合には、ステップＳ２０７で、例えば、実施の形態１で説明した処理を行うなどをして、実像１１３を抽出してもよい。

そして、実像・虚像分離部１０５は、さらに、ステップＳ２０８で、この２つの抽出結果、つまり、ステップＳ２０５において抽出された、実像１１３および虚像１１４の両者よりなる抽出映像（図７の抽出映像）と、ステップＳ２０６で抽出された実像１１３との間の差分をとることによって、対象物１１３Ｒの虚像部分（虚像１１４、図７）のみの映像を抽出する。

なお、本実施の形態において、鏡面遮断部１３０を例えばシャッターのようなものとする場合の例を示した。これは、物理的に鏡面１０１の反射を遮断するものであれば、いかなるものでも良い。また、鏡面遮断部１３０は、鏡面１０１の反射を完全に遮断するものでなく、鏡面１０１の反射光の透過量を低減させるものであっても良い。この場合は、例えば、実像・虚像分離部１０５は、上述のようにして、ステップＳ２０７の処理を行い、実施の形態１と同様の画像処理を行って、実像部分と虚像部分の抽出を行うものとしてもよい。

このようにして、光量変化部（鏡面遮断部１３０）は、前記鏡面部に入射する入射光および、前記鏡面部が反射した反射光の少なくとも一方（入射光）を遮断することにより、前記虚像の光量を変化させる三次元形状計測装置（三次元形状計測装置２）が構成される。

ここで、前記光量変化部は、前記鏡面部が光を反射する反射光量を変化させて、前記虚像の光量を変化させるものである。

また、この三次元形状計測装置は、前記復元部により復元された三次元形状を表示する三次元形状表示部（表示部１３１）を備える。

（実施の形態３）
図１７〜図１８は、本発明の実施の形態３の三次元形状計測装置３の概略図である。

図１９は、この実施の形態３における鏡面反射制御部１４２の構成を示したブロック図である。なお、三次元形状計測装置３を構成する、鏡面反射制御部１４２の構成以外のそれぞれの部分と、本発明を用いて三次元形状復元を行う際の一連の処理の流れを示したブロック図は、実施の形態１の場合（図２等参照）と同様であり、詳しい説明を省略する。

三次元形状計測装置３は、図１７〜図１９において示されるように、光照射部１４０を備える。

図２０は、鏡面１０１、光照射部１４０、表示部１３１、撮影装置１１０ないし撮影装置１１２およびそれぞれの撮影装置に対応した仮想的な撮影装置２１０ないし仮想的な撮影装置２１２、そして対象物１１３Ｒの実像１１３およびそれに対応する虚像１１４の位置関係の例を表した図である。

この実施の形態の三次元形状計測装置３は、実施の形態１の三次元形状計測装置１とは、光照射部１４０（図１７〜図２０）、表示部１３１（図１７〜図２０）、および鏡面反射制御部１４２（図１９）の構成要素に違いがある。

表示部１３１は、実施の形態１における表示部１２０（図３等参照）とは異なり、実像１１３と虚像１１４の切り分けのためのものではない。表示部１３１は、例えば、実施の形態２に示された表示部１３１（図１２〜図１３、図１６等参照）と同様のものである。

鏡面反射制御部１４２（図１９）は、光照射部１４０（図１７〜図１８、図２０参照）と、同期制御部１２１とによって構成される。

図１７は、鏡面１０１に対して光照射部１４０によって光を照射していない状態を表す。また、図１８は、鏡面１０１に対して光照射部１４０によって光を照射している状態を表す。

図１８に示される虚像１４４は、光照射部１４０によって鏡面１０１に対して光を照射した場合に鏡面１０１に映り込む虚像を表している。

光照射部１４０は、鏡面１０１に対して光を照射するための部分である。光照射部１４０は、虚像１１４の反射に対して変化を与える。つまり、光照射部１４０は、反射される虚像１１４の光に変化を与える。

具体的には、三次元形状計測装置３においては、光照射部１４０から照射される光が鏡面１０１において反射する。これにより、反射されたこの光が、もともと鏡面１０１に映り込んでいた対象物１１３Ｒの虚像１１４を作り出す反射光と干渉する。この干渉のために、撮影部１０３によって捉えられる対象物１１３Ｒの虚像１１４に変化が生じる現象が起きる。三次元形状計測装置３は、この現象を用いて、実施の形態１と同様に、撮影される映像中のどの部分が虚像１１４に相当し、どの部分が撮影部１０３から直接捉えることのできる実像１１３に相当するかを明確にする。

つまり、光照射部１４０は、光を照射して、照射した光を鏡面１０１に反射させることによって、鏡面１０１が作る虚像１１４の光と、照射した光が鏡面１０１に反射した光とを干渉させることにより、撮影される虚像１１４に変化を生じさせる。

例えば、光照射部１４０は、光を鏡面１０１に照射することにより、鏡面１０１が作り出す虚像１１４の光の一部に、照射した光を鏡面１０１が反射した反射光が含まれるようにする。光照射部１４０は、これにより、虚像１１４のコントラストを低下させるものである。そして、例えば、光照射部１４０は、太陽の近傍を人間が見る際に、太陽の強い光により、その近傍のコントラストが低下して、空の各領域のうちで、太陽の近傍よりも外側の領域に対して、近傍の領域の映像が変化するのと同じように、コントラストを低下させる。すなわち、光照射部１４０は、虚像１１４の光の一部に、反射光が含まれるようにすることにより、虚像１４４（図１８）のコントラストを、照射しない場合における虚像１１４（図１７）のコントラストより低くさせる。換言すれば、光照射部１４０は、虚像１４４のコントラストを、虚像１４４と共に撮影された実像１１３（図１８）のコントラストより低くする。なお、光照射部１４０は、照射によって、いわゆる色がとぶ現象を生じさせて、虚像の光量を、照射しない場合の虚像１１４（図１７）から、照射する場合の虚像１４４の光量に変化させるものであってもよい。

ここで、光照射部１４０は、光を照射する状態と、照射しない状態との間で、状態が切り替わり、照射する状態になることにより、撮影される映像を変化させると共に（図１８）、照射をしない状態になることで、撮影される映像を、通常の映像（図１７）にさせる。

同期制御部１２１は、鏡面１０１に対して光照射部１４０によって光を照射していない状態と、照射している状態を、撮影部１０３の撮影と同期して切り換える。撮影部１０３は、前記２つの状態のそれぞれでの撮影を行う。

実像・虚像分離部１０５は、実施の形態１で示した手法と同様の手法で、鏡面１０１に対して光照射部１４０によって光を照射していないときに撮影したときの映像（図１７）から、実像１１３と虚像１１４を併せたもの（図７）を抽出する（ステップＳ２０１、ステップＳ２０３、ステップＳ２０５）。また、実像・虚像分離部１０５は、同じく同様の手法により、鏡面１０１に対して光照射部１４０によって光を照射しているときに撮影したときの映像でも、処理を行う。すなわち、実像・虚像分離部１０５は、対象物１１３Ｒがある状態（図１８、図８参照）と、ない状態とにおいて撮影したときの２つの映像（図９参照）の差分をとることにより、対象物１１３Ｒの実像１１３と虚像１１５のみを併せた映像（図１０参照）を抽出する（ステップＳ２０２、ステップＳ２０４、ステップＳ２０６）。さらに、実像・虚像分離部１０５は、これらの抽出映像に基づいて、実像１１３と虚像１１４の切り分けを行う（ステップＳ２０７、ステップＳ２０８）。

なお、本実施の形態において、鏡面１０１に対する光照射部１４０は１つである場合の例を示しているが、これはいくつでも良い。

また、本実施の形態においては、光照射部１４０により直接、鏡面１０１に照射が行われたが、光照射部１４０は、鏡面１０１により反射される光に影響をおよぼす光であれば、直接光ではない光を、照射（または反射）しても良い。

このようにして、光量変化部（光照射部１４０）は、前記鏡面部に対して光を照射して、当該鏡面部の反射光が形成する前記虚像のコントラストを変化させる三次元形状計測装置３が構成される。

（実施の形態４）
図２１〜図２２は、本発明の実施の形態４における三次元形状計測装置４の概略を示す構成図である。

三次元形状計測装置４は、図２１〜図２２において示されるように、３つの鏡面すなわち、鏡面１５０ないし鏡面１５２を備える。

ここで、図２１〜図２２に示される、虚像１５４ないし虚像１５６は、それぞれ、鏡面１５０ないし鏡面１５２により反射された対象物１１３Ｒの虚像である。

図２３は、本発明に係る三次元形状計測装置４を構成するそれぞれの部分と、三次元形状計測装置４が三次元形状復元を行う際の一連の処理の流れを示したブロック図である。

図２４は、３つの鏡面１５０ないし鏡面１５２および鏡面反射制御部１６２の構成要素を示したブロック図である。なお、図２４では、鏡面反射制御部１６２の詳細な構成が図示される。

鏡面反射制御部１６２は、３つの表示部１７０ないし表示部１７２、制御鏡面決定部１６０（図２３参照）、および同期制御部１２１によって構成される。

本実施の形態４に係る三次元形状計測装置４においては、鏡面の数、鏡面反射制御部１６２（図２４）の構成要素、および制御鏡面決定部１６０（図２４）を備えている点で、実施の形態１の構成とは異なる。

三次元形状計測装置４は、これにより、１台の撮影装置において、対象物１１３Ｒの実像１１３と、複数の虚像（虚像１５４、虚像１５５、虚像１５６など）を１度に撮影する。三次元形状計測装置４は、これにより、本来その撮影装置からは死角になる、対象物１１３Ｒの鏡面１５０等側の映像も、この複数の鏡面１５０ないし鏡面１５２によって、その撮影装置により取得する。

鏡面１５０ないし鏡面１５２（図２１〜図２２、図２３、図２４）のそれぞれは、実施の形態１の鏡面１０１と同様のものである。鏡面１５０ないし鏡面１５２は、互いに異なる位置および方向を有し、対象物１１３Ｒを互いに異なる位置から見た、互いに異なる３つの虚像１５４、虚像１５５、虚像１５６を形成する。

表示部１７０ないし表示部１７２は（図２４）、それぞれ、鏡面１５０ないし鏡面１５２に対応する。表示部１７０等は、それぞれ、その表示部に対応する鏡面に対して、前記実施の形態１における鏡面１０１と表示部１２０の位置関係（図３等を参照）と同様の位置関係を有するまた、それぞれの表示部は、対応する鏡面が形成する虚像の光に対して、実施の形態１における表示部１２０が虚像１１４の光に与えた作用と同様の作用を与える。つまり、それぞれの表示部は、対応する鏡面の裏面側に設けられて、画像を表示することにより、その鏡面を透過した画像の光を、鏡面の表面側に表させて、対応する鏡面の作り出す虚像を変化させる。

なお、それぞれの表示部が表示する画像については後で詳しく述べられる。

制御鏡面決定部１６０（図２４、図２３）は、３つの表示部１７０ないし表示部１７２のうちで、どの鏡面の表示部に対して表示を三次元形状計測装置４が行うかを決定する部分である。制御鏡面決定部１６０は、決定した、表示をさせるそれぞれの表示部に対して、例えば、予め定められた制御信号を送信するなどして、画像を表示させ、それぞれの表示部に画像を表示させると共に、決定していない表示部には画像を表示させないようにする。

図２５〜図２６は、制御鏡面決定部１６０が、一部の表示部にのみ画像を表示させた状態を示す図である。

図２５〜図２６および先述の図２１〜図２２は、制御鏡面決定部１６０の動作を示す。図２１は、制御鏡面決定部１６０が、全ての表示部が画像を表示していないように制御をした状態を表した図である。また、図２２は、制御鏡面決定部１６０が、全ての表示部が画像を表示しているように制御をした状態を表した図である。また、図２５は、制御鏡面決定部１６０が、表示部１７１および表示部１７２のみ、つまり鏡面１５１および鏡面１５２に対応する２つの表示部のみが画像を表示するように制御している状態を表した図である。そして図２６は、制御鏡面決定部１６０が、表示部１７０および表示部１７２のみ、つまり鏡面１５０および鏡面１５２に対応する２つの表示部のみが画像を表示しているよう制御をした状態を表した図である。

制御鏡面決定部１６０は、これら、図２１の制御と、図２２の制御と、図２５の制御と、図２６の制御との４種類の制御のうちから１つを選択して、選択した制御を実行する。

同期制御部１２１（図２４）は、撮影部１０３による撮影と同期して、表示部の表示を切り換える機能を備える。同期制御部１２１は、上述した制御鏡面決定部１６０を用いて、前述した図２１、図２２、図２５、図２６、の４種類の状態を、各撮影装置の撮影と同期して切り換え、それぞれの状態における撮影を行わせる。すなわち、例えば、同期制御部１２１は、撮影がされるタイミングを検知して、検知の前に入力された予め定められた種類指示信号により示される種類の制御を、検知されたタイミングで制御鏡面決定部１６０に対して行う。同期制御部１２１は、これにより、その種類の制御の状態（図２１、図２２、図２５、図２６）での撮影を各撮影装置に行わせる。

撮像分離部１０４（図２３）は、実像・虚像分離部１０５と虚像反転部１０６とによって構成される。

実像・虚像分離部１０５は、例えば、４つの種類の各種類指示信号を同期制御部１２１に入力して、それぞれの種類の状態の映像（図２１、図２２、図２５、図２６）を撮影させる。実像・虚像分離部１０５は、これにより、撮影されたそれぞれの映像を取得するなどして、図２１、図２２、図２５、図２６の各状態の映像を各々取得する。例えば、実像・虚像分離部１０５は、図１１のステップＳ２０１で、図２１の状態での映像を取得すると共に、ステップＳ２０２で、図２２、図２５、図２６の状態での映像を各々取得する。

なお、実像・虚像分離部１０５は、これら４つの映像の撮影を、対象物１１３Ｒに動きがないか、動きが、予め定められた小さい範囲内になるように行わせる。実像・虚像分離部１０５は、例えば、予め定められた十分に短い時間の範囲のうちにこれらの撮影を各々行わせる。

他方、実像・虚像分離部１０５は、対象物１１３Ｒがない状態における、図２１等の４種類の状態での映像を各々保持する。

そして、実像・虚像分離部１０５は、実施の形態１と同様に、ステップＳ２０１で取得された、全ての表示部が画像を表示していないときの映像（図２１の映像）と、保持される、対象物１１３Ｒがない際の図２１の状態における映像とから、抽出映像を抽出する。つまり、実像・虚像分離部１０５は、これら２つの映像から、実像１１３と、全ての鏡面上に映し出される虚像１５４、虚像１５５、虚像１５６とを併せた抽出映像（図７の抽出映像を参照）を抽出する（ステップＳ２０３、ステップＳ２０５）。また、実像・虚像分離部１０５は、撮影された他の状態の映像（図２２、図２５、図２６）でも、同様に、その映像と、その映像が撮影された状態における、保持された映像とから、抽出映像を抽出する。すなわち、実像・虚像分離部１０５は、それら２つの映像に基づいて、対象物１１３Ｒがある状態とない状態とにおけるそれら２つの映像の間の差分をとることにより、対象物１１３Ｒの実像１１３と、光量が変化された虚像１５７、虚像１５８、虚像１５９等（図２２、図２５、図２６参照）とを併せたもの（抽出映像、図１０参照）を抽出する（ステップＳ２０４、ステップＳ２０６）。なお、実像・虚像分離部１０５は、撮影された、図２２の映像からは、含まれる３つの虚像１５７等の何れも光量が変化された抽出映像を抽出する。また、実像・虚像分離部１０５は、図２５の映像からは、虚像１５８と虚像１５９との光量のみが変化され、通常の光量である虚像１５４が含まれる抽出映像を抽出する。また、実像・虚像分離部１０５は、図２６の映像からは、虚像１５７と虚像１５９との光量のみが変化され、通常の光量である虚像１５５が含まれる抽出映像を抽出する。

このようにして、実像・虚像分離部１０５は、図２１に係る抽出映像と、図２２、図２５、図２６に係る抽出映像との４種類の抽出映像を各々取得する（ステップＳ２０５、ステップＳ２０６）。

そして、実像・虚像分離部１０５は、さらに、全ての表示部が何も表示していない状態の抽出結果（図２１に係る抽出映像）と、全ての表示部に画像を表示している状態の映像からの抽出結果（図２２に係る抽出映像）とを比較することによって、差分が少ない実像１１３のみを抽出する（ステップＳ２０７）。

そして、実像・虚像分離部１０５は、次のようにして、実像１１３以外の、虚像１５４、虚像１５５、虚像１５６を抽出する。

すなわち、実像・虚像分離部１０５は、表示部１７１ないし表示部１７２のみに画像を表示している状態の映像からの抽出結果（図２５での抽出映像）のうちで、図２２での抽出映像と差が大きい部分を、虚像１５４および実像１１３と特定する。そして、実像・虚像分離部１０５は、特定された虚像１５４および実像１１３から、予めステップＳ２０７で抽出してある実像１１３を抜き、鏡面１５０における虚像１５４を抽出する（ステップＳ２０８）。

また、実像・虚像分離部１０５は、図２６の抽出映像を用いて、鏡面１５１における虚像１５５も、上記の手法と同様の手法で、抽出する。すなわち、例えば、実像・虚像分離部１０５は、図２６の抽出映像のうちで、図２２の抽出映像と差が大きい部分を、実像１１３および虚像１５５として特定し、特定される実像１１３および虚像１５５のうちから、予めステップＳ２０７で抽出された実像１１３を抜いて、虚像１５５を抽出する。

さらに、実像・虚像分離部１０５は、全ての表示部１７０ないし表示部１７２が何も表示していない状態の映像（図２１）からの抽出結果（抽出映像）から、先にステップＳ２０７で特定された実像１１３と、先にステップＳ２０８で特定された、鏡面１５０および１５１における虚像１５４および虚像１５５とをそれぞれ抜くことによって、残りの１つの、鏡面１５２における虚像１５６を抽出する（ステップＳ２０８）。

これにより、実像・虚像分離部１０５は、実像１１３と、虚像１５４と、虚像１５５と、虚像１５６との、特定すべき全ての、対象物１１３Ｒの映像を特定する。

このようにして、本実施の形態４に係る三次元形状計測装置４においても、実施の形態１に係る三次元形状計測装置１における場合と同様に、撮影された映像中のどの部分が虚像１５４ないし虚像１５６に相当し、どの部分が、撮影装置から直接捉えることのできる実像１１３に相当するかが明確にされる。つまり、それら虚像１５４ないし虚像１５６と実像１１３とが各々三次元形状計測装置４により特定される。

そして、さらに、本実施の形態に係る三次元形状計測装置４においては、３つの鏡面１５０ないし鏡面１５２が設置されており、設置されている鏡面１５０ないし鏡面１５２のそれぞれに対して虚像が生じる可能性があるため、上記のようにして、それぞれの虚像がどの鏡面に映り込んだものかの切り分けも行われる。

虚像反転部１０６は、こうして特定された虚像１５４、虚像１５５、虚像１５６に対して、それぞれ、反転の処理を行う（ステップＳ２０９）。

虚像１５４ないし虚像１５６のそれぞれは、その虚像に対応する仮想的な撮影装置からの映像として三次元形状計測装置４により利用される。つまり、それぞれの虚像は、実際にその虚像の撮影を行った撮影装置の位置から考えて、その虚像が映り込んでいる鏡面に対して面対称な位置に、仮想的な撮影装置を設置したときの、その仮想的な撮影装置から撮影した対象物１１３Ｒの映像として、以下で説明するようにして、三次元形状計測装置４により利用される。

三次元形状計測装置４は、１台の撮影装置で１度の撮影を行うだけで、その撮影装置に対応する３つの仮想的な撮像装置により撮影された映像と併せると、複数台（４台）の撮影装置により撮影された映像を得る。

すなわち、三次元復元部１０７は、実像・虚像分離部１０５から、１つの撮影装置につき、それぞれ、４つの、対象物１１３Ｒの映像を取得し、従って、３つの撮影装置１１０等から、３×４＝１２個の、対象物１１３Ｒの映像を取得する。

そして、三次元復元部１０７は、取得されたこれら１２個の、対象物１１３Ｒの映像を用いて、対象物１１３Ｒの三次元復元を行う。なお、三次元復元部１０７は、より具体的には、これら１２個の映像と、それらの映像の撮影位置とを用いて、三次元復元を行う。ここで、それらの映像の撮影位置は、３個の実在の撮影装置の撮影位置と、それら３個の撮影装置に対応してそれぞれ３個ある仮想的な撮影装置の撮影位置（３×３＝９個の仮想的な撮影位置）との、合計して３＋９＝１２個の撮影位置である。

ここで、表示部１７０ないし表示部１７２より表示する画像は、鏡面１５０ないし鏡面１５２に映り込んでいる対象物１１３Ｒの虚像（図２１〜図２２、図２５〜図２６参照）の映り方に影響を与えるものであれば、所定の色あるいは所定の模様など、どのような画像でも良い。全ての表示部が画像を表示していない状態（図２１の状態）における撮影画像に現れない色、あるいは対象物１１３Ｒの補色などを用いると、実像１１３と虚像１５４等との切り分けがしやすく理想的である。また、３つの表示部は、何れも同じ画像を表示するのでなくてよい。すなわち、これらの表示部は、別々の画像の表示を行う２つの表示部が含まれても良い。

なお、本実施の形態４では、鏡面１５０等および表示部１７０等の数を、３つとした場合の例を示したが、これらの数は、複数であればいくつでも同様の手法を適用できる。

また、本実施の形態４では、表示部を複数個用いたが、それぞれの表示部の代わりに実施の形態２で利用した鏡面遮断部１３０（図１２〜図１３等）や、実施の形態３で利用した光照射部１４０（図１７〜図１８等）が用いられてもよい。また、それらの組み合わせを用いても同様の手法を適用できる。すなわち、実施の形態４における３つの表示部のうちの一部が、鏡面遮断部１３０または光照射部１４０の何れかに置き換えられた三次元形状計測装置を構成してもよい。また、３つの表示部のうち、一部を、鏡面遮断部１３０と置き換えると共に、他の一部を光照射部１４０に置き換える構成を採ってもよい。

また、本手法では４つの状態における撮影を行ったが、他の表示部による組み合わせを用いて、実像と全ての虚像を抽出しても良いし、撮影状態を増やすことによりその精度を上げても良い。

また、本手法では直接鏡面に対象物の実像が映り込んでいる場合の例を示したが、鏡面の虚像自体を別の鏡面に写し込み、１度の撮影で捉えられる虚像の数を増やしても良い。

このようにして、鏡面部は、複数の鏡面（鏡面１５０、鏡面１５１、鏡面１５２）を備え、当該複数の鏡面は、それぞれ、前記対象物から当該鏡面への光を反射し、光量変化部は、前記複数の鏡面に各々対応する複数の変化部（表示部１７０、表示部１７１、表示部１７２）を備え、当該複数の変化部は、それぞれ、当該変化部に対応する鏡面により反射された光が形成する前記虚像の光量を変化させ、前記複数の鏡面のうちから、光量を変化させる鏡面を決定し、決定した鏡面に対応する前記変化部を用いて、決定した鏡面の虚像の光量を変化させる決定部（制御鏡面決定部１６０）を備える三次元形状計測装置（三次元形状計測装置４）が構成される。

（実施の形態５）
以下、実施の形態５に係る三次元形状計測装置５を説明する。

図２７〜図２８は、実施の形態５に係る三次元形状計測装置５を示す図である。

制御鏡面決定部１６０（図２３）は、実施の形態５において、２種類の制御を行う。すなわち、まず、制御鏡面決定部１６０は、鏡面１５０等（図２７〜図２８）に対応する３つの表示部１７０等（図２４）の何れにも画像を表示させない図２７の状態の制御、すなわち、図２１の制御と同じ制御を行う。また、制御鏡面決定部１６０は、図２８の制御を行う。制御鏡面決定部１６０は、図２８の制御を行う際には、図２１において最も左にある鏡面１５０の表示部１７０（図２４）に赤色の画像を表示させる。図２８では、赤色の表示が、右斜め下方向の線のハッチングにより示される。また、制御鏡面決定部１６０は、図２８の制御を行う際には、真ん中にある鏡面１５１の表示部１７１（図２４）に青色の画像を表示させ、最も右にある鏡面１５２の表示部１７２（図２４）に黄色の画像を表示させる。図２８では、青色の表示が、水平方向の線のハッチングにより示され、黄色の表示が、右斜め上方向の線のハッチングにより示される。

なお、図２７〜図２８では、このように、３つの表示部が表示させる画像の色のうちで、何れの２つの色も互いに異なる。

そして、実像・虚像分離部１０５は、ステップＳ２０２（図１１）において、図２８に係る制御の状態で撮影される映像を取得する。

また、実像・虚像分離部１０５は、図２８の状態であり、かつ、対象物１１３Ｒがない状態であるときの映像を保持する。

そして、実像・虚像分離部１０５は、ステップＳ２０６で、保持する映像と、取得された図２８に係る映像とから、図２８の状態での抽出映像を抽出する。つまり、このステップＳ２０６で抽出される抽出映像は、実像１１３と、赤色の画像の赤色の光が含まれる虚像１５７ｘと、青色の光が含まれる虚像１５８ｘと、黄色の光が含まれる虚像１５９ｘとよりなる抽出映像である。

そして、実像・虚像分離部１０５は、ステップＳ２０７において、例えば、ステップＳ２０５で抽出された図２７の抽出映像に対する差が小さい、この図２８の抽出映像における部分を、実像１１３と特定するなどして、実像１１３を特定する。

また、実像・虚像分離部１０５は、ステップＳ２０８において、ステップＳ２０６で抽出された図２８の抽出映像のうちで、赤色の光が含まれる部分を、虚像１５７ｘと特定し、青色の光が含まれる部分を虚像１５８ｘと特定し、黄色の光が含まれる部分を虚像１５９ｘと特定する。そして、実像・虚像分離部１０５は、ステップＳ２０８において、図２７の抽出映像のうちで、特定された虚像１５７ｘ（図２８）の部分の画像を虚像１５４（図２７）と特定し、虚像１５８ｘの部分の画像を虚像１５５（図２７）と特定し、虚像１５９ｘの部分の画像を虚像１５６（図２７）と特定する。

三次元復元部１０７は、このようにして実像・虚像分離部１０５により特定された実像１１３、虚像１５４等を用いて、三次元復元の処理等を行う（ステップＳ２１０）。

なお、三次元復元部１０７は、この三次元復元の処理において、対象物１１３Ｒのそれぞれの部分の色を、実像１１３におけるその部分の箇所の色と特定してもよい。

（変形例）
（Ａ）なお、実施の形態１ないし実施の形態４において、撮影部１０３が撮影装置１１０ないし撮影装置１１２の３つの撮影装置よりなる例を示したが、撮影装置の数はいくつでも良い。

（Ｂ）また、実施の形態１および実施の形態４、実施の形態５において、それぞれ、光を透過する鏡面１０１等と、その鏡面の後方にある表示部１２０等という構成（図３参照）を示した。一方、鏡および表示部の構成は、例えば、光を透過する表示部とその後方にある鏡面という構成などのように、鏡面の反射特性と、表示部の表示特性とのうちの双方の特性を活かせる構成なら、様々な構成であって良い。

例えば、表示部１２０（図３）は、鏡面１０１よりも対象物１１３Ｒ側、つまり、対象物１１３Ｒの表面の側に、鏡面１０１と平行に設けられてもよい。そして、表示部１２０は、対象物１１３Ｒからの光を透過して、鏡面１０１へと到達させると共に、到達した光を鏡面１０１が反射した反射光を再び、各撮影装置がある側へと透過してもよい。そして、表示部１２０は、こうして反射光を透過することにより、撮影装置１１０等に虚像を撮影させ、他方で、画像を、撮影装置１１０等の側へと表示してもよい。表示部１２０は、これにより、反射光により形成される虚像１１４と共に、表示する画像の光を撮影装置１１０等にそれぞれ撮影させるものとしてもよい。ただし、かかる表示部１２０は、表示する画像の光が対象物１１３Ｒに遮られることにより、撮影装置１１０等から見た、対象物１１３Ｒの実像１１３の領域には、表示する画像の光を表させないことが好ましい。つまり、表示部１２０は、撮影される実像１１３の映像には、表示する画像の光を含めさせないことが望ましい。

このようにして、光量変化部は、鏡面部が前記対象物からの光を反射する表面上に設けられた、画像を表示して、表示した画像の光によって前記虚像の光量を変化させる表示部を備え（光量変化部は表示部であり）、前記表示部は、前記対象物からの光を前記鏡面部の側へ透過すると共に、透過した光が前記鏡面部によって反射されて前記撮影部へと向かう光を再び透過する、変形例の（Ｂ）に係る三次元形状計測装置が構成される。

上記した各三次元形状計測装置は、それぞれ、次のような、他の形態に係る三次元形状計測装置の局面を採ってもよい。

（Ａ）すなわち、他の形態に係る三次元形状計測装置（三次元形状計測装置１）は、対象物映像特定部（装置）と、三次元形状算出部を備える。対象物映像特定部は、ミラーと、撮影部と、第１の色変化部と、撮影制御部と、特定部とを備える。ミラーは、対象物１１３Ｒの虚像（虚像１１４、虚像１１５）を映す（鏡面１０１）。撮影部は、前記ミラーに映された虚像と、前記対象物の実像１１３との両者を含んだ撮影映像（図８、図９）を撮影する。第１の色変化部は、前記虚像および前記実像のうち一方の像の光路の途中において当該一方の像の光の色を変化させる（表示部１２０、鏡面遮断部１３０、光照射部１４０）。撮影制御部は、前記一方の像の色が前記第１の色変化部により変化された第１の撮影映像（図８）と、されていない第２の撮影映像（図５）とを各々前記撮影部に撮影させる（実像・虚像分離部１０５）。特定部は、撮影された前記第１の撮影映像および前記第２の撮影映像における、色が変化していない部分（実像１１３の部分）を第１の前記対象物の映像と特定すると共に、変化している部分（虚像１１４の部分）を第２の前記対象物の映像と特定する（実像・虚像分離部１０５）。

三次元形状算出部は、当該対象物映像特定部（の特定部）により特定された前記第１の対象物の映像および前記第２の対象物の映像から、前記対象物の三次元の形状を算出する（三次元復元部１０７）。

このため、例えば、光切断法における、スリット光を照射したり、対象物上のスリット光の位置関係をカメラで捉えるなどの処理が必要とならないなど、複雑な処理が必要なくなる。つまり、簡単に、三次元の形状を算出できる。しかも、カメラで位置関係を捉える処理の時間と比べて、第１の撮影映像と第２の撮影映像とが撮影される間の時間は短くできるので、対象物に動きがあったとしても、短い時間の間にそれらの撮影ができる。これにより、撮影される対象物の画像の間に動きがないようにでき、対象物に動きがあっても、三次元の形状の算出ができる。すなわち、簡単に算出ができ、しかも、対象物に動きがあっても、三次元の形状の算出ができる。

（Ｂ）そして、他の形態の三次元形状計測装置は、より具体的には、例えば次の構成を採る。

すなわち、前記第１の色変化部は、前記虚像の光路において当該虚像の光の色を変化させる。

このため、前記虚像を映し出すミラーの近くに前記第１の色変化部（表示部１２０、鏡面遮断部１３０、光照射部１４０）が設けられる。これにより、第１の色変化部と三次元形状計測装置の他の部分との位置が近くなって、三次元形状計測装置のサイズを小さくできる。

そして、前記特定部は、撮影された前記第１の撮影映像および前記第２の撮影映像における、色が変化していない部分を前記対象物の実像と特定すると共に、変化している部分を前記対象物の虚像と特定する。そして、前記三次元形状算出部は、予め、前記撮影部により撮影がされる撮影位置および撮影方向と、前記ミラーのミラー位置およびミラー方向とを保持する。そして、当該三次元形状算出部は、各々特定された前記実像および前記虚像と、保持する前記撮影位置、前記ミラー位置、および前記ミラー方向とに基づいて、三次元形状の算出をする。すなわち、三次元形状算出部は、次の三次元形状を算出する。算出される三次元形状は、前記撮影位置および前記撮影方向から前記実像が撮影されると共に、前記ミラー位置および前記ミラー方向を有するミラーに関して、前記撮影位置および前記撮影方向と各々面対称である仮想撮影位置および仮想撮影方向から、前記虚像を反転した反転映像が撮影される三次元形状である。三次元形状算出部は、この三次元形状を、前記対象物の三次元形状として算出するものである。

このため、例えば、撮影位置および撮影方向などが用いられず、単に、撮影された各撮影映像の解析のみによって算出を行う場合などと比べて、簡単に三次元形状の算出ができたり、精度よく算出ができたりする。なお、このような三次元形状算出部は、例えば、種々の公知の技術が用いられた機能ブロックであってもよい。

なお、前記三次元形状算出部は、仮想的な撮影部の撮影位置および撮影方向を保持し、これによって、ミラー位置およびミラー方向を保持してもよい。ここで、その、仮想的な撮影位置等と、実在の撮影部の撮影位置等とにより、ミラー位置およびミラー方向が特定される。

また、他の形態の三次元形状計測装置においては、より具体的には、例えば、前記第１の色変化部が、次に示される各構成の何れかを採るものとしてもよい。

（Ｂ１）例えば、当該第１の色変化部は、前記ミラーの反射面上に画像を表示して、表示する画像の光を前記虚像の光に加えることにより、当該虚像の色を変化させるものであってもよい。

このようにした場合には、例えば光を遮る、可動の遮光部などの機械的な機構なく、簡単な構成により変化がされるようにできる。また、例えば、反射面上に画像を一様に表示するだけで、虚像の各部の色を一様に変化させて、虚像が精度よく簡単に特定されるようにできる。これにより、簡単な構成により精度よく虚像が特定されるようにできる。

（Ｂ１１）ここで、例えば、前記ミラーは、前記対象物のある側の表面とは逆側の裏面の側からの当該ミラーへの光を前記表面の側へと透過してもよい。そして、前記第１の色変化部は、前記ミラーの裏面上に設けられて、裏面上においてミラー側へと画像を表示することによって、表示する画像の光が前記表面の側へと透過した光により、前記ミラーの表面上に、前記画像を表示するものであってもよい（表示部１２０、図３等参照）。このようにした場合には、例えば、ミラーの表面に設けられた第１の色変化部によって、虚像の光が劣化するのが抑制される。これにより、劣化がなくて精度がよい撮影映像が撮影されるようにできる。

（Ｂ１２）また、例えば、前記第１の色変化部は、前記ミラーの表面上に設けられて、表面上に画像を表示してもよい。そして、第１の色変化部は、当該ミラーへと進む前記対象物からの光を前記ミラーへと透過すると共に、透過した光が当該ミラーに反射した光を再び透過して、再び透過した光を前記撮影部に撮影させるものであってもよい。

このようにした場合には、例えば、裏面から表面へと光を透過する機能を要するなどのミラーの構成の制約が不要となり、自由にミラーを構成できる。

（Ｂ２）また、例えば、前記第１の色変化部は、前記対象物に対して前記ミラーを遮ってもよい。すなわち、第１の色変化部は、前記対象物からの光の少なくとも一部が前記ミラーに到達するのを妨げるものであってもよい（鏡面遮断部１３０、図１２〜図１３等参照）。

このようにした場合には、物理的に遮ることによって、虚像の色が変化されるので、十分にかつ確実に虚像の色が変化されるようにできる。

（Ｂ３）また、例えば、前記第１の色変化部は、前記虚像および前記実像の２つの光路のうちで、前記虚像の光路にのみ光を照射して、前記虚像の光のコントラストのみを低下させるものであってもよい（光照射部１４０、図１７〜図１８等参照）。

このようにした場合、光路の途中へと光を照射する位置に第１の色変化部が設けられて、ミラーや対象物と第１の色変化部と間の位置関係に関わらずに、自由に、第１の色変化部の位置や大きさを選ぶことができる。つまり、自由に第１の色変化部を構成できる。また、単に、光を照射する範囲が、虚像の大きさ以上の大きさにされるだけで、虚像の光を的確に変化できる。このため、的確に変化をさせつつも、色変化部のサイズを小さくできる。また、例えば、機械的に動作する可動部が不要になるなどして、色変化部を簡単な構成にできる。

なお、色変化部は、光を照射することにより、照射した光が散乱した光を虚像に含めさせて、虚像を変化させるものであってもよい。

（Ｃ）そして、他の形態に係る三次元形状計測装置においては、具体的には、例えば、前記特定部は、前記対象物がなく、かつ、前記第１の色変化部が変化させていない状態における保持撮影映像（図６）を保持してもよい。そして、特定部は、撮影された前記第２の撮影映像（図５）から、前記保持撮影映像（図６）を除いた、色が変化されていない際における、前記実像および虚像よりなる合成映像（図７）に基づく処理をしてもよい。即ち、特定部は、合成映像のうちで、撮影された前記第１の撮影映像（図８）と同じである部分を前記実像（実像１１３）と特定すると共に、当該合成映像（図７）のうちで、特定される当該実像（実像１１３）以外の残りの部分を前記虚像（虚像１１４）と特定するものとしてもよい。

このため、例えば、保持撮影映像が保持されず、複雑な画像処理により実像等が特定がされる場合などと比べて適切である。すなわち、予め用意した保持撮影映像の情報を用いて、簡単な処理により特定がされるようにできる。

（Ｄ）なお、他の形態に係る三次元形状計測装置の変形例を説明する。

他の形態の変形例に係る三次元形状計測装置は、対象物の第２の虚像（例えば、虚像１５５、虚像１５８（図２１〜図２２、図２５〜図２６））を映す第２のミラー（例えば、鏡面１５１）と、第２の色変化部とをさらに備える。そして、前記撮影部は、前記第１の虚像（虚像１５４）と、前記第２の虚像（虚像１５５等）と、前記実像（実像１１３）との両方が含まれた撮影映像（図２１など）を撮影する。そして、第２の色変化部は、前記第２の虚像の光路の途中において当該第２の虚像の光の色を変化させる（図２４の表示部１７１）。そして、前記撮影制御部は、前記第１の撮影映像（例えば図２１の映像）と第２の撮影映像（例えば図２２の映像）とのうちで第１の撮影映像の撮影（図２２の撮影）に際してのみ前記第２の色変化部に色の変化をさせ、他方の撮影（図２１の撮影）に際しては変化をさせない。そして、前記撮影制御部は、第３の撮影映像（例えば、図２５の映像）を前記撮影部に撮影させて、当該第３の撮影映像の撮影に際しては、前記第１の色変化部が変化をさせないようにし、かつ、前記第２の色変化部が変化をさせるようにする。

そして、前記特定部は、撮影された前記第１の撮影映像、および、撮影された前記第２の撮影映像における、色が変化していない部分（実像１１３の部分）を前記実像として特定してもよい。そして、前記特定部は、前記第２の撮影映像（図２１の映像）のうちで、特定された前記実像以外の他の部分（虚像１５４、虚像１５５）に含まれ、かつ、前記第３の撮影映像（図２５）において、色の変化がされている部分（虚像１５５の部分）を、第２の虚像（虚像１５５）と特定する。そして、特定部は、特定された第２の虚像以外の虚像（虚像１５４）を、第１の虚像と特定する。

このようにした場合、撮影位置を増やさなくとも、単に、第２のミラーを設けるだけの簡単な構成で、対象物の、３つの撮影位置からの映像が得られるようにできる。

そして、第２のミラーがあることで、撮影映像に第２の虚像が含まれるにも関わらず、単に、第３の撮影映像が撮影されるだけの簡単な処理により、対象物の３つの映像が特定されるようにできる。

続けて、さらに説明が行われる。

図２９は、三次元形状計測装置６の構成を示す図である。

図３０は、三次元形状計測装置６が備える複数の部分の間の位置関係を示す図である。

三次元形状計測装置６は、鏡面１０１と、鏡面反射制御部１０２と、撮影部１０３と、実像・虚像分離部１０５ｘと、虚像反転部１０６と、三次元復元部１０７とを備える。これら鏡面１０１等は、それぞれ、図２の鏡面１０１等に対応する。以下の説明では、先に述べられた点については、詳しい説明が適宜、省略される。

鏡面１０１は、対象物１１３Ｒからの光を反射し、反射した光による虚像１１４を形成する。鏡面１０１の位置および方向は、鏡面１０１が光を反射する、鏡面１０１の表面の側に、対象物１１３Ｒがある位置および方向である。鏡面１０１は、鏡面の表面とは反対側である裏面の側から鏡面１０１への光を、表面の側へと透過するハーフミラーである。

鏡面反射制御部１０２（図２９）は、表示部６３（図３０）を備える。

表示部６３は、鏡面１０１の裏面の側に設けられ、鏡面１０１の側へと、予め定められた特定波長の光（特定色の光）を照射するディスプレイである。表示部６３は、照射する光を、鏡面１０１の表面の側へと透過させることにより、その光を、鏡面１０１の表面の側に表示する。表示部６３は、例えば、鏡面１０１の表面の領域の全てにおいて、透過させた光を表示させる。

撮影部１０３は、撮影装置１１０と、距離センサ部６１とを備える。なお、距離センサ部６１は、例えば、撮影部１０３が備える複数の距離センサ部のうちの１つである。そして、撮影装置１１０は、撮影部１０３が備える複数の撮影装置のうちの１つである。例えば、複数の距離センサ部のそれぞれは、複数の撮影装置のうちの１つに対応する。そして、互いに対応する距離センサ部および撮影装置の位置は、互いに同じ位置である。

図３１は、距離センサ部６１の詳細な構成を示す図である。

距離センサ部６１は、特殊ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）６１２と、特定部６１３と、同期処理部６１４と、投光ＬＥＤ６１１とを備える。

同期処理部６１４は、例えば、表示部６３により表示が行われる際の信号を取得して、取得された時に当該距離センサ部６１を動作させるなどして、表示部６３による表示が行われる際に、距離センサ部６１を動作させる。

投光ＬＥＤ６１１は、特定波長の光を照射する。なお、特定波長は、例えば、赤外線の波長であってもよい。また、特定波長は、例えば、紫外線の波長であってもよいし、可視光のうちの一部の波長であってもよい。そして、投光ＬＥＤ６１１は、より具体的には、予め定められた照射時間の間に、予め定められたパターンの変化をする光を照射する。この点は、以下で詳しく説明される。なお、投光ＬＥＤ６１１、表示部６３の表示に合わせて同期処理部６１４が当該距離センサ部６１を動作させる際に、この照射を行う。

特殊ＣＣＤ６１２は、投光ＬＥＤ６１１により照射された光が測定対象６１Ｘ（対象物１１３Ｒ）により反射された光を感知し、画素ごとの到達時間を測定する。つまり、特殊ＣＣＤ６１２は、それぞれの画素で、その画素へと到達した、照射された、上記特定波長での上記パターンでの変化の光を感知する。ここで、それぞれの画素で感知される光は、対象物１１３Ｒの各箇所のうちにおける、その画素へと光を到達させる箇所からの光である。

特定部６１３は、それぞれの画素で、投光ＬＥＤ６１１の光が感知される時刻を特定する。特定部６１３は、これにより、それぞれの画素について、投光ＬＥＤ６１１による光の照射の時刻から、その画素で光が感知された時刻までの間の時間（到達時間）を特定する。特定部６１３は、特定された到達時間に基づいて、その到達時間の間、光が進むだけの距離を、距離センサ部６１と、その感知がされた画素に対応する測定箇所との間の距離と特定する。なお、具体的には、到達時間の間の距離は、光の往路の距離と復路の距離とが足された２倍の距離である。そこで、例えば、特定部６１３は、到達時間の距離の半分の距離を、その箇所までの距離と特定する。

特定部６１３は、こうして、それぞれの画素の距離を特定する。特定部６１３は、これにより、含まれるそれぞれの画素の値が、特定された、その画素の距離である距離画像（第１の画像）６１Ｉ（図３０）を特定する。

ここで、距離画像６１Ｉにおける、表示部６３による表示（照射）がされた領域１１４ｓｘの画素は、例えば、上記のパターンの光の光量がゼロである画素である。この領域１１４ｓｘの光における上記パターンは、例えば、表示部６３による光に吸収されるなどして、表示部６３による光により消される。これにより、上記パターンの光の光量がゼロになる。表示部６３は、こうして、光の照射によって上記パターンを消すことにより、鏡面１０１がそのパターンの光を反射しないようにする。

特定部６１３は、表示部６３により表示がされた領域１１４ｓｘの画素については、例えば、無限長の時間を特定して、無限長の距離を特定する。このため、距離画像６１Ｉにおける、照射がされた領域１１４ｓｘの画素は、無限長の距離の画素である。また、距離画像６１Ｉにおける、照射がされなかった領域の画素は、無限長ではない距離の画素である。

特定部６１３は、距離画像６１Ｉを特定することにより、距離画像６１Ｉのうちで、無限長の距離が特定された画素の領域を、表示部６３による特定波長の光の照射がされた領域１１４ｓｘと特定し、無限長ではない画素の領域を、照射がされなかった領域と特定する。

実像・虚像分離部１０５ｘは、より詳細には、実像抽出部６２と、実像＋虚像抽出部６２ｘとを備える。

実像抽出部６２は、距離画像６１Ｉに基づいて、実像の領域１１３ｓを特定する。例えば、実像抽出部６２は、予め定められた基準画像を保持し、距離画像６１Ｉのうちで、保持する基準画像との間で差がある領域を、実像の領域１１３ｓとして特定する。そして、実像抽出部６２は、撮影装置１１０により撮影された画像（第２の画像）１０３Ｉにおける、特定された実像の領域１１３ｓの部分を、実像１１３として特定する。すなわち、実像抽出部６２は、距離画像６１Ｉの形状と、画像１０３Ｉの形状との間の形状比較により、画像１０３Ｉに含まれる実像１１３を特定する。つまり、実像抽出部６２は、例えば、実像の領域１１３ｓの形状に対応する、画像１０３Ｉにおける形状を特定し、画像１０３Ｉにおける、特定された形状の部分を、実像１１３と特定する。なお、特定される実像の領域１１３ｓは、無限長の距離ではない距離が特定部６１３により特定される領域である。

なお、こうして、特殊ＣＣＤ６１２が光の感知を行い、特定部６１３が距離画像６１Ｉを特定することにより、距離画像６１Ｉが距離センサ部６１により撮影される。

実像＋虚像抽出部６２ｘは、実像抽出部６２により特定された実像の領域１１３ｓに基づいて、撮影装置１１０により撮影された画像１０３Ｉにおける、虚像１１４を特定する。実像＋虚像抽出部６２ｘは、具体的には、例えば、画像１０３Ｉにおける、画像１０３Ｉが予め定められた基準画像に対して差を有する部分を、実像１１３および虚像１１４の全体と特定して、特定されるその全体における、実像抽出部６２により特定された実像の領域１１３ｓ以外の他の領域の部分を、虚像１１４と特定する。なお、実像＋虚像抽出部６２ｘは、こうして虚像１１４を特定することで、虚像の領域１１４ｓを特定する。なお、ここで、特定される虚像の領域１１４ｓは、距離画像６１Ｉにおいて、無限長の距離が特定部６１３により特定される領域である。

三次元復元部１０７は、特定された実像１１３と、特定された虚像１１４とに基づいて、特定された実像１１３と、特定された虚像１１４とを、画像１０３Ｉの中に撮影させる三次元形状を、対象物１１３Ｒの三次元形状として算出する。三次元復元部１０７は、例えば、算出された三次元形状を、予め定められた表示制御部を用いて、ユーザに表示する。

なお、三次元形状計測装置６において、表示部６３による表示（照射）がされた領域１１４ｓｘの画素は、次のような画素でもよい。例えば、表示部６３の表示による光は、上記パターンと同じもの（同じパターンの光）である。そして、投光ＬＥＤ６１１による照射が行われる時刻と同じ時刻もしくはそれよりも前の時刻から、表示部６３の表示により、この同じパターンの光が照射される。そして、照射がされた領域１１４ｓｘの画素では、照射の時刻と同じ時刻（近似の時刻）に、表示部６３により上記光が感知される。例えば、照射がされた領域１１４ｓｘの画素は、特殊ＣＣＤ６１２が光を感知するまでの時間がゼロである画素である。この場合、距離画像６１Ｉにおける、照射された領域に該当する画素の距離は、ゼロもしくはゼロに近い値となる。また、この場合、特定部６１３は、距離画像６１Ｉを特定することにより、距離画像６１Ｉのうちで、ゼロに近い距離が特定された画素の領域を、表示部６３による特定波長の光の照射がされた領域１１４ｓｘと特定し、距離がゼロに近似できない画素の領域を、照射がされなかった領域と特定する。また、この場合、実像抽出部６２により特定される実像の領域１１３ｓは、距離がゼロに近似できない距離が特定部６１３により特定される領域である。

図３２は、三次元形状計測装置６の変形例たる三次元形状計測装置７を示す図である。

三次元形状計測装置７は、鏡面７０１と、光量変化部７３ｆと、距離センサ部７１とを備える。

鏡面７０１は、ハーフミラーではなくてよい。すなわち、鏡面７０１は、裏面側からの光を透過しなくてよい。

光量変化部７３ｆは、鏡面１０１の表面の側に設けられるフィルタである。光量変化部７３ｆは、対象物１１３Ｒと撮影部１０３（距離センサ部７１および撮影装置１１０）との間の光路を通る光のうちで、上記された特定波長の光は透過させず、遮断する。他方、光量変化部７３ｆは、上記された特定波長の以外の他の波長の光は透過させる。光量変化部７３ｆは、例えば、鏡面７０１の表面の側における、鏡面７０１が光を反射する面の全面に設けられる。

撮影装置１１０は、距離センサ部７１による距離画像６１Ｉの撮影（特殊ＣＣＤ６１２による光の感知）の時刻と同じ時刻に、画像１０３Ｉを撮影する。撮影装置１１０は、上記の特定波長の光以外の他の光を含む光による画像１０３Ｉを撮影する。このため、撮影される画像１０３Ｉは、光量変化部７３ｆによる光量の変化がされているにも関わらず、変化がされていないときに撮影される画像との差が小さい。画像１０３Ｉは、例えば、変化がされていないときの画像と同一（実質的に同一）の画像である。つまり、撮影される画像１０３Ｉは、先述の三次元形状計測装置６で撮影されるときの画像１０３Ｉと同一（実質的に同一）である。

特定部６１３は、無限長の距離の領域を特定することにより、光量変化部７３ｆにより光量が変化された領域（図３０の領域１１４ｓｘ）を特定する。距離センサ部６１は、同期処理部６１４を備えなくてよい。

この三次元形状計測装置７であれば、距離画像６１Ｉと画像１０３Ｉとが撮影される時刻が互いに同じであるにも関わらず、画像１０３Ｉとして適切な画像が撮影され、適切な処理が行われる。これにより、２つの画像を互いに異なる時刻に撮影させる複雑な処理なく、簡単に適切な２つの画像が得られる。これにより、簡単な処理で、適切な処理が行われるようにできる。

図３３は、三次元形状計測装置８（三次元形状計測装置１〜７）を示す図である。三次元形状計測装置８は、例えば、上述の三次元形状計測装置６である。

三次元形状計測装置８は、鏡面１０１（鏡面１５０等）と、光量変化部６３ａ（表示部１２０、鏡面遮断部１３０、光照射部１４０、表示部６３、光量変化部７３ｆ）と、撮影部１０３と、撮像分離部１０４と、三次元復元部１０７とを備える。

鏡面１０１は、対象物１１３Ｒからの光を反射することにより、反射した光を撮影部１０３に撮影させる。鏡面１０１は、これにより、対象物１１３Ｒと撮影部１０３との間における、鏡面１０１を介した光路１０１Ｒを形成する。鏡面１０１は、この光路１０１Ｒにおける光の反射によって、対象物１１３Ｒの虚像Ｉ１を形成する。

光量変化部６３ａは、光路１０１Ｒにおける光に作用して、光路１０１Ｒを進む光の光量を変化させる。

撮影部１０３は、鏡面１０１による虚像Ｉ１と、鏡面１０１によらない実像Ｉ２との両方が含まれる撮影画像Ｉを撮影する。撮影部１０３は、第１の撮影画像Ｉとして、光量変化部６３ａによる変化による影響を有する変化画像Ｉａを撮影する。また、撮影部１０３は、第２の撮影画像Ｉとして、光量変化部６３ａによる変化による影響を有さない通常画像Ｉｂを撮影する。撮影部１０３は、変化画像Ｉａと通常画像Ｉｂとのそれぞれを撮影する。

具体的には、撮影部１０３は、例えば、光量変化部６３ａが変化をさせる第１の時刻において、変化画像Ｉａ（図５の映像など）を撮影する。そして、撮影部１０３は、例えば、光量変化部６３ａが変化をさせない第２の時刻において、通常画像Ｉｂ（図８の映像など）を撮影する。ここで、第２の時刻は、第１の時刻とは異なる時刻である。

また、具体的には、撮影部１０３は、例えば、影響を有する変化画像Ｉａ（第１の画像６１Ｉ）を撮影する第１の撮影装置（距離センサ部６１）と、影響を有さない通常画像Ｉｂを撮影する第２の撮影装置（撮影装置１１０等）とを備える。ここで、影響を有さないとは、例えば、変化画像Ｉａが有する影響よりも少ない影響を有することをいう。また、影響を有さないとは、例えば、予め定められた程度よりも小さい程度の影響を有することをいう。

変化画像Ｉａに含まれる虚像Ｉａ１は、光量変化部６３ａによる光量の変化による影響を有する。

変化画像Ｉａに含まれる実像Ｉａ２は、光量変化部６３ａによる光量の変化による影響を有さない。

撮像分離部１０４は、領域特定部１０４ａと、画像特定部１０４ｂとを備える。これら領域特定部１０４ａ等は、図２９などにおいて、説明の便宜上から、図示されない。

領域特定部１０４ａは、変化画像Ｉａに基づいて、変化画像Ｉａにおける、光量が変化された影響を有する領域を、虚像の領域Ｒ１（虚像の領域１１４ｓ、図１０の虚像１１５の領域など）として特定し、変化画像Ｉａにおける、光量が変化された影響を有さない領域を、実像の領域Ｒ２（実像の領域１１３ｓ、図１０の実像１１３の領域など）として特定する。

なお、領域特定部１０４ａは、具体的には、例えば、変化画像Ｉａと、通常画像Ｉｂとの両方に基づいて、これらの特定をしてもよい。虚像の領域Ｒ１は、変化画像Ｉａにおけるその領域の画像は、影響を有する虚像Ｉａ１であると共に、通常画像Ｉｂにおけるその領域の画像は、影響を有さない虚像Ｉｂ１である領域である。このため、領域特定部１０４ａは、例えば、影響が有するか否かが、これら２つの画像の間で互いに異なる領域を、虚像の領域Ｒ１として特定してもよい。他方、実像の領域Ｒ２は、変化画像Ｉａにおけるその領域の画像は、影響を有さない実像Ｉａ２であるのと共に、通常画像Ｉｂにおけるその領域の画像も、影響を有さない実像Ｉｂ２である領域である。このため、領域特定部１０４ａは、例えば、影響を有するか否かがこれら２つの画像の間で互いに同一である領域を、実像の領域Ｒ２として特定してもよい。

なお、領域特定部１０４ａは、より具体的には、例えば、虚像Ｉａ１の領域と実像Ｉａ２の領域とを特定する領域特定データｄを生成することにより、これらの領域を特定する。

また、領域特定部１０４ａは、具体的には、例えば、変化画像Ｉａのみから、虚像の領域Ｒ１と実像の領域Ｒ２との特定をしてもよい。こうすれば、変化画像Ｉａは、三次元形状の復元に利用するための解像度よりも低い解像度を有するなど、低い品質の画像で足りるようにできる。例えば、変化画像Ｉａは、撮影部１０３が備える距離センサ部６１（距離センサ部７１）によって、撮影部１０３が撮影した画像である。

画像特定部１０４ｂは、通常画像Ｉｂにおける、領域特定部１０４ａにより特定された虚像の領域Ｒ１の画像を虚像Ｉｂ１として特定する。また、画像特定部１０４ｂは、通常画像Ｉｂにおける、領域特定部１０４ａにより特定された実像の領域Ｒ２の画像を実像Ｉｂ２として、通常画像Ｉｂのなかで特定する。

なお、通常画像Ｉｂにおける実像Ｉｂ２は、変化画像Ｉａにおける実像Ｉａ２と同一であってもよい。例えば、変化画像Ｉａは、光量変化部６３ａによる影響のある虚像Ｉａ１以外の他の部分の領域（例えば図１０の実像１１３の領域）については、通常画像Ｉｂにおけるその領域の画像（図７の実像１１３）と同一の画像（図１０の実像１１３）を有してもよい。この場合などには、例えば、画像特定部１０４ｂは、変化画像Ｉａにおける、特定された実像の領域Ｒ２の画像（実像Ｉａ２）を、通常画像Ｉｂにおける実像Ｉｂ２として特定してもよい。

三次元復元部１０７は、画像特定部１０４ｂにより特定された虚像Ｉｂ１と実像Ｉｂ２とから、それらを撮影部１０３に撮影させる三次元形状を、対象物１１３Ｒの三次元形状として算出する。三次元復元部１０７は、例えば、算出された三次元形状を特定する三次元形状情報１０７ｘを生成する。そして、例えば、三次元復元部１０７は、生成された三次元形状情報１０７ｘを予め定められた表示部を用いて、ユーザに表示する。

このように、実施の形態の三次元形状計測装置（三次元形状計測装置８、三次元形状計測装置１〜７）は、対象物（対象物１１３Ｒ）の三次元形状を計測する。鏡面（鏡面１０１）は、前記対象物からの光を反射する。撮影部（撮影部１０３）は、前記対象物の実像（実像Ｉ２）と、前記鏡面により形成された、前記対象物の虚像（虚像Ｉ１）との両者を映した撮影画像（撮影画像Ｉ）を撮影する。光量変化部（光量変化部６３ａ）は、前記実像と、前記虚像とのうちで、一方の像（虚像Ｉ１）の光量を変化させる。像分離部（撮像分離部１０４）は、前記光量変化部による前記変化の影響を有する第１の撮影画像（変化画像Ｉａ）と、影響を有さない第２の撮影画像（通常画像Ｉｂ）とにおける、光量が異なる部分（通常画像Ｉｂにおける、虚像の領域Ｒ１の部分）を前記一方の像（虚像Ｉｂ１）と特定し、同じである部分（通常画像Ｉｂにおける、実像の領域Ｒ２の部分）を他方の像（実像Ｉｂ２）と特定する。復元部は、前記像分離部によって特定された前記実像と前記虚像とを利用して、前記対象物の三次元形状を復元する（三次元形状情報１０７ｘを生成する）。

例えば、前記光量変化部は、前記虚像の光のうちで、予め定められた色の光（特定波長の光）の光量を変化させ、前記撮影部は、第１の撮影装置（距離センサ部６１）と第２の撮影装置（撮影装置１１０等）とを備え、前記第１の撮影装置は、前記予め定められた色の光のみによる距離測定を行い、その結果得られた画像（距離画像）を前記第１の撮影画像（第１の画像６１Ｉ）として撮影し、前記第２の撮影装置は、前記予め定められた色の光以外の他の色の光を含む光による撮影画像を前記第２の撮影画像（第２の画像１０３Ｉ）として撮影し、前記像分離部は、前記第１の撮影画像における、光量もしくは距離が変化された領域（虚像の領域Ｒ１）を前記虚像（虚像Ｉ１）の領域と特定して、前記第２の撮影画像における、その特定された領域の部分を前記虚像（虚像Ｉ１）と特定すると共に、前記第２の撮影画像における、特定された部分以外の他の部分を前記実像（実像Ｉ２）と特定する。前記第１の撮影装置は、前記予め定められた色の光を照射する照射部（投光ＬＥＤ６１１）と、照射された光が、前記対象物のそれぞれの箇所により反射された光を感知（撮影）する感知部としての撮影部（特殊ＣＣＤ６１２）と、照射の時刻から、それぞれの箇所の光の撮影の時刻までの間の時間だけ光が進む距離を、その箇所までの前記第１の撮影部からの距離として算出する算出部（特定部６１３）とを備える。

例えば、前記鏡面（三次元形状計測装置６が備える鏡面１０１）は、前記対象物からの光を反射する表面とは反対側の裏面の側から当該鏡面への光を前記表面の側へと透過し、前記光量変化部は、前記対象物の裏面の側に設けられ、前記予め定められた色の光を前記鏡面の側へと、前記第１の撮影装置により前記第１の撮影画像が撮影される際に表示する表示部（図３０の表示部６３）である。

例えば、前記光量変化部（図３２の光量変化部７３ｆ）は、前記鏡面が前記対象物からの光を反射する、前記鏡面の表面の側に設けられ、前記虚像の光のうちで、前記予め定められた色の光は透過させない一方で、前記予め定められた色以外の他の色の光は透過させるフィルタである。

また、次のコンピュータプログラムが構成される。このコンピュータプログラムは、対象物の三次元形状を計測するコンピュータ（三次元形状計測装置の全部又は一部、例えば制御部１Ａ又はＣＰＵ１Ａａ）に前記計測をさせるためのコンピュータプログラムである。ここで、前記三次元形状計測装置は、前記対象物からの光を反射する鏡面、前記対象物の実像と、前記鏡面により形成された、前記対象物の虚像との両者を映した撮影画像を撮影する撮影部とを備える。このコンピュータプログラムは、例えば、この撮影をさせる制御を行う撮影制御部と、前記実像と、前記虚像とのうちで、一方の像の光量を光量変化部が変化させるように光量変化部を制御する光量変化制御部と、前記光量変化部による前記変化の影響を有する第１の撮影画像と、影響を有さない第２の撮影画像とにおける、光量が異なる部分を前記一方の像と特定し、同じである部分を他方の像と特定する像分離部と、前記像分離部によって特定された前記実像と前記虚像とを利用して、前記対象物の三次元形状を復元する復元部とを前記コンピュータに実現させるためのコンピュータプログラムである。

なお、上記に説明されたそれぞれの事項は、その事項の箇所以外の他の箇所に記載された他の事項と、適宜、組み合わされてもよい。組み合わされた形態が構成されてもよい。

本発明に係三次元形状計測装置は、対象物を手軽に三次元復元し、それを表示させるための機能を有し、体型維持などに用いる健康管理システムとして有用である。また、試着システム等の用途にも応用できる。

１〜８ 三次元形状計測装置
１Ａ 制御部
６１、７１ 距離センサ部
６１Ｉ、１０３Ｉ 画像
６２ 実像抽出部
６２ｘ 実像＋虚像抽出部
６３、１２０、１３１、１７０〜１７２ 表示部
６３ａ、７３ｆ 光量変化部
１０１、１５０〜１５２、７０１ 鏡面
１０１Ｒ 光路
１０２、１３２、１４２、１６２ 鏡面反射制御部
１０３ 撮影部
１０４ 撮像分離部
１０４ａ 領域特定部
１０４ｂ 画像特定部
１０５、１０５ｘ 実像・虚像分離部
１０６ 虚像反転部
１０７ 三次元復元部
１１０〜１１２ 撮影装置
１１３Ｒ 対象物
１１４ｓ、１１４ｓｘ、Ｒ１、Ｒ２ 領域
１２０ 表示部
１２１ 同期制御部
１３０ 鏡面遮断部
１４０ 光照射部
１６０ 制御鏡面決定部
２１０〜２１２ 仮想的な撮影装置
６１１ａ 照射光
６１１ｂ 反射光
ｄ 領域特定データ
Ｉ 撮影画像
Ｉ１、Ｉａ１、Ｉｂ１、１１４、１１５、１４４、１５４〜１５９ 虚像
Ｉ２、Ｉａ２、Ｉｂ２、１１３ 実像
Ｉａ 変化画像
Ｉｂ 通常画像
ＩＳ 虚空間
ＲＳ 実空間

Claims (18)

1. 対象物からの光を反射する鏡面と、
   前記対象物の実像と、前記鏡面により形成された、前記対象物の虚像と両者を撮影し、撮影画像を取得する撮影部と、
   前記実像と、前記虚像とのうちで、前記虚像の光量を変化させる光量変化部と、
   前記撮影部により撮影された撮影画像のうち、前記光量変化部による前記変化の影響を有する第１の撮影画像と、影響を有さない第２の撮影画像とにおける、光量が異なる部分を前記虚像と特定し、同じである部分を前記実像と特定する像分離部と、
   を備える画像処理装置。
2. 前記像分離部によって特定された前記実像と前記虚像とを利用して、前記対象物の三次元形状を復元する復元部を備える請求項１記載の画像処理装置。
3. 前記光量変化部は、前記鏡面が反射する反射光の光量を変化させて、前記虚像の光量を変化させる請求項１または２に記載の画像処理装置。
4. 前記鏡面は、前記対象物からの光を反射する表面とは反対側の裏面の側から当該鏡面への光を前記表面の側へと透過し、
   前記光量変化部は、前記鏡面が前記表面へと透過する透過光量を変化させることで、前記虚像の光量を変化させる請求項１または２に記載の画像処理装置。
5. 前記撮影部に撮影される前記対象物がない場合において当該撮影部により撮影される基準映像を保持する基準映像保持部を備え、
   前記光量変化部は、前記虚像の光量を変化させ、
   前記像分離部は、前記光量変化部により前記光量を変化させる間に前記撮影部に撮影させて前記第１の撮影画像を取得させると共に、変化させない間に前記撮影部に撮影させて前記第２の撮影画像を取得させ、撮影された２つの前記撮影画像のうちで、保持される前記基準映像に含まれず、かつ、光量が同じである部分を前記実像と特定し、２つの前記撮影画像のうちで、前記第２の撮影画像における、保持される前記基準映像には含まれず、かつ、光量が異なる部分を、前記虚像と特定する請求項１または２に記載の画像処理装置。
6. 前記鏡面は、前記鏡面が前記対象物からの光を反射する表面とは反対側の裏面から当該鏡面への光を前記表面へと透過し、
   前記光量変化部は、前記鏡面の前記裏面の側に設けられ、画像を表示することにより、表示した画像の光を前記表面へと透過させて、透過した光によって前記虚像の光量を変化させる表示部を備える請求項１または２に記載の画像処理装置。
7. 前記光量変化部は、前記鏡面が前記対象物からの光を反射する表面上に設けられた、画像を表示して、表示した画像の光によって前記虚像の光量を変化させる表示部を含み、
   前記表示部は、前記対象物からの光を前記鏡面の側へ透過すると共に、透過した光が前記鏡面によって反射されて前記撮影部へと向かう光を再び透過する請求項１または２に記載の画像処理装置。
8. 前記表示部が表示する画像の色は、前記表示部が画像を表示していないときに前記撮影部に撮影される撮影画像に使用されない色、又は、前記対象物の色の補色である請求項６に記載の画像処理装置。
9. 前記光量変化部は、前記鏡面に入射する入射光および、前記鏡面が反射した反射光の少なくとも一方を遮断することにより、前記虚像の光量を変化させる請求項１または２に記載の画像処理装置。
10. 前記光量変化部は、前記鏡面に対して光を照射して、当該鏡面の反射光が形成する前記虚像のコントラストを変化させる請求項１または２に記載の画像処理装置。
11. 複数の鏡面のうちから、光量を変化させる鏡面を決定し、決定した鏡面に対応する変化部を用いて、決定した鏡面の虚像の光量を変化させる決定部を備え
    前記鏡面は、前記複数の鏡面を備え、
    当該複数の鏡面のそれぞれは、前記対象物から当該鏡面への光を反射し、
    前記光量変化部は、前記複数の鏡面のそれぞれに対応する複数の変化部を備え、
    当該複数の変化部のそれぞれは、その変化部に対応する鏡面により反射された光が形成する前記虚像の光量を変化させる請求項１または２に記載の画像処理装置。
12. 前記光量変化部は、前記虚像の光のうちで、予め定められた色の光の光量を変化させ、
    前記撮影部は、第１の撮影装置と第２の撮影装置とを含み、
    前記第１の撮影装置は、前記予め定められた色の光のみにより撮影した撮影画像を前記第１の撮影画像として取得し、
    前記第２の撮影装置は、前記予め定められた色の光以外の他の色の光を含む光により撮影した撮影画像を前記第２の撮影画像として取得し、
    前記像分離部は、前記第１の撮影画像における、光量が前記光量変化部によって変化されなかった領域を前記実像の領域と特定して、前記第２の撮影画像における、その特定された領域の部分を前記実像と特定すると共に、前記第２の撮影画像における、特定された前記実像の部分以外の他の部分を前記虚像と特定し、
    前記第１の撮影装置は、前記予め定められた色の光を照射する照射部と、照射された光が、前記対象物のそれぞれの箇所により反射された光を感知する感知部と、照射の時刻から、それぞれの箇所の光の撮影の時刻までの間の時間だけ光が進む距離を、その箇所までの前記第１の撮影装置からの距離として算出する算出部とを備える請求項１または２記載の画像処理装置。
13. 前記鏡面は、前記対象物からの光を反射する表面とは反対側の裏面の側から当該鏡面への光を前記表面の側へと透過し、
    前記光量変化部は、前記対象物の裏面の側に設けられ、前記予め定められた色の光を前記鏡面の側へと、前記第１の撮影装置により前記第１の撮影画像が撮影される際に表示する表示部である請求項１２記載の画像処理装置。
14. 前記光量変化部は、前記鏡面が前記対象物からの光を反射する、前記鏡面の表面の側に設けられ、前記虚像の光のうちで、前記予め定められた色の光は透過させない一方で、前記予め定められた色以外の他の色の光は透過させるフィルタである請求項１２記載の画像処理装置。
15. 画像処理装置に搭載される集積回路であって、
    前記画像処理装置が備える、対象物からの光を反射する鏡面と、前記対象物の実像と、前記鏡面により形成された、前記対象物の虚像と両者を撮影し、撮影画像を取得する撮影部と、前記実像と、前記虚像とのうちで、前記虚像の光量を変化させる光量変化部と、前記撮影部により撮影された撮影画像のうち、前記光量変化部による前記変化の影響を有する第１の撮影画像と、影響を有さない第２の撮影画像とにおける、光量が異なる部分を前記虚像と特定し、同じである部分を前記実像と特定する像分離部
    を備える集積回路。
16. 前記集積回路は更に、前記像分離部によって特定された前記実像と前記虚像とを利用して、前記対象物の三次元形状を復元する復元部を備える請求項１５記載の集積回路。
17. 画像処理方法であって、
    対象物からの光を鏡面によって反射する鏡面反射ステップと、
    前記対象物の実像と、前記鏡面により形成された、前記対象物の虚像との両者を撮影し、撮影画像を取得する撮影ステップと、
    前記実像と、前記虚像とのうちで、前記虚像の光量を変化させる光量変化ステップと、
    前記撮影部により撮影された撮影画像のうち、前記光量変化ステップによる前記変化の影響を有する第１の撮影画像と、影響を有さない第２の撮影画像とにおける、光量が異なる部分を前記虚像と特定し、同じである部分を前記実像と特定する像分離ステップと、
    を含む画像処理方法。
18. 前記像分離ステップにおいて特定された前記実像と前記虚像とを利用して、前記対象物の三次元形状を復元する復元ステップ
    請求項１７記載の画像処理方法。

Images