JP5795431B2 - 三次元計測装置、三次元計測システム、制御方法、プログラム、及び記憶媒体 - Google Patents

Description

本発明は、三次元計測技術に関する。

従来から、カメラで撮影した画像に基づき、被写体である物体の三次元計測を行う技術が知られている。例えば、特許文献１及び非特許文献１には、計測物体に複数の光パターンを投影させ、これらの光パターンが投影された計測物体を撮影した画像に基づき、計測物体の三次元位置を計測する技術が開示されている。また、特許文献２には、テレビ会議システム等において、スクリーンに映像を投影表示させつつ、スクリーンを介して人を撮影する場合に、スクリーンの特性に基づいて発生するノイズ信号を差分する処理により、スクリーンの画質を向上させる技術が開示されている。

特開２００８−１７０２８２号公報 特開平１１−３５５７４２号公報

吉澤徹編著「最新 光三次元計測」朝倉書店、２００６年１１月２０日、ｐ．４５−５２

透過デバイスを介して計測物体への光パターンの投影及び計測物体の撮影を行う三次元計測システムでは、投影させる光パターンの一部が透過デバイス上に投影表示されてしまい、これに起因して三次元計測の精度が低下するという問題が、透過デバイスの特性によって、発生する場合がある。また、透過デバイス上に投影表示された光パターンを除去する処理を行った場合には、計測物体に投影された光パターンの輝度が低下してしまうという問題がある。

本発明は、上記のような課題を解決するためになされたものであり、透過デバイスを介して計測物体への光パターンの投影及び計測物体の撮影を行った場合であっても、好適に計測物体の三次元計測を行うことが可能な三次元計測装置を提供することを主な目的とする。

請求項１に記載の発明は、透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置であって、前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得手段と、前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去手段と、前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正手段と、を有することを特徴とする。

請求項１０に記載の発明は、透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置が実行する制御方法であって、前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得工程と、前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去工程と、前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正工程と、を有することを特徴とする。

請求項１１に記載の発明は、透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置が実行するプログラムであって、前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得手段と、前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去手段と、前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正手段として前記三次元計測装置を機能させることを特徴とする。

本実施例に係る三次元計測システムの概略構成図である。 三次元計測装置の機能ブロックを示す。 投影パターン処理部が参照及び生成する画像である。 差分処理部が参照及び生成する画像である。 輝度補正処理部が参照及び生成する画像である。 輝度補正処理部が参照及び生成する画像である。

本発明の１つの好適な実施形態では、透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置であって、前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得手段と、前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去手段と、前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正手段と、を有する。

上記三次元計測装置は、画像取得手段と、除去手段と、輝度補正手段とを備え、透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う。画像取得手段は、透過デバイスを介して撮影された計測物体の画像を取得する。除去手段は、計測物体の画像から、透過デバイスに投影表示された光パターンを除去する。これにより、除去手段は、透過デバイスが誤って検出されるのを抑制する。輝度補正手段は、光パターンが照射された計測物体の表示領域を検出し、当該表示領域の輝度を補正する。このようにすることで、三次元計測装置は、透過デバイス上に投影された光パターンを除去する際に、光パターンが照射された計測物体の表示領域が暗くなることに起因して計測物体の計測精度が低下するのを抑制することができる。

上記三次元計測装置の一態様では、前記計測物体の画像において、前記光パターンが除去された領域と、前記計測物体の表示領域との重畳部分を、前記光パターンが照射された前記計測物体の表示領域として検出する。これにより、三次元計測装置は、好適に、光パターンが照射された計測物体の表示領域を認識することができる。

上記三次元計測装置の他の一態様では、前記輝度補正手段は、前記光パターンが照射された前記計測物体の表示領域の輝度を、前記除去手段による処理前の輝度に基づき補正する。このようにすることで、三次元計測装置は、光パターンが照射された計測物体の表示領域の輝度と、光パターンが照射されていない計測物体の表示領域の輝度との差を大きくし、三次元計測を高精度に行うことが可能となる。

上記三次元計測装置の他の一態様では、前記輝度補正手段は、前記光パターンが照射された前記計測物体の表示領域の輝度を、前記光パターンが照射されていない前記計測物体の表示領域の輝度に基づき補正する。この態様によっても、三次元計測装置は、光パターンが照射された計測物体の表示領域の輝度と、光パターンが照射されていない計測物体の表示領域の輝度との差を大きくし、三次元計測を高精度に行うことが可能となる。

上記三次元計測装置の他の一態様では、前記除去手段は、前記透過デバイスに投影表示された前記光パターンを示す画像を生成する投影パターン処理手段と、前記計測物体の画像を対象に、前記投影パターン処理手段が生成した画像の差分処理を行う差分処理手段と、を有する。ここで、「差分処理」とは、対象の画像から所定の画像の成分を除去する処理を指し、例えば、前者の画像の各画素値から後者の画像の各画素値を減算する処理を指す。これにより、除去手段は、好適に、透過デバイスに投影表示された光パターンを計測物体の画像から除去することが可能となる。

上記三次元計測装置の他の一態様では、前記投影パターン処理手段は、前記計測物体が存在しない状態で前記光パターンが投影された前記透過デバイスの画像に対し、前記計測物体が存在しない状態で前記光パターンが投影されていない前記透過デバイスの画像の差分処理を行うことで、前記光パターンを示す画像を生成する。これにより、除去手段は、透過デバイスに投影表示された光パターンを示す画像を生成することができ、透過デバイスに投影表示された光パターンを計測物体の画像から除去することが可能となる。

上記三次元計測装置の他の一態様では、前記差分処理手段は、前記計測物体が存在しない状態で撮影された画像における前記透過デバイスに投影表示された前記光パターンの輝度が、前記計測物体の画像における前記透過デバイスに投影表示された前記光パターンの輝度よりも小さいことを検出した場合、前記投影パターン処理手段が生成した画像の画素値を大きくして前記差分処理を行う。一般に、計測物体が存在しない状態で撮影した際の計測物体の背景の光学特性と、計測物体が存在する状態で撮影した際の計測物体の背景の光学特性とが異なる場合、透過デバイスに投影表示された光パターンの輝度が異なることがある。このような場合であっても、三次元計測装置は、この態様により、透過デバイスに投影表示された光パターンを計測物体の画像から好適に除去することが可能となる。

上記三次元計測装置の他の一態様では、前記除去手段は、前記計測物体の画像から、前記計測物体の背景物に投影表示された前記光パターンをさらに除去し、前記輝度補正手段は、前記除去手段による処理対象となった領域のうち、前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する。この態様により、三次元計測装置は、計測物体の背景物に光パターンが照射される場合であっても、光パターンが照射された計測物体の表示領域の輝度を補正することができる。

本発明の他の好適な実施形態では、三次元計測システムは、透過デバイスと、上記いずれか記載の三次元計測装置と、前記透過デバイスを介して前記計測物体に前記光パターンを出射するプロジェクタと、前記透過デバイスを介して前記計測物体を撮影した画像を前記三次元計測装置に送信するカメラと、を有する。この三次元計測システムによれば、三次元計測装置は、透過デバイス上に投影された光パターンを除去する際に、光パターンが照射された計測物体の表示領域が暗くなることに起因して計測物体の計測精度が低下するのを抑制することができる。

本発明のさらに別の実施形態では、透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置が実行する制御方法であって、前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得工程と、前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去工程と、前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正工程と、を有する。三次元計測装置は、この制御方法を実行することで、透過デバイス上に投影された光パターンを除去する際に、光パターンが照射された計測物体の表示領域が暗くなることに起因して計測物体の計測精度が低下するのを抑制することができる。

本発明のさらに別の実施形態では、透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置が実行するプログラムであって、前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得手段と、前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去手段と、前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正手段として前記三次元計測装置を機能させる。三次元計測装置は、このプログラムを実行することで、透過デバイス上に投影された光パターンを除去する際に、光パターンが照射された計測物体の表示領域が暗くなることに起因して計測物体の計測精度が低下するのを抑制することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

［三次元計測システムの構成］
図１は、本実施例に係る三次元計測システムの概略構成図である。図１に示すように、三次元計測システムは、透過デバイス１と、プロジェクタ２と、カメラ３と、三次元計測装置４と、計測物体５とを有する。

透過デバイス１は、透明スクリーン、透明ディスプレイ、又は透明ガラスなどの透過性を有するデバイスである。透過デバイス１は、光が透過する透過状態と、光を遮断する遮蔽状態とを切り替え可能なデバイスであってもよい。この場合、透過デバイス１は、計測物体５の計測時には透過状態となる。

プロジェクタ２は、計測物体５に向けて三次元計測用の複数の光パターンをそれぞれ照射する。光パターンは、例えば縞状などであり、三次元計測のパターン投影方式で用いられる種々のパターンであってもよい。例えば空間コード化法により三次元位置を計測する場合、プロジェクタ２は、例えば明暗幅を２倍ずつ変化させた縞状の光パターンを順番に投影する。

カメラ３は、三次元計測装置４と電気的に接続し、撮影した画像（「撮影画像Ｉｍ」とも呼ぶ。）を三次元計測装置４に送信する。カメラ３は、三次元計測時には、透過状態の透過デバイス１を介して、プロジェクタ２によって光パターンが照射された計測物体５を撮影する。

三次元計測装置４は、図示しないＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを有し、カメラ３から取得した撮影画像Ｉｍに基づき、計測物体５の三次元座標を計算する。透過デバイス１が透過状態であっても、プロジェクタ２から照射された光パターンが透過デバイス１上に表れる場合がある。従って、三次元計測装置４は、透過デバイス１上に投影表示された光パターンを撮影画像Ｉｍから除去し、計測物体５の三次元座標を高精度に取得する。そして、三次元計測装置４のＣＰＵなどは、本発明における「画像取得手段」、「除去手段」、「輝度補正手段」として機能する。

図２は、三次元計測装置４の機能ブロックを示す。図２に示すように、三次元計測装置４は、投影パターン処理部１１と、差分処理部１２と、輝度補正処理部１３と、三次元座標計算処理部１４とを備える。

投影パターン処理部１１は、計測物体５の計測前に、透過デバイス１に投影表示された光パターンを示す画像（「投影パターン画像Ｉｍａ」とも呼ぶ。）を予め生成する。このとき、投影パターン処理部１１は、計測物体５が存在しない状態で光パターンが透過状態の透過デバイス１に投影された撮影画像Ｉｍを対象に、計測物体５が存在しない状態で光パターンが投影されていない撮影画像Ｉｍの差分処理を行う。以後では、投影パターン処理部１１が処理対象とする撮影画像Ｉｍの生成時を「基準時」とも呼ぶ。

差分処理部１２は、計測時の撮影画像Ｉｍから光パターン成分を除去した画像（「パターン除去画像Ｉｍｂ」とも呼ぶ。）を生成する。このとき、差分処理部１２は、計測物体５が表示された計測時の撮影画像Ｉｍを対象に、投影パターン処理部１１が求めた投影パターン画像Ｉｍａの差分処理を行う。

輝度補正処理部１３は、差分処理部１２が求めたパターン除去画像Ｉｍｂのうち、光パターンが照射された計測物体５の表示領域（「対象領域Ｒｔａｇ」とも呼ぶ。）の輝度を補正する処理を行う。後述するように、計測時の撮影画像Ｉｍの各画素値から投影パターン画像Ｉｍａの各画素値を減算した場合、対象領域Ｒｔａｇの輝度が低下するという問題が生じる。以上を勘案し、輝度補正処理部１３は、パターン除去画像Ｉｍｂのうち、対象領域Ｒｔａｇの輝度を上げる処理を行う。

三次元座標計算処理部１４は、輝度補正処理部１３により輝度補正が行われたパターン除去画像Ｉｍｂ（「輝度補正画像Ｉｍｃ」とも呼ぶ。）に基づき、計測物体５の三次元位置を計測する。例えば空間コード化法を用いた場合、明暗幅が２倍ずつ変化させた縞状の光パターンが順番にプロジェクタ２から投影され、ｎ個のパターン光を用意した場合、計測領域はパターン光の投影方向に基づき２のｎ乗個に分割される。この場合、三次元座標計算処理部１４は、各パターン光の有無に対応して一意に与えられたｎビットの空間コード値について、光パターンの投影方向と輝度補正画像Ｉｍｃ上での画素位置により決まる計測方向との関係から、三角測量の原理に基づき、全ての画素について距離情報を求める。

［パターン除去処理］
次に、計測時に生成された撮影画像Ｉｍから透過デバイス１に投影表示された光パターンを除去する処理（パターン除去処理）について説明する。パターン除去処理は、投影パターン処理部１１及び差分処理部１２により実行される。

まず、図３を参照して投影パターン処理部１１の具体的な処理を説明する。図３（ａ）は、光パターンが投影された基準時の撮影画像Ｉｍ（「基準時投影画像Ｉｍｘ」とも呼ぶ。）の一例を示し、図３（ｂ）は、光パターンが投影されていない基準時の撮影画像Ｉｍ（「基準時非投影画像Ｉｍｙ」とも呼ぶ。）の一例を示し、図３（ｃ）は、投影パターン画像Ｉｍａの一例を示す。図３（ａ）等では、プロジェクタ２の投影範囲２０を破線により示し、透過デバイス１に投影された光パターンの表示領域（「投影パターン領域Ｒｐ」とも呼ぶ。）を一点鎖線により示す。

投影パターン処理部１１は、基準時投影画像Ｉｍｘ（図３（ａ）参照）を対象に、透過デバイス１上に光パターンが投影表示されていない基準時非投影画像Ｉｍｙ（図３（ｂ）参照）の差分処理を行う。具体的には、投影パターン処理部１１は、基準時投影画像Ｉｍｘの各画素のＲＧＢの画素値から、基準時非投影画像Ｉｍｙの各画素が示すＲＧＢの画素値を減算する。これにより、投影パターン処理部１１は、投影パターン領域Ｒｐのみが抽出された画像である投影パターン画像Ｉｍａ（図３（ｃ）参照）を生成する。

次に、図４を参照して差分処理部１２の具体的な処理を説明する。図４（ａ）は、計測時の撮影画像Ｉｍを示し、図４（ｂ）は、投影パターン処理部１１が生成した投影パターン画像Ｉｍａを示し、図４（ｃ）は、パターン除去画像Ｉｍｂを示す。

図４（ａ）に示すように、計測時の撮影画像Ｉｍは、計測物体５と、透過デバイス１に投影された光パターンを示す投影パターン領域Ｒｐとを表示する。また、計測物体５と投影パターン領域Ｒｐとの重畳領域である対象領域Ｒｔａｇには、透過デバイス１を透過した光パターンが計測物体５に照射されている。

そして、差分処理部１２は、図４（ａ）に示す計測時の撮影画像Ｉｍを対象に、図４（ｂ）に示す投影パターン画像Ｉｍａの差分処理を行うことで、図４（ｃ）に示すパターン除去画像Ｉｍｂを生成する。具体的には、差分処理部１２は、撮影画像Ｉｍの各画素のＲＧＢ成分について、投影パターン画像Ｉｍａの各画素が示すＲＧＢ成分を減算することでパターン除去画像Ｉｍｂを生成する。その結果、パターン除去画像Ｉｍｂには、対象領域Ｒｔａｇにのみ光パターンが投影表示されており、透過デバイス１に投影された光パターンが除去されている。

このように、差分処理部１２は、透過デバイス１に投影表示された光パターンを除去し、計測物体５にのみ光パターンが照射されたパターン除去画像Ｉｍｂを生成することができる。これにより、三次元計測装置４は、パターン除去処理を行わない場合と比較して、計測物体５が透過デバイス１から離れた状態であっても、透過デバイス１を誤って測定することなく、計測物体５の三次元計測を行うことが可能となる。

［輝度補正処理］
次に、輝度補正処理部１３が行う処理について具体的に説明する。パターン除去画像Ｉｍｂでは、投影パターン画像Ｉｍａによる差分処理を行った結果、対象領域Ｒｔａｇの輝度が低くなる。従って、輝度補正処理部１３は、対象領域Ｒｔａｇの輝度の補正を行う。

まず、対象領域Ｒｔａｇを特定する方法について図５及び図６を参照して説明する。

図５（ａ）はパターン除去画像Ｉｍｂを示し、図５（ｂ）は基準時非投影画像Ｉｍｙを示し、図５（ｃ）は、パターン除去画像Ｉｍｂのうち、計測物体５以外の表示を除去した画像「Ｉｍｂ２」を示す。

まず、輝度補正処理部１３は、図５（ａ）に示すパターン除去画像Ｉｍｂを対象に、図５（ｂ）に示す基準時非投影画像Ｉｍｙの差分処理を行う。これにより、輝度補正処理部１３は、パターン除去画像Ｉｍｂから、透過デバイス１などの計測物体５以外の表示を除去した画像Ｉｍｂ２（図５（ｃ）参照）を生成する。

次に、輝度補正処理部１３は、画像Ｉｍｂ２から、対象領域Ｒｔａｇのみを抽出した画像「Ｉｍｂ３」を生成する。この処理について、図６を参照して具体的に説明する。図６（ａ）は、画像Ｉｍｂ２を示し、図６（ｂ）は、投影パターン画像Ｉｍａを示し、図６（ｃ）は、画像Ｉｍｂ３を示す。

図６（ａ）乃至（ｃ）に示すように、輝度補正処理部１３は、画像Ｉｍｂ２（図６（ａ）参照）のうち、投影パターン画像Ｉｍａ（図６（ｂ）参照）の投影パターン領域Ｒｐと重なる画素以外の画素値を「０」にした画像Ｉｍｂ３（図６（ｃ）参照）を生成する。そして、輝度補正処理部１３は、画像Ｉｍｂ３を二値化することにより、対象領域Ｒｔａｇを特定する。

次に、画像Ｉｍｂ３により特定される対象領域Ｒｔａｇに基づき、パターン除去画像Ｉｍｂから輝度補正画像Ｉｍｃを生成する方法について説明する。

輝度補正処理部１３は、パターン除去画像Ｉｍｂの対象領域Ｒｔａｇの輝度を所定値又は所定率だけ上げた輝度補正画像Ｉｍｃを生成する。ここで、輝度補正処理部１３は、輝度補正画像Ｉｍｃの対象領域Ｒｔａｇの輝度が、計測時の撮影画像Ｉｍの対象領域Ｒｔａｇの輝度以上の値になるように、上述の所定値及び所定率を設定する。これにより、輝度補正処理部１３は、計測物体５の三次元座標位置の計算精度を向上させる。

これについて補足説明する。一般の三次元座標位置の計算では、三次元座標計算処理部１４は、各々の光パターンが計測物体５に投影表示された画像の各画素を対象に、光パターンが投影されているか否かを当該画素の輝度を参照して判定する。この場合、三次元座標計算処理部１４は、光パターンの投影の有無を判定するための閾値（「閾値Ｃｔｈ」とも呼ぶ。）を設定し、各画素の光パターンの投影の有無を判定する。光パターンが投影された場合の所定の画素の輝度を「Ａ」、光パターンが投影されていない場合の当該画素の輝度を「Ｂ」とすると、以下の式（１）を満たすような、縞状の光パターンに対応する領域を求める（「Ｃｔｈ」は閾値）。
Ａ−Ｂ＞Ｃｔｈ （１）
ここで、一般に、閾値Ｃｔｈが高い程、縞状の光パターンに対応する領域の誤判定が抑制される。一方、光パターンの投影の有無に基づく輝度差が小さい場合は、閾値Ｃｔｈを高くすると、縞状の光パターンに対応する領域を決定することができなくなる。したがって、三次元座標計算処理部１４は、光パターンの投影の有無に基づく輝度差が大きい程、閾値Ｃｔｈを高く設定することができ、上述した誤判定を抑制して、縞状の光パターンに対応する領域を決定することが可能となる。

以上を勘案し、輝度補正処理部１３は、輝度補正画像Ｉｍｃの対象領域Ｒｔａｇの輝度を、実際の光パターン投影時の輝度以上の値になるように設定する。これにより、輝度補正処理部１３は、計測物体５の三次元座標の計算精度を向上させることができる。

なお、パターン除去画像Ｉｍｂの対象領域Ｒｔａｇの輝度を上げる他の方法として、パターン除去画像Ｉｍｂを算出する際に、投影パターン画像Ｉｍａの輝度を予め下げておくことが考えられる。しかし、この場合には、透過デバイス１に投影表示された光パターンが完全に除去できない。従って、この場合、透過デバイス１の三次元位置が誤って計算される蓋然性が高くなり、本実施例に基づき生成した輝度補正画像Ｉｍｃを用いて三次元計測を行う場合と比較して、計測精度が低下する。

［輝度補正処理のロバスト性］
輝度補正処理部１３は、上述した処理を実行することにより、カメラ３の撮影環境の明るさ、プロジェクタ２と計測物体５との距離、計測物体５の種類によらず、好適に、透過デバイス１の影響を排除しつつ、計測物体５の光パターンが投影された輝度補正画像Ｉｍｃを生成することができる。これについて、補足説明する。

（１）明るさの変化
一般的に、カメラ３の撮影環境が明るくなるに従い、閾値Ｃｔｈによる計測物体５に光パターンが照射されているか否かの判別が難しくなり、三次元計測の精度が低下する。

この場合であっても、本実施例では、輝度補正処理部１３は、上述した輝度補正処理に基づき、対象領域Ｒｔａｇの輝度を上げる。これにより、輝度補正処理部１３は、輝度補正処理を行わない場合と比較して、閾値Ｃｔｈを大きい値に設定することができ、閾値Ｃｔｈによる判定処理の精度を向上させることができる。従って、三次元計測装置４は、カメラ３の撮影環境が明るい場合であっても、三次元計測の精度が低下するのを抑制することができる。

（２）距離の変化
一般的に、プロジェクタ２と計測物体５との距離が長くなる程、計測物体５に照射された光パターンの輝度が小さくなるため、閾値Ｃｔｈによる計測物体５に光パターンが照射されているか否かの判別が難しくなり、三次元計測の精度が低下する。

この場合であっても、本実施例では、輝度補正処理部１３は、上述した輝度補正処理に基づき、対象領域Ｒｔａｇの輝度を上げることで、光パターンの投影の有無に基づく輝度差を上げる。これにより、輝度補正処理部１３は、輝度補正処理を行わない場合と比較して、閾値Ｃｔｈを大きい値に設定することができ、閾値Ｃｔｈによる判定処理の精度を向上させることができる。従って、三次元計測装置４は、プロジェクタ２と計測物体５との距離が長くなった場合であっても、三次元計測の精度が低下するのを抑制することができる。

（３）計測物体の変化
一般に、計測物体５の光学特性が拡散型又は反射型等であるかによって、光パターンの照射部分における輝度が異なる場合がある。この場合、全ての計測物体５で共通の閾値Ｃｔｈを用いた場合、閾値Ｃｔｈによる計測物体５に光パターンが照射されているか否かの判別精度が低下し、三次元計測の精度が低下する。

この場合であっても、本実施例では、輝度補正処理部１３は、上述した輝度補正処理に基づき、対象領域Ｒｔａｇの輝度を上げることで、光パターンの投影の有無に基づく輝度差を上げる。これにより、輝度補正処理部１３は、輝度補正処理を行わない場合と比較して、閾値Ｃｔｈを大きい値に設定することができ、閾値Ｃｔｈによる判定処理の精度を向上させることができる。従って、三次元計測装置４は、光学特性が異なる計測物体５の三次元計測を行う場合であっても、三次元計測の精度が低下するのを抑制することができる。

なお、基準時と計測時とで計測物体５の背景物を変えた場合、三次元計測装置４は、当該背景物の光学特性の違いに応じ、場合分けによる処理が必要となる。この処理については、次のセクションで詳しく説明する。

［背景変化に基づく処理］
一般に、計測物体５の背景となる物体の光学特性によって、投影パターン領域Ｒｐの輝度が異なる。例えば、光学特性が拡散型の背景（例えば布、白紙等）に比べて、光学特性が反射型の背景（例えばホワイトボード等）の方が、投影パターン領域Ｒｐの輝度が小さくなる。

以上を勘案し、三次元計測装置４は、基準時の透過デバイス１の光パターンの輝度と、計測時の透過デバイス１の光パターンの輝度との大小関係に基づき、実行すべき処理を変える。以下、上述の輝度の大小関係ごとに場合分けして説明する。

なお、三次元計測装置４は、例えば、投影パターン画像Ｉｍａ中の投影パターン領域Ｒｐの輝度の平均が、投影パターン領域Ｒｐに対応する計測時の撮影画像Ｉｍの輝度の平均よりも大きい場合、基準時の透過デバイス１の光パターンの輝度が、計測時の透過デバイス１の光パターンの輝度よりも大きいと判断する。同様に、三次元計測装置４は、投影パターン画像Ｉｍａ中の投影パターン領域Ｒｐの輝度の平均が、投影パターン領域Ｒｐに対応する計測時の撮影画像Ｉｍの輝度の平均よりも小さい場合、基準時の透過デバイス１の光パターンの輝度が、計測時の透過デバイス１の光パターンの輝度よりも小さいと判断する。

（１）基準時の透過デバイス１の光パターンの輝度と、計測時の透過デバイス１の光パターンの輝度とが同一の場合
このとき、計測時の撮影画像Ｉｍの各画素値から投影パターン画像Ｉｍａの各画素値を減算処理することでパターン除去画像Ｉｍｂを生成した場合に、パターン除去画像Ｉｍｂには、図４（ｃ）と同様、投影パターン領域Ｒｐが残らない。従って、この場合、三次元計測装置４は、上述したパターン除去処理及び輝度補正処理を実行する。

（２）基準時の透過デバイス１の光パターンの輝度が計測時の透過デバイス１の光パターンの輝度より大きい場合
このときも同様に、計測時の撮影画像Ｉｍの各画素値から投影パターン画像Ｉｍａの各画素値を減算処理することでパターン除去画像Ｉｍｂを生成した場合に、パターン除去画像Ｉｍｂに、図４（ｃ）と同様、投影パターン領域Ｒｐが残らない。従って、この場合、三次元計測装置４は、上述したパターン除去処理及び輝度補正処理を実行する。

（３）基準時の透過デバイス１の光パターンの輝度が計測時の透過デバイス１の光パターンの輝度より小さい場合
このとき、計測時の撮影画像Ｉｍの各画素値から投影パターン画像Ｉｍａの各画素値を減算処理することでパターン除去画像Ｉｍｂを生成した場合に、パターン除去画像Ｉｍｂに投影パターン領域Ｒｐが残存してしまう。従って、この場合、差分処理部１２は、例えば、投影パターン画像Ｉｍａの投影パターン領域Ｒｐの各画素の輝度を所定値又は所定率だけ上げる補正を行う。そして、差分処理部１２は、計測時の撮影画像Ｉｍに対し、当該輝度補正後の投影パターン画像Ｉｍａの差分処理を行うことで、パターン除去画像Ｉｍｂを生成する。上述の所定値及び所定率は、例えば、投影パターン画像Ｉｍａの投影パターン領域Ｒｐの各画素の輝度が、計測時の撮影画像Ｉｍの投影パターン領域Ｒｐの各画素の輝度以上となる値に設定される。

これにより、差分処理部１２は、投影パターン領域Ｒｐを除去したパターン除去画像Ｉｍｂを好適に生成することができる。そして、輝度補正処理部１３は、差分処理部１２が生成したパターン除去画像Ｉｍｂに基づき、輝度補正処理を実行する。

［変形例］
以下、上述の実施例に好適な変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用してもよい。

（変形例１）
輝度補正処理部１３は、対象領域Ｒｔａｇの輝度を補正する場合、計測時の撮影画像Ｉｍの対象領域Ｒｔａｇ以外の計測物体５の画素の輝度に基づき対象領域Ｒｔａｇの輝度を補正してもよい。具体的には、輝度補正処理部１３は、計測時の撮影画像Ｉｍの対象領域Ｒｔａｇ以外の計測物体５の画素のうち、輝度が高い画素を特定し、当該輝度よりも対象領域Ｒｔａｇの輝度が高くなるように設定する。これによっても、輝度補正処理部１３は、閾値Ｃｔｈによる判定処理を高精度に実行することができる。

（変形例２）
三次元計測装置４は、パターン除去処理により計測時の撮影画像Ｉｍからパターン除去画像Ｉｍｂを生成し、その後、輝度補正処理において対象領域Ｒｔａｇを認識し、パターン除去画像Ｉｍｂの対象領域Ｒｔａｇの輝度を上げた。しかし、本発明が適用可能な処理手順は、これに限定されない。

これに代えて、三次元計測装置４は、まず、対象領域Ｒｔａｇを認識し、その後、投影パターン画像Ｉｍａの対象領域Ｒｔａｇの輝度を下げる。そして、三次元計測装置４は、パターン除去処理において、計測時の撮影画像Ｉｍを対象に、当該輝度を下げた投影パターン画像Ｉｍａの差分処理を行うことでパターン除去画像Ｉｍｂを生成する。この場合、パターン除去画像Ｉｍｂの対象領域Ｒｔａｇの輝度は、投影パターン画像Ｉｍａの対象領域Ｒｔａｇの輝度を下げた分、既に高い値に補正されている。従って、この場合、三次元座標計算処理部１４は、上述のパターン除去画像Ｉｍｂに基づき、三次元計測処理を行う。

いずれの場合であっても、三次元計測装置４は、計測物体５の光パターンの投影領域である対象領域Ｒｔａｇを認識することで、当該対象領域Ｒｔａｇの輝度を上げ、三次元計測精度を向上させることができる。

（変形例３）
計測物体５の後方に背景物が存在し、当該背景物が光パターンの照射により明るく光って撮影される場合、基準時投影画像Ｉｍｘ及び投影パターン画像Ｉｍａには、透過デバイス１上に照射された光パターンに加え、背景物に照射された光パターンが表示される。

この場合、投影パターン処理部１１が基準時投影画像Ｉｍｘに対し基準時非投影画像Ｉｍｙの差分処理を行って投影パターン画像Ｉｍａを生成すると、投影パターン画像Ｉｍａには、投影パターン領域Ｒｐに加えて、背景物が光パターンの照射により光った部分も表示される。従って、この場合、差分処理部１２が計測時の撮影画像Ｉｍに対しパターン除去画像Ｉｍｂの差分処理を行うと、パターン除去画像Ｉｍｂでは、投影パターン領域Ｒｐの他に、背景物が光パターンの照射により光った部分の輝度も低下するという問題がある。

この場合であっても、輝度補正処理部１３は、上述の実施例と同様、差分処理部１２が生成したパターン除去画像Ｉｍｂと、投影パターン画像Ｉｍａとの重畳部分を対象領域Ｒｔａｇに定め、パターン除去画像Ｉｍｂのうち、当該対象領域Ｒｔａｇの輝度を上げる。これにより、輝度補正処理部１３は、計測物体５と投影パターン領域Ｒｐとの重畳部分に加え、計測物体５と背景物が光パターンの照射により光った部分との重畳部分の輝度を上げることができる。

このように、三次元計測装置４は、背景物が光パターンの照射により明るく光って撮影される場合であっても、光パターンが照射された計測物体５の部分の輝度を適切に調整することができる。

（変形例４）
上述の実施例では、投影パターン処理部１１は、光パターンのパターンごとに基準時投影画像Ｉｍｘをカメラ３から取得し、光パターンのパターンごとに投影パターン画像Ｉｍａを生成及び記憶していた。これに代えて、投影パターン処理部１１は、所定の光パターンが表示された投影パターン画像Ｉｍａ（「基準パターン画像」とも呼ぶ。）から、他の光パターンが表示された投影パターン画像Ｉｍａ（「他パターン画像」とも呼ぶ。）を生成及び記憶してもよい。

この場合、投影パターン処理部１１は、投影範囲２０における各光パターンの形状及び配置の情報を予め記憶しておくことで、他パターン画像の各々に表示させる投影パターン領域Ｒｐの位置を認識する。そして、投影パターン処理部１１は、他パターン画像の各々に表示させる投影パターン領域Ｒｐの各画素値を、基準パターン画像に表示された投影パターン領域Ｒｐの画素値に基づき設定する。

また、上述の実施例では、投影パターン処理部１１は、計測物体５が撮影範囲にない場合に予め撮影した基準時投影画像Ｉｍｘ及び基準時非投影画像Ｉｍｙに基づき、投影パターン画像Ｉｍａを生成した。即ち、基準時と計測時とはそれぞれ別の時間に設定されていた。これに代えて、投影パターン処理部１１は、計測時の撮影画像Ｉｍに基づき、投影パターン画像Ｉｍａを生成してもよい。

この場合、例えば、投影パターン処理部１１は、計測時の撮影画像Ｉｍから、計測物体５と重なっていない投影パターン領域Ｒｐの一部、例えば左端又は右端に形成された光パターンの縞を認識する。そして、投影パターン処理部１１は、当該縞の画素値を参照することで、計測物体５と重なった部分を含む光パターンの他の縞の画素値を設定した投影パターン画像Ｉｍａを生成する。この場合、投影パターン処理部１１は、投影範囲２０における各光パターンの形状及び配置の情報を予め記憶しておき、当該情報に基づき光パターンの他の縞の位置及び範囲を認識する。これにより、三次元計測システムは、計測物体５の計測前において、投影パターン画像Ｉｍａを生成するために基準時投影画像Ｉｍｘ及び基準時非投影画像Ｉｍｙをカメラ３により予め撮影する必要がなくなる。

（変形例５）
上述の実施例では、三次元計測装置４は、ＲＧＢの各成分により定まる輝度に基づき、閾値Ｃｔｈによる判定処理などを行った。これに代えて、三次元計測装置４は、ＲＧＢの少なくとも１つの値に基づき、閾値Ｃｔｈによる判定処理などを行ってもよい。

また、プロジェクタ２は、赤外線による光パターンを照射するプロジェクタであり、かつ、カメラ３は、赤外線カメラであってもよい。この場合、三次元計測装置４は、赤外線カメラから送信される撮影画像Ｉｍに基づき、上述した実施例と同様の処理を行う。

（変形例６）
図１に示す三次元計測システムでは、プロジェクタ２及びカメラ３と、計測物体５との間に１つの透過デバイス１が設置されていたが、これに代えて、プロジェクタ２及びカメラ３と、計測物体５との間に複数の透過デバイス１が設置されてもよい。

（変形例７）
プロジェクタ２は、透過デバイス１に情報の表示を行うための光（「表示光」とも呼ぶ。）と、光パターンを構成する光（「パターン光」とも呼ぶ。）とをそれぞれ出射してもよい。この場合、透過デバイス１は、例えば透過状態と遮蔽状態とを切替可能なディスプレイであり、プロジェクタ２により表示光が出射されているときには遮蔽状態となり、プロジェクタ２によりパターン光が出射されているときには透過状態となる。そして、この構成によれば、三次元計測システムは、表示レート等を適切に制御することで、人が不自然に感じることなく、表示光による映像を視認させると共に、手などの計測物体５の三次元計測が可能となる。

なお、この場合、プロジェクタ２は、表示光を出射するプロジェクタと、パターン光を出射するプロジェクタとの２台のプロジェクタにより実現されてもよい。

本発明は、非接触型の入力装置、表示装置、その他、三次元計測を行う装置に好適に適用することができる。

１ 透過デバイス
２ プロジェクタ
３ カメラ
４ 三次元計測装置
５ 計測物体

Claims (12)

1. 透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置であって、
   前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得手段と、
   前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去手段と、
   前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正手段と、
   を有することを特徴とする三次元計測装置。
2. 前記輝度補正手段は、前記計測物体の画像において、前記光パターンが除去された領域と、前記計測物体の表示領域との重畳部分を、前記光パターンが照射された前記計測物体の表示領域として検出することを特徴とする請求項１に記載の三次元計測装置。
3. 前記輝度補正手段は、前記光パターンが照射された前記計測物体の表示領域の輝度を、前記除去手段による処理前の輝度に基づき補正することを特徴とする請求項１または２に記載の三次元計測装置。
4. 前記輝度補正手段は、前記光パターンが照射された前記計測物体の表示領域の輝度を、前記光パターンが照射されていない前記計測物体の表示領域の輝度に基づき補正することを特徴とする請求項１乃至２のいずれか一項に記載の三次元計測装置。
5. 前記除去手段は、
   前記透過デバイスに投影表示された前記光パターンを示す画像を生成する投影パターン処理手段と、
   前記計測物体の画像を対象に、前記投影パターン処理手段が生成した画像の差分処理を行う差分処理手段と、
   を有することを特徴とする請求項１乃至４のいずれか一項に記載の三次元計測装置。
6. 前記投影パターン処理手段は、前記計測物体が存在しない状態で前記光パターンが投影された前記透過デバイスの画像を対象に、前記計測物体が存在しない状態で前記光パターンが投影されていない前記透過デバイスの画像の差分処理を行うことで、前記光パターンを示す画像を生成することを特徴とする請求項５に記載の三次元計測装置。
7. 前記差分処理手段は、
   前記計測物体が存在しない状態で撮影された画像における前記透過デバイスに投影表示された前記光パターンの輝度が、前記計測物体の画像における前記透過デバイスに投影表示された前記光パターンの輝度よりも小さいことを検出した場合、
   前記投影パターン処理手段が生成した画像の画素値を大きくして前記差分処理を行うことを特徴とする請求項６に記載の三次元計測装置。
8. 前記除去手段は、前記計測物体の画像から、前記計測物体の背景物に投影表示された前記光パターンをさらに除去し、
   前記輝度補正手段は、前記除去手段による処理対象となった領域のうち、前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正することを特徴とする請求項１乃至７のいずれか一項に記載の三次元計測装置。
9. 透過デバイスと、
   請求項１乃至８のいずれか一項に記載の三次元計測装置と、
   前記透過デバイスを介して計測物体に前記光パターンを出射するプロジェクタと、
   前記透過デバイスを介して前記計測物体を撮影した画像を前記三次元計測装置に送信するカメラと、
   を有することを特徴とする三次元計測システム。
10. 透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置が実行する制御方法であって、
    前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得工程と、
    前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去工程と、
    前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正工程と、
    を有することを特徴とする制御方法。
11. 透過デバイスを介して光パターンが投影される計測物体の三次元計測を行う三次元計測装置が実行するプログラムであって、
    前記透過デバイスを介して撮影された前記計測物体の画像を取得する画像取得手段と、
    前記計測物体の画像から、前記透過デバイスに投影表示された前記光パターンを除去する除去手段と、
    前記計測物体の画像において、前記光パターンが照射された前記計測物体の表示領域を検出し、当該表示領域の輝度を補正する輝度補正手段
    として前記三次元計測装置を機能させることを特徴とするプログラム。
12. 請求項１１に記載のプログラムを記憶したことを特徴とする記憶媒体。

Images