WO2007114189A1

WO2007114189A1 - ３次元色形状計測装置

Info

Publication number: WO2007114189A1
Application number: PCT/JP2007/056720
Authority: WO
Inventors: Hirotaka Asakura; Kenji Natsuhara
Original assignee: Brother Kogyo Kabushiki Kaisha
Priority date: 2006-03-30
Filing date: 2007-03-28
Publication date: 2007-10-11
Also published as: US7576845B2; US20090046301A1; JP2007271395A

Abstract

　被計測物の色と３次元形状とを高精度に計測可能な３次元色形状計測装置を提供する。　被計測物を同一の撮像部により撮像して得られる画像信号に基づいて、被計測物の色と３次元形状とを計測する３次元色形状計測装置であって、第１階調特性に従った第１補正により画像信号を色計測用画像信号に変換すると共に、第２階調特性に従った第２補正により画像信号を形状計測用画像信号に変換する補正部と、形状計測用画像信号に基づいて、被計測物の３次元形状を復元した３次元モデルと、色計測用画像信号に基づいて復元した被計測物の色とを用いて被計測物の３次元画像を復元する色形状抽出部とを有することを特徴とする３次元色形状計測装置とした。

Description

明細書

3次元色形状計測装置

技術分野

[0001] 本発明は、被計測物を撮像部により撮像して得られる画像信号に基づいて、被計測物の色と 3次元形状とを計測する 3次元色形状計測装置に関するものである。背景技術

[0002] 従来より、被計測物に光を投影した状態で被計測物を撮像することにより被計測物の色と形状とを計測し、被計測物の 3次元色形状情報を生成する 3次元色形状計測装置が知られている (たとえば、特許文献 1参照。 ) o

[0003] この 3次元色計測装置は、被計測物を撮像する CCD (Charge Coupled Device)等を備えた撮像部と、撮像部が被計測物を撮像して出力する画像信号に基づ!ヽて被計測物の色と 3次元形状とを計測するコンピュータ等を備えた計測部と、計測部による計測結果に基づ、て被計測物の 3次元形状を復元した 3次元モデルに、同じく計測部による計測結果に基づいて被計測物の色を復元した画像 (テクスチャ)を貼り付ける（テクスチャマッピングする）ことにより、被計測物の 3次元カラー画像を表示する液晶表示パネル等を備えた表示部とを有してヽた。

[0004] 一般に、このような 3次元色形状計測装置では、撮像部により被計測物を撮像して得られる画像信号に対して、表示部の表示特性に合わせた階調補正 (以下、「ガンマ補正」という。）を施すことにより、表示部に表示する被計測物の 3次元カラー画像の色調をより実際の色調に近づけるようにしていた。イスプレイ等と、つた表示装置では、入力される画像信号の電圧値に対する表示画像の階調（明るさ）が比例関係とならない非線形の特性を有しており、具体的には、入力電圧が低いときには明るさの変化が穏やかで、入力電圧が高いときには明るさが急激に変化すると、う特性を有して、る。

[0006] そのため、 CCDにより被計測物を撮像した画像信号をそのまま表示装置に入力すると、表示画像にぉ、て被計測物の実際の色調を忠実に再現することができな、。 [0007] このような不具合を生じさせな、ように、撮像部では、画像信号の電圧値に対する表示画像の階調が比例関係となるように、被計測物を撮像した画像信号に対して、表示装置の表示特性に合わせたガンマ補正を施すようにして、た。

特許文献 1：特開 2003-172610号公報

発明の開示

発明が解決しょうとする課題

[0008] ところが、上記従来の 3次元色計測装置では、被計測物を撮像した画像信号に対してガンマ補正を施して、たため、被計測物の色調にっ、ては忠実に再現できるものの、被計測物の 3次元形状については、その計測精度が低下して忠実に再現することができな!/、おそれがあった。

[0009] すなわち、この 3次元色形状計測装置では、被計測物の 3次元形状を計測する際、被計測物にストライプ状のパターン光を照射した状態で撮像部により被計測物を撮像し、計測部は、このとき撮像部力入力される画像信号に基づいて被計測物におけるストライプ状のパターン境界を検出することによって被計測物の 3次元形状を計測していた。

[0010] しかし、このとき計測部に入力される画像信号は、ガンマ補正を施した後の非線形の階調特性を有する画像信号であるため、図 35に示すように、ガンマ補正後の画像信号に基づヽた表示画像における輝度分布が、最も明る、部分を除!ヽてガンマ補正を施す前の線形の階調特性を有する画像信号に基づいた輝度分布よりも高くなつている。

[0011] そのため、実際のパターン境界（閾値を示す直線とガンマ補正前の画像信号に基づいた輝度分布を示す曲線との交点）と、計測部が検出するパターン境界（閾値を示す直線とガンマ補正後の画像信号に基づいた輝度分布を示す曲線との交点）とに誤差 u0〜u3が生じてしまい、この誤差により、計測部が実際とは異なる 3次元形状を被計測物の 3次元形状として誤検出してしまうので、 3次元形状の計測精度が低下して被計測物の 3次元形状を忠実に再現することができないおそれがあった。

課題を解決するための手段

[0012] そこで、本発明の一つの観点によれば、被計測物を同一の撮像部により撮像して得られる画像信号に基づ、て、被計測物の色と 3次元形状とを計測する 3次元色形状計測装置であって、第 1階調特性に従った第 1補正により画像信号を色計測用画像信号に変換すると共に、第 2階調特性に従った第 2補正により画像信号を形状計測用画像信号に変換する補正部と、形状計測用画像信号に基づいて、被計測物の 3次元形状を復元した 3次元モデルと、色計測用画像信号に基づ！ヽて復元した被計測物の色とを用いて被計測物の 3次元画像を復元する色形状抽出部とを有する構成とすることにより、被計測物の色を精度良く測定及び再現できるだけでなぐ被計測物の 3次元形状も高精度に測定及び再現することができる。

[0013] また、本発明の 3次元色形状計測装置にぉ、て、階調特性は、ガンマ特性としてもよい。こうすることにより、被計測物の 3次元形状を高精度に測定できるだけでなぐ被計測物の 3次元画像を表示する表示装置の表示特性に合わせて、被計測物の色及び 3次元形状を忠実に再現可能な画像情報を生成することができる。

[0014] また、本発明の 3次元色形状計測装置において、被計測物に所定パターンのバタ一ン光を投影するパターン光投影部を有し、補正部は、パターン光投影部によるパターン光投影時に、撮像部が被計測物を撮像して出力する画像信号に第 2階調特性に従って第 2補正を行い、パターン光投影部によるパターン光非投影時に、撮像部が被計測物を撮像して出力する画像信号に第 1階調特性に従って第 1補正を行う構成としてもよい。このような構成とすることにより、被計測物の色及び 3次元形状をより高精度に計測することができる。

[0015] また、本発明の 3次元色形状計測装置において、第 2階調特性は、線形特性としてもよい。こうすることにより、計測結果における被計測物の 3次元形状と、被計測物の実際の 3次元形状との間の誤差を可及的に小さくすることができる。

[0016] また、本発明の 3次元色形状計測装置において、第 2階調特性は、一部分を線形とし、その他の部分を非線形とした特性としてもよい。こうすることにより、特定の輝度を持った画像領域にぉ、て、被計測物の 3次元形状を高精度に計測することができる。

[0017] また、本発明の 3次元色形状計測装置において、第 1補正及び前記第 2補正のうち少なくとも一方は、補正前後の情報を対応させたルックアップテーブルを利用して行う構成としてもよい。このような構成とすることにより、 3次元色形状計測装置の小型化及び簡略ィ匕を図ることができる。

[0018] また、本発明の 3次元色形状計測装置において、画像信号は、複数種類の色信号と輝度信号とを含み、補正部は、色信号毎に第 1補正及び第 2補正を行う構成としてもよい。このような構成とすることにより、被計測物の色をより高精度に測定することができる。

[0019] また、本発明の 3次元色形状計測装置において、画像信号は、輝度信号よりなり、補正部は、輝度信号を第 1補正及び第 2補正する構成としてもよい。このような構成とすることにより、被計測物の形状をより高精度に計測することができる。

[0020] また、本発明の 3次元色形状計測装置において、補正部は、第 2補正を増幅器によつて行う構成としてもよい。このような構成とすることにより、増幅器の増幅特性の設定により信号の増幅に所望の補正特性が得られ、後段に余計な補正が不要になり、後段の構成を複雑化させることなぐ被計測物の 3次元形状をより高精度に計測することがでさる。

[0021] また、本発明の 3次元色形状計測装置において、撮像部と補正部とを撮像ユニットに収納し、色形状抽出部を主装置に収納し、補正部は、第 1階調特性に従った第 1 補正により画像信号を色計測用画像信号に変換する第 1補正部と、第 2階調特性に従った第 2補正により画像信号を形状計測用画像信号に変換する第 2補正部とを備え、撮像ユニットは、色計測用画像信号と形状計測用画像信号とを出力する構成としてもよい。このような構成とすることにより、色形状抽出部は、撮像ユニットが出力する色計測用画像信号と形状計測用画像信号とに基づ!ヽて、被計測物の色と 3次元形状とをそれぞれ個別に計測して復元できるので、被計測物の色と 3次元形状とをより忠実に再現した 3次元画像を復元することができる。

[0022] また、本発明の 3次元色形状計測装置において、撮像ユニットは、第 1補正部及び第 2補正部の、ずれか一方を選択し、当該選択した補正部へ画像信号を出力する選択部を備えた構成としてもよい。このような構成とすることにより、主装置に色計測用画像信号と形状計測用画像信号とが同時に入力されることがなぐ主装置における処理負担を軽減するこができ、しかも、主装置により被計測物の色だけ、若しくは、 3次元形状だけを個別に計測することもできる。 [0023] また、本発明の 3次元色形状計測装置において、主装置は、撮像ユニットから出力される色計測用画像信号及び形状計測用画像信号のヽずれか一方を選択し、当該選択した画像信号を色形状抽出部へ出力する選択部を備えた構成としてもよ!ヽ。このような構成とすることにより、色形状抽出部に色計測用信号と形状計測用信号とが同時に入力されることがなぐ色形状抽出部における処理負担を軽減するこができ、し力も、色形状抽出部により被計測物の色だけ、若しくは、 3次元形状だけを個別に復元することちできる。

[0024] また、本発明の 3次元色形状計測装置にぉ、て、撮像部を撮像ユニットに収納し、補正部と色形状抽出部を主装置に収納し、補正部は、第 1階調特性に従った第 1補正により画像信号を色計測用画像信号に変換する第 1補正部と、第 2階調特性に従つた第 2補正により画像信号を形状計測用画像信号に変換する第 2補正部とを備えた構成としてもよい。このような構成とすることにより、補正部を持たない比較的安価な市販の撮像ユニットを用いて、被計測物の色と 3次元形状とを高精度に計測可能な 3 次元色形状計測装置を構成することができる。

[0025] また、本発明の 3次元色形状計測装置において、主装置は、第 1補正部及び前記第 2補正部のいずれか一方を選択し、撮像ユニットから出力される画像信号を選択した補正部へ出力する選択部を備えた構成としてもよい。このような構成とすること〖こより、補正部を持たない比較的安価な市販の撮像ユニットを用いて、被計測物の色と 3 次元形状とを高精度に計測可能な 3次元色形状計測装置を構成することができ、し力も、主装置において色計測用画像信号と形状計測用画像信号とを同時に処理することがないので、主装置における処理負担を軽減することができ、さらに、被計測物の色だけ、若しくは、 3次元形状だけを個別に計測することができる。

[0026] また、本発明の 3次元色形状計測装置において、補正部は、第 1階調特性に従つた第 1補正により画像信号を色計測用画像信号に変換する第 1補正部と、第 3階調特性に従った第 3補正により色計測用画像信号を形状計測用画像信号に変換する第 3補正部とを備え、撮像部と第 1補正部とを撮像ユニットに収納し、第 3補正部と色形状抽出部とを主装置に収納した構成としてもよい。このような構成とすることにより、予め表示装置の表示特性に合わせた階調補正を行うように構成された市販の撮像ユニットを用いて、被計測物の色と 3次元形状とを高精度に計測可能な 3次元色形状計測装置を構成することができる。

[0027] また、本発明の 3次元色形状計測装置において、第 3階調特性は、第 1階調特性との積を取ることによって線形特性となる階調特性としてもよい。こうすることにより、第 1 補正を施された画像信号に基づいて被計測物の色を忠実に再現することができるだけでなぐ第 1階調補正を施された画像信号に第 3階調補正を施した画像信号に基づいて被計測物の 3次元形状を高精度に計測して再現することができる。

発明の効果

[0028] 本発明によれば、被計測物の色を精度良く測定及び再現できるだけでなぐ被計測物の 3次元形状も高精度に測定及び再現することができる 3次元色形状計測装置を提供することができる。

図面の簡単な説明

[0029] [図 1]第 1実施形態に従う 3次元色形状計測装置を示す外観斜視図である。

[図 2]図 1における撮像ヘッドの内部構成を示す平面図である。

[図 3]図 2における投影部を拡大して示す平面図、図 2における光源レンズを拡大して示す正面図、および図 2における投影 LCDおよび CCDを拡大して示す正面図である

[図 4]図 3における複数個の LEDの配列を説明するための側面図、 1個の LEDによつて個別的に実現される照度分布を示すグラフ、それら複数個の LEDを示す正面図、及びそれら複数個の LEDにより総合的に実現される合成照度分布を示グラフである

[図 5]図 1に示す 3次元色形状計測装置 1の電気的構成を概念的に表すブロック図である。

[図 6]第 1実施形態の撮像ユニットを示す機能ブロック図である。

[図 7]第 2階調特性を示す説明図である。

[図 8]図 5におけるカメラ制御プログラムにお、て実行されるメイン処理を概念的に表すフローチャートである。

[図 9]図 8における S605にお、て実行されるデジカメ処理を概念的に表すフローチヤートである。

[図 10]図 8における S607において実行される webcam処理を概念的に表すフローチヤートである。

[図 11]図 10における S807におヽて実行される投影処理を概念的に表すフローチヤ一トである。

[図 12]図 8における S609において実行される立体画像処理を概念的に表すフローチヤートである。

圆 13]図 12の立体画像処理において採用される空間コードィ匕法の原理を説明するための平面図および側面図と、 2組のマスクパターンを示す平面図とである。

[図 14]図 12における S 1006におヽて実行される 3次元形状検出処理を 3次元形状検出処理ルーチンとして概念的に表すフローチャートとである。

[図 15]図 14における S1210において実行される撮像処理サブルーチンとして概念的に表すフローチャートである。

[図 16]図 14における S1220において実行される 3次元計測処理サブルーチンとして概念的に表すフローチャートとである。

[図 17]図 16における S1222において実行されるコード画像生成プログラム 36dを概念的に表すフローチャートである。

[図 18]図 17における S 107にお、て実行される 2値ィ匕画像生成サブルーチンとして概念的に表すフローチャートとである。

[図 19]図 14における S1230において実行される 3次元色形状検出結果生成サブルーチンとして概念的に表すフローチャートとである。

[図 20]図 16における S1225の実行によって 2次元の CCD座標系と 3次元の実空間座標系との間において行われる座標変換と、 2次元の LCD座標系と 3次元の実空間座標系との間とにおいて座標変換とを説明するための側面図および平面図である。圆 21]第 2実施形態の撮像ユニットを示す機能ブロック図である。

圆 22]第 2実施形態における撮像処理を示すフローチャートである。

圆 23]第 3実施形態の撮像ユニットを示す機能ブロック図である。

圆 24]第 3実施形態における撮像処理を示すフローチャートである。 [図 25]第 4実施形態の撮像ユニットを示す機能ブロック図である。

[図 26]第 4実施形態の 3次元色形状計測装置 1における電気的構成を概念的に表すブロック図である。

[図 27]第 4実施形態における撮像処理を示すフローチャートである。

[図 28]第 4実施形態におけるコード画像生成処理を示すフローチャートである。

[図 29]第 4実施形態における 2値ィ匕画像生成処理を示すフローチャートである。

[図 30]第 5実施形態の撮像ユニットを示す機能ブロック図である。

[図 31]第 5実施形態における撮像処理を示すフローチャートである。

[図 32]第 5実施形態におけるコード画像生成処理を示すフローチャートである。

[図 33]第 5実施形態における 2値ィ匕が造成処理を示すフローチャートである。

[図 34]第 5実施形態における 3次元色形状検出結果生成処理を示すフローチャートである。

[図 35]従来の 3次元色形状計測装置による 3次元形状計測時に生じる計測誤差を示す説明図である。

符号の説明

[0030] 1 3次元色形状計測装置

13 投影部

14 撮像部

15 処理部

35 CPU

36 ROM

36j 階調補正プログラム

36k 階調補正 LUT

37 RAM

50、 60、 70、 80、 90 撮像ユニット

発明を実施するための最良の形態

[0031] 以下、本発明の具体的な実施の形態のいくつ力を図面に基づいて詳細に説明する。 [0032] (第 1実施形態）

図 1には、本発明の一実施形態に従う 3次元色形状計測装置 1が外観斜視図で示されている。この 3次元色形状計測装置 1は、画像を表す画像光（「画像信号光」ともいう。）の投影面 (例えば、平面、スクリーン、机上面など)への投影 (通常の投影)およびストライプ状のパターン光の被計測物への投影 (3次元情報取得のための投影）と、被計測物の撮像と、その撮像結果に基づき、被計測物の 3次元情報 (3次元位置情報、 3次元形状情報、色情報を含む。）をコンピュータによって取得する処理とを行うように設計されている。そのため、この 3次元色形状計測装置 1は、図 2に示すように、投影部 13と、撮像部 14と、処理部 15とを含むように構成されている。

[0033] この 3次元色形状計測装置 1は、複数種類のモードのうちユーザによって選択されたものに従って作動する。それらモードは、この 3次元色形状計測装置 1がデジタル力メラとして機能するデジカメモードと、ウェブカメラとして機能する webcamモードと、被計測物の 3次元形状を検出して立体画像 (以下、 3次元画像ともいう。）を取得するための立体画像モードと、湾曲した原稿等の被計測物の立体画像を平面化した平面化画像を取得するための平面化画像モードとを含んでいる。

[0034] 図 1には、この 3次元色形状計測装置 1が、特に、立体画像モードや平面化画像モードにおいて、被計測物としての原稿 Pの 3次元形状を検出するために、明部と暗部とが交互に並んで成るストライプ状のパターン光を投影部 13力原稿 Pに投影している状態で示されている。

[0035] このように、投影部 13は、被計測物に所定パターンのパターン光を投影するパターン光投影部としても機能するものである。

[0036] 図 1に示すように、この 3次元色形状計測装置 1は、略箱状を成す撮像ヘッド 2と、一端においてその撮像ヘッド 2に連結されたパイプ状のアーム部材 3と、そのアーム部材 3の他端に連結されたベース 4であって、平面視にお、て略 L字状を成すように形成されたものとを備えている。それらアーム部材 3とベース 4とは互いに共同して、撮像ヘッド 2を片持ち状で保持するスタンドとして機能する。

[0037] 撮像ヘッド 2は、図 2に示すように、投影部 13や撮像部 14がケース内に収容されて構成されている。図 1に示すように、この撮像ヘッド 2は、鏡筒 5と、ファインダ 6と、フラッシュ 7とを、それぞれが部分的に撮像ヘッド 2の正面において露出する姿勢で備えている。この撮像ヘッド 2は、さらに、撮像部 14の一部である撮像光学系 21を、それのレンズの一部が撮像ヘッド 2の正面において露出する姿勢で備えている。その撮像光学系 21は、それの露出部分において、被計測物を表す画像光を受光する。

[0038] 鏡筒 5は、図 1に示すように、撮像ヘッド 2の正面力も突出しており、その内部において、図 2に示すように、投影部 13の一部である投影光学系 20を収容している。この鏡筒 5は投影光学系 20を、焦点調節のために全体的に移動可能である状態で保持し、さらに、この鏡筒 5は、投影光学系 20を損傷力も保護している。鏡筒 5の露出端面から、投影部 13の一部である投影光学系 20のレンズの一部が露出している。投影光学系 20は、それの露出部分において、投影面または被計測物に向力つて画像光またはノターン光を投影する。

[0039] ファインダ 6は、撮像ヘッド 2の正面力も入射した光をそれの背面まで誘導するように配設される光学レンズによって構成されてヽる。ユーザがファインダ 6を 3次元色形状計測装置 1の背面からのぞき込むと、ユーザが、撮像光学系 21のうちのイメージセンサの一例である CCD (Charge Coupled Device) 22 (結像面）上に画像が結像する領域とほぼ一致する領域内にぉ、てその画像を視認できるようになって!/、る。

[0040] フラッシュ 7は、例えば、デジカメモードにおいて、不足光量を補充するために発光する光源であり、キセノンガスが充填された放電管を用いて構成されている。したがつて、このフラッシュ 7は、撮像ヘッド 2に内蔵されているコンデンサ（図示しない）の放電により繰り返し使用することができる。

[0041] 撮像ヘッド 2は、さらに、それの上面において、レリーズボタン 8と、モード切替スイツチ 9と、モニタ LCD (Liquid Crystal Device) 10とを備えている。

[0042] レリーズボタン 8は、 3次元色形状計測装置 1を作動させるためにユーザによって操作される。このレリーズボタン 8は、ユーザの操作状態 (押下状態）が「半押し状態」である場合と「全押し状態」である場合とで異なる指令を発令できる 2段階の押しボタン式のスィッチによって構成されている。レリーズボタン 8の操作状態は処理部 15によつて監視される。処理部 15によって「半押し状態」が検出されれば、よく知られたオートフォーカス (AF)および自動露出（AE)の機能が起動し、ピント、絞りおよびシャツタスピードが自動的に調節される。これに対し、処理部 15によって「全押し状態」が検出されれば、撮像等が行われる。

[0043] モード切替スィッチ 9は、 3次元色形状計測装置 1の作動モードを、前述のデジカメモード、 webcamモード、立体画像モード、および平面化画像モードと、オフモード等を含む複数種類のモードのヽずれかとして設定するためにユーザによって操作される。このモード切替スィッチ 9の操作状態は処理部 15によって監視されており、モード切替スィッチ 9の操作状態が処理部 15によって検出されると、その検出された操作状態に対応するモードでの処理力 ¾次元色形状計測装置 1に対して行われる。

[0044] モニタ LCD10は、液晶ディスプレイ (Liquid Crystal Display)を用いて構成されており、処理部 15力も画像信号を受けて、画像をユーザに表示する。このモニタ LCD10は、例えば、デジカメモードや webcamモードにおける撮像画像、立体画像モードにおける 3次元形状検出結果画像、平面化画像モードにおける平面化画像等を表示する

[0045] 図 1に示すように、撮像ヘッド 2は、さらに、 RF (無線)インターフェイスとしてのアンテナ 11と、撮像ヘッド 2とアーム部材 3とを互いに連結する連結部材 12とを備えている。

[0046] アンテナ 11は、図 5に示すように、 RFドライバ 24に接続されている。このアンテナ 11 は、デジカメモードで取得した撮像画像データ、立体画像モードで取得した立体画像データ等を、 RFドライバ 24を介して、図示しない外部インターフェイスに無線によつて送信する。

[0047] 連結部材 12は、撮像ヘッド 2とアーム部材 3の一端部とを、ねじ機構により、着脱可能であり、かつ、相対取付け角度が調節可能である状態で互いに連結する。具体的には、この連結部材 12は、例えば、内周面に雌ねじが形成されたリングとして形成され、撮像ヘッド 2の一側面に回転可能かつ離脱不能に保持されている。その雌ねじに対応し、アーム部材 3の一端部に雄ねじが形成されている。それら雌ねじと雄ねじとが互いに螺合されることにより、撮像ヘッド 2とアーム部材 3とが着脱可能に互いに連結される。したがって、撮像ヘッド 2は、アーム部材 3から取り外せば、通常のデジタルカメラとして使用することができる。さらに、それら雌ねじと雄ねじとが互いに螺合されることにより、撮像ヘッド 2を、アーム部材 3の一端部に任意の角度で固定することができる。

[0048] 図 1に示すように、アーム部材 3は、任意の形状に屈曲可能であり、かつ、外力が加えられない限りその形状が復元しな、素材または機構によって構成されて、る。これにより、アーム部材 3は、それに装着された撮像ヘッド 2を、それの位置および向きを任意に調整可能に保持することができる。このアーム部材 3は、例えば、任意の形状に屈曲可能な蛇腹状のパイプによって構成される。

[0049] 図 1に示すように、ベース 4は、前述のように、アーム部材 3の他端に連結されている。このベース 4は、机等の載置台に載置され、撮像ヘッド 2とアーム部材 3とを支持する。このベース 4は、平面視において略 L字状を成すように形成されているため、重量の割に高い安定度で撮像ヘッド 2およびアーム部材 3を支持することができる。さらに、それらアーム部材 3とベース 4とは着脱可能に互いに連結されているため、例えば搬送や収納の先立ち、それらアーム部材 3とベース 4とを互いに分離することにより、それらアーム部材 3とベース 4とが占めるスペースの形態を任意に変更することが可能となり、よって、搬送し易さの向上および収納スペースの削減を容易に図り得る。

[0050] 図 2には、撮像ヘッド 2の内部構成が概念的に表されている。撮像ヘッド 2は、前述のように、投影部 13と、撮像部 14と、処理部 15とを主に内蔵している。

[0051] 投影部 13は、投影面または被計測物に任意の画像光 (投影画像)またはパターン光を投影するためのユニットである。この投影部 13は、図 2に示すように、基板 16と、複数個の LED (Light Emitting Diode) 17 (以下、それらのアレイを「LEDアレイ 17A」という。）と、光源レンズ 18と、投影 LCD19と、投影光学系 20とを、投影方向に沿って直列に備えている。この投影部 13の詳細は、後に図 3を参照して説明する。

[0052] 撮像部 14は、被計測物としての原稿 Pを撮像するためのものである。この撮像部 14 は、図 2に示すように、撮像光学系 21と、 CCD22とを、画像光の入射方向に沿って直列に備えている。

[0053] 撮像光学系 21は、図 2に示すように、複数枚のレンズを用いて構成されている。この撮像光学系 21は、よく知られたオートフォーカス機能により、焦点距離および絞りを自動調整して外部からの光を CCD22上に結像する。

[0054] CCD (Charge Coupled Device) 22は、フォトダイオード素子などの光電変換素子をマトリクス状に配列して構成されている。この CCD22は、撮像光学系 21を介してこの C CD22の表面に結像される画像の光の色および強さに応じた信号 (以下、画像信号ともいう。）を各画素ごとに生成する。その生成された信号は、デジタルデータに変換されて処理部 15に出力される。

[0055] 図 5にブロック図で示すように、処理部 15は、フラッシュ 7、レリーズボタン 8およびモード切替スィッチ 9にそれぞれ電気的に接続されている。処理部 15は、さら〖こ、モニタ LCD10にはモニタ LCDドライバ 23を介して、アンテナ 11には RFドライバ 24を介して、ノッテリ 26には電源インターフェイス 25を介してそれぞれ電気的に接続されている。処理部 15は、さらに、外部メモリ 27およびキャッシュメモリ 28にそれぞれ電気的に接続されている。処理部 15は、さらに、 LEDアレイ 17Aには光源ドライバ 29を介して、投影し CD19には投景 LCDドライバ 30を介して、 CCD22には CCDインターフェイス 31を介してそれぞれ電気的に接続されている。それらフラッシュ 7等は、処理部 15によって制御される。なお、本実施形態では、 CCD22と CCDインターフェイス 31とにより撮像ュ- ット 60を構成している。

[0056] 外部メモリ 27は、着脱可能なフラッシュ ROM (Read Only Memory)であり、デジカメモードや webcamモード、さらに立体画像モードにお!、て撮像された撮像画像や 3次元情報を記憶することが可能である。外部メモリ 27を構成するために、例えば、 SD力ード、コンパクトフラッシュ (登録商標)カード等を使用することができる。

[0057] キャッシュメモリ 28は、データの読み書きを高速で行、得る記憶装置である。キヤッシュメモリ 28は、例えば、デジカメモードにおいて撮像された撮像画像を高速でキヤッシュメモリ 28に転送し、処理部 15で画像処理を行って力外部メモリ 27に格納することを可能にするために使用される。キャッシュメモリ 28を構成するために、例えば、 SD RAM (Synchronous Dynamic Random Access Memory)、 DDRRAM(Double Data Rate Random Access Memory)等を使用することができる。

[0058] 電源インターフェイス 25、光源ドライノく 29、投影 LCDドライバ 30および CCDインターフェイス 31はそれぞれ、バッテリ 26、 LEDアレイ 17A、投景 LCD19および CCD22を制御する各種の集積回路 IC (Integrated Circuit)によって構成されている。

[0059] ここで、投影部 13の詳細を図 3を参照することによって説明する。図 3 (a)は投影部 1 3の拡大図であり、図 3 (b)は光源レンズ 18の正面図であり、図 3 (c)は投影 LCD19と C CD22との配置関係を説明するための正面図である。

[0060] 前述のように、投影部 13は、図 3 (a)に示すように、基板 16と、 LEDアレイ 17Aと、光源レンズ 18と、投影 LCD19と、投影光学系 20とをパターン光の投影方向に沿って直列に備えている。

[0061] 基板 16は、それに LEDアレイ 17Aが装着されることにより、その装着された LEDァレィ 17Aとの間において電気的な配線を行う。基板 16は、例えば、アルミニウム製基板に絶縁性合成樹脂を塗布してカゝら無電解メツキにてパターンを形成したものや、ガラスエポキシ基材をコアとする単層または多層構造の基板を使用して製作することができる。

[0062] LEDアレイ 17Aは、投影 LCD19に向けて放射状の光を発光する光源である。この LE Dアレイ 17Aにおいては、基板 16上に複数個の LED (発光ダイオード） 17が、図 3 (b) に示すように、千鳥状配列のもとに、銀ペーストを介して接着されている。それら基板 16と複数個の LED17とは、ボンディングワイヤを介して電気的に結線されている。複数個の LED17を千鳥状に配列することによる効果は、後に図 4を参照して詳細に説明する。

[0063] このように、本実施形態においては、投影部 13の光源として複数個の LED17が使用されているため、光源として白熱電球、ハロゲンランプ等が使用される場合に比べて、電気が光に変換される電気光変換効率の向上や、赤外線や紫外線の発生の抑制を容易に行い得る。よって、 3次元色形状計測装置 1の節電、長寿命化、発熱抑制等を容易に図り得る。

[0064] このように、 LED17はハロゲンランプ等に比べて熱線の発生率が極めて低いため、光源レンズ 18や投影光学系 20に合成樹脂製のレンズを採用することができる。よって、ガラス製のレンズを採用する場合に比べて、光源レンズ 18および投影光学系 20を安価で軽量に構成することができる。

[0065] さらに、本実施形態においては、 LEDアレイ 17Aを構成する各 LED17が、互いに同じ色の光を発光し、具体的には、材料に Al、 In、 Gaおよび Pの 4元素を用いたアンバ一色を発光するように構成されている。したがって、複数色の光を発光させる場合に考慮しなければならない問題である色収差の補正を考慮する必要がなぐよって、色収差を補正するために投影光学系 20に色消しレンズを採用する必要もない。その結果、投影光学系 20の設計の自由度を向上させることができる。

[0066] さらに、本実施形態においては、電気光変換効率が約 80[lumenZW]というように他の発光色に比べて高い 4元素材料のアンバー色 LEDが採用されるため、 3次元色形状計測装置 1の高輝度化、節電および長寿命化を容易に図り得る。

[0067] 本実施形態においては、具体的には、 LEDアレイ 17Aが 59個の LED17によって構成され、各 LED17は 50[mW] (20 [mA] , 2.5 [V])で駆動され、結局、 59個の LED17の全体は略 3 [W]の消費電力で駆動される。

[0068] さらに、本実施形態においては、各 LED17から発光される光が光源レンズ 18および投影 LCD19を通過して投影光学系 20から出射する場合の光束値としての明るさが、全面照射の場合であっても 25ANSIルーメン程度に設定されている。

[0069] 本実施形態においては、 3次元色形状計測装置 1の投影部 13からの出射光の明るさがその程度に選定されるため、例えば、被計測物が人や動物の顔である場合に、立体画像モードにぉ、て、その被計測物の 3次元形状を検出するためにその被計測物にパターン光を投影しても、被計測物に眩しさを与えずに済む。したがって、本実施形態によれば、被計測物が人や動物である場合に、その被計測物が目をつぶらない状態でその被計測物の 3次元形状を検出することが容易となる。

[0070] 図 3に示すように、光源レンズ 18は、 LEDアレイ 17A力放射状に発光される光を集光するレンズであり、その材質はアクリルに代表される光学榭脂である。

[0071] 図 3 (a)に示すように、光源レンズ 18は、複数個の凸状のレンズ部 18aと、それらレンズ部 18aを支持するベース部 18bと、エポキシ封止材 18cと、複数本の位置決めピン 1 8dとを備えている。

[0072] 図 3 (a)に示すように、各レンズ部 18aは、ベース部 18bのうち LEDアレイ 17Aの各 LE D17に対向する位置に、ベース部 18bから投影 LCD19に向かって突設されている。ェポキシ封止材 18cは、ベース部 18bのうち LEDアレイ 17Aが気密に収容されるべき凹部 18e内に充填され、それにより、その凹部 18e内において LEDアレイ 17Aが封止される。このエポキシ封止材 18cは、 LEDアレイ 17Aの封止機能を有するのであり、さらに、基板 16と光源レンズ 18とを互いに接着する機能も有する。

[0073] 図 3 (a)に示すように、複数本の位置決めピン 18dは、光源レンズ 18と基板 16とを相対的に位置決めするために、光源レンズ 18に、その光源レンズ 18力基板 16に向かつて突設されている。図 3 (b)に示すように、複数本の位置決めピン 18dのうちの一部は、基板 16に穿設された長穴 16aに挿入される一方、残りは、基板 16に穿設された真円穴 16bに挿入され、それにより、基板 16に光源レンズ 18力がたがなく正規の位置に固定される。

[0074] このように、本実施形態においては、光源レンズ 18と、 LEDアレイ 17Aと、基板 16とが、投影方向に空間的に詰めて互いに積層されているため、それら光源レンズ 18等の組立体のコンパクトィ匕および省スペース化が容易となる。

[0075] さらに、本実施形態においては、基板 16が、 LEDアレイ 17Aを保持するという基本的な機能の他に、光源レンズ 18を保持するという付随的な機能をも果たしている。したがって、本実施形態によれば、光源レンズ 18を専ら保持する部品の追加を省略でき、その結果、 3次元色形状計測装置 1の部品点数の削減が容易となる。

[0076] さらに、本実施形態においては、各レンズ部 18aが、図 3 (a)に示すように、 LEDァレィ 17Aの各 LED17に 1対 1の関係で正対するように配置されている。よって、各 LED17 から発光される放射状の光は、各 LED17に対向する各レンズ部 18によって効率良く集光され、図 3 (a)に示すように、指向性の高い放射光として投影 LCD19に照射される。

[0077] このように指向性を高めたのは、投影 LCD19に略垂直に光が入射すれば、その投影 LCD19の面内における透過率むらが抑制されて画質が向上し得るという理由からである。

[0078] 投影光学系 20は、投影 LCD19を通過した光を投影面または被計測物に向力つて投影するための複数枚のレンズである。それらレンズは、ガラス製レンズと合成樹脂製レンズとの組合せ力成るテレセントリックレンズによって構成されて、る。テレセントリックとは、投影光学系 20を通過する主光線は、入射側の空間では光軸に平行になり、射出瞳の位置は無限になる構成をいう。

[0079] 投影光学系 20は、上述のようにテレセントリック特性を持ち、その入射 NAが 0.1程度であるため、垂直 ±5° 以内の光のみが投影光学系 20の内部の絞りを通過できるように、投影光学系 20の光路が規制されている。

[0080] したがって、本実施形態においては、投影光学系 20のテレセントリック性により、投影 LCD19を垂直 ±5° で通過する光のみを投影光学系 20に投影し得る構成と相俟って、画質の向上を容易に図り得る。

[0081] よって、本実施形態においては、画質向上のために、各 LED17からの出射光が投影 LCD19に略垂直に入射するように各 LED17からの光の出射角度を揃え、かつ、各 LED17からの出射光のほとんどが投影光学系 20に垂直 ±5° の入射角度範囲内で入射させることが重要である。

[0082] 図 3 (c)に示すように、投影 LCD19は、光源レンズ 18を通過して集光された光に空間変調を施して、投影光学系 20に向けてパターン光を出力する空間変調素子である。この投影 LCD19は、具体的には、縦横比が 1 : 1ではない板状の液晶ディスプレイ (L iquid Crystal Display)によって構成されている。

[0083] 図 3 (c)に示すように、この投影 LCD19にお、ては、その投影 LCD19を構成する複数個の画素が一平面上において千鳥状に配列されている。具体的には、この投影 L CD19においては、その液晶ディスプレイの長手方向（横方向）に複数個の画素が予め定められた画素ピッチで等間隔に並んだ画素列が複数並列に配置され、かつ、互いに隣接する 2つの画素列が、その画素ピッチより短い長さで、その液晶ディスプレイの長手方向にずらされて、る。

[0084] このように、本実施形態においては、投影 LCD19を構成する複数個の画素が千鳥状に配列されているため、投影 LCD19によって空間変調が施される光を投影 LCD19 の長手方向において前記画素ピッチの 1Z2のピッチで制御することができる。したがつて、本実施形態によれば、細いピッチで投影パターン光を制御することができ、よつて、被計測物の 3次元の形状を高い分解能で高精度に検出することができる。

[0085] また、後述する立体画像モードや平面化画像モードにお!、ては、被計測物の 3次元形状を検出すベぐ図 1に示すように、明部と暗部とが交互に並んで成るストライプ状のパターン光が被計測物に向けて投影される。本実施形態においては、そのバターン光において複数本のストライプ（明部または暗部）が並ぶ方向（各ストライプの幅方向）が投影 LCD19の長手方向に一致するようにパターン光が予め定義されている。したがって、パターン光において明部と暗部との境界を 1Z2ピッチで制御することができ、よって、同様に高精度に 3次元の形状を検出することができる。

[0086] 図 3 (c)にお!/、ては、投影 LCD19と CCD22とが横に並んで示されて!/、るが、それら投影 LCD19と CCD22とは、紙面手前側に撮像ヘッド 2の正面が存在し、紙面裏側から光が投影 LCD19に入射し、紙面手間側力光が CCD22に入射してその CCD22に被計測物像が結像される状態で、配置されている。

[0087] それら投影 LCD19と CCD22とは、撮像ヘッド 2の内部においては、図 3 (c)に示すレィアウトで配置される。具体的には、それら投影 LCD19と CCD22とは、投影 LCD19の幅広面と CCD22の幅広面とが略同一の方向を向くように配置されている。したがって、本実施形態によれば、投影 LCD19がパターン光を投影している被計測物からの反射光を 3次元色形状計測装置 1内において CCD22に結像させることによって被計測物の 3次元形状を検出するために、投影 LCD19の中心と CCD22の中心とを結ぶ一直線を、三角測量を行う際に着目される 3辺のうちの 1辺として利用することができる。

[0088] また、 CCD22は、投影 LCD19の長手方向に位置する側（画素列が延びる方向に位置する側）に配置されている。よって、特に、立体画像モードや平面化画像モードにおいて、三角測量の原理を利用して被計測物の 3次元形状を検出する場合には、 C CD22と被計測物とのなす傾きを 1Z2ピッチで制御することができるため、同様に高精度に被計測物の 3次元形状を検出することができる。

[0089] 本実施形態においては、投影 LCD19が画素配列として千鳥配列を採用するため、画素列にお、て画素が並ぶ間隔と等しい間隔で複数本のストライプが並んだパターン光、すなわち、千鳥配列を利用せずに形成される複数種類の標準的なパターン光のうちストライプ間の間隔が最も狭いものよりストライプ間の間隔が狭い別のパターン光を形成することが可能となる。したがって、本実施形態によれば、標準的なパターン光の種類が n種類である場合に、 (n+ 1)ビットの空間コードを扱うことが可能となり、このことによつても、被計測物の 3次元形状を検出する精度が向上する。

[0090] よって、本実施形態によれば、投影 LCD19における画素ピッチ間の間隔、すなわち、投影 LCD19の解像度の割に多数のビットの空間コードを扱うことが可能となる。 [0091] 以下、図 4を参照することにより、 LEDアレイ 17Aの配列をさらに詳しく説明する。図 4 (a)は、光源レンズ 18から出射する光の 3次元形状を示す側面図である。図 4 (b)は、 1個の LED17から投影 LCD19の入射面 19aに入射した光の照度分布を示すグラフである。図 4 (c)は、 LEDアレイ 17Aの配列を部分的に拡大して示す正面図である。図 4 ( d)は、複数個の LED17から投影 LCD19の入射面 19aに入射した複数の光の合成照度分布を示すグラフである。

[0092] 図 4 (a)に示すように、光源レンズ 18からの出射光力半値拡がり半角 Θが略 5° である状態で、図 4 (b)に示すような照度分布を有する光として、投影 LCD19の入射面 1 9aに到達するように光源レンズ 18が設計されて、る。

[0093] また、図 4 (c)に示すように、複数個の LED17は、投影 LCD19における画素の千鳥配列に合わせて、基板 16上に千鳥状に配列されている。具体的には、複数個の LED 17がピッチ dで横方向に直列に並んで成る LED列が複数、ピッチ dの 3Z2倍と等しいピッチで縦方向に並列に並んでいる。さらに、縦方向において互いに隣接する 2つの LED列は、ピッチ dと等しい長さで、横方向に互いにずらされている。

[0094] すなわち、本実施形態においては、それら LED17の配列が三角格子配列とされ、 V、ずれの LED17も、それに隣接する別の、ずれの LED 17からもピッチ dと等し!/、距離離れているのである。

[0095] そして、本実施形態においては、ピッチ dの長さ力 1個の LED17から出射した光によって投景 LCD19について与えられる照度分布の半値全幅（FWHM (Full Width Hal f Maximum) )以下となるように、予め設定されて!、る。

[0096] よって、本実施形態においては、光源レンズ 18を通過して投影 LCD19の入射面 19a に到達する光の合成照度分布が、図 4 (d)に示すように、小さなリップルを有する略直線状のグラフで表され、その結果、投影 LCD19の入射面 19aの全体に略均一に光が照射される。したがって、本実施形態によれば、投影 LCD19における照度むらが抑制され、その結果、画像光が投影面に高品質で投影され、さらに、ノターン光が被計測物に高品質で投影される。

[0097] 図 5には、 3次元色形状計測装置 1の電気的な構成がブロック図で表されている。処理部 15はコンピュータを主体として構成されており、そのコンピュータは、 CPU (Centr al Processing Unit) 35と、 ROM36と、 RAM37とを含むように構成されている。

[0098] CPU35は、 ROM36に記憶されたプログラムを RAM37を利用しつつ実行することにより、レリーズボタン 8の操作状態の検出、 CCD22からの画像データの取込み、その取り込まれた画像データの転送および格納、モード切替スィッチ 9の操作状態の検出等の各種処理を行う。

[0099] ROM36には、カメラ制御プログラム 36aと、パターン光撮影プログラム 36bと、輝度画像生成プログラム 36cと、コード画像生成プログラム 36dと、コード境界抽出プログラム 3 6eと、レンズ収差補正プログラム 36fと、三角測量演算プログラム 36gと、原稿姿勢演算プログラム 36hと、平面変換プログラム 36iとが格納されて、る。

[0100] カメラ制御プログラム 36aは、 3次元色形状計測装置 1全体の制御を実行するために実行され、その制御には、図 8にフローチャートで概念的に表されているメイン処理が含まれる。

[0101] パターン光撮影プログラム 36bは、原稿 Pの 3次元形状を検出するためにパターン光が投影された被計測物を撮像してパターン光有画像を取得し、さらに、パターン光が投影されてヽな、被計測物を撮像してパターン光無画像を取得するために実行される。

[0102] 輝度画像生成プログラム 36cは、パターン光撮影プログラム 36bの実行によって同じ被計測物につ、て取得されたパターン光有画像とパターン光無画像との差分をとり、ノターン光が投影された被計測物を表す輝度画像を生成するために実行される。

[0103] 本実施形態においては、同じ被計測物に対して複数種類のパターン光が時系列に順次投影され、各パターン光が投影されるごとに被計測物が撮像される。そのようにして撮像された複数枚のパターン光有画像の各々とパターン光無画像との差分がとられ、その結果、パターン光の種類と同数の輝度画像が生成される。

[0104] コード画像生成プログラム 36dは、輝度画像生成プログラム 36cの実行によって生成された複数枚の輝度画像それぞれに対する閾値処理により生成される 2値化画像から、各画素毎に空間コードが割り当てられたコード画像を生成するために実行される

[0105] 概略的に説明するに、このコード画像生成プログラム 36dが実行されると、複数種類のパターン光のうちノターンライン間の間隔が最も狭いものが投影された被計測物の輝度画像におけるパターンライン間の間隔が周期として取得され、その周期の輝度画像全体における分布が周期分布として取得される。

[0106] このコード画像生成プログラム 36dが実行されると、さらに、その取得された周期分布に従ってサイズが変化する可変窓が各パターン光ごとの輝度画像にローカルに設定されることにより、前記可変窓を用いたフィルタ処理により輝度画像全体に対して閾値がローカルに算出されて設定される。

[0107] そのようにして設定された閾値の分布を表す閾値画像と各パターン光ごとの輝度画像との関係から、各パターン光ごとに 2値ィ匕画像が生成される。

[0108] コード境界抽出プログラム 36eは、コード画像生成プログラム 36dの実行によって生成されたコード画像と、輝度画像生成プログラム 36cの実行によって生成された輝度画像とを利用することにより、コードの境界座標をサブピクセル精度で求めるために実行される。

[0109] レンズ収差補正プログラム 36fは、コード境界抽出プログラム 36eの実行によってサブピクセル精度で求められたコードの境界座標に対して、撮像光学系 21の収差補正を行うために実行される。

[0110] 三角測量演算プログラム 36gは、レンズ収差補正プログラム 36fの実行によって収差補正が行われたコードの境界座標から、その境界座標に関する実空間の 3次元座標を演算するために実行される。

[0111] 原稿姿勢演算プログラム 36hは、三角測量演算プログラム 36gの実行によって演算された 3次元座標から原稿 Pの 3次元形状を推定して求めるために実行される。

[0112] 平面変換プログラム 36iは、原稿姿勢演算プログラム 36hの実行によって演算された原稿 Pの 3次元形状に基づき、原稿 Pをその正面力も撮像した場合に生成される如き平面化画像を生成するために実行される。

[0113] また、図 5に示すように、 RAM37には、パターン光有画像格納部 37aと、パターン光無画像格納部 37bと、輝度画像格納部 37cと、コード画像格納部 37dと、コード境界座標格納部 37eと、収差補正座標格納部 37gと、 3次元座標格納部 37hと、原稿姿勢演算結果格納部 37iと、平面変換結果格納部 37jと、投影画像格納部 37kと、ワーキングエリア 371と、周期分布格納部 37pと、閾値画像格納部 37qと、 2値化画像格納部 37rとがそれぞれ記憶領域として割り当てられてヽる。

[0114] ノターン光有画像格納部 37aは、パターン光撮影プログラム 36bの実行によって撮像されたパターン光有画像を表すパターン光有画像データを格納する。パターン光無画像格納部 37bは、パターン光撮影プログラム 36bの実行によって撮像されたパターン光無画像を表すパターン光無画像データを格納する。

[0115] 輝度画像格納部 37cは、輝度画像生成プログラム 36cの実行によって生成された輝度画像を表すデータを格納する。コード画像格納部 37dは、コード画像生成プロダラム 36dの実行によって生成されたコード画像を表すデータを格納する。コード境界座標格納部 37eは、コード境界抽出プログラム 36eの実行によってサブピクセル精度で抽出された各コードの境界座標を表すデータを格納する。

[0116] 収差補正座標格納部 37gは、レンズ収差補正プログラム 36fの実行によって収差補正が行われたコードの境界座標を表すデータを格納する。 3次元座標格納部 37hは、三角測量演算プログラム 36gの実行によって演算された実空間の 3次元座標を表すデータを格納する。

[0117] 原稿姿勢演算結果格納部 37iは、原稿姿勢演算プログラム 36hの実行によって演算された原稿 Pの 3次元形状に関するパラメータを格納する。平面変換結果格納部 37j は、平面変換プログラム 36iの実行によって取得された平面変換結果を表すデータを格納する。投影画像格納部 37kは、投影部 13が被計測物に投影する投影画像すなわちパターン光に関する情報を格納する。ワーキングエリア 371は、 CPU35がその動作のために一時的に使用するデータを格納する。

[0118] 周期分布格納部 37p、閾値画像格納部 37q及び 2値ィ匕画像格納部 37rは、コード画像生成プログラム 36dの実行によって取得された周期分布、閾値画像および 2値化画像を表すデータをそれぞれ格納する。

[0119] ここで、本実施形態に係る 3次元色形状計測装置 1が備える撮像ユニット 60の構成について、図 6を参照して説明する。なお、以下の説明では、 3次元色形状計測装置 1において、撮像ユニット 60を除く 3次元色形状計測装置 1全体を主装置と称して説明する。 [0120] 図 6に示すように、第 1実施形態の撮像ユニット 60は、撮像部として機能する CCD61 と、この CCD61が被計測物を撮像して出力する画像信号を増幅するアンプ 62と、アンプ 62により増幅したアナログの画像信号をアナログ 'ディジタル変換する A/Dコンパータ 63と、 A/Dコンバータ 63から入力される画像信号に対して階調補正を行うことにより被計測物の色を計測及び復元するための色計測用画像信号と、被計測物の 3次元形状を計測及び復元するための形状計測用画像信号を生成して主装置へ出力する補正部 66とを収納して、る。

[0121] このように構成した撮像ユニット 60では、アンプ 62と A/Dコンバータ 63と、補正部 66とにより CCDインターフェイス 31が構成され、この CCDインターフェイス 31力主装置へ画像信号が出力される。

[0122] また、第 1実施形態の主装置は、撮像ユニット 60から入力される色計測用画像信号に基づいて復元した被計測物の色と、撮像ユニット 60から入力されるから入力される形状計測用信号に基づ、て被計測物の 3次元形状を復元した 3次元モデルとを用いて被計測物の 3次元画像を復元する色形状抽出部を収納している。

[0123] 補正部 66は、第 1階調特性に従った第 1補正により、 A/Dコンバータ 63から入力される画像信号を色計測用画像信号に変換する第 1補正回路 64と、第 1補正回路 64が出力する色計測用画像信号を増幅して主装置へ出力するアンプ 64aと力もなる第 1 補正部を備えると共に、第 2階調特性に従った第 2補正により、 A/Dコンバータ 63から入力される画像信号を形状計測用画像信号に変換する第 2補正回路 65と、第 2補正回路 65が出力する形状計測用画像信号を増幅して主装置へ出力するアンプ 65aとからなる第 2補正部とを備えて、る。

[0124] ここで、第 1階調特性とは、第 1階調特性とは、モニタ LCD10の非線形な表示特性に合わせた非線形のガンマ特性のことであり、第 2階調特性とは、少なくとも一部分に線形な特性を有し、その他の部分を非線形又は線形としたガンマ特性のことである。

[0125] 特に、第 2階調特性としては、図 7に示すような 3つの特性パターンがあり、この撮像ユニット 60において第 2補正を行う際には、 CCD22により撮像した画像の輝度の分布特性に応じて選択した 1つの特性パターンを用いる。

[0126] ここで、図 7 (a)には、全体が線形特性の特性パターンが示されており、撮像した画像にぉ、て、輝度が低ヽ（喑、)部分と、輝度が高!、（明る!/、)部分が!/、ずれも存在する場合には、この特性パターンに従って第 2補正を行う。

[0127] また、図 7 (b)、 (c)には、一部分に線形な特性を有する特性パターンが示されており、撮像した画像において、非常に輝度が高い部分が存在しない場合には、図 7 (b) に示す特性パターンに従って第 2補正を行い、非常に輝度が高い部分と非常に輝度が低い部分が存在しない場合には、図 7 (c)に示す特性パターンにしたがって第 2補正を行う。

[0128] このように、一部分に線形な特性を有する特性パターンに従った第 2補正により形状測用画像信号を生成することによって、形状計測用画像信号のダイナミックレンジを大きくすることができ、被計測物の 3次元形状をより細やかに計測することができ、被計測物の実際の形状を忠実に再現可能な形状計測用画像信号を生成することができる。

[0129] 第 1補正部は、第 1補正回路 64とアンプ 64aとが動作して画像信号を色計測用画像信号に変換して出力するものであり、パターン光投影部として機能する投影部 13のパターン光非投影時に、撮像部である CCD22が被計測物を撮像して出力する画像信号に対して第 1階調特性に従って第 1補正を行って、画像信号を色計測用画像信号に変換するものである。

[0130] また、この第 1補正部が補正する画像信号は、複数種類の色信号と輝度信号とを含んでおり、この第 1補正部は、画像信号に含まれる各色信号ごとに第 1補正を行うと共に、画像信号に含まれる輝度信号に対しても第 1補正を行う。

[0131] また、第 2補正部は、第 2補正回路 65とアンプ 65aとが動作して形状計測用画像信号を出力するものであり、パターン光投影部として機能する投影部 13のパターン光投影時に、撮像部である CCD22が被計測物を撮像して出力する画像信号に対して第 2階調特性に従って第 2補正を行って、画像信号を形状計測用信号に変換するものである。

[0132] また、この第 2補正部が補正する画像信号は、複数種類の色信号と輝度信号とを含んでおり、この第 2補正部は、画像信号に含まれる各色信号ごとに第 2補正を行うと共に、画像信号に含まれる輝度信号に対しても第 2補正を行う。 [0133] また、主装置は、撮像ユニット 60から出力される色形状計測用画像信号及び形状計測用画像信号のヽずれか一方を選択し、当該選択した画像信号を色形状抽出部へ出力する選択部を備えている。なお、この選択部による画像信号の選択に関しては、処理部 15でパターン光撮像プログラム 36bが実行されるときに、 CPU35の制御により色形状計測用画像信号及び形状計測用画像信号のいずれか一方が選択される。すなわち、主装置において処理部 15がこの選択部の機能を担っている。

[0134] 具体的に説明すると、主装置において、処理部 15によりパターン光撮影プログラム 36bが実行されてパターン光無画像が取得されるときに、 CPU35の制御により第 1補正部と主装置とが接続されて色計測用画像信号が選択される。

[0135] 一方、主装置において、処理部 15によりパターン光撮影プログラム 36bが実行されてパターン光有画像が取得されるときに、 CPU35の制御により第 2補正部と主装置とが接続されて形状計測用画像信号が選択される。

[0136] このように、第 1実施形態では、撮像ユニット 60に第 1補正部と第 2補正部とを備えた補正部を設けると共に、主装置に選択部を設けたため、色形状抽出部により被計測物の色と 3次元形状とを忠実に復元した 3次元画像を生成することができるだけでなく、主装置の処理部 15において、画像信号を補正する処理を行わなくてすむので、処理部 15が担う処理負担を軽減でき、 3次元色形状計測装置 1による 3次元色形状計測処理の高速ィ匕を図ることができる。

[0137] ここで、図 8を参照することにより、カメラ制御プログラム 36aを説明する。このカメラ制御プログラム 36aが前記コンピュータによって実行されることにより、メイン処理が実行される。

[0138] このメイン処理にお!、ては、まず、ステップ S601 (以下、単に「S601」で表す。他のステツプについても同じとする。 )において、ノッテリ 26を含む電源が ONされる。次に、 S 602において、処理部 15、周辺インターフェイス等が初期化される。

[0139] 続いて、 S603において、モード切替スィッチ 9の操作状態を判別するためにキースキャンが行われ、その後、 S604において、モード切替スィッチ 9の操作によってデジ力メモードが選択されたか否かが判定される。今回は、デジカメモードが選択されたと仮定すれば、判定が Yesとなり、 S605において、後述のデジカメ処理が実行される。 [0140] これに対し、今回は、モード切替スィッチ 9の操作によってデジカメモードが選択されなかったと仮定すれば、 S604の判定が Noとなり、 S606において、モード切替スイツチ 9の操作によって webcamモードが選択されたか否かが判定される。今回は、 webca mモードが選択されたと仮定すれば、判定が Yesとなり、 S607において、後述の webca m処理が実行される。

[0141] これに対し、今回は、モード切替スィッチ 9の操作によって webcamモードが選択されなかったと仮定すれば、 S606の判定が Noとなり、 S608において、モード切替スィッチ 9 の操作によって立体画像モードが選択されたか否かが判定される。今回は、立体画像モードが選択されたと仮定すれば、判定が Yesとなり、 S609において、後述の立体画像処理が実行される。

[0142] これに対し、今回は、モード切替スィッチ 9の操作によって立体画像モードが選択されなかったと仮定すれば、 S608の判定が Noとなり、 S610において、モード切替スイツチ 9の操作によって平面化画像モードが選択された力否かが判定される。今回は、平面化画像モードが選択されたと仮定すれば、判定が Yesとなり、 S611において、後述の平面化画像処理が実行される。

[0143] これに対し、今回は、モード切替スィッチ 9の操作によって平面化画像モードが選択されなかったと仮定すれば、 S610の判定が Noとなり、 S612において、モード切替スィツチ 9の操作によってオフモードが選択された力否かが判定される。今回は、モード切替スィッチ 9の操作によってオフモードが選択されたと仮定すれば、判定が Yesとなり、直ちに今回のメイン処理が終了する力今回は、モード切替スィッチ 9の操作によつてオフモードが選択されな力つたと仮定すれば、判定が Yesとなり、 S603に戻る。

[0144] 図 9には、図 8における S605がデジカメ処理ルーチンとしてフローチャートで概念的に表されている。このデジカメ処理ルーチンの実行により、撮像部 14によって撮像された画像を取得するデジカメ処理が実行される。

[0145] このデジカメ処理においては、まず、 S701において、 CCD22に高解像度設定信号が送信される。これにより、高品質の撮像画像をユーザに提供することができる。

[0146] 次に、 S702において、ファインダ画像、すなわち、ファインダ 6を通して見える範囲の画像と同じ画像がモニタ LCD10に表示される。よって、ユーザは、ファインダ 6をのぞき込むことなぐモニタ LCD10に表示された画像を見ることにより、実際の撮像前に、撮像画像 (撮像範囲)を確認することができる。

[0147] 続、て、 S703aにお!/、て、レリーズボタン 8の操作状態がスキャンされ、その後、 S703 bにおいて、そのスキャン結果に基づき、レリーズボタン 8が半押し状態にある力否かが判定される。半押し状態にあれば、判定が Yesとなり、 S703cにおいて、オートフォーカス (AF)および自動露出 (AE)機能が起動し、それにより、ピント、絞りおよびシャツタスピードが調節される。 S703bにおいては、レリーズボタン 8が半押し状態に移行しているか否かが判定され、移行していなければ、この S703bの判定が Noとなって S703a に戻る。

[0148] S703cの実行後、 S703dにおいて、再度、レリーズボタン 8の操作状態がスキャンされ、その後、 S703eにおいて、そのスキャン結果に基づき、レリーズボタン 8が全押し状態にある力否かが判定される。この S703eにおいては、レリーズボタン 8が全押し状態に移行しているか否かが判定され、移行していなければ、この S703eの判定が Noとなつて S703aに戻る。

[0149] レリーズボタン 8が半押し状態力も全押し状態に移行すれば、 S703eの判定が Yesとなり、 S704において、フラッシュモードが選択されている力否かが判定される。フラッシュモードが選択されていれば、判定が Yesとなり、 S705において、フラッシュ 7が発光させられるが、フラッシュモードが選択されていなければ、 S704の判定が Noとなり、 S7 05がスキップされる。

[0150] いずれにしても、その後、 S706において、被計測物が撮像される。続いて、 S707にぉ、て、被計測物が撮像された撮像画像が CCD22からキャッシュメモリ 28に転送されて記憶される。その後、 S708において、キャッシュメモリ 28に記憶された撮像画像がモユタ LCD10に表示される。本実施形態においては、撮像画像がキャッシュメモリ 28に転送されるため、メインメモリに転送される場合に比較して、撮像画像を高速にモニタ LCD10に表示させることができる。続いて、 S709において、その撮像画像が外部メモリ 27に格納される。

[0151] その後、 S710において、モード切替スィッチ 9の操作状態に変化が無いか否かが判定される。変化が無ければ、判定が Yesとなり、 S702に戻る力変化が有れば、 S710 の判定力Noとなり、今回のデジカメ処理が終了する。

[0152] 図 10には、図 8における S607が webcam処理ルーチンとしてフローチャートで概念的に表されている。この webcam処理ルーチンの実行により、撮像部 14によって撮像された撮像画像 (静止画および動画を含む。 )を外部ネットワークに送信する webcam処理が実行される。本実施形態においては、撮像画像として動画が、図示しない外部ネットワーク (例えば、インターネット）に送信される場合が想定されている。

[0153] この webcam処理においては、まず、 S801において、 CCD22に低解像度設定信号が送信される。次に、 S802において、オートフォーカスおよび自動露出の機能が起動し、それにより、ピント、絞りおよびシャツタスピードが調節される。続いて、 S803において、被計測物が撮像される。

[0154] その後、 S804において、撮像された撮像画像が CCD22からキャッシュメモリ 28に転送され、続いて、 S805において、その撮像画像がモニタ LCD10に表示される。

[0155] その後、 S806において、その撮像画像が投影画像格納部 37kに格納される。続いて、 S807において、後述の投影処理が実行され、それにより、投影画像格納部 37kに格納されてヽる画像が投影面に投影される。

[0156] その後、 S808において、キャッシュメモリ 28に転送された撮像画像が図示しない RF インターフェイスを介して前記外部ネットワークに送信される。

[0157] 続いて、 S809において、モード切替スィッチ 9の操作状態に変化が無いか否かが判定される。変化が無ければ、判定が Yesとなり、 S802に戻る力変化が有れば、 S809 の判定力。となり、今回の webcam処理が終了する。

[0158] 図 11には、図 10における S807が投影処理ルーチンとしてフローチャートで概念的に表されている。この投影ルーチンの実行により、投影画像格納部 37kに格納されている画像を投影部 13から投影面に投影する投影処理が実行される。

[0159] この投影処理にお!、ては、まず、 S901にお、て、投影画像格納部 37kに画像が格納されている力否かが判定される。格納されていない場合には、判定が Noとなり、直ちに今回の投影処理が終了する。これに対し、格納されている場合には、判定が Yes となり、 S902において、投影画像格納部 37kに格納されている画像が投影 LCDドライバ 30に転送される。続いて、 S903において、その格納されている画像に応じた画像信号が投影 LCDドライノく 30から投影 LCD19に送出され、それにより、その投影 LCD1 9に画像が表示される。

[0160] その後、 S904において、光源ドライバ 29が駆動され、続いて、 S905において、その光源ドライノ 29からの電気信号によって LEDアレイ 17Aが発光する。以上で、今回の投影処理が終了する。

[0161] LEDアレイ 17Aから発光した光は、光源レンズ 18を経て投影 LCD19に到達する。その投影 LCD19にお、ては、投影 LCDドライバ 30から送信された画像信号に応じた空間変調が施され、その結果、投影 LCD19への入射光が画像信号光に変換されて出力される。その投影 LCD19から出力される画像信号光は、投影光学系 20を経て投影面に投影画像として投影される。

[0162] 図 12には、図 8における S609が立体画像処理ルーチンとしてフローチャートで概念的に表されている。この立体画像処理ルーチンの実行により、被計測物の 3次元形状を検出し、その立体画像としての 3次元形状検出結果画像を取得し、表示し、投影する立体画像処理が実行される。

[0163] この立体画像処理においては、まず、 S1001において、 CCD22に高解像度設定信号が送信される。次に、 S1002ないし S1003hが、図 9における S702ないし S706と同様にして実行される。

[0164] 具体的には、 S1002において、モニタ LCD10にファインダ画像が表示される。続いて、 S1003aにおいて、レリーズボタン 8の操作状態がスキャンされ、その後、 S1003bにおいて、そのスキャン結果に基づき、レリーズボタン 8が半押し状態にある力否かが判定される。半押し状態にあれば、判定が Yesとなり、 S1003cにおいて、オートフォーカス（ AF)および自動露出 (AE)機能が起動する。

[0165] S1003cの実行後、 S1003dにおいて、再度、レリーズボタン 8の操作状態がスキャンされ、その後、 S1003eにおいて、そのスキャン結果に基づき、レリーズボタン 8が全押し状態にある力否かが判定される。

[0166] レリーズボタン 8が半押し状態力全押し状態に移行すれば、 S1003eの判定が Yes となり、 S1003fにおいて、フラッシュモードが選択されているか否かが判定される。フラッシュモードが選択されていれば、判定が Yesとなり、 S1003gにおいて、フラッシュ 7が発光させられる力フラッシュモードが選択されていなければ、 S1003fの判定が Noとなり、 S1003gがスキップされる。いずれにしても、その後、 S1003hにおいて、被計測物が撮像される。

[0167] 続いて、 S1006において、後述の 3次元形状検出処理が実行され、それにより、被計測物の 3次元形状が検出される。

[0168] その後、 S1007において、その 3次元形状検出処理による 3次元形状検出結果が外部メモリ 27に格納され、続いて、 S1008において、その 3次元形状検出結果が 3次元コンピュータグラフィック画像 (被計測物の 3次元画像）としてモニタ LCD10に表示される。ここに、 3次元形状検出結果とは、後述の空間コード画像において検出される複数の空間コード境界画像を 3次元座標に変換した結果取得される頂点座標の集合体を意味する。

[0169] その後、 S1009において、その 3次元形状検出結果としての複数個の計測頂点を通過するポリゴン図形が想定され、その想定されたポリゴン図形のサーフェスを表現する立体画像 (3次元のコンピュータグラフィック画像)としての 3次元形状検出結果画像が投影画像格納部 37kに格納される。

[0170] 続いて、 S1010において、図 10における S807の投影処理と同様な投影処理が実行される。

[0171] その後、 S1011において、モード切替スィッチ 9の操作状態に変化が無いか否かが判定される。変化が無ければ、判定が Yesとなり、 S1002に戻る力変化が有れば、 S1 011の判定力 0となり、今回の立体画像処理が終了する。

[0172] 図 12の S1006において実行される 3次元形状検出処理においては、空間コード化法を用いて被計測物の 3次元形状が検出される。以下、図 13を参照することにより、空間コード化法を説明する。図 13 (a)には、 3次元座標系 XYZが設定された実空間を Y 座標軸方向に見た図と、 X座標軸方向に見た図と、純 2進コードによる 3種類のマスク Α,Βおよび Cのパターンとが示されている。これに対し、図 13 (b)には、グレイコードによる 3種類のマスク Α,Βおよび Cのパターンと、複数個の空間コードとが示されている。

[0173] 図 13 (a)に示すように、空間コードィ匕法は、観察対象である被計測物の像である観察画像と、その被計測物に光 (拡散光)を投影する投影光源 (例えば、プロジェクタ）と、被計測物を観測する観測器 (例えば、カメラ)との間に三角測量の原理を適用することによって被計測物の 3次元形状を検出する手法の一種である。この空間コード化法においては、図 13 (a)に示すように、投影光源 L (PROJECTOR)と観測器 0 (CA MERA)とが距離 dだけ離して設置される。したがって、観測空間内の任意の点 Pは、投影光の向き φと、観測器 0から見える向き Θとが計測できれば、特定できる。この空間コードィ匕法においては、さらに、被計測物表面上の任意の位置を特定するため、観測空間が複数個の細長い扇状領域に分割されてコード化されている。

[0174] 被計測物表面上の任意の位置のコードを観測画像力取得するために、複数種類のストライプ状のパターン光が時系列的に被計測物に投影される。パターン光の切換えは、パターン光の種類と同数のマスクを用意し、マスクを機械的に交換する機械式として実施したり、電気光学効果を有する材料を用いてストライプ状の光シャツタ列を構成し、その光シャツタ列における各ストライプの光透過率を電子的に制御する電子式として実施することが可能である。もっとも、本実施形態においては、後者の電子式が採用され、具体的には、投影 LCD19によって複数種類のマスクパターンが時系列的に再現すなわち表示される。

[0175] 図 13 (a)に示す例においては、投影光源 Lと被計測物（四角柱と円柱）との間にマスクが交換可能に設置される。この例においては、パターンが互いに異なる 3種類のマスク Α,Βおよび Cが用意されており、よって、 3種類のパターン光が時系列的に被計測物に投影される。

[0176] 各マスク A,B,Cによって生成されたパターン光を被計測物に投影すると、 8個の扇状領域のそれぞれが、明領域「1」と暗領域「0」とのいずれかにコード化される。 3枚のマスク A,B,Cを経た光をそれらの順に被計測物に投影すると、各扇状領域には、 3ビット力も成るコードが割り当てられる。それら 3ビットは、最初のマスク Aに対応する最上位ビット MSBから、最後のマスク Cに対応する最下位ビット LSMまで順に並んでいる。例えば、図 13 (a)に示す例においては、点 Pが属する扇状領域は、マスク Α,Βによって光が遮られるのに対し、マスク Cによってのみ光が通過して明領域になるため、「001 ( A=0、 B = 0、 C = l)」としてコード化される。

[0177] このように、各扇状領域には、投影光源 Lからの向き φに相当するコードが割り当てられる。一方、各パターン光が投影された被計測物の明暗パターンを各マスクごとに

2値化してメモリの各ビットプレーンを構成すれば、各ビットプレーン画像の横方向の位置（アドレス）は、観測器 0力もの向き Θに相当する。また、 3枚のマスクにそれぞれ対応する 3枚のビットプレーンのメモリ内容を各ビット（各画素）ごとに注目すれば、各画素ごとに 3ビットのコードが取得される。このコードから、各扇状領域の投影光源しからの向き φが特定される。そして、距離 dが既知である状況において、向き φおよび Θが特定されれば、三角測量の原理により、被計測物表面上の注目点の 3次元座標が特定される。

[0178] 図 13 (a)には、マスク Α,Βおよび Cの如き複数のマスクを用いることにより、空間を純 2進コードを用いてコード化する例が示されているが、図 13 (b)には、マスク Α,Βおよび Cの如き複数のマスクを用いることにより、隣接するコード間のノ、ミング距離が常に 1 であるグレイコードを空間コードとして用いて空間をコード化する例が示されている。

[0179] 本実施形態においては、前述の 3次元形状検出処理において、純 2進コードによる空間コードィ匕法を採用しても、グレイコードによる空間コードィ匕法を採用してもよい。

[0180] この空間コード化法の詳細は、例えば、佐藤宏介、他 1名、「空間コードィ匕による距離画像入力」、電子通信学会論文誌、 85/3Vol. J 68— D No3 p369〜375に詳細に開示されている。

[0181] 図 14には、図 12における S1006が 3次元形状検出処理ルーチンとしてフローチヤ一トで概念的に表されている。

[0182] この 3次元形状検出処理ルーチンにおいては、まず、 S1210において、撮像処理が実行される。この撮像処理が実行されれば、例えば、図 13 (b)に示す複数枚のグレイコードのマスクパターンを利用して投影部 13からストライプ状のノターン光（図 1参照）が時系列的に被計測物に投影される。さらに、複数種類のパターン光が投影されて V、る被計測物をそれぞれ撮像した複数枚のパターン光有画像と、パターン光が投影されてヽない同じ被計測物を撮像した 1枚のパターン光無画像とが取得される。

[0183] 撮像処理が終了すると、 S1220において、 3次元計測処理が実行される。この 3次元計測処理が実行されると、上述の撮像処理によって取得された複数枚のパターン光有画像と 1枚のパターン光無画像とが利用されて、実際に被計測物の 3次元形状が計測される。

[0184] 次に、 S1230において、被計測物について計測された 3次元形状と表面色とを組み合わせることにより、 3次元色形状検出結果が生成される。この S1230は、後に図 19を参照して詳述する。この 3次元色形状検出結果が生成されると、今回の 3次元形状検出処理が終了する。

[0185] 図 15には、図 14における S1210が撮像処理サブルーチンとしてフローチャートで概念的に表されている。

[0186] この撮像処理サブルーチンにおいては、まず、 S1211において、選択部の設定処理が実行される。すなわち、この S1211において処理部 15の CPU35による制御によって選択部の設定が行われ、撮像ユニット 60が出力する 2種類の画像信号 (色計測用画像信号と形状計測用画像信号)のうちから色計測用画像信号が選択される。

[0187] 次に、 S1212において、パターン光撮影プログラム 36bの実行により、投影部 13からパターン光を被計測物に投影することなぐ撮像部 14によって被計測物を撮像することにより、 1枚のパターン光無画像が取得される。

[0188] このとき取得されるパターン光無画像は、撮像ユニット 60において第 1補正を施された色計測用画像信号をアンプ 64aにより増幅した色計測用画像信号に基づいて生成されるものである。そして、その取得されたパターン光無画像はパターン光無画像格納部 37bに格納される。

[0189] 次に、 S1213において、選択部を切替える処理が実行される。すなわち、この S1213 において処理部 15の CPU35による制御によって選択部の切り替えが行われ、撮像ュニット 60が出力する 2種類の画像信号 (色計測用画像信号と形状計測用画像信号）のうちから形状計測用画像信号が選択される。

[0190] 次に、 S1214において、パターン光を形成するために使用されるマスクパターンの番号を表すパターン番号 PN力^に初期化される。続いて、 S1215において、そのパターン番号 PNの現在値が最大値 PNmaxより小さ!/、か否かが判定される。その最大値 PNm axは、使用されるマスクパターンの合計数に応じて決定される。例えば、 8種類のマスクパターンが使用される場合には、最大値 PNmax力に設定される。

[0191] 今回は、パターン番号 PNの現在値が最大値 PNmaxより小さいと仮定すれば、 S1215 の判定が Yesとなり、その後、 S1214において、使用される複数種類のマスクパターンのうち、パターン番号 PNの現在値と等しい番号が付された PN番目のマスクパターンが投景 LCD19に表示される。この S1216においては、さらに、その PN番目のマスクパターンによって形成される PN番目のパターン光が被計測物に投影される。続いて、 S 1217において、その PN番目のパターン光が投影されている被計測物が撮像部 14によって撮像される。

[0192] その撮像により、 PN番目のパターン光が投影されてヽる被計測物を撮像した PN番目のパターン光有画像が取得される。

[0193] このとき取得されるパターン光有画像は、撮像ユニット 60において第 2補正を施された形状測用画像信号をアンプ 65aにより増幅した形状計測用画像信号に基づいて生成されるものである。その取得されたパターン光有画像は、対応するパターン番号 PN に関連付けてパターン光有画像格納部 37aに格納される。

[0194] その撮像が終了すると、 S1218において、 PN番目のパターン光の投影が終了し、続いて、 S1219において、次のパターン光を投影すベぐパターン番号 PNカ^だけインクリメントされ、その後、 S1215に戻る。

[0195] S1215ないし S1219の実行がパターン光の種類の数と同数回繰り返された結果、ノターン番号 PNの現在値が最大値 PNmaxより小さくはない値になると、 S1215の判定が

Noとなり、今回の撮像処理が終了する。したがって、一回の撮像処理により、 1枚のパターン光無画像と、最大値 PNmaxと同数枚のパターン光有画像とが取得されることになる。

[0196] 図 16には、図 14における S1220が 3次元計測処理サブルーチンとしてフローチャートで概念的に表されている。

[0197] この 3次元計測処理サブルーチンにおいては、まず、 S1221において、輝度画像生成プログラム 36cの実行により、輝度画像が生成される。この S1221においては、輝度値力 YCbCr空間における Y値として定義されており、各画素の RGB値より、 Y=0.29 89 · R+ 0.5866 · G+ 0.1145 · Βなる式を用いて計算される。各画素につ、て Υ値を求めることにより、複数枚のパターン光有画像と 1枚のパターン光無画像とに関する複数枚の輝度画像が生成される。それら生成された輝度画像は、ノターン番号 ΡΝに関連付けて輝度画像格納部 37cに格納される。ただし、輝度値の算出に用いられる式は、上記式に限定されるものではなぐ他の式に適宜変更することが可能である。

[0198] 次に、 S1222において、コード画像生成プログラム 36dが実行される。このコード画像生成プログラム 36dが実行されると、生成された複数枚の輝度画像が前述の空間コード化法を利用して組み合わされることにより、各画素ごとに空間コードが割り当てられたコード画像が生成される。そのコード画像は、輝度画像格納部 37cに格納された複数種類のパターン光有画像に関する輝度画像と、各画素ごとに輝度閾値が割り当てられた閾値画像との比較による 2値ィ匕処理によって生成される。その生成されたコード画像はコード画像格納部 37dに格納される。

[0199] 図 17には、このコード画像生成プログラム 36dの詳細がフローチャートで概念的に表されている。以下、図 17を参照することにより、このコード画像生成プログラム 36dを時系列的に説明する。

[0200] このコード画像生成プログラム 36dにお!/、ては、まず、 S101にお!/、て、パターン番号 PN力 SOであるパターン光が投影された被計測物が撮像された輝度画像が輝度画像格納部 37cから、代表パターン画像として読み込まれる。

[0201] 次に、 S102において、代表パターン画像について、前記読み込まれた輝度画像に基づき、前述の FFT変換によるアプローチにより、代表パターン画像において列方向に連続的に並んだ各画素ごとにパターンライン周期が演算される。演算された複数個のパターンライン周期は各画素 (各列方向画素位置）に関連付けて周期分布格納咅 37pに格納される。

[0202] 続いて、 S103において、演算された複数個のパターンライン周期に基づき、可変窓 VWの特性がローカルに設定される。本実施形態においては、可変窓 VWのライン方向サイズは、その可変窓 VWが設定される代表パターン画像上の位置にかかわらず、変化しないように設定されるのに対し、可変窓 VWの列方向サイズは、各列方向画素位置に関連付けて演算されたパターンライン周期の整数倍に相当するように設定される。

[0203] その後、 S104において、代表パターン画像に対して可変窓 VWが、ライン方向と列方向とに沿って平面的に、かつ、各画素に関連付けて設定される。それにより、各画素ごとに、可変窓 VW内に存在する複数個の画素の輝度値の平均値がローカルな閾値として演算される。この S105においては、さらに、演算された閾値が各画素に割り当てられた閾値画像が生成される。生成された閾値画像は閾値画像格納部 37qに格納される。

[0204] 続いて、 S105において、パターン番号 PN力^に初期化され、その後、 S106において、パターン番号 PNの現在値が最大値 PNmaxより小さいか否かが判定される。今回は、パターン番号 PNの現在値が 0であるため、判定が Yesとなり、 S107に移行する。

[0205] この S107においては、図 18に示す 2値化画像生成サブルーチンに従って 2値化画像が生成される。

[0206] その後、 S108において、パターン番号 PNが 1だけインクリメントされる。続いて、 S106 に戻り、パターン番号 PNの現在値が最大値 PNmaxより小さいか否かが判定される。今回も、最大値 PNmaxより小さい場合には、判定が Yesとなり、 S107に移行する。

[0207] S106ないし S108の実行がパターン光の種類の数と同数回繰り返された結果、パターン番号 PNの現在値が最大値 PNmaxより小さくはない値になると、 S106の判定が No となり、 S109に移行する。

[0208] この S109においては、各画素ごとに、最大値 PNmaxと同数枚の 2値化画像から画素値（「1」または「0」）力パターン番号 PN力^である輝度画像に対応する 2値ィ匕画像から、パターン番号 PNが（PNmax— 1)である輝度画像に対応する 2値化画像に至る順序に従って抽出され、最下位ビット LSM力最上位ビット MSBに至る順序に従って並んだ空間コードが生成される。各画素ごとの空間コードのビット数は、最大値 PNmaxと同数である。各画素ごとに空間コードが生成されることにより、今回の被計測物に対応する空間コード画像が生成される。生成された空間コードは、各画素位置に関連付けてコード画像格納部 37dに格納される。

[0209] 図 18には、図 17における S107が 2値画像生成サブルーチンとしてフローチャートで概念的に表されている。

[0210] この 2値画像生成サブルーチンにおいては、まず、 S111において、輝度画像格納部 37cから画像が読み込まれ、続いて、 S112において、 2値化処理が行われる。

[0211] 具体的には、パターン番号 PNの現在値と等しいパターン番号 PNが割り当てられた輝度画像の輝度値と、前記生成された閾値画像の閾値とが、各画素ごとに互いに比較される。その比較結果は、各画素ごとに 2値化画像に反映される。具体的には、輝度画像の輝度値が閾値より大きい場合には、「1」を表すデータ力 2値ィ匕画像のうち対応する画素位置に関連付けて 2値ィ匕画像格納部 37rに格納され、一方、輝度画像の輝度値が閾値より大きくはない場合には、「0」を表すデータが、 2値ィ匕画像のうち対応する画素位置に関連付けて 2値ィ匕画像格納部 37rに格納される。

[0212] 以上で、コード画像生成プログラム 36dの一回の実行が終了する。

[0213] その後、図 16における S1223において、コード境界抽出プログラム 36eの実行により、コード境界座標検出処理が実施される。前述の空間コードィ匕法によるコード化は、各画素単位で行われるため、実際のパターン光における明暗の境界線と、前記生成されたコード画像における空間コードの境界線 (ある空間コードが割り当てられた領域と別の空間コードが割り当てられた領域との間の境界線)との間にサブピクセル精度の誤差が生ずる。そのため、このコード境界座標検出処理は、空間コードの境界座標値をサブピクセル精度で検出することを目的として実施される。

[0214] 検出されたコード境界座標値はコード境界座標格納部 37eに格納される。コード境界座標値は、 CCD22の結像面に設定された 2次元座標系である CCD座標 ccdx-ccdy において定義される。

[0215] 続いて、 S1224において、レンズ収差補正プログラム 36fの実行により、レンズ収差補正処理が実施される。このレンズ収差補正処理は、撮像光学系 21に入射した光束の実際の結像位置であってその撮像光学系 21の収差の影響を受けたものを、その撮像光学系 21が理想レンズであったならば結像されるはずである理想結像位置に近づくように補正する処理である。

[0216] このレンズ収差補正処理により、 S1223において検出されたコード境界座標値が、撮像光学系 21の歪みなどに起因した誤差が除去されるように補正される。そのようにして補正されたコード境界座標は収差補正座標格納部 37gに格納される。

[0217] それらコード境界座標検出処理およびレンズ収差補正処理はいずれも、本発明を理解するために不可欠な事項ではなぐし力も、本出願人の特願 2004-105426号明細書に詳細に開示されているため、それを参照することによって引用することにより、本明細書においては詳細な説明を省略する。

[0218] その後、 S1225において、三角測量演算プログラム 36gの実行により、三角測量の原理による実空間変換処理が実施される。この実空間変換処理が実施されれば、三角測量の原理により、前述の、 CCD座標系 ccdx- ccdy上のコード境界座標値であって収差補正が施されたものが、実空間に設定された 3次元座標系である実空間座標系 X— Y— Z上の 3次元座標値に変換され、その結果、 3次元形状検出結果としての 3次元座標値が取得される。その取得された 3次元座標値は 3次元座標格納部 37hに格納され、この 3次元計測処理が終了し、その後、図 14に示す S1230の処理が行われる

[0219] 図 19には、図 14における S1230が 3次元色形状検出結果生成処理サブルーチンで概念的に表されている。

[0220] そして、処理部 15は、この 3次元色形状検出結果生成処理を行うことにより、被計測物の 3次元モデルを復元した 3次元モデルと、復元した被計測物の色とを用いて被計測物の 3次元画像を復元する色形状抽出部として機能する。

[0221] この 3次元色形状検出結果生成処理サブルーチンにお、ては、まず、 S5501におヽて、 3次元座標格納部 37hから、複数個の 3次元座標値がロードされる。本実施形態においては、被計測物の外面全体が 4つの部分面 (正面、右側面、左側面および背面）に分割され、各部分面ごとに立体画像が生成される。この S5501においては、それら 4つの部分面のすべてにっ、て、各部分面に属する複数個の 3次元座標値が 3 次元座標格納部 37hからロードされる。

[0222] 次に、 S5502において、それらロードされた複数個の 3次元座標値 (頂点座標値)を基に、 4つの部分面に属する複数個の 3次元座標値が組み合わされる。その結果、複数個の 3次元座標値によって 3次元的に表現される 4つの部分面が一体ィ匕されて、被計測物の外面全体を現す画像が合成される。

[0223] 続いて、 S5503において、その生成された合成画像において空間的にオーバラップする部分が抽出される。さらに、その合成画像の長さ方向における各領域においてオーバラップする 2つの部分が、それら 2部分に属する複数個の 3次元座標値の平均化等の手法により、 1つの部分に結合される。その結果、合成画像において空間的なオーバラップが除去され、それにより、ステッチ画像が完成する。

[0224] その後、 S6001において、前述の実空間 3次元座標系に座標変換された 3次元頂点群の各実座標空間座標値に対応する RGB値 (R輝度値、 G輝度値および B輝度値)が前述のパターン光無画像から抽出される。

[0225] 実空間座標系と、パターン光無画像を定義する平面座標系との関係は、前述の三角測量の原理によって幾何学的に互いに対応付けられている。すなわち、コード画像、すなわち、被計測物の 3次元形状を計測するための 2次元画像である形状画像を定義する平面座標系を実空間 3次元座標系に計算によってマッピングさせるために用いられる関数が存在する場合に、その関数の逆関数を用いることにより、実空間 3 次元座標系を、パターン光無画像を定義する平面座標系に計算によってマッピングさせることが可能なのである。したがって、この S6001においては、 2次元的なパターン光無画像から、各 3次元頂点ごとに、それに対応する表面色値すなわち RGB値を抽出することが可能である。

[0226] 次に、 S6002において、各頂点ごとに、対応する実空間座標値と RGB値とが組み合わされて色形状情報が生成される。さらに、その生成された色形状情報が、対応する頂点に直接にまたは間接に関連付けてワーキングエリア 371にローカル保存される。

[0227] 続、て、 S6003にお、て、被計測物の表面形状を複数個のポリゴンの一例である三角形に分割することによって近似的に表現するために、その被計測物について取得された複数個の頂点のうち、距離的に互いに近接する複数個の頂点が 3個ずつ、グループ分けされる。各グループごとに、 3個の頂点が互いに連結されることにより、 1個のポリゴンが形成される。

[0228] その後、 S6004において、各ポリゴンごとに、そのポリゴンを形成するたに、互いに連結すべき 3個の頂点の組合せがポリゴン情報として、各ポリゴンに直接にまたは間接に関連付けてワーキングエリア 371にローカル保存される。

[0229] 以上で、この 3次元色形状検出結果生成サブルーチンの一回の実行が終了し、それに伴い、図 14に示す 3次元形状検出処理ルーチンの一回の実行が終了する。

[0230] ここで、図 20を参照することにより、三角測量の原理により、 CCD座標系 ccdx-ccdy 上の 2次元座標値を実空間座標系 X— Y— Z上の 3次元座標値に変換する手法を詳細に説明する。

[0231] 本実施形態においては、実空間座標系 X— Y— Zが 3次元色形状計測装置 1に固定され、この実空間座標系 X—Y—Z上において、図 1に示すように、撮像対象である原稿 Pであって横方向に湾曲したものが撮像される。図 20に示すように、この実空間座標系 X— Y— Zは 3次元色形状計測装置 1に対し、 X軸は水平方向に延び、 Y軸は垂直方向に延び、 Z軸は撮像光学系 21の光軸方向に延びるように位置決めされて!、る。図 20 (a)には、実空間座標系 X—Y—Zが X軸方向に観察された状態で示され、図 2 0 (b)には、実空間座標系 X—Y—Zが Y軸方向に観察された状態で示されている。この実空間座標系 X— Y— Zは 3次元色形状計測装置 1に対し、原点が、撮像光学系 21 の入力瞳位置カゝら Z軸に沿って距離 VPZ離れた位置に位置するように設定されて!、る。

[0232] この実空間座標系 X— Y— Zにおいては、投影部 13力原稿 Pへの投影角度が「 θ p 」で表記され、撮像光学系 21の光軸と投影部 13の光軸との距離が「D」で表記されている。投影角度 Θ pは、各画素ごとに割り当てられた空間コードによって一義的に特定される。

[0233] この実空間座標系 X— Y— Zにおいては、さらに、原稿 P上の対象点 target力もの反射光が CCD22に入射する光路が逆向きに延長された直線と X— Y平面との交点の Y 座標値が「Ytarget」、 X座標値が「Xtarget」でそれぞれ表記されている。この実空間座標系 X—Y—Zにおいては、さらに、撮像光学系 21の Y方向の視野が、「Yftop」で示す表記される点から「Ylbottom」で表記される点までの領域として定義され、 X方向の視野が、「Xfstart」で表記される点から「Xfend」で表記される点までの領域として定義されている。さらに、 CCD22の Y軸方向における長さ（高さ）が「Hc」で表記され、 X軸方向における長さ（幅）が「Wc」で表記されて、る。

[0234] このように定義された実空間座標系 X—Y—Z上においては、 CCD22の CCD座標系上の任意座標値 (ccdx, ccdy)に対応する実空間座標系上の 3次元座標値 (X, Υ, Z) は、

(a)原稿 P上の対象点 target (X, Υ, Z) (図 20において引出し線を付して「（a)」示す。；)と、 (b)撮像光学系 21の入力瞳位置（図 20において引出し線を付して「 (b)」示す。 )と、

(c)投影光学系 20の出力瞳位置（図 20にお、て引出し線を付して「（c)」示す。 )と、

(d)撮像光学系 21の入力瞳位置と原稿 P上の対象点を通る直線と X— Y平面との交点（Xtarget, Ytarget) (図 20において引出し線を付して「（d)」示す。）と、

(e)投影光学系 20の出力瞳位置と原稿 P上の対象点を通る直線と X—Y平面との交点（図 20にお、て引出し線を付して「（e)」示す。 )と、

に関する関係を示す次の 5つの式を解くことにより、取得される。

[0235] (1) Y= (PPZ-Z) - tan Θ p-D + cmp (Xtarget)

(2) Y= - ( Ytarget/VPZ) Z + Ytarget

(3) X= (Xtarget/VPZ) Z + Xtarget

(4) Ytarget =Yftop- (ccdcy/Hc) X (Yftop—Ylbottom)

(5) Xtarget = Xfstart+ (ccdcx/Wc) X (Xfend Xfstart)

ただし、式（1)における「cmp (Xtarget)」は、撮像光学系 21と投影部 13とのズレを補正する関数であり、ズレが無い理想的な場合には、 0とみなすことができる。

[0236] さらに、この実空間変換処理においては、実画像における任意点の座標値 (ccdx, ccdy)が、理想カメラで撮像された画像における座標値 (ccdcx, ccdcy)に変換される。この変換は、次の 3つの式、すなわち、カメラキャリブレーションのための近似式を用いて行われる。

[0237] (6) ccdcx = (ccdx - Centx) / ( 1 + dist/100) +Centx

(7) ccdcy = (ccdy-Centy) / (1 + dist/100) +Centy

(8) hfa = arctan [ 、 ccdx— C entx) ² + (ccdy— Centy) ²) ⁰'⁵) X pixellength/ focalleng th]

ただし、収差量 dist (%)は、半画角 hfa (deg)の関数 fを用いて dist=f(hfa)と記述される。また、撮像光学系 21の焦点距離は、「focallength (mm)」で表記され、 ccd画素長は、「pixellength (mm)」で表記され、 CCD22におけるレンズの中心の座標値は、（C entx, Centy)として定義されている。

[0238] この実空間変換処理においては、上述のように、 CCD座標系を実空間座標系に変換する処理のみならず、 3次元の空間座標系上の任意の 3次元座標値 (X, Υ, Z)を、投影部 13内の投影 LCD19の面上に設定された 2次元座標系である LCD座標系上の 2次元座標値 (lcdcx, lcdcy)に変換する処理も実施可能である。

[0239] それら 2次元座標値 (lcdcx, lcdcy)と 3次元座標値 (X, Υ, Z)との間における幾何学的な関係は、次の 4つの式によって記述することができる。

[0240] (9) Y =— (Yptarget/PPZ) Ζ+ Yptarget

( 10) X =— (Xptarget/PPZ) Z + Xptarget

(11) Yptarget = Ypftop - (lcdcy/Hp) X (Xpftop— Xpl ottom)

( 12) Xptarget = Xpfstart + (lcdcx/Wp) X (Xpfend— Xpfstart)

ただし、この実空間座標系 X— Y— Zにおいては、図 20に示すように、光束が投影部 13から原稿 P上の対象点 targetに入射する光路が同じ向きに延長された直線と X—Y 平面との交点の Y座標値が「Yptarget」、 X座標値が「Xptarget」でそれぞれ表記されている。さら〖こ、投影部 13の出力瞳位置が（0, 0, PPZ)として定義されている。さら〖こ、投影部 13の Y方向の視野力「Ypftop」で表記される点から「Ypl ottom」で表記される点までの領域として定義され、 X方向の視野力「Xpfstart」で表記される点から「Xpfe nd」で表記される点までの領域として定義されている。さらに、投影 LCD19の Y軸方向における長さ（高さ）が「Hp」で表記され、 X軸方向における長さ（幅）が「Wp」で表記されている。

[0241] 上記式 (9)ないし（12)で記述される関係を利用するために、 3次元座標値 (X, Υ, Z )をそれら式 (9)ないし（12)に代入すると、 LCD座標系上の 2次元座標値 (lcdcx, lcdc y)を算出することができる。したがって、例えば、任意の 3次元形状を有する投影面上に文字、図形等の画像を投影するための投影 LCD19の投影光パターンを算出することができる。

[0242] 以上、図 8における S609において実行される立体画像処理を説明した力以下、 S6 11におヽて実行される平面化画像処理を説明する。

[0243] この平面化画像処理によれば、例えば、原稿 Pが実際には図 1に示すように湾曲して、る状態で撮像されたにもかかわらず、あた力も湾曲して、な、状態で同じ原稿 P が撮像されたかのように、実際に撮像された画像が平面化される。さらに、この平面化画像処理によれば、正面視において長方形を成す原稿 Pが実際には斜めから撮像されたにもかかわらず、あた力も正面から同じ原稿 Pが撮像されたかのように、実際に撮像された画像が平面化される。

[0244] この平面化画像処理は、本発明を理解するために不可欠な事項ではなぐしかも、前記特願 2004-105426号明細書に詳細に開示されているため、それを参照することによって引用することにより、本明細書においては詳細な説明を省略する。

[0245] (第 2実施形態）

次に、本発明の第 2実施形態について説明する。第 2実施形態に係る 3次元色形状計測装置は、その基本的構造については図 1〜4に示す第 1実施形態の 3次元色形状計測装置 1と同様であるが、撮像ユニットの構成、及び、それに伴う処理部での処理だけが第 1実施形態の 3次元色形状計測装置 1と異なる。

[0246] そのため、ここでは第 2実施形態に設ける撮像ユニットの構成と、処理部での処理につ!、てのみ説明することとし、 3次元色形状計測装置の基本的構造に関してはその説明を省略する。なお、以下の説明において、第 1実施形態の 3次元色形状計測装置 1と同一の構成要件については同一の符号を用いて説明する。

[0247] 図 21に示すように、第 2実施形態の 3次元色形状計測装置が備える撮像ユニット 70 は、撮像部として機能する CCD71と、この CCD71が被計測物を撮像して出力する画像信号を増幅するアンプ 72と、アンプ 72により増幅したアナログの画像信号をアナ口グ'ディジタル変換する A/Dコンバータ 73と、 A/Dコンバータ 73力入力される画像信号に対して階調補正を行うことにより被計測物の色を計測及び復元するための色計測用画像信号と、被計測物の 3次元形状を計測及び復元するための形状計測用画像信号を生成して主装置へ出力する補正部 79とを収納している。

[0248] このように構成した撮像ユニット 70では、アンプ 72と A/Dコンバータ 73と、補正部 79とにより CCDインターフェイス 31が構成され、この CCDインターフェイス 31力主装置へ画像信号が出力される。

[0249] また、第 2実施形態の主装置は、撮像ユニット 70から入力される色計測用画像信号に基づ!/、て復元した被計測物の色と、撮像ユニット 70から入力される形状計測用信号に基づ、て被計測物の 3次元形状を復元した 3次元モデルとを用いて被計測物の 3次元画像を復元する色形状抽出部を収納して!/ヽる。 [0250] 補正部 79は、上記非線形の第 1階調特性に従った第 1補正により画像信号を色計測用画像信号に変換する第 1補正回路 74と、第 1補正回路 74が出力する色計測用画像信号を増幅して出力するアンプ 75とからなる第 1補正部と、アナログ 'ディジタル変換された画像信号を増幅し、形状計測用画像信号として出力するアンプ 77力なる第 2補正部とを備えている。

[0251] すなわち、この補正部 79は、その階調補正機能に関して、第 1実施形態の撮像ュ- ット 60が備える補正部 66と同様の機能を備えたものである。ただし、この第 2実施形態における補正部 79は、画像信号に対して、上記した線形部分を有する第 2階調特性に従って行う第 2補正を増幅器 (アンプ 77)によって行うことにより画像信号を形状計測用画像信号に変換するようにしてヽる。

[0252] さらに、この撮像ユニット 70は、第 1補正部及び第 2補正部のいずれか一方を選択し、当該選択した補正部へ画像信号を出力する前段側の選択部 78aを備えると共に、第 1補正部が出力する色計測用画像信号と、第 2補正部が出力する形状計測用画像信号とのうち、いずれか一方の画像信号を選択して主装置へ出力する後段側の選択部 78bを備えている。

[0253] この前段側の選択部 78aは、主装置の処理部 15によりパターン光撮影プログラム 36 bが実行されて、パターン光無画像が取得されるときに、 CPU35の制御に基づいて第 1補正部を選択し、 A/Dコンバータ 73と第 1補正部とを接続させ、後段側の選択部 78b は、 CPU35の制御に基づ、て色計測用画像信号を選択して主装置へ出力する。

[0254] このように、第 2実施形態の撮像ユニット 70では、第 1補正部と、第 2補正部と、選択部 78a、 78bとを備えた補正部を設けることにより、第 1補正部と第 2補正部とを交互に動作させて色計測用画像信号と形状計測用画像信号とを主装置へ出力するように構成しているため、図 5に示すように撮像ユニット 60と処理部 15とを 2本の信号線で接続する必要がなぐ回路構成を簡略ィ匕することができる。

[0255] し力も、この撮像ユニット 70を設けることにより、第 1補正部と第 2補正部とを同時に動作させる第 1実施形態の撮像ユニット 60に比べ、第 1補正部と第 2補正部とを交互に動作させる分、撮像ユニット 70における消費電力を低減することができる。

[0256] また、このように撮像ユニット 70を構成した場合、 A/Dコンバータ 73から出力される画像信号は、モニタ LCD10の表示特性を考慮してヽな、のでその特性は線形であり、被計測物の 3次元形状を計測するのに好適な信号となっている。

[0257] そのため、この画像信号をアンプ 77によって増幅するだけで、第 1実施形態の撮像ユニット 60のように第 2補正回路を設けなくとも、被計測物の 3次元形状を高精度に計測可能な形状計測用画像信号を生成することができ、第 2補正回路を省略した分、撮像ユニット 70の部品点数を減少させることができ、これにより、撮像ユニット 70の製造コストの低減と、撮像ユニット 70の小型化を図ることができる。

[0258] その上、この撮像ユニット 70が備える補正部 79は、第 1実施形態と同様に、第 1補正回路 74を備えているため、この第 1補正回路により画像信号から色計測用画像信号も生成することもできるので、主装置において、色形状抽出部により被計測物の色と 3 次元形状とを忠実に復元した 3次元画像を生成することができる。

[0259] 次に、第 2実施形態の 3次元色形状計測装置が備える処理部 15で行われる処理について説明する。この処理部 15では、図 15に示した撮像処理サブルーチンにおける S1211と、 S1213で行われる処理のみが第 1実施形態と異なる。

[0260] 図 22は、第 2実施形態の処理部 15で行われる撮像処理を示すフローチャートである。図 22に示すように、この撮像処理では、まず、 S1211aにおいて、前段側、及び後段側の選択部の設定処理が実行される。すなわち、この S1211aにおいて処理部 15の C PU35による制御によって、図 21に示す撮像ユニット 70内部の前段側の選択部 78aが第 1補正部を選択して A/Dコンバータ 73と第 1補正回路 74とを接続する。

[0261] そして、このとき同時に、同じく図 21に示す撮像ユニット 70内部の後段側の選択部 7 8が第 1補正部のアンプ 75を選択し、アンプ 75が出力する色計測用画像信号を主装置へ出力する。

[0262] 次に、 S1212において、パターン光撮影プログラム 36bの実行により、投影部 13からパターン光を被計測物に投影することなぐ撮像部 14によって被計測物を撮像することにより、 1枚のパターン光無画像が取得される。

[0263] このとき取得されるパターン光無画像は、撮像ユニット 70において第 1補正を施された色計測用画像信号に基づいて生成されるものである。そして、その取得されたバタ一ン光無画像はパターン光無画像格納部 37bに格納される。 [0264] 次に、 S1213aにおいて、前段側、及び、後段側の選択部の切り替え処理がされる。すなわち、この S1213aにおいて処理部 15の CPU35による制御によって、図 21に示す撮像ユニット 70内部の前段側の選択部 78aが第 2補正部を選択して A/Dコンバータ 73 とアンプ 77とを接続する。

[0265] そして、このとき同時に、同じく図 21に示す撮像ユニット 70内部の後段側の選択部 7 8bが第 2補正部のアンプ 77を選択し、アンプ 77が出力する形状計測用画像信号を主装置へ出力する。

[0266] こうして S1213aの処理が終了した後は、第 1実施形態と同様に、 S1214〜S1219の処理が順次実行されてこの撮像処理が終了する。

[0267] このように、第 2実施形態の 3次元色形状計測装置 1が有する処理部 15によれば、図 15に示した第 1実施形態の撮像処理サブルーチンにおける S1211と、 S1213とで実行される処理を、図 22に示した撮像処理サブルーチンにおける S1211aと S1213aとに変更するだけで、処理部 15で実行されるプログラム全体を大幅に変更することなぐ図 21に示す撮像ユニット 70を動作させることができる。

[0268] (第 3実施形態）

次に、本発明の第 3実施形態について説明する。第 3実施形態に係る 3次元色形状計測装置は、その基本的構造については図 1〜4に示す第 1実施形態の 3次元色形状計測装置 1と同様であるが、撮像ユニットの構成、及び、それに伴う処理部での処理だけが第 1実施形態の 3次元色形状計測装置 1と異なる。

[0269] そのため、ここでは第 3実施形態に設ける撮像ユニットの構成と、処理部での処理につ!、てのみ説明することとし、 3次元色形状計測装置の基本的構造に関してはその説明を省略する。なお、本実施形態おいても、第 1実施形態の 3次元色形状計測装置 1と同一の構成要件については同一の符号を用いて説明する。

[0270] 図 23に示すように、第 3実施形態の 3次元色形状計測装置が備える撮像ユニット 80 は、撮像部として機能する CCD81と、この CCD81が被計測物を撮像して出力する画像信号を増幅するアンプ 82と、アンプ 82により増幅したアナログの画像信号をアナ口グ'ディジタル変換する A/Dコンバータ 83と、 A/Dコンバータ 83力入力される画像信号に対して階調補正を行うことにより被計測物の色を計測及び復元するための色計測用画像信号と、被計測物の 3次元形状を計測及び復元するための形状計測用画像信号を生成して主装置へ出力する補正部 86とを収納している。

[0271] このように構成した撮像ユニット 80では、アンプ 82と A/Dコンバータ 83と、補正部 86とにより CCDインターフェイス 31が構成され、この CCDインターフェイス 31力主装置へ画像信号が出力される。

[0272] また、第 3実施形態の主装置は、撮像ユニット 80から入力される色計測用画像信号に基づ!/ヽて復元した被計測物の色と、撮像ユニット 80から入力される形状計測用信号に基づ、て被計測物の 3次元形状を復元した 3次元モデルとを用いて被計測物の 3次元画像を復元する色形状抽出部を収納して!/ヽる。

[0273] 補正部 86は、上記した非線形の第 1階調特性に従った第 1補正により画像信号を色計測用画像信号に変換すると共に、第 2補正により画像信号を形状計測用画像信号に変換する補正回路 84と、この補正回路 84が出力する色計測用画像信号及び形状計測用画像信号を増幅して主装置へ出力するアンプ 85とを備えている。

[0274] 特にこの補正回路 84は、当該補正回路 84で第 1補正を行う際に参照可能な第 1補正 LUT (ルックアップテーブル）と、第 2補正を行う際に参照可能な第 2LUTとを備えている。

[0275] 第 1補正 LUTは、第 1補正前の画像信号と第 1補正後に得られる色計測用画像信号とを対応させて記憶させたルックアップテーブルであり、第 2補正 LUTは、第 2補正前の画像信号と第 2補正後に得られる形状計測用画像信号とを対応させて記憶させたルックアップテーブルである。

[0276] そして、この補正部 86では、主装置の処理部 15によりパターン光撮影プログラム 36b が実行されて、パターン光無画像が取得されるときに、 CPU35の制御により補正回路 84が動作して、当該補正回路 84が備える第 1補正 LUTを用いた第 1補正が画像信号に対して施され、その結果生成される色計測用画像信号が主装置へ出力される。

[0277] 一方、この補正部では、主装置の処理部 15によりパターン光撮影プログラム 36bが実行されて、パターン光有画像が取得されるときに、 CPU35の制御により補正回路 84 が動作して、当該補正回路 84が備える第 2LUTを用いた第 2補正が画像信号に対して施され、その結果生成される形状計測用画像信号が主装置へ出力される。 [0278] このように、第 3実施形態では、補正部 86に第 1LUT及び第 2LUTを備えた補正回路 84を設けることにより、色形状抽出部により被計測物の色と 3次元形状とを忠実に復元した 3次元画像を生成することができるだけでなぐ画像信号に対して階調補正を施す際に参照するルックアップテーブルを差し替えるだけで、 1つの補正回路 84により画像信号に対して第 1補正と第 2補正とを施すことができるので、撮像ユニット 80の小型化を図ることができる。

[0279] 次に、第 3実施形態の 3次元色形状計測装置が備える処理部 15で行われる処理について説明する。この処理部 15では、図 15に示した撮像処理サブルーチンにおける S1211と、 S1213で行われる処理のみが第 1実施形態と異なる。

[0280] 図 24は、第 3実施形態の処理部 15で行われる撮像処理を示すフローチャートである。図 24に示すように、この撮像処理では、まず、 S1211bにおいて、 LUTの設定処理が実行される。すなわち、この S1211bにおいて処理部 15の CPU35による制御によって、図 23に示す撮像ユニット 80内部で参照される LUTとして第 1補正 LUTが設定される。

[0281] 次に、 S1212において、パターン光撮影プログラム 36bの実行により、投影部 13からパターン光を被計測物に投影することなぐ撮像部 14によって被計測物を撮像することにより、 1枚のパターン光無画像が取得される。

[0282] このとき取得されるパターン光無画像は、撮像ユニット 80において第 1補正を施された色計測用画像信号に基づいて生成されるものである。そして、その取得されたバタ一ン光無画像はパターン光無画像格納部 37bに格納される。

[0283] 次に、 S1213bにおいて、 LUTの差し替え処理が実行される。すなわち、この S1213b において処理部 15の CPU35による制御によって、図 23に示す撮像ユニット 80内部で参照される LUTが第 1補正 LUT力第 2補正 LUTに差し替えられる。

[0284] こうして S1213bの処理が終了した後は、第 1実施形態と同様に、 S1214〜S1219の処理が順次実行されてこの撮像処理が終了する。

[0285] このように、第 3実施形態の 3次元色形状計測装置 1が有する処理部 15によれば、図 15に示した第 1実施形態の撮像処理サブルーチンにおける S1211と、 S1213とで実行される処理を、図 24に示した撮像処理サブルーチンにおける S1211bと S1213bとに変更するだけで、処理部 15で実行されるプログラム全体を大幅に変更することなぐ図 23に示す撮像ユニット 80を動作させることができる。

[0286] (第 4実施形態）

次に、本発明の第 4実施形態について説明する。第 4実施形態に係る 3次元色形状計測装置は、その基本的構造については図 1〜4に示す第 1実施形態の 3次元色形状計測装置 1と同様であるが、撮像ユニットの構成と、処理部の ROM内に記憶されて V、るプログラムと、処理部での処理だけが第 1実施形態の 3次元色形状計測装置 1と異なる。

[0287] そのため、ここでは第 4実施形態に設ける撮像ユニットの構成と、 ROM内に記憶されているプログラムと、処理部での処理についてのみ説明することとし、 3次元色形状計測装置の基本的構造に関してはその説明を省略する。なお、本実施形態おいても、第 1実施形態の 3次元色形状計測装置 1と同一の構成要件については同一の符号を用いて説明する。

[0288] 図 25に示すように、第 4実施形態の 3次元色形状計測装置が備える撮像ユニット 90 は、撮像部として機能する CCD91と、この CCD91が被計測物を撮像して出力する画像信号を増幅するアンプ 92と、アンプ 92により増幅したアナログの画像信号をアナ口グ 'ディジタル変換する A/Dコンバータ 93と、 A/Dコンバータ 93が出力する画像信号を第 1階調特性に従った第 1補正により色計測用画像信号に変換する第 1補正部として機能する第 1補正回路 94とを収納して、る。

[0289] このように構成した撮像ユニット 90では、アンプ 92と、 A/Dコンバータ 93と、第 1補正回路 94とにより CCDインターフェイス 31が構成され、この CCDインターフェイス 31から主装置へ色計測用画像信号が出力される。

[0290] そして、主装置は、 CCDインターフェイス 31から入力される色計測用画像信号に対して、後述する第 3階調特性に従った第 3補正を行うことにより色計測用画像信号を形状計測用画像信号に変換する第 3補正回路と、 2種類の画像信号 (色計測用画像信号、及び、形状計測用画像信号)に基づいて被計測物の 3次元画像を復元する色形状抽出部（図示略。）とを収納している。

[0291] また、第 4実施形態の主装置では、上記したように撮像ユニット 90から入力される色計測用画像信号に対して第 3補正を施すため、図 26に示すように、処理部 15が有する ROM36内〖こ、第 1実施形態の ROM36に記憶されている各種プログラム 36a〜36iに加え、階調補正プログラム 36jと、階調補正 LUT36kとが記憶されている。

[0292] この階調補正プログラム 36jは、撮像ユニット 90から出力される色計測用画像信号に対して、第 3階調特性に従った第 3補正を行った後、その信号を増幅して色計測用画像信号を形状計測用画像信号に変換するために実行される。

[0293] ここで、第 3階調特性とは、第 1階調特性との積をとることによって線形特性となるガンマ特性のことであり、第 1階調特性の逆ガンマ特性のことである。

[0294] このように、階調補正プログラム 36jが ROM36に記憶されて!、るので、補正部として第 1補正を行う補正回路しか予め備えて、な、撮像ユニット 90を 3次元色形状計測装置に搭載した場合であっても、階調補正プログラム 36jが実行されることにより、撮像ユニット 90から出力される色計測用画像信号に対して、第 3補正を施して被計測物の 3次元形状を高精度に計測可能な形状計測用画像信号を生成することができる。

[0295] また、階調補正 LUT36kは、第 3補正前の色計測用画像信号と第 3補正後に得られる形状測用画像信号とを対応させて記憶させたルックアップテーブルであり、処理部 15において、階調補正プログラム 36jが実行されるときに CPU35が参照するものである。つまり、上記第 3補正は、この第 3補正 LUTを利用して行われる。

[0296] このように構成した第 4実施形態の 3次元色形状計測装置 1では、主装置の処理部 15によりパターン光撮影プログラム 36bが実行されて、パターン光無画像が取得されるときに、 CPU35の制御により、撮像ユニット 90が出力する色計測用画像信号に基づいてパターン光無画像が生成されてパターン光無画像格納部 37bに格納される。

[0297] 一方、主装置の処理部 15によりパターン光撮影プログラム 36bが実行されて、パタ一ン光有画像が取得されるときに階調補正プログラム 36jが実行されて、 CPU35の制御により第 3補正回路 96が作動して、撮像ユニット 90が出力する色計測用画像信号に対し第 3補正が施され、その結果得られる形状計測用画像信号に基づいてパターン光有画像が生成されてパターン光有画像格納部 37aに格納される。

[0298] すなわち、色抽出部は、被計測物の色を復元する場合には撮像ユニット 90から出力される色計測用画像信号をそのまま用いて被計測物の色を復元し、被計測物の 3 次元形状を計測及び復元する場合には、撮像ユニット 90から出力される色計測用画像信号に対して逆ガンマ補正を施すことにより生成した形状計測用画像信号を用いて、被計測物の 3次元形状を計測及び復元するようにして、る。

[0299] このように、第 4実施形態の 3次元色形状計測装置 1では、撮像ユニット 90が有する第 1補正回路 94と、主装置が有する第 3補正回路 96とにより、画像信号を補正する補正部を構成しているため、第 1〜第 3実施形態と同様に、色形状抽出部により被計測物の色と 3次元形状とを忠実に復元した 3次元画像を生成することができる。

[0300] しかも、主装置に第 3補正部を収納しているため、図 25に示すような、第 1補正回路 94だけしか備えて、な、比較的安価な市販の撮像ユニット 90を用いても、被計測物の色を正確に復元できるだけでなぐ被計測物の 3次元形状を高精度に測定することができる。

[0301] すなわち、図 25に示す撮像ユニット 90のように、 CCD91が被計測物を撮像して出力する画像信号に対して、常にモニタ LCD10の表示特性に合わせた色計測用画像信号しか出力できな!/、構成の撮像ユニット 90を 3次元色形状計測装置 1に搭載した場合、被計測物の色を復元するときに、撮像ユニット 90から出力される第 1補正を施された色計測用画像信号を増幅するだけで被計測物の色を忠実に復元することができる。

[0302] 一方、被計測物の 3次元形状を計測及び復元するときには、撮像ユニット 90から非線形特性の色計測用画像信号が出力されることになるが、この主装置では、第 3補正回路 96によりこの色計測用画像信号に対して、当該色計測用画像信号の非線形特性の逆ガンマ特性である非線形の第 3階調特性に従った第 3補正を行うことにより、第 3補正後の信号特性が 3次元形状計測に適した線形特性となる。

[0303] そのため、主装置の色形状抽出部は、この第 3補正後の信号である形状計測用画像信号を用いて、被計測物の 3次元形状を高精度に計測及び復元することができる

[0304] 次に、第 4実施形態の 3次元色形状計測装置が備える処理部 15で行われる処理について説明する。この処理部 15では、図 15に示した撮像処理サブルーチンにおける S1211が削除され、 S1213で行われる処理のみが第 1実施形態と異なる。

[0305] 図 27は、第 4実施形態の処理部 15で行われる撮像処理を示すフローチャートである。図 27に示すように、この撮像処理では、まず、 S1212においてパターン光撮影プログラム 36bの実行により、投影部 13からパターン光を被計測物に投影することなぐ撮像部 14によって被計測物を撮像することにより、 1枚のパターン光無画像が取得される。

[0306] このとき取得されるパターン光無画像は、撮像ユニット 90において第 1補正を施された色計測用画像信号をアンプにより増幅した色計測用画像信号に基づいて生成されるものである。そして、その取得されたパターン光無画像はパターン光無画像格納部 37bに格納される。

[0307] 次に、 S1213cにおいて、第 3補正処理が実行される。すなわち、この S1213cにおいて階調補正プログラム 36jの実行により、階調補正 LUT36kが CPU35によって参照され、撮像ユニット 90から入力される色計測用画像信号に対して第 3補正が施された後、増幅されることにより形状計測用画像信号に変換される。

[0308] こうして S1213cの処理が終了した後は、第 1実施形態と同様に、 S1214〜S1219の処理が順次実行されてこの撮像処理が終了する。

[0309] このように、第 4実施形態では、撮像処理中に撮像ユニット 90から入力される色計測用画像信号に対して第 3補正を施すようにしているが、処理部 15での処理を変更することにより、撮像処理中には第 3補正を行わず、その後、図 17に示すコード画像生成処理 (S100)にお、て第 3補正を行うこともできる。

[0310] ここで、第 4実施形態の変形例として、コード画像生成処理において第 3補正を行う場合に、処理部 15で実行される処理について説明する。この場合、図 27に示す S121 3cの第 3補正処理が削除され、図 28に示すコード画像生成処理、及び、図 29に示す 2値化画像生成処理の中で第 3補正処理が実行される。

[0311] コード画像生成処理では、図 28に示すように、コード画像生成プログラム 36dの実行により、まず、 S101において、パターン番号 PNが 0であるパターン光が投影された被計測物が撮像された輝度画像が、輝度画像格納部 37cから代表パターン画像として読み込まれる。

[0312] 次に、 SlOlaにおいて、第 3補正処理が実行される。すなわち、階調補正プログラム 36jの実行により、階調補正 LUT36kが CPU35により参照されて、代表パターン画像を示す画像信号 (色計測用画像信号）に対して第 3補正を施す処理が実行される。 [0313] こうして SlOlaの処理が終了した後は、第 1実施形態と同様に、 S102〜S106の処理が順次実行される力 S106において、パターン番号 PNの現在値が最大値 PNmaxよりも小さいと判断された場合には、 S107 (2値化画像を生成する処理）において第 3補正処理が実行される。なお、 S106において、パターン番号 PNの現在値が最大値 PNmax よりも大きいと判断された場合には、第 1実施形態と同様に S109 (コード画像を生成する処理）が実行されて、このコード画像生成処理が終了される。

[0314] 2値化画像生成処理では、図 29に示すように、 S111において輝度画像格納部 37cから画像が読み込まれ、その後、 SI 11aにおいて第 3補正処理が実行される。すなわち、階調補正プログラム 36jの実行により、階調補正 LUT36kが CPU35により参照されて、 S111において読み込まれた画像を示す画像信号 (色計測用画像信号）に対して第 3補正を施す処理が実行される。

[0315] こうして Slllaの処理が終了した後は、第 1実施形態と同様の 2値ィ匕処理 S112が実行されて、この 2値ィ匕処理が終了される。

[0316] (第 5実施形態）

次に、本発明の第 5実施形態について説明する。第 5実施形態に係る 3次元色形状計測装置は、その基本的構造については図 1〜4に示す第 1実施形態の 3次元色形状計測装置 1と同様であるが、撮像ユニットの構成と、処理部の ROM内に記憶されているプログラムと、処理部での処理、だけが第 1実施形態の 3次元色形状計測装置 1 と異なる。

[0317] そのため、ここでは第 5実施形態に設ける撮像ユニットの構成と、 ROM内に記憶されているプログラムと、処理部での処理についてのみ説明することとし、 3次元色形状計測装置の基本的構造に関してはその説明を省略する。なお、本実施形態おいても、第 1実施形態の 3次元色形状計測装置 1と同一の構成要件については同一の符号を用いて説明する。

[0318] 図 30に示すように、撮像ユニット 50は、撮像部として機能する CCD22と、この CCD22 が被計測物を撮像して出力する画像信号を増幅するアンプ 52と、アンプ 52により増幅したアナログの画像信号をアナログ 'ディジタル変換する A/Dコンバータ 53とを収納している。 [0319] このように構成した撮像ユニット 50では、アンプ 52と A/Dコンバータ 53とにより CCDィンターフェイス 31が構成され、この CCDインターフェイス 31から主装置 51へ階調補正の施されてヽな、画像信号が出力される。

[0320] そして、主装置は、 CCDインターフェイス 31力入力される画像信号に対して補正を行う補正部と、この補正部により補正した画像信号に基づいて被計測物の 3次元画像を復元する色形状抽出部とを収納している。

[0321] この補正部は、上記した非線形の第 1階調特性に従った第 1補正により画像信号を色計測用画像信号に変換する第 1補正回路と、第 1補正回路が出力する色計測用画像信号を増幅して色形状抽出部に出力するアンプとからなる第 1補正部と、上記した線形部分を有する第 2階調特性に従った第 2補正により画像信号を形状計測用画像信号に変換する第 2補正回路と、第 2補正回路が出力する形状計測用画像信号を増幅して色形状抽出部に出力するアンプとからなる第 2補正部とを備えている。

[0322] また、第 5実施形態の主装置では、上記したように撮像ユニット 50から入力される画像信号に対して第 1及び第 2補正を施すため、図 26に示す第 4実施形態の処理部 15 と同様に、 ROM36の内部に、第 1実施形態の ROM36に記憶されている各種プロダラム 36a〜36iに加え、階調補正プログラム 36jと、階調補正 LUT36kとが記憶されている

[0323] ただし、第 5実施形態における階調補正プログラム 36j及び階調補正 LUT36kは、その内容が第 4実施形態における階調補正プログラム 36汲び階調補正 LUT36kと異なる。

[0324] すなわち、第 5実施形態における階調補正プログラム 36jは、画像信号に対して第 1 補正を施す際に実行される第 1補正プログラムと、画像信号に対して第 2補正を施す際に実行される第 2補正プログラムとから構成されている。

[0325] 第 1補正プログラムは、 CCD22により被計測物を撮像して得られる画像信号に対して、第 1階調特性に従った第 1補正を行うことにより、画像信号を被計測物の色を計測及び復元する際に用いる色計測用画像信号に変換するために実行される。ここで、第 1階調特性とは、モニタ LCD10の非線形な表示特性に合わせた非線形のガンマ特 '性のことである。 [0326] このような第 1階調特性に従った第 1補正を行うことにより、被計測物の実際の色を忠実に再現可能な色計測用画像信号を生成することができる。

[0327] このように処理部 15は、第 1階調特性に従った第 1補正により画像信号を色計測用画像信号に変換する補正部として機能する。

[0328] また、第 2補正プログラムは、 CCD22により被計測物を撮像して得られる画像信号に対して、第 2階調特性に従った第 2補正を行うことにより、画像信号を被計測物の 3次元形状を計測する際に用いる形状測用画像信号に変換するために実行される。ここで、第 2階調特性とは、少なくとも一部分に線形な特性を有し、その他の部分を非線形又は線形としたガンマ特性のことである。

[0329] また、第 5実施形態における階調補正 LUT36kは、第 1補正 LUTと、第 2補正 LUTとから構成されている。

[0330] 第 1補正 LUTは、第 1補正前の画像信号と第 1補正後に得られる色計測用画像信号とを対応させて記憶させたルックアップテーブルであり、処理部 15にお、て第 1補正プログラムが実行されるときに CPU35が参照するものである。つまり、上記第 1補正は、この第 1補正 LUTを利用して行われる。

[0331] また、第 2補正 LUTは、第 2補正前の画像信号と第 2補正後に得られる形状計測用画像信号とを対応させて記憶させたルックアップテーブルであり、処理部 15にお、て第 2補正プログラム 36kが実行されるときに CPU35が参照するものである。つまり、上記第 2補正は、この第 2補正 LUTを利用して行われる。

[0332] 第 1補正部は、主装置の処理部 15により第 1補正プログラムが実行されることにより、第 1補正回路とアンプとが動作して画像信号を色計測用画像信号に変換して出力するものであり、パターン光投影部として機能する投影部 13のパターン光非投影時に、撮像部である CCD22が被計測物を撮像して出力する画像信号に対して第 1階調特性に従って第 1補正を行って、画像信号を色計測用画像信号に変換するものである

[0333] また、この第 1補正部が補正する画像信号は、複数種類の色信号と輝度信号とを含んでおり、この第 1補正部は、画像信号に含まれる各色信号ごとに第 1補正を行うと共に、画像信号に含まれる輝度信号に対しても第 1補正を行う。 [0334] また、第 2補正部は、主装置の処理部 15により第 2補正プログラムが実行されることにより、第 2補正回路とアンプとが動作して形状計測用画像信号を出力するものであり、パターン光投影部として機能する投影部 13のパターン光投影時に、撮像部である CCD22が被計測物を撮像して出力する画像信号に対して第 2階調特性に従って第 2 補正を行って、画像信号を形状計測用信号に変換するものである。

[0335] また、この第 2補正部が補正する画像信号は、複数種類の色信号と輝度信号とを含んでおり、この第 2補正部は、画像信号に含まれる各色信号ごとに第 2補正を行うと共に、画像信号に含まれる輝度信号に対しても第 2補正を行う。

[0336] そして、このように構成した補正部を備えた主装置では、第 1補正部により変換した色計測用画像信号と、第 2補正部により変換した形状計測用信号とが色形状抽出部へ出力される。

[0337] また、主装置 51は、第 1補正部及び第 2補正部のいずれか一方を選択し、撮像ュ- ット 50から出力される画像信号を選択した補正部へ出力する選択部を備えており、この選択部で選択した各補正部により補正された画像信号を色形状抽出部に出力するようにしている。

[0338] この選択部は、主装置の処理部 15により第 1補正プログラムが実行されるときに、 CP U35の制御により撮像ユニット 50と第 1補正回路とを接続させて第 1補正部を選択する

[0339] 一方、選択部は、主装置 51の処理部 15により第 2補正プログラムが実行されるときに、CPU35の制御により撮像ユニット 50と第 2補正回路とを接続させて第 2補正部を選択する。

[0340] このように、本実施形態では、画像信号に対してモニタ LCD10の表示特性に合わせた非線形の第 1階調特性に従って第 1補正を施すことにより生成した色計測用画像信号を色形状抽出部に出力するように構成しているため、色形状抽出部により、被計測物の色を忠実に復元した後述のテクスチャを生成することができる。

[0341] さらに、上記のように画像信号に対して線形部分を有する第 2階調特性に従って第 2補正を施すことにより生成した形状計測用画像信号を色形状抽出部に出力するように構成しているため、被計測物の 3次元形状を精度良く測定できると共に、色形状抽出部により、被計測物の 3次元形状を忠実に復元した後述の 3次元モデルを生成することがでさる。

[0342] そのため、この 3次元色形状計測装置 1では、被計測物の色と 3次元形状とを忠実に復元した 3次元画像を生成することができる。

[0343] しかも、この 3次元色形状計測装置 1では、主装置に第 1補正部と第 2補正部とを設けるように構成しているので、図 30に示すような、 CCD22とアンプ 52と A/Dコンバータ 5 3とだけを備え、階調補正を行う補正部を全く備えていない比較的簡易な構成で、且つ、比較的安価な市販の撮像装置を撮像ユニット 50として適用することができる。

[0344] 次に、第 5実施形態の 3次元色形状計測装置が備える処理部 15で行われる処理について説明する。この処理部 15では、図 15に示した撮像処理サブルーチンにおける S1211と、 S1213とで行われる処理のみが第 1実施形態と異なる。

[0345] 図 31は、第 5実施形態の処理部 15で行われる撮像処理を示すフローチャートである。図 31に示すように、この撮像処理では、まず、 S1211dにおいて、第 1補正処理が実行される。すなわち、この S121 Idにおいて第 1補正プログラムの実行により選択部が第 1補正部を選択すると共に、第 1補正 LUTが CPU35によって参照されて、撮像ュ- ット 50から出力された画像信号に対して第 1補正を施すことにより色計測用画像信号が生成される。

[0346] 次に、 S1212において、パターン光撮影プログラム 36bの実行により、投影部 13からパターン光を被計測物に投影することなぐ撮像部 14によって被計測物を撮像することにより、 1枚のパターン光無画像が取得される。

[0347] このとき取得されるパターン光無画像は、第 1補正回路により第 1補正を施された色計測用画像信号に基づいて生成されるものである。そして、その取得されたパターン光無画像はパターン光無画像格納部 37bに格納される。

[0348] 次に、 S1213dにおいて、第 2補正処理が実行される。すなわち、この S1213dにおいて第 2補正プログラムの実行により選択部が第 2補正部を選択すると共に、第 2補正 L

UTが CPU35により参照されて、撮像ユニット 50から出力された画像信号に対して第 2 補正を施すことにより形状計測用画像信号が生成される。

[0349] こうして S1213dの処理が終了した後は、第 1実施形態と同様に、 S1214〜S1219の処理が順次実行されてこの撮像処理が終了する。

[0350] このように、第 5実施形態の 3次元色形状計測装置 1が有する処理部 15によれば、図 15に示した第 1実施形態の撮像処理サブルーチンにおける S1211と、 S1213とで実行される処理を、図 31に示した撮像処理サブルーチンにおける S1211dと S1213dとに変更するだけで、処理部 15で実行されるプログラム全体を大幅に変更することなぐ図 30に示す撮像ユニット 50を動作させることができる。

[0351] また、第 5実施形態では、撮像処理中に撮像ユニット 50から入力される色計測用画像信号に対して第 1及び第 2補正を施すようにしているが、処理部 15での処理を変更することにより、撮像処理中には第 1及び第 2補正を行わず、その後、図 17に示すコード画像生成処理 (S100)において第 2補正を行い、図 19に示す 3次元色形状検出結果生成処理 (S1230)にお、て第 1補正を行うこともできる。

[0352] ここで、第 5実施形態の変形例として、コード画像生成処理にお!、て第 2補正を行ヽ、 3次元色形状検出結果生成処理において第 1補正を行う場合に、処理部 15で実行される処理について説明する。この場合、図 31に示す S121 Idの第 1補正処理が削除され、図 34に示す 3次元色形状検知結果生成処理の中で第 1補正が実行され、図 31 に示す S1213dの第 2補正処理が削除され、図 32に示すコード画像生成処理、及び、図 33に示す 2値化画像生成処理の中で第 2補正処理が実行される。

[0353] コード画像生成処理では、図 32に示すように、コード画像生成プログラム 36dの実行により、まず、 S101において、パターン番号 PNが 0であるパターン光が投影された被計測物が撮像された輝度画像が、輝度画像格納部 37cから代表パターン画像として読み込まれる。

[0354] 次に、 SlOlbにおいて、第 2補正処理が実行される。すなわち、 SlOlbにおいて第 2 補正プログラムの実行により、第 2補正 LUTが CPU35により参照されて、代表パターン画像を示す画像信号に対して第 2補正を施す処理が実行される。

[0355] こうして SlOlbの処理が終了した後は、第 1実施形態と同様に、 S102〜S106の処理が順次実行される力 S106において、パターン番号 PNの現在値が最大値 PNmaxよりも小さいと判断された場合には、 S107 (2値化画像を生成する処理）において第 2補正処理が実行される。なお、 S106において、パターン番号 PNの現在値が最大値 PNmax よりも大きいと判断された場合には、第 1実施形態と同様に S109 (コード画像を生成する処理）が実行されて、このコード画像生成処理が終了される。

[0356] 2値化画像生成処理では、図 33に示すように、 S111において輝度画像格納部 37cから画像が読み込まれ、その後、 SI libにおいて第 2補正処理が実行される。すなわち、 Slllbにおいて第 2補正プログラムの実行により、第 2補正 LUTが CPU35により参照されて、 S111にお、て読み込まれた画像を示す画像信号に対して第 2補正を施す処理が実行される。

[0357] こうして Slllbの処理が終了した後は、第 1実施形態と同様の 2値ィ匕処理 S112が実行されて、この 2値ィ匕処理が終了される。

[0358] また、 3次元色形状検知結果生成処理では、図 34に示すように、第 1実施形態における 3次元色形状検知結果生成処理と同様にして S5501〜S6001の処理が順次実行された後、 S6001aにおいて第 1補正処理が実行される。

[0359] すなわち、 S6001aにおいて第 1補正プログラムの実行により第 1補正 LUTが CPU35 により参照され、 S6001において抽出されたパターン光無画像の RGB値に対して第 1 補正を施す処理が実行される。

[0360] こうして、 S6001aの処理が終了した後は、第 1実施形態と同様にして S6002〜S6004 の処理が順次実行されて、この 3次元色形状検知結果生成処理が終了される。

[0361] 以上、本発明の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、前記 [発明の開示]の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

[0362] 例えば、変形例として、画像信号に対して階調補正を行う各補正回路、及び、各補正回路が出力する信号を増幅する各アンプ等を、本実施形態で用いたディジタル回路に替えて、半導体等により構成した非線形素子を用いたアナログ回路により構成し、アナログ信号処理により画像信号に対して階調補正を行ってもよい。

Claims

請求の範囲

[1] 被計測物を同一の撮像部により撮像して得られる画像信号に基づいて、前記被計測物の色と 3次元形状とを計測する 3次元色形状計測装置であって、

第 1階調特性に従った第 1補正により前記画像信号を色計測用画像信号に変換すると共に、第 2階調特性に従った第 2補正により前記画像信号を形状計測用画像信号に変換する補正部と、

前記形状計測用画像信号に基づ!、て、前記被計測物の 3次元形状を復元した 3次元モデルと、前記色計測用画像信号に基づ!、て復元した前記被計測物の色とを用いて前記被計測物の 3次元画像を復元する色形状抽出部と、

を有することを特徴とする 3次元色形状計測装置。

[2] 前記階調特性は、ガンマ特性であることを特徴とする請求項 1に記載の 3次元色形状計測装置。

[3] 前記被計測物に所定パターンのパターン光を投影するパターン光投影部を有し、前記補正部は、

前記パターン光投影部によるパターン光投影時に、前記撮像部が前記被計測物を撮像して出力する前記画像信号に前記第 2階調特性に従って第 2補正を行い、前記パターン光投影部によるパターン光非投影時に、前記撮像部が前記被計測物を撮像して出力する前記画像信号に前記第 1階調特性に従って第 1補正を行うことを特徴とする請求項 1に記載の 3次元色形状計測装置。

[4] 前記第 2階調特性は、線形特性であることを特徴とする請求項 1に記載の 3次元色形状計測装置。

[5] 前記第 2階調特性は、一部分を線形とし、その他の部分を非線形とした特性であることを特徴とする請求項 1に記載の 3次元色形状計測装置。

[6] 前記第 1補正及び前記第 2補正のうち少なくとも一方は、補正前後の情報を対応させたルックアップテーブルを利用して行うことを特徴とする請求項 1に記載の 3次元色形状計測装置。

[7] 前記画像信号は、複数種類の色信号と輝度信号とを含み、

前記補正部は、前記色信号毎に前記第 1補正及び前記第 2補正を行うことを特徴とする請求項 1に記載の 3次元色形状計測装置。

[8] 前記画像信号は、輝度信号よりなり、

前記補正部は、前記輝度信号を前記第 1補正及び前記第 2補正することを特徴とする請求項 1に記載の 3次元色形状計測装置。

[9] 前記補正部は、前記第 2補正を増幅器によって行うことを特徴とする請求項 4に記載の 3次元色形状計測装置。

[10] 前記撮像部と前記補正部とを撮像ユニットに収納し、前記色形状抽出部を主装置に収納した請求項 1に記載の 3次元色形状計測装置であって、

前記補正部は、

前記第 1階調特性に従った第 1補正により前記画像信号を前記色計測用画像信号に変換する第 1補正部と、

前記第 2階調特性に従った第 2補正により前記画像信号を前記形状計測用画像信号に変換する第 2補正部とを備え、

前記撮像ユニットは、前記色計測用画像信号と前記形状計測用画像信号とを出力することを特徴とする 3次元色形状計測装置。

[11] 前記撮像ユニットは、

前記第 1補正部及び前記第 2補正部の、ずれか一方を選択し、当該選択した補正部へ前記画像信号を出力する選択部を備えたことを特徴とする請求項 10に記載の 3 次元色形状計測装置。

[12] 前記主装置は、

前記撮像ユニットから出力される前記色計測用画像信号及び前記形状計測用画像信号のヽずれか一方を選択し、当該選択した画像信号を前記色形状抽出部へ出力する選択部を備えたことを特徴とする請求項 10に記載の 3次元色形状計測装置。

[13] 前記撮像部を撮像ユニットに収納し、前記補正部と前記色形状抽出部を主装置に収納した請求項 1に記載の 3次元色形状計測装置であって、

前記補正部は、

前記第 1階調特性に従った第 1補正により前記画像信号を前記色計測用画像信号に変換する第 1補正部と、前記第 2階調特性に従った第 2補正により前記画像信号を前記形状計測用画像信号に変換する第 2補正部と、

を備えたことを特徴とする 3次元色形状計測装置。

[14] 前記主装置は、

前記第 1補正部及び前記第 2補正部の 1、ずれか一方を選択し、前記撮像ユニット力出力される前記画像信号を前記選択した補正部へ出力する選択部を備えたことを特徴とする請求項 13に記載の 3次元色形状計測装置。

[15] 前記補正部は、

第 3階調特性に従った第 3補正により前記色計測用画像信号を前記形状計測用画像信号に変換する第 3補正部とを備え、

前記撮像部と前記第 1補正部とを撮像ユニットに収納し、前記第 3補正部と前記色形状抽出部とを主装置に収納したことを特徴とする請求項 1に記載の 3次元色形状計測装置。

[16] 前記第 3階調特性は、前記第 1階調特性との積を取ることによって線形特性となる階調特性であることを特徴とする請求項 15に記載の 3次元色形状計測装置。