WO2005031253A1

WO2005031253A1 - ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム

Info

Publication number: WO2005031253A1
Application number: PCT/JP2004/014167
Authority: WO
Inventors: Hiroyuki Sasaki
Original assignee: Brother Kogyo Kabushiki Kaisha
Priority date: 2003-09-29
Filing date: 2004-09-28
Publication date: 2005-04-07
Also published as: US7391522B2; US20060192082A1

Abstract

　３次元形状検出手段であって、パターン光を投光する投光手段と、パターン光が投光される状態における対象物体のパターン光投光画像を撮像する撮像手段と、撮像手段によって撮像されたパターン光投光画像に基づき、対象物体に投光されたパターン光の位置を抽出するパターン光位置抽出手段と、パターン光位置抽出手段で抽出されたパターン光の位置に基づき、対象物体の３次元形状を算出する３次元形状算出手段と、撮像手段で撮像されたパターン光投光画像の色値データを記憶する記憶手段と、記憶手段に記憶された色値データに基づき、パターン光を構成する主な色相に対応する色相パラメータを画素単位で算出する色相パラメータ算出手段と、記憶手段に記憶された色値データに基づき、輝度パラメータを画素単位で算出する輝度パラメータ算出手段と、輝度パラメータ算出手段により算出される輝度パラメータと色相パラメータ算出手段により算出される色相パラメータとを用いて、パターン光投光画像内からパターン光を含む画素を検出するパターン光検出手段とを備える。パターン光位置抽出手段は、パターン光検出手段で検出されるパターン光を含む画素に基づいて、パターン光の位置を抽出する。

Description

明細書

3次元形状検出装置、撮像装置、及び、 3次元形状検出プログラム技術分野

[0001] 本発明は、パターン光を用いて対象物体の 3次元形状を検出する 3次元形状検出装置、撮像装置、及び、 3次元形状検出プログラムに関する。

背景技術

[0002] 従来より、対象物体としてホワイトボードや書籍等を撮像し、その撮像画像から対象物体の 3次元形状を検出することで、ホワイトボードや書籍等を、その正面に対して斜め方向となる位置力撮像したとしても、あた力も正面力撮像したように、その撮像画像を補正する補正手段を備えた撮像装置が知られている。例えば、特開平 9 2 89611号公報 (以下、文献 1と記す)の図 1等には、そのような補正手段を備えた可搬型のデジタルカメラが開示されてヽる。

[0003] 特許 3282331号公報 (以下、文献 2と記す)の第 10段落、図 3等には、上述した補正手段に必要なパラメータとしての対象物体の 3次元形状を検出する技術が開示されている。より詳細には、文献 2には、据え置き型の 3次元形状測定装置が開示されており、この装置は、スリット光が投光された状態の対象物体を撮像したスリット光投光時画像と、スリット光が投光されて、な、状態の対象物体を撮像したスリット光非投光時画像との減算を行うことでスリット光を抽出し、その抽出したスリット光に基づいて対象物体の 3次元形状を検出する。

発明の開示

[0004] 上述した 3次元形状測定装置は据え置き型で、撮像時の自由度が制限され不便であるため、 3次元形状測定装置は可搬型であることが望ましい。し力しながら、 3次元形状測定装置を可搬型とした場合には、「手ぶれ」によってスリット光投光時画像の撮像位置と、スリット光非投光時画像の撮像位置とがずれる場合がある。このような場合には、当然にスリット光投光時画像とスリット光非投光時画像との間にもズレが生じ、スリット光投光時画像とスリット光非投光時画像との減算を行ったとしても、正確にスリット光を抽出できな、と、う問題点があった。 [0005] 本発明は、上述した問題を解決するためになされたものである。すなわち、本発明は、パターン光が投光された状態の対象物体を撮像したパターン光投光画像カもパターン光を高精度で検出することができる 3次元形状検出装置、撮像装置、及び、 3 次元形状検出プログラムを提供することを目的としている。

[0006] 上記目的を達成する為に、本発明の一つの側面によって提供されるのは、 3次元形状検出装置であって、パターン光を投光する投光手段と、前記パターン光が投光される状態における対象物体のパターン光投光画像を撮像する撮像手段と、前記撮像手段によって撮像されたパターン光投光画像に基づき、対象物体に投光されたパターン光の位置を抽出するパターン光位置抽出手段と、前記パターン光位置抽出手段で抽出されたパターン光の位置に基づき、対象物体の 3次元形状を算出する 3次元形状算出手段とを備える。 3次元形状検出装置は、更に、前記撮像手段で撮像されたパターン光投光画像の色値データを記憶する記憶手段と、前記記憶手段に記憶された色値データに基づき、前記パターン光を構成する主な色相に対応する色相パラメータを画素単位で算出する色相パラメータ算出手段と、前記記憶手段に記憶された色値データに基づき、輝度パラメータを画素単位で算出する輝度パラメータ算出手段と、前記輝度パラメータ算出手段により算出される前記輝度パラメータと前記色相パラメータ算出手段により算出される前記色相パラメータとを用いて、前記バタ一ン光投光画像内からパターン光を含む画素を検出するパターン光検出手段とを備える。パターン光位置抽出手段は、パターン光検出手段で検出されるパターン光を含む画素に基づいて、パターン光の位置を抽出する。

[0007] このような構成によれば、一般照明環境下で撮像された画像においてもパターン光を含む画素と他の画素との差異が明確となり、パターン光を含む画素を高精度に検出できる。それによつて、パターン光の位置を高精度に抽出することが可能になる。

[0008] また、パターン光を含む画素は、パターン光を構成する主な色相に対応する色相ノラメータと輝度パラメータとに基づき求められるので、パターン光を含む画素が、たとえ彩度が低、照明反射部分や輝度が低、パターン光と近、色で印刷された印刷部に含まれていたとしても、ノターン光を含む画素と他の画素との差異が明確となり、高精度にパターン光を含む画素を検出できる。その結果、パターン光の位置を高精度に抽出することが可能になる。

[0009] 上記目的を達成する為に、本発明の別の側面によって提供されるのは、 3次元形状検出装置であって、パターン光を投光する投光手段と、前記パターン光が投光される状態における対象物体のパターン光投光画像を撮像することに加え、前記バタ一ン光投光画像に対応した、前記パターン光が投光されていない状態における対象物体のパターン光非投光画像をも撮像するよう構成された撮像手段と、前記撮像手段によって撮像されたパターン光投光画像に基づき、対象物体に投光されたパターン光の位置を抽出するパターン光位置抽出手段と、前記パターン光位置抽出手段で抽出されたパターン光の位置に基づき、対象物体の 3次元形状を算出する 3次元形状算出手段とを備える。 3次元形状検出装置は、更に、パターン光投光画像内からパターン光を含む画素を検出するパターン光検出手段と、パターン光検出手段によって検出されるパターン光を含む画素に対応する画素が、パターン光非投光画像内に存在するか否かを検索する検索手段とを備える。ノターン光位置抽出手段は、パターン光検出手段によって検出される画素に対応する画素が、前記検索手段によつて前記パターン光非投光画像内から検索されない場合に、前記パターン光検出手段によって検出される画素に基づいて前記パターン光の位置を抽出する。

[0010] この構成によれば、パターン光検出手段によって、パターン光投光画像に基づ、てパターン光を含む画素として検出される場合であっても、それらの画素に対応する画素がパターン光非投光画像内にお 1、て検索される場合には、パターン光の位置の抽出は行われない（すなわち、ノターン光としての抽出の対象とされない)。一方、パターン光を含む画素がパターン光投光画像からは検出され、それに対応する画素がノターン光非投光画像からは検索されな、ような場合に、パターン光の位置の抽出が行われる。したがって、高精度にパターン光の位置を抽出することができる。

[0011] 上記目的を達成する為に、本発明の一つの側面によって提供されるのは、 3次元形状検プログラムであって、パターン光が投光されている状態における対象物体のパターン光投光画像を撮像する撮像手段によって撮像されたパターン光投光画像に基づき、対象物体に投光されたパターン光の位置を抽出するパターン光位置抽出ステップと、前記パターン光位置抽出ステップで抽出されるパターン光の位置に基づき、対象物体の 3次元形状を算出する 3次元形状算出ステップとを備える。更に、この 3次元形状検出プログラムは、前記パターン光投光画像の色値データを記憶する記憶ステップと、前記記憶ステップにおいて記憶された色値データに基づき、前記パタ一ン光を構成する主な色相に対応する色相パラメータを画素単位で算出する色相パラメータ算出ステップと、前記記憶ステップにお!/、て記憶された色値データに基づき輝度パラメータを画素単位で算出する輝度パラメータ算出ステップと、前記輝度パラメータ算出ステップで算出される輝度パラメータと、前記色相パラメータ算出ステップで算出される色相パラメータとを用いて、前記パターン光投光画像内からパターン光を含む画素を検出するパターン光検出ステップとを備える。パターン光位置抽出ステップでは、前記パターン光検出ステップで検出されるパターン光を含む画素に基づ V、て前記パターン光の位置が抽出される。

[0012] このような構成によれば、一般照明環境下で撮像された画像においてもパターン光を含む画素と他の画素との差異が明確となり、パターン光を含む画素を高精度に検出でき、それによつて、パターン光の軌跡を高精度に抽出することが可能になる。

[0013] また、パターン光を含む画素は、パターン光を構成する主な色相に対応する色相ノラメータと輝度パラメータとに基づき求められるので、パターン光を含む画素が、たとえ色相パラメータが低、照明反射部分や輝度パラメータが低、パターン光と近ヽ色で印刷された印刷部に含まれていたとしても、パターン光を含む画素と他の画素との差異が明確となり、高精度にパターン光を含む画素を検出できる。その結果、バターン光の位置を高精度に抽出することが可能になる。

図面の簡単な説明

[0014] [図 1]図 1 (a)は撮像装置の外観斜視図であり、図 1 (b)は撮像装置 1の概略断面図である。

[図 2]スリット光投光ユニットの構成を示す図である。

[図 3]図 3 (a)および図 3 (b)は、スリット光の角度幅を説明するための図である。

[図 4]撮像装置の電気的構成を示したブロック図である。

[図 5]プロセッサでの処理手順を示すフローチャートである。

[図 6]図 6 (a)及び図 6 (b)は、スリット光軌跡抽出処理の原理を説明するための図である。

[図 7]スリット光軌跡抽出処理を示すフローチャートである。

[図 8]スリット光重心計算処理を示すフローチャートである。

[図 9]図 9 (a)は、スリット光が照射されている状態の原稿 Pの撮像画像を示し、図 9 (b )は、スリット光検出位置 cXにおける周辺画素を模式的に示した拡大図である。

[図 10]図 10 (a)および図 10 (b)は、スリット光有画像を説明するための図である。

[図 11]図 11 (a)および図 11 (b)は、 3次元空間位置算出方法を説明するための図である。

[図 12]図 12 (a)、図 12 (b)および図 12 (c)は、原稿姿勢演算の際の座標系を説明するための図である。

[図 13]平面変換処理を示すフローチャートである。

[図 14]第 2実施形態の撮像装置の電気的構成を示したブロック図である。

[図 15]第 2実施形態のスリット光軌跡抽出処理を示すフローチャートである。

[図 16]スリット光無画像内において対応画素を探索する際の探索範囲を設定する方法を説明するための図である。

[図 17]手ぶれ量を考慮してスリット光無画像内の探索範囲を設定する方法を説明するための図である。

符号の説明

1 撮像装置 (3次元形状検出装置を含む）

20 スリット光投光ユニット (パターン光投光手段）

32 CCD画像センサ (撮像手段）

55 メモリカード (記憶手段）

421 カメラ制御プログラム (撮像手段）

422 スリット光軌跡抽出プログラム (パターン光軌跡抽出手段色相パラメータ算出手段輝度パラメータ算出手段強調パラメータ算出手段パターン光検出手段） 423 三角測量演算プログラム (パターン光軌跡抽出手段）

424 原稿姿勢演算プログラム (3次元形状算出手段）

425 平面変換プログラム (平面画像補正手段） 426 輝度分散演算プログラム

427 相互相関係数演算プログラム

428 対応画素検索プログラム (検索手段）

431 スリット光有画像格納部 (記憶手段）

432 スリット光無画像格納部

発明を実施するための最良の形態

[0016] 以下、本発明の好ましい実施形態について、添付図面を参照して説明する。図 1 (a )は本発明の実施形態による撮像装置 1の外観斜視図であり、図 1 (b)は撮像装置 1 の概略断面図である。尚、本発明の実施形態としての 3次元形状検出装置は撮像装置 1に含まれるものである。

[0017] 撮像装置 1は、方形箱形の本体ケース 10と、本体ケース 10の正面に設けられた結像レンズ 31と、結像レンズ 31の後方 (撮像装置 1の内部側）に設けられた CCD画像センサ 32と、結像レンズ 31の下方に設けられたスリット光投光ユニット 20とを有する。さらに、撮像装置 1は、本体ケース 10に内蔵されたプロセッサ 40と、本体ケース 10の上部に設けられたレリーズボタン 52及びモード切替スィッチ 59と、本体ケース 10に内蔵されるメモリカード 55とを有する。これらの構成品は図 4に示すように、それぞれ信号線により繋がっている。

[0018] さらに、撮像装置 1には、撮像装置 1による撮像範囲を使用者が決定する際に利用するものとして、本体ケース 10の背面に設けられた LCD (Liquid Crystal Displa y) 51と、本体ケース 10の背面力も前面を通して配設されるファインダ 53とが装備されている。

[0019] 結像レンズ 31は、複数枚のレンズで構成されている。撮像装置 1はオートフォー力ス機能を有し、自動で焦点距離及び絞りを調整することにより、外部力ゝらの光が CCD 画像センサ 32上に結像されるよう撮像レンズ 31を駆動する。

[0020] CCD画像センサ 32は、 CCD (Charge Coupled Device)素子などの光電変換素子がマトリクス状に配列されて構成されている。 CCD画像センサ 32は、表面に結像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ 40へ出力する。尚、 CCD素子一つ分のデータが画像を形成する画素の画素データであり、画像データは CCD素子の数の画素データで構成される。

[0021] スリット光投光ユニット 20については、図 2及び図 3を参照して説明する。図 2は、スリット光投光ユニット 20の構成を示す図である。図 3は、スリット光の角度幅を説明するための図である。スリット光投光ユニット 20は、レーザーダイオード 21と、コリメ一トレンズ 22と、アパーチャ 23と、透明平板 24と、シリンドリカルレンズ 25と、反射ミラー 26 と、ロッドレンズ 27とを有する。

[0022] レーザーダイオード 21は、赤色レーザー光線を放射する。プロセッサ 40からの指令に応じて、レーザーダイオード 21におけるレーザー光線の放射及び停止が切り換えられる。レーザーダイオード 21の出力は、最大出力定格 (例えば 5mW)に対して、レーザービームの広がり角の個体ばらつきを考慮して、アパーチャ 23を通った箇所で一定の出力（例えば lmW)を得られるように定格出力が調整されている。

[0023] コリメートレンズ 22は、レーザーダイオード 21からのレーザー光線を、スリット光投光ユニット 20からの基準距離 VP (例えば 330mm)に焦点を結ぶように集光する。

[0024] アパーチャ 23は、矩形に開口された開口部を有する板で構成され、コリメートレンズ 22からのレーザー光線を開口部で透過して矩形に整形する。

[0025] 透明平板 24は、無垢のガラス材料などの透明な平板で構成され、裏面には ARコート（無反射コーティング）が施されている。透明平板 24は、アパーチャ 23からのレーザ一光線の光軸に直交する面に対して、本体ケース 10の正面側に所定角度 |8 (例えば 33度)傾斜して配設されている。透明平板 24は、アパーチャ 23から入射するレ一ザ一光線のパワーの約 5% (約 50 μ W)を表面で反射して、約 95% (約 950 μ W) を透過する。尚、透明平板 24によりレーザー光線が反射される方向（撮像装置 1の前方へ水平面に対して 33度上向きの方向）を第 2の方向と呼ぶ。

[0026] 透明平板 24の裏面に ARコートを施すことにより、透明平板 24内に入射したレーザ一光線の透明平板 24から出射する際の反射が少なくなり、透明平板 24内でのレーザ一光線の損失が少なくなるようになつている。また、透明平板 24で反射するレーザ一光線の割合を、透明平板 24の材質の屈折率より決まる表面反射率 5%として設定することにより、通常のハーフミラーで実現する場合に必要な、反射面に金属蒸着膜を形成するプロセスを省略することができる。 [0027] 反射ミラー 26は、鏡など、レーザー光線を全反射する部材で構成される。反射ミラ一 26は、透明平板 24を透過したレーザー光線の下流に、本体ケース 10の正面側に 45度傾斜して配設され、レーザー光線を全反射して光路の向きを 90度変える。反射ミラー 26によりレーザー光線が反射される方向（撮像装置 1の前方へ水平面に対して 0度の向き）を第 1の方向と呼ぶ。

[0028] ロッドレンズ 27は、正の焦点距離が短い円筒形状のレンズで構成される。ロッドレンズ 27は、反射ミラー 26で反射されるレーザー光線の下流に、円筒形状の軸方向が垂直方向になるように配設されている。ロッドレンズ 27は、焦点距離が短い。したがつて、図 3 (a)に示すように、ロッドレンズ 27を通過したレーザ光線は、ロッドレンズ 27近傍の焦点位置から直ちに広がり始め、所定の広がり角度 ε (例えば 48度）のスリット光として第 1の方向へ出射される。尚、ロッドレンズ 27から出射されるスリット光を第 1 スリット光 71と呼ぶ。

[0029] シリンドリカルレンズ 25は、負の焦点距離となるように一方向が凹形状となったレンズである。シリンドリカルレンズ 25は、透明平板 24で反射されたレーザー光線の下流に、第 2の方向に対してレンズ面が直交するように配設さている。図 3 (b)に示すように、シリンドリカルレンズ 25は、透明平板 24から入射されるレーザー光線を、広がり角度 κで広がるスリット光として出射する。尚、シリンドリカルレンズ 25から出射されるスリット光を第 2スリット光 72と呼ぶ。シルンドリカルレンズ 25による広がり角度 κは、第 1スリット光 71の広がり角度 εと第 2スリット光 72の広がり角度 κの比が、透明平板 24によりレーザー光線が分割される際のパワーの比と同等となるようになつている。つまり、第 2スリット光 72の広がり角度 κは第 1スリット光の広がり角度 εの 5% (2. 4 度）となっている。

[0030] 以上述べた構成により、スリット光投光ユニット 20は、プロセッサ 40からの指令に応じて、レーザーダイオード 21からレーザー光線を放射して、第 1の方向へ第 1スリット光 71を、及び、第 2の方向へ第 2スリット光 72を、本体ケース 10の結像レンズ 31の下方に設けられた窓 29から出射する。なお、レーザーダイオード 21からは赤色レーザ一光線が放射されるため、その赤色レーザー光線力も生成される第 1スリット光 71と第 2スリット光 72とは、主に赤値 Rから構成されて、る。 [0031] 上述したように構成されるスリット光投光ユニット 20によれば、レーザダイオード 21 力も出力されるパワーのうち、透明平板 24で分割される第 1スリット光 71のパワーは 9 5%に対し、第 2スリット光 72のパワーは約 5%と少ないが、角度幅あたりのパワーで見ると、広がり角力 8度の第 1スリット光 71の単位角度あたりのパワーが約 20 WZ 度で、広がり角が 2. 4度の第 2スリット光 72の単位角度あたりのパワーも約 21 /z WZ 度であり、ほぼ変わらない。そして、原稿 Pが基準距離 VPである 330mmの位置にある白色の用紙の場合、第 1スリット光 71及び第 2スリット光 72による照度は約 1260ルタスとなり、一般的な室内の明るさである 500— 1000ルクスの場所でも、スリット光の軌跡と原稿 Pとの輝度差が十分ある。したがって、後述する差分抽出プログラム 422 にてスリット光の軌跡画像を確実に抽出することができる。

[0032] 再び、図 1に戻り説明を続ける。レリーズボタン 52は、押しボタン式のスィッチで構成され、プロセッサ 40に接続されている。プロセッサ 40にて使用者によるレリーズボタン 52の押し下げ操作が検知される。

[0033] モード切替スィッチ 59は、 2つの位置に切換え可能なスライドスィッチなどで構成される。モード切替スィッチ 59における一方のスィッチ位置は「ノーマルモード」として、他方のスィッチ位置は「補正撮像モード」として検知されるようにプロセッサ 40にて割り当てられている。「ノーマルモード」は、撮像した原稿 Pのそのものを画像データとするモードであり、「補正撮像モード」は、原稿 Pを斜め方向から撮像した場合に、その画像データを原稿 Pを正面から撮像したような補正された画像データとするモードである。

[0034] メモリカード 55は、不揮発性で書き換え可能なメモリで構成され、本体ケース 10に着脱可能である。

[0035] LCD51は、画像を表示する液晶ディスプレイなどで構成され、プロセッサ 40からの画像信号を受けて画像を表示する。プロセッサ 40から LCD51に対しては、状況に応じて CCD画像センサ 32で受光したリアルタイムの画像や、メモリカード 55に記憶された画像や、装置の設定内容の文字等を表示するための画像信号が送られて来る

[0036] ファインダ 53は、光学レンズで構成される。ファインダ 53は、使用者が撮像装置 1の後ろ側力もファインダ 53をのぞき込んだ時に、結像レンズ 31が CCD画像センサ 32 上に結像する範囲とほぼ一致する範囲が見えるように構成されている。

[0037] 図 4は、撮像装置 1の電気的構成を示したブロック図である。撮像装置 1に搭載されたプロセッサ 40は、 CPU41、 ROM42、 RAM43を備えている。

[0038] CPU41は、 ROM42に記憶されたプログラムによる処理に応じて、 RAM43を利用して、レリーズボタン 52の押し下げ操作の検知、 CCD画像センサ 32から画像データの取り込み、画像データのメモリカード 55への書き込み、モード切替スィッチ 59の状態検出、スリット光投光ユニット 20によるスリット光の出射切り換え等の各種処理を行

[0039] 図 4に示すように、 ROM42には、カメラ制御プログラム 421と、スリット光軌跡抽出プログラム 422と、三角測量演算プログラム 423と、原稿姿勢演算プログラム 424と、平面変換プログラム 425とが格納されて、る。

[0040] カメラ制御プログラム 421とは、図 5に示すフローチャートの処理 (詳細は後述する。

)を含む撮像装置 1全体の制御に関するプログラムである。スリット光軌跡抽出プログラム 422は、スリット光を投光した原稿 Pの画像からスリット光の軌跡を抽出するプログラムである。三角測量演算プログラム 423は、スリット光軌跡抽出プログラム 422で抽出されたスリット光の軌跡の各画素に対する 3次元空間位置を演算するためのプログラムである。原稿姿勢演算プログラム 424は、第 1スリット光の軌跡 71a及び第 2スリツト光の軌跡 72bの 3次元空間位置から、原稿 Pの 3次元形状を推定して求めるプログラムである。平面変換プログラム 425は、原稿 Pの位置及び姿勢が与えられて、スリツト光無画像格納部 432に格納された画像データを、原稿 Pの正面力も撮像したような画像に変換するためのプログラムである。

[0041] 図 4に示すように RAM43には様々な格納部が割り当てられている。すなわち、 RA M43には、記憶領域として、 CCD画像センサ 32からの画像データを RGB値で表現された色値データとして保存するためのスリット光有画像格納部 431と、スリット光無画像格納部 432とが割り当てられている。さら〖こ、 RAM43には、スリット光有画像の内で、探索範囲に含まれる各画素について、その赤値 R力緑値 Gと青値 Bとの平均を減算して求められる赤差分値 Rdと、輝度値 Yとを乗算して得られる値 (Rd'Y値)を保存するための検出対象画素値一時格納部 433が割り当てられている。さらに、 RA M43には、スリット光有画像の各ポイントの位置を演算した結果を保存するための三角測量演算結果格納部 434と、原稿 Pの位置及び姿勢の演算結果を保存するための原稿姿勢演算結果格納部 435とが割り当てられている。更に RAM43には、後述するスリット光重心位置計算処理において計算される重心位置を保存するためのスリット光軌跡情報格納部 436と、 CPU41での演算のために一時的にデータを記憶させるのに使用するためのワーキングエリア 437とが割り当てられている。

[0042] 次に、上述したように構成された撮像装置 1に関し、使用者によりレリーズボタン 52 が押されて力もの動作について図 5を参照しながら説明する。図 5は、撮像装置 1のプロセッサ 40での処理手順を示すフローチャートである。

[0043] 使用者によりレリーズボタン 52が押されると、まず、モード切替スィッチ 59のスィッチの位置を検知され、そのスィッチの位置が「補正撮像モード」の位置である力否かが判別される（S110)。判別の結果、「補正撮像モード」の位置にある場合には（S 110 ： Yes)、処理はステップ S 120に進む。ステップ S120では、スリット光投光ユニット 20 に対しレーザーダイオード 21の発光が指令され、第 1スリット光 71及び第 2スリット光 72が出射されると、 CCD画像センサ 32から RGB値で表現された画像データがスリツト光有画像として読み込まれる。さら〖こ、 S120では、読み込まれた画像データが RA M43のスリット光有画像格納部 431へ格納される。

[0044] スリット光有画像の画像データが読み込まれると（S120)、次に処理はステップ S13 0に進む。ステップ S130では、スリット光投光ユニット 20に対しレーザーダイオード 2 1の発光停止が指令され、第 1スリット光 71及び第 2スリット光 72が出射されなくなると、 CCD画像センサ 32から RGB値で表現された画像データがスリット光無画像として読み込まれる。さら〖こ、 S 130では、読み込まれた画像データが RAM43のスリット光無画像格納部 432へ格納される（S130)。

[0045] スリット光無画像の画像データが読み込まれると（S130)、処理はステップ S140に進む。ステップ S140では、スリット光軌跡抽出プログラム 422により、スリット光有画像格納部 431に読込まれたスリット光有画像の画像データ力もスリット光を抽出するスリット光軌跡抽出処理 (S140)が実行される。 [0046] ここで、図 6乃至図 9を参照して、スリット光軌跡抽出処理（S140)について詳細に説明する。スリット光軌跡抽出処理は、スリット光有画像においてスリット光を含む画素と、スリット光を含まない画素との差異を明確にして、スリット光有画像力もスリット光の軌跡を高精度で抽出するための処理である。

[0047] まず、図 6 (a)および図 6 (b)を参照して、その原理を説明する。図 6 (a)は、スリット光が照射されている状態の原稿 Pの撮像画像を示している。原稿 P上には、原稿の幅方向に複数列に並ぶ文字部分 Mと、矩形状に示した照明反射部分 Sと、円状に囲んで示す主の色成分として赤 (R)成分を持つ印刷部分 Iと、原稿 Pの幅方向に延びる第 1、第 2スリット光の軌跡 71a, 72aとが形成されている。原稿 Pの幅方向と直交する方向に延びる 1点鎖線はスリット光検出位置を示し、そのスリット光検出位置と第 1スリット光の軌跡 71aとの交点をスリット光検出画素 Kとする。

[0048] 図 6 (b)は、スリット光検出位置（図中の 1点鎖線参照）における所定パラメータ値を示すグラフであり、スリット光検出位置力も各グラフに向力つて真っ直ぐに延長線を引いた部分力そのスリット光検出位置の各所定パラメータ値を示している。つなわち、図 6 (b)の各グラフの縦軸上の位置は、図 6 (a)の図の縦方向の位置に対応して、る。所定パラメータとしてグラフ A1は赤値 R、グラフ A2は赤差分値 Rd、グラフ A3は輝度値 Y、グラフ Α4は赤差分値 Rdと輝度値 Υとの積値 Rd' Υを採用して、る。

[0049] 赤差分値 Rdは、赤値 R力ゝら緑値 Gと青値 Bとの平均を減算して算出される。即ち、この赤差分値 Rdによって、スリット光検出位置において、スリット光の主成分である R成分に対応する赤値 Rを他の成分 (G値、 B値)より強調させることができる。赤値 Rが緑値 G、青値 Bと近い値を有する画素は、赤差分値 Rd値が低ぐ逆に、赤値 Rが緑値 G 、青値 Bに比べて高い画素は、赤差分値 Rd値が高い値となる。

[0050] 輝度値 Yは、スリット光検出位置における各画素の輝度を示す。輝度値 Yは、 YCb Cr空間における Y値であり、 RGB空間から YCbCr空間へは以下の計算式で変換される。

Y = 0. 2989水 R+0. 5866水 G + 0. 1145水 B

Cb=-0. 1687水 R—O. 3312水 G + 0. 5000水 B

Cr= 0. 5000 *R-0. 4183水 G— 0. 0816水 B グラフ Alからは、スリット光検出画素 K、 R成分を持つ印刷部分 I、照明反射部分 S では赤値 Rが高いことが分かる。ここで、赤値 Rの高低を基準に、スリット光検出画素 Κを検出しょうとすると、スリット光検出画素 Κが、 R成分を持つ印刷部分 Iや照明反射部分 Sに含まれている場合には、赤値 Rについて両者に明確な差異がないので、 R 成分を持つ印刷部分 Iや照明反射部分 Sからスリット光検出画素 Κを正確に検出できない。

[0051] グラフ Α2からは、照明反射部分 Sは、スリット光検出画素 K、 R成分を持つ印刷部分 Iより赤差分値 Rdが低いことが分かる。よって、赤差分値 Rdの高低を基準に、スリツト光検出画素 Kを検出すれば、スリット光検出画素 Kが照明反射部分 Sに含まれていたとしても、赤差分値 Rdに関する両者の差異は明確なので照明反射部分 Sからスリット光検出画素 Kを正確に検出することは可能である。しかし、スリット光検出画素 K が R成分を持つ印刷部分 Iに含まれている場合には、赤差分値 Rdに関して両者に明確な差異がないので、 R成分を持つ印刷部分 Iからスリット光検出画素 Kを正確に検出できない。

[0052] グラフ A3からは、 R成分を持つ印刷部分 Iが、スリット光検出画素 K、照明反射部分 Sより輝度値 Υが低いことが分かる。よって、輝度値 Υの高低を基準に、スリット光検出画素 Κを検出すれば、たとえスリット光検出画素 Κが R成分を持つ印刷部分 Iに含まれていたとしても、輝度値 Υに関する両者の差異は明確なので、 R成分を持つ印刷部分からスリット光検出画素 Κを検出することは可能である。しかし、スリット光検出画素が照明反射部分 Sに含まれている場合には、輝度値 Υに関して両者に明確な差異がないので、照明反射部分 Sからスリット光検出画素 Κを正確に検出できない。

[0053] そこで、グラフ Α2およびグラフ A3に示す通り、スリット光検出画素 Κは、赤差分値 R dと輝度値 Υとの両方が、照明反射部分 Sや R成分を持つ印刷部分 Iよりも高ヽ値を有していることに着目し、その赤差分値 Rdと輝度値 Yとの積値 Rd'Y (以下 Rd'Y値)の高低を基準に、スリット光を含む画素を検出することとする。

[0054] グラフ A4に示す通り、スリット光検出位置画素 Kの Rd'Y値は、照明反射部分 Sの R d'Y値や R成分を持つ印刷部分 Iの Rd'Y値よりも高い。したがって、たとえスリット光検出画素 Kが照明反射部分 Sや R成分を持つ印刷部分 Iに含まれていたとしても、 R d'Y値に関する両者の差異は明確なので、照明反射部分 Sや R成分を持つ印刷部分 Iからスリット光検出画素 Kを正確に検出することができる。

[0055] 次に、スリット光軌跡抽出処理の具体的な処理の流れを図 7乃至図 9を参照して説明する。図 7はスリット光軌跡抽出処理のフローチャートである。図 8は、スリット光軌跡抽出処理に含まれるスリット光重心計算処理のフローチャートである。図 9 (a)は、スリット光が照射されている状態の原稿 Pの撮像画像を示している。図 9 (b)は、スリツト光検出位置 cXにおける周辺画素を模式的に示した拡大図である。尚、本実施形態では、撮像画像画素数を幅 W= 1200 (pixel)、高さ H= 1600 (pixel)としている。

[0056] スリット光軌跡抽出処理 (S 140)では、まず、第 2スリット光の軌跡 72aを抽出する探索範囲を指定する探索パラメータを設定する (S701)。この探索パラメータは、図 9に示すように第 2スリット光の軌跡 72a上の ccdx方向における cX2と、 ccdy方向の yMi n2から yMax2の範囲とで設定される。

[0057] 具体的には、 cX2の値としては、撮像画像の幅 Wの中心位置とし、 cX2 = 600の 1 点が設定され、 yMin2から yMax2の範囲としては、撮像画像の上半分の領域である 0から 799の範囲で設定される。

[0058] ccdx方向に関して cX2を 1点に設定するのは、本実施形態では、第 1スリット光の軌跡 71aにより湾曲 φを算出するため、第 2スリット光の軌跡 72aとしては、傾き Θ (実空間において X軸を中心とした回転角）を求めるのに用いる ccdy軸上の軌跡座標のみを抽出すれば良いためである。

[0059] 探索パラメータを設定すると (S701)、次に、後述するスリット光重心位置計算処理が実行される（S702)。そのスリット光重心位置計算処理 (S702)で算出される重心位置は、スリット光軌跡情報格納部 436に記憶される（S703)。

[0060] 次に、第 1スリット光の軌跡 71aを抽出する探索範囲を指定する探索パラメータを設定する（S704)。この探索パラメータは、 ccdy方向の yMinlから yMaxlの範囲で設定される。

[0061] 具体的には、撮像画像の下半分の領域の内、 950から 1599の範囲で設定される。

尚、下半分の全部の領域を設定しないのは、本実施形態では、第 1スリット光 71は結像レンズ 31の光軸と平行で、且つ、結像レンズ 31より下力も照射されるので、第 1スリット光 71の存在する範囲は、原稿 Pを撮像する場合の使用に耐え得る原稿 Pと結像レンズ 31との距離力逆算できるため、探索範囲を予め絞りこみ、高速に処理させるためである。

[0062] また、本実施形態では、第 1スリット光の軌跡 71aについては、撮像画像の幅 W方向に所定間隔毎の画素を順次検出して、くため、 ccdx方向に関する探索パラメータは設定されず、第 1スリット光の軌跡 71aを検出する位置を示す変数 cXの初期値として 0、 cXの最大値 cXMaxとして幅 W方向の画素数 1、検出間隔 dxとして 20 (pixel )が設定される。 cXの初期値力検出間隔 dx毎に最大値 cXMaxまで順次検出が行われる。尚、そのための処理が S705から S709までの繰り返し処理に該当する。

[0063] 探索パラメータが設定されると（S704)、変数 cXが初期化 (cX=0)される (S705) 。次に、変数 cXが最大値 cXMaxより小さいか否かが判定される（S706)。判定の結果、変数 cXが最大値 cXMaxより小さいと判定されれば（S706 :Yes)、その cXに関し後述するスリット光重心計算処理 (S707)が実行され、そのスリット光重心位置計算処理 (S707)で算出される重心位置が、スリット光軌跡情報格納部 436へ記憶する（ S708)。

[0064] 次に、変数 cXに検出間隔 dxを加算することにより検出位置が更新され (S709)、この S706から S709までの処理が繰り返される。そして、変数 cXが最大値 cXMaxより大きくなつた時点で (S706 : No)、当該処理を終了する。

[0065] 次に、図 8のフローチャートを参照して、上述したスリット光重心計算処理 (S702 ' S 707)について説明する。スリット光重心計算処理は、スリット光を含む画素として検出される画素の位置と、スリット光の輝度中心位置とは、スリット光を構成するレーザ一光の特性、撮像対象物の表面の細かな凹凸により必ずしも一致ないため、検出される画素を中心とする一定の範囲内で Rd'Y値の重心位置を求め、その重心位置をスリット光を含む位置とするための処理である。尚、本実施形態では、その一定の範囲内として ccdx方向〖こ xRange = 2, ccdy方向〖こ gRange = 5が設定されて!、る（図 9 (b)参照)。

[0066] スリット光重心計算処理では、まず、与えられた変数 cX(cX2についても同様）について、 ccdx方向の探索範囲を示す xMinと xMaxとを設定する（S801)。 xMinは、変数 cXが最小値 cXmin ( =初期値 = 0)の場合には、最小値 cXmin ( =初期値 = 0 )に設定され、それ以外の場合には、 cXから xRangeを減算した値（ = cX— xRange) に設定される。 xMaxは、変数 cXが最大値 cXmaxの場合には、その最大値 cXmax に設定され、それ以外の場合には、 cXに xRangeを加算した値（ = cX+xRange)に設定される。

[0067] ccdx方向の探索範囲が設定されると（S801)、 xMin≤ccdx≤xMaxと yMin≤cc dy≤yMaxとの範囲における各画素について赤差分値 Rdと輝度値 Yとが計算される (S802, S803)。次に、その各画素について計算された赤差分値 Rdと輝度値 Yとを乗算することにより、各画素について Rd'Y値が計算され、その結果が検出対象画素値一時格納部 433に記憶される（S804)。

[0068] 次に、与えられた変数 cXの ±xRangeの範囲における検出位置を示す変数 ccXが初期化され（ccX=xMin) (S805)、その変数 ccXが探索範囲（ccX≤xMax)を超えて、な、か否かが判定される（S806)。変数 ccXが探索範囲を超えて!/、なければ ( S806 :Yes)、更に、変数 ccXが画像範囲（ccX≥0、 ccX< cMAX)を超えていないか否かが判定される（S807)。変数 ccXが画像範囲をも超えていなければ（S807 : Y es)、検出対象画素値一時格納部 433に記憶されている探索範囲内の各画素の Rd •Y値の中から、最大値を有しており、且つ、予め設定した閾値 vThを越えている画素が検索される（S808)。

[0069] 上述した通りに、最大の Rd'Y値を有する画素は、探索範囲内でスリット光を含む画素である可能性が極めて高いためである。また、その画素が閾値 vThを超えていることを条件とするのは、たとえ最大の Rd'Y値を有する画素であっても、閾値 vThを越えてヽなヽ画素は、撮像対象物から外れた遠方の物体にスリット光が当たって!/ヽる画素 (この場合、非常に弱い輝度を持っている）である可能性があり、その画素はスリット光を含む画素の対象候補力も外すことで、より高精度にスリット光を含む画素を検出するためである。

[0070] 探索範囲内で最大の Rd'Y値を有し、且つ、閾値 vThを越える画素を検索したら（ S808)、その検索された画素の画素位置士 gRangeの範囲で、 Rd'Y値についての重心位置が計算される（S809)。次に、検出位置は更新され (S810)、上述した S80 6から SS810までの処理が繰り返される。

[0071] こうして、 cXの ±xRangeの範囲における変数 ccXの各位置での重心の計算が終了したと判断された場合には（S806 : No)、 cXの ±xRangeの範囲における各 ccX で求めた重心位置と、 Rd'Y値とを用いて更に、 ccdy方向についての重心位置を求め、それを cXにおけるスリット光軌跡の ccdy値 (Yg)とし（S811)、当該処理を終了する。

[0072] 尚、重心位置 Ygは下記の計算式で算出される。ただし、下記計算式における (Rd

* Y)は、 YrdyMax—gRange≤y≤YrdyMax+gRangeにおける Rd'Y値を示す。

[0073] [数 1]

1 YrdyMax+gRange

∑ (Rd * Y)

2 * gRange + 1 y=rdyMax-_gRange 再び、図 5に戻り、説明を続ける。上述した通りにスリット光軌跡抽出処理 (S 140)が終了すると、次に収差補正処理 (S150)が実行される。収差補正処理は、光軸からの角度に依存する画像の歪みを補正するための処理である。

[0074] 収差補正処理 (S150)が終了すると、三角測量演算処理 (S160)が実行される。この三角測量演算処理は、三角測量演算プログラム 423により、第 1スリット光の軌跡 7 la及び第 2スリット光の軌跡 72aの画素毎の 3次元空間位置を演算する処理である。

[0075] この三角測量演算処理では、検出対象画素値一時格納部 433に読込まれた画像データに基づいて、第 1スリット光の軌跡 71a及び第 2スリット光の軌跡 72aの縦方向のピークを重心計算によって画像データの横方向座標毎に求め、このピーク抽出座標に対する 3次元空間位置を次のようにして求める。

[0076] 図 10 (a)および図 10 (b)は、スリット光有画像を説明するための図である。図 11 (a) および図 11 (b)は、スリット光の 3次元空間位置を算出する方法を説明するための図である。ここで、図 11 (a)に示すように撮像される横方向に湾曲した原稿 Pに対する撮像装置 1の座標系を、結像レンズ 31の光軸方向を Z軸として、撮像装置 1から基準距離 VP離れた位置を X, Y, Z軸の原点位置として、撮像装置 1に対して水平方向を X軸、垂直方向を Y軸とする。

[0077] CCD画像センサ 32の X軸方向の画素数を ResX、 Y軸方向の画素数を ResYと呼び、 X— Y平面に、結像レンズ 31を通して CCD画像センサ 32を投影した位置の上端を Yftop、下端を Yfbottom、左端を Xfstart、右端を Xfendと呼ぶ。また、結像レンズ 31の光軸から、スリット光投光ユニット 20から出射される第 1スリット光 71の光軸までの距離を D、第 1スリット光 71が X-Y平面に交差する Y軸方向の位置を lasl、第 2 スリット光 72が X— Y平面に交差する Y軸方向の位置を las2とする。

[0078] このとき、第 1スリット光の軌跡 71aの画像の画素の 1つに注目した注目点 1の CCD 画像センサ 32上の座標（ccdxl, ccdyl)に対応する 3次元空間位置 (XI, Yl, Z1 )を、 CCD画像センサ 32の結像面上の点と、第 1スリット光 71及び第 2スリット光 72の出射点と、 X— Y平面に交差する点とで形成される三角形について立てた次の 5つの連立方程式の解から導き出す。

(1) Yl =- ( (lasl +D) /VP) Zl +lasl

( 2) Y 1 =— (Ytarget/VP) Z1 + Ytarget

(3) XI = - (Xtarget/ VP) Z 1 + Xtarget

(4) Xtarget = Xf start + (ccdxl /ResX) X (Xfend— Xf start)

(5)

X (Yftop— Yfbottom)

尚、本実施形態では、第 1スリット光 71が Z軸に対して平行のため lasl =— Dであり、 Yl =— Dである。

[0079] 同様に、 CCD画像センサ 32上の第 2スリット光の軌跡 72aの画像の画素の一つに注目した注目点 2の座標（ccdx2, ccdy2)に対応する 3次元空間位置 (X2, Y2, Z2 )を、次に 5つの連立方程式の解力も導き出す。

(1) Y2=- ( (las2 + D) /VP) Z2 + las2

(2) Y2=- (Ytarget/VP) Z2 + Ytarget

(3) X2=- (Xtarget/VP) Z2+ Xtarget

(4) Xtarget = Xf start + (ccdx2/ResX) X (Xfend— Xf start)

(5)

X (Yftop— Yfbottom) こうして算出されたスリット光の 3次元空間位置を、三角測量演算結果格納部 434 へ書き込み、当該処理を終了する。

[0080] 三角測量演算処理 (S160)が終了すると、次に、原稿姿勢演算処理 (S 170)が実行される。原稿姿勢演算処理は、各スリット光の 3次元空間位置に基づいて、原稿姿勢演算プログラム 424により、原稿 Pの位置及び姿勢を演算する処理である。ここで、図 12 (a)から図 12 (c)を参照して、この原稿姿勢演算処理について説明する。図 12 (a)から図 12 (c)は、原稿姿勢演算の際の座標系を説明するための図である。

[0081] この原稿姿勢演算処理 (S 170)では、例えば、三角測量演算結果格納部 434のデータから、第 1スリット光の軌跡 71aに対応する 3次元空間位置の各点を回帰曲線近似した線を求め、この曲線の X軸方向の位置が「0」における点と、第 2スリット光の軌跡 72aの X軸方向の位置が「0」における 3次元位置とを結ぶ直線を想定し、この直線が Z軸と交わる点、つまり、光軸が原稿 Pと交差する点を、原稿 Pの 3次元空間位置 (0 , 0, L)とする（図 12 (a)参照)。そして、この直線が X-Y平面となす角を原稿 Pの X 軸まわりの傾き Θとする。

[0082] 図 12 (b)に示すように、第 1スリット光の軌跡 71aを回帰曲線近似した線を、先に求めた X軸まわりの傾き Θ分だけ逆方向に回転変換し、つまり、原稿 Pを X— Y平面に対して平行にした状態を考える。そして、図 12 (c)に示すように、原稿 Pの X軸方向の断面形状を、 X— Z平面における原稿 Pの断面について、 Z軸方向の変位を複数の X軸方向の点で求めてその変位度から、 X軸方向の位置を変数とした X軸方向の傾きの関数である湾曲 φ (X)を求め、当該処理を終了する。

[0083] 原稿姿勢演算処理 (S170)が終了すると、次に、平面変換処理 (S180)が実行される。平面変換処理は、 3次元形状データから、平面変換プログラム 425により、スリット光無画像格納部 432に記憶された画像データを、正面から観察されたような画像の画像データに変換する処理である。

[0084] ここで、平面変換処理について図 13のフローチャートを参照しながら説明する。図 13は平面変換処理を示すフローチャートである。

[0085] 平面変換処理では、まず、 RAM43のワーキングエリア 437に当該処理の処理領域が割り当てられ、カウンタのための変数など当該処理に用いる変数 bの初期値が設定される（S1300)。

[0086] 次に、原稿 Pの文字等が書かれた面が略鉛直方向から観察された場合の画像である正立画像の領域を、原稿姿勢演算プログラム 425での演算結果による原稿 Pの 3 次元空間位置 (0, 0, L)と、 X軸まわりの傾き Θと、湾曲 φ (X)とに基づき、スリット光無画像の 4隅の点を変換して設定し、この領域内に含まれる画素数 aを求める（S130 D o

[0087] まず、変数 bが前記画素数 aに達している力判断される（S1302)。そして、設定された正立画像の領域を、まず X— Y平面に配置して（S 1303)、その中に含まれる画素毎に、各々の 3次元空間位置を、湾曲 φ (X)に基づいて Z軸方向に変位させ（S130 4)、傾き Θで X軸まわりに回転移動し (S 1305)、 Z軸方向に距離 Lだけシフトする（S 1306)。次に、求められた 3次元空間位置を、先の 3角測量の関係式により理想カメラで写された CCD画像上の座標（ccdcx, ccdcy)に変換し (SI 307)、使用している結像レンズ 31の収差特性に従って、公知のキャリブレーション手法により、実際の力メラで写された CCD画像上の座標（ccdx, ccdy)に変換し（SI 308)、この位置にあるスリット光無画像の画素の状態を求めて、 RAM43のワーキングエリア 437に格納する（S 1309)。これを画素数 aだけ繰り返し（S 1310, S1302)、正立画像の画像データが生成され、前記ワーキングエリア 437の処理領域が開放された後（S1311)、当該処理を終了する。

[0088] 再び、図 5に戻り、説明を続ける。平面変換処理 (S180)が終了すると、生成された正立画像の画像データはメモリカード 55に書き込まれる（S 190)。

[0089] 一方、 S110における判別の結果力「補正撮像モード」ではなく「ノーマルモード」の位置の場合には（S 110 : NO)、スリット光投光ユニット 20のレーザーダイオード 21 が発光せず、第 1スリット光 71及び第 2スリット光 72が出射されていない状態で、 CC D画像センサ 32からスリット光無画像が読み込まれる（S200)。読み込まれた画像データはメモリカード 55に書き込まれる（S210)。尚、「ノーマルモード」の場合には、上述したような原稿 Pの 3次元空間位置 L、傾き 0、湾曲 φは算出されず、これらのデータカ Sメモリカード 55に書込まれることはない。

[0090] 以上説明したように、「撮像補正モード」における撮像装置 1は、第 1スリット光 71及び第 2スリット光 72の 2列のスリット光を原稿 Pに投光し、その原稿 Pを結像レンズ 31 によって CCD画像センサ 32に結像させて撮像し、続けて、スリット光が投光されていな、原稿 Pの画像を撮像する。

[0091] そして、この 2つの撮像画像の内、スリット光が原稿 Pに投光された状態を撮像したスリット光有画像から、スリット光の軌跡を抽出する場合には、所定範囲毎に Rd'Y値力閾値 Ythを越え、且つ、最大値を有する画素を検出する。この場合、たとえスリツト光を含む画素が、照明反射部分 Sに含まれていたとしても、照明反射部分 Sでは赤値 Rが低ぐ Rd'Y値が低いので、その照明反射部分 Sと最大の Rd'Y値を有するスリット光を含む画素との差異が明確となり、高精度にスリット光を含む画素を検出できる

[0092] また、たとえスリット光を含む画素力 R成分を持つ印刷部分 Iに含まれていたとしても、 R成分を持つ印刷部分 Iでは、輝度値 Yが低ぐ Rd'Y値が低いので、その R成分を持つ印刷部分 Iと最大の Rd'Y値を有するスリット光を含む画素との差異が明確となり、高精度にスリット光を含む画素を検出できる。

[0093] こうしてスリット光の軌跡が抽出され、三角測量原理によりスリット光の軌跡各部の 3 次元空間位置が演算され、これらから原稿 Pの位置、傾き、及び湾曲状態 (3次元形状データ）が求められ、これらの 3次元形状データとスリット光無画像の画像データと力 Sメモリカード 55に書き込まれる。

[0094] よって、撮像装置 1によれば、使用者は、モード切替スィッチ 59を「補正撮像モード」側に切り換え、ファインダ 53、又は、 LCD51で原稿 Pの所望の範囲が撮像範囲に入っているカゝ確認し、レリーズボタン 52を押して画像を撮影することによって、湾曲などの形状変形した原稿 Pを斜めから撮像した場合でも、平らな原稿 Pを正面力ゝら撮像したかのような画像データをメモリカード 55に記憶させることができる。一般に、 3次元形状検出装置を可搬型とした場合の「手ぶれ」対策として、スリット光投光時画像とスリット光非投光時画像との減算を行うことなくスリット光投光時画像だけからスリット光を抽出することが考えられる。例えば、スリット光を赤外領域とする方法も考えられる力光学系を赤外領域と可視領域との 2系統を用意する必要があり、可搬型としての装置の大型化、構造の複雑化、コストアップ等の問題を招来する。一方、可視領域のスリット光を照射したスリット光投光時画像力正確にスリット光を抽出できることが望ましいが、一般照明環境下で撮像された画像におけるスリット光の軌跡部分と他の部分とでは輝度や彩度が近似しており、明らかな差異が得られず、特に、スリット光と近い色で印刷された印刷部分や照明の反射部分では、その傾向が強ぐスリット光を高精度に検出するのが困難である。また、スリット光の出力を上げることでスリット光の検出精度を向上させることも考えられるが、力かる場合には、スリット光発生装置の大型化によるコストアップや、安全性への配慮も生ずる。本実施形態では、上記のような問題点を解消し、スリット光の出力を上げることなぐ高精度にスリット光を含む画素を検出することができる。

[0095] 次に、図 14乃至図 17を参照して上述したスリット光軌跡抽出処理 (S140)に関する第 2の実施形態について説明する。原稿 P上に R成分が他の成分よりも際だって強い部分があったり、反射率が際だって高い部分があったり（正反射するため、反射したスリット光がカメラ方向へ十分戻ってこない）、反射率が際だって低い部分があったり（吸収されてしまうため、反射したスリット光がカメラ方向へ十分戻ってこない)した場合には、スリット光を含む画素の Rd'Y値力他の部分と比べて大きな値を持つことができず、 Rd · Y値の最大値を持つ画素が必ずしもスリット光を含む画素であるとは限らないことがある。

[0096] そこで、この第 2の実施形態のスリット光軌跡抽出処理では、上述したスリット光重心計算処理で算出される重心位置の画素であっても、即座にスリット光を含む画素であるとは扱わず、更に、その画素に対応する画素が、スリット光無画像内に存在するか否かを検索する。そして、重心位置の画素に対応する画素力スリット光無画像中に存在していなければ、その画素は、スリット光有画像固有の画素、即ち、スリット光を含む画素であると判定することとした。

[0097] 図 14は、この第 2の実施形態のスリット光軌跡抽出処理を実行する撮像装置 1の電気的構成を示したブロック図である。尚、図 14は図 4に対応する図であり、図 4で示した構成と同一の構成には、同一の符号を付し、その説明を省略する。

[0098] ROM42は、図 4で説明したプログラムに加え、スリット光無画像内の小領域毎に色値に関する標準偏差を演算する輝度分散演算プログラム 426と、スリット光有画像とスリット光無画像とのズレ量を演算する相互相関係数演算プログラム 427と、スリット光有画像内から検出された画素が、スリット光無画像内に存在するか否かを検索する対応画素検索プログラム 428とを備えている。 RAM43は、図 4で説明した種々の格納部に加え、相互相関係数演算プログラム 428によって演算されたスリット光有画像とスリット光無画像とのズレ量を格納する手ぶれ量格納部 438を備えている。

[0099] 次に、第 2の実施形態のスリット光軌跡抽出処理を図 15のフローチャートを参照して説明する。第 2の実施形態のスリット光軌跡抽出処理では、まず、スリット光有画像とスリット光無画像とのズレ量が計算される（S1501)。

[0100] スリット光有画像とスリット光無画像とは、同時に撮像されていないため、ユーザの「手ぶれ」等に起因して、スリット光有画像とスリット光無画像との対応する画素が一致しないことがある。そこで、スリット光重心算出処理で算出される重心位置に対応する画素が、スリット光無画像内に存在するか否かを検索する前に、両画像のズレ量を計算し、そのズレ量を加味した上で、スリット光無画像内を検索する。

[0101] スリット光有画像とスリット光無画像とのズレ量は、相互相関係数演算プログラム 42 7により 2つの画素間の相互相関係数 ccを計算することで得ることができる。尚、相互相関係数 ccは 1一 1の値を持ち、最大の値を持つ位置がズレ量となる。

[0102] また、相互相関係数 ccを計算するに当たっては、画像中の特徴ある部分で計算することが好ましい。黒べた部分、白べた部分、或いは特定の色によるべた部分等において相互相関係数 CCを計算しても、相互相関係数 CCに明確な差異が得られないためである。そこで、相互相関係数 CCを計算する前に、スリット光無画像内において特徴ある部分を探索する探索処理を行う。

[0103] この探索処理では、図 16に示すように、スリット光無画像を 4つの大領域 1一 4に分け、更に、その各大領域 1一 4を各大領域内の端 (領域 1では右上、領域 2では左上、領域 3では左下、領域 4では右下)から中央に向力つて小領域に分け、その小領域毎に輝度 Yの標準偏差を求める。輝度 Yの標準偏差 σ Υは輝度分散演算プログラム 426により以下の計算式を使って計算される。

[0104] 尚、計算式において (xc、 yc)は小領域中心画素、 Rdは小領域のサイズを 2等分したサイズを示しており、具体的には、画像サイズが 1200pixel X 1600pixel程度の場合には、小領域のサイズは 41pixel X 41pixel程度（計算式における Rd 良い。

[0105] [数 2]

[数 3]

輝度 Yの平均値

各大領域 1一 4内において最大の標準偏差を有する小領域の中心座標を相互相関係数 ccを求める中心位置 (xc、 yc)として、スリット光有り画像と無し画像の 2画像の中心座標付近の画素の位置の差を (xd, yd)として、各 (xd, yd)における相互相関係数 cc (xd, yd)を求め、最大の相互相関係数を持つ場合の (xd, yd)をずれ量とすることができる。

[0106] 尚、計算式では、スリット光有画像とスリット光無画像との画素の位置の差を (xd、 y d)とし、スリット光有画像の画素の輝度を Yl、スリット光無画像の輝度を Υ2とする。また、画像サイズが 1200pixel X 1600pixel程度の場合には、相互相関係数 ccを求める範囲も 41pixel X 41pixel (Rc = 20)程度でよ!、。

[0107] [数 4] 相互相関係数 CC ( xd,yd ) =

再び、図 15に戻って説明を続ける。上述した通りに、スリット光有画像とスリット光無画像とのズレ量が算出されると（S1501)、図 7の S701, S702で説明したのと同様に、第 2スリット光の軌跡 72aを抽出する探索範囲を指定する探索パラメータが設定され (S 1502)、スリット光重心位置計算処理が実行される（S 1503)。そして、そのスリット光重心位置計算処理 (S1503)で算出される重心位置の画素に対応する画素が、スリット光無画像内に存在するか否かが検索される（S 1504)。

[0108] ここで、この検索範囲に関しては、例えば、図 17に示すように、スリット光有画像からスリット光を含む画素として検出された画素が、大領域 4内の（xp、 yp)において見つ力つたとする。この場合には、 S1501で算出したスリット光無画像内の大領域 4のズレ量（dx4、 dy4)を考慮に入れて、 xp + dx4—Rs≤x≤xp + dx4+Rs xp + dy 4-Rs≤y≤yp + dy4+Rsとの範囲で、検出された画素に対応する画素を探索する

[0109] 尚、対照物体までの距離が 350mm程度、画像サイズが 1200pixel X 1600pixel 程度の場合、手ぶれ量は数 10ピクセル程度なので、 Rsは数 10ピクセル程度で設定すれば良い。

[0110] そして、スリット光無画像内を検索した結果、対応する画素が検索された場合には（ S1505 : Yes)、その画素はスリット光有画像にも、スリット光無画像にも共通に存在する画素ということになる。即ち、スリット光有画像内において検出された画素は、スリット光を含む画素とは認められないため、計算された重心位置まわりの画素を抽出対象力ら外し（S 1506)、再び、 S 1503力ら S 1505までの処理を繰り返す。一方、対応する画素がスリット光無画像内で検索されなければ（S 1505： NO)、その画素はスリット光無画像には存在せず、スリット光有画像固有の画素ということになる。即ち、その画素は、スリット光を含む画素であると判定され、その計算された重心位置はスリツト軌跡情報格納部 436に記憶される（S 1507)。

[0111] こうして、第 2スリット光の軌跡 72aが抽出されると、次に、第 1スリット光の軌跡 71aを抽出すベぐ図 7の S704の処理と同様に、第 1スリット光の軌跡 71aを抽出する探索範囲を指定する探索パラメータが設定され (S1509)、その後、図 7の S705— S711 までの処理に相当する S 1509— S 1516までの処理が繰り返される。 [0112] 但し、上述した通りに、第 2の実施形態のスリット光軌跡抽出処理においては、第 2 スリット光の軌跡 72aの場合と同様に、スリット光重心計算処理 (S1511)で算出される重心位置に対応する画素力スリット光無画像内に存在するか否かが検索される（ S1512) ₀そして、スリット光無画像内を検索した結果、対応する画素が検索された場合には（S 1513： Yes)、その画素を計算された重心位置周りの画素は抽出対象から外され（S 1514)、再び、 S 1511から S 1513までの処理が行われる。一方、対応する画素がスリット光無画像内で検索されなければ (S1513 :NO)、その計算された重心位置はスリット軌跡情報格納部 436に格納される（S 1515)。

[0113] 以上説明したように、第 2の実施形態のスリット光軌跡抽出処理では、 Rd'Y値が、閾値 Ythを越え、且つ、最大値を有する画素であるとして検出されたとしても、更に、その検出された画素に対応する画素が、スリット光無画像内に存在するか否かが検索される。その結果、存在すると判断された場合には、その検出された画素は、スリツト光有画像とスリット光無画像とに共通する画素、即ち、スリット光を含む画素ではないとして抽出対象から除外される。一方、存在しないと判断された場合には、その画素はスリット光有画像にのみ存在する画素、即ち、スリット光を含む画素であるとして、抽出対象画素とされる。よって、第 1の実施形態のスリット光軌跡抽出処理に比べ、一層高精度にスリット光を含む画素が検出され、ひいては、高精度にスリット光の軌跡を抽出することができる。

[0114] 上記実施形態において、図 5のフローチャートの S140の処理は、パターン光位置抽出手段やパターン光位置抽出ステップとして位置づけられる。図 5のフローチヤ一トの S 150な、し S 170の処理は、 3次元形状算出手段や 3次元形状検出ステップとして位置付けられる。図 8のフローチャートの S802の処理は、色相パラメータ算出手段や色相パラメータ算出ステップとして位置付けられる。図 8のフローチャートの S80 3の処理は、輝度パラメータ算出手段や輝度パラメータ算出ステップとして位置付けられる。図 8のフローチャートの S804の処理は、強調パラメータ算出手段や強調パラメータ算出ステップとして位置付けられる。図 8の S808の処理は、パターン光検出手段やパターン光検出ステップとして位置付けられる。図 15のフローチャートの S 1504 、 S1505の処理および S1512、 S1513の処理は、検索手段として位置付けられる。図 15のフローチャートの S1501の処理は、移動量算出手段として位置付けられる。

[0115] 以上実施形態に基づき本発明を説明したが、本発明は上記実施形態に何ら限定されるものでなぐ本発明の主旨を逸脱しない範囲内で種々の改良変形が可能であることは容易に推察できるものである。

[0116] 例えば、上記実施形態では、赤成分を主成分とするスリット光を抽出する場合について説明したが、主成分となる成分は赤成分に限定されるものではなぐ緑成分、青成分を主成分とするスリット光であっても良い。例えば、赤成分を主成分とするスリット光に代えて緑成分を主成分とするスリット光を抽出する場合には、赤差分値 Rd (=R — (G + BZ2))に代えて、緑差分値0(1(=0-(1^+872) )を算出し、 Rd'Y値に代えて Gd'Y値を採用することもできる。

[0117] また、上記実施形態では、赤差分値 Rdは、赤値 Rから緑値 Gと青値 Bとの平均値を減算することにより算出していたが、赤差分値 Rdを算出する方法としては、赤値 Rから緑値 Gと青値 Bとの重み付け平均を減算して算出するようにしても良い。例えば、 R d=R— (2'G+ 1 'B)Z3等の計算式により算出するようにしても良い。

[0118] また、撮像装置 1で撮像する対象物体は、シート状の原稿 Pの他にも、固体ブロックの滑らかな表面であったり、場合によっては稜線をもつ物体の表面であっても良ぐおよそ 2列のスリット光の軌跡から、その 3次元空間における 3次元形状を希求したい用途にはすべて同様に、対象物体の 3次元形状を検出する効果を発揮することができる。

[0119] 但し、本実施形態のように、対象物体がシート状の原稿 Pであれば、第 1スリット光の軌跡 71aを原稿 Pの断面形状であるとして、原稿 Pの全体の形状を推定し、原稿 Pの湾曲などの形状変形に対する画像補正をすることができる。

[0120] また、本実施形態の撮像装置 1では、スリット光投光ユニット 20が、第 1スリット光 71 と、第 2スリット光 72の 2列のスリット光を出射するように構成されているが、出射するスリット光は、 2列に限らず、 3列以上を出射するように構成されるものであっても良い。例えば、図 10 (b)に示す原稿 Pのスリット光の軌跡画像のように、第 1スリット光 71及び第 2スリット光 72に加えて、第 2スリット光 72と同様の第 3スリット光が、原稿 Pにて第 2スリット光 72の上方に投光されるようにスリット光投光ユニット 20が構成されてヽても良い。この場合、第 1一第 3スリット光のスリット光の軌跡の各点の位置から、原稿 Pの縦方向の湾曲形状についても推定することができ、これによりスリット無し画像を補正して、更に見やすい画像とすることができる。

[0121] 本実施形態では光源に、赤色レーザー光線を放射するレーザーダイオード 21を用いている力その他、面発光レーザー、 LED、 EL素子など、光ビームを出力できるものであれば、いずれを用いるものであっても良い。

[0122] 透明平板 24に代えて、入射するレーザー光線のパワーの所定の割合を所定方向に回折する回折格子を 1面に形成した透明平板が用いられても良い。この場合、回折格子で回折された 1次光のレーザー光線を第 2スリット光 72とし、そのまま透過する

0次光のレーザー光線を第 1スリット光 71とすることができる。

[0123] スリット光投光ユニット 20から出射されるスリット光は、長手方向に直交する方向に、急峻に絞り込まれた細線の他に、一定の幅を備えたストライプ状の光パターンでも良い。

[0124] 第 1スリット光 71と、第 2スリット光 72の位置関係は逆転しても良ぐ第 1の方向つまり撮像装置 1から見て下側に第 2スリット光 72が、そして、第 2の方向に第 1スリットが形成されるように各光学素子が配設されて、ても良ヽ。

[0125] 撮像装置 1は、スリット光有画像及びスリット光無画像を、結像レンズ 31及び CCD 画像センサ 32を用いて撮像するよう構成されている。これに対して、撮像装置は、結像レンズ 31及び CCD画像センサ 32の他に、スリット有り画像を撮像するための結像レンズ及び CCD画像センサが別途追カ卩して設けられてヽても良、。このように構成することにより、スリット光有画像とスリット光無画像とを撮像する間の時間経過 (CCD 画像センサ 32の画像データを転送する時間など）を無くすることができる。したがって、スリット光有画像に対してスリット光無画像の撮像範囲のずれが無ぐ検出する対象物体の 3次元形状の精度が高いものとすることができる。但し、本実施形態の撮像装置 1の方が、構成部品が少なぐ小型で安価なものとすることができる。

[0126] 本発明の一つの実施形態において、色相パラメータ算出手段は、パターン光を構成する主な色相に対応する色値力他の色値の平均値を減算して求められるパラメータを色相パラメータとして算出する構成であっても良い。 [0127] このような構成によれば、色相パラメータは、パターン光を構成する主な色相に対応する色値力他の色値の平均値を減算して求められるので、パターン光を構成する主な色相に対応する色値が大きい値を有する画素を他の画素に比べて強調させることができる。即ち、パターン光を含む画素は、パターン光を構成する主な色相に対応する色値が大き、値を有するので、パターン光を含む画素を他の画素よりも強調させることができる。逆に言えば、複数の色値が近い値を持つ画素を検出対象から除外することができる。

[0128] 本発明の一つの実施形態において、 3次元形状検出装置は、輝度パラメータ算出手段で算出される輝度パラメータと、色相パラメータ算出手段で算出される色相パラメータとに基づき、パターン光投光画像内においてパターン光を含む画素を他の画素より強調させるための強調パラメータを画素単位で算出する強調パラメータ算出手段を更に備えていても良い。この場合、パターン光検出手段は、強調パラメータ算出手段で算出される強調パラメータに基づいて、ノターン光投光画像内からパターン光を含む画素を検出する。

[0129] 本発明の一つの実施形態において、強調パラメータ算出手段は、色相パラメータと輝度パラメータとを乗じて求められるパラメータを強調パラメータとして算出する構成であっても良い。

[0130] このような構成によれば、強調パラメータは、色相パラメータと輝度パラメータとを乗じて算出されるので、色相パラメータと輝度パラメータとの双方の値が高い場合には、強調パラメータの値を際だたせることができ、パターン光を含む画素と他の画素との差異が一層明確となり、一層高精度にパターン光を含む画素を検出することができるという効果が得られる。

[0131] 本発明の一つの実施形態において、強調パラメータには所定の閾値が設定されており、パターン光検出手段は、ノターン光投光画像内力も強調パラメータが閾値を越える画素をパターン光を含む画素であると検出するように構成されてヽても良、。

[0132] このような構成によれば、パターン光検出手段は、パターン光投光画像内から強調ノメータが閾値を越える画素をパターン光を含む画素であると検出するので、推定される強調パラメータの値より低い値で閾値に設定することで、明らかにパターン光を含む画素ではない画素を検出対象から除外することができるという効果が得られる。

[0133] 本発明の一つの実施形態において、パターン光検出手段は、パターン光投光画像内においてパターン光に沿った所定領域毎に、パターン光を含む画素を検出するものであり、且つ、その所定領域内において強調パラメータが最大である画素をパターン光を含む画素であると検出するよう構成されて、ても良、。

[0134] このような構成によれば、パターン光検出手段は所定領域内において強調パラメ一タが最大である画素をパターン光を含む画素であると検出するので、所定領域内を構成する画素の内からパターン光を含む画素である可能性が最も高い画素を検出することができると!/ヽぅ効果が得られる。

[0135] 本発明の一つの実施形態において、撮像手段は、パターン光投光画像に加え、パターン光投光画像に対応した、パターン光が投光されていない状態における対象物体のパターン光非投光画像をも撮像するよう構成されていても良い。この場合、 3次元形状検出装置は、パターン光検出手段によって検出されるパターン光を含む画素に対応する画素が、パターン光非投光画像内に存在する力否かを検索する検索手段をさらに備えていても良い。さらに、パターン光位置抽出手段は、パターン光検出手段によって検出される画素に対応する画素が、検索手段によってパターン光非投光画像内から検索されない場合に、パターン光検出手段によって検出される画素に基づ、て、パターン光の位置を抽出するよう構成されて、ても良!、。

[0136] このような構成によれば、パターン光位置抽出手段はパターン光検出手段によって検出される画素に対応する画素が、パターン光非投光画像内から検索されない場合に、その検出された画素に基づいてパターン光の軌跡を抽出する。したがって、パターン光検出手段によって検出される画素の内から、パターン光非投光画像には存在しないパターン光投光画像に固有の画素、即ち、パターン光を含む画素だけを抽出対象とすることができる。その結果、パターン光の位置の抽出精度を一層向上させることができるという効果が得られる。

[0137] 本発明の一つの実施形態において、 3次元形状検出装置は、パターン光投光画像に対するパターン光非投光画像の移動量を算出する移動量算出手段をさらに備えていても良い。この場合、検索手段は、移動量算出手段によって算出される、パターン光投光画像に対するパターン光非投光画像の移動量を踏まえて、パターン光非投光画像内を検索することができる。

[0138] このような構成によれば、検索手段は、移動量算出手段によって算出されるパターン光投光画像に対するパターン光非投光画像の移動量を踏まえて、パターン光非投光画像内を検索することができる。したがって上記構成によれば、手ぶれによってパターン光投光画像とパターン光非投光画像とがずれた場合を考慮して検索範囲を広範囲に設定することも可能であるが、このような場合に比べて、検索範囲を絞り込め、高速に、且つ、高い精度で検索を実行することができるという効果が得られる。

[0139] 本発明の一つの実施形態によれば、以上述べられた様々な実施形態のいずれかの 3次元形状検出装置と、 3次元形状検出装置の 3次元形状算出手段により算出される対象物体の 3次元形状に基づ、て、 3次元形状検出装置の撮像手段によって撮像されるパターン光が投光されていない状態における対象物体のパターン光非投光画像を対象物体の所定面の略鉛直方向から観察される平面画像に補正する平面画像補正手段と、を備える撮像装置が提供される。

[0140] このような撮像装置によれば、 3次元形状検出装置によって高精度にパターン光の位置を抽出して正確な 3次元形状を算出することができ、パターン光非投光画像を正確な平面画像に補正することができるという効果が得られる。

[0141] 本発明の一つの実施形態において、 3次元形状検出プログラムは、輝度パラメータ算出ステップで算出される輝度パラメータと、色相パラメータ算出ステップで算出される色相パラメータとに基づき、パターン光投光画像内においてパターン光を含む画素を他の画素より強調させるための強調パラメータを画素単位で算出する強調パラメータ算出ステップを更に備えていても良い。この場合、パターン光検出ステップにお V、て、強調パラメータ算出ステップで算出される強調パラメータに基づ!/、てパターン光投光画像内からパターン光を含む画素が検出される構成であっても良い。

Claims

請求の範囲

[1] パターン光を投光する投光手段と、

前記パターン光が投光される状態における対象物体のパターン光投光画像を撮像する撮像手段と、

前記撮像手段によって撮像されたパターン光投光画像に基づき、対象物体に投光されたパターン光の位置を抽出するパターン光位置抽出手段と、

前記パターン光位置抽出手段で抽出されたパターン光の位置に基づき、対象物体の 3次元形状を算出する 3次元形状算出手段と、

前記撮像手段で撮像されたパターン光投光画像の色値データを記憶する記憶手段と、

前記記憶手段に記憶された色値データに基づき、前記パターン光を構成する主な色相に対応する色相パラメータを画素単位で算出する色相パラメータ算出手段と、前記記憶手段に記憶された色値データに基づき、輝度パラメータを画素単位で算出する輝度パラメータ算出手段と、

前記輝度パラメータ算出手段により算出される前記輝度パラメータと前記色相パラメータ算出手段により算出される前記色相パラメータとを用いて、前記パターン光投光画像内からパターン光を含む画素を検出するパターン光検出手段と、を備え、前記パターン光位置抽出手段は、前記パターン光検出手段で検出されるパターン光を含む画素に基づいて、前記パターン光の位置を抽出することを特徴とする 3次元形状検出装置。

[2] 前記色相パラメータ算出手段は、前記パターン光を構成する主な色相に対応する色値力他の色値の平均値を減算して求められるパラメータを前記色相パラメータとして算出することを特徴とする請求項 1に記載の 3次元形状検出装置。

[3] 前記輝度パラメータ算出手段で算出される輝度パラメータと、前記色相パラメータ算出手段で算出される色相パラメータとに基づき、前記パターン光投光画像内において前記パターン光を含む画素を他の画素より強調させるための強調パラメータを画素単位で算出する強調パラメータ算出手段を更に備え、

前記パターン光検出手段は、前記強調パラメータ算出手段で算出される強調パラメータに基づいて前記パターン光投光画像内から前記パターン光を含む画素を検出すること、を特徴とする請求項 1に記載の 3次元形状検出装置。

[4] 前記強調パラメータ算出手段は、前記色相パラメータと前記輝度パラメータとを乗じて求められるパラメータを前記強調パラメータとして算出することを特徴とする請求項

3に記載の 3次元形状検出装置。

[5] 前記強調パラメータには所定の閾値が設定されており、

前記パターン光検出手段は、前記パターン光投光画像内から前記強調パラメータが前記閾値を越える画素をパターン光を含む画素であると検出することを特徴とする請求項 3に記載の 3次元形状検出装置。

[6] 前記パターン光検出手段は、前記パターン光投光画像内において前記パターン光に沿った所定領域毎に前記パターン光を含む画素を検出するものであり、且つ、その所定領域内にぉ、て前記強調パラメータが最大である画素をパターン光を含む画素であると検出することを特徴とする請求項 1に記載の 3次元形状検出装置。

[7] 前記撮像手段は、前記パターン光投光画像に加え、前記パターン光投光画像に対応した、前記パターン光が投光されて、な、状態における対象物体のパターン光非投光画像をも撮像するよう構成され、

前記パターン光検出手段によって検出されるパターン光を含む画素に対応する画素が、前記パターン光非投光画像内に存在するか否かを検索する検索手段をさらに備え、

前記パターン光位置抽出手段は、前記パターン光検出手段によって検出される画素に対応する画素が、前記検索手段によって前記パターン光非投光画像内から検索されない場合に、前記パターン光検出手段によって検出される画素に基づいて、前記パターン光の位置を抽出することを特徴とする請求項 1に記載の 3次元形状検出装置。

[8] 前記パターン光投光画像に対する前記パターン光非投光画像の移動量を算出する移動量算出手段を備え、

前記検索手段は、前記移動量算出手段によって算出される前記パターン光投光画像に対する前記パターン光非投光画像の移動量を踏まえて、前記パターン光非投光画像内を検索することを特徴とする請求項 7に記載の 3次元形状検出装置。

[9] パターン光を投光する投光手段と、

前記パターン光が投光される状態における対象物体のパターン光投光画像を撮像することに加え、前記パターン光投光画像に対応した、前記パターン光が投光されていない状態における対象物体のパターン光非投光画像をも撮像するよう構成された撮像手段と、

前記パターン光投光画像内からパターン光を含む画素を検出するパターン光検出手段と、

前記パターン光検出手段によって検出されるパターン光を含む画素に対応する画素が、前記パターン光非投光画像内に存在するか否かを検索する検索手段と、を備え、

前記パターン光位置抽出手段は、

前記パターン光検出手段によって検出される画素に対応する画素が、前記検索手段によって前記パターン光非投光画像内から検索されな、場合に、前記パターン光検出手段によって検出される画素に基づいて前記パターン光の位置を抽出すること、を特徴とする 3次元形状検出装置。

[10] 請求項 1から請求項 9のいずれかに記載の 3次元形状検出装置と、

前記 3次元形状検出装置の 3次元形状算出手段により算出される対象物体の 3次元形状に基づいて、前記 3次元形状検出装置の撮像手段によって撮像されるパターン光が投光されていない状態における対象物体のパターン光非投光画像を対象物体の所定面の略鉛直方向から観察される平面画像に補正する平面画像補正手段とを備えることを特徴とする撮像装置。

[11] パターン光が投光されている状態における対象物体のパターン光投光画像を撮像する撮像手段によって撮像されたパターン光投光画像に基づき、対象物体に投光されたパターン光の位置を抽出するパターン光位置抽出ステップと、

前記パターン光位置抽出ステップで抽出されるパターン光の位置に基づき、対象物体の 3次元形状を算出する 3次元形状算出ステップと、

前記パターン光投光画像の色値データを記憶する記憶ステップと、

前記記憶ステップにお!、て記憶された色値データに基づき、前記パターン光を構成する主な色相に対応する色相パラメータを画素単位で算出する色相パラメータ算出ステップと、

前記記憶ステップにおいて記憶された色値データに基づき輝度パラメータを画素単位で算出する輝度パラメータ算出ステップと、

前記輝度パラメータ算出ステップで算出される輝度パラメータと、前記色相パラメ一タ算出ステップで算出される色相パラメータとを用いて、前記パターン光投光画像内からパターン光を含む画素を検出するパターン光検出ステップとを備え、

前記パターン光位置抽出ステップでは、前記パターン光検出ステップで検出されるパターン光を含む画素に基づいて前記パターン光の位置が抽出されること、を特徴とする 3次元形状検出プログラム。

前記輝度パラメータ算出ステップで算出される輝度パラメータと、前記色相パラメ一タ算出ステップで算出される色相パラメータとに基づき、前記パターン光投光画像内においてパターン光を含む画素を他の画素より強調させるための強調パラメータを画素単位で算出する強調パラメータ算出ステップを更に備え、

前記パターン光検出ステップにおいて、前記強調パラメータ算出ステップで算出される前記強調パラメータに基づいて前記パターン光投光画像内からパターン光を含む画素が検出されることを特徴とする請求項 11に記載の 3次元形状検出プログラム。