JP4360145B2 - ３次元形状検出装置、撮像装置、及び、３次元形状検出方法 - Google Patents

Description

本発明は、光ビームを用いて対象物体の３次元形状を検出する３次元形状検出装置、この３次元形状検出装置を用いた撮像装置、及び、３次元形状検出方法に関する。

従来、対象物体にスリット光を投光して、そのスリット光が投光された対象物体の画像を撮像手段によって撮像し、その撮像手段によって撮像された画像データに基づいて、対象物体の３次元形状を検出するようにした３次元形状検出装置としては、「１つの光源からの光ビームをスリット光に変換し、このスリット光をハーフミラーで２列に分割して対象物体へ投光し、この対象物体に反射された２列のスリット光の反射位置（以下、スリット光の軌跡と呼ぶ。）を撮像した画像における、スリット光の軌跡に対応する画素毎の点について３次元形状検出装置からの位置を求めて、対象物体がシート状である場合、その対象物体全体の３次元形状を類推して、対象物体の３次元形状を検出するもの」が知られている（特許文献１参照）。
特開平７−３１８３１５号公報

しかし、前述の３次元形状検出装置においては、ハーフミラーを用いてスリット光を分割しているため、各スリット光のパワーは２分割の際に半分ずつに配分され、全出射パワーの限られた１つの点光源を用いる場合に、パワーが半分に配分されたスリット光では、正確な読取に必要なスリット光の軌跡の輝度が得られない場合がある。

例えば、前述の３次元形状検出装置に用いようと考えられている光ビームの小型の光源として、全出射パワーの定格出力が１ｍＷとされるレーザーダイオードがある。このレーザーダイオードによるレーザー光線を広がり角が４８度の１列のスリット光に変換すると、このスリット光の単位角度幅あたりのパワーは約２１μＷ／度となる。そして、１つの光源から２列のスリット光を生成するには、これが２分割されて半分の約１０μＷ／度となる。すると、距離が３３０ｍｍ離れた白色の用紙に対してスリット光が投光される場合に、その照度は１列のスリット光だけの場合約１３２０ルクス（波長６５０ｎｍの赤色レーザー光線で、１Ｗ＝７３．１ルーメン、スリット光の幅０．２ｍｍとする。）に対し、２列に分割されると約６６０ルクスとなって、一般的な室内の明るさである５００〜１０００ルクスの場所では、２分割されたスリット光の軌跡と用紙との輝度差が小さく、対象物体を撮像した画像上で、これらの弁別が難しくなる。

上記弁別を確実に行うためには、全出射パワーが高くなる光源を用いれば良いが、光源のパワーを高くすると、消費電力が多くなり、光源に付随する部品の変更も必要となって、価格の上昇及び装置の大型化に繋がるという問題が生じる。

本発明は、こうした問題点に鑑みなされたものであり、スリット光を用いて対象物体の３次元形状を検出する３次元形状検出装置において、スリット光に変換される光ビームの全出射パワーを上昇することなく、スリット光の軌跡の弁別が確実にできるようにすることを目的とする。

かかる目的を達成するためになされた請求項１に記載の３次元形状検出装置においては、光出力手段が、光ビームを出力し、スリット光投光手段が、その光ビームを所定の角度幅で平面状に放射される光束であるスリット光に変換して対象物体へ投光し、投光像撮像手段が、スリット光が投光された対象物体の画像を、スリット光投光手段に対して一定距離離れた位置から撮像し、３次元形状演算手段が、投光像撮像手段で撮像された画像に基づき、対象物体に投光されたスリット光の位置を算出して対象物体の３次元形状を求める演算を行う。

また、スリット光投光手段は、対象物体にスリット光を投光する際、光ビームから生成したスリット光の角度幅方向の一部を偏向することにより、スリット光の角度幅方向の一部が欠落した第１スリット光と、そのスリット光から偏向された第２スリット光とを生成し、この２つのスリット光を対象物体に向けて出射する。

この３次元形状検出装置では、スリット光投光手段の位置と、投光像撮像手段の位置との間が一定距離で、スリット光投光手段から出射するスリット光の角度は一定（物理的構成上既知）である。故に、３次元形状演算手段にて、投光像撮像手段で撮像された対象物体の画像により、対象物体上のスリット光の反射位置（スリット光の軌跡）の所定の点と投光像撮像手段とを結ぶ線の、投光像撮像手段の光軸方向に対する角度を求め、この角度を用いてスリット光の軌跡の所定の点と、スリット光投光手段と、投光像撮像手段とを結ぶ三角形の形状を定める、いわゆる三角測量により、スリット光の軌跡の所定の点の３次元空間位置を求めて、スリット光の軌跡の各点について３次元空間位置を求めることにより、対象物体に投光されたスリット光の位置を求めることができる。尚、第１スリット光の軌跡の欠落箇所の３次元形状は、欠落箇所以外の近似曲線などにより類推できる。

そして、第１スリット光の軌跡と、第２スリット光の軌跡とが対象物体の同一平面上に形成されることから、対象物体をスリット光の長さ方向に対する直交方向に略均一な３次元形状のものと仮定すれば、３次元形状演算手段にて、第１スリット光の軌跡について求めた３次元空間位置による形状を、第２スリット光の軌跡の方向へ伸ばしたものを対象物体の３次元形状として類推し、対象物体の３次元形状を求めることができる。

このように、本発明の３次元形状検出装置によれば、対象物体に接触することなく、対象物体の３次元形状を検出することができる。
そして、光ビームを変換した１列のスリット光の一部を偏向して第１スリット光と第２スリット光とを形成しているため、第１スリット光及び第２スリット光の角度幅あたりのパワーを、スリット光が１列の時と同じにすることができ、従来のように全出射パワーを上昇することなく、２列のスリット光でもスリット光の軌跡の弁別を確実にできる。

ここで、スリット光投光手段にて、第１スリット光及び第２スリット光を形成するための構成は、種々考えられるが、好ましくは、スリット光投光手段を、請求項２に記載のように構成すると良い。

即ち、請求項２に記載の３次元形状検出装置においては、スリット光投光手段が、光を所定角度で反射する第１反射面により、スリット光を反射して第１スリット光を出射し、第１反射面に対して第１スリット光の光路方向に対して所定角度傾斜して光を反射する第２反射面により、スリット光を反射して第２スリット光を出射する。

この結果、本発明（請求項２）の３次元形状検出装置によれば、光ビームを変換したスリット光の第１スリット光及び第２スリット光への形成を、２つの鏡などによる構成で行うことができ、プリズムや回折格子などの光ビームを分割するデバイスを用いる場合に対して、簡易で安価な構成にできる。

ところで、３次元形状演算手段にて３次元形状を一部が欠落されたスリット光によって欠落部を補間することで求める場合には、第１スリット光が対象物体上へ、その両端部が投光されている画像からそのスリット光の軌跡に基づいて欠落部のデータを補間して演算した方が、３次元形状の補間精度は高くなる。このため、第１スリット光を、その両端部に欠落部が形成されなくなるように、請求項１又は請求項２に記載の３次元形状検出装置におけるスリット光投光手段が出射する第１スリット光を、請求項３に記載のように、偏向により欠落する箇所が、スリット光の端部を含まないようにすると良い。

つまり、このようにすると、第１スリット光は、第２スリット光形成のために、スリット光の端部が欠落して角度幅が狭くなることなく、光ビームから変換したスリット光の角度幅となる。このため、対象物体に照射される段階で、極力広い角度幅の第１スリット光を投光することができる。

また、投光像撮像手段で撮像されるスリット光の軌跡（つまり反射光）には、図１１（ａ）に示すように対象物体にて正反射された正反射光によるものと、対象物体で拡散された拡散光によるものとがある。そして、拡散光によるスリット光の軌跡に対して正反射光によるスリット光の軌跡の方が、撮像される画像の輝度は格段に高くなる。特に、投光像撮像手段が、スリット光投光手段に対しスリット光の平面の上下方向に並ぶ場合などに、スリット光投光手段から出射されるスリット光は、その略中央部分が正反射として投光像撮像手段に入射されやすい。

そして、投光像撮像手段にて、画像を撮像するためにＣＣＤ素子などの光電変換素子を用いている場合、著しく高輝度の箇所を撮像すると、ある素子に一定以上の過剰な信号が入力され、その周囲の素子に対して光の漏れ込みが発生して、画像信号の処理過程での縦あるいは横方向の画素信号が全体的に変化し、図１１（ｂ）に示す様に画像に光の筋が入るスミアという現象を生じる。このスミアが発生すると、スリット光の軌跡を正しく弁別できず、３次元形状を正しく検出できないという場合がある。

このため、投光像撮像手段にて、スリット光の軌跡によるスミアが発生しにくいようにするには、請求項１〜請求項３に記載の３次元形状検出装置のスリット光投光手段にて出射する第１スリット光を、請求項４に記載のように、角度幅方向における略中央部の光束が欠落して形成されるようにすると良い。

つまり、このようにすることにより、第１スリット光の正反射光となりやすい略中央部が欠落箇所となるため、投光像撮像手段に対して正反射光が入射されにくく、スミアの発生を抑えることができる。

また、請求項１〜請求項４に記載の３次元形状検出装置は、請求項５に記載のように、スリット光の投光方向に対して交差する方向に略均一な３次元形状を持った対象物体の３次元形状を検出するために用いられると良い。

つまり、このようにすれば、スリット光が投光される部分の形状を、スリット光の投光方向に対して交差する方向に略均一な３次元形状であるとして、スリット光の軌跡の上下も、このスリット光の軌跡と同様の形状となっているとするなど、対象物体全体又は一部の形状を推定して３次元形状を検出することができる。

また、対象物体が、スリット光の方向に対する直交方向に略均一な３次元形状であれば、スリット光を投光する位置に含まれる対象物体の突起部など特異な形状により検出される３次元形状に生じるずれなどを考慮しなくて良く、３次元形状を検出する際のスリット光が投光される箇所に気をつかわずとも良いようにできる。

また、請求項５に記載の３次元形状検出装置で検出するスリット光の方向に対する直交方向に略均一な３次元形状の対象物体として、より具体的には請求項６に記載のように、略シート状であると良い。

一方、請求項７に記載の撮像装置においては、撮像手段により、対象物体の所定の面を任意の方向から撮像し、記憶手段が撮像手段で撮像された画像を画像データとして記憶し、３次元形状取得手段が、対象物体の３次元形状を取得し、画像補正手段が、３次元形状取得手段で取得された対象物体の３次元形状を基に、記憶手段に記憶された画像データに対して、対象物体の所定の面の略鉛直方向から観察される平面画像データとなるように補正する。そして、３次元形状取得手段は、請求項１〜請求項６にいずれか記載の３次元形状検出装置で構成される。

この結果、本発明（請求項７）の撮像装置によれば、３次元形状検出装置にて自動的に検出された対象物体の３次元形状により、対象物体の所定の面の鉛直方向から観察された平面画像データを取得できる。そして、この３次元形状検出装置は、光ビームの全出射パワーが抑えられ、装置の小型化や低価格化することができるため、小型で安価な撮像装置とすることができる。

尚、３次元形状検出装置の投光像撮像手段は、撮像装置の撮像手段として共用できるように構成すると、撮像装置の構成要素が少なくなり好ましい。
また、本発明の３次元形状検出装置における、簡易な構成で小型化できる効果は、デジタルカメラなど、すべての構成が１つにまとまり可搬可能とする装置においてより有効となる。

このため、請求項７に記載の撮像装置は、請求項８に記載のように、撮像手段、記憶手段、３次元形状取得手段、及び、画像補正手段を、撮像装置の本体ケース内に内蔵させた構成とすると良い。

ところで、以上は、３次元形状検出装置の発明に関して上述してきたが、３次元形状の検出方法の発明として実現することもできる。
即ち、請求項９に記載の３次元形状検出方法においては、光ビームを出力し、光ビームを所定の角度幅で平面状に放射される光束であるスリット光に変換して、対象物体へ投光するためにスリット光を出射し、このスリット光に対して一定距離離れた位置から、スリット光が投光された対象物体の画像を撮像し、撮像された画像に基づき、対象物体に投光されたスリット光の位置を算出して、対象物体の３次元形状を求める演算を行い、対象物体の３次元形状を検出する。

そして、出射される前記スリット光は、光ビームから変換したスリット光の角度幅方向の一部を偏向して、この偏向により該スリット光の角度幅方向の一部が欠落する第１スリット光と、スリット光から偏向される第２スリット光とからなる。

このような３次元形状検出方法によれば、上述した３次元形状検出装置と同様の効果を得ることができる。つまり、スリット光の一部を偏向して第１スリット光と、第２スリット光とを形成することにより、１列のスリット光を投光する場合と同じ全出射パワーで複数のスリット光を形成し、良好なスリット光の軌跡の弁別が行え、対象物体の３次元形状を検出できる。

以下に本発明の実施例を図面と共に説明する。本実施例の撮像装置１全体の斜視図を図１（ａ）に示し、概略断面図を図１（ｂ）に示す。また、撮像装置１をブロック図で表したものを図２に示す。

撮像装置１は、図１に示す様に、方形箱形の本体ケース１０と、本体ケース１０の正面に設けられた結像レンズ３１と、結像レンズ３１の後方（撮像装置１の内部側）に設けられたＣＣＤ画像センサ３２と、結像レンズ３１の下方に設けられたスリット光投光ユニット２０と、本体ケース１０に内蔵されたプロセッサ４０と、本体ケース１０の上部に設けられたレリーズボタン５２及びモード切替スイッチ５９と、本体ケース１０に内蔵されるカードメモリ５５とで構成され、これらの構成品は図２に示すように、それぞれ信号線により繋がっている。

その他に、撮像装置１には、撮像装置１による撮像範囲を使用者が決定する際に利用するものとして、本体ケース１０の背面に設けられたＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）５１と、本体ケース１０の背面から前面を通して配設されるファインダ５３とが装備されている。

尚、ＬＣＤ５１は、画像を表示する液晶ディスプレイなどで構成され、プロセッサ４０からの画像信号を受けて画像を表示する。そして、プロセッサ４０からは、状況に応じてＣＣＤ画像センサ３２で受光したリアルタイムの画像や、カードメモリ５５に記憶された画像や、装置の設定内容の文字等を表示するための画像信号が送られて来る。

そして、撮像装置１は、使用者によりレリーズボタン５２が押されると、外部光が結像レンズ３１を通して入射されてＣＣＤ画像センサ３２上に結像した画像を、画像データとして取り込みカードメモリ５５に書き込む、いわゆるデジタルカメラとして機能するものであり、この「ノーマルモード」での撮像に加え、被写体を用紙などの原稿Ｐとした場合に、原稿Ｐを斜め方向から撮像しても、正面から撮像したように補正した画像データとする「補正撮像モード」の機能を実現するためのものである。

撮像装置１のスリット光投光ユニット２０は、図３に示すように、レーザーダイオード２１と、コリメートレンズ２２と、アパーチャ２３と、ロッドレンズ２４と、反射ミラー２５とで構成されている。

尚、レーザーダイオード２１は、赤色レーザー光線を放射する。そして、プロセッサ４０からの指令に応じて、レーザー光線の放射及び停止を切り換える。また、レーザーダイオード２１の出力は、最大出力定格（例えば５ｍＷ）に対して、レーザービームの広がり角の個体ばらつきを考慮して、アパーチャ２３を通った箇所で一定の出力（例えば１ｍＷ）を得られるように定格出力が調整されている。

また、コリメートレンズ２２は、レーザーダイオード２１からのレーザー光線を、スリット光投光ユニット２０からの基準距離ＶＰ（例えば３３０ｍｍ）に焦点を結ぶように集光する。

また、アパーチャ２３は、矩形に開口された板で構成され、コリメートレンズ２２からのレーザー光線を開口部で透過して矩形に整形する。
また、ロッドレンズ２４は、正の焦点距離が短い円筒形状のレンズで構成され、アパーチャ２３から出射されるレーザー光線の下流に配設されている。そして、アパーチャ２３からレーザー光線が入射されると、図４（ａ）に示すように、焦点距離が短いためレーザー光線がすぐに焦点を越えて広がり、所定の広がり角度ε（例えば４８度）のスリット光として出射する。

また、反射ミラー２５は、成形可能なポリメチルメタクリレート（ＰＭＭＡ）等の光学プラスチックで構成され、図４（ｂ）に示すように、結像レンズ３１の光軸に平行な面に対して所定角度λ（例えば４５度）傾いた第１ミラー面２５ａと、第１ミラー面２５ａ上の傾斜方向に直交する方向の中央部に、第１ミラー面２５ａに対して所定角度κ（例えば１２度）傾斜した所定幅のくさび形状に形成された第２ミラー面２５ｂとを形成し、その表面に、レーザー光線をほぼ全反射するようアルミ膜及び酸化シリコン保護膜が蒸着されている。

そして、反射ミラー２５は、ロッドレンズ２４から出射されたスリット光の下流に配置され、第１ミラー面２５ａに入射されたスリット光を、所定角度λの２倍（９０度）向きを変えて反射した第１スリット光７１と、第２ミラー面２５ｂに入射されたスリット光を、所定角度κの２倍（２４度）だけ第１スリット光７１に対して離間して反射した第２スリット光７２とを出射する。尚、第１スリット光７１が出射される方向を第１の方向、第２スリット光７２が出射される方向を第２の方向と呼ぶ。

このように、スリット光投光ユニット２０は、プロセッサ４０からの指令に応じて、レーザーダイオード２１からレーザー光線を放射して、第１の方向へ第１スリット光７１、及び、第２の方向へ第２スリット光７２を、本体ケース１０の結像レンズ３１の下方に設けられた窓２９から出射する。

また、結像レンズ３１は、複数枚のレンズで構成され、オートフォーカス機能を有し、自動で焦点距離及び絞りを調整して外部からの光をＣＣＤ画像センサ３２上に結像する。
また、ＣＣＤ画像センサ３２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）素子などの光電変換素子がマトリクス状に配列されてなる構成で、表面に結像される画像の光の色及び強さに応じた信号を生成し、これをデジタルデータに変換してプロセッサ４０へ出力する。尚、ＣＣＤ素子一つ分のデータが画像を形成する画素の画素データであり、画像データはＣＣＤ素子の数の画素データで構成される。

また、レリーズボタン５２は、押しボタン式のスイッチで構成され、プロセッサ４０に接続されており、プロセッサ４０にて使用者による押し下げ操作が検知される。
また、カードメモリ５５は、不揮発性で書き換え可能なメモリで構成され、本体ケース１０に着脱可能である。

また、モード切替スイッチ５９は、２つの位置に切換え可能なスライドスイッチなどで構成され、プロセッサ４０によりボタンがいずれの位置にあるかを検知するようになっている。尚、モード切替スイッチ５９は、スイッチの位置の一方を「ノーマルモード」、もう一方を「補正撮像モード」として検知されるようにプロセッサ４０にて割り当てられている。

また、プロセッサ４０は、周知のＣＰＵ４１、ＲＯＭ４２、ＲＡＭ４３で構成される。そして、ＣＰＵ４１は、ＲＯＭ４２に記憶されたプログラムによる処理に応じて、ＲＡＭ４３を利用して、レリーズボタン５２の押し下げ操作の検知、ＣＣＤ画像センサ３２から画像データの取り込み、画像データのカードメモリ５５への書き込み、モード切替スイッチ５９の状態検出、スリット光投光ユニット２０によるスリット光の出射切り換え等の各種処理を行う。

尚、ＲＯＭ４２には、図５に示すフローチャートの処理（詳細は後述する。）を含む撮像装置１全体の制御に関するプログラムであるカメラ制御プログラム４２１と、スリット光を投光した原稿Ｐの画像から、スリット光の軌跡を抽出した画像データを生成するためのプログラムである差分抽出プログラム４２２と、差分抽出プログラムで生成された画像データによるスリット光の軌跡の各画素に対する３次元空間位置を演算するためのプログラムである三角測量演算プログラム４２３と、第１スリット光の軌跡７１ａ及び第２スリット光の軌跡７２ａの３次元空間位置から、原稿Ｐの位置及び３次元形状を推定して求めるプログラムである原稿姿勢演算プログラム４２４と、原稿Ｐの位置及び姿勢が与えられて、スリット光無し画像格納部４３２に格納された画像データを、原稿Ｐの正面から撮像したような画像に変換するためのプログラムである平面変換プログラム４２５とが記憶されている。

また、ＲＡＭ４３には、記憶領域として、ＣＣＤ画像センサ３２からの画像データの形式のデータを保存する大きさのスリット光有り画像格納部４３１、スリット光無し画像格納部４３２、及び、差分画像格納部４３３と、スリット光画像の各ポイントの位置を演算した結果を保存する大きさの三角測量演算結果格納部４３４と、原稿Ｐの位置及び姿勢の演算結果を保存する大きさの原稿姿勢演算格納部４３５と、ＣＰＵ４１での演算のために一時的にデータを記憶させるのに使用する大きさのワーキングエリア４３６とが割り当てられている。

また、ファインダ５３は、光学レンズで構成され、撮像装置１の後ろ側から使用者がのぞき込んだ時に、結像レンズ３１がＣＣＤ画像センサ３２上に結像する範囲とほぼ一致する範囲が見えるようになっている。

続いて、使用者によりレリーズボタン５２が押されてからの撮像装置１の動作を、撮像装置１のプロセッサ４０での処理手順を表す図５のフローチャートを用いて説明する。
まず、Ｓ１１０にて、モード切替スイッチ５９のスイッチの位置を検知して、「補正撮像モード」の位置であるか判別し、判別の結果が「補正撮像モード」の位置の場合はＳ１２０へ移行し、「補正撮像モード」ではなく、「ノーマルモード」の位置の場合はＳ２００へ移行する。

次に、Ｓ１２０にて、スリット光投光ユニット２０に対しレーザーダイオード２１の発光を指令し、第１スリット光７１及び第２スリット光７２が出射されてから、スリット光有り画像として、ＣＣＤ画像センサ３２から画像データを取得し、この画像データをＲＡＭ４３のスリット光有り画像格納部４３１へ記憶させる。

次に、Ｓ１３０にて、スリット光投光ユニット２０に対しレーザーダイオード２１の発光停止を指令し、第１スリット光７１及び第２スリット光７２が出射されなくなってから、スリット光無し画像としてＣＣＤ画像センサ３２から画像データを取得し、この画像をスリット光無し画像格納部４３２へ記憶させる。

次に、Ｓ１４０にて、差分抽出プログラム４２２によりスリット光有り画像格納部４３１の画像データに対する、スリット光無し画像格納部４３２の画像データの差分（つまり、原稿Ｐに投光された第１スリット光の軌跡７１ａ及び第２スリット光の軌跡７２ａの画像）の抽出処理した画像データを生成し、差分画像格納部４３３へ記憶させる。

次に、Ｓ１５０にて、差分画像格納部４３３の画像データに抽出された、第１スリット光の軌跡７１ａ及び第２スリット光の軌跡７２ａの画素毎の３次元空間位置を三角測量演算プログラム４２３により演算し、演算結果をそれぞれ三角測量演算結果格納部４３４へ記憶させる。

次に、Ｓ１６０にて、三角測量演算結果格納部４３４に記憶された第１スリット光の軌跡７１ａ及び第２スリット光の軌跡７２ａの３次元空間位置を用いて、原稿姿勢演算プログラム４２４により、原稿Ｐの位置及び姿勢を演算する。

次に、Ｓ１７０にて、Ｓ１６０で算出した原稿Ｐの位置及び姿勢から、平面変換プログラム４２５により、スリット光無し画像格納部４３２に記憶された画像データを、正面から観察されたような画像の画像データに変換する。

次に、Ｓ１８０にて、Ｓ１７０で変換した画像データをカードメモリ５５に記憶させて、当該処理を終了する。
そして、Ｓ２００では、スリット光投光ユニット２０のレーザーダイオード２１が発光せず、第１スリット光７１及び第２スリット光７２が出射されていない状態で、ＣＣＤ画像センサ３２から画像データを取得し、Ｓ２１０にて、カードメモリ５５に記憶させて当該処理を終了する。

尚、Ｓ１４０での差分抽出プログラム４２２による処理について具体的には、スリット光有り画像格納部４３１の画像データからスリット光無し画像格納部４３２の画像データを、画素毎にそのＲＧＢ値を差し引く。これにより、スリット光の軌跡のみが抽出された多値画像を得る。

また、Ｓ１５０での三角測量演算プログラム４２３による処理について、具体的には、例えば、差分画像格納部４３３の画像データにて、第１スリット光の軌跡７１ａ及び第２スリット光の軌跡７２ａの縦方向のピークを重心計算によって画像データの横方向座標毎に求め、このピーク抽出座標に対する３次元空間位置を次のようにして求める。

ここで、図６（ａ）に示すように撮像される横方向に湾曲した原稿Ｐに対する撮像装置１の座標系を、図７に示すように、結像レンズ３１の光軸方向をＺ軸として、撮像装置１から基準距離ＶＰ離れた位置をＸ，Ｙ，Ｚ軸の原点位置として、撮像装置１に対して水平方向をＸ軸、垂直方向をＹ軸とする。

そして、ＣＣＤ画像センサ３２のＸ軸方向の画素数をＲｅｓＸ、Ｙ軸方向の画素数をＲｅｓＹと呼び、Ｘ−Ｙ平面に、結像レンズ３１を通してＣＣＤ画像センサ３２を投影した位置の上端をＹｆｔｏｐ、下端をＹｆｂｏｔｔｏｍ、左端をＸｆｓｔａｒｔ、右端をＸｆｅｎｄと呼ぶ。また、結像レンズ３１の光軸から、スリット光投光ユニット２０から出射される第１スリット光７１の光軸までの距離をＤ、第１スリット光７１がＸ−Ｙ平面に交差するＹ軸方向の位置をｌａｓ１、第２スリット光７２がＸ−Ｙ平面に交差するＹ軸方向の位置をｌａｓ２とする。

このとき、第１スリット光の軌跡７１ａの画像の画素の１つに注目した注目点１のＣＣＤ画像センサ３２上の座標（ｃｃｄｘ１，ｃｃｄｙ１）に対応する３次元空間位置（Ｘ１，Ｙ１，Ｚ１）を、ＣＣＤ画像センサ３２の結像面上の点と、第１スリット光７１及び第２スリット光７２の出射点と、Ｘ−Ｙ平面に交差する点とで形成される三角形について立てた次の５つの連立方程式の解から導き出す。
（１）Ｙ１＝−（（ｌａｓ１＋Ｄ）／ＶＰ）Ｚ１＋ｌａｓ１
（２）Ｙ１＝−（Ｙｔａｒｇｅｔ／ＶＰ）Ｚ１＋Ｙｔａｒｇｅｔ
（３）Ｘ１＝−（Ｘｔａｒｇｅｔ／ＶＰ）Ｚ１＋Ｘｔａｒｇｅｔ
（４）Ｘｔａｒｇｅｔ＝Ｘｆｓｔａｒｔ＋（ｃｃｄｘ１／ＲｅｓＸ）×（Ｘｆｅｎｄ−Ｘｆｓｔａｒｔ）
（５）Ｙｔａｒｇｅｔ＝Ｙｆｔｏｐ―（ｃｃｄｙ１／ＲｅｓＹ）×（Ｙｆｔｏｐ−Ｙｆｂｏｔｔｏｍ）
尚、本実施例では、第１スリット光７１がＺ軸に対して平行のためｌａｓ１＝−Ｄであり、Ｙ１＝−Ｄである。

同様に、ＣＣＤ画像センサ３２上の第２スリット光の軌跡７２ａの画像の画素の一つに注目した注目点２の座標（ｃｃｄｘ２，ｃｃｄｙ２）に対応する３次元空間位置（Ｘ２，Ｙ２，Ｚ２）を、次に５つの連立方程式の解から導き出す。
（１）Ｙ２＝−（（ｌａｓ２＋Ｄ）／ＶＰ）Ｚ２＋ｌａｓ２
（２）Ｙ２＝−（Ｙｔａｒｇｅｔ／ＶＰ）Ｚ２＋Ｙｔａｒｇｅｔ
（３）Ｘ２＝−（Ｘｔａｒｇｅｔ／ＶＰ）Ｚ２＋Ｘｔａｒｇｅｔ
（４）Ｘｔａｒｇｅｔ＝Ｘｆｓｔａｒｔ＋（ｃｃｄｘ２／ＲｅｓＸ）×（Ｘｆｅｎｄ−Ｘｆｓｔａｒｔ）
（５）Ｙｔａｒｇｅｔ＝Ｙｆｔｏｐ―（ｃｃｄｙ２／ＲｅｓＹ）×（Ｙｆｔｏｐ−Ｙｆｂｏｔｔｏｍ）
また、Ｓ１６０での原稿姿勢演算プログラム４２４による処理について具体的には、例えば、三角測量演算結果格納部４３４のデータから、第１スリット光の軌跡７１ａに対応する３次元空間位置の各点を回帰曲線近似した線を求め、この曲線のＸ軸方向の位置が「０」における点と、第２スリット光の軌跡７２ａのＸ軸方向の位置が「０」における３次元位置とを結ぶ直線を想定し、この直線がＺ軸と交わる点、つまり、光軸が原稿Ｐと交差する点を、原稿Ｐの３次元空間位置（０，０，Ｌ）とする（図８（ａ）参照。）。そして、この直線がＸ−Ｙ平面となす角を原稿ＰのＸ軸まわりの傾きθとする。

また、図８（ｂ）に示すように、第１スリット光の軌跡７１ａを回帰曲線近似した線を、先に求めたＸ軸まわりの傾きθ分だけ逆方向に回転変換し、つまり、原稿ＰをＸ−Ｙ平面に対して平行にした状態を考える。そして、図８（ｃ）に示すように、原稿ＰのＸ軸方向の断面形状を、Ｘ−Ｚ平面における原稿Ｐの断面について、Ｚ軸方向の変位を複数のＸ軸方向の点で求めてその変位度から、Ｘ軸方向の位置を変数としたＸ軸方向の傾きの関数である湾曲φ（Ｘ）を求める。

また、Ｓ１７０での平面変換プログラム４２５による処理について具体的には、例えば、図９に示すフローチャートで表される次に説明するような処理である。
まず、ＲＡＭ４３のワーキングエリア４３６に当該処理の処理領域を割り当て、カウンタのための変数など当該処理に用いる変数の初期値を設定する。（ｓ１００２）
次に、原稿Ｐの文字等が書かれた面が略鉛直方向から観察された場合の画像である正立画像の領域を、原稿姿勢演算プログラム４２４での演算結果による原稿Ｐの３次元空間位置（０，０，Ｌ）と、Ｘ軸まわりの傾きθと、湾曲φ（Ｘ）とに基づき、スリット光無し画像の４隅の点を変換して設定し、この領域内に含まれる画素数ａを求める。（Ｓ１００３）
そして、設定された正立画像の領域を、まずＸ−Ｙ平面に配置して（Ｓ１００５）、その中に含まれる画素毎に、各々の３次元空間位置を、湾曲φ（Ｘ）に基づいてＺ軸方向に変位させ（Ｓ１００６）、傾きθでＸ軸まわりに回転移動し（Ｓ１００７）、Ｚ軸方向に距離Ｌだけシフトして（Ｓ１００８）、求められた３次元空間位置を、先の３角測量の関係式により理想カメラで写されたＣＣＤ画像上の座標（ｃｃｄｃｘ，ｃｃｄｃｙ）に変換し（Ｓ１００９）、使用している結像レンズ３１の収差特性に従って、公知のキャリブレーション手法により、実際のカメラで写されたＣＣＤ画像上の座標（ｃｃｄｘ，ｃｃｄｙ）に変換し（Ｓ１０１０）、この位置にあるスリット光無し画像の画素の状態を求めて、ＲＡＭ４３のワーキングエリア４３６に格納する（Ｓ１０１１）。これを画素数ａだけ繰り返し、正立画像の画像データを生成する。

以上のように、撮像装置１は、図６（ａ）に示すような、中央部が欠落した線分の第１スリット光の軌跡７１ａと、その上方に第１スリット光７２の軌跡の欠落部に同じ長さの第２スリット光の軌跡７２ａとを原稿Ｐ上に形成し、その原稿Ｐを結像レンズ３１によってＣＣＤ画像センサ３２に結像させて撮像し、続けて、スリット光の軌跡が形成されていない原稿Ｐの画像を撮像する。そして、これら２つの画像データの差分をとることによって、画像データから第１，第２スリット光の軌跡７１ａ，７２ａの画像を抽出して、三角測量原理により第１，第２スリット光の軌跡７１ａ，７２ａ各部の３次元空間位置を演算し、これらから原稿Ｐの位置Ｌ、傾きθ、及び湾曲φ（ｘ）を求め、第１スリット光の軌跡７１ａの形状を原稿Ｐ全体の横断面形状として原稿Ｐの３次元形状を類推した結果を基に、平らな原稿Ｐが正面から撮像されたかのように補正した画像データを、カードメモリ５５に記録する。

よって、撮像装置１によれば、使用者は、モード切替スイッチ５９を「補正撮像モード」側に切り換え、ファインダ５３、又は、ＬＣＤ５１で原稿Ｐの所望の範囲が撮像範囲に入っているか確認し、レリーズボタン５２を押して画像を撮影することによって、湾曲などの形状変形した原稿Ｐを斜めから撮像した場合でも、平らな原稿Ｐを正面から撮像したかのような画像データをカードメモリ５５に記憶させることができる。

尚、カードメモリ５５に記憶された画像データは、ＬＣＤ５１で表示して撮像内容を確認したり、カードメモリ５５を撮像装置１から取り外して、外部のパーソナルコンピュータなどにより表示したり、印刷したりして用いることができる。

また、第１スリット光７１及び第２スリット光７２の単位角度幅あたりのパワーは、偏向される前のスリット光と同じであり、１列のスリット光を出射する場合と変わらず、スリット光の軌跡と原稿Ｐとの輝度差が十分であり、差分抽出プログラム４２２にてスリット光の軌跡画像を確実に抽出することができる。

このように、撮像装置１は、光源であるレーザーダイオード２１の出力を上げることなく、対象物体の３次元形状を確実に検出することができ、撮像装置１の構成を簡易で小型のものにできる。

また、本実施例の撮像装置１は、第１スリット光７１の中央部分が偏向されているため、第１スリット光７１による正反射光が、結像レンズ３１に入射される可能性は低い。また、第２スリット光７２は、原稿Ｐに対する角度が大きくなる。このため、第２スリット光７２による原稿Ｐでの正反射光が、結像レンズ３１に入射するようになるには、原稿Ｐに対して９０度を超えた位置から撮像する必要があり、このような状態は現実的な使用上考えにくい。このように、撮像装置１は、原稿Ｐに照射したスリット光の正反射光が結像レンズ３１から入射されることはなく、正反射光により撮像する画像に輝点やスミアが発生して正確な３次元形状の検出ができないという問題が発生しないようにできる。

また、反射ミラー２５を製造する際、ミラー面の反射膜を形成する蒸着膜は、通常特定の一方向から膜形成を行うため、第１ミラー面２５ａや、第２ミラー面２５ｂに直交する側面には、正しい反射膜が形成されず、途切れてしまったり、反射率が不十分な半透過膜になってしまう。

しかし、本実施例の反射ミラー２５のように断面凸形状であれば、図４（ｂ）に示すように、第２ミラー面２５ｂにて反射されないロッドレンズ２４からのスリット光が、放射状に入射されて、図中点線経路の様に通過するため、第１ミラー面２５ａと第２ミラー面２５ｂとの間にある側面やコーナー部には、スリット光が全く入射しないため、反射膜が不十分な箇所にスリット光が入射されてスリット光を乱すことは無く、正確な３次元形状の検出を行うことができる。
[本発明との対応関係]
本発明における３次元形状検出装置に対して、本実施例のレーザーダイオード２１が光出力手段に相当し、コリメートレンズ２２，アパーチャ２３，ロッドレンズ２４及び反射ミラー２５がスリット光投光手段に相当し、結像レンズ３１、ＣＣＤ画像センサ３２が投光像撮像手段に相当し、プロセッサ４０によるＳ１４０からＳ１６０の処理が３次元形状演算手段に相当する。

そして、本発明における撮像装置に対して、結像レンズ３１、ＣＣＤ画像センサ３２が撮像手段に相当し、プロセッサ４０によるＳ１７０の処理が画像補正手段に相当し、ＲＡＭ４２が記憶手段に相当する。

[変形例]
以上、本発明の実施形態について説明したが、本発明は上記の具体的な実施形態に限定されず、このほかにも様々な形態で実施することができる。

例えば、撮像装置１で撮像する対象物体は、シート状の原稿Ｐの他にも、個体ブロックの滑らかな表面であったり、場合によっては稜線をもつ物体の表面であっても良く、およそ２列のスリット光の軌跡から、その３次元空間における３次元形状を希求したい用途にはすべて同様に、対象物体の３次元形状を検出する効果を発揮することができる。

但し、本実施例のように、対象物体がシート状の原稿Ｐであれば、第１スリット光の軌跡７１ａを原稿Ｐの断面形状であるとして、原稿Ｐの全体の形状を推定し、原稿Ｐの湾曲などの形状変形に対する画像補正をすることができる。また、対象物体がスリット光の長手方向に対する直交方向に略均一な３次元形状であれば、スリット光を投光する位置に含まれる対象物体の突起部など特異な形状により生じる検出姿勢のずれなどを考慮しなくて良く、スリット光が投光される箇所に気をつかわないでも良いようにできる。

また、撮像装置１から出射される第１スリット光７１及び第２スリット光７２は、ロッドレンズ２４から出射されたスリット光を、反射ミラー２５の第１ミラー面２５ａと、第２ミラー面２５ｂとで偏向して形成されているが、スリット光を偏向する方法は種々あり、いずれの方法によるものであっても良い。例えば、図１０に示す様に、反射ミラー２５の代わりに、単なる１枚の鏡とした反射ミラー２６と、所定の区間（中央部付近）を回折格子２７ａとした透明平板２７とで構成し、ロッドレンズ２４からのスリット光を反射ミラー２６でそのまま反射して向きを変え、透明平板２７にて、回折格子２７ａにより、その格子幅に応じた方向へスリット光を偏向して第２スリット光７２を形成し、回折格子２７ａ以外の箇所を透過したスリット光で第１スリット光７１を形成して出射するようにしたものであっても良い。このような回折格子２７ａは、その格子幅により、０次光と高次光のパワー配分比率を変えることができるため、第２スリット光７２の角度幅あたりのパワーを変えることができる。

また、図１１（ａ）に示す様に、反射ミラー２５の代わりに、水平面に対する倒れ角を電気信号により変位可能な鏡である１次元微小変位ミラーアレイ２８ａを横方向に複数並べだミラーデバイス２８としたもので有っても良い。このような構成によれば、プロセッサ４０からの指令により、ミラーデバイス２８の中央部付近の１次元微小変位ミラーアレイ２８ａの倒れ角を変えて、ロッドレンズ２４から出射されるスリット光を偏向する角度を２種類にして第１スリット光７１と第２スリット光７２とを形成することができる。

この場合、使用状況に応じて第２スリット光の長さ及び位置を変えることができ、例えば、図１１（ｂ）に示すように、対象物体の形状により第１スリット光７１が中央部付近で正反射光となる場合に、当該箇所の１次元微小変位ミラーアレイ２８ａの倒れ角を変え、スミアを発生する箇所が第２スリット光７２となるようにして、ＣＣＤ画像センサ３２に正反射光が入射されないようにできる。

但し、本実施例のように、第１ミラー面２５ａ及び第２ミラー面２５ｂで構成される反射ミラー２５によりスリット光を偏向して第１スリット光７１及び第２スリット光７２を形成する構成によれば、構成が簡易であり、装置全体を小型で低価格にすることができる。

また、第１スリット光の一部を偏向して欠落させる箇所は、ただ一箇所にとどまるのみならず、複数箇所を偏向させるように構成されるものであってもよい。例えば、反射ミラー２５における第２ミラー面２５ｂを複数設ける構成とし、図６（ｃ）に示す原稿Ｐに投光されたスリット光の軌跡画像のように複数箇所偏向された略点線状の第１スリット光及び第２スリット光が形成されるようにしたものであっても良い。これにより、原稿Ｐの上部及び下部における湾曲形状の変化を計測することができるため、より正確な原稿の３次元形状モデルを得ることができる。

また、本実施例の撮像装置１では、スリット光投光ユニット２０が、第１スリット光７１及び第２スリット光７２の２列のスリット光を出射するように構成されているが、出射するスリット光は、２列に限らず、３列以上を出射するように構成されるものであっても良い。例えば、反射ミラー２５を、第２ミラー面２５ｂの上に所定角度傾いた第３ミラー面を設けた構成とし、図６（ｂ）に示す原稿Ｐに投光されたスリット光の軌跡画像のように、原稿Ｐにて第２スリット光の軌跡７２ａの上方に第３スリット光の軌跡が形成されるようにしたものであっても良い。このように構成すれば、第１〜第３スリット光の軌跡の各点の位置から、原稿Ｐの縦方向の湾曲形状に対しても推定することができ、これにより縦方向の湾曲形状に対しても画像を補正して、更に見やすい正立画像とすることができる。

また、本実施例では、第１スリット光７１の上方になるように第２スリット光７２を偏向しているが、これらの位置関係は、特に限定されず、例えば、反射ミラー２５の第１ミラー面２５ａ及び第２ミラー面２５ｂの角度を変更するなどして、スリット有り画像を撮像した際に、第１スリット光の軌跡７１ａが、第２スリット光の軌跡７２ｂに対して下側に形成されるように、スリット光投光ユニット２０を構成したものであって良いし、第２スリット光の形成による第１スリット光の欠損箇所が、中央部付近となるのではなく、端部付近に形成されるものであっても良い。

また、第２スリット光７２の角度幅も特に限定されず、第２ミラー面２５ｂを幅の広いものとして、第１スリット光に対して、その角度幅のほとんどを偏向して第２スリット光７２を形成するものであっても良い。

また、本実施例では光源に、赤色レーザー光線を放射するレーザーダイオード２１を用いているが、その他、面発光レーザー、ＬＥＤ、ＥＬ素子など、光ビームを出力できるものであれば、いずれを用いたものであっても良い。

また、スリット光投光ユニット２０から出射されるスリット光は、長手方向に直交する方向に、急峻に絞り込まれた細線の他に、一定の幅を備えたストライプ状の光パターンでも良い。

また、撮像装置１は、スリット光有り画像及びスリット光無し画像を、結像レンズ３１及びＣＣＤ画像センサ３２を用いて撮像するよう構成されている。これに対して、結像レンズ３１及びＣＣＤ画像センサ３２の他に、スリット有り画像を撮像するための結像レンズ及びＣＣＤ画像センサを別途追加して設けたもので合っても良い。このように構成することにより、スリット光有り画像とスリット光無し画像とを撮像する間の時間経過（ＣＣＤ画像センサ３２の画像データを転送する時間など）を無くすることができ、スリット光有り画像に対してスリット光無し画像の撮像範囲のずれが無く、検出する対象物体の３次元形状の精度が高いものとすることができる。

但し、本実施例の撮像装置１の方が、構成部品が少なく、小型で安価なものとすることができる。

本実施例の全体構成を表す図である。 本実施例の全体構成を表すブロック図である。 本実施例のスリット光投光ユニット２０の構成を表す図である。 本実施例の反射ミラー２５を説明するための図である。 本実施例のプロセッサ４０における処理を表すフローチャート図である。 本実施例のスリット光有り画像を説明するための図である。 本実施例の３次元空間位置算出方法を説明するための図である。 本実施例の原稿姿勢演算の際の座標系を説明するための図である。 本実施例の平面変換プログラム４２５による処理を表すフローチャート図である。 本実施例のスリット光投光ユニット２０の変形例を表す図である。 本実施例のスリット光投光ユニット２０の変形例を表す図である。 本実施例における、スミアの発生について説明するための図である。

符号の説明

１…撮像装置、１０…本体ケース、２０…スリット光投光ユニット、２１…レーザーダイオード、２２…コリメートレンズ、２３…アパーチャ、２４…ロッドレンズ、２５,２６…反射ミラー、２７…透明平板、２８…ミラーデバイス、２９…窓、３１…結像レンズ、３２…ＣＣＤ画像センサ、４０…プロセッサ、５２…レリーズボタン、５３…ファインダ、５５…カードメモリ、５９…モード切替スイッチ、４２１…カメラ制御プログラム、４２２…差分抽出プログラム、４２３…三角測量演算プログラム、４２３…平面変換プログラム、４２４…原稿姿勢演算プログラム、４２５…平面変換プログラム、４３１…スリット光有り画像格納部、４３２…スリット光無し画像格納部、４３３…差分画像格納部、４３４…三角測量演算結果格納部、４３５…原稿姿勢演算格納部、４３６…ワーキングエリア、Ｐ…原稿。

Claims (9)

1. 光ビームを出力する光出力手段と、
   前記光出力手段による光ビームを、所定の角度幅で平面状に放射される光束であるスリット光に変換し、該スリット光を対象物体へ投光するためのスリット光投光手段と、
   前記スリット光が投光された対象物体の画像を、前記スリット光投光手段に対して一定距離離れた位置から撮像する投光像撮像手段と、
   前記投光像撮像手段で撮像された画像に基づき、対象物体に投光された前記スリット光の位置を算出して対象物体の３次元形状を求める演算を行う３次元形状演算手段と、
   を備える３次元形状検出装置において、
   前記スリット光投光手段は、前記スリット光の前記角度幅方向の一部を偏向して、該偏向により該スリット光の前記角度幅方向の一部が欠落する第１スリット光と、該スリット光から偏向される第２スリット光とを形成して出射する、
   ことを特徴とした３次元形状検出装置。
2. 前記スリット光投光手段は、
   光を所定角度で反射する第１反射面により、前記スリット光を反射して前記第１スリット光を出射し、
   前記第１反射面に対して前記第１スリット光の光路方向に対して所定角度傾斜して光を反射する第２反射面により、前記スリット光を反射して前記第２スリット光を出射する、
   ことを特徴とする請求項１に記載の３次元形状検出装置。
3. 前記スリット光投光手段が出射する第１スリット光は、
   前記偏向により欠落する箇所が、前記スリット光の端部を含まないことを特徴とする請求項１又は請求項２に記載の３次元形状検出装置。
4. 前記スリット光投光手段にて出射される前記第１スリット光は、
   前記角度幅方向における略中央部の光束が欠落して形成される、
   ことを特徴とする請求項１〜請求項３にいずれか記載の３次元形状検出装置。
5. 前記スリット光の投光方向に対して交差する方向に略均一な３次元形状を持った対象物体の３次元形状を検出するために用いられることを特徴とする請求項１〜請求項４にいずれか記載の３次元形状検出装置。
6. 前記スリットの投光方向に対して交差する方向に略均一な３次元形状を持った対象物体が、略シート状であることを特徴とする請求項５に記載の３次元形状検出装置。
7. 対象物体の所定の面を任意の方向から撮像するための撮像手段と、
   該撮像手段で撮像された画像を画像データとして記憶する記憶手段と、
   対象物体の３次元形状を取得する３次元形状取得手段と、
   該３次元形状取得手段で取得された対象物体の３次元形状を基に、前記記憶手段に記憶された画像データに対して、対象物体の所定の面の略鉛直方向から観察される平面画像データとなるように補正する画像補正手段と、
   を備える撮像装置において、
   前記３次元形状取得手段は、請求項１〜請求項６にいずれか記載の３次元形状検出装置で構成されることを特徴とする撮像装置。
8. 前記撮像手段、前記記憶手段、前記３次元形状取得手段、及び、前記画像補正手段を、当該撮像装置の本体ケース内に内蔵させたことを特徴とする請求項７に記載の撮像装置。
9. 光ビームを出力し、
   該光ビームを所定の角度幅で平面状に放射される光束であるスリット光に変換して、対象物体へ投光するために該スリット光を出射し、
   出射される前記スリット光に対して一定距離離れた位置から、前記スリット光が投光された対象物体の画像を撮像し、
   撮像された画像に基づき、対象物体に投光された前記スリット光の位置を算出して、対象物体の３次元形状を求める演算を行い、
   対象物体の３次元形状を検出する３次元形状検出方法において、
   出射される前記スリット光は、光ビームから変換したスリット光の角度幅方向の一部を偏向して、該偏向により該スリット光の前記角度幅方向の一部が欠落する第１スリット光と、該スリット光から偏向される第２スリット光とからなる、
   ことを特徴とした３次元形状検出方法。
   
   

Images