JP3892632B2

JP3892632B2 - 静止物体画像検出装置と静止物体画像検出方法

Info

Publication number: JP3892632B2
Application number: JP30068099A
Authority: JP
Inventors: 山本　　清
Original assignee: ペンタックス株式会社
Priority date: 1999-10-22
Filing date: 1999-10-22
Publication date: 2007-03-14
Anticipated expiration: 2019-10-22
Also published as: JP2001119723A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等の静止画像を撮影する画像検出装置とその画像検出方法および、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
カメラ等を用いて、風景や建物などを撮影する際、目的とする被写体の前後を往来する人や車両が撮影されないようにするには、通常往来が途切れるのを待たなければならず撮影は容易ではない。往来する通行人や車両の途切れるのを待たずに目的とする風景や建物などの画像を撮影する装置および方法として、特開平１０−３４１３９５号公報に開示されたものが知られている。これは、被写体を繰り返し撮影し、撮影された画像間において各画素の画素値を比較し、所定数の画像において同一の画素値をとるとき、その画素の画素値を確定するというもので、これを全ての画素の画素値が確定されるまで繰り返すことにより、移動物を含む画像から静止物に対応する画像のみを抽出し、静止物のみからなる画像を合成するものである。
【０００３】
一方、被写体までの距離を画素毎に検出する３次元画像検出装置としては、「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載されたものや、国際公開97/01111号公報に開示されたものなどが知られている。これらの３次元画像検出装置では、パルス変調されたレーザ光が被写体に照射され、その反射光が２次元ＣＣＤセンサによって受光され、電気信号に変換される。このとき２次元ＣＣＤと組み合わされたメカニカルまたは液晶表示等からなる電気工学的シャッタのシャッタ動作を制御することにより、被写体までの距離に相関する電気信号をＣＣＤの各画素毎に検出することができる。この電気信号からＣＣＤの各画素毎に対応する被写体までの距離が検出される。なお、このときの距離の検出は、１回のシャッタ動作により行なわれる。
【０００４】
【発明が解決しようとする課題】
特開平１０−３４１３９５号公報に開示された装置および方法では、撮影された複数の画像において、所定の数の画像が同一の画素値をとるとき、その画素の画素値を確定し、移動する物体を含む画像から静止した物体の画像を抽出している。したがって、低速で移動している単色の物体や、撮影動作の開始後暫く動かず、撮影動作の途中から突然移動を始めた物体などが画像中に含まれる場合には、移動する物体の画像を抽出してしまう可能性がある。
【０００５】
本発明は、３次元画像検出装置により画素毎に検出される被写体までの距離情報に基づいて、移動する物体を含む画像から静止した物体の距離情報または画像情報を精度よく検出することを目的としている。
【０００６】
【課題を解決するための手段】
本発明の静止物体画像検出装置は、画像の各画素値が被写体までの距離情報に対応した３次元画像を検出する３次元画像検出手段と、３次元画像検出手段を駆動して、同一地点、同一方向からの第１の３次元画像と第２の３次元画像を所定の時間間隔をおいて検出し、第１および第２の３次元画像間で各画素毎に対応する距離情報を比較し、より遠距離の距離情報を示す画素を各画素毎に選択する画素選択手段とを備えることを特徴としている。
【０００７】
静止物体画像検出装置は好ましくは、画像の各画素値が被写体の視覚情報に対応した２次元画像を検出する２次元画像検出手段と、第１の３次元画像に対応する第１の２次元画像と、第２の３次元画像に対応する第２の２次元画像とを検出し、画素選択手段により選択された画素に対応する２次元画像の画素値を各画素毎に抽出することにより、より遠距離にある被写体の２次元画像を生成する２次元画像生成手段とを備える。
【０００８】
好ましくは視覚情報に対応する画素値は、赤、緑、青の三色表色系に対応する３つの画素値である。
【０００９】
好ましくは、静止物体画像検出装置は画素選択手段により選択された画素値から、より遠距離にある被写体の３次元画像を生成する。
【００１０】
好ましくは、画素選択手段において第１の３次元画像と第２の３次元画像の距離情報が等しいとき、２次元画像生成手段における第１及び第２の２次元画像からの画素値の抽出が、各２次元画像の画素値に対応する輝度の大小を比較することにより行われる。
【００１１】
また本発明の静止物体画像検出方法は、３次元画像と３次元画像に対応した２次元画像とを繰り返し撮影し、各画素毎に、繰り返し撮影された画像の中で最も遠距離の距離情報を保持する３次元画像の画素に対応する２次元画像の画素値を用いて、被写体の２次元画像を生成することを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の一実施形態であるカメラ型の画像検出装置の斜視図である。
【００１３】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２が設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５、液晶表示パネル１６が設けられ、右側にはモード切替ダイヤル１７が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、また、ビデオ出力端子２０、インターフェースコネクタ２１が設けられている。
【００１４】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１５】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８には、撮影レンズ１１によって被写体像が形成され、被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１６】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。
【００１７】
カメラをカメラ本体１０の外部に設けられたモニタ装置３９とケーブルで接続すれば、画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８、ビデオ出力端子２０を介してモニタ装置３９に伝送可能である。またシステムコントロール回路３５はインターフェース回路４０に接続されており、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがってカメラをカメラ本体１０の外部に設けられたコンピュータ４１とインターフェースケーブル４１を介して接続すれば、画像メモリ３４から読み出された画像信号をコンピュータに伝送可能である。また、システムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１８】
発光装置１４は発光素子１４ａと照明レンズ１４ｂにより構成され、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａはレーザダイオード（ＬＤ）であり、照射されるレーザ光は被写体の距離を検出するための測距光として用いられる。このレーザ光は照明レンズ１４ｂを介して被写体の全体に照射される。被写体で反射したレーザ光が撮影レンズ１１に入射し、ＣＣＤ２８で検出されることにより被写体までの距離情報が検出される。
【００１９】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００２０】
次に、図３のフローチャートを参照して本実施形態において実行される撮影動作について説明する。
【００２１】
本実施形態における撮影動作では、被写体の視覚情報に対応する２次元画像（通常のＣＣＤビデオ制御により検出される画像情報）と、距離情報に対応する３次元画像（距離情報検出動作により検出される画像情報）とを所定回数検出し、これらのデータに基づいて往来物などの移動物を除去して目的とする静止物の画像を生成する。なお、この撮影動作は、モード切替ダイアル１７を移動物を除去する撮影モードに設定したときに実行される。
【００２２】
ステップ１０１においてレリーズスイッチ１５が全押しされていることが確認されるとステップ１０２が実行され、撮影回数を表す変数Ｎに初期設定値である１が代入される。次にステップ１０３において、被写体の第１（Ｎ＝１）の２次元画像が画像情報検出動作（２次元画像検出手段）により撮影される。ステップ１０４では、被写体の第１（Ｎ＝１）の３次元画像が距離情報検出動作（３次元画像検出手段）により検出される。
【００２３】
ステップ１０５では、Ｎ＝１であるか否かが判定される。Ｎ＝１であると判定されると、ステップ１０７に処理は移る。Ｎ≠１であると判定されると、ステップ１０６において２次元画像中の移動物に対応する画像を除去するための画像処理が実行される。
【００２４】
ステップ１０７では、Ｎ＝Ｍであるか否かが判定される。Ｍは本撮影動作において設定された所定の検出（撮影）回数であり、Ｎ＝Ｍであると判定されるとこの撮影動作は終了する。Ｎ≠Ｍと判定されると、ステップ１０８においてＮに１が加算され、処理は再びステップ１０３に戻る。ステップ１０３〜ステップ１０８は、ステップ１０７においてＮ＝Ｍと判定されるまで繰り返し実行される。したがって、本撮影動作の終了時にはＭ組の２次元画像と３次元画像とが検出されている。なお、Ｍのデフォルト値はカメラ製造時または出荷時に設定され、ＲＯＭ等に記録されている。
【００２５】
図４は、ステップ１０３において実行される画像検出動作のフローチャートである。
ステップ２０１において、通常のＣＣＤビデオ制御がオン状態に設定され、被写体の第Ｎの２次元画像が撮影される。撮影された第Ｎの２次元画像の画像データは、ステップ２０２において画像メモリ３４に一時的に記憶される。ステップ２０３では、通常のＣＣＤビデオ制御がオフ状態に設定され、この処理は終了する。
【００２６】
次に、ステップ１０４において実行される距離情報検出動作について説明する。まず、図５および図６を参照して、本実施形態における距離測定の基本原理について説明する。なお図６において横軸は時間ｔである。
【００２７】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２・・・（１）
により得られる。ただしＣは光速である。
【００２８】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２９】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被写体Ｓの表面の各点までの距離をそれぞれ検出し、被写体Ｓの表面形状に関する３次元画像のデータを一括して入力している。
【００３０】
図７は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図８は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００３１】
フォトダイオード５１と垂直転送部５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図７において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００３２】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、被写体からの反射光の光量（受光量Ａ）に応じた信号電荷が検出される。
【００３３】
図９は本実施形態における距離情報検出動作におけるタイミングチャートであり、図１、図２、図７〜図９を参照して本実施形態における距離情報検出動作について説明する。なお本実施形態の距離情報検出動作では、図６を参照して行なった距離測定の基本原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【００３４】
垂直同期信号（図示せず）の出力に同期して電荷掃出し信号（パルス信号）Ｓ１が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出され、フォトダイオード５１における蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し信号Ｓ１の出力の開始の後、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力される期間（パルス幅）は調整可能であり、図示例では、電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフするように調整されている。
【００３５】
測距光Ｓ３は被写体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被写体からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１が出力されている間は、フォトダイオード５１において電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１の出力が停止されると、フォトダイオード５１では、反射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ４と外光とに起因する信号電荷Ｓ５が発生する。反射光Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１では、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。
【００３６】
その後、電荷転送信号Ｓ９が出力されると、フォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。この電荷転送は、電荷転送信号の出力の終了（符号Ｓ１０）によって完了する。すなわち、外光が存在するためにフォトダイオード５１では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード５１に蓄積されていた信号電荷Ｓ１１が垂直転送部５２へ転送される。電荷転送信号の出力終了後に蓄積している電荷Ｓ１４は、そのままフォトダイオード５１に残留する。
【００３７】
このように電荷掃出し信号Ｓ１の出力の終了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ_U1の間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光Ｓ４の受光終了（符号Ｓ６）までフォトダイオード５１に蓄積している電荷が、被写体の距離情報と対応した信号電荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、その他の信号電荷Ｓ１３は外光のみに起因するものである。
【００３８】
電荷転送信号Ｓ９の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３９】
このような信号電荷Ｓ１１の垂直転送部５２への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ１１が積分され、１フィールドの期間（２つの垂直同期信号によって挟まれる期間）に積分された信号電荷Ｓ１１は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。なお信号電荷Ｓ１３は信号電荷Ｓ１２に比べ微小であるため信号電荷Ｓ１１は信号電荷Ｓ１２と等しいと見なすことができる。
【００４０】
以上説明した信号電荷Ｓ１１の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間における検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によってＣＣＤ２８から出力される。
【００４１】
図１０は、ステップ１０４において実行される距離情報検出動作のフローチャートである。
【００４２】
ステップ３０１では、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ３０２が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図９を参照して説明した距離情報検出動作が開始され、電荷掃出信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離情報の信号電荷Ｓ１１が垂直転送部５２において積分される。
【００４３】
ステップ３０３では、距離情報検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ３０４へ進み、垂直転送部５２において積分された距離情報の信号電荷がＣＣＤ２８から出力される。この信号電荷はステップ３０５において画像メモリ３４に一時的に記憶される。
【００４４】
ステップ３０６では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。ステップ３０７では、距離データの演算処理が行なわれ、ステップ３０８において、演算された距離データが３次元画像データとして画像メモリ３４に一時的に記憶される。
【００４５】
次に距離情報検出動作のステップ３０７において実行される演算処理の内容を図９を参照して説明する。
【００４６】
反射率Ｒの被写体が照明され、この被写体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオードに発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００４７】
図９に示されるように電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S、距離情報の信号電荷Ｓ１２のパルス幅をＴ_Dとし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力ＳＭ₁₀は、

となる。なお、パルス幅Ｔ_Dは

と表せる。このとき被写体までの距離ｒは
ｒ＝Ｃ・ＳＭ₁₀／（２・ｋ・Ｎ・Ｒ・Ｉ）・・・（５）
で表せる。したがって比例定数ｋ、反射率Ｒ、輝度Ｉを予め求めておけば距離ｒが求められる。
【００４８】
次に図１１〜図１３を参照して、ステップ１０６（図３）において実行される画像処理について説明する。図１１（ａ）〜図１１（ｃ）は、画像情報検出手段（ステップ１０３）を３回駆動することにより得られた第１、第２、第３の２次元画像である。
【００４９】
図１１（ａ）〜図１１（ｃ）で示されたそれぞれの撮影画像中には、撮影目的物である家Ｏ₁および木Ｏ₂と、撮影目的物以外の犬Ｏ₃が撮影されている。犬Ｏ₃は、右から左へと画面の中を移動しており、第１、第２、第３の２次元画像は、所定の時間間隔をおいて撮影されているので、各画像毎に犬Ｏ₃の撮像されている位置が異なる。すなわち図１１（ａ）では画面の右側に、図１１（ｂ）では画面の中央に、図１１（ｃ）では画面の左側にそれぞれ犬Ｏ₃の像が撮像されている。撮影目的物である家Ｏ₁、木Ｏ₂は静止物なので、第１から第３の２次元画像それぞれにおいて、その位置は変化しない。図１２は、第１〜第３の２次元画像（図１１（ａ）〜図１１（ｃ））と、各２次元画像に対応する３次元画像に基づいて生成された２次元画像であり、静止物である家Ｏ₁と木Ｏ₂以外の移動物である犬Ｏ₃は画像中から除去されている。
【００５０】
静止物の背後にある移動物は撮影されることはなく、撮影される移動物は常に風景等の静止物の手前に位置している。したがって、複数の３次元画像の中で、各画素毎に最も遠い距離を示す画素値は、静止物までの距離に対応している。すなわち各画素毎に、最も遠い距離を保持する画素に対応する２次元画像の画素値を選択することにより、移動物の画像を取り除いた静止物のみの２次元画像を生成することができる。
【００５１】
例えば、図１１（ａ）〜図１１（ｃ）の各図に示された３つの点Ｑ₀、Ｑ₁、Ｑ₂は、図１１（ａ）〜図１１（ｃ）で示された３つの２次元画像において同一画素に対応する画素点である。３つの画像において画素点Ｑ₀に対応する被写体までの距離が最も遠いのは第２及び第３の２次元画像（図１１（ｂ）、図１１（ｃ））であり、家Ｏ₁上の点に対応している。画素点Ｑ₁に対応する被写体までの距離が最も遠いのは第１及び第３の２次元画像（図１１（ａ）、図１１（ｃ））であり、木Ｏ₂上の点に対応している。また、画素点Ｑ₂に対応する被写体までの距離が最も遠いのは第１及び第２の２次元画像（図１１（ａ）、図１１（ｂ））であり、無限遠の点に対応している。
【００５２】
これら各画素毎の距離の比較は各２次元画像と対をなす３次元画像の画素値によって行なうことができる。したがって、画素点Ｑ₀に関しては、第２または第３の２次元画像の画素値を、画素点Ｑ₁に関しては第１または第３の２次元画像の画素値を、画素点Ｑ₂に関しては第１または第２の２次元画像の画素値を採用することにより、図１２のように移動物である犬Ｏ₃が画像中から除去された画像を生成することができる。なお本実施形態では、画素点Ｑ₀、Ｑ₁、Ｑ₂のように採用する２次元画像の画素値に複数の選択肢がある場合には、各２次元画像の画素値において輝度の大きい方を採用している。これは撮影動作中に撮影条件等が変化し、同一被写体の２次元画像の画素値が異なる場合にも、各画素毎に採用される画素値のむらが小さくなるようにするためである。
【００５３】
図１３は、ステップ１０６で実行される画像処理ルーチンのフローチャートである。
【００５４】
図１３の変数Ｘ、Ｙの組（Ｘ，Ｙ）はＣＣＤ２８における画素（フォトダイオード）の２次元的な配列に対応している。すなわち、Ｘは水平方向の配列に、Ｙは垂直方向の配列に対応している。例えばＸ＝３、Ｙ＝５のとき、変数Ｘ、Ｙの組（３，５）は左から３画素目、上から５画素目にあるＣＣＤ２８の画素を表している。変数Ｄ（Ｘ，Ｙ）と変数Ｐ（Ｘ，Ｙ）は、それぞれ３次元画像及び２次元画像における画素（Ｘ，Ｙ）の画素値を表している。すなわち変数Ｄ（Ｘ，Ｙ）は被写体までの距離情報に対応しており、変数Ｐ（Ｘ，Ｙ）は、例えば赤（Ｒ）、緑（Ｇ）、青（Ｂ）に関する３つの画素値に対応したもので、これら３つの画素値を代表して１つの変数で表している。
【００５５】
変数Ｄ（Ｘ、Ｙ）、Ｐ（Ｘ，Ｙ）には、第１の３次元画像及び第１の２次元画像の撮影が行なわれた際（ステップ１０４、ステップ１０３）、各画像に対応する画素値がそれぞれ代入される。すなわち、画像処理ルーチンが起動されたときには、図１１（ａ）で示された画像に対応する各画素値が、変数Ｄ（Ｘ、Ｙ）、Ｐ（Ｘ，Ｙ）に代入されている。
【００５６】
ステップ４０１では、変数Ｘ、Ｙの初期設定が行われ、各変数Ｘ、Ｙはそれぞれ１に設定される。
【００５７】
ステップ４０２では、第Ｎの３次元画像における画素（Ｘ，Ｙ）の画素値ＤＮ（Ｘ，Ｙ）が、画素値Ｄ（Ｘ，Ｙ）と比較される。画素値ＤＮ（Ｘ，Ｙ）が画素値Ｄ（Ｘ，Ｙ）よりも小さいと判定されると、ステップ４０６においてＤ（Ｘ，Ｙ）の値はＤＮ（Ｘ，Ｙ）の値に書き換えられ、同時にＰ（Ｘ，Ｙ）の値が第Ｎの２次元画像の画素値ＰＮ（Ｘ，Ｙ）に書き換えられる。すなわちＤ（Ｘ，Ｙ）及びＰ（Ｘ，Ｙ）には、より被写体までの距離が遠い３次元画像及び２次元画像の画素値がそれぞれ保持される。ステップ４０６においてＤ（Ｘ，Ｙ）とＰ（Ｘ，Ｙ）の値が書き換えられると、処理はステップ４０７へ移行する。
【００５８】
一方、ステップ４０２において、第Ｎの３次元画像における画素（Ｘ，Ｙ）の画素値ＤＮ（Ｘ，Ｙ）の値が、画素値Ｄ（Ｘ，Ｙ）の値以上であると判定されると、ステップ４０３においてＤＮ（Ｘ，Ｙ）の値がＤ（Ｘ，Ｙ）の値と等しいか否かが判定される。Ｄ（Ｘ，Ｙ）≠ＤＮ（Ｘ，Ｙ）と判定されると、処理はステップ４０７に移る。またＤ（Ｘ，Ｙ）＝ＤＮ（Ｘ，Ｙ）と判定されると、ステップ４０４においてＰ（Ｘ，Ｙ）とＰＮ（Ｘ，Ｙ）の輝度Ｂ（Ｐ（Ｘ，Ｙ））とＢ（ＰＮ（Ｘ，Ｙ））の値が比較される。第Ｎの２次元画像の輝度Ｂ（ＰＮ（Ｘ，Ｙ））がＢ（Ｐ（Ｘ，Ｙ））以下のとき処理はステップ４０７へ移る。また、第Ｎの２次元画像の輝度Ｂ（ＰＮ（Ｘ，Ｙ））がＢ（Ｐ（Ｘ，Ｙ））よりも大きいとき、ステップ４０５においてＰ（Ｘ，Ｙ）の値が第Ｎの２次元画像の画素値ＰＮ（Ｘ，Ｙ）に書き換えられる。すなわち、Ｄ（Ｘ，Ｙ）＝ＤＮ（Ｘ，Ｙ）のときには、より輝度が大きい画素値がＰ（Ｘ，Ｙ）に保持される。なお、Ｂ（Ｐ（Ｘ，Ｙ））は変数Ｐ（Ｘ，Ｙ）に保持されたＲＧＢの画素値の輝度を求める関数である。
【００５９】
ステップ４０７では、Ｘが水平方向の画素数Ｈに等しいか否かが判定される。Ｘ≠Ｈと判定されたとき、ステップ４０８においてＸに１が加算され、処理はステップ４０２へ戻る。ステップ４０２〜ステップ４０８は、ステップ４０７においてＸ＝Ｈと判定されるまで繰り返し実行される。すなわちステップ４０２〜ステップ４０８が繰り返し実行されることにより、１水平ラインの画素に対する各画素値の比較が行われ、１水平ラインのＤ（Ｘ，Ｙ）、Ｐ（Ｘ，Ｙ）の値が設定される。
【００６０】
一方、ステップ４０７においてＸ＝Ｈと判定されると、ステップ４０９においてＹが垂直方向の画素数Ｖに等しいか否かが判定される。Ｙ≠Ｖと判定されたときには、Ｘは１に設定され、Ｙには１が加算されて処理はステップ４０２へ戻る。ステップ４０３〜ステップ４１０は、ステップ４０９においてＹ＝Ｖと判定されるまで繰り返し実行される。すなわち、ステップ４０３〜ステップ４１０が繰り返し実行されることにより、一番上の水平ラインから順に一番下の水平ラインまで、各画素に対応する各画素値の比較が行なわれ、Ｄ（Ｘ，Ｙ）、Ｐ（Ｘ，Ｙ）の値が設定される。ステップ４０９においてＹ＝Ｖと判定されると、この画像処理のサブルーチンは終了する。
【００６１】
なお、画像処理ルーチンは、図３で示された撮影動作中、繰り返し実行され、撮影動作終了時には、Ｍ枚の２次元画像から、静止物のみの２次元画像が生成され変数Ｐ（Ｘ，Ｙ）に保持される。また変数Ｄ（Ｘ，Ｙ）には、静止物に対応する距離情報が保持される。これらの変数Ｐ（Ｘ，Ｙ）および変数Ｄ（Ｘ，Ｙ）の値は、撮影動作終了時に記録媒体Ｍなどに記録される。
【００６２】
このように本実施形態によれば、距離情報をもとに静止物の画像を検出しているので、撮影動作中一度でも静止した撮影目的物が撮影されれば確実に静止画像を検出することができる。
【００６３】
なお、本実施形態の撮影動作では、所定回数繰り返し撮影を行なったが、例えばレリーズスイッチ１５が押されている間、繰り返し撮影を行なうようにしてもよい。
【００６４】
また、本実施形態では、対となる２次元画像と３次元画像の撮影を順番に行なったが、ＣＣＤを２つ設け、ハーフミラー等を利用して同時に撮影してもよい。
【００６５】
【発明の効果】
以上のように本発明によれば、３次元画像検出装置により画素毎に検出される被写体までの距離情報に基づいて、移動する物体を含む画像から静止した物体の距離情報または画像情報を精度よく検出することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態であるカメラ型の測距装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】本実施形態における撮影動作のフローチャートである。
【図４】画像情報検出動作のフローチャートである。
【図５】測距光による距離測定の原理を説明するための図である。
【図６】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図７】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図８】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図９】被写体までの距離に関するデータを検出する距離情報検出動作のタイミングチャートである。
【図１０】距離情報検出動作のフローチャートである。
【図１１】第１、第２、第３の２次元画像を示す図である。
【図１２】図１１の第１、第２、第３の２次元画像を画像処理することにより生成された目的被写体である静止物のみが記録された２次元画像である。
【図１３】画像処理ルーチンのフローチャートである。
【符号の説明】
１４発光装置
２８ＣＣＤ

Claims

画像の各画素値が被写体までの距離情報に対応した３次元画像を検出する３次元画像検出手段と、
前記３次元画像検出手段を駆動して、同一地点、同一方向からの第１の３次元画像と第２の３次元画像を所定の時間間隔をおいて検出し、前記第１および第２の３次元画像間で各画素毎に対応する距離情報を比較し、前記距離情報が異なる場合には、より遠距離の距離情報を示す画像の画素を選択し、前記距離情報が同一の場合には前記第１および第２の３次元画像のうち所定の画像の画素を選択する画素選択手段と
を備えることを特徴とする静止物体画像検出装置。
画像の各画素値が被写体の視覚情報に対応した２次元画像を検出する２次元画像検出手段と、
前記第１の３次元画像に対応する第１の２次元画像と、前記第２の３次元画像に対応する第２の２次元画像とを検出し、前記画素選択手段により選択された画素に対応する２次元画像の画素値を各画素毎に抽出することにより、より遠距離にある被写体の２次元画像を生成する２次元画像生成手段と
を備えることを特徴とする請求項１に記載の静止物体画像検出装置。
前記視覚情報に対応する画素値が、赤、緑、青の三色表色系に対応する３つの画素値であることを特徴とする請求項２に記載の静止物体画像検出装置。
前記画素選択手段により選択された画素値から、より遠距離にある被写体の３次元画像を生成することを特徴とする請求項１に記載の静止物体画像検出装置。
前記画素選択手段において前記第１の３次元画像と前記第２の３次元画像の距離情報が等しいとき、前記２次元画像生成手段における前記第１及び第２の２次元画像からの画素値の抽出が、前記各２次元画像の画素値に対応する輝度の大小を比較することにより行われることを特徴とする請求項２に記載の静止物体画像検出装置。
画像の各画素値が被写体までの距離情報に対応した３次元画像と、前記３次元画像に対応し、画像の各画素値が被写体の視覚情報に対応した２次元画像とを繰り返し撮影し、
各画素毎に、前記繰り返し撮影された画像の中で最も遠距離の距離情報を保持する３次元画像の画素に対応する前記２次元画像の画素値を用いて、被写体の２次元画像を生成することを特徴とする静止物体画像検出方法。