JP4413342B2 - ３次元画像検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、光伝播時間測定法を用いて被写体の３次元形状等を検出する３次元画像検出装置に関する。
【０００２】
【従来の技術】
従来、被写体までの距離を画素毎に検出する３次元画像検出装置としては、「Measurement Science and Technology」（S. Christie 他、vol.6, p1301-1308, 1995 年）に記載されたものや、国際公開97/01111号公報に開示されたものなどが知られている。これらの３次元画像検出装置では、パルス変調されたレーザ光が被写体に照射され、その反射光が２次元ＣＣＤセンサによって受光され、電気信号に変換される。このとき２次元ＣＣＤと組み合わされたメカニカルまたは液晶素子等からなる電気工学的シャッタの１回のシャッタ動作により、被写体までの距離に相関する電気信号をＣＣＤの各画素毎に検出することができる。この電気信号からＣＣＤの各画素毎に対応する被写体までの距離が、画像情報として検出される。
【０００３】
【発明が解決しようとする課題】
しかし、検出された被写体までの画像情報には、検出の目的となる被写体を配置するための台や背景となる壁面など、目的とする被写体以外の物体の画像情報も含まれる。したがって、目的とする被写体の３次元形状に関するデータのみを抽出するには、画像情報から得られる３次元形状に関するデータの中から、これら不要な物体に対応するデータを削除しなければならない。
【０００４】
本発明は、画素毎に被写体までの距離情報を検出して得られる撮影画像全体の３次元形状に関する情報の中から、目的とする被写体に関する情報のみを簡単に抽出可能な３次元画像検出装置を得ることを目的としている。
【０００５】
【課題を解決するための手段】
本発明の３次元画像検出装置は、被写体までの距離情報を画素毎に検出する３次元画像検出手段と、距離情報から各画素に対応する被写体表面上の点の３次元的な位置を表す位置データを生成する３次元データ生成手段と、３次元画像検出手段により撮影された空間内の平面を指定するための平面指定手段と、平面の情報に基づいて位置データの一部を除去するデータ除去手段とを備えることを特徴としている。
【０００６】
好ましくは平面指定手段において、平面は３つの画素に対応する被写体表面上の点により指定される。
【０００７】
３次元画像検出装置は好ましくは、被写体の視覚情報である２次元画像を検出する２次元画像検出手段と、２次元画像を表示するための画像表示手段と、画像表示手段に表示された画像の任意の画素を指定するための入力手段とを備える。これにより、オペレーターは容易に不要な物体に対応する平面を指定することができる。
【０００８】
例えば、平面を指定するための３つの画素の各々は、入力手段により指定される。あるいは、平面を指定するための３つの画素のうち２つの画素が入力手段により指定され、残りの画素は入力手段により指定された２つの画素の一方から所定方向へ所定距離離れた画素であってもよい。更に、平面を指定するための３つの画素のうち１つの画素が入力手段により指定され、残りの２つの画素は入力手段により指定された画素から各々所定方向へ所定距離離れた画素であってもよい。
【０００９】
３次元画像検出装置は好ましくは、データ除去手段により一部のデータが除去された位置データを記録媒体に記録可能である。このときより好ましくは、データ除去手段により、一部のデータが除去された位置データに対応する２次元画像を記録媒体に記録可能である。
【００１０】
好ましくは、各位置データから平面と各画素に対応する被写体表面上の点の距離を求め、この距離に基づいてデータの除去を行なう。
【００１１】
好ましくは位置データは、３次元画像検出装置を基準とした座標系の座標値である。
【００１２】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図１は、本発明の第１の実施形態であるカメラ型の画像検出装置の斜視図である。
【００１３】
カメラ本体１０の前面において、撮影レンズ１１の左上にはファインダ窓１２ａが設けられ、右上にはストロボ１３が設けられている。カメラ本体１０の上面において、撮影レンズ１１の真上には、測距光であるレーザ光を照射する発光装置１４が配設されている。発光装置１４の左側にはレリーズスイッチ１５、液晶表示パネル１６が設けられ、右側にはモード切替ダイヤル１７が設けられている。カメラ本体１０の側面には、ＩＣメモリカード等の記録媒体を挿入するためのカード挿入口１９が形成され、また、ビデオ出力端子２０、インターフェースコネクタ２１が設けられている。カメラ本体１０の背面（図１４参照）には画像表示ＬＣＤパネル（画像表示部）３７が設けられており、ＬＣＤパネル３７の表面には、透明なタッチパネル（タッチセンサ）２３（図２参照）がシート状に重ねて配設されている。またＬＣＤパネル３７の上方にはファインダー窓（接眼側）１２ｂ（図１４参照）が設けられている。
【００１４】
図２は図１に示すカメラの回路構成を示すブロック図である。
撮影レンズ１１の中には絞り２５が設けられている。絞り２５の開度はアイリス駆動回路２６によって調整される。撮影レンズ１１の焦点調節動作およびズーミング動作はレンズ駆動回路２７によって制御される。
【００１５】
撮影レンズ１１の光軸上には撮像素子（ＣＣＤ）２８が配設されている。ＣＣＤ２８の撮像面には、撮影レンズ１１によって被写体像が形成され、これによりＣＣＤ２８において被写体像に対応した電荷が発生する。ＣＣＤ２８における電荷の蓄積動作、電荷の読出動作等の動作はＣＣＤ駆動回路３０によって制御される。ＣＣＤ２８から読み出された電荷信号すなわち画像信号はアンプ３１において増幅され、Ａ／Ｄ変換器３２においてアナログ信号からデジタル信号に変換される。デジタルの画像信号は撮像信号処理回路３３においてガンマ補正等の処理を施され、画像メモリ３４に一時的に格納される。アイリス駆動回路２６、レンズ駆動回路２７、ＣＣＤ駆動回路３０、撮像信号処理回路３３はシステムコントロール回路３５によって制御される。
【００１６】
画像信号は画像メモリ３４から読み出され、ＬＣＤ駆動回路３６に供給される。ＬＣＤ駆動回路３６は画像信号に応じて動作し、これにより画像表示ＬＣＤパネル３７には、画像信号に対応した画像が表示される。また、システムコントロール回路３５には、タッチパネル２３が接続されており、ＬＣＤパネル３７の画面の特定の位置をポインティングペン（図１４参照）で触れると、触れられた点のタッチパネル２３上の位置が検出され、対応するＬＣＤパネル３７の画素を検出することができる。
【００１７】
カメラをカメラ本体１０の外部に設けられたモニタ装置３９とケーブルで接続すれば、画像メモリ３４から読み出された画像信号はＴＶ信号エンコーダ３８、ビデオ出力端子２０を介してモニタ装置３９に伝送可能である。またシステムコントロール回路３５はインターフェース回路４０に接続されており、インターフェース回路４０はインターフェースコネクタ２１に接続されている。したがってカメラをカメラ本体１０の外部に設けられたコンピュータ４１とインターフェースケーブル４１を介して接続すれば、画像メモリ３４から読み出された画像信号をコンピュータに伝送可能である。また、システムコントロール回路３５は、記録媒体制御回路４２を介して画像記録装置４３に接続されている。したがって画像メモリ３４から読み出された画像信号は、画像記録装置４３に装着されたＩＣメモリカード等の記録媒体Ｍに記録可能である。
【００１８】
発光装置１４は発光素子１４ａと照明レンズ１４ｂにより構成され、発光素子１４ａの発光動作は発光素子制御回路４４によって制御される。発光素子１４ａはレーザダイオード（ＬＤ）であり、照射されるレーザ光は被写体の距離を検出するための測距光として用いられる。このレーザ光は照明レンズ１４ｂを介して被写体の全体に照射される。被写体で反射したレーザ光が撮影レンズ１１に入射し、ＣＣＤ２８で検出されることにより被写体までの距離情報が検出される。
【００１９】
システムコントロール回路３５には、レリーズスイッチ１５、モード切替ダイヤル１７から成るスイッチ群４５と、液晶表示パネル（表示素子）１６とが接続されている。
【００２０】
計測（撮影）の目的となる被写体を配置するための台や、その後方にある壁面など、目的となる被写体の背景と考えられる物体の３次元形状は、通常平面的な形状である。したがって、背景と考えられる平面に関するデータを検出された画像全体に対するデータの中から除去することにより、目的とする被写体に関するデータを抽出することができる。
【００２１】
図３は、本実施形態において実行される平面除去処理プログラムのフローチャートである。図３を参照して、本実施形態における平面除去処理について説明する。
【００２２】
平面除去処理のプログラムは、レリーズスイッチ１５が全押しされることにより起動される。ステップ１０１では、２次元画像の検出が行われる。すなわちＣＣＤ２８において通常のビデオ制御が行われ、被写体の視覚情報に対応した画像データが検出される。検出された画像データは、２次元画像データとして画像メモリ３４に一時的に記憶される。ステップ１０２では、被写体の距離情報に対応した３次元画像の検出が行われ、３次元画像データとして画像メモリ３４に一時的に記憶される。
【００２３】
ステップ１０３では、ステップ１０２において検出された３次元画像データに基づいて被写体の３次元座標データが算出され画像メモリ３４に一時的に記憶される。すなわち各画素に対応する被写体の３次元座標が、例えばカメラを基準とする座標系で表される。
【００２４】
ステップ１０４では、ステップ１０１において検出された２次元画像が画像表示ＬＣＤパネル３７に表示される。ステップ１０５では、オペレーターがＬＣＤパネル３７に表示された２次元画像を参照しながら、ＬＣＤパネル３７に設けられたタッチパネル２３とポインティングペン６０等（図１４参照）の入力装置を用いて、ＬＣＤパネル３７上の３点（画素）を指定することにより（図１５参照）、削除すべき平面を指定する。ステップ１０６では、指定された平面から所定の距離内にある３次元座標データが検出され、画像メモリ３４から削除される。すなわち、ステップ１０２において画像メモリ３４に一時的に記憶された３次元座標データは、システムコントロール回路３５に読み出され、指定された平面から所定の距離内にある３次元座標データを除いたデータのみが再び画像メモリ３４に記憶される。
【００２５】
ステップ１０７では、ステップ１０６において削除された３次元画像データに対応する画素の画素値が０に設定され、ＬＣＤパネル３７に表示される。これによりＬＣＤパネル３７には、指定された平面が削除された２次元画像が表示される。ステップ１０８では、不要な平面が削除された被写体の３次元座標データが記録媒体Ｍに保存され、この平面除去処理のプログラムは終了する。なお、このとき３次元画像データの削除に対応してその画素値が０に設定された２次元画像データも同時に記録媒体Ｍに保存されている。
【００２６】
次に図４および図５を参照して、本実施形態において実行される距離測定の原理について説明する。なお図５において横軸は時間ｔである。
【００２７】
距離測定装置Ｂから出力された測距光は被写体Ｓにおいて反射し、図示しないＣＣＤによって受光される。測距光は所定のパルス幅Ｈを有するパルス状の光であり、したがって被写体Ｓからの反射光も、同じパルス幅Ｈを有するパルス状の光である。また反射光のパルスの立ち上がりは、測距光のパルスの立ち上がりよりも時間δ・ｔ（δは遅延係数）だけ遅れる。測距光と反射光は距離測定装置Ｂと被写体Ｓの間の２倍の距離ｒを進んだことになるから、その距離ｒは
ｒ＝δ・ｔ・Ｃ／２ ・・・（１）
により得られる。ただしＣは光速である。
【００２８】
例えば測距光のパルスの立ち上がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がる前に検知不可能な状態に切換えるようにすると、すなわち反射光検知期間Ｔを設けると、この反射光検知期間Ｔにおける受光量Ａは距離ｒの関数である。すなわち受光量Ａは、距離ｒが大きくなるほど（時間δ・ｔが大きくなるほど）小さくなる。
【００２９】
本実施形態では上述した原理を利用して、ＣＣＤ２８に設けられ、２次元的に配列された複数のフォトダイオードにおいてそれぞれ受光量Ａを検出することにより、カメラ本体１０から被写体Ｓの表面の各点までの距離をそれぞれ検出し、被写体Ｓの表面形状に関する距離情報を３次元画像データとして一括して入力している。
【００３０】
図６は、ＣＣＤ２８に設けられるフォトダイオード５１と垂直転送部５２の配置を示す図である。図７は、ＣＣＤ２８を基板５３に垂直な平面で切断して示す断面図である。このＣＣＤ２８は従来公知のインターライン型ＣＣＤであり、不要電荷の掃出しにＶＯＤ（縦型オーバーフロードレイン）方式を用いたものである。
【００３１】
フォトダイオード５１と垂直転送部５２はｎ型基板５３の面に沿って形成されている。フォトダイオード５１は２次元的に格子状に配列され、垂直転送部５２は所定の方向（図６において上下方向）に１列に並ぶフォトダイオード５１に隣接して設けられている。垂直転送部５２は、１つのフォトダイオード５１に対して４つの垂直転送電極５２ａ，５２ｂ，５２ｃ，５２ｄを有している。したがって垂直転送部５２では、４つのポテンシャルの井戸が形成可能であり、従来公知のように、これらの井戸の深さを制御することによって、信号電荷をＣＣＤ２８から出力することができる。なお、垂直転送電極の数は目的に応じて自由に変更できる。
【００３２】
基板５３の表面に形成されたｐ型井戸の中にフォトダイオード５１が形成され、ｐ型井戸とｎ型基板５３の間に印加される逆バイアス電圧によってｐ型井戸が完全空乏化される。この状態において、入射光（被写体からの反射光）の光量に応じた電荷がフォトダイオード５１において蓄積される。基板電圧Ｖsub を所定値以上に大きくすると、フォトダイオード５１に蓄積した電荷は、基板５３側に掃出される。これに対し、転送ゲート部５４に電荷転送信号（電圧信号）が印加されたとき、フォトダイオード５１に蓄積した電荷は垂直転送部５２に転送される。すなわち電荷掃出信号によって電荷を基板５３側に掃出した後、フォトダイオード５１に蓄積した信号電荷が、電荷転送信号によって垂直転送部５２側に転送される。このような動作を繰り返すことにより、垂直転送部５２において信号電荷が積分され、いわゆる電子シャッタ動作が実現される。
【００３３】
図８は、３次元画像データを検出するためにステップ１０２において実行される３次元画像検出動作のタイミングチャートであり、図１、図２、図６〜図８を参照して本実施形態における３次元画像検出動作について説明する。なお本実施形態の３次元画像検出動作では、図５を参照して行なった距離測定の原理の説明とは異なり、外光の影響による雑音を低減するために測距光のパルスの立ち下がりから反射光を検知可能な状態に定め、反射光のパルスが立ち下がった後に検知不可能な状態に切換えるようにタイミングチャートを構成しているが原理的には何ら異なるものではない。
【００３４】
垂直同期信号（図示せず）の出力に同期して電荷掃出し信号（パルス信号）Ｓ１が出力され、これによりフォトダイオード５１に蓄積していた不要電荷が基板５３の方向に掃出され、フォトダイオード５１における蓄積電荷量はゼロになる（符号Ｓ２）。電荷掃出し信号Ｓ１の出力の開始の後、一定のパルス幅を有するパルス状の測距光Ｓ３が出力される。測距光Ｓ３が出力される期間（パルス幅）は調整可能であり、図示例では、電荷掃出し信号Ｓ１の出力と同時に測距光Ｓ３がオフするように調整されている。
【００３５】
測距光Ｓ３は被写体において反射し、ＣＣＤ２８に入射する。すなわちＣＣＤ２８によって被写体からの反射光Ｓ４が受光されるが、電荷掃出し信号Ｓ１が出力されている間は、フォトダイオード５１において電荷は蓄積されない（符号Ｓ２）。電荷掃出し信号Ｓ１の出力が停止されると、フォトダイオード５１では、反射光Ｓ４の受光によって電荷蓄積が開始され、反射光Ｓ４と外光とに起因する信号電荷Ｓ５が発生する。反射光Ｓ４が消滅すると（符号Ｓ６）フォトダイオード５１では、反射光に基く電荷蓄積は終了するが（符号Ｓ７）、外光のみに起因する電荷蓄積が継続する（符号Ｓ８）。
【００３６】
その後、電荷転送信号Ｓ９が出力されると、フォトダイオード５１に蓄積された電荷が垂直転送部５２に転送される。この電荷転送は、電荷転送信号の出力の終了（符号Ｓ１０）によって完了する。すなわち、外光が存在するためにフォトダイオード５１では電荷蓄積が継続するが、電荷転送信号の出力が終了するまでフォトダイオード５１に蓄積されていた信号電荷Ｓ１１が垂直転送部５２へ転送される。電荷転送信号の出力終了後に蓄積している電荷Ｓ１４は、そのままフォトダイオード５１に残留する。
【００３７】
このように電荷掃出し信号Ｓ１の出力の終了から電荷転送信号Ｓ９の出力が終了するまでの期間Ｔ_U1の間、フォトダイオード５１には、被写体までの距離に対応した信号電荷が蓄積される。そして、反射光Ｓ４の受光終了（符号Ｓ６）までフォトダイオード５１に蓄積している電荷が、被写体の距離情報と対応した信号電荷Ｓ１２（斜線部）として垂直転送部５２へ転送され、その他の信号電荷Ｓ１３は外光のみに起因するものである。
【００３８】
電荷転送信号Ｓ９の出力から一定時間が経過した後、再び電荷掃出し信号Ｓ１が出力され、垂直転送部５２への信号電荷の転送後にフォトダイオード５１に蓄積された不要電荷が基板５３の方向へ掃出される。すなわち、フォトダイオード５１において新たに信号電荷の蓄積が開始する。そして、上述したのと同様に、電荷蓄積期間Ｔ_U1が経過したとき、信号電荷は垂直転送部５２へ転送される。
【００３９】
このような信号電荷Ｓ１１の垂直転送部５２への転送動作は、次の垂直同期信号が出力されるまで、繰り返し実行される。これにより垂直転送部５２において、信号電荷Ｓ１１が積分され、１フィールドの期間（２つの垂直同期信号によって挟まれる期間）に積分された信号電荷Ｓ１１は、その期間被写体が静止していると見做せれば、被写体までの距離情報に対応している。なお信号電荷Ｓ１３は信号電荷Ｓ１２に比べ微小であるため信号電荷Ｓ１１は信号電荷Ｓ１２と等しいと見なすことができる。
【００４０】
以上説明した信号電荷Ｓ１１の検出動作は１つのフォトダイオード５１に関するものであり、全てのフォトダイオード５１においてこのような検出動作が行なわれる。１フィールドの期間における検出動作の結果、各フォトダイオード５１に隣接した垂直転送部５２の各部位には、そのフォトダイオード５１によって検出された距離情報が保持される。この距離情報は垂直転送部５２における垂直転送動作および図示しない水平転送部における水平転送動作によって３次元画像データとしてＣＣＤ２８から出力される。
【００４１】
次に図１、図２、図８及び３次元画像検出動作のフローチャートである図９を参照して本実施形態における３次元画像検出動作について説明する。
【００４２】
ステップ２０１では、垂直同期信号が出力されるとともに測距光制御が開始される。すなわち発光装置１４が駆動され、パルス状の測距光Ｓ３が断続的に出力される。次いでステップ２０２が実行され、ＣＣＤ２８による検知制御が開始される。すなわち図８を参照して説明した３次元画像検出動作が開始され、電荷掃出信号Ｓ１と電荷転送信号Ｓ９が交互に出力されて、距離情報の信号電荷Ｓ１１が垂直転送部５２において積分される。
【００４３】
ステップ２０３では、３次元画像検出動作の開始から１フィールド期間が終了したか否か、すなわち新たに垂直同期信号が出力されたか否かが判定される。１フィールド期間が終了するとステップ２０４へ進み、垂直転送部５２において積分された距離情報の信号電荷がＣＣＤ２８から出力される。この信号電荷はステップ２０５において画像メモリ３４に一時的に記憶される。
【００４４】
ステップ２０６では測距光制御がオフ状態に切換えられ、発光装置１４の発光動作が停止する。ステップ２０７では、距離データの演算処理が行なわれ、ステップ２０８において、演算された距離データが３次元画像データとして画像メモリ３４に一時的に記憶される。これにより、ステップ１０２において実行される３次元画像検出動作は終了する。
【００４５】
次に３次元画像検出動作のステップ２０７において実行される演算処理の内容を図８を参照して説明する。
【００４６】
反射率Ｒの被写体が照明され、この被写体が輝度Ｉの２次光源と見做されてＣＣＤに結像された場合を想定する。このとき、電荷蓄積時間ｔの間にフォトダイオードに発生した電荷が積分されて得られる出力Ｓｎは、
Ｓｎ＝ｋ・Ｒ・Ｉ・ｔ ・・・（２）
で表される。ここでｋは比例定数で、撮影レンズのＦナンバーや倍率等によって変化する。
【００４７】
図８に示されるように電荷蓄積時間をＴ_U1、測距光Ｓ３のパルス幅をＴ_S 、距離情報の信号電荷Ｓ１２のパルス幅をＴ_D とし、１フィールド期間中のその電荷蓄積時間がＮ回繰り返されるとすると、得られる出力ＳＭ₁₀は、

となる。なお、パルス幅Ｔ_D は

と表せる。このとき被写体までの距離ｒは
ｒ＝Ｃ・ＳＭ₁₀／（２・ｋ・Ｎ・Ｒ・Ｉ） ・・・（５）
で表せる。したがって比例定数ｋ、反射率Ｒ、輝度Ｉを予め求めておけば距離ｒが求められる。
【００４８】
次にステップ１０３において算出される３次元座標データの演算処理について図１０〜図１３を参照して説明する。
【００４９】
図１０は、カメラの撮影光学系における焦点Ｐ_f を座標原点に取ったカメラ座標系ｘｙｚとＣＣＤ２８上の任意の点Ｐ（画素）と、それに対応する被写体表面上の点Ｑとの関係を模式的に示している。ｙ軸は光軸Ｌｐに一致しており、ｚ軸はＣＣＤ２８の垂直軸に並行に取られ、その向きは上向きである。またｘ軸はＣＣＤ２８の水平軸に並行にとられている。点Ｐ_c はＣＣＤ２８の受光面と光軸Ｌｐの交点であり、受光面の中心に一致する。点ＱはＣＣＤ２８上の点Ｐの画素に対応する被写体上の点であり、その座標は（ｘ_Q ，ｙ_Q ，ｚ_Q ）である。平面Πは点Ｑを含むＣＣＤ２８に平行な平面である。点Ｑ_C は光軸Ｌｐ（ｙ軸）と平面Πの交点であり、その座標は（０，ｙ_Q ，０）である。
【００５０】
図１１は、ＣＣＤ２８の受光面を正面から見た図である。ＣＣＤ２８の水平、垂直方向の長さはそれぞれ２×Ｈ₀ 、２×Ｖ₀ である。点ＰはＣＣＤ２８の中心Ｐ_C から左へＨ_P 、上へＶ_P の距離にある。点Ｐ_H は、点ＰからＣＣＤ２８の水平軸Ｌ_H へ下ろした垂線の足である。また点Ｐ_V は、点ＰからＣＣＤ２８の垂直軸Ｌ_V へ下ろした垂線の足である。
【００５１】
図１２は、焦点Ｐ_f とＣＣＤ２８との関係を焦点Ｐ_f とＣＣＤ２８の水平軸Ｌ_H を含む平面上で表したものであり、角Θ₀ は水平画角、ｆは焦点距離である。線分Ｐ_f Ｐ_H が光軸Ｌｐとなす角をΘ_P とすると、角Θ_P は、
Θ_P ＝ｔａｎ^-1（Ｈ_p ／ｆ） ・・・（６）
によって求められる。
【００５２】
図１３は、焦点Ｐ_f とＣＣＤ２８との関係を焦点Ｐ_f とＣＣＤ２８の垂直軸Ｌ_V を含む平面上で表したものであり、角θ₀ は垂直画角である。線分Ｐ_f Ｐ_V が光軸Ｌｐとなす角をθ_P とすると、角θ_P は、
θ_P ＝ｔａｎ^-1（Ｖ_p ／ｆ） ・・・（７）
によって求められる。
【００５３】
焦点Ｐ_f と点Ｐを結ぶ線分Ｐ_f Ｐの長さは、線分Ｐ_f Ｐ_H と線分Ｐ_C Ｐ_V の長さから、
Ｐ_f Ｐ＝（Ｐ_f Ｐ_H ² ＋Ｐ_C Ｐ_V ² ）^1/2 ・・・（８）
によって求められる。ここで、（８）式のＰ_f Ｐ_H 、Ｐ_C Ｐ_V は、
Ｐ_C Ｐ_V ＝Ｖ_P 、
Ｐ_f Ｐ_H ＝ｆ／ｃｏｓΘ_P
なので、
Ｐ_f Ｐ＝（（ｆ／ｃｏｓΘ_P ）² ＋Ｖ_P ² ）^1/2 ・・・（９）
と表すことができる。
【００５４】
線分Ｐ_f Ｑの長と、線分Ｐ_f Ｐの長さの比Ｐ_f Ｐ／Ｐ_f Ｑをμとすると、点Ｑの座標成分ｘ_Q 、ｙ_Q 、ｚ_Q は、
ｘ_Q ＝Ｈ_P ／μ ・・・（１０）
ｙ_Q ＝Ｖ_P ／μ ・・・（１１）
ｚ_Q ＝ｆ／μ ・・・（１２）
で算出される。焦点距離ｆおよびＣＣＤ２８の任意の画素に対応する点Ｐまでの距離Ｈ_P 、Ｖ_P は既知である。また、線分Ｐ_f Ｑの長さは、焦点Ｐ_f から点Ｐに対応する被写体の点Ｑまでの距離であり、焦点距離ｆは既知なので、図９のステップ２７の演算処理の結果である距離情報に基づいて算出可能である。点Ｐは、ＣＣＤ２８の１つの画素を代表したものであり、上述の計算はＣＣＤ２８の全ての画素に対して可能である。したがって、任意の画素（点Ｐ）に対応する被写体（点Ｑ）のカメラを基準とした３次元座標（ｘ_Q ，ｙ_Q ，ｚ_Q ）が算出可能である。
【００５５】
次に図１４、図１５を参照してステップ１０５において実行される撮影画像中の背景に対応する平面を指定する方法について説明する。
【００５６】
図１４は、カメラの背面図であり、ＬＣＤパネル３７等のカメラ背面での配置を示している。ＬＣＤパネル３７には目的被写体である樽Ｏａと、樽Ｏａを載せた平面状の台Ｏｂの２次元画像が表示されている。オペレーターは、ポインティングペン６０を用いて画面上の平面（台）Ｏｂに対応し、同一直線状にない任意の３点（画素）を指定する。図１５は、図１４のＬＣＤパネル３７の画面を抜き出して描いたものであり、平面Ｏｂに対応する３つの画素Ａ、Ｂ、Ｃが順番にポインティングペン６０により指定された状態を表している。
【００５７】
各画素に対応する被写体の３次元座標はステップ１０３において算出されているので、画素Ａ、Ｂ、Ｃが指定されると、それぞれ対応する被写体の３次元座標が得られる。画素Ａ、Ｂ、Ｃは、台（平面）Ｏｂ上の点に対応しているので、この３点から台Ｏｂに対応する平面が決定される。
【００５８】
次にステップ１０６において実行される背景の分離処理、すなわち背景と考えられる平面に対応するデータを目的とする被写体に対応するデータから分離し除去する方法について図１０、図１５〜図１８を参照して説明する。図１６はステップ１０６において実行される背景分離処理プログラムのサブルーチンのフローチャートである。
【００５９】
ステップ３０１では、ステップ１０５において指定された画素（点）Ａ、Ｂ、Ｃの３次元座標から台Ｏｂに対応する平面の式ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０が求められる。画素（点）Ａ、Ｂ、Ｃに対応する被写体の３次元座標（位置ベクトル）をそれぞれ（ｘ_a ，ｙ_a ，ｚ_a ）、（ｘ_b ，ｙ_b ，ｚ_b ）、（ｘ_c ，ｙ_c ，ｚ_c ）とすると、この３点を含む平面の法線ベクトルＳ（ｘ_s ，ｙ_s ，ｚ_s ）は、点Ａから点ＢへのベクトルＭ（ｘ_m ，ｙ_m ，ｚ_m ）と、点Ｂから点ＣへのベクトルＮ（ｘ_n ，ｙ_n ，ｚ_n ）との外積Ｍ×Ｎによって次のように求められる。
（ｘ_s ，ｙ_s ，ｚ_s ）＝Ｍ×Ｎ
＝（ｙ_m ｚ_n −ｚ_m ｙ_n ，ｚ_m ｘ_n −ｘ_m ｚ_n ，ｘ_m ｙ_n −ｙ_m ｘ_n ）・・・（１３）
（ｘ_m ，ｙ_m ，ｚ_m ）＝（ｘ_b −ｘ_a ，ｙ_b −ｙ_a ，ｚ_b −ｚ_a ）・・・（１４）
（ｘ_n ，ｙ_n ，ｚ_n ）＝（ｘ_c −ｘ_b ，ｙ_c −ｙ_b ，ｚ_c −ｚ_b ）・・・（１５）
【００６０】
このとき、台Ｏｂに対応する平面の式は、法線ベクトルＳを用いて、
ｘ_s ｘ＋ｙ_s ｙ＋ｚ_s ｚ＋ｄ＝０ ・・・（１６）
のように表すことができる。このとき（ａ，ｂ，ｃ）＝（ｘ_s ，ｙ_s ，ｚ_s ）であり、ｄは、（１６）式にＡ、Ｂ、Ｃの３点のうちの何れかの座標を代入することにより求められる。例えば（１６）式の（ｘ，ｙ，ｚ）に点Ａの座標を代入すれば、
ｄ＝−（ｘ_s ｘ_a ＋ｙ_s ｙ_a ＋ｚ_s ｚ_a ） ・・・（１７）
と求められる。
【００６１】
ステップ３０２〜ステップ３１０では、ＣＣＤ２８の各画素に対応する被写体の３次元座標データのうち、ステップ３０１において求められた平面から所定の距離内にある３次元座標データが削除される。すなわち、画像メモリ３４に記憶された３次元座標データがシステムコントロール回路３５に読み出され、ＣＣＤ２８の左からＩ番目、上からＪ番目の画素であるＰ（Ｉ，Ｊ）に対応する被写体上の点Ｑ（図１０参照）の３次元座標（ｘ_Q ，ｙ_Q ，ｚ_Q ）が、ステップ３０１において求められた平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０から所定の距離内にあるか否かが判定される。各画素Ｐ（Ｉ，Ｊ）のうち平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０から所定の距離よりも離れているときのみ、データは画像メモリ３４に再び記憶される。
【００６２】
ステップ３０２及びステップ３０３では、Ｊ及びＩの初期値１がそれぞれ設定される。ステップ３０４では、画素Ｐ（Ｉ，Ｊ）に対応する点Ｑ（ｘ_Q ，ｙ_Q ，ｚ_Q ）と平面ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０との間の距離Ｌが、
【数１】

により求められる。ステップ３０５ではステップ３０４で求められた距離Ｌが所定の距離であるＬ_max よりも大きいか否かが判定される。大きいと判定されると（例えば図１７の点Ｐ₁ ）、ステップ３０６において画素Ｐ（Ｉ，Ｊ）に対応する３次元座標データが画像メモリ３４に記憶され、ステップ３０７に移る。一方ステップ３０５において、距離Ｌが所定の距離Ｌ_max 以下であると判定されると（例えば図１７の点Ｐ₂ ）、データが画像メモリ３４に記憶されることなくステップ３０７に移る。ステップ３０７では、変数Ｉが水平画素数Ｉ_end に等しいか否かが判定され、Ｉ_end に達していなければステップ３０８において、Ｉに１が加算されステップ３０４に再び戻る。ステップ３０７においてＩ＝Ｉ_end と判定されれば、ステップ３０９において変数Ｊが垂直画素数Ｊ_end に等しいか否かが判定される。ＪがＪ_end に達していなければステップ３１０においてＪに１が加算され、再びステップ３０３に戻る。ステップ３０９においてＪ＝Ｊ_end と判定されれば、この背景分離処理のサブルーチンは終了する。これにより画像メモリ３４には、図１８のように樽Ｏａに対応する３次元座標データのみが記憶され、台（平面）Ｏｂに対応する３次元座標データは除去される。
【００６３】
以上のように第１の実施形態によれば、目的とする被写体を配置するための台や背景となる壁面などの平面状の不要物体に関する３次元座標データを、目的とする被写体に関する３次元座標データから分離除去することができる。また、オペレーターは、被写体の視覚的な画像である２次元画像中において、除去しようと考える平面に対応した３つの画素を指定することにより、簡単にこれらの処理を行なうことができる。
【００６４】
次に図１９を参照して本発明の第２の実施形態であるカメラ型の画像検出装置について説明する。第２の実施形態であるカメラ型の画像検出装置は、除去する平面の指定方法が第１の実施形態と異なるだけで、その他の構成は第１の実施形態と何ら異ならない。
【００６５】
第１の実施形態ではＬＣＤパネル３７に表示された２次元画像において、除去しようと考える平面の３つの点に対応する３つの画素Ａ、Ｂ、Ｃをオペレーターがポインティングペン６０などを用いて指定することにより除去すべき平面を指定した。しかし第２の実施形態では、オペレーターは除去しようと考える平面の２つの点に対応する２つの画素Ａ、Ｂのみを指定する。その後画素Ｃ１、Ｃ２が自動的に選択され、これらの画素により選択される平面が決定される。
【００６６】
画素Ｃ１、Ｃ２を自動的に選択する場合、除去しようとする平面以外の物体に対応した画素を選択してしまう可能性がある。第２の実施形態では、自動的に選択された画素が、指定しようとする平面の点に対応しているか否か、次のような方法で判定される。
【００６７】
まずオペレーターは、ＬＣＤパネル３７に表示された２次元画像において画素Ａを指定し、その後画素Ｂを指定する。このとき、画素Ｃ１、Ｃ２が自動的に選ばれる。Ｃ１、Ｃ２は例えば３つの線分ＢＡ、線分ＢＣ１、線分ＢＣ２がそれぞれ１２０度となり、かつ線分ＢＣ１、線分ＢＣ２が所定の長さとなるように選択される。その後、画素Ａ、Ｂ、Ｃ１の組と画素Ａ、Ｂ、Ｃ２の組とによってそれぞれ指定される平面の式が求められる。求められた２つ平面の式が同一であるとき、選択された画素Ｃ１、Ｃ２は除去しようとする平面内の点に対応する画素であると判定され、これらの画素により決定される平面を除去する平面とする。同一平面でないときには、再び画素Ａ、Ｂの選択を行なう。
【００６８】
求められた平面の式が同一であるか否かは、画素Ａ、Ｂ、Ｃ１の組と画素Ａ、Ｂ、Ｃ２の組それぞれにより指定された平面の法線ベクトルが同一方向または反対方向を向いているか否で判定される。この判定は、各組において求められた法線ベクトルに関する単位ベクトルの内積が±１であるか否かで判定することができる。すなわち、内積が＋１または−１のとき、選択された画素Ｃ１、Ｃ２は除去しようとする平面内の点に対応する画素であると判定される。
【００６９】
以上のように第２の実施形態によれば、第１の実施形態と同様の効果が得られる。また、平面の指定に２点（画素）のみを指定すればよいのでオペレーター第１の実施形態よりも簡単に平面の指定が行なえる。
【００７０】
なお第２の実施形態において、線分ＢＣ１、ＢＣ２の長さは所定値として与えられていたが、例えば画素Ｂを指定した後、画素Ｂを中心とした任意の半径の円をオペレーターが指定することにより、その長さを与えてもよい。
【００７１】
次に図２０を参照して本発明の第３の実施形態であるカメラ型の画像検出装置について説明する。第３の実施形態であるカメラ型の画像検出装置は、除去する平面の指定方法が第１及び第２の実施形態と異なるだけで、その他の構成は第１及び第２の実施形態と何ら異ならない。
【００７２】
第１の実施形態ではＬＣＤパネル３７に表示される２次元画像において、除去しようと考える平面の３つの点に対応する３つの画素Ａ、Ｂ、Ｃをオペレーターが指定した。また、第２の実施形態では、オペレーターは除去しようと考える平面の２つの点に対応する２つの画素Ａ、Ｂのみを指定し、画素Ｃ１、Ｃ２は自動的に選択された。これに対して第３の実施形態では、オペレーターは除去しようと考える平面の１つの点に対応する画素Ａのみを指定する。画素Ａが指定された後、画素Ｂ１、Ｂ２と画素Ｃ１、Ｃ２とが画素Ａを対称軸として点対称となる位置に自動的に選択される。第２の実施形態と同様に、画素Ａ、Ｂ１、Ｃ１の組と、画素Ａ、Ｂ２、Ｃ２の組で指定される平面が同一であるか否かで、選択された画素、Ｂ１、Ｂ２、Ｃ１、Ｃ２の適否が判定される。２つの平面が同一であるか否かの判定方法は、第２の実施形態と同様であり、それぞれの法線ベクトルに関する単位ベクトルによって行われる。
【００７３】
以上により、第３の実施形態においても第１及び第２の実施形態と同様の効果が得られる。また第３の実施形態では、オペレーターはＬＣＤパネル３７上の１つの画素を選択すればよいので、第１及び第２の実施形態よりも簡単に平面の指定を行なうことができる。
【００７４】
なお、本実施形態では、除去する平面を指定する際にタッチパネルとポインティングペンを用いて画素を指定したが、トラックボールなどの入力装置を用いて画面上のカーソルを操作し画素の指定を行なってもよい。
【００７５】
本実施形態では、指定された平面に関するデータを除去するとき、指定された平面からの距離のみに基づいて各画素に対応するデータが除去されるか否かが判定された。しかし、式（１８）の分母において絶対値をとらず、Ｌの正負の符号をも含めて画素Ｐ（Ｉ，Ｊ）に対応するデータを除去するか否かを判定してもよい。すなわち、指定された平面の表裏も考慮して判定を行ない、例えば平面により二分された３次元空間のうち、一方の側に含まれる点に関するデータのみを除去するようにしてもよい。
【００７６】
【発明の効果】
以上のように本発明によれば、画素毎に被写体までの距離情報を検出して得られる撮影画像全体の３次元形状に関する情報の中から、目的とする被写体に関する情報のみを簡単に抽出可能な３次元画像検出装置を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態であるカメラ型の測距装置の斜視図である。
【図２】図１に示すカメラの回路構成を示すブロック図である。
【図３】本実施形態における平面除去処理プログラムのフローチャートである。
【図４】測距光による距離測定の原理を説明するための図である。
【図５】測距光、反射光、ゲートパルス、およびＣＣＤが受光する光量分布を示す図である。
【図６】ＣＣＤに設けられるフォトダイオードと垂直転送部の配置を示す図である。
【図７】ＣＣＤを基板に垂直な平面で切断して示す断面図である。
【図８】被写体までの距離に関するデータを検出する３次元画像検出動作のタイミングチャートである。
【図９】３次元画像検出動作のフローチャートである。
【図１０】座標系ｘｙｚ、ＣＣＤ２８、ＣＣＤ２８の画素とそれに対応する被写体上の点との関係を模式的に表した図である。
【図１１】ＣＣＤ２８の正面図である。
【図１２】カメラの撮影光学系における焦点とＣＣＤ２８との関係を示す水平断面図である。
【図１３】カメラの撮影光学系における焦点とＣＣＤ２８との関係を示す垂直断面図である。
【図１４】カメラの背面におけるＬＣＤパネル３７の配置とポインティングペン６０を示す図である。
【図１５】第１の実施形態における平面の指定方法を示した図である。
【図１６】指定された平面に対応する３次元座標データを分離、削除するプログラムのフローチャートである。
【図１７】樽表面の点に対応する画素Ｐ₁ と、台平面の点に対応する画素Ｐ₂ とを示す図である。
【図１８】撮影画像から目的被写体である樽を残し、樽が乗せられている台（平面）を除去した状態を示す図である。
【図１９】第２の実施形態における平面の指定方法を示した図である。
【図２０】第３の実施形態における平面の指定方法を示した図である。
【符号の説明】
１４ 発光装置
２８ ＣＣＤ

Claims (9)

1. 被写体までの距離情報を画素毎に検出する３次元画像検出手段と、
   前記距離情報から、前記各画素に対応する前記被写体表面上の点の３次元的な位置を表す位置データを生成する３次元データ生成手段と、
   前記３次元画像検出手段により撮影された空間内の平面を指定するための平面指定手段と、
   前記平面の情報に基づいて、前記位置データの一部を除去するデータ除去手段とを備え、
   前記平面指定手段において、前記平面が３つの画素に対応する前記被写体表面上の点により指定される
   ことを特徴とする３次元画像検出装置。
2. 前記被写体の視覚情報である２次元画像を検出する２次元画像検出手段と、前記２次元画像を表示するための画像表示手段と、前記画像表示手段に表示された画像の任意の画素を指定するための入力手段とを備えることを特徴とする請求項１に記載の３次元画像検出装置。
3. 前記平面を指定するための３つの画素の各々が、前記入力手段により指定されることを特徴とする請求項２に記載の３次元画像検出装置。
4. 前記平面を指定するための３つの画素のうち２つの画素が、前記入力手段により指定され、残りの画素は、前記入力手段により指定された前記２つの画素の一方から所定方向へ所定距離離れた画素であることを特徴とする請求項２に記載の３次元画像検出装置。
5. 前記平面を指定するための３つの画素のうち１つの画素が、前記入力手段により指定され、残りの２つの画素は、前記入力手段により指定された画素から各々所定方向へ所定距離離れた画素であることを特徴とする請求項２に記載の３次元画像検出装置。
6. 前記データ除去手段により一部のデータが除去された位置データを記録媒体に記録可能であることを特徴とする請求項２に記載の３次元画像検出装置。
7. 前記データ除去手段により一部のデータが除去された位置データに対応する前記２次元画像を前記記録媒体に記録可能であることを特徴とする請求項６に記載の３次元画像検出装置。
8. 前記各位置データから前記平面と前記各画素に対応する被写体表面上の点の距離を求め、この距離に基づいて前記位置データの除去を行なうことを特徴とする請求項１に記載の３次元画像検出装置。
9. 前記位置データが、前記３次元画像検出装置を基準とした座標系の座標値であることを特徴とする請求項１に記載の３次元画像検出装置。

Images