JP4939901B2

JP4939901B2 - 距離画像生成方法及びその装置

Info

Publication number: JP4939901B2
Application number: JP2006299464A
Authority: JP
Inventors: 洋一沢地
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-11-02
Filing date: 2006-11-02
Publication date: 2012-05-30
Anticipated expiration: 2026-11-02
Also published as: JP2008116309A

Description

本発明は距離画像生成方法及びその装置に係り、特にステレオマッチング法等を用いて距離画像を生成する距離画像生成方法及びその装置に関する。

距離画像生成装置として、ステレオマッチング法を使用して距離画像を生成するものが一般的に知られている。ステレオマッチング法では、複数のイメージセンサ（例えば２つのイメージセンサ）で異なる視線方向から同一の空間領域の被写体が撮像され、１組のステレオ画像が取得される。ステレオ画像を取得すると、被写体の同一物点に対するステレオ画像の各画像上での像点の位置が各画像間での対応点として検出され、その対応点の各画像上での位置のずれ（視差）が求められる。この視差に基づいて三角測量の原理によりその物点までの距離が算出される。このような処理を被写体の各物点について行うことによって被写体の各物点までの距離を各画素の画素値とした距離画像が生成される。

このようなステレオマッチング法を使用した距離画像生成装置では、取得したステレオ画像の各画像上において、被写体の同一物点に対する像点の位置を対応点として検出することによって、各画像間での各画素の対応付けを行う必要がある。そこで、このような対応点の検出は、例えば被写体の模様等を利用して各画像上に現れる被写体の特徴部分を検出することによって行なわれている。しかしながら、被写体が単一色のようなコントラストの低い模様の場合、特徴部分が少なく、各画像間での各画素の対応付けが適切に行なわれない場合がある。そこで、特許文献１〜４では、被写体に対して所定パターンの赤外光を照射し、その赤外光により結像されたステレオ画像を取得することによって、特徴部分が少ない被写体に対しても対応点の検出を行い易くし各画像間での各画素の対応付けを適切に行なえるようにしたことが提案されている。
特開２００１−８２３５号公報特開２００１−１９４１１４号公報特開２００１−２６４０３３号公報特開２００３−１２１１２６号公報

しかしながら、被写体に所定のパターンの赤外光を照射するためには照明装置の構成が複雑化し、装置全体の小型化及び製造コストの低減には不向きである。また、撮影範囲内の全ての被写体に対してステレオマッチング法により距離画像を生成するとその処理の負担が大きく、処理時間が長くなるという欠点がある。

本発明はこのような事情に鑑みてなされたもので、装置の大型化、高コスト化を招くことなく、目的の被写体を的確に検出することによって、その目的の被写体に関して精度の高い距離画像を生成できるようにすると共に距離画像を短時間で生成できるようにした距離画像生成方法及びその装置を提供することを目的とする。

前記目的を達成するために請求項１に記載の距離画像生成装置は、被写体の画像を結像する光学系と、該光学系により結像された被写体の画像を２次元配列の受光素子により電気信号として取り込むイメージセンサとを備えた複数の撮像部と、前記複数の撮像部の各々から、第１の波長域の光により結像された被写体の画像を第１の画像として取り込む第１画像取込手段と、前記複数の撮像部のうち、少なくとも１つの撮像部から、第２の波長域の光により結像された被写体の画像を第２の画像として取り込む第２画像取込手段と、前記第２画像取込手段により取り込まれた第２の画像に基づいて、各画素の画素値を距離データとする第２の距離画像を生成する第２距離画像生成手段と、前記第２距離画像生成手段により生成された第２の距離画像に基づいて、各距離ごとに各距離に属する距離データを有する画素の出現頻度を示す距離データヒストグラムを作成する距離データヒストグラム作成手段と、前記距離データヒストグラムに基づいて、主要被写体を検出する主要被写体検出手段と、前記第１画像取込手段により取り込まれた第１の画像に基づいて、各画素の画素値を距離データとする第１の距離画像を生成する第１距離画像生成手段であって、前記第１の画像に基づいて、前記主要被写体検出手段により検出された主要被写体の範囲の画像の各画素を距離データとする前記主要被写体の距離画像を生成する第１距離画像生成手段と、前記第１距離画像生成手段により生成された前記主要被写体の距離画像を記録媒体に記録し、又は、外部に送出する前記記録／送出手段と、を備えたことを特徴としている。

本発明によれば、距離データヒストグラムを作成してその距離データヒストグラムを使用して主要被写体を検出するようにしているため、的確に目的の被写体を検出することができ、その距離画像を生成することができる。
また、本発明によれば、第１距離画像生成手段と第２距離画像生成手段とにより異なる方法で個別に距離画像を生成する手段を備えている。第１距離画像生成手段が複数の撮像部から取り込まれた全ての画像に基づいて距離画像を生成する手段であるため高い精度の距離画像を生成することができる一方で距離画像の生成に時間を要する。そこで、第２距離画像生成手段により得られた第２の距離画像により主要被写体となるものを検出し、その主要被写体の範囲に対してのみ第１距離画像生成手段により高い精度の距離画像を生成する。これにより、必要な被写体に関して高い精度の距離画像を短時間で生成することが可能となる。また、第１距離画像生成手段と第２距離画像生成手段とでイメージセンサが共用されているため、距離画像を生成するために２つの手段が用いられることによる装置の大型化や高コスト化を抑止することができる。更に、目的の被写体として主要被写体のみの距離画像を記録媒体に記録し、又は、外部に送出することも可能であり、その場合に記録媒体に記録するデータ量や外部に送出するデータ量を低減できる。

請求項２に記載の距離画像生成装置は、請求項１に記載の発明において、前記記録／送出手段は、前記主要被写体の距離画像と共に、前記複数の各撮像部により取り込まれた少なくとも１つの画像を前記記録媒体に記録し、又は、外部に送出することを特徴としている。

本発明は、主要被写体の距離画像と共に、各撮像部により取り込まれた画像も記録又は送出するようにした態様である。

請求項３に記載の距離画像生成装置は、請求項１、又は、２に記載の発明において、前記第２の波長域内の光を被写体に照射する光照射手段を備え、前記第２画像取込手段は、前記光照射手段により前記第２の波長域内の光が被写体に照射し、その反射光により結像された被写体の画像を前記第２の画像として取り込むことを特徴としている。

本発明によれば、第２距離画像生成手段において参照する第２の画像、即ち、第２の波長域内の光により結像される被写体の画像を得るための光照射手段を本発明に係る装置が備え、第２の画像を取り込む際にその光照射手段からの第２の波長域の光を被写体に照射することができる。

請求項４に記載の距離画像生成装置は、請求項１、２、又は、３に記載の発明において、前記第１距離画像生成手段は、前記第１画像取込手段により前記複数の撮像部の各々から取り込まれた前記複数の第１の画像において、同一の物点に対する像点を示す対応点を検出し、該対応点の視差に基づいて前記物点までの距離を求め、該距離を示す距離データを前記対応点の画素の画素値とすることにより前記第１の距離画像を生成するステレオマッチンング法を用いた距離画像生成手段であることを特徴としている。

本発明によれば、第１距離画像生成手段では、異なる視線方向から同一の空間領域を撮影して得られたステレオ画像、即ち、第１の画像から、ステレオマッチング法により距離画像を生成する方法が採用されている。

請求項５に記載の距離画像生成装置は、請求項１、２、３、又は、４に記載の発明において、前記第２距離画像生成手段は、前記第２の波長域の光が被写体に照射されて前記撮像部に到達するまでの時間に応じた画素値を示す前記第２の画像に基づいて各画素を像点とする物点までの距離を求め、該距離を示す距離データを各画素の画素値とすることによって前記第２の距離画像を生成するＴＯＦ法を用いた距離画像生成手段であることを特徴としている。

本発明によれば、第２距離画像生成手段では、被写体に照射され、反射した第２の波長域の光が撮像部に到達するまでに要した時間を第２の画像に基づいて求めることによって、被写体の各物点までの距離を求めるＴＯＦ（Time of Flight）法により距離画像を生成する方法が採用されている。

請求項６に記載の距離画像生成装置は、請求項１〜５のうちのいずれか１に記載の発明において、前記第１の波長域は、可視の波長域であり、前記第２の波長域は、可視外の波長域であることを特徴としている。

本発明は、可視の波長域の光により結像された被写体の画像を第１の画像として取り込み、可視外の波長域の光により結像された被写体の画像を第２の画像として取り込む態様を示している。

請求項７に記載の距離画像生成装置は、請求項１〜６のうちのいずれか１に記載の発明において、前記第２の波長域は、赤外の波長域であることを特徴としている。

本発明は、赤外光により第２の画像を取り込むようにした態様を示している。

請求項８に記載の距離画像生成装置は、請求項１〜７のうちのいずれか１に記載の発明において、前記第１画像取込手段により前記第１の画像が取り込まれる撮像部において、前記第１の波長域の光を透過する１種類からなる第１の画素フィルター、又は、前記第１の波長域を分割した複数の波長域ごとの光を透過する複数種類からなる第１の画素フィルターが、前記イメージセンサの各受光素子に配置され、前記第１画像取込手段は、前記第１の画素フィルターが配置された受光素子によって前記第１の画像を取り込み、前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第２の波長域の光を透過する第２の画素フィルターが前記イメージセンサの各受光素子に配置され、前記第２画像取込手段は、前記第２の画素フィルターが配置された受光素子によって前記第２の画像を取り込むことを特徴としている。

本発明は、波長域の異なる光により第１の画像と、第２の画像とを取り込むためのイメージセンサの画素フィルターの構成に関する一形態を示している。

請求項９に記載の距離画像生成装置は、請求項８に記載の発明において、前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第２の画素フィルターは、第１の画素フィルターと異なる受光素子に配置される画素フィルターであることを特徴としている。

本発明は、第２の画像が取り込まれる撮像部において、第１の画像を取り込むための受光素子とは別の受光素子により第２の画像を取り込むようにした態様を示している。これによれば、第１の画像と第２の画像の取込みを同時に行うことも可能である。

請求項１０に記載の距離画像生成装置は、請求項８、又は、９に記載の発明において、前記第１の波長域は緑色の波長域であり、前記第１の画素フィルターは、緑色の波長域の光を透過する画素フィルターであることを特徴としている。

本発明は、第１の画像を緑色の画素のみによって取り込み、第２の画像を緑色の画素フィルターが配列された受光素子以外で取り込めるようにしたものである。

請求項１１に記載の距離画像生成装置は、請求項８、９、又は、１０に記載の発明において、前記第２の波長域は赤外の波長域であり、前記第２の画素フィルターは、赤外の波長域の光を透過する画素フィルターであることを特徴としている。

本発明は、第２の画像を取り込むための第２の波長域及び第２の画素フィルターの一形態を示しており、第２の画像を赤外画像として取り込むようにしたものである。

請求項１２に記載の距離画像生成装置は、請求項８、９、１０、又は、１１に記載の発明において、前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第１の画素フィルターと前記第２の画素フィルターとが交互に配置されることを特徴としている。

本発明は、画素フィルターの配列のー例を示している。

請求項１３に記載の距離画像生成装置は、請求項１〜１２のうちのいずれか１に記載の発明において、前記主要被写体検出手段は、前記距離データヒストグラム作成手段により作成された距離データヒストグラムにおいて、出現頻度が所定の閾値を超える距離範囲を主要被写体の距離範囲として検出すると共に、該距離範囲に属する距離データを有する画素を主要被写体の画素として検出することを特徴としている。

本発明は、距離データヒストグラムから主要被写体を検出する具体的一態様を示している。

請求項１４に記載の距離画像生成装置は、請求項１３に記載の発明において、前記主要被写体検出手段は、前記所定の閾値を複数の閾値で変更し、各閾値において検出される前記主要被写体の距離範囲に基づいて、適切な閾値を決定し、該決定した閾値に基づいて前記主要被写体の画素を検出することを特徴としている。

本発明によれば、主要被写体を適切に検出することができ、主要被写体の誤検出を低減することができ、距離画像精度の向上に寄与する。

請求項１５に記載の距離画像生成装置は、請求項１４に記載の発明において、前記主要被写体検出手段は、前記複数の閾値を所定の規定値分の差を有する値で設定し、各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値を前記適切な閾値として決定することを特徴としている。

本発明は、前記複数の閾値のうち適切な閾値を決定する方法の一態様を示している。

請求項１６に記載の距離画像生成装置は、請求項１５に記載の発明において、前記主要被写体検出手段は、前記各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値が複数存在し、且つ、前記主要被写体の距離範囲の数が最大となるときの複数の閾値が隣接する値であることを条件として該条件を満たす場合に、該条件を満たした複数の閾値のうち最も小さい値の閾値を前記適切な閾値として決定し、前記条件を満たさない場合には、前記条件を満たされるまで、前記規定値を減少させた新たな規定値によって前記複数の閾値を設定しなおすことを特徴としている。

本発明は、前記複数の閾値のうち適切な閾値を決定する方法の一態様を示し、初期の閾値において、適切な閾値が検出されない場合の態様も含む。

請求項１７に記載の距離画像生成装置は、請求項１３〜１６のうちのいずれか１に記載の発明において、前記主要被写体検出手段は、前記主要被写体の距離範囲を所定の距離範囲内に制限して検出することを特徴としている。

本発明は、主要被写体を検出する距離範囲を制限することによって、処理時間の低減を図るものである。

請求項１８に記載の距離画像生成装置は、請求項１〜１７のうちのいずれか１に記載の発明において、前記第１距離画像生成手段は、前記主要被写体検出手段により検出された主要被写体の画素及びその周辺画素からなる画像を前記主要被写体の範囲の画像として、前記主要被写体の距離画像を生成することを特徴としている。

本発明は、主要被写体の距離画像として求める画像の範囲の一実施の形態を示している。

請求項１９に記載の距離画像生成装置は、請求項１〜１８のうちのいずれか１に記載の発明において、前記第１距離画像生成手段により距離画像が生成された前記主要被写体の範囲以外の距離画像を前記第２距離画像生成手段により生成された第２の距離画像から取得し、該取得した距離画像と、前記第１距離画像生成手段により生成された前記主要被写体の距離画像とを統合した距離画像を第３の距離画像として生成する第３距離画像生成手段を備え、前記記録／送出手段は、前記第３距離画像生成手段により生成された第３の距離画像を、前記第１距離画像生成手段により生成された前記主要被写体の距離画像を含む距離画像として前記記録媒体に記録し、又は、外部に送出することを特徴としている。

本発明は、主要被写体の距離画像を第１距離画像生成手段により高い精度で生成し、主要被写体以外の範囲の距離画像を第１距離画像生成手段により主要被写体の距離画像を生成する以前に既に生成されている第２距離画像生成手段により生成された距離画像（第２の距離画像）により補間して第３の距離画像を生成する態様を示している。主要被写体以外の範囲の距離画像を補間するための距離画像を生成する時間を要さないため、撮影範囲全体の距離画像を高速に生成することができる。

請求項２０に記載の距離画像生成装置は、請求項１〜１９のうちのいずれか１に記載の発明において、前記距離データヒストグラム作成手段は、各距離ごとに各距離に属する距離データを有する画素の出現頻度を求めた後、該求めた出現頻度に所定のフィルター処理を施して得た値を前記距離データヒストグラムの値とすることを特徴としている。

本発明は、主要被写体が複雑な形状を有する場合に適切に主要被写体を検出できるようにした態様を示している。

請求項２１に記載の距離画像生成装置は、請求項２０に記載の発明において、前記フィルター処理は、前記出現頻度の平滑化を目的とした処理であることを特徴としている。

本発明は、距離データヒストグラムを平滑化するフィルター処理によって、主要被写体が複雑な形状を有する場合でも適切に主要被写体を検出できるようにした態様を示している。

請求項２２に記載の距離画像生成装置は、請求項１〜２１のうちのいずれか１に記載の発明において、前記記録／送出手段は、前記複数の撮像部のうちのいずれか１つの撮像部から取り込まれた前記第１の画像を前記主要被写体の距離画像と共に前記記録媒体に記録し、又は、外部に送出することを特徴としている。

本発明は、距離画像だけでなく通常の画像も記録するようにしたものである。

請求項２３に記載の距離画像生成装置は、請求項１〜２２のうちのいずれか１に記載の発明において、前記距離データは、前記撮像部の光軸方向の距離を示す距離データであることを特徴としている。

即ち、本発明における距離画像の距離データは、奥行き方向の距離を示してる。

請求項２４に記載の距離画像生成方法は、被写体の画像を結像する光学系と、該光学系により結像された被写体の画像を２次元配列の受光素子により電気信号として取り込むイメージセンサとを備えた複数の撮像部の各々から、第１の波長域の光により結像された被写体の画像を第１の画像として取り込む第１画像取込工程と、前記複数の撮像部のうち、少なくとも１つの撮像部から、第２の波長域の光により結像された被写体の画像を第２の画像として取り込む第２画像取込工程と、前記第２画像取込工程により取り込まれた第２の画像に基づいて、各画素の画素値を距離データとする第２の距離画像を生成する第２距離画像生成工程と、前記第２距離画像生成工程により生成された第２の距離画像に基づいて、各距離ごとに各距離に属する距離データを有する画素の出現頻度を示す距離データヒストグラムを作成する距離データヒストグラム作成工程と、前記距離データヒストグラムに基づいて、主要被写体を検出する主要被写体検出工程と、前記第１画像取込工程により取り込まれた第１の画像に基づいて、各画素の画素値を距離データとする第１の距離画像を生成する第１距離画像生成工程であって、前記第１の画像に基づいて、前記主要被写体検出工程により検出された主要被写体の範囲の画像の各画素を距離データとする前記主要被写体の距離画像を生成する第１距離画像生成工程と、前記第１距離画像生成工程により生成された前記主要被写体の距離画像を記録媒体に記録し、又は、外部に送出する前記記録／送出工程と、を備えたことを特徴としている。

請求項２５に記載の距離画像生成方法は、請求項２４に記載の発明において、前記記録／送出工程は、前記主要被写体の距離画像と共に、前記複数の各撮像部により取り込まれた画像を前記記録媒体に記録し、又は、外部に送出することを特徴としている。

請求項２６に記載の距離画像生成方法は、請求項２４、又は、２５に記載の発明において、前記第２画像取込工程は、前記第２の波長域内の光を被写体に照射する光照射手段により前記第２の波長域内の光を被写体に照射し、その反射光により結像された被写体の画像を前記第２の画像として取り込むことを特徴としている。

請求項２７に記載の距離画像生成方法は、請求項２４、２５、又は、２６に記載の発明において、前記第１距離画像生成工程は、前記第１画像取込工程により前記複数の撮像部の各々から取り込まれた複数の第１の画像において、同一の物点に対する像点を示す対応点を検出し、該対応点の視差に基づいて前記物点までの距離を求め、該距離を示す距離データを前記対応点の画素の画素値とすることにより前記第１の距離画像を生成するステレオマッチング法を用いた距離画像生成工程であることを特徴としている。

請求項２８に記載の距離画像生成方法は、請求項２４、２５、２６、又は、２７に記載の発明において、前記第２距離画像生成工程は、前記第２の波長域の光が被写体に照射されて前記撮像部に到達するまでの時間に応じた画素値を示す前記第２の画像に基づいて各画素を像点とする物点までの距離を求め、該距離を示す距離データを各画素の画素値とすることによって前記第２の距離画像を生成するＴＯＦ法を用いた距離画像生成工程であることを特徴としている。

請求項２９に記載の距離画像生成方法は、請求項２４〜２８のうちのいずれか１に記載の発明において、前記第１の波長域は、可視の波長域であり、前記第２の波長域は、可視外の波長域であることを特徴としている。

請求項３０に記載の距離画像生成方法は、請求項２４〜２９のうちのいずれか１に記載の発明において、前記第２の波長域は、赤外の波長域であることを特徴としている。

請求項３１に記載の距離画像生成方法は、請求項２４〜３０のうちのいずれか１に記載の発明において、前記第１画像取込工程により前記第１の画像が取り込まれる撮像部において、前記第１の波長域の光を透過する１種類からなる第１の画素フィルター、又は、前記第１の波長域を分割した複数の波長域ごとの光を透過する複数種類からなる第１の画素フィルターが、前記イメージセンサの各受光素子に配置され、前記第１画像取込工程は、前記第１の画素フィルターが配置された受光素子によって前記第１の画像を取り込み、前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第２の波長域の光を透過する第２の画素フィルターが前記イメージセンサの各受光素子に配置され、前記第２画像取込工程は、前記第２の画素フィルターが配置された受光素子によって前記第２の画像を取り込むことを特徴としている。

請求項３２に記載の距離画像生成方法は、請求項３１に記載の発明において、前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第２の画素フィルターは、第１の画素フィルターと異なる受光素子に配置される画素フィルターであることを特徴としている。

請求項３３に記載の距離画像生成方法は、請求項３１、又は、３２に記載の発明において、前記第１の波長域は緑色の波長域であり、前記第１の画素フィルターは、緑色の波長域の光を透過する画素フィルターであることを特徴としている。

請求項３４に記載の距離画像生成方法は、請求項３１、３２、又は、３３に記載の発明において、前記第２の波長域は赤外の波長域であり、前記第２の画素フィルターは、赤外の波長域の光を透過する画素フィルターであることを特徴としている。

請求項３５に記載の距離画像生成方法は、請求項３１、３２、３３、又は、３４に記載の発明において、前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第１の画素フィルターと前記第２の画素フィルターとが交互に配置されることを特徴としている。

請求項３６に記載の距離画像生成方法は、請求項２４〜３５のうちのいずれか１に記載の発明において、前記主要被写体検出工程は、前記距離データヒストグラム作成工程により作成された距離データヒストグラムにおいて、出現頻度が所定の閾値を超える距離範囲を主要被写体の距離範囲として検出すると共に、該距離範囲に属する距離データを有する画素を主要被写体の画素として検出することを特徴としている。

請求項３７に記載の距離画像生成方法は、請求項３６に記載の発明において、前記主要被写体検出工程は、前記所定の閾値を複数の閾値で変更し、各閾値において検出される前記主要被写体の距離範囲に基づいて、適切な閾値を決定し、該決定した閾値に基づいて前記主要被写体の画素を検出することを特徴としている。

請求項３８に記載の距離画像生成方法は、請求項３７に記載の発明において、前記主要被写体検出工程は、前記複数の閾値を所定の規定値分の差を有する値で設定し、各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値を前記適切な閾値として決定することを特徴としている。

請求項３９に記載の距離画像生成方法は、請求項３８に記載の発明において、前記主要被写体検出工程は、前記各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値が複数存在し、且つ、前記主要被写体の距離範囲の数が最大となるときの複数の閾値が隣接する値であることを条件として該条件を満たす場合に、該条件を満たした複数の閾値のうち最も小さい値の閾値を前記適切な閾値として決定し、前記条件を満たさない場合には、前記条件を満たされるまで、前記規定値を減少させた新たな規定値によって前記複数の閾値を設定しなおすことを特徴としている。

請求項４０に記載の距離画像生成方法は、請求項３６〜３９のうちのいずれか１に記載の発明において、前記主要被写体検出工程は、前記主要被写体の距離範囲を所定の距離範囲内に制限して検出することを特徴としている。

請求項４１に記載の距離画像生成方法は、請求項２４〜４０のうちのいずれか１に記載の発明において、前記第１距離画像生成工程は、前記被写体距離検出工程により検出された主要被写体の画素及びその周辺画素からなる画像を前記主要被写体の範囲の画像として、前記主要被写体の距離画像を生成することを特徴としている。

請求項４２に記載の距離画像生成方法は、請求項２４〜４１のうちのいずれか１に記載の発明において、前記第１距離画像生成工程により距離画像が生成された前記主要被写体の範囲以外の距離画像を前記第２距離画像生成工程により生成された第２の距離画像から取得し、該取得した距離画像と、前記第１距離画像生成工程により生成された前記主要被写体の距離画像とを統合した距離画像を第３の距離画像として生成する第３距離画像生成工程を備え、前記記録／送出工程は、前記第３距離画像生成工程により生成された第３の距離画像を、前記第１距離画像生成工程により生成された前記主要被写体の距離画像を含む距離画像として前記記録媒体に記録し、又は、外部に送出することを特徴としている。

請求項４３に記載の距離画像生成方法は、請求項２４〜４２のうちのいずれか１に記載の発明において、前記距離データヒストグラム作成工程は、各距離ごとに各距離に属する距離データを有する画素の出現頻度を求めた後、該求めた出現頻度に所定のフィルター処理を施して得た値を前記距離データヒストグラムの値とすることを特徴としている。

請求項４４に記載の距離画像生成方法は、請求項４３に記載の発明において、前記フィルター処理は、前記出現頻度の平滑化を目的とした処理であることを特徴としている。

請求項４５に記載の距離画像生成方法は、請求項２４〜４４のうちのいずれか１に記載の発明において、前記記録／送出工程は、前記複数の撮像部のうちのいずれか１つの撮像部から取り込まれた前記第１の画像を前記主要被写体の距離画像と共に前記記録媒体に記録し、又は、外部に送出することを特徴としている。

請求項４６に記載の距離画像生成方法は、請求項２４〜４５のうちのいずれか１に記載の発明において、前記距離データは、前記撮像部の光軸方向の距離を示す距離データであることを特徴としている。

以上の請求項２４〜４６に記載の発明は各々、請求項１〜２３に記載の装置の発明に対応する方法の発明であり、対応する装置の発明と同様の効果を奏する。

本発明によれば、目的の被写体を的確に検出することができ、装置の大型化、高コスト化を招くことなく、その目的の被写体に関して精度の高い距離画像を生成できるようになると共に距離画像を短時間で生成できるようになる。

以下、添付図面に従って本発明に係る距離画像生成方法及びその装置を実施するための最良の形態について詳説する。

図１は、本発明に係る被写体距離生成装置が組み込まれたカメラ（撮像装置）の外観構成を示した正面図である。同図のカメラ１０は、通常のデジタルスチルカメラと同様に可視光により結像された被写体の画像を撮像し、その画像を記録媒体等に記録する機能と、後述のようにステレオマッチング法及び赤外光によるＴＯＦ（Time of flight）法を使用して被写体の距離を各画素の画素値とする距離画像を生成し、その距離画像を記録媒体等に記録する機能とを備えている。尚、本明細書において記録画像という場合には、記録媒体に記録される可視光による通常の画像を示すものとする。

同図に示すようにカメラ１０の本体１２には撮像部（主撮像部）ＰＡと撮像部（副撮像部）ＰＢの２つが設けられており、それらの撮像部ＰＡ、ＰＢの各々は、被写体を結像するための撮影レンズ（撮影光学系）ＬＡ、ＬＢと、例えばＣＣＤ等の固体撮像素子からなるイメージセンサＳＡ、ＳＢ（図３において示す）とを備えている。

撮像部ＰＡは、１つの撮像部により可視光の画像（静止画像）を撮像する通常のデジタルスチルカメラと同様に用いられ、カメラ１０の本体１２には、通常のデジタルスチルカメラと同様にその撮像部ＰＡによって可視光の画像を撮像し記録媒体４２（図３において示す）に記録するための構成部が設けられている。詳細は省略するが、例えば、画像の取込み等を指示するシャッターボタン１４、被写体が暗い場合に可視光領域の波長の照明光を発光するストロボ１６、セルフ撮影を行なう場合にシャッターレリーズのタイミングを通知するセルフタイマーランプ１７等が設けられている。また、電子ビューファインダ等として画像を表示することができる液晶モニターや、撮像部ＰＡによって撮像された可視光の画像や後述の距離画像等のデータを記録する記録媒体（メモリーカード）４２を装着するカードスロット等がカメラ１０の本体１２の背面部や側面部等に設けられている。

一方、撮像部ＰＢは、距離画像を生成するために用いられ、後述のように撮像部ＰＡと異なる視線方向からの可視光の画像を取り込む。これによって、撮像部ＰＡと撮像部ＰＢによって取り込まれた２つの画像がステレオ画像としてステレオマッチング法による距離画像の生成に使用される。また、撮像部ＰＢの撮影レンズＬＢの上下には、赤外光を出射する赤外光照射部１８、１８が設けられており、これらの赤外光照射部１８、１８から被写体に照射されて反射した赤外光（赤外光を含む光）によって結像された画像が撮像部ＰＢにより取り込まれる。その赤外光により結像された画像は、赤外光を使用したＴＯＦ（Time of Flight）法による距離画像の生成に使用される。尚、ＴＯＦ法による距離画像は、後述のようにステレオマッチング法による距離画像を補間するために使用される。また、赤外光照射部１８は、２つではなく、３つ以上設けてもよいし、１つであってもよい。

図２は、撮像部ＰＡと撮像部ＰＢの視点と、被写体との関係を示した被写界上面図である。同図では、カメラ１０の撮像部ＰＡの視点を原点とすると共に、撮像部ＰＡの光軸をＺ軸とし、撮像部ＰＡの視点（原点）と撮像部ＰＢの視点とを結ぶ直線の方向にＸ軸をとり、Ｘ軸とＺ軸に直交する紙面垂直方向にＹ軸（図１参照）をとって被写界空間の座標が定義されている。同図のように撮像部ＰＡの視点と撮像部ＰＢの視点の位置がＸ軸方向に異なっており、被写界空間の被写体（同図では人物）Ｍの同一の物点Ｘを異なる角度で各視点からみた画像が各撮像部ＰＡ、ＰＢによって取り込まれる。そのため、各撮像部ＰＡ、ＰＢにより取り込まれた各画像上において同一の物点Ｘに対する像点の位置にずれ（視差）が生じ、その視差を求めることによって物点Ｘまでの距離が三角測量の原理により求められる。尚、撮像部ＰＡと撮像部ＰＢの各々によって撮像される画像間において、同一の物点に対する像点となる位置（画素）を対応点というものとする。また、生成する距離画像の各画素の距離データを、撮像部ＰＡの視点から各物点までの距離として求めることができるが、することもできるが、本実施の形態ではＺ軸方向（奥行き方向）の距離として求めるものとする。

図３は、上記カメラ１０の内部構成を示した構成図である。同図においてカメラ１０を構成する各構成部はカメラ制御部３０によって統括的に制御されており、以下に示す各構成部の動作がカメラ制御部３０の指令等に基づいて行なわれるようになっている。

主撮像部である上記撮像部ＰＡは、同図に示すように撮影レンズ（撮影光学系）ＬＡと、ＣＣＤ等の固体撮像素子からなるイメージセンサＳＡ等を備えている。被写体からの可視光領域の光が撮影レンズＬＡに入射すると、撮影レンズＬＡにより被写体の画像がイメージセンサＳＡの受光面に結像される。そして、その画像がイメージセンサＳＡによって撮像（光電変換）されて電気信号（画像信号）に変換される。これによって、可視光により結像された被写体の画像が撮像部ＰＡにより取り込まれる。その画像を示す画像信号は、イメージセンサＰＡから出力されてＡ／Ｄ変換器３２によりデジタル信号に変換された後、メモリー部３４に一時記憶されると共に画像処理部３６により、所要の処理、例えば、ホワイトバランス補正、ガンマ補正、輪郭補正等の画像処理が施される。

同図におけるモニター部・スピーカー部３８は、カメラ１０の本体１２に設けられた液晶モニター、スピーカー及びそれらの制御部を含み、その液晶モニターにスルー画像を表示させる場合は、被写体の画像が撮像部ＰＡによって連続的に取り込まれ、イメージセンサＳＡから順次出力される画像信号が画像処理部３６により連続的に処理される。そして、画像処理部３６により処理されてメモリー部３４に一時記憶されている画像信号が、モニター部・スピーカー部３８にバスを介して伝送される。これによって、撮像部ＰＡによって現在撮影されている映像が液晶モニターにスルー画像として表示される。

一方、カードスロットに装填された記録媒体（メモリーカード）４２に画像（可視光による画像、即ち、記録画像）を記録する場合は、同図の操作部４０に含まれるシャッターボタン１４（図１参照）が全押しされたことによって発生する撮影指令に応答して、撮像部ＰＡにより被写体の画像が取り込まれ、１コマ分の画像信号がイメージセンサＳＡから出力される。その画像信号がメモリー部３４に一時記憶されると共に画像処理部３６により処理された後、記録媒体記録部４４に伝送される。記録媒体記録部４４では、画像信号に圧縮等の処理が施されて所定フォーマットの画像データとして記録媒体４２に記録される。

記録媒体４２に記録された画像データの画像を液晶モニターに再生表示する場合には、所定の再生指令に応じて記録媒体４２から読み出され、記録媒体記録部４４において圧縮処理された画像データの伸張処理等が施された後、モニター部・スピーカー部３８に伝送される。これによって、記録媒体４２に記録された画像データの画像が液晶モニターに再生表示される。

尚、同図における操作部４０は、シャッターボタン１４以外にも電源スイッチ等の各種操作部材を含み、それらの操作がカメラ制御部３０に読み取られることによって、操作に応じた処理が実行される。また、シャッターボタン１４は、例えば２段ストロークのボタンで、半押し時にＯＮしてＡＦ（自動焦点調整）、ＡＥ（自動露出調整）等の撮影準備を行わせるスイッチと、全押し時にＯＮして画像の取り込みを行わせるスイッチとを有している。また、同図の信号出力部４６からは、液晶モニターに表示されている画像の画像信号や、記録媒体４２に記録されている画像データ等の外部機器への出力が行なえるようになっている。更に、カメラ１０にはバッテリー４８が着脱可能に装填されるようになっており、電源部５０からそのバッテリー４８の電力が各構成部に供給されている。

副撮像部である上記撮像部ＰＢは、同図に示すように撮像部ＰＡと同様に撮影レンズＬＢと、ＣＣＤ等の固体撮像素子からなるイメージセンサＳＢ等を備えている。また、撮像部ＰＢには、撮影レンズＬＢとイメージセンサＳＢとの間の光路に所定電圧の印加により、光の透過、非透過を制御可能な電気光学シャッター６０と、その光路に挿脱可能な赤外カットフィルター６２が配置されている。

電気光学シャッター６０には、例えば、印加電圧によって透過率が変化する液晶シャッターが使用され、印加電圧によって、光を透過する開状態と、光を遮断する閉状態とで切り替わるようになっている。尚、電気光学シャッター６０は、ＴＯＦ法により距離画像を生成するための画像を取り込む際に使用されるもので、開状態と閉状態とを高速で切り替えるために使用される。従って、イメージセンサＳＢにおける電子シャッターの機能で対応できる場合には、必ずしも電気光学シャッター６０は必要ではない。

赤外カットフィルター６２は、赤外光を遮断するフィルターであり、フィルター駆動部６４のモータ等によって、光路に挿入された位置と、光路から退避した位置とで移動するようになっている。赤外カットフィルター６２が光路に挿入されている場合には、撮影レンズＬＢを通過した光のうち、赤外光が取り除かれ、可視光のみがイメージセンサＬＢに入射する。

撮像部ＰＢによる画像の取込みは、シャッターボタン１４の１回の全押しによる撮影指令に対応して複数コマ分の画像の取込みが行われるようになっている。１コマ分の画像の取込みは、赤外カットフィルター６２が光路に挿入された状態で行われる。尚、このとき電気光学シャッター６０は開状態に設定され、赤外光照射部１８からの赤外光の照射は行われない。この画像の取込み時には、撮影レンズＬＢに入射した被写体からの光は、赤外カットフィルター６２によって赤外光が取り除かれるため、可視光のみによって被写体の画像がイメージセンサＳＢの受光面に結像される。そして、その画像はイメージセンサＳＢにより撮像（光電変換）されて電気信号（画像信号）に変換される。これによって可視光による被写体の画像が撮像部ＰＢによって取り込まれる。その画像を示す画像信号は、イメージセンサＳＢから出力されてＡ／Ｄ変換器６６によりデジタル信号に変換された後、メモリー部３４に一時記憶されると共に画像処理部６８により、ホワイトバランス補正、ガンマ補正、輪郭補正等の所要の処理が施される。このようにして撮像部ＰＢにより取り込まれた画像は、撮像部ＰＡにより取り込まれた画像と共に、同一の被写体を異なる視線方向から撮影したステレオ画像を構成する２つの画像としてステレオマッチング距離画像生成部７０に取り込まれる。そして、ステレオマッチング距離画像生成部７０において、ステレオマッチング法により被写体の各物点までの距離を各画素の画素値とした距離画像が生成される。

一方、撮像部ＰＢでの他の画像の取込みは、赤外カットフィルター６２が光路から退避した状態で電気光学シャッター６０を制御（開状態と閉状態の切替え）することによって行われる。また、このとき、赤外光照射部１８から赤外光が出射される。この画像の取込み時には、撮影レンズＬＢに入射した被写体からの光の中に、赤外光照射部１８から被写体に照射されて反射した赤外光が含まれる。そして、撮影レンズＬＢに入射した被写体からの光は、赤外光を含んだ状態で被写体の画像を結像する。この赤外光を含む光により結像された画像は、イメージセンサＳＢにより撮像されて電気信号（画像信号）に変換される。これによって、赤外光照射部１８から照射された赤外光を含む光により結像された被写体の画像（以下、赤外光を含む光により結像された本画像を赤外画像というものとする）が撮像部ＰＢにより取込まれる。その赤外画像を示す画像信号は、イメージセンサＳＢから出力されてＡ／Ｄ変換器６６によりデジタル信号に変換された後、ＴＯＦ距離画像生成部７２に取り込まれる。そして、そのＴＯＦ距離画像生成部７２において、ＴＯＦ法により被写体の各物点までの距離を各画素の画素値とした距離画像が生成される。

ここで、各撮像部ＰＡ、ＰＢにおけるイメージセンサＳＡ、ＳＢの画素フィルター配列を図４及び図５に示す。図４は撮像部ＰＡにおけるイメージセンサＳＡの各画素の受光素子に配置される画素フィルター配列を示しており、Ｒ、Ｇ、Ｂで示す画素フィルターはそれぞれ赤色、緑色、青色の波長域の光を透過する画素フィルターを示している。図５は、撮像部ＰＢにおけるイメージセンサＳＢの画素フィルター配列を示しており、Ｒ′、Ｇ、Ｂで示す画素フィルターはそれぞれ赤色、緑色、青色の波長域の光を透過する画素フィルターを示している。

イメージセンサＳＡとイメージセンサＳＢは、同等の特性を有する撮像素子が使用されており、画素ピッチ、画素数、基本的な画素フィルター配列なども一致している。

一方、イメージセンサＳＡのＲの画素フィルターとイメージセンサＳＢのＲ′の画素フィルターとではフィルター特性が相違している。図６は、Ｒ、Ｇ、Ｂ、Ｒ′の画素フィルターの波長特性を示している。イメージセンサＳＡのＧとＢの画素フィルターと、イメージセンサＲＢのＧとＢの画素フィルターとは、それぞれ同一の特性を有しており、同図に示すように、Ｇの画素フィルターは、グラフＦＧで示すように緑色の波長域の所定波長において透過率が最大となる波長ピークを有し、その波長ピークにおいてＧの画素フィルターが配置された受光素子（Ｇの受光素子）の受光感度が最大となる。Ｂの画素フィルターは、グラフＦＢで示すように青色の波長域の所定波長において透過率が最大となる波長ピークを有し、その波長ピークにおいてＢの画素フィルターが配置された受光素子（Ｂの受光素子）の受光感度が最大となる。これらのＧ、Ｂの画素フィルターは、通常のイメージセンサに使用される緑色と青色の画素フィルターと同様の特性を有する。

また、イメージセンサＳＡのＲの画素フィルターは、通常のイメージセンサにおいて使用される赤色の画素フィルターと同様の特性を有し、グラフＦＲ（破線）で示すように赤色の波長域の所定波長において透過率が最大となる波長ピークを有し、その波長ピークにおいてＲの画素フィルターが配置された受光素子（Ｒの受光素子）の受光感度が最大となる。

一方、イメージセンサＳＢのＲ′の画素フィルターは、グラフＦＲ′で示すようにＲの画素フィルターの波長ピークと略同じ波長を波長ピークとし、Ｒの画素フィルターと同様に赤色の波長域の光を透過するが、更に、長波長側の赤外の波長域の光も透過する特性を有している。従って、このＲ′の画素フィルターが配置された受光素子（Ｒ′の受光素子）では赤外光に対しても大きな受光感度を有している。

また、同図において、上記赤外光照射部１８から出射される赤外光の波長領域がグラフＦＳで示されており、撮像部ＰＢの赤外カットフィルター６２のフィルター特性がグラフＦＩＲで示されている。

上記のようにステレオマッチング距離画像生成部７０における距離画像の生成のための画像を撮像部ＰＢにより取り込む場合には、赤外カットフィルター６２が光路に挿入された状態で画像の取込みが行われる。このとき、被写体からの光は、赤外カットフィルター６２とＲ′の画素フィルターを通過してＲ′の受光素子に入射する。そのため、Ｒ′の受光素子の受光感度は、イメージセンサＳＡのＲの受光素子と同様に赤色の波長域に制限される。即ち、Ｒ′の受光素子は、赤外カットフィルター６２の特性とＲ′の画素フィルターの特性とを重畳した特性を有するフィルターを備えているものと同等となり、その特性は、Ｒの画素フィルターに類似したものとなる。これに対してイメージセンサＳＢのＧとＢの受光素子では、赤外カットフィルター６２の影響を殆ど受けない。従って、赤外カットフィルター６２を光路に挿入した状態で画像の取込みを行うと、イメージセンサＳＡと同等の特性によって撮像された可視光による画像がイメージセンサＳＢによって得られる。

一方、上記のようにＴＯＦ距離画像生成部７２における距離画像の生成のための画像を撮像部ＰＢにより取り込む場合には、赤外カットフィルター６２が光路から退避した状態で画像の取込みが行われる。このとき、イメージセンサＳＢのＲ′の画素フィルターの特性がそのまま反映される。そして、このとき赤外光照射部１８から赤外光が被写体に照射されるが、Ｒ′の画素フィルターはその赤外の波長域の光を透過する特性を有するため、イメージセンサＳＢのＲ′の受光素子では、赤外光照射部１８から照射されて被写体で反射した赤外光を受光する。従って、赤外カットフィルター６２を光路から退避させた状態で赤外光照射部１８から赤外光を照射した状態で画像の取込みを行うと、その赤外光を含む光によって結像された画像（赤外画像）がイメージセンサＳＢによって得られる。尚、このとき取り込む赤外画像はＲ′の受光素子から得られる画像のみとする。

次に、図７のフローチャートを用いて上記カメラ１０における距離画像生成の処理手順について説明する。まず、所定の電源スイッチの操作に従ってカメラ１０の電源をオンすると（ステップＳ１０）、撮像部ＰＢにおける赤外カットフィルター６２を光路に挿入する（赤外カットフィルター６２のオン）（ステップＳ１２）。続いてシャッターボタン１４が全押しされたか否かを判定する（ステップＳ１４）。ＮＯと判定している間は、この判定処理を繰り返す。

一方、ステップＳ１４の判定処理においてＹＥＳと判定した場合、ＡＥ及びＡＦの処理を実行する（ステップＳ１６）。続いて、撮像部ＰＡのイメージセンサＳＡ及び撮像部ＰＢのイメージセンサＳＢにより画像を取り込み、それらの画像をメモリー部３４に記憶する（ステップＳ１８）。ここで、このとき撮像部ＰＡのイメージセンサＳＡにより取り込んだ画像を画像１、撮像部ＰＢのイメージセンサＳＢにより取り込んだ画像を画像２とする。

次に、赤外カットフィルター６２を光路から退避させて（赤外カットフィルター６２のオフ）、赤外光照射部１８から赤外光を被写体に照射する（ステップＳ２０）。そして、電気光学シャッター６０を駆動し、イメージセンサＳＢの所定の露光制御を実行する（ステップＳ２２）。これによって、イメージセンサＳＢのＲ′の受光素子のみから画像（赤外画像）を取り込み、その画像をＴＯＦ距離画像生成部７２内のメモリー部に記憶する（ステップＳ２４）。このとき撮像部ＰＢにより取り込んだ赤外画像を画像３とする。尚、画像３も、画像１、２と同様にメモリー部３４に記憶するようにしてもよい。

次に、メモリー部３４に記憶した画像１及び画像２をステレオマッチング距離画像生成部７０に取り込み、それらの画像１、画像２に基づいて、ステレオマッチング法により距離画像Ａを生成する（ステップＳ２６）。

ここで、ステレオマッチング距離画像生成部７０では、例えば、画像１と画像２において同一の物点に対する像点の位置となる対応点が検出され、画像１と画像２における対応点の位置のずれ（視差）が求められる。そして、その視差から三角測量の原理によりその物点のまでの距離が算出される。このようなステレオマッチング処理が画像１の各画素に対して行われ、画像１の各画素の画素値を、算出した距離の値（距離データ）とすることによって距離画像Ａが生成される。

一方、ＴＯＦ距離画像生成部７２は、画像３の画素値に基づいて、その画素を像点する被写体の物点までの距離をＴＯＦ法の原理に基づいて算出し、算出した距離の値（距離データ）を画素値とする距離画像Ｂを生成する（ステップＳ２８）。例えば、イメージセンサＳＢの各受光素子において入射した光に対して有効に電荷を蓄積するタイミングを制御し（電気光学シャッター６０又は電子シャッターの制御）、赤外光照射部１８を所定周期で発光させると共に、その発光のタイミングに合わせてイメージセンサＳＢの各受光素子で有効に電荷を蓄積する。各受光素子に蓄積される電荷量は、赤外光照射部１８から出射された赤外光が、出射されてから被写体で反射して各受光素子に入射するまでに要した飛行時間に応じた大きさとなる。従って、イメージセンサＳＢの各受光素子（Ｒ′の受光素子）により得られた画像３の各画素の画素値によって各画素を像点とする物点までの距離を算出することができる。

尚、ＴＯＦ法により距離画像Ｂを生成する方法として、赤外光照射部１８からパルス光を発光し、そのパルス光の発光のタイミングに合わせてイメージセンサＳＢの各受光素子で有効に電荷を蓄積する露光のタイミングを制御する方法が知られている。この場合、赤外光照射部１８から被写体に照射されて、その反射光がイメージセンサＳＢの各受光素子に到達するまでの時間に応じた量の電荷が各受光素子で蓄積される。即ち、各受光素子の蓄積電荷が近距離では多く、遠距離では少なくなる。従って、これによって得られた画像３の各画素の画素値に基づいて各画素を像点とする物点までの距離を算出することができる。赤外光照射部１８でのパルス光の発光と、それに対するイメージセンサＳＢの露光は、３、４回程度繰り返し行われる。

ＴＯＦ法により距離画像Ｂを生成する他の方法として、赤外光照射部１８からサイン波変調光（照射サイン波）を発光し、そのパルス光の発光のタイミングに合わせてイメージセンサＳＢの各受光素子での露光を複数回（例えば４回）繰り返す方法が知られている。この場合、画像３として複数コマ分の画像が得られ、得られた各画像の画素値に基づいて、照射サイン波に対して各受光素子で受光された受光サイン波が復調される。これによって、照射サイン波と受光サイン波の位相ずれを検出することができ、その位相ずれに基づいて各画素を像点とする物点までの距離を算出することができる。このような方法において得られる画像３の各画素の画素値は、赤外光照射部１８から被写体に照射された光が被写体で反射されてイメージセンサＳＢに到達するまでの時間に応じた値を示すもので、この方法も本明細書ではＴＯＦ法の一形態に含まれるものとする。

次に、ステレオマッチング距離画像生成部７０は、ステップＳ２６における距離画像Ａの生成において距離を算出することができなかった画素についての距離データをＴＯＦ距離画像生成部７２において生成された距離画像Ｂの対応する画素から取得する。そして、その距離画像Ｂから取得した距離データを距離画像Ａに適用して距離画像Ｃを生成する（ステップＳ３０）。

以上の処理が終了すると、撮像部ＰＡにより取り込まれた画像１と、距離画像Ｃとを記録媒体４２に記録し（ステップＳ３２）、ステップＳ１２に戻る。

尚、画像１と距離画像Ｃとは、別個のファイルとして対応付けして記録してもよいし、１つのファイル内のデータとして記録してもよい。更に画像２、画像３も記録してもよい。

また、以下の説明において、上記のようにステレオマッチング距離画像生成部７０において距離画像Ａを生成するために撮像部ＰＡにより取り込まれる画像を画像１、撮像部ＰＢにより取り込まれる画像を画像２とし、ＴＯＦ距離画像生成部７２において距離画像Ｂを生成するために撮像部ＰＢにより取り込まれる画像を画像３と記す。

次に、図７のステップＳ３０において距離画像Ｃを生成するための具体的な生成方法について説明する。上記ステレオマッチング距離画像生成部７０において生成される距離画像Ａは、記録媒体４２に記録される可視光の記録画像、即ち、上記画像１の各画素の画素値を距離データとしたものである。一方、撮像部ＰＡと撮像部ＰＢとは視点が異なるため、ＴＯＦ距離画像生成部７２において撮像部ＰＢにより取り込まれた上記画像３により生成された距離画像Ｂと、上記距離画像Ａとの間での対応点となる画素の各画像上での位置が異なる。

そこで、ステレオマッチング距離画像生成部７０において距離画像Ａを生成する際に画像１と画像２の間で求めた対応点を利用する。図８は、ステレオマッチング距離画像生成部７０において生成された距離画像Ａと、ＴＯＦ距離画像生成部７２において生成された距離画像Ｂの各々において画像全体のうちの同一範囲内の画素を抜き出して示した図である。同図において距離画像Ａの各画素は画像１の画素に対応しており、Ｒ、Ｇ、Ｂで示されている各画素（Ｒの画素、Ｇの画素、Ｂの画素）は、それぞれ図４に示した撮像部ＰＡのイメージセンサＳＡの画素フィルター配列においてＲ、Ｇ、Ｂの画素フィルターが配置された受光素子に対応する画素を示している。一方、距離画像Ｂの各画素は画像２の画素に対応しており、Ｒ′、Ｇ、Ｂで示されている各画素（Ｒ′の画素、Ｇの画素、Ｂの画素）は、それぞれ図５に示した撮像部ＰＢのイメージセンサＳＢの画素フィルター配列においてＲ′、Ｇ、Ｂの画素フィルターが配置された受光素子に対応する画素を示している。

例えば、ステレオマッチング距離画像生成部７０において検出された対応点（対応画素）が、同図において距離画像Ａと距離画像ＢのＧの画素ｍであったとする。このとき、その対応画素ｍの周辺の画素は、相対的にずれが少ない。そこで距離画像Ｂの対応画素ｍの周辺のＲ′の画素ｎの距離データを、距離画像Ａの対応画素ｍの周辺のＲの画素ｐに対応させて距離画像Ａの距離データでとして不足する部分を補間する。この処理を各対応点ごとに繰り返して補間を行うことによって、画素ずれの少ない適切な距離画像Ｃが生成される。

尚、図８では、対応画素ｍの周辺６画素分を補間しているが、その範囲は適宜設定できるものとしてもよい。

次に、ＴＯＦ距離画像生成部７２での距離画像Ｂの生成における距離算出精度の向上を図るための実施の形態について図９のフローチャートを用いて説明する。図９のフローチャートにおいて図７のフローチャートと同一ステップ番号を付している処理は図７で説明した処理内容と一致している。図９において、図７と同一処理が行われるステップＳ１０〜Ｓ２４までの処理の説明を省略すると、ステップＳ２４において撮像部ＰＢから画像３（赤外画像）を取り込んだ後のステップＳ４０の処理が追加されている。

ステップＳ４０では画像３の各画素の画素値から赤色の波長域の光が寄与した分の値を除去する処理が行われる。即ち、撮像部ＰＢにより取り込まれた画像３は、イメージセンサＳＢのＲ′の受光素子により得られた画素（Ｒ′の画素）によって構成されている。図４〜図６を用いたＲ′の画素フィルターのフィルター特性の説明で示したように、Ｒ′の画素フィルターが配置された受光素子は、赤外光照射部１８から出射される赤外光と、赤色の波長域の光とに対して受光感度を有している。従って、Ｒ′の画素の画素値は、赤外光によるものだけでなく、赤色の波長域の光による値が重畳されており、赤外光を参照光としてＴＯＦ法により距離を算出する場合に、赤色の波長域の光が距離算出精度の低下を招くおそれがある。

一方、撮像部ＰＢにおいて赤外カットフィルター６２を光路に挿入した状態で取り込まれた画像２の場合、Ｒ′の画素の画素値は、赤外光が取り除かれた赤色の波長域の光による値である。そこで、画像３の各Ｒ′の画素と画像２の各Ｒ′の画素の対応する画素間において、画像３の各Ｒ′の画素の画素値Ｒ３ｎから、画像２の各Ｒ′の画素の画素値Ｒ２ｎに規定値Ｋを乗じた値を減算する。即ち、
Ｒ４ｎ＝Ｒ３ｎ−Ｋ＊Ｒ２ｎ
の式により、Ｒ４ｎを求め、そのＲ４ｎの値で画像３のＲ′の画像の画素値を置き換える。これによって生成された画像は、赤色の波長域の光による影響が取り除かれた赤外光による画像を示している。尚、この画像を画像４とする。また、上記規定値Ｋは、画像２の撮影時の露光量と、画像３の撮影時の露光量との比に基づいて決定する。但し、画像２の撮影時の露光時間Ｔ２と画像３の撮影時の露光時間Ｔ３との比、即ち、
Ｋ＝Ｔ３／Ｔ２
としてもよい。

以上のように図９のステップＳ４０において画像４を生成すると、ステップＳ２８′において画像３から距離画像Ｂを生成する代わりに画像４から距離画像Ｂを生成する。ステップＳ４０の処理以後のステップＳ２６、Ｓ３０、３２は、図７の処理と一致しており、画像４から生成された距離画像Ｂを使用して距離画像Ｃが求められる。

次に、撮像部ＰＢにおけるイメージセンサＳＢの画素フィルターに関する他の実施の形態について説明する。上記実施の形態では撮像部ＰＢにより取り込まれた画像３により生成される距離画像Ｂは、図５においてイメージセンサＳＢのＲ′の画素フィルターが配置された受光素子（Ｒ′の受光素子）により得られたＲ′の画素のみによるものである。そのため、距離画像Ｂの解像度が全画素の１／４となっている。そこで、イメージセンサＳＢの画素フィルターとして以下のようなフィルター特性を有するものを使用する。それによって、イメージセンサＳＢの全ての受光素子により得られた画像の全ての画素を使用して距離画像Ｂを生成することができるようになり、距離画像Ｂの解像度を向上させることが可能となる。

本実施の形態での撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を図１０に示す。同図においてｒ、ｇ、ｂで示す画素フィルターは各々、赤色、緑色、青色の波長域の光を透過する画素フィルターを示している。ｒ、ｇ、ｂの各画素フィルターの配列を、図４に示したイメージセンサＳＡのＲ、Ｇ、Ｂの画素フィルターと比較すると、ｒの画素フィルターは、Ｒの画素フィルターに対応し、ｇの画素フィルターは、Ｇの画素フィルターに対応し、ｂの画素フィルターは、Ｂの画素フィルターに対応している。そして、ｒ、ｇ、ｂの画素フィルターの配列は、Ｒ、Ｇ、Ｂの画素フィルターの配列と一致している。

一方、ｒ、ｇ、ｂの各画素フィルターのフィルター特性は、イメージセンサＳＡのＲ、Ｇ、Ｂの画素フィルターのフィルター特性と異なる。

図１１（Ａ）、（Ｂ）、（Ｃ）にｒ、ｇ、ｂの各々の画素フィルターの波長特性を示す（同図（Ａ）、（Ｂ）、（Ｃ）の順にｂ、ｇ、ｒの特性を示している）。これらの図に示すように、ｒ、ｇ、ｂの各画素フィルターは、イメージセンサＳＡのＲ、Ｇ、Ｂの画素フィルターと同じようにそれぞれグラフＦＲ、ＦＧ、ＦＢで示す赤色、緑色、青色の各々の波長域において所定波長の光の透過率が最大となる波長ピークを有している。一方、ｒ、ｇ、ｂの各画素フィルターは、各図のＦＤで示す赤外の波長域において所定波長の光の透過率が最大となる波長ピークを有し、各画素フィルターは、それぞれ、赤色、緑色、青色の波長域と、赤外の波長域とで２つの波長ピークを有している。これによって、ｒ、ｇ、ｂの各画素フィルターは、赤外光照射部１８から出射される赤外光も透過する特性を有している。

このような画素フィルターを図１０のような配列でイメージセンサＳＢの各受光素子に配置することによって次のような画像が撮像部ＰＢにより得られる。撮像部ＰＢの光路に赤外カットフィルター６２を挿入した状態で画像の取込みを行った場合、赤外カットフィルター６２によって赤外光が遮断されるため、撮像部ＰＢが撮像部ＰＡと同様の特性となる。従って、撮像部ＰＢにより可視光の画像が取り込まれるため、この画像を上記実施の形態においてステレオマッチング距離画像生成部７０での距離画像Ａの生成に使用する画像２とすることができる。

一方、撮像部ＰＢの光路から赤外カットフィルター６２を退避させた状態で赤外光照射部１８から赤外光を被写体に照射して画像の取込みを行うと、イメージセンサＳＢのｒ、ｇ、ｂの画素フィルターが配置された全ての受光素子（ｒ、ｇ、ｂの受光素子）において、赤外光照射部１８から照射された赤外光が受光される。従って、イメージセンサＳＢの全ての受光素子により得られた画像（ｒ、ｇ、ｂの画素）を、上記実施の形態においてＴＯＦ距離画像生成部７２での距離画像Ｂの生成に使用する画像３とすることができる。

これによってイメージセンサＳＢの全ての受光素子から得られた画像の全ての画素により距離画像Ｂを生成することができるため、距離画像Ｂの解像度を上げることが可能となる。

尚、図９で示したステップＳ４０の処理と同様に画像３の各画素の画素値から可視光の影響を除去する場合には、図９のステップＳ４０の代わりに図１２のステップＳ４０′に示すように、ｒの画素のみでなく、ｇ、ｂの画素についても、それらの画素値から、画像２の各画素の画素値に規定値Ｋを乗じた値を減算することによって画像４を求める。

以上、上記実施の形態において、ステレオマッチング距離画像生成部７０によって距離画像を生成するために取り込む画像を第１の画像、その画像を結像させる被写体光の波長域を第１の波長域、撮像部ＰＡ、ＰＢのイメージセンサＳＡ、ＳＢにおいて第１の画像を取り込む受光素子に配置される画素フィルターを第１の画素フィルターというものとし、ＴＯＦ距離画像生成部７２により距離画像を生成するために取り込む画像を第２の画像、その画像を結像させる被写体光の波長域を第２の波長域、撮像部ＰＢのイメージセンサＳＢにおいて第２の画像を取り込む受光素子に配置される画素フィルターを第２の画素フィルターというものとする。この場合に、上記実施の形態では、第１の波長域を可視の波長域、第１の画素フィルターを赤色、緑色、青色の波長域の光を透過する画素フィルター、第２の波長域を赤外の波長域とした場合を示している。一方、第２の画素フィルターについては、図５のイメージセンサＳＢの形態では、第１の画素フィルターでもある赤色の波長域を透過する画素フィルターに赤外の波長域の光を透過する特性をもたせたＲ′の画素フィルターを第２の画素フィルターとした場合を示し、図９のイメージセンサＳＢの形態では、第１の画素フィルターの全ての種類（赤色、緑色、青色の画素フィルターの全て）に赤外の波長域の光を透過する特性を持たせたｒ、ｇ、ｂの画素フィルターを第２の画素フィルターとした場合を示している。

上記で説明したこれらの形態に対して、他の形態を実施することも可能である。まず、第１の波長域は、可視以外の波長域であってもよいし、可視の波長域内の更に限られた波長域であってもよい。そして、第２の波長域は、第１の波長域以外であればよい。例えば、第１の波長域を赤外の波長域とし、第２の波長域を可視の波長域とすることもできる。また、第１の画素フィルターは、第１の波長域の光を透過する特性を有する画素フィルターであるが、上記実施の形態のように透過する波長域が異なる複数種類の画素フィルターの配列によって、第１の波長域の光を透過させ、それらの画素フィルターが配置された受光素子によって第１の画像を取り込めるようにしてもよいし、第１の波長域の光を透過させる単一種の画素フィルターを第１の画素フィルターとしてもよい。

一方、撮像部ＰＢのイメージセンサＳＢにおける第２の画素フィルターは、第１の画素フィルターが上記のように複数種類からなる場合には、それらのうちの少なくとも１種類の画素フィルターに第２の波長域の光を透過する特性をもたせることによって第１の画素フィルターを第２の画素フィルターとして共用することができる。第１の画素フィルターが１種類である場合には、その第１の画素フィルターに第２の波長域の光を透過する特性を持たせた画素フィルターが第２の画素フィルターとなる。

また、上記実施の形態では、撮像部ＰＢから上記画像１を取り込む際に、赤外光を遮断する赤外カットフィルター６２を光路に挿入するようにしたが、これと同様に、撮像部ＰＢから上記第１の画像を取り込む際に、第２の波長域の光を遮断するフィルターを光路に挿入すれば、第２の画素フィルターとしても共用される第１の画素フィルターが配置された受光素子からも第１の画像を構成する画素を適切に取得することができる。また、上記実施の形態では採用していないが、撮像部ＰＢから上記第２の画像を取り込む際には、第１の波長域の光を遮断するフィルターを光路に挿入するようにしてもよい。

また、上記実施の形態では、２つの撮像部ＰＡ、ＰＢから、ステレオマッチング距離画像生成部７０により距離画像Ａを生成するための２つの第１の画像を取り込み、そのうちの１つの撮像部ＰＢから、ＴＯＦ距離画像生成部７２により距離画像Ｂを生成するための１つの第２の画像を取り込むようにしたが、２つの撮像部ＰＡ、ＰＢに限らず、更に多くの撮像部を設け、それらの撮像部から第１の画像を取り込んで、ステレオマッチング距離画像生成部７０により距離画像Ａを生成し、そのうちの少なくとも１つの撮像部から第２の画像を取り込み、ＴＯＦ距離画像生成部７２により距離画像Ｂを生成するようにしてもよい。

次に、撮像部ＰＢにおいて上記赤外カットフィルター６２を使用せずに上記画像２及び画像３を取り込めるようにした実施の形態について説明する。図１３は、本実施の形態における撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を示し、図１４は、イメージセンサＳＢの各画素フィルターのフィルター特性を示している。図１３に示すように、本実施の形態における画素フィルター配列は、Ｇで示す画素フィルターとＤで示す画素フィルターの２種類によって構成される。Ｇの画素フィルターは、図４に示した撮像部ＰＡのイメージセンサＳＡにおけるＧの画素フィルターと同じフィルター特性を有し、図１４のグラフＦＧに示すように緑色の波長域の光を透過する特性を有している。また、イメージセンサＳＢにおけるＧの画素フィルターは、撮像部ＰＡのイメージセンサＳＡにおけるＧの画素フィルターが配置される受光素子に対応する位置（イメージセンサ内で同じ位置）の受光素子に配置される。

一方、撮像部ＰＢのイメージセンサＳＢにおけるＤの画素フィルターは、赤外の波長域の光を透過する特性を有し、赤外光照射部１８から出射される赤外光を透過する。また、図４に示した撮像部ＰＡのイメージセンサＳＡにおけるＲ及びＢの画素センサーが配置される受光素子に対応する位置（同じ位置）の受光素子に配置される。

このようなＧとＤの画素フィルターが配置されたイメージセンサＳＢを使用した場合において、ステレオマッチング距離画像生成部７０が距離画像Ａを生成するために撮像部ＰＢから取り込む画像２については、イメージセンサＳＢのＧの画素フィルターが配置された受光素子により得られたＧの画素からなる画像を使用する。撮像部ＰＡと撮像部ＰＢの両方のイメージセンサＳＡ、ＳＢにおけるＧの受光素子の特性は同等であるため、ステレオマッチング距離画像生成部７０での距離算出処理において高い精度が得られる。

一方、ＴＯＦ距離画像生成部７２が距離画像Ｂを生成するために撮像部ＰＢから取り込む画像３については、イメージセンサＳＢのＤの画素フィルターが配置された受光素子により得られたＤの画素からなる画像を使用する。これによれば、画像２と画像３を図３に示した赤外カットフィルター６２を使用することなく取り込むことができる。本実施の形態におけるカメラ１０の構成を図１５に示す。同図において図３の構成と異なるところは、図３において撮像部ＰＢに設けられていた赤外カットフィルター６２と赤外カットフィルター６２を駆動するフィルター駆動部６４が図１５では設けられていない点である。その他は図３と同様に構成されている。

本実施の形態のカメラでの距離画像生成の処理手順を図１６のフローチャートに示す。同図のフローチャートにおいて、図７のフローチャートと同様の処理ブロックには図７と同一ステップ番号を付している。本実施の形態における図１６のフローチャートの処理手順によれば、赤外カットフィルター６２の制御が不要となっている点で図７のフローチャートの処理手順と相違している。即ち、図７のフローチャートのステップＳ１２、ステップＳ２０における赤外カットフィルター６２の制御が不要となっている。それ以外の処理は基本的に同様の手順で行われる。ただし、ステレオマッチング距離画像生成部７０により距離画像Ａを生成するために取り込まれる画像１及び画像２として、ステップＳ１８のようにＧの画素フィルターが配置された受光素子によって得られたＧの画素からなる画像が用いられる。また、ＴＯＦ距離画像生成部７２により距離画像を生成するために取り込まれる画像３として、ステップＳ２４のようにイメージセンサＳＢのＤの画素フィルターが配置された受光素子によって得られたＤの画素からなる画像が用いられる。

次に、図１３に示した画素フィルター配列のイメージセンサＳＢを使用して、ステレオマッチング距離画像生成部７０による距離画像Ａの生成に使用する画像２と、ＴＯＦ距離画像生成部７２による距離画像Ｂの生成に使用する画像３とを、イメージセンサＳＢからの１回の読み出しで取得できるようにした実施の形態について説明する。図１６のフローチャートの処理手順では画像２と画像３とを時間をずらして撮像部ＰＢのイメージセンサＳＢから取り込む（読み出す）ため、動体に対しては、時間的なずれが発生しやすい。また、動画撮影等の連続撮影でのフレームレートが低下する要因となる。

そこで、イメージセンサＳＢからの１回の読み出しによって、Ｇの画素からなる画像２とＤの画素からなる画像３とを取得することができるようにしたイメージセンサＳＢの構成を図１７に示す。同図において、Ｇ、Ｄで示す受光素子は、それぞれＧの画素フィルターとＤの画素フィルターが配置されている受光素子を示している。各受光素子は、電気的スイッチＳＷＧ、ＳＷＤにより、一方は垂直転送路ＶＳに、他方はドレインＤＳ側に切替え可能に接続されている。Ｇの受光素子の電気的スイッチＳＷＧは、Ｇ画素シャッター制御用ラインＧＣに接続され、Ｄの受光素子の電気的スイッチＳＷＤは、Ｄ画素シャッター制御用ラインＤＣに接続されている。

ここで、各受光素子が電気的スイッチＳＷＧ、ＳＷＤによって垂直転送路ＶＳ側に接続されている間が、露光時間となる。ドレインＤＳ側は受光素子の電荷を排出する機能を有する。尚、電気的スイッチＳＷＧ、ＳＷＤはＭＯＳスイッチ型又はＣＣＤ転送ゲート型などで行なうことができる。更に垂直転送路ＶＳも、ＣＭＯＳセンサーの如くマトリックス配線により読み出すようにしてもよい。

このようなイメージセンサＳＢを使用することにより、Ｇの受光素子で撮像されるＧの画素からなる画像２のシャッター時間と、Ｄの受光素子により撮像されるＤの画素からなる画像３のシャッター時間とを個々に制御することができ、イメージセンサＳＢからの蓄積電荷の１回の読み出し（転送）で画像２と画像３の両画像のデータを取得することができる。また、動画等の連続撮影への適用も可能となる。

上記イメージセンサＳＢを制御する際の好ましいシャッター制御のタイミングを図１８に示す。同図に示すように１フレーム期間において、所定の時間ＴＳを設定し、ＴＳまでの期間でＤの受光素子の電気的スイッチＳＷＤを制御するＤ画素シャッター制御を行い、ＴＳからＴＦまでの期間でＧの受光素子の電気的スイッチＳＷＧを制御するＧ画素シャッター制御を行う。

ＴＳまでの期間では赤外光照射部１８から所定時間幅のパルス状の赤外光を所定周期で繰り返し発光させる。この間のＤ画素シャッター制御において、その赤外光の発光に同期して電気的スイッチＳＷＤをドレインＤＳ側に接続している状態（ローレベルで示す状態）から垂直転送路ＶＳに接続した状態（ハイレベルで示す状態）に切り替える。そして、所定時間が経過すると、ドレインＤＳ側に接続を切り替える。この制御を赤外光の発光に合わせて繰り返し行う。電気スイッチＳＷＤを垂直転送路ＶＳに接続している期間においてＤの受光素子で光電変換された電荷が、垂直転送路ＶＳの転送素子に蓄積される。

一方、ＴＳからＴＦの期間は赤外光照射部１８における赤外光の発光を停止させる。この間のＧ画素シャッター制御において、電気的スイッチＳＷＧをドレインＤＳ側に接続している状態（ローレベルで示す状態）から垂直転送路ＶＳに接続した状態（ハイレベルで示す状態）に切り替える。そして、適切な露光時間が経過すると、ドレインＤＳ側に接続を切り替える。電気的スイッチＳＷＧを垂直転送路ＶＳに接続している期間においてＧの受光素子で光電変換された電荷が垂直転送路ＶＳの転送素子に蓄積される。

以上の１フレーム期間が経過すると、垂直転送路の転送素子に蓄積された電荷が読み出される。これによって、イメージセンサＳＢからの蓄積電荷の１回の読み出しによって画像２と画像３の両画像のデータを同時に取得することができる。このような制御によれば、赤外光照射部１８から照射された赤外光の被写体からの反射光の到達遅延分も考慮してＴＳを設定することによって、Ｇの画素からなる画像２を取得する際の不要な赤外光の入射を防ぐことができる。また、画像２と画像３の撮像に対する消費電力の重なりが回避されるため、瞬時的な消費電力の増大によるノイズの発生が防止されており、両画像２、３への電気的なノイズの混入も抑制できる効果がある。

以上、赤外カットフィルター６２を不要にした実施の形態において、ステレオマッチング距離画像生成部７０によって距離画像を生成するために取り込む画像を第１の画像、その画像を結像させる被写体光の波長域を第１の波長域、撮像部ＰＡ、ＰＢのイメージセンサＳＡ、ＳＢにおいて第１の画像を取り込む受光素子に配置される画素フィルターを第１の画素フィルターというものとし、ＴＯＦ距離画像生成部７２により距離画像を生成するために取り込む画像を第２の画像、その画像を結像させる被写体光の波長域を第２の波長域、撮像部ＰＢのイメージセンサＳＢにおいて第２の画像を取り込む受光素子に配置される画素フィルターを第２の画素フィルターというものとする。この場合に、上記実施の形態では、第１の波長域を緑色の波長域、第１の画素フィルターを緑色の波長域の光を透過する画素フィルター、第２の波長域を赤外の波長域、第２の画素フィルターを赤外の波長域の光を透過する画素フィルターとして場合を示している。

このような実施の形態に対して以下のような形態を実施することも可能である。まず、第１の波長域は、緑色以外の波長域であってもよく、第２の波長域は、第１の波長域以外であればよい。また、第１の画素フィルターは、第１の波長域の光を透過する特性を有する画素フィルターであるが、上記実施の形態のように単一種の画素フィルターではなく、透過する波長域が異なる複数種類の画素フィルターの配列によって、第１の波長域の光を透過させ、それらの画素フィルターが配置された受光素子によって第１の画像を取り込めるようにしてもよいし、上記の実施の形態のように第１の波長域の光を透過させる単一種の画素フィルターを第１の画素フィルターとしてもよい。撮像部ＰＢのイメージセンサＳＢにおける第２の画素フィルターは、第１の画素フィルターとは別に配置される第２の波長域の光を透過する画素フィルターであって、第１の画素フィルターが配置されていない受光素子に配置すればよい。これによれば、赤外カットフィルター６２のような第２の波長域の光を遮断するフィルターを使用することなく、撮像部ＰＢから第１の画像（画像２）と第２の画像（画像３）を取り込むことができる。また、第１の画像と第２の画像を同時に撮像することも可能であるし、上記実施の形態のようにずれして撮像することもできる。

以上、上記実施の形態では、１台のカメラに２つの撮像部ＰＡ、ＰＢを設け、通常の可視光による画像（画像１）の記録と、距離画像の生成及び記録を可能にした態様について説明したが、撮像部ＰＡと撮像部ＰＢとを分離できるようにしてもよい。

例えば、図１９に本形態の構成を示し、図３に示したカメラ１０の構成において、同一又は類似の作用の構成部には図１と同一符号を付す。図１９において、撮像部ＰＡを備えた主カメラ１００と撮像部ＰＢを備えた副カメラ１０２が機械的及び電気的に着脱可能となっており、主カメラ１００と副カメラ１０２を分離することができるようになっている。

主カメラ１００は、その撮像部ＰＡにより、通常の可視光による画像を撮像し、その画像を記録媒体４０に記録する機能を備えている。これによって主カメラ１００を単体で通常のカメラとして使用することができる。

一方、副カメラ１０２は、距離画像生成に関する機能を備えている。例えば、図３に示した赤外光照射部１８、ステレオマッチング距離画像生成部７０、ＴＯＦ距離画像生成部７２等の回路を搭載している。そして、主カメラ１００に副カメラ１０２を所定の装着機構によって機械的に装着した場合に、例えば、主カメラ１００の電気コネクタ１００Ａと副カメラ１０２の電気コネクタ１０２Ａとが接続され、主カメラ１００と副カメラの所要の構成部間において信号伝送できるようになっている。尚、主カメラ１００と副カメラ１０２との間での信号伝送は無線を利用することも可能である。

これによって、主カメラ１００と副カメラ１０２を装着すると、図３に示した構成のカメラ１０と同様の処理が行えるようになり、可視光による画像の記録と、距離画像の生成及び記録が可能となる。

以上、上記実施の形態において、ステレオマッチング距離画像生成部７０、ＴＯＦ距離画像生成部７２における距離画像生成のための処理内容、手順等は、必ずしも上記実施の形態で示したものである必要ない。

また、上記実施の形態では、距離画像だけでなく通常のカメラとして通常の画像を撮影し記録する機能を備えていたが、距離画像を生成するのみであってもよい。

次に、上記実施の形態における距離画像生成装置が組み込まれたカメラの構成を利用した他の実施の形態について説明する。

本実施の形態では、撮影画角内の所定の主要被写体に着目して、その主要被写体に対して精度良い距離画像を生成することで、ステレオマッチング法における対応点の誤検出の低減と処理時間の短縮を図ることを主目的とし、更に、主要被写体のみの距離画像を記録できるようにすることで、記録媒体等に記録するデータ量の低減を図ると共に、データ伝送時における伝送時間の短縮を可能にする。

本実施の形態におけるカメラの構成は、上記実施の形態において、撮像部ＰＢの赤外カットフィルター６２を不要にしたカメラと同様であり、外観構成は図１に示したもの、内部構成は図１５に示したもの、撮像部ＰＡのイメージセンサＳＡにおける画素フィルター配列は図４に示したもの、撮像部ＰＢのイメージセンサＳＢにおける画素フィルター配列は図１３に示したものと一致している。

本実施の形態における距離画像生成の処理を図２０のフローチャートに従って説明する。尚、本フローチャートにおいて、上記実施の形態において赤外カットフィルター６２を不要にした場合の距離画像生成の処理手順を示した図１６のフローチャートと同様の処理ブロックには同一ステップ番号を付している。

本フローチャートにおいて、ステップＳ１０〜ステップＳ２４の画像１、画像２、画像３を取り込むまでの処理は、図１６のフローチャートでの処理と同様に行われる。

ステップＳ２４までの処理が終了すると、続いて、ＴＯＦ距離画像生成部７２は、画像３に基づいて距離画像Ｂを生成する（ステップＳ２８）。図１６のフローチャートでは、ステップＳ２８の前のステップＳ２６においてパターンマッチング距離画像生成部７０による距離画像Ａの生成が行われるが、本実施の形態ではステップＳ２８の前には行われない。

次に、ＴＯＦ距離画像生成部７２は、Ｚ軸方向（図２参照）に対する距離を所定長さ単位の距離区分に分け、距離画像Ｂの各画素の距離データがどの距離区分に属するかを判定しながら、各距離区分に距離データが属すると判定した画素の数（出現頻度）を算出する。即ち、距離データヒストグラムを作成する（ステップＳ６０）。距離区分は、その区分長を測定精度の最小単位（１ｃｍ単位等）としたものであってもよいし、最小単位の所定倍（１ｃｍ×５倍＝５ｃｍ等）としたものであってもよい。尚、本処理は、ステレオマッチング距離画像生成部７０で行ってもよく、また、他の処理部で行っても良い。

ここで、図２１に示すように撮影画角内の被写界空間に３つの被写体Ａ、Ｂ、Ｃが存在すると仮定した場合、図２２のような距離データヒストグラムが距離画像Ｂから作成される。

図２２の距離データヒストグラムにおいて、横軸の距離に対して近距離側から遠距離側に向けて出現頻度の参照点を変更していった場合に、出現頻度が０から増加する距離Ｚ１、Ｚ３、Ｚ５の各々の距離と、出現頻度が減少して０になる距離Ｚ２、Ｚ４、Ｚ６の各々の距離との間に上記被写体Ａ、Ｂ、Ｃが存在している。このように、距離データヒストグラムにおいて、出現頻度が０から増加する距離と、出現頻度が減少して０になる距離の間に、周辺部分と独立した被写体が存在する可能性が高い。

そこで、距離データヒストグラムにおいて出現頻度が０から増加する距離と、出現頻度が減少して０になる距離の間に存在する被写体を主要被写体とし、図２０のステップＳ６０において、距離データヒストグラムを作成すると、まず、出現頻度が０から増加する距離を前側分離点として検出すると共に、出現頻度が減少して０になる距離を後側分離点として検出する（図２０のステップＳ６０）。これによって、前側分離点と後側分離点に挟まれた距離範囲に主要被写体が存在すると判断される。尚、図２１及び図２２の例では、距離Ｚ１、Ｚ３、Ｚ５が前側分離点として検出され、距離Ｚ２、Ｚ４、Ｚ６が後側分離点として検出される。また、横軸の距離に対して近距離側から遠距離側に向けて出現頻度の参照点を変更していった場合に、出現頻度が０から増加する距離と、出現頻度が減少して０になる距離を分離点とするのではなく、所定の閾値に対して、出現頻度が閾値未満の値から閾値以上の値となった距離を前側分離点、出現頻度が閾値以上の値から閾値未満の値となった距離を後側分離点とし、主要被写体が存在する距離範囲を検出するようにしてもよい。更に、主要被写体を検出する距離範囲、即ち、前側分離点と後側分離点とを検出する距離範囲を一定範囲に制限するようにしてもよい。

ステップＳ６０において、分離点（前側分離点及び後側分離点）を検出すると、続いて、所定の１つ（例えば最も近い距離）の前側分離点と、それよりも遠距離側にある後側分離点のうちの最も近いものとで挟まれる距離範囲を、第１の距離範囲として、その第１の距離範囲の距離データを有する画素を距離画像Ｂから検出する。そして、イメージセンサＳＢにおいて、その検出した画素に対応する位置（同じ位置）のＤの受光素子を中心とする３×３の受光素子の範囲を距離算出対象範囲とする。

即ち、図２３に示すイメージセンサＳＢの受光素子において、主要被写体の距離範囲に属するとして検出された距離画像Ｂの所定画素に対応する受光素子を受光素子１００とする。このとき、その受光素子１００の上下左右のＧの受光素子１０２、１０２、１０２、１０２を含む縦３×横３の受光素子の範囲を距離算出対象範囲とする。そして、イメージセンサＳＢから得られる画像のうちの、距離算出対象範囲の受光素子により得られた画素（以下、距離算出対象範囲の画素という）を抽出する。距離算出対象範囲のＧの受光素子に対しては画像２から抽出し、距離算出対象範囲のＤの受光素子に対しては画像３から抽出する（図２０のステップＳ６２）。

距離算出対象範囲の画素を抽出すると、次に、ステレオマッチング距離画像生成部７０は、その距離算出対象範囲の各画素と画像１とを用いてステレオマッチング法により第１の距離範囲の主要被写体に対する距離画像Ａ１を求める（ステップＳ６４）。そこで、まず、距離算出対象範囲の各画素と画像１との間での対応点を検出する。尚、距離算出対象範囲の画素は、所定の距離範囲（第１の距離範囲）に属する物点に対する像点であることが分かっているため、それらの画素の対応点として検出する画像１の画素範囲を一定範囲内に限定することが可能であり、高速に対応点を見つけることができる。但し、画像１の全体から対応点を検出してもよい。対応点を検出すると、上記のように対応点の視差を求めて各画素を像点とする物点までの距離を三角測量の原理により求め、求めた距離のデータを各画素の画素値とする距離画像Ａ１を生成する。

ステップＳ６２及びステップＳ６４において、第１の距離範囲に対して行った処理を、所定の前側分離点と後側分離点とで挟まれる他の距離範囲（第２〜第ｎの距離範囲）に対しても行い、各々の距離範囲の主要被写体に対する距離画像Ａ２〜Ａｎを生成する（ステップＳ６６）。

次に、記録媒体４２に記録する距離画像の種類に関して、ユーザによって設定されている状態を確認する（ステップＳ６８）。記録する距離画像の種類としてはフル画像と部分画像の２種類があり、ユーザは、距離画像として記録する距離画像の種類をそれらのうちの所望の種類に設定することができるようになっている。

フル画像の記録が設定されている状態の場合、撮像部ＰＡにより取り込まれる画像１の各画素のうち、距離画像Ａ１〜Ａｎのいずれかによって距離データが生成されている画素は、その距離データを画素値とする。一方、それ以外の画素については、距離画像Ｂの距離データで補間できる場合には、その距離データを画素値とする。これによって、距離画像Ｃを生成する（ステップＳ７０）。そして、図１６のフローチャートと同様にその距離画像Ｃを画像１と共に記録媒体４２に記録する（ステップＳ３２）。

ステップＳ６８において、部分画像の記録が設定されている場状態の場合、距離画像Ａ１〜Ａｎを統合して距離画像Ｃを生成する。即ち、撮像部ＰＡにより取り込まれる画像１の各画素のうち、距離画像Ａ１〜Ａｎのいずれかによって距離データが生成されている画素は、その距離データを画素値とする。それ以外の画素には距離データを割り当てることなく、距離画像Ａ１〜Ａｎの距離データによって画素値が得られた画素のみからなる距離画像を距離画像Ｃとして生成する（ステップＳ７２）。そして、その距離画像Ｃを画像１と共に記録媒体４２に記録する（ステップＳ３２）。

尚、記録媒体４２に記録するデータにはデータ圧縮を施しても良い。また、カメラ本体での距離画像生成に時間が係る場合には、画像１、２、３を全て記録媒体４２に記録しておき、後処理としてカメラ本体や他の機器（ＰＣ等）で距離画像を生成するようにしてもよい。

次に、上記距離データヒストグラムから主要被写体の距離範囲（分離点）を検出する際に閾値（０以外の閾値）を使用する場合の処理手順について図２４のフローチャートを用いて説明する。尚、本実施の形態において、図２０に示したステップＳ１０〜ステップＳ２４の画像１、画像２、画像３を取り込むまでの処理が一致しているため、図２４のフローチャートでは、ステップＳ１０〜ステップＳ２４の処理を省略し、図２０に示したステップＳ２８以降の処理のみが示されている。

ステップＳ２４までの処理が終了すると、続いて、ＴＯＦ距離画像生成部７２は、画像３に基づいて距離画像Ｂを生成する（ステップＳ２８）。

次に、ＴＯＦ距離画像生成部７２は、上記実施の形態と同様に距離データヒストグラムを作成する（ステップＳ６０′）。

続いて、所定の閾値Ｌ１を設定し、距離データヒストグラムにおいて出現頻度が閾値Ｌ１未満の値から閾値Ｌ１以上になる距離を前側分離点とし、出現頻度が閾値Ｌ１以上の値から閾値Ｌ１未満になる距離を後側分離点として、近距離側から遠距離側に順に検索する。検出した前側分離点をｚｕ１〜ｚｕｎ、後側分離点をｚｄ１〜ｚｄｎとする（ステップＳ８０）。

ここで、図２１に示したように撮影画角内の被写界空間に３つの被写体Ａ、Ｂ、Ｃが存在すると仮定した場合に、図２２と同様に図２５のような距離データヒストグラムが得られたとする。このとき、閾値Ｌ１を設定して、上記のように分離点を検出すると、前側分離点は距離ｚｕ１〜ｚｕ３で検出され、後側分離点は距離ｚｄ１〜ｚｄ３で検出される。

次に、検出した前側分離点ｚｕ１〜ｚｕｎと後側分離点ｚｄ１〜ｚｄｎとから、主要被写体が存在する距離範囲ｚｕ１〜ｚｄ１、ｚｕ２〜ｚｄｎ、…、ｚｄ１〜ｚｄｎを設定する（ステップＳ８２）。即ち、所定の１つの前側分離点と、その前側分離点よりも遠距離側にある後側分離点のうちの最も近い後側分離点とで挟まれる距離範囲を主要被写体が存在する距離範囲として設定する。図２５の距離データヒストグラムでは、距離範囲ｚｕ１〜ｚｄ１、ｚｕ２〜ｚｄ２、ｚｕｎ〜ｚｄｎの各々が主要被写体Ａ、Ｂ、Ｃが存在する距離範囲として設定される。

続いて、主要被写体が存在する各距離範囲ごとに、上記実施の形態と同様に、その距離範囲に距離データを有する画素を距離画像Ｂから検出する。そして、上記実施の形態と同様に、その検出した各画素に対応する距離算出対象範囲の画素を画素２及び画像３から抽出する（ステップＳ８４）。

次に、各距離範囲ごとに、距離算出対象範囲として抽出された各画素と、画像１とを用いてステレオマッチング法により各距離範囲の主要被写体に対する距離画像Ａ１〜Ａｎを生成する（ステップＳ８６）。

続いて、距離画像Ａ１〜Ａｎのいずれかによって距離データが生成されている画素は、その距離データを画素値とする。一方、それ以外の画素については、距離画像Ｂの距離データで補間できる場合には、その距離データを画素値とする。これによって、距離画像Ｃを生成する（ステップＳ８８）。そして、図２０のフローチャートのステップＳ３２と同様にその距離画像Ｃを画像１と共に記録媒体４２に記録する。

尚、本フローチャートでは、距離画像Ｃとしてフル画像のみを記録する場合を示したが、図２０のフローチャートと同様に、フル画像と部分画像のいずれの種類の距離画像Ｃを生成し、記録するかをユーザの選択に従って行うようにしてもよい。

続いて、上記図２４のフローチャートで示した実施の形態における閾値Ｌ１を適切な値に設定することによって主要被写体の距離範囲の検出精度を向上させる方法について説明する。

図２６は、適切な閾値を設定するめの処理手順を示したフローチャートである。尚、本実施の形態において、図２０に示したステップＳ１０〜ステップＳ２４の画像１、画像２、画像３を取り込むまでの処理が一致しているため、図２６のフローチャートでは、ステップＳ１０〜ステップＳ２４の処理を省略し、図２０に示したステップＳ２８以降の処理のみが示されている。

続いて、距離データヒストグラムの出現頻度に対する複数の閾値Ｌ１〜Ｌｎを所定既定可変値Ｓを想定して決定する（ステップＳ１００）。

ここで、図２１に示したように撮影画角内の被写界空間に３つの被写体Ａ、Ｂ、Ｃが存在すると仮定した場合に、図２２と同様に図２７のような距離データヒストグラムが得られたとする。このとき、所定の最小閾値Ｌ１に対して所定の出現頻度数（既定可変値）Ｓを順次加算して得られた値を順に閾値Ｌ２、Ｌ３、…Ｌｎとして求める。最大閾値Ｌｎは、例えば、距離データヒストグラムの最大出現頻度を初めて超えたときの閾値とする。これによって、閾値Ｌ１〜Ｌｎを決定する。同図では、ｎ＝５のときの閾値Ｌ５が距離データヒストグラムの最大出現頻度を初めて超えたためその閾値Ｌ５が最大閾値となり、閾値Ｌ１から閾値Ｌ５までの閾値が決定される。

ステップＳ１００において閾値Ｌ１〜Ｌｎを決定すると、まず、閾値Ｌ１を設定し、距離データヒストグラムにおいて出現頻度が閾値Ｌ１未満の値から閾値Ｌ１以上になる距離を前側分離点とし、出現頻度が閾値Ｌ１以上の値から閾値Ｌ１未満になる距離を後側分離点として、これらの分離点を近距離側から遠距離側に順に検索する。検出した前側分離点をｚｕ１〜ｚｕｎ、後側分離点をｚｄ１〜ｚｄｎとする。尚、このとき分離点を検索する距離範囲を主要被写体として存在すると考えられる一定範囲に制限してもよい。そして、所定の１つの前側分離点と、その前側分離点よりも遠距離側にある後側分離点のうちの最も近い後側分離点とで挟まれる距離範囲ｚｗの数（距離範囲数）をカウントする。閾値Ｌ１のときのその距離範囲数をＬ１ｚｗとする（ステップＳ１０２）。

図２７の距離データヒストグラムでは、２つの前側分離点ｚｕ１、ｚｕ２と、１つの後側分離点ｚｄ１が検出され、前側分離点ｚｕ１に対しては後側分離点ｚｄ１がその前側分離点ｚｕ１とで距離範囲ｚｗ１を挟む後側分離点として存在する。一方、前側分離点ｚｕ２に対してはその前側分離点ｚｕ１とで距離範囲を挟む後側分離点が存在しない。従って、閾値Ｌ１のときに前側分離点と後側分離点とで挟まれる距離範囲数Ｌ１ｚｗは１となる。

ステップＳ１０２と同様の処理により他の閾値Ｌ２〜Ｌｎの各々に対しても前側分離点と後側分離点の検出を行い、前側分離点と後側分離点とで挟まれる距離範囲数Ｌ２ｚｗ、Ｌ３ｚｗ、…、Ｌｎｚｗを求める（ステップＳ１０４）。図２７の距離データヒストグラムで示した例では、閾値Ｌ２のときには前側分離点と後側分離点とで挟まれる距離範囲がｚｗ１、ｚｗ２、ｚｗ３となるためその距離範囲数Ｌ２ｚｗが３となる。閾値Ｌ３のときも距離範囲数Ｌ３ｚｗが３となる。閾値Ｌ４のときには距離範囲数Ｌ４ｚｗが１となり、閾値Ｌ５のときには距離範囲数Ｌ５ｚｗが０となる。

次に、ステップＳ１０２、１０４で求めた距離範囲数Ｌ１ｚｗ〜Ｌｎｚｗのうちの最大値を求める（ステップＳ１０６）。図２７の距離データヒストグラムで示した例では最大値が３となる。

続いて、距離範囲数Ｌ１ｚｗ〜Ｌｎｚｗのうちで、距離範囲数の最大値と等しい値となるものが、２つ以上存在し、且つ、それらが得られたときの閾値が連続した（隣接した）レベルか否かを判定する（ステップＳ１０８）。図２７の距離データヒストグラムで示した例では、距離範囲数の最大値３に等しい距離範囲数がＬ２ｚｗとＬ３ｚｗとで２つ存在し、かつ、それらが得られたときの閾値Ｌ２、Ｌ３が連続したレベルであるため、ステップＳ１０８においてＹＥＳと判定される。

このようにステップＳ１０８においてＹＥＳと判定すると、続いて、距離範囲数の最大値が得られたときの閾値のうち、最も低い（最小）の閾値を主要被写体を検出するための最適な閾値として設定する（ステップＳ１１０）。図２７の距離データヒストグラムで示した例では閾値Ｌ２が主要被写体を検出するための最適な閾値として設定される。

主要被写体を検出するための最適な閾値を設定すると、図２４のフローチャートで説明したステップＳ８０及びステップＳ８２と同様にその閾値を使用して主要被写体の距離範囲を求める（ステップＳ１１２）。以後の処理は、図２４のフローチャートで説明したステップＳ８６以降の処理と同様に行い、距離画像Ｃを生成し、記録媒体４２に記録する。

一方、ステップＳ１０８において、ＮＯと判定した場合には、閾値Ｌ１〜Ｌｎを決定する際の既定可変値Ｓを規定量αで減算した値Ｓ−αを新たな規定可変値Ｓとし、その新たな規定可変値Ｓにより閾値Ｌ１〜Ｌｎを決定する（ステップＳ１１０）。そして、ステップＳ１０８においてＹＥＳと判定されるまで、ステップＳ１０２からの処理を繰り返す。

次に、上記距離データヒストグラムから主要被写体の距離範囲（分離点）の検出に関する他の実施の形態について図２８のフローチャートを用いて説明する。尚、本実施の形態において、図２４のフローチャートで示した実施の形態のステップＳ８０以外の処理は同様に行われるため、図２８では、ステップＳ８０に代わるステップＳ１５０、ステップＳ１５２と、図２４と同様に行われるステップＳ２８及びステップＳ６０′の処理のみが示されている。

本実施の形態は、主要被写体が複雑な形状をしている場合を考慮したもので、同一物体であるが、何かの陰に隠れて見えない箇所がある主要被写体、即ち、オクルージョンが発生した主要被写体の距離範囲を適切に検出できるようにしたものである。

本実施の形態において、図２４のフローチャートで示した実施の形態と同様に、各撮像部ＰＡ、ＰＢにより画像１、画像２、画像３を取り込みが終了し、画像３より距離画像Ｂを生成すると共に（ステップＳ２８）、距離画像Ｂにより距離データヒストグラムを作成すると（ステップＳ６０′）、図２８のフローチャートのステップＳ１００に示すように、距離データヒストグラムのピーク検出が行われる。このピーク検出は、着目している距離に対して前後の１ステップ分の距離を含む３ステップ分の距離に対する出現頻度のうち最大の値（ピーク検出値）となるものを、着目している距離の出現頻度とするフィルター処理である。

図２９はオクルージョンが生じている場合の距離データヒストグラムを例示したものである。同図に示すように、特定の距離において出現頻度が０となる部分が発生する。そこで、距離データヒストグラムに上記フィルター処理を施して、被写体の連続性を維持する。即ち、上記のように横軸の距離に対して所定距離を１ステップとした３ステップ分の３つの距離における出現頻度のピークを検出し、そのピークの値（ピーク検出値）を３ステップ分の距離の中央の距離に対する出現頻度の値とする。これによって、距離データヒストグラムは、図２９の破線で示すようにグラフに変換される。

次に、ステップＳ１５２において、距離データヒストグラムに対して所定の閾値Ｌ１を設定し、ステップＳ１５０で検出したピーク検出値が閾値Ｌ１未満の値から閾値Ｌ１以上の値に変化する距離を前側分離点とし、ピーク検出値が閾値Ｌ１以上の値から閾値Ｌ１未満の値に変化する距離を後側分離点として、近距離側から遠距離側に順に検索する。これによって主要被写体の距離範囲が検出される。そして、検出した前側分離点をｚｕ１〜ｚｕｎ、後側分離点をｚｄ１〜ｚｄｎとする（ステップＳ１５２）。以後の処理は、図２４のフローチャートで示したステップＳ８２からの処理と同様に行われる。

尚、ステップＳ１５０におけるフィルター処理は、上記の場合に限らず、移動平均等の平滑化するフィルター処理であればよい。また、フィルター処理を行うステップ間隔を適宜変更して処理を行うことでより精度を向上させることができる。

以上、図２０以降で示した実施の形態において、それ以前に説明した画像１、２、３の取込みや、距離画像Ａ、Ｂの生成等に関す各種実施の形態の内容を同様に適用できる。

また、全ての実施の形態において、距離画像Ｃ等の記録媒体４２に記録したデータは、記録媒体４２に記録すると共に、又は、記録媒体４２に記録することなく、外部の機器に送出するようにしてもよい。また、記録媒体４２や外部の機器に距離画像Ｃを生成するための元画像（画像１〜３）、又は、所定の処理によって得られた中間画像を、記録媒体４２に記録し、又は、外部の機器に送出し、距離画像Ｃの生成は、撮影後の後処理として行うカメラ内又は外部の機器において行うようにしてもよい。

本発明に係る被写体距離生成装置が組み込まれたカメラ（撮像装置）の外観構成を示した正面図。図１のカメラにおける２つの撮像部ＰＡ、ＰＢの視点と、被写体との関係を示した被写界上面図。図１のカメラの内部構成を示したブロック図。撮像部ＰＡのイメージセンサＳＡの画素フィルター配列を示した図。撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を示した図。画素フィルターの波長特性を示した図。図１のカメラにおける距離画像生成の処理手順を示したフローチャート。ステレオマッチング距離画像生成部において生成された距離画像Ａと、ＴＯＦ距離画像生成部において生成された距離画像Ｂの各々において画像全体のうちの同一範囲内の画素を抜き出して示した図。図７のフローチャートにおいて示した距離画像生成の処理手順において、ＴＯＦ距離画像生成部での距離画像Ｂの生成における距離算出精度の向上させた場合の処理手順を示したフローチャート。他の実施の形態における撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を示した図。図１０の各々の画素フィルターの波長特性を示した図。図１０の画素フィルター配列のイメージセンサＳＢを使用した場合において図９のステップＳ４０の処理に相当する処理を適用した場合の説明に使用した説明図。撮像部ＰＢの赤外カットフィルターを不要にする場合における撮像部ＰＢのイメージセンサＳＢの画素フィルター配列を示した図。イメージセンサＳＢの各画素フィルターのフィルター特性を示した図。撮像部ＰＢの赤外カットフィルターを不要にした場合におけるカメラの内部構成を示したブロック図。撮像部ＰＢの赤外カットフィルターを不要にした場合のカメラにおける距離画像生成の処理手順を示したフローチャート。撮像部ＰＢの赤外カットフィルターを不要にし、かつ、ステレオマッチング距離画像生成部とＴＯＦ距離画像生成部で使用する画像を同時に取り込むことを可能にしたイメージセンサＳＢの構成図。図１７のイメージセンサＳＢの制御の一形態を示した図。図１のカメラにおける２つの撮像部ＰＡ、ＰＢを分離可能にした場合の構成を示した図。主要被写体のみステレオマッチング法を用いて距離画像を生成するカメラでの距離画像生成の処理手順を示したフローチャート。カメラの撮影画角内の被写界空間に３つの被写体Ａ、Ｂ、Ｃが存在する様子を示した図。図２１の被写体界空間に対して得られる距離データヒストグラムを示した図。イメージセンサＳＢの受光素子において設定される距離算出対象範囲の説明に使用した説明図。距離データヒストグラムから主要被写体の距離範囲（分離点）を検出する際に閾値を使用する場合の距離画像生成の処理手順を示したフローチャート。距離データヒストグラムに対して主要被写体の検出のために設定される閾値の説明に使用した説明図。距離データヒストグラムに基づいて主要被写体の距離範囲を検出する際の適切な閾値を設定するための処理手順を示したフローチャート。図２６の処理手順において設定される閾値の説明に使用した距離データヒストグラムの図。主要被写体が複雑な形状の場合に対応した実施の形態における距離画像生成の処理手順を示したフローチャート。フィルター処理を施した距離データヒストグラムを例示した図。

符号の説明

１０…カメラ、１２…本体、１４…シャッターボタン、１８…赤外光照射部、３０…カメラ制御部、３４…メモリー部、３６…画像処理部、４２…記録媒体、６０…電気光学シャッター、６２…赤外カットフィルター、７０…ステレオマッチング距離画像生成部、７２…ＴＯＦ距離画像生成部、ＰＡ、ＰＢ…撮像部、ＬＡ、ＬＢ…撮影レンズ、ＳＡ、ＳＢ…イメージセンサ

Claims

被写体の画像を結像する光学系と、該光学系により結像された被写体の画像を２次元配列の受光素子により電気信号として取り込むイメージセンサとを備えた複数の撮像部と、
前記複数の撮像部の各々から、第１の波長域の光により結像された被写体の画像を第１の画像として取り込む第１画像取込手段と、
前記複数の撮像部のうち、少なくとも１つの撮像部から、第２の波長域の光により結像された被写体の画像を第２の画像として取り込む第２画像取込手段と、
前記第２画像取込手段により取り込まれた第２の画像に基づいて、各画素の画素値を距離データとする第２の距離画像を生成する第２距離画像生成手段と、
前記第２距離画像生成手段により生成された第２の距離画像に基づいて、各距離ごとに各距離に属する距離データを有する画素の出現頻度を示す距離データヒストグラムを作成する距離データヒストグラム作成手段と、
前記距離データヒストグラムに基づいて、主要被写体を検出する主要被写体検出手段と、
前記第１画像取込手段により取り込まれた第１の画像に基づいて、各画素の画素値を距離データとする第１の距離画像を生成する第１距離画像生成手段であって、前記第１の画像に基づいて、前記主要被写体検出手段により検出された主要被写体の範囲の画像の各画素を距離データとする前記主要被写体の距離画像を生成する第１距離画像生成手段と、
前記第１距離画像生成手段により生成された前記主要被写体の距離画像を記録媒体に記録し、又は、外部に送出する前記記録／送出手段と、
を備えたことを特徴とする距離画像生成装置。
前記記録／送出手段は、前記主要被写体の距離画像と共に、前記複数の各撮像部により取り込まれた少なくとも１つの画像を前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項１の距離画像生成装置。
前記第２の波長域内の光を被写体に照射する光照射手段を備え、前記第２画像取込手段は、前記光照射手段により前記第２の波長域内の光を被写体に照射し、その反射光により結像された被写体の画像を前記第２の画像として取り込むことを特徴とする請求項１、又は、２の距離画像生成装置。
前記第１距離画像生成手段は、前記第１画像取込手段により前記複数の撮像部の各々から取り込まれた複数の第１の画像において、同一の物点に対する像点を示す対応点を検出し、該対応点の視差に基づいて前記物点までの距離を求め、該距離を示す距離データを前記対応点の画素の画素値とすることにより前記第１の距離画像を生成するステレオマッチング法を用いた距離画像生成手段であることを特徴とする請求項１、２、又は、３の距離画像生成装置。
前記第２距離画像生成手段は、前記第２の波長域の光が被写体に照射されて前記撮像部に到達するまでの時間に応じた画素値を示す前記第２の画像に基づいて各画素を像点とする物点までの距離を求め、該距離を示す距離データを各画素の画素値とすることによって前記第２の距離画像を生成するＴＯＦ法を用いた距離画像生成手段であることを特徴とする請求項１、２、３、又は、４の距離画像生成装置。
前記第１の波長域は、可視の波長域であり、前記第２の波長域は、可視外の波長域であることを特徴とする請求項１〜５のうちのいずれか１の距離画像生成装置。
前記第２の波長域は、赤外の波長域であることを特徴とする請求項１〜６のうちのいずれか１の距離画像生成装置。
前記第１画像取込手段により前記第１の画像が取り込まれる撮像部において、前記第１の波長域の光を透過する１種類からなる第１の画素フィルター、又は、前記第１の波長域を分割した複数の波長域ごとの光を透過する複数種類からなる第１の画素フィルターが、前記イメージセンサの各受光素子に配置され、前記第１画像取込手段は、前記第１の画素フィルターが配置された受光素子によって前記第１の画像を取り込み、
前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第２の波長域の光を透過する第２の画素フィルターが前記イメージセンサの各受光素子に配置され、前記第２画像取込手段は、前記第２の画素フィルターが配置された受光素子によって前記第２の画像を取り込むことを特徴とする請求項１〜７のうちのいずれか１の距離画像生成装置。
前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第２の画素フィルターは、第１の画素フィルターと異なる受光素子に配置される画素フィルターであることを特徴とする請求項８の距離画像生成装置。
前記第１の波長域は緑色の波長域であり、前記第１の画素フィルターは、緑色の波長域の光を透過する画素フィルターであることを特徴とする請求項８、又は、９の距離画像生成装置。
前記第２の波長域は赤外の波長域であり、前記第２の画素フィルターは、赤外の波長域の光を透過する画素フィルターであることを特徴とする請求項８、９、又は、１０の距離画像生成装置。
前記第２画像取込手段により前記第２の画像が取り込まれる撮像部において、前記第１の画素フィルターと前記第２の画素フィルターとが交互に配置されることを特徴とする請求項８、９、１０、又は、１１の距離画像生成装置。
前記主要被写体検出手段は、前記距離データヒストグラム作成手段により作成された距離データヒストグラムにおいて、出現頻度が所定の閾値を超える距離範囲を主要被写体の距離範囲として検出すると共に、該距離範囲に属する距離データを有する画素を主要被写体の画素として検出することを特徴とする請求項１〜１２のうちのいずれか１の距離画像生成装置。
前記主要被写体検出手段は、前記所定の閾値を複数の閾値で変更し、各閾値において検出される前記主要被写体の距離範囲に基づいて、適切な閾値を決定し、該決定した閾値に基づいて前記主要被写体の画素を検出することを特徴とする請求項１３の距離画像生成装置。
前記主要被写体検出手段は、前記複数の閾値を所定の規定値分の差を有する値で設定し、各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値を前記適切な閾値として決定することを特徴とする請求項１４の距離画像生成装置。
前記主要被写体検出手段は、前記各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値が複数存在し、且つ、前記主要被写体の距離範囲の数が最大となるときの複数の閾値が隣接する値であることを条件として該条件を満たす場合に、該条件を満たした複数の閾値のうち最も小さい値の閾値を前記適切な閾値として決定し、
前記条件を満たさない場合には、前記条件を満たされるまで、前記規定値を減少させた新たな規定値によって前記複数の閾値を設定しなおすことを特徴とする請求項１５の距離画像生成装置。
前記主要被写体検出手段は、前記主要被写体の距離範囲を所定の距離範囲内に制限して検出することを特徴とする請求項１３〜１６のうちのいずれか１の距離画像生成装置。
前記第１距離画像生成手段は、前記主要被写体検出手段により検出された主要被写体の画素及びその周辺画素からなる画像を前記主要被写体の範囲の画像として、前記主要被写体の距離画像を生成することを特徴とする請求項１〜１７のうちのいずれか１の距離画像生成装置。
前記第１距離画像生成手段により距離画像が生成された前記主要被写体の範囲以外の距離画像を前記第２距離画像生成手段により生成された第２の距離画像から取得し、該取得した距離画像と、前記第１距離画像生成手段により生成された前記主要被写体の距離画像とを統合した距離画像を第３の距離画像として生成する第３距離画像生成手段を備え、
前記記録／送出手段は、前記第３距離画像生成手段により生成された第３の距離画像を、前記第１距離画像生成手段により生成された前記主要被写体の距離画像を含む距離画像として前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項１〜１８のうちのいずれか１の距離画像生成装置。
前記距離データヒストグラム作成手段は、各距離ごとに各距離に属する距離データを有する画素の出現頻度を求めた後、該求めた出現頻度に所定のフィルター処理を施して得た値を前記距離データヒストグラムの値とすることを特徴とする請求項１〜１９のうちのいずれか１の距離画像生成装置。
前記フィルター処理は、前記出現頻度の平滑化を目的とした処理であることを特徴とする請求項２０の距離画像生成装置。
前記記録／送出手段は、前記複数の撮像部のうちのいずれか１つの撮像部から取り込まれた前記第１の画像を前記主要被写体の距離画像と共に前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項１〜２１のうちのいずれか１の距離画像生成装置。
前記距離データは、前記撮像部の光軸方向の距離を示す距離データであることを特徴とする請求項１〜２２のうちのいずれか１の距離画像生成装置。
被写体の画像を結像する光学系と、該光学系により結像された被写体の画像を２次元配列の受光素子により電気信号として取り込むイメージセンサとを備えた複数の撮像部の各々から、第１の波長域の光により結像された被写体の画像を第１の画像として取り込む第１画像取込工程と、
前記複数の撮像部のうち、少なくとも１つの撮像部から、第２の波長域の光により結像された被写体の画像を第２の画像として取り込む第２画像取込工程と、
前記第２画像取込工程により取り込まれた第２の画像に基づいて、各画素の画素値を距離データとする第２の距離画像を生成する第２距離画像生成工程と、
前記第２距離画像生成工程により生成された第２の距離画像に基づいて、各距離ごとに各距離に属する距離データを有する画素の出現頻度を示す距離データヒストグラムを作成する距離データヒストグラム作成工程と、
前記距離データヒストグラムに基づいて、主要被写体を検出する主要被写体検出工程と、
前記第１画像取込工程により取り込まれた第１の画像に基づいて、各画素の画素値を距離データとする第１の距離画像を生成する第１距離画像生成工程であって、前記第１の画像に基づいて、前記主要被写体検出工程により検出された主要被写体の範囲の画像の各画素を距離データとする前記主要被写体の距離画像を生成する第１距離画像生成工程と、
前記第１距離画像生成工程により生成された前記主要被写体の距離画像を記録媒体に記録し、又は、外部に送出する前記記録／送出工程と、
を備えたことを特徴とする距離画像生成方法。
前記記録／送出工程は、前記主要被写体の距離画像と共に、前記複数の各撮像部により取り込まれた画像を前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項２４の距離画像生成方法。
前記第２画像取込工程は、前記第２の波長域内の光を被写体に照射する光照射手段により前記第２の波長域内の光を被写体に照射し、その反射光により結像された被写体の画像を前記第２の画像として取り込むことを特徴とする請求項２４、又は、２５の距離画像生成方法。
前記第１距離画像生成工程は、前記第１画像取込工程により前記複数の撮像部の各々から取り込まれた複数の第１の画像において、同一の物点に対する像点を示す対応点を検出し、該対応点の視差に基づいて前記物点までの距離を求め、該距離を示す距離データを前記対応点の画素の画素値とすることにより前記第１の距離画像を生成するステレオマッチング法を用いた距離画像生成工程であることを特徴とする請求項２４、２５、又は、２６の距離画像生成方法。
前記第２距離画像生成工程は、前記第２の波長域の光が被写体に照射されて前記撮像部に到達するまでの時間に応じた画素値を示す前記第２の画像に基づいて各画素を像点とする物点までの距離を求め、該距離を示す距離データを各画素の画素値とすることによって前記第２の距離画像を生成するＴＯＦ法を用いた距離画像生成工程であることを特徴とする請求項２４、２５、２６、又は、２７の距離画像生成方法。
前記第１の波長域は、可視の波長域であり、前記第２の波長域は、可視外の波長域であることを特徴とする請求項２４〜２８のうちのいずれか１の距離画像生成方法。
前記第２の波長域は、赤外の波長域であることを特徴とする請求項２４〜２９のうちのいずれか１の距離画像生成方法。
前記第１画像取込工程により前記第１の画像が取り込まれる撮像部において、前記第１の波長域の光を透過する１種類からなる第１の画素フィルター、又は、前記第１の波長域を分割した複数の波長域ごとの光を透過する複数種類からなる第１の画素フィルターが、前記イメージセンサの各受光素子に配置され、前記第１画像取込工程は、前記第１の画素フィルターが配置された受光素子によって前記第１の画像を取り込み、
前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第２の波長域の光を透過する第２の画素フィルターが前記イメージセンサの各受光素子に配置され、前記第２画像取込工程は、前記第２の画素フィルターが配置された受光素子によって前記第２の画像を取り込むことを特徴とする請求項２４〜３０のうちのいずれか１の距離画像生成方法。
前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第２の画素フィルターは、第１の画素フィルターと異なる受光素子に配置される画素フィルターであることを特徴とする請求項３１の距離画像生成方法。
前記第１の波長域は緑色の波長域であり、前記第１の画素フィルターは、緑色の波長域の光を透過する画素フィルターであることを特徴とする請求項３１、又は、３２の距離画像生成方法。
前記第２の波長域は赤外の波長域であり、前記第２の画素フィルターは、赤外の波長域の光を透過する画素フィルターであることを特徴とする請求項３１、３２、又は、３３の距離画像生成方法。
前記第２画像取込工程により前記第２の画像が取り込まれる撮像部において、前記第１の画素フィルターと前記第２の画素フィルターとが交互に配置されることを特徴とする請求項３１、３２、３３、又は、３４の距離画像生成方法。
前記主要被写体検出工程は、前記距離データヒストグラム作成工程により作成された距離データヒストグラムにおいて、出現頻度が所定の閾値を超える距離範囲を主要被写体の距離範囲として検出すると共に、該距離範囲に属する距離データを有する画素を主要被写体の画素として検出することを特徴とする請求項２４〜３５のうちのいずれか１の距離画像生成方法。
前記主要被写体検出工程は、前記所定の閾値を複数の閾値で変更し、各閾値において検出される前記主要被写体の距離範囲に基づいて、適切な閾値を決定し、該決定した閾値に基づいて前記主要被写体の画素を検出することを特徴とする請求項３６の距離画像生成方法。
前記主要被写体検出工程は、前記複数の閾値を所定の規定値分の差を有する値で設定し、各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値を前記適切な閾値として決定することを特徴とする請求項３７の距離画像生成方法。
前記主要被写体検出工程は、前記各閾値において検出される前記主要被写体の距離範囲の数が最大となるときの閾値が複数存在し、且つ、前記主要被写体の距離範囲の数が最大となるときの複数の閾値が隣接する値であることを条件として該条件を満たす場合に、該条件を満たした複数の閾値のうち最も小さい値の閾値を前記適切な閾値として決定し、
前記条件を満たさない場合には、前記条件を満たされるまで、前記規定値を減少させた新たな規定値によって前記複数の閾値を設定しなおすことを特徴とする請求項３８の距離画像生成方法。
前記主要被写体検出工程は、前記主要被写体の距離範囲を所定の距離範囲内に制限して検出することを特徴とする請求項３６〜３９のうちのいずれか１の距離画像生成方法。
前記第１距離画像生成工程は、前記主要被写体検出工程により検出された主要被写体の画素及びその周辺画素からなる画像を前記主要被写体の範囲の画像として、前記主要被写体の距離画像を生成することを特徴とする請求項２４〜４０のうちのいずれか１の距離画像生成方法。
前記第１距離画像生成工程により距離画像が生成された前記主要被写体の範囲以外の距離画像を前記第２距離画像生成工程により生成された第２の距離画像から取得し、該取得した距離画像と、前記第１距離画像生成工程により生成された前記主要被写体の距離画像とを統合した距離画像を第３の距離画像として生成する第３距離画像生成工程を備え、
前記記録／送出工程は、前記第３距離画像生成工程により生成された第３の距離画像を、前記第１距離画像生成工程により生成された前記主要被写体の距離画像を含む距離画像として前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項２４〜４１のうちのいずれか１の距離画像生成方法。
前記距離データヒストグラム作成工程は、各距離ごとに各距離に属する距離データを有する画素の出現頻度を求めた後、該求めた出現頻度に所定のフィルター処理を施して得た値を前記距離データヒストグラムの値とすることを特徴とする請求項２４〜４２のうちのいずれか１の距離画像生成方法。
前記フィルター処理は、前記出現頻度の平滑化を目的とした処理であることを特徴とする請求項４３の距離画像生成方法。
前記記録／送出工程は、前記複数の撮像部のうちのいずれか１つの撮像部から取り込まれた前記第１の画像を前記主要被写体の距離画像と共に前記記録媒体に記録し、又は、外部に送出することを特徴とする請求項２４〜４４のうちのいずれか１の距離画像生成方法。
前記距離データは、前記撮像部の光軸方向の距離を示す距離データであることを特徴とする請求項２４〜４５のうちのいずれか１の距離画像生成方法。