JP5549564B2

JP5549564B2 - ステレオ撮影装置

Info

Publication number: JP5549564B2
Application number: JP2010269007A
Authority: JP
Inventors: 敏行山下
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 2010-12-02
Filing date: 2010-12-02
Publication date: 2014-07-16
Anticipated expiration: 2030-12-02
Also published as: EP2461595A3; US9407903B2; JP2012120006A; EP2461595A2; US20120140046A1

Description

本発明はステレオ撮影装置に関するものであり、更に詳しくは、単一の撮像素子と２つの撮影光学系を用いて被写体のステレオ撮影を行う複眼方式のステレオ撮影装置に関するものである。

単一の撮像素子を用いて複眼方式のステレオ視を行う場合、撮像素子の撮像面は左右の撮像領域に分割されて用いられる。このため、回折の影響で一方の画像が他方の画像に写り込んでしまうおそれがある。つまり、左側の撮影光学系で形成されたイメージサークルが右側の撮像領域にしみ出したり、右側の撮影光学系で形成されたイメージサークルが左側の撮像領域にしみ出したりする場合がある。特許文献１記載の撮影装置では、このイメージサークルのしみ出しによる画像劣化を、撮像面の左右の撮像領域間に隔壁を設けることにより防いでいる。

特開平８−１７１１５１号公報

しかし、特許文献１記載のステレオ撮影装置では、隔壁によって構成部材が増えてしまうため、左右の画像位置の調整が困難になったり、コストアップを招いたりすることになる。

本発明はこのような状況に鑑みてなされたものであって、その目的は、簡単かつ調整容易な光学構成でありながら、左右のイメージサークルのしみ出しに起因する画像劣化を防ぐことが可能なステレオ撮影装置を提供することにある。

上記目的を達成するために、第１の発明のステレオ撮影装置は、単一の撮像素子と２つの撮影光学系を用いて被写体のステレオ撮影を行う複眼方式のステレオ撮影装置であって、前記２つの撮影光学系が、第１波長域の光のみから成る第１被写体像を形成する第１撮影光学系と、前記第１波長域とは異なる第２波長域の光のみから成る第２被写体像を形成する第２撮影光学系と、から成り、前記撮像素子が、前記第１被写体像の画像記録を行う第１撮像領域と、前記第２被写体像の画像記録を行う第２撮像領域と、に分割された撮像面を有し、その撮像面上に、前記第１撮像領域では第１波長域の光のみを透過させ、前記第２撮像領域では第２波長域の光のみを透過させる波長フィルタを有し、前記２つの撮影光学系が、反射によって光路を折り曲げるとともに光の波長を制限する少なくとも１つの反射面を共有することを特徴とする。

第２の発明のステレオ撮影装置は、上記第１の発明において、前記第２波長域の光が単色光であることを特徴とする。

第３の発明のステレオ撮影装置は、上記第２の発明において、前記第１被写体像がカラー画像であり、前記第１被写体像と前記第２被写体像とで対応点探索を行い、その対応関係に基づいて前記第２被写体像をカラー画像に復元することを特徴とする。

第４の発明のステレオ撮影装置は、上記第３の発明において、両眼カラー視差画像を生成するときに、前記第２被写体像の画像の色情報として前記第１被写体像の画像の色差信号を使用することを特徴とする。

第５の発明のステレオ撮影装置は、上記第３又は第４の発明において、前記第１撮像領域での画素配列がベイヤー配列であり、前記ベイヤー配列の画像から輝度信号を生成するとき、前記第２撮像領域での輝度信号に近い波長の色成分と対応点探索を行い、その対応点探索の結果に基づいて補完すべき輝度情報を前記第２撮像領域での輝度信号から得ることを特徴とする。

第６の発明のステレオ撮影装置は、上記第１〜第５のいずれか１つの発明において、前記第２波長域の主な波長範囲が５６０ｎｍ〜５９０ｎｍであることを特徴とする。

第７の発明のステレオ撮影装置は、上記第１〜第５のいずれか１つの発明において、前記第２波長域の主な波長範囲が７００ｎｍ〜９００ｎｍであることを特徴とする。

第８の発明のステレオ撮影装置は、上記第１〜第７のいずれか１つの発明において、前記２つの撮影光学系が、反射によって光路を折り曲げるとともに入射光を反射光と透過光とに光量で２分割する反射面を共有することを特徴とする。

第１の発明によれば、撮像面上の波長フィルタが、第１撮像領域では第１波長域の光のみを透過させ、第２撮像領域では第２波長域の光のみを透過させる構成になっているため、ステレオ視において互いに異なる波長の光から成る第１，第２被写体像が撮像され、その際、第１，第２被写体像のイメージサークルが互いに重なっていても、クリアな画像が得られる。しかも、隔壁等の構成部材は不要である。したがって、簡単かつ調整容易な光学構成でありながら、左右のイメージサークルのしみ出しに起因する画像劣化を防ぐことが可能であり、コスト面でも有利である。

第２の発明によれば、第２波長域の光が単色光であるため、第２被写体像の画像記録の解像度が向上するとともに、撮像面積が広くなって明るさの変化に強くなる（例えば、ベイヤー（ＢＡＹＥＲ）配列のＧの２倍の撮像面積）。したがって、ステレオマッチングの精度を上げることができる。

第３の発明によれば、第２波長域の光が単色光であっても、対応点探索により第２被写体像をカラー画像に復元することができる。第４の発明によれば、第１被写体像のカラー画像の色差信号から第２被写体像のカラー画像が復元されるが、人間の目は色信号の変化に疎いため、第１被写体像の画像の色差信号をそのまま利用してもよく、また、算出された視差分だけシフトさせてもかまわない。

第５の発明によれば、ベイヤー配列の画像から輝度信号を生成するとき、第２撮像領域での輝度信号に近い波長の色成分と対応点探索を行う構成になっている。したがって、ステレオマッチングを行うときにできるだけ近い波長同士の画像が比較される結果、精度を上げることが可能となる。

第６の発明によれば、第２波長域の主な波長範囲が５６０ｎｍ〜５９０ｎｍであるため、緑色の画像でのステレオマッチングにより、人間の目の感度が高い情報での視差情報を生成することが可能となる。被写体像を形成する第１波長域の光と第２波長域の光が重なると、被写体像を形成する光を分割することになり、被写体像の色再現性が低くなる。第７の発明によれば、被写体像のカラー画像に影響が小さい７００〜９００ｎｍの近赤外光を第２波長域とするので、被写体像のカラー画像の色再現性が高くなる。

さらに第１の発明によれば、２つの撮影光学系が反射面で屈曲光学系となるため、左右間の視差を作るために横方向への距離を稼ぐことができる。また、その反射面は波長制限機能を有するため、色フィルタとの兼用によりコストの低減が可能である。

ステレオ撮影装置の一実施の形態を示す模式図。第１，第２撮像領域に分割された撮像面上の波長フィルタを示す正面図。波長フィルタのフィルタ配列の一例を示す図。波長フィルタの第１の具体例の透過率分布を示すグラフ。波長フィルタの第２の具体例の透過率分布を示すグラフ。ステレオ撮影装置の画像データ処理の概略構成例を示すブロック図。ステレオ撮影装置による画像データの処理制御を示すフローチャート。被写体に対する左右の視点を示す概念図。Ｇ’成分を用いたデータ補完を説明するための図。

以下、本発明を実施したステレオ撮影装置等を、図面を参照しつつ説明する。図１に、単一の撮像素子（例えば、ＣＣＤ(Charge Coupled Device)）４と第１，第２撮影光学系ＫＬ，ＫＲとを用いて、被写体のステレオ撮影を行う複眼方式のステレオ撮影装置１０を示す。図２に、撮像素子４の撮像面４Ｓ上に設けられている波長フィルタ４Ｆを示す。また図３に、波長フィルタ４Ｆのフィルタ配列を、第１撮像領域４Ｌと第２撮像領域４Ｒのそれぞれについて拡大して示す。

第１撮影光学系ＫＬは、第１撮影レンズ１Ｌ，第１反射ミラー２Ｌ，Ｇ’（緑色）反射ミラー３Ｒ，ハーフミラー３Ｌ等で構成されており、第２撮影光学系ＫＲは、第２撮影レンズ１Ｒ，第２反射ミラー２Ｒ，ハーフミラー３Ｌ，Ｇ’反射ミラー３Ｒ等で構成されている。Ｇ’反射ミラー３Ｒとハーフミラー３Ｌは、第１撮影光学系ＫＬと第２撮影光学系ＫＲとで共用されており、Ｇ’反射ミラー３Ｒは反射面でＧ’の光のみを反射させ（すなわち、Ｇ’以外の波長の光を透過させる）、ハーフミラー３Ｌは反射面で入射光を反射光と透過光とに光量で２分割する。ただし、ハーフミラー３Ｌの代わりに、反射面でＧ’以外の波長の光を反射させる反射光学素子を用いてもよい。

上記Ｇ’反射ミラー３Ｒのように、反射によって光路を折り曲げるとともに光の波長を制限する反射光学素子を用いれば、少なくとも一方の撮影光学系が反射面で屈曲光学系となるため、左右間の視差を作るために横方向（すなわち眼幅方向）への距離を稼ぐことができる。また、その反射面は波長制限機能を有するため、色フィルタとの兼用によりコストの低減が可能となる。

第１撮影光学系ＫＬは、Ｒ（赤色），Ｇ（緑色），Ｂ（青色）の３波長から成る第１波長域の光のみから成る左画像の第１被写体像５Ｌを形成し、第２撮影光学系ＫＲは、第１波長域とは異なる第２波長域（Ｇ’の波長（Ｇに近い波長）から成る）の光のみから成る右画像の第２被写体像５Ｒを形成する。撮像素子４は、第１被写体像５Ｌの画像記録を行う第１撮像領域４Ｌと、第２被写体像５Ｒの画像記録を行う第２撮像領域４Ｒと、に分割された撮像面４Ｓを有しており、その撮像面４Ｓ上には、第１撮像領域４ＬではＲＧＢの第１波長域の光のみを透過させ、第２撮像領域４ＲではＧ’の第２波長域の光のみを透過させる波長フィルタ４Ｆを有している。なお、第１撮像領域４Ｌでの画素配列はベイヤー配列である（図３）。

第１撮像領域４Ｌと第２撮像領域４Ｒとの分割は、図２に示すように、撮像面４Ｓ上の垂直転送方向Ｖを横切る形で領域の境界を配置するのが好ましい。境界が垂直転送方向Ｖに対して平行であると、フィルタ実装時に、あるラインだけ２種類の画像が混じることになって、処理が煩雑になるおそれがある。水平転送方向Ｈに対して平行にしておけば、境界位置を指定するだけで全体一律の処理が可能になる。

図４に波長フィルタ４Ｆの第１の具体例の透過率分布を示し、図５に波長フィルタ４Ｆの第２の具体例の透過率分布を示す。図４に透過率分布を示す波長フィルタ４Ｆは、第２波長域の主な波長範囲が５６０ｎｍ〜５９０ｎｍである。このように第２波長域の主な波長範囲を５６０ｎｍ〜５９０ｎｍに設定すれば、緑色の画像でのステレオマッチングにより、人間の目の感度が高い情報での視差情報を生成することが可能となる。なお、Ｇ’はなるべくＧの中心に近いピークを持つようにするのが好ましい。

図５に透過率分布を示す波長フィルタ４Ｆは、第２波長域の主な波長範囲が７００ｎｍ〜９００ｎｍであり、第２撮像領域４Ｒでは近赤外（ＩＲ）の第２波長域の光のみを透過させる構成になっている。したがって、この第２の具体例を用いる場合、Ｇ’反射ミラー３Ｒの代わりにＩＲ反射ミラーを用いることになる。左右両者の波長域が近いと緑色の領域の光の利用効率が劣るため、第２波長域の主な波長範囲を７００ｎｍ〜９００ｎｍの近赤外に設定すれば、光の利用効率を上げることが可能となる。つまり、Ｇ’の代わりに近赤外を利用することで、ＲＧＢ画像のＧの感度が上がるので、画質の向上が可能となる。また、ステレオ撮影装置だけでなく、暗視用カメラとしての使用も可能となる。

撮像面４Ｓ上に形成された２つの被写体像５Ｌ，５Ｒ（図２）のうち、第１波長域の光のみから成る第１被写体像５Ｌは第１撮像領域４Ｌに形成され、第２波長域の光のみから成る第２被写体像５Ｒは第２撮像領域４Ｒに形成される。もし、第１被写体像５Ｌのイメージサークルが右側の第２撮像領域４Ｒにしみ出したり、第２被写体像５Ｒのイメージサークルが左側の第１撮像領域４Ｌにしみ出したりしても、第１撮像領域４Ｌでの波長フィルタ４ＦはＲＧＢの第１波長域の光のみを透過させ、第２撮像領域４Ｒでの波長フィルタ４ＦはＧ’の第２波長域の光のみを透過させるので、撮像面４Ｓの第１撮像領域４ＬにはＲＧＢの第１波長域の光のみが入射して画像記録が行われ、撮像面４Ｓの第２撮像領域４ＲにはＧ’の第２波長域の光のみが入射して画像記録が行われることになる。

上記のように、撮像面４Ｓ上の波長フィルタ４Ｆが、第１撮像領域４ＬではＲＧＢの光のみを透過させ、第２撮像領域４ＲではＧ’の光のみを透過させるので、ステレオ視において互いに異なる波長の光から成る第１，第２被写体像５Ｌ，５Ｒが撮像され、その際、第１，第２被写体像５Ｌ，５Ｒのイメージサークルが互いに重なっていても、クリアな画像が得られる。しかも、隔壁等の構成部材は不要である。したがって、簡単かつ調整容易な光学構成でありながら、左右のイメージサークルのしみ出しに起因する画像劣化を防ぐことが可能であり、コスト面でも有利である。

図６にステレオ撮影装置１０の画像データ処理の概略構成例を示し、図７に画像データの処理制御フローを示す。ステレオ撮影が開始されると、第１，第２被写体像５Ｌ，５Ｒを単一の撮像素子４で電気信号に変換し（図７の＃１０）、図６に示すように、左右の画像データとして計算処理部６に送る。

計算処理部６では、第１画像を輝度信号と色差信号に分離する（＃２０）。輝度信号は、式：Ｌ＝ＷｒＲ＋ＷｇＧ＋Ｗｂで表される（ＢＷｒ，Ｗｇ，Ｗｂ：ＲＧＢ信号を輝度信号に変換するための定数。例えば、ＳＤＴＶ等では（Ｗｒ，Ｗｇ，Ｗｂ）＝（０．２９９，０．５８７，０．１１４）が使われる。）。色差信号は、式：Ｃｂ＝Ｗｃｂ（Ｂ−Ｙ），Ｃｒ＝Ｗｃｒ（Ｒ−Ｙ）で表される（Ｗｃｂ，Ｗｃｒ：ＲＧＢ信号を色差信号に変換するための定数。同ＳＤＴＶでは（Ｗｃｂ，Ｗｃｒ）＝（０．５６４，０．７１３）が使われる。）。なお、ＲＧＢ成分のまま対応点探索も可能であり、その場合は輝度信号の代わりにＧ成分を使う。

次に、第１画像の輝度信号と第２画像とで対応点探索を行う（＃３０）。対応点探索の方式としては、以下の式で表されるＳＳＤ(Sum of Squared Difference)が一般的に知られている。

式中、
ｉ，ｊ：評価したい場所の画素のインデックス、
ｘ，ｙ：視差、
ｐ（ｉ，ｊ）：画素の輝度、
ｗ１，ｗ２：比較する窓サイズ、
である。

ＳＳＤを使った対応点探索では、注目画素の近傍との差分の自乗和を計算することで一致度が分かるようになる。画像ｐ１上のある位置（ｉ，ｊ）と同じ位置がｐ２上でどこに撮影されているかを特定するために、ｘ，ｙを適当な範囲で走査してＳＳＤが最小になるｘ，ｙを決定する。なお、求めた視差から距離画像を生成し、別の視点からの画像を生成して出力することもできる。

次に、第１画像の色差信号を視差分補正して、第２画像の色差信号とする（＃４０）。そして、図６に示すように、得られた第１，第２画像（カラー）を第１，第２画像表示装置７Ｌ，７Ｒにそれぞれ送って処理を終了する。

第１被写体像５Ｌはカラー画像であり、第１被写体像５Ｌと第２被写体像５Ｒとで対応点探索を行い、その対応関係に基づいて第２被写体像５Ｒをカラー画像に復元する構成になっているので、第２波長域の光がＧ’の単色光であっても、対応点探索により第２被写体像５Ｒをカラー画像に復元することができる。また、両眼カラー視差画像を生成するときに、第２被写体像５Ｒの画像の色情報として第１被写体像５Ｌの画像の色差信号を使用することによって、第１被写体像５Ｌのカラー画像の色差信号から第２被写体像５Ｒのカラー画像が復元されるが、人間の目は色信号の変化に疎いため、第１被写体像の画像の色差信号をそのまま利用してもよく、また、算出された視差分だけシフトさせてもかまわない。

第２波長域の光は単色光であるため、第２被写体像５Ｒの第２画像記録の解像度が向上するとともに、撮像面積が広くなって明るさの変化に強くなる（例えば、ベイヤー配列のＧの２倍の撮像面積）。したがって、ステレオマッチングの精度を上げることができる。また、第２被写体像５Ｒが単色から成るため、コストダウンが可能であり、ソフトも既存のステレオ視となんら変わりなく行うことができる。

上記のように、Ｇ’のみを記録した第２画像は理論上の解像度が高く、また、第２撮影光学系ＫＲは単色に特化できるため高性能化が容易である。その性能の高さを活かして、もう一方の第１画像の色再現精度の向上を図ることが可能である。つまり、輝度信号は、一般的に上下左右のＧの値とその上にあるＲ又はＢの信号から推定されるが、そこに近い位置にあるＧ’の成分を加えることにより、より一層の精度の向上が可能である。図８に、被写体９に対する左右の視点８Ｌ，８Ｒを示し、図９に、Ｇ’成分を用いたデータ補完の様子を模式的に示す。

図８中の被写体９の一部であるライン９ａに対して、左側視点８Ｌと右側視点８Ｒを考えた場合、図９（Ａ）は左側視点８Ｌに対応する撮像素子４の画素ライン（ＲＧＢの領域の出力）を示しており、図９（Ｂ）は右側視点８Ｒに対応する撮像素子４の画素ライン（Ｇ’の領域の出力）を示している。図９の（Ａ）と（Ｂ）とを比較すると分かるように、対応する画素（クロスハッチング部分）は視差分ずれている。図９（Ａ）中のＧ成分を推定する場合、第１画像をすべて輝度信号に変換して、図９（Ｃ）に示すように、Ｇ’の第２画像との対応点探索で場所を一致させる（図７の＃３０）。近い位置にあるＧ信号とＧ’信号とで対応点探索を行うが、このときＧの値のない画素は無視する。ＲＧＢの対応点探索の結果、Ｇ’を視差分補正してＧの値に上書きする。図９（Ｄ）は、生成したＲＧＢ側のカラー画像を示している。

上記のように、ベイヤー配列の画像から輝度信号を生成するとき、第２撮像領域４Ｒでの輝度信号に近い波長の色成分と対応点探索を行い、その対応点探索の結果に基づいて補完すべき輝度情報を第２撮像領域４Ｒでの輝度信号から得る構成にすると、ステレオマッチングを行うときにできるだけ近い波長同士の画像が比較される結果、精度を上げることが可能となる。前述したように、求めた視差を利用して第１画像の輝度信号を第２画像の輝度信号で補正してもよく、例えば、求めた視差分、第２画像の輝度信号をずらして第１の輝度信号に上書きしてもよい。なお、視差は微小なので、計算処理部６の速度向上のため補正しない方式を採用してもよい。

ＫＬ第１撮影光学系
ＫＲ第２撮影光学系
１Ｌ第１撮影レンズ
１Ｒ第２撮影レンズ
２Ｌ第１反射ミラー
２Ｒ第２反射ミラー
３Ｌハーフミラー
３ＲＧ’反射ミラー
４撮像素子
４Ｓ撮像面
４Ｆ波長フィルタ
４Ｌ第１撮像領域
４Ｒ第２撮像領域
５Ｌ第１被写体像
５Ｒ第２被写体像
６計算処理部
７Ｌ第１画像表示装置
７Ｒ第２画像表示装置
８Ｌ左側視点
８Ｒ右側視点
９被写体
１０ステレオ撮影装置
Ｈ水平転送方向
Ｖ垂直転送方向

Claims

単一の撮像素子と２つの撮影光学系を用いて被写体のステレオ撮影を行う複眼方式のステレオ撮影装置であって、
前記２つの撮影光学系が、第１波長域の光のみから成る第１被写体像を形成する第１撮影光学系と、前記第１波長域とは異なる第２波長域の光のみから成る第２被写体像を形成する第２撮影光学系と、から成り、
前記撮像素子が、前記第１被写体像の画像記録を行う第１撮像領域と、前記第２被写体像の画像記録を行う第２撮像領域と、に分割された撮像面を有し、その撮像面上に、前記第１撮像領域では第１波長域の光のみを透過させ、前記第２撮像領域では第２波長域の光のみを透過させる波長フィルタを有し、
前記２つの撮影光学系が、反射によって光路を折り曲げるとともに光の波長を制限する少なくとも１つの反射面を共有することを特徴とするステレオ撮影装置。
前記第２波長域の光が単色光であることを特徴とする請求項１記載のステレオ撮影装置。
前記第１被写体像がカラー画像であり、前記第１被写体像と前記第２被写体像とで対応点探索を行い、その対応関係に基づいて前記第２被写体像をカラー画像に復元することを特徴とする請求項２記載のステレオ撮影装置。
両眼カラー視差画像を生成するときに、前記第２被写体像の画像の色情報として前記第１被写体像の画像の色差信号を使用することを特徴とする請求項３記載のステレオ撮影装置。
前記第１撮像領域での画素配列がベイヤー配列であり、前記ベイヤー配列の画像から輝度信号を生成するとき、前記第２撮像領域での輝度信号に近い波長の色成分と対応点探索を行い、その対応点探索の結果に基づいて補完すべき輝度情報を前記第２撮像領域での輝度信号から得ることを特徴とする請求項３又は４記載のステレオ撮影装置。
前記第２波長域の主な波長範囲が５６０ｎｍ〜５９０ｎｍであることを特徴とする請求項１〜５のいずれか１項に記載のステレオ撮影装置。
前記第２波長域の主な波長範囲が７００ｎｍ〜９００ｎｍであることを特徴とする請求項１〜５のいずれか１項に記載のステレオ撮影装置。
前記２つの撮影光学系が、反射によって光路を折り曲げるとともに入射光を反射光と透過光とに光量で２分割する反射面を共有することを特徴とする請求項１〜７のいずれか１項に記載のステレオ撮影装置。