JP4757221B2

JP4757221B2 - 撮像装置及び方法

Info

Publication number: JP4757221B2
Application number: JP2007092648A
Authority: JP
Inventors: 孝曽我
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-03-30
Filing date: 2007-03-30
Publication date: 2011-08-24
Anticipated expiration: 2027-03-30
Also published as: US20080239091A1; JP2008252639A; US7961229B2

Description

本発明は、赤外光の像を撮像した長波長域の画像信号と、可視光の像を撮像した短波長域の画像信号とを合成してひとつの写真画像を生成する撮像装置及び方法に関する。

人間の眼や電子カメラの撮像センサは、物体を反射した光を受光することで形や色を認識する。遠くにある物体からの反射光は、多くの空気を通り抜けるため、散乱し易い。また、可視光のうちの波長の短い光（青色光など）は散乱し易く、波長の長い光（赤や黄色の光など）は散乱せずに直進しやすい。これにより、遠くの風色は、青白い散乱光になり霞んで見える。そこで、遠景の画像を鮮明に得ることが望まれていた。

従来、近赤外線カメラでは、赤外線が可視光線に比べ大気中の水蒸気などによる散乱が少ないので、遠方まで霞まずに写る鮮明な画像を得ることができることが知られている。しかし、白黒画像しか得られない欠点がある。

また、遠赤外線カメラでは、物体が放射している熱赤外線を検出して、その温度分布を観測することができる。しかし、このカメラから得られる画像は、可視像とは異なり、形状を把握しにくいので、どこを観測しているのか判別することが困難である。そこで、赤外線カメラと可視カメラとを併用する装置が知られている。例えば、特許文献１には、可視像と熱赤外像とを一つの表示部に交互に切り替えて表示する熱赤外撮像カメラが記載されている。また、特許文献２には、赤外線カメラが出力する赤外線映像信号の黒レベルを判定し、可視カメラが出力する可視映像信号のうちから前記判定した黒レベル部分に対応する可視映像信号を抽出し、抽出した可視映像画像を前記黒レベルの部分に合成する画像重畳装置が知られている。

特開昭６３−２９８１２７号公報特開平１−２９６７８５号公報

特許文献１及び２に記載の発明は、熱赤外画像を見やすくするために、熱赤外画像に可視画像を交互又は合成して表示している。このため、特許文献１及び２の発明から得られる画像は、実際とは色が異なる赤外線サーモグラフィから得られる熱画像であり、写真用としての画像には利用することはできない。

本発明は、遠景まで見通せる鮮明なカラー画像を得ることができる撮像装置及び方法を提供する。

上記目的を達成するために、本発明の撮像装置では、単一の撮影レンズに入射した被写体光を赤外光と可視光とに分離する光分離手段と、前記赤外光の像を撮像して赤外波長域の画像信号を出力する赤外光撮像手段と、前記可視光の像を撮像して可視波長域の画像信号を出力する可視光撮像手段と、前記赤外波長域の画像信号に含まれる輝度信号から高周波成分を抽出して輪郭強調信号を生成する輪郭信号生成手段と、前記可視波長域の画像信号に含まれる輝度信号に前記輪郭強調信号を加算することにより、合成輝度信号を生成する加算手段と、前記赤外光撮像手段と前記可視光撮像手段との直前に各々設けられているメカシャッタと、単一の測光手段と、前記測光手段から得られる被写体輝度情報に基づいて、前記各メカシャッタを個別に制御し、前記赤外光撮像手段用の前記メカシャッタが開いている間に、前記可視光撮像手段用の前記メカシャッタを複数回開閉させるとともに、前記可視光撮像手段用の前記メカシャッタを最初に開くタイミングと最後に閉じるタイミングとを前記赤外光撮像手段用の前記メカシャッタの開閉に合わせることにより、前記各撮像手段が同じ露光レベルになるようにする露光制御手段と、を備えたものである。

可視光は、概ね４００ｎｍから７５０ｎｍ程度の波長域の光であり、また、赤外光とは、７５０ｎｍから２．５μｍまでの近赤外光である。また、遠景を鮮明に写すためのものであるので、被写体距離が無限大又は１０ｍ以上のときに可視波長域の画像信号に含まれる輝度信号に前記輪郭強調信号を加算するように制御しもてよい。

光分離手段としては、可視光を反射して赤外光を透過するコールドミラーや、可視光を透過して赤外光を反射するホットミラーなどを用いることができる。なお、本発明では、赤外光の画像は輪郭を強調するための画像であり、ベースとしては可視光の画像を用いるので、波長分離による像質劣化を防ぐために、ホットミラーよりもコールドミラーを用いるのが望ましい。

可視光と赤外光とは、波長が異なるため、ピント位置にずれが生じる。そこで、このずれを補正する分だけ、光分離手段から赤外光撮像手段までの光路長を、光分離手段から可視光撮像手段までの光路長よりも長くするのが好適である。

前記撮影レンズは、ピント調節機能を有し、被写体距離の情報を取得する被写体距離情報取得手段と、遠景の撮影を行う遠景モードを選択するための遠景モード選択手段と、前記被写体距離の情報が無限大以外のときには、前記可視波長域の画像信号のみを取得し、前記被写体距離の情報が無限大のときには、前記赤外波長域の画像信号と前記可視波長域の画像信号とを取得して前記加算手段に前記合成輝度信号を生成させ、前記遠景モード選択手段によって前記遠景モードが選択されたときには、前記撮影レンズのピント位置を無限大にし、前記赤外波長域の画像信号と前記可視波長域の画像信号とを取得して前記加算手段に前記合成輝度信号を生成させる信号取得制御手段とを、さらに備えると、より好適である。

本発明では、赤外光を撮像手段で撮像した赤外域の白黒画像信号から輪郭信号生成手段で高周波成分のみを抽出して輪郭強調信号を生成し、この輪郭強調信号を可視波長域の画像信号に加算するため、霞んでいるような遠景でもシャープな写真画像を得ることができる。

以下に、本発明の実施態様について、図を引用しながら詳細に説明する。ただし、本発明はここに挙げる実施態様に限定されるものではない。

本発明の撮像装置を用いた電子カメラ１０は、図１に示すように、オートフォーカス機能を有するとともに、可視領域の光像を撮像する可視光撮像センサ１１と、赤外領域の光像を撮像する赤外光撮像センサ１２とを内蔵している。被写体距離情報が無限大以外である場合には、可視光撮像センサから得られる輝度信号Ｙと色信号Ｃとからなる画像データを生成する。

被写体距離情報が無限大の場合には、可視光撮像センサ１１と赤外光撮像センサ１２とを同期して駆動し、赤外光撮像センサ１２から得られる白黒画像信号の輝度信号Ｙから輪郭強調信号を抽出し、可視光撮像センサ１１から得られるカラー画像信号の輝度信号Ｙに輪郭強調信号を加算し、加算した合成輝度信号と色信号とからなる画像データを記録する。

電子カメラ１０は、可視光撮像センサ１１、赤外光撮像センサ１２、単一の撮影レンズ１３、コールドミラー１４、絞り兼用のメカシャッタ１５，１６、ＡＦＥ１７，１８、デジタルカラー信号処理回路１９、デジタル白黒信号処理回路２０、輪郭信号生成回路２１、加算器２２、圧縮・記録部２３、ＣＰＵ２４、ＴＧ２５、Ｖドライバ２６、及び、シャッタボタン３４などで構成されている。なお、図１においては、本発明の説明に係わらない部分、例えば撮影レンズ１３のピント調節機構や電願回路など電子カメラを構成するのに必要な回路を省略してある。

コールドミラー１４は、撮影レンズ１３の背後でかつ撮影光軸上に反射面の中心がくる位置に配されている。このコールドミラー１４は、可視光を反射し、赤外光を透過させるミラーであり、本発明の光分離手段を構成する。可視光撮像センサ１１は、可視光領域に感度をもち、撮影レンズ１３の結像位置に受光面が配されており、コールドミラー１４を反射した可視光の像を撮像して可視波長域のカラー画像信号を出力する。この可視光撮像センサ１１としては、カラーフィルターを搭載したＣＣＤやＣＭＯＳセンサを用いるのが好適である。

赤外光撮像センサ１２は、近赤外線領域に感度をもち、コールドミラー１４を透過した赤外光の像を撮像して白黒画像信号を出力する。この赤外光撮像センサ１２としては有効画素数、走査方式、同期方式等が、可視光撮像センサ１１と同じタイプのものとなっている。

赤外線は可視光線に比べてレンズに対する屈折率が小さいので焦点距離がわずかに長くなる。したがって、コールドミラー１４に対して赤外光撮像センサ１２の受光面までの光路長は、可視光撮像センサ１１の受光面までの光路長よりも長くしてある。

なお、コールドミラー１４を用いる代わりに、ホットミラーを用いてもよい。しかし、本発明では、可視光の像を撮像したカラーの画像信号を主成分とする写真画像を生成する。ホットミラーを用いる場合には透過により可視光が得られるに対し、コールドミラー１４の場合には反射により可視光が得られるため、コールドミラー１４を用いる方が波長分離による像質劣化が少なくても済む。

可視光撮像センサ１１から得られる画像信号は、ＣＤＳ（相関二重サンプリング）２７、ＡＧＣ（自動ゲイン調整アンプ）２８、Ａ／Ｄ変換器２９からなるアナログ・フロントエンド（ＡＦＥ）１７でデジタル化されてデジタルカラー信号処理回路１９に送られ、デジタルカラー信号処理回路１９で輝度信号Ｙ１と色差信号Ｃとが生成される。生成した輝度信号Ｙ１と色差信号Ｃとは、圧縮・記録部２３に送られ、ここで所定の圧縮形式にエンコードされて一つのファイル形式でメモリなどに記録される。ＡＧＣ２８はゲイン量を可変でき、ＣＰＵ２４がＡＧＣ２８のゲイン量を設定する。タイミングジェネレータ（ＴＧ）２５は、ＡＦＥ１７及びＶドライバ２６にパルスを供給して同期駆動させる。

露光終了後、カラー画像用のメカシャッタ１５で遮光し、この間にＡＦＥ１７を経た画像データは、デジタルカラー信号処理回路１９を経由してＲＡＭ３０に一度記憶される。このとき同時にデジタルカラー信号処理回路１９に設けたオートホワイトバランス処理回路、及び、ＡＥ・ＡＦ処理回路により、色温度、被写体輝度、及び、被写体距離などの情報をＣＰＵ２４に送る。ＣＰＵ２４は、これら情報に基づいて画像処理、撮影レンズ１３のピント位置調節、メカシャッタ１５の絞り調節及び開閉時間、ＡＧＣ２８のゲイン量調節、及び、可視光撮像センサ１１の電子シャッタなどを制御する。

デジタルカラー信号処理回路１９は、ＲＡＭ３０に１フレーム分の画像データを記録し、再度読み出しながら画像処理を行った後に、デジタルカラー信号処理回路１９に設けたＹ／Ｃ処理回路により明るさの情報である輝度信号Ｙ１と色の情報である色差信号Ｃとのデータに各々変換する。

赤外光撮像センサ１２から得られる白黒の画像信号は、ＡＦＥ１８でデジタル化されてからデジタル白黒信号処理回路２０のＲＡＭ３１に一時的に記憶される。これらＡＦＥ１８やデジタル白黒信号処理回路２０は、カラー画像信号系とは別の系統として設けられている。デジタル白黒信号処理回路２０は、ＲＡＭ３１に１フレーム分の画像データを記録した後に再度読み出しながら画像処理を行い、その後に明るさの情報である輝度信号Ｙ２のデータを輪郭信号生成回路２１に送る。赤外光撮像センサ１２や白黒画像信号系のＡＦＥ１８は、カラー画像信号系のＴＧ２５、及び、Ｖドライバ２６によって同期駆動される。赤外光用のメカシャッタ１６は、ＣＰＵ２４により可視光用のメカシャッタ１５と同じ絞り量、及び開閉時間になるように同期制御される。

輪郭信号生成回路２１は、バンド・パス・フィルタ（ＢＰＦ）であり、デジタル白黒信号処理回路２０から得られる輝度信号Ｙ２を読み込みながら高周波成分のみを抽出し、抽出した高周波成分を輪郭強調信号Ｙ３として加算器２２に送る。加算器２２は、輪郭強調信号Ｙ３とカラー画像信号の輝度信号Ｙ１とを同期して取り込み、輪郭強調信号Ｙ３を輝度信号Ｙ１に加算し、これを合成輝度信号Ｙ４として圧縮・記録部２３に送出する。

シャッタボタン３４はＣＰＵ２４に接続されている。ＣＰＵ２４は、各部を統括的に制御しており、シャッタボタン３４の半押し操作に連動してデジタルカラー信号処理回路１９から被写体距離の情報を取得する。

また、ＣＰＵ２４には、撮像センサ駆動選択手段３２が設けられている。撮像センサ駆動選択手段３２は、被写体距離情報が無限大以外のときには、可視光の画像信号のデータのみを利用する。つまり、カラー画像信号系の色差信号Ｃと輝度信号Ｙ１とをそのまま利用する。逆に被写体距離情報が無限大の場合には、色差信号Ｃと合成輝度信号Ｙ４とからなる画像データを生成する。

このように被写体距離情報が無限大のときに、赤外領域の光像を撮像した白黒画像信号を取り込み、白黒画像信号の輝度信号Ｙ２から高周波成分を抽出し、抽出した高周波成分の信号Ｙ３をカラー画像信号の輝度信号Ｙ１に加算するため、可視光の画像の輪郭、特に遠景の山や雲の輪郭が際だち、遠くまで霞まずに見ることができる鮮明な写真画像を得ることができる。

なお、白黒画像信号系の輝度信号は、輪郭信号生成手段２１などによる処理が余分に行われるので、カラー画像信号系よりも位相がずれるおそれがある。この場合には、図面には記載がないが、デジタルカラー信号処理回路１９の直後に遅延回路を設け、輝度信号Ｙ１と輝度信号Ｙ３とが同じタイミングで加算器２２に入力されるようにすればよい。同様に色差信号Ｃと合成輝度信号Ｙ４との圧縮・記録部２３への入力タイミングがずれる場合には、圧縮・記録部２３の直前に遅延回路を設けて色差信号Ｃを合成輝度信号Ｙ４と同じタイミングになるように遅延させればよい。

また、図面には記載がないが、圧縮・記録部２３に送られる色差信号Ｃと輝度信号Ｙ１又は合成輝度信号Ｙ４とのデータは、ビデオメモリにも送られる。ビデオメモリにはデータが展開され、ビデオメモリから読み出される画像データはビデオドライバに送られてカメラ１０の背面設けたＬＣＤなどの表示部にスルー画像として表示される。

また、被写体距離に関わらず、常に色差信号Ｃと合成輝度信号Ｙ４とからなる画像データを生成してもよい。また、カメラ１０の外部に遠景モードボタンを設け、遠景モードボタンを操作して遠景モードを選択することで色差信号Ｃと合成輝度信号Ｙ４とからなる画像データを生成してもよい。この場合、ＣＰＵ２４は、自動的に撮影レンズ１３のピント位置を無限大に合焦するように制御する。

さらに、上記実施形態では、色差信号Ｃと合成輝度信号Ｙ４とからなる画像データを生成する条件としては、被写体距離が無限大になるときを条件にしているが、本発明ではこれに限らず、被写体距離が所定距離以上、例えば１０ｍ以上のときなどにしてもよい。さらにまた、撮影レンズ１３がズームレンズの場合には、ズームレンズの変倍位置が予め決めた変倍位置間のとき、例えばワイド端とテレ端との中間となる変倍位置と、ワイド端との間の変倍位置に変倍操作されたときに、色差信号Ｃと合成輝度信号Ｙ４とからなる画像データを生成するようにしてもよい。

さらに、上記実施形態のカメラ１０では、ＴＴＬコントラストオートフォーカス方式を採用しているが、代わりに、受像した画像の位相をもとに焦点を合わせるパッシブオートフォーカス方式やアクティブオートフォーカス方式を用いてもよい。また、測光手段としては、カメラ１０の外部に受光部を設けた外光式露出計を用いてもよい。

また、上記実施形態では、カラー画像信号から得た被写体輝度情報に基づいて赤外光用のメカシャッタ１６の絞り径及び開閉時間を、可視光用のメカシャッタ１５と同じになるように同期制御している。しかし、同じ輝度の被写体に対して可視光の画像と赤外光の画像とは露光レベルが同じにならないことがある。そこで、デジタル白黒信号処理回路２０にＡＥ処理回路を設け、このＡＥ処理回路により赤外光の被写体輝度を求め、これに基づいて赤外光用のメカシャッタ１６の絞り径及び開閉時間を制御するようにしてもよい。さらに、赤外光撮像センサ１２として、可視光撮像センサ１１に対して感度の高いものを用いて両者の露光レベルを同じにするようにしてもよい。

また、一般的に可視光の画像に比べ、赤外光の画像は露光レベルが低いことが多い。この場合、カラー画像信号系のＡＥ処理により得られる被写体輝度に対して白黒画像信号の露出が同じ露光レベルになるように補正値を予め決めておき、予め決めた補正値に基づいて白黒信号系のＡＧＣ３３でゲイン量を調節するようにしてもよい。

また、カラー画像信号系のＡＥ処理により得られる被写体輝度に基づいて決められる可視光用のメカシャッタ１５の開閉時間に対して、赤外光用のメカシャッタ１６の開閉時間を変えるように制御してもよい。この制御としては、可視光用のメカシャッタ１５の開閉時間に対して赤外光用のメカシャッタ１６の開閉時間を長くすればよい。このとき、可視光用のメカシャッタ１５の開閉時間に対する赤外光用のメカシャッタ１６の開閉時間の補正値を予め決めておけば簡便でよい。この場合、絞り径を同じにして、両方の画像を適正な露光レベルで取り込むことができる。

逆に、赤外光用のメカシャッタ１６に対して可視光用のメカシャッタ１５の開閉時間を短くするように制御してもよい。この制御としては、図２（ａ）〜同図（ｄ）に示すように、４つの例が考えられる。同図（ａ）は、両方のメカシャッタ１５，１６の開き時間を同じにし、かつ、可視光用のメカシャッタ１５の閉じる時間を、赤外光用のメカシャッタ１６の閉じ時間よりも早める例である。同図（ｂ）は、可視光用のメカシャッタ１５の閉じる時間を赤外光用のメカシャッタ１６の開き時間よりも早め、かつ、可視光用のメカシャッタ１５の閉じる時間を赤外光用のメカシャッタ１６の閉じ時間よりも早める例である。同図（ｃ）は、可視光用のメカシャッタ１５の閉じる時間を赤外光用のメカシャッタ１６の開き時間よりも早め、かつ、両方のメカシャッタ１５，１６の閉じる時間を同じにする例である。最後に同図（ｄ）は、赤外光用のメカシャッタ１６が開閉している間で、可視光用のメカシャッタ１５を複数回、例えば４回開閉する例である。同図（ｄ）の例では、開き時間と閉じ時間とが赤外光用のメカシャッタ１６と同じになるように、また、各回の開閉時間も同じになるようにしている。

ところで、両方のメカシャッタ１５，１６の開閉時間を変えると、この間に例えば被写体が動くと当然可視光の画像は赤外光の画像に対して「ずれ」として現れる。ずれ量が大きく現れる制御としては、同図（ａ）〜（ｃ）の例である。そこで、ずれ量が一番少なくても済む制御になる同図（ｄ）の例を採用するのが好適である。

上記実施形態では、光軸上の焦点位置が異なる「軸上色収差」と、画面周辺部で波長の差が像倍率の違いとなって現れる「倍率色収差」とが生じるおそれがある。軸上色収差は色のにじみとして、また倍率色収差は画面周辺部での色ズレ現象(線が色の縁どりをもつ)として現れる。これらの対処としては、屈折率と分散の比率の異なった光学ガラスを組み合わせた撮影レンズを用いるのが好適である。この撮影レンズでは、可視域より幅広い波長域で色収差の補正を行うことができる。また、色収差補正回路をデジタル白黒信号処理回路２０に設け、電気的に色収差を補正してもよい。

上記実施形態では、本発明の撮像装置を電子カメラ１０に用いているが、ビデオカメラにも採用することができるのは言うまでもない。

本発明の撮像装置を用いた電子カメラの概略を示す説明図である。赤外光用のメカシャッタに対して可視光用のメカシャッタの開閉時間を変えるようにした別の例を示す説明図である。

符号の説明

１０電子カメラ
１１可視光撮像センサ
１２赤外光撮像センサ
１３撮影レンズ
１４コールドミラー
１５，１６メカシャッタ
１７，１８アナログ・フロントエンド
２２加算器

Claims

単一の撮影レンズに入射した被写体光を赤外光と可視光とに分離する光分離手段と、
前記赤外光の像を撮像して赤外波長域の画像信号を出力する赤外光撮像手段と、
前記可視光の像を撮像して可視波長域の画像信号を出力する可視光撮像手段と、
前記赤外波長域の画像信号に含まれる輝度信号から高周波成分を抽出して輪郭強調信号を生成する輪郭信号生成手段と、
前記可視波長域の画像信号に含まれる輝度信号に前記輪郭強調信号を加算することにより、合成輝度信号を生成する加算手段と、
前記赤外光撮像手段と前記可視光撮像手段との直前に各々設けられているメカシャッタと、
単一の測光手段と、
前記測光手段から得られる被写体輝度情報に基づいて、前記各メカシャッタを個別に制御し、前記赤外光撮像手段用の前記メカシャッタが開いている間に、前記可視光撮像手段用の前記メカシャッタを複数回開閉させるとともに、前記可視光撮像手段用の前記メカシャッタを最初に開くタイミングと最後に閉じるタイミングとを前記赤外光撮像手段用の前記メカシャッタの開閉に合わせることにより、前記各撮像手段が同じ露光レベルになるようにする露光制御手段と、を備えたことを特徴とする撮像装置。
前記撮影レンズは、ピント調節機能を有し、
被写体距離の情報を取得する被写体距離情報取得手段と、
遠景の撮影を行う遠景モードを選択するための遠景モード選択手段と、
前記被写体距離の情報が無限大以外のときには、前記可視波長域の画像信号のみを取得し、前記被写体距離の情報が無限大のときには、前記赤外波長域の画像信号と前記可視波長域の画像信号とを取得して前記加算手段に前記合成輝度信号を生成させ、前記遠景モード選択手段によって前記遠景モードが選択されたときには、前記撮影レンズのピント位置を無限大にし、前記赤外波長域の画像信号と前記可視波長域の画像信号とを取得して前記加算手段に前記合成輝度信号を生成させる信号取得制御手段とを、さらに備えたことを特徴とする請求項１記載の撮像装置。
前記光分離手段は、可視光を反射して赤外光を透過するコールドミラーになっていることを特徴とする請求項１又は２記載の撮像装置。
前記光分離手段から赤外光撮像手段までの光路長は、被写体光の波長の違いに伴うピント位置のずれを補正する分だけ、光分離手段から可視光撮像手段までの光路長よりも長くなっていることを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
単一の撮影光学系を通過する被写体光を光分離手段で可視光と赤外光とに分離するステップと、
単一の測光手段から得られる被写体輝度情報に基づいて、赤外光撮像手段と可視光撮像手段との直前に各々設けられているメカシャッタを個別に制御し、前記赤外光撮像手段用の前記メカシャッタが開いている間に、前記可視光撮像手段用の前記メカシャッタを複数回開閉させるとともに、前記可視光撮像手段用の前記メカシャッタを最初に開くタイミングと最後に閉じるタイミングとを前記赤外光撮像手段用の前記メカシャッタの開閉に合わせることにより、前記各撮像手段が同じ露光レベルになるようにした状態で、可視光の像を前記可視光撮像手段で、また赤外光の像を前記赤外光撮像手段でそれぞれ同期して撮像するステップと、
前記赤外光撮像手段から得られる画像信号に含まれる輝度信号から高周波成分を輪郭信号生成手段で抽出して輪郭強調信号を生成するステップと、
前記可視光撮像手段から得られる画像信号に含まれる輝度信号に前記輪郭強調信号を加算器で加算することにより、合成輝度信号を生成するステップと、を含むことを特徴とする撮像方法。