WO2004008743A1

WO2004008743A1 - 撮像システム

Info

Publication number: WO2004008743A1
Application number: PCT/JP2003/008778
Authority: WO
Inventors: Hiroyuki Kawamura; Hironori Hoshino; Takeshi Fukuda
Original assignee: Niles Co., Ltd.
Priority date: 2002-07-11
Filing date: 2003-07-10
Publication date: 2004-01-22
Also published as: EP1530367A4; AU2003281132A1; CN1675920A; EP1530367A1; US20050258370A1; JP2004048345A; CA2494095A1

Abstract

前方に赤外光を照射するためのＩＲランプと、前方を撮像して電気信号に変換するＣＣＤカメラ５と、ＣＣＤカメラ５の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力する画像処理ユニット７とを備え、前記画像処理ユニット７は、露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることを特徴とする。

Description

明細書撮像システム

技術分野

本発明は、 CCDカメラ等を用いた撮像システムに関する。背景技術

従来の撮像システムとしては、例えば第 16図に示すようなものがある。この第 16図では、撮像手段として CCDカメラ 1 0 1を備え、画像処理部として DS P (Digital Signal Processer) 103及びじ？1； 105 を備えている。

前記 C PU 105と D S P 103とはマルチプレクス回路 107を介して接続され、 C PU 105にはシャッタースピード設定スィツチ 109からの信号が入力されるようになっている。シャッ夕一スピ一ド設定スィッチ 109は、 ODD (奇数番目）フィールド用のシャツ夕一スピードと E VEN (偶数番目）フィールド用のシャッタースピードとをそれぞれ設定できるようになつている。

すなわちシャツ夕一スピード設定スィッチ 109の設定状態を CPU 1 05で読み取り、各フィールドのシャッタースピード設定値をェンコ一ド出力する。 DS P 1 03からは第 17図で示すフィールドパルス信号が出力され、出力信号がハイの場合は EVEN側のシャッ夕一スピ一ド設定値出力が、ローの場合は ODD側のシャッタースピード設定値出力が、マルチプレクス回路 107によって D S P 103のシャッ夕ースピ一ド設定入力端子に入力される。従って、第 1 6図のような撮像システムによってフィールド毎に異なるシャッタースピードを設定することができる。一般に、 C C Dカメラで撮影する場合、 O D Dフィールド、 E V E Nフィ一ルド共にシャッタ一スピードが同じである自動シャッタースピードのとき、第 1 8図のように周囲が暗い状態の中に明るい光源が入るとその光源周辺がブルーミング（ハレーション）によって見えなくなる。この第 1 8図は、自動車の夜間走行中に前方を赤外光照射手段である I Rランプで前方に赤外光を照射し、車載の C C Dカメラで走行前方を撮像した画像である。対向車のへッドランプやガソリンスタンドの照明等の明るい光源の周辺がブルーミングによって見えなくなつている。これは自動シャッ夕スピードでは、画面全体の暗さを平均して出力するようにコントロールされるためである。シャツ夕一スピードを高速にしてブルーミング（ハレ一シヨン）を抑えるようにすることもできるが、この場合は第 1 9図のように、背景が全く見えなくなってしまう。

これに対し、前記の各フィ一ルド毎にシャッタースピードを変える第 1 6図の制御は、いわゆる二重露光制御と言われているもので、フィールド毎に異なるシャッタースピードを設定している。これにより、明るい映像と暗い映像とを交互に出力し、明るい映像（この場合は O D Dフィールド ) では暗くて見えなくなった部分を映し出し、暗い映像（この場合は E V E Nフィールド）ではブルーミング（ハレーション）で見えなかった部分を映し出すことが可能となる。

そして、各フィールド画像を交互に出力し、第 2 0図のように鮮明な映像としてモニタに表示させることができる。

しかし、前記単純な二重露光制御では、各フィールドの一方は明るい映像、他方は暗い映像となり、これらを交互に表示することになり、モニタ上でちらつきを招くという問題がある。

これに対し、特公平 7— 9 7 8 4 1号公報に記載された第 2 1図に示すような撮像装置がある。この撮像装置は、撮像素子 1 1 1を備えたカメラ部 1 1 3と、処理部 1 1 5とを備えている。

第 2 2図は、前記第 2 1図の撮像装置による画像処理の概念図を示すもので、図中スルー画とは、前記カメラ部 1 1 3の撮像素子 1 1 1の直接出力をいい、メモリ画は画像メモリ 1 1 7に一旦記憶された直前フィールドの信号を言う。

前記スルー画では、シャツ夕ースピードの速く設定された O D Dフィールド毎に発光時の主被写体が黒潰れになり、同遅く設定された E V E Nフィールド毎に背景が白飛びになっている。またメモリ画では、 1フィールド期間遅延した信号からなるので、白飛び、黒潰れはスルー画とは異なるフィールドで生じている。従って、これらスル一画とメモリ画とを適切に組み合わせることによって第 2 2図最下段の出力画像を得ることができるしかしながら、このスルー画とメモリ画との合成は、スルー画及びメモリ画から部分的に選択した画像を重ね合わせて合成するものであるため、露光量の異なる画像を繋ぎ合わせる状態となる。従って、前記単純な二重露光制御のように画面全体のちらつきはなくなるが、スルー画及びメモリ画の両画像の境界が不自然なものになるという問題がある。発明の開示

本発明は、より鮮明な画像出力を可能とする撮像システムの提供を課題とする。

本発明の目的は、赤外光を照射するための赤外光照射手段と、前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、前記撮像手段の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力する画像処理部とを備え、前記画像処理部は、前記露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることにより達成される。

従って、赤外光照射手段によって赤外光を照射することができる。撮像手段は赤外光照射手段により照射された場所を撮像して、電気信号に変換することができる。画像処理部では撮像手段の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力することができる。

そして画像処理部は、前記露光量の異なる画像を縦方向に伸長させると共に、伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることができる。

従って、二重露光制御によって、明るい映像では暗くて見えない部分、暗い映像ではブルーミング（ハレーション）で見えない部分をともに映し出すことができながら、出力画像上に露光量の違いによる境目やちらつきができるのが抑制され、より鮮明な画像出力を行うことができる。

本発明の撮像システムは、前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行う。

従って、前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行うため、画像の伸長を無理なく行わせることができ、より鮮明な画像出力を行わせることができる。

本発明の撮像システムは、前記画像処理部は、前記露光量の目標値を予め設定し、該目標値に応じて前記信号蓄積時間を制御する。

従って、前記画像処理部は前記露光量の目標値を予め設定し、該目標値に応じて前記信号蓄積時間を制御することができる。従って、暗い領域をより明るく映したり、強い入射光を抑えてブルーミング（ハレーション）をより抑制することができ、より鮮明な画像出力を行わせることができる本発明の撮像システムは、前記画像処理部は、前記撮像手段の電気信号を積算し、該積算した電気信号と前記目標値に応じて予め設定した基準値との比較により前記信号蓄積時間を制御する。

従って、前記画像処理部は前記撮像手段の電気信号を積算し、該積算した電気信号と前記目標値に応じて予め設定した基準値との比較により前記信号蓄積時間を制御することができる。このため、信号蓄積時間をより的確に制御することができ、より鮮明な画像出力を行わせることができる。本発明の撮像システムは、前記画像処理部は、前記撮像手段の電気信号が基準値を上回る画素の数と前記目標値に応じて予め設定した基準画素数との比較により前記信号蓄積時間を制御する。

従って、前記画像処理部は前記撮像手段の電気信号が基準値を上回る画素の数と前記目標値に応じて予め設定した基準画素数との比較により、前記信号蓄積時間を制御することができる。このため、信号蓄積時間をより的確に制御することができ、より鮮明な画像出力を行わせることができる本発明の撮像システムは、前記赤外光照射手段、撮像手段、及び画像処理部は、自動車に備えられ、前記赤外光照射手段は、前記自動車の外方に赤外光を照射し、前記撮像手段は、前記自動車の外方を撮像する。

従って、前記赤外光照射手段、撮像手段及び画像処理部は自動車に備えられ、前記赤外光照射手段は前記自動車の外方に赤外光照射し、前記撮像手段は前記自動車の外方を撮像することができる。従って、対向車のへッドランプの照明等によるブルーミング（ハレーション）を抑制しながら、暗い部分を明るく鮮明に映し出し、鮮明な画像出力によって自動車の外方を確認することができる。図面の簡単な説明

第 1図は、本発明の第 1実施形態を適用した自動車の概念図である。第 2図は、本発明の第 1実施形態に係り、撮像手段及び画像処理部のブロック図である。

第 3図は、本発明の第 1実施形態のフローチャートである。

第 4図は、本発明の第 1実施形態に係り、単純な二重露光制御の出力画像図である。

第 5図は、本発明の第 1実施形態に係り、（a) は ODDフィールドの分割画像図、（b) は EVENフィールドの分割画像図である。

第 6図は、本発明の第 1実施形態に係り、（a) は ODDフィールドの伸長画像図、（b) は EVENフィールドの伸長画像図である。

第 7図は、本発明の第 1実施形態に係り、（a) は ODDフィールドの画質調整図、（b) は EVENフィールドの画質調整図である。

第 8図は、本発明の第 1実施形態に係り、合成された平均合成画像図である。

第 9図は、本発明の第 2実施形態に係る撮像手段及び画像処理部のプロック図である。

第 10図は、本発明の第 2実施形態に係り、処理のタイミングチャートである。

第 1 1図は、本発明の第 2実施形態に係り、 CCDエリアの一例を示す説明図である。

第 12図は、本発明の第 2実施形態に係るフローチャートである。

第 13図は、本発明の第 2実施形態に係り、積分平均値検出法のシャツタ一スピード切替を示すフローチヤ一トである。

第 14図は、本発明の第 2実施形態に係り、ピーク値検出法のシャツ夕ースピード切替を示すフローチャートである。

第 1 5図は、本発明の第 2実施形態に係り、（a) は ODDフィールドの分割画像図、（b) は EVENフィールドの分割画像図である。

第 16図は、従来例に係るブロック図である。

第 17図は、従来例に係り、フィールドパルスの出力図である。第 18図は、従来例に係り、通常のシャッタースピードによる出力画像図である。

第 19図は、従来例に係り、高速シャツ夕一スピードによる出力画像図である。

第 20図は、ブルーミング（ハレーション）現象を示す出力画像図である。

第 21図は、他の従来例に係るブロック図である。

第 22図は、他の従来例に係り、画像形成図である。発明を実施するための最良の形態

(第 1実施形態）

第 1図〜第 8図は本発明の第 1実施形態を示している。第 1図は本発明の第 1実施形態を適用した自動車の概念図、第 2図は第 1実施形態に係る撮像システムのブロック図、第 3図は第 1実施形態に係るフローチャートである。第 4図は第 1実施形態に係り、単純な二重露光制御による出力画像図、第 5図はフィールド分割画像であり、（a) は ODDフィールドの分割画像図、（b) は EVENフィールドの分割画像図、第 6図はフィールド伸長画像を示し、（a) は ODDフィールドの伸長画像図、（b) は EVENフィールドの伸長画像図である。第 7図はフィールド画質調整画像であり、（a) は ODDフィールドの画質調整画像図、（b) は EVE Nフィ一ルドの画質調整画像図、第 8図は平均合成画像図である。

まず第 1図のように、本発明の第 1実施形態に係る撮像システムは、自動車に適用されたもので、自動車 1には赤外光照射手段として I Rランプ 3と、撮像手段として CCDカメラ 5と、画像処理部として画像処理ュニット 7とが備えられる他、へッドアップディスプレイ 9が備えられている前記 I Rランプ 3は、夜間等、暗所における撮像を可能にするため自動車 1の走行方向の前方に赤外光を照射するためのものである。前記 C C D カメラ 5は、前記赤外光が照射された前記自動車 1の走行方向の前方を撮像し、電気信号に変換するものである。この場合の電気信号は、前記 C C Dカメラ 5における感光部のフォトダイォードによって変換されたものである。前記画像処理ユニット 7は、前記 C C Dカメラ 5の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力する前記信号蓄積時間は、各画素毎の信号蓄積時間であり、信号蓄積時間を所定の周期で変化させるとは、各画素に蓄積された不要電荷を吐き出すパルスの回数を変化させることにより結果的に蓄積される時間を変化させることであり、いわゆる電子シャツ夕一動作を言う。また露光量の異なる画像を連続して周期的に出力するとは、電子シャッター動作によって O D D フィールド、 E V E Nフィールド毎にシャッタースピードを設定し、それぞれのシャッタースピードで読み出された各フィールドの画像を 1 6 0 秒毎に連続して交互に出力することを言う。

そして、シャッタースピードを速くした高速シャッターでは、暗い部分は映りにくいが明るい部分は鮮明に映り、シャツ夕一スピードを遅くした低速シャツ夕一では、明るい部分は飽和して飛んでしまい暗い部分が鮮明に映ることになる。前記画像処理ユニット 7は、前記露光量の異なる画像を縦方向に伸長させると共に、伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせる。

前記露光量の異なる画像を縦方向に伸長させるとは、本実施形態においてシャッタースピードを変えることによって露光量の異なる画像として得られた O D Dフィールドの分割画像と、 E V E Nフィールドの分割画像とをそれぞれ縦方向に 2倍に伸長させることを言う。また伸長後の両面像の信号レベルを平均化することで合成した画像形成を行わせるとは、伸長した各フィールドの分割画像において、対応する画素の信号レベルを平均化し、 1つの画像出力を行うことを言う。

第 2図のように、前記画像処理ュニット 7は、 CPU1 1、 DS P 1 3 のほか、画像メモリ 1 5、演算用メモリ 1 7、映像出力用メモリ 19、 D ZA変換器 21などを備えている。

前記 CPU 1 1は、各種演算を行うと共に、第 16図で説明したものと同様な構成によって ODDフィールド、 EVENフィ一ルド毎のシャッ夕一スピードをコントロールできるようになつている。すなわち CPU 1 1 から DS P 13へシャツ夕一スピードコントロール信号が入力されるようになっている。

前記 D S P 13は、 CCDカメラ 5からの信号をデジタル信号に変換して処理するものである。前記画像メモリ 1 5は、前記 DS P 13から出力される 1フレーム分の画像デ一夕を取り込むものである。

前記 CPU 1 1は、前記画像メモリ 1 5に取り込まれたフレーム画像デ —夕を ODDフィールド、 EVENフィールド毎に分割し、演算用メモリ 1 7に書き込む。また CPU 1 1は前記演算用メモリ 17に書き込まれた各フィールド画像を縦方向に 2倍に伸長し、各伸長画面に対しガンマ補正やコントラスト調整などの画質調整を施す。これら 2つの画像デ一夕の平均がとられ、平均して合成された画像データは映像出力用メモリ 19に転送され、 DZA変換器 21で DZA変換され、例えば NTSC信号として出力される。

第 3図は、第 1実施形態のフローチャートを示している。第 1実施形態に係る撮像システムも基本的には二重露光制御であり、第 3図のフローチャ一トにより、まずステップ S 1で「シャッタースピード初期設定」の処理が実行される。このステップ S 1では、例えば ODDフィールド側を前記のように低速シャッタースピードに設定し、 EVENフィールド側を高速シャッタースピードに設定する。

本実施形態では、 ODDフィ一ルド側のシャッタースピードを 1 /60 秒とし、 EVENフィールド側を 1 1000秒に設定し、ステップ S 2 へ移行する。なお各シャッ夕一スピードは他のスピードを選択することも可能である。 ODDフィールド側を高速シャッタースピード、 EVENフィールド側を低速シャッタースピ一ドに設定することもできる。

ステップ S 2では、「CCD撮像」の処理が実行される。このステップ S 2では、 CPU 1 1から前記ステップ S 1で設定された ODDフィールド側のシャッタースピードコントロール信号及び E V E Nフィ一ルド側のシャツ夕一スピードコントロール信号が DS P 13へ出力される。

そして、駆動信号によって CCDカメラ 5による撮像が行われ、 CCD カメラ 5の感光部のフォトダイオードの全画素で信号電荷が行われる。 O DDフィールド側では感光部のフォトダイォード全画素のうち垂直方向に 1つおき奇数番目の画素の信号電荷が 1Z60秒で読み出される。 EVE Nフィールド側では偶数番目の画素の信号電荷が蓄積時間 1/1000秒で読み出され、ステップ S 3へ移行する。

ステップ S 3では、「DS P処理」が実行される。このステップ S 3では、前記 CCDカメラ 5で読み出された信号電荷が取り込まれ、 AZD変換器によってデジタル信号に変換され、信号処理が行われて該信号が出力され、ステップ S 4へ移行する。

ステップ S 4では、「メモリ格納」の処理が実行され、前記 DS P 1 3 で出力された処理信号が画像メモリ 15に格納され、ステップ S 5へ移行する。

ステップ S 5では、「 1フレーム取込終了か否か」の処理が実行され、前記 DS P 1 3から出力された処理信号が画像メモリ 1 5に 1フレーム分取り込まれたか否かが判断される。画像メモリ 15に 1フレーム分取り込まれていない間は、ステップ S 2へ戻り、以下ステップ S 3、ステップ S 4、ステップ S 5の処理が繰り返される。ステップ S 5において 1フレーム分の処理信号の取込が終了したと判断されたときに、ステップ S 6へ移行する。

ステップ S 6では、「フィールド分割演算メモリ書き込み」の処理が実行される。このステップ S 6では、 C PU 1 1により画像メモリ 1 5に取り込まれた前記フレーム画像データを ODDフィールド、 EVENフィ一ルド毎に分割し、演算用メモリ 1 7に書き込み、ステップ S 7へ移行する。前記演算用メモリ 17に書き込まれた ODDフィールド、 EVENフィ一ルド毎の画像データは、それぞれ縦方向に 1つおきのデータであるため、それぞれ縦方向に 2分の 1に圧縮された画像データとなっている。前記ステップ S 7では、「2倍伸長」の処理が実行され、前記演算用メモリ 17に書き込まれた ODDフィールド、 EVENフィールドの画像デ一夕を垂直方向に 2倍に伸長する。この場合の伸長方法としては、各フィ一ルド毎の 1画素を垂直方向に 2画素に引き延ばす方法、あるいは上下 2 画素の信号レベルの平均値をとつて上下 2画素の間に挿入する方法があるステップ S 8では、「ガンマ補正、コントラスト調整」の処理が実行され、ステップ S 7での各伸長画面に対しガンマ補正やコントラスト調整などの画質調整が施され、ステップ S 9へ移行する。

ステップ S 9では、「2画面平均」の処理が実行され、前記 ODDフィールド、 E V E Nフィールドの垂直方向に 2倍に伸長された画像データの平均をとる。ここでは ODDフィールド、 EVENフィールドの対応する各画素の信号レベルが単純平均により平均化され、該平均化された各信号レベルによって新たな 1フレーム分の画像データを形成する。これによつて前記 2倍に伸長された各フィ一ルド毎の画像データを合成した画像形成を行わせ、ステップ S 10へ移行する。

ステップ S 10では、「映像出力用メモリ転送」の処理が実行され、前記合成された画像データが映像出力用メモリ 19へ転送され、ステップ S 1 1へ移行する。以上の処理は、全て時分割で行われるわけではなく、例えば画像メモリへの取り込み中にも常に出力用メモリから出力が行われている。また、画像メモリに取り込まれたデータを画像処理しているときにも次のフレームの画像信号の取り込みは継続している。

ステップ S 1 1では、「DZA変換、 NTSC出力」の処理が実行され、前記画像データのデジタル信号が DZA変換器 2 1でアナログ信号に変換されて、例えば NTS C信号として出力される。

こうして前記画像処理ュニット 7から出力された信号は、第 1図で示すへッドアップディスプレイ 9に出力される。へッドアップディスプレイ 9 では、フロントウィンドウガラスに画像を表示し、自動車 1の運転者は前記画像を確認することによって夜間等、暗所においても車両前方の状況を的確に把握することができる。

すなわち、前記第 3図のフローチャートによる処理によって、第 4図〜第 7図のような画像データの処理が行われ、第 8図のような画像をへッドアップディスプレイ 9によって表示することができる。

第 4図の画像は、前記ステップ S 1〜ステップ S 5までの処理による二重露光制御により前記画像メモリ 1 5に取り込まれた 1フレーム分の画像データである。この第 4図の画像データが、前記ステップ S 6のフィールド分割によって第 5図（a) の ODDフィールドの画像デ一夕と、第 5図 (b) の EVENフィールドの画像デ一夕とに分割される。シャツ夕一スピードを遅くした ODDフィールドでは、明るい部分は飽和して飛んでしまい暗い部分が鮮明に映り、シャツ夕一スピードを速くした EVENフィ一ルドでは、暗い部分は映りにくいが明るい部分は鮮明に映る。分割された第 5図の画像データは、前記ステップ S 7のように 2倍に伸長され、第 6図（a ) の O D Dフィールド伸長画像と、第 6図（b ) の E V E Nフィールド伸長画像とが得られる。この各伸長画像に対し、前記ステツプ S 8のガンマ補正、コントラスト調整を行い、第 7図（a ) の〇D Dフィールドの画質調整データ、第 7図（b ) の E V E Nフィールドの画質調整データが行われる。

そして、前記ステップ S 9の 2画面平均により、前記のように伸長後の両画像の信号レベルを平均することで、合成した画像形成を行わせ、第 8 図のような画像出力を行う。

この第 8図の出力画像は、第 4図の単純な二重露光制御による出力画像と比較して明らかなように、はるかに鮮明な画像となり、対向車のヘッドライトなど強い光によるブルーミング（ハレーション）を的確に抑えることで、光源周辺の情報が見えるだけでなく、暗い部分も全体的により鮮明に見えている。

すなわち前記したように、第 4図の単純な二重露光制御だけでは露光量の異なる画像を連続して周期的に出力するだけであるため、出力画像としては第 4図のようにちらつきを招いてしまう。これに対し、本発明第 1実施形態では、 O D Dフィールド、 E V E Nフィールド毎に分割し、伸長した両画像の信号レベルを平均化することで合成した画像形成を行わせているため、第 8図のようなより鮮明な画像を出力することができた。

また第 8図の出力画像では、信号レベルを平均化することで合成した画像形成を行わせるため、露光量の異なった画像を部分的に合成する場合に比べて、画像に境目がなく、ちらつきのないより鮮明な画像を出力することができた。

(第 2実施形態）

第 9図〜第 1 5図は本発明の第 2実施形態を示している。第 9図は第 2 実施形態に係る撮像システムのブロック図、第 10図は CPUの処理タイミングを示すタイムチャート、第 1 1図はシャツ夕一スピードを計算する各フィールドの画像デ一夕の大きさを示す概念図である。第 12図は第 2 実施形態のフローチャート、第 1 3図は積分平均値検出法を用いたシャツ夕一スピード計算のフローチャート、第 14図はピーク値検出法を用いたシャッタースピード計算のフローチャートである。第 15図は分割画像を示し、（a) は ODDフィールドの分割画像図、（b) は EVENフィ一ルドの分割画像図である。なお、第 1実施形態と対応する構成部分には同符号を付して説明する。

第 9図のように本実施形態の撮像システムでは、 CCDカメラ 5、 DS P 13、 CPU 1 1の他に、アナログフロントエンド I C (CDS/AG C/ADC) 23が示されている。このアナログフロントエンド I C 23 は、 CCDカメラ 5の信号電荷を取り込み、信号上のノイズ除去、オートゲインコントロールをした上で、 AZD変換するものである。アナログフロントエンド I C 23は、前記第 1実施形態の第 2図のブロック図には示していないが、一般的に設けられている回路である。

本実施形態において、画像処理ユニット 7 Aは、 CCDカメラ 5の信号蓄積時間を所定の周期で変化させ、露光量の異なる画像を連続して周期的に出力する場合に、前記露光量の目標値を予め設定し、該目標値に応じて前記信号蓄積時間すなわちシャツ夕一スピードを制御する構成としたものである。 ''

前記アナログフロントエンド 1。 23から03? 13がじじ0カメラ 5 の全画素のデータを受け取り、 CPU 1 1により露光量の目標値に応じてシャッタースピードのコントロールを行い、 DSP 13、アナログフロントエンド I C 23にフィードバックする。この CPU 1 1での動作を OD Dフィールド、 EVENフィールド毎に行う。前記 CPU 1 1による ODDフィールド、 EVENフィールドのシャツ夕一スピードは、前記第 1実施形態と同様に、まず初期設定が行われ、このシャッタースピ一ドにより第 1実施形態と同様な信号電荷の読み出しが行われる。この信号電荷の読み出しにより露光量の目標値に応じて ODD フィールド、 EVENフィールドのシャッタースピードがさらに切替制御される。このシャッタースピードの切替制御は、例えば第 10図のような処理タイミングで行われる。なお、第 10図の「AE」は、 CCDカメラの露光制御のことであり、レンズの絞り、 CCDカメラの電子シャツ夕一速度、アナログあるいはデジタルゲインの制御等を総称したものである。この第 10図では C CDカメラの電子シャッタ一速度に絞って考えている第 10図において、 EVENフィールド、 ODDフィールドの処理タイミングはずれているが、両フィールドは共に同じ動作を行う。すなわち、 V— s yn c (垂直同期信号）の切替によってフィールドパルスが ODD フィールド、 EVENフィールドとに切り替わる。通常、 CCDカメラ 5 からアナログフロントェンド I C 23を経由して D S P 1 3が電荷信号を読み取る時、 CCDカメラ 5の決められたエリア毎（例えば CCD面を 6 分割したエリア）に電荷量を積分して平均化するという作業を繰り返し行つている。或いはまた、設定された電荷量を超える値を持った画素の数をカウントするという作業を繰り返し行っている。この作業は、 ODDZE V E N各フィールドが終わるまで続けられ、それが終わるタイミングで C PU 1 1が D S P 1 3からエリァ毎の積分平均値、或いはピークカウント値を読み出し（第 1 0図の①及び④）、それを基にシャツ夕一スピードの計算を行い（②及び⑤）、次のタイミングの当該フィールドの前にそのフィ一ルドでのシャッタースピ一ドを D S P 13に出力する（③）。

以下、 ODDフィールド、 EVENフィールドの切替毎に同じ動作が繰り返される。この結果、 CCDカメラ 5の電荷蓄積量と露光量の目標値である目標輝度レベルとを比較し、 CCDカメラでの電荷蓄積量が目標輝度レベルに収束するようにシャッタースピ一ドが決定される。目標輝度レべルに対しては、調整項目として実験評価した上で最適なパラメ一夕が決定される。この場合、目標輝度レベルとしては、シャツ夕一スピードが遅いフィールドの場合には対向車の前照灯のような強いスポット光が映像として入ってきても無視ざれて白飽和され、暗い部分が鮮明に見える程度のものであり、シャッタースピードが速い暗い映像の場合には、スポット光を絞り込み、その周辺の映像が見やすくなる程度のものである。

前記シャッタースピードの決定方法としては、 EVENフィールド、 O D Dフィ一ルド共に積分平均値検出法を用いる方法、 EVENフィールド、 ODDフィールド共にピーク値検出法を用いる方法、 EVENフィールドに積分平均値検出法、〇 D Dフィールドにピーク値検出法を用いる方法、或いは、 EVENフィールドにピーク値検出法、 ODDフィールドに積分平均値検出法を用いる方法がある。積分平均値検出法は、画像デ一夕を走査して各画素毎の輝度値の全積算値を基準値と比較することによりシャッ夕一スピードを切替えるものである。ピーク値検出法は、画像データを走査して各画素の輝度値がピーク電荷基準値と同等かそれ以上の場合にその画素をカウントし、該画素の数を基準画素数と比較することによりシャッ夕一スピ一ドを切替えるものである。

ここで、本実施形態ではシャッタースピードを決定するために走査する画像の大きさは、各フィールドが縦方向に 1つおきのデ一夕であるから前記第 5図で示した分割画像データに応じて第 1 1図のように 512画素 X 256ラインを例としている。

第 1 2図は、第 2実施形態のフローチャートを示している。シャッタースピード計算の流れを分かりやすくするため、このフローチャートでは、通常は DSP 13内部で行われている電荷積算平均値算出、及びピーク力ゥント値算出と、それらの情報を DSP 13から読み出して次のフィ一ルドでのシャッタースピードを計算するためのマイコンでの計算作業とを混在して説明している。第 1 2図のフローチャートは、第 1実施形態の第 3 図のフローチャートと基本的には同一であり、対応するステップに同ステップ番号を付している。

そして、第 12図の本実施形態のフローチャートでは、ステップ S 9、ステップ S 10の間にステップ S 12を加え、ステップ S 1のシャッ夕一スピード初期設定に対し、ステップ S 1 2でシャッタースピードの切替を行っている。

前記シャツ夕一スピードの切替を積分平均値検出法で行う場合は、第 1 2図のステップ S 9からステップ S 12へ移行すると、第 1 3図のフローチャートが実行されるように構成される。第 13図のステップ S 21ではリセット処理が行われ、電荷積算値（CHARGE) =0、横方向における画素の座標値 X=0、縦方向における画素の座標値 Y= 0にリセットされ、ステップ S 22へ移行する。

ステップ S 22では、電荷積算値（CHARGE) の計算が行われる。ステップ S 23では、 Y値が 1ステップずつカウントされる（Y = Y + 1)。

ステップ S 24では、 Υ値が 256ラインに至ったか否かの判断が行われ、 Υ= 256となるまでステップ S 22、ステップ S 23、ステップ S 24の処理が繰り返される。こうして Χ=0において、 Υ=0から Υ=2 55まで電荷積算が行われると、ステップ S 25において Υ値が 0とされ、ステップ S 26において X値が 1ステップカウントされる（Χ = Χ+ 1 )。

ステップ S 27では、 X値が 5 1 1画素終了したか否かの判断が行われ、 X値が 5 1 2画素まで至っていない場合には、ステップ S 22、ステツプ S 23、ステップ S 24、ステップ S 25、ステップ S 26、ステップ S 27が繰り返され、電荷積算が行われる。

このステップ S 22〜ステップ S 27の処理によって、 512画素 X 2 56ラインの全ての画素の電荷積算が行われると、ステップ S 28へ移行する。

ステップ S 28では、電荷積算値が基準値 1 (CHARGE 1 (REF )) を上回る場合には（YE S)、ステップ S 29へ移行し、シャッタースピード（SHUTTER) が 1ステップ速く設定される（SHUTTE R— 1)。

前記ステップ S 28において、電荷積算値が基準値 1を下回る場合には、ステップ S 30へ移行し、電荷積算値が基準値 2 (CHARGE 2 (R EF)) を下回るか否かが判断される。電荷積算値が基準値 2 (CHAR GE 2 (REF)) を下回る場合（YES) には、ステップ S 3 1へ移行し、そうでない場合（NO) には前記ステップ S 10へ移行する。

ここで基準値 1, 2では、予め実験評価した上で、各フィールドの目標輝度レベルを維持するように最適なパラメ一夕が決定されている。

ステップ S 31では、シャッタースピード（SHUTTER) が 1ステップ遅く設定される（SHUTTER+ 1)。

ここで、シャツ夕一スピードの範囲を 1 60〜1Z10000秒に設定した場合、例えば 1Z60秒、 1/100秒、 1Z250秒、 1 50 0秒を ODDフィールドとし、 1Z 1000秒、 1 2000秒、 1/4 000秒、 1/10000秒を EVENフィールドというようにシャツ夕一スピードを設定する。例えば、 1Z60秒よりも 1ステップ速くとは、シャッタースピ一ドカ 00秒となることである。シャッタースピ一ドカ 1/4000秒よりも 1ステップ遅くとは、シャツ夕一スピードが 1 Z 2 0 0 0秒となることである。

なお、上記シャッタースピードは、あくまでも例示であって、夫々のフィ一ルドのシャッタースピードの範囲をもっと広く設定したり、夫々のシャッ夕ースピードの間隔を小さく設定したりすることは自由である。こうして、電荷積算値が基準値 1を上回る場合には、対向車の前照灯など強い光が一定以上に存在し、全体の輝度レベルが高いものとなっているため、シャッタースピ一ドを速くして輝度レベルを下げようとするものである。また電荷積算値が基準値 2を下回る場合には、全体の輝度レベルが暗いため、シャッ夕ースピードを遅くして輝度レベルを上げようとするものである。この場合、基準値 1は基準値 2よりも高い輝度レベルとして設定されている。そして電荷積算値が基準値 1〜2内の場合には、シャツ夕ースピードはそのまま維持されることになる。

なお第 1 3図では、特に E V E Nフィールド、 O D Dフィールドを区別はしていないが、ステップ S 1のシャツ夕一スピード初期設定によって、 E V E Nフィールド、 O D Dフィールドのそれぞれのシャッタースピードを変えているため、これに応じて各フィールドの基準値 1， 2は初期設定に応じて異なったものとなっており、第 1 3図のフローチャートによりそれぞれのシャッタースピ一ドの切替が行われるものである。

前記シャッタースピードの切替をピーク値検出法で行う場合は、第 1 2 図のステップ S 9からステップ S 1 2へ移行すると、第 1 4図のフローチヤートが実行されるように構成されている。

第 1 4図のステップ S 4 1ではリセット処理が行われ、「 i = 0」の処理が実行される。このステップ S 4 1では、ピークカウンタ（ i ) 力 0にリセットされる。ピークカウン夕は、前記のように画像データを走査して各画素の輝度値がピーク電荷基準値と同等かそれ以上の場合にその画素をカウントするものである。ステップ S 42では、横方向における画素の座標値 X= 0、縦方向における画素の座標値 Y= 0にリセットし、ステップ S 43へ移行する。ステップ S 43では、座標（Χ， Υ) の画素の電荷積算値（CHARG Ε) が予め設定されたピーク電荷基準値（PEAK (REF)) と同等かそれ以上か否かが判断される。ステップ S 43で、座標（X, Y) の画素の電荷積算値がピーク電荷基準値と同等かそれ以上と判断されたときはステツプ S 44へ移行し、そうでなければステップ S 45へ移行する。ステップ S 44では、ピークカウン夕が 1つカウントされる（ i = i + 1)。

ステップ S 45では、 Y値が 1ステップずつカウントされる（Y = Y + 1)。

ステップ S 46では、 Υ値が 256ラインに至ったか否かの判断が行われ、 Υ= 256となるまでステップ S 43、ステップ S 44、ステップ S

45、ステップ S 46の処理が繰り返される。こうして Χ=0において、 Υ= 0から Υ= 255まで走査されると、ステップ S 47において Υ値が 0とされ、ステップ S 48において X値が 1ステップカウントされる（X =Χ+ 1 )„

ステップ S 49では、 X値が 51 1画素終了したか否かの判断が行われ、 X値が 5 12画素まで至っていない場合には、ステップ S 43、ステツプ S 44、ステップ S 45、ステップ S 46、ステップ S 47、ステップ S 48、ステップ S 49が繰り返され、ピーク電荷基準値と同等かそれ以上の画素がカウントされる。

このステップ S 43〜ステップ S 49の処理によって、 51 2画素 X 2

56ラインの全ての画素の走査が行われると、ステップ S 50へ移行するステップ S 50では、ピーク電荷画素数がピーク電荷基準画素数 1 (C OUNTER 1 (RE F)) を上回る場合（YES) にステップ S 51へ移行し、シャツ夕一スピード（SHUTTER) が 1ステップ速く設定される（SHUTTER— Do

前記ステップ S 50において、ピーク電荷画素数がピーク電荷基準画素数 1を下回る場合には、ステップ S 52へ移行し、ピーク電荷画素数がピ —ク電荷基準画素数 2 (COUNTER 2 (REF)) を下回るか否かが判断される。ピーク電荷画素数がピーク電荷基準画素数 2 (COUNTE R 2 (REF)) を下回る場合（YES) には、ステップ S 53へ移行し、そうでない場合（NO) には前記ステップ S 10へ移行する。

ここでピーク電荷基準画素数 1， 2では、前記したように予め実験評価した上で、各フィールドの目標輝度レベルを維持するように最適なパラメ一夕が決定されている。

ステップ S 53では、シャツ夕一スピード（SHUTTER) が 1ステップ遅く設定される（SHUTTER+ 1)。

こうしてピーク電荷画素数がピーク電荷基準画素数 1を上回る場合には、対向車の前照灯など強い光が一定以上に存在し、全体の輝度レベルが高いものとなっているため、シャッ夕一スピ一ドを速くして輝度レベルを下げようとするものである。またピーク電荷画素数がピーク電荷基準画素数 2を下回る場合には、全体の輝度レベルが暗いため、シャツ夕一スピードを遅くして輝度レベルを上げようとするものである。この場合、ピーク電荷基準画素数 1はピーク電荷基準画素数 2よりも多い輝度レベルとして設定されている。そしてピーク電荷画素数がピーク電荷基準画素数 1〜 2内の場合には、シャッタースピードはそのまま維持されることになる。なお第 14図においても、特に EVENフィールド、 ODDフィールドを区別はしていないが、ステップ S 1のシャッタースピード初期設定によつて、 EVENフィールド、 ODDフィールドのそれぞれのシャッタースピードを変えているため、これに応じて各フィールドのピーク電荷基準画素数 2は初期設定に応じて異なったものとなっており、第 14図のフローチャートによりそれぞれのシャッ夕ースピードの切替が行われるものである。

従って、本実施形態では、ステップ S 1で初期設定したシャッタースピ —ドに対し、ステップ S 12でシャッタースピードを適宜切り替えることによって、第 1 5図に示すような各フィールドの分割画像デ一夕を得ることができる。

第 1 5図は、第 5図に対応したもので、（a) は例えば ODDフィールド、（b) は EVENフィールドである。第 5図と比較しても明らかなように、明るく設定された ODDフィールドでは、自動車の前照灯のような強い光源のスポット光が映像として入ってきてもそれは無視され、白飽和するような映像となり、暗い部分がより鮮明な映像となっている。また（ b) の EVENフィールドでは、スポット光をより絞り込み、その周辺の映像がより見やすくなつている。よって、全体的によりメリハリのある鮮明な画像を得ることができる。

このような第 15図の画像を用い、第 1実施形態の第 6図，第 7図，第 8図のような処理を施すことによってより鮮明な出力画像を得ることができる。

本実施形態では、前記 ODDフィールド、 EVENフィールドのそれぞれに共に積分平均値検出法あるいはピーク値検出法を用いたが、 EVEN フィールドに積分平均値検出法、〇 D Dフィールドにピーク値検出法を用い、或いは EVENフィールドにピーク値検出法、 ODDフィールドに積分平均値検出法を用いることも可能である。これによつて、より最適なシャッ夕一スピードを得ることができる。この場合、積分平均値検出法では、画面全体の明るさが 50 %グレーとなるように基準値を設定する。ピーク値検出法では、画面内の最高光量部を 100%白となるように基準画素数を設定する。こうすることで、明るく設定された ODDフィールドでは、暗い部分がより鮮明な映像となり、暗く設定された EVENフィールドでは、スポット光をより絞り込み、その周辺の映像がより見やすくなる。前記 ODDフィールド、 EVENフィールドにおいて、各画素毎の電荷を処理する DSP 13によっては、電荷読み出しを単一画素の読み出しに限らず、いくつかの画素のかたまりとして読み出し扱うこともできる。上記実施形態では、出力画像をへッドアップディスプレイ 9で表示するようにしたが、車室内等に備えられたディスプレイに表示するように構成することもできる。また、 I Rランプ 3で自動車の走行方向前方を照射するようにしたが、後方或いは側方等を照射するようにしても良い。

前記撮像システムは、自動車に限らず二輪車、船舶等、他の乗り物、あるいは乗り物から独立した撮像システムとして構成することもできる。産業上の利用可能性

以上説明した通り、本発明に係る撮像システムは、自動車の夜間走行中に、前方に赤外光を照射し車載の CCDカメラ等で撮像した画像を確認することによって、車両前方の状況を把握するのに適している。

Claims

請求の範囲

1 . 赤外光を照射するための赤外光照射手段と、

前記赤外光照射手段により照射された場所を撮像して電気信号に変換する撮像手段と、

前記撮像手段の信号蓄積時間を所定の周期で変化させ露光量の異なる画像を連続して周期的に出力する画像処理部とを備え、

前記画像処理部は、前記露光量の異なる画像を縦方向に伸長させると共に伸長後の両画像の信号レベルを平均化することで合成した画像形成を行わせることを特徴とする撮像システム。

2 . 請求の範囲第 1項記載の撮像システムであって、

前記画像処理部は、縦方向に隣接する画素の信号レベルの平均値を間に挿入して前記伸長を行うことを特徴とする撮像システム。

3 . 請求の範囲第 1項又は第 2項に記載の撮像システムであって、前記画像処理部は、前記露光量の目標値を予め設定し、該目標値に応じて前記信号蓄積時間を制御することを特徴とする撮像システム。

4 . 請求の範囲第 3項記載の撮像システムであって、

前記画像処理部は、前記撮像手段の電気信号を積算し、該積算した電気信号と前記目標値に応じて予め設定した基準値との比較により前記信号蓄積時間を制御することを特徴とする撮像システム。

5 . 請求の範囲第 3項記載の撮像システムであって、

前記画像処理部は、前記撮像手段の電気信号が基準値を上回る画素の数と前記目標値に応じて予め設定した基準画素数との比較により前記信号蓄積時間を制御することを特徴とする撮像システム。

6 . 請求の範囲第 1項〜第 5項の何れかに記載の撮像システムであって、前記赤外光照射手段、撮像手段、及び画像処理部は、自動車に備えられ前記 ¾ ^外光照射手段は、前記自動車の外方に赤外光を照射し、前記撮像手段は、前記自動車の外方を撮像することを特徴とする撮像システム。