JP4782491B2

JP4782491B2 - 撮像装置

Info

Publication number: JP4782491B2
Application number: JP2005193802A
Authority: JP
Inventors: 峰樹曽我; 充彦太田; 映夫深町
Original assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Current assignee: Toyota Motor Corp; Toyota Central R&D Labs Inc
Priority date: 2005-07-01
Filing date: 2005-07-01
Publication date: 2011-09-28
Anticipated expiration: 2025-07-01
Also published as: JP2007013777A

Description

本発明は、車両等に設けられて車外の撮像に用いられる撮像装置など、目視による監視と画像処理による監視に用いられる撮像装置に関する。

撮像装置には、ＣＣＤなどの光電変換素子を撮像素子として、撮像素子に入射された光を電気信号に変換し、画像データとして１フレーム分の映像信号を出力するものがある。このような撮像装置から出力される画像データをモニタなどに表示することにより、モニタに撮影対象物を映し出すことができるようになっている。また、撮像装置から時系列的に出力するフレーム画像をモニタに順次表示することにより、動画表示を行うことができる。

このような撮像装置を用い、走行中の車両の周囲の状況を表示することにより、運転者の視覚支援が可能となる。また、近赤外光、遠赤外光などの赤外光を受光する撮像素子を用いることにより、運転者の夜間の視覚支援が可能となる。

近赤外撮像素子を用いる場合、ヘッドライトの照射領域外に近赤外光を投光して撮像することにより、ヘッドライトの照射領域外の遠方の暗闇の道路状況をモニタに表示することが可能となり、この表示から運転者が歩行者などの存在を早く認識することができる。

ところで、このような運転者の夜間の視覚支援を行うときには、走行環境の変化により視認性が変化することがある。これにより、例えば、対向車のヘッドライトの向きなどによってハレーションが生じることがあり、ハレーション部近辺の物体の輪郭が不明確になる。

一般に、ＣＣＤなどの撮像素子を用いた撮像装置では、電子シャッターによる露光時間の制御と、ＡＧＣによる出力信号の増幅によって映像出力のレベル調整を行っており、この露光時間を、対向車のヘッドライトでハレーションを生じることがない時間に固定することにより視認性を向上させる提案がなされている（例えば、特許文献１参照。）。

また、対向車のヘッドライトに起因するハレーションを抑制する別の方法として、撮像素子の出力を信号処理して得られる映像信号の出力レベルを、基準条件の下で所定のテストパターンを撮影したときのピーク値が、所定値となるように抑えるようにした提案がなされている（例えば、特許文献２参照。）。

さらに、夜間の車両の周囲の明るさは、走行環境によって大きく変化し、例えば、市街地を走行しているときには、周囲が明るく、このために、モニタに表示される画像が明るくなり過ぎて、視認性が低下してしまうことがある。

ここから、例えば、ＧＰＳシステムを用いた車両の位置情報と地図データから、市街地か否かなどの車両の走行環境を取得し、取得した走行環境に基づいて、撮影画像の出力制御を行うことにより、モニタに表示する画像が、走行環境に応じた適切な明るさとなるようにする提案がなされている（例えば、特許文献３参照。）。

特許文献１から特許文献３は、表示用途に適した明るさレベルに調整する提案であるのに対して、例えば、撮像した道路画像中で、道路のレーンマークに対応する位置に、測光ウインドを設定し、測光ウインド内の濃度値から露光制御値を設定し、設定した露光制御値で露光制御を行いながら撮像する提案がなされている（例えば、特許文献４参照。）。

この提案では、先行車を検出して、測光ウインドを先行車からずらすことにより、映像出力調整を行い、的確にレーンマークを視認できる画像表示が可能となるようにしている。先行車のブレーキランプが点灯したときや、周囲の光が先行者の車体で反射した時に、表示画像にハレーションが生じる恐れがあるので、表示用途に適した明るさレベルにならないことがある。

夜間の運転者の視覚支援においては、対向車のヘッドライトによるハレーションの抑制を行うことが必要であり、ハレーションを抑制することにより、画面全体のちらつき感や眩しさを抑え、ハレーション近辺の歩行者等の視認性を向上することができる。

映像出力から歩行者などの撮像対象を、画像処理により検出するときには、撮像対象のコントラストが大きいことが好ましい画質となるのに対して、ハレーション防止などのために映像出力のレベルを抑えると、撮像対象の周囲が暗くなり階調が低く（つぶれる）なり、コントラストの低下した画像となってしまう。

このように、表示用の映像出力と画像処理用の映像出力など、異なる明るさレベル、すなわち露光条件の映像出力を並行して得るためには、表示用の撮像手段と、画像処理用の撮像手段を設けることで達成することができるが、この方法では、撮像装置のコストアップのみならず、撮像装置が大型化して車両に大きな設置スペースが必要となってしまうという問題がある。
特開２００４−１５３４２５号公報特開２００４−９６３４５号公報特開２００４−１２３０６１号公報特開２００４−３４３３０３号公報

本発明は上記事実に鑑みてなされたものであり、装置が大型化してしまうことなく、モニタなどへの表示用の映像出力と、画像処理用の映像出力を得ることができる撮像装置を低コストで実現することを目的とする。

上記目的を達成するために本発明は、所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列順に出力する撮像手段と、前記撮像手段が撮像するエリアを照明する光を投光し、該光の発光強度及び発光方向が制御可能な投光手段と、前記撮像手段から時系列順に出力される前記フレーム画像を予め設定された順番で第１のフレーム画像と第２のフレーム画像とに時間分割する分割手段と、前記第１のフレーム画像及び前記第２のフレーム画像の一方の画像に基づいて、前記撮像手段から次に出力される該一方の画像の明るさのレベルを表示用途に適した明るさのレベルに調整し、前記第１のフレーム画像及び前記第２のフレーム画像の他方の画像に基づいて、前記撮像手段から次に出力される該他方の画像の明るさのレベルを画像処理用途に適した明るさのレベルに調整するレベル調整手段と、前記画像処理用途に適した明るさレベルに調整された前記他方の画像から得られる特定対象物に向けて投光する光が強くなるように、次に前記他方の画像として分割される前記フレーム画像を前記撮像手段が撮像するのと同期して前記発光手段の発光強度及び発光方向の少なくとも一方を制御する制御手段と、を含む。

この発明によれば、撮像手段によって時系列順に出力されるフレーム画像を、分割手段によって第１のフレーム画像と、第２のフレーム画像に時間分割して出力する。

このとき、レベル調整手段は、第１のフレーム画像又は第２のフレーム画像の一方を、表示に適した明るさのレベルに調整し、他方を画像処理用途に適する明るさレベルに調整する。また、制御手段は、前記画像処理用途に適した明るさレベルに調整されるフレーム画像が撮像されるときに、該フレーム画像から得られる特定対象物が明るくなるように発光手段の発光方向及び発光強度の少なくとも一方を制御する。

これにより、一つの撮像手段から、用途に応じた異なる画質のフレーム画像を得ることができるので、複数の画質のフレーム画像を得る装置のサイズを抑えることができると共に、そのためのコスト上昇も抑えることができ、かつ、特定対象物を明確にすることができる。

また、本発明の前記分割手段は、前記分割手段は、自然数の倍数番目のフレーム画像を前記第１のフレーム画像とし、残りのフレーム画像を前記第２のフレーム画像として時間分割するものであってもよく、前記分割手段は、偶数番目のフレーム画像を前記第１のフレーム画像として分割するか、または３の倍数番目のフレーム画像を前記第２のフレーム画像として時間分割するものであっても良く、本発明の分割手段は、時系列順に出力されるフレーム画像から、予め設定している順位を第１のフレーム画像又は第２のフレーム画像とし、残りを第２のフレーム画像又は第１のフレーム画像とすることができる。

本発明の前記レベル調整手段は、前記撮像手段の撮像素子の露光時間及び該撮像素子から出力される出力信号の増幅率の少なくとも一方の調整によって明るさのレベルを調整するものであればよく、また、本発明では、前記表示用途に適した明るさのレベルを、表示画像にハレーションが生じないレベルとし、前記画像処理用途に適した明るさのレベルを、前記特定対象物のコントラストが最も高くなるレベルとすることができる。

さらに、本発明の撮像装置は、前記制御手段は、画像の明るさのレベルを表示用途に適した明るさのレベルに調整するのと同期して前記投光手段の発光強度及び発光方向の少なくとも一方を表示用途に適するように制御すると共に、画像の明るさのレベルを画像処理用途に適した明るさのレベルに調整するのと同期して前記投光手段の発光強度及び発光方向の少なくとも一方を画像処理用途に適するように制御する。

この発明によれば、フレーム画像のレベル調整、表示用か画像処理用かに応じて対象物を撮像するときの、投光手段による光の照射方向ないし照射強度を制御する。

これにより、対象物を適切に表示可能とするフレーム画像ないし、対象物に対する適切な画像処理を行うことができるフレーム画像を得ることができる。

以上説明したように本発明によれば、撮像手段から時系列順に出力されるフレーム画像を、例えば、異なる明るさレベルなどの異なる画質に調整して、画質ごとに分割して出力する。このとき、特定対象物を照明する光が強くなるように発光強度及び発光方向の少なくとも一方を制御する。これにより、一つの撮像手段から、用途に応じた異なる画質のフレーム画像を得るときに特定対象物を明確にできるという優れた効果が得られる。また、本発明では、複数の画質のフレーム画像を得る撮像装置としてのサイズを抑えることができると共に、そのためのコスト上昇も抑えることができる。

以下に、図面を参照しながら本発明の実施の形態を説明する。図１には、本実施の形態に適用した車両用撮像システム１０の概略構成を示している。この車両用撮像システム１０は、撮像装置１２と、撮像装置１２から出力される映像信号に対して、所定の画像処理を施す画像処理装置１４及び、画像処理装置１４から出力される映像出力に応じた画像を表示するディスプレイ１６を含んでいる。

この車両用撮像システム１０は、車両に設けられて、車両の前方を撮像して、車室内に設けているディスプレイ１６に表示することにより、運転者の視覚支援を図る。

撮像装置１２は、ライトユニット１８、カメラユニット２０を含んでいる。ライトユニット１８は、投光手段として設けられており、車両の前方へ向けて所定波長の光を発する。カメラユニット２０は、ＣＣＤ、ＣＭＯＳイメージセンサなどの撮像素子及び、入射される光を撮像素子上に結像する光学系（何れも図示省略）を含んでおり、車両前方側から入射される所定波長の光を受光する。

これにより、光学系によって撮像素子に結像された画像に応じた電気信号が得られる。また、カメラユニット２０では、撮像素子から出力される電気信号に対してＡ／Ｄ変換を施すことにより、１フレーム分の映像信号（フレーム画像の画像データ）を出力する。

また、カメラユニット２０では、この映像信号を時系列的に出力可能となっている。なお、このようなカメラユニット２０の基本的構成は、撮影画像に応じた映像信号を出力する公知の構成となっている。

このような撮像装置１２では、所定波長の光として、赤外光のうちの近赤外光を用いることができる。このときには、ライトユニット１８が、車両前方へ向けて近赤外光を発し、カメラユニット２０が、例えば、近赤外光透過フィルタ等を用いるなどして、近赤外光の受光が可能となっていればよい。

これにより、撮像装置１２では、ランプユニット１８から照射した光が、車両前方の対象物で反射して、カメラユニット２０に入射されることにより、対象物が撮像される。夜間走行時に、ランプユニット１８がヘッドライトの照射領域外を照明して撮像することにより、運転者の視認が難しい遠方の領域の撮像が可能となり、車両用撮像システム１０では、この撮像装置１２によって撮像した画像を表示手段に表示することにより、運転者の視覚支援が可能となるようにしている。

なお、本発明が適用される撮像装置としては、近赤外光に限らず、可視光による撮像を行うものであってもよく、このときには、可視光を発する投光手段を、必要に応じて設ければよく、以下では、光源種を特定せずに説明する。また、照明条件が十分に整っている対象を撮像する場合などには、ランプユニット１８を省略することができる。

ディスプレイ１６は、表示手段として設けられる。このディスプレイ１６としては、ＬＣＤ（液晶ディスプレイ）など、画像を直接又は間接的に表示する任意の表示手段を適用することができる。なお、撮像装置１２で近赤外光を用いた撮像を行うときには、ディスプレイ１６には、単色画像が表示される。なお、カメラユニット２０で可視光を受光するときには、ディスプレイ１６にカラー画像を表示してもよい。

一方、撮像装置１２には、撮像制御部２２が設けられている。撮像制御部２２では、所定の同期信号を、ランプユニット１８及びカメラユニット２０のそれぞれに出力すると共に、カメラユニット２０へ撮像素子による光の受光時間である露光時間などを制御する露光制御信号を出力する。

これにより、撮像装置１２では、ランプユニット１８の点灯／消灯が制御されるのと動機して、カメラユニット２０の受光タイミング、露光時間などの露光制御が行われる。

撮像制御部２２は、ランプユニット１８の発光タイミングと、カメラユニット２０の露光タイミングを合わせ、設定した露光時間で撮像を行い、映像信号として１フレーム分ずつの画像データ（フレーム画像の画像データ）が出力されるようになっている。

また、撮像制御部２２では、予め設定した時間間隔で同期信号及び制御信号を出力するようにしてより、カメラユニット２０から映像信号となるフレーム画像が時系列的に出力される。これにより、例えば、同期信号の間隔を３３msecとすることにより１秒間に約３０フレームのフレーム画像（映像信号）を出力できるようになっているが、フレーム数はこれに限るものではない。

一方、画像処理装置１４には、特定物検出部２４及び画像描画部２６が設けられている。特定物検出部２４では、撮像装置１２から映像信号が入力されることにより、この映像信号から、例えば、歩行者などの所定の対象物を抽出する。なお、対象物の抽出は、例えば、特願２００４−１２５７０５号明細書に記載の方法を用いて対象物の抽出を行い、抽出した対象物の位置と大きさの情報を、画像描画部２６へ出力する。なお、画像処理装置１４では、特定物検出部２４を設けて、所定の対象物などの検出処理を行うようにしたが、撮像装置１２に接続される画像処理装置は、これに限らず、映像信号を用いた各種の画像処理を実行する機能を持たせることができる。

画像描画部２６では、撮像装置１２から入力される映像信号を、ディスプレイ１６へ出力する。このとき、画像描画部２６では、特定物検出部２４で抽出された対象物の外接矩形を、撮像装置１２から入力された映像信号に描画して、ディスプレイ１６へ出力する。

これにより、車両用撮像システム１０では、歩行者などの対象物が、ディスプレイ１６に明確に表示される。なお、画像描画部２６での描画法は、必ずしも外接矩形である必要はなく、楕円の描画や色の付加など、特定物の存在をわかり易くする方法であれば任意の方法を適用することができる。

ところで、本実施の形態に適用した車両用撮像システム１０に用いられる撮像装置１２には、映像分割部２８が設けられており、この映像分割部２８に、カメラユニット２０から映像信号が入力されるようになっている。また、映像分割部２８は、映像信号の出力先として、画像処理装置１４の特定物検出部２４と画像描画部２６が接続しており、映像分割部２８では、入力される映像信号の出力先をフレームごとに切り替え可能となっている。

撮像制御部２２は、カメラユニット２０から出力される映像信号ごとに、出力先を、特定物検出部２４又は画像描画部２６に切り替えるようになっている。

一方、撮像制御部２２では、カメラユニット２０を用いた撮像ごとに、ライトユニット１８ないしカメラユニット２０を制御することにより露光制御を行い、カメラユニット２０では、出力する映像信号ごとに明るさのレベルが制御されるようになっている。

このとき、撮像制御部２２では、特定物検出部２４へ出力する映像信号に対しては、明るさレベルを高くしてコントラストの高い映像信号が得られるように露光条件を設定し、画像描画部２６へ出力する映像信号に対しては、ディスプレイ１６に表示したときに、ハレーション等が生じることがない明るさレベルとなるように露光条件を設定するようにしている。

画像処理装置１４に設けている特定物検出部２４では、コントラストの高い画質の映像信号が入力されることにより、歩行者などの対象物を的確に抽出可能となっている。

また、画像描画部２６では、明るさが抑えられた映像信号が入力されることにより、ハレーション等が生じることのなく、眩しさやちらつき感の少ない視認性の高い画像をディスプレイ１６に表示可能となっている。

このような露光制御は、例えば、ライトユニット１８から発する照明用の光の強度、カメラユニット２０で撮像を行うときの露光時間、撮像素子から出力される電気信号から得られる画像データに対する増幅ゲインなどを制御することにより行われ、例えば、露光時間や増幅ゲインを制御するときには、撮像制御部２２からカメラユニット２０へ出力する露光制御信号を用いて行うことができる。

ここで、本実施の形態に適用した車両用撮像システム１０での具体的処理を説明する。

車両用撮像システム１０に設けている撮像制御部２２では、例えば、１秒間に３０フレーム分の撮像を行い、３０フレーム分のフレーム画像が得られるように制御信号を出力している。このとき、撮像制御部２２では、例えば、奇数番目のフレーム画像を、ディスプレイ１６への表示用とし、偶数番目のフレーム画像を、特定画像の抽出を行うための画像処理用としている。すなわち、表示用のフレーム画像と、画像処理用のフレーム画像を交互に得るようにしている。

なお、撮像制御部２２には、フレーム数をカウントするカウンタが設けられており、このカウンタのカウント値から次のフレームが奇数番目か否かを確認可能となっている。このようなカウンタは、撮像開始時や、所定の時間間隔、フレーム数が所定値に達するタイミングなどの任意のタイミングでカウント値がリセットされるものであってよい。

カメラユニット２０では、所定の露光条件で撮像が行われることにより、ハレーションの生じることのない出力レベルの映像信号（表示用映像信号）と、画像処理に適するコントラストの出力レベルとなる映像信号（処理用映像信号）の出力が可能となっており、撮像制御部２２の露光制御信号によって、出力レベルが切り替えられて出力されるようになっている。

図２及び図３には、このような構成の車両用撮像システム１０での処理の概略を示している。なお、図２及び図３の処理は、例えば、車両の図示しないイグニッションスイッチがオンされている状態で、さらに、車両用撮像システム１０の電源スイッチがオンされることにより実行され、車両用電源スイッチないしイグニッションスイッチがオフされるなどして、車両用撮像システム１０の作動が停止されることにより終了する。

図２には、撮像制御の概略を示しており、このフローチャートでは、最初のステップ１００で、次に撮影を行うフレームが奇数番目か否かを確認する。このときに、１番目などの奇数番目のフレームであると、ステップ１００で肯定判定してステップ１０２へ移行する。

このステップ１０２では、表示用映像信号が得られるように露光条件などの露光制御信号が設定される。この後ステップ１０４では、撮像後にカメラユニット２０から出力される映像信号が、表示用映像信号として画像描画部２６に入力されるように、映像信号の出力先を設定する。

この後、ステップ１０６では、同期信号に基づいた所定のタイミングでライトユニット１８及びカメラユニット２０へ設定に応じた露光制御信号を出力すると共に、ステップ１０８では、映像信号の出力先を指定する出力先設定信号を、映像分割部２８へ出力する。

これにより、ライトユニット１８では、露光制御信号に基づいて点灯して車両前方を照明する。また、カメラユニット２０では、露光制御信号に基づいた露光時間で撮像を行うと、表示用映像信号に対して設定されている出力レベルとなるように信号処理を行って、映像信号を映像分割部２８へ出力する。

映像分割部２８では、映像信号が入力されると、この映像信号を、出力先設定信号に基づいて、画像処理装置１４の画像描画部２６へ出力する。

一方、撮像制御部２２では、次に撮像するフレームが偶数番目であると、ステップ１００で否定判定されてステップ１１０へ移行する。このステップ１１０では、処理用映像信号が得られるように露光条件などの露光制御信号が設定され、ステップ１１２では、撮像後にカメラユニット２０から出力される映像信号が、処理用映像信号として特定物検出部２４へ出力されるように映像信号の出力先を設定する。

これにより、露光制御信号に基づいた露光条件で撮像が行われ、処理用映像信号に対して設定されている出力レベルとなるように信号処理を行って、映像信号を映像分割部２８へ出力する。

映像分割部２８では、この映像信号が入力されることにより、出力先設定信号に基づいて、画像処理装置１４の特定物検出部２４へ出力する。

これにより、図３に示すように、フレーム画像３０が時系列的に出力されるときに、奇数番目のフレーム画像３０_n1、３０_n3、３０_n5・・の映像信号は、出力レベルがディスプレイ１６への表示用に調整され、偶数番目のフレーム画像３０_n2、３０_n4、３０_n6・・の映像信号は、出力レベルが処理用に調整される。

また、フレーム画像３０は、表示用のフレーム画像３０_n1、３０_n3、３０_n5・・と、処理用のフレーム画像３０_n2、３０_n4、３０_n6・・が、仕分けられて画像描画部２６と特定物検出部２４へ出力される。

図４には、車両用撮像システム１０に設けている画像処理装置１４での処理の概略を示している。このフローチャートでは、ステップ１２０で画像描画部２６に表示用となる映像信号が入力されたか否かを確認し、ステップ１２２で、特定物検出部２４で処理用となる映像信号が入力されたか否かを確認する。

ここで、偶数番目のフレームの撮像が行われて、処理用の映像信号として特定物検出部２４へ入力されると、ステップ１２０で否定判定されると共にステップ１２２で肯定判定されて、ステップ１２４へ移行する。このステップ１２４では、入力された処理用映像信号に対して所定の画像処理を行うことにより、歩行者などの特定の対象物を抽出する。

このとき、特定物検出部２４では、コントラストの高い画質の映像信号が入力されるため、映像信号となるフレーム画像に、歩行者などの特定の対象物を的確に抽出することができる。

特定の対象物を検出すると、ステップ１２６では、検出した対象物の外接矩形の情報を表示用の映像信号の描画用としてメモリに記憶する。

一方、奇数番目のフレームの撮像が行われて、表示用の映像信号が画像描画部２６に入力されると、ステップ１２０で肯定判定されてステップ１２８へ移行する。このステップ１２８では、先に入力された映像信号から対象物が抽出され、抽出された対象物の外接矩形の情報がメモリに格納されているか否かを確認する。

ここで、特定物検出部２４で対象物が検出されて、検出された対象物の外接矩形の情報が格納されていると、ステップ１２８で肯定判定してステップ１３０へ移行する。このステップ１３０では、抽出されている対象物の外接矩形の情報を、映像信号に描画し、生成した映像信号をディスプレイ１６へ出力する。

なお、対象物が抽出されていないときには、ステップ１２８で否定判定されて、カメラユニット２０から入力された映像信号がディスプレイ１６へ出力される。

このように、撮像装置１２では、奇数番目のフレーム画像の映像信号を出力するときには、出力レベルを押さえ、ディスプレイ１６に表示した時に、ハレーション等が生じることがない画質の映像信号を出力する。また、撮像装置１２では、偶数番目のフレーム画像の映像信号を出力するときに、コントラストの高い画質の映像信号となるように出力レベルを調整している。

これにより、ディスプレイ１６には、ハレーションの生じることがない画像を表示することができる。また、特定物検出部２４では、フレーム画像に含まれる対象物を的確に検出することができ、抽出した対象物を映像信号に描画することにより、ディスプレイ１６には、この対象物が明確に表示される。

したがって、運転者がディスプレイ１６に表示される対向車のヘッドライトなどによって幻惑されてしまうのを確実に防止しながら、運転者が歩行者などの車両前方の対象物の存在を的確に把握することが可能となる。

また、運転者に対するこのような的確な視覚支援を可能とするときに、車両用撮像システム１０では、１台のカメラユニット２０のみで行うことできるので、車両への据付性が損なわれることがなく、また、的確な視覚支援を行うためのコスト上昇を抑えることが可能となる。

また、時系列的に出力されるフレーム画像３０の映像信号を、表示用と処理用に分割することにより、表示用に用いるフレーム数が減少するが、ディスプレイ１６の表示に用いるフレーム数は、１秒間に１０フレーム程度以上であれば、表示画像に違和感は少ない。すなわち、ここでは、３０フレーム／secのフレーム画像３０を２分割しているので、表示用のフレーム画像は、１５フレーム／secとなるので、ディスプレイ１６の表示画像に違和感を生じさせることがない。

なお、ここでは、奇数番目と偶数番目で、映像信号を表示用とするか処理用とするかの切り替えを行っているが、表示用と処理用の切り替えはこれに限るものではなく、例えば、１番目、４番目、７番目・・などのフレーム画像を表示用とし、２番目、３番目、５番目、６番目・・などのフレーム画像を処理用としても良い。すなわち、自然数mのｎ（正の整数）倍番目のフレーム画像を表示用とし、それ以外のフレーム画像を処理用とするなど、任意の分割方法を適用することができる。

このとき、ディスプレイ１６の表示用に用いるフレーム数を、少なくとも１０フレーム／secとすることにより、ディスプレイ１６の表示画像に違和感を生じさせてしまうのを防止できる。ここから、カメラユニット２０が出力するフレーム数が３０フレーム／secであれば、２フレームのうちの１フレーム又は３フレームのうちの１フレームを表示用とすることができる。

また、奇数番目のフレーム画像３０を表示用とし、偶数番目のフレーム画像を画像処理用としたが、これに限らず、奇数番目を画像処理用とし、偶数番目を表示用としても良い。

一方、ここでは、予め設定している露光条件に基づいて撮像を行ったときに、表示用及び処理用に適した出力レベルの映像信号を得られるように説明したが、露光時間、ランプユニット１８の発する光の強度などの露光条件を設定することにより、表示用及び処理用に適した出力レベルの映像信号が得られるようにしても良い。

また、例えば、対象物を的確に抽出して、ディスプレイ１６に明確に表示可能とするときには、少なくも処理用の映像信号上で、対象物のコントラストが高いことが望ましく、ここから、フレーム画像上の対象物の位置に応じてランプユニット１８が発する光の強度や方向を制御するようにしても良い。

図５には、このときに適用可能なランプユニット１８の概略構成を示している。このランプユニット１８には、カメラユニット２０が撮像可能な所定波長の光を発する複数の発光素子４０と、発光素子４０を駆動する点灯駆動回路４２を含んでいる。点灯駆動回路４２は、撮像制御部２２から、ランプユニット１８に対する露光制御信号として、発光素子４０の発光制御信号が入力されることにより、この発光制御信号に基づいて発光素子４０を点灯する。

このとき、点灯駆動回路４２では、発光素子４０の駆動電流や駆動電圧（駆動電力）を制御することにより、個々の発光素子４０が発する光の強度を制御する。

また、ランプユニット１８では、主として車両の前方側（矢印Ｆ方向）へ向けて光を発する発光素子群４４Ｆと共に、主として車両前方の右側（矢印ＦＲ方向）へ向けており、光を発する発光素子群４４ＦＲ及び、主として車両前方の左側（矢印ＦＬ方向）へ向けており、光を発する発光素子群４４ＦＬが設けられている。

これによりランプユニット１８では、車両前方側に照射する光の強度を大きくすることができると共に、車両前方の右側及び左側のそれぞれへ照射する光の強度を大きくすることができるようになっている。

このような、ランプユニット１８が設けられているときには、撮像制御部２２では、画像処理装置１４の特定物検出部２４が出力する対象物の画像データが入力されることにより、処理用のフレームを撮像するときに、この対象物へ照射する光が強くなるようにランプユニット１８の点灯制御を行うようになっている。

ここで、まず、露光条件を制御して、表示用及び処理用に適した出力レベルの映像信号を出力する例を説明する。なお、このときには、撮像制御部２２が、表示用の映像信号及び、処理用の映像信号のそれぞれを読み込んで、露光条件を設定することにより、出力レベルを制御する出力レベルのフィードバック制御を行うものとする。

図６には、このときの処理の概略を示している。なお、ここでは、前記した図２のフローチャートと同等の処理には、同じステップ番号を付与して、その詳細な説明を省略する。

このフローチャートでは、奇数番目のフレーム画像の撮像を行うときには、ステップ１００で肯定判定してステップ１４０へ移行する。このステップ１４０では、表示用として設定されている露光条件を設定し、ステップ１０４では、該当するフレーム画像の出力先を、画像描画部２６に設定し、この後に、露光条件に基づいた露光制御信号をランプユニット１８及びカメラユニット２０へ出力することにより撮像を行うと共に、撮像したフレームの出力先設定を映像分割部２８へ出力する。

このとき、ステップ１４０で設定される露光条件（露光制御信号）からランプユニット１８は、光のオン／オフ（点灯／消灯）と共に、点灯時に発する光の強度が制御され、カメラユニット２０では、撮像素子で受光するときの受光時間である露光時間（電子シャッターのシャッタースピード）などが制御される。

また、偶数番目のフレーム画像の撮像を行うときには、ステップ１００で否定判定してステップ１４２へ移行することにより、画像処理用として設定されている露光条件を設定すると共に、出力先を設定し（ステップ１１２）、設定に基づいた露光制御を行う。これにより撮像された映像信号が、特定物検出部２４へ出力される。

一方、次のステップ１４４では映像分割部２８から出力される映像信号を読み込み、ステップ１４６で読み込んだ映像信号が、表示用か否かを判定する。すなわち、奇数番目のフレーム画像か偶数番目のフレーム画像かを判定する。

ここで、映像分割部２８から表示用（奇数番目）として出力されフレーム画像の映像信号を読み込むと、ステップ１４６で肯定判定してステップ１４８へ移行する。

このステップ１４８では、映像信号に対して所定の画像処理を行うことにより、出力レベルを検出し、検出結果から出力レベルが表示用として適切となるように、表示用の映像信号に対する露光条件を補正し、補正した露光条件を、次に表示用の撮像を行うときの露光条件に設定されるようにメモリする。

また、映像分割部２８から処理用（偶数番目）として出力されフレーム画像の映像信号を読み込むと、ステップ１４６で否定判定してステップ１５０へ移行し、映像信号に対して所定の画像処理を行うことにより、出力レベルを検出し、検出結果から出力レベルが処理用として適切となるように、処理用の映像信号に対する露光条件を補正し、補正した露光条件を、次に処理用の撮像を行うときの露光条件に設定されるようにメモリする。

このようにして、表示用の映像信号及び処理用の映像信号に対する露光条件が設定されることにより、表示用及び処理用に適した画質のフレーム画像が得られる。

一方、前記したように、特定画像に対する適切な抽出と的確な表示を行うときには、抽出する特定画像のコントラストを高くすることが好ましく、このときの処理を、図７に示すフローチャートを参照しながら説明する。なお、このフローチャートの基本的構成は、前記した図６のフローチャートと同じとしており、同等の処理には、同じステップ番号を付与してその説明を省略する。

このフローチャートでは、ステップ１４０又はステップ１４２で露光条件を設定するときに、ランプユニット１８から照射する光の強度を強くするように設定する。なお、このときの初期値としては、発光素子群４４Ｆ、４４ＦＲ、４４ＦＬの全てを予め設定している基準の強度とするものであってよい。

また、このフローチャートでは、ステップ１５２で特定物検出部２４が出力する特定画像の外接矩形情報を読み込むと、ステップ１５４へ移行する。このステップ１５４では、特定画像の外接矩形情報から、抽出した領域へ向けて照射する光の強度が大きくなるように露光条件を設定する。

ライトユニット１８は、このようにして設定された露光条件に基づいて発光素子群４４Ｆ、４４ＦＲ、４４ＦＬの発光素子４０を点灯駆動するときに、設定された方向へ向けた光の強度が大きくなるようにする。例えば、車両前方の左側に歩行者などが抽出されているときには、発光素子群４２ＦＬの各発光素子４０を駆動するときの駆動電流（駆動電力）を大きくする。

これにより、処理用として撮像されたフレーム画像では、対象物に向けて強い光が照射され、該当対象物のコントラストが高くなった映像信号が得られる。

このような映像信号を特定画像の抽出に用いることにより、特定画像をより的確に、かつ高精度で抽出して、ディスプレイ１６に表示することができる。

なお、ここでは、特定画像へ向けて照射する光の強度を強くするようにしたが、これに限らず、例えば、表示用として出力される映像信号から、ハレーションを生じさせる明るい領域があるか否かを検知し、該当領域を抽出したときには、その領域へ向けて照射する光の強度と、他の領域に照射する光の強度の間に相対的な差を生じさせるようにしても良い。

これにより、対向車のヘッドライトなどに起因するハレーションを抑えながら、該当領域を除く領域の階調を上げることができるので、表示用のフレーム画像の視認性を向上させることができる。

なお、以上説明した本実施の形態は、本発明の構成を限定するものではない。例えば、本実施の形態では、撮像装置として、車両用撮像システム１０に、画像処理装置１４及びディスプレイ１６と共に設けた撮像装置１２を例に説明したが、本発明は、撮像装置１２に限らず、カメラユニット２０の撮像を時系列的に出力する任意の構成の撮像装置を適用することができる。

また、本実施の形態では、撮像装置を車両用撮像システム１０に用いて説明したが、本発明は、これに限らず、任意の画像を撮像して、撮像した映像信号をディスプレイ１６等の表示手段に表示しながら、画像処理を実行する任意の構成の撮像システムに適用することができる。

本実施の形態に適用した撮像装置及び撮像装置を設けた車両用撮像システムの概略構成を示す機能ブロック図である。撮像装置での基本的処理の一例を示す流れ図である。撮影によって得られるフレーム画像とフレーム画像の分割を示す概略図である。撮像装置によって得られる映像信号の処理の一例を示す流れ図である。投光手段として本発明に適用可能なランプユニットの一例を示す要部の概略構成図である。撮像装置での処理の他の一例を示す流れ図である。図６の処理に、ランプユニットの照射方向及び照射強度の制御を加えた一例を示す流れ図である。

符号の説明

１０車両用撮像システム（撮像装置）
１２撮像装置
１４画像処理装置
１６ディスプレイ
１８ライトユニット（投光手段）
２０カメラユニット（撮像手段、レベル調整手段）
２２撮像制御部（分割手段、レベル調整手段）
２４特定物検出部
２６画像描画部
２８映像分割部（分割手段）
３０フレーム画像
３０_n1、３０_n3、３０_n5 フレーム画像（第一又は第二のフレーム画像）
３０_n2、３０_n4、３０_n6 フレーム画像（第一又は第二のフレーム画像）
４０発光素子（投光手段）
４２点灯駆動回路
４４Ｆ、４４ＦＲ、４４ＦＬ発光素子群（投光手段）

Claims

所定のフレームレートで対象物を撮像し、撮像により得られたフレーム画像を時系列順に出力する撮像手段と、
前記撮像手段が撮像するエリアを照明する光を投光し、該光の発光強度及び発光方向が制御可能な投光手段と、
前記撮像手段から時系列順に出力される前記フレーム画像を予め設定された順番で第１のフレーム画像と第２のフレーム画像とに時間分割する分割手段と、
前記第１のフレーム画像及び前記第２のフレーム画像の一方の画像に基づいて、前記撮像手段から次に出力される該一方の画像の明るさのレベルを表示用途に適した明るさのレベルに調整し、前記第１のフレーム画像及び前記第２のフレーム画像の他方の画像に基づいて、前記撮像手段から次に出力される該他方の画像の明るさのレベルを画像処理用途に適した明るさのレベルに調整するレベル調整手段と、
前記画像処理用途に適した明るさレベルに調整された前記他方の画像から得られる特定対象物に向けて投光する光が強くなるように、次に前記他方の画像として分割される前記フレーム画像を前記撮像手段が撮像するのと同期して前記発光手段の発光強度及び発光方向の少なくとも一方を制御する制御手段と、
を含む撮像装置。
前記分割手段は、自然数の倍数番目のフレーム画像を前記第１のフレーム画像とし、残りのフレーム画像を前記第２のフレーム画像として時間分割する請求項１記載の撮像装置。
前記分割手段は、偶数番目のフレーム画像を前記第１のフレーム画像として分割するか、または３の倍数番目のフレーム画像を前記第２のフレーム画像として時間分割する請求項１記載の撮像装置。
前記レベル調整手段は、前記撮像手段の撮像素子の露光時間及び該撮像素子から出力される出力信号の増幅率の少なくとも一方の調整によって明るさのレベルを調整する請求項１〜請求項３のいずれか１項記載の撮像装置。
前記表示用途に適した明るさのレベルを、表示画像にハレーションが生じないレベルとし、前記画像処理用途に適した明るさのレベルを、前記特定対象物のコントラストが最も高くなるレベルとした請求項１〜請求項４のいずれか１項記載の撮像装置。
前記制御手段は、画像の明るさのレベルを表示用途に適した明るさのレベルに調整するのと同期して前記投光手段の発光強度及び発光方向の少なくとも一方を表示用途に適するように制御すると共に、画像の明るさのレベルを画像処理用途に適した明るさのレベルに調整するのと同期して前記投光手段の発光強度及び発光方向の少なくとも一方を画像処理用途に適するように制御する請求項１〜請求項５のいずれか１項記載の撮像装置。