JPWO2010082277A1 - 撮像装置及び撮像方法 - Google Patents

撮像装置及び撮像方法 Download PDF

Info

Publication number
JPWO2010082277A1
JPWO2010082277A1 JP2010546468A JP2010546468A JPWO2010082277A1 JP WO2010082277 A1 JPWO2010082277 A1 JP WO2010082277A1 JP 2010546468 A JP2010546468 A JP 2010546468A JP 2010546468 A JP2010546468 A JP 2010546468A JP WO2010082277 A1 JPWO2010082277 A1 JP WO2010082277A1
Authority
JP
Japan
Prior art keywords
block
unit
target
exposure
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010546468A
Other languages
English (en)
Other versions
JP5328815B2 (ja
Inventor
偉傑 劉
偉傑 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010546468A priority Critical patent/JP5328815B2/ja
Publication of JPWO2010082277A1 publication Critical patent/JPWO2010082277A1/ja
Application granted granted Critical
Publication of JP5328815B2 publication Critical patent/JP5328815B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28—Circuitry to measure or to take account of the object contrast

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Traffic Control Systems (AREA)

Abstract

露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行う撮像装置（１００）。撮像装置（１００）は、ターゲットの輪郭形状に基づいて撮像画像Ｓ１からターゲットの候補を検出する特徴検出部（１１１）と、撮像画像領域を分割してなる複数のブロックのうち、特徴検出部（１１１）によって検出されたターゲットが属するブロックに投票するブロック投票部（１１２）と、投票結果（Ｓ３）を複数フレームに亘ってブロック単位で加算することで投票結果（Ｓ３）を集計する投票集計部（１１４）と、集計結果（Ｓ４）に基づいて露出を制御するために用いるブロックを選択する重要度判定部（１１５）と、重要度判定部（１１５）によって選択されたブロックの輝度に基づいて撮像部（１０１）の露出を制御する制御部（１１６）と、を有する。

Description

本発明は、撮像装置及び撮像方法に関し、特に露出を制御する技術に関する。本発明は、例えば車載カメラなどのように、時間方向の輝度変化が激しい被写体を撮像する場合の露光制御に用いて好適である。
従来、デジタルスチルカメラ等の撮像装置には、一般に、自動的に露出量を調整するＡＥ（Automatic Exposure：自動露出）機能が設けられている。露出制御は、視野内の光量を測光し、その測光結果に基づき、レンズの開口度、電子シャッタ量及び撮像素子から出力される電気信号の利得を調整することにより行われる。
光量の測光は、専用のセンサを用いるものや、撮像素子の出力信号を用いるものがある。光量を測定する方式としては、画面全体の平均の輝度を測定する全面平均測光方式、画面内の中央部分の輝度を重点的に測定する中央部重点測光方式、画面内を分割してそれぞれの領域で平均の輝度を測定する多分割測光方式、画面内の任意の位置の輝度を測定するスポット測光方式、画面内の複数の任意の位置の輝度を測定するマルチスポット測光方式等がある。
スポット測光においては、画像内の注目したい或いは注目する必要のある部分、つまり重要度の高い部分を検出し、その領域の平均の輝度を測定する。重要度の高い部分としては、例えば、顔、人物、文字などがある。また、車載用撮像装置にとっては、重要度の高い部分として、走行中における道路上の車輌、白線、路側の道路標識などがある。
特許文献１には、白線を検出するための露出制御方法が記載されている。路面上に日向と日陰が繰り返し発生する道路を車輌が走行する場合、日向と日陰の切換るタイミングに露出制御のタイミングが噛み合わなければ、ハンチングが生じる。特許文献１では、ハンチングを抑制するために、露出制御量の変化量に対し、増加限界値と減少限界値とを設け、変化量がこれらの限界値を超えている場合には、露出制御量の変化量を限界値に制限する技術が記載されている。
また、特許文献２には、重要度の高い物体、例えば先行車輌、人物、道路標識などを含む領域の解像度及び露出を制御する方法が記載されている。画像内の物体の形状と記憶された物体の形状との一致度に基づき、重要度の高い物体領域を確定し、その領域の解像度と露出が所定の値となるようにカメラを制御する。重要度の高い物体領域が複数存在する場合には、重要度の高い物体の種類（人物か車両か道路標識か）と、それが存在する画面内の位置（道路内か道路外か、及び、自車に近いか遠いか）とに基づいて、重み付けを行い、その平均結果から露出を決定する。
特開２００５−１４８３０９号公報 特開２００８−５３９０１号公報
ところで、上述した従来の露出制御技術は、いずれも重要度の高い物体領域に基づく露出制御方式であり、露出制御は、重要度の高い物体領域を検出した後に、その検出した領域の輝度に基づいて行われる。
よって、露出制御の基である、重要度の高い物体領域を正確に検出することが大切である。
特許文献１においては、白線と、白線を除く路面エリアとを設定することが前提条件である。しかし、白線の設定は、誤りが生じたり、設定不能となる場合がある。例えば、先行車の車室輪郭を誤って車線（白線）と判断してしまう場合がある。また、逆光によって路面全体が白とびの状態となっている場合には、白線を検出できない場合がある。このような場合には、特許文献１の露出制御技術は利用が困難である。
特許文献２においては、重要度の高い物体領域が、重要度の高い物体が輪郭形状によって、一意的に決定される。よって、撮像画像中に、重要度の高い物体の輪郭形状に似た輪郭の物体が含まれている場合には、重要度の高い物体領域が誤認識されるおそれがある。具体的に、道路標識の検出を目的とする露出制御を例として説明する。車載撮像装置を用いて道路標識を撮像すると、画像から三角形や円などの形状を複数検出することはよくある。検出される複数形状には、道路標識以外に、道路周辺の建造物の特定部分や木の枝なども含まれている。よって、道路周辺の建造物や木の枝などを、道路標識であると誤検出してしまうおそれがある。この結果、道路標識の露出を最適化したいにも拘わらず、道路標識以外の物体の輝度を最適化するような誤った露出制御が行われるおそれがある。
本発明は、かかる点を考慮してなされたものであり、露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行うことができる撮像装置及び方法を提供する。
本発明の撮像装置の一つの態様は、撮像画像を得る撮像部と、ターゲットの輪郭形状に基づいて、前記撮像画像から前記ターゲットの候補を検出する検出部と、前記撮像画像領域を分割してなる複数のブロックのうち、前記検出部によって検出された前記ターゲットが属するブロックに投票する投票部と、投票結果を複数フレームに亘ってブロック単位で加算することで、投票結果を集計する集計部と、集計結果に基づいて各ブロックの重要度を判定し、露出を制御するために用いるブロックを選択する判定部と、前記判定部によって選択されたブロックの輝度に基づいて、前記撮像部の露出制御パラメータを算出し、前記撮像部の露出を制御する制御部と、を具備する構成を採る。
本発明の撮像方法の一つの態様は、撮像画像を得る撮像ステップと、ターゲットの輪郭形状に基づいて、前記撮像画像から前記ターゲットの候補を検出する検出ステップと、前記撮像画像領域を分割してなる複数のブロックのうち、前記検出ステップで検出した前記ターゲットが属するブロックに投票する投票ステップと、投票結果を複数フレームに亘ってブロック単位で加算することで、投票結果を集計する集計ステップと、集計結果に基づいて各ブロックの重要度を判定し、露出を制御するために用いるブロックを選択する判定ステップと、前記判定ステップで選択したブロックの輝度に基づいて、前記撮像ステップで用いる露出制御パラメータを算出し、前記撮像ステップでの露出を制御する制御ステップと、を含む。
本発明によれば、複数フレームでの投票結果を基に露出制御用のブロックを選択したので、たとえ１フレームの撮像画像中に、ターゲットの輪郭形状に似た輪郭の物体が含まれていても、これを誤検出することなく、露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行うことができる。
本発明の実施の形態１に係る撮像装置の構成を示すブロック図 図２Ａ〜図２Ｅはブロック投票部による各ブロックへの投票の説明に供する図、図２Ｆは投票集計部による集計の説明に供する図 実施の形態２の撮像装置の構成を示すブロック図 図４Ａ〜図４Ｅはブロック投票部による各ブロックへの投票の説明に供する図、図４Ｆは投票集計部による集計の説明に供する図 実施の形態４の撮像装置の構成を示すブロック図 分析部の構成を示すブロック図 分析部の構成を示すブロック図 図８Ａ〜図８Ｆはブロック生成部により生成されるブロックの説明に供する図 実施の形態５の撮像装置の構成を示すブロック図 実施の形態６の撮像装置の構成を示すブロック図 実施の形態７の撮像装置の構成を示すブロック図
以下、本発明の実施の形態について図面を参照して詳細に説明する。実施の形態では、本発明を道路標識の認識に適用した場合について述べるが、本発明の適用範囲は道路の標識に限定されない。本発明は、特定の物体を認識する場合に広く適用可能である。但し、本発明は、道路標識のようにターゲットが複数フレーム（例えば５〜１０フレーム）に亘ってほぼ同位置に安定的に撮像され、かつ、その他の物体の撮像状態が変化する場合に、特に適している。
（実施の形態１）
図１に、本発明の実施の形態１に係る撮像装置の構成を示す。撮像装置１００は、大きく分けて、撮像部１０１と、画像処理部１０２と、出力部１０３と、露出制御部１１０とを有する。
撮像部１０１は、ＣＣＤやＣＭＯＳなどの撮像素子によって画像を取得する。撮像部１０１の構成は、公知の構成を用いればよい。例えば、撮像部１０１は、入力光を調整するために、レンズ、絞り制御機構、シャッタースピード制御機構及び焦点制御機構などを有する。また、撮像部１０１は、撮像素子の電気特性を調整するために、アンプなどの利得制御機構及びＡ／Ｄコンバータを有する。また、撮像部１０１は、出力用Ｉ／Ｆ及び各部分協調用のタイミングジェネレータなどを有する。撮像部１０１は、撮像画像Ｓ１を画像処理部１０２及び露出制御部１１０に送出する。
ここで、撮像部１０１は、絞り制御、シャッタースピード制御及び利得制御を行うことにより、露出を制御するようになっている。但し、本発明においては、撮像部１０１内での露出制御のための構成及び方法は特に限定されるものではなく、従来提案されている種々の構成及び方法を適用してよい。
画像処理部１０２は、特定目的のために撮像画像Ｓ１を処理する。本実施の形態の場合、画像処理部１０２は、撮像画像Ｓ１を用いて指定物体を認識する。例えば、予め記憶された特定物体に対応するテンプレートと、撮像画像Ｓ１とを用いてパターンマッチング処理を行うことにより、撮像画像Ｓ１に特定物体が存在するか否かや、撮像画像Ｓ１中のどの位置に特定物体が存在するかなどを認識する。なお、画像処理部１０２は、指定物体の認識処理に加えて、画質を改善する処理や、画像サイズ変換処理を行ってもよい。画像処理部１０２の処理結果は、出力部１０３に送出される。
出力部１０３は、画像処理部１０２によって得られた認識結果又は画像を、警告装置又は表示装置に送出する。
露出制御部１１０は、特徴検出部１１１に撮像画像Ｓ１を入力する。特徴検出部１１１は、ターゲットの特徴を基に、撮像画像Ｓ１からターゲットの候補を検出する。本実施の形態では、ターゲットの特徴として、ターゲットの輪郭形状を用いて、ターゲットの候補を検出する。具体的には、特徴検出部１１１は、例えばパターンマッチングなどの処理を行うことで、撮像画像Ｓ１からターゲットの輪郭形状に一致する物体画像を検出し、検出した物体画像の位置情報を特徴情報Ｓ２としてブロック投票部１１２に送出する。本実施の形態の場合、ターゲットとは道路標識であり、ターゲットの輪郭形状とは三角形や円である。
ブロック生成部１１３は、撮像画像Ｓ１の画像領域を複数のブロックに分割するためのブロック情報を生成し、生成したブロック情報をブロック投票部１１２に送出する。例えば、６４０（画素）×４８０（画素）のサイズのＶＧＡ画像を、１ブロックが６４（画素）×４８（画素）のサイズの１００個のブロックに分割するためのブロック情報を生成する。
ブロック投票部１１２は、ブロック生成部１１３によって生成された複数のブロックのうち、特徴検出部１１１によって検出されたターゲットが属するブロックに投票する。この投票は、１フレーム単位で行われる。
図２に、ブロック投票部１１２による投票及び続く投票集計部１１４による集計の様子を示す。図２は、図を簡単化するために、撮像画像Ｓ１を９個のブロックに分割した場合を示す。
ブロック投票部１１２は、図２Ａ〜図２Ｅに示すように、各時点のフレームにおいて、ターゲットの輪郭形状がどのブロックに属するかを判断し、輪郭形状が属するブロックに票を投じる。例えば図２Ａに示す時点（ｔ−４）のフレームでは、輪郭形状が三角形のターゲット（例えば「止まれ」の道路標識）が左側中央のブロックと右側上のブロックに検出されるので、ブロック投票部１１２は、時点（ｔ−４）のフレームにおいて、左側中央のブロックと右側上のブロックとのそれぞれに一票を投じる。また、例えば図２Ｃに示す時点（ｔ−２）のフレームでは、輪郭形状が三角形のターゲットが左側中央のブロックに検出されるので、ブロック投票部１１２は、時点（ｔ−２）のフレームにおいて、左側中央のブロックに一票を投じる。
因みに、検出された輪郭形状が隣接する複数のブロックにまたがる場合には、検出された輪郭形状の中心点が属するブロックに一票を投じるとよい。また、同一フレームにおいて、同一ブロック内に同一の輪郭形状を複数検出した場合（例えば同一ブロックに２つの三角形を検出した場合）には、そのフレームのそのブロックに複数票を投じずに、一票のみを投じることが好ましい。
このように、ブロック投票部１１２は、フレーム画像毎に、各ターゲットの輪郭形状が属するブロックに一票を投じる。ブロック投票部１１２による各フレームについての投票結果Ｓ３は、投票集計部１１４に送出される。
投票集計部１１４は、投票結果Ｓ３を複数フレームに亘ってブロック単位で加算することで、投票結果を集計する。この結果、投票集計部１１４は、図２Ｆに示すような集計結果を得る。図２Ｆの集計結果は、三角形の輪郭について、左側中央のブロックに４票が投じられ、右側上のブロックに２票が投じられたことを示す。投票集計部１１４は、集計結果Ｓ４を重要度判定部１１５に送出する。なお、図２では、投票集計部１１４が、５フレームに亘る投票結果を集計した場合を示したが、５フレームに限らない。
重要度判定部１１５は、集計結果Ｓ４に基づいて各ブロックの重要度を判定する。具体的には、最も得票数の多いブロック（図２Ｆの場合には、左側中央のブロック）を最重要ブロックと判定し、判定結果Ｓ５を制御部１１６に送出する。
ここで、最も得票数の多いブロックが複数存在する場合には、次のようにして、最重要ブロックを判定するとよい。
・時間軸における最近のフレームの得票数が多い方をより重要なブロックにする。
・重要度の高い空間位置のブロックをより重要なブロックにする。例えば、車輌が左側通行で、ターゲットが道路標識の場合、道路標識は撮像画面の左側や上側に位置する可能性が高いので、撮像画面における左側や上側のブロックを重要ブロックにするとよい。
制御部１１６は、重要度判定部１１５によって最重要ブロックと判定されたブロックを、露出制御用ブロックとして利用して、撮像部１０１の露出を制御する。具体的には、制御部１１６は、撮像部１０１から撮像画像Ｓ１を入力し、この撮像画像Ｓ１のうちの最重要ブロックの輝度を検出し、最重要ブロックの平均輝度が所定の輝度範囲内になるようにカメラ制御パラメータＳ６を計算し、このカメラ制御パラメータＳ６を撮像部１０１に送出することで、撮像部１０１の露出を制御する。
以上説明したように、本実施の形態によれば、ターゲットの輪郭形状に基づいて撮像画像Ｓ１からターゲットの候補を検出する特徴検出部１１１と、撮像画像領域を分割してなる複数のブロックのうち、特徴検出部１１１によって検出されたターゲットが属するブロックに投票するブロック投票部１１２と、投票結果Ｓ３を複数フレームに亘ってブロック単位で加算することで投票結果Ｓ３を集計する投票集計部１１４と、集計結果Ｓ４に基づいて露出を制御するために用いるブロックを選択する重要度判定部１１５と、重要度判定部１１５によって選択されたブロックの輝度に基づいて撮像部１０１の露出を制御する制御部１１６と、を設けたことにより、たとえ１フレームの撮像画像中に、ターゲットの輪郭形状に似た輪郭の物体が含まれていても、これを誤検出することなく、露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行うことができる。
この結果、画像処理部１０２では、ターゲットの輝度が最適化された撮像画像を用いて認識処理を行うことができるので、認識精度が向上する。
ここで、本実施の形態は、道路標識を認識する場合に非常に効果的である。その理由を、以下に述べる。
（１）道路標識は、表示面が走行車輌の方向に向けられて設置されているので、撮像される他の物体（例えば建物や木など）と比較して、一律的な反射率を有する。つまり、道路標識は、車輌が時間的に走行方向及び走行位置を変えた場合でも、反射率の変化が小さいので、他の物体（例えば建物や木など）と比較して、安定して検出できる可能性が高い。すなわち、撮像装置１００との相対方向や位置の変化に対しロバスト性を持つ。逆に、道路周辺の建造物の特定部分や木の枝などの画像エリアは、反射率が画素ごとに異なるため、車載撮像装置が移動することで相対方向が変わると、検出できなくなることがよくある。
（２）道路標識は、道路の路側や上方といった決まった位置に設置されているので、車輌が時間的に走行方向及び走行位置を変えた場合でも、時間的に短い期間であれば、撮像画像のほぼ決まった位置に存在する。よって、投票がある特定のブロックに集中し易いので、本実施の形態の投票及び集計が効果的である。また、上述したように、空間位置の重要度も加味して、最適な露出制御用ブロックを選択できる。
（実施の形態２）
実施の形態１では、ターゲットの輪郭形状が存在するブロックを投票によって求めて、得票数が最も多いブロックを露出制御用ブロックとして選択した。本実施の形態では、それに加えて、輪郭形状の種類及び輪郭内パターンに応じた優先度を考慮して、露出制御用ブロックを選択することを提示する。
具体的には、次のような優先度を付与する。
（１）輪郭形状の種類に応じた優先度付与 ： 例えば輪郭形状が三角形の道路標識の優先度を、輪郭形状が円の道路標識の優先度よりも高くする。
（２）輪郭内パターンに応じた優先度付与 ： 例えば輪郭形状が同じ三角形の場合でも、「止まれ」の道路標識の優先度を、「徐行」の優先度よりも高くする。また、輪郭形状が同じ円形状でも、制限速度標識の優先度を、駐車禁止の標識優先度よりも高くする。
（３）輪郭形状の種類及び輪郭内パターンの両方に応じた優先度付与 ： 例えば輪郭形状が三角形で輪郭内パターンが「止まれ」の道路標識と、輪郭形状が円で輪郭内パターンが「制限速度」を示す道路標識とが検出された場合、“「止まれ」＞「制限速度」＞三角形＞円”のように優先度を付与する。つまり、実際に重要度を判断するためには、輪郭形状だけでは不十分な場合もあるので、本実施の形態では、輪郭形状の種類に、輪郭内パターンも優先度の要素として加える。
但し、露出制御前の画像においては、輪郭内パターンを検出できない可能性もあるので、輪郭内パターンの優先度は付与しなくてもよい。
図１との対応部分に同一符号を付して示す図３に、本実施の形態の撮像装置の構成を示す。撮像装置２００の露出制御部２０１は、優先度付与部２０２を有する。また、本実施の形態の特徴検出部２０３は、ターゲットの特徴として、輪郭形状及び輪郭内パターンを検出する。よって、特徴検出部２０３は、検出した輪郭形状の種類とその位置、及び、検出した輪郭内パターンの種類とその位置の情報を特徴情報Ｓ２として出力する。
ブロック投票部１１２は、検出された輪郭形状の種類毎、及び、検出された輪郭内パターンの種類毎に、ブロックへの投票を行う。投票集計部１１４は、輪郭形状の種類毎、及び、検出された輪郭内パターンの種類毎に、各ブロックの投票数を集計する。
優先度付与部２０２は、輪郭形状の種類及び輪郭内パターンの種類に応じた優先度を、得票（集計）結果Ｓ４に付与する。具体的には、優先度付与部２０２は、得票結果Ｓ４に、優先度が高い輪郭形状の種類及び輪郭内パターンほど大きな値の係数を乗算することで、得票結果Ｓ４を重み付けすればよい。例えば、優先度付与部２０２は、“「止まれ」＞「制限速度」＞三角形＞円”のような優先度を付与する場合には、「止まれ」の得票数に乗算係数２を乗じ、「制限速度」の得票数に乗算係数１．５を乗じ、三角形の得票数に乗算係数１を乗じ、円の得票数に０．５を乗じればよい。なお、優先度の付与の仕方は、これに限らない。例えば優先度の高いものほど、ブロック投票部１１２にて１回当たりの投票数を多くしてもよい。
このようにして優先度が付与された新たな得票（集計）結果Ｓ１０は、重要度判定部１１５に送られ、重要度判定部１１５によって、実施の形態１と同様に、最も得票数の多いブロックが露出制御用ブロックとして選択される。
図４に、本実施の形態を用いた場合の簡単な動作例を示す。図４は、輪郭形状が３角形の標識と、輪郭形状が円の標識との、投票と得票結果を示すものである。各フレームで図４Ａ〜図４Ｅに示すよう投票がなされ、得票結果が図４Ｆに示すようになったとする。
図４Ｆの得票結果から明らかなように、左側上のブロックと左側中央のブロックで同じ得票数が得られる。しかし、本実施の形態の場合には、三角形の優先度が円の優先度よりも高くされているので、露出制御用ブロックとして、左側中央のブロックが選択される。
本実施の形態によれば、実施の形態１の構成に加えて、ターゲットの輪郭形状及び又はターゲットの輪郭内パターンに応じた優先度を付与したので、実施の形態１の効果に加えて、重要度が高いターゲットほど露出制御用ブロックとして用いる確率を高めることができる。
（実施の形態３）
本実施の形態では、実施の形態１、実施の形態２で提示した方法において、重要度判定部１１５が同じ重要度を有するブロックが複数存在すると判定した場合に、露出制御用ブロックの好ましい選択方法を提示する。
昼間の場合でも夜間の場合でも、画像領域内の各部分の反射特性と各部分への光の当たり具合によって、同一フレーム内に、黒つぶれのターゲットの候補と白とびのターゲットの候補とが同時に存在する場合はよくある。いずれの候補に対しても、輪郭形状の検出が可能であるが、輪郭内パターンの種類を確認することは困難である。その結果、重要度判定部１１５において、同じ重要度を有するブロックが複数存在すると判定される可能性がある。
図３を流用して具体的に説明する、本実施の形態においては、優先度付与部２０２と重要度判定部１１５が実施の形態２で説明した動作と異なる動作を行う。
重要度判定部１１５は、まず、実施の形態２で説明した動作を行い、重要度が同一であるブロックが２つ以上あれば、それらのブロックの各々の平均輝度とフレーム全体の平均輝度とを計算し、それらを比較する。簡単のため、重要度（得票数）が同じ２つのブロック、つまりブロック１とブロック２とが存在した場合について説明する。また、ブロック１の平均輝度＞ブロック２の平均輝度の関係であると仮定する。そうすると、以下３つのケースが存在する。
（１）ブロック１の平均輝度＞ブロック２の平均輝度＞フレームの平均輝度。このケースでは、ターゲットの候補は全画面よりも明るい場合に検出されやすいことを考慮して、ブロック２を重要ブロックとして選択する。すると、ブロック２の輝度に基づいて露出を制御しても、ブロック１が比較的明るい状態に維持されるので、ブロック１を引き続き検出できる可能性を高めることができる。因みに、ブロック１の輝度に基づいて露出を制御してしまうと、露出を大きく下げることになるので、ブロック２の輝度が大きく下がり、その結果、ブロック２を検出できなくなる可能性が高くなってしまう。
（２）フレームの平均輝度＞ブロック１の平均輝度＞ブロック２の平均輝度。このケースでは、ターゲットの候補が全画面よりも暗い場合に検出されやすいことを考慮して、ブロック１を重要ブロックとして選択する。すると、ブロック１の輝度に基づいて露出を制御しても、ブロック２が比較的暗い状態に維持されるので、ブロック２を引き続き検出できる可能性を高めることができる。因みに、ブロック２の輝度に基づいて露出を制御してしまうと、露出を大きく上げることになるので、ブロック１の輝度が大きく上がり、その結果、ブロック１を検出できなくなる可能性が高くなってしまう。
（３）ブロック１の平均輝度＞フレームの平均輝度＞ブロック２の平均輝度。このケースでは、まずフレームの平均輝度を所定輝度値（例えば、輝度の範囲が０〜２５５の場合には１００を所定輝度値とする）と比較し、フレームの平均輝度が所定輝度値よりも大きい場合にはブロック１を重要ブロックとして判定する。そうでない場合にはブロック２を重要ブロックとして判定する。その理由は、全画面が明るい時に検出された暗いターゲットの候補は逆光環境にある可能性が高いと考えられるためである。明るいターゲット候補を基に露出を制御しても、暗いターゲット候補は引き続き検出される可能性が高い。逆に、暗いターゲット候補を基に露出を制御すると、明るいターゲット候補は検出されなくなる可能性が高い。また、全画面が暗い時に検出された明るいターゲット候補がライトなどの光に照射される環境にある可能性が高いと考えられる。暗いターゲット候補を基に露出を制御しても、明るいターゲット候補は引き続き検出される可能性が高い。
このように、本実施の形態では、重要度判定部１１５は、重要度が同一であるブロックが複数存在すると判定した場合、これら複数のブロックそれぞれのブロック内の平均輝度と、フレームの平均輝度との関係に基づいて、複数のブロックの中からいずれか一つのブロックを、露出を制御するために用いるブロックとして選択する。
なお、上述した例では、重要度が同一であるブロックが２つ存在すると判定した場合について説明したが、重要度が同一であるブロックが３つ以上存在すると判定した場合も上述の例と同様の考え方が適用できる。要は、重要度が同一である複数のブロックの中から、ブロック内の平均輝度がフレームの平均輝度に最も近いブロックを選択することで、残りのブロックの検出を維持することができる。
本実施の形態では、制御部１１６は、上述のようにして重要度判定部１１５によって選択されたブロックの輝度に基づいて、撮像部１０１の露出を制御する。次に、重要度判定部１１５は、前回選択したブロックを除外して、新たな集計結果に基づいて、露出を制御するために用いる新たなブロックを選択する。次に、制御部１１６は、重要度判定部１１５によって選択された新たなブロックの輝度に基づいて、撮像部１０１の露出を制御する。前回選択したブロックを除外する具体的な方法としては、例えば、優先度付与部２０２が前回選択したブロックについてマイナス投票を行うようにすればよい。つまり、輪郭内パターンの種類の確認を実施したブロックに対し、確認の結果を得た時点でそのブロックの重要度を所定程度で下げる。
このようにすることで、同じ重要度を有する複数のブロックをもれなく時間的に前後して輪郭内パターンを確認することができるようになる。
なお、上述したブロックの平均輝度は、ブロック全体の平均輝度でもよいし、ブロックに属するターゲットの候補の平均輝度でもよい。つまり、ブロック内の平均輝度であればよい。また、フレームの平均輝度は、全画面の平均輝度でもよいし、関連するブロックの平均輝度及び周辺ブロックの平均輝度でもよい。
（実施の形態４）
図５は、実施の形態４における撮像装置５００の構成を示す。撮像装置５００は、実施の形態１の撮像装置１００と比較して、露出制御部５０１の構成が異なる。露出制御部５０１は、ブロック生成部１１３（図１）と異なる構成のブロック生成部５０３と、分析部５０２とを有する。
以下、本発明の実施の形態４における撮像装置５００について説明する。なお、図５において、図１と同様の機能を有する構成要素は、同一の符号を付している。
分析部５０２は、撮像装置５００を搭載する車輌の走行状況を分析する。分析部５０２は、例えば、車輌がカーブしている状況、車輌が坂道を下っている状況、または車輌が加速している状況などを分析する。分析部５０２は、車輌の走行状況を分析した結果を示す分析情報をブロック生成部５０３に出力する。
分析部５０２の構成例を図６に示す。分析部５０２は、センサ部６０１及び分析情報生成部６０２を備える。センサ部６０１は、例えば加速度センサやヨーレートセンサなどである。センサ部６０１は、車輌がカーブしている状況、車輌が坂道を下っている状況、または車輌が加速している状況などの走行状況を感知し、分析情報生成部６０２に通知する。分析情報生成部６０２は、通知を受けて、分析情報を生成して出力する。
なお、分析情報には、車輌がカーブしている状況、車輌が坂道を下っている状況、または車輌が加速している状況を示す情報のほか、カーブや加速の程度情報をも含めるとさらに好ましい。
分析部５０２の別の構成例を図７に示す。分析部５０２は、ＧＰＳ（Global Positioning System）受信部７０１と、地図情報を記憶する記憶部７０２と、分析情報生成部７０３とを備える。ＧＰＳ受信部７０１は、車輌の位置を取得し、位置情報を分析情報生成部７０３に出力する。記憶部７０２は、地図情報を分析情報生成部７０３に出力する。分析情報生成部７０３は、位置情報と地図情報とに基づいて、車輌の走行状況を分析し、分析情報を生成して出力する。つまり、分析情報には、地図上における車輌の位置情報が含まれる。
なお、図６及び図７は分析部の構成例にすぎず、分析部は車輌の走行状況を分析する機能を有する限り、他の構成でもよい。
ブロック生成部５０３は、分析部５０２から分析情報を入力する。ブロック生成部５０３は、分析情報に基づいて、ブロック情報を生成する。すなわち、ブロック生成部５０３は、車輌の走行状況に基づいて、ブロック情報を生成する。例えば、ブロック生成部５０３は、車輌が右カーブしている状況と、車輌が左カーブしている状況とでは、ブロック情報を変更して、ブロック情報をブロック投票部１１２に出力する。
図８は、分析情報に基づいてブロック生成部５０３が生成したブロック情報により、複数のブロックに分割された撮像画像を示す。以下、図８を用いて、ブロック生成部５０３について説明する。
図８Ａは、車輌が右カーブしていることを分析情報が示す場合の撮像画像を示す。車輌が右カーブしている場合、撮像画像上の右側の画像よりも、左側の画像の方が画像の変化が激しい。そのため、撮像画像上の右側のブロックよりも、左側のブロックを大きくする。このように、本実施の形態では、画像の変化が激しい領域ほど、ブロックを大きくする。
このようにする理由について簡単に説明する。画像の変化が激しくなるほど、特徴検出部１１１による検出精度が低下し、画像中にターゲットが存在したとしてもそれが検出される確率が低下する。この結果、画像の変化が激しい領域ほど、ブロック投票部１１２による投票数が低下するといった不都合が生じる。そこで、本実施の形態では、画像の変化が激しい領域ほどブロックを大きくすることで、画像の変化が激しい領域への投票数を増加させる。つまり、ブロックを大きくすることで、検出確率の低下を補う。これにより、画像の変化量の違いに起因する各ブロックへの投票のアンバランスを解消して、公平な投票を実現できる。
図８Ｂは、車輌が左カーブしていることを分析情報が示す場合の撮像画像を示す。原理は、図８Ａで説明したとおりである。
図８Ｃは、車輌が坂道を上がっていることを分析情報が示す場合の撮像画像を示す。車輌が坂道を上がっている場合、撮像画像上の上側の画像よりも、下側の画像の方が画像の変化が激しい。そのため、撮像画像上の上側のブロックよりも、下側のブロックを大きくする。
図８Ｄは、車輌が坂道を下っていることを分析情報が示す場合の撮像画像を示す。原理は、図８Ｃで説明したとおりである。
ブロック生成部５０３は、その他、車輌の速度又は加速の状況に応じて、図８Ｅ及び図８Ｆに示すブロック分割の情報を生成する。
図８Ｅは、車輌の速度又は加速度が所定の閾値以上であることを分析情報が示す場合のブロック分割の様子を示す。図８Ｆは、車輌の速度又は加速度が所定の閾値未満であることを分析情報が示す場合のブロック分割の様子を示す。車輌の速度又は加速度が大きいほど、撮像画像上の中央の画像よりも、左右両側の画像の方が画像の変化が激しい。そのため、車輌の速度又は加速度が大きいほど、撮像画像上の中央のブロックよりも、左右両側のブロックを大きくする。
なお、ブロック投票部１１２の動作は実施の形態１で説明したとおりであるため、説明を省略する。また、その他の動作については、実施の形態１で説明したとおりであるため、説明を省略する。
以上の構成によれば、車輌の走行状況を分析し、分析情報に基づいてブロックの大きさを変更したことにより、走行状況に伴う投票のアンバランスを解消して、露出制御の基となるターゲット領域を的確に検出することができる。
（実施の形態５）
図９は、実施の形態５における撮像装置９００の構成を示す。実施の形態５と異なるのは、露出制御部９０１の分析部９０２が撮像部１０１の撮像画像Ｓ１を入力する点である。
以下、本発明の実施の形態５における撮像装置９００について説明する。なお、図９において、図５と同様の機能を有する構成要素は、同一の符号を付している。
分析部９０２は、撮像部１０１が取得した画像を入力し、画像分析を行う。分析部９０２は、画像分析を行うことにより、撮像装置９００を搭載する車輌の走行状況を分析する。例えば、車輌がカーブしている状況、車輌が坂道を下っている状況、または車輌が加速している状況などを、分析部９０２は分析する。つまり、分析部９０２は、実施の形態４の分析部５０２と同様の分析を、撮像画像を用いて行う。分析部９０２は、車輌の走行状況を分析した結果、分析情報をブロック生成部５０３に出力する。
ブロック生成部５０３の機能は、実施の形態４において説明したとおりであるため、説明を省略する。
以上の構成によれば、実施の形態４と同様に、車輌の走行状況を分析し、分析情報に基づいてブロックの大きさを変更することで、走行状況に伴う投票のアンバランスを解消して、露出制御の基となるターゲット領域を的確に検出することができる。
（実施の形態６）
図１０は、実施の形態６における撮像装置１０００の構成を示す。撮像装置１０００は、実施の形態１の構成（図１）に、実施の形態２で説明した重要度判定部１１５と、実施の形態４で説明した分析部５０２を追加した構成を有する。
図１０の構成によれば、実施の形態１の効果に加えて、重要度が高いターゲットほど露出制御用ブロックとして用いる確率を高めることができる効果（実施の形態２の効果）と、走行状況に伴う投票のアンバランスを解消して露出制御の基となるターゲット領域を的確に検出することができる効果（実施の形態４の効果）を得ることができる。
（実施の形態７）
図１１は、実施の形態７における撮像装置１１００の構成を示す。実施の形態６と異なるのは、露出制御部１１０１の分析部９０２が撮像部１０１の撮像画像Ｓ１を入力する点である。なお、分析部９０２の機能については、実施の形態５において説明したとおりであるため、説明を省略する。
図１１の構成によれば、図１０の構成と同様の効果を得ることができる。
２００９年１月１４日出願の特願２００９−００５９２９の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行うことができる効果を有し、例えば道路標識を認識する車載撮像装置に好適である。
本発明は、撮像装置及び撮像方法に関し、特に露出を制御する技術に関する。本発明は、例えば車載カメラなどのように、時間方向の輝度変化が激しい被写体を撮像する場合の露光制御に用いて好適である。
従来、デジタルスチルカメラ等の撮像装置には、一般に、自動的に露出量を調整するＡＥ（Automatic Exposure：自動露出）機能が設けられている。露出制御は、視野内の光量を測光し、その測光結果に基づき、レンズの開口度、電子シャッタ量及び撮像素子から出力される電気信号の利得を調整することにより行われる。
光量の測光は、専用のセンサを用いるものや、撮像素子の出力信号を用いるものがある。光量を測定する方式としては、画面全体の平均の輝度を測定する全面平均測光方式、画面内の中央部分の輝度を重点的に測定する中央部重点測光方式、画面内を分割してそれぞれの領域で平均の輝度を測定する多分割測光方式、画面内の任意の位置の輝度を測定するスポット測光方式、画面内の複数の任意の位置の輝度を測定するマルチスポット測光方式等がある。
スポット測光においては、画像内の注目したい或いは注目する必要のある部分、つまり重要度の高い部分を検出し、その領域の平均の輝度を測定する。重要度の高い部分としては、例えば、顔、人物、文字などがある。また、車載用撮像装置にとっては、重要度の高い部分として、走行中における道路上の車輌、白線、路側の道路標識などがある。
特許文献１には、白線を検出するための露出制御方法が記載されている。路面上に日向と日陰が繰り返し発生する道路を車輌が走行する場合、日向と日陰の切換るタイミングに露出制御のタイミングが噛み合わなければ、ハンチングが生じる。特許文献１では、ハンチングを抑制するために、露出制御量の変化量に対し、増加限界値と減少限界値とを設け、変化量がこれらの限界値を超えている場合には、露出制御量の変化量を限界値に制限する技術が記載されている。
また、特許文献２には、重要度の高い物体、例えば先行車輌、人物、道路標識などを含む領域の解像度及び露出を制御する方法が記載されている。画像内の物体の形状と記憶された物体の形状との一致度に基づき、重要度の高い物体領域を確定し、その領域の解像度と露出が所定の値となるようにカメラを制御する。重要度の高い物体領域が複数存在する場合には、重要度の高い物体の種類（人物か車両か道路標識か）と、それが存在する画面内の位置（道路内か道路外か、及び、自車に近いか遠いか）とに基づいて、重み付けを行い、その平均結果から露出を決定する。
特開２００５−１４８３０９号公報 特開２００８−５３９０１号公報
ところで、上述した従来の露出制御技術は、いずれも重要度の高い物体領域に基づく露出制御方式であり、露出制御は、重要度の高い物体領域を検出した後に、その検出した領
域の輝度に基づいて行われる。
よって、露出制御の基である、重要度の高い物体領域を正確に検出することが大切である。
特許文献１においては、白線と、白線を除く路面エリアとを設定することが前提条件である。しかし、白線の設定は、誤りが生じたり、設定不能となる場合がある。例えば、先行車の車室輪郭を誤って車線（白線）と判断してしまう場合がある。また、逆光によって路面全体が白とびの状態となっている場合には、白線を検出できない場合がある。このような場合には、特許文献１の露出制御技術は利用が困難である。
特許文献２においては、重要度の高い物体領域が、重要度の高い物体が輪郭形状によって、一意的に決定される。よって、撮像画像中に、重要度の高い物体の輪郭形状に似た輪郭の物体が含まれている場合には、重要度の高い物体領域が誤認識されるおそれがある。具体的に、道路標識の検出を目的とする露出制御を例として説明する。車載撮像装置を用いて道路標識を撮像すると、画像から三角形や円などの形状を複数検出することはよくある。検出される複数形状には、道路標識以外に、道路周辺の建造物の特定部分や木の枝なども含まれている。よって、道路周辺の建造物や木の枝などを、道路標識であると誤検出してしまうおそれがある。この結果、道路標識の露出を最適化したいにも拘わらず、道路標識以外の物体の輝度を最適化するような誤った露出制御が行われるおそれがある。
本発明は、かかる点を考慮してなされたものであり、露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行うことができる撮像装置及び方法を提供する。
本発明の撮像装置の一つの態様は、撮像画像を得る撮像部と、ターゲットの輪郭形状に基づいて、前記撮像画像から前記ターゲットの候補を検出する検出部と、前記撮像画像領域を分割してなる複数のブロックのうち、前記検出部によって検出された前記ターゲットが属するブロックに投票する投票部と、投票結果を複数フレームに亘ってブロック単位で加算することで、投票結果を集計する集計部と、集計結果に基づいて各ブロックの重要度を判定し、露出を制御するために用いるブロックを選択する判定部と、前記判定部によって選択されたブロックの輝度に基づいて、前記撮像部の露出制御パラメータを算出し、前記撮像部の露出を制御する制御部と、を具備する構成を採る。
本発明の撮像方法の一つの態様は、撮像画像を得る撮像ステップと、ターゲットの輪郭形状に基づいて、前記撮像画像から前記ターゲットの候補を検出する検出ステップと、前記撮像画像領域を分割してなる複数のブロックのうち、前記検出ステップで検出した前記ターゲットが属するブロックに投票する投票ステップと、投票結果を複数フレームに亘ってブロック単位で加算することで、投票結果を集計する集計ステップと、集計結果に基づいて各ブロックの重要度を判定し、露出を制御するために用いるブロックを選択する判定ステップと、前記判定ステップで選択したブロックの輝度に基づいて、前記撮像ステップで用いる露出制御パラメータを算出し、前記撮像ステップでの露出を制御する制御ステップと、を含む。
本発明によれば、複数フレームでの投票結果を基に露出制御用のブロックを選択したので、たとえ１フレームの撮像画像中に、ターゲットの輪郭形状に似た輪郭の物体が含まれていても、これを誤検出することなく、露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行うことができる。
本発明の実施の形態１に係る撮像装置の構成を示すブロック図 図２Ａ〜図２Ｅはブロック投票部による各ブロックへの投票の説明に供する図、図２Ｆは投票集計部による集計の説明に供する図 実施の形態２の撮像装置の構成を示すブロック図 図４Ａ〜図４Ｅはブロック投票部による各ブロックへの投票の説明に供する図、図４Ｆは投票集計部による集計の説明に供する図 実施の形態４の撮像装置の構成を示すブロック図 分析部の構成を示すブロック図 分析部の構成を示すブロック図 図８Ａ〜図８Ｆはブロック生成部により生成されるブロックの説明に供する図 実施の形態５の撮像装置の構成を示すブロック図 実施の形態６の撮像装置の構成を示すブロック図 実施の形態７の撮像装置の構成を示すブロック図
以下、本発明の実施の形態について図面を参照して詳細に説明する。実施の形態では、本発明を道路標識の認識に適用した場合について述べるが、本発明の適用範囲は道路の標識に限定されない。本発明は、特定の物体を認識する場合に広く適用可能である。但し、本発明は、道路標識のようにターゲットが複数フレーム（例えば５〜１０フレーム）に亘ってほぼ同位置に安定的に撮像され、かつ、その他の物体の撮像状態が変化する場合に、特に適している。
（実施の形態１）
図１に、本発明の実施の形態１に係る撮像装置の構成を示す。撮像装置１００は、大きく分けて、撮像部１０１と、画像処理部１０２と、出力部１０３と、露出制御部１１０とを有する。
撮像部１０１は、ＣＣＤやＣＭＯＳなどの撮像素子によって画像を取得する。撮像部１０１の構成は、公知の構成を用いればよい。例えば、撮像部１０１は、入力光を調整するために、レンズ、絞り制御機構、シャッタースピード制御機構及び焦点制御機構などを有する。また、撮像部１０１は、撮像素子の電気特性を調整するために、アンプなどの利得制御機構及びＡ／Ｄコンバータを有する。また、撮像部１０１は、出力用Ｉ／Ｆ及び各部分協調用のタイミングジェネレータなどを有する。撮像部１０１は、撮像画像Ｓ１を画像処理部１０２及び露出制御部１１０に送出する。
ここで、撮像部１０１は、絞り制御、シャッタースピード制御及び利得制御を行うことにより、露出を制御するようになっている。但し、本発明においては、撮像部１０１内での露出制御のための構成及び方法は特に限定されるものではなく、従来提案されている種々の構成及び方法を適用してよい。
画像処理部１０２は、特定目的のために撮像画像Ｓ１を処理する。本実施の形態の場合、画像処理部１０２は、撮像画像Ｓ１を用いて指定物体を認識する。例えば、予め記憶された特定物体に対応するテンプレートと、撮像画像Ｓ１とを用いてパターンマッチング処理を行うことにより、撮像画像Ｓ１に特定物体が存在するか否かや、撮像画像Ｓ１中のどの位置に特定物体が存在するかなどを認識する。なお、画像処理部１０２は、指定物体の認識処理に加えて、画質を改善する処理や、画像サイズ変換処理を行ってもよい。画像処理部１０２の処理結果は、出力部１０３に送出される。
出力部１０３は、画像処理部１０２によって得られた認識結果又は画像を、警告装置又は表示装置に送出する。
露出制御部１１０は、特徴検出部１１１に撮像画像Ｓ１を入力する。特徴検出部１１１は、ターゲットの特徴を基に、撮像画像Ｓ１からターゲットの候補を検出する。本実施の形態では、ターゲットの特徴として、ターゲットの輪郭形状を用いて、ターゲットの候補を検出する。具体的には、特徴検出部１１１は、例えばパターンマッチングなどの処理を行うことで、撮像画像Ｓ１からターゲットの輪郭形状に一致する物体画像を検出し、検出した物体画像の位置情報を特徴情報Ｓ２としてブロック投票部１１２に送出する。本実施の形態の場合、ターゲットとは道路標識であり、ターゲットの輪郭形状とは三角形や円である。
ブロック生成部１１３は、撮像画像Ｓ１の画像領域を複数のブロックに分割するためのブロック情報を生成し、生成したブロック情報をブロック投票部１１２に送出する。例えば、６４０（画素）×４８０（画素）のサイズのＶＧＡ画像を、１ブロックが６４（画素）×４８（画素）のサイズの１００個のブロックに分割するためのブロック情報を生成する。
ブロック投票部１１２は、ブロック生成部１１３によって生成された複数のブロックのうち、特徴検出部１１１によって検出されたターゲットが属するブロックに投票する。この投票は、１フレーム単位で行われる。
図２に、ブロック投票部１１２による投票及び続く投票集計部１１４による集計の様子を示す。図２は、図を簡単化するために、撮像画像Ｓ１を９個のブロックに分割した場合を示す。
ブロック投票部１１２は、図２Ａ〜図２Ｅに示すように、各時点のフレームにおいて、ターゲットの輪郭形状がどのブロックに属するかを判断し、輪郭形状が属するブロックに票を投じる。例えば図２Ａに示す時点（ｔ−４）のフレームでは、輪郭形状が三角形のターゲット（例えば「止まれ」の道路標識）が左側中央のブロックと右側上のブロックに検出されるので、ブロック投票部１１２は、時点（ｔ−４）のフレームにおいて、左側中央のブロックと右側上のブロックとのそれぞれに一票を投じる。また、例えば図２Ｃに示す時点（ｔ−２）のフレームでは、輪郭形状が三角形のターゲットが左側中央のブロックに検出されるので、ブロック投票部１１２は、時点（ｔ−２）のフレームにおいて、左側中央のブロックに一票を投じる。
因みに、検出された輪郭形状が隣接する複数のブロックにまたがる場合には、検出された輪郭形状の中心点が属するブロックに一票を投じるとよい。また、同一フレームにおいて、同一ブロック内に同一の輪郭形状を複数検出した場合（例えば同一ブロックに２つの三角形を検出した場合）には、そのフレームのそのブロックに複数票を投じずに、一票のみを投じることが好ましい。
このように、ブロック投票部１１２は、フレーム画像毎に、各ターゲットの輪郭形状が属するブロックに一票を投じる。ブロック投票部１１２による各フレームについての投票結果Ｓ３は、投票集計部１１４に送出される。
投票集計部１１４は、投票結果Ｓ３を複数フレームに亘ってブロック単位で加算することで、投票結果を集計する。この結果、投票集計部１１４は、図２Ｆに示すような集計結果を得る。図２Ｆの集計結果は、三角形の輪郭について、左側中央のブロックに４票が投じられ、右側上のブロックに２票が投じられたことを示す。投票集計部１１４は、集計結
果Ｓ４を重要度判定部１１５に送出する。なお、図２では、投票集計部１１４が、５フレームに亘る投票結果を集計した場合を示したが、５フレームに限らない。
重要度判定部１１５は、集計結果Ｓ４に基づいて各ブロックの重要度を判定する。具体的には、最も得票数の多いブロック（図２Ｆの場合には、左側中央のブロック）を最重要ブロックと判定し、判定結果Ｓ５を制御部１１６に送出する。
ここで、最も得票数の多いブロックが複数存在する場合には、次のようにして、最重要ブロックを判定するとよい。
・時間軸における最近のフレームの得票数が多い方をより重要なブロックにする。
・重要度の高い空間位置のブロックをより重要なブロックにする。例えば、車輌が左側通行で、ターゲットが道路標識の場合、道路標識は撮像画面の左側や上側に位置する可能性が高いので、撮像画面における左側や上側のブロックを重要ブロックにするとよい。
制御部１１６は、重要度判定部１１５によって最重要ブロックと判定されたブロックを、露出制御用ブロックとして利用して、撮像部１０１の露出を制御する。具体的には、制御部１１６は、撮像部１０１から撮像画像Ｓ１を入力し、この撮像画像Ｓ１のうちの最重要ブロックの輝度を検出し、最重要ブロックの平均輝度が所定の輝度範囲内になるようにカメラ制御パラメータＳ６を計算し、このカメラ制御パラメータＳ６を撮像部１０１に送出することで、撮像部１０１の露出を制御する。
以上説明したように、本実施の形態によれば、ターゲットの輪郭形状に基づいて撮像画像Ｓ１からターゲットの候補を検出する特徴検出部１１１と、撮像画像領域を分割してなる複数のブロックのうち、特徴検出部１１１によって検出されたターゲットが属するブロックに投票するブロック投票部１１２と、投票結果Ｓ３を複数フレームに亘ってブロック単位で加算することで投票結果Ｓ３を集計する投票集計部１１４と、集計結果Ｓ４に基づいて露出を制御するために用いるブロックを選択する重要度判定部１１５と、重要度判定部１１５によって選択されたブロックの輝度に基づいて撮像部１０１の露出を制御する制御部１１６と、を設けたことにより、たとえ１フレームの撮像画像中に、ターゲットの輪郭形状に似た輪郭の物体が含まれていても、これを誤検出することなく、露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行うことができる。
この結果、画像処理部１０２では、ターゲットの輝度が最適化された撮像画像を用いて認識処理を行うことができるので、認識精度が向上する。
ここで、本実施の形態は、道路標識を認識する場合に非常に効果的である。その理由を、以下に述べる。
（１）道路標識は、表示面が走行車輌の方向に向けられて設置されているので、撮像される他の物体（例えば建物や木など）と比較して、一律的な反射率を有する。つまり、道路標識は、車輌が時間的に走行方向及び走行位置を変えた場合でも、反射率の変化が小さいので、他の物体（例えば建物や木など）と比較して、安定して検出できる可能性が高い。すなわち、撮像装置１００との相対方向や位置の変化に対しロバスト性を持つ。逆に、道路周辺の建造物の特定部分や木の枝などの画像エリアは、反射率が画素ごとに異なるため、車載撮像装置が移動することで相対方向が変わると、検出できなくなることがよくある。
（２）道路標識は、道路の路側や上方といった決まった位置に設置されているので、車輌が時間的に走行方向及び走行位置を変えた場合でも、時間的に短い期間であれば、撮像画像のほぼ決まった位置に存在する。よって、投票がある特定のブロックに集中し易いので、本実施の形態の投票及び集計が効果的である。また、上述したように、空間位置の重要度も加味して、最適な露出制御用ブロックを選択できる。
（実施の形態２）
実施の形態１では、ターゲットの輪郭形状が存在するブロックを投票によって求めて、得票数が最も多いブロックを露出制御用ブロックとして選択した。本実施の形態では、それに加えて、輪郭形状の種類及び輪郭内パターンに応じた優先度を考慮して、露出制御用ブロックを選択することを提示する。
具体的には、次のような優先度を付与する。
（１）輪郭形状の種類に応じた優先度付与 ： 例えば輪郭形状が三角形の道路標識の優先度を、輪郭形状が円の道路標識の優先度よりも高くする。
（２）輪郭内パターンに応じた優先度付与 ： 例えば輪郭形状が同じ三角形の場合でも、「止まれ」の道路標識の優先度を、「徐行」の優先度よりも高くする。また、輪郭形状が同じ円形状でも、制限速度標識の優先度を、駐車禁止の標識優先度よりも高くする。
（３）輪郭形状の種類及び輪郭内パターンの両方に応じた優先度付与 ： 例えば輪郭形状が三角形で輪郭内パターンが「止まれ」の道路標識と、輪郭形状が円で輪郭内パターンが「制限速度」を示す道路標識とが検出された場合、“「止まれ」＞「制限速度」＞三角形＞円”のように優先度を付与する。つまり、実際に重要度を判断するためには、輪郭形状だけでは不十分な場合もあるので、本実施の形態では、輪郭形状の種類に、輪郭内パターンも優先度の要素として加える。
但し、露出制御前の画像においては、輪郭内パターンを検出できない可能性もあるので、輪郭内パターンの優先度は付与しなくてもよい。
図１との対応部分に同一符号を付して示す図３に、本実施の形態の撮像装置の構成を示す。撮像装置２００の露出制御部２０１は、優先度付与部２０２を有する。また、本実施の形態の特徴検出部２０３は、ターゲットの特徴として、輪郭形状及び輪郭内パターンを検出する。よって、特徴検出部２０３は、検出した輪郭形状の種類とその位置、及び、検出した輪郭内パターンの種類とその位置の情報を特徴情報Ｓ２として出力する。
ブロック投票部１１２は、検出された輪郭形状の種類毎、及び、検出された輪郭内パターンの種類毎に、ブロックへの投票を行う。投票集計部１１４は、輪郭形状の種類毎、及び、検出された輪郭内パターンの種類毎に、各ブロックの投票数を集計する。
優先度付与部２０２は、輪郭形状の種類及び輪郭内パターンの種類に応じた優先度を、得票（集計）結果Ｓ４に付与する。具体的には、優先度付与部２０２は、得票結果Ｓ４に、優先度が高い輪郭形状の種類及び輪郭内パターンほど大きな値の係数を乗算することで、得票結果Ｓ４を重み付けすればよい。例えば、優先度付与部２０２は、“「止まれ」＞「制限速度」＞三角形＞円”のような優先度を付与する場合には、「止まれ」の得票数に乗算係数２を乗じ、「制限速度」の得票数に乗算係数１．５を乗じ、三角形の得票数に乗算係数１を乗じ、円の得票数に０．５を乗じればよい。なお、優先度の付与の仕方は、これに限らない。例えば優先度の高いものほど、ブロック投票部１１２にて１回当たりの投票数を多くしてもよい。
このようにして優先度が付与された新たな得票（集計）結果Ｓ１０は、重要度判定部１１５に送られ、重要度判定部１１５によって、実施の形態１と同様に、最も得票数の多いブロックが露出制御用ブロックとして選択される。
図４に、本実施の形態を用いた場合の簡単な動作例を示す。図４は、輪郭形状が３角形の標識と、輪郭形状が円の標識との、投票と得票結果を示すものである。各フレームで図４Ａ〜図４Ｅに示すよう投票がなされ、得票結果が図４Ｆに示すようになったとする。
図４Ｆの得票結果から明らかなように、左側上のブロックと左側中央のブロックで同じ得票数が得られる。しかし、本実施の形態の場合には、三角形の優先度が円の優先度よりも高くされているので、露出制御用ブロックとして、左側中央のブロックが選択される。
本実施の形態によれば、実施の形態１の構成に加えて、ターゲットの輪郭形状及び又はターゲットの輪郭内パターンに応じた優先度を付与したので、実施の形態１の効果に加えて、重要度が高いターゲットほど露出制御用ブロックとして用いる確率を高めることができる。
（実施の形態３）
本実施の形態では、実施の形態１、実施の形態２で提示した方法において、重要度判定部１１５が同じ重要度を有するブロックが複数存在すると判定した場合に、露出制御用ブロックの好ましい選択方法を提示する。
昼間の場合でも夜間の場合でも、画像領域内の各部分の反射特性と各部分への光の当たり具合によって、同一フレーム内に、黒つぶれのターゲットの候補と白とびのターゲットの候補とが同時に存在する場合はよくある。いずれの候補に対しても、輪郭形状の検出が可能であるが、輪郭内パターンの種類を確認することは困難である。その結果、重要度判定部１１５において、同じ重要度を有するブロックが複数存在すると判定される可能性がある。
図３を流用して具体的に説明する、本実施の形態においては、優先度付与部２０２と重要度判定部１１５が実施の形態２で説明した動作と異なる動作を行う。
重要度判定部１１５は、まず、実施の形態２で説明した動作を行い、重要度が同一であるブロックが２つ以上あれば、それらのブロックの各々の平均輝度とフレーム全体の平均輝度とを計算し、それらを比較する。簡単のため、重要度（得票数）が同じ２つのブロック、つまりブロック１とブロック２とが存在した場合について説明する。また、ブロック１の平均輝度＞ブロック２の平均輝度の関係であると仮定する。そうすると、以下３つのケースが存在する。
（１）ブロック１の平均輝度＞ブロック２の平均輝度＞フレームの平均輝度。このケースでは、ターゲットの候補は全画面よりも明るい場合に検出されやすいことを考慮して、ブロック２を重要ブロックとして選択する。すると、ブロック２の輝度に基づいて露出を制御しても、ブロック１が比較的明るい状態に維持されるので、ブロック１を引き続き検出できる可能性を高めることができる。因みに、ブロック１の輝度に基づいて露出を制御してしまうと、露出を大きく下げることになるので、ブロック２の輝度が大きく下がり、その結果、ブロック２を検出できなくなる可能性が高くなってしまう。
（２）フレームの平均輝度＞ブロック１の平均輝度＞ブロック２の平均輝度。このケースでは、ターゲットの候補が全画面よりも暗い場合に検出されやすいことを考慮して、ブ
ロック１を重要ブロックとして選択する。すると、ブロック１の輝度に基づいて露出を制御しても、ブロック２が比較的暗い状態に維持されるので、ブロック２を引き続き検出できる可能性を高めることができる。因みに、ブロック２の輝度に基づいて露出を制御してしまうと、露出を大きく上げることになるので、ブロック１の輝度が大きく上がり、その結果、ブロック１を検出できなくなる可能性が高くなってしまう。
（３）ブロック１の平均輝度＞フレームの平均輝度＞ブロック２の平均輝度。このケースでは、まずフレームの平均輝度を所定輝度値（例えば、輝度の範囲が０〜２５５の場合には１００を所定輝度値とする）と比較し、フレームの平均輝度が所定輝度値よりも大きい場合にはブロック１を重要ブロックとして判定する。そうでない場合にはブロック２を重要ブロックとして判定する。その理由は、全画面が明るい時に検出された暗いターゲットの候補は逆光環境にある可能性が高いと考えられるためである。明るいターゲット候補を基に露出を制御しても、暗いターゲット候補は引き続き検出される可能性が高い。逆に、暗いターゲット候補を基に露出を制御すると、明るいターゲット候補は検出されなくなる可能性が高い。また、全画面が暗い時に検出された明るいターゲット候補がライトなどの光に照射される環境にある可能性が高いと考えられる。暗いターゲット候補を基に露出を制御しても、明るいターゲット候補は引き続き検出される可能性が高い。
このように、本実施の形態では、重要度判定部１１５は、重要度が同一であるブロックが複数存在すると判定した場合、これら複数のブロックそれぞれのブロック内の平均輝度と、フレームの平均輝度との関係に基づいて、複数のブロックの中からいずれか一つのブロックを、露出を制御するために用いるブロックとして選択する。
なお、上述した例では、重要度が同一であるブロックが２つ存在すると判定した場合について説明したが、重要度が同一であるブロックが３つ以上存在すると判定した場合も上述の例と同様の考え方が適用できる。要は、重要度が同一である複数のブロックの中から、ブロック内の平均輝度がフレームの平均輝度に最も近いブロックを選択することで、残りのブロックの検出を維持することができる。
本実施の形態では、制御部１１６は、上述のようにして重要度判定部１１５によって選択されたブロックの輝度に基づいて、撮像部１０１の露出を制御する。次に、重要度判定部１１５は、前回選択したブロックを除外して、新たな集計結果に基づいて、露出を制御するために用いる新たなブロックを選択する。次に、制御部１１６は、重要度判定部１１５によって選択された新たなブロックの輝度に基づいて、撮像部１０１の露出を制御する。前回選択したブロックを除外する具体的な方法としては、例えば、優先度付与部２０２が前回選択したブロックについてマイナス投票を行うようにすればよい。つまり、輪郭内パターンの種類の確認を実施したブロックに対し、確認の結果を得た時点でそのブロックの重要度を所定程度で下げる。
このようにすることで、同じ重要度を有する複数のブロックをもれなく時間的に前後して輪郭内パターンを確認することができるようになる。
なお、上述したブロックの平均輝度は、ブロック全体の平均輝度でもよいし、ブロックに属するターゲットの候補の平均輝度でもよい。つまり、ブロック内の平均輝度であればよい。また、フレームの平均輝度は、全画面の平均輝度でもよいし、関連するブロックの平均輝度及び周辺ブロックの平均輝度でもよい。
（実施の形態４）
図５は、実施の形態４における撮像装置５００の構成を示す。撮像装置５００は、実施の形態１の撮像装置１００と比較して、露出制御部５０１の構成が異なる。露出制御部５
０１は、ブロック生成部１１３（図１）と異なる構成のブロック生成部５０３と、分析部５０２とを有する。
以下、本発明の実施の形態４における撮像装置５００について説明する。なお、図５において、図１と同様の機能を有する構成要素は、同一の符号を付している。
分析部５０２は、撮像装置５００を搭載する車輌の走行状況を分析する。分析部５０２は、例えば、車輌がカーブしている状況、車輌が坂道を下っている状況、または車輌が加速している状況などを分析する。分析部５０２は、車輌の走行状況を分析した結果を示す分析情報をブロック生成部５０３に出力する。
分析部５０２の構成例を図６に示す。分析部５０２は、センサ部６０１及び分析情報生成部６０２を備える。センサ部６０１は、例えば加速度センサやヨーレートセンサなどである。センサ部６０１は、車輌がカーブしている状況、車輌が坂道を下っている状況、または車輌が加速している状況などの走行状況を感知し、分析情報生成部６０２に通知する。分析情報生成部６０２は、通知を受けて、分析情報を生成して出力する。
なお、分析情報には、車輌がカーブしている状況、車輌が坂道を下っている状況、または車輌が加速している状況を示す情報のほか、カーブや加速の程度情報をも含めるとさらに好ましい。
分析部５０２の別の構成例を図７に示す。分析部５０２は、ＧＰＳ（Global Positioning System）受信部７０１と、地図情報を記憶する記憶部７０２と、分析情報生成部７０３とを備える。ＧＰＳ受信部７０１は、車輌の位置を取得し、位置情報を分析情報生成部７０３に出力する。記憶部７０２は、地図情報を分析情報生成部７０３に出力する。分析情報生成部７０３は、位置情報と地図情報とに基づいて、車輌の走行状況を分析し、分析情報を生成して出力する。つまり、分析情報には、地図上における車輌の位置情報が含まれる。
なお、図６及び図７は分析部の構成例にすぎず、分析部は車輌の走行状況を分析する機能を有する限り、他の構成でもよい。
ブロック生成部５０３は、分析部５０２から分析情報を入力する。ブロック生成部５０３は、分析情報に基づいて、ブロック情報を生成する。すなわち、ブロック生成部５０３は、車輌の走行状況に基づいて、ブロック情報を生成する。例えば、ブロック生成部５０３は、車輌が右カーブしている状況と、車輌が左カーブしている状況とでは、ブロック情報を変更して、ブロック情報をブロック投票部１１２に出力する。
図８は、分析情報に基づいてブロック生成部５０３が生成したブロック情報により、複数のブロックに分割された撮像画像を示す。以下、図８を用いて、ブロック生成部５０３について説明する。
図８Ａは、車輌が右カーブしていることを分析情報が示す場合の撮像画像を示す。車輌が右カーブしている場合、撮像画像上の右側の画像よりも、左側の画像の方が画像の変化が激しい。そのため、撮像画像上の右側のブロックよりも、左側のブロックを大きくする。このように、本実施の形態では、画像の変化が激しい領域ほど、ブロックを大きくする。
このようにする理由について簡単に説明する。画像の変化が激しくなるほど、特徴検出部１１１による検出精度が低下し、画像中にターゲットが存在したとしてもそれが検出さ
れる確率が低下する。この結果、画像の変化が激しい領域ほど、ブロック投票部１１２による投票数が低下するといった不都合が生じる。そこで、本実施の形態では、画像の変化が激しい領域ほどブロックを大きくすることで、画像の変化が激しい領域への投票数を増加させる。つまり、ブロックを大きくすることで、検出確率の低下を補う。これにより、画像の変化量の違いに起因する各ブロックへの投票のアンバランスを解消して、公平な投票を実現できる。
図８Ｂは、車輌が左カーブしていることを分析情報が示す場合の撮像画像を示す。原理は、図８Ａで説明したとおりである。
図８Ｃは、車輌が坂道を上がっていることを分析情報が示す場合の撮像画像を示す。車輌が坂道を上がっている場合、撮像画像上の上側の画像よりも、下側の画像の方が画像の変化が激しい。そのため、撮像画像上の上側のブロックよりも、下側のブロックを大きくする。
図８Ｄは、車輌が坂道を下っていることを分析情報が示す場合の撮像画像を示す。原理は、図８Ｃで説明したとおりである。
ブロック生成部５０３は、その他、車輌の速度又は加速の状況に応じて、図８Ｅ及び図８Ｆに示すブロック分割の情報を生成する。
図８Ｅは、車輌の速度又は加速度が所定の閾値以上であることを分析情報が示す場合のブロック分割の様子を示す。図８Ｆは、車輌の速度又は加速度が所定の閾値未満であることを分析情報が示す場合のブロック分割の様子を示す。車輌の速度又は加速度が大きいほど、撮像画像上の中央の画像よりも、左右両側の画像の方が画像の変化が激しい。そのため、車輌の速度又は加速度が大きいほど、撮像画像上の中央のブロックよりも、左右両側のブロックを大きくする。
なお、ブロック投票部１１２の動作は実施の形態１で説明したとおりであるため、説明を省略する。また、その他の動作については、実施の形態１で説明したとおりであるため、説明を省略する。
以上の構成によれば、車輌の走行状況を分析し、分析情報に基づいてブロックの大きさを変更したことにより、走行状況に伴う投票のアンバランスを解消して、露出制御の基となるターゲット領域を的確に検出することができる。
（実施の形態５）
図９は、実施の形態５における撮像装置９００の構成を示す。実施の形態５と異なるのは、露出制御部９０１の分析部９０２が撮像部１０１の撮像画像Ｓ１を入力する点である。
以下、本発明の実施の形態５における撮像装置９００について説明する。なお、図９において、図５と同様の機能を有する構成要素は、同一の符号を付している。
分析部９０２は、撮像部１０１が取得した画像を入力し、画像分析を行う。分析部９０２は、画像分析を行うことにより、撮像装置９００を搭載する車輌の走行状況を分析する。例えば、車輌がカーブしている状況、車輌が坂道を下っている状況、または車輌が加速している状況などを、分析部９０２は分析する。つまり、分析部９０２は、実施の形態４の分析部５０２と同様の分析を、撮像画像を用いて行う。分析部９０２は、車輌の走行状況を分析した結果、分析情報をブロック生成部５０３に出力する。
ブロック生成部５０３の機能は、実施の形態４において説明したとおりであるため、説明を省略する。
以上の構成によれば、実施の形態４と同様に、車輌の走行状況を分析し、分析情報に基づいてブロックの大きさを変更することで、走行状況に伴う投票のアンバランスを解消して、露出制御の基となるターゲット領域を的確に検出することができる。
（実施の形態６）
図１０は、実施の形態６における撮像装置１０００の構成を示す。撮像装置１０００は、実施の形態１の構成（図１）に、実施の形態２で説明した重要度判定部１１５と、実施の形態４で説明した分析部５０２を追加した構成を有する。
図１０の構成によれば、実施の形態１の効果に加えて、重要度が高いターゲットほど露出制御用ブロックとして用いる確率を高めることができる効果（実施の形態２の効果）と、走行状況に伴う投票のアンバランスを解消して露出制御の基となるターゲット領域を的確に検出することができる効果（実施の形態４の効果）を得ることができる。
（実施の形態７）
図１１は、実施の形態７における撮像装置１１００の構成を示す。実施の形態６と異なるのは、露出制御部１１０１の分析部９０２が撮像部１０１の撮像画像Ｓ１を入力する点である。なお、分析部９０２の機能については、実施の形態５において説明したとおりであるため、説明を省略する。
図１１の構成によれば、図１０の構成と同様の効果を得ることができる。
２００９年１月１４日出願の特願２００９−００５９２９の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明は、露出制御の基となるターゲット領域を的確に検出して、ターゲットに最適な露出制御を行うことができる効果を有し、例えば道路標識を認識する車載撮像装置に好適である。

Claims (13)

  1. 撮像画像を得る撮像部と、
    ターゲットの輪郭形状に基づいて、前記撮像画像から前記ターゲットの候補を検出する検出部と、
    前記撮像画像領域を分割してなる複数のブロックのうち、前記検出部によって検出された前記ターゲットが属するブロックに投票する投票部と、
    投票結果を複数フレームに亘ってブロック単位で加算することで、投票結果を集計する集計部と、
    集計結果に基づいて各ブロックの重要度を判定し、露出を制御するために用いるブロックを選択する判定部と、
    前記判定部によって選択されたブロックの輝度に基づいて、前記撮像部の露出制御パラメータを算出し、前記撮像部の露出を制御する制御部と、
    を具備する撮像装置。
  2. 検出された前記ターゲット候補に、前記ターゲットの輪郭形状に応じた優先度を付与する優先度付与部を、さらに具備し、
    前記判定部は、前記集計結果及び前記優先度に基づいて各ブロックの重要度を判定する、
    請求項１に記載の撮像装置。
  3. 前記撮像装置は、車輌に搭載されるものであり、
    前記撮像装置は、さらに、
    前記車輌の走行状況を分析する分析部と、
    前記分析部の分析結果に基づいて、ブロックの大きさを変更した前記複数ブロックを生成するブロック生成部と、
    を具備する、
    請求項１に記載の撮像装置。
  4. 時間方向での前記撮像画像の変化の大きさに基づいて、ブロックの大きさを変更した前記複数ブロックを生成するブロック生成部を、さらに具備する、
    請求項１に記載の撮像装置。
  5. 前記検出部は、前記ターゲットの輪郭形状に加えて、前記ターゲットの輪郭内パターンに基づいて、前記ターゲットの候補を検出し、
    前記撮像装置は、検出された前記ターゲット候補に、前記ターゲットの輪郭形状及び輪郭内パターンに応じた優先度を付与する優先度付与部を、さらに具備し、
    前記判定部は、前記集計結果及び前記優先度に基づいて各ブロックの重要度を判定する、
    請求項１に記載の撮像装置。
  6. 前記判定部は、重要度が同一である第１及び第２のブロックが存在すると判定した場合、前記第１及び第２のブロックそれぞれのブロック内の平均輝度と、フレームの平均輝度との関係に基づいて、前記第１又は第２のブロックのいずれか一方を、露出を制御するために用いるブロックとして選択する、
    請求項１に記載の撮像装置。
  7. 前記判定部は、第１のブロック内の平均輝度＞第２のブロック内の平均輝度＞フレームの平均輝度の関係にある場合、前記第２のブロックを、露出を制御するために用いるブロックとして選択する、
    請求項６に記載の撮像装置。
  8. 前記判定部は、フレームの平均輝度＞第１のブロック内の平均輝度＞第２のブロック内の平均輝度の関係にある場合、前記第１のブロックを、露出を制御するために用いるブロックとして選択する、
    請求項６に記載の撮像装置。
  9. 前記判定部は、第１のブロック内の平均輝度＞フレームの平均輝度＞第２のブロック内の平均輝度の関係にある場合であって、前記フレームの平均輝度が所定値よりも大きい場合には前記第１のブロックを露出を制御するために用いるブロックとして選択する一方、前記フレームの平均輝度が所定値以下の場合には前記第２のブロックを露出を制御するために用いるブロックとして選択する、
    請求項６に記載の撮像装置。
  10. 前記制御部は、前記判定部によって選択された前記第１又は第２のブロックの輝度に基づいて、前記撮像部の露出を制御し、
    次に、前記判定部は、前回選択した前記第１又は第２のブロックを除外して、新たな集計結果に基づいて、露出を制御するために用いる新たなブロックを選択し、
    次に、前記制御部は、前記判定部によって選択された新たなブロックの輝度に基づいて、前記撮像部の露出を制御する、
    請求項６に記載の撮像装置。
  11. 前記ターゲットは、道路標識である、
    請求項１に記載の撮像装置。
  12. 前記制御部によって露出が制御された後の撮像画像を用いて、前記ターゲットを認識する画像処理部と、
    を具備する請求項１に記載の撮像装置。
  13. 撮像画像を得る撮像ステップと、
    ターゲットの輪郭形状に基づいて、前記撮像画像から前記ターゲットの候補を検出する検出ステップと、
    前記撮像画像領域を分割してなる複数のブロックのうち、前記検出ステップで検出した前記ターゲットが属するブロックに投票する投票ステップと、
    投票結果を複数フレームに亘ってブロック単位で加算することで、投票結果を集計する集計ステップと、
    集計結果に基づいて各ブロックの重要度を判定し、露出を制御するために用いるブロックを選択する判定ステップと、
    前記判定ステップで選択したブロックの輝度に基づいて、前記撮像ステップで用いる露出制御パラメータを算出し、前記撮像ステップでの露出を制御する制御ステップと、
    を含む撮像方法。
JP2010546468A 2009-01-14 2009-12-21 撮像装置及び撮像方法 Expired - Fee Related JP5328815B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010546468A JP5328815B2 (ja) 2009-01-14 2009-12-21 撮像装置及び撮像方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009005929 2009-01-14
JP2009005929 2009-01-14
PCT/JP2009/007078 WO2010082277A1 (ja) 2009-01-14 2009-12-21 撮像装置及び撮像方法
JP2010546468A JP5328815B2 (ja) 2009-01-14 2009-12-21 撮像装置及び撮像方法

Publications (2)

Publication Number Publication Date
JPWO2010082277A1 true JPWO2010082277A1 (ja) 2012-06-28
JP5328815B2 JP5328815B2 (ja) 2013-10-30

Family

ID=42339547

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010546468A Expired - Fee Related JP5328815B2 (ja) 2009-01-14 2009-12-21 撮像装置及び撮像方法

Country Status (5)

Country Link
US (1) US8531589B2 (ja)
EP (1) EP2378761A1 (ja)
JP (1) JP5328815B2 (ja)
CN (1) CN102246506B (ja)
WO (1) WO2010082277A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5246254B2 (ja) 2010-12-24 2013-07-24 株式会社デンソー 車載カメラの露出制御値の決定方法
US9025872B2 (en) * 2011-08-29 2015-05-05 Panasonic Intellectual Property Corporation Of America Image processing device, image processing method, program, and integrated circuit
JP5887508B2 (ja) 2011-12-22 2016-03-16 パナソニックＩｐマネジメント株式会社 露光制御装置、撮像装置、画像表示装置及び露光制御方法
KR101501678B1 (ko) * 2014-03-28 2015-03-12 재단법인 다차원 스마트 아이티 융합시스템 연구단 노출 조절을 이용한 차량용 영상 촬영장치 및 그 방법
CN114757833B (zh) * 2022-06-15 2022-09-27 北京中瑞方兴科技有限公司 一种车辆侧面图像拼接方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
JP2002094879A (ja) * 2000-09-13 2002-03-29 Kyocera Corp デジタルカメラの露出制御装置
JP2005148309A (ja) * 2003-11-13 2005-06-09 Denso Corp 白線検出用カメラの露出制御装置
CN1331099C (zh) * 2004-04-23 2007-08-08 中国科学院自动化研究所 基于内容的图像识别方法
US7466841B2 (en) * 2004-08-16 2008-12-16 Siemens Corporate Research, Inc. Method for traffic sign detection
TWI285047B (en) * 2005-11-24 2007-08-01 Sunplus Technology Co Ltd Method of automatic exposure control and automatic exposure compensated apparatus
JP2008053901A (ja) * 2006-08-23 2008-03-06 Konica Minolta Holdings Inc 撮像装置および撮像方法
JP2009005929A (ja) 2007-06-28 2009-01-15 Aruze Corp 遊技機
JP4389999B2 (ja) * 2007-12-26 2009-12-24 株式会社デンソー 露出制御装置及び露出制御プログラム
JP2009284270A (ja) * 2008-05-22 2009-12-03 Sony Corp 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2010204304A (ja) * 2009-03-02 2010-09-16 Panasonic Corp 撮像装置、運転者監視装置および顔部測距方法
TWI387332B (zh) * 2009-08-26 2013-02-21 Altek Corp A method of backlighting

Also Published As

Publication number Publication date
CN102246506A (zh) 2011-11-16
EP2378761A1 (en) 2011-10-19
US20110242323A1 (en) 2011-10-06
US8531589B2 (en) 2013-09-10
WO2010082277A1 (ja) 2010-07-22
CN102246506B (zh) 2014-05-14
JP5328815B2 (ja) 2013-10-30

Similar Documents

Publication Publication Date Title
US11089229B2 (en) In-vehicle camera system and image processing apparatus
US9690997B2 (en) Recognition object detecting apparatus
US9626570B2 (en) Vehicle control system and image sensor
JP5462609B2 (ja) 停止線認識装置
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
US8953839B2 (en) Recognition object detecting apparatus
JP4389999B2 (ja) 露出制御装置及び露出制御プログラム
JP5375814B2 (ja) 露出制御装置
JP4433045B2 (ja) 露出制御装置及び露出制御プログラム
JP5328815B2 (ja) 撮像装置及び撮像方法
CN103213540A (zh) 车辆的行驶环境辨识装置
JP2012226513A (ja) 検知装置、及び検知方法
US11961306B2 (en) Object detection device
CN110293973B (zh) 驾驶支援系统
JP2010239479A (ja) 撮像部制御装置、撮像部制御方法および撮像部制御プログラム
JP2019158662A (ja) 物標認識装置及び車両走行制御システム
JP4052299B2 (ja) カメラ式車両感知器における露光制御方法及び装置
JP5310162B2 (ja) 車両灯火判定装置
JP4296100B2 (ja) 撮像装置
JP2014135613A (ja) カメラ露出設定装置及びカメラ露出設定プログラム
JP2014235022A (ja) ナビゲーション装置およびナビゲーション方法
JP2021163220A (ja) 情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120904

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130416

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130723

R150 Certificate of patent or registration of utility model

Ref document number: 5328815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees