JP6390512B2 - 車載カメラ装置 - Google Patents

車載カメラ装置 Download PDF

Info

Publication number
JP6390512B2
JP6390512B2 JP2015103572A JP2015103572A JP6390512B2 JP 6390512 B2 JP6390512 B2 JP 6390512B2 JP 2015103572 A JP2015103572 A JP 2015103572A JP 2015103572 A JP2015103572 A JP 2015103572A JP 6390512 B2 JP6390512 B2 JP 6390512B2
Authority
JP
Japan
Prior art keywords
image
driving
vehicle
camera module
linear
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015103572A
Other languages
English (en)
Other versions
JP2016220057A (ja
Inventor
俊和 村尾
俊和 村尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015103572A priority Critical patent/JP6390512B2/ja
Priority to US15/159,304 priority patent/US10380432B2/en
Priority to CN201610340096.5A priority patent/CN106170057B/zh
Priority to DE102016208771.1A priority patent/DE102016208771B4/de
Publication of JP2016220057A publication Critical patent/JP2016220057A/ja
Application granted granted Critical
Publication of JP6390512B2 publication Critical patent/JP6390512B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026Windows, e.g. windscreen

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、車載カメラ装置に関する。
撮影により得られたリニア画像(出力画素値と輝度との関係が全輝度域で一定である画像)に対して階調変換処理を行い、被写体の明るさを最適化したノンリニア画像を生成する技術が知られている(特許文献1参照)。車載装置での処理に用いられる撮影画像をこのようなノンリニア画像とすることで、認識対象の明るさを最適化でき、処理の精度を向上できると考えられる。
特開2007−311895号公報
しかしながら、車載装置における上記処理の内容や周辺環境等によっては、ノンリニア画像よりもリニア画像を使用した方が良い場合も想定される。この時、リニア画像を生成するモードと、ノンリニア画像を生成するモードとを切り替える際に画像生成が遅延し、上記処理のリアルタイム性が損なわれる恐れがある。
本発明は、自車両前方の撮影画像に基づき、高い精度でリアルタイムに処理を行うことを目的とする。
本発明の一側面は、自車両前方を撮影し、撮影画像として、輝度に対する出力画素値の関係が一定であるリニア画像を複数生成すると共に、予め定められたモードである場合には、さらに、これらのリニア画像に基づき、輝度に対する出力画素値の関係が輝度域に応じて異なるHDR(High Dynamic Range)画像を生成するカメラモジュールと、撮影画像に基づく複数種類の運転関連処理を実行させる制御回路基板と、カメラモジュール及び制御回路基板を収容する筐体と、筐体を自車両のフロントガラスに固定するための部材であって、筐体が当該部材を介してフロントガラスに固定された状態において筐体とフロントガラスとを対向させる開口部が形成されたブラケットと、カメラモジュールを覆うように配置されるフードと、を備えることを特徴とする車載カメラ装置に関する。
このような構成によれば、車載カメラ装置は、自車両前方を撮影すると、複数のリニア画像を生成すると共に、予め定められたモードである場合には、さらに、これらのリニア画像に基づくHDR画像を生成する。このため、HDR画像を生成するモードと生成しないモードが切り替わった場合でも、遅延なく撮影画像を生成でき、リニア画像とHDR画像を使い分け、運転関連処理の精度を高めることができる。したがって、自車両周辺の撮影画像に基づき、高い精度でリアルタイムに処理を行うことができる。
なお、特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
第1実施形態のカメラ装置の断面図である。 第1実施形態のカメラ装置の分解斜視図である。 第1実施形態の画像センサの分解斜視図である。 第1実施形態のカメラモジュール及び制御回路基板のブロック図である。 HDR画像の特性を示す説明図である。 第1実施形態の撮影処理のフローチャートである。 第2実施形態の撮影処理のフローチャートである。
以下、本発明が適用された実施形態について、図面を用いて説明する。
[第1実施形態]
[構成の説明]
図1及び図2に示すカメラ装置1は、車両のフロントガラス2に内側(車室側)から取り付けられ、フロントガラス2の上部における中央(ルームミラーの近く)に設置される。カメラ装置1は、画像センサ11、ブラケット12、フード13、第1の熱伝導部材14、第2の熱伝導部材15、カバー16、換気ファン17及び熱線18を備える。図1及び図2においては、フロントガラス2の一部が図示されており、図2では、説明の便宜上、換気ファン17及び熱線18が省略されている。なお、以下では、カメラ装置1が搭載された車両を「自車両」という。
図3に示すように、画像センサ11は、カメラモジュール111、電気接続配線112、制御回路基板113、筐体114及び下部カバー115を備える。
カメラモジュール111は、レンズ111a、レンズ鏡筒部111b(以下レンズバレルとも呼ぶ)、レンズバレル内のレンズの光軸上に配置されるイメージセンサ(図示せず)を備える、自車両の前方又は前側方の風景を撮影するための装置である。レンズ鏡筒部111bは、円筒状の部位であり、その内部にてレンズ111aを保持する。イメージセンサは、光画像を取得するためのCMOSセンサやCCDセンサなどの受光素子をアレイ状に配置した周知のアレイ型イメージセンサと、それぞれが異なった通過帯域を有する複数種類の光学フィルタの集合であるRGBCベイヤとで構成され、各受光素子は、RGBCベイヤを構成するいずれか一つの光学フィルタを介して入射光を受光するように構成されている。なお、受光素子は、少なくとも可視光に相当する波長に対して感度を持つような受光帯域を有する。
電気接続配線112は、カメラモジュール111と制御回路基板113とを電気的に接続するための部品(例えばフレキシブルプリント基板)である。
制御回路基板113は、CPU、ROM及びRAMを中心とする周知のマイクロコンピュータを備える板状の部品である。
筐体114は、下方が開放された、側壁及び上壁を有する容器状の部材であり、カメラモジュール111、電気接続配線112及び制御回路基板113を上方から覆うようにして収容する。また、筐体114におけるガラス側壁部1141には、カメラモジュール111のレンズ鏡筒部111bをフロントガラス2側に露出させるための切欠部1142が形成されている。ここで、ガラス側壁部1141とは、後述する方法でブラケット12を介して筐体114がフロントガラス2に固定された状態において、筐体114内部のカメラモジュール111よりもフロントガラス2側に位置する筐体114の上壁の一部である。
下部カバー115は、筐体114の下方を閉じるための部材である。
一方、図1及び図2に示すブラケット12は樹脂からできた概略板状の部材であり、その中央部には開口部12aが形成され、開口部12aを囲む領域には当該ブラケット12がU字形状となるように欠損した欠損部12bが形成されている。ブラケット12は、画像センサ11の筐体114をフロントガラス2に固定するための部材である。すなわち、ブラケット12の表面であって厚み方向に垂直な面の一方がフロントガラス2に固定(この例では接着)され、固定されたブラケット12に筐体114が組み付けられることで筐体114がフロントガラス2に固定される。このようにブラケット12を介して筐体114がフロントガラス2に固定された状態において、ブラケット12には開口部12aが形成されているため、筐体114とフロントガラス2とは対向する。ここでいう「対向」とは、筐体114とフロントガラス2との間に何ら部材がない状態において筐体114とフロントガラス2とが互いに向き合うことを意味する。また、ブラケット12の欠損部12bは、筐体114から露出したカメラモジュール111の前方に位置する。この欠損部12bは、カメラモジュール111の画角範囲に対応するように、カメラモジュール111の撮影方向の前方に向かって幅が広くなる台形状に形成されており、カメラモジュール111の視界が確保されるようになっている。
フード13は、台形状の底面と、台形状の底面の底辺以外の2辺に立設された2つの側面と、を有する樹脂製の部材である。フード13は、ブラケット12の欠損部12bにはめ込まれて使用され、本実施形態では、フード13がはめ込まれたブラケット12に筐体114が組み付けられることにより、フード13がカメラモジュール111のレンズ鏡筒部111bを覆う構成となる。ここで、フード13の底面がカメラモジュール111のレンズ鏡筒部111bより下方に位置するように、フード13は配置される。このようにフード13が配置されることにより、カメラモジュール111の画角範囲外の景色のレンズ111aへの映り込みが抑制される。
第1の熱伝導部材14は、その熱伝導率が1[W/m・K]以上50[W/m・K]以下であるようなシリコン系のシート部材であり、粘着性を有し、接触した物に貼り付く性質を備える。第1の熱伝導部材14は、ブラケット12に形成された開口部12aにおいて筐体114とフロントガラス2とに接するように設けられる。本実施形態では、まず、第1の熱伝導部材14が筐体114のガラス側壁部1141に貼り付けられて接着され、その後、筐体114がブラケット12を介してフロントガラス2に固定されることで、第1の熱伝導部材14がフロントガラス2に密着し、接着される。ここで、第1の熱伝導部材14は、筐体114のガラス側壁部1141の上面と同様な大きさ及び形状を有している。そのため、第1の熱伝導部材14は、ガラス側壁部1141における切欠部1142よりもカメラモジュール111の撮影方向の後方に位置する領域1141aに接している。また、第1の熱伝導部材14は、ガラス側壁部1141における切欠部1142を挟む両側の領域1141bにも接している。
第2の熱伝導部材15は、第1の熱伝導部材14の素材と同一素材からできたシート部材であり、ブラケット12とフロントガラス2との間に位置し、ブラケット12とフロントガラス2とに接するように設けられる。本実施形態では、第2の熱伝導部材15は、ブラケット12の上面と同様な大きさ及び形状を有し、ブラケット12の上面全体に貼り付けられる。第2の熱伝導部材15は、接着剤を用いることでブラケット12及びフロントガラス2に固定される。本実施形態では、第2の熱伝導部材15をフロントガラス2に固定するための接着剤等が自車両の外から視認されることを抑制するために、黒セラミック3を介して第2の熱伝導部材15がフロントガラス2に取り付けられる。ここで、黒セラミック3には、カメラモジュール111の視界を遮らないようにするため、カメラモジュール111の画角範囲に相当する台形状の欠損部3aが形成されている。
カバー16は、上方が開放された、側面及び下面を有する容器状の部材であり、画像センサ11、ブラケット12及びフード13を下方から覆い、これらの構成が自車両の車室内から視認されにくくする。本実施形態では、カバー16の下面には、貫通孔16aが形成されている。
換気ファン17は、カバー16の内部に存在する空気を入れ換えるための装置であり、カバー16に形成された貫通孔16aにはめ込まれた状態でカバー16に固定される。
熱線18は、フロントガラス2におけるカメラモジュール111のレンズ111aの前方に位置する部分を加熱する。本実施形態では、熱線18は銅線であり、熱線18の両端は自車両に配置された図示しない電源に接続され、通電されることにより、熱線18が発熱する。
なお、画像センサの詳細な構造については、例えば、特願2013−199973号、特願2014−215644、特願2014−260494、等の先行文献に開示されている。
次に、カメラモジュール111と制御回路基板113の電気的構成について説明する(図4)。
カメラモジュール111は、イメージャ30と、画像I/F31等を備える。
イメージャ30は、上述したイメージセンサと、増幅部と、A/D変換部と、画像処理部等を備える。
増幅部は、イメージセンサによって画像を撮像した時、イメージセンサから出力される撮影画像の各画素の輝度(明るさ)を示すアナログ信号(映像信号)を所定のゲインで増幅する。また、A/D変換部は、増幅された映像信号が示すアナログ値をデジタル値(撮影画像を構成する各画素の出力画素値)に変換する。これにより、輝度に対する出力画素値の関係が全輝度域で一定(リニア)な撮影画像であるリニア画像が生成される。リニア画像では、輝度に対する出力画素値の関係は、全輝度域で共通の一次関数により表される。
また、画像処理部は、複数のリニア画像を合成することで、ダイナミックレンジが拡大された撮影画像であるHDR(High Dynamic Range)画像を生成する。HDR画像は、輝度に対する出力画素値の関係が輝度域に応じて異なっている。
図5は、HDR画像における輝度に対する出力画素値の関係を示している。該関係は、低輝度域,中輝度域,高輝度域で傾きが異なる折れ線(3種類の傾きの直線を組み合わせたグラフ)により表され、低輝度域の分解能を最も細かく、高輝度域の分解能を最も荒くすることで、広い輝度範囲の出力を可能としている。なお、図5に示す輝度と出力画素値との関係は一例であり、例えば、2種類或いは4種以上の傾きの直線を組み合わせたグラフにより表される関係や、log特性(曲線)により表される関係としてもよい。
カメラモジュール111では、1回の撮影タイミングにてX回(一例として3回)の露光が行われ、イメージャ30は、各露光でカメラモジュール111から出力されるアナログ信号に基づき、輝度の分解能が異なるリニア画像を生成する。つまり、イメージャ30は、1回の撮影タイミングで、輝度の分解能が異なるX個のリニア画像を生成する。
また、イメージャ30は、リニアモードとHDRモードとを有している。リニアモードでは、各撮影タイミングで上述したX個のリニア画像が生成される。一方、HDRモードでは、X個のリニア画像に加え、これらのリニア画像を合成したHDR画像が生成される。
画像I/F31は、イメージャ30により生成された撮影画像の画像データを、制御回路基板113に出力する。
一方、制御回路基板113は、制御部20と、通信部21と、メモリ22等を備える。
制御部20は、CPU,ROM,RAM,I/O及びこれらを接続するバスライン等からなる周知のマイクロコンピュータを中心に構成される。制御部20は、ROMに記憶されているプログラムに従い、カメラ装置1を統括制御する。
通信部21は、CAN等の車内LAN5を介して、自車両に搭載された他のECU6と通信を行う。
メモリ22は、カメラモジュール111による撮影画像の画像データ等を記憶するための部位であり、RAM等から構成される。
[処理について]
第1実施形態のカメラ装置1は、周期的に到来する撮影タイミングでカメラモジュール111により自車両前方を撮影する。そして、撮影画像に基づき、制御回路基板113、又は、他のECU6にて、複数の種類の運転関連処理が行われる。運転関連処理では、撮影画像の画像認識が行われ、画像認識の結果に基づき自車両の運転に関する処理が行われる。なお、運転関連処理とは、一例として、運転支援処理や自動走行のための処理等が考えられる。より具体的には、例えば、他車両や歩行者等を検出し、衝突回避のための警告や車速,舵角制御等を行う処理や、車線からの逸脱を検出する処理や、ヘッドライトの向き等を制御する処理等が考えられる。
また、各運転関連処理では、その内容に応じて、リニア画像とHDR画像のいずれかが用いられる。以下では、周期的な撮影タイミングが到来した際に自車両前方を撮影し、運転関連処理に用いられる撮影画像を生成する撮影処理について説明する(図6)。
S200では、カメラ装置1における制御回路基板113の制御部20は、撮影画像を用いる運転関連処理を示すフレームカウンタを更新し、S205に移行する。なお、フレームカウンタは、一例として0〜n(nは1以上の整数)の間で循環的に変化し、フレームカウンタの各番号は、いずれかの運転関連処理に対応付けられている。
S205では、制御部20は、更新後のフレームカウンタの値に対応する運転関連処理が、HDR画像を必要とする処理であるか否かを判定する。そして、肯定判定が得られた場合には(S205:Yes)、S210に移行し、否定判定が得られた場合には(S205:No)、S215に移行する。
S210では、制御部20は、カメラモジュール111によりHDRモードで撮影を行い、HDR画像を生成する。そして、制御部20は、HDR画像に基づく運転関連処理を実行させ、本処理を終了する。具体的には、例えば、運転関連処理を制御回路基板113にて行う場合には、運転関連処理を行う部位にHDR画像を渡し、運転関連処理を開始させても良い。また、例えば、運転関連処理を他のECU6にて行う場合には、車内LAN5を介して該ECU6にHDR画像を送信し、該ECU6に運転関連処理を実行させても良い。
一方、S215では、制御部20は、カメラモジュール111によりリニアモードで撮影を行い、リニア画像を生成する。そして、制御部20は、S210と同様にしてリニア画像に基づく運転関連処理を実行させ、本処理を終了する。
なお、HDR画像に基づき行われる運転関連処理とは、例えば、撮影画像から前方車両のランプの点灯状態を画像認識する処理を伴うものが考えられる。また、リニア画像に基づき行われる運転関連処理とは、例えば、撮影画像から白線や歩行者や車両等を画像認識する処理を伴うものが考えられる。
[効果]
カメラ装置において、リニアモードとHDRモードを切り替えた際に撮影画像の生成に遅延が生じると、運転関連処理のリアルタイム性が損なわれる恐れがある。
これに対し、第1実施形態のカメラ装置1によれば、周期的に到来する撮影タイミングでは、X個のリニア画像が生成され、HDRモードであれば、さらに、これらのリニア画像に基づきHDR画像が生成される。このため、モードが切り替わってもリニア画像やHDR画像を遅延なく生成でき、運転関連処理のリアルタイム性を損なわないと共に、これらの撮影画像を使い分け、運転関連処理の精度を高めることができる。したがって、自車両周辺の撮影画像に基づき、高い精度でリアルタイムに運転関連処理を行うことができる。
また、運転関連処理として、他車両や歩行者等を検出し、衝突回避のための警告や車速,舵角制御等を行う処理や、車線からの逸脱を検出する処理や、ヘッドライトの向き等を制御する処理等が行われる。このため、これらの処理を、高い精度でリアルタイムに行うことができる。
また、カメラ装置1では、運転関連処理の内容に応じて、リニア画像のみを生成するリニアモードと、リニア画像とHDR画像とを生成するHDRモードとが切り替えられる。このため、適切な撮影画像を用いて運転関連処理を行うことができ、高い精度で運転関連処理を行うことができる。
[第2実施形態]
次に、第2実施形態のカメラ装置1について説明する。第2実施形態のカメラ装置1は、第1実施形態と同様に構成されているが、撮影処理の内容が一部相違しており、以下では、相違点を中心に説明する。
具体的には、第1実施形態では、カメラ装置1は、次に実行される運転関連処理に応じたモードで撮影を行い、該運転関連処理に適した撮影画像を生成する。これに対し、第2実施形態では、カメラ装置1は、自車両前方における明るさの高低差に応じたモードで撮影を行い、撮影画像を生成する。以下では、第2実施形態の撮影処理について説明する(図7)。
S300では、カメラ装置1における制御回路基板113の制御部20は、カメラモジュール111により自車両前方の撮影を行い、リニア画像を生成する。そして、リニア画像における出力画素値に基づきダイナミックレンジ(イメージセンサからの映像信号の最小値と最大値の比率)を測定し(S305)、S310に移行する。
S315では、制御部20は、ダイナミックレンジが予め定められた閾値を上回るか否か(自車両前方の明るさの高低差が大きいか否か)を判定する。そして、肯定判定が得られた場合には(S315:Yes)、S320に移行し、否定判定が得られた場合には(S315:No)、S325に移行する。
S320では、制御部20は、第1実施形態の撮影処理のS210と同様にして、カメラモジュール111によりHDRモードで撮影を行うと共に、HDR画像に基づく運転関連処理を実行させ、本処理を終了する。
一方、S325では、制御部20は、第1実施形態の撮影処理のS215と同様にして、カメラモジュール111によりリニアモードで撮影を行うと共に、リニア画像に基づく運転関連処理を実行させ、本処理を終了する。
[効果]
第2実施形態のカメラ装置1は、自車両前方における明るさの高低差が大きい場合には、リニア画像とHDR画像とを生成するHDRモードになる。このため、階調が失われた撮影画像に基づき運転関連処理が行われるのを回避することができ、高い精度で運転関連処理を行うことができる。
[他の実施形態]
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく、種々の形態を採り得る。
(1)第1,第2実施形態のカメラ装置1では、周期的な撮影タイミングで撮影が行われるが、これに限らず、様々なタイミング(例えば、運転関連処理にて要求されたタイミング)で撮影を行っても良い。このような場合であっても、同様の効果を得ることができる。
(2)第1実施形態のカメラ装置1では、運転関連処理の内容に応じてリニアモードとHDRモードの切り換えが行われ、第2実施形態のカメラ装置1では、自車両前方の明るさの高低差に応じてリニアモードとHDRモードの切り換えが行われる。しかしながら、これに限らず、様々な要因によりリニアモードとHDRモードの切り換えを行っても良い。このような場合であっても、同様の効果を得ることができる。
(3)第1,第2実施形態のカメラ装置1は、自車両のフロントガラス2に取り付けられている。しかしながら、フロントガラス2に限らず、例えば、自車両のリアウインドウやサイドウインドウ等に、同様の構成によりカメラ装置1を取り付けても良い。このような場合であっても、同様の効果を得ることができる。
(4)第1,第2実施形態における1つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を1つの構成要素に統合させたりしてもよい。また、第1,第2実施形態の構成の少なくとも一部を、同様の機能を有する公知の構成に置き換えてもよい。また、第1,第2実施形態の構成の一部を省略してもよい。また、第1,第2実施形態の構成の少なくとも一部を、他の第1,第2実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。
(5)上述したカメラ装置1の他、当該カメラ装置1を構成要素とするシステム、当該カメラ装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、第1,第2実施形態における撮影処理に相当する方法など、種々の形態で本発明を実現することもできる。
[特許請求の範囲との対応]
第1,第2実施形態の説明で用いた用語と、特許請求の範囲の記載に用いた用語との対応を示す。
第2実施形態の撮影処理におけるS305が、検出手段の一例に相当する。
1…カメラ装置、2…フロントガラス、11…画像センサ、111…カメラモジュール、112…電気接続配線、113…制御回路基板、114…筐体、115…下部カバー、12…ブラケット、12a…開口部、12b…欠損部、13…フード、14…第1の熱伝導部材、15…第2の熱伝導部材、16…カバー、17…換気ファン、18…熱線、20…制御部、21…通信部、22…画像処理部、23…メモリ。

Claims (3)

  1. 自車両前方を撮影し、撮影画像として、輝度に対する出力画素値の関係が一定であるリニア画像を複数生成すると共に、予め定められた場合には、さらに、これらのリニア画像に基づき、輝度に対する出力画素値の関係が輝度域に応じて異なるHDR(High Dynamic Range)画像を生成するカメラモジュール(111)と、
    前記撮影画像に基づく複数種類の運転関連処理を実行させる制御回路基板(113)と、
    前記カメラモジュール及び前記制御回路基板を収容する筐体(114)と、
    前記筐体を自車両のフロントガラス(2)に固定するための部材であって、前記筐体が当該部材を介して前記フロントガラスに固定された状態において前記筐体と前記フロントガラスとを対向させる開口部(12a)が形成されたブラケット(12)と、
    前記カメラモジュールを覆うように配置されるフード(13)と、
    を備えることを特徴とする車載カメラ装置(1)であって、
    前記制御回路基板は、
    撮影タイミングが到来すると、当該撮影タイミングに対応する前記運転関連処理が、前記リニア画像と前記HDR画像とのうちのどちらに対応するかを判定し、
    前記HDR画像に対応する場合には、前記カメラモジュールにより前記撮影を行い、前記HDR画像を生成させ、生成した前記HDR画像に基づき、当該撮影タイミングに対応する前記運転関連処理を実行させ、
    前記リニア画像に対応する場合には、前記カメラモジュールにより前記撮影を行い、前記リニア画像を生成させ、生成した前記リニア画像に基づき、当該撮影タイミングに対応する前記運転関連処理を実行させ、
    前記リニア画像に対応する前記運転関連処理は、前記リニア画像から白線、歩行者、及び、車両のうちの少なくとも1つを画像認識する処理を伴い、
    前記HDR画像に対応する前記運転関連処理は、前記HDR画像からランプの点灯状態を画像認識する処理を伴う
    車載カメラ装置。
  2. 請求項1に記載の車載カメラ装置において、
    前記運転関連処理として、自車両が車線から逸脱したことを検出する処理と、ヘッドライトを制御する処理と、自車両の衝突を回避するための処理とのうちの少なくとも1つが行われること、
    を特徴とする車載カメラ装置。
  3. 請求項1又は請求項2に記載の車載カメラ装置であって、
    前記制御回路基板は、周期的に到来する前記撮影タイミングで、前記カメラモジュールに前記撮影画像を生成させ、該撮影画像に基づき前記運転関連処理を実行させること、
    を特徴とする車載カメラ装置。
JP2015103572A 2015-05-21 2015-05-21 車載カメラ装置 Active JP6390512B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015103572A JP6390512B2 (ja) 2015-05-21 2015-05-21 車載カメラ装置
US15/159,304 US10380432B2 (en) 2015-05-21 2016-05-19 On-board camera apparatus
CN201610340096.5A CN106170057B (zh) 2015-05-21 2016-05-19 车载相机设备
DE102016208771.1A DE102016208771B4 (de) 2015-05-21 2016-05-20 Bordkameravorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015103572A JP6390512B2 (ja) 2015-05-21 2015-05-21 車載カメラ装置

Publications (2)

Publication Number Publication Date
JP2016220057A JP2016220057A (ja) 2016-12-22
JP6390512B2 true JP6390512B2 (ja) 2018-09-19

Family

ID=57231634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015103572A Active JP6390512B2 (ja) 2015-05-21 2015-05-21 車載カメラ装置

Country Status (4)

Country Link
US (1) US10380432B2 (ja)
JP (1) JP6390512B2 (ja)
CN (1) CN106170057B (ja)
DE (1) DE102016208771B4 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10257393B2 (en) 2016-02-12 2019-04-09 Contrast, Inc. Devices and methods for high dynamic range video
US10264196B2 (en) 2016-02-12 2019-04-16 Contrast, Inc. Systems and methods for HDR video capture with a mobile device
JP2017220843A (ja) * 2016-06-09 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
CA3033242A1 (en) * 2016-08-09 2018-02-15 Contrast, Inc. Real-time hdr video for vehicle control
US10288986B2 (en) 2017-02-22 2019-05-14 Trw Automotive U.S. Llc Moderation of a driver assist camera enhancement via a vehicle windshield
US10488738B2 (en) * 2017-03-08 2019-11-26 Trw Automotive U.S. Llc Temperature management of a driver assist camera via a vehicle windshield
DE102017207024B4 (de) * 2017-04-26 2023-03-30 Audi Ag Sensoranordnung für ein Kraftfahrzeug sowie Kraftfahrzeug
JP6926643B2 (ja) * 2017-05-01 2021-08-25 株式会社デンソー 車載カメラ
JP6343089B1 (ja) * 2017-12-25 2018-06-13 荘太郎 林 フロントワイパーと、リヤーワイパーが無い自動車。
CN108815838B (zh) * 2018-05-30 2021-08-10 努比亚技术有限公司 一种游戏控制方法、电子设备及计算机可读存储介质
US10951888B2 (en) 2018-06-04 2021-03-16 Contrast, Inc. Compressed high dynamic range video
WO2020139471A1 (en) * 2018-12-28 2020-07-02 Flir Commercial Systems, Inc. Integrated camera with embedded heater systems and methods
US10981520B1 (en) 2019-11-14 2021-04-20 Zf Friedrichshafen Ag Driver assist system for a vehicle
FR3103256B1 (fr) * 2019-11-14 2021-10-15 Renault Sas Système de commande d’au moins un projecteur d’un véhicule automobile.
JP7472780B2 (ja) * 2020-12-23 2024-04-23 株式会社デンソー 画像処理装置
DE102021132645A1 (de) 2021-12-10 2023-06-15 Valeo Schalter Und Sensoren Gmbh Bildsensoranordnung, Fahrzeugkamera und Verfahren zur Steuerung einer Bildsensoranordnung

Family Cites Families (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5796094A (en) * 1993-02-26 1998-08-18 Donnelly Corporation Vehicle headlight control using imaging sensor
KR0142263B1 (ko) * 1994-08-06 1998-06-15 김광호 디지탈 감마 보정방법 및 그 장치
US7655894B2 (en) * 1996-03-25 2010-02-02 Donnelly Corporation Vehicular image sensing system
US6396408B2 (en) * 2000-03-31 2002-05-28 Donnelly Corporation Digital electrochromic circuit with a vehicle network
WO2003083773A2 (en) * 2002-03-27 2003-10-09 The Trustees Of Columbia University In The City Of New York Imaging method and system
WO2004034183A2 (en) * 2002-08-21 2004-04-22 Gentex Corporation Image acquisition and processing methods for automatic vehicular exterior lighting control
US20040164228A1 (en) 2003-02-21 2004-08-26 Fogg Jeremy A. Automatic vehicle exterior light control system assemblies
EP1871093A4 (en) * 2005-03-15 2009-09-02 Omron Tateisi Electronics Co IMAGE PROCESSOR, IMAGE PROCESSING METHOD AND SYSTEM, PROGRAM, AND RECORDING MEDIUM
US20090066819A1 (en) * 2005-03-15 2009-03-12 Omron Corporation Image processing apparatus and image processing method, program and recording medium
JP4985394B2 (ja) * 2005-03-15 2012-07-25 オムロン株式会社 画像処理装置および方法、プログラム、並びに記録媒体
JP4766302B2 (ja) * 2005-03-22 2011-09-07 オムロン株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4747670B2 (ja) * 2005-05-20 2011-08-17 株式会社デンソー 画像処理装置
EP1837803A3 (en) * 2006-03-24 2008-05-14 MobilEye Technologies, Ltd. Headlight, taillight and streetlight detection
JP2007311895A (ja) 2006-05-16 2007-11-29 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP4484856B2 (ja) * 2006-10-06 2010-06-16 日立オートモティブシステムズ株式会社 自動車用ヘッドライト制御装置
JP4806329B2 (ja) * 2006-10-23 2011-11-02 三洋電機株式会社 撮像装置及び撮像方法
JP2009049547A (ja) * 2007-08-15 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム
US8102435B2 (en) * 2007-09-18 2012-01-24 Stmicroelectronics S.R.L. Method for acquiring a digital image with a large dynamic range with a sensor of lesser dynamic range
US8587706B2 (en) 2008-01-30 2013-11-19 Gentex Corporation Imaging device
JP4571179B2 (ja) * 2007-12-07 2010-10-27 パナソニック株式会社 撮像装置
JP4389999B2 (ja) * 2007-12-26 2009-12-24 株式会社デンソー 露出制御装置及び露出制御プログラム
JP4433045B2 (ja) * 2007-12-26 2010-03-17 株式会社デンソー 露出制御装置及び露出制御プログラム
US9584710B2 (en) * 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
JP5038190B2 (ja) * 2008-02-29 2012-10-03 キヤノン株式会社 撮影装置及びその設定方法
JP2009239398A (ja) 2008-03-26 2009-10-15 Victor Co Of Japan Ltd 撮像装置
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
DE102009055269B4 (de) 2009-12-23 2012-12-06 Robert Bosch Gmbh Verfahren zur Bestimmung der Relativbewegung mittels einer HDR-Kamera
CN102834309B (zh) * 2010-02-26 2016-12-21 金泰克斯公司 自动车辆设备监控、报警和控制系统
JP5574792B2 (ja) * 2010-04-13 2014-08-20 キヤノン株式会社 撮影装置
US8699821B2 (en) 2010-07-05 2014-04-15 Apple Inc. Aligning images
WO2012019700A2 (de) * 2010-07-19 2012-02-16 Hella Kgaa Hueck & Co. Verfahren und vorrichtung zum erkennen von lichtquellen
US9415662B2 (en) * 2010-08-06 2016-08-16 Trw Automotive U.S. Llc Method and apparatus for determining temperature and relative humidity for use in a vehicle HVAC system
JP5427744B2 (ja) * 2010-09-30 2014-02-26 日立オートモティブシステムズ株式会社 画像処理装置
US8711248B2 (en) * 2011-02-25 2014-04-29 Microsoft Corporation Global alignment for high-dynamic range image generation
JP6176028B2 (ja) 2013-09-26 2017-08-09 株式会社デンソー 車両制御システム、画像センサ
US9690997B2 (en) * 2011-06-06 2017-06-27 Denso Corporation Recognition object detecting apparatus
JP5518007B2 (ja) * 2011-07-11 2014-06-11 クラリオン株式会社 車両用外界認識装置及びそれを用いた車両制御システム
WO2013123161A1 (en) * 2012-02-17 2013-08-22 Magna Electronics, Inc. Vehicle vision system with light baffling system
DE112012003221B4 (de) * 2011-08-02 2022-11-10 Magna Electronics, Inc. Fahrzeugkamerasystem und Verfahren zum Zusammenbau eines Fahrzeugkamerasystems
US9055178B2 (en) * 2011-08-30 2015-06-09 University Of Dayton Single-shot high dynamic range imaging
KR20130035019A (ko) * 2011-09-29 2013-04-08 삼성전기주식회사 영상 처리 장치 및 영상 처리 방법
US9137451B2 (en) * 2012-03-09 2015-09-15 Htc Corporation Electronic apparatus and adjustment method thereof
JP2013199973A (ja) 2012-03-23 2013-10-03 Seiko Instruments Inc 転がり軸受装置の製造装置および転がり軸受装置の製造方法
JP5761100B2 (ja) * 2012-03-28 2015-08-12 株式会社デンソー 車載カメラ
JP6028382B2 (ja) * 2012-04-27 2016-11-16 株式会社デンソー 前方監視カメラ
JP2014050042A (ja) * 2012-09-03 2014-03-17 Toshiba Corp 画像処理装置及び固体撮像装置
US9160936B1 (en) * 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP6253077B2 (ja) 2013-04-22 2017-12-27 株式会社ユピテル 装置及びプログラム
JP6064776B2 (ja) * 2013-05-07 2017-01-25 株式会社デンソー 画像処理装置及び画像処理方法
CN103413286B (zh) * 2013-08-02 2017-05-03 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
JP6413754B2 (ja) 2014-03-10 2018-10-31 株式会社デンソー 撮像装置および撮像装置を備えた車載装置
JP2015193366A (ja) * 2014-03-17 2015-11-05 日本電産エレシス株式会社 車載カメラ用筐体の製造方法、車載カメラ用筐体、および車載カメラ
JP6316043B2 (ja) * 2014-03-19 2018-04-25 キヤノン株式会社 装置、方法、及びプログラム
JP6303974B2 (ja) * 2014-10-22 2018-04-04 株式会社デンソー 車載カメラ装置及び車載システム
US10139707B2 (en) * 2015-01-28 2018-11-27 Trw Automotive U.S. Llc Camera bracket
EP3214600B1 (en) * 2016-03-04 2019-02-06 Aptiv Technologies Limited Method for processing high dynamic range (hdr) data from a nonlinear camera

Also Published As

Publication number Publication date
CN106170057B (zh) 2020-06-19
CN106170057A (zh) 2016-11-30
US10380432B2 (en) 2019-08-13
DE102016208771A1 (de) 2016-11-24
US20160344977A1 (en) 2016-11-24
JP2016220057A (ja) 2016-12-22
DE102016208771B4 (de) 2021-12-30

Similar Documents

Publication Publication Date Title
JP6390512B2 (ja) 車載カメラ装置
US20130107110A1 (en) Camera module
JP2009171122A (ja) 光源色温度推定方法、ホワイトバランス調整装置、及び画像認識装置
CN109835266B (zh) 摄像装置模块
JP6879051B2 (ja) 車載カメラ
KR20170055163A (ko) 영상 촬영 장치 및 이의 제어 방법
JP2018188125A (ja) カメラ装置
JP2008054030A (ja) 車両周辺監視装置
JP2007293672A (ja) 車両用撮影装置、車両用撮影装置の汚れ検出方法
JP2016161973A (ja) 認識装置、認識方法及びプログラム
TW201837594A (zh) 攝像裝置、攝像模組、攝像系統及攝像裝置之控制方法
US20140293054A1 (en) Optical device for a vehicle
JP4661934B2 (ja) 画像処理装置
CN113615151A (zh) 车辆安装的照相机装置和图像失真校正方法
KR20140001268A (ko) 카메라 모듈이 설치된 램프
KR101746531B1 (ko) 차량용 레인센서 및 이를 구비하는 차량의 와이퍼 구동 장치
JP5652323B2 (ja) 車両用撮像装置
JP4539400B2 (ja) ステレオカメラの補正方法、ステレオカメラ補正装置
JP6949086B2 (ja) カメラ装置、運転支援システムおよび車両
JP2007174113A (ja) 障害物検出システム及び障害物検出方法
JP7013743B2 (ja) カメラモジュール
KR102525320B1 (ko) 대상물을 광학적으로 검사하기 위한 장치 및 방법
JP4317036B2 (ja) カメラ用汚れ検出装置、カメラ用汚れ検出方法
JP2017011632A (ja) 撮像装置
JP5184244B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170804

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180702

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R151 Written notification of patent or utility model registration

Ref document number: 6390512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250