JPWO2011043006A1 - 制御装置および車両周囲監視装置 - Google Patents

制御装置および車両周囲監視装置 Download PDF

Info

Publication number
JPWO2011043006A1
JPWO2011043006A1 JP2010533152A JP2010533152A JPWO2011043006A1 JP WO2011043006 A1 JPWO2011043006 A1 JP WO2011043006A1 JP 2010533152 A JP2010533152 A JP 2010533152A JP 2010533152 A JP2010533152 A JP 2010533152A JP WO2011043006 A1 JPWO2011043006 A1 JP WO2011043006A1
Authority
JP
Japan
Prior art keywords
detection area
vehicle
unit
obstacle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010533152A
Other languages
English (en)
Other versions
JP5143235B2 (ja
Inventor
市川 徹
徹 市川
岡本 修作
修作 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2010533152A priority Critical patent/JP5143235B2/ja
Application granted granted Critical
Publication of JP5143235B2 publication Critical patent/JP5143235B2/ja
Publication of JPWO2011043006A1 publication Critical patent/JPWO2011043006A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両周囲を監視する際に監視者に混乱を生じさせず、車両周囲監視装置の使いやすさを向上させること。【解決手段】検出領域設定部2は、障害物の検出の対象となる検出領域を、車両に設置された撮像部1の撮像範囲内で設定する。障害物検出部4は、撮像部1により撮像された画像において設定された検出領域から、障害物を検出する。合成データ生成部5は、設定された検出領域の内外を区別するための情報が、撮像部1により撮像された画像に重ねて表示部6に表示されるように、画像処理を行う。【選択図】図1

Description

本発明は、車両周囲の監視に用いる制御装置、およびその制御装置を備えた車両周囲監視装置に関する。
車両に設置されたカメラによりその車両の周辺の画像を取得し、その画像をその車両に設置された表示装置に表示することで、その車両の周囲を監視する装置が、従来より提案されている。また、監視中、車両に衝突する危険性のある物体または人(以下「障害物」という)が車両の近く(特に、走行中の車両の進路内)に存在する場合に、その存在をドライバに通知する方法も、従来より提案されている。例えば特許文献1には、表示装置の表示領域を2つに分け、第1の表示領域にはカメラで撮像した画像を表示し、第2の表示領域には画像認識により検出した障害物を表示することが、記載されている。
また、従来の画像監視装置として、撮像範囲内の様子を監視し、監視者がライトペン等で予め設定した検出領域内の画像が変化した場合に警告を発生するものがある。例えば特許文献2には、検出領域内で抽出した侵入物体が、検出領域の外枠に接していないときだけ警告を発生させ、これにより誤検出を防止することが、記載されている。
特開2008−174076号公報 特開平4−311186号公報
しかしながら、一般的に画像認識処理による障害物検出においては、撮像環境等の外部要因によるノイズあるいは画像認識処理技術の限界により、検出結果が誤検出となったり検出漏れとなったりする可能性がある。そして、その誤検出および検出漏れが原因で、監視者に混乱を生じさせることがある。例えば、検出領域内に歩行者が存在するのに検出漏れによって警報が発生されない場合、その歩行者が検出領域外にいるため警報が発せられないのか、システムの誤動作によって警報が発せられないのか、監視者が判断することは難しい。そのため、監視者は、監視装置の動作状況から障害物の衝突危険性を直感的に知得することができない。つまり、単に障害物が検出されたときにその検出結果を警報という形で監視者に通知するだけでは、監視者にとっての使いやすさの向上に一定の限界があった。
本発明の目的は、車両周囲を監視する際に監視者に混乱を生じさせず、車両周囲監視装置の使いやすさを向上させることができる制御装置、およびその制御装置を備えた車両周囲監視装置を提供することを目的とする。
本発明の制御装置は、車両周辺の監視に用いる制御装置であって、障害物の検出の対象となる検出領域を、前記車両に設置された撮像手段の撮像範囲内で設定する設定手段と、前記撮像手段により撮像された画像において設定された検出領域から、障害物を検出する検出手段と、設定された検出領域の内外を区別するための情報が、前記撮像手段により撮像された画像に重ねて表示手段に表示されるように、画像処理を行う処理手段と、を有する。
本発明によれば、車両周囲を監視する際に監視者に混乱を生じさせず、車両周囲監視装置の使いやすさを向上させることができる。
本発明の実施の形態1における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態1における撮像部の車両への取付け位置を説明するための図 本発明の実施の形態1における検出領域の設定方法の一例を説明するための図 本発明の実施の形態1における検出領域の設定方法の別の例を説明するための図 図3の方法により検地領域を設定する場合における座標の変換方法を説明するための図 本発明の実施の形態1において検出領域が重畳描画された表示画像の第1例を示す図 本発明の実施の形態1において検出領域が重畳描画された表示画像の第2例を示す図 本発明の実施の形態1において検出領域が重畳描画された表示画像の第3例を示す図 本発明の実施の形態1において検出領域が重畳描画された表示画像の第4例を示す図 本発明の実施の形態1における車両周囲監視装置の処理を説明するためのフロー図 本発明の実施の形態1における画像の変換方法を説明するための図であって、変換前の画像を示す図 本発明の実施の形態1における画像の変換方法を説明するための図であって、変換後の画像の一例を示す図 本発明の実施の形態1における画像の変換方法を説明するための図であって、変換後の画像の別の例を示す図 本発明の実施の形態2における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態2における検出領域の操作方法を説明するための図 本発明の実施の形態3における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態3における変更前後の検出領域を説明するための図 本発明の実施の形態4における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態5における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態5における変更前後の検出領域を説明するための図
以下、本発明の実施の形態について、図面を用いて説明する。
(実施の形態1)
図1は、本発明の実施の形態1における車両周囲監視装置の構成を示すブロック図である。
図1の車両周囲監視装置は、撮像部1、検知領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5、表示部6および警報部7を有する。
撮像部1は、車両に設置された1つまたは複数のカメラを有し、車両の周囲を撮像し、撮像画像のデータ(以下、「撮像データ」という)を障害物検出部4および合成データ生成部5に入力する。使用可能なカメラの種類としては、例えばCCD(Charge Coupled Device)カメラおよびCMOSカメラ(Complementary Metal Oxide Semiconductor)が挙げられる。
なお、以下の説明では、周囲を監視するために撮像部1が設置される車両を「自車」という。
撮像手段としての撮像部1は、例えば図2に示すように、1台のカメラ11を自車のフロント部に、2台のカメラ12、13を自車の左右のサイドミラーに、1台のカメラ14を自車の後部に、それぞれ設置することにより構成される。フロントカメラ11は、自車の前方を撮像する。サイドカメラ12、13は、自車の側方を撮像する。リアカメラ14は、後部の例えばナンバープレートもしくはエンブレム付近、または最上部に設置され、自車の後方を撮像する。なお、この他にも自車のコーナー部分またはルームミラー裏等にカメラを設置してもよい。撮像目的に応じて撮像範囲を調整するために、取付け位置、取付け角度およびレンズ種類等が、設置されたカメラの各々について設定される。
なお、本実施の形態の以下の説明において、および後述する全ての実施の形態においては、説明簡略化のために、撮像部1がリアカメラ14のみから成る場合を例にとって説明する。
検出領域設定部2、撮像パラメータ設定部3、障害物検出部4および合成データ生成部5は、自車に設置された電子制御装置(ECU:Electronic Control Unit)100においてソフトウェアプログラムを実行することにより実現される。本実施の形態に係る制御装置は、少なくとも検出領域設定部2と障害物検出部4と合成データ生成部5との組合せにより構成される。
設定手段としての検出領域設定部2は、撮像部1の撮像範囲内で障害物の検出領域を設定する。すなわち、設定可能な検出領域は、撮像範囲と同一か、撮像範囲の一部分である。検出領域設定部2は、設定された検出領域を示す検出領域データを障害物検出部4および合成データ生成部5に入力する。検出領域データは、例えば検出領域を規定する座標群を表すデータである。
設定方法としては、例えば、具体的な数値を入力して指定する方法がある。より具体的には、例えば図3に示すように、リアカメラ14から検出領域D1aの近位端までの距離、検出領域D1aの近位端から遠位端までの距離、および検出領域D1aの横方向の幅を指定する方法がある。または、例えば図4に示すように、表示される撮像画像P1上にライトペン2a等で直接的に検知領域D1bを指定する方法等がある。検知領域は、不連続の複数領域から成るものであってもよい。
ここで、検出領域が、撮像画像と異なる座標系において設定された場合には、検出領域の座標変換を行う必要がある。例えば図2のように自車に対する相対位置を指定することにより検出領域が設定された場合には、その必要がある。この場合、自車周辺の座標系と撮像画像の座標系とを対応付ける変換表等のデータを記憶装置(図示せず)に予め記憶しておくことが好ましい。そのような変換表を用いると、図5に示すように、自車周辺の座標系にて設定された検出領域D1aを、撮像画像P2の座標系に適合した検出領域D1cに容易に変換することができる。
また、別の変換方法として、後述の撮像パラメータを利用して検出領域の3次元座標を撮像画像の2次元座標に変換する方法が考えられる。例えば、カメラの3軸の取り付け角度と3軸の取り付け位置とを含む外部パラメータ、ならびに焦点距離等の内部パラメータが既知であれば、ピンホールカメラモデルを用いた一般的な座標変換方法を用いることができる。
撮像パラメータ設定部3は、撮像部1を車両に取付けた際の取付けパラメータ等を設定する。具体的には、車両に対するカメラの取り付け角度および取り付け位置、出力画像を生成する際の入力画像の切り出し情報(画角および画素数)、ならびに幾何変換のための各種パラメータが挙げられる。撮像パラメータ設定部3は、設定された撮像パラメータを検出領域設定部2に入力する。
検出手段としての障害物検出部4は、撮像部1および検出領域設定部2からそれぞれ入力された撮像データおよび検出領域データを用いた画像認識処理によって、撮像画像において設定された検出領域から障害物を検出する。障害物検出部4は、障害物を検出したとき、その結果を合成データ生成部および警報部7に通知する。通知される検出結果には、例えば、検出された障害物の個数、位置、大きさ、移動速度および移動方向等、様々な属性情報が考えられる。
障害物検出のために利用可能な画像認識処理としては、例えば、検出領域内の画像の経時変化の量から物体を検出する背景差分法がある。あるいは、検出の対象物のパターンを学習データとして記憶装置(図示せず)に予め記憶しておき、入力画像内で学習データと一致または類似する領域を探索することにより対象物を検出するテンプレートマッチング法等も利用可能である。あるいは、オプティカルフローによる移動物体認識もしくはステレオ法による立体物認識を用いる方法、またはそれらを組み合わせた方法等、様々な画像認識処理手法が、考えられる。利用する画像認識処理手法は、システム構成に応じて選択可能である。
処理手段としての合成データ生成部5は、検出領域設定部2から入力された検出領域データと、撮像部1から入力された撮像データとを用いて、表示画像上に検出領域を重畳描画するための表示用データを生成する画像処理を行う。すなわち、合成データ生成部5は、撮像画像と、例えば検出領域の外縁を辿る線のように検出領域を可視化する表示物とを合成する。よって、表示用データは、合成後の画像を示すデータである。合成データ生成部5は、生成された表示用データを表示部6に入力する。
警報部7は、障害物検出部4による障害物検出結果に基づき警報を発生する。警報部7は、障害物検出部4が検出領域内で障害物を検出した場合に、障害物の存在をドライバへ通知するための警報を発生する。警報の種類としては、音や音声、光等が利用可能であり、状況に応じて適宜変更可能である。
表示手段としての表示部6は例えば液晶表示装置のような表示装置である。例えば、専用の車載モニターあるいは汎用のテレビモニター等を利用することができる。表示部6は、合成データ生成部5から入力された表示用データに基づき画像を表示する。表示内容は、障害物検出部4が検出した結果と検出領域設定部2が設定した検出領域と撮像部1が撮像した入力画像とを複合した結果である。
なお、表示部6として利用される表示装置は、検出領域指定のための操作入力を実現するためにタッチパネル機能を備えていることが好ましい。
ここで、表示画像について幾つかの例を示す。
図6に示す例では、表示画像P3において、検出領域D1d内の状況が確認できるよう検出領域D1dの内外の境界部分のみを描画する。図7に示す例では、検出領域D1d内を透過色で描画(塗りつぶし)することにより、検出領域D1dを強調する。このとき、境界部分は、図6のように破線であっても、図7のような実線、その他の種類の線でも構わない。また、表示画像P3において、検出された障害物Oを検出領域D1dと一緒に表示する場合には、検出領域D1dを示す表示物(描画された線および透過色)のうち、障害物Oと座標位置が重なる部分を描画しないようにする。これにより、検出された障害物Oの存在を画像上で強調することができる。また、図8に示す例では、障害物Oの位置にマーキングMを表示する。この場合、画像上で障害物Oを一層強調することができ、視覚的に確実に衝突危険性をドライバに通知することができる。さらに、図9に示す例では、検出領域D1d内で障害物Oが検出された場合に表示画像P4の上部に警告メッセージWを表示する。この場合も、視覚的に確実に衝突危険性をドライバに通知することができる。
図10を用いて、具体的な処理について説明する。ここでは、撮像パラメータを利用して検出領域の座標変換を行う場合を例にとって説明する。図10のフロー図において、ステップS1は撮像部1における画像の撮像であり、ステップS2は検出領域設定部2における検知領域の指定であり、ステップS3は撮像パラメータ設定部3における撮像パラメータの設定である。
ステップS4では、検出領域設定部2において、撮像パラメータのうちの外部パラメータを用いて検出領域の3次元座標を入力画像上の画像座標に変換する。この変換は例えば一般的なカメラ画像変換で用いられるピンホールカメラモデルに基づいて計算される。ステップS5では、合成データ生成部5において、入力画像とS4で座標変換を施された検出領域に基づき入力画像上に検知領域を重畳する。重畳方法は上記で述べたように、枠表示/塗りつぶし、破線/実線で行われる。ステップS6では、合成データ生成部5は、検出領域が重畳表示された入力画像を表示用の出力画像に変換する。変換の方法としては、撮像パラメータのうちの切り出し情報に基づき、入力画像を出力画像に変換する。図11Aに示す入力画像P5を例にとると、カメラの中央部分を拡大した表示画像P6(図11B)、あるいは、より広範囲の画像P7(図11C)を、表示画像として出力する。この場合、検出領域は入力画像上にすでに重畳されているため、出力画像に応じて再計算する必要はない。よって、アプリケーションに応じて表示画像が変更される場合も容易に対応が可能である。
このように、本実施の形態によれば、表示画像において障害物検出の対象となった領域(検出領域)を枠で囲んだり透過色で塗りつぶしたりする等、検出領域が撮像画像とともに視覚的にドライバに明示されるよう、画像処理が行われる。このため、障害物検出処理において誤検出あるいは検出漏れが起こった場合でも、ドライバに不要な混乱を生じさせることがない。ドライバは、歩行者が検出領域外にいるのか、システムの誤動作であるかを、容易に判断することができる。
(実施の形態2)
以下、本発明の実施の形態2の車両周囲監視装置について説明する。なお、本実施の形態の車両周囲監視装置は上記実施の形態と同様の基本的構成を有する。よって、上記実施の形態で説明したものと同一の構成要素には同一の参照番号を付与し、その詳細な説明を省略する。
本実施の形態の車両周囲監視装置は、図12に示すように、実施の形態1で説明した構成に検出領域操作入力部201を加えた構成を有する。検出領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5および検出領域操作入力部201は、自車に設置されたECU200においてソフトウェアプログラムを実行することにより実現される。設定手段は、検出領域設定部2と検出領域操作入力部201との組合せにより構成され、本実施の形態に係る制御装置は、少なくとも検出領域設定部2と検出領域操作入力部201と障害物検出部4と合成データ生成部5との組合せにより構成される。
検出領域操作入力部201は、検出領域設定部2により設定される検出領域を変更するための操作入力を受け付け、その入力を検出領域の設定に反映させる。操作入力の受け付けは、図13に示すように表示画像P8において操作可能なタッチパネルスイッチSWを、タッチパネル機能を備えた表示装置に表示させ、タッチパネルスイッチSWの操作結果を示す信号を表示装置から受信することにより、実現可能である。タッチパネルスイッチSWの操作を例えばドライバが行うことにより、元の検出領域D2aを、拡大した検出領域D2bあるいは縮小した検出領域D2cに任意に変更することができる。また、タッチパネルスイッチSWを押す操作によって、元の検出領域D2aを上下左右に任意に移動させることもできる。
このように、本実施の形態によれば、ドライバなどの監視者の操作入力に従って検出領域が可変設定される。これにより、監視者が監視したい領域を実際の検出領域に反映させることができ、監視者にとっての使いやすさを一層向上させることができる。また、表示された検出領域を表示画像上で操作することができるため、監視者は容易に変更操作を行うことができる。
(実施の形態3)
以下、本発明の実施の形態3の車両周囲監視装置について説明する。なお、本実施の形態の車両周囲監視装置は上記実施の形態と同様の基本的構成を有する。よって、上記実施の形態で説明したものと同一の構成要素には同一の参照番号を付与し、その詳細な説明を省略する。
本実施の形態の車両周囲監視装置は、図14に示すように、実施の形態1で説明した構成に走行状態情報取得部301を加えた構成を有する。検出領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5および走行状態情報取得部301は、自車に設置されたECU300においてソフトウェアプログラムを実行することにより実現される。設定手段は、検出領域設定部2と走行状態情報取得部301との組合せにより構成され、本実施の形態に係る制御装置は、少なくとも検出領域設定部2と走行状態情報取得部301と障害物検出部4と合成データ生成部5との組合せにより構成される。
走行状態情報取得部301は、自車の走行状態の検知結果を走行状態情報として取得する。そして、走行状態情報取得部301は、検知された走行状態を、障害物の検出領域の設定に反映させる。
ここで、走行状態情報は、例えば走行状態の物理量を示す情報であり、走行状態の物理量としては、例えば走行速度および進行方向等が挙げられる。進行方向の計測に利用可能な手段としては、例えば舵角センサまたは各速度センサ等が挙げられ、走行速度の計測に利用可能な手段としては、例えば車速センサまたは加速度センサ等が挙げられる。
図15は、検知された走行状態に応じた検出領域の変更例を示す。自車がまっすぐに後退している間は、その進路に沿ってまっすぐに伸延した検出領域D3aが設定される。そして、自車の後退中、ハンドルが右に切られると(図15では自車が逆さに記載されているため、ハンドル操舵状態STを示す矢印は左を向く)、そのハンドル操舵から予測された進路に沿って湾曲した検出領域D3bが設定される。
このように、ハンドル操舵状態を走行状態として取得可能である場合には、ハンドル操舵に合わせて障害物の検出領域を調整することができる。
また、検知された走行速度に応じて検出領域を変更することもできる。例えば、走行速度がより低速である場合には、障害物の検出領域を自車の近傍領域のみに制限し、走行速度がより高速である場合には、障害物の検出領域をより遠方まで延長するように、検出領域を可変に設定することができる。
このように、走行速度を走行状態として取得可能である場合には、走行速度に合わせて障害物の検出領域を調整することができる。
以上のように、本実施の形態によれば、自車の走行状態に対して障害物の検出領域を最適化することができる。また、最適化された検出領域は表示部6に表示されるため、監視者はそれを視認することができる。
(実施の形態4)
以下、本発明の実施の形態4の車両周囲監視装置について説明する。なお、本実施の形態の車両周囲監視装置は上記実施の形態と同様の基本的構成を有する。よって、上記実施の形態で説明したものと同一の構成要素には同一の参照番号を付与し、その詳細な説明を省略する。
本実施の形態の車両周囲監視装置は、図16に示すように、実施の形態1で説明した構成に撮像環境情報取得部401を加えた構成を有する。検出領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5および撮像環境情報取得部401は、自車に設置されたECU400においてソフトウェアプログラムを実行することにより実現される。設定手段は、検出領域設定部2と撮像環境情報取得部401との組合せにより構成され、本実施の形態に係る制御装置は、少なくとも検出領域設定部2と撮像環境情報取得部401と障害物検出部4と合成データ生成部5との組合せにより構成される。
撮像環境情報取得部401は、撮像環境の検知結果を撮像環境情報として取得する。そして、撮像環境情報取得部401は、検知された撮像環境を、障害物の検出領域の設定に反映させる。
ここで、撮像環境情報は、自車の外部環境の状態を示す情報である。より具体的には、照度センサ、あるいは、時刻情報および自車の灯火器のスイッチ情報等から外部環境の明るさを検知する手段が、自車に設けられている場合には、その検知結果が撮像環境情報として取得される。また、降雨、降雪、霧の発生等を検知することができる雨滴センサ、画像センサ、レーダセンサまたは他の適切な情報通信手段が、自車に設けられている場合には、その検知結果が撮像環境情報として取得される。
これにより、障害物の検出領域を、検知された撮像環境に応じて変更することができる。例えば、自車の周囲がより暗い場合には、障害物の検出領域を自車の近傍領域のみに制限し、自車の周囲がより明るい場合には、障害物の検出領域をより遠方まで延長するように、検出領域を可変に設定することができる。また、降雨時あるいは霧発生時も、障害物の検出領域を自車の近傍領域のみに制限してもよい。これにより、撮像環境にかかわらず、障害物の検出精度を一定レベル以上に保つことができる。
このように、本実施の形態によれば、撮像環境に対して障害物の検出領域を最適化することができる。また、最適化された検出領域は表示部6に表示されるため、監視者はそれを視認することができる。
(実施の形態5)
以下、本発明の実施の形態5の車両周囲監視装置について説明する。なお、本実施の形態の車両周囲監視装置は上記実施の形態と同様の基本的構成を有する。よって、上記実施の形態で説明したものと同一の構成要素には同一の参照番号を付与し、その詳細な説明を省略する。
本実施の形態の車両周囲監視装置は、図17に示すように、実施の形態1で説明した構成に地図情報取得部501を加えた構成を有する。検出領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5および地図情報取得部501は、自車に設置されたECU500においてソフトウェアプログラムを実行することにより実現される。設定手段は、検出領域設定部2と地図情報取得部501との組合せにより構成され、本実施の形態に係る制御装置は、少なくとも検出領域設定部2と地図情報取得部501と障害物検出部4と合成データ生成部5との組合せにより構成される。
地図情報取得部501は、自車の周辺の地図情報を取得する。そして、地図情報取得部501は、取得された地図情報を、障害物の検出領域の設定に反映させる。
ここで、地図情報は、道路の形態(交差点等)、道路標示(横断歩道等)および施設の属性(小学校等)等、カーナビゲーションシステムまたは他の適切な無線通信手段を利用して取得することができる様々な情報を含む。
図18は、取得された地図情報に応じた検出領域の変更例を示す。自車がまっすぐな道路を走行している間は、その道路形態に合わせてまっすぐに伸延した検出領域D5aが表示画像P9において設定される。そして、取得された地図情報から、走行中の道路の前方にT字路があることが判明した場合には、そのT字路の形態に合わせて変形および拡張した検出領域D5bが設定される。
このように、道路の形態についての情報を地図情報として取得可能である場合には、道路の形態に合わせて障害物の検出領域を調整することができる。
以上のように、本実施の形態によれば、自車の周囲の地図情報に基づいて障害物の検出領域を最適化することができる。また、最適化された検出領域は表示部6に表示されるため、監視者はそれを視認することができる。
以上、本発明の各実施の形態について説明した。なお、上記実施の形態は種々変更して実施することができる。また、上記実施の形態は適宜組み合わせて実施することもできる。
2009年10月7日出願の特願2009−233321の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明の制御装置は、車両周囲を監視する際に監視者に混乱を生じさせず、車両周囲監視装置の使いやすさを向上させることができる効果を有し、車両周囲監視装置に適用可能である。
1 撮像部
2 検出領域設定部
3 撮像パラメータ設定部
4 障害物検出部
5 合成データ生成部
100、200、300、400、500 ECU
201 検出領域操作入力部
301 走行状態情報取得部
401 撮像環境情報取得部
501 地図情報取得部
本発明は、車両周囲の監視に用いる制御装置、およびその制御装置を備えた車両周囲監視装置に関する。
車両に設置されたカメラによりその車両の周辺の画像を取得し、その画像をその車両に設置された表示装置に表示することで、その車両の周囲を監視する装置が、従来より提案されている。また、監視中、車両に衝突する危険性のある物体または人(以下「障害物」という)が車両の近く(特に、走行中の車両の進路内)に存在する場合に、その存在をドライバに通知する方法も、従来より提案されている。例えば特許文献1には、表示装置の表示領域を2つに分け、第1の表示領域にはカメラで撮像した画像を表示し、第2の表示領域には画像認識により検出した障害物を表示することが、記載されている。
また、従来の画像監視装置として、撮像範囲内の様子を監視し、監視者がライトペン等で予め設定した検出領域内の画像が変化した場合に警告を発生するものがある。例えば特許文献2には、検出領域内で抽出した侵入物体が、検出領域の外枠に接していないときだけ警告を発生させ、これにより誤検出を防止することが、記載されている。
特開2008−174076号公報 特開平4−311186号公報
しかしながら、一般的に画像認識処理による障害物検出においては、撮像環境等の外部要因によるノイズあるいは画像認識処理技術の限界により、検出結果が誤検出となったり検出漏れとなったりする可能性がある。そして、その誤検出および検出漏れが原因で、監視者に混乱を生じさせることがある。例えば、検出領域内に歩行者が存在するのに検出漏れによって警報が発生されない場合、その歩行者が検出領域外にいるため警報が発せられないのか、システムの誤動作によって警報が発せられないのか、監視者が判断することは難しい。そのため、監視者は、監視装置の動作状況から障害物の衝突危険性を直感的に知得することができない。つまり、単に障害物が検出されたときにその検出結果を警報という形で監視者に通知するだけでは、監視者にとっての使いやすさの向上に一定の限界があった。
本発明の目的は、車両周囲を監視する際に監視者に混乱を生じさせず、車両周囲監視装置の使いやすさを向上させることができる制御装置、およびその制御装置を備えた車両周囲監視装置を提供することを目的とする。
本発明の制御装置は、車両周辺の監視に用いる制御装置であって、障害物の検出の対象となる検出領域を、前記車両に設置された撮像手段の撮像範囲内で設定する設定手段と、前記撮像手段により撮像された画像において設定された検出領域から、障害物を検出する検出手段と、設定された検出領域の内外を区別するための情報が、前記撮像手段により撮像された画像に重ねて表示手段に表示されるように、画像処理を行う処理手段と、を有する。
本発明によれば、車両周囲を監視する際に監視者に混乱を生じさせず、車両周囲監視装置の使いやすさを向上させることができる。
本発明の実施の形態1における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態1における撮像部の車両への取付け位置を説明するための図 本発明の実施の形態1における検出領域の設定方法の一例を説明するための図 本発明の実施の形態1における検出領域の設定方法の別の例を説明するための図 図3の方法により検地領域を設定する場合における座標の変換方法を説明するための図 本発明の実施の形態1において検出領域が重畳描画された表示画像の第1例を示す図 本発明の実施の形態1において検出領域が重畳描画された表示画像の第2例を示す図 本発明の実施の形態1において検出領域が重畳描画された表示画像の第3例を示す図 本発明の実施の形態1において検出領域が重畳描画された表示画像の第4例を示す図 本発明の実施の形態1における車両周囲監視装置の処理を説明するためのフロー図 本発明の実施の形態1における画像の変換方法を説明するための図であって、変換前の画像を示す図 本発明の実施の形態1における画像の変換方法を説明するための図であって、変換後の画像の一例を示す図 本発明の実施の形態1における画像の変換方法を説明するための図であって、変換後の画像の別の例を示す図 本発明の実施の形態2における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態2における検出領域の操作方法を説明するための図 本発明の実施の形態3における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態3における変更前後の検出領域を説明するための図 本発明の実施の形態4における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態5における車両周囲監視装置の構成を示すブロック図 本発明の実施の形態5における変更前後の検出領域を説明するための図
以下、本発明の実施の形態について、図面を用いて説明する。
(実施の形態1)
図1は、本発明の実施の形態1における車両周囲監視装置の構成を示すブロック図である。
図1の車両周囲監視装置は、撮像部1、検知領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5、表示部6および警報部7を有する。
撮像部1は、車両に設置された1つまたは複数のカメラを有し、車両の周囲を撮像し、撮像画像のデータ(以下、「撮像データ」という)を障害物検出部4および合成データ生成部5に入力する。使用可能なカメラの種類としては、例えばCCD(Charge Coupled Device)カメラおよびCMOSカメラ(Complementary Metal Oxide Semiconductor)が挙げられる。
なお、以下の説明では、周囲を監視するために撮像部1が設置される車両を「自車」という。
撮像手段としての撮像部1は、例えば図2に示すように、1台のカメラ11を自車のフロント部に、2台のカメラ12、13を自車の左右のサイドミラーに、1台のカメラ14を自車の後部に、それぞれ設置することにより構成される。フロントカメラ11は、自車の前方を撮像する。サイドカメラ12、13は、自車の側方を撮像する。リアカメラ14は、後部の例えばナンバープレートもしくはエンブレム付近、または最上部に設置され、自車の後方を撮像する。なお、この他にも自車のコーナー部分またはルームミラー裏等にカメラを設置してもよい。撮像目的に応じて撮像範囲を調整するために、取付け位置、取付け角度およびレンズ種類等が、設置されたカメラの各々について設定される。
なお、本実施の形態の以下の説明において、および後述する全ての実施の形態においては、説明簡略化のために、撮像部1がリアカメラ14のみから成る場合を例にとって説明する。
検出領域設定部2、撮像パラメータ設定部3、障害物検出部4および合成データ生成部5は、自車に設置された電子制御装置(ECU:Electronic Control Unit)100においてソフトウェアプログラムを実行することにより実現される。本実施の形態に係る制御装置は、少なくとも検出領域設定部2と障害物検出部4と合成データ生成部5との組合せにより構成される。
設定手段としての検出領域設定部2は、撮像部1の撮像範囲内で障害物の検出領域を設定する。すなわち、設定可能な検出領域は、撮像範囲と同一か、撮像範囲の一部分である。検出領域設定部2は、設定された検出領域を示す検出領域データを障害物検出部4および合成データ生成部5に入力する。検出領域データは、例えば検出領域を規定する座標群を表すデータである。
設定方法としては、例えば、具体的な数値を入力して指定する方法がある。より具体的には、例えば図3に示すように、リアカメラ14から検出領域D1aの近位端までの距離、検出領域D1aの近位端から遠位端までの距離、および検出領域D1aの横方向の幅を指定する方法がある。または、例えば図4に示すように、表示される撮像画像P1上にライトペン2a等で直接的に検知領域D1bを指定する方法等がある。検知領域は、不連続の複数領域から成るものであってもよい。
ここで、検出領域が、撮像画像と異なる座標系において設定された場合には、検出領域の座標変換を行う必要がある。例えば図2のように自車に対する相対位置を指定することにより検出領域が設定された場合には、その必要がある。この場合、自車周辺の座標系と撮像画像の座標系とを対応付ける変換表等のデータを記憶装置(図示せず)に予め記憶しておくことが好ましい。そのような変換表を用いると、図5に示すように、自車周辺の座標系にて設定された検出領域D1aを、撮像画像P2の座標系に適合した検出領域D1cに容易に変換することができる。
また、別の変換方法として、後述の撮像パラメータを利用して検出領域の3次元座標を撮像画像の2次元座標に変換する方法が考えられる。例えば、カメラの3軸の取り付け角度と3軸の取り付け位置とを含む外部パラメータ、ならびに焦点距離等の内部パラメータが既知であれば、ピンホールカメラモデルを用いた一般的な座標変換方法を用いることができる。
撮像パラメータ設定部3は、撮像部1を車両に取付けた際の取付けパラメータ等を設定する。具体的には、車両に対するカメラの取り付け角度および取り付け位置、出力画像を生成する際の入力画像の切り出し情報(画角および画素数)、ならびに幾何変換のための各種パラメータが挙げられる。撮像パラメータ設定部3は、設定された撮像パラメータを検出領域設定部2に入力する。
検出手段としての障害物検出部4は、撮像部1および検出領域設定部2からそれぞれ入力された撮像データおよび検出領域データを用いた画像認識処理によって、撮像画像において設定された検出領域から障害物を検出する。障害物検出部4は、障害物を検出したとき、その結果を合成データ生成部および警報部7に通知する。通知される検出結果には、例えば、検出された障害物の個数、位置、大きさ、移動速度および移動方向等、様々な属性情報が考えられる。
障害物検出のために利用可能な画像認識処理としては、例えば、検出領域内の画像の経時変化の量から物体を検出する背景差分法がある。あるいは、検出の対象物のパターンを学習データとして記憶装置(図示せず)に予め記憶しておき、入力画像内で学習データと一致または類似する領域を探索することにより対象物を検出するテンプレートマッチング法等も利用可能である。あるいは、オプティカルフローによる移動物体認識もしくはステレオ法による立体物認識を用いる方法、またはそれらを組み合わせた方法等、様々な画像認識処理手法が、考えられる。利用する画像認識処理手法は、システム構成に応じて選択可能である。
処理手段としての合成データ生成部5は、検出領域設定部2から入力された検出領域データと、撮像部1から入力された撮像データとを用いて、表示画像上に検出領域を重畳描画するための表示用データを生成する画像処理を行う。すなわち、合成データ生成部5は、撮像画像と、例えば検出領域の外縁を辿る線のように検出領域を可視化する表示物とを合成する。よって、表示用データは、合成後の画像を示すデータである。合成データ生成部5は、生成された表示用データを表示部6に入力する。
警報部7は、障害物検出部4による障害物検出結果に基づき警報を発生する。警報部7は、障害物検出部4が検出領域内で障害物を検出した場合に、障害物の存在をドライバへ通知するための警報を発生する。警報の種類としては、音や音声、光等が利用可能であり、状況に応じて適宜変更可能である。
表示手段としての表示部6は例えば液晶表示装置のような表示装置である。例えば、専用の車載モニターあるいは汎用のテレビモニター等を利用することができる。表示部6は、合成データ生成部5から入力された表示用データに基づき画像を表示する。表示内容は、障害物検出部4が検出した結果と検出領域設定部2が設定した検出領域と撮像部1が撮像した入力画像とを複合した結果である。
なお、表示部6として利用される表示装置は、検出領域指定のための操作入力を実現するためにタッチパネル機能を備えていることが好ましい。
ここで、表示画像について幾つかの例を示す。
図6に示す例では、表示画像P3において、検出領域D1d内の状況が確認できるよう検出領域D1dの内外の境界部分のみを描画する。図7に示す例では、検出領域D1d内を透過色で描画(塗りつぶし)することにより、検出領域D1dを強調する。このとき、境界部分は、図6のように破線であっても、図7のような実線、その他の種類の線でも構わない。また、表示画像P3において、検出された障害物Oを検出領域D1dと一緒に表示する場合には、検出領域D1dを示す表示物(描画された線および透過色)のうち、障害物Oと座標位置が重なる部分を描画しないようにする。これにより、検出された障害物Oの存在を画像上で強調することができる。また、図8に示す例では、障害物Oの位置にマーキングMを表示する。この場合、画像上で障害物Oを一層強調することができ、視覚的に確実に衝突危険性をドライバに通知することができる。さらに、図9に示す例では、検出領域D1d内で障害物Oが検出された場合に表示画像P4の上部に警告メッセージWを表示する。この場合も、視覚的に確実に衝突危険性をドライバに通知することができる。
図10を用いて、具体的な処理について説明する。ここでは、撮像パラメータを利用して検出領域の座標変換を行う場合を例にとって説明する。図10のフロー図において、ステップS1は撮像部1における画像の撮像であり、ステップS2は検出領域設定部2における検知領域の指定であり、ステップS3は撮像パラメータ設定部3における撮像パラメータの設定である。
ステップS4では、検出領域設定部2において、撮像パラメータのうちの外部パラメータを用いて検出領域の3次元座標を入力画像上の画像座標に変換する。この変換は例えば一般的なカメラ画像変換で用いられるピンホールカメラモデルに基づいて計算される。ステップS5では、合成データ生成部5において、入力画像とS4で座標変換を施された検出領域に基づき入力画像上に検知領域を重畳する。重畳方法は上記で述べたように、枠表示/塗りつぶし、破線/実線で行われる。ステップS6では、合成データ生成部5は、検出領域が重畳表示された入力画像を表示用の出力画像に変換する。変換の方法としては、撮像パラメータのうちの切り出し情報に基づき、入力画像を出力画像に変換する。図11Aに示す入力画像P5を例にとると、カメラの中央部分を拡大した表示画像P6(図11B)、あるいは、より広範囲の画像P7(図11C)を、表示画像として出力する。この場合、検出領域は入力画像上にすでに重畳されているため、出力画像に応じて再計算する必要はない。よって、アプリケーションに応じて表示画像が変更される場合も容易に対応が可能である。
このように、本実施の形態によれば、表示画像において障害物検出の対象となった領域(検出領域)を枠で囲んだり透過色で塗りつぶしたりする等、検出領域が撮像画像とともに視覚的にドライバに明示されるよう、画像処理が行われる。このため、障害物検出処理において誤検出あるいは検出漏れが起こった場合でも、ドライバに不要な混乱を生じさせることがない。ドライバは、歩行者が検出領域外にいるのか、システムの誤動作であるかを、容易に判断することができる。
(実施の形態2)
以下、本発明の実施の形態2の車両周囲監視装置について説明する。なお、本実施の形態の車両周囲監視装置は上記実施の形態と同様の基本的構成を有する。よって、上記実施の形態で説明したものと同一の構成要素には同一の参照番号を付与し、その詳細な説明を省略する。
本実施の形態の車両周囲監視装置は、図12に示すように、実施の形態1で説明した構成に検出領域操作入力部201を加えた構成を有する。検出領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5および検出領域操作入力部201は、自車に設置されたECU200においてソフトウェアプログラムを実行することにより実現される。設定手段は、検出領域設定部2と検出領域操作入力部201との組合せにより構成され、本実施の形態に係る制御装置は、少なくとも検出領域設定部2と検出領域操作入力部201と障害物検出部4と合成データ生成部5との組合せにより構成される。
検出領域操作入力部201は、検出領域設定部2により設定される検出領域を変更するための操作入力を受け付け、その入力を検出領域の設定に反映させる。操作入力の受け付けは、図13に示すように表示画像P8において操作可能なタッチパネルスイッチSWを、タッチパネル機能を備えた表示装置に表示させ、タッチパネルスイッチSWの操作結果を示す信号を表示装置から受信することにより、実現可能である。タッチパネルスイッチSWの操作を例えばドライバが行うことにより、元の検出領域D2aを、拡大した検出領域D2bあるいは縮小した検出領域D2cに任意に変更することができる。また、タッチパネルスイッチSWを押す操作によって、元の検出領域D2aを上下左右に任意に移動させることもできる。
このように、本実施の形態によれば、ドライバなどの監視者の操作入力に従って検出領域が可変設定される。これにより、監視者が監視したい領域を実際の検出領域に反映させることができ、監視者にとっての使いやすさを一層向上させることができる。また、表示された検出領域を表示画像上で操作することができるため、監視者は容易に変更操作を行うことができる。
(実施の形態3)
以下、本発明の実施の形態3の車両周囲監視装置について説明する。なお、本実施の形態の車両周囲監視装置は上記実施の形態と同様の基本的構成を有する。よって、上記実施の形態で説明したものと同一の構成要素には同一の参照番号を付与し、その詳細な説明を省略する。
本実施の形態の車両周囲監視装置は、図14に示すように、実施の形態1で説明した構成に走行状態情報取得部301を加えた構成を有する。検出領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5および走行状態情報取得部301は、自車に設置されたECU300においてソフトウェアプログラムを実行することにより実現される。設定手段は、検出領域設定部2と走行状態情報取得部301との組合せにより構成され、本実施の形態に係る制御装置は、少なくとも検出領域設定部2と走行状態情報取得部301と障害物検出部4と合成データ生成部5との組合せにより構成される。
走行状態情報取得部301は、自車の走行状態の検知結果を走行状態情報として取得する。そして、走行状態情報取得部301は、検知された走行状態を、障害物の検出領域の設定に反映させる。
ここで、走行状態情報は、例えば走行状態の物理量を示す情報であり、走行状態の物理量としては、例えば走行速度および進行方向等が挙げられる。進行方向の計測に利用可能な手段としては、例えば舵角センサまたは各速度センサ等が挙げられ、走行速度の計測に利用可能な手段としては、例えば車速センサまたは加速度センサ等が挙げられる。
図15は、検知された走行状態に応じた検出領域の変更例を示す。自車がまっすぐに後退している間は、その進路に沿ってまっすぐに伸延した検出領域D3aが設定される。そして、自車の後退中、ハンドルが右に切られると(図15では自車が逆さに記載されているため、ハンドル操舵状態STを示す矢印は左を向く)、そのハンドル操舵から予測された進路に沿って湾曲した検出領域D3bが設定される。
このように、ハンドル操舵状態を走行状態として取得可能である場合には、ハンドル操舵に合わせて障害物の検出領域を調整することができる。
また、検知された走行速度に応じて検出領域を変更することもできる。例えば、走行速度がより低速である場合には、障害物の検出領域を自車の近傍領域のみに制限し、走行速度がより高速である場合には、障害物の検出領域をより遠方まで延長するように、検出領域を可変に設定することができる。
このように、走行速度を走行状態として取得可能である場合には、走行速度に合わせて障害物の検出領域を調整することができる。
以上のように、本実施の形態によれば、自車の走行状態に対して障害物の検出領域を最適化することができる。また、最適化された検出領域は表示部6に表示されるため、監視者はそれを視認することができる。
(実施の形態4)
以下、本発明の実施の形態4の車両周囲監視装置について説明する。なお、本実施の形態の車両周囲監視装置は上記実施の形態と同様の基本的構成を有する。よって、上記実施の形態で説明したものと同一の構成要素には同一の参照番号を付与し、その詳細な説明を省略する。
本実施の形態の車両周囲監視装置は、図16に示すように、実施の形態1で説明した構成に撮像環境情報取得部401を加えた構成を有する。検出領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5および撮像環境情報取得部401は、自車に設置されたECU400においてソフトウェアプログラムを実行することにより実現される。設定手段は、検出領域設定部2と撮像環境情報取得部401との組合せにより構成され、本実施の形態に係る制御装置は、少なくとも検出領域設定部2と撮像環境情報取得部401と障害物検出部4と合成データ生成部5との組合せにより構成される。
撮像環境情報取得部401は、撮像環境の検知結果を撮像環境情報として取得する。そして、撮像環境情報取得部401は、検知された撮像環境を、障害物の検出領域の設定に反映させる。
ここで、撮像環境情報は、自車の外部環境の状態を示す情報である。より具体的には、照度センサ、あるいは、時刻情報および自車の灯火器のスイッチ情報等から外部環境の明るさを検知する手段が、自車に設けられている場合には、その検知結果が撮像環境情報として取得される。また、降雨、降雪、霧の発生等を検知することができる雨滴センサ、画像センサ、レーダセンサまたは他の適切な情報通信手段が、自車に設けられている場合には、その検知結果が撮像環境情報として取得される。
これにより、障害物の検出領域を、検知された撮像環境に応じて変更することができる。例えば、自車の周囲がより暗い場合には、障害物の検出領域を自車の近傍領域のみに制限し、自車の周囲がより明るい場合には、障害物の検出領域をより遠方まで延長するように、検出領域を可変に設定することができる。また、降雨時あるいは霧発生時も、障害物の検出領域を自車の近傍領域のみに制限してもよい。これにより、撮像環境にかかわらず、障害物の検出精度を一定レベル以上に保つことができる。
このように、本実施の形態によれば、撮像環境に対して障害物の検出領域を最適化することができる。また、最適化された検出領域は表示部6に表示されるため、監視者はそれを視認することができる。
(実施の形態5)
以下、本発明の実施の形態5の車両周囲監視装置について説明する。なお、本実施の形態の車両周囲監視装置は上記実施の形態と同様の基本的構成を有する。よって、上記実施の形態で説明したものと同一の構成要素には同一の参照番号を付与し、その詳細な説明を省略する。
本実施の形態の車両周囲監視装置は、図17に示すように、実施の形態1で説明した構成に地図情報取得部501を加えた構成を有する。検出領域設定部2、撮像パラメータ設定部3、障害物検出部4、合成データ生成部5および地図情報取得部501は、自車に設置されたECU500においてソフトウェアプログラムを実行することにより実現される。設定手段は、検出領域設定部2と地図情報取得部501との組合せにより構成され、本実施の形態に係る制御装置は、少なくとも検出領域設定部2と地図情報取得部501と障害物検出部4と合成データ生成部5との組合せにより構成される。
地図情報取得部501は、自車の周辺の地図情報を取得する。そして、地図情報取得部501は、取得された地図情報を、障害物の検出領域の設定に反映させる。
ここで、地図情報は、道路の形態(交差点等)、道路標示(横断歩道等)および施設の属性(小学校等)等、カーナビゲーションシステムまたは他の適切な無線通信手段を利用して取得することができる様々な情報を含む。
図18は、取得された地図情報に応じた検出領域の変更例を示す。自車がまっすぐな道路を走行している間は、その道路形態に合わせてまっすぐに伸延した検出領域D5aが表示画像P9において設定される。そして、取得された地図情報から、走行中の道路の前方にT字路があることが判明した場合には、そのT字路の形態に合わせて変形および拡張した検出領域D5bが設定される。
このように、道路の形態についての情報を地図情報として取得可能である場合には、道路の形態に合わせて障害物の検出領域を調整することができる。
以上のように、本実施の形態によれば、自車の周囲の地図情報に基づいて障害物の検出領域を最適化することができる。また、最適化された検出領域は表示部6に表示されるため、監視者はそれを視認することができる。
以上、本発明の各実施の形態について説明した。なお、上記実施の形態は種々変更して実施することができる。また、上記実施の形態は適宜組み合わせて実施することもできる。
2009年10月7日出願の特願2009−233321の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
本発明の制御装置は、車両周囲を監視する際に監視者に混乱を生じさせず、車両周囲監視装置の使いやすさを向上させることができる効果を有し、車両周囲監視装置に適用可能である。
1 撮像部
2 検出領域設定部
3 撮像パラメータ設定部
4 障害物検出部
5 合成データ生成部
100、200、300、400、500 ECU
201 検出領域操作入力部
301 走行状態情報取得部
401 撮像環境情報取得部
501 地図情報取得部

Claims (10)

  1. 車両周辺の監視に用いる制御装置であって、
    障害物の検出の対象となる検出領域を、前記車両に設置された撮像手段の撮像範囲内で設定する設定手段と、
    前記撮像手段により撮像された画像において設定された検出領域から、障害物を検出する検出手段と、
    設定された検出領域の内外を区別するための情報が、前記撮像手段により撮像された画像に重ねて表示手段に表示されるように、画像処理を行う処理手段と、
    を有する制御装置。
  2. 前記設定手段は、撮像範囲内で障害物の検出領域を可変に設定し、撮像範囲は、前記撮像手段が画像を撮像する間、前記車両に対して固定された角度を有する、
    請求項1記載の制御装置。
  3. 前記設定手段は、操作入力に従って障害物の検出領域を可変に設定する、
    請求項1記載の制御装置。
  4. 前記設定手段は、前記車両の走行状態の検知結果に応じて障害物の検出領域を可変に設定する、
    請求項1記載の制御装置。
  5. 前記車両の走行状態は、前記車両のハンドル操舵状態を含み、
    前記設定手段は、検知されたハンドル操舵状態から予測された前記車両の進路に沿って、障害物の検出領域を設定する、
    請求項4記載の制御装置。
  6. 前記車両の走行状態は、前記車両の走行速度を含み、
    前記設定手段は、より高速の走行速度に対してより遠方まで延長された検出領域が設定されるように、障害物の検出領域を変更する、
    請求項4記載の制御装置。
  7. 前記設定手段は、前記車両の外部環境の検知結果に応じて障害物の検出領域を可変に設定する、
    請求項1記載の制御装置。
  8. 前記設定手段は、前記車両周辺の地図情報を利用して障害物の検出領域を可変に設定する、
    請求項1記載の制御装置。
  9. 前記車両の周辺の地図情報は、前記車両の進路上に存在する道路の形態を特定する情報を含み、
    前記設定手段は、特定された道路の形態に合わせて、障害物の検出領域を設定する、
    請求項8記載の制御装置。
  10. 請求項1記載の制御装置と、前記撮像手段と、前記表示手段と、を有する車両周囲監視装置。
JP2010533152A 2009-10-07 2010-03-18 制御装置および車両周囲監視装置 Expired - Fee Related JP5143235B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010533152A JP5143235B2 (ja) 2009-10-07 2010-03-18 制御装置および車両周囲監視装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2009233321 2009-10-07
JP2009233321 2009-10-07
JP2010533152A JP5143235B2 (ja) 2009-10-07 2010-03-18 制御装置および車両周囲監視装置
PCT/JP2010/001959 WO2011043006A1 (ja) 2009-10-07 2010-03-18 制御装置および車両周囲監視装置

Publications (2)

Publication Number Publication Date
JP5143235B2 JP5143235B2 (ja) 2013-02-13
JPWO2011043006A1 true JPWO2011043006A1 (ja) 2013-02-28

Family

ID=43856492

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010533152A Expired - Fee Related JP5143235B2 (ja) 2009-10-07 2010-03-18 制御装置および車両周囲監視装置

Country Status (4)

Country Link
US (1) US20110228980A1 (ja)
EP (1) EP2487906B1 (ja)
JP (1) JP5143235B2 (ja)
WO (1) WO2011043006A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228850A (ja) * 2016-06-20 2017-12-28 京セラディスプレイ株式会社 車両用カメラモニタシステム及び車両

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9524094B2 (en) 2009-02-20 2016-12-20 Nokia Technologies Oy Method and apparatus for causing display of a cursor
EP2544161B1 (en) * 2010-03-03 2014-12-24 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
JP2011205513A (ja) * 2010-03-26 2011-10-13 Aisin Seiki Co Ltd 車両周辺監視装置
JP5626147B2 (ja) 2011-07-04 2014-11-19 株式会社デンソー 車両接近物検知装置
WO2013183536A1 (ja) * 2012-06-08 2013-12-12 日立建機株式会社 自走式産業機械の表示装置
BR112015001825B1 (pt) * 2012-07-27 2021-10-26 Nissan Motor Co., Ltd. Dispositivo de detecção de objeto tridimensional, método de detecção de objeto tridimensional
KR101896715B1 (ko) * 2012-10-31 2018-09-07 현대자동차주식회사 주변차량 위치 추적 장치 및 방법
DE102013200387A1 (de) * 2013-01-14 2014-07-17 Robert Bosch Gmbh Erstellung einer Hinderniskarte
JP2014191485A (ja) * 2013-03-26 2014-10-06 Sharp Corp 障害物検出装置、及びそれを備えた電動車両
JP6191241B2 (ja) 2013-05-30 2017-09-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
DE202013006676U1 (de) * 2013-07-25 2014-10-28 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) System zur Warnung vor einer möglichen Kollision einesKraftfahrzeuges mit einem Objekt
JP6388205B2 (ja) * 2014-02-25 2018-09-12 パナソニックIpマネジメント株式会社 表示制御プログラム、表示制御装置、および表示装置
EP3136367B1 (de) * 2015-08-31 2022-12-07 Continental Autonomous Mobility Germany GmbH Fahrzeugkameravorrichtung sowie verfahren zur erfassung eines vorausliegenden umgebungsbereichs eines kraftfahrzeugs
JP6699665B2 (ja) * 2015-09-08 2020-05-27 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2017094626A1 (ja) * 2015-11-30 2017-06-08 住友重機械工業株式会社 作業機械用周辺監視システム
JP6805716B2 (ja) * 2016-01-25 2020-12-23 株式会社Jvcケンウッド 表示装置、表示方法、プログラム
CN107179767B (zh) 2016-03-10 2021-10-08 松下电器(美国)知识产权公司 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质
EP3293717B1 (en) * 2016-09-08 2021-11-10 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH An electronically controlled braking system
CN114827458A (zh) 2017-12-18 2022-07-29 佳能株式会社 摄像设备及其控制方法和存储介质
JP7233162B2 (ja) * 2017-12-18 2023-03-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
JP2019179511A (ja) * 2018-03-30 2019-10-17 パナソニックIpマネジメント株式会社 運転支援システム、情報処理装置及び運転支援方法
KR102212229B1 (ko) 2018-11-07 2021-02-05 삼성전자주식회사 이동체에 포함된 카메라 시스템 및 그 제어방법.
JP7268616B2 (ja) * 2020-01-30 2023-05-08 いすゞ自動車株式会社 報知装置
JP6987173B2 (ja) * 2020-04-22 2021-12-22 三菱電機株式会社 障害物検知装置及びこれを備えた障害物検知システム、障害物検知方法
JP7273084B2 (ja) * 2021-03-22 2023-05-12 名古屋電機工業株式会社 障害物検知装置、障害物検知方法およびプログラム
KR102457747B1 (ko) * 2022-05-27 2022-10-24 주식회사 뉴이스트원테크 레이더 기반 후방 감지 시스템 및 이의 동작 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT1240974B (it) * 1990-07-05 1993-12-27 Fiat Ricerche Metodo e apparecchiatura per evitare la collisione di un autoveicolo contro ostacoli.
JPH04311186A (ja) 1991-04-10 1992-11-02 Toshiba Corp 画像監視装置
JP3183284B2 (ja) * 1999-01-19 2001-07-09 株式会社豊田自動織機製作所 車両の後退時の操舵支援装置
US7366595B1 (en) * 1999-06-25 2008-04-29 Seiko Epson Corporation Vehicle drive assist system
EP1465135A1 (en) * 2000-04-05 2004-10-06 Matsushita Electric Industrial Co., Ltd. Driving operation assisting method and system
DE60207655T2 (de) * 2001-09-07 2006-06-08 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zum Anzeigen der Umgebung eines Fahrzeuges und System zur Bildbereitstellung
JP3922201B2 (ja) * 2003-03-26 2007-05-30 松下電工株式会社 車載用視界モニタシステム
JP4239689B2 (ja) * 2003-05-30 2009-03-18 スズキ株式会社 車両用警報システム及び車両用警報発生方法
JP4052650B2 (ja) * 2004-01-23 2008-02-27 株式会社東芝 障害物検出装置、方法及びプログラム
DE102004047481A1 (de) * 2004-09-30 2006-04-13 Robert Bosch Gmbh Verfahren zur Anzeige eines Fahrzeugfahrraums
US8130269B2 (en) * 2005-03-23 2012-03-06 Aisin Aw Co., Ltd. Visual recognition apparatus, methods, and programs for vehicles
JP2008179940A (ja) * 2005-03-31 2008-08-07 Hitachi Constr Mach Co Ltd 作業機械の周囲監視装置
JP4400584B2 (ja) * 2006-03-01 2010-01-20 トヨタ自動車株式会社 障害物検出方法及び障害物検出装置
JP5294562B2 (ja) 2007-01-18 2013-09-18 クラリオン株式会社 車両周辺監視装置、その表示方法
JP2008271266A (ja) * 2007-04-23 2008-11-06 Matsushita Electric Ind Co Ltd 表示制御装置、方法およびプログラム
JP2009147906A (ja) * 2007-11-19 2009-07-02 Autonetworks Technologies Ltd 車両周辺監視装置
JP5258624B2 (ja) 2008-03-06 2013-08-07 洋左右 前嶋 両面畳み対応の折畳み装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017228850A (ja) * 2016-06-20 2017-12-28 京セラディスプレイ株式会社 車両用カメラモニタシステム及び車両

Also Published As

Publication number Publication date
EP2487906A1 (en) 2012-08-15
US20110228980A1 (en) 2011-09-22
JP5143235B2 (ja) 2013-02-13
EP2487906B1 (en) 2020-05-27
EP2487906A4 (en) 2016-10-26
WO2011043006A1 (ja) 2011-04-14

Similar Documents

Publication Publication Date Title
JP5143235B2 (ja) 制御装置および車両周囲監視装置
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP4687411B2 (ja) 車両周辺画像処理装置及びプログラム
US8330816B2 (en) Image processing device
JP5454934B2 (ja) 運転支援装置
JP5811804B2 (ja) 車両用周辺監視装置
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
JPWO2018066711A1 (ja) 走行支援装置及びコンピュータプログラム
JP4715718B2 (ja) 車両用表示装置
WO2011108198A1 (ja) 車両の周辺監視装置
JP6946963B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JPWO2011108217A1 (ja) 車両の周辺監視装置
JP2010116086A (ja) 車載用表示装置、表示方法および表示プログラム
KR102531888B1 (ko) 자동차에서 디스플레이 장치를 작동하기 위한 방법
JP6805974B2 (ja) 走行支援装置及びコンピュータプログラム
JP5054555B2 (ja) 車両周辺映像表示装置
JP2014036326A (ja) 俯瞰画像表示装置
JP6375633B2 (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JPWO2011013813A1 (ja) 車載装置および画像処理プログラム
JP2017111739A (ja) 運転支援装置、運転支援方法
JP2019087909A (ja) 画像表示装置、及び画像表示システム
JP2017062706A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP4857159B2 (ja) 車両運転支援装置
JP3988551B2 (ja) 車両周囲監視装置
KR20180094717A (ko) Avm을 이용한 운전 지원 장치 및 시스템

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121106

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121120

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151130

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5143235

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees