JP6115104B2 - 車両の制御装置、及び制御方法 - Google Patents

車両の制御装置、及び制御方法 Download PDF

Info

Publication number
JP6115104B2
JP6115104B2 JP2012265799A JP2012265799A JP6115104B2 JP 6115104 B2 JP6115104 B2 JP 6115104B2 JP 2012265799 A JP2012265799 A JP 2012265799A JP 2012265799 A JP2012265799 A JP 2012265799A JP 6115104 B2 JP6115104 B2 JP 6115104B2
Authority
JP
Japan
Prior art keywords
luminance
region
imaged
vehicle
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012265799A
Other languages
English (en)
Other versions
JP2014110627A (ja
Inventor
春樹 若林
春樹 若林
欣司 山本
欣司 山本
誠 平田
誠 平田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2012265799A priority Critical patent/JP6115104B2/ja
Priority to US14/095,510 priority patent/US9598105B2/en
Priority to CN201310647854.4A priority patent/CN103854260B/zh
Publication of JP2014110627A publication Critical patent/JP2014110627A/ja
Application granted granted Critical
Publication of JP6115104B2 publication Critical patent/JP6115104B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/029Steering assistants using warnings or proposing actions to the driver without influencing the steering system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Description

本発明の実施形態は、車両の制御装置、及び制御方法に関する。
従来、車両の駐車を支援する技術として、車両に設置された複数のカメラで、車両の周辺環境として撮像された画像データを運転者に提供する技術が提案されている。
撮像された複数の画像データ間では、カメラの取り付け位置や向き、特性のみならず、当該カメラに用いられているレンズの特性に応じて、輝度にズレが生じる。そこで、運転者に提供する際に画像データに対して輝度の補正を行う技術が提案されている。
特開2007−141098号公報
しかしながら、従来技術においては、カメラのレンズの特性が不明な場合などもあり、運転者に提供する画像データについて適切な補正を行うのが難しい場合もある。
実施形態の車両の制御装置は、一例として、取得部と、補正部と、補正テーブル生成部と、を備える。取得部は、車両に設けられた複数の撮像部で、当該車両の外部の環境として撮影された、被撮像領域が一部重複する複数の画像情報を取得する。補正部は、車両の前端部から前方向を撮像した画像情報の第1の被撮像領域及び車両の後端部から後方向を撮像した画像情報の第3の被撮像領域が、車両の側面部から側方向を撮像した画像情報の第2の被撮像領域と一部重複している場合に、第1の被撮像領域の重複領域の輝度に、第2の被撮像領域の一方の重複領域の輝度を合わせると共に、第3の被撮像領域の重複領域の輝度に、第2の被撮像領域の他方の重複領域の輝度を合わせるように、側方向を撮像した画像情報を補正する。補正テーブル生成部は、第1の被撮像領域の重複領域の輝度と、第2の被撮像領域の一方の重複領域の輝度、との差分を第1の補正値として算出し、第3の被撮像領域の重複領域の輝度と、第2の被撮像領域の他方の重複領域の輝度、との差分を第2の補正値として算出し、第1の補正値及び第2の補正値を用いて補間された補正値を、側方向を撮像した画像情報における、重複領域以外の第2の被撮像領域の各画素に設定する。補正部は、さらに、補正テーブル生成部により各画素に設定された補正値に基づいて、側方向を撮像した画像情報を補正する。よって、一例としては、複数の撮像部のレンズ特性にかかわらず、画像情報に対して適切な補正できるという効果を奏する。
上記車両の制御装置では、一例として、補正部により補正された複数の画像情報に基づいて、車両の外部の環境を上方から俯瞰した俯瞰映像を生成する生成部を、さらに備える。よって、一例としては、輝度が補正された複数の画像情報による俯瞰映像が生成されることで、視認性の良い俯瞰映像を運転者に提供できるという効果を奏する。
上記車両の制御装置では、一例として、生成部により生成された俯瞰映像が、複数の画像情報毎に区切られている。よって、一例としては、撮像部の違いが認識可能な俯瞰映像を運転者に提供できるという効果を奏する。
上記車両の制御装置では、一例として、補正部は、さらに、補正後の第2の被撮像領域の一方の重複領域の輝度が、第1の被撮像領域の重複領域の輝度と補正前の第2の被撮像領域の一方の重複領域の輝度との間になるよう補正する。よって、一例としては、複数の画像情報間の輝度の違いによる違和感を抑止できるという効果を奏する。
上記車両の制御装置では、一例として、補正部は、さらに、補正後の第2の被撮像領域の他方の重複領域の輝度が、第3の被撮像領域の重複領域の輝度と補正前の第2の被撮像領域の一方の重複領域の輝度との間になるよう補正する。よって、一例としては、複数の画像情報間の輝度の違いによる違和感を抑止できるという効果を奏する。
上記車両の制御装置では、一例として、車両に設けられた複数の撮像部は、同一のレンズ特性を有している。よって、一例としては、撮像部のレンズの特性に拘わらず、適切に輝度を補正できるという効果を奏する。
実施形態の車両の制御方法では、一例として、取得ステップと、補正ステップと、補正テーブル生成ステップと、を有する。取得ステップは、車両に設けられた複数の撮像部で、当該車両の外部の環境として撮影された、被撮像領域が一部重複する複数の画像情報を取得する。補正ステップは、車両の前端部から前方向を撮像した画像情報の第1の被撮像領域及び車両の後端部から後方向を撮像した画像情報の第3の被撮像領域が、車両の側面部から側方向を撮像した画像情報の第2の被撮像領域と一部重複している場合に、第1の被撮像領域の重複領域の輝度に、第2の被撮像領域の一方の重複領域の輝度を合わせると共に、第3の被撮像領域の重複領域の輝度に、第2の被撮像領域の他方の重複領域の輝度を合わせるように、側方向を撮像した画像情報を補正する。補正テーブル生成ステップは、第1の被撮像領域の重複領域の輝度と、第2の被撮像領域の一方の重複領域の輝度、との差分を第1の補正値として算出し、第3の被撮像領域の重複領域の輝度と、第2の被撮像領域の他方の重複領域の輝度、との差分を第2の補正値として算出し、第1の補正値及び第2の補正値を用いて補間された補正値を、側方向を撮像した画像情報における、重複領域以外の第2の被撮像領域の各画素に設定する。補正ステップは、さらに、補正テーブル生成ステップにより各画素に設定された補正値に基づいて、側方向を撮像した画像情報を補正する。よって、一例としては、複数の撮像部のレンズ特性にかかわらず、画像情報に対して適切な補正できるという効果を奏する。
図1は、第1の実施形態にかかる車両の一例を当該車両の一部を切り欠いて示す斜視図である。 図2は、第1の実施形態にかかる車両の一例を示す平面図である。 図3は、第1の実施形態にかかる車両の構成の一例を示すブロック図である。 図4は、第1の実施形態にかかる車両が備える撮像部により撮像される被撮像領域を示した図である。 図5は、第1の実施形態にかかる駐車支援ECU内に実現される駐車支援部の構成を示すブロック図である。 図6は、第1の実施形態にかかる画像処理部により生成された俯瞰画像データの例を示した図である。 図7は、第1の実施形態にかかる車両の各撮像部で撮像された複数の画像データの重複領域の例を示した図である。 図8は、第1の実施形態にかかる補正テーブルの生成の概念を示した図である。 図9は、第1の実施形態にかかる駐車支援部における表示装置に表示するまでの処理の手順を示すフローチャートである。 図10は、第1の実施形態にかかる駐車支援部における、補正テーブルの生成処理の手順を示すフローチャートである。 図11は、第2の実施形態の駐車支援部が表示装置に表示する俯瞰映像の例を示した図である。 図12は、第2の実施形態にかかる駐車支援部における、補正テーブルの生成処理の手順を示すフローチャートである。
(第1の実施形態)
本実施形態では、車両1は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
図1に示されるように、車体2は、乗員(図示されず)が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4や、加速操作部5、制動操作部6、変速操作部7等が設けられている。本実施形態では、一例として、操舵部4は、ダッシュボード(インストルメントパネル)から突出したステアリングホイールであり、加速操作部5は、運転者の足下に位置されたアクセルペダルであり、制動操作部6は、運転者の足下に位置されたブレーキペダルであり、変速操作部7は、センターコンソールから突出したシフトレバーであるが、これらには限定されない。
また、車室2a内には、表示装置8(表示出力部)や、音声出力装置9(音声出力部)が設けられている。表示装置8は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置9は、一例として、スピーカである。また、本実施形態では、一例として、表示装置8は、透明な操作入力部10(例えば、タッチパネル等)で覆われている。乗員等は、操作入力部10を介して表示装置8の表示画面に表示される映像(画像)を視認することができる。また、乗員等は、表示装置8の表示画面に表示される映像(画像)に対応した位置で手指等で操作入力部10を触れたり押したり動かしたりして操作することで、操作入力(指示入力)を実行することができる。また、本実施形態では、一例として、表示装置8や、音声出力装置9、操作入力部10等は、ダッシュボードの車幅方向(左右方向)の中央部に位置されたモニタ装置11に設けられている。モニタ装置11は、スイッチや、ダイヤル、ジョイスティック、押しボタン等の操作入力部(図示されず)を有することができる。また、モニタ装置11とは異なる車室2a内の他の位置に音声出力装置(図示されず)を設けることができるし、モニタ装置11の音声出力装置9と他の音声出力装置から、音声を出力することができる。また、本実施形態では、一例として、モニタ装置11は、ナビゲーションシステムやオーディオシステムと兼用されているが、駐車支援装置用のモニタ装置を、これらシステムとは別に設けてもよい。また、音声出力装置9の他に、ブザー24(図3参照)等の音声出力部から、警報音等が出力されるように構成することができる。
また、図1、2に示されるように、本実施形態では、一例として、車両1は、四輪車(四輪自動車)であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。さらに、本実施形態では、これら四つの車輪3は、いずれも操舵されうるように(転舵可能に)構成されている。具体的には、図3に示されるように、車両1は、前輪3Fを操舵する前輪操舵システム12と、後輪3Rを操舵する後輪操舵システム13とを有している。これら前輪操舵システム12および後輪操舵システム13は、駐車支援ECU14(electronic control unit)等によって電気的に制御されて、それぞれのアクチュエータ12a,13aを動作させる。前輪操舵システム12ならびに後輪操舵システム13は、例えば、電動パワーステアリングシステムや、SBW(steer by wire)システム等である。前輪操舵システム12ならびに後輪操舵システム13は、アクチュエータ12a,13aによって操舵部4にトルク(アシストトルク)を付加して操舵力を補ったり、対応する車輪3(前輪3Fまたは後輪3R)を操舵(自動操舵)したりする。アクチュエータ12a,13aは、一つの車輪3を操舵してもよいし、複数の車輪3を操舵してもよい。また、本実施形態では、一例として、二つの前輪3Fは、互いに同相(同位相、同転舵方向、同回動方向)で略平行に転舵され、二つの後輪3Rは、互いに同相で略平行に転舵される。なお、駆動輪は種々に設定可能である。
また、本実施形態では、一例として、図2に示されるように、車両1(車体2)には、複数(本実施形態では、一例として4つ)の撮像部16(16a〜16d)が設けられている。撮像部16は、例えば、CCD(charge coupled device)やCIS(CMOS image sensor)等の撮像素子を内蔵するデジタルカメラである。撮像部16は、所定のフレームレートで画像データ(動画データ、フレームデータ)を出力することができる。撮像部16は、それぞれ、広角レンズを有し、水平方向には150°〜220°の範囲(視野角)を撮影することができる。また、撮像部16の光軸は下方(斜め下方)に向けて設定されている。よって、撮像部16は、車両1が移動可能な路面を含む車体2の周辺の外部の環境を撮影する。
本実施形態では、一例として、撮像部16aは、車体2の前側(車両前後方向の前方側)の端部2c(平面視での端部)に位置され、フロントバンパー等に設けられている。撮像部16bは、車体2の左側(車幅方向の左側)の端部2dに位置され、左側のドアミラー2g(突出部)に設けられている。撮像部16cは、車体2の後側(車両前後方向の後方側)の端部2eに位置され、リヤトランクのドア2hの下方の壁部に設けられている。撮像部16dは、車体2の右側(車幅方向の右側)の端部2fに位置され、右側のドアミラー2g(突出部)に設けられている。駐車支援ECU14は、複数の撮像部16で得られた画像データに基づいて演算処理や画像処理を実行し、より広い視野角の画像を生成したり、車両1(車体2)を上方から見た仮想的な俯瞰画像(平面画像)を生成したりすることができる。
また、本実施形態では、一例として、図3に示されるように、駐車支援システム100では、駐車支援ECU14や、モニタ装置11、前輪操舵システム12、後輪操舵システム13、等の他、ブレーキシステム18、舵角センサ19(角度センサ)、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、車内ネットワーク23(電気通信回線)を介して電気的に接続されている。車内ネットワーク23は、一例としては、CAN(controller area network)として構成されている。駐車支援ECU14は、車内ネットワーク23を通じて制御信号を送ることで、前輪操舵システム12や、後輪操舵システム13、ブレーキシステム18等を制御することができる。また、駐車支援ECU14は、車内ネットワーク23を介して、トルクセンサ12b、舵角センサ13b(後輪3R用)、ブレーキセンサ18b、舵角センサ19(前輪3F用)、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果、ならびに、操作入力部10等の指示信号(制御信号、操作信号、入力信号、データ)を受け取ることができる。
駐車支援ECU14は、一例として、CPU14a(central processing unit)や、ROM14b(read only memory)、RAM14c(random access memory)、表示制御部14d、音声制御部14e、SSD14f(solid state drive、フラッシュメモリ)等を有している。CPU14aは、例えば、表示装置8で表示される画像に関連した画像処理や、車両1の移動経路の演算、物体との干渉の有無の判断等の各種の演算処理を実行することができる。CPU14aは、ROM14b等の不揮発性の記憶装置に記憶された(インストールされた)プログラムを読み出し、当該プログラムにしたがって演算処理を実行することができる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、駐車支援ECU14での演算処理のうち、主として、撮像部16で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの画像処理(一例としては合成等)等を実行する。また、音声制御部14eは、駐車支援ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、駐車支援ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されることができる。また、駐車支援ECU14は、CPU14aに替えて、DSP(digital signal processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(hard disk drive)が設けられてもよいし、SSD14fやHDDは、駐車支援ECU14とは別に設けられてもよい。
ブレーキシステム18は、ブレーキのロックを抑制するABS(anti-lock brake system)や、コーナリング時の車両1の横滑りを抑制する横滑り防止装置(ESC:electronic stability control)、ブレーキ力を増強させる(ブレーキアシストを実行する)電動ブレーキシステム、BBW(brake by wire)等である。ブレーキシステム18は、アクチュエータ18aを介して、車輪3(車両1)に制動力を与える。
舵角センサ19は、操舵部4(本実施形態では、一例としてステアリングホイール)の操舵量(回動角度)を検出するセンサであり、一例としては、ホール素子などを用いて構成される。また、舵角センサ13bは、後輪3Rの操舵量(回動角度)を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ECU14は、運転者による操舵部4の操舵量や、自動操舵時の各車輪3の操舵量等を、舵角センサ19,13bから取得して各種制御を実行する。なお、トルクセンサ12bは、運転者が操舵部4に与えるトルクを検出する。
車輪速センサ22は、車輪3の回転量や単位時間当たりの回転数を検出するセンサであり、一例としては、ホール素子などを用いて構成される。駐車支援ECU14は、車輪速センサ22から取得したデータに基づいて車両1の移動量などを演算し、各種制御を実行する。車輪速センサ22は、ブレーキシステム18に設けられている場合もある。また、ブレーキシステム18は、左右の車輪3の回転差などからブレーキのロックや、車輪3の空回り、横滑りの兆候等を検出して、各種制御を実行することができる。車輪速センサ22がブレーキシステム18に設けられている場合には、駐車支援ECU14は、ブレーキシステム18を介してデータを取得する。ブレーキセンサ18bは、ブレーキペダルの操作量を検出するセンサであり、駐車支援ECU14は、ブレーキシステム18を介して情報を取得する。駐車支援ECU14は、例えば、自動操舵中に制動操作部6が操作されたような場合に、自動操舵には適さない状況にあるとして自動操舵を中断したり中止したりすることができる。
シフトセンサ21は、一例としては、変速操作部7の可動部(レバーや、アーム、ボタン等)の位置を検出するセンサ(スイッチ)であり、変位センサなどを用いて構成される。例えば、駐車支援ECU14は、可動部がリバースにセットされた場合に支援制御を開始したり、リバースから前進に変更された場合に支援制御を終了させたりすることができる。
なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、あくまで一例であって、種々に設定(変更)することができる。
図4は、車両1が備える撮像部16により撮像される被撮像領域を示した図である。図4に示すように、撮像部16a〜16dによる被撮像領域401〜404で、一部重複していることが確認できる。
具体的には、前方向の被撮像領域401と左方向の被撮像領域402との間で重複領域411が存在する。また、左方向の被撮像領域402と後方向の被撮像領域403との間で重複領域412が存在する。また、後方向の被撮像領域403と右方向の被撮像領域404との間で重複領域413が存在する。また、右方向の被撮像領域404と前方向の被撮像領域401との間で重複領域414が存在する。
本実施形態では、撮像部16a〜16dに利用される各レンズは、全て同じレンズ特性を有している。このため、撮像部16a〜16dによる画角、被撮像領域401〜404の面積等が等しくなるとともに、レンズ中心から周辺になるにつれて変化する光量も同一となる。
ところで、撮像部16aが撮像した画像データの重複領域411の輝度と、撮像部16bが撮像した画像データの重複領域411の輝度と、が異なる場合がある。そこで、本実施形態にかかる駐車支援ECU14は、撮像部16a〜16dの各々で撮像された画像データの輝度等を補正した後、撮像部16a〜16dの各々で撮像された画像データを合成して、運転者に提示するための俯瞰画像データを生成する。
図5は、駐車支援ECU14内に実現される駐車支援部500の構成を示すブロック図である。図5に示す駐車支援部500内の各構成は、図3の駐車支援ECU14として構成されたCPU14aが、ROM14b内に格納されたソフトウェアを実行することで実現される。
駐車支援部500は、ROM14b内に格納されたソフトウェアを実行することで、画像取得部501と、画像処理部502と、表示処理部503と、を実現する。
そして、本実施形態にかかる駐車支援部500は、車両1が移動して駐車を行う際に、周囲の状況を俯瞰画像として表示することで、運転者の操舵による駐車を支援する。
画像取得部501は、複数の撮像部16a〜16dで撮影された、被撮像領域が一部重複する複数の画像データを取得する。本実施形態にかかる画像取得部501が取得する複数の画像データは、上述したように、車両1に設けられた複数の撮像部16a〜16dで、車両1の外部の環境を被撮像領域として撮像されたものとする。
画像処理部502は、輝度補正テーブル生成部511と、輝度補正部512と、俯瞰画像生成部513と、ダイナミックレンジ補正部514と、を備え、画像取得部501が取得した画像データに対して画像処理を行う。
図6は、画像処理部502により生成された俯瞰画像データ600の例を示した図である。図6に示す俯瞰画像データ600は、車両1を示すアイコン611と、車両1の外部の環境が表示されている。この俯瞰画像データ600は、画像取得部501が取得した複数の画像データを、画像処理部502が合成したものである。
俯瞰画像データ600では、複数の撮像部16a〜16dで撮像された重複した領域が存在する。例えば、本実施形態においては、領域601が、撮像部16a及び撮像部16bで撮像された重複領域の一部とする。同様に、領域602が、撮像部16a及び撮像部16dで撮像された重複領域の一部とする。領域603が、撮像部16b及び撮像部16cで撮像された重複領域の一部とする。領域604が、撮像部16c及び撮像部16dで撮像された重複領域の一部とする。複数の画像データを合成して俯瞰画像データを生成する際に、これら重複領域601〜604に対応する、合成前の画像データの領域について、予め輝度を一致させておく必要がある。
そこで、本実施形態にかかる画像処理部502は、合成前に、画像取得部501が取得した各画像データの輝度を補正することとした。
図7は、車両1のフロントカメラである撮像部16aにより前方向を撮像した画像データ(以下、フロント画像データとも称す)711と、車両1のサイドカメラである撮像部16bにより側方向を撮像した画像データ(以下、サイド画像データとも称す)712と、における重複領域の例を示した図である。
図7(1)に示されるフロント画像データ711は、車両1の前方側の端部2cから外部環境を撮像した画像データとする。フロント画像データ711に含まれる領域701が、図6の重複領域601に対応し、領域702が図6の重複領域602に対応している。
図7(2)に示されるサイド画像データ712は、車両1の左側の端部2dから外部環境を撮像した画像データとする。そして、サイド画像データ712に含まれる領域703が、図6の重複領域601に対応し、領域704が、図6の重複領域603に対応している。
俯瞰画像データを生成するためには、フロント画像データ711と、サイド画像データ712とを合成する必要があるが、フロント画像データ711の領域701と、サイド画像データ712の領域703と、は外部の環境では同じ領域を示しているにも拘わらず、輝度が異なる場合がある。画像処理部502は、領域701と領域703との輝度を略等しくなるように、フロント画像データ及びサイド画像データの少なくとも1つ以上を補正する必要がある。
ところで、本実施形態では、撮像部16a〜16dでは撮像するために用いるレンズは全て同一とし、同じ特性を有している。撮像部16a〜16dに用いられているレンズの特性が把握できている場合には、レンズの特性に応じて輝度の補正を行えばよい。しかしながら、レンズ特性は、カメラメーカが開示しない場合がある。このような場合、レンズ特性に応じた適切な補正をかけることが難しく、輝度の補正により、例えば、実際より明るく表示されるなど違和感の強い映像を表示してしまうこともある。
より詳細な例としては、いずれかの撮像部からの被撮像領域に障害物が存在する場合や、暗い車庫内から明るい場所へ出る際など、複数の撮像部で撮像された画像データ間に極端な輝度差が生じた場合に、複数の画像データの平均輝度に基づいて輝度を補間すると、もともと視認できていた他の領域で黒つぶれや白飛びが生じ、視認性が悪くなる場合もある。
レンズは、一般的に中心部において光量が高く、周辺になるにつれて光量が少なくなる傾向にある。つまり、フロント画像データ711の領域701とサイド画像データ712の領域703との輝度の違いは、レンズの位置の違いに基づく光量の違いに起因する可能性もある。また、レンズの特性は、中心に近いほど精度が高いと考えられる。
そこで、本実施形態では、複数の画像データで輝度を一致させる補正を行う際に、複数の画像データのうち、重複領域がレンズ中心(換言すれば画像データの表示領域の中心)に近い方の画像データの輝度を基準に、他方の画像データを補正することとした。
図7に示す例では、フロント画像データ711の中心から領域702までの距離721が、サイド画像データ712の中心から領域703までの距離722よりも短い。この場合、本実施形態にかかる画像処理部502は、フロント画像データ711の領域702の平均輝度に、領域703の平均輝度を略等しくなるように、サイド画像データ712の輝度を補正する。
なお、車両1のリアカメラである撮像部16cにより後方向を撮像した画像データ(以下、リア画像データとも称す)と、サイド画像データと、の間も、フロント画像データとサイド画像データと同様の関係が生じている。そこで、本実施形態にかかる画像処理部502は、リア画像データの重複領域の平均輝度に、対応する領域の平均輝度が略等しくなるように、サイド画像データの輝度を補正する。
このようにフロント画像データ及びリア画像データの輝度に合わせるように、両サイドの画像データの輝度の補正を行うのは、一般的な車両は、車幅の方が前後方向の長さより短いため、フロント画像データ及びリア画像データの重複領域の方がサイド画像データの重複領域より中心に近づくことに基づく。
本実施形態にかかる画像処理部502では、サイド画像データの輝度を補正するための補正テーブルを生成する。
図5に戻り、輝度補正テーブル生成部511は、フロント画像データ及びリア画像データの輝度に基づいて、2個のサイド画像データの輝度を補正するための補正テーブルを生成する。
図8は、補正テーブルの生成の概念を示した図である。図8に示すように、輝度補正テーブル生成部511は、複数の画像データ(リア画像データとサイド画像データ、またはフロント画像データとサイド画像データ)が重複している重複領域601〜604に基づいて補正テーブルを生成する。まず、輝度補正テーブル生成部511は、重複領域601に対応するフロント画像データの領域の平均輝度、及び重複領域602に対応するフロント画像データの領域の平均輝度を算出する。同様に、輝度補正テーブル生成部511は、重複領域603に対応するリア画像データの領域の平均輝度、及び重複領域604に対応するリア画像データの領域の平均輝度を算出する。
さらには、輝度補正テーブル生成部511は、重複領域601に対応する第1の(左側の)サイド画像データの領域の平均輝度、及び重複領域603に対応する第1の(左側の)サイド画像データの領域の平均輝度を算出する。輝度補正テーブル生成部511は、重複領域602に対応する第2の(右側の)サイド画像データの領域の平均輝度、及び重複領域604に対応する第2の(右側の)サイド画像データの領域の平均輝度を算出する。
そして、輝度補正テーブル生成部511は、重複領域601〜604で画像データ間における平均輝度の差分を算出する。そして、その平均輝度の差分が、サイド画像データに対する補正値となる。
そして、輝度補正テーブル生成部511は、重複領域の中心を、算出した平均輝度の差分だけ補正する補正テーブルを生成する。例えば、輝度補正テーブル生成部511は、重複領域602の平均輝度の差が“10”の場合に、重複領域602の中心801で補正値“−10”で補正し、重複領域604の平均輝度の差が“−10”の場合に、重複領域604の中心802で補正値“10”で補正する補正テーブルを生成する。そして輝度補正テーブル生成部511は、補正テーブルにおける中心801、802以外の各画素について、当該中心801、802の各補正値を用いて線形補間する一次式により求められる補正値を設定する。
輝度補正部512は、輝度補正テーブル生成部511が生成した補正テーブルに基づいて、サイド画像データの輝度を補正する。これにより、本実施形態にかかる輝度補正部512は、被撮像領域が重複する重複領域を有する2つの画像データのうち、フロント画像データ又はリア画像データに含まれている重複領域の位置が、サイド画像データにおける重複領域の位置と比べて、表示領域の中心に近いため、フロント画像データ又はリア画像データの重複領域の輝度に、サイド画像データの重複領域の輝度を合わせるように、サイド画像データを補正できる。
俯瞰画像生成部513は、輝度補正部512で補正された後の複数の画像データと、(図示しない)マッピングテーブルに記録されている変換情報と、に基づいて、車両1の周囲外部の環境を上方から俯瞰した場合の俯瞰画像データを生成する。
ダイナミックレンジ補正部514は、俯瞰画像データに対して、ダイナミックレンジ補正を行う。
表示処理部503は、ダイナミックレンジ補正部514で補正した後の俯瞰画像データを、表示装置8に表示する。
次に、本実施形態にかかる駐車支援部500における、表示装置8に表示するまでの処理について説明する。図9は、本実施形態にかかる駐車支援部500における上述した処理の手順を示すフローチャートである。
まず、画像取得部501が、撮像部16a〜16dで撮像された複数の画像データを取得する(ステップS901)。
次に、輝度補正テーブル生成部511が、取得した複数の画像データに基づいて、サイド画像データを補正するための補正テーブルを生成する(ステップS902)。
そして、輝度補正部512が、生成された補正テーブルを利用して、2つのサイド画像データを補正する(ステップS903)。
その後、俯瞰画像生成部513が、輝度補正された後のサイド画像データを含む複数の画像データに基づいて、俯瞰画像データを生成する(ステップS904)。
その後、ダイナミックレンジ補正部514が、俯瞰画像データに対して、ダイナミックレンジ補正を行う(ステップS905)。
そして、表示処理部503が、ダイナミックレンジ補正後の俯瞰画像データを、表示装置8に表示する(ステップS906)。
上述した処理手順により、本実施形態にかかる駐車支援部500は、適切な輝度補正がなされた俯瞰画像データを表示することができる。
次に、本実施形態にかかる駐車支援部500における、図9のステップS902の補正テーブルの生成処理について説明する。図10は、本実施形態にかかる駐車支援部500における上述した処理の手順を示すフローチャートである。
まず、輝度補正テーブル生成部511は、画像取得部501が取得した複数の画像データの各々に対して、俯瞰画像データの重複領域に対応する領域を特定する(ステップS1001)。
次に、輝度補正テーブル生成部511は、各画像データに対して、重複領域に対応する領域毎に平均輝度を算出する(ステップS1002)。
そして、輝度補正テーブル生成部511は、重複領域毎に、画像データ間の輝度の差分を算出する(ステップS1003)。
次に、輝度補正テーブル生成部511は、算出した差分を、補正テーブルの重複領域の中心位置の補正値として線形補間した補正テーブルを生成する(ステップS1004)。
上述した処理手順により生成された補正テーブルを利用して、サイド画像データの補正が行われることになる。
本実施形態では、重複領域以外の領域の補正値を補間する際に線形補間を行う例について説明したが、線形補間に制限するものではなく、スプライン曲線を用いた補間など他の補間手法を用いても良い。
本実施形態にかかる車両1は、上述したように、当該車両1の前後左右に取り付けた4台の撮像部16a〜16dで撮影された画像データに対して、重複領域の位置に基づく輝度の補正を行うこととした。これにより、レンズの端部と中央部の輝度差を抑止できる。さらには、輝度が適切に補正された俯瞰画像データを運転者に提供できる。
その際に、駐車支援部500の画像処理部502が、隣接する撮像部16a〜16dで撮影された画像データで重複する領域について、平均輝度が略等しくなるように補正を行うこととしたが、略等しくなるように補正することに制限するものではない。
(第2の実施形態)
第1の実施形態では、撮像部16で撮像された画像データを合成して、俯瞰画像データを生成する例について説明した。しかしながら、第1の実施形態は、撮像された画像データを合成して俯瞰画像データを生成することに制限するものではなく、撮像された画像データをそれぞれ区切った上で、俯瞰した画像として運転者に提示しても良い。
図11は、本実施形態の駐車支援部500が表示装置8に表示する俯瞰映像の例を示した図である。図11に示す例では、撮像部16a〜16dの違いに応じて車両1の外部の環境を、4つの領域1101〜1104に分割して表示している。
このような表示を行う場合でも、図4に示す様に、撮像部16a〜16dの各々の被撮像領域は一部重複しているため、第1の実施形態と同様に補正テーブルを生成し、サイド画像データの輝度の補正を行うことができる。画像データ間の輝度を近づけることで、運転者に対して違和感のない映像を提示することができる。
さらには、画像データ毎に区切られて表示するため、第1の実施形態のようにサイド画像データの重複領域に対応する領域の輝度を、フロント画像データ又はリア画像データの重複領域に対応する領域の輝度に、略等しくなるまで補正する必要はない。そこで、第2の実施形態にかかる駐車支援部500の輝度補正部512は、重複領域に対応する、サイド画像データの領域の補正後の平均輝度が、当該重複領域に対応する、フロント画像データ(又はリア画像データ)の領域の平均輝度と、補正前の輝度との間になるように補正する。
具体的には、輝度補正テーブル生成部511が、第1の実施形態と同様の処理で補正値を算出した後、0.5の係数を乗算する。なお、本実施形態では、係数として0.5を乗算する例とするが、係数を制限するものではなく0.1〜0.9の間であればよい。そして、係数を乗算した後は、第1の実施形態と同様の処理で、俯瞰映像の表示まで行う。
本実施形態ではある程度(係数0.5)輝度を合わせることで、画像データ間の違いによる違和感を低減させると共に、略等しくなるまで輝度を補正することによる、他の領域の白飛びや黒つぶれなどを抑止し、視認性の低下を抑止できる。
次に、本実施形態にかかる駐車支援部500における、第1の実施形態で示した図9のステップS902の補正テーブルの生成処理について説明する。図12は、本実施形態にかかる駐車支援部500における上述した処理の手順を示すフローチャートである。なお、他の処理は、第1の実施形態と同様として説明を省略する。
まず、図10のステップS1001〜S1003と同様の処理を行い、重複領域毎に、画像データ間の輝度の差分を算出する(ステップS1201〜S1203)。
その後、輝度補正テーブル生成部511は、算出された重複領域毎の輝度の差分に対して、係数0.5を乗算する(ステップS1204)。
そして、輝度補正テーブル生成部511は、係数を算出した差分を、補正テーブルの重複領域の中心位置の補正値として線形補間した補正テーブルを生成する(ステップS1205)。
第2の実施形態では、被撮像領域が重複する画像データ間で、当該領域において平均輝度に極端な差がある場合でも、係数を乗算して補正値に制限をかけることとした。このように第1の実施形態のような略等しくさせる補正を抑止することで、当該領域以外の補間箇所の視認性の低減をある程度抑止できる。また、本実施形態では、撮像部16a〜16dで撮像された画像データの境界を表示することで、運転者に対して、異なる撮像部16a〜16dで撮像された画像データであることを認識させることができる。さらに境界で区切ることで、撮像部16a〜16dの違いを運転者に認識させることができるので、輝度を略等しくなる程度まで補正せずとも、輝度の違いによる違和感をある程度抑止できる。
上述した実施形態では、撮像部16a〜16dで撮像された複数の画像データのうち、被撮像領域が重複した重複領域がレンズの中心に近い画像データの輝度を基準に、他の画像データの輝度を補正することとした。これにより、撮像部16a〜16dのレンズ特性を把握して無くとも、複数の画像データに対して適切に輝度の補正を行うことができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1…車両、16a〜16d…撮像部、100…駐車支援システム、500…駐車支援部、501…画像取得部、502…画像処理部、503…表示処理部、511…輝度補正テーブル生成部、512…輝度補正部、513…俯瞰画像生成部、514…ダイナミックレンジ補正部。

Claims (7)

  1. 車両に設けられた複数の撮像部で、当該車両の外部の環境として撮影された、被撮像領域が一部重複する複数の画像情報を取得する取得部と、
    前記車両の前端部から前方向を撮像した画像情報の第1の被撮像領域及び前記車両の後端部から後方向を撮像した画像情報の第3の被撮像領域が、前記車両の側面部から側方向を撮像した画像情報の第2の被撮像領域と一部重複している場合に、前記第1の被撮像領域の重複領域の輝度に、前記第2の被撮像領域の一方の重複領域の輝度を合わせると共に、前記第3の被撮像領域の重複領域の輝度に、前記第2の被撮像領域の他方の重複領域の輝度を合わせるように、前記側方向を撮像した画像情報を補正する補正部と、
    前記第1の被撮像領域の重複領域の輝度と、前記第2の被撮像領域の一方の重複領域の輝度、との差分を第1の補正値として算出し、前記第3の被撮像領域の重複領域の輝度と、前記第2の被撮像領域の他方の重複領域の輝度、との差分を第2の補正値として算出し、前記第1の補正値及び前記第2の補正値を用いて補間された補正値を、前記側方向を撮像した画像情報における、前記重複領域以外の前記第2の被撮像領域の各画素に設定する補正テーブル生成部と、を備え、
    前記補正部は、さらに、前記補正テーブル生成部により前記各画素に設定された前記補正値に基づいて、前記側方向を撮像した画像情報を補正する、
    両の制御装置。
  2. 前記補正部により補正された複数の画像情報に基づいて、前記車両の外部の環境を上方から俯瞰した俯瞰映像を生成する生成部を、
    さらに備える請求項1に記載の車両の制御装置。
  3. 前記生成部により生成された前記俯瞰映像が、前記複数の画像情報毎に区切られている、
    請求項2に記載の車両の制御装置。
  4. 前記補正部は、さらに、補正後の前記第2の被撮像領域の一方の重複領域の輝度が、前記第1の被撮像領域の重複領域の輝度と補正前の前記第2の被撮像領域の一方の重複領域の輝度との間になるよう補正する、
    請求項3に記載の車両の制御装置。
  5. 前記補正部は、さらに、補正後の前記第2の被撮像領域の他方の重複領域の輝度が、前記第3の被撮像領域の重複領域の輝度と補正前の前記第2の被撮像領域の一方の重複領域の輝度との間になるよう補正する、
    請求項3に記載の車両の制御装置。
  6. 前記車両に設けられた前記複数の撮像部は、同一のレンズ特性を有している、
    請求項1乃至5のいずれか一つに記載の車両の制御装置。
  7. 車両に設けられた複数の撮像部で、当該車両の外部の環境として撮影された、被撮像領域が一部重複する複数の画像情報を取得する取得ステップと、
    前記車両の前端部から前方向を撮像した画像情報の第1の被撮像領域及び前記車両の後端部から後方向を撮像した画像情報の第3の被撮像領域が、前記車両の側面部から側方向を撮像した画像情報の第2の被撮像領域と一部重複している場合に、前記第1の被撮像領域の重複領域の輝度に、前記第2の被撮像領域の一方の重複領域の輝度を合わせると共に、前記第3の被撮像領域の重複領域の輝度に、前記第2の被撮像領域の他方の重複領域の輝度を合わせるように、前記側方向を撮像した画像情報を補正する補正ステップと、
    前記第1の被撮像領域の重複領域の輝度と、前記第2の被撮像領域の一方の重複領域の輝度、との差分を第1の補正値として算出し、前記第3の被撮像領域の重複領域の輝度と、前記第2の被撮像領域の他方の重複領域の輝度、との差分を第2の補正値として算出し、前記第1の補正値及び前記第2の補正値を用いて補間された補正値を、前記側方向を撮像した画像情報における、前記重複領域以外の前記第2の被撮像領域の各画素に設定する補正テーブル生成ステップと、を有し、
    前記補正ステップは、さらに、前記補正テーブル生成ステップにより前記各画素に設定された前記補正値に基づいて、前記側方向を撮像した画像情報を補正する、
    を有する車両の制御方法。
JP2012265799A 2012-12-04 2012-12-04 車両の制御装置、及び制御方法 Active JP6115104B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012265799A JP6115104B2 (ja) 2012-12-04 2012-12-04 車両の制御装置、及び制御方法
US14/095,510 US9598105B2 (en) 2012-12-04 2013-12-03 Vehicle control apparatus and vehicle control method
CN201310647854.4A CN103854260B (zh) 2012-12-04 2013-12-04 车辆的控制装置及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012265799A JP6115104B2 (ja) 2012-12-04 2012-12-04 車両の制御装置、及び制御方法

Publications (2)

Publication Number Publication Date
JP2014110627A JP2014110627A (ja) 2014-06-12
JP6115104B2 true JP6115104B2 (ja) 2017-04-19

Family

ID=50861878

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012265799A Active JP6115104B2 (ja) 2012-12-04 2012-12-04 車両の制御装置、及び制御方法

Country Status (3)

Country Link
US (1) US9598105B2 (ja)
JP (1) JP6115104B2 (ja)
CN (1) CN103854260B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082631B2 (en) 2018-04-03 2021-08-03 Aisin Seiki Kabushiki Kaisha Image processing device
US11523053B2 (en) 2018-04-03 2022-12-06 Aisin Corporation Image processing apparatus

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6327144B2 (ja) 2014-12-25 2018-05-23 株式会社デンソー 画像処理システム及び画像処理装置
CN104573658B (zh) * 2015-01-09 2018-09-18 安徽清新互联信息科技有限公司 一种基于支持向量机的盲驾检测方法
JP6582557B2 (ja) 2015-05-28 2019-10-02 株式会社ソシオネクスト 描画装置、描画方法および描画プログラム
KR101850795B1 (ko) * 2015-11-09 2018-04-20 엘지전자 주식회사 주차 수행 장치 및 차량
KR20180040469A (ko) * 2016-10-12 2018-04-20 엘지이노텍 주식회사 이미지 정합 방법 및 장치
CN108010005B (zh) * 2016-10-31 2020-11-06 比亚迪股份有限公司 调节图像亮度的方法、装置及车辆
KR101954199B1 (ko) * 2016-12-09 2019-05-17 엘지전자 주식회사 차량용 어라운드 뷰 모니터링 장치, 운행 제어 장치 및 차량
JP6439233B2 (ja) * 2017-03-31 2018-12-19 マツダ株式会社 車両用画像表示装置及び画像処理方法
JP2018206323A (ja) * 2017-06-09 2018-12-27 アイシン精機株式会社 画像処理装置
CN110612235B (zh) * 2017-06-26 2023-01-17 金泰克斯公司 调光元件的光学特性的动态校准
US11215451B2 (en) * 2017-09-20 2022-01-04 Continental Automotive Systems, Inc. Trailer length detection system
DE102017218921A1 (de) * 2017-10-24 2019-04-25 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung, Computerprogramm und Computerprogrammprodukt zum Betreiben einer Displayeinheit eines Fahrzeugs
CN108550106B (zh) * 2018-03-30 2021-06-01 影石创新科技股份有限公司 一种全景图像的颜色校正方法、装置和电子设备
CN110517188B (zh) * 2018-05-22 2024-02-23 杭州海康威视数字技术股份有限公司 确定鸟瞰图像的方法和装置
JP7100574B2 (ja) * 2018-12-21 2022-07-13 ルネサスエレクトロニクス株式会社 半導体装置、画像処理方法およびプログラム
DE102019207415A1 (de) * 2019-05-21 2020-11-26 Conti Temic Microelectronic Gmbh Verfahren zur Erzeugung eines Bildes einer Fahrzeugumgebung und Vorrichtung zur Erzeugung eines Bildes einer Fahrzeugumgebung
JP7384343B2 (ja) 2019-07-12 2023-11-21 株式会社東海理化電機製作所 画像処理装置、画像処理プログラム
EP4306363A1 (en) * 2022-07-15 2024-01-17 Ficosa Adas, S.L.U. System and method for providing a composite image of a vehicle and its surroundings

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
JP3297040B1 (ja) * 2001-04-24 2002-07-02 松下電器産業株式会社 車載カメラの画像合成表示方法及びその装置
TWI246665B (en) * 2001-07-12 2006-01-01 Ding-Jang Tzeng Method for aiding the driving safety of road vehicle by monocular computer vision
JP4934308B2 (ja) * 2005-10-17 2012-05-16 三洋電機株式会社 運転支援システム
JP4976685B2 (ja) 2005-11-21 2012-07-18 日産自動車株式会社 画像処理装置
US8098956B2 (en) * 2007-03-23 2012-01-17 Vantana Medical Systems, Inc. Digital microscope slide scanning system and methods
JP2009017020A (ja) * 2007-07-02 2009-01-22 Nissan Motor Co Ltd 画像処理装置及び表示画像生成方法
US9495876B2 (en) * 2009-07-27 2016-11-15 Magna Electronics Inc. Vehicular camera with on-board microcontroller
JP5108840B2 (ja) * 2009-07-29 2012-12-26 クラリオン株式会社 車両用周辺監視装置および車両用周辺画像表示方法
JP2011057139A (ja) * 2009-09-11 2011-03-24 Denso Corp 運転支援装置
JP2011115404A (ja) * 2009-12-03 2011-06-16 Canon Inc X線画像合成装置、およびx線画像合成方法
US20120249789A1 (en) * 2009-12-07 2012-10-04 Clarion Co., Ltd. Vehicle peripheral image display system
JP5505702B2 (ja) * 2010-02-24 2014-05-28 アイシン精機株式会社 車両周辺監視装置
WO2012102392A1 (ja) * 2011-01-27 2012-08-02 京セラ株式会社 車両の走行支援装置
US9723272B2 (en) * 2012-10-05 2017-08-01 Magna Electronics Inc. Multi-camera image stitching calibration system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11082631B2 (en) 2018-04-03 2021-08-03 Aisin Seiki Kabushiki Kaisha Image processing device
US11523053B2 (en) 2018-04-03 2022-12-06 Aisin Corporation Image processing apparatus

Also Published As

Publication number Publication date
CN103854260B (zh) 2019-03-15
US20140160275A1 (en) 2014-06-12
US9598105B2 (en) 2017-03-21
CN103854260A (zh) 2014-06-11
JP2014110627A (ja) 2014-06-12

Similar Documents

Publication Publication Date Title
JP6115104B2 (ja) 車両の制御装置、及び制御方法
JP6094266B2 (ja) 駐車支援装置、駐車支援方法およびプログラム
US9973734B2 (en) Vehicle circumference monitoring apparatus
US9902427B2 (en) Parking assistance device, parking assistance method, and non-transitory computer readable medium storing program
JP7222254B2 (ja) 周辺表示制御装置
JP7039879B2 (ja) 表示制御装置
JP6760122B2 (ja) 周辺監視装置
JP7211047B2 (ja) 路面検出装置および路面検出プログラム
JP6554866B2 (ja) 画像表示制御装置
WO2019058585A1 (ja) 表示制御装置
JP2018036444A (ja) 表示制御装置
JP2019054420A (ja) 画像処理装置
CN110997409B (zh) 周边监控装置
US10922977B2 (en) Display control device
CN111034188B (zh) 周边监控装置
JP6711151B2 (ja) 運転支援装置
JP7400326B2 (ja) 駐車支援装置、駐車支援方法、および、駐車支援プログラム
JP7259914B2 (ja) 周辺監視装置
JP6965563B2 (ja) 周辺監視装置
JP6601097B2 (ja) 表示制御装置
JP2019018616A (ja) 駐車支援用表示制御装置、駐車支援システム、方法及びプログラム
JP2018037881A (ja) 周辺監視装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161028

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170306

R151 Written notification of patent or utility model registration

Ref document number: 6115104

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151