JP6607163B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP6607163B2
JP6607163B2 JP2016199184A JP2016199184A JP6607163B2 JP 6607163 B2 JP6607163 B2 JP 6607163B2 JP 2016199184 A JP2016199184 A JP 2016199184A JP 2016199184 A JP2016199184 A JP 2016199184A JP 6607163 B2 JP6607163 B2 JP 6607163B2
Authority
JP
Japan
Prior art keywords
image
marker
image processing
processing apparatus
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016199184A
Other languages
English (en)
Other versions
JP2018060459A (ja
Inventor
祐司 石田
謙二 岡野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016199184A priority Critical patent/JP6607163B2/ja
Priority to US16/339,613 priority patent/US10926700B2/en
Priority to DE112017005114.2T priority patent/DE112017005114T5/de
Priority to PCT/JP2017/035816 priority patent/WO2018066510A1/ja
Priority to CN201780061868.4A priority patent/CN109844801A/zh
Publication of JP2018060459A publication Critical patent/JP2018060459A/ja
Application granted granted Critical
Publication of JP6607163B2 publication Critical patent/JP6607163B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本開示は、画像処理装置に関する。
車両と白線との位置関係を把握しやすくするために、撮像装置から取得された撮像画像を処理して表示装置に表示する装置が知られている。例えば、特許文献1では、後方カメラで撮像した後方の撮像画像を後方鳥瞰画像に変換し、後方鳥瞰画像を車両の前方に移動させるようにして、後方鳥瞰画像と車両の位置との位置関係をずらし、車両の側方や前方を推定して示す推定鳥瞰画像を作成する技術が開示されている。つまり、後方鳥瞰画像に含まれる白線は、車両の側方や前方まで同様に続くと推定し、推定鳥瞰画像を作成する。この技術を用いれば、特に車両の前進時に、この推定鳥瞰画像を自車両の位置を示す画像とともにモニタ等に表示することにより、白線に対する車両の位置を容易に把握することができる。
特開2003−006621号公報
特許文献1では、例えば、道路上の白線が欠けている、或いは夜間に白線が不明瞭である場合には、後方鳥瞰画像に含まれる白線も欠けている、或いは不明瞭である。そのため、後方鳥瞰画像から作成される推定鳥瞰画像においても、その白線の画像は欠けたもの或いは不明瞭なものになる。したがって、ドライバはこの推定鳥瞰画像が表示されたモニタを見ても、白線を視認しづらく、車両と白線との位置関係を把握しにくかった。
本開示の一局面は、こうした問題に鑑みてなされたものであり、ドライバが車両と車両の走行路を規定するレーンマーカとの位置関係を把握しやすくすることができる画像処理装置を提供することを目的としている。
本開示の一態様は、画像処理装置(1)であって、画像取得部(1、S1)と、検出部(1、S3)と、表示処理部(1、S11〜S15、S41〜S45、S5)と、を備える。画像取得部は、車両の周辺を撮像する撮像装置(2)から撮像画像を取得するように構成される。検出部は、画像取得部によって取得された撮像画像から、車両の走行路を規定するレーンマーカ(30)を検出するように構成される。表示処理部は、検出部によって検出されたレーンマーカにレーンマーカの視認を支援するためのマーカ画像(31)が重畳するように、マーカ画像が重畳された撮像画像である重畳画像を表示装置(3)に表示させるように構成される。
本開示の画像処理装置によれば、重畳画像を表示装置に表示させることで、ドライバは自車両とレーンマーカとの位置関係を把握しやすくなる。また、例えばレーンマーカが一部欠けている、或いは夜間にレーンマーカが不明瞭である場合にも、マーカ画像によってレーンマーカが補完されるため、ドライバはレーンマーカを視認しやすくなる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
画像処理装置の構成を示すブロック図である。 第1実施形態の画像処理を表すフローチャートである。 第1実施形態の重畳処理を表すフローチャートである。 白線が一部欠けている状態を示す鳥瞰画像である。 図4に示す鳥瞰画像に第1実施形態の画像処理が行われた後の重畳画像である。 夜間に白線が不明瞭である状態を示す図である。 図6に示す鳥瞰画像に第1実施形態の画像処理が行われた後の重畳画像である。 第2実施形態の重畳処理を表すフローチャートである。 白線が一部欠けており、自車両が右車線に移動する状態を示す図である。 白線が一部欠けており、自車両が右車線に移動する状態である場合に、第2実施形態の画像処理が行われた図である。 夜間に白線が不明瞭であり、自車両が右車線に移動する状態を示す図である。 夜間に白線が不明瞭であり、自車両が右車線に移動する状態を示す状態である場合に、第2実施形態の画像処理が行われた図である。
以下、図面を参照しながら、本開示を実施するための形態を説明する。
[1.第1実施形態]
[1−1.画像処理装置1の構成]
画像処理装置1の構成を図1に基づき説明する。画像処理装置1は、車両に搭載される車載装置である。画像処理装置1を搭載する車両を以下では自車両とする。画像処理装置1はECUであり、画像処理装置1には撮像装置2と表示装置3とが接続されている。なお、ECUは、「Electronic Control Unit」の略であり、すなわち電子制御装置の略である。
撮像装置2は、フロントカメラ、左サイドカメラ、右サイドカメラ、及びリアカメラを備えている。フロントカメラは自車両前方の路面が撮像範囲となるように自車両に設置される。左サイドカメラは自車両左側方の路面が撮像範囲となるように自車両に設置される。右サイドカメラは自車両右側方の路面が撮像範囲となるように自車両に設置される。リアサイドカメラは自車両後方の路面が撮像範囲となるように自車両に設置される。各カメラは、予め設定された時間間隔、例えば1/15秒間隔で繰り返し撮像し、撮像画像を画像処理装置1へ出力する。
表示装置3は、液晶や有機EL等の表示画面を有する表示装置である。表示装置は、画像処理装置1から入力される信号に従って画像を表示する。
画像処理装置1は、CPU、RAM、ROM、及びフラッシュメモリ等の半導体メモリを備えた周知のマイクロコンピュータを中心に構成される。画像処理装置1の各種機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、半導体メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、画像処理装置1を構成するマイクロコンピュータの数は1つでも複数でもよい。
画像処理装置1は、CPUがプログラムを実行することで実現される機能の構成として、画像取得処理部4と、映像変換処理部5と、レーンマーカ検出処理部6と、検出結果出力処理部7と、を備える。画像処理装置1を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。
[1−2.画像処理]
画像処理装置1が実行する画像処理について、図2及び図3のフローチャートを用いて説明する。画像処理は、自車両のイグニッションスイッチがオン状態の期間中、例えば1/15秒等の所定の時間間隔で実行される。
図2に示すように、ステップ1では、画像処理装置1は、フロントカメラ、左サイドカメラ、右サイドカメラ、及びリアカメラから撮像画像を取得し、デジタル信号に変換する処理を行う。なお、画像処理装置1はステップ1の処理を実行することで画像取得処理部4として機能する。
続くステップ2では、画像処理装置1は、デジタル信号化された4つの撮像画像を、予め設定された仮想視点から見た鳥瞰画像に変換して合成し、自車両の周辺を映した鳥瞰画像を生成する処理を行う。具体的には、画像処理装置1は、4つの撮像画像に対して周知の鳥瞰変換を施すことで、当該撮影画像を、自車両の上方から見下ろす視点の画像である鳥瞰画像に変換して合成する処理を行う。なお、画像処理装置1はステップ2の処理を実行することで映像変換処理部5として機能する。
続くステップ3では、画像処理装置1は、ステップ2で生成した鳥瞰画像からレーンマーカ30を検出する処理を行う。ここで、レーンマーカ30とは、自車両の走行路を規定するものである。ステップ3では、レーンマーカ30として、路面上にマーキングされ、走行路を規定する白線、及び、主に車道と歩道との間の境界線である道路端が検出される。白線としては、連続した線や破線等が挙げられる。道路端としては、縁石、側溝、及びガードレール等が挙げられる。例えば、図4及び図6に示す鳥瞰画像では、レーンマーカ30として2本の白線が検出される。
レーンマーカ30の検出は、公知の技術を用いて行うことができる。例えば、白線の検出は、鳥瞰画像における輝度を算出し、輝度変換後の画像からエッジを抽出することで行うことができる。道路端の検出は、鳥瞰画像の輝度や色、或いは形状などの情報を手がかりにして行うことができる。なお、画像処理装置1はステップ3の処理を実行することでレーンマーカ検出処理部6として機能する。
続くステップ4では、画像処理装置1は、ステップ3で検出したレーンマーカ30に、当該レーンマーカ30の視認を支援するためのマーカ画像31を重畳する重畳処理を行う。具体的に、マーカ画像31とは、例えば図5及び図7に示すように、レーンマーカ30を明瞭に示すための帯状の画像である。図5は、図4に示す鳥瞰画像上における2本の白線に、2本のマーカ画像31が重畳された重畳画像である。図5に示すように、マーカ画像31は鳥瞰画像上のレーンマーカ30に重なるように配置され、鳥瞰画像上の端から端まで伸びている帯状の画像である。そのため、図4に示すようにレーンマーカ30が欠けている場合でも、このようなマーカ画像31を重畳することで、レーンマーカ30の位置を明瞭に示すことができる。また、図7は、図6に示す鳥瞰画像上における2本の白線に、2本のマーカ画像31が重畳された重畳画像である。図6に示すように夜間にレーンマーカ30が不明瞭である場合でも、マーカ画像31を重畳することで、レーンマーカ30の位置を明瞭に示すことができる。
重畳処理の具体的処理について、図3のフローチャートを用いて説明する。
ステップ11では、画像処理装置1は、変数Nの初期値を0に設定する処理を行う。Nは自然数である。
続くステップ12では、画像処理装置1は、ステップ3で検出したレーンマーカ30の検出数が、変数Nよりも多いか否かを判定する処理を行う。ステップ12で肯定判定されると、ステップ13に進む。ステップ13では、画像処理装置1は、変数Nに1を加算する処理を行う。
続くステップ14では、画像処理装置1は、ステップ3で検出されたN個目のレーンマーカ30に基づいて、自車両から当該レーンマーカ30までの距離と、当該レーンマーカ30の傾きと、を鳥瞰画像から取得する処理を行う。なお、自車両からレーンマーカ30までの距離とは、自車両から帯状のレーンマーカ30の長手方向を示す自車両に近い側の線までの距離である。
続くステップ15では、画像処理装置1は、ステップ14で取得した結果に基づいて、N個目のレーンマーカ30に重畳するマーカ画像31の座標位置を決定する処理を行う。具体的には、画像処理装置1は、帯状のマーカ画像31の長手方向を示す自車両の近い側の線の位置を決定する処理を行う。なお、この線は、鳥瞰画像上の端から端まで伸びている。
続くステップ16では、画像処理装置1は、自車両からN個目のレーンマーカ30までの距離が閾値以下であるか否かを判定する処理を行う。ステップ16で肯定判定されると、ステップ17で画像処理装置1は危険度を強に設定する処理を行う。ステップ16で否定判定されると、ステップ18で画像処理装置1は危険度を弱に設定する処理を行う。なお、ステップ16、ステップ17及びステップ18の処理を、危険度決定処理と称する。
ステップ17又はステップ18の後、ステップ19に進む。ステップ19では、画像処理装置1は、ステップ17及びステップ18で設定された危険度に応じてマーカ画像31の幅を設定する処理を行う。具体的には、画像処理装置1は、危険度が強の場合マーカ画像31の幅を広くなるようにマーカ画像31の表示態様を設定し、危険度が弱の場合マーカ画像31の幅が狭くなるようにマーカ画像31の表示態様を設定する。なお、画像処理装置1は、ステップ15で決定されたマーカ画像31の線の位置から自車両に遠い側への距離を決定することによって、マーカ画像31の幅の広さを設定する処理を行う。
続くステップ20では、画像処理装置1は、ステップ3で検出されたN個目のレーンマーカ30が白線であるか否かを判定する処理を行う。ステップ20で肯定判定されると、ステップ21で白線を示す直線形状のマーカ画像31を鳥瞰画像に描画する処理を行う。ステップ20で否定判定されると、ステップ22で道路端を示す立体形状のマーカ画像31を鳥瞰画像に描画する処理を行う。なお、ステップ20、ステップ21及びステップ22の処理を、重畳描画処理と称する。
ステップ21又はステップ22の後、ステップ12に戻る。ステップ12で、肯定判定される間ステップ13からステップ22の処理が行われ、否定判定されると重畳処理が終了する。
ステップ4の後、ステップ5に進む。ステップ5では、画像処理装置1は、ステップ4でマーカ画像31が重畳された重畳画像を、表示装置3へ出力する処理を行う。なお、画像処理装置1は、ステップ4及びステップ5の処理を実行することにより検出結果出力処理部7として機能する。
ステップ5の後、ステップ1に戻り、画像処理装置1は次に取得された撮像画像に対して画像処理を行う。画像処理装置1はイグニッションスイッチがオフになると画像処理を終了する。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
(1a)第1実施形態の画像処理装置1は、マーカ画像31が重畳された重畳画像を表示装置3に表示させる処理を行う。そのため、レーンマーカ30の位置を明瞭に示すことができる。したがって、ドライバは自車両とレーンマーカ30との位置関係を把握しやすくなる。また、例えばレーンマーカ30が一部欠けている、或いは夜間にレーンマーカ30が不明瞭である場合にも、マーカ画像31によってレーンマーカ30が補完されるため、ドライバはレーンマーカ30を視認しやすくなる。
(1b)第1実施形態の画像処理装置1は、マーカ画像31の表示態様を決定する処理を行う。そのため、マーカ画像31の表示態様を変化させることができる。したがって、任意の表示態様のマーカ画像31が重畳された重畳画像を表示装置3に表示することができる。
(1c)第1実施形態の画像処理装置1は、危険度に応じてマーカ画像の幅を変化させる処理を行う。そのため、ドライバは危険度を認識することができる。したがって、ドライバは、走行路の幅方向における自車両の位置を把握することができる。
(1d)第1実施形態の画像処理装置1は、危険度が強の場合マーカ画像31の幅が広くなる処理を行う。そのため、危険度が強の場合、マーカ画像31を強調して表示することができる。したがって、ドライバは危険度が高い、つまり、自車両が走行路から逸脱しようとしていることを認識しやすくなる。
(1e)第1実施形態の画像処理装置1は、白線又は道路端に応じて、マーカ画像31の表示態様を変化させる処理を行う。そのため、重畳画像において、マーカ画像31が重畳されてレーンマーカ30が隠れてしまったとしても、ドライバはレーンマーカ30の種類を認識することができる。
なお、第1実施形態では、S1が画像取得部としての処理に相当し、S3が検出部としての処理に相当し、S11〜S15、S5が表示処理部としての処理に相当し、S16〜S22が決定部としての処理に相当する。
[2.第2実施形態]
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
前述した第1実施形態では、画像処理装置1は、検出したすべてのレーンマーカ30に重畳するマーカ画像31を表示装置3に表示させる処理を行う。これに対し、第2実施形態では、画像処理装置1は、自車両が車両変更を行う状態であると判定すると、車線変更によって自車両が越えることになると予想されるレーンマーカ30に重畳するマーカ画像31を表示しない処理を行う。
[2−2.画像処理]
第2実施形態の画像処理装置1が、図3に示す第1実施形態の重畳処理に代えて実行する重畳処理について、図8のフローチャートを用いて説明する。なお、図8におけるステップ41からステップ45の処理は、図3におけるステップ11からステップ15の処理と同様であるため、説明を一部簡略化している。
ステップ45の後、ステップ46に進む。ステップ46では、画像処理装置1は危険度決定処理を行う。危険度決定処理は、図3におけるステップ16、ステップ17及びステップ18の処理と同様である。
続くステップ47では、画像処理装置1は、ステップ3で検出されたN個目のレーンマーカ30の位置が自車両よりも右側に存在し、かつ右ウィンカーがオンの状態であるか否かの判定を行う。ステップ47で肯定判定されると、ステップ42に戻る。例えば、図9及び図11に示すように、白線の位置が自車両よりも右側に存在し、かつ右ウィンカーがオンの状態の場合、つまり、自車両が右車線に移動する状態である場合、図10及び図12に示すように、当該白線にマーカ画像31は重畳されない。ステップ47で否定判定されると、ステップ48に進む。
ステップ48では、画像処理装置1は、ステップ3で検出されたN個目のレーンマーカ30の位置が自車両よりも左側に存在し、かつ左ウィンカーがオンの状態であるか否かの判定を行う。ステップ48で肯定判定されると、ステップ42に戻る。つまり、自車両が左車線に移動する状態であると判定されると、当該レーンマーカ30にマーカ画像31は重畳されない。ステップ48で否定判定されると、ステップ49に進む。なお、ステップ47及びステップ48の処理を、非表示決定処理と称する。
ステップ49では、画像処理装置1は、ステップ46で設定された危険度に応じてマーカ画像31の幅を設定する処理を行う。
続くステップ50では、画像処理装置1が重畳描画処理を行う。重畳描画処理は、図3におけるステップ20、ステップ21及びステップ22の処理の同様である。
ステップ50の後、ステップ42に戻る。ステップ42で否定判定されると重畳処理が終了する。
[2−3.効果]
以上詳述した第2実施形態によれば、前述した第1実施形態の効果を奏し、さらに、以下の効果を奏する。
(2a)第2実施形態の画像処理装置1は非表示決定処理を行う。そのため、車線変更によって自車両が越えることになると予想されるレーンマーカ30に重畳するマーカ画像31が表示装置3に表示されない。車線変更時にマーカ画像31が表示されていると、ドライバは車線変更しにくいと感じるが、マーカ画像31が表示されないため、ドライバは抵抗感なく車線変更をすることができる。また、車線変更時にマーカ画像31が表示されていると、車線変更に伴い危険度が強を示すマーカ画像31が表示されるが、マーカ画像31が表示されないため、ドライバに危険度が強という情報を積極的に知らせなくすることができる。
なお、第2実施形態では、S41〜S45が表示処理部としての処理に相当し、S46、S49及びS50が決定部としての処理に相当し、S47及びS48が判定部としての処理に相当する。
[3.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(3a)上記実施形態では、画像処理対象として、鳥瞰画像に対して画像処理が行われる例を示したが、画像処理対象はこれに限定されるものではなく、撮像画像に対して画像処理を行ってもよい。
(3b)上記実施形態では、画像処理装置1が危険度に応じてマーカ画像31の幅を設定する処理を行う例を示したが、マーカ画像の表示態様の設定はこれに限定されるものではない。マーカ画像の表示態様としては、例えば、マーカ画像の色、透過率、及び点滅速度等が挙げられる。具体的には、危険度が高くなると、マーカ画像が段階的に赤色になる、或いは透過率が低くなる、或いは点滅速度が速くなってもよい。
(3c)上記実施形態では、重畳描画処理として、レーンマーカ30が白線か道路端かに応じてマーカ画像31の表示態様を変化させる処理の例を示したが、重畳描画処理はこれに限定されるものではない。重畳描画処理は、白線又は道路端の種類に応じてマーカ画像の表示態様を変化させる処理であってもよい。例えば、白線が破線の場合、マーカ画像は破線であってもよい。
(3d)上記実施形態では、危険度決定処理として、自車両とレーンマーカ30との距離に応じて危険度の設定を行う例を示したが、危険度決定処理はこれに限定されるものではない。危険度決定処理は、レーンマーカの種類に応じて危険度を設定してもよい。例えば、破線等のラインで示されるように車線変更が許可されている場合には危険度を弱に設定し、黄色等のラインで示されるように車線変更が許可されていない場合には危険度を強に設定してもよい。
(3e)上記実施形態の画像処理装置1は、鳥瞰画像の輝度を判定して、判定した輝度に応じてマーカ画像を最適な輝度に変更してもよい。例えば、マーカ画像を鳥瞰画像と同じ位の輝度にする。これにより、輝度の差が少ない重畳画像が表示装置に表示されるため、ドライバの目に優しい重畳画像を提供することができる。
(3f)上記実施形態では、画像処理の範囲として、鳥瞰画像全体に対して画像処理が行われる例を示したが、画像処理の範囲はこれに限定されるものではない。画像処理の範囲は、例えば、鳥瞰画像の車両に近い部分であってもよい。これにより、鳥瞰画像全体に対して画像処理が行われる場合に比べて、処理時間が低減される。
(3g)上記実施形態では、撮像装置2として、フロントカメラ、左サイドカメラ、右サイドカメラ、及びリアカメラの4つのカメラを用いる例を示したが、撮像装置はこれに限定されるものではなく、1つ以上のカメラを用いてもよい。
(3h)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
(3i)上述した画像処理装置1の他、当該画像処理装置1を構成要素とするシステム、上述した画像処理をコンピュータに実行させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法など、種々の形態で本開示を実現することもできる。
1…画像処理装置、2…撮像装置、3…表示装置、30…レーンマーカ、31…マーカ画像。

Claims (5)

  1. 車両の周辺を撮像する撮像装置(2)から撮像画像を取得するように構成された画像取得部(1、S1)と、
    前記画像取得部によって取得された前記撮像画像から、前記車両の走行路を規定するレーンマーカ(30)を検出するように構成された検出部(1、S3)と、
    前記検出部によって検出された前記レーンマーカに前記レーンマーカの視認を支援するためのマーカ画像(31)が重畳するように、前記マーカ画像が重畳された前記撮像画像である重畳画像を表示装置(3)に表示させるように構成された表示処理部(1、S11〜S15、S41〜S45、S5)と、
    前記車両が車線変更を行う状態であるか否かを判定する判定部(1、S47、S48)と、
    を備え
    前記表示処理部は、前記判定部によって前記車両が車線変更を行う状態であると判定された場合、車線変更によって前記車両が越えることになると予想される前記レーンマーカに重畳する前記マーカ画像を表示しないように構成された、
    画像処理装置(1)。
  2. 請求項1に記載の画像処理装置であって、
    前記マーカ画像の表示態様を決定するように構成された決定部(1、S16〜S22、S46、S49、S50)を更に備え、
    前記表示処理部は、前記決定部によって決定された表示態様に基づく前記重畳画像を前記表示装置に表示させるように構成された、画像処理装置。
  3. 請求項2に記載の画像処理装置であって、
    前記決定部(1、S16〜S19、S46、S49)は、前記車両と前記レーンマーカとの距離を算出し、算出した距離に応じて前記マーカ画像の表示態様を変化させるように構成された、画像処理装置。
  4. 請求項3に記載の画像処理装置であって、
    前記決定部は、前記算出した距離が一定以下である場合の前記マーカ画像の幅が、前記算出した距離が一定以下でない場合の前記マーカ画像の幅よりも広くなるように、前記マーカ画像の表示態様を変化させるように構成された、画像処理装置。
  5. 請求項2から請求項4までのいずれか1項に記載の画像処理装置であって、
    前記決定部(1、S20〜S22、S50)は、前記検出部によって検出された前記レーンマーカの種類に応じて前記マーカ画像の表示態様を変化させるように構成された、画像処理装置。
JP2016199184A 2016-10-07 2016-10-07 画像処理装置 Active JP6607163B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016199184A JP6607163B2 (ja) 2016-10-07 2016-10-07 画像処理装置
US16/339,613 US10926700B2 (en) 2016-10-07 2017-10-02 Image processing device
DE112017005114.2T DE112017005114T5 (de) 2016-10-07 2017-10-02 Bildverarbeitungsvorrichtung
PCT/JP2017/035816 WO2018066510A1 (ja) 2016-10-07 2017-10-02 画像処理装置
CN201780061868.4A CN109844801A (zh) 2016-10-07 2017-10-02 图像处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016199184A JP6607163B2 (ja) 2016-10-07 2016-10-07 画像処理装置

Publications (2)

Publication Number Publication Date
JP2018060459A JP2018060459A (ja) 2018-04-12
JP6607163B2 true JP6607163B2 (ja) 2019-11-20

Family

ID=61831831

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016199184A Active JP6607163B2 (ja) 2016-10-07 2016-10-07 画像処理装置

Country Status (5)

Country Link
US (1) US10926700B2 (ja)
JP (1) JP6607163B2 (ja)
CN (1) CN109844801A (ja)
DE (1) DE112017005114T5 (ja)
WO (1) WO2018066510A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018004891T5 (de) * 2017-09-01 2020-06-10 Sony Corporation Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren, programm und mobiler körper

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3206184B2 (ja) * 1993-02-22 2001-09-04 いすゞ自動車株式会社 車線逸脱警報装置
JP4637408B2 (ja) 2001-06-20 2011-02-23 株式会社デンソー 車両周辺画像処理装置及び記録媒体
WO2005055189A1 (en) * 2003-12-01 2005-06-16 Volvo Technology Corporation Perceptual enhancement displays based on knowledge of head and/or eye and/or gaze position
US7526103B2 (en) * 2004-04-15 2009-04-28 Donnelly Corporation Imaging system for vehicle
JP4882285B2 (ja) * 2005-06-15 2012-02-22 株式会社デンソー 車両用走行支援装置
US8559675B2 (en) * 2009-04-23 2013-10-15 Panasonic Corporation Driving support device, driving support method, and program
JP6142784B2 (ja) * 2013-11-27 2017-06-07 株式会社デンソー 運転支援装置
JP6084598B2 (ja) * 2014-11-17 2017-02-22 本田技研工業株式会社 標識情報表示システム及び標識情報表示方法
JP2016199184A (ja) 2015-04-13 2016-12-01 株式会社タンクテック タンクローリ

Also Published As

Publication number Publication date
US20200039437A1 (en) 2020-02-06
WO2018066510A1 (ja) 2018-04-12
CN109844801A (zh) 2019-06-04
DE112017005114T5 (de) 2019-06-27
JP2018060459A (ja) 2018-04-12
US10926700B2 (en) 2021-02-23

Similar Documents

Publication Publication Date Title
EP3125212B1 (en) Vehicle warning device
WO2016002163A1 (ja) 画像表示装置、画像表示方法
JP5414588B2 (ja) 車両運転支援用処理装置及び車両運転支援装置
JP5966965B2 (ja) 車線境界線逸脱抑制装置及び車線境界線逸脱抑制方法
JP6307895B2 (ja) 車両用周辺監視装置
CN106660495B (zh) 车辆用显示装置以及车辆用显示方法
JP6457278B2 (ja) 物体検出装置及び物体検出方法
EP2928182B1 (en) Onboard image processing system
JP6680170B2 (ja) 運転支援装置及び運転支援方法
JP7077616B2 (ja) 表示制御装置および表示制御方法
JP2009226978A (ja) 車両用周囲監視装置
JP2018097431A (ja) 運転支援装置、運転支援システム及び運転支援方法
JP6152261B2 (ja) 車載用駐車枠認識装置
JP2019012309A (ja) 駐車枠検出装置及び駐車枠検出方法
JP6607163B2 (ja) 画像処理装置
JP2009230225A (ja) 車両用周囲監視装置
JP6148848B2 (ja) 車載画像処理装置
WO2019155868A1 (ja) 画像生成装置および画像生成方法
JP6032141B2 (ja) 走行路面標示検知装置および走行路面標示検知方法
JP2017182139A (ja) 判定装置、判定方法、および判定プログラム
JP2010184606A (ja) 車両周辺表示装置
JP2008042759A (ja) 画像処理装置
JP4715604B2 (ja) 周辺画像表示装置
JP2008230358A (ja) 表示装置
EP3396620B1 (en) Display control device and display control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191007

R151 Written notification of patent or utility model registration

Ref document number: 6607163

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250