JPWO2019111307A1 - 表示制御装置及び表示制御方法 - Google Patents

表示制御装置及び表示制御方法 Download PDF

Info

Publication number
JPWO2019111307A1
JPWO2019111307A1 JP2019557727A JP2019557727A JPWO2019111307A1 JP WO2019111307 A1 JPWO2019111307 A1 JP WO2019111307A1 JP 2019557727 A JP2019557727 A JP 2019557727A JP 2019557727 A JP2019557727 A JP 2019557727A JP WO2019111307 A1 JPWO2019111307 A1 JP WO2019111307A1
Authority
JP
Japan
Prior art keywords
vehicle
control device
display control
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019557727A
Other languages
English (en)
Other versions
JP6824439B2 (ja
Inventor
克治 淺賀
克治 淺賀
下谷 光生
光生 下谷
中村 好孝
好孝 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2019111307A1 publication Critical patent/JPWO2019111307A1/ja
Application granted granted Critical
Publication of JP6824439B2 publication Critical patent/JP6824439B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)

Abstract

ぼかし領域などが施される領域を適切に変更可能な技術を提供することを目的とする。表示制御装置1は、取得部11と、制御部12とを備える。取得部11は、車両周辺の撮影画像を取得する。制御部12は、撮影画像とオブジェクト情報とに基づいて、撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求める。そして、制御部12は、表示装置21の表示において、部分領域の表示態様を、残部領域の表示態様と異ならせる制御を行う。

Description

本発明は、表示装置を制御する表示制御装置及び表示制御方法に関する。
車両に設けられた撮影装置及び表示装置と協働して、車両周辺を表示する制御を行う表示制御装置が提案されている。また、このような表示制御装置を、例えば、ドアミラーの鏡像と同様の画像を表示する電子ミラーシステム、または、車両前方の画像を表示するシステムなどに用いることも提案されている。
これらのシステムにおいては、運転操作にとって重要度が高い画像を、重要度が低い画像に比べて視認性を高める試みがなされている。例えば、特許文献1の技術では、車両後側方の画像を撮影し、当該画像の領域のうち車両の側方で、かつ自車から遠い固定の領域にぼかし処理を施す。このような技術によれば、重要度が高い画像、例えば隣接車線を走行している他車両等の画像の視認性を高めることが可能となる。また、上記固定の領域の画像の、車両の移動に伴う移動速度は比較的大きい。このような固定の領域にぼかし処理を施すことにより、移動速度が速い画像が表示されにくくなるので、運転者の目や脳の疲労を低減することも可能となる。
特開2010−135998号公報
しかしながら、特許文献1の技術では、走行車線の形状、及び、自車両周辺の状況にかかわらず、ぼかし処理が行われる領域が固定される。このため、ぼかし処理を施すべきでない隣接車線の移動体等にぼかし処理が施されたり、ぼかし処理を施すべき重要度が低い地物等にぼかし処理が施されなかったりするという問題があった。
そこで、本発明は、上記のような問題点を鑑みてなされたものであり、ぼかし領域などが施される領域を適切に変更可能な技術を提供することを目的とする。
本発明に係る表示制御装置は、表示装置を制御する表示制御装置であって、車両周辺の撮影画像を取得する取得部と、撮影画像と、車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて撮影画像の領域のうち車両の存在する側と逆側の部分領域を求め、表示装置の表示において、部分領域の表示態様を、部分領域以外の撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部とを備える。
本発明によれば、撮影画像と、オブジェクト情報とに基づいて部分領域を求め、表示装置の表示において、部分領域の表示態様を残部領域の表示態様と異ならせる制御を行う。このような構成によれば、ぼかし領域などが施される領域を適切に変更することができる。
本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係る表示制御装置の構成を示すブロック図である。 実施の形態2に係る表示制御装置の構成を示すブロック図である。 ミラーの調整例を説明するための図である。 ミラーの調整例を説明するための図である。 実施の形態2に係る表示制御装置による表示例を示す図である。 実施の形態2に係る表示制御装置による表示例を示す図である。 実施の形態2に係る表示制御装置の動作を示すフローチャートである。 第1関連表示制御装置による表示例を示す図である。 実施の形態2の変形例2に係る表示制御装置による表示例を示す図である。 実施の形態2の変形例2に係る表示制御装置による表示例を示す図である。 実施の形態2の変形例2に係る表示制御装置による表示例を示す図である。 実施の形態2の変形例3に係る表示制御装置による表示例を示す図である。 実施の形態2の変形例3に係る表示制御装置による表示例を示す図である。 実施の形態2の変形例8に係る表示制御装置の構成を示すブロック図である。 実施の形態3に係る表示制御装置の構成を示すブロック図である。 実施の形態3に係る表示制御装置の動作を示すフローチャートである。 実施の形態4に係る表示制御装置の構成を示すブロック図である。 実施の形態4に係る表示制御装置の動作を示すフローチャートである。 実施の形態5に係る表示制御装置の構成を示すブロック図である。 標準的なカメラ及び広角カメラの撮影領域を示す図である。 実施の形態5に係る撮影領域及び撮影画像を示す図である。 実施の形態5に係る撮影領域及び撮影画像を示す図である。 実施の形態5に係る撮影領域及び撮影画像を示す図である。 実施の形態5の変形例1に係る撮影領域及び撮影画像を示す図である。 実施の形態5の変形例2に係る撮影領域及び撮影画像を示す図である。 実施の形態6に係る表示制御装置の構成を示すブロック図である。 実施の形態6に係る表示制御装置による表示例を示す図である。 実施の形態6に係る表示制御装置による表示例を示す図である。 実施の形態7に係る表示制御装置の構成を示すブロック図である。 実施の形態7に係る表示制御装置による表示例を示す図である。 実施の形態7に係る表示制御装置によるぼかし処理を説明するための図である。 実施の形態7に係る表示制御装置の動作を示すフローチャートである。 第2関連表示制御装置による表示を説明するための図である。 実施の形態7の変形例1に係る表示制御装置によるぼかし処理を説明するための図である。 実施の形態7の変形例2に係る表示制御装置によるぼかし処理を説明するための図である。 実施の形態7の変形例2に係る表示制御装置によるぼかし処理を説明するための図である。 実施の形態7の変形例3に係る表示制御装置による表示例を示す図である。 実施の形態7の変形例5に係る表示制御装置によるぼかし処理を説明するための図である。 実施の形態8に係る表示制御装置の構成を示すブロック図である。 実施の形態3に係る表示制御装置による表示例を示す図である。 実施の形態8に係る表示制御装置による表示例を説明するための図である。 実施の形態8に係る表示制御装置による表示例を示す図である。 実施の形態8に係る表示制御装置の動作を示すフローチャートである。 実施の形態8の変形例2に係る表示制御装置による表示例を説明するための図である。 実施の形態8の変形例2に係る表示制御装置による表示例を示す図である。 実施の形態8の変形例3に係る表示制御装置による表示例を示す図である。 その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。
<実施の形態1>
以下、本発明の実施の形態1に係る表示制御装置が搭載され、着目の対象となる車両を「自車両」と記載して説明する。
図1は、本実施の形態1に係る表示制御装置1の構成を示すブロック図である。図1の表示制御装置1は、取得部11と制御部12とを備えており、表示装置21を制御することが可能となっている。
表示装置21は、例えば自車両のインストルメントパネル、または、ダッシュボードなどに配設される。表示装置21には、液晶表示装置、有機EL(electroluminescence)表示装置、LED(Light Emitting Diode)表示装置などの様々な表示装置を用いることができる。
取得部11は撮影画像を取得する。撮影画像は、表示装置21の表示に用いられる画像であり、例えば自車両後方の画像、自車両側方の画像、または、自車両前方の画像などの、自車両周辺の画像である。ドアミラーの表示を行う場合の撮影画像は、自車両後方の画像を左右反転させたミラー表示用の画像である。撮影画像は、カメラなどで撮影された画像の全部であってもよいし、当該画像の一部であってもよい。取得部11は、カメラであってもよいし、各種インターフェースであってもよい。
制御部12は、オブジェクト情報を用いる。オブジェクト情報は、自車両周辺の予め定められたオブジェクトの形状または位置に関する情報である。オブジェクトは、例えば、建物、地物、風景、移動体、車線、または、道路の区画線などである。
オブジェクトの形状に関する情報は、例えば、オブジェクトの形状そのものを示す情報、または、オブジェクトの形状を算出可能な情報などである。オブジェクトの形状そのものを示す情報は、例えばオブジェクトの外郭線を示す情報などである。オブジェクトの形状を算出可能な情報は、例えばオブジェクトの中心線と、オブジェクトの幅とを含む情報などである。
オブジェクトの位置に関する情報は、例えば、オブジェクトの位置そのものを示す情報、または、オブジェクトの位置を算出可能な情報などである。オブジェクトの位置そのものを示す情報は、例えば、オブジェクトが位置する緯度及び経度、または、オブジェクトの自車両に対する相対位置などである。オブジェクトの位置を算出可能な情報は、例えば、オブジェクトの速度または加速度などのオブジェクトの移動に関する物理量、または、オブジェクトの相対速度または相対加速度などのオブジェクトの自車両に対する移動に関する物理量などである。オブジェクト情報は、取得部11が表示制御装置1外部から取得した情報であってもよいし、制御部12が自車両の図示しないECU(Electronic Control Unit)などで管理されている情報に基づいて求めた情報であってもよい。
制御部12は、取得部11で取得された撮影画像と、上記オブジェクト情報とに基づいて撮影画像の領域のうち自車両の存在する側と逆側の部分領域を求める。そして、制御部12は、表示装置21の表示において、部分領域の表示態様を、部分領域以外の撮影画像の領域である残部領域の表示態様と異ならせる制御を行う。
<実施の形態1のまとめ>
以上のような本実施の形態1に係る表示制御装置1では、撮影画像と、オブジェクト情報とに基づいて部分領域を求め、表示装置21の表示において、部分領域の表示態様を残部領域の表示態様と異ならせる制御を行う。このような構成によれば、例えばぼかし処理などが施されることによって残部領域と表示態様が異なることになる部分領域の形状を、オブジェクトの形状または位置によって変更することができる。したがって、ぼかし領域などが施される領域を適切に変更することができる。
なお、撮影画像のうち移動速度が速い画像を高品質で、かつリアルタイムに表示するためには、処理速度が高いカメラなどの撮影装置及び表示装置が必要になる。本実施の形態1では、撮影画像のうち自車両の存在する側と逆側の部分、つまり、自車両の移動に伴う移動速度が速い部分に対してぼかし処理等を施すので、処理速度が通常程度の撮影装置及び表示装置を用いることができる。この結果、それらに要するコストの低減化が期待できる。
<実施の形態2>
図2は、本発明の実施の形態2に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態2に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
図2の表示制御装置1は、左表示装置21aと、右表示装置21bと、カメラ制御装置26cと、周辺検出装置27とに接続されている。
左表示装置21a及び右表示装置21bのそれぞれは、図1の表示装置21に対応している。なお、左表示装置21a及び右表示装置21bの代わりに1つの表示装置が用いられてもよい。以下、左表示装置21aと右表示装置21bとを区別しない場合にはこれらを「表示装置21」と記して説明することもある。
カメラ制御装置26cは、左後側方カメラ26a、及び、右後側方カメラ26bと接続されている。
左後側方カメラ26aは、自車両の左後側方を撮影するカメラであり、左ドアミラーの代わりに自車両に設けられている。右後側方カメラ26bは、自車両の右後側方を撮影するカメラであり、右ドアミラーの代わりに自車両に設けられている。本実施の形態2では、左後側方カメラ26a及び右後側方カメラ26bのそれぞれは、パノラマカメラでも広角カメラでもなく、画角が10度程度の画像を撮影する標準的なカメラであるものとして説明する。
なお、以下の説明では、左後側方カメラ26aで撮影された画像から得られたミラー表示用の画像を「左カメラ画像」と記すこともあり、右後側方カメラ26bで撮影された画像から得られたミラー表示用の画像を「右カメラ画像」と記すこともあり、左カメラ画像と右カメラ画像とを区別しない場合にはこれらを「カメラ画像」と記すこともある。
カメラ制御装置26cは、左後側方カメラ26a及び右後側方カメラ26bのそれぞれに対し、画角及び焦点を変更する制御を適宜行う。このような構成によれば、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲などを適宜調整することが可能である。
図3及び図4は、標準的なドアミラーの鏡像の調整例を示す図である。なお、ここでは、ドアミラーの一般的な調整例について説明するが、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲の調整も、ドアミラーの調整と同様に行われる。
図3に示すように、自車両3の後部から後方30mの位置にあり、自車両3の側部から側方5mの幅の範囲が運転者に視認されるように、ドアミラーは調整される。図4に示すように、右ドアミラー4の鏡面4a左端から鏡面4aの横の長さの1/4程度の範囲にて自車両3のボディが運転者に視認され、かつ、鏡面4a下端から鏡面4aの縦の長さの1/3程度の範囲にて道路5が運転者に視認されるように、右ドアミラー4は調整される。左ドアミラーには、右ドアミラーの調整において左右を逆にした調整が行われる。左右のドアミラーにおいて推奨される調整は、左右のドアミラー及び国別の推奨値、並びに、左右のドアミラーの広さ及び種類などによって異なる。
図2に戻って、カメラ制御装置26cは、左後側方カメラ26a及び右後側方カメラ26bを以上のように制御するだけでなく、左後側方カメラ26a及び右後側方カメラ26bで撮影された左カメラ画像及び右カメラ画像を表示制御装置1に出力する。
周辺検出装置27は、表示制御装置1の外部に設けられている。この周辺検出装置27は、自車両3後方の画像を認識して実施の形態1で説明したオブジェクトを検出し、オブジェクト情報を求める。本実施の形態2では、オブジェクトは、自車両3周辺の車線または自車両3周辺の道路5の区画線であり、オブジェクト情報は、車線の形状または区画線の形状を含む。車線は、道路5を区画線によって区分した部分である。区画線は、道路5に付された線であり、例えば点線白線、実線白線、または、黄色点線などの線である。なお、周辺検出装置27が認識の対象とする画像は、左後側方カメラ26a及び右後側方カメラ26bで撮影された画像であってもよいし、これらとは別のカメラで撮影された画像であってもよい。
次に、図2の表示制御装置1の内部構成について説明する。この表示制御装置1は、画像取得部11aと、オブジェクト情報取得部11bと、ぼかし領域決定部12aと、映像処理部12bとを備える。なお、画像取得部11a及びオブジェクト情報取得部11bの概念は、図1の取得部11に含まれる概念であり、ぼかし領域決定部12a及び映像処理部12bの概念は、図1の制御部12に含まれる概念である。
画像取得部11aは、カメラ制御装置26cからのカメラ画像を、撮影画像として取得する。
オブジェクト情報取得部11bは、周辺検出装置27からオブジェクト情報を取得する。
ぼかし領域決定部12a及び映像処理部12bについては、図5及び図6を用いて以下に説明する。
図5及び図6は、本実施の形態2に係る左表示装置21aの表示例を示す図である。以下の説明では、左カメラ画像に対応する撮影画像を「左の撮影画像」と記すこともあり、右カメラ画像に対応する撮影画像を「右の撮影画像」と記すこともある。また、以下の説明では、主に左の撮影画像2の部分領域2a及び残部領域2bについて説明するが、右の撮影画像2の部分領域2a及び残部領域2bについても以下の説明と同様である。
図5及び図6の例では、左の撮影画像2が左電子ミラーとして表示されている。左の撮影画像2には、自車両3のボディと、道路5と、移動体である他車両6a,6bとが表示されている。道路5の区画線である点線白線5aは、隣接車線を規定する点線白線のうち、自車両3と逆側の点線白線である。他車両6aは、自車両3に対して点線白線5aよりも遠くに位置している。一方、他車両6bは、隣接車線を走行しており、自車両3に対して点線白線5aよりも近くに位置している。
さて、図2のぼかし領域決定部12aは、オブジェクト情報取得部11bで取得されたオブジェクト情報に基づいて点線白線5aの形状を取得する。例えば、周辺検出装置27が認識の対象とする画像が、左後側方カメラ26a及び右後側方カメラ26bで撮影された画像である場合には、ぼかし領域決定部12aは、オブジェクト情報に含まれる点線白線5aの形状をそのまま取得する。また例えば、周辺検出装置27が認識の対象とする画像が、左後側方カメラ26a及び右後側方カメラ26bとは別のカメラで撮影された画像である場合には、ぼかし領域決定部12aは、左後側方カメラ26a及び右後側方カメラ26bの位置と、別のカメラの位置とに基づいて、オブジェクト情報に含まれる点線白線5aの形状を補正する。
ぼかし領域決定部12aは、点線白線5aの形状と、画像取得部11aで取得された撮影画像とに基づいて部分領域2aを求める。本実施の形態2に係るぼかし領域決定部12aは、予め設定された関数を用いて、点線白線5aの形状から点線白線5aの延長線を求め、点線白線5a及び当該延長線によって撮影画像2の領域を2つの領域に区分する。そして、ぼかし領域決定部12aは、当該2つの領域のうち自車両3の存在する側と逆側の1つの領域を部分領域2aとして求め、他方の領域を残部領域2bとして求める。なお、自車両3の存在する側と逆側の1つの領域は、図5及び図6のような左の撮影画像2の場合には上記2つの領域のうちの左側の領域であり、図示しない右の撮影画像2の場合には上記2つの領域のうちの右側の領域である。
図2の映像処理部12bは、部分領域2a内にぼかし処理を施すことにより、部分領域2a内をぼかして表示する態様に部分領域2aの表示態様を変更する。本実施の形態2では、ぼかし処理は、部分領域2aの画像を半透過の灰色の画像に変更する処理であるが、後述するようにこれに限ったものではない。なお、図5等では便宜上、このようなぼかし処理が施された部分領域2aにハッチングが付されている。
映像処理部12bは、ぼかし処理が施された左の撮影画像2の映像信号を左表示装置21aに出力し、ぼかし処理が施された右の撮影画像2の映像信号を右表示装置21bに出力する。
<動作>
図7は、本実施の形態2に係る表示制御装置1の動作を示すフローチャートである。この動作は、例えば自車両のアクセサリー電源がオンになった場合、及び、自車両の駆動源がオンになった場合などに開始される。
まずステップS1にて、画像取得部11aは、左カメラ画像及び右カメラ画像を、撮影画像2として取得する。
ステップS2にて、オブジェクト情報取得部11bは、周辺検出装置27からオブジェクト情報を取得する。
ステップS3にて、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像2と、オブジェクト情報取得部11bで取得されたオブジェクト情報とに基づいて、部分領域2aを求める。
ステップS4にて、映像処理部12bは、部分領域2a内にぼかし処理を施す。
ステップS5にて、映像処理部12bは、ぼかし処理を施された左の撮影画像2の映像信号を左表示装置21aに出力し、ぼかし処理を施された右の撮影画像2の映像信号を右表示装置21bに出力する。その後、ステップS1に処理が戻る。なお、撮影画像に関する以上の処理は、左右同時に実施してもよい。
<実施の形態2のまとめ>
図8は、本実施の形態2に係る表示制御装置1と関連する表示制御装置(以下「第1関連表示制御装置」と記す)の動作を説明するための図である。
図8に示すように、第1関連表示制御装置は、ぼかし処理が施された撮影画像2を表示する制御を行うが、ぼかし処理が施される領域2cは、撮影画像2に対して固定されている。このため、図8に示すように、撮影画像2によっては、領域2cが点線白線5aから大きくずれてしまい、ぼかし処理を施すべき、自車両の走行と関係が低くて重要度が低い他車両6aにぼかし処理が適切に施されないことなどがあった。
これに対して本実施の形態2に係る表示制御装置1では、撮影画像2と、オブジェクト情報とに基づいて部分領域2aを求め、部分領域2a内にぼかし処理を施す。このような構成によれば、他車両6aなどにぼかし処理が適切に施されるように、ぼかし領域が施される領域を適切に変更することができる。
<実施の形態2の変形例1>
実施の形態2では、ぼかし領域決定部12aが、点線白線5aのような区画線の形状に基づいて部分領域2aを求めることについて説明した。しかしながら、ぼかし領域決定部12aは、区画線の形状ではなく車線の形状に基づいて部分領域2aを求めてもよい。また、車線または区画線の形状は、ベルトのような面形状であってもよい。さらに、ぼかし領域決定部12aは、車線または区画線の幅方向の中心を通る中心線に基づいて部分領域2aを求めてもよい。
また、区画線の形状は、1つまたは複数の区画線を有する道路の代表的な線、例えば道路の中心線の形状であってもよい。また、撮影画像内の道路に複数の車線が含まれる場合には、車線の形状は、隣接するいくつかの車線の全体の形状であってもよいし、特定の車線の形状であってもよい。
なお、以下の説明では、車線の形状と区画線の形状とは同義的に表現する場合もある。
<実施の形態2の変形例2>
実施の形態2では、映像処理部12bは、部分領域2a内にぼかし処理を施すことにより、部分領域2a内をぼかして表示する態様に部分領域2aの表示態様を変更した。しかしながら、図9に示すように、映像処理部12bは、部分領域2a内に特定の色で塗りつぶす処理を施すことにより、部分領域2a内を特定の色で表示する態様に部分領域2aの表示態様を変更してもよい。
また、実施の形態2では、ぼかし処理は、部分領域2aの画像を半透過の灰色の画像に変更する処理、つまり、部分領域2a内の画像の色相、明度、彩度などの鮮明度を低減する処理であった。しかしながら、ぼかし処理は、例えば、画像の平滑化処理またはブラー処理などの、画像フィルタリング処理、つまり図10に示すように部分領域2a内の画像の先鋭度を低減する処理であってもよい。また、ぼかし処理は、半透過の表示オブジェクト、または、透過部分を含む模様付きの表示オブジェクトなどの予め定められた表示オブジェクトを部分領域2aに重畳する処理であってもよい。図11には、その一例として、透過部分を含む線状の模様付きの表示オブジェクト2dが部分領域2aに重畳された表示態様が示されている。
<実施の形態2の変形例3>
ぼかし領域決定部12aは、オブジェクトの属性に基づいて部分領域2aの形状を変更してもよい。なお、オブジェクトの属性は、例えば地物、建物及び風景、並びに、これらの色彩などを含む。
例えば図12に示すようにオブジェクトの属性が、空などの風景である場合には、ぼかし領域決定部12aは、部分領域2aの自車両3側の端が点線白線5aの消失点に合うように部分領域2aの形状を変更してもよい。また例えば図13に示すようにオブジェクト属性が、山7などの地物である場合には、ぼかし領域決定部12aは、部分領域2aの上端が地物の下端に合うように部分領域2aの形状を変更してもよい。
また、ぼかし領域決定部12aは、オブジェクトの属性に基づいて部分領域2aの表示態様の種類を変更してもよい。例えば、ぼかし領域決定部12aは、オブジェクトの色彩に基づいて、ぼかし処理に用いる色彩または模様を変更してもよい。また例えば、ぼかし領域決定部12aは、オブジェクトの形状に基づいて、ぼかし処理に用いる色彩または模様を変更してもよい。また例えば、ぼかし領域決定部12aは、オブジェクトの形状または色彩に基づいて、ぼかし処理の度合であるぼかし度合を変更してもよい。
<実施の形態2の変形例4>
実施の形態2では、ぼかし領域決定部12aは、隣接車線の点線白線5aに対して自車両3と反対側の領域を部分領域2aとして求めたが、これに限ったものではない。例えば、ぼかし領域決定部12aは、道路に付設された壁面の領域を部分領域2aとして求めてもよい。または例えば、ぼかし領域決定部12aは、自車両3が走行している車線の反対車線、または、点線白線5aを、車線の1/3程度だけ自車両3と反対側にシフトさせた線を求め、当該線に対して撮影画像上の自車両3と反対側の領域を部分領域2aとして求めてもよい。つまり、部分領域2aと残部領域2bとの間の境界線は、点線白線5aから多少ずれてもよい。以上のように、部分領域2aの算出基準となるオブジェクトは、自車両3と同一方向に移動できない地物であってもよい。
<実施の形態2の変形例5>
オブジェクト情報取得部11bは、自車両の図示しないECU及び車内LAN(Local Area Network)から、自車両の速度を取得してもよい。そして、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、オブジェクト情報取得部11bで取得されたオブジェクト情報及び自車両の速度とに基づいて、部分領域2aを求めてもよい。例えば、ぼかし領域決定部12aは、実施の形態2と同様に撮影画像及びオブジェクト情報に基づいて部分領域2aを求め、自車両の速度が大きくなるほど当該部分領域2aを大きくしてもよい。換言すれば、ぼかし領域決定部12aは、自車両の速度が大きくなるほど、ぼかし処理が施されない残部領域2bを小さくしてもよい。
ところで一般的に、自車両の速度が大きいほど、撮影画像のうち移動速度が速い画像の領域が大きくなるので、運転者の目や脳の疲労が高くなる。本変形例5に係るぼかし領域決定部12aは、自車両の速度が大きくなるほど、ぼかし処理が施される部分領域2aを大きくすることができるので、運転者の目や脳の疲労を抑制することができる。また、処理速度が通常程度の撮影装置及び表示装置を用いることができるので、それらに要するコストの低減化が期待できる。
なお、オブジェクト情報取得部11bは、自車両の速度の代わりに自車両の加速度を取得してもよい。そして、ぼかし領域決定部12aは、オブジェクト情報取得部11bで取得された自車両の加速度を積分して自車両の速度を求めてから、上記と同様の処理を行ってもよい。つまり、オブジェクト情報取得部11bが、自車両の速度及び加速度などの自車両の移動に関する物理量を取得し、ぼかし領域決定部12aが、撮影画像と、オブジェクト情報と、当該物理量とに基づいて、部分領域2aを求めてもよい。
また、映像処理部12bは、自車両の速度が大きいほど、ぼかし度合を高くしてもよい。または、映像処理部12bは、自車両の速度が予め定められた閾値以下である場合には、自車両の速度が大きいほどぼかし度合を高くし、自車両の速度が当該閾値より大きい場合には、自車両の速度が大きいほどぼかし度合を低くしてもよい。この際、映像処理部12bは、自車両が走行している道路である走行道路の制限速度に基づいて閾値を変更してもよい。
<実施の形態2の変形例6>
オブジェクト情報取得部11bは、自車両の車線変更を示す車線変更情報を取得してもよい。車線変更情報は、例えば、車内LANなどから取得可能な車両制御情報、及び、方向指示器などから取得可能な信号などを含む。または、オブジェクト情報取得部11bは、車載情報システムから経路情報を取得して、自車両が走行している車線を予測し、その予測結果に基づいて車線変更情報を求めてもよい。または、自車両に自動運転機能が設けられている場合には、オブジェクト情報取得部11bは、自動運転で用いられる走行計画に基づいて車線変更情報を求めてもよい。
ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、オブジェクト情報取得部11bで取得されたオブジェクト情報及び車線変更情報とに基づいて、部分領域2aを求めてもよい。例えば、ぼかし領域決定部12aは、実施の形態2と同様に撮影画像及びオブジェクト情報に基づいて、左表示装置21a及び右表示装置21bの部分領域2aを求めてから、車線変更情報に基づいて、一方の部分領域2aを、他方の部分領域2aよりも小さくしてもよい。
具体的には、車線変更情報が左折を示す場合には、ぼかし領域決定部12aは、左表示装置21aの部分領域2aを右表示装置21bの部分領域2aよりも小さくして、左表示装置21aのぼかし処理が施されていない残部領域2bを大きくしてもよい。一方、車線変更情報が右折を示す場合には、ぼかし領域決定部12aは、右表示装置21bの部分領域2aを左表示装置21aの部分領域2aよりも小さくして、右表示装置21bのぼかし処理が施されていない残部領域2bを大きくしてもよい。このように自車両が右左折する際、または、自車両が道路分岐点に位置する際に、ぼかし領域決定部12aは、部分領域2aの形状を変更してもよい。
<実施の形態2の変形例7>
映像処理部12bは、走行道路の種類に基づいて部分領域2aに施すべきぼかし処理を変更してもよい。例えば、国によっては、一般道路の道路標識の色と、高速道路の道路標識の色とが異なることがある。このことを考慮して、映像処理部12bは、部分領域2aに施すべきぼかし処理の透過色を、走行道路の道路標識の色に合わせてもよい。
<実施の形態2の変形例8>
図14は、実施の形態2の変形例8に係る表示制御装置1の構成を示すブロック図である。図14の構成では、図2の構成に対して、操作入力装置26dが表示制御装置1の外部に設けられている。
操作入力装置26dは、例えば操作スイッチであり、左後側方カメラ26aが撮影する方向(カメラ方向)を変更するための操作と、右後側方カメラ26bが撮影する方向(カメラ方向)を変更するための操作とを受け付ける。
カメラ制御装置26cは、操作入力装置26dで受け付けた操作に基づいて、左後側方カメラ26a及び右後側方カメラ26bのそれぞれに対し、カメラ方向、画角及び焦点を変更する制御を適宜行う。このような構成によれば、操作入力装置26dにおける操作が適宜行われることによって、左後側方カメラ26a及び右後側方カメラ26bで撮影される範囲などを適宜調整することが可能である。なお、周辺検出装置27が認識の対象とする画像が、左後側方カメラ26a及び右後側方カメラ26bとは別のカメラで撮影された画像である場合には、ぼかし領域決定部12aは、左後側方カメラ26a及び右後側方カメラ26bの位置と、それらのカメラ方向と、別のカメラの位置とに基づいて、オブジェクト情報に含まれるオブジェクトの形状などを補正する。
以上のような構成によれば、ドアミラーの鏡像に対する調整と同様の調整を電子ミラーの表示に対して行うことができる。
<実施の形態3>
図15は、本発明の実施の形態3に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態3に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
図15の構成では、図2の構成に対して、表示制御装置1の外部に設けられていた周辺検出装置27、及び、表示制御装置1の内部に設けられていたオブジェクト情報取得部11bが取り除かれ、画像認識部12cが表示制御装置1の内部に設けられている。なお、画像認識部12cの概念は、図1の制御部12に含まれる概念である。
画像認識部12cは、画像取得部11aで取得された撮影画像の画像認識を行うことによって、当該撮影画像からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。つまり、画像認識部12cは、周辺検出装置27と同様の機能を有している。
<動作>
図16は、本実施の形態3に係る表示制御装置1の動作を示すフローチャートである。この図16の動作は、図7の動作のステップS2及びステップS3をステップS11及びステップS12に変更したものと同様である。このため、ここではステップS11及びステップS12についてのみ説明する。
ステップS11にて、画像認識部12cは、画像取得部11aで取得された撮影画像からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。
ステップS12にて、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、画像認識部12cで求めたオブジェクト情報とに基づいて、部分領域2aを求める。
<実施の形態3のまとめ>
以上のような本実施の形態3に係る表示制御装置1では、撮影画像からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。このような構成によれば、周辺検出装置27を設ける必要がなくなるため、周辺検出装置27に要するコストの低減化が期待できる。また、周辺検出装置27が認識の対象とする画像が、左後側方カメラ26a及び右後側方カメラ26bで撮影された画像であることから、カメラ位置の差異に対する補正処理を省くことができる。
<実施の形態3の変形例>
以上の説明では、部分領域2aが求められる撮影画像は、主にミラー表示用の画像であるものとして説明したが、これに限ったものではない。撮影画像は、例えば、自車両の後側方の画像、自車両の後方の画像、自車両の側方の画像、及び、自車両の前方の画像の少なくとも1つであってもよい。つまり、撮影画像は、後方カメラの画像、または、前方カメラの画像などであってもよい。例えば撮影画像が自車両の側方の画像である場合には、ぼかし領域決定部12aは、撮影画像の上側の領域を部分領域2aとして求めてもよい。
また、撮影画像は、例えば、自車両の後側方の画像、自車両の後方の画像、自車両の側方の画像、及び、自車両の前方の画像の組み合わせからなる、横長形状のパノラマ画像であってもよい。また、撮影画像は、鳥瞰図のようなアラウンドビュー表示用の画像であってもよい。
以上のことは、実施の形態2に係る表示制御装置1、及び、実施の形態3以降に説明する表示制御装置1においても同様である。
<実施の形態4>
図17は、本発明の実施の形態4に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態4に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
図17の構成では、図2の構成に対して、表示制御装置1の外部に設けられていた周辺検出装置27、及び、表示制御装置1の内部に設けられていたオブジェクト情報取得部11bが取り除かれ、道路地図データベース28及び車両位置検出部29が表示制御装置1の外部に設けられている。
道路地図データベース28は、自車両の位置と、車線上から視た区画線の形状とが対応付けられた地図情報が記憶されている。本実施の形態4では、道路地図データベース28は、自車両に設けられている。
車両位置検出部29は、自車両の位置を検出する。車両位置検出部29は、例えばGNSS(Global Navigation Satellite System)受信機、及び、角速度センサなどの車両センサを含む。この車両位置検出部29は、自車両の位置を高精度に検出すること、例えば自車両の位置を50cm程度の誤差で検出することが好ましい。また、車両位置検出部29は、過去の自車両の位置、及び、地図情報に基づいてマップマッチング処理を行うことにより、自車両の位置及び向きを補正してもよい。
ぼかし領域決定部12aは、道路地図データベース28から取得された地図情報と、車両位置検出部29で検出された自車両の位置とに基づいて、自車両の位置に対応する区画線の形状を含むオブジェクト情報を求める。
<動作>
図18は、本実施の形態4に係る表示制御装置1の動作を示すフローチャートである。この図18の動作は、図7の動作のステップS2及びステップS3をステップS21〜S23に変更したものと同様である。このため、ここではステップS21〜S23についてのみ説明する。
ステップS21にて、車両位置検出部29は、自車両の位置を検出する。
ステップS22にて、ぼかし領域決定部12aは、地図情報と、車両位置検出部29で検出された自車両の位置とに基づいて、自車両の位置に対応する区画線の形状を含むオブジェクト情報を求める。
ステップS23にて、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、求めたオブジェクト情報とに基づいて、部分領域2aを求める。
<実施の形態4のまとめ>
以上のような本実施の形態4に係る表示制御装置1では、地図情報と、自車両の位置とに基づいて、自車両の位置に対応する区画線の形状を含むオブジェクト情報を求める。このような構成によれば、例えば他車両などの移動体によって、部分領域2aの算出基準となる点線白線5aなどの区画線が自車両から見えなくても、区画線の形状を予測して部分領域2aを求めることができる。
<実施の形態4の変形例1>
実施の形態4の図17の構成に加えて、周辺検出装置27を設けてもよい。そして、ぼかし領域決定部12aは、周辺検出装置27の検出結果を用いて、実施の形態4で求められる区画線の形状を補正してもよい。このような構成によれば、車両位置検出部29の検出精度及び地図情報の精度が高精度でなくても、それらが高精度である場合と同様の効果を得ることができる。
<実施の形態4の変形例2>
実施の形態4では、ぼかし領域決定部12aは、自車両に設けられた道路地図データベース28の地図情報を用いたが、これに限ったものではない。例えば、表示制御装置1が、表示制御装置1外部のサーバと通信可能である場合には、当該サーバに設けられた道路地図データベースの地図情報を用いてもよい。
<実施の形態4の変形例3>
実施の形態4では、道路地図データベース28及び車両位置検出部29は個別に設けられていたが、これに限ったものではない。例えば、道路地図データベース28及び車両位置検出部29の代わりに、これらを一体化した道路形状出力装置が設けられてもよい。また、この場合にはマップマッチング処理は道路形状出力装置によって行われてもよい。
<実施の形態4の変形例4>
実施の形態4の構成によれば、ぼかし領域決定部12aは区画線の形状を求めることができる。そこで、映像処理部12bは、ぼかし領域決定部12aで求めた区画線の形状の画像を、表示装置21の表示に用いられる撮影画像に付加してもよい。このような構成によれば、他車両などの移動体によって区画線が自車両から実際には見えなくても、表示装置21において区画線の形状を表示することができる。
<実施の形態5>
図19は、本発明の実施の形態5に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態5に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
図19の構成では、図15の構成に対して、表示制御装置1の外部に設けられていた左後側方カメラ26a及び右後側方カメラ26bが取り除かれ、左後側方広角カメラ26e、右後側方広角カメラ26f及び操作入力装置26gが表示制御装置1の外部に設けられている。
図20は、画角が10度である標準的なカメラが撮影可能な領域である撮影領域R1と、画角が25度である広角カメラが撮影可能な領域である撮影領域R2とを示す図である。図19の左後側方広角カメラ26e及び右後側方広角カメラ26fのそれぞれは、標準的なカメラではなく広角カメラであり、左後側方広角カメラ26e及び右後側方広角カメラ26fのそれぞれの撮影領域は、撮影領域R2である。
操作入力装置26gは、左後側方広角カメラ26eで撮影された画像の一部を切り取る切取操作を受け付ける。図21に示すように、画像取得部11aは、操作入力装置26gで受け付けた切取操作に基づいて、左後側方広角カメラ26eで撮影された撮影領域R2から、その一部を撮影画像2として切り取る。同様に、操作入力装置26gは、右後側方広角カメラ26fで撮影された画像の一部を切り取る切取操作を受け付ける。図21に示すように、画像取得部11aは、操作入力装置26gで受け付けた切取操作に基づいて、右後側方広角カメラ26fで撮影された撮影領域R2から、その一部を撮影画像2として切り取る。
図22及び図23は、左後側方広角カメラ26eなどのカメラで撮影された撮影領域R2と、撮影画像2との例を示す図である。操作入力装置26gが、図22の撮影画像2よりも左側に位置する画像を切り取る操作を受け付けた場合、画像取得部11aは、図22の撮影画像2よりも左側に位置する図23の撮影画像2を切り取る。図示しないが同様に、操作入力装置26gが、図22の撮影画像2よりも右側、上側、及び、下側に位置する画像を切り取る操作を受け付けた場合、画像取得部11aは、図22の撮影画像2よりも右側、上側、及び、下側に位置する撮影画像をそれぞれ切り取る。
画像認識部12cは、画像取得部11aで切り取られた撮影画像2からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。
ぼかし領域決定部12aは、画像取得部11aで切り取られた撮影画像2と、画像認識部12cで求めたオブジェクト情報とに基づいて、部分領域2aを求める。なお、図22及び図23では、撮影画像2のうち、ぼかし処理が行われる部分領域に対応する領域にハッチングが付されている。
<実施の形態5のまとめ>
以上のような本実施の形態5に係る表示制御装置1では、実施の形態2の変形例8と同様に、ドアミラーの鏡像に対する調整と同様の調整を電子ミラーの表示に対して行うことができる。また、本実施の形態5によれば、左後側方広角カメラ26eなどのカメラが撮影する方向を変更する電動駆動機構などのハードウェアが不要になるので、実施の形態2の変形例8よりもコスト低減化が期待できる。
<実施の形態5の変形例1>
画像取得部11aは、例えば左表示装置21aなどの表示装置の表示範囲に基づいて撮影画像2の範囲を変更してもよい。図24には、表示範囲の横幅が図22の表示範囲の横幅よりも大きい表示装置を用いた場合の撮影画像2が示されている。
<実施の形態5の変形例2>
実施の形態5では、(1)カメラで撮影された撮影領域を取得する、(2)撮影領域から撮影画像を切り取る、(3)撮影画像の部分領域を求める、(4)部分領域にぼかし領域を施す、という順で処理が行われたが、これに限ったものではない。例えば、図25のように、(1)カメラで撮影された撮影領域R2を仮の撮影画像として取得する、(2)仮の撮影画像の部分領域を求める、(3)部分領域にぼかし領域を施す、(4)仮の撮影画像から撮影画像を切り取る、という順で処理が行われてもよい。
<実施の形態6>
図26は、本発明の実施の形態6に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態6に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
図26の構成では、図19の構成に対して、表示制御装置1の外部に設けられていた左表示装置21a、右表示装置21b、左後側方広角カメラ26e及び右後側方広角カメラ26fが取り除かれ、横長表示装置21c、左後側方カメラ26a、右後側方カメラ26b及び後方カメラ26hが表示制御装置1の外部に設けられている。
横長表示装置21cは、実施の形態2に係る左表示装置21a及び右表示装置21bのそれぞれよりも表示画面の横の長さが長い表示装置である。
左後側方カメラ26a、右後側方カメラ26bは、実施の形態2で説明したとおりである。後方カメラ26hは、自車両真後の画像を撮影する。カメラ制御装置26cは、左後側方カメラ26a、右後側方カメラ26b及び後方カメラ26hで撮影されたミラー表示用の画像を画像取得部11aに出力する。
画像取得部11aは、自車両の左後側方の画像、自車両の右後側方の画像、及び、自車両の後方(真後)の画像の合成し、それによって得られた合成画像を生成する。そして画像取得部11aは、操作入力装置26gで受け付けた切取操作に基づいて、合成画像の一部を撮影画像2として切り取る。
ぼかし領域決定部12aは、画像取得部11aで切り取られた撮影画像2と、画像認識部12cで求めたオブジェクト情報とに基づいて、部分領域2aを求める。映像処理部12bは、部分領域2a内にぼかし処理を施すことにより、部分領域2a内をぼかして表示する態様に部分領域2aの表示態様を変更する。映像処理部12bは、ぼかし処理が施された撮影画像2の映像信号を横長表示装置21cに出力する。図27に自車両が直進車線を走行している場合の横長表示装置21cの表示例を示す。図28に自車両が直進車線を走行している場合の横長表示装置21cの表示例を示す。
<実施の形態6のまとめ>
以上のような本実施の形態6に係る表示制御装置1によれば、自車両の左後側方の画像、自車両の右後側方の画像、及び、自車両の後方の画像を合成して得られる合成画像についても、実施の形態5と同様の効果を得ることができる。
<実施の形態7>
図29は、本発明の実施の形態7に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態7に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
図29の構成では、図2の構成に対して、ぼかし領域決定部12aの代わりにぼかし処理決定部12dが設けられている。ぼかし処理決定部12dは、画像取得部11aで取得された撮影画像とオブジェクト情報とに基づいて、部分領域2a内の第1部分及び第2部分を求める。そして、ぼかし処理決定部12dは、第1部分のぼかし度合と第2部分のぼかし度合とを異ならせる制御を行うことが可能となっている。
図30は、本実施の形態7に係る左表示装置21aの表示例を示す図である。
図30には、自車両が走行している車線である走行車線と、走行車線の左側に隣接する左第1隣接車線と、左第1隣接車線の左側に隣接する左第2隣接車線とが示されている。図30の点線白線5bは、左第1隣接車線を規定する点線白線のうち自車両3と逆側の点線白線である。図30の実線白線5cは、左第2隣接車線を規定する実線白線のうち自車両3と逆側の実線白線である。
図29のぼかし処理決定部12dは、オブジェクト情報取得部11bで取得されたオブジェクト情報に基づいて、点線白線5bの形状と実線白線5cの形状とを取得する。そして、ぼかし処理決定部12dは、点線白線5bの形状と、撮影画像2とに基づいて、点線白線5bに対して自車両3と反対側の領域を、部分領域2aの第1部分2a1として求める。ぼかし処理決定部12dは、実線白線5cの形状と、撮影画像2とに基づいて、実線白線5cに対して自車両3と反対側の領域を、部分領域2aの第2部分2a2として求める。
また、ぼかし処理決定部12dは、第1部分2a1のぼかし度合、及び、第2部分2a2のぼかし度合を互いに異なるように決定する。例えば、ぼかし処理決定部12dは、第1部分2a1の透過率を50%(半透過)に決定し、第2部分2a2の透過率を0%(非透過)に決定する。
映像処理部12bは、ぼかし処理決定部12dで決定されたぼかし度合に基づいて部分領域2aの第1部分2a1及び第2部分2a2内にぼかし処理を施す。図31は、走行車線、左第1隣接車線及び左第2隣接車線に対して、上述の構成により施されるぼかし度合を示す図である。図30及び図31に示すように、第2部分2a2と、撮影画像2での自車両の走行車線との間の距離は、第1部分2a1と、撮影画像2での自車両の走行車線との間の距離との間の距離よりも大きくなっている。そして、本実施の形態7に係るぼかし処理決定部12dは、第2部分2a2のぼかし度合を第1部分2a1のぼかし度合よりも高くしている。
<動作>
図32は、本実施の形態7に係る表示制御装置1の動作を示すフローチャートである。この図32の動作は、図7の動作のステップS3及びステップS4をステップS31〜S33に変更したものと同様である。このため、ここではステップS31〜S33についてのみ説明する。
ステップS31にて、ぼかし処理決定部12dは、画像取得部11aで取得された撮影画像2と、オブジェクト情報取得部11bで取得されたオブジェクト情報とに基づいて、部分領域2aの第1部分2a1を求める。また、ぼかし処理決定部12dは、第1部分2a1のぼかし度合を決定する。
ステップS32にて、ぼかし処理決定部12dは、画像取得部11aで取得された撮影画像2と、オブジェクト情報取得部11bで取得されたオブジェクト情報とに基づいて、部分領域2aの第2部分2a2を求める。また、ぼかし処理決定部12dは、第1部分2a1のぼかし度合と異なる度合を、第2部分2a2のぼかし度合として決定する。
ステップS33にて、映像処理部12bは、ぼかし処理決定部12dで決定されたぼかし度合に基づいて部分領域2aの第1部分2a1及び第2部分2a2内にぼかし処理を施す。
<実施の形態7のまとめ>
図33は、本実施の形態7に係る表示制御装置1と関連する表示制御装置(以下「第2関連表示制御装置」と記す)の動作を説明するための図である。
第2関連表示制御装置は、操舵角に基づいてぼかし度合の勾配を制御する。しかしながら、図33に示すように、車両3aは、Out−In−Outの走行軌跡C1上を走行する場合もあれば、In−Out−Inの走行軌跡C2上を走行する場合もある。ここで、車両3aが同一車線を走行している場合であっても、車両3aの走行軌跡のばらつきによって操舵角の値が異なることになる。このため、第2関連表示制御装置では、同一車線に対してぼかし度合の勾配がばらつく結果、重要度が高い画像の視認性を高めることができないことがあった。
これに対して本実施の形態7に係る表示制御装置1では、撮影画像2とオブジェクト情報とに基づいて、部分領域2a内の第1部分2a1及び第2部分2a2を求める。このように求められた第1部分2a1及び第2部分2a2は、自車両の走行軌跡のばらつきの影響を受けにくいので、重要度が高い画像の視認性を高めることができる。
また本実施の形態7では、自車両の走行車線に遠い第2部分2a2のぼかし度合を、自車両の走行車線に近い第1部分2a1のぼかし度合よりも高くする。このような構成によれば、自車両の走行と関係が低い地物などに対するぼかし度合を高めることができる。
<実施の形態7の変形例1>
図31に示したように、実施の形態7に係るぼかし処理決定部12dは、走行車線、左第1隣接車線及び左第2隣接車線に対するぼかし度合を階段状に変化させたが、これに限ったものではない。例えば、図34に示すように、ぼかし処理決定部12dは、走行車線、左第1隣接車線及び左第2隣接車線に対するぼかし度合を、グラデーションのように連続的に変化させてもよい。
また、実施の形態7に係るぼかし処理決定部12dは、透過率を低くすることによって、ぼかし度合を高めたが、これに限ったものではない。例えば、ぼかし処理決定部12dは、色調の変更を高めること、鮮明度を低減すること、または、画像の先鋭度を低減することによって、ぼかし度合を高めてもよい。
<実施の形態7の変形例2>
図31に示したように、実施の形態7に係るぼかし処理決定部12dは、左第1隣接車線を規定する点線白線5bなどの区画線を、部分領域2aと残部領域2bとの境界線BLとして用いたが、これに限ったものではない。
例えば、図35及び図36に示すように、ぼかし処理決定部12dは、左第1隣接車線などの車線の中心線を、部分領域2aと残部領域2bとの境界線BLとして用いてもよい。また図36に示すように、ぼかし処理決定部12dは、1次関数ではなく他の関数を用いて、走行車線から左第2隣接車線までの間の位置に対するぼかし度合を変化させてもよい。
<実施の形態7の変形例3>
図37に示すように、ぼかし処理決定部12dは、撮影画像2において自車両3と逆側で、かつ、撮影画像2の下側の部分を規定し、当該部分に近づくほど、部分領域2aのぼかし度合を高めてもよい。このような構成によれば、撮影画像2のうち自車両3後方の遠い箇所に相当する部分、つまり、撮影画像2のうち変化が低い部分のぼかし度合を低くすることができる。
<実施の形態7の変形例4>
ぼかし処理決定部12dは、自車両の速度に基づいて部分領域2aと残部領域2bとの境界線BL(図31)を変更してもよい。例えば、ぼかし処理決定部12dは、自車両の速度が小さいほど、自車両と逆側に境界線BLを移動させ、自車両の速度が大きいほど、自車両側に境界線BLを移動させてもよい。つまり、ぼかし処理決定部12dは、実施の形態2の変形例5と同様にして、撮影画像と、オブジェクト情報と、自車両の速度などの自車両の移動に関する物理量とに基づいて、部分領域2aを求めてもよい。
また、ぼかし処理決定部12dは、実施の形態2の変形例6と同様にして、撮影画像及、オブジェクト情報及び車線変更情報に基づいて部分領域2aを変更してもよい。
<実施の形態7の変形例5>
ぼかし処理決定部12dは、実施の形態2の変形例3と同様にして、オブジェクトの属性に基づいて部分領域2aの形状または部分領域2aの表示態様の種類を変更してもよい。例えば、図38に示すように、ぼかし処理決定部12dは、撮影画像2での道路に付設された壁面の領域の透過度を低くすることによって、当該領域のぼかし度合を高くしてもよい。この場合、ぼかし処理は、車線形状や地物によって異なるため、左表示装置21aにおけるぼかし処理後の表示と、右表示装置21bにおけるぼかし処理後の表示とは非対称となる。また例えば、ぼかし処理決定部12dは、壁面の透過率を他の地物の透過率と同じにし、かつ、壁面の色彩を他の地物の色彩と異なるようにしてもよい。
<実施の形態7の変形例6>
ぼかし処理決定部12dは、図34などに示したように部分領域2aにグラデーションのぼかし処理を施す場合に、自車両の速度に基づいて自車両側方における透過率の勾配(グラデーションの変化の度合)を変更してもよい。例えば、ぼかし処理決定部12dは、自車両の速度が小さいほど自車両側方における透過率の勾配を小さくし、自車両の速度が大きいほど自車両側方における透過率の勾配を大きくしてもよい。
また、ぼかし処理決定部12dは、図37に示したように撮影画像2のうち自車両3後方の遠い箇所に相当する部分のぼかし度合を低くする場合に、自車両の速度に基づいて自車両後方の部分における透過率の勾配を変更してもよい。例えば、ぼかし処理決定部12dは、自車両の速度が小さいほど自車両後方の部分における透過率の勾配を小さくし、自車両の速度が大きいほど自車両後方の部分における透過率の勾配を大きくしてもよい。
<実施の形態7の変形例7>
ぼかし処理決定部12dは、オプティカルフローなどによって部分領域2a内の部分について単位時間当たりの変化量を求め、当該変化量に基づいて当該部分のぼかし度合を変更してもよい。例えば、ぼかし処理決定部12dは、部分領域2a内の部分の変化量が大きいほど、当該部分のぼかし度合を高めてもよい。また例えば、ぼかし処理決定部12dは、部分領域2a内の部分の変化量が予め定められた閾値以上である場合に、ぼかし度合の変更を行ってもよい。このような構成によれば、ぼかし処理を適切に行うことができる。
<実施の形態7の変形例8>
実施の形態7で説明した内容は、実施の形態2だけでなく、実施の形態3〜6、及び、実施の形態2〜6の変形例にも適用されてもよい。この際、ぼかし処理決定部12dは、撮影画像2に関する方向たる撮影方向に基づいて、部分領域2aのぼかし度合を変更してもよい。
なお、撮影方向は、実施の形態2の変形例8で説明したカメラ方向であってもよい。この場合、ぼかし処理決定部12dは、カメラ方向が自車両から遠ざかるにつれて、部分領域2aのぼかし度合を高めてもよい。
また、撮影方向は仮想撮影方向であってもよい。仮想撮影方向は、実施の形態5の図21の撮影領域R2における撮影画像2の範囲に対応する方向である。例えば、仮想撮影方向は、具体的には図21の撮影領域R2の右端を基準(0度)とした、撮影画像2の範囲の右端の位置に対応する角度に相当する。この場合、ぼかし処理決定部12dは、仮想撮影方向が自車両から遠ざかるにつれて、部分領域2aのぼかし度合を高めてもよい。これと同じ処理が、広角カメラで撮影された画像を用いる実施の形態5だけでなく、合成画像を用いる実施の形態6にも適用されてもよい。
<実施の形態8>
図39は、本発明の実施の形態8に係る表示制御装置1の構成を示すブロック図である。以下、本実施の形態8に係る構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。
図39の構成では、図15の構成に対して、周辺検出装置27aが表示制御装置1の外部に設けられている。周辺検出装置27aは、他車両の自車両に対する相対位置を検出する。本実施の形態8では、周辺検出装置27aは、自車両から数m程度の範囲内に位置する他車両を検出可能な超音波センサである。画像認識部12cは区画線の認識を行い、周辺検出装置27aは自車両周辺の他車両を検出する。
以下、上述した実施の形態3に係る表示制御装置1と比較して本実施の形態8に係る表示制御装置1について説明する。
図40は、実施の形態3に係る左表示装置21aの表示例を示す図である。図40の例では、左の撮影画像2に、他車両6c,6d,6eが表示されている。他車両6cは、隣接車線を走行しており、自車両3に対して点線白線5aよりも近くに位置している。他車両6d,6eは、自車両3に対して点線白線5aよりも遠くに位置している。
実施の形態3で説明したぼかし領域決定部12aは、撮影画像と、オブジェクト情報とに基づいて、隣接車線の点線白線5aに対して自車両3と反対側の領域を部分領域2aとして求める。このため、図40の他車両6d,6eの両方にぼかし処理が施されている。しかしながら、現実には、他車両6dは自車両3に近いので、他車両6dはぼかし処理の対象から除外されることが好ましい。これに対して本実施の形態8に係る表示制御装置1では、他車両6dをぼかし処理の対象から除外することが可能となっている。
図41は、図40の例における他車両6c,6d,6eと自車両3との位置関係を示す平面図であり、図42は、本実施の形態8に係る左表示装置21aの表示例を示す図である。本実施の形態8では、ぼかし領域決定部12aは、他車両の自車両に対する相対位置に基づいて部分領域2aを変更する。
具体的には、ぼかし領域決定部12aは、実施の形態3で部分領域2aを求めた処理と同様の処理を行うことによって、図41に示される部分領域候補2eを求める。そして、ぼかし領域決定部12aは、部分領域候補2e内の他車両6d,6eの自車両3に対する相対位置に基づいて、他車両6d,6eが、自車両3の近くの範囲に設定された注目範囲8内に位置するか否かを判定する。そして、ぼかし領域決定部12aは、注目範囲8外に位置すると判定された他車両6eにはぼかし処理が施されたままにし、かつ、注目範囲8内に位置すると判定された他車両6dにはぼかし処理が施されないように部分領域候補2eを変更する。
ぼかし領域決定部12aは、変更後の部分領域候補2eを部分領域2aとして求める。この結果、図42に示すように、他車両6dが除かれた部分領域2aにぼかし処理が施されることになる。
<動作>
図43は、本実施の形態8に係る表示制御装置1の動作を示すフローチャートである。この図43の動作は、図7の動作のステップS2及びステップS3をステップS41〜S45に変更したものと同様である。このため、ここではステップS41〜S45についてのみ説明する。
ステップS41にて、画像認識部12cは、画像取得部11aで取得された撮影画像からオブジェクトを認識し、当該認識結果に基づいてオブジェクト情報を求める。
ステップS42にて、ぼかし領域決定部12aは、画像取得部11aで取得された撮影画像と、画像認識部12cで求めたオブジェクト情報とに基づいて、部分領域候補2eを求める。
ステップS43にて、ぼかし領域決定部12aは、部分領域候補2e内に他車両が検出されているか否かを判定する。他車両が検出されていないと判定された場合には処理がステップS44に進み、他車両が検出されたと判定された場合には処理がステップS45に進む。
ステップS44にて、ぼかし領域決定部12aは、部分領域候補2eを部分領域2aとして決定する。その後、処理がステップS4に進む。
ステップS45にて、ぼかし領域決定部12aは、検出された他車両を除くように部分領域候補2eを変更して得られる領域を部分領域2aとして決定する。その後、処理がステップS4に進む。
<実施の形態8のまとめ>
以上のような本実施の形態8に係る表示制御装置1では、他車両の自車両に対する相対位置に基づいて部分領域2aを変更する。このような構成によれば、ぼかし領域などが施される領域を適切に変更することができる。
<実施の形態8の変形例1>
実施の形態8では、ぼかし領域決定部12aは、撮影画像と、区画線の形状を含むオブジェクト情報とに基づいて部分領域2aを暫定的に求め、他車両の自車両に対する相対位置に基づいて部分領域2aを変更したが、これに限ったものではない。
例えば、ぼかし領域決定部12aは、撮影画像と、他車両の自車両に対する相対位置に基づいて、部分領域2aを求めてもよい。つまり、ぼかし領域決定部12aは、撮影画像と、他車両の自車両に対する相対位置を含むオブジェクト情報とに基づいて、部分領域2aを求めてもよい。
また例えば、ぼかし領域決定部12aは、撮影画像と、他車両の形状または属性とに基づいて、部分領域2aを求めてもよい。つまり、ぼかし領域決定部12aは、撮影画像と、他車両の形状または属性を含むオブジェクト情報とに基づいて、部分領域2aを求めてもよい。
<実施の形態8の変形例2>
実施の形態8では、ぼかし領域決定部12aは、隣接車線の点線白線5aに対して自車両3と反対側の領域を、主に部分領域2a及び部分領域候補2eとして求めたが、これに限ったものではない。例えば図44及び図45に示すように、ぼかし領域決定部12aは、隣接車線などの車線の中心線に対して自車両3と反対側の領域を、主に部分領域2a及び部分領域候補2eとして求めてもよい。
<実施の形態8の変形例3>
実施の形態8では、ぼかし領域決定部12aは、図42に示したように他車両6dのみを除くように部分領域2aを変更したが、これに限ったものではない。例えば図46に示すように、ぼかし領域決定部12aは、他車両6dとその周辺領域2fを除くように部分領域2aを変更してもよい。なお、周辺領域2fは、図46の例では残部領域2bと接続されているが、残部領域2bと接続されていない穴状の領域であってもよい。
また、ぼかし領域決定部12aは、移動体の形状または属性に基づいて部分領域2aを変更してもよい。例えば、ぼかし領域決定部12aは、移動体の属性が自動四輪である場合には、自動四輪のみを除くように部分領域2aを変更し、移動体の属性が自動二輪である場合には、自動二輪及びその周辺領域を除くように部分領域2aを変更してもよい。また例えば、ぼかし領域決定部12aは、移動体の形状の面積が予め定められた面積よりも大きい場合には、移動体のみを除くように部分領域2aを変更し、移動体の形状の面積が予め定められた面積よりも小さい場合には、移動体及びその周辺領域を除くように部分領域2aを変更してもよい。
<実施の形態8の変形例4>
実施の形態8で説明した内容は、実施の形態3だけでなく、実施の形態2,4〜7、及び、実施の形態2〜7の変形例にも適用されてもよい。
例えば、実施の形態2の変形例6に実施の形態8を適用してもよい。つまり、ぼかし領域決定部12aは、車線変更情報と、他車両の自車両に対する相対位置とに基づいて部分領域2aを変更してもよい。このような構成によれば、自車両が右左折する場合、または、他車両が図41の注目範囲8に位置する場合に、部分領域2aを小さくすることができる。
例えば、実施の形態2の変形例5に実施の形態8を適用してもよい。つまり、ぼかし領域決定部12aは、自車両の速度と、他車両の自車両に対する相対位置とに基づいて部分領域2aを変更してもよい。このような構成によれば、自車両の速度が小さい場合、または、他車両が図41の注目範囲8に位置する場合に、部分領域2aを小さくすることができる。
また、実施の形態8と実施の形態7とを組み合わせてもよい。例えば、ぼかし処理決定部12dは、撮影画像2のうち図41の注目範囲8内の他車両に、通常の部分領域2aのぼかし度合と異なるぼかし度合でぼかし処理を施してもよい。
<実施の形態8の変形例5>
ぼかし領域決定部12aは、撮影画像2のうち図41の注目範囲8よりも広い準注目範囲(図示せず)内の他車両に、注目範囲8内の他車両のぼかし度合よりも低いぼかし度合でぼかし処理を施してもよい。
また例えば、ぼかし領域決定部12aは、他車両の自車両に対する速度などの、他車両の自車両に対する移動に関する物理量に基づいて、部分領域2aを変更してもよい。また例えば、ぼかし領域決定部12aは、他車両における運転が荒い場合、または、他車両が大型車両などである場合に、当該他車両を除くように部分領域2aを変更してもよい。
<実施の形態8の変形例6>
実施の形態8では、周辺検出装置27aは、超音波センサであるものとして説明したが、これに限ったものではない。周辺検出装置27aは、他車両の自車両に対する相対位置を検出する機能を有すればよく、例えば、光センサ及びミリ波レーダなどであってもよい。また、周辺検出装置27aが、他車両の自車両に対する相対位置を検出するのではなく、画像認識部12cが撮影画像に画像認識を行うことによって他車両の自車両に対する相対位置を検出してもよい。また、実施の形態4のように、ぼかし領域決定部12aが、道路地図データベース28から取得された地図情報と、車両位置検出部29で検出された自車両の位置とに基づいてオブジェクト情報を求め、周辺検出装置27aが、他車両の自車両に対する相対位置を検出してもよい。
<その他の変形例>
上述した図1の取得部11及び制御部12を、以下「取得部11等」と記す。取得部11等は、図47に示す処理回路81により実現される。すなわち、処理回路81は、車両周辺の撮影画像を取得する取得部11と、撮影画像とオブジェクト情報とに基づいて部分領域2aを求め、表示装置21の表示において、部分領域2aの表示態様を、残部領域2bの表示態様と異ならせる制御を行う制御部12と、を備える。処理回路81には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)などが該当する。
処理回路81が専用のハードウェアである場合、処理回路81は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、またはこれらを組み合わせたものが該当する。取得部11等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
処理回路81がプロセッサである場合、取得部11等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリ83に格納される。図48に示すように、処理回路81に適用されるプロセッサ82は、メモリ83に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置1は、処理回路81により実行されるときに、車両周辺の撮影画像を取得するステップと、撮影画像とオブジェクト情報とに基づいて部分領域2aを求め、表示装置21の表示において、部分領域2aの表示態様を、残部領域2bの表示態様と異ならせる制御を行うステップと、が結果的に実行されることになるプログラムを格納するためのメモリ83を備える。換言すれば、このプログラムは、取得部11等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ83は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
以上、取得部11等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部11等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部11については専用のハードウェアとしての処理回路81及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ82としての処理回路81がメモリ83に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
以上のように、処理回路81は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
また、以上で説明した表示制御装置1は、PND(Portable Navigation Device)などのナビゲーション装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、ナビゲーション装置及び通信端末の少なくともいずれか1つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される表示制御システムにも適用することができる。この場合、以上で説明した表示制御装置1の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。例えば、表示制御装置は、図1の表示装置21内に組み込まれてもよいし、表示制御装置と表示装置21とが車載映像処理装置内に一体的に組み込まれてもよい。また例えば、表示制御装置は、実施の形態4に係る道路地図データベース28及び車両位置検出部29(図17)のいずれか一方または両方を備えてもよい。
図49は、本変形例に係るサーバ91の構成を示すブロック図である。図49のサーバ91は、通信部91aと制御部91bとを備えており、車両92のナビゲーション装置93と無線通信を行うことが可能となっている。
取得部である通信部91aは、ナビゲーション装置93と無線通信を行うことにより、車両92周辺の撮影画像を受信する。
制御部91bは、サーバ91の図示しないプロセッサなどが、サーバ91の図示しないメモリに記憶されたプログラムを実行することにより、図1の制御部12と同様の機能を有している。つまり、制御部91bは、撮影画像とオブジェクト情報とに基づいて部分領域を求める。そして、制御部91bは、ナビゲーション装置93の表示において、部分領域の表示態様を、残部領域の表示態様と異ならせる制御を行うための制御信号を生成する。通信部91aは、当該制御信号をナビゲーション装置93に送信する。このように構成されたサーバ91によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。
図50は、本変形例に係る通信端末96の構成を示すブロック図である。図50の通信端末96は、通信部91aと同様の通信部96aと、制御部91bと同様の制御部96bとを備えており、車両97のナビゲーション装置98と無線通信を行うことが可能となっている。なお、通信端末96には、例えば車両97の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末96によれば、実施の形態1で説明した表示制御装置1と同様の効果を得ることができる。
なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。
本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。
1 表示制御装置、2a 部分領域、2a1 第1部分、2a2 第2部分、2b 残部領域、3 自車両、5a,5b 点線白線、5c 実線白線、6a,6b,6c,6d,6e 他車両、11 取得部、12 制御部、21 表示装置。
本発明に係る表示制御装置は、表示装置を制御する表示制御装置であって、車両周辺の撮影画像を取得する取得部と、撮影画像と、車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて撮影画像の領域のうち車両の存在する側と逆側の部分領域を求め、表示装置の表示において、部分領域の表示態様を、部分領域以外の撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部とを備える。部分領域の表示態様は、部分領域内を特定の色で表示する態様、部分領域内の画像の先鋭度を低減する処理が施された態様、部分領域内の画像の鮮明度を低減する処理が施された態様、または、予め定められた表示オブジェクトが部分領域に重畳された態様を含み、制御部は、オブジェクトの属性に基づいて、部分領域の表示態様の種類を変更する。

Claims (19)

  1. 表示装置を制御する表示制御装置であって、
    車両周辺の撮影画像を取得する取得部と、
    前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行う制御部と
    を備える、表示制御装置。
  2. 請求項1に記載の表示制御装置であって、
    前記部分領域の表示態様は、
    前記部分領域内を特定の色で表示する態様、前記部分領域内の画像の先鋭度を低減する処理が施された態様、前記部分領域内の画像の鮮明度を低減する処理が施された態様、または、予め定められた表示オブジェクトが前記部分領域に重畳された態様を含む、表示制御装置。
  3. 請求項2に記載の表示制御装置であって、
    前記制御部は、
    前記オブジェクトの属性に基づいて、前記部分領域の表示態様の種類を変更する、表示制御装置。
  4. 請求項1に記載の表示制御装置であって、
    前記部分領域の表示態様は、ぼかし処理が前記部分領域に施された態様を含み、
    前記制御部は、
    前記撮影画像と前記オブジェクト情報とに基づいて、前記部分領域内の第1部分及び第2部分を求め、前記第1部分のぼかし度合と前記第2部分のぼかし度合とを異ならせる制御を行う、表示制御装置。
  5. 請求項1に記載の表示制御装置であって、
    前記オブジェクトは、車線または道路の区画線を含む、表示制御装置。
  6. 請求項1に記載の表示制御装置であって、
    前記オブジェクトは、前記車両と同一方向に移動できない地物を含む、表示制御装置。
  7. 請求項1に記載の表示制御装置であって、
    前記オブジェクトは、移動体を含み、
    前記オブジェクト情報は、前記移動体の前記車両に対する相対位置を含み、
    前記制御部は、
    前記撮影画像と、前記相対位置とに基づいて前記部分領域を求める、表示制御装置。
  8. 請求項1に記載の表示制御装置であって、
    前記オブジェクトは、移動体を含み、
    前記オブジェクト情報は、前記移動体の形状または属性を含み、
    前記制御部は、
    前記撮影画像と、前記移動体の形状または属性とに基づいて前記部分領域を求める、表示制御装置。
  9. 請求項1に記載の表示制御装置であって、
    前記取得部は、
    前記オブジェクト情報を、前記表示制御装置外部からさらに取得する、表示制御装置。
  10. 請求項1に記載の表示制御装置であって、
    前記制御部は、
    前記取得部で取得された前記撮影画像から前記オブジェクトを認識し、当該認識結果に基づいて前記オブジェクト情報を求める、表示制御装置。
  11. 請求項5に記載の表示制御装置であって、
    前記取得部は、
    前記車線または前記区画線の形状と、前記車両の位置とが対応付けられた地図情報と、前記車両の位置とをさらに取得し、
    前記制御部は、
    前記取得部で取得された前記地図情報及び前記車両の位置に基づいて、前記車線または前記区画線の形状を含む情報を前記オブジェクト情報として求める、表示制御装置。
  12. 請求項1に記載の表示制御装置であって、
    前記取得部は、前記車両の移動に関する物理量をさらに取得し、
    前記制御部は、
    前記撮影画像と、前記オブジェクト情報と、前記物理量とに基づいて、前記部分領域を求める、表示制御装置。
  13. 請求項1に記載の表示制御装置であって、
    前記制御部は、
    移動体の前記車両に対する相対位置、または、前記移動体の前記車両に対する移動に関する物理量に基づいて、前記部分領域を変更する、表示制御装置。
  14. 請求項4に記載の表示制御装置であって、
    前記第2部分と、前記撮影画像での前記車両が走行している車線との間の距離は、前記第1部分と、前記撮影画像での前記車両が走行している車線との間の距離よりも大きく、
    前記制御部は、
    前記第2部分のぼかし度合を前記第1部分のぼかし度合よりも高くする、表示制御装置。
  15. 請求項1に記載の表示制御装置であって、
    前記部分領域の表示態様は、ぼかし処理が前記部分領域に施された態様を含み、
    前記制御部は、
    前記部分領域内の部分について単位時間当たりの変化量を求め、前記変化量に基づいて当該部分のぼかし度合を変更する、表示制御装置。
  16. 請求項1に記載の表示制御装置であって、
    前記部分領域の表示態様は、ぼかし処理が前記部分領域に施された態様を含み、
    前記制御部は、
    前記撮影画像に関する方向たる撮影方向に基づいて、前記部分領域のぼかし度合を変更する、表示制御装置。
  17. 請求項1に記載の表示制御装置であって、
    前記撮影画像は、
    前記車両の後側方の画像、前記車両の後方の画像、前記車両の側方の画像、及び、前記車両の前方の画像の少なくとも1つを含む、表示制御装置。
  18. 請求項1に記載の表示制御装置であって、
    前記撮影画像は、
    前記車両の後側方の画像、前記車両の後方の画像、前記車両の側方の画像、及び、前記車両の前方の画像の組み合わせからなる横長形状の画像を含む、表示制御装置。
  19. 表示装置を制御する表示制御方法であって、
    車両周辺の撮影画像を取得し、
    前記撮影画像と、前記車両周辺の予め定められたオブジェクトの形状または位置に関するオブジェクト情報とに基づいて前記撮影画像の領域のうち前記車両の存在する側と逆側の部分領域を求め、前記表示装置の表示において、前記部分領域の表示態様を、前記部分領域以外の前記撮影画像の領域である残部領域の表示態様と異ならせる制御を行う、表示制御方法。
JP2019557727A 2017-12-05 2017-12-05 表示制御装置及び表示制御方法 Active JP6824439B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/043544 WO2019111307A1 (ja) 2017-12-05 2017-12-05 表示制御装置及び表示制御方法

Publications (2)

Publication Number Publication Date
JPWO2019111307A1 true JPWO2019111307A1 (ja) 2020-04-02
JP6824439B2 JP6824439B2 (ja) 2021-02-03

Family

ID=66750167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019557727A Active JP6824439B2 (ja) 2017-12-05 2017-12-05 表示制御装置及び表示制御方法

Country Status (2)

Country Link
JP (1) JP6824439B2 (ja)
WO (1) WO2019111307A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115119045A (zh) * 2022-01-18 2022-09-27 长城汽车股份有限公司 基于车载多摄像头的视频生成方法、装置及车载设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044996A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 障害物検出装置
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP2015136056A (ja) * 2014-01-17 2015-07-27 株式会社デンソー 運転支援装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003044996A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 障害物検出装置
JP2013187562A (ja) * 2012-03-05 2013-09-19 Nissan Motor Co Ltd 車両用後方視界支援装置
JP2015136056A (ja) * 2014-01-17 2015-07-27 株式会社デンソー 運転支援装置

Also Published As

Publication number Publication date
WO2019111307A1 (ja) 2019-06-13
JP6824439B2 (ja) 2021-02-03

Similar Documents

Publication Publication Date Title
CN107848416B (zh) 显示控制装置、显示装置及显示控制方法
JP6629889B2 (ja) ヘッドアップディスプレイ装置
US20230256824A1 (en) Image processing method of generating an image based on a user viewpoint and image processing device
JP6409337B2 (ja) 表示装置
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
JPWO2019097918A1 (ja) ヘッドアップディスプレイ装置およびその表示制御方法
CN111656775B (zh) 显示控制装置以及显示系统
JP6820561B2 (ja) 画像処理装置、表示装置、ナビゲーションシステム、画像処理方法及びプログラム
KR101573576B1 (ko) Avm 시스템의 이미지 처리 방법
US9849835B2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
US20200317053A1 (en) Head-up display
WO2018134897A1 (ja) 位置姿勢検出装置、ar表示装置、位置姿勢検出方法およびar表示方法
US20220013046A1 (en) Virtual image display system, image display method, head-up display, and moving vehicle
JP6494764B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP6824439B2 (ja) 表示制御装置及び表示制御方法
JP6656493B2 (ja) 表示制御装置及び表示制御方法
JPWO2015182148A1 (ja) 物体検出装置、物体検出装置を設置した車両およびプログラム
KR101637298B1 (ko) 증강 현실을 이용한 차량용 헤드 업 디스플레이 장치
JP6621969B2 (ja) 後側方映像制御装置および後側方映像制御方法
JP2019117581A (ja) 車両
JP2019077302A (ja) 表示制御装置、表示システム及び表示制御方法
JP2018167698A (ja) ヘッドアップディスプレイ装置
JP2022023558A (ja) 運転制御装置、運転制御方法及びプログラム
JP2019043499A (ja) ヘッドアップディスプレイシステム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191024

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210112

R150 Certificate of patent or registration of utility model

Ref document number: 6824439

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250