JP6669569B2 - 車両用周辺監視装置 - Google Patents

車両用周辺監視装置 Download PDF

Info

Publication number
JP6669569B2
JP6669569B2 JP2016075033A JP2016075033A JP6669569B2 JP 6669569 B2 JP6669569 B2 JP 6669569B2 JP 2016075033 A JP2016075033 A JP 2016075033A JP 2016075033 A JP2016075033 A JP 2016075033A JP 6669569 B2 JP6669569 B2 JP 6669569B2
Authority
JP
Japan
Prior art keywords
mirror
image
display
viewpoint
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016075033A
Other languages
English (en)
Other versions
JP2017188744A (ja
Inventor
正憲 小崎
正憲 小崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2016075033A priority Critical patent/JP6669569B2/ja
Priority to US15/237,867 priority patent/US20170282796A1/en
Priority to CN201610818958.0A priority patent/CN107284352B/zh
Publication of JP2017188744A publication Critical patent/JP2017188744A/ja
Application granted granted Critical
Publication of JP6669569B2 publication Critical patent/JP6669569B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B60R2300/605—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint the adjustment being automatic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8046—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for replacing a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)

Description

本発明の実施形態は、車両用周辺監視装置に関する。
車両のサイドミラーの代わりに車両周辺をカメラで撮像し、撮像された映像を運転者に提示する装置が知られている。
例えば、運転者の視点とディスプレイの延長線上にカメラを設置している装置や、運転者の頭の位置によって表示範囲を変更するようにした車両周辺監視システムが提案されている。また、ディスプレイの大きさと位置に合わせて、表示内容の大きさが鏡に見えるように補正した車両表示装置や、障害物によって表示の一部の拡大率を変更するようにした表示システムが提案されている。
しかしながら、これらの装置では、実際に鏡を見ている距離感では表示できていない、という問題があった。
さらに、大きさは実際に鏡を見ている距離感で表示できるにしても、ディスプレイの位置や向きに限定されるものであったり、拡大表示しているだけであったり、実際の距離や位置関係などが分かりづらい、という問題があった。
特開２０１２−２２７６０５号公報 特開平７−１２１７９９号公報 特開２０１０−１７９８５０号公報 特開２０１１−１８８０２８号公報 特開２０１４−２３５６４０号公報 特開２０１５−１３６０５６号公報
本発明が解決しようとする課題は、運転者に対し、表示される映像の距離感、位置関係、方向について容易に認識させることのできる車両用周辺監視装置を提供することである。
実施形態の車両用周辺監視装置は、車両外部周辺を撮像する車外カメラと、映像を表示するディスプレイと、運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部と、前記運転者の視点を検出するためのカメラであって、運転者の視点を含む顔を撮像する視点検出カメラと、を備え、前記画像処理部は、前記視点検出カメラから映像を取得して、運転者の視点の座標を計算する視点座標計算部と、前記車外カメラの車両への取付位置および取付角度の情報、前記ディスプレイの取付位置および取付角度の情報、前記仮想ミラーの位置および角度の情報を保持する環境情報保持部と、前記視点の座標のデータ、前記環境情報保持部で保持する各位置角度情報のデータに基づいて、前記仮想ミラーに表示されるミラー映像を計算するミラー映像計算部と、前記視点の座標のデータおよび前記環境情報保持部で保持する各位置角度情報のデータに基づいて、前記ミラー映像の周囲を囲む前記ミラー枠を計算するミラー枠計算部と、前記ミラー映像の情報および前記ミラー枠の情報に基づいて、前記仮想ミラーに表示する映像を作成するミラー表示映像作成部と、を備え、前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる。
本発明の実施形態に係る車両用周辺監視装置の構成例を示すブロック図である。 車両用周辺監視装置の主要部を示す図である。 本実施形態に係る車両用周辺監視装置における各構成部分の位置関係を説明する図である。 視点から仮想ミラーで反射した直線を説明する図である。 ディスプレイに表示させるミラー枠の映像の変換処理の流れを示すフローチャートである。 ミラー枠に対して目盛を付する変形例を説明する図である。 ミラー枠を表示する線に太さを与える変形例を説明する図である。 ミラー枠を湾曲させて表示させる変形例を説明する図である。 ミラー枠の傍にレンズを表す枠を表示する変形例を説明する図である。 ミラー枠の傍に拡大率を表す枠を表示する変形例を説明する図である。 運転者の目の位置が閾値を超えて移動する変形例を説明する図である。 ディスプレイおよびミラー表示面の配置に係る変形例を説明する図である。 変形例その１０において、車外カメラの位置を変更した変形例を説明する図である。 仮想ミラーの位置の変形例を説明する図である。 ミラー枠表示映像の重畳に係る変形例を説明する図である。 車両の透明化に係る変形例を説明する図である。 運転者によるミラー枠映像の位置や傾きの変更に係る変形例を説明する図である。 複数台の車外カメラを取り付ける変形例を説明する図である。 複数台の車外カメラを取り付ける変形例を説明する図である。
以下、本発明の一実施の形態について、図面を参照して説明する。
図１は、本発明の実施形態に係る車両用周辺監視装置の構成例を示す図である。図１に示すように、車両用周辺監視装置１は、大別すると、車外カメラ２と、視点検出カメラ３と、画像処理部４と、ディスプレイ５を備えている。本実施形態においては、車外カメラ２で撮像した映像を、ディスプレイ５上に３次元位置を特定させたミラー枠を含んだミラー表示映像として表示させ、あたかも実際のミラー（例えば、サイドミラー）を見ている距離感で車両周辺を確認することができるようにするものである。
車外カメラ２は、車両外部周辺を撮像するもので、車両に取付けられる。
視点検出カメラ３は、車両の運転者の視点を検出するためのカメラであって、例えば、運転者の視点を含む顔を撮像する。視点検出カメラ３は、車両の運転席に対向する場所に配置される。尚、運転席に着席する運転者の位置がデフォルトの値として把握でき、運転者の視点も概算値として把握できる場合には、視点検出カメラ３は必須の構成でなくともよい。
画像処理部４は、ディスプレイ５上に表示する映像を作成するものである。本実施形態では、仮想ミラー（後述する）に表示される映像であってミラー枠（後述する）で周囲を囲んだミラー表示映像を作成する。画像処理部４は、例えば、視点座標計算部４１と、環境情報保持部４２と、ミラー映像計算部４３と、ミラー枠計算部４４と、ミラー表示映像作成部４５とから構成することができる。
視点座標計算部４１は、視点検出カメラ３で取得した映像に基づいて、運転者の視点の座標を計算する。計算した視点の座標のデータは、ミラー映像計算部４３に送られる。
環境情報保持部４２は、車外カメラ２の車両への取付位置および取付角度の情報、ディスプレイ５の取付位置および取付角度の情報、仮想ミラーの位置および角度の情報を保持する。ここで、仮想ミラーは、車外カメラ２で撮像した映像を視点から見た映像に幾何変換させる仮想のミラーである。仮想ミラーを設置する位置および角度は、視点やディスプレイ５の取付位置および取付角度を考慮して、任意に設定することができる。
尚、車外カメラ２およびディスプレイ５の取付位置・取付角度は、車種によってある程度限定されるため、デフォルトの値として予め設定しておいてもよい。環境情報保持部４２で保持する各情報は、ミラー映像計算部４３およびミラー枠計算部４４にて参照される。
ミラー映像計算部４３は、視点座標計算部４１から視点の座標のデータ、環境情報保持部４２で保持する各位置角度情報のデータに基づいて、仮想ミラーに表示されるミラー映像を計算する。計算したミラー映像の情報は、ミラー表示映像作成部４５に送られる。
ミラー枠計算部４４は、視点座標計算部４１から視点の座標のデータおよび環境情報保持部４２で保持する各位置角度情報のデータに基づいて、ミラー枠を計算する。ここで、ミラー枠は、ミラー映像の周囲を取り囲む輪郭である。係るミラー枠を表示することにより、ディスプレイ５上のミラー表示映像を見た運転者は、距離感、位置関係、方向の認識を的確に把握することができる。
ミラー枠計算部４４で計算したミラー枠の情報は、ミラー表示映像作成部４５に送られる。
ミラー表示映像作成部４５は、ミラー映像計算部４３からのミラー映像の情報、およびミラー枠計算部４４からのミラー枠の情報に基づいて、ディスプレイ５に表示する映像を作成するものである。作成したミラー表示映像は、ディスプレイ５に送られる。
ディスプレイ５は、ミラー表示映像作成部４５で作成したミラー表示映像を取り込んで、映像を表示するものである。
図２は、本発明の一実施形態に係る車両用周辺監視装置１の主要部を示す図である。本実施形態では、図２に示すように、車外カメラ２の取付位置に仮想ミラーAを配設し、車両の運転者の視点の位置から仮想ミラーAで反射した角度方向を車外カメラ２で撮像している。車外カメラ２で撮像して取得した映像を、仮想ミラーAを利用して視点から見た映像に幾何変換し、ミラー枠を含むミラー表示映像としてディスプレイ５に表示する。これにより、車両の運転者は、実際の鏡（ミラー）を見ている距離感で車両周辺を確認することができる。
次に、以上のように構成した車両用周辺監視装置１の画像処理部による処理について詳述する。
＜各構成部分の位置関係＞
図３は、本実施形態に係る車両用周辺監視装置１における各構成部分の位置関係を説明する図である。尚、図３に示す各構成部分の位置関係は、あくまでも説明のための一例であって、これに限定されるものではない。
図３は、各構成部分を上方から見た様子を示している。視点検出カメラ３の位置を表す座標は、F(Fx, Fy, Fz)で表されている。視点検出カメラ３に対向して、車両の運転者が着席しており、運転者の視点は左右の目の中心に設定する。視点の位置を表す座標は、E(Ex, Ey, Ez)で表されている。
図３に示す例では、車外カメラ２は車両の後方を撮像するように配設されており、その位置を表す座標は、C(Cx, Cy, Cz) で表されている。
運転者の視線方向にディスプレイ５が配設されており、その物理的な中心が、図３に示す例の3次元座標系（x,y,z）を成している。
図３に示す例では、車外カメラ２の各構成部分の位置関係に仮想ミラーAが設定されている。仮想ミラーAは略矩形を成しており、各頂点A1、A2、A3、A4の位置を表す座標は、A1(A1x, A1y, A1z)、A2(A2x, A2y, A2z)、A3(A3x, A3y, A3z)、A4(A4x, A4y, A4z) で表されている。
本実施形態においては、車外カメラ２で撮像した映像を表示するディスプレイ５上に３次元位置を特定させたミラー枠Dを表示させ、あたかも実際のミラー（例えば、サイドミラー）を見ている距離感で車両周辺を確認することができるようにするものである。
ディスプレイ５上に表示されるミラー枠は、仮想ミラーAの各頂点A1、A2、A3、A4の位置を表す座標と、運転者の視点の位置を表す座標とから、その位置を表す座標が決定される。ミラー枠の座標の決定の詳細については後述する。
ミラー枠Dの形状は略矩形に特段限定されるものではないが、ディスプレイ５上に表示されることから、ディスプレイ５の外形サイズよりも小さくなっている。例えば、図３に示す例では、ミラー枠Dの形状が略矩形であるとしたとき、各頂点D1、D2、D3、D4の位置を表す座標は、D1(D1x, D1y, D1z)、D2(D2x, D2y, D2z)、D3(D3x, D3y, D3z)、D4(D4x, D4y, D4z) で表される。
さらに、図３に示す例では、仮想ミラーAの面に対して視点から同じ角度αで反射し、仮想ミラーAから所定距離だけ離れた位置にミラー表示面Bを設置している。ここで、所定距離は、車外カメラ２で車両周辺のどの辺りまで撮像するのかによって設定するのが好適である。このように所定距離を設定することにより、次のように、ミラー表示面Bの３次元位置が特定される。
仮想ミラーAの端から端まで、すなわち各頂点A1、A2、A3、A4を含んで反射した略矩形の領域をミラー表示面Bの領域とする。図３に示す例では、ミラー表示面Bの領域を示すB1、B2、B3、B4の位置を表す座標は、B1(B1x, B1y, B1z)、B2(B2x, B2y, B2z)、B3(B3x, B3y, B3z)、B4(B4x, B4y, B4z)で表されている。
＜各要素の位置を表す座標の算出＞
以下、各要素の位置を表す座標の算出について詳述する。
まず、視点検出カメラ３（図３中では、Fと表記）によって、左右の目の３次元位置を視点検出カメラFの相対位置として特定し、その左右の目の中心位置をディスプレイ５の中心位置基準にした座標をEとする。ディスプレイ５に対する視点検出カメラFの位置角度は、予めメジャーや角度測定器を使用して測定して設定しておくのが好適である。そうすることにより、視点検出カメラFで検出した視点Eの位置を、ディスプレイ５に対する位置に変換することができる。
尚、車両によってディスプレイ５に対する視点Eの位置が決まっている場合やある程度のズレは許容してもよい場合には、ディスプレイ５を基準とした視点Eの位置に関し、視点検出カメラ３（F）を使用せず予めメモリに用意しておいた設定値を使用してもよい。
次に、仮想ミラーAの位置を決定する。仮想ミラーAの位置は、視点Eからディスプレイ５を見てその延長線上に設定する。図３に示すように、運転者が見たい方向(例えば、安全の確認を行いたい方向)が車両の真後ろ（後方）の場合には、真後ろになるように仮想ミラーAの向きを決定する。
この場合、仮想ミラーA上に任意の１点を選び、選んだ点の座標が車両の進行方向に対して真後ろになるように設定する。
仮想ミラーAの面上に位置する４つ角の頂点をそれぞれA1,A2,A3,A4とする。例えば、頂点A1(A1x, A1y,A1z)を通り、法線ベクトルが(Aa, Ab, Ac)であるときの平面の式は下記のようになる。
Aa・(x ―A1x) + Ab・(y ― A1y) + Ac・(z ―A1z) = 0
同様にして、上記の計算式を使用して、仮想ミラーAの４つ角の残りの頂点をそれぞれA2,A3,A4として計算して設定する。
次に、仮想ミラーAの１つの頂点位置A1を用いて計算すると、視点Eと仮想ミラーAを通る直線の式は、媒介変数t を使用して下記のようになる。
x = (Ex―A1x)・t + A1x
y = (Ey―A1y)・t + A1y
z = (Ez―A1z)・t + A1z
ディスプレイ５の面の垂線が車両の進行方向と逆側になるように取り付けられた場合（車両の後方を撮影）の座標はz = 0 であるので、ディスプレイ５上のA1の投影座標D1 は、t = A1z / (A1z―Ez)にした座標になる。
仮想ミラーAの残りの頂点位置A2,A3,A4の座標に対しても同様の処理を行うことにより、ディスプレイ５上のミラー枠Dの各頂点D1, D2, D3, D4 が計算され描画することができる。
尚、ディスプレイ５を斜めに取り付けた場合は、その平面の計算式を作成し上記の直線の式との交点を計算すればよい。ディスプレイ５の平面の位置角度は、車種によって決められていた場合その値を使用すればよい。そうでない場合には、メジャーや角度測定器を使用して測定して設定しておく。
次に、運転者の視点Eから見て仮想ミラーAを鏡（ミラー）として反射した直線の式を計算する。図４は、視点Eから仮想ミラーAで反射した直線を説明する図である。図４に示すように、視点Eを通り仮想ミラーA面と平行な面Gは、下記の式で表される。
Aa・(x ―Ex) + Ab・(y ―Ey) + Ac・(z ―Ez) = 0
((Aa, Ab, Ac)はこの面の法線ベクトル)
仮想ミラーA上の頂点A1を通り仮想ミラーAに対して垂直な直線の式は、媒介変数t を使用して下記のようになる。
x = Aa・t + A1x
y = Ab・t + A1y
z = Ac・t + A1z
この垂直な直線と視点Eを通り仮想ミラーA面と平行な面Gの交点Hを計算する。この交点H(Hx, Hy, Hz)を中心として、視点Eの逆側の座標I(Ix, Iy, Iz)が、視点Eから見て仮想ミラーA上の頂点A1を鏡（ミラー）として反射した先の座標となり、下記の式で表される。
Ix = Hx + (Hx−Ex)
Iy = Hy + (Hy−Ey)
Iz = Hz + (Hz−Ez)
この座標と仮想ミラーA上の頂点A1を通る直線が、視点Eから見て仮想ミラーAを鏡（ミラー）として反射した直線の式になる。
この直線の式の方向を、そのまま車外カメラ２から見える方向に映る座標としてディスプレイ５に表示してもよい。また、仮想ミラーAから反射した面であるミラー表示面Bを用意してもよい。この場合、ミラー表示面Bを表す平面の式は下記のように用意しておく。
Ba・(x ―Bx) + Bb・(y ―By) + Bc・(z ―Bz) = 0
ここで、(Ba, Bb, Bc)はこの平面の法線ベクトル、(Bx, By, Bz)はミラー表示面B上の1 点の座標である。
通常、ミラー表示面Bは、車外カメラ２から距離を離して車両の進行方向に対して垂直に配置する。ミラー表示面Bと視点Eから見て仮想ミラーAを鏡（ミラー）として反射した直線の交点B1を計算する。この座標B1を車外カメラ２から見た座標に変換し、そのカメラ映像上の座標をディスプレイ５に表示する。車外カメラ２から見た方向に対しての映像上の座標は、レンズパラメータや、カメラ取り付け時に行われるキャリブレーションによる外部カメラパラメータを予め測定し設定しておき、その設定値によって計算し特定することができる。
以上のように、本実施形態によれば、ディスプレイ５に仮想ミラーAを介して車両外部の映像を距離や位置の違和感を軽減して表示するので、車両の運転者は、実際の鏡を見ている距離感で車両周辺を確認することができる。
次に、以上のように構成した車両用周辺監視装置１において、ディスプレイ５に表示させるミラー枠Dの映像の変換処理の流れについて説明する。
図５は、ディスプレイ５に表示させるミラー枠Dの映像の変換処理の流れを示すフローチャートである。
まず、環境情報保持部４２から、車外カメラ２、仮想ミラーAおよびディスプレイ５の位置および角度の情報を取得する（ステップＳ５１）。
続いて、仮想ミラーAの配置を３次元座標で設定する（ステップＳ５２）。
次に、車外カメラ２で取得するカメラ映像の変換前の処理を行う（ステップＳ５３）。例えば、車外カメラ２で車両の真後ろ（後方）を撮像する場合の、座標変換処理用のルックアップテーブルを作成しておく。
次に、車外カメラ２からカメラ映像を取得する（ステップＳ５４）。
続いて、カメラ映像の変換処理を実行する（ステップＳ５５）。
カメラ映像の変換処理においては、まず、視点検出カメラ３により視点Eの位置を表す座標を取得する（ステップＳ５５１）。
次に、仮想ミラーAの位置を表す座標と視点Eの位置を表す座標に基づいて、ディスプレイ５上に表示されるミラー枠Dの位置を表す座標を計算する（ステップＳ５５２）。
続いて、視点Eから見て仮想ミラーAを鏡（ミラー）として反射した直線の式を計算する（ステップＳ５５３）。
続いて、反射した直線の式とミラー表示面Bの交点を計算する（ステップＳ５５４）。すべての交点によってミラー表示面Bが特定されることになる。
続いて、上記交点の座標を車外カメラ２から見た座標に変換し、車外カメラ２の映像上の座標に変換（ステップＳ５５５）し、カメラ映像の変換処理を終了する。
次に、変換処理後のデータをディスプレイ５に出力し、ミラー表示映像をディスプレイ５に表示する（ステップＳ５６）。
＜本実施形態の変形例その１＞
次に、本実施形態の変形例について説明する。
上記した所定距離を無限大に設定（無限遠）した場合、視点Eから反射した仮想ミラーAの反射角度と、車外カメラ２から見る角度は同じになるため、車外カメラ２からその角度で表示される領域をディスプレイ５に表示すればよい。このとき、ユーザーが見やすいようにディスプレイ５の傾きをユーザー寄りに傾けておいてもよい。
また、ミラー表示面Bの位置を予め決めておいて、それに合わせて仮想ミラーAの配置と角度を決定してもよい。また、ユーザーが仮想ミラーAの位置や角度やサイズを変えられるようにしておいてもよい。
＜本実施形態の変形例その２＞
図６は、ミラー枠Dに対して目盛を付する変形例を説明する図である。
ディスプレイ５に表示するミラー枠Dに対して、所定間隔で目盛を表示するのが好適である。目盛を付することによって、ディスプレイ５に表示される映像を見た運転者は、距離感をよりつかみ易くなる。尚、目盛の付与の仕方については、運転者の設定に委ねるようにしてもよい。
＜本実施形態の変形例その３＞
図７は、ミラー枠Dを表示する線に太さを与える変形例を説明する図である。
ミラー枠Dを表示する線の太さを一定にしておいて、表示する枠の太さでミラー枠Dの傾きの向きを分かりやすくするのが好適である。また、ミラー枠Dの長辺、短辺それぞれの長さを変えられるようにしてもよい。
係る変形例によれば、ミラー枠Dの映像によりミラーの傾きが分かる。
＜本実施形態の変形例その４＞
図８は、ミラー枠Dを湾曲させて表示させる変形例を説明する図である。図８示すように、ミラー枠Dを、凹形あるいは凸形に湾曲させて表示することも好適である。この際、湾曲具合を変えられるようにしてもよい。また、複数のミラー枠Dを用意し、同じ方向を複数の湾曲で表示してもよい。
係る変形例によれば、ミラー枠Dが湾曲していることから、運転者はミラー枠D映像も湾曲していることを認識し、ミラー枠Dの映像が拡大されていること、あるいは縮小されていることを把握できる。また、複数の拡大率で同時に確認することができる。
＜本実施形態の変形例その５＞
図９は、ミラー枠Dの傍にレンズを表す枠を表示する変形例を説明する図である。図１０は、ミラー枠の傍に拡大率を表す枠を表示する変形例を説明する図である。
ミラー枠D映像の近傍にレンズや拡大率を表す枠の表示を行うことが好適である。また、その拡大具合を変えられるようにしてもよい。
係る変形例によれば、ミラー枠Dの形状が平面でも、広範囲表示や狭い範囲の遠方表示を行い、拡大や縮小していることを把握できる。
＜本実施形態の変形例その６＞
ディスプレイ５を３次元ディスプレイにして構成することも好適である。このようなディスプレイ５において、ミラー枠Dの映像を立体的に表示することにより、奥行きが正しい位置に見えるように表示することが可能となる。
その際、立体視がし易いようにミラー枠Dの枠上の位置によって色を変えたり、ミラー枠Dに模様を描いたりしてもよい。また、ステレオカメラやミリ波レーダーによって車外カメラ２から見た３次元マップを生成し、視点から見た仮想ミラーAを反射した直線とその３次元マップとの交点を計算してその交点のカメラ映像上の座標を表示することにより、表示映像内の位置も正しく表示されるようにしてもよい。その場合、左右の目それぞれに対して、見える映像を計算して映像を作成すればよい。
係る変形例によれば、ミラー枠Dの位置により実際のミラー位置が分かる。また、それにより、反射した先の映像の位置も判別することができる。
＜本実施形態の変形例その７＞
運転者の目の位置をリアルタイムで取得して、取得した目の位置に応じて正しい距離にミラー枠Dの映像を表示することも好適である。
係る変形例によれば、ミラー枠Dの位置により実際のミラー位置がより正確に判別することができる。
＜本実施形態の変形例その８＞
運転者の目の位置をリアルタイムで取得して、表示したいミラー表示映像が所定の方向のみを表示する場合、同じ方向を示すためにミラー枠Dの映像の傾きを上下左右に変えてもよい。
係る変形例によれば、ミラー枠Dの映像の傾きが変わったことにより、ミラー表示映像範囲が変わらないことが分かる。
＜本実施形態の変形例その９＞
図１１は、運転者の目の位置が閾値を超えて移動する変形例を説明する図である。
運転者の目の位置をリアルタイムで取得して、敢えて所定の閾値を超えて大きく左右に移動した場合、ミラーに見える方向がよりその方向を見えるように、ミラー枠Dを傾けて見たい方向を簡単に表示するようにしてもよい。この際、目の位置の移動量が閾値以下の場合には、ミラーの傾きが変わらないようにする。
係る変形例によれば、運転者は、少しの動きでミラーの外側を見ることができ、簡単に広い視野を見ることができる。
＜本実施形態の変形例その１０＞
図１２は、ディスプレイ５およびミラー表示面Bの配置に係る変形例を説明する図である。
ディスプレイ５の延長線上に仮想ミラーAを配置し、視点位置から仮想ミラーAが反射する方向の延長線上の車両位置に車外カメラ２を配置するのが好適である。この場合、ミラー表示面の位置は、なるべく仮想ミラーAから遠くに配置する。もしくは無限遠点にし、車外カメラ２からの角度と視点位置を仮想ミラーAで反射する角度を同じにして表示してもよい。
係る変形例によれば、ディスプレイ５の位置を運転者寄りにすることができ、視線移動を少なくすることができる。表示の角度位置ずれの違和感を軽減される。
＜本実施形態の変形例その１１＞
図１３は、変形例その１０において、車外カメラ２の位置を変更した変形例を説明する図である。
ディスプレイ５の延長線上に仮想ミラーAを配置し、視点位置から仮想ミラーAが反射する逆側方向の延長線上の車両位置に車外カメラ２を配置してもよい。このときミラー表示面Bはなるべく遠くに配置すればよい。もしくは無限遠点にし、車外カメラ２からの角度と視点位置を仮想ミラーAで反射する角度を同じにして表示してもよい。
係る変形例によれば、仮想ミラーAを車両の外や中にも表示することができる。また、表示の角度位置ずれの違和感を軽減される。
＜本実施形態の変形例その１２＞
図１４は、仮想ミラーAの位置の変形例を説明する図である。図１４中、三角形のマークは、道路面に描かれた道路標識の一例を示している。図１４に示すように、仮想ミラーAを車外カメラ２の延長線上ではなくして、ミラー表示面Bを決めた距離、位置にし、仮想ミラーAをその位置が表示できるように傾けて、カメラ映像を変換させて表示してもよい。本変形例では、車外カメラ２を例えば魚眼カメラで構成する。
係る変形例によれば、ディスプレイ５の位置を見やすい位置にしたまま、見たい場所を表示できる。ただし広い範囲や遠い場所は違和感が大きいので、基本的には距離が分かっている地面、例えば道路面を表示することができる。
＜本実施形態の変形例その１３＞
車外カメラ２を２台取り付け、または、深度センサを取り付け、ステレオ視し３次元座標を特定し、見える位置を補正してミラー映像表示してもよい。このとき、左右の目をそれぞれの位置を取得し、３Ｄディスプレイにミラー映像表示してもよい。また、車外カメラ２を２台ではなく、１台の車外カメラ２と深度センサでもよい。
係る変形例によれば、仮想ミラーA位置に車外カメラ２が無くても、仮想ミラーAが車外カメラ２の延長線上でなくても、ミラー表示面Bに関係なく、より正しく距離感を表示することができる。
＜本実施形態の変形例その１４＞
図１５は、ミラー枠表示映像の重畳に係る変形例を説明する図である。図１５に示すように、ミラー枠を表示する映像の中にミラー枠を表示する映像を重ねて表示してもよい。また、ミラー枠を表示する映像は一つのカメラ映像を表示して、重ねて表示するミラー枠の表示映像は別のカメラ映像を表示してもよい。その際、重畳する方のミラー枠の表示映像は、少し上に配置するなどして重畳していない方のミラー枠の表示映像も表示してもよい。
係る変形例によれば、左右反転や上下反転しない映像を表示することができる。また、複数個所を同じ表示で確認することができる。
＜本実施形態の変形例その１５＞
運転者の正面に仮想ミラーAを配置し上に反射させて、真上に別の仮想ミラーAを配置し真下に反射させてトップビュー表示を行ってもよい。
係る変形例によれば、トップビューもミラーで表示できる。
＜本実施形態の変形例その１６＞
図１６は、車両の透明化に係る変形例を説明する図である。図１６に示すように、ミラー枠表示映像の延長線上に車両がある場合、その車両の先の逆側に車外カメラ２を取り付け、車両を透けさせるように表示してもよい。その場合、用意しておいた車両データにより車両を半透明にした表示をしてもよい。
係る変形例によれば、車両が邪魔で見えない死角も表示することができる。
＜本実施形態の変形例その１７＞
ディスプレイ５を、運転席正面ダッシュボードに組み付けられたインストルメントパネル（計器板）や、車載ヘッドアップディスプレイ（HUD）、あるいはヘッドマウントディスプレイにて構成してもよい。
係る変形例によれば、ミラー枠の表示映像と、実際の車外を同時に見ることができる。
＜本実施形態の変形例その１８＞
図１７は、運転者によるミラー枠Dの映像の位置や傾きの変更に係る変形例を説明する図である。図１７に示すように、ミラー枠Dの映像の位置や傾きをスイッチ（図示せず）などにより手動で変更して、それに連動してカメラ映像を表示してもよい。このとき、手のひらの向きに連動して鏡の向きをかえてもよい。また、指を広げたら拡大表示、指を狭くしたら縮小表示としてもよい。車両の進行方向に対して右を向いているミラーは左手で、左を向いているミラーは右手で向きを変えればよい。
係る変形例によれば、運転者がミラー枠Dを見たい方向や大きさを容易に変えられるようになる。
＜本実施形態の変形例その１９＞
図１８、図１９は、複数台の車外カメラ２を取り付ける変形例を説明する図である。図１８に示すように、車外カメラ２を複数台取り付け、視点Eとミラー表示映像位置関係により、カメラ映像を複数表示してもよい。その場合、それぞれの目に映る車外カメラ２やそのカメラ映像の範囲を変えて立体視表示を行ってもよい。
このとき仮想映像位置はなるべく遠くに配置すればよい。もしくは無限遠点にし、視点E位置を仮想ミラーAで反射する角度とその延長線上にある車外カメラ２から同じの角度との表示をしてもよい。その場合、車外カメラ２のつなぎ目は、隣り合う２台の車外カメラ２の視点からの延長線上の中間の角度位置にすればよい。また、２台の車外カメラ２のつなぎ目は同じ映像となる特徴点を検索してスムーズにつなげてもよい。また、２台の車外カメラ２のつなぎ目は、αブレンドして重ねてもよい。また、複数台の車外カメラ２によりステレオ視を行い実際の見える位置に車外映像を補正して表示してもよい。
図１９に示すように、車両の周り方向に複数台取り付けた場合は、ミラー枠D表示は横長にして横方向に車外カメラ２を切り替えて表示すればよい。車両の高さ方向に複数取り付けた場合は、その分ミラー枠D表示の高さを長くして縦方向に車外カメラ２を切り替えて表示すればよい。また、車外カメラ２が壊れた場合には、近くの別の車外カメラ２で補完すればよい。
係る変形例によれば、カメラ映像の距離感が正しく表示できる。広い範囲を一つのミラー表示映像で見ることができる。
＜本実施形態の変形例その２０＞
広い領域のディスプレイ５を用意し、ディスプレイ５上の領域ごとに表示されるミラー映像とその方向をあらかじめ決めておき、視線がディスプレイ５上の特定の領域になったときのみ特定の方向を表示するミラー映像を表示してもよい。
係る変形例によれば、必要ないときに表示されている煩わしさを軽減することができる。また、ディスプレイ５上の視線位置を変えることにより、見たい方向を変更することができる。
＜本実施形態の変形例その２１＞
ナビゲーション情報や車両情報や車外の障害物認識結果により、表示と非表示の切り替えや、特定の領域や障害物を追従して表示してもよい。追従する場合は、仮想ミラーAの位置や角度を変更すればよい。
係る変形例によれば、必要ないときに表示されている煩わしさを軽減することができる。また、例えば交差点などで車両が動いても、交差する道の方向を表示し続けることができる。また、危険な障害物を表示し続けることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
１・・・車両用周辺監視装置
２・・・車外カメラ
３・・・視点検出カメラ
４・・・画像処理部
４１・・・視点座標計算部
４２・・・環境情報保持部
４３・・・ミラー映像計算部
４４・・・ミラー枠計算部
４５・・・ミラー表示映像作成部
５・・・ディスプレイ
F(Fx, Fy, Fz) ・・・視点検出カメラの位置を表す座標
E(Ex, Ey, Ez) ・・・視点の位置を表す座標
C(Cx, Cy, Cz)・・・車外カメラの位置を表す座標
A・・・仮想ミラー
D・・・ミラー枠
B・・・ミラー表示面
H・・・仮想ミラーA面と平行な面Gの交点

Claims (6)

  1. 車両外部周辺を撮像する車外カメラと、
    映像を表示するディスプレイと、
    運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
    前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部と、
    前記運転者の視点を検出するためのカメラであって、運転者の視点を含む顔を撮像する視点検出カメラと、を備え、
    前記画像処理部は、
    前記視点検出カメラから映像を取得して、運転者の視点の座標を計算する視点座標計算部と、
    前記車外カメラの車両への取付位置および取付角度の情報、前記ディスプレイの取付位置および取付角度の情報、前記仮想ミラーの位置および角度の情報を保持する環境情報保持部と、
    前記視点の座標のデータ、前記環境情報保持部で保持する各位置角度情報のデータに基づいて、前記仮想ミラーに表示されるミラー映像を計算するミラー映像計算部と、
    前記視点の座標のデータおよび前記環境情報保持部で保持する各位置角度情報のデータに基づいて、前記ミラー映像の周囲を囲む前記ミラー枠を計算するミラー枠計算部と、
    前記ミラー映像の情報および前記ミラー枠の情報に基づいて、前記仮想ミラーに表示する映像を作成するミラー表示映像作成部と、
    を備え、
    前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
  2. 車両外部周辺を撮像する車外カメラと、
    映像を表示するディスプレイと、
    運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
    前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
    前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠の映像を、目盛を付したミラー枠の映像とし、
    前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
  3. 車両外部周辺を撮像する車外カメラと、
    映像を表示するディスプレイと、
    運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
    前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
    前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠の映像を、前記ミラー枠を表示する線に太さを与えたミラー枠の映像とし、
    前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
  4. 車両外部周辺を撮像する車外カメラと、
    映像を表示するディスプレイと、
    運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
    前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
    前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠の映像を、湾曲させたミラー枠の映像とし、
    前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
  5. 車両外部周辺を撮像する車外カメラと、
    映像を表示するディスプレイと、
    運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
    前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
    前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠の映像を、前記ミラー枠の傍に拡大率を表すシンボルを表示させたミラー枠の映像とし、
    前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
  6. 車両外部周辺を撮像する車外カメラと、
    映像を表示するディスプレイと、
    運転者の視点の位置情報、前記ディスプレイの位置情報、および前記車外カメラで撮像した映像を前記視点から見た映像に幾何変換させる仮想ミラーの位置情報を取得し、
    前記視点の位置情報、前記ディスプレイの位置情報および前記仮想ミラーの位置情報と前記車外カメラの映像に基づいて前記仮想ミラーに表示される前記視点から見たミラー枠を含むミラー表示映像を作成する画像処理部とを備え、
    前記画像処理部は、前記仮想ミラーに表示されるミラー映像の周囲を囲む前記ミラー枠を作成し、前記ミラー表示映像を特定の領域や物体を追従するように前記仮想ミラーの向きを合わせ、
    前記ディスプレイには、前記ミラー枠の映像と前記ミラー枠内に表示される前記ミラー映像を表示させる車両用周辺監視装置。
JP2016075033A 2016-04-04 2016-04-04 車両用周辺監視装置 Active JP6669569B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016075033A JP6669569B2 (ja) 2016-04-04 2016-04-04 車両用周辺監視装置
US15/237,867 US20170282796A1 (en) 2016-04-04 2016-08-16 Vehicle periphery monitoring apparatus
CN201610818958.0A CN107284352B (zh) 2016-04-04 2016-09-12 车辆用周边监视装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016075033A JP6669569B2 (ja) 2016-04-04 2016-04-04 車両用周辺監視装置

Publications (2)

Publication Number Publication Date
JP2017188744A JP2017188744A (ja) 2017-10-12
JP6669569B2 true JP6669569B2 (ja) 2020-03-18

Family

ID=59958548

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016075033A Active JP6669569B2 (ja) 2016-04-04 2016-04-04 車両用周辺監視装置

Country Status (3)

Country Link
US (1) US20170282796A1 (ja)
JP (1) JP6669569B2 (ja)
CN (1) CN107284352B (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6723820B2 (ja) * 2016-05-18 2020-07-15 株式会社デンソーテン 画像生成装置、画像表示システムおよび画像表示方法
US10654422B2 (en) 2016-08-29 2020-05-19 Razmik Karabed View friendly monitor systems
US20180063444A1 (en) * 2016-08-29 2018-03-01 Razmik Karabed View friendly monitor systems
JP6626069B2 (ja) * 2017-11-10 2019-12-25 矢崎総業株式会社 車両用表示装置
JP7076896B2 (ja) * 2018-02-05 2022-05-30 アルパイン株式会社 表示制御装置、表示制御方法及びカメラモニタリングシステム
JP6970035B2 (ja) * 2018-02-20 2021-11-24 株式会社東海理化電機製作所 車両用視認装置の撮影部の画角設定方法
JP2019217970A (ja) * 2018-06-21 2019-12-26 日本電産コパル株式会社 電子ミラー装置及び画像表示方法
CN109649275B (zh) * 2018-11-29 2020-03-20 福瑞泰克智能系统有限公司 一种基于增强现实的驾驶辅助系统及方法
EP3896963A4 (en) * 2018-12-11 2022-01-19 Sony Group Corporation IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE PROCESSING SYSTEM
KR102223852B1 (ko) * 2019-03-15 2021-03-08 김필재 영상 디스플레이 시스템 및 방법
US10981507B1 (en) 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
US11388354B2 (en) 2019-12-06 2022-07-12 Razmik Karabed Backup-camera-system-based, on-demand video player
CN111522443B (zh) * 2020-04-13 2024-04-05 京东方科技集团股份有限公司 车辆a柱显示组件的显示方法、系统、设备和存储介质
KR102513762B1 (ko) * 2021-03-02 2023-03-27 주식회사 켐트로닉스 사이드미러 가상 영상 생성 장치 및 방법
CN113223076B (zh) * 2021-04-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 车辆与车载摄像头的坐标系标定方法、设备及存储介质
US11615633B2 (en) * 2021-05-21 2023-03-28 Panasonic Intellectual Property Management Co., Ltd. Monitoring device, monitoring system, and monitoring method
CN115988343B (zh) * 2022-11-21 2024-07-23 中国联合网络通信集团有限公司 图像生成方法、装置及可读存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027200A (en) * 1990-07-10 1991-06-25 Edward Petrossian Enhanced viewing at side and rear of motor vehicles
EP1748654A4 (en) * 2004-04-27 2013-01-02 Panasonic Corp VISUALIZATION OF CIRCUMFERENCE OF A VEHICLE
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置
JP4849333B2 (ja) * 2006-12-04 2012-01-11 株式会社デンソー 車両用視覚補助装置
JP5088669B2 (ja) * 2007-03-23 2012-12-05 株式会社デンソー 車両周辺監視装置
US20090079829A1 (en) * 2007-09-25 2009-03-26 Tianyi Hu Multi-functional side rear view mirror for vehicles
EP2119596B1 (en) * 2008-05-16 2012-01-04 SMR Patents S.à.r.l. Imaging system for a vehicle and mirror assembly comprising such an imaging system
JP2010137697A (ja) * 2008-12-11 2010-06-24 Honda Motor Co Ltd 車両の運転支援装置
JP2010183170A (ja) * 2009-02-03 2010-08-19 Denso Corp 車両用表示装置
JP5223811B2 (ja) * 2009-08-06 2013-06-26 株式会社日本自動車部品総合研究所 画像補正装置、画像補正方法、及びそれらに用いられる変換マップ作成方法
JP2012051678A (ja) * 2010-08-31 2012-03-15 Sumitomo Heavy Ind Ltd 視界補助システム
JP5187369B2 (ja) * 2010-09-24 2013-04-24 株式会社デンソー 車両用の後退駐車支援装置および後退駐車支援装置用のプログラム
JP5667594B2 (ja) * 2012-03-15 2015-02-12 株式会社小松製作所 障害物検出機構付きダンプトラックおよびその障害物検出方法
DE102012025322B4 (de) * 2012-12-22 2014-08-21 Audi Ag Kraftfahrzeug mit Kamera-Monitor-System
JP2014189213A (ja) * 2013-03-28 2014-10-06 Nippon Seiki Co Ltd 車両用表示装置
JP6364702B2 (ja) * 2013-03-29 2018-08-01 アイシン精機株式会社 画像表示制御装置、画像表示システム、および表示ユニット
US9674490B2 (en) * 2013-04-18 2017-06-06 Magna Electronics Inc. Vision system for vehicle with adjustable cameras
CN105163972B (zh) * 2013-09-13 2017-12-05 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
US20160280136A1 (en) * 2014-03-05 2016-09-29 Guy M. Besson Active-tracking vehicular-based systems and methods for generating adaptive image
JP6371553B2 (ja) * 2014-03-27 2018-08-08 クラリオン株式会社 映像表示装置および映像表示システム
CN106414174B (zh) * 2014-05-29 2019-03-29 株式会社小糸制作所 车辆外部监视装置和拍摄装置
US20160200254A1 (en) * 2015-01-12 2016-07-14 BSR Technologies Group Method and System for Preventing Blind Spots
US20160257252A1 (en) * 2015-03-05 2016-09-08 Lenovo (Singapore) Pte. Ltd. Projection of images on side window of vehicle
US9718405B1 (en) * 2015-03-23 2017-08-01 Rosco, Inc. Collision avoidance and/or pedestrian detection system
DE102015209187B3 (de) * 2015-05-20 2016-09-29 Volkswagen Aktiengesellschaft Überwachungsvorrichtung für ein Kraftfahrzeug
JP2016225865A (ja) * 2015-06-01 2016-12-28 東芝アルパイン・オートモティブテクノロジー株式会社 俯瞰画像生成装置

Also Published As

Publication number Publication date
JP2017188744A (ja) 2017-10-12
CN107284352B (zh) 2019-06-14
US20170282796A1 (en) 2017-10-05
CN107284352A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
JP6669569B2 (ja) 車両用周辺監視装置
JP5491235B2 (ja) カメラキャリブレーション装置
EP3160138B1 (en) Image synthesis system, image synthesis device therefor, and image synthesis method
JP4323377B2 (ja) 画像表示装置
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
JP4975592B2 (ja) 撮像装置
JP5844880B2 (ja) ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
JP5874920B2 (ja) 車両周囲確認用モニター装置
US10539790B2 (en) Coordinate matching apparatus for head-up display
WO2009116327A1 (ja) 画像処理装置及び方法、運転支援システム、車両
KR20130089139A (ko) 차량용 증강현실 헤드업 디스플레이 장치 및 방법
KR20180022374A (ko) 운전석과 보조석의 차선표시 hud와 그 방법
US20160037154A1 (en) Image processing system and method
KR20180020274A (ko) 패널 변환
JP2022034511A (ja) コンテンツを可視化する装置及び方法
TW201919390A (zh) 顯示系統以及顯示方法
JP6186905B2 (ja) 車載表示装置およびプログラム
US20190137770A1 (en) Display system and method thereof
JP2016057634A (ja) ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体
Ueno et al. [Poster] Overlaying navigation signs on a road surface using a head-up display
JP2950160B2 (ja) 立体映像表示装置
KR20180026418A (ko) 헤드업 디스플레이의 좌표 매칭 장치 및 그 방법
JP5522799B2 (ja) 視線位置推定システム及び視線位置推定プログラム
EP3306373A1 (en) Method and device to render 3d content on a head-up display
JP2018103921A (ja) 車両用表示装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200227

R150 Certificate of patent or registration of utility model

Ref document number: 6669569

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250