WO2012073392A1 - 運転支援表示装置 - Google Patents

運転支援表示装置 Download PDF

Info

Publication number
WO2012073392A1
WO2012073392A1 PCT/JP2011/001846 JP2011001846W WO2012073392A1 WO 2012073392 A1 WO2012073392 A1 WO 2012073392A1 JP 2011001846 W JP2011001846 W JP 2011001846W WO 2012073392 A1 WO2012073392 A1 WO 2012073392A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
screen
sub
displayed
Prior art date
Application number
PCT/JP2011/001846
Other languages
English (en)
French (fr)
Inventor
一ノ瀬　忠夫
高橋　幸司
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to EP11844215.1A priority Critical patent/EP2647529B1/en
Priority to CN2011800289181A priority patent/CN102958758A/zh
Publication of WO2012073392A1 publication Critical patent/WO2012073392A1/ja
Priority to US13/611,838 priority patent/US9067538B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Definitions

  • the present invention relates to a driving assistance display device that processes an image behind or ahead of a vehicle imaged by an in-vehicle camera and presents it to a driver.
  • a driving assistance display device that installs an in-vehicle camera on the rear trunk of a vehicle or the front grill or the like and presents an image captured by the in-vehicle camera to the driver, thereby informing the driver of the state behind or in front of the vehicle. It is popular.
  • image display methods such as an image display in which lens distortion is corrected, and a converted image display as if taken from an arbitrary virtual viewpoint.
  • Patent Document 1 is an example of such a driving support display device.
  • FIG. 10 and FIG. 12 show examples of two types of processed images for the display range of the viewpoint conversion image displayed on the child screen.
  • reference numeral 20 denotes a main screen that displays a wide range behind the vehicle, and is an image cut out from the captured image.
  • reference numeral 21-1 denotes a sub-screen that displays a wide range of about twice the vehicle width in an image obtained by converting the viewpoint of the vicinity of the vehicle from the captured image.
  • reference numeral 21-2 denotes a sub-screen that displays a range in which the white line on the vehicle width side of the parking area is displayed in the image obtained by converting the viewpoint of the vicinity of the vehicle from the captured image.
  • reference numerals 22-1 and 22-2 are mask drawings for filling the gaps between the main screen and the sub-screen, and the captured image is not displayed here.
  • FIG. 4 and FIG. 5 are examples thereof, FIG. 4 is a view of the rear of the host vehicle 1 as viewed from above, and FIG. 5 is a view of the rear of the host vehicle 1 as viewed from the side.
  • the subject is an image of shooting around a parking lot.
  • FIG. 6 is an example of the parking lot, and shows a white line composed of three parking areas of the same size and adjacent vehicles of the same size parked on the left and right respectively.
  • Reference numerals 17-1 and 17-2 denote adjacent vehicles, which are rectangular parallelepipeds to simplify the shape and have a height of 1.5 m.
  • FIG. 7 shows the positional relationship between FIG. 6 and the own vehicle 1, and is a scene in which the own vehicle 1 is parked in the central parking area 16-3.
  • the captured image before image processing is assumed to be the image shown in FIG.
  • a wide-angle lens is used so that a wide range can be imaged with one on-vehicle camera, and an image circle 19 appears in the captured image.
  • FIG. 8 with respect to the captured image of FIG. 8 is shown in FIG.
  • the main screen 20 in FIG. 10 displays an image obtained by cutting up, down, left and right of the captured image in FIG.
  • the imaging range is such that the bumper 13 of the host vehicle 1 is appropriately reflected on the lower side, the angle of view on the left and right sides is approximately 160 °, and the adjacent vehicle is appropriately reflected on the upper side.
  • the sub-screen 21-1 in FIG. 10 displays a viewpoint conversion image in which the vicinity of the host vehicle 1 is looked down directly from the virtual viewpoint, and the left adjacent vehicle 17-1 and the right adjacent vehicle 17- 2 and about half are displayed.
  • an object of the present invention is to provide a driving assistance display device having a sub-screen capable of recognizing the correct width of a vehicle while displaying an imaging range necessary for parking alignment. To do.
  • a driving assistance display device includes one or a plurality of imaging units that capture a wide range at the rear or front of the vehicle, and a wide area around the vehicle based on an image captured by the imaging unit.
  • a main screen that displays an image cut or corrected in a range is generated, and a child screen that is displayed with an image obtained by viewpoint conversion so that the vicinity of the vehicle is looked directly down from a virtual viewpoint from the image captured by the imaging unit is generated.
  • An image processing unit that combines the main screen and the sub-screen and mask-draws a gap, and an image display unit that displays an image processed by the image processing unit, and includes imaging within the sub-screen.
  • the vehicle viewpoint conversion image is displayed, and the image display width of the vehicle portion is cut out so as to correspond to the vehicle width corresponding to the scale of the subject on which the viewpoint conversion image is displayed. It was and.
  • the vehicle width corresponding to the scale of the viewpoint conversion image can be expressed using the image of the vehicle portion in the constant viewpoint conversion image including the vicinity of the vehicle on the sub-screen.
  • the side surface of the notched shape in the child screen is rounded.
  • This configuration makes it possible to bring the vehicle displayed there closer to the actual shape of the vehicle.
  • the vehicle part in the sub-screen is displayed with the color and brightness of the vehicle at the time of imaging since the actually captured image is displayed. It is easy to recognize that it is a vehicle. Since the width of the vehicle portion that is easy to recognize is displayed corresponding to the scale of the subject on which the viewpoint conversion image is displayed, the vehicle portion can be correctly recognized without misrecognizing the size of the vehicle.
  • the driving support display device of the present invention it becomes easier to recognize the vehicle portion by rounding the portion representing the left and right widths displayed as the vehicle portion in the sub-screen.
  • FIG. 1 is a configuration diagram according to Embodiment 1 of the present invention.
  • reference numeral 1 denotes a host vehicle on which a driving support display device is mounted
  • 2 denotes a vehicle-mounted camera using a wide-angle lens that captures a wide range
  • 3 denotes an image captured by the vehicle-mounted camera 2.
  • a main screen that displays an image that has been cut or corrected in a wide range around the host vehicle 1, a sub-screen that displays a viewpoint-converted image in which the vicinity of the host vehicle 1 is looked down from a virtual viewpoint, and a main screen and a sub-screen It is an image processing unit that masks the composition and the gap, and is built in the in-vehicle camera 2.
  • a monitor 4 displays an image processed by the image processing unit 3.
  • the image processing unit 3 may have either a configuration built in the monitor 4 as shown in FIG. 2 or a configuration built in the image processing apparatus 5 as shown in FIG. Further, when using a vehicle-mounted camera that does not use a wide-angle lens, a configuration using a plurality of vehicle-mounted cameras 2-1 to 2-n as shown in FIG.
  • FIG 1 to 3 are diagrams in which the in-vehicle camera 2 is mounted on the rear side of the vehicle, but may be mounted on the front side of the vehicle. In the first and second embodiments of the present invention, it is mounted on the rear side of the vehicle.
  • FIGS. 4 and 5 show examples of detailed mounting states of the in-vehicle camera 2 with respect to the host vehicle 1.
  • FIG. 4 is a view of the back of the host vehicle 1 as viewed from above.
  • 12 is the center of the left and right of the host vehicle 1
  • 6 is the rear wheel of the host vehicle 1
  • 7 is the rear wheel shaft of the host vehicle 1
  • 8 is the center of the rear wheel shaft 7 on the left and right center 12 of the host vehicle.
  • 9 is the lens position of the in-vehicle camera 2 on the left and right center 12 of the host vehicle
  • 10 is the optical axis of the lens of the in-vehicle camera 2 parallel to the left and right center 12 of the host vehicle
  • 13 is the rear of the host vehicle 1
  • a bumper 11 is the rear end of the vehicle on the left and right center 12 of the host vehicle and on the bumper 13.
  • the vehicle width of the host vehicle 1 is 1.8 m
  • the distance between the rear wheel shaft 7 and the lens position 9 is 1.0 m
  • the distance between the lens position 9 and the rearmost vehicle 11 is 0.1 m.
  • FIG. 5 is a view of the rear side of the host vehicle 1 as viewed from the side.
  • Reference numeral 14 denotes a horizontal ground.
  • the lens position 9 has a height of 0.9 m from the horizontal ground 14, the optical axis 10 has an angle of 40 ° with the horizontal ground 14, and the rearmost vehicle 11 has a height of 0.6 m from the horizontal ground 14. .
  • FIG. 6 is a diagram showing a parking area as an example of a subject and dimensions of surrounding vehicles.
  • 16-1 is a left parking area
  • 16-2 is a right parking area
  • 16-3 is a central parking area
  • 15 is a left parking area 16-1, a right parking area 16-2, a center.
  • the left parking area 16-1, the right parking area 16-2, and the central parking area 16-3 all have the same dimensions, and have a front / rear length of 5.0 m and a horizontal width of 2.5 m from the center of the white line width of the white line 15.
  • Reference numeral 17-1 denotes a left adjacent vehicle parked in the left parking area 16-1, which is a rectangular parallelepiped.
  • Reference numeral 17-2 denotes a right adjacent vehicle parked in the right parking area 16-2, which is a rectangular parallelepiped.
  • Both the left adjacent vehicle 17-1 and the right adjacent vehicle 17-2 have the same dimensions, a vehicle width of 1.8 m, a longitudinal length of 4.7 m, and a height of 1.5 m from the horizontal ground 14. It is parked at.
  • FIG. 7 is a diagram showing an example of the positional relationship between the parking area and the host vehicle 1 shown in FIG.
  • the left-right center 12 of the host vehicle is located at the center position with respect to the lateral width of the central parking area 16-3, and the rearmost vehicle 11 is located 0.5 m from the white line 15 in front of the central parking area 16-3.
  • Reference numeral 18 denotes a horizon imaged when there is no three-dimensional object in front of the in-vehicle camera 2, and 19 is an image circle in which the image is taken up to a direction of 90 ° from the optical axis of the lens.
  • 11 and 12 are display images displayed on the monitor 4 after the captured image is subjected to the same processing by the image processing unit 3.
  • the display of the captured image behind the vehicle is generally a mirror image obtained by horizontally inverting the entire image, but in the first and second embodiments of the present invention, the left-right relationship between the captured image and the display image is easy.
  • an image that is not reversed horizontally is taken as an example.
  • FIG. 11 shows an image arrangement after processing of the image processing unit 3 with respect to the display range of the monitor 4.
  • Reference numeral 20 denotes a main screen for displaying a wide range behind the vehicle, which displays an image cut out from the captured image, and is an image obtained by cutting up, down, left and right of the captured image in FIG.
  • the imaging range is such that the bumper 13 of the host vehicle 1 is appropriately reflected on the lower side, the angle of view on the left and right sides is approximately 160 °, and the adjacent vehicle is appropriately reflected on the upper side.
  • cutout process is displayed in the present embodiment, an image subjected to the correction process may be displayed in order to display a wide range.
  • the 21-2 is a sub-screen that displays the vicinity of the host vehicle 1, and displays a viewpoint-converted image looking down from the virtual viewpoint.
  • the lower side of the sub-screen 21-2 has a display range in which the thickness of the bumper 13 after the viewpoint conversion is appropriately displayed, and the horizontal width is notched up to the vehicle width corresponding to the scale of the display image.
  • the display area is a display range in which the surrounding captured image is sufficiently displayed in the portion other than the bumper 13 on the left and right sides.
  • Reference numeral 22-2 denotes mask drawing that fills the gap between the main screen 20 and the sub-screen 21-2, and the captured image is not displayed here.
  • the vehicle part in the sub-screen is displayed with the color and brightness of the vehicle at the time of imaging because the actually captured image is displayed, and is the host vehicle. It is easy to recognize. Since the width of the vehicle portion that is easy to recognize is displayed corresponding to the scale of the subject on which the viewpoint conversion image is displayed, the vehicle can be correctly recognized without misidentifying the size of the vehicle.
  • (Embodiment 2) 13 and 14 are images in which the side surfaces of the cutout shape in the child screens of FIGS. 11 and 12 are rounded.
  • FIG. 13 in FIG. 13 is a main screen which is a processed image similar to that of the first embodiment of the present invention.
  • Reference numeral 21-3 denotes a child screen in which the side surface of the cut shape is rounded with respect to the child screen 21-2.
  • 22-3 is a mask drawing that fills the gap between the main screen 20 and the sub-screen 21-3, and the captured image is not displayed here.
  • the vehicle portion is the vehicle portion by rounding the portion representing the left and right widths displayed as the vehicle portion on the child screen.
  • the driving support display device is widely useful as a driving support display device that supports smoother parking by displaying the imaging range necessary for parking alignment and facilitating recognition of the correct width of the vehicle. is there.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

　車両の後退または前進による駐車位置合わせの際に、駐車位置合わせに必要な撮像範囲を表示させつつ、車両の正しい幅を認識し易くする運転支援表示装置を提供する。２０は車両後方の広い範囲を表示する主画面である。２１－３は自車両１の近傍を表示する子画面であり、仮想視点から真下に見下ろした視点変換画像を表示する。子画面２１－３において、下側は撮像された視点変換後のバンパー１３の厚みが適度に表示される程度の表示範囲とし、尚かつ横幅は表示画像の縮尺に対応した車幅までで切り欠いた形状とし、左右側におけるバンパー１３以外の部分においては周辺の撮像画像が十分に表示される表示範囲とする。更に切り欠いた形状の側面は丸みをつける。２２－３は主画面２０と子画面２１－３の隙間を埋めるマスク描画であり、撮像画像はここには表示されない。

Description

運転支援表示装置
　本発明は、車載カメラにて撮像した車両後方または前方の画像を処理して運転者に提示する運転支援表示装置に関する。
　車載カメラを車両のリアトランク部等、またはフロントグリル等に設置し、その車載カメラで撮像した画像を運転者に提示することで、車両後方または前方の様子を運転者に知らせる運転支援表示装置が普及している。
　そしてその画像表示方法は、レンズの歪みを補正した画像表示や、あたかも任意の仮想視点から撮影したかのような変換画像表示など、様々である。
　このような運転支援表示装置を示す例として特許文献１が挙げられる。
　前記特許文献１では子画面の表示形状が単純な長方形で示されている。その子画面に表示する視点変換画像の表示範囲について２通りの処理画像の例として図１０および図１２に示す。
　図１０および図１２において、２０は車両後方の広い範囲を表示する主画面であり、撮像画像から切り出し処理をした画像とする。
　図１０における２１－１は、撮像画像から車両の近傍を視点変換した画像の中で、車幅に対して２倍ほどの広い範囲まで表示した子画面である。
　図１２における２１－２は、撮像画像から車両の近傍を視点変換した画像の中で、駐車領域の車幅側の白線が表示される程度の範囲まで表示した子画面である。
　図１０および図１２において、２２－１、２２－２はそれぞれの主画面と子画面の隙間を埋めるマスク描画であり、撮像画像はここには表示しないものとする。
　次にこれらの処理画像の例について、実際に撮像された映像がどのように表示されるか、具体的な撮像条件を例にしながら説明する。
　まず撮像手段である車載カメラと、車載カメラが取り付けられる自車両との位置関係を示す。
　図４および図５がその例であり、図４は自車両１の後方を上から見た図であり、図５は自車両１の後方を横から見た図である。
　被写体は駐車場付近を撮像する場面を例とする。
　図６はその駐車場の例であり、同じ寸法の３つの駐車領域からなる白線と、左右にそれぞれ駐車された同じ寸法の隣車両を示している。１７－１および１７－２は隣車両であり、その形状を簡単にするために直方体とし、高さは１．５ｍとする。
　図７は図６と自車両１との位置関係を示すもので、自車両１が中央駐車領域１６－３にこれから後退して駐車する場面である。
　図７の場面の時、画像処理前の撮像画像は図８に示す画像になるものとする。この例では１台の車載カメラで広い範囲を撮像可能とするため、広角のレンズを使用しているものとし、撮像画像内にイメージサークル１９が現れている。
　図８の撮像画像に対して、前記図９を例とした表示画像は図１０のようになる。
　図１０の主画面２０には、図８の撮像画像の上下左右を切り取った画像が表示されている。具体的には、下側は自車両１のバンパー１３が適度に映る程度、左側と右側の画角は約１６０°程度、上側は隣車両が適度に映る程度の撮像範囲としている。
　図１０における子画面２１－１には、自車両１の近傍を仮想視点から真下に見下ろした視点変換画像が表示されており、左側および右側においては左隣車両１７－１と右隣車両１７－２とが半分程度まで表示されている。
　なお、車両の後部画像を表示する場合は、画像全体を左右反転処理した上で表示するのが通常であるが、撮像画像や表示画像の左右の関係を容易に説明するために全て左右反転を行わない画像を例にすることとする。従って、車載カメラ２に対する左右の関係と、表示される左右の関係は同じになるものとする。
特開２００３－１０４１４５号公報
　しかしながら、前記従来の特許文献１における子画面の表示形状では図１０の例に示す通り、子画面２１－１の左右の表示範囲が自車両１の幅に対して広く表示されているので、水平地面１４に対して高さがあるバンパー１３は、視点変換画像において自車両１の実際の幅１．８ｍよりも広く中央駐車領域１６－３の幅２．５ｍ以上の幅と感じてしまうように表示されてしまう。
　従ってこのまま自車両１を後退させた場合、左隣車両１７－１および右隣車両１７－２に衝突してしまう印象を感じてしまう、という課題を有していた。
　本発明は、上記課題を解決するために、駐車位置合わせに必要な撮像範囲を表示させつつ、車両の正しい幅を認識することができる子画面を有する運転支援表示装置を提供することを目的とする。
　前記従来の課題を解決するため、本発明の運転支援表示装置は、車両後方または前方の広い範囲を撮像する１つまたは複数の撮像手段と、前記撮像手段で撮像された画像から車両周辺の広い範囲で切り出しまたは補正した画像を表示する主画面を生成し、前記撮像手段で撮像された画像から車両の近傍を仮想視点から真下に見下ろすように視点変換した画像で表示する子画面を生成し、前記主画面と前記子画面とを合成し、隙間をマスク描画する画像処理手段と、前記画像処理手段によって処理された画像を表示する画像表示手段とを備えることとし、前記子画面内には撮像された車両の視点変換画像を表示し、前記車両部分の画像表示幅が、視点変換画像の表示される被写体の縮尺に対応した車幅に相当するように切り欠いた形状とすることとした。
　この構成によって、前記子画面において、車両近傍を含む一定の視点変換画像の中の車両部分の画像を用いて、視点変換画像の縮尺に対応した車幅を表現することができる。
　本発明の運転支援表示装置は、前記子画面における切り欠いた形状の側面に丸みをつけることとした。
　この構成によって、そこに表示される車両を実際の車両の形状に近づけることができる。
　以上のように、本発明の運転支援表示装置によれば、前記子画面における車両部分は、実際に撮像された画像が表示されるので、撮像時点の車両の色や明るさで表示され、自車両であることの認識がし易い。その認識し易い車両部分の幅が視点変換画像の表示される被写体の縮尺に対応して表示されているので、車両の大きさを誤認することなく正しく認識できる。
　本発明の運転支援表示装置によれば、前記子画面における車両部分として表示されている左右の幅を表す部分に丸みをつけることで、更に車両部分であることが認識し易くなる。
本発明の実施の形態１、２における運転支援表示装置の概略構成図 本発明の実施の形態１、２における運転支援表示装置の概略構成図 本発明の実施の形態１、２における運転支援表示装置の概略構成図 自車両に対する車載カメラの詳細な搭載状態の例を示す図 自車両に対する車載カメラの詳細な搭載状態の例を示す図 被写体の例である駐車領域と周辺車両の寸法を示す図 駐車領域と自車両の位置関係の例を示す図 撮像画像 従来の画像処理後の表示画像 従来の画像処理後の表示画像 本発明の実施の形態１における画像処理後の表示画像 本発明の実施の形態１における画像処理後の表示画像 本発明の実施の形態２における画像処理後の表示画像 本発明の実施の形態２における画像処理後の表示画像
　以下に、本発明の実施の形態について、図面を参照しながら説明する。
　（実施の形態１）
　図１は本発明の実施の形態１における構成図である。
　図１において、１は運転支援表示装置が搭載される自車両であり、２は広い範囲を撮像する広角のレンズを使用した１つの車載カメラであり、３は車載カメラ２で撮像された画像から、自車両１周辺の広い範囲で切り出しまたは補正した画像を表示する主画面と、自車両１の近傍を仮想視点から真下に見下ろした視点変換画像で表示する子画面と、主画面と子画面の合成および隙間をマスク描画する画像処理部であり車載カメラ２に内蔵されている。４は画像処理部３によって処理された画像を表示するモニタである。
　尚、画像処理部３は図２に示されるようにモニタ４に内蔵される構成や、図３に示されるように画像処理装置５に内蔵される構成の何れであっても良い。また、広角のレンズを使用しない車載カメラを使用する場合には、図３に示されるように複数の車載カメラ２－１から２－ｎを使用した構成であっても良い。
　図１～３は、車載カメラ２が車両の後方に搭載された図であるが、車両の前方に搭載しても良い。本発明の実施の形態１および２では車両後方に搭載することとする。
　続いて撮像例について図４から図８を用いて説明する。図４および図５は自車両１に対する車載カメラ２の詳細な搭載状態の例を示している。
　図４は自車両１の後方を上から見た図である。１２は自車両１の左右中心であり、６は自車両１の後輪であり、７は自車両１の後輪軸であり、８は自車両左右中心１２上にある後輪軸７の左右中心であり、９は自車両左右中心１２上にある車載カメラ２のレンズ位置であり、１０は自車両左右中心１２と平行な車載カメラ２のレンズの光軸であり、１３は自車両１の後方のバンパーであり、１１は自車両左右中心１２上かつバンパー１３上にある車両最後尾である。自車両１の車幅は１．８ｍであり、後輪軸７とレンズ位置９との距離は１．０ｍであり、レンズ位置９と車両最後尾１１との距離は０．１ｍである。
　図５は自車両１の後方を横から見た図である。１４は水平な地面である。レンズ位置９は水平地面１４からの高さ０．９ｍであり、光軸１０は水平地面１４とのなす角が４０°であり、車両最後尾１１は水平地面１４から高さ０．６ｍである。
　図６は被写体の例である駐車領域と周辺車両の寸法を示す図である。１６－１は左側の駐車領域であり、１６－２は右側の駐車領域であり、１６－３は中央の駐車領域であり、１５は左駐車領域１６－１、右駐車領域１６－２、中央駐車領域１６－３を表すために水平地面１４に引かれた白線である。
　左駐車領域１６－１、右駐車領域１６－２、中央駐車領域１６－３は全て同じ寸法であり、白線１５の白線幅の中心から前後長５．０ｍ、横幅２．５ｍである。１７－１は左駐車領域１６－１に駐車された左隣車両であり直方体とする。１７－２は右駐車領域１６－２に駐車された右隣車両であり直方体とする。
　左隣車両１７－１、右隣車両１７－２は共に同じ寸法であり、車幅１．８ｍ、前後長４．７ｍ、水平地面１４からの高さ１．５ｍであり、それぞれ駐車領域の中央に駐車されている。
　図７は図６に示す駐車領域と自車両１の位置関係の例を示す図である。中央駐車領域１６－３の横幅に対する中央の位置に自車両左右中心１２が位置し、車両最後尾１１は中央駐車領域１６－３の手前の白線１５から０．５ｍに位置する。
　図７の位置関係の場合、車載カメラ２によって撮像された画像は図８のようになる。１８は車載カメラ２の前に立体物が無い場合に撮像される地平線であり、１９はレンズの光軸から９０°の方向までが撮像されているものとするイメージサークルである。
　次に画像処理部３の処理について説明する。
　図１１、図１２は、撮像された画像が画像処理部３によって同一処理され、モニタ４によって表示された表示画像である。
　通常、車両後方の撮像画像の表示は画像全体を左右反転した鏡像を表示するのが一般的であるが、本発明の実施の形態１および２では、撮像画像や表示画像の左右の関係を容易に説明するために、全て左右反転をしない画像を例にすることとする。
　図１１はモニタ４の表示範囲に対する画像処理部３の処理後の画像配置を示すものである。２０は車両後方の広い範囲を表示する主画面であり、撮像画像から切り出し処理をした画像が表示され、図８の撮像画像の上下左右を切り取った画像としている。具体的には、下側は自車両１のバンパー１３が適度に映る程度、左側と右側の画角は約１６０°程度、上側は隣車両が適度に映る程度の撮像範囲としている。
　尚、本実施例では切り出し処理を表示させることとしたが、広い範囲を表示するために、補正処理をした画像を表示させても良い。
　２１－２は自車両１の近傍を表示する子画面であり、仮想視点から真下に見下ろした視点変換画像が表示される。子画面２１－２における、下側は撮像された視点変換後のバンパー１３の厚みが適度に表示される程度の表示範囲とし、尚かつ横幅は表示画像の縮尺に対応した車幅までで切り欠いた形状とし、左右側におけるバンパー１３以外の部分においては周辺の撮像画像が十分に表示される表示範囲とする。２２－２は主画面２０と子画面２１－２の隙間を埋めるマスク描画であり、撮像画像はここには表示されない。
　以上の様な画像処理部３の処理にて、図８の撮像画像を処理した場合、図１２のように表示される。このようにバンパー１３が隣の駐車領域まで表示されなければ、左隣車両１７－１および右隣車両１７－２に衝突してしまうという印象は感じない。
　以上のように本実施の形態によれば、前記子画面における車両部分は、実際に撮像された画像が表示されるので、撮像時点の車両の色や明るさで表示され、自車両であることの認識がし易い。その認識し易い自車両部分の幅が視点変換画像の表示される被写体の縮尺に対応して表示されているので、自車両の大きさを誤認することなく正しく認識できる。
　（実施の形態２）
　図１３、図１４は、図１１、図１２の子画面における切り欠いた形状の側面に丸みをつけた画像である。
　図１３における２０は本発明の実施の形態１と同様の処理画像である主画面である。２１－３は子画面２１－２に対し、切り欠いた形状の側面に丸みをつけた子画面である。２２－３は主画面２０と子画面２１－３の隙間を埋めるマスク描画であり、撮像画像はここには表示されない。
　以上の様な画像処理部３の処理にて、図８の撮像画像を処理した場合、図１４のように表示される。
　以上のように本実施の形態によれば、前記子画面における車両部分として表示されている左右の幅を表す部分に丸みをつけることで、更に自車両部分であることが認識し易くなる。
　本発明にかかる運転支援表示装置は、駐車位置合わせに必要な撮像範囲を表示させつつ、車両の正しい幅を認識し易くすることによって、より円滑な駐車を支援する運転支援表示装置として幅広く有用である。
　１　自車両
　２　車載カメラ
　２－１～２－ｎ　車載カメラ
　３　画像処理部
　４　モニタ
　５　画像処理装置
　６　後輪
　７　後輪軸
　８　後輪軸左右中心
　９　レンズ位置
　１０　光軸
　１１　車両最後尾
　１２　自車両左右中心
　１３　バンパー
　１４　水平地面
　１５　白線
　１６－１　左駐車領域
　１６－２　右駐車領域
　１６－３　中央駐車領域
　１７－１　左隣車両
　１７－２　右隣車両
　１８　地平線
　１９　イメージサークル
　２０　主画面
　２１－１，２１－２，２１－３　子画面
　２２－１，２２－２，２２－３　マスク描画

Claims (2)

  1. 　車両後方または前方の広い範囲を撮像する１つまたは複数の撮像手段と、
    　前記撮像手段で撮像された画像から車両周辺の広い範囲で切り出しまたは補正した画像を表示する主画面を生成し、前記撮像手段で撮像された画像から車両の近傍を仮想視点から真下に見下ろすように視点変換した画像で表示する子画面を生成し、前記主画面と前記子画面とを合成し、隙間をマスク描画する画像処理手段と、
    　前記画像処理手段によって処理された画像を表示する画像表示手段と
    を備えた運転支援表示装置であって、
    　前記子画面内には撮像された車両の視点変換画像を表示し、
    　前記車両部分の画像表示幅が、視点変換画像の表示される被写体の縮尺に対応した車幅に相当するように切り欠いた形状とする
    ことを特徴とする運転支援表示装置。
  2. 　前記子画面における切り欠いた形状の側面に丸みをつける
    ことを特徴とする請求項１に記載の運転支援表示装置。
PCT/JP2011/001846 2010-11-29 2011-03-29 運転支援表示装置 WO2012073392A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP11844215.1A EP2647529B1 (en) 2010-11-29 2011-03-29 Drive assist display apparatus
CN2011800289181A CN102958758A (zh) 2010-11-29 2011-03-29 驾驶辅助显示装置
US13/611,838 US9067538B2 (en) 2010-11-29 2012-09-12 Drive assist display apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-265154 2010-11-29
JP2010265154A JP5519479B2 (ja) 2010-11-29 2010-11-29 運転支援表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/611,838 Continuation US9067538B2 (en) 2010-11-29 2012-09-12 Drive assist display apparatus

Publications (1)

Publication Number Publication Date
WO2012073392A1 true WO2012073392A1 (ja) 2012-06-07

Family

ID=46171370

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/001846 WO2012073392A1 (ja) 2010-11-29 2011-03-29 運転支援表示装置

Country Status (5)

Country Link
US (1) US9067538B2 (ja)
EP (1) EP2647529B1 (ja)
JP (1) JP5519479B2 (ja)
CN (1) CN102958758A (ja)
WO (1) WO2012073392A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130325205A1 (en) * 2012-04-25 2013-12-05 Sony Corporation Cruise-assist image generation device, cruise-assist image generation method, in-vehicle camera and equipment-control assist image generation device

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5999043B2 (ja) * 2013-07-26 2016-09-28 株式会社デンソー 車両周辺監視装置およびプログラム
WO2017061230A1 (ja) * 2015-10-08 2017-04-13 日産自動車株式会社 表示支援装置及び表示支援方法
JP7201315B2 (ja) * 2017-11-08 2023-01-10 トヨタ自動車株式会社 電子ミラー装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003104145A (ja) 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 運転支援表示装置
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2007168560A (ja) * 2005-12-21 2007-07-05 Denso Corp 駐車支援装置
JP2007230371A (ja) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
JP2008153882A (ja) * 2006-12-15 2008-07-03 Clarion Co Ltd 撮像表示システム
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2009023471A (ja) * 2007-07-19 2009-02-05 Clarion Co Ltd 車両情報表示装置
JP2009118415A (ja) * 2007-11-09 2009-05-28 Alpine Electronics Inc 鳥瞰画像生成装置および方法
JP2009298178A (ja) * 2008-06-10 2009-12-24 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6369701B1 (en) * 2000-06-30 2002-04-09 Matsushita Electric Industrial Co., Ltd. Rendering device for generating a drive assistant image for drive assistance
JP3372944B2 (ja) * 2000-07-19 2003-02-04 松下電器産業株式会社 監視システム
JP2003149711A (ja) * 2001-11-08 2003-05-21 Clarion Co Ltd 車両用モニタ装置
JP2005110202A (ja) * 2003-09-08 2005-04-21 Auto Network Gijutsu Kenkyusho:Kk カメラ装置及び車両周辺監視装置
JP2006341641A (ja) * 2005-06-07 2006-12-21 Nissan Motor Co Ltd 映像表示装置及び映像表示方法
JP2007176244A (ja) * 2005-12-27 2007-07-12 Aisin Seiki Co Ltd 駐車支援装置
JP4853712B2 (ja) * 2006-12-28 2012-01-11 アイシン精機株式会社 駐車支援装置
US8170752B2 (en) * 2007-07-31 2012-05-01 Kabushiki Kaisha Toyota Jidoshokki Parking assistance apparatus, vehicle-side apparatus of parking assistance apparatus, parking assist method, and parking assist program
JP5132249B2 (ja) * 2007-10-23 2013-01-30 アルパイン株式会社 車載用撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003104145A (ja) 2001-09-28 2003-04-09 Matsushita Electric Ind Co Ltd 運転支援表示装置
JP2005167638A (ja) * 2003-12-02 2005-06-23 Sharp Corp 移動体周囲監視装置、移動体および画像変換方法
JP2007168560A (ja) * 2005-12-21 2007-07-05 Denso Corp 駐車支援装置
JP2007230371A (ja) * 2006-03-01 2007-09-13 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法
JP2008153882A (ja) * 2006-12-15 2008-07-03 Clarion Co Ltd 撮像表示システム
JP2008227646A (ja) * 2007-03-09 2008-09-25 Clarion Co Ltd 障害物検知装置
JP2009023471A (ja) * 2007-07-19 2009-02-05 Clarion Co Ltd 車両情報表示装置
JP2009118415A (ja) * 2007-11-09 2009-05-28 Alpine Electronics Inc 鳥瞰画像生成装置および方法
JP2009298178A (ja) * 2008-06-10 2009-12-24 Nissan Motor Co Ltd 駐車支援装置及び駐車支援方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2647529A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130325205A1 (en) * 2012-04-25 2013-12-05 Sony Corporation Cruise-assist image generation device, cruise-assist image generation method, in-vehicle camera and equipment-control assist image generation device
US9533709B2 (en) * 2012-04-25 2017-01-03 Sony Corporation Cruise-assist image generation device, cruise-assist image generation method, in-vehicle camera and equipment-control assist image generation device
US10696328B2 (en) 2012-04-25 2020-06-30 Sony Corporation Cruise-assist image generation device, cruise-assist image generation method, in-vehicle camera and equipment-control assist image generation device
US11628882B2 (en) 2012-04-25 2023-04-18 Sony Group Corporation Cruise-assist image generation device, cruise-assist image generation method, in-vehicle camera and equipment-control assist image generation device

Also Published As

Publication number Publication date
EP2647529B1 (en) 2018-01-03
US20130044217A1 (en) 2013-02-21
EP2647529A1 (en) 2013-10-09
EP2647529A4 (en) 2014-03-19
CN102958758A (zh) 2013-03-06
JP2012116221A (ja) 2012-06-21
JP5519479B2 (ja) 2014-06-11
US9067538B2 (en) 2015-06-30

Similar Documents

Publication Publication Date Title
JP5194679B2 (ja) 車両用周辺監視装置および映像表示方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP5213063B2 (ja) 車両表示装置および表示方法
CN101585347B (zh) 汽车后视系统及具有该后视系统的汽车
JP4606322B2 (ja) 車両運転支援装置
JP2015027852A (ja) 運転支援装置
JP2006262447A (ja) 車両周辺視認装置
JP2008149764A (ja) 車両周辺監視装置
WO2012073391A1 (ja) 運転支援表示装置
WO2010103588A1 (ja) 運転支援表示装置
JP2016168877A (ja) 車両用視認装置
JP2007110572A (ja) 複数カメラ画像合成表示装置
JP5519479B2 (ja) 運転支援表示装置
JP2009120135A (ja) 撮像装置
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP6155674B2 (ja) 車両用視認装置
JP2014236415A (ja) 車両表示装置
JP2010188926A (ja) 車両後方表示装置および車両後方表示方法
JP4929232B2 (ja) 車載用撮像装置
CN110576796A (zh) 一种标清360全景系统ui布局方法
WO2023095340A1 (ja) 画像処理方法、画像表示方法、画像処理装置、及び画像表示装置
JP2024105969A (ja) 画像処理システム、移動体、画像処理方法、及びコンピュータプログラム
JP2006352249A (ja) 監視装置及び車両用監視装置
TWM558926U (zh) 多功能影像系統
JP2008219504A (ja) 撮像表示システム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180028918.1

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11844215

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011844215

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE