JP7280006B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JP7280006B2
JP7280006B2 JP2019144115A JP2019144115A JP7280006B2 JP 7280006 B2 JP7280006 B2 JP 7280006B2 JP 2019144115 A JP2019144115 A JP 2019144115A JP 2019144115 A JP2019144115 A JP 2019144115A JP 7280006 B2 JP7280006 B2 JP 7280006B2
Authority
JP
Japan
Prior art keywords
image
vehicle
blind spot
image processing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019144115A
Other languages
English (en)
Other versions
JP2021027469A (ja
Inventor
亮平 須田
圭助 本田
千絵 松▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2019144115A priority Critical patent/JP7280006B2/ja
Priority to US16/924,959 priority patent/US11273763B2/en
Priority to EP20189190.0A priority patent/EP3772719B1/en
Priority to CN202010781303.7A priority patent/CN112351242A/zh
Publication of JP2021027469A publication Critical patent/JP2021027469A/ja
Application granted granted Critical
Publication of JP7280006B2 publication Critical patent/JP7280006B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Description

本発明は、車載カメラで撮像された画像を処理する画像処理装置に関し、特に、サイドカメラで撮像された画像にリアカメラで撮像された画像を合成する方法に関する。
運転者の運転支援や視認性の向上を図るため、車載カメラで撮像された画像をディスプレイに表示するＣＭＳ（Camera Monitor System）が車両に搭載されている。例えば、サイドミラーの代替手段としてサイドカメラが車両の側部に取り付けられ、サイドカメラで撮像された車両の側部後方の画像がディスプレイに表示される。サイドカメラで撮像された画像には、光学式のサイドミラーの画像と同様に自車の車体の一部が含まれるが、この車体により死角となる領域を、リアカメラの画像と合成して、車体が透けているように見せる手法がある（以後、これをシースルービューと呼ぶ）。
特許文献１は、図１に示すように、サイドカメラの画像とリアカメラの画像とを合成するに際して、右カメラ３Ｒにより撮像された右カメラ画像と右カメラ３Ｒの基準車体マスク画像とを第１視野変換処理して視野変換画像Ｒと視野変換した車体マスク画像を生成し、後方カメラ３Ｂで撮像された後方カメラ画像を第２視野変換処理して視野変換画像ＢＲを生成し、視野変換した車体マスク画像の画素値に基づいて、視野変換画像Ｒと視野変換画像ＢＲとを合成する。こうして、視野変換画像Ｒの車体領域に後方カメラ３Ｂで撮像された後方カメラ画像が合成され、車体による死角を補完するシースルービューが生成される。なお、特許文献１では、超音波やレーザー等の距離センサを用いて自車後方の投影面の位置を算出し、その投影面で画像の合成を行っている。
特開２０１５－７４４３６号公報
従来のシースルービューの生成方法の概略工程を図２に示す。図２（Ａ）は、サイドカメラで車両の側部後方の画像が撮像されることを示し、図２（Ｂ）は、魚眼レンズのリアカメラで車両の後方の画像が撮像されることを示し、図２（Ｃ）は、リアカメラで撮像された画像の認識処理により後方車両を検出し、後方車両までの距離を算出することを示し、図２（Ｄ）は、算出された距離に従いバーチャルプレーン（投影面）をセットし、かつバーチャルプレーン上にリアカメラで撮像された画像を投影することを示し、図２（Ｅ）は、サイドカメラの画像と投影された画像との合成を示している。
リアカメラは、通常、車両後部に取り付けられ、リアカメラで撮像された後方画像は、自車が後進するときの駐車支援や障害物検知等に利用される。このため、リアカメラは、自車の後端付近の路面を撮像することができるように、画角の大きな魚眼レンズを用いている（例えば、画角は１８０度かそれ以上）。一方、サイドカメラは、ドアミラー近傍の車両側部に取り付けられ、車両の側部後方の遠方まで撮像することができるように、その画角はリアカメラの画角よりも小さい（例えば、９０度以下）。
図３は、リアカメラに、視野角Ｓ１が大きい魚眼カメラを用いたときの撮像範囲と、視野角Ｓ２が狭い挟角カメラを用いたときの撮像範囲を模式的に示している。Ｐは、シースルービューを生成するために設定される投影面であり、サイドカメラで撮像された画像およびリアカメラで撮像された画像は投影面Ｐに投影されるように座標変換される。投影面Ｐは、後方車両１０の位置によって動的に変化し、後方車両１０が自車Ｍに接近すると、魚眼カメラでは画質が上がり、他方、挟角カメラでは死角が大きくなる傾向にある。
リアカメラに魚眼カメラを用いた場合、視野範囲が広いため車両後端付近の真下の路面まで撮像することができる。つまり、後方車両１０が自車Ｍに接近しても、後方車両１０を満遍なく撮像することができる、死角（撮像できない範囲）は少ない。しかし、視野範囲が広いため画質が低くなりかつ収差が大きいため、後方車両１０までの距離が大きくなると、その画像が不鮮明になりかつ歪みが大きくなる。これに対して、リアカメラに挟角カメラを用いた場合、視野範囲が狭いため画質が高くなりかつ収差が小さいために、後方車両１０までの距離が大きくてもその画像は鮮明である。しかし、後方車両１０が自車Ｍに接近すると、挟角カメラで撮像することができなくなる死角が大きくなる。このように魚眼カメラと挟角カメラには一長一短がある。
図４（Ａ）は、リアカメラに魚眼カメラを用いてシースルービューを生成したときの表示例である。この場合、サイドカメラの画像の車体領域のシースルー部分、つまり魚眼カメラの画像で合成された部分の画質が低下する。図４（Ｂ）は、リアカメラに挟角カメラを用いてシースルービューを生成したときの表示例である。この場合、シースルー部の画質は良好であるが、後方車両１０が接近すると、死角領域ＢＬが生じてしまう。図４（Ｂ）には、後方車両の上側、側部、下側の３か所の死角領域ＢＬが示されている。このように従来のシースルービューの生成では、サイドカメラで撮像された画像に魚眼カメラまたは挟角カメラで撮像された画像を合成したとき、鮮明な画像を得ることができないという課題があった。
本発明は、このような従来の課題を解決し、複数の撮像手段で撮像された画像の合成を鮮明にすることができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。
本発明に係る画像処理装置は、車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段と、第１の画像の車体領域に、当該車体領域に対応する第２の画像と第３の画像とを合成可能な合成手段とを有する。
ある実施態様では、前記合成手段は、第３の画像の死角領域を第２の画像で補完する。ある実施態様では、前記合成手段は、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する。ある実施態様では、前記合成手段は、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。ある実施態様では、前記予め決められた条件は、死角領域が生じる位置、死角領域が生じる個数、死角領域が生じる大きさ、または車両の後方物体までの距離を規定する。ある実施態様では、前記合成手段は、第３の画像の死角領域が後方物体の下側にのみ生じる場合には、当該死角領域を第２の画像によって補完する。ある実施態様では、前記合成手段は、第３の画像の死角領域が後方物体の下側以外にも生じる場合には、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。ある実施態様では、前記合成手段は、第３の画像の死角領域の動的な変化に応答して当該死角領域を第２の画像で補完し、または第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。ある実施態様では、前記合成手段は、第２の画像および第３の画像を用いた合成から第２の画像を用いた合成に遷移するとき、第２の画像と第３の画像の重複領域において第２の画像の透過率が徐々に大きくなるように画像の合成を制御する。ある実施態様では、画像処理装置はさらに、後方物体までの距離を算出する算出手段を含み、前記合成手段は、前記算出された距離に基づき投影面を設定し、設定される投影面に第１の画像、第２の画像および第３の画像の座標を変換し、変換された第１の画像の車体領域に、変換された第２の画像および第３の画像を合成する。ある実施態様では、前記算出手段は、第２の画像と第３の画像とをステレオ視したときの視差から後方物体までの距離を算出する。ある実施態様では、前記算出手段は、レーダーまたはLiDAR等の距離センサにより後方物体までの距離を算出する。ある実施態様では、第２の画像は、車両が後進するときのリアビュー用の画像として利用可能であり、第３の画像は、ルームミラー用の画像として利用可能である。ある実施態様では、画像処理装置はさらに、前記合成手段によって合成された画像を表示する表示手段を含む。ある実施態様では、前記第２の撮像手段は、撮像範囲が広角である魚眼レンズを含み、前記第３の撮像手段は、魚眼レンズよりも撮像範囲が相対的に狭い挟角レンズを含む。
本発明に係る画像処理方法は、車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段とを含む画像処理装置におけるものであって、第１の画像の車体領域に、当該車体領域に対応する第２の画像および第３の画像を合成可能な合成ステップを含む。
ある実施態様では、前記合成ステップは、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する。ある実施態様では、前記合成ステップは、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。
本発明に係る画像処理プログラムは、車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段とを含む画像処理装置が実行するものであって、第１の画像の車体領域に、当該車体領域に対応する第２の画像および第３の画像を合成可能な合成ステップを含む。
ある実施態様では、前記合成ステップは、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する。ある実施態様では、前記合成ステップは、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する。
本発明によれば、第１の画角で撮像された第２の画像と第１の画角よりも狭い第２の画角で撮像された第３の画像を、第１の画像の車体領域に合成可能としたことにより、第１の画角で撮像された画像と第２の画角で撮像された画像のそれぞれの利点（すなわち、第１の画角で撮像された画像は撮像範囲が広く死角が生じ難く、第２の画角で撮像された画像は画質が高い）を合成画像に活かし、鮮明な合成画像を得ることができる。
従来のサイドカメラで撮像された画像にリアカメラで撮像された画像を合成する例を示す図である。 従来のシースルービューの生成方法を説明する図である。 リアカメラに魚眼カメラと挟角カメラを用いたときの視野範囲の模式図である。 図４（Ａ）は、魚眼カメラを用いたときのシースルービューの表示例、図４（Ｂ）は、挟角カメラを用いたときのシースルービューの表示例である。 本発明の実施例に係る画像処理装置の構成を示すブロック図である。 本発明の実施例に係る撮像カメラの取り付け例を示す平面図である。 本発明の実施例に係るシースルービューの生成動作を説明するフローである。 本発明の実施例に係る挟角カメラの画像の死角領域を魚眼カメラの画像で補完し、これをサイドカメラの画像に合成してシースルービューを生成する例を示す図である。 本発明の実施例に係る魚眼カメラの画像のみをサイドカメラの画像に合成してシースルービューを生成する例を示す図である。 本発明の変形例に係る挟角カメラの画像と魚眼カメラの画像との合成方法を説明する図である。
本発明に係る画像処理装置は、移動体等に取り付けられた撮像カメラで撮像された画像を合成する機能を有する。合成された画像は、ＣＭＳ(Camera Monitor System)に用いられ、ディスプレイに表示される。１つの好ましい態様では、画像処理装置は、サイドカメラで撮像された画像に含まれる車体の死角となる領域に、リアカメラで撮像された画像を合成し、シースルービューを生成する。
図５は、本発明の実施例に係る画像処理装置の構成を示すブロック図である。本実施例の画像処理装置１００は、車両に取り付けられた複数の撮像カメラ１１０Ｌ、１１０Ｒ、１２０、１３０と、これら撮像カメラで撮像された画像を受け取り、画像処理等を含む種々の制御を行う制御部１４０と、自車の後方の対象物（例えば、後方車両など）までの距離を算出する距離算出部１５０と、制御部１４０で画像処理された画像を表示する表示部１６０とを備えている。本実施例の画像処理装置は、車両に搭載された車載装置（例えば、オーディオ・ビジュアル・ナビゲーション機能等を備えた電子装置）と連携した動作をすることも可能である。
図６は、撮像カメラの取り付け例を示す車両の平面図である。撮像カメラ１１０～１３０は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と撮像レンズとを含む。撮像カメラ１１０Ｌ、１１０Ｒは、サイドミラーを代替するサイドカメラであり、車両Ｍの左右のサイドミラー内またはその近傍にそれぞれ取り付けられ、あるいはサイドミラーに置換される（以後、サイドカメラ１１０Ｌ、１１０Ｒという）。サイドカメラ１１０Ｌ、１１０Ｒの撮像レンズの画角θ１、すなわち撮像範囲は、例えば光軸から９０度かそれ以下である。光学式のサイドミラーに映される画像には、車両Ｍの周辺物体との位置関係を把握し易くするため車体の側部が映される。このため、サイドカメラ１１０Ｌ、１１０Ｒの光軸は、少なくとも光学式のサイドミラーと同様に、車体の側部の一部が撮像されるように調整される。
車両Ｍの後部には、２つの撮像カメラ１２０、１３０が取り付けられる。撮像カメラ１２０は、車両Ｍの後部の左右のほぼ中央であって、例えば、ナンバープレートやバンパーの高さ近傍に取り付けられる。撮像カメラ１２０は、広い視野角の魚眼レンズを含み、その画角θ２は、約１８０度かそれよりも大きい（以後、魚眼カメラという）。魚眼カメラ１２０は、車両Ｍの後方を広範囲で撮像し、撮像された画像は、車両Ｍの後端の路面を含む。魚眼レンズ１２０で撮像された画像は、車両Ｍが後進するとき（つまり、ギアポジションがバックのとき）、表示部１６０にリアビューとして表示される。運転者は、リアビューを視認しながら後方の障害物を確認したり、駐車を行う。また、魚眼カメラ１２０で撮像された画像は、後述するように、サイドカメラ１１０Ｌ、１１０Ｒで撮像された画像の合成にも利用される。
もう１つの撮像カメラ１３０は、車両Ｍの後部の魚眼カメラ１２０とほぼ同じ高さに、魚眼カメラ１２０から一定距離だけ離れた位置に取り付けられる。撮像カメラ１３０は、魚眼レンズよりも画角が小さい撮像レンズを含み、その画角θ３は、約９０度かそれ以下である（以下、挟角カメラという）。挟角カメラ１３０は、ルームミラーの代替として利用することが可能であり、この場合、ルームミラーで映される画像と同様の撮像範囲で車両Ｍの後方を撮像する。挟角カメラ１３０で撮像された画像は、車両が前進するときなどに表示部１５０にリアビューとして表示される。また、挟角カメラ１３０は、魚眼カメラ１２０とともに、サイトカメラ１１０Ｌ、１１０Ｒで撮像された画像の合成にも利用される。
制御部１４０は、サイドカメラ１１０Ｌ、１１０Ｒ、魚眼カメラ１２０、挟角カメラ１３０で撮像された画像を受け取り、受け取った画像を処理し、これを表示部１６０に表示させる。制御部１４０は、距離算出部１５０で算出された後方の対象物までの距離に基づき投影面Ｐ（図３を参照）を設定し、投影面Ｐ上に、それぞれ取り付け位置や画角が異なる各カメラ１１０～１３０で撮像された画像を投影するため、これらの画像の座標変換を行う。制御部１４０は、投影面Ｐにおいて、サイドカメラ１１０Ｌ、１１０Ｒ、魚眼カメラ１２０、挟角カメラ１３０の変換された各画像の画素間の対応関係を算出する。シースルービューを生成する場合、制御部１４０は、投影面Ｐ上のサイドカメラ１１０Ｌ、１１０Ｒの画像において、車体領域の画像に対応する魚眼カメラ１２０および挟角カメラ１３０の画像を識別または抽出し、識別または抽出した画像を車体領域に合成する。さらに、制御部１４０は、サイドカメラの取付け位置、光軸の方向、撮像範囲、車体形状等から、投影面Ｐ上のサイドカメラ１１０Ｌ、１１０Ｒの画像において、どの領域が車体領域に対応するかを算出する。
制御部１４０は、例えば、画像処理を行うためのプロセッサ、マイクロコンピュータ、ＲＯＭ／ＲＡＭ等を含み、１つの好ましい例では、制御部１４０は、ＲＯＭ／ＲＡＭに格納された画像処理プログラムを実行することで、ハードウエアを制御し、シースルービューやリアビュー等の画像を生成するために必要な画像処理を行う。
距離算出部１５０は、自車Ｍの後方の対象物までの距離を算出する。算出は、例えば、一定周期で行われる。対象物は、例えば、自車の後方を走行する後方車両、あるいは自車の後方に存在する障害物や道路などである。距離の算出方法は、例えば、レーダーやLiDRAのような距離センサを用いて対象物までの距離を算出したり、あるいは、魚眼カメラ１２０と挟角カメラ１３０の２つの画像をステレオ視することで対象物の距離を算出する。後者の場合、距離算出部１５０は、投影面Ｐに変換された２つの画像をステレオ視し、その示唆から対象物の距離を算出する。距離算出部１５０は、距離を算出する都度、これを制御部１４０へ提供する。制御部１４０は、距離算出部１５０から受け取った距離に基づきシースルービューを生成するための投影面Ｐを設定する。この投影面Ｐの位置は、対象物までの距離に応じてその都度変化する。
表示部１６０は、制御部１４０で処理された画像データを受け取り、これを表示する。表示部１６０は、液晶ディスプレイ、有機ＥＬディスプレイ、投射装置（ＨＵＤ）等の表示媒体を１つまたは複数含む。表示部１６０の取り付け位置は特に限定されないが、例えば、インスツルメンツパネル内の液晶表示モジュールであったり、車載装置用のディスプレイであったり、フロントガラス等への投射画像である。１つの好ましい例では、表示部１６０は、サイドミラー１１０Ｌ、１１０Ｒで撮像された車両の側部後方の画像を表示（シースルービュー表示）したり、魚眼カメラ１２０で撮像された車両の後方画像を表示（リアビュー表示）したり、挟角カメラ１３０で撮像された車両の後方画像を表示（ルームミラービュー表示）する。
次に、本実施例のシースルービューの生成について説明する。図７は、本実施例によるシースルービューの生成動作を説明するフローである。シースルービューの生成は、サイドカメラ１１０Ｌ、１１０Ｒに共通に行われるので、ここでは、サイドカメラ１１０Ｌについて説明する。
制御部１４０は、サイドカメラ１１０Ｌで撮像された画像、魚眼カメラ１２０で撮像された画像、および挟角カメラ１３０で撮像された画像を受け取る（Ｓ１００）。また、距離算出部１５０は、車両後方の対象物までの距離を算出し（Ｓ１１０）、算出した距離を制御部１４０へ提供する。
制御部１４０は、距離算出部１５０から距離を受け取ると、距離に基づき投影面Ｐを設定し、投影面Ｐ上に、サイドカメラ１１０Ｌ、魚眼カメラ１２０および挟角カメラ１３０で撮像された画像の座標を変換する（Ｓ１２０）。
次に、制御部１４０は、サイドカメラ１１０Ｌの画像の車体領域に挟角カメラ１３０の画像を合成する場合に、挟角カメラ１３０の画像に死角が生じるか否かを判定する（Ｓ１３０）。挟角カメラ１３０は、例えば、画角θ３（または撮像範囲）が約９０度であり、車両のバンパー近傍に取り付けられ、自車から後方物体までの距離が、例えば約１．４ｍ程度になると、後方物体の全体を撮像することができない死角が発生し得る。制御部１４０は、投影面Ｐにおいて、サイドミラー１１０Ｌの車体領域の座標空間を算出しており、この座標空間に対応する画素の全てを挟角カメラ１３０で撮像することができれば、死角が発生しないと判定し、撮像することができなければ、死角が発生すると判定する。
制御部１４０は、車体領域に合成すべき挟角カメラ１３０の画像に死角が発生しない場合には、挟角カメラ１３０の画像をサイドミラー１１０Ｌの画像の車体領域に合成する（Ｓ１５０）。車体領域が挟角カメラ１３０の高画質な画像で合成されるため、シースルービューをより鮮明に表示させることができる。
一方、合成すべき挟角カメラ１３０の画像に死角が発生する場合には、制御部１４０は、その死角が予め決められた条件に合致するか否かを判定する（Ｓ１６０）。予め決められた条件とは、挟角カメラ１３０の画像の死角領域を、魚眼カメラ１２０の画像で補完するか否かを決定するための条件である。例えば、死角領域が比較的目立たないよう位置、大きさ、個数であれば、これを画質の低い魚眼カメラ１２０の画像で補完しても、画像の鮮明さに大きな影響を及ぼさない。他方、死角領域が後方車両の一部に重複したり、サイズが相対的に大きかったり、あるいは多数発生した場合、これを魚眼カメラ１２０の画像で補完すると、却って画像が不鮮明になる。この場合は、死角領域を魚眼カメラ１２０の画像で補完するよりも、むしろ挟角カメラ１３０の画像を使用せず、魚眼カメラ１２０の画像のみを合成させた方が合成画像を鮮明にすることができる。
予め決められた条件は、上記のように死角領域が発生する位置、大きさ、個数を規定するものであってもよいし、あるいは、死角領域の発生は、距離算出部１５０で算出された距離の関数でもあるので、この距離を条件にしてもよい。この場合、自車から後方物体までの距離が閾値以上であれば条件に合致し、それ未満であれば条件に合致しないと判定する。
制御部１４０は、死角が予め決められた条件に合致する場合には（Ｓ１６０）、挟角カメラ１３０の死角領域を、魚眼カメラ１２０の対応する画像で補完し、この補完された挟角カメラ１３０の画像と魚眼カメラ１２０の画像とを、サイドカメラ１１０Ｌの画像の車体領域に合成する（Ｓ１７０）。投影面Ｐにおいて、挟角カメラ１３０と魚眼カメラ１２０との画素の対応関係は分かるため、死角領域に対応する魚眼カメラ１３０の画像が抽出されまたは切り出され、これが死角領域に合成される。
死角領域を魚眼カメラ１３０の画像で補完する例を図８に示す。この例では、挟角カメラの画像の死角領域ＢＬは、後方車両の下側のあまり目立たない部分に発生している。それ故、制御部１４０は、死角領域が条件に合致すると判定し、死角領域ＢＬに対応する画像を魚眼カメラ１３０から抽出または切り出し、これを死角領域ＢＬに合成することで死角領域ＢＬを補完する。そして、死角領域ＢＬが補完された画像が、サイドカメラ１１０Ｌの画像の車体領域に合成し、シースルービューが生成される。
シースルービューの「Ｑ」は、サイドカメラの車体領域の境界を示し、「Ｔ」は、挟角カメラ１３０の画像と魚眼カメラ１２０の画像との境界を示している。この境界Ｔは、後方車両と路面との近傍にあるため、あまり目立たない。また、挟角カメラ１２０の画像を合成しているため、サイドカメラ１１０Ｌの画像と同程度の画質を得ることができ、かつ死角領域が魚眼カメラ１３０の画像で補完されおり、比較的鮮明な高画質のシースルービューを得ることができる。
一方、死角が予め決められた条件に合致しない場合には（Ｓ１６０）、制御部１４０は、挟角カメラ１３０の死角領域を魚眼カメラ１２０の画像で補完することなく、魚眼カメラ１２０の画像のみをサイドカメラ１１０Ｌの画像の車体領域に合成する（Ｓ１８０）。この合成の様子を図９に示す。ここでは、挟角カメラ１３０の画像には、後方車両の下側、側部および上側の複数個所に死角領域ＢＬが発生している。また、下側の死角領域は、後方車両の一部に重複するぐらい大きいものである。それ故、制御部１４０は、死角領域が条件に合致しないと判定し、魚眼カメラ１２０の画像で死角領域ＢＬを補完することなく、魚眼カメラ１２０の画像を、サイドカメラ１１０Ｌの画像の車体領域に合成し、シースルービューを生成する。ここで留意すべきは、シースルービューにおいて死角領域が出現する前に魚眼カメラの画像に置き換えられる。こうして、魚眼カメラ１３０の画像を用いるため、幾分画質は低下するが、後方車両が接近したシースルービューにおいて死角領域の表示を無くすことができる。
図７に示すステップは、車両の走行中（前進や後進）あるいは停車中に繰り返し実行され、シースルービューが連続的に生成される。また、距離算出部１５０により算出される後方物体までの距離が変化すると、投影面Ｐが変化し、それに応じて死角領域の発生が動的に変化し、サイドカメラの画像の車体領域に合成すべき画像は、魚眼カメラ１２０の画像および／または挟角カメラ１３０の画像に適宜切替われる。
このように本実施例によれば、ルームミラーの代替機能をもつ挟角カメラの画像とリアビューに利用される魚眼カメラの画像とを、サイドカメラの画像に合成可能にしたことで、挟角カメラと魚眼カメラの長所を利用した鮮明なシースルービューを生成することができる。
次に、本発明の変形例について説明する。上記したように距離算出部１５０で算出された距離すなわち投影面に応じて、挟角カメラ１３０の画像に発生する死角領域が動的に変化し、これにより、合成に用いる画像が挟角カメラ１３０と魚眼カメラ１２０との画像から、魚眼カメラ１２０のみの画像に移行する。この移行時の画像の切替わりをスムーズにするため、変形例では、魚眼カメラ１２０と挟角カメラ１３０の重複する範囲において、魚眼カメラ１２０の画像の透過率を徐々に高くし、あるいはその判定に挟角カメラ１３０の画像の透過率を徐々に低くなるように、両画像の合成を制御する。
この画像合成の様子を図１０に示す。時刻Ｔ１のとき、挟角カメラ１３０の死角領域が魚眼カメラ１２０の画像で補完され、時刻Ｔ５のとき、死角領域が魚眼カメラ１２０の画像に置換されるとする。制御部１４０は、時刻Ｔ２のとき、例えば、７：３の割合で透過される挟角カメラの画像と魚眼カメラの画像とを合成し、時刻Ｔ３のとき、５：５の割合で合成し、時刻Ｔ４のとき、３：７の割合で合成する。このような合成をすることで、急激に画質が変化するのを防止することができる。
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。
１００：画像処理装置
１１０Ｌ、１１０Ｒ：撮像カメラ（サイドカメラ）
１２０：撮像カメラ（魚眼カメラ）
１３０：撮像カメラ（挟角カメラ）
１４０：制御部
１５０：距離算出部
１６０：表示部

Claims (20)

  1. 車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、
    車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、
    車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段と、
    第１の画像の車体領域に、当該車体領域に対応する第２の画像と第３の画像とを合成可能な合成手段とを有し、
    前記合成手段は、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する、画像処理装置。
  2. 前記合成手段は、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１に記載の画像処理装置。
  3. 前記予め決められた条件は、死角領域が生じる位置を規定する、請求項１または２に記載の画像処理装置。
  4. 前記予め決められた条件は、死角領域が生じる個数を規定する、請求項１または２に記載の画像処理装置。
  5. 前記予め決められた条件は、死角領域が生じる大きさを規定する、請求項１または２に記載の画像処理装置。
  6. 前記予め決められた条件は、車両の後方物体までの距離を規定する、請求項１または２に記載の画像処理装置。
  7. 前記合成手段は、第３の画像の死角領域が後方物体の下側にのみ生じる場合には、当該死角領域を第２の画像によって補完する、請求項１ないし６いずれか１つに記載の画像処理装置。
  8. 前記合成手段は、第３の画像の死角領域が後方物体の下側以外にも生じる場合には、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１ないし７いずれか１つに記載の画像処理装置。
  9. 前記合成手段は、第３の画像の死角領域の動的な変化に応答して当該死角領域を第２の画像で補完し、または第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１ないし８いずれか１つに記載の画像処理装置。
  10. 前記合成手段は、第２の画像および第３の画像を用いた合成から第２の画像を用いた合成に遷移するとき、第２の画像と第３の画像の重複領域において第２の画像の透過率が徐々に大きくなるように画像の合成を制御する、請求項９に記載の画像処理装置。
  11. 画像処理装置はさらに、後方物体までの距離を算出する算出手段を含み、
    前記合成手段は、前記算出された距離に基づき投影面を設定し、設定される投影面に第１の画像、第２の画像および第３の画像の座標を変換し、変換された第１の画像の車体領域に、変換された第２の画像および第３の画像を合成する、請求項１ないし１０いずれか１つに記載の画像処理装置。
  12. 前記算出手段は、第２の画像と第３の画像とをステレオ視したときの視差から後方物体までの距離を算出する、請求項１１に記載の画像処理装置。
  13. 前記算出手段は、レーダーまたはLiDAR等の距離センサにより後方物体までの距離を算出する、請求項１１に記載の画像処理装置。
  14. 第２の画像は、車両が後進するときのリアビュー用の画像として利用可能であり、第３の画像は、ルームミラー用の画像として利用可能である、請求項１ないし１３いずれか１つに記載の画像処理装置。
  15. 画像処理装置はさらに、前記合成手段によって合成された画像を表示する表示手段を含む、請求項１ないし１４いずれか１つに記載の画像処理装置。
  16. 前記第２の撮像手段は、撮像範囲が広角である魚眼レンズを含み、前記第３の撮像手段は、魚眼レンズよりも撮像範囲が相対的に狭い挟角レンズを含む、請求項１ないし１５いずれか１つに記載の画像処理装置。
  17. 車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段とを含む画像処理装置における画像処理方法であって、
    第１の画像の車体領域に、当該車体領域に対応する第２の画像および第３の画像を合成可能な合成ステップを含み、
    前記合成ステップは、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する、画像処理方法。
  18. 前記合成ステップは、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１７の画像処理方法。
  19. 車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段とを含む画像処理装置が実行する画像処理プログラムであって、
    第１の画像の車体領域に、当該車体領域に対応する第２の画像および第３の画像を合成可能な合成ステップを含み、
    前記合成ステップは、第３の画像の死角領域が予め決められた条件を満足するとき、当該死角領域を第２の画像で補完する、画像処理プログラム。
  20. 前記合成ステップは、第３の画像の死角領域が前記予め決められた条件を満足しないとき、当該死角領域を第２の画像で補完することなく第１の画像の車体領域に第２の画像のみを合成する、請求項１９に記載の画像処理プログラム。
JP2019144115A 2019-08-06 2019-08-06 画像処理装置、画像処理方法および画像処理プログラム Active JP7280006B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019144115A JP7280006B2 (ja) 2019-08-06 2019-08-06 画像処理装置、画像処理方法および画像処理プログラム
US16/924,959 US11273763B2 (en) 2019-08-06 2020-07-09 Image processing apparatus, image processing method, and image processing program
EP20189190.0A EP3772719B1 (en) 2019-08-06 2020-08-03 Image processing apparatus, image processing method, and image processing program
CN202010781303.7A CN112351242A (zh) 2019-08-06 2020-08-06 图像处理装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019144115A JP7280006B2 (ja) 2019-08-06 2019-08-06 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2021027469A JP2021027469A (ja) 2021-02-22
JP7280006B2 true JP7280006B2 (ja) 2023-05-23

Family

ID=71943990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019144115A Active JP7280006B2 (ja) 2019-08-06 2019-08-06 画像処理装置、画像処理方法および画像処理プログラム

Country Status (4)

Country Link
US (1) US11273763B2 (ja)
EP (1) EP3772719B1 (ja)
JP (1) JP7280006B2 (ja)
CN (1) CN112351242A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7342024B2 (ja) * 2018-10-31 2023-09-11 ソニーグループ株式会社 撮影装置、制御方法、及び、プログラム
JP7018923B2 (ja) * 2019-12-13 2022-02-14 本田技研工業株式会社 駐車支援装置、駐車支援方法およびプログラム
US20230087119A1 (en) * 2021-09-22 2023-03-23 Motional Ad Llc Switchable wheel view mirrors

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007295357A (ja) 2006-04-26 2007-11-08 Alpine Electronics Inc 車載周辺状況提示装置
JP2014236415A (ja) 2013-06-04 2014-12-15 日産自動車株式会社 車両表示装置
JP2015074436A (ja) 2013-10-11 2015-04-20 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020063711A1 (en) 1999-05-12 2002-05-30 Imove Inc. Camera system with high resolution image inside a wide angle view
US7806604B2 (en) 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
JP5347257B2 (ja) * 2007-09-26 2013-11-20 日産自動車株式会社 車両用周辺監視装置および映像表示方法
US8497905B2 (en) 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
JP6392693B2 (ja) 2015-03-20 2018-09-19 株式会社デンソーアイティーラボラトリ 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP7128625B2 (ja) * 2017-05-18 2022-08-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 車両システム、車両情報処理方法、プログラム、交通システム、インフラシステムおよびインフラ情報処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007295357A (ja) 2006-04-26 2007-11-08 Alpine Electronics Inc 車載周辺状況提示装置
JP2014236415A (ja) 2013-06-04 2014-12-15 日産自動車株式会社 車両表示装置
JP2015074436A (ja) 2013-10-11 2015-04-20 富士通株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2018117320A (ja) 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法

Also Published As

Publication number Publication date
CN112351242A (zh) 2021-02-09
JP2021027469A (ja) 2021-02-22
EP3772719A1 (en) 2021-02-10
US20210039554A1 (en) 2021-02-11
US11273763B2 (en) 2022-03-15
EP3772719B1 (en) 2022-10-05

Similar Documents

Publication Publication Date Title
JP5684144B2 (ja) 周辺映像生成方法および装置
JP5500877B2 (ja) 車載用画像表示装置および画像のトリミング方法
JP4766841B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
KR100936557B1 (ko) 차량용 주변 감시 장치 및 영상 표시 방법
KR100522218B1 (ko) 감시 시스템, 카메라 조정방법 및 차량감시 시스템
US8201199B2 (en) Monitoring system
US8130270B2 (en) Vehicle-mounted image capturing apparatus
JP3652678B2 (ja) 車両周囲監視装置およびその調整方法
JP4765649B2 (ja) 車両用映像処理装置、車両周囲監視システム並びに映像処理方法
US20020075387A1 (en) Arrangement and process for monitoring the surrounding area of an automobile
JP7280006B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5953824B2 (ja) 車両用後方視界支援装置及び車両用後方視界支援方法
JP5321711B2 (ja) 車両用周辺監視装置および映像表示方法
JP4248570B2 (ja) 画像処理装置並びに視界支援装置及び方法
JP2005311868A (ja) 車両周辺視認装置
JP2005110202A (ja) カメラ装置及び車両周辺監視装置
JP5036891B2 (ja) 車両に搭載されるカメラ装置及び車両周辺監視装置
JP2009206747A (ja) 車両用周囲状況監視装置及び映像表示方法
JP6035298B2 (ja) ビジュアルシステム
JP2008048317A (ja) 画像処理装置並びに視界支援装置及び方法
KR20100081964A (ko) 주변 영상 생성 방법 및 장치
CN113508574A (zh) 成像系统和方法
US20220222947A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
JP7301476B2 (ja) 画像処理装置
JP6555240B2 (ja) 車両用撮影表示装置及び車両用撮影表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230510

R150 Certificate of patent or registration of utility model

Ref document number: 7280006

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150