TW201739647A - 車輛周圍影像處理方法及裝置 - Google Patents

車輛周圍影像處理方法及裝置

Info

Publication number
TW201739647A
TW201739647A TW105113922A TW105113922A TW201739647A TW 201739647 A TW201739647 A TW 201739647A TW 105113922 A TW105113922 A TW 105113922A TW 105113922 A TW105113922 A TW 105113922A TW 201739647 A TW201739647 A TW 201739647A
Authority
TW
Taiwan
Prior art keywords
image
vehicle
view
perspective
wall side
Prior art date
Application number
TW105113922A
Other languages
English (en)
Other versions
TWI613106B (zh
Inventor
林冠廷
吳怡正
Original Assignee
威盛電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 威盛電子股份有限公司 filed Critical 威盛電子股份有限公司
Priority to TW105113922A priority Critical patent/TWI613106B/zh
Priority to CN201910593719.3A priority patent/CN110139084B/zh
Priority to CN201610530598.4A priority patent/CN106101635B/zh
Priority to US15/213,410 priority patent/US9992481B2/en
Priority to CN201710233529.1A priority patent/CN106961585B/zh
Priority to US15/494,564 priority patent/US10434877B2/en
Publication of TW201739647A publication Critical patent/TW201739647A/zh
Application granted granted Critical
Publication of TWI613106B publication Critical patent/TWI613106B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0616—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
    • G01B11/0625—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating with measurement of absorption or reflection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B2210/00—Aspects not specifically covered by any group under G01B, e.g. of wheel alignment, caliper-like sensors
    • G01B2210/56—Measuring geometric parameters of semiconductor structures, e.g. profile, critical dimensions or trench depth

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一種車輛周圍影像處理方法及裝置。此方法利用配置於車輛上的多個相機拍攝車輛周圍多個透視視野的影像，並分別將這些透視視野的影像轉換為俯視視野的影像，然後在轉換後的俯視視野的各個影像的其中一行像素中，找出由至少一個預設數目的連續多個空洞像素構成的區間，而根據此區間在影像中的高度，將透視視野及俯視視野的影像切割為地面側影像及牆面側影像，最後則將切割後的地面側影像及牆面側影像拼接，以產生車輛周圍的合成影像。

Description

車輛周圍影像處理方法及裝置
本發明是有關於一種影像處理方法及裝置，且特別是有關於一種車輛周圍影像處理方法及裝置。
汽車360度環景顯示系統主要是利用裝載於車身前、後、左、右的四個相機擷取車輛周圍四個不同方向上的影像，透過對影像進行轉換、合成、拼貼等處理，而可獲得以車輛上方俯視車身視野呈現的車輛周圍實景影像。此360度環景影像可協助車輛駕駛在停車或行駛於狹小巷弄時，能夠清楚地判斷車身與停車格或其他障礙物之間的相對位置，以避免發生碰撞意外。
然而，目前的環景顯示系統只能提供車輛四周（包含車身及周圍景物或障礙物）一定距離內的俯視影像，但此俯視影像並不能反映出景物或障礙物的真實樣貌，也與駕駛實際觀看到的景像不符。據此，有必要提供一種影像處理方法，除了提供車輛的俯視影像外，也能夠提供更清楚的周圍景物影像，以協助駕駛精準地判斷車身與周圍景物的相對位置。
本發明提供一種車輛周圍影像處理方法及裝置，藉由將車輛周圍影像及俯視影像適當地裁切為地面側影像及牆面側影像，並進行適當地合併及拼接，藉此產生可清楚顯露車輛周圍景物的影像。
本發明的車輛周圍影像處理方法適用於配置於車輛上的電子裝置。此電子裝置連接配置於車輛上的多個相機。此方法是利用相機拍攝車輛周圍多個透視視野（perspective view）的影像，並分別將這些透視視野的影像轉換為俯視視野（top view）的影像。然後，在轉換後的俯視視野的各個影像的其中一行像素中，找出由至少一個預設數目的連續多個空洞像素構成的區間，而根據此區間在影像中的高度，將透視視野及俯視視野的影像切割為地面側影像及牆面側影像，最後則將切割後的地面側影像及牆面側影像拼接，產生車輛周圍的合成影像。
本發明的車輛周圍影像處理裝置包括連接裝置、儲存裝置及處理器。其中，連接裝置是用以連接配置於車輛上的多個相機。儲存裝置是用以儲存多個模組。處理器耦接連接裝置及儲存裝置，用以載入並執行儲存裝置中的模組，這些模組包括影像拍攝模組、視野轉換模組、影像切割模組及影像拼接模組。影像拍攝模組利用相機拍攝車輛周圍多個透視視野的影像；視野轉換模組分別將這些透視視野的影像轉換為俯視視野的影像；影像切割模組是在轉換後的俯視視野的各個影像的其中一行像素中，找出由至少一個預設數目的連續多個空洞像素構成的區間，而根據此區間在影像中的高度，將透視視野及俯視視野的影像切割為地面側影像及牆面側影像；影像拼接模組會將切割後的地面側影像及牆面側影像拼接，以產生車輛周圍的合成影像。
基於上述，本發明的車輛周圍影像處理方法及裝置藉由將以多個不同透視視野拍攝的車輛周圍影像轉換為俯視視野影像，並找出轉換後影像在縱向上的連續空洞像素的區間，而據以裁切、合併及拼接影像，藉此可獲得經適當處理的可清楚顯露車輛周圍景物的合成影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
針對車輛環景系統相機所拍攝的透視視野（perspective view）影像，本發明的裝置除了將其轉換為可輔助停車的俯視視野（top view）影像外，還利用轉換後影像中的空洞分佈，決定一個可切割出清晰地面側影像的分割線。藉由此分割線對轉換前後的影像進行分割，並將俯視視野影像中的地面側影像與透視視野影像中的牆面側影像合併，可獲得地面側與牆面側影像皆清晰的合併影像。最後，將各個視野的合併影像拼接，從而獲得可清楚顯露車輛周圍地面及景物的合成影像。此外，藉由將上述合成影像映射於車輛周圍空間的三維模型，使得本發明的裝置還可依使用者的觀看需求或是車輛的作動方式，提供適於使用者當下觀看的影像。
圖1是依照本發明一實施例所繪示之車輛周圍影像處理裝置的方塊圖。本實施例的車輛周圍影像處理裝置是以圖1中的電子裝置10為例，其例如是車用電腦，或是具備運算功能的手機、平板電腦或個人電腦或其他裝置，其中至少包括連接裝置12、儲存裝置14及處理器16，其功能分述如下：
連接裝置12例如是通用序列匯流排（Universal Serial Bus，USB）、RS232、藍芽、無線相容認證（Wireless fidelity，Wi-Fi）等有線或無線的傳輸介面，其可用以連接配置於車輛上的相機，從而接收相機所拍攝的影像。
儲存裝置14例如是任何型態的固定式或可移動式隨機存取記憶體（random access memory，RAM）、唯讀記憶體（read-only memory，ROM）、快閃記憶體（flash memory）或類似元件或上述元件的組合。在本實施例中，儲存裝置14係用以記錄影像拍攝模組142、視野轉換模組144、影像切割模組146及影像拼接模組148。
處理器16例如是中央處理單元（Central Processing Unit，CPU），或是其他可程式化之一般用途或特殊用途的微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或其他類似裝置或這些裝置的組合，其係與連接裝置12及儲存裝置14連接。
在本實施例中，儲存在儲存裝置14中的模組例如是電腦程式，而可由處理器16載入，據以執行本實施例的車輛周圍影像處理的方法。以下即舉實施例說明此方法的詳細步驟。
圖2是依照本發明一實施例所繪示之車輛周圍影像處理方法的流程圖。請同時參照圖1及圖2，本實施例的方法適用於上述圖1的電子裝置10，以下即搭配圖1中電子裝置10的各項裝置，說明本實施例車輛周圍影像處理方法的詳細步驟：
首先，由影像拍攝模組142利用連接裝置12所連接的相機拍攝車輛周圍多個透視視野的影像（步驟S202）。上述的相機可以包括配置於車輛前、後、左、右四個位置的相機，用以拍攝車身前方、後方、左方、右方等透視視野的影像，但不限於此。本領域技術人員可視實際需要，在車輛的其他位置額外配置相機，以增加所拍攝影像的涵蓋範圍。
舉例來說，圖3是本發明一實施例所繪示之拍攝車輛周圍影像的範例。請參照圖3，本實施例是在車輛30的前、後、左、右四個位置分別配置相機32、34、36、38。其中，相機32、34、36、38分別用以拍攝車身前方、後方、左方、右方等透視視野的影像32a、34a、36a、38a。
需說明的是，在上述實施例中，配置在車輛上的相機例如是使用魚眼鏡頭，其具有接近180度的視角，而可拍攝涵蓋範圍較廣的影像。基於使用魚眼鏡頭拍攝的影像會產生變形（例如影像32a、34a、36a、38a所示的圓形扭曲），故本申請實施例可額外由處理器16執行魚眼校正模組（未繪示），從而對這些影像進行魚眼校正。
魚眼校正模組例如會依據各個相機的魚眼鏡頭的焦距、視角、中心解析度、邊緣解析度等鏡頭參數，對相機所拍攝的影像進行裁切，以將魚眼鏡頭的中心移動至影像中心。詳言之，由魚眼鏡頭拍攝的景物僅會出現在影像中心的圓形區域中，其周圍則會是黑邊。若左右黑邊的寬度不同，則代表鏡頭中心已偏離影像中心。此時魚眼校正模組例如會裁切影像，以使影像兩邊黑邊的寬度一致，從而將魚眼鏡頭的中心移動至影像中心，確保後續執行魚眼校正時影像可還原為原始形狀。
在校正影像中心之後，魚眼校正模組還會分別依據各個相機的上述鏡頭參數，對相機所拍攝的影像執行魚眼校正，而從影像的中心開始向外校正影像，使得原本扭曲變形的影像可還原為所拍攝景物的原始形狀。
詳言之，假設所拍攝魚眼影像的寬度為dw、高度為dh，校正後原始影像的寬度為sw、高度為sh；假設為校正前魚眼影像的像素位置，而為校正後的來源影像的像素位置；假設魚眼鏡頭的去魚眼（de-fish）係數為f。其中，像素與影像中心的距離的關係為：
；
校正後的來源影像（即去魚眼影像）的像素位置為：
，其中
，其中，其中為歐式距離（Euclidean distance）。在另一實施例中，若配置在車輛上的相機不是使用魚眼鏡頭，可以不進行魚眼校正或進行對應於相機鏡頭的其他種類校正。
舉例來說，圖4是本發明一實施例所繪示之魚眼校正的範例。請參照圖4，本實施例是針對配置於車輛前方的相機使用魚眼鏡頭所拍攝的魚眼影像42執行魚眼校正。魚眼影像42中像素的位置可經由上述公式轉換至去魚眼影像44中的對應位置，從而獲得無變形失真的去魚眼影像44。其中，而由於魚眼鏡頭的限制，去魚眼影像44的上部中間與下部中間將出現黑邊。
接著，視野轉換模組144會分別將透視視野的影像轉換為俯視視野的影像（步驟S204）。其中，視野轉換模組144例如會利用一個預先建立的轉換矩陣，將透視視野影像中的多個像素的位置轉換至俯視視野影像中的對應位置。
關於上述的轉換矩陣，視野轉換模組144例如是使用上述的相機分別拍攝包括參考物件（例如是繪製地面上的定位格線或圖案）在內的透視視野的第一影像，並使用配置於參考物件上方的另一獨立相機拍攝包括相同參考物件在內的真實俯視視野的第二影像。然後，視野轉換模組144會擷取第一影像中參考物件的多個像素的位置做為目標位置，並擷取第二影像中相同參考物件的多個對應像素的位置做為來源位置，據以解出轉換矩陣中的多個轉換係數。
舉例來說，假設為來源影像（即上述俯視視野的第二影像）中的像素位置；為目標影像（即上述透視視野的第一影像）中的像素位置。在來源影像中取預先決定的4個像素並在目標影像中取預先決定的4個對應像素帶入下列算式：
；
藉由解出上列線性系統中的係數Cij (i,j = 0~2，其中C22 = 1)可得到一對應之3´3矩陣C，即可由C之反矩陣獲得本實施例用來將透視視野影像轉換為俯視視野影像的轉換矩陣。得到上述將透視視野影像轉換為俯視視野影像的轉換矩陣後，便可將車輛的相機所拍攝的透視視野影像畫素之對應向量乘以轉換矩陣得到俯視視野影像畫素之對應向量。雖然本實施例中以4個像素計算轉換矩陣，但在其他實施例中可以使用其他數目的像素來計算轉換矩陣。在一實施例中，在車輛的不同位置的各個相機所拍攝的影像可以使用相同或不同的轉換矩陣來轉換，以配合各相機的角度與鏡頭參數。在一實施例中，可以預先根據上述轉換矩陣建立各透視視野影像畫素映射（map）至各俯視視野影像畫素之一對應表（mapping table），再由查表的方式進行轉換。
回到圖2的流程，在獲得轉換後的俯視視野影像後，影像切割模組146會在轉換後俯視視野的各個影像的其中一行像素中，找出由至少一個預設數目的連續多個空洞像素構成的區間，而根據此區間在影像中的高度，將透視視野及俯視視野的影像切割為地面側影像及牆面側影像（步驟S206）。上述的一行像素例如是位於影像中線上的一行像素或是位於影像中特定物件上的一行像素，而上述的預設數目例如為10或是其他依據解析度等影像參數而定的數目，在此不設限。
詳言之，由於透視視野影像中各像素的資料在轉換為俯視視野後會集中於影像下方（即地面側影像），並且會隨著影像高度的增加（即與影像下方的距離拉長）而遞減。因此，俯視視野影像中會留下許多無影像資料的空洞像素，且這些空洞像素會隨著影像高度的增加而遞增。
本申請實施例即根據此特性，為此空洞像素的分佈設定一個數量上的預設值，若俯視視野影像在縱向上的連續空洞像素的數量超過此預設值時，即代表此區間上方的影像中的空洞像素會過多而導致影像失真。據此，影像切割模組146即根據此區間在影像中的高度，將透視視野影像切割為地面側影像及牆面側影像，藉以保留較為清楚的地面側影像。其中，影像切割模組146例如會使用此區間中點的高度，或是使用位於此區間上端或下端具有影像資料的像素的高度，決定分割線的位置。
舉例來說，圖5是依照本發明一實施例所繪示之車輛周圍影像處理方法的範例。請參照圖5，影像52是經過魚眼校正後的車輛左側影像，將影像52的視角轉換至俯視視角後，則可獲得影像54。由影像54可知，影像資料主要集中於地面側影像，而隨著影像高度的增加，空洞像素（位於影像上部橫線之間的黑色區域）也逐漸增多。據此，本發明即取影像54中線上的一行像素56來決定切割影像54的分割線位置。請參照影像54右側的該行像素56的放大圖，該行像素56包括高度為297至317的多個像素，其中像素A、B為具有影像資料的像素，而其他像素則為不具有影像資料的空洞像素。基於這些空洞像素的數量達到10個，本發明即利用這些空洞像素形成的區間58來決定切割影像54的分割線位置。其中，本發明可使用區間58的中點在影像54中的高度，或是使用像素A或B在影像54中的高度，做為分割線的高度。
回到圖2的流程，在將透視視野及俯視視野的影像切割為地面側影像及牆面側影像之後，影像拼接模組148即會將切割後的地面側影像及牆面側影像拼接起來，以產生車輛周圍的合成影像（步驟S208）。其中，影像拼接模組148例如會對相同視野的地面側及牆面側的清晰影像進行合併，然後再對相鄰視野的合併影像進行拼接，並適當地調整其中牆面側影像的高度，使得所拼接影像中牆面側影像的高度對應一致，最後即可產生可環繞車輛周圍360度的合成影像。
詳言之，圖6是依照本發明一實施例所繪示之拼接不同視野影像以獲得車輛周圍合成影像的方法流程圖。請同時參照圖1及圖6，本實施例的方法適用於上述圖1的電子裝置10，以下即搭配圖1中電子裝置10的各項裝置，說明本實施例影像拼接方法的詳細步驟：
首先，由影像拼接模組148針對各個透視視野的影像及其對應的俯視視野的影像，將切割後的透視視野的牆面側影像及切割後的俯視視野的地面側影像合併，以產生該透視視野的合併影像（步驟S602）。其中，基於俯視視野的地面側影像較為清晰且接近真實影像，而透視視野的牆面側影像較為清晰且接近真實影像，故影像拼接模組148在將兩者合併後，即可獲得地面側及牆面側影像均為清晰且接近真實影像的合併影像。
舉例來說，圖7是依照本發明一實施例所繪示之合併透視視野的牆面側影像及俯視視野的地面側影像的範例。請參照圖7，影像74是車輛前方相機所拍攝影像經魚眼校正後所得的透視視野影像，影像72則是對影像74進行視野轉換所得的俯視視野影像。基於前述實施例的分割線決定方法，可得到適於切割影像72、74的分割線。利用此分割線，可將俯視視野影像72切割為牆面側影像722及地面側影像724，以及將透視視野影像74切割為牆面側影像742及地面側影像744。據此，本實施例係將影像較為清晰的俯視視野影像72的地面側影像724以及透視視野影像74的牆面側影像742合併，以獲得合併影像76。其中，本實施例在合併地面側影像724與牆面側影像742時，還可進一步根據地面側影像724及牆面側影像742中的對應特徵（例如可透過習知的影像辨識方法來辨識對應特徵），縮放地面側影像724與牆面側影像742，而獲得位置相對應的地面側影像764與牆面側影像762。本實施例的牆面側影像762即是由牆面側影像742縮放而得。
需說明的是，本實施例的牆面側影像是取自經過魚眼校正後的透視視野影像，但即便經過魚眼校正，透視視野影像中的牆面側影像的物件仍有可能會有偏斜的情形，且離影像中線愈遠，偏斜的情形愈明顯。對此，本實施例在將牆面側影像與地面側影像合併之前，例如還會針對牆面側影像進行偏斜調整，使得調整後牆面側影像中的物件能夠對齊。
舉例來說，圖8A及圖8B是依照本發明一實施例所繪示之調整牆面側影像的範例。請參照圖8A，影像80是車輛前方相機所拍攝影像經魚眼校正後所得的透視視野影像。其中，本實施例係取用影像80中位於區域82內的多個像素的位置做為來源位置，並預設將區域82轉換為區域84，藉以調整區域82內偏斜的物件，使其在轉換至區域84內後可彼此對齊。
由轉換後影像80a中的柱子可知，轉換後影像80a中的柱子仍然向左偏斜。據此，本實施例將轉換所取用像素的區域84調整至區域86，即向左擴大所取用像素的區域，並預設轉換後區域88，此區域88的尺寸與形狀是與區域84相同的。由轉換後影像80b中的柱子可知，轉換後影像80b中的柱子彼此對齊，也與影像的軸線（垂直線）方向一致。藉由上述的調整方式，即可解決透視視野影像的牆面側影像中物件偏斜的問題。
回到圖6的流程，接著由影像拼接模組148針對相鄰透視視野的合併影像，調整這些合併影像中的牆面側影像的高度，使得這些合併影像中的牆面側影像的高度一致（步驟S604）。詳言之，由於相鄰的透視視野會有重疊，故相鄰透視視野影像中的部分區域會有重疊，但由於視野方向的不同，這些重疊區域的高度不一定相同。若直接將相鄰透視視野影像拼接在一起，上述高度不一致的問題將造成拼接影像的不連續。據此，本申請實施例即藉由比對相鄰透視視野的合併影像中的對應特徵，據以調整合併影像的高度，使其一致。
舉例來說，圖9是依照本發明一實施例所繪示之調整牆面側影像高度的範例。請參照圖9，影像92是車輛左方相機所拍攝影像經過上述實施例的魚眼校正、切割及合併後所得的左方透視視野的合併影像，影像94則是車輛前方相機所拍攝影像經過魚眼校正、切割及合併後所得的前方透視視野的合併影像，由影像92、94的上方區域可知，其中的牆面有重疊。然而，影像92中的牆面高度（向右箭頭）顯然比影像94的牆面高度（向左箭頭）為高，因此若直接合併影像92與影像94，勢必會產生牆面高度不一致的情形。對此，本實施例可藉由上述圖8A與圖8B的調整方式，將影像92中的牆面側影像減少高度（等同於減少牆面高度），而獲得調整後的影像92a，以及將影像94中的牆面側影像增加高度（等同於增加牆面高度），而獲得調整後的影像94a。由於調整後的影像92a與影像94a中的牆面高度相同，故即便將影像92與影像94合併，其中的牆面高度也會是一致的，而不會產生上述影像不連續的情況。調整後的影像可以比照前述方法建立另一轉換矩陣，使透視視野影像中的牆面側影像乘上該轉換矩陣後即完成影像調整。在另一實施例中，也可比照前述方法透過使用上述的相機分別拍攝包括參考物件（例如是繪製牆面上的定位格線或圖案）在內的牆面側影像，並使用配置於參考物件前方的另一獨立相機拍攝包括相同參考物件在內的真實牆面側影像，以相同方式據以解出牆面側影像之轉換矩陣。
最後，由影像拼接模組148根據相鄰透視視野的合併影像中的多個對應特徵，將這些合併影像拼接，以產生合成影像（步驟S606）。上述的對應特徵例如是在相鄰透視視野的兩張合併影像中均有出現的物件的特徵。影像拼接模組148例如可對應車輛的方向，將車輛的前方、後方、左方、右方四張影像進行旋轉，然後再根據上述合併影像中的物件特徵對這些合併影像進行平移及/或縮放，使得這些合併影像可以拼接為同一張合成影像。
舉例來說，圖10是依照本發明一實施例所繪示之拼接合併影像的範例。圖10左方的影像102、104、106、108例如分別是車輛前方、後方、左方及右方的合併影像。在進行拼接時，除了車輛前方的影像102維持原方向外，車輛左方的影像會逆時針旋轉90度；車輛右方的影像會順時針旋轉90度；車輛後方的影像則會旋轉180度。其中，由於影像102、104、106、108中有出現柱子、停車格線、電燈等相同物件，故本實施例的裝置即可根據這些相同物件所在位置及大小，對旋轉後的影像102、104、106、108進行拼接，從而獲得包括車輛周圍地面與景物的合成影像100。拼接後的影像可以比照前述方法對車輛前方、後方、左方及右方的合併影像建立對應之轉換矩陣以完成影像拼接。
基於上述影像拼接模組148所拼接的車輛周圍的合成影像包括清楚的車輛周圍各方向上的牆面側與地面側影像，在另一實施例中，本發明還可由處理器16執行三維模型模組，從而將清晰的合成影像映射至車輛周圍空間的三維模型。藉此，當電子裝置10接收到對於車輛周圍影像的觀看需求，即可根據觀看需求中的觀看角度，使用上述建立的三維模型，提供此觀看角度上的周圍影像。
舉例來說，圖11是依照本發明一實施例所繪示之建立三維模型的範例。圖11的影像110例如是由上述實施例的車輛周圍影像處理方法所產生的車輛周圍的合成影像。其中，本實施例的裝置例如會先建立車輛周圍空間的三維模型112，從而將此影像110中的各個像素映射至三維模型112中的對應位置。需說明的是，本實施例的影像110是由配置於車輛前、後、左、右等四個相機所拍攝影像經過處理所獲得，所以當影像110被映射至三維模型112，這些由車輛前、後、左、右等四個相機所拍攝的透視視野影像的合併影像中的各個像素將會對應至三維模型中的其中一個像素。據此，本實施例的裝置即可針對上述四個相機所拍攝影像中的像素，找出其在三維模型中的對應位置，從而建立一個對應表。藉此，每當裝置接收到這四個相機所拍攝的影像時，即可藉由查表直接將這些影像中的像素轉換至三維模型中的對應位置，從而快速地建立車輛周圍空間的三維模型。在圖11的實施例中，車輛前方、後方、左方及右方的影像所各自對應的三維模型112中的各平面彼此以接近直角的方式相接；在其他實施例中，各平面可以用其他角度相接或是以弧面的方式彼此相接。
在三維模型建立之後，本實施例的裝置即可利用此三維模型，根據觀看需求提供不同觀看角度的車輛周圍影像，藉以作為駕駛行駛車輛的參考。在一實施例中，上述的觀看需求例如是依使用者在裝置上所選擇的觀看角度或觀看模式來決定。在另一實施例中，此觀看需求也可以是根據車輛的作動來決定。例如，當車輛在倒車時，即自動顯示後方的車輛周圍影像；車輛在左彎時，則自動顯示左前方的車輛周圍影像，在此不設限。
舉例來說，圖12A至圖12G是依照本發明一實施例所繪示之顯示車輛周圍影像的範例。本實施例例如是由使用者手動選擇對應的觀看角度，或是直接根據車輛的作動參數，自動選擇對應的觀看角度。其中，圖12A繪示俯視視角的影像122；圖12B繪示車輛後方的影像124；圖12C繪示由後往前看的影像126；圖12D繪示車輛左前方朝右後方視角的影像128；圖12E繪示車輛右前方朝左後方視角的影像130；圖12F繪示車輛左後方朝右前方視角的影像132；圖12G繪示車輛右後方朝右左前方視角的影像134。
綜上所述，本發明的車輛周圍影像處理方法及裝置藉由將車輛周圍以多個不同視野拍攝的影像轉換為俯視視野影像，並找出轉換後影像在縱向上的連續空洞像素的區間，而決定一個分割線。根據此分割線裁切、合併及拼接影像，藉此可獲得經適當處理的可清楚顯露車輛周圍景物的合成影像。而藉由將此合成影像映射至車輛周圍空間的三維模型，則可根據觀看需求，自動顯示車輛周圍影像。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10‧‧‧電子裝置
12‧‧‧連接裝置
14‧‧‧儲存裝置
142‧‧‧影像拍攝模組
144‧‧‧視野轉換模組
146‧‧‧影像切割模組
148‧‧‧影像拼接模組
16‧‧‧處理器
30‧‧‧車輛
32、34、36、38‧‧‧相機
32a、34a、36a、38a‧‧‧透視視野影像
42‧‧‧魚眼影像
44‧‧‧去魚眼影像
52、54、80、92、94、110‧‧‧影像
56‧‧‧一行像素
58‧‧‧區間
72‧‧‧俯視視野影像
74‧‧‧透視視野影像
76、102、104、106、108‧‧‧合併影像
722、742、762‧‧‧牆面側影像
724、744、764‧‧‧地面側影像
80a、80b‧‧‧轉換後影像
82、84、86、88‧‧‧區域
92a、94a‧‧‧調整後影像
100‧‧‧合成影像
112‧‧‧三維模型
122、124、126、128、130、132、134‧‧‧車輛周圍影像
S202~S208‧‧‧本發明一實施例之車輛周圍影像處理方法的方法步驟
S602~S606‧‧‧本發明一實施例之拼接不同視野影像以獲得車輛周圍合成影像的方法步驟
圖1是依照本發明一實施例所繪示之車輛周圍影像處理裝置的方塊圖。 圖2是依照本發明一實施例所繪示之車輛周圍影像處理方法的流程圖。 圖3是本發明一實施例所繪示之拍攝車輛周圍影像的範例。 圖4是本發明一實施例所繪示之魚眼校正的範例。 圖5是依照本發明一實施例所繪示之車輛周圍影像處理方法的範例。 圖6是依照本發明一實施例所繪示之拼接不同視野影像以獲得車輛周圍合成影像的方法流程圖。 圖7是依照本發明一實施例所繪示之合併透視視野的牆面側影像及俯視視野的地面側影像的範例。 圖8A及圖8B是依照本發明一實施例所繪示之調整牆面側影像的範例。 圖9是依照本發明一實施例所繪示之調整牆面側影像高度的範例。 圖10是依照本發明一實施例所繪示之拼接合併影像的範例。 圖11是依照本發明一實施例所繪示之建立三維模型的範例。 圖12A至圖12G是依照本發明一實施例所繪示之顯示車輛周圍影像的範例。 附件一是本發明一實施例所繪示之拍攝車輛周圍影像的範例。 附件二是本發明一實施例所繪示之魚眼校正的範例。 附件三是依照本發明一實施例所繪示之車輛周圍影像處理方法的範例。 附件四是依照本發明一實施例所繪示之合併透視視野的牆面側影像及俯視視野的地面側影像的範例。 附件五是依照本發明一實施例所繪示之調整牆面側影像的範例。 附件六是依照本發明一實施例所繪示之調整牆面側影像高度的範例。 附件七是依照本發明一實施例所繪示之拼接合併影像的範例。 附件八是依照本發明一實施例所繪示之建立三維模型的範例。 附件九是依照本發明一實施例所繪示之顯示車輛周圍影像的範例。 附件十是依照本發明一實施例所繪示之顯示車輛周圍影像的範例。
S202~S208‧‧‧本發明一實施例之車輛周圍影像處理方法的步驟

Claims (20)

  1. 一種車輛周圍影像處理方法，適用於配置於車輛上的電子裝置，該電子裝置耦接配置於該車輛上的多個相機，該方法包括下列步驟： 利用所述相機拍攝該車輛周圍多個透視視野（perspective view）的影像； 分別轉換所述透視視野的所述影像為俯視視野（top view）的影像； 在轉換後該俯視視野的各所述影像的其中一行像素中，找出由至少一預設數目的連續多個空洞像素構成的區間，而根據該區間在該影像中的高度，切割該透視視野及該俯視視野的所述影像為地面側影像及牆面側影像；以及 拼接切割後的所述地面側影像及所述牆面側影像，以產生該車輛周圍的一合成影像。
  2. 如申請專利範圍第1項所述的方法，其中所述相機使用魚眼鏡頭拍攝所述影像，更包括： 分別依據該魚眼鏡頭的鏡頭參數，執行該魚眼校正於所述影像，從所述影像的該中心開始向外校正所述影像。
  3. 如申請專利範圍第2項所述的方法，更包括： 分別依據該魚眼鏡頭的該鏡頭參數，裁切所述影像，以將該魚眼鏡頭的中心移動至該所述影像的中心。
  4. 如申請專利範圍第1項所述的方法，其中分別將所述影像的該視野由該透視視野轉換為該俯視視野的步驟包括： 透過一轉換矩陣分別將該透視視野的所述影像的多個像素的位置轉換至該俯視視野的該影像中的對應位置。
  5. 如申請專利範圍第4項所述的方法，其中在透過該轉換矩陣分別將該透視視野的所述影像的所述像素的位置轉換至該俯視視野的該影像中的該對應位置的步驟之前，更包括： 分別使用所述相機拍攝包括一參考物件在內的該透視視野的第一影像； 使用配置於該參考物件上方的相機拍攝包括該參考物件在內的該俯視視野的第二影像；以及 擷取該第一影像中該參考物件的多個像素的位置做為目標位置，並擷取該第二影像中該參考物件的多個對應像素的位置做為來源位置，以解出該轉換矩陣。
  6. 如申請專利範圍第1項所述的方法，其中拼接切割後的所述地面側影像及所述牆面側影像，以產生該車輛周圍的該合成影像的步驟包括： 針對各所述透視視野的該影像及其對應的該俯視視野的該影像，合併切割後的該透視視野的該牆面側影像及切割後的該俯視視野的該地面側影像，以產生該透視視野的合併影像；以及 根據相鄰所述透視視野的所述合併影像中的多個對應特徵，拼接所述合併影像，以產生該合成影像。
  7. 如申請專利範圍第6項所述的方法，其中拼接切割後的所述地面側影像及所述牆面側影像，以產生該車輛周圍的該合成影像的步驟更包括： 針對相鄰所述透視視野的所述合併影像，調整所述合併影像中的所述牆面側影像的高度，使得所述合併影像中的所述牆面側影像的高度一致。
  8. 如申請專利範圍第1項所述的方法，更包括： 分別校正所述牆面側影像，使得校正後所述牆面側影像中的物件對齊。
  9. 如申請專利範圍第1項所述的方法，更包括： 映射（map）該合成影像至該車輛周圍空間的一三維模型；以及 接收對於一車輛周圍影像的觀看需求，以根據該觀看需求中的觀看角度，使用該三維模型提供該觀看角度上的合成影像。
  10. 如申請專利範圍第9項所述的方法，其中接收對於該車輛周圍影像的該觀看需求，以根據該觀看需求中的該觀看角度，使用該三維模型提供該觀看角度上的該周圍影像的步驟包括： 接收該車輛的作動參數，據以判斷該車輛作動所對應的該觀看角度，而使用該三維模型提供該觀看角度上的該車輛周圍影像。
  11. 一種車輛周圍影像處理裝置，包括： 連接裝置，連接配置於車輛上的多個相機； 儲存裝置，儲存多個模組；以及 處理器，耦接該連接裝置及該儲存裝置，載入並執行該儲存裝置中的所述模組，所述模組包括： 影像拍攝模組，利用所述相機拍攝該車輛周圍多個透視視野的影像； 視野轉換模組，分別轉換所述透視視野的影像為俯視視野的影像； 影像切割模組，在轉換後該俯視視野的各所述影像的其中一行像素中，找出由至少一預設數目的連續多個空洞像素構成的區間，而根據該區間在該影像中的高度，切割該透視視野及該俯視視野的所述影像為地面側影像及牆面側影像；以及 影像拼接模組，拼接切割後的所述地面側影像及所述牆面側影像，以產生該車輛周圍的一合成影像。
  12. 如申請專利範圍第11項所述的裝置，其中所述相機包括魚眼鏡頭，而所述模組更包括： 魚眼校正模組，分別依據該魚眼鏡頭的鏡頭參數，執行該魚眼校正於所述影像，從所述影像的該中心開始向外校正所述影像。
  13. 如申請專利範圍第12項所述的裝置，其中該魚眼校正模組更分別依據該魚眼鏡頭的該鏡頭參數，裁切所述影像，以將該魚眼鏡頭的中心移動至該所述影像的中心。
  14. 如申請專利範圍第11項所述的裝置，其中該視野轉換模組包括透過一轉換矩陣分別將該透視視野的所述影像的多個像素的位置轉換至該俯視視野的該影像中的對應位置。
  15. 如申請專利範圍第14項所述的裝置，其中該視野轉換模組包括分別使用所述相機拍攝包括一參考物件在內的該透視視野的第一影像，使用配置於該參考物件上方的相機拍攝包括該參考物件在內的該俯視視野的第二影像，以及擷取該第一影像中該參考物件的多個像素的位置做為目標位置，並擷取該第二影像中該參考物件的多個對應像素的位置做為來源位置，以解出該轉換矩陣。
  16. 如申請專利範圍第11項所述的裝置，其中該影像拼接模組包括針對各所述透視視野的該影像及其對應的該俯視視野的該影像，合併切割後的該透視視野的該牆面側影像及切割後的該俯視視野的該地面側影像，以產生該透視視野的合併影像，以及根據相鄰所述透視視野的所述合併影像中的多個對應特徵，拼接所述合併影像，以產生該合成影像。
  17. 如申請專利範圍第16項所述的裝置，其中該影像拼接模組更針對相鄰所述透視視野的所述合併影像，調整所述合併影像中的所述牆面側影像的高度，使得所述合併影像中的所述牆面側影像的高度一致。
  18. 如申請專利範圍第11項所述的裝置，其中該影像切割模組更分別校正所述牆面側影像，使得校正後所述牆面側影像中的物件對齊所述牆面側影像的軸線方向。
  19. 如申請專利範圍第11項所述的裝置，其中所述模組更包括： 三維模型模組，映射（map）該合成影像至該車輛周圍空間的一三維模型，並接收對於一車輛周圍影像的觀看需求，以根據該觀看需求中的觀看角度，使用該三維模型提供該觀看角度上的該車輛周圍影像。
  20. 如申請專利範圍第11項所述的裝置，其中該三維模型模組包括接收該車輛的作動參數，據以判斷該車輛作動所對應的該觀看角度，而使用該三維模型提供該觀看角度上的該車輛周圍影像。
TW105113922A 2016-05-05 2016-05-05 車輛周圍影像處理方法及裝置 TWI613106B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
TW105113922A TWI613106B (zh) 2016-05-05 2016-05-05 車輛周圍影像處理方法及裝置
CN201910593719.3A CN110139084B (zh) 2016-05-05 2016-07-07 车辆周围影像处理方法及装置
CN201610530598.4A CN106101635B (zh) 2016-05-05 2016-07-07 车辆周围影像处理方法及装置
US15/213,410 US9992481B2 (en) 2016-05-05 2016-07-19 Method and apparatus for processing surrounding images of vehicle
CN201710233529.1A CN106961585B (zh) 2016-05-05 2017-04-11 行车辅助方法及装置
US15/494,564 US10434877B2 (en) 2016-05-05 2017-04-24 Driver-assistance method and a driver-assistance apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105113922A TWI613106B (zh) 2016-05-05 2016-05-05 車輛周圍影像處理方法及裝置

Publications (2)

Publication Number Publication Date
TW201739647A true TW201739647A (zh) 2017-11-16
TWI613106B TWI613106B (zh) 2018-02-01

Family

ID=57213172

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105113922A TWI613106B (zh) 2016-05-05 2016-05-05 車輛周圍影像處理方法及裝置

Country Status (3)

Country Link
US (1) US9992481B2 (zh)
CN (2) CN110139084B (zh)
TW (1) TWI613106B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI667529B (zh) * 2018-04-24 2019-08-01 財團法人工業技術研究院 環景點雲資料的建立方法與建立系統
US10694103B2 (en) 2018-04-24 2020-06-23 Industrial Technology Research Institute Building system and building method for panorama point cloud
TWI702577B (zh) * 2019-07-10 2020-08-21 中華汽車工業股份有限公司 行車輔助影像產生方法及系統

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3482163B1 (en) * 2016-07-07 2021-06-23 Saab Ab Displaying system and method for displaying a perspective view of the surrounding of an aircraft in an aircraft
US20180210442A1 (en) * 2017-01-23 2018-07-26 Qualcomm Incorporated Systems and methods for controlling a vehicle using a mobile device
CN106910217A (zh) * 2017-03-17 2017-06-30 驭势科技（北京）有限公司 视觉地图建立方法、计算装置、计算机存储介质和智能车辆
CN107176101A (zh) * 2017-05-24 2017-09-19 维森软件技术（上海）有限公司 同步显示方法
CN109547766B (zh) 2017-08-03 2020-08-14 杭州海康威视数字技术股份有限公司 一种全景图像生成方法及装置
TWI645372B (zh) * 2017-08-28 2018-12-21 華利納企業股份有限公司 影像校正系統及影像校正方法
JP6802864B2 (ja) * 2019-01-30 2020-12-23 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 監視装置、監視方法、及び、コンピュータプログラム
CN112208438B (zh) * 2019-07-10 2022-07-29 台湾中华汽车工业股份有限公司 行车辅助影像产生方法及系统
CN110910311B (zh) * 2019-10-30 2023-09-26 同济大学 一种基于二维码的多路环视相机自动拼接方法
CN112550152A (zh) * 2020-12-18 2021-03-26 雄狮汽车科技(南京)有限公司 一种汽车盲区监控系统及其监控方法
CN113610927B (zh) * 2021-08-06 2022-04-15 镁佳(北京)科技有限公司 一种avm摄像头参数标定方法、装置及电子设备

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001030832A (ja) * 1999-07-15 2001-02-06 Masaharu Wada 自動車運行安全確認用ミラー
JP2004297423A (ja) * 2003-03-27 2004-10-21 Hitachi Ltd 人工衛星からの情報を利用する情報処理方法及び情報処理端末
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
CN1921621A (zh) * 2006-09-18 2007-02-28 李博航 全景可视驾驶辅助设备
JP2008271308A (ja) * 2007-04-23 2008-11-06 Sanyo Electric Co Ltd 画像処理装置及び方法並びに車両
JP2009129001A (ja) * 2007-11-20 2009-06-11 Sanyo Electric Co Ltd 運転支援システム、車両、立体物領域推定方法
TW200927537A (en) 2007-12-28 2009-07-01 Altek Corp Automobile backup radar system that displays bird's-eye view image of automobile
CN101487895B (zh) * 2008-01-15 2011-07-20 华晶科技股份有限公司 显示鸟瞰车辆图像的倒车雷达系统
TWI361396B (en) 2008-01-18 2012-04-01 Univ Nat Chiao Tung Image synthesis system for a vehicle and the manufacturing method thereof mage synthesis device and method
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
TW201103787A (en) * 2009-07-31 2011-02-01 Automotive Res & Testing Ct Obstacle determination system and method utilizing bird's-eye images
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統
JP5872764B2 (ja) * 2010-12-06 2016-03-01 富士通テン株式会社 画像表示システム
CN102014293B (zh) * 2010-12-20 2012-08-22 清华大学 平面视频的立体渲染方法
US9299260B2 (en) * 2011-09-29 2016-03-29 Toyota Jidosha Kabushiki Kaisha Image display device, and image display method
WO2013086249A2 (en) * 2011-12-09 2013-06-13 Magna Electronics, Inc. Vehicle vision system with customized display
EP2813069A4 (en) * 2012-02-08 2016-12-07 Intel Corp CREATING AN ADVANCED REALITY WITH A REAL SCENE
TW201403553A (zh) 2012-07-03 2014-01-16 Automotive Res & Testing Ct 自動校正鳥瞰影像方法
JP6036228B2 (ja) * 2012-11-30 2016-11-30 株式会社デンソー 車両用映像処理装置および車両用映像処理システム
CN103895573A (zh) * 2012-12-27 2014-07-02 鸿富锦精密工业（深圳）有限公司 汽车泊车辅助系统及方法
CN103929613A (zh) * 2013-01-11 2014-07-16 深圳市灵动飞扬科技有限公司 一种三维立体鸟瞰行车辅助的方法、装置以及系统
CN103971598B (zh) * 2013-02-05 2017-04-12 鸿富锦精密工业（深圳）有限公司 图像补偿装置及其制造方法
US10179543B2 (en) * 2013-02-27 2019-01-15 Magna Electronics Inc. Multi-camera dynamic top view vision system
CN104516136B (zh) * 2013-09-27 2018-09-07 鸿富锦精密工业（深圳）有限公司 显示装置、拼接式显示器及背光模组
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN104691415B (zh) * 2013-12-07 2017-02-01 惠州市德赛西威汽车电子股份有限公司 全景泊车辅助装置
TWI476471B (zh) * 2014-03-13 2015-03-11 Tdk Taiwan Corp 鏡頭模組定位結構
CN104318258B (zh) * 2014-09-29 2017-05-24 南京邮电大学 一种基于时域模糊和卡尔曼滤波器的车道线检测方法
CN105539290A (zh) * 2015-12-24 2016-05-04 科世达（上海）管理有限公司 一种用于显示车辆3d全景影像的系统及方法
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI667529B (zh) * 2018-04-24 2019-08-01 財團法人工業技術研究院 環景點雲資料的建立方法與建立系統
US10694103B2 (en) 2018-04-24 2020-06-23 Industrial Technology Research Institute Building system and building method for panorama point cloud
TWI702577B (zh) * 2019-07-10 2020-08-21 中華汽車工業股份有限公司 行車輔助影像產生方法及系統

Also Published As

Publication number Publication date
CN110139084A (zh) 2019-08-16
TWI613106B (zh) 2018-02-01
CN106101635B (zh) 2019-08-02
US9992481B2 (en) 2018-06-05
CN106101635A (zh) 2016-11-09
US20170324948A1 (en) 2017-11-09
CN110139084B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
TWI613106B (zh) 車輛周圍影像處理方法及裝置
US10434877B2 (en) Driver-assistance method and a driver-assistance apparatus
TWI524306B (zh) 圖像轉換和多視圖輸出系統及方法
JP4257356B2 (ja) 画像生成装置および画像生成方法
CN101978694B (zh) 图像处理装置和方法、驾驶支持系统、车辆
CN109948398B (zh) 全景泊车的图像处理方法及全景泊车装置
JP5739584B2 (ja) 車両周辺視角化のための３次元映像合成装置およびその方法
KR101389884B1 (ko) 차량 이미지를 처리하기 위한 동적 이미지 처리 방법 및 시스템
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
US10354358B2 (en) Image generation device, coordinate transformation table creation device and creation method
JP2004021307A (ja) 運転支援装置
JP2016535377A (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
CN113490879A (zh) 使用实时光线跟踪以用于透镜重新映射
US9984444B2 (en) Apparatus for correcting image distortion of lens
US11521395B2 (en) Image processing device, image processing method, and program
KR20090108822A (ko) 카메라 영상 보정 방법 및 장치
JP3446277B2 (ja) 車両用周囲状況表示装置
TWI605963B (zh) 行車輔助方法及裝置
KR101230909B1 (ko) 차량용 광각 영상 처리장치 및 그 방법
WO2018207402A1 (ja) 画像処理装置、及び、画像処理方法
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
CN106961585A (zh) 行车辅助方法及装置
US20240078747A1 (en) Method and apparatus for real-time image-based lighting of 3d surround view
JP6213727B2 (ja) 画像データ変換装置並びに運転支援装置およびナビゲーション装置およびカメラ装置