TWI599989B - 用於交通工具之影像處理方法及影像系統 - Google Patents

用於交通工具之影像處理方法及影像系統 Download PDF

Info

Publication number
TWI599989B
TWI599989B TW105139290A TW105139290A TWI599989B TW I599989 B TWI599989 B TW I599989B TW 105139290 A TW105139290 A TW 105139290A TW 105139290 A TW105139290 A TW 105139290A TW I599989 B TWI599989 B TW I599989B
Authority
TW
Taiwan
Prior art keywords
image
images
cameras
processor
processing method
Prior art date
Application number
TW105139290A
Other languages
English (en)
Other versions
TW201820258A (zh
Inventor
詹聖瑋
林哲聰
Original Assignee
財團法人工業技術研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人工業技術研究院 filed Critical 財團法人工業技術研究院
Priority to TW105139290A priority Critical patent/TWI599989B/zh
Priority to CN201611191617.1A priority patent/CN108124095B/zh
Priority to DE102016226041.3A priority patent/DE102016226041A1/de
Priority to US15/388,124 priority patent/US10192287B2/en
Application granted granted Critical
Publication of TWI599989B publication Critical patent/TWI599989B/zh
Publication of TW201820258A publication Critical patent/TW201820258A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06T3/12—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/247—Aligning, centring, orientation detection or correction of the image by affine transforms, e.g. correction due to perspective effects; Quadrilaterals, e.g. trapezoids

Description

用於交通工具之影像處理方法及影像系統
本案係關於用於交通工具之影像處理方法及影像系統。
現今人們生活日漸富裕，機動車輛(例如：汽車、電動車)日益普及化。除了在動力部份持續進步外，車輛的行車安全性的要求也提高。一般而言，駕駛者以車內後照鏡來辨識車後的其他物體，但是駕駛者由車內後照鏡無法看透前後車門之間的柱子(B柱)、後車門和後擋風玻璃之間的柱子(C柱)、後行李箱及車身所產生的死角，因此可能產生行車安全之疑慮。為提高行車安全，市場上已有車輛後方顯影系統並且安裝於車輛中。舉例而言，車輛後方顯影系統通常安裝在車尾或車內，拍攝車輛後方影像並且顯示於螢幕上，提醒駕駛者保持安全距離。然而，系統影像的視角與駕駛者的視角不同，或存在B/C柱、後行李箱及車身所產生的死角，可能導致駕駛者預估錯誤而造成車輛碰撞，因此現有車輛後方顯影系統需要進行改良。
本揭露之一實施例提供一種用於交通工具之影 像處理方法，適於處理包含至少二攝影機之影像系統所擷取的影像。影像處理方法包含：配對兩影像之間各一對應特徵點為一特徵點組；藉由迭代估測演算法，選擇最適合的至少五個特徵點組；根據該最適合的至少五個特徵點組，計算該兩影像之間的一最適合的反扭曲轉換矩陣；以及利用該最適合的反扭曲轉換矩陣，貼合該至少二攝影機之各時序的影像。
本揭露之一實施例提供一種用於交通工具之影像系統，該影像系統包含：至少二攝影機，用以擷取影像；一處理器耦合該至少二攝影機，該處理器用以消除該至少二攝影機之影像扭曲，取得融合且無扭曲的影像；以及一顯示器耦合該處理器，用以播放該些融合且無扭曲的影像。
100‧‧‧車輛
110‧‧‧顯示器
120‧‧‧處理器
130‧‧‧攝影機
140‧‧‧攝影機
200‧‧‧影像系統
300‧‧‧影像處理方法
302、310、320、330、340、350、360‧‧‧步驟
410、420、430、440‧‧‧步驟
510、520、530、540、550‧‧‧步驟
570‧‧‧影像處理方法
610‧‧‧後座
615‧‧‧影像
616‧‧‧影像
617‧‧‧影像
620‧‧‧後車窗
621‧‧‧後車窗
622‧‧‧後車窗
623‧‧‧B柱
624‧‧‧C柱
625‧‧‧車輛
626‧‧‧車輛
627‧‧‧樹木
628‧‧‧電桿
629‧‧‧交通標誌
630‧‧‧行人
631‧‧‧障礙物
710‧‧‧影像
711‧‧‧影像
712‧‧‧影像
713‧‧‧影像
720‧‧‧交通號誌
721‧‧‧障礙物
722‧‧‧車輛
723‧‧‧障礙物
724‧‧‧電桿
725‧‧‧樹木
726‧‧‧牆
727‧‧‧行人
H‧‧‧反扭曲轉換矩陣
λ、λ’‧‧‧扭曲參數
P總合‧‧‧像素總合
P‧‧‧車內車內像素
P車外‧‧‧車外像素
W車內‧‧‧車內權重
W車外‧‧‧車外權重
圖1係根據一些實施例說明影像系統的示意圖。
圖2係根據一些實施例說明影像處理方法的流程圖。
圖3係根據一些實施例說明影像處理方法的子步驟之流程圖。
圖4係根據一些實施例說明影像處理方法的流程圖。
圖5係根據一些實施例說明影像處理前後的示意圖。
圖6係根據一些實施例說明影像處理前後的示意圖。
本案為改善現今車內後視鏡有死角，或是後方顯影系統的影像與駕駛人的視角的差異，導致無法有效輔助 駕駛人觀察後方路況，或難以規避車輛或行人碰撞的問題。詳言之，本案去除駕駛者車內後照鏡無法看透B/C柱、後行李箱及車身所產生的死角，以及避免可能產生的行車安全問題。本案提出消除扭曲的影像拼接與影像融合之技術手段，藉由反扭曲轉換矩陣(radial distortion homography)，同時消除不同攝影機的影像之間的影像扭曲，與達成攝影機的影像彼此吻合，因此有透視後半部車體及消除死角之功效。
圖1係根據一些實施例說明影像系統的示意圖。影像系統200配置於車輛100上。影像系統200包含顯示器110、處理器120、攝影機130與攝影機140。顯示器110位於駕駛人視線所及之處，例如：駕駛人與副駕駛座之間的後視鏡位置，或是中央控制板的位置。顯示器110係任何適當的螢幕例如：液晶螢幕、有機發光二極體(Organic Light-Emitting Diode，OLED)等。顯示器110用以播放經過處理的車後影像。
攝影機130位於車輛100的內部。詳細地，攝影機130位於駕駛人與副駕駛座中間的上方，攝影機130的鏡頭朝向車輛100後方。攝影機140位於車輛100的尾端，攝影機140的鏡頭朝向車輛100後方。攝影機130以及攝影機140用以擷取影像。攝影機130或攝影機140係採用適合的影像感測器，例如：感光耦合元件(Charge-coupled Device，CCD)、互補式金氧半導體影像感測器(CMOS Image Sensors)、紅外線影像擷取裝置等型態的影像感測器。攝影機130或攝影機140兩者為相同型態的影像感測器，或是上述 任兩種型態的影像感測器。
處理器120耦合攝影機130、140與顯示器110。攝影機130、140所擷取的影像傳送到處理器120，處理器120用以消除攝影機130、140之邊界區域或廣角邊緣的影像扭曲，使得在影像接合處無影像扭曲情況，取得融合且無扭曲的影像，並且產生透視後半部車體及消除駕駛人視線死角之影像。處理器120係可程式化的積體電路，例如：微控制器(Microcontroller Unit)、元件可程式邏輯閘陣列(Field Programmable Gate Array，FPGA)之類的電路，以硬體描述(Hardware description language，HDL)來設計。
圖2係根據一些實施例說明影像處理方法300的流程圖。圖2中的步驟係處理器120的訊號處理流程。在步驟302，處理器120開始處理影像訊號，處理器120接收來自攝影機130、140的影像訊號。
在步驟310中，處理器120利用校正時取得之反扭曲轉換矩陣(radial distortion homography)，轉換攝影機130、及140的影像，使攝影機130、及140的影像吻合。反扭曲轉換矩陣的取得方式將於下方闡明。假設攝影機130、140的影像單純地進行貼合處理，可能產生邊界區域的影像扭曲問題，理由在於車用攝影機多為廣角鏡頭，視角較為廣闊，靠近攝影機之視角邊界的影像有影像扭曲區塊，例如：桶狀失真(Barrel Distortion)或枕狀失真(Pincushion Distortion)，未處理失真而進行影像疊合，將會加重影像融合後的像差。特別地，處理器120藉由反扭曲轉換矩陣，能 消除攝影機130、及140之邊界區域或廣角邊緣的影像扭曲，使在影像接合處無影像扭曲情況，攝影機130、及140在各時序的影像彼此吻合，並且無影像失真現象。
在步驟320中，貼合轉換影像(轉換後的影像稱之為轉換影像)為融合影像。處理器120藉由反扭曲轉換矩陣，分別反扭曲轉換攝影機130、及140各時序的影像後，貼合攝影機130、及140各時序的轉換影像為各時序的融合影像。
在步驟330中，處理器120將車內轉換影像(轉換後的影像稱之為轉換影像)透明化後，貼合轉換影像為融合影像。車內影像係攝影機130所擷取的影像，攝影機130的視角中，影像可能出現後座座位、後車廂、B柱、C柱等物體。詳言之，處理器120調整攝影機130、140的影像權重，處理器120降低攝影機130的影像權重，使得車內的物件影像淡化或是透明化。數學表示如下：P總合=P車內*W車內+P車外*W車外；W車內+W車外=1 P總合係像素總合，P車內係車內像素，P車外係車外像素，W車內係車內權重，W車外係車外權重。在一實施例中，W車內的數值為0.5；W車外的數值為0.5。在一實施例中，W車內的數值為0.1；W車外的數值為0.9，使得車內的物件影像透明化。
在步驟340中，處理器120將所有影像處理完畢。若影像處理尚未結束，則進入步驟350，等待處理器120計算完所有影像數據。若影像數據處理完畢，進入步驟360，處理器120結束影像處理程序。
圖3係根據一些實施例說明影像處理方法300的步驟310之流程圖。圖3係步驟310的詳細說明，步驟310包含步驟410、420、430、及440。整體上，步驟310係利用校正時取得之反扭曲轉換矩陣(radial distortion homography)，將兩攝影機影像轉換，使影像吻合。影像系統200須先進行校正，系統方可正常運作，步驟310係屬於校正程序，以下子步驟亦同。以下詳述步驟310的子步驟。
於步驟410中，處理器120擷取攝影機130、及140兩影像的特徵點。兩影像係同一時間下，攝影機130、及140分別擷取的影像。步驟410所使用的特徵點偵測方法，例如：尺度不變特徵轉換(Scale-invariant feature transform，SIFT)、加速穩健特徵(Speeded Up Robust Features，SURF)等方法，於攝影機130、及140的兩影像中分別擷取具有強健不變性的特徵點。在一實施例中，SIFT演算法的主要步驟為：(一)尺度空間極值偵測；(二)特徵點位置最佳化；(三)計算特徵點方向性；以及(四)特徵點描述。SIFT能夠找出獨特的關鍵點，此關鍵點不會受移動、轉動、縮放、仿射變換、亮度等外在因素的影響而改變其特性。在一實施例中，SURF演算法的概念及步驟均建立在SIFT之上，但詳細的流程略有不同。SURF演算法包含以下三個步驟：特徵點偵測、特徵鄰近描述、描述子配對。SURF係使用海森(Hessian)矩陣的行列式值作特徵點偵測並用積分圖加速運算；以及SURF的描述子基於二維(2D)離散小波變換響應並且有效地利用了積分圖。在一實施例中，此步驟下 可放置一棋盤格或紋理豐富之校正背景於兩攝影機視線中，並且能同時觀看到影像彼此的距離。
在步驟420中，處理器120配對攝影機130、及140的兩影像間的對應特徵點為特徵點組。攝影機130、140的兩影像的複數個特徵點藉由配對方法，定義兩影像之對應特徵點，其配對方法例如：利用歐幾里得距離(Euclidean distance)，取得特徵點之間的距離，藉以認定是否為對應特徵點。
在步驟430中，藉由迭代估測演算法，例如：隨機抽樣一致算法(RANdom SAmple Consensus，RANSAC)選取適合的且至少5個對應點組，並以適合的至少5個對應點組計算兩影像間的反扭曲轉換矩陣，並且估測兩影像間的最適合或最佳的反扭曲轉換矩陣以及最佳解法之扭曲參數。在一實施例中，隨機抽樣一致算法(RANdom SAmple Consensus，RANSAC)的步驟為在數據中隨機選擇幾個點設定為內群；計算適合內群的模型；把其它未選擇的點代入所建立的模型中，計算是否為內群；記錄內群裡點的數量；重複以上步驟；比較哪次計算中的內群裡點的數量最多，內群裡點的數量最多的那次計算，所建立的模型即為所要求的解法。
在步驟440中，處理單元120儲存迭代後取得之最適合或最佳的反扭曲轉換矩陣，即完成影像系統200校正並估測反扭曲轉換矩陣之流程。儲存的反扭曲轉換矩陣待影 像系統200運作時使用。
圖4係根據一些實施例說明影像處理方法300的步驟430之流程圖。圖4係步驟430的詳細步驟，步驟430包含步驟510、520、530、540、及550，整體上，步驟430藉由迭代估測演算法選取出適合的且至少5個特徵點組，並以此計算兩影像間的反扭曲轉換矩陣(radial distortion homography)。以下詳述步驟430的子步驟。
在步驟510中，處理器120在兩影像間的多個對應特徵點組中隨機選取特定數量k個之特徵點組(,)，其中k值至少大於5，i=0,1,2,...,k，且(,)分別代表兩影像中，某一特徵點組內各自未失真(undistorted)特徵點。例如：為攝影機130的影像中未失真特徵點，亦為無扭曲座標，，和為座標位置，t代表轉置(transpose)。為攝影機140的影像中未失真特徵點，亦為無扭曲座標，，和為座標位置，t代表轉置。
在步驟520中，處理器120將步驟510所隨機選取之k個特徵點組(,)，迭代估測其反扭曲轉換矩陣。詳言之，每次選取k個特徵點組(,)或每次至少五個特徵點組，反覆代入特徵點組與反扭曲轉換矩陣的關係式，迭代估測出複數個反扭曲轉換矩陣H，特徵點組與反扭曲轉換矩陣的關係式為：
[fu(,λ')]x係反對稱矩陣(skew symmetric matrix)。反扭曲 轉換矩陣H。將關係式展開： 其中方程式fu(,λ)、fu(,λ')與變數的關係如下：
由此特徵點組與反扭曲轉換矩陣H的關係式，計算兩影像間的反扭曲轉換矩陣H，等同求出h 11、h 12、h 13、h 21、h 22、h 23、h 31、h 32、及h 33之數值，且同時估測兩影像間之扭曲參數λ、λ’。
在步驟530中，處理器120採用定量評估方式，將算得之兩影像間的轉換矩陣H與兩影像間之扭曲參數λ、λ’的效果量化，定量評估複數個反扭曲轉換矩陣H及扭曲參數λ、λ’。以下詳述定量評估方式。首先，藉由處理器120計算或人工標記，定義且標記兩張影像之實況點組(ground truth point set，GT_ptS)，換言之，實況點組係明確得知一張影像中的某一點或像素應該出現在另一張影像的哪個座標。每次迭代估測出一反扭曲轉換矩陣H，藉由該反扭曲轉換矩陣H轉換實況點組，而得到轉換點組(transfer point set，T_ptS)，比較實況點組與轉換點組之距離distance(GT_ptS,T_ptS)，之後總平均兩者距離差異量值，得到所使用反扭曲轉換矩陣H的平均距離差異量值。當在某次迭代下，距離差異量值符 合一範圍或下限值，則停止迭代並保存該反扭曲轉換矩陣；或者迭代總次數執行完成，則停止迭代並保存最佳之反扭曲轉換矩陣。
在步驟540中，處理器120判斷評估結果是否符合需求，如未達需求，則重新選取k個之特徵點組(,)，執行新一次的估測與評估；如已達需求，則進入步驟550完成此迭代計算兩影像間的反扭曲轉換矩陣H以及扭曲參數λ、λ’之流程。經過上述步驟510-550(等同完成步驟430)，處理器120藉由迭代估測演算法，計算出兩影像間的最適合或最佳的反扭曲轉換矩陣H以及扭曲參數λ、λ’。回到步驟440(圖3)，處理器120儲存最適合或最佳的反扭曲轉換矩陣H以及扭曲參數λ、λ’，用於步驟320(圖2)，處理器120藉由最適合或最佳的反扭曲轉換矩陣H，分別反扭曲轉換攝影機130、及140各時序的影像後，貼合轉換後的影像為各時序的融合影像。經過上述影像處理，處理器120能消除邊界區域的影像扭曲，使攝影機130、140在各時序的影像彼此吻合，並且無影像失真現象。
在應用於交通工具之一實施例中，影像系統200包含：至少二攝影機130、及140，用以擷取影像；及一處理器120耦合該至少二攝影機130、及140，該處理器120用以消除該至少二攝影機130、140之影像扭曲，取得融合且無扭曲的影像；以及一顯示器110耦合該處理器120，用以播放該些融合且無扭曲的影像。
圖5係根據一些實施例說明影像處理前後的示意圖。影像615係攝影機130所擷取的影像，影像616係攝影機140所擷取的影像，影像617係顯示器110所輸出的影像。影 像615中，攝影機130位於中央後視鏡的位置，故攝影機130的視角接近駕駛者的視角。攝影機130的影像615包含後車窗(如620、621、622)、後座610、B柱623、C柱624、車輛(如625、626)、以及樹木627。駕駛者的視線接近攝影機130的視角，駕駛者的後方視線被後座610、及B柱623與C柱624所阻擋，僅能藉由後車窗620、621、及622看到本車輛100的後方狀況，產生許多視線死角或盲區，僅能觀察到車輛625、626的一部分、及樹木627。
影像616係攝影機140所擷取的影像，攝影機140位於車輛100尾端，故攝影機140的視角較貼近地面且異於攝影機130的視角。攝影機140的影像616包含車輛(如625、626)、樹木627、電桿628、交通標誌629、行人630、以及障礙物631。比較地，攝影機130的視線無法涵蓋到樹木627、電桿628、交通標誌629、行人630、障礙物631等物體。若單獨依靠攝影機130或後視鏡，恐怕讓駕駛者無法察覺車輛100周圍的路上障礙或行人，而導致行車危險。
在一實施例中，利用影像處理方法300，對影像615、616、及617進行影像反扭曲轉換、貼合、及透明化之後，再進行融合。以下描述部分步驟，根據步驟410、及420，處理器120擷取兩影像的特徵點且配對為特徵點組，如影像615與影像616的編號1到5，實際上的特徵點組的數量龐大，在此僅列示其中部分的說明。根據步驟430及440，處理器120藉由迭代估測演算法，將特徵點組反覆代入特徵點組與反扭曲轉換矩陣的關係式，計算出兩影像間的最適合或最佳的反扭曲轉換矩陣H以及扭曲參數λ及λ’。處理器120儲存最佳的反扭曲轉換矩陣H。根據步驟320，處理器120藉由最佳 的反扭曲轉換矩陣H，將影像615與影像616的各像素進行反扭曲轉換，藉以去除廣角鏡頭的影像失真，得到融合且無扭曲的影像。進一步，在步驟330時，處理器120透明化後座610、B柱623、C柱624等視線障礙物，再將步驟320、330的結果融合為影像617，產生單一影像即可同時觀看複數個影像且具有更廣闊的視角，駕駛者能清楚看見後方各種障礙物、行人和車輛，特別地，在複數個影像接合處無影像扭曲的情況，並且去除後座610、B柱623、C柱所產生的死角。
圖6係根據一些實施例說明影像處理前後的示意圖。在一實施例中，在車輛100的車尾處裝配三個攝影機，三個攝影機分別擷取影像710、711、及712。影像710包含交通號誌720、障礙物721以及車輛722。影像711包含車輛722、障礙物723、電桿724以及樹木725。影像712包含樹木725、牆726以及行人727。影像710、711、及712係不同視角的影像。處理器120利用影像處理方法300，對影像710、711、及712進行影像反扭曲轉換及貼合。與圖5之實施例的差別在於，圖6之實施例省略步驟330的透明化流程，因為無B柱、C柱，故無需處理。以下描述圖6之實施例的部分步驟。根據步驟430及440，處理器120藉由迭代估測演算法，將特徵點組反覆代入特徵點組與反扭曲轉換矩陣的關係式，計算出兩影像間的最適合或最佳的反扭曲轉換矩陣H以及扭曲參數λ、λ’。處理器120儲存最佳的反扭曲轉換矩陣H。根據步驟320，處理器120藉由最佳的反扭曲轉換矩陣H，將影像710、711、以及712的各像素進行反扭曲轉換，影像710、711、以及712之邊緣或貼合處的像素能彼此吻合，去除廣角鏡頭的影像失真現象，得到融合且無扭曲的影像713。
在一實施例中，影像處理方法300可應用於其他交通工具，例如：船舶。船舶的噸位龐大，領航員必須依賴多個攝影機來觀察碼頭位置。影像處理方法300將個別影像的各像素進行反扭曲轉換，使得在各影像的邊緣或貼合處的像素能彼此吻合，在影像接合處無影像扭曲情況，藉以去除廣角鏡頭的影像失真現象，得到融合且無扭曲的影像，去除船舶的盲區。
特別地，本案實施例中，影像處理方法300的透明化步驟(步驟330)去除車內後照鏡中由B柱及C柱、後行李箱及車身所產生的死角，換言之，駕駛者從車內後照鏡看穿B柱及C柱、後行李箱及車身，用以避免可能產生的行車安全問題。在本案實施例中，利用影像處理方法300反扭曲轉換複數個影像，並且貼合為一融合且無扭曲的影像，加上透明化之車內影像，駕駛者藉此影像系統200更容易目測本車與障礙物相對關係。在本案實施例中，影像處理方法300係複數廣角影像融合方法，藉由兩影像中的複數個特徵點組，估測相異解法之間的最佳反扭曲轉換矩陣，並以該最佳反扭曲轉換矩陣及扭曲參數，融合多個攝影機在各時序擷取的複數個影像，產生單一影像即可同時觀看複數個影像，在複數個影像的接合處無失真狀況。本案影像處理方法300可減少影像中出現鬼影的現象，並且提升影像融合後的品質。
在一實施例中，一種用於交通工具之影像處理方法，適於處理包含至少二攝影機之影像系統所擷取的影像。影像處理方法包含：配對兩影像之間各一對應特徵點為一特徵點組；藉由迭代估測演算法，選擇最適合的至少五個特徵點組；根據該最適合的至少五個特徵點組，計算該兩影 像之間的一最適合的反扭曲轉換矩陣；以及利用該最適合的反扭曲轉換矩陣，貼合該至少二攝影機之各時序的影像。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
300‧‧‧影像處理方法
302、310、320、330、340、350、360‧‧‧步驟

Claims (10)

  1. 一種用於交通工具之影像處理方法，適於處理包含至少二攝影機之影像系統所擷取的影像，該影像處理方法包含：配對兩影像之間各一對應特徵點為一特徵點組；藉由迭代估測演算法，選擇最適合的至少五個特徵點組；根據該最適合的至少五個特徵點組，計算該兩影像之間的一最適合的反扭曲轉換矩陣；以及利用該最適合的反扭曲轉換矩陣，貼合該至少二攝影機之各時序的影像。
  2. 如申請專利範圍第1項所述之影像處理方法，其中在配對該兩影像之間各一對應特徵點為該特徵點組之前，該方法還包含：擷取該兩影像之複數個特徵點。
  3. 如申請專利範圍第1項所述之影像處理方法，其中在利用該最適合的反扭曲轉換矩陣，貼合該至少二攝影機之各時序的影像之後，該方法還包含：儲存該最適合的反扭曲轉換矩陣。
  4. 如申請專利範圍第1項所述之影像處理方法，該方法還包含：在藉由該迭代估測演算法，選擇該最適合的至少五個特徵點組之前，隨機選取至少五個特徵點組；以及 在計算該兩影像之間的該最適合的反扭曲轉換矩陣之前，迭代估測複數個反扭曲轉換矩陣，並且定量評估該複數個反扭曲轉換矩陣。
  5. 如申請專利範圍第4項所述之影像處理方法，其中在每次迭代估測出一反扭曲轉換矩陣之後，該方法還包含：標記該兩影像之間的實況點組；藉由各該複數個反扭曲轉換矩陣，分別轉換該實況點組為轉換點組；以及比較該實況點組與該轉換點組之距離差值。
  6. 如申請專利範圍第1項所述之影像處理方法，還包含：透明化該至少二攝影機之其一攝影機的影像；以及貼合已透明化的該影像於該各時序的影像上。
  7. 一種用於交通工具之影像系統，該影像系統包含：至少二攝影機，用以擷取影像；一處理器，耦合該至少二攝影機，該處理器用以消除該至少二攝影機之影像扭曲，取得融合且無扭曲的影像；以及一顯示器，耦合該處理器，該顯示器用以播放該些融合且無扭曲的影像。
  8. 如申請專利範圍第7項所述之影像系統，其中該處理器用以藉由迭代估測演算法，計算出一最適合的反扭曲轉換矩陣。
  9. 如申請專利範圍第8項所述之影像系統，其中該處理器用以藉由該最適合的反扭曲轉換矩陣，融合該至少二攝影機擷取的 該些影像。
  10. 如申請專利範圍第9項所述之影像系統，其中該處理器用以消除該至少二攝影機的該些影像之間的視線障礙物。
TW105139290A 2016-11-29 2016-11-29 用於交通工具之影像處理方法及影像系統 TWI599989B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW105139290A TWI599989B (zh) 2016-11-29 2016-11-29 用於交通工具之影像處理方法及影像系統
CN201611191617.1A CN108124095B (zh) 2016-11-29 2016-12-21 用于交通工具的影像处理方法及影像系统
DE102016226041.3A DE102016226041A1 (de) 2016-11-29 2016-12-22 Bildverarbeitungsverfahren und Bildsystem für Verkehrsmittel
US15/388,124 US10192287B2 (en) 2016-11-29 2016-12-22 Image processing method and image system for transportation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105139290A TWI599989B (zh) 2016-11-29 2016-11-29 用於交通工具之影像處理方法及影像系統

Publications (2)

Publication Number Publication Date
TWI599989B true TWI599989B (zh) 2017-09-21
TW201820258A TW201820258A (zh) 2018-06-01

Family

ID=60719386

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105139290A TWI599989B (zh) 2016-11-29 2016-11-29 用於交通工具之影像處理方法及影像系統

Country Status (4)

Country Link
US (1) US10192287B2 (zh)
CN (1) CN108124095B (zh)
DE (1) DE102016226041A1 (zh)
TW (1) TWI599989B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754992B2 (ja) * 2016-04-22 2020-09-16 パナソニックＩｐマネジメント株式会社 三次元再構成方法
US10970915B2 (en) * 2017-01-06 2021-04-06 Canon Kabushiki Kaisha Virtual viewpoint setting apparatus that sets a virtual viewpoint according to a determined common image capturing area of a plurality of image capturing apparatuses, and related setting method and storage medium
TWI653625B (zh) 2017-10-24 2019-03-11 鴻海精密工業股份有限公司 障礙物透視方法及障礙物透視裝置
CN109639930A (zh) * 2018-12-01 2019-04-16 吴克成 一种基于计算机视觉的半导体晶圆切割系统及其切割方法
TWI718466B (zh) * 2019-01-07 2021-02-11 先進光電科技股份有限公司 行動載具輔助系統及車輛輔助系統
CN111104922B (zh) * 2019-12-30 2022-03-08 深圳纹通科技有限公司 一种基于有序抽样的特征匹配算法
US11673567B2 (en) 2020-04-14 2023-06-13 Plusai, Inc. Integrated fiducial marker for simultaneously calibrating sensors of different types
US11635313B2 (en) * 2020-04-14 2023-04-25 Plusai, Inc. System and method for simultaneously multiple sensor calibration and transformation matrix computation
US11366233B2 (en) 2020-04-14 2022-06-21 Plusai, Inc. System and method for GPS based automatic initiation of sensor calibration

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5289321A (en) 1993-02-12 1994-02-22 Secor James O Consolidated rear view camera and display system for motor vehicle
US5670935A (en) 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
US5877897A (en) 1993-02-26 1999-03-02 Donnelly Corporation Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array
US20030090568A1 (en) 2001-04-23 2003-05-15 Pico Thomas Michael Digital imaging rear view mirror system
US20030133014A1 (en) 2002-01-17 2003-07-17 David Mendoza Motor vehicle rearview camera system and hitch cover with display
JP2006050263A (ja) * 2004-08-04 2006-02-16 Olympus Corp 画像生成方法および装置
JP2010519860A (ja) 2007-02-21 2010-06-03 ピクセル ベロシティー，インク． 広域監視のための拡張可能なシステム
CN101953163B (zh) * 2008-02-20 2013-04-17 歌乐牌株式会社 车辆周边图像显示系统
JP5108837B2 (ja) 2009-07-13 2012-12-26 クラリオン株式会社 車両用死角映像表示システムと車両用死角映像表示方法
KR101677561B1 (ko) * 2010-12-08 2016-11-18 한국전자통신연구원 영상 정합 장치 및 그것의 영상 정합 방법
CN103237685B (zh) * 2010-12-30 2017-06-13 明智汽车公司 盲区显示装置及方法
US20130229519A1 (en) 2012-03-01 2013-09-05 Madhav Kavuru Automatic rear view display in vehicles with entertainment systems
JP5929509B2 (ja) 2012-05-23 2016-06-08 市光工業株式会社 車両用インナーミラーシステム及びこの車両用インナーミラーシステムを備えた車両
TW201403545A (zh) 2012-07-13 2014-01-16 Vivotek Inc 合成虛擬視角影像的處理系統及其處理方法
TWI476730B (zh) 2012-10-31 2015-03-11 Vivotek Inc 數位影像的反扭曲處理方法
TW201424382A (zh) 2012-12-13 2014-06-16 Metal Ind Res & Dev Ct 車用影像監視系統
US10029621B2 (en) * 2013-05-16 2018-07-24 Ford Global Technologies, Llc Rear view camera system using rear view mirror location
TWI552897B (zh) * 2013-05-17 2016-10-11 財團法人工業技術研究院 影像動態融合方法與裝置
TWI545936B (zh) 2014-02-25 2016-08-11 華晶科技股份有限公司 電子裝置及其校正方法
US9196022B2 (en) 2014-03-10 2015-11-24 Omnivision Technologies, Inc. Image transformation and multi-view output systems and methods
US9286679B2 (en) * 2014-07-22 2016-03-15 GM Global Technology Operations LLC Misalignment correction and state of health estimation for lane management fusion function
TWI554976B (zh) 2014-11-17 2016-10-21 財團法人工業技術研究院 監控系統及其影像處理方法
TWI576652B (zh) 2015-05-13 2017-04-01 財團法人國家實驗研究院 校正一影像擷取裝置使用之圓錐校正件
CN105335932B (zh) 2015-12-14 2018-05-18 北京奇虎科技有限公司 多路图像采集拼合方法及系统
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices

Also Published As

Publication number Publication date
US20180150939A1 (en) 2018-05-31
CN108124095A (zh) 2018-06-05
CN108124095B (zh) 2020-06-16
DE102016226041A1 (de) 2018-05-30
TW201820258A (zh) 2018-06-01
US10192287B2 (en) 2019-01-29

Similar Documents

Publication Publication Date Title
TWI599989B (zh) 用於交通工具之影像處理方法及影像系統
Zhang et al. A surround view camera solution for embedded systems
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP4695167B2 (ja) 車両の後方視認システムの歪みを補正し且つ像を強調する方法及び装置
US9892493B2 (en) Method, apparatus and system for performing geometric calibration for surround view camera solution
US11910123B2 (en) System for processing image data for display using backward projection
CN105763854B (zh) 一种基于单目摄像头的全景成像系统及其成像方法
CN104732542B (zh) 基于多摄像头自标定的全景车辆安全系统的图像处理方法
US8063752B2 (en) Camera unit with driving corridor display functionality for a vehicle, method for displaying anticipated trajectory of a vehicle, and system for generating driving corridor markers
US20150042799A1 (en) Object highlighting and sensing in vehicle image display systems
US20140114534A1 (en) Dynamic rearview mirror display features
JP7247173B2 (ja) 画像処理方法及び装置
US20160005316A1 (en) Around view system and operating method thereof
JP2002359838A (ja) 運転支援装置
CN104477097A (zh) 一种新型电子后视系统及控制逻辑
CN110264395B (zh) 一种车载单目全景系统的镜头标定方法及相关装置
Chang et al. Auto-calibration around-view monitoring system
CN111160070A (zh) 车辆全景图像盲区消除方法、装置、存储介质及终端设备
US20200380275A1 (en) Parking assist apparatus
TW201605247A (zh) 影像處理系統及方法
JP7004736B2 (ja) 画像処理装置、撮像装置、運転支援装置、移動体、および画像処理方法
CN204367998U (zh) 一种新型电子后视系统
Santhanam et al. Lens distortion correction and geometrical alignment for Around View Monitoring system
JP5305750B2 (ja) 車両周辺表示装置およびその表示方法
JP2009077022A (ja) 運転支援システム及び車両