TWI618644B - Image overlay method - Google Patents

Image overlay method Download PDF

Info

Publication number
TWI618644B
TWI618644B TW105114235A TW105114235A TWI618644B TW I618644 B TWI618644 B TW I618644B TW 105114235 A TW105114235 A TW 105114235A TW 105114235 A TW105114235 A TW 105114235A TW I618644 B TWI618644 B TW I618644B
Authority
TW
Taiwan
Prior art keywords
image
stable
color
extreme value
depth
Prior art date
Application number
TW105114235A
Other languages
English (en)
Other versions
TW201739648A (zh
Inventor
江進豐
徐世鈞
魏宏源
李宗翰
張祖錕
潘天賜
Original Assignee
財團法人金屬工業研究發展中心
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人金屬工業研究發展中心 filed Critical 財團法人金屬工業研究發展中心
Priority to TW105114235A priority Critical patent/TWI618644B/zh
Priority to US15/586,606 priority patent/US20170323427A1/en
Priority to DE102017109751.1A priority patent/DE102017109751A1/de
Priority to CN201710312986.XA priority patent/CN107399274B/zh
Publication of TW201739648A publication Critical patent/TW201739648A/zh
Application granted granted Critical
Publication of TWI618644B publication Critical patent/TWI618644B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本發明係一種影像疊合之方法，藉由疊合兩個結構光攝像單元所產生之兩個深度影像互相重疊之部分成為疊合影像後，顯示第一影像、疊合影像及第四影像於顯示單元，可彌補駕駛人員由車內往車外看時被車體遮蔽的視線範圍，減少駕駛人員的死角，以提升行車安全。

Description

影像疊合之方法
本發明係有有關於一種影像疊合方法，特別係有關於依據兩個結構光影像中之穩定極值區域疊合影像之影像疊合之方法。
汽車做為日常生活中最常見的移動載具，其至少設置了左側後照鏡、右側後照鏡、正後方後照鏡，用以將車輛的左後方、右後方及正後方的影像藉由後照鏡的反射呈現給汽車的駕駛人員，但是由這些後照鏡所能呈現給駕駛人員的視野範圍有限，又因為後照鏡為了給予駕駛人員更為寬廣的視野勢必要使用凸面鏡，然而凸面鏡之成像為縮小而正立的虛像，會產生近距離的物體在透過凸面鏡成像時有此物體較遠的錯覺，會使得駕駛人員難以掌握實際與物體的距離。
且當汽車在道路行駛時，除了會受到視野範圍受限及距離感有誤差外，更有可能因為精神疲勞或其他用路人不守法等因素，使得駕駛人員、乘客以及行人的生命安全雙雙受到威脅。為了提高安全性，不少被動安全配備已為汽車出廠時的標準配備，而主動安全配備也在各大車廠的努力下被持續開發。
在現有技術中已經具有可以即時警告使用者行車安全之警示裝置，例如設置訊號發射器以及訊號接收器作為倒車雷達在倒車時當有其他物體靠近車尾時，會以音效提醒駕駛之設備。但是對於駕駛人員而言，汽車依然存在有特定的視覺死角，因此常會在車輛上裝設攝影器材作為行車輔助。
目前常見攝影器材應用於車輛行車輔助上，通常設置多個攝影器材於車輛之前後左右以拍攝車輛周圍之影像，然後由顯示裝置同時顯示多個攝影器材所拍攝之多個影像，以輔助駕駛者避免行車事故之發生。但駕駛者難以同時監看多個影像，且傳統平面影像應用於行車輔助時之視覺死角仍大，因此目前亦有業者開發將設置於車輛之該些攝影器材所取得的該些影像組合為一廣角影像，此係較為符合人眼視覺習慣且亦能進一步克服視覺死角之技術手段。
但，攝影器材所拍攝之影像為平面影像，駕駛人員很難依據此影像來掌握與物體之間的距離。現在有部分廠商會在影像中加入參考線以做為駕駛人員判斷距離的依據，但是這樣的方法僅能讓駕駛人員得知物體大概的距離。
有鑑於上述問題，本發明提供一種依據兩個結構光影像中重疊區域之特徵值疊合影像之影像疊合之方法，除了藉由影像之疊合進一步的克服視覺死角外，同時使得駕駛人員可以依據影像中之深度值得知移動載具與物體的距離。
本發明之目的，係提供一種影像疊合之方法，藉由疊合兩個結構光攝像單元所產生之兩個深度影像裝互相重疊之部分成為疊合影像後，顯示第一影像、疊合影像及第四影像於顯示單元，可彌補駕駛人員由車內往車外看時被車體遮蔽的視線範圍，減少駕駛人員的死角，以提升行車安全。
為達上述之指稱之各目的與功效，本發明之一實施例係揭示一種影像疊合之方法，其步驟包含取得第一深度影像及第二深度影像，以第一演算法取得第一影像中之第穩定極值域及第三影像之第二穩定極值區域，當第一穩定極值區域及第二穩定極值區域互相匹配時，疊合該第二影像及該第三影像，產生第一疊合影像，並顯示第一影像、第一疊合影像及第四影像於一顯示單元。
於本發明之一實施例中，其中更包含：依據第一結構光攝像單元及第二結構光攝像單元之間之夾角將第一深度影像中與第二深度影像之重疊之部分設定為第二影像，並將第二深度影像中與第一深度影像之重疊之部分設定為第三影像。
於本發明之一實施例中，其中第一演算法為最大穩定極值區域演算法。
於本發明之一實施例中，其中於產生深度疊合影像之前，該方法更包含：以邊緣偵測演算法處理第一穩定極值區域及第二穩定極值區域。
於本發明之一實施例中，其中該方法更包含：取得第一色彩影像及第二色彩影像，以第二演算法取得第一色影像中之第六影像之第一穩定色彩區域及第七影像之第二穩定色彩區域，當第一穩定色彩區域及第二穩定色彩區域互相匹配時，疊合該第六影像及該第七影像，產生第二疊合影像，並顯示第五影像、第二疊合影像及第八影像於顯示單元。
於本發明之一實施例中，其中於產生疊合影像之前，該方法更包含：以邊緣偵測演算法處理第一穩定色彩區域及第二穩定色彩區域。
於本發明之一實施例中，其中更包含：依據第一攝像單元及第二攝像單元之間之夾角將第一色彩影像中與第二色彩影像之重疊之部分設定為第六影像，並將第二色彩影像中與第一色彩影像之重疊之部分設定為第七影像。
於本發明之一實施例中，其中於產生深度疊合影像之前，該方法更包含：以邊緣偵測演算法處理第一穩定色彩區域及第二穩定色彩區域。
於本發明之一實施例中，其中第二演算法為最大穩定色彩區域演算法。
為使對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以較佳之實施例及配合詳細之說明，說明如後：
先前之技術中，設置於移動載具之複數個攝影器材所取得的該些影像組合為一廣角影像，此係較為符合人眼視覺習慣且亦能進一步克服視覺死角之技術手段，然而，住些攝影器材所拍攝的影像皆為平面影像，駕駛人員很難依據平面影像來掌握與物體之間的距離，因此提出一種依據兩個結構光影像中重疊區域之極值區域疊合影像之影像疊合之方法，藉由結構光影像可以讓駕駛人員清楚掌握移動載具與物體間的距離，同時疊合兩個結構光影像所形成的廣角結構光影像亦可克服駕駛移動載具時視覺之死角。
在此說明本發明之第一實施例之影像疊合之方法之流程，請參閱第一圖，其係為本發明之第一實施例之影像疊合之方法之流程圖。如圖所示，本實施例之影像疊合之方法其步驟包含：
步驟S1：取得影像；
步驟S3：取得特徵值；以及
步驟S5：產生疊合影像。
接著說明為達成本發明之影像疊合之方法所需之系統，請參閱第二圖、第三圖、第四圖及第五圖，本發明所揭示之影像疊合之方法需使用二個攝像裝置1，攝像裝置1包含一結構光投影模組10、一結構光攝像單元30。上述之單元及模組皆可與一電源供應單元70電性連接而獲得電力供應以進行運作。
結構光投影模組10包含一雷射光源單元101以及一透鏡組103，其係用以偵測移動載具周圍數十公尺內的空間當中是否存在可能會影響行車安全的物體（例如來往的行人、動物、其他移動載具，或者是固定之柵欄、灌木叢等）及移動載具與該物體之距離。本發明所使用的偵測方式是透過結構光技術，其原理是利用光源向被測物體之表面投射可控制的光點、光條或光平面，再由攝像機等感測器獲得反射之圖像，經幾何計算就可獲得物體的立體座標。本發明在一較佳實施例中，係採用不可見雷射作為光源，利用其同調性好、衰減慢、量測距離長、精準度高等特性，加上其不易受其他光源影響，因此較一般的光線投射為佳。雷射光源單元101提供之光源在透過透鏡組103後發散，其在空間中即為一光平面105。如第四圖所示，本發明所使用的透鏡組103當中可包含圖案化透鏡(pattern lens)，其具有圖案化之微結構而可使穿透的雷射光源所形成的光平面具有圖案化特徵，例如在二維平面呈現光點陣列。
如第三圖所示，若移動載具的周邊存在其他物體2，則光平面105在投影於物體2之表面時，光線會被反射而以作為光圖像訊息的形式被結構光攝像單元30所接收，結構光攝像單元30為可以接收不可見雷射之攝像單元。光圖像訊息為結構光投影模組10所投影之光平面105在經過物體2本身表面的不規則性反射而形成的變形圖案，結構光攝像單元30接收到此變形圖案後，系統可進一步利用這些變形圖案取得物體2之深度值，也就是物體2與移動載具之距離，進而重建物體2的立體外觀輪廓，以取得一深度影像。
如第五A圖及第五B圖所示，當使用本發明之第一實施例之影像疊合之方法時，需設置一第一攝像裝置11及一第二攝像裝置13於一移動載具3之外側(第五A圖)或內側(第五B圖)，並如第五B圖所示，第一攝像裝置11與第二攝像裝置13連接於一處理單元50，該處理單元50連接一顯示單元90。第一攝像裝置11與第二攝像裝置13設置於內側時，第一攝像裝置11及第二攝像裝置13各自之結構光投影模組10係透過移動載具3之窗戶向外投射結構光，光線會被鄰近之物體反射而被結構光攝像單元30所接收，移動載具3可為小客車、大貨車、公車等。如第五C圖所示，第一攝像裝置11及第二攝像裝置13設置時，彼此間有一夾角15，因此，第一攝像裝置11所拍攝之影像與第二攝像裝置13所拍攝之影像有部分重疊。
上述之處理單元50為可進行算術及邏輯運算之電子元件。顯示單元70可為液晶螢幕、電漿螢幕、陰極射線管螢幕或其他可以顯示影像之顯示單元。
以下將說明本發明之第一實施例之影像疊合之方法執行時之流程，請參閱第一圖、第二圖、第五A圖、第五B圖、第五C圖及第六A圖~第六E圖。當移動載具3行駛於道路上並搭載有第一攝像裝置11及第二攝像裝置13，且第一攝像裝置11與第二攝像裝置13之間有夾角15時，本發明之影像疊合之方法之系統，將執行步驟S1至步驟S5。
於步驟S1中，取得影像，第一攝像裝置11之結構光投影模組10投射結構光後，第一攝像裝置11之結構光攝像單元(第一結構光攝像單元)30接收被反射之結構光產生第一深度影像111，第二攝像裝置13之結構光投影模組10投射結構光後，第二攝像裝置13之結構光攝像單元(第二結構光攝像單元)30接收被反射之結構光產生第二深度影像131，如第六A圖所示，第一深度影像111之包含第一影像1111及一第二影像1113，如第六B圖所示，第二深度影像131之包含一第三影像1311及一第四影像1313。
於步驟S3中，取得特徵值，處理單元50以一最大穩定極值區域演算法(MSER，Maximally Stable Extremal Regions)(第一演算法)計算第二影像1113取得複數個第一穩定極值區域並計算第三影像1311取得複數個第二穩定極值區域。其中，最大穩定極值區域演算法是將影像轉換成灰階影像後，將0~255分別取閥值，將大於閥值的點設為1，小於閥值的點設為0，進而得出256張依據閥值形成的二值影像，並透過比較相鄰閥值的圖像區域，得出區域間的閥值變化關係，進而取得穩定極值區域。舉例而言，如第六C圖所示，以最大穩定極值區域演算法取得第二影像1113中之第一穩定極值區域A、第一穩定極值區域B及第一穩定極值區域C。如第六D圖所示，以最大穩定極值區域演算法取得第三影像1311中之第二穩定極值區域D、第二穩定極值區域E及第二穩定極值區域F。
於步驟S5中，產生疊合影像，處理單元50匹配第二影像1113之第一穩定極值區域A~第一穩定極值區域C及第三影像1311之第二穩定極值區域D~第二穩定極值區域F，其處理單元50可以是使用 K-維樹(k-dimensional tree)、暴力法(Brute Force)、BBF(Best-Bin-First)或其他匹配演算法進行匹配。當第一穩定極值區域A~第一穩定極值區域C及第二穩定極值區域D~第二穩定極值區域F互相匹配時，疊合第二影像1113及該第三影像1311，產生第一疊合影像5。如第六C~第六E圖所示，第一穩定極值區域A匹配第二穩定極值區域D、第一穩定極值區域B匹配第二穩定極值區域E及第一穩定極值區域C匹配第二穩定極值區域F，因此，處理單元50疊合第二深度影像1111及第三影像1311，其中，處理單元50疊合第一穩定極值區域A及第二穩定極值區域D產生穩定極值區域AD、疊合第一穩定極值區域B及第二穩定極值區域E產生穩定極值區域BE以及疊合第一穩定極值區域C及第二穩定極值區域F產生穩定極值區域CF。
接續上述，因為第一攝像裝置11包含第一結構光攝像單元且第二攝像裝置13包含第二結構光攝像單元，故，處理單元30是依據第一攝像裝置11及第二攝像裝置13之夾角15將第一深度影像111中與第二深度影像131之重疊之部分設定為第二影像1113，並將第二深度影像131中與第一深度影像111之重疊之部分設定為第三影像1311。因此當上述之穩定極值區域疊合後，第二影像1113及第三影像1311亦互相疊合產生第一疊合影像5。
當產生第一疊合影像5後，將第一影像1111、第一疊合影像5及第四影像1313顯示於顯示單元90，移動載具3之駕駛人員可透過顯示單元90上所顯示之第一影像1111、第一疊合影像5及第四影像1313得知周圍是否有物體以及物體與移動載具3之距離。本發明是採用疊合兩張深度影像並將影像中重疊部分互相疊合，因此，所顯示的範圍較廣，可彌補駕駛人員由車內往車外看時被車體遮蔽的視線範圍，減少駕駛人員的視線死角，以提升行車安全。於此即完成本發明之第一實施例之影像疊合之方法。
接著說明本發明之第二實施例之影像疊合之方法，請參閱第七圖及第八A圖~第八E圖並搭配第一圖、第五A圖~第五C圖及第六A圖~第六E圖。本實施例與第一實施例之差異在於：於本實施例之攝像裝置更包含一攝像單元110，攝像單元110為攝影機或是其他可以拍攝一區域後產生彩色影像之攝像設備。攝像單元110電性連接於電源供應單元70。於第一實施例中，駕駛人員可透過結構光影像得知移動載具與物體之間之距離，但結構光影像所顯示的為物體之輪廓，駕駛人員較難從物體之輪廓判斷此物體是否會造成移動載具危險之物體，舉例而言，路旁的行人和人形立牌之輪廓相似，但是人形立牌不會移動故不會對移動載具造成行車安全上之威脅，反之，行人的移動則有可能對移動載具造成行車安全上之威脅。故，於本實施例中加入的攝像單元可以取得色彩影像，駕駛人員藉由色彩影像即可清楚的得知物體為何。
於本發明之第二實施例中，於步驟S1，取得影像，第一攝像裝置11之結構光攝像單元30產生第一深度影像111，第二攝像裝置13之結構光攝像單元30產生第二深度影像131。第一攝像裝置11之攝像單元(第一攝像單元)110產生第一色彩影像113，第二攝像裝置13之攝像單元(第二攝像單元)110產生第二色彩影像133。如第八A圖所示，第一色彩影像113包含一第五影像1131及一第六影像1133，如第八B圖所示，第二色彩影像133包含一第七影像1331及一第八影像1333。
於本發明之第二實施例中，於步驟S3中，取得特徵值，處理單元50以一最大穩定極值區域演算法(MSER，Maximally Stable Extremal Regions)(第一演算法)計算第二影像1113取得複數個第一穩定極值區域並計算第三影像1131取得複數個第二穩定極值區域。處理單元50以一最大穩定色彩區域演算法(MSER，Maximally Stable Colour Regions)(第二演算法) 計算第六影像1133取得複數個第一穩定色彩區域並計算第七影像1331取得複數個第二穩定色彩區域。其中，最大穩定色彩區域演算法是計算影像中相鄰像素之間的相似性，並將相似性在閥值內的像素合併成為圖像區域，再透過不斷改變閥值，得出圖像區域間的閥值變化關係，進而取得穩定色彩區域。舉例而言，如第八C圖所示，以最大穩定色彩區域演算法取得第六影像1133中之第一穩定色彩區域G、第一穩定色彩區域H及第一穩定色彩區域I。如第八D圖所示，以最大穩定色彩區域演算法取得第七影像1331中之第二穩定色彩區域J、第二穩定色彩區域K及第二穩定色彩區域L。
於本發明之第二實施例中，於步驟S5中，產生疊合影像，處理單元50匹配第二影像1113之第一穩定極值區域A~第一穩定極值區域及第三影像1311之第二穩定極值區域D~第二穩定極值區域F後，處理單元50依據特徵區域中互相匹配者疊合第二影像1113及第三影像1311產生第一疊合影像5。處理單元50匹配第六影像1133之第一穩定色彩區域G~第一穩定色彩區域I及第七影像1331之第二穩定色彩區域J~第二穩定色彩區域L後，處理單元50依據特徵區域中互相匹配者疊合第六影像1133及第七影像1331產生第二疊合影像8。如第八C~第八E圖所示，第一穩定色彩區G匹配第二穩定色彩區J、第一穩定色彩區H匹配第二穩定色彩區K及第一穩定色彩區I匹配第二穩定色彩區L，因此，處理單50元疊合第六影像1133及第七影像1331時，處理單元50疊合第一穩定色彩區域G及第二穩定色彩區域J產生穩定色彩區域GJ、疊合第一穩定色彩區域H及第二穩定色彩區域K產生穩定色彩區域HK、疊合第一穩定色彩區域I及第二穩定色彩區域L產生穩定色彩區域IL以產生第二疊合影像8。
接續上述，因為第一攝像裝置11包含第一結構光攝像單元30及第一攝像單元110且第二攝像裝置13包含第二結構光攝像單元30及第二攝像單元110，故，處理單元50是依據第一攝像裝置11及第二攝像裝置13之夾角15將第一深度影像111中與第二深度影像131之重疊之部分設定為第二影像1113、將第二深度影像131中與第一深度影像111之重疊之部分設定為第三影像1311、將第一色彩影像113中與第二色彩影像133之重疊之部分設定為第六影像1133及將第二色彩影像133中與第一色彩影像113之重疊之部分設定為第七影像1331。
當產生第一疊合影像5及第二疊合影像8後，將第一影像1111、第一疊合影像5、第四影像1313、第五影像1131、第二疊合影像8及第八影像1333顯示於顯示單元90，其中第一影像1111及第五影像1131互相重合、第一疊合影像5及第二疊合影像8互相重合、第四影像1313及第八影像1333互相重合，移動載具3之駕駛人員可透過顯示單元90上所顯示之影像得知周圍之物體的影像並進一步地得知物體離移動載具3之距離。本發明所顯示之範圍較廣，可彌補駕駛人員由車內往車外看時被車體遮蔽的視線範圍，減少駕駛人員的視線死角，以提升行車安全。於此即完成本發明之第二實施例之影像疊合之方法。
接著說明本發明之第三實施例之影像疊合之方法，請參閱第九圖，其為本發明之第三實施例之像疊合之方法之流程圖。本實施例與先前實施例之差異在於：於本實施例之流程中更包含步驟S4：以邊緣偵測演算法處理特徵區域。本實施例其餘部分與先前實施例相同，於此不再贅述。
於步驟S4中，進行邊緣偵測，處理單元50以邊緣偵測演算法對第二影像1113及第三影像1311或第六影像1133及第七影像1331進行邊緣偵測，產生邊緣偵測後之第二影像1113及邊緣偵測後之第三影像1311或邊緣偵測後之第六影像1133及邊緣偵測後之第七影像1331。邊緣偵測演算法可為Canny演算法、Canny–Deriche演算法、Differential演算法、Sobel演算法、Prewitt演算法、Roberts cross演算法或其他可進行邊緣偵測之演算法。其目的在於使得影像疊合時能有更高的準確度。
在本實施例中，於步驟S5，處理單元50疊合邊緣偵測後之第二影像1113及邊緣偵測後之第三影像1311產生第一疊合影像5，或疊合邊緣偵測後之第六影像1133及邊緣偵測後之第七影像1331產生第二疊合影像8。
於此即完成本發明之第三實施例之影像疊合之方法，藉由邊緣偵測演算法可使得在疊合產生第一疊合影像5或第二疊合影像8時有更高的準確度。
接著說明本發明之第四實施例之影像疊合之方法，請參閱第十A~十C圖。處理單元50可先將第一深度影像111之較近影像1115及第二深度影像113之較近影像1315先行移除，再進一步的取得穩定極值區域與疊合第二影像1113及第三影像1311。較近影像1115與較近影像1315為較靠近移動載具3之影像，故所拍攝到之影像為移動載具3之內部或是移動載具3之車身，這部分的影像對駕駛人員來說參考價值較低，因此可以先行移除，以減少處理單元50之運算量。
於本發明之一實施例中，較近區域1115為第一結構光影像111中深度值0公尺至0.5公尺之區域，較近區域1315為第二結構光影像113中深度值0公尺至0.5公尺之區域。
接著說明本發明之第五實施例之影像疊合之方法，請參閱第十一A~十一C圖。處理單元50可先將第一深度影像111之較遠影像1117及第二深度影像113之較遠影像1317先行移除，再進一步的取得穩定極值區域與疊合第二影像1113及第三影像1311。較遠區域因為較遠離移動載具3，故，此區域中之物體對移動載具3並沒有立即性的影響，因此可以先行移除，以減少移動載具3之駕駛人員的負擔。又或者是結構光攝像單元所拍攝到之較遠影像1117與較遠影像1317較為不清晰，對駕駛人員來說參考價值較低，因此可以先行移除，以減少處理單元50之運算量。
於本發明之一實施例中，較遠區域1117為第一結構光影像111中深度值大於5公尺之區域，較遠區域1317為第二結構光影像113中深度值大於5公尺之區域，較遠區域1117及較遠區域1317較佳係為第一結構光影像111及第二結構光影像113深度值大於10公尺之區域。
接著說明本發明之第六實施例之影像疊合之方法，請參閱第十二圖並搭配第十A圖、第十B圖、第十一A圖及第十一B圖。處理單元50可先將第一深度影像111之較近影像1115及較遠影像1117及第二深度影像113之較近影像1315及較遠影像1317先行移除，再進一步的取得穩定極值區域與疊合第二影像1113及第三影像1311。可藉此減少移動載具3之駕駛人員的負擔並以減少處理單元50之運算量。
惟以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍，舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾，均應包括於本發明之申請專利範圍內。
1‧‧‧攝像裝置
10‧‧‧結構光投影模組
101‧‧‧雷射光源單元
103‧‧‧透鏡組
105‧‧‧光平面
30‧‧‧結構光攝像單元
50‧‧‧處理單元
70‧‧‧電源供應單元
90‧‧‧顯示單元
110‧‧‧攝像單元
2‧‧‧物體
3‧‧‧移動載具
11‧‧‧第一攝像裝置
111‧‧‧第一結構光影像
1111‧‧‧第一影像
1113‧‧‧第二影像
1115‧‧‧較近影像
1117‧‧‧較遠影像
13‧‧‧第二攝像裝置
131‧‧‧第二結構光影像
1311‧‧‧第三影像
1313‧‧‧第四影像
1315‧‧‧較近影像
1317‧‧‧較遠影像
15‧‧‧夾角
5‧‧‧第一疊合影像
113‧‧‧第一色彩影像
1131‧‧‧第五影像
1133‧‧‧第六影像
133‧‧‧第二色彩影像
1331‧‧‧第七影像
1333‧‧‧第八影像
8‧‧‧第二疊合影像
A~C‧‧‧第一穩定極值區域
D~F‧‧‧第二穩定極值區域
AD‧‧‧穩定極值區域
BE‧‧‧穩定極值區域
CF‧‧‧穩定極值區域
G~I‧‧‧第一穩定色彩區域
J~L‧‧‧第二穩定色彩區域
GJ‧‧‧穩定色彩區域
HK‧‧‧穩定色彩區域
IL‧‧‧穩定色彩區域
第一圖：其係為本發明之第一實施例之影像疊合之方法之流程圖； 第二圖：其係為本發明之第一實施例之影像疊合之方法之攝像裝置示意圖； 第三圖：其係為本發明之第一實施例之影像疊合之方法之應用示意圖，用以表示光平面投影於物體； 第四圖：其係為本發明之第一實施例之影像疊合之方法之光平面係包含二維點陣列之示意圖； 第五A圖：其係為本發明之影像疊合之方法之攝像裝置裝設於移動載具外側之示意圖； 第五B圖：其係為本發明之影像疊合之方法之攝像裝置裝設於移動載具內側之示意圖； 第五C圖：其係為本發明之第一實施例之影像疊合之方法之系統示意圖； 第五D圖：其係為本發明之第一實施例之影像疊合之方法之攝像裝置間夾角示意圖； 第六A圖：其係為本發明之第一實施例之影像疊合之方法之第一深度影像示意圖； 第六B圖：其係為本發明之第一實施例之影像疊合之方法之第二深度影像示意圖； 第六C圖：其係為本發明之第一實施例之影像疊合之方法之第一深度影像之第一區域深度特徵值示意圖； 第六D圖：其係為本發明之第一實施例之影像疊合之方法之第二深度影像之第二區域深度特徵值示意圖； 第六E圖：其係為本發明之第一實施例之影像疊合之方法之影像疊合示意圖； 第七圖：其係為本發明之第二實施例之影像疊合之方法之攝像裝置示意圖； 第八A圖：其係為本發明之第二實施例之影像疊合之方法之第一影像示意圖； 第八B圖：其係為本發明之第二實施例之影像疊合之方法之第二影像示意圖； 第八C圖：其係為本發明之第二實施例之影像疊合之方法之第一影像之第三區域影像特徵值示意圖； 第八D圖：其係為本發明之第二實施例之影像疊合之方法之第二影像之第四區域影像特徵值示意圖； 第八E圖：其係為本發明之第二實施例之影像疊合之方法之影像疊合示意圖； 第九圖：其係為本發明之第三實施例之影像疊合之方法之流程圖； 第十A圖：其係為本發明之第四實施例之影像疊合之方法之深度第一影像示意圖； 第十B圖：其係為本發明之第四實施例之影像疊合之方法之深度第二影像示意圖； 第十C圖：其係為本發明之第四實施例之影像疊合之方法之深度疊合影像示意圖； 第十一A圖：其係為本發明之第五實施例之影像疊合之方法之深度第一影像示意圖； 第十一B圖：其係為本發明之第五實施例之影像疊合之方法之深度第二影像示意圖； 第十一C圖：其係為本發明之第五實施例之影像疊合之方法之深度疊合影像示意圖；以及 第十二圖：其係為本發明之第六實施例之影像疊合之方法之深度疊合影像示意圖。

Claims (8)

  1. 一種影像疊合之方法，其步驟包含： 以一第一結構光攝像單元產生一第一深度影像，一第二結構光攝像單元產生一第二深度影像，其中該第一深度影像包含一第一影像及一第二影像，該第二深度影像包含一第三影像及一第四影像； 以一第一演算法計算取得該第二影像之複數個第一穩定極值區域及該第三影像之複數個第二穩定極值區域；以及 當該些第一穩定極值區域及該些第二穩定極值區域互相匹配時，疊合該第二影像及該第三影像，產生一第一疊合影像，並顯示該第一影像、該第一疊合影像及該第四影像於一顯示單元。
  2. 如專利申請範圍第1項所述之影像疊合之方法，其中於取得該些第一穩定極值區域及該些第二穩定極值區域之步驟前，該方法更包含： 依據該第一結構光攝像單元及該第二結構光攝像單元之間之夾角將該第一深度影像中與該第二深度影像重疊之部分設定為該第二影像，並將該第二深度影像中與該第一深度影像重疊之部分設定為該第三影像。
  3. 如專利申請範圍第1項所述之影像疊合之方法，其中該第一演算法為最大穩定極值區域演算法。
  4. 如專利申請範圍第1項所述之影像疊合之方法，其中於疊合該第二影像及該第三影像，產生該第一疊合影像之前，該方法更包含： 以一邊緣偵測演算法處理該第二影像及該第三影像，產生邊緣偵測後之該第二影像及邊緣偵測後之該第三影像。
  5. 如專利申請範圍第1項所述之影像疊合之方法，其中該方法更包含： 以一第一攝像單元產生一第一色彩影像，一第二攝像單元產生一第二色彩影像，其中該第一色彩影像包含一第五影像及一第六影像，該第二色彩影像包含一第七影像及一第八影像； 以一第二演算法計算取得該第六影像之複數個第一穩定色彩區域及該第七影像之複數個第二穩定色彩區域；以及 當該些第一穩定色彩區域及該些第二穩定色彩區域互相匹配時，疊合該第六影像及該第七影像，產生一第二疊合影像，並顯示該第五影像、該第二疊合影像及該第八影像於該顯示單元。
  6. 如專利申請範圍第5項所述之影像疊合之方法，其中於取得該些第一穩定色彩區域及該些第二穩定色彩區域之步驟前，該方法更包含： 依據該第一攝像單元及該第二攝像單元之間之夾角將該第一色彩影像中與該第二色彩影像之重疊之部分設定為該第六影像，並將該第二色彩影像中與該第一色彩影像之重疊之部分設定為該第七影像。
  7. 如專利申請範圍第5項所述之影像疊合之方法，其中於疊合該第六影像及該第七影像，產生該第二疊合影像之前，該方法更包含： 以一邊緣偵測演算法處理該第六影像及該第七影像，產生邊緣偵測後之第六影像及邊緣偵測後之該第七影像。
  8. 如專利申請範圍第5項所述之影像疊合之方法，其中該第二演算法為最大穩定色彩區域演算法。
TW105114235A 2016-05-06 2016-05-06 Image overlay method TWI618644B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW105114235A TWI618644B (zh) 2016-05-06 2016-05-06 Image overlay method
US15/586,606 US20170323427A1 (en) 2016-05-06 2017-05-04 Method for overlapping images
DE102017109751.1A DE102017109751A1 (de) 2016-05-06 2017-05-05 Verfahren zur Überlappung von Bildern
CN201710312986.XA CN107399274B (zh) 2016-05-06 2017-05-05 影像叠合的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105114235A TWI618644B (zh) 2016-05-06 2016-05-06 Image overlay method

Publications (2)

Publication Number Publication Date
TW201739648A TW201739648A (zh) 2017-11-16
TWI618644B true TWI618644B (zh) 2018-03-21

Family

ID=60119216

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105114235A TWI618644B (zh) 2016-05-06 2016-05-06 Image overlay method

Country Status (4)

Country Link
US (1) US20170323427A1 (zh)
CN (1) CN107399274B (zh)
DE (1) DE102017109751A1 (zh)
TW (1) TWI618644B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6877115B2 (ja) * 2016-09-27 2021-05-26 株式会社東海理化電機製作所 車両用視認装置
TWI672670B (zh) * 2018-03-12 2019-09-21 Acer Incorporated 影像縫合方法及應用其的電子裝置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201105528A (en) * 2009-08-11 2011-02-16 Lan-Hsin Hao An improved driving monitor system and a monitor method of the improved driving monitor system
TWI342524B (en) * 2007-11-28 2011-05-21 Ind Tech Res Inst Method for constructing the image of structures
TW201319955A (zh) * 2011-08-31 2013-05-16 Metaio Gmbh 以參考特徵匹配影像特徵之方法
TW201327501A (zh) * 2011-12-27 2013-07-01 Automotive Res & Testing Ct 車用影像顯示系統及其校正方法
TW201329907A (zh) * 2012-01-09 2013-07-16 Altek Autotronics Corp 用於行動載具之影像擷取裝置及其影像疊合方法
JP2013196492A (ja) * 2012-03-21 2013-09-30 Toyota Central R&D Labs Inc 画像重畳処理装置、方法およびプログラム
TW201424678A (zh) * 2012-12-27 2014-07-01 Metal Ind Res & Dev Ct 定位裝置、影像疊合方法及影像投影系統
TWM509151U (zh) * 2015-04-22 2015-09-21 Univ Southern Taiwan Sci & Tec 行車影像擷取之清潔暨影像處理裝置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8538166B2 (en) * 2006-11-21 2013-09-17 Mantisvision Ltd. 3D geometric modeling and 3D video content creation
CN201792814U (zh) * 2010-06-09 2011-04-13 德尔福技术有限公司 全方位泊车辅助系统
KR20140006462A (ko) * 2012-07-05 2014-01-16 현대모비스 주식회사 안전운전 지원 장치 및 방법
CN102930525B (zh) * 2012-09-14 2015-04-15 武汉大学 基于仿射不变特征与单应矩阵的线匹配方法
CN103879351B (zh) * 2012-12-20 2016-05-11 财团法人金属工业研究发展中心 车用影像监视系统
CN104683706A (zh) * 2013-11-28 2015-06-03 财团法人金属工业研究发展中心 影像接合方法
US9984473B2 (en) * 2014-07-09 2018-05-29 Nant Holdings Ip, Llc Feature trackability ranking, systems and methods
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI342524B (en) * 2007-11-28 2011-05-21 Ind Tech Res Inst Method for constructing the image of structures
TW201105528A (en) * 2009-08-11 2011-02-16 Lan-Hsin Hao An improved driving monitor system and a monitor method of the improved driving monitor system
TW201319955A (zh) * 2011-08-31 2013-05-16 Metaio Gmbh 以參考特徵匹配影像特徵之方法
TW201327501A (zh) * 2011-12-27 2013-07-01 Automotive Res & Testing Ct 車用影像顯示系統及其校正方法
TW201329907A (zh) * 2012-01-09 2013-07-16 Altek Autotronics Corp 用於行動載具之影像擷取裝置及其影像疊合方法
JP2013196492A (ja) * 2012-03-21 2013-09-30 Toyota Central R&D Labs Inc 画像重畳処理装置、方法およびプログラム
TW201424678A (zh) * 2012-12-27 2014-07-01 Metal Ind Res & Dev Ct 定位裝置、影像疊合方法及影像投影系統
TWM509151U (zh) * 2015-04-22 2015-09-21 Univ Southern Taiwan Sci & Tec 行車影像擷取之清潔暨影像處理裝置

Also Published As

Publication number Publication date
DE102017109751A1 (de) 2017-11-09
TW201739648A (zh) 2017-11-16
CN107399274B (zh) 2020-12-01
CN107399274A (zh) 2017-11-28
US20170323427A1 (en) 2017-11-09

Similar Documents

Publication Publication Date Title
KR102344171B1 (ko) 화상 생성 장치, 화상 생성 방법, 및 프로그램
JP4872245B2 (ja) 歩行者認識装置
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
US8044781B2 (en) System and method for displaying a 3D vehicle surrounding with adjustable point of view including a distance sensor
US8199975B2 (en) System and method for side vision detection of obstacles for vehicles
TWI596361B (zh) Using structured light sensing barrier reversing warning method
JP6036065B2 (ja) 注視位置検出装置及び注視位置検出方法
EP3576973B1 (en) Method and system for alerting a truck driver
CN108621940B (zh) 车辆的显示系统及车辆的显示系统的控制方法
US20140168415A1 (en) Vehicle vision system with micro lens array
US20130286193A1 (en) Vehicle vision system with object detection via top view superposition
Kum et al. Lane detection system with around view monitoring for intelligent vehicle
US20210358304A1 (en) Vehicle vision system with cross traffic detection
EP2293588A1 (en) Method for using a stereovision camera arrangement
TWI596362B (zh) Method and system for detecting wheel slip within object distance using structured light
TWI688502B (zh) 用於警告車輛障礙物的設備
JP6629715B2 (ja) 車両用監視システム
KR20130058277A (ko) 원적외선 스마트 나이트 뷰를 위한 차선 정보 합성 장치 및 방법
TW201601955A (zh) 車用安全系統及其運作方法
TW201526638A (zh) 車用障礙物偵測顯示系統
JP2012247847A (ja) 車両用情報伝達制御装置、及び、情報伝達制御方法
TWI618644B (zh) Image overlay method
JP2017056909A (ja) 車両用画像表示装置
WO2014158081A1 (en) A system and a method for presenting information on a windowpane of a vehicle with at least one mirror
Wu et al. A vision-based collision warning system by surrounding vehicles detection