TWI693578B - 影像拼接處理方法以及其系統 - Google Patents

影像拼接處理方法以及其系統 Download PDF

Info

Publication number
TWI693578B
TWI693578B TW107137529A TW107137529A TWI693578B TW I693578 B TWI693578 B TW I693578B TW 107137529 A TW107137529 A TW 107137529A TW 107137529 A TW107137529 A TW 107137529A TW I693578 B TWI693578 B TW I693578B
Authority
TW
Taiwan
Prior art keywords
image
object image
camera module
stitching
distance
Prior art date
Application number
TW107137529A
Other languages
English (en)
Other versions
TW202016880A (zh
Inventor
賴長信
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW107137529A priority Critical patent/TWI693578B/zh
Priority to CN201811382439.XA priority patent/CN111091494B/zh
Priority to US16/288,652 priority patent/US10789677B2/en
Publication of TW202016880A publication Critical patent/TW202016880A/zh
Application granted granted Critical
Publication of TWI693578B publication Critical patent/TWI693578B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Vascular Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一種影像拼接處理方法，包括：透過第一攝像模組取得第一影像，其中第一攝像模組與參考平面具有第一距離；透過第二攝像模組取得第二影像，其中第二攝像模組與參考平面具有一第二距離，且第二距離不同於第一距離；根據既定比例縮放第二影像並與第一影像拼接以取得第三影像，其中上述第三影像具有一拼接線於上述第一影像與上述第二影像之間；判斷上述第三影像中對應於一物體之一物體影像是否至少接近或位於上述拼接線；辨識上述物體影像以產生一辨識信心值；響應於物體影像接近或位於上述拼接線並且響應於物體影像之辨識信心值小於第一既定值時，將標準物體影像覆蓋物體影像，以產生修改後的第三影像；以及輸出並顯示修改後的第三影像。

Description

影像拼接處理方法以及其系統
本發明係有關於一種影像處理方法以及其系統，特別是有關於應用在可將多張影像拼接成單一影像領域之影像拼接處理方法以及其系統。
先進駕駛輔助系統(Advanced Driver Assistance Systems,ADAS)為智慧車輛發展的目標之一，而為了提供駕駛人更寬廣的視角，拼接複數個視角不同的影像畫面為常用的技術手段。然而，於習知的拼接技術中，當物體為在兩個影像畫面的拼接線時，通常會造成拼接的影像中物體會發生顯示異常的呈現。因此，如何於拼接的影像畫面中提供正常的物體影像為目前所需解決之問題。
本發明一實施例提供一種影像拼接處理方法，包括：透過一第一攝像模組取得一第一影像，其中第一攝像模組與一參考平面具有一第一距離；透過一第二攝像模組取得一第二影像，其中第二攝像模組與參考平面具有一第二距離，且第二距離不同第一距離；根據一既定比例縮放第二影像並與第一影像拼接以取得一第三影像，其中上述第三影像具有一拼接線於上述第一影像與上述第二影像之間；判斷上述第三影像中對 應於一物體之一物體影像是否至少接近或位於上述拼接線；辨識上述物體影像以產生一辨識信心值；響應於物體影像接近或位於上述拼接線並且響應於物體影像之一辨識信心值小於一第一既定值時，將一標準物體影像覆蓋物體影像，以產生一修改後的第三影像；以及輸出並顯示修改後的第三影像。
本發明另一實施例提供一種影像拼接處理系統，包括一第一攝像模組、一第二攝像模組、一處理單元、一儲存單元以及一顯示單元。第一攝像模組用以取得一第一影像，其中第一攝像模組與一參考平面具有一第一距離。第二攝像模組用以取得一第二影像，其中第二攝像模組與參考平面具有一第二距離，且第二距離不同於第一距離。處理單元用以自第一攝像模組以及第二攝像模組接收第一影像以及第二影像、根據一既定比例縮放第二影像並與第一影像拼接以取得一第三影像，其中上述第三影像具有一拼接線於上述第一影像與上述第二影像之間。處理單元更判斷上述第三影像中對應於一物體之一物體影像是否至少接近或位於上述拼接線且辨識上述物體影像以產生一辨識信心值處理單元更響應於物體影像接近或位於拼接線並且響應於物體影像之辨識信心值小於一第一既定值時，將一標準物體影像覆蓋物體影像，以產生一修改後的第三影像。儲存單元用以儲存標準物體影像。顯示單元用以顯示修改後的第三影像。
本發明另一實施例提供一種影像拼接處理方法，包括：取得一第一影像與一第二影像，其中第一影像與第二影像相鄰接或至少有一部分影像內容相重疊；根據一比例縮放第 一影像與第二影像之至少其一，並將縮放後之第一影像與第二影像拼接以取得一第三影像，其中第三影像具有一拼接線於第一影像與第二影像之間；判斷第三影像中一物體影像是否位於拼接線；辨識物體影像以產生一辨識信心值；以及響應於物體影像位於拼接線並且響應於物體影像之辨識信心值小於一第一既定值時，將一標準物體影像覆蓋物體影像，以產生一修改後的第三影像；以及輸出並顯示修改後的第三影像。
根據本發明一實施例，處理單元更於第二影像中定義未與第一影像重疊之一目標區域，並根據目標區域對應地裁切出一第二子影像、根據既定比例放大上述第二子影像以取得一修改後的第二影像以及拼接第一影像與修改後的第二影像以取得第三影像。在本發明一實施例中，處理單元自拼接線向兩側等距展開而定義出一觀測區域；以及判斷上述物體影像是否進入上述觀測區域，以決定第三影像中之物體影像是否至少接近拼接線。
根據本發明另一實施例，其中響應於對應於物體影像至少接近或位於上述拼接線時，處理單元更計算對應於物體影像之辨識信心值，以及響應於辨識信心值大於一第二既定值時，處理單元更將對應之一當前物體影像儲存為標準物體影像。
根據本發明另一實施例，第一攝像模組以及第二攝像模組設置於一交通工具上，以及響應於交通工具之一當前車速大於一預設速度時，處理單元更停止計算對應於物體影像之辨識信心值及/或停止將標準物體影像覆蓋物體影像。
本發明一些實施例所述之影像拼接處理方法以及其系統，透過物體影像於二個或多個攝影模組所擷取並拼接的拼接影像中較完整呈現時，事先將其擷取並儲存至儲存單元中，並於物體影像之後處於拼接線或拼接線附近，且發生拼接物體影像顯示異常時，再將完整的物體影像自儲存單元取出，以覆蓋變形的物體影像，以避免使用者因為變形的物體影像而作出不正確的判斷。
100‧‧‧影像拼接處理系統
101‧‧‧第一攝像模組
102‧‧‧第二攝像模組
103‧‧‧處理單元
104‧‧‧儲存單元
105‧‧‧顯示單元
106‧‧‧測速單元
301‧‧‧方格
305‧‧‧汽車車身影像
310‧‧‧第一影像
310’‧‧‧對應於第一影像之第一觀測子區域
320‧‧‧第二影像
410‧‧‧目標區域
420‧‧‧修改後的第二影像
420’‧‧‧對應於第二影像之第二觀測子區域
501‧‧‧拼接線
510‧‧‧第三影像
510’‧‧‧修改後的第三影像
550‧‧‧觀測區域
A1‧‧‧第一影像與第二影像重複之區域
D1‧‧‧第一攝像模組與參考平面之距離
D2‧‧‧第二攝像模組與參考平面之距離
D3‧‧‧汽車前進方向
h1~h7‧‧‧物體之高度
O1‧‧‧進入觀測區域之物體
O1’、O1”‧‧‧物體之一部分
S1‧‧‧參考平面
S901~S911‧‧‧步驟流程
L‧‧‧長度
P1、P2、P3、P4‧‧‧座標
810‧‧‧物體影像
820‧‧‧標準物體影像
第1圖係顯示根據本發明一實施例所述之影像拼接處理系統之系統架構圖。
第2A、2B圖係顯示根據本發明一實施例所述之第一攝像模組以及第二攝像模組之設置示意圖。
第3圖係顯示根據本發明一實施例所述之第一攝像模組以及第二攝像模組所取得之影像之示意圖。
第4A、4B圖係顯示根據本發明一實施例所述之於第二影像中取出未與第一影像重疊之區域之示意圖。
第5圖係顯示根據本發明一實施例所述之拼接後的第三影像之示意圖。
第6A、6B圖係顯示根據本發明一實施例所述之物體影像變形之示意圖。
第7A、7B圖係顯示根據本發明另一實施例所述之物體影像變形之示意圖。
第8A、8B圖係顯示根據本發明另一實施例所述之物體影 像變形與調整之示意圖。
第9圖係顯示根據本發明一實施例所述之影像拼接處理方法之流程圖。
有關本發明實施例之影像拼接處理系統以及其方法適用之其他範圍將於接下來所提供之詳述中清楚易見。必須了解的是下列之詳述以及具體之實施例，當提出有關過影像拼接處理系統以及其方法之示範實施例時，僅作為描述之目的以及並非用以限制本發明之範圍。
第1圖係顯示根據本發明一實施例所述之影像拼接處理系統之系統架構圖。根據本發明一些實施例，影像拼接處理系統100可實施於例如行車電腦中，但亦可以是具有多鏡頭而用來進行中央控制或是監控或是紀錄的任何電子裝置中，且至少包含一第一攝像模組101、一第二攝像模組102、一處理單元103、一儲存單元104、一顯示單元105，並可選擇性地包含一測速單元106。第一攝像模組101以及第二攝像模組102為可擷取連續影像之攝影機和/或相機或是具備電荷耦合元件(CCD,Charge Coupled Device)或互補性氧化金屬半導體(CMOS,Complementary Metal-Oxide Semiconductor)或其它任何可見或不可見光的光感應裝置等，於本發明以下實施例中係以可見光攝影機為範例作說明。在某些實施例中，第一攝像模組101與第二攝像模組102設置於相對於一參考平面為不同平面，而與該參考平面具有不同距離，並朝向同一方向拍攝或至少各自的視野(FOV,Field of View)會有一部分相重疊，並將所 取得的影像回傳至處理單元103。
舉例來說，如第2A圖所示，於第一攝像模組101以及第二攝像模組102設置於同一台交通工具(於本發明之實施例中係以汽車作為示例)上時，第一攝像模組101可設置於車尾中央之位置(距離一參考平面S1具有一第一距離D1)，而第二攝像模組102則可設置於一後照鏡之位置(距離參考平面S1具有一第二距離D2)，即第二距離D2大於第一距離D1，且兩者皆朝向汽車後方之方向拍攝(D3為汽車前進之方向)。
處理單元103可透過多種方式實施，例如以專用硬體電路或者通用硬體(例如，單一處理器、具平行處理能力之多處理器、圖形處理器或者其它具有運算能力之處理器)，且於執行與本發明實施例之流程有關之程式碼或者軟體時，提供之後所描述的功能。
儲存單元104可為硬碟、快閃記憶體、動態存取記憶體、電子可抹除唯讀記憶體等或是包含上述二個或二個以上而至少可寫入資料的揮發性或非揮發性儲存裝置，用以儲存第一攝像模組101以及第二攝像模組102所取得之影像、經處理單元103處理的影像、執行過程中所需要的資料以及各式各樣的電子檔案及運算方程式等。顯示單元105可為顯示面板(例如，薄膜液晶顯示面板、有機發光二極體面板或者其它具顯示能力的面板)，用以顯示經處理單元103處理的影像，以提供給使用者觀看。在某些實施例中，影像拼接處理系統100更可包括一影像處理單元(未顯示)，設置於第一攝像模組101、第二攝像模組102以及處理單元103之間，用以於第一攝像模組101 以及第二攝像模組102將影像傳至處理單元103之前，對影像進行前處理(例如對原始影像進行3A處理，其中3A分別為自動對焦(Auto Focus)、自動白平衡(Auto Balance)以及自動曝光(Auto Exposure))。此外，於某些實施例中，影像拼接處理系統100更可包括一測速單元106，測速單元106用以偵測交通工具(例如汽車)的當前車速。
值得注意的是，於第二攝像模組102設置於後照鏡之位置時，若第二攝像模組102朝垂直於參考平面S1之方向進行拍攝，可能大部分的影像會為汽車的車身(如第2A圖所示)。因此，於設置第二攝像模組102時，可如第2B圖所示，將第二攝像模組102之拍攝方向偏向汽車之外側，以避免第二攝像模組102所取得之影像包含太多車身的影像。此外，於第二攝像模組102以第2B圖之方式設置時，由於其所取得之影像可能會產生歪斜的情況，因此於處理單元103進行影像拼接之前，可透過前述之影像處理單元或者處理單元103對第二攝像模組102所輸出的影像進行額外的影像校正(image rectification)，透過適當地扭曲第二影像以修正因拍攝方向歪斜所帶來的影像失真，避免最後產生的影像畫面不協調。本發明實施例可採用自己發展或是各種已公開或習知的影像校正技術，且以下各實施例中所稱第二攝像模組102所輸出的第二影像320係指已經過上述影像校正後的影像。
第3圖係顯示根據本發明一實施例所述之第一攝像模組以及第二攝像模組所取得之影像之示意圖。第一攝像模組101以及第二攝像模組102之設置係如同第2B圖所示。如第3 圖所示，第一影像310為第一攝像模組101所取得之影像，以及第二影像320為第二攝像模組102所取得之影像。如第2B圖所示，由於第二攝像模組之拍攝範圍有一部分被汽車車身擋住，故於第二影像中具有如第3圖中斜線區域305所示之一部分汽車車身。由於第一攝像模組101與第二攝像模組102與參考平面S1之距離不同，故於所取得之影像中對應於相同物體之影像會有大小不一之問題。舉例來說，響應於物體與攝像模組的距離越來越近時，物體影像在整張影像中所佔的像素數量將越來越多。反之，響應於物體與攝像模組的距離越來越遠時，物體影像在整張影像中所佔的像素數量將越來越少。例如如第3圖中所示，假設參考平面S1具有複數個大小相同的方格301，而因為第一影像310為透過第一攝像模組101取得以及第二影像320為透過第二攝像模組102取得，因此實際上大小相同的方格301在第一影像310以及第二影像320中之大小並不相同，即在第一影像310中方格301所對應之尺寸將大於在第二影像320中方格301所對應之尺寸。然而，若處理單元103將第一影像310以及第二影像320直接拼接時，將會有物體影像尺寸不一致以及拍攝範圍重疊的問題。因此，為了解決上述之問題，於拼接兩張影像之前，將以第一影像310為基準，於第二影像320中取出未與第一影像310重疊(且較佳者為相鄰於第一影像310)且經放大後高度會與第一影像310高度相同之目標區域，以使得出現在兩張影像中的方格310的尺寸相同(或儘可能相同)。或者，於另一實施例中，於取得前述之目標區域後，亦可以第二影像320為基準，對第一影像310進行縮小，以使得其高度與第二影像320所 取得之高度相同。
第4A、4B圖係顯示根據本發明一實施例所述之於第二影像中取出未與第一影像重疊但相鄰之目標區域之示意圖。於此一實施例中，第一攝像模組101以及第二攝像模組102之配置係採用第2B圖所示之配置，即第一攝像模組101以及第二攝像模組102拍攝範圍具有一重疊的拍攝寬度A1，且第一攝像模組101所對應之第一距離D1小於第二攝像模組所對應之第二距離D2。換言之，相較於第一攝像模組101所取得之第一影像310，第二攝像模組102所取得之第二影像320中所包含的物體影像尺寸較小但所對應之拍攝範圍較大。此外，於此一實施例中，由於第二影像320為基於第一影像310進行放大，因此處理單元103於拼接時將不改變第一影像310之顯示內容，而僅對第二影像320進行裁切以及放大。亦即，由於第二影像320中對應於相同物體的影像尺寸比第一影像310小，因此必須根據一既定比例放大第二影像320中的顯示內容。其中，既定比例係為第二距離D2與第一距離D1之比例。然而，為了使得放大後的高度會與第一影像310的高度相同，處理單元103必須對第二影像的高度進行裁切。舉例來說，如第3圖所示，由於位於第二影像320中方格301之尺寸經放大既定比例後才會與第一影像310中方格301之尺寸相同，因此將第一影像310之高度H除以既定比例將可求得第二影像中欲放大之區域之高度。舉例來說，如第4A圖所示，第二影像320中目標區域410所對應之高度h1即為第一影像310之高度H除以既定比例所求得之高度，而對應於高度h1以外的影像將被刪除。此外，根據第一影像310中的 顯示內容，處理單元103將可求出與第一影像310之左半部之顯示內容拼接之部分。而目標區域410之長度1為對應於車子後方的視野寬度，因此其可根據使用者之需求進行調整。第4B圖係顯示修改後的第二影像420。換言之，製造商或服務商或使用者可以預先針對第二影樣320要裁切的目標區域410範圍進行座標設定，例如設定要裁切的目標區域410為座標P1,P2,P3,P4所框選之範圍，故不論第二影像320內容如何改變，處理單元103均固定裁切此P1~P4範圍內的影像作為修改後的第二影像420。
第5圖係顯示根據本發明一實施例所述之拼接後的第三影像之示意圖。於取得修改後的第二影像420後，處理單元103將修改後的第二影像與第一影像310拼接以取得一第三影像510。其中，由於第二攝像模組102係位於第一攝像模組101之左側(基於第一攝像模組101以及第二攝像模組102之拍攝方向)，因此於拼接時修改後的第二影像係位於左側而第一影像310係位於右側。但是值得一提的是，如拼接的第三影像510是要呈現或模擬車內後視鏡所顯示的後視影像供使用者觀看，則此拼接後的第三影像還要再經過左右倒置的影像處理，在此先不考慮此種狀況而僅以簡便拼接方式作說明。
然而，由於出現於汽車後方之物體並不一定會剛好出現在參考平面S1所對應之平面上，因此對於第二攝像模組102所取得之影像而言，於套用參考平面S1所對應之既定比例進行放大後，物體影像之大小並不會與第一影像所對應之大小相同，故仍會產生物體大小不一致之問題。舉例來說，響應於 物體出現在參考平面S1與汽車之間時，由於物體與第二攝像模組102之距離小於第二攝像模組102與參考平面S1之距離，因此參考平面S1所對應之放大比例對物體而言將太大，使得修改後的第二影像420中的物體尺寸會大於第一子影像310中的物體尺寸。反之，響應於物體出現於參考平面S1之後時，由於物體與攝像模組101之距離大於第二攝像模組102與參考平面S1之距離，因此參考平面S1所對應之放大比例對物體而言將太小，使得修改後的第二影像420中的物體尺寸則會小於第一子影像310中的物體尺寸。由於響應於物體並未剛好出現在參考平面S1上時，會使得物體在第一影像中的尺寸以及在修改後的第二影像中的尺寸不一致，因此本發明實施例所使用之技術手段為透過對經過拼接線501之物體影像進行取代，以避免第三影像510中出現變形的物體影像，進而使得駕駛人無法根據物體影像正確地進行對應之反應。詳細而言，如第5圖所示，於本發明一實施例中，首先，我們可以自拼接線501向兩側展開而預先定義出一觀測區域550，觀測區域550係由對應於第一影像310之一第一觀測子區域310’與對應於修改後的第二影像420之一第二觀測子區域420’所構成，且第一觀測子區域310’與第二觀測子區域420’寬度相當並對稱於拼接線501。
第6A、6B圖係顯示根據本發明一實施例所述之物體影像變形之示意圖。於此一實施例中，物體O1係出現於參考平面S1的後方。如第6A圖所示，當物體O1自第一攝像模組101之拍攝範圍進入第二攝像模組102之拍攝範圍時，由於參考平面S1所對應之放大比例對位於第二攝像模組102之拍攝範圍之 物體而言太小，因此響應於其自第一攝像模組101之拍攝範圍進入第二攝像模組102之拍攝範圍時(即與拼接線501相交後)，其所對應之物體影像高度將自h2縮小為h3，即物體O1將被分為兩個部分O1'以及O1"，且進入第二攝像模組102之拍攝範圍之一部分O1"將被縮小。反之，如第7A、7B圖所示，響應於同一物體自第二攝像模組102之拍攝範圍進入第一攝像模組101之拍攝範圍時，物體O1同樣地會被分為兩個部分O1'以及O1"，而進入第一攝像模組101之拍攝範圍之一部分O1'將被放大，即其所對應之物體影像高度將自h4放大為h5。
然而，為了避免前述變形之影像造成顯示畫面的不協調，因此響應於物體影像開始變形時，處理單元103將變形的物體影像以完整的物體影像取代之。舉例來說，響應於物體影像出現於觀測區域550中時，處理單元103即計算對應於物體之辨識信心值(此代表與包含各種影像辨識成功率之指標)。於實施本發明實施例所述之影像拼接處理系統前，使用者係可先透過處理單元103藉由一機器學習演算法訓練一物體辨識模組(例如Tiny YOLO)，使得處理單元103可透過物體辨識模組取得出現在影像中的物體的辨識信心值。在某些實施例中，YOLO的概念為將一張圖片切割成複數個大小相同的方格，每個方格以自己為中心點各自去判斷多個周圍方格中包含物體的辨識信心值跟種類。換言之，響應於相同物體被取得的特徵越多，則其對應之辨識信心值則越高。而響應於物體之辨識信心值大於一既定值(第二既定值)(例如0.9)時，表示大部分的物體已出現於觀測區域550，則處理單元103將擷取當前物體 影像以作為一標準物體影像，並將其儲存至儲存單元104中。舉例來說，如第6A圖或第7A圖所示，由於大部分的物體O1出現在第一觀測子區域310’中或者第二觀測子區域420’中，處理單元103儲存對應於物體O1之標準物體影像。其中，於取得標準物體影像時，處理單元103將對原本的物體影像進行背景去除的動作，並根據其物體的高度以及寬度將物體影像修補為矩形，以於覆蓋物體影像時，可直接根據其高度以及寬度對標準影像之尺寸進行調整並直接進行覆蓋。
如第8A圖所示，響應於物體與拼接線501相交，進而導致物體開始產生形變時，其所對應之辨識信心值將開始降低。而響應於物體影像之辨識信心值低於另一既定值(第一既定值)(例如0.6)時，表示物體影像可能會影響使用者的判斷，處理單元103即將標準物體影像取代變形的物體影像。其中，第一既定值之設定可根據使用者之需求而被調整，並非以本發明為限。響應於標準物體影像取代變形的物體影像時，其高度將隨當前物體影像之高度調整。舉例來說，響應於物體自第二觀測子區域420’向右移動至第一觀測子區域310’時，由於處理單元103所儲存的標準物體影像應擷取自第二觀測子區域420’，即標準物體影像之高度應為h6。而當處理單元103欲用標準物體影像覆蓋變形的物體影像時，則必須根據變形的物體影像之最大高度(即h7)對標準物體影像進行調整。換言之，處理單元103必須根據最大高度h7與高度h6之比例將整個標準物體影像放大，以取得一經調整的標準物體影像，並將經調整的物體影像覆蓋於已變形的物體影像810(即對應於寬度L1之一部分 物體將被整個覆蓋)上，以變成如第8B圖所示之標準物體影像820，並產生修改後的第三影像510’。反之，響應於物體自第一觀測子區域310’向左移動至第二觀測子區域420’時，由於處理單元103所儲存的標準物體影像應擷取自第一觀測子區域310’，即標準物體影像之高度應為h7。而響應於處理單元103欲用標準物體影像覆蓋變形的物體影像時，由於變形的物體影像的高度為縮小為h6，即原本對應於高度h7之標準物體影像可完整地覆蓋變形的物體，則處理單元103不須調整標準物體影像，而直接將標準物體影像覆蓋變形的物體影像即可。
根據本發明一些實施例，處理單元103更可於辨識信心值小於第一既定值時(經驗上，通常係發生在物體進入觀測區域550時)，即將標準物體影像覆蓋於原本之影像上(無論物體影像是否與拼接線501相交)。或者根據本發明另一些實施例，處理單元103可於物體影像與拼接線501相交、且辨識信心值小於第一既定值時，才將標準物體影像覆蓋於原本之影像上。此外，於某些實施例中，為了避免物體影像與標準物體影像過於頻繁地切換，響應於影像拼接處理系統之一測速單元偵測到交通工具(例如汽車)的當前車速大於一預設速度時，處理單元103將停止判斷物體影像之辨識信心值，並同時停止取代的動作。此外，處理單元103亦可不用等到物體影像進入觀測區域550後才開始計算其辨識信心值。換言之，在物體影像出現在第三影像510之任一處時，處理單元103即開始計算其辨識信心值，並儲存辨識信心值高於第二既定值所對應之影像，且標準物體影像更可根據其辨識信心值之上升而不斷地更新。或者， 於另一些實施例中，標準物體影像亦可以固定的模板替代之。
第9圖係顯示根據本發明一實施例所述之影像拼接處理方法之流程圖。首先，於步驟S901，第一攝像模組101取得第一影像以及第二攝像模組102取得第二影像。其中，第一攝像模組101以及第二攝像模組102係設置於相對於參考平面S1之不同平面上，而分別與參考平面S1具有不同之距離。於步驟S902，處理單元103於取得第二影像後，先於第二影像中定義出目標區域410。由於第一攝像模組101以及第二攝像模組102與參考平面S1具有不同之距離，因此兩者所取得之影像中對應於相同物體之影像尺寸之大小並不會相同，故於步驟S903，處理單元103將根據既定比例放大目標區域410以取得修改後的第二影像，使得目標區域410之顯示內容之大小大致上與第一影像之顯示內容大小相同。其中，既定比例於本實施例中係取決於參考平面S1對應於第二攝像模組102之第二距離D2與對應於第一攝像模組101之第一距離D1之比值。於取得修改後的第二影像後，於步驟S904，處理單元103更拼接第一影像以及修改後的第二影像以取得第三影像。
於步驟S905，為了進一步地對經過拼接線的物體影像進行處理，處理單元103更於第三影像中對應於拼接線之兩側定義觀測區域。於步驟S906，處理單元103判斷是否有對應於物體之物體影像進入觀測區域中。而響應於物體影像出現於觀測區域中時，進入步驟S907，處理單元103透過物體辨識模組計算對應於物體之辨識信心值。其中，響應於物體影像被取得之特徵越多時(即物體越完整)，其辨識信心值越高。於 步驟S908，處理單元103判斷辨識信心值是否大於第二既定值。響應於辨識信心值大於既定值時，進入步驟S909，處理單元103自第一影像或者修改後的第二影像中擷取當前的物體影像，並將其儲存為標準物體影像。於步驟S910，處理單元103判斷物體影像之辨識信心值是否小於第一既定值。響應於物體影像之辨識信心值小於第一既定值時，表示物體影像可能已產生變形，則進入步驟S911，處理單元103自儲存單元104存取標準物體影像，並將標準物體影像覆蓋於物體影像上。其中，於處理單元103將標準物體影像覆蓋變形的物體影像前，將根據變形的物體影像之最大高度對標準物體影像進行調整，使得標準物體影像可完整地覆蓋變形的物體影像。
前述各實施例的說明係基於第1圖與第2A圖中以第一攝像模組101攝取的第一影像與第二攝像模組102攝取的第二影像一共2張影像進行拼接為第三影像為例說明。惟本發明不限於此，在實際應用上，例如車輛之交通工具，將可於左後視鏡與右後視鏡均分別裝設有第二攝像模組102，因此將會有位於中央之第一影像與位於左、右二側之二第二影像進行拼接形成第三影像。當然，在其它應用中，本發明也可以應用在更多張影像的拼接處理上。
綜上所述，根據本發明一些實施例所述之影像拼接處理方法以及其系統，透過物體影像於二個或多個攝影模組所擷取並拼接的拼接影像中較完整呈現時，事先將其擷取並儲存至儲存單元中，並於物體影像之後處於拼接線或拼接線附近，且發生拼接物體影像顯示異常時，再將完整的物體影像自儲存 單元取出，以覆蓋變形的物體影像，以避免使用者因為變形的物體影像而作出不正確的判斷。
以上敘述許多實施例的特徵，使所屬技術領域中具有通常知識者能夠清楚理解本說明書的形態。所屬技術領域中具有通常知識者能夠理解其可利用本發明實施例揭示內容為基礎以設計或更動其他製程及結構而完成相同於上述實施例的目的及/或達到相同於上述實施例的優點。所屬技術領域中具有通常知識者亦能夠理解不脫離本發明之精神和範圍的等效構造可在不脫離本發明之精神和範圍內作任意之更動、替代與潤飾。
S901~S911‧‧‧步驟流程

Claims (17)

  1. 一種影像拼接處理方法，包括：透過一第一攝像模組取得一第一影像，其中上述第一攝像模組與一參考平面具有一第一距離；透過一第二攝像模組取得一第二影像，其中上述第二攝像模組與上述參考平面具有一第二距離，且上述第二距離不同於上述第一距離；根據一既定比例縮放上述第二影像並與上述第一影像拼接以取得一第三影像，其中上述第三影像具有一拼接線於上述第一影像與縮放後之上述第二影像之間；判斷上述第三影像中對應於一物體之一物體影像是否至少接近或位於上述拼接線；辨識上述物體影像以產生一辨識信心值；響應於上述物體影像接近或位於上述拼接線並且響應於上述物體影像之上述辨識信心值小於一第一既定值時，將一標準物體影像覆蓋上述物體影像，以產生一修改後的第三影像；以及輸出並顯示上述修改後的第三影像。
  2. 如申請專利範圍第1項所述之影像拼接處理方法，其中判斷上述第三影像中之上述物體影像是否至少接近或位於上述拼接線的步驟係包括：自拼接線向兩側等距展開而定義出一觀測區域；以及判斷上述物體影像是否進入上述觀測區域。
  3. 如申請專利範圍第1項所述之影像拼接處理方法，其 中根據上述既定比例縮放上述第二影像以與上述第一影像拼接以取得上述第三影像之步驟更包括：於上述第二影像中定義未與上述第一影像重疊之一目標區域，並根據上述目標區域對應地裁切出一第二子影像；根據上述既定比例放大上述第二子影像以取得一修改後的第二影像；以及拼接上述第一影像與上述修改後的第二影像以取得上述第三影像。
  4. 如申請專利範圍第1項所述之影像拼接處理方法，其中上述既定比例為上述第二距離與上述第一距離之一比值。
  5. 如申請專利範圍第1項所述之影像拼接處理方法，更包括：響應於對應於上述物體影像至少接近或位於上述拼接線時，計算對應於上述物體影像之上述辨識信心值；以及響應於上述辨識信心值大於一第二既定值時，將對應之一當前物體影像儲存為上述標準物體影像。
  6. 如申請專利範圍第1項所述之影像拼接處理方法，其中響應於上述物體影像接近或位於上述拼接線並且響應於上述物體影像之上述辨識信心值小於上述第一既定值時，將上述標準物體影像覆蓋上述物體影像之步驟更包括：根據上述物體影像對應於上述第一影像之一部份的高度調整上述標準物體影像的高度，以取得一經調整的標準 物體影像，其中上述經調整的標準物體影像之上述高度等於對應於上述第一影像之上述部份之上述高度；以及將上述經調整的標準物體影像覆蓋上述物體影像。
  7. 如申請專利範圍第1項所述之影像拼接處理方法，其中上述第一攝像模組以及上述第二攝像模組設置於一交通工具上，以及上述影像拼接處理方法更包括：響應於上述交通工具之一當前車速大於一預設速度時，停止計算對應於上述物體影像之上述辨識信心值及/或停止將上述標準物體影像覆蓋上述物體影像。
  8. 如申請專利範圍第1項所述之影像拼接處理方法，其中當上述第二距離大於上述第一距離時，根據上述既定比例對應地放大上述第二影像並與上述第一影像拼接以取得上述第三影像。
  9. 一種影像拼接處理系統，包括：一第一攝像模組，用以取得一第一影像，其中上述第一攝像模組與一參考平面具有一第一距離；一第二攝像模組，用以取得一第二影像，其中上述第二攝像模組與上述參考平面具有一第二距離，且上述第二距離不同於上述第一距離；一處理單元，用以：自上述第一攝像模組以及上述第二攝像模組接收上述第一影像以及上述第二影像；根據一既定比例縮放上述第二影像並與上述第一影像拼接以取得一第三影像，其中上述第三影像具有一拼 接線於上述第一影像與縮放後之上述第二影像之間；判斷上述第三影像中對應於一物體之一物體影像是否至少接近或位於上述拼接線；辨識上述物體影像以產生一辨識信心值；以及響應於上述物體影像接近或位於上述拼接線並且響應於上述物體影像之上述辨識信心值小於一第一既定值時，將一標準物體影像覆蓋上述物體影像，以產生一修改後的第三影像；一儲存單元，用以儲存上述標準物體影像；以及一顯示單元，用以顯示上述修改後的第三影像。
  10. 如申請專利範圍第9項所述之影像拼接處理系統，其中上述處理單元自拼接線向兩側等距展開而定義出一觀測區域，並判斷上述物體影像是否進入上述觀測區域。
  11. 如申請專利範圍第9項所述之影像拼接處理系統，其中上述處理單元更於上述第二影像中定義未與上述第一影像重疊之一目標區域，並根據上述目標區域對應地裁切出一第二子影像、根據上述既定比例縮放上述第二子影像以取得一修改後的第二影像以及拼接上述第一影像與上述修改後的第二影像以取得上述第三影像。
  12. 如申請專利範圍第9項所述之影像拼接處理系統，其中上述既定比例為上述第二距離與上述第一距離之一比值。
  13. 如申請專利範圍第9項所述之影像拼接處理系統，其中： 響應於對應於上述物體影像至少接近或位於上述拼接線時，上述處理單元更計算對應於上述物體影像之上述辨識信心值；以及響應於上述辨識信心值大於一第二既定值時，上述處理單元更將對應之一當前物體影像儲存為上述標準物體影像。
  14. 如申請專利範圍第9項所述之影像拼接處理系統，其中上述處理單元更根據上述物體影像對應於上述第一影像之一部份的高度調整上述標準物體影像的高度，以取得一經調整的標準物體影像，以及將上述經調整的標準物體影像覆蓋上述物體影像，其中上述經調整的標準物體影像之上述高度等於對應於上述第一影像之上述部份之上述高度。
  15. 如申請專利範圍第9項所述之影像拼接處理系統，其中上述第一攝像模組以及上述第二攝像模組設置於一交通工具上，以及響應於上述交通工具之一當前車速大於一預設速度時，上述處理單元更停止計算對應於上述物體影像之上述辨識信心值及/或停止將上述標準物體影像覆蓋上述物體影像。
  16. 如申請專利範圍第9項所述之影像拼接處理系統，其中上述處理單元當上述第二距離大於上述第一距離時，根據上述既定比例對應地放大上述第二影像並與上述第一影像拼接以取得上述第三影像。
  17. 一種影像拼接處理方法，包括： 取得一第一影像與一第二影像，其中上述第一影像與上述第二影像相鄰接或至少有一部分影像內容相重疊；根據一比例縮放上述第一影像與上述第二影像之至少其一，並將縮放後之上述第一影像與上述第二影像拼接以取得一第三影像，其中上述第三影像具有一拼接線於上述第一影像與縮放後之上述第二影像之間；判斷上述第三影像中一物體影像是否位於上述拼接線；辨識上述物體影像以產生一辨識信心值；以及響應於上述物體影像位於上述拼接線並且響應於上述物體影像之上述辨識信心值小於一第一既定值時，將一標準物體影像覆蓋上述物體影像，以產生一修改後的第三影像；以及輸出並顯示上述修改後的第三影像。
TW107137529A 2018-10-24 2018-10-24 影像拼接處理方法以及其系統 TWI693578B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107137529A TWI693578B (zh) 2018-10-24 2018-10-24 影像拼接處理方法以及其系統
CN201811382439.XA CN111091494B (zh) 2018-10-24 2018-11-20 影像拼接处理方法以及其系统
US16/288,652 US10789677B2 (en) 2018-10-24 2019-02-28 Image stitching processing method and system thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107137529A TWI693578B (zh) 2018-10-24 2018-10-24 影像拼接處理方法以及其系統

Publications (2)

Publication Number Publication Date
TW202016880A TW202016880A (zh) 2020-05-01
TWI693578B true TWI693578B (zh) 2020-05-11

Family

ID=70327477

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107137529A TWI693578B (zh) 2018-10-24 2018-10-24 影像拼接處理方法以及其系統

Country Status (3)

Country Link
US (1) US10789677B2 (zh)
CN (1) CN111091494B (zh)
TW (1) TWI693578B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI726411B (zh) * 2019-09-06 2021-05-01 宏碁股份有限公司 影像縫合裝置及其操作方法
TWI739548B (zh) * 2020-08-14 2021-09-11 中華電信股份有限公司 車種辨識方法及系統
TWI766434B (zh) * 2020-11-12 2022-06-01 大陸商星宸科技股份有限公司 影像拼接裝置、影像處理晶片及影像拼接方法
CN113205458A (zh) * 2021-05-28 2021-08-03 上海扩博智能技术有限公司 弱纹理叶片拼接方法、系统、设备及介质
CN114913064B (zh) * 2022-03-15 2024-07-02 天津理工大学 基于结构保持和多对多匹配的大视差图像拼接方法及装置
CN118514641A (zh) * 2024-07-23 2024-08-20 宁波明讯实业有限公司 一种卷带筒的修复方法及卷带筒

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250046A1 (en) * 1996-05-22 2013-09-26 Donnelly Corporation Multi-camera vision system for a vehicle
TW201511992A (zh) * 2013-09-23 2015-04-01 Hu Lane Associate Inc 用於汽車駕駛艙之視野安全輔助裝置
US20150130942A1 (en) * 2012-05-22 2015-05-14 Mitsubishi Electric Corporation Image processing device
TW201605247A (zh) * 2014-07-30 2016-02-01 國立臺灣大學 影像處理系統及方法
TWI600559B (zh) * 2015-11-08 2017-10-01 歐特明電子股份有限公司 用於影像處理之系統及方法
TW201804788A (zh) * 2016-07-27 2018-02-01 合盈光電科技股份有限公司 環景影像校正系統及其方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2799943B2 (ja) * 1993-06-18 1998-09-21 謙二 松井 空間認識装置，車両の危険状態検知装置，盲人用危険状態警告装置および盲人用歩行補助装置ならびに空間認識方法
DE19639854A1 (de) * 1996-09-27 1998-06-10 Vitronic Dr Ing Stein Bildvera Verfahren und Vorrichtung zur Erfassung von auf potentiell großflächigen Gegenständen aufgebrachten, optisch erfaßbaren Informationen
JP2007022176A (ja) * 2005-07-13 2007-02-01 Auto Network Gijutsu Kenkyusho:Kk 車両周辺視認装置
CN101075295B (zh) * 2006-05-16 2012-01-25 崴擎科技股份有限公司 被动式及交互式实时影像辨识方法
JP4771887B2 (ja) * 2006-08-09 2011-09-14 ▲うぇ▼▲ちん▼科技股▲ふん▼有限公司 受動式及びインタラクティブ式の即時影像認識方法
WO2010025309A1 (en) * 2008-08-28 2010-03-04 Zoran Corporation Robust fast panorama stitching in mobile phones or cameras
TWI395047B (zh) * 2008-12-23 2013-05-01 Asia Optical Co Inc 自動對焦方法以及使用該方法之影像擷取裝置
CN102136069A (zh) * 2010-01-25 2011-07-27 华晶科技股份有限公司 用于辨识的对象影像校正装置与其方法
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
CN102897094A (zh) * 2012-08-22 2013-01-30 广东好帮手电子科技股份有限公司 一种基于中央后视镜的汽车防盗处理方法及中央后视镜
TW201416997A (zh) * 2012-10-19 2014-05-01 Nanoplus Technology Inc 行車影像辨識裝置及其方法
IES20120509A2 (en) * 2012-11-27 2014-06-04 Digitaloptics Corp Europe Ltd Digital image capture device having a panorama mode
CN103247030A (zh) * 2013-04-15 2013-08-14 丹阳科美汽车部件有限公司 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法
TWI504859B (zh) * 2013-05-08 2015-10-21 Kd Internat Co Ltd 拍攝並拼接物件影像的方法
WO2016160862A1 (en) * 2015-04-01 2016-10-06 Capso Vision Inc Method of overlap-dependent image stitching for images captured using a capsule camera
CN103810686A (zh) * 2014-02-27 2014-05-21 苏州大学 无缝拼接全景辅助驾驶系统及方法
CN104077760A (zh) * 2014-03-19 2014-10-01 中科宇图天下科技有限公司 一种航空摄影测量的快速拼接系统及其实现方法
EP3142066B1 (en) * 2015-09-10 2024-06-12 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
CN105550994B (zh) * 2016-01-26 2018-08-21 河海大学 一种基于卫星影像的无人机影像快速概略拼接方法
KR101993670B1 (ko) * 2016-03-17 2019-06-27 주식회사 이오테크닉스 촬영 방법 및 촬영 방법을 이용한 대상물 정렬 방법
DE102016225066A1 (de) * 2016-12-15 2018-06-21 Conti Temic Microelectronic Gmbh Rundumsichtsystem für ein Fahrzeug
TWI622297B (zh) * 2016-12-19 2018-04-21 能於車輛轉彎時同步顯示後方全景與轉彎畫面的顯示方法
CN106851201A (zh) * 2017-02-09 2017-06-13 苏州慧景光电科技有限公司 基于光纤传像技术的车载全景影像系统及其标定方法
CN108288075B (zh) * 2018-02-02 2019-06-14 沈阳工业大学 一种改进ssd的轻量化小目标检测方法
KR102431488B1 (ko) * 2018-03-05 2022-08-12 삼성전자주식회사 전자 장치 및 이미지 처리 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130250046A1 (en) * 1996-05-22 2013-09-26 Donnelly Corporation Multi-camera vision system for a vehicle
US20150130942A1 (en) * 2012-05-22 2015-05-14 Mitsubishi Electric Corporation Image processing device
TW201511992A (zh) * 2013-09-23 2015-04-01 Hu Lane Associate Inc 用於汽車駕駛艙之視野安全輔助裝置
TW201605247A (zh) * 2014-07-30 2016-02-01 國立臺灣大學 影像處理系統及方法
TWI600559B (zh) * 2015-11-08 2017-10-01 歐特明電子股份有限公司 用於影像處理之系統及方法
TW201804788A (zh) * 2016-07-27 2018-02-01 合盈光電科技股份有限公司 環景影像校正系統及其方法

Also Published As

Publication number Publication date
CN111091494B (zh) 2023-10-13
US20200134782A1 (en) 2020-04-30
CN111091494A (zh) 2020-05-01
TW202016880A (zh) 2020-05-01
US10789677B2 (en) 2020-09-29

Similar Documents

Publication Publication Date Title
TWI693578B (zh) 影像拼接處理方法以及其系統
US8754961B2 (en) Apparatus and method for generating image data from overlapping regions of images
TWI578271B (zh) 動態影像處理方法以及動態影像處理系統
EP2290947A1 (en) Imaging device, mobile information processing terminal, monitor display method for imaging device, and program
CN105812653A (zh) 摄像装置和摄像方法
CN110650288B (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质
US9088720B2 (en) Apparatus and method of displaying camera view area in portable terminal
KR101597915B1 (ko) 화상 처리 장치 및 화상 처리 방법
US20210027439A1 (en) Orientation adjustment of objects in images
TWI718410B (zh) 目標物資訊的預載顯示方法及裝置
EP3352446A1 (en) Multi-camera dynamic imaging systems and methods of capturing dynamic images
JPWO2015141185A1 (ja) 撮像制御装置、撮像制御方法およびプログラム
JP7181398B2 (ja) 撮影システム及び撮影システム制御方法
US11917293B2 (en) Imaging device
US11570352B2 (en) Image processing apparatus and control method thereof, imaging apparatus, and storage medium
KR102462073B1 (ko) 촬영 시스템 및 촬영 시스템 제어방법
CN115379121B (zh) 对眼底相机的图像预览结果进行优化的方法和相关产品
US11276145B2 (en) Seamless preview stitching for multiple cameras
JP2017098851A (ja) 表示制御方法、表示制御プログラムおよび情報処理装置
CN113168823A (zh) 显示控制方法、电子设备及计算机可读存储介质
TW201640471A (zh) 可攜式視訊拍攝裝置及在其所聯結顯示螢幕上至少一視訊圖框之顯示方法
CN116033284A (zh) 一种白平衡调整方法、装置、设备及介质
KR20140091117A (ko) 촬영 장치 및 촬영 장치의 라이브 뷰 표시 방법
JP2023128820A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP2014089304A (ja) 視点計測装置及び電子機器