TWI726411B - 影像縫合裝置及其操作方法 - Google Patents
影像縫合裝置及其操作方法 Download PDFInfo
- Publication number
- TWI726411B TWI726411B TW108132226A TW108132226A TWI726411B TW I726411 B TWI726411 B TW I726411B TW 108132226 A TW108132226 A TW 108132226A TW 108132226 A TW108132226 A TW 108132226A TW I726411 B TWI726411 B TW I726411B
- Authority
- TW
- Taiwan
- Prior art keywords
- stitching
- distance
- image
- original images
- determining circuit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000011017 operating method Methods 0.000 claims description 9
- 238000013461 design Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/03—Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
一種影像縫合裝置及其操作方法。影像縫合裝置包括縫合距離決定電路以及縫合電路。縫合距離決定電路依照相關於多個原影像的參考資訊來動態決定縫合距離。縫合電路耦接至縫合距離決定電路，以接收縫合距離。縫合電路使用該縫合距離對這些原影像進行影像縫合，以產生經縫合影像。
Description
本發明是有關於一種影像裝置，且特別是有關於一種影像縫合裝置及其操作方法。
在電子影像的應用中，常常需要將兩張（或更多張）影像拼接成一張影像。舉例來說，對兩張影像進行影像拼接（影像縫合）可以擴增影像的可視角。目前影像縫合演算法基本上都是，先分析特徵點，接下來依據特徵點使用平面投影轉換而將兩張影像的重疊部分轉換到另一張影像。無論如何，影像縫合存在著視差的問題，或是物體有鬼影的問題，或是影像重疊的問題。
舉例來說，假設有兩張不同角度拍出來的影像，一張影像的特徵集合為(Xi, Yi)，而另一張影像的特徵集合為(Xi', Yi')。這兩張影像的特徵點之間具有對應的關係。透過轉換矩陣，將部份重疊的兩張影像重疊起來，以完成影像縫合。習知影像縫合裝置使用單一縫合距離（stitching distance）（亦即靜態的縫合距離）來進行影像縫合。靜態縫合距離會讓影像縫合的縫合效果顧此失彼。如果基於近處的物體（使用小的靜態縫合距離）來進行影像縫合，則遠處的物體與背景的拼接效果就不好。如果基於遠處的物體與背景（使用大的靜態縫合距離）來進行影像縫合，則近處的物體的拼接效果就不好。
須注意的是，「先前技術」段落的內容是用來幫助了解本發明。在「先前技術」段落所揭露的部份內容（或全部內容）可能不是所屬技術領域中具有通常知識者所知道的習知技術。在「先前技術」段落所揭露的內容，不代表該內容在本發明申請前已被所屬技術領域中具有通常知識者所知悉。
本發明提供一種影像縫合裝置及其操作方法，以動態決定縫合距離。
本發明的影像縫合裝置包括縫合距離決定電路以及縫合電路。縫合距離決定電路被配置為依照相關於多個原影像的參考資訊來動態決定縫合距離。縫合電路耦接至縫合距離決定電路，以接收縫合距離。縫合電路被配置為使用該縫合距離對這些原影像進行影像縫合，以產生經縫合影像。
在本發明的影像縫合裝置的操作方法包括：依照相關於多個原影像的參考資訊來動態決定縫合距離；以及使用該縫合距離對這些原影像進行影像縫合，以產生經縫合影像。
基於上述，本發明諸實施例所述影像縫合裝置及其操作方法可以獲得相關於原影像的參考資訊。在一些實施例中，所述參考資訊包括臉的影像距離、主要物件的影像距離、原影像的色溫資訊、以及（或是）原影像的位置資訊。影像縫合裝置可以依據所述參考資訊來動態決定縫合距離。因此，影像縫合裝置可以自動產生適於不同場景的經縫合影像。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
在本案說明書全文（包括申請專利範圍）中所使用的「耦接（或連接）」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接（或連接）於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。本案說明書全文（包括申請專利範圍）中提及的「第一」、「第二」等用語是用以命名元件（element）的名稱，或區別不同實施例或範圍，而並非用來限制元件數量的上限或下限，亦非用來限制元件的次序。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
圖1是依照本發明的一實施例的一種影像縫合裝置100的電路方塊（circuit block）示意圖。圖1所示影像縫合裝置100包括縫合距離決定電路110以及縫合電路120。縫合距離決定電路110可以依據原影像Img1的特性來動態決定縫合距離Dst。縫合電路120耦接至縫合距離決定電路110，以接收縫合距離Dst。縫合電路120使用動態的縫合距離Dst而對兩個（或更多個）原影像Img1進行影像縫合，以產生經縫合影像Img2。
依照設計需求，在一些應用例中，原影像Img1可以由攝影機（或影像感測晶片，未繪示）即時地提供。在這樣的應用情況下，影像縫合裝置100可以對原影像Img1進行即時影像縫合。在另一些應用例中，原影像Img1可以由記錄媒體離線地提供。在這樣的應用情況下，影像縫合裝置100可以對原影像Img1進行離線影像縫合。
圖2是依照本發明的一實施例的一種影像縫合裝置的操作方法的流程示意圖。在步驟S210中，縫合距離決定電路110可以依照相關於兩個（或更多個）原影像Img1的參考資訊來動態決定縫合距離Dst。依照設計需求，在一些實施例中，所述參考資訊可以包括臉的影像距離、物件的影像距離、色溫資訊、位置資訊以及（或是）其他相關於原影像Img1的資訊。
在步驟S220中，藉由使用縫合距離決定電路110所動態決定的縫合距離Dst，縫合電路120可以對這些原影像Img1進行影像縫合，以產生經縫合影像Img2。本實施例並不限制縫合電路120對這些原影像Img1所進行的影像縫合細節。舉例來說，基於一些設計需求，縫合電路120在步驟S220中可以執行習知的影像縫合演算法或是其他演算法，以便於使用縫合距離Dst對這些原影像Img1進行影像縫合。
圖3是依照本發明的另一實施例的一種影像縫合裝置的操作方法的流程示意圖。圖3所示步驟S210與S220可以參照圖2所示步驟S210與S220的相關說明。在圖3所示實施例中，步驟S210包括步驟S310至步驟S370。請參照圖1與圖3。在步驟S310中，縫合距離決定電路110可以對這些原影像Img1之間的重複影像區域進行臉部辨識，以找出臉（例如人臉）。在步驟S320中，縫合距離決定電路110可以依據步驟S310的辨識結果來判斷所述重複影像區域中有無任何臉。本實施例並不限制縫合距離決定電路110所進行的臉部辨識細節。舉例來說，基於一些設計需求，縫合距離決定電路110在步驟S320中可以執行習知的臉部辨識演算法或是其他演算法，以便於對所述重複影像區域進行臉部辨識。
當重複影像區域有任何臉時（步驟S320的判斷結果為「有」），縫合距離決定電路110可以進行步驟S330。在步驟S330中，縫合距離決定電路110可以計算臉的影像距離（或深度）。所述影像距離可以被理解為，攝影機至臉的距離，或是可以表現此距離的任何資訊。本實施例並不限制縫合距離決定電路110所進行的影像距離計算細節。舉例來說，基於一些設計需求，縫合電路120在步驟S330中可以執行習知的影像距離演算法或是其他演算法，以便於計算臉出的影像距離（或深度）。
在步驟S340中，縫合距離決定電路110可以依照此臉的影像距離來動態決定縫合距離Dst。舉例來說（但不限於此），縫合距離決定電路110可以將此臉的影像距離做為縫合距離Dst。然後，縫合電路120可以使用縫合距離Dst對這些原影像Img1進行影像縫合，以產生經縫合影像Img2（步驟S220）。透過人臉偵測，可以得知主要縫合對象為人臉，而非背景（例如在人臉後面的辦公室場景）。因此，人臉的影像距離可作為優先縫合距離，使得人臉的縫合效果特別好。
當重複影像區域沒有任何臉時（步驟S320的判斷結果為「無」），縫合距離決定電路110可以進行步驟S350。在步驟S350中，縫合距離決定電路110可以對這些原影像Img1之間的重複影像區域進行物件辨識，以找出至少一個物件。縫合距離決定電路110可以在步驟S350中從所述至少一個物件中選擇一個大面積物件做為主要物件。舉例來說，縫合距離決定電路110可以辨識在所述重複影像區域中不同物件的影像區域，並將具有大區域的物件做為所述主要物件。本實施例並不限制縫合距離決定電路110所進行的物件辨識細節。舉例來說，基於一些設計需求，縫合電路120在步驟S350中可以執行習知的物件辨識演算法或是其他演算法，以便於對所述重複影像區域進行物件辨識。
在步驟S360中，縫合距離決定電路110可以計算所述主要物件的影像距離（或深度）。所述影像距離可以被理解為，攝影機至所述主要物件的距離，或是可以表現此距離的任何資訊。舉例來說，縫合距離決定電路110可以掃描此重複影像區域的像素，然後基於像素在兩張原影像Img1的距離即可計算出主要物件在影像中的深度。根據深度計算結果，縫合距離決定電路110可以判斷出落在此重複影像區域中的所述主要物件（例如最大物）的影像距離為何。本實施例並不限制縫合距離決定電路110所進行的影像距離計算細節。舉例來說，基於一些設計需求，縫合距離決定電路110在步驟S360中可以執行習知的影像距離演算法或是其他演算法，以便於計算出所述主要物件的影像距離（或深度）。
在步驟S370中，縫合距離決定電路110可以依照所述主要物件的影像距離來決定縫合距離Dst。舉例來說（但不限於此），縫合距離決定電路110可以將所述主要物件的影像距離做為縫合距離Dst。然後，縫合電路120可以使用縫合距離Dst對這些原影像Img1進行影像縫合，以產生經縫合影像Img2（步驟S220）。
圖4是依照本發明的另一實施例的一種影像縫合裝置400的電路方塊示意圖。圖4所示影像縫合裝置400包括白平衡電路410、縫合距離決定電路420、縫合電路430以及全球定位系統（Global Positioning System，以下稱GPS）電路440。圖4所示縫合距離決定電路420與縫合電路430可以參照圖1所示縫合距離決定電路110與縫合電路120的相關說明。
白平衡電路410可以對這些原影像Img1進行白平衡計算，以獲得原影像Img1’。此外，白平衡電路410可以對這些原影像Img1進行白平衡計算，以獲得相關於這些原影像Img1的色溫資訊Iw。本實施例並不限制白平衡電路410對這些原影像Img1所進行的白平衡計算細節。舉例來說，基於一些設計需求，白平衡電路410可以執行習知的白平衡演算法或是其他演算法。
GPS電路440可以偵測影像縫合裝置400的所在位置，以獲得相關於這些原影像Img1的位置資訊Ip。本實施例並不限制GPS電路440偵測影像縫合裝置400的所在位置的計算細節。舉例來說，基於一些設計需求，GPS電路440可以是習知的GPS電路或是其他電路。
縫合距離決定電路420耦接至白平衡電路410與GPS電路440，以接收色溫資訊Iw與位置資訊Ip。縫合距離決定電路420可以依據色溫資訊Iw、位置資訊Ip與原影像Img1中的至少一者來動態決定縫合距離Dst。縫合電路430耦接至縫合距離決定電路420，以接收縫合距離Dst。縫合電路430使用動態的縫合距離Dst而對兩個（或更多個）原影像Img1’進行影像縫合，以產生經縫合影像Img2。
舉例來說，縫合距離決定電路420可以依照色溫資訊Iw來判斷這些原影像Img1的場景是否在室內。當場景為室內時，縫合距離決定電路420可以使用一個近景距離做為所述縫合距離Dst。當場景為室外時，縫合距離決定電路420可以使用一個遠景距離做為所述縫合距離Dst。所述近景距離與所述遠景距離可以依照設計需求來決定。舉例來說，所述近景距離可以是原影像Img1的前景的影像距離，而所述遠景距離可以是原影像Img1的背景的影像距離。
再舉例來說，縫合距離決定電路420可以依照位置資訊Ip來判斷這些原影像Img1的場景是否在室內。當場景為室內時，縫合距離決定電路420可以使用一個近景距離做為縫合距離Dst。當場景為室外時，縫合距離決定電路420可以使用一個遠景距離做為所述縫合距離Dst。
圖5是依照本發明的又一實施例的一種影像縫合裝置的操作方法的流程示意圖。圖5所示步驟S210與S220可以參照圖2所示步驟S210與S220的相關說明。在圖5所示實施例中，步驟S210包括步驟S510至步驟S560。請參照圖4與圖5。在步驟S510中，白平衡電路410可以對這些原影像Img1進行白平衡計算，以獲得相關於這些原影像Img1的色溫資訊Iw。本實施例並不限制白平衡電路410所進行的白平衡計算細節。舉例來說，基於一些設計需求，白平衡電路410在步驟S510中可以執行習知的白平衡演算法或是其他演算法，以便於獲得相關於這些原影像Img1的色溫資訊Iw。
在步驟S520中，GPS電路440可以偵測影像縫合裝置400的所在位置，以獲得相關於這些原影像Img1的位置資訊Ip。在步驟S530中，縫合距離決定電路420可以依照位置資訊Ip來判斷這些原影像Img1的場景是否在室內。當依照位置資訊Ip的判斷結果為「室內」時（步驟S530的判斷結果為「是」），縫合距離決定電路420可以進行步驟S540。當依照位置資訊Ip的判斷結果為「室外」時（步驟S530的判斷結果為「否」），縫合距離決定電路420可以進行步驟S560。
在步驟S540中，縫合距離決定電路420可以依照色溫資訊Iw來判斷這些原影像Img1的場景是否在室內。當依照色溫資訊Iw的判斷結果為「室內」時（步驟S540的判斷結果為「是」），縫合距離決定電路420可以進行步驟S550。在步驟S550中，縫合距離決定電路420可以使用一個近景距離（使用小的縫合距離）做為縫合距離Dst。然後，縫合電路120可以使用縫合距離Dst對這些原影像Img1進行影像縫合，以產生經縫合影像Img2（步驟S220）。一般而言，近景的視差效果會比較嚴重。因為遠景物體在影像中所占像素較少，遠景的視差效果會比較不明顯。因此，近景距離作為優先縫合距離，使得前景影像的縫合效果特別好。
當依照色溫資訊Iw的判斷結果為「室外」時（步驟S540的判斷結果為「否」），縫合距離決定電路420可以進行步驟S560。在步驟S560中，縫合距離決定電路420可以使用一個遠景距離做為所述縫合距離Dst。然後，縫合電路430可以使用縫合距離Dst對這些原影像Img1’進行影像縫合，以產生經縫合影像Img2（步驟S220）。
縫合距離決定電路420可以根據白平衡電路410（影像處理器）的白平衡統計結果來判斷出影像場景是否在室內。如果判斷結果為室內，則優先以近景距離（使用小的縫合距離）來進行影像縫合。舉例來說，依據白平衡電路410計算出來的色溫資訊Iw，縫合距離決定電路420可以判斷影像場域的光源是日光（Daylight）或是室內（indoor）光源。如果判斷結果為日光，則縫合距離決定電路420可以選用無窮遠的距離（遠景距離）做為進行影像縫合所需的縫合距離。
縫合距離決定電路420可以根據GPS資訊來判斷影像是位於室內還是室外拍攝。如判斷為室外，則縫合距離決定電路420可以選擇遠景距離（使用大的縫合距離）來進行影像縫合。如判斷為室內，則選擇使用近景距離（使用小的縫合距離）來進行影像縫合。舉例來說，在攝影裝置有搭載GPS的情況下，如果對GPS資訊的判斷結果表示此張影像是在戶外，而且在重複影像區域中沒有偵測到人臉，則使用無窮遠的距離做為進行影像縫合所需的縫合距離。
圖6是依照本發明的再一實施例的一種影像縫合裝置的操作方法的流程示意圖。圖6所示步驟S210與S220可以參照圖2所示步驟S210與S220的相關說明。在圖6所示實施例中，步驟S210包括步驟S610至步驟S690。圖6所示步驟S610、S620、S630、S640、S660、S670與S680可以參照圖3所示步驟S310至步驟S370的相關說明。請參照圖4與圖6。在步驟S610中，縫合距離決定電路420可以對這些原影像Img1’之間的重複影像區域進行臉部辨識，以找出臉（例如人臉）。在步驟S620中，縫合距離決定電路420可以依據步驟S610的辨識結果來判斷所述重複影像區域中有無任何臉。
當重複影像區域有任何臉時（步驟S620的判斷結果為「有」），縫合距離決定電路420可以進行步驟S630。在步驟S630中，縫合距離決定電路420可以計算臉的影像距離（或深度）。在步驟S640中，縫合距離決定電路420可以依照此臉的影像距離來動態決定縫合距離Dst。舉例來說（但不限於此），縫合距離決定電路420可以將此臉的影像距離做為縫合距離Dst。然後，縫合電路430可以使用縫合距離Dst對這些原影像Img1’進行影像縫合，以產生經縫合影像Img2（步驟S220）。透過人臉偵測，可以得知主要縫合對象為人臉，而非背景（例如在人臉後面的辦公室場景）。因此，人臉的影像距離可作為優先縫合距離，使得人臉的縫合效果特別好。
當重複影像區域沒有任何臉時（步驟S620的判斷結果為「無」），縫合距離決定電路420可以進行步驟S650。在步驟S650中，縫合距離決定電路420可以判斷這些原影像Img1的場景是否在室內。舉例來說，在一些實施例中，白平衡電路410可以在步驟S650中對這些原影像Img1進行白平衡計算，以獲得相關於這些原影像Img1的色溫資訊Iw。因此，縫合距離決定電路420可以在步驟S650中依照色溫資訊Iw來判斷這些原影像Img1的場景是否在室內。
在另一些實施例中，GPS電路440可以在步驟S650中偵測影像縫合裝置400的所在位置，以獲得相關於這些原影像Img1的位置資訊Ip。縫合距離決定電路420可以在步驟S650中依照位置資訊Ip來判斷這些原影像Img1的場景是否在室內。
當場景為「室內」時（步驟S650的判斷結果為「是」），縫合距離決定電路420可以進行步驟S660。在步驟S660中，縫合距離決定電路420可以對這些原影像Img1’之間的重複影像區域進行物件辨識，以找出至少一個物件。縫合距離決定電路420可以在步驟S660中從所述至少一個物件中選擇一個大面積物件做為主要物件。舉例來說，縫合距離決定電路420可以辨識在所述重複影像區域中不同物件的影像區域，並將具有大區域的物件做為所述主要物件。
在步驟S670中，縫合距離決定電路420可以計算所述主要物件的影像距離（或深度）。舉例來說，縫合距離決定電路420可以掃描此重複影像區域的像素，然後基於像素在兩張原影像Img1的距離即可計算出主要物件在影像中的深度。根據深度計算結果，縫合距離決定電路420可以判斷出落在此重複影像區域中的所述主要物件（例如最大物）的影像距離為何。
在步驟S680中，縫合距離決定電路420可以依照所述主要物件的影像距離來決定縫合距離Dst。舉例來說（但不限於此），縫合距離決定電路420可以將所述主要物件的影像距離做為縫合距離Dst。然後，縫合電路430可以使用縫合距離Dst對這些原影像Img1’進行影像縫合，以產生經縫合影像Img2（步驟S220）。
當場景為「室外」時（步驟S650的判斷結果為「否」），縫合距離決定電路420可以進行步驟S690。在步驟S690中，縫合距離決定電路420可以使用一個遠景距離做為所述縫合距離Dst。然後，縫合電路430可以使用縫合距離Dst對這些原影像Img1’進行影像縫合，以產生經縫合影像Img2（步驟S220）。
依照不同的設計需求，上述縫合距離決定電路以及（或是）縫合電路的方塊的實現方式可以是硬體（hardware）、韌體（firmware）、軟體（software，即程式）或是前述三者中的多者的組合形式。
以硬體形式而言，上述縫合距離決定電路以及（或是）縫合電路的方塊可以實現於積體電路（integrated circuit）上的邏輯電路。上述縫合距離決定電路以及（或是）縫合電路的相關功能可以利用硬體描述語言（hardware description languages，例如Verilog HDL或VHDL）或其他合適的編程語言來實現為硬體。舉例來說，上述縫合距離決定電路以及（或是）縫合電路的相關功能可以被實現於一或多個控制器、微控制器、微處理器、特殊應用積體電路（Application-specific integrated circuit, ASIC）、數位訊號處理器（digital signal processor, DSP）、場可程式邏輯閘陣列（Field Programmable Gate Array, FPGA）及/或其他處理單元中的各種邏輯區塊、模組和電路。
以軟體形式及/或韌體形式而言，上述縫合距離決定電路以及（或是）縫合電路的相關功能可以被實現為編程碼（programming codes）。例如，利用一般的編程語言（programming languages，例如C、C++或組合語言）或其他合適的編程語言來實現上述縫合距離決定電路以及（或是）縫合電路。所述編程碼可以被記錄/存放在記錄媒體中，所述記錄媒體中例如包括唯讀記憶體（Read Only Memory，ROM）、存儲裝置及/或隨機存取記憶體（Random Access Memory，RAM）。電腦、中央處理器（Central Processing Unit，CPU）、控制器、微控制器或微處理器可以從所述記錄媒體中讀取並執行所述編程碼，從而達成相關功能。作為所述記錄媒體，可使用「非臨時的電腦可讀取媒體（non-transitory computer readable medium）」，例如可使用帶（tape）、碟（disk）、卡（card）、半導體記憶體、可程式設計的邏輯電路等。而且，所述程式也可經由任意傳輸媒體（通信網路或廣播電波等）而提供給所述電腦（或CPU）。所述通信網路例如是互聯網（Internet）、有線通信（wired communication）、無線通信（wireless communication）或其它通信介質。
綜上所述，本發明諸實施例所述影像縫合裝置及其操作方法可以獲得相關於原影像的參考資訊。在一些實施例中，所述參考資訊包括臉的影像距離、主要物件的影像距離、原影像的色溫資訊、以及（或是）原影像的位置資訊。影像縫合裝置可以依據所述參考資訊來動態決定縫合距離。例如，影像縫合裝置可以主動偵測主要物體的遠近。依據主要物體的遠近以及影像的白平衡，影像縫合裝置可以判斷來決定縫合距離，來達到最佳縫合效果。影像縫合裝置可以自動偵測目前影像最適合的縫合距離，以滿足不同場景。因此，影像縫合裝置可以自動產生適於不同場景的經縫合影像。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100、400：影像縫合裝置
110、420：縫合距離決定電路
120、430：縫合電路
410：白平衡電路
440：全球定位系統（GPS）電路
Dst：縫合距離
Img1、Img1’：原影像
Img2：經縫合影像
Ip：位置資訊
Iw：色溫資訊
S210～S220、S310～S370、S510～S560、S610～S690：步驟
圖1是依照本發明的一實施例的一種影像縫合裝置的電路方塊（circuit block）示意圖。
圖2是依照本發明的一實施例的一種影像縫合裝置的操作方法的流程示意圖。
圖3是依照本發明的另一實施例的一種影像縫合裝置的操作方法的流程示意圖。
圖4是依照本發明的另一實施例的一種影像縫合裝置的電路方塊示意圖。
圖5是依照本發明的又一實施例的一種影像縫合裝置的操作方法的流程示意圖。
圖6是依照本發明的再一實施例的一種影像縫合裝置的操作方法的流程示意圖。
100：影像縫合裝置
110：縫合距離決定電路
120：縫合電路
Dst：縫合距離
Img1：原影像
Img2：經縫合影像
Claims (10)
- 一種影像縫合裝置，包括：一縫合距離決定電路，被配置為依照相關於多個原影像的一參考資訊來動態決定一縫合距離；以及一縫合電路，耦接至該縫合距離決定電路以接收該縫合距離，被配置為使用該縫合距離對該些原影像進行影像縫合，以產生一經縫合影像，其中，該縫合距離決定電路對該些原影像之間的一重複影像區域進行辨識以確認一臉或一主要物件，該縫合距離決定電路計算該臉或該主要物件的一影像距離或一影像深度以做為該參考資訊。
- 如申請專利範圍第1項所述的影像縫合裝置，其中該縫合距離決定電路對該些原影像之間的該重複影像區域進行臉部辨識以找出該臉，該縫合距離決定電路計算該臉的該影像距離，該參考資訊包括該影像距離，以及該縫合距離決定電路依照該臉的該影像距離來決定該縫合距離。
- 如申請專利範圍第1項所述的影像縫合裝置，其中該縫合距離決定電路對該些原影像之間的該重複影像區域進行物件辨識以找出至少一物件，該縫合距離決定電路從所述至少一物件中選擇一大面積物件做為該主要物件，該縫合距離決定電路計算該主要物件的該影像距離，該參考資訊包括該影像距離，以及該縫 合距離決定電路依照該主要物件的該影像距離來決定該縫合距離。
- 一種影像縫合裝置，包括：一縫合距離決定電路，被配置為依照相關於多個原影像的一參考資訊來動態決定一縫合距離；一縫合電路，耦接至該縫合距離決定電路以接收該縫合距離，被配置為使用該縫合距離對該些原影像進行影像縫合，以產生一經縫合影像；以及一白平衡電路，被配置為對該些原影像進行一白平衡計算，以獲得相關於該些原影像的一色溫資訊；其中該參考資訊包括該色溫資訊，該縫合距離決定電路依照該色溫資訊來判斷該些原影像的一場景是否在室內，當該場景為室內時則以一近景距離做為該縫合距離，以及當該場景為室外時則以一遠景距離做為該縫合距離。
- 一種影像縫合裝置，包括：一縫合距離決定電路，被配置為依照相關於多個原影像的一參考資訊來動態決定一縫合距離；一縫合電路，耦接至該縫合距離決定電路以接收該縫合距離，被配置為使用該縫合距離對該些原影像進行影像縫合，以產生一經縫合影像；以及一全球定位系統電路，被配置為偵測該影像縫合裝置的所在位置，以獲得相關於該些原影像的一位置資訊； 其中該參考資訊包括該位置資訊，該縫合距離決定電路依照該位置資訊來判斷該些原影像的一場景是否在室內，當該場景為室內時則以一近景距離做為該縫合距離，以及當該場景為室外時則以一遠景距離做為該縫合距離。
- 一種影像縫合裝置的操作方法，包括：依照相關於多個原影像的一參考資訊來動態決定一縫合距離，包括：對該些原影像之間的一重複影像區域進行辨識以確認一臉或一主要物件，該縫合距離決定電路計算該臉或該主要物件的一影像距離或一影像深度以做為該參考資訊；以及使用該縫合距離對該些原影像進行影像縫合，以產生一經縫合影像。
- 如申請專利範圍第6項所述的操作方法，其中動態決定該縫合距離包括：對該些原影像之間的該重複影像區域進行臉部辨識，以找出該臉；計算該臉的該影像距離，其中該參考資訊包括該影像距離；以及依照該臉的該影像距離來決定該縫合距離。
- 如申請專利範圍第6項所述的操作方法，其中動態決定該縫合距離包括：對該些原影像之間的該重複影像區域進行物件辨識，以找出 至少一物件；從所述至少一物件中選擇一大面積物件做為該主要物件；計算該主要物件的該影像距離，其中該參考資訊包括該影像距離；以及依照該主要物件的該影像距離來決定該縫合距離。
- 一種影像縫合裝置的操作方法，包括：依照相關於多個原影像的一參考資訊來動態決定一縫合距離，包括：對該些原影像進行一白平衡計算，以獲得相關於該些原影像的一色溫資訊，其中該參考資訊包括該色溫資訊；依照該色溫資訊來判斷該些原影像的一場景是否在室內；當該場景為室內時，以一近景距離做為該縫合距離；以及當該場景為室外時，以一遠景距離做為該縫合距離；以及使用該縫合距離對該些原影像進行影像縫合，以產生一經縫合影像。
- 一種影像縫合裝置的操作方法，包括：依照相關於多個原影像的一參考資訊來動態決定一縫合距離，包括：偵測該影像縫合裝置的所在位置，以獲得相關於該些原 影像的一位置資訊，其中該參考資訊包括該位置資訊；依照該位置資訊來判斷該些原影像的一場景是否在室內；當該場景為室內時，以一近景距離做為該縫合距離；以及當該場景為室外時，以一遠景距離做為該縫合距離；以及使用該縫合距離對該些原影像進行影像縫合，以產生一經縫合影像。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108132226A TWI726411B (zh) | 2019-09-06 | 2019-09-06 | 影像縫合裝置及其操作方法 |
| US16/726,850 US11386525B2 (en) | 2019-09-06 | 2019-12-25 | Image stitching apparatus and operation method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW108132226A TWI726411B (zh) | 2019-09-06 | 2019-09-06 | 影像縫合裝置及其操作方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202111664A TW202111664A (zh) | 2021-03-16 |
| TWI726411B true TWI726411B (zh) | 2021-05-01 |
Family
ID=74849781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW108132226A TWI726411B (zh) | 2019-09-06 | 2019-09-06 | 影像縫合裝置及其操作方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11386525B2 (zh) |
| TW (1) | TWI726411B (zh) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107529017A (zh) * | 2017-10-12 | 2017-12-29 | 长沙全度影像科技有限公司 | 一种全景相机的多拼接模式的系统及方法 |
| CN109146783A (zh) * | 2018-07-23 | 2019-01-04 | 北京金山安全软件有限公司 | 一种图片拼接方法、装置、电子设备及介质 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7747107B2 (en) * | 2007-03-06 | 2010-06-29 | Mitsubishi Electric Research Laboratories, Inc. | Method for retargeting images |
| JP5187139B2 (ja) * | 2008-10-30 | 2013-04-24 | セイコーエプソン株式会社 | 画像処理装置およびプログラム |
| US8963949B2 (en) * | 2009-04-22 | 2015-02-24 | Qualcomm Incorporated | Image selection and combination method and device |
| US20140153832A1 (en) * | 2012-12-04 | 2014-06-05 | Vivek Kwatra | Facial expression editing in images based on collections of images |
| US9767561B2 (en) * | 2013-11-18 | 2017-09-19 | Texas Instruments Incorporated | Method and apparatus for a optimal seam for surround view synthesis |
| US9911213B2 (en) * | 2015-12-18 | 2018-03-06 | Ricoh Co., Ltd. | Panoramic image stitching using objects |
| US10373360B2 (en) * | 2017-03-02 | 2019-08-06 | Qualcomm Incorporated | Systems and methods for content-adaptive image stitching |
| US10593042B1 (en) * | 2017-04-11 | 2020-03-17 | Zoox, Inc. | Perspective conversion for multi-dimensional data analysis |
| TW201843421A (zh) | 2017-05-02 | 2018-12-16 | 中原大學 | 基於參數數學函數及影像縫合的量測系統及方法 |
| EP3525000B1 (en) * | 2018-02-09 | 2021-07-21 | Bayerische Motoren Werke Aktiengesellschaft | Methods and apparatuses for object detection in a scene based on lidar data and radar data of the scene |
| JP7070082B2 (ja) * | 2018-05-18 | 2022-05-18 | 株式会社デンソー | 車載カメラ |
| CN111083345B (zh) * | 2018-10-18 | 2021-03-23 | 昆山纬绩资通有限公司 | 独照生成装置和方法及其非易失性计算机可读媒体 |
| TWI693578B (zh) * | 2018-10-24 | 2020-05-11 | 緯創資通股份有限公司 | 影像拼接處理方法以及其系統 |
| CA3134440A1 (en) * | 2019-03-18 | 2020-09-24 | Geomagical Labs, Inc. | System and method for virtual modeling of indoor scenes from imagery |
-
2019
- 2019-09-06 TW TW108132226A patent/TWI726411B/zh active
- 2019-12-25 US US16/726,850 patent/US11386525B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107529017A (zh) * | 2017-10-12 | 2017-12-29 | 长沙全度影像科技有限公司 | 一种全景相机的多拼接模式的系统及方法 |
| CN109146783A (zh) * | 2018-07-23 | 2019-01-04 | 北京金山安全软件有限公司 | 一种图片拼接方法、装置、电子设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210073940A1 (en) | 2021-03-11 |
| TW202111664A (zh) | 2021-03-16 |
| US11386525B2 (en) | 2022-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9900500B2 (en) | Method and apparatus for auto-focusing of an photographing device | |
| JP6424163B2 (ja) | ビデオ内の対象物を検出するための方法、装置及びシステム | |
| US9906772B2 (en) | Method for performing multi-camera capturing control of an electronic device, and associated apparatus | |
| KR101657039B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 촬상 시스템 | |
| CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
| US20120092329A1 (en) | Text-based 3d augmented reality | |
| US20190149787A1 (en) | Projection system and image projection method | |
| TW202042548A (zh) | 投影系統、投影裝置以及其顯示影像的校正方法 | |
| WO2007072695A1 (ja) | 画像投射装置 | |
| WO2019080743A1 (zh) | 一种目标检测方法、装置及计算机设备 | |
| TWI552600B (zh) | 用於接圖的影像校正方法及具有影像校正功能的相關攝影機與影像處理系統 | |
| US10805584B2 (en) | Projection system and image projection method | |
| WO2019080061A1 (zh) | 基于摄像设备的遮挡检测修复装置及其遮挡检测修复方法 | |
| WO2012001793A1 (ja) | 画像処理プログラムおよび画像処理装置 | |
| US9497441B2 (en) | Image processing device and method, and program | |
| TWI726411B (zh) | 影像縫合裝置及其操作方法 | |
| TW201715472A (zh) | 影像分區門檻值決定方法、手勢判斷方法、影像感測系統以及手勢判斷系統 | |
| US20230089845A1 (en) | Visual Localization Method and Apparatus | |
| CN112672130B (zh) | 图像缝合装置及其操作方法 | |
| JP2015046051A (ja) | 画像処理装置、画像処理方法、プログラムおよび撮像システム | |
| CN109600598B (zh) | 影像处理方法、影像处理装置及电脑可读取记录媒体 | |
| KR101886856B1 (ko) | 이종센서 탐색기의 비정형 객체추적에 대한 데이터 결합시스템 및 방법 | |
| TWI851973B (zh) | 虛擬視窗配置裝置、虛擬視窗配置方法及虛擬視窗配置系統 | |
| JP6044123B2 (ja) | 被写体追尾装置および電子カメラ並びに被写体追尾プログラム | |
| US12033285B2 (en) | Object identification device and object identification method |