TWI544448B - 影像處理方法以及影像處理裝置 - Google Patents

影像處理方法以及影像處理裝置 Download PDF

Info

Publication number
TWI544448B
TWI544448B TW101131532A TW101131532A TWI544448B TW I544448 B TWI544448 B TW I544448B TW 101131532 A TW101131532 A TW 101131532A TW 101131532 A TW101131532 A TW 101131532A TW I544448 B TWI544448 B TW I544448B
Authority
TW
Taiwan
Prior art keywords
images
image
image processing
alignment operation
visual effect
Prior art date
Application number
TW101131532A
Other languages
English (en)
Other versions
TW201327472A (zh
Inventor
鄭嘉珉
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW201327472A publication Critical patent/TW201327472A/zh
Application granted granted Critical
Publication of TWI544448B publication Critical patent/TWI544448B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Description

影像處理方法以及影像處理裝置
本發明係關於三維視覺效果重現，尤指一種影像處理方法及其相關裝置。
由習知技術可知，三維視覺效果重現(three-dimensional visual effect reproduction，3D visual effect reproduction)通常需要準備來源影像(source image)以及複雜的計算。在準備階段期間，無論來源影像的解析度(resolution)是高或是低，均會發生問題，舉例來說，來源影像應由預校正相機(pre-calibrated camera)來擷取之，其中預校正相機則應已透過預定視角(view point)或預定視線(line of view)來校正之，因此，造成準備來源影像的困難。在另一例子中，為了要有效率地執行複雜的運算，需要準備具有強大運算能力的高階(high end)電腦，其中因為傳統的多功能行動電話(multifunctional mobile phone)似乎無法在複雜運算的繁重計算負荷下流暢地運作，所以高階電腦不會被傳統的多功能行動電話取代，也就是說，傳統的多功能行動電話不會是三維生成/重現(production/reproduction)的完整解決方案。總而言之，習知技術並無法滿足使用者的需求，因此，需要一種以聰明且強健(robust)的方式來執行關於三維視覺效果重現之影像處理的創新方法，以於可攜式電子元件(portable electronic device)(例如，多功能行動電話)之中實作出上述之來源 影像準備及相關的計算。
有鑒於此，本發明的目的之一在於提供一種影像處理方法及其相關裝置，來解決上述問題。
本發明的另一目的在於提供一種影像處理方法及其相關裝置，來於可攜式電子元件(例如，多功能行動電話)之中實作出上述之來源影像準備及相關的計算。
本發明的另一目的在於提供一種影像處理方法及其相關裝置，以利用可攜式電子元件(例如，行動電話、筆記型電腦(laptop computer)或平板(tablet))來實現出三維生成/重現的完整解決方案。
本發明之一實施例提供一種影像處理方法。該影像處理方法包含：接收複數個影像之一影像資料，其中該複數個影像係自不同的視角(或沿著不同的視線)來擷取；以及依據該影像資料來扭曲該複數個影像以對該複數個影像執行一影像對準操作，其中該複數個影像係依據一組參數來扭曲，以及該組參數係藉由找出受限於複數個物理相機參數之複數個預定範圍的一解(solution)來得到。
本發明之另一實施例提供一種執行影像處理的裝置，其中該裝 置包含一電子元件的至少一部份。該裝置包含一儲存單元以及一處理電路。該儲存單元係用以暫存一資訊。另外，該處理電路係用以控制該電子元件之操作、接收複數個影像之一影像資料、將該影像資料暫存於該儲存單元，以及依據該影像資料來扭曲該複數個影像以對該複數個影像執行一影像對準操作，其中該複數個影像係自不同的視角(或沿著不同的視線)來擷取、該複數個影像係依據一組參數來扭曲，以及該組參數係藉由找出受限於複數個物理相機參數之複數個預定範圍的一解來得到。
本發明所揭示之方法及裝置可產生位於一解(例如，一預定解空間(例如，預先訓練的解空間))內的扭曲影像，以使人眼視覺感覺不到相關的經學習之幾何變形，因此，每一重現影像均不會產生失真，此外，依據經學習之幾何限制來於該解空間進行的最佳化可持續產生合理的結果。對於本發明所揭示之方法及裝置的實作範例來說，可同時並行相關計算的工作流程，以及可降低相關的運算複雜度且節省所需的記憶體資源。此外，本發明之方法及裝置具有強健的能力來抵抗影像雜訊及偏差。再者，本發明所揭示之方法及裝置可保留在扭曲影像序列中相對的視差/深度資訊。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，製造商可能會用不同的名詞來稱呼同樣的元件。本說明書及後續的申請專利範圍並 不以名稱的差異來作為區別元件的方式，而是以元件在功能上的差異來作為區別的基準。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。此外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接連接於該第二裝置，或透過其他裝置或連接手段間接地連接至該第二裝置。
請參閱第1圖，第1圖係為本發明用來執行影像處理的裝置100之一第一實施例的示意圖。於一實作範例中，裝置100可包含一電子元件的至少一部份(例如，一部份或全部)，舉例來說，裝置100可包含上述之該電子元件的一部份，更具體地說，裝置100可以是該電子元件內的一控制電路(control circuit)(例如，一積體電路(integrated circuit，IC))。於另一實作範例中，裝置100可以是上述之該電子元件的全部。於另一實作範例中，裝置100可以是包含上述之該電子元件的一音訊/視訊系統(audio/video system)。該電子元件的各種範例可包含(但不侷限於)一行動電話(例如，一多功能行動電話)、一個人數位助理(personal digital assistant，PDA)、一可攜式電子元件(例如，廣義的平板(tablet))，以及一個人電腦(例如，一平板個人電腦(tablet personal computer)(亦可簡稱為平板)、一筆記型電腦或一桌上型電腦(desktop computer))。
由第1圖可知，裝置100包含一處理電路(processing circuit) 110以及一儲存單元(storage)120。儲存單元120係用以暫存一資訊(例如，輸入至處理電路110之至少一輸入訊號108所挾帶的資訊)，舉例來說，儲存單元可以是一記憶體(memory)(例如，一揮發性記憶體(volatile memory)(例如，一隨機存取記憶體(random access memory，RAM))或一非揮發性記憶體(non-volatile memory)(例如，一快閃記憶體(Flash memory)))或一硬碟機(hard disk drive，HDD)。另外，處理電路110係用以控制該電子元件之操作、接收複數個影像之一影像資料(其中該複數個影像係自不同的視角(或沿著不同的視線)來擷取)、將該影像資料暫存於儲存單元120，以及依據該影像資料來扭曲(warp)該複數個影像以對該複數個影像執行一影像對準操作(image alignment)，其中該複數個影像係依據一組參數(a set of parameters)來扭曲，以及該組參數係藉由找出受限於複數個物理相機參數(physical camera parameter)之複數個預定範圍的一解來得到。舉例來說，該複數個影像係利用上述之該電子元件之一相機模組(camera module)自不同的視角來擷取之，其中該影像資料可透過輸入至處理電路110的輸入訊號108來接收。請注意，以上僅供說明之需，並非用來作為本發明之限制。 於一實作範例中，該複數個影像係利用一外接元件(external device)(例如，一手持式相機(hand-held camera))自不同的視角來擷取之。
請注意，上述之該相機模組並不需要被校正(calibrate)，更具體地說，於此實施例中，該相機模組並未以所述之不同的視角(或 視線)來校正之，舉例來說，在該電子元件夠輕巧而使得使用者可輕易地握住的情形下，使用者可握著該電子元件而任意地自不同的視角來擷取物體的影像。接下來，處理電路110係自動執行該影像對準操作以重現一三維視覺效果，更具體地說，處理電路110係自動執行該影像對準操作產生複數個三維影像以重現該三維視覺效果，其中該複數個三維影像可包含不是利用相機(例如，上述之相機模組)所產生的複數個仿真影像(emulated image)。處理電路110可透過挾帶該複數個三維影像之資訊的至少一輸出訊號128來輸出該複數個三維影像之資訊。於實作上，該電子元件之一螢幕可基於該複數個三維影像來顯示動畫(animation)以重現該三維視覺效果。 以上僅供說明之需，並非用來作為本發明之限制。於一實作範例中，該螢幕可基於該複數個三維影像來提供複數個立體視角(stereoscopic view)予該使用者，以重現該三維視覺效果。無論該螢幕是否被設計為提供複數個立體視角，該三維視覺效果之實作範例可包含(但不侷限於)一多視角(multi-angle view，MAV)視覺效果以及一三維全景(panorama)視覺效果。另外，於一實作範例中，為了要利用一外接顯示元件(external display device)來重現該三維視覺效果，裝置100可輸出該複數個三維影像之資訊。
第2圖係為第1圖所示之裝置100之一實作範例的示意圖。於此實施例中，裝置100係為一行動電話，因此，裝置100在第2圖中被標示為「行動電話」。一相機模組130(於第2圖中，簡略地標示為「相機」)係作為第一實施例所述之相機模組的一實作範例，以 及相機模組130係安裝於上述之裝置100(於此實施例中，亦即該行動電話)之中，因此，這意味著裝置100會包含有相機模組130。 於此實施例中，相機模組130係設置於裝置100之一上側(upper side)的附近。請注意，以上僅供說明之需，並非用來作為本發明之限制。 於一實作範例中，相機模組130可設置於裝置100之另一側。另外，一觸控螢幕(touch screen)150(於第2圖中，簡略地標示為「螢幕」)係為第一實施例所述之螢幕的一實作範例，以及觸控螢幕150係安裝於上述之裝置100(於此實施例中，亦即該行動電話)之中，因此，這意味著裝置100會包含有觸控螢幕150。由第2圖可知，相機模組130可用來擷取上述之該複數個影像，舉例來說，透過分析該複數個影像之該影像資料，處理電路110可執行一特徵擷取操作(feature extraction)及一特徵比對操作(feature matching)，以決定/找出上述之受限於該複數個物理相機參數之該複數個預定範圍(例如，相機模組130之複數個物理參數之一些預定範圍(例如，相機模組130的視線方向/角度))的解，因此，處理電路110可產生上述之該解所限定的該複數個三維影像，以重現該三維視覺效果而不會引入可見失真(visible artifact)。
第3圖係為第1圖所示之裝置100之另一實作範例的示意圖。 於此實施例中，裝置100係為一個人電腦(例如，一筆記型電腦)，因此，裝置100在第3圖中被標示為「筆記型電腦」。一相機模組130(於第3圖中，簡略地標示為「相機」)係作為於第一實施例之中所述之相機模組的一實作範例，以及相機模組130係安裝於上述 之裝置100(於此實施例中，亦即該筆記型電腦)之中，因此，這意味著裝置100會包含有相機模組130。於此實施例中，相機模組130係設置於裝置100之一上側的附近。請注意，以上僅供說明之需，並非用來作為本發明之限制。於一實作範例中，相機模組130可設置於裝置100之另一側。另外，一螢幕50(例如，一液晶顯示面板(liquid crystal display panel，LCD panel))係為第一實施例所述之螢幕的一實作範例，以及螢幕50係安裝於上述之裝置100之中，因此，這意味著裝置100會包含有螢幕50。其他與上述之實作範例相似的說明在此便不再贅述。
第4圖係為本發明影像處理方法200之一實施例的流程圖。第4圖所示之影像處理方法200可應用於第1圖所示之裝置100，更具體地說，可應用於第2圖與第3圖分別所示之實施例的其中之一的裝置100。影像處理方法200係說明如下。
於步驟210中，處理電路110係接收複數個影像之一影像資料，其中該複數個影像係擷取自不同的視角(例如，第一實施例所述之複數個影像)。於此實施例中，上述之該影像資料可透過輸入至處理電路110的輸入訊號108來接收，舉例來說，該複數個影像係自不同的視角(或沿著不同的視線)來擷取，更具體地說，該複數個影像係利用一相機模組(例如，上述之相機模組130)來任意地擷取之。請注意，上述之相機模組並不需要被校正，更具體地說，於此實施例中，該相機模組並未以所述之不同的視角來校正之。
於步驟220中，處理電路110係依據該影像資料來扭曲該複數個影像以對該複數個影像執行一影像對準操作，其中該複數個影像係依據一組參數來扭曲，以及該組參數係藉由找出受限於複數個物理相機參數之複數個預定範圍的一解來得到，更具體地說，該影像對準操作可包含一垂直對準操作(vertical alignment)以及一水平對準操作(horizontal alignment)，其中該水平對準操作通常於該垂直對準操作被執行之後才會執行，舉例來說，該水平對準操作係執行於一視差分析(disparity analysis)之中，其中該視差分析係用來分析該垂直對準操作之複數個扭曲影像(warped image)。請注意，以上僅供說明之需，並非用來作為本發明之限制。於一實作範例中，該水平對準操作之開始/準備(beginning/preparation)可於該垂直對準操作之開始/準備已被執行之後才執行，以及該水平對準操作及該垂直對準操作可於複數個扭曲操作執行完畢時同時完成。
為了在上述操作期間能達到更好的性能，於一較佳實施例中，處理電路110可利用執行下列子步驟(sub-step)(1)、(2)、(3)、(4)及(5)來預先決定上述之該複數個物理相機參數之該複數個預定範圍。
(1)處理電路110控制相機模組130來擷取一基礎影像(base image)(例如，步驟210所述之該複數個影像之中的一影像)；(2)處理電路110控制相機模組130擷取複數個參考影像 (reference image)(例如，步驟210所述之該複數個影像之中的其他影像)；(3)處理電路110記錄每一參考影像所對應的一組物理相機參數，其中上述之該組物理相機參數可以是上述之相機模組130與位置/座標相關的物理參數(例如，相機模組130的視線方向/角度)，以及也可包含與位置/座標無關的物理參數(例如，相機模組130的焦距(focal length)或其他透鏡參數(lens parameter))；(4)處理電路110依據所記錄之該組物理相機參數來扭曲該基礎影像以比對(match)每一參考影像，因此產生對應於每一參考影像的一連串的扭曲基礎影像(warped base image)；以及(5)處理電路110藉由查明複數個扭曲基礎影像與該複數個參考影像之間的差異是否可由人眼視覺(human vision)來分辨，來決定出該複數個物理相機參數之該複數個預定範圍，其中用來判斷上述之差異是否可由人眼視覺來分辨的準則可基於複數個預定規則來事先定義。
因此，為了在第4圖所述之操作期間能達到較佳的性能，處理電路110最後會決定出該複數個物理相機參數之該複數個預定範圍，如此一來，對於分別位於該複數個物理相機參數之該複數個預定範圍內的任一組物理相機參數(例如，每一參數均位於上述之該複數個預定範圍之相對應的預定範圍內的一組物理相機參數)來 說，人眼視覺便分辨不出來對應於該組物理相機參數之任一扭曲基礎影像與該複數個參考影像之間的差異。
請注意，透過執行上述之子步驟(1)、(2)、(3)、(4)及(5)，可找到受限於上述之複數個物理相機參數之複數個預定範圍的該解(亦即，說明步驟220時所提及的解)，其中當任意扭曲操作所相關的物理相機參數維持在上述之該複數個物理相機參數之該複數個預定範圍內時，該解係允許該基礎影像被任意地扭曲。於一較佳實施例中，由於上述之該複數個物理相機參數之該複數個預定範圍係藉由查明所扭曲之複數個基礎影像與該複數個參考影像之間的差異是否可由人眼視覺來分辨來決定，故該解可確保任意扭曲操作不會造成可由人眼視覺分辨的失真，因此，不會發現有失真存在。
於此實施例中，子步驟(1)、(2)、(3)、(4)及(5)係為用來決定上述之該複數個物理相機參數之該複數個預定範圍的實作範例，然而，以上僅供說明之需，並非用來作為本發明之限制。於一實作範例中，並不需要執行所有的子步驟(1)、(2)、(3)、(4)及(5)。於另一實作範例中，亦可包含其他的子步驟。
第5圖為第4圖所示之影像處理方法200所涉及之一學習/訓練程序(learning/training procedure)的期間所產生的一輸入影像500及複數個轉換影像512、514、522及532的示意圖，其中該學習/訓練程序係用來決定一預定解空間(predefined solution space)(例 如，一預先訓練(pre-trained)的解空間)。
由第5圖可知，為了要找出步驟220的說明內容中所提及的該解，處理電路110係利用執行複數個扭曲操作來對輸入影像500執行複數個相似轉換操作(similarity transformation)，以產生複數個轉換影像512、514、522及532。請注意，於該學習/訓練程序的期間所執行的該複數個扭曲操作可能會造成可見失真，其中可見失真係允許出現在該學習/訓練程序的期間。於此實施例中，用來判斷第4圖所示之實施例中子步驟(5)所述之差異是否可由人眼視覺來分辨的準則係基於複數個預定規則來事先定義，因此，步驟220的說明內容中所提及的該解可作為該預定解空間。舉例來說，處理電路110係提供一介面(interface)予一使用者，以允許該使用者判斷所考慮的一轉換影像(例如，複數個轉換影像512、514、522及532的其中之一)是否具有人眼視覺可分辨的失真。當該使用者判斷所考慮的該轉換影像沒有任何失真時，處理電路110會擴充該預定解空間(例如，該預定解空間會被擴充到包含對應於所考慮的該轉換影像的物理相機參數之範圍)；反之，處理電路110會縮減該預定解空間(例如，該預定解空間會被縮減到不包含對應於所考慮的該轉換影像的物理相機參數之範圍)。請注意，輸入影像500可以是第4圖所示之實施例中子步驟(1)所述之基礎影像。以上僅供說明之需，並非用來作為本發明之限制。於一實作範例中，輸入影像500可以是第4圖所示之實施例中子步驟(2)所述之該複數個參考影像的其中之一。
由於執行了該複數個相似轉換操作，處理電路110最後會決定出上述之該複數個物理相機參數的該複數個預定範圍，其中限定於該預定解空間內的任一扭曲影像均不會具有任何人眼視覺可分辨的失真，舉例來說，在轉換影像522係為位於該預定解空間內之一扭曲影像的情形下，對應於轉換影像522之該複數個相似轉換操作可被視為物理相機參數所相關之視覺上感覺不到(visually insensible)的三維相似轉換操作，其中「視覺上感覺不到」一般代表「很難用人眼視覺來分辨出扭曲影像的變形(deformation)」。其他與上述之實作範例相似的說明在此便不再贅述。
在以下的複數個實施例(例如，第6圖~第10圖所示之實施例)中，藉由關於上述之該解(例如，該預定解空間(例如，該預先訓練的解空間))的學習/訓練結果，處理電路110得以執行視覺上感覺不到的影像扭曲操作，因此，步驟220的說明內容中所提及的該影像對準操作(例如，該垂直對準操作以及該水平對準操作)以及相關的影像扭曲操作(若有的話，其係用以重現上述之該三維視覺效果)均不會造成人眼視覺可分辨的失真。
第6圖係為得自於涉及第4圖所示之影像處理方法200之多視角垂直對準操作的複數個影像612、614及616的示意圖。於此實作範例中，第6圖所述之多視角垂直對準操作係為步驟220的說明內容中所提及的垂直對準操作的一實作範例。
由第6圖可知，分別於複數個影像612、614及616中所示之視訊物體(video object)係為真實世界中同一物體，舉例來說，複數個影像612、614及616之中的每一影像係包含同一人的一部份影像，且另包含同一標誌(logo)(繪示為具扭曲形狀的“LOGO”)的一部份影像。處理電路110係對複數個影像612、614及616之中的每一影像執行特徵擷取操作，以及對複數個影像612、614及616之中的每一影像執行特徵比對操作以找出複數個影像612、614及616之中彼此共同的特徵點(feature point)(例如，劃過第6圖中複數個影像612、614及616的三條虛線上的小圓點)，舉例來說，在複數個影像612、614及616之中的每一影像中，共同特徵點的其中之一可位於該標誌的右上角，共同特徵點的其中之另一可位於該標誌的左下角，以及共同特徵點的其中之另一可位於此人衣著的交界處。
在執行多視角垂直對準操作的期間，處理電路110會對複數個影像612、614及616之複數個原始影像(original image)執行旋轉及/或平移操作以對準複數個影像612、614及616，其中複數個影像612、614及616之複數個原始影像係分別對應於三視角(或三視線)的多視角影像，且於此實施例中係為步驟210所述之該複數個影像的一部份。由於執行了多視角垂直對準操作，複數個影像612、614及616之中的共同特徵點係分別對準同一垂直位置(或同一水平位置(例如，第6圖所示之三條虛線))，其中劃過第6圖之中的複數個影像612、614及616的虛線係指示出多視角垂直對準操作的對準 結果，因此，處理電路110會對幾何限制(geometric constraint)執行最佳化(optimization)以解出一預定解空間(例如，上述之預定解空間)內的最佳相機參數，更具體地說，一預定的視覺上感覺不到的解空間。其他與上述之實作範例相似的說明在此便不再贅述。
第7圖係為得自於涉及第4圖所示之影像處理方法200之多視角垂直對準操作的複數個影像612、614及616的其中之一(例如，影像612)以及得自於涉及第4圖所示之影像處理方法200之水平對準操作的一相關影像622的示意圖。第8圖係為得自於涉及第4圖所示之影像處理方法200之多視角垂直對準操作的複數個影像612、614及616其中之一(例如，影像614)以及得自於涉及第4圖所示之影像處理方法200之水平對準操作的一相關影像624的示意圖。第9圖係為得自於涉及第4圖所示之影像處理方法200之多視角垂直對準操作的複數個影像612、614及616其中之一(例如，影像616)以及得自於涉及第4圖所示之影像處理方法200之水平對準操作的一相關影像626的示意圖。
第7圖、第8圖及第9圖所揭示之水平對準操作係為步驟220的說明內容中所提及的水平對準操作的實作範例。實作上，處理電路110可執行一視差直方圖分析(disparity histogram analysis)以供扭曲影像的二維平移(two-dimensional translation，2D translation)之用，舉例來說，為了要產生複數個影像612、614及616之中每一影像的視差直方圖(例如，如第10圖所示之視差直方圖)，處理電 路110會計算出複數個影像612、614及616之中每一影像的相關於位移(displacement)(更具體地說，水平位移)的像素(pixel)個數。由第10圖可知，水平軸代表所考慮之影像內的至少一像素(例如，單一像素或一組像素)相較於某一影像來說的位移(更具體地說，水平位移)，以及垂直軸代表像素的個數，其中所考慮之影像可為複數個影像612、614及616的其中之一，以及上述之某一影像可為一基礎影像或選自複數個影像612、614及616之其一的一特定影像。透過執行該視差直方圖分析，處理電路110可決定是否或如何裁剪所考慮之影像，以執行水平對準操作，舉例來說，處理電路110係利用裁剪影像612的一部份來對影像612執行水平對準操作以得到影像622。於另一實作範例中，處理電路110係利用裁剪影像614的一部份來對影像614執行水平對準操作以得到影像624。於另一實作範例中，處理電路110係利用裁剪影像616的一部份來對影像616執行水平對準操作以得到影像626。其他與上述之實作範例相似的說明在此便不再贅述。
於本發明之一實施例(例如，第5圖~第10圖所示之實施例的一組合)中，處理電路110係執行上述之學習/訓練程序、多視角垂直對準操作及水平對準操作，並且另執行一序列重現操作(sequence reproduction)，以重現上述之三維視覺效果，舉例來說，為了要基於一影像序列(image sequence){612、{613-1、613-2、…}、614、{615-1、615-2、…}、616}之影像來顯示動畫，處理電路110係利用產生一連串的扭曲影像{613-1、613-2、...}(由影像612變化 至影像614)及一連串的扭曲影像{615-1、615-2、...}(由影像614變化至影像616)來輸出影像序列{612、{613-1、613-2、...}、614、{615-1、615-2、...}、616}，以執行該序列重現操作而重現該三維視覺效果。其他與上述實作範例相似的說明在此便不再贅述。
第11圖係為第1圖所示之裝置100之一實作範例的示意圖，其中處理電路110係包含有涉及第4圖所示之影像處理方法200的複數個處理模組(processing module)，以及在有需要的時候，處理電路110可藉由複數個運動感測器(motion sensor)140所產生之運動資訊(motion information)的輔助而選擇性地運作。於一實作範例中，上述之複數個處理模組可包含一特徵擷取模組(feature extraction module)1102、一特徵比對模組(feature matching module)1104、一經訓練之相機參數前級模組(trained camera parameter prior module)1112、一多視角垂直對準模組(multi-view vertical alignment module)1114、一水平對準模組(horizontal alignment module)1116、一多種三維視覺效果使用者介面模組(various three-dimensional visual effect user interface，various 3D visual effect UI)1118以及一影像扭曲模組(image warping module)1122。
基於輸入至處理電路110的一輸入序列(更具體地說，該輸入序列之影像資料，例如，步驟210所述之複數個影像之影像資料)，特徵擷取模組1102及特徵比對模組1104係分別用以執行上述之特徵擷取操作及特徵比對操作，而經訓練之相機參數前級模組1112則 是用來儲存關於上述之該解(例如，該預定解空間)的學習/訓練結果，更具體地說，於學習/訓練程序的期間所得到的複數個經訓練之相機參數。另外，多視角垂直對準模組1114及水平對準模組1116係分別用來執行上述之多視角垂直對準操作的至少一部份(例如，一部份或全部)以及上述之多水平對準操作的至少一部份(例如，一部份或全部)，而影像扭曲模組1122則是在有需要的時候，用來執行影像扭曲操作(更具體地說，上述之視覺上感覺不到的影像扭曲操作)。再者，多種三維視覺效果使用者介面模組1118係用以重現上述之三維視覺效果，更具體地說，在有需要時，用以執行不同的三維視覺效果。
於此實施例中，由於處理電路110可無需運動感測器140所產生之運動資訊的輔助便可準確且正確地運作，故可省略運動感測器140，因此，由運動感測器140至處理電路110的資訊傳輸路徑係以虛線來繪示之，以指示出運動感測器140可以是一非必要(optional)元件，然而，在裝置100設置運動感測器140於其中的情形下，由於上述之運動資訊可有所助益，故可降低處理電路110的計算負荷。其他與上述實作範例相似的說明在此便不再贅述。
第12圖係為涉及第4圖所示之影像處理方法200之全域/局部座標轉換(global/local coordinate transformation)的操作下的兩個影像IMG1及IMG2的示意圖，以及第13圖係為執行於第12圖所示之兩個影像IMG1及IMG2的全域/局部座標轉換的示意圖。
由第12圖可知，處理電路110可藉由分別對影像IMG1及IMG2執行轉動、平移、裁剪及/或扭曲操作來對影像IMG1及IMG2進行影像處理，其中分別繪示於第12圖所示之影像IMG1及IMG2之中的扭曲矩形(亦即，不是以虛線來描繪的多邊形)可分別表示為影像IMG1及IMG2之處理結果。由第13圖可知，處理電路110可利用在一組全域座標(set of global coordinates)上虛擬地重疊(virtually overlap)影像IMG1及IMG2及其處理結果，來決定出影像IMG1及IMG2之每一處理結果的一裁剪區域，其中該組全域座標係可視為用來處理影像IMG1及IMG2的一組共同全域座標。舉例來說，於該組全域座標上，影像IMG1的起始點可設為原點，以及影像IMG2的起始點可設為在水平軸上的一特定點，而該裁剪區域可為影像IMG1及IMG2之處理結果中可同時得到的最大矩形區域。
實作上，影像IMG1之起始點及IMG2之起始點可基於觀賞者(例如，使用者)的眼睛到焦點(point of focus)之間的建議距離(例如，觀賞者與觀賞者之兩眼視線交會的交會點之間的建議距離，更具體地說，建議的水平距離)來決定，舉例來說，在該三維視覺效果應為三維顯示(3D display)(或立體顯示(stereoscopic display))的情形下，處理電路110可將影像IMG1及IMG2對準至背景的運動(background motion)，其中第14圖所示之實施例即為此情形，因此，影像IMG1之起始點及影像IMG2之起始點可彼此靠近。於另一實作範例中，在該三維視覺效果應為上述之多視角視覺效果的情形下，處理電路110可將影像IMG1及IMG2對準至前景的運動 (foreground motion)，其中第15圖所示之實施例即為此情形，因此，相較於第14圖所示之實施例來說，影像IMG1之起始點及影像IMG2之起始點可彼此遠離。
第16圖係為涉及第4圖所示之影像處理方法200的複數個顯示模式的一肖像模式(portrait mode)的示意圖，以及第17圖係為涉及第4圖所示之影像處理方法200的複數個顯示模式的一全景模式(panorama mode)的示意圖，其中處理電路110係得以於複數個顯示模式中之不同的顯示模式之間進行切換，更具體地說，處理電路110係得以於該肖像模式與該全景模式之間進行切換。
請參閱第16圖。舉例來說，上述之預定解空間(亦即，預先訓練的解空間)所限定的複數個扭曲影像係與前景(例如，應位於觀賞者之前的男演員/女演員的位置)對準。當偵測到需要切換到該全景模式時(例如，觀賞者(例如，使用者)觸發切換操作，或預定計時器(timer)觸發切換操作)，處理電路110會以反序方式(reverse order)來將該複數個扭曲影像重新排列，並將重新排列之扭曲影像作為該全景模式之扭曲影像，其中第16圖所示之最左側的扭曲影像(亦即，第16圖之扭曲影像IMG11)係作為第17圖所示之最右側的扭曲影像(亦即，第17圖之扭曲影像IMG11)，以及第16圖所示之最右側的扭曲影像(亦即，第16圖之扭曲影像IMG17)係作為第17圖所示之最左側的扭曲影像(亦即，第17圖之扭曲影像IMG17)。以上僅供說明之需，並非用來作為本發明之限制。於一實 作範例中，在處理電路110先準備該全景模式之扭曲影像的情形下，當偵測到需要切換到該肖像模式時(例如，觀賞者(例如，使用者)觸發切換操作，或預定計時器觸發切換操作)，處理電路110會以反序方式來將該複數個扭曲影像重新排列，並將重新排列之扭曲影像作為該肖像模式之扭曲影像。其他與上述實作範例相似的說明在此便不再贅述。
基於上述實施例/實作範例，影像處理方法200係包含依照上述之預定解空間(例如，該預先訓練的解空間)來執行自動多重影像對準操作(automatic multiple image alignment)，以自一影像序列重現該三維視覺效果，其中該影像序列之中的每一影像可由一未經校正的相機模組(例如，相機模組130)或一未經校正的手持式相機來擷取，更具體地說，影像處理方法200係包含學習由複數個物理相機參數組成的一模型，其中該複數個物理相機參數可用來執行視覺上感覺不到的影像扭曲操作。另外，所考慮之參數的實作範例可包含用於旋轉變化的外部參數(extrinsic parameter)、用於相機校正矩陣(camera calibration matrix)及透鏡畸變(lens distortion)的內部參數(intrinsic parameter)。由輸入序列相對應之特徵點可知，影像處理方法200另包含執行受限於經學習之相機參數(learned camera parameter)的多視角垂直對準操作，其中對準操作過程會產生人眼視覺感覺不到的影像扭曲操作之最佳化受限的問題，此外，影像處理方法200另包含透過來自經垂直對準操作之比對點(matching point)的該視差分析來執行該水平對準操作。另外，影 像處理方法200另包含使用所擷取之對準資訊及扭曲影像序列以透過使用者介面(例如，一圖形使用者介面(graphical user interface，GUI))來重現該三維視覺效果。
本發明的優點之一在於本發明所揭示之方法及裝置可產生位於上述之該解(例如，該預定解空間(例如，該預先訓練的解空間))內的扭曲影像，以使人眼視覺感覺不到相關的經學習之幾何變形(learned geometric distortion)，因此，每一重現影像(reproduced image)均不會產生失真，此外，依據經學習之幾何限制(learned geometry constraint)來於該解空間進行的最佳化可持續產生合理的結果。對於本發明所揭示之方法及裝置的實作範例來說，可同時並行相關計算的工作流程，以及可降低相關的運算複雜度且節省所需的記憶體資源(memory resource)。相較於習知技術來說，本發明之方法及裝置具有強健的能力來抵抗影像雜訊及偏差(outlier)。再者，本發明所揭示之方法及裝置保留了在扭曲影像序列中相對的視差/深度資訊(disparity/depth information)，這對於基於影像的三維應用來說是非常重要的。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
50‧‧‧螢幕
100‧‧‧裝置
110‧‧‧處理電路
120‧‧‧儲存單元
130‧‧‧相機模組
140‧‧‧運動感測器
150‧‧‧觸控螢幕
1102‧‧‧特徵擷取模組
1104‧‧‧特徵比對模組
1112‧‧‧經訓練之相機參數前級模組
1114‧‧‧多視角垂直對準模組
1116‧‧‧水平對準模組
1118‧‧‧多種三維視覺效果使用者介面模組
1122‧‧‧影像扭曲模組
第1圖為本發明用來執行影像處理的裝置之一第一實施例的示意 圖。
第2圖為第1圖所示之裝置之一實作範例的示意圖，其中該裝置為一行動電話。
第3圖為第1圖所示之裝置之另一實作範例的示意圖，其中該裝置為一個人電腦(例如，一筆記型電腦)。
第4圖為本發明影像處理方法之一實施例的流程圖。
第5圖為第4圖所示之影像處理方法所涉及之一學習/訓練程序的期間所產生的一輸入影像及複數個轉換影像的示意圖，其中該學習/訓練程序用來決定一預定解空間。
第6圖為得自於涉及第4圖所示之影像處理方法之多視角垂直對準操作的複數個影像的示意圖。
第7圖為得自於涉及第4圖所示之影像處理方法之多視角垂直對準操作的複數個影像的其中之一以及得自於涉及第4圖所示之影像處理方法之水平對準操作的一相關影像的示意圖。
第8圖為得自於涉及第4圖所示之影像處理方法之多視角垂直對準操作的複數個影像其中之一以及得自於涉及第4圖所示之影像處理方法之水平對準操作的一相關影像的示意圖。
第9圖為得自於涉及第4圖所示之影像處理方法之多視角垂直對準操作的複數個影像其中之一以及得自於涉及第4圖所示之影像處理方法之水平對準操作的一相關影像的示意圖。
第10圖為涉及第4圖所示之影像處理方法之一視差直方圖的示意圖。
第11圖為第1圖所示之裝置之一實作範例的示意圖(其中該裝置之 一處理電路包含有涉及第4圖所示之影像處理方法的複數個處理模組，以及在有需要的時候，該處理電路可藉由複數個運動感測器所產生之運動資訊的輔助而選擇性地運作)。
第12圖為涉及第4圖所示之影像處理方法之全域/局部座標轉換的操作下的兩個影像的示意圖。
第13圖為執行於第12圖所示之兩個影像的整體/局部座標轉換的示意圖。
第14圖為涉及第4圖所示之影像處理方法之與背景的運動對準以供三維顯示的兩個影像的示意圖。
第15圖為涉及第4圖所示之影像處理方法之與前景的運動對準以供三維顯示的兩個影像的示意圖。
第16圖為涉及第4圖所示之影像處理方法之複數個顯示模式的一肖像模式的示意圖。
第17圖為涉及第4圖所示之影像處理方法之複數個顯示模式的一全景模式的示意圖。
200‧‧‧方法
210、220‧‧‧步驟

Claims (18)

  1. 一種影像處理方法，包含：接收包含複數個影像之一影像資料，其中該複數個影像係自複數個不同的視角所擷取；選擇該複數個影像其中之一作為一第一影像；以及參考該第一影像，並依據至少一個受限的物理相機參數來扭曲該複數個影像中的剩餘影像，該至少一個受限的物理相機參數係在一學習/訓練程序期間從一預定解空間得到；其中，該學習/訓練程序包含：(1)擷取一基礎影像；(2)自複數個不同的視角擷取複數個參考影像；(3)記錄每一參考影像所對應的一組物理相機參數；(4)依據所記錄之該組物理相機參數來扭曲該基礎影像以比對每一參考影像；以及(5)藉由查明複數個扭曲基礎影像與該複數個參考影像之間的差異是否可由人眼視覺來分辨，來決定該複數個受限的物理相機參數。
  2. 如申請專利範圍第1項所述之影像處理方法，其中該扭曲複數個剩餘影像操作包含一垂直對準操作以及一水平對準操作。
  3. 如申請專利範圍第2項所述之影像處理方法，其中該水平對準操作係於該垂直對準操作被執行之後才會執行。
  4. 如申請專利範圍第3項所述之影像處理方法，其中該水平對準操作係執行於一視差分析之中，以及該視差分析係用來分析該垂直對準操作之複數個扭曲影像。
  5. 如申請專利範圍第1項所述之影像處理方法，其中扭曲複數個剩餘影像操作的步驟另包含：自動執行扭曲該複數個剩餘影像操作以重現一三維視覺效果。
  6. 如申請專利範圍第5項所述之影像處理方法，另包含：產生複數個三維影像以重現該三維視覺效果，其中該複數個三維影像包含不是利用相機所產生的複數個仿真影像。
  7. 如申請專利範圍第5項所述之影像處理方法，其中該三維視覺效果包含一多視角視覺效果。
  8. 如申請專利範圍第5項所述之影像處理方法，其中該三維視覺效果包含一三維全景視覺效果。
  9. 如申請專利範圍第5項所述之影像處理方法，其中該複數個影像係利用一相機模組來擷取，以及該相機模組並未以該複數個不同的視角來校正。
  10. 一種執行影像處理的裝置，該影像處理裝置包含一電子元件的至少一部份，該裝置包含：一儲存單元，用以暫存一資訊；以及一處理電路，用以控制該電子元件之操作、接收包含複數個影像之一影像資料、將該影像資料暫存至該儲存單元、選擇該複數個影像其中之一作為一第一影像，以及參考該第一影像，並依據至少一個受限的物理相機參數來扭曲該複數個影像中的剩餘影像，其中該複數個影像係自複數個不同的視角所擷取，該至少一個受限的物理相機參數係在一學習/訓練程序期間從一預定解空間得到；其中該學習/訓練程序包含：擷取一基礎影像；控制該電子元件自複數個不同的視角擷取複數個參考影像；記錄每一參考影像所對應的一組物理相機參數；依據所記錄之該組物理相機參數來扭曲該基礎影像以比對每一參考影像；以及藉由查明所扭曲之複數個基礎影像與該複數個參考影像之間的差異是否可由人眼視覺來分辨，來決定該複數個受限的物理相機參數。
  11. 如申請專利範圍第10項所述之影像處理裝置，其中該扭曲複數個剩餘影像包含一垂直對準操作以及一水平對準操作。
  12. 如申請專利範圍第11項所述之影像處理裝置，其中該水平對準操作係於該垂直對準操作被執行之後才會執行。
  13. 如申請專利範圍第12項所述之影像處理裝置，其中該水平對準操作係執行於一視差分析之中，以及該視差分析係用來分析該垂直對準操作之複數個扭曲影像。
  14. 如申請專利範圍第10項所述之影像處理裝置，其中該處理電路係自動執行扭曲複數個剩餘影像操作以重現一三維視覺效果。
  15. 如申請專利範圍第14項所述之影像處理裝置，其中該處理電路產生複數個三維影像以重現該三維視覺效果，以及該複數個三維影像包含不是利用相機來產生的複數個仿真影像。
  16. 如申請專利範圍第14項所述之影像處理裝置，其中該三維視覺效果包含一多視角視覺效果。
  17. 如申請專利範圍第14項所述之影像處理裝置，其中該三維視覺效果包含一三維全景視覺效果。
  18. 如申請專利範圍第14項所述之影像處理裝置，其中該複數個影像係利用一相機模組來擷取，以及該相機模組並未以該複數個不同的視角來校正。
TW101131532A 2011-12-23 2012-08-30 影像處理方法以及影像處理裝置 TWI544448B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/335,952 US20130163854A1 (en) 2011-12-23 2011-12-23 Image processing method and associated apparatus

Publications (2)

Publication Number Publication Date
TW201327472A TW201327472A (zh) 2013-07-01
TWI544448B true TWI544448B (zh) 2016-08-01

Family

ID=48638991

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101131532A TWI544448B (zh) 2011-12-23 2012-08-30 影像處理方法以及影像處理裝置

Country Status (3)

Country Link
US (2) US20130163854A1 (zh)
CN (2) CN105187814B (zh)
TW (1) TWI544448B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9013558B2 (en) * 2012-07-02 2015-04-21 Sony Corporation System and method for alignment of stereo views
KR20150091064A (ko) * 2012-11-30 2015-08-07 톰슨 라이센싱 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템
JP6450064B2 (ja) * 2013-03-18 2019-01-09 任天堂株式会社 情報処理装置、動画データのデータ構造、情報処理システム、動画再生プログラム、および、動画の再生方法。
US10033989B2 (en) * 2013-07-05 2018-07-24 Mediatek Inc. Synchronization controller for multi-sensor camera device and related synchronization method
ES2968868T3 (es) 2013-12-13 2024-05-14 Huawei Device Co Ltd Método y terminal para adquirir una imagen panorámica
US9883118B2 (en) 2014-03-24 2018-01-30 Htc Corporation Method of image correction and image capturing device thereof
US9436278B2 (en) 2014-04-01 2016-09-06 Moju Labs, Inc. Motion-based content navigation
US20160140733A1 (en) * 2014-11-13 2016-05-19 Futurewei Technologies, Inc. Method and systems for multi-view high-speed motion capture
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN106792223A (zh) * 2016-12-31 2017-05-31 天脉聚源（北京）科技有限公司 互动界面中多画面播放的方法和装置
CN107050859B (zh) * 2017-04-07 2020-10-27 福州智永信息科技有限公司 一种基于unity3D的拖动相机在场景中位移的方法
KR102442449B1 (ko) * 2017-09-01 2022-09-14 삼성전자주식회사 영상 처리 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN107610179B (zh) * 2017-09-04 2021-01-05 苏州佳世达电通有限公司 一种影像撷取装置的校正方法
CN109785390B (zh) * 2017-11-13 2022-04-01 虹软科技股份有限公司 一种用于图像矫正的方法和装置
CN109785225B (zh) * 2017-11-13 2023-06-16 虹软科技股份有限公司 一种用于图像矫正的方法和装置
WO2019164497A1 (en) * 2018-02-23 2019-08-29 Sony Mobile Communications Inc. Methods, devices, and computer program products for gradient based depth reconstructions with robust statistics
US11120526B1 (en) * 2019-04-05 2021-09-14 Snap Inc. Deep feature generative adversarial neural networks
CN111340015B (zh) * 2020-02-25 2023-10-20 北京百度网讯科技有限公司 定位方法和装置
TWI784605B (zh) * 2021-06-29 2022-11-21 倍利科技股份有限公司 影像拼接方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
GB2372659A (en) * 2001-02-23 2002-08-28 Sharp Kk A method of rectifying a stereoscopic image
US20080310760A1 (en) * 2005-11-14 2008-12-18 Koninklijke Philips Electronics, N.V. Method, a System and a Computer Program for Volumetric Registration
US20070165942A1 (en) * 2006-01-18 2007-07-19 Eastman Kodak Company Method for rectifying stereoscopic display systems
JP2009077234A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
JP5321011B2 (ja) * 2008-11-25 2013-10-23 ソニー株式会社 画像信号処理装置、画像信号処理方法および画像投射装置
US10080006B2 (en) * 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US20110279641A1 (en) * 2010-05-14 2011-11-17 New York University Apparatus, systems, computer-accessible medium and methods for video cropping, temporally-coherent warping and retargeting
US8817080B2 (en) * 2010-12-02 2014-08-26 At&T Intellectual Property I, L.P. Location based media display
US8452081B2 (en) * 2011-01-11 2013-05-28 Eastman Kodak Company Forming 3D models using multiple images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統

Also Published As

Publication number Publication date
TW201327472A (zh) 2013-07-01
US20140286567A1 (en) 2014-09-25
CN105187814A (zh) 2015-12-23
US9123125B2 (en) 2015-09-01
CN105187814B (zh) 2017-05-17
CN103179413A (zh) 2013-06-26
US20130163854A1 (en) 2013-06-27
CN103179413B (zh) 2015-10-28

Similar Documents

Publication Publication Date Title
TWI544448B (zh) 影像處理方法以及影像處理裝置
US11756223B2 (en) Depth-aware photo editing
US11978225B2 (en) Depth determination for images captured with a moving camera and representing moving features
US10915998B2 (en) Image processing method and device
US10469821B2 (en) Stereo image generating method and electronic apparatus utilizing the method
JP4938093B2 (ja) ２ｄ−ｔｏ−３ｄ変換のための２ｄ画像の領域分類のシステム及び方法
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
US9961334B2 (en) Simulated 3D image display method and display device
CN109922255A (zh) 用于生成实时深度图的双相机系统
TW201220817A (en) Camera system and image-shooting method with guide for taking stereo photo and method for automatically adjusting stereo photo
US9774833B2 (en) Projector auto-focus correction with the aid of a camera
TW201445977A (zh) 影像處理方法及影像處理系統
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
KR20190027079A (ko) 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
TWI613904B (zh) 立體影像產生方法及使用此方法的電子裝置
JP2013038454A (ja) 画像処理装置および方法、並びにプログラム
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
CN106713893A (zh) 手机3d立体拍照方法
Wang et al. A common feature-based disparity control strategy in stereoscopic panorama generation
KR20170043202A (ko) 영상 촬영 장치 및 이의 제어 방법
KR20160056132A (ko) 영상 변환 장치 및 그 영상 변환 방법
KR20150026358A (ko) 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
WO2024072722A1 (en) Smooth continuous zooming in a multi-camera system by image-based visual features and optimized geometric calibrations
US10027887B1 (en) Dynamic 3D panoramas
CN117729320A (zh) 图像显示方法、设备及存储介质

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees