TW201935912A - 影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體 - Google Patents

影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體 Download PDF

Info

Publication number
TW201935912A
TW201935912A TW107146546A TW107146546A TW201935912A TW 201935912 A TW201935912 A TW 201935912A TW 107146546 A TW107146546 A TW 107146546A TW 107146546 A TW107146546 A TW 107146546A TW 201935912 A TW201935912 A TW 201935912A
Authority
TW
Taiwan
Prior art keywords
image
camera
lens
measurement unit
processing circuit
Prior art date
Application number
TW107146546A
Other languages
English (en)
Other versions
TWI694719B (zh
Inventor
俞文翔
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201935912A publication Critical patent/TW201935912A/zh
Application granted granted Critical
Publication of TWI694719B publication Critical patent/TWI694719B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

一種影像處理方法，包含：於一第一時間戳藉由一相機獲得一第一影像，並藉由一位置感測器獲得一第一透鏡位置；藉由一慣性測量單元感測器獲得一IMU訊號，該IMU訊號指示該相機於該第一時間戳與一第二時間戳之間的移動；於該第二時間戳藉由該相機獲得一第二影像，並藉由該位置感測器獲得一第二透鏡位置；藉由一處理電路依據該第一透鏡位置、該第二透鏡位置以及該IMU訊號計算該第一影像與該第二影像之一相對幾何值；以及於該相對幾何值達到一幾何臨界值的條件下，藉由該處理電路基於該相對幾何值對該第一影像與該第二影像執行一深度計算。

Description

影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體
本揭露關於一種電子裝置以及一種影像處理方法，特別是關於一種與電腦視覺相關的電子裝置以及影像處理方法。
現今，電腦視覺方法廣泛使用於各種應用中。例如，可以應用深度計算來偵測影像中物件的距離。
本揭露之一目的係提供一種影像處理方法。依據本揭露一些實施例，該影像處理方法包含：於一第一時間戳藉由一相機獲得一第一影像，並藉由一位置感測器獲得一第一透鏡位置；藉由一慣性測量單元感測器獲得一IMU訊號，該IMU訊號指示該相機於該第一時間戳與一第二時間戳之間的移動；於該第二時間戳藉由該相機獲得一第二影像，並藉由該位置感測器獲得一第二透鏡位置；藉由一處理電路依據該第一透鏡位置、該第二透鏡位置以及該IMU訊號計算該第一影像與該第二影像之一相對幾 何值；以及於該相對幾何值達到一幾何臨界值的條件下，藉由該處理電路基於該相對幾何值對該第一影像與該第二影像執行一深度計算。
本揭露之另一目的提供一種電子裝置。依據本揭露一些實施例，該電子裝置包含一處理電路、一電連接至該處理電路的相機、一電連接至該處理電路的位置感測器、一慣性測量單元感測器電連接至該處理電路、一記憶體電連接至該處理電路，以及一或多個程式。該一或多個程式被儲存於該記憶體中，並且係用以被該處理電路執行。該一或多個程式包含指令用來：於一第一時間戳控制該相機獲得一第一影像，並控制該位置感測器獲得一第一透鏡位置；控制該慣性測量單元感測器以獲得一IMU訊號，該IMU訊號指示該相機於該第一時間戳與一第二時間戳之間的移動；於該第二時間戳控制該相機獲得一第二影像，並控制該位置感測器獲得一第二透鏡位置；依據該第一透鏡位置、該第二透鏡位置以及該IMU訊號計算該第一影像與該第二影像之一相對幾何值；以及於該相對幾何值達到一幾何臨界值的條件下，基於該相對幾何值對該第一影像與該第二影像執行一深度計算。
本揭露另一目的又提供一種非暫態電腦可讀取儲存媒體。依據本揭露一些實施例，該非暫態電腦可讀取儲存媒體儲存一或多個程式，其包含指令，當被執行時使一處理電路執行操作，該些操作包含：於一第一時間戳控制一相機獲得一第一影像，並控制一位置感測器獲得一第一透鏡位置；控制一慣性測量單元感測器以獲得一IMU訊號，該IMU訊號指示該相機於該第一時間戳與一第二時間戳之間的移動；於該第二時間戳控制該相機獲得 一第二影像，並控制該位置感測器獲得一第二透鏡位置；依據該第一透鏡位置、該第二透鏡位置以及該IMU訊號計算該第一影像與該第二影像之一相對幾何值；以及於該相對幾何值達到一幾何臨界值的條件下，基於該相對幾何值對該第一影像與該第二影像執行一深度計算。
為讓本案之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附符號之說明如下：
100‧‧‧電子裝置
110‧‧‧處理電路
120‧‧‧記憶體
130、130a、130b‧‧‧相機
140‧‧‧位置感測器
132、132a、132b‧‧‧透鏡
150‧‧‧慣性測量單元感測器
160、160a、160b‧‧‧致動器
200‧‧‧目標物件
900‧‧‧影像處理方法
P1‧‧‧程式
T1~Tn‧‧‧時間戳
d1~d3‧‧‧距離
S1~S7‧‧‧操作
為讓本揭露之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下：第1圖係為依據本揭露一些實施例之一電子裝置的示意方塊圖；第2圖係為依據本揭露一些實施例之一影像處理方法的流程圖；第3圖係說明依據本揭露一些實施例之電子裝置的操作；第4圖係為說明依據本揭露另外一些實施例之影像處理方法的流程圖；以及第5圖係為依據本揭露另外一些實施例之電子裝置的示意方塊圖。
以下將以圖式及詳細說明闡述本揭露之精神，任何所屬技術領域中具有通常知識者在瞭解本揭露之較佳實施例後，當可由本揭露所教示之技術，加以改變及修飾，其並不脫離本揭露之精神與範圍。
應當理解，在本文的描述和其後的所有專利範圍中，當一個元件被稱為被『連接』或『耦合』到另一個元件時，它可以被直接連接或耦合到另一個元件，或者可能存在插入元件。相比之下，當一個元件被稱為『直接連接』或『直接耦合』到另一個元件時，則不存在插入元件。此外，『電連接』或『連接』還可以指兩個或多個元件之間的相互操作或相互作用。
應當理解，在本文的描述和其後的所有專利範圍中，雖然『第一』、『第二』、...等詞彙可以使用來描述不同元件，但是這些元件不應該被這些術語所限制。這些詞彙只限於用來區分單一元件與另一個元件。例如，一第一元件也可被稱為一第二元件，類似地，一第二元件也可被稱為一第一元件，而不脫離實施例的範圍。
應當理解，在本文的描述和其後的所有專利範圍中，在本文中所使用的用詞『包含』、『包括』、『具有』、『含有』等等，均為開放性的用語，即意指『包含但不限於』。
應當理解，在本文的描述和其後的所有專利範圍中，所使用的『及/或』包含相關列舉項目中一或多個項目的任意一個以及其所有組合。
應當理解，在本文的描述和其後的所有專利範圍中，所使用的方向用語在後續實施例的描述中，例如：上、下、左、右、前、後等，僅是相對附加圖式的方向。因此，使用的方向用語是用來說明並非用來限制本揭露。
應當理解，在本文的描述和其後的所有專利範圍中，除非另有定義，使用的所有術語(包括技術和科學術語)與 本揭露所屬領域技術人員所理解的具有相同含義。進一步可以明瞭，除非這裡明確地說明，這些術語，例如在常用字典中所定義的術語，應該被解釋為具有與其在相關領域背景下的含義相一致的含義，而不應被理想化地或過於正式地解釋。
專利範圍中的任一元件如果沒有明確說明『裝置用於』實施一特定功能，或是『步驟用於』實施一特定功能，不應當被解釋為手段功能用語。
請參照第1圖，第1圖係為依據本揭露一些實施例之一電子裝置100的示意方塊圖。電子裝置100可用以依序擷取複數個影像，並且對影像執行一深度計算以獲得3D資訊，亦即，這些影像的深度資訊。據此，可以依據影像中的物件及/或像素的深度資訊來執行各種影像處理。
例如，於一些實施例中，電子裝置100可為一智慧型手機、一平板電腦、一膝上型電腦或具有一內建數位相機裝置的其他電子裝置。於一些實施例中，電子裝置100可以被應用於虛擬實境(virtual reality,VR)系統/混合實境(mixed reality,MR)系統/擴增實境(augmented reality,AR)系統以提供具有準確物體深度資訊的影像，及/或影像中的像素。例如，電子裝置100可以藉由獨立的頭戴式裝置(HMD)或VIVE HMD來實現。詳細地說，獨立的HMD可以例如做，位置與旋轉的位置資料處理、圖形處理或其他的資料計算。
如第1圖所示，電子裝置100包含一處理電路110、一記憶體120、一相機130、一位置感測器140、一慣性測量單元感測器150以及一致動器160。一或多個程式P1被儲存於記憶體120中， 並且係用以被處理電路110執行，以便執行深度計算。
在結構上，記憶體120、相機130、位置感測器140、慣性測量單元感測器150以及致動器160係分別被電連接到處理電路110。
具體而言，致動器160係連接到相機130之複數個透鏡132，以便依據從處理電路110接收之一控制訊號移動透鏡132。因此，於操作時，透鏡132對於相機130的相對位置可以不同。透鏡132的位置變化可由位置感測器140相應檢測。藉由控制致動器160以調整透鏡132的位置，由相機130拍攝的影像在運動中可以是穩定的，例如手晃、搖頭、車輛中的振動等。因此，可以經由處理電路110、慣性測量單元感測器150以及致動器160的協作來實現光學防手震(Optical Image stabilization,OIS)。
於一些實施例中，處理電路110可以藉由例如一個或多個處理器來實現，如中央處理器及/或微處理器，但是本揭露並不限於此。於一些實施例中，記憶體120包含一或多個記憶裝置，它們中的每個包含，或它們中的多個共同包含一電腦可讀取儲存媒體。電腦可讀取儲存媒體可包含一唯讀記憶體(read-only memory,ROM)、一快閃記憶體、一軟磁碟、一硬碟、一光碟、一快閃碟、一隨身碟、一磁帶、一可從網路存取的資料庫，及/或本揭露所屬領域的普通技術人員可以思及具有相同功能的任何儲存媒體。
為了更好地理解本揭露，將結合第2圖中所示的實施例來討論電子裝置100的詳細操作。第2圖係為依據本揭露一些實施例之一影像處理方法900的流程圖。應當注意的是，影像處理方 法900可以應用於具有與第1圖所示的電子裝置100的結構相同或類似結構的電子裝置。為了簡化以下的描述，將使用第1圖中所示的實施例作為示例，來描述依據本揭露的一些實施例的影像處理方法900。但是，本揭露並不限於應用於第1圖所示的實施例。
如第2圖所示，影像處理方法900包含操作S1、S2、S3、S4及S5。於操作S1中，處理電路110係用以於一第一時間戳，控制相機130以獲得一第一影像，並控制位置感測器140以獲得一第一透鏡位置。
於操作S2中，處理電路110係用以控制慣性測量單元感測器150以獲得一慣性測量單元IMU訊號。IMU訊號指示相機130在第一時間戳與一第二時間戳之間的移動。
於操作S3中，處理電路110係用以於第二時間戳，控制相機130以獲得一第二影像，並控制位置感測器140以獲得一第二透鏡位置。
於操作S4中，處理電路110係用以依據第一透鏡位置、第二透鏡位置以及IMU訊號計算第一影像與第二影像之一相對幾何值。
於操作S5中，處理電路110係用以在相對幾何值達到一幾何臨界值的條件下，基於相對幾何值對第一影像與第二影像執行一深度計算。具體而言，在電腦視覺中，可以從第一影像及第二影像計算差異/視差。標示在擷取多個影像時相機多個位置之間距離的基線，會影響在各自影像平面上兩個不同影像中之一對應點的差異。例如，一較大的基線值可導致跨越於兩個影像間的對應點之一較大像素移位，並且一較小的基線值可導致跨越於兩 個影像間的對應點之一較小像素移位。
藉著使用從不同角度獲得的相同場景之第一影像以及第二影像，便可能對到一物體的距離進行三角測量。亦即，倘若物體很遠，則兩個影像之間的差異將很小。而另一方面，倘若物體是靠近的，則兩個影像之間的差異將很大。當基線增加，，差異會因較大的角度增加，並且深度計算的準確度也可以提高。
請參照第3圖，第3圖係說明依據本揭露一些實施例之電子裝置100的操作。
如第3圖所示，相機130可被用於在時間戳T1~Tn期間，利用相機130的運動在不同位置擷取一目標物件200的複數個影像。
在相機130的運動期間，經由控制連接到相機130透鏡132的致動器160的移動，便能夠對相機130啟用一光學防手震(OIS)，以減少相機130所拍攝影像的模糊。亦即，於一些實施例中，在第一時間戳(例如，時間戳T1)與第二時間戳(例如，時間戳Tn)之間，光學防手震被啟用，並且透鏡132的位置可以被改變以補償不預期的震動。
如第3圖所示，在時間戳T1，可由相機130獲得一第一影像。同時，可以藉由位置感測器140獲得指示透鏡132位置的一第一透鏡位置。因此之故，在時間戳T1的補償距離d1的值可以被處理電路110接收。具體地，位置感測器140可以由例如霍爾感測器的各種裝置實現，但並不限於此。
由於慣性測量單元感測器150可以輸出IMU訊號以指示相機130的運動，相機130在時間戳T1與時間戳Tn間之一移動 距離d2，可被處理電路110所計算與接收。
在時間戳Tn，可由相機130獲得一第二影像。同時，可以藉由位置感測器140獲得指示透鏡132位置的一第二透鏡位置。因此，在時間戳Tn的補償距離d3的值也可以被處理電路110接收。
因此之故，由於距離d1、d2及d3被獲得，可以依據第一透鏡位置、第二透鏡位置與IMU訊號，相應地計算並確定第一影像與第二影像的相對幾何值。
具體地，於一些實施例中，處理電路110可用以依據計算的相對幾何值，決定第二影像是在時間戳T2~Tn中的哪一個時間戳獲得的。換句話說，於一些實施例中，處理電路110可用以計算在兩個不同時間戳之間相機130的一基線距離，並且等待直到基線距離大於一預定值以獲得第二影像。因此，第一影像與第二影像之間的基線距離可大於預定值，也因此基於第一影像與第二影像的深度計算可以因兩個影像之間具有足夠差異或視差而更精確地被執行
例如，在時間戳T2，處理電路110基於當前的透鏡位置以及當前的IMU訊號，可以決定第一影像與第二影像之間的基線距離並沒有達到預定值，並因此而不使用在時間戳T1和T2拍攝的兩個影像來執行深度計算，此係由於時間戳T1與T2之間的差異或視差可能不足以提供準確的深度資訊。
據此，當光學防手震被啟用以減少影像模糊並提高影像品質時，藉由考慮到在不同時間戳的透鏡位置以及不同時間戳之間的IMU訊號，基於兩個時間戳之間的相對幾何值而執行的 深度計算可以是準確的。再者，由於預定值可以被動態配置，可以改變影像的基線以滿足準確度或各種應用的其他要求。當深度計算被執行完後，可以產生包含在影像中被識別的像素及/或物件的3D資訊之一深度地圖。例如，影像的深度地圖可以用於進一步的影像分析及處理，或者用於在VR/MR/AR系統中執行互動操作。
請參照第4圖，第4圖係為說明依據本揭露另外一些實施例之影像處理方法900的流程圖。類似地，為了簡化以下的描述，將使用第1圖中示出的實施例作為示例，來描述影像處理方法900，但是本揭露並不限於此。
與第2圖所示的實施例相較，在本實施例中，影像處理方法900進一步包含操作S6與S7。於操作S6中，處理電路110進一步用以決定在一預設時間段從慣性測量單元感測器150接收的IMU訊號是否低於一預定臨界值。換句話說，處理電路110係用以決定電子裝置100與相機130是否靜止與穩定而沒有移動。接著，於操作S7中，處理電路110係用以控制連接到相機130透鏡132的致動器160以移動透鏡132，以便在IMU訊號低於預定臨界值的條件下獲取具有差異的第一影像與第二影像。
亦即，於一些實施例中，電子裝置100可以主動擷取具有差異的二或多個影像，以便在電子裝置100是靜止的條件下，執行深度計算。
具體地，於一些實施例中，處理電路110可以將致動器160之一速度控制為低於相機130之一快門速度，使得光學防手震仍然可被啟用以減少運動造成的模糊。此外，於一些實施例中， 處理電路110可以控制透鏡132在垂直於透鏡132之一光軸的水平方向上移動，作為實現光學防手震的方向，但是本揭露並不限於此。在一些其他實施例中，處理電路110可以控制透鏡132在垂直於透鏡132的光軸的各個方向上移動。
據此，在電子裝置100有或沒有移動且光學防手震被啟用的情形下，電子裝置100能獲得可由一單個相機130創建之影像的3D資訊內容。
請參照第5圖，第5圖係為依據本揭露另外一些實施例之電子裝置100的示意方塊圖。與第1圖所示的實施例相較，在第5圖的實施例中，電子裝置100可以包含兩個或更多個相機130a與130b，而不是一個單個相機。
相機130a與130b可以分別包含透鏡132a與132b，並且係用以藉由利用相應的致動器160a與160b執行與上述實施例中所述類似的功能。如第5圖所示，位置感測器140係耦接於透鏡132a與132b，並用以分別偵測透鏡132a與132b的位置。除此之外，處理電路110係可用以基於不同相機130a與130b所擷取影像，進一步執行深度計算。
具體地，處理電路110可以於第二時間戳，控制相機130a以獲得第二影像，控制相機130b以獲得第三影像，並且控制位置感測器140以獲得相機130a的第二透鏡位置以及相機130b的一第三透鏡位置。
因此之故，處理電路110可以基於相機130a與130b之間的一固定基線，對相機130a所擷取的第二影像及相機130b所擷取的第三影像，進行深度計算。換句話說，各不同實施例中的 影像處理方法900可以與具有多相機的電子裝置100相容。
於一些實施例中，可以基於由相同相機擷取的具有一變化基線的兩個影像及/或基於由不同相機擷取的具有一固定基線的兩個影像來執行深度計算。據此，藉由使用具有固定基線的影像的深度計算，所創建的3D資訊可以更可靠，因為基線是處理電路110的已知常數。
值得注意的是，於一些實施例中，影像處理方法900可以被實現為一電腦程式。當電腦程式被一電腦、一電子裝置、或是第1圖所示的處理電路110所執行時，此執行裝置執行影像處理方法900。電腦程式可被儲存於一非暫態電腦可讀取儲存媒體，例如，一唯讀記憶體(ROM)、一快閃記憶體、一軟磁碟、一硬碟、一光碟、一快閃碟、一隨身碟、一磁帶、一可從網路存取的資料庫，或本揭露所屬領域的普通技術人員可以思及具有相同功能的任何儲存媒體。
此外，應被注意的是在上述影像處理方法900的操作中，除非另有說明，否則不需要特定的順序。另外，這些操作還可以同時被執行，或者其執行時間可以至少部分重疊。
此外，依據本揭露的各種實施例，影像處理方法900的操作可以適當地被添加、替換及/或消除。
經由上述各種實施例的操作，一個影像處理方法被實現以產生由電子裝置的一個或多個相機所擷取影像的3D內容/深度資訊，並且可以在處理期間啟用光學防手震功能以減少影像的模糊。由於相機的透鏡位置以及IMU訊號被一起考慮，影像的準確基線可以被計算並獲得。因此，影像的品質以及深度資訊的 準確度可以被改善。另外，電子裝置可以在微小運動或是無運動狀態期間主動地移動透鏡，以執行深度計算。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何熟習此技藝者，在不脫離本發明之精神和範圍內，當可作各種之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

Claims (10)

  1. 一種影像處理方法，包含：於一第一時間戳藉由一相機獲得一第一影像，並藉由一位置感測器獲得一第一透鏡位置；藉由一慣性測量單元(inertial measurement unit sensor,IMU)感測器獲得一慣性測量單元訊號，該慣性測量單元訊號指示該相機於該第一時間戳與一第二時間戳之間的移動；於該第二時間戳藉由該相機獲得一第二影像，並藉由該位置感測器獲得一第二透鏡位置；藉由一處理電路依據該第一透鏡位置、該第二透鏡位置以及該慣性測量單元訊號計算該第一影像與該第二影像之一相對幾何值；以及於該相對幾何值達到一幾何臨界值的條件下，藉由該處理電路基於該相對幾何值對該第一影像與該第二影像執行一深度計算。
  2. 如請求項1所述之影像處理方法，其中計算該相對幾何值包含：計算該第一時間戳以及該第二時間戳的該相機之間之一基線距離，其中於該基線距離大於一預定值的條件下，該幾何臨界值被達到。
  3. 如請求項1所述之影像處理方法，更包含：藉由連接到該相機之一透鏡之一致動器，於該慣性測量單元訊號低於一預定臨界值的條件下，移動該透鏡以獲得具有差異之 該第一影像與該第二影像；其中該致動器之一速度係低於該相機之一快門速度；其中該透鏡係用以在垂直於該透鏡之一光軸之一水平方向上移動。
  4. 如請求項1所述之影像處理方法，更包含：於該第一時間戳與該第二時間戳之間，啟用該相機的光學防手震；於該第二時間戳藉由一第二相機獲得一第三影像，並藉由該位置感測器獲得一第三透鏡位置；以及藉由該處理電路基於該相機與該第二相機之間的一固定基線，對該第二影像與該第三影像執行該深度計算。
  5. 一種電子裝置，包含：一處理電路；一相機，電連接至該處理電路；一位置感測器，電連接至該處理電路的；一慣性測量單元感測器，電連接至該處理電路；一或多個程式，其中該一或多個程式被儲存於該記憶體中，並且係用以被該處理電路執行，該一或多個程式包含指令用來：於一第一時間戳控制該相機以獲得一第一影像，並控制該位置感測器獲得一第一透鏡位置；控制該慣性測量單元感測器以獲得一慣性測量單元訊號，該慣性測量單元訊號指示該相機於該第一時間戳與一第二時間戳之間的移動； 於該第二時間戳控制該相機以獲得一第二影像，並控制該位置感測器獲得一第二透鏡位置；依據該第一透鏡位置、該第二透鏡位置以及該慣性測量單元訊號計算該第一影像與該第二影像之一相對幾何值；以及於該相對幾何值達到一幾何臨界值的條件下，基於該相對幾何值對該第一影像與該第二影像執行一深度計算。
  6. 如請求項5所述之電子裝置，其中該一或多個程式更包含指令用來：計算該第一時間戳以及該第二時間戳的該相機之間之一基線距離，其中於該基線距離大於一預定值的條件下，該幾何臨界值被達到。
  7. 如請求項5所述之電子裝置，更包含：一致動器，連接到該相機之一透鏡；以及其中該一或多個程式更包含指令用來：於該慣性測量單元訊號低於一預定臨界值的條件下，控制該致動器移動該透鏡以獲得具有差異之該第一影像與該第二影像；其中該致動器之一速度係低於該相機之一快門速度；其中該透鏡係用以在垂直於該透鏡之一光軸之一水平方向上移動。
  8. 如請求項5所述之電子裝置，更包含：一第二相機，電連接至該處理電路；以及其中該一或多個程式更包含指令用來： 於該第二時間戳控制該第二相機以獲得一第三影像，並控制該位置感測器以獲得一第三透鏡位置；以及基於該相機與該第二相機之間的一固定基線，對該第二影像與該第三影像執行該深度計算。
  9. 一種非暫態電腦可讀取儲存媒體，儲存一或多個程式，其包含指令，當指令被執行時使一處理電路執行操作，該些操作包含：於一第一時間戳控制一相機以獲得一第一影像，並控制一位置感測器獲得一第一透鏡位置；控制一慣性測量單元感測器以獲得一慣性測量單元訊號，該慣性測量單元訊號指示該相機於該第一時間戳與一第二時間戳之間的移動；於該第二時間戳控制該相機以獲得一第二影像，並控制該位置感測器獲得一第二透鏡位置；依據該第一透鏡位置、該第二透鏡位置以及該慣性測量單元訊號計算該第一影像與該第二影像之一相對幾何值；以及於該相對幾何值達到一幾何臨界值的條件下，基於該相對幾何值對該第一影像與該第二影像執行一深度計算。
  10. 如請求項9所述之非暫態電腦可讀取儲存媒體，進一步包含指令，指令被執行時使該處理電路進一步執行操作，該些操作包含：計算該第一時間戳以及該第二時間戳的該相機之間之一基線距離，其中於該基線距離大於一預定值的條件下，該幾何臨界 值被達到；控制連接到該相機之一透鏡之一致動器，於該IMU訊號低於一預定臨界值的條件下，移動該透鏡以獲得具有差異之該第一影像與該第二影像；以及控制該致動器將該透鏡在垂直於該透鏡之一光軸之一水平方向上，以低於該相機之一快門速度之一速度移動。
TW107146546A 2018-02-06 2018-12-21 影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體 TWI694719B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/889,220 US10529084B2 (en) 2018-02-06 2018-02-06 Image processing method, electronic device, and non-transitory computer readable storage medium
US15/889,220 2018-02-06

Publications (2)

Publication Number Publication Date
TW201935912A true TW201935912A (zh) 2019-09-01
TWI694719B TWI694719B (zh) 2020-05-21

Family

ID=65351860

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107146546A TWI694719B (zh) 2018-02-06 2018-12-21 影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體

Country Status (4)

Country Link
US (1) US10529084B2 (zh)
EP (1) EP3522520B1 (zh)
CN (1) CN110121023B (zh)
TW (1) TWI694719B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108574793B (zh) 2017-03-08 2022-05-10 三星电子株式会社 被配置为重新生成时间戳的图像处理设备及包括其在内的电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063441A (en) * 1990-10-11 1991-11-05 Stereographics Corporation Stereoscopic video cameras with image sensors having variable effective position
WO1997003378A1 (en) * 1995-07-07 1997-01-30 International Telepresence Corporation System with movable lens for producing three-dimensional images
US8233077B2 (en) * 2007-12-27 2012-07-31 Qualcomm Incorporated Method and apparatus with depth map generation
US8279267B2 (en) * 2009-03-09 2012-10-02 Mediatek Inc. Apparatus and method for capturing images of a scene
US20110170195A1 (en) * 2010-01-14 2011-07-14 Nikon Corporation Imaging lens, optical apparatus including imaging lens and method for manufacturing imaging lens
KR20130047343A (ko) * 2011-10-31 2013-05-08 엘지이노텍 주식회사 카메라 모듈 및 그의 3차원 사진 획득 방법
KR101888956B1 (ko) * 2012-05-31 2018-08-17 엘지이노텍 주식회사 카메라 모듈 및 그의 오토 포커싱 방법
WO2014097734A1 (ja) * 2012-12-19 2014-06-26 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US20150193971A1 (en) * 2014-01-03 2015-07-09 Motorola Mobility Llc Methods and Systems for Generating a Map including Sparse and Dense Mapping Information
US9633441B2 (en) * 2014-06-09 2017-04-25 Omnivision Technologies, Inc. Systems and methods for obtaining image depth information
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법
US20160269644A1 (en) * 2015-03-13 2016-09-15 Samsung Electro-Mechanics Co., Ltd. Driver for actuator and camera module and method thereof
KR102336447B1 (ko) * 2015-07-07 2021-12-07 삼성전자주식회사 촬영 장치 및 그 동작 방법
TWI584634B (zh) * 2016-03-08 2017-05-21 聚晶半導體股份有限公司 適於產生深度圖的電子裝置與方法
US20170358101A1 (en) * 2016-06-10 2017-12-14 Apple Inc. Optical Image Stabilization for Depth Sensing

Also Published As

Publication number Publication date
EP3522520A1 (en) 2019-08-07
CN110121023A (zh) 2019-08-13
US20190244377A1 (en) 2019-08-08
TWI694719B (zh) 2020-05-21
US10529084B2 (en) 2020-01-07
EP3522520B1 (en) 2022-03-16
CN110121023B (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
CN111147741B (zh) 基于对焦处理的防抖方法和装置、电子设备、存储介质
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
KR102209008B1 (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
US9781405B2 (en) Three dimensional imaging with a single camera
KR20180101466A (ko) 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스
EP2812756A2 (en) Method and system for automatic 3-d image creation
US11839721B2 (en) Information processing apparatus, information processing method, and storage medium
KR20190128110A (ko) 화상 처리장치, 화상 처리장치의 제어방법, 및 컴퓨터 판독가능한 기억매체
CN108260360B (zh) 场景深度计算方法、装置及终端
EP3109695B1 (en) Method and electronic device for automatically focusing on moving object
TWI694719B (zh) 影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體
TWI698837B (zh) 影像處理方法，電子裝置及非暫態電腦可讀取儲存媒體
US20190098215A1 (en) Image blur correction device and control method
JP5988213B2 (ja) 演算処理装置
KR102209908B1 (ko) 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법
US11282223B2 (en) Signal processing apparatus, signal processing method, and imaging apparatus
CN116437207A (zh) 光学防抖方法和装置、电子设备、计算机可读存储介质
KR20150016871A (ko) 촬상 장치, 표시 장치, 촬상 방법 및 촬상 프로그램
JP2021033233A (ja) 像ブレ補正装置及びその制御方法、プログラム、像ブレ補正装置を備える撮像装置
JP2013222190A (ja) カメラと顔認識システムで画面へ立体を表現する方法