TWI436647B - 具有透視失真校正之臉部姿勢之改良 - Google Patents

具有透視失真校正之臉部姿勢之改良 Download PDF

Info

Publication number
TWI436647B
TWI436647B TW099132483A TW99132483A TWI436647B TW I436647 B TWI436647 B TW I436647B TW 099132483 A TW099132483 A TW 099132483A TW 99132483 A TW99132483 A TW 99132483A TW I436647 B TWI436647 B TW I436647B
Authority
TW
Taiwan
Prior art keywords
image
distortion
orientation
camera
captured image
Prior art date
Application number
TW099132483A
Other languages
English (en)
Other versions
TW201121326A (en
Inventor
Hsi-Jung Wu
Chris Yoochang Chung
Xiaojin Shi
James Normile
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201121326A publication Critical patent/TW201121326A/zh
Application granted granted Critical
Publication of TWI436647B publication Critical patent/TWI436647B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Description

具有透視失真校正之臉部姿勢之改良
本發明係關於改良諸如包括於行動計算器件中之視訊相機的影像俘獲器件相對於一主體之定位及定向，且係關於校正所俘獲影像中之失真。
本申請案主張2009年10月16日申請之美國申請案第12/581,043號之優先權。
已開發視訊會議(或視訊電話會議)系統以准許使用者在兩個或兩個以上分開的位置中進行面對面討論。藉由包括參與者之視訊影像，視訊會議可顯著增強通信會期之有效性。舉例而言，亦可交換非語言通信，且可呈現實體物件。因此，已使視訊會議系統適於多種目的，包括遠距教學、遠距醫療及遠端合作。
早期的視訊會議系統需要專用通信電路以使視訊資料能夠按足以提供可接受之圖像品質之速率進行即時傳輸。另外，使用專用編碼器/解碼器(編碼解碼器)系統執行音訊及視訊處理，且常包括多個監視器以支援多點會議。因此，早期的視訊會議系統實施為專用系統，且安裝於固定位置中。最近，通信網路之改良已致使能夠使用通用計算平台發展視訊會議系統之。改良之視訊壓縮演算法亦已開發以減少視訊會議應用之頻寬要求。
許多因素可影響視訊會議系統之感知品質。舉例而言，若圖框率過低，則在接收器件處之視訊呈現可能包括頻閃效應。另外，對於相機相對於主體之一些定向，所接收之影像可能包括明顯失真。俘獲影像之視角及呈現影像之視角中之任一者或兩者可影響透視失真之等級。透視失真可自在處於正常範圍外的焦距下俘獲影像產生，且感知為在所俘獲影像中的一或多個物件之可視扭曲。經由透視失真，相對於其他物件或物件部分，一物件或其一部分可能顯得比正常情況下大。當視角增加且相機與物件之間的距離減小時，透視失真可變得更明顯。
可至少部分校正由(例如，與視訊會議應用相關聯之)相機俘獲的影像中之失真。舉例而言，可使用扭曲演算法校正或補償在俘獲期間引入至影像的失真(例如，由於主體與相機之間的接近性及/或主體相對於相機之角度)之至少一部分。藉由將扭曲技術應用於受到失真影響之影像，可更改影像以給出相機經定向使得其更直接與主體對準之外觀。
本發明之發明者認識到，需要藉由根據影像俘獲器件之實際定向或估計定向應用扭曲技術來校正所俘獲影像中的失真。本發明之發明者亦認識到，需要基於自一或多個感測器(例如，加速度計及迴轉儀中的任一者或兩者)之輸出來判定影像俘獲器件之定向。另外，亦認識到，需要將指示已俘獲影像及已將校正應用於所俘獲影像的回饋提供至使用者。
另外，本發明之發明者認識到，需要基於範圖(model)臉部(例如，二維(2-D)或三維(3-D)範圖)執行失真校正。失真校正可基於的範圖臉部進一步可表示主體，或可為對應於不同個人之臉部。亦認識到，需要根據臉部偵測資訊(包括由使用者供應之臉部位置資訊)執行失真校正。舉例而言，使用者可經由多種輸入介面(包括觸控式螢幕介面)供應臉部位置資訊，例如，臉部之中心點。另外，本發明之發明者認識到，需要將扭曲技術應用於整個所俘獲影像，或僅關於臉部區域應用扭曲技術。舉例而言，扭曲技術可居中於包括於影像中之臉部區域上或僅應用於臉部區域。
另外，本發明之發明者認識到，需要基於預定影像(諸如，在視訊會議前拍攝之初始影像或表示使用者之較佳外觀之理想影像)來校準失真校正。亦認識到，需要至少應用最小的校正等級以移除失真度及增強所俘獲影像的外觀。最小校正等級可基於預定最小傾斜度。另外，亦認識到，需要記錄位置歷史及根據該位置歷史執行失真校正。因此，此處描述之技術及裝置實施用於校正與所俘獲影像(包括結合視訊會議系統或應用所使用之影像)相關聯的失真之至少一部分(例如，透視失真)的演算法。
一般而言，在一態樣中，可實施該等技術以包括：接收一所俘獲之影像、判定用以產生該所俘獲影像之一相機之一定向、基於該相機之該判定出之定向計算一扭曲參數，及基於該計算之扭曲參數將一或多個扭曲技術應用於該所俘獲影像以產生一經失真校正之影像。
該等技術亦可經實施使得判定一定向進一步包括根據一預設定向值判定該相機之該定向。又，該等技術可經實施使得判定一定向進一步包括基於感測器資料判定該相機之該定向。另外，該等技術可經實施以包括接收識別該所俘獲影像中的一臉部位置之輸入。另外，該等技術可經實施以包括根據該識別出之臉部位置將該一或多個扭曲技術應用於該所俘獲影像。另外，該等技術可經實施使得接收識別一臉部位置之輸入進一步包括自一使用者接收界定對應於該臉部位置之邊界的一輸入。
一般而言，在另一態樣中，可將該等技術實施為電腦程式產品，其編碼於一電腦可讀媒體上，可操作以使資料處理裝置執行包括以下之操作：自一相機接收描繪一臉部的一所俘獲影像，其中該所俘獲影像係由一相機產生；分析感測器資料之一項目以判定該相機之一定向；基於該相機之該判定出之定向計算一或多個扭曲參數；及基於該計算之一或多個扭曲參數扭曲該所俘獲影像的至少一部分以產生一經失真校正之影像。
該等技術亦可經實施以包括自與該相機相關聯的一迴轉儀、一加速度計、另一位置或運動感測器或其任何組合接收感測器資料之該項目。另外，該等技術可經實施以進一步可操作以使資料處理裝置執行包括自一加速度計接收該感測器資料之操作。另外，該等技術可經實施使得該相機之該定向包含相對於一垂直平面、一水平平面或相對於另一參考平面的一傾斜角度。該等技術亦可經實施以進一步可操作以使資料處理裝置執行包括自一臉部偵測演算法接收識別該所描繪之臉部之一位置的輸入之操作。另外，該等技術可經實施以進一步可操作以使資料處理裝置執行包括根據該所描繪之臉部的該識別出之位置扭曲該所俘獲影像的該至少一部分之操作。
一般而言，在另一態樣，本發明之標的物可經實施以包括：一相機，其經組態以俘獲視訊影像；一位置感測器；及一計算系統，其耦接至該相機及該位置感測器，該計算系統包括經組態以執行包括以下之操作的一或多個處理器：自該相機接收一所俘獲之視訊影像、自該位置感測器接收感測器資料、分析該所接收之感測器資料以判定該相機之一定向、基於該相機的該判定出之定向計算一扭曲參數及基於該計算之扭曲參數將一或多個扭曲技術應用於該所俘獲之視訊影像以產生一經失真校正之影像。
該等技術亦可經實施使得該一或多個處理器電子設備經進一步組態以執行包括即時地產生該經失真校正之影像之操作。另外，該等技術可經實施使得該位置感測器包含一迴轉儀、一加速度計、一全球定位系統(GPS)處理器、一蜂巢式三角量測處理器、另一運動或位置感測器，或其任何組合。另外，該等技術可經實施使得該計算系統進一步包括一觸控式螢幕顯示器，該觸控式螢幕顯示器經組態以接收來自一使用者之觸控輸入。
該等技術亦可經實施使得該一或多個處理器經進一步組態以執行包括經由該觸控式螢幕顯示器自一使用者接收識別描繪於該所俘獲視訊影像中的臉部上之一或多個位置之輸入之操作。另外，該等技術可經實施使得該一或多個處理器經進一步組態以執行包括根據該臉部上之該所識別的一或多個位置將該一或多個扭曲技術應用於該所俘獲之視訊影像之操作。另外，該等技術可經實施使得與該位置感測器相關聯之一或多個感測器資料偏移可由一使用者手動組態以允許該使用者在不同位置調整該位置感測器。
一般而言，在另一態樣中，該等技術可經實施以包括接收一所俘獲之影像、識別與該所俘獲影像相關聯的一或多個對位點、基於該識別出之一或多個對位點比較該所俘獲影像與一參考影像、回應於該比較判定一或多個扭曲參數及基於該判定出之一或多個扭曲參數將一或多個扭曲技術應用於該所俘獲影像以產生一經失真校正之影像。
一般而言，在另一態樣中，該等技術可實施為一電腦程式產品，其編碼於一電腦可讀媒體上，可操作以使資料處理裝置執行包括以下之操作：接收描繪一臉部的一所俘獲影像、識別與該所俘獲影像相關聯之一或多個對位點、基於該識別出之一或多個對位點比較該所俘獲影像與參考影像、回應於該比較判定一或多個扭曲參數及基於該判定出之一或多個扭曲參數將一或多個扭曲技術應用於該所俘獲影像以產生一經失真校正之影像。
本說明書中描述之技術可經實施以實現下列優勢中之一或多者。舉例而言，該等技術可經實施使得所俘獲影像中的失真可至少部分經校正或補償以在美學上改良視訊會議參與者之外觀。經校正或補償之失真可包括由用以俘獲影像之相機相對於影像之主體(例如，臉部)的定向造成之失真。另外，該等技術可經實施使得藉由應用扭曲技術而產生的經校正之影像提供相機更適當地與主體對準之外觀。該等技術亦可經實施以基於自一或多個所包括之感測器接收的位置資料判定該影像俘獲器件之實際定向。
另外，該等技術可經實施以准許在通信會期期間在不同時間點判定及分析一影像俘獲器件之定向。因此，可基於使用資料判定一較佳定向。另外，可基於當前定向與較佳定向之間的差異判定待應用之校正程度。該等技術亦可經實施以准許判定感測器資料有可能不準確之時間，及准許在此等時間使用一預設定向代替該感測器資料。另外，該等技術亦可經實施以准許一使用者選擇一較佳範圖用於執行扭曲校正。舉例而言，使用者可選擇一表示其理想的臉部描繪之影像(包括另一個人之影像)作為較佳範圖。或者，可使用一校準影像執行扭曲校正。校準影像可由使用者選擇或自動地判定。
另外，該等技術可經實施以准許針對整個影像或針對影像之選定部分校正失真。舉例而言，臉部偵測處理或使用者輸入可用以判定用於在失真校正處理中使用之一臉部區域。可應用失真校正，使得其相對於臉部區域居中。或者，可將失真校正與臉部區域隔離。另外，該等技術可經實施以准許使用者供應(諸如，經由至觸控式螢幕之輸入)界定臉部區域之資訊。
在隨附圖式及以下描述中闡述一或多個實施之細節。自描述及圖式且自申請專利範圍，其他特徵及優勢將顯而易見。
一計算器件(例如)在視訊會議應用之情況下可經組態以執行視訊會議功能。另外，計算器件可經組態以執行一或多個失真校正操作以減少或移除包括於由與計算器件相關聯之相機俘獲之影像中的失真。舉例而言，可在產生可在視訊會議會期中傳輸之經失真校正之影像前即時或幾乎即時地執行失真校正操作。失真校正操作可包括將一或多個扭曲技術應用於所俘獲之影像。扭曲技術可實施為一或多個演算法，經由該一或多個演算法，可調整或扭曲失真之影像以產生經失真校正之影像。扭曲技術可經組態以根據一或多個扭曲參數之一集合調整失真之影像。一或多個扭曲參數之集合可以數學方式表示影像自其經俘獲時之透視至目標透視的變換(或平移)。另外，一或多個扭曲參數之集合可經界定以相對於一維、二維或三維變換影像。
圖1 展示包括經組態以執行及/或促進視訊會議之計算器件之例示性計算環境。計算環境100可為異質分散式計算環境，其包括相異之計算系統，諸如，可分開任一距離之行動計算器件(例如，行動電話105及膝上型電腦115)、桌上型電腦125及伺服器120。計算環境100中包括之計算系統可經組態以經由網路110雙向通信。網路110可為任一類型之通信網路，包括諸如企業內部網路之區域網路(「LAN」)、諸如網際網路之廣域網路(「WAN」)或區域網絡與廣域網路之組合。另外，網路110可包括可使用與一或多個服務提供者相關聯的任何數目個有線通信路徑及/或無線通信路徑實施的公用網路區段及私用網路區段中之任一者或兩者。又，可經由任一架構(包括：行動資料網路連接架構，例如，基於3G/4G標準；無線資料網路連接存取點，例如，基於IEEE 802.11標準；及有線網路連接)提供對網路110之存取。另外，網路110可經組態以支援使用多種協定中之任一者格式化的訊息之傳輸。
行動計算器件105可為經組態以存取資料網路的任一類型之行動計算器件，包括智慧電話、個人數位助理(PDA)、掌上型計算器件、平板計算器件、膝上型電腦等。在一實施中，行動計算器件105可為由California之Cupertino的Apple公司製造之iPhone。另外，行動計算器件105可包括用於存取資料網路(諸如，網路110)之一或多個網路介面。舉例而言，行動計算器件105可包括用於經由電信網路進行通信之行動資料網路介面(例如，3G介面)及用於無線地存取資料網路(例如，經由Wi-Fi存取點)之無線資料網路介面中的任一者或兩者。另外，行動計算器件105可包括一或多個處理器、記憶體及匯流排，其經組態以執行包括一或多個視訊會議(或視訊聊天)應用之應用。
經調適以俘獲視訊(例如，按視訊圖形陣列(VGA)解析度及按每秒30個圖框之速率)之相機亦可與行動計算器件105相關聯。在一些實施中，除了視訊之外，相機可經組態以俘獲個別靜態影像。相機可嵌入於行動計算器件105中，或可為可附接至行動計算器件105(例如，經由有線或無線連接)之外部器件。另外，行動計算器件105可包括一顯示器，該顯示器經組態以呈現使用者介面及應用資料，包括對應於所俘獲視訊的一或多個影像。顯示器可具有適合於在行動器件中使用之任一類型，包括液晶顯示器(LCD)、有機發光二極體(OLED)顯示器、發光聚合物(LEP)顯示器及有機電致發光(OEL)顯示器。在一些實施中，顯示器亦可實施為經組態以接收來自使用者之觸控輸入(包括示意動作)的觸控式螢幕。相機及顯示器兩者可經定向以同時面向使用者。另外，行動計算器件105可包括一或多個位置感測器，諸如迴轉儀、加速度計、GPS處理器及/或蜂巢式三角量測處理器。
在一些實施中，行動計算器件105(例如，智慧電話)可經組態以與包括一或多個嵌入式位置感測器(諸如，加速度計或迴轉儀)之耳機107通信。耳機107可經組態以經由無線通信鏈路(諸如，射頻鏈路)將感測器資料輸出至行動計算器件105。可使用感測器資料判定使用者之頭部相對於行動計算器件105之定向。因此，感測器資料及/或使用者之頭部的判定出之定向可用以產生或改進一或多個扭曲參數。另外，可指導使用者在特定位置中佩戴耳機107，使得由耳機107產生之感測器資料一貫地表示使用者之頭部的定向及位置改變。替代地或此外，與耳機107相關聯之一或多個感測器資料偏移可經手動組態，使得使用者可在不同位置中佩戴耳機。
行動計算器件115亦可包括用於存取資料網路(諸如，網路110)之一或多個網路介面。舉例而言，行動計算器件115可包括用於無線地存取資料網路(例如，經由Wi-Fi存取點)之無線資料網路介面及有線資料網路介面(例如，乙太網路埠)。在一些實施中，行動計算器件115亦可包括用於經由無線電信網路進行通信之行動資料網路介面，例如，3G介面。行動計算器件115進一步可包括一相機(未圖示)，該相機經調適以俘獲視訊，例如，按VGA解析度及按每秒30個圖框之速率俘獲視訊。在一些實施中，除了視訊之外，相機可經組態以俘獲個別靜態影像。相機可與行動計算器件115整合或實施為可耦接至行動計算器件115(例如，經由通用串列匯流排(USB)連接器)的外部附件。
行動計算器件115進一步可經組態以在顯示器件上呈現使用者介面及應用資料，包括對應於所俘獲視訊的一或多個影像。顯示器可具有任一類型，包括LCD、OLED、LEP及OEL顯示器。在一些實施中，顯示器亦可實施為經組態以接收來自使用者之觸控輸入(包括示意動作)的觸控式螢幕。行動計算器件115亦可包括一或多個位置感測器，諸如，迴轉儀、加速度計、GPS處理器及/或蜂巢式三角量測處理器。另外，行動計算器件115可包括一或多個處理器、記憶體及匯流排，經組態以執行包括一或多個視訊會議應用之應用。因此，行動計算器件115可參加與遠端計算器件(諸如，行動計算器件105)之視訊會議會期。在一些實施中，行動計算器件115(例如，膝上型電腦)可由包括相同或類似特徵及功能性之不同計算器件(包括桌上型電腦、工作站、小型電腦、微型電腦、行動電話、平板計算器件及專用計算器件)替換。
另外，伺服器120可經組態以諸如藉由輔助具有初始連接之參與系統(例如，行動計算器件105及115)而促進視訊會議。伺服器120可提供目錄、鑑認及計費服務，且可使用多個協定進行通信。在一些實施中，計算環境100可包括經組態以執行及參與視訊會議之一或多個額外計算器件，包括桌上型電腦、工作站、小型電腦、微型電腦、平板計算器件、專用計算器件及額外行動計算器件。
圖2 展示在影像俘獲應用中呈現的例示性所俘獲影像。由作業系統產生之使用者介面200可呈現於計算器件(諸如，行動計算器件105及115)之顯示器上。使用者介面200可經組態以呈現對應於正在作業系統架構內執行的一或多個應用程式之圖形資訊。舉例而言，與視訊會議應用相關聯之視訊會議視窗205可顯示於使用者介面200中。
在一些實施中，視訊會議視窗205可經組態以顯示對應於由計算系統(視訊會議應用正在其上執行)俘獲之視訊資料的一或多個預覽影像210。該一或多個預覽影像210可描繪展示正由與視訊會議應用相關聯之相機俘獲的影像資料之主體(例如，使用者之臉部)之未校正之視訊影像。在一些實施中，該一或多個預覽影像210可呈現為表示被或將被傳輸至一或多個其他視訊會議參與者之影像的視訊資料。在其他實施中，該一或多個預覽影像210可呈現為一或多個靜態影像(例如，其再新頻率小於視訊影像或其可經手動推進)。該一或多個預覽影像210可准許使用者評估正由相機俘獲的影像之特性，包括相機相對於主體之角度及相機距主體(例如，主體之臉部)之距離。
可在該一或多個預覽影像210中偵測由相機俘獲的影像中之失真。舉例而言，相機可位於主體之臉部215下且經定向使得其向上傾斜。結果，透視失真可使主體之臉部215的下部部分220顯得較寬。主體之臉部215的上部部分225亦可能失真，使得其顯得較窄。另外，亦可偵測到其他失真及像差，包括由在參考平面(例如，水平面)中的相機與主體之臉部215之間的相對角度造成之失真。基於該一或多個預覽影像210，可調整相機與主體之臉部之間的定向。
圖3 展示在影像俘獲應用中呈現的另一例示性所俘獲影像。使用者介面200中之視訊會議視窗205亦可經組態以顯示一或多個經失真校正之影像310，該一或多個經失真校正之影像310對應於已經處理以至少部分校正或補償失真的所俘獲影像。失真可由諸如相機相對於主體之定向及相機之焦距的因素造成。可藉由將扭曲技術應用於所俘獲影像而產生該一或多個經失真校正之影像310。另外，可根據一或多個因素(包括相機之判定出之定向及相機與主體之間的距離)判定所應用的扭曲技術及校正之程度。
如在該一或多個經失真校正之影像310中描繪的主體之臉部315之尺寸可與實際尺寸較為一致。舉例而言，可應用扭曲技術以使主體之臉部315的下部部分320變窄。另外，可應用扭曲技術以使主體之臉部315的上部部分325變寬。可即時或幾乎即時地產生該一或多個經失真校正之影像310。另外，可在起始視訊會議會期前及/或在視訊會議會期期間呈現該一或多個經失真校正之影像310。
在一些實施中，視訊會議視窗205可經組態以包括可呈現該一或多個經失真校正之影像310的預覽視窗330。預覽視窗330可持久呈現，使得可貫穿視訊會議會期顯示該一或多個經失真校正之影像310。或者，可諸如回應於使用者輸入而在視訊會議會期期間接通/斷開預覽視窗330。另外，可回應於使用者輸入或自動地(例如，回應於判定臉部在視訊會議視窗205中之位置)將預覽視窗330重新定位至視訊會議視窗205之任一部分。在一些其他實施中，可諸如回應於使用者輸入而選擇視訊會議視窗205及預覽視窗330之內容。因此，該一或多個經失真校正之影像310可選擇性地顯示於視訊會議視窗205或預覽視窗330中。
另外，在一些實施中，可判定影像俘獲器件之較佳定向。舉例而言，較佳定向可(例如)在視訊會議會期前或期間由使用者指定。亦可自動判定較佳定向，例如，基於使用者的所獲悉之使用型樣。舉例而言，器件定向歷史可經分析以判定對於給定使用者的影像俘獲器件之較佳定向。在視訊會議會期期間，可比較實際影像俘獲器件定向與較佳影像俘獲器件定向以判定一或多個差異度。若判定出之差異度超過差異臨限值，則可提供一定向指示符以教導使用者更改影像俘獲器件定向以使其更加近似較佳定向。指示符可為視覺、聽覺、觸覺或其任何組合。舉例而言，可在預覽視窗330中呈現定向指示符335以教導使用者升高影像俘獲器件。定向指示符可識別校正之方向及/或校正之量值(例如，基於呈現大小、頻度或持續時間)。另外，定向指示符可為一維或多維。又，在一些實施中，僅當在實際影像俘獲器件定向與較佳影像俘獲器件定向之間的一或多個差異度超過一臨限值(例如，差異臨限值)時應用扭曲技術。
定向指示符亦可顯示於其他影像俘獲實施中。舉例而言，使用者可俘獲描繪另一主體之臉部的視訊影像。可將一定向指示符對使用者呈現以識別校正之一或多個方向及量值以使影像俘獲器件之定向近似於較佳定向。因此，可增加所俘獲影像的視覺及/或美學品質。
可在包括靜態及視訊影像的所俘獲影像中至少部分校正失真(例如，透視失真)。另外，可藉由俘獲影像之應用或藉由分開的相關聯之應用執行失真校正。在一些實施中，視訊俘獲應用可為視訊會議或視訊聊天應用。
圖4 展示使用固定定向參數的例示性失真校正過程之流程圖。在一些實施中，可將固定定向值表達為一或多個角度，例如，相對於一或多個參考平面之角度。在一些其他實施中，可將固定定向值表達為一或多個座標，或表達為一或多個角度與一或多個座標之組合。可偵測視訊俘獲應用之起始(405)。舉例而言，使用者可經由由計算器件呈現之作業系統介面發起視訊會議應用。或者，可回應於來自分開的計算系統之所接收之視訊會議請求而自動起始視訊會議應用。
影像俘獲器件(例如，嵌入式相機)可開始俘獲影像資料。舉例而言，影像俘獲器件可經組態以按VGA解析度及每秒30個圖框之速率俘獲視訊資料。亦可使用其他解析度及圖框率，且可手動地、回應於使用者輸入或自動地(例如，回應於可利用之系統資源)選擇解析度及圖框率中之任一者或兩者。影像資料可表示與影像俘獲器件相關聯的計算器件之使用者。可自影像俘獲器件接收影像(410)。舉例而言，影像可由視訊會議應用接收。可個別地儲存所接收之影像，諸如，儲存於分開的影像緩衝器中。或者，可接收指示一或多個影像之儲存位置的影像位置資料。在一些實施中，一或多個影像亦可由分開之失真校正應用或模組接收。
可判定對應於影像俘獲器件之定向參數(415)。定向參數可為預設值，諸如，相對於參考平面(例如，垂直平面)的固定傾斜角度。另外，可基於器件類型選擇定向參數。舉例而言，可將與具有嵌入式相機之智慧電話相關聯的定向參數設定為第一預設值，諸如，相對於垂直平面向上傾斜30度，而可將用於膝上型電腦及對應相機之定向參數設定為第二預設值，諸如，相對於垂直平面向上傾斜15度。影像俘獲器件之定向參數可經設定以等於任一值，包括多維值。另外，可憑經驗判定用於特定器件或器件類型之定向參數。
可將一或多個扭曲技術應用於所俘獲之影像(420)。扭曲技術可基於已知即時或幾乎即時的扭曲演算法，諸如，仿射扭曲演算法或透視扭曲演算法。可根據定向參數應用扭曲技術。舉例而言，可基於一或多個角度之嚴重性(諸如，相對於垂直平面的傾斜角度)選擇使影像扭曲之程度。另外，可基於一或多個角度之方向(諸如，影像俘獲器件向上或是向下傾斜)選擇所應用之一或多個扭曲效應。在一些實施中，應用於所俘獲影像的失真校正之量可比基於定向參數估計的失真量小，使得僅校正失真之一部分。因此，應用扭曲技術所執行之計算量可受到約束，且可防止過度扭曲。另外，可應用扭曲技術，使得在關於視訊序列中之相鄰影像執行之失真校正中存在一致性。因此，可減少或消除與扭曲技術之應用相關聯的影像序列中之抖動或雜訊。
已將扭曲技術應用於的所俘獲影像可作為經失真校正之影像輸出(425)。舉例而言，可將經失真校正之影像輸出至顯示器介面以供在本端顯示器件上呈現及/或輸出至通信介面以供傳輸至一或多個遠端視訊會議參與者。亦可判定是否已接收到一或多個額外所俘獲影像(430)。若尚未接收到其他所俘獲影像，則可終止失真校正過程。或者，若已接收到額外所俘獲影像，則可判定影像俘獲器件之定向參數(415)。在一些實施中，可在視訊會議會期期間(例如，回應於使用者輸入)更改定向參數。在一些其他實施中，可將原始判定出之定向參數用於整個視訊會議會期。
圖5 展示使用根據感測器資料判定出之定向參數的例示性失真校正過程之流程圖。可自影像俘獲器件接收影像(505)。舉例而言，影像可由視訊會議應用或其一部分(例如，模組)接收。可個別地儲存所接收之影像，諸如，儲存於分開的影像緩衝器中。或者，可接收指示一或多個所接收影像之儲存位置的影像位置資料。在一些實施中，一或多個影像亦可由分開之失真校正應用或模組接收。
另外，可自一或多個位置感測器接收感測器資料(510)。舉例而言，該一或多個位置感測器可包括可嵌入於包括影像俘獲器件之物件中或以其他方式與該物件相關聯的迴轉儀、加速度計、GPS處理器及蜂巢式三角量測處理器中之一或多者。迴轉儀可經組態以輸出指示方向或角度(例如，在3-D空間中)之信號資料，該信號資料可用以判定影像俘獲器件之定向。加速度計可輸出指示對應器件正經歷的加速度度之量值及方向之向量資料。在一些實施中，亦可自與影像俘獲器件相關聯之外部器件(例如，耳機)接收感測器資料。
視情況，可將感測器資料記錄於記憶體中。在一些實施中，對應於視訊會議之感測器資料可記錄於揮發性記憶體中，且當視訊會議終止時加以清除。在一些其他實施中，可持久地儲存感測器資料，諸如，儲存於資料檔案中。可將感測器資料儲存於針對每一事件(例如，視訊會議)之分開的檔案中或包括對應於多個事件之資料的檔案中。另外，可檢驗所接收之感測器資料以判定其是否有效(515)。舉例而言，可將有效感測器資料約束於在對應持續時間上可允許的預定活動範圍。若感測器資料超過預定活動範圍達經定義之持續時間，則可判定感測器資料無效。因此，可歸因於運輸工具(諸如，汽車或電梯)之運動的感測器資料可經識別且不加考慮。又，在一些實施中，可對與濾波器資料相關聯之高頻率分量進行濾波。
若判定感測器資料有效，則可判定指示影像俘獲器件之定向的定向參數之值(520)。可根據所有感測器資料或其子集判定定向參數之值。舉例而言，若感測器資料之僅一部分有效，則可使用有效部分判定定向參數之值。在一些實施中，定向參數可表示影像俘獲器件在三維空間中之位置。在一些其他實施中，定向參數可表示器件定向之一或多個態樣，例如，相對於垂直平面之傾斜度及/或相對於水平平面之旋轉度。另外，在一些實施中，感測器資料亦可指示使用者之頭部相對於影像俘獲器件之定向。
若判定感測器資料無效，則可使用預設定向參數(525)。在一些實施中，預設定向參數可為基於固定定向判定出之預定值，諸如，相對於垂直平面傾斜25度。在一些其他實施中，可基於歷史感測器資料中之一或多個項目判定預設定向參數。舉例而言，預設定向參數可經設定等於使用者較佳定向。
可進一步判定臉部位置資訊中之一或多個項目是否可用(530)。臉部位置資訊可識別臉部在所俘獲影像內的位置。在一些實施中，臉部位置資訊可由臉部偵測應用或模組產生。舉例而言，可藉由由OMRON公司經銷之OKAO Vision臉部偵測技術提供臉部位置資訊。在一些其他實施中，臉部位置資訊可由使用者供應，可提示使用者提供識別臉部在一或多個所俘獲影像中的位置之輸入。舉例而言，使用者可將識別臉部邊界或臉部特徵之輸入提供至觸控式螢幕。
若臉部位置資訊可用，則可根據臉部位置資訊應用扭曲技術(535)。在一些實施中，扭曲技術可經應用使得扭曲效應居中於所俘獲影像中的臉部位置上。在一些其他實施中，扭曲技術可限於在所俘獲影像內的識別之臉部區域。或者，若臉部位置資訊不可用，則可與臉部位置無關地將扭曲技術應用於整個所俘獲影像(540)。在一些實施中，當臉部位置資訊可用時，對應於臉部位置之區域亦可經評估以判定臉部是否具有供應用扭曲技術之足夠大小。若臉部位置具有足夠大小，則可應用扭曲技術，例如，使得扭曲效應居中於臉部位置上。或者，若臉部位置不具有足夠大小，則可將扭曲技術應用於整個所俘獲影像。
另外，可將扭曲技術應用於一影像序列(例如，視訊序列)，使得在隨時間推移而執行之失真校正中存在一致性。失真校正相對於時域之一致性可減少或消除在基於時間的影像序列中之抖動或雜訊之出現。可經由若干機制(包括，對扭曲參數進行濾波、對感測器資料進行濾波及隨時間推移而調整一組精確的扭曲參數)一致性地應用扭曲技術。
可經由濾波而使對應於影像序列之許多連續圖框(例如，5個圖框)的扭曲參數變平滑。可關於正處理之當前圖框反覆地執行濾波。舉例而言，可結合(例如)自預看緩衝器獲得之過去圖框及未來圖框中之任一者或兩者對該序列之當前圖框進行濾波。另外，影像序列之圖框可經低通濾波，諸如，使用對稱濾波器或無限脈衝回應(IIR)濾波器。亦可關於時間來對感測器資料進行低通濾波。舉例而言，可隨時間推移而使用高斯濾波器使感測器資料變平滑，藉此移除在影像序列之圖框之間發生的小抖動。另外，可經由高準確度計算產生一組精確的扭曲參數。可一次性(例如，在視訊俘獲事件之起始時)或週期性(例如，每1秒或5秒)地產生該組精確的扭曲參數。因此，可減少產生精確扭曲參數之計算負擔。另外，可藉由回應於所接收之感測器資料進行修改來追蹤或隨時間推移調整該等精確扭曲參數。
已將扭曲技術應用於的所俘獲影像可作為經失真校正之影像輸出(545)。舉例而言，可將經失真校正之影像輸出至顯示器介面以供在本端顯示器件上呈現及/或輸出至通信介面以供傳輸至一或多個遠端視訊會議參與者。亦可判定是否已接收到一或多個額外所俘獲影像(550)。若尚未接收到其他所俘獲影像，則可終止失真校正過程。或者，若已接收到額外所俘獲影像，則可自一或多個位置感測器接收對應的感測器資料(510)。在一些實施中，可接收每一影像之感測器資料，因為對應器件之定向可能在一或多個影像之持續時間上改變。舉例而言，對應器件可為手持型行動計算器件，且使用者可因移動而故意或無意地改變器件之定向。在一些其他實施中，可週期性地接收感測器資料，例如，一秒一次或每十五秒一次。
圖6 展示包括臉部位置資訊之識別的例示性所俘獲影像。可提示使用者提供關於所俘獲影像的臉部位置之指示。舉例而言，使用者介面200中之視訊會議視窗205可經組態以呈現所俘獲影像600，其可包括臉部605之描繪。使用者可將指示所描繪之臉部605的中心點610的輸入提供至(例如)觸控式螢幕。或者，使用者可提供界定在所描繪之臉部605周圍的邊界615之輸入。邊界615可經繪製，使得其含有實質上所有臉部區域。邊界615亦可經評估以判定臉部605是否在可藉由應用扭曲技術而校正之失真(例如，透視失真)的大小範圍內。此外，在一些實施中，可提示使用者識別對應於臉部605之一或多個臉部特徵，諸如，眼睛、鼻子及/或嘴。如關於圖5所論述，可在將扭曲技術應用於一或多個所俘獲影像(包括所俘獲影像600)的過程中使用使用者識別之臉部位置資訊。
圖7 展示描述用於產生器件定向歷史之例示性過程之流程圖。可偵測視訊會議之起始(705)。可回應於建立新視訊會議之使用者輸入而起始視訊會議。或者，可回應於自一或多個遠端器件接收到加入視訊會議的請求而起始視訊會議。影像俘獲器件之初始定向可經判定且記錄於器件定向歷史中(例如)作為第一輸入項(710)。
另外，可自對應於影像俘獲器件之一或多個位置感測器接收感測器資料(715)。位置感測器可包括迴轉儀及加速度計中之任一者或兩者。在一些實施中，位置感測器可包括經組態以判定位置之一或多個感測器，諸如，全球定位系統(GPS)處理器或蜂巢式三角量測處理器。基於位置之資料可用以判定在視訊會議會期期間影像俘獲器件是否在運動中及在運動中之程度。
可基於所接收之感測器資料判定器件定向，且可將判定出之定向儲存於器件定向歷史中(720)。替代地或此外，可將位置感測器資料儲存於(例如)器件定向歷史中。在一些實施中，可將器件定向歷史儲存於對應於單一視訊會議會期之檔案中。在一些其他實施中，可將判定出之定向儲存於跨越多個視訊會議會期之檔案中。
另外，可使用所儲存之器件定向資訊來判定較佳定向(725)。較佳定向可表示影像俘獲器件(例如)相對於使用者之有利定向，諸如，導致使用者合意之影像的定向。舉例而言，器件定向可經分析以判定最頻繁地將影像俘獲器件維持於之定向。或者，器件定向可經分析以判定使用者將影像俘獲器件返回至的定向，特定言之，將影像俘獲器件與空間參考(諸如，垂直平面)對準之定向。舉例而言，器件定向資訊可指示使用者在視訊會議期間重複接近的幾乎垂直之定向及隨時間推移自彼定向之變化。基於器件定向歷史，可將幾乎垂直之定向識別為較佳定向。
較佳定向可用於扭曲技術之應用中以產生經失真校正之影像。舉例而言，較佳定向可指示應俘獲影像時的影像俘獲器件之定向。因此，可基於俘獲影像時之實際定向與較佳定向之間的差異得出用以產生經失真校正之影像的一或多個扭曲參數。在一些實施中，亦可當感測器資料不可用時使用與定向之隨時間推移之變化有關的資訊。舉例而言，與變化有關之資訊可用以判定待在使所俘獲影像扭曲的過程中應用之一或多個扭曲參數。
當判定出額外器件定向資訊時，可更新較佳定向。舉例而言，可在視訊會議會期期間週期性地分析器件定向歷史以更新較佳定向。替代地或此外，可在視訊會議會期期間緩衝器件定向資訊。隨後可分析經緩衝之器件定向資訊，例如，以更新較佳定向。亦可週期性地評價視訊會議會期之狀態。若視訊會議會期保持在進行中(730)，則可接收額外感測器資料(715)。否則，可關閉器件定向歷史。
圖8 展示使用參考影像的例示性失真校正過程之流程圖。可接收所俘獲影像(805)。舉例而言，所俘獲影像可為自相機輸出之視訊影像(或視訊圖框)。另外，可在經組態以執行失真校正過程(諸如，經由將扭曲技術應用於所俘獲影像)之應用中接收俘獲影像。可在所俘獲影像中判定一或多個對位點(810)。可選擇該一或多個對位點以促進將所俘獲影像與一或多個額外影像(諸如，參考影像)之對準。在一些實施中，可選擇對應於眼角、嘴角的四個對位點。在一些其他實施中，可選擇更多、更少及/或不同對位點。可自動或手動地判定所俘獲影像中的對位點。舉例而言，可根據由OKAO Vision臉部偵測技術產生之臉部位置資訊自動地判定一或多個對位點。臉部位置資訊可包括指示在偵測之臉部中的點之資料，諸如，眼角、鼻子及嘴角。另外，可將所俘獲影像呈現給使用者，使用者可手動地提供識別一或多個對位點之輸入。舉例而言，使用者可經由游標或觸控式螢幕介面指示一或多個對位點之位置。
另外，可存取參考影像(815)。可預定用於在執行失真校正過程中使用之參考影像。舉例而言，可基於參考影像判定使所俘獲影像扭曲的程度。又，參考影像可經選擇以具有與所俘獲影像相當的解析度。舉例而言，可創建多個版本之參考影像，每一者具有不同解析度。可存取在解析度上最靠近所俘獲影像的參考影像。
在一些實施中，參考影像可具有在所俘獲影像中描繪之主體。舉例而言，可在視訊俘獲會期前或起始時拍攝參考影像以充當校準量測。可當主體與相機之間的對準在預定範圍內(例如，在相對於垂直平面的預定傾斜內時)時拍攝參考影像，使得參考影像中之扭曲等級可接受。參考影像亦可由使用者選擇作為表示使用者喜歡的外觀之較佳影像。
在一些其他實施中，參考影像可為描繪不對應於所俘獲影像之主體的臉部之影像。舉例而言，參考影像可描繪所俘獲影像之主體將更為類似的名人或範圖。或者，參考影像可對應於可充當用於判定一或多個扭曲參數之模板的複合臉部。此外，在一些實施中，參考影像可由2-D或3-D參考範圖替換。
亦可在參考影像中判定一或多個對位點(820)。該一或多個對位點可對應於所俘獲影像中的對位點。又，可自動或手動地判定參考影像中之該一或多個對位點。另外，可對準所俘獲影像與參考影像，且可判定一或多個扭曲參數(825)。舉例而言，扭曲參數可經判定以使所俘獲影像關於一或多個尺寸及/或特性近似於參考影像。
另外，可存取對應於產生所俘獲影像的相機之定向資訊(830)。定向資訊可基於感測器資料、較佳定向資料及歷史定向資料中之一或多者。定向資訊可用以驗證或改進判定出之扭曲參數或判定一或多個額外扭曲參數。或者，在一些實施中，可在不考慮定向資訊之情況下使用基於參考影像判定出之扭曲參數。在一些實施中，所俘獲影像亦可經分析以識別影像之背景中應由平行線表徵的一或多個物件(例如，牆壁、門、框及建築物)。識別之物件可經分析(例如)以識別彎曲或失真度，且用以判定、驗證或改進與所俘獲影像相關聯的一或多個扭曲參數。
可基於判定出之扭曲參數將扭曲技術應用於所俘獲影像(835)。應用扭曲技術可至少部分地校正與所俘獲影像相關聯的失真以產生經失真校正之影像。另外，可輸出所得經失真校正之影像(840)。舉例而言，可將經失真校正之影像輸出至顯示器介面以供在相關聯之顯示器件上呈現(例如，作為預覽影像)，及/或輸出至通信介面以供傳輸至遠端器件(例如，以供在視訊會議中使用)。可針對一連串所俘獲影像即時或幾乎即時地執行使用參考影像之失真校正過程。
圖9A 及圖9B 說明由在相機與所俘獲影像之主體之間的角度造成的透視失真之一實例。在圖9A 中，相機905中之投影影像包括對應於物件915之一物件表示910。相機905向上傾斜且定位得比物件915低角度a 。另外，x軸與Y-Z平面垂直，且物件915包括一具有座標(Px ,Py ,Pz )之點。相機與物件之間的角度造成投影影像中之特定失真量。
在圖9B 中，展示相機905經重新映射至將產生無失真影像的位置，因此指示歸因於相機905與物件915之間的角度(亦即，角度a )之透視失真量。可將物件表示910中之點(Qx ,Qy ,Qz )映射至具有座標(Px ,Py2 ,Pz2 )的在移位表示之物件915中之點920。Pz2 之值隨著角度a 自0度增加至90度而增大。因此，對於居中於點(0,0,Pz2 )處之臉部，失真將使臉部之上部部分變得較小且使臉部之下部部分變得較大。然而，可藉由將失真之座標反向映射至對應的無失真座標上來校正失真。舉例而言，在物件表示925之重新映射位置處的座標Qx 及Qy 之值可由下式給出：
因此，可將扭曲技術應用於由相機905俘獲之影像以校正由相機905相對於物件915之角度產生的失真。
圖10 為一實例行動計算器件架構之方塊圖。可為行動電話105之一實施的行動計算器件1000可包括一記憶體介面1002、一或多個資料處理器、影像處理器及/或中央處理單元1004及一周邊裝置介面1006。記憶體介面1002、一或多個資料處理器1004及/或周邊裝置介面1006可為分開的組件，或可整合於一或多個積體電路中。行動計算器件1000中之各種組件可由一或多個通信匯流排或信號線耦接在一起。
感測器、器件及子系統可耦接至周邊裝置介面1006以促進多個功能性。舉例而言，運動感測器1010(例如，迴轉儀及/或加速度計)、光感測器1012及接近性感測器1014可耦接至周邊裝置介面1006以促進定向、照明及接近性功能。位置處理器1015(例如，GPS接收器)可連接至周邊裝置介面1006以提供地理定位。磁性羅盤積體電路1016亦可連接至周邊裝置介面1006以提供定向(諸如，以判定正北方向)。
相機子系統1020及光學感測器1022(例如，電荷耦接器件(CCD)或互補金屬氧化物半導體(CMOS)光學感測器)可用以促進相機功能，諸如，俘獲影像及/或視訊資料。
可經由一或多個無線通信子系統1024(其可包括射頻接收器及傳輸器及/或光學(例如，紅外線)接收器及傳輸器)來促進通信功能。通信子系統1024之具體設計及實施可取決於行動通信器件1000意欲在其上操作之通信網路。舉例而言，行動通信器件1000可包括經設計以在GSM網路、GPRS網路、EDGE網路、Wi-Fi或WiMax網路及BluetoothTM 網路中之一或多者上操作之通信子系統1024。詳言之，無線通信子系統1024可包括代管協定，使得行動通信器件1000可組態為用於其他無線器件之基地台。
另外，音訊子系統1026可耦接至揚聲器1028及麥克風1030以促進語音啟用之功能，諸如，語音辨識、語音複製、數位記錄及電話功能。又，I/O子系統1040可包括觸控式螢幕控制器1042及/或其他輸入控制器1044。舉例而言，I/O子系統1040可包括麥克風(內部及/或外部)、揚聲器及語音命令辨識引擎。I/O子系統1040可在全雙工通信頻道上接收語音命令及呈現音訊輸出。舉例而言，可實施不同於規則蜂巢式語音通信的傳送技術，諸如，網際網路語音通訊協定。
觸控式螢幕控制器1042可直接或間接地耦接至觸控式螢幕1046。觸控式螢幕1046及觸控式螢幕控制器1042可(例如)經調適以使用複數個觸摸敏感性技術(包括(但不限於)電容性、電阻性、紅外線及表面聲波技術以及其他接近性感測器陣列或用於判定與觸控式螢幕1046之一或多個接觸點的其他元件)中之任一者來偵測接觸及移動或其中斷。
其他輸入控制器1044可耦接至其他輸入/控制器件1048，諸如，一或多個按鈕、搖臂開關、拇指旋輪、紅外線埠、USB埠及/或指標器件(諸如，手寫筆)。該一或多個按鈕(未圖示)可包括用於揚聲器1028及/或麥克風1030之音量控制的上/下按鈕。
在一實施中，按壓按鈕達第一持續時間可解除與觸控式螢幕1046相關聯之鎖定，且按壓按鈕達第二(例如，較長)持續時間可經組態以使電力循環至行動計算器件1000。另外，可定製一或多個按鈕之功能性。舉例而言，觸控式螢幕1046亦可用以實施虛擬或軟按鈕及/或鍵盤。
在一些實施中，行動計算器件1000可呈現所記錄之音訊及/或視訊檔案，諸如，MP3、AAC及MPEG檔案。在一些實施中，行動計算器件1000可包括MP3播放器(諸如，iPod TouchTM )之功能性。
記憶體介面1002可耦接至記憶體1050，記憶體1050可包括高速隨機存取記憶體及/或非揮發性記憶體，諸如，一或多個磁碟儲存器件、一或多個光學儲存器件及/或快閃記憶體(例如，NAND、NOR)。記憶體1050可儲存一作業系統1052，諸如，Darwin、RTXC、LINUX、UNIX、OS X、WINDOWS或諸如VxWorks之嵌入式作業系統。作業系統1052可包括用於處置基本系統服務及用於執行硬體獨立任務之指令。在一些實施中，作業系統1052可為核心(諸如，UNIX核心)。
記憶體1050亦可儲存通信指令1054以促進與一或多個額外器件、一或多個電腦及/或一或多個伺服器之通信。記憶體1050可包括：圖形使用者介面指令1056以促進圖形使用者介面處理；感測器處理指令1058以促進與感測器有關之處理及功能；電話指令1060以促進與電話有關之過程及功能；電子傳訊指令1062以促進與電子傳訊有關之過程及功能；網頁瀏覽指令1064以促進與網頁瀏覽有關之過程及功能；媒體處理指令1066以促進與媒體處理有關之過程及功能；GPS/導航指令1068以助於與GPS及導航有關之過程及指令；相機指令1070以促進與相機有關之過程及功能；及語音命令指令1072以促進使用語音命令來操作行動計算器件1000。
記憶體1050亦可儲存其他軟體指令(未圖示)，諸如：視訊會議(或視訊聊天)指令以促進視訊會議過程及功能；網路視訊指令以促進與網路視訊有關之過程及功能；及/或網路購物指令以促進與網路購物有關之過程及功能。在一些實施中，媒體處理指令1066分成音訊處理指令及視訊處理指令以分別促進與音訊處理有關之過程及功能及與視訊處理有關之過程及功能。啟動記錄及國際行動設備識別碼(IMEI)1074或類似的硬體識別符亦可儲存於記憶體1050中。
以上識別之指令及應用程式中之每一者可對應於用於執行以上描述之一或多個功能、特徵及/或過程的一組指令。不需要將此等指令實施為分開的軟體程式、程序或模組。記憶體1050可包括額外指令或較少指令。此外，行動計算器件1000之各種功能可實施於硬體中及/或軟體中，包括實施於一或多個信號處理及/或特殊應用積體電路中。
本發明中描述之技術及功能操作可實施於數位電子電路中或電腦軟體、韌體或硬體(包括本發明中描述之結構構件及其結構等效物)中或其組合中。可使用一或多個電腦程式產品(例如，有形地儲存於電腦可讀媒體上之機器可讀指令)實施該等技術，該等機器可讀指令用於由一或多個可程式化處理器或電腦執行或控制一或多個可程式化處理器或電腦之操作。另外，可程式化處理器或電腦可包括於行動器件中或封裝為行動器件。
本發明中描述之過程及邏輯流程可由執行一或多個指令以接收、操縱及/或輸出資料之一或多個可程式化處理器執行。過程及邏輯流程亦可由包括一或多個FPGA(場可程式化閘陣列)、PLD(可程式化邏輯器件)及/或ASIC(特殊應用積體電路)之可程式化邏輯電路執行。包括任一種類之數位電腦之處理器的通用及/或專用處理器可用以執行儲存於電腦可讀媒體(包括諸如唯讀記憶體之非揮發性記憶體、諸如隨機存取記憶體之揮發性記憶體，或兩者)中的電腦程式及其他程式化之指令。另外，資料及電腦程式可經自一或多個大容量儲存器件(包括硬碟機、隨身碟及光學儲存器件)接收及轉移至一或多個大容量儲存器件。另外，可經由通信網路互連通用及專用計算器件與儲存器件。通信網路可包括有線及無線基礎結構。通信網路進一步可為公用、私用或其組合。
本文中已揭示了許多實施。然而，應理解，可在不脫離申請專利範圍之精神及範疇的情況下進行各種修改。因此，其他實施處於以下申請專利範圍之範疇內。
100．．．計算環境
105．．．行動電話
107．．．耳機
110．．．網路
115．．．膝上型電腦
120．．．伺服器
125．．．桌上型電腦
200．．．使用者介面
205．．．視訊會議視窗
210．．．預覽影像
215．．．主體之臉部
220．．．主體之臉部的下部部分
225．．．主體之臉部的上部部分
310．．．經失真校正之影像
315．．．主體之臉部
320．．．主體之臉部的下部部分
325．．．主體之臉部的上部部分
330．．．預覽視窗
335．．．定向指示符
600．．．所俘獲影像
605．．．臉部
610．．．中心點
615．．．邊界
905．．．相機
910．．．物件表示
915．．．物件
920．．．點
925．．．物件表示
1000．．．行動計算器件
1002．．．記憶體介面
1004．．．資料處理器、影像處理器及/或中央處理單元
1006．．．周邊裝置介面
1010．．．運動感測器
1012．．．光感測器
1014．．．接近性感測器
1015．．．位置處理器
1016．．．磁性羅盤積體電路
1020．．．相機子系統
1022．．．光學感測器
1024．．．無線通信子系統
1026．．．音訊子系統
1028．．．揚聲器
1030．．．麥克風
1040．．．I/O子系統
1042．．．觸控式螢幕控制器
1044．．．其他輸入控制器
1046．．．觸控式螢幕
1048．．．其他輸入/控制器件
1050．．．記憶體
1052．．．作業系統
1054．．．通信指令
1056．．．圖形使用者介面指令
1058．．．感測器處理指令
1060．．．電話指令
1062．．．電子傳訊指令
1064．．．網頁瀏覽指令
1066．．．媒體處理指令
1068．．．全球定位系統(GPS)/導航指令
1070．．．相機指令
1072．．．語音命令指令
1074．．．國際行動設備識別碼(IMEI)
圖1展示包括經組態以執行視訊會議之計算器件之例示性計算環境。
圖2及圖3展示在影像俘獲應用中呈現的例示性所俘獲影像。
圖4展示使用固定定向參數的例示性失真校正過程之流程圖。
圖5展示使用根據感測器資料判定出之定向參數的例示性失真校正過程之流程圖。
圖6展示包括臉部位置資訊之識別的例示性所俘獲影像。
圖7展示描述用於產生器件定向歷史之例示性過程之流程圖。
圖8展示使用參考影像的例示性失真校正過程之流程圖。
圖9A及圖9B說明由在相機與所俘獲影像之主體之間的角度造成的透視失真之一實例。
圖10為一實例行動計算器件架構之方塊圖。
(無元件符號說明)

Claims (34)

  1. 一種減少一影像中之失真之方法，該方法包含：接收對應於一視訊序列之一所俘獲影像，該視訊序列包含對於該所俘獲影像之一或多個過去影像及對於該所俘獲影像之零或多個未來影像；判定用以產生該所俘獲影像之一相機之一定向；基於該相機之該判定出之定向計算一扭曲參數；對該扭曲參數與來自該視訊序列之過去影像及未來影像之任一者或兩者一起進行濾波；至少部分基於所判定之該定向及該相機之一較佳定向之間的一差異而計算一定向指示符，其中該定向指示符指示當應用於該相機時會將該相機定向為更密切接近該較佳定向之一定向；基於經濾波之該扭曲參數將一或多個扭曲技術應用於該所俘獲影像以產生一經失真校正之影像；及將該定向指示符與該經失真校正之影像相關聯。
  2. 如請求項1之方法，其中該定向指示符包含為視覺、聽覺、觸覺或其任何組合之一指示符。
  3. 如請求項1之方法，其中該一或多個扭曲技術僅應用於當該相機之所判定之該定向與該相機之該較佳定向之間的一或多個差異度超過一臨限值時。
  4. 如請求項1之方法，其中該定向指示符包含下列之至少一者：一校正方向之一識別；及一校正量之一識別。
  5. 如請求項1之方法，其進一步包含：對該感測器資料進行濾波。
  6. 如請求項1之方法，其進一步包含：接收與對應於該視訊序列之另一影像相關聯的感測器資料；及根據該所接收之感測器資料更新經濾波之該扭曲參數，用於供該另一影像使用。
  7. 如請求項1之方法，其進一步包含：接收識別在該所俘獲影像中之一臉部位置的輸入。
  8. 如請求項7之方法，其進一步包含：根據該識別出之臉部位置將該一或多個扭曲技術應用於該所俘獲影像。
  9. 如請求項7之方法，其中接收識別一臉部位置的輸入進一步包含：接收界定對應於該臉部位置之邊界的一輸入。
  10. 一種電腦程式產品，其編碼於一非暫時性之電腦可讀媒體上，可操作以使資料處理裝置執行包含以下之操作：接收描繪一臉部的一所俘獲影像，其中該所俘獲影像係由一相機產生且對應於一視訊序列，該視訊序列包含對於該所俘獲影像之一或多個過去影像及對於該所俘獲影像之零或多個未來影像；分析感測器資料以判定該相機之一定向；基於該相機之該判定出之定向計算一或多個扭曲參數； 對該一或多個扭曲參數與來自該視訊序列之過去影像及未來影像之任一者或兩者一起進行濾波；至少部分基於所判定之該定向及該相機之一較佳定向之間的一差異而計算一定向指示符，其中該定向指示符指示當應用於該相機時會將該相機定向為更密切接近該較佳定向之一定向；基於經濾波之該一或多個扭曲參數來扭曲該所俘獲影像的至少一部分以產生一經失真校正之影像；及將該定向指示符與該經失真校正之影像相關聯。
  11. 如請求項10之電腦程式產品，其中該定向指示符包含為視覺、聽覺、觸覺或其任何組合之一指示符。
  12. 如請求項10之電腦程式產品，其進一步可操作以使資料處理裝置執行包含以下之操作：僅在該相機之所判定之該定向與該相機之該較佳定向之間的一或多個差異度超過一臨限值時扭曲該所俘獲影像的該至少一部分。
  13. 如請求項10之電腦程式產品，其進一步可操作以使資料處理裝置執行包含以下之操作：自一臉部偵測演算法接收識別該所描繪之臉部之一位置的輸入；及根據經識別之該所描繪之臉部之該位置而扭曲該所俘獲影像的該至少一部分。
  14. 如請求項10之電腦程式產品，其中該定向指示符包含下列之至少一者：一校正方向之一識別；及一校正量之一 識別。
  15. 如請求項10之電腦程式產品，其進一步可操作以使資料處理裝置執行包含以下之操作：分析與由一使用者佩戴之一耳機相關聯的感測器資料以判定該相機相對於該使用者之臉部的一定向；及根據該相機相對於該使用者之臉部的該判定出之定向計算一或多個扭曲參數。
  16. 一種用於減少一影像中之失真之系統，其包含：一相機，其經組態以俘獲對應於一視訊序列之視訊影像，該視訊序列包含對於該所俘獲影像之一或多個過去影像及對於該所俘獲影像之零或多個未來影像；一位置感測器；及一計算系統，其耦接至該相機及該位置感測器，該計算系統包括經組態以執行包含以下之操作的一或多個處理器：自該相機接收一所俘獲之視訊影像；自該位置感測器接收感測器資料；分析該所接收之感測器資料以判定該相機之一定向；基於該相機之該判定出之定向計算一扭曲參數；對該扭曲參數與來自該視訊序列之過去影像及未來影像之任一者或兩者一起進行濾波；至少部分基於所判定之該定向及該相機之一較佳定向之間的一差異而計算一定向指示符，其中該定向指 示符指示當應用於該相機時會將該相機定向為更密切接近該較佳定向之一定向；基於經濾波之該扭曲參數將一或多個扭曲技術應用於該所俘獲之視訊影像以產生一經失真校正之影像；及將該定向指示符與該經失真校正之影像相關聯。
  17. 如請求項16之系統，其中該一或多個處理器經進一步組態以執行包含以下之操作：即時地產生該經失真校正之影像。
  18. 如請求項16之系統，其中該一或多個處理器經進一步組態以執行包含以下之操作：僅在該相機之所判定之該定向與該相機之該較佳定向之間的一或多個差異度超過一臨限值時將該一或多個扭曲技術應用於該所俘獲之視訊影像。
  19. 如請求項16之系統，其中該計算系統進一步包括：一觸控式螢幕顯示器，其經組態以接收自一使用者之觸控輸入。
  20. 如請求項19之系統，其中該一或多個處理器經進一步組態以執行包含以下之操作：經由該觸控式螢幕顯示器接收識別在於該所俘獲之視訊影像中描繪的一臉部上之一或多個位置之輸入。
  21. 如請求項20之系統，其中該一或多個處理器經進一步組態以執行包含以下之操作：根據該臉部上之該識別出的一或多個位置將該一或多個扭曲技術應用於該所俘獲之視訊影像。
  22. 如請求項16之系統，其中該定向指示符包含下列之至少 一者：一校正方向之一識別；及一校正量之一識別。
  23. 一種減少一影像中之失真之方法，該方法包含：接收對應於一視訊序列之一所俘獲影像，該視訊序列包含對於該所俘獲影像之一或多個過去影像及對於該所俘獲影像之零或多個未來影像；自與用以產生該所俘獲影像之一相機相關聯之一位置感測器接收感測器資料；識別與該所俘獲影像相關聯的一或多個對位點；基於該識別出之一或多個對位點比較該所俘獲影像與一參考影像；回應於該比較而判定一或多個扭曲參數；對該一或多個扭曲參數與來自該視訊序列之過去影像及未來影像之任一者或兩者一起進行濾波；至少部分基於該感測器資料而判定一定向指示符，其中該定向指示符指示當應用於該相機時會將該相機定向為更密切接近一較佳定向之一定向；基於經濾波之該一或多個扭曲參數將一或多個扭曲技術應用於該所俘獲影像以產生一經失真校正之影像；及將該定向指示符與該經失真校正之影像相關聯。
  24. 如請求項23之方法，其進一步包含：僅在該感測器資料與該較佳定向之間的一或多個差異度超過一臨限值時將該一或多個扭曲技術應用於該所俘獲之視訊影像。
  25. 如請求項23之方法，其進一步包含： 基於該所接收之感測器資料調整該判定出之一或多個扭曲參數。
  26. 如請求項23之方法，其進一步包含：基於該所俘獲影像之一解析度選擇該參考影像。
  27. 如請求項23之方法，其進一步包含：將該經失真校正之影像傳輸至一遠端計算系統。
  28. 如請求項23之方法，其中識別一或多個對位點進一步包含：基於臉部偵測處理自動地識別該一或多個對位點。
  29. 如請求項23之方法，其中該定向指示符包含下列之至少一者：一校正方向之一識別；及一校正量之一識別。
  30. 如請求項23之方法，其中該參考影像進一步包含：三維(3-D)參考範圖。
  31. 一種電腦程式產品，其編碼於一非暫時性之電腦可讀媒體上，可操作以使資料處理裝置執行包含以下之操作：接收描繪一臉部的一所俘獲影像，其中該所俘獲影像對應於一視訊序列，該視訊序列包含對於該所俘獲影像之一或多個過去影像及對於該所俘獲影像之零或多個未來影像；自與用以產生該所俘獲影像之一相機相關聯之一位置感測器接收感測器資料；識別與該所俘獲影像相關聯的一或多個對位點；基於該識別出之一或多個對位點比較該所俘獲影像與參考影像； 回應於該比較而判定一或多個扭曲參數；對該一或多個扭曲參數與來自該視訊序列之過去影像及未來影像之任一者或兩者一起進行濾波；至少部分基於該感測器資料而判定一定向指示符，其中該定向指示符指示當應用於該相機時會將該相機定向為更密切接近一較佳定向之一定向；基於該判定出之一或多個扭曲參數將一或多個扭曲技術應用於該所俘獲影像以產生一經失真校正之影像；及將該定向指示符與該經失真校正之影像相關聯。
  32. 如請求項31之電腦程式產品，其中該定向指示符包含下列之至少一者：一校正方向之一識別；及一校正量之一識別。
  33. 如請求項31之電腦程式產品，其進一步可操作以使資料處理裝置執行包含以下之操作：將該經失真校正之影像作為一預覽影像呈現給一使用者。
  34. 如請求項31之電腦程式產品，其進一步可操作以使資料處理裝置執行包含以下之操作：僅在該感測器資料與該相機之該較佳定向之間的一或多個差異度超過一臨限值時將該一或多個扭曲技術應用於該所俘獲之視訊影像。
TW099132483A 2009-10-16 2010-09-24 具有透視失真校正之臉部姿勢之改良 TWI436647B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/581,043 US8599238B2 (en) 2009-10-16 2009-10-16 Facial pose improvement with perspective distortion correction

Publications (2)

Publication Number Publication Date
TW201121326A TW201121326A (en) 2011-06-16
TWI436647B true TWI436647B (zh) 2014-05-01

Family

ID=43086250

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099132483A TWI436647B (zh) 2009-10-16 2010-09-24 具有透視失真校正之臉部姿勢之改良

Country Status (5)

Country Link
US (1) US8599238B2 (zh)
CN (1) CN102104767B (zh)
HK (1) HK1159380A1 (zh)
TW (1) TWI436647B (zh)
WO (1) WO2011046710A1 (zh)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) * 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8400490B2 (en) * 2010-10-30 2013-03-19 Hewlett-Packard Development Company, L.P. Framing an object for video conference
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
US8823769B2 (en) 2011-01-05 2014-09-02 Ricoh Company, Ltd. Three-dimensional video conferencing system with eye contact
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US20120274735A1 (en) * 2011-04-28 2012-11-01 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8306267B1 (en) 2011-05-09 2012-11-06 Google Inc. Object tracking
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8687039B2 (en) * 2011-06-06 2014-04-01 Cisco Technology, Inc. Diminishing an appearance of a double chin in video communications
US8705812B2 (en) * 2011-06-10 2014-04-22 Amazon Technologies, Inc. Enhanced face recognition in video
CN103563352A (zh) * 2011-06-10 2014-02-05 国际商业机器公司 自适应数字装置和用于数字装置的适配器
US9153031B2 (en) * 2011-06-22 2015-10-06 Microsoft Technology Licensing, Llc Modifying video regions using mobile device input
US8368723B1 (en) 2011-07-14 2013-02-05 Google Inc. User input combination of touch and user position
US9065967B2 (en) * 2011-09-13 2015-06-23 Verizon Patent And Licensing Inc. Method and apparatus for providing device angle image correction
US9594405B2 (en) * 2011-10-19 2017-03-14 Facebook, Inc. Composite touch gesture control with touch screen input device and secondary touch input device
ITMO20110279A1 (it) * 2011-11-04 2013-05-05 Datalogic Automation Srl Metodo di acquisizione di immagini
ITMO20110280A1 (it) * 2011-11-04 2013-05-05 Datalogic Automation Srl Metodo di acquisizione di immagini
WO2013065003A1 (en) * 2011-11-04 2013-05-10 Datalogic Ip Tech S.R.L. Image acquisition method
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9246543B2 (en) * 2011-12-12 2016-01-26 Futurewei Technologies, Inc. Smart audio and video capture systems for data processing systems
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
GB2511973A (en) * 2011-12-27 2014-09-17 Hewlett Packard Development Co User interface device
KR101931676B1 (ko) 2012-03-23 2018-12-24 삼성디스플레이 주식회사 광 센서, 이를 포함하는 표시 장치 및 그 구동 방법
JP6303270B2 (ja) * 2012-05-18 2018-04-04 株式会社リコー ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
US9116001B2 (en) 2012-06-14 2015-08-25 Qualcomm Incorporated Adaptive estimation of frame time stamp latency
US9185345B2 (en) * 2012-09-14 2015-11-10 Ricoh Company, Limited Video conference system and method for performing the same
US9811738B2 (en) * 2012-12-06 2017-11-07 Nec Corporation Appearance presentation system, method, and program
JP6265132B2 (ja) * 2012-12-06 2018-01-24 日本電気株式会社 画像認識処理適性表示システム、方法およびプログラム
WO2014205757A1 (en) * 2013-06-28 2014-12-31 Google Inc. Systems and methods for generating accurate sensor corrections based on video input
US9113036B2 (en) * 2013-07-17 2015-08-18 Ebay Inc. Methods, systems, and apparatus for providing video communications
ITTO20130683A1 (it) 2013-08-08 2015-02-09 Sisvel Technology Srl Apparato e metodo per la correzione delle deformazioni prospettiche delle immagini
US9672649B2 (en) * 2013-11-04 2017-06-06 At&T Intellectual Property I, Lp System and method for enabling mirror video chat using a wearable display device
US9786030B1 (en) 2014-06-16 2017-10-10 Google Inc. Providing focal length adjustments
CN105451090B (zh) * 2014-08-26 2019-03-29 联想(北京)有限公司 图像处理方法和图像处理装置
US9514524B2 (en) * 2015-02-27 2016-12-06 Sony Corporation Optical distortion compensation
CN105049716B (zh) * 2015-06-30 2018-03-27 广东欧珀移动通信有限公司 一种预览图像处理方法及用户终端
CN104994280B (zh) * 2015-06-30 2017-11-07 广东欧珀移动通信有限公司 一种预览图像处理方法及用户终端
CN105007413B (zh) * 2015-06-30 2018-01-19 广东欧珀移动通信有限公司 一种拍摄控制方法及用户终端
KR102317820B1 (ko) * 2015-08-12 2021-10-26 삼성전자주식회사 이미지 처리 방법 및 이를 지원하는 전자장치
US9967461B2 (en) 2015-10-14 2018-05-08 Google Inc. Stabilizing video using transformation matrices
CN105357442A (zh) * 2015-11-27 2016-02-24 小米科技有限责任公司 摄像头拍摄角度调整方法及装置
JP6685843B2 (ja) * 2016-06-06 2020-04-22 オリンパス株式会社 撮像装置
CN106572357A (zh) * 2016-11-11 2017-04-19 协创数据技术股份有限公司 一种视频直播图像失真在线处理装置
US10402689B1 (en) 2017-04-04 2019-09-03 Snap Inc. Generating an image mask using machine learning
US10757319B1 (en) * 2017-06-15 2020-08-25 Snap Inc. Scaled perspective zoom on resource constrained devices
US10462370B2 (en) 2017-10-03 2019-10-29 Google Llc Video stabilization
CN108324247B (zh) * 2018-01-29 2021-08-10 杭州美界科技有限公司 一种指定位置皮肤皱纹评估方法及系统
US10171738B1 (en) 2018-05-04 2019-01-01 Google Llc Stabilizing video to reduce camera and face movement
EP3811291A4 (en) * 2018-06-20 2022-08-17 Centric Software, Inc. GUIDE-ASSISTED MATERIAL DATA CAPTURE
US10750092B2 (en) * 2018-09-19 2020-08-18 Gopro, Inc. Systems and methods for stabilizing videos
US11922605B2 (en) * 2018-11-23 2024-03-05 Hewlett-Packard Development Company, L.P. Selective distortion or deformation correction in images from a camera with a wide angle lens
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information
CN109903217B (zh) * 2019-01-25 2023-05-02 北京百度网讯科技有限公司 图像变形方法和装置
CN109978804B (zh) * 2019-03-08 2021-02-26 清华大学 基于深度学习的人眼视线矫正方法及系统
EP3722991B1 (en) * 2019-04-10 2024-05-29 Axis AB Method, system, and device for detecting an object in a distorted image
US11132800B2 (en) * 2019-07-31 2021-09-28 Google Llc Real time perspective correction on faces
WO2021061112A1 (en) 2019-09-25 2021-04-01 Google Llc Gain control for face authentication
US10984513B1 (en) 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
WO2021066839A1 (en) 2019-10-04 2021-04-08 Google Llc Autocalibration for multiple cameras using near-infrared illuminators
CN113544692A (zh) 2019-10-10 2021-10-22 谷歌有限责任公司 用于面部认证的摄像头同步和图像标记
WO2021080613A1 (en) * 2019-10-25 2021-04-29 Hewlett-Packard Development Company, L.P. Error reduction in assembled measurement scenes
US11190689B1 (en) 2020-07-29 2021-11-30 Google Llc Multi-camera video stabilization
US11887283B2 (en) 2021-04-19 2024-01-30 Apple Inc. Fast distortion correction for wide field of view (FOV) cameras
US20230186421A1 (en) * 2021-12-09 2023-06-15 Huawei Technologies Co., Ltd. Devices, methods, and computer readable media for screen-capture communication
US20240112303A1 (en) * 2022-09-23 2024-04-04 Apple Inc. Context-Based Selection of Perspective Correction Operations

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1937716A (en) * 1931-01-28 1933-12-05 Bancroft Walker Company Footwear and process of making the same
JP2947113B2 (ja) * 1995-03-09 1999-09-13 日本電気株式会社 画像通信端末用ユーザインタフェース装置
EP1613082A1 (en) 2004-06-30 2006-01-04 Sony Ericsson Mobile Communications AB Face image correction
US20060078215A1 (en) 2004-10-12 2006-04-13 Eastman Kodak Company Image processing based on direction of gravity
US20080153728A1 (en) * 2005-08-19 2008-06-26 The Dial Corporation Cleansing compositions having improved fragrance characteristics and methods for the formulation thereof
EP1768387B1 (en) 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
US7742624B2 (en) 2006-04-25 2010-06-22 Motorola, Inc. Perspective improvement for image and video applications
US8174555B2 (en) 2007-05-30 2012-05-08 Eastman Kodak Company Portable video communication system
US20090239591A1 (en) 2008-03-19 2009-09-24 Motorola Inc Wireless communication device and method with an orientation detector
US8405706B2 (en) * 2008-12-17 2013-03-26 Microsoft Corporation Visual feedback for natural head positioning

Also Published As

Publication number Publication date
TW201121326A (en) 2011-06-16
WO2011046710A1 (en) 2011-04-21
CN102104767A (zh) 2011-06-22
US8599238B2 (en) 2013-12-03
HK1159380A1 (zh) 2012-07-27
US20110090303A1 (en) 2011-04-21
CN102104767B (zh) 2015-03-25

Similar Documents

Publication Publication Date Title
TWI436647B (zh) 具有透視失真校正之臉部姿勢之改良
WO2020216054A1 (zh) 视线追踪模型训练的方法、视线追踪的方法及装置
EP3323109B1 (en) Camera pose estimation for mobile devices
US10027893B2 (en) Real-time video stabilization for mobile devices based on on-board motion sensing
JP5498573B2 (ja) ディスプレイを含む携帯電子機器、及び該機器の制御方法
CN106951074B (zh) 一种实现虚拟触摸校准的方法以及系统
US9075429B1 (en) Distortion correction for device display
US9910505B2 (en) Motion control for managing content
US20170316582A1 (en) Robust Head Pose Estimation with a Depth Camera
US9007321B2 (en) Method and apparatus for enlarging a display area
US9514524B2 (en) Optical distortion compensation
TWI695309B (zh) 使用臉部偵測來自動調整顯示影像之技術
CN109685915B (zh) 一种图像处理方法、装置及移动终端
JP2017188766A (ja) カメラを備える電子機器、撮影映像の補正方法および記憶媒体
EP3097459A1 (en) Face tracking for a mobile device
US20120105589A1 (en) Real time three-dimensional menu/icon shading
US10019140B1 (en) One-handed zoom
CN107077200B (zh) 基于反射的控件激活
TW201441916A (zh) 螢幕旋轉控制方法及系統
KR20060057639A (ko) 사용자인터페이스를 제어하기 위한 방법 및 장치, 대응기기, 및 방법을 구현하기 위한 소프트웨어 기기들
CN111314616A (zh) 图像获取方法、电子设备、介质及可穿戴设备
WO2019116689A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2018146922A1 (ja) 情報処理装置、情報処理方法、及びプログラム
TW201539252A (zh) 觸控系統
WO2021031748A1 (zh) 信息处理方法及装置