TW201528815A - 無模式之視訊及靜止訊框擷取 - Google Patents

無模式之視訊及靜止訊框擷取 Download PDF

Info

Publication number
TW201528815A
TW201528815A TW103135721A TW103135721A TW201528815A TW 201528815 A TW201528815 A TW 201528815A TW 103135721 A TW103135721 A TW 103135721A TW 103135721 A TW103135721 A TW 103135721A TW 201528815 A TW201528815 A TW 201528815A
Authority
TW
Taiwan
Prior art keywords
frame
resolution
frames
aspect ratio
integrated circuit
Prior art date
Application number
TW103135721A
Other languages
English (en)
Other versions
TWI566598B (zh
Inventor
D Amnon Silverstein
Shun Wai Go
Suk-Hwan Lim
Timothy J Millet
Ting Chen
Bin Ni
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of TW201528815A publication Critical patent/TW201528815A/zh
Application granted granted Critical
Publication of TWI566598B publication Critical patent/TWI566598B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/0122—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal the input and the output signals having different aspect ratios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21—Intermediate information storage
    • H04N1/2104—Intermediate information storage for one or a few pictures
    • H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/212—Motion video recording combined with still video recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/007—Systems with supplementary picture signal insertion during a portion of the active part of a television signal, e.g. during top and bottom lines in a HDTV letter-box system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Systems (AREA)

Abstract

在一實施例中，一電子裝置可經組態以在視訊擷取期間擷取靜止訊框，但可以4×3縱橫比及以比16×9縱橫比之視訊訊框高的解析度擷取該等靜止訊框。該裝置可使該視訊序列中之高解析度之4×3訊框與較低解析度之16×9訊框交錯，且可在使用者指示擷取一靜止訊框時擷取最近的較高解析度之4×3訊框。替代地，該裝置可顯示該視訊序列中之16×9訊框，且接著在按壓一快門按鈕時擴展至4×3訊框。該裝置可回應於對該快門按鈕之一釋放而擷取該靜止訊框且返回該等16×9視訊訊框。

Description

無模式之視訊及靜止訊框擷取
本發明係關於攜帶型電子裝置中之視訊及靜止訊框擷取領域。
各種攜帶型電子裝置經設計以擷取視訊及/或靜止訊框(圖像)。舉例而言，此等攜帶型電子裝置可包括手持型視訊攝影機、數位攝影機、配備影像感測器(「攝影機」)之個人數位助理、配備攝影機之蜂巢式電話/智慧型手機、配備攝影機之平板電腦、配備攝影機之膝上型電腦等。
支援視訊擷取及靜止訊框擷取兩者之裝置日益普遍，包括上述裝置。此等裝置常常准許使用者在視訊擷取期間擷取靜止訊框。舉例而言，裝置可顯示正在包括於裝置中或附接至裝置之螢幕上擷取的視訊，且裝置可包括按鈕或使用者可按下以擷取靜止訊框之其他使用者輸入裝置。「按鈕」可為裝置上之實體按鈕，或為螢幕上之虛擬按鈕(若螢幕為觸控螢幕)。
在視訊擷取期間擷取靜止訊框存在許多問題。首先，視訊擷取常常以低於攝影機所支援之解析度執行，且攝影機之較高解析度通常用於在不擷取視訊時擷取靜止訊框。其次，視訊之縱橫比通常為16×9，而靜止訊框通常以4×3縱橫比擷取。因此，當使用者擷取靜止訊框時，所擷取靜止訊框之較低解析度及不同縱橫比可令使用者感到意外且可能令使用者不滿意。通常，當在高解析度靜止模式與較低解 析度視訊模式之間切換時，攝影機感測器需要經重組態，因此無法在僅切換模式之情況下在視訊擷取期間擷取較高解析度靜止影像。
在一實施例中，電子裝置可經組態以在視訊擷取期間擷取靜止訊框，但可以4×3縱橫比及以比16×9縱橫比之視訊訊框高的解析度擷取靜止訊框。在一項實施中，裝置可使視訊序列中之高解析度之4×3訊框與較低解析度之16×9訊框交錯，且可在使用者指示擷取靜止訊框時擷取最近的較高解析度之4×3訊框。裝置可顯示正在顯示螢幕上擷取之視訊，且亦可提供4×3成框之指示。舉例而言，視訊可藉由在黑邊(letterbox)周圍以半透明形式展示4×3成框之剩餘部分來進行黑邊處理。以此方式，使用者可意識到同時4×3成框及視訊成框。在另一實施中，正擷取之視訊可以16×9縱橫比顯示顯示螢幕上。若使用者按壓快門按鈕以擷取靜止訊框，則所顯示之視訊可擴展至4×3縱橫比(保留視訊訊框在4×3訊框內之比例及置放)。當使用者釋放快門按鈕時，可擷取到靜止訊框且顯示器可返回16×9縱橫比。
雖然本發明易受各種修改及替代形式之影響，但在圖式中藉由實例展示本發明之特定實施例，且將在本文中對該等特定實施例進行詳細描述。然而，應瞭解，該等圖式及對其之詳細描述並非意欲將本發明限於所揭示的特定形式，而相反，本發明意欲涵蓋屬於所附申請專利範圍所界定的本發明之精神及範疇內的所有修改、等效物及替代物。本文中所使用之標題僅為達成組織性目的，且不意欲用來限制此描述之範疇。如本申請案全篇中所使用之詞語「可」係在准許意義(亦即，意謂有可能)而非強制意義(亦即，意謂必須)上使用。類似地，詞語「包括」意謂包括但不限於。
可將各種單元、電路或其他組件描述為「經組態以」執行一或多個任務。在此等情況下，「經組態以」係對結構之廣泛敍述，其大體上意謂「具有在操作期間執行該一或多個任務之電路」。因而，單元/電路/組件可經組態以甚至在該單元/電路/組件當前未接通時執行該任務。一般而言，形成對應於「經組態以」之結構的電路可包括硬體電路及/或儲存可執行以實施該操作之程式指令的記憶體。該記憶體可包括揮發性記憶體(諸如，靜態或動態隨機存取記憶體)，及/或非揮發性記憶體(諸如，光碟或磁碟儲存器、快閃記憶體、可程式化唯讀記憶體等)。類似地，為了描述之便利起見，各種單元/電路/組件可被描述為執行一或多個任務。此等描述應解釋為包括片語「經組態以」。敍述經組態以執行一或多個任務之單元/電路/組件明確地不意欲援引35 U.S.C.§ 112第六段對該單元/電路/組件之解釋。
本說明書包括對「一個實施例」或「一實施例」之參考。除非本文中明確否認，否則片語「在一個實施例中」或「在一實施例中」 之表述不必指代同一實施例，但一般預期包括特徵之任何組合的實施例。可以與本發明相一致之任何合適方式來組合特定特徵、結構或特性。
10‧‧‧系統單晶片(SOC)
12‧‧‧記憶體
14‧‧‧中央處理單元(CPU)複合件
16‧‧‧顯示管
18A‧‧‧周邊裝置
18B‧‧‧周邊裝置
20‧‧‧顯示器
22‧‧‧記憶體控制器
24‧‧‧影像信號處理器(ISP)
26‧‧‧影像感測器
27‧‧‧通信網狀架構
28‧‧‧處理器
30‧‧‧二階(L2)快取記憶體
40A‧‧‧訊框
40B‧‧‧訊框
40C‧‧‧訊框
40D‧‧‧訊框
42A‧‧‧訊框
42B‧‧‧訊框
42C‧‧‧訊框
42D‧‧‧訊框
44‧‧‧訊框
46‧‧‧視訊訊框
48‧‧‧大括號
50‧‧‧大括號
52A‧‧‧半透明黑邊
52B‧‧‧半透明黑邊
54‧‧‧大括號
56‧‧‧按鈕
60‧‧‧感測器介面
62‧‧‧前端按比例調整器
64‧‧‧後端處理區塊
66‧‧‧後端按比例調整器
68‧‧‧虛線
70‧‧‧虛線
72‧‧‧虛線
74‧‧‧虛線
150‧‧‧系統
154‧‧‧周邊裝置
156‧‧‧電源供應器
以下詳細描述參看現簡短描述之隨附圖式。
圖1為系統之一個實施例的方塊圖。
圖2為說明一個實施例中之在一時間週期內擷取之訊框的方塊圖。
圖3為將訊框顯示於圖1中所展示之系統之顯示器上的一個實施例的方塊圖。
圖4為圖1中所展示之影像信號處理器(ISP)之一個實施例的方塊圖。
圖5為圖1中所展示之ISP之另一實施例的方塊圖。
圖6為說明根據系統之一個實施例之視訊訊框擷取的流程圖。
圖7為說明根據系統之一個實施例之靜止訊框擷取的流程圖。
圖8為說明根據系統之另一實施例之靜止訊框擷取的流程圖。
圖9為系統之另一實施例的方塊圖。
現轉向圖1，展示系統單晶片(SOC)10之一個實施例之方塊圖，該SOC耦接至記憶體12、一或多個影像感測器26及一或多個顯示器20。如名稱所暗示，SOC 10之組件可作為積體電路「晶片」整合至單一半導體基板上。在一些實施例中，該等組件可在系統中之兩個或兩個以上離散晶片上實施。另外，各種組件可整合於任何積體電路上(亦即，其無需為SOC)。然而，SOC 10在本文中將用作實例。在所說明之實施例中，SOC 10之組件包括中央處理單元(CPU)複合件14、顯示管16、周邊組件18A至18B(更簡略地，「周邊裝置」)、記憶體控制器22、影像信號處理器(ISP)24及通信網狀架構27。組件14、16、18A至18B、22及24均可耦接至通信網狀架構27。記憶體控制器22可在使用期間耦接至記憶體12。類似地，ISP 24可在使用期間耦接至影像感測器26，且顯示管16可在使用期間耦接至顯示器20。因此，SOC 10、影像感測器26、記憶體12及顯示器20均可為系統(諸如，攜帶型電子裝置(上文提及其實例)或任何其他電腦系統)之組件。在所說明之實施例中，CPU複合件14包括一或多個處理器28及二階(L2)快取記憶體30。
ISP 24可經組態以自影像感測器26接收影像感測器資料，且可經組態以處理該資料以產生影像訊框，該等影像訊框可(例如)適於在顯示器20及/或其他顯示器上顯示。影像訊框可包括靜止訊框及視訊訊框。ISP 24可經組態以將影像訊框寫入至記憶體12(經由記憶體控制器22)。
影像感測器26通常可包括任何裝置，該裝置經組態以對光進行 取樣且提供表示經取樣光之輸出。影像感測器26可包括攝影機(例如，電荷耦合裝置(CCD)、互補金屬氧化物半導體(CMOS)感測器等)。在一些實施例中，影像感測器26亦可包括各種固定或可移動光學透鏡。
更特定言之，在一實施例中，ISP 24可經組態以隨時間自影像感測器26接收一系列訊框(例如，以特定訊框速率，諸如60個訊框/秒(fps)，但任何訊框速率可用於各種實施例中)。自給定影像感測器26接收之訊框的解析度及縱橫比可基於給定影像感測器26之最大解析度及給定影像感測器26之縱橫比。舉例而言，在一實施例中，可以給定影像感測器26之最大解析度及縱橫比接收訊框。在另一實施例中，可以不同於給定影像感測器所具有之縱橫比的縱橫比及可在彼不同縱橫比下支援之最大解析度接收訊框。舉例而言，在一實施例中，給定影像感測器26可具有4×3縱橫比，但ISP 24可以16×9縱橫比接收訊框。所接收之訊框之解析度可自最大解析度降低以反映4×3(16×12)至16×9之損耗。替代地，在另一實施例中，ISP 24可經組態以降低所接收之訊框的縱橫比。
在一實施例中，ISP 24可同時自一個以上影像感測器接收訊框。舉例而言，視訊影像感測器可連同較高解析度靜止訊框感測器一起用於較低解析度視訊擷取。ISP 24可以交錯方式處理來自影像感測器之資料。舉例而言，ISP 24可擷取及處理視訊影像訊框，且可使用剩餘時間處理較高解析度靜止影像訊框(或較高解析度訊框的一部分)直至擷取到下一視訊訊框為止。
ISP 24可經組態以處理所接收之訊框以產生所擷取視訊序列。在一實施例中，該處理可包括改變至少一些訊框之解析度以及縱橫比。在一些實施例中，亦可改變訊框速率。在一個實施例中，ISP 24可使在由影像感測器26提供之解析度及縱橫比下的訊框與在較低解析度及 不同縱橫比下之訊框交錯。舉例而言，較低解析度可為擷取視訊序列所依據之顯示標準解析度。顯示標準可為解析度及縱橫比之任何標準設定，其可由各種顯示器實施。由於解析度及縱橫比為標準的，因此視訊序列可適於在許多不同類型之顯示裝置上顯示。舉例而言，顯示標準可包括720p、720i、1080p或1080i。1080p標準目前特別風行，且由許多視訊顯示裝置(諸如，電視及電腦監視器)實施。此等各種顯示標準亦常常被稱為高清晰度電視(HDTV)。1080p標準在本文中將用作實例，且指定16×9縱橫比及1920×1080解析度或2百萬像素。另一方面，影像感測器26之解析度可為8百萬像素、10百萬像素、12.5百萬像素或12.5百萬像素以上(或在一實施例中，12.5百萬像素以下，但仍高於1080p解析度)。影像感測器26之縱橫比亦可為4×3。在顯示標準解析度及縱橫比下之訊框可被稱為顯示標準訊框，或1080p訊框用於更特定實例。在影像感測器26之解析度及縱橫比下的所接收訊框可被稱為「全解析度」訊框，但在一些情況下，解析度可能不為影像感測器26之最大解析度。
藉由使視訊序列中之1080p訊框與全解析度訊框交錯，ISP 24可降低輸出視訊序列時消耗之頻寬及功率量(例如，藉由經通信網狀架構27且經由記憶體控制器22將視訊序列寫入至記憶體12)。另外，所擷取視訊序列中全解析度訊框之存在可准許在擷取視訊的同時擷取靜止訊框。靜止訊框可具有影像感測器26之全解析度及縱橫比(藉由當使用者指示將擷取靜止訊框時自視訊序列選擇全解析度訊框中之一者)，此情形可在不需要改變模式的情況下提供更合意之靜止訊框(例如，類似於在靜止模式下擷取之彼等靜止訊框)。
使高解析度訊框與較低解析度訊框交錯可產生高解析度訊框及較低解析度訊框之影像串流，每一訊框之訊框速率為藉以自影像感測器26擷取訊框之訊框速率的一半。然而，訊框速率無需相同。舉例而 言，高解析度訊框速率可為串流中之訊框之1/4，或訊框之1/8，或任何其他交錯型樣。較低解析度訊框速率可增加以產生所要總訊框速率(例如，較低解析度訊框在高解析度訊框為訊框之1/4的情況下可為訊框之3/4，或在高解析度訊框為訊框之1/8的情況下可為訊框之7/8)。
在一實施例中，ISP 24亦可產生「預覽」視訊序列，該視訊序列可由顯示管16顯示於顯示器20上。預覽視訊序列可為較低解析度序列(例如，解析度可類似於1080p解析度)，但縱橫比可為影像感測器26之縱橫比。亦即，縱橫比可為靜止影像之縱橫比。可顯示預覽序列以用於正擷取視訊之使用者，因此使用者可使視訊序列按需要成框。此外，顯示靜止影像縱橫比可准許使用者在擷取靜止影像之情況下檢視靜止影像將成框之方式。在一實施例中，顯示標準縱橫比亦可在預覽序列中加以指示，因此使用者可在顯示器20上同時看到視訊訊框及靜止訊框兩者。在一實施例中，預覽視訊序列之訊框速率亦可低於所擷取視訊序列之訊框速率(例如，相比於60fps之30fps)。
其他實施例可以其他方式顯示預覽。舉例而言，可在擷取視訊的同時以顯示標準縱橫比(例如，16×9)產生預覽序列。使用者可指示擷取靜止訊框之需要(例如，藉由按下裝置上之快門按鈕)，且預覽可圍繞視訊序列顯示靜止縱橫比(將視訊序列保持在顯示器20上之相同位置中，但亦顯示靜止訊框之剩餘部分)。可在按下快門按鈕的同時繼續進行視訊擷取。使用者可釋放快門按鈕以擷取靜止影像且返回僅視訊擷取。快門按鈕可為系統外殼上包括之實體按鈕，或可為顯示螢幕上之虛擬按鈕(例如，若顯示器20為觸控螢幕顯示器)。
顯示管16可包括硬體以處理一或多個靜態訊框及/或一或多個視訊序列從而在顯示器20上顯示。通常，對於每一源訊框或視訊序列，顯示管16可經組態以產生讀取記憶體操作以經由記憶體控制器22自記憶體12讀取表示訊框/視訊序列的資料。詳言之，在此實施例中，顯 示管16可經組態以經由記憶體控制器22自記憶體12讀取預覽序列。因此，ISP 24可將預覽序列以及所擷取序列及任何靜止訊框寫入至記憶體12。顯示管16可經組態以對影像資料(靜態訊框、視訊序列等)執行任何類型之處理。在一個實施例中，顯示管16可經組態以按比例調整靜態訊框且對視訊序列之訊框執行遞色、按比例調整及/或色彩空間轉換。顯示管16可經組態以混合靜態訊框與視訊序列訊框以產生輸出訊框用於顯示。更一般地，顯示管16可被稱為顯示控制器。
顯示器20可為任何類別之視覺顯示裝置。顯示器可包括(例如)用於行動裝置(諸如，智慧型手機、平板電腦等)之觸控螢幕式顯示器。各種顯示器20可包括液晶顯示器(LCD)、發光二極體(LED)、電漿、陰極射線管(CRT)等。顯示器可整合至包括SOC 10之系統(例如，智慧型手機或平板電腦)中及/或可為單獨收容之裝置，諸如電腦監視器、電視或其他裝置。
通常，訊框之縱橫比可指水平方向上之像素數(如由使用者檢視)對垂直方向上之像素數的比率。訊框中之像素之實際數目可被稱為訊框之解析度。訊框中之像素愈多，則影像可愈精巧細微，且因此，影像可愈精確。
CPU複合件14可包括用作SOC 10之CPU的一或多個CPU處理器28。系統之CPU包括執行系統之主控制軟體(諸如，作業系統)的處理器。通常，在使用期間由CPU執行之軟體可控制系統之其他組件以實現系統之所要功能性。CPU處理器28亦可執行其他軟體，諸如應用程式。應用程式可提供使用者功能性，且可依賴用於較低層級裝置控制之作業系統。因此，CPU處理器28亦可被稱為應用程式處理器。CPU複合件可進一步包括其他硬體，諸如L2快取記憶體30及/或至系統之其他組件的一介面(例如，至通信網狀架構27之介面)。
周邊裝置18A至18B可為SOC 10中包括之額外硬體功能性的任何 集合。舉例而言，周邊裝置18A至18B可包括視訊周邊裝置，諸如視訊編碼器/解碼器、按比例調整器、旋轉器、混合器、圖形處理單元等。周邊裝置可包括音訊周邊裝置，諸如麥克風、揚聲器、至麥克風及揚聲器之介面、音訊處理器、數位信號處理器、混音器等。周邊裝置可包括用於SOC 10(例如，周邊裝置18B)外部之各種介面的介面控制器，該等介面包括(諸如)通用串列匯流排(USB)、包括快速PCI(PCIe)之周邊組件互連(PCI)、串列埠及平行埠等。周邊裝置可包括網路連接周邊裝置，諸如媒體存取控制器(MAC)。可包括任何硬體集合。
記憶體控制器22通常可包括用於自SOC 10之其他組件接收記憶體請求且用於存取記憶體12以完成記憶體請求的電路。記憶體控制器22可經組態以存取任何類型之記憶體12。舉例而言，記憶體12可為靜態隨機存取記憶體(SRAM)、動態RAM(DRAM)，諸如包括雙資料速率(DDR、DDR2、DDR3等)DRAM之同步DRAM(SDRAM)。可支援DDR DRAM之低功率/行動版本(例如，LPDDR、mDDR等)。
通信網狀架構27可為用於在SOC 10之組件間通信之任何通信互連件及協定。通信網狀架構27可為基於匯流排的，包括共用匯流排組態、縱橫式(crossbar)組態及具有橋接器之階層式匯流排。通信網狀架構27亦可為基於封包的，且可為具有橋接器之階層式互連件、縱橫式互連件、點對點互連件或其他互連件。
應注意，SOC 10之組件之數目(及圖1中所展示之彼等組件(諸如，在CPU複合件14內)的子組件之數目)在實施例間各不相同。可能存在比圖1中所展示之數目多或少的每一組件/子組件。
現轉向圖2，展示說明根據一個實施例之視訊序列的連續訊框的圖。視訊序列包括在4×3縱橫比及全感測器解析度下之訊框40A至40D，其與在16×9縱橫比及1080p解析度下之訊框42A至42D交錯。亦 即，以4×3縱橫比及高解析度且以16×9縱橫比及較低解析度提供交替訊框。在一實施例中，視訊序列之訊框速率可與來自影像感測器26之輸入訊框速率相同(例如，60fps)。因此，每一訊框類型之有效訊框速率(全解析度及1080p解析度)可為視訊序列訊框速率之1/2(例如，30fps)。
如上所提及，用於全解析度及1080p解析度訊框之訊框速率無需相同。取決於各種因數(諸如，系統中及ISP本身中之可用頻寬)，有效訊框速率可變化。舉例而言，全解析度訊框可以15fps擷取，且1080p解析度訊框可以45fps擷取以產生60fps。可使用任何訊框速率集合。
圖3為說明如可在擷取圖2中所展示之視訊序列期間顯示於顯示器20上之預覽序列的訊框44之一個實施例的方塊圖。訊框44可包括呈如由大括號48及50所指示之16×9格式的視訊訊框46。另外，4×3(16×12)訊框之延伸超出視訊訊框之部分可以半透明黑邊形式52A至52B展示，其中全4×3(16×12)訊框經由大括號48及54說明。
半透明黑邊52A至52B可為在視訊序列中擷取訊框44之哪一部分(視訊訊框46)且哪一部分可用於靜止影像(整個訊框44)的可見指示。半透明黑邊52A至52B可對影像加陰影以提供視覺效應，但亦可允許檢視下伏像素，以使得使用者可在仍擷取視訊的同時對所需靜止畫面(still shot)成框。其他實施例可使用其他視覺指示器(例如，分離視訊訊框與靜止訊框部分之線、在訊框44之右邊及左邊在視訊訊框46開始及結束的點處的刻度標記等)。
黑邊效應可由ISP 24在處理視訊序列時添加，或可經由顯示管16添加，從而將透明覆疊部分作為靜態影像混合至具有非麼正α值的視訊序列上，該值准許下伏像素色彩部分地可見。
虛擬快門按鈕56亦顯示於訊框44上。在所說明之實施例中，按 鈕56顯示於視訊訊框44內，但亦可顯示於黑邊區域52A至52B中。可在顯示器20為觸摸啟用式顯示器之實施例中使用按鈕56。使用者可藉由在顯示按鈕以擷取靜止訊框之點處與螢幕進行觸摸接觸來按下按鈕56。在一實施例中，按下按鈕導致擷取靜止訊框。在另一實施例中，在按下按鈕之後釋放按鈕可導致擷取靜止訊框。同時，可繼續擷取及顯示視訊序列。回應於使用者按下(或釋放)按鈕56，SOC 10可經組態以自所擷取視訊序列擷取最近全解析度訊框。亦即，靜止訊框擷取發生之時間點可同步至視訊序列，且可選擇與彼時間點最近之全解析度訊框。
現轉向圖4，展示ISP 24之一個實施例之方塊圖。在所說明之實施例中，ISP 24包括感測器介面60、前端按比例調整器62、後端處理區塊64及後端按比例調整器66。感測器介面60經耦接以自影像感測器26接收訊框，且耦接至前端按比例調整器62。前端按比例調整器62經耦接以將經按比例調整之訊框提供至記憶體控制器22以儲存於記憶體12中。後端處理區塊64經組態以自記憶體12讀取經按比例調整之訊框(由圖4中時虛線68所說明)。後端處理區塊64耦接至後端按比例調整器66，該後端按比例調整器經耦接以將所擷取視訊序列及預覽視訊序列提供至記憶體控制器22以儲存於記憶體12中。預覽視訊序列可由顯示管16自記憶體12讀取(由虛線70所說明)。
自影像感測器26接收之訊框可為在所要訊框速率(例如，在此實例中為60fps)下之全感測器解析度訊框。另外，訊框可具有感測器縱橫比(例如，在此實例中為4×3)。如先前所提及，在一些實施例中，可使用多個影像感測器，且可接收來自每一影像感測器之訊框。在各種實施例中，用於自每一感測器接收影像之訊框速率無需相同。感測器介面60可經組態以接收訊框資料且將該資料供應至前端按比例調整器62。前端按比例調整器62可輸出交替的在全感測器解析度及縱橫比 下之訊框(亦即，未修改之訊框)與在降低之解析度及16×9縱橫比下之訊框。降低之解析度可為顯示標準解析度(例如，1080p)或可為中間解析度。舉例而言，中間解析度可基於預覽視訊序列之解析度。具體言之，在一實施例中，中間解析度可匹配預覽視訊序列之水平解析度。在其他實施例中，藉以產生高解析度訊框及低解析度訊框之相對速率可變化，如上所論述。
前端按比例調整器62可對原始感測器像素資料進行操作。可以任何格式(例如，拜耳(Bayer)格式)提供感測器像素資料。原始感測器像素資料可轉換成由系統之其他組件使用之資料(例如，紅綠藍(RGB)像素或色度/亮度(YCrCb)像素)。後端處理區塊64可經組態以執行該轉換，且後端按比例調整器66可經組態以按比例調整所得訊框。後端按比例調整器66可經組態以將以下兩個視訊串流輸出至記憶體：所擷取視訊序列，其可包括與1080p解析度之16×9訊框交錯的經交錯4×3全感測器解析度訊框；及預覽視訊序列。
預覽視訊序列無需在所擷取視訊序列之全訊框速率下。舉例而言，在所說明之實施例中，預覽視訊序列可為30fps，其中所擷取視訊序列為60fps。每一預覽訊框可具有4×3縱橫比，且可具有適於顯示器20之解析度。在一實施例中，先前訊框可包括16×9訊框在4×3訊框內之指示(例如，黑邊處理)。
除上文提及之拜耳像素轉換之外，後端處理區塊64亦可經組態以實施任何其他所要影像處理或變換機制。舉例而言，後端處理區塊64可包括雜訊插入、色彩增強等。
圖5為ISP 24之另一實施例之方塊圖。圖5之實施例不包括前端按比例調整器62。因此，感測器介面60可經組態以自影像感測器26接收訊框且將該等訊框寫入至記憶體。在所說明之實施例中，所接收訊框可具有4×3縱橫比及全感測器解析度。替代地，在另一實施例中，所 接收訊框可具有16×9縱橫比。後端處理區塊64可自記憶體讀取所接收訊框(虛線72)，且可產生使4×3縱橫比、全感測器解析度之訊框與16×9縱橫比、較低解析度之訊框交錯的經按比例調整之視訊序列，該等訊框由圖4之實施例中之前端按比例調整器產生。此外，後端處理區塊64可經組態以執行如先前所述之拜耳至RGB/YCrCb處理及其類似者。後端按比例調整器66可經組態以產生所擷取視訊序列及預覽視訊序列，如先前參看圖4所論述。顯示管16可自記憶體讀取預覽視訊序列(虛線74)以在顯示器20上顯示。
圖6為說明用於擷取視訊序列及預覽視訊序列之SOC 10之組件的一個實施例之操作的流程圖。雖然為了易於理解而以特定次序展示區塊，但可使用其他次序。區塊可以組合邏輯在組件中並行執行。區塊亦並行地可對不同訊框或一訊框之不同部分操作。可在多個時脈循環內對區塊、區塊之組合及/或作為整體之流程圖進行管線作業。SOC 10之組件可經組態以實施圖6中所展示之操作。
ISP 24可經組態而以所要訊框速率接收影像感測器資料(區塊80)。ISP 24可經組態以產生交錯訊框序列(全感測器解析度之4×3縱橫比訊框與較低解析度之16×9縱橫比訊框)。每一類型之訊框之序列可有效地具有所接收訊框之訊框速率的一半，且因此，交錯序列可具有與所接收訊框相同之訊框速率(區塊82)。替代地，可支援用於低解析度訊框及高解析度訊框之不同訊框速率，如先前所論述。ISP 24可經組態以產生所擷取視訊序列，該序列包括與1080p訊框交錯之全感測器4×3縱橫比訊框(區塊84)。另外，ISP 24可經組態以產生預覽視訊序列之預覽解析度之4×3縱橫比訊框(區塊86)。在一個實施例中，預覽視訊序列之訊框速率小於所擷取視訊序列之訊框速率。舉例而言，訊框速率可為所擷取視訊序列之一半。預覽視訊序列之訊框可(例如)藉由合併來自所擷取視訊序列之4×3訊框(按比例調整至1080p解析度)及 鄰近16×9訊框而產生。顯示管16可以半透明黑邊顯示預覽視訊序列以指示訊框之視訊(16×9)部分(區塊88)。半透明黑邊效應可為提供預覽視訊序列之後端按比例調整器66之部分，或可經由混合預覽視訊序列與靜態黑邊影像而應用。所擷取視訊序列及預覽視訊序列可儲存於記憶體12中之單獨記憶體區中。由於在正擷取預覽視訊序列的同時提供該序列以供使用者檢視，因此在需要時該序列之區可稍微較小，且可由較新訊框覆寫視訊序列中之較舊訊框。相反，所擷取視訊序列可用於保留(例如，用於稍後處理/檢視，可能卸載至另一裝置等)。因此，可分配較大區用於所擷取視訊序列。在一些實施例中，可將所擷取視訊序列轉送至其他儲存器(例如，系統中之非揮發性記憶體，圖中未繪示)。
若不同訊框速率用於高解析度訊框及低解析度訊框，則高解析度訊框之產生可在較低解析度訊框之產生之間的時間配量中執行。舉例而言，若低解析度訊框係以30fps擷取，則ISP 24可以小於1/30秒之速率擷取低解析度訊框。直至1/30秒屆期為止的剩餘時間可用於處理高解析度切片。舉例而言，切片可為高解析度訊框之一或多個影像塊。
圖7為說明用於在視訊擷取期間擷取靜止訊框之SOC 10之組件的一個實施例之操作的流程圖。雖然為了易於理解而以特定次序展示區塊，但可使用其他次序。區塊可以組合邏輯在組件中並行執行。可在多個時脈循環內對區塊、區塊之組合及/或作為整體之流程圖進行管線作業。SOC 10之組件可經組態以實施圖7中所展示之操作。
使用者可向系統指示待擷取靜止訊框(決策區塊90)。舉例而言，使用者可按壓系統上之實體快門按鈕或顯示器20上顯示之虛擬快門按鈕(在此實施例中，該顯示器可為觸控螢幕顯示器)。可由處理器28中之一者(例如)回應於來自裝置(顯示器20或實體按鈕)之中斷而執行對 按鈕按壓或其他指示之偵測。若使用者已指示靜止訊框(決策區塊90，「是」分支)，則系統可自所擷取視訊序列擷取最近的4×3縱橫比、全感測器解析度之訊框。系統可(例如)藉由比較按鈕按壓事件或其他指示事件之時戳與所擷取視訊序列訊框之時戳來判定最近訊框。靜止訊框可自其在記憶體12中之所擷取視訊中的位置複製至另一位置以作為靜止訊框儲存。
在一些實施例中，系統可使用影像品質濾波以選擇擷取靜止影像，而非完全擷取最近的高解析度訊框。舉例而言，可檢查訊框之清晰度，且在時間上遠離按鈕按壓之較清晰影像可比較近影像較佳。若圖像之主題為人，則主題之眼睛為睜開的訊框可比較近影像較佳。任何類別之影像品質濾波可包括在各種實施例中。
在另一實施例中，預覽視訊序列可在視訊擷取期間以16×9解析度顯示。若在視訊擷取期間使用者指示待擷取靜止訊框，則預覽視訊序列可擴展至4×3縱橫比，因此使用者可觀察靜止訊框之成框。視訊擷取可在此時間期間繼續，從而以16×9縱橫比擷取。一旦擷取到靜止訊框，預覽視訊序列便可轉變回至16×9縱橫比。在一實施例中，在不執行靜止擷取時僅顯示16×9視訊訊框可進一步降低用於視訊資料之頻寬及功率消耗，同時仍提供用於靜止訊框之所要縱橫比。
圖8為說明實施16×9至4×3之轉變且轉變回的系統之一個實施例之操作的流程圖。雖然為了易於理解而以特定次序展示區塊，但可使用其他次序。區塊可以組合邏輯在組件中並行執行。可在多個時脈循環內對區塊、區塊之組合及/或作為整體之流程圖進行管線作業。SOC 10之組件可經組態以實施圖8中所展示之操作。
系統可在視訊擷取模式下，從而擷取視訊訊框且將16×9預覽顯示於顯示器20上。使用者可(例如)藉由按壓實體或虛擬快門按鈕來指示需要靜止訊框(決策區塊94)。如上所論述，使用者對按鈕之按下可 (例如)由接收中斷之處理器28偵測到。若使用者未按下快門按鈕(決策區塊94，「否」分支)，則系統可繼續顯示16×9預覽訊框(區塊96)。另一方面，若使用者按下快門按鈕(決策區塊94，「是」分支)，則系統可顯示4×3預覽(區塊98)，且可繼續顯示4×3預覽直至使用者釋放快門按鈕為止(決策區塊100，「否」分支)。因此，在需要時，使用者可在按下按鈕的同時對靜止訊框成框。
16×9至4×3之轉變可以多種方式執行。舉例而言，4×3訊框可淡入，從而將16×9訊框在4×3訊框內保持於其相同位置及比例。4×3訊框之超出16×9訊框的部分可經半透明黑邊處理，以使得視訊成框及靜止成框兩者可為同時可見的。替代地，淡入可未達到全亮度，從而在視訊成框與靜止成框之間提供視覺差別。
一旦使用者釋放快門按鈕(決策區塊100，「是」分支)，則系統可在與視訊序列分離之記憶體位置中擷取靜止訊框，且顯示器可返回顯示16×9視訊訊框(區塊102)。舉例而言，4×3訊框可淡出。在靜止訊框之成框及擷取期間(例如，在按壓快門按鈕的同時)，視訊擷取可繼續發生。
應注意，雖然上文論述將16×9作為視訊縱橫比且將4×3作為靜止縱橫比，但其他實施例可將其他縱橫比用於視訊訊框及靜止訊框中之一者或兩者。
類似於上文關於圖7之論述，在圖8之實施例中擷取之靜止訊框可為在時間上接近按鈕釋放但亦可適用影像品質濾波的訊框。
接下來轉向圖9，展示系統150之一個實施例之方塊圖。在所說明之實施例中，系統150包括SOC 10之至少一個例項，其耦接至一或多個周邊裝置154及外部記憶體12。提供電源供應器156，該電源供應器將供應電壓供應至SOC 10以及將一或多個供應電壓供應至記憶體12及/或周邊裝置154。在一些實施例中，可包括SOC 11之一個以上例 項(且亦可包括一個以上記憶體12)。
取決於系統150之類型，周邊裝置154可包括任何所要電路。舉例而言，在一個實施例中，系統150可為行動裝置(例如，個人數位助理(PDA)、智慧型手機等)，且周邊裝置154可包括用於各種類型之無線通信(諸如，wifi、藍芽、蜂巢式、全球定位系統等)的裝置。周邊裝置154亦可包括額外儲存器，包括RAM儲存器、固態儲存器或磁碟儲存器。周邊裝置154可包括使用者介面裝置，諸如顯示螢幕(包括觸控顯示螢幕或多點觸控顯示螢幕)、鍵盤或其他輸入裝置、麥克風、揚聲器等。在其他實施例中，系統150可為任何類型之計算系統(例如，桌上型個人電腦、膝上型電腦、工作站、桌上型易網機(net top)等)。具體言之，周邊裝置154可包括圖1中所展示之影像感測器26及顯示器20。
外部記憶體12可包括任何類型之記憶體。舉例而言，外部記憶體12可為SRAM、動態RAM(DRAM)(諸如，同步DRAM(SDRAM)、雙資料速率(DDR、DDR2、DDR3等)SDRAM、RAMBUS DRAM等)。外部記憶體12可包括一或多個記憶體模組，記憶體裝置安裝至該一或多個記憶體模組，諸如單列記憶體模組(SIMM)、雙列記憶體模組(DIMM)等。替代地，外部記憶體12可包括以疊層晶片或疊層封裝實施安裝於SOC 10上之一或多個記憶體裝置。
對於熟習此項技術者而言，一旦已完全瞭解上述揭示內容，眾多變化及修改便將變得顯而易見。預期將以下申請專利範圍解釋為涵蓋所有此等變化及修改。
10‧‧‧系統單晶片(SOC)
12‧‧‧記憶體
14‧‧‧中央處理單元(CPU)複合件
16‧‧‧顯示管
18A‧‧‧周邊裝置
18B‧‧‧周邊裝置
20‧‧‧顯示器
22‧‧‧記憶體控制器
24‧‧‧影像信號處理器(ISP)
26‧‧‧影像感測器
27‧‧‧通信網狀架構
28‧‧‧處理器
30‧‧‧二階(L2)快取記憶體

Claims (20)

  1. 一種裝置，其包含：至少一個影像感測器；一顯示裝置；及一積體電路，其耦接至該影像感測器及該顯示裝置，其中該積體電路經組態以在一視訊擷取期間自該影像感測器接收第一複數個訊框，其中該第一複數個訊框具有一第一解析度，且其中該積體電路經組態以輸出形成一視訊序列之第二複數個訊框，其中該第二複數個訊框之一第一子集具有該第一解析度及與靜止訊框相關聯之一第一縱橫比，且其中該第二複數個訊框之一第二子集具有小於該第一解析度之一第二解析度及與視訊訊框相關聯之一第二縱橫比，且其中該積體電路經組態以回應於對一靜止訊框之一請求而遞送該第一子集中之一者。
  2. 如請求項1之裝置，其中該積體電路經組態以輸出第三複數個訊框以用於在該顯示裝置上顯示，其中該第三複數個訊框形成一第二視訊序列，該第二視訊序列具有該第一縱橫比及小於該第一解析度之一第三解析度，且其中該第三複數個訊框進一步包括每一訊框內之該第二縱橫比之一指示。
  3. 如請求項2之裝置，其進一步包含耦接至該積體電路之一記憶體，其中該積體電路經組態以將該第二複數個訊框儲存於該記憶體中。
  4. 如請求項3之裝置，其中該積體電路經進一步組態以將該第三複數個訊框儲存於該記憶體中，且其中該積體電路經組態以自該記憶體讀取該第三複數個訊框以用於在該顯示裝置上顯示。
  5. 如請求項1之裝置，其中該指示為一半透明黑邊效應。
  6. 如請求項1之裝置，其中該第二解析度係由一顯示標準判定。
  7. 如請求項1之裝置，其中該第一解析度為由該影像感測器支援之一最大解析度。
  8. 如請求項1之裝置，其中該積體電路經組態以回應於指示對一靜止訊框之一擷取的使用者輸入而擷取具有該第一解析度之一最近訊框作為該靜止訊框。
  9. 如請求項1之裝置，其中該積體電路經組態以回應於指示對一靜止訊框之一擷取的使用者輸入而擷取具有該第一解析度之一訊框作為該靜止訊框，其中該訊框接近該使用者輸入指示該擷取之時間，且其中該訊框亦滿足一或多個影像品質要求。
  10. 一種方法，其包含：在一視訊擷取期間，產生在一第一解析度及與靜止訊框相關聯之第一縱橫比下之第一訊框與以一第二解析度及與一視訊相關聯之第二縱橫比擷取之第二訊框的一交錯序列；偵測對一靜止訊框之一請求；及遞送在該第一解析度及該第一縱橫比下之該等訊框中之一者作為該靜止訊框。
  11. 如請求項10之方法，其進一步包含：以該第一縱橫比將訊框顯示於一顯示裝置上，其中該等訊框進一步包括該等訊框內之該第二縱橫比之一指示。
  12. 如請求項11之方法，其中該指示為該第一訊框之超出該第二縱橫比之部分上方的一半透明陰影。
  13. 如請求項10之方法，其中該第一縱橫比為4×3，且其中該第二縱橫比為16×9。
  14. 如請求項10之方法，其中該第一解析度係基於產生影像之一影像感測器的一最大解析度。
  15. 如請求項10之裝置，其中該第二解析度係自一顯示標準判定。
  16. 一種裝置，其包含：一影像感測器；一顯示裝置；及一積體電路，其耦接至該影像感測器及該顯示裝置，其中該積體電路經耦接以自該影像感測器接收第一複數個訊框，且其中該積體電路經組態以取決於產生一視訊序列所依據之一顯示標準而回應於具有一第一縱橫比及一第一解析度之該第一複數個訊框來輸出該視訊序列之訊框，且其中該顯示裝置經組態以顯示由該積體電路輸出之該等訊框，且其中回應於一使用者按下該裝置上之一靜止擷取按鈕，該積體電路經組態以將該第一縱橫比改變至與一靜止訊框相關聯之一第二縱橫比，且其中該積體電路經組態以回應於該使用者釋放該靜止擷取按鈕而擷取該靜止訊框且返回該第一縱橫比。
  17. 如請求項16之裝置，其中該靜止擷取按鈕為該裝置上之一實體按鈕。
  18. 如請求項16之裝置，其中該靜止擷取按鈕為由該顯示裝置顯示之一虛擬按鈕。
  19. 如請求項16之裝置，其中該積體電路經組態以回應於該使用者釋放該靜止擷取按鈕而擷取該靜止訊框。
  20. 如請求項19之裝置，其中該積體電路經組態而以大於該第一解析度之一第二解析度擷取該靜止訊框。
TW103135721A 2013-11-18 2014-10-15 無模式之視訊及靜止訊框擷取 TWI566598B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/082,390 US9344626B2 (en) 2013-11-18 2013-11-18 Modeless video and still frame capture using interleaved frames of video and still resolutions

Publications (2)

Publication Number Publication Date
TW201528815A true TW201528815A (zh) 2015-07-16
TWI566598B TWI566598B (zh) 2017-01-11

Family

ID=51730574

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103135721A TWI566598B (zh) 2013-11-18 2014-10-15 無模式之視訊及靜止訊框擷取

Country Status (9)

Country Link
US (5) US9344626B2 (zh)
EP (3) EP3468173A1 (zh)
JP (2) JP6254275B2 (zh)
KR (2) KR101758032B1 (zh)
CN (2) CN105684424B (zh)
AU (1) AU2014349165B2 (zh)
DE (1) DE202014011562U1 (zh)
TW (1) TWI566598B (zh)
WO (1) WO2015073124A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013106390A1 (en) 2012-01-09 2013-07-18 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
CN109963059B (zh) 2012-11-28 2021-07-27 核心光电有限公司 多孔径成像系统以及通过多孔径成像系统获取图像的方法
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
CN108989647B (zh) 2013-06-13 2020-10-20 核心光电有限公司 双孔径变焦数字摄影机
CN108519655A (zh) 2013-07-04 2018-09-11 核心光电有限公司 小型长焦透镜套件
CN105917641B (zh) 2013-08-01 2018-10-19 核心光电有限公司 具有自动聚焦的纤薄多孔径成像系统及其使用方法
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
US10523985B2 (en) 2014-12-24 2019-12-31 Activevideo Networks, Inc. Managing deep and shallow buffers in a thin-client device of a digital media distribution network
US10264293B2 (en) * 2014-12-24 2019-04-16 Activevideo Networks, Inc. Systems and methods for interleaving video streams on a client device
CN112433331B (zh) 2015-01-03 2022-07-08 核心光电有限公司 微型长焦镜头模块和使用该镜头模块的相机
EP3988984A3 (en) 2015-04-02 2022-07-13 Corephotonics Ltd. Dual voice coil motor structure in a dual-optical module camera
KR102078978B1 (ko) 2015-04-16 2020-02-19 코어포토닉스 리미티드 소형 접이식 카메라의 오토 포커스 및 광학 이미지 안정화
KR102114595B1 (ko) 2015-05-28 2020-05-25 코어포토닉스 리미티드 이중-조리개 디지털 카메라의 광학식 손떨림 방지 및 자동-초점을 위한 양-방향성 강성
AU2016297557A1 (en) * 2015-07-20 2018-02-15 Notarize, Inc. System and method for validating authorship of an electronic signature session
CN112672023B (zh) 2015-08-13 2023-08-01 核心光电有限公司 视频支持和切换/无切换动态控制的双孔径变焦摄影机
EP3335077B1 (en) 2015-09-06 2019-08-14 Corephotonics Ltd. Auto focus and optical image stabilization with roll compensation in a compact folded camera
KR102369223B1 (ko) 2015-12-29 2022-03-02 코어포토닉스 리미티드 자동 조정가능 텔레 시야(fov)를 갖는 듀얼-애퍼처 줌 디지털 카메라
US10034026B2 (en) * 2016-04-22 2018-07-24 Akila Subramaniam Device for and method of enabling the processing of a video stream
KR102063411B1 (ko) 2016-05-30 2020-01-07 코어포토닉스 리미티드 회전식 볼-가이드 음성 코일 모터
EP4270978A3 (en) 2016-06-19 2024-02-14 Corephotonics Ltd. Frame synchronization in a dual-aperture camera system
US9992467B2 (en) * 2016-06-30 2018-06-05 Apple Inc. Parallel computer vision and image scaling architecture
CN111367039B (zh) 2016-07-07 2023-02-03 核心光电有限公司 用于折叠式光学装置的线性滚珠引导音圈电动机
WO2018007951A1 (en) 2016-07-07 2018-01-11 Corephotonics Ltd. Dual-camera system with improved video smooth transition by image blending
US10412390B2 (en) * 2016-07-12 2019-09-10 Mediatek Inc. Video processing system using low-cost video encoding/decoding architecture
CN114051092B (zh) 2016-12-28 2024-07-26 核心光电有限公司 具有延伸光折叠元件扫描范围的致动器及含其的折叠相机
JP7057364B2 (ja) 2017-01-12 2022-04-19 コアフォトニクス リミテッド コンパクト屈曲式カメラ
KR20240066298A (ko) 2017-02-23 2024-05-14 코어포토닉스 리미티드 폴디드 카메라 렌즈 설계
US10645286B2 (en) 2017-03-15 2020-05-05 Corephotonics Ltd. Camera with panoramic scanning range
US10904512B2 (en) 2017-09-06 2021-01-26 Corephotonics Ltd. Combined stereoscopic and phase detection depth mapping in a dual aperture camera
US10951834B2 (en) 2017-10-03 2021-03-16 Corephotonics Ltd. Synthetically enlarged camera aperture
KR102424791B1 (ko) 2017-11-23 2022-07-22 코어포토닉스 리미티드 컴팩트 폴디드 카메라 구조
KR102091369B1 (ko) 2018-02-05 2020-05-18 코어포토닉스 리미티드 폴디드 카메라에 대한 감소된 높이 페널티
US11640047B2 (en) 2018-02-12 2023-05-02 Corephotonics Ltd. Folded camera with optical image stabilization
US10825134B2 (en) * 2018-03-29 2020-11-03 Owned Outcomes Inc. System and method for scaling content across multiple form factors
US10694168B2 (en) 2018-04-22 2020-06-23 Corephotonics Ltd. System and method for mitigating or preventing eye damage from structured light IR/NIR projector systems
US11268829B2 (en) 2018-04-23 2022-03-08 Corephotonics Ltd Optical-path folding-element with an extended two degree of freedom rotation range
EP3652728B1 (en) 2018-08-04 2023-06-07 Corephotonics Ltd. Switchable continuous display information system above camera
WO2020039302A1 (en) 2018-08-22 2020-02-27 Corephotonics Ltd. Two-state zoom folded camera
US11158286B2 (en) 2018-10-05 2021-10-26 Disney Enterprises, Inc. Machine learning color science conversion
WO2020144528A1 (en) 2019-01-07 2020-07-16 Corephotonics Ltd. Rotation mechanism with sliding joint
WO2020183312A1 (en) 2019-03-09 2020-09-17 Corephotonics Ltd. System and method for dynamic stereoscopic calibration
US10992902B2 (en) * 2019-03-21 2021-04-27 Disney Enterprises, Inc. Aspect ratio conversion with machine learning
JP7292962B2 (ja) 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
JP7292961B2 (ja) 2019-05-08 2023-06-19 キヤノン株式会社 撮像装置およびその制御方法
US20220078327A1 (en) * 2019-07-12 2022-03-10 Bennet K. Langlotz Digital camera with still frame capture during video
KR102365748B1 (ko) 2019-07-31 2022-02-23 코어포토닉스 리미티드 카메라 패닝 또는 모션에서 배경 블러링을 생성하는 시스템 및 방법
US11659135B2 (en) 2019-10-30 2023-05-23 Corephotonics Ltd. Slow or fast motion video using depth information
US11949976B2 (en) 2019-12-09 2024-04-02 Corephotonics Ltd. Systems and methods for obtaining a smart panoramic image
EP4049444A4 (en) 2019-12-09 2022-11-16 Corephotonics Ltd. SYSTEMS AND METHODS TO OBTAIN AN INTELLIGENT PANORAMIC IMAGE
CN114641805A (zh) 2020-02-22 2022-06-17 核心光电有限公司 用于微距摄影的分屏特征
WO2021220080A1 (en) 2020-04-26 2021-11-04 Corephotonics Ltd. Temperature control for hall bar sensor correction
KR102495627B1 (ko) 2020-05-17 2023-02-06 코어포토닉스 리미티드 전체 시야 레퍼런스 이미지 존재 하의 이미지 스티칭
CN117572549A (zh) 2020-05-30 2024-02-20 核心光电有限公司 用于获得超微距图像的系统和方法
US11637977B2 (en) 2020-07-15 2023-04-25 Corephotonics Ltd. Image sensors and sensing methods to obtain time-of-flight and phase detection information
CN116125660A (zh) 2020-07-15 2023-05-16 核心光电有限公司 用于校正扫描折叠相机的视点像差的方法
US11946775B2 (en) 2020-07-31 2024-04-02 Corephotonics Ltd. Hall sensor—magnet geometry for large stroke linear position sensing
CN111970440A (zh) * 2020-08-11 2020-11-20 Oppo（重庆）智能科技有限公司 图像获取方法、电子装置和存储介质
CN116626960A (zh) 2020-08-12 2023-08-22 核心光电有限公司 用于光学防抖的方法
US11182319B1 (en) * 2020-10-13 2021-11-23 Omnivision Technologies, Inc. Camera system with PWM-activated, burst-self-refresh, DRAM to reduce standby power consumption
CN112559800B (zh) * 2020-12-17 2023-11-14 北京百度网讯科技有限公司 用于处理视频的方法、装置、电子设备、介质和产品
KR102638173B1 (ko) 2021-06-08 2024-02-19 코어포토닉스 리미티드 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
CN118176521A (zh) * 2021-10-25 2024-06-11 三星电子株式会社 生成高分辨率峰值动作帧的方法和系统
CN114430488A (zh) * 2022-04-01 2022-05-03 深圳市华曦达科技股份有限公司 一种视频编码和视频解码的方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4702090A (en) 1986-10-24 1987-10-27 Astronautics Corporation Of America Magnetic refrigeration apparatus with conductive heat transfer
US7110025B1 (en) 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
US20030147640A1 (en) 2002-02-06 2003-08-07 Voss James S. System and method for capturing and embedding high-resolution still image data into a video data stream
JP4113389B2 (ja) * 2002-07-30 2008-07-09 富士フイルム株式会社 電子カメラ
KR101110009B1 (ko) * 2004-02-27 2012-02-06 교세라 가부시키가이샤 촬상 장치 및 화상 생성 방법
US7777790B2 (en) 2005-01-27 2010-08-17 Technion Research & Development Foundation Ltd. Acquisition of image sequences with enhanced resolution
JP2006211426A (ja) 2005-01-28 2006-08-10 Kyocera Corp 撮像装置およびその画像生成方法
JP2006303961A (ja) * 2005-04-21 2006-11-02 Canon Inc 撮像装置
JP4616096B2 (ja) * 2005-07-12 2011-01-19 オリンパス株式会社 動画撮像装置および撮像プログラム
CN102905166B (zh) * 2005-07-18 2014-12-31 汤姆森许可贸易公司 使用元数据来处理多个视频流的方法和设备
KR100741721B1 (ko) 2005-08-16 2007-07-23 주식회사 유비원 정지영상을 함께 출력하는 보안감시시스템
JP4621152B2 (ja) * 2006-02-16 2011-01-26 キヤノン株式会社 撮像装置、その制御方法、およびプログラム
JP2008283477A (ja) * 2007-05-10 2008-11-20 Fujifilm Corp 画像処理装置及び画像処理方法
US7705889B2 (en) 2007-06-15 2010-04-27 Sony Corporation Shutter time compensation
US8279299B2 (en) * 2007-08-27 2012-10-02 Sony Corporation Imaging device and associated methodology of setting adjustable aspect ratios
JP2009071592A (ja) * 2007-09-13 2009-04-02 Fujifilm Corp 撮像装置及び撮像制御方法
FR2925705A1 (fr) 2007-12-20 2009-06-26 Thomson Licensing Sas Dispositif d'aide a la capture d'images
JP2009164725A (ja) * 2007-12-28 2009-07-23 Panasonic Corp 画像記録装置および画像再生装置
WO2009115101A1 (en) * 2008-03-20 2009-09-24 Institut für Rundfunktechnik GmbH A method of adapting video images to small screen sizes
JP5211947B2 (ja) 2008-09-04 2013-06-12 カシオ計算機株式会社 撮像装置及びプログラム
KR101505681B1 (ko) * 2008-09-05 2015-03-30 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 이미지 촬상 방법
US20100295966A1 (en) 2009-05-19 2010-11-25 John Furlan Digital video camera with high resolution imaging system
WO2011033675A1 (ja) 2009-09-18 2011-03-24 株式会社 東芝 画像処理装置および画像表示装置
JP2012165090A (ja) * 2011-02-04 2012-08-30 Sanyo Electric Co Ltd 撮像装置およびその制御方法
JP5287917B2 (ja) 2011-03-25 2013-09-11 株式会社デンソー 回転電機の回転子鉄心の製造方法
TWI474097B (zh) 2011-06-22 2015-02-21 Htc Corp 影像擷取方法與影像擷取系統
JP5724677B2 (ja) 2011-06-28 2015-05-27 富士通株式会社 動画像撮影装置および動画像撮影方法
KR101836432B1 (ko) * 2011-12-16 2018-03-12 삼성전자주식회사 촬상장치, 이미지 보정 방법 및 컴퓨터 판독가능 기록매체
EP2654288B1 (en) 2012-04-16 2021-07-07 Samsung Electronics Co., Ltd. Image processing apparatus and method of camera
KR102058860B1 (ko) 2012-04-16 2019-12-26 삼성전자 주식회사 카메라의 이미지 처리 장치 및 방법
US9111484B2 (en) * 2012-05-03 2015-08-18 Semiconductor Components Industries, Llc Electronic device for scene evaluation and image projection onto non-planar screens
US9756282B2 (en) * 2012-11-20 2017-09-05 Sony Corporation Method and apparatus for processing a video signal for display
US9519977B2 (en) * 2013-05-13 2016-12-13 Ebay Inc. Letterbox coloring with color detection
US9344626B2 (en) 2013-11-18 2016-05-17 Apple Inc. Modeless video and still frame capture using interleaved frames of video and still resolutions

Also Published As

Publication number Publication date
EP3072290B1 (en) 2018-12-26
DE202014011562U1 (de) 2022-03-18
CN109547662A (zh) 2019-03-29
US10498960B2 (en) 2019-12-03
JP6254275B2 (ja) 2017-12-27
US10911673B2 (en) 2021-02-02
AU2014349165B2 (en) 2017-04-13
AU2014349165A1 (en) 2016-04-21
JP2018038088A (ja) 2018-03-08
KR101758032B1 (ko) 2017-07-13
US20170134655A1 (en) 2017-05-11
US9344626B2 (en) 2016-05-17
CN109547662B (zh) 2019-12-24
US9591219B2 (en) 2017-03-07
CN105684424A (zh) 2016-06-15
JP6571742B2 (ja) 2019-09-04
US10038845B2 (en) 2018-07-31
CN105684424B (zh) 2018-11-09
WO2015073124A1 (en) 2015-05-21
JP2016541177A (ja) 2016-12-28
KR20170083645A (ko) 2017-07-18
US20200068129A1 (en) 2020-02-27
EP3468173A1 (en) 2019-04-10
US20180324357A1 (en) 2018-11-08
US20160219220A1 (en) 2016-07-28
TWI566598B (zh) 2017-01-11
KR101789976B1 (ko) 2017-10-25
KR20160077120A (ko) 2016-07-01
EP3072290A1 (en) 2016-09-28
EP3993395A1 (en) 2022-05-04
US20150139603A1 (en) 2015-05-21

Similar Documents

Publication Publication Date Title
TWI566598B (zh) 無模式之視訊及靜止訊框擷取
JP6652937B2 (ja) 分割ディスプレイを駆動する多重ディスプレイパイプライン
US10110821B2 (en) Image processing apparatus, method for controlling the same, and storage medium
KR101323608B1 (ko) Uhd급 매트릭스 스위치 장치 및 그 방법
US10055809B2 (en) Systems and methods for time shifting tasks
US11223762B2 (en) Device and method for processing high-resolution image
US20110261061A1 (en) Method and system for processing image data on a per tile basis in an image sensor pipeline
CN113132650A (zh) 一种视频图像显示处理控制装置、方法及显示终端
US10546558B2 (en) Request aggregation with opportunism
US11689816B2 (en) Imaging apparatus, operation method of imaging apparatus, and program
US9558536B2 (en) Blur downscale
US9472168B2 (en) Display pipe statistics calculation for video encoder
TWI386863B (zh) 多媒體處理器、手持式電子通訊裝置及其影像處理方法
JP2010170423A (ja) 情報処理装置およびプログラム