TW201617717A - 用於穩定及重定框架之方法及系統 - Google Patents

用於穩定及重定框架之方法及系統 Download PDF

Info

Publication number
TW201617717A
TW201617717A TW104117044A TW104117044A TW201617717A TW 201617717 A TW201617717 A TW 201617717A TW 104117044 A TW104117044 A TW 104117044A TW 104117044 A TW104117044 A TW 104117044A TW 201617717 A TW201617717 A TW 201617717A
Authority
TW
Taiwan
Prior art keywords
image
orientation
video
frame
video stream
Prior art date
Application number
TW104117044A
Other languages
English (en)
Inventor
尼爾D 沃斯
Original Assignee
湯普生證照公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 湯普生證照公司 filed Critical 湯普生證照公司
Publication of TW201617717A publication Critical patent/TW201617717A/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本發明揭示一種用於動態維持一視訊之一水平框架之方法及設備。該系統允許使用者在攝影時,於拍攝期間,在裝置取景器或螢幕上之一覆疊中顯現最終輸出時,自由地旋轉該裝置。所得錄製隨後經校正以維持具有一穩定水平線之一單一定向。該系統及方法操作性顯示一覆疊於該經捕捉視訊之一經捕捉表示上方,其中該覆疊指示相對於該定向之一經修改影像。

Description

用於穩定及重定框架之方法及系統 [相關申請案之交叉參考]
本申請案主張2014年5月27日申請之具有代理人檔案號碼PU140089之美國臨時申請案第62/003281號及2014年9月2日申請之具有代理人檔案號碼PU140119-US之美國實用申請案第14/475,192號之優先權。
攜帶型電子裝置變得更普遍。諸如行動電話、音樂播放器、攝影機、平板電腦及類似者之此等裝置通常含有裝置之一組合,因此攜載多個物件呈現冗餘。舉例而言,當前觸控螢幕行動電話(諸如Apple iPhone或Samsung Galaxy android電話)含有視訊攝影機及靜態相機、全球定位導航系統、網際網路瀏覽器、文字及電話、視訊及音樂播放器及更多。此等裝置通常啟用多個網路(諸如wifi、有線及蜂巢式網路(諸如3G))以傳輸且接收資料。
攜帶型電子器件中之次要特徵之品質已不斷改良。舉例而言,早期「相機電話」由具有定焦透鏡且無閃光之低解析度感測器組成。如今,許多行動電話包含全高清晰度視訊能力、編輯及篩選工具以及高清晰度顯示器。運用此等經改良之能力,許多使用者使用此等裝置作為其等之主要攝影裝置。因此,存在對於甚至更經改良效能及專業等級之嵌入式攝影工具之一需求。
舉例而言,以其中使用者可能非故意地旋轉行動裝置,藉此傾斜視訊水平線,對於觀看者之視訊之垂直定向之一方式在行動裝置上錄製許多視訊。在一極端情況中,一使用者可在攝影機在一垂直定向中之情況下開始攝影且改變至一水平定向。此將導致當向一觀看者顯示時開始時適當定向,但結束時旋轉90度之一視訊。為了校正此問題,需要後處理,此對於希望經由一社交網路直接分享視訊之一使用者係一非所要選項。
另外,使用在一垂直位置中之行動裝置錄製一視訊通常導致高大於寬之一視訊。此最終結果對於在通常寬大於高之大多數顯示器(諸如電視機螢幕)上之消費非最佳。在許多情況中,使用者拍攝視訊而不特定注意水平定向,尤其當攝影一社交活動、現場事件或其中使用者從事於將其等之關注帶離其等使用以錄製之裝置之經歷中之其他標的物時。此外,大多數行動電話經設計以在一垂直定向中使用。因此,一使用者可開始在其意欲之定向中使用裝置,結果卻隨後意識到應在一水平定向中拍攝視訊。
因此,期望使用嵌入行動電子裝置中之當前視訊攝影機克服此等問題。
揭示一種用於動態維持一視訊之一水平框架之方法及設備。該系統允許使用者當攝影時,當在拍攝期間在裝置取景器或螢幕上之一覆疊中顯現最終輸出時自由旋轉該裝置。所得錄製隨後經校正以維持具有一穩定水平線之一單一定向。該系統及方法操作性顯示一覆疊於該經捕捉視訊之一經捕捉表示上方,其中該覆疊指示相對於該定向之一經修改影像。
在一實施例中,本發明亦涉及一種處理一視訊串流之方法。該方法包括以下步驟:初始化一視訊捕捉模式;接收表示一視訊串流之 資料;顯示該視訊串流之一表示;接收表示一縱橫比之一資料;接收表示旋轉位置之一資料;基於表示旋轉位置之該經接收資料內插一定向;且在該視訊串流之該表示上方覆疊該縱橫比及該定向之一圖形表示。
在另一實施例中,提供一種設備。該設備包括一影像感測器、一慣性感測器、一處理器及一記憶體。該影像感測器係用於捕捉具有一第一定向之影像資料。該慣性感測器係用於判定旋轉值。該處理器係用於:基於自慣性感測器接收之該等旋轉值判定一第二定向:基於該第一定向及該第二定向內插一中間定向:及透過該中間定向而將該影像資料自該第一定向重定向至該第二定向。該記憶體耦合至該處理器且係用於儲存影像資料及經重定向影像資料。
另一實施例涉及一種用於保存影像資料之方法,其包括以下步驟:接收表示具有一第一定向之一第一影像之資料;接收表示指示相對於重力之一裝置垂直定向之一第二定向之資料;重定向該第一影像使得該第二定向變為該第一影像之一垂直定向以產生一經重定向影像,其中維持該影像之該框架且保存該經重定向影像。
另一實施例涉及一種處理一視訊串流之方法,其包括以下步驟:初始化一視訊捕捉模式;接收表示一視訊串流之一第一資料;顯示該視訊串流之一表示;接收表示一縱橫比之一第二資料;接收表示一旋轉位置之一第三資料;且在該視訊串流之該表示上方覆疊該縱橫比及該旋轉位置之一圖形表示,其中維持該視訊框架。
在另一態樣中,本發明亦涉及一種設備,其包括:一影像感測器,其用於捕捉具有一第一定向之一影像資料;一慣性感測器,其用於判定一旋轉值;一處理器,其用於回應於該旋轉值而判定一第二定向,且用於回應於該第二定向而重定向該影像資料同時維持該影像資料之該框架,以產生具有該相同框架之一經重定向影像,且儲存該經 重定向影像。
100‧‧‧行動電話
110‧‧‧網路介面/小區網路介面
120‧‧‧網路介面/無線網路介面/wifi網路介面
130‧‧‧通用串列匯流排(USB)介面
140‧‧‧攝影機
150‧‧‧主處理器
160‧‧‧記憶體
170‧‧‧慣性感測器
180‧‧‧觸控螢幕
190‧‧‧輸入/輸出(I/O)介面
200‧‧‧主動顯示器
210‧‧‧縱向
220‧‧‧旋轉
225‧‧‧內嵌矩形/經變換內部矩形
230‧‧‧旋轉
240‧‧‧旋轉
250‧‧‧橫向/使用左右加框擬合
260‧‧‧光學填充
300‧‧‧用於影像穩定及重定框架之一例示性程序
310‧‧‧回應於起始攝影機之捕捉模式而初始化系統
320‧‧‧回應於使用者選擇而選擇行動裝置感測器
330‧‧‧系統自一慣性感測器請求一量測
340‧‧‧行動裝置在顯示器上描繪指示視訊或影像之經捕捉定向之一內嵌矩形
350‧‧‧系統處理器連續使內嵌矩形與自慣性感測器接收之旋轉量測同步
360‧‧‧隨著行動裝置旋轉,系統連續或遞增地重調整視訊比率
400‧‧‧具有一捕捉初始化之一例示性行動裝置顯示器
410‧‧‧硬體按鈕
420‧‧‧軟體按鈕
430‧‧‧影像
440‧‧‧內切矩形
500‧‧‧用於起始一影像或視訊捕捉之一例示性程序
510‧‧‧由主處理器接收影像捕捉指示
520‧‧‧裝置開始保存自影像感測器發送之資料
530‧‧‧系統停止保存來自影像感測器之資料且停止計時器
540‧‧‧系統比較計時器值與一預定時間臨限值,計時器值小於預定臨限值或大於預定臨限值
550‧‧‧呈一視訊檔案格式將捕捉資料保存為一視訊檔案
560‧‧‧呈一靜態影像格式將視訊捕捉之第一圖框保存為一靜態影像
600‧‧‧流程圖
610‧‧‧步驟
620‧‧‧步驟
630‧‧‧步驟
640‧‧‧步驟
650‧‧‧步驟
660‧‧‧步驟
670‧‧‧步驟
700‧‧‧流程圖
710‧‧‧步驟
720‧‧‧步驟
730‧‧‧步驟
740‧‧‧步驟
750‧‧‧步驟
760‧‧‧步驟
800‧‧‧流程圖
810‧‧‧步驟
820‧‧‧步驟
830‧‧‧步驟
840‧‧‧步驟
850‧‧‧步驟
860‧‧‧步驟
將描述或從待結合隨附圖式來閱讀之較佳實施例之以下詳細描述可變得瞭解本發明之此等及其他態樣、特徵及優勢。
在圖式中,其中遍及視圖,相同元件符號指示類似元件:圖1展示行動電子裝置之一例示性實施例之一方塊圖;圖2展示根據本發明之具有一主動顯示器之一例示性行動裝置顯示器;圖3展示根據本發明之用於影像穩定及重定框架之一例示性程序;圖4展示根據本發明之具有一捕捉初始化之一例示性行動裝置顯示器400;及圖5展示根據本發明之用於起始一影像或視訊捕捉之一例示性程序500。
圖6展示根據本發明之用於追蹤視訊捕捉期間之旋轉之一例示性程序;圖7展示根據本發明之用於追蹤影像捕捉期間之旋轉之一例示性程序;及圖8展示根據本發明之用於維持具有視訊捕捉期間之旋轉之一畫面之框架之一例示性程序。
本文中陳述之實例繪示本發明之較佳實施例,且不應將此等實例理解為以任何方式限制本發明之範疇。
參考圖1,展示行動電子裝置之一例示性實施例之一方塊圖。雖然所描繪之行動電子裝置係一行動電話100,但本發明可同等地實施於任何數目之裝置上,諸如音樂播放器、攝影機、平板電腦、全球定 位導航系統等。一行動電話通常包含以下能力:發送且接收電話通話及文字訊息;透過蜂巢式網路或一無線區域網路與網際網路介接;拍攝照片及視訊;播放音訊及視訊內容;及運行諸如文書處理、程式或視訊遊戲之應用程式。許多行動電話包含GPS且亦包含一觸控螢幕面板作為使用者介面之部分。
行動電話包含經耦合至其他主要組件之各者之一主處理器150。主處理器150可係一單一處理器或一個以上處理器,如由熟習此項技術者可知。主處理器150或若干處理器在諸如網路介面110、120、攝影機140、慣性感測器170、觸控螢幕180及其他輸入/輸出I/O介面190之多種組件之間投送資訊。主處理器150亦處理音訊及視訊內容,用於直接在裝置上或透過音訊/視訊介面而在一外部裝置上播放。主處理器150係可操作以控制諸如攝影機140、慣性感測器170、觸控螢幕180及USB介面130之多種子裝置。主處理器150係進一步可操作以在行動電話中執行用於類似於一電腦的操縱資料之副常式。舉例而言,主處理器可用於在由攝影機功能140拍攝一照片之後操縱影像檔案。此等操縱可包含裁剪、壓縮、色彩及亮度調整及類似者。
小區網路介面110受控於主處理器150且用於經由一蜂巢式無線網路接收且傳輸資訊。可呈諸如分時多重存取(TDMA)、分碼多重存取(CDMA)或正交分頻多工(OFDM)之多種格式編碼此資訊。透過小區網路介面110自裝置傳輸且接收資訊。介面可由多個天線編碼器、解調變器及用於將資訊編碼且解碼成用於傳輸之適當格式之類似者組成。小區網路介面110可用於促進語音或文字傳輸,或自網際網路傳輸且接收資訊。資訊可包含視訊、音訊及/或影像。
無線網路介面120或wifi網路介面用於經由一wifi網路傳輸且接收資訊。可呈根據不同wifi標準(諸如802.11g、802.11b、802.11ac及類似者)之多種格式編碼此資訊。介面可由多個天線編碼器、解調變器 及用於將資訊編碼且解碼成用於傳輸之適當格式且解碼資訊用於解調變之類似者組成。wifi網路介面120可用於促進語音或文字傳輸,或自網際網路傳輸且接收資訊。此資訊可包含視訊、音訊及/或影像。
通用串列匯流排(USB)介面130用於經由一有線鏈路而傳輸且接收資訊(通常)至一電腦或其他USB啟用裝置。USB介面120可用於傳輸且接收資訊、連接至網際網路、傳輸且接收語音及文字呼叫等。另外,有線鏈路可用於使用行動裝置小區網路介面110或wifi網路介面120將USB啟用裝置連接至另一網路。USB介面130可由主處理器150使用以發送且接收組態資訊至一電腦。
一記憶體160或儲存裝置可耦合至主處理器150。記憶體160可用於儲存與行動裝置之操作相關且由主處理器150需要之特定資訊。記憶體160可用於儲存音訊、視訊、照片或由一使用者儲存且擷取之其他資料。
慣性感測器170可係一迴轉儀、加速度計、軸定向感測器、光感測器或類似者,其用於判定行動裝置之位置之一水平及/或垂直指示。
輸入輸出(I/O)介面190包含按鈕、用於與電話通話一起使用之一揚聲器/麥克風、音訊錄製及播放或語音啟動控制。行動裝置可包含透過一觸控螢幕控制器耦合至主處理器150之一觸控螢幕180。觸控螢幕180可係使用一電容性及電阻性觸控感測器之一或多者之一單一觸控或多觸控螢幕。智慧型電話亦可包含額外使用者控制,諸如(但不限於)一開/關按鈕、一啟動按鈕、音量控制、電話鈴控制及一多按鈕鍵台或鍵盤。
現在轉向圖2,其展示根據本發明之具有一主動顯示器200之一例示性行動裝置顯示器。例示性行動裝置應用程式可操作用於容許一使用者依任何框架進行錄製且當拍攝時,在拍攝期間在裝置之取景器 上之一覆疊中顯現最終輸出時自由旋轉使用者之裝置,且最後校正最終輸出中之裝置定向。
根據例示性實施例,當一使用者開始拍攝時,考慮使用者之當前定向且基於裝置之感測器之重力向量用於對位一水平線。針對諸如其中裝置之螢幕及相關光學感測器高大於寬之縱向210或其中裝置之螢幕及相關光學感測器寬大於高之橫向250之各個可能定向,選擇一最佳目標縱橫比。一內嵌矩形225內切於整體感測器內,該內嵌矩形225最佳擬合感測器之最大邊界(給定針對給定(當前)定向之所要最佳縱橫比)。感測器之邊界稍微經填補以提供用於校正之「呼吸空間」。自裝置之整合式迴轉儀取樣之內嵌矩形225經變換以藉由基本上與裝置之自身旋轉相反旋轉而補償旋轉220、230、240。經變換內部矩形225最佳內切於減去填補之整體感測器之最大可用界限內部。取決於裝置之當前大多數定向,經變換內部矩形225之尺寸經調整以相對於旋轉之量內插於兩個最佳縱橫比之間。
舉例而言,若為縱向定向選擇之最佳縱橫比係正方形的(1:1)且為橫向定向選擇之最佳縱橫比係寬的(16:9),則內切矩形將隨著其自一定向旋轉至另一定向時最佳內插於1:1與16:9之間。內切矩形經取樣且接著經變換以擬合一最佳輸出尺寸。舉例而言,若最佳輸出尺寸係4:3且經取樣矩形係1:1,則經取樣矩形將經外觀填充(光學上完全填充該1:1區域,按需要裁剪資料)或外觀擬合(在該1:1區域內部光學上完全擬合,使用「上下加框(letter boxing)」或「左右加框(pillar boxing)」用黑色遮蔽任何未使用區域)。在最後,結果係其中內容框架基於校正期間動態提供之縱橫比調整之一固定外觀資產。所以(例如)由1:1至16:9內容組成之一16:9視訊將在光學填充260(在16:9部分期間)與使用左右加框擬合250(在1:1部分期間)之間振盪。
額外改善準備就緒,藉以將全部運動之總彙總考慮且加權至最 佳輸出縱橫比之選擇中。舉例而言,若一使用者錄製「大部分為橫向」之具有小部分之縱向內容之一視訊,則輸出格式將係一橫向縱橫比(對縱向片段左右加框)。若一使用者錄製大部分為縱向之一視訊,則剛好相反(視訊將係縱向且光學填充輸出,裁剪落於輸出矩形之界限外部之任何橫向內容)。
現在參考圖3,其展示根據本發明之用於影像穩定及重定框架之一例示性程序300。回應於起始攝影機之捕捉模式而初始化系統310。可根據一硬體或軟體按鈕或回應於另一控制信號(回應於一使用者動作而產生)來起始該初始化。一旦起始裝置之捕捉模式,便回應於使用者選擇而選擇行動裝置感測器320。可透過觸控螢幕裝置上之一設定、透過一選單系統或回應於按鈕如何經致動而做出使用者選擇。舉例而言,被按一次之一按鈕可選擇一照片感測器,而連續被按下之一按鈕可指示一視訊感測器。另外,按住一按鈕達一預定時間(諸如3秒)可指示一視訊已被選擇,且行動裝置上之視訊錄製將繼續直到該按鈕再次經致動。
一旦選擇適當捕捉感測器,系統便接著自一慣性感測器請求一量測330。慣性感測器可係一迴轉儀、加速度計、軸定向感測器、光感測器或類似者,用於判定行動裝置之位置之一水平及/或垂直指示。量測感測器可將週期性量測發送至控制處理器,藉此連續指示行動裝置之垂直及/或水平定向。因此,隨著裝置旋轉,控制處理器可連續更新顯示器,且以具有一連續一致水平線之一方式保存視訊或影像。
在慣性感測器已傳回行動裝置之垂直及/或水平定向之一指示之後,行動裝置在顯示器上描繪指示視訊或影像之經捕捉定向之一內嵌矩形340。隨著行動裝置旋轉,系統處理器連續使內嵌矩形與自慣性感測器接收之旋轉量測同步350。可藉由使用諸如線辨識、面部辨識 或類似者之技術分析影像來檢查、進一步改善或改良定向之表示。
使用者可視情況指示一較佳最終視訊或影像比例(諸如1:1、9:16、16:9)或由使用者選擇之任何其他比率。系統亦可根據行動裝置之定向儲存對於不同比率之使用者選擇。舉例而言,使用者可針對垂直定向中錄製之視訊指示一1:1比率,但針對水平定向中錄製之視訊指示一16:9比率。在此例項中,隨著行動裝置旋轉,系統可連續或遞增地重調整視訊360比率。因此一視訊可使用一1:1定向開始,但可回應於一使用者在攝影時自一垂直定向旋轉至一水平定向而逐漸經重調整比率以依一16:9定向結束。視情況而定,一使用者可指示開始或結束定向判定視訊之最終比率。
在某些其他實施例中,不管縱橫比為何,維持輸出框內部之影像的框架。因此,無論如何旋轉裝置,放大或縮小場景以保持一致框架。在一些此等情況中,不管定向及縱橫比為何,視訊中之所關注之物件將保持相同大小。在其他情況中,在期望最大解析度之處,放大及縮小可改變所關注之物件的大小。替代地,不管定向及縱橫比為何,可裁剪影像以維持大小。
現在轉向圖4,展示具有一捕捉初始化之一例示性行動裝置顯示器400。展示描繪用於捕捉影像或視訊之一按鍵式顯示器(touch tone display)之一例示性行動裝置。根據本發明之一態樣,可回應於若干動作而起始例示性裝置之捕捉模式。可按下行動裝置之任何硬體按鈕410以起始捕捉序列。替代地,可透過觸控螢幕而啟動一軟體按鈕420以起始捕捉序列。軟體按鈕420可覆疊於顯示於觸控螢幕上之影像430上。影像430充當指示由影像感測器捕捉之當前影像之一取景器。如先前所描述之一內切矩形440亦可覆疊於影像上以指示待捕捉之影像或視訊之一縱橫比。
現在參考圖5,展示根據本發明之用於起始一影像或視訊捕捉之 一例示性程序500。一旦起始成像軟體,系統便等待一指示以起始影像捕捉。一旦由主處理器接收影像捕捉指示510,裝置便開始保存自影像感測器發送之資料520。另外,系統起始一計時器。系統接著繼續自影像感測器捕捉資料作為視訊資料。回應於來自捕捉指示之指示已停止捕捉之一第二指示,系統停止保存來自影像感測器之資料且停止計時器530。
系統接著比較計時器值與一預定時間臨限值540。預定時間臨限值可係由軟體提供者判定之一預設值(諸如例如1秒)或其可係由一使用者判定之一可組態設定。若計時器值小於預定臨限值540,則系統判定期望一靜態影像且呈一靜態影像格式(諸如jpeg或類似者)將視訊捕捉之第一圖框保存為一靜態影像560。系統可視情況選擇另一圖框作為靜態影像。若計時器值大於預定臨限值540,則系統判定期望一視訊捕捉。系統接著呈一視訊檔案格式(諸如mpeg或類似者)將捕捉資料保存為一視訊檔案550。系統可接著返回至初始化模式,等待再次起始捕捉模式。若行動裝置配備有用於靜態影像捕捉及視訊捕捉之不同感測器,則系統可視情況保存來自靜態影像感測器之一靜態影像且開始保存來自視訊影像感測器之捕捉資料。當比較計時器值與預定時間臨限值時,保存所要資料,而不保存非所要資料。舉例而言,若計時器值超過臨限值時間值,則保存視訊資料且摒棄影像資料。
可遇到的一潛在問題係來自慣性感測器之量測及視訊或靜態影像之時間戳記可能不理想地同步。舉例而言,針對更新位置或旋轉量測及/或資料之週期可對於視訊或影像之捕捉太稀少,此導致對於視訊或影像之一不精確的定向。此可導致看上去不連貫之視訊。為了解決此,可內插位置或旋轉資料以判定一中間定向。可在圖6及圖7中見此之一實例。
圖6描繪用於處理其中在捕捉期間出現旋轉之一視訊串流之一例 示性方法之一流程圖600。在最基本級別上,該方法涉及七個步驟。第一步驟係起始一視訊串流之捕捉(步驟610)。下一步驟係接收表示一視訊串流之資料(步驟620)。可接著顯示視訊串流之一表示(步驟630)。第四步驟係接收表示一縱橫比之資料(步驟640)。第五步驟係接收表示旋轉位置之資料(步驟650)。可接著使用表示旋轉位置之資料內插定向(步驟660)。基本方法之最後步驟係在該視訊串流之該表示上方覆疊該縱橫比及該定向之一圖形表示(步驟670)。
圖7描繪用於處理其中在捕捉期間出現旋轉之一靜態影像之一例示性方法之一流程圖700。在最基本級別上,該方法涉及七個步驟。第一步驟係初始化一捕捉模式(步驟710)。下一步驟係接收表示一影像之資料(步驟720)。在捕捉期間接收表示旋轉位置之資料(步驟730)。接著撤銷啟動捕捉(步驟740)。可接著使用表示旋轉位置之資料內插定向(步驟750)。一旦內插定向,便可相應地旋轉影像(步驟760)。基本方法之最後步驟係保存經旋轉影像(步驟770)。
在一些實施例中,可在捕捉之開始及結束處獲得位置或旋轉量測且可內插中間定向。此內插可進一步包含視訊之時間戳記資訊以根據時間更精確定向視訊。諸如運行平均速度之其他技術亦可用於改善內插。亦可使用其他估計技術。在其他實施例中,可在視訊捕捉期間增加旋轉量測之頻率以提供相對視訊及時之更精確位置資訊。
在某些其他實施例中,不管縱橫比為何,維持輸出框內部之影像之框架。因此,無論如何定向裝置,放大或縮小場景以保持一致框架。可在圖8中見此之一實例。
圖8描繪用於處理其中在捕捉期間出現旋轉之一視訊串流之一例示性方法之一流程圖800。在最基本級別上,該方法涉及六個步驟。第一步驟係起始一視訊串流之捕捉(步驟610)。下一步驟係接收表示一視訊串流之資料(步驟820)。可接著顯示視訊串流之一表示(步驟 830)。第四步驟係接收表示一縱橫比之資料(步驟840)。第五步驟係接收表示旋轉位置之資料(步驟850)。基本方法之最後步驟係在該視訊串流之該表示上方覆疊該縱橫比及該定向之一圖形表示,其中在覆疊中維持原始視訊之框架(步驟860)。
在一些實施例中,不管定向及縱橫比為何,視訊中所關注之物件或標的將保持相同大小。在其他實施例中,在期望最大解析度之處,放大及縮小可改變所關注之物件之大小。替代地,不管定向及縱橫比為何,可裁剪影像以維持大小。
應瞭解,上文中所展示且論述之元件可實施於多種形式之硬體、軟體或其等之組合中。較佳地,此等元件實施於一或多個經適當程式化之通用裝置(其等可包含一處理器、記憶體及輸入/輸出介面)上之硬體及軟體之一組合中。當前描述繪示本發明之原理。因此將瞭解,熟習此項技術者將能夠設計多種配置,雖然在文本中未明確描述或展示該多種配置,但其等體現本發明之原理且包含於其範疇內。本文中所敘述之全部實例及條件語言為了資訊目的意欲幫助讀者理解本發明之原理及由發明者貢獻之概念以促進該技術,且應理解為不限於此等詳細敘述之實例及條件。此外,敘述本發明之原理、態樣及實施例之本文中之全部陳述以及其等之特定實例意欲涵蓋其等之結構及功能等效物兩者。另外,意欲此等等效物包含當前已知等效物以及將來經開發之等效物,即,不管結構為何,執行相同功能之經開發之任何元件。因此,舉例而言,熟習此項技術者將瞭解,同此一起呈現之方塊圖表示體現本發明之原理之闡釋性電路之概念圖。類似地,應瞭解,任何流程圖表、流程圖、狀態轉變圖、偽碼及類似者表示多種程序,其等可實質上表示於電腦可讀媒體中且因此由一電腦或處理器執行,不論是否明確展示此電腦或處理器。
200‧‧‧主動顯示器
210‧‧‧縱向
220‧‧‧旋轉
225‧‧‧內嵌矩形/經變換內部矩形
230‧‧‧旋轉
240‧‧‧旋轉
250‧‧‧橫向/使用左右加框擬合
260‧‧‧光學填充

Claims (56)

  1. 一種處理一視訊串流之方法,其包括步驟:起始一視訊串流之捕捉;接收表示一視訊串流之資料;顯示該視訊串流之一表示;接收表示一縱橫比之資料;接收表示旋轉位置之資料;基於表示旋轉位置之該經接收資料來內插一定向;且在該視訊串流之該表示上方,覆疊該縱橫比及該定向之一圖形表示。
  2. 如請求項1之方法,其中該縱橫比回應於該定向而改變。
  3. 如請求項1之方法,其中該定向之該內插進一步包括:判定該旋轉之一平均速度。
  4. 如請求項1之方法,其中該定向之該內插亦係基於係該影像資料之部分的時間戳記資訊。
  5. 如請求項1之方法,其中在該視訊串流之該表示上方覆疊該縱橫比及該定向之一圖形表示進一步包括:影像分析。
  6. 如請求項1之方法,其中在該視訊串流之該表示上方覆疊該縱橫比及該定向之一圖形表示進一步包括:維持框架。
  7. 如請求項7之方法,其中維持該影像之框架包括:放大或縮小以維持該框架。
  8. 如請求項7之方法,其中維持該影像之框架包括:裁剪該影像資料以維持該框架。
  9. 一種設備,其包括:一影像感測器,其捕捉一視訊串流; 一慣性感測器,其判定旋轉值;一記憶體,其儲存資料;及一處理器,其經組態以:起始一視訊串流之捕捉;接收表示一視訊串流之資料;提供該視訊串流之一表示之一顯示;接收表示一縱橫比之資料;接收表示旋轉位置之資料;基於表示旋轉位置之該經接收資料來內插一定向;及在該視訊串流之該表示上方提供該縱橫比及該定向之一圖形表示之一覆疊。
  10. 如請求項9之設備,其中該縱橫比回應於該定向而改變。
  11. 如請求項9之設備,其中該處理器藉由判定該旋轉之一平均速度來內插該定向。
  12. 如請求項9之設備,其中該處理器使用係該影像資料之部分的時間戳記資訊來內插該定向。
  13. 如請求項9之設備,其中該處理器進一步使用影像分析,在該視訊串流之該表示上方覆疊該縱橫比及該定向之該圖形表示。
  14. 如請求項9之設備,其中該處理器在該視訊串流之該表示上方覆疊該縱橫比及該定向之該圖形表示使得維持框架。
  15. 如請求項14之設備,其中該框架係藉由放大及縮小之至少一者來維持。
  16. 如請求項14之設備,其中該框架係藉由裁剪該影像資料而維持。
  17. 如請求項9之設備,進一步包括用於顯示該視訊串流之該表示及覆疊之一顯示器。
  18. 一種方法,其包括步驟;初始化一捕捉模式;接收表示一影像之資料;接收表示旋轉位置之資料; 撤銷啟動該捕捉模式;基於旋轉位置資料來內插該影像之一定向;回應於該經內插定向而旋轉該影像以產生一經旋轉影像;且儲存該經旋轉影像。
  19. 如請求項18之方法,進一步包括顯示該影像且顯示指示該旋轉位置之一指示符之該等步驟。
  20. 如請求項19之方法,其中該指示符係一縱橫比及該旋轉位置之一圖形表示,其中以表示該經旋轉影像之一方式在該影像上方覆疊該指示符。
  21. 如請求項18之方法,其中該縱橫比回應於該旋轉位置而改變。
  22. 如請求項18之方法,其中該影像係一視訊之一圖框。
  23. 如請求項18之方法,其中自該捕捉模式之該開始及結束接收表示旋轉位置之該資料,且自在該捕捉模式之該開始及結束處接收之表示旋轉位置之該資料內插該影像之該定向。
  24. 如請求項18之方法,其中該定向之該內插進一步包括:判定該旋轉之一平均速度。
  25. 如請求項18之方法,其中該定向之該內插亦係基於係該影像資料之部分的時間戳記資訊。
  26. 如請求項18之方法,其中該影像之該旋轉進一步包括影像分析。
  27. 如請求項18之方法,其中該影像資料之該旋轉進一步包括:維持該影像之框架。
  28. 如請求項18之方法,其中維持該影像之框架包括:放大或縮小以維持該框架。
  29. 如請求項18之方法,其中維持該影像之框架包括:裁剪該影像資料以維持該框架。
  30. 一種設備,其包括:一影像感測器,其捕捉影像資料;一慣性感測器,其判定旋轉值;一記憶體,其儲存資料;及一處理器,其經組態以:初始化一捕捉模式;接收表示一影像之資料;接收表示旋轉位置之資料;撤銷啟動該捕捉模式;基於旋轉位置資料來內插該影像之一定向;回應於該經內插定向來旋轉該影像以產生一經旋轉影像;及儲存該經旋轉影像。
  31. 如請求項30之設備,其中該縱橫比回應於該定向而改變。
  32. 如請求項30之設備,其中自該捕捉模式之該開始及結束接收表示旋轉位置之該資料,且自在該捕捉模式之該開始及結束處接收之表示旋轉位置之該資料內插該影像之該定向。
  33. 如請求項30之設備,其中該處理器藉由判定該旋轉之一平均速度來內插該定向。
  34. 如請求項30之設備,其中該處理器基於係該影像資料之部分的時間戳記資訊來內插該定向。
  35. 如請求項30之設備,其中該處理器使用影像分析來旋轉該影像。
  36. 如請求項30之設備,其中該影像資料之該旋轉進一步包括:維持該影像之框架。
  37. 如請求項36之設備,其中維持該影像之框架包括:放大或縮小以維持該框架。
  38. 如請求項36之設備,其中維持該影像之框架包括:裁剪該影像資料以維持該框架。
  39. 如請求項30之設備,進一步包括用於顯示該影像資料之一顯示器。
  40. 一種處理一視訊串流之方法,其包括步驟:起始一視訊串流之捕捉;接收表示一視訊串流之資料;顯示該視訊串流之一表示;接收表示一縱橫比之資料;接收表示旋轉位置之資料;且在該視訊串流之該表示上方覆疊該縱橫比及該旋轉位置之一圖形表示,其中在該經覆疊圖形表示中維持該視訊之框架。
  41. 如請求項40之方法,其中該縱橫比回應於該旋轉位置而改變。
  42. 如請求項40之方法,其中藉由縮放該視訊來維持該視訊之該框架。
  43. 如請求項40之方法,其中藉由裁剪該視訊來維持該視訊之該框架。
  44. 如請求項40之方法,進一步包括基於表示旋轉位置之該經接收資料來內插一定向。
  45. 如請求項44之方法,其中該定向之該內插進一步包括判定該旋轉之一平均速度。
  46. 如請求項44之方法,其中該定向之該內插亦係基於係該影像資料之部分的時間戳記資訊。
  47. 如請求項1之方法,其中在該視訊串流之該表示上方覆疊該縱橫比及該定向之一圖形表示進一步包括影像分析。
  48. 一種設備,其包括:一影像感測器,其捕捉一視訊串流;一慣性感測器,其判定旋轉值;一記憶體,其儲存資料;及一處理器,其經組態以:起始一視訊串流之捕捉;接收表示 一視訊串流之資料;提供該視訊串流之一表示之一顯示;接收表示一縱橫比之資料;接收表示旋轉位置之資料;及在該視訊串流之該表示上方覆疊該縱橫比及該旋轉位置之一圖形表示,其中在該覆疊圖形表示中維持該視訊之框架。
  49. 如請求項48之設備,其中該縱橫比回應於該定向而改變。
  50. 如請求項48之設備,其中該處理器藉由縮放該視訊來維持框架。
  51. 如請求項48之設備,其中該處理器藉由裁剪該視訊來維持框架。
  52. 如請求項48之設備,其中該處理器基於表示旋轉位置之該經接收資料來內插一定向。
  53. 如請求項52之設備,其中該處理器藉由判定該旋轉之一平均速度來內插該定向。
  54. 如請求項52之設備,其中該處理器基於係該影像資料之部分的時間戳記資訊來內插該定向。
  55. 如請求項48之設備,其中該處理器使用影像分析,在該視訊串流之該表示上方覆疊該縱橫比及該定向之該圖形表示。
  56. 如請求項48之設備,進一步包括用於顯示該視訊串流之該表示及覆疊之一顯示器。
TW104117044A 2014-05-27 2015-05-27 用於穩定及重定框架之方法及系統 TW201617717A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462003281P 2014-05-27 2014-05-27
US14/475,192 US20150348325A1 (en) 2014-05-27 2014-09-02 Method and system for stabilization and reframing

Publications (1)

Publication Number Publication Date
TW201617717A true TW201617717A (zh) 2016-05-16

Family

ID=53765511

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104117044A TW201617717A (zh) 2014-05-27 2015-05-27 用於穩定及重定框架之方法及系統

Country Status (6)

Country Link
US (1) US20150348325A1 (zh)
EP (1) EP3149624B1 (zh)
JP (1) JP2017517969A (zh)
KR (1) KR20170013877A (zh)
TW (1) TW201617717A (zh)
WO (1) WO2015183636A1 (zh)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US20150244938A1 (en) * 2014-02-25 2015-08-27 Stelios Petrakis Techniques for electronically adjusting video recording orientation
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9942464B2 (en) * 2014-05-27 2018-04-10 Thomson Licensing Methods and systems for media capture and seamless display of sequential images using a touch sensitive device
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10116874B2 (en) 2016-06-30 2018-10-30 Microsoft Technology Licensing, Llc Adaptive camera field-of-view
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
CN112313576B (zh) * 2018-06-19 2022-09-06 杭州他若定位科技有限公司 具有稳定功能的相机移动设备支架
CN114390199A (zh) * 2018-10-15 2022-04-22 华为技术有限公司 一种拍摄方法及电子设备
US20200296462A1 (en) * 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336069A (ja) * 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
GB0116113D0 (en) * 2001-06-30 2001-08-22 Hewlett Packard Co Tilt correction of electronic images
GB0208654D0 (en) * 2002-04-16 2002-05-29 Koninkl Philips Electronics Nv Image processing for video or photographic equipment
US20050146620A1 (en) * 2004-01-02 2005-07-07 Monroe Darrin D. Electronic device with image capturing and method therefor
FR2880762A1 (fr) * 2005-01-07 2006-07-14 France Telecom Terminal de visiophonie avec reglages intuitifs
US7489324B2 (en) * 2005-03-07 2009-02-10 Vistaprint Technologies Limited Automated image processing
KR100708178B1 (ko) * 2005-09-01 2007-04-16 삼성전자주식회사 영상 처리 방법, 장치 및 영상 정보를 기록한 정보저장매체
JP2007201539A (ja) * 2006-01-23 2007-08-09 Pentax Corp デジタルカメラ
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
KR20110091378A (ko) * 2010-02-05 2011-08-11 삼성전자주식회사 카메라 동영상 처리 및 재생 방법 및 장치
US9124804B2 (en) * 2010-03-22 2015-09-01 Microsoft Technology Licensing, Llc Using accelerometer information for determining orientation of pictures and video images
US8803992B2 (en) * 2010-05-12 2014-08-12 Fuji Xerox Co., Ltd. Augmented reality navigation for repeat photography and difference extraction
US8639296B2 (en) * 2011-06-07 2014-01-28 Lg Electronics Inc. Mobile device and an image display method thereof
US20130239063A1 (en) * 2012-03-06 2013-09-12 Apple Inc. Selection of multiple images
US9438818B2 (en) * 2012-06-20 2016-09-06 Qualcomm Incorporated Device and method for multimedia communications with picture orientation information
CN103034423B (zh) * 2012-12-25 2015-09-09 珠海金山办公软件有限公司 一种通过摇动设备实现其屏幕显示方向转动的方法
CN105580013A (zh) * 2013-09-16 2016-05-11 汤姆逊许可公司 通过搜索多个用户评论并将其覆盖到内容中来浏览视频

Also Published As

Publication number Publication date
US20150348325A1 (en) 2015-12-03
KR20170013877A (ko) 2017-02-07
WO2015183636A1 (en) 2015-12-03
JP2017517969A (ja) 2017-06-29
EP3149624A1 (en) 2017-04-05
EP3149624B1 (en) 2020-02-12

Similar Documents

Publication Publication Date Title
TW201617717A (zh) 用於穩定及重定框架之方法及系統
US9942464B2 (en) Methods and systems for media capture and seamless display of sequential images using a touch sensitive device
KR102352681B1 (ko) 동영상 안정화 방법 및 이를 위한 전자 장치
EP2523450A1 (en) Handheld electronic device with dual image capturing method and computer program product
US20130040700A1 (en) Image capture device and image capture method
JP2005122100A (ja) 画像表示システム、画像表示装置およびプログラム
JP2016517646A (ja) 自動ビデオセグメント化のための方法および装置
JP2018160280A (ja) 仮想ボタン及びジェスチャによるカメラ制御のための方法及び装置
EP3149617B1 (en) Method and camera for combining still- and moving- images into a video.
JP2017162371A (ja) 画像処理装置、画像処理方法及びプログラム
RU2632215C2 (ru) Способ и система для стабилизации и центрирования изображения
JP6312426B2 (ja) 撮像装置およびその制御方法
US20150348587A1 (en) Method and apparatus for weighted media content reduction
KR20060058565A (ko) 카메라 기능을 구비한 휴대용 단말기의 영상촬영방법
TW201640471A (zh) 可攜式視訊拍攝裝置及在其所聯結顯示螢幕上至少一視訊圖框之顯示方法
CN117480772A (zh) 视频显示方法及装置、终端设备及计算机存储介质