TWI588590B - 影像產生系統及影像產生方法 - Google Patents

影像產生系統及影像產生方法 Download PDF

Info

Publication number
TWI588590B
TWI588590B TW104138753A TW104138753A TWI588590B TW I588590 B TWI588590 B TW I588590B TW 104138753 A TW104138753 A TW 104138753A TW 104138753 A TW104138753 A TW 104138753A TW I588590 B TWI588590 B TW I588590B
Authority
TW
Taiwan
Prior art keywords
frame
image
degree panoramic
meaningful
processor
Prior art date
Application number
TW104138753A
Other languages
English (en)
Other versions
TW201708928A (zh
Inventor
李冠慰
Original Assignee
宏達國際電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏達國際電子股份有限公司 filed Critical 宏達國際電子股份有限公司
Publication of TW201708928A publication Critical patent/TW201708928A/zh
Application granted granted Critical
Publication of TWI588590B publication Critical patent/TWI588590B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/166Detection; Localisation; Normalisation using acquisition arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Description

影像產生系統及影像產生方法
本發明係關於影像產生系統及影像產生方法,且特別是有關於一種全景影像之影像產生系統及全景影像之影像產生方法。
近年來,諸如行動電話、數位攝像機或平板電腦等電子裝置通常配備攝像鏡頭,以便允許使用者擷取照片或影像。一些具有攝像功能之電子裝置可用於錄製全景影像,以及一些電子裝置可進一步錄製360度全景影像。360度全景影像是基於影像之真實重現技術,此技術使用真實影像長度以獲得三維影像。觀看者可隨意點擊以選擇想關注之360度全景影像中的任何視角,類似於觀看者身處於真實環境中並針對四周進行觀看。
此外,要查看360度全景影像則需要特定的影像播放器。然而,並非全部電子裝置都具有特定的影像播放器用於查看360度全景影像。因此,如何便利地在不同種類的電子裝置上傳輸或顯示360度全景影像已成為待解決之問題。
為解決上述的問題,本發明之一態樣提供一種影像產生系統。影像產生系統包括:儲存裝置、攝像裝置及處理器。處理器可操作性地被配置用以決定360度全景影像之多個有意義角度,根據有意義角度將360度全景影像分隔為多個時間區段,及根據與有意義角度相關之時間區段產生通用格式影像。每一時間區段對應於有意義角度中之一個角度。
本發明之另一態樣提供一種影像產生方法。影像產生方法包含:決定360度全景影像之多個有意義角度;根據有意義角度將360度全景影像分隔為多個時間區段;及根據與有意義角度相關之時間區段產生通用格式影像。每一時間區段對應於有意義角度中之一個角度。
綜上所述,本發明之技術方案與現有技術相比具有明顯的優點和有益效果。藉由上述技術方案,可達到相當的技術進步,並具有產業上的廣泛利用價值,本揭示內容利用360度全景影像產生產生通用格式影像可令任何人具有優良的影像觀看體驗。電子裝置將從不同時間區段擷取有意義視角及組成完整的通用格式影像,以便在不同種類之電子裝置之間顯示或傳輸。
100‧‧‧影像產生系統
110‧‧‧攝像裝置
120‧‧‧聲音接收裝置
130‧‧‧處理器
140‧‧‧儲存裝置
400、500、700‧‧‧通用格式影像
70‧‧‧汽車
S210~S240‧‧‧步驟
A、B、C、X、Y、Z‧‧‧位置
DA、DB、DC、DE、DF、DG、DX、DY、DZ‧‧‧時間區段
F1、F2、F3、F4‧‧‧區域
TL‧‧‧時間線
為讓本發明之上述和其他目的、特徵、優點與實施例能更明顯易懂,所附圖式之說明如下:第1圖根據本發明之一實施例繪示一種影像產生系統之示意圖;第2A~2B圖根據本發明之一實施例繪示一種影像產生方法之流程圖;第3圖根據本發明之一實施例繪示一種影像產生方法之示意圖;第4圖根據本發明之一實施例繪示一種影像產生方法產生通用格式影像之示意圖;第5圖根據本發明之一實施例繪示一種影像產生方法產生通用格式影像之示意圖;第6圖根據本發明之一實施例繪示一種影像產生方法之示意圖;以及第7圖根據本發明之一實施例繪示一種影像產生方法產生通用格式影像之示意圖。
將理解,在本案之描述及下文中全部專利申請範圍中,短語「及/或」包括相關連的所列項目中一或更多者之任何及全部組合。
現請參看第1圖。第1圖是根據本發明之一個實施例之影像產生系統100之示意圖。在此實施例中,影像產生系統100包括攝像裝置110、處理器130,及儲存裝置140。
影像產生系統100可為任何種類的電子裝置,例如行動裝置、膝上型電腦、面板裝置或其他系統。攝像裝置110耦接至處理器130及儲存裝置140。攝像裝置110用於擷取影像或影像。攝像裝置110由數字攝像機或其他裝置實施。攝像裝置110為使用者提供擷取照片或影像之功能。在一個實施例中,攝像裝置110選擇性地包括多個鏡頭及/或廣角鏡頭以用於擷取不同方向之影像,以獲得360度全景影像。處理器130由微晶片、中央處理單元(central processing unit;CPU)或韌體電路系統實施。儲存裝置140用於儲存資訊。儲存裝置110由記憶體、磁碟、儲存媒體或記憶體卡等實施,該裝置用於儲存資訊。在其他實施例中,儲存裝置110亦可被取代為一遠端連接裝置。
在另一實施例中,影像產生系統100更包括一聲音接收裝置120。處理器130及儲存裝置140耦接至聲音接收裝置120。在一個實施例中,聲音接收裝置120包括一或更多個麥克風以用於接收來自不同方向之聲音,以錄製具有360度全景影像之360度全景聲音。
請同時參看第2A~2B圖及第3~4圖,第2A~2B圖是根據本發明之一實施例之影像產生方法之流程圖。第3圖是根據本發明之一實施例之影像產生方法之示意圖。第4圖是藉由根據本發明之一實施例之影像產生方法產生通用格式影像之示意圖。在一個實施例中,第2A~2B圖中之影像產生方法由一系統實施,該系統之結構與第1圖中所示結構相同或類似。為了簡化下文之描述,在以下段落中,將 應用第1圖中所示之影像產生系統100以作為實施第2A~2B圖中所示影像產生方法之一例。然而,本揭示案並非限定於此。
下文中影像產生方法之步驟可依據本發明之多個實施例而視情況進行增添、替換,及/或剔除。
在此實施例中,第2A~2B圖中所示影像產生方法包括以下步驟。
在步驟S210中,攝像裝置110獲取360度全景影像。在一個實施例中,攝像裝置110使用多個鏡頭以擷取真實影像長度註腳,以用於產生三維影像。如第3圖中所示,影像產生系統100獲取及錄製與區域F1至F4關連之影像以產生360度全景影像。在另一實施例中,攝像裝置110進一步獲取具有360度全景聲音之360度全景影像,此360度全景的聲音係藉由聲音接收裝置120所接收。
在步驟S220中,處理器130決定360度全景影像之多個有意義角度。360度全景影像包括多個幀,及每一有意義角度對應於360度全景攝像影像中至少一個幀之一部分。在一個實施例中,處理器130藉由偵測來自360度全景影像之至少一幀中部分之至少一物件、至少一臉部、至少一說話者,或至少一聲音方向來決定有意義角度。
例如,第3圖中之影像產生系統100獲取音樂會之360度全景影像。如第3圖中所示,區域F1是360度全景影像之天空部分,區域F2是360度全景影像中之地面部分,區域F3是包括360度全景影像中之舞臺部分,及區域F4是 包括360度全景影像中之觀眾部分。根據此情景,可藉由下述方法決定有意義角度。此外,下述方法並非限定於此實例。下述方法亦可用於其他情景或360度全景影像中其他內容。
在一個實施例中,360度全景影像包括多個幀。而且,處理器130計算對應於多個事件之多個權重參數,及此些事件在至少一個幀之不同部分中出現。
例如,處理器130首先向每一種事件賦予一權重以作為權重參數。接著,處理器130找出幀中具有最大權重參數之事件。然後,將幀中對應於此事件之部分決定為有意義角度。例如,如若說話者事件之權重參數是“3”,出現一指定物件事件之權重參數是“4”,及出現一識別臉部事件之權重參數是“5”,則處理器130可判斷出此幀中具有最大權重參數的事件為識別臉部事件。然後,處理器130決定此幀中對應於識別臉部事件(例如第3圖中之位置A)的區域(例如第3圖中之舞臺區域F3)為有意義角度。在此實施例中,360度全景影像中之事件種類是但不限於識別臉部、說話者、指定物件、聲音或熱點(hot spot),等等。
在一個實施例中,權重參數分別作為至少一個幀之臉部部分(例如在區域F4中出現之觀眾臉部事件)的權重參數、至少一幀之說話者部分(例如在區域F3中出現主持人臉部的事件)之權重參數,及/或至少一幀之聲音方向(例如接收來自區域F1之鞭炮聲音的事件)之權重參數。接著,處理器130找出對應於此些事件的權重參數中哪一權 重參數具有最大值。然後,處理器130根據對應於具有最大值之權重參數的至少一個幀中之一部分決定有意義角度中之一者。例如,如若處理器130發覺一個幀中之臉部部分的權重參數在此些權重參數中具有最大值,則將此幀之臉部部分(例如在第3圖中區域F3之位置A處出現演唱者臉部的事件)決定為有意義角度。
在另一實施例中,處理器130將先前的熱點角度預設為有意義角度之一者。此先前的熱點角度是儲存在儲存裝置140中之歷史有意義角度。例如,大部分觀眾在音樂會期間往往查看舞臺部分F3。觀眾在音樂會期間不會常常查看地面部分F2或天空部分F1。由此,將舞臺部分F3之視角決定為熱點,及配置作為有意義角度的歷史紀錄及儲存在儲存裝置140中。以此方式,儲存在儲存裝置140中之先前的熱點角度被處理器130決定為當前有意義角度中之一者。
在另一實施例中,處理器130決定在360度全景影像之至少一個幀中是否偵測到識別臉部,以尋找有意義角度。若在360度全景影像之至少一個幀中偵測到識別臉部,則處理器130決定此些有意義角度中之一有意義角度對應至360度全景影像之至少一個幀中之識別臉部所屬的一角度。例如,處理器130在第3圖之位置A處偵測到演唱者之臉部。處理器130比較演唱者之臉部與所儲存之臉部資訊,以決定此演唱者之臉部是否與所識別之臉部相同或類似。若處理器130決定此演唱者之臉部與所識別之臉部相 同,則此演唱者之臉部被決定為所識別之臉部。接著,處理器130將其中一個有意義角度決定為對應至360度全景影像之至少一個幀中(例如至少一個幀中之位置A)之此識別臉部所屬的一角度。
在另一實施例中,處理器130決定在360度全景影像之至少一個幀中是否偵測到說話者,以尋找有意義角度。若在360度全景影像之至少一個幀中偵測到說話者之語音源,則處理器130決定此些有意義角度中之一有意義角度對應至360度全景影像之至少一個幀中之說話者所屬的一角度。例如,如若處理器130偵測到站立於位置A處之說話者之語音源,則處理器130將其中一個有意義角度決定為對應至360度全景影像之至少一個幀中(例如至少一個幀中之位置A)之此說話者所屬的一角度。
在另一實施例中,處理器130進一步決定在360度全景影像之至少一個幀中是否存在聲音源,以尋找有意義角度。若在360度全景影像之至少一個幀中存在聲音源,則處理器130決定此些有意義角度中之一有意義角度對應至360度全景影像之至少一個幀中之此聲音源所屬的一角度。例如,如若處理器130偵測到位於位置B處之鞭炮聲音源,則處理器130將其中一個有意義角度決定為對應至360度全景影像之至少一個幀中(例如至少一個幀中之位置B處)之此聲音源方向所屬的角度。
上述方法可單獨實施。在其他實施例中,上述方法亦可組合以決定有意義角度。如第2B圖中所示,此些 步驟之優先權並非僅限於此,及此些步驟之次序可根據實際用途而經調整。
在一個實施例中,步驟S220中之步驟可進一步包括以下步驟。以下步驟中之步驟可依據本揭示案之多個實施例視情況而經增添、替換,及/或剔除。
在步驟S221a中,處理器130決定是否偵測到手動指令。如若未偵測到手動指令,則同時執行或以任何次序執行步驟S223、S225、S227。如若偵測到手動指令,則執行步驟S221b。在步驟S221b中,處理器130根據手動指令決定有意義角度。例如,如若使用者藉由點擊360度全景影像中之一部分來輸入手動指令,以選擇關注一視角(步驟S221a),則處理器130根據手動指令決定此有意義角度(步驟S221b)。然後,執行步驟S230。
在步驟S223中,於偵測到一識別臉部的情況下,處理器130用以決定有意義角度中之一者,並將有意義角度中之一者對應至至少一個幀中之此識別臉部之部分。在一個實施例中,如若在360度全景影像之至少一個幀中未偵測到識別臉部,則識別臉部事件之權重參數可設置為無效或零。如若在360度全景影像之至少一個幀中偵測到識別臉部,則執行步驟S229。
在步驟S225中,於偵測到說話者之語音源的情況下,處理器130用以決定有意義角度中之一者,並將有意義角度中之一者對應至至少一個幀中之此說話者語音源之部分。在一個實施例中,如若在360度全景影像之至少一個 幀中未偵測到說話者之語音源,則說話者事件之語音源之權重參數可設置為無效或零。如若在360度全景影像之至少一個幀中偵測到說話者之語音源,則執行步驟S229。
在步驟S227中,於聲音源存在的情況下,處理器130用以決定有意義角度中之一者,並將有意義角度中之一者對應至至少一個幀中之此聲音源之部分。在一個實施例中,如若在360度全景影像之至少一個幀中未偵測到聲音源,則聲音源事件之權重參數可設置為無效或零。如若在360度全景影像之至少一個幀中偵測到聲音源,則執行步驟S229。
在步驟S229中,處理器130根據對應於具有最大值之權重參數的至少一個幀中之一部分,以選擇有意義角度中之一者。
第2B圖中之步驟之細節及實例與前述實施例相同,及本案將省略此些步驟之詳細描述。因此,影像產生方法可根據不同事件決定有意義角度。
接著,在步驟S230中,處理器130根據有意義角度將360度全景影像分隔為多個時間區段,其中每一時間區段對應於有意義角度中之一者。
在一個實施例中,360度全景影像是一30秒影像。首先,第3圖中位於位置A處之演唱者在與360度全景影像之第0秒至第10秒內關連之幀中出現。接著,第3圖中位於位置B處之鞭炮在與360度全景影像之第11秒至第21秒內關連之幀中爆炸。最後,位於位置C處之觀眾在與360 度全景影像之第21秒至第30秒內關連之幀中喝彩及歡呼。在此實施例中,如第3圖中所示,在步驟S220中決定之有意義角度是位置A、位置B,及位置C。換言之,有意義角度之位置A對應於360度全景影像中的第0秒至第10秒。有意義角度之位置B對應於360度全景影像中的第11秒至第20秒。有意義角度之位置C對應於360度全景影像中的第21秒至第30秒。如第4圖中所示,處理器130根據每一有意義角度(例如位置A、位置B,及位置C)將360度全景影像分隔為時間區段DA(第0秒至第10秒)、DB(第11秒至第20秒)及DC(第21秒至第30秒)。換言之,每一時間區段DA、DB及DC對應於有意義角度中之一者。
在步驟S240中,處理器130根據時間區段DA、DB及DC產生通用格式影像400。例如,通用格式影像400根據如第3圖所示之有意義角度(例如位置A、位置B,及位置C)而包括時間區段DA(第0秒至第10秒)、時間區段DB(第11秒至第20秒)及時間區段DC(第21秒至第30秒),如第4圖中所示。時間線TL展現為通用格式影像400之總時長。以此方式,通用格式影像400藉由原始360度全景影像之有意義角度而產生。由此,通用格式影像400被視作原始360度全景影像之部分。此外,通用格式影像400之資料格式可藉由MP4、MPEG、AVI、WMA或其他一般格式而實施,無需使用特定影像播放器來播放。此外,通用格式影像400依據固定的解析度影像以產生,如800*600或1024*768像素。
經由上述步驟,處理器130決定360度全景影像之有意義角度。有意義角度是360度全景影像之特殊瞬時或代表性部分。然後,處理器130根據對應於有意義角度之時間區段而產生通用格式影像。以此方式,通用格式影像仍可包含原始360度全景影像之代表性部分。而且,影像產生系統100提供在無需特定或特殊影像播放器的情況下觀看通用格式影像的功能。通用格式影像可輕鬆傳輸或顯示。
在另一態樣中,影像產生系統100可進一步放大或縮小幀之一部分。請參看第5圖,第5圖是藉由根據本發明之一個實施例之影像產生方法所產生之通用格式影像之示意圖。
在一個實施例中,當至少一個幀之解析度高於解析度臨限值,及對應於相同有意義角度之時間區段長於時間臨限值時,處理器130放大此至少一個幀中之部分。例如,在步驟S220中決定的有意義角度是相同的有意義角度,或在步驟S220中僅決定一個有意義角度(例如360度全景影像之說話內容或表演內容)。在此情況下,如若由相同的有意義角度(如時間區段DE、DF及DG)產生通用格式影像500,則觀看者可能感到厭煩。時間區段DE、時間區段DF及時間區段DG具有相同的有意義角度及出現相同的人員。為避免產生令人厭煩之通用格式影像,對應於時間區段DE、DF及DG之有意義角度可放大或縮小以使得通用格式影像500更鮮活生動。例如,一位人員的半身處於通用格式影像500之時間區段DE中。如若時間區段DF之幀 之解析度高於解析度臨限值,及對應於相同有意義角度的三個時間區段DE、DF及DG長於時間臨限值,則可放大時間區段DF之至少一個幀。此舉意味著有意義角度相同及保持片刻,及幀之解析度經決定為進行放大之適合條件。以此方式,時間區段DF可顯示此人員頭部之細節。由於解析度更高,因此當幀放大時將不會模糊。此外,當至少一個幀之解析度低於解析度臨限值時,處理器130縮小此至少一個幀之部分。例如,當時間區段DG中之幀解析度低於解析度臨限值時,處理器130縮小時間區段DG中之幀以避免此些幀發生模糊之情況。在縮小時間區段DG中之幀之後,人員的全身顯示在通用格式影像500中。
因此,即使全部時間區段DE、DF及DG對應於相同的有意義角度,通用格式影像亦可藉由放大及縮小效應而鮮活生動。當通用格式影像500包含一些視覺變更時,觀看者將更有耐性。
在一個實施例中,處理器130經配置以自動追蹤對應於有意義角度中之一者的至少一個物件、至少一個臉部、至少一個說話者,或至少一個聲音方向。例如請參看第6圖到第7圖,第6圖是根據本發明之一個實施例之影像產生方法之示意圖。第7圖是藉由根據本發明之一個實施例之影像產生方法產生通用格式影像之示意圖。
例如,影像產生系統100擷取對應於360度全景影像中有意義角度之一者的物件。在一個實施例中,360度全景影像包含汽車70,此汽車自位置X移向位置Y,然後自 位置Y移向位置Z。處理器130經配置以藉由識別汽車70在360度全景影像中之位置(如位置X、Y及Z)而自動追蹤此汽車70,如第6圖所示。在此實施例中,有意義角度是根據汽車70之位置而決定的。例如,當汽車70處於位置X時,有意義角度被決定為位置X,及處理器130經配置以自動追蹤汽車70,以產生時間區段DX之內容。當汽車70處於位置Y時,有意義角度被決定為位置Y,及處理器130經配置以自動追蹤汽車70,以產生時間區段DY之內容。當汽車70處於位置Z時,有意義角度被決定為位置Z,及處理器130經配置以自動追蹤汽車70,以產生時間區段DZ之內容。在另一實施例中,360度全景影像可被分隔為對應於汽車70所在位置之更多時間區段,以獲取平滑的追蹤效應。
接著,影像產生系統100產生通用格式影像700,此通用格式影像700包含處於全部時間區段DX、DY及DZ之汽車70。另一方面,第6圖到第7圖中的組件、步驟及應用的其他詳細技術特徵與前述實施例之彼等特徵相同,及本案中將省略此些特徵之詳細描述。
因此,藉由上述方法,可藉由處理器130追蹤物件、人員或/及聲音。而且,可根據追蹤到的物件、人員或/及聲音來產生通用格式影像700。以此方式,將有助於觀看者關注特定事件。
應注意,上述影像產生方法可由上述實施例中的影像產生系統100實施,或可作為儲存在非瞬時性電腦可讀取媒體中的電腦程式而實施,此媒體待讀取以用於控制 電腦或電子裝置以執行上述第2A圖到第2B圖中之影像產生方法。電腦程式可儲存在非瞬時性電腦可讀取媒體中,此媒體如唯讀記憶體(read-only memory;ROM)、快閃記憶體、軟碟、硬碟、光碟、快閃磁碟、磁帶、可從網路存取之資料庫,或具有本發明所述技術領域之一般技術人員可設想的相同功能之任何儲存媒體。
影像產生方法及影像產生系統可利用360度全景影像產生通用格式影像。此外,通用格式影像由數個視角組成,此些視角對於彼等所組成之時間區段是有意義視角。觀看者仍可藉由通用格式影像觀看有意義內容,及通用格式影像更易於在無需特定軟體播放器之情況下傳輸或顯示。然而,本揭示案並非限定於此,其他通訊技術亦符合本揭示案之設想範疇。
雖然本發明已以實施方式揭露如上,然其並非用以限定本發明,任何熟習此技藝者,在不脫離本發明之精神和範圍內,當可作各種之更動與潤飾,因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。
S210~S240‧‧‧步驟

Claims (20)

  1. 一種影像產生系統,包括:一處理器,可操作性地被配置用以:決定一360度全景影像之複數個有意義角度;其中該些有意義角度藉由該處理器決定;根據該些有意義角度將該360度全景影像分隔為複數個空間參數,該些空間參數各自對應到複數個時間區段的其中之一者,其中每一時間區段對應至該些有意義角度中之一者;以及根據與該些有意義角度相關之該些時間區段產生一通用格式影像。
  2. 如請求項1所述之影像產生系統,進一步包括:一攝像裝置,可操作性地被配置用以擷取該360度全景影像;其中每一有意義角度對應於該360度全景影像之至少一個幀之一部分。
  3. 如請求項1所述之影像產生系統,其中該處理器進一步可操作性地被配置以:藉由偵測來自該360度全景影像之至少一個幀之一部分的至少一物件、至少一臉部、至少一說話者,或至少一聲音方向,來決定該些有意義角度。
  4. 如請求項3所述之影像產生系統,其中該處理器進一步可操作性地被配置用以:自動追蹤對應於該些有意義角度中之一者的該至少一個物件、該至少一個臉部、該至少一個說話者,或該至少一個聲音方向。
  5. 如請求項1所述之影像產生系統,其中該處理器進一步可操作性地被配置用以:決定複數個權重參數,該些權重參數對應於複數個事件;以及根據該些權重參數計算該些有意義角度中之一者;其中該些事件出現在每一時間區段之該至少一個幀之不同部分中。
  6. 如請求項5所述之影像產生系統,其中該處理器根據該些權重參數中之一最大參數,以決定該些有意義角度中之一者。
  7. 如請求項1所述之影像產生系統,進一步包括:一儲存裝置,可操作性地被配置以儲存一先前熱點角度;其中該先前熱點角度由該處理器決定為該些有意義角度中之一者。
  8. 如請求項1所述之影像產生系統,其中該處理 器進一步可操作性地被配置用以:決定在該360度全景影像之該至少一個幀中是否偵測到一識別臉部;其中回應於在該360度全景影像之該至少一個幀中偵測到的該識別臉部,該處理器決定該些有意義角度中之一有意義角度對應至該360度全景影像之該至少一個幀中之該識別臉部所屬的一角度。
  9. 如請求項1所述之影像產生系統,進一步包括:一聲音接收裝置,可操作性地被配置以接收一聲音源;其中該處理器更用以決定該聲音源是否存在於該360度全景影像之該至少一個幀中;以及回應於該聲音源存在於該360度全景影像之該至少一個幀中,該處理器決定該些有意義角度中之一有意義角度對應至該360度全景影像之該至少一個幀中之該聲音源所屬的一角度。
  10. 如請求項1所述之影像產生系統,其中回應於該至少一個幀之一解析度高於一解析度臨限值,且對應於相同的該些有意義角度之該些時間區段長於一時間臨限值時,該處理器放大該至少一個幀中之一部分;以及回應於該至少一個幀之該解析度低於一解析度臨限值時,該處理器縮小該至少一個幀之該部分。
  11. 一種影像產生方法,包括以下步驟:決定一360度全景影像之複數個有意義角度;其中該些有意義角度藉由一處理器決定;根據該些有意義角度將該360度全景影像分隔為複數個空間參數,該些空間參數各自對應到複數個時間區段的其中之一者,其中每一時間區段對應至該些有意義角度中之一者;以及根據與該些有意義角度相關之該些時間區段產生一通用格式影像。
  12. 如請求項11所述之影像產生方法,其中每一有意義角度對應於該360度全景影像之至少一個幀之一部分。
  13. 如請求項11所述之影像產生方法,進一步包括:藉由偵測來自該360度全景影像之至少一個幀之一部分的至少一物件、至少一臉部、至少一說話者之語音源,或至少一聲音方向,來決定該些有意義角度。
  14. 如請求項13所述之影像產生方法,進一步包括:自動追蹤對應於該些有意義角度中之一者的該至少一物件、該至少一臉部、該至少一說話者,或該至少一聲音方向。
  15. 如請求項11所述之影像產生方法,進一步包括:決定複數個權重參數,其中該些權重參數對應於複數個事件;及根據該些權重參數計算該些有意義角度中之一者;以及其中該些事件出現在每一時間區段之該至少一個幀之不同部分中。
  16. 如請求項11所述之影像產生方法,進一步包括:決定儲存在一儲存裝置中之一先前熱點角度為該些有意義角度中之一者。
  17. 如請求項11所述之影像產生方法,進一步包括:決定在該360度全景影像之該至少一個幀中是否偵測到一識別臉部;其中回應於在該360度全景影像之該至少一個幀中偵測到該識別臉部,該處理器決定該些有意義角度中之一有意義角度對應至該360度全景影像之該至少一個幀中之該識別臉部所屬的的一角度。
  18. 如請求項11所述之影像產生方法,進一步包括:決定在該360度全景影像之該至少一個幀中是否偵測到 一說話者;其中回應於在該360度全景影像之該至少一個幀中偵測到該說話者,該處理器決定該些有意義角度中之一有意義角度對應至該360度全景影像之該至少一個幀中之該說話者所屬的一角度。
  19. 如請求項11所述之影像產生方法,進一步包括:決定一聲音源是否存在於該360度全景影像之該至少一個幀中;其中回應於該聲音源存在於該360度全景影像之該至少一個幀中,該處理器決定該些有意義角度中之一有意義角度對應至該360度全景影像之該至少一個幀中之該聲音源所屬的一角度。
  20. 如請求項11所述之影像產生方法,進一步包括:回應於該至少一個幀之一解析度高於一解析度臨限值,且對應於相同的該些有意義角度之該些時間區段長於一時間臨限值時,放大該至少一個幀之一部分;以及回應於該至少一個幀之該解析度低於一解析度臨限值時,縮小該至少一個幀之該部分。
TW104138753A 2015-08-23 2015-11-23 影像產生系統及影像產生方法 TWI588590B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/833,130 US10250803B2 (en) 2015-08-23 2015-08-23 Video generating system and method thereof

Publications (2)

Publication Number Publication Date
TW201708928A TW201708928A (zh) 2017-03-01
TWI588590B true TWI588590B (zh) 2017-06-21

Family

ID=58158349

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104138753A TWI588590B (zh) 2015-08-23 2015-11-23 影像產生系統及影像產生方法

Country Status (3)

Country Link
US (1) US10250803B2 (zh)
CN (1) CN106470313B (zh)
TW (1) TWI588590B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107124590A (zh) * 2017-05-24 2017-09-01 深圳市酷开网络科技有限公司 基于声源定向的全景视频压缩方法、存储介质及摄像机
US10521468B2 (en) * 2017-06-13 2019-12-31 Adobe Inc. Animated seek preview for panoramic videos
US20190007536A1 (en) 2017-07-03 2019-01-03 Essential Products, Inc. Handheld writing implement form factor mobile device
US10462345B2 (en) 2017-08-11 2019-10-29 Essential Products, Inc. Deformable structure that compensates for displacement of a camera module of a camera accessory
CN107396085A (zh) * 2017-08-24 2017-11-24 三星电子(中国)研发中心 一种全视点视频图像的处理方法及系统
US10496887B2 (en) * 2018-02-22 2019-12-03 Motorola Solutions, Inc. Device, system and method for controlling a communication device to provide alerts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201030631A (en) * 2009-02-04 2010-08-16 Altek Corp Automatic photographing method for panoramic image of digital imaging apparatus
JP2012068380A (ja) * 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20130033566A1 (en) * 2011-08-02 2013-02-07 Sony Corporation Image processing device, and control method and computer readable medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
US20130141526A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
US9374554B1 (en) * 2014-03-25 2016-06-21 Amazon Technologies, Inc. Display selection for video conferencing
US20160050349A1 (en) * 2014-08-15 2016-02-18 Sony Corporation Panoramic video

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201030631A (en) * 2009-02-04 2010-08-16 Altek Corp Automatic photographing method for panoramic image of digital imaging apparatus
JP2012068380A (ja) * 2010-09-22 2012-04-05 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US20130033566A1 (en) * 2011-08-02 2013-02-07 Sony Corporation Image processing device, and control method and computer readable medium

Also Published As

Publication number Publication date
CN106470313A (zh) 2017-03-01
TW201708928A (zh) 2017-03-01
US20170054904A1 (en) 2017-02-23
CN106470313B (zh) 2019-12-27
US10250803B2 (en) 2019-04-02

Similar Documents

Publication Publication Date Title
TWI588590B (zh) 影像產生系統及影像產生方法
US12033082B2 (en) Maintaining fixed sizes for target objects in frames
US10367997B2 (en) Enriched digital photographs
KR102650850B1 (ko) 영상 음향 처리 장치 및 방법, 및 프로그램이 저장된 컴퓨터 판독 가능한 기록 매체
US10110850B1 (en) Systems and methods for directing content generation using a first-person point-of-view device
TW201901527A (zh) 視訊會議裝置與視訊會議管理方法
US20150146078A1 (en) Shift camera focus based on speaker position
CN107980221A (zh) 合成并缩放角度分离的子场景
TW201643689A (zh) 播音控制系統、方法、電腦程式產品及電腦可讀取紀錄媒體
WO2018095252A1 (zh) 视频录制方法及装置
US10297285B2 (en) Video data processing method and electronic apparatus
KR20120068078A (ko) 영상 처리 장치 및 그의 영상 데이터와 오디오 데이터의 연결 방법
JP4451892B2 (ja) 映像再生装置、映像再生方法、及び映像再生プログラム
JP2013172446A (ja) 情報処理装置、端末装置、撮像装置、情報処理方法、及び撮像装置における情報提供方法
CN112907617B (zh) 一种视频处理方法及其装置
JP2011071685A (ja) 映像音響処理システム、映像音響処理方法及びプログラム
CN113709545A (zh) 视频的处理方法、装置、计算机设备和存储介质
JP4953137B2 (ja) 全周映像のための表示技術
WO2023164814A1 (zh) 媒体设备及其控制方法和装置、目标跟踪方法和装置
JP3954439B2 (ja) 映像記録システム、プログラム及び記録媒体
CN115801977A (zh) 分割视频的多模态系统、分割多媒体的多模态系统及方法
JP4835545B2 (ja) 画像再生装置、撮像装置、および画像再生方法、並びにコンピュータ・プログラム
Zhang et al. Semantic saliency driven camera control for personal remote collaboration
JP7065708B2 (ja) 録画再生装置及びプログラム
JP2021002803A (ja) 画像処理装置、その制御方法、プログラム