JP2023509746A - パノラマビデオ編集方法、装置、機器及び記憶媒体 - Google Patents

パノラマビデオ編集方法、装置、機器及び記憶媒体 Download PDF

Info

Publication number
JP2023509746A
JP2023509746A JP2022541890A JP2022541890A JP2023509746A JP 2023509746 A JP2023509746 A JP 2023509746A JP 2022541890 A JP2022541890 A JP 2022541890A JP 2022541890 A JP2022541890 A JP 2022541890A JP 2023509746 A JP2023509746 A JP 2023509746A
Authority
JP
Japan
Prior art keywords
panoramic video
angle
view
salient
salient object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022541890A
Other languages
English (en)
Other versions
JP7492012B2 (ja
Inventor
姜文杰
呂朋偉
蔡錦霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Arashi Vision Inc
Original Assignee
Arashi Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Arashi Vision Inc filed Critical Arashi Vision Inc
Publication of JP2023509746A publication Critical patent/JP2023509746A/ja
Application granted granted Critical
Publication of JP7492012B2 publication Critical patent/JP7492012B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

本発明はパノラマビデオの技術分野に関し、パノラマビデオ編集方法、装置、機器及び記憶媒体を提供する。前記方法はパノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録することと；取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得することとと；前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成することとを含む。パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。【選択図】図１

Description

本発明はパノラマビデオの技術分野に関し、特にパノラマビデオ編集方法、装置、機器及び記憶媒体に関するものである。
パノラマビデオは、パノラマカメラで全方位３６０度撮影したビデオであり、ユーザーはパノラマカメラの撮影角度範囲内の動画を任意に観賞することができる。パノラマビデオを観賞するとき、フラットパネルディスプレイでは、ある時刻でパノラマビデオにおける一つ画角の画像しか表示できないため、ユーザーがパノラマビデオの再生中のある期間に、ある顕著なオブジェクトの対象を観賞したい場合、オブジェクトが現在の画角で消えるせいで、画角を回動するようにディスプレイを絶えずに制御する必要があり、操作が比較的に面倒であるとともに、視経験にも影響を及ぼす可能性がある。
本発明の実施例は、従来技術では効果的なパノラマビデオ編集方法を提供することができなかったため、出力時のパノラマビデオの滑らかさが悪いという問題を解決するためのパノラマビデオ編集方法、装置、機器及び記憶媒体を提供する。
本発明の実施例の一観点は、パノラマビデオ編集方法を提供しており、前記方法は、
パノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録するステップと；
取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するステップと；
前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するステップとを含む。
前記パノラマカメラの移動撮影時の進行方向の画角を記録するステップは、
元の球面ビデオである前記パノラマビデオから前記パノラマカメラの移動撮影時の進行方向を取得し、前記進行方向の画角に対応するレンズ画像を取得するステップを含むことが好ましい。
取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するステップは、
前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出するステップと；
現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに前記現在顕著なオブジェクトを順次追跡し、前記現在顕著なオブジェクトが位置している画角を取得するステップとを含むことが好ましい。
前記現在顕著なオブジェクトが位置している画角を取得するステップの後に、
前記現在顕著なオブジェクトの追跡停止イベントを検出し、前記現在顕著なオブジェクトの追跡停止イベントが検出された場合、前記パノラマビデオに対してフレーム抽出操作を行うステップに移行して顕著なオブジェクトを検出し続けるステップをさらに含むことがより好ましい。
前記パノラマビデオフレームに顕著なオブジェクトを検出するステップは、
現在検出されているパノラマビデオフレームから予め設定されたオブジェクト種別が検出された場合、最も顕著な値が大きいオブジェクトを、前記現在検出されているパノラマビデオフレームの現在顕著なオブジェクトとするステップを含むことがさらに好ましい。
予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに前記現在顕著なオブジェクトを順次追跡し、前記現在顕著なオブジェクトが位置している画角を取得するステップは、
前記現在検出されているパノラマビデオフレームにおける現在顕著なオブジェクトの追跡枠の中心座標を取得し、前記中心座標から前記現在顕著なオブジェクトの球面視点座標を計算するステップと；
前記球面視点座標から、前記顕著なオブジェクトが位置している画角に対応するレンズ画像を取得するステップとを含むことがさらに好ましい。
前記追跡停止イベントは、前記現在顕著なオブジェクトが喪失したことまたは前記追跡枠の面積が予め設定された面積より小さいことであることが好ましい。
前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するステップは、
前記パノラマビデオフレームをトラバースして、前記パノラマビデオフレームに顕著なオブジェクトが存在しない場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を設定するステップ；
前記パノラマビデオフレームに顕著なオブジェクトが存在する場合、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける対応する画角のレンズ画像を特定してクリップし、前記レンズ画像の再生速度を設定するステップ；
クリップされたレンズ画像と設定された対応する再生速度に基づいて、前記パノラマビデオに対応するオブジェクトビデオを生成するステップを含むことが好ましい。
各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を特定してクリップし、前記レンズ画像の再生速度を設定するステップは、
各顕著なオブジェクトが連続して追跡されたフレームの数を判断し、前記フレームの数が設定閾値未満である場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定するステップ；
前記フレームの数が前記設定閾値より大きい場合、第１の期間では、パノラマビデオフレームにおける進行方向の画角から顕著なオブジェクトが位置している画角への遷移に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定し、第２の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度をスロー再生に設定し、第３の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角から進行方向の画角への遷移に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定するステップを含むことがより好ましい。
本発明の実施例の別の観点は、パノラマビデオ編集装置を提供しており、前記装置は、
パノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録するための画角記録ユニットと；
取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するための画角取得ユニットと；
前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するためのビデオ生成ユニットとを備える。
本発明の実施例の別の観点は、メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータプログラムとを備え、前記プロセッサが前記コンピュータプログラムを実行する際に、上記のような方法のステップを実現するパノラマビデオ編集機器を提供する。
本発明の実施例の別の観点は、コンピュータ可読記憶媒体を提供しており、前記コンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサに実行されると、上記のような方法のステップを実現する。
本発明の実施例では、パノラマカメラで撮影したパノラマビデオを取得した後、パノラマカメラの移動撮影時の進行方向の画角を記録し、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得し、進行方向の画角と顕著なオブジェクトが位置している画角とに基づいて、パノラマビデオを編集して、パノラマビデオに対応するオブジェクトビデオを生成することにより、パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。
本発明の第１の実施例によるパノラマビデオ編集方法の実現フローチャートである。 本発明の第２の実施例によるパノラマビデオ編集装置の構造模式図である。 本発明の第３の実施例によるパノラマビデオ編集機器の構造模式図である。
以下、本発明の目的、技術手段及び利点をより一層明らかにするように、添付図面及び実施例に基づいて本発明をさらに詳細に説明する。ここで記載された具体的な実施例は、本発明を釈明するためのものだけであり、本発明を限定する意図はないことを理解すべきである。
以下、具体的な実施例に基づいて本発明の具体的な実現について詳細に説明する。
第１の実施例
図１は、本発明の第１の実施例によるパノラマビデオ編集方法の実現の流れを示している。本発明の実施例によるパノラマビデオ編集方法は計算装置に適用することができ、ここで、計算装置は、様々なパーソナルコンピュータ、ノートパソコン、スマートフォン、タブレットパソコンおよびパノラマカメラであってもよいが、これに限定されるものではない。
説明の便宜上、図１は本発明の実施例に関連する部分のみを示しており、詳細は以下のとおりである。
ステップＳ１０１では、パノラマカメラで撮影したパノラマビデオを取得し、パノラマカメラの移動撮影時の進行方向の画角を記録する。
本発明の実施例は、パノラマカメラで撮影したパノラマビデオを編集するためのパノラマビデオ編集に適用され、パノラマカメラは２つ以上の魚眼レンズからなるものであり、それによって得られたパノラマビデオは元の球面ビデオである。パノラマカメラの撮影時の進行方向の画角を記録する時に、具体的には、パノラマビデオからパノラマカメラの移動撮影時の進行方向を取得し、さらに進行方向の画角に対応するレンズ画像を取得することで、進行方向の画角に対応するレンズ画像でパノラマカメラの進行方向の画角の記録を実現する。
ステップＳ１０２では、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得する。
本発明の実施例では、予め設定された時間間隔で、取得したパノラマビデオに対してフレーム抽出を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得する時に、以下のステップで実現する。
（１）パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを検出する。
本発明の実施例では、パノラマビデオフレームに顕著なオブジェクトを検出する際に、現在検出されているパノラマビデオフレームから予め設定されたオブジェクト種別における顕著なオブジェクトが検出された場合、最も顕著な値が大きいオブジェクトを、現在検出されているパノラマビデオフレームの現在顕著なオブジェクトとすることで、複数の顕著なオブジェクトが検出された場合には、現在検出されているパノラマビデオフレームにおける追跡対象の顕著なオブジェクトが正確に取得されており、現在検出されているパノラマビデオフレームからオブジェクト種別における顕著なオブジェクトが検出されていない場合、現在検出されているパノラマビデオフレームには顕著なオブジェクトが存在しないと確認される。オブジェクト種別は、オブジェクトの検出正確性を更に高めるようにパノラマカメラの予め設定された撮影シーンに基づいて設定することができ、例えば、オブジェクト種別は彫刻類、石碑類、花壇類と象徴的な建物類であってもよく、彫刻類における顕著なオブジェクトには、動物彫刻、植物彫刻、人体彫刻などが有りうる。具体的には、パノラマビデオフレームに顕著なオブジェクトを検出する時に、オブジェクトの検出正確性を高めるとともに、オブジェクトの検出安定性を保証するために、ＦＴ（Ｆｒｅｑｕｅｎｃｙ－ｔｕｎｅｄ Ｓａｌｉｅｎｔ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｉｏｎ、周波数同調による顕著な領域検出）アルゴリズムやスーパーピクセル畳み込みニューラルネットワーク（例えば、Ａ Ｓｕｐｅｒｐｉｘｅｌｗｉｓｅ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｓａｌｉｅｎｔ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ、顕著なオブジェクト検出に用いられるスーパーピクセル畳み込みニューラルネットワーク）などのアルゴリズムを採用することができるが、これらに限定されない。
（２）現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する。
本発明の実施例では、現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって当該フレームの後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する。ここで、オブジェクト追跡アルゴリズムは、ＫＣＦ（Ｈｉｇｈ－ｓｐｅｅｄ Ｔｒａｃｋｉｎｇ ｗｉｔｈ Ｋｅｒｎｅｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ ｆｉｌｔｅｒｓ、核相関フィルタによる高速追跡）アルゴリズムやＤＳＳＴ（Ａｃｃｕｒａｔｅ Ｓｃａｌｅ Ｅｓｔｉｍａｔｉｏｎ ｆｏｒ Ｒｏｂｕｓｔ Ｖｉｓｕａｌ Ｔｒａｃｋｉｎｇ、ロバスト視覚追跡に用いられる高精度スケール推定）アルゴリズムなどを採用することができるが、これらに限定されるものではない。
具体的には、予め設定されたオブジェクト追跡アルゴリズムによって当該フレームの後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する時に、現在検出されているパノラマビデオフレームにおける現在顕著なオブジェクトの追跡枠の面積と中心座標を取得して、中心座標から現在顕著なオブジェクトの球面視点座標を計算し、球面視点座標から顕著なオブジェクトが位置している画角に対応するレンズ画像を取得することで、顕著なオブジェクトが位置している画角の記録方式を簡素化させ、顕著なオブジェクトが位置している画角の取得正確性を高める。
本発明の実施例では、追跡した顕著なオブジェクトが位置している画角を取得する時に、現在顕著なオブジェクトの追跡停止イベントを検出し、現在顕著なオブジェクトの追跡停止イベントが検出された場合、ステップ（１）に移行して顕著なオブジェクトを検出し続ける。
本発明の実施例では、現在検出されているパノラマビデオフレームの次のパノラマビデオフレームのオブジェクト追跡中に、現在顕著なオブジェクトの追跡停止イベントが検出された場合、ステップ（１）に移行して顕著なオブジェクトを検出し続け、すなわち、その次のパノラマビデオフレームに顕著なオブジェクトを検出しており、この時、その次のパノラマビデオフレームが現在検出されているパノラマビデオフレームとなり、このように繰り返すことにより、全てのパノラマビデオフレームに対するオブジェクト検出と追跡が実現される。ここで、追跡停止イベントは、オブジェクト追跡を停止するかどうかを正確に判定するために、現在顕著なオブジェクトが喪失したことまたは追跡枠の面積が予め設定された面積より小さいこととする。
ステップＳ１０３では、進行方向の画角と顕著なオブジェクトが位置している画角とに基づいて、パノラマビデオを編集して、パノラマビデオに対応するオブジェクトビデオを生成する。
本発明の実施例では、抽出したパノラマビデオフレームの進行方向の画角と、顕著なオブジェクトが位置している画角の取得または記録ができた後、パノラマビデオに対応するオブジェクトビデオを生成するためにパノラマビデオフレームをトラバースして、トラバースしたパノラマビデオフレームに顕著なオブジェクトが存在しない場合に、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を設定し、パノラマビデオフレームに顕著なオブジェクトが存在する場合、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を特定して編集し、レンズ画像の再生速度を設定しており、編集されたレンズ画像と設定された対応する再生速度に基づいて、パノラマビデオに対応するオブジェクトビデオを生成することにより、パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。ここで、オブジェクトビデオは単一画角ビデオまたは平面ビデオである。
好ましくは、トラバースしたパノラマビデオフレームに顕著なオブジェクトが存在しない場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定することで、ユーザの興味のあるコンテンツに素早く定位し、パノラマビデオの再生コンテンツの有効性と面白さを向上させる。
オブジェクトビデオの再生時の滑らかさや、コンテンツの有効性と面白さをさらに向上するために、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける対応する画角のレンズ画像を特定して編集し、前記レンズ画像の再生速度を設定する時に、好ましくは、各顕著なオブジェクトが連続して追跡されたフレームの数を判断し、フレームの数が設定閾値未満である場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定し、フレームの数が設定閾値より大きい場合、第１の期間では、パノラマビデオフレームにおける進行方向の画角から顕著なオブジェクトが位置している画角への遷移に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定し、第２の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角に対応するレンズ画像を編集し、レンズ画像の再生速度をスロー再生に設定し、第３の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角から進行方向の画角への遷移に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定する。第１の期間、第２の期間および第３の期間は、顕著なオブジェクトが連続的に追跡されたフレームの数に対応する期間の一部である。好ましくは、第１の期間、第２の期間および第３の期間は、パノラマビデオの再生コンテンツの有効性と面白さを向上するために、いずれも顕著なオブジェクトが連続的に追跡されたフレームの数に対応する期間の１／３とする。
第２の実施例
図２は本発明の第２の実施例によるパノラマビデオ編集装置の構造を示し、説明の便宜上、本発明の実施例に関連する部分のみを示している。
本発明の実施例において、パノラマビデオ編集装置は、画角記録ユニット２１、画角取得ユニット２２およびビデオ生成ユニット２３を備え、詳細は以下のとおりである。
画角記録ユニット２１は、パノラマカメラで撮影したパノラマビデオを取得し、パノラマカメラの移動撮影時の進行方向の画角を記録するためのものである。
本発明の実施例において、画角記録ユニット２１はパノラマカメラの移動撮影時の進行方向の画角を記録するときに、具体的には、パノラマビデオからパノラマカメラの移動撮影時の進行方向を取得し、さらに進行方向の画角に対応するレンズ画像を取得することで、進行方向の画角に対応するレンズ画像でパノラマカメラの進行方向の画角の記録を実現する。
画角取得ユニット２２は、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得するためのものである。
画角取得ユニット２２は、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得するときに、以下のステップを含む。
（１）パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを検出する。
本発明の実施例では、パノラマビデオフレームに顕著なオブジェクトを検出する時に、現在検出されているパノラマビデオフレームから予め設定されたオブジェクト種別における顕著なオブジェクトが検出された場合、最も顕著な値が大きいオブジェクトを、現在検出されているパノラマビデオフレームの現在顕著なオブジェクトとすることで、複数の顕著なオブジェクトが検出された場合には、現在検出されているパノラマビデオフレームにおける追跡対象の顕著なオブジェクトが正確に取得されており、現在検出されているパノラマビデオフレームからオブジェクト種別における顕著なオブジェクトが検出されていない場合、現在検出されているパノラマビデオフレームには顕著なオブジェクトが存在しないと確認される。オブジェクト種別は、オブジェクトの検出正確性を更に高めるようにパノラマカメラの予め設定された撮影シーンに基づいて設定することができる。
（２）現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する。
本発明の実施例では、現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって当該フレームの後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する。具体的には、予め設定されたオブジェクト追跡アルゴリズムによって当該フレームの後続のパノラマビデオフレームに現在顕著なオブジェクトを順次追跡し、現在顕著なオブジェクトが位置している画角を取得する時に、現在検出されているパノラマビデオフレームにおける現在顕著なオブジェクトの追跡枠の面積と中心座標を取得して、中心座標から現在顕著なオブジェクトの球面視点座標を計算し、球面視点座標から顕著なオブジェクトが位置している画角に対応するレンズ画像を取得することで、顕著なオブジェクトが位置している画角の記録方式を簡素化させる。
本発明の実施例では、追跡した顕著なオブジェクトが位置している画角を取得する時に、現在顕著なオブジェクトの追跡停止イベントを検出し、現在顕著なオブジェクトの追跡停止イベントが検出された場合、ステップ（１）に移行して顕著なオブジェクトを検出し続ける。
本発明の実施例では、現在検出されているパノラマビデオフレームの次のパノラマビデオフレームのオブジェクト追跡中に、現在顕著なオブジェクトの追跡停止イベントが検出された場合、ステップ（１）に移行して顕著なオブジェクトを検出し続け、すなわち、その次のパノラマビデオフレームに顕著なオブジェクトを検出しており、この時、その次のパノラマビデオフレームが現在検出されているパノラマビデオフレームとなり、このように繰り返すことにより、全てのパノラマビデオフレームに対してオブジェクト検出と追跡を行うようになる。ここで、追跡停止イベントは、オブジェクト追跡を停止するかどうかを正確に判定するために、現在顕著なオブジェクトが喪失したことまたは追跡枠の面積が予め設定された面積より小さいこととする。
ビデオ生成ユニット２３は、進行方向の画角と顕著なオブジェクトが位置している画角とに基づいて、パノラマビデオを編集して、パノラマビデオに対応するオブジェクトビデオを生成する。
本発明の実施例では、抽出したパノラマビデオフレームの進行方向の画角と、顕著なオブジェクトが位置している画角の取得または記録ができた後、パノラマビデオに対応するオブジェクトビデオを生成するためにパノラマビデオフレームをトラバースして、トラバースしたパノラマビデオフレームに顕著なオブジェクトが存在しない場合に、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を設定し、パノラマビデオフレームに顕著なオブジェクトが存在する場合、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を特定して編集し、レンズ画像の再生速度を設定しており、編集されたレンズ画像と設定された対応する再生速度に基づいて、パノラマビデオに対応するオブジェクトビデオを生成することにより、パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。
好ましくは、トラバースしたパノラマビデオフレームに顕著なオブジェクトが存在しない場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定することで、ユーザの興味のあるコンテンツに素早く定位し、パノラマビデオの再生コンテンツの有効性と面白さを向上させる。
オブジェクトビデオの再生時の滑らかさや、コンテンツの有効性と面白さをさらに向上するために、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける対応する画角のレンズ画像を特定して編集し、前記レンズ画像の再生速度を設定する時に、好ましくは、各顕著なオブジェクトが連続して追跡されたフレームの数を判断し、フレームの数が設定閾値未満である場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定し、フレームの数が設定閾値より大きい場合、第１の期間では、パノラマビデオフレームにおける進行方向の画角から顕著なオブジェクトが位置している画角への遷移に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定し、第２の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角に対応するレンズ画像を編集し、レンズ画像の再生速度をスロー再生に設定し、第３の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角から進行方向の画角への遷移に対応するレンズ画像を編集し、レンズ画像の再生速度を早送り再生に設定する。
本発明の実施例において、パノラマビデオ編集装置の各ユニットは、対応するハードウェアユニットまたはソフトウェアユニットで実現することができ、各ユニットは独立したソフトウェアユニットやハードウェアユニットであっても良いし、一つのソフトウェアユニットやハードウェアユニットに統合されてもよいが、ここで本発明を限定する意図はない。
第３の実施例
図３は本発明の第３の実施例によるパノラマビデオ編集機器の構造を示し、説明の便宜上、本発明の実施例に関連する部分のみを示している。
本発明の実施例におけるパノラマビデオ編集機器３は、プロセッサ３０と、メモリ３１と、メモリ３１に記憶され、プロセッサ３０で動作可能なコンピュータプログラム３２とを備える。このプロセッサ３０はコンピュータプログラム３２を実行する際に、上述したパノラマビデオ編集方法の実施例におけるステップ、例えば図１に示すステップＳ１０１～Ｓ１０３を実現する。あるいは、プロセッサ３０はコンピュータプログラム３２を実行する際に、上述した装置の実施例における各ユニットの機能、例えば、図２に示すユニット２１～２３の機能を実現する。
本発明の実施例では、パノラマカメラで撮影したパノラマビデオを取得した後、パノラマカメラの移動撮影時の進行方向の画角を記録し、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得し、進行方向の画角と顕著なオブジェクトが位置している画角とに基づいて、パノラマビデオを編集して、パノラマビデオに対応するオブジェクトビデオを生成することにより、パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。
本発明の実施例におけるパノラマビデオ編集機器は、スマートフォン、パーソナルコンピュータ、またはパノラマカメラ自体などであってもよい。このパノラマビデオ編集機器３におけるプロセッサ３０がコンピュータプログラム３２を実行する際にパノラマビデオ編集方法を実現する場合に実現されるステップについては、上記方法の実施例の記載を参照してもよいので、ここでは贅言しない。
第４の実施例
本発明の実施例では、コンピュータ可読記憶媒体を提供しており、このコンピュータ可読記憶媒体にはコンピュータプログラムが記憶されており、このコンピュータプログラムがプロセッサに実行されると、上述したパノラマビデオ編集方法の実施例におけるステップ、例えば図１に示すステップＳ１０１～Ｓ１０３を実現する。あるいは、このコンピュータプログラムがプロセッサに実行されると、上述した装置の実施例における各ユニットの機能、例えば、図２に示すユニット２１～２３の機能を実現する。
本発明の実施例では、パノラマカメラで撮影したパノラマビデオを取得した後、パノラマカメラの移動撮影時の進行方向の画角を記録し、取得したパノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、パノラマビデオフレームに顕著なオブジェクトを順次検出し、検出した顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した顕著なオブジェクトが位置している画角を取得し、進行方向の画角と顕著なオブジェクトが位置している画角とに基づいて、パノラマビデオを編集して、パノラマビデオに対応するオブジェクトビデオを生成することにより、パノラマビデオの自動編集が実現されるとともに、オブジェクトビデオにおけるトランジションの滑らかさ、およびコンテンツの有効性と面白さが保証される。
本発明の実施例におけるコンピュータ可読記憶媒体は、例えばＲＯＭ／ＲＡＭ、磁気ディスク、光ディスク、フラッシュメモリなどのようなコンピュータプログラムコードを保持可能な任意のエンティティまたは装置、記憶媒体を含んでも良い。
以上に述べたのは本発明の好ましい実施例に過ぎず、それによって本発明を限定するものではなく、本発明の精神と原則の範囲内でなされたいかなる修正、等価置換および改良などは、いずれも本発明の保護範囲に含まれるべきである。

Claims (12)

  1. パノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録するステップと；
    取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するステップと；
    前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するステップとを含む、ことを特徴とするパノラマビデオ編集方法。
  2. 前記パノラマカメラの移動撮影時の進行方向の画角を記録するステップは、
    元の球面ビデオである前記パノラマビデオに基づいて、前記パノラマカメラの移動撮影時の進行方向を取得し、前記進行方向の画角に対応するレンズ画像を取得することを含む、ことを特徴とする請求項１に記載のパノラマビデオ編集方法。
  3. 取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するステップは、
    前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出することと；
    現在検出されているパノラマビデオフレームから現在顕著なオブジェクトが検出された場合、予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに前記現在顕著なオブジェクトを順次追跡し、前記現在顕著なオブジェクトが位置している画角を取得することとを含む、ことを特徴とする請求項１に記載のパノラマビデオ編集方法。
  4. 前記現在顕著なオブジェクトが位置している画角を取得するステップの後に、
    前記現在顕著なオブジェクトの追跡停止イベントを検出し、前記現在顕著なオブジェクトの追跡停止イベントが検出された場合、前記パノラマビデオに対してフレーム抽出操作を行うステップに移行して顕著なオブジェクトを検出し続けることをさらに含む、ことを特徴とする請求項３に記載のパノラマビデオ編集方法。
  5. 前記パノラマビデオフレームに顕著なオブジェクトを検出するステップは、
    現在検出されているパノラマビデオフレームから予め設定されたオブジェクト種別が検出された場合、最も顕著な値が大きいオブジェクトを、前記現在検出されているパノラマビデオフレームの現在顕著なオブジェクトとすることを含む、ことを特徴とする請求項３に記載のパノラマビデオ編集方法。
  6. 予め設定されたオブジェクト追跡アルゴリズムによって後続のパノラマビデオフレームに前記現在顕著なオブジェクトを順次追跡し、前記現在顕著なオブジェクトが位置している画角を取得するステップは、
    前記現在検出されているパノラマビデオフレームにおける現在顕著なオブジェクトの追跡枠の中心座標を取得し、前記中心座標に基づいて、前記現在顕著なオブジェクトの球面視点座標を計算することと；
    前記球面視点座標に基づいて、、前記顕著なオブジェクトが位置している画角に対応するレンズ画像を取得することとを含む、ことを特徴とする請求項３に記載のパノラマビデオ編集方法。
  7. 前記追跡停止イベントは、前記現在顕著なオブジェクトが失ったことまたは前記追跡枠の面積が予め設定された面積より小さいことである、ことを特徴とする請求項６に記載のパノラマビデオ編集方法。
  8. 前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するステップは、
    前記パノラマビデオフレームをトラバースして、前記パノラマビデオフレームに顕著なオブジェクトが存在しない場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を設定することと；
    前記パノラマビデオフレームに顕著なオブジェクトが存在する場合、各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を確定してクリップし、前記レンズ画像の再生速度を設定することと；
    クリップされたレンズ画像と設定された対応する再生速度に基づいて、前記パノラマビデオに対応するオブジェクトビデオを生成することとを含む、ことを特徴とする請求項１に記載のパノラマビデオ編集方法。
  9. 各顕著なオブジェクトが追跡されたフレームの数に基づいて、パノラマビデオフレームにおける各顕著なオブジェクトが位置している画角のレンズ画像を特定してクリップし、前記レンズ画像の再生速度を設定するステップは、
    各顕著なオブジェクトが継続的に追跡されたフレームの数を判断し、前記フレームの数が設定閾値未満である場合、パノラマビデオフレームにおける進行方向の画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定することと；
    前記フレームの数が前記設定閾値より大きい場合、第１の期間では、パノラマビデオフレームにおける進行方向の画角から顕著なオブジェクトが位置している画角への遷移に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定し、第２の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角に対応するレンズ画像をクリップし、前記レンズ画像の再生速度をスロー再生に設定し、第３の期間では、パノラマビデオフレームにおける顕著なオブジェクトが位置している画角から進行方向の画角への遷移に対応するレンズ画像をクリップし、前記レンズ画像の再生速度を早送り再生に設定することとを含む、ことを特徴とする請求項８に記載のパノラマビデオ編集方法。
  10. パノラマカメラで撮影したパノラマビデオを取得し、前記パノラマカメラの移動撮影時の進行方向の画角を記録するための画角記録ユニットと；
    取得した前記パノラマビデオに対してフレーム抽出操作を行って対応するパノラマビデオフレームを得て、前記パノラマビデオフレームに顕著なオブジェクトを検出し、検出した前記顕著なオブジェクトを予め設定されたオブジェクト追跡アルゴリズムによって追跡し、追跡した前記顕著なオブジェクトが位置している画角を取得するための画角取得ユニットと；
    前記進行方向の画角と前記顕著なオブジェクトが位置している画角とに基づいて、前記パノラマビデオを編集して、前記パノラマビデオに対応するオブジェクトビデオを生成するためのビデオ生成ユニットと、
    を備えることを特徴とするパノラマビデオ編集装置。
  11. メモリと、プロセッサと、前記メモリに記憶され、前記プロセッサで動作可能なコンピュータプログラムとを備えるパノラマビデオ編集機器であって、前記プロセッサが前記コンピュータプログラムを実行する際に、請求項１～請求項８のいずれか一つに記載の方法のステップを実現する、ことを特徴とするパノラマビデオ編集機器。
  12. コンピュータプログラムが記憶されているコンピュータ可読記憶媒体であって、前記コンピュータプログラムがプロセッサに実行されると、請求項１～請求項８のいずれか一つに記載の方法のステップを実現する、ことを特徴とするコンピュータ可読記憶媒体。
JP2022541890A 2020-01-07 2021-01-07 パノラマビデオ編集方法、装置、機器及び記憶媒体 Active JP7492012B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010015747.X 2020-01-07
CN202010015747.XA CN111163267B (zh) 2020-01-07 2020-01-07 一种全景视频剪辑方法、装置、设备及存储介质
PCT/CN2021/070702 WO2021139731A1 (zh) 2020-01-07 2021-01-07 一种全景视频剪辑方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
JP2023509746A true JP2023509746A (ja) 2023-03-09
JP7492012B2 JP7492012B2 (ja) 2024-05-28

Family

ID=

Also Published As

Publication number Publication date
EP4090001A4 (en) 2023-05-17
EP4090001A1 (en) 2022-11-16
WO2021139731A1 (zh) 2021-07-15
CN111163267A (zh) 2020-05-15
US20230040548A1 (en) 2023-02-09
CN111163267B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
CN111163267B (zh) 一种全景视频剪辑方法、装置、设备及存储介质
US10721439B1 (en) Systems and methods for directing content generation using a first-person point-of-view device
US9813607B2 (en) Method and apparatus for image capture targeting
CN106375674B (zh) 寻找和使用与相邻静态图像相关的视频部分的方法和装置
US11017812B2 (en) Systems and methods for generating time lapse videos
US20170134714A1 (en) Device and method for creating videoclips from omnidirectional video
WO2019104569A1 (zh) 一种对焦方法、设备及可读存储介质
KR102004990B1 (ko) 영상 처리 장치 및 방법
US11818467B2 (en) Systems and methods for framing videos
US11622072B2 (en) Systems and methods for suggesting video framing
KR20140126936A (ko) 실시간 영상에 프라이버시 마스킹 툴을 제공하는 장치 및 방법
WO2019128400A1 (zh) 控制智能眼镜拍摄视角移动的方法
WO2022028407A1 (zh) 一种全景视频剪辑方法、装置、存储介质及设备
US11190670B2 (en) Method and a system for processing images based a tracked subject
JP7492012B2 (ja) パノラマビデオ編集方法、装置、機器及び記憶媒体
TWI709337B (zh) 攝錄系統
CN114727022B (zh) 在全向视频中的跟踪感兴趣对象

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240213

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20240328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240418

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240516