JPWO2017022641A1 - パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置 - Google Patents
パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置 Download PDFInfo
- Publication number
- JPWO2017022641A1 JPWO2017022641A1 JP2016575237A JP2016575237A JPWO2017022641A1 JP WO2017022641 A1 JPWO2017022641 A1 JP WO2017022641A1 JP 2016575237 A JP2016575237 A JP 2016575237A JP 2016575237 A JP2016575237 A JP 2016575237A JP WO2017022641 A1 JPWO2017022641 A1 JP WO2017022641A1
- Authority
- JP
- Japan
- Prior art keywords
- image data
- panoramic image
- playback
- panoramic
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
- G11B20/10—Digital recording or reproducing
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/93—Regeneration of the television signal or of selected parts thereof
- H04N5/935—Regeneration of digital synchronisation signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Security & Cryptography (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有することを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有することを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
前記生成された送信データを前記再生手段に送信する送信手段とを有することを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段とを有することを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段とを有することを特徴とする。
図1は全体として動画再生システム10を示しており、カメラセット1、編集装置2、サーバ3及び再生装置5を有している。本明細書では、1つのレンズに基づいて撮影された通常の動画像データをシングル画像データ、シングル画像データが組み合わされることにより、若しくは魚眼レンズなどを使用することにより、通常よりも画角が広い状態で生成された動画像データをパノラマ画像データと呼ぶ。パノラマ画像データは、そのまま表示すると人間の目には画角が大きすぎて不自然なため、人間の視野範囲を考慮した画角分だけが切り出されて表示されるのが一般的である。
図12〜17に示す第2の実施の形態においては、図1〜図11に示す第1の実施の形態と対応する箇所に100を足した符号を附して示し、同一部分についての説明を省略する。第2の実施の形態では、広い会場でより多くのカメラセットを使用する点と、ライブでパノラマ画像データが配信される点が第1の実施の形態と異なっている。
特徴A1:本発明の動画再生装置(再生装置5)又は動画再生システム(動画再生システム10)では、同時に撮影された複数のパノラマ画像データ(パノラマ画像データD)を所定の時間情報によって関連づけて記憶する記憶手段(記憶部52)と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置(表示部54)に表示させる再生制御手段(システムコントローラ51)と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段(システムコントローラ51)とを有することを特徴とする。
前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトを指定することにより実行されることを特徴とする。
前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトの座標情報(輪郭座標)を記憶しており、
前記切替制御手段は、
前記座標情報に基づいて、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが指定されたことを認識することを特徴とする。
前記再生制御手段は、
切替前の前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが映っている表示画像を、切替直後に前記表示装置に表示させることを特徴とする。
特徴A4に記載の発明であれば、切替直後の表示画像に、直前まで見ていた視点が映し出されるため、現在及び直前の位置関係を視聴ユーザに理解させやすくできると共に、パノラマ画像データの切替を一層楽しませることができる。
前記再生制御手段は、
切替前と同じ視点座標の表示画像を、切替直後に前記表示装置に表示させる
ことを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段(パケット生成部131B)と、
前記生成された送信データを前記再生手段に送信する送信手段(外部インターフェース133)と
を有することを特徴とする。
ことを特徴とする。
なお、この場合取得手段は、識別情報として、再生中のパノラマ画像データを表す情報に加えて、現在再生中のパノラマ画像データの視点座標など、表示画像の表示位置に関する情報を再生装置から取得する。そして、他のパノラマ画像データに関しては、当該表示位置の周囲のデータのみを送信する。例えば、予めパノラマ画像データを複数に分割しておき、視点座標を含む領域、さらには当該領域と隣接する領域のみのパノラマ画像データを送信することにより、生成するデータの種類を低減することができ、データ生成手段の処理負荷を軽減できる。
特徴A1に記載の動画再生装置と、
前記動画再生装置から前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
前記生成された送信データを前記再生手段に送信する送信手段とを有する動画送信装置とを有するようにした。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段(システムコントローラ151)と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段(システムコントローラ131)と
を有することを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段(システムコントローラ51)と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段(システムコントローラ51)と
を有することを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出ステップと、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御ステップとを有することを特徴とする。
次に、図18〜図26に示す第3の実施の形態について説明する。第3の実施の形態における動画再生システム210においては、同時に撮影された各パノラマ画像データDに対し、共通の指標に基づく基準指標座標を設定する点が、上述した第1の実施の形態と相違している。なお、第3の実施の形態では、第1の実施の形態と対応する箇所に200を付して示し、同一箇所についての説明を省略する。
URL2:http://www.slideshare.net/takao-y/20150619-49592895
ば図24に示すように、画像編集部221は、オブジェクトOJが共通画像領域として検出された場合、オブジェクトOJの中心を共通指標座標として、パノラマ画像データD1〜D3に紐付け、記憶部222に記憶する。
次に、第4の実施の形態について説明する。第4の実施の形態では、定点撮影を行う点及びステレオ録音を行う点が上述した第3の実施の形態と相違している。なお、第4の実施の形態では、第3の実施の形態と対応する箇所に100を付して示し、同一箇所についての説明を省略する。
以下、上記した実施形態から抽出される発明群の特徴について、必要に応じて課題及び効果等を示しつつ説明する。なお以下においては、理解の容易のため、上記各実施形態において対応する構成を括弧書き等で適宜示すが、この括弧書き等で示した具体的構成に限定されるものではない。また、各特徴に記載した用語の意味や例示等は、同一の文言にて記載した他の特徴に記載した用語の意味や例示として適用しても良い。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置(表示部54)に表示させる再生制御手段(システムコントローラ251)と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段(システムコントローラ251)と、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定させるための共通指標設定処理を実行する共通指標設定手段(画像編集部221A)とを有することを特徴とする。
ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させることを特徴とする。
前記共通指標は、
撮影時において取得された測定情報に基づいて生成された方角であることを特徴とする。
前記共通指標は、
前記複数のパノラマ画像データにおいて共通して撮影された風景やオブジェクトなどの被撮影対象を撮影した共通画像領域であることを特徴とする。
音声を出力する音声出力手段を有し、
前記記憶手段は、
2以上のチャンネルを有するマイクロフォンを用いてステレオ録音された立体音声を記憶し、
前記再生制御手段は、
前記ユーザの指示に応じた方角の音声を前記音声を前記音声出力手段に出力させることを特徴とする。
好ましくは、前記記憶手段は、4以上のチャンネルを有するマイクロフォンを用いて録音された立体音声を記憶する。
さらに好ましくは、前記再生制御手段は、4以上のチャンネルを有するマイクロフォンを用いて録音された音声を左右両耳に対応する2チャンネルの音声として出力する。
同時に撮影された複数のパノラマ画像データ(パノラマ画像データD)を記憶する記憶手段と、
前記複数のパノラマ画像データに対し、前記撮影された時間関係を示す時間情報を設定する時間情報設定手段とを有することを特徴とする。
前記複数のパノラマ画像データに共通する共通指標に基づいて上記視点座標を決定させるための共通指標設定処理を実行する共通指標設定手段
をさらに有することを特徴とする。
前記共通指標設定手段は、
前記共通指標に基づく共通指標座標を前記複数のパノラマ画像データに設定することにより、前記共通指標設定処理を実行する
ことを特徴とする。
前記共通指標は、
方角であり、
前記共通指標設定手段は、
前記複数のパノラマ画像データ間で前記方角がほぼ一致するように前記複数のパノラマ画像データを作り替えることにより、前記共通指標設定処理を実行する
ことを特徴とする。
前記共通指標は、
風景やオブジェクトなどの被撮影対象を表す共通画像領域であり、
前記共通指標設定手段は、
前記複数のパノラマ画像データ間で前記共通画像領域の位置がほぼ一致するように前記複数のパノラマ画像データを作り替えることにより、前記共通指標設定処理を実行する
ことを特徴とする。
前記共通指標設定手段は、
共通する画像領域が複数抽出された場合には、
人間の注目度の高い画像領域を優先的に前記共通画像領域として設定する
ことを特徴とする。
再生装置における再生制御手段は、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定することを特徴とする。
再生装置における再生制御手段は、
ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させることを特徴とする。
なお上述した第2の実施の形態において、追尾対処のアイドルを顔認証や動きベクトルで追尾するようにした場合について述べた。本発明はこれに限らず、例えば首掛けのネックレスやバンドなどのように、検出が容易な特殊なマークを追尾対象に身につけてもらい、当該マークを検出するようにしても良い。これにより、一段と確実に追尾対象を追尾することができる。
2、102 :編集装置
3、103 :サーバ
5、105 :再生装置
10、110 :動画再生システム
21 :システムコントローラ
22 :記憶部
24 :表示部
25 :操作入力部
31、131 :システムコントローラ
31A、131A :パケット生成部
32、132 :記憶部
33、133 :外部インターフェース
51、151 :システムコントローラ
52、152 :記憶部
53、153 :外部インターフェース
54、154 :表示部
55、155 :操作入力部
同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有し、
前記再生制御手段は、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。
該複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに中心座標を設定する設定手段を有することを特徴とする。
さらに本発明のパノラマ動画再生システムでは、同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データに対し、前記複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに中心座標を設定する設定手段と、
前記複数のパノラマ画像データ及び前記中心座標を送信する送信手段と、
送信された前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、前記前記中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置と
を有することを特徴とする請求項1に記載のパノラマ動画再生システム。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有し、
前記再生制御ステップでは、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有し、
前記再生制御ステップでは、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。
該複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに設定された前記中心座標を送信する送信手段を有することを特徴とする。
Claims (14)
- 同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段と
を有することを特徴とする動画再生装置。 - 前記ユーザの切替要求は、
前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトを指定することにより実行される
ことを特徴とする請求項1に記載の動画再生装置。 - 前記記憶手段は、
前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトの座標情報を記憶しており、
前記切替制御手段は、
前記座標情報に基づいて、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが指定されたことを認識する
ことを特徴とする請求項1又は2のいずれかに記載の動画再生装置。 - 前記再生制御手段は、
切替前の前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが映っている表示画像を、切替直後に前記表示装置に表示させる
ことを特徴とする請求項1〜3のいずれかに記載の動画再生装置。 - 前記再生制御手段は、
切替前と同じ視点座標の表示画像を、切替直後に前記表示装置に表示させる
ことを特徴とする請求項1〜3のいずれかに記載の動画再生装置。 - 前記再生制御手段は、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定する
を有することを特徴とする請求項1に記載のパノラマ動画再生装置。 - 前記再生制御手段は、
ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させる
ことを特徴とする請求項6に記載のパノラマ動画再生装置。 - 請求項1に記載の動画再生装置と、
前記動画再生装置から前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
前記生成された送信データを前記再生手段に送信する送信手段とを有する動画送信装置と
を有することを特徴とするパノラマ動画再生システム。 - 前記データ生成手段は、
前記他のパノラマ画像データのレートを、前記一のパノラマ画像データよりも低くする
ことを特徴とする請求項8に記載の動画再生システム。 - 前記データ生成手段は、
前記他のパノラマ画像データについては、一部のみを前記送信データとする
ことを特徴とする請求項9に記載の動画再生システム。 - 前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段と
を有することを特徴とする請求項1に記載の動画再生装置。 - 前記検出対象は、
予め設定されたオブジェクト又はイベントである
ことを特徴とする請求項11に記載の動画再生装置。 - 同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップと
を有することを特徴とする動画再生方法。 - 同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップと
を有することを特徴とする動画再生プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015152269 | 2015-07-31 | ||
JP2015152269 | 2015-07-31 | ||
PCT/JP2016/072228 WO2017022641A1 (ja) | 2015-07-31 | 2016-07-28 | 動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017022641A1 true JPWO2017022641A1 (ja) | 2017-08-03 |
JP6178524B2 JP6178524B2 (ja) | 2017-08-09 |
Family
ID=57943123
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016575237A Active JP6178524B2 (ja) | 2015-07-31 | 2016-07-28 | パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10686985B2 (ja) |
EP (1) | EP3331239A4 (ja) |
JP (1) | JP6178524B2 (ja) |
CN (1) | CN107852476B (ja) |
WO (1) | WO2017022641A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107147918A (zh) * | 2017-06-12 | 2017-09-08 | 北京佰才邦技术有限公司 | 一种数据处理方法、系统、设备和服务器 |
JP6953221B2 (ja) * | 2017-07-31 | 2021-10-27 | グリー株式会社 | 画像表示システム、画像表示プログラム、画像表示方法及びサーバ |
JP2019110421A (ja) * | 2017-12-18 | 2019-07-04 | トヨタ自動車株式会社 | 動画配信システム |
CN109379524A (zh) * | 2018-12-14 | 2019-02-22 | 上海杰图天下网络科技有限公司 | 基于工业相机和工业镜头的全景数据采集装置 |
US10963841B2 (en) | 2019-03-27 | 2021-03-30 | On Time Staffing Inc. | Employment candidate empathy scoring system |
US10728443B1 (en) | 2019-03-27 | 2020-07-28 | On Time Staffing Inc. | Automatic camera angle switching to create combined audiovisual file |
JP7335753B2 (ja) * | 2019-08-09 | 2023-08-30 | サンリツオートメイシヨン株式会社 | 物体追尾システム、物体追尾装置、物体追尾方法及びプログラム |
US11127232B2 (en) | 2019-11-26 | 2021-09-21 | On Time Staffing Inc. | Multi-camera, multi-sensor panel data extraction system and method |
US11023735B1 (en) | 2020-04-02 | 2021-06-01 | On Time Staffing, Inc. | Automatic versioning of video presentations |
US11144882B1 (en) | 2020-09-18 | 2021-10-12 | On Time Staffing Inc. | Systems and methods for evaluating actions over a computer network and establishing live network connections |
WO2022085775A1 (ja) * | 2020-10-23 | 2022-04-28 | ソニーグループ株式会社 | ユーザインタフェースシステム、ユーザインタフェース方法及び画像編集装置 |
US11727040B2 (en) | 2021-08-06 | 2023-08-15 | On Time Staffing, Inc. | Monitoring third-party forum contributions to improve searching through time-to-live data assignments |
US11423071B1 (en) | 2021-08-31 | 2022-08-23 | On Time Staffing, Inc. | Candidate data ranking method using previously selected candidate data |
WO2023176389A1 (ja) * | 2022-03-15 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び記録媒体 |
US11907652B2 (en) | 2022-06-02 | 2024-02-20 | On Time Staffing, Inc. | User interface and systems for document creation |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10191261A (ja) * | 1996-12-20 | 1998-07-21 | Nippon Telegr & Teleph Corp <Ntt> | 多視点映像再生方法 |
WO2012043357A1 (ja) * | 2010-10-01 | 2012-04-05 | ソニー株式会社 | コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム |
JP2012142860A (ja) * | 2011-01-05 | 2012-07-26 | Canon Inc | 任意視点映像処理装置及びその制御方法、及びプログラム |
JP2013183209A (ja) * | 2012-02-29 | 2013-09-12 | Nagoya Univ | 多視点映像ストリーム視聴システムおよび方法 |
JP2013250829A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
JP2013250470A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
JP2014165763A (ja) * | 2013-02-26 | 2014-09-08 | Ricoh Co Ltd | 編集装置、編集方法、及び編集プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7149549B1 (en) * | 2000-10-26 | 2006-12-12 | Ortiz Luis M | Providing multiple perspectives for a venue activity through an electronic hand held device |
US7580952B2 (en) * | 2005-02-28 | 2009-08-25 | Microsoft Corporation | Automatic digital image grouping using criteria based on image metadata and spatial information |
JP4232774B2 (ja) * | 2005-11-02 | 2009-03-04 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4818178B2 (ja) * | 2007-03-27 | 2011-11-16 | キヤノン株式会社 | ネットワーク制御装置、ネットワーク制御方法、プログラム |
US9106804B2 (en) * | 2007-09-28 | 2015-08-11 | Gracenote, Inc. | Synthesizing a presentation of a multimedia event |
JP5223318B2 (ja) * | 2007-12-07 | 2013-06-26 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US8447136B2 (en) * | 2010-01-12 | 2013-05-21 | Microsoft Corporation | Viewing media in the context of street-level images |
US20120105577A1 (en) * | 2010-11-01 | 2012-05-03 | Olympus Imaging Corp. | Panoramic image generation device and panoramic image generation method |
JP5735330B2 (ja) * | 2011-04-08 | 2015-06-17 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置および画像処理方法 |
TR201819457T4 (tr) * | 2011-06-22 | 2019-01-21 | Koninklijke Philips Nv | Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz. |
US8805158B2 (en) | 2012-02-08 | 2014-08-12 | Nokia Corporation | Video viewing angle selection |
CN102729902B (zh) * | 2012-07-19 | 2014-10-15 | 西北工业大学 | 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法 |
CN103959802B (zh) * | 2012-08-10 | 2018-01-26 | 松下电器(美国)知识产权公司 | 影像提供方法、发送装置以及接收装置 |
US10365797B2 (en) * | 2013-03-15 | 2019-07-30 | Ambient Consulting, LLC | Group membership content presentation and augmentation system and method |
-
2016
- 2016-07-28 EP EP16832920.9A patent/EP3331239A4/en not_active Withdrawn
- 2016-07-28 CN CN201680034701.4A patent/CN107852476B/zh not_active Expired - Fee Related
- 2016-07-28 JP JP2016575237A patent/JP6178524B2/ja active Active
- 2016-07-28 WO PCT/JP2016/072228 patent/WO2017022641A1/ja active Application Filing
- 2016-07-28 US US15/737,720 patent/US10686985B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10191261A (ja) * | 1996-12-20 | 1998-07-21 | Nippon Telegr & Teleph Corp <Ntt> | 多視点映像再生方法 |
WO2012043357A1 (ja) * | 2010-10-01 | 2012-04-05 | ソニー株式会社 | コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム |
JP2012142860A (ja) * | 2011-01-05 | 2012-07-26 | Canon Inc | 任意視点映像処理装置及びその制御方法、及びプログラム |
JP2013183209A (ja) * | 2012-02-29 | 2013-09-12 | Nagoya Univ | 多視点映像ストリーム視聴システムおよび方法 |
JP2013250829A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法 |
JP2013250470A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
JP2014165763A (ja) * | 2013-02-26 | 2014-09-08 | Ricoh Co Ltd | 編集装置、編集方法、及び編集プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2017022641A1 (ja) | 2017-02-09 |
US10686985B2 (en) | 2020-06-16 |
US20180191955A1 (en) | 2018-07-05 |
EP3331239A4 (en) | 2018-08-08 |
JP6178524B2 (ja) | 2017-08-09 |
CN107852476B (zh) | 2020-11-20 |
EP3331239A1 (en) | 2018-06-06 |
CN107852476A (zh) | 2018-03-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6178524B2 (ja) | パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置 | |
JP6558587B2 (ja) | 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム | |
US10805592B2 (en) | Apparatus and method for gaze tracking | |
JP6725038B2 (ja) | 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム | |
US10805530B2 (en) | Image processing for 360-degree camera | |
US10277813B1 (en) | Remote immersive user experience from panoramic video | |
US9751015B2 (en) | Augmented reality videogame broadcast programming | |
JP5594850B2 (ja) | 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体 | |
US20210092466A1 (en) | Information processing apparatus, information processing method, and program | |
KR20170015938A (ko) | 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치 | |
JP2017518663A (ja) | 立体ビューイング | |
CN112262583A (zh) | 360度多视口系统 | |
CA2867127A1 (en) | System and method for video recording and webcasting sporting events | |
JP6523493B1 (ja) | プログラム、情報処理装置、及び情報処理方法 | |
JP2020086983A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP6292658B2 (ja) | 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム | |
WO2018070092A1 (ja) | 情報提供装置と情報提供方法および情報再生装置と情報再生方法 | |
WO2020059327A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
WO2021246183A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
WO2016167160A1 (ja) | データ生成装置および再生装置 | |
WO2018004933A1 (en) | Apparatus and method for gaze tracking | |
KR20180021623A (ko) | Vr 콘텐츠 제공 시스템 및 방법 | |
JP2014240961A (ja) | 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体 | |
US20130266285A1 (en) | Video playback system for enhancing drama effect and related computer program product | |
JP2016134742A (ja) | 画像再生方法、画像再生装置、及び画像再生プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20170209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170214 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161228 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20161228 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170525 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6178524 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |