JPWO2017022641A1 - パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置 - Google Patents

パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置 Download PDF

Info

Publication number
JPWO2017022641A1
JPWO2017022641A1 JP2016575237A JP2016575237A JPWO2017022641A1 JP WO2017022641 A1 JPWO2017022641 A1 JP WO2017022641A1 JP 2016575237 A JP2016575237 A JP 2016575237A JP 2016575237 A JP2016575237 A JP 2016575237A JP WO2017022641 A1 JPWO2017022641 A1 JP WO2017022641A1
Authority
JP
Japan
Prior art keywords
image data
panoramic image
playback
panoramic
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016575237A
Other languages
English (en)
Other versions
JP6178524B2 (ja
Inventor
崇行 青木
崇行 青木
和隆 内田
和隆 内田
駿 福本
駿 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KADINCHE CORPORATION
Original Assignee
KADINCHE CORPORATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KADINCHE CORPORATION filed Critical KADINCHE CORPORATION
Publication of JPWO2017022641A1 publication Critical patent/JPWO2017022641A1/ja
Application granted granted Critical
Publication of JP6178524B2 publication Critical patent/JP6178524B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/21805Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/816Monomedia components thereof involving special video data, e.g 3D video
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • H04N5/935Regeneration of digital synchronisation signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】 パノラマ画像の娯楽性を向上させる。【解決手段】本発明は、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶手段と、前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有するようにした。【選択図】 図1

Description

本発明は、動画再生装置、動画再生方法及び動画再生プログラムに関し、特に広い画角の画像を再生する際に好適なものである。
従来、画角の広い画像はパノラマ画像と呼ばれており、監視カメラやテレビ会議の用途において、広く使用されている。このパノラマ画像の中には、全天球や半天球と呼ばれるような360°の画角で撮影されたものがある。
このような超広画角のパノラマ画像では、人間の目に自然に感じるように一度に表示するのは困難であり、撮影されたパノラマ画像から、ユーザの視点に応じた箇所の画像を切り出して表示装置に表示させるようになされている。
特開2014−165763号
ところで、かかるパノラマ画像では、一段と娯楽性を高めたいという要望があった。
本発明はこのような問題を解決するためになされたもので、その目的は、娯楽性を高めることができる動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置を提供するものである。
かかる課題を解決するため、本発明の動画再生装置は、
同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有することを特徴とする。
これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。
また、本発明の動画再生システムは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有することを特徴とする。
これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。
さらに、本発明の動画再生方法は、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。
また、本発明の動画再生プログラムは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。
さらに、本発明の動画送信装置は、同時に撮影された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生する再生手段から、前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
前記生成された送信データを前記再生手段に送信する送信手段とを有することを特徴とする。
これにより、再生装置に対して送信するデータの総量を低減でき、複数のパノラマ画像データをスムーズに切り替えさせることができ、パノラマ画像データの娯楽性を高めることができる。
また、本発明の動画再生システムは、同時に撮影された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段とを有することを特徴とする。
これにより、視聴ユーザが何ら操作しなくても自動的にパノラマ画像データを切り替えることができ、パノラマ画像データの娯楽性を高めることができる。
さらに、本発明の動画再生装置は、同時に撮影された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段とを有することを特徴とする。
これにより、視聴ユーザが何ら操作しなくても自動的にパノラマ画像データを切り替えることができ、パノラマ画像データの娯楽性を高めることができる。
本発明は、パノラマ画像データの娯楽性を高めることができる動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置を提供できる。
第1の実施の形態における動画再生システムシステムの構成を示す略線図である。 第1の実施の形態における撮影の説明に供する略線図である。 第1の実施の形態における編集装置の構成を示すブロック図である。 オブジェクト指定画面を示す略線図である。 追尾対象指定画面を示す略線図である。 第1の実施の形態におけるサーバの構成を示すブロック図である。 第1の実施の形態における再生装置の構成を示すブロック図である。 パノラマ画像データの切替(1)の説明に供する略線図である。 パノラマ画像データの切替(2)の説明に供する略線図である。 パノラマ画像データの切替(3)の説明に供する略線図である。 付加情報の表示の説明に供する略線図である。 第2の実施の形態における動画再生システムシステムの構成を示す略線図である。 第2の実施の形態における撮影の説明に供する略線図である。 第2の実施の形態におけるサーバの構成を示すブロック図である。 第2の実施の形態におけるパケットデータの生成(1)の説明に供する略線図である。 第2実施の形態による再生装置の構成を示すブロック図である。 第2の実施の形態におけるパケットデータの生成(2)の説明に供する略線図である。 パノラマ画像データの切替(1)の説明に供する略線図である。 パノラマ画像データの切替(2)の説明に供する略線図である。 パノラマ画像データの切替(3)の説明に供する略線図である。 付加情報の表示の説明に供する略線図である。 第2の実施の形態における動画再生システムシステムの構成を示す略線図である。 第2の実施の形態における撮影の説明に供する略線図である。 第2の実施の形態におけるサーバの構成を示すブロック図である。 第2の実施の形態におけるパケットデータの生成(1)の説明に供する略線図である。 第2実施の形態による再生装置の構成を示すブロック図である。
次に本発明を実施するための形態について図面を参照して説明する。
<第1の実施の形態>
図1は全体として動画再生システム10を示しており、カメラセット1、編集装置2、サーバ3及び再生装置5を有している。本明細書では、1つのレンズに基づいて撮影された通常の動画像データをシングル画像データ、シングル画像データが組み合わされることにより、若しくは魚眼レンズなどを使用することにより、通常よりも画角が広い状態で生成された動画像データをパノラマ画像データと呼ぶ。パノラマ画像データは、そのまま表示すると人間の目には画角が大きすぎて不自然なため、人間の視野範囲を考慮した画角分だけが切り出されて表示されるのが一般的である。
カメラセット1によって撮影されたシングル画像データは、編集装置2によって編集処理が実行されてパノラマ画像データとなり、同時に撮影されたパノラマ画像データ同士が関連付けられた状態で、サーバ3に記憶される。なお、編集装置2がサーバを兼ねることもできる。
サーバ3及び再生装置5は、無線または有線でインターネットなどのネットワークNTに接続されている。サーバ3に記憶されたパノラマ画像データは、ネットワークNTを介して配信され、再生装置5(5A〜5D)によって再生される。
図2に示すように、本実施の形態では、複数のカメラセット1を用いて撮影が行われる。カメラセット1の数に制限はないが、本実施の形態では、3つのカメラセット1A〜1Cが3台の自動車に搭載されてそれぞれ撮影が行われている場合について説明する。
カメラセット1は、例えば複数のカメラや複数のレンズが組み合わされることにより、1つのカメラセット1で360°の画角で動画撮影が可能な全天球又は半天球のカメラセットである。ここでは、一例として6つのカメラが組み合わされたカメラセット1について説明する。
各カメラは、それぞれに内部時計が内蔵されており、この内蔵時計はカメラセット1内及びカメラセット1間において予め同期されている。この時計の同期は、例えば電波時計を用いことにより実行される。各カメラは、動画像データに対し、時間情報を埋め込むと共に、適宜エンコード処理を実施して動画像データを所定の方式で圧縮し、カメラ内に記憶する。
各カメラには、それぞれにおいて撮影されたシングル画像データが記憶されている。これらの動画像データは、有線又は無線によって編集装置2に転送されて記憶される。
図3に示すように、編集装置2は、コンピュータ構成でなり、図示しないCPU(Central Processing Unit )、ROM(Read Only Memory)及びRAM(Random Access Memory)から構成されるシステムコントローラ21が編集装置2の全体を統括的に制御するようになされている。システムコントローラ21は、フラッシュメモリ、ROM又はハードディスクドライブ等の記憶部22に格納されている基本プログラムや編集プログラム、補助情報設定プログラム等をRAMに展開することによって、これらのプログラムに基づいて各種処理や後述する編集処理を実行するようになされている。
編集装置2のシステムコントローラ21は、編集処理を実行する旨の編集ユーザからの要求が操作入力部25を介して供給されると、編集処理を開始する。編集装置2は、各カメラから有線または無線によって接続されることにより供給された動画像データ及び装置ID(identification)を、記憶部22の画像記憶部22Aに記憶している。なお以下、各カメラによって撮影された動画像データをシングル画像データと呼ぶ。
システムコントローラ21の画像編集部21Aは、シングル画像データ及び装置IDから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット1ごとにシングル画像データを組み合わせ、全天球のパノラマ画像データDを合成する。なお、カメラセット1ごとの装置IDは、予め編集者によって登録されている。
カメラセット1によって撮影された6つのシングル画像データは、撮影箇所を中心に球状に撮影されたような画像となるが、例えばメルカトル図法や正距方位図法などの図法を応用して展開されて平面画像として記憶部22の画像記憶部22Aに記憶される。この結果、カメラセット1A〜1Cごとに、それぞれパノラマ画像データDa〜Dcが生成される。なお、合成されたパノラマ画像データDa〜Dc(図ではP画像Da〜Dcと記載)は、エンコードした状態で画像記憶部22Aに記憶される。
編集装置2は、このパノラマ画像データDa〜Dcを紐付けすると共に、パノラマ画像データDa〜Dc間の切り替えやオブジェクトの追尾を容易にする補助情報設定処理を実行する。この補助情報設定処理は、画像記憶部22Aに記憶されたパノラマ画像データDa〜Dcを適宜デコードすることにより実行される。
システムコントローラ21の補助情報設定部21Bは、操作入力部25に対する編集ユーザの操作に応じて操作入力部25から操作要求信号が供給されると、補助情報設定プログラムに従って補助情報設定処理を実行し、設定された補助情報を記憶部22の補助情報記憶部22Bに登録する。なお、ここでは、パノラマ画像データDcについて説明するが、パノラマ画像データDa及びDbについても同様に処理が行われる。
また、断続的に撮影が行われた場合には、連続して撮影されたパノラマ画像データDcごとに補助情報設定処理が実行される。この補助情報設定処理は、追尾対象となるオブジェクトごとに実行される。
図4に示すように、補助情報設定部21Bは、オブジェクト指定画面を表示し、オブジェクトの設定を編集ユーザに実行させる。例えば自動車8Cから自動車8Aを撮影したパノラマ画像データにおいて、一枚の画像を表示すると共に、オブジェクトの輪郭を複数の点からなる輪郭座標として編集ユーザに指定させる。
さらに、補助情報設定部21Bは、表示部24への表示により、編集ユーザにオブジェクトの名称及びオブジェクトに関する付加情報(例えば搭乗者や自動車の情報など)を入力させ、補助情報として補助情報記憶部22Bに登録する。
補助情報設定部21Bは、各画像から動きベクトル及び輪郭抽出を用いて輪郭座標を決定し、補助情報として補助情報記憶部22Bに記憶する。なお、輪郭座標の抽出は、必ずしもすべての画像について行う必要はなく、例えば1/6秒に1枚(すなわち1秒に6枚程度)の間隔で行えば良い。
また、補助情報設定部21Bは、動きベクトルによって算出された輪郭座標と輪郭抽出によって算出された輪郭座標が大きく相違する場合には、自動車8Aが撮影された画像に対して、動きベクトル及び輪郭抽出によって算出した輪郭座標をそれぞれ重畳した2つの画像を表示し、編集ユーザに一の画像を選択させる。
補助情報設定部21Bは、選択された画像で使用されていた手法に基づく輪郭座標を優先して使用する。このように、複数の手法でオブジェクトの輪郭座標を抽出すると共に、複数の輪郭座標の相違が大きくなった場合には、編集ユーザにいずれか一つを選択させることにより、輪郭座標の信頼性を高めることができる。
特に、撮影時の自動車同士の位置関係が変わったことによりパノラマ画像データDc中における自動車8Aの側面が変化した場合であっても、正しい輪郭座標を設定することができ、有効である。
補助情報設定部21Bは、付加情報及び時間情報に関連付けた状態で、補助情報として輪郭座標を補助情報記憶部22B登録する。また、補助情報設定部21Bは、優先的に再生される一のパノラマ画像データD(以下、これを優先再生画像データと呼ぶ)を編集ユーザに選択させる補助情報として補助情報記憶部22B登録する。
このように、編集装置2のシステムコントローラ21は、パノラマ画像データDa〜Dcに対して、予め補助情報を設定しておく。そしてシステムコントローラ21は、編集ユーザの要求に応じて、パノラマ画像データDa〜Dc及び補助情報をサーバ3の記憶部(図示せず)に登録する。サーバ3は、再生装置5の要求に応じてダウンロード処理を実行する。同時に再生装置5では、再生処理が実行される。
図5に示すように、サーバ3は、コンピュータ構成でなり、図示しないCPU(Central Processing Unit )、ROM(Read Only Memory)及びRAM(Random Access Memory)から構成されるシステムコントローラ31がサーバ3の全体を統括的に制御するようになされている。システムコントローラ31は、フラッシュメモリ、ROM又はハードディスクドライブ等の記憶部32に格納されている基本プログラムやストリーミング配信プログラム等をRAMに展開することによって、これらのプログラムに基づいて各種処理や後述するダウンロード処理を実行するようになされている。
図6に示すように、再生装置5(5A〜5D)は、コンピュータ構成でなり、図示しないCPU(Central Processing Unit )、ROM(Read Only Memory)及びRAM(Random Access Memory)から構成されるシステムコントローラ51が再生装置5の全体を統括的に制御するようになされている。システムコントローラ51は、フラッシュメモリ、ROM又はハードディスクドライブ等の記憶部52に格納されている基本プログラムや再生プログラム等をRAMに展開することによって、これらのプログラムに基づいて各種処理や後述する再生処理を実行するようになされている。再生装置5としては、デスクトップパソコンやノートパソコンの他、タブレット端末及びスマートフォン端末など、パソコン機能を搭載した各種の端末を使用することができる。操作入力部55としては、マウスやキーボードの他にタッチパネルなどを使用することができる。
サーバ3は、記憶部32の画像記憶部32Aにおいて、上述したパノラマ画像データDa〜Dc及び補助情報を一つの画像グループPDGとして、複数の画像グループPDG(PDGa、PDGα、PDGw)を記憶している。さらに、記憶部32のPF(プラットフォーム)情報記憶部には、パノラマ画像が再生されるプラットフォームのウェブページのデータが記憶されている。
再生装置5を保有する視聴ユーザは、ネットワークNTを介してプラットフォームのウェブページにアクセスすると、サーバ3からプラットフォームのウェブページのデータが供給される。このプラットフォームにおける所定のウェブページには、画像グループPDGごとに、パノラマ画像データの一覧が表示される。このパノラマ画像データの一覧は、例えば画像グループPDGにおけるパノラマ画像データのうち、予め編集ユーザによって選択された代表的な1枚の画像が表示される。
再生装置5の視聴ユーザが、例えば表示された画像をクリックすることにより、視聴したい画像グループPDGを選択すると、パノラマ画像データDの再生が開始される。以下、一例として画像データを一時的にダウンロードしながら再生する、いわゆるプログレッシブダウンロードによってダウンロードが実行される場合について説明する。
具体的に、サーバ3はダウンロード処理を実行する一方、再生装置5は再生処理を実行する。この再生処理において、再生装置5は、パノラマ画像データDのうち、表示される画像のサイズに応じた領域のみを切り出して画像データを生成する。以下、このときの表示される画像の中心を視点座標と呼ぶ。
そして再生装置5は、視聴ユーザの操作入力部55に対する操作に応じて、視点座標を移動させたり、表示するパノラマ画像データDを切り替えることにより、視聴ユーザがあたかも撮影現場に存在するかのような体感を経験させることができるようになされている。
サーバ3のシステムコントローラ31は、選択された画像グループPDGに属するパノラマ画像データD及び補助情報を再生装置5に供給する。以下、一例として、画像グループPDGaがダウンロードされる場合について説明する。
システムコントローラ31のパケット生成部31Aは、画像グループPDGaに属するパノラマ画像データDa〜Dc及び補助情報を時系列ごとにパケット化してパケットデータを生成すると、外部インターフェース33を介してパケットデータを再生装置5に供給する。
再生装置5のシステムコントローラ51は、外部インターフェース53を介してパケットデータが供給されると、記憶部52に記憶すると共に、通常モードにおいて再生処理を開始する。
具体的に、システムコントローラ51は、画像グループPDGaに属するパノラマ画像データDa〜Dcのすべてについてのデコード処理を行うと共に、補助情報において指定されている優先再生画像データを表示対象とし、当該優先再生画像データの中心座標を視点座標とした画像データを生成し、表示部54に表示させる。
視聴ユーザの操作入力部55に対する操作入力により、視点を右方向にずらすよう要求されると、システムコントローラ51は、優先再生画像データの中心座標から操作入力に応じた座標だけ右に移動した視点座標を中心として表示画像データを生成し、表示部54に表示させる。
例えば、図1のように3台の自動車8A〜8Cが併走している場合において、優先再生画像データがパノラマ画像データDcだった(すなわち自動車8Cから撮影された画像であった)場合、視点を右に移動させることにより、図7に示すように、自動車8Aを後ろ斜め左方向から撮影した表示画像が表示される。なお、左右のカーソルボタン93を操作することにより視点座標が移動する。再生装置5がタッチパネルを有する場合には、スライド動作などによって視点座標を移動させることが可能である。
上述したように、補助情報には、オブジェクトの輪郭座標が登録されている。システムコントローラ51は、この輪郭座標を用い、オブジェクトを追尾対象として追尾処理を実行することができる。
例えば、画面上に表示された設定ボタン(図示せず)をクリックすることにより、追尾設定を行う旨の要求信号が供給されると、図8に示すように、システムコントローラ51は、追尾指定画面を表示する。この追尾指定画面では、通常の再生時と同様、表示画像データが表示されると共に、追尾対象指定ボタン95と、キャンセルボタン96とが表示される。この状態において、輪郭座標が登録されているオブジェクト上に視聴ユーザがカーソル99を載せると、システムコントローラ51は、オブジェクトの部分の色を変色させて表示する。なお、オブジェクトか否かの認識は、補助情報における輪郭座標から判断する。
ここで視聴ユーザが決定ボタン(図示せず)をクリックすることにより、追尾対象を決定する旨の要求信号が供給されると、システムコントローラ51は、追尾モードに遷移し、自動車8Cを追尾対象に設定する。
そしてシステムコントローラ51は、輪郭座標の中心点を中心として画像データを生成し、表示部54に表示させる。システムコントローラ51は、追尾設定が解除されるまでの間に亘って、自動車8Cの輪郭座標の中心点を中心として表示画像データを生成し、表示部54に表示させる。
この結果、図9に示すように、表示部54には、パノラマ画像データDcにおいて、自動車8Aが中心となった表示画像が表示される。
また、視聴ユーザが自動車8Aをクリックすると、自動車8Aから撮影したパノラマ画像データDaへの切替が実行される。
システムコントローラ51は、通常モードにおいて、自動車8Aがクリックされたことを認識すると、表示対象をパノラマ画像データDaに変更すると共に、切替前の表示対象であったパノラマ画像データDcが撮影されていた自動車8Cに視点座標を設定し、表示画像データを生成する。
これにより、視聴ユーザは、切替前の自分の視点を認識することができ、ああ、あそこにいたんだというように、切替前後において視聴ユーザがあたかもジャンプしたかのような感覚を再認識することができる。
視聴ユーザが視点座標を左方向へ移動させると、図10に示すように、自動車8Cが表示される。そして図11に示すように、視聴ユーザがカーソル99を自動車8C上に載せると、システムコントローラ51は、自動車8Cに関する補助情報における付加情報を読み出し、画像に表示する。
具体的に、システムコントローラ51は、カーソル99の位置を監視し、カーソル99の先端部の座標が輪郭座標の内部に入った場合に、画像記憶部32Aから補助情報における付加情報を読み出すと共に、付加情報を重畳して表示画像データを生成する。
これにより、視聴ユーザは、自動車の車種や撮影時間、走行距離やエピソードなど、オブジェクトにまつわる情報を取得することができる。
このように、複数のパノラマ画像データDを関連付け、画像グループPDGとして取り扱うと共に、所定の操作に応じてパノラマ画像データDを切り替えることにより、同時に撮影された複数のパノラマ画像データDを自在に視聴できるため、パノラマ画像データDとしての娯楽性を高めることができる。
また、予め設定されたオブジェクトを指定することにより、指定されたオブジェクトから撮影されたパノラマ画像データDへ表示画像を切り替えるようにした。これにより、視聴ユーザに撮影ポイント間をワープしたかのような体感をさせることができ、視聴ユーザの楽しみを増大させることができる。
<第2の実施の形態>
図12〜17に示す第2の実施の形態においては、図1〜図11に示す第1の実施の形態と対応する箇所に100を足した符号を附して示し、同一部分についての説明を省略する。第2の実施の形態では、広い会場でより多くのカメラセットを使用する点と、ライブでパノラマ画像データが配信される点が第1の実施の形態と異なっている。
図12に示すように、第2の実施の形態では、7つのカメラセット101(101A〜101G)によって撮影されたサーバ103に送信され、編集処理されると共に、サーバ103からそのままネットワークNTを介してストリーミング配信される。
従って、図14及び図15に示すように、サーバ103のシステムコントローラ131は、シングル画像データが供給されると、画像編集部131Aによってシングル画像データを組み合わせ、パノラマ画像データD(Da〜Dg)を生成する。
ところで、パノラマ画像データDは、元々6枚のシングル画像データが組み合わされたものであり、平面画像であるものの、画角が広い分、そのデータ量は通常の画像データよりも大きくなる。
サーバ103は、このようなデータ量の大きいパノラマ画像データDa〜Dgのすべてをそのまま配信するのでは、通信負荷が大きくなってしまう。そこで、サーバ103は、各モードに応じた組み合わせのパケットを生成し、再生装置105へ配信するようになされている。
サーバ103から供給されるパケットPKは、再生装置105のシステムコントローラ151内のRAMに一時記憶されて再生に使用された後、記憶部152に記憶されることなく消去される。
一例として、図13に示すように、コンサート会場で撮影が行われると共に、撮影された画像がライブで配信される場合について説明する。
本実施の形態では、各視聴ユーザが自分の視聴したいパノラマ画像データD及び視点座標を自身で選択するマニュアルモード、パノラマ画像データDは自身で選択するものの、追尾機能を用いて視点座標を設定するセミマニュアルモード、パノラマ画像データD及び視点座標を自動選択するオートモードの3種類を有している。
視聴ユーザは、再生装置105によっていずれのモードで視聴を行うかを選択して設定する。サーバ103は、設定されたモードに対応するパケットを再生装置105に送信する。
まず、マニュアルモードについて説明する。
マニュアルモードでは、ユーザ視聴者が自身で何を見るのかを選択できるモードである。表示画像データの脇に、カメラの配置を示す小画面又はサムネイル画面が表示されており、カメラをクリックすると、対応するカメラで撮影されたパノラマ画像データDを視聴することができると共に、視点座標も自身で設定する。
このカメラの配置を示す小画面又はサムネイル画面には、カメラセットを模してカメラの図が記載されている。このカメラの図が指す方向は、パノラマ画像データDが切り替えられた直後の視点座標の方向を示している。この画面において、視点座標の方向と図上のカメラの方向とを対応付け、視点座標の移動に伴って図上のカメラの方向を変化させて表示することも可能である。これにより、視聴ユーザが現在どの方向を向いているかをわかりやすくできる。
1つの場所で360度周りを見渡せるので、視聴ユーザはあたかもコンサートに参加しているかのような体感が得られると共に、状況に応じてステージ近くのカメラで撮影されたパノラマ画像データDを視聴することもできる。
このマニュアルモードでは、いつ視聴ユーザがカメラを切り替えて視聴するパノラマ画像データDを変更するか不明である。通常、デコードにはわずかであるが時間を要するため、視聴ユーザが切替を要求してから対応するパノラマ画像データDを供給すると、タイムラグが発生してしまう。一方、すべてのカメラに対応するパノラマ画像データDを供給するのでは、通信負荷が大きくなってしまう。
そこで、本実施の形態のサーバ103では、現在視聴中のパノラマ画像データDを再生用のレートで供給すると共に、視聴していないパノラマ画像データDのレートを低下させた(例えば1/10〜1/3程度に低下)低レートパノラマ画像データDl(Dla〜Dlg)を同時に供給するようにした。
再生装置105は、現在再生中のパノラマ画像データDについての再生識別情報をサーバ103に対して常に送信することにより、当該再生識別情報が示すパノラマ画像データDを中心としたパケットPKの供給をサーバ103に対して要求する。
図15に示すように、システムコントローラ131のパケット生成部131Bは、パノラマ画像データDaと、低レートパノラマ画像データ(図ではLP画像と記載)Dlb〜Dlgを組み合わせ、パケットPK1を生成する。このパケットPK1は、現在、パノラマ画像データDaを再生している再生装置105に対して供給される。
同様に、パケット生成部131Bは、パノラマ画像データDbと、低レートパノラマ画像データ(図ではLP画像と記載)Dla、Dlc〜Dlgを組み合わせ、パケットPK2を生成する。このパケットPK2は、現在、パノラマ画像データDbを再生している再生装置105に対して供給される。
以下、パケット生成部131Bは、同様にしてパケットPK3〜PK7を生成する。そしてシステムコントローラ131は、再生装置105の再生状況に応じたパケットPKを供給する。
再生装置105は、視聴ユーザがカメラを切り替えた場合、低レートパノラマ画像データDlに基づく画像を表示すると共に、現在再生中のパノラマ画像データDに対応するパケットPKの供給をサーバ103に要求する。
サーバ103は、要求信号が供給されると、再生装置105に対して供給するパケットPKを即座に変更し、現在再生中のカメラに対応するパケットPKを供給する。
これにより、サーバ103は、供給するデータ量が大きいことによって生じるトラブルを未然に回避すると共に、視聴ユーザに遅延なく切替後のパノラマ画像データDに基づく画像を表示させることができる。
このように、マニュアルモードでは、再生中のパノラマ画像データDのみ再生用のレートとし、非再生中のパノラマ画像データについてはレートを低下させた状態で再生装置105に供給するようにした。
次に、セミマニュアルモードについて説明する。セミマニュアルモードでは、カメラ(パノラマ画像データD)については、視聴ユーザが自身で設定するものの、視点座標については自動で変化するモードである。
視聴ユーザは、再生装置105を介して、追尾対象を設定する。この追尾対象の設定は、サーバ103ではなく、再生装置105のシステムコントローラ151において行われる。パケットPKは、マニュアルモードと同様、視聴ユーザが設定したカメラに対応するパノラマ画像データD及び低レートパノラマ画像データDlが組み合わされて供給される。
システムコントローラ151の追尾部151Aは、パノラマ画像データDをデコードすると共に平面画像または3Dポリゴンを用いた顔認証や動きベクトルなどを用いて追尾対象を検出する。そしてシステムコントローラ151は、検出された追尾対象の中心近傍を視点座標とするように表示画像データを生成する。
このように、固定されたカメラからのパノラマ画像データDを用いつつ追尾対象を自動的に追尾することにより、コンサートの体感をそのままに体験しつつ、追尾対象を追いかける操作を省略することができ、表示画像に集中させて視聴ユーザにコンサートを楽しませることができる。
次に、オートモードについて説明する。オートモードでは、視聴ユーザの追尾対象の設定に応じて、サーバ103が適したパノラマ画像データD及び視点座標の情報を表す追尾情報をパケットPKとして供給するモードである。このオートモードにおいて、視聴ユーザは、視点座標の移動やズームなどの処理はできるものの、カメラの切替を行うことができない。もちろん、マニュアルモード又はセミマニュアルモードへの切替を実行すれば、カメラを切り替えることは可能である。
具体的に、視聴ユーザは、再生装置105を介して、追尾対象を設定する。この追尾対象の設定は、サーバ103におけるシステムコントローラ131において行われる。ここでは、一例として、追尾対象を一人のアイドルに設定した場合について説明する。
図17に示すように、システムコントローラ131の追尾部131Cは、パノラマ画像データDから追尾対象を検出すると共に、追尾対象の情報を追尾情報としてパケット生成部131Bに供給する。
パケット生成部131Bは、追尾対象の領域面積や、動きの大きさ、顔の大きさ、明るさなどから、一のパノラマ画像データDを選択すると共に、当該選択されたパノラマ画像データDにおける追尾対象の座標情報を追尾情報としてパケットPKを生成する。パケットPKの途中で選択されたパノラマ画像データDが切り替わった場合には、2つ(もしくはそれ以上)のパノラマ画像データDと追尾情報とをパケットPK(例えばパケットPKa)として生成する。
再生装置105のシステムコントローラ151は、供給されたパケットPKを順次デコードすると共に、追尾情報が示す座標情報を視点座標として表示画像データを生成する。
また、このオートモードでは、追尾対象を一人に限定するのではなく全体を優先する全体追尾対象を設定することも可能である。例えば、複数人のアイドルグループのコンサートにおいて、特定のお気に入りが存在しないような場合に使用される。
この場合、サーバ103のシステムコントローラ131は、なるべくアイドル全員が大きく映っている(すなわち面積比率が大きい)パノラマ画像データDを選択する。また、花火・ゴンドラ・炎など、追尾対象以外で動くものや大きな音がある場合には、そちらが大きく映っているパノラマ画像データDを選択する。
また、システムコントローラ131は、スポットライトが用いられている場合には、スポットライトの照射先を検出し、スポットライトを追尾する。スポットライトの追尾は、エッジ検出及び動きベクトルの検出により実行可能である。
パノラマ画像データD間において、面積比率の差異が小さい場合や、アイドルたちが分散している場合には、時分割でパノラマ画像データDを順次表示(ループ)したり、カメラを回転させているように視点座標を一定速度で移動させながら表示画像データを変化させても良い。
また、マニュアルモード及びセミマニュアルモードにおいて、オートモードにおいて選択されたパノラマ画像データDについては、レートを高く設定することも可能である。すなわち、次に切り替えられるであろうパノラマ画像データDを予め予測しておき、例えば追尾対象が大きく映っている場合には、切り替えられる可能性が高いと判断し、該当するパノラマ画像データDのレートを高く設定する。逆に、追尾対象が映っていない、又は非常に小さい場合などには、切り替えられる可能性が低いため、該当するパノラマ画像データDのレートを低く設定する。
また、マニュアルモード及びセミマニュアルモードにおいて、オートモードにおいて選択されたパノラマ画像データDに対応するカメラセット101を変色又は点滅表示などさせ、追尾対象が大きく映っていることを視聴ユーザに知らせることもできる。
このように、再生対象のパノラマ画像データD以外のパノラマ画像データDについては、データ量が小さくなるようにパケットデータPKを生成することにより、通信付加を大幅に軽減できる。
<動作及び効果>
特徴A1:本発明の動画再生装置(再生装置5)又は動画再生システム(動画再生システム10)では、同時に撮影された複数のパノラマ画像データ(パノラマ画像データD)を所定の時間情報によって関連づけて記憶する記憶手段(記憶部52)と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置(表示部54)に表示させる再生制御手段(システムコントローラ51)と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段(システムコントローラ51)とを有することを特徴とする。
特徴A1に記載の発明であれば、同時に撮影されたパノラマ画像データを、ユーザの切替要求に応じて、まるでジャンプするかのように自在に他のパノラマ画像データへと切り替えることができるため、パノラマ画像データを再生する楽しみを一層向上させることができる。
特徴A2:特徴A1に記載の発明において、前記ユーザの切替要求は、
前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトを指定することにより実行されることを特徴とする。
なお、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトとは、パノラマ画像データに実写で映り込んでいるカメラ若しくは当該カメラが搭載されたオブジェクトや、サブ小画面やサムネイル画面に表示されたカメラの配置図に表示されたカメラを含む。カメラの配置図のように、実物ではないカメラの図を表示する場合には、切り替えられた直後に表示されるパノラマ画像データの視点座標の方向と、カメラの方向とが一致することが好ましい。
特徴A2に記載の発明であれば、簡単な操作で視聴ユーザにパノラマ画像データの切替を行わせることができると共に、直感的にどのカメラで撮影された画像かを視聴ユーザに認識させることができ、パノラマ画像データの視聴を一段と楽しませることができる。
特徴A3:特徴A1又はA2に記載の発明において、前記記憶手段は、
前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトの座標情報(輪郭座標)を記憶しており、
前記切替制御手段は、
前記座標情報に基づいて、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが指定されたことを認識することを特徴とする。
特徴A3に記載の発明によれば、予めリンク領域を示す座標情報を有しているため、リンク領域を特定するための処理を必要とせず、再生装置の処理負荷を軽減することができる。
なお、パノラマ画像データに実写で映り込んでいるカメラ若しくは当該カメラが搭載されたオブジェクトをリンク領域に指定する場合には、再生装置が当該カメラ若しくはオブジェクトを切り出しによってその場で特定することも可能である。これにより、編集作業を容易にすることができる。
特徴A3に記載の発明であれば、カメラ又はオブジェクトの形状の内部領域が切替のためのリンク領域に予め設定されており、視聴ユーザがこれらの内部領域を指定することにより、パノラマ画像データ間の切替が行われるため、視聴ユーザに操作方法を直感的に理解させることができる。
特徴A4:特徴A1〜A3のいずれかに記載の発明において、
前記再生制御手段は、
切替前の前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが映っている表示画像を、切替直後に前記表示装置に表示させることを特徴とする。

特徴A4に記載の発明であれば、切替直後の表示画像に、直前まで見ていた視点が映し出されるため、現在及び直前の位置関係を視聴ユーザに理解させやすくできると共に、パノラマ画像データの切替を一層楽しませることができる。
特徴A5:特徴A1〜A3のいずれかに記載の発明において、
前記再生制御手段は、
切替前と同じ視点座標の表示画像を、切替直後に前記表示装置に表示させる
ことを特徴とする。
特徴A5に記載の発明であれば、例えば複数の撮影者がいる場合において、位置の相違による見え方の違いなどを比較しながら体感することができ、パノラマ画像データの楽しみ方を増やすことができる。
特徴A6:動画再生方法及び動画再生プログラムでは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
特徴A6に記載の発明によれば、同時に撮影された複数のパノラマ画像データを、再生時点を合わせた状態で違和感なく切り替えることができるため、視聴ユーザにあたかも人間が入れ替わったかのような不思議な体感をさせることができ、パノラマ画像データの視聴により得られる体感の楽しみを一段と高めることができる。
特徴B1:本発明の動画送信装置(サーバ103)は、同時に撮影された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生する再生手段(再生装置105)から、前記選択された一のパノラマ画像データの識別情報(再生識別情報)を取得する取得手段(システムコントローラ131)と、
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段(パケット生成部131B)と、
前記生成された送信データを前記再生手段に送信する送信手段(外部インターフェース133)と
を有することを特徴とする。
特徴B1に記載の発明であれば、現在再生中以外のパノラマ画像データに関してのデータ量を低減できるため、視聴ユーザの要望に応じて速やかにパノラマ画像データの切替をおこないつつ、再生装置におけるデコードの処理負荷及び通信負荷を低減することができる。
特徴B2:特徴B1に記載の発明において、前記データ生成手段は、前記他のパノラマ画像データのレートを、前記一のパノラマ画像データよりも低くする
ことを特徴とする。
特徴B2に記載の発明であれば、同一のパノラマ画像データを再生中の再生装置に対して一律的なデータを送信することができるため、生成するデータの種類を減少させることができ、データ生成のための処理負荷を軽減できる。
なお、他のパノラマ画像データのレートを低下させるだけでなく、他のパノラマ画像データの画像圧縮率を高める(画質を低下させる)ことによっても同様の効果を得ることが可能である。
特徴B3:特徴B1に記載の発明において、前記データ生成手段は、前記他のパノラマ画像データについては、一部のみを前記送信データとすることを特徴とする。
なお、この場合取得手段は、識別情報として、再生中のパノラマ画像データを表す情報に加えて、現在再生中のパノラマ画像データの視点座標など、表示画像の表示位置に関する情報を再生装置から取得する。そして、他のパノラマ画像データに関しては、当該表示位置の周囲のデータのみを送信する。例えば、予めパノラマ画像データを複数に分割しておき、視点座標を含む領域、さらには当該領域と隣接する領域のみのパノラマ画像データを送信することにより、生成するデータの種類を低減することができ、データ生成手段の処理負荷を軽減できる。
特徴B4:特徴B4に記載の動画再生システムでは、
特徴A1に記載の動画再生装置と、
前記動画再生装置から前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
前記生成された送信データを前記再生手段に送信する送信手段とを有する動画送信装置とを有するようにした。
特徴C1:本発明の動画再生システム(動画再生システム110)では、では、同時に撮影された複数のパノラマ画像データを取得する取得手段(外部インターフェース133)と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段(システムコントローラ151)と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段(システムコントローラ131)と
を有することを特徴とする。
特徴C1に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。
なお、再生制御手段は、再生対象となるパノラマ画像データにおいて、検出対象の内部を視点座標とすることが好ましい。これにより、検出対象を常に表示画像の中心又は中心近傍とする表示画像を表示することができ、視聴ユーザを一層楽しませることができる。
特徴C2:特徴C1に記載の発明において、前記検出対象は、予め設定されたオブジェクト又はイベントである。
これにより、動画再生システムでは、特定のオブジェクトやイベントを検出して表示することができるため、ユーザの要望に応じた画像を視認させることが可能である。
特徴C3:本発明の動画再生装置(動画再生システム10)では、同時に撮影された複数のパノラマ画像データを取得する取得手段(外部インターフェース53)と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段(システムコントローラ51)と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段(システムコントローラ51)と
を有することを特徴とする。
特徴C3に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。
特徴C4:本発明の動画再生方法及び動画再生プログラムでは、同時に撮影された複数のパノラマ画像データを取得する取得ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出ステップと、
所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御ステップとを有することを特徴とする。
特徴C4に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。
<第3の実施の形態>
次に、図18〜図26に示す第3の実施の形態について説明する。第3の実施の形態における動画再生システム210においては、同時に撮影された各パノラマ画像データDに対し、共通の指標に基づく基準指標座標を設定する点が、上述した第1の実施の形態と相違している。なお、第3の実施の形態では、第1の実施の形態と対応する箇所に200を付して示し、同一箇所についての説明を省略する。
図18に示すように、3人の撮影者CM1〜CM3が3台のカメラセット201A〜201Cを用いて頭上で撮影を行う場合について説明する。図19に示すように、撮影者CM1が撮影者CM2の方向を見ており、撮影者CM2及びCM3がオブジェクトOJを見ていたと仮定する。
仮に、編集装置202が、撮影者CMが見ている目線近傍をパノラマ画像Dにおける中心座標(以下、これをパノラマ中心座標と呼ぶ)として一律にパノラマ画像Dを作成することによりパノラマ動画像D1p〜D3pを作成した場合を考える。図19に示すように、撮影者CM1が撮影者CM2を見ており、撮影者CM2及びCM3がオブジェクトOJを見ていた場合、パノラマ中心座標はばらばらとなる。
例えば、図20に示すように、視聴ユーザがパノラマ中心座標を視点座標として撮影者CM1が撮影したパノラマ動画像D1pを視聴している場合、パノラマ動画像D1pに基づく表示画像251の視点座標近傍には、撮影者CM2及びCM3が映し出されている。ここで視聴ユーザがパノラマ画像D2pに切り替えると、パノラマ画像D2pに基づく表示画像252が表示される。表示画像252の視点座標近傍には、オブジェクトOJが映し出されている。さらに、視聴ユーザがパノラマ画像D3pに切り替えると、パノラマ画像D3pに基づく表示画像253が表示される。表示画像253の視点座標近傍には、何も映し出されない。
このように、撮影者CM1〜CM3によって撮影されたパノラマ画像D1p〜D3pは、撮影者CM1〜CM3の視点に応じてパノラマ中心座標が変化してしまうため、同じ場所で撮影したにも拘わらず同じ座標を基準として各パノラマ画像D1p〜D3pから表示画像を切り出すと、それぞれ相違する方向を示す画像が切り出されてしまい、視聴ユーザを混乱させてしまうおそれがある。
そこで、本願発明では、表示画像がどちらの方向を向いているのか視聴ユーザに理解し易くするため、共通指標に基づいて表示画像を切り出せるよう、パノラマ画像Dに対して共通指標設定処理を実行する。
具体的に、共通指標設定処理として、図21に示すように、同一の方角を共通指標とする。方角は、例えばカメラセット201(201A〜201C)に方位磁針や垂直(重力)検知器などの方角検出器を設置しておく。編集装置202のシステムコントローラ221(図示せず)は、シングル画像データ及び時間情報と共に方角情報を取得し、方角が同一又はほぼ同一になるようにパノラマ画像データDにおけるパノラマ中心座標を設定する。この場合、パノラマ中心座標が共通指標座標となる。
具体的に、システムコントローラ221の画像編集部221Aは、シングル画像データ及び装置IDから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット201ごとにシングル画像データを組み合わせ、全天球の天球状の画像データを合成し、これをパノラマ中心座標を中心に展開するようにしてパノラマ画像データDを生成する。なお、実際にはこれらの処理は計算により実行される。
このとき、画像編集部221Aは、共通指標設定処理として、各カメラセットごとに取得された方角情報CP(CP1〜CP3)に基づき、全てのカメラセットがほぼ同一方角(同一方向から上下左右±10°)を向いて撮影したかのように、パノラマ画像データDを作成する。
具体的に、画像編集部221Aは、予め設定された一のカメラセットに対応するパノラマ画像データDを生成する。なお、ここではカメラセット201Aに対応するパノラマ画像データD1が設定されているものとして説明する。画像編集部221Aは、パノラマ画像データD1に対応する方角情報CP1〜CP3を照らし合わせ、方角情報が示す方角に差違がある場合には、当該差違を相殺するように、パノラマ中心座標をずらしながら残りのパノラマ画像データD2及びD3を生成する。
これにより、同一時刻に撮影されたパノラマ画像データD1〜D3間についてほぼ同一方角にパノラマ中心座標を配置させることができるため、図21に示すように、全てのカメラセット201A〜201Cでほぼ同一方角で撮影したかのようなパノラマ画像データD1〜D3を生成することができる。
このように、共通指標に基づいてパノラマ中心座標を設定する場合、図22に示すように、共通指標としての方角がほぼ同一であるパノラマ画像データD1〜D3が生成されることになる。このため、再生装置205では、視聴ユーザの切替指示に従って単純に同じ視点座標で画像を切り出すことにより、表示画像251〜253を生成することができる。
この結果、図22に示すように、比較的近い箇所を撮影した画像が表示画像251〜253として表示されるため、パノラマ画像データD1〜D3間の相違を視聴ユーザに楽しませることができる。
なお、共通画像領域が複数存在する場合には、人間の注目度が高い画像領域が共通画像領域として優先的に選択されることが好ましい。人間の注目度の高さは、顕著性マップ(Saligency Map)と呼ばれる画像の特徴量から自動で注目領域を抽出する手法を適用することができる。これらの詳細については、以下のURL1及びURL2に記載されており、例えば輝度の高さや、輝度のパターン、画像の大きさなどにより人間の注目度が高い注目領域が抽出される。
URL1:http://www.slideshare.net/akisatokimura/ss-10694017
URL2:http://www.slideshare.net/takao-y/20150619-49592895
また、オブジェクトや風景のような共通の被撮影対象を撮影した画像領域である共通画像領域を共通指標として設定することも可能である。なお、共通画像領域の切り出しは、全フレームで行われても良く、定期的(例えば0.1〜1秒ごとに1回の割合)に行うようにしても良い。
具体的に、システムコントローラ221の画像編集部221Aは、シングル画像データ及び装置IDから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット201ごとにシングル画像データを組み合わせ、パノラマ画像データD1〜D3を生成する。
この後、画像編集部221は、パノラマ画像データD1〜D3に共通するオブジェクトや風景などの被撮影対象を共通画像領域として検索し、例えば共通画像領域の中心を共通指標座標として当該共通指標座標をパノラマ画像データD1〜D3に関連付けて記憶する。
共通画像領域の検出手法に制限はなく、輝度差による画像領域の切り出し及びマッチング、動きベクトルを用いた共通画像領域の追いかけなど、種々の公知の技術を用いることによって実行される。
例え
ば図24に示すように、画像編集部221は、オブジェクトOJが共通画像領域として検出された場合、オブジェクトOJの中心を共通指標座標として、パノラマ画像データD1〜D3に紐付け、記憶部222に記憶する。
再生装置205では、視聴ユーザの切替指示に従って、共通指標座標の相違を相殺して視点座標を決定することにより、共通指標座標に基づいて画像を切り出すことにより、図25に示すように表示画像261〜263を生成することができる。表示画像261〜263では、切替前と近い視点が表示されるため、視聴ユーザを混乱させないようにできる。
すなわち、図26に示すように、共通画像領域を共通指標とすることにより、撮影者CM1〜CM3が同一の被撮影対象を撮影したようなパノラマ画像データD1〜D3を生成することができる。
このように、画像編集装置203では、共通指標に基づいて表示画像の中心となる視点座標を決定させるための共通指標設定処理を実行することにより、視聴ユーザの切替支持に応じて表示画像の基になるパノラマ画像データDを切り替えた場合であっても、表示画像における撮影領域を同一又は近い位置に設定することができ、全く相違する撮影領域が表示されることによりどこが表示されているか分からず、視聴ユーザが混乱することを未然に防止できる。
<第4の実施の形態>
次に、第4の実施の形態について説明する。第4の実施の形態では、定点撮影を行う点及びステレオ録音を行う点が上述した第3の実施の形態と相違している。なお、第4の実施の形態では、第3の実施の形態と対応する箇所に100を付して示し、同一箇所についての説明を省略する。
第4の実施の形態においては、図13に示した第2の実施の形態と同様に、定点撮影が実行される。このため、第3の実施の形態と同様、共通指標の設定が行われるが、撮影開始後、連続して撮影されたパノラマ動画像データDのうち、少なくとも1フレームで共通指標設定処理が行われればよい。
共通指標としては、例えば特定のマークなどを撮影したり、コンサート会場の風景やスタッフ及びタレントなどの人物などの被撮影対象に設定しても良く、方角を設定しても良い。
また、第4の実施の形態においては、カメラセット301の一部として、4チャンネルの録音手段を有し、再生時には、視点方向の情報から、4チャンネルの音をミックスすることでヘッドホンで再生されるべき2チャンネルの音を再合成する360°ステレオマイク(例えばAmbisonicsマイク)が使用される。
これにより、パノラマ画像データDの切替に伴い、表示画像の視野に応じた、場所に応じて相違する音声を提供できるため、視聴ユーザが感じる臨場感を高める、パノラマ画像の娯楽性を一層高めることができる。
<動作及び効果(2)>
以下、上記した実施形態から抽出される発明群の特徴について、必要に応じて課題及び効果等を示しつつ説明する。なお以下においては、理解の容易のため、上記各実施形態において対応する構成を括弧書き等で適宜示すが、この括弧書き等で示した具体的構成に限定されるものではない。また、各特徴に記載した用語の意味や例示等は、同一の文言にて記載した他の特徴に記載した用語の意味や例示として適用しても良い。
従来、360°の視野角度を有する全天球又は半天球と呼ばれる動画像データを撮影し、ユーザの要望に応じて一部を切り出して表示するパノラマ画像再生技術が提案されている(例えば特許文献1参照)。
かかる構成のパノラマ画像再生技術では、1台のカメラセットによる1つのパノラマ画像データを再生することを前提にしている。仮に、複数台のカメラセットによって複数のパノラマ画像データを切替ながら再生できるならば、パノラマ画像データの娯楽性を向上させることができると考えられる。
特徴D1:本発明の動画再生装置(再生装置205)又は動画再生システム(動画再生システム210)では、同時に撮影された複数のパノラマ画像データ(パノラマ画像データD)を所定の時間情報によって関連づけて記憶する記憶手段(記憶部252)と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置(表示部54)に表示させる再生制御手段(システムコントローラ251)と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段(システムコントローラ251)と、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定させるための共通指標設定処理を実行する共通指標設定手段(画像編集部221A)とを有することを特徴とする。
特徴D1に記載の発明によれば、共通指標に基づいて決定された表示画像を再生装置に表示させることができるため、パノラマ画像データを切り替えた場合であっても、同一又は近い場所が撮影された部分を常に表示することができ、視聴ユーザに表示画像の位置を簡単に理解させることができる。
特徴D2:前記再生制御手段は、
ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させることを特徴とする。
特徴D2に記載の発明によれば、共通指標に基づいて同じ又は近しい場所が撮影された共通の位置を共通指標座標に設定できるため、共通指標座標を用いて簡単に同じ又は近しい場所が撮影された画像を表示画像として生成することが可能となる。
特徴D3:特徴D1又は特徴D2に記載の発明において、
前記共通指標は、
撮影時において取得された測定情報に基づいて生成された方角であることを特徴とする。
特徴D3に記載の発明によれば、同一方角の領域を表示画像として切り出すことができるため、視聴ユーザに違和感を感じさせずに済む。
特徴D4:特徴D1に記載の発明において、
前記共通指標は、
前記複数のパノラマ画像データにおいて共通して撮影された風景やオブジェクトなどの被撮影対象を撮影した共通画像領域であることを特徴とする。
特徴D4に記載の発明によれば、同一の箇所を撮影した領域を表示画像にすることができるため、視聴ユーザに現在の視界の位置を認識さ易くできる。
特徴D5:特徴D1に記載の発明によれば、
音声を出力する音声出力手段を有し、
前記記憶手段は、
2以上のチャンネルを有するマイクロフォンを用いてステレオ録音された立体音声を記憶し、
前記再生制御手段は、
前記ユーザの指示に応じた方角の音声を前記音声を前記音声出力手段に出力させることを特徴とする。
好ましくは、前記記憶手段は、4以上のチャンネルを有するマイクロフォンを用いて録音された立体音声を記憶する。
さらに好ましくは、前記再生制御手段は、4以上のチャンネルを有するマイクロフォンを用いて録音された音声を左右両耳に対応する2チャンネルの音声として出力する。
特徴D5に記載の発明によれば、視聴ユーザの視野に合わせた360°のパノラマ画像に加えて、視聴ユーザの視野(顔の向き)に合わせた音声の出力を行うことができるため、パノラマ画像の臨場感をより高めることができる。
特徴D6:ユーザの要求に応じた視点座標を中心とする表示画像を表示装置に表示させるためのパノラマ画像を編集するパノラマ動画編集装置であって、
同時に撮影された複数のパノラマ画像データ(パノラマ画像データD)を記憶する記憶手段と、
前記複数のパノラマ画像データに対し、前記撮影された時間関係を示す時間情報を設定する時間情報設定手段とを有することを特徴とする。
特徴D6に記載の発明によれば、共通指標に基づいて決定された表示画像を再生装置に表示させることができるため、パノラマ画像データを切り替えた場合であっても、同一又は近い場所が撮影された部分を常に表示することができ、視聴ユーザに表示画像の位置を簡単に理解させることができる。
特徴D7:特徴D6に記載のパノラマ動画編集装置は、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記視点座標を決定させるための共通指標設定処理を実行する共通指標設定手段
をさらに有することを特徴とする。
特徴D7に記載の発明によれば、共通指標に基づいて同じ又は近しい場所が撮影された共通の位置を共通指標座標に設定できるため、共通指標座標を用いて簡単に同じ又は近しい場所が撮影された画像を表示画像として再生装置に生成させることが可能となる。
特徴D8:特徴D7に記載の発明において、
前記共通指標設定手段は、
前記共通指標に基づく共通指標座標を前記複数のパノラマ画像データに設定することにより、前記共通指標設定処理を実行する
ことを特徴とする。
特徴D8に記載の発明によれば、共通指標座標を紐付けるだけで済むため、編集装置の処理負荷を軽減できる。
特徴D9:特徴D7に記載の発明において、
前記共通指標は、
方角であり、
前記共通指標設定手段は、
前記複数のパノラマ画像データ間で前記方角がほぼ一致するように前記複数のパノラマ画像データを作り替えることにより、前記共通指標設定処理を実行する
ことを特徴とする。
特徴D9に記載の発明によれば、共通指標座標をパノラマ中心座標とできるため、複数のパノラマ画像データ間で同一の視点座標で切り出すだけの処理によって再生装置にほぼ同一視点の表示画像を表示させることができる。
特徴D10:特徴D7に記載の発明において、
前記共通指標は、
風景やオブジェクトなどの被撮影対象を表す共通画像領域であり、
前記共通指標設定手段は、
前記複数のパノラマ画像データ間で前記共通画像領域の位置がほぼ一致するように前記複数のパノラマ画像データを作り替えることにより、前記共通指標設定処理を実行する
ことを特徴とする。
特徴D10に記載の発明によれば、パノラマ画像データ間で同一座標を視点座標とすればよいため、パノラマ画像データを切り替える際の再生装置の処理負荷を軽減できる。
特徴D11:特徴D8に記載の発明において、
前記共通指標設定手段は、
共通する画像領域が複数抽出された場合には、
人間の注目度の高い画像領域を優先的に前記共通画像領域として設定する
ことを特徴とする。
特徴D11に記載の発明によれば、注目度の高い画像領域を共通画像領域とできるため、撮影時の位置の誤差が最も小さい共通画像領域に注目度の高い画像領域を設定することにより、撮影場所の誤差を視聴ユーザに感じさせずに済む。
再生装置における再生制御手段は、
前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定することを特徴とする。
再生装置における再生制御手段は、
ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させることを特徴とする。
<他の実施の形態>
なお上述した第2の実施の形態において、追尾対処のアイドルを顔認証や動きベクトルで追尾するようにした場合について述べた。本発明はこれに限らず、例えば首掛けのネックレスやバンドなどのように、検出が容易な特殊なマークを追尾対象に身につけてもらい、当該マークを検出するようにしても良い。これにより、一段と確実に追尾対象を追尾することができる。
また上述した第1の実施の形態において、電波時計を用いて同期するようにした場合について述べた。本発明は是に限らず、音や光など同時撮影して同期するための同期情報を埋め込み、この同期情報に基づいて後から(編集処理の段階において)同期させることにより、時間情報を生成するようにしても良い。この場合であっても上述した実施の形態と同様の効果を得ることができる。
さらに上述した第1の実施の形態においては、撮影者がカメラ1を持って撮影する構成を有している。第2の実施の形態においては、カメラが固定されているため、問題はないが、カメラが人や動物に搭載されたり、人手を使って撮影を行う場合には、撮影角度にばらつきが生じてしまい、同一の座標を視点座標として切替を行った場合であっても、撮影角度が異なってしまう場合が生じてしまう。このため、予めカメラ1にジャイロセンサを搭載し、パノラマ画像Dにおける中心座標を調整しておくことも可能である。具体的に、例えばカメラ1Aを角度基準カメラとして設定し、カメラ1Aの角度移動をジャイロセンサで検出する。カメラ1B及び1Cにおける角度移動も同様にジャイロセンサで検出する。編集装置2のシステムコントローラ2は、カメラ1Aを基準とし、パノラマ画像Daにおける中心座標の視点移動とパノラマ画像Db及びDcにおける中心座標の視点移動が同一になるよう、ジャイロセンサによって検出された角速度の差分値分だけパノラマ画像Db及びDcにおける中心座標を調整する。これにより、パノラマ画像Da〜Dc切替時において、中心座標の視点を統一しておくことができる。また、例えば人間の頭上にカメラを搭載する場合、撮影者が横を向いたりすることで視点が大きく変わってしまう。このような場合には、常に一方向(東西南北の角度)が中心座標となるようにパノラマ画像Da〜Dcの中心座標を調整することも可能である。これにより、視聴ユーザの視点が最優先されることになり、360°の撮影を最大限活かすことができる。
また上述した第1及び2の実施の形態においては、パノラマ画像Dのみを撮影して切替可能に再生するようにした場合について述べた。本発明はこれに限らず、一般的な撮影カメラで撮影した通常画像と組み合わせることも可能である。例えば第2の実施の形態において、アイドルのズームを専門に撮影するズーム用カメラを設置し、視聴ユーザの要望に応じて、又はシチュエーションに応じて(例えば撮影者が指定したとき)などにズーム用カメラで撮影されたズーム画像へ切り替えるようにすることができる。これにより、アイドルの顔をアップで見たいという視聴ユーザの要望に応じることができる。
さらに、上述した実施の形態においては、編集プログラム及び再生プログラム等をROM又はハードディスクドライブなどに予め格納した場合について述べた。本発明はこれに限らず、メモリカードなどの外部記憶媒体からコンピュータ内部のフラッシュメモリやハードディスクドライブなどにインストールするようにしても良い。また、データベース作成プログラムなどをUSB(Universal Serial Bus)やEthernet(登録商標)(Institute of Electrical and Electronics Engineers)802.11a/b/gなどの無線LAN(Local Area Network)を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やBSディジタルテレビジョン放送により配信されるようにしても良い。
本発明は、例えば体感型のエンターテインメントに適用することができる。
1、101 :カメラセット
2、102 :編集装置
3、103 :サーバ
5、105 :再生装置
10、110 :動画再生システム
21 :システムコントローラ
22 :記憶部
24 :表示部
25 :操作入力部
31、131 :システムコントローラ
31A、131A :パケット生成部
32、132 :記憶部
33、133 :外部インターフェース
51、151 :システムコントローラ
52、152 :記憶部
53、153 :外部インターフェース
54、154 :表示部
55、155 :操作入力部

かかる課題を解決するため、本発明の動画再生装置は、
同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有し、
前記再生制御手段は、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。
また、本発明のパノラマ動画編集装置は、同時に撮影された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、前記前記中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置において再生される複数のパノラマ画像データに対し、
該複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに中心座標を設定する設定手段を有することを特徴とする。
さらに本発明のパノラマ動画再生システムでは、同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
前記複数のパノラマ画像データに対し、前記複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに中心座標を設定する設定手段と、
前記複数のパノラマ画像データ及び前記中心座標を送信する送信手段と、
送信された前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、前記前記中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置と
を有することを特徴とする請求項1に記載のパノラマ動画再生システム。
さらに、本発明のパノラマ動画再生方法は、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有し、
前記再生制御ステップでは、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。
また、本発明の動画再生プログラムは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有し、
前記再生制御ステップでは、
前記複数のパノラマ画像データに共通する共通指標に基づいて前記表示画像の中心となる視点座標を決定することを特徴とする。
さらに、本発明の動画送信装置は、同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示手段に表示させる際、前記前記中心座標に基づいて視点座標を決定する再生制御手段と、前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有する動画再生装置において再生される複数のパノラマ画像データに対し、
該複数のパノラマ画像データに共通する共通指標に基づいてパノラマ画像ごとに設定された前記中心座標を送信する送信手段を有することを特徴とする。
本発明は、パノラマ画像データの娯楽性を高めることができるパノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置を提供できる。

Claims (14)

  1. 同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
    前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
    前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段と
    を有することを特徴とする動画再生装置。
  2. 前記ユーザの切替要求は、
    前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトを指定することにより実行される
    ことを特徴とする請求項1に記載の動画再生装置。
  3. 前記記憶手段は、
    前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトの座標情報を記憶しており、
    前記切替制御手段は、
    前記座標情報に基づいて、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが指定されたことを認識する
    ことを特徴とする請求項1又は2のいずれかに記載の動画再生装置。
  4. 前記再生制御手段は、
    切替前の前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが映っている表示画像を、切替直後に前記表示装置に表示させる
    ことを特徴とする請求項1〜3のいずれかに記載の動画再生装置。
  5. 前記再生制御手段は、
    切替前と同じ視点座標の表示画像を、切替直後に前記表示装置に表示させる
    ことを特徴とする請求項1〜3のいずれかに記載の動画再生装置。
  6. 前記再生制御手段は、
    前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定する
    を有することを特徴とする請求項1に記載のパノラマ動画再生装置。
  7. 前記再生制御手段は、
    ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させる
    ことを特徴とする請求項6に記載のパノラマ動画再生装置。
  8. 請求項1に記載の動画再生装置と、
    前記動画再生装置から前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
    他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
    前記生成された送信データを前記再生手段に送信する送信手段とを有する動画送信装置と
    を有することを特徴とするパノラマ動画再生システム。
  9. 前記データ生成手段は、
    前記他のパノラマ画像データのレートを、前記一のパノラマ画像データよりも低くする
    ことを特徴とする請求項8に記載の動画再生システム。
  10. 前記データ生成手段は、
    前記他のパノラマ画像データについては、一部のみを前記送信データとする
    ことを特徴とする請求項9に記載の動画再生システム。
  11. 前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
    所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段と
    を有することを特徴とする請求項1に記載の動画再生装置。
  12. 前記検出対象は、
    予め設定されたオブジェクト又はイベントである
    ことを特徴とする請求項11に記載の動画再生装置。
  13. 同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
    前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
    前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップと
    を有することを特徴とする動画再生方法。
  14. 同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
    前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
    前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップと
    を有することを特徴とする動画再生プログラム。

JP2016575237A 2015-07-31 2016-07-28 パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置 Active JP6178524B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015152269 2015-07-31
JP2015152269 2015-07-31
PCT/JP2016/072228 WO2017022641A1 (ja) 2015-07-31 2016-07-28 動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置

Publications (2)

Publication Number Publication Date
JPWO2017022641A1 true JPWO2017022641A1 (ja) 2017-08-03
JP6178524B2 JP6178524B2 (ja) 2017-08-09

Family

ID=57943123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016575237A Active JP6178524B2 (ja) 2015-07-31 2016-07-28 パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置

Country Status (5)

Country Link
US (1) US10686985B2 (ja)
EP (1) EP3331239A4 (ja)
JP (1) JP6178524B2 (ja)
CN (1) CN107852476B (ja)
WO (1) WO2017022641A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147918A (zh) * 2017-06-12 2017-09-08 北京佰才邦技术有限公司 一种数据处理方法、系统、设备和服务器
JP6953221B2 (ja) * 2017-07-31 2021-10-27 グリー株式会社 画像表示システム、画像表示プログラム、画像表示方法及びサーバ
JP2019110421A (ja) * 2017-12-18 2019-07-04 トヨタ自動車株式会社 動画配信システム
CN109379524A (zh) * 2018-12-14 2019-02-22 上海杰图天下网络科技有限公司 基于工业相机和工业镜头的全景数据采集装置
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
JP7335753B2 (ja) * 2019-08-09 2023-08-30 サンリツオートメイシヨン株式会社 物体追尾システム、物体追尾装置、物体追尾方法及びプログラム
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
WO2022085775A1 (ja) * 2020-10-23 2022-04-28 ソニーグループ株式会社 ユーザインタフェースシステム、ユーザインタフェース方法及び画像編集装置
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191261A (ja) * 1996-12-20 1998-07-21 Nippon Telegr & Teleph Corp <Ntt> 多視点映像再生方法
WO2012043357A1 (ja) * 2010-10-01 2012-04-05 ソニー株式会社 コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
JP2012142860A (ja) * 2011-01-05 2012-07-26 Canon Inc 任意視点映像処理装置及びその制御方法、及びプログラム
JP2013183209A (ja) * 2012-02-29 2013-09-12 Nagoya Univ 多視点映像ストリーム視聴システムおよび方法
JP2013250829A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2013250470A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2014165763A (ja) * 2013-02-26 2014-09-08 Ricoh Co Ltd 編集装置、編集方法、及び編集プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149549B1 (en) * 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7580952B2 (en) * 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
JP4232774B2 (ja) * 2005-11-02 2009-03-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4818178B2 (ja) * 2007-03-27 2011-11-16 キヤノン株式会社 ネットワーク制御装置、ネットワーク制御方法、プログラム
US9106804B2 (en) * 2007-09-28 2015-08-11 Gracenote, Inc. Synthesizing a presentation of a multimedia event
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US20120105577A1 (en) * 2010-11-01 2012-05-03 Olympus Imaging Corp. Panoramic image generation device and panoramic image generation method
JP5735330B2 (ja) * 2011-04-08 2015-06-17 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
TR201819457T4 (tr) * 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.
US8805158B2 (en) 2012-02-08 2014-08-12 Nokia Corporation Video viewing angle selection
CN102729902B (zh) * 2012-07-19 2014-10-15 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法
CN103959802B (zh) * 2012-08-10 2018-01-26 松下电器(美国)知识产权公司 影像提供方法、发送装置以及接收装置
US10365797B2 (en) * 2013-03-15 2019-07-30 Ambient Consulting, LLC Group membership content presentation and augmentation system and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191261A (ja) * 1996-12-20 1998-07-21 Nippon Telegr & Teleph Corp <Ntt> 多視点映像再生方法
WO2012043357A1 (ja) * 2010-10-01 2012-04-05 ソニー株式会社 コンテンツ送信装置、コンテンツ送信方法、コンテンツ再生装置、コンテンツ再生方法、プログラム、およびコンテンツ配信システム
JP2012142860A (ja) * 2011-01-05 2012-07-26 Canon Inc 任意視点映像処理装置及びその制御方法、及びプログラム
JP2013183209A (ja) * 2012-02-29 2013-09-12 Nagoya Univ 多視点映像ストリーム視聴システムおよび方法
JP2013250829A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法
JP2013250470A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2014165763A (ja) * 2013-02-26 2014-09-08 Ricoh Co Ltd 編集装置、編集方法、及び編集プログラム

Also Published As

Publication number Publication date
WO2017022641A1 (ja) 2017-02-09
US10686985B2 (en) 2020-06-16
US20180191955A1 (en) 2018-07-05
EP3331239A4 (en) 2018-08-08
JP6178524B2 (ja) 2017-08-09
CN107852476B (zh) 2020-11-20
EP3331239A1 (en) 2018-06-06
CN107852476A (zh) 2018-03-27

Similar Documents

Publication Publication Date Title
JP6178524B2 (ja) パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
US10805592B2 (en) Apparatus and method for gaze tracking
JP6725038B2 (ja) 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム
US10805530B2 (en) Image processing for 360-degree camera
US10277813B1 (en) Remote immersive user experience from panoramic video
US9751015B2 (en) Augmented reality videogame broadcast programming
JP5594850B2 (ja) 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
US20210092466A1 (en) Information processing apparatus, information processing method, and program
KR20170015938A (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
JP2017518663A (ja) 立体ビューイング
CN112262583A (zh) 360度多视口系统
CA2867127A1 (en) System and method for video recording and webcasting sporting events
JP6523493B1 (ja) プログラム、情報処理装置、及び情報処理方法
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6292658B2 (ja) 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム
WO2018070092A1 (ja) 情報提供装置と情報提供方法および情報再生装置と情報再生方法
WO2020059327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2021246183A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2016167160A1 (ja) データ生成装置および再生装置
WO2018004933A1 (en) Apparatus and method for gaze tracking
KR20180021623A (ko) Vr 콘텐츠 제공 시스템 및 방법
JP2014240961A (ja) 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
US20130266285A1 (en) Video playback system for enhancing drama effect and related computer program product
JP2016134742A (ja) 画像再生方法、画像再生装置、及び画像再生プログラム

Legal Events

Date Code Title Description
AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20170209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161228

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20161228

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170630

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170713

R150 Certificate of patent or registration of utility model

Ref document number: 6178524

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250