JPWO2015033629A1 - 送信装置、中継装置及び受信装置 - Google Patents

送信装置、中継装置及び受信装置 Download PDF

Info

Publication number
JPWO2015033629A1
JPWO2015033629A1 JP2015535345A JP2015535345A JPWO2015033629A1 JP WO2015033629 A1 JPWO2015033629 A1 JP WO2015033629A1 JP 2015535345 A JP2015535345 A JP 2015535345A JP 2015535345 A JP2015535345 A JP 2015535345A JP WO2015033629 A1 JPWO2015033629 A1 JP WO2015033629A1
Authority
JP
Japan
Prior art keywords
data
encoded data
quality
reproduction
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015535345A
Other languages
English (en)
Other versions
JP6418160B2 (ja
Inventor
健 宮下
健 宮下
佐藤 直之
直之 佐藤
大塚 学史
学史 大塚
延浩 小川
延浩 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2015033629A1 publication Critical patent/JPWO2015033629A1/ja
Application granted granted Critical
Publication of JP6418160B2 publication Critical patent/JP6418160B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4126The peripheral being portable, e.g. PDAs or mobile phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4331Caching operations, e.g. of an advertisement for later insertion during playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】コンテンツの処理に関する即応性を高めることが可能な、新規かつ改良された送信装置、中継装置及び受信装置を提案する。【解決手段】本開示によれば、時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、第1の符号化データを受信装置に送信した後、受信装置からデータ位置に関する第1の位置情報を受信し、第2の符号化データのうちで第1の位置情報に対応する部分を受信装置に送信する通信部と、を備える、送信装置が提供される。【選択図】図1

Description

本開示は、送信装置、中継装置及び受信装置に関する。
近年、映像や音声などのコンテンツのデータを送信装置から再生及び編集の少なくとも一方が可能な受信装置に対して、配信するという需要が高まっている。
例えば、特許文献1には、ビデオコンテンツの最初の数10秒などであるスターティングブロックをユーザからの操作なしに自動転送しておくことで、ストリーミング再生の開始までの待ち時間を短縮することが開示されている。
特開2006−109480号公報
しかし、受信装置にて映像の再生が行われる場合、ユーザが目的とする再生位置は、ビデオコンテンツの最初でないことがあり得る。この場合、例えば、ユーザは受信装置の再生位置を探し出すために、再生位置を移動させるシーキングを繰り返す。ユーザは、移動した再生位置での映像を確認することで、現在の再生位置が目的とする再生位置か否か、または目的の再生位置が現在の再生位置のどの程度前後にあるかを判断する。また、受信装置にて配信された映像の編集が行われる場合についても同様に、ユーザが目的とする再生位置を探し出すために、シーキングが行われる。
このような、シーキングにより複数の再生位置が選択される(このような操作をザッピングともいう)場合、選択される再生位置はユーザにより任意に選択される。このため、例えば最初の数10秒以外の再生位置が選択された場合、特許文献1で開示された技術では、ストリーミング再生の開始まで待ち時間が発生し、即応性が低くなる。
そこで、本開示では、コンテンツの処理に関する即応性を高めることが可能な、新規かつ改良された送信装置、中継装置及び受信装置を提案する。
本開示によれば、時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、第1の符号化データを受信装置に送信した後、受信装置からデータ位置に関する第1の位置情報を受信し、第2の符号化データのうちで第1の位置情報に対応する部分を受信装置に送信する通信部と、を備える、送信装置が提供される。
また、本開示によれば、送信装置から受信装置に送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを中継し、受信装置から送信装置に送信されるデータ位置に関する第1の位置情報を中継する通信部を備え、通信部は、第1の符号化データを中継した後、第1の位置情報を中継し、第2の符号化データのうちで第1の位置情報に対応する部分を中継する、中継装置法が提供される。
また、本開示によれば、データ位置に関する第1の位置情報を生成する制御部と、送信装置から送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを受信し、第1の位置情報を送信装置に送信する通信部と、受信した第1の符号化データと第2の符号化データとを含む符号化データを記憶する記憶部と、を備え、通信部は、第1の符号化データを受信した後、第1の位置情報を送信し、第2の符号化データのうちで第1の位置情報に対応する部分を受信する、受信装置が提供される。
本開示によれば、第1の符号化データが送信装置から受信装置に送信された後、第1の位置情報に対応する第2の符号化データの部分が送信装置から受信装置に送信される。したがって、第1の品質の再生のために用いられる第1の符号化データが受信装置に記憶された状態で、第2の品質の再生のために用いられる第2の符号化データのうちでユーザが必要な部分のみが受信装置に送信される。
以上説明したように本開示によれば、コンテンツの処理に関する即応性を高めることが可能な、新規かつ改良された送信装置、中継装置及び受信装置が提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係るデータ伝送システムの構成を示した説明図である。 同実施形態に係る送信装置、中継装置及び受信装置の構成を示した機能ブロック図である。 同実施形態に係る受信装置の表示部における表示例の説明図である。 同実施形態に係るデータ伝送システムにおいて、映像を編集し、LANと異なるネットワークへ送信する動作を示した説明図である。 同実施形態における、低周波成分データ及び中周波成分データの送信シーケンスを示したシーケンス図である。 同実施形態における、高周波成分データの送信シーケンス及び映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。 同実施形態に係る中継装置の中周波成分を取得する処理を示したフローチャートである。 本開示の第2の実施形態に係るデータ伝送システムにおいて、映像を編集し、中解像度のデータをLANと異なるネットワークへ送信する動作を示した説明図である。 同実施形態における、低解像度データ及び中解像度データの送信シーケンスを示したシーケンス図である。 同実施形態における、中解像度の映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。 同実施形態に係る中継装置のデータの中継動作を示したフローチャートである。 同実施形態に係るデータ伝送システムにおいて、映像を編集し、高解像度のデータをLANと異なるネットワークへ送信する動作を示した説明図である。 同実施形態における、低解像度データ及び中解像度データの送信シーケンスを示したシーケンス図である。 同実施形態における、高解像度データの送信シーケンス及び高解像度の映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。 本開示の第3の実施形態に係るデータ伝送システムを示した説明図である。 同実施形態に係る送信装置、中継装置及び受信装置の構成を示した機能ブロック図である。 本開示の一実施形態に係る送信装置のハードウェア構成を説明するためのブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態(データがSVC形式の例)
1―1.データ伝送システムの概略説明
1―2.データを編集し、LANと異なるネットワークへ送信する動作例
2.第2の実施形態(データが圧縮形式の例)
2−1.データ伝送システムの概略説明
2−2.中解像度のデータを編集し、LANと異なるネットワークへ送信する動作例
2−3.高解像度のデータを編集し、LANと異なるネットワークへ送信する動作例
3.第3の実施形態(他のデータ伝送システム)
4.ハードウェア構成
5.むすび
<1.第1の実施形態(データがSVC形式の例)>
[1−1.データ伝送システムの概略説明]
まず、図1〜図3を参照して、本開示の第1の実施形態に係るデータ伝送システムの概略構成について説明する。
図1は、本開示の第1の実施形態に係るデータ伝送システムの構成を示した説明図である。図1に図示したデータ伝送システムは、送信装置100と、中継装置200と、受信装置300とを含む。
図1に図示した例では、送信装置100と受信装置300とは、中継装置200を介してデータの送受信をする。送信装置100、中継装置200及び受信装置300は、例えば無線通信を利用したLAN(Local Area Network)に接続されることにより、互いにデータの送受信を行う。中継装置200は、送信装置100及び受信装置300が接続されたLANと異なるネットワーク400に接続することができ、異なるネットワーク400に接続された他のデータ記憶装置とデータの送受信を行う。
本実施形態に係るデータ伝送システムでは、送信装置100に記憶された時間的な連続性を有する映像や音声などのコンテンツのデータが、中継装置200を介して受信装置300に送信される。送信されたデータは、受信装置300で編集され、中継装置200を介してLANと異なるネットワーク400に接続された他のデータ記憶装置へ送信される。
図2は、本実施形態に係る送信装置100、中継装置200及び受信装置300の構成を示した機能ブロック図である。
(送信装置100)
送信装置100は、例えばデジタルビデオカメラ等の映像を撮像する撮像装置である。図2に図示した例では、送信装置100は、例えば制御部110と、記憶部120と、通信部130と、入力部140と、撮像部150とを含む。
制御部110は、送信装置100が有する各構成を制御する。例えば、制御部110は、図2に示すように、入力部140から出力された操作信号に応じたコントロール信号を各構成に出力し、撮像制御、画像処理制御および記録制御等を実行する。また、制御部110は、通信部130を制御する通信制御部としても機能する。
記憶部120は、例えばメモリーカード、HDD(Hard
Disk Drive)又はSSD(Solid State Drive)等の記憶媒体である。記憶部120は、後述する制御部110から送信される所定の形式に符号化されたデータや中継装置200等の外部装置から送信されるデータを記憶する。
通信部130は、制御部110による制御に従い、例えば中継装置200等の周囲の外部装置と無線通信を行うインターフェイスである。例えば、通信部130は、中継装置200をアクセスポイントとするWi−Fi無線LANに接続することで、中継装置200を介して同じLANに接続された受信装置300や中継装置200とデータの送受信を行う。
入力部140は、ユーザによる操作入力を検出し、操作信号として制御部110に出力する。入力部140は、例えば撮像の開始と終了が入力される撮像ボタン等の物理的な構成よりなるボタンであってもよく、操作画面へのタッチ操作を検出するタッチパネルであってもよい。
撮像部150は、例えばレンズ等の光学系と、CCD(Charge Coupled Device)またはCMOS(Complementary
Metal Oxide Semiconductor)等の撮像素子からなる信号変換部を含む。撮像部150は、制御部110の制御に従い、光学系により形成される被写体像を信号変換部にて電気的な画像信号に変換させる。画像信号は、制御部110にて所定の形式に符号化され、記憶部120に送られる。
(中継装置200)
中継装置200は、例えばモバイルWi―Fiルーターやデザリング機能を有するスマートフォン等である。中継装置200は、例えば制御部210と、記憶部220と、通信部230とを含む。
制御部210は、中継装置200が有する各構成を制御する。例えば、制御部210は、記録制御および画像処理制御等を実行する。また、制御部210は、通信部230を制御する通信制御部としても機能する。
記憶部220は、例えばメモリーカード、HDD又はSSD等の記憶媒体である。記憶部220は、制御部210による制御に従い、例えば送信装置100から通信部230に送信される符号化データや、受信装置300から通信部230に送信されるデータを記憶する。
通信部230は、制御部210による制御に従い、例えば送信装置100及び受信装置300と無線通信を行うインターフェイスである。例えば、通信部230は、アクセスポイントとなり、送信装置100と受信装置300とが接続されたWi−Fi無線LANを形成する。また、通信部230は、送信装置100と受信装置300とが接続されたLANと異なるネットワーク400に接続することができ、異なるネットワークに接続されたデータ記憶装置とデータ通信を行うことができる。さらに、通信部230は、ゲートウェイとして機能し、LANと異なるインターネット等にデータ通信をすることができる。
(受信装置300)
受信装置300は、例えばウェアブルデバイスやタブレット端末等の情報処理装置である。受信装置300は、例えば制御部310と、記憶部320と、通信部330と、入力部340と、表示部360とを含む。
制御部310は、受信装置300が有する各構成を制御する。例えば、制御部310は、図2に示すように、入力部340から出力された操作信号に応じたコントロール信号を各構成に出力し、画像処理制御、記録制御およびデータ生成制御等を実行する。また、制御部310は、同じLANに接続された装置からのデータの送信に応じて、記録制御等を実行する。さらに、制御部310は、通信部330を制御する通信制御部としても機能する。
記憶部320は、例えばメモリーカード、HDD又はSSD等の記憶媒体である。記憶部320は、中継装置200を介して送信装置100から送信されるデータを記憶する。また、記憶部320は、制御部310により生成されるデータを記憶する。
通信部330は、制御部310による制御に従い、例えば送信装置100及び中継装置200と無線通信を行うインターフェイスである。例えば、通信部330は、中継装置200をアクセスポイントとするWi−Fi無線LANに接続することで、中継装置200を介して同じLANに接続された送信装置100や中継装置200とデータの送受信を行う。
入力部340は、ユーザによる操作入力を検出し、操作信号として制御部310に出力する。入力部340は、例えば選択操作や移動操作が入力される撮像ボタン等の物理的な構成よりなるボタンであってもよく、後述する表示部360へのタッチ操作を検出するタッチパネルであってもよい。
表示部360は、例えばLCD(Liquid Crystal Display)、または有機EL(Electro Luminescence)ディスプレイなどの表示装置である。表示部360は、制御部310による制御に従い、例えば記憶部320に記憶された映像等のコンテンツを表示してユーザに提示する。
図3は、本実施形態に係る受信装置300の表示部360における表示例の説明図である。図3に図示した例では、表示部360は、タッチパネルからなり、ユーザの接触操作を感知する入力部340としても機能する。
表示部360には、例えばコンテンツ表示領域361と、シークバー362と、再生位置363と、再生時間364と、総再生時間365とが表示される。
コンテンツ表示領域361は、例えば記憶部320に記憶された映像が表示される。シークバー362は、総再生時間365に対する再生位置363の相対的な位置を示す。再生位置363は、シークバー362上に表示され、コンテンツ表示領域361に再生されている映像の再生位置を相対的に示す。再生時間364は、再生位置363における再生時間を示す。総再生時間365は、コンテンツ表示領域361に表示された映像の総再生時間を示す。
例えば、ユーザは、接触操作を行い、再生位置363をシークバー362上の任意の位置に移動させることにより、任意の再生位置の映像をコンテンツ表示領域361に表示させることができる。以上、本開示の第1の実施形態に係るデータ伝送システムの概略構成を説明した。
[1−2.データを編集し、LANと異なるネットワーク送信する動作例]
次に、図4〜6を参照して本実施形態に係るデータ伝送システムにおいて、映像を編集し、LANと異なるネットワーク400へ送信する動作の一例を説明する。本実施形態の編集方法では、送信装置100に記憶された高解像度の品質の映像について、ユーザが目的とする任意の再生時間の範囲の映像が切り出される(このような処理をトリミングともいう)。トリミングされた映像は、LANと異なるネットワーク400に接続されたデータ記憶装置に送信される。
図4は、本実施形態に係るデータ伝送システムにおいて、映像を編集し、LANと異なるネットワーク400へ送信する動作を示した説明図である。図5Aは、本実施形態における、低周波成分データD1及び中周波成分データD2の送信シーケンスを示したシーケンス図である。図5Bは、本実施形態における、高周波成分データD3の送信シーケンス及び映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。
本実施形態における映像は、例えば送信装置100にて撮像された映像のデータである。送信装置100で撮像される映像は、制御部110にてSVC(Scalable
Video Coding)形式に符号化され、記憶部120に記憶される。SVC形式は、多層的なデータ構造を有し、複数のレイヤの組み合わせにより複数の品質で再生させることができる映像符号化形式である。
本実施形態では、図4に図示したように、SVC形式で符号化されたデータは、低周波成分データD1と、中周波成分データD2と、高周波成分データD3との3つの符号化データからなるレイヤを有する。SVC形式で符号化されたデータは、低解像度、中解像度及び高解像度の3つの品質で再生することができる。このとき、低解像度の品質で再生が行わる場合、低周波成分データD1が用いられる。また、中解像度の品質で再生が行われる場合、低周波成分データD1及び中周波成分データD2の2つの符号化データが用いられる。さらに、高解像度の品質で再生が行われる場合、低周波成分データD1、中周波成分データD2及び高周波成分データD3の3つの符号化データが用いられる。
つまり、高い解像度で再生するためのデータは、低周波成分データD1に加えてそれよりも高い周波成分データを差分として追加することで得られる。
(低周波成分データの送信シーケンス)
まず、低周波成分データD1の送信シーケンスについて説明する。送信装置100の記憶部120に一つまたは複数のコンテンツについての符号化データが記憶されている場合、制御部110は、受信装置300に送信する符号化データを選択する。このとき、制御部110は、例えばデータの形式がSVC形式か否かを判断し、SVC形式の符号化データを選択する(S110)。
次いで、通信部130は、制御部110による制御に従い、選択されたSVC形式の符号化データの低周波成分データD1を中継装置200に送信する(S112)。
さらに、中継装置200の制御部210は、送信された低周波成分データD1を記憶部220に保持させる(S114)。ステップS114の後、通信部230は、制御部210による制御に従い、送信された低周波成分データD1を受信装置300に送信する(S116)。本実施形態におけるデータの保持とは、中継のためにデータを一時的に記憶させることではなく、中継後もデータを処理できるように記憶部220に記憶させることである。
その後、受信装置300の制御部310は、送信された低周波成分データD1を記憶部320に記憶させる(S118)。図4に図示した状態(i)は、ステップS118の処理が行われた状態を示し、送信装置100から送信された低周波成分データD1が、中継装置200及び受信装置300に記憶されている状態である。
状態(i)において、例えば受信装置300は、送信された低周波成分データD1を用いて低解像度の品質でコンテンツを再生することができる。これにより、ユーザは、低解像度の品質の映像を確認することができ、映像の概略を把握することができる。このとき、低周波成分データD1は、予め受信装置300内に記憶されており、通信環境の影響がなく表示されるため、即応性を高めることができる。
また、後述する受信装置300にて中解像度の品質でストリーミング再生を行う場合においても、ユーザが選択した再生位置について、ストリーミング再生が開始される前に低解像度の品質で映像または画像を表示させることができる。これにより、ストリーミング再生が開始されるまでの間に、ユーザはどのような映像が表示されるかを把握することができ、目的の映像を容易に探し出すことが可能となる。
低周波成分データD1の送信シーケンスは、制御部110により自動的に開始されてもよく、ユーザの操作に基づいて開始されてもよい。自動的にシーケンスが開始される場合、例えば制御部110が一定時間毎に記憶部120に記憶された符号化データから未送信のSVC形式の符号化データを選択してもよい。また、記憶部120に新たな符号化データが記憶されたタイミングで、制御部110は記憶部120に記憶された符号化データから未送信のSVC形式の符号化データを選択してもよい。
(中周波成分データの送信シーケンス)
次に、中周波成分データD2の送信シーケンスについて説明をする。中周波成分データD2の送信シーケンスは、例えば、ステップS118の後、受信装置300にて低周波成分データD1に基づいて再生位置がユーザの操作により選択されることで開始する。中周波成分データD2の送信シーケンスが開始すると、受信装置300の制御部310は、選択された再生位置を示す第1の位置情報である再生位置情報を生成する(S120)。再生位置情報は、例えば、選択された再生位置を示す再生時間を含む。
さらに、通信部330は、制御部310による制御に従い、生成された再生位置情報を中継装置200に送信する(S122)。ステップS122の後、中継装置200の通信部230は、制御部210による制御に従い、受信した再生位置情報を送信装置100に送信する(S124)。
その後、送信装置100の制御部110は、受信した再生位置情報に対応する中周波成分データD2の少なくとも一部を選択する(S126)。ステップS126の後、通信部130は、制御部110による制御に従い、選択された中周波成分データD2を中継装置200に送信する(S128)。
次いで、中継装置200の制御部210は、受信した中周波成分データD2を記憶部220に保持させる(S130)。ステップS130の後、通信部230は、制御部210の制御に従い、受信した中周波成分データD2を受信装置300に送信する(S132)。
さらに、受信装置300の制御部310は、受信した中周波成分データD2を記憶部320に記憶させる(S134)。図4に図示した状態(ii)は、ステップS134の処理が行われた状態を示し、選択された中周波成分データD2が中継装置200及び受信装置300に記憶されている状態である。
中周波成分データの送信シーケンスが開始した後、受信装置300は、受信した中周波成分データD2と予め記憶していた低周波成分データD1を用いて、中解像度の品質でコンテンツを再生する。このとき、制御部310は、フレームレートに応じて再生位置P1を変更する。例えば、制御部310は、フレームレートが秒速30フレームである場合、33ミリ秒だけ再生位置を進める。再生位置P1が変更された後、制御部310により変更された再生位置P1に対応する再生位置情報が生成され、S120からS134までの処理が繰り返される。
なお、本実施形態では、ステップS126において、再生位置情報に対応する中周波成分データD2として、再生位置P1を含む中周波成分データD2の一部に加え、さらにその先の再生位置に対応する一部が選択されてもよい。このとき、制御部110は、例えば再生位置P1を含む中周波成分データD2の一部を先に送信させ、その後、さらにその先の再生位置に対応する中周波成分データD2の一部を送信させてもよい。このとき、再生位置のどの程度先の再生位置が選択されるかは、通信環境に応じて自動的に設定されてもよく、ユーザにより任意に設定されてもよい。
図4に示した状態(iii)は、再生位置P1を含む中周波成分データD2の一部、及びその先の再生位置に対応する中周波成分データD2の一部が、中継装置200及び受信装置300に記憶されている状態である。受信装置300において、コンテンツの再生中にこのような処理が行われることで、中解像度の品質でのストリーミング再生が行われる。
図6を参照して、中周波成分データD2の取得する処理の詳細について説明する。図6は、本実施形態に係る中継装置200の中周波成分を取得する処理を示したフローチャートである。
まず、中周波成分データD2の送信シーケンスが開始されると、受信装置300の制御部310は、再生位置P1を選択する(S170)。次いで、制御部310は、再生位置P1に応じて、中周波成分データが記憶される記憶部320の中周波成分データテーブルを更新する(S172)。中周波成分データテーブルは、図4の受信装置300のデータテーブルの中で、中周波成分データD2の集合である。制御部310が更新に用いるアルゴリズムは、アプリケーション依存ではあるが、最もシンプルなアルゴリズムを表1に示す。
Figure 2015033629
表1の1行目を参照すると、テーブルの各要素は以下の4つの状態を持つ。
NONE: 中周波成分データD2は存在しないし、取得する予定もない。
WILL_FETCH: 中周波成分データD2は存在しないので、取得する予定。
FETCHING: 中周波成分データD2は存在しないので、取得中。
FILLED: 中周波成分データは存在する。
また、表1の2行目〜3行目を参照すると、再生位置に相当する要素がNONEの場合はWILL_FETCHとなり、中周波成分データD2の取得が試みられる。さらに、表1の4行目〜5行目を参照すると、再生位置に相当する要素の次の要素がNONEの場合はWILL_FETCHとなり、中周波成分データD2の取得が試みられる。
図6のステップS172の後、制御部310は、中周波成分データテーブルに「取得予定」の項目があるか否かを判断する(S174)。
ステップS174の判断の結果、「取得予定」の項目がない場合、制御部310は、中周波成分データD2を取得する動作を終了する。
また、ステップS174の判断の結果、「所得予定」の項目がある場合、制御部310は、通信帯域に中周波成分データD2を伝送する余裕があるか否かを判断する(S176)。
ステップS176の判断の結果、通信帯域に余裕がない場合、制御部310は、中周波成分を取得する動作を終了する。
また、ステップS176の判断の結果、通信帯域に余裕がある場合、制御部310は、「取得予定」の中周波成分データD2を含む再生位置情報を生成し、中継装置200に送信する。さらに、制御部310は、「取得予定」の項目を「取得中」に変更する(S178)。これにより、「取得予定」の中周波成分データD2が、送信装置100から中継装置200を介して受信装置300に送信される。
なお、図6に図示した処理は、映像が再生中等の再生位置が自動で変化する場合、またはユーザの操作により再生位置が変化する場合にも行われる。図4の状態(iv)は、状態(iii)の後、再生位置P1がユーザの操作により先の再生位置に移動した状態を示す。再生位置が移動された後、ステップS120〜S134の処理が行われ、移動した再生位置P1に対応した中周波成分データD2が記憶部320に記憶される。
さらに、このとき、ステップS126において、例えば、再生位置情報に対応する中周波成分データD2として、再生位置P1を含む中周波成分データD2の一部に加え、さらにその先の再生位置P1に対応する一部が選択されてもよい。このとき、制御部110は、例えば再生位置P1を含む中周波成分データD2の一部を先に送信させ、その後、さらにその先の再生位置に対応する中周波成分データD2の一部を送信させてもよい。再生位置P1のさらにその先の再生位置に対応する中周波成分データD2が送信されることで、図4の状態(v)に示すように、中継装置200及び受信装置300に対応する中周波成分データD2が記憶される。
(高周波成分データの送信・高画質映像の生成シーケンス)
次に、高周波成分データの送信・高画質映像の生成シーケンスについて説明する。高周波成分データの送信・高画質映像の生成シーケンスは、ステップS134の後、例えばユーザの操作により受信装置300にてトリミング範囲が選択されることで開始する。
まず、任意の再生位置の範囲に対するユーザの選択操作に基づいて、制御部310はトリミング範囲情報を生成する(S140)。トリミング範囲情報は、例えばトリミングを開始する再生位置の位置情報と、トリミングを終了する再生位置の位置情報とが含まれる。ユーザの選択操作は、例えば図3に図示したシークバー362上で、トリミングの開始位置と終了位置とが選択される操作であり、入力部340により検出される。図4の状態(v)は、ユーザの選択操作に基づいて、再生位置の範囲P2が選択された状態を示す。
次いで、通信部330は、制御部310による制御に従い、トリミング範囲情報を中継装置200に送信する(S142)。S142の後、中継装置200の通信部230は、制御部210による制御に従い、受信したトリミング範囲情報を送信装置100に送信する(S144)。
さらに、送信装置100の制御部110は、受信したトリミング範囲情報に対応する高周波成分データD3の少なくとも一部を選択する(S146)。このとき、制御部110は、例えばトリミング範囲情報が示す再生位置の範囲に対応する高周波成分データD3の部分を選択する。
その後、通信部130は、制御部110による制御に従い、選択された高周波成分データD3を中継装置200に送信する(S148)。
次いで、中継装置200の制御部210は、受信した高周波成分データD3を記憶部220に記憶させる(S150)。図4の状態(vi)は、ステップS150の後、トリミング範囲情報が示す再生位置の範囲P2に対応した高周波成分データD3が記憶部220に記憶されている状態を示す。
さらに、制御部210は、記憶部220に記憶された、低周波成分データD1と中周波成分データD2と高周波成分データD3とを用いて、トリミング範囲情報に対応する範囲についての高解像度の品質の映像を生成(レンダリングともいう)する(S152)。図4の状態(vii)は、ステップS152の後、トリミング範囲情報の示す再生位置の範囲P2に対応した範囲についての高解像度の品質の映像が生成された状態を示す。
(LANと異なるネットワークへの送信シーケンス)
次に、中継装置200にてレンダリングされた映像をLANと異なるネットワーク400へ送信するシーケンスについて説明する。レンダリングされた映像をLANと異なるネットワーク400へ送信するシーケンスは、例えばステップS152の後、ユーザの操作により受信装置にて送信操作が選択されることで開始してもよい。また、レンダリングされた映像をLANと異なるネットワーク400へ送信するシーケンスは、例えばステップS152の後、制御部210の制御に従い、自動的に行われてもよい。本実施形態では、レンダリングされた映像は、例えばLANと異なるネットワーク400に接続されたサーバや情報処理装置等のデータ記憶装置に送信される。
(中継装置200の中継動作)
なお、本実施形態では、中継装置200の制御部210は、送信装置から送信される低周波成分データD1や中周波成分データD2等の符号化データを中継する際に、記憶部220に保持させるか否かを符号化データの形式に基づいて判断してもよい。
例えば、制御部210は、中継するべき符号化データを受信した後、受信した符号化データがSVC形式か否かを判断する。判断の結果、受信した符号化データがSVC形式である場合、制御部210は、記憶部220に受信した符号化データを保持させ、中継を行う。一方、受信した符号化データがSVC形式でない場合、制御部210は、受信した符号化データを保持させず、中継のみ行う。さらに、受信した符号化データがSVC形式でない場合、例えば後述する他の形式に基づいた判断がさらに行われることで、符号化データの保持が行われてもよい。
以上、本実施形態に係るデータ伝送システムにおいて、映像を編集し、LANと異なるネットワーク400へ送信する動作の一例を説明した。本実施形態に係るデータ伝送システムでは、SVC形式で記憶された映像について、予め低周波成分データD1が送信装置100から送信され、中継装置200と受信装置300とに記憶される。これにより、ユーザは、低解像度の品質の映像を確認することができ、映像の概略を把握することができる。このとき、低周波成分データD1は、予め受信装置300内に記憶されており、通信環境の影響がなく表示されるため、即応性を高めることができる。
また、本実施形態に係るデータ伝送システムでは、再生位置情報に対応する中周波成分データD2が送信装置100から受信装置300に送信され、中継装置200及び受信装置300に記憶される。このとき、ユーザが選択した任意の箇所についての中周波成分データD2の部分のみが送信されるため、中周波成分データD2を全て送信する場合と比較すると、データの総転送量を低減することができる。これにより、システム全体における電力消費を抑えることができる。
さらに、本実施形態に係るデータ伝送システムでは、ユーザは中解像度の品質で映像をストリーミング再生させながら、目的の再生位置又は範囲をシーキングする。このとき、本実施形態に係るデータ伝送システムでは、高解像度の品質で映像をストリーミング再生させながらシーキングする場合に比べ、データの総転送量を低減でき、即応性の高めることができる。
さらに、本実施形態に係るデータ伝送システムでは、中継装置200は、中継する低周波成分データD1や中周波成分データD2の符号化データを保持する。例えば中継装置200から受信装置300への伝送が正常に行われず、受信装置300へ再度符号化データを伝送させる場合において、本実施形態では、中継装置200に記憶された符号化データを受信装置300に送信する処理が行われる。したがって、本実施形態に係るデータ伝送システムでは、かかる場合においても、送信装置100から受信装置300へのデータの伝送が発生しないため、データの総転送量を低減でき、システム全体における電力消費を抑えることができる。
さらに、本実施形態に係るデータ伝送システムでは、トリミング範囲情報に対応する高周波成分データD3が送信装置100から中継装置200に送信され、中継装置200にてトリミング範囲情報に対応した高解像度の品質の映像がレンダリングされる。このとき、受信装置300には高周波成分データD3は送信されず、中継装置200にも高周波成分データD3のレンダリングに必要な部分しか送信されないため、データの総転送量が低減される。これにより、本実施形態に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
さらに、本実施形態に係るデータ伝送システムでは、中継装置200に記憶された、低周波成分データD1、中周波成分データD2及び高周波成分データD3を用いてレンダリングが行われ、レンダリングされた映像がLANと異なるネットワーク400に送信される。このため、中継装置200に各符号化データを記憶させない場合と比べ、レンダリングした映像をLANと異なるネットワーク400に送信する際に、送信装置100又は受信装置300と中継装置200との間のデータ転送量を低減することができる。これにより、本実施形態に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
<2.第2の実施形態(データが圧縮形式の例)>
[2−1.データ伝送システムの概略説明]
次に、本開示の第2の実施形態に係るデータ伝送システムについて説明する。本実施形態では、送信装置100に記憶された映像を編集し、所定の解像度の品質でLANと異なるネットワーク400へ送信する処理例である。
本実施形態では、映像についての符号化データが圧縮された形式で送信装置100に記憶されることが、第1の実施形態と異なる。送信装置100に記憶された符号化データは、例えば空間方向に圧縮された符号化データである。記憶部120には、同一のコンテンツを示す複数の圧縮率で圧縮された複数の符号化データが記憶される。また、本実施形態では、映像を所定の解像度の品質でLANと異なるネットワーク400へ送信することが第1の実施形態と異なる。なお、本実施形態に係るデータ伝送システム、送信装置100、中継装置200及び受信装置300の装置構成については、上述の第1の実施形態と同様とする。
[2−2.中解像度のデータを編集し、LANと異なるネットワークへ送信する動作例]
図7〜9を参照して、中解像度の品質の映像を生成し、生成した映像をLANと異なるネットワーク400へ送信する動作例について説明する。図7は、本開示の第2の実施形態に係るデータ伝送システムにおいて、映像を編集し、中解像度のデータをLANと異なるネットワーク400へ送信する動作を示した説明図である。図8Aは、本実施形態における、低解像度データD1及び中解像度データD2の送信シーケンスを示したシーケンス図である。図8Bは、本実施形態における、中解像度の映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。
図7に図示したように、本実施形態では、送信装置100の記憶部120には、同一のコンテンツを示す低解像度データD1と、中解像度データD2と、高解像度データD3との3つの符号化データが記憶される。3つの符号化データは、圧縮率が異なり、低解像度データD1が最も圧縮率が高く、高解像度データD3が最も圧縮率が低くなる。したがって、3つの符号化データの容量は、低解像度データD1が最も少なく、高解像度データD3が最も多くなる。また、低解像度データD1は低解像度の品質での再生、中解像度データD2は中解像度の品質での再生、高解像度データD3は高解像度の品質での再生にそれぞれ個別に用いられる。
(低解像度データの送信シーケンス)
まず、低解像度データD1の送信シーケンスについて説明する。送信装置100の記憶部120に一つまたは複数のコンテンツについての符号化データが記憶されている場合、制御部110は、受信装置300に送信するデータを選択する。このとき、制御部110は、例えば同一のコンテンツを示す符号化データが複数の圧縮率で圧縮された形式か否かを判断し、低解像度、中解像度及び高解像度の3つの圧縮率で圧縮された形式の符号化データを選択する(S210)。
次いで、通信部130は、制御部110による制御に従い、選択された低解像度データD1を中継装置200に送信する(S212)。ステップS212の後、通信部230は、制御部210による制御に従い、送信された低解像度データD1を受信装置300に送信する(S214)。
さらに、受信装置300の制御部310は、送信された低解像度データD1を記憶部320に記憶させる(S216)。図7に図示した状態(i)は、ステップS118の処理が行われた状態を示し、送信装置100から送信された低解像度データD1が、受信装置300に記憶されている状態を示す。状態(i)において、例えば受信装置300は、送信された低解像度データD1を用いて低解像度の品質でコンテンツを再生することができる。
低解像度データD1の送信シーケンスは、第1の実施形態における低周波成分データD1の送信シーケンスと同様に、制御部110により自動的に開始されてもよく、ユーザの操作に基づいて開始されてもよい。
(中解像度データの送信シーケンス)
次に、中解像度データD2の送信シーケンスについて説明をする。中解像度データD2の送信シーケンスは、例えば、ステップS216の後、受信装置300にて低解像度D1に基づいて再生位置がユーザの操作により選択されることで開始する。まず、中解像度データD2の送信シーケンスが開始すると、受信装置300の制御部310は、選択された再生位置を示す第1の位置情報である再生位置情報を生成する(S220)。再生位置情報は、例えば、選択された再生位置を示す再生時間を含む。
次いで、通信部330は、制御部310による制御に従い、生成された再生位置情報を中継装置200に送信する(S222)。ステップS222の後、中継装置200の通信部230は、制御部210による制御に従い、受信した再生位置情報を送信装置100に送信する(S224)。
さらに、送信装置100の制御部110は、受信した再生位置情報に対応する中解像度データD2の少なくとも一部を選択する(S226)。ステップS126の後、通信部130は、制御部110による制御に従い、選択された中解像度データD2を中継装置200に送信する(S228)。
その後、中継装置200の制御部210は、受信した中解像度データD2を記憶部220に保持させる(S230)。ステップS230の後、通信部230は、制御部210の制御に従い、受信した中解像度データD2を受信装置300に送信する(S232)。
次いで、受信装置300の制御部310は、受信した中解像度データD2を記憶部320に記憶させる(S234)。図7に図示した状態(ii)は、ステップS234の処理が行われた状態を示し、選択された中解像度データD2が、送信装置100及び中継装置200に記憶されている状態である。
中解像度データの送信シーケンスが開始した後、受信装置300は、受信した中解像度データD2を用いて、中解像度の品質でコンテンツを再生する。このとき、制御部310は、第1の実施形態と同様に、フレームレートに応じて再生位置P1を変更する。
(中解像度の映像生成シーケンス)
次に、中解像度の映像生成シーケンスについて説明する。中解像度の映像生成シーケンスは、ステップS234の後、ユーザの操作により受信装置300にてトリミング範囲が選択されることで開始する。
まず、任意の再生位置の範囲に対するユーザの選択操作に基づいて、制御部310は第2の位置情報であるトリミング範囲情報を生成する(S240)。トリミング範囲情報は、例えばトリミングを開始する再生位置の位置情報と、トリミングを終了する再生位置の位置情報とが含まれる。ユーザの選択操作は、第1の実施形態と同様に検出される。図7の状態(v)は、ユーザの選択操作に基づいて、再生位置の範囲P2が選択された状態を示す。
次いで、通信部330は、制御部310による制御に従い、トリミング範囲情報を中継装置200に送信する(S242)。
さらに、制御部210は、記憶部220に記憶された、中解像度データD2を用いて、トリミング範囲情報に対応する範囲についての中解像度の品質の映像を生成する(S244)。図7の状態(vii)は、ステップS244の後、トリミング範囲情報の示す再生位置の範囲P2に対応した範囲についての中解像度の品質の映像が生成された状態を示す。
(LANと異なるネットワークへの送信シーケンス)
次に、生成した映像をLANと異なるネットワーク400へ送信するシーケンスについて説明する。生成した映像をLANと異なるネットワーク400へ送信するシーケンスは、例えばステップS244の後、ユーザの操作により送信操作が選択されることで開始してもよい。また、生成した映像をLANと異なるネットワーク400へ送信するシーケンスは、例えばステップS244の後、制御部210の制御に従い、自動的に行われてもよい。本実施形態では、生成された映像は、例えばLANと異なるネットワーク400に接続されたサーバや情報処理装置等のデータ記憶装置に送信される。
(中継装置200の中継動作)
なお、本実施形態では、中継装置200の制御部210は、送信装置から送信される低解像度データD1や中解像度データD2等の符号化データを中継する際に、保持して記憶部220に記憶させるか否かを判断する。図9は、本実施形態に係る中継装置200のデータの中継動作を示したフローチャートである。
まず、中継装置200の通信部230は、中継するべきデータを受信する(S280)。中継するべきデータは、例えば送信装置100から送信される、低解像度データD1、中解像度データD2又は高解像度データD3等の符号化データである。
次いで、制御部210は、受信したデータを品質情報に基づいて保持するか否かを判断する(S282)。品質情報は、中継装置200の処理で用いられるコンテンツの品質を示す。例えば、品質情報は、ステップS244やステップS250に用いられるコンテンツの品質を示す。制御部210は、受信したデータが、品質情報が示すコンテンツの品質の処理に用いられるデータである場合、受信したデータを保持する。品質情報は、低周波成分データシーケンスが行われる前に予め設定されており、例えば自動またはユーザにより任意に設定される。
ステップS282の判断の結果、保持されるデータである場合、制御部210は、記憶部220に受信したデータを保持させる(S284)。ステップS284の後、通信部230は、制御部210の制御に従い、受信したデータを受信装置300に送信する(S286)。
また、ステップS282の判断の結果、保持されないデータである場合、ステップS286の処理を行う。ステップS286の後、制御部210は、中継動作を終了させる。
例えば、図8A及び図8Bに図示した例では、中継装置200は、中解像度の品質で映像を生成し、レンダリングした映像をLANと異なるネットワーク400へ送信する。したがって、制御部210は、中解像度データD2のみ記憶部220に保持させる。例えば、ステップS212〜S214の間では、送信装置100から受信するデータは低解像度データD1であるため、制御部210はデータを保持せずに中継のみ行う。また、例えばステップS230では、送信装置100から受信するデータは中解像度データD2であるため、制御部210はデータを保持する。
以上、本実施形態に係るデータ伝送システムにおいて、中解像度の品質の映像を生成し、生成した映像をLANと異なるネットワーク400送信する動作例について説明した。本動作例では、予め低解像度データD1が送信装置100から送信され、受信装置300に記憶される。これにより、ユーザは、低解像度の品質の映像を確認することができ、映像の概略を把握することができる。このとき、低解像度データD1は、予め受信装置300内に記憶されており、通信環境の影響がなく表示されるため、即応性を高めることができる。
また、本動作例に係るデータ伝送システムでは、再生位置情報に対応する中周波成分データD2が送信装置100から受信装置300に送信される。このとき、ユーザが選択した任意の箇所についての中周波成分データD2の部分のみが送信されるため、中周波成分データD2を全て送信する場合と比較すると、データの総転送量を低減することができる。これにより、システム全体における電力消費を抑えることができる。
さらに、本動作例に係るデータ伝送システムでは、ユーザは中解像度の品質で映像をストリーミング再生させながら、目的の再生位置又は範囲をシーキングする。このとき、作例に係るデータ伝送システムでは、高解像度の品質で映像をストリーミング再生させながらシーキングする場合に比べ、データの総転送量を低減でき、即応性の高めることができる。
さらに、本動作例に係るデータ伝送システムでは、中継装置200に記憶された、中解像度データD2を用いてレンダリングが行われ、レンダリングされた映像がLANと異なるネットワーク400に送信される。このため、中継装置200に中解像度データD2を記憶させない場合と比べ、レンダリングした映像をLANと異なるネットワーク400に送信する際に、送信装置100又は受信装置300と中継装置200との間のデータ転送量を低減することができる。これにより、作例に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
[2−3.高解像度のデータを編集し、LANと異なるネットワークへ送信する動作例]
次に、図10、図11A及び図11Bを参照して、高解像度の品質の映像を生成し、生成した映像をLANと異なるネットワーク400へ送信する動作例について説明する。図10は、本実施形態に係るデータ伝送システムにおいて、映像を編集し、高解像度のデータをLANと異なるネットワーク400へ送信する動作を示した説明図である。図11は、本実施形態における、低解像度データD1及び中解像度データD2の送信シーケンスを示したシーケンス図である。図11Bは、本実施形態における、高解像度データD3の送信シーケンス及び高解像度の映像を生成してLANと異なるネットワークへ送信するシーケンスを示したシーケンス図である。
(低解像度データの送信シーケンス)
まず、低解像度データD1の送信シーケンスについて説明する。低解像度データの送信シーケンスにおけるステップS310〜S316の処理は、図8Aで説明したステップS210〜S216の処理と同様である。
(中解像度データの送信シーケンス)
次に、中解像度データD2の送信シーケンスについて説明をする。中解像度データD2の送信シーケンスは、例えば、ステップS316の後、受信装置300にて低解像度D1に基づいて再生位置がユーザの操作により選択されることで開始する。中解像度データD2の送信シーケンスが開始すると、受信装置300の制御部310は、選択された再生位置を示す第1の位置情報である再生位置情報を生成する(S320)。再生位置情報は、選択された再生位置を示すデータを含む。
さらに、通信部330は、制御部310による制御に従い、生成された再生位置情報を中継装置200に送信する(S322)。ステップS322の後、中継装置200の通信部230は、制御部210による制御に従い、受信した再生位置情報を送信装置100に送信する(S224)。
その後、送信装置100の制御部110は、受信した再生位置情報に対応する中解像度データD2の少なくとも一部を選択する(S326)。ステップS326の後、通信部130は、制御部110による制御に従い、選択された中解像度データD2を中継装置200に送信する(S328)。
次いで、中継装置200の通信部230は、制御部210の制御に従い、受信した中解像度データD2を受信装置300に送信する(S330)。
さらに、受信装置300の制御部310は、受信した中解像度データD2を記憶部320に記憶させる(S332)。図10に図示した状態(ii)は、ステップS332の処理が行われた状態を示し、選択された中解像度データD2が、送信装置100及び受信装置300に記憶されている状態を示す。
中解像度データの送信シーケンスが開始した後、受信装置300は、受信した中解像度データD2を用いて、中解像度の品質でコンテンツを再生する。このとき、制御部310は、第1の実施形態と同様に、フレームレートに応じて再生位置P1を変更する。
(高解像度データの送信及び高解像度の映像生成シーケンス)
次に、高解像度データの送信及び高解像度の映像生成シーケンスについて説明する。高解像度データの送信及び高解像度の映像生成シーケンスは、ステップS332の後、ユーザの操作により受信装置300にてトリミング範囲が選択されることで開始する。
まず、任意の再生位置の範囲に対するユーザの選択操作に基づいて、制御部310はトリミング範囲情報を生成する(S340)。トリミング範囲情報は、例えばトリミングを開始する再生位置の位置情報と、トリミングを終了する再生位置の位置情報とが含まれる。ユーザの選択操作は、第1の実施形態と同様に検出される。図10の状態(v)は、ユーザの選択操作に基づいて、再生位置の範囲P2が選択された状態を示す。
次いで、通信部330は、制御部310による制御に従い、トリミング範囲情報を中継装置200に送信する(S342)。S342の後、中継装置200の通信部230は、制御部210による制御に従い、受信したトリミング範囲情報を送信装置100に送信する(S344)。
さらに、送信装置100の制御部110は、受信したトリミング範囲情報に対応する高解像度データD3の少なくとも一部を選択する(S346)。このとき、制御部110は、例えばトリミング範囲情報が示す再生位置の範囲に対応する高解像度データD3の部分を選択する。
その後、通信部130は、制御部110による制御に従い、選択された高解像度データD3を中継装置200に送信する(S348)。
次いで、中継装置200の制御部210は、受信した高解像度データD3を記憶部220に記憶させる(S350)。図10の状態(vi)は、ステップS350の後、トリミング範囲情報が示す再生位置の範囲P2に対応した高解像度データD3が記憶部220に記憶されている状態を示す。
さらに、制御部210は、記憶部220に記憶された、高解像度データD3を用いて、トリミング範囲情報に対応する範囲についての高解像度の品質の映像を生成する(S352)。図10の状態(vii)は、ステップS352の後、トリミング範囲情報の示す再生位置の範囲P2に対応した範囲についての高解像度の品質の映像が生成された状態を示す。
(LAN外への送信シーケンス)
次に、生成した映像をLANの外へ送信するシーケンスについて説明する。生成した映像をLANの外へ送信するシーケンスにおけるステップS350の処理は、図8Bで説明したステップS250の処理と同一である。
(中継装置200の中継動作)
なお、高解像度の品質の映像を編集し、LANの外へ送信する場合においても、中継装置200のデータを中継する動作は、図9に図示した例と同様に行われる。
したがって、制御部210は、高解像度の品質の映像に利用しない低解像度データD1と中解像度データD2は記憶部220に保持させない。例えば、ステップS312〜S314の間では、送信装置100から受信するデータは低解像度データD1であるため、データの保持はせず、中継のみ行う。また、例えばステップS328〜S330の間では、送信装置100から受信するデータは中解像度データD2であるため、データの保持はせず、中継のみ行う。
以上、本実施形態に係るデータ伝送システムにおいて、高解像度の品質の映像を生成し、生成した映像をLANと異なるネットワーク400送信する動作例について説明した。本動作例では、予め低解像度データD1が送信装置100から送信され、受信装置300に記憶される。これにより、ユーザは、低解像度の品質の映像を確認することができ、映像の概略を把握することができる。このとき、低解像度データD1は、予め受信装置300内に記憶されており、通信環境の影響がなく表示されるため、操作の即応性を高めることができる。
また、本動作例に係るデータ伝送システムでは、再生位置情報に対応する中周波成分データD2が送信装置100から受信装置300に送信される。このとき、ユーザが選択した任意の箇所についての中周波成分データD2の部分のみが送信されるため、中周波成分データD2を全て送信する場合と比較すると、データの総転送量を低減することができる。これにより、システム全体における電力消費を抑えることができる。
さらに、本動作例に係るデータ伝送システムでは、ユーザは中解像度の品質で映像をストリーミング再生させながら、目的の再生位置又は範囲をシーキングする。このとき、本実施形態に係るデータ伝送システムでは、高解像度の品質で映像をストリーミング再生させながらシーキングする場合に比べ、データの総転送量を低減でき、操作の即応性の高めることができる。
さらに、本動作例に係るデータ伝送システムでは、トリミング範囲情報に対応する高解像度データD3が送信装置100から中継装置200に送信され、中継装置200にてトリミング範囲情報に対応した高解像度の品質の映像がレンダリングされる。このとき、受信装置300には高解像度データD3は送信されず、中継装置200にも高解像度データD3のレンダリングに必要な部分しか送信されないため、データの総転送量が低減される。これにより、本動作例に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
さらに、本動作例に係るデータ伝送システムでは、中継装置200に記憶された、高解像度データD3を用いてレンダリングが行われ、レンダリングされた映像がLANと異なるネットワーク400に送信される。このため、中継装置200に高解像度データD3を記憶させない場合と比べ、レンダリングした映像をLANと異なるネットワーク400に送信する際に、送信装置100又は受信装置300と中継装置200との間のデータ転送量を低減することができる。これにより、本作例に係るデータ伝送システムでは、システム全体における電力消費を抑えることができる。
<3.第3の実施形態(他のデータ伝送システム)>
次に、図12及び図13を参照して、本開示に係るデータ伝送システムの第3の実施形態について説明する。図12は、本開示の第3の実施形態に係るデータ伝送システムを示した説明図である。
図12に示したように、本実施形態に係るデータ伝送システムは、送信装置100と、受信装置300とからなり、上述の第1の実施形態及び第2の実施形態と異なる装置構成をとるが、符号化データの編集や送信等の処理方法は同様である。送信装置100と受信装置300とは、例えば無線通信を利用したLANに接続されることにより、互いにデータの送受信を行う。受信装置300は、送信装置100が接続されたLANと異なるネットワーク400に接続することができ、異なるネットワークに接続された他のデータ記憶装置とデータの送受信を行う。
図13は、本実施形態に係る送信装置、中継装置及び受信装置の構成を示した機能ブロック図である。なお、本実施形態に係る送信装置100の装置構成は、上述の第1の実施形態及び第2の実施形態と同様とする。
本実施形態に係る受信装置300は、第1の実施形態に係る中継装置200と受信装置300とを合わせた装置構成を有する。例えば、本実施形態に係る受信装置300の通信部330は、第1の実施形態に係る通信部330の動作に加え、第1の実施形態に係る通信部230の動作を行う。例えば、本実施形態に係る通信部330は、アクセスポイントとなり、送信装置100が接続されたWi−Fi無線LANを形成する。また、通信部330は、送信装置100が接続されたLANの外のネットワーク400に接続することができ、LANの外のデータ記憶装置とデータ通信を行うことができる。さらに、通信部330は、ゲートウェイとして機能し、LANの外のインターネットにデータ通信をすることができる。
以上、本実施形態に係るデータ伝送システムについて説明した。本実施形態に係るデータ伝送システムは、受信装置300が、第1の実施形態及び第2の実施形態における中継装置200及び受信装置300と同様な動作を行う。これにより、第1の実施形態及び第2の実施形態におけるデータ伝送システムが、図13に示した装置構成においても実現できる。
<4.ハードウェア構成>
(送信装置100)
図14を参照して、本開示の一実施形態に係る送信装置100のハードウェア構成について説明する。図14は、送信装置100のハードウェア構成を説明するためのブロック図である。図示された送信装置100は、例えば、上記の実施形態における送信装置100を実現しうる。
送信装置100は、撮像装置900、駆動装置901、AD(Analog−to−Digital)変換装置902、TG(Timing Generator)904、及びCPU(Central Processing Unit)906を有する。また、送信装置100は、操作装置908、センサ910、ROM(Read Only Memory)912、RAM(Random Access Memory)914、圧縮符号回路916、画像処理回路918、及び表示装置920を有する。さらに、送信装置100は、接続用I/F922、記憶媒体924、及び通信装置926を有する。
撮像装置900は、レンズ9001および撮像素子9003を有し、撮像部150として機能する。レンズ9001は、ズームレンズやフォーカスレンズなど、複数のレンズにより構成される。撮像素子9003は、例えばCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)により実現される。撮像素子9003は、レンズ9001により取り込まれた被写体光(入射光)を受光し、信号電荷に変換する。撮像素子9003は、変換した信号電荷に基づいた電圧を、各画素の画素信号として出力する。なお、各画素の画素信号をまとめた信号が画像信号となる。
AD変換装置902は、入力されたアナログ信号をデジタル信号に変換する。具体的には、AD変換装置902は、撮像素子9003から出力された画像信号を、アナログ信号からデジタル信号に変換して、RAM914に書き込む。
ここで、第1の実施形態〜第3の実施形態においては、AD変換装置902が制御部110の一機能として機能する。即ち、第1の実施形態〜第3の実施形態においては、AD変換装置902が、撮像部150から出力されたアナログ信号から成る画像をデジタル化して、RAM914に書き込む。
RAM914は、データを一時的に記憶する記憶領域である。RAM914は、AD変換装置902によりデジタル化された画像信号、または後述の画像処理回路918により生成された画像データを記憶する。また、RAM914は、後述するCPU906の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一次記憶する。
駆動装置901は、レンズ9001の各レンズを光軸方向に移動させて、焦点を被写体に合焦させる。
TG904は、撮像素子9003およびAD変換装置902に対してパルス信号を出力することで、撮像素子9003およびAD変換装置902の動作タイミングを同期させる。
画像処理回路918は、ホワイトバランス処理、色補間処理、輪郭補償処理、階調変換処理などの画像処理を行う。具体的には、画像処理回路918は、RAM914に書き込まれた画像信号に対してこれらの画像処理を行うことで、画像データを生成する。そして、画像処理回路918は、生成した画像データをRAM914に一時記憶させる。画像処理回路918は、第1の実施形態〜第3の実施形態における制御部110の一機能として機能する。
圧縮符号回路916は、RAM914に一時記憶された、画像処理回路918による画像処理済みの画像データに対して、圧縮符号化処理を行う。例えば、画像データが動画像に基づくものである場合、圧縮符号回路916は、圧縮符号処理により、Mpeg(Moving Picture Experts Group)形式やH.26L形式の符号化データを生成する。圧縮符号回路916は、この符号化データに、撮影条件、撮影日時、カメラの基本情報等からなる付帯情報を付帯して、接続用I/F922に接続した記憶媒体924に書き込む。圧縮符号回路916は、第1の実施形態〜第3の実施形態における制御部110の一機能として機能する。
接続用I/F922は、送信装置100と記憶媒体924とを電気的に接続する。これにより、送信装置100は、記憶媒体924へのデータの書き込みや、記憶媒体924に記憶されたデータの読み出しを行うことができる。
記憶媒体924は、画像データを記憶する記憶部120として機能する。記憶媒体924は、例えばカード型メモリなどのフラッシュメモリや、DVD(Digital
Versatile Disc)などの記録媒体により実現される。
表示装置920は、撮像の設定や通信状態を表示させる。表示装置920は、例えばLCD(Liquid Crystal Display)またはOLED(Organic Light−Emitting Diode)などにより実現される。
通信装置926は、例えば、通信ネットワークに接続するための通信デバイスなどで構成された通信インターフェイスである。通信装置926は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどにより実現される。
ROMは、CPU906が使用するプログラムや演算パラメータなどを記憶する。
CPU906は、演算処理装置および制御装置として機能し、各種プログラムに従って送信装置100内の動作全般を制御する。なお、CPU906は、使用するプログラムや演算パラメータ等を記憶するROM、および適宜変化するパラメータ等を一時記憶するRAMを含んでいてもよい。本開示の一実施形態に係るCPU906は、RAM914に格納される制御プログラムを読み出し実行することで、送信装置100内の動作全般を制御する。CPU906は、第1の実施形態〜第3の実施形態における制御部110の一機能として機能し、撮像制御、記録制御及び通信制御を行う。
操作装置908は、ユーザからの撮像指示や初期設定、撮像時や再生時の設定、出力する画像のアスペクト比の設定などを受け付ける。操作装置908は、例えば、ボタン、タッチセンサ、表示装置920と一体的に形成されるタッチパネルとして実現される。操作装置908は、第1の実施形態〜第3の実施形態における入力部140として機能する。
センサ910は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、気圧センサなど各種のセンサである。センサ910は、例えば送信装置100の筐体の姿勢など、送信装置100自体の状態に関する情報や、送信装置100の周辺の明るさや騒音など、送信装置100の周辺環境に関する情報を取得する。また、センサ910は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
(中継装置200)
次に、本開示の一実施形態に係る中継装置200のハードウェア構成について説明する。本実施形態に係る中継装置200は、例えば、上記の実施形態における中継装置200を実現しうる。
中継装置200は、図14に図示した送信装置100のハードウェア構成の内、CPU906、ROM912、RAM914、画像処理回路918、接続用I/F922、記憶媒体924及び通信装置926を有する。なお、送信装置100と同様な機能構成を有する構成要件については重複説明を省略する。
画像処理回路918は、記憶媒体924に記憶された画像データから、トリミング範囲情報の示す再生範囲の、所定の再生品質の画像データを生成し、接続用I/F922に接続した記憶媒体924に書き込む。
(受信装置300)
次に、本開示の一実施形態に係る受信装置300のハードウェア構成について説明する。本実施形態に係る受信装置300は、例えば、上記の実施形態における受信装置300を実現しうる。
受信装置300は、図14に図示した送信装置100のハードウェア構成の内、CPU906、操作装置908、ROM912、RAM914、表示装置920、接続用I/F922、記憶媒体924及び通信装置926を有する。なお、送信装置100と同様な機能構成を有する構成要件については重複説明を省略する。
表示装置920は、画像データを表示する表示部360として機能する。表示装置920は、例えばLCDまたはOLEDなどにより実現される。表示装置920は、撮像映像の他に、設定を行う際の設定用の画像を表示する。
操作装置908は、ユーザからの再生指示や再生位置の選択指示、再生時の設定などを受け付ける。操作装置908は、例えば、ボタン、タッチセンサ、表示装置920と一体的に形成されるタッチパネルとして実現される。操作装置908は、第1の実施形態〜第3の実施形態における入力部140として機能する。
以上、送信装置100、中継装置200及び受信装置300のハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<5.むすび>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明した。本開示に係る送信装置100、中継装置200及び受信装置300は、送信装置100に記憶された第1の品質のために用いられる第1の符号化データが受信装置300に送信される。この後、第1の品質よりも高品質な第2の品質のために用いられる第2の符号化データのうち、再生位置情報に対応する部分が送信装置100から受信装置300に送信される。これにより、ユーザは、第1の品質の映像通じた映像の概略を把握する操作について、即応性を高めることができる。また、第2の符号化データについては、ユーザが選択した再生位置情報に対応した部分のみが送信装置100から受信装置300に送信されるため、データ転送量が少なくなり、操作の即応性を高めることができる。
なお、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、送信装置100と中継装置200と受信装置とは、無線通信を利用したネットワークとしてWi−Fi無線LANで接続されるとしたが、本技術はかかる例に限定されない。例えば、Bluetooth(登録商標)によるネットワークで接続されてもよい。この場合、例えば第1の実施形態及び第2の実施形態では、中継装置200がセントラル機器となる。また、例えば第3の実施形態では、受信装置300がセントラル機器となる。
また、上記実施形態では、送信装置100と中継装置200と受信装置とは、無線通信を利用したネットワークで接続されるとしたが、本技術はかかる例に限定されない。例えば、少なくともいずれかの装置同士が有線にて接続されてもよい。
また、上記実施形態では、中継装置200又は受信装置300とLANの異なるネットワークに接続されたデータ記憶装置とは、無線通信にて接続されるとしたが、本技術はかかる例に限定されない。例えば、中継装置200又は受信装置300とデータ記憶装置とが有線に接続されてもよい。
例えば、上記第1の実施形態では、高解像度の品質の映像をレンダリングし、レンダリングした映像をLANの異なるネットワークに送信するとしたが、本技術はかかる例に限定されない。例えば、中解像度の品質の映像をレンダリングし、レンダリングした映像をLANの異なるネットワークに送信してもよい。このとき、図5Aに示したステップS144〜S150の処理は行われない。さらに、ステップS152において、制御部210は、記憶部220に記憶した低周波成分データD1及び中周波成分データD2を用いて、トリミング範囲情報に対応する中解像度の品質の映像をレンダリングしてもよい。
また、上記実施形態では、送信装置100は、符号化データの形式に応じて予め受信装置300に低解像度の品質の再生に用いる符号化データを送信したが、本開示はかかる例に限定されない。例えば、送信装置100の制御部110は、符号化データに記憶されたヘッダ情報等に基づいて低解像度の品質の再生に用いる符号化データを送信するかしないかを判断してもよい。このとき、ヘッダ情報は、ユーザの操作により符号化データに付加されてもよい。
また、第2の実施形態では、中継装置200は、品質情報に応じて中継する符号化データを保持するか否かを判断するが、本開示はかかる例に限定されない。例えば、中継装置200の制御部210は、第1の実施形態と同様に、中継する符号化データを全て保持してもよい。これにより、例えば中継装置200から受信装置300への伝送が正常に行われず、受信装置300へ再度符号化データを伝送させる場合においても、送信装置100から受信装置300へのデータの伝送が発生しない。このため、データの総転送量を低減でき、システム全体における電力消費を抑えることができる。
また、第2の実施形態では、符号化データは空間方向に圧縮されたデータであるが、本開示はかかる例に限定されない。例えば、符号化データは、時間方向又は空間方向と時間方向に圧縮されたデータであってもよい。時間方向に圧縮される場合、例えばフレームレートを下げ、低解像度データD1は秒速1フレーム、中解像度データD2は秒速15フレーム、高解像度データD3は秒速30フレームとしてもよい。
また、上記実施形態では、送信装置100、中継装置200及び受信装置300は、符号化データの送受信を行うが、本開示はかかる例に限定されない。例えば、符号化データと共に符号化データに関連し、時間的な連続性を有する関連データを送受信してもよい。関連データは、例えばコンテンツが撮像された映像である場合、撮像時に得られる情報である。例えば、関連データは、焦点距離から得られる撮影中の被写体像との距離等である。
また、上記実施形態では、送信装置100は、例えばデジタルビデオカメラ等の映像を撮像する撮像装置であるが、本開示はかかる例に限定されない。例えば、映像や音声等のコンテンツが記憶されたストレージ装置であってもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、前記第1の符号化データを受信装置に送信した後、前記受信装置からデータ位置に関する第1の位置情報を受信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を前記受信装置に送信する通信部と、を備える、送信装置。
(2)前記記憶部に記憶されたデータから所定のデータ形式を有する前記第1の符号化データを選択し、選択した前記第1の符号化データを前記通信部に送信させる制御部をさらに備える、(1)に記載の送信装置。
(3)前記第1の品質の再生は、前記第1の符号化データが用いられ、前記第2の品質の再生は、前記第1の符号化データと前記第2の符号化データとの両方が用いられる、(1)または(2)に記載の送信装置。
(4)前記第1の符号化データは、前記第2の符号化データよりも圧縮率の高いデータである、(1)または(2)に記載の送信装置。
(5)前記記憶部は、前記第2の品質よりも高品質な第3の品質での再生のために用いられる第3の符号化データを記憶し、前記通信部は、前記第2の符号化データを前記受信装置に送信した後、前記受信装置からデータ位置に関する第2の位置情報を受信し、前記第3の符号化データのうちで前記第2の位置情報に対応する部分を送信する、(1)〜(4)のいずれか1項に記載の受信装置。
(6)前記通信部は、前記第1の位置情報を受信した後、前記第2の符号化データのうちで前記第1の位置情報の対応する再生位置の先の再生位置に対応する部分をさらに前記受信装置に送信する、(1)〜(5)のいずれか1項に記載の送信装置。
(7)前記記憶部は、前記第1の符号化データと同一コンテンツに関する時間的な連続性を有する関連データを記憶し、前記通信部は、前記関連データを前記受信装置に送信する、(1)〜(6)のいずれか1項に記載の送信装置。
(8)送信装置から受信装置に送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを中継し、前記受信装置から前記送信装置に送信されるデータ位置に関する第1の位置情報を中継する通信部を備え、前記通信部は、前記第1の符号化データを中継した後、前記第1の位置情報を中継し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を中継する、中継装置。
(9)記憶部と、前記通信部により中継された前記第1の符号化データの形式に基づき、当該第1の符号化データを前記記憶部に保持させるか否かを判断する制御部と、をさらに備える、(8)に記載の中継装置。
(10)前記制御部は、前記第1の品質の再生および前記第2の品質の再生の双方のために用いられる形式を有する第1の符号化データを前記記憶部に保持させ、前記第2の品質の再生のために用いられない形式を有する第1の符号化データを前記記憶部に保持させない、(9)に記載の中継装置。
(11)前記第1の符号化データ、前記第2の符号化データ及び前記その他の符号化データは、互いに圧縮率の異なるデータであり、前記第1の符号化データ、前記第2の符号化データまたはその他の符号化データのうち少なくとも一つの符号化データを前記記憶部に記憶させるか否かを、前記中継装置における処理で用いられるコンテンツの品質を示す品質情報に基づいて判断する制御部をさらに備える、(9)または(10)に記載の中継装置。
(12)前記通信部は、前記送信装置から送信される前記第2の品質よりも高品質な第3の品質での再生のために用いられ、符号化データの一つである第3の符号化データを受信し、前記記憶部は、前記第3の符号化データを記憶する、(9)〜(11)のいずれか1項に記載の中継装置。
(13)前記通信部は、前記受信装置から送信されるデータ位置に関する第2の位置情報を受信または前記送信装置に中継する、(9)〜(12)のいずれか1項に記載の中継装置。
(14)前記第1の符号化データ、前記第2の符号化データ及びその他の符号化データの少なくとも一つの符号化データのうちで前記第2の位置情報に対応する部分を選択する制御部を備える、(13)に記載の中継装置。
(15)前記通信部は、データ記憶装置との通信を行い、前記制御部により選択された前記符号化データのうちで前記第2の位置情報に対応する部分を前記データ記憶装置に送信する、(14)に記載の中継装置。
(16)データ位置に関する第1の位置情報を生成する制御部と、送信装置から送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを受信し、前記第1の位置情報を前記送信装置に送信する通信部と、受信した前記第1の符号化データと前記第2の符号化データとを含む符号化データを記憶する記憶部と、を備え、前記通信部は、前記第1の符号化データを受信した後、前記第1の位置情報を送信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を受信する、受信装置。
(17)前記制御部は、データ位置に関する第2の位置情報を生成し、前記通信部は、前記第2の位置情報を送信する、(16)に記載の受信装置。
(18)前記制御部は、前記符号化データの少なくとも一つの符号化データのうち前記第2の位置情報に対応する部分を選択し、前記通信部は、データ記憶装置との通信を行い、選択された前記前記第2の位置情報に対応する部分をデータ記憶装置に送信する、(17)に記載の受信装置。
(19)前記通信部は、前記送信装置から送信される前記第2の品質よりも高品質な第3の品質での再生のために用いられる第3の符号化データを受信し、前記記憶部は、前記第3の符号化データを記憶する、(16)〜(18)のいずれか1項に記載の受信装置。
(20)(1)に記載の送信装置と、(2)に記載の中継装置と、(3)に記載の受信装置と、を備える、データ伝送システム。
(21)コンピュータを、時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、前記第1の符号化データを受信装置に送信した後、前記受信装置からデータ位置に関する第1の位置情報を受信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を前記受信装置に送信する通信部と、して機能させるためのプログラムが記憶された記憶媒体。
(22)コンピュータを、送信装置から受信装置に送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを中継し、前記受信装置から前記送信装置に送信されるデータ位置に関する第1の位置情報を中継する通信部として機能させるためのプログラムが記憶され、前記通信部は、前記第1の符号化データを中継した後、前記第1の位置情報を中継し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を中継する、記憶媒体。
(22)コンピュータを、データ位置に関する第1の位置情報を生成する制御部と、送信装置から送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを受信し、前記第1の位置情報を前記送信装置に送信する通信部と、受信した前記第1の符号化データと前記第2の符号化データとを含む符号化データを記憶する記憶部と、して機能させるためのプログラムが記憶され、前記通信部は、前記第1の符号化データを受信した後、前記第1の位置情報を送信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を受信する、記憶媒体。
100 送信装置
110 制御部
120 記憶部
130 通信部
140 入力部
150 撮像部
200 中継装置
210 制御部
220 記憶部
230 通信部
300 受信装置
310 制御部
320 記憶部
330 通信部
340 入力部
360 表示部
361 コンテンツ表示領域
362 シークバー
363 再生位置
364 再生時間
365 総再生時間
400 LANと異なるネットワーク

Claims (19)

  1. 時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを記憶する記憶部と、
    前記第1の符号化データを受信装置に送信した後、前記受信装置からデータ位置に関する第1の位置情報を受信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を前記受信装置に送信する通信部と、
    を備える、送信装置。
  2. 前記記憶部に記憶されたデータから所定のデータ形式を有する前記第1の符号化データを選択し、選択した前記第1の符号化データを前記通信部に送信させる制御部をさらに備える、請求項1に記載の送信装置。
  3. 前記第1の品質の再生は、前記第1の符号化データが用いられ、
    前記第2の品質の再生は、前記第1の符号化データと前記第2の符号化データとの両方が用いられる、請求項1に記載の送信装置。
  4. 前記第1の符号化データは、前記第2の符号化データよりも圧縮率の高いデータである、請求項1に記載の送信装置。
  5. 前記記憶部は、前記第2の品質よりも高品質な第3の品質での再生のために用いられる第3の符号化データを記憶し、
    前記通信部は、前記第2の符号化データを前記受信装置に送信した後、前記受信装置からデータ位置に関する第2の位置情報を受信し、前記第3の符号化データのうちで前記第2の位置情報に対応する部分を送信する、請求項1に記載の受信装置。
  6. 前記通信部は、前記第1の位置情報を受信した後、前記第2の符号化データのうちで前記第1の位置情報の対応する再生位置の先の再生位置に対応する部分をさらに前記受信装置に送信する、請求項1に記載の送信装置。
  7. 前記記憶部は、前記第1の符号化データと同一コンテンツに関する時間的な連続性を有する関連データを記憶し、
    前記通信部は、前記関連データを前記受信装置に送信する、請求項1に記載の送信装置。
  8. 送信装置から受信装置に送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを中継し、前記受信装置から前記送信装置に送信されるデータ位置に関する第1の位置情報を中継する通信部を備え、
    前記通信部は、前記第1の符号化データを中継した後、前記第1の位置情報を中継し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を中継する、中継装置。
  9. 記憶部と、
    前記通信部により中継された前記第1の符号化データの形式に基づき、当該第1の符号化データを前記記憶部に保持させるか否かを判断する制御部と、
    をさらに備える、請求項8に記載の中継装置。
  10. 前記制御部は、前記第1の品質の再生および前記第2の品質の再生の双方のために用いられる形式を有する第1の符号化データを前記記憶部に保持させ、前記第2の品質の再生のために用いられない形式を有する第1の符号化データを前記記憶部に保持させない、請求項9に記載の中継装置。
  11. 前記第1の符号化データ、前記第2の符号化データ及び前記その他の符号化データは、互いに圧縮率の異なるデータであり、
    前記第1の符号化データ、前記第2の符号化データまたはその他の符号化データのうち少なくとも一つの符号化データを前記記憶部に記憶させるか否かを、前記中継装置における処理で用いられるコンテンツの品質を示す品質情報に基づいて判断する制御部をさらに備える、請求項9に記載の中継装置。
  12. 前記通信部は、前記送信装置から送信される前記第2の品質よりも高品質な第3の品質での再生のために用いられ、符号化データの一つである第3の符号化データを受信し、
    前記記憶部は、前記第3の符号化データを記憶する、請求項9に記載の中継装置。
  13. 前記通信部は、前記受信装置から送信されるデータ位置に関する第2の位置情報を受信または前記送信装置に中継する、請求項9に記載の中継装置。
  14. 前記第1の符号化データ、前記第2の符号化データ及びその他の符号化データの少なくとも一つの符号化データのうちで前記第2の位置情報に対応する部分を選択する制御部を備える、請求項13に記載の中継装置。
  15. 前記通信部は、データ記憶装置との通信を行い、前記制御部により選択された前記符号化データのうちで前記第2の位置情報に対応する部分を前記データ記憶装置に送信する、請求項14に記載の中継装置。
  16. データ位置に関する第1の位置情報を生成する制御部と、
    送信装置から送信される時間的な連続性を有する同一のコンテンツについて、第1の品質での再生のために用いられる第1の符号化データと、前記第1の品質よりも高品質な第2の品質での再生のために用いられる第2の符号化データとを受信し、前記第1の位置情報を前記送信装置に送信する通信部と、
    受信した前記第1の符号化データと前記第2の符号化データとを含む符号化データを記憶する記憶部と、
    を備え、
    前記通信部は、前記第1の符号化データを受信した後、前記第1の位置情報を送信し、前記第2の符号化データのうちで前記第1の位置情報に対応する部分を受信する、受信装置。
  17. 前記制御部は、データ位置に関する第2の位置情報を生成し、
    前記通信部は、前記第2の位置情報を送信する、請求項16に記載の受信装置。
  18. 前記制御部は、前記符号化データの少なくとも一つの符号化データのうち前記第2の位置情報に対応する部分を選択し、
    前記通信部は、データ記憶装置との通信を行い、選択された前記前記第2の位置情報に対応する部分をデータ記憶装置に送信する、請求項17に記載の受信装置。
  19. 前記通信部は、前記送信装置から送信される前記第2の品質よりも高品質な第3の品質での再生のために用いられる第3の符号化データを受信し、
    前記記憶部は、前記第3の符号化データを記憶する、請求項16に記載の受信装置。
JP2015535345A 2013-09-03 2014-05-30 中継装置 Expired - Fee Related JP6418160B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013182349 2013-09-03
JP2013182349 2013-09-03
PCT/JP2014/064480 WO2015033629A1 (ja) 2013-09-03 2014-05-30 送信装置、中継装置及び受信装置

Publications (2)

Publication Number Publication Date
JPWO2015033629A1 true JPWO2015033629A1 (ja) 2017-03-02
JP6418160B2 JP6418160B2 (ja) 2018-11-07

Family

ID=52628119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015535345A Expired - Fee Related JP6418160B2 (ja) 2013-09-03 2014-05-30 中継装置

Country Status (5)

Country Link
US (1) US20160219316A1 (ja)
EP (1) EP3035689B1 (ja)
JP (1) JP6418160B2 (ja)
CN (1) CN105519122B (ja)
WO (1) WO2015033629A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178147A (ja) * 2009-01-30 2010-08-12 Nec Corp ストリーミング配信システム、その動作制御方法及びプログラム
JP2010278729A (ja) * 2009-05-28 2010-12-09 Mitsubishi Electric Corp 映像送信装置、映像受信装置及び映像配信システム
JP2012095052A (ja) * 2010-10-26 2012-05-17 Toshiba Corp 映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496980B1 (en) * 1998-12-07 2002-12-17 Intel Corporation Method of providing replay on demand for streaming digital multimedia
KR100584323B1 (ko) 2004-10-04 2006-05-26 삼성전자주식회사 멀티미디어 컨텐츠의 스트리밍 서비스 방법
KR100746005B1 (ko) * 2005-10-17 2007-08-06 삼성전자주식회사 다중 목적의 비디오 스트림을 처리하는 장치 및 방법
JP4915208B2 (ja) * 2006-10-26 2012-04-11 三菱電機株式会社 ストリームデータ再生システム
US7949775B2 (en) * 2008-05-30 2011-05-24 Microsoft Corporation Stream selection for enhanced media streaming
KR101786051B1 (ko) * 2009-11-13 2017-10-16 삼성전자 주식회사 데이터 제공 방법 및 장치와 데이터 수신 방법 및 장치
EP2545706A4 (en) * 2010-03-08 2013-09-11 Samsung Electronics Co Ltd APPARATUS AND METHOD FOR READING MULTIMEDIA CONTENT DATA
KR101702562B1 (ko) * 2010-06-18 2017-02-03 삼성전자 주식회사 멀티미디어 스트림 파일의 저장 파일 포맷, 저장 방법 및 이를 이용한 클라이언트 장치
JP5592716B2 (ja) * 2010-07-05 2014-09-17 日立コンシューマエレクトロニクス株式会社 映像送信装置
JP2012054800A (ja) * 2010-09-02 2012-03-15 Hitachi Consumer Electronics Co Ltd 映像送信装置
JP5891654B2 (ja) * 2011-08-29 2016-03-23 株式会社リコー Tv会議システム、映像配信装置、及びデータ処理方法
US9313510B2 (en) * 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9178631B2 (en) * 2013-04-19 2015-11-03 Spacebar, Inc. Asynchronously streaming high quality audio of a live event from a handheld device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010178147A (ja) * 2009-01-30 2010-08-12 Nec Corp ストリーミング配信システム、その動作制御方法及びプログラム
JP2010278729A (ja) * 2009-05-28 2010-12-09 Mitsubishi Electric Corp 映像送信装置、映像受信装置及び映像配信システム
JP2012095052A (ja) * 2010-10-26 2012-05-17 Toshiba Corp 映像伝送システムとその送信処理装置、受信処理装置及び映像伝送方法

Also Published As

Publication number Publication date
EP3035689A4 (en) 2017-04-05
JP6418160B2 (ja) 2018-11-07
CN105519122A (zh) 2016-04-20
CN105519122B (zh) 2019-04-16
EP3035689A1 (en) 2016-06-22
EP3035689B1 (en) 2021-05-19
WO2015033629A1 (ja) 2015-03-12
US20160219316A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
JP4831017B2 (ja) 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム
US10347298B2 (en) Method and apparatus for smart video rendering
US10523820B2 (en) High-quality audio/visual conferencing
KR20170023885A (ko) 음성 또는 영상 통화 중 컨텍스트 정보 합성 및 전송 기법
JP2022536182A (ja) データストリームを同期させるシステム及び方法
EP2819396B1 (en) Moving image generating apparatus and moving image generating method
JP2015195571A (ja) 撮像装置及びその制御方法
US20150113582A1 (en) Communication System, Terminal Device, Video Display Method, and Storage Medium
US20150110469A1 (en) Communication System, Terminal Device, Registration Method, and Storage Medium
TW201943284A (zh) 資訊處理裝置、方法、及程式
JP6319491B2 (ja) 撮像装置及び制御方法
JP5147559B2 (ja) 映像表示装置及び映像表示方法
JP6418160B2 (ja) 中継装置
JP4349288B2 (ja) 撮像装置、画像処理方法及びプログラム
JP6119447B2 (ja) 撮像システム、及び制御方法
JP2020030223A (ja) 連携表示システム
US20210409613A1 (en) Information processing device, information processing method, program, and information processing system
JP5170278B2 (ja) 表示制御装置、表示制御方法、プログラム、および表示制御システム
CN107835433B (zh) 一种赛事宽视角直播系统、相关联的设备和直播方法
JP2017063276A (ja) 映像表示装置、映像表示方法、及びプログラム
KR101521787B1 (ko) 영상을 배속 재생하는 방법 및 그를 위한 장치
JP6282136B2 (ja) 撮像装置及びその制御方法
US20240144620A1 (en) Visual effects and content enhancements for vr
US20240144621A1 (en) Visual effects and content enhancements for vr
JP2018137771A (ja) 撮像装置及び制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180924

R151 Written notification of patent or utility model registration

Ref document number: 6418160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees