WO2011099273A1

WO2011099273A1 - コンテンツ通信装置及びコンテンツ加工装置並びにコンテンツ通信システム

Info

Publication number: WO2011099273A1
Application number: PCT/JP2011/000711
Authority: WO
Inventors: 平野　純; 利幸森井
Original assignee: パナソニック株式会社
Priority date: 2010-02-15
Filing date: 2011-02-09
Publication date: 2011-08-18
Also published as: JP5607084B2; US20120307913A1; CN102754445A; JPWO2011099273A1; EP2538671A1

Abstract

撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようにする技術が開示され、その技術によれば撮影地のコンテンツ通信装置は、階層符号化によって、撮影コンテンツデータをコアレイヤの粗素材コンテンツ符号化データと、拡張レイヤの放送レベル素材コンテンツ符号化データに符号化する。粗素材コンテンツ符号化データは、即座に調整局のコンテンツ加工装置へ送信される。コンテンツ加工装置は、粗素材コンテンツに対して、実際の放送において行われる編集加工処理（の一部だけでもよい）を施して、そのコンテンツを調整用コンテンツとして返送する。調整用コンテンツは、例えば実際の放送コンテンツと同じ構図（合成情報の位置などが同じ）であり、撮影地では、調整用コンテンツに基づいて、最終の放送内容に基づく調整を行うことができる。

Description

コンテンツ通信装置及びコンテンツ加工装置並びにコンテンツ通信システム

　本発明は、コンテンツデータの符号化及び伝送を行うためのコンテンツ通信装置及びコンテンツ加工装置並びにコンテンツ通信システムに関する。

　移動通信の進歩に伴って、第３世代パートナーシッププログラム（３ＧＰＰ：3rd Generation Partnership Program）では、非常に広範囲において無線通信サービスを提供するうえで、モビリティ（端末装置の高速な移動）サポート、広帯域（高スループット）データ通信サポートなど、音声のみならず、映像などのマルチメディアデータの伝送が可能となるまでに発達している。

　マルチメディアデータの通信においては、音声、映像など、通信対象となるデータを符号化して伝送することで、通信路の帯域消費、通信路の特性など、様々な点での効率化、安定化などが実現される。こうしたデータの符号化方法の１つとして、階層符号化技術が存在する。

　階層符号化技術においては、映像、音声を品質、用途などで分類し、各レベルにより階層化することで、基本となるデータに対して付加的な情報が分離可能な情報ブロックとして符号化される。それぞれの情報ブロックは個別に送受信でき、必要に応じて合成することで１つの符号化データ群が様々な環境で利用できるようになる。なお、音声の階層符号化技術として国際的に既に使用されている方式の先例として、下記の非特許文献１に記載されている技術が挙げられる。

　また、音声や映像を伝送する方法としては、テレビ放送などの映像／音声の放送・配信が挙げられる。このような放送・配信などに用いる映像／音声のデータをコンテンツと呼ぶ。このコンテンツの収録、中継の方法として、コンテンツを整形、編集する放送局などの設備までに遠隔地からコンテンツを伝送し、それをスタジオで撮影しているコンテンツと合成（あるいは中継コンテンツ単独）、切り替えることがある。例えば、中継先で撮影された映像（遠隔地からのコンテンツ）の画面内に、スタジオで撮影しているコンテンツをＰｉｎＰ（ピーインピー：Picture in Picture）を用いて重ねたり、中継地で撮影された映像（遠隔地からのコンテンツ）に文字や図形など（一般的にテロップと呼ばれる）をスーパーインポーズしたりすることで、コンテンツを合成することが行われる。

　一般に生中継と呼ばれる、遠隔地での撮影コンテンツをリアルタイムに放送する場合も、多くは撮影地から直接放送することはせず、遠隔地での撮影コンテンツは、テレビ放送であればテレビ局、ネットワーク配信であれば配信サーバのある設備などへいったん伝送される。また、収録コンテンツ内での中継など、最終のコンテンツの形態としては生中継でないような場合でも、コンテンツの中継（調整局への伝送）が行われる。

　以降、本明細書では、用語をできるだけ簡易にするために、遠隔地、中継地などのコンテンツの撮影地点を撮影地と呼び、コンテンツを整形、編集するための設備（テレビ局の編集装置、スイッチング装置、放送、配信などのために送出する設備、隣接する撮影スタジオ（調整局スタジオ）など）を調整局と呼び、撮影地から調整局への伝送途中にコンテンツとしてデータを扱う地点を中継局と呼ぶ。なお、中継局は、単にデータ中継や無線通信の中継を行うという意味ではなく、狭義にコンテンツを扱ううえで中継を行う設備であり、テレビ放送であれば、中継車と呼ばれる設備や調整局から離れたスタジオなどを指している。この中継局は、必要に応じて配備されるものであって、配備が必須なものではない。具体的には、図１０に示すようなシステム構成を前提とする。

　図１０は、遠隔の撮影地からの中継が行われる場合における放送システムの一般的な構成の一例を示す図である。撮影地で撮影された映像や音声は撮影コンテンツとして、中継局を経由して調整局へ送信される。調整局では、例えば、調整局スタジオにて閲覧や聴取が可能となるようこの撮影コンテンツを出力するとともに、撮影コンテンツの映像内に調整局スタジオの様子をＰｉｎＰで挿入したり、その他の情報（テロップなど）を挿入したりすることで、最終的に放送される放送コンテンツを生成し、放送波を通じて放送を行う。放送波によって放送される放送コンテンツは、その放送波を受信した放送受信端末で処理され、映像表示や音声出力が行われる。

　撮影地で撮影されたコンテンツを調整局へ伝送する場合（特に、生中継の場合）には、撮影地にいる人間は、調整局において合成されたコンテンツ（最終的に放送されるコンテンツ）の確認が必要となることがある。例えば、テレビ放送などの中継放送であれば、撮影地において、カメラ、マイクなどの装置の操作者や、撮影対象となる出演者（撮影対象者）が、撮影地で撮影されたコンテンツと、調整局のスタジオからの情報やＢＧＭ（バックグラウンドミュージック：BackGround Music）などとが合成されたコンテンツ（最終の放送内容）を確認する必要がある。

　撮影対象者は主に調整局のスタジオの人間との掛け合いを行うことが考えられ、最終的に放送されるコンテンツにおけるタイミングの調整において、自然なコメントの挿入、中継開始のタイミングの確認、スタジオとの自然な掛け合いのための呼吸（間）の調整、ＢＧＭなど、調整局スタジオでの音声に対して撮影対象者の発話とのオーバラップ確認などを行う必要がある。また、装置の操作者は、最終的に放送されるコンテンツにおいて、主にコンテンツの撮影方法やタイミングの確認を行う必要がある。なお、最終の放送内容などのコンテンツのほか、撮影地は、調整局、中継局からの指示を受けることも考えられる（これらは、撮影の際の通信内容なので、必ずしも最終のコンテンツには反映されない）。

　こうした撮影地側における確認は、撮影地におけるタイミングに対して、調整局のスタジオの人間がコメントを行うタイミング、最終的にコンテンツが放送されるタイミング、調整局や中継局からの指示などが少なからず遅延するために必要となる。すなわち、撮影地の操作者や撮影対象者は、最終的に放送されるコンテンツのタイミングに合わせて、自分の動作タイミングの調整を行う必要がある。このように撮影地側の操作者や撮影対象者は、中継開始のタイミング確認、スタジオとの自然な掛け合いのための呼吸（間）調整、ＢＧＭなどの調整局スタジオでの音声に対して撮影対象者の発話とのオーバラップの確認、テロップ、文字情報、合成画面などを考慮した構図調整（カメラの撮像方向の調整や、画面内での立ち位置の調整）などを行う必要がある。

特開２００４－３５７２０５号公報特開２００５－２７７９５０号公報

ＩＴＵ－Ｔ（International Telecommunication Union - Telecommunication sector）標準Ｇ．７２９．１規格書、２００６年５月

　しかしながら、中継放送などにおいて、撮影地においてコンテンツ（最終的に放送されるコンテンツ）を確認するための遅延が大きくなると、視聴上自然な中継、掛け合いが困難となり、
・撮影地からの発話と、調整局のスタジオでの発話とがぶつかる
・調整局で挿入するＢＧＭや効果音のタイミングと撮影地の音声とのタイミングがずれる
・調整局で挿入する字幕、記号、付加情報などの領域と撮影対象者（対象物）とが重なる
・中継放送の切り替えタイミングがずれる
・撮影地（撮影対象者）で意図しないタイミングで放送が開始されてしまう
　などの不都合が発生してしまう。

　撮影地の操作者や撮影対象者は、例えば、撮影地において実際のテレビ放送波を受信し、その映像を参照して調整を行うことが可能である。図１１は、従来の技術の放送システムにおけるコンテンツ処理の一例を示すシーケンスチャートである。なお、このシーケンスチャートは、ある時刻におけるコンテンツのデータに着目して図示されているが、実際には、撮影コンテンツ、放送コンテンツなどを始めとするデータは逐次伝送及び処理されている。

　撮影地には撮影用カメラがあり、撮影地の様子を撮影している。撮影用カメラによって撮影された撮影コンテンツは、符号化処理などを経た後（ステップＳ５００１）、調整局へ送信される（ステップＳ５００２）。調整局では、撮影コンテンツはいったん復号された後（この処理は不図示）、例えば調整局スタジオ内のモニタに撮影コンテンツを出力し（ステップＳ５００３）、その撮影コンテンツに対する行動（スタジオ内の人間の反応）を撮影して（ステップＳ５００４）、その映像を撮影地の撮影コンテンツにＰｉｎＰで重ね合わせたり、あるいは、テロップやその他の各種情報を撮影地の撮影コンテンツに重ね合わせたりする処理や、その他の符号化処理などを行うことで放送コンテンツを作成する（ステップＳ５００５）。そして、放送コンテンツは放送波を通じて放送され（ステップＳ５００６）、放送波が受信可能な放送受信端末（例えば、撮影地の操作者や撮影対象者が視聴可能な放送受信端末）において、放送コンテンツの視聴が可能となる。この時点で（ある動作から時間Ｔｐ後）、撮影地の操作者や撮影対象者は、自分が行った動作がどのように放送コンテンツに反映されているのかを確認することが可能となる。

　撮影地における操作者や撮影対象者が、撮影地で撮影された撮影コンテンツが実際の放送コンテンツにおいてどのように利用されているか（実際の放送においてどのように映っているか）を確認することができる時間Ｔｐは、データ伝送や符号化処理などの時間分だけ遅れる。すなわち、撮影地における操作者や撮影対象者が何らかの動作を行った場合、その動作が反映された放送コンテンツは、時間Ｔｐ後に放送波を通じて視聴可能となる。なお、時間Ｔｐ経過前においても、撮影地における操作者や撮影対象者は、放送波を通じて放送コンテンツの視聴が可能であるが、その放送コンテンツに含まれている撮影コンテンツは、ある動作（ステップＳ５００１で符号化された撮影コンテンツに反映されている動作）よりも前の動作を映したものであり、調整用途のコンテンツとしては不向きである。撮影地における操作者や撮影対象者は、ある動作を行った場合にその動作が反映されたコンテンツを調整用途として利用する必要がある。

　ここで、遅延時間に注目すると、例えば、テレビ放送において、日本におけるアナログ放送などの放送波を受信する場合は、比較的低遅延で撮影地でのコンテンツ確認が可能であるが、デジタル放送などを利用する（アナログ放送が終了した場合などで利用せざるを得ない）場合は、遅延時間が大きく、上述のような不都合を避けることが困難になってしまう。

　また、デジタル放送による遅延だけではなく、最近では、スループットが限られるような状況（無線ＩＰ接続）での中継シーンも増加しつつある。低スループット環境は、利用形態によっては遅延時間の増大をもたらすため、低スループット環境における効率的なデータ伝送を十分に考慮する必要がある。

　本発明は、上記課題を解決するため、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようにするためのコンテンツ通信装置及びコンテンツ加工装置並びにコンテンツ通信システムを提供することを目的とする。

　上記目的を達成するため、本発明のコンテンツ通信装置は、撮影地で撮影された撮影コンテンツデータを、放送コンテンツの編集を行うコンテンツ加工装置へ送信するコンテンツ通信装置であって、
　前記撮影コンテンツデータを取得する撮影コンテンツ取得部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
　前記第１符号化部で生成された前記第１符号化データを、前記コンテンツ加工装置へ向けて逐次送信する第１送信部と、
　前記第１符号化データに含まれる映像の品質を上げる付加情報を前記撮影コンテンツデータから抽出して符号化し、第２符号化データを生成する第２符号化部と、
　前記第２符号化部で生成された前記第２符号化データを前記コンテンツ加工装置へ向けて送信する第２送信部とを、
　有している。
　この構成により、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようにするための情報を撮影地から調整局へ送信することが可能となる。

　上記目的を達成するため、本発明のコンテンツ通信装置は、撮影地で撮影された撮影コンテンツデータを、放送コンテンツの編集を行うコンテンツ加工装置へ送信するコンテンツ通信装置であって、
　前記撮影コンテンツデータを取得する撮影コンテンツ取得部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータを前記コンテンツ加工装置へ向けて送信する撮影コンテンツ送信部と、
　前記コンテンツ加工装置において、前記撮影コンテンツに対して実際の放送コンテンツに反映される編集が一部又は全部行われて返送されてくる調整用コンテンツを受信する調整用コンテンツ受信部と、
　前記調整用コンテンツを前記撮影地のユーザが確認できるよう出力する調整用コンテンツ出力部とを、
　有している。
　この構成により、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようにするための情報を撮影地から調整局へ送信することが可能となる。

　また、上記目的を達成するため、本発明のコンテンツ加工装置は、放送コンテンツの編集を行うコンテンツ加工装置であって、
　撮影地で撮影された撮影コンテンツデータを取得したコンテンツ通信装置が前記撮影コンテンツデータに対して所定の品質で符号化して生成した第１符号化データを、前記コンテンツ通信装置から受信する第１符号化データ受信部と、
　前記第１符号化データを復号する第１符号化データ復号部と、
　前記復号後の第１符号化データに対して実際の放送コンテンツに反映される編集を一部又は全部行う編集加工部と、
　前記編集加工部で編集された前記復号後の第１符号化データを調整用コンテンツとして前記コンテンツ通信装置に向けて送信する調整用コンテンツ送信部とを、
　有している。
　この構成により、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようになる。

　また、上記目的を達成するため、本発明のコンテンツ加工装置は、放送コンテンツの編集を行うコンテンツ加工装置であって、
　撮影地で撮影された撮影コンテンツデータを、前記コンテンツ通信装置から受信する撮影コンテンツデータ受信部と、
　前記受信した撮影コンテンツデータに対して実際の放送コンテンツに反映される編集を一部又は全部行う編集加工部と、
　前記編集加工部で編集された前記撮影コンテンツデータを調整用コンテンツとして前記コンテンツ通信装置に向けて送信する調整用コンテンツ送信部とを、
　有している。
　この構成により、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようになる。

　また、上記目的を達成するため、本発明のコンテンツ通信システムは、放送コンテンツの編集を行うコンテンツ加工装置と、撮影地で撮影された撮影コンテンツデータを前記コンテンツ加工装置へ送信するコンテンツ通信装置とによって構成されるコンテンツ通信システムであって、
　前記コンテンツ通信装置が、
　前記撮影コンテンツデータを取得する撮影コンテンツ取得部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
　前記第１符号化部で生成された前記第１符号化データを、前記コンテンツ加工装置へ向けて逐次送信する第１送信部と、
　前記第１符号化データに含まれる映像の品質を上げる付加情報を前記撮影コンテンツデータから抽出して符号化し、第２符号化データを生成する第２符号化部と、
　前記第２符号化部で生成された前記第２符号化データを前記コンテンツ加工装置へ向けて送信する第２送信部と、
　前記コンテンツ加工装置において、前記第１符号化データに対して実際の放送コンテンツに反映される編集が一部又は全部行われて返送されてくる調整用コンテンツを受信する調整用コンテンツ受信部と、
　前記調整用コンテンツを前記撮影地のユーザが確認できるよう出力する調整用コンテンツ出力部とを有し、
　前記コンテンツ加工装置が、
　前記コンテンツ通信装置から前記第１符号化データを受信する第１符号化データ受信部と、
　前記第１符号化データを復号する第１符号化データ復号部と、
　前記復号後の第１符号化データに対して実際の放送コンテンツに反映される編集を一部又は全部行う編集加工部と、
　前記編集加工部で編集された前記復号後の第１符号化データを前記調整用コンテンツとして前記コンテンツ通信装置に向けて送信する調整用コンテンツ送信部と、
　前記コンテンツ通信装置から前記第２符号化データを受信する第２符号化データ受信部と、
　前記第２符号化データを復号する第２符号化データ復号部と、
　前記復号後の第１符号化データと前記復号後の第２符号化データとを加算して得られたコンテンツに前記編集加工部で行われた編集を行って得られるコンテンツ、又は、前記調整用コンテンツに前記復号後の第２符号化データを反映して得られるコンテンツを、実際に放送される放送コンテンツとして出力する放送コンテンツ出力部とを、
　有している。
　この構成により、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようになる。

　また、上記目的を達成するため、本発明のコンテンツ通信システムは、放送コンテンツの編集を行うコンテンツ加工装置と、撮影地で撮影された撮影コンテンツデータを前記コンテンツ加工装置へ送信するコンテンツ通信装置とによって構成されるコンテンツ通信システムであって、
　前記コンテンツ通信装置が、
　前記撮影コンテンツデータを取得する撮影コンテンツ取得部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータを、前記コンテンツ加工装置へ向けて送信する送信部と、
　前記コンテンツ加工装置において、前記撮影コンテンツに対して実際の放送コンテンツに反映される編集が一部又は全部行われて返送されてくる調整用コンテンツを受信する調整用コンテンツ受信部と、
　前記調整用コンテンツを前記撮影地のユーザが確認できるよう出力する調整用コンテンツ出力部とを有し、
　前記コンテンツ加工装置が、
　前記コンテンツ通信装置から前記撮影コンテンツデータを受信する撮影コンテンツデータ受信部と、
　前記受信した撮影コンテンツデータに対して実際の放送コンテンツに反映される編集を一部又は全部行う編集加工部と、
　前記編集加工部で編集された前記撮影コンテンツデータを前記調整用コンテンツとして前記コンテンツ通信装置に向けて送信する調整用コンテンツ送信部と、
　前記編集加工部における編集内容を反映した放送コンテンツを作成して出力する放送コンテンツ出力部とを、
　有している。
　この構成により、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようになる。

　本発明は、上記構成を有しており、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようにするという効果を有する。

本発明の第１の実施の形態の放送システムにおけるコンテンツ処理の一例を示すシーケンスチャート本発明の第２の実施の形態の放送システムにおけるコンテンツ処理の一例を示すシーケンスチャート本発明の第２の実施の形態における符号化及び伝送方法の模式的なイメージを示す図本発明の第２の実施の形態における撮影地用コンテンツ通信端末の構成の一例を示す図本発明の実施の形態における調整局用コンテンツ通信装置の構成の第１の例を示すブロック図本発明の実施の形態における調整局用コンテンツ通信装置の構成の第２の例を示すブロック図本発明の実施の形態における調整局用コンテンツ通信装置の構成の第３の例を示すブロック図本発明の第２の実施の形態における撮影コンテンツ符号化器の構成の一例を示すブロック図本発明の第２の実施の形態における放送レベル素材コンテンツ復号器及び送り返しコンテンツ符号化器の構成の一例を示すブロック図遠隔の撮影地からの中継が行われる場合における放送システムの一般的な構成の一例を示す図従来の技術の放送システムにおけるコンテンツ処理の一例を示すシーケンスチャート

　以下、図面を参照しながら、本発明の実施の形態について説明する。

＜本発明の第１の実施の形態＞
　まず、本発明の第１の実施の形態について説明する。図１は、本発明の第１の実施の形態の放送システムにおけるコンテンツ処理の一例を示すシーケンスチャートである。なお、このシーケンスチャートは、ある時刻におけるコンテンツのデータに着目して図示されているが、実際には、撮影コンテンツ、調整用コンテンツ、放送コンテンツなどを始めとするデータは逐次伝送及び処理されている。また、このシーケンスチャートは、調整局スタジオの行動を調整局でそのまま合成する場合と、調整局スタジオでの応答に同期して（応答の内容に合わせて）合成する場合の両方の動作を含んでいる。調整用コンテンツ伝送については、上述の一方若しくは両方を用途に応じて利用することができ、放送に使用するコンテンツとしては、後述のシステム構成や、放送の形態に応じて一方を利用するのが一般的である。

　撮影地には撮影用カメラがあり、撮影地の様子を撮影している。撮影用カメラによって撮影された撮影コンテンツは、符号化処理などを経た後（ステップＳ１００１）、調整局へ送信される（ステップＳ１００２）。調整局では、撮影コンテンツはいったん復号された後（この処理は不図示）、例えば調整局スタジオ内のモニタに撮影コンテンツを出力する一方（ステップＳ１００７）、同時並行して取得した調整局スタジオの行動（調整局スタジオ内の人間の反応）を撮影して（ステップＳ１００３）、その映像／音声を撮影地の撮影コンテンツにＰｉｎＰで重ね合わせたり、あるいは、テロップやその他の各種情報を撮影地の撮影コンテンツに重ね合わせたりする処理や、その他の符号化処理などを行うことで最終コンテンツ（放送コンテンツとして用いられるコンテンツ）を作成する（ステップＳ１００４）。このようにして作成された最終コンテンツは放送波を通じて放送されるが（ステップＳ１００６）、放送波とは別の通信路（撮影地に対してコンテンツを送信できる伝送経路）を利用して、放送コンテンツを調整用コンテンツとして調整局から撮影地へ伝送し（ステップＳ１００５）、撮影地の操作者や撮影対象者は、ある動作を撮影した撮影コンテンツを含む調整用コンテンツ（放送コンテンツと同一コンテンツ）を早いタイミングで確認できるようになる。このとき、調整用コンテンツは、放送コンテンツと同一内容を含むコンテンツであるが、調整局から撮影地への通信路のスループットを考慮して、調整用コンテンツのデータ容量を低減させ、処理負荷の少ない符号化を用いて遅延を少なくすることが望ましい。

　また、ステップＳ１００１で送信された撮影コンテンツに対する調整局スタジオの行動（ステップＳ１００８で取得される調整局スタジオ内の人間の反応）に同期するコンテンツとする場合は、ステップＳ１００８で取得された調整局の映像／音声と、ステップＳ１００１で撮影地から受信した撮影コンテンツとが合成されて符号化された後（ステップＳ１００９）、調整用コンテンツ（及び放送コンテンツ）として調整局から送信される（ステップＳ１０１０、Ｓ１０１１）。このとき、調整用コンテンツは、放送コンテンツと同一内容を含むコンテンツであるが、調整局から撮影地への通信路のスループットを考慮して、調整用コンテンツのデータ容量を低減させ、処理負荷の少ない符号化を用いて遅延を少なくすることが望ましい。なお、図面上では、ステップＳ１００７及びステップＳ１００８の一往復に要する時間が大きく描かれているが、実際には、調整局と調整局スタジオとは隣接していることが一般的であり、ステップＳ１００７及びステップＳ１００８の処理に要する時間はわずかであると考えられる。

　従来の技術によれば、撮影地におけるある動作が反映された撮影コンテンツは、ステップＳ１０１１で放送される放送コンテンツに含まれるが、本発明の第１の実施の形態では、調整局スタジオの行動を調整局でそのまま合成した場合や撮影地で撮影された撮影コンテンツのみを用いて放送コンテンツが作成される場合などには、撮影地の操作者や撮影対象者は、ある動作を撮影した撮影コンテンツを含む調整用コンテンツを時間Ｔａ後に視聴できるようになり、また、調整局スタジオでの応答に同期して（応答の内容に合わせて）合成した場合には、ある動作を撮影した撮影コンテンツを含む調整用コンテンツを時間Ｔｂ後に視聴できるようになる。なお、調整局スタジオでの応答に同期しない調整コンテンツ、及び、調整局スタジオでの応答に同期した調整コンテンツの両方を撮影地へ送り返してもよい。また、１つの調整コンテンツ内で、調整局スタジオでの応答に同期した部分と同期していない部分とが混在してもよい。また、ある動作に対する調整局スタジオの反応については、時間Ｔｂ後に視聴できるようになる。すなわち、撮影地の操作者や撮影対象者は、従来の技術と比較して、迅速に放送コンテンツを確認できるようになる。

　また、図１では、調整局スタジオの行動を撮影した映像／音声が放送コンテンツに含まれるように図示されているが、例えば、撮影地からの撮影コンテンツをそのまま放送（映像であれば放送画面全体で撮影コンテンツを放送）するような場合、調整局スタジオの映像／音声は必ずしも放送コンテンツに含まれる必要はない。すなわち、ステップＳ１００３、Ｓ１００７、Ｓ１００８のコンテンツ伝送は必須ではない。

　以上のように、本発明の第１の実施の形態によれば、調整局は、撮影地から受信した撮影コンテンツを即座に利用して（特に、調整局スタジオの映像／音声を同時並行で取得して）放送コンテンツを作成することにより、撮影地において調整用に利用可能なコンテンツ（撮影地におけるある動作が反映された撮影コンテンツ）を従来の技術と比較して迅速に視聴することができるようになる。また、調整局は、放送コンテンツとは別の通信路を用いて、放送コンテンツと同一のコンテンツを調整用コンテンツとして撮影地へ送り返すことにより、撮影地においてさらに迅速に調整用に利用可能なコンテンツを視聴することができるようになる。

＜本発明の第２の実施の形態＞
　次に、本発明の第２の実施の形態について説明する。なお、本発明の第２の実施の形態は、上述した第１の実施の形態に対してコンテンツの符号化方法に工夫を施すことで、撮影地における調整用コンテンツの視聴をさらに迅速に行えるようにするものである。

　上述の第１の実施の形態によれば、従来の技術と比較して、撮影地における調整用コンテンツの視聴を迅速に行えるようになるが、特定の条件下においては、その効果が十分に発揮されない場合がある。その条件の１つとして、撮影地（又は中継局）と調整局との間の通信路のスループットに制限がある場合が挙げられる。

　上述の第１の実施の形態では、撮影地は、調整局からの調整用コンテンツの受信、あるいは、放送波による放送コンテンツの受信のいずれについても、従来の技術を利用した場合と比較して迅速に調整用途のコンテンツを視聴できるはずである。しかしながら、放送波に含まれる放送コンテンツを調整用に視聴する場合（調整用コンテンツの伝送が行われない場合）には、結局、放送波の伝送及び処理に係る遅延の影響を受けることになる。特に、デジタル放送を利用する場合には、その遅延時間は大きくなってしまい、撮影地の操作者や撮影対象者にとって不都合が生じてしまう可能性がある。なお、アナログ放送を利用すれば、デジタル放送を利用した場合よりも遅延時間が小さくなるが、アナログ放送の利用は終了となるため容易に利用できる状況ではなくなり、撮影地（又は中継局）及び調整局共に、アナログ放送を利用する機器及び無線周波数などの通信回線を調整用途の特別な機器として導入せざるを得なくなる。

　また、上述の第１の実施の形態において、放送波とは別の通信路を用いて調整用コンテンツの伝送を行う場合には、デジタル放送に潜在する遅延の影響を受けることはなくなり、より迅速な調整用コンテンツの伝送が可能となるはずである。しかしながら、撮影地若しくは中継局と調整局との間の伝送における中継回線は、無線通信を介することがあり、必ずしも十分なスループットが得られる環境が構築できるわけではない。したがって、調整局から撮影地へ伝送される調整用コンテンツのデータ圧縮を行う必要も生じるが、放送コンテンツと同一レベルの品質の調整用コンテンツを低スループットの環境で伝送する場合には、調整用コンテンツのデータ圧縮率を上げる必要があり、符号化及びデータ圧縮に係る大きな遅延が加わってしまう可能性がある。このように、撮影地（又は中継局）と調整局との間の通信路のスループットと、データ圧縮率を上げるための符号化とは、トレードオフの関係にあり、効率の良い符号化方法を適切に採用する必要がある。

　そこで、本発明の第２の実施の形態では、撮影地と調整局との間で伝送される撮影コンテンツ及び調整用コンテンツの符号化方法として、階層符号化技術を応用することで、より効率の良い放送システムの構築を実現する。

　図２は、本発明の第２の実施の形態の放送システムにおけるコンテンツ処理の一例を示すシーケンスチャートである。なお、このシーケンスチャートは、ある時刻におけるコンテンツのデータに着目して図示されているが、実際には、撮影コンテンツ、調整用コンテンツ、放送コンテンツなどを始めとするデータは逐次伝送及び処理されている。

　撮影地には撮影用カメラがあり、撮影地の様子を撮影している。撮影用カメラによって撮影された撮影コンテンツは、符号化処理などを経た後（ステップＳ２００１）、調整局へ送信される（ステップＳ２００２）。

　ここで、撮影地からの撮影コンテンツの符号化方法として、スループットが低下した状態においても高画質・高圧縮のフレームをまたぐような符号化方法を採用するのではなく、粗素材の逐次符号化可能なデータを撮影地から逐次送信することで、遅延低減を重視する。具体的には、撮影コンテンツの符号化方法に関して階層符号化方法を応用し、撮影コンテンツを粗素材（コア）レイヤと放送レベル素材（拡張）レイヤに階層化して符号化を行う。粗素材レイヤと放送レベル素材レイヤは分離可能であって、それぞれ個別に送受信でき、また、これらを合成することで、元の符号化データ群（撮影コンテンツ）を得ることが可能である。なお、本明細書では、２つのレイヤに階層化する場合について主に説明を行うが、３つ以上のレイヤに階層化してもよい。

　粗素材（コア）レイヤは、低画素数、狭帯域、モノクロ、モノラルなどの高速符号化が可能な符号化パラメータセットの符号化を行い、フレーム毎送信などの高速逐次送信を行う。なお、高速逐次送信においては、走査線毎、走査線グループ毎、音素片毎、音素片グループ毎などのデータ送信単位時間が短くなる送信単位に分割を行うようにする。なお、本明細書では、粗素材（コア）レイヤに属する符号化データを粗素材コンテンツ符号化データと呼ぶ。

　一方、放送レベル素材（拡張）レイヤは、高画素数、広帯域、ステレオ、広色域カラーなどの最終コンテンツに必要なパラメータセットの符号化を行い、フレーム間圧縮も含めた高圧縮符号化を行ってもよい。なお、最終コンテンツを放送、配信する際の遅延（送り返しなどとは別の観点から定まる遅延）を満たす範囲で符号化、送信される必要があり、システム全体の動作や遅延時間を考慮して設定が行われることが望ましい。なお、本明細書では、放送レベル素材（拡張）レイヤに属する符号化データを放送レベル素材コンテンツ符号化データと呼び、粗素材コンテンツ符号化データ及び放送レベル素材コンテンツ符号化データの両方を復号して元の撮影コンテンツを確認できるようにする復号処理を放送レベル素材コンテンツ復号と呼び、放送レベル素材コンテンツ復号によって復号されたコンテンツを放送レベル素材コンテンツと呼ぶ。

　図３は、本発明の第２の実施の形態における符号化及び伝送方法の模式的なイメージを示す図である。撮影地では、ある符号化対象データに対して階層符号化を適用し、所定の処理単位毎に粗素材レイヤの高速符号化を行って、作成された粗素材コンテンツ符号化データを逐次調整局へ送信する。一方、放送レベル素材レイヤに関しては、高度な符号化なども行うことから、粗素材レイヤコンテンツ符号化データは、対応する粗素材コンテンツよりも遅れて符号化され、調整局へ送信される。なお、放送レベル素材レイヤは、粗素材レイヤと異なり逐次送信する必要はなく、例えば、伝送効率などを考慮してフレーム間高圧縮符号化などが行われてもよい。これにより、撮影地からは、高速符号化によって作成された粗素材コンテンツ符号化データが逐次送信されるとともに、その後遅れて、放送レベル素材コンテンツ符号化データが送信される。

　調整局では、先に到着する粗素材コンテンツ符号化データを使って、スタジオの行動（調整局スタジオでの受け答え）、ＢＧＭ、効果音、テロップ合成、加工の処理などを粗素材コンテンツ符号化データに対して行って調整用コンテンツ（送り返しコンテンツ）を作成し（ステップＳ２００４）、撮影地へ送り返す（ステップＳ２００５）。この際、調整局での編集、加工システムに依存するが、最終コンテンツ（放送コンテンツとして用いられるコンテンツ）に向けての合成は、コンテンツデータのレベルで行うほか、タイムスタンプ、その他のメタデータレベルで行ってもよい。つまり、調整局は、少し遅れてやってくる放送レベル素材コンテンツデータと合成しやすい方法で、粗素材コンテンツ符号化データの合成や切り替えの処理を行ってもよい。なお、調整局スタジオにおける映像／音声も同時並行で取得して（ステップＳ２００３）、調整用コンテンツに反映されるが、調整局スタジオから調整局への映像／音声データも同様に階層符号化によって粗素材レイヤと放送レベル素材レイヤとに分けられていてもよい。

　さらに、調整局では、後から受信される放送レベル素材レイヤをさらに合成して放送／配信用データを生成して、放送／配信用のコンテンツへと加工し（ステップＳ２００４）、放送コンテンツとして放送を行う（ステップＳ２００６）。なお、テレビ放送などでは、さらに、ＣＭコンテンツなどを挿入して最終コンテンツとする場合もあり、放送／配信用のコンテンツはマスタコンテンツとしてアーカイブし、更なる編集、トランスコーディング（配信の際のフォーマット変換など）をさらに行うことがあるが、それぞれの調整局の通常のワークフローに係る処理の部分であって、任意の処理が採用可能である。

　調整局では、基本的に、先に到着する粗素材レイヤに対して編集加工を施して作成されるコンテンツを調整用コンテンツとして撮影地へ送り返し、また、先に到着する粗素材レイヤと、遅れて到着する放送レベル素材レイヤとを合成することで撮影コンテンツが得られることを利用して最終コンテンツを作成するという動作を行う。こうした合成の方法については、いくつかの方法が考えられる。

　例えば、合成の方法によっては、元の粗素材コンテンツレイヤと放送レベル素材コンテンツレイヤとを合成した後、調整局スタジオにおける映像／音声データなどを取得して（受け答えのタイミングに一致した映像／音声データを取得してもよい）合成することが可能である。すなわち、粗素材レイヤの受信時に、撮影地の映像／音声（粗素材）及び調整局スタジオの映像／音声（粗素材コンテンツであってもよい）を編集加工して調整用コンテンツを作成し、放送レベル素材レイヤの受信時には、撮影地の映像／音声（粗素材）、撮影地の映像／音声（放送レベル素材）、新たに取得した調整局スタジオの映像／音声を編集加工して最終コンテンツを作成してもよい。図２においては、例えば、撮影コンテンツ（粗素材コンテンツであってもよく、また、放送レベル素材と合成された放送レベル素材コンテンツであってもよい）が調整局スタジオへ出力され（ステップＳ２００７）、そのコンテンツに対するスタジオの行動を含む映像／音声データが調整局で取得できた時点で（ステップＳ２００８）、受け答えのタイミングに一致した映像／音声データを利用した放送コンテンツの作成を行って（ステップＳ２００９）、放送波により放送を行ってもよい（ステップＳ２０１１）。なお、図面上では、ステップＳ２００７及びステップＳ２００８の一往復に要する時間が大きく描かれているが、実際には、調整局と調整局スタジオとは隣接していることが一般的であり、ステップＳ２００７及びステップＳ２００８の処理に要する時間はわずかであると考えられる。

　また、階層的に上位へ重ねていくことが可能なコーデックであれば、粗素材レイヤ受信時には、撮影地の映像／音声（粗素材）及び調整局スタジオの映像／音声（粗素材）の各映像／音声を編集加工して調整用コンテンツを作成し、拡張レイヤ受信時には、撮影地の映像（放送レベル素材）、調整局スタジオの映像／音声（放送レベル素材）を調整用コンテンツに加えて、最終コンテンツを作成してもよい。

　なお、撮影地の操作者や撮影対象者は、ステップＳ２００１で送信した撮影コンテンツに対するスタジオの反応（調整局スタジオの行動）を、調整用コンテンツの伝送（ステップＳ２０１２）のタイミングで視聴することが可能である。

　本発明の第２の実施の形態は、上述の本発明の第１の実施の形態と同様に、撮影地からの映像／音声と調整局スタジオの行動とを調整局でそのまま合成してもよく、撮影地からの映像／音声が調整局スタジオでの応答に同期するよう（応答の内容に合わせて）合成してもよい。本発明の第２の実施の形態では、調整局スタジオの行動を調整局でそのまま合成した場合や撮影地で撮影された撮影コンテンツのみを用いて放送コンテンツが作成される場合などには、撮影地の操作者や撮影対象者は、ある動作を撮影した撮影コンテンツを含む調整用コンテンツを時間Ｔｃ後に視聴できるようになり、また、調整局スタジオでの応答に同期して（応答の内容に合わせて）合成した場合には、ある動作に対する調整局スタジオの反応を時間Ｔｄ後に（ステップＳ２０１２で受信した調整用コンテンツを視聴するタイミングで）視聴できるようになる。なお、調整局スタジオでの応答に同期しない調整コンテンツ、及び、調整局スタジオでの応答に同期した調整コンテンツの両方を撮影地へ送り返してもよい。また、１つの調整コンテンツ内で、調整局スタジオでの応答に同期した部分と同期していない部分とが混在してもよい。すなわち、撮影地の操作者や撮影対象者は、従来の技術と比較して、迅速に放送コンテンツを確認できるようになり、さらに、上述の本発明の第１の実施の形態と比較しても遅延時間はより短縮されるようになる。

　なお、撮影地と調整局との間の通信路において任意の伝送技術を利用することが可能であるが、例えば３ＧＰＰ回線を利用する場合には、粗素材と放送レベル素材とで異なるＱｏＳ（Quality of Service：サービス品質）の設定が行われることが望ましい。具体的には、粗素材コンテンツ符号化データは遅延を許さないデータとして伝送され、放送レベル素材コンテンツの符号化データは、多少の遅延時間は許しつつも、大容量のデータを正確に伝送できることが望ましい。また、ベアラ、ＰＤＮ（パケットデータネットワーク：Packet Data Network）コネクション、セッションなどデータの伝送管理も別々になっていることが望ましい。

　以上のように、本発明の第２の実施の形態における動作によれば、調整局は、撮影地で階層符号化を応用し、送信する階層とタイミングを制御して送信した撮影コンテンツのうちの粗素材コンテンツを即座に利用し、撮影地において調整用に利用可能なコンテンツ（撮影地におけるある動作が反映された調整用コンテンツ）を作成して撮影地へ送り返すことで、撮影地において、従来の技術と比較して迅速に視聴することができるようになる。なお、調整局は、少なくともタイミング、付加情報、構図などに関して、この粗素材コンテンツに対して、その後放送する放送コンテンツと同一の編集加工を行って調整用コンテンツとするため、撮影地は、撮影コンテンツがどのように最終的な放送コンテンツに反映されるかを、調整用コンテンツから正確かつ迅速に把握できるようになる。

　次に、撮影地用コンテンツ通信端末の構成例について説明する。なお、以下の説明では、１台の撮影地用コンテンツ通信端末にすべての機能ブロックが実装されているように図示されているが、各機能ブロックは、インタフェースを通じて接続された複数の装置に分散して実装されていてもよい。

　図４は、本発明の第２の実施の形態における撮影地用コンテンツ通信端末の構成の一例を示すブロック図である。図４に示す撮影地用コンテンツ通信端末１００は、撮影コンテンツ取得部１１０、撮影コンテンツ符号化部１２０、撮影コンテンツ送信部１３０、送り返しコンテンツ受信部１４０、送り返しコンテンツ復号部１５０、送り返しコンテンツ出力部１６０によって構成されている。

　撮影コンテンツ取得部１１０は、撮影地において撮影された撮影コンテンツを取り込む機能を有している。撮影地用コンテンツ通信端末１００自体にカメラ、マイク、その他のセンサが備えられている場合、撮影コンテンツ取得部１１０は、それぞれのデバイスからの情報を取り込む。なお、取り込まれた情報（映像、音声、その他のデータ列など）はそれぞれが個別に扱われてもよく、また、統合されたマルチメディアデータとして一括で扱われてもよい。

　また、撮影地用コンテンツ通信端末１００自体にカメラ、マイク、その他のセンサが備えられていない場合は、撮影コンテンツ取得部１１０は、必要な情報を入力するためのインタフェースなどを介して撮影地用コンテンツ通信端末１００内に情報を取り込む。この場合のインタフェースとしては、ＤＶＩ（登録商標）、ＨＤＭＩ（登録商標）、コンポーネント／コンポジット、ステレオジャック、シリアルなど、任意の映像、音声、データインタフェースを利用することが可能である。

　撮影コンテンツ取得部１１０は、取得したコンテンツを撮影コンテンツ符号化部１２０へ出力する。なお、必要であれば、レベル、フォーマット変換などを行ったうえで撮影コンテンツ符号化部１２０へ出力する。また、撮影コンテンツの符号化が必要のない場合（例えば、外部符号化、蓄積伝送など複数の異なるモードがある場合など）は、撮影コンテンツ取得部１１０は、撮影コンテンツを撮影コンテンツ送信部１３０へ直接送るように構成されていてもよい。

　なお、本発明の第２の実施の形態では、単にコンテンツ／コンテンツ符号化データとして説明を行うが、情報の種類毎に処理エンティティを複数実施するか、一括で実施するかは設計上の差異に過ぎない。また、複数のエンティティで並行して処理する場合は、時間経過に対して同期するためのタイムスタンプなどの情報交換を各エンティティ間で行う必要があるかもしれないが、同期処理系により処理を行うか、タイムスタンプ情報を各データ列に付加することで最終的なコンテンツ同期を行うかなど、複数のエンティティで並行して処理するための同期方法に関しては本発明の範囲外であり、任意の同期方法を利用することが可能である。

　また、撮影コンテンツ符号化部１２０は、撮影コンテンツ取得部１１０から提供される撮影コンテンツを符号化する機能を有しており、粗素材コンテンツ符号化部１２１、放送レベル素材コンテンツ符号化部１２２、階層符号化管理部１２３によって構成されている。なお、撮影コンテンツ符号化部１２０における符号化（粗素材コンテンツ符号化部１２１及び放送レベル素材コンテンツ符号化部１２２のそれぞれにおける符号化）の方法や品質、パラメータに関して、外部若しくは通信回線を介して制御が可能となるよう構成されていることが望ましい。撮影コンテンツ符号化部１２０によって符号化されたコンテンツ符号化データは、撮影コンテンツ送信部１３０へ出力される。

　粗素材コンテンツ符号化部１２１は、遅延時間の短縮を重視して撮影コンテンツを符号化する機能を有している。粗素材コンテンツ符号化部１２１は、設定された短期間の処理単位（１フレーム単位、走査線単位、数ミリ秒単位など）で撮影コンテンツを符号化する。それぞれの処理単位は、復号時に後続の処理単位のデータを待つ必要なく処理できるように、少なくとも後続の情報に依存しない方法（例えば、フレーム内圧縮や既処理データとの差分符号など）で符号化されることが望ましい。なお、粗素材コンテンツ符号化部１２１で符号化されて生成されたデータを粗素材コンテンツ符号化データと呼ぶ。

　また、符号化のパラメータとしては、粗素材コンテンツ符号化データのサイズ、符号化及び復号に要する処理時間など、遅延時間に関連するパラメータが小さくなるように設定されることが望ましい。例えば、撮影地での構図確認やタイミング確認に使用する送り返しコンテンツに利用する目的であれば、遅延時間の短縮を重視した撮影コンテンツの符号化によって、映像の画素数を放送レベル素材に比較して粗くしてもよく、色域もモノクロで音声はモノラルとしてもよいかもしれない。

　このように必要最小限の処理データ単位とすることで、処理時間を短縮することが可能である。ただし、階層符号化はその構造上、階層の単位が増加すると、一般にオーバヘッドが増加し、また、切り出す処理単位が短くなると相対的に処理単位数が増えるためにオーバヘッドが増加したり、符号化の効率が低下したりするといった影響を及ぼす場合がある。したがって、短期間の処理単位の設定は、総合的な観点から全体の処理時間が短縮されるように設定されることが望ましい。

　また、粗素材コンテンツ符号化部１２１で符号化された後の粗素材コンテンツ符号化データが逐次伝送されるため、粗素材コンテンツ符号化データがその他の伝送に関わるオーバヘッドを加味したうえで、一回の伝送単位（例えば、通信端末の送信周期に割り当てられる送信データサイズ、伝送パケットのパケットサイズ単位など）に対して、過不足がある場合は、短期間の処理単位と整合せず、処理単位としては分割したにもかかわらず実質的には同時に送信されてしまう（処理単位に分割したためにオーバヘッドが増加してしまうかもしれない）ようになったり、さらに小さな伝送単位に分割される（更なる低遅延化が見込めるかもしれない）ようになったりすることが考えられる。したがって、全体の設計としては、伝送単位も考慮した処理単位とすることが望ましく、例えば、短期間の処理単位と伝送単位とが一致しているか、あるいは、一方が他方の逓倍となっていることが望ましい。

　また、粗素材コンテンツ符号化部１２１によって符号化された粗素材コンテンツ符号化データは、都度、即座に送信処理が行われるように粗素材コンテンツ符号化部１２１から撮影コンテンツ送信部１３０へ渡されることが望ましい。

　また、粗素材コンテンツ符号化部１２１は、階層符号化管理部１２３から、対応する階層（放送レベル素材レイヤ）との関係性を符号化できるような制御（パラメータの動的な設定、管理情報の付加など）を受けるよう構成されていてもよく、また、放送レベル素材コンテンツ符号化部１２２との間で情報の受け渡しが行われるよう構成されていてもよい。

　また、放送レベル素材コンテンツ符号化部１２２は、必要な放送レベル素材レイヤの情報を生成するために、必要とされる品質及びパラメータで撮影コンテンツを符号化する機能を有している。なお、階層符号化において放送レベル素材コンテンツのレイヤが複数あれば、それぞれのレイヤに対して符号化部が必要となるかもしれないが、ここでは、１つの放送レベル素材コンテンツ符号化部１２２が存在する場合を一例として説明する。すなわち、階層符号化における各レイヤに応じて、放送レベル素材コンテンツ符号化部１２２は、複数存在していてもよい。なお、放送レベル素材コンテンツ符号化部１２２で符号化されて生成されたデータを放送レベル素材コンテンツ符号化データと呼ぶ。

　元となる（取り込んだ）映像コンテンツは、粗素材コンテンツ符号化部１２１においてその情報の一部は符号化されていると考えることができるので、放送レベル素材コンテンツ符号化部１２２は、元となる映像コンテンツと粗素材コンテンツ符号化部１２１における符号化済みの情報との差分を符号化すればよい。放送レベル素材コンテンツ符号化部１２２は、例えば、モノクロに対するカラー、輝度情報に関する符号化、低解像度映像に対する高解像度部分に関する符号化、モノラル音声に対するステレオ音声差分の符号化、狭帯域音声に対する拡張帯域音声の符号化、粗サンプリングデータに対する補間データの符号化などを行って、放送レベル素材コンテンツ符号化データを生成する。

　限られた伝送帯域（スループット）の通信路を利用する場合は、必要な放送レベル素材の品質と、符号化におけるデータ圧縮比、処理に要する遅延時間（粗素材コンテンツほどではないにしても、一定の遅延時間内に収める必要があるかもしれない）は相互に相関関係を持つため、放送レベル素材コンテンツも符号化に関する設定を行う必要があるかもしれない。例えば、データ圧縮率を上げるために、複数のフレームの相関を基にして映像を圧縮する手法（一般にフレーム間圧縮と呼ばれる）を使用すると、複数のフレームをまとめて処理するために先行データフレームが処理バッファに滞留する期間だけ全体のデータ伝送が遅延することになる。また、一般にフレーム間圧縮は不可逆（復号時にフレーム間の復号誤差を残す）であるため、後の編集加工作業において画質劣化などの点で影響を及ぼす。このように、放送レベル素材コンテンツ符号化としてどのような符号化を行うかは、コンテンツの用途に依存するため、必ずしも図３のような複数フレームをまとめた階層構造にはならないかもしれない。

　放送レベル素材コンテンツ符号化は、上述のような点から、粗素材コンテンツ符号化に比べて符号化遅延が大きく、また、データサイズも大きい。放送レベル素材コンテンツ符号化部１２３による符号化で得られた放送レベル素材コンテンツ符号化データは、（複数フレームをまとめて符号化したものであればその単位で）、撮影コンテンツ送信部１３０へ渡される。

　また、放送レベル素材コンテンツ符号化部１２２は、階層符号化管理部１２３から、対応する階層（粗素材コンテンツ）との関係性を符号化できるような制御（パラメータの動的な設定、管理情報の付加など）を受けるよう構成されていてもよく、また、粗素材コンテンツ符号化部１２１との間で情報の受け渡しが行われるよう構成されていてもよい。

　また、階層符号化管理部１２３は、粗素材コンテンツ符号化部１２１及び放送レベル素材コンテンツ符号化部１２２における各符号化を管理し、各符号化における符号を階層化して、一連の符号化データ（階層符号）として構成する機能を有している。具体的には、階層符号化管理部１２３は、取り込んだ撮影コンテンツを粗素材コンテンツ符号化部１２１において短期間の処理単位で処理するときに、放送レベル素材コンテンツ符号化部１２２において対応する１つ若しくは複数の短期間の処理単位との対応関係を管理し、階層符号化の構造として付加的な情報要素を付加（若しくは符号化）する機能を有している。なお、これはシステムレイヤとも呼ばれることがあり、階層符号化管理部１２３は、粗素材コンテンツ符号化部１２１及び放送レベル素材コンテンツ符号化部１２２で符号化された各符号化データを関係付け、また、それぞれの符号化部の制御を行ったり（パラメータの動的な設定、管理情報の付加など）、情報の受け渡しの制御を行ったりすることもある。

　また、撮影コンテンツ送信部１３０は、撮影コンテンツ符号化部１２０から出力される符号化データを調整局（調整局用コンテンツ通信装置）に対して送り出すための機能、若しくは、伝送のための通信モジュールとのインタフェース（通信機そのものが撮影地用コンテンツ通信端末１００の外部に接続されるような場合）に対して出力する機能を有している。撮影コンテンツ送信部１３０は、符号化データ取得部１３１、粗素材コンテンツ符号化データ送信部１３２、放送レベル素材コンテンツ符号化データ送信部１３３によって構成されている。

　符号化データ取得部１３１は、撮影コンテンツ符号化部１２０から出力される符号化データを取得する機能を有している。また、符号化データ取得部１３１は、取得した符号化データに関して、粗素材コンテンツ符号化データを粗素材コンテンツ符号化データ送信部１３２へ渡し、放送レベル素材コンテンツ符号化データを放送レベル素材コンテンツ符号化データ送信部１３３へ渡す機能を有している。なお、遅延時間の短縮化の観点から、少なくとも粗素材コンテンツを符号化した符号化データ（粗素材コンテンツ符号化部１２１による符号化データ）は滞留なく（可能であれば、一時的なバッファなども経由することなく）粗素材コンテンツ符号化データ送信部１３２に渡されることが望ましい。

　また、粗素材コンテンツ符号化データ送信部１３２は、符号化データ取得部１３１で取得した符号化データのうち、粗素材コンテンツ符号化データを調整局用コンテンツ通信装置へ送信する機能を有している。なお、粗素材コンテンツ符号化データ送信部１３２による粗素材コンテンツ符号化データの通信と、放送レベル素材コンテンツ符号化データ送信部１３３による放送レベル素材コンテンツ符号化データの通信とは、それぞれ異なる通信方法で送信されてもよい。すなわち、粗素材コンテンツ符号化データ送信部１３２からの粗素材コンテンツ符号化データの送信については、遅延時間を短縮することを優先して処理することが望ましく、例えば、通信経路として、遅延時間が短い経路（通信モジュール、インタフェースなど）を選択したり、通信経路のパラメータ設定が可能であるような場合（通信路を管理するノードに対してＱｏＳパラメータなどの要求を行える場合なども含む）に、遅延時間を短く設定するように通信路設定の処理を行ったり、あるいは、他の符号化データを含むデータ通信とは異なる通信処理（ベアラ、セッション、コネクションの設定など）を行ったりしてもよい。

　また、放送レベル素材コンテンツ符号化データ送信部１３３は、符号化データ取得部１３１で取得した符号化データのうち、放送レベル素材コンテンツ符号化データを調整局用コンテンツ通信装置へ送信する機能を有している。なお、放送レベル素材コンテンツ符号化データに関しても、放送に耐え得るよう（若しくは、調整局や調整局のスタジオとの掛け合い、コミュニケーションに耐え得るよう）遅延時間の管理は同様に必要であるが、粗素材コンテンツの伝送遅延に求められる遅延時間の条件に比較して緩和された条件下で送信処理を行うことができる。

　また、放送レベル素材コンテンツ符号化データのデータ量は粗素材コンテンツの符号化データのデータ量に比較して大きくなることが考えられ、放送レベル素材コンテンツ符号化データに係る伝送の要求条件（伝送エラー、パケットロスなどの要求条件）は粗素材コンテンツの符号化データに比べて厳しいと考えられる。なお、逆に、粗素材コンテンツはそもそもフレーム数など、データが間引かれていたり、ある程度のロスを許容したりするかもしれない。そのため、放送レベル素材コンテンツの符号化データに関しては、多少の遅延時間は許しつつも、大容量のデータを正確に伝送できるよう通信経路（通信モジュール、インタフェースなど）の選択やパラメータ設定を行うことが望ましい。

　なお、放送レベル素材コンテンツは処理するデータ量が大きく、放送レベル素材コンテンツ符号化部１２２での符号化自体に時間を要することも考えられるため、実質的に、通信部分では（放送レベル素材コンテンツ符号化データ送信部１３３においては）、放送レベル素材コンテンツ符号化データを取得してから送信するまでに要する時間を粗素材コンテンツ符号化データ送信部１３２と同様にできるだけ遅延時間を短くするよう処理できることが望ましい。

　その結果として、放送レベル素材コンテンツ符号化データ送信部１３３は、粗素材コンテンツ符号化データ送信部１３２と同様の通信設定で送信することになるかもしれないが、通信の管理として、ベアラ、セッション、コネクションなどは粗素材コンテンツと放送レベル素材コンテンツとでは区別して管理されていることが望ましい。

　また、送り返しコンテンツ受信部１４０は、調整局用コンテンツ通信装置から送信されてくる送り返しコンテンツを受信する機能を有している。送り返しコンテンツは、実際の放送コンテンツと同じタイミングで調整、編集加工などが行われているが、解像度、フレームレート、色、音声の面で、撮影現場における必要条件を満たす範囲で簡素化若しくは低レート化されているものである。なお、送り返しコンテンツ受信部１４０は、その他、制御用の音声（映像、その他のデータを含む）など、送り返しコンテンツ以外のデータも受信することが可能である。送り返しコンテンツ以外のデータとしては、例えば、調整局からの指示、中継局からの指示、放送中／それ以外（ＣＭ（コマーシャル）の期間、調整局のスタジオやその他の中継先からの中継などが行われている期間）を示す信号などが挙げられる。送り返しコンテンツ受信部１４０が受信した送り返しコンテンツは、送り返しコンテンツ復号部１５０に渡され、また、その他のデータは、各種データを取り扱う機能（図４には不図示）に渡される。

　また、送り返しコンテンツ復号部１５０は、送り返しコンテンツ受信部１４０で受信した送り返しコンテンツの復号処理を行う機能を有している。なお、送り返しコンテンツ復号部１５０は、調整局用コンテンツ通信装置における符号化方法に基づいて送り返しコンテンツの復号を行うが、例えば、調整局用コンテンツ通信装置においても粗素材コンテンツ符号化部１２１と同様の符号化方法が利用されることが考えられる。送り返しコンテンツ復号部１５０で復号した送り返しコンテンツは、送り返しコンテンツ出力部１６０へ渡される。

　また、送り返しコンテンツ出力部１６０は、送り返しコンテンツ復号部１５０で復号した送り返しコンテンツ（さらには、送り返しコンテンツに付随して処理された情報など）を必要なインタフェースなどを通じて出力する機能を有している。送り返しコンテンツ出力部１６０は、撮影地用コンテンツ通信端末１００に設置された出力用デバイス（モニタ、スピーカ、ヘッドホンなど）や、撮影地用コンテンツ通信端末１００に接続された各種装置に設置された出力用デバイス、その他の外部インタフェースなどから、撮影地の人間（操作者や撮影対象者）が確認可能となるように送り返しコンテンツを出力する。なお、送り返しコンテンツ出力部１６０は、送り返しコンテンツとそれ以外のデータ、コンテンツとを区別して出力できることが望ましく、また、必要に応じてそれらを混合して出力できることが望ましい。

　なお、図４に図示されている撮影地用コンテンツ通信端末１００の構成は一例に過ぎない。撮影地用コンテンツ通信端末（あるいは、インタフェースを通じて接続された複数の装置）は、撮影コンテンツに関連する粗素材コンテンツの逐次符号化可能なデータを遅延重視で送信し、さらに、その粗素材コンテンツに対して実際の放送コンテンツと同じ編集加工が施された送り返しコンテンツ（調整用コンテンツ）を受信及び出力するよう構成されていればよい。また、ある機能ブロックを別の機能ブロックの一部として実現したり、ある機能ブロックをインタフェースを通じて接続可能な別の外部機材に実装させたりしてもよい。

　次に、調整局用コンテンツ通信装置の構成例について説明する。なお、以下の説明では、１台の調整局用コンテンツ通信装置にすべての機能ブロックが実装されているように図示されているが、各機能ブロックは、インタフェースを通じて接続された複数の装置に分散して実装されていてもよい。

　図５は、本発明の実施の形態における調整局用コンテンツ通信装置の構成の第１の例を示すブロック図である。図５に示す調整局用コンテンツ通信装置２００は、撮影コンテンツ受信部２１０、調整局コンテンツ取得部２２０、送り返しコンテンツ生成部２３０、編集加工用インタフェース部２３２、最終コンテンツ生成部２４０、送り返しコンテンツ出力部２５０、最終コンテンツ出力部２６０を有している。

　撮影コンテンツ受信部２１０は、撮影地（撮影地用コンテンツ通信端末１００）から、符号化された撮影コンテンツを受信する。なお、撮影地用コンテンツ通信端末１００からは、撮影コンテンツとして、粗素材コンテンツ符号化データ及び放送レベル素材コンテンツ符号化データを受信するが、それぞれの符号化データは、関連性（同じ撮影地用コンテンツ通信装置からの階層構造の対応する複数のレイヤの符号化データの関連付け情報など）を維持しつつも、それぞれが独立した処理単位として扱えるよう構成される。また、撮影コンテンツを受信してから、復号、その他の処理、最終コンテンツ（放送コンテンツ）の出力までの間、一時的に受信した撮影コンテンツの符号化データを保持しておく機能を兼ねることが望ましい。

　また、送り返しコンテンツ生成部２３０は、粗素材コンテンツ符号化データを復号し、それを利用して送り返しコンテンツを生成する機能を有しており、撮影コンテンツ出力部２３１、粗素材コンテンツ復号部２３３、送り返しコンテンツ合成部２３４、送り返しコンテンツ符号化部２３５によって構成されている。

　撮影コンテンツ出力部２３１は、受信した撮影コンテンツ（粗素材コンテンツ復号部２３３で復号された粗素材コンテンツ）を出力（表示）する機能を有する。撮影コンテンツ出力部２３１は、外部インタフェースに撮影コンテンツを出力（モニタなど）してもよい。なお、編集加工などの調整局でのワークフローによっては、この機能に相当するブロックは最終コンテンツ生成部２４０にあってもよい。

　また、粗素材コンテンツ復号部２３３は、受信した粗素材コンテンツ符号化データから、粗素材コンテンツを取得する機能を有している。粗素材コンテンツ復号部２３３は、例えば、符号化データのシステムレイヤからコンテンツの復号を行い、タイムスタンプやフレームナンバーなどの放送レベル素材コンテンツとの対応関係を示す情報と共に復号を行う。粗素材コンテンツ復号部２３３は、例えば編集加工用インタフェース部２３２からの指示やその他の制御に従って、復号した粗素材コンテンツを撮影コンテンツ出力部２３１へ渡す（粗素材コンテンツの状態で出力する場合）。また、粗素材コンテンツ復号部２３３は、復号した粗素材コンテンツを最終コンテンツ生成部２４０に渡し、最終コンテンツ生成部２４０における最終コンテンツの合成にも用いられる。

　また、送り返しコンテンツ合成部２３４は、編集加工用インタフェース部２３２からの指示やその他の制御に従い、粗素材コンテンツを用いて送り返しコンテンツの合成を行う機能を有している。なお、送り返しコンテンツについても処理遅延や伝送遅延を小さくすることが望ましく、送り返しコンテンツは、符号化する際に短時間で処理され、かつ、少ないデータ量の符号化データとなるようなコンテンツであることが望ましい。

　なお、送り返しコンテンツ合成部２３４は、編集加工用インタフェース部２３２からの指示やその他の制御に従い、粗素材コンテンツに対して構図調整などを行うことで、送り返しコンテンツ（すなわち、調整用コンテンツ）を合成する。また、編集加工のための機材が外部接続する形式である場合は、送り返しコンテンツ合成部２３４は、合成済みの送り返しコンテンツを取得するのみの場合もある。これは調整局の全体のシステム構成に依存するものであるから、調整局用コンテンツ通信装置２００には、送り返しコンテンツを取得する機能のみが存在するような実施の構成もあることを含めて、送り返しコンテンツ合成部２３４の機能とする。すなわち、送り返しコンテンツ合成部２３４は、システム構成上、送り返しコンテンツの合成は行わずに単に取得するだけの動作を行う送り返しコンテンツ取得部として実現可能な場合もある。

　また、送り返しコンテンツ符号化部２３５は、送り返しコンテンツ合成部２３４で合成された送り返しコンテンツを符号化する機能を有している。送り返しコンテンツ符号化部２３５は、符号化した符号化データを送り返しコンテンツ出力部２５０へ渡す。なお、送り返しコンテンツ符号化部２３５は、粗素材コンテンツ復号部２３３で復号した粗素材コンテンツ符号化データに係る符号化方法と同等の符号化方法によって符号化を行ってもよい。

　また、編集加工用インタフェース部２３２は、他の調整局のスタジオのコンテンツなどとの切り替えや合成などを行うための制御を行うためのインタフェースである。編集加工用インタフェース部２３２は、コンテンツのタイムスタンプなどと同期して調整局の他の編集機材、送出機材と協調して動作する。なお、編集加工などの調整局でのワークフローによっては、この機能に想到するブロックは送り返しコンテンツ生成部２３０や最終コンテンツ生成部２４０にあってもよく、この場合の構成については、図６及び図７を参照しながら後述する。

　また、最終コンテンツ生成部２４０は、放送レベル素材コンテンツを復号し、それを利用して最終コンテンツを生成する機能を有しており、放送レベル素材コンテンツ復号部２４１、階層符号化管理部２４２、最終コンテンツ合成部２４３によって構成されている。

　放送レベル素材コンテンツ復号部２４１は、受信した放送レベル素材コンテンツ符号化データ（及び粗素材コンテンツ符号化データ）から、放送レベル素材コンテンツを取得する機能を有している。放送レベル素材コンテンツ復号部２４１は、例えば、符号化データのシステムレイヤからコンテンツの復号を行い、タイムスタンプやフレームナンバーなどの粗素材コンテンツとの対応関係を示す情報と共に復号を行う。放送レベル素材コンテンツ復号部２４１は、階層符号化管理部２４２の情報に従って、粗素材コンテンツに階層化された情報を合成して加算することで、復号データ（放送レベル素材コンテンツ）を生成する。

　また、階層符号化管理部２４２は、粗素材コンテンツと放送レベル素材コンテンツとの対応関係を管理（保持）し、正しい階層構造の組み合わせで放送レベル素材コンテンツが復号されるように制御する機能を有している。

　また、最終コンテンツ合成部２４３は、編集加工用インタフェース部２３２からの指示やその他の制御に従い、最終コンテンツの合成を行う機能を有している。なお、最終コンテンツ合成部２４３は、編集加工用インタフェース部２３２からの指示やその他の制御に従い、送り返しコンテンツを合成する際に施されたものと同一の構図調整など行うことで、送り返しコンテンツ（すなわち、調整用コンテンツ）と最終コンテンツとを一致させることができる。また、編集加工が外部の編集機材により行われる場合は、編集加工用インタフェース部２３２からの指示やその他の制御に従い、放送レベル素材コンテンツを最終コンテンツ出力部２６０に渡すのみでよい場合もあり得る。

　また、送り返しコンテンツ出力部２５０は、送り返しコンテンツ符号化部２３５で符号化した送り返しコンテンツの符号化データを撮影地用コンテンツ通信端末１００に対して送信する機能を有している。なお、撮影地用コンテンツ通信端末１００へ送り返しコンテンツ送信するための伝送路は、撮影地用コンテンツ通信端末１００からコンテンツを受信したインタフェースと同一インタフェースからでよいが（双方向通信であれば）、調整局から撮影地に向けての伝送路として、遅延、安定性などの観点から、より適切なインタフェースが選択できるようになっていることが望ましい。また、ＱｏＳなどの伝送に関するパラメータ設定も適切に設定できることが望ましい。

　また、最終コンテンツ出力部２６０は、合成された最終コンテンツ（装置構成によっては、放送レベル素材コンテンツそのもの）を出力する機能を有する。この最終コンテンツ（あるいは、さらに外部の編集機材によって加工されたコンテンツ）は、放送コンテンツとして用いられる。

　なお、この図５に図示されている調整局用コンテンツ通信装置２００は、例えば調整局スタジオの映像（調整局コンテンツ）をＰｉｎＰで重ね合わせたり、テロップを挿入したりするなどの映像編集については、外部の編集機材で行うことを前提とした構成となっている。すなわち、図５に図示されている調整局用コンテンツ通信装置２０１は、編集加工が外部の編集機材で行われたり、送り返しコンテンツ合成部２３４や最終コンテンツ合成部２４３で完結（過不足なく完了）したりする場合などを前提としている。一方、後述の図６や図７に図示されている調整局用コンテンツ通信装置２０１、２０２の別の構成例においては、調整局コンテンツ取得部２２０を有しており、送り返しコンテンツや最終コンテンツに調整局コンテンツを合成する処理を、調整局用コンテンツ通信装置２００内で行うことが可能である。

　また、図６は、本発明の実施の形態における調整局用コンテンツ通信装置の構成の第２の例を示すブロック図である。図６に示す調整局用コンテンツ通信装置２０１は、撮影コンテンツ受信部２１０、調整局コンテンツ取得部２２０、送り返しコンテンツ生成部２３０、最終コンテンツ生成部２４０、送り返しコンテンツ出力部２５０、最終コンテンツ出力部２６０を有している。

　なお、調整局コンテンツ取得部２２０は、撮影地用コンテンツ通信端末１００から送られてくる撮影コンテンツ以外の必要なコンテンツ（調整局のスタジオのコンテンツなど）を取得する機能を有している。この調整局コンテンツ取得部２２０は、撮影コンテンツ以外のコンテンツが不要な場合や、編集加工が外部の装置や送り返しコンテンツ合成部２３４、最終コンテンツ合成部２４３で完結（過不足なく完了）する場合などにおいては、必ずしも設置されている必要はない。

　図６に示す調整局用コンテンツ通信装置２０１の各ブロックの機能は、上述した機能と基本的に同一であるが、大きな違いは、撮影コンテンツ出力部２３１及び編集加工インタフェース部２３２が送り返しコンテンツ生成部２３０に組み込まれている点である。すなわち、図６に示す調整局用コンテンツ通信装置２０１では、粗素材コンテンツがモニタなどから出力されるとともに、編集加工用インタフェース部２３２を通じて粗素材コンテンツに対して編集加工を完了する一方、最終コンテンツを生成する際には、階層符号化データに係る単純な復号処理で得られた放送レベル素材コンテンツに対して、送り返しコンテンツに対する編集加工結果を最終コンテンツ合成部２４３にて合成するよう構成されている。

　また、図７は、本発明の実施の形態における調整局用コンテンツ通信装置の構成の第３の例を示すブロック図である。図７に示す調整局用コンテンツ通信装置２０２も同様に、撮影コンテンツ受信部２１０、調整局コンテンツ取得部２２０、送り返しコンテンツ生成部２３０、最終コンテンツ生成部２４０、送り返しコンテンツ出力部２５０、最終コンテンツ出力部２６０を有しているが、撮影コンテンツ出力部２３１及び編集加工インタフェース部２３２が最終コンテンツ生成部２４０に組み込まれており、かつ、編集加工インタフェース部２３２で送り返しコンテンツ及び最終コンテンツの両方の編集加工が行えるよう構成されている点で、図６に示す調整局用コンテンツ通信装置２０１と大きく異なっている。

　すなわち、図７に示す調整局用コンテンツ通信装置２０２では、放送レベル素材コンテンツと同等の画質の映像をモニタなどで確認しながら、編集加工用インタフェース部２３２を通じて粗素材コンテンツや放送レベル素材コンテンツの編集加工を行えるように構成されている。また、最終コンテンツの品質と同等の放送レベル素材コンテンツを合成した後のタイミングにおいても編集加工が可能であり、例えば、送り返しコンテンツにおいてＰｉｎＰの窓の配置のみ定めておき、最終コンテンツを合成する直前に、調整局コンテンツ取得部２２０から調整局スタジオにおける映像データなどを取得してＰｉｎＰの窓にはめ込むことで、受け答えのタイミングに一致した映像・音声データを合成することも可能となる。

　なお、図５～図７に図示されている調整局用コンテンツ通信装置２００、２０１、２０２の構成は一例に過ぎない。調整局用コンテンツ通信装置（あるいは、インタフェースを通じて接続された複数の装置）は、実際の放送コンテンツに施される編集加工を粗素材コンテンツに対して合成して送り返しコンテンツを生成及び送信し、さらに、粗素材コンテンツに対して施した編集加工を、その粗素材コンテンツに対応した最終コンテンツ（実際の放送コンテンツ）において合成するよう構成されていればよい。また、図５～図７に図示されている構成を組み合わせて使用してもよい。さらに、ある機能ブロックを別の機能ブロックの一部として実現したり、ある機能ブロックをインタフェースを通じて接続可能な別の外部機材に実装させたりしてもよい。

　図８は、本発明の第２の実施の形態における撮影コンテンツ符号化器の構成の一例を示すブロック図である。なお、図８に示す撮影コンテンツ符号化器５００は、図４に示す撮影地用コンテンツ通信端末１００内に配置され得るものであるが、図８は、階層符号化技術を用いて撮影コンテンツから粗素材コンテンツ符号化データ及び放送レベル素材コンテンツ符号化データを作成する機能に着目して図示されている。

　図８に示す撮影コンテンツ符号化器５００は、コア符号化器５０１、コア復号器５０２、差成分抽出器５０３、拡張符号化器５０４を有している。なお、コア符号化器５０１、コア復号器５０２、拡張符号化器５０４はそれぞれ、粗素材コンテンツ符号化器、粗素材コンテンツ復号器、放送レベル素材コンテンツ符号化器に対応している。

　撮影コンテンツ符号化器５００に入力された撮影コンテンツは、コア符号化器５０１及び差成分抽出器５０３に供給される、まず、コア符号化器５０１が撮影コンテンツの符号化を行って、粗素材コンテンツ符号化データを生成する。コア符号化器５０１で生成された粗素材コンテンツ符号化データは、コア復号器５０２に供給され、コア復号器５０２は、供給された粗素材コンテンツ符号化データの復号処理を行って粗素材コンテンツを得て、差成分抽出器５０３へ粗素材コンテンツを供給する。

　差成分抽出器５０３は、供給された撮影コンテンツと粗素材コンテンツとの差成分を抽出し、その差成分を拡張符号化器５０４へ供給する。拡張符号化器５０４は、供給された差成分を符号化して放送レベル素材コンテンツ符号化データを生成する。そして、コア符号化器５０１で得られた粗素材コンテンツ符号化データ、拡張符号化器５０４で得られた放送レベル素材コンテンツ符号化データがそれぞれ出力される。

　なお、符号化データの出力及び伝送のタイミングとしては、遅延時間の短縮を考慮し、まず、粗素材コンテンツ符号化データが得られた時点で即座に伝送するよう撮影コンテンツ符号化器５００より出力し、次に、残りの処理を行った後に得られる放送レベル素材コンテンツ符号化データを撮影コンテンツ符号化器５００より出力する。この階層符号化により、伝送後の復号側の処理においては、得られた符号化データのうち一部（粗素材コンテンツ符号化データ）を用いたコア復号器（粗素材コンテンツ復号器）による復号で粗素材コンテンツが得られ、これに残りの符号（放送レベル素材コンテンツ符号化データ）を用いた拡張復号器（放送レベル素材コンテンツ復号器の一部）による復号で得られる成分を加算することにより、元の撮影コンテンツが復号され、放送レベル素材コンテンツを得ることができる。

　図９は、本発明の第２の実施の形態における放送レベル素材コンテンツ復号器及び送り返しコンテンツ符号化器の構成の一例を示すブロック図である。なお、図９に示すコア復号器６０１、送り返しコンテンツ符号化器６０２、放送レベル素材コンテンツ復号器６１０は、図５～図７に示す調整局用コンテンツ通信装置２００、２０１、２０２内に配置され得るものであるが、図９は、粗素材コンテンツ符号化データから粗素材コンテンツを作成する機能、階層符号化技術を用いて粗素材コンテンツ符号化データ及び放送レベル素材符号化データから放送レベル素材コンテンツを作成する機能、送り返しコンテンツから送り返しコンテンツ符号化データを作成する機能に着目して図示されている。また、コア復号器６０１とコア復号器６１２は、粗素材コンテンツ符号化データを復号するという同一機能を有しており、同一の復号器によって実現されてもよい。

　図９において、階層符号器（図８に示す撮影コンテンツ符号化器５００）で得られた符号データの一部（粗素材コンテンツ符号化データ）を受信すると、コア復号器６０１に即座に入力され、コア復号器６０１による復号で粗素材コンテンツが得られる。さらに、こうして得られた粗素材コンテンツは調整用コンテンツ（送り返しコンテンツ）として使用可能となるよう編集加工される。送り返しコンテンツは、送り返しコンテンツ符号化器６０２によって符号化され、符号化後のデータ（送り返しコンテンツ符号化データ）は、撮影地用コンテンツ通信端末１００へ送り返される。なお、送り返しコンテンツは伝送先（すなわち、図８に示す撮影コンテンツ符号化器５００）で高品質を必要としないので、低レートで符号化を行うことが可能である。

　また、図９に示す放送レベル素材コンテンツ復号器６１０は、階層型復号器６１１、コア復号器６１２、拡張復号器６１３、加算器６１４を有している。

　粗素材コンテンツ符号化データ及び放送レベル素材コンテンツ符号化データは、階層符号化データのシステムレイヤのみを把握する階層型復号器６１１に入力される。そして、階層型復号器６１１の制御（各階層符号化データの対応関係などの管理）によって、符号化データの全てを用いて、まずコア復号器（粗素材コンテンツ復号器と等価の復号器）６１２で復号を行って粗素材コンテンツを取得し、次に拡張復号器６１３で復号を行って撮影コンテンツとの差成分に相当するデータ（放送レベル素材レイヤに属するデータ）を取得する。そして、これらのデータは、加算器６１４において加算されることで、放送レベル素材コンテンツが取得される。

　本発明の使用形態においては、粗素材コンテンツ復号器が別途送り返しコンテンツの生成のために並行、若しくは先行して動作しているよう構成できるので、コア復号器の代わりに、単に粗素材コンテンツ符号化データの復号処理を行うだけの粗素材コンテンツ復号器の出力を用いることができる。また、送り返しコンテンツの生成のために先行して復号された粗素材コンテンツ（コア復号器６０１で復号された粗素材コンテンツ）を階層型復号器６１１、コア復号器６１２あるいは加算器６１４へ供給することで、放送レベル素材コンテンツ復号器６１０において同様の処理が行われるようにすることも可能である。

　なお、最終コンテンツの作成において、粗素材コンテンツ符号化データと放送レベル素材コンテンツ符号化データとを復号し（その結果、放送レベル素材コンテンツが得られる）、こうして得られた放送レベル素材コンテンツを編集加工したものを最終コンテンツとする場合には、容易に処理が可能である。一方、例えば、粗素材コンテンツ符号化データを復号したものに対して編集加工を施し、さらに、放送レベル素材コンテンツ符号化データを復号して得られたデータを利用して最終コンテンツを得ようとする場合には、特殊な処理やコーデックが必要となるかもしれない。

　なお、上述の各実施の形態では、テレビ放送やネットワーク配信を前提として本発明の説明を行っているが、本発明に係る符号化方法、送り返し方法、伝送システムなどは、その他既存のデータ通信技術、及び、将来発展するであろう様々なデータ通信技術に適用することができる。特に、携帯端末を所持する個人が様々な場所で撮影したコンテンツを一般公衆又は特定メンバを問わずに配布、配信することが可能となりつつあるデータ通信においては、個人のデータ配信方法、中間の配信サービス提供方法としても広く利用可能である。また、音声のみ（ラジオ放送など）や映像のみ（監視）など、コンテンツが単一の場合にも本発明の適用が可能であることは明らかである。

　また、説明を簡単にするため、撮影地に送信、調整局に送信などの表現を用いて本発明の説明を行っている箇所があるが、実際は、本発明の撮影地側通信端末と調整局側通信装置との間で通信が行われる。また、システム構成上、撮影地、調整局のほかに、中継局に様々な機能を実装できる装置が搭載されていることがある。このような場合には、例えば、撮影地側通信端末に実装されていると説明した撮影コンテンツ符号化部及び撮影コンテンツ送信部（例えば、本発明の核となる階層符号化処理及び符号化データの送信処理）を中継局の装置に実装し、撮影地では送り返しコンテンツ（調整用コンテンツ）の受信、復号、表示のみを行うようにしてもよい。

　また、実際の使用環境において、本発明の装置が、放送の中継の開始前後も含めて動作していることが考えられるが、この場合、撮影地での撮影コンテンツは調整局で受信（および保存など）されるものの、送り返しコンテンツとしては、実際に放送／配信がなされるもの（つまり、調整局スタジオでの撮影コンテンツのみで、撮影コンテンツとの合成等がない）を送り返し、中継の開始のタイミングを計るなどの調整作業を行うため、実質的には撮影コンテンツ（粗素材コンテンツ、放送レベル素材コンテンツ共に）の合成／加工を必要としない。この場合、調整局用コンテンツ通信装置では、粗素材コンテンツを元にした送り返しコンテンツ（粗素材コンテンツの合成、加工を行った送り返しコンテンツ）の符号化を行うのではなく、粗素材コンテンツ若しくは放送レベル素材コンテンツを調整局の機材に対して出力するとともに、調整局スタジオでの撮影コンテンツなどの送り返しコンテンツを入力とし、それを符号化して送り返す。なお、このような動作モードを、アイドリングのモードと呼ぶことにする。上述した通常の中継を行うモードと、アイドリングのモードとは、中継開始／終了のタイミングでそれぞれ切り替わるようにしてもよい。

　また、上述の第２の実施の形態では、階層符号化を応用して、粗素材コンテンツと放送レベル素材コンテンツとを加算したものが、過不足なく撮影コンテンツに一致するようにしているが、撮影地側通信端末が、粗素材コンテンツを生成して調整局へ送信する機能を有し、かつ、調整局（復号側）が撮影コンテンツの復号を行うことが可能であれば、階層符号化技術と一致しない冗長なデータ符号化が行われてもよい。例えば、図５に示す撮影コンテンツ符号化器５００において、拡張符号化器５０４は、粗素材コンテンツの一部又は全部と重複する内容を含む放送レベル素材コンテンツ符号化データを生成してもよい。この場合、復号側においては、放送レベル素材コンテンツ符号化データに重複して粗素材コンテンツの一部又は全部が含まれていることを前提とした処理を行えばよい。また、粗素材コンテンツの全部が放送レベル素材コンテンツ符号化データに含まれるよう符号化が行われる場合には、撮影コンテンツ符号化器５００は、コア符号化器５０１と、入力される撮影コンテンツ全体を符号化する符号化器（撮影コンテンツ符号化器）とを有し、粗素材コンテンツ符号化データを即座に送信するとともに、遅れて、撮影コンテンツ全体を符号化したデータを送信すればよい。

　なお、上記の本発明の実施の形態の説明で用いた各機能ブロックは、典型的には集積回路であるＬＳＩ（Large Scale Integration）として実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Integrated Circuit）、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。

　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応などが可能性としてあり得る。

　本発明は、撮影地からの中継放送を行う場合に、撮影地（撮影側）で行われた動作がどのように放送コンテンツとして反映されるかを、撮影側が迅速に確認できるようにするという効果を有しており、コンテンツデータの符号化及び伝送を行う技術に適用可能である。

Claims

　撮影地で撮影された撮影コンテンツデータを、放送コンテンツの編集を行うコンテンツ加工装置へ送信するコンテンツ通信装置であって、
　前記撮影コンテンツデータを取得する撮影コンテンツ取得部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
　前記第１符号化部で生成された前記第１符号化データを、前記コンテンツ加工装置へ向けて逐次送信する第１送信部と、
　前記第１符号化データに含まれる映像の品質を上げる付加情報を前記撮影コンテンツデータから抽出して符号化し、第２符号化データを生成する第２符号化部と、
　前記第２符号化部で生成された前記第２符号化データを前記コンテンツ加工装置へ向けて送信する第２送信部とを、
　有するコンテンツ通信装置。
　前記第１送信部による前記第１符号化データの通信方法と、前記第２送信部による前記第２符号化データの通信方法とがそれぞれ異なるように構成されている請求項１に記載のコンテンツ通信装置。
　前記第１送信部による前記第１符号化データの通信に係る前記コンテンツ加工装置への通信経路と、前記第２送信部による前記第２符号化データの通信に係る前記コンテンツ加工装置への通信経路とがそれぞれ異なるように構成されている請求項２に記載のコンテンツ通信装置。
　前記第１送信部による前記第１符号化データの通信に係る前記コンテンツ加工装置へのＱｏＳ設定と、前記第２送信部による前記第２符号化データの通信に係る前記コンテンツ加工装置へのＱｏＳ設定とがそれぞれ異なるように構成されている請求項２に記載のコンテンツ通信装置。
　前記第１符号化部及び前記第２符号化部が、前記映像コンテンツデータの階層符号化を行い、前記第１符号化部が、前記階層符号化のコアレイヤの符号化データを前記第１符号化データとして生成し、前記第２符号化部が、前記階層符号化の拡張レイヤの符号化データを前記第２符号化データとして生成するよう構成されている請求項１に記載のコンテンツ通信装置。
　前記第１符号化部で生成された前記第１符号化データを復号して復号データを生成する復号部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータと、前記復号部で生成された前記復号データとの差成分を抽出して差成分データを生成する差成分抽出部とを、
　有し、
　前記第２符号化部が、前記差成分抽出部で生成された前記差成分データを前記階層符号化の拡張レイヤの符号化データとして、前記第２符号化データを生成するように構成されている請求項５に記載のコンテンツ通信装置。
　前記第１符号化部が、前記第１送信部における送信単位に合わせて前記第１符号化データを生成するように構成されている請求項１に記載のコンテンツ通信装置。
　前記第１符号化部によって生成される前記第１符号化データの符号化単位、及び、前記第１送信部における前記送信単位に関して、一方が他方の逓倍となるように構成されている請求項７に記載のコンテンツ通信装置。
　前記第２符号化部が、前記第１符号化部によって生成される前記第１符号化データの符号化単位の複数に対応する情報をまとめて符号化して、前記第２符号化データを生成するように構成されている請求項１に記載のコンテンツ通信装置。
　前記第１符号化部がフレーム毎圧縮による符号化を行い、前記第２符号化部がフレーム間圧縮による符号化を行うように構成されている請求項９に記載のコンテンツ通信装置。
　前記第１符号化部が、前記撮影コンテンツに含まれる映像の分割単位に合わせて前記撮影コンテンツに含まれる音声の分割単位を定め、前記第１符号化データを生成するように構成されている請求項１に記載のコンテンツ通信装置。
　前記コンテンツ加工装置において、前記第１符号化データに対して実際の放送コンテンツに反映される編集が一部又は全部行われて返送されてくる調整用コンテンツを受信する調整用コンテンツ受信部と、
　前記調整用コンテンツを前記撮影地のユーザが確認できるよう出力する調整用コンテンツ出力部とを、
　有する請求項１に記載のコンテンツ通信装置。
　撮影地で撮影された撮影コンテンツデータを、放送コンテンツの編集を行うコンテンツ加工装置へ送信するコンテンツ通信装置であって、
　前記撮影コンテンツデータを取得する撮影コンテンツ取得部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータを前記コンテンツ加工装置へ向けて送信する撮影コンテンツ送信部と、
　前記コンテンツ加工装置において、前記撮影コンテンツに対して実際の放送コンテンツに反映される編集が一部又は全部行われて返送されてくる調整用コンテンツを受信する調整用コンテンツ受信部と、
　前記調整用コンテンツを前記撮影地のユーザが確認できるよう出力する調整用コンテンツ出力部とを、
　有するコンテンツ通信装置。
　放送コンテンツの編集を行うコンテンツ加工装置であって、
　撮影地で撮影された撮影コンテンツデータを取得したコンテンツ通信装置が前記撮影コンテンツデータに対して所定の品質で符号化して生成した第１符号化データを、前記コンテンツ通信装置から受信する第１符号化データ受信部と、
　前記第１符号化データを復号する第１符号化データ復号部と、
　前記復号後の第１符号化データに対して実際の放送コンテンツに反映される編集を一部又は全部行う編集加工部と、
　前記編集加工部で編集された前記復号後の第１符号化データを調整用コンテンツとして前記コンテンツ通信装置に向けて送信する調整用コンテンツ送信部とを、
　有するコンテンツ加工装置。
　前記編集加工部で編集された前記復号後の第１符号化データを、前記第１符号化データに係る符号化方法と同一の方法で符号化して、前記調整用コンテンツを生成する符号化部を有する請求項１４に記載のコンテンツ加工装置。
　前記コンテンツ通信装置が前記第１符号化データに含まれる映像の品質を上げる付加情報を前記撮影コンテンツデータから抽出し、符号化して生成した第２符号化データを、前記コンテンツ通信装置から受信する第２符号化データ受信部と、
　前記第２符号化データを復号する第２符号化データ復号部とを、
　有する請求項１４に記載のコンテンツ加工装置。
　前記復号後の第１符号化データと前記復号後の第２符号化データとを加算して得られたコンテンツに前記編集加工部で行われた編集を行って得られるコンテンツ、又は、前記調整用コンテンツに前記復号後の第２符号化データを反映して得られるコンテンツを、実際に放送される放送コンテンツとして出力する放送コンテンツ出力部とを、
　有する請求項１６に記載のコンテンツ加工装置。
　前記第１符号化データ復号部による復号後の第１符号化データと、前記第２符号化データ復号部による復号後の第２符号化データとに基づいてコンテンツを取得するコンテンツデータ取得部と、
　前記コンテンツデータ取得部で取得された前記コンテンツに対して編集を行う放送用編集加工部と、
　前記放送用編集加工部による編集後のコンテンツを、実際に放送される放送コンテンツとして出力する放送コンテンツ出力部とを、
　有する請求項１６に記載のコンテンツ加工装置。
　前記第１符号化データ復号部及び前記第２符号化データ復号部が階層符号化データの復号を行い、前記第１符号化データ復号部が、前記第１符号化データから前記階層符号化のコアレイヤのデータを取得し、前記第２符号化データ復号部が、前記第２符号化データから前記階層符号化の拡張レイヤのデータを取得して、前記コアレイヤのデータ及び前記拡張レイヤのデータに基づいてコンテンツを取得するよう構成されている請求項１６に記載のコンテンツ加工装置。
　外部コンテンツを取得する外部コンテンツ取得部を有し、
　前記編集加工部が、前記編集時に前記復号後の第１符号化データに、既に取得している前記外部コンテンツを合成するよう構成されている請求項１４に記載のコンテンツ加工装置。
　外部コンテンツを取得する外部コンテンツ取得部と、
　前記編集加工部における前記編集時に前記外部コンテンツの合成を行う際に、前記撮影コンテンツデータ及び前記外部コンテンツを同期させる同期制御部とを、
　有し、
　前記編集加工部が、前記同期制御部による同期制御に基づいて、前記編集として前記復号後の第１符号化データに、前記外部コンテンツを合成するよう構成されている請求項１４に記載のコンテンツ加工装置。
　外部コンテンツを取得する外部コンテンツ取得部と、
　前記外部コンテンツを調整用コンテンツとして前記コンテンツ通信装置に向けて送信する外部コンテンツ送信部とを、
　有し、
　前記撮影地で撮影された撮影コンテンツデータを実際の放送に使用する場合には、前記調整用コンテンツ送信部による前記調整コンテンツの送信を行い、前記撮影地で撮影された撮影コンテンツデータを実際の放送に使用しない場合には、前記外部コンテンツ送信部による前記調整コンテンツの送信を行うように構成されている請求項１４に記載のコンテンツ加工装置。
　放送コンテンツの編集を行うコンテンツ加工装置であって、
　撮影地で撮影された撮影コンテンツデータを、前記コンテンツ通信装置から受信する撮影コンテンツデータ受信部と、
　前記受信した撮影コンテンツデータに対して実際の放送コンテンツに反映される編集を一部又は全部行う編集加工部と、
　前記編集加工部で編集された前記撮影コンテンツデータを調整用コンテンツとして前記コンテンツ通信装置に向けて送信する調整用コンテンツ送信部とを、
　有するコンテンツ加工装置。
　放送コンテンツの編集を行うコンテンツ加工装置と、撮影地で撮影された撮影コンテンツデータを前記コンテンツ加工装置へ送信するコンテンツ通信装置とによって構成されるコンテンツ通信システムであって、
　前記コンテンツ通信装置が、
　前記撮影コンテンツデータを取得する撮影コンテンツ取得部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータを所定の品質で符号化して第１符号化データを生成する第１符号化部と、
　前記第１符号化部で生成された前記第１符号化データを、前記コンテンツ加工装置へ向けて逐次送信する第１送信部と、
　前記第１符号化データに含まれる映像の品質を上げる付加情報を前記撮影コンテンツデータから抽出して符号化し、第２符号化データを生成する第２符号化部と、
　前記第２符号化部で生成された前記第２符号化データを前記コンテンツ加工装置へ向けて送信する第２送信部と、
　前記コンテンツ加工装置において、前記第１符号化データに対して実際の放送コンテンツに反映される編集が一部又は全部行われて返送されてくる調整用コンテンツを受信する調整用コンテンツ受信部と、
　前記調整用コンテンツを前記撮影地のユーザが確認できるよう出力する調整用コンテンツ出力部とを有し、
　前記コンテンツ加工装置が、
　前記コンテンツ通信装置から前記第１符号化データを受信する第１符号化データ受信部と、
　前記第１符号化データを復号する第１符号化データ復号部と、
　前記復号後の第１符号化データに対して実際の放送コンテンツに反映される編集を一部又は全部行う編集加工部と、
　前記編集加工部で編集された前記復号後の第１符号化データを前記調整用コンテンツとして前記コンテンツ通信装置に向けて送信する調整用コンテンツ送信部と、
　前記コンテンツ通信装置から前記第２符号化データ受信する第２符号化データ受信部と、
　前記第２符号化データを復号する第２符号化データ復号部と、
　前記復号後の第１符号化データと前記復号後の第２符号化データとを加算して得られたコンテンツに前記編集加工部で行われた編集を行って得られるコンテンツ、又は、前記調整用コンテンツに前記復号後の第２符号化データを反映して得られるコンテンツを、実際に放送される放送コンテンツとして出力する放送コンテンツ出力部とを、
　有するコンテンツ通信システム。
　放送コンテンツの編集を行うコンテンツ加工装置と、撮影地で撮影された撮影コンテンツデータを前記コンテンツ加工装置へ送信するコンテンツ通信装置とによって構成されるコンテンツ通信システムであって、
　前記コンテンツ通信装置が、
　前記撮影コンテンツデータを取得する撮影コンテンツ取得部と、
　前記撮影コンテンツ取得部で取得された前記撮影コンテンツデータを、前記コンテンツ加工装置へ向けて送信する送信部と、
　前記コンテンツ加工装置において、前記撮影コンテンツに対して実際の放送コンテンツに反映される編集が一部又は全部行われて返送されてくる調整用コンテンツを受信する調整用コンテンツ受信部と、
　前記調整用コンテンツを前記撮影地のユーザが確認できるよう出力する調整用コンテンツ出力部とを有し、
　前記コンテンツ加工装置が、
　前記コンテンツ通信装置から前記撮影コンテンツデータを受信する撮影コンテンツデータ受信部と、
　前記受信した撮影コンテンツデータに対して実際の放送コンテンツに反映される編集を一部又は全部行う編集加工部と、
　前記編集加工部で編集された前記撮影コンテンツデータを前記調整用コンテンツとして前記コンテンツ通信装置に向けて送信する調整用コンテンツ送信部と、
　前記編集加工部における編集内容を反映した放送コンテンツを作成して出力する放送コンテンツ出力部とを、
　有するコンテンツ通信システム。