JP6197708B2 - 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム - Google Patents
動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム Download PDFInfo
- Publication number
- JP6197708B2 JP6197708B2 JP2014053740A JP2014053740A JP6197708B2 JP 6197708 B2 JP6197708 B2 JP 6197708B2 JP 2014053740 A JP2014053740 A JP 2014053740A JP 2014053740 A JP2014053740 A JP 2014053740A JP 6197708 B2 JP6197708 B2 JP 6197708B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- encoded
- moving image
- picture
- communication path
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
Description
本発明は、符号化された動画像データを伝送する動画像伝送システム、及び、そのような動画像伝送システムで使用可能な動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラムに関する。
動画像データは、一般にデータ量が多い。そのため、動画像データを記憶している装置から他の装置へ動画像データを伝送する場合、伝送されるデータ量を減らすために動画像データは圧縮符号化されることがある。
また近年、フルハイビジョンといった、高精細な動画像データが伝送されることもある。このような高精細な動画像データを伝送する場合、動画像データが圧縮符号化されていたとしても、伝送されるデータ量が多くなるので、動画像データを伝送するために要求される伝送帯域も広くなる。そこで、圧縮符号化された動画像データを複数の通信路または複数の通信チャネルを介して伝送する技術が提案されている(例えば、特許文献1及び2を参照)。
例えば、特許文献1に開示された画像符号伝送システムでは、送信機が、入力される動画をN個に分割して簡略動画とし、各簡略動画をそれぞれ符号化して得られる簡略動画符号を互いに異なる伝送チャンネルを用いて送信する。一方、受信機は、受信した各簡略動画符号を互いに独立に複数の復号器で復号し、復号された簡略動画を合成または補完して、元の動画を出力する。N個の簡略動画は、例えば、元の動画のフレームを、そのN個の簡略動画に順に振り分けることで生成される。あるいは、N個の簡略動画は、元の動画の各フレームをN個の画素を含むブロックに分割し、各ブロック内の特定の位置の画素を取り出すことで生成される。
また、特許文献2に開示された実時間通信方法では、送信端末と受信端末の間に複数の通信路が設定され、通信路ごとに重要度に応じて異なる情報データが送信される。例えば、送信端末から一方の通信路を介して受信端末へ、Iフレームを含む情報パケットと、Pフレームを含む情報パケットと、Bフレームを含む情報パケットとが送信される。一方、送信端末から他方の通信路を介して受信端末へIフレームを含む情報パケットが送信される。
特許文献1に開示された技術では、複数の伝送チャンネルのそれぞれごとに伝送される情報が異なるので、何れかの伝送チャネルで通信障害が生じた場合には、受信装置は、その通信障害が生じた伝送チャネルを通じて伝送される情報は欠落したままとなる。一方、特許文献2に開示された技術では、一方の通信路を通じて伝送される情報は、他方の通信路を通じて伝送される情報の一部または情報全体と同一である。そのため、複数の通信路を利用するにもかかわらず、動画像データの伝送に利用される伝送帯域は、一つの通信路を通じて動画像データを伝送するときの伝送帯域と変わらない。
一つの側面では、本発明は、動画像データを伝送する際の伝送帯域を広げるとともに、動画像データの伝送の信頼性を向上できる動画像符号化装置を提供することを目的とする。
一つの態様では、動画像符号化装置が提供される。この動画像符号化装置は、動画像データのうち、動画像データ内の他のデータを参照せずに符号化可能なキーデータと、キーデータを参照して符号化される第1従属データと、少なくとも第1従属データを参照して符号化される第2従属データとを符号化する符号化部と、符号化されたキーデータ及び符号化された第1従属データを第1の通信路を介して他の装置へ送信し、一方、符号化されたキーデータ及び符号化された第2従属データを第1の通信路と異なる第2の通信路を介して他の装置へ送信する通信処理部とを有する。
他の態様では、動画像符号化装置と、その動画像符号化装置と第1の通信路及び第1の通信路と異なる第2の通信路とを介して接続される動画像復号装置とを有する動画像伝送システムが提供される。この動画像伝送システムにおいて、動画像符号化装置は、動画像データのうち、動画像データ内の他のデータを参照せずに符号化可能なキーデータと、キーデータを参照して符号化される第1従属データと、少なくとも第1従属データを参照して符号化される第2従属データとを符号化する符号化部と、符号化されたキーデータ及び符号化された第1従属データを第1の通信路を介して動画像復号装置へ送信し、一方、符号化されたキーデータ及び符号化された第2従属データを第1の通信路と異なる第2の通信路を介して動画像復号装置へ送信する通信処理部とを有する。
また、動画像復号装置は、第1の通信路から符号化されたキーデータ及び符号化された第1従属データを受信し、かつ、第2の通信路から符号化されたキーデータ及び符号化された第2従属データを受信する受信部と、符号化されたキーデータ、符号化された第1従属データ及び符号化された第2従属データを復号する復号部とを有する。
また、動画像復号装置は、第1の通信路から符号化されたキーデータ及び符号化された第1従属データを受信し、かつ、第2の通信路から符号化されたキーデータ及び符号化された第2従属データを受信する受信部と、符号化されたキーデータ、符号化された第1従属データ及び符号化された第2従属データを復号する復号部とを有する。
さらに他の態様では、動画像復号装置が提供される。この動画像復号装置は、第1の通信路から、動画像データ内の他のデータを参照せずに符号化されたキーデータと、キーデータを参照して符号化された、動画像データ内の第1従属データとを受信し、かつ、第1の通信路と異なる第2の通信路から、符号化されたキーデータと、少なくとも第1従属データを参照して符号化された、動画像データ内の第2従属データとを受信する受信部と、受信部が第1の通信路からキーデータ及び第1従属データを受信し、かつ、第2の通信路からキーデータ及び第2従属データを受信できない場合、キーデータ及び第1従属データを復号し、一方、受信部が第1の通信路からキーデータ及び第1従属データを受信できず、かつ、第2の通信路からキーデータ及び第2従属データを受信した場合、キーデータを復号する復号部とを有する。
さらに他の態様では、動画像符号化用コンピュータプログラムが提供される。この動画像符号化用コンピュータプログラムは、動画像データのうち、動画像データ内の他のデータを参照せずに符号化可能なキーデータと、キーデータを参照して符号化される第1従属データと、少なくとも第1従属データを参照して符号化される第2従属データとを符号化し、符号化されたキーデータ及び符号化された第1従属データを第1の通信路を介して他の装置へ送信し、一方、符号化されたキーデータ及び符号化された第2従属データを第1の通信路と異なる第2の通信路を介して他の装置へ送信する、ことをコンピュータに実行させる命令を含む。
さらに他の態様では、動画像復号用コンピュータプログラムが提供される。この動画像復号用コンピュータプログラムは、第1の通信路から、動画像データ内の他のデータを参照せずに符号化されたキーデータと、キーデータを参照して符号化された、動画像データ内の第1従属データとを受信し、かつ、第1の通信路と異なる第2の通信路から、符号化されたキーデータと、少なくとも第1従属データを参照して符号化された、動画像データ内の第2従属データとを受信できない場合、キーデータ及び第1従属データを復号し、第1の通信路からキーデータ及び第1従属データを受信できず、かつ、第2の通信路からキーデータ及び第2従属データを受信した場合、キーデータを復号する、ことをコンピュータに実行させる命令を含む。
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
一つの側面として、動画像データを伝送する際の伝送帯域を広げるとともに、動画像データの伝送の信頼性を向上できる。
以下、図を参照しつつ、動画像伝送システムについて説明する。
この動画像伝送システムでは、動画像符号化装置が、動画像に含まれる各ピクチャを符号化し、符号化されたピクチャのデータを複数の通信路に振り分けて動画像復号装置へ伝送する。
その際、動画像符号化装置は、他の符号化データを参照せずに符号化できるキーデータを符号化して、符号化したキーデータを複数の通信路のそれぞれへ出力する。また、動画像符号化装置は、キーデータを参照して符号化される第1従属データを符号化し、符号化された第1従属データを一方の通信路へ出力する。さらに、動画像符号化装置は、少なくとも第1従属データを参照して符号化される第2従属データを符号化し、符号化された第2従属データを他方の通信路へ出力する。これにより、この動画像伝送システムは、キーデータに関しては多重に送信することで伝送の信頼性を向上し、キーデータ以外のデータについては、複数の通信路のそれぞれごとに異なるデータを送信することで、動画像伝送に要する伝送帯域の広帯域化を図る。
この動画像伝送システムでは、動画像符号化装置が、動画像に含まれる各ピクチャを符号化し、符号化されたピクチャのデータを複数の通信路に振り分けて動画像復号装置へ伝送する。
その際、動画像符号化装置は、他の符号化データを参照せずに符号化できるキーデータを符号化して、符号化したキーデータを複数の通信路のそれぞれへ出力する。また、動画像符号化装置は、キーデータを参照して符号化される第1従属データを符号化し、符号化された第1従属データを一方の通信路へ出力する。さらに、動画像符号化装置は、少なくとも第1従属データを参照して符号化される第2従属データを符号化し、符号化された第2従属データを他方の通信路へ出力する。これにより、この動画像伝送システムは、キーデータに関しては多重に送信することで伝送の信頼性を向上し、キーデータ以外のデータについては、複数の通信路のそれぞれごとに異なるデータを送信することで、動画像伝送に要する伝送帯域の広帯域化を図る。
なお、ピクチャは、フレームまたはフィールドの何れであってもよい。フレームは、動画像データ中の一つの静止画像であり、一方、フィールドは、フレームから奇数行のデータあるいは偶数行のデータのみを取り出すことにより得られる静止画像である。
また、動画像データは、カラー動画像であってもよく、あるいは、モノクロ動画像であってもよい。
また、動画像データは、カラー動画像であってもよく、あるいは、モノクロ動画像であってもよい。
図1は、一つの実施形態による、動画像伝送システムの概略構成図である。
動画像伝送システム1は、動画像符号化装置10と、二つの通信路20−1、20−2と、動画像復号装置30とを有する。
動画像伝送システム1は、動画像符号化装置10と、二つの通信路20−1、20−2と、動画像復号装置30とを有する。
動画像符号化装置10は、動画像データを圧縮符号化して、キーデータ、第1従属データ及び第2従属データを生成する。そして動画像符号化装置10は、キーデータ及び第1従属データを通信路20−1を介して動画像復号装置30へ送信し、一方、キーデータ及び第2従属データを通信路20−2を介して動画像復号装置30へ送信する。
動画像復号装置30は、通信路20−1及び20−2を介して受信した、キーデータ、第1従属データ及び第2従属データを復号して、元の動画像データを再生する。
なお、通信路20−1及び20−2は、例えば、Transmission Control Protocol(TCP)とInternet Protocol(IP)に準拠した通信路とすることができる。あるいは、通信路20−1及び20−2は、他の通信規格に準拠した通信路であってもよい。また、通信路20−1と通信路20−2とは、物理的に異なる通信路であってもよく、あるいは、物理的に同一の通信路であり、かつ、その通信路で使用される、互いに異なる通信チャネルであってもよい。この場合、通信チャネルごとに、データを搬送するのに使用する信号の周波数が異なっていてもよい。
以下、動画像符号化装置10及び動画像復号装置30について詳細に説明する。
動画像復号装置30は、通信路20−1及び20−2を介して受信した、キーデータ、第1従属データ及び第2従属データを復号して、元の動画像データを再生する。
なお、通信路20−1及び20−2は、例えば、Transmission Control Protocol(TCP)とInternet Protocol(IP)に準拠した通信路とすることができる。あるいは、通信路20−1及び20−2は、他の通信規格に準拠した通信路であってもよい。また、通信路20−1と通信路20−2とは、物理的に異なる通信路であってもよく、あるいは、物理的に同一の通信路であり、かつ、その通信路で使用される、互いに異なる通信チャネルであってもよい。この場合、通信チャネルごとに、データを搬送するのに使用する信号の周波数が異なっていてもよい。
以下、動画像符号化装置10及び動画像復号装置30について詳細に説明する。
図2は、動画像符号化装置10の概略構成図である。動画像符号化装置10は、入力部11と、記憶部12と、符号化部13と、通信処理部14と、通信インターフェース部15とを有する。入力部11、記憶部12、符号化部13、通信処理部14及び通信インターフェース部15は、例えば、別個の回路として形成され、信号線で互いに接続される。あるいは、符号化部13及び通信処理部14は、一つのプロセッサ上で動作するプログラムにより実現される、機能モジュールであってもよい。
入力部11は、伝送対象となる動画像データを取得する。そのために、入力部11は、例えば、動画像データを生成する装置と動画像符号化装置10とを接続するためのビデオインターフェース回路を有する。
入力部11を介して取得された動画像データは、記憶部12に記憶される。あるいは、入力部11を介して取得された動画像データは、符号化部13へ直接渡されてもよい。
入力部11を介して取得された動画像データは、記憶部12に記憶される。あるいは、入力部11を介して取得された動画像データは、符号化部13へ直接渡されてもよい。
記憶部12は、例えば、読み書き可能な揮発性の半導体メモリ回路を有する。そして記憶部12は、伝送対象となる動画像データを記憶する。また記憶部12は、動画像データを圧縮符号化して得られる符号化データ(キーデータ、第1従属データ及び第2従属データを含む)を記憶してもよい。あるいは、記憶部12は、伝送対象となる動画像データが圧縮符号化される際に生成されるデータ等を一時的に記憶してもよい。
符号化部13は、伝送対象となる動画像データに含まれるキーデータ、第1従属データ及び第2従属データを符号化する。そのために、符号化部13は、例えば、Moving Picture Experts Group(MPEG)により策定されたMPEG-2に従って、動画像データに含まれるキーデータ、第1従属データ及び第2従属データを圧縮符号化する。あるいは、符号化部13は、MPEG-4、H.264/MPEG-4 AVCあるいはH.265に従って、動画像データに含まれるキーデータ、第1従属データ及び第2従属データを圧縮符号化してもよい。
本実施形態では、符号化部13は、各ピクチャを、制御部(図示せず)により指定されたGroup Of Pictures(GOP)に従って、Iピクチャ、Pピクチャ、Bピクチャの何れかに設定する。なお、Iピクチャは、イントラ予測符号化されるピクチャである。Pピクチャは、一方向についてインター予測符号化されることが可能なピクチャである。Bピクチャは、双方向についてインター予測符号化されることが可能なピクチャである。なお、イントラ予測符号化は、符号化対象ピクチャ内の情報のみを用いてその符号化対象ピクチャを符号化する符号化方式である。また、インター予測符号化は、符号化済みの他のピクチャの情報を用いて符号化対象ピクチャを符号化する符号化方式である。そして一方向についてのインター予測符号化は、再生時間順において符号化対象ピクチャよりも先のピクチャを参照する。一方、双方向についてのインター予測符号化は、再生時間順において2方向のピクチャ(例えば、再生時間順で符号化対象ピクチャよりも先のピクチャと後のピクチャ)を参照する。
Iピクチャは、他のピクチャの情報を参照せずに符号化できる。そのため、本実施形態では、動画像符号化装置10は、Iピクチャをキーデータとする。また、Pピクチャは、符号化及び復号順序が先のIピクチャまたはPピクチャの情報を参照して符号化できる。そのため、本実施形態では、動画像符号化装置10は、GOPに含まれる各Pピクチャを第1従属データとする。
さらに、Bピクチャは、符号化及び復号順序が先のIピクチャ、Pピクチャ及びBピクチャの何れか一つ以上の情報を参照して符号化される。そして少なくとも一つのBピクチャは、符号化及び復号順序が先のPピクチャを参照する。そこで、本実施形態では、動画像符号化装置10は、GOPに含まれる各Bピクチャを第2従属データとする。
さらに、Bピクチャは、符号化及び復号順序が先のIピクチャ、Pピクチャ及びBピクチャの何れか一つ以上の情報を参照して符号化される。そして少なくとも一つのBピクチャは、符号化及び復号順序が先のPピクチャを参照する。そこで、本実施形態では、動画像符号化装置10は、GOPに含まれる各Bピクチャを第2従属データとする。
図3は、GOPの一例を示す図である。図3において、横軸は、ピクチャの再生順序を表す。また図3において、矢印は、各ピクチャの参照関係を表す。図3に示されるように、この例では、7枚のピクチャが一つのGOP300を形成している。そしてGOP300において、先頭のピクチャ301がIピクチャであり、先頭から4番目のピクチャ304及ぶ最後尾のピクチャ307がPピクチャである。そして中間の4枚のピクチャ302、303、305及び306がBピクチャである。
この例では、Pピクチャ304は、Iピクチャ301を参照して符号化される。またPピクチャ307は、Pピクチャ304を参照して符号化される。一方、Bピクチャ302及び303は、Iピクチャ301及びPピクチャ304を参照して符号化される。そしてBピクチャ305及び306は、Pピクチャ304及び307を参照して符号化される。
この例では、Pピクチャ304は、Iピクチャ301を参照して符号化される。またPピクチャ307は、Pピクチャ304を参照して符号化される。一方、Bピクチャ302及び303は、Iピクチャ301及びPピクチャ304を参照して符号化される。そしてBピクチャ305及び306は、Pピクチャ304及び307を参照して符号化される。
符号化部13は、各ピクチャを符号化順に並び替える。例えば、図3の例では、符号化部13は、各ピクチャを、Iピクチャ301→Pピクチャ304→Bピクチャ302→Bピクチャ303→Pピクチャ307→Bピクチャ305→Bピクチャ306の順に並び替える。
符号化部13は、Iピクチャを複数のブロックに分割し、各ブロックをイントラ予測符号化する。
また符号化部13は、Pピクチャを複数のブロックに分割し、ブロックごとに、例えば、一方向のインター予測符号化またはイントラ予測符号化のうち、符号量が少ない方の方式に従って符号化する。その際、符号化部13は、一方向のインター予測符号化するブロックについて、例えば、既に符号化されているIピクチャまたはPピクチャを参照して符号化する。
また符号化部13は、Pピクチャを複数のブロックに分割し、ブロックごとに、例えば、一方向のインター予測符号化またはイントラ予測符号化のうち、符号量が少ない方の方式に従って符号化する。その際、符号化部13は、一方向のインター予測符号化するブロックについて、例えば、既に符号化されているIピクチャまたはPピクチャを参照して符号化する。
さらに、符号化部13は、Bピクチャを複数のブロックに分割し、ブロックごとに、例えば、双方向のインター予測符号化、一方向のインター予測符号化及びイントラ予測符号化のうち、符号量が最小となる方式に従って符号化する。その際、符号化部13は、双方向または一方向のインター予測符号化するブロックについて、例えば、既に符号化されているIピクチャ、PピクチャまたはBピクチャを参照して符号化する。
符号化部13は、符号化された各ピクチャのデータを、符号化順序に従って、順次パケット化する。例えば、符号化部13は、符号化された各ピクチャのデータを、MPEG-2 トランスポートストリーム(Transport Stream, TS)形式に従ってパケット化する。したがって、符号化順序が早いピクチャほど、MPEG-2 TSのヘッダ情報に含まれる、PID及びコンティニュティ・カウンタの値は小さくなる。なお、符号化部13は、MPEG-2 TSパケットの先頭に、4バイトのタイムスタンプ情報を付加して、Timestamped TS(TTS)と呼ばれる形式のパケットとしてもよい。そして符号化部13は、各パケットを通信処理部14へ出力する。
通信処理部14は、符号化部13から受け取った各パケットを、通信路20−1及び20−2へ出力できる形式に再パケット化する。そして通信処理部14は、パケットに含まれる符号化されたデータが、キーデータ、第1従属データ及び第2従属データの何れに該当するかに応じて、パケットを出力する通信路を決定する。
例えば、通信路20−1及び20−2がTCP/IPに準拠した通信路である場合、通信処理部14は、例えば、符号化されたピクチャのデータを含むMPEG-2 TSのパケットを、IPパケット化する。その際、通信処理部14は、例えば、符号化されたピクチャのデータを含むMPEG-2 TSのパケットに、Real-time Transport Protocol(RTP)に従ったヘッダ情報を付加して、RTP形式のIPパケットにすることができる。
図4は、RTP形式に従ったIPパケットの一例を示す図である。パケット400は、20バイト長のIPヘッダ401と、8バイト長のUDPヘッダ402と、12バイト長のRTPヘッダ403と、ペイロード404とを有する。
IPヘッダ401には、宛先となる動画像復号装置30のアドレスなどが格納される。またUDPヘッダ402には、User Datagram Protocol(UDP)に従ったヘッダ情報、例えば、パケットのデータ長などが格納される。
RTPヘッダ403には、RTPに従ったヘッダ情報、例えば、パケットごとに割り当てられるパケットのシーケンス番号及びタイムスタンプといった時刻情報が含まれる。通信処理部14は、符号化順序が早いピクチャの符号化データが含まれるIPパケットほど、小さいシーケンス番号及び早い時刻を表すタイムスタンプを割り当てる。
ペイロード404には、MPEG-2 TS形式に従ってパケット化された、ピクチャの符号化データが格納される。ペイロード404には、複数個(例えば、6個)のMPEG-2 TSパケットが含まれてよい。一つのIPパケットには、例えば、一つのピクチャの符号化データが含まれる。
ペイロード404には、MPEG-2 TS形式に従ってパケット化された、ピクチャの符号化データが格納される。ペイロード404には、複数個(例えば、6個)のMPEG-2 TSパケットが含まれてよい。一つのIPパケットには、例えば、一つのピクチャの符号化データが含まれる。
なお、通信処理部14は、例えば、符号化されたピクチャのデータを含むパケットを、RTP形式に従わないIPパケットとしてもよい。
図5は、RTP形式に従わないIPパケットの一例を示す図である。パケット500は、20バイト長のIPヘッダ501と、8バイト長のUDPヘッダ502と、ペイロード503とを有する。
IPヘッダ501には、宛先となる動画像復号装置30のアドレスなどが格納される。またUDPヘッダ502には、パケットのデータ長などが格納される。そしてペイロード503には、図4に示されたIPパケット400のペイロード404と同様に、MPEG-2 TS形式に従ってパケット化された、ピクチャの符号化データが格納される。
図6は、パケットに含まれるピクチャの種別と、パケットが出力される通信路の関係を示す図である。
本実施形態では、通信処理部14は、キーデータであるIピクチャの符号化データが含まれるパケット601と、第1従属データであるPピクチャの符号化データが含まれるパケット602とを通信インターフェース部15を介して通信路20−1へ出力する。一方、通信処理部14は、Iピクチャの符号化データが含まれるパケット601と、第2従属データであるBピクチャの符号化データが含まれるパケット603とを通信インターフェース部15を介して通信路20−2へ出力する。
本実施形態では、通信処理部14は、キーデータであるIピクチャの符号化データが含まれるパケット601と、第1従属データであるPピクチャの符号化データが含まれるパケット602とを通信インターフェース部15を介して通信路20−1へ出力する。一方、通信処理部14は、Iピクチャの符号化データが含まれるパケット601と、第2従属データであるBピクチャの符号化データが含まれるパケット603とを通信インターフェース部15を介して通信路20−2へ出力する。
したがって、もし、一方の通信路に通信障害が発生したとしても、Iピクチャの符号化データが含まれるパケット601は、他方の通信路を介して動画像復号装置30に伝送される。特に、通信路20−1に通信障害が発生した場合、Iピクチャの符号化データが含まれるパケット601と、Bピクチャの符号化データが含まれるパケット603が動画像復号装置30に達する。この場合、動画像復号装置30は、Bピクチャ及びPピクチャを復号できないものの、Iピクチャを復号できる。そのため、動画像復号装置30は、Iピクチャを復号して時間順に再生することで、元の動画像データよりも画質は低下するものの、動画像データを再生できる。この場合、再生された動画像データは、コマ送りのような動画像データとなる。
また、通信路20−2に通信障害が発生した場合、動画像復号装置30には、Iピクチャの符号化データが含まれるパケット601と、Pピクチャの符号化データが含まれるパケット602が動画像復号装置30に達する。この場合、動画像復号装置30は、Bピクチャを復号できないものの、Iピクチャ及びPピクチャを復号できる。したがって、動画像復号装置30は、IピクチャとPピクチャとを復号して時間順に再生できる。そのため、全てのパケットが動画像復号装置30に達するときに再生される動画像データの画質よりも低下するものの、動画像復号装置30は、通信路20−1に通信障害発生したときよりも高い画質の動画像データを再生できる。
また、一般に、Pピクチャ1枚当たりの符号化データ量は、Bピクチャ1枚当たりの符号化データ量よりも多い。一方、GOPに含まれるPピクチャの枚数は、Bピクチャの枚数よりも少ないことがある。そこで上記のように、通信処理部14が、Pピクチャの符号化データが伝送される通信路とBピクチャの符号化データが伝送される通信路を異ならせることで、各通信路間の負荷の差を軽減できる。
通信インターフェース部15は、動画像符号化装置10を通信路20−1及び20−2と接続するためのインターフェースを有する。そして通信インターフェース部15は、通信処理部14から受け取ったパケットを、通信路20−1または20−2へ出力する。
図7は、動画像符号化装置10により実行される、動画像符号化処理の動作フローチャートである。
動画像符号化装置10は、入力部11を介して動画像データを取得すると、符号化部13は、動画像データに含まれる各ピクチャを符号化する(ステップS101)。そして符号化部13は、各ピクチャを符号化したデータをMPEG-2 TS形式のパケット単位に分割して通信処理部14へ出力する(ステップS102)。
動画像符号化装置10は、入力部11を介して動画像データを取得すると、符号化部13は、動画像データに含まれる各ピクチャを符号化する(ステップS101)。そして符号化部13は、各ピクチャを符号化したデータをMPEG-2 TS形式のパケット単位に分割して通信処理部14へ出力する(ステップS102)。
通信処理部14は、パケット化された符号化データを通信路20−1または20−2へ出力するのに適する形式に再パケット化する(ステップS103)。そして通信処理部14は、着目するパケットについて、パケットに含まれる符号化データがIピクチャのものか否か判定する(ステップS104)。符号化データがIピクチャである場合、すなわち、符号化データがキーデータである場合(ステップS104−Yes)、通信処理部14は、そのパケットを通信インターフェース部15を介して通信路20−1と20−2の両方へ出力する(ステップS105)。
一方、符号化データがIピクチャでない場合(ステップS104−No)、通信処理部14は、パケットに含まれる符号化データがPピクチャのものか否か判定する(ステップS106)。符号化データがPピクチャである場合、すなわち、符号化データが第1従属データである場合(ステップS106−Yes)、通信処理部14は、そのパケットを通信インターフェース部15を介して通信路20−1へ出力する(ステップS107)。
一方、符号化データがPピクチャでない場合(ステップS106−No)、符号化データはBピクチャ、すなわち、符号化データは第2従属データである。そこで通信処理部14は、その符号化データを含むパケットを通信インターフェース部15を介して通信路20−2へ出力する(ステップS108)。
ステップS105、S107またはS108の後、通信処理部14は、未出力のパケットが残っているか否か判定する(ステップS109)。未出力のパケットが残っていれば(ステップS109−Yes)、通信処理部14は、次のパケットを着目パケットとする(ステップS110)。そして通信処理部14は、ステップS104以降の処理を繰り返す。
一方、未出力のパケットが残っていなければ(ステップS109−No)、動画像符号化装置10は、動画像送信処理を終了する。
一方、未出力のパケットが残っていなければ(ステップS109−No)、動画像符号化装置10は、動画像送信処理を終了する。
次に、動画像復号装置30について説明する。
図8は、動画像復号装置30の概略構成図である。動画像復号装置30は、通信インターフェース部31と、通信処理部32と、復号部33と、記憶部34と、出力部35とを有する。通信インターフェース部31、通信処理部32、復号部33、記憶部34及び出力部35は、例えば、別個の回路として形成され、信号線で互いに接続される。あるいは、通信処理部32及び復号部33は、一つのプロセッサ上で動作するプログラムにより実現される、機能モジュールであってもよい。
図8は、動画像復号装置30の概略構成図である。動画像復号装置30は、通信インターフェース部31と、通信処理部32と、復号部33と、記憶部34と、出力部35とを有する。通信インターフェース部31、通信処理部32、復号部33、記憶部34及び出力部35は、例えば、別個の回路として形成され、信号線で互いに接続される。あるいは、通信処理部32及び復号部33は、一つのプロセッサ上で動作するプログラムにより実現される、機能モジュールであってもよい。
通信インターフェース部31は、受信部の一例であり、動画像復号装置30を通信路20−1及び20−2と接続するためのインターフェースを有する。そして通信インターフェース部31は、通信路20−1から、符号化されたキーデータを含むパケットと、符号化された第1従属データを含むパケットとを受信する。また通信インターフェース部31は、通信路20−2から、符号化されたキーデータを含むパケットと、符号化された第2従属データを含むパケットとを受信する。そして通信インターフェース部31は、受信したパケットを、通信処理部32へ渡す。
通信処理部32は、通信インターフェース部31から受け取ったパケットを記憶部34に記憶する。また通信処理部32は、そのパケット(例えば、IPパケット及びIPパケット内のMPEG-2 TSパケット)から、符号化されたピクチャのデータを取り出す。そして通信処理部32は、その符号化されたピクチャのデータを、パケットのヘッダ情報を参照して、ピクチャの符号化順序に沿って並べ、その順序で復号部33へ渡す。またIピクチャの符号化データについては、多重送信されている。そこで通信処理部32は、パケットのヘッダ情報を参照して、記憶部34に記憶されている、既に受信済みのパケットの内容と同一内容を含むパケットを受信したか否か判定する。そして通信処理部32は、既に受信済みのパケットの内容と同一内容を含むパケットを廃棄する。
なお、符号化順序の特定及び同一内容を含むパケットの多重受信の判定に利用するパケットのヘッダ情報は、例えば、RTPヘッダに含まれるシーケンス番号あるいはタイムスタンプとすることができる。動画像符号化装置10は、符号化順序が早いピクチャほど、先に出力するので、符号化順序が早いピクチャの符号化データが含まれているパケットほど、シーケンス番号が小さく、かつ、タイムスタンプが示す時刻も早い。
そこで通信処理部32は、パケットを受信する度に、そのパケットを記憶部34に一定期間保存する。そして通信処理部32は、シーケンス番号が小さい方から順に、あるいは、タイムスタンプが示す時刻が早い方から順に、パケットから取り出した符号化データを並べ、その順序に従ってその符号化データを復号部33へ渡す。また、通信処理部32は、記憶部34に保存されているパケットが持つシーケンス番号またはタイムスタンプと同一のシーケンス番号またはタイムスタンプを持つパケットを受信すると、その受信したパケットを廃棄する。
このように、通信処理部32は、RTPヘッダの情報を用いて符号化順序などを判定することで、MPEG-2 TSパケットの中を解析しなくても、符号化データの符号化順序などを特定できる。
そこで通信処理部32は、パケットを受信する度に、そのパケットを記憶部34に一定期間保存する。そして通信処理部32は、シーケンス番号が小さい方から順に、あるいは、タイムスタンプが示す時刻が早い方から順に、パケットから取り出した符号化データを並べ、その順序に従ってその符号化データを復号部33へ渡す。また、通信処理部32は、記憶部34に保存されているパケットが持つシーケンス番号またはタイムスタンプと同一のシーケンス番号またはタイムスタンプを持つパケットを受信すると、その受信したパケットを廃棄する。
このように、通信処理部32は、RTPヘッダの情報を用いて符号化順序などを判定することで、MPEG-2 TSパケットの中を解析しなくても、符号化データの符号化順序などを特定できる。
なお、通信処理部32は、符号化順序の特定及び同一内容を含むパケットの多重受信の判定に利用するパケットのヘッダ情報として、MPEG-2 TSのヘッダ情報に含まれる、PIDまたはコンティニュティ・カウンタの値を利用してもよい。この場合も、通信処理部32は、PID、あるいは、コンティニュティ・カウンタの値が小さい方から順に、パケットから取り出した符号化データを並べ、その順序に従ってその符号化データを復号部33へ渡せばよい。
復号部33は、符号化された動画像データに含まれる各ピクチャを、動画像データの符号化に使用された動画像符号化方式に従って復号する。そして復号部33は、各ピクチャを再生時間順に並べ替えて出力部35へ出力する。
復号部33は、動画像復号装置30が、動画像データの全てのピクチャの符号化データを受信できた場合、全てのピクチャを復号できる。
また、もし、通信路20−1に通信障害が発生した場合、動画像復号装置30は、通信路20−2を介して伝送される、Iピクチャの符号化データが含まれるパケットと、Bピクチャの符号化データが含まれるパケットを受信できる。しかし、Bピクチャの参照先であるPピクチャの符号化データを受信できないので、復号部33は、Iピクチャを復号できるものの、Bピクチャを復号できない。そこで復号部33は、Iピクチャを復号して再生時間順に並べる。
また、もし、通信路20−1に通信障害が発生した場合、動画像復号装置30は、通信路20−2を介して伝送される、Iピクチャの符号化データが含まれるパケットと、Bピクチャの符号化データが含まれるパケットを受信できる。しかし、Bピクチャの参照先であるPピクチャの符号化データを受信できないので、復号部33は、Iピクチャを復号できるものの、Bピクチャを復号できない。そこで復号部33は、Iピクチャを復号して再生時間順に並べる。
また、通信路20−2に通信障害が発生した場合、動画像復号装置30は、通信路20−1を介して伝送される、Iピクチャの符号化データが含まれるパケットと、Pピクチャの符号化データが含まれるパケットを受信できる。この場合、復号部33は、Pピクチャの参照先であるIピクチャを受信できているので、Iピクチャ及びPピクチャを復号できる。そこで復号部33は、Iピクチャ及びPピクチャを復号して再生時間順に並べる。そのため、全てのパケットが動画像復号装置30に達するときに再生される動画像データの画質よりも低下するものの、動画像復号装置30は、通信路20−1に通信障害発生したときよりも高い画質の動画像データを再生できる。
記憶部34は、例えば、読み書き可能な揮発性の半導体メモリ回路を有する。そして記憶部34は、受信した、符号化された動画像データが復号される際に生成されるデータ等を記憶する。また記憶部34は、通信処理部32が受信したパケットを一時的に記憶してもよい。
出力部35は、例えば、動画像復号装置30を、液晶ディスプレイといった表示装置と接続するためのインターフェース回路を有する。そして出力部35は、再生時間順に従って復号部33から受け取ったピクチャをその再生時間順に表示装置へ出力する。
図9は、動画像復号装置30により実行される、動画像復号処理の動作フローチャートである。
通信処理部32は、通信インターフェース部31を介して、通信路20−1または20−2から、ピクチャの符号化データを含む複数のパケットを順次受信する(ステップS201)。通信処理部32は、各パケットにRTPヘッダが付加される設定になっているか否か判定する(ステップS202)。なお、各パケットにRTPヘッダが付加されるか否かは、例えば、動画像符号化装置10と動画像復号装置30との間で事前に設定される。各パケットにRTPヘッダが付加されている場合(ステップS202−Yes)、通信処理部32は、受信した各パケットから符号化データを取り出す。そして通信処理部32は、各パケットのRTPヘッダに含まれるシーケンス番号またはタイムスタンプを参照して、各符号化データを符号化順に並べ替え、かつ、重複して受信した符号化データの一方を廃棄する(ステップS203)。
通信処理部32は、通信インターフェース部31を介して、通信路20−1または20−2から、ピクチャの符号化データを含む複数のパケットを順次受信する(ステップS201)。通信処理部32は、各パケットにRTPヘッダが付加される設定になっているか否か判定する(ステップS202)。なお、各パケットにRTPヘッダが付加されるか否かは、例えば、動画像符号化装置10と動画像復号装置30との間で事前に設定される。各パケットにRTPヘッダが付加されている場合(ステップS202−Yes)、通信処理部32は、受信した各パケットから符号化データを取り出す。そして通信処理部32は、各パケットのRTPヘッダに含まれるシーケンス番号またはタイムスタンプを参照して、各符号化データを符号化順に並べ替え、かつ、重複して受信した符号化データの一方を廃棄する(ステップS203)。
一方、各パケットにRTPヘッダが付加されていない場合(ステップS202−No)、通信処理部32は、受信した各パケットから符号化データを取り出す。そして通信処理部32は、各パケットのMPEG-2 TSのヘッダ情報に含まれる、PIDまたはコンティニュティ・カウンタの値を参照して、各符号化データを符号化順に並べ替え、かつ、重複して受信した符号化データの一方を廃棄する(ステップS204)。
ステップS203またはS204の後、通信処理部32は、両方の通信路から符号化データを含むパケットを受信できたか否か判定する(ステップS205)。両方の通信路から符号化データを含むパケットを受信できている場合(ステップS205−Yes)、復号部33は、符号化データからIピクチャ、Pピクチャ及びBピクチャを復号する(ステップS206)。
一方、何れかの通信路から符号化データを含むパケットを受信できていない場合(ステップS205−No)、通信処理部32は、通信路20−1からIピクチャまたはPピクチャの符号化データを含むパケットを受信したか否か判定する(ステップS207)。通信路20−1から符号化データを含むパケットを受信している場合(ステップS207−Yes)、復号部33は、符号化データからIピクチャ及びPピクチャを復号する(ステップS208)。
一方、通信路20−1から符号化データを含むパケットを受信できていない場合(ステップS207−No)、通信処理部32は、通信路20−2からIピクチャまたはBピクチャの符号化データを含むパケットを受信しているか否か判定する(ステップS209)。通信路20−2から符号化データを含むパケットを受信している場合(ステップS209−Yes)、復号部33は、符号化データからIピクチャを復号する(ステップS210)。
一方、通信路20−2から符号化データを含むパケットを受信できていない場合(ステップS209−No)、この場合、動画像復号装置30は、両方の通信路とも、パケットを受信できていないので、動画像データを復号せずに動画像復号処理を終了する。
一方、通信路20−2から符号化データを含むパケットを受信できていない場合(ステップS209−No)、この場合、動画像復号装置30は、両方の通信路とも、パケットを受信できていないので、動画像データを復号せずに動画像復号処理を終了する。
ステップS206、S208またはS210の後、復号部33は、復号したピクチャを再生順に並び替え、その再生順に従って、出力部35を介して各ピクチャを出力する(ステップS211)。そして動画像復号装置30は、動画像復号処理を終了する。
以上に説明してきたように、この動画像伝送システムでは、動画像符号化装置が、符号化されたキーデータを複数の通信路のそれぞれを介して動画像復号装置へ送信する。一方、動画像符号化装置は、符号化された第1従属データ及び第2従属データを、互いに異なる通信路を介して動画像復号装置へ送信する。そのため、キーデータについては、複数の通信路を利用して多重に伝送されるので、キーデータの伝送の信頼性は高くなる。一方、第1従属データ及び第2従属データは互いに異なる通信路を介して伝送されるので、一本の通信路で全てのデータを伝送するよりも、動画像データに伝送に利用される通信帯域が広くなる。したがって、この動画像伝送システムは、動画像データの伝送の信頼性を向上しつつ、動画像データの伝送に利用する通信帯域を広くすることができる。
なお、動画像伝送システムによっては、伝送される動画像データのリアルタイム性が重視され、そのために、動画像符号化装置は、ピクチャをリオーダリングせず、再生順序通りに各ピクチャを符号化することがある。このような場合、GOPには、Bピクチャは含まれず、各ピクチャは、IピクチャまたはPピクチャとして符号化されることになる。
そこで変形例によれば、動画像符号化装置10は、Iピクチャを参照して符号化される1枚以上のPピクチャを第1従属データとし、かつ、第1従属データに含まれるPピクチャを参照して符号化される1枚以上の他のPピクチャを第2従属データとしてもよい。
そこで変形例によれば、動画像符号化装置10は、Iピクチャを参照して符号化される1枚以上のPピクチャを第1従属データとし、かつ、第1従属データに含まれるPピクチャを参照して符号化される1枚以上の他のPピクチャを第2従属データとしてもよい。
図10は、この変形例によって扱われるGOPの一例を示す図である。図10において、横軸は再生順序を表す。また矢印は、ピクチャ間の参照関係を表す。この例では、GOP1000は、1枚のIピクチャ1001と、Iピクチャ1001に後続する4枚のPピクチャ1002〜1005を含む。各Pピクチャは、自身よりも前に符号化された所定枚数のピクチャを参照して符号化される。例えば、符号化対象となるPピクチャは、自身の直前に符号化された2枚のピクチャを参照可能であるとする。この場合、Pピクチャ1002及びPピクチャ1003は、Iピクチャ1001を参照可能であり、一方、Pピクチャ1004及びPピクチャ1005は、Iピクチャ1001を参照できない。
そこで、動画像符号化装置10は、Iピクチャ1001をキーデータとし、Pピクチャ1002及びPピクチャ1003を第1従属データとし、Pピクチャ1004及びPピクチャ1005を第2従属データとすることができる。
そこで、動画像符号化装置10は、Iピクチャ1001をキーデータとし、Pピクチャ1002及びPピクチャ1003を第1従属データとし、Pピクチャ1004及びPピクチャ1005を第2従属データとすることができる。
この変形例では、動画像伝送システムは、Bピクチャが利用されない場合でも、Pピクチャの参照可能先に応じて、Pピクチャの符号化データが伝送される通信路が振り分けられる。そのため、この変形例による動画像伝送システムも、伝送される動画像データの信頼性を向上しつつ、通信帯域の広域化を達成できる。
また他の変形例によれば、動画像符号化装置10は、動画像データに含まれるピクチャを階層ごとに分けて符号化し、階層に応じて出力する通信路を選択してもよい。
図11は、ピクチャについて設定される各階層の一例を示す図である。この例では、ピクチャは、空間的に3段階の階層L0、L1、L2に分けられる。これらの階層のうち、階層L0は、基本階層とも呼ばれ、最も解像度が低く、例えば、元のピクチャから画素を間引くなどの処理を行って生成される。また、階層L1、L2は、補強階層とも呼ばれる。そして階層L1のデータと階層L0のデータを組み合わせることで、元のピクチャよりも解像度は低いものの、階層L0のみのデータにより再生されるピクチャの解像度よりも高いピクチャが再生される。また、階層L2のデータは、階層L0のデータ及び階層L1のデータと組み合わせることで、元のピクチャと同じ解像度のピクチャが再生される。例えば、元のピクチャの解像度が垂直方向720画素×水平方向1280画素である場合、階層L0のデータにより、垂直方向240画素×水平方向352画素のピクチャ1101が再生される。また、階層L1のデータと階層L0のデータの組み合わせにより、垂直方向480画素×水平方向720画素のピクチャ1102が再生される。そしてすべての階層のデータの組み合わせにより、垂直方向720画素×水平方向1280画素のピクチャ1103が再生される。
動画像符号化装置10の符号化部13は、各ピクチャの階層L0のデータを、他の階層のデータを参照せずに、例えば、イントラ予測符号化またはインター予測符号化する。また符号化部13は、符号化済みのピクチャの階層L0のデータまたは符号化対象ピクチャの階層L0のデータから再生されるピクチャを、そのピクチャの画素数が、階層L1と階層L0のデータから生成されるピクチャの画素数と同じとなるように拡大する。そして符号化部13は、符号化対象のピクチャについての階層L0と階層L1のデータに相当するピクチャとその拡大した階層L0のピクチャ間の差分を算出し、その差分を階層L1のデータとして符号化する。
同様に、符号化部13は、符号化済みのピクチャの階層L0及びL1のデータまたは符号化対象ピクチャの階層L0及びL1のデータから再生されるピクチャを、そのピクチャの画素数が、符号化対象ピクチャの画素数と同じとなるように拡大する。そして符号化部13は、符号化対象ピクチャ全体とその拡大した階層L0及びL1のピクチャ間の差分を算出し、その差分を階層L2のデータとして符号化する。
図12は、この変形例による、パケットに含まれる階層の種別と、パケットが出力される通信路の関係を示す図である。
通信処理部14は、階層L0の符号化データを含むパケット1201を、通信インターフェース部15を介して通信路20−1と2−2の両方に出力する。一方、通信処理部14は、階層L1の符号化データを含むパケット1202を、通信インターフェース部15を介して通信路20−1に出力する。そして通信処理部14は、階層L2の符号化データを含むパケット1203を、通信インターフェース部15を介して通信路20−2に出力する。
これにより、もし、通信路20−1に通信障害が発生して、通信路20−1を通じて伝送されるパケットを受信できなくても、動画像復号装置30は、階層L0及びL2の符号化データを受信できる。そのため、動画像復号装置30は、階層L0に相当する解像度を持つピクチャを再生できる。
また、通信路20−2に通信障害が発生して、通信路20−2を通じて伝送されるパケットを受信できなくても、動画像復号装置30は、階層L0及びL1の符号化データを受信できる。そのため、動画像復号装置30は、階層L0と階層L1の組み合わせに相当する解像度を持つピクチャを再生できる。
また、通信路20−2に通信障害が発生して、通信路20−2を通じて伝送されるパケットを受信できなくても、動画像復号装置30は、階層L0及びL1の符号化データを受信できる。そのため、動画像復号装置30は、階層L0と階層L1の組み合わせに相当する解像度を持つピクチャを再生できる。
図13は、ピクチャについて設定される各階層の他の一例を示す図である。この例は、SNR階層符号化と呼ばれ、ピクチャは、各画素の値を表すビット列、すなわち、階調に関して、3段階の階層L0、L1、L2に分けられる。これらの階層のうち、階層L0は、元のピクチャについての画素値を表すビット列(例えば、12ビット)における最上位ビット(Most Significant Bit, MSB)から所定長のビット列1301(例えば、8ビット)で表される。階層L1は、階層L0よりも下位の所定長のビット列1302(例えば、2ビット)であり、階層L2は、最下位ビット(Least Significant Bit, LSB)から所定長のビット列1303(例えば、2ビット)である。
階層L0のデータにより再生されるピクチャでは、各画素の値を表す階調数が少ないため、ピクチャ上に偽輪郭が表れることがある。また、階層L0のデータと階層L1のデータを組み合わせて再生されるピクチャの画素の階層数(例えば、10ビット)は、元のピクチャの画素の値の階調数よりも少ないものの、階層L0のデータのみから再生されるピクチャにおける画素の値の階調数よりも多い。そのため、階層L0のデータのみから再生されるピクチャよりも、階層L0のデータと階層L1のデータを組み合わせることで再生されるピクチャの方がより滑らかに表現される。さらに、全ての階層のデータを組み合わせることにより、元のピクチャの画素の値の階調数と同じ階調数の画素値を持つピクチャが再生される。
動画像符号化装置10の符号化部13は、各ピクチャの階層L0のデータを、他の階層のデータを参照せずに、例えば、イントラ予測符号化またはインター予測符号化する。また符号化部13は、符号化対象ピクチャの階層L1のデータを符号化する際、符号化対象のピクチャについての階層L0と階層L1のデータにより再生されるピクチャと、符号化対象のピクチャまたは符号化済みのピクチャの階層L0のピクチャ間の差分を算出する。そして符号化部13は、その差分を符号化する。
同様に、符号化部13は、符号化対象ピクチャの階層L2のデータを符号化する際、符号化対象のピクチャについての全階層のデータにより再生されるピクチャと、符号化対象のピクチャまたは符号化済みのピクチャの階層L0及びL1のピクチャ間の差分を算出する。そして符号化部13は、その差分を符号化する。
同様に、符号化部13は、符号化対象ピクチャの階層L2のデータを符号化する際、符号化対象のピクチャについての全階層のデータにより再生されるピクチャと、符号化対象のピクチャまたは符号化済みのピクチャの階層L0及びL1のピクチャ間の差分を算出する。そして符号化部13は、その差分を符号化する。
この例でも、通信処理部14は、階層L0の符号化データを含むパケットを、通信インターフェース部15を介して通信路20−1と2−2の両方に出力する。一方、通信処理部14は、階層L1の符号化データを含むパケットを、通信インターフェース部15を介して通信路20−1に出力する。そして通信処理部14は、階層L2の符号化データを含むパケットを、通信インターフェース部15を介して通信路20−2に出力する。
これにより、もし、通信路20−1に通信障害が発生して、通信路20−1を通じて伝送されるパケットを受信できなくても、動画像復号装置30は、階層L0及びL2の符号化データを受信できる。そのため、動画像復号装置30は、階層L0に相当する階調数を持つピクチャを再生できる。
また、通信路20−2に通信障害が発生して、通信路20−2を通じて伝送されるパケットを受信できなくても、動画像復号装置30は、階層L0及びL1の符号化データを受信できる。そのため、動画像復号装置30は、階層L0と階層L1の組み合わせに相当する階調数を持つピクチャを再生できる。
また、通信路20−2に通信障害が発生して、通信路20−2を通じて伝送されるパケットを受信できなくても、動画像復号装置30は、階層L0及びL1の符号化データを受信できる。そのため、動画像復号装置30は、階層L0と階層L1の組み合わせに相当する階調数を持つピクチャを再生できる。
コンピュータ上で実行されることにより、上述した実施形態またはその変形例による動画像符号化装置または動画像復号装置の各部の機能を実現するコンピュータプログラムは、半導体メモリまたは光記録媒体などの記録媒体に記録された形で提供されてもよい。ただし、そのような記録媒体には、搬送波は含まれない。
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
1 動画像伝送システム
10 動画像符号化装置
20−1、20−2 通信路
30 動画像復号装置
11 入力部
12 記憶部
13 符号化部
14 通信処理部
15 通信インターフェース部
31 通信インターフェース部
32 通信処理部
33 復号部
34 記憶部
35 出力部
10 動画像符号化装置
20−1、20−2 通信路
30 動画像復号装置
11 入力部
12 記憶部
13 符号化部
14 通信処理部
15 通信インターフェース部
31 通信インターフェース部
32 通信処理部
33 復号部
34 記憶部
35 出力部
Claims (8)
- 動画像データのうち、前記動画像データ内の他のデータを参照せずに符号化可能なキーデータと、前記キーデータを参照して符号化される第1従属データと、少なくとも前記第1従属データを参照して符号化される第2従属データとを符号化する符号化部と、
符号化された前記キーデータ及び符号化された前記第1従属データを第1の通信路を介して他の装置へ送信し、一方、符号化された前記キーデータ及び符号化された前記第2従属データを前記第1の通信路と異なる第2の通信路を介して前記他の装置へ送信する通信処理部と、
を有する動画像符号化装置。 - 前記キーデータは、前記動画像データに含まれる、イントラ予測符号化されるピクチャを含み、前記第1従属データは、一方向についてインター予測符号化されるピクチャを少なくとも一つ含み、当該少なくとも一つの一方向についてインター予測符号化されるピクチャの何れかは、前記イントラ予測符号化されるピクチャを参照し、かつ、前記第2従属データは、双方向についてインター予測符号化されるピクチャを少なくとも一つ含み、当該少なくとも一つの双方向についてインター予測符号化されるピクチャの何れかは、前記第1従属データに含まれる前記少なくとも一つの一方向についてインター予測符号化されるピクチャの何れかを参照する、請求項1に記載の動画像符号化装置。
- 前記符号化部は、前記動画像データに含まれる各ピクチャを、解像度または階調に関して、他の階層のデータを参照せずに符号化する第1の階層データと、前記第1の階層データを参照して符号化する第2の階層データと、前記第1の階層データ及び前記第2の階層データを参照して符号化する第3の階層データとに分割し、前記第1の階層データを前記キーデータとし、前記第2の階層データを前記第1従属データとし、前記第3の階層データを前記第2従属データとする、請求項1に記載の動画像符号化装置。
- 動画像符号化装置と、前記動画像符号化装置と第1の通信路及び前記第1の通信路と異なる第2の通信路とを介して接続される動画像復号装置とを有する動画像伝送システムであって、
前記動画像符号化装置は、
動画像データのうち、前記動画像データ内の他のデータを参照せずに符号化可能なキーデータと、前記キーデータを参照して符号化される第1従属データと、少なくとも前記第1従属データを参照して符号化される第2従属データとを符号化する符号化部と、
符号化された前記キーデータ及び符号化された前記第1従属データを第1の通信路を介して前記動画像復号装置へ送信し、一方、符号化された前記キーデータ及び符号化された前記第2従属データを前記第1の通信路と異なる第2の通信路を介して前記動画像復号装置へ送信する通信処理部と、
を有し、
前記動画像復号装置は、
前記第1の通信路から前記符号化されたキーデータ及び前記符号化された第1従属データを受信し、かつ、前記第2の通信路から前記符号化されたキーデータ及び前記符号化された第2従属データを受信する受信部と、
前記符号化されたキーデータ、前記符号化された第1従属データ及び前記符号化された第2従属データを復号する復号部と、
を有する動画像伝送システム。 - 前記復号部は、前記受信部が前記第1の通信路から前記キーデータ及び前記第1従属データを受信し、かつ、前記第2の通信路から前記キーデータ及び前記第2従属データを受信できない場合、前記キーデータ及び前記第1従属データを復号し、一方、前記受信部が前記第1の通信路から前記キーデータ及び前記第1従属データを受信できず、かつ、前記第2の通信路から前記キーデータ及び前記第2従属データを受信した場合、前記キーデータを復号する、請求項4に記載の動画像伝送システム。
- 第1の通信路から、動画像データ内の他のデータを参照せずに符号化されたキーデータと、前記キーデータを参照して符号化された、前記動画像データ内の第1従属データとを受信し、かつ、前記第1の通信路と異なる第2の通信路から、前記符号化されたキーデータと、少なくとも前記第1従属データを参照して符号化された、前記動画像データ内の第2従属データとを受信する受信部と、
前記受信部が前記第1の通信路から前記キーデータ及び前記第1従属データを受信し、かつ、前記第2の通信路から前記キーデータ及び前記第2従属データを受信できない場合、前記キーデータ及び前記第1従属データを復号し、一方、前記受信部が前記第1の通信路から前記キーデータ及び前記第1従属データを受信できず、かつ、前記第2の通信路から前記キーデータ及び前記第2従属データを受信した場合、前記キーデータを復号する復号部と、
を有する動画像復号装置。 - 動画像データのうち、前記動画像データ内の他のデータを参照せずに符号化可能なキーデータと、前記キーデータを参照して符号化される第1従属データと、少なくとも前記第1従属データを参照して符号化される第2従属データとを符号化し、
符号化された前記キーデータ及び符号化された前記第1従属データを第1の通信路を介して他の装置へ送信し、一方、符号化された前記キーデータ及び符号化された前記第2従属データを前記第1の通信路と異なる第2の通信路を介して前記他の装置へ送信する、
ことをコンピュータに実行させるための動画像符号化用コンピュータプログラム。 - 第1の通信路から、動画像データ内の他のデータを参照せずに符号化されたキーデータと、前記キーデータを参照して符号化された、前記動画像データ内の第1従属データとを受信し、かつ、前記第1の通信路と異なる第2の通信路から、前記符号化されたキーデータと、少なくとも前記第1従属データを参照して符号化された、前記動画像データ内の第2従属データとを受信できない場合、前記キーデータ及び前記第1従属データを復号し、
前記第1の通信路から前記キーデータ及び前記第1従属データを受信できず、かつ、前記第2の通信路から前記キーデータ及び前記第2従属データを受信した場合、前記キーデータを復号する、
ことをコンピュータに実行させるための動画像復号用コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014053740A JP6197708B2 (ja) | 2014-03-17 | 2014-03-17 | 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム |
US14/619,468 US9930422B2 (en) | 2014-03-17 | 2015-02-11 | Video transmission system, video encoding apparatus, and video decoding apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014053740A JP6197708B2 (ja) | 2014-03-17 | 2014-03-17 | 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015177440A JP2015177440A (ja) | 2015-10-05 |
JP6197708B2 true JP6197708B2 (ja) | 2017-09-20 |
Family
ID=54070435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014053740A Expired - Fee Related JP6197708B2 (ja) | 2014-03-17 | 2014-03-17 | 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9930422B2 (ja) |
JP (1) | JP6197708B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11082544B2 (en) * | 2018-03-09 | 2021-08-03 | Microchip Technology Incorporated | Compact timestamp, encoders and decoders that implement the same, and related devices, systems and methods |
CN110943935B (zh) * | 2018-09-25 | 2023-05-19 | 华为技术有限公司 | 一种实现数据传输的方法、装置和系统 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10108175A (ja) * | 1996-09-30 | 1998-04-24 | Ando Electric Co Ltd | 画像符号伝送システム |
US6728775B1 (en) * | 1997-03-17 | 2004-04-27 | Microsoft Corporation | Multiple multicasting of multimedia streams |
US6603883B1 (en) * | 1998-09-08 | 2003-08-05 | Canon Kabushiki Kaisha | Image processing apparatus including an image data encoder having at least two scalability modes and method therefor |
JP2000224230A (ja) * | 1999-02-01 | 2000-08-11 | Nippon Telegr & Teleph Corp <Ntt> | 実時間通信方法 |
JP2000295608A (ja) * | 1999-04-06 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 映像信号階層符号化伝送装置、映像信号階層復号化受信装置およびプログラム記録媒体 |
JP2002077255A (ja) * | 2000-08-29 | 2002-03-15 | Fujitsu Ltd | 画像配信方法及びその画像送信装置及びルータ装置 |
JP2002112207A (ja) * | 2000-09-29 | 2002-04-12 | Toshiba Corp | コンテンツ伝送・再生システム、コンテンツ伝送装置、コンテンツ再生装置及びコンテンツ伝送方法 |
JP2003264820A (ja) * | 2002-03-11 | 2003-09-19 | Ntt Comware Corp | デジタル画像の配信方法及び配信装置ならびに受信装置 |
US7369610B2 (en) * | 2003-12-01 | 2008-05-06 | Microsoft Corporation | Enhancement layer switching for scalable video coding |
WO2005109896A2 (en) * | 2004-05-04 | 2005-11-17 | Qualcomm Incorporated | Method and apparatus to construct bi-directional predicted frames for temporal scalability |
JP4510678B2 (ja) * | 2005-03-29 | 2010-07-28 | 株式会社Kddi研究所 | 映像伝送装置および映像伝送・受信再生装置 |
US20080170528A1 (en) * | 2007-01-12 | 2008-07-17 | Peter Bosch | Method of multicasting base and enhancement layers of a video stream |
US11284133B2 (en) * | 2012-07-10 | 2022-03-22 | Avago Technologies International Sales Pte. Limited | Real-time video coding system of multiple temporally scaled video and of multiple profile and standards based on shared video coding information |
-
2014
- 2014-03-17 JP JP2014053740A patent/JP6197708B2/ja not_active Expired - Fee Related
-
2015
- 2015-02-11 US US14/619,468 patent/US9930422B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US9930422B2 (en) | 2018-03-27 |
US20150264360A1 (en) | 2015-09-17 |
JP2015177440A (ja) | 2015-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111903131B (zh) | 用于解码器中的视频解码的方法、装置及计算机可读介质 | |
RU2653299C2 (ru) | Способ и устройство для кодирования и декодирования видеоданных | |
US9338453B2 (en) | Method and device for encoding/decoding video signals using base layer | |
JP5607251B2 (ja) | ネットワークストリーミングされるビデオデータについての属性をシグナリングすること | |
KR102058759B1 (ko) | 디코딩된 픽쳐 버퍼 및 참조 픽쳐 목록들에 관한 상태 정보의 시그널링 기법 | |
CN112055971B (zh) | 视频编解码方法、编解码器以及存储介质 | |
US20090067502A1 (en) | Method for Scalably Encoding and Decoding Video Signal | |
US20090168880A1 (en) | Method and Apparatus for Scalably Encoding/Decoding Video Signal | |
US20060062299A1 (en) | Method and device for encoding/decoding video signals using temporal and spatial correlations between macroblocks | |
JP2018510595A (ja) | 画像コーディング・デコーディングのための装置、方法およびコンピュータ・プログラム | |
JP6344392B2 (ja) | 符号化装置、符号化方法、送信装置、復号化装置、復号化方法および受信装置 | |
US9516331B2 (en) | Data substream de-encapsulation method for plural symmetrical substreams and corresponding computer programs | |
JP7080434B2 (ja) | サブブロックの動きベクトル予測の方法、並びにその装置及びコンピュータプログラム | |
JP2017520940A5 (ja) | レイヤードコード化コンテンツを多重化する方法および装置 | |
KR100746005B1 (ko) | 다중 목적의 비디오 스트림을 처리하는 장치 및 방법 | |
JP4696008B2 (ja) | Ip送信装置およびip送信方法 | |
JP2022510181A (ja) | ネットワーク抽象化ユニットヘッダからのタイルの識別化 | |
US20060120454A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer | |
US20140092995A1 (en) | Electronic devices for signaling a random access point picture message | |
JP6197708B2 (ja) | 動画像伝送システム、動画像符号化装置、動画像復号装置及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム | |
JP5172874B2 (ja) | 映像同期装置、映像表示装置、映像同期方法及びプログラム | |
JP2004166311A (ja) | 画像復号化装置および画像復号化方法 | |
US20060133497A1 (en) | Method and apparatus for encoding/decoding video signal using motion vectors of pictures at different temporal decomposition level | |
KR20060069227A (ko) | 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치 | |
JP2006115283A (ja) | データ圧縮装置およびデータ伸張装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170807 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6197708 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |