JP6649212B2 - 符号化装置、復号装置、および画像処理システム - Google Patents

Description

本発明の実施形態は、符号化装置、復号装置、および画像処理システムに関する。

画像伝送においては、過去に符号化した画像から現在の画像の予測を行うことで、効率よく符号化する方法が一般的である。しかし、通常の動画像符号化では、シーンチェンジや、ランダム・アクセスのため、フレーム内予測符号化した画面を挿入する必要がある。画面内で完結するフレーム内予測符号化したデータは、時間的な予測を行うフレーム間予測符号化したデータと比較して、符号量が大きい。このため、全体の符号化効率の低下や、伝送遅延が生じていた。特に、固定カメラで撮影された監視映像や、スクリーンコンテンツにおいては、フレーム内符号化したデータとフレーム間符号化したデータとの符号量の差が大きい。このため、全体のビットレートが極端に増大するという問題があった。

また、既存のシステムとの互換性を考慮すると、背景を別途符号化して送る等の特別な方式ではなく、標準的な方式を使いたい、といった要望がある。ハードディスクや光ディスクのような蓄積媒体を用いる場合、再生側で再符号化する方法が開示されている。例えば、フレーム間予測符号化したデータを一度復号した後に、フレーム内予測符号化により再符号化し、次のランダム・アクセス可能なフレームまでの間をフレーム間で再符号化する方法が知られている（例えば、特許文献１参照）。

特開２００８−１８７７５３号公報

しかしながら、従来の方法では、フレーム間予測符号化されたデータを再生側で一度復号した後に、フレーム内予測符号化により再符号化する。このため、従来の方法では、ネットワーク伝送や放送等で必要とされる、低遅延でのランダム・アクセスが実現できないという問題があった。また、従来の方法では、次のランダム・アクセス可能なフレームまでの間を、フレーム間で再符号化するため、画質が低下するという問題があった。すなわち、従来では、高品質、低遅延の画像伝送が可能で、且つ、ランダム・アクセスの可能な符号化データを提供することは困難であった。

本発明が解決しようとする課題は、高品質、低遅延の画像伝送が可能で、且つ、ランダム・アクセスの可能な符号化データを提供することができる、符号化装置、復号装置、および画像処理システムを提供することである。

実施形態の符号化装置は、特定部と、第１符号化部と、第２符号化部と、を備える。特定部は、原画像信号に含まれる、シーンの切替りを示す信号またはランダムアクセスポイントとして用いる画像信号を示す第１原画像信号を特定する。第１符号化部は、前記第１原画像信号を、参照画像信号を用いてフレーム間予測符号化した基準画像符号化データを生成する。第２符号化部は、前記原画像信号における前記第１原画像信号以外の第２原画像信号を、前記基準画像符号化データに基づいてフレーム間予測符号化した標準符号化データを生成する。

画像処理システムの機能的構成を示す模式図。 参照画像管理ＤＢのデータ構成を示す模式図。 第１符号化部を示す模式図。 第１生成部を示す模式図。 符号化装置が実行する処理の手順を示すフローチャート。 第１符号化部および第２符号化部が実行する処理の手順を示すフローチャート。 符号化装置の効果の説明図。 逆変換部の構成を示す模式図。 復号装置が実行する処理の手順を示すフローチャート。 逆変換部が実行する処理の手順を示すフローチャート。 第１生成部の構成を示す模式図。 第５生成部の構成を示す模式図。 第１符号化部および第２符号化部が実行する処理の手順を示すフローチャート。 ハードウェア構成を示すブロック図。

（第１の実施の形態）
−画像処理システム−
図１は、本実施の形態の画像処理システム１の機能的構成の一例を示す模式図である。

画像処理システム１は、符号化装置１０と、復号装置２０と、を備える。符号化装置１０と復号装置２０とは、通信回線１９を介して接続可能である。

通信回線１９は、公知の通信回線である。通信回線１９は、公知の通信回線である。通信回線１９は、有線通信網、および、無線通信網の何れであってもよい。通信回線１９は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を用い、Ｅｔｈｅｒｎｅｔ（登録商標）やＴＣＰ／ＩＰなどの通信プロトコルを利用する。通信回線１９は、例えば、インターネットであり、ＥｔｈｅｒｎｅｔやＴＣＰ／ＩＰなどの通信プロトコルを利用する。

なお、符号化装置１０と復号装置２０とは、通信回線１９を介してデータや信号を送受信可能に接続可能であればよい。このため、符号化装置１０と復号装置２０とは、常時接続されている形態に限定されない。また、符号化装置１０と復号装置２０とは、記憶媒体を介して、データや信号を送受信可能な構成であってもよい。すなわち、符号化装置１０から出力されたデータや信号を記憶媒体に記憶してもよい。そして、復号装置２０は、この記憶媒体から、データや信号を読取ってもよい。

―符号化装置―
まず、符号化装置１０について説明する。

符号化装置１０は、第１符号化部１１と、第２符号化部１２と、スイッチ１３と、スイッチ１４と、出力部１５と、制御部１６と、受付部１７と、を備える。

なお、図１には、本実施の形態に関する機能を主に例示しているが、符号化装置１０が有する機能はこれらに限られるものではない。これらの各処理機能は、後述する。

第１符号化部１１、第２符号化部１２、スイッチ１３、スイッチ１４、出力部１５、制御部１６、および受付部１７の一部またはすべては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

例えば、符号化装置１０における各機能は、コンピュータによって実行可能なプログラムの形態で記憶回路へ記憶されている。符号化装置１０は、プログラムを記憶回路から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。各プログラムを読みだした状態の符号化装置１０は、図１の符号化装置１０内に示された各機能を有することになる。なお、図１においては単一の処理回路にて、第１符号化部１１、第２符号化部１２、スイッチ１３、スイッチ１４、出力部１５、制御部１６、および受付部１７が実現される場合を示した。しかし、複数の独立したプロセッサを組み合わせて符号化装置１０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしてもよい。各処理機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。

なお、上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Ｇｒａｐｈｉｃａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）或いは、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

符号化装置１０は、原画像信号を符号化する装置である。受付部１７は、外部から原画像信号を受付ける。受付部１７は、公知の通信回線を介して原画像信号を受付ける。なお、受付部１７は、記憶回路から原画像信号を読取ってもよい。受付部１７は、受付けた原画像信号を、制御部１６、スイッチ１３、および第１符号化部１１へ出力する。

原画像信号は、複数のフレームを含む動画像データである。以下、フレームを、画像信号と称して説明する。また、本実施の形態では、“信号”は、フレームなどの符号化前の画像や、符号化されたデータを復号した画像などを示す。本実施の形態では、信号として、原画像信号、第１原画像信号、第２原画像信号、画像信号、基準画像復号信号、参照画像信号、などを用いる。これらの信号の詳細は後述する。また、本実施の形態では、“符号化データ”は、符号化した後のデータを意味する。本実施の形態では、符号化データとして、標準符号化データ、基準画像符号化データ、参照画像符号化データ、などを用いる、これらのデータの詳細は後述する。

本実施の形態では、受付部１７は、原画像信号に含まれる、時系列に連続する複数の画像信号を、画像信号から符号化する順番に、制御部１６と、第２符号化部１２または第１符号化部１１と、の各々へ出力する。このため、制御部１６、第２符号化部１２、第１符号化部１１は、画像信号ごとに、後述する処理を実行する。

スイッチ１３は、受付部１７と第２符号化部１２とを接続した状態、または、第１符号化部１１と第２符号化部１２とを接続した状態に、第２符号化部１２の入力側の接続状態を切り替える。なお、第１符号化部１１と第２符号化部１２が接続した状態であるときには、受付部１７と第２符号化部１２との接続が解除され、受付部１７と第１符号化部１１とが接続された状態となる。

スイッチ１３は、第１接続端子１３Ａと、第２接続端子１３Ｂと、接続端子１３Ｃと、を備える。第１接続端子１３Ａは、第１符号化部１１に接続されている。第２接続端子１３Ｂは、受付部１７に接続されている。接続端子１３Ｃは、第２符号化部１２に接続されている。

スイッチ１３は、接続端子１３Ｃと第１接続端子１３Ａとを接続した状態、または、接続端子１３Ｃと第２接続端子１３Ｂとを接続した状態、の何れかに切替えられる。スイッチ１３の接続状態の切替制御は、制御部１６によって行われる（詳細後述）。

スイッチ１３が、接続端子１３Ｃと第２接続端子１３Ｂとを接続した状態である場合、受付部１７と第２符号化部１２とが接続された状態となる。この場合、受付部１７は、原画像信号に含まれる画像信号を、第２符号化部１２へ出力する。

また、スイッチ１３が、接続端子１３Ｃと第１接続端子１３Ａとを接続した状態である場合、第２符号化部１２と第１符号化部１１とが接続された状態となる。また、受付部１７と第２符号化部１２とは、接続を解除された状態となる。また、受付部１７と第１符号化部１１とが接続された状態となる。

この場合、受付部１７は、原画像信号に含まれる画像信号を、第１符号化部１１へ出力する。また、この場合、第１符号化部１１と第２符号化部１２とが、スイッチ１３（第１接続端子１３Ａ、接続端子１３Ｃ）を介して接続された状態となる。このため、第２符号化部１２は、第１符号化部１１から出力される基準画像復号信号（詳細後述）を、スイッチ１３を介して受付け可能な状態となる。

スイッチ１４は、出力部１５の入力側の接続状態を切り替える。

スイッチ１４は、第１接続端子１４Ａと、第２接続端子１４Ｂと、接続端子１４Ｃと、を備える。第１接続端子１４Ａは、第１符号化部１１に接続されている。第２接続端子１４Ｂは、第２符号化部１２に接続されている。接続端子１４Ｃは、出力部１５に接続されている。

スイッチ１４は、接続端子１４Ｃと第１接続端子１４Ａとを接続した状態、または、接続端子１４Ｃと第２接続端子１４Ｂとを接続した状態、の何れかに切替えられる。スイッチ１４の接続状態の切替制御は、制御部１６によって行われる（詳細後述）。

スイッチ１４が、接続端子１４Ｃと第２接続端子１４Ｂとを接続した状態である場合、第２符号化部１２と出力部１５とがスイッチ１４を介して接続された状態となる。この場合、出力部１５は、第２符号化部１２から出力される信号を、スイッチ１４を介して受付け可能な状態となる。

一方、スイッチ１４が、接続端子１４Ｃと第１接続端子１４Ａとを接続した状態である場合、第１符号化部１１と出力部１５とがスイッチ１４を介して接続された状態となる。この場合、出力部１５は、第１符号化部１１から出力される信号を、スイッチ１４を介して受付け可能な状態となる。

制御部１６は、受付部１７から受付けた原画像信号に基づいて、第１符号化部１１、第２符号化部１２、スイッチ１３、スイッチ１４、出力部１５、を制御する。

本実施の形態では、制御部１６は、特定部１６Ａと、切替制御部１６Ｂと、を含む。特定部１６Ａは、受付部１７で受付けた原画像信号に含まれる画像信号の内、第１原画像信号を特定する。本実施の形態では、特定部１６Ａは、原画像信号を構成する複数の画像信号を、先頭の画像信号から順に受付ける。そして、特定部１６Ａは、画像信号を受付けるごとに、受付けた画像信号が第１原画像信号であるか否かを判別する。これによって、特定部１６Ａは、第１原画像信号を特定する。

なお、特定部１６Ａは、原画像信号に含まれる、複数の画像信号の少なくとも一部を受付け、受付けた複数の画像信号の中から、第１原画像信号を特定してもよい。

第１原画像信号は、第１符号化部１１で符号化する対象の画像信号である。第１原画像信号は、動画像の再生時の起点となる画像信号である。第１原画像信号は、原画像信号に、１または複数含まれる。本実施の形態では、第１原画像信号は、シーンの切替りを示す信号や、ランダムアクセスポイントとして用いる画像信号を示す。

特定部１６Ａは、受付部１７から受付けた画像信号が、シーンの切替りを示す画像信号であるか否かを、公知の方法を用いて判別する。例えば、特定部１６Ａは、受付部１７から受付けた画像信号と、直前に受付けた別の画像信号と、の相関の違いを検出する。そして、特定部１６Ａは、この検出結果を用いて、公知の方法により、受付部１７から受付けた画像信号がシーンの切替りを示す画像信号であるか否かを判別する。

また、特定部１６Ａは、受付部１７から受付けた画像信号が、ランダムアクセスポイントとして用いる画像信号であるか否かを、公知の方法を用いて判別する。ランダムアクセスポイントとして用いる画像信号とは、再生時に、再生開始ポイントとして指定される可能性のある画像信号である。例えば、特定部１６Ａは、原画像信号に含まれる画像信号の数（フレーム数）やフィールド数のカウンタを用いて、公知の方法により、ランダムアクセスポイントとして用いる画像信号であるか否かを判別すればよい。

切替制御部１６Ｂは、特定部１６Ａによる特定結果に基づいて、スイッチ１３およびスイッチ１４の切替えを制御する。

特定部１６Ａが、処理対象の画像信号を第１原画像信号であると判別した場合、切替制御部１６Ｂは、第１符号化部１１を有効とするように切替制御を行う。

第１符号化部１１を有効とするように切替制御、とは、第１符号化部１１と第２符号化部１２とを接続するようにスイッチ１３を制御すると共に、第１符号化部１１と出力部１５とを接続するようにスイッチ１４を制御することを示す。詳細には、この場合、切替制御部１６Ｂは、第１接続端子１３Ａと接続端子１３Ｃとを接続するようにスイッチ１３を制御する。また、切替制御部１６Ｂは、第１接続端子１４Ａと接続端子１４Ｃとを接続するようにスイッチ１４を制御する。

このため、切替制御部１６Ｂが、第１符号化部１１を有効とするように、スイッチ１３およびスイッチ１４を切替制御することで、受付部１７と第１符号化部１１、第１符号化部１１と出力部１５、および、第１符号化部１１と第２符号化部１２、の各々が接続された状態となる。

この場合、受付部１７から出力された第１原画像信号は、第１符号化部１１へ出力される。そして、第１符号化部１１が、受付けた第１原画像信号について後述する処理を行う。また、この場合、第２符号化部１２は、第１符号化部１１から出力された基準画像復号信号を受付け可能な状態となる。基準画像復号信号については、詳細を後述する。

また、この場合、切替制御部１６Ｂは、処理対象の画像信号を識別する画像信号識別情報（以下、画像信号ＩＤと称する）と、種類情報と、を含む制御データを、第１符号化部１１へ出力する。

種類情報は、処理対象の画像信号の種類を示す情報である。種類情報は、第１原画像信号であることを示す第１種類情報、および、第２原画像信号であることを示す第２種類情報、の何れかである。処理対象の画像信号が第１原画像信号であると判別した場合、特定部１６Ａは、種類情報として、第１種類情報を含む制御データを、第１符号化部１１へ出力する。

一方、特定部１６Ａによって、処理対象の画像信号が第２原画像信号であると判別された場合、切替制御部１６Ｂは、第２符号化部１２を有効とするように切替制御を行う。第２符号化部１２を有効とするように切替制御、とは、受付部１７と第２符号化部１２とを接続するようにスイッチ１３を制御すると共に、第２符号化部１２と出力部１５とを接続するようにスイッチ１４を制御することを示す。詳細には、この場合、切替制御部１６Ｂは、第２接続端子１３Ｂと接続端子１３Ｃとを接続するようにスイッチ１３を制御する。また、切替制御部１６Ｂは、第２接続端子１４Ｂと接続端子１４Ｃとを接続するようにスイッチ１４を制御する。

このため、切替制御部１６Ｂが、第２符号化部１２を有効とするように、スイッチ１３およびスイッチ１４を切替制御することで、受付部１７と第２符号化部１２、および、第２符号化部１２と出力部１５、の各々が接続された状態となる。

このため、この場合、受付部１７から出力された第２原画像信号は、第２符号化部１２へ出力される。第２符号化部１２は、受付部１７から受付けた第２原画像信号と、第１符号化部１１から前回受付けた基準画像復号信号と、を用いて、後述する処理を行う。

また、この場合、切替制御部１６Ｂは、処理対象の画像信号の画像信号ＩＤと、種類情報と、を含む制御データを、第２符号化部１２へ出力する。この場合、種類情報は、第２原画像信号であることを示す第２種類情報である。

次に、第１符号化部１１について説明する。

第１符号化部１１は、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化することによって、基準画像符号化データを生成する。

上述したように、受付部１７から出力される画像信号が第１原画像信号である場合、切替制御部１６Ｂによって、スイッチ１３は、受付部１７と第１符号化部１１、および、第１符号化部１１と第２符号化部１２、の各々を接続した状態となっている。また、スイッチ１３は、受付部１７と第２符号化部１２との接続を解除した状態となっている。

このため、受付部１７から出力された第１原画像信号は、第１符号化部１１へ出力される。第１符号化部１１は、受付部１７から受付けた第１原画像信号を、参照画像信号を用いてフレーム間予測符号化する。

参照画像信号は、第１原画像信号のフレーム間予測符号化に用いる画像である。参照画像信号は、第１原画像信号に類似する画像である。第１原画像信号に類似する、とは、画像信号内における、少なくとも一部の画像領域に示される画像が類似することを示す。言い換えると、第１原画像信号に類似する、とは、第１原画像信号に含まれる、時間の経過に拘らず不変の画像領域の画像が類似することを示す。不変の領域は、例えば、撮影画角内に移動体が含まれる場合、撮影画角内における該移動体以外の領域である。移動体は、移動可能な物である。不変の領域は、背景領域と称される場合もある。

本実施の形態では、第１符号化部１１は、原画像信号の種類ごとに、複数の参照画像信号を予め記憶する。

原画像信号の種類は、原画像信号を、原画像信号が利用されるシーンに応じて分類したものである。原画像信号の種類は、例えば、カメラによって撮影された撮影画像、表示部に表示された表示画面の表示画面データ、である。表示部は、液晶ディスプレイや、有機ＥＬディスプレイなどの公知のディスプレイである。原画像信号の種類が“表示画面データ”である場合、原画像信号は、表示部に表示された表示画面の群を、画像信号の群として含む。

原画像信号の種類が“撮影画像”である場合、原画像信号は、カメラなどによって撮影された撮影画像の群を、画像信号の群として含む。

具体的には、原画像信号の種類“撮影画像”に対応する複数の参照画像信号は、撮影場所および撮影画角が同じであり、撮影タイミングおよび照明条件の少なくとも一方が互いに異なる画像である。また、原画像信号の種類“表示画面データ”に対応する複数の参照画像信号は、表示画面として予め用意されたテンプレート画面である。

本実施の形態では、第１符号化部１１は、参照画像管理ＤＢ１１０Ａを予め記憶する。参照画像管理ＤＢ１１０Ａは、参照画像信号を管理するためのデータベースである。なお、参照画像管理ＤＢ１１０Ａのデータ形式は、データベースに限定されない。

図２は、参照画像管理ＤＢ１１０Ａのデータ構成の一例を示す模式図である。参照画像管理ＤＢ１１０Ａは、原画像信号の種類と、参照画像信号ＩＤと、参照画像信号と、を対応づけたものである。参照画像信号ＩＤは、対応する参照画像信号を識別するための識別情報である。図２に示すように、参照画像管理ＤＢ１１０Ａには、１つの原画像信号の種類に対して、複数の参照画像信号が予め登録されている。

なお、参照画像管理ＤＢ１１０Ａは、ユーザによる操作指示などによって、適宜、変更可能としてもよい。

また、参照画像管理ＤＢ１１０Ａに格納されている参照画像信号は、高画質のフレーム内予測符号化されていてもよいし、符号化されていない、所謂ＲＡＷデータであってもよい。本実施の形態では、参照画像管理ＤＢ１１０Ａには、ＲＡＷデータの状態の参照画像信号が登録されているものとして説明する。

図１に戻り、説明を続ける。第１符号化部１１は、参照画像信号を用いて、第１原画像信号をフレーム間予測符号化することによって、基準画像符号化データを生成する。すなわち、基準画像符号化データは、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化することによって生成されたものである。

図３は、第１符号化部１１の一例を示す模式図である。第１符号化部１１は、記憶部１１０と、選択部１１２と、第１生成部１１４と、を有する。

記憶部１１０は、参照画像管理ＤＢ１１０Ａを予め記憶する。

選択部１１２は、受付部１７から第１原画像信号を受付ける。また、選択部１１２は、制御部１６から制御データを受付ける。選択部１１２は、記憶部１１０から、受付けた第１原画像信号との類似度が閾値以上の参照画像信号を選択する。本実施の形態では、選択部１１２は、原画像信号の種類に対応する参照画像信号の内、類似度が閾値以上の参照画像信号を選択する。選択部１１２は、１つの参照画像信号を選択してもよいし、複数の参照画像信号を選択してもよい。

詳細には、選択部１１２は、類似度算出部１１２Ａと、参照画像選択部１１２Ｂと、を含む。

類似度算出部１１２Ａは、第１原画像信号と参照画像信号との類似度を算出する。まず、類似度算出部１１２Ａは、記憶部１１０の参照画像管理ＤＢ１１０Ａ（図２参照）における、受付けた第１原画像信号を含む原画像信号の種類に対応する、複数の参照画像信号（参照画像信号群と称する場合がある）を読取る。

類似度算出部１１２Ａは、制御部１６から受付けた制御データに含まれる原画像信号の種類を読取ることで、原画像信号の種類を特定すればよい。この場合、制御データは、原画像信号の種類を含むものであればよい。

例えば、受付部１７が、受付けた原画像信号の種類を特定する（図１参照）。受付部１７は、原画像信号のヘッダー情報の読取や、原画像信号の画像解析などによって、原画像信号の種類を特定すればよい。そして、受付部１７は、画像信号と、原画像信号の種類と、を制御部１６へ出力する。制御部１６は、受付けた画像信号が第１原画像信号であると判別した場合、原画像信号の種類と、画像信号ＩＤと、第１種類情報と、を含む制御データを、第１符号化部１１へ出力する。そして、第１符号化部１１の類似度算出部１１２Ａは、制御データに含まれる、原画像信号の種類を読取ることで、原画像信号の種類を特定すればよい。

そして、類似度算出部１１２Ａは、特定した原画像信号に対応する、複数の参照画像信号を、参照画像管理ＤＢ１１０Ａから読取る。類似度算出部１１２Ａは、第１原画像信号と、読取った複数の参照画像信号の各々と、の類似度を算出する。類似度の算出には、公知の画像処理方法を用いればよい。また、参照画像信号の選択に用いる閾値には、任意の値を定めればよい。また、この閾値は、原画像信号の種類に応じた値を予め設定してもよい。また、この閾値は、ユーザによる操作指示などによって、適宜変更可能としてもよい。

参照画像選択部１１２Ｂは、原画像信号の種類に対応する参照画像信号の内、第１原画像信号との類似度が閾値以上の参照画像信号を選択する。参照画像選択部１１２Ｂが選択する参照画像信号の数は、１つであってもよいし、複数であってもよい。

そして、選択部１１２は、選択した参照画像信号を、第１生成部１１４へ出力する。また、選択部１１２は、選択した参照画像信号の参照画像信号ＩＤを、出力部１５へ出力する。詳細には、選択部１１２は、制御部１６から受付けた制御データに、参照画像信号ＩＤを追加し、出力部１５へ出力する。このため、第１符号化部１１は、画像信号ＩＤと、第１種類情報と、原画像信号の種類と、参照画像信号ＩＤと、を含む制御データを、出力部１５へ出力する。

第１生成部１１４は、受付部１７から受付けた第１原画像信号を、選択部１１２から受付けた参照画像信号を用いてフレーム間予測符号化し、基準画像符号化データを生成する。フレーム間予測符号化には、公知の方法を用いればよい。このフレーム間予測符号化によって、第１生成部１１４は、第１原画像信号から、基準画像符号化データを生成する。また、第１生成部１１４は、基準画像符号化データから、基準画像復号信号を生成する。

基準画像復号信号は、基準画像符号化データを復号したものである。具体的には、基準画像復号信号は、参照画像信号をフレーム内符号化した参照画像符号化データと、第１原画像信号を該参照画像信号を用いてフレーム間符号化した基準画像符号化データと、を復号した、該基準画像符号化データの復号画像信号である。

図４は、第１生成部１１４の構成の一例を示す模式図である。第１生成部１１４は、第２生成部１１４Ａと、第３生成部１１４Ｂと、を含む。

第２生成部１１４Ａは、選択部１１２（図３参照）から参照画像信号を受付ける。また、第２生成部１１４Ａは、受付部１７から第１原画像信号を受付ける。そして、第１生成部１１４は、参照画像信号をフレーム内予測符号化することによって、参照画像符号化データを生成する。すなわち、参照画像符号化データは、公知の符号化方式で用いられるＩピクチャやＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）ピクチャに相当する。なお、ＩピクチャやＩＤＲピクチャは、フレーム内のみで独立して符号化することによって得られるピクチャである。

そして、第２生成部１１４Ａは、この参照画像符号化データを用いて、第１原画像信号をフレーム間予測符号化することによって、基準画像符号化データを生成する。このため、基準画像符号化データは、公知の符号化方式で用いられるＰピクチャに相当するものとなる。なお、Ｐピクチャとは、ＩピクチャまたはＰピクチャを予測画像として、フレーム間予測を用いて符号化することによって得られるピクチャである。すなわち、基準画像符号化データは、ＩピクチャやＩＤＲピクチャに比べて符号量が小さい。このため、符号化装置１０は符号化効率を高めることができる。

そして、第２生成部１１４Ａは、基準画像符号化データを出力部１５へ出力する。また、第２生成部１１４Ａは、参照画像符号化データと基準画像符号化データを、第３生成部１１４Ｂへ出力する。

第３生成部１１４Ｂは、第２生成部１１４Ａから、参照画像符号化データと基準画像符号化データを受付ける。第３生成部１１４Ｂは、参照画像符号化データおよび基準画像符号化データを復号し、基準画像符号化データの復号画像信号を、基準画像復号信号として生成する。言い換えると、第３生成部１１４Ｂは、Ｉピクチャに相当する参照画像符号化データと、Ｐピクチャに相当する基準画像符号化データ（第１原画像信号をＰピクチャとして符号化したもの）と、を復号し、該Ｐピクチャを復号した復号画像信号としての基準画像復号信号を、生成する。

そして、第３生成部１１４Ｂは、生成した基準画像復号信号を、スイッチ１３を介して第２符号化部１２へ出力する。

ここで、処理対象の画像信号が第１原画像信号である場合、スイッチ１３およびスイッチ１４は、第１符号化部１１を有効とするように切替制御されている。このため、第１生成部１１４（第２生成部１１４Ａ）は、生成した基準画像符号化データを、スイッチ１４を介して出力部１５へ出力する。また、出力部１５には、選択部１１２から制御データが出力される。このため、スイッチ１３およびスイッチ１４が、第１符号化部１１を有効とするように切替制御されている場合、出力部１５は、画像信号ＩＤ、第１種類情報、原画像信号の種類、および参照画像信号ＩＤ、を含む制御データと、基準画像符号化データと、を第１符号化部１１から受付けることとなる。言い換えると、この場合、出力部１５は、基準画像符号化データと、この基準画像符号化データの生成に用いた参照画像信号の参照画像信号ＩＤを含む制御データと、を受付ける。

また、第１符号化部１１を有効とするように切替制御されている場合、第１符号化部１１と第２符号化部１２とが接続された状態にある。このため、第３生成部１１４Ｂは、生成した基準画像復号信号を、スイッチ１４を介して第２符号化部１２へ出力する。

図１に戻り、第２符号化部１２について詳細に説明する。

第２符号化部１２は、原画像信号における第１原画像信号以外の第２原画像信号を、基準画像符号化データに基づいてフレーム間予測符号化することによって、標準符号化データを生成する。

第２符号化部１２は、公知の動画像符号化方式を用いて、符号化を行えばよい。例えば、第２符号化部１２は、ＭＰＥＧ−２、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどの、公知の動画像符号化方式を用いる。

上述したように、受付部１７から出力される画像信号が第２原画像信号である場合、切替制御部１６Ｂによって、スイッチ１３は、受付部１７と第２符号化部１２とを接続した状態となっている。また、スイッチ１４は、第２符号化部１２と出力部１５とを接続した状態となっている。

このため、受付部１７から出力された第２原画像信号は、第２符号化部１２へ出力される。第２符号化部１２は、受付部１７から受付けた第２原画像信号を、第１符号化部１１で直前に生成された基準画像符号化データに基づいて、フレーム間予測符号化することによって、標準符号化データを生成する。

本実施の形態では、第２符号化部１２は、基準画像符号化データに基づいて生成された基準画像復号信号を用いて、第２原画像信号をフレーム間予測符号化することによって、標準符号化データを生成する。

詳細には、第２符号化部１２は、第１符号化部１１を有効とするように切替制御されているときに、該第１符号化部１１から受付けた基準画像復号信号を、新たな基準画像復号信号を第１符号化部１１から受付けるまで保持する。

そして、第２符号化部１２を有効とするように切替制御されたときに、第２符号化部１２は、保持した基準画像復号信号を用いて、第２符号化部１２から受付けた第２原画像信号をフレーム内予測符号化し、標準符号化データを生成する。言い換えると、第２符号化部１２は、第１符号化部１１から受付けた基準画像復号信号を用いて、第２原画像信号をフレーム内予測符号化するが、符号化した標準符号化データは、出力部に出力しない。

このため、出力部に出力される標準符号化データは、公知の符号化方式で用いられるＰピクチャまたはＢピクチャに相当し、IピクチャやＩＤＲピクチャに相当される標準符号化データは出力されない。

ここで、処理対象の画像信号が第２原画像信号である場合、スイッチ１３およびスイッチ１４は、第２符号化部１２を有効とするように切替制御されている。このため、第２符号化部１２は、生成した標準符号化データを、スイッチ１４を介して出力部１５へ出力する。また、出力部１５には、制御部１６から制御データが出力される。

このため、スイッチ１３およびスイッチ１４が、第２符号化部１２を有効とするように切替制御されている場合、出力部１５は、画像信号ＩＤ、第２種類情報、および、原画像信号の種類を含む制御データと、標準符号化データと、を受付ける。

このため、出力部１５には、符号量の大きいＩピクチャやＩＤＲピクチャに相当する基準画像復号信号は出力されず、符号量の小さいＰピクチャまたはＢピクチャに相当する、基準画像符号化データおよび標準符号化データが出力される。

次に、出力部１５について説明する。出力部１５は、受付けた基準画像符号化データおよび標準符号化データを含む符号化データを、通信回線１９を介して外部へ出力する。例えば、出力部は、符号化データを、通信回線１９を介して復号装置２０へ出力する。

詳細には、出力部１５は、符号化データと、伝送制御データと、を含む伝送情報を出力する。なお、出力部１５は、符号化データと、伝送制御データと、を別々に出力してもよい。本実施の形態では、出力部１５は、符号化データと、伝送制御データと、を含む伝送情報を出力する場合を説明する。

なお、伝送情報の通信には、例えばＨ．２６４／ＡＶＣまたはＨ．２６５／ＨＥＶＣにおけるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）の枠組みを利用してもよい。

伝送情報に含まれる符号化データは、基準画像符号化データと標準符号化データを含む。出力部１５は、基準画像符号化データおよび標準符号化データを、第１符号化部１１および第２符号化部１２から受付けた順に並べることで、符号化データとする。

伝送情報に含まれる伝送制御データは、符号化データに含まれる、符号化されたデータ（基準画像符号化データ、標準符号化データ）の各々に対応する符号化制御データを含む。符号化されたデータの各々に対応する符号化制御データは、符号化されたデータの各々に対応する制御データから生成される。符号化されたデータの各々に対応する符号化制御データは、データＩＤと、ピクチャの種類を示す種類情報を含む。また、基準画像符号化データに対応する符号化制御データは、該基準画像符号化データの生成時に用いた参照画像信号の参照画像信号ＩＤを含む。

伝送情報の生成について、具体的に説明する。

第１符号化部１１を有効とするように切替制御されている場合、出力部１５は、基準画像符号化データと、制御データ（画像信号ＩＤ、第１種類情報、原画像信号の種類と、参照画像信号ＩＤ）と、を第１符号化部１１から受付ける。

また、第２符号化部１２を有効とするように切替制御されている場合、出力部１５は、標準符号化データを第２符号化部１２から受付ける。また、この場合、出力部１５は、画像信号ＩＤ、第２種類情報、および、原画像信号の種類、を含む制御データを制御部１６から受付ける。

そして、出力部１５は、受付部１７で取得した原画像信号に含まれる全ての画像信号に対応する符号化されたデータ（基準画像符号化データ、標準符号化データ）を受付けると、受付けた、符号化されたデータ（基準画像符号化データ、標準符号化データ）を、受け付けた順に並べることで、符号化データを生成する。

また、出力部１５は、符号化されたデータ（基準画像符号化データ、標準符号化データ）と共に受付けた制御データを用いて、該データに対応する符号化制御データを生成する。

詳細には、出力部１５は、制御データに含まれる画像信号ＩＤを、画像信号ＩＤによって識別される画像信号から生成された、符号化されたデータ（基準画像符号化データ、標準符号化データ）のデータＩＤとして用いる。また、出力部１５は、制御データに含まれる種類情報（第１種類情報、第２種類情報）を、符号化されたデータの種類を示す種類情報として用いて、符号化制御データに含める。すなわち、符号化制御データに含まれる第１種類情報は、符号化されたデータの種類が基準画像符号化データであることを示す。また、符号化制御データに含まれる第２種類情報は、符号化されたデータの種類が標準符号化データであることを示す。また、出力部１５は、制御データに参照画像信号ＩＤが含まれる場合、参照画像信号ＩＤを符号化制御データに含める。

このため、基準画像符号化データに対応する符号化制御データは、データＩＤ、第１種類情報、および、参照画像信号ＩＤ、を含む。また、標準符号化データに対応する符号化制御データは、データＩＤ、および第２種類情報を含む。

そして、出力部１５は、符号化制御データを、対応する制御データを受付けた順に並べることで、伝送制御データを生成する。

そして、出力部１５は、符号化データと伝送制御データとを含む伝送情報を出力する。

次に、符号化装置１０の制御部１６が実行する処理の手順を説明する。図５は、符号化装置１０の制御部１６が実行する処理の手順の一例を示す、フローチャートである。制御部１６は、受付部１７から画像信号を受付ける毎に、図５に示すフローチャートを実行する。

まず、特定部１６Ａは、受付部１７から受付けた画像信号が、第１原画像信号であるか否かを判断する（ステップＳ２００）。第１原画像信号であると判断した場合（ステップＳ２００：Ｙｅｓ）、ステップＳ２０２へ進む。

ステップＳ２０２では、切替制御部１６Ｂが、第１符号化部１１を有効とするように、スイッチ１３およびスイッチ１４を切替制御する（ステップＳ２０２）。ステップＳ２０２の処理によって、第１符号化部１１と第２符号化部１２とが接続された状態、および、第１符号化部１１と出力部１５とが接続された状態となる。また、受付部１７と第２符号化部１２との接続が解除され、受付部１７と第１符号化部１１との接続が有効となる。

次に、切替制御部１６Ｂは、ステップＳ２００で判断した画像信号の画像信号ＩＤと、第１原画像信号であることを示す第１種類情報と、を含む制御データを、第１符号化部１１へ出力する（ステップＳ２０４）。そして、本ルーチンを終了する。

一方、ステップＳ２００で、受付部１７から受付けた画像信号が、第２原画像信号であると判別した場合（ステップＳ２００：Ｎｏ）、ステップＳ２０６へ進む。ステップＳ２０６では、切替制御部１６Ｂが、第２符号化部１２を有効とするように、スイッチ１３およびスイッチ１４を切替制御する（ステップＳ２０６）。ステップＳ２０６の処理によって、受付部１７と第２符号化部１２とが接続された状態となる。また、第２符号化部１２と出力部１５とが接続された状態となる。そして、本ルーチンを終了する。

次に、第１符号化部１１および第２符号化部１２が実行する処理の手順を説明する。図６は、第１符号化部１１および第２符号化部１２が実行する処理の手順の一例を示す、フローチャートである。

まず、選択部１１２が、受付部１７から第１原画像信号を受付ける（ステップＳ３００）。また、選択部１１２は、制御部１６から制御データを受付ける（ステップＳ３０２）。

次に、選択部１１２の類似度算出部１１２Ａが、ステップＳ３００で受付けた第１原画像信号を含む原画像信号の種類に対応する参照画像信号群を、参照画像管理ＤＢ１１０Ａから読取る（ステップＳ３０４）。ステップＳ３０４の処理によって、類似度算出部１１２Ａは、原画像信号の種類に対応する参照画像信号群を特定する。

次に、類似度算出部１１２Ａが、ステップＳ３０４で読取った参照画像信号群に含まれる参照画像信号の各々と、ステップＳ３００で受付けた第１原画像信号と、の類似度を算出する（ステップＳ３０６）。

次に、参照画像選択部１１２Ｂが、ステップＳ３０４で読取った参照画像信号の内、ステップＳ３０６で算出した類似度が閾値以上の参照画像信号を選択する（ステップＳ３０８）。

次に、参照画像選択部１１２Ｂは、ステップＳ３０２で受付けた制御データに、ステップＳ３０８で選択した参照画像信号の参照画像信号ＩＤを追加し、出力部１５へ出力する（ステップＳ３１０）。このため、第１符号化部１１は、画像信号ＩＤと、第１種類情報と、原画像信号の種類と、参照画像信号ＩＤと、を含む制御データを、出力部１５へ出力する。

次に、第１生成部１１４の第２生成部１１４Ａが、ステップＳ３０８で選択した参照画像信号をフレーム内予測符号化することによって、参照画像符号化データを生成する（ステップＳ３１２）。

そして、第２生成部１１４Ａは、ステップＳ３１２で生成した参照画像符号化データを用いて、ステップＳ３００で受付けた第１原画像信号をフレーム間予測符号化することによって、基準画像符号化データを生成する（ステップＳ３１４）。

そして、第２生成部１１４Ａは、ステップＳ３１４で生成した基準画像符号化データを、出力部１５へ出力する（ステップＳ３１６）。

次に、第３生成部１１４Ｂが、ステップＳ３１４で生成した基準画像符号化データと、ステップＳ３１２で生成した参照画像符号化データと、を復号し、該基準画像符号化データの復号画像信号を、基準画像復号信号として生成する（ステップＳ３１８）。

次に、第３生成部１１４Ｂが、ステップＳ３２０で生成した基準画像復号信号を、第２符号化部１２へ出力する（ステップＳ３２２）。

第２符号化部１２は、受付部１７から第２原画像信号を受付けると、ステップＳ３２２で生成された基準画像復号信号を用いて、第２原画像信号をフレーム内予測符号化し、標準符号化データを生成する（ステップＳ３２２）。（標準符号化データは出力部に出力しない。）そして、本ルーチンを終了する。第２符号化部１２において、基準画像復号信号をフレーム内予測符号化する理由は、その次のタイミングで符号化される第２原画像信号をフレーム間予測符号化する時の参照画像を生成するためである。この処理によって、逆変換部２２において、基準画像復号信号をフレーム内予測符号化したものと同一のものが生成することが可能となる。

以上説明したように、本実施の形態の符号化装置１０は、特定部１６Ａと、第１符号化部１１と、第２符号化部１２と、を備える。特定部１６Ａは、原画像信号に含まれる第１原画像信号を特定する。第１符号化部１１は、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化した基準画像符号化データを生成する。第２符号化部１２は、原画像信号における第１原画像信号以外の第２原画像信号を、基準画像符号化データに基づいてフレーム間予測符号化した、標準符号化データを生成する。

このように、本実施の形態の符号化装置１０は、原画像信号に含まれる複数の画像信号（フレーム）について、フレーム間予測符号化を行うことによって、基準画像符号化データおよび標準符号化データを生成する。また、符号化装置１０は、第１原画像信号については、原画像信号に含まれる画像信号ではなく、参照画像信号を用いて、フレーム間予測符号化を行うことで、基準画像符号化データを生成する。さらに、符号化装置１０は、第２原画像信号については、原画像信号に含まれる画像信号ではなく、基準画像符号化データに基づいてフレーム間予測符号化することによって、標準符号化データを生成する。詳細には、上述したように、符号化装置１０は、基準画像符号化データに基づいて生成した基準画像復号信号を用いて、第２原画像信号を符号化し、標準符号化データを生成する。そして、基準画像復号信号は、出力部１５に出力されない。

このため、符号化装置１０は、基準画像符号化データと標準符号化データを含む符号化データを生成することで、狭帯域の伝送路でも高品質、低遅延の画像伝送が可能で、且つ、ランダム・アクセスの可能な符号化データを提供することができる。

詳細には、第１符号化部１１は、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化することによって、基準画像符号化データを生成する。このため、第１原画像信号をフレーム内予測符号化する場合に比べて、データ量の低減を図ることができる。また、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化することで、基準画像符号化データを生成することから、第１原画像信号を、他の第１原画像信号や他の標準符号化データを用いてフレーム間予測符号化する場合に比べて、画質劣化を抑制し、高品質で、且つ、符号量の小さい基準画像符号化データを生成することができる。また、このような高品質な基準画像符号化データを含む符号化データとすることで、ランダム・アクセスの可能な符号化データとすることができる。

また、符号化装置１０の第２符号化部１２は、第２原画像信号については、基準画像符号化データに基づいて生成された基準画像復号信号に基づいて、フレーム間予測符号化を行うことで、標準符号化データを生成する。このように、第２符号化部１２は、先に生成した基準画像符号化データに基づいて生成された基準画像復号信号を用いて、第２原画像信号をフレーム間予測符号化することによって、標準符号化データを生成する。このため、第２符号化部１２は、画質劣化を抑制しつつ、且つ符号量の小さい標準符号化データを生成することができる。

さらに、標準符号化データの生成に用いる基準画像復号信号は、Ｉピクチャに相当する大きな符号量であるが、出力部１５には出力されない。このため、本実施の形態の符号化装置１０では、符号化データのデータ量の低減を図ることができる。

図７は、本実施の形態の符号化装置１０の効果の説明図である。図７（Ａ）は、従来の方式で生成された比較符号化データ５０２の一例を示す模式図である。図７（Ｂ）は、本実施の形態の符号化装置１０が生成した符号化データ５００の一例を示す模式図である。

図７（Ａ）に示すように、比較符号化データ５０２は、Ｉピクチャ５０２Ａと、ＰまたはＢピクチャ５０２Ｂと、を含む。Ｉピクチャ５０２Ａは、シーンの切替りやランダム・アクセスのために挿入される。Ｉピクチャ５０２Ａは、ＰまたはＢピクチャ５０２Ｂに比べて高画質であるが、符号量が大きい。このため、高画質を実現することは出来るものの、比較符号化データ５０２のデータ量が大きくなっていた。

一方、図７（Ｂ）に示すように、本実施の形態の符号化装置１０が生成した符号化データ５００は、Ｉピクチャ５０２Ａに代えて基準画像符号化データ５００Ａを含み、ＰまたはＢピクチャ５０２Ｂに代えて標準符号化データ５００Ｂを含む。

基準画像符号化データ５００Ａは、上述したように、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化することによって生成されたピクチャである。このため、基準画像符号化データ５００Ａは、フレーム内予測符号化によって生成されたＩピクチャ５０２Ａに比べて、符号量が小さい。また、基準画像符号化データ５００Ａの作成には、予め記憶した参照画像信号を用いる。このため、符号化装置１０は、画質劣化を抑制しつつ、且つ、符号量の低減された基準画像符号化データ５００Ａを生成することができる。

また、標準符号化データ５００Ｂは、基準画像符号化データ５００Ａに基づいて、第２原画像信号をフレーム間予測符号化することによって生成される。このため、標準符号化データ５００Ｂは、ＰまたはＢピクチャ５０２Ｂと同等といった、小さい符号量である。また、標準符号化データ５００Ｂは、基準画像符号化データ５００Ａに基づいて、フレーム間予測符号化によって生成される。このため、符号化装置１０は、画質劣化を抑制しつつ、且つ、符号量の低減された標準符号化データ５００Ｂを生成することができる。

このため、本実施の形態の符号化装置１０では、これらの基準画像符号化データ５００Ａおよび標準符号化データ５００Ｂを含む符号データを生成することによって、狭帯域の伝送路でも高品質、低遅延の画像伝送が可能で、且つ、ランダム・アクセスの可能な符号化データを提供することができる。

また、第１符号化部１１および第２符号化部１２は、基準画像符号化データおよび標準符号化データの各々の生成時に用いた、フレーム内予測符号化によって生成した基準画像復号信号や参照画像符号化データを、出力部１５へ出力しない。このため、符号化データには、Ｉピクチャに相当する符号量の大きいピクチャは含まれない。

従って、本実施の形態の符号化装置１０は、高品質、低遅延の画像伝送が可能で、且つ、ランダム・アクセスの可能な符号化データ、を提供することができる。

また、本実施の形態の符号化装置１０における第２符号化部１２の機能は、第１符号化部１１から受付けた基準画像復号信号をフレーム内予測符号化時に用いる以外は、公知の符号化機能部と同様である。このため、符号化装置１０は、公知の符号化装置に第１符号化部１１の機能を付加することで、構成することができる。

このため、本実施の形態の符号化装置１０は、上記効果に加えて、汎用性を有する。

―復号装置―
図１に戻り説明を続ける。次に、復号装置２０について説明する。

復号装置２０は、受付部２１と、逆変換部２２と、標準復号部２３と、スイッチ２４と、スイッチ２５と、制御部２６と、を備える。

なお、図１には、本実施の形態に関する機能を主に例示しているが、復号装置２０が有する機能はこれらに限られるものではない。これらの各処理機能は、後述する。

受付部２１、逆変換部２２、標準復号部２３、スイッチ２４、スイッチ２５、および制御部２６の一部またはすべては、例えば、ＣＰＵなどの処理装置にプログラムを実行させること、すなわち、ソフトウェアにより実現してもよいし、ＩＣなどのハードウェアにより実現してもよいし、ソフトウェアおよびハードウェアを併用して実現してもよい。

例えば、復号装置２０における各機能は、コンピュータによって実行可能なプログラムの形態で記憶回路へ記憶されている。復号装置２０は、プログラムを記憶回路から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。各プログラムを読みだした状態の復号装置２０は、図１の復号装置２０内に示された各機能を有することになる。なお、図１においては単一の処理回路にて、受付部２１、逆変換部２２、標準復号部２３、スイッチ２４、スイッチ２５、および制御部２６が実現される場合を示した。しかし、複数の独立したプロセッサを組み合わせて復号装置２０を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしてもよい。各処理機能がプログラムとして構成され、１つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。

復号装置２０は、符号化データを復号する装置である。受付部２１は、伝送情報を受付ける。受付部２１は、通信回線１９を介して符号化装置１０から、伝送情報を受付ける。なお、受付部２１は、記憶回路から伝送情報を読取ってもよい。

受付部２１は、伝送情報に含まれる伝送制御データを、制御部２６へ出力する。本実施の形態では、受付部２１は、伝送制御データに含まれる、複数の符号化制御データを、先頭の符号化制御データから順に、制御部２６へ出力する。

また、受付部２１は、伝送情報に含まれる符号化データをスイッチ２４へ出力する。受付部２１は、符号化データに含まれる、符号化されたデータ（基準画像符号化データ、標準符号化データ）の各々を、先頭のピクチャから順にスイッチ２４へ出力する。

なお、受付部２１は、制御部２６へ符号化制御データを出力した後に、該符号化制御データに含まれるデータＩＤによって識別される、符号化されたデータを、スイッチ２４へ出力する。詳細には、受付部２１は、制御部２６へ符号化制御データを出力し、制御部２６によって後述するスイッチ２４の切替制御が行われた後に、該符号化制御データに含まれるデータＩＤによって識別される、符号化されたデータを、スイッチ２４を介して逆変換部２２へ出力する。

このため、逆変換部２２は、符号化されたデータ（具体的には、基準画像符号化データ）と、該データに対応する符号化制御データと、を略同じタイミングで受付けるものとする。

スイッチ２４は、受付部２１と逆変換部２２とを接続した状態、または、受付部２１とスイッチ２５とを接続した状態に、受付部２１の出力側の接続状態を切り替える。

スイッチ２４は、第１接続端子２４Ａと、第２接続端子２４Ｂと、接続端子２４Ｃと、を備える。接続端子２４Ｃは、受付部２１に接続されている。第１接続端子２４Ａは、逆変換部２２に接続されている。第２接続端子２４Ｂは、スイッチ２５に接続されている。

スイッチ２４は、接続端子２４Ｃと第１接続端子２４Ａとを接続した状態、または、接続端子２４Ｃと第２接続端子２４Ｂとを接続した状態、の何れかに切替えられる。スイッチ２４の接続状態の切替制御は、制御部２６によって行われる（詳細後述）。

スイッチ２５は、標準復号部２３の入力側の接続状態を切り替える。

スイッチ２５は、第１接続端子２５Ａと、第２接続端子２５Ｂと、接続端子２５Ｃと、を備える。第１接続端子２５Ａは、逆変換部２２に接続されている。第２接続端子２５Ｂは、スイッチ２４の第２接続端子２４Ｂに接続されている。接続端子２５Ｃは、標準復号部２３に接続される。

スイッチ２５は、第１接続端子２５Ａと接続端子２５Ｃとを接続した状態、または、第２接続端子２５Ｂと接続端子２５Ｃとを接続した状態、の何れかに切替えられる。スイッチ２５の接続状態の切替制御は、制御部２６によって行われる（詳細後述）。

制御部２６は、受付部２１から受付けた符号化制御データに基づいて、スイッチ２４、逆変換部２２、およびスイッチ２５を制御する。

本実施の形態では、制御部２６は、判別部２６Ａと、切替制御部２６Ｂと、を含む。判別部２６Ａは、受付部２１から受付けた符号化制御データに含まれるデータＩＤによって識別される、符号化されたデータが、基準画像符号化データであるか標準符号化データであるかを判別する。判別部２６Ａは、受付部２１から受け付けた、符号化制御データに含まれる種類情報が、第１種類情報であるか第２種類情報であるかを判別することで、基準画像符号化データであるか標準符号化データであるかを判別する。すなわち、判別部２６Ａは、第１種類情報である場合、基準画像符号化データであると判別する。また、判別部２６Ａは、第２種類情報である場合、標準符号化データであると判別する。

切替制御部２６Ｂは、判別部２６Ａによる判別結果に基づいて、スイッチ２４およびスイッチ２５の切替えを制御する。

判別部２６Ａが処理対象のピクチャを基準画像符号化データであると判別した場合、切替制御部２６Ｂは、逆変換部２２を有効とするように、スイッチ２４およびスイッチ２５の切替え制御を行う。逆変換部２２を有効とするように切替制御、とは、受付部２１と逆変換部２２とを接続するようにスイッチ２４を制御すると共に、逆変換部２２と標準復号部２３とを接続するようにスイッチ２５を制御することを示す。詳細には、この場合、切替制御部２６Ｂは、接続端子２４Ｃと第１接続端子２４Ａとを接続するようにスイッチ２４を制御する。また、切替制御部２６Ｂは、第１接続端子２５Ａと接続端子２５Ｃとを接続するように、スイッチ２５を制御する。

このため、切替制御部２６Ｂが、逆変換部２２を有効とするように、スイッチ２４およびスイッチ２５を切替制御することで、受付部２１と逆変換部２２、逆変換部２２と標準復号部２３、の各々が接続された状態となる。

このため、この場合、受付部２１から出力された基準画像符号化データは、スイッチ２４を介して逆変換部２２へ出力される。そして、逆変換部２２が、受付けた基準画像符号化データについて、後述する処理を行う。また、この場合、標準復号部２３は、逆変換部２２から信号を受付け可能な状態となる。

また、判別部２６Ａが処理対象のピクチャを基準画像符号化データであると判別した場合、切替制御部２６Ｂは、符号化制御データに含まれる参照画像信号ＩＤを、逆変換部２２へ出力する。すなわち、切替制御部２６Ｂは、受付部２１から逆変換部２２へ出力される基準画像符号化データの、符号化時に用いた参照画像信号の参照画像信号ＩＤを、逆変換部２２へ出力する。

一方、判別部２６Ａが処理対象の符号化されたデータを、標準符号化データである、と判別した場合、切替制御部２６Ｂは、逆変換部２２を無効とするように、スイッチ２４およびスイッチ２５の切替え制御を行う。逆変換部２２を無効とするように切替制御、とは、受付部２１と標準復号部２３とを接続するように、スイッチ２４およびスイッチ２５を制御することを示す。詳細には、この場合、切替制御部２６Ｂは、接続端子２４Ｃと第２接続端子２４Ｂとを接続するようにスイッチ２４を制御する。また、切替制御部２６Ｂは、第２接続端子２５Ｂと接続端子２５Ｃとを接続するように、スイッチ２５を制御する。

このため、切替制御部２６Ｂが、逆変換部２２を無効とするように、スイッチ２４およびスイッチ２５を切替制御することで、受付部２１と標準復号部２３とが、逆変換部２２を介さずに直接接続された状態となる。

このため、この場合、受付部２１から出力された標準符号化データは、スイッチ２４およびスイッチ２５を介して標準復号部２３へ出力される。

次に、逆変換部２２について説明する。逆変換部２２は、基準画像符号化データと、該基準画像符号化データの符号化に用いた参照画像信号と、を用いて、該基準画像符号化データから標準符号化データを生成する。逆変換部２２は、符号化データに含まれる基準画像符号化データを、該基準画像符号化データの符号化に用いた参照画像信号を用いて復号し、基準画像復号信号を生成する。そして、逆変換部２２は、該基準画像復号信号をフレーム内予測符号化し、標準符号化データを生成する。

図８は、逆変換部２２の構成の一例を示す模式図である。逆変換部２２は、記憶部２２Ａと、選択部２２Ｂと、結合部２２Ｃと、復号部２２Ｄと、標準符号化部２２Ｅと、を備える。

記憶部２２Ａは、参照画像管理ＤＢ１１０Ａを予め記憶する。なお、復号装置２０における参照画像管理ＤＢ１１０Ａには、フレーム内予測符号化された参照画像信号（すなわち、参照画像符号化データ）が格納されているものとして説明する。

選択部２２Ｂは、切替制御部２６Ｂから、参照画像信号ＩＤを受付ける。この参照画像信号ＩＤは、逆変換部２２が受付部２１から受付ける基準画像符号化データの符号化時に用いた参照画像信号の参照画像信号ＩＤである。

選択部２２Ｂは、受付けた参照画像信号ＩＤに対応する参照画像信号を、記憶部２２Ａにおける参照画像管理ＤＢ１１０Ａから読取る。そして、選択部２２Ｂは、読取った参照画像信号を、結合部２２Ｃへ出力する。

結合部２２Ｃは、受付部２１から受付けた基準画像符号化データと、選択部２２Ｂから受付けた参照画像信号と、を結合し、復号部２２Ｄへ出力する。上述したように、基準画像符号化データは、Ｐピクチャに相当する。また、記憶部２２Ａに格納されている参照画像信号は、上述したように、フレーム内予測符号化されていることから、Ｉピクチャに相当する。このため、結合部２２Ｃは、Ｉピクチャである参照画像信号（参照画像符号化データ）と、Ｐピクチャである基準画像符号化データと、を復号部２２Ｄへ出力する。

復号部２２Ｄは、結合部２２Ｃから、基準画像符号化データと、該基準画像符号化データの符号化に用いた参照画像信号と、を受付ける。復号部２２Ｄは、受付けた基準画像符号化データと、受付けた参照画像符号化データと、を復号し、該基準画像符号化データを復号した基準画像復号信号を生成する。この復号方法には、公知の方法を用いればよい。

そして、復号部２２Ｄは、生成した基準画像復号信号を、標準符号化部２２Ｅへ出力する。標準符号化部２２Ｅは、基準画像復号信号を、フレーム内予測符号化することによって、標準符号化データを生成する。標準符号化データは、公知の符号化方式によって生成されるＩピクチャに相当する。

これによって、逆変換部２２は、伝送情報に含まれる基準画像符号化データを、通常の符号化方式で生成されるＩピクチャに相当するデータに変換し、標準符号化データを生成する。そして、逆変換部２２の標準符号化部２２Ｅは、生成した標準符号化データを、標準復号部２３へ出力する。

図１に戻り、標準復号部２３について説明する。標準復号部２３は、逆変換部２２から受付けた標準符号化データと、受付部２１から受付けた標準符号化データと、の各々を復号する。標準復号部２３は、第２符号化部１２で用いた標準符号化方式に対応する、標準復号方式を用いて、標準符号化データを復号する。

そして、標準復号部２３は、標準符号化データを復号した、復号画像信号を、出力する。

次に、復号装置２０の制御部２６が実行する処理の手順を説明する。図９は、復号装置２０の制御部２６が実行する処理の手順の一例を示す、フローチャートである。制御部２６は、受付部２１から符号化制御データを受付けるごとに、図９に示す処理ルーチンを実行する。

まず、判別部２６Ａが、処理対象の、符号化されたデータが基準画像符号化データであるか標準符号化データであるかを判別する（ステップＳ６００）。処理対象の符号化されたデータが基準画像符号化データである場合（ステップＳ６００：Ｙｅｓ）、ステップＳ６０２へ進む。

ステップＳ６０２では、切替制御部２６Ｂが、逆変換部２２を有効とするように、スイッチ２４とスイッチ２５の切替制御を行う（ステップＳ６０２）。ステップＳ６０２の処理によって、受付部２１と標準復号部２３とが、逆変換部２２を介して接続された状態となる。そして、本ルーチンを終了する。

一方、ステップＳ６００で、処理対象の符号化されたデータが標準符号化データであると判別した場合（ステップＳ６００：Ｎｏ）、ステップＳ６０４へ進む。ステップＳ６０４では、切替制御部２６Ｂが、逆変換部２２を無効とするように、スイッチ２４およびスイッチ２５を切替制御する（ステップＳ６０４）。ステップＳ６０４の処理によって、受付部２１と標準復号部２３とが、逆変換部２２を介さずに直接接続された状態となる。そして、本ルーチンを終了する。

次に、逆変換部２２が実行する処理の手順を説明する。図１０は、逆変換部２２が実行する処理の手順の一例を示す、フローチャートである。

まず、結合部２２Ｃが受付部２１から基準画像符号化データを受付ける（ステップＳ７００）。次に、選択部２２Ｂが、切替制御部２６Ｂから参照画像信号ＩＤを受付ける（ステップＳ７０２）。この参照画像信号ＩＤは、ステップＳ７００の基準画像符号化データの符号化時に用いた参照画像信号の参照画像信号ＩＤである。

次に、選択部２２Ｂが、ステップＳ７０２で受付けた参照画像信号ＩＤに対応する参照画像信号を、記憶部２２Ａにおける参照画像管理ＤＢ１１０Ａから読取る。これによって、選択部２２Ｂは、参照画像信号を選択する（ステップＳ７０４）。選択部２２Ｂは、読取った参照画像信号を、結合部２２Ｃへ出力する。

次に、復号部２２Ｄが、結合部２２Ｃから受付けた基準画像符号化データと、結合部２２Ｃから受付けた参照画像信号（参照画像符号化データ）と、を復号し、該基準画像符号化データを復号した基準画像復号信号を生成する（ステップＳ７０６）。復号部２２Ｄは、ステップＳ７０６で生成した基準画像復号信号を、標準符号化部２２Ｅへ出力する。

標準符号化部２２Ｅは、ステップＳ７０６で生成された基準画像復号信号を、フレーム内予測符号化することによって、標準符号化データを生成する（ステップＳ７０８）。そして、標準符号化部２２Ｅは、生成した標準符号化データを、標準復号部２３へ出力する（ステップＳ７１０）。このため、標準復号部２３には、逆変換部２２および受付部２１から、標準符号化データが出力される。そして、標準復号部２３は、標準符号化データを復号し、復号画像信号を出力する。そして、本ルーチンを終了する。

以上説明したように、本実施の形態の復号装置２０は、受付部２１と、逆変換部２２と、標準復号部２３と、を備える。受付部２１は、基準画像符号化データと標準符号化データと、を含む符号化データを含む伝送情報を受付ける。逆変換部２２は、符号化データに含まれる基準画像符号化データを、基準画像符号化データの符号化に用いた参照画像信号を用いて復号し、基準画像復号信号を生成する。そして、逆変換部２２は、該基準画像復号信号をフレーム内予測符号化し、標準符号化データを生成する。標準復号部２３は、標準符号化データを復号する。

このように、本実施の形態の復号装置２０は、符号化装置１０で生成した符号化データを復号する。

このため、本実施の形態の復号装置２０では、符号化装置１０と同様の効果が得られる。

また、符号化装置１０から受付ける符号化データには、上述したように、ＩピクチャやＩＤＲピクチャに相当する基準画像復号信号は含まれない。しかし、符号化データに含まれる標準符号化データは、基準画像復号信号と参照画像信号とを用いて生成されたピクチャである。このため、復号装置２０では、符号化データに含まれる標準符号化データについては、再符号化を行う必要がない。

また、復号装置２０の標準復号部２３では、通常の符号化で得られる、ＩピクチャやＩＤＲピクチャを含む符号化データとして、標準符号化データを受付けることができる。

従って、本実施の形態の符号化装置１０と復号装置２０とを含む画像処理システム１は、上記符号化装置１０と同様の効果が得られると共に、狭帯域で、高品質の符号化が可能であり、かつ、低遅延なランダム・アクセスを可能とした符号化データを得ることができる。

（第２の実施の形態）
図１は、本実施の形態の画像処理システム１Ａの一例を示す模式図である。画像処理システム１Ａは、符号化装置１０Ａと、復号装置２０と、を備える。画像処理システム１Ａは、符号化装置１０に代えて符号化装置１０Ａを備えた点以外は、第１の実施の形態の画像処理システム１と同様である。

符号化装置１０Ａは、第１符号化部１１に代えて、第１符号化部１１Ａを備える以外は、第１の実施の形態の符号化装置１０と同様である。

第１符号化部１１Ａは、第１符号化部１１と同様に、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化することによって、基準画像符号化データを生成する。また、第１符号化部１１Ａは、第１原画像信号および参照画像信号に基づいて生成した局部復号信号を、基準画像復号信号として生成する。

図３は、第１符号化部１１Ａの構成の一例を示す模式図である。第１符号化部１１Ａは、第１生成部１１４に代えて第１生成部１１６を備える以外は、第１符号化部１１と同様である。なお、本実施の形態の第１符号化部１１Ａは、参照画像信号として、フレーム内予測符号化された参照画像信号（すなわち、参照画像符号化データ）を用いる。このため、第１符号化部１１Ａにおける参照画像管理ＤＢ１１０Ａには、フレーム内予測符号化された参照画像信号（参照画像符号化データ）が登録されているものとする。

図１１は、第１生成部１１６の構成の一例を示す模式図である。

第１生成部１１６は、第４生成部１１６Ａと、第５生成部１１６Ｂと、を含む。

第４生成部１１６Ａは、選択部１１２（図３参照）から参照画像信号を受付ける。本実施の形態では、第４生成部１１６Ａは、選択部１１２から、参照画像符号化データ（フレーム内予測符号化された参照画像信号）を受付ける。第４生成部１１６Ａは、参照画像符号化データを復号し、参照画像信号を生成する。そして、第４生成部１１６Ａは、参照画像信号を、第５生成部１１６Ｂへ出力する。

第５生成部１１６Ｂは、受付部１７から第１原画像信号を受付ける。また、第５生成部１１６Ｂは、第４生成部１１６Ａから、参照画像信号を受付ける。そして、第５生成部１１６Ｂは、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化し、基準画像符号化データを生成する。そして、第５生成部１１６Ｂは、生成した基準画像符号化データを、出力部１５へ出力する。

また、第５生成部１１６Ｂは、第１原画像信号および参照画像信号に基づいて生成した局部復号信号を、基準画像復号信号として生成する。そして、第５生成部１１６Ｂは、生成した基準画像復号信号を、第２符号化部１２へ出力する。

次に、第５生成部１１６Ｂについて詳細に説明する。図１２は、第５生成部１１６Ｂの構成の一例を示す模式図である。

第５生成部１１６Ｂは、減算部３０、変換・量子化部３１、エントロピー符号化部３２、逆量子化・逆変換部３３、加算部３４、ループフィルタ部３５、画像バッファ部３６、予測画像生成部３７、符号化制御部３８、およびバッファ部３９を備える。

バッファ部３９は、第４生成部１１６Ａから受付けた参照画像信号を格納する。

減算部３０は、第１原画像信号を受付ける。そして、減算部３０は、第１原画像信号と、予測画像生成部３７で生成した予測画像信号と、の差分を求めて、この差分である予測誤差信号を生成する。変換・量子化部３１は、予測誤差信号を変換して変換係数を生成し、変換係数を量子化して量子化係数を生成する。

予測誤差信号の変換方法は、例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）を用いた直交変換や、ウェーブレット変換や、独立成分解析等である。変換・量子化部３１は、これらの何れかの変換方法を用いて、予測誤差信号を変換する。また、変換・量子化部３１は、予め設定された量子化パラメータを用いて、変換係数を量子化する。

逆量子化・逆変換部３３は、量子化係数を逆量子化した後に逆変換し、予測誤差信号を再構成する。すなわち、逆量子化・逆変換部３３は、量子化係数に対して、変換・量子化部３１と逆の処理を行う。具体的には、変換・量子化部３１がＤＣＴおよび量子化を行なった場合には、逆量子化・逆変換部３３は、逆量子化及びＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：逆離散コサイン変換）を行う。

加算部３４は、逆量子化・逆変換部３３から予測誤差信号を受付け、予測画像生成部３７から予測画像を受付ける。そして、加算部３４は、予測誤差信号と予測画像とを加算して、局部復号信号を生成し、ループフィルタ部３５へ送る。

ループフィルタ部３５は、局部復号信号に、デブロッキングフィルタ等のループフィルタ処理を行い、その結果を画像バッファ部３６へ送る。

画像バッファ部３６は、１つ以上の画像信号数の局部復号信号を、予測画像生成のための参照画像信号として記憶する。画像バッファ部３６は、該参照画像信号を、予測画像生成部３７へ出力する。また、画像バッファ部３６は、局部復号信号を、基準画像復号信号として、第２符号化部１２へ出力する。

バッファ部３９には、第４生成部１１６Ａから受付けた参照画像信号が格納されている。バッファ部３９は、第４生成部１１６Ａから受付けた参照画像信号を、予測画像生成部３７へ出力する。

予測画像生成部３７は、第１原画像信号と、画像バッファ部３６から受付けた参照画像信号と、バッファ部３９から受付けた参照画像信号と、符号化制御部３８から受付けた予測制御情報と、を用いて、予測画像を生成する。そして、予測画像生成部３７は、生成した予測画像を、減算部３０および加算部３４へ送る。また、予測画像生成部３７は、予測情報を、エントロピー符号化部３２へ送る。

符号化制御部３８は、予測制御情報を生成し、予測画像生成部３７へ出力する。エントロピー符号化部３２は、予測画像生成部３７から予測情報を受付ける。また、エントロピー符号化部３２は、変換・量子化部３１から量子化係数を受付ける。エントロピー符号化部３２は、量子化係数、および予測情報を、予め決められたシンタクスに従ってエントロピー符号化し、基準画像符号化データを生成する。

エントロピー符号化部３２は、例えば、ハフマン符号化や算術符号化を用いて、エントロピー符号化を行う。エントロピー符号化部３２は、生成した基準画像符号化データを出力する。

次に、本実施の形態における、第１符号化部１１Ａが実行する処理の手順を説明する。図１３は、第１符号化部１１Ａが実行する処理の手順の一例を示す、フローチャートである。

第１符号化部１１Ａは、第１の実施の形態の第１符号化部１１が実行するステップＳ３００〜ステップＳ３１０の処理（図６参照）と同様にして、ステップＳ８００〜ステップＳ８１０の処理を行う。

具体的には、まず、選択部１１２が、受付部１７から第１原画像信号を受付ける（ステップＳ８００）。また、選択部１１２は、制御部１６から制御データを受付ける（ステップＳ８０２）。

次に、選択部１１２の類似度算出部１１２Ａが、ステップＳ８００で受付けた第１原画像信号を含む原画像信号の種類に対応する参照画像信号群を、参照画像管理ＤＢ１１０Ａから読取る（ステップＳ８０４）。ステップＳ８０４の処理によって、類似度算出部１１２Ａは、原画像信号の種類に対応する参照画像信号群を特定する。

次に、類似度算出部１１２Ａが、ステップＳ８０４で読取った参照画像信号群に含まれる参照画像信号の各々と、ステップＳ８００で受付けた第１原画像信号と、の類似度を算出する（ステップＳ８０６）。

次に、参照画像選択部１１２Ｂが、ステップＳ８０４で読取った参照画像信号の内、ステップＳ８０６で算出した類似度が閾値以上の参照画像信号を選択する（ステップＳ８０８）。

次に、参照画像選択部１１２Ｂは、ステップＳ８０２で受付けた制御データに、ステップＳ８０８で選択した参照画像信号の参照画像信号ＩＤを追加し、出力部１５へ出力する（ステップＳ８１０）。

次に、第１生成部１１６の第４生成部１１６Ａが、選択部１１２（図３参照）から受付けたフレーム内予測符号化された参照画像信号（参照画像符号化データ）を復号し、参照画像信号を生成する（ステップＳ８１２）。そして、第４生成部１１６Ａは、参照画像信号を、第５生成部１１６Ｂへ出力する。

次に、第１生成部１１６の第５生成部１１６Ｂが、ステップＳ８００で受付けた第１原画像信号を、ステップＳ８１２で生成した参照画像信号を用いてフレーム間予測符号化した、基準画像符号化データを生成する（ステップＳ８１４）。そして、第５生成部１１６Ｂは、生成した基準画像符号化データを、出力部１５へ出力する（ステップＳ８１６）。

また、第１生成部１１６の第５生成部１１６Ｂは、ステップＳ８００で受付けた第１原画像信号およびステップＳ８１２で生成した参照画像信号に基づいて生成した局部復号信号を、基準画像復号信号として生成する（ステップＳ８１８）。

そして、第５生成部１１６Ｂは、生成した基準画像復号信号を、第２符号化部１２へ出力する（ステップＳ８２０）。第２符号化部１２は、受付部１７から第２原画像信号を受付けると、ステップＳ８２０で生成された基準画像復号信号を用いて、第２原画像信号をフレーム間予測符号化し、標準符号化データを生成する（ステップＳ８２２）。（標準符号化データは出力部に出力しない。）そして、本ルーチンを終了する。第２符号化部１２において、基準画像復号信号をフレーム内予測符号化する理由は、その次のタイミングで符号化される第２原画像信号をフレーム間予測符号化する時の参照画像を生成するためである。この処理によって、逆変換部２２において、基準画像復号信号をフレーム内予測符号化したものと同一のものが生成することが可能となる。

以上説明したように、本実施の形態の符号化装置１０Ａでは、第１生成部１１６が、第１原画像信号を、参照画像信号を用いてフレーム間予測符号化し、基準画像符号化データを生成する。また、第１生成部１１６は、第１原画像信号および参照画像信号に基づいて生成した局部復号信号を、基準画像復号信号として生成する。このため、本実施の形態の符号化装置１０Ａは、第１の実施の形態の符号化装置１０と同様の効果を得ることができる。

次に、上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０のハードウェア構成について説明する。図１４は、上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０のハードウェア構成を示すブロック図である。

上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０は、通信インタフェース（ＩＦ）８３、ＣＰＵ８０、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）８１、及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）８２等がバス８４により相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ８０は、上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０の各々における、全体の処理を制御する演算装置である。ＲＡＭ８２は、ＣＰＵ８０による各種処理に必要なデータを記憶する。ＲＯＭ８１は、ＣＰＵ８０による各種処理を実現するプログラム等を記憶する。通信インタフェース（ＩＦ）８３は、外部装置と通信回線を介して接続し、接続した外部装置との間でデータを送受信するためのインタフェースである。

なお、上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０で実行される処理を実行するためのプログラムは、ＲＯＭ８１等に予め組み込んで提供される。

なお、上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０で実行される処理を実行するためのプログラムは、上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０にインストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録されて提供するように構成してもよい。

また、上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０で実行される処理を実行するためのプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０で実行される処理を実行するためのプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

なお、コンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。

上記実施の形態で説明した、符号化装置１０、符号化装置１０Ａ、および、復号装置２０で実行される処理を実行するためのプログラムは、上述した各部を含むモジュール構成となっている。実際のハードウェアとしては、ＣＰＵ８０が、ＲＯＭ８１等から各種プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、上述した機能構成が主記憶装置上に生成されるようになっている。

なお、上記実施の形態で説明した処理手順を示すステップは、必ずしも、上述した順番に行われることを要するものではない。

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変換を行うことができる。これらの実施の形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１、１Ａ 画像処理システム
１０、１０Ａ 符号化装置
１１、１１Ａ 第１符号化部
１２ 第２符号化部
１６Ａ 特定部
２０ 復号装置
２２ 逆変換部
２３ 標準復号部
１１２ 選択部
１１４、１１６ 第１生成部
１１４Ａ 第２生成部
１１４Ｂ 第３生成部
１１６Ａ 第４生成部
１１６Ｂ 第５生成部

Claims (12)

1. 原画像信号に含まれる、シーンの切替りを示す信号またはランダムアクセスポイントとして用いる画像信号を示す第１原画像信号を特定する特定部と、
   前記第１原画像信号を、参照画像信号を用いてフレーム間予測符号化した基準画像符号化データを生成する第１符号化部と、
   前記原画像信号における前記第１原画像信号以外の第２原画像信号を、前記基準画像符号化データに基づいてフレーム間予測符号化した標準符号化データを生成する第２符号化部と、
   を備える符号化装置。
2. 前記第２符号化部は、
   前記基準画像符号化データを復号した基準画像復号信号を用いて、前記第２原画像信号をフレーム内予測符号化した前記標準符号化データを生成する、
   請求項１に記載の符号化装置。
3. 前記標準符号化データおよび前記基準画像符号化データはＰピクチャまたはＢピクチャである、請求項２に記載の符号化装置。
4. 前記第１符号化部は、
   複数の前記参照画像信号を予め記憶した記憶部から、前記第１原画像信号との類似度が閾値以上の前記参照画像信号を選択する選択部と、
   前記第１原画像信号を、選択した前記参照画像信号を用いてフレーム間予測符号化した前記基準画像符号化データを生成する第１生成部と、
   を有する、請求項１に記載の符号化装置。
5. 前記選択部は、前記原画像信号の種類に対応する前記参照画像信号の内、前記類似度が前記閾値以上の前記参照画像信号を選択する、請求項４に記載の符号化装置。
6. 前記第１生成部は、
   前記参照画像信号をフレーム内予測符号化した参照画像符号化データを用いて、前記第１原画像信号をフレーム間予測符号化した前記基準画像符号化データを生成する第２生成部と、
   前記参照画像符号化データおよび前記基準画像符号化データを復号し、前記基準画像符号化データの復号画像信号を、基準画像復号信号として生成し、前記第２符号化部へ出力する第３生成部と、
   を有する、
   請求項４に記載の符号化装置。
7. 前記第１生成部は、
   前記第１原画像信号を、選択した前記参照画像信号を用いてフレーム間予測符号化した前記基準画像符号化データを生成すると共に、前記第１原画像信号および前記参照画像信号に基づいて生成した局部復号信号を、基準画像復号信号として生成する、
   請求項４に記載の符号化装置。
8. 前記基準画像符号化データおよび前記標準符号化データを含む符号化データを出力する出力部を備える、請求項１に記載の符号化装置。
9. 前記出力部は、
   前記基準画像符号化データと、前記標準符号化データと、を含む符号化データを含む伝送情報を出力する、請求項８に記載の符号化装置。
10. 原画像信号に含まれる、シーンの切替りを示す信号またはランダムアクセスポイントとして用いる画像信号を示す第１原画像信号を、参照画像信号を用いてフレーム間予測符号化した基準画像符号化データと、前記原画像信号における前記第１原画像信号以外の第２原画像信号を、前記基準画像符号化データに基づいてフレーム間予測符号化した標準符号化データと、を含む符号化データ、を含む伝送情報を受付ける受付部と、
    前記符号化データに含まれる前記基準画像符号化データを前記基準画像符号化データの符号化に用いた前記参照画像信号を用いて復号した基準画像復号信号を、フレーム内予測符号化し、標準符号化データを生成する逆変換部と、
    前記標準符号化データを復号する標準復号部と、
    を備える、復号装置。
11. 前記伝送情報は、前記符号化データと、前記基準画像符号化データの生成時に用いた前記参照画像信号の参照画像信号識別情報を含む伝送制御データと、を含み、
    前記逆変換部は、
    前記参照画像信号識別情報によって識別される前記参照画像信号を用いて、前記基準画像符号化データを前記基準画像復号信号に復号する、請求項１０に記載の復号装置。
12. 符号化装置と、復号装置と、を備える画像処理システムであって、
    前記符号化装置は、
    原画像信号に含まれる、シーンの切替りを示す信号またはランダムアクセスポイントとして用いる画像信号を示す第１原画像信号を特定する特定部と、
    前記第１原画像信号を、参照画像信号を用いてフレーム間予測符号化した基準画像符号化データを生成する第１符号化部と、
    前記原画像信号における前記第１原画像信号以外の第２原画像信号を、前記基準画像符号化データに基づいてフレーム間予測符号化した標準符号化データを生成する第２符号化部と、
    前記基準画像符号化データと前記標準符号化データとを含む符号化データ、を含む伝送情報を出力する出力部と、
    を備え、
    前記復号装置は、
    前記伝送情報を受付ける受付部と、
    前記符号化データに含まれる前記基準画像符号化データを前記基準画像符号化データの符号化に用いた前記参照画像信号を用いて復号した基準画像復号信号を、フレーム内予測符号化し、標準符号化データを生成する逆変換部と、
    前記標準符号化データを復号する標準復号部と、
    を備える、
    画像処理システム。

Images