JP4866417B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Description

この発明は、動画像を符号化あるいは復号する画像処理装置、画像処理方法、および画像処理プログラムに関する。ただし本発明の利用は、上述した画像処理装置、画像処理方法、および画像処理プログラムに限らない。

動画像の符号化における符号効率の向上、動画像へのアクセス方法の多様化、動画像のブラウジングの容易化、ファイル形式変換の容易化などといった様々な目的で、動画像の構造化（具体的にはフレーム順序の並び替え、ショット単位での階層化など）を行う従来技術としては、たとえば下記特許文献１〜５に記載の発明などがあった。

このうち特許文献１に記載の従来技術では、ファイル作成手段により動画像データのフレーム単位での並び替え順序を示す編集情報を作成する。また、画像圧縮手段は編集前の動画像データを前フレームとの差分を基に圧縮符号化し、その符号化データを上記編集情報ファイルと共に出力手段から送信する。

また、特許文献２に記載の従来技術では、画像データ列メモリ部に保存された予測符号化画像データを読み出し、階層分離部でそのデータ構造が持つ階層に応じて階層に分離する。次に、分離された階層から画像データの持つ物理的特徴、すなわち一般性を有しコンテントを反映した特徴を、画像特徴抽出部にて抽出する。次に、これらの物理的特徴から各々の画像を特徴付ける特徴ベクトルを特徴ベクトル生成部にて生成する。次に、その特徴ベクトル間での距離を算出して特徴ベクトルを、分割・統合部にて分割・統合して映像を深い階層構造で自動的に構造化し、特徴ベクトル管理部にて蓄積、管理する。

また、特許文献３に記載の従来技術は、動画像を符号化し、該符号化された動画像を各ショットに分割し、ついで分割されたショットごとの類似度を用い、ショットを統合してシーンを抽出処理することを特徴とした動画像の自動階層構造化方法であり、かつまたこの階層構造化されたデータを用いて動画像全体の内容把握、所望のシーンまたはショットの検出を容易にすることを特徴とした動画像のブラウジング方法にかかるものである。

また、特許文献４に記載の従来技術では、複数のカメラで撮像した複数チャンネルの映像信号を切替手段で順番に切り替え、並び替え手段でチャンネルごとにＧＯＰ単位で並び替え、ＭＰＥＧ圧縮手段で圧縮して記録手段に記録するとともに、ＭＰＥＧ伸長手段で各チャンネルごとに伸長し、表示制御手段で映像データを多画面表示できるように、データサイズを圧縮して複数の表示用メモリの所定位置に各チャンネルの入力順にまとめて保存、再生し、画像出力手段がモニタの１画面に多画面表示する。

また、特許文献５に記載の従来技術では、第１の動画像符号化データ形式であるＭＰＥＧ−２形式のビットストリームＡ１をＭＰＥＧ−２デコーダによりデコードして得られた再生動画像信号Ａ２およびサイド情報Ａ３をサイズ変換部により第２の動画像符号化データ形式であるＭＰＥＧ−４形式に適した形態に変換し、変換後の再生画像信号Ａ４を変換後のサイド情報Ａ５に含まれる動きベクトル情報を利用してＭＰＥＧ−４エンコーダによってエンコードすることによりＭＰＥＧ−４形式のビットストリームＡ６を得ると同時に、インデキシング部によりサイド情報Ａ５に含まれる動きベクトルを利用してインデキシング処理を行い、構造化データＡ７を得る。

特開平８−１８６７８９号公報 特開平９−２９４２７７号公報 特開平１０−２５７４３６号公報 特開２００１−０５４１０６号公報 特開２００２−１８５９６９号公報

一方、動画像の符号化における符号効率の向上を目的として、従来様々な予測方式が提案されてきた。たとえばＭＰＥＧ−１では前方向予測フレーム（Ｐフレーム）や両方向予測フレーム（Ｂフレーム）の採用により、ＭＰＥＧ−２ではフィールド予測の採用により、ＭＰＥＧ−４ ｐａｒｔ ２ではスプライト符号化やＧＭＣ（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：グローバル動き補償予測）の採用により、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４ ｐａｒｔ １０（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では複数参照フレームの採用により、それぞれ符号効率を向上させている。

ところで符号化対象となる映像の中には、通常、以下に例示するような相互に類似するショット（連続する複数フレーム）が多く含まれている。
・ニュース番組におけるニュースキャスターへのバストショット
・野球での投球／バッティングシーン、テニスのサーブシーン、スキージャンプの滑降／飛行シーンなど
・スポーツ番組などにおけるハイライトシーンの繰り返し
・バラエティ番組などにおけるＣＭ前後の同一ショットの繰り返し
・二人の会話シーンにおける互いへのアップショットの繰り返しを考えた場合の、各人へのアップショット
・連続ドラマを全話通して考えた場合の、オープニングやエンディング、あるいは前話の回想シーンなど
・同一ＣＭの繰り返し

同一ショットの繰り返しはもとより、固定カメラからの同一アングルへのショットはしばしば類似ショットとなる。そして、こうした類似ショットは独立して符号化するよりも、一方からもう一方を参照してそれらの差分を符号化したほうが、全体として符号量が削減できると期待できる。

しかしながら従来のＭＰＥＧにおいては、対象映像全体の構造、たとえば上記のような類似ショットの繰り返しを符号化に利用せず（言い換えれば、類似ショット間の情報量の冗長性を利用せず）、通常ほぼ時系列順に符号化を行うため、たとえばそのぶん符号効率が悪いなどの問題点があった。

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像処理装置は、動画像を連続する複数のフレームからなる複数のショットに分割するショット分割手段と、前記ショット分割手段により分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出手段と、前記ショット検出手段により検出された第２のショットの時間長を補正して第３のショットを生成する第１のショット生成手段と、前記第１のショットおよび前記第３のショットの少なくともいずれか一つを用いて動き補償して第４のショットを生成する第２のショット生成手段と、前記第１のショットと前記第２のショット生成手段により生成された第４のショットとの差分を符号化する符号化手段と、を備えることを特徴とする。

また、請求項２の発明にかかる画像処理装置は、動画像を連続する複数のフレームからなる複数のショットに分割するショット分割手段と、前記ショット分割手段により分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出手段と、前記ショット検出手段により検出された第２のショットの時間長を補正して第３のショットを生成する第１のショット生成手段と、前記第１のショットと前記第３のショット内のフレームの差分情報とを用いて第４のショットを生成する第２のショット生成手段と、前記第４のショットを用いて動き補償して第５のショットを生成する第３のショット生成手段と、前記第１のショットと前記第３のショット生成手段により生成された第５のショットとの差分を符号化する符号化手段と、を備えることを特徴とする。

また、請求項３の発明にかかる画像処理装置は、動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号手段と、前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成する第１のショット生成手段と、前記ショット復号手段により復号された符号化データおよび前記第１のショットの少なくともいずれか一つを用いて動き補償して第４のショットを生成する第２のショット生成手段と、前記ショット復号手段により復号された符号化データと前記第２のショット生成手段により生成された第４のショットとを加算するショット加算手段と、を備えることを特徴とする。

また、請求項４の発明にかかる画像処理装置は、動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号手段と、前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成する第１のショット生成手段と、前記第１のショットと前記第３のショット内のフレームの差分情報とを用いて第４のショットを生成する第２のショット生成手段と、前記第４のショットを動き補償して第５のショットを生成する第３のショット生成手段と、前記ショット復号手段により復号された符号化データと前記第３のショット生成手段により生成された第５のショットとを加算するショット加算手段と、を備えることを特徴とする。

また、請求項５の発明にかかる画像処理方法は、動画像を連続する複数のフレームからなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出工程と、前記ショット検出工程で検出された第２のショットの時間長を補正して第３のショットを生成する第１のショット生成工程と、前記第１のショットおよび前記第３のショットの少なくともいずれか一つを用いて動き補償して第４のショットを生成する第２のショット生成工程と、前記第１のショットと前記第２のショット生成工程で生成された第４のショットとの差分を符号化する符号化工程と、を含むことを特徴とする。

また、請求項６の発明にかかる画像処理方法は、動画像を連続する複数のフレームからなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出工程と、前記ショット検出工程で検出された第２のショットの時間長を補正して第３のショットを生成する第１のショット生成工程と、前記第１のショットと前記第３のショット内のフレームの差分情報とを用いて第４のショットを生成する第２のショット生成工程と、前記第４のショットを動き補償して第５のショットを生成する第３のショット生成工程と、前記第１のショットと前記第３のショット生成工程で生成された第５のショットとの差分を符号化する符号化工程と、を含むことを特徴とする。

また、請求項７の発明にかかる画像処理方法は、動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号工程と、前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成する第１のショット生成工程と、前記ショット復号工程により復号された符号化データおよび前記第１のショットの少なくともいずれか一つを用いて動き補償して第４のショットを生成する第２のショット生成工程と、前記ショット復号工程で復号された符号化データと前記第２のショット生成工程で生成された第４のショットとを加算するショット加算工程と、を含むことを特徴とする。

また、請求項８の発明にかかる画像処理方法は、動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号工程と、前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成する第１のショット生成工程と、前記第１のショットと前記第３のショット内のフレームの差分情報とを用いて第４のショットを生成する第２のショット生成工程と、前記第４のショットを動き補償して第５のショットを生成する第３のショット生成工程と、前記ショット復号工程で復号された符号化データと前記第３のショット生成工程で生成された第５のショットとを加算するショット加算工程と、を含むことを特徴とする。

また、請求項９の発明にかかる画像処理プログラムは、前記請求項５〜８のいずれかに記載の画像処理方法をコンピュータに実行させることを特徴とする。

図１は、本発明により分割・分類されたショット間の参照関係を示す説明図である。 図２は、特徴量ベクトルの基礎となる各ショットの特徴量を模式的に示す説明図である。 図３は、「原類似ショット」「参照類似ショット」「対象類似ショット」の関係を模式的に示す説明図である。 図４は、原類似ショットの時間長補正の一手法（フレーム位置を補正しない場合）を模式的に示す説明図である。 図５は、原類似ショットの時間長補正の一手法（フレーム位置を補正する場合）を模式的に示す説明図である。 図６は、参照類似ショット生成情報の具体例を示す説明図である。 図７は、参照類似ショットの生成の一手法（単一の原類似ショットの全区間を使用する場合）を模式的に示す説明図である。 図８は、参照類似ショットの生成の一手法（単一の原類似ショットの一部区間を使用する場合）を模式的に示す説明図である。 図９は、参照類似ショットの生成の一手法（複数の原類似ショットを使用する場合）を模式的に示す説明図である。 図１０は、参照類似ショットの生成の一手法（複数の原類似ショットを重み付け平均して使用する場合）を模式的に示す説明図である。 図１１は、フレーム位置の異なるショット間の重み付け平均の計算例を模式的に示す説明図である。 図１２は、フレーム位置の異なるショット間の差分の計算例を模式的に示す説明図である。 図１３は、この発明の実施例１にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。 図１４は、従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダ（動き補償なし）の構成の一例を示す説明図である。 図１５は、この発明の実施例１にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。 図１６は、この発明の実施例１にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。 図１７は、この発明の実施例１にかかる画像処理装置（デコーダ）における、画像復号処理の手順を示すフローチャートである。 図１８は、この発明の実施例２にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。 図１９は、従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダ（動き補償あり）の構成の一例を示す説明図である。 図２０は、グローバル動き補償予測の概念を模式的に示す説明図である。 図２１は、ブロック単位の動き補償予測の概念を模式的に示す説明図である。 図２２は、フレーム間動き情報の具体例を示す説明図である。 図２３は、修正参照類似ショットの生成の一手法（フレーム位置を補正しない場合）を模式的に示す説明図である。 図２４は、修正参照類似ショットの生成の一手法（フレーム位置を補正する場合）を模式的に示す説明図である。 図２５は、この発明の実施例２にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。 図２６は、この発明の実施例２にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。 図２７は、この発明の実施例２にかかる画像処理装置（デコーダ）における、画像復号処理の手順を示すフローチャートである。 図２８は、この発明の実施例１にかかる画像処理装置（エンコーダ）の構成の他の一例を示す説明図である（従来技術のエンコーダをそのまま利用する場合）。 図２９は、この発明の実施例２にかかる画像処理装置（エンコーダ）の構成の他の一例を示す説明図である（従来技術のエンコーダをそのまま利用する場合）。 図３０は、この発明の実施例１にかかる画像処理装置（デコーダ）の構成の他の一例を示す説明図である（従来技術のデコーダをそのまま利用する場合）。 図３１は、この発明の実施例２にかかる画像処理装置（デコーダ）の構成の他の一例を示す説明図である（従来技術のデコーダをそのまま利用する場合）。 図３２は、対象類似ショットを参照フレームとして利用したフレーム間予測の一手法を模式的に示す説明図である。 図３３は、対象類似ショットを含めた動き補償予測の手法を模式的に示した説明図である。 図３４は、この発明の実施例３の選択型フレーム間動き補償予測の手法１にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。 図３５は、この発明の実施例３の選択型フレーム間動き補償予測の手法１にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。 図３６は、この発明の実施例３の選択型フレーム間動き補償予測の手法１にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。 図３７は、符号化残差を用いたフィードフォワード予測の手法を模式的に示した説明図（その１）である。 図３８は、符号化残差を用いたフィードフォワード予測の手法を模式的に示した説明図（その２）である。 図３９は、この発明の実施例３の選択型フレーム間動き補償予測の手法２にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。 図４０は、この発明の実施例３の選択型フレーム間動き補償予測の手法２にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。 図４１は、この発明の実施例３の選択型フレーム間動き補償予測の手法２にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。 図４２は、原類似ショットの動き情報を用いたフィードフォワード予測の手法を模式的に示した説明図である。 図４３は、この発明の実施例３の選択型フレーム間動き補償予測の手法３にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。 図４４は、この発明の実施例３の選択型フレーム間動き補償予測の手法３にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。 図４５は、この発明の実施例３の選択型フレーム間動き補償予測の手法３にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。

符号の説明

１３００，１４００，１８００，１９００，３４００，３９００，４３００ 変換部
１３０１，１４０１，１８０１，１９０１，３４０１，３９０１，４３０１ 量子化部
１３０２，１４０２，１８０２，１９０２，３４０２，３９０２，４３０２ エントロピー符号化部
１３０３，１４０３，１８０３，１９０３，３４０３，３９０３，４３０３ 符号化制御部
１３０４，１４０４，１６０１，１８０４，１９０４，２６０１，３４０４，３６０１，３９０４，４１０１，４３０４，４５０１ 逆量子化部
１３０５，１４０５，１６０２，１８０５，１９０５，２６０２，３４０５，３６０２，３９０５，４１０２，４３０５，４５０２ 逆変換部
１３０６，１６０３，１８０６，２６０３，３４０６，３６０３，３９０６，４１０３ 原類似ショット記憶メモリ
１３０７，１８０７，３４０７，３９０７，４３０７ ショット分割部
１３０８，１８０８，３４０８，３９０８，４３０８ 類似ショット検出部
１３０９，１８０９，３４０９，３９０９ 生成手法決定部
１３１０，１６０４，１８１０，２６０４，３４１０，３９１０，４１０４ 参照類似ショット生成部
１４０６，１９０６ 参照フレーム記憶メモリ
１６００，２６００，３６００，４１００，４５００ エントロピー復号部
１８１１，１９０７，３４１１，３９１１，４３１１ フレーム間動き検出部
１８１２，１９０８，２６０５，３４１２，３６０５，３９１２，４１０５，４３１２，４５０５ フレーム間動き補償部
２８００，２９００ 符号化器
２８０１，２９０１ 多重化部
３０００，３１００ 復号器
３００１，３１０１ 分離多重化部
３４１３，３６０６，３９１３，４１０６，４３１３，４５０６ 符号化ショット記憶メモリ
３４１４，３６０７，３９１４，４１０７，４３１４，４５０７ 参照フレームセレクト（ＳＥＬ）部
３９１５，４１０８ ＦＦ予測フレーム生成部
４３１５，４５０８ 原類似ショット動き情報記憶メモリ
４３１６，４５０９ ＦＦ動き補償部

以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法、および画像処理プログラムの好適な実施の形態を詳細に説明する。

（実施の形態）
本発明は一言でいえば、符号化対象となる映像を連続する複数フレーム、すなわちショットに分割するとともに、個々のショットについて、当該ショットに類似するショットとの差分を符号化する（符号化対象となるショット内の各フレームの参照フレームを、当該ショットに類似するショット内の対応する各フレームとする）ものである。通常、類似するショットではショットを構成するフレームも類似するので、フレーム間の差の値は０近傍に集中することが予想され、単純に符号化対象フレームからの距離で参照フレームを決定する従来技術に比べて、符号量の削減が期待される。

図１は、本発明により分割・分類されたショット間の参照関係を示す説明図である。図示する例では、映像内のショットは類似するもの同士Ａ・Ｂ・Ｃの３グループ（類似ショット群）に分類され、たとえばＡグループ中、ショット「Ａ３」はショット「Ａ０」を参照して（前方向予測）、「Ａ１」や「Ａ２」は「Ａ０」および「Ａ３」を参照して（両方向予測）、それぞれ符号化される。このように参照先のショットはいくつあってもよく、また過去のショット（時間的に前のショット）はもちろん、未来のショット（時間的に後のショット）であってもよい。従ってショットの符号化／復号の順序は必ずしも時系列順、すなわち映像内での出現順序と同一にはならない。

なおショットの分割点となるのは、たとえば上記映像中での画像特徴量の変化点や、背景音声の特徴量の変化点である。このうち画像特徴量の変化点としては、たとえば画面の切り替わり（シーンチェンジ、カット点）や、カメラワークの変化点（シーンチェンジ／パン／ズーム／静止などの変化点）などが考えられる。もっとも、分割点をどこにするかやその分割点をどうやって特定するか（言い換えれば、ショットをどのように構成するか）は本発明では特に問わない。

また、ショット間の類似度をどのようにして算出するかも本発明では特に問わないが、ここではたとえば各ショットにつき、その特徴量ベクトルＸを求め、特徴量ベクトル間のユークリッド距離をショット間の類似度であるとみなす。

たとえばショットａの特徴量ベクトルＸａは、ショットａをＮ個に分割して得られた各部分ショットの累積カラーヒストグラムを要素とする多次元のベクトルであるものとする。図２に示すようにＮ＝３のとき、
Ｘａ＝｛ＨＳａ、ＨＭａ、ＨＥａ｝
ただしＨＳａ：図中「開始分割ショット」の累積カラーヒストグラム
ＨＭａ：図中「中間分割ショット」の累積カラーヒストグラム
ＨＥａ：図中「終了分割ショット」の累積カラーヒストグラム
なおＨＳａ、ＨＭａ、ＨＥａ自体も多次元の特徴量ベクトルである。

なお「カラーヒストグラム」とは、色空間を複数の領域に分割し、フレーム内の全画素について各領域での出現数をカウントしたものである。色空間としてはたとえばＲＧＢ（Ｒ／赤、Ｇ／緑、Ｂ／青）、ＹＣｂＣｒ（Ｙ／輝度、ＣｂＣｒ／色差）のＣｂＣｒ成分、ＨＳＶ（Ｈｕｅ／色相、Ｓａｔｕｒａｔｉｏｎ／彩度、Ｖａｌｕｅ／明度）のＨｕｅ成分が利用される。得られたヒストグラムをフレーム内の画素数で正規化することで、サイズが異なる画像同士の比較も可能となる。この正規化されたヒストグラムをショット内の全フレームについて累積したものが「累積カラーヒストグラム」である。

次に、ショットａとショットｂの類似度Ｄａ，ｂを、上記で求めた特徴量ベクトルを用いてたとえば下記式により算出する。この値が小さい（特徴ベクトル間の距離が小さい）ショットほど類似度は高く、大きい（特徴ベクトル間の距離が大きい）ショットほど類似度は低くなる。そして本発明では、この値が所定の閾値以下であるショット同士をグループ化するとともに、各ショットにつき同一グループ内の他のショットとの差分を符号化することで、符号効率の向上をはかる。

ただ、符号化対象のショットの時間長と、その参照先となるショットの時間長とは必ずしも同一ではないので、そのまま単純に差分を計算することはできない。具体的には、後者のショットを時間伸長あるいは短縮して前者に合わせ込む補正が必要である。そこで本発明では、この補正前のショットを「原類似ショット」と呼び、原類似ショットから上記補正により生成され、符号化対象となるショット（以下では「対象類似ショット」と呼ぶ）から差し引かれるショットを「参照類似ショット」と呼ぶ。図３に、「原類似ショット」「参照類似ショット」「対象類似ショット」の関係を模式的に示す。

なお、上記補正の手法にはフレーム位置の補正（フレームの補間あるいは間引き）を伴う場合と伴わない場合との下記２つが考えられるが、上記補正の手法は下記に限定されるものではない。

（原類似ショットの時間長補正・手法１）フレーム位置を補正しない場合
図４に示すように、原類似ショットのフレーム間隔を変化させる、すなわち原類似ショット中のフレームの修正をまったく行わず、単に見かけのショット時間長を変化させるだけの手法である。この手法によるショットの時間伸長／短縮処理は簡単であるが、図示するように参照類似ショットと対象類似ショットとのフレーム位置が合わないので、後続の処理ではこのずれを考慮した処理が必要となる。

（原類似ショットの時間長補正・手法２）フレーム位置を補正する場合
図５に示すように、原類似ショットを手法１と同様に時間伸長／短縮した後、さらに対象類似ショットと同一の位置にフレームを補間する手法である。たとえば時間長補正後の原類似ショット中、対象類似ショットの対象フレームの前後に位置する２フレームを、対象フレームとの距離に応じて重み付け平均し、これを対象フレームと同一の位置に補間する。この手法は原類似ショット中の全フレームの修正を伴うので処理は複雑であるが、図示するように参照類似ショットと対象類似ショットとのフレーム位置が合っているので、後続の処理は同一位置のフレーム同士の簡単な比較となる。

なお、参照類似ショットの生成に使用する原類似ショットは、対象類似ショットに類似するショットであればどのショットであっても、またそのどの部分であってもよいが、ここではたとえば下記５つの手法を考える。また、各手法で参照類似ショットを生成したときに復号側で必要となる（従って符号化ストリームに組み込む必要がある）参照類似ショット生成情報の具体例を図６に示す。

（参照類似ショットの生成・手法１）単一の原類似ショットの全区間を使用
図３に示したように、一つの原類似ショットの全区間を時間伸長あるいは短縮して参照類似ショットを生成する手法である（図３は時間短縮の例である）。この手法を採用した場合、参照類似ショット生成情報として必要なのは、使用する原類似ショットを識別するためのＩＤ（原類似ショットＩＤ）のみである。なお、原類似ショットの伸縮率は、原類似ショットと対象類似ショットの時間比率により一意に定まる。

もっとも、必ずしも対象類似ショットの全区間を参照類似ショットから予測符号化しなければならないものではない。類似するショット間であっても、対応するフレーム同士がすべて類似するとは限らないので、たとえば図７に示すように対象類似ショット中、原類似ショットとのマッチングのよい区間だけについて部分的に参照類似ショットを生成するようにしてもよい。このとき対象類似ショット中、対応する参照類似ショットのない区間のフレームはそのまま符号化（すなわち、他フレームとの差を取らずにイントラ符号化）する。なお、当該区間については参照類似ショットがないと考えることもできるが、値がすべて０の参照類似ショットがあると考えることもできる。

この手法を採用した場合に参照類似ショット生成情報として必要なのは、対象類似ショットのどの区間（どこからどこまで）について参照類似ショットを生成するかを指定する開始時間ＳＲと時間長ＤＲ、および参照類似ショットの生成に使用する原類似ショットのＩＤである（図６参照）。上述の図３のケースは、図７において開始時間ＳＲ＝対象類似ショットの先頭、時間長ＤＲ＝対象類似ショットの時間長であるために、これらがなくても原類似ショットＩＤがあれば足りる特別の場合である。

（参照類似ショットの生成・手法２）単一の原類似ショットの一部区間を使用
図８に示すように、一つの原類似ショットの一部区間を時間伸長あるいは短縮して参照類似ショットを生成する手法である（図８は時間短縮の例である）。この手法を採用した場合に参照類似ショット生成情報として必要なのは、対象類似ショットのどの区間について参照類似ショットを生成するかを指定する開始時間ＳＲと時間長ＤＲ、参照類似ショットの生成に使用する原類似ショットのＩＤ、原類似ショットのどの区間を参照類似ショットの生成に使用するかを指定する開始時間ＳＯと時間長ＤＯである（図６参照）。

（参照類似ショットの生成・手法３）複数の原類似ショットを使用
図９に示すように、複数の原類似ショットの全区間あるいは一部区間を、時間伸長あるいは短縮して参照類似ショットの一部区間を生成する手法である。図示する例では、原類似ショット１についてはその一部区間を用いて、原類似ショット２についてはその全区間を用いて、それぞれ参照類似ショットの一部が生成されている。この手法を採用した場合の参照類似ショット生成情報には、参照類似ショットを構成するそれぞれの部分（図示する例では３つ）について、上述の開始時間ＳＲｎと時間長ＤＲｎ、原類似ショットＩＤ、開始時間ＳＯｎと時間長ＤＯｎが必要である（図６参照）。なお、この記述順は各部分の時間順であるのが望ましい。

（参照類似ショットの生成・手法４）複数の原類似ショットを重み付け平均して使用
図１０に示すように、複数の原類似ショットの全区間あるいは一部区間を、時間伸長あるいは短縮したものをさらに重み付け平均して「平均ショット」を生成し、この「平均ショット」から参照類似ショットの全区間あるいは一部区間を生成する手法である。図示する例では、参照類似ショットの最初の部分は、原類似ショット１の一部区間を時間伸長／短縮したものと、原類似ショット２の全区間を時間伸長／短縮したものとの平均ショットから生成されている。中間部分や最後の部分も、同様に複数（必ずしも２つとは限らない）の原類似ショットの平均により生成されたものである。なお、重み付け係数は平均対象のショットごとに固定としてもよいし、フレームごとに個々に決定してもよい。また、この係数がショット間／フレーム間で等しい場合は単なる平均となるが、本発明では単なる平均も重み付け平均の一種（重み付け平均の特別な場合）として扱う。

なお、平均対象となるそれぞれのショットでフレーム位置が合っている場合は、単純に同一位置にあるフレーム間の重み付け平均を算出すればよい。一方、フレーム位置が合っていない場合は、たとえば図１１に示すように各ショット中、対象類似ショットの対象フレームに時間的に最も近い２フレームを重み付け平均することで、フレーム位置が対象類似ショットと同一の平均ショットを生成し、これを参照類似ショットとする。なお、重み付け係数は平均対象のショットごとに固定としてもよいし、フレームごとに個々に決定してもよい（後者の場合、重みはたとえば上記対象フレームとの距離に応じて決定される）。

この手法を採用した場合の参照類似ショット生成情報には、参照類似ショットを構成する各部分（図示する例では３つ）について、上述の開始時間ＳＲｎと時間長ＤＲｎ、そして各部分の元となるそれぞれの原類似ショットについて、そのＩＤ、開始時間ＳＯｎ、時間長ＤＯｎ、重み付け係数が必要である（図６参照）。なお、この手法の適応例としては具体的にはクロスフェードがあり、使用する原類似ショットやその区間を変えなくても、それぞれの重み付け係数を変えるだけで、対象類似ショットとよりよくマッチングする参照類似ショットを生成できる。

（参照類似ショットの生成・手法５）上記手法１〜４の組み合わせ
手法１〜４のうち最適な手法でそれぞれのショットを符号化する。この場合は参照類似ショット生成情報中に、各手法で必要な情報（上述のＳＲｎ、ＤＲｎ、ＳＯｎ、ＤＯｎ、原類似ショットＩＤ、重み付け係数など）のほか、どの手法で参照類似ショットを生成するかを示す手法ＩＤが必要となる（図６参照）。

そして本発明では上述のように、対象類似ショットから、上記各手法により生成された参照類似ショットを差し引いたもの（以下では「差分類似ショット」という）を符号化する。このとき、対象類似ショットと参照類似ショットのフレーム位置が合っていれば、単純に同一位置にあるフレーム間の差を取ればよいが、フレーム位置が合っていない場合は、たとえば図１２に示すように、対象類似ショット中の各フレームと、参照類似フレーム中、上記各フレームに時間的に最も近いフレームとの差を取るようにする。

図１３は、この発明の実施例１にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。また図１４は、従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダ（動き補償なし）の構成の一例を示す説明図である。

図１３中、１３００〜１３０５は図１４の同名の各部と同一である。すなわち、１３００／１４００は符号化対象フレーム（から参照フレームを差し引いた予測誤差）について離散コサイン変換（ＤＣＴ）や離散ウェーブレット変換（ＤＷＴ）などを行う変換部、１３０１／１４０１は上記変換後のデータを所定のステップ幅で量子化する量子化部、１３０２／１４０２は上記量子化後のデータなどを符号化する（その手法は特に問わない）エントロピー符号化部、１３０３／１４０３は各種符号化タイプの決定、レート制御のための量子化ステップの決定などを行う符号化制御部である。また、１３０４／１４０４は量子化後／符号化前のデータを逆量子化する逆量子化部、１３０５／１４０５は逆量子化後のデータをさらに逆変換する逆変換部である。

１３０６は逆変換後のフレームにその参照フレームを足し合わせたもの、すなわちローカルデコード画像を少なくとも１ショット分保持する原類似ショット記憶メモリである。図１４にも、ローカルデコード画像を保持するための参照フレーム記憶メモリ１４０６があるが、従来技術の参照フレーム記憶メモリ１４０６が上記画像をフレーム単位で保持するのに対し、本発明の原類似ショット記憶メモリ１３０６はショット単位で保持する点が違っている。なお、原類似ショット記憶メモリ１３０６に保持される原類似ショット数（そこに含まれる総フレーム数）は、実装上はメモリ容量により制限されるが、アルゴリズム的には制限はない。

また、１３０７はショット分割部であり、符号化対象となる映像を複数のショットに分割する機能部である。１３０８は類似ショット検出部であり、ショット分割部１３０７で分割された各ショット間の類似度を計算するとともに、この類似度を基礎として、上記ショットを複数のグループ（類似ショット群）に分類する機能部である。

また、１３０９は対象類似ショットと、原類似ショット記憶メモリ１３０６内の原類似ショットとを比較（マッチング）して、参照類似ショットの生成手法（対象類似ショットのどの区間について参照類似ショットを生成するか、その生成にどの原類似ショットのどの区間を使用するか、など）を決定する生成手法決定部である。理想的には最適な手法、すなわち差分類似ショットの値ができるだけ０近傍に集中するような手法を探索するが、この探索の手順などは本発明では特に問わない。評価指標としては上述の類似度のほか、カラーヒストグラム、あるいはフレーム全体のグローバル動き情報やブロック単位の動きベクトル情報などを利用できる。

また、１３１０は生成手法決定部１３０９により決定された手法に従って、原類似ショット記憶メモリ１３０６内の原類似ショットから参照類似ショットを生成する参照類似ショット生成部である。

図１５は、この発明の実施例１にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。まず、符号化対象の映像をショット分割部１３０７で複数のショットに分割し（ステップＳ１５０１）、次に類似ショット検出部１３０８で各ショットの類似ショットを検出、すなわちショット間の類似度を基礎として、上記各ショットを複数のグループに分類する（ステップＳ１５０２）。

その後、本装置は未処理の（まだ符号化していない）ショットがある限り（ステップＳ１５０３：Ｎｏ）、ステップＳ１５０３〜Ｓ１５１０の処理を繰り返す。まず、対象類似ショットがショット内符号化、すなわち他のショットを参照しないで符号化すべきショットであるかどうかを判定する。

類似する複数のショット中、少なくとも一つのショットはショット内符号化される必要がある。たとえば図１のＡグループでは「Ａ０」がこれに該当し、当該ショットについてはショット内の各フレームをそのまま変換部１３００／量子化部１３０１で変換／量子化（ステップＳ１５０４：Ｙｅｓ、ステップＳ１５０８）、エントロピー符号化部１３０２でエントロピー符号化する（ステップＳ１５０９）。また、変換・量子化後のデータは逆量子化部１３０４・逆変換部１３０５によりローカルデコード（逆量子化および逆変換）される（ステップＳ１５１０）。

一方、図１の「Ａ１」〜「Ａ４」のように、類似する他のショットを参照するショットについては（ステップＳ１５０４：Ｎｏ）、まず生成手法決定部１３０９で参照類似ショットの生成手法を決定した後（ステップＳ１５０５）、決定された手法に従って参照類似ショット生成部１３１０で参照類似ショットを生成し（ステップＳ１５０６）、さらに対象類似ショットと参照類似ショットとの差、すなわち差分類似ショットを生成する（ステップＳ１５０７）。その後この差分類似ショットにつき、変換部１３００／量子化部１３０１による変換／量子化（ステップＳ１５０８）、エントロピー符号化部１３０２によるエントロピー符号化（ステップＳ１５０９）、逆量子化部１３０４／逆変換部１３０５によるローカルデコード（逆量子化および逆変換）を行う（ステップＳ１５１０）。

そして、映像内の全ショットを符号化した時点で（ステップＳ１５０３：Ｙｅｓ）、本フローチャートによる処理を終了する。なお、生成手法決定部１３０９で決定された生成手法に対応する参照類似ショット生成情報（図６参照）も、エントロピー符号化部１３０２により符号化され、量子化部１３０１からのショット符号化ストリーム（各ショットの符号化データ）と多重化されて１本の符号化ストリームとなる。なお、本発明ではこの多重化の手法は特に問わない。また、ショット符号化ストリームと参照類似ショット生成情報を多重化する必要があるかどうかはアプリケーション次第であるので、これらを多重化せず、別個のストリームとして伝送するようにしてもよい。

なお、このように本発明では最初に対象映像全体を走査してショットの分割・分類を行うので、マルチパスによる映像符号化が可能、つまり符号化遅延が問題とされない分野での映像符号化に適している。応用例としては流通メディア（次世代光ディスクなど）の映像符号化、蓄積メディアにためたコンテンツのトランスコーディング（データ量圧縮、メモリカードへのムーブなど）が挙げられる。他にもブロードバンド・ストリーミングや録画済み（符号化済み）番組の放送用の映像符号化としても利用可能である。

次に、上記のようにして符号化された映像の復号について説明する。図１６は、この発明の実施例１にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図中、１６００は入力した符号化ストリームを復号するとともに、復号後のショット符号化ストリームを逆量子化部１６０１へ、参照類似ショット生成情報を参照類似ショット生成部１６０４へ、それぞれ出力するエントロピー復号部である。１６０１はショット符号化ストリームを逆量子化する逆量子化部、１６０２は逆量子化後のショット符号化ストリームをさらに逆変換する逆変換部である。

１６０３は、復号画像を少なくとも１ショット分保持する原類似ショット記憶メモリである。１６０４は、エントロピー復号部１６００から入力した参照類似ショット生成情報に従って、原類似ショット記憶メモリ１６０３内の原類似ショットから参照類似ショットを生成する参照類似ショット生成部である。

図１７は、この発明の実施例１にかかる画像処理装置（デコーダ）における、画像復号処理の手順を示すフローチャートである。未処理の（まだ復号していない）ショットがある限り（ステップＳ１７０１：Ｎｏ）、本装置はまずエントロピー復号部１６００で、符号化ストリーム中の当該ショットを復号し（ステップＳ１７０２）、さらに復号後のショットを逆量子化部１６０１で逆量子化、および逆変換部１６０２で逆変換（ステップＳ１７０３）する。

その後、上記ショットがショット内符号化、すなわち他のショットを参照せずに符号化されたものであれば（ステップＳ１７０４：Ｙｅｓ）、上記逆変換後のデータを復号画像としてそのまま出力する（ステップＳ１７０６）。一方、上記ショットが他のショットを参照して符号化されたものであれば（ステップＳ１７０４：Ｎｏ）、参照類似ショット生成部１６０４はエントロピー復号部１６００から入力した参照類似ショット生成情報に従って、原類似ショット記憶メモリ１６０３内の復号画像（原類似ショット）から参照類似ショットを生成する（ステップＳ１７０５）。そして、逆変換部１６０２からの差分類似ショットとその参照類似ショットとを加算したものが復号画像として出力される（ステップＳ１７０６）。

さて、上述した実施例１では、対象類似ショット内の各フレームと参照類似ショット内の対応するフレームとの差を単純に計算しているが、このときフレーム間の動き補償を行えば、さらに符号効率が向上すると期待される。図１８は、この発明の実施例２にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。また、図１９は従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダ（動き補償あり）の構成の一例を示す説明図である。

図１８は、従来のＪＰＥＧ／ＭＰＥＧエンコーダの参照フレーム記憶メモリ１９０６を原類似ショット記憶メモリ１８０６に差し替えるとともに、ショット分割部１８０７、類似ショット検出部１８０８、生成手法決定部１８０９および参照類似ショット生成部１８１０を追加した構成である（上記以外の各部、すなわち変換部１８００、量子化部１８０１、エントロピー符号化部１８０２、符号化制御部１８０３、逆量子化部１８０４および逆変換部１８０５の機能は、図１９の同名の各部の機能と同一、すなわち従来技術と同一であるので説明を省略する）。あるいは図１３に示した実施例１のエンコーダの構成に、フレーム間動き検出部１８１１とフレーム間動き補償部１８１２を追加したものと言うこともできる。

なお、フレーム間動き補償予測の手法は本発明では特に問わないが、従来手法には大別して下記の２つがある。

（フレーム間動き補償予測・手法１）グローバル動き補償予測（図２０）
これは参照フレーム内の四角形領域を、符号化対象フレームの矩形領域にワーピング処理（平行移動、拡大／縮小、回転、アフィン変換、透視変換など）するものである。具体的には、たとえばＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）の７．８章「Ｓｐｒｉｔｅ ｄｅｃｏｄｉｎｇ」がある。このグローバル動き補償予測により、フレーム全体の動きを捉えることができ、フレーム内のオブジェクトの位置ずれ／変形の修正が可能となる。

（フレーム間動き補償予測・手法２）ブロック単位での動き補償予測（図２１）
これは符号化対象フレームを正方格子状に分割し、このブロック単位で手法１と同様のワーピング処理を行うものである。ワーピング処理の一例としてたとえば平行移動の場合、個々のブロックごとに参照フレーム内で最も誤差が小さくなる領域を探索し、符号化対象フレームの各ブロックと、参照フレームの各探索結果領域の位置ずれを動きベクトルとして伝送する。このブロックの大きさはＭＰＥＧ−１やＭＰＥＧ−２では１６×１６画素（「マクロブロック」と呼ばれる）である。さらにＭＰＥＧ−４では８×８画素、Ｈ．２６４では４×４画素の小さなブロックも許される。なお参照フレームは一つに限定されず、複数の参照フレームから最適な領域を選択するようにしてもよい。この場合は動きベクトル情報の他に、参照フレームのＩＤなども伝送する必要がある。このブロック単位での動き補償予測により、フレーム内の局所的なオブジェクトの動きに対応できる。

なお、上記のようなフレーム間動き補償予測を行う場合に、復号側で必要となる（従って符号化ストリームに組み込む必要がある）フレーム間動き情報の具体例を図２２に示す。図示する例はグローバル動き予測とブロック単位での動き予測の双方を併用した例であるが、当然片方だけ使用するのでも問題はない。

より具体的にフレーム間動き補償の方法を説明すると、まず対象類似ショットの各フレームと、参照類似ショットの少なくとも一つのフレームとの間でのフレーム間動き情報（たとえばアフィン変換係数や動きベクトル情報など）をフレーム間動き検出部１８１１で算出し、次にフレーム間動き補償部１８１２で、このフレーム間動き情報に従って参照類似ショットから修正参照類似ショットの各フレーム（対象類似ショットの各フレームに対する予測フレーム）を生成する。

ここで、対象類似ショットと参照類似ショットとの間でフレーム位置が合っている場合は、自然と対象類似ショットと修正参照類似ショットとの間のフレーム位置も合う。よって単純に対象類似ショット内の各フレームから、修正参照類似ショット内の同一位置にある各フレームを差し引いたものを符号化すればよい。すなわち、参照類似ショットと対象類似ショットとの類似度を動き補償予測でさらに高めることで、差分類似ショットの値がより０近傍に集中するようにする。なお、このフレーム間動き情報はショット符号化ストリームと多重化され、１本の符号化ストリームとされる。

一方、対象類似ショットと参照類似ショットとの間でフレーム位置が合っていない場合は、フレーム位置修正のための処理が必要となり、たとえば下記２つが考えられるが、逆に修正参照類似ショットの生成手法は下記に限定されるものではない。

（修正参照類似ショットの生成・手法１）フレーム位置を補正しない場合
図２３に示すように、対象類似ショットの各フレームと、参照類似ショット内の少なくとも一つのフレームとの間で動き検出を行う。そして得られたフレーム間動き情報により、参照類似ショットにフレーム間動き補償を行えい、修正参照類似ショットの各フレームを生成する。このとき修正参照類似ショットの各フレームの位置は参照類似ショットと同一とする（参照類似ショットのフレーム位置を保存する）ものである。この場合は修正参照類似ショット中、たとえば対象類似ショットの対象フレームに時間的に最も近いフレームと、対象フレームとの差分を符号化すればよい。

（修正参照類似ショットの生成・手法２）フレーム位置を補正する場合
図２４に示すように、手法１同様、フレーム間動き補償により修正参照類似ショットの各フレームを生成するが、同時に修正参照類似ショットの各フレームの位置を対象類似ショットと同一の位置に補正（補間あるいは間引き）するものである。この場合は対象類似ショット内の各フレームと、修正参照類似ショット内の同一位置にある各フレームとの差分を符号化すればよい。

図２５は、この発明の実施例２にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。図１５に示した実施例１の画像符号化処理との差異は、参照類似ショットの生成後（ステップＳ２５０６）に、フレーム間動き検出処理（ステップＳ２５０７）とフレーム間動き補償処理／修正参照類似ショット生成処理（ステップＳ２５０８）とが追加されている点である。そして、ステップＳ２５０８で生成された修正参照類似ショットを、対象類似ショットから差し引くことで差分類似ショットを生成する（ステップＳ２５０９）。このステップＳ２５０７〜Ｓ２５０９以外の各ステップ、すなわちステップＳ２５０１〜Ｓ２５０６およびステップＳ２５１０〜Ｓ２５１２における処理は、図１５の同名のステップでの処理と同様である。

次に、上記のようにして符号化された映像の復号について説明する。図２６は、この発明の実施例２にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図１６に示した実施例１のデコーダとの差異は、参照類似ショット生成部２６０４で生成された参照類似ショットから、動き補償予測により修正参照類似ショットを生成するフレーム間動き補償部２６０５が追加されている点である。このフレーム間動き補償部２６０５以外の各部、すなわちエントロピー復号部２６００、逆量子化部２６０１、逆変換部２６０２、原類似ショット記憶メモリ２６０３および参照類似ショット生成部２６０４の機能は、図１６の同名の各部の機能と同一であるので説明を省略する。

また、図２７はこの発明の実施例２にかかる画像処理装置（デコーダ）における、画像復号処理の手順を示すフローチャートである。図１７に示した実施例１の画像復号処理との差異は、参照類似ショットの生成後（ステップＳ２７０５）に、修正参照類似ショット生成処理（ステップＳ２７０６）が追加されている点である。そして、逆変換部２６０２からの差分類似ショット（にフレーム間動き補償部２６０５からの修正参照類似ショットを足し合わせたもの）を復号画像として出力する（ステップＳ２７０７）。このステップＳ２７０６およびＳ２７０７以外の各ステップ、すなわちステップＳ２７０１〜Ｓ２７０５における処理は、図１７の同名のステップでの処理と同様である。

以上説明した実施例１によれば、映像内の個々のショットについて、当該ショットに類似するショットからの差分のみを符号化し、さらに実施例２ではフレームごとの動きも考慮するので、対象フレームと参照フレームとの差分は０近傍に集中することが予想され、これにより符号量を削減することができる。

ただし、上記は符号量削減には有利に働くが、ランダムアクセス性の犠牲などのデメリットもある。たとえば図１６や図２６のデコーダにおいて、ある特定のショットの復号にはその参照類似ショットを必要とするので、当然その生成に使用される原類似ショットが復号されていなければならないが、当該原類似ショットを復号するにはさらにその参照類似ショットや、当該参照類似ショットの元となる原類似ショットが必要である。このように、芋蔓式に参照先を辿らなければならない事態を避けるため、映像内に定期的に参照類似ショットを使用しないショット符号化方式（ショット内符号化）を挿入することも考えられる。これはたとえばＭＰＥＧでいうＩピクチャと同等の機能となる。

なお、上述した実施例１あるいは２にかかるエンコーダは、従来技術のＪＰＥＧ／ＭＰＥＧエンコーダなどを利用して実現することができるが、そのためには既存のハードウェア（ＬＳＩチップなど）を作り替える必要がある。

そこでたとえば図２８や図２９に示すように、従来技術の符号化器（エンコーダ）２８００／２９００に必要な機能部を外付けすることで、本発明にかかるエンコーダを実現するようにしてもよい。図２８は実施例１の図１３に、図２９は実施例２の図１８に、それぞれ対応している。具体的には符号化器２８００／２９００の前段に、上述の原類似ショット記憶メモリ１３０６／１８０６、ショット分割部１３０７／１８０７、類似ショット検出部１３０８／１８０８、生成手法決定部１３０９／１８０９、参照類似ショット生成部１３１０／１８１０、あるいはフレーム間動き検出部１８１１やフレーム間動き補償部１８１２を設けて、参照類似ショットあるいは修正参照類似ショット減算後の差分類似ショットを符号化器２８００／２９００に入力するとともに、符号化器２８００／２９００の後段に多重化部２８０１／２９０１を設けて、ショット符号化ストリームや参照類似ショット生成情報、フレーム間動き情報などを多重化するようにする（多重化が必要な場合）。

図２８や図２９のように、参照類似ショットの生成処理を符号化ループの前に出すことで、従来の符号化器や符号化手法、たとえばＭＰＥＧ−１／２／４やＨ．２６４をそのまま利用することが可能になる。ただし図示する構成のデメリットとしては、たとえば参照類似ショット生成時の動き予測と符号化時の動き予測との間の処理に冗長さが存在すること、参照類似ショットの生成と差分類似ショットの圧縮を両方考慮した符号化器の最適化が困難であることなどが挙げられる。

また、図３０および図３１は、従来技術の復号器（デコーダ）３０００／３１００に必要な機能部を外付けすることで、本発明にかかるデコーダを実現する例である。図３０は実施例１の図１６に、図３１は実施例２の図２６に、それぞれ対応している。具体的には復号器３０００／３１００の前段に分離多重化部３００１／３１０１を設けて、入力した符号化ストリームからショット符号化ストリームや参照類似ショット生成情報、フレーム間動き情報を分離するとともに、復号器３０００／３１００の後段に上述の原類似ショット記憶メモリ１６０３／２６０３、参照類似ショット生成部１６０４／２６０４、あるいはフレーム間動き補償部２６０５を設けて、復号器３０００／３１００から出力されてきた差分類似ショットに参照類似ショットあるいは修正参照類似ショットを加算する。

さて、上述した実施例２は、修正参照類似ショットの生成には原類似ショットを利用していた。ここで、さらに、実施例３では、原類似ショット以外のショットを利用することで、原類似ショットに存在しないオブジェクトの場合であっても再構成（予測）することができる。

具体的には、フレーム内のオブジェクトは、瞬時に出現／消失することは稀であり、通常はある時間的な幅を持ってフレーム内に存在している。従って、原類似ショットに存在しないオブジェクトは、対象類似ショット内の直前の符号化済みのフレームに存在している可能性が高い。すなわち、対象類似ショット内の直前の符号化済みのフレームを参照フレームとして選択可能とすることで、動き補償の精度が向上し、符号化のさらなる高効率化が期待される。

図３２は、対象類似ショットを参照フレームとして利用したフレーム間予測の一手法を模式的に示す説明図である。図３２に示すように、実施例３は、参照類似ショットのフレーム間予測を行う際に、原類似ショットのみならず、対象類似ショットの符号化済みフレームも参照フレームとして使用する。差分類似ショットを生成する（符号化）際には、実施例１，２同様に、参照類似ショットと対象類似ショットとの差分を求める。以下、実施例３の動き予測補償、すなわち参照フレームを選択してフレーム間動き予測補償（選択型フレーム間動き補償予測）について３種類の手法を説明する。

（選択型フレーム間動き補償予測・手法１）原類似ショットおよび対象類似ショットを使用
これは、符号化済みの対象類似ショットのフレームを、参照類似ショットの対象フレームとすることで、原類似ショットにないオブジェクトを予測する手法である。図３３は、対象類似ショットを含めた動き補償予測の手法を模式的に示した説明図である。

図３３において、対象類似ショットのフレームＣ_nと、原類似ショットのフレームＡ_nとは、ほぼ同一の類似フレームである。しかし対象類似ショットのフレームＣ_nにある「太陽」のオブジェクトが、原類似ショットのフレームＡ_nには存在しない。従って、原類似ショットのフレームＡ_n、Ａ_n-1のみを参照フレームとして動き予測を行った場合、この「太陽」のオブジェクトの部分の動き補償を行うことができない。結果として「太陽」のオブジェクトの部分の画質劣化あるいは符号量の増加を招くこととなる。

一方、「太陽」のオブジェクト自体は、対象類似ショットの直前の符号化済みのフレームＣ_n-1の中に存在している。よって対象類似ショットのフレームＣ_nの参照フレームとして、原類似ショットのフレームＡ_nだけでなく、対象類似ショットの直前の符号化済みのフレームＣ_n-1を選択的に選ぶことにより、「太陽」のオブジェクトを含めた全体としての効果的な動き予測が可能となる。この結果得られた参照フレームＡ_n’と対象類似ショットのフレームＣ_nとの差分画像（差分類似ショット内のフレームに相当する）を符号化する。

なお以上の説明では参照フレームＡ_n’を作成する際に、原類似ショットのフレームＡ_nや対象類似ショットの直前の符号化済みのフレームＣ_n-1の１フレームずつを選択したが、それぞれ複数のフレームを選択して予測を行ってもよい。また符号化済みフレームは時間的に前のものに限らず、ＭＰＥＧにおけるＢピクチャのように時間的に後のフレームを用いて動き予測を行ってもよい。このような場合、参照類似ショットの各フレームの時間順と符号順とは異なることとなる。さらに、上述のようなブロック単位での動き補償予測だけでなく、グローバル動き補償予測と組み合わせて行ってもよい。

なお、手法１において符号化に必要な情報としては、実施例２の動き予測補償に用いた情報に加えて、フレーム間動き情報内に参照フレームとして原類似ショット内のフレームを選択するか、符号化済みフレームを選択するかを識別するためのフラグや、これに参照フレームを識別する参照フレームＩＤを用いることができる。当然のことながら、参照フレームＩＤ自体は、フレーム識別を行う機能に加え、原類似ショット／符号化済みフレームの識別を行う機能を兼ね備えた構成のものでもよい。

図３４は、この発明の実施例３の選択型フレーム間動き補償予測の手法１にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。図３４のエンコーダと図１８の実施例２のエンコーダとの差異は、原類似ショット記憶メモリ３４０６の前段に符号化ショット記憶メモリ３４１３を追加している点と、フレーム間動き補償部３４１２の前段に参照ショットセレクタ（ＳＥＬ）部３４１４に追加している点である。従って、上記以外の各部、すなわち変換部３４００、量子化部３４０１、エントロピー符号化部３４０２、符号化制御部３４０３、逆量子化部３４０４、逆変換部３４０５、原類似ショット記憶メモリ３４０６、ショット分割部３４０７、類似ショット検出部３４０８、生成手法決定部３４０９、参照類似ショット生成部３４１０、フレーム間動き検出部３４１１およびフレーム間動き補償部３４１２の機能は、図１８の同名の各部の機能と同一であるので説明を省略する。

なお、符号化ショット記憶メモリ３４１３は、参照類似ショットを生成するために、対象ショットにおける符号化済みフレームをローカルデコードしたフレームを記憶しておくためのメモリである。符号化ショット記憶メモリ３４１３に記憶されるフレームの数は、アプリケーションに依存する。また、符号化フレームの生成には過去のフレームだけでなく未来のフレームの使用も可能であるので、フレームの符号化順と符号化フレームの時間並びは一致しない。

また、ＳＥＬ部３４１４は、対象類似ショットの各フレームに対する参照フレームを、符号化済みフレーム、あるいは参照類似ショット内のフレームから選択する。

図３５は、この発明の実施例３の選択型フレーム間動き補償予測の手法１にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。図２５に示した実施例２の画像符号化処理との差異は、ショット内符号化せずに、類似する他のショットを参照して差分類似ショットを生成する場合（ステップＳ３５０４：Ｎｏ）の手順として、符号化ショットと参照類似ショットのいずれかを参照フレームとして選択するための「参照フレーム選択処理」（ステップＳ３５０７）が追加されている点である。このＳ３５０７以外の各ステップ、すなわちステップＳ３５０１〜Ｓ３５０６およびステップＳ３５０８〜Ｓ３５１２における処理は、図２５の同名のステップでの処理と同様である。

次に、上記のようにして符号化された映像の復号について説明する。図３６は、この発明の実施例３の選択型フレーム間動き補償予測の手法１にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図２６に示した実施例２のデコーダとの差異は、原類似ショット記憶メモリ３６０３の前段に符号化ショット記憶メモリ３６０６が追加されている点と、フレーム間動き補償部３６０５の前段に参照フレームセレクタ（ＳＥＬ）部３６０７が追加されている点である。この符号化ショット記憶メモリ３６０６およびＳＥＬ部３６０７以外の各部、すなわちエントロピー復号部３６００、逆量子化部３６０１、逆変換部３６０２、原類似ショット記憶メモリ３６０３およびフレーム間動き補償部３６０５の機能は、図２６の同名の各部の機能と同一であるので説明を省略する。

（選択型フレーム間動き補償予測・手法２）差分情報を使用
これは、前フレームの符号化残差、すなわち差分類似ショットを原類似ショットに加算して参照類似ショットのフレーム（ＦＦ（フィードフォワード）予測フレーム）を生成する手法である。また、動き補償予測の際には、原類似ショット、符号化済み対象類似ショットおよびＦＦ予測フレームの中から選択的に行う。

図３７は、符号化残差を用いたフィードフォワード予測の手法を模式的に示した説明図（その１）である。図３７のように、前直のフレームの差分画像の情報（差分情報）Ｄ_n-1すなわち原類似ショットのフレームＡ_n-1と、対象類似ショットの直前の符号化済みのフレームＣ_n-1との差分をみると、対象類似ショットのフレームＣ_nに存在し、原類似ショットのフレームＡ_nには存在しない「太陽」のオブジェクトがあることがわかる。この差分情報Ｄ_n-1を、原類似ショットのフレームＡ_nに加算した参照フレームＡ_n’を生成する。そして、この参照フレームＡ_n’を参照ショットとすることで、原類似ショットのフレームＡ_nにない「太陽」のオブジェクトを含んだ参照フレームを生成することができる。すなわち、より精度の高い動き補償予測が可能となる。以下この手法を「差分画像のフィードフォワード予測」と呼び、この手法によって生成された参照フレームＡ_n’をＦＦ（フィードフォワード）予測フレームと呼ぶことにする。

図３８は、符号化残差を用いたフィードフォワード予測の手法を模式的に示した説明図（その２）である。図３８を用いて、図３７によって説明した手法２を別の側面から説明する。図３８のように原類似ショットのフレームＡ_nとフレームＡ_n-1の差分画像の差分（差分情報）をＥ_nとすると、下記の（１）式が導かれる。

Ａ_n’＝Ａ_n＋Ｄ_n-1＝Ａ_n＋（Ｃ_n-1−Ａ_n-1）＝（Ａ_n−Ａ_n-1）＋Ｃ_n-1
Ａ_n’＝Ａ_n−Ａ_n-1＋Ｃ_n-1＝Ｃ_n-1＋Ｅ_n＝Ａ_n＋Ｄ_n-1 …（１）

従って、図３７で説明した手法２における参照フレームの生成（対象類似ショットの直前の符号化済みのフレームＣ_n-1に原類似ショットのフレーム間の差分情報Ｅ_nを加算した上記ＦＦ予測フレームＡ_n’）は、図３８で説明した手法、すなわち直前の差分情報Ｄ_n-1と原類似ショットのフレームＡ_nとを加算したものに等しいこととなる。

また、原類似ショットのフレームＡ_n、対象類似ショットの直前の符号化済みのフレームＣ_n-1、そして上記ＦＦ予測フレームＡ_n’から最適な参照フレームを選択するようにしてもよい。さらに上記のブロック単位での動き補償予測だけでなく、グローバル動き補償予測と組み合わせてもよい。ここで符号化に必要な情報としては、予測手法識別フラグ（原類似ショット／符号化済みフレーム／ＦＦ予測フレーム）、参照フレームを識別する参照フレームＩＤ、動きベクトル情報などであり、各情報は、符号化対象フレーム内のすべてのブロックについて記述される。

図３９は、この発明の実施例３の選択型フレーム間動き補償予測の手法２にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。図３９のエンコーダと図３４の実施例３の手法１のエンコーダとの差異は、符号化済みフレームと参照類似ショット内のフレームから、フィードフォワード予測フレーム（以下、「ＦＦ予測フレーム」という）を生成するＦＦ予測フレーム生成部３９１５を追加した点である。セレクタ（ＳＥＬ）部３９１４には、符号化済みフレームと、参照類似ショット内のフレームと、ＦＦ予測フレームとが入力される。従って、上記以外の各部、すなわち変換部３９００、量子化部３９０１、エントロピー符号化部３９０２、符号化制御部３９０３、逆量子化部３９０４、逆変換部３９０５、原類似ショット記憶メモリ３９０６、ショット分割部３９０７、類似ショット検出部３９０８、生成手法決定部３９０９、参照類似ショット生成部３９１０、フレーム間動き検出部３９１１、フレーム間動き補償部３９１２、符号化ショット記憶メモリ３９１３およびセレクタ（ＳＥＬ）部３９１４の機能は、図３４の同名の各部の機能と同一であるので説明を省略する。

図４０は、この発明の実施例３の選択型フレーム間動き補償予測の手法２にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。図３５に示した実施例３の手法１の画像符号化処理との差異は、ショット内符号化せずに、類似する他のショットを参照して差分類似ショットを生成する場合（ステップＳ４００４：Ｎｏ）の手順として、差分画像のＦＦ予測画像生成処理（ステップＳ４００７）が追加されている点である。また参照フレーム選択（ステップＳ４００８）では、符号化ショット、参照類似ショット、あるいはFF予測画像から最適な参照フレームを選択する。このステップＳ４００７，Ｓ４００７以外の各ステップ、すなわちステップＳ４００１〜Ｓ４００６およびステップＳ４００９〜Ｓ４０１４における処理は、図３５の同名のステップでの処理と同様である。

次に、上記のようにして符号化された映像の復号について説明する。図４１は、この発明の実施例３の選択型フレーム間動き補償予測の手法２にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図３６に示した実施例３の手法１のデコーダとの差異は、符号化済みフレームと原類似ショット内のフレームとからＦＦ予測フレームを生成するＦＦ予測フレーム生成部４１０８を追加した点である。このＦＦ予測フレーム生成部４１０８以外の各部、すなわちエントロピー復号部４１００、逆量子化部４１０１、逆変換部４１０２、原類似ショット記憶メモリ４１０３、参照類似ショット生成部４１０４、フレーム間動き補償部４１０５、符号化ショット記憶メモリ４１０６および参照フレーム選択（ＳＥＬ）部４１０７の機能は、図３６の同名の各部の機能と同一であるので説明を省略する。

（選択型フレーム間動き補償予測・手法３）
これは、原類似ショットの動き情報を対象類似ショットに適用する手法であり、動きベクトル情報の削減を目的とし、結果として符号化効率の改善を実現する。図４２は、原類似ショットの動き情報を用いたフィードフォワード予測の手法を模式的に示した説明図である。なお、ここでは、ある２つのフレームＦ_n-1，Ｆ_n間の動き情報をＭ（Ｆ_n-1，Ｆ_n）と表記する。またフレームＦ_n-1に動き情報Ｍ（Ｆ_n-1，Ｆ_n）によって動き補償を行い生成されるフレームをＦ_n-1＊Ｍ（Ｆ_n-1，Ｆ_n）と表記する。

もし原類似ショットと対象類似ショットの動きがまったく同一ならば、下記（２）式のように、原類似ショットのフレームＡ_n-1，Ａ_n間の動き情報Ｍと、相当する対象類似ショットのフレームＣ_n-1，Ｃ_n間の動き情報Ｍが同一であると仮定できる。

Ｍ（Ａ_n-1，Ａ_n）＝Ｍ（Ｃ_n-1，Ｃ_n） …（２）

すなわち、下記（３）式のように原類似ショットの動き情報Ｍ（Ａ_n-1，Ａ_n）を、対象類似ショットの相当するフレーム（たとえば、Ｃ_n-1）に用いれば、同様に動き補償予測を行うことができる。

Ｃn＝Ｃ_n-1＊Ｍ（Ａ_n-1，Ａ_n） …（３）

また原類似ショットと対象類似ショットの動きがまったく同一でないが酷似していると考えられる場合は、上記の（３）式で生成されるフレームは、対象類似ショットのフレームＣ_nに類似していると想定される。従って下記（４）式によって生成される参照フレームＡ_n’と対象類似ショットのフレームＣ_nとの間で動き補償予測によって得られる動き情報Ｍ（Ａ_n’，Ｃ_n）は小さい値のみを取ることが期待でき、結果として符号量の削減が実現できる。

Ａ_n’＝Ｃ_n-1＊Ｍ（Ａ_n-1，Ａ_n） …（４）

なお、動き情報Ｍとしては、ブロック単位での動きベクトルのみならず、画面全体の動きを表すグローバル動き情報のどちらでもよく、またこれら両方の使用でもよい。ここで符号化に必要な情報としては、フィードフォワード予測使用フラグ（ＦＦ予測を使用する／しないを表すフラグ）、動きベクトル情報などがあり、各情報は、符号化対象フレーム内のすべてのブロックについて記述される。また、ＦＦ予測使用時の参照フレームは、原類似ショットの動き補償での参照フレームとの対応で一意に決まる。

図４３は、この発明の実施例３の選択型フレーム間動き補償予測の手法３にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。図４３のエンコーダと図３４の実施例３の手法１のエンコーダとの差異は、原類似ショットのフレーム間動き情報Ｍを記憶しておく原類似ショット動き情報記憶メモリ４３１５と、符号化済みフレームに、原類似ショットの動き情報Ｍを用いて動き補償を行うＦＦ動き補償部４３１６とを追加した点である。セレクタ（ＳＥＬ）部４３１４には、符号化済みフレームと、ＦＦ動き補償されたフレームとが入力される。従って、上記以外の各部、すなわち変換部４３００、量子化部４３０１、エントロピー符号化部４３０２、符号化制御部４３０３、逆量子化部４３０４、逆変換部４３０５、ショット分割部４３０７、類似ショット検出部４３０８、フレーム間動き検出部４３１１、フレーム間動き補償部４３１２、符号化ショット記憶メモリ４３１３およびセレクタ（ＳＥＬ）部４３１４の機能は、図３４の同名の各部の機能と同一であるので説明を省略する。

図４４は、この発明の実施例３の選択型フレーム間動き補償予測の手法３にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。図３５に示した実施例３の手法１の画像符号化処理との差異は、ショット内符号化せずに、類似する他のショットを参照して差分類似ショットを生成する場合（ステップＳ４４０４：Ｎｏ）の手順として、図３５のステップＳ３５０５〜Ｓ３５０７の処理に替えて動き情報ＭのＦＦ動き補償予測処理（ステップＳ４４０５）が追加されている点である。そして、ステップＳ４００７で生成された修正参照類似ショットを、対象類似ショットから差し引くことで差分類似ショットを生成する（ステップＳ４４０８）。このステップＳ４４０５以外の各ステップ、すなわちステップＳ４４０１〜Ｓ４４０４における処理は、図３５の同名のステップでの処理と同様であり、ステップＳ４４０６〜Ｓ４４１１における処理は、図３５のステップＳ３５０８〜Ｓ３５１３の同名のステップでの処理と同様である。

次に、上記のようにして符号化された映像の復号について説明する。図４５は、この発明の実施例３の選択型フレーム間動き補償予測の手法３にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図３６に示した実施例３の手法１のデコーダとの差異は、原類似ショットのフレーム間の動き情報Ｍを記憶しておく原類似ショット動き情報記憶メモリ４３１５と、符号化済みフレームに、原類似ショットの動き情報Ｍを用いて動き補償を行うＦＦ動き補償部４３１６とを追加した点である。この原類似ショット動き情報記憶メモリ４３１５およびＦＦ動き補償部４３１６以外の各部、すなわちエントロピー復号部４５００、逆量子化部４５０１、逆変換部４５０２、フレーム間動き補償部４５０５、符号化ショット記憶メモリ４５０６および参照フレーム選択（ＳＥＬ）部４５０７の機能は、図３６の同名の各部の機能と同一であるので説明を省略する。

このように、請求項１〜請求項３、請求項７〜請求項９、請求項１３に記載の発明によれば、符号化対象の映像を構成する複数のショットの類似性（情報の冗長性）に着目して、類似するフレーム同士の差分を符号化するので、符号化ストリームのデータ量を抑制できる。また、類似するフレーム間でさらに動き補償を行うので、フレーム内でのオブジェクトの位置ずれ／変形を修正し、両フレームの差分をより０近傍に集中させることができる（従って符号化ストリームのデータ量をさらに抑制できる）。

また、請求項４〜請求項６、請求項１０〜請求項１２、請求項１３に記載の発明によれば、請求項１〜請求項３、請求項７〜請求項９、あるいは請求項１３に記載の発明により符号化された動画像を復号できる。

なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをプロセッサやマイクロコンピュータ等の演算処理装置で実行することにより実現することができる。このプログラムは、ＲＯＭ、ＨＤ、ＦＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ等の演算処理装置で読み取り可能な記録媒体に記録され、演算処理装置によって記録媒体から読み出されて実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

Claims (9)

1. 動画像を連続する複数のフレームからなる複数のショットに分割するショット分割手段と、
   前記ショット分割手段により分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出手段と、
   前記ショット検出手段により検出された第２のショットの時間長を補正して第３のショットを生成する第１のショット生成手段と、
   前記第１のショットおよび前記第３のショットの少なくともいずれか一つを用いて動き補償して第４のショットを生成する第２のショット生成手段と、
   前記第１のショットと前記第２のショット生成手段により生成された第４のショットとの差分を符号化する符号化手段と、
   を備えることを特徴とする画像処理装置。
2. 動画像を連続する複数のフレームからなる複数のショットに分割するショット分割手段と、
   前記ショット分割手段により分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出手段と、
   前記ショット検出手段により検出された第２のショットの時間長を補正して第３のショットを生成する第１のショット生成手段と、
   前記第１のショットと前記第３のショット内のフレームの差分情報とを用いて第４のショットを生成する第２のショット生成手段と、
   前記第４のショットを用いて動き補償して第５のショットを生成する第３のショット生成手段と、
   前記第１のショットと前記第３のショット生成手段により生成された第５のショットとの差分を符号化する符号化手段と、
   を備えることを特徴とする画像処理装置。
3. 動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号手段と、
   前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成する第１のショット生成手段と、
   前記ショット復号手段により復号された符号化データおよび前記第３のショットの少なくともいずれか一つを用いて動き補償して第４のショットを生成する第２のショット生成手段と、
   前記ショット復号手段により復号された符号化データと前記第２のショット生成手段により生成された第４のショットとを加算するショット加算手段と、
   を備えることを特徴とする画像処理装置。
4. 動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号手段と、
   前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成する第１のショット生成手段と、
   前記第１のショットと前記第３のショット内のフレームの差分情報とを用いて第４のショットを生成する第２のショット生成手段と、
   前記第４のショットを動き補償して第５のショットを生成する第３のショット生成手段と、
   前記ショット復号手段により復号された符号化データと前記第３のショット生成手段により生成された第５のショットとを加算するショット加算手段と、
   を備えることを特徴とする画像処理装置。
5. 動画像を連続する複数のフレームからなる複数のショットに分割するショット分割工程と、
   前記ショット分割工程で分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出工程と、
   前記ショット検出工程で検出された第２のショットの時間長を補正して第３のショットを生成する第１のショット生成工程と、
   前記第１のショットおよび前記第３のショットの少なくともいずれか一つを用いて動き補償して第４のショットを生成する第２のショット生成工程と、
   前記第１のショットと前記第２のショット生成工程で生成された第４のショットとの差分を符号化する符号化工程と、
   を含むことを特徴とする画像処理方法。
6. 動画像を連続する複数のフレームからなる複数のショットに分割するショット分割工程と、
   前記ショット分割工程で分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出工程と、
   前記ショット検出工程で検出された第２のショットの時間長を補正して第３のショットを生成する第１のショット生成工程と、
   前記第１のショットと前記第３のショット内のフレームの差分情報とを用いて第４のショットを生成する第２のショット生成工程と、
   前記第４のショットを動き補償して第５のショットを生成する第３のショット生成工程と、
   前記第１のショットと前記第３のショット生成工程で生成された第５のショットとの差分を符号化する符号化工程と、
   を含むことを特徴とする画像処理方法。
7. 動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号工程と、
   前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成する第１のショット生成工程と、
   前記ショット復号工程により復号された符号化データおよび前記第３のショットの少なくともいずれか一つを用いて動き補償して第４のショットを生成する第２のショット生成工程と、
   前記ショット復号工程で復号された符号化データと前記第２のショット生成工程で生成された第４のショットとを加算するショット加算工程と、
   を含むことを特徴とする画像処理方法。
8. 動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号工程と、
   前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成する第１のショット生成工程と、
   前記第１のショットと前記第３のショット内のフレームの差分情報とを用いて第４のショットを生成する第２のショット生成工程と、
   前記第４のショットを動き補償して第５のショットを生成する第３のショット生成工程と、
   前記ショット復号工程で復号された符号化データと前記第３のショット生成工程で生成された第５のショットとを加算するショット加算工程と、
   を含むことを特徴とする画像処理方法。
9. 前記請求項５〜８のいずれかに記載の画像処理方法をコンピュータに実行させることを特徴とする画像処理プログラム。

Images