JP4465362B2

JP4465362B2 - 画像処理装置、画像処理方法、および画像処理プログラム

Info

Publication number: JP4465362B2
Application number: JP2006535806A
Authority: JP
Inventors: 毅中村
Original assignee: Pioneer Corp
Current assignee: Pioneer Corp
Priority date: 2004-09-10
Filing date: 2005-09-07
Publication date: 2010-05-19
Anticipated expiration: 2025-09-07
Also published as: WO2006028156A1; JPWO2006028156A1; US7792373B2; US20080095451A1

Description

この発明は、動画像を符号化あるいは復号する画像処理装置、画像処理方法、および画像処理プログラムに関する。ただし本発明の利用は、上述した画像処理装置、画像処理方法、および画像処理プログラムに限らない。

動画像の符号化における符号効率の向上、動画像へのアクセス方法の多様化、動画像のブラウジングの容易化、ファイル形式変換の容易化などといった様々な目的で、動画像の構造化（具体的にはフレーム順序の並び替え、ショット単位での階層化など）を行う従来技術としては、たとえば下記特許文献１〜５に記載の発明などがあった。

このうち特許文献１に記載の従来技術では、ファイル作成手段により動画像データのフレーム単位での並び換え順序を示す編集情報を作成する。また、画像圧縮手段は編集前の動画像データを前フレームとの差分を基に圧縮符号化し、その符号化データを上記編集情報ファイルと共に出力手段から送信する。

また、特許文献２に記載の従来技術では、画像データ列メモリ部に保存された予測符号化画像データを読み出し、階層分離部でそのデータ構造が持つ階層に応じて階層に分離する。次に、分離された階層から画像データの持つ物理的特徴、すなわち一般性を有しコンテントを反映した特徴を、画像特徴抽出部にて抽出する。次に、これらの物理的特徴から各々の画像を特徴付ける特徴ベクトルを特徴ベクトル生成部にて生成する。次に、その特徴ベクトル間での距離を算出して特徴ベクトルを、分割・統合部にて分割・統合して映像を深い階層構造で自動的に構造化し、特徴ベクトル管理部にて蓄積、管理する。

また、特許文献３に記載の従来技術は、動画像を符号化し、該符号化された動画像を各ショットに分割し、ついで分割されたショット毎の類似度を用い、ショットを統合してシーンを抽出処理することを特徴とした動画像の自動階層構造化方法であり、かつまたこの階層構造化されたデータを用いて動画像全体の内容把握、所望のシーンまたはショットの検出を容易にすることを特徴とした動画像のブラウジング方法にかかるものである。

また、特許文献４に記載の従来技術では、複数のカメラで撮像した複数チャンネルの映像信号を切替手段で順番に切り替え、並び替え手段でチャンネル毎にＧＯＰ単位で並び替え、ＭＰＥＧ圧縮手段で圧縮して記録手段に記録するとともに、ＭＰＥＧ伸長手段で各チャンネル毎に伸長し、表示制御手段で映像データを多画面表示できるように、データサイズを圧縮して複数の表示用メモリの所定位置に各チャンネルの入力順にまとめて保存、再生し、画像出力手段がモニタの１画面に多画面表示する。

また、特許文献５に記載の従来技術では、第１の動画像符号化データ形式であるＭＰＥＧ−２形式のビットストリームＡ１をＭＰＥＧ−２デコーダによりデコードして得られた再生動画像信号Ａ２及びサイド情報Ａ３をサイズ変換部により第２の動画像符号化データ形式であるＭＰＥＧ−４形式に適した形態に変換し、変換後の再生画像信号Ａ４を変換後のサイド情報Ａ５に含まれる動きベクトル情報を利用してＭＰＥＧ−４エンコーダによってエンコードすることによりＭＰＥＧ−４形式のビットストリームＡ６を得ると同時に、インデキシング部によりサイド情報Ａ５に含まれる動きベクトルを利用してインデキシング処理を行い、構造化データＡ７を得る。

特開平８−１８６７８９号公報特開平９−２９４２７７号公報特開平１０−２５７４３６号公報特開２００１−０５４１０６号公報特開２００２−１８５９６９号公報

一方、動画像の符号化における符号効率の向上を目的として、従来様々な予測方式が提案されてきた。たとえばＭＰＥＧ−１では前方向予測フレーム（Ｐフレーム）や両方向予測フレーム（Ｂフレーム）の採用により、ＭＰＥＧ−２ではフィールド予測の採用により、ＭＰＥＧ−４ｐａｒｔ２ではスプライト符号化やＧＭＣ（ＧｌｏｂａｌＭｏｔｉｏｎＣｏｍｐｅｎｓａｔｉｏｎ：グローバル動き補償予測）の採用により、ＩＴＵ−ＴＨ．２６４／ＭＰＥＧ−４ｐａｒｔ１０（ＡＶＣ：ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）では複数参照フレームの採用により、それぞれ符号効率を向上させている。

ところで符号化対象となる映像の中には、通常、以下に例示するような相互に類似するショット（連続する複数フレーム）が多く含まれている。
・ニュース番組におけるニュースキャスターへのバストショット
・野球での投球／バッティングシーン、テニスのサーブシーン、スキージャンプの滑降／飛行シーンなど
・スポーツ番組などにおけるハイライトシーンの繰り返し
・バラエティ番組などにおけるＣＭ前後の同一ショットの繰り返し
・二人の会話シーンにおける互いへのアップショットの繰り返しを考えた場合の、各人へのアップショット
・連続ドラマを全話通して考えた場合の、オープニングやエンディング、あるいは前話の回想シーンなど
・同一ＣＭの繰り返し

同一ショットの繰り返しはもとより、固定カメラからの同一アングルへのショットはしばしば類似ショットとなる。そして、こうした類似ショットは独立して符号化するよりも、一方からもう一方を参照してそれらの差分を符号化したほうが、全体として符号量が削減できると期待できる。

しかしながら従来のＭＰＥＧにおいては、対象映像全体の構造、たとえば上記のような類似ショットの繰り返しを符号化に利用せず（言い換えれば、類似ショット間の情報量の冗長性を利用せず）、通常ほぼ時系列順に符号化を行うため、たとえばそのぶん符号効率が悪いなどの問題点があった。

上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像処理装置は、動画像を連続する複数のフレームからなる複数のショットに分割するショット分割手段と、前記ショット分割手段により分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出手段と、前記ショット検出手段により検出された第２のショットの時間長を補正して第３のショットを生成するショット生成手段と、前記第１のショットと前記ショット生成手段により生成された第３のショットとの差分を符号化する符号化手段と、を備えることを特徴とする。

また、請求項７の発明にかかる画像処理装置は、動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号手段と、前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成するショット生成手段と、前記ショット復号手段により復号された符号化データと前記ショット生成手段により生成された第３のショットとを加算するショット加算手段と、を備えることを特徴とする。

また、請求項９の発明にかかる画像処理方法は、動画像を連続する複数のフレームからなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出工程と、前記ショット検出工程で検出された第２のショットの時間長を補正して第３のショットを生成するショット生成工程と、前記第１のショットと前記ショット生成工程で生成された第３のショットとの差分を符号化する符号化工程と、を含むことを特徴とする。

また、請求項１５の発明にかかる画像処理方法は、動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号工程と、前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成するショット生成工程と、前記ショット復号工程で復号された符号化データと前記ショット生成工程で生成された第３のショットとを加算するショット加算工程と、を含むことを特徴とする。

また、請求項１７の発明にかかる画像処理プログラムは、動画像を連続する複数のフレームからなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出工程と、前記ショット検出工程で検出された第２のショットの時間長を補正して第３のショットを生成するショット生成工程と、前記第１のショットと前記ショット生成工程で生成された第３のショットとの差分を符号化する符号化工程と、をプロセッサに実行させることを特徴とする。

また、請求項２３の発明にかかる画像処理プログラムは、動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号工程と、前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成するショット生成工程と、前記ショット復号工程で復号された符号化データと前記ショット生成工程で生成された第３のショットとを加算するショット加算工程と、をプロセッサに実行させることを特徴とする。

図１は、本発明により分割・分類されたショット間の参照関係を示す説明図である。図２は、特徴量ベクトルの基礎となる各ショットの特徴量を模式的に示す説明図である。図３は、「原類似ショット」「参照類似ショット」「対象類似ショット」の関係を模式的に示す説明図である。図４は、原類似ショットの時間長補正の一手法（フレーム位置を補正しない場合）を模式的に示す説明図である。図５は、原類似ショットの時間長補正の一手法（フレーム位置を補正する場合）を模式的に示す説明図である。図６は、参照類似ショット生成情報の具体例を示す説明図である。図７は、参照類似ショットの生成の一手法（単一の原類似ショットの全区間を使用する場合）を模式的に示す説明図である。図８は、参照類似ショットの生成の一手法（単一の原類似ショットの一部区間を使用する場合）を模式的に示す説明図である。図９は、参照類似ショットの生成の一手法（複数の原類似ショットを使用する場合）を模式的に示す説明図である。図１０は、参照類似ショットの生成の一手法（複数の原類似ショットを重み付け平均して使用する場合）を模式的に示す説明図である。図１１は、フレーム位置の異なるショット間の重み付け平均の計算例を模式的に示す説明図である。図１２は、フレーム位置の異なるショット間の差分の計算例を模式的に示す説明図である。図１３は、この発明の実施例１にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。図１４は、従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダ（動き補償なし）の構成の一例を示す説明図である。図１５は、この発明の実施例１にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。図１６は、この発明の実施例１にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図１７は、この発明の実施例１にかかる画像処理装置（デコーダ）における、画像復号処理の手順を示すフローチャートである。図１８は、この発明の実施例２にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。図１９は、従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダ（動き補償あり）の構成の一例を示す説明図である。図２０は、グローバル動き補償予測の概念を模式的に示す説明図である。図２１は、ブロック単位の動き補償予測の概念を模式的に示す説明図である。図２２は、フレーム間動き情報の具体例を示す説明図である。図２３は、修正参照類似ショットの生成の一手法（フレーム位置を補正しない場合）を模式的に示す説明図である。図２４は、修正参照類似ショットの生成の一手法（フレーム位置を補正する場合）を模式的に示す説明図である。図２５は、この発明の実施例２にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。図２６は、この発明の実施例２にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図２７は、この発明の実施例２にかかる画像処理装置（デコーダ）における、画像復号処理の手順を示すフローチャートである。図２８は、この発明の実施例１にかかる画像処理装置（エンコーダ）の構成の他の一例を示す説明図である（従来技術のエンコーダをそのまま利用する場合）。図２９は、この発明の実施例２にかかる画像処理装置（エンコーダ）の構成の他の一例を示す説明図である（従来技術のエンコーダをそのまま利用する場合）。図３０は、この発明の実施例１にかかる画像処理装置（デコーダ）の構成の他の一例を示す説明図である（従来技術のデコーダをそのまま利用する場合）。図３１は、この発明の実施例２にかかる画像処理装置（デコーダ）の構成の他の一例を示す説明図である（従来技術のデコーダをそのまま利用する場合）。

符号の説明

１３００，１４００，１８００，１９００変換部
１３０１，１４０１，１８０１，１９０１量子化部
１３０２，１４０２，１８０２，１９０２エントロピー符号化部
１３０３，１４０３，１８０３，１９０３符号化制御部
１３０４，１４０４，１６０１，１８０４，１９０４，２６０１逆量子化部
１３０５，１４０５，１６０２，１８０５，１９０５，２６０２逆変換部
１３０６，１６０３，１８０６，２６０３原類似ショット記憶メモリ
１３０７，１８０７ショット分割部
１３０８，１８０８類似ショット検出部
１３０９，１８０９生成手法決定部
１３１０，１６０４，１８１０，２６０４参照類似ショット生成部
１４０６，１９０６参照フレーム記憶メモリ
１６００，２６００エントロピー復号部
１８１１，１９０７フレーム間動き検出部
１８１２，１９０８，２６０５フレーム間動き補償部
２８００，２９００符号化器
２８０１，２９０１多重化部
３０００，３１００復号器
３００１，３１０１分離多重化部

以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法、および画像処理プログラムの好適な実施の形態を詳細に説明する。

（実施の形態）
本発明は一言で言えば、符号化対象となる映像を連続する複数フレーム、すなわちショットに分割するとともに、個々のショットについて、当該ショットに類似するショットとの差分を符号化する（符号化対象となるショット内の各フレームの参照フレームを、当該ショットに類似するショット内の対応する各フレームとする）ものである。通常、類似するショットではショットを構成するフレームも類似するので、フレーム間の差の値は０近傍に集中することが予想され、単純に符号化対象フレームからの距離で参照フレームを決定する従来技術に比べて、符号量の削減が期待される。

図１は、本発明により分割・分類されたショット間の参照関係を示す説明図である。図示する例では、映像内のショットは類似するもの同士Ａ・Ｂ・Ｃの３グループ（類似ショット群）に分類され、たとえばＡグループ中、ショット「Ａ３」はショット「Ａ０」を参照して（前方向予測）、「Ａ１」や「Ａ２」は「Ａ０」および「Ａ３」を参照して（両方向予測）、それぞれ符号化される。このように参照先のショットはいくつあってもよく、また過去のショット（時間的に前のショット）はもちろん、未来のショット（時間的に後のショット）であってもよい。従ってショットの符号化／復号の順序は必ずしも時系列順、すなわち映像内での出現順序と同一にはならない。

なおショットの分割点となるのは、たとえば上記映像中での画像特徴量の変化点や、背景音声の特徴量の変化点である。このうち画像特徴量の変化点としては、たとえば画面の切り替わり（シーンチェンジ、カット点）や、カメラワークの変化点（シーンチェンジ／パン／ズーム／静止などの変化点）などが考えられる。もっとも、分割点をどこにするかやその分割点をどうやって特定するか（言い換えれば、ショットをどのように構成するか）は本発明では特に問わない。

また、ショット間の類似度をどのようにして算出するかも本発明では特に問わないが、ここではたとえば各ショットにつき、その特徴量ベクトルＸを求め、特徴量ベクトル間のユークリッド距離をショット間の類似度であるとみなす。

たとえばショットａの特徴量ベクトルＸａは、ショットａをＮ個に分割して得られた各部分ショットの累積カラーヒストグラムを要素とする多次元のベクトルであるものとする。図２に示すようにＮ＝３のとき、
Ｘａ＝｛ＨＳａ、ＨＭａ、ＨＥａ｝
ただしＨＳａ：図中「開始分割ショット」の累積カラーヒストグラム
ＨＭａ：図中「中間分割ショット」の累積カラーヒストグラム
ＨＥａ：図中「終了分割ショット」の累積カラーヒストグラム
なおＨＳａ、ＨＭａ、ＨＥａ自体も多次元の特徴量ベクトルである。

なお「カラーヒストグラム」とは、色空間を複数の領域に分割し、フレーム内の全画素について各領域での出現数をカウントしたものである。色空間としてはたとえばＲＧＢ（Ｒ／赤、Ｇ／緑、Ｂ／青）、ＹＣｂＣｒ（Ｙ／輝度、ＣｂＣｒ／色差）のＣｂＣｒ成分、ＨＳＶ（Ｈｕｅ／色相、Ｓａｔｕｒａｔｉｏｎ／彩度、Ｖａｌｕｅ／明度）のＨｕｅ成分が利用される。得られたヒストグラムをフレーム内の画素数で正規化することで、サイズが異なる画像同士の比較も可能となる。この正規化されたヒストグラムをショット内の全フレームについて累積したものが「累積カラーヒストグラム」である。

次に、ショットａとショットｂの類似度Ｄａ，ｂを、上記で求めた特徴量ベクトルを用いてたとえば下記式により算出する。この値が小さい（特徴ベクトル間の距離が小さい）ショットほど類似度は高く、大きい（特徴ベクトル間の距離が大きい）ショットほど類似度は低くなる。そして本発明では、この値が所定の閾値以下であるショット同士をグループ化するとともに、各ショットにつき同一グループ内の他のショットとの差分を符号化することで、符号効率の向上をはかる。

ただ、符号化対象のショットの時間長と、その参照先となるショットの時間長とは必ずしも同一ではないので、そのまま単純に差分を計算することはできない。具体的には、後者のショットを時間伸長あるいは短縮して前者に合わせ込む補正が必要である。そこで本発明では、この補正前のショットを「原類似ショット」と呼び、原類似ショットから上記補正により生成され、符号化対象となるショット（以下では「対象類似ショット」と呼ぶ）から差し引かれるショットを「参照類似ショット」と呼ぶ。図３に、「原類似ショット」「参照類似ショット」「対象類似ショット」の関係を模式的に示す。

なお、上記補正の手法にはフレーム位置の補正（フレームの補間あるいは間引き）を伴う場合と伴わない場合との下記２つが考えられるが、上記補正の手法は下記に限定されるものではない。

（原類似ショットの時間長補正・手法１）フレーム位置を補正しない場合
図４に示すように、原類似ショットのフレーム間隔を変化させる、すなわち原類似ショット中のフレームの修正をまったく行わず、単に見かけのショット時間長を変化させるだけの手法である。この手法によるショットの時間伸長／短縮処理は簡単であるが、図示するように参照類似ショットと対象類似ショットとのフレーム位置が合わないので、後続の処理ではこのずれを考慮した処理が必要となる。

（原類似ショットの時間長補正・手法２）フレーム位置を補正する場合
図５に示すように、原類似ショットを手法１と同様に時間伸長／短縮した後、さらに対象類似ショットと同一の位置にフレームを補間する手法である。たとえば時間長補正後の原類似ショット中、対象類似ショットの対象フレームの前後に位置する２フレームを、対象フレームとの距離に応じて重み付け平均し、これを対象フレームと同一の位置に補間する。この手法は原類似ショット中の全フレームの修正を伴うので処理は複雑であるが、図示するように参照類似ショットと対象類似ショットとのフレーム位置が合っているので、後続の処理は同一位置のフレーム同士の簡単な比較となる。

なお、参照類似ショットの生成に使用する原類似ショットは、対象類似ショットに類似するショットであればどのショットであっても、またそのどの部分であってもよいが、ここではたとえば下記５つの手法を考える。また、各手法で参照類似ショットを生成したときに復号側で必要となる（従って符号化ストリームに組み込む必要がある）参照類似ショット生成情報の具体例を図６に示す。

（参照類似ショットの生成・手法１）単一の原類似ショットの全区間を使用
図３に示したように、一つの原類似ショットの全区間を時間伸長あるいは短縮して参照類似ショットを生成する手法である（図３は時間短縮の例である）。この手法を採用した場合、参照類似ショット生成情報として必要なのは、使用する原類似ショットを識別するためのＩＤ（原類似ショットＩＤ）のみである。なお、原類似ショットの伸縮率は、原類似ショットと対象類似ショットの時間比率により一意に定まる。

もっとも、必ずしも対象類似ショットの全区間を参照類似ショットから予測符号化しなければならないものではない。類似するショット間であっても、対応するフレーム同士がすべて類似するとは限らないので、たとえば図７に示すように対象類似ショット中、原類似ショットとのマッチングの良い区間だけについて部分的に参照類似ショットを生成するようにしてもよい。このとき対象類似ショット中、対応する参照類似ショットのない区間のフレームはそのまま符号化（すなわち、他フレームとの差を取らずにイントラ符号化）する。なお、当該区間については参照類似ショットがないと考えることもできるが、値がすべて０の参照類似ショットがあると考えることもできる。

この手法を採用した場合に参照類似ショット生成情報として必要なのは、対象類似ショットのどの区間（どこからどこまで）について参照類似ショットを生成するかを指定する開始時間ＳＲと時間長ＤＲ、および参照類似ショットの生成に使用する原類似ショットのＩＤである（図６参照）。上述の図３のケースは、図７において開始時間ＳＲ＝対象類似ショットの先頭、時間長ＤＲ＝対象類似ショットの時間長であるために、これらがなくても原類似ショットＩＤがあれば足りる特別の場合である。

（参照類似ショットの生成・手法２）単一の原類似ショットの一部区間を使用
図８に示すように、一つの原類似ショットの一部区間を時間伸長あるいは短縮して参照類似ショットを生成する手法である（図８は時間短縮の例である）。この手法を採用した場合に参照類似ショット生成情報として必要なのは、対象類似ショットのどの区間について参照類似ショットを生成するかを指定する開始時間ＳＲと時間長ＤＲ、参照類似ショットの生成に使用する原類似ショットのＩＤ、原類似ショットのどの区間を参照類似ショットの生成に使用するかを指定する開始時間ＳＯと時間長ＤＯである（図６参照）。

（参照類似ショットの生成・手法３）複数の原類似ショットを使用
図９に示すように、複数の原類似ショットの全区間あるいは一部区間を、時間伸長あるいは短縮して参照類似ショットの一部区間を生成する手法である。図示する例では、原類似ショット１についてはその一部区間を用いて、原類似ショット２についてはその全区間を用いて、それぞれ参照類似ショットの一部が生成されている。この手法を採用した場合の参照類似ショット生成情報には、参照類似ショットを構成するそれぞれの部分（図示する例では３つ）について、上述の開始時間ＳＲｎと時間長ＤＲｎ、原類似ショットＩＤ、開始時間ＳＯｎと時間長ＤＯｎが必要である（図６参照）。なお、この記述順は各部分の時間順であるのが望ましい。

（参照類似ショットの生成・手法４）複数の原類似ショットを重み付け平均して使用
図１０に示すように、複数の原類似ショットの全区間あるいは一部区間を、時間伸長あるいは短縮したものをさらに重み付け平均して「平均ショット」を生成し、この「平均ショット」から参照類似ショットの全区間あるいは一部区間を生成する手法である。図示する例では、参照類似ショットの最初の部分は、原類似ショット１の一部区間を時間伸長／短縮したものと、原類似ショット２の全区間を時間伸長／短縮したものとの平均ショットから生成されている。中間部分や最後の部分も、同様に複数（必ずしも２つとは限らない）の原類似ショットの平均により生成されたものである。なお、重み付け係数は平均対象のショットごとに固定としてもよいし、フレームごとに個々に決定してもよい。また、この係数がショット間／フレーム間で等しい場合は単なる平均となるが、本発明では単なる平均も重み付け平均の一種（重み付け平均の特別な場合）として扱う。

なお、平均対象となるそれぞれのショットでフレーム位置が合っている場合は、単純に同一位置にあるフレーム間の重み付け平均を算出すればよい。一方、フレーム位置が合っていない場合は、たとえば図１１に示すように各ショット中、対象類似ショットの対象フレームに時間的に最も近い２フレームを重み付け平均することで、フレーム位置が対象類似ショットと同一の平均ショットを生成し、これを参照類似ショットとする。なお、重み付け係数は平均対象のショットごとに固定としてもよいし、フレームごとに個々に決定してもよい（後者の場合、重みはたとえば上記対象フレームとの距離に応じて決定される）。

この手法を採用した場合の参照類似ショット生成情報には、参照類似ショットを構成する各部分（図示する例では３つ）について、上述の開始時間ＳＲｎと時間長ＤＲｎ、そして各部分の元となるそれぞれの原類似ショットについて、そのＩＤ、開始時間ＳＯｎ、時間長ＤＯｎ、重み付け係数が必要である（図６参照）。なお、この手法の適応例としては具体的にはクロスフェードがあり、使用する原類似ショットやその区間を変えなくても、それぞれの重み付け係数を変えるだけで、対象類似ショットとより良くマッチングする参照類似ショットを生成できる。

（参照類似ショットの生成・手法５）上記手法１〜４の組み合わせ
手法１〜４のうち最適な手法でそれぞれのショットを符号化する。この場合は参照類似ショット生成情報中に、各手法で必要な情報（上述のＳＲｎ、ＤＲｎ、ＳＯｎ、ＤＯｎ、原類似ショットＩＤ、重み付け係数など）のほか、どの手法で参照類似ショットを生成するかを示す手法ＩＤが必要となる（図６参照）。

そして本発明では上述のように、対象類似ショットから、上記各手法により生成された参照類似ショットを差し引いたもの（以下では「差分類似ショット」という）を符号化する。このとき、対象類似ショットと参照類似ショットのフレーム位置が合っていれば、単純に同一位置にあるフレーム間の差を取ればよいが、フレーム位置が合っていない場合は、たとえば図１２に示すように、対象類似ショット中の各フレームと、参照類似フレーム中、上記各フレームに時間的に最も近いフレームとの差を取るようにする。

図１３は、この発明の実施例１にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。また図１４は、従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダ（動き補償なし）の構成の一例を示す説明図である。

図１３中、１３００〜１３０５は図１４の同名の各部と同一である。すなわち、１３００／１４００は符号化対象フレーム（から参照フレームを差し引いた予測誤差）について離散コサイン変換（ＤＣＴ）や離散ウェーブレット変換（ＤＷＴ）などを行う変換部、１３０１／１４０１は上記変換後のデータを所定のステップ幅で量子化する量子化部、１３０２／１４０２は上記量子化後のデータなどを符号化する（その手法は特に問わない）エントロピー符号化部、１３０３／１４０３は各種符号化タイプの決定、レート制御のための量子化ステップの決定などを行う符号化制御部である。また、１３０４／１４０４は量子化後／符号化前のデータを逆量子化する逆量子化部、１３０５／１４０５は逆量子化後のデータをさらに逆変換する逆変換部である。

１３０６は逆変換後のフレームにその参照フレームを足し合わせたもの、すなわちローカルデコード画像を少なくとも１ショット分保持する原類似ショット記憶メモリである。図１４にも、ローカルデコード画像を保持するための参照フレーム記憶メモリ１４０６があるが、従来技術の参照フレーム記憶メモリ１４０６が上記画像をフレーム単位で保持するのに対し、本発明の原類似ショット記憶メモリ１３０６はショット単位で保持する点が違っている。なお、原類似ショット記憶メモリ１３０６に保持される原類似ショット数（そこに含まれる総フレーム数）は、実装上はメモリ容量により制限されるが、アルゴリズム的には制限はない。

また、１３０７はショット分割部であり、符号化対象となる映像を複数のショットに分割する機能部である。１３０８は類似ショット検出部であり、ショット分割部１３０７で分割された各ショット間の類似度を計算するとともに、この類似度を基礎として、上記ショットを複数のグループ（類似ショット群）に分類する機能部である。

また、１３０９は対象類似ショットと、原類似ショット記憶メモリ１３０６内の原類似ショットとを比較（マッチング）して、参照類似ショットの生成手法（対象類似ショットのどの区間について参照類似ショットを生成するか、その生成にどの原類似ショットのどの区間を使用するか、など）を決定する生成手法決定部である。理想的には最適な手法、すなわち差分類似ショットの値ができるだけ０近傍に集中するような手法を探索するが、この探索の手順などは本発明では特に問わない。評価指標としては上述の類似度のほか、カラーヒストグラム、あるいはフレーム全体のグローバル動き情報やブロック単位の動きベクトル情報などを利用できる。

また、１３１０は生成手法決定部１３０９により決定された手法に従って、原類似ショット記憶メモリ１３０６内の原類似ショットから参照類似ショットを生成する参照類似ショット生成部である。

図１５は、この発明の実施例１にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。まず、符号化対象の映像をショット分割部１３０７で複数のショットに分割し（ステップＳ１５０１）、次に類似ショット検出部１３０８で各ショットの類似ショットを検出、すなわちショット間の類似度を基礎として、上記各ショットを複数のグループに分類する（ステップＳ１５０２）。

その後、本装置は未処理の（まだ符号化していない）ショットがある限り（ステップＳ１５０３：Ｎｏ）、ステップＳ１５０３〜Ｓ１５１０の処理を繰り返す。まず、対象類似ショットがショット内符号化、すなわち他のショットを参照しないで符号化すべきショットであるかどうかを判定する。

類似する複数のショット中、少なくとも一つのショットはショット内符号化される必要がある。たとえば図１のＡグループでは「Ａ０」がこれに該当し、当該ショットについてはショット内の各フレームをそのまま変換部１３００／量子化部１３０１で変換／量子化（ステップＳ１５０４：Ｙｅｓ、ステップＳ１５０８）、エントロピー符号化部１３０２でエントロピー符号化する（ステップＳ１５０９）。また、変換・量子化後のデータは逆量子化部１３０４・逆変換部１３０５によりローカルデコード（逆量子化および逆変換）される（ステップＳ１５１０）。

一方、図１の「Ａ１」〜「Ａ４」のように、類似する他のショットを参照するショットについては（ステップＳ１５０４：Ｎｏ）、まず生成手法決定部１３０９で参照類似ショットの生成手法を決定した後（ステップＳ１５０５）、決定された手法に従って参照類似ショット生成部１３１０で参照類似ショットを生成し（ステップＳ１５０６）、さらに対象類似ショットと参照類似ショットとの差、すなわち差分類似ショットを生成する（ステップＳ１５０７）。その後この差分類似ショットにつき、変換部１３００／量子化部１３０１による変換／量子化（ステップＳ１５０８）、エントロピー符号化部１３０２によるエントロピー符号化（ステップＳ１５０９）、逆量子化部１３０４／逆変換部１３０５によるローカルデコード（逆量子化および逆変換）を行う（ステップＳ１５１０）。

そして、映像内の全ショットを符号化した時点で（ステップＳ１５０３：Ｙｅｓ）、本フローチャートによる処理を終了する。なお、生成手法決定部１３０９で決定された生成手法に対応する参照類似ショット生成情報（図６参照）も、エントロピー符号化部１３０２により符号化され、量子化部１３０１からのショット符号化ストリーム（各ショットの符号化データ）と多重化されて１本の符号化ストリームとなる。なお、本発明ではこの多重化の手法は特に問わない。また、ショット符号化ストリームと参照類似ショット生成情報を多重化する必要があるかどうかはアプリケーション次第であるので、これらを多重化せず、別個のストリームとして伝送するようにしてもよい。

なお、このように本発明では最初に対象映像全体を走査してショットの分割・分類を行うので、マルチパスによる映像符号化が可能、つまり符号化遅延が問題とされない分野での映像符号化に適している。応用例としては流通メディア（次世代光ディスクなど）の映像符号化、蓄積メディアにためたコンテンツのトランスコーディング（データ量圧縮、メモリカードへのムーブなど）が挙げられる。他にもブロードバンド・ストリーミングや録画済み（符号化済み）番組の放送用の映像符号化としても利用可能である。

次に、上記のようにして符号化された映像の復号について説明する。図１６は、この発明の実施例１にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図中、１６００は入力した符号化ストリームを復号するとともに、復号後のショット符号化ストリームを逆量子化部１６０１へ、参照類似ショット生成情報を参照類似ショット生成部１６０４へ、それぞれ出力するエントロピー復号部である。１６０１はショット符号化ストリームを逆量子化する逆量子化部、１６０２は逆量子化後のショット符号化ストリームをさらに逆変換する逆変換部である。

１６０３は、復号画像を少なくとも１ショット分保持する原類似ショット記憶メモリである。１６０４は、エントロピー復号部１６００から入力した参照類似ショット生成情報に従って、原類似ショット記憶メモリ１６０３内の原類似ショットから参照類似ショットを生成する参照類似ショット生成部である。

図１７は、この発明の実施例１にかかる画像処理装置（デコーダ）における、画像復号処理の手順を示すフローチャートである。未処理の（まだ復号していない）ショットがある限り（ステップＳ１７０１：Ｎｏ）、本装置はまずエントロピー復号部１６００で、符号化ストリーム中の当該ショットを復号し（ステップＳ１７０２）、さらに復号後のショットを逆量子化部１６０１で逆量子化、および逆変換部１６０２で逆変換（ステップＳ１７０３）する。

その後、上記ショットがショット内符号化、すなわち他のショットを参照せずに符号化されたものであれば（ステップＳ１７０４：Ｙｅｓ）、上記逆変換後のデータを復号画像としてそのまま出力する（ステップＳ１７０６）。一方、上記ショットが他のショットを参照して符号化されたものであれば（ステップＳ１７０４：Ｎｏ）、参照類似ショット生成部１６０４はエントロピー復号部１６００から入力した参照類似ショット生成情報に従って、原類似ショット記憶メモリ１６０３内の復号画像（原類似ショット）から参照類似ショットを生成する（ステップＳ１７０５）。そして、逆変換部１６０２からの差分類似ショットとその参照類似ショットとを加算したものが復号画像として出力される（ステップＳ１７０６）。

さて、上述した実施例１では、対象類似ショット内の各フレームと参照類似ショット内の対応するフレームとの差を単純に計算しているが、このときフレーム間の動き補償を行えば、さらに符号効率が向上すると期待される。図１８は、この発明の実施例２にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。また、図１９は従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダ（動き補償あり）の構成の一例を示す説明図である。

図１８は、従来のＪＰＥＧ／ＭＰＥＧエンコーダの参照フレーム記憶メモリ１９０６を原類似ショット記憶メモリ１８０６に差し替えるとともに、ショット分割部１８０７、類似ショット検出部１８０８、生成手法決定部１８０９および参照類似ショット生成部１８１０を追加した構成である（上記以外の各部、すなわち変換部１８００、量子化部１８０１、エントロピー符号化部１８０２、符号化制御部１８０３、逆量子化部１８０４および逆変換部１８０５の機能は、図１９の同名の各部の機能と同一、すなわち従来技術と同一であるので説明を省略する）。あるいは図１３に示した実施例１のエンコーダの構成に、フレーム間動き検出部１８１１とフレーム間動き補償部１８１２を追加したものと言うこともできる。

なお、フレーム間動き補償予測の手法は本発明では特に問わないが、従来手法には大別して下記の２つがある。

（フレーム間動き補償予測・手法１）グローバル動き補償予測（図２０）
これは参照フレーム内の四角形領域を、符号化対象フレームの矩形領域にワーピング処理（平行移動、拡大／縮小、回転、アフィン変換、透視変換など）するものである。具体的には、たとえばＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）の７．８章「Ｓｐｒｉｔｅｄｅｃｏｄｉｎｇ」がある。このグローバル動き補償予測により、フレーム全体の動きを捉えることができ、フレーム内のオブジェクトの位置ずれ／変形の修正が可能となる。

（フレーム間動き補償予測・手法２）ブロック単位での動き補償予測（図２１）
これは符号化対象フレームを正方格子状に分割し、このブロック単位で手法１と同様のワーピング処理を行うものである。ワーピング処理の一例としてたとえば平行移動の場合、個々のブロックごとに参照フレーム内で最も誤差が小さくなる領域を探索し、符号化対象フレームの各ブロックと、参照フレームの各探索結果領域の位置ずれを動きベクトルとして伝送する。このブロックの大きさはＭＰＥＧ−１やＭＰＥＧ−２では１６×１６画素（「マクロブロック」と呼ばれる）である。さらにＭＰＥＧ−４では８×８画素、Ｈ．２６４では４×４画素の小さなブロックも許される。なお参照フレームは一つに限定されず、複数の参照フレームから最適な領域を選択するようにしてもよい。この場合は動きベクトル情報のほかに、参照フレームのＩＤなども伝送する必要がある。このブロック単位での動き補償予測により、フレーム内の局所的なオブジェクトの動きに対応できる。

なお、上記のようなフレーム間動き補償予測を行う場合に、復号側で必要となる（従って符号化ストリームに組み込む必要がある）フレーム間動き情報の具体例を図２２に示す。図示する例はグローバル動き予測とブロック単位での動き予測の双方を併用した例であるが、当然片方だけ使用するのでも問題はない。

より具体的にフレーム間動き補償の方法を説明すると、まず対象類似ショットの各フレームと、参照類似ショットの少なくとも一つのフレームとの間でのフレーム間動き情報（たとえばアフィン変換係数や動きベクトル情報など）をフレーム間動き検出部１８１１で算出し、次にフレーム間動き補償部１８１２で、このフレーム間動き情報に従って参照類似ショットから修正参照類似ショットの各フレーム（対象類似ショットの各フレームに対する予測フレーム）を生成する。

ここで、対象類似ショットと参照類似ショットとの間でフレーム位置が合っている場合は、自然と対象類似ショットと修正参照類似ショットとの間のフレーム位置も合う。よって単純に対象類似ショット内の各フレームから、修正参照類似ショット内の同一位置にある各フレームを差し引いたものを符号化すればよい。すなわち、参照類似ショットと対象類似ショットとの類似度を動き補償予測でさらに高めることで、差分類似ショットの値がより０近傍に集中するようにする。なお、このフレーム間動き情報はショット符号化ストリームと多重化され、１本の符号化ストリームとされる。

一方、対象類似ショットと参照類似ショットとの間でフレーム位置が合っていない場合は、フレーム位置修正のための処理が必要となり、たとえば下記２つが考えられるが、逆に修正参照類似ショットの生成手法は下記に限定されるものではない。

（修正参照類似ショットの生成・手法１）フレーム位置を補正しない場合
図２３に示すように、対象類似ショットの各フレームと、参照類似ショット内の少なくとも一つのフレームとの間で動き検出を行う。そして得られたフレーム間動き情報により、参照類似ショットにフレーム間動き補償を行い、修正参照類似ショットの各フレームを生成する。このとき修正参照類似ショットの各フレームの位置は参照類似ショットと同一とする（参照類似ショットのフレーム位置を保存する）ものである。この場合は修正参照類似ショット中、たとえば対象類似ショットの対象フレームに時間的に最も近いフレームと、対象フレームとの差分を符号化すればよい。

（修正参照類似ショットの生成・手法２）フレーム位置を補正する場合
図２４に示すように、手法１同様、フレーム間動き補償により修正参照類似ショットの各フレームを生成するが、同時に修正参照類似ショットの各フレームの位置を対象類似ショットと同一の位置に補正（補間あるいは間引き）するものである。この場合は対象類似ショット内の各フレームと、修正参照類似ショット内の同一位置にある各フレームとの差分を符号化すればよい。

図２５は、この発明の実施例２にかかる画像処理装置（エンコーダ）における、画像符号化処理の手順を示すフローチャートである。図１５に示した実施例１の画像符号化処理との差異は、参照類似ショットの生成後（ステップＳ２５０６）に、フレーム間動き検出処理（ステップＳ２５０７）とフレーム間動き補償処理／修正参照類似ショット生成処理（ステップＳ２５０８）とが追加されている点である。そして、ステップＳ２５０８で生成された修正参照類似ショットを、対象類似ショットから差し引くことで差分類似ショットを生成する（ステップＳ２５０９）。このステップＳ２５０７〜Ｓ２５０９以外の各ステップ、すなわちステップＳ２５０１〜Ｓ２５０６およびステップＳ２５１０〜Ｓ２５１２における処理は、図１５の同名のステップでの処理と同様である。

次に、上記のようにして符号化された映像の復号について説明する。図２６は、この発明の実施例２にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図１６に示した実施例１のデコーダとの差異は、参照類似ショット生成部２６０４で生成された参照類似ショットから、動き補償予測により修正参照類似ショットを生成するフレーム間動き補償部２６０５が追加されている点である。このフレーム間動き補償部２６０５以外の各部、すなわちエントロピー復号部２６００、逆量子化部２６０１、逆変換部２６０２、原類似ショット記憶メモリ２６０３および参照類似ショット生成部２６０４の機能は、図１６の同名の各部の機能と同一であるので説明を省略する。

また、図２７はこの発明の実施例２にかかる画像処理装置（デコーダ）における、画像復号処理の手順を示すフローチャートである。図１７に示した実施例１の画像復号処理との差異は、参照類似ショットの生成後（ステップＳ２７０５）に、修正参照類似ショット生成処理（ステップＳ２７０６）が追加されている点である。そして、逆変換部２６０２からの差分類似ショット（にフレーム間動き補償部２６０５からの修正参照類似ショットを足し合わせたもの）を復号画像として出力する（ステップＳ２７０７）。このステップＳ２７０６およびＳ２７０７以外の各ステップ、すなわちステップＳ２７０１〜Ｓ２７０５における処理は、図１７の同名のステップでの処理と同様である。

以上説明した実施例１によれば、映像内の個々のショットについて、当該ショットに類似するショットからの差分のみを符号化し、さらに実施例２ではフレームごとの動きも考慮するので、対象フレームと参照フレームとの差分は０近傍に集中することが予想され、これにより符号量を削減することができる。

ただし、上記は符号量削減には有利に働くが、ランダムアクセス性の犠牲などのデメリットもある。たとえば図１６や図２６のデコーダにおいて、ある特定のショットの復号にはその参照類似ショットを必要とするので、当然その生成に使用される原類似ショットが復号されていなければならないが、当該原類似ショットを復号するにはさらにその参照類似ショットや、当該参照類似ショットの元となる原類似ショットが必要である。このように、芋蔓式に参照先を辿らなければならない事態を避けるため、映像内に定期的に参照類似ショットを使用しないショット符号化方式（ショット内符号化）を挿入することも考えられる。これはたとえばＭＰＥＧでいうＩピクチャと同等の機能となる。

なお、上述した実施例１あるいは２にかかるエンコーダは、従来技術のＪＰＥＧ／ＭＰＥＧエンコーダなどを利用して実現することができるが、そのためには既存のハードウェア（ＬＳＩチップなど）を作り替える必要がある。

そこでたとえば図２８や図２９に示すように、従来技術の符号化器（エンコーダ）２８００／２９００に必要な機能部を外付けすることで、本発明にかかるエンコーダを実現するようにしてもよい。図２８は実施例１の図１３に、図２９は実施例２の図１８に、それぞれ対応している。具体的には符号化器２８００／２９００の前段に、上述の原類似ショット記憶メモリ１３０６／１８０６、ショット分割部１３０７／１８０７、類似ショット検出部１３０８／１８０８、生成手法決定部１３０９／１８０９、参照類似ショット生成部１３１０／１８１０、あるいはフレーム間動き検出部１８１１やフレーム間動き補償部１８１２を設けて、参照類似ショットあるいは修正参照類似ショット減算後の差分類似ショットを符号化器２８００／２９００に入力するとともに、符号化器２８００／２９００の後段に多重化部２８０１／２９０１を設けて、ショット符号化ストリームや参照類似ショット生成情報、フレーム間動き情報などを多重化するようにする（多重化が必要な場合）。

図２８や図２９のように、参照類似ショットの生成処理を符号化ループの前に出すことで、従来の符号化器や符号化手法、たとえばＭＰＥＧ−１／２／４やＨ．２６４をそのまま利用することが可能になる。ただし図示する構成のデメリットとしては、たとえば参照類似ショット生成時の動き予測と符号化時の動き予測との間の処理に冗長さが存在すること、参照類似ショットの生成と差分類似ショットの圧縮を両方考慮した符号化器の最適化が困難であることなどが挙げられる。

また、図３０および図３１は、従来技術の復号器（デコーダ）３０００／３１００に必要な機能部を外付けすることで、本発明にかかるデコーダを実現する例である。図３０は実施例１の図１６に、図３１は実施例２の図２６に、それぞれ対応している。具体的には復号器３０００／３１００の前段に分離多重化部３００１／３１０１を設けて、入力した符号化ストリームからショット符号化ストリームや参照類似ショット生成情報、フレーム間動き情報を分離するとともに、復号器３０００／３１００の後段に上述の原類似ショット記憶メモリ１６０３／２６０３、参照類似ショット生成部１６０４／２６０４、あるいはフレーム間動き補償部２６０５を設けて、復号器３０００／３１００から出力されてきた差分類似ショットに参照類似ショットあるいは修正参照類似ショットを加算する。

このように、請求項１・請求項９・請求項１７に記載の発明によれば、符号化対象の映像を構成する複数のショットの類似性（情報の冗長性）に着目して、類似するフレーム同士の差分を符号化するので、符号化ストリームのデータ量を抑制できる。また、請求項２・請求項１０・請求項１８に記載の発明によれば、対象類似ショット−参照類似ショット間でフレーム位置が一致するので、以後の処理（フレーム間の差分の計算など）が容易となる。また、請求項３・請求項１１・請求項１９に記載の発明によれば、クロスフェードなど複数のショットに類似するショットの符号化を効率的に行える。また、請求項４・請求項５・請求項１２・請求項１３・請求項２０・請求項２１に記載の発明によれば、原類似ショット中、対象類似ショットとのマッチングの良い区間だけを用いて、あるいは逆に対象類似ショット中、原類似ショットとのマッチングの良い区間だけについて予測符号化を行うので、必ずしもショット全体が類似していなくとも符号化ストリームのデータ量を抑制できる。また、請求項６・請求項１４・請求項２２に記載の発明によれば、類似するフレーム間でさらに動き補償を行うので、フレーム内でのオブジェクトの位置ずれ／変形を修正し、両フレームの差分をより０近傍に集中させることができる（従って符号化ストリームのデータ量をさらに抑制できる）。

また、請求項７・請求項１５・請求項２３に記載の発明によれば、請求項１〜請求項５、請求項９〜請求項１３、あるいは請求項１７〜請求項２１に記載の発明により符号化された動画像を復号できる。また、請求項８・請求項１６・請求項２４に記載の発明によれば、請求項６・請求項１４・請求項２２に記載の発明により符号化された動画像を復号できる。

なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをプロセッサやマイクロコンピュータ等の演算処理装置で実行することにより実現することができる。このプログラムは、ＲＯＭ、ＨＤ、ＦＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ等の演算処理装置で読み取り可能な記録媒体に記録され、演算処理装置によって記録媒体から読み出されて実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。

Claims

動画像を連続する複数のフレームからなる複数のショットに分割するショット分割手段と、
前記ショット分割手段により分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出手段と、
前記ショット検出手段により検出された第２のショットの時間長を補正して第３のショットを生成するショット生成手段と、
前記第１のショットと前記ショット生成手段により生成された第３のショットとの差分を符号化する符号化手段と、
を備えることを特徴とする画像処理装置。
前記ショット生成手段は、前記第３のショットのフレーム位置が前記第１のショットのフレーム位置と一致するように前記第２のショットの時間長を補正することを特徴とする前記請求項１に記載の画像処理装置。
前記ショット生成手段は、時間長補正後の複数の前記第２のショットを重み付け平均して前記第３のショットを生成することを特徴とする前記請求項１に記載の画像処理装置。
前記ショット生成手段は、前記第２のショットの一部区間を用いて前記第３のショットを生成することを特徴とする前記請求項１に記載の画像処理装置。
前記ショット生成手段は、前記第１のショットの一部区間について前記第３のショットを生成することを特徴とする前記請求項１に記載の画像処理装置。
さらに、前記ショット生成手段で生成された前記第３のショットを動き補償して第４のショットを生成する第２のショット生成手段を備え、
前記符号化手段は、前記第１のショットと前記第２のショット生成手段により生成された第４のショットとの差分を符号化することを特徴とする前記請求項１〜請求項５のいずれか一つに記載の画像処理装置。
動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号手段と、
前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成するショット生成手段と、
前記ショット復号手段により復号された符号化データと前記ショット生成手段により生成された第３のショットとを加算するショット加算手段と、
を備えることを特徴とする画像処理装置。
さらに、前記ショット生成手段で生成された前記第３のショットを動き補償して第４のショットを生成する第２のショット生成手段を備え、
前記ショット加算手段は、前記ショット復号手段により復号された符号化データと前記第２のショット生成手段により生成された第４のショットとを加算することを特徴とする前記請求項７に記載の画像処理装置。
動画像を連続する複数のフレームからなる複数のショットに分割するショット分割工程と、
前記ショット分割工程で分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出工程と、前記ショット検出工程で検出された第２のショットの時間長を補正して第３のショットを生成するショット生成工程と、
前記第１のショットと前記ショット生成工程で生成された第３のショットとの差分を符号化する符号化工程と、
を含むことを特徴とする画像処理方法。
前記ショット生成工程では、前記第３のショットのフレーム位置が前記第１のショットのフレーム位置と一致するように前記第２のショットの時間長を補正することを特徴とする前記請求項９に記載の画像処理方法。
前記ショット生成工程では、時間長補正後の複数の前記第２のショットを重み付け平均して前記第３のショットを生成することを特徴とする前記請求項９に記載の画像処理方法。
前記ショット生成工程では、前記第２のショットの一部区間を用いて前記第３のショットを生成することを特徴とする前記請求項９に記載の画像処理方法。
前記ショット生成工程では、前記第１のショットの一部区間について前記第３のショットを生成することを特徴とする前記請求項９に記載の画像処理方法。
さらに、前記ショット生成工程で生成された前記第３のショットを動き補償して第４のショットを生成する第２のショット生成工程を含み、
前記符号化工程では、前記第１のショットと前記第２のショット生成工程で生成された第４のショットとの差分を符号化することを特徴とする前記請求項９〜請求項１３のいずれか一つに記載の画像処理方法。
動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号工程と、
前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成するショット生成工程と、
前記ショット復号工程で復号された符号化データと前記ショット生成工程で生成された第３のショットとを加算するショット加算工程と、
を含むことを特徴とする画像処理方法。
さらに、前記ショット生成工程で生成された前記第３のショットを動き補償して第４のショットを生成する第２のショット生成工程を含み、
前記ショット加算工程では、前記ショット復号工程で復号された符号化データと前記第２のショット生成工程で生成された第４のショットとを加算することを特徴とする前記請求項１５に記載の画像処理方法。
動画像を連続する複数のフレームからなる複数のショットに分割するショット分割工程と、
前記ショット分割工程で分割されたショットの中から符号化対象となる第１のショットに類似する第２のショットを検出するショット検出工程と、
前記ショット検出工程で検出された第２のショットの時間長を補正して第３のショットを生成するショット生成工程と、
前記第１のショットと前記ショット生成工程で生成された第３のショットとの差分を符号化する符号化工程と、
をプロセッサに実行させることを特徴とする画像処理プログラム。
前記ショット生成工程では、前記第３のショットのフレーム位置が前記第１のショットのフレーム位置と一致するように前記第２のショットの時間長を補正することを特徴とする前記請求項１７に記載の画像処理プログラム。
前記ショット生成工程では、時間長補正後の複数の前記第２のショットを重み付け平均して前記第３のショットを生成することを特徴とする前記請求項１７に記載の画像処理プログラム。
前記ショット生成工程では、前記第２のショットの一部区間を用いて前記第３のショットを生成することを特徴とする前記請求項１７に記載の画像処理プログラム。
前記ショット生成工程では、前記第１のショットの一部区間について前記第３のショットを生成することを特徴とする前記請求項１７に記載の画像処理プログラム。
さらに、前記ショット生成工程で生成された前記第３のショットを動き補償して第４のショットを生成する第２のショット生成工程を含み、
前記符号化工程では、前記第１のショットと前記第２のショット生成工程で生成された第４のショットとの差分を符号化することを特徴とする前記請求項１７〜請求項２１のいずれか一つに記載の画像処理プログラム。
動画像の符号化データ中、連続する複数のフレームからなる第１のショットの符号化データを復号するショット復号工程と、
前記動画像の符号化データ中のショット生成情報で特定される手法により、前記第１のショットに類似する前記動画像中の第２のショットの時間長を補正して第３のショットを生成するショット生成工程と、
前記ショット復号工程で復号された符号化データと前記ショット生成工程で生成された第３のショットとを加算するショット加算工程と、
をプロセッサに実行させることを特徴とする画像処理プログラム。
さらに、前記ショット生成工程で生成された前記第３のショットを動き補償して第４のショットを生成する第２のショット生成工程を含み、
前記ショット加算工程では、前記ショット復号工程で復号された符号化データと前記第２のショット生成工程で生成された第４のショットとを加算することを特徴とする前記請求項２３に記載の画像処理プログラム。