JP4520994B2 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents
画像処理装置、画像処理方法、および画像処理プログラム Download PDFInfo
- Publication number
- JP4520994B2 JP4520994B2 JP2006537811A JP2006537811A JP4520994B2 JP 4520994 B2 JP4520994 B2 JP 4520994B2 JP 2006537811 A JP2006537811 A JP 2006537811A JP 2006537811 A JP2006537811 A JP 2006537811A JP 4520994 B2 JP4520994 B2 JP 4520994B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- shot
- shots
- decoding
- structuring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
- H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【技術分野】
【０００１】
この発明は、動画像を符号化あるいは復号する画像処理装置、画像処理方法、および画像処理プログラムに関する。ただし本発明の利用は、上述した画像処理装置、画像処理方法、および画像処理プログラムに限らない。
【背景技術】
【０００２】
動画像の符号化における符号効率の向上、動画像へのアクセス方法の多様化、動画像のブラウジングの容易化、ファイル形式変換の容易化などといった様々な目的で、動画像の構造化（具体的にはフレーム順序の並び替え、ショット単位での階層化など）を行う従来技術としては、たとえば下記特許文献１〜５に記載の発明などがあった。
【０００３】
このうち特許文献１に記載の従来技術では、ファイル作成手段により動画像データのフレーム単位での並び換え順序を示す編集情報を作成する。また、画像圧縮手段は編集前の動画像データを前フレームとの差分を基に圧縮符号化し、その符号化データを上記編集情報ファイルと共に出力手段から送信する。
【０００４】
また、特許文献２に記載の従来技術では、画像データ列メモリ部に保存された予測符号化画像データを読み出し、階層分離部でそのデータ構造が持つ階層に応じて階層に分離する。次に、分離された階層から画像データの持つ物理的特徴、すなわち一般性を有しコンテントを反映した特徴を、画像特徴抽出部にて抽出する。次に、これらの物理的特徴から各々の画像を特徴付ける特徴ベクトルを特徴ベクトル生成部にて生成する。次に、その特徴ベクトル間での距離を算出して特徴ベクトルを、分割・統合部にて分割・統合して映像を深い階層構造で自動的に構造化し、特徴ベクトル管理部にて蓄積、管理する。
【０００５】
また、特許文献３に記載の従来技術は、動画像を符号化し、該符号化された動画像を各ショットに分割し、ついで分割されたショット毎の類似度を用い、ショットを統合してシーンを抽出処理することを特徴とした動画像の自動階層構造化方法であり、かつまたこの階層構造化されたデータを用いて動画像全体の内容把握、所望のシーンまたはショットの検出を容易にすることを特徴とした動画像のブラウジング方法にかかるものである。
【０００６】
また、特許文献４に記載の従来技術では、複数のカメラで撮像した複数チャンネルの映像信号を切替手段で順番に切り替え、並び替え手段でチャンネル毎にＧＯＰ単位で並び替え、ＭＰＥＧ圧縮手段で圧縮して記録手段に記録するとともに、ＭＰＥＧ伸張手段で各チャンネル毎に伸張し、表示制御手段で映像データを多画面表示できるように、データサイズを圧縮して複数の表示用メモリの所定位置に各チャンネルの入力順にまとめて保存、再生し、画像出力手段がモニタの１画面に多画面表示する。
【０００７】
また、特許文献５に記載の従来技術では、第１の動画像符号化データ形式であるＭＰＥＧ−２形式のビットストリームＡ１をＭＰＥＧ−２デコーダによりデコードして得られた再生動画像信号Ａ２及びサイド情報Ａ３をサイズ変換部により第２の動画像符号化データ形式であるＭＰＥＧ−４形式に適した形態に変換し、変換後の再生画像信号Ａ４を変換後のサイド情報Ａ５に含まれる動きベクトル情報を利用してＭＰＥＧ−４エンコーダによってエンコードすることによりＭＰＥＧ−４形式のビットストリームＡ６を得ると同時に、インデキシング部によりサイド情報Ａ５に含まれる動きベクトルを利用してインデキシング処理を行い、構造化データＡ７を得る。
【０００８】
【特許文献１】
特開平８−１８６７８９号公報
【特許文献２】
特開平９−２９４２７７号公報
【特許文献３】
特開平１０−２５７４３６号公報
【特許文献４】
特開２００１−０５４１０６号公報
【特許文献５】
特開２００２−１８５９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一方、動画像の符号化における符号効率の向上を目的として、従来様々な予測方式が提案されてきた。たとえばＭＰＥＧ−１では前方向予測フレーム（Ｐフレーム）や両方向予測フレーム（Ｂフレーム）の採用により、ＭＰＥＧ−２ではフィールド予測の採用により、ＭＰＥＧ−４ ｐａｒｔ＿２ではスプライト符号化やＧＭＣ（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：グローバル動き補償予測）の採用により、ＩＴＵ−ＴＨ．２６４／ＭＰＥＧ−４ ｐａｒｔ＿１０（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では複数参照フレームの採用により、それぞれ符号効率を向上させている。
【００１０】
ところで符号化対象となる映像の中には、通常、以下に例示するような相互に類似するショット（連続する複数フレーム）が多く含まれている。
・ニュース番組におけるニュースキャスターへのバストショット
・野球での投球／バッティングシーン、テニスのサーブシーン、スキージャンプの滑降／飛行シーンなど
・スポーツ番組などにおけるハイライトシーンの繰り返し
・バラエティ番組などにおけるＣＭ前後の同一ショットの繰り返し
・二人の会話シーンにおける互いへのアップショットの繰り返しを考えた場合の、各人へのアップショット
・連続ドラマを全話通して考えた場合の、オープニングやエンディング、あるいは前話の回想シーンなど
・同一ＣＭの繰り返し
【００１１】
同一ショットの繰り返しはもとより、固定カメラからの同一アングルへのショットはしばしば類似ショットとなる。そして、こうした類似ショットは独立して符号化するよりも、一方をもう一方の参照フレームとしてそれらの差分を符号化したほうが、全体として符号量が削減できると期待できる。
【００１２】
しかしながら従来のＭＰＥＧにおいては、対象映像全体の構造、たとえば上記のような類似ショットの繰り返しを符号化に利用せず（言い換えれば、類似ショット間の情報量の冗長性を利用せず）、通常ほぼ時系列順に符号化を行うため、たとえばそのぶん符号効率が悪いなどの問題点があった。具体的には、映像中にシーンチェンジがあった場合の従来技術における予測方法は下記（１）〜（３）のようになっていた。
【００１３】
（１）一定間隔でＩフレームを挿入（図１５（１））
シーンチェンジの有無にかかわらず、Ｉフレームの間隔は一定とするものである。この場合、シーンチェンジ直後のインターフレーム（具体的にはそのうちＰフレーム）の発生量が多くなる（予測誤差が大きくなるため）。また、インターフレームは発生量をあまり多くできない場合が多く画質が劣化する。
［００１４］
（２）シーンチェンジ時にもＩフレームを挿入（図１５（２））
基本的には一定間隔でＩフレームを挿入するが、シーンチェンジを検出したときはそのタイミングでもＩフレームを挿入するものである。この場合画質は改善されるが、Ｉフレームなので発生量が多く、そのぶん他のインターフレームの配分が減ることになり、総合的には画質が良くなるとは言えない。
［００１５］
（３）参照フレームを複数の候補から選択
Ｈ．２６４（ＭＰＥＧ−４ ｐａｒｔ＿１０ ＡＶＣ）などで採用されている方式であるが、Ｈ．２６４の場合、参照フレームとして選べるフレームの数に上限がある。また、参照フレームは符号化対象フレームから所定距離内に存在する必要がある。
【課題を解決するための手段】
［００１６］
上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像処理装置は、動画像を連続する複数の画像からなる複数のショットに分割するショット分割手段と、前記ショット分割手段により分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化手段と、前記動画像中の符号化対象画像と、前記ショット構造化手段による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出手段と、前記動き検出手段により検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償手段と、前記符号化対象画像と前記動き補償手段により生成された予測画像との差分を符号化する符号化手段と、を備えることを特徴とする。
［００１７］
また、請求項４の発明にかかる画像処理装置は、動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出手段と、前記構造化情報抽出手段により抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号手段と、前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出手段により抽出された情報中で指定され、前記第１の復号手段により復号された参照画像を用いて復号する第２の復号手段と、を備えることを特徴とする。
［００１８］
また、請求項６の発明にかかる画像処理方法は、動画像を連続する複数の画像からなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化工程と、前記動画像中の符号化対象画像と、前記ショット構造化工程による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出工程と、前記動き検出工程で検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償工程と、前記符号化対象画像と前記動き補償工程で生成された予測画像との差分を符号化する符号化工程と、を含むことを特徴とする。
［００１９］
また、請求項９の発明にかかる画像処理方法は、動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショット複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして同グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出工程と、前記構造化情報抽出工程で抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号工程と、前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出工程で抽出された情報中で指定され、前記第１の復号工程で復号された参照画像を用いて復号する第２の復号工程と、を含むことを特徴とする。
［００２０］
また、請求項１１の発明にかかる画像処理プログラムは、動画像を連続する複数の画像からなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化工程と、前記動画像中の符号化対象画像と、前記ショット構造化工程による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出工程と、前記動き検出工程で検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償工程と、前記符号化対象画像と前記動き補償工程で生成された予測画像との差分を符号化する符号化工程と、をプロセッサに実行させることを特徴とする。
［００２１］
また、請求項１４の発明にかかる画像処理プログラムは、動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショット複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出工程と、前記構造化情報抽出工程で抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号工程と、前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出工程で抽出された情報中で指定され、前記第１の復号工程で復号された参照画像を用いて復号する第２の復号工程と、をプロセッサに実行させることを特徴とする。
【図面の簡単な説明】
【００２２】
【図１】図１は、この発明の実施の形態にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。
【図２】図２は、特徴量ベクトルの基礎となる各ショットの特徴量を模式的に示す説明図である。
【図３】図３は、ショット構造化部１１２により構造化されたショットを模式的に示す説明図である。
【図４】図４は、図３のように構造化されたショットの映像内での並び順の一例を示す説明図である。
【図５】図５は、図３のように構造化されたショットの映像内での並び順の他の一例を示す説明図である。
【図６】図６は、ショット構造化部１１２により構造化されたショットを模式的に示す説明図である（各ショットの先頭フレームを代表フレームとする場合）。
【図７】図７は、この発明の実施の形態にかかる画像処理装置における、画像符号化処理の手順を示すフローチャートである。
【図８】図８は、ショット構造化部１１２によるショット構造化の手順（図７のステップＳ７０２）を詳細に示すフローチャートである。
【図９】図９は、グローバル動き補償予測の概念を模式的に示す説明図である。
【図１０】図１０は、ブロック単位の動き補償予測の概念を模式的に示す説明図である。
【図１１】図１１は、図１２のように構造化されたショットの映像内での並び順の一例を示す説明図である。
【図１２】図１２は、ショット構造化部１１２により構造化されたショットを模式的に示す説明図である（グループ内のショットに階層がない場合）。
【図１３】図１３は、この発明の実施の形態にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。
【図１４】図１４は、この発明の実施の形態にかかる画像処理装置における、画像復号処理の手順を示すフローチャートである。
【図１５】図１５は、従来技術におけるＩフレームの挿入タイミングを模式的に示す説明図である。
【符号の説明】
【００２３】
１００、１３００ 入力バッファメモリ
１０１ 変換部
１０２ 量子化部
１０３、１３０１ エントロピー符号化部
１０４ 符号化制御部
１０５、１３０２ 逆量子化部
１０６、１３０３ 逆変換部
１０７ ローカルデコード画像記憶メモリ
１０８ 動きベクトル検出部
１０９、１３０４ フレーム間動き補償部
１１０ 多重化部
１１１ ショット分割部
１１２ ショット構造化部
１１３、１３０６ 参照フレーム記憶メモリ
１３０５ 構造化情報抽出部
【発明を実施するための最良の形態】
【００２４】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法、および画像処理プログラムの好適な実施の形態を詳細に説明する。
【００２５】
（実施の形態）
図１は、この発明の実施の形態にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。図中１００〜１１０は、従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダと同一である。すなわち１００は、符号化対象となる映像の各フレームを保持する入力バッファメモリ、１０１は符号化対象フレーム（から参照フレームを差し引いた予測誤差）について離散コサイン変換（ＤＣＴ）や離散ウェーブレット変換（ＤＷＴ）などを行う変換部、１０２は上記変換後のデータを所定のステップ幅で量子化する量子化部、１０３は上記量子化後のデータや、後述する動きベクトル情報、構造化情報などを符号化する（その手法は特に問わない）エントロピー符号化部、１０４は量子化部１０２およびエントロピー符号化部１０３の動作を制御する符号化制御部である。
【００２６】
１０５は量子化後／符号化前のデータを逆量子化する逆量子化部、１０６は逆量子化後のデータをさらに逆変換する逆変換部、１０７は逆変換後のフレームに参照フレームを足し合わせたもの、すなわちローカルデコード画像を一時的に保持するローカルデコード画像記憶メモリである。
【００２７】
また、１０８は符号化対象フレームと参照フレームとの間の動き情報、具体的にはここでは動きベクトルを計算する動きベクトル検出部、１０９は計算された動きベクトルに従って、参照フレームから符号化対象フレームの予測値（フレーム）を生成するフレーム間動き補償部である。１１０は符号化後の映像や動きベクトル情報、後述する構造化情報などを多重化する多重化部である。なお、これらの情報は多重化せず、別々のストリームとして伝送するのであってもよい（多重化する必要があるかどうかはアプリケーションに依存する）。
【００２８】
次に、本発明の特徴部分である１１１〜１１３の各部について説明する。まず、１１１はショット分割部であり、入力バッファメモリ１００内の映像を連続する複数フレーム、すなわち「ショット」に分割する機能部である。このショットの分割点となるのは、たとえば上記映像中での画像特徴量の変化点や、背景音声の特徴量の変化点である。このうち画像特徴量の変化点としては、たとえば画面の切り替わり（シーンチェンジ、カット点）や、カメラワークの変化点（シーンチェンジ／パン／ズーム／静止などの変化点）などが考えられる。もっとも、分割点をどこにするかやその分割点をどうやって特定するか（言い換えれば、ショットをどのように構成するか）は本発明では特に問わない。
【００２９】
１１２はショット構造化部であり、ショット分割部１１１で分割された複数のショットを、ショット間の類似度に応じて構造化する機能部である。ショット間の類似度をどのようにして算出するかも本発明では特に問わないが、ここではたとえば各ショットにつき、その特徴量ベクトルＸを求め、特徴量ベクトル間のユークリッド距離をショット間の類似度であるとみなす。
【００３０】
たとえばショットａの特徴量ベクトルＸａは、ショットａをＮ個に分割して得られた各部分ショットの累積カラーヒストグラムを要素とする多次元のベクトルであるものとする。図２に示すようにＮ＝３のとき、
Ｘａ＝｛ＨＳａ、ＨＭａ、ＨＥａ｝
ただしＨＳａ：図中「開始分割ショット」の累積カラーヒストグラム
ＨＭａ：図中「中間分割ショット」の累積カラーヒストグラム
ＨＥａ：図中「終了分割ショット」の累積カラーヒストグラム
なおＨＳａ、ＨＭａ、ＨＥａ自体も多次元の特徴量ベクトルである。
【００３１】
なお「カラーヒストグラム」とは、色空間を複数の領域に分割し、フレーム内の全画素について各領域での出現数をカウントしたものである。色空間としてはたとえばＲＧＢ（Ｒ／赤、Ｇ／緑、Ｂ／青）、ＹＣｂＣｒ（Ｙ／輝度、ＣｂＣｒ／色差）のＣｂＣｒ成分、ＨＳＶ（Ｈｕｅ／色相、Ｓａｔｕｒａｔｉｏｎ／彩度、Ｖａｌｕｅ／明度）のＨｕｅ成分が利用される。得られたヒストグラムをフレーム内の画素数で正規化することで、サイズが異なる画像同士の比較も可能となる。この正規化されたヒストグラムをショット内の全フレームについて累積したものが「累積カラーヒストグラム」である。
【００３２】
次に、ショットａとショットｂの類似度Ｄa,bを、上記で求めた特徴量ベクトルを用いてたとえば下記式により算出する。
【００３３】
【数１】
この値が小さい（特徴ベクトル間の距離が小さい）ショットほど類似度は高く、大きい（特徴ベクトル間の距離が大きい）ショットほど類似度は低くなる。そしてショット構造化部１１２は、この類似度に応じて、複数のショットを図３に示すように分類・階層化する。
【００３４】
図中、「Ａ１」「Ｂ１」などと記された個々の矩形がショットである。図示するように、ショット分割部１１１で分割されたショットは類似度が閾値以下のもの同士のグループ（図示する例ではＡ・Ｂ・Ｃの３グループ）に分類されており、各グループ内では特によく類似するもの同士が矢印で結ばれている。すなわち、たとえばＡグループ内の１０個のショットのうち、「Ａ１」との類似度が特に高いショットは「Ａ２１」「Ａ２２」「Ａ２３」の３つであり、「Ａ２１」との類似度が特に高いショットは「Ａ３１」であり、「Ａ３１」との類似度が特に高いショットは「Ａ４１０」「Ａ４１１」の２つである。
【００３５】
なお、もとの映像内での各ショットの並び順はたとえば図４のようであるものとする。図３では「Ａ２１」は「Ａ３１」の前に位置しているが、図４によれば「Ａ２１」は「Ａ３１」よりも時系列的に後のショットである。また、図３では「Ａ２１」のほうが「Ａ２２」よりも上に位置しているが、図４によれば「Ａ２１」は「Ａ２２」よりも時系列的に後のショットである。このように、図３のツリー内での各ショットの位置はもっぱらショット間の類似度によって決まり、各ショットの映像内での出現順序とは無関係である。
【００３６】
もっとも、ショット間の類似度のほかに、時系列（各ショットの映像内での出現順序）もある程度考慮して構造化を行うようにしてもよい。たとえば図３のように構造化されたショットは、映像内では図５に示すような並び順になっているものとする。この場合は図３でも図５でも、「Ａ２１」は「Ａ３１」の前に位置している。すなわち図３のツリーの枝をルートから辿ったときのショットの出現順序は、映像内での各ショットの出現順序と一致している（時系列的に先のショットほどツリーの上位に位置している、と言ってもよい）。しかしながら、ツリーの同階層にあるショット間の時系列的な順序は不明である。たとえば、図３中「Ａ３１」は「Ａ３２０」より上に位置しているが、図５によれば「Ａ３１」は「Ａ３２０」よりも時系列的に後のショットである。このように、類似度のほかに時系列も考慮してショットを構造化する場合は、ローカルデコードやデコードに必要なフレームメモリの容量を少なくすることができる。
【００３７】
また、ショット構造化部１１２はショットを分類・階層化するとともに、各ショット内のフレームのうち少なくとも一つを代表フレームとして選出する。図３中、各ショットの下に「ＫA1」「ＳA21」などとあるのが代表フレームであり、たとえば「Ａ１」ではショットの先頭付近のフレーム、「Ａ２１」ではショットの中間付近のフレームが、それぞれ代表フレームとなっている。
【００３８】
なお、ショット内のどのフレームを代表フレームとするかは本発明では特に問わないが、符号効率の観点から、ショット内の他のフレームとの差ができるだけ小さいフレーム（たとえばショット内の他のフレームとの類似度の総和Ｓ＝Ｄk,a＋Ｄk,b＋Ｄk,c＋・・・＋Ｄk,nが最小となるフレームｋ）を代表フレームとするのが望ましい。もっともより簡便には、たとえば図６に示すように、一律に各ショットの先頭フレームを代表フレームとして選出してもよい。
【００３９】
そして本発明では、各グループのツリーのルートに位置するショットの代表フレームを「キーフレーム」、上記以外のショットの代表フレームを「サブキーフレーム」と呼び、前者についてはそのフレーム単独で（すなわち他のフレームを参照せずに）イントラ符号化を行うとともに、後者については同一グループ内のキーフレームあるいはサブキーフレームからの予測符号化を行う。
【００４０】
図３の矢印はこの予測の方向を意味している。図中Ａグループで説明すると、まずそのキーフレーム、すなわちツリー最上位の「Ａ１」の代表フレームである「ＫA1」はイントラフレームとなる。そして一つ下の第２階層、すなわち「Ａ２１」「Ａ２２」「Ａ２３」の代表フレームであるサブキーフレーム「ＳA21」「ＳA22」「ＳA23」は、いずれも「ＫA1」を参照して符号化（「ＫA1」との差分が符号化）されることになる。さらに一つ下の第３階層、すなわち「Ａ３１」「Ａ３２０」「Ａ３２１」「Ａ３３」の代表フレームであるサブキーフレーム「ＳA31」「ＳA320」「ＳA321」「ＳA33」は、それぞれ「ＳA21」「ＳA22」「ＳA22」「ＳA23」を参照して符号化される。そしてさらに一つ下の第４階層、すなわち「Ａ４１０」「Ａ４１１」の代表フレームであるサブキーフレーム「ＳA410」「ＳA411」は、いずれも「ＳA31」を参照して符号化される。
【００４１】
なお、キーフレームやサブキーフレームといった代表フレーム以外のフレームを「通常フレーム」と呼び、これらの参照先は従来のＪＰＥＧやＭＰＥＧと同様としてもよいが、ここでは一律に、通常フレームの参照先はその属するショットの代表フレームであるものとする（通常フレームについては同一ショット内のキーフレームまたはサブキーフレームからの予測符号化を行う、と言ってもよい）。この場合図３の各グループでは、それぞれそのキーフレーム、具体的には「ＫA1」「ＫB1」「ＫC1」のみがイントラフレームとなる。しかも、サブキーフレームや通常フレームでも参照先を自己に類似するフレームの中から選択しているので、予測効率が向上し、データ発生量の削減（圧縮率の向上）あるいは同じ発生量のもとでは画質の向上が可能となる。また、たとえばイントラフレームの間隔を長くしてデータ量を減らした場合と比べてランダムアクセス性がよくなる。
【００４２】
ただし、このように類似度を基礎として参照フレームを選択する反面として、本発明では必ずしも符号化対象フレームの近傍（符号化対象フレームから所定距離内）に参照フレームが存在するとは限らないので、対象フレームを符号化しようとしたときに、図１のローカルデコード画像記憶メモリ１０７に参照フレームのローカルデコード画像が存在しない可能性がある。そこで、本発明では図１に示すような参照フレーム記憶メモリ１１３を設け、ここに他のフレームから参照される可能性のあるフレーム（具体的にはキーフレームやサブキーフレーム）のローカルデコード画像を蓄積しておく。なお図１では、ローカルデコード画像記憶メモリ１０７と参照フレーム記憶メモリ１１３とを別個のメモリとして示したが、これは概念的な区別であって、実際には同一のメモリであってもよい。
【００４３】
一方ショット構造化部１１２は、図３や図６に模式的・概念的に示したショット間の構造を「構造化情報」として保持している。この構造化情報は、具体的には映像内の各フレームが入力バッファメモリ１００のどこに保持されているか（フレーム位置情報）や、どのフレームがどのフレームを参照しているか（参照フレーム選択情報）などの情報からなる。なお、この構造化情報はショット構造化部１１２内でなく、入力バッファメモリ１００に保持しておき、ショット構造化部１１２から逐次読み出すようにしてもよい。また、入力バッファメモリ１００内でのフレームの並び順（物理的な並び順）はどのようであってもよい。
【００４４】
そしてショット構造化部１１２は、参照フレーム選択情報により特定される符号化順序（他のフレームを参照するフレームは、当該参照フレームが符号化された後でなければ符号化することができない）に従って、入力バッファメモリ１００内のフレームを順次出力させる。このとき、出力された符号化対象フレームがサブキーフレームあるいは通常フレームだった場合は、参照フレーム記憶メモリ１１３に指示して、上記フレームの参照フレームとなるキーフレームあるいはサブキーフレーム（以前に符号化されローカルデコードされたもの）を、動きベクトル検出部１０８およびフレーム間動き補償部１０９に出力させる。
【実施例】
【００４５】
図７は、この発明の実施の形態にかかる画像処理装置における、画像符号化処理の手順を示すフローチャートである。まず、入力バッファメモリ１００内の映像をショット分割部１１１で複数のショットに分割し（ステップＳ７０１）、次にショット構造化部１１２で、ショット間の類似度を基礎として上記ショットを構造化する（ステップＳ７０２）。
【００４６】
図８は、ショット構造化部１１２によるショット構造化（図７のステップＳ７０２）の手順を詳細に示すフローチャートである。すなわち上述のように、ショット構造化部１１２は各ショットについてその特徴ベクトルを算出し（ステップＳ８０１）、次にこれらの特徴ベクトル間の距離、すなわち各ショット間の類似度を算出する（ステップＳ８０２）。そしてこの類似度により、上記ショットを複数のグループに分類し（ステップＳ８０３）、さらに各グループ内で、特に類似度の高いショット同士をリンクして図３や図６のように階層化する（ステップＳ８０４）。その後、各ショットについてその代表フレームを選出する（ステップＳ８０５）。
【００４７】
図７の説明に戻り、上記の手順で映像内のショットを構造化すると、次に本装置は入力バッファメモリ１００内に未処理のフレームがある限り（ステップＳ７０３：Ｎｏ）、個々のフレームについてステップＳ７０３〜７１０の処理を繰り返す。すなわち、入力バッファメモリ１００から出力された符号化対象フレームが代表フレーム、しかもその中でも上述のキーフレームだった場合（ステップＳ７０４：Ｙｅｓ、ステップＳ７０５：Ｙｅｓ）、当該フレームは変換部１０１・量子化部１０２による変換・量子化の後（ステップＳ７０６）、エントロピー符号化部１０３により符号化される（ステップＳ７０７）。その一方で、変換・量子化後のデータは逆量子化部１０５・逆変換部１０６によりローカルデコード（逆量子化および逆変換）され（ステップＳ７０８）、ローカルデコード画像記憶メモリ１０７および参照フレーム記憶メモリ１１３に蓄積される。
【００４８】
一方、入力バッファメモリ１００から出力された符号化対象フレームが代表フレーム、しかもその中でも上述のサブキーフレームだった場合（ステップＳ７０４：Ｙｅｓ、ステップＳ７０５：Ｎｏ）、まず動きベクトル検出部１０８で、入力バッファメモリ１００から入力した符号化対象フレームと参照フレーム記憶メモリ１１３から入力した参照フレーム（具体的には、符号化対象フレームが属するグループのキーフレーム）との間の動きベクトルが計算される。次にフレーム間動き補償部１０９で動き補償予測が行われ（以上ステップＳ７０９）、参照フレームとの差分のみが変換・量子化（ステップＳ７０６）およびエントロピー符号化（ステップＳ７０７）される。また、変換・量子化後のデータは逆量子化部１０５・逆変換部１０６によりローカルデコード（逆量子化および逆変換）され（ステップＳ７０８）、先に差し引かれている参照フレームと足し合わされて、ローカルデコード画像記憶メモリ１０７および参照フレーム記憶メモリ１１３に蓄積される。
【００４９】
一方、入力バッファメモリ１００から出力された符号化対象フレームが通常フレームだった場合（ステップＳ７０４：Ｎｏ）も、同様に参照フレーム記憶メモリ１１３内の参照フレーム（具体的には、符号化対象フレームが属するショット内のキーフレームまたはサブキーフレーム）からの動き補償予測を行い（ステップＳ７１０）、参照フレームからの差分のみを変換・量子化（ステップＳ７０６）およびエントロピー符号化（ステップＳ７０７）する。また、変換・量子化後のデータは逆量子化部１０５・逆変換部１０６によりローカルデコード（逆量子化および逆変換）され（ステップＳ７０８）、先に差し引かれている参照フレームと足し合わされて、ローカルデコード画像記憶メモリ１０７および参照フレーム記憶メモリ１１３に蓄積される。そして、対象映像中の全フレームについてステップＳ７０４〜Ｓ７１０を終えた時点で、図示するフローチャートによる処理を終了する（ステップＳ７０３：Ｙｅｓ）。
【００５０】
なお通常フレームの動き補償予測（ステップＳ７１０）においては、ＭＰＥＧ−１やＭＰＥＧ−２で採用されている単純な平行移動の動き補償予測を用いれば処理量を少なくできる。一方サブキーフレームは他のフレームより数が少なく、多少処理量が多くてもよいので、サブキーフレームの動き補償予測（ステップＳ７０９）では画像の拡大・縮小、回転等が表現できるよう、ＭＰＥＧ−４で採用されているアフィン変換等を用いると符号化後のデータ量がより少なくなり効果的である。もっとも、本発明では動き補償予測の手法は特に問わない（通常フレームとサブキーフレームとで扱いを変える必要もない）。また、フレーム間動き補償予測の手法には大別して下記２つがあり、ここでは（１）を採用しているが、（２）を採用するのであってももちろんよい。
【００５１】
（１）グローバル動き補償予測（図９）
これは参照フレーム内の四角形領域を、符号化対象フレームの矩形領域にワーピング処理（平行移動、拡大／縮小、回転、アフィン変換、透視変換など）するものである。具体例としては、たとえばＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）の７．８章「Ｓｐｒｉｔｅ ｄｅｃｏｄｉｎｇ」がある。このグローバル動き予測により、フレーム全体の動きを捉えることができ、フレーム内のオブジェクトの位置ずれ／変形の修正が可能となる。
【００５２】
（２）ブロック単位での動き補償予測（図１０）
これは符号化対象フレームを正方格子状に分割し、このブロック単位で（１）と同様のワーピング処理を行うものである。ワーピング処理の一例としてたとえば平行移動の場合、個々のブロックごとに参照フレーム内で最も誤差が小さくなる領域を探索し、符号化対象フレームの各ブロックと、参照フレームの各探索結果領域の位置ずれを動きベクトル情報として伝送する。このブロックの大きさはＭＰＥＧ−１やＭＰＥＧ−２では１６×１６画素（「マクロブロック」と呼ばれる）である。さらにＭＰＥＧ−４では８×８画素、Ｈ．２６４では４×４画素の小さなブロックも許される。なお参照フレームは一つに限定されず、複数の参照フレームから最適な領域を選択するようにしてもよい。この場合は動きベクトル情報のほかに、参照フレーム選択情報（参照フレームの番号もしくはＩＤ）も伝送する必要がある。このブロック単位での動き予測により、フレーム内の局所的なオブジェクトの動きに対応できる。
【００５３】
なお、上述した実施の形態では映像内のショットを類似するグループに分類後、さらにグループ内で階層化したが、分類だけして階層化は省略するようにしてもよい。この場合、ショットの構造化は映像内で図１１のように並んだショットを、図１２のようにグループ単位に並び替えたのと同等であり、単純にＭＰＥＧ−２などの従来技術で符号化することも可能となる。違うグループに移る時には大きなシーンチェンジを伴うので、そこだけＩフレームにし（具体的には「Ａ１」「Ｂ１」「Ｃ１」の各先頭フレーム）、他はＰフレームのみ、またはＰフレームとＢフレームを用いて圧縮する。このようにすると、データ量の多いＩフレームを大幅に削減できる。なお、ショットの並び替え情報はＭＰＥＧ−２のユーザデータに保存するか、ＭＰＥＧ−２の符号の外側のアプリケーションレベルのデータに保存すればよい。
【００５４】
また、上述した実施の形態では構造化はフレーム単位で行ったが、さらに細かくフレーム内のエリアやオブジェクト単位で類似するフレームを参照するようにすれば、予測効率がより向上する。
【００５５】
なお、上述した実施の形態では入力バッファメモリ１００として、映像内の全フレームが保持できる大容量のメモリが必要になる（たとえば、二時間のコンテンツの符号化には二時間分のフレームメモリが必要になる）が、構造化する単位を小さくしていけばその分のメモリ容量でよい。また、動画像を実時間で読み書きできる高速ハードディスク装置であれば容量は現時点で十分であり、メモリと同等に扱える。
【００５６】
また、ハードディスクドライブ（ハードディスクレコーダ）やテープドライブ（テープレコーダ：ＶＴＲ）などの蓄積メディアに記録されている映像を符号化する場合は、実時間（リアルタイム）で符号化しないで、いわゆる２パスエンコードなどのマルチパスエンコードを行えば、大容量メモリは必要なく現実的である。すなわち１パス目でコンテンツ全体を調べて、ショットの分割と構造化を行い、その結果（構造化情報）のみをメモリに記憶しておく。そして２パス目で上記情報に従って、蓄積メディアから各フレームを読み出せばよい。
【００５７】
このように本発明は、マルチパスによる映像符号化が可能、つまり符号化遅延が問題とされない分野での映像符号化に適している。応用例としては流通メディア（次世代光ディスクなど）の映像符号化、蓄積メディアにためたコンテンツのトランスコーディング（データ量圧縮、メモリカードへのムーブなど）が挙げられる。他にもブロードバンド・ストリーミングや録画済み（符号化済み）番組の放送用の映像符号化としても利用可能である。
【００５８】
次に、図１３はこの発明の実施の形態にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図１のエンコーダと図１３のデコーダとは一対であり、図１のエンコーダで符号化された映像が図１３のデコーダで復号される。
【００５９】
図１３中、入力バッファメモリ１３００、エントロピー復号部１３０１、逆量子化部１３０２、逆変換部１３０３およびフレーム間動き補償部１３０４の機能は、従来技術によるＪＰＥＧ／ＭＰＥＧデコーダと同一である。
【００６０】
１３０５は入力バッファメモリ１３００に蓄積された符号化ストリームから、上述の構造化情報を抽出する構造化情報抽出部である。ここで抽出された構造化情報中の参照フレーム選択情報は、後段のフレーム間動き補償部１３０４で復号対象フレームの参照フレームを特定するために、またフレーム位置情報は、入力バッファメモリ１３００から出力すべきフレームのアドレスを特定するために、それぞれ使用される。また、１３０６はフレーム間動き補償部１３０４による動き補償で使用される、参照フレーム（具体的にはキーフレームおよびサブキーフレーム）を保持する参照フレーム記憶メモリである。
【００６１】
図１４は、この発明の実施の形態にかかる画像処理装置における、画像復号処理の手順を示すフローチャートである。まず構造化情報抽出部１３０５で、入力バッファメモリ１３００内の符号化ストリームから上述の構造化情報を抽出する（ステップＳ１４０１）。なお、ここでは構造化情報は他の符号化ストリームと多重化されており、復号時にストリームから分離されるものとするが、多重化されず別々のストリームとして伝送されるのでもよい。また、符号化ストリームの構成もどのようであってもよいが、ここではたとえばその先頭部分で、構造化情報および代表フレーム（他のフレームから参照されるフレーム）を伝送するようにする。
【００６２】
そして、まずこれらの代表フレームをエントロピー復号部１３０１により復号し（ステップＳ１４０３）、逆量子化部１３０２による逆量子化（ステップＳ１４０４）、逆変換部１３０３による逆変換（ステップＳ１４０５）を行う。ここで、復号対象フレームがキーフレームであれば（ステップＳ１４０６：Ｙｅｓ）そのまま、キーフレームでなくサブキーフレームであればサブキーフレーム用の動き補償予測の後（ステップＳ１４０６：Ｎｏ、ステップＳ１４０７）、得られた復号画像を参照フレーム記憶メモリ１３０６に保存する（ステップＳ１４０８）。
【００６３】
そして代表フレームを復号し終えると（ステップＳ１４０２：Ｙｅｓ）、次に入力バッファメモリ１３００内に未処理のフレームがある限り（ステップＳ１４０９：Ｎｏ）、出力する順序で当該フレームを取り出し、エントロピー復号部１３０１による復号（ステップＳ１４１０）、逆量子化部１３０２による逆量子化（ステップＳ１４１１）、逆変換部１３０３による逆変換（ステップＳ１４１２）を行う。
【００６４】
次に、復号対象フレームがキーフレームの場合（ステップＳ１４１３：Ｙｅｓ、ステップＳ１４１４：Ｙｅｓ）はそのまま、サブキーフレームの場合はサブキーフレーム用の動き補償予測の後（ステップＳ１４１３：Ｙｅｓ、ステップＳ１４１４：Ｎｏ、ステップＳ１４１５）、通常フレームの場合は通常フレーム用の動き補償予測の後（ステップＳ１４１３：Ｎｏ、ステップＳ１４１６）、得られた復号画像を出力する。そして、符号化ストリーム中の全フレームについてステップＳ１４１０〜Ｓ１４１６を終えた時点で、図示するフローチャートによる処理を終了する（ステップＳ１４０９：Ｙｅｓ）。
【００６５】
このように、本実施の形態では他のフレームから参照されるフレームを先にまとめて復号しておくので、図１３に示すように、復号画像を蓄積しておくためのバッファメモリを特に設ける必要がない（参照フレーム記憶メモリ１３０６があれば足りる）。また、符号化ストリームを入力バッファメモリ１３００の代わりに、ハードディスク等の記録媒体から直接ランダムアクセスにより読み出せば、入力バッファメモリ１３００の容量も小さくて済みより現実的である。ただし、もちろん他の構成でも構わない。
【００６６】
なお、上記フローでは代表フレームについては二重に復号を行っているが、後段の復号は省略する（前段の復号で参照フレーム記憶メモリ１３０６に保存されている復号画像を後段でそのまま出力する）ようにしてももちろんよい。
【００６７】
このように、請求項１・請求項６・請求項１１に記載の発明によれば、符号化対象の映像を構成する複数のショットの類似性（情報の冗長性）に着目して、類似ショット内のイントラフレームは１つだけとし、その他のフレームについては類似する参照フレームからの予測符号化を行うので、符号化ストリームのデータ量を抑制できる。また、請求項２・請求項７・請求項１２に記載の発明によれば、参照フレームを必ず時系列的に前のフレームから選択する（時系列的に後のフレームを参照することはない）ので、ローカルデコードやデコードに必要なメモリが少なくて済む。また、請求項３・請求項８・請求項１３に記載の発明によれば、類似ショットの中でも特に類似度の高いショットの中から参照フレームを選択するので、それだけ予測効率が向上する。また、請求項４・請求項５・請求項９・請求項１０・請求項１４・請求項１５に記載の発明によれば、請求項１・請求項６・請求項１１に記載の発明により、ショット間の類似性を利用して効率よく符号化された映像を復号できる。
【００６８】
なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをプロセッサやマイクロコンピュータ等の演算処理装置で実行することにより実現することができる。このプログラムは、ＲＯＭ、ＨＤ、ＦＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ等の演算処理装置で読み取り可能な記録媒体に記録され、演算処理装置によって記録媒体から読み出されて実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【０００１】
この発明は、動画像を符号化あるいは復号する画像処理装置、画像処理方法、および画像処理プログラムに関する。ただし本発明の利用は、上述した画像処理装置、画像処理方法、および画像処理プログラムに限らない。
【背景技術】
【０００２】
動画像の符号化における符号効率の向上、動画像へのアクセス方法の多様化、動画像のブラウジングの容易化、ファイル形式変換の容易化などといった様々な目的で、動画像の構造化（具体的にはフレーム順序の並び替え、ショット単位での階層化など）を行う従来技術としては、たとえば下記特許文献１〜５に記載の発明などがあった。
【０００３】
このうち特許文献１に記載の従来技術では、ファイル作成手段により動画像データのフレーム単位での並び換え順序を示す編集情報を作成する。また、画像圧縮手段は編集前の動画像データを前フレームとの差分を基に圧縮符号化し、その符号化データを上記編集情報ファイルと共に出力手段から送信する。
【０００４】
また、特許文献２に記載の従来技術では、画像データ列メモリ部に保存された予測符号化画像データを読み出し、階層分離部でそのデータ構造が持つ階層に応じて階層に分離する。次に、分離された階層から画像データの持つ物理的特徴、すなわち一般性を有しコンテントを反映した特徴を、画像特徴抽出部にて抽出する。次に、これらの物理的特徴から各々の画像を特徴付ける特徴ベクトルを特徴ベクトル生成部にて生成する。次に、その特徴ベクトル間での距離を算出して特徴ベクトルを、分割・統合部にて分割・統合して映像を深い階層構造で自動的に構造化し、特徴ベクトル管理部にて蓄積、管理する。
【０００５】
また、特許文献３に記載の従来技術は、動画像を符号化し、該符号化された動画像を各ショットに分割し、ついで分割されたショット毎の類似度を用い、ショットを統合してシーンを抽出処理することを特徴とした動画像の自動階層構造化方法であり、かつまたこの階層構造化されたデータを用いて動画像全体の内容把握、所望のシーンまたはショットの検出を容易にすることを特徴とした動画像のブラウジング方法にかかるものである。
【０００６】
また、特許文献４に記載の従来技術では、複数のカメラで撮像した複数チャンネルの映像信号を切替手段で順番に切り替え、並び替え手段でチャンネル毎にＧＯＰ単位で並び替え、ＭＰＥＧ圧縮手段で圧縮して記録手段に記録するとともに、ＭＰＥＧ伸張手段で各チャンネル毎に伸張し、表示制御手段で映像データを多画面表示できるように、データサイズを圧縮して複数の表示用メモリの所定位置に各チャンネルの入力順にまとめて保存、再生し、画像出力手段がモニタの１画面に多画面表示する。
【０００７】
また、特許文献５に記載の従来技術では、第１の動画像符号化データ形式であるＭＰＥＧ−２形式のビットストリームＡ１をＭＰＥＧ−２デコーダによりデコードして得られた再生動画像信号Ａ２及びサイド情報Ａ３をサイズ変換部により第２の動画像符号化データ形式であるＭＰＥＧ−４形式に適した形態に変換し、変換後の再生画像信号Ａ４を変換後のサイド情報Ａ５に含まれる動きベクトル情報を利用してＭＰＥＧ−４エンコーダによってエンコードすることによりＭＰＥＧ−４形式のビットストリームＡ６を得ると同時に、インデキシング部によりサイド情報Ａ５に含まれる動きベクトルを利用してインデキシング処理を行い、構造化データＡ７を得る。
【０００８】
【特許文献１】
特開平８−１８６７８９号公報
【特許文献２】
特開平９−２９４２７７号公報
【特許文献３】
特開平１０−２５７４３６号公報
【特許文献４】
特開２００１−０５４１０６号公報
【特許文献５】
特開２００２−１８５９６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一方、動画像の符号化における符号効率の向上を目的として、従来様々な予測方式が提案されてきた。たとえばＭＰＥＧ−１では前方向予測フレーム（Ｐフレーム）や両方向予測フレーム（Ｂフレーム）の採用により、ＭＰＥＧ−２ではフィールド予測の採用により、ＭＰＥＧ−４ ｐａｒｔ＿２ではスプライト符号化やＧＭＣ（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｃｏｍｐｅｎｓａｔｉｏｎ：グローバル動き補償予測）の採用により、ＩＴＵ−ＴＨ．２６４／ＭＰＥＧ−４ ｐａｒｔ＿１０（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では複数参照フレームの採用により、それぞれ符号効率を向上させている。
【００１０】
ところで符号化対象となる映像の中には、通常、以下に例示するような相互に類似するショット（連続する複数フレーム）が多く含まれている。
・ニュース番組におけるニュースキャスターへのバストショット
・野球での投球／バッティングシーン、テニスのサーブシーン、スキージャンプの滑降／飛行シーンなど
・スポーツ番組などにおけるハイライトシーンの繰り返し
・バラエティ番組などにおけるＣＭ前後の同一ショットの繰り返し
・二人の会話シーンにおける互いへのアップショットの繰り返しを考えた場合の、各人へのアップショット
・連続ドラマを全話通して考えた場合の、オープニングやエンディング、あるいは前話の回想シーンなど
・同一ＣＭの繰り返し
【００１１】
同一ショットの繰り返しはもとより、固定カメラからの同一アングルへのショットはしばしば類似ショットとなる。そして、こうした類似ショットは独立して符号化するよりも、一方をもう一方の参照フレームとしてそれらの差分を符号化したほうが、全体として符号量が削減できると期待できる。
【００１２】
しかしながら従来のＭＰＥＧにおいては、対象映像全体の構造、たとえば上記のような類似ショットの繰り返しを符号化に利用せず（言い換えれば、類似ショット間の情報量の冗長性を利用せず）、通常ほぼ時系列順に符号化を行うため、たとえばそのぶん符号効率が悪いなどの問題点があった。具体的には、映像中にシーンチェンジがあった場合の従来技術における予測方法は下記（１）〜（３）のようになっていた。
【００１３】
（１）一定間隔でＩフレームを挿入（図１５（１））
シーンチェンジの有無にかかわらず、Ｉフレームの間隔は一定とするものである。この場合、シーンチェンジ直後のインターフレーム（具体的にはそのうちＰフレーム）の発生量が多くなる（予測誤差が大きくなるため）。また、インターフレームは発生量をあまり多くできない場合が多く画質が劣化する。
［００１４］
（２）シーンチェンジ時にもＩフレームを挿入（図１５（２））
基本的には一定間隔でＩフレームを挿入するが、シーンチェンジを検出したときはそのタイミングでもＩフレームを挿入するものである。この場合画質は改善されるが、Ｉフレームなので発生量が多く、そのぶん他のインターフレームの配分が減ることになり、総合的には画質が良くなるとは言えない。
［００１５］
（３）参照フレームを複数の候補から選択
Ｈ．２６４（ＭＰＥＧ−４ ｐａｒｔ＿１０ ＡＶＣ）などで採用されている方式であるが、Ｈ．２６４の場合、参照フレームとして選べるフレームの数に上限がある。また、参照フレームは符号化対象フレームから所定距離内に存在する必要がある。
【課題を解決するための手段】
［００１６］
上述した課題を解決し、目的を達成するため、請求項１の発明にかかる画像処理装置は、動画像を連続する複数の画像からなる複数のショットに分割するショット分割手段と、前記ショット分割手段により分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化手段と、前記動画像中の符号化対象画像と、前記ショット構造化手段による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出手段と、前記動き検出手段により検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償手段と、前記符号化対象画像と前記動き補償手段により生成された予測画像との差分を符号化する符号化手段と、を備えることを特徴とする。
［００１７］
また、請求項４の発明にかかる画像処理装置は、動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出手段と、前記構造化情報抽出手段により抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号手段と、前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出手段により抽出された情報中で指定され、前記第１の復号手段により復号された参照画像を用いて復号する第２の復号手段と、を備えることを特徴とする。
［００１８］
また、請求項６の発明にかかる画像処理方法は、動画像を連続する複数の画像からなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化工程と、前記動画像中の符号化対象画像と、前記ショット構造化工程による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出工程と、前記動き検出工程で検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償工程と、前記符号化対象画像と前記動き補償工程で生成された予測画像との差分を符号化する符号化工程と、を含むことを特徴とする。
［００１９］
また、請求項９の発明にかかる画像処理方法は、動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショット複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして同グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出工程と、前記構造化情報抽出工程で抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号工程と、前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出工程で抽出された情報中で指定され、前記第１の復号工程で復号された参照画像を用いて復号する第２の復号工程と、を含むことを特徴とする。
［００２０］
また、請求項１１の発明にかかる画像処理プログラムは、動画像を連続する複数の画像からなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化工程と、前記動画像中の符号化対象画像と、前記ショット構造化工程による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出工程と、前記動き検出工程で検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償工程と、前記符号化対象画像と前記動き補償工程で生成された予測画像との差分を符号化する符号化工程と、をプロセッサに実行させることを特徴とする。
［００２１］
また、請求項１４の発明にかかる画像処理プログラムは、動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショット複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出工程と、前記構造化情報抽出工程で抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号工程と、前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出工程で抽出された情報中で指定され、前記第１の復号工程で復号された参照画像を用いて復号する第２の復号工程と、をプロセッサに実行させることを特徴とする。
【図面の簡単な説明】
【００２２】
【図１】図１は、この発明の実施の形態にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。
【図２】図２は、特徴量ベクトルの基礎となる各ショットの特徴量を模式的に示す説明図である。
【図３】図３は、ショット構造化部１１２により構造化されたショットを模式的に示す説明図である。
【図４】図４は、図３のように構造化されたショットの映像内での並び順の一例を示す説明図である。
【図５】図５は、図３のように構造化されたショットの映像内での並び順の他の一例を示す説明図である。
【図６】図６は、ショット構造化部１１２により構造化されたショットを模式的に示す説明図である（各ショットの先頭フレームを代表フレームとする場合）。
【図７】図７は、この発明の実施の形態にかかる画像処理装置における、画像符号化処理の手順を示すフローチャートである。
【図８】図８は、ショット構造化部１１２によるショット構造化の手順（図７のステップＳ７０２）を詳細に示すフローチャートである。
【図９】図９は、グローバル動き補償予測の概念を模式的に示す説明図である。
【図１０】図１０は、ブロック単位の動き補償予測の概念を模式的に示す説明図である。
【図１１】図１１は、図１２のように構造化されたショットの映像内での並び順の一例を示す説明図である。
【図１２】図１２は、ショット構造化部１１２により構造化されたショットを模式的に示す説明図である（グループ内のショットに階層がない場合）。
【図１３】図１３は、この発明の実施の形態にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。
【図１４】図１４は、この発明の実施の形態にかかる画像処理装置における、画像復号処理の手順を示すフローチャートである。
【図１５】図１５は、従来技術におけるＩフレームの挿入タイミングを模式的に示す説明図である。
【符号の説明】
【００２３】
１００、１３００ 入力バッファメモリ
１０１ 変換部
１０２ 量子化部
１０３、１３０１ エントロピー符号化部
１０４ 符号化制御部
１０５、１３０２ 逆量子化部
１０６、１３０３ 逆変換部
１０７ ローカルデコード画像記憶メモリ
１０８ 動きベクトル検出部
１０９、１３０４ フレーム間動き補償部
１１０ 多重化部
１１１ ショット分割部
１１２ ショット構造化部
１１３、１３０６ 参照フレーム記憶メモリ
１３０５ 構造化情報抽出部
【発明を実施するための最良の形態】
【００２４】
以下に添付図面を参照して、この発明にかかる画像処理装置、画像処理方法、および画像処理プログラムの好適な実施の形態を詳細に説明する。
【００２５】
（実施の形態）
図１は、この発明の実施の形態にかかる画像処理装置（エンコーダ）の構成の一例を示す説明図である。図中１００〜１１０は、従来技術によるＪＰＥＧ／ＭＰＥＧエンコーダと同一である。すなわち１００は、符号化対象となる映像の各フレームを保持する入力バッファメモリ、１０１は符号化対象フレーム（から参照フレームを差し引いた予測誤差）について離散コサイン変換（ＤＣＴ）や離散ウェーブレット変換（ＤＷＴ）などを行う変換部、１０２は上記変換後のデータを所定のステップ幅で量子化する量子化部、１０３は上記量子化後のデータや、後述する動きベクトル情報、構造化情報などを符号化する（その手法は特に問わない）エントロピー符号化部、１０４は量子化部１０２およびエントロピー符号化部１０３の動作を制御する符号化制御部である。
【００２６】
１０５は量子化後／符号化前のデータを逆量子化する逆量子化部、１０６は逆量子化後のデータをさらに逆変換する逆変換部、１０７は逆変換後のフレームに参照フレームを足し合わせたもの、すなわちローカルデコード画像を一時的に保持するローカルデコード画像記憶メモリである。
【００２７】
また、１０８は符号化対象フレームと参照フレームとの間の動き情報、具体的にはここでは動きベクトルを計算する動きベクトル検出部、１０９は計算された動きベクトルに従って、参照フレームから符号化対象フレームの予測値（フレーム）を生成するフレーム間動き補償部である。１１０は符号化後の映像や動きベクトル情報、後述する構造化情報などを多重化する多重化部である。なお、これらの情報は多重化せず、別々のストリームとして伝送するのであってもよい（多重化する必要があるかどうかはアプリケーションに依存する）。
【００２８】
次に、本発明の特徴部分である１１１〜１１３の各部について説明する。まず、１１１はショット分割部であり、入力バッファメモリ１００内の映像を連続する複数フレーム、すなわち「ショット」に分割する機能部である。このショットの分割点となるのは、たとえば上記映像中での画像特徴量の変化点や、背景音声の特徴量の変化点である。このうち画像特徴量の変化点としては、たとえば画面の切り替わり（シーンチェンジ、カット点）や、カメラワークの変化点（シーンチェンジ／パン／ズーム／静止などの変化点）などが考えられる。もっとも、分割点をどこにするかやその分割点をどうやって特定するか（言い換えれば、ショットをどのように構成するか）は本発明では特に問わない。
【００２９】
１１２はショット構造化部であり、ショット分割部１１１で分割された複数のショットを、ショット間の類似度に応じて構造化する機能部である。ショット間の類似度をどのようにして算出するかも本発明では特に問わないが、ここではたとえば各ショットにつき、その特徴量ベクトルＸを求め、特徴量ベクトル間のユークリッド距離をショット間の類似度であるとみなす。
【００３０】
たとえばショットａの特徴量ベクトルＸａは、ショットａをＮ個に分割して得られた各部分ショットの累積カラーヒストグラムを要素とする多次元のベクトルであるものとする。図２に示すようにＮ＝３のとき、
Ｘａ＝｛ＨＳａ、ＨＭａ、ＨＥａ｝
ただしＨＳａ：図中「開始分割ショット」の累積カラーヒストグラム
ＨＭａ：図中「中間分割ショット」の累積カラーヒストグラム
ＨＥａ：図中「終了分割ショット」の累積カラーヒストグラム
なおＨＳａ、ＨＭａ、ＨＥａ自体も多次元の特徴量ベクトルである。
【００３１】
なお「カラーヒストグラム」とは、色空間を複数の領域に分割し、フレーム内の全画素について各領域での出現数をカウントしたものである。色空間としてはたとえばＲＧＢ（Ｒ／赤、Ｇ／緑、Ｂ／青）、ＹＣｂＣｒ（Ｙ／輝度、ＣｂＣｒ／色差）のＣｂＣｒ成分、ＨＳＶ（Ｈｕｅ／色相、Ｓａｔｕｒａｔｉｏｎ／彩度、Ｖａｌｕｅ／明度）のＨｕｅ成分が利用される。得られたヒストグラムをフレーム内の画素数で正規化することで、サイズが異なる画像同士の比較も可能となる。この正規化されたヒストグラムをショット内の全フレームについて累積したものが「累積カラーヒストグラム」である。
【００３２】
次に、ショットａとショットｂの類似度Ｄa,bを、上記で求めた特徴量ベクトルを用いてたとえば下記式により算出する。
【００３３】
【数１】
【００３４】
図中、「Ａ１」「Ｂ１」などと記された個々の矩形がショットである。図示するように、ショット分割部１１１で分割されたショットは類似度が閾値以下のもの同士のグループ（図示する例ではＡ・Ｂ・Ｃの３グループ）に分類されており、各グループ内では特によく類似するもの同士が矢印で結ばれている。すなわち、たとえばＡグループ内の１０個のショットのうち、「Ａ１」との類似度が特に高いショットは「Ａ２１」「Ａ２２」「Ａ２３」の３つであり、「Ａ２１」との類似度が特に高いショットは「Ａ３１」であり、「Ａ３１」との類似度が特に高いショットは「Ａ４１０」「Ａ４１１」の２つである。
【００３５】
なお、もとの映像内での各ショットの並び順はたとえば図４のようであるものとする。図３では「Ａ２１」は「Ａ３１」の前に位置しているが、図４によれば「Ａ２１」は「Ａ３１」よりも時系列的に後のショットである。また、図３では「Ａ２１」のほうが「Ａ２２」よりも上に位置しているが、図４によれば「Ａ２１」は「Ａ２２」よりも時系列的に後のショットである。このように、図３のツリー内での各ショットの位置はもっぱらショット間の類似度によって決まり、各ショットの映像内での出現順序とは無関係である。
【００３６】
もっとも、ショット間の類似度のほかに、時系列（各ショットの映像内での出現順序）もある程度考慮して構造化を行うようにしてもよい。たとえば図３のように構造化されたショットは、映像内では図５に示すような並び順になっているものとする。この場合は図３でも図５でも、「Ａ２１」は「Ａ３１」の前に位置している。すなわち図３のツリーの枝をルートから辿ったときのショットの出現順序は、映像内での各ショットの出現順序と一致している（時系列的に先のショットほどツリーの上位に位置している、と言ってもよい）。しかしながら、ツリーの同階層にあるショット間の時系列的な順序は不明である。たとえば、図３中「Ａ３１」は「Ａ３２０」より上に位置しているが、図５によれば「Ａ３１」は「Ａ３２０」よりも時系列的に後のショットである。このように、類似度のほかに時系列も考慮してショットを構造化する場合は、ローカルデコードやデコードに必要なフレームメモリの容量を少なくすることができる。
【００３７】
また、ショット構造化部１１２はショットを分類・階層化するとともに、各ショット内のフレームのうち少なくとも一つを代表フレームとして選出する。図３中、各ショットの下に「ＫA1」「ＳA21」などとあるのが代表フレームであり、たとえば「Ａ１」ではショットの先頭付近のフレーム、「Ａ２１」ではショットの中間付近のフレームが、それぞれ代表フレームとなっている。
【００３８】
なお、ショット内のどのフレームを代表フレームとするかは本発明では特に問わないが、符号効率の観点から、ショット内の他のフレームとの差ができるだけ小さいフレーム（たとえばショット内の他のフレームとの類似度の総和Ｓ＝Ｄk,a＋Ｄk,b＋Ｄk,c＋・・・＋Ｄk,nが最小となるフレームｋ）を代表フレームとするのが望ましい。もっともより簡便には、たとえば図６に示すように、一律に各ショットの先頭フレームを代表フレームとして選出してもよい。
【００３９】
そして本発明では、各グループのツリーのルートに位置するショットの代表フレームを「キーフレーム」、上記以外のショットの代表フレームを「サブキーフレーム」と呼び、前者についてはそのフレーム単独で（すなわち他のフレームを参照せずに）イントラ符号化を行うとともに、後者については同一グループ内のキーフレームあるいはサブキーフレームからの予測符号化を行う。
【００４０】
図３の矢印はこの予測の方向を意味している。図中Ａグループで説明すると、まずそのキーフレーム、すなわちツリー最上位の「Ａ１」の代表フレームである「ＫA1」はイントラフレームとなる。そして一つ下の第２階層、すなわち「Ａ２１」「Ａ２２」「Ａ２３」の代表フレームであるサブキーフレーム「ＳA21」「ＳA22」「ＳA23」は、いずれも「ＫA1」を参照して符号化（「ＫA1」との差分が符号化）されることになる。さらに一つ下の第３階層、すなわち「Ａ３１」「Ａ３２０」「Ａ３２１」「Ａ３３」の代表フレームであるサブキーフレーム「ＳA31」「ＳA320」「ＳA321」「ＳA33」は、それぞれ「ＳA21」「ＳA22」「ＳA22」「ＳA23」を参照して符号化される。そしてさらに一つ下の第４階層、すなわち「Ａ４１０」「Ａ４１１」の代表フレームであるサブキーフレーム「ＳA410」「ＳA411」は、いずれも「ＳA31」を参照して符号化される。
【００４１】
なお、キーフレームやサブキーフレームといった代表フレーム以外のフレームを「通常フレーム」と呼び、これらの参照先は従来のＪＰＥＧやＭＰＥＧと同様としてもよいが、ここでは一律に、通常フレームの参照先はその属するショットの代表フレームであるものとする（通常フレームについては同一ショット内のキーフレームまたはサブキーフレームからの予測符号化を行う、と言ってもよい）。この場合図３の各グループでは、それぞれそのキーフレーム、具体的には「ＫA1」「ＫB1」「ＫC1」のみがイントラフレームとなる。しかも、サブキーフレームや通常フレームでも参照先を自己に類似するフレームの中から選択しているので、予測効率が向上し、データ発生量の削減（圧縮率の向上）あるいは同じ発生量のもとでは画質の向上が可能となる。また、たとえばイントラフレームの間隔を長くしてデータ量を減らした場合と比べてランダムアクセス性がよくなる。
【００４２】
ただし、このように類似度を基礎として参照フレームを選択する反面として、本発明では必ずしも符号化対象フレームの近傍（符号化対象フレームから所定距離内）に参照フレームが存在するとは限らないので、対象フレームを符号化しようとしたときに、図１のローカルデコード画像記憶メモリ１０７に参照フレームのローカルデコード画像が存在しない可能性がある。そこで、本発明では図１に示すような参照フレーム記憶メモリ１１３を設け、ここに他のフレームから参照される可能性のあるフレーム（具体的にはキーフレームやサブキーフレーム）のローカルデコード画像を蓄積しておく。なお図１では、ローカルデコード画像記憶メモリ１０７と参照フレーム記憶メモリ１１３とを別個のメモリとして示したが、これは概念的な区別であって、実際には同一のメモリであってもよい。
【００４３】
一方ショット構造化部１１２は、図３や図６に模式的・概念的に示したショット間の構造を「構造化情報」として保持している。この構造化情報は、具体的には映像内の各フレームが入力バッファメモリ１００のどこに保持されているか（フレーム位置情報）や、どのフレームがどのフレームを参照しているか（参照フレーム選択情報）などの情報からなる。なお、この構造化情報はショット構造化部１１２内でなく、入力バッファメモリ１００に保持しておき、ショット構造化部１１２から逐次読み出すようにしてもよい。また、入力バッファメモリ１００内でのフレームの並び順（物理的な並び順）はどのようであってもよい。
【００４４】
そしてショット構造化部１１２は、参照フレーム選択情報により特定される符号化順序（他のフレームを参照するフレームは、当該参照フレームが符号化された後でなければ符号化することができない）に従って、入力バッファメモリ１００内のフレームを順次出力させる。このとき、出力された符号化対象フレームがサブキーフレームあるいは通常フレームだった場合は、参照フレーム記憶メモリ１１３に指示して、上記フレームの参照フレームとなるキーフレームあるいはサブキーフレーム（以前に符号化されローカルデコードされたもの）を、動きベクトル検出部１０８およびフレーム間動き補償部１０９に出力させる。
【実施例】
【００４５】
図７は、この発明の実施の形態にかかる画像処理装置における、画像符号化処理の手順を示すフローチャートである。まず、入力バッファメモリ１００内の映像をショット分割部１１１で複数のショットに分割し（ステップＳ７０１）、次にショット構造化部１１２で、ショット間の類似度を基礎として上記ショットを構造化する（ステップＳ７０２）。
【００４６】
図８は、ショット構造化部１１２によるショット構造化（図７のステップＳ７０２）の手順を詳細に示すフローチャートである。すなわち上述のように、ショット構造化部１１２は各ショットについてその特徴ベクトルを算出し（ステップＳ８０１）、次にこれらの特徴ベクトル間の距離、すなわち各ショット間の類似度を算出する（ステップＳ８０２）。そしてこの類似度により、上記ショットを複数のグループに分類し（ステップＳ８０３）、さらに各グループ内で、特に類似度の高いショット同士をリンクして図３や図６のように階層化する（ステップＳ８０４）。その後、各ショットについてその代表フレームを選出する（ステップＳ８０５）。
【００４７】
図７の説明に戻り、上記の手順で映像内のショットを構造化すると、次に本装置は入力バッファメモリ１００内に未処理のフレームがある限り（ステップＳ７０３：Ｎｏ）、個々のフレームについてステップＳ７０３〜７１０の処理を繰り返す。すなわち、入力バッファメモリ１００から出力された符号化対象フレームが代表フレーム、しかもその中でも上述のキーフレームだった場合（ステップＳ７０４：Ｙｅｓ、ステップＳ７０５：Ｙｅｓ）、当該フレームは変換部１０１・量子化部１０２による変換・量子化の後（ステップＳ７０６）、エントロピー符号化部１０３により符号化される（ステップＳ７０７）。その一方で、変換・量子化後のデータは逆量子化部１０５・逆変換部１０６によりローカルデコード（逆量子化および逆変換）され（ステップＳ７０８）、ローカルデコード画像記憶メモリ１０７および参照フレーム記憶メモリ１１３に蓄積される。
【００４８】
一方、入力バッファメモリ１００から出力された符号化対象フレームが代表フレーム、しかもその中でも上述のサブキーフレームだった場合（ステップＳ７０４：Ｙｅｓ、ステップＳ７０５：Ｎｏ）、まず動きベクトル検出部１０８で、入力バッファメモリ１００から入力した符号化対象フレームと参照フレーム記憶メモリ１１３から入力した参照フレーム（具体的には、符号化対象フレームが属するグループのキーフレーム）との間の動きベクトルが計算される。次にフレーム間動き補償部１０９で動き補償予測が行われ（以上ステップＳ７０９）、参照フレームとの差分のみが変換・量子化（ステップＳ７０６）およびエントロピー符号化（ステップＳ７０７）される。また、変換・量子化後のデータは逆量子化部１０５・逆変換部１０６によりローカルデコード（逆量子化および逆変換）され（ステップＳ７０８）、先に差し引かれている参照フレームと足し合わされて、ローカルデコード画像記憶メモリ１０７および参照フレーム記憶メモリ１１３に蓄積される。
【００４９】
一方、入力バッファメモリ１００から出力された符号化対象フレームが通常フレームだった場合（ステップＳ７０４：Ｎｏ）も、同様に参照フレーム記憶メモリ１１３内の参照フレーム（具体的には、符号化対象フレームが属するショット内のキーフレームまたはサブキーフレーム）からの動き補償予測を行い（ステップＳ７１０）、参照フレームからの差分のみを変換・量子化（ステップＳ７０６）およびエントロピー符号化（ステップＳ７０７）する。また、変換・量子化後のデータは逆量子化部１０５・逆変換部１０６によりローカルデコード（逆量子化および逆変換）され（ステップＳ７０８）、先に差し引かれている参照フレームと足し合わされて、ローカルデコード画像記憶メモリ１０７および参照フレーム記憶メモリ１１３に蓄積される。そして、対象映像中の全フレームについてステップＳ７０４〜Ｓ７１０を終えた時点で、図示するフローチャートによる処理を終了する（ステップＳ７０３：Ｙｅｓ）。
【００５０】
なお通常フレームの動き補償予測（ステップＳ７１０）においては、ＭＰＥＧ−１やＭＰＥＧ−２で採用されている単純な平行移動の動き補償予測を用いれば処理量を少なくできる。一方サブキーフレームは他のフレームより数が少なく、多少処理量が多くてもよいので、サブキーフレームの動き補償予測（ステップＳ７０９）では画像の拡大・縮小、回転等が表現できるよう、ＭＰＥＧ−４で採用されているアフィン変換等を用いると符号化後のデータ量がより少なくなり効果的である。もっとも、本発明では動き補償予測の手法は特に問わない（通常フレームとサブキーフレームとで扱いを変える必要もない）。また、フレーム間動き補償予測の手法には大別して下記２つがあり、ここでは（１）を採用しているが、（２）を採用するのであってももちろんよい。
【００５１】
（１）グローバル動き補償予測（図９）
これは参照フレーム内の四角形領域を、符号化対象フレームの矩形領域にワーピング処理（平行移動、拡大／縮小、回転、アフィン変換、透視変換など）するものである。具体例としては、たとえばＭＰＥＧ−４（ＩＳＯ／ＩＥＣ１４４９６−２）の７．８章「Ｓｐｒｉｔｅ ｄｅｃｏｄｉｎｇ」がある。このグローバル動き予測により、フレーム全体の動きを捉えることができ、フレーム内のオブジェクトの位置ずれ／変形の修正が可能となる。
【００５２】
（２）ブロック単位での動き補償予測（図１０）
これは符号化対象フレームを正方格子状に分割し、このブロック単位で（１）と同様のワーピング処理を行うものである。ワーピング処理の一例としてたとえば平行移動の場合、個々のブロックごとに参照フレーム内で最も誤差が小さくなる領域を探索し、符号化対象フレームの各ブロックと、参照フレームの各探索結果領域の位置ずれを動きベクトル情報として伝送する。このブロックの大きさはＭＰＥＧ−１やＭＰＥＧ−２では１６×１６画素（「マクロブロック」と呼ばれる）である。さらにＭＰＥＧ−４では８×８画素、Ｈ．２６４では４×４画素の小さなブロックも許される。なお参照フレームは一つに限定されず、複数の参照フレームから最適な領域を選択するようにしてもよい。この場合は動きベクトル情報のほかに、参照フレーム選択情報（参照フレームの番号もしくはＩＤ）も伝送する必要がある。このブロック単位での動き予測により、フレーム内の局所的なオブジェクトの動きに対応できる。
【００５３】
なお、上述した実施の形態では映像内のショットを類似するグループに分類後、さらにグループ内で階層化したが、分類だけして階層化は省略するようにしてもよい。この場合、ショットの構造化は映像内で図１１のように並んだショットを、図１２のようにグループ単位に並び替えたのと同等であり、単純にＭＰＥＧ−２などの従来技術で符号化することも可能となる。違うグループに移る時には大きなシーンチェンジを伴うので、そこだけＩフレームにし（具体的には「Ａ１」「Ｂ１」「Ｃ１」の各先頭フレーム）、他はＰフレームのみ、またはＰフレームとＢフレームを用いて圧縮する。このようにすると、データ量の多いＩフレームを大幅に削減できる。なお、ショットの並び替え情報はＭＰＥＧ−２のユーザデータに保存するか、ＭＰＥＧ−２の符号の外側のアプリケーションレベルのデータに保存すればよい。
【００５４】
また、上述した実施の形態では構造化はフレーム単位で行ったが、さらに細かくフレーム内のエリアやオブジェクト単位で類似するフレームを参照するようにすれば、予測効率がより向上する。
【００５５】
なお、上述した実施の形態では入力バッファメモリ１００として、映像内の全フレームが保持できる大容量のメモリが必要になる（たとえば、二時間のコンテンツの符号化には二時間分のフレームメモリが必要になる）が、構造化する単位を小さくしていけばその分のメモリ容量でよい。また、動画像を実時間で読み書きできる高速ハードディスク装置であれば容量は現時点で十分であり、メモリと同等に扱える。
【００５６】
また、ハードディスクドライブ（ハードディスクレコーダ）やテープドライブ（テープレコーダ：ＶＴＲ）などの蓄積メディアに記録されている映像を符号化する場合は、実時間（リアルタイム）で符号化しないで、いわゆる２パスエンコードなどのマルチパスエンコードを行えば、大容量メモリは必要なく現実的である。すなわち１パス目でコンテンツ全体を調べて、ショットの分割と構造化を行い、その結果（構造化情報）のみをメモリに記憶しておく。そして２パス目で上記情報に従って、蓄積メディアから各フレームを読み出せばよい。
【００５７】
このように本発明は、マルチパスによる映像符号化が可能、つまり符号化遅延が問題とされない分野での映像符号化に適している。応用例としては流通メディア（次世代光ディスクなど）の映像符号化、蓄積メディアにためたコンテンツのトランスコーディング（データ量圧縮、メモリカードへのムーブなど）が挙げられる。他にもブロードバンド・ストリーミングや録画済み（符号化済み）番組の放送用の映像符号化としても利用可能である。
【００５８】
次に、図１３はこの発明の実施の形態にかかる画像処理装置（デコーダ）の構成の一例を示す説明図である。図１のエンコーダと図１３のデコーダとは一対であり、図１のエンコーダで符号化された映像が図１３のデコーダで復号される。
【００５９】
図１３中、入力バッファメモリ１３００、エントロピー復号部１３０１、逆量子化部１３０２、逆変換部１３０３およびフレーム間動き補償部１３０４の機能は、従来技術によるＪＰＥＧ／ＭＰＥＧデコーダと同一である。
【００６０】
１３０５は入力バッファメモリ１３００に蓄積された符号化ストリームから、上述の構造化情報を抽出する構造化情報抽出部である。ここで抽出された構造化情報中の参照フレーム選択情報は、後段のフレーム間動き補償部１３０４で復号対象フレームの参照フレームを特定するために、またフレーム位置情報は、入力バッファメモリ１３００から出力すべきフレームのアドレスを特定するために、それぞれ使用される。また、１３０６はフレーム間動き補償部１３０４による動き補償で使用される、参照フレーム（具体的にはキーフレームおよびサブキーフレーム）を保持する参照フレーム記憶メモリである。
【００６１】
図１４は、この発明の実施の形態にかかる画像処理装置における、画像復号処理の手順を示すフローチャートである。まず構造化情報抽出部１３０５で、入力バッファメモリ１３００内の符号化ストリームから上述の構造化情報を抽出する（ステップＳ１４０１）。なお、ここでは構造化情報は他の符号化ストリームと多重化されており、復号時にストリームから分離されるものとするが、多重化されず別々のストリームとして伝送されるのでもよい。また、符号化ストリームの構成もどのようであってもよいが、ここではたとえばその先頭部分で、構造化情報および代表フレーム（他のフレームから参照されるフレーム）を伝送するようにする。
【００６２】
そして、まずこれらの代表フレームをエントロピー復号部１３０１により復号し（ステップＳ１４０３）、逆量子化部１３０２による逆量子化（ステップＳ１４０４）、逆変換部１３０３による逆変換（ステップＳ１４０５）を行う。ここで、復号対象フレームがキーフレームであれば（ステップＳ１４０６：Ｙｅｓ）そのまま、キーフレームでなくサブキーフレームであればサブキーフレーム用の動き補償予測の後（ステップＳ１４０６：Ｎｏ、ステップＳ１４０７）、得られた復号画像を参照フレーム記憶メモリ１３０６に保存する（ステップＳ１４０８）。
【００６３】
そして代表フレームを復号し終えると（ステップＳ１４０２：Ｙｅｓ）、次に入力バッファメモリ１３００内に未処理のフレームがある限り（ステップＳ１４０９：Ｎｏ）、出力する順序で当該フレームを取り出し、エントロピー復号部１３０１による復号（ステップＳ１４１０）、逆量子化部１３０２による逆量子化（ステップＳ１４１１）、逆変換部１３０３による逆変換（ステップＳ１４１２）を行う。
【００６４】
次に、復号対象フレームがキーフレームの場合（ステップＳ１４１３：Ｙｅｓ、ステップＳ１４１４：Ｙｅｓ）はそのまま、サブキーフレームの場合はサブキーフレーム用の動き補償予測の後（ステップＳ１４１３：Ｙｅｓ、ステップＳ１４１４：Ｎｏ、ステップＳ１４１５）、通常フレームの場合は通常フレーム用の動き補償予測の後（ステップＳ１４１３：Ｎｏ、ステップＳ１４１６）、得られた復号画像を出力する。そして、符号化ストリーム中の全フレームについてステップＳ１４１０〜Ｓ１４１６を終えた時点で、図示するフローチャートによる処理を終了する（ステップＳ１４０９：Ｙｅｓ）。
【００６５】
このように、本実施の形態では他のフレームから参照されるフレームを先にまとめて復号しておくので、図１３に示すように、復号画像を蓄積しておくためのバッファメモリを特に設ける必要がない（参照フレーム記憶メモリ１３０６があれば足りる）。また、符号化ストリームを入力バッファメモリ１３００の代わりに、ハードディスク等の記録媒体から直接ランダムアクセスにより読み出せば、入力バッファメモリ１３００の容量も小さくて済みより現実的である。ただし、もちろん他の構成でも構わない。
【００６６】
なお、上記フローでは代表フレームについては二重に復号を行っているが、後段の復号は省略する（前段の復号で参照フレーム記憶メモリ１３０６に保存されている復号画像を後段でそのまま出力する）ようにしてももちろんよい。
【００６７】
このように、請求項１・請求項６・請求項１１に記載の発明によれば、符号化対象の映像を構成する複数のショットの類似性（情報の冗長性）に着目して、類似ショット内のイントラフレームは１つだけとし、その他のフレームについては類似する参照フレームからの予測符号化を行うので、符号化ストリームのデータ量を抑制できる。また、請求項２・請求項７・請求項１２に記載の発明によれば、参照フレームを必ず時系列的に前のフレームから選択する（時系列的に後のフレームを参照することはない）ので、ローカルデコードやデコードに必要なメモリが少なくて済む。また、請求項３・請求項８・請求項１３に記載の発明によれば、類似ショットの中でも特に類似度の高いショットの中から参照フレームを選択するので、それだけ予測効率が向上する。また、請求項４・請求項５・請求項９・請求項１０・請求項１４・請求項１５に記載の発明によれば、請求項１・請求項６・請求項１１に記載の発明により、ショット間の類似性を利用して効率よく符号化された映像を復号できる。
【００６８】
なお、本実施の形態で説明した画像処理方法は、あらかじめ用意されたプログラムをプロセッサやマイクロコンピュータ等の演算処理装置で実行することにより実現することができる。このプログラムは、ＲＯＭ、ＨＤ、ＦＤ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＤＶＤ等の演算処理装置で読み取り可能な記録媒体に記録され、演算処理装置によって記録媒体から読み出されて実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
Claims (15)
- 動画像を連続する複数の画像からなる複数のショットに分割するショット分割手段と、前記ショット分割手段により分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化手段と、
前記動画像中の符号化対象画像と、前記ショット構造化手段による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出手段と、
前記動き検出手段により検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償手段と、
前記符号化対象画像と前記動き補償手段により生成された予測画像との差分を符号化する符号化手段と、
を備えることを特徴とする画像処理装置。 - 前記ショット構造化手段は、前記ショットを前記類似度および前記動画像中での前記ショットの出現順序にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化することを特徴とする前記請求項１に記載の画像処理装置。
- 前記ショット構造化手段は、前記各グループから代表フレームを選出する選出手段を備え、
前記動き補償手段は、前記符号化対象画像が前記選出手段によって代表フレームに選出され、かつ、前記ルートのショットである場合、前記符号化対象画像を単独でイントラ符号化することを特徴とする前記請求項１または請求項２に記載の画像処理装置。 - 動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出手段と、
前記構造化情報抽出手段により抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号手段と、
前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出手段により抽出された情報中で指定され、前記第１の復号手段により復号された参照画像を用いて復号する第２の復号手段と、
を備えることを特徴とする画像処理装置。 - 前記動画像の構造に関する情報では、前記復号対象画像の参照画像が、各画像の属するショット間の類似度にもとづいて指定されていることを特徴とする前記請求項４に記載の画像処理装置。
- 動画像を連続する複数の画像からなる複数のショットに分割するショット分割工程と、前記ショット分割工程で分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化工程と、
前記動画像中の符号化対象画像と、前記ショット構造化工程による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出工程と、
前記動き検出工程で検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償工程と、
前記符号化対象画像と前記動き補償工程で生成された予測画像との差分を符号化する符号化工程と、
を含むことを特徴とする画像処理方法。 - 前記ショット構造化工程では、前記ショットを前記類似度および前記動画像中での前記ショットの出現順序にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化することを特徴とする前記請求項６に記載の画像処理方法。
- 前記ショット構造化工程は、前記各グループから代表フレームを選出する選出工程を備え、
前記動き補償工程は、前記符号化対象画像が前記選出工程によって代表フレームに選出され、かつ、前記ルートのショットである場合、前記符号化対象画像を単独でイントラ符号化することを特徴とする前記請求項６または請求項７に記載の画像処理方法。 - 動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショット複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして同グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出工程と、
前記構造化情報抽出工程で抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号工程と、
前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出工程で抽出された情報中で指定され、前記第１の復号工程で復号された参照画像を用いて復号する第２の復号工程と、
を含むことを特徴とする画像処理方法。 - 前記動画像の構造に関する情報では、前記復号対象画像の参照画像が、各画像の属するショット間の類似度にもとづいて指定されていることを特徴とする前記請求項９に記載の画像処理方法。
- 動画像を連続する複数の画像からなる複数のショットに分割するショット分割工程と、
前記ショット分割工程で分割されたショットをショット間の類似度にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化するショット構造化工程と、
前記動画像中の符号化対象画像と、前記ショット構造化工程による構造化の結果にもとづいて特定されるその参照画像との間の動き情報を検出する動き検出工程と、
前記動き検出工程で検出された動き情報にもとづいて前記符号化対象画像の予測画像を前記参照画像から生成する動き補償工程と、
前記符号化対象画像と前記動き補償工程で生成された予測画像との差分を符号化する符号化工程と、
をプロセッサに実行させることを特徴とする画像処理プログラム。 - 前記ショット構造化工程では、前記ショットを前記類似度および前記動画像中での前記ショットの出現順序にもとづいて前記ショットを複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化することを特徴とする前記請求項１１に記載の画像処理プログラム。
- 前記ショット構造化工程は、前記各グループから代表フレームを選出する選出工程を備え、
前記動き補償工程は、前記符号化対象画像が前記選出工程によって代表フレームに選出され、かつ、前記ルートのショットである場合、前記符号化対象画像を単独でイントラ符号化することを特徴とする前記請求項１１または請求項１２に記載の画像処理プログラム。 - 動画像の符号化ストリームから、前記動画像を複数のショットに分割し、分割したショット間の類似度にもとづいて各ショット複数のグループに分類するとともに、前記各グループの中の一のショットをルートとして前記各グループ内の類似したショット間をリンクさせ階層をなすように構造化した当該構造に関する情報を抽出する構造化情報抽出工程と、
前記構造化情報抽出工程で抽出された情報にもとづいて前記符号化ストリーム中の画像のうち他の画像の参照画像となる画像を復号する第１の復号工程と、
前記符号化ストリーム中の復号対象画像を、前記構造化情報抽出工程で抽出された情報中で指定され、前記第１の復号工程で復号された参照画像を用いて復号する第２の復号工程と、
をプロセッサに実行させることを特徴とする画像処理プログラム。 - 前記動画像の構造に関する情報では、前記復号対象画像の参照画像が、各画像の属するショット間の類似度にもとづいて指定されていることを特徴とする前記請求項１４に記載の画像処理プログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004287468 | 2004-09-30 | ||
| JP2004287468 | 2004-09-30 | ||
| PCT/JP2005/017976 WO2006035883A1 (ja) | 2004-09-30 | 2005-09-29 | 画像処理装置、画像処理方法、および画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2006035883A1 JPWO2006035883A1 (ja) | 2008-07-31 |
| JP4520994B2 true JP4520994B2 (ja) | 2010-08-11 |
Family
ID=36119029
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006537811A Expired - Fee Related JP4520994B2 (ja) | 2004-09-30 | 2005-09-29 | 画像処理装置、画像処理方法、および画像処理プログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20070258009A1 (ja) |
| JP (1) | JP4520994B2 (ja) |
| WO (1) | WO2006035883A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7073158B2 (en) * | 2002-05-17 | 2006-07-04 | Pixel Velocity, Inc. | Automated system for designing and developing field programmable gate arrays |
| WO2006028156A1 (ja) * | 2004-09-10 | 2006-03-16 | Pioneer Corporation | 画像処理装置、画像処理方法、および画像処理プログラム |
| US20080151049A1 (en) * | 2006-12-14 | 2008-06-26 | Mccubbrey David L | Gaming surveillance system and method of extracting metadata from multiple synchronized cameras |
| JP2010519860A (ja) * | 2007-02-21 | 2010-06-03 | ピクセル ベロシティー，インク． | 広域監視のための拡張可能なシステム |
| US20090086023A1 (en) * | 2007-07-18 | 2009-04-02 | Mccubbrey David L | Sensor system including a configuration of the sensor as a virtual sensor device |
| US20090322489A1 (en) * | 2008-04-14 | 2009-12-31 | Christopher Jones | Machine vision rfid exciter triggering system |
| US20110115909A1 (en) * | 2009-11-13 | 2011-05-19 | Sternberg Stanley R | Method for tracking an object through an environment across multiple cameras |
| EP2497782A1 (en) | 2011-03-08 | 2012-09-12 | Alzinova AB | Anti oligomer antibodies and uses thereof |
| US8630454B1 (en) | 2011-05-31 | 2014-01-14 | Google Inc. | Method and system for motion detection in an image |
| CN113453017B (zh) * | 2021-06-24 | 2022-08-23 | 咪咕文化科技有限公司 | 视频处理方法、装置、设备及计算机程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07193748A (ja) * | 1993-12-27 | 1995-07-28 | Nippon Telegr & Teleph Corp <Ntt> | 動画像処理方法および装置 |
| JPH09187015A (ja) * | 1995-11-02 | 1997-07-15 | Mitsubishi Electric Corp | 画像符号化器及び画像復号化器 |
| JPH10257436A (ja) * | 1997-03-10 | 1998-09-25 | Atsushi Matsushita | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 |
| JP2002271798A (ja) * | 2001-03-08 | 2002-09-20 | Matsushita Electric Ind Co Ltd | データ符号化装置、データ復号化装置 |
| JP2003503972A (ja) * | 1999-07-06 | 2003-01-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオシーケンスの構造の自動抽出方法 |
| JP2003333602A (ja) * | 2002-05-03 | 2003-11-21 | Lg Electronics Inc | 動画コーディング方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6710822B1 (en) * | 1999-02-15 | 2004-03-23 | Sony Corporation | Signal processing method and image-voice processing apparatus for measuring similarities between signals |
| US6549643B1 (en) * | 1999-11-30 | 2003-04-15 | Siemens Corporate Research, Inc. | System and method for selecting key-frames of video data |
| KR100380229B1 (ko) * | 2000-07-19 | 2003-04-16 | 엘지전자 주식회사 | 엠펙(ＭＰＥＧ) 압축 비디오 환경에서 매크로 블록의 시공간상의 분포를 이용한 와이프(Ｗｉｐｅ) 및 특수 편집 효과 검출 방법 |
| DE60140755D1 (de) * | 2000-09-08 | 2010-01-21 | Koninkl Philips Electronics Nv | Vorrichtung zur wiedergabe eines auf einem aufzeichnungsmedium gespeicherten informationssignals |
-
2005
- 2005-09-29 JP JP2006537811A patent/JP4520994B2/ja not_active Expired - Fee Related
- 2005-09-29 US US11/664,056 patent/US20070258009A1/en not_active Abandoned
- 2005-09-29 WO PCT/JP2005/017976 patent/WO2006035883A1/ja active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07193748A (ja) * | 1993-12-27 | 1995-07-28 | Nippon Telegr & Teleph Corp <Ntt> | 動画像処理方法および装置 |
| JPH09187015A (ja) * | 1995-11-02 | 1997-07-15 | Mitsubishi Electric Corp | 画像符号化器及び画像復号化器 |
| JPH10257436A (ja) * | 1997-03-10 | 1998-09-25 | Atsushi Matsushita | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 |
| JP2003503972A (ja) * | 1999-07-06 | 2003-01-28 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオシーケンスの構造の自動抽出方法 |
| JP2002271798A (ja) * | 2001-03-08 | 2002-09-20 | Matsushita Electric Ind Co Ltd | データ符号化装置、データ復号化装置 |
| JP2003333602A (ja) * | 2002-05-03 | 2003-11-21 | Lg Electronics Inc | 動画コーディング方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2006035883A1 (ja) | 2008-07-31 |
| WO2006035883A1 (ja) | 2006-04-06 |
| US20070258009A1 (en) | 2007-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4520994B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
| US7272183B2 (en) | Image processing device, method and storage medium thereof | |
| JP2020053977A (ja) | 再生装置、再生方法、プログラム、及び記憶媒体 | |
| US20090052537A1 (en) | Method and device for processing coded video data | |
| US8254702B2 (en) | Image compression method and image processing apparatus | |
| KR101610419B1 (ko) | 화상 신호 복호 장치, 화상 신호 복호 방법, 화상 신호 부호화 장치, 화상 신호 부호화 방법 및 기록 매체 | |
| US8139877B2 (en) | Image processing apparatus, image processing method, and computer-readable recording medium including shot generation | |
| US20080267290A1 (en) | Coding Method Applied to Multimedia Data | |
| US7792373B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JPH10257436A (ja) | 動画像の自動階層構造化方法及びこれを用いたブラウジング方法 | |
| WO2001003005A1 (fr) | Appareil d'enregistrement d'informations de recherche d'images dynamiques et dispositif de recherche d'images dynamiques | |
| CN106165417A (zh) | 图像处理设备和图像处理方法 | |
| US20030169817A1 (en) | Method to encode moving picture data and apparatus therefor | |
| US20070116130A1 (en) | Moving picture signal encoding apparatus, moving picture signal encoding method,and computer-readable recording medium | |
| JP2005175710A (ja) | デジタル記録再生装置及びデジタル記録再生方法 | |
| JP5128963B2 (ja) | 動画像の多重化方法とファイル読み込み方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体 | |
| JP2003061112A (ja) | カメラワーク検出装置およびカメラワーク検出方法 | |
| KR101633271B1 (ko) | 동영상 기록 재생 장치 및 그 방법 | |
| JP5171270B2 (ja) | 動画像の多重化方法及び装置，並びにそのプログラムとコンピュータ読み取り可能な記録媒体 | |
| US20090016441A1 (en) | Coding method and corresponding coded signal | |
| AU2016262689A1 (en) | Method, system and apparatus for determining a bounded region of interest in a video frame | |
| CN1984301A (zh) | 记录装置和方法及程序 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100216 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100419 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100518 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100521 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |