JP5322956B2 - 画像符号化装置および画像符号化方法 - Google Patents

画像符号化装置および画像符号化方法 Download PDF

Info

Publication number
JP5322956B2
JP5322956B2 JP2009551324A JP2009551324A JP5322956B2 JP 5322956 B2 JP5322956 B2 JP 5322956B2 JP 2009551324 A JP2009551324 A JP 2009551324A JP 2009551324 A JP2009551324 A JP 2009551324A JP 5322956 B2 JP5322956 B2 JP 5322956B2
Authority
JP
Japan
Prior art keywords
encoding
image data
picture
input image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009551324A
Other languages
English (en)
Other versions
JPWO2009095962A1 (ja
Inventor
悠樹 丸山
達郎 重里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2009551324A priority Critical patent/JP5322956B2/ja
Publication of JPWO2009095962A1 publication Critical patent/JPWO2009095962A1/ja
Application granted granted Critical
Publication of JP5322956B2 publication Critical patent/JP5322956B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Description

本発明は、画像を圧縮符号化して光ディスク、磁気ディスクあるいはフラッシュメモリ等の記憶メディア上に記録する画像符号化装置および画像符号化方法に関するものであり、特にＨ．２６４圧縮符号化方式により圧縮符号化を行う画像符号化装置、画像符号化方法、画像符号化集積回路、および画像符号化プログラムに関する。
デジタル映像技術の発展と共に、データ量の増大に対応してデジタル映像データを圧縮する技術が発展しつつある。その発展は、映像データの特性を生かし、映像データに特化した圧縮技術となって現れている。
また、コンピュータなどの情報処理機器の処理能力の向上に伴い、圧縮技術における複雑な演算も可能となり、映像データの圧縮率は大幅に向上しつつある。
例えば、衛星および地上波デジタルハイビジョン放送で採用されている圧縮技術はＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）２と呼ばれる圧縮方式である。例えば、衛星デジタルハイビジョン放送はＭＰＥＧ２によって映像データを約１／３０に圧縮している。
ＭＰＥＧ２に続いて規格化された映像圧縮方式の１つであるＭＰＥＧ４ ＡＶＣ／Ｈ．２６４は、ＭＰＥＧ２の約２倍の圧縮率を実現すると言われている。
ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４は、光ディスクの１つの規格であるＢｌｕ−ｒａｙ、および、ハイビジョン映像をビデオカメラで記録するための規格であるＡＶＣＨＤ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｅｃ Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）の動画圧縮方式としても採用されており、幅広い分野での利用が期待されている。
しかし、ＭＰＥＧ４ ＡＶＣ／Ｈ．２６４は、非特許文献１に開示されているように、多くの圧縮技術を実装し、それらを組み合わせることで高い圧縮率を実現しているため、演算量もＭＰＥＧ２と比べ大幅に増加している。
動画像を圧縮するための符号化技術の一つに動き補償がある。動き補償を用いて画像を符号化する場合、まず画像の動き量を推定する動きベクトル探索を行い、動きベクトル探索で求めた動きベクトルを用いて動き補償を行っている。
一般的に動きベクトル探索の探索範囲を大きくするほど動きベクトルの検出精度を向上させることができる。しかし、探索範囲を大きくするほど演算量が増加するため消費電力が大きくなってしまう。このため、動きベクトル探索の探索範囲は、演算量や回路規模を考慮して決定されることが多い。
このように動きベクトル探索の探索範囲を制限した場合、入力画像の動きに対して常に十分な探索範囲を設定できるわけではない。
例えば、入力画像が、ズーム中の動画像に含まれる場合、入力画像が、パンしている動画像に含まれる場合、および入力画像の前後の動きがバラバラで大きい場合などは、入力画像に対して動きベクトル探索の探索範囲が十分ではなくなる。これにより、動きベクトルの検出精度が低下し、画質および符号化効率が低下するという課題があった。
特許文献１には、このような課題を解決するための方法として、カメラのズーム状態に応じて動き補償の予測方法を変更することにより符号化効率を向上させる方法が開示されている。
ＩＴＵ−Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６４
特開２００１−１４５０１１号公報
しかしながら、特許文献１に開示されている方法によっては、カメラのズーム状態に応じて動き補償の予測方法を変更するだけであり、探索範囲を変更しているわけではない。
そのため、常に十分な動きベクトル探索の探索範囲を得ることができるとは限らず、動きベクトルの検出精度が低下する場合が存在する。
特に、符号化対象ピクチャと参照ピクチャの時間的な距離が離れている場合（例えば２フレーム以上）、動きベクトル探索に十分な探索範囲は、符号化対象ピクチャと参照ピクチャの時間的な距離が近い（例えば１フレーム以内）場合と比べて大きくなる。そのため、動き検出の精度はさらに低下してしまう。
本発明はかかる問題を解決するためになされたものであり、画像符号化処理の演算量の削減、高速化、および低消費電力化を図りつつ、画質および符号化効率を向上させることができる画像符号化装置、画像符号化方法、画像符号化集積回路および画像符号化プログラムを提供することを目的とする。
上記目的を達成するために、本発明の画像符号化装置は、入力画像データを符号化する画像符号化装置であって前記入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かの判断を行い、前記判断の結果を示す符号化フラグ情報を生成する符号化フラグ生成部と、前記符号化フラグ生成部により生成された符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示さない場合よりも、入力順において時間的に近い位置の符号化済みの画像データを参照するように、符号化方式を決定する符号化方式決定部と、前記符号化方式決定部により決定された前記符号化方式に従って前記入力画像データを圧縮符号化する画像符号化部とを備える。
また、前記符号化フラグ生成部は、ズームまたはパンしている動画像に前記入力画像データが含まれることを示す情報を取得した場合、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれると判断するとしてもよい。
また、前記符号化フラグ生成部は、符号化対象である前記入力画像データと、過去の入力画像データとの差分から算出される値である特徴量が、所定の閾値以上である場合、符号化対象である前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれると判断するとしてもよい。
また、前記画像符号化部は、前記入力画像データである符号化対象ピクチャを含む複数のピクチャそれぞれを、マクロブロック単位で圧縮符号化し、前記符号化フラグ生成部は、前記画像符号化部による、前記符号化対象ピクチャの圧縮符号化より前の、マクロブロック単位での圧縮符号化に用いられた複数の動きベクトルにより算出される値である特徴量が、予め定められた閾値以上である場合、符号化対象の前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれると判断するとしてもよい。
また、前記画像符号化部は、前記入力画像データである符号化対象ピクチャを圧縮符号化するときのピクチャタイプとしてＢピクチャを選択可能であり、前記符号化方式決定部は、前記符号化フラグ情報が、前記符号化対象ピクチャが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化対象ピクチャが、入力順において時間的にＰピクチャの次に位置するフレームに属し、かつ、前記符号化対象ピクチャをＢピクチャとして符号化するとき、前記符号化対象ピクチャよりも時間的に前に位置する１枚以上のピクチャのみを参照するように前記符号化方式を決定するとしてもよい。
また、前記画像符号化部は、前記入力画像データである符号化対象ピクチャを圧縮符号化するときのピクチャタイプとしてＢピクチャを選択可能であり、前記符号化方式決定部は、前記符号化フラグ情報が、前記符号化対象ピクチャが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化対象ピクチャが、入力順において時間的にＰピクチャの直前に位置するフレームに属し、かつ、前記符号化対象ピクチャをＢピクチャとして符号化するとき、前記符号化対象ピクチャよりも時間的に後に位置する１枚以上のピクチャのみを参照するように前記符号化方式を決定するとしてもよい。
また、前記画像符号化部は、前記入力画像データを圧縮符号化するときのピクチャタイプとしてＢピクチャを選択可能であり、前記符号化方式決定部は、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記画像符号化部がＢピクチャとして符号化するフレームが連続する枚数を、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示さない場合よりも、少なくするように前記符号化方式を決定するとしてもよい。
また、本発明の画像符号化方法は、入力画像データを符号化する画像符号化方法であって、前記入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを判断し、前記判断の結果を示す符号化フラグ情報を生成し、生成された符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示さない場合よりも、入力順において時間的に近い位置の符号化済みの画像データを参照するように、符号化方式を決定し、決定された前記符号化方式に従って前記入力画像データを圧縮符号化する。
また、本発明の画像符号化集積回路は、入力画像データを符号化する画像符号化集積回路であって前記入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かの判断を行い、前記判断の結果を示す符号化フラグ情報を生成する符号化フラグ生成部と、前記符号化フラグ生成部により生成された符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示さない場合よりも、入力順において時間的に近い位置の符号化済みの画像データを参照するように、符号化方式を決定する符号化方式決定部と、前記符号化方式決定部により決定された前記符号化方式に従って前記入力画像データを圧縮符号化する画像符号化部とを備える。
また、発明の画像符号化プログラムは、入力画像データを符号化する画像符号化プログラムであって、前記入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを判断し、前記判断の結果を示す符号化フラグ情報を生成し、生成された符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示さない場合よりも、入力順において時間的に近い位置の符号化済みの画像データを参照するように、符号化方式を決定し、決定された前記符号化方式に従って前記入力画像データを圧縮符号化することをコンピュータに実行させるための画像符号化プログラム。
本発明によれば、入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データである場合、当該入力画像データ、つまり、符号化対象ピクチャと時間的に近い位置にあるピクチャを参照する。
これにより、動きベクトル探索における動きベクトル検出精度を向上させることができ、その結果、入力画像データが大きな動きを示す動画像に含まれるときの符号化効率を高めることができる。
例えば、ズームまたはパンしている動画像、つまり、カメラがズームまたはパンしながら撮影した動画像を符号化する際の符号化効率を高めることができる。
また、動きベクトル探索の探索範囲を大きくして符号化効率を上げる方法に比べて、回路規模や演算量を削減することができる。したがって、本発明は、画像符号化処理における演算量の削減、高速化、および低消費電力化を図りつつ画質および符号化効率を向上させることが可能となる。
図１は、本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。 図２は、本発明の実施の形態１に係る画像符号化装置における画像符号化部の構成を示すブロック図である。 図３は、本発明の実施の形態１に係る画像符号化装置における符号化フラグ生成部が実行する処理の一例を示すフローチャートである。 図４は、本発明の実施の形態１に係る画像符号化装置における符号化方式決定部が実行する処理の一例を示すフローチャートである。 図５は、本発明の実施の形態１に係る画像符号化装置における符号化方式決定部が符号化方式を決定する第１の方法の一例を示す図であり、（ａ）は通常時の符号化方式を示す図、（ｂ）はフラグＯＮ時の符号化方式を示す図である。 図６は、本発明の実施の形態１に係る画像符号化装置における符号化方式決定部が符号化方式を決定する第１の方法の他の一例を示す図であり、（ａ）は通常時の符号化方式を示す図、（ｂ）はフラグＯＮ時の符号化方式を示す図である。 図７は、本発明の実施の形態１に係る画像符号化装置における符号化方式決定部が符号化方式を決定する第２の方法の一例を示す図である。 図８は、符号化対象ピクチャをＰピクチャとして符号化する場合における符号化方式の決定方法を示す図であり、（ａ）は通常時の符号化方式を示す図、（ｂ）はフラグＯＮ時の符号化方式を示す図である。 図９は、プログレッシブ画像を符号化する場合における符号化方式の決定方法を示す図であり、（ａ）は通常時の符号化方式を示す図、（ｂ）はフラグＯＮ時の符号化方式を示す図である。 図１０は、本発明の実施の形態２に係る画像符号化装置の構成を示すブロック図である。 図１１は、本発明の実施の形態２に係る画像符号化装置における符号化フラグ生成部が実行する処理の一例を示すフローチャートである。 図１２は、本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。 図１３は、本発明の実施の形態３に係る画像符号化装置における符号化フラグ生成部が実行する処理の一例を示すフローチャートである。 図１４は、本発明の画像符号化集積回路の構成例を示すブロック図である。
以下に、本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置１００の構成を示すブロック図である。本発明の実施の形態１に係る画像符号化装置１００には、入力画像データと入力画像データの付加情報である入力画像付加情報が入力される。画像符号化装置１００は、入力画像データをＨ．２６４圧縮方式で符号化し、ストリームとして出力する。
なお、Ｈ．２６４圧縮方式による符号化においては、１つのピクチャを１つまたは複数のスライスに分割し、そのスライスを処理単位としている。
本発明の実施の形態１におけるＨ．２６４圧縮方式による符号化では、１つのピクチャを１つのスライスとして扱う。
また、画像符号化装置１００が符号化するそれぞれのピクチャは、本発明の画像符号化装置、画像符号化方法、画像符号化集積回路および画像符号化プログラムが符号化の対象とする入力画像データの一例である。
また、“ピクチャ”という場合、２つのフィールド（トップフィールドおよびボトムフィールド）を１つのフレームとして扱う“フレームピクチャ”、および、２つのフィールドを独立した２つのピクチャとして扱う“フィールドピクチャ”のいずれかである。
画像符号化装置１００は、符号化方式としてＨ．２６４圧縮方式を採用しているため、例えば、インターレース信号を符号化する際に、フレーム符号化を行うか、またはフィールド符号化を行うかをピクチャごとに切り替えることが可能である。
以上説明した、Ｈ．２６４およびピクチャに関する事項は、後述する本発明の実施の形態２および３においても同じである。
図１に示すように、画像符号化装置１００は、符号化フラグ生成部１０１と、符号化方式決定部１０２と、画像符号化部１０３とを備える。
符号化フラグ生成部１０１は、本発明の実施の形態１においては、入力画像データの付加情報である入力画像付加情報を受信する。さらに、入力画像付加情報に基づいて生成した符号化フラグ情報を符号化方式決定部１０２に対して出力する。
入力画像付加情報は、例えば、画像符号化装置１００に画像データを入力するビデオカメラが、ズームをしているか否かを示す情報、パンをしているか否かを示す情報などである。
つまり、入力画像付加情報は、当該入力画像データが、ズームまたはパンしている動画像など、大きな動きを示す動画像に含まれるか否かを示す情報である。また、入力画像付加情報は、入力画像データとともに画像符号化装置１００に入力される入力画像データに関する付加情報である。
なお、“パン”には、ビデオカメラを上下方向に振りながら動画を撮影する技法である“チルト”も含まれる。
また、画像符号化装置１００はビデオカメラに内蔵されていてもよい。また、画像符号化装置１００はビデオカメラと有線または無線により接続された、ビデオカメラとは別体の装置であってもよい。これらのことは、後述する実施の形態２および３でも同じである。
符号化方式決定部１０２は、画像符号化部１０３における符号化方式を決定する処理部である。具体的には、符号化方式決定部１０２は、符号化フラグ生成部１０１により生成された符号化フラグ情報から、符号化対象ピクチャを符号化するときのピクチャタイプおよび、符号化対象ピクチャがどのピクチャを参照するかといった情報を示す符号化方式などを決定する。符号化方式決定部１０２はさらに、決定したそれらの情報を画像符号化部１０３に対し符号化方式決定情報として出力する。
符号化方式決定部１０２の具体的な動作に関する詳細については後述する。
画像符号化部１０３は、符号化方式決定部１０２が出力した符号化方式決定情報に従って、符号化対象ピクチャの画像データをＨ．２６４圧縮方式による符号化により圧縮符号化する。
次に、図２を用いて、画像符号化部１０３の詳細な構成について説明する。
図２は、本発明の実施の形態１の画像符号化装置１００における画像符号化部１０３の構成を示すブロック図である。
図２に示すように、画像符号化部１０３は、入力画像データメモリ２０１、参照画像データメモリ２０２、面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、予測モード判定部２０６、差分演算部２０７、直交変換部２０８、量子化部２０９、逆量子化部２１０、逆直交変換部２１１、加算部２１２、およびエントロピー符号化部２１３を備えている。
入力画像データメモリ２０１は、入力画像データと、符号化方式決定部１０２から入力される入力画像データに対応する符号化方式決定情報とを格納する。つまり、入力画像データメモリ２０１は、符号化対象の入力画像データと、符号化対象の入力画像データに対応する符号化方式決定情報とを保持している。
なお、入力画像データメモリ２０１が保持している情報は、面内予測部２０３、動きベクトル検出部２０４、動き補償部２０５、および差分演算部２０７により参照される。
動きベクトル検出部２０４は、参照画像データメモリ２０２に格納されているローカルデコード画像を探索対象とし、最も入力画像に近い画像領域を検出してその位置を示す動きベクトルを決定する。動きベクトル検出部２０４はさらに、最も誤差の小さい符号化対象ブロックのサイズおよびそのサイズでの動きベクトルを決定し、決定したそれらの情報を動き補償部２０５およびエントロピー符号化部２１３に送信する。
動き補償部２０５は、動きベクトル検出部２０４から受信した情報に含まれる動きベクトルを用いて、参照画像データメモリ２０２に格納されているローカルデコード画像から予測画像に最適な画像領域を取り出す。動き補償部２０５はさらに、面間予測の予測画像を生成し、生成した予測画像を予測モード判定部２０６に出力する。
面内予測部２０３は、参照画像データメモリ２０２に格納されているローカルデコード画像から同一画面内の符号化後の画素を用いて面内予測を行い、面内予測の予測画像を生成する。面内予測部２０３はさらに、生成した予測画像を予測モード判定部２０６に出力する。
予測モード判定部２０６は、予測モードを判定する。予測モード判定部２０６はさらに、その判定結果に基づき、面内予測部２０３からの面内予測で生成された予測画像と、動き補償部２０５からの面間予測で生成された予測画像を切り替えて出力する。
予測モード判定部２０６において予測モードを判定する方法としては、例えば、面間予測と面内予測について、それぞれ入力画像と予測画像との各画素の差分絶対値和（ＳＡＤ）を求め、この値が小さい方を、採用する予測モードと判定する。
差分演算部２０７は、入力画像データメモリ２０１から入力画像データを取得し、取得した入力画像と予測モード判定部２０６から出力された予測画像との画素差分値を計算する。差分演算部２０７はさらに、計算した画素差分値を直交変換部２０８に出力する。
直交変換部２０８は、差分演算部２０７から入力された画素差分値を周波数係数に変換し、変換した周波数係数を量子化部２０９に出力する。
量子化部２０９は、直交変換部２０８から入力された周波数係数を量子化し、量子化した値、すなわち量子化値を、符号化すべきデータとしてエントロピー符号化部２１３および逆量子化部２１０に出力する。
逆量子化部２１０は、量子化部２０９から入力された量子化値を逆量子化して周波数係数に復元し、復元した周波数係数を逆直交変換部２１１に出力する。
逆直交変換部２１１は、逆量子化部２１０から入力された周波数係数を画素差分値に逆周波数変換し、逆周波数変換した画素差分値を加算部２１２に出力する。
加算部２１２は、逆直交変換部２１１から入力される画素差分値と、予測モード判定部２０６から出力された予測画像を加算してローカルデコード画像を生成する。加算部２１２はさらに、そのローカルデコード画像を参照画像データメモリ２０２に出力する。
ここで、参照画像データメモリ２０２に記憶されるローカルデコード画像は、入力画像データメモリ２０１に記憶される入力画像と基本的には同じ画像である。
しかし、ローカルデコード画像は、画素差分値が、直交変換部２０８および量子化部２０９などで一旦直交変換および量子化処理をされた後、逆量子化部２１０および逆直交変換部２１１などで逆量子化および逆直交変換処理をされた結果を含んでいる。そのためローカルデコード画像は、量子化歪みなどの歪み成分を有している。
エントロピー符号化部２１３は、量子化部２０９から入力された量子化値および動きベクトル検出部２０４から入力された動きベクトル等をエントロピー符号化し、その符号化したデータを出力ストリームとして出力する。
次に、以上のように構成された画像符号化装置１００が実行する処理について説明する。
まず、入力画像データが画像符号化部１０３に入力され、また入力画像付加情報が符号化フラグ生成部１０１にそれぞれ入力される。
入力画像データは、画像符号化部１０３の入力画像データメモリ２０１に格納される。入力画像データは、例えば、１９２０画素×１０８０画素によって構成されている。
また、入力画像付加情報は、例えば、入力画像データがズーム状態にあるか否かを示す情報などのような入力画像データに関する付加情報を有している。
符号化フラグ生成部１０１は、入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かの判断を行い、判断の結果を示す符号化フラグ情報を生成する。
本発明の実施の形態１では、符号化フラグ生成部１０１は、入力画像付加情報を参照し、入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを判断する。
その結果、所定の動き量以上の動きを示す動画像に含まれる画像データであると判断した場合はＯＮを示す符号化フラグ情報を生成し、そうでない場合はＯＦＦを示す符号化フラグ情報を生成する。
符号化フラグ生成部１０１はさらに、生成した符号化フラグ情報を符号化方式決定部１０２へ出力する。
この場合、入力画像付加情報は、例えば、入力画像データがズーム状態にあるか否か、つまり、入力画像データが、ズームしている動画像に含まれるか否かを示している。このような内容を示す入力画像付加情報は、例えば、ビデオカメラのズームボタンなどから符号化フラグ生成部１０１に入力される。
また、入力画像付加情報は、例えば、入力画像データが、パンしている動画像に含まれるか否かを示している。このような内容を示す入力画像付加情報は、例えば、ビデオカメラが備える加速度センサなどから符号化フラグ生成部１０１に入力される。
次に、図３を用いて、符号化フラグ生成部１０１が実行する処理の一例を説明する。
図３は、本発明の実施の形態１の画像符号化装置１００における符号化フラグ生成部１０１が実行する処理の一例を示すフローチャートである。
図３において、符号化フラグ生成部１０１は、入力画像データがズーム状態にあるか否かを判断する（Ｓ３０１）。Ｓ３０１においてズーム状態にあると判断された場合（Ｓ３０１においてＹｅｓ）、符号化フラグ生成部１０１は符号化フラグ情報をＯＮにして符号化方式決定部１０２へ出力する（Ｓ３０２）。
Ｓ３０１においてズーム状態にないと判断された場合（Ｓ３０１においてＮｏ）、符号化フラグ生成部１０１は符号化フラグ情報をＯＦＦにして符号化方式決定部１０２へ出力する（Ｓ３０３）。
なお、図３では、画像符号化装置１００が、入力画像付加情報として、当該入力画像データがズームしている動画像に含まれるか否かを示す情報を取得する場合の処理を示している。
しかし、符号化フラグ生成部１０１は、入力画像付加情報が、当該入力画像データがパンしている動画像に含まれるか否かを示す場合も、同様の処理を行う。つまり、符号化フラグ生成部１０１は、入力画像付加情報が、当該入力画像データがパンしている動画像に含まれることを示す場合、ＯＮを示す符号化フラグ情報を生成し、そうでない場合、ＯＦＦを示す符号化フラグ情報を生成する。
次に、図４を用いて、符号化方式決定部１０２が実行する処理の一例について説明する。
図４は、本発明の実施の形態１の画像符号化装置１００における符号化方式決定部１０２が実行する処理の一例を示すフローチャートである。
符号化方式決定部１０２は、符号化フラグ生成部１０１から入力された符号化フラグ情報を基にして、符号化対象ピクチャを符号化するときのピクチャタイプおよび、符号化対象ピクチャがどのピクチャを参照するかといった符号化方式を決定して符号化方式決定情報を生成する。符号化方式決定部１０２はさらに、生成した符号化方式決定情報を画像符号化部１０３に出力する。
図４において、符号化方式決定部１０２は、符号化フラグ生成部１０１から入力された符号化フラグ情報がＯＮであるか否かを判断する（Ｓ４０１）。Ｓ４０１において符号化フラグ情報がＯＮであると判断された場合（Ｓ４０１においてＹｅｓ）、符号化方式決定部１０２は符号化フラグ情報がＯＮである場合（以下、「フラグＯＮ時」ともいう。）の符号化方式を選択する（Ｓ４０２）。
なお、Ｓ４０１において符号化フラグ情報がＯＦＦであると判断された場合（Ｓ４０１においてＮｏ）、符号化方式決定部１０２は通常時の符号化方式、すなわち符号化フラグ情報がＯＦＦである場合（以下、「フラグＯＦＦ時」ともいう。）の符号化方式を選択する（Ｓ４０３）。
なお、フラグＯＮ時の符号化方式および通常時（フラグＯＦＦ時）の符号化方式については後に詳しく述べる。簡潔に説明すると、符号化方式決定部１０２は、符号化対象ピクチャを符号化する際、符号化フラグ情報がＯＮであるときに、符号化対照ピクチャが、符号化フラグ情報がＯＦＦであるときに参照するピクチャよりも入力順において時間的に近い位置にあるピクチャを参照するように符号化方式を決定する。
画像符号化部１０３は、符号化方式決定部１０２で決定された符号化方式決定情報に基づいて動きベクトル検出、動き補償、面内予測、直交変換、量子化およびエントロピー符号化等の一連の符号化処理を実行する。
本発明の実施の形態１においては、画像符号化部１０３は、上述のように、Ｈ．２６４符号化方式にしたがって入力画像データを符号化する。このことは、後述する本発明の実施の形態２および３においても同様である。
以上のように、実施の形態１の画像符号化装置１００は、入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを示す符号化フラグ情報を入力画像データの付加情報から決定する。
また、画像符号化装置１００は、符号化フラグ情報がＯＮであるときに、符号化対象ピクチャが、符号化フラグ情報がＯＦＦであるときに参照するピクチャよりも時間的に近い位置もしくは等しい位置にあるピクチャを参照するよう決定する。
つまり、画像符号化装置１００は、符号化フラグ情報がＯＮである場合、符号化対象ピクチャと時間的に近い位置にあるピクチャを参照することで、符号化対象ピクチャを符号化する。
これにより、画像符号化装置１００は、動きベクトル探索における動きベクトルの検出精度を向上させることができる。結果として、大きな動きを示す動画像に含まれる入力画像データの符号化効率を高めることができる。
また、動きベクトル探索の探索範囲を大きくすることにより符号化効率を上げる方法に比べて、画像符号化装置１００は、回路規模および演算量を削減することができる。したがって、画像符号化装置１００は、画像符号化方式の演算量の削減、高速化、および低消費電力化を図りつつ、画質および符号化効率を向上させることが可能となる。
次に、図５、図６および図７を参照しながら、符号化方式決定部１０２がどのように符号化方式を決定するかについて説明する。
図５（ａ）および図５（ｂ）は、本発明の実施の形態１の画像符号化装置１００における符号化方式決定部１０２が符号化方式を決定する第１の方法の一例を説明するための図である。
図６（ａ）および図６（ｂ）は、本発明の実施の形態１の画像符号化装置１００における符号化方式決定部１０２が符号化方式を決定する第１の方法の他の一例を説明するための図である。
図７は、本発明の実施の形態１の画像符号化装置１００における符号化方式決定部１０２が符号化方式を決定する第２の方法の一例を説明するための図である。
まず、図５（ａ）および図５（ｂ）を参照して符号化方式を決定する第１の方法について説明する。
図５（ａ）は、具体的には、符号化対象ピクチャが時間的にＰピクチャの次に位置するフレームに属し、かつＢピクチャとして符号化する場合における、通常時（フラグＯＦＦ時）の符号化方式を示す図である。
また、図５（ｂ）は、具体的には、当該符号化対象ピクチャをＢピクチャとして符号化する場合における、フラグＯＮ時の符号化方式を示す図である。
なお、図５（ａ）および図５（ｂ）において、ピクチャＩ０はＩピクチャとして符号化するピクチャであり、ピクチャＰ１、ピクチャＰ６およびピクチャＰ７はＰピクチャとして符号化するピクチャであり、ピクチャＢ２、ピクチャＢ３、ピクチャＢ４およびピクチャＢ５はＢピクチャとして符号化するピクチャであることをそれぞれ表している。
これらピクチャは画像符号化装置１００に入力された順序で図示されている。つまり、Ｉ０、Ｐ１、Ｂ２、Ｂ３．．．の順に画像符号化装置１００に入力されたことを示している。
従って、例えば、Ｂ２とＢ３との時間的な距離は、Ｂ２とＢ４との時間的な距離よりも短いことが判る。また、これらピクチャの入力された順序は、これらピクチャが再生される順序と一致する。
例えば、Ｂ２およびＢ３は、ＰピクチャであるＰ１の直前に位置するフレームに属するピクチャである。
また、Ｉ０〜Ｐ７の各ピクチャは、フィールドピクチャである。また、Ｉ０およびＢ２等の、上段に描かれたピクチャはトップフィールドであり、Ｐ１およびＢ３等の下段に描かれたピクチャはボトムフィールドである。つまり、図５（ａ）および図５（ｂ）は、画像符号化装置１００がインターレース信号を符号化する場合の符号化方式を例示している。
これら各ピクチャについての事項は、後述する図６（ａ）〜図８（ｂ）でも同じである。
なお、図中の矢印は、矢印の根元（出発点）にあたるピクチャを符号化するときに、矢印の先（到達点）にあたるピクチャを参照することを示している。
また、「Ｂピクチャ」は双方向予測符号化により得られるピクチャを、「Ｐピクチャ」は単方向予測符号化により得られるピクチャを、「Ｉピクチャ」は画面内予測により得られるピクチャをそれぞれ表す。
符号化対象ピクチャが時間的にＰピクチャの次に位置するフレームに属し、かつＢピクチャとして符号化する場合（図５（ａ）のピクチャＢ２およびピクチャＢ３が該当）、符号化方式決定部１０２は、通常時の符号化方式として、例えば、図５（ａ）に示すように、ピクチャＢ２の参照ピクチャとしてピクチャＩ０、ピクチャＰ１およびピクチャＰ６が選択される符号化方式を決定する。
また、符号化方式決定部１０２は、ピクチャＢ３の参照ピクチャとしてピクチャＢ２、ピクチャＰ１およびピクチャＰ７が選択される符号化方式を決定する。
しかし、ピクチャＢ２とピクチャＰ６との間、およびピクチャＢ３とピクチャＰ７との間の時間的な距離は、符号化対象ピクチャと他の参照ピクチャとの間の距離に比べて大きい。
このため、符号化フラグ情報がＯＮとなるような入力画像データ、つまり、動きが比較的大きな動画像に含まれる入力画像データを符号化する場合には十分な探索範囲をとることができない。結果として、当該入力画像データについての動きベクトル探索における動きベクトルの検出精度が低下する。
このため符号化フラグ情報がＯＮの場合は、符号化方式決定部１０２は、図５（ｂ）に示すようなフラグＯＮ時の符号化方式を決定する。符号化方式決定部１０２は、フラグＯＮ時の符号化方式として、例えば、ピクチャＢ２の参照ピクチャとしてピクチャＩ０およびピクチャＰ１が選択され、ピクチャＢ３の参照ピクチャとしてピクチャＢ２およびピクチャＰ１が選択される符号化方式を決定する。
このように、符号化フラグ情報がＯＮであるときに、符号化対象ピクチャが時間的にＰピクチャの次に位置するフレームに属し、かつＢピクチャとして符号化する場合に、符号化対象ピクチャよりも時間的に前に位置する１枚以上のピクチャのみを参照するよう決定する。
参照するピクチャをこのように決定することにより、符号化対象ピクチャを符号化する際に、当該符号化対象ピクチャについての符号化フラグ情報がＯＮであるときに、時間的に近い位置にあるピクチャを参照することになる。これにより、動きベクトル探索における動きベクトルの検出精度を向上させることができる。したがって、実施の形態１の画像符号化装置１００は、動きベクトル探索の探索範囲を大きくすることなく、動きベクトル探索における動きベクトルの検出精度を向上させ、これにより、画質および符号化効率を向上させることが可能となる。
また、上述したフラグＯＮ時の符号化方式で符号化する場合、通常時の符号化方式と比べて参照ピクチャの枚数を３枚から２枚に減少させてもよい。例えば、Ｂ２の参照ピクチャとしてＩ０とＰ１のみを選択させ、それぞれに探索範囲を一箇所ずつ設定してもよい。
この場合、動きベクトルを探索する箇所が２箇所に減少し、動きベクトル探索に必要なデータ処理量が通常時の符号化方式に比べて約２／３に減少する。
したがって、本発明の実施の形態１の画像符号化装置１００を集積回路や専用回路で実現する場合、フラグＯＮ時の符号化方式で符号化しているときに動きベクトルの探索に必要なサイクル数は、通常時の符号化方式で符号化している場合に比べて２／３に減少させることができる。
また本発明の実施の形態１のように、動きベクトルを探索する箇所の数を減らさないことで、この減少させることができる１／３のサイクル数を有効に利用することができる。
例えば、図５（ｂ）に示すように、符号化方式決定部１０２は、ピクチャＢ２の参照ピクチャとしてピクチャＩ０を選択し、通常時の符号化方式で決定される探索範囲の中心位置とは異なる探索範囲の中心位置を新たに決定する。
つまり、符号化方式決定部１０２は、ピクチャＩ０において２箇所に設定された探索範囲で動きベクトル探索が行われるように符号化方式を決定する。
同様に、符号化方式決定部１０２は、図５（ｂ）におけるピクチャＢ３についても、ピクチャＰ１を参照ピクチャとし、２箇所の探索範囲を設定して動きベクトル探索を行うよう符号化方式を決定する。
このようにすることで、予め設定されているハードウェアのサイクル数を無駄に遊ばせることなく有効に利用することができる。その結果動き検出精度をさらに向上させ、符号化効率のさらなる向上を図ることができる。
次に、図６（ａ）および図６（ｂ）を参照して符号化方式を決定する第１の方法の他の一例について説明する。
図６（ａ）は、具体的には、符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属し、かつＢピクチャとして符号化する場合における、通常時（フラグＯＦＦ時）の符号化方式を示す図である。
図６（ｂ）は、具体的には、当該符号化対象ピクチャをＢピクチャとして符号化する場合における、フラグＯＮ時の符号化方式を示す図である。
また、これら図中の矢印の意味は、図５（ａ）および図５（ｂ）における矢印の意味と同様である。
符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属し、かつＢピクチャとして符号化する場合（図６（ａ）におけるピクチャＢ４およびピクチャＢ５が該当）、符号化方式決定部１０２は、通常時の符号化方式として、例えば図６（ａ）に示ように、ピクチャＢ４の参照ピクチャとしてピクチャＩ０、ピクチャＰ６およびピクチャＰ７が選択され、ピクチャＢ５の参照ピクチャとしてピクチャＢ４、ピクチャＰ１およびピクチャＰ７が選択される符号化方式を決定する。
しかし、この場合、ピクチャＢ４とピクチャＩ０、およびピクチャＢ５とピクチャＰ１の時間的な距離は、他の符号化対象ピクチャと参照ピクチャの距離に比べて大きい。
このため、符号化フラグ情報がＯＮとなるような入力画像データ、つまり、動きが比較的大きな動画像に含まれる入力画像データを符号化する場合には十分な探索範囲をとることができない。結果として、当該入力画像データについての動きベクトル探索における動きベクトルの検出精度が低下する。
このため、符号化フラグ情報がＯＮの場合は、符号化方式決定部１０２は、図６（ｂ）に示すフラグＯＮ時の符号化方式を決定する。図６（ｂ）に示すようにフラグＯＮ時の符号化方式においては、ピクチャＢ４の参照ピクチャとしてピクチャＰ６およびピクチャＰ７が選択され、ピクチャＢ５の参照ピクチャとしてピクチャＢ４およびピクチャＰ７が選択される。
このように、符号化フラグ情報がＯＮである場合、符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属し、かつＢピクチャとして符号化するとき、符号化対象ピクチャよりも時間的に後に位置する１枚以上のピクチャのみを参照するよう決定する。
参照するピクチャをこのように決定することにより、符号化対象ピクチャを符号化する際に、当該符号化対象ピクチャについての符号化フラグ情報がＯＮであるときに、時間的に近い位置にあるピクチャを参照することになる。これにより、動きベクトル探索における動きベクトルの検出精度を向上させることができる。したがって、実施の形態１の画像符号化装置１００は、動きベクトル探索の探索範囲を大きくすることなく、動きベクトル探索における動きベクトルの検出精度を向上させ、画質および符号化効率を向上させることが可能となる。
なお、符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属する場合も、参照ピクチャの枚数を３枚から２枚に減少させてもよい。例えば、Ｂ４の参照ピクチャとしてＰ６とＰ７のみを選択させ、それぞれに探索範囲を一箇所ずつ設定してもよい。
図６（ｂ）に示す例では、図５（ｂ）に示した例と同様の理由により、符号化方式決定部１０２は、例えば、ピクチャＢ４の参照ピクチャとしてピクチャＰ６を選択し、通常時の符号化方式で決定される探索範囲の中心位置とは異なる探索範囲の中心位置を新たに決定する。
つまり、ピクチャＢ４の符号化の際に、ピクチャＰ６において２箇所に設定された探索範囲で動きベクトル探索を行わせるよう符号化方式が決定されている。
同様に、ピクチャＢ５もピクチャＰ７を参照ピクチャとし、ピクチャＰ７において２箇所の探索範囲を設定して動きベクトル探索が行われるよう符号化方式が決定されている。
このようにすることで、予め設定されているハードウェアのサイクル数を無駄に遊ばせることなく有効に利用することができ、その結果動き検出精度をさらに向上させ、符号化効率のさらなる向上を図ることができる。
次に、図７を参照して、符号化方式を決定する第２の方法の一例について説明する。
図７は、具体的には、符号化フラグ情報がＯＮであるときに、符号化対象ピクチャをＢピクチャとして符号化するフレームが連続する枚数を、符号化フラグ情報がＯＦＦであるときよりも少なくなるように符号化するときの符号化方式の一例を示す図である。
例えば、ビデオカメラから、ズーム中またはパン中であることを示す信号が入力画像付加情報として符号化フラグ生成部１０１に入力された場合を想定する。この場合、ズームまたはパンが停止されたことを示す信号が符号化フラグ生成部１０１に入力されるまで、符号化対象ピクチャをＢピクチャとして符号化するフレームが連続する枚数を通常よりも少なくする。
図７において、ピクチャＩ０はＩピクチャとして符号化するピクチャであり、ピクチャＰ１、ピクチャＰ４およびピクチャＰ５はＰピクチャとして符号化するピクチャであり、ピクチャＢ２、ピクチャＢ３、ピクチャＢ６およびピクチャＢ７はＢピクチャとして符号化するピクチャであることをそれぞれ表している。これらピクチャは、図５（ａ）等と同じく、画像符号化装置１００に入力された順序で図示されている。
なお、これら図中の矢印の意味は、図５（ａ）および図５（ｂ）における矢印の意味と同様である。
また、図７に示す符号化方式を決定する第２の方法においては、通常時の符号化方式は図５（ａ）または図６（ａ）に示した方法と同様である。
この第２の方法では、符号化フラグ情報がＯＮの場合は、通常時の符号化方式ではなく、例えば、図７に示すようなフラグＯＮ時の符号化方式を選ぶ。
つまり、符号化方式決定部１０２は、通常時の符号化方式においてＢピクチャとして符号化していたピクチャＢ４およびピクチャＢ５（図５（ａ）または図６（ａ）のＢ４、Ｂ５）を、フラグＯＮ時の符号化方式の場合は、Ｐピクチャ（図７のＰ４、Ｐ５）として符号化するように符号化方式を決定する。
その結果、符号化方式決定部１０２は、ピクチャＢ２の参照ピクチャとしてピクチャＩ０、ピクチャＰ１およびピクチャＰ４が選択され、ピクチャＢ３の参照ピクチャとしてピクチャＢ２、ピクチャＰ１およびピクチャＰ５が選択される符号化方式を決定する。
このように、符号化方式を決定する第２の方法におけるフラグＯＮ時の符号化方式では、連続してＢピクチャとして符号化するフレームの枚数を通常時の符号化方式の場合の２フレームから１フレームに少なくする。
これにより、本発明の実施の形態１の画像符号化装置１００は、符号化対象ピクチャと参照ピクチャとの時間的な距離を短くしている。つまり、探索範囲を大きくすることなく動きベクトル探索における動きベクトルの検出精度を上げている。
なお、図５（ａ）〜図７を用いて、画像符号化装置１００が、符号化対象ピクチャをＢピクチャとして符号化する場合について説明した。しかし、画像符号化装置１００は、符号化対象ピクチャをＰピクチャとして符号化する場合も、当該符号化対象ピクチャに近いピクチャを参照先として選択することで、動きベクトルの検出精度を向上させることができる。
図８（ａ）は、符号化対象ピクチャをＰピクチャとして符号化する場合における、通常時（フラグＯＦＦ時）の符号化方式を示す図である。
図８（ｂ）は、当該符号化対象ピクチャをＰピクチャとして符号化する場合における、フラグＯＮ時の符号化方式を示す図である。
図８（ａ）および図８（ｂ）において、Ｉ０〜Ｂ７の各ピクチャはフィールドピクチャであり、画像符号化装置１００に入力された順序で図示されている。
図８（ａ）に示すように、符号化方式決定部１０２は、通常時は、例えばＰ２の参照ピクチャとしてＩ０が選択される符号化方式を決定する。
しかし、図８（ｂ）に示すように、フラグＯＮ時には、Ｐ２の参照ピクチャとして、Ｉ０と同じフレームに含まれ、かつ、Ｐ２との距離がＩ０よりも近いＩ１が参照ピクチャとして選択される符号化方式を決定する。
このように、本発明の実施の形態１の画像符号化装置１００は、符号化対象ピクチャをＰピクチャとして符号化する場合も、動きベクトル探索の探索範囲を大きくすることなく、動きベクトル探索における動きベクトルの検出精度を向上させることができる。
また、本発明の実施の形態１の画像符号化装置１００は、プログレッシブ画像を符号化する場合も、符号化対象ピクチャに近いピクチャを参照先として選択することで、動きベクトルの検出精度を向上させることができる。
図９（ａ）は、プログレッシブ画像を符号化する場合における、通常時（フラグＯＦＦ時）の符号化方式を示す図である。
図９（ｂ）は、プログレッシブ画像を符号化する場合における、フラグＯＮ時の符号化方式を示す図である。
図９（ａ）および図９（ｂ）において、Ｉ０〜Ｐ４の各ピクチャはフレームピクチャであり、画像符号化装置１００に入力された順序で図示されている。
図９（ａ）に示すように、符号化方式決定部１０２は、通常時は、例えばＢ２の参照ピクチャとしてＩ０、Ｐ１およびＰ４が選択される符号化方式を決定する。
しかし、図９（ｂ）に示すように、フラグＯＮ時には、符号化方式決定部１０２は、Ｂ２の参照ピクチャとして、Ｐ４に換えて、Ｂ２との距離がＰ４よりも近いＰ１が参照ピクチャとして選択される符号化方式を決定する。
つまり、符号化方式決定部１０２は、図５（ｂ）に示すフラグＯＮ時の符号化方式と同じく、時間的に遠い位置にあるピクチャを参照ピクチャとせず、より近い位置にあるＰ１に２箇所の探索範囲を設定する。
すなわち、図９（ｂ）は、符号化対象ピクチャが時間的にＰピクチャの次に位置するフレームに属し、かつＢピクチャとして符号化する場合における符号化方式の別の一例を示している。
また、画像符号化装置１００は、プログレッシブ画像の符号化において、符号化対象ピクチャが時間的にＰピクチャの直前に位置するフレームに属し、かつＢピクチャとして符号化する場合、フラグＯＮ時には、符号化対象ピクチャよりも時間的に後に位置する１枚以上のピクチャのみを参照するよう決定する。
例えば、図９（ａ）および図９（ｂ）におけるＢ３が符号化される場合、符号化方式決定部１０２は、フラグＯＮ時には、Ｐ４のみが参照ピクチャとして選択される符号化方式を決定する。
また、画像符号化装置１００は、プログレッシブ画像の符号化において、上述の第２の方法と同じく、符号化フラグ情報がＯＮである場合、符号化対象ピクチャをＢピクチャとして符号化するフレームが連続する枚数を、符号化フラグ情報がＯＦＦであるときよりも少なくなるように符号化することもできる。
例えば、符号化方式決定部１０２は、図９（ａ）において、２つ連続するＢピクチャ（Ｂ２およびＢ３）のうち、フラグＯＮ時には、例えばＢ３がＰピクチャとして符号化されるよう符号化方式を決定する。
これにより、Ｂ２の直前および直後の両側にＰピクチャが配置され、Ｂ２の参照ピクチャとして、Ｐ４ではなく、Ｂ２の直前および直後の２枚のＰピクチャの一方または双方のＰピクチャが選択される。
以上のように、本発明の実施の形態１の画像符号化装置１００は、プログレッシブ画像を符号化する場合も、フラグＯＮ時、つまり、ズームまたはパンしている動画像など、所定の動き量以上の動きを示す動画像に含まれる入力画像データを符号化する際に、通常時よりも近いピクチャが参照されるように、符号化方式を決定する。
これにより、動きベクトル探索の探索範囲を大きくすることなく、動きベクトル探索における動きベクトルの検出精度を向上させることができる。
（実施の形態２）
図１０は、本発明の実施の形態２の画像符号化装置８００の構成を示すブロック図である。
図１０に示すように、画像符号化装置８００は、符号化フラグ生成部８０１と、符号化方式決定部１０２と、画像符号化部１０３とを備える。
符号化フラグ生成部８０１は、入力画像データを受信し、受信した入力画像データが有している特性、すなわち、入力画像データが必然的に有している情報を用いて符号化フラグ情報を生成する。符号化フラグ生成部８０１はさらに、生成した符号化フラグ情報を符号化方式決定部１０２に対して出力する。
符号化方式決定部１０２および画像符号化部１０３は、本発明の実施の形態１と同様のものであるので同じ符号を付し、ここでは説明を省略する。
なお、本発明の実施の形態２が本発明の実施の形態１と異なる点は、符号化フラグ生成部８０１が行う、入力画像データが所定の動き量以上の動画像に含まれるか否かの判断の方法が異なるだけである。実施の形態２における符号化方式決定部１０２からの符号化方式決定情報に基づいて入力画像データを符号化する符号化方式は実施の形態１と同じである。
次に、以上のように構成された画像符号化装置８００における符号化フラグ生成部８０１が実行する処理について説明する。
まず、入力画像データが画像符号化部１０３とともに符号化フラグ生成部８０１に入力される。符号化フラグ生成部８０１は、入力された入力画像データが必然的に有している情報から、入力画像データが所定の動き量以上の動画像に含まれるか否かを、図１１を参照して後述する方法により判断する。
符号化フラグ生成部８０１は、入力画像データが所定の動き量以上の動画像に含まれると判断した場合はＯＮを示す符号化フラグ情報を生成し、そうでない場合はＯＦＦを示す符号化フラグ情報を生成する。符号化フラグ生成部８０１はさらに、生成した符号化フラグ情報を符号化方式決定部１０２へ出力する。
次に、図１１を用いて、符号化フラグ生成部８０１が実行する処理の一例を説明する。
図１１は、本発明の実施の形態２の画像符号化装置８００における符号化フラグ生成部８０１が実行する処理の一例を示すフローチャートである。
図１１において、符号化フラグ生成部８０１は、入力画像データから特徴量を算出する（Ｓ９０１）。符号化フラグ生成部８０１は、Ｓ９０１において算出した特徴量が予め定めた閾値以上であるか否かを判断する（Ｓ９０２）。
つまり、符号化フラグ生成部８０１は、符号化処理がなされる前の入力画像データの特徴量が閾値以上であるか否かを判断する。
予め定めた閾値以上であると判断された場合（Ｓ９０２におけるＹｅｓの場合）、符号化フラグ生成部８０１は符号化フラグ情報をＯＮにして出力する（Ｓ９０３）。
特徴量が予め定めた閾値よりも小さいと判断された場合（Ｓ９０２におけるＮｏの場合）、符号化フラグ生成部８０１は符号化フラグ情報をＯＦＦにして出力する（Ｓ９０４）。
ここで、入力画像データから算出した特徴量とは、例えば、入力画像のフレーム間差分の絶対値である。また、この特徴量は、例えば現在の入力画像と過去の入力画像との動き量であってもよい。
つまり、現在の符号化対象ピクチャと、例えば１つ前の符号化対象ピクチャとの画像としての差を示す特徴量が閾値よりも大きい場合、これらピクチャは、大きな動きを示す動画像に含まれる一連のピクチャであると判断できる。
そこで、この場合、実施の形態２における符号化フラグ生成部８０１は、現在の符号化対象ピクチャが、所定の動き量以上の動画像に含まれると判断する。
このような判断手法により、ＯＮを示す符号化フラグ情報が生成された場合に符号化方式決定部１０２が決定する符号化方式は、上述のように実施の形態１と同じである。
つまり、図５（ｂ）等に例示されるように、通常時よりも近い位置のピクチャが参照ピクチャとして選択される。
実施の形態２の画像符号化装置８００は、上記処理を実行することにより、実施の形態１の画像符号化装置１００と同様の有用な効果を発揮することができる。
すなわち、実施の形態２の画像符号化装置８００は、比較的大きな動きを示す動画像を符号化する場合であっても、動きベクトル探索の探索範囲を大きくすることなく、動きベクトル探索における動きベクトルの検出精度を向上させることができる。つまり、画質および符号化効率を向上させることが可能となる。
（実施の形態３）
図１２は、本発明の実施の形態３の画像符号化装置９００の構成を示すブロック図である。
図１２に示すように、画像符号化装置９００は、符号化フラグ生成部９０１と、符号化方式決定部１０２と、画像符号化部１０３とを備える。
符号化フラグ生成部９０１は、画像符号化部１０３によって現在の入力画像データ、つまり現在の符号化対象ピクチャが符号化されるより前に符号化され生成されたピクチャ（以下、「過去の符号化ピクチャ」という。）の画像符号化情報を用いて符号化フラグ情報を生成する。符号化フラグ生成部９０１はさらに、生成した符号化フラグ情報を符号化方式決定部１０２に対して出力する。
符号化方式決定部１０２および画像符号化部１０３は、本発明の実施の形態１と同様のものであるので同じ符号を付し、ここでは説明を省略する。
なお、本発明の実施の形態３が本発明の実施の形態１と異なる点は、符号化フラグ生成部９０１が行う、入力画像データが所定の動き量以上の動画像に含まれるか否かの判断の方法が異なるだけである。実施の形態３における符号化方式決定部１０２からの符号化方式決定情報に基づいて入力画像データを符号化する符号化方式は実施の形態１と同じである。
次に、以上のように構成された画像符号化装置９００における符号化フラグ生成部９０１が実行する処理について説明する。
まず、入力画像データが画像符号化部１０３に入力される。画像符号化部１０３は、本発明の実施の形態１および２と同様、符号化方式決定部１０２が出力した符号化方式決定情報に従って、符号化対象ピクチャをＨ．２６４圧縮方式による符号化により圧縮符号化して出力ストリームとして出力する。
実施の形態３における画像符号化部１０３はさらに圧縮符号化したピクチャのデータを符号化フラグ生成部９０１に送信する。
符号化フラグ生成部９０１は、画像符号化部１０３から入力画像の圧縮符号化されたデータを受信する。符号化フラグ生成部９０１はさらに、当該データに含まれる画像符号化情報から、その時点で符号化対象である入力画像データについての判断を行う。
つまり、符号化フラグ生成部９０１は、過去の符号化ピクチャの画像符号化情報を用いて、当該入力画像データが所定の動き量以上の動きを示す動画像に含まれる画像データである可能性があるか否かを判断する。判断方法については、図１３を参照して後述する。
符号化フラグ生成部９０１は、入力画像データが当該動画像に含まれる画像データである可能性があると判断した場合はＯＮを示す符号化フラグ情報を生成し、そうでない場合はＯＦＦを示す符号化フラグ情報を生成する。符号化フラグ生成部９０１はさらに、生成した符号化フラグ情報を符号化方式決定部１０２へ出力する。
次に、図１３を用いて、符号化フラグ生成部９０１が実行する処理の一例を説明する。
図１３は、本発明の実施の形態３に係る画像符号化装置９００における符号化フラグ生成部９０１が実行する処理の一例を示すフローチャートである。
図１３において、符号化フラグ生成部９０１は、まず、画像符号化部１０３から得られた、過去の符号化ピクチャの画像符号化情報から特徴量を算出する（Ｓ１００１）。
符号化フラグ生成部９０１は、例えば、当該画像符号化情報から得られる、マクロブロックごとの動きベクトルの絶対値の総和を特徴量として算出する。
次に、Ｓ１００１において算出された特徴量が予め定めた閾値以上であるか否かを判断（Ｓ１００２）する。特徴量が予め定めた閾値以上であると判断された場合（Ｓ１００２においてＹｅｓ）、符号化フラグ生成部９０１は、符号化方式決定部１０２に対して、符号化フラグ情報をＯＮにして出力する（Ｓ１００３）。
特徴量が予め定めた閾値より小さいと判断された場合（Ｓ１００２においてＮｏ、符号化フラグ生成部９０１は、符号化方式決定部１０２に対して、符号化フラグ情報をＯＦＦにして出力する（Ｓ１００４）。
ここで、本発明の実施の形態３において、符号化フラグ生成部９０１が算出する特徴量は、マクロブロックごとの動きベクトルの絶対値の総和であるとした。
つまり、画像符号化部１０３から得られる過去の符号化ピクチャの画像符号化情報には、マクロブロックごとの動きベクトルが含まれるとした。
しかしながら、特徴量の算出には、動きベクトル以外のパラメータを利用してもよい。
また、特徴量の種類も、マクロブロックごとの動きベクトルの絶対値の総和、つまり、同じピクチャに属する動きベクトルの絶対値の総和以外でもよい。
例えば、特徴量の種類は、同じピクチャに属する動きベクトルの平均値でもよい。また、同じピクチャに属する動きベクトルの絶対値の平均値、または、同じピクチャに属する動きベクトルの分散などであってもよい。このような判断手法により、ＯＮを示す符号化フラグ情報が生成された場合に符号化方式決定部１０２が決定する符号化方式は、上述のように実施の形態１と同じである。
つまり、図５（ｂ）等に例示されるように、通常時よりも近い位置のピクチャが参照ピクチャとして選択される。
実施の形態３の画像符号化装置９００は、上記処理を実行することにより、実施の形態１の画像符号化装置１００と同様の有用な効果を発揮することができる。
すなわち、実施の形態３の画像符号化装置９００は、比較的大きな動きを示す動画像を符号化する場合であっても、動きベクトル探索の探索範囲を大きくすることなく、動きベクトル探索における動きベクトルの検出精度を向上させることができる。つまり、画質および符号化効率を向上させることが可能となる。
以上のように、本発明の実施の形態１〜３の画像符号化装置１００、８００および９００は、符号化フラグ生成部１０１、８０１、または９０１において、入力画像データの付加情報である入力画像付加情報、入力画像データが必然的に有している情報、または画像符号化部１０３によって生成された現在の入力画像データより以前に符号化したピクチャの画像符号化情報、の内のいずれかの情報に基づき符号化フラグ情報を生成して符号化方式決定部１０２へ出力する。
符号化フラグ情報を受信した符号化方式決定部１０２は、符号化フラグ情報から符号化方式決定情報を決定して画像符号化部１０３へ出力する。
符号化方式決定情報を受信した画像符号化部１０３は、符号化方式決定情報に基づいて入力画像データを符号化してストリームを出力する。
画像符号化装置１００、８００および９００が、このような構成であることにより、入力画像データが所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを示す符号化フラグ情報がＯＮである場合、符号化対象ピクチャと時間的に近い位置にあるピクチャが参照ピクチャとして選択される。
これにより、動きベクトル探索における動きベクトル検出精度を向上させることができる。その結果、入力画像データの動きが大きいときの符号化効率を高めることができる。
また、動きベクトル探索の探索範囲を大きくして符号化効率を上げる方法に比べて、回路規模、演算量を削減することができる。したがって、本発明に係る画像符号化装置は、画像符号化処理における演算量の削減、高速化、および低消費電力化を図りつつ、画質および符号化効率を向上させることが可能である。
なお、入力画像データが所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを判断する方法として、本発明の実施の形態１〜３においてそれぞれ３つの異なる方法を示した。しかしながら、これらの方法を複数組み合わせることにより入力画像データが大きな動きを含む画像であるか否かを判断してもよい。
以上、本発明の実施の形態１〜３について説明したが、本発明はこれに限定されるものではない。
例えば、本発明の実施の形態１においては、符号化フラグ情報がＯＮである時に、符号化方式決定部１０２は、Ｂピクチャとして符号化するフレームが連続する枚数を１枚に減らしている。
しかし、符号化方式決定部１０２は、例えば、ＯＮを示す符号化フラグ情報を受信してからＯＦＦを示す符号化フラグ情報を受信するまでは、すべてのピクチャについて、Ｂピクチャとして符号化せず、それぞれをＩピクチャまたはＰピクチャとして符号化してもよい。
また、本発明の実施の形態１においては、通常時にＢピクチャを符号化するときの参照ピクチャの枚数を３枚とした。しかし、本発明はこれに限定されるものではない。参照ピクチャの枚数は、例えば、２枚であっても４枚であってもよい。
また、本発明の実施の形態１においては、符号化フラグＯＮ時に１枚の参照ピクチャに探索範囲を２箇所設ける場合を例に挙げた。しかし、本発明はこれに限定されるものではない。例えば、最も距離の近いピクチャに対して探索範囲を２箇所設定してもよいし、他の参照ピクチャに対して探索範囲を２箇所設定してもよい。
また、本発明の実施の形態１〜３においては、圧縮符号化方式としてＨ．２６４を用いた場合を例に挙げた。しかし、本発明はこれに限定されるものではない。例えば、圧縮符号化方式としてＭＰＥＧ１、ＭＰＥＧ２またはＶＣ１を用いてもよい。
以上のように、本発明の画像符号化装置は、入力画像付加情報、または入力画像データ、または画像符号化部によって生成された現在の入力画像データより以前に符号化されたピクチャの画像符号化情報から、入力画像データが所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを判断する。
本発明の画像符号化装置はさらに、判断結果に応じて、符号化対象ピクチャを符号化するときのピクチャタイプや、符号化対象ピクチャがどのピクチャを参照するかといった符号化方式を決定する。そのため、画質および符号化効率を向上させることが可能となる。
また、探索範囲を大きくすることなく、画質および符号化効率を向上させることが可能となる。そのため、画像符号化装置の回路規模の削減ならびに低消費電力化が可能である。
なお、本発明は、本発明の実施の形態１〜３における各処理部を備える画像符号化装置として提供することができるばかりでなく、画像符号化装置が具備する各処理部の動作を含む画像符号化方法、画像符号化装置が具備する各処理部を備える画像符号化集積回路、および画像符号化方法を実現することができる画像符号化プログラムを提供することも可能である。
そして、この画像符号化プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができる。
また、画像符号化集積回路は、典型的な集積回路であるＬＳＩとして実現することができる。この場合、ＬＳＩは、１チップで構成しても良いし、複数チップで構成しても良い。
例えば、メモリ以外の機能ブロックが１チップＬＳＩで構成しても良い。なお、ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。
図１４は、本発明の画像符号化集積回路の構成例を示すブロック図である。
図１４に示す画像符号化集積回路２００は、１チップのＬＳＩで構成されている。また、図１４は、実施の形態１の画像符号化装置１００を画像符号化集積回路２００により実現した場合を示している。なお、画像符号化集積回路２００は複数チップのＬＳＩで構成されてもよい。
また、実施の形態２の画像符号化装置８００、および、実施の形態３の画像符号化装置９００も、同様に、１チップまたは複数チップのＬＳＩにより実現することができる。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよいし、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらに、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適応等がその可能性として有り得ると考えられる。
また、集積回路化に際し、各機能ブロックのうち、データを格納するユニットだけを１チップ化構成に取り込まず、別構成としても良い。
本発明に係る画像符号化装置および画像符号化方法は、より小さな回路規模および低消費電力でＨ．２６４、ＭＰＥＧ１、ＭＰＥＧ２およびＶＣ１などの圧縮符号化方式による映像の符号化を実現することができる。従って、本発明は、パーソナルコンピュータ、ＨＤＤレコーダ、ＤＶＤレコーダおよびカメラ付き携帯電話機等に適用できる。
１００、８００、９００ 画像符号化装置
１０１、８０１、９０１ 符号化フラグ生成部
１０２ 符号化方式決定部
１０３ 画像符号化部
２００ 画像符号化集積回路
２０１ 入力画像データメモリ
２０２ 参照画像データメモリ
２０３ 面内予測部
２０４ 動きベクトル検出部
２０５ 動き補償部
２０６ 予測モード判定部
２０７ 差分演算部
２０８ 直交変換部
２０９ 量子化部
２１０ 逆量子化部
２１１ 逆直交変換部
２１２ 加算部
２１３ エントロピー符号化部

Claims (4)

  1. 入力画像データを符号化する画像符号化装置であって、
    前記入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かの判断を行い、前記判断の結果を示す符号化フラグ情報を生成する符号化フラグ生成部と、
    前記符号化フラグ生成部により生成された符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示さない場合よりも、入力順において時間的に近い位置の符号化済みの画像データを参照するように、符号化方式を決定する符号化方式決定部と、
    前記符号化方式決定部により決定された前記符号化方式に従って前記入力画像データを圧縮符号化する画像符号化部とを備え、
    前記画像符号化部は、前記入力画像データである符号化対象ピクチャを圧縮符号化するときのピクチャタイプとしてＢピクチャを選択可能であり、
    前記符号化方式決定部は、前記符号化フラグ情報が、前記符号化対象ピクチャが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化対象ピクチャが、入力順において時間的にＰピクチャの次に位置するフレームに属し、かつ、前記符号化対象ピクチャをＢピクチャとして符号化するとき、前記符号化対象ピクチャよりも時間的に前に位置する１枚以上のピクチャのみを参照するように前記符号化方式を決定する
    画像符号化装置。
  2. 入力画像データを符号化する画像符号化装置であって、
    前記入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かの判断を行い、前記判断の結果を示す符号化フラグ情報を生成する符号化フラグ生成部と、
    前記符号化フラグ生成部により生成された符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示さない場合よりも、入力順において時間的に近い位置の符号化済みの画像データを参照するように、符号化方式を決定する符号化方式決定部と、
    前記符号化方式決定部により決定された前記符号化方式に従って前記入力画像データを圧縮符号化する画像符号化部とを備え、
    前記画像符号化部は、前記入力画像データである符号化対象ピクチャを圧縮符号化するときのピクチャタイプとしてＢピクチャを選択可能であり、
    前記符号化方式決定部は、前記符号化フラグ情報が、前記符号化対象ピクチャが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化対象ピクチャが、入力順において時間的にＰピクチャの直前に位置するフレームに属し、かつ、前記符号化対象ピクチャをＢピクチャとして符号化するとき、前記符号化対象ピクチャよりも時間的に後に位置する１枚以上のピクチャのみを参照するように前記符号化方式を決定する
    画像符号化装置。
  3. 入力画像データを符号化する画像符号化方法であって、
    前記入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを判断し、
    前記判断の結果を示す符号化フラグ情報を生成し、
    生成された符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データである
    ことを示さない場合よりも、入力順において時間的に近い位置の符号化済みの画像データを参照するように、符号化方式を決定し、
    決定された前記符号化方式に従って前記入力画像データを圧縮符号化し、
    前記圧縮符号化では、前記入力画像データである符号化対象ピクチャを圧縮符号化するときのピクチャタイプとしてＢピクチャを選択可能であり、
    前記符号化方式の決定では、前記符号化フラグ情報が、前記符号化対象ピクチャが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化対象ピクチャが、入力順において時間的にＰピクチャの次に位置するフレームに属し、かつ、前記符号化対象ピクチャをＢピクチャとして符号化するとき、前記符号化対象ピクチャよりも時間的に前に位置する１枚以上のピクチャのみを参照するように前記符号化方式を決定する
    画像符号化方法。
  4. 入力画像データを符号化する画像符号化方法であって、
    前記入力画像データが、所定の動き量以上の動きを示す動画像に含まれる画像データであるか否かを判断し、
    前記判断の結果を示す符号化フラグ情報を生成し、
    生成された符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化フラグ情報が、前記入力画像データが前記所定の動き量以上の動きを示す動画像に含まれる画像データである
    ことを示さない場合よりも、入力順において時間的に近い位置の符号化済みの画像データを参照するように、符号化方式を決定し、
    決定された前記符号化方式に従って前記入力画像データを圧縮符号化し、
    前記圧縮符号化では、前記入力画像データである符号化対象ピクチャを圧縮符号化するときのピクチャタイプとしてＢピクチャを選択可能であり、
    前記符号化方式の決定では、前記符号化フラグ情報が、前記符号化対象ピクチャが前記所定の動き量以上の動きを示す動画像に含まれる画像データであることを示す場合、前記符号化対象ピクチャが、入力順において時間的にＰピクチャの直前に位置するフレームに属し、かつ、前記符号化対象ピクチャをＢピクチャとして符号化するとき、前記符号化対象ピクチャよりも時間的に後に位置する１枚以上のピクチャのみを参照するように前記符号化方式を決定する
    画像符号化方法。
JP2009551324A 2008-01-29 2008-11-07 画像符号化装置および画像符号化方法 Active JP5322956B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009551324A JP5322956B2 (ja) 2008-01-29 2008-11-07 画像符号化装置および画像符号化方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2008017759 2008-01-29
JP2008017759 2008-01-29
PCT/JP2008/003239 WO2009095962A1 (ja) 2008-01-29 2008-11-07 画像符号化装置、画像符号化方法、画像符号化集積回路および画像符号化プログラム
JP2009551324A JP5322956B2 (ja) 2008-01-29 2008-11-07 画像符号化装置および画像符号化方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013148048A Division JP2013236392A (ja) 2008-01-29 2013-07-16 画像符号化装置および画像符号化方法

Publications (2)

Publication Number Publication Date
JPWO2009095962A1 JPWO2009095962A1 (ja) 2011-05-26
JP5322956B2 true JP5322956B2 (ja) 2013-10-23

Family

ID=40912334

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2009551324A Active JP5322956B2 (ja) 2008-01-29 2008-11-07 画像符号化装置および画像符号化方法
JP2013148048A Pending JP2013236392A (ja) 2008-01-29 2013-07-16 画像符号化装置および画像符号化方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2013148048A Pending JP2013236392A (ja) 2008-01-29 2013-07-16 画像符号化装置および画像符号化方法

Country Status (3)

Country Link
US (2) US20100303155A1 (ja)
JP (2) JP5322956B2 (ja)
WO (1) WO2009095962A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2014002900A1 (ja) * 2012-06-29 2016-05-30 ソニー株式会社 画像処理装置および画像処理方法
JP6626319B2 (ja) 2015-11-18 2019-12-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823515A (ja) * 1994-07-08 1996-01-23 Sony Corp ディジタルビデオ信号記録装置
JP2002077924A (ja) * 2000-08-31 2002-03-15 Kddi Corp シーン適応型動画像符号化装置
JP2006094454A (ja) * 2004-08-27 2006-04-06 Matsushita Electric Ind Co Ltd 映像信号の予測符号化における参照ピクチャ決定方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0846969A (ja) * 1994-07-26 1996-02-16 Mitsubishi Electric Corp 映像信号符号化方式
JP2001145011A (ja) 1999-11-15 2001-05-25 Victor Co Of Japan Ltd 映像信号符号化装置
US6782052B2 (en) * 2001-03-16 2004-08-24 Sharp Laboratories Of America, Inc. Reference frame prediction and block mode prediction for fast motion searching in advanced video coding
US7266150B2 (en) * 2001-07-11 2007-09-04 Dolby Laboratories, Inc. Interpolation of video compression frames
US20030099294A1 (en) * 2001-11-27 2003-05-29 Limin Wang Picture level adaptive frame/field coding for digital video content
JP4114859B2 (ja) * 2002-01-09 2008-07-09 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
ES2562932T3 (es) * 2002-03-15 2016-03-09 Nokia Technologies Oy Método para codificar movimiento en una secuencia de vídeo
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
JP2004088736A (ja) * 2002-06-28 2004-03-18 Matsushita Electric Ind Co Ltd 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
CN101873501B (zh) * 2002-08-08 2012-10-31 松下电器产业株式会社 图像解码方法及图像解码装置
JP2004221744A (ja) * 2003-01-10 2004-08-05 Nippon Hoso Kyokai <Nhk> 動画像符号化装置、その方法及びそのプログラム、並びに、動画像復号装置、その方法及びそのプログラム
EP1784984A1 (en) * 2004-08-31 2007-05-16 Thomson Licensing Fast motion estimation for multiple reference pictures
JP5422124B2 (ja) 2005-10-05 2014-02-19 パナソニック株式会社 参照ピクチャ選択方法、画像符号化方法、プログラム、画像符号化装置および半導体装置
JP2008011117A (ja) * 2006-06-28 2008-01-17 Matsushita Electric Ind Co Ltd 画像符号化におけるインターレース符号化時の参照ピクチャ決定方法
US8638844B2 (en) * 2008-07-01 2014-01-28 Mediatek Inc. Method and apparatus for storing decoded moving pictures with a reduced memory requirement
CN102986212B (zh) * 2010-05-07 2015-11-25 日本电信电话株式会社 活动图像编码控制方法、活动图像编码装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823515A (ja) * 1994-07-08 1996-01-23 Sony Corp ディジタルビデオ信号記録装置
JP2002077924A (ja) * 2000-08-31 2002-03-15 Kddi Corp シーン適応型動画像符号化装置
JP2006094454A (ja) * 2004-08-27 2006-04-06 Matsushita Electric Ind Co Ltd 映像信号の予測符号化における参照ピクチャ決定方法

Also Published As

Publication number Publication date
JPWO2009095962A1 (ja) 2011-05-26
US20100303155A1 (en) 2010-12-02
US8897368B2 (en) 2014-11-25
JP2013236392A (ja) 2013-11-21
WO2009095962A1 (ja) 2009-08-06
US20140044186A1 (en) 2014-02-13

Similar Documents

Publication Publication Date Title
JP2020114013A (ja) 符号化装置、復号装置、符号化方法、復号方法、及びプログラム
JP5156704B2 (ja) 画像符号化装置、画像符号化方法、集積回路及びカメラ
JP5328854B2 (ja) 動きベクトル検出装置及び動きベクトル検出方法
JP2007053561A (ja) 画像符号化装置および画像符号化方法
JP2006352181A (ja) 画像の符号化／復号化装置、符号化／復号化プログラム及び符号化／復号化方法
JP2007201558A (ja) 動画像符号化装置および動画像符号化方法
KR20120058521A (ko) 화상 처리 장치 및 방법
WO2011078003A1 (ja) 画像処理装置および方法、並びにプログラム
US8254451B2 (en) Image coding apparatus, image coding method, image coding integrated circuit, and camera
WO2012098845A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
JP2008067353A (ja) 動きベクトル検出装置及び動きベクトル検出方法
US9438925B2 (en) Video encoder with block merging and methods for use therewith
JP2011250400A (ja) 動画像符号化装置及び動画像符号化方法
US8649615B2 (en) Moving picture compression coding apparatus
US20150208082A1 (en) Video encoder with reference picture prediction and methods for use therewith
JP5322956B2 (ja) 画像符号化装置および画像符号化方法
JP2009111647A (ja) 動きベクトル検出装置および動きベクトル検出方法
JP2008141407A (ja) 符号化方式変換装置及び符号化方式変換方法
JP2009296363A (ja) 動きベクトル探索装置および動きベクトル探索方法
US20120194643A1 (en) Video coding device and video coding method
JP4561701B2 (ja) 動画像符号化装置
JP2008099175A (ja) 動画符号化装置および動画符号化方法
JP2011234045A (ja) 画像符号化装置及び画像符号化方法
JP5943757B2 (ja) 画像符号化装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130716

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250