JP3943333B2 - 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置 - Google Patents
画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置 Download PDFInfo
- Publication number
- JP3943333B2 JP3943333B2 JP2000535152A JP2000535152A JP3943333B2 JP 3943333 B2 JP3943333 B2 JP 3943333B2 JP 2000535152 A JP2000535152 A JP 2000535152A JP 2000535152 A JP2000535152 A JP 2000535152A JP 3943333 B2 JP3943333 B2 JP 3943333B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- local region
- average
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/98—Adaptive-dynamic-range coding [ADRC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
- H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/146—Data rate or code amount at the encoder output
- H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
技術分野
本発明は、画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置に関し、特に光ディスク等の画像記録媒体に動画像信号を高能率符号化して記録するシステム等において使用されるものに関するものである。
【０００２】
背景技術
従来、動画像信号を高能率符号化して記録するシステム等において、特開平９−１８８７２号に記載されたものが知られている。
図２０に従来の画像符号化装置のブロック図を簡略化して示す。また、図２１から図２３に従来の画像符号化装置による量子化ステップ幅を決定するための特性図を示す。図２１から図２３において横軸はそれぞれの画像特徴情報の大きさを示しており、縦軸は量子化特性の係数を示しており、この係数が大きいほど量子化ステップ幅は小さくなる。すなわち、与えられるビット数が多くなり、発生符号量が多くなることを示す。
【０００３】
図２０に従ってその構成、動作を説明する。従来の画像符号化装置は、図２０に示すように、輝度信号の所定期間毎の平均値を抽出する平均輝度レベル抽出器２００１、色差信号の所定期間毎の平均値を抽出する平均色レベル抽出器２００２、所定期間毎の輝度信号の分散値を抽出する輝度分散値抽出器２００３、量子化ステップ幅決定器２００４、及び符号化器２００５から構成されている。
【０００４】
画像信号は、平均輝度レベル抽出器２００１、平均色レベル抽出器２００２、輝度分散値抽出器２００３、及び符号化器２００５に入力される。平均輝度レベル抽出器２００１、平均色レベル抽出器２００２、輝度分散値抽出器２００３では、入力された画像信号から所定期間にわたってそれぞれの画像特徴情報を抽出し、抽出されたそれぞれの画像特徴情報が量子化ステップ幅決定器２００４に入力される。量子化ステップ幅決定器２００４は、これらの画像特徴情報の少なくともひとつに従って、量子化ステップ幅を決定し、その結果を符号化器２００５に出力する。符号化器２００５は、量子化ステップ幅決定器２００４で所定期間毎に決定された量子化ステップ幅を用いて、入力画像信号を符号化して出力する。
【０００５】
量子化ステップ幅決定器２００４では、平均輝度レベル抽出器２００１で抽出された平均輝度レベルが比較的小さな場合には、図２１に示す特性により量子化ステップ幅を小さくしたり、平均色レベル抽出器２００２で抽出されたCb、Cr２つの色差信号のうちの赤色系のCr信号の平均レベルが大きな場合には、図２２に示す特性により量子化ステップ幅を小さくしたり、輝度分散値抽出器２００３で抽出された輝度分散値が小さな場合には、図２３に示す特性により量子化ステップ幅を小さくしたりするように動作する。図２１から図２３の縦軸の係数は量子化ステップ幅の重みづけとなるものであり、係数が大きいほど量子化ステップ幅が小さくなることを示す。
このようにして、人間の視覚特性に適合するように量子化 ステップ幅を決定し、符号化するという構成である。
【０００６】
以上のように、従来の画像符号化装置では、所定期間毎の画像信号の大まかな特徴情報を用いて人間の視覚特性に適合するように量子化ステップ幅を決定し符号化するという構成であるため、抽出された画像特徴情報に従って画質劣化を少なく符号化しようとすると、全体的な発生符号量が上がってしまう。逆に発生符号量を抑えようとすると、所定期間に表示される画面全体に画質劣化が発生するという問題がある。
【０００７】
本発明は、かかる点に鑑みて発生符号量に対する影響を小さくしながらも画質劣化を少なくし、画像全体に対する人間の視覚特性に適合した画像符号化方法、画像符号化復号化装置、画像符号化装置、及び画像記録再生装置を提供することを目的とする。
【０００８】
発明の開示
本発明の請求項１に係る画像符号化方法は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、前記入力画像信号を、前記局所領域毎に分割するステップと、該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより算出したフレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する局所領域の特異性の強さとして抽出するステップと、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含むことにより、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
本発明の請求項２に係る画像符号化方法は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、前記入力画像信号を、前記局所領域毎に分割するステップと、該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、前記各局所領域の画像特徴情報の、複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出するステップと、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含むことにより、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
本発明の請求項３に係る画像符号化方法は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、前記入力画像信号を、前記局所領域毎に分割するステップと、該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、１フレーム期間に対しては、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより算出したフレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する局所領域の特異性の強さとして抽出し、複数フレーム期間にわたっては、前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出するステップと、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含む、ことにより、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
【００１２】
また、本発明の請求項４に係る画像符号化方法は、請求項１ないし３のいずれかに記載の画像符号化方法において、前記各局所領域に対するフィルタ特性を、各局所領域の特異性が強いほど、各局所領域に対する低域周波数通過フィルタのカットオフ周波数を高くするよう決定するステップと、決定されたフィルタ特性に基づいて、前記各局所領域の画像信号に対するフィルタ処理を行うステップとを含み、前記フィルタ処理を施した前記各局所領域の画像信号を、前記決定された量子化特性に基づいて符号化することにより、画像全体の統計的情報を利用して局所領域毎に符号化ノイズの発生及び、発生符号量の上昇を抑えるとともに、局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。
【００１７】
また、請求項５に係る画像符号化方法は、請求項１ないし３のいずれかに記載の画像符号化方法において、前記局所領域毎に決定された量子化特性を、符号化の対象となる対象局所領域の量子化特性と、該対象局所領域及びこれに隣接する複数の局所領域の量子化特性を平均化して得られる量子化特性とのうちの、量子化ステップ幅の小さい方の特性としたことにより、隣接する局所領域間で復号画質が大きく異なって視覚的な違和感が発生するのを抑えることができるという効果を有する。
また、請求項６係る画像符号化方法は、請求項４に記載の画像符号化方法において、前記局所領域毎に決定されたフィルタ特性を、符号化の対象となる対象局所領域のフィルタ特性と、該対象局所領域及びこれに隣接する複数の局所領域のフィルタ特性を平均化して得られるフィルタ特性とのうちの、低域周波数通過フィルタのカットオフ周波数の高い方の特性としたことにより、隣接する局所領域間で復号画質が大きく異なって視覚的な違和感が発生するのを抑えることができるという効果を有する。
【００１８】
また、請求項７に係る画像符号化方法は、請求項１ないし６のいずれかに記載の画像符号化方法において、前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報、としたので、画面全体のうちの特に注目される部分における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項８に係る画像符号化方法は、請求項１ないし６のいずれかに記載の画像符号化方法において、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する画素のもつ２つの色差信号のそれぞれの平均値情報と、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報、としたので、画面全体のうちの特に注目される部分における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項９に係る画像符号化方法は、請求項７に記載の画像符号化方法において、前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域であるものとしたので、画面全体のうちの特に注目される人間の肌領域における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項１０に係る画像符号化方法は、請求項８に記載の画像符号化方法において、前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域であるものとしたので、画面全体のうちの特に注目される人間の肌領域における符号化ノイズを局所的に抑えることができるという効果を有する。
【００１９】
また、請求項１１に係る画像符号化方法は、請求項４または６に記載の画像符号化方法において、前記フィルタ特性は、前記各局所領域の特異性の強さに応じて前記低域周波数通過フィルタのカットオフ周波数を変化させ、かつ、外部から与えられる、動画像の動きに応じたフィルタ強度を示す制御信号によって、前記低域周波数通過フィルタにオフセットをかけて制御するものとしたことにより、画像全体のフィルタ特性を動画像の動きに応じたものとできるという効果を有する。
【００２０】
また、請求項１２に係る画像符号化方法は、請求項１１に記載の画像符号化方法において、 外部から与えられる前記制御信号は、入力画像信号のＮ（Ｎは自然数）フレーム期間にわたるフレームまたは、フィールド画素差分の絶対値の累積値、またはＭ（Ｍは自然数）フレーム期間にわたる符号化情報発生量の累積値、または各フレーム毎の符号化情報発生量の比率の少なくともひとつに応じたフィルタ強度を示すようにしたことにより、入力画像信号の動きの特徴により、もともとの情報量を効果的に削減し、発生符号量を抑えることができるという効果を有する。
【００２１】
また、請求項１３に係る画像符号化復号化方法は、請求項１ないし３のいずれかに記載の画像符号化方法における符号化において、前記局所領域毎の画像特徴情報と前記入力画像信号とを符号化して得られた符号化データ列を記録し、再生時には、前記符号化データ列を復号化し、符号化する前に抽出した局所領域毎の画像特徴情報から、特異性が高いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を高くし、特異性が低いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を低くして人間の視覚特性に適応した処理を行うものとしたので、再生時に局所領域毎の画像特徴情報を抽出することなく、復号画像信号に対して適応的なフィルタ処理を施すことができ、符号化ノイズを効果的に抑制したり、信号強調をしたりすることができるという効果を有する。
【００２２】
また、請求項１４に係る画像符号化装置は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより、フレーム全体の平均的な画像特徴情報を抽出する第２の特徴抽出手段と、前記第１の特徴抽出手段により抽出された各局所領域の画像特徴情報と、前記第２の特徴抽出手段によって抽出された、フレーム全体の平均的な画像特徴情報との差分値の大きさを、前記フレーム全体に対する各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有することを特徴とする画像符号化装置としたものであり、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
また、請求項１５に係る画像符号化装置は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、前記各局所領域の画像特徴情報の、複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の画像特徴情報を抽出する第２の特徴抽出手段と、複数フレーム期間にわたる、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有するものであり、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
また、請求項１６に係る画像符号化装置は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、１フレーム期間に対しては、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより、フレーム全体の平均的な画像特徴情報を抽出し、複数フレーム期間にわたっては、前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の画像特徴情報を抽出する第２の特徴抽出手段と、１フレーム期間に対しては、前記フレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する各局所領域の特異性の強さとして抽出し、複数フレーム期 間にわたっては前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有するものであり、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
【００２６】
また、請求項１７に係る画像符号化装置は、請求項１４ないし１６のいずれかに記載の画像符号化装置において、前記各局所領域に対するフィルタ特性を、各局所領域の特異性が強いほど、各局所領域に対する低域周波数通過フィルタのカットオフ周波数を高くするよう決定するフィルタ特性決定手段と、前記フィルタ特性決定手段によって決定されたフィルタ特性に基づいて、各局所領域の入力画像信号に対して適応的なフィルタ処理を施すフィルタ処理手段とを有し、前記符号化手段は、該フィルタ処理手段によりフィルタ処理を施された入力画像信号を、量子化ステップ特性決定手段によって決定された量子化特性に基づいて符号化するようにしたことにより、局所領域毎に符号化ノイズの発生及び、発生符号量の上昇を抑えるとともに、局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。
【００３１】
また、請求項１８に係る画像符号化装置は、請求項１４ないし１６のいずれかに記載の画像符号化装置において、前記量子化特性決定手段によって局所領域毎に決定された量子化特性を、符号化の対象となる対象局所領域の量子化特性と、該対象局所領域及びこれに隣接する複数の局所領域の量子化特性を平均化して得られる量子化特性のうちの、量子化ステップ幅の小さい方の特性としたことにより、隣接する局所領域間で復号画質が大きく異なって視覚的な違和感が発生するのを抑えることができるという効果を有する。
また、請求項１９に係る画像符号化装置は、請求項１７に記載の画像符号化装置において、前記フィルタ特性決定手段によって局所領域毎に決定されたフィルタ特性を、符号化の対象となる対象局所領域のフィルタ特性と、該対象局所領域及びこれに隣接する複数の局所領域のフィルタ特性を平均化して得られるフィルタ特性のうちの、低域周波数通過フィルタのカットオフ周波数の高い方の特性としたことにより、隣接する局所領域間で復号画質が大きく異なって視覚的な違和感が発生するのを抑えることができるという効果を有する。
【００３２】
また、請求項２０に係る画像符号化装置は、請求項１４ないし１９のいずれかに記載の画像符号化装置において、前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報、としたので、画面全体のうちの特に注目される部分における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項２１に係る画像符号化装置は、請求項１４ないし１９のいずれかに記載の画像符号化装置において、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する画素のもつ２つの色差信号のそれぞれの平均値情報と、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報、としたので、画面全体のうちの特に注目される部分における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項２２に係る画像符号化装置は、請求項２０に記載の画像符号化装置において、前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域であるものとしたので、画面全体のうちの特に注目される人間の肌領域における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項２３に係る画像符号化装置は、請求項２１に記載の画像符号化装置において、前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域であるものとしたので、画面全体のうちの特に注目される人間の肌領域における符号化ノイズを局所的に抑えることができるという効果を有する。
【００３３】
また、請求項２４に係る画像符号化装置は、請求項１７または１９に記載の画像符号化装置において、前記フィルタ特性決定手段は、前記各局所領域の特異性の強さに応じて前記低域周波数通過フィルタのカットオフ周波数を変化させ、外部から与えられる、動画像の動きに応じたフィルタ強度を示す制御信号によって前記低域周波数通過フィルタにオフセットをかけて制御することにより、画像全体のフィルタ特性を動画像の動きに応じたものとできるという効果を有する。
【００３４】
また、請求項２５に係る画像符号化装置は、請求項２４に記載の画像符号化装置において、 外部から与えられる前記制御信号は、入力画像信号のＮ（Ｎは自然数）フレーム期間にわたるフレームまたは、フィールド画素差分の絶対値の累積値、またはＭ（Ｍは自然数）フレーム期間にわたる符号化情報発生量の累積値、または各フレーム毎の符号化情報発生量の比率の少なくともひとつに応じたフィルタ強度を示すものとしたので、入力画像信号の動きの特徴により、もともとの情報量を効果的に削減し、発生符号量を抑えることができるという効果を有する。
【００３５】
また、請求項２６に係る画像記録再生装置は、請求項１４ないし１６に記載の画像符号化装置における符号化手段において、前記局所領域毎に分割された入力画像信号を量子化し、符号化するとともに、前記第１または、第２の特徴抽出手段によって抽出された情報のうち少なくともひとつを符号化して得られた符号化データ列を記録する記録手段と、前記記録手段によって記録された符号化データ列を再生する再生手段と、前記再生手段によって再生された符号化データ列から、前記第１または、第２の特徴抽出手段によって抽出された情報と、量子化し、符号化された画像信号とを分離して復号化し、復号特徴情報と復号画像信号を得る復号化手段と、符号化する前に抽出した局所領域毎の画像特徴情報から、特異性が高いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を高くし、特異性が低いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を低くして人間の視覚特性に適応した処理を行うフィルタ手段とを有するものとしたので、再生時に局所領域毎の画像特徴情報を抽出することなく、復号画像信号に対して適応的なフィルタ処理を施すことができ、符号化ノイズを効果的に抑制したり、信号強調をしたりすることができるという効果を有する。
【００６２】
発明を実施するための最良の形態
実施の形態１．
以下、本発明の実施の形態１について、図１〜図３を参照して説明する。
図１は、本発明の実施の形態１を適用した画像符号化装置を示すブロック図である。
【００６３】
図１に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器１０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器１０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器１０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器１０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器１０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器１０８、量子化ステップ幅決定器１０９、符号化器１１０から構成される。
【００６４】
以下、図１に従ってその動作を詳細に説明する。
入力された画像信号は、ブロック化回路１０１で例えば１６×１６画素から構成される微小ブロックに分割される。
ブロック化回路１０１によってブロック化された画像信号は、ブロック平均輝度レベル抽出器１０２、ブロック隣接画素輝度レベル差分平均抽出器１０３、ブロック隣接画素色差レベル差分平均抽出器１０４、ブロック輝度分散値抽出器１０５、ブロック色差分散値抽出器１０６、ブロック動き量抽出器１０７、及び符号化器１１０に入力される。
【００６５】
ブロック平均輝度レベル抽出器１０２、ブロック隣接画素輝度レベル差分平均抽出器１０３、ブロック隣接画素色差レベル差分平均抽出器１０４、ブロック輝度分散値抽出器１０５、ブロック色差分散値抽出器１０６、及びブロック動き量抽出器１０７では、分割ブロック毎にそれぞれ平均輝度レベル、水平及び垂直方向に隣接する画素の輝度レベルの差分絶対値の平均値、水平及び垂直方向に隣接する画素の色差レベルの差分絶対値の平均値、輝度分散値、色差分散値、及び動き量を表わす代表値を抽出する。あるいはさらに図示していないが、色空間上の代表値ベクトル情報を抽出する。抽出器を設けて、色空間上の代表値ベクトル情報を抽出するようにしてもよい。ここで、色空間上の代表値ベクトル情報は、画素のもつ輝度信号及び２つの色差信号によって表現される色空間ベクトルが所定範囲に属する度数情報としてもよく、あるいは、画素のもつ２つの色差信号のそれぞれの平均値情報と画素のもつ輝度信号及び２つの色差信号によって表現される色空間ベクトルが所定範囲に属する度数情報とによって決定されるもの、としてもよい。
【００６６】
このようにして抽出された画像特徴情報は、それぞれ度数分布検定器１０８、及び量子化ステップ幅決定器１０９に入力される。
輝度レベル、及び色差レベルの隣接画素差分としては、水平方向に隣接する画素とのそれぞれのレベル差の絶対値、または垂直方向に隣接する画素とのそれぞれのレベル差の絶対値、または水平垂直両方のレベル差の絶対値の和を用いることが出来る。
また、動き量を表わす代表値としては、例えば、垂直方向に隣接する画素とのそれぞれのレベル差の絶対値のブロックの平均を用いることができる。
【００６７】
度数分布検定器１０８は、それぞれの画像特徴情報の所定期間、例えば画像信号の１フレーム期間にわたって度数分布をもとめ、その平均値及び、ばらつき値を算出する。
ばらつき値とは、例えば標準偏差値といった度数分布のばらつき度合いを表わすものである。
【００６８】
図２にブロック平均輝度レベルについての度数分布の一例を示す。
図２のσは標準偏差値を示している。算出されたそれぞれの画像特徴情報の１フレーム期間にわたる平均値μ及びばらつき値σは、量子化ステップ幅決定器１０９に入力される。
【００６９】
量子化ステップ幅決定器１０９は、それぞれのブロック毎の画像特徴情報と１フレーム期間にわたるその平均値μ及び、ばらつき値σとを用いてブロック毎に量子化ステップ幅を決定し、符号化器１１０にその情報を出力する。符号化器１１０は、量子化ステップ幅決定器１０９により決定された量子化ステップ幅に従って、ブロック化された画像信号を符号化して出力する。
【００７０】
ここで量子化ステップ幅決定器１０９の具体的な動作について順をおって説明する。
図１では、６種類の画像特徴情報について示しているが、説明を簡単にするため１種類としてブロック平均輝度レベルを例にとって説明する。
図３に量子化特性の一例として、横軸にブロック毎に抽出された平均輝度と度数分布の平均値との差分値、縦軸に量子化特性の係数を示す。この係数が大きいほど量子化ステップ幅は小さくなる。すなわち、与えられるビット数が多くなり、符号化レートが高くなり、符号化ノイズが少なくなることを示す。
【００７１】
図３に示すように、ブロック毎に抽出された平均輝度レベルが１フレーム期間の平均値μという画像全体に対する特徴から、ばらつき値σに応じて離れるに従って量子化係数が大きくなるように決定される。
【００７２】
すなわち、画像全体に対して輝度レベルが特異なブロックほど量子化ステップ幅が小さくなるように決定され、その結果、このブロックの復号画像に発生する符号化ノイズが他のブロックに比べて抑えられる。
【００７３】
他の５種類の画像特徴情報についても同様の動作となるが、複数種類の情報を同時に使用する場合には、それぞれの情報によって各ブロック毎に特異度合いを得ることが出来るため、すべての論理和をとって、いずれかの情報について特異なブロックを検出することができるし、あるいは、論理積をとることによって、非常に高い特異度合いを有するブロックを検出することもできる。この特異度合いが高ければ高いほど、復号画像のノイズ発生を抑えるように量子化特性を決定する。
【００７４】
このように本実施の形態１では、入力画像信号を局所領域に分割し、局所領域毎の画像特徴情報の所定期間にわたる度数分布に基づいて、入力画像信号の局所領域毎に量子化特性を決定し、符号化するようにしたので、画像の局所領域毎の特徴を観察した、画像全体の統計的情報を利用して、局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができ、画像全体に対する人間の視覚特性に適合した画像符号化処理を行うことができる。
【００７５】
実施の形態２．
以下、本発明の実施の形態２について、図２〜図４を参照して説明する。
図４は、本発明の実施の形態２を適用した画像符号化装置を示すブロック図である。
【００７６】
図４に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路４０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器４０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器４０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器４０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器４０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器４０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器４０７（ここで、実施の形態１におけると同じく、色空間上の代表値ベクトル情報を抽出する抽出器をも設けてもよい。）、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器４０８、フィルタ特性決定器４０９、フィルタ回路４１０、符号化器４１１から構成される。
【００７７】
図４に従ってその動作を詳細に説明する。
ここで、６種類の画像特徴情報を抽出し、それぞれの１フレーム期間にわたる度数分布を求め、その平均値μ及びばらつき値σを算出するまでの動作については、前述の本発明の実施の形態１で説明したものと同様であるので省略する。
図４において、ブロック毎に抽出された６種類の画像特徴情報、及びそれぞれの度数分布検定器４０８の出力である平均値μ及びばらつき値σは、フィルタ特性決定器４０９に入力される。
【００７８】
フィルタ特性決定器４０９は、ブロック毎の画像特徴情報及び、その度数分布の平均値μ及び、ばらつき値σをもとにブロック毎にフィルタ特性を決定し、フィルタ回路４１０にその情報を出力する。
フィルタ回路４１０は、フィルタ特性決定器４０９により決定されたフィルタ特性に従って、ブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器４１１にフィルタ処理された画像信号を出力する。符号化器４１１は、フィルタ処理の施された画像信号を符号化して出力する。
【００７９】
次に、フィルタ特性決定器４０９の具体的な動作について順をおって説明する。ここでは、説明を簡単にするため、画像特徴情報としてブロック平均輝度レベルを例にとって説明する。
また、本発明の実施の形態１で量子化特性の特性図として説明した図２及び図３をフィルタ特性の特性図として用い、フィルタの一例として周波数帯域制限フィルタとして説明する。
【００８０】
すなわち、図３の縦軸はフィルタ特性の係数を示すことになり、この係数が小さいほど制限される周波数帯域が狭くなることを示す。
図３に示すように、ブロック毎に抽出された平均輝度レベルが１フレーム期間の平均値μという画像全体に対する特徴から、ばらつき値σに応じて離れるに従ってフィルタ係数が大きくなるように決定される。
すなわち、画像全体に対して輝度レベルが特異なブロックほどフィルタによる周波数帯域制限が弱くなるように決定される。
【００８１】
他の５種類の画像特徴情報についても同様の動作となるが、複数種類の情報を同時に使用する場合には、それぞれの情報によって各ブロック毎に特異度合いを得ることが出来るため、すべての論理和をとって、いずれかの情報について特異なブロックを検出することができるし、あるいは論理積をとることによって、非常に高い特異度合いを有するブロックを検出することもできる。この特異度合いが高ければ高いほど、周波数帯域制限を弱くするようにフィルタ特性を決定する。
【００８２】
このように本実施の形態２では、入力画像信号を局所領域に分割し、局所領域毎の画像特徴情報、あるいは、局所領域毎の画像特徴情報の所定期間にわたる度数分布に基づいて、入力画像信号の局所領域毎にフィルタ特性を決定し、適応的なフィルタ処理を施した後、符号化するようにしたので、適応的なフィルタ処理によって符号化する前に局所的にノイズ成分を抑える、あるいは周波数帯域の制御を行うことにより、あるいは、画像全体の統計的情報を利用して、適応的なフィルタ処理をすることによって符号化する前に局所的にノイズ成分を抑える、あるいは周波数帯域の制御を行うことにより、符号化ノイズの発生及び、発生符号量の上昇を抑えることができる。
【００８３】
実施の形態３．
以下、本発明の実施の形態３について、図５を参照して説明する。
図５は、本発明の実施の形態３を適用した画像符号化装置を示すブロック図である。
【００８４】
図５に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路５０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器５０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器５０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器５０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器５０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器５０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器５０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器５０８、フィルタ特性決定器５０９、量子化ステップ幅決定器５１０、フィルタ回路５１１、符号化器５１２から構成される。
【００８５】
図５を用いてその動作を詳細に説明する。
ここで、６種類の画像特徴情報を抽出し、それぞれの１フレーム期間にわたる度数分布をもとめ、その平均値μ及びばらつき値σを算出し、これらをもとにブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器５１２にフィルタ処理された画像信号を出力するまでの動作及び、ブロック毎に量子化ステップ幅を決定し、符号化器５１２にその情報を出力するまでの動作については、本発明の実施の形態１、２で説明したものと同様であるので省略する。
【００８６】
図５において、フィルタ回路５１１でブロック毎に適応的にフィルタ処理を施された画像信号は、符号化器５１２でブロック毎に決定された量子化ステップ幅に従って、符号化される。
【００８７】
この実施の形態３の構成では、量子化ステップ幅決定器５１０でブロック毎に量子化ステップ幅を決定するための画像信号と、実際に符号化器５１２で符号化されるブロック毎に適応フィルタを施された画像信号とは異なるため、厳密には画像特徴情報が異なるという問題があるが、ハードウエアの共有化、あるいは処理の高速化を図ることができるという利点がある。
【００８８】
このように本実施の形態３では、入力画像信号を局所領域に分割し、前記局所領域毎の画像特徴情報、及びその所定期間にわたる度数分布に基づいて、前記入力画像信号の局所領域毎にフィルタ特性及び、量子化特性を決定し、適応的なフィルタ処理を施した後、前記量子化特性に基づいて符号化するようにしたので、上記フィルタ特性、量子化特性の決定に、フィルタ処理される前の画像信号だけの画像特徴情報を用いるため、処理の高速化、簡略化を実現することができる。
【００８９】
実施の形態４．
以下、本発明の実施の形態４について、図６を参照して説明する。
【００９０】
図６は、本発明の実施の形態４を適用した画像符号化装置を示すブロック図である。
図６に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路６０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器６０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器６０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器６０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器６０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器６０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器６０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器６０８、フィルタ特性決定器６０９、量子化ステップ幅決定器６１０、フィルタ回路６１１、符号化器６１２から構成される。
【００９１】
図６に従ってその動作を詳細に説明する。
なお、６種類の画像特徴情報を抽出し、それぞれの１フレーム期間にわたる度数分布をもとめ、その平均値μ及び、ばらつき値σを算出し、これらをもとにブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器６１２にフィルタ処理された画像信号を出力するまでの動作については、本発明の実施の形態２で説明したものと同様であるのでその説明を省略する。
【００９２】
図６において、フィルタ特性決定器６０９でブロック毎に決定されたフィルタ特性はフィルタ回路６１１に入力される一方、量子化ステップ幅決定器６１０にも入力される。量子化ステップ幅決定器６１０は、ブロック毎に決定されたフィルタ特性に基づいてブロック毎に量子化ステップ幅の補正を行い、符号化器６１２に量子化情報を出力する。
【００９３】
例えば、フィルタ回路６１１を構成するフィルタが周波数帯域制限フィルタであれば、その帯域制限される周波数帯域が狭くなればなるほど、各ブロックに含まれる高域成分がなくなるため、元の信号に対して、信号振幅が小さくなる。この元の信号と帯域制限された信号とを同一の量子化ステップ幅で量子化した場合に発生する歪みの発生度合いは、帯域制限された信号の方が大きなものとなってしまい、画質劣化の原因となる。
【００９４】
従って、フィルタ回路６１１で帯域制限される周波数帯域が狭くなればなるほど、量子化ステップ幅は小さくなるように量子化ステップ幅決定器で補正を行う。
符号化器６１２は、ブロック毎に適応的にフィルタ処理された信号を量子化ステップ幅決定器６１０で補正決定された量子化幅に基づいて量子化し、符号化する。
【００９５】
このように本実施の形態４では、入力画像信号を局所領域に分割し、前記局所領域毎の画像特徴情報、及びその所定期間にわたる度数分布に基づいて、前記入力画像信号の局所領域毎にフィルタ特性を決定し適応的なフィルタ処理を施した後、前記決定されたフィルタ特性に従って前記局所領域毎の量子化特性を決定し当該量子化特性に基づいて符号化するようにしたので、局所領域毎に決定されたフィルタ特性に応じて量子化特性が決定されるため、フィルタ処理によって変化した画像信号に応じた量子化補正を行うことができ、符号化ノイズの発生を抑えることができる。
【００９６】
実施の形態５．
以下、本発明の実施の形態５について、図７を参照して説明する。
図７は、本発明の実施の形態５を適用した画像符号化装置を示すブロック図である。
【００９７】
図７に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路７０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器７０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器７０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器７０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器７０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器７０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器７０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器７０８、フィルタ特性決定器７０９、量子化ステップ幅決定器７１０、フィルタ特性補正器７１１、量子化ステップ幅補正器７１２、フィルタ回路７１３、符号化器７１４から構成される。
【００９８】
図７に従ってその動作を詳細に説明する。
なお、フィルタ特性決定器７０９によるブロック毎のフィルタ特性の決定、量子化ステップ幅決定器７１０によるブロック毎の量子化ステップ幅の決定までは、本発明の実施の形態３で説明したものと同様である。
図７において、フィルタ特性決定器７０９によりブロック毎に決定されたフィルタ特性は、フィルタ特性補正器７１１に入力される。
【００９９】
フィルタ特性補正器７１１では、処理の対象となるブロックの周辺８ブロックとの平均を算出し、この値とフィルタ特性決定器７０９からの入力である元の特性とを比較し、フィルタ特性の係数として、前述した図３に示す係数の大きい方、すなわち周波数帯域制限が弱い方の特性を選択してフィルタ回路７１３に出力する。同様にして、量子化ステップ幅決定器７１０によりブロック毎に決定された量子化特性は、量子化特性(量子化ステップ幅)補正器７１２に入力され、量子化特性補正器７１２では、処理の対象となるブロックの周辺８ブロックとの平均を算出し、この値と量子化特性決定器７１０からの入力である元の特性とを比較し、量子化特性の係数として図３に示す係数の大きい方、すなわち量子化ステップ幅が小さくなる方の特性を選択して符号化器７１４に出力する。
【０１００】
フィルタ回路７１３及び符号化器７１４の動作は、本発明の実施の形態３で説明したものと同様であるので、その動作の説明は省略する。
この本実施の形態５の構成では、このように補正を行うことにより、隣接するブロック間の画像特徴情報に大きな差があった場合にも隣接ブロック間で復号画質が大きく異なり、視覚的に違和感を与える、ということを防ぐことが出来る。
【０１０１】
このように本実施の形態５では、入力画像信号を局所領域に分割し、前記局所領域毎の画像特徴情報、及びその所定期間にわたる度数分布に基づいて、前記入力画像信号の局所領域毎にフィルタ特性及び、量子化特性を決定し、適応的なフィルタ処理を施した後、前記量子化特性に基づいて符号化するようにしたので、該フィルタ特性、及び量子化特性を決定するのに、フィルタ処理される前の画像信号だけの画像特徴情報を用いているため、処理の高速化、簡略化を実現することができる。
【０１０２】
実施の形態６．
以下、本発明の実施の形態６について、図８を参照して説明する。
図８は、本発明の実施の形態６を適用した画像符号化装置を示すブロック図である。
【０１０３】
図８に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路８０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器８０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器８０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器８０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器８０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器８０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器８０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器８０８、フィルタ特性決定器８０９、フィルタ回路８１０、符号化器８１１、フレーム画素差分値累積器８１２、フィルタ強度制御信号発生器８１３から構成される。
【０１０４】
次に、図８に従ってその動作を詳細に説明する。
ここでは、フィルタ特性決定器８０９に対して、外部からフィルタ強度を制御する信号をフィルタ強度制御信号発生器８１３より入力する点、及び符号化器８１１から該フィルタ強度制御信号発生器８１３対して発生符号量を出力する点以外は、前述した実施の形態２で説明したものとほぼ同様であるので、異なる部分だけを中心に説明する。
【０１０５】
図８において、まず、入力画像信号は、ブロック化回路８０１に入力されて本発明の実施の形態２で説明したように処理されるほかに、フレーム画素差分値累積器８１２に入力される。
【０１０６】
フレーム画素差分値累積器８１２は、画像信号を構成する連続するフレーム間の同一空間位置に位置する画素の時間軸方向のレベル差分の絶対値を算出し、この値の、所定期間例えば、１５フレーム期間にわたる累積値を算出し、この結果をフィルタ強度制御信号発生器８１３に出力する。ただし、フレーム画素差分値累積器８１２の累積加算は１５フレーム毎に０に初期化される。
【０１０７】
一方、符号化器８１１は、フィルタ回路８１０でブロック毎にフィルタ処理された画像信号を符号化するほか、各フレーム毎に符号化によって発生するフレーム発生符号量を算出し、この結果をフィルタ強度制御信号発生器８１３に出力する。
【０１０８】
フィルタ強度制御信号発生器８１３では、入力画像からフィードフォワード的に入力される累積値信号と、符号化器８１１からフィードバック的に入力される発生符号量信号とから、フィルタ特性決定器８０９に対して、全体的なフィルタ特性を制御するフィルタ強度信号を出力する。
【０１０９】
例えば、フレーム画素差分値累積器８１２からの累積値信号が大きい場合には、狭い周波数帯域特性を有するフィルタセット、累積値信号が小さい場合には、広い周波数帯域特性を有するフィルタセットを選択するように動作する。
【０１１０】
また、符号化器８１１から入力される各フレーム毎の発生符号量からは、この値の変動が小さい場合には、狭い周波数帯域特性を有するフィルタセット、大きい場合には、広い周波数帯域特性を有するフィルタセットを選択するように動作する。
【０１１１】
符号化器８１１が、フレーム間動き予測符号化器のような構成である場合、動きの激しい入力画像信号に対しては、符号化効率が著しく低下し、発生符号量も大きくなってしまう。
【０１１２】
このような時には、所定期間にわたるフレーム画素レベル差分の絶対値の累積値は比較的大きなものとなるため、この性質を用いてフィルタ強度を強くし、入力画像信号の周波数帯域を制限することにより元々の情報量が制限され、符号化効率を向上することができる。また、実際に符号化器８１１で算出されるフレーム毎の発生符号量も、動きが激しい入力画像に対しては、各フレーム毎にその差が小さくなり、静止画のような入力画像に対しては、フレーム内符号化されたフレームとフレーム間予測符号化されたフレームでは発生符号量に大きな差がある。このような性質を用いて、各フレーム毎の発生符号量の比率があまり変わらない場合にはフィルタ強度を強くし、同様の効果を得ることができる。
【０１１３】
なお、フレーム画素差分値累積値８１２では、１５フレーム期間にわたって累積加算するとして説明したが、この期間が短ければフィルタ強度の制御が短い期間毎に行われ、長ければ、ゆっくりとしたフィルタ強度の制御が行われることになる。
更にフレーム毎の発生符号量を所定期間毎に累積したものに応じてフィルタ強度を制御しても同様の効果が得られる。
【０１１４】
このように本実施の形態６では、実施の形態２ないし５の画像符号化方法において、フィルタ特性は、局所領域毎の画像特徴情報と外部から与えられる制御信号によって適応的に決定されるようにしたことにより、画像全体のフィルタ特性を外部から制御することができる。
【０１１５】
実施の形態７．
以下、本発明の実施の形態７について、図９を参照して説明する。
図９は、本発明の実施の形態７を適用した画像記録再生装置を示すブロック図である。
【０１１６】
図９に示すように、本実施の形態の画像記録再生装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路９０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器９０２、抽出されたブロック毎の平均輝度レベルの所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器９０３、ブロック毎に特性を決定するフィルタ特性決定器９０４、及び量子化ステップ幅決定器９０５、ブロック毎に適応的に動作するフィルタ回路９０６、及び符号化器９０７、記録信号処理器９０８、記録媒体９０９、再生信号処理器９１０、符号化されたデータ列を復号する復号化器９１１、復号されたブロック毎の平均輝度レベルから所定期間にわたる度数分布を求め、これを検定する度数分布検定器９１２、復号画像信号に対してブロック毎に適応的に動作するフィルタ回路９１３、ブロック毎に特性を決定するフィルタ特性決定器９１４から構成される。なお、本発明では説明を簡単にするために画像特徴情報として平均輝度レベルだけを例にとって説明する。
【０１１７】
次に、図９に従ってその動作を詳細に説明する。
なお、ブロック毎の画像特徴情報として平均輝度レベルを抽出し、１フレーム期間にわたる度数分布をもとめ、その平均値μ及び、ばらつき値σを算出し、これらをもとにブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器９０７にフィルタ処理された画像信号を出力するまでの動作及び、ブロック毎に量子化ステップ幅を決定し、符号化器９０７にその情報を出力するまでの動作については、本発明の実施の形態１、２で説明したものと同様であるので省略する。
【０１１８】
図９において、フィルタ回路９０６でブロック毎に適応的にフィルタ処理を施された画像信号は、符号化器９０７でブロック毎に決定された量子化ステップ幅に従って、符号化されるとともに、符号化器９０７は、ブロック平均輝度レベル抽出器９０２で抽出されたブロック毎の平均輝度レベルを符号化し、記録信号処理器９０８に符号化データ列を出力する。
【０１１９】
記録信号処理器９０８は、入力された符号化データ列に対して記録媒体に記録するために誤り訂正符号、アドレスデータの付加、フォーマット化、チャンネルコーディング等の信号処理を施し、記録媒体９０９にディジタルデータの記録を行う。
【０１２０】
再生信号処理器９１０は、記録媒体９０９からディジタルデータの再生を行い、記録信号処理器９０８で行った信号処理と逆の処理を行うことにより、符号化データ列を復号化器９１１に出力する。
【０１２１】
復号化器９１１は、符号化データ列を復号し、復号されたブロック毎の平均輝度レベルを、度数分布検定器９１２、及びフィルタ特性決定器９１４に出力する一方、フィルタ回路９１３に復号画像信号を出力する。
【０１２２】
度数分布検定器９１２は、入力されたブロック毎の平均輝度レベルの所定期間にわたる度数分布から、その平均値及びばらつき値を算出し、フィルタ特性決定器９１４に出力する。
【０１２３】
フィルタ特性決定器９１４は、ブロック毎の平均輝度レベルと、その所定期間にわたる平均値及び、ばらつき値に基づいてフィルタ特性をブロック毎に決定し、この情報をフィルタ回路９１３に出力する。
【０１２４】
フィルタ回路９１３は、復号化器９１１から入力される復号画像信号に対して、ブロック毎にフィルタ特性決定器９１４で決定された情報に基づいて適応的にフィルタ処理を施し、再生画像信号を出力する。
【０１２５】
このような構成により、記録側で行ったブロック毎の画像特徴情報は記録媒体に符号化データ列として記録されるため、再生側で抽出を行うことなく、これらの情報を用いてブロック毎に適応フィルタ処理を行うことができる。
【０１２６】
このように本実施の形態７では、実施の形態１ないし実施の形態６における符号化方法において、前記局所領域毎の画像特徴情報もあわせて符号化し、該符号化データ列を記録し、再生時には、前記符号化データ列を復号化し、前記復号された局所領域毎の画像特徴情報に基づいて、復号画像信号の局所領域毎に適応的なフィルタ処理を施す画像符号化復号化方法としたので、再生時に局所領域毎の画像特徴情報を抽出することなく、復号画像信号に対して適応的なフィルタ処理を施すことができ、符号化ノイズを効果的に抑制したり、信号強調をしたりすることができる。
【０１２７】
なお、本発明の実施の形態１〜７の説明では、１６×１６画素で構成されるブロックに分割して説明したが、この分割ブロックはいくつであってもよく、所定期間についても１フレーム期間を例にとって説明したが、例えば１フィールド期間であってもよい。
【０１２８】
また、フィルタ回路の一例として周波数帯域制限を行うものを例にとって説明したが、時間軸巡回型のノイズ除去フィルタでもよく、ガンマ補正のような画素のレベル方向の圧縮伸長を行うものでも構よい。
【０１２９】
さらには、ノイズ除去フィルタを用いて、人間が注目する領域のノイズを、符号化前に選択的に強く抑えることにより、ノイズによる復号画質の劣化を抑えることができ、画素のレベル方向の圧縮伸長では、例えば、人間の注目する領域の信号階調をあらかじめ小さくし、符号化することによって復号画像に発生する符号化ノイズを小さくすることができる。
【０１３０】
なお、上述した実施の形態では、ブロック毎の各画像特徴情報からその度数分布を検定し、平均値及び、ばらつき値を算出した後に、量子化特性及び、フィルタ特性を決定する場合を例として説明したが、処理を簡略化するために、度数分布を検定せずに分布情報は最も一般的な固定のものを使うようにしてもよい。
【０１３１】
また、度数分布を検定する場合には、所定期間にわたる各画像特徴情報をブロック毎にメモリに記憶しておく必要がある。
また、同一シーン内では、全体的な画像特徴情報に大きな変化はないため、所定期間だけ前の各画像特徴情報の平均値及び、ばらつき値だけをメモリに記憶しておき、これらの情報と符号化するブロック毎の画像特徴情報とを用いて、量子化特性及び、フィルタ特性を決定することにより、メモリ容量の削減を図るようにすることもできる。
【０１３２】
実施の形態８．
図１０は本発明の実施の形態８を適用した画像符号化装置を示し、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１００１、入力画像信号から所定期間にわたって平均輝度レベルを抽出する平均輝度レベル抽出器１００２、入力画像信号から所定期間にわたって平均色レベルを抽出する平均色レベル抽出器１００３、入力画像信号から所定期間にわたって輝度分散値を抽出する輝度分散値抽出器１００４、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１００５、ブロック化された領域に対して平均色レベルを抽出するブロック平均色レベル抽出器１００６、ブロック化された領域に対して輝度分散値を抽出するブロック輝度分散値抽出器１００７、量子化ステップ幅決定器１００８、符号化器１００９から構成される。
【０１３３】
図１０に従ってその動作を詳細に説明する。
入力された画像信号は、ブロック化回路１００１で例えば１６×１６画素から構成される微小ブロックに分割される一方、平均輝度レベル抽出器１００２、平均色レベル抽出器１００３、及び輝度分散値抽出器１００４によって、それぞれ例えば画像信号の１フレーム期間にわたって平均輝度レベル、平均色レベル、及び輝度分散値が抽出される。ブロック化回路１００１によってブロック化された画像信号は、ブロック平均輝度レベル抽出器１００５、ブロック平均色レベル抽出器１００６、ブロック輝度分散値抽出器１００７、及び符号化器１００９に入力される。ブロック平均輝度レベル抽出器１００５、ブロック平均色レベル抽出器１００６、及びブロック輝度分散値抽出器１００７では、分割ブロック毎にそれぞれ平均輝度レベル、平均色レベル、及び輝度分散値を抽出する。
【０１３４】
このようにして抽出された６種類の画像特徴情報は、量子化ステップ幅決定器１００８に入力される。量子化ステップ幅決定器１００８は、６種類の画像特徴情報をもとにブロック毎に量子化ステップ幅を決定し、符号化器１００９にその情報を出力する。符号化器１００９は、量子化ステップ幅決定器１００８により決定された量子化ステップ幅に従って、ブロック化された画像信号を符号化して出力する。
【０１３５】
ここで量子化ステップ幅決定器１００８の具体的な動作について順を追って説明する。
まず、画像信号の１フレーム期間にわたって抽出された平均輝度レベル、平均色レベル、及び輝度分散値をもとに、１フレーム期間の画像信号全体に対して、図２１〜図２３に示されたような特性で量子化特性が決定される。
【０１３６】
図２１〜図２３において横軸はそれぞれの画像特徴情報の大きさを、縦軸は量子化特性の係数を示しており、この係数が大きいほど量子化ステップ幅は小さくなる。すなわち、与えられるビット数が多くなり、符号化レートが高くなることを示す。
【０１３７】
図２１は、平均輝度レベルが黒のレベルの時に係数が１となり、人間の視覚特性から最も劣化を検知しやすいレベルでピークになり、それよりも大きなレベルになるにつれて０．５に漸近していくような特性を示している。
【０１３８】
図２２は、画像特徴情報として画素の色を表現する２つの色差信号のうちの人間の視覚に敏感な赤色系の信号（Ｃｒ）について示したものであり、赤色系信号（Ｃｒ）の平均色レベルが０の時に係数が１となり、レベルが大きくなるにつれて１．５に漸近していくような特性を示している。
【０１３９】
図２３は、輝度信号の分散値が小さな画像に対しては係数が大きく、分散値が大きな画像に対しては係数が小さくなるような特性を示している。１フレーム期間の画像信号全体に対して、このようにして量子化特性が決定される。
【０１４０】
次に、分割された各ブロック毎に抽出された平均輝度レベル、平均色レベル、及び輝度分散値からそれぞれ１フレーム期間にわたって抽出した平均輝度レベル、平均色レベル、及び輝度分散値を減算し、差分信号を算出する。この差分信号をもとに画像信号全体に対して決定した量子化特性を各ブロック毎に補正する。
【０１４１】
図１１〜図１３にそれぞれの画像特徴情報の差分信号と量子化特性の係数の一例を示す。図１１〜図１３に従って、それぞれの画像特徴情報についてどのようにブロック毎に量子化特性を補正するかを説明する。
【０１４２】
平均輝度レベルに関しては、図１１に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの平均輝度レベルが全体の平均輝度レベルより大きくなるに従って、係数が０．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの平均輝度レベルが全体の平均輝度レベルより小さくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎の量子化特性が決定される。
【０１４３】
次に、平均色レベルに関しては、図１２に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの平均色レベルが全体の平均色レベルより大きくなるに従って、係数が１．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの平均色レベルが全体の平均色レベルより小さくなるに従って、係数が０．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎の量子化特性が決定される。
【０１４４】
同様にして、輝度分散値に関しては、図１３に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの輝度分散値が全体の輝度分散値より大きくなるに従って、係数が０．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの輝度分散値が全体の輝度分散値より小さくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎の量子化特性が決定される。
【０１４５】
このように本実施の形態８では、入力画像信号の所定期間毎の画像特徴情報と入力画像信号の局所的な画像特徴情報とに基づいて入力画像信号の局所的な量子化特性を決定し、符号化する画像符号化方法としたものであり、細かな符号化レート制御を行うことができる。
【０１４６】
実施の形態９．
図１４は本発明の実施の形態９を適用した画像符号化装置を示し、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１４０１、入力画像信号から所定期間にわたって平均輝度レベルを抽出する平均輝度レベル抽出器１４０２、入力画像信号から所定期間にわたって平均色レベルを抽出する平均色レベル抽出器１４０３、入力画像信号から所定期間にわたって輝度分散値を抽出する輝度分散値抽出器１４０４、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１４０５、ブロック化された領域に含まれる各画素に対して輝度信号及び２つの色差信号から色空間ベクトルを算出し、これが色空間上の所定の領域に属するかどうかを判定分類し、属する画素の度数を抽出する色空間ベクトル度数抽出器１４０６、ブロック化された領域に対して輝度分散値を抽出するブロック輝度分散値抽出器１４０７、量子化ステップ幅決定器１４０８、及び符号化器１４０９から構成される。色空間ベクトル度数抽出器１４０６以外については図１０と同様である。
【０１４７】
図１４に従ってその動作を詳細に説明する。
入力された画像信号は、ブロック化回路１４０１で例えば１６×１６画素から構成される微小ブロックに分割される一方、平均輝度レベル抽出器１４０２、平均色レベル抽出器１４０３、及び輝度分散値抽出器１４０４によって、それぞれ例えば画像信号の１フレーム期間にわたって平均輝度レベル、平均色レベル、及び輝度分散値が抽出される。ブロック化回路１４０１によってブロック化された画像信号は、ブロック平均輝度レベル抽出器１４０５、色空間ベクトル度数抽出器１４０６、ブロック輝度分散値抽出器１４０７、及び符号化器１４０９に入力される。ブロック平均輝度レベル抽出器１４０５、及びブロック輝度分散値抽出器１４０７では、実施の形態８で説明したのと同様にして、分割ブロック毎にそれぞれ平均輝度レベル、及び輝度分散値を抽出する。色空間ベクトル度数抽出器１４０６では、ブロック化された領域に含まれる各画素に対して輝度信号及び２つの色差信号から色空間ベクトルを算出し、これが色空間上の所定の領域、例えば人間の肌の色に近い成分を表わす領域に属するかどうかを判定し、この領域に属する画素の度数を抽出する。
【０１４８】
図１５は、輝度信号（Ｙ）、２つの色差信号（Ｃｂ，Ｃｒ）空間を表わしたものであり、矢印は、ある画素の色空間ベクトルを示している。また、図１５でハッチングを施した領域は肌色を示す領域であり、この領域に色空間ベクトルが所属する場合に度数を計数する。ブロックに含まれる全画素の色空間ベクトルが肌色領域に属する場合には、この度数は２５６となり、全く属さない場合には０となる。
【０１４９】
このようにして、抽出された６種類の画像特徴情報は、量子化ステップ幅決定器１４０８に入力される。量子化ステップ幅決定器１４０８は、６種類の画像特徴情報をもとにブロック毎に量子化ステップ幅を決定し、符号化器１４０９にその情報を出力する。符号化器１４０９は、量子化ステップ幅決定器１４０８により決定された量子化ステップ幅に従って、ブロック化された画像信号を符号化して出力する。
【０１５０】
量子化ステップ幅決定器１４０８の具体的な動作については、上述した実施の形態８で説明したものとほぼ同様であり、ここでは異なる点についてのみ説明する。分割された各ブロック毎に抽出された色空間ベクトルが肌色領域に属する度数をもとに、画像信号全体に対して決定した量子化特性を各ブロック毎に補正する点が異なる。
【０１５１】
図１６にその抽出された度数と量子化特性の係数の一例を示す。図１６に示すように度数が０の時に係数が１となり、度数が大きくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎の量子化特性が決定される。
【０１５２】
このように実施の形態９では、実施の形態８において、局所的な画像特徴情報として、ブロック平均色レベルの代わりに色空間ベクトル度数を用いたことにより、符号化レートに対する影響を小さくしながら、各情報に対する人間の視覚特性を利用して符号化ノイズの目立つ部分を局所的に抑えることができるという効果を有する。
【０１５３】
実施の形態１０．
図１７は本発明の実施の形態１０を適用した画像符号化装置のブロック図を示し、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１７０１、入力画像信号から所定期間にわたって平均輝度レベルを抽出する平均輝度レベル抽出器１７０２、入力画像信号から所定期間にわたって平均色レベルを抽出する平均色レベル抽出器１７０３、入力画像信号から所定期間にわたって輝度分散値を抽出する輝度分散値抽出器１７０４、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１７０５、ブロック化された領域に対して平均色レベルを抽出するブロック平均色レベル抽出器１７０６、ブロック化された領域に対して輝度分散値を抽出するブロック輝度分散値抽出器１７０７、フィルタ特性決定器１７０８、フィルタ回路１７０９、及び符号化器１７１０から構成される。
【０１５４】
図１７に従ってその動作を詳細に説明するが、６種類の画像特徴情報を抽出するまでの動作については、本発明の実施の形態８で説明したものと同様であるので省略する。
【０１５５】
抽出された６種類の画像特徴情報は、フィルタ特性決定器１７０８に入力される。フィルタ特性決定器１７０８は、６種類の画像特徴情報をもとにブロック毎にフィルタ特性を決定し、フィルタ回路１７０９にその情報を出力する。フィルタ回路１７０９は、フィルタ特性決定器１７０８により決定されたフィルタ特性に従って、ブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器１７１０にフィルタ処理された画像信号を出力する。符号化器１７１０は、フィルタ処理の施された画像信号を符号化して出力する。
【０１５６】
ここでフィルタ特性決定器１７０８の具体的な動作について順を追って説明する。説明を簡単にするために、本発明の実施の形態８で量子化特性の図として説明した図１１〜図１３、及び、図２１〜図２３までをフィルタ特性の図として用いることにする。
【０１５７】
また、フィルタの一例として、一般的に知られているような時間軸巡回型のノイズ除去フィルタとして説明する。図１８にこのフィルタのブロック構成図を示す。
【０１５８】
図１８は、減算器１８０１及び１８０３、乗算器１８０２、及びフィールドメモリ１８０４から構成されている。入力された画像信号は、１フィールド前のフィルタ処理された結果との差分を減算器１８０１で算出される。この算出結果と外部から入力されるフィルタ特性に従って乗算器１８０２で計算された値が入力画像信号から減算器１８０３で減算され出力される一方、フィールドメモリ１８０４で１フィールド期間記憶されて、次のフィールドの処理に使用される。
【０１５９】
まず、画像信号の１フレーム期間にわたって抽出された平均輝度レベル、平均色レベル、及び輝度分散値をもとに１フレーム期間の画像信号全体に対して、図２１〜図２３に示されたような特性でフィルタ特性が決定される。
【０１６０】
図２１〜図２３において横軸はそれぞれの画像特徴情報の大きさを、縦軸はフィルタ特性の係数を示しており、この係数が大きいほど強いフィルタが施される。すなわち、図１８の乗算器１８０２の係数が大きくなり、ノイズ除去量が多くなることを示す。
【０１６１】
図２１は、平均輝度レベルが黒のレベルの時に係数が１となり、人間の視覚特性から最も劣化を検知しやすいレベルでピークになり、それよりも大きなレベルになるにつれて０．５に漸近していくような特性を示している。
【０１６２】
図２２は、画像特徴情報として画素の色を表現する２つの色差信号のうちの人間の視覚に敏感な赤色系の信号について示したものであり、赤色系信号の平均色レベルが０の時に係数が１となり、レベルが大きくなるにつれて１．５に漸近していくような特性を示している。
【０１６３】
図２３は、輝度信号の分散値が小さな画像に対しては係数が大きく、分散値が大きな画像に対しては係数が小さくなるような特性を示している。１フレーム期間の画像信号全体に対して、このようにしてフィルタ特性が決定される。次に、分割された各ブロック毎に抽出された平均輝度レベル、平均色レベル、及び輝度分散値からそれぞれ１フレーム期間にわたって抽出した平均輝度レベル、平均色レベル、及び輝度分散値を減算し、差分信号を算出する。この差分信号をもとに画像信号全体に対して決定したフィルタ特性を各ブロック毎に補正する。
【０１６４】
図１１〜図１３にそれぞれの画像特徴情報の差分信号とフィルタ特性の係数の一例を示す。図１１〜図１３に従って、それぞれの画像特徴情報についてどのようにブロック毎にフィルタ特性を補正するかを説明する。
【０１６５】
平均輝度レベルに関しては、図１１に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの平均輝度レベルが全体の平均輝度レベルより大きくなるに従って、係数が０．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの平均輝度レベルが全体の平均輝度レベルより小さくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎のフィルタ特性が決定される。
【０１６６】
次に、平均色レベルに関しては、図１２に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの平均色レベルが全体の平均色レベルより大きくなるに従って、係数が１．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの平均色レベルが全体の平均色レベルより小さくなるに従って、係数が０．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎のフィルタ特性が決定される。
【０１６７】
同様にして、輝度分散値に関しては、図１３に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの輝度分散値が全体の輝度分散値より大きくなるに従って、係数が０．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの輝度分散値が全体の輝度分散値より小さくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎のフィルタ特性が決定される。
これらのフィルタ特性が、図１８の乗算器１８０２に入力されることになる。但し、乗算される係数の最大値は１となるように正規化される。
【０１６８】
このように実施の形態１０では、入力画像信号の所定期間毎の画像特徴情報と入力画像信号の局所的な画像特徴情報とに基づいて入力画像信号の局所的なフィルタ特性を決定し、適応的なフィルタ処理を施し、符号化するようにしたので、適応的なフィルタ処理によって符号化する前に局所的にノイズ成分を抑える、あるいは周波数帯域の制御を行うことにより、符号化ノイズの発生及び、符号化レートの上昇を抑えることができる。
【０１６９】
実施の形態１１．
図１９は本発明の実施の形態１１を適用した画像符号化装置を示し、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１９０１、入力画像信号から所定期間にわたって平均輝度レベルを抽出する平均輝度レベル抽出器１９０２、入力画像信号から所定期間にわたって平均色レベルを抽出する平均色レベル抽出器１９０３、入力画像信号から所定期間にわたって輝度分散値を抽出する輝度分散値抽出器１９０４、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１９０５、ブロック化された領域に含まれる各画素に対して輝度信号及び２つの色差信号から色空間ベクトルを算出し、これが色空間上の所定の領域に属するかどうかを判定分類し、属する画素の度数を抽出する色空間ベクトル度数抽出器１９０６、ブロック化された領域に対して輝度分散値を抽出するブロック輝度分散値抽出器１９０７、フィルタ特性決定器１９０８、フィルタ回路１９０９、及び符号化器１９１０から構成される。色空間ベクトル度数抽出器１９０６以外については図１７で説明したものと同様である。
【０１７０】
図１９に従ってその動作を詳細に説明するが、６種類の画像特徴情報を抽出するまでの動作については、本発明の実施の形態９で説明したものと同様であるので省略する。
【０１７１】
抽出された６種類の画像特徴情報は、フィルタ特性決定器１９０８に入力される。フィルタ特性決定器１９０８は、６種類の画像特徴情報をもとにブロック毎にフィルタ特性を決定し、フィルタ回路１９０９にその情報を出力する。フィルタ回路１９０９は、フィルタ特性決定器１９０８により決定されたフィルタ特性に従って、ブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器１９１０にフィルタ処理された画像信号を出力する。符号化器１９１０は、フィルタ処理の施された画像信号を符号化して出力する。
【０１７２】
フィルタ特性決定器１９０８の具体的な動作については、実施の形態１０で説明したのとほぼ同様であり、ここでは異なる点についてのみ説明する。
抽出された色空間ベクトルが肌色領域に属する度数をもとに画像信号全体に対して決定したフィルタ特性を各ブロック毎に補正する点が異なる。説明を簡単にするために、本発明の実施の形態２で量子化特性の図として説明した図１６をフィルタ特性の図として用いることにする。
【０１７３】
図１６にその抽出された度数とフィルタ特性の係数の一例を示す。図１６に示すように度数が０の時に係数が１となり、度数が大きくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎のフィルタ特性が決定される。
【０１７４】
なお、本発明の実施の形態８〜１１の説明では、１６×１６画素で構成されるブロックに分割して説明したが、この分割ブロックはいくつであってもよく、所定期間についても１フレーム期間を例にとって説明したが、１フィールド期間であってもよい。
【０１７５】
また、色空間上の代表値ベクトル情報として、画素のもつ２つの色差信号のそれぞれの平均値情報及び、画素のもつ輝度信号及び２つの色差信号によって表現される色空間ベクトルが所定範囲、特に肌色領域に属する度数情報を用いて説明したが、度数情報を平均値情報で補正した、例えばブロック内の肌色の程度に応じて補正したものを用いてもよい。このようにすることにより、更に人間の視覚特性に適合した細かな制御を行うことができる。
【０１７６】
また、本発明の実施の形態１０及び１１では、フィルタ回路の一例として時間軸巡回型のノイズ除去フィルタを例にとって説明したが、周波数帯域を制限するような水平フィルタや空間フィルタでもよく、ガンマ補正のような画素のレベル方向の圧縮伸長を行うものでもよい。
【０１７７】
フィルタにより入力画像信号のもつ周波数帯域を制限する場合には、図１１〜図１３及び、図１６に示した画像特徴情報に対するフィルタ特性を変える必要がある。これについて簡単に説明する。所定期間にわたって抽出された各画像特徴情報と局所領域の各画像特徴情報との差分を算出し、差分の絶対値が大きくなるに従ってフィルタ特性を弱くする、すなわち、１フレーム期間全体にわたる平均的な画像特徴情報に対して局所領域の画像特徴情報が大きく異なる領域には、周波数帯域の制限を行わないようにする、あるいは、肌色領域として検出された領域には、周波数帯域の制限を行わないようにする。これにより、１フレーム期間の画像の中の特異領域以外の周波数帯域を制限し、全体的な符号化レートの発生を低減しつつ、人間の目につきやすい部分は帯域を保存することができる。
【０１７８】
また、フィルタ特性を弱くする判断を行う際に、所定期間にわたって抽出された各画像特徴情報と局所領域の各画像特徴情報との差分の絶対値、または、肌色領域情報と所定期間にわたる輝度信号の分散値とを用いて、分散値の比較的小さい画像に対してのみこの判断を行えば、例えば、全体的に暗い画像の一部の明るい部分であるとか、全体的に明るい画像の一部の暗い部分であるとか、全体的に平坦な画像の一部の細かな部分であるとかといった入力画像信号の特異領域のみに適用することができる。
【０１７９】
また、符号化する前にレベル方向の圧縮伸長をする場合には、例えば、人間の目に対して敏感な部分の信号の階調をあらかじめ小さくし、符号化することによって発生する符号化ノイズを小さくすることができる。
【０１８０】
このように実施の形態１１では、実施の形態９の画像符号化方法において、局所的な画像特徴情報として、ブロック平均色レベルの代わりに色空間ベクトル度数を用いたことにより、符号化レートに対する影響を小さくしながら、各情報に対する人間の視覚特性を利用して符号化ノイズの目立つ部分を局所的に抑えることができる。
【０１８１】
産業上の利用可能性
以上のように、本発明に係る画像符号化方法、画像符号化復号化方法、画像符号化装置、または画像記録再生装置は、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができ、処理の高速化及び簡略化、符号化ノイズの発生を抑える画像符号化処理として極めて有用である。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による画像符号化装置を示すブロック図である。
【図２】 ブロック毎に抽出された平均輝度レベルの度数分布を示す特性図である。
【図３】 ブロック毎に抽出された平均輝度レベルとその度数分布の平均値との差分値に対する量子化特性及びフィルタ特性を示す特性図である。
【図４】 本発明の実施の形態２による画像符号化装置を示すブロック図である。
【図５】 本発明の実施の形態３による画像符号化装置を示すブロック図である。
【図６】 本発明の実施の形態４による画像符号化装置を示すブロック図である。
【図７】 本発明の実施の形態５による画像符号化装置を示すブロック図である。
【図８】 本発明の実施の形態６による画像符号化装置を示すブロック図である。
【図９】 本発明の実施の形態７による画像記録再生装置を示すブロック図である。
【図１０】 本発明の実施の形態８による画像符号化装置を示すブロック図である。
【図１１】 本発明の実施の形態８による平均輝度レベルの差分に対する量子化特性、及びフィルタ特性を示す特性図である。
【図１２】 本発明の実施の形態８による平均色レベルの差分に対する量子化特性、及びフィルタ特性を示す特性図である。
【図１３】 本発明の実施の形態８による輝度分散値の差分に対する量子化特性、及びフィルタ特性を示す特性図である。
【図１４】 本発明の実施の形態９による画像符号化装置を示すブロック図である。
【図１５】 本発明の実施の形態９による色空間領域における画素の色空間ベクトルと肌色領域を示す特性図である。
【図１６】 本発明の実施の形態９による肌色領域に属する度数に対する量子化特性、及びフィルタ特性を示す特性図である。
【図１７】 本発明の実施の形態１０による画像符号化装置を示すブロック図である。
【図１８】 本発明の実施の形態１０によるフィルタ回路の一例を示すブロック図である。
【図１９】 本発明の実施の形態１１による画像符号化装置を示すブロック図である。
【図２０】 従来の画像符号化装置を示すブロック図である。
【図２１】 平均輝度レベルに対する量子化特性及びフィルタ特性を示す特性図である。
【図２２】 平均色レベルに対する量子化特性及びフィルタ特性を示す特性図である。
【図２３】 輝度分散値に対する量子化特性及びフィルタ特性を示す特性図である。
技術分野
本発明は、画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置に関し、特に光ディスク等の画像記録媒体に動画像信号を高能率符号化して記録するシステム等において使用されるものに関するものである。
【０００２】
背景技術
従来、動画像信号を高能率符号化して記録するシステム等において、特開平９−１８８７２号に記載されたものが知られている。
図２０に従来の画像符号化装置のブロック図を簡略化して示す。また、図２１から図２３に従来の画像符号化装置による量子化ステップ幅を決定するための特性図を示す。図２１から図２３において横軸はそれぞれの画像特徴情報の大きさを示しており、縦軸は量子化特性の係数を示しており、この係数が大きいほど量子化ステップ幅は小さくなる。すなわち、与えられるビット数が多くなり、発生符号量が多くなることを示す。
【０００３】
図２０に従ってその構成、動作を説明する。従来の画像符号化装置は、図２０に示すように、輝度信号の所定期間毎の平均値を抽出する平均輝度レベル抽出器２００１、色差信号の所定期間毎の平均値を抽出する平均色レベル抽出器２００２、所定期間毎の輝度信号の分散値を抽出する輝度分散値抽出器２００３、量子化ステップ幅決定器２００４、及び符号化器２００５から構成されている。
【０００４】
画像信号は、平均輝度レベル抽出器２００１、平均色レベル抽出器２００２、輝度分散値抽出器２００３、及び符号化器２００５に入力される。平均輝度レベル抽出器２００１、平均色レベル抽出器２００２、輝度分散値抽出器２００３では、入力された画像信号から所定期間にわたってそれぞれの画像特徴情報を抽出し、抽出されたそれぞれの画像特徴情報が量子化ステップ幅決定器２００４に入力される。量子化ステップ幅決定器２００４は、これらの画像特徴情報の少なくともひとつに従って、量子化ステップ幅を決定し、その結果を符号化器２００５に出力する。符号化器２００５は、量子化ステップ幅決定器２００４で所定期間毎に決定された量子化ステップ幅を用いて、入力画像信号を符号化して出力する。
【０００５】
量子化ステップ幅決定器２００４では、平均輝度レベル抽出器２００１で抽出された平均輝度レベルが比較的小さな場合には、図２１に示す特性により量子化ステップ幅を小さくしたり、平均色レベル抽出器２００２で抽出されたCb、Cr２つの色差信号のうちの赤色系のCr信号の平均レベルが大きな場合には、図２２に示す特性により量子化ステップ幅を小さくしたり、輝度分散値抽出器２００３で抽出された輝度分散値が小さな場合には、図２３に示す特性により量子化ステップ幅を小さくしたりするように動作する。図２１から図２３の縦軸の係数は量子化ステップ幅の重みづけとなるものであり、係数が大きいほど量子化ステップ幅が小さくなることを示す。
このようにして、人間の視覚特性に適合するように量子化 ステップ幅を決定し、符号化するという構成である。
【０００６】
以上のように、従来の画像符号化装置では、所定期間毎の画像信号の大まかな特徴情報を用いて人間の視覚特性に適合するように量子化ステップ幅を決定し符号化するという構成であるため、抽出された画像特徴情報に従って画質劣化を少なく符号化しようとすると、全体的な発生符号量が上がってしまう。逆に発生符号量を抑えようとすると、所定期間に表示される画面全体に画質劣化が発生するという問題がある。
【０００７】
本発明は、かかる点に鑑みて発生符号量に対する影響を小さくしながらも画質劣化を少なくし、画像全体に対する人間の視覚特性に適合した画像符号化方法、画像符号化復号化装置、画像符号化装置、及び画像記録再生装置を提供することを目的とする。
【０００８】
発明の開示
本発明の請求項１に係る画像符号化方法は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、前記入力画像信号を、前記局所領域毎に分割するステップと、該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより算出したフレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する局所領域の特異性の強さとして抽出するステップと、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含むことにより、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
本発明の請求項２に係る画像符号化方法は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、前記入力画像信号を、前記局所領域毎に分割するステップと、該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、前記各局所領域の画像特徴情報の、複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出するステップと、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含むことにより、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
本発明の請求項３に係る画像符号化方法は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、前記入力画像信号を、前記局所領域毎に分割するステップと、該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、１フレーム期間に対しては、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより算出したフレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する局所領域の特異性の強さとして抽出し、複数フレーム期間にわたっては、前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出するステップと、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含む、ことにより、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
【００１２】
また、本発明の請求項４に係る画像符号化方法は、請求項１ないし３のいずれかに記載の画像符号化方法において、前記各局所領域に対するフィルタ特性を、各局所領域の特異性が強いほど、各局所領域に対する低域周波数通過フィルタのカットオフ周波数を高くするよう決定するステップと、決定されたフィルタ特性に基づいて、前記各局所領域の画像信号に対するフィルタ処理を行うステップとを含み、前記フィルタ処理を施した前記各局所領域の画像信号を、前記決定された量子化特性に基づいて符号化することにより、画像全体の統計的情報を利用して局所領域毎に符号化ノイズの発生及び、発生符号量の上昇を抑えるとともに、局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。
【００１７】
また、請求項５に係る画像符号化方法は、請求項１ないし３のいずれかに記載の画像符号化方法において、前記局所領域毎に決定された量子化特性を、符号化の対象となる対象局所領域の量子化特性と、該対象局所領域及びこれに隣接する複数の局所領域の量子化特性を平均化して得られる量子化特性とのうちの、量子化ステップ幅の小さい方の特性としたことにより、隣接する局所領域間で復号画質が大きく異なって視覚的な違和感が発生するのを抑えることができるという効果を有する。
また、請求項６係る画像符号化方法は、請求項４に記載の画像符号化方法において、前記局所領域毎に決定されたフィルタ特性を、符号化の対象となる対象局所領域のフィルタ特性と、該対象局所領域及びこれに隣接する複数の局所領域のフィルタ特性を平均化して得られるフィルタ特性とのうちの、低域周波数通過フィルタのカットオフ周波数の高い方の特性としたことにより、隣接する局所領域間で復号画質が大きく異なって視覚的な違和感が発生するのを抑えることができるという効果を有する。
【００１８】
また、請求項７に係る画像符号化方法は、請求項１ないし６のいずれかに記載の画像符号化方法において、前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報、としたので、画面全体のうちの特に注目される部分における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項８に係る画像符号化方法は、請求項１ないし６のいずれかに記載の画像符号化方法において、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する画素のもつ２つの色差信号のそれぞれの平均値情報と、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報、としたので、画面全体のうちの特に注目される部分における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項９に係る画像符号化方法は、請求項７に記載の画像符号化方法において、前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域であるものとしたので、画面全体のうちの特に注目される人間の肌領域における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項１０に係る画像符号化方法は、請求項８に記載の画像符号化方法において、前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域であるものとしたので、画面全体のうちの特に注目される人間の肌領域における符号化ノイズを局所的に抑えることができるという効果を有する。
【００１９】
また、請求項１１に係る画像符号化方法は、請求項４または６に記載の画像符号化方法において、前記フィルタ特性は、前記各局所領域の特異性の強さに応じて前記低域周波数通過フィルタのカットオフ周波数を変化させ、かつ、外部から与えられる、動画像の動きに応じたフィルタ強度を示す制御信号によって、前記低域周波数通過フィルタにオフセットをかけて制御するものとしたことにより、画像全体のフィルタ特性を動画像の動きに応じたものとできるという効果を有する。
【００２０】
また、請求項１２に係る画像符号化方法は、請求項１１に記載の画像符号化方法において、 外部から与えられる前記制御信号は、入力画像信号のＮ（Ｎは自然数）フレーム期間にわたるフレームまたは、フィールド画素差分の絶対値の累積値、またはＭ（Ｍは自然数）フレーム期間にわたる符号化情報発生量の累積値、または各フレーム毎の符号化情報発生量の比率の少なくともひとつに応じたフィルタ強度を示すようにしたことにより、入力画像信号の動きの特徴により、もともとの情報量を効果的に削減し、発生符号量を抑えることができるという効果を有する。
【００２１】
また、請求項１３に係る画像符号化復号化方法は、請求項１ないし３のいずれかに記載の画像符号化方法における符号化において、前記局所領域毎の画像特徴情報と前記入力画像信号とを符号化して得られた符号化データ列を記録し、再生時には、前記符号化データ列を復号化し、符号化する前に抽出した局所領域毎の画像特徴情報から、特異性が高いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を高くし、特異性が低いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を低くして人間の視覚特性に適応した処理を行うものとしたので、再生時に局所領域毎の画像特徴情報を抽出することなく、復号画像信号に対して適応的なフィルタ処理を施すことができ、符号化ノイズを効果的に抑制したり、信号強調をしたりすることができるという効果を有する。
【００２２】
また、請求項１４に係る画像符号化装置は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより、フレーム全体の平均的な画像特徴情報を抽出する第２の特徴抽出手段と、前記第１の特徴抽出手段により抽出された各局所領域の画像特徴情報と、前記第２の特徴抽出手段によって抽出された、フレーム全体の平均的な画像特徴情報との差分値の大きさを、前記フレーム全体に対する各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有することを特徴とする画像符号化装置としたものであり、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
また、請求項１５に係る画像符号化装置は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、前記各局所領域の画像特徴情報の、複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の画像特徴情報を抽出する第２の特徴抽出手段と、複数フレーム期間にわたる、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有するものであり、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
また、請求項１６に係る画像符号化装置は、動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、１フレーム期間に対しては、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより、フレーム全体の平均的な画像特徴情報を抽出し、複数フレーム期間にわたっては、前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の画像特徴情報を抽出する第２の特徴抽出手段と、１フレーム期間に対しては、前記フレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する各局所領域の特異性の強さとして抽出し、複数フレーム期 間にわたっては前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有するものであり、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。また、画像全体の中で人間が特に注目する特異な領域における復号画質の劣化を抑えることができるという効果を有する。
【００２６】
また、請求項１７に係る画像符号化装置は、請求項１４ないし１６のいずれかに記載の画像符号化装置において、前記各局所領域に対するフィルタ特性を、各局所領域の特異性が強いほど、各局所領域に対する低域周波数通過フィルタのカットオフ周波数を高くするよう決定するフィルタ特性決定手段と、前記フィルタ特性決定手段によって決定されたフィルタ特性に基づいて、各局所領域の入力画像信号に対して適応的なフィルタ処理を施すフィルタ処理手段とを有し、前記符号化手段は、該フィルタ処理手段によりフィルタ処理を施された入力画像信号を、量子化ステップ特性決定手段によって決定された量子化特性に基づいて符号化するようにしたことにより、局所領域毎に符号化ノイズの発生及び、発生符号量の上昇を抑えるとともに、局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができるという効果を有する。
【００３１】
また、請求項１８に係る画像符号化装置は、請求項１４ないし１６のいずれかに記載の画像符号化装置において、前記量子化特性決定手段によって局所領域毎に決定された量子化特性を、符号化の対象となる対象局所領域の量子化特性と、該対象局所領域及びこれに隣接する複数の局所領域の量子化特性を平均化して得られる量子化特性のうちの、量子化ステップ幅の小さい方の特性としたことにより、隣接する局所領域間で復号画質が大きく異なって視覚的な違和感が発生するのを抑えることができるという効果を有する。
また、請求項１９に係る画像符号化装置は、請求項１７に記載の画像符号化装置において、前記フィルタ特性決定手段によって局所領域毎に決定されたフィルタ特性を、符号化の対象となる対象局所領域のフィルタ特性と、該対象局所領域及びこれに隣接する複数の局所領域のフィルタ特性を平均化して得られるフィルタ特性のうちの、低域周波数通過フィルタのカットオフ周波数の高い方の特性としたことにより、隣接する局所領域間で復号画質が大きく異なって視覚的な違和感が発生するのを抑えることができるという効果を有する。
【００３２】
また、請求項２０に係る画像符号化装置は、請求項１４ないし１９のいずれかに記載の画像符号化装置において、前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報、としたので、画面全体のうちの特に注目される部分における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項２１に係る画像符号化装置は、請求項１４ないし１９のいずれかに記載の画像符号化装置において、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する画素のもつ２つの色差信号のそれぞれの平均値情報と、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報、としたので、画面全体のうちの特に注目される部分における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項２２に係る画像符号化装置は、請求項２０に記載の画像符号化装置において、前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域であるものとしたので、画面全体のうちの特に注目される人間の肌領域における符号化ノイズを局所的に抑えることができるという効果を有する。
また、請求項２３に係る画像符号化装置は、請求項２１に記載の画像符号化装置において、前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域であるものとしたので、画面全体のうちの特に注目される人間の肌領域における符号化ノイズを局所的に抑えることができるという効果を有する。
【００３３】
また、請求項２４に係る画像符号化装置は、請求項１７または１９に記載の画像符号化装置において、前記フィルタ特性決定手段は、前記各局所領域の特異性の強さに応じて前記低域周波数通過フィルタのカットオフ周波数を変化させ、外部から与えられる、動画像の動きに応じたフィルタ強度を示す制御信号によって前記低域周波数通過フィルタにオフセットをかけて制御することにより、画像全体のフィルタ特性を動画像の動きに応じたものとできるという効果を有する。
【００３４】
また、請求項２５に係る画像符号化装置は、請求項２４に記載の画像符号化装置において、 外部から与えられる前記制御信号は、入力画像信号のＮ（Ｎは自然数）フレーム期間にわたるフレームまたは、フィールド画素差分の絶対値の累積値、またはＭ（Ｍは自然数）フレーム期間にわたる符号化情報発生量の累積値、または各フレーム毎の符号化情報発生量の比率の少なくともひとつに応じたフィルタ強度を示すものとしたので、入力画像信号の動きの特徴により、もともとの情報量を効果的に削減し、発生符号量を抑えることができるという効果を有する。
【００３５】
また、請求項２６に係る画像記録再生装置は、請求項１４ないし１６に記載の画像符号化装置における符号化手段において、前記局所領域毎に分割された入力画像信号を量子化し、符号化するとともに、前記第１または、第２の特徴抽出手段によって抽出された情報のうち少なくともひとつを符号化して得られた符号化データ列を記録する記録手段と、前記記録手段によって記録された符号化データ列を再生する再生手段と、前記再生手段によって再生された符号化データ列から、前記第１または、第２の特徴抽出手段によって抽出された情報と、量子化し、符号化された画像信号とを分離して復号化し、復号特徴情報と復号画像信号を得る復号化手段と、符号化する前に抽出した局所領域毎の画像特徴情報から、特異性が高いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を高くし、特異性が低いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を低くして人間の視覚特性に適応した処理を行うフィルタ手段とを有するものとしたので、再生時に局所領域毎の画像特徴情報を抽出することなく、復号画像信号に対して適応的なフィルタ処理を施すことができ、符号化ノイズを効果的に抑制したり、信号強調をしたりすることができるという効果を有する。
【００６２】
発明を実施するための最良の形態
実施の形態１．
以下、本発明の実施の形態１について、図１〜図３を参照して説明する。
図１は、本発明の実施の形態１を適用した画像符号化装置を示すブロック図である。
【００６３】
図１に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器１０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器１０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器１０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器１０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器１０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器１０８、量子化ステップ幅決定器１０９、符号化器１１０から構成される。
【００６４】
以下、図１に従ってその動作を詳細に説明する。
入力された画像信号は、ブロック化回路１０１で例えば１６×１６画素から構成される微小ブロックに分割される。
ブロック化回路１０１によってブロック化された画像信号は、ブロック平均輝度レベル抽出器１０２、ブロック隣接画素輝度レベル差分平均抽出器１０３、ブロック隣接画素色差レベル差分平均抽出器１０４、ブロック輝度分散値抽出器１０５、ブロック色差分散値抽出器１０６、ブロック動き量抽出器１０７、及び符号化器１１０に入力される。
【００６５】
ブロック平均輝度レベル抽出器１０２、ブロック隣接画素輝度レベル差分平均抽出器１０３、ブロック隣接画素色差レベル差分平均抽出器１０４、ブロック輝度分散値抽出器１０５、ブロック色差分散値抽出器１０６、及びブロック動き量抽出器１０７では、分割ブロック毎にそれぞれ平均輝度レベル、水平及び垂直方向に隣接する画素の輝度レベルの差分絶対値の平均値、水平及び垂直方向に隣接する画素の色差レベルの差分絶対値の平均値、輝度分散値、色差分散値、及び動き量を表わす代表値を抽出する。あるいはさらに図示していないが、色空間上の代表値ベクトル情報を抽出する。抽出器を設けて、色空間上の代表値ベクトル情報を抽出するようにしてもよい。ここで、色空間上の代表値ベクトル情報は、画素のもつ輝度信号及び２つの色差信号によって表現される色空間ベクトルが所定範囲に属する度数情報としてもよく、あるいは、画素のもつ２つの色差信号のそれぞれの平均値情報と画素のもつ輝度信号及び２つの色差信号によって表現される色空間ベクトルが所定範囲に属する度数情報とによって決定されるもの、としてもよい。
【００６６】
このようにして抽出された画像特徴情報は、それぞれ度数分布検定器１０８、及び量子化ステップ幅決定器１０９に入力される。
輝度レベル、及び色差レベルの隣接画素差分としては、水平方向に隣接する画素とのそれぞれのレベル差の絶対値、または垂直方向に隣接する画素とのそれぞれのレベル差の絶対値、または水平垂直両方のレベル差の絶対値の和を用いることが出来る。
また、動き量を表わす代表値としては、例えば、垂直方向に隣接する画素とのそれぞれのレベル差の絶対値のブロックの平均を用いることができる。
【００６７】
度数分布検定器１０８は、それぞれの画像特徴情報の所定期間、例えば画像信号の１フレーム期間にわたって度数分布をもとめ、その平均値及び、ばらつき値を算出する。
ばらつき値とは、例えば標準偏差値といった度数分布のばらつき度合いを表わすものである。
【００６８】
図２にブロック平均輝度レベルについての度数分布の一例を示す。
図２のσは標準偏差値を示している。算出されたそれぞれの画像特徴情報の１フレーム期間にわたる平均値μ及びばらつき値σは、量子化ステップ幅決定器１０９に入力される。
【００６９】
量子化ステップ幅決定器１０９は、それぞれのブロック毎の画像特徴情報と１フレーム期間にわたるその平均値μ及び、ばらつき値σとを用いてブロック毎に量子化ステップ幅を決定し、符号化器１１０にその情報を出力する。符号化器１１０は、量子化ステップ幅決定器１０９により決定された量子化ステップ幅に従って、ブロック化された画像信号を符号化して出力する。
【００７０】
ここで量子化ステップ幅決定器１０９の具体的な動作について順をおって説明する。
図１では、６種類の画像特徴情報について示しているが、説明を簡単にするため１種類としてブロック平均輝度レベルを例にとって説明する。
図３に量子化特性の一例として、横軸にブロック毎に抽出された平均輝度と度数分布の平均値との差分値、縦軸に量子化特性の係数を示す。この係数が大きいほど量子化ステップ幅は小さくなる。すなわち、与えられるビット数が多くなり、符号化レートが高くなり、符号化ノイズが少なくなることを示す。
【００７１】
図３に示すように、ブロック毎に抽出された平均輝度レベルが１フレーム期間の平均値μという画像全体に対する特徴から、ばらつき値σに応じて離れるに従って量子化係数が大きくなるように決定される。
【００７２】
すなわち、画像全体に対して輝度レベルが特異なブロックほど量子化ステップ幅が小さくなるように決定され、その結果、このブロックの復号画像に発生する符号化ノイズが他のブロックに比べて抑えられる。
【００７３】
他の５種類の画像特徴情報についても同様の動作となるが、複数種類の情報を同時に使用する場合には、それぞれの情報によって各ブロック毎に特異度合いを得ることが出来るため、すべての論理和をとって、いずれかの情報について特異なブロックを検出することができるし、あるいは、論理積をとることによって、非常に高い特異度合いを有するブロックを検出することもできる。この特異度合いが高ければ高いほど、復号画像のノイズ発生を抑えるように量子化特性を決定する。
【００７４】
このように本実施の形態１では、入力画像信号を局所領域に分割し、局所領域毎の画像特徴情報の所定期間にわたる度数分布に基づいて、入力画像信号の局所領域毎に量子化特性を決定し、符号化するようにしたので、画像の局所領域毎の特徴を観察した、画像全体の統計的情報を利用して、局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができ、画像全体に対する人間の視覚特性に適合した画像符号化処理を行うことができる。
【００７５】
実施の形態２．
以下、本発明の実施の形態２について、図２〜図４を参照して説明する。
図４は、本発明の実施の形態２を適用した画像符号化装置を示すブロック図である。
【００７６】
図４に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路４０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器４０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器４０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器４０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器４０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器４０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器４０７（ここで、実施の形態１におけると同じく、色空間上の代表値ベクトル情報を抽出する抽出器をも設けてもよい。）、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器４０８、フィルタ特性決定器４０９、フィルタ回路４１０、符号化器４１１から構成される。
【００７７】
図４に従ってその動作を詳細に説明する。
ここで、６種類の画像特徴情報を抽出し、それぞれの１フレーム期間にわたる度数分布を求め、その平均値μ及びばらつき値σを算出するまでの動作については、前述の本発明の実施の形態１で説明したものと同様であるので省略する。
図４において、ブロック毎に抽出された６種類の画像特徴情報、及びそれぞれの度数分布検定器４０８の出力である平均値μ及びばらつき値σは、フィルタ特性決定器４０９に入力される。
【００７８】
フィルタ特性決定器４０９は、ブロック毎の画像特徴情報及び、その度数分布の平均値μ及び、ばらつき値σをもとにブロック毎にフィルタ特性を決定し、フィルタ回路４１０にその情報を出力する。
フィルタ回路４１０は、フィルタ特性決定器４０９により決定されたフィルタ特性に従って、ブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器４１１にフィルタ処理された画像信号を出力する。符号化器４１１は、フィルタ処理の施された画像信号を符号化して出力する。
【００７９】
次に、フィルタ特性決定器４０９の具体的な動作について順をおって説明する。ここでは、説明を簡単にするため、画像特徴情報としてブロック平均輝度レベルを例にとって説明する。
また、本発明の実施の形態１で量子化特性の特性図として説明した図２及び図３をフィルタ特性の特性図として用い、フィルタの一例として周波数帯域制限フィルタとして説明する。
【００８０】
すなわち、図３の縦軸はフィルタ特性の係数を示すことになり、この係数が小さいほど制限される周波数帯域が狭くなることを示す。
図３に示すように、ブロック毎に抽出された平均輝度レベルが１フレーム期間の平均値μという画像全体に対する特徴から、ばらつき値σに応じて離れるに従ってフィルタ係数が大きくなるように決定される。
すなわち、画像全体に対して輝度レベルが特異なブロックほどフィルタによる周波数帯域制限が弱くなるように決定される。
【００８１】
他の５種類の画像特徴情報についても同様の動作となるが、複数種類の情報を同時に使用する場合には、それぞれの情報によって各ブロック毎に特異度合いを得ることが出来るため、すべての論理和をとって、いずれかの情報について特異なブロックを検出することができるし、あるいは論理積をとることによって、非常に高い特異度合いを有するブロックを検出することもできる。この特異度合いが高ければ高いほど、周波数帯域制限を弱くするようにフィルタ特性を決定する。
【００８２】
このように本実施の形態２では、入力画像信号を局所領域に分割し、局所領域毎の画像特徴情報、あるいは、局所領域毎の画像特徴情報の所定期間にわたる度数分布に基づいて、入力画像信号の局所領域毎にフィルタ特性を決定し、適応的なフィルタ処理を施した後、符号化するようにしたので、適応的なフィルタ処理によって符号化する前に局所的にノイズ成分を抑える、あるいは周波数帯域の制御を行うことにより、あるいは、画像全体の統計的情報を利用して、適応的なフィルタ処理をすることによって符号化する前に局所的にノイズ成分を抑える、あるいは周波数帯域の制御を行うことにより、符号化ノイズの発生及び、発生符号量の上昇を抑えることができる。
【００８３】
実施の形態３．
以下、本発明の実施の形態３について、図５を参照して説明する。
図５は、本発明の実施の形態３を適用した画像符号化装置を示すブロック図である。
【００８４】
図５に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路５０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器５０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器５０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器５０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器５０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器５０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器５０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器５０８、フィルタ特性決定器５０９、量子化ステップ幅決定器５１０、フィルタ回路５１１、符号化器５１２から構成される。
【００８５】
図５を用いてその動作を詳細に説明する。
ここで、６種類の画像特徴情報を抽出し、それぞれの１フレーム期間にわたる度数分布をもとめ、その平均値μ及びばらつき値σを算出し、これらをもとにブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器５１２にフィルタ処理された画像信号を出力するまでの動作及び、ブロック毎に量子化ステップ幅を決定し、符号化器５１２にその情報を出力するまでの動作については、本発明の実施の形態１、２で説明したものと同様であるので省略する。
【００８６】
図５において、フィルタ回路５１１でブロック毎に適応的にフィルタ処理を施された画像信号は、符号化器５１２でブロック毎に決定された量子化ステップ幅に従って、符号化される。
【００８７】
この実施の形態３の構成では、量子化ステップ幅決定器５１０でブロック毎に量子化ステップ幅を決定するための画像信号と、実際に符号化器５１２で符号化されるブロック毎に適応フィルタを施された画像信号とは異なるため、厳密には画像特徴情報が異なるという問題があるが、ハードウエアの共有化、あるいは処理の高速化を図ることができるという利点がある。
【００８８】
このように本実施の形態３では、入力画像信号を局所領域に分割し、前記局所領域毎の画像特徴情報、及びその所定期間にわたる度数分布に基づいて、前記入力画像信号の局所領域毎にフィルタ特性及び、量子化特性を決定し、適応的なフィルタ処理を施した後、前記量子化特性に基づいて符号化するようにしたので、上記フィルタ特性、量子化特性の決定に、フィルタ処理される前の画像信号だけの画像特徴情報を用いるため、処理の高速化、簡略化を実現することができる。
【００８９】
実施の形態４．
以下、本発明の実施の形態４について、図６を参照して説明する。
【００９０】
図６は、本発明の実施の形態４を適用した画像符号化装置を示すブロック図である。
図６に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路６０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器６０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器６０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器６０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器６０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器６０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器６０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器６０８、フィルタ特性決定器６０９、量子化ステップ幅決定器６１０、フィルタ回路６１１、符号化器６１２から構成される。
【００９１】
図６に従ってその動作を詳細に説明する。
なお、６種類の画像特徴情報を抽出し、それぞれの１フレーム期間にわたる度数分布をもとめ、その平均値μ及び、ばらつき値σを算出し、これらをもとにブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器６１２にフィルタ処理された画像信号を出力するまでの動作については、本発明の実施の形態２で説明したものと同様であるのでその説明を省略する。
【００９２】
図６において、フィルタ特性決定器６０９でブロック毎に決定されたフィルタ特性はフィルタ回路６１１に入力される一方、量子化ステップ幅決定器６１０にも入力される。量子化ステップ幅決定器６１０は、ブロック毎に決定されたフィルタ特性に基づいてブロック毎に量子化ステップ幅の補正を行い、符号化器６１２に量子化情報を出力する。
【００９３】
例えば、フィルタ回路６１１を構成するフィルタが周波数帯域制限フィルタであれば、その帯域制限される周波数帯域が狭くなればなるほど、各ブロックに含まれる高域成分がなくなるため、元の信号に対して、信号振幅が小さくなる。この元の信号と帯域制限された信号とを同一の量子化ステップ幅で量子化した場合に発生する歪みの発生度合いは、帯域制限された信号の方が大きなものとなってしまい、画質劣化の原因となる。
【００９４】
従って、フィルタ回路６１１で帯域制限される周波数帯域が狭くなればなるほど、量子化ステップ幅は小さくなるように量子化ステップ幅決定器で補正を行う。
符号化器６１２は、ブロック毎に適応的にフィルタ処理された信号を量子化ステップ幅決定器６１０で補正決定された量子化幅に基づいて量子化し、符号化する。
【００９５】
このように本実施の形態４では、入力画像信号を局所領域に分割し、前記局所領域毎の画像特徴情報、及びその所定期間にわたる度数分布に基づいて、前記入力画像信号の局所領域毎にフィルタ特性を決定し適応的なフィルタ処理を施した後、前記決定されたフィルタ特性に従って前記局所領域毎の量子化特性を決定し当該量子化特性に基づいて符号化するようにしたので、局所領域毎に決定されたフィルタ特性に応じて量子化特性が決定されるため、フィルタ処理によって変化した画像信号に応じた量子化補正を行うことができ、符号化ノイズの発生を抑えることができる。
【００９６】
実施の形態５．
以下、本発明の実施の形態５について、図７を参照して説明する。
図７は、本発明の実施の形態５を適用した画像符号化装置を示すブロック図である。
【００９７】
図７に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路７０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器７０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器７０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器７０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器７０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器７０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器７０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器７０８、フィルタ特性決定器７０９、量子化ステップ幅決定器７１０、フィルタ特性補正器７１１、量子化ステップ幅補正器７１２、フィルタ回路７１３、符号化器７１４から構成される。
【００９８】
図７に従ってその動作を詳細に説明する。
なお、フィルタ特性決定器７０９によるブロック毎のフィルタ特性の決定、量子化ステップ幅決定器７１０によるブロック毎の量子化ステップ幅の決定までは、本発明の実施の形態３で説明したものと同様である。
図７において、フィルタ特性決定器７０９によりブロック毎に決定されたフィルタ特性は、フィルタ特性補正器７１１に入力される。
【００９９】
フィルタ特性補正器７１１では、処理の対象となるブロックの周辺８ブロックとの平均を算出し、この値とフィルタ特性決定器７０９からの入力である元の特性とを比較し、フィルタ特性の係数として、前述した図３に示す係数の大きい方、すなわち周波数帯域制限が弱い方の特性を選択してフィルタ回路７１３に出力する。同様にして、量子化ステップ幅決定器７１０によりブロック毎に決定された量子化特性は、量子化特性(量子化ステップ幅)補正器７１２に入力され、量子化特性補正器７１２では、処理の対象となるブロックの周辺８ブロックとの平均を算出し、この値と量子化特性決定器７１０からの入力である元の特性とを比較し、量子化特性の係数として図３に示す係数の大きい方、すなわち量子化ステップ幅が小さくなる方の特性を選択して符号化器７１４に出力する。
【０１００】
フィルタ回路７１３及び符号化器７１４の動作は、本発明の実施の形態３で説明したものと同様であるので、その動作の説明は省略する。
この本実施の形態５の構成では、このように補正を行うことにより、隣接するブロック間の画像特徴情報に大きな差があった場合にも隣接ブロック間で復号画質が大きく異なり、視覚的に違和感を与える、ということを防ぐことが出来る。
【０１０１】
このように本実施の形態５では、入力画像信号を局所領域に分割し、前記局所領域毎の画像特徴情報、及びその所定期間にわたる度数分布に基づいて、前記入力画像信号の局所領域毎にフィルタ特性及び、量子化特性を決定し、適応的なフィルタ処理を施した後、前記量子化特性に基づいて符号化するようにしたので、該フィルタ特性、及び量子化特性を決定するのに、フィルタ処理される前の画像信号だけの画像特徴情報を用いているため、処理の高速化、簡略化を実現することができる。
【０１０２】
実施の形態６．
以下、本発明の実施の形態６について、図８を参照して説明する。
図８は、本発明の実施の形態６を適用した画像符号化装置を示すブロック図である。
【０１０３】
図８に示すように、本実施の形態の画像符号化装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路８０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器８０２、ブロック化された領域に対して隣接画素の輝度レベル絶対差分値の平均値を抽出するブロック隣接画素輝度レベル差分平均抽出器８０３、ブロック化された領域に対して隣接画素の色差レベル絶対差分値の平均値を抽出するブロック隣接画素色差レベル差分平均抽出器８０４、ブロック化された領域に対して輝度レベル分散値を抽出するブロック輝度分散値抽出器８０５、ブロック化された領域に対して色差レベル分散値を抽出するブロック色差分散値抽出器８０６、ブロック化された領域に対して動き量を代表する値を抽出するブロック動き量抽出器８０７、ブロック毎の各特徴情報の所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器８０８、フィルタ特性決定器８０９、フィルタ回路８１０、符号化器８１１、フレーム画素差分値累積器８１２、フィルタ強度制御信号発生器８１３から構成される。
【０１０４】
次に、図８に従ってその動作を詳細に説明する。
ここでは、フィルタ特性決定器８０９に対して、外部からフィルタ強度を制御する信号をフィルタ強度制御信号発生器８１３より入力する点、及び符号化器８１１から該フィルタ強度制御信号発生器８１３対して発生符号量を出力する点以外は、前述した実施の形態２で説明したものとほぼ同様であるので、異なる部分だけを中心に説明する。
【０１０５】
図８において、まず、入力画像信号は、ブロック化回路８０１に入力されて本発明の実施の形態２で説明したように処理されるほかに、フレーム画素差分値累積器８１２に入力される。
【０１０６】
フレーム画素差分値累積器８１２は、画像信号を構成する連続するフレーム間の同一空間位置に位置する画素の時間軸方向のレベル差分の絶対値を算出し、この値の、所定期間例えば、１５フレーム期間にわたる累積値を算出し、この結果をフィルタ強度制御信号発生器８１３に出力する。ただし、フレーム画素差分値累積器８１２の累積加算は１５フレーム毎に０に初期化される。
【０１０７】
一方、符号化器８１１は、フィルタ回路８１０でブロック毎にフィルタ処理された画像信号を符号化するほか、各フレーム毎に符号化によって発生するフレーム発生符号量を算出し、この結果をフィルタ強度制御信号発生器８１３に出力する。
【０１０８】
フィルタ強度制御信号発生器８１３では、入力画像からフィードフォワード的に入力される累積値信号と、符号化器８１１からフィードバック的に入力される発生符号量信号とから、フィルタ特性決定器８０９に対して、全体的なフィルタ特性を制御するフィルタ強度信号を出力する。
【０１０９】
例えば、フレーム画素差分値累積器８１２からの累積値信号が大きい場合には、狭い周波数帯域特性を有するフィルタセット、累積値信号が小さい場合には、広い周波数帯域特性を有するフィルタセットを選択するように動作する。
【０１１０】
また、符号化器８１１から入力される各フレーム毎の発生符号量からは、この値の変動が小さい場合には、狭い周波数帯域特性を有するフィルタセット、大きい場合には、広い周波数帯域特性を有するフィルタセットを選択するように動作する。
【０１１１】
符号化器８１１が、フレーム間動き予測符号化器のような構成である場合、動きの激しい入力画像信号に対しては、符号化効率が著しく低下し、発生符号量も大きくなってしまう。
【０１１２】
このような時には、所定期間にわたるフレーム画素レベル差分の絶対値の累積値は比較的大きなものとなるため、この性質を用いてフィルタ強度を強くし、入力画像信号の周波数帯域を制限することにより元々の情報量が制限され、符号化効率を向上することができる。また、実際に符号化器８１１で算出されるフレーム毎の発生符号量も、動きが激しい入力画像に対しては、各フレーム毎にその差が小さくなり、静止画のような入力画像に対しては、フレーム内符号化されたフレームとフレーム間予測符号化されたフレームでは発生符号量に大きな差がある。このような性質を用いて、各フレーム毎の発生符号量の比率があまり変わらない場合にはフィルタ強度を強くし、同様の効果を得ることができる。
【０１１３】
なお、フレーム画素差分値累積値８１２では、１５フレーム期間にわたって累積加算するとして説明したが、この期間が短ければフィルタ強度の制御が短い期間毎に行われ、長ければ、ゆっくりとしたフィルタ強度の制御が行われることになる。
更にフレーム毎の発生符号量を所定期間毎に累積したものに応じてフィルタ強度を制御しても同様の効果が得られる。
【０１１４】
このように本実施の形態６では、実施の形態２ないし５の画像符号化方法において、フィルタ特性は、局所領域毎の画像特徴情報と外部から与えられる制御信号によって適応的に決定されるようにしたことにより、画像全体のフィルタ特性を外部から制御することができる。
【０１１５】
実施の形態７．
以下、本発明の実施の形態７について、図９を参照して説明する。
図９は、本発明の実施の形態７を適用した画像記録再生装置を示すブロック図である。
【０１１６】
図９に示すように、本実施の形態の画像記録再生装置は、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路９０１、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器９０２、抽出されたブロック毎の平均輝度レベルの所定期間にわたる度数分布からその平均値及び、ばらつき値を算出する度数分布検定器９０３、ブロック毎に特性を決定するフィルタ特性決定器９０４、及び量子化ステップ幅決定器９０５、ブロック毎に適応的に動作するフィルタ回路９０６、及び符号化器９０７、記録信号処理器９０８、記録媒体９０９、再生信号処理器９１０、符号化されたデータ列を復号する復号化器９１１、復号されたブロック毎の平均輝度レベルから所定期間にわたる度数分布を求め、これを検定する度数分布検定器９１２、復号画像信号に対してブロック毎に適応的に動作するフィルタ回路９１３、ブロック毎に特性を決定するフィルタ特性決定器９１４から構成される。なお、本発明では説明を簡単にするために画像特徴情報として平均輝度レベルだけを例にとって説明する。
【０１１７】
次に、図９に従ってその動作を詳細に説明する。
なお、ブロック毎の画像特徴情報として平均輝度レベルを抽出し、１フレーム期間にわたる度数分布をもとめ、その平均値μ及び、ばらつき値σを算出し、これらをもとにブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器９０７にフィルタ処理された画像信号を出力するまでの動作及び、ブロック毎に量子化ステップ幅を決定し、符号化器９０７にその情報を出力するまでの動作については、本発明の実施の形態１、２で説明したものと同様であるので省略する。
【０１１８】
図９において、フィルタ回路９０６でブロック毎に適応的にフィルタ処理を施された画像信号は、符号化器９０７でブロック毎に決定された量子化ステップ幅に従って、符号化されるとともに、符号化器９０７は、ブロック平均輝度レベル抽出器９０２で抽出されたブロック毎の平均輝度レベルを符号化し、記録信号処理器９０８に符号化データ列を出力する。
【０１１９】
記録信号処理器９０８は、入力された符号化データ列に対して記録媒体に記録するために誤り訂正符号、アドレスデータの付加、フォーマット化、チャンネルコーディング等の信号処理を施し、記録媒体９０９にディジタルデータの記録を行う。
【０１２０】
再生信号処理器９１０は、記録媒体９０９からディジタルデータの再生を行い、記録信号処理器９０８で行った信号処理と逆の処理を行うことにより、符号化データ列を復号化器９１１に出力する。
【０１２１】
復号化器９１１は、符号化データ列を復号し、復号されたブロック毎の平均輝度レベルを、度数分布検定器９１２、及びフィルタ特性決定器９１４に出力する一方、フィルタ回路９１３に復号画像信号を出力する。
【０１２２】
度数分布検定器９１２は、入力されたブロック毎の平均輝度レベルの所定期間にわたる度数分布から、その平均値及びばらつき値を算出し、フィルタ特性決定器９１４に出力する。
【０１２３】
フィルタ特性決定器９１４は、ブロック毎の平均輝度レベルと、その所定期間にわたる平均値及び、ばらつき値に基づいてフィルタ特性をブロック毎に決定し、この情報をフィルタ回路９１３に出力する。
【０１２４】
フィルタ回路９１３は、復号化器９１１から入力される復号画像信号に対して、ブロック毎にフィルタ特性決定器９１４で決定された情報に基づいて適応的にフィルタ処理を施し、再生画像信号を出力する。
【０１２５】
このような構成により、記録側で行ったブロック毎の画像特徴情報は記録媒体に符号化データ列として記録されるため、再生側で抽出を行うことなく、これらの情報を用いてブロック毎に適応フィルタ処理を行うことができる。
【０１２６】
このように本実施の形態７では、実施の形態１ないし実施の形態６における符号化方法において、前記局所領域毎の画像特徴情報もあわせて符号化し、該符号化データ列を記録し、再生時には、前記符号化データ列を復号化し、前記復号された局所領域毎の画像特徴情報に基づいて、復号画像信号の局所領域毎に適応的なフィルタ処理を施す画像符号化復号化方法としたので、再生時に局所領域毎の画像特徴情報を抽出することなく、復号画像信号に対して適応的なフィルタ処理を施すことができ、符号化ノイズを効果的に抑制したり、信号強調をしたりすることができる。
【０１２７】
なお、本発明の実施の形態１〜７の説明では、１６×１６画素で構成されるブロックに分割して説明したが、この分割ブロックはいくつであってもよく、所定期間についても１フレーム期間を例にとって説明したが、例えば１フィールド期間であってもよい。
【０１２８】
また、フィルタ回路の一例として周波数帯域制限を行うものを例にとって説明したが、時間軸巡回型のノイズ除去フィルタでもよく、ガンマ補正のような画素のレベル方向の圧縮伸長を行うものでも構よい。
【０１２９】
さらには、ノイズ除去フィルタを用いて、人間が注目する領域のノイズを、符号化前に選択的に強く抑えることにより、ノイズによる復号画質の劣化を抑えることができ、画素のレベル方向の圧縮伸長では、例えば、人間の注目する領域の信号階調をあらかじめ小さくし、符号化することによって復号画像に発生する符号化ノイズを小さくすることができる。
【０１３０】
なお、上述した実施の形態では、ブロック毎の各画像特徴情報からその度数分布を検定し、平均値及び、ばらつき値を算出した後に、量子化特性及び、フィルタ特性を決定する場合を例として説明したが、処理を簡略化するために、度数分布を検定せずに分布情報は最も一般的な固定のものを使うようにしてもよい。
【０１３１】
また、度数分布を検定する場合には、所定期間にわたる各画像特徴情報をブロック毎にメモリに記憶しておく必要がある。
また、同一シーン内では、全体的な画像特徴情報に大きな変化はないため、所定期間だけ前の各画像特徴情報の平均値及び、ばらつき値だけをメモリに記憶しておき、これらの情報と符号化するブロック毎の画像特徴情報とを用いて、量子化特性及び、フィルタ特性を決定することにより、メモリ容量の削減を図るようにすることもできる。
【０１３２】
実施の形態８．
図１０は本発明の実施の形態８を適用した画像符号化装置を示し、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１００１、入力画像信号から所定期間にわたって平均輝度レベルを抽出する平均輝度レベル抽出器１００２、入力画像信号から所定期間にわたって平均色レベルを抽出する平均色レベル抽出器１００３、入力画像信号から所定期間にわたって輝度分散値を抽出する輝度分散値抽出器１００４、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１００５、ブロック化された領域に対して平均色レベルを抽出するブロック平均色レベル抽出器１００６、ブロック化された領域に対して輝度分散値を抽出するブロック輝度分散値抽出器１００７、量子化ステップ幅決定器１００８、符号化器１００９から構成される。
【０１３３】
図１０に従ってその動作を詳細に説明する。
入力された画像信号は、ブロック化回路１００１で例えば１６×１６画素から構成される微小ブロックに分割される一方、平均輝度レベル抽出器１００２、平均色レベル抽出器１００３、及び輝度分散値抽出器１００４によって、それぞれ例えば画像信号の１フレーム期間にわたって平均輝度レベル、平均色レベル、及び輝度分散値が抽出される。ブロック化回路１００１によってブロック化された画像信号は、ブロック平均輝度レベル抽出器１００５、ブロック平均色レベル抽出器１００６、ブロック輝度分散値抽出器１００７、及び符号化器１００９に入力される。ブロック平均輝度レベル抽出器１００５、ブロック平均色レベル抽出器１００６、及びブロック輝度分散値抽出器１００７では、分割ブロック毎にそれぞれ平均輝度レベル、平均色レベル、及び輝度分散値を抽出する。
【０１３４】
このようにして抽出された６種類の画像特徴情報は、量子化ステップ幅決定器１００８に入力される。量子化ステップ幅決定器１００８は、６種類の画像特徴情報をもとにブロック毎に量子化ステップ幅を決定し、符号化器１００９にその情報を出力する。符号化器１００９は、量子化ステップ幅決定器１００８により決定された量子化ステップ幅に従って、ブロック化された画像信号を符号化して出力する。
【０１３５】
ここで量子化ステップ幅決定器１００８の具体的な動作について順を追って説明する。
まず、画像信号の１フレーム期間にわたって抽出された平均輝度レベル、平均色レベル、及び輝度分散値をもとに、１フレーム期間の画像信号全体に対して、図２１〜図２３に示されたような特性で量子化特性が決定される。
【０１３６】
図２１〜図２３において横軸はそれぞれの画像特徴情報の大きさを、縦軸は量子化特性の係数を示しており、この係数が大きいほど量子化ステップ幅は小さくなる。すなわち、与えられるビット数が多くなり、符号化レートが高くなることを示す。
【０１３７】
図２１は、平均輝度レベルが黒のレベルの時に係数が１となり、人間の視覚特性から最も劣化を検知しやすいレベルでピークになり、それよりも大きなレベルになるにつれて０．５に漸近していくような特性を示している。
【０１３８】
図２２は、画像特徴情報として画素の色を表現する２つの色差信号のうちの人間の視覚に敏感な赤色系の信号（Ｃｒ）について示したものであり、赤色系信号（Ｃｒ）の平均色レベルが０の時に係数が１となり、レベルが大きくなるにつれて１．５に漸近していくような特性を示している。
【０１３９】
図２３は、輝度信号の分散値が小さな画像に対しては係数が大きく、分散値が大きな画像に対しては係数が小さくなるような特性を示している。１フレーム期間の画像信号全体に対して、このようにして量子化特性が決定される。
【０１４０】
次に、分割された各ブロック毎に抽出された平均輝度レベル、平均色レベル、及び輝度分散値からそれぞれ１フレーム期間にわたって抽出した平均輝度レベル、平均色レベル、及び輝度分散値を減算し、差分信号を算出する。この差分信号をもとに画像信号全体に対して決定した量子化特性を各ブロック毎に補正する。
【０１４１】
図１１〜図１３にそれぞれの画像特徴情報の差分信号と量子化特性の係数の一例を示す。図１１〜図１３に従って、それぞれの画像特徴情報についてどのようにブロック毎に量子化特性を補正するかを説明する。
【０１４２】
平均輝度レベルに関しては、図１１に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの平均輝度レベルが全体の平均輝度レベルより大きくなるに従って、係数が０．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの平均輝度レベルが全体の平均輝度レベルより小さくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎の量子化特性が決定される。
【０１４３】
次に、平均色レベルに関しては、図１２に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの平均色レベルが全体の平均色レベルより大きくなるに従って、係数が１．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの平均色レベルが全体の平均色レベルより小さくなるに従って、係数が０．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎の量子化特性が決定される。
【０１４４】
同様にして、輝度分散値に関しては、図１３に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの輝度分散値が全体の輝度分散値より大きくなるに従って、係数が０．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの輝度分散値が全体の輝度分散値より小さくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎の量子化特性が決定される。
【０１４５】
このように本実施の形態８では、入力画像信号の所定期間毎の画像特徴情報と入力画像信号の局所的な画像特徴情報とに基づいて入力画像信号の局所的な量子化特性を決定し、符号化する画像符号化方法としたものであり、細かな符号化レート制御を行うことができる。
【０１４６】
実施の形態９．
図１４は本発明の実施の形態９を適用した画像符号化装置を示し、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１４０１、入力画像信号から所定期間にわたって平均輝度レベルを抽出する平均輝度レベル抽出器１４０２、入力画像信号から所定期間にわたって平均色レベルを抽出する平均色レベル抽出器１４０３、入力画像信号から所定期間にわたって輝度分散値を抽出する輝度分散値抽出器１４０４、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１４０５、ブロック化された領域に含まれる各画素に対して輝度信号及び２つの色差信号から色空間ベクトルを算出し、これが色空間上の所定の領域に属するかどうかを判定分類し、属する画素の度数を抽出する色空間ベクトル度数抽出器１４０６、ブロック化された領域に対して輝度分散値を抽出するブロック輝度分散値抽出器１４０７、量子化ステップ幅決定器１４０８、及び符号化器１４０９から構成される。色空間ベクトル度数抽出器１４０６以外については図１０と同様である。
【０１４７】
図１４に従ってその動作を詳細に説明する。
入力された画像信号は、ブロック化回路１４０１で例えば１６×１６画素から構成される微小ブロックに分割される一方、平均輝度レベル抽出器１４０２、平均色レベル抽出器１４０３、及び輝度分散値抽出器１４０４によって、それぞれ例えば画像信号の１フレーム期間にわたって平均輝度レベル、平均色レベル、及び輝度分散値が抽出される。ブロック化回路１４０１によってブロック化された画像信号は、ブロック平均輝度レベル抽出器１４０５、色空間ベクトル度数抽出器１４０６、ブロック輝度分散値抽出器１４０７、及び符号化器１４０９に入力される。ブロック平均輝度レベル抽出器１４０５、及びブロック輝度分散値抽出器１４０７では、実施の形態８で説明したのと同様にして、分割ブロック毎にそれぞれ平均輝度レベル、及び輝度分散値を抽出する。色空間ベクトル度数抽出器１４０６では、ブロック化された領域に含まれる各画素に対して輝度信号及び２つの色差信号から色空間ベクトルを算出し、これが色空間上の所定の領域、例えば人間の肌の色に近い成分を表わす領域に属するかどうかを判定し、この領域に属する画素の度数を抽出する。
【０１４８】
図１５は、輝度信号（Ｙ）、２つの色差信号（Ｃｂ，Ｃｒ）空間を表わしたものであり、矢印は、ある画素の色空間ベクトルを示している。また、図１５でハッチングを施した領域は肌色を示す領域であり、この領域に色空間ベクトルが所属する場合に度数を計数する。ブロックに含まれる全画素の色空間ベクトルが肌色領域に属する場合には、この度数は２５６となり、全く属さない場合には０となる。
【０１４９】
このようにして、抽出された６種類の画像特徴情報は、量子化ステップ幅決定器１４０８に入力される。量子化ステップ幅決定器１４０８は、６種類の画像特徴情報をもとにブロック毎に量子化ステップ幅を決定し、符号化器１４０９にその情報を出力する。符号化器１４０９は、量子化ステップ幅決定器１４０８により決定された量子化ステップ幅に従って、ブロック化された画像信号を符号化して出力する。
【０１５０】
量子化ステップ幅決定器１４０８の具体的な動作については、上述した実施の形態８で説明したものとほぼ同様であり、ここでは異なる点についてのみ説明する。分割された各ブロック毎に抽出された色空間ベクトルが肌色領域に属する度数をもとに、画像信号全体に対して決定した量子化特性を各ブロック毎に補正する点が異なる。
【０１５１】
図１６にその抽出された度数と量子化特性の係数の一例を示す。図１６に示すように度数が０の時に係数が１となり、度数が大きくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎の量子化特性が決定される。
【０１５２】
このように実施の形態９では、実施の形態８において、局所的な画像特徴情報として、ブロック平均色レベルの代わりに色空間ベクトル度数を用いたことにより、符号化レートに対する影響を小さくしながら、各情報に対する人間の視覚特性を利用して符号化ノイズの目立つ部分を局所的に抑えることができるという効果を有する。
【０１５３】
実施の形態１０．
図１７は本発明の実施の形態１０を適用した画像符号化装置のブロック図を示し、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１７０１、入力画像信号から所定期間にわたって平均輝度レベルを抽出する平均輝度レベル抽出器１７０２、入力画像信号から所定期間にわたって平均色レベルを抽出する平均色レベル抽出器１７０３、入力画像信号から所定期間にわたって輝度分散値を抽出する輝度分散値抽出器１７０４、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１７０５、ブロック化された領域に対して平均色レベルを抽出するブロック平均色レベル抽出器１７０６、ブロック化された領域に対して輝度分散値を抽出するブロック輝度分散値抽出器１７０７、フィルタ特性決定器１７０８、フィルタ回路１７０９、及び符号化器１７１０から構成される。
【０１５４】
図１７に従ってその動作を詳細に説明するが、６種類の画像特徴情報を抽出するまでの動作については、本発明の実施の形態８で説明したものと同様であるので省略する。
【０１５５】
抽出された６種類の画像特徴情報は、フィルタ特性決定器１７０８に入力される。フィルタ特性決定器１７０８は、６種類の画像特徴情報をもとにブロック毎にフィルタ特性を決定し、フィルタ回路１７０９にその情報を出力する。フィルタ回路１７０９は、フィルタ特性決定器１７０８により決定されたフィルタ特性に従って、ブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器１７１０にフィルタ処理された画像信号を出力する。符号化器１７１０は、フィルタ処理の施された画像信号を符号化して出力する。
【０１５６】
ここでフィルタ特性決定器１７０８の具体的な動作について順を追って説明する。説明を簡単にするために、本発明の実施の形態８で量子化特性の図として説明した図１１〜図１３、及び、図２１〜図２３までをフィルタ特性の図として用いることにする。
【０１５７】
また、フィルタの一例として、一般的に知られているような時間軸巡回型のノイズ除去フィルタとして説明する。図１８にこのフィルタのブロック構成図を示す。
【０１５８】
図１８は、減算器１８０１及び１８０３、乗算器１８０２、及びフィールドメモリ１８０４から構成されている。入力された画像信号は、１フィールド前のフィルタ処理された結果との差分を減算器１８０１で算出される。この算出結果と外部から入力されるフィルタ特性に従って乗算器１８０２で計算された値が入力画像信号から減算器１８０３で減算され出力される一方、フィールドメモリ１８０４で１フィールド期間記憶されて、次のフィールドの処理に使用される。
【０１５９】
まず、画像信号の１フレーム期間にわたって抽出された平均輝度レベル、平均色レベル、及び輝度分散値をもとに１フレーム期間の画像信号全体に対して、図２１〜図２３に示されたような特性でフィルタ特性が決定される。
【０１６０】
図２１〜図２３において横軸はそれぞれの画像特徴情報の大きさを、縦軸はフィルタ特性の係数を示しており、この係数が大きいほど強いフィルタが施される。すなわち、図１８の乗算器１８０２の係数が大きくなり、ノイズ除去量が多くなることを示す。
【０１６１】
図２１は、平均輝度レベルが黒のレベルの時に係数が１となり、人間の視覚特性から最も劣化を検知しやすいレベルでピークになり、それよりも大きなレベルになるにつれて０．５に漸近していくような特性を示している。
【０１６２】
図２２は、画像特徴情報として画素の色を表現する２つの色差信号のうちの人間の視覚に敏感な赤色系の信号について示したものであり、赤色系信号の平均色レベルが０の時に係数が１となり、レベルが大きくなるにつれて１．５に漸近していくような特性を示している。
【０１６３】
図２３は、輝度信号の分散値が小さな画像に対しては係数が大きく、分散値が大きな画像に対しては係数が小さくなるような特性を示している。１フレーム期間の画像信号全体に対して、このようにしてフィルタ特性が決定される。次に、分割された各ブロック毎に抽出された平均輝度レベル、平均色レベル、及び輝度分散値からそれぞれ１フレーム期間にわたって抽出した平均輝度レベル、平均色レベル、及び輝度分散値を減算し、差分信号を算出する。この差分信号をもとに画像信号全体に対して決定したフィルタ特性を各ブロック毎に補正する。
【０１６４】
図１１〜図１３にそれぞれの画像特徴情報の差分信号とフィルタ特性の係数の一例を示す。図１１〜図１３に従って、それぞれの画像特徴情報についてどのようにブロック毎にフィルタ特性を補正するかを説明する。
【０１６５】
平均輝度レベルに関しては、図１１に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの平均輝度レベルが全体の平均輝度レベルより大きくなるに従って、係数が０．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの平均輝度レベルが全体の平均輝度レベルより小さくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎のフィルタ特性が決定される。
【０１６６】
次に、平均色レベルに関しては、図１２に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの平均色レベルが全体の平均色レベルより大きくなるに従って、係数が１．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの平均色レベルが全体の平均色レベルより小さくなるに従って、係数が０．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎のフィルタ特性が決定される。
【０１６７】
同様にして、輝度分散値に関しては、図１３に示すように差分値が０の時に係数が１となり、正方向に大きくなる、すなわち、ブロックの輝度分散値が全体の輝度分散値より大きくなるに従って、係数が０．５に漸近し、逆に負方向に大きくなる、すなわち、ブロックの輝度分散値が全体の輝度分散値より小さくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎のフィルタ特性が決定される。
これらのフィルタ特性が、図１８の乗算器１８０２に入力されることになる。但し、乗算される係数の最大値は１となるように正規化される。
【０１６８】
このように実施の形態１０では、入力画像信号の所定期間毎の画像特徴情報と入力画像信号の局所的な画像特徴情報とに基づいて入力画像信号の局所的なフィルタ特性を決定し、適応的なフィルタ処理を施し、符号化するようにしたので、適応的なフィルタ処理によって符号化する前に局所的にノイズ成分を抑える、あるいは周波数帯域の制御を行うことにより、符号化ノイズの発生及び、符号化レートの上昇を抑えることができる。
【０１６９】
実施の形態１１．
図１９は本発明の実施の形態１１を適用した画像符号化装置を示し、入力画像信号を複数画素から構成される２次元ブロックに分割するブロック化回路１９０１、入力画像信号から所定期間にわたって平均輝度レベルを抽出する平均輝度レベル抽出器１９０２、入力画像信号から所定期間にわたって平均色レベルを抽出する平均色レベル抽出器１９０３、入力画像信号から所定期間にわたって輝度分散値を抽出する輝度分散値抽出器１９０４、ブロック化された領域に対して平均輝度レベルを抽出するブロック平均輝度レベル抽出器１９０５、ブロック化された領域に含まれる各画素に対して輝度信号及び２つの色差信号から色空間ベクトルを算出し、これが色空間上の所定の領域に属するかどうかを判定分類し、属する画素の度数を抽出する色空間ベクトル度数抽出器１９０６、ブロック化された領域に対して輝度分散値を抽出するブロック輝度分散値抽出器１９０７、フィルタ特性決定器１９０８、フィルタ回路１９０９、及び符号化器１９１０から構成される。色空間ベクトル度数抽出器１９０６以外については図１７で説明したものと同様である。
【０１７０】
図１９に従ってその動作を詳細に説明するが、６種類の画像特徴情報を抽出するまでの動作については、本発明の実施の形態９で説明したものと同様であるので省略する。
【０１７１】
抽出された６種類の画像特徴情報は、フィルタ特性決定器１９０８に入力される。フィルタ特性決定器１９０８は、６種類の画像特徴情報をもとにブロック毎にフィルタ特性を決定し、フィルタ回路１９０９にその情報を出力する。フィルタ回路１９０９は、フィルタ特性決定器１９０８により決定されたフィルタ特性に従って、ブロック毎にフィルタ特性を適応的に変化させてフィルタを施し、符号化器１９１０にフィルタ処理された画像信号を出力する。符号化器１９１０は、フィルタ処理の施された画像信号を符号化して出力する。
【０１７２】
フィルタ特性決定器１９０８の具体的な動作については、実施の形態１０で説明したのとほぼ同様であり、ここでは異なる点についてのみ説明する。
抽出された色空間ベクトルが肌色領域に属する度数をもとに画像信号全体に対して決定したフィルタ特性を各ブロック毎に補正する点が異なる。説明を簡単にするために、本発明の実施の形態２で量子化特性の図として説明した図１６をフィルタ特性の図として用いることにする。
【０１７３】
図１６にその抽出された度数とフィルタ特性の係数の一例を示す。図１６に示すように度数が０の時に係数が１となり、度数が大きくなるに従って、係数が１．５に漸近するような特性となっている。この係数と１フレーム期間の画像信号全体について決定した係数との掛け算によりブロック毎のフィルタ特性が決定される。
【０１７４】
なお、本発明の実施の形態８〜１１の説明では、１６×１６画素で構成されるブロックに分割して説明したが、この分割ブロックはいくつであってもよく、所定期間についても１フレーム期間を例にとって説明したが、１フィールド期間であってもよい。
【０１７５】
また、色空間上の代表値ベクトル情報として、画素のもつ２つの色差信号のそれぞれの平均値情報及び、画素のもつ輝度信号及び２つの色差信号によって表現される色空間ベクトルが所定範囲、特に肌色領域に属する度数情報を用いて説明したが、度数情報を平均値情報で補正した、例えばブロック内の肌色の程度に応じて補正したものを用いてもよい。このようにすることにより、更に人間の視覚特性に適合した細かな制御を行うことができる。
【０１７６】
また、本発明の実施の形態１０及び１１では、フィルタ回路の一例として時間軸巡回型のノイズ除去フィルタを例にとって説明したが、周波数帯域を制限するような水平フィルタや空間フィルタでもよく、ガンマ補正のような画素のレベル方向の圧縮伸長を行うものでもよい。
【０１７７】
フィルタにより入力画像信号のもつ周波数帯域を制限する場合には、図１１〜図１３及び、図１６に示した画像特徴情報に対するフィルタ特性を変える必要がある。これについて簡単に説明する。所定期間にわたって抽出された各画像特徴情報と局所領域の各画像特徴情報との差分を算出し、差分の絶対値が大きくなるに従ってフィルタ特性を弱くする、すなわち、１フレーム期間全体にわたる平均的な画像特徴情報に対して局所領域の画像特徴情報が大きく異なる領域には、周波数帯域の制限を行わないようにする、あるいは、肌色領域として検出された領域には、周波数帯域の制限を行わないようにする。これにより、１フレーム期間の画像の中の特異領域以外の周波数帯域を制限し、全体的な符号化レートの発生を低減しつつ、人間の目につきやすい部分は帯域を保存することができる。
【０１７８】
また、フィルタ特性を弱くする判断を行う際に、所定期間にわたって抽出された各画像特徴情報と局所領域の各画像特徴情報との差分の絶対値、または、肌色領域情報と所定期間にわたる輝度信号の分散値とを用いて、分散値の比較的小さい画像に対してのみこの判断を行えば、例えば、全体的に暗い画像の一部の明るい部分であるとか、全体的に明るい画像の一部の暗い部分であるとか、全体的に平坦な画像の一部の細かな部分であるとかといった入力画像信号の特異領域のみに適用することができる。
【０１７９】
また、符号化する前にレベル方向の圧縮伸長をする場合には、例えば、人間の目に対して敏感な部分の信号の階調をあらかじめ小さくし、符号化することによって発生する符号化ノイズを小さくすることができる。
【０１８０】
このように実施の形態１１では、実施の形態９の画像符号化方法において、局所的な画像特徴情報として、ブロック平均色レベルの代わりに色空間ベクトル度数を用いたことにより、符号化レートに対する影響を小さくしながら、各情報に対する人間の視覚特性を利用して符号化ノイズの目立つ部分を局所的に抑えることができる。
【０１８１】
産業上の利用可能性
以上のように、本発明に係る画像符号化方法、画像符号化復号化方法、画像符号化装置、または画像記録再生装置は、画像全体の統計的情報を利用して局所領域毎の細かな発生符号量の制御、及び符号化ノイズの発生制御を行うことができ、処理の高速化及び簡略化、符号化ノイズの発生を抑える画像符号化処理として極めて有用である。
【図面の簡単な説明】
【図１】 本発明の実施の形態１による画像符号化装置を示すブロック図である。
【図２】 ブロック毎に抽出された平均輝度レベルの度数分布を示す特性図である。
【図３】 ブロック毎に抽出された平均輝度レベルとその度数分布の平均値との差分値に対する量子化特性及びフィルタ特性を示す特性図である。
【図４】 本発明の実施の形態２による画像符号化装置を示すブロック図である。
【図５】 本発明の実施の形態３による画像符号化装置を示すブロック図である。
【図６】 本発明の実施の形態４による画像符号化装置を示すブロック図である。
【図７】 本発明の実施の形態５による画像符号化装置を示すブロック図である。
【図８】 本発明の実施の形態６による画像符号化装置を示すブロック図である。
【図９】 本発明の実施の形態７による画像記録再生装置を示すブロック図である。
【図１０】 本発明の実施の形態８による画像符号化装置を示すブロック図である。
【図１１】 本発明の実施の形態８による平均輝度レベルの差分に対する量子化特性、及びフィルタ特性を示す特性図である。
【図１２】 本発明の実施の形態８による平均色レベルの差分に対する量子化特性、及びフィルタ特性を示す特性図である。
【図１３】 本発明の実施の形態８による輝度分散値の差分に対する量子化特性、及びフィルタ特性を示す特性図である。
【図１４】 本発明の実施の形態９による画像符号化装置を示すブロック図である。
【図１５】 本発明の実施の形態９による色空間領域における画素の色空間ベクトルと肌色領域を示す特性図である。
【図１６】 本発明の実施の形態９による肌色領域に属する度数に対する量子化特性、及びフィルタ特性を示す特性図である。
【図１７】 本発明の実施の形態１０による画像符号化装置を示すブロック図である。
【図１８】 本発明の実施の形態１０によるフィルタ回路の一例を示すブロック図である。
【図１９】 本発明の実施の形態１１による画像符号化装置を示すブロック図である。
【図２０】 従来の画像符号化装置を示すブロック図である。
【図２１】 平均輝度レベルに対する量子化特性及びフィルタ特性を示す特性図である。
【図２２】 平均色レベルに対する量子化特性及びフィルタ特性を示す特性図である。
【図２３】 輝度分散値に対する量子化特性及びフィルタ特性を示す特性図である。
Claims (26)
- 動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、
前記入力画像信号を、前記局所領域毎に分割するステップと、
該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、
当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより算出したフレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する局所領域の特異性の強さとして抽出するステップと、
各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、
前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含む、
ことを特徴とする画像符号化方法。 - 動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、
前記入力画像信号を、前記局所領域毎に分割するステップと、
該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、
前記各局所領域の画像特徴情報の、複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出するステップと、
各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、
前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含む、
ことを特徴とする画像符号化方法。 - 動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化方法において、
前記入力画像信号を、前記局所領域毎に分割するステップと、
該各局所領域毎に、隣接画素の輝度信号差分絶対値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度信号値、平均色差信号値、輝度信号分散値、色差信号分散値、動き量を代表する値、及び色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出するステップと、
１フレーム期間に対しては、当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより算出したフレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する局所領域の特異性の強さとして抽出し、複数フレーム期間にわたっては、前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出するステップと、
各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定するステップと、
前記入力画像信号を各局所領域毎に、該決定された量子化特性に基づいて符号化するステップとを含む、
ことを特徴とする画像符号化方法。 - 請求項１ないし３のいずれかに記載の画像符号化方法において、
前記各局所領域に対するフィルタ特性を、各局所領域の特異性が強いほど、各局所領域に対する低域周波数通過フィルタのカットオフ周波数を高くするよう決定するステップと、
決定されたフィルタ特性に基づいて、前記各局所領域の画像信号に対するフィルタ処理を行うステップとを含み、
前記フィルタ処理を施した前記各局所領域の画像信号を、前記決定された量子化特性に基づいて符号化する、
ことを特徴とする画像符号化方法。 - 請求項１ないし３のいずれかに記載の画像符号化方法において、
前記局所領域毎に決定された量子化特性は、符号化の対象となる対象局所領域の量子化特性と、該対象局所領域及びこれに隣接する複数の局所領域の量子化特性を平均化して得られる量子化特性とのうちの、量子化ステップ幅の小さい方の特性である、
ことを特徴とする画像符号化方法。 - 請求項４に記載の画像符号化方法において、
前記局所領域毎に決定されたフィルタ特性は、符号化の対象となる対象局所領域のフィルタ特性と、該対象局所領域及びこれに隣接する複数の局所領域のフィルタ特性を平均化して得られるフィルタ特性とのうちの、低域周波数通過フィルタのカットオフ周波数の高い方の特性である、
ことを特徴とする画像符号化方法。 - 請求項１ないし６のいずれかに記載の画像符号化方法において、
前記色空間上の代表値ベクトル情報は、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報である、
ことを特徴とする画像符号化方法。 - 請求項１ないし６のいずれかに記載の画像符号化方法において、
前記色空間上の代表値ベクトル情報は、前記局所領域を構成する画素のもつ２つの色差信号のそれぞれの平均値情報と、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報である、
ことを特徴とする画像符号化方法。 - 請求項７に記載の画像符号化方法において、
前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域である、
ことを特徴とする画像符号化方法。 - 請求項８に記載の画像符号化方法において、
前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域である、
ことを特徴とする画像符号化方法。 - 請求項４または６に記載の画像符号化方法において、
前記フィルタ特性は、前記各局所領域の特異性の強さに応じて前記低域周波数通過フィルタのカットオフ周波数を変化させ、かつ、外部から与えられる、動画像の動きに応じたフィルタ強度を示す制御信号によって、前記低域周波数通過フィルタにオフセットをかけて制御する、
ことを特徴とする画像符号化方法。 - 請求項１１に記載の画像符号化方法において、
外部から与えられる前記制御信号は、入力画像信号のＮ（Ｎは自然数）フレーム期間にわたるフレームまたは、フィールド画素差分の絶対値の累積値、またはＭ（Ｍは自然数）フレーム期間にわたる符号化情報発生量の累積値、または各フレーム毎の符号化情報発生量の比率の少なくともひとつに応じたフィルタ強度を示す、
ことを特徴とする画像符号化方法。 - 請求項１ないし３のいずかに記載の画像符号化方法における符号化において、前記局所領域毎の画像特徴情報と前記入力画像信号とを符号化して得られた符号化データ列を記録し、
再生時には、前記符号化データ列を復号化し、符号化する前に抽出した局所領域毎の画像特徴情報から、特異性が高いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を高くし、特異性が低いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を低くして人間の視覚特性に適応した処理を行う、
ことを特徴とする画像符号化復号化方法。 - 動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、
前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、
前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、
当該フレームに係る前記各局所領域の画像特徴情報を平均化することにより、フレーム全体の平均的な画像特徴情報を抽出する第２の特徴抽出手段と、
前記第１の特徴抽出手段により抽出された各局所領域の画像特徴情報と、前記第２の特徴抽出手段によって抽出された、フレーム全体の平均的な画像特徴情報との差分値の大きさを、前記フレーム全体に対する各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、
前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有する、
ことを特徴とする画像符号化装置。 - 動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、
前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、
前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、
前記各局所領域の画像特徴情報の、複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の画像特徴情報を抽出する第２の特徴抽出手段と、
複数フレーム期間にわたる、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、
前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有する、
ことを特徴とする画像符号化装置。 - 動画像の各フレームの入力画像信号を複数画素から構成される局所領域毎に符号化する画像符号化装置において、
前記入力画像信号を、複数画素から構成される局所領域に分割する局所領域分割手段と、
前記局所領域分割手段によって分割された各局所領域毎に、隣接画素の輝度信号絶対差分値の平均値、隣接画素の色差信号絶対差分値の平均値、平均輝度値、平均色差値、輝度信号分散値、色差信号分散値、動き量を代表する値、色空間上の代表値ベクトル情報の少なくともひとつを、画像特徴情報として抽出する第１の特徴抽出手段と、
１フレーム期間に対しては、当該フレームに係る前記各局所領域の画像特徴情報を平均 化することにより、フレーム全体の平均的な画像特徴情報を抽出し、複数フレーム期間にわたっては、前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の画像特徴情報を抽出する第２の特徴抽出手段と、
１フレーム期間に対しては、前記フレーム全体の平均的な画像特徴情報と、前記各局所領域の画像特徴情報との差分の大きさを、フレーム全体に対する各局所領域の特異性の強さとして抽出し、複数フレーム期間にわたっては前記各局所領域の画像特徴情報の、該複数フレーム期間における度数分布に基づいて、同一空間座標に位置する局所領域の特異性の変化量を、前記各局所領域の特異性の強さとして抽出し、各局所領域に対する量子化特性を、該抽出された各局所領域の特異性の強さが大きいほど量子化ステップ幅が小さくなるよう決定する量子化特性決定手段と、
前記量子化特性決定手段によって決定された量子化特性に基づいて、前記局所領域分割手段によって分割された入力画像信号を符号化する符号化手段とを有する、
ことを特徴とする画像符号化装置。 - 請求項１４ないし１６のいずれかに記載の画像符号化装置において、
前記各局所領域に対するフィルタ特性を、各局所領域の特異性が強いほど、各局所領域に対する低域周波数通過フィルタのカットオフ周波数を高くするよう決定するフィルタ特性決定手段と、
前記フィルタ特性決定手段によって決定されたフィルタ特性に基づいて、各局所領域の入力画像信号に対して適応的なフィルタ処理を施すフィルタ処理手段とを有し、
前記符号化手段は、該フィルタ処理手段によりフィルタ処理を施された入力画像信号を、量子化ステップ特性決定手段によって決定された量子化特性に基づいて符号化する、
ことを特徴とする画像符号化装置。 - 請求項１４ないし１６のいずれかに記載の画像符号化装置において、
前記量子化特性決定手段によって局所領域毎に決定された量子化特性は、符号化の対象となる対象局所領域の量子化特性と、該対象局所領域及びこれに隣接する複数の局所領域の量子化特性を平均化して得られる量子化特性のうちの、量子化ステップ幅の小さい方の特性である、
ことを特徴とする画像符号化装置。 - 請求項１７に記載の画像符号化装置において、
前記フィルタ特性決定手段によって局所領域毎に決定されたフィルタ特性は、符号化の対象となる対象局所領域のフィルタ特性と、該対象局所領域及びこれに隣接する複数の局所領域のフィルタ特性を平均化して得られるフィルタ特性のうちの、低域周波数通過フィルタのカットオフ周波数の高い方の特性である、
ことを特徴とする画像符号化装置。 - 請求項１４ないし１９のいずれかに記載の画像符号化装置において、
前記色空間上の代表値ベクトル情報は、前記色空間上の代表値ベクトル情報は、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報である、
ことを特徴とする画像符号化装置。 - 請求項１４ないし１９のいずれかに記載の画像符号化装置において、
前記色空間上の代表値ベクトル情報は、前記局所領域を構成する画素のもつ２つの色差信号のそれぞれの平均値情報と、前記局所領域を構成する輝度信号及び２つの色差信号によって表現されるそれぞれの画素が、前記色空間に対してあらかじめ設定された人間の視覚感度の高い領域内に属する画素の個数の情報である、
ことを特徴とする画像符号化装置。 - 請求項２０に記載の画像符号化装置において、
前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域である、
ことを特徴とする画像符号化装置。 - 請求項２１に記載の画像符号化装置において、
前記色空間上で人間の視覚感度の高い領域は、肌色を表現する領域である、
ことを特徴とする画像符号化装置。 - 請求項１７または１９に記載の画像符号化装置において、
前記フィルタ特性決定手段は、前記各局所領域の特異性の強さに応じて前記低域周波数通過フィルタのカットオフ周波数を変化させ、外部から与えられる、動画像の動きに応じたフィルタ強度を示す制御信号によって前記低域周波数通過フィルタにオフセットをかけて制御する、
ことを特徴とする画像符号化装置。 - 請求項２４に記載の画像符号化装置において、
外部から与えられる前記制御信号は、入力画像信号のＮ（Ｎは自然数）フレーム期間にわたるフレームまたは、フィールド画素差分の絶対値の累積値、またはＭ（Ｍは自然数）フレーム期間にわたる符号化情報発生量の累積値、または各フレーム毎の符号化情報発生量の比率の少なくともひとつに応じたフィルタ強度を示す、
ことを特徴とする画像符号化装置。 - 請求項１４ないし１６のいずれかに記載の画像符号化装置における符号化手段において、前記局所領域毎に分割された入力画像信号を量子化し、符号化するとともに、前記第１または第２の特徴抽出手段によって抽出された情報のうち少なくともひとつを符号化して得られた符号化データ列を記録する記録手段と、
前記記録手段によって記録された符号化データ列を再生する再生手段と、
前記再生手段によって再生された符号化データ列から、前記第１または第２の特徴抽出手段によって抽出された情報と、量子化し、符号化された画像信号とを分離して復号化し、復号特徴情報と復号画像信号を得る復号化手段と、
符号化する前に抽出した局所領域毎の画像特徴情報から、特異性が高いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を高くし、特異性が低いと判断される局所領域に対しては、低域周波数通過フィルタのカットオフ周波数を低くして人間の視覚特性に適応した処理を行うフィルタ手段とを有する、
ことを特徴とする画像記録再生装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5321798 | 1998-03-05 | ||
| JP15245498 | 1998-06-02 | ||
| PCT/JP1999/001093 WO1999045713A1 (en) | 1998-03-05 | 1999-03-05 | Image coding method, image coding / decoding method, image coder, or image recording/reproducing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP3943333B2 true JP3943333B2 (ja) | 2007-07-11 |
Family
ID=26393933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000535152A Expired - Lifetime JP3943333B2 (ja) | 1998-03-05 | 1999-03-05 | 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US6792152B1 (ja) |
| EP (2) | EP1065881B1 (ja) |
| JP (1) | JP3943333B2 (ja) |
| CN (1) | CN100366089C (ja) |
| DE (2) | DE69940703D1 (ja) |
| WO (1) | WO1999045713A1 (ja) |
Families Citing this family (42)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6757438B2 (en) * | 2000-02-28 | 2004-06-29 | Next Software, Inc. | Method and apparatus for video compression using microwavelets |
| JP2002354476A (ja) * | 2001-05-24 | 2002-12-06 | Pioneer Electronic Corp | 量子化単位設定装置及び量子化単位設定方法、符号化装置及び符号化方法並びに情報記録媒体及び量子化単位設定用プログラム |
| US7003170B1 (en) | 2002-09-20 | 2006-02-21 | Pegasus Imaging Corporation | Methods and apparatus for improving quality of block-transform coded images |
| JP2005026747A (ja) * | 2003-06-30 | 2005-01-27 | Matsushita Electric Ind Co Ltd | フィルタ処理装置、画像符号化装置及び方法 |
| US7616829B1 (en) * | 2003-10-29 | 2009-11-10 | Apple Inc. | Reducing undesirable block based image processing artifacts by DC image filtering |
| JP4189358B2 (ja) * | 2004-06-17 | 2008-12-03 | 株式会社東芝 | 画像符号化装置及び方法 |
| JP4150730B2 (ja) * | 2005-02-14 | 2008-09-17 | 株式会社東芝 | 画像符号化装置、および画像符号化方法 |
| JP2006279850A (ja) * | 2005-03-30 | 2006-10-12 | Sanyo Electric Co Ltd | 画像処理装置 |
| JP4820191B2 (ja) * | 2006-03-15 | 2011-11-24 | 富士通株式会社 | 動画像符号化装置及びプログラム |
| JP2007295370A (ja) * | 2006-04-26 | 2007-11-08 | Sony Corp | 符号化装置および方法、並びにプログラム |
| JP4890974B2 (ja) | 2006-06-29 | 2012-03-07 | キヤノン株式会社 | 画像処理装置、及び画像処理方法 |
| JP4926568B2 (ja) | 2006-06-29 | 2012-05-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| JP4890973B2 (ja) * | 2006-06-29 | 2012-03-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム及び記憶媒体 |
| KR101064209B1 (ko) | 2006-12-28 | 2011-09-16 | 니폰덴신뎅와 가부시키가이샤 | 영상 처리 방법 및 장치, 영상 처리 프로그램 및 프로그램을 기록한 기억 매체 |
| US7970226B2 (en) * | 2007-04-23 | 2011-06-28 | Microsoft Corporation | Local image descriptors |
| US8126275B2 (en) * | 2007-04-24 | 2012-02-28 | Microsoft Corporation | Interest point detection |
| JP2008294714A (ja) * | 2007-05-24 | 2008-12-04 | Panasonic Corp | 映像信号処理装置 |
| CN101855911B (zh) | 2007-09-28 | 2013-06-19 | 杜比实验室特许公司 | 处理视频信息 |
| JP5055078B2 (ja) * | 2007-10-01 | 2012-10-24 | キヤノン株式会社 | 画像処理装置及びその方法 |
| JP4992117B2 (ja) * | 2008-03-24 | 2012-08-08 | 株式会社メガチップス | 画像処理装置 |
| CN101309259B (zh) * | 2008-06-24 | 2012-07-11 | 广东威创视讯科技股份有限公司 | 一种分布式图像显示方法 |
| US10123050B2 (en) * | 2008-07-11 | 2018-11-06 | Qualcomm Incorporated | Filtering video data using a plurality of filters |
| EP2383697A4 (en) * | 2009-01-23 | 2012-09-05 | Nec Corp | APPARATUS FOR EXTRACTING IDENTIFIERS FROM IMAGES |
| JP4725690B2 (ja) * | 2009-01-23 | 2011-07-13 | 日本電気株式会社 | 映像識別子抽出装置 |
| US9042656B2 (en) * | 2009-01-23 | 2015-05-26 | Nec Corporation | Image signature extraction device |
| EP2360639B1 (en) * | 2009-03-13 | 2016-11-16 | Nec Corporation | Image identifier matching device |
| JP5562408B2 (ja) | 2009-04-20 | 2014-07-30 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 指揮された補間およびデータの後処理 |
| JP5604825B2 (ja) * | 2009-08-19 | 2014-10-15 | ソニー株式会社 | 画像処理装置および方法 |
| JP5806219B2 (ja) | 2009-10-05 | 2015-11-10 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ビデオ符号化及び復号化における埋め込み量子化パラメータ調整方法及び装置 |
| CA2784291A1 (en) * | 2009-12-18 | 2011-06-23 | Sharp Kabushiki Kaisha | Image filter, encoding device, decoding device, and data structure |
| CN105812827B (zh) | 2010-07-21 | 2019-04-16 | 杜比实验室特许公司 | 用于多层帧兼容视频传输的解码方法 |
| FR2972588A1 (fr) | 2011-03-07 | 2012-09-14 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
| FR2977111A1 (fr) * | 2011-06-24 | 2012-12-28 | France Telecom | Procede de codage et decodage d'images, dispositif de codage et decodage et programmes d'ordinateur correspondants |
| KR101812860B1 (ko) * | 2012-11-07 | 2017-12-27 | 브이아이디 스케일, 인크. | Ｈｄｒ 비디오를 디노이징하기 위한 시간적 필터 |
| CN103051901B (zh) * | 2013-01-14 | 2015-10-28 | 北京华兴宏视技术发展有限公司 | 视频数据编码装置和视频数据编码方法 |
| CN110177276B (zh) | 2014-02-26 | 2021-08-24 | 杜比实验室特许公司 | 处理视频图像的空间区域的方法、存储介质及计算装置 |
| CN107079095B (zh) * | 2014-09-30 | 2020-02-04 | 富士胶片株式会社 | 图像处理装置、图像处理方法、及记录介质 |
| US9445131B1 (en) * | 2015-01-23 | 2016-09-13 | Faroudja Enterprises, Inc. | De-blocking and de-banding filter with adjustable filter strength for video and image processing |
| GB2541179B (en) * | 2015-07-31 | 2019-10-30 | Imagination Tech Ltd | Denoising filter |
| CN110969183B (zh) * | 2019-09-20 | 2023-11-21 | 北京方位捷讯科技有限公司 | 一种根据图像数据确定目标对象受损程度的方法及系统 |
| EP4134913A4 (en) * | 2020-04-23 | 2023-03-29 | Huawei Technologies Co., Ltd. | IMAGE CODING AND DECODING METHOD AND APPARATUS |
| CN117934158A (zh) * | 2024-03-13 | 2024-04-26 | 湖南三湘银行股份有限公司 | 一种基于rpa的信贷资料自动审查方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03270388A (ja) * | 1990-03-19 | 1991-12-02 | Victor Co Of Japan Ltd | データ圧縮装置 |
| JPH05227525A (ja) * | 1991-10-31 | 1993-09-03 | Toshiba Corp | 画像符号化装置 |
| JPH05276391A (ja) * | 1992-03-24 | 1993-10-22 | Casio Comput Co Ltd | 画像圧縮装置及び画像圧縮方法 |
| JPH0654199A (ja) * | 1992-07-31 | 1994-02-25 | Matsushita Electric Ind Co Ltd | ディジタル画像データの高能率符号化装置 |
| JPH0670299A (ja) * | 1992-08-15 | 1994-03-11 | G C Technol Kk | 画像符号化における前処理方法と装置 |
| JPH08102968A (ja) * | 1994-09-29 | 1996-04-16 | Sony Corp | 画像信号符号化方法及び画像信号符号化装置 |
| JPH0918872A (ja) * | 1995-04-28 | 1997-01-17 | Sony Corp | 画像符号化方法、画像符号化装置及び画像記録媒体 |
| JPH0970044A (ja) * | 1995-08-31 | 1997-03-11 | Sony Corp | 画像信号処理装置および方法 |
| JPH09200760A (ja) * | 1995-11-01 | 1997-07-31 | Samsung Electron Co Ltd | 映像符号化装置における量子化間隔決定方法及び回路 |
| JPH09261073A (ja) * | 1995-12-29 | 1997-10-03 | Thomson Broadcast | デジタルデータ圧縮方法及び装置 |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5181105A (en) * | 1986-05-30 | 1993-01-19 | Canon Kabushiki Kaisha | Color image correction based on characteristics of a highlights or other predetermined image portion |
| JPH0821866B2 (ja) | 1986-10-29 | 1996-03-04 | ソニー株式会社 | 情報量制御回路 |
| DE3883358T2 (de) * | 1987-06-22 | 1994-03-10 | Eastman Kodak Co | Blockadaptive prädiktionskodierung mit adaptiver verstärkung und vorspannung. |
| DE69119936T2 (de) * | 1990-02-28 | 1996-11-14 | Victor Company Of Japan | Einrichtung zur Datenkompression |
| US5542008A (en) | 1990-02-28 | 1996-07-30 | Victor Company Of Japan, Ltd. | Method of and apparatus for compressing image representing signals |
| US5398078A (en) | 1991-10-31 | 1995-03-14 | Kabushiki Kaisha Toshiba | Method of detecting a motion vector in an image coding apparatus |
| US5440344A (en) * | 1992-04-28 | 1995-08-08 | Mitsubishi Denki Kabushiki Kaisha | Video encoder using adjacent pixel difference for quantizer control |
| JPH0618872A (ja) * | 1992-07-06 | 1994-01-28 | Mitsubishi Electric Corp | マトリックス型表示装置 |
| JP3165296B2 (ja) | 1992-12-25 | 2001-05-14 | 三菱電機株式会社 | フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式 |
| JP2894137B2 (ja) | 1993-01-26 | 1999-05-24 | ケイディディ株式会社 | 動画像符号化におけるプリフィルタ制御方法および装置 |
| JP3135015B2 (ja) | 1993-08-05 | 2001-02-13 | シャープ株式会社 | 画像符号化装置 |
| KR0134325B1 (ko) * | 1993-12-16 | 1998-04-23 | 배순훈 | 영상 데이타 전처리 필터 |
| JP2673778B2 (ja) * | 1994-02-22 | 1997-11-05 | 国際電信電話株式会社 | 動画像の復号化における雑音低減装置 |
| CA2164627A1 (en) * | 1994-04-22 | 1995-11-02 | Touradj Ebrahimi | Method and device for encoding image signal and image signal decoding device |
| JPH0884342A (ja) | 1994-09-14 | 1996-03-26 | Mitsubishi Electric Corp | 映像信号復号化装置 |
| US5768438A (en) * | 1994-10-19 | 1998-06-16 | Matsushita Electric Industrial Co., Ltd. | Image encoding/decoding device |
| US5594807A (en) * | 1994-12-22 | 1997-01-14 | Siemens Medical Systems, Inc. | System and method for adaptive filtering of images based on similarity between histograms |
| US5706009A (en) | 1994-12-29 | 1998-01-06 | Sony Corporation | Quantizing apparatus and quantizing method |
| CA2173092C (en) * | 1995-03-31 | 2000-04-18 | Teruyoshi Washizawa | Image processing apparatus and method |
| EP0772365A3 (en) * | 1995-11-02 | 1999-05-12 | Matsushita Electric Industrial Co., Ltd. | Method and device for filtering a picture signal, and encoding/decoding using the same |
| US5963670A (en) * | 1996-02-12 | 1999-10-05 | Massachusetts Institute Of Technology | Method and apparatus for classifying and identifying images |
| JP3509448B2 (ja) * | 1996-04-12 | 2004-03-22 | ソニー株式会社 | ビデオカメラ装置、映像信号処理装置、カラー映像信号のレベル圧縮方法および階調変換方法 |
| KR100242637B1 (ko) * | 1996-07-06 | 2000-02-01 | 윤종용 | 동보상된 영상의 블록화효과 및 링잉노이즈 감소를 위한 루프필터링방법 |
| US5960097A (en) * | 1997-01-21 | 1999-09-28 | Raytheon Company | Background adaptive target detection and tracking with multiple observation and processing stages |
| US6347153B1 (en) * | 1998-01-21 | 2002-02-12 | Xerox Corporation | Method and system for classifying and processing of pixels of image data |
| JP3270388B2 (ja) | 1998-03-04 | 2002-04-02 | エヌイーシービューテクノロジー株式会社 | 偏光照明装置及びそれを用いた投写型表示装置 |
-
1999
- 1999-03-05 JP JP2000535152A patent/JP3943333B2/ja not_active Expired - Lifetime
- 1999-03-05 EP EP99938031A patent/EP1065881B1/en not_active Expired - Lifetime
- 1999-03-05 DE DE69940703T patent/DE69940703D1/de not_active Expired - Lifetime
- 1999-03-05 US US09/623,397 patent/US6792152B1/en not_active Expired - Lifetime
- 1999-03-05 CN CNB998056464A patent/CN100366089C/zh not_active Expired - Fee Related
- 1999-03-05 EP EP20040018204 patent/EP1473943B1/en not_active Expired - Lifetime
- 1999-03-05 WO PCT/JP1999/001093 patent/WO1999045713A1/ja active IP Right Grant
- 1999-03-05 DE DE69939055T patent/DE69939055D1/de not_active Expired - Lifetime
-
2004
- 2004-03-25 US US10/808,403 patent/US6941022B2/en not_active Expired - Lifetime
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03270388A (ja) * | 1990-03-19 | 1991-12-02 | Victor Co Of Japan Ltd | データ圧縮装置 |
| JPH05227525A (ja) * | 1991-10-31 | 1993-09-03 | Toshiba Corp | 画像符号化装置 |
| JPH05276391A (ja) * | 1992-03-24 | 1993-10-22 | Casio Comput Co Ltd | 画像圧縮装置及び画像圧縮方法 |
| JPH0654199A (ja) * | 1992-07-31 | 1994-02-25 | Matsushita Electric Ind Co Ltd | ディジタル画像データの高能率符号化装置 |
| JPH0670299A (ja) * | 1992-08-15 | 1994-03-11 | G C Technol Kk | 画像符号化における前処理方法と装置 |
| JPH08102968A (ja) * | 1994-09-29 | 1996-04-16 | Sony Corp | 画像信号符号化方法及び画像信号符号化装置 |
| JPH0918872A (ja) * | 1995-04-28 | 1997-01-17 | Sony Corp | 画像符号化方法、画像符号化装置及び画像記録媒体 |
| JPH0970044A (ja) * | 1995-08-31 | 1997-03-11 | Sony Corp | 画像信号処理装置および方法 |
| JPH09200760A (ja) * | 1995-11-01 | 1997-07-31 | Samsung Electron Co Ltd | 映像符号化装置における量子化間隔決定方法及び回路 |
| JPH09261073A (ja) * | 1995-12-29 | 1997-10-03 | Thomson Broadcast | デジタルデータ圧縮方法及び装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040179743A1 (en) | 2004-09-16 |
| EP1065881A4 (en) | 2002-08-21 |
| DE69939055D1 (de) | 2008-08-21 |
| DE69940703D1 (de) | 2009-05-20 |
| EP1473943A1 (en) | 2004-11-03 |
| CN1299560A (zh) | 2001-06-13 |
| EP1065881A1 (en) | 2001-01-03 |
| US6941022B2 (en) | 2005-09-06 |
| WO1999045713A1 (en) | 1999-09-10 |
| EP1065881B1 (en) | 2008-07-09 |
| US6792152B1 (en) | 2004-09-14 |
| EP1473943B1 (en) | 2009-04-08 |
| CN100366089C (zh) | 2008-01-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3943333B2 (ja) | 画像符号化方法、画像符号化復号化方法、画像符号化装置、及び画像記録再生装置 | |
| US8218082B2 (en) | Content adaptive noise reduction filtering for image signals | |
| KR100823371B1 (ko) | 화상 데이터 처리 장치 및 화상 데이터 처리 방법 | |
| US20020141503A1 (en) | Picture signal processing method and apparatus | |
| KR101193267B1 (ko) | 화상 처리 장치 및 처리 방법 | |
| JP2009524371A (ja) | 高ダイナミックレンジコーデック | |
| JP2008533937A (ja) | Ｄｃｔコード化されたビデオの品質を、オリジナルビデオシーケンスを用いて、もしくは用いずに客観評価する装置及び方法 | |
| US20070285729A1 (en) | Image processing apparatus and image processing method | |
| JP3900155B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム、ならびに、量子化制御装置、量子化制御方法および量子化制御プログラム | |
| JP3627291B2 (ja) | ブロック歪み除去装置および方法 | |
| JP4449430B2 (ja) | 画像処理装置および画像処理方法、プログラム、並びに記録媒体 | |
| JP3845913B2 (ja) | 量子化制御方法および量子化制御装置 | |
| JP3304415B2 (ja) | ブロック変換符号の復号装置 | |
| KR100261109B1 (ko) | 화질 향상이 가능한 휘도 신호 압축 부호화 장치 | |
| JP3206576B2 (ja) | 動画像符号化方法、動画像符号化装置及び動画像符号化プログラムを記憶した記憶媒体 | |
| US20070274397A1 (en) | Algorithm for Reducing Artifacts in Decoded Video | |
| KR20050019807A (ko) | 공간적인 스케일러블 압축 | |
| JPH0326080A (ja) | 高能率符号化方式の映像データ前処理方法 | |
| JPH11298895A (ja) | 画像符号化装置とその方法 | |
| JP2002209220A (ja) | 動画像情報の圧縮方法およびそのシステム | |
| JPH03207190A (ja) | 高能率符号化装置 | |
| JPH07162862A (ja) | 映像符号化装置及び映像復号化装置及び光ディスク | |
| JP2003348586A (ja) | 画像符号化方法および装置 | |
| JP2005094786A (ja) | 係数データ生成装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070327 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070405 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110413 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120413 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130413 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140413 Year of fee payment: 7 |
|
| EXPY | Cancellation because of completion of term |