JP4846903B2 - 符号化装置及び方法、復号装置及び方法 - Google Patents
符号化装置及び方法、復号装置及び方法 Download PDFInfo
- Publication number
- JP4846903B2 JP4846903B2 JP2000571662A JP2000571662A JP4846903B2 JP 4846903 B2 JP4846903 B2 JP 4846903B2 JP 2000571662 A JP2000571662 A JP 2000571662A JP 2000571662 A JP2000571662 A JP 2000571662A JP 4846903 B2 JP4846903 B2 JP 4846903B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- pixel data
- group
- pixel
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N11/00—Colour television systems
- H04N11/04—Colour television systems using pulse code modulation
- H04N11/042—Codec means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
技術分野
本発明は、画像を符号化する符号化装置及び方法、符号化データを復号する復号装置及び方法に関する。
背景技術
デジタル化されたテレビ信号を符号化するとき、従来では伝送しようとする画素の周辺の情報を利用して符号化していた。なぜなら、画像は一般的に近傍領域の自己相関が強いため、圧縮を考えた場合、近傍領域のデータを利用するのが効率が良いからである。
しかし、ミクロな視点で見ると、信号変化がないフラットな部分は相関が強いが、信号が急峻に変化する画像のエッジ部では相関があるとは言えない。
このような場合、従来では相関が強い部分では相関の強さを存分に使って符号化を行い、エッジ部ではそれなりの情報量を割り当てて符号化を行うか、視覚的なマスキング効果が得られる範囲で符号化を行う工夫をしていた。
ところで、上記従来の符号化では、画像のエッジ部分でそれなりの情報量を割り当てて符号化を行っていたので、情報量の削減には限界があり、符号化効率が悪かった。
発明の開示
本発明は、上記実情に鑑みてなされたものであり、エッジ部分でも情報量を削減することができ、信号値の符号化効率を高くできる符号化装置及び方法の提供を目的とする。
また、画像の特性に応じて符号化され伝送されてきた画像を容易に復号できる復号装置及び方法の提供を目的とする。
このため、本発明に係る符号化装置は、複数の画素データを有する画像信号から、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより、上記複数の画素データを複数のグループにグループ化するグループ化部と、上記グループ毎に、上記グループ内の上記代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化する符号化部とを備える。
本発明に係る復号装置は、複数の画素データからなる画像信号に対して、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより複数のグループにグループ化し、上記グループ毎の複数の画素データに対して、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化することによって生成された複数の符号化画素データから、上記複数の画素データを復号する復号装置であって、上記グループ毎に、上記複数の符号化画素データから上記代表画素データのレベルデータと上記複数の位置データのそれぞれの差分とを分割する分割部と、上記分割部により分割された上記グループ内の上記複数の位置データのそれぞれの差分を復号してそれぞれの画素の位置データを得る位置復号化部と、上記分割部により分割された上記代表画素データのレベルデータを、上記位置復号化部により復号された複数の位置データが示す位置にそれぞれ配置する変換部とを備える。
本発明に係る符号化方法は、複数の画素データを有する画像信号から、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより、上記複数の画素データを複数のグループにグループ化するステップと、上記各グループ毎に、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化するステップとを有する。
本発明に係る復号方法は、複数の画素データからなる画像信号に対して、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより複数のグループにグループ化し、上記グループ毎の複数の画素データに対して、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化することによって生成された複数の符号化画素データから、上記複数の画素データを復号する復号方法であって、上記グループ毎に、上記複数の符号化画素データから上記代表画素データのレベルデータと上記複数の位置データのそれぞれの差分とを分割するステップと、上記分割された上記グループ内の上記複数の位置データのそれぞれの差分を復号してそれぞれの画素の位置データを得るステップと、上記分割された上記代表画素データのレベルデータを、上記復号された複数の位置データが示す位置にそれぞれ配置するステップとを有する。
発明を実施するための最良の形態
以下、本発明の実施の形態について図面を参照しながら説明する。この実施の形態は、図１に示すような画像処理システム１であり、デジタル化された画素情報を符号化して符号化画像データを出力する符号化装置２と、符号化装置２が出力した符号化画像データを伝送する伝送媒体１０と、伝送媒体１０により伝送された上記符号化画像データを受信して復号する復号装置６とを備えている。
符号化装置２は、複数の画素情報を有する例えばフレーム単位の画像信号を複数のマクロブロックに分割し、そのマクロブロック内で相関のある画素情報をグループ化し、グループ内の代表画素情報の信号レベルを示す信号レベルデータと、グループ内の全ての画素情報のアドレスデータと、グループ内に存在する画素情報の数を示す画素数データとに基づいてグループ内の複数の画素情報を符号化する。なお、グループ化は上記フレーム単位で行ってもよいし、また、フィールド単位で行ってもよい。
復号装置６は、符号化装置２から伝送媒体１０を介して伝送されてきた上記マクロブロック内の符号化画素データを、この符号化画素データから抽出した上記信号レベルデータと、上記アドレスデータと、上記画素数データとを用いて、符号化前に上記マクロブロック内の画素情報が有した所定の順番に復号する。
以下、符号化装置２、復号装置６の詳細について説明する。なお、上述したように、この実施の形態では複数の画素情報を有するフレーム単位の画像信号を複数のマクロブロックに分割し、そのマクロブロック内の画素情報をグループ化し、符号化している。
先ず、図１の符号化装置２において、ラスタースキャン順序で入力端子ＩＮＴから入力されたデジタルの画素情報はメモリ３ａ及び３ｂに蓄積される。これらメモリ３ａ及び３ｂは、一方のメモリからマクロブロック単位の画素情報が読み出される間に、他方のメモリにマクロブロック単位の画素情報が書き込まれるバンク切替構造となっている。このため、マクロブロック読み出し部４は、メモリ３ａ及び３ｂ、から、異なるタイミングでマクロブロック単位の画素情報を読み出すことができる。
マクロブロック読み出し部４により、マクロブロック毎に読み出された画素情報はエンコーダ５に供給される。エンコーダ５はマクロブロック内の画素情報の相関を評価してグループ化を行い、そのグループ内で冗長度を除去して符号化画素データを出力する。
このエンコーダ５の構成を図２に示す。エンコーダ５は、図１に示したマクロブロック読み出し部４がマクロブロック単位で読み出した画素情報を一時的に格納するメモリ１１と、このメモリ１１に格納したマクロブロック単位の画素情報をグループ化するためにグループを代表することになる代表画素情報の信号レベルデータと、他の複数の画素情報の信号レベルデータとの相関、及び、上記代表画素情報のアドレスデータと他の複数の画素情報のアドレスデータとの間の相関を評価する評価部１３と、この評価部１３での評価によりグループ化されたグループ毎に、グループ内の代表画素情報の信号レベルデータと、グループ内の全ての画素情報に関するアドレスデータと、グループ内に存在する画素情報の数を示す画素数データとに基づいて、グループ毎の複数の画素情報を符号化する差分符号化部１６と、この差分符号化部１６からの差分符号化出力を多重化する多重化部１７とを備えている。また、このエンコーダ５は、アドレスカウンタ１２を備え、グループ内の全ての画素情報に関するアドレスデータをカウントしている。
先ず、エンコーダ５の動作とその動作を可能とする要部の詳細な構成について、図３のフローチャートと、評価部１３の詳細な構成を示す図４及び図５を用いて説明する。
始めにエンコーダ５はステップＳ１で代表画素情報を選ぶ。この選択には所定のアルゴリズムに基づいた最適法を用いてもよい。
次に、エンコーダ５は、ステップＳ１で選んだ代表画素情報の信号レベルデータと、同マクロブロック内で直前に符号化した他のグループの代表画素情報の信号レベルデータとの差分を、レジスタ１４Ｒ、レジスタ１４Ｇ及びレジスタ１４Ｂと、減算器１５Ｒ、減算器１５Ｇ及び減算器１５Ｂを使って求め、その差分結果を差分符号化部１６に送る（ステップＳ２）。この処理は後述するステップＳ６と同様にエンコーダ５が差分符号化部１６に行わせる差分符号化のための前処理である。
なお、本発明では代表画素情報の信号レベルデータとして、Ｒ，Ｇ，Ｂの３原色信号レベルデータを考慮している。複数の画素情報の信号レベルデータとしても同様にＲ，Ｇ，Ｂの３原色信号レベルデータを考慮する。もちろん、信号レベルデータとして輝度信号Ｙ、青色差信号Ｃｂ、赤色差信号Ｃｒを考慮してもよい。
次に、エンコーダ５は評価部１３を用い、ステップＳ１で選んだ代表画素情報と、マクロブロック内の任意の画素情報との相関を評価（ステップＳ３）し、ステップＳ４で任意の画素情報を同じグループとするか否か判断する。
具体的には、代表画素情報のＲ，Ｇ，Ｂの３原色信号レベルデータ（Ｒｏ，Ｇｏ，Ｂｏ）と、マクロブロック内の任意の画素情報の信号レベルデータ（Ｒｉ，Ｇｉ，Ｂｉ）との相関を、次の（１）式に基づいて評価し、同じグループとするか否かを判断する。
｜Ｒｏ−Ｒｉ｜＜＝ｎかつ｜Ｇｏ−Ｇｉ｜＜＝ｎかつ｜Ｂｏ−Ｂｉ｜＜＝
ｎ ・・・（１）
ここで、｜Ｒｏ−Ｒｉ｜、｜Ｇｏ−Ｇｉ｜、｜Ｂｏ−Ｂｉ｜が全てしきい値ｎ以下であるということは、代表画素情報と、マクロブロック内の任意の画素情報との相関が高いことを意味する。
そこで、評価部１３は図４に示す構成のグループ判定ユニット２２を備える。このグループ判定ユニット２２は、上記代表画素情報の信号レベルデータと任意の画素情報の信号レベルデータが供給される相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂと、相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂからの各判定結果が入力されるＮＡＮＤゲート２６と、ＮＡＮＤゲート２６からの後述する制御信号が供給されるレジスタ２７Ｒ，２７Ｇ，２７Ｂとを備えてなる。
相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂは、上記（１）式中の｜Ｒｏ−Ｒｉ｜、｜Ｇｏ−Ｇｉ｜、｜Ｂｏ−Ｂｉ｜の相関を判定する。これら相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂからの判定結果がいずれもしきい値（ｎの歪み）以下であるとき、すなわち、代表画素情報と、マクロブロック内の任意の画素情報との相関が高いとき、ＮＡＮＤゲート２６は、後述するレジスタに制御信号を送る。レジスタ２７Ｒ，２７Ｇ，２７Ｂは、相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂを通ってきた任意の画素情報の信号レベルデータ（Ｒｉ，Ｇｉ，Ｂｉ）をＮＡＮＤゲート２６からの上記制御信号に応じて上記（１）式を満たした画素情報として出力する。
なお、グループ判定ユニット２２は、上記（１）式を満たした任意の画素情報のアドレスデータＸ，Ｙもレジスタ２７Ｘ、２７Ｙから出力する。
ここで、相関判定ユニット２５（例えば２５Ｒ）は、図５に示すように、減算器３１と絶対値化器３２と比較器３３とを備えてなる。減算器３１で代表画素情報の信号レベル情報Ｒｏ（前値）から任意の画素情報のレベル情報Ｒｉ（後値）を減算し、その減算結果を絶対値化器３２で絶対値化し、さらにその絶対値を比較器３３でしきい値ｎと比較し、比較結果ＣＲを上記図４のＮＡＮＤゲート２６に出力する。また、任意の画素情報のレベル情報Ｒｉ（後値）をレジスタ２７Ｒに渡す。
上記ステップＳ４で評価部１３は任意の画素情報が代表点と同じグループで無いと判断すると、ステップＳ３に戻り、他の任意画素情報を対象としてステップＳ３、ステップＳ４の処理を行う。
次に、評価部１３はステップＳ４で代表画素情報と同じグループであると判断した任意の画素情報をカウントする（ステップＳ５）。ここでのカウント結果はグループ内に存在する画素数データとなる。
この後、エンコーダ５は差分符号化部１６により符号化を行うが、その前に、ステップＳ６でレジスタ１４Ｘ及びレジスタ１４Ｙと、減算器１５Ｘ及び減算器１５Ｙを用い、任意の画素情報のアドレスデータの差分を求めて差分符号化部１６に伝送しておく。なお、このステップＳ６において、エンコーダ５は代表画素情報のアドレスデータも、同マクロブロック内で直前に符号化した他のグループの代表画素情報のアドレスデータから減算により求めておく。
次に、エンコーダ５は任意の画素情報に対するマクロブロック内での探索が終了したか否か、すなわち探索範囲が終了したか否かを判断し、探索が終了していなければ、ステップＳ３からステップＳ６までの処理を繰り返し、探索が終了であればステップＳ８に進み、グループ内の画素数情報をレジスタ１８を介して画素数データ符号化器１９に伝送する。
そして、エンコーダ５はステップＳ９でマクロブロック内の全ての画素情報を伝送したと判断するまでステップＳ１からステップＳ８までの処理を繰り返し、マクロブロック内の複数の画素情報に対するグループ化処理と、各符号化器への差分データ及び画素数データの伝送を行う。
次に、エンコーダ５は差分符号化部１６の各差分符号化器１６Ｒ，１６Ｇ，１６Ｂ，１６Ｘ，１６Ｙを用いて、代表画素情報の信号レベルデータ（前のグループの代表画素情報の信号レベルデータとの差分）Ｒ，Ｇ，Ｂと、グループ内の各画素情報のアドレスデータ（代表画素情報のアドレスデータ（前のグループの代表画素情報のアドレスデータに対する差分）に対する差分より求められる）を符号化する。すなわち、エンコーダ５は、図６に示すように、これから伝送しようとするグループＧ（ｉ）の代表画素情報Ｐｉの信号レベルデータ（Ｒｉ，Ｇｉ，Ｂｉ）と、同マクロブロック内で直前に符号化した他のグループＧ（ｉ−１）の代表画素情報Ｐｉ−１の信号レベルデータ（Ｒｉ−１，Ｇｉ−１，Ｂｉ−１）の差分値を差分符号化器１６Ｒ，１６Ｇ，１６Ｂで符号化すると共に、前のグループの代表画素情報Ｐｉ−１のアドレスデータに対する差分として求めた代表画素情報Ｐｉのアドレスデータ（Ｘｏ，Ｙｏ）に対するグループ内の各画素情報のアドレスデータ（Ｘｌ，Ｙｌ）・・・（Ｘｎ，Ｙｎ）を各差分符号化器１６Ｘ，１６Ｙで符号化する。また、エンコーダ５は、画素数データ符号化器１９を用いてグループ内の画素数データを符号化する。ここでの差分符号化方法としては、差分値を再量子化するＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）や、差分値の頻度に最適化を行ってハフマン符号で符号化する方法などがある。
そして、エンコーダ５は、差分符号化部１６からの各差分の符号化データと、画素数データ符号化部１９からの符号化データとを多重化部１７により多重化し、多重化された符号化画素データを出力端子ＯＵＴＴから伝送媒体１０に渡す。この符号化画素データのフォーマット例を図７に示す。一つのグループの符号化画素データは、画素数データＳ３５と、代表画素情報の信号レベルデータ（Ｒ，Ｇ，Ｂ）３６と、グループ内のアドレスデータ（Ｘ，Ｙ）３７から構成される。
伝送媒体１０としては、ネットワークのような通信路の他、ディスク状又はテープ状記録媒体が挙げられる。
伝送媒体１０により伝送されてきた上記符号化画素データは、入力端子ＩＮＲから復号装置６に入力される。
ここで、図１に戻り復号装置６の詳細について説明する。入力端子ＩＮＲから入力された上記符号化画素データはデコーダ７に供給される。デコーダ７は、グループ毎に符号化画素データからグループ内の代表画素情報の信号レベルデータを復号して抽出し、またグループ毎に符号化画素データから複数のアドレスデータを復号して抽出し、バンク切替構造のメモリ９ａ及び９ｂ上でアドレスデータＸ，Ｙに基づいた位置に信号レベルデータの復号値をストアする。次に、マクロブロック読み出し部８がメモリ９ａ及びメモリ９ｂから、ラスター順序でマクロブロック内のレベル情報を読み出し、出力端子ＯＵＴＲから導出する。
デコーダ７の詳細について図８を参照しながら説明する。このデコーダ７は、本発明の復号方法を実行する。上記復号方法は、所定の順番を有する複数の画素データからなる画像信号をマクロブロック内でグループ化し、符号化した符号化画素データを、所定の順番を有する複数の画素データに復号するためのものであり、上記グループ毎に抽出した代表画素情報の信号レベルデータと、上記複数の符号化画素データの複数のアドレスデータと、複数の符号化画素データの画素数データとに基づいて、上記グループ毎に、上記グループ内の複数の画素データをラスタースキャン順序で読み出す。
上記復号方法を実行するため、デコーダ７は、上記エンコーダ５で多重化された、上記図７にフォーマットを示した符号化画素データを代表画素情報の信号レベルデータ（Ｒ，Ｇ，Ｂ）３６と、グループ内の全ての画素情報のアドレスデータ（Ｘ，Ｙ）３７と、グループ内の画素数データＳ３５に分割する分割化部４２と、この分割化部４２で分割された信号レベルデータとアドレスデータに関する各差分の符号値から差分を復号する差分復号化部４３と、差分復号化部４３からの差分復号出力から、代表画素の信号レベルデータと、各画素情報のアドレスデータを得る復号部を構成する加算器４４及びレジスタ４５と、上記復号部で得られたグループ内の画素情報のアドレスデータＸ，Ｙに基づいて信号レベルデータＲ，Ｇ，Ｂが書き込まれた後、ラスタスキャン順序で画素情報が読み出されるマクロブロックメモリ４６ａ及び４６ｂとを備える。ここで、上記マクロブロックメモリ４６ａ及び４６ｂにおける読み出しのためのアドレスは、アドレスカウンタ４７がラスタスキャン順序にしたがったアドレスとしてカウントする。また、このデコーダ７は、分割化部４２で分割された、グループ内の画素数データＳ３５を復号する画素数データ復号化部４９と、この画素数データ復号化部４９で復号した画素数データを記憶しておくレジスタ５０とを備える。
デコーダ７での動作の流れは以下のようになる。すなわち、分割化部４２は、入力端子ＩＮＲを介して受信した上記図７にフォーマットを示す符号化画素データを上記信号レベルデータの差分符号化値、上記アドレスデータの差分符号化値、及び画素数データの符号化値に分割し、差分復号化部４３の各差分復号化器４３Ｒ，４３Ｇ，４３Ｂ，４３Ｘ，４３Ｙと、画素数データ復号化部４９にそれぞれ供給する。具体的には、ヘッダの画素数データに基づいてアドレスデータの個数を判別することで、各データを分割できる。
差分復号化器４３Ｒ，４３Ｇ，４３Ｂ，４３Ｘ，４３Ｙで復号化された上記信号レベルデータの差分値と、上記アドレスデータの差分値は上記復号部を構成する、加算器４４Ｒ，４４Ｇ，４４Ｂ，４４Ｘ，４４Ｙに供給される。加算器４４Ｒ，４４Ｇ，４４Ｂには、レジスタ４５Ｒ，４５Ｇ，４５Ｂに格納されている、前のグループの代表画素情報の信号レベルデータ、Ｒ，Ｇ，Ｂがフィードバックされるので、現在の代表画素情報の信号レベルデータを復号できる。また、加算器４４Ｘ，４４Ｙには、レジスタ４５Ｘ，４５Ｙに格納されている以前の画素情報のアドレスデータ、Ｘ，Ｙもフィードバックされる。また、レジスタ４５Ｘ，４５Ｙには、レジスタ５０に格納された画素数データが供給され、アドレスデータの切り出しに使われる。
そして、上記復号部からの各復号出力は、バンク構造とされたマクロブロックメモリ４６ａ及び４６ｂに供給される。アドレスカウンタ４７は、上述したように、上記符号化時に用いられたアドレスデータをラスタスキャンで読み出すので、マクロブロックメモリ４６ａ及び４６ｂからは出力端子４８を介してラスタスキャンの画像信号が出力される。
このように、上記実施の形態では、複数の画素情報を有する例えばフレーム単位の画像信号を複数のマクロブロックに分割し、そのマクロブロック内で相関のある画素情報をグループ化し、グループ内の代表画素情報の信号レベルを示す信号レベルデータと、グループ内の全ての画素情報のアドレスデータと、グループ内に存在する画素情報の数を示す画素数データとに基づいてグループ内の複数の画素情報を符号化するので、情報量を削減できる。また、グループ化を導入して画素情報を代表値化することで、エンコーダの処理速度が向上する。
なお、上記図１に示した画像処理システムの符号化装置２では、エンコーダ５の代わりに、図９に示すエンコーダ５０を用いてもよい。このエンコーダ５０は、評価部１３の前段に間引き部５１を用いている点がエンコーダ５と異なる。
この間引き部５１は、画素情報の信号信号レベルデータとアドレスデータを削減する。この間引き部５１の原理を図１０及び図１１を用いて説明する。図１０に示す２×２のブロックの４画素に着目し、その信号分布に対して適応的に図１１の４パターンの画素密度に置き換える。４つの画素は各画素値ａ，ｂ，ｃ，ｄを持っている。
ＴＨをしきい値とすると、図１１Ａのパターン１では｜ａ−ｂ｜＜ＴＨ，｜ｂ−ｃ｜＜ＴＨ，｜ｃ−ｄ｜＜ＴＨ，｜ｄ−ａ｜＜ＴＨ，｜ａ−ｃ｜＜ＴＨ，｜ｂ−ｄ｜＜ＴＨの全てを満たしたとき、（ａ＋ｂ＋ｃ＋ｄ）／４に置き換える。また、図１１Ｂのパターン２では｜ａ−ｂ｜＜ＴＨ，｜ｃ−ｄ｜＜ＴＨのみ満たしたとき、（ａ＋ｃ）／２，（ｂ＋ｄ）／２に置き換える。また、図１１Ｃのパターン３では｜ａ−ｃ｜＜ＴＨ，｜ｂ−ｄ｜＜ＴＨのみ満たしたとき、（ａ＋ｂ）／２，（ｃ＋ｄ）／２に置き換える。また、図１１Ｄのパターン４では上記のどれも満たさないとき、元の画素値のままとする。
この間引き部５１を用いたエンコーダ５０を符号化装置に用いることにより、情報量をさらに削減できる。
図１２には、エンコーダ５０を用いたときに必要なデコーダ５３の構成を示す。マクロブロックメモリ４６ａ及び４６ｂから読み出した画像信号に、ラインメモリ５４を用いた補間処理を画素アドレス補間部５５で施す必要がある。そして、補間出力を出力端子５６から出力する。
産業上の利用可能性
本発明によれば、複数の画素情報からなる画像信号をグループ化して符号化した符号化画像データを伝送するので、信号値の符号化効率を向上できる。ラスタスキャンには必要ないアドレスデータを送るのでその情報量は増えるが、それ以上に信号値の情報量を削減できるので、トータルとして符号化効率が良くなる。 また、グループ化されて符号化されてきた符号化画素データを簡単な構成で復号できる。
【図面の簡単な説明】
図１は本発明の実施の形態である画像処理システムの構成を示すブロック図である。
図２は上記画像処理システムの符号化装置側のエンコーダの詳細な構成を示すブロック図である。
図３は上記符号化装置の動作を説明するためのフローチャートである。
図４は上記エンコーダを構成するグループ判定ユニットの詳細な構成を示すブロック図である。
図５は上記グループ判定ユニット内部の相関判定ユニットの詳細な構成を示すブロック図である。
図６は上記エンコーダでの差分符号化を説明するための図である。
図７は上記符号化装置が伝送媒体に渡す符号化画素データのフォーマット図である。
図８は上記画像処理システムの復号装置側のデコーダの構成を示すブロック図である。
図９は上記図２に示したエンコーダの他の具体例のブロック図である。
図１０は上記図９に構成を示したエンコーダが行う間引き処理を説明するために用いる２×２のブロック４画素を示す図である。
図１１Ａ、１１Ｂ、１１Ｃ、１１Ｄは上記図１０に示した４画素に対して取られる間引きの４パターンを示す図である。
図１２は上記図８に示したデコーダの他の具体例を示すブロック図である。
本発明は、画像を符号化する符号化装置及び方法、符号化データを復号する復号装置及び方法に関する。
背景技術
デジタル化されたテレビ信号を符号化するとき、従来では伝送しようとする画素の周辺の情報を利用して符号化していた。なぜなら、画像は一般的に近傍領域の自己相関が強いため、圧縮を考えた場合、近傍領域のデータを利用するのが効率が良いからである。
しかし、ミクロな視点で見ると、信号変化がないフラットな部分は相関が強いが、信号が急峻に変化する画像のエッジ部では相関があるとは言えない。
このような場合、従来では相関が強い部分では相関の強さを存分に使って符号化を行い、エッジ部ではそれなりの情報量を割り当てて符号化を行うか、視覚的なマスキング効果が得られる範囲で符号化を行う工夫をしていた。
ところで、上記従来の符号化では、画像のエッジ部分でそれなりの情報量を割り当てて符号化を行っていたので、情報量の削減には限界があり、符号化効率が悪かった。
発明の開示
本発明は、上記実情に鑑みてなされたものであり、エッジ部分でも情報量を削減することができ、信号値の符号化効率を高くできる符号化装置及び方法の提供を目的とする。
また、画像の特性に応じて符号化され伝送されてきた画像を容易に復号できる復号装置及び方法の提供を目的とする。
このため、本発明に係る符号化装置は、複数の画素データを有する画像信号から、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより、上記複数の画素データを複数のグループにグループ化するグループ化部と、上記グループ毎に、上記グループ内の上記代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化する符号化部とを備える。
本発明に係る復号装置は、複数の画素データからなる画像信号に対して、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより複数のグループにグループ化し、上記グループ毎の複数の画素データに対して、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化することによって生成された複数の符号化画素データから、上記複数の画素データを復号する復号装置であって、上記グループ毎に、上記複数の符号化画素データから上記代表画素データのレベルデータと上記複数の位置データのそれぞれの差分とを分割する分割部と、上記分割部により分割された上記グループ内の上記複数の位置データのそれぞれの差分を復号してそれぞれの画素の位置データを得る位置復号化部と、上記分割部により分割された上記代表画素データのレベルデータを、上記位置復号化部により復号された複数の位置データが示す位置にそれぞれ配置する変換部とを備える。
本発明に係る符号化方法は、複数の画素データを有する画像信号から、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより、上記複数の画素データを複数のグループにグループ化するステップと、上記各グループ毎に、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化するステップとを有する。
本発明に係る復号方法は、複数の画素データからなる画像信号に対して、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより複数のグループにグループ化し、上記グループ毎の複数の画素データに対して、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化することによって生成された複数の符号化画素データから、上記複数の画素データを復号する復号方法であって、上記グループ毎に、上記複数の符号化画素データから上記代表画素データのレベルデータと上記複数の位置データのそれぞれの差分とを分割するステップと、上記分割された上記グループ内の上記複数の位置データのそれぞれの差分を復号してそれぞれの画素の位置データを得るステップと、上記分割された上記代表画素データのレベルデータを、上記復号された複数の位置データが示す位置にそれぞれ配置するステップとを有する。
発明を実施するための最良の形態
以下、本発明の実施の形態について図面を参照しながら説明する。この実施の形態は、図１に示すような画像処理システム１であり、デジタル化された画素情報を符号化して符号化画像データを出力する符号化装置２と、符号化装置２が出力した符号化画像データを伝送する伝送媒体１０と、伝送媒体１０により伝送された上記符号化画像データを受信して復号する復号装置６とを備えている。
符号化装置２は、複数の画素情報を有する例えばフレーム単位の画像信号を複数のマクロブロックに分割し、そのマクロブロック内で相関のある画素情報をグループ化し、グループ内の代表画素情報の信号レベルを示す信号レベルデータと、グループ内の全ての画素情報のアドレスデータと、グループ内に存在する画素情報の数を示す画素数データとに基づいてグループ内の複数の画素情報を符号化する。なお、グループ化は上記フレーム単位で行ってもよいし、また、フィールド単位で行ってもよい。
復号装置６は、符号化装置２から伝送媒体１０を介して伝送されてきた上記マクロブロック内の符号化画素データを、この符号化画素データから抽出した上記信号レベルデータと、上記アドレスデータと、上記画素数データとを用いて、符号化前に上記マクロブロック内の画素情報が有した所定の順番に復号する。
以下、符号化装置２、復号装置６の詳細について説明する。なお、上述したように、この実施の形態では複数の画素情報を有するフレーム単位の画像信号を複数のマクロブロックに分割し、そのマクロブロック内の画素情報をグループ化し、符号化している。
先ず、図１の符号化装置２において、ラスタースキャン順序で入力端子ＩＮＴから入力されたデジタルの画素情報はメモリ３ａ及び３ｂに蓄積される。これらメモリ３ａ及び３ｂは、一方のメモリからマクロブロック単位の画素情報が読み出される間に、他方のメモリにマクロブロック単位の画素情報が書き込まれるバンク切替構造となっている。このため、マクロブロック読み出し部４は、メモリ３ａ及び３ｂ、から、異なるタイミングでマクロブロック単位の画素情報を読み出すことができる。
マクロブロック読み出し部４により、マクロブロック毎に読み出された画素情報はエンコーダ５に供給される。エンコーダ５はマクロブロック内の画素情報の相関を評価してグループ化を行い、そのグループ内で冗長度を除去して符号化画素データを出力する。
このエンコーダ５の構成を図２に示す。エンコーダ５は、図１に示したマクロブロック読み出し部４がマクロブロック単位で読み出した画素情報を一時的に格納するメモリ１１と、このメモリ１１に格納したマクロブロック単位の画素情報をグループ化するためにグループを代表することになる代表画素情報の信号レベルデータと、他の複数の画素情報の信号レベルデータとの相関、及び、上記代表画素情報のアドレスデータと他の複数の画素情報のアドレスデータとの間の相関を評価する評価部１３と、この評価部１３での評価によりグループ化されたグループ毎に、グループ内の代表画素情報の信号レベルデータと、グループ内の全ての画素情報に関するアドレスデータと、グループ内に存在する画素情報の数を示す画素数データとに基づいて、グループ毎の複数の画素情報を符号化する差分符号化部１６と、この差分符号化部１６からの差分符号化出力を多重化する多重化部１７とを備えている。また、このエンコーダ５は、アドレスカウンタ１２を備え、グループ内の全ての画素情報に関するアドレスデータをカウントしている。
先ず、エンコーダ５の動作とその動作を可能とする要部の詳細な構成について、図３のフローチャートと、評価部１３の詳細な構成を示す図４及び図５を用いて説明する。
始めにエンコーダ５はステップＳ１で代表画素情報を選ぶ。この選択には所定のアルゴリズムに基づいた最適法を用いてもよい。
次に、エンコーダ５は、ステップＳ１で選んだ代表画素情報の信号レベルデータと、同マクロブロック内で直前に符号化した他のグループの代表画素情報の信号レベルデータとの差分を、レジスタ１４Ｒ、レジスタ１４Ｇ及びレジスタ１４Ｂと、減算器１５Ｒ、減算器１５Ｇ及び減算器１５Ｂを使って求め、その差分結果を差分符号化部１６に送る（ステップＳ２）。この処理は後述するステップＳ６と同様にエンコーダ５が差分符号化部１６に行わせる差分符号化のための前処理である。
なお、本発明では代表画素情報の信号レベルデータとして、Ｒ，Ｇ，Ｂの３原色信号レベルデータを考慮している。複数の画素情報の信号レベルデータとしても同様にＲ，Ｇ，Ｂの３原色信号レベルデータを考慮する。もちろん、信号レベルデータとして輝度信号Ｙ、青色差信号Ｃｂ、赤色差信号Ｃｒを考慮してもよい。
次に、エンコーダ５は評価部１３を用い、ステップＳ１で選んだ代表画素情報と、マクロブロック内の任意の画素情報との相関を評価（ステップＳ３）し、ステップＳ４で任意の画素情報を同じグループとするか否か判断する。
具体的には、代表画素情報のＲ，Ｇ，Ｂの３原色信号レベルデータ（Ｒｏ，Ｇｏ，Ｂｏ）と、マクロブロック内の任意の画素情報の信号レベルデータ（Ｒｉ，Ｇｉ，Ｂｉ）との相関を、次の（１）式に基づいて評価し、同じグループとするか否かを判断する。
｜Ｒｏ−Ｒｉ｜＜＝ｎかつ｜Ｇｏ−Ｇｉ｜＜＝ｎかつ｜Ｂｏ−Ｂｉ｜＜＝
ｎ ・・・（１）
ここで、｜Ｒｏ−Ｒｉ｜、｜Ｇｏ−Ｇｉ｜、｜Ｂｏ−Ｂｉ｜が全てしきい値ｎ以下であるということは、代表画素情報と、マクロブロック内の任意の画素情報との相関が高いことを意味する。
そこで、評価部１３は図４に示す構成のグループ判定ユニット２２を備える。このグループ判定ユニット２２は、上記代表画素情報の信号レベルデータと任意の画素情報の信号レベルデータが供給される相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂと、相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂからの各判定結果が入力されるＮＡＮＤゲート２６と、ＮＡＮＤゲート２６からの後述する制御信号が供給されるレジスタ２７Ｒ，２７Ｇ，２７Ｂとを備えてなる。
相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂは、上記（１）式中の｜Ｒｏ−Ｒｉ｜、｜Ｇｏ−Ｇｉ｜、｜Ｂｏ−Ｂｉ｜の相関を判定する。これら相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂからの判定結果がいずれもしきい値（ｎの歪み）以下であるとき、すなわち、代表画素情報と、マクロブロック内の任意の画素情報との相関が高いとき、ＮＡＮＤゲート２６は、後述するレジスタに制御信号を送る。レジスタ２７Ｒ，２７Ｇ，２７Ｂは、相関判定ユニット２５Ｒ，２５Ｇ，２５Ｂを通ってきた任意の画素情報の信号レベルデータ（Ｒｉ，Ｇｉ，Ｂｉ）をＮＡＮＤゲート２６からの上記制御信号に応じて上記（１）式を満たした画素情報として出力する。
なお、グループ判定ユニット２２は、上記（１）式を満たした任意の画素情報のアドレスデータＸ，Ｙもレジスタ２７Ｘ、２７Ｙから出力する。
ここで、相関判定ユニット２５（例えば２５Ｒ）は、図５に示すように、減算器３１と絶対値化器３２と比較器３３とを備えてなる。減算器３１で代表画素情報の信号レベル情報Ｒｏ（前値）から任意の画素情報のレベル情報Ｒｉ（後値）を減算し、その減算結果を絶対値化器３２で絶対値化し、さらにその絶対値を比較器３３でしきい値ｎと比較し、比較結果ＣＲを上記図４のＮＡＮＤゲート２６に出力する。また、任意の画素情報のレベル情報Ｒｉ（後値）をレジスタ２７Ｒに渡す。
上記ステップＳ４で評価部１３は任意の画素情報が代表点と同じグループで無いと判断すると、ステップＳ３に戻り、他の任意画素情報を対象としてステップＳ３、ステップＳ４の処理を行う。
次に、評価部１３はステップＳ４で代表画素情報と同じグループであると判断した任意の画素情報をカウントする（ステップＳ５）。ここでのカウント結果はグループ内に存在する画素数データとなる。
この後、エンコーダ５は差分符号化部１６により符号化を行うが、その前に、ステップＳ６でレジスタ１４Ｘ及びレジスタ１４Ｙと、減算器１５Ｘ及び減算器１５Ｙを用い、任意の画素情報のアドレスデータの差分を求めて差分符号化部１６に伝送しておく。なお、このステップＳ６において、エンコーダ５は代表画素情報のアドレスデータも、同マクロブロック内で直前に符号化した他のグループの代表画素情報のアドレスデータから減算により求めておく。
次に、エンコーダ５は任意の画素情報に対するマクロブロック内での探索が終了したか否か、すなわち探索範囲が終了したか否かを判断し、探索が終了していなければ、ステップＳ３からステップＳ６までの処理を繰り返し、探索が終了であればステップＳ８に進み、グループ内の画素数情報をレジスタ１８を介して画素数データ符号化器１９に伝送する。
そして、エンコーダ５はステップＳ９でマクロブロック内の全ての画素情報を伝送したと判断するまでステップＳ１からステップＳ８までの処理を繰り返し、マクロブロック内の複数の画素情報に対するグループ化処理と、各符号化器への差分データ及び画素数データの伝送を行う。
次に、エンコーダ５は差分符号化部１６の各差分符号化器１６Ｒ，１６Ｇ，１６Ｂ，１６Ｘ，１６Ｙを用いて、代表画素情報の信号レベルデータ（前のグループの代表画素情報の信号レベルデータとの差分）Ｒ，Ｇ，Ｂと、グループ内の各画素情報のアドレスデータ（代表画素情報のアドレスデータ（前のグループの代表画素情報のアドレスデータに対する差分）に対する差分より求められる）を符号化する。すなわち、エンコーダ５は、図６に示すように、これから伝送しようとするグループＧ（ｉ）の代表画素情報Ｐｉの信号レベルデータ（Ｒｉ，Ｇｉ，Ｂｉ）と、同マクロブロック内で直前に符号化した他のグループＧ（ｉ−１）の代表画素情報Ｐｉ−１の信号レベルデータ（Ｒｉ−１，Ｇｉ−１，Ｂｉ−１）の差分値を差分符号化器１６Ｒ，１６Ｇ，１６Ｂで符号化すると共に、前のグループの代表画素情報Ｐｉ−１のアドレスデータに対する差分として求めた代表画素情報Ｐｉのアドレスデータ（Ｘｏ，Ｙｏ）に対するグループ内の各画素情報のアドレスデータ（Ｘｌ，Ｙｌ）・・・（Ｘｎ，Ｙｎ）を各差分符号化器１６Ｘ，１６Ｙで符号化する。また、エンコーダ５は、画素数データ符号化器１９を用いてグループ内の画素数データを符号化する。ここでの差分符号化方法としては、差分値を再量子化するＤＰＣＭ（Ｄｉｆｆｅｒｅｎｔｉａｌ Ｐｕｌｓｅ Ｃｏｄｅ Ｍｏｄｕｌａｔｉｏｎ）や、差分値の頻度に最適化を行ってハフマン符号で符号化する方法などがある。
そして、エンコーダ５は、差分符号化部１６からの各差分の符号化データと、画素数データ符号化部１９からの符号化データとを多重化部１７により多重化し、多重化された符号化画素データを出力端子ＯＵＴＴから伝送媒体１０に渡す。この符号化画素データのフォーマット例を図７に示す。一つのグループの符号化画素データは、画素数データＳ３５と、代表画素情報の信号レベルデータ（Ｒ，Ｇ，Ｂ）３６と、グループ内のアドレスデータ（Ｘ，Ｙ）３７から構成される。
伝送媒体１０としては、ネットワークのような通信路の他、ディスク状又はテープ状記録媒体が挙げられる。
伝送媒体１０により伝送されてきた上記符号化画素データは、入力端子ＩＮＲから復号装置６に入力される。
ここで、図１に戻り復号装置６の詳細について説明する。入力端子ＩＮＲから入力された上記符号化画素データはデコーダ７に供給される。デコーダ７は、グループ毎に符号化画素データからグループ内の代表画素情報の信号レベルデータを復号して抽出し、またグループ毎に符号化画素データから複数のアドレスデータを復号して抽出し、バンク切替構造のメモリ９ａ及び９ｂ上でアドレスデータＸ，Ｙに基づいた位置に信号レベルデータの復号値をストアする。次に、マクロブロック読み出し部８がメモリ９ａ及びメモリ９ｂから、ラスター順序でマクロブロック内のレベル情報を読み出し、出力端子ＯＵＴＲから導出する。
デコーダ７の詳細について図８を参照しながら説明する。このデコーダ７は、本発明の復号方法を実行する。上記復号方法は、所定の順番を有する複数の画素データからなる画像信号をマクロブロック内でグループ化し、符号化した符号化画素データを、所定の順番を有する複数の画素データに復号するためのものであり、上記グループ毎に抽出した代表画素情報の信号レベルデータと、上記複数の符号化画素データの複数のアドレスデータと、複数の符号化画素データの画素数データとに基づいて、上記グループ毎に、上記グループ内の複数の画素データをラスタースキャン順序で読み出す。
上記復号方法を実行するため、デコーダ７は、上記エンコーダ５で多重化された、上記図７にフォーマットを示した符号化画素データを代表画素情報の信号レベルデータ（Ｒ，Ｇ，Ｂ）３６と、グループ内の全ての画素情報のアドレスデータ（Ｘ，Ｙ）３７と、グループ内の画素数データＳ３５に分割する分割化部４２と、この分割化部４２で分割された信号レベルデータとアドレスデータに関する各差分の符号値から差分を復号する差分復号化部４３と、差分復号化部４３からの差分復号出力から、代表画素の信号レベルデータと、各画素情報のアドレスデータを得る復号部を構成する加算器４４及びレジスタ４５と、上記復号部で得られたグループ内の画素情報のアドレスデータＸ，Ｙに基づいて信号レベルデータＲ，Ｇ，Ｂが書き込まれた後、ラスタスキャン順序で画素情報が読み出されるマクロブロックメモリ４６ａ及び４６ｂとを備える。ここで、上記マクロブロックメモリ４６ａ及び４６ｂにおける読み出しのためのアドレスは、アドレスカウンタ４７がラスタスキャン順序にしたがったアドレスとしてカウントする。また、このデコーダ７は、分割化部４２で分割された、グループ内の画素数データＳ３５を復号する画素数データ復号化部４９と、この画素数データ復号化部４９で復号した画素数データを記憶しておくレジスタ５０とを備える。
デコーダ７での動作の流れは以下のようになる。すなわち、分割化部４２は、入力端子ＩＮＲを介して受信した上記図７にフォーマットを示す符号化画素データを上記信号レベルデータの差分符号化値、上記アドレスデータの差分符号化値、及び画素数データの符号化値に分割し、差分復号化部４３の各差分復号化器４３Ｒ，４３Ｇ，４３Ｂ，４３Ｘ，４３Ｙと、画素数データ復号化部４９にそれぞれ供給する。具体的には、ヘッダの画素数データに基づいてアドレスデータの個数を判別することで、各データを分割できる。
差分復号化器４３Ｒ，４３Ｇ，４３Ｂ，４３Ｘ，４３Ｙで復号化された上記信号レベルデータの差分値と、上記アドレスデータの差分値は上記復号部を構成する、加算器４４Ｒ，４４Ｇ，４４Ｂ，４４Ｘ，４４Ｙに供給される。加算器４４Ｒ，４４Ｇ，４４Ｂには、レジスタ４５Ｒ，４５Ｇ，４５Ｂに格納されている、前のグループの代表画素情報の信号レベルデータ、Ｒ，Ｇ，Ｂがフィードバックされるので、現在の代表画素情報の信号レベルデータを復号できる。また、加算器４４Ｘ，４４Ｙには、レジスタ４５Ｘ，４５Ｙに格納されている以前の画素情報のアドレスデータ、Ｘ，Ｙもフィードバックされる。また、レジスタ４５Ｘ，４５Ｙには、レジスタ５０に格納された画素数データが供給され、アドレスデータの切り出しに使われる。
そして、上記復号部からの各復号出力は、バンク構造とされたマクロブロックメモリ４６ａ及び４６ｂに供給される。アドレスカウンタ４７は、上述したように、上記符号化時に用いられたアドレスデータをラスタスキャンで読み出すので、マクロブロックメモリ４６ａ及び４６ｂからは出力端子４８を介してラスタスキャンの画像信号が出力される。
このように、上記実施の形態では、複数の画素情報を有する例えばフレーム単位の画像信号を複数のマクロブロックに分割し、そのマクロブロック内で相関のある画素情報をグループ化し、グループ内の代表画素情報の信号レベルを示す信号レベルデータと、グループ内の全ての画素情報のアドレスデータと、グループ内に存在する画素情報の数を示す画素数データとに基づいてグループ内の複数の画素情報を符号化するので、情報量を削減できる。また、グループ化を導入して画素情報を代表値化することで、エンコーダの処理速度が向上する。
なお、上記図１に示した画像処理システムの符号化装置２では、エンコーダ５の代わりに、図９に示すエンコーダ５０を用いてもよい。このエンコーダ５０は、評価部１３の前段に間引き部５１を用いている点がエンコーダ５と異なる。
この間引き部５１は、画素情報の信号信号レベルデータとアドレスデータを削減する。この間引き部５１の原理を図１０及び図１１を用いて説明する。図１０に示す２×２のブロックの４画素に着目し、その信号分布に対して適応的に図１１の４パターンの画素密度に置き換える。４つの画素は各画素値ａ，ｂ，ｃ，ｄを持っている。
ＴＨをしきい値とすると、図１１Ａのパターン１では｜ａ−ｂ｜＜ＴＨ，｜ｂ−ｃ｜＜ＴＨ，｜ｃ−ｄ｜＜ＴＨ，｜ｄ−ａ｜＜ＴＨ，｜ａ−ｃ｜＜ＴＨ，｜ｂ−ｄ｜＜ＴＨの全てを満たしたとき、（ａ＋ｂ＋ｃ＋ｄ）／４に置き換える。また、図１１Ｂのパターン２では｜ａ−ｂ｜＜ＴＨ，｜ｃ−ｄ｜＜ＴＨのみ満たしたとき、（ａ＋ｃ）／２，（ｂ＋ｄ）／２に置き換える。また、図１１Ｃのパターン３では｜ａ−ｃ｜＜ＴＨ，｜ｂ−ｄ｜＜ＴＨのみ満たしたとき、（ａ＋ｂ）／２，（ｃ＋ｄ）／２に置き換える。また、図１１Ｄのパターン４では上記のどれも満たさないとき、元の画素値のままとする。
この間引き部５１を用いたエンコーダ５０を符号化装置に用いることにより、情報量をさらに削減できる。
図１２には、エンコーダ５０を用いたときに必要なデコーダ５３の構成を示す。マクロブロックメモリ４６ａ及び４６ｂから読み出した画像信号に、ラインメモリ５４を用いた補間処理を画素アドレス補間部５５で施す必要がある。そして、補間出力を出力端子５６から出力する。
産業上の利用可能性
本発明によれば、複数の画素情報からなる画像信号をグループ化して符号化した符号化画像データを伝送するので、信号値の符号化効率を向上できる。ラスタスキャンには必要ないアドレスデータを送るのでその情報量は増えるが、それ以上に信号値の情報量を削減できるので、トータルとして符号化効率が良くなる。 また、グループ化されて符号化されてきた符号化画素データを簡単な構成で復号できる。
【図面の簡単な説明】
図１は本発明の実施の形態である画像処理システムの構成を示すブロック図である。
図２は上記画像処理システムの符号化装置側のエンコーダの詳細な構成を示すブロック図である。
図３は上記符号化装置の動作を説明するためのフローチャートである。
図４は上記エンコーダを構成するグループ判定ユニットの詳細な構成を示すブロック図である。
図５は上記グループ判定ユニット内部の相関判定ユニットの詳細な構成を示すブロック図である。
図６は上記エンコーダでの差分符号化を説明するための図である。
図７は上記符号化装置が伝送媒体に渡す符号化画素データのフォーマット図である。
図８は上記画像処理システムの復号装置側のデコーダの構成を示すブロック図である。
図９は上記図２に示したエンコーダの他の具体例のブロック図である。
図１０は上記図９に構成を示したエンコーダが行う間引き処理を説明するために用いる２×２のブロック４画素を示す図である。
図１１Ａ、１１Ｂ、１１Ｃ、１１Ｄは上記図１０に示した４画素に対して取られる間引きの４パターンを示す図である。
図１２は上記図８に示したデコーダの他の具体例を示すブロック図である。
Claims (12)
- 複数の画素データを有する画像信号から、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより、上記複数の画素データを複数のグループにグループ化するグループ化部と、
上記グループ毎に、上記グループ内の上記代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化する符号化部とを備える
符号化装置。 - 上記グループ化部は、所定の範囲としての同じフレーム、同じフィールド、若しくは同じフレーム又はフィールド内の同じマクロブロック内に含まれる複数の画素データに対して、グループ化を行う請求項１記載の符号化装置。
- 上記位置データは、上記所定の範囲内におけるアドレスを示す請求項２記載の符号化装置。
- 上記符号化部は、あるグループの上記代表画素データのレベルデータに対して、直前に符号化したグループの代表画素データのレベルデータとの差分を符号化する請求項１記載の符号化装置。
- 上記符号化部は、上記グループ内に存在する画素データの数を示す画素数データをも符号化する請求項１記載の符号化装置。
- 複数の画素データからなる画像信号に対して、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより複数のグループにグループ化し、上記グループ毎の複数の画素データに対して、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化することによって生成された複数の符号化画素データから、上記複数の画素データを復号する復号装置であって、
上記グループ毎に、上記複数の符号化画素データから上記代表画素データのレベルデータと上記複数の位置データのそれぞれの差分とを分割する分割部と、
上記分割部により分割された上記グループ内の上記複数の位置データのそれぞれの差分を復号してそれぞれの画素の位置データを得る位置復号化部と、
上記分割部により分割された上記代表画素データのレベルデータを、上記位置復号化部により復号された複数の位置データが示す位置にそれぞれ配置する変換部と
を備える復号装置。 - 上記符号化画素データは、あるグループの上記代表画素データのレベルデータに対して、直前に符号化したグループの代表画素データのレベルデータとの差分がとられて符号化されたレベルデータの差分符号値を含み、
上記分割部は、上記複数の符号化画素データから上記レベルデータの差分符号値を分割し、
上記分割部により分割された上記差分符号値を復号して上記グループ毎の代表画素画素データのレベルデータを得るレベル復号化部をさらに備える請求項６記載の復号装置。 - 上記複数の符号化画素データは、上記グループ毎に、上記グループ内に存在する画素データの数を示す画素数データをも符号化を行うことによって生成されている請求項６記載の復号装置。
- 上記分割部は、上記複数の符号化画素データから上記グループ毎に上記画素数データを分割し、
上記変換部は、上記画素数データと、上記レベルデータと、上記複数の位置データとに基づいて、上記グループ毎に、上記グループ内の複数の画素データを変換する請求項８記載の復号装置。 - 上記複数の符号化画素データは、所定の範囲内としての同じフレーム、同じフィールド、若しくは同じフレーム又はフィールド内の同じマクロブロック内毎に上記複数のグループへのグループ化が行われている請求項６記載の復号装置。
- 複数の画素データを有する画像信号から、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより、上記複数の画素データを複数のグループにグループ化するステップと、
上記各グループ毎に、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化するステップと
を有する符号化方法。 - 複数の画素データからなる画像信号に対して、任意の代表画素データを選び、上記代表画素データと他の複数の画素データとの相関を評価して相関が高い画素データを同じグループとすることにより複数のグループにグループ化し、上記グループ毎の複数の画素データに対して、上記グループ内の代表画素データの信号レベルを示すレベルデータと、上記グループ内の上記代表画素データの位置データに対する他の複数の画素データの位置データのそれぞれの差分とを符号化することによって生成された複数の符号化画素データから、上記複数の画素データを復号する復号方法であって、
上記グループ毎に、上記複数の符号化画素データから上記代表画素データのレベルデータと上記複数の位置データのそれぞれの差分とを分割するステップと、
上記分割された上記グループ内の上記複数の位置データのそれぞれの差分を復号してそれぞれの画素の位置データを得るステップと、
上記分割された上記代表画素データのレベルデータを、上記復号された複数の位置データが示す位置にそれぞれ配置するステップと
を有する復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000571662A JP4846903B2 (ja) | 1998-09-21 | 1999-09-21 | 符号化装置及び方法、復号装置及び方法 |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26698598 | 1998-09-21 | ||
| JP1998266985 | 1998-09-21 | ||
| JP10-266985 | 1998-09-21 | ||
| PCT/JP1999/005167 WO2000018126A1 (fr) | 1998-09-21 | 1999-09-21 | Dispositif et procede de codage et de decodage |
| JP2000571662A JP4846903B2 (ja) | 1998-09-21 | 1999-09-21 | 符号化装置及び方法、復号装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2000018126A1 JPWO2000018126A1 (ja) | 2001-12-18 |
| JP4846903B2 true JP4846903B2 (ja) | 2011-12-28 |
Family
ID=17438466
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000571662A Expired - Fee Related JP4846903B2 (ja) | 1998-09-21 | 1999-09-21 | 符号化装置及び方法、復号装置及び方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6463179B1 (ja) |
| EP (1) | EP1032218B1 (ja) |
| JP (1) | JP4846903B2 (ja) |
| KR (1) | KR100656690B1 (ja) |
| DE (1) | DE69942086D1 (ja) |
| WO (1) | WO2000018126A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1033885B1 (en) * | 1998-09-21 | 2009-06-24 | Sony Corporation | Encoding device and method, and decoding device and method |
| EP1753242A2 (en) * | 2005-07-18 | 2007-02-14 | Matsushita Electric Industrial Co., Ltd. | Switchable mode and prediction information coding |
| JP2008227702A (ja) * | 2007-03-09 | 2008-09-25 | Oki Electric Ind Co Ltd | 動きベクトル探索装置、動きベクトル探索方法及び動きベクトル探索プログラム |
| JP2009225260A (ja) * | 2008-03-18 | 2009-10-01 | Fujitsu Ten Ltd | 制御装置、制御方法、車両の制御装置、及び車両の制御システム |
| US7701366B2 (en) | 2008-07-25 | 2010-04-20 | Seiko Epson Corporation | Data compression by multi-order differencing |
| JP2015050671A (ja) * | 2013-09-02 | 2015-03-16 | 株式会社東芝 | 固体撮像装置 |
| US20230031245A1 (en) * | 2021-07-23 | 2023-02-02 | Teradici Co. | Encoder changes |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62100077A (ja) * | 1985-10-28 | 1987-05-09 | Nippon Telegr & Teleph Corp <Ntt> | 符号化方法および装置 |
| US5225904A (en) * | 1987-10-05 | 1993-07-06 | Intel Corporation | Adaptive digital video compression system |
| US4953019A (en) * | 1987-11-27 | 1990-08-28 | Canon Kabushiki Kaisha | Image signal encoding apparatus |
| US5220440A (en) * | 1990-10-10 | 1993-06-15 | Fuji Xerox Co., Ltd. | Data compression method having a fixed ratio of compression for image data, and image data compression device |
| JP2621747B2 (ja) * | 1992-10-06 | 1997-06-18 | 富士ゼロックス株式会社 | 画像処理装置 |
| JPH07123269A (ja) * | 1993-10-22 | 1995-05-12 | Fuji Xerox Co Ltd | 画像信号の符号化装置 |
| JPH07212760A (ja) * | 1994-01-14 | 1995-08-11 | Nippon Telegr & Teleph Corp <Ntt> | 動画像の動き補償予測符号化方法 |
| US5552832A (en) * | 1994-10-26 | 1996-09-03 | Intel Corporation | Run-length encoding sequence for video signals |
| US5978514A (en) * | 1994-11-10 | 1999-11-02 | Kabushiki Kaisha Toshiba | Image data coding and decoding system for efficiently compressing information using the shape and position of the image content |
| JPH09219856A (ja) * | 1996-02-13 | 1997-08-19 | Sharp Corp | 画像符号化装置 |
| US5740278A (en) * | 1996-02-16 | 1998-04-14 | Cornell Research Foundation, Inc. | Facsimile-based video compression method and system |
| JP4049280B2 (ja) * | 1996-09-24 | 2008-02-20 | 株式会社ハイニックスセミコンダクター | グレースケール形状情報符号化／復号化装置及び方法 |
| JP3796844B2 (ja) * | 1996-10-04 | 2006-07-12 | ソニー株式会社 | 画像処理装置、画像処理方法、パラメータ生成装置およびパラメータ生成方法 |
| US5982938A (en) * | 1997-03-31 | 1999-11-09 | Iterated Systems, Inc. | System and method for compressing data using differential coding of coefficient addresses |
-
1999
- 1999-09-21 JP JP2000571662A patent/JP4846903B2/ja not_active Expired - Fee Related
- 1999-09-21 DE DE69942086T patent/DE69942086D1/de not_active Expired - Lifetime
- 1999-09-21 WO PCT/JP1999/005167 patent/WO2000018126A1/ja not_active Ceased
- 1999-09-21 KR KR1020007005438A patent/KR100656690B1/ko not_active Expired - Fee Related
- 1999-09-21 EP EP19990943464 patent/EP1032218B1/en not_active Expired - Lifetime
-
2000
- 2000-05-18 US US09/574,136 patent/US6463179B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| DE69942086D1 (de) | 2010-04-15 |
| EP1032218A4 (en) | 2005-06-15 |
| KR100656690B1 (ko) | 2006-12-19 |
| US6463179B1 (en) | 2002-10-08 |
| EP1032218A1 (en) | 2000-08-30 |
| US20020075955A1 (en) | 2002-06-20 |
| EP1032218B1 (en) | 2010-03-03 |
| KR20010032237A (ko) | 2001-04-16 |
| WO2000018126A1 (fr) | 2000-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8422803B2 (en) | Image encoding device, image decoding device, image encoding method and image decoding method | |
| KR101139138B1 (ko) | 화상 부호화 장치, 화상 부호화 방법, 화상 복호 장치 및 화상 복호 방법 | |
| KR100966427B1 (ko) | 화상 복호 장치 및 화상 복호 방법 | |
| US8509551B2 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recording with image encoding program and computer readable recording medium recorded with image decoding program | |
| US20090034856A1 (en) | Image encoding device, image decoding device, image encoding method, image decoding method, image encoding program, image decoding program, computer readable recording medium having image encoding program recorded therein | |
| US20080165849A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
| US20080123977A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
| US20080137744A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
| US20080130989A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
| US20080130990A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
| US20080130988A1 (en) | Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program | |
| JP2008527789A (ja) | エントロピー符号化方法 | |
| CN102025991A (zh) | 编码方法、译码方法、编码装置、译码装置、图像处理系统、编码程序和译码程序 | |
| JP4846903B2 (ja) | 符号化装置及び方法、復号装置及び方法 | |
| JP4356240B2 (ja) | 符号化装置及び方法、復号装置及び方法 | |
| JPWO2000018126A1 (ja) | 符号化装置及び方法、復号装置及び方法 | |
| JPWO2000018133A1 (ja) | 符号化装置及び方法、復号装置及び方法 | |
| CN113973208A (zh) | 数据编码、解码方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060307 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060307 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090421 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090622 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090714 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091013 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20091029 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110817 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111013 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141021 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |