JP4736244B2 - 符号化装置、符号化方法、復号化装置および復号化方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、画像データの符号化に適用される符号化装置、符号化方法、復号化装置および復号化方法に関する。
【０００２】
【従来の技術】
従来から画像の有する相関性を利用して情報量を削減する符号化方法が知られている。すなわち、画像は、近傍画素ほど相関が高く、冗長度を除去する効率を良くすることができる。しかしながら、画像は、平坦部、急峻なエッジ等の種々の形状から成り立っており、より良い符号化を行うためには、その形状領域を抽出してオブジェクト化したり、形状に従って量子化特性を変える等の最適化が図られている。
【０００３】
【発明が解決しようとする課題】
オブジェクト化に関しては、種々の試みがあるものの技術的に難しく、理想的なオブジェクト化が殆ど不可能であると言われている。以上のことを考えると、従来の符号化方法は、画像にとって本当に最適であるとは言い難い。例えば、繰り返しパターンの画像を考えると、近傍以外に相関が高い画素が存在する。色のコンポーネントを考えると、コンポーネント間の相関性もある。従来の符号化方法は、近傍画素の相関性だけを使用したものであり、他の冗長な部分が残されているという問題があった。
【０００４】
したがって、この発明の目的は、空間的に離れた画素においても相関性を見つける手段を持ち、また、色コンポーネント間の相関を使うことを容易とすることができる符号化装置、符号化方法、復号化装置および復号化装置を提供することにある。
【０００５】
【課題を解決するための手段】
上述した課題を解決するために、請求項１の発明は、直前に伝送された画素を注目画素とし、注目画素に対して所定の方向に位置する１ないし複数の画素を候補画素として決定する画素決定手段と、注目画素の色空間におけるベクトルと候補画素の色空間におけるベクトルとの差分を示す差分ベクトルを生成する差分ベクトル生成手段と、複数のベクトルを有するベクトルテーブルを記憶する記憶手段と、ベクトルテーブルのベクトルと差分ベクトルとを使用した演算を行うことにより、差分ベクトルに対する評価値を得る評価手段と、評価手段によって最小の評価値が得られた差分ベクトルに対応する候補画素を伝送する画素と決定し、決定した伝送する画素の差分ベクトルに対応するベクトルコードを含む符号化データを生成する生成手段とを備える符号化装置である。
【０００６】
請求項４の発明は、直前に伝送された画素を注目画素とし、注目画素に対して所定の方向に位置する１ないし複数の画素を候補画素として決定する画素決定ステップと、注目画素の色空間におけるベクトルと候補画素の色空間におけるベクトルとの差分を示す差分ベクトルを生成する差分ベクトル生成ステップと、複数のベクトルを有するベクトルテーブルを記憶する記憶ステップと、ベクトルテーブルのベクトルと差分ベクトルとを使用した演算を行うことにより、差分ベクトルに対する評価値を得る評価ステップと、評価ステップによって最小の評価値が得られた差分ベクトルに対応する候補画素を伝送する画素と決定し、決定した伝送する画素の差分ベクトルに対応するベクトルコードを含む符号化データを生成する生成ステップとを有する符号化方法である。
【０００７】
請求項５の発明は、直前に伝送された画素を注目画素とし、注目画素に対して所定の方向に位置する１ないし複数の画素を候補画素として決定し、注目画素の色空間におけるベクトルと候補画素の色空間におけるベクトルとの差分を示す差分ベクトルを生成し、複数のベクトルを有するベクトルテーブルを記憶し、ベクトルテーブルのベクトルと差分ベクトルとを使用した演算を行うことにより、差分ベクトルに対する評価値を得、最小の評価値が得られた差分ベクトルに対応する候補画素を伝送する画素と決定し、決定した伝送する画素の差分ベクトルに対応するベクトルコードを含む符号化データを生成する符号化装置から伝送される符号化データを復号する復号化装置であって、ベクトルテーブルを記憶する記憶手段と、ベクトルテーブルのベクトルを使用して、符号化データに含まれるベクトルコードから差分ベクトルを再構成する再構成手段と、再構成された差分ベクトルと直前に復号した復号化データとを使用して、色空間におけるベクトルを生成するベクトル生成手段とを備える復号化装置である。
【０００８】
請求項６の発明は、直前に伝送された画素を注目画素とし、注目画素に対して所定の方向に位置する１ないし複数の画素を候補画素として決定し、注目画素の色空間におけるベクトルと候補画素の色空間におけるベクトルとの差分を示す差分ベクトルを生成し、複数のベクトルを有するベクトルテーブルを記憶し、ベクトルテーブルのベクトルと差分ベクトルとを使用した演算を行うことにより、差分ベクトルに対する評価値を得、最小の評価値が得られた差分ベクトルに対応する候補画素を伝送する画素と決定し、決定した伝送する画素の差分ベクトルに対応するベクトルコードを含む符号化データを生成する符号化装置から伝送される符号化データを復号する復号化方法であって、ベクトルテーブルを記憶する記憶ステップと、ベクトルテーブルのベクトルを使用して、符号化データに含まれるベクトルコードから差分ベクトルを再構成する再構成ステップと、再構成された差分ベクトルと直前に復号した復号化データとを使用して、色空間におけるベクトルを生成するベクトル生成ステップとを有する復号化方法である。
【０００９】
この発明では、エッジ部等のために相関がない画素が近傍に位置している場合でも、従来の規則的なスキャン（ラスタースキャン）以外のスキャンを行うことによって、より相関が高い画素同士を見つけ、冗長度を除去することができる。また、規則的なスキャンを行なわないので、必要な画素のデータのみを伝送したり、伝送方法の自由度を増やすことができる。さらに、この発明では、色コンポーネントをベクトル化することによって、まとめて扱い、コンポーネント間の相関も利用して情報量をより削減することができる。
【００１０】
【発明の実施の形態】
以下、この発明の一実施形態について説明する。図１は、エンコーダの構成を示し、図２は、デコーダの構成を示す。ＹＵＶ表色系の入力ディジタル画像信号（動画像信号）の各コンポーネント（Ｙ，Ｕ，Ｖ）がＲＡＭ(Randam Access Memory)１Ｙ、１Ｕ、１Ｖに書き込まれる。ＲＡＭ１Ｙ、１Ｕ、１Ｖは、数フレーム分の容量をそれぞれ有する。
【００１１】
この一実施形態では、従来のラスタースキャンのような規則的な伝送順序ではなく、画像の信号特性を評価することによって伝送順序が決定される。この伝送順序を決定するために、ＲＡＭ８および伝送画素探索部９が設けられている。ＲＡＭ８には、伝送済み／未伝送のフラグが蓄積されており、伝送画素探索部９は、ＲＡＭ８に格納されているフラグを参照してある規範で決定される伝送されていない画素を探索する。例えば上下左右の４方向において、未伝送画素を探索する。伝送画素探索部９が探索した例えば４個の未伝送画素に対応するアドレスがＲＡＭ１Ｙ、１Ｕ、１Ｖに供給され、その画素がＲＡＭ１Ｙ、１Ｕ、１Ｖから読み出され、ベクトル化部２に供給される。
【００１２】
ベクトル化部２は、読み出された未伝送画素のコンポーネント信号をベクトル表現のデータに変換する。すなわち、コンポーネント信号がＹＵＶ空間内の一点としてベクトル化される。図３は、ベクトル表現のいくつかの例を示す。図３Ａは、ＹＵＶ表色系の場合を示す。互いに直交する３個の軸がそれぞれＹ、Ｕ、Ｖを表す軸とされる。一つの画素の値が３次元ベクトル（Ｙ，Ｕ，Ｖ）で表現される。ＲＧＢ表色系の場合では、図３Ｂに示すように、一つの画素の値が３次元ベクトル（Ｒ，Ｇ，Ｂ）で表現される。さらに、コンポーネントを部分的に用いて、図３Ｃに示すような２次元ベクトル（Ｙ，Ｕ）または（Ｙ，Ｖ）で画素の値を表現することも可能である。
【００１３】
上述したベクトルの要素は、図４に示すような画枠（フレーム）を考えた場合、同じ画像内容を表す同じアドレスの要素で構成する。例えば（４：４：４）フォーマットのコンポーネント信号のコンポーネントを表している図４Ａの場合では、（Ｙ０，Ｕ０，Ｖ０）、（Ｙ１，Ｕ１，Ｖ１）、・・・・がそれぞれベクトルを構成する。図４Ｂに示すＲＧＢ表色系では、（Ｒ０，Ｂ０，Ｇ０）、（Ｒ１，Ｇ１，Ｂ１）、・・・・がそれぞれベクトルを構成する。さらに、（４：２：２）フォーマットのコンポーネント信号の場合では、図４Ｃに示すように、（Ｙ０，Ｕ０）、（Ｙ１，Ｖ１）、・・・・がそれぞれベクトルを構成する。
【００１４】
ベクトル化部２の出力信号がベクトル演算部３に供給される。ベクトル演算部３に対しては、ローカルデコーダ６の出力データが供給される。ベクトル演算部３では、注目画素（ベクトル）からそれぞれの候補ベクトルへの差分ベクトルが計算され、差分ベクトルがベクトル評価部４に送られる。ベクトル評価部４では、直前の伝送符号データをローカルデコーダ６で復号した値を用いた演算値と、符号化するためのベクトルテーブルが格納されたＲＯＭ５（またはＡＬＵ(Arithmetic Logical Unit)による値)を用いてベクトル評価を行い、符号化データが出力される。符号化データは、例えば伝送画素の注目画素から見たスキャン方向を示す方向コードとコンポーネントベクトルのインデックスとからなる。
【００１５】
図２を参照してデコーダについて説明する。参照符号１１は、符号化データが供給される入力端子である。符号化データは、例えば方向コードとインデックスからなる。インデックスがベクトル取り出し部１２に供給される。ベクトル取り出し部１２は、ＲＯＭ１３（またはＡＬＵによる演算値)に格納されたテーブルを参照して、インデックスからベクトルを再構築する。このＲＯＭ１３には、エンコーダ側のＲＯＭ８と同一のテーブルが格納されている。
【００１６】
ベクトル取り出し部１２からのベクトルが差分ベクトルであり、ベクトル演算部１４に供給され、直前の復号化データ（遅延部１５の出力）を使用してベクトルデータに変換される。ベクトル演算部１４からのベクトルデータがベクトル分解部１６に供給され、ベクトルデータが各コンポーネントＹＵＶへ分解される。各コンポーネントがＲＡＭ１７Ｙ，１７Ｕ，１７Ｖのそれぞれに対して供給され、これらのＲＡＭの出力位置に書き込まれる。
【００１７】
一方、符号化データ中のスキャン方向を示す方向コードが出力位置探索部１９に供給される。出力位置探索部１９は、方向コードから出力位置を示すデータを取り出し、ＲＡＭ２０に書き込まれた情報を調べ、ＲＡＭ１７Ｙ，１７Ｕ，１７Ｖに書き込むべき画素位置を探索し、探索した画素位置をアドレスとしてこれらのＲＡＭに供給する。ＲＡＭ１７Ｙ，１７Ｕ，１７Ｖから読み出された各コンポーネントの復号化データ（Ｙ’，Ｕ’，Ｖ’）が出力端子１８Ｙ，１８Ｕ，１８Ｖからそれぞれ出力される。
【００１８】
上述したエンコーダおよびデコーダにおけるベクトル演算の例を図５に示す。図５は、コンポーネントＹ，Ｕ，Ｖをそれぞれ直交する軸上の値とする３次元座標である。また、（Ｙｅ，Ｕｅ，Ｖｅ）が符号化しようとする未伝送画素のベクトルを表し、（Ｙｄ，Ｕｄ，Ｖｄ）が直前の伝送画素のベクトルを示す。エンコーダでは、符号化しようとするベクトルから直前の伝送画素のベクトルを減算した差分ベクトル（Ｙｓ，Ｕｓ，Ｖｓ）が求められる。デコーダでは、直前に復号されたベクトルに復号された差分ベクトルを加算して復号ベクトルを得るようになされる。
【００１９】
なお、座標系としては、図５に示す３次元座標系に限定されるものではなく、他の座標系例えば極座標系を使用しても良い。この場合では、二つのベクトルを極座標系における２点でそれぞれ表現し、両者の差が求められる。また、エンコーダ側およびデコーダ側におけるベクトル変換は、上述した加減算に限られるものではなく、各種色表現、画素レベル値等を使用できる。
【００２０】
次に、一実施形態における伝送候補の探索と、ベクトル評価方法について、より詳細に説明する。先ず、伝送画素の探索方法の一例および他の例を図６に示す。直前に伝送された画素を注目画素とする。次に伝送しようとする画素候補を注目画素を拠点として探索する。探索する道順に位置する画素が伝送済みの場合では、その画素をスキップして次の候補を探索し、未だ伝送していない画素であれば、その画素を伝送候補とする。
【００２１】
図６Ａは、注目画素に対して上下左右の４方向に位置する画素の何れかが伝送される。図６において、斜線を付した画素が注目画素であり、黒い丸で示す画素が伝送済み画素であり、白い丸で示す画素が未伝送画素である。図６Ａに示す方法では、１画素について２ビットのアドレス情報が必要である。候補を一つも取得することができなかったときは、ラスタースキャンに切り替えられる。
【００２２】
図６Ｂは、注目画素に対して上下左右および斜めの計８方向に位置する画素の何れかが伝送される。この場合には、１画素について３ビットのアドレス情報が必要である。図６Ｂのスキャンパターンは、多くの候補の中から伝送画素を選択するので、近傍相関性をより活かすことができるが、アドレス情報が図６Ａのスキャン方法に比して１ビット増え、その分画素に割り当てることができるデータが１ビット減少する問題がある。
【００２３】
図７に示したフローチャートを参照して、エンコード処理における候補選択処理の流れを説明する。ステップＳ１において、注目画素からの探索方向を決定する。次のステップＳ２では、伝送フラグメモリ（図１中のＲＡＭ８が相当する）がチェックされ、ステップＳ３において、探索方向に位置する画素が伝送済み画素か否かが決定される。伝送済み画素であれば、処理がステップＳ１に戻る。
【００２４】
ステップＳ３において、伝送済み画素でないと決定されると、その画素が伝送画素の候補とされる（ステップＳ４）。ステップＳ５では、候補数が規定数に達するかどうか判定する。探索方法が図６Ａに示すものであれば、４個の候補数が規定数である。若し、ステップＳ５において、候補数が規定数に達しないと判定される場合には、処理がステップＳ１に戻る。そして、候補数が規定数に達するまで候補が取得される。候補数が規定数に達したならば、処理が終了する。
【００２５】
図８のフローチャートを参照してベクトルを評価する処理について説明する。最初にステップＳ１０として示す伝送画素の探索と、ステップＳ１１として示す注目画素のローカルデコードとが並列的になされる。伝送画素の探索処理は、図７を参照して上述したものである。ステップＳ１１によって、直前に伝送した画素のローカルデコード値が得られる。ステップＳ１２では、ベクトル候補が終了したか否かが決定される。ベクトル候補が終了していない場合では、ステップＳ１３において、ベクトル変換がなされる。若し、ベクトル候補が終了していれば、全体の処理が終了する。
【００２６】
ステップＳ１３のベクトル変換は、ローカルデコード値と伝送候補ベクトルとの差分ベクトルを求める処理である。次のステップＳ１４では、候補画素が終了したか否かが決定される。若し、終了していれば、ステップＳ１５において、次のベクトル候補が決定され、さらにステップＳ１６において、最初の候補画素が決定される。そして、処理がステップＳ１２に戻る。
【００２７】
ステップＳ１４において、候補画素が終了していなければ、ベクトル評価のステップＳ１７に処理が移る。ベクトル評価は、ステップＳ１３で求められた差分ベクトルと、符号化に必要なベクトルテーブル内のベクトルを使用する。ベクトル評価方法は、テーブル内のベクトルを（Ｙｔ，Ｕｔ，Ｖｔ）と表記し、差分ベクトルを（Ｙｓ，Ｕｓ，Ｖｓ）と表記すると、下式の評価関数で求まる評価値Ｅに基づいてなされる。但し、sqrt()は、平方根を意味し、＾２は、自乗を意味する。
【００２８】
Ｅ＝sqrt((Yt-Ys)＾2＋(Ut-Us)＾2＋(Vt-Vs)＾2)
【００２９】
ステップＳ１８では、最適な評価値Ｅ、すなわち、最小の評価値Ｅかどうかを決定する。最適な評価値の場合では、ステップＳ１９において、候補画素位置とベクトル候補とを記憶する。テーブル内の次のベクトルにモード伝送データとして、評価関数によって決定された伝送画素の方向コードと伝送画素のベクトルコードを伝送する。ステップＳ２０では、次の候補画素が決定され、ステップＳ１３に処理が戻る。
【００３０】
図９に示したフローチャートを参照して、デコード処理における候補選択処理の流れを説明する。ステップＳ３１において、直前に伝送された注目画素位置に対して、受け取った符号化データ中の方向コードが示す方向を探索方向と決定する。次のステップＳ３２では、デコーダ側が備えているフラグメモリ（図２中のＲＡＭ２０が相当する）を探索方向に沿ってチェックする。ステップＳ３３において、格納済み画素か否かが決定される。格納済み画素であれば、処理がステップＳ３１に戻る。
【００３１】
ステップＳ３３において、格納済み画素でないと決定されると、その位置が格納画素位置として決定される。この格納画素位置にデコードする画素データの候補数が規定数に達するかどうか判定する（ステップＳ３５）。探索方法が図６Ａに示すものであれば、４個の候補数が規定数である。若し、ステップＳ３５において、候補数が規定数に達しないと判定される場合には、処理がステップＳ３１に戻る。そして、候補数が規定数に達するまで候補が取得される。候補数が規定数に達したならば、処理が終了する。
【００３２】
図１０を参照して格納画素位置にデコードする画素データを求める処理を説明する。最初にステップＳ４０として示す伝送画素の探索と、ステップＳ４１として示すベクトル取り出しとが並列的になされる。ステップＳ４０の処理は、図９を参照して上述したものである。ステップＳ４１においてなされるベクトル取り出しの処理は、符号化データ中のベクトルコード（インデックス）に基づいてベクトルテーブルからベクトルデータを取り出す処理である。
【００３３】
取り出されたベクトルデータがステップＳ４２において、ベクトル演算がなされ、画素ベクトルに変換される。そして、ステップＳ４３において、画素ベクトルが各コンポーネント（Ｙ，Ｕ，Ｖ）に分解され、各コンポーネントが格納位置に格納する。
【００３４】
この発明は、上述したこの発明の一実施形態等に限定されるものでは無く、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば評価値としては、上述したもの以外の方法で求めるようにしても良い。
【００３５】
【発明の効果】
この発明では、エッジ部等のために相関がない画素が近傍に位置している場合でも、従来の規則的なスキャン（ラスタースキャン）以外のスキャンを行うことによって、より相関が高い画素同士を見つけ、冗長度を除去することができる。また、規則的なスキャンを行なわないので、必要な画素のデータのみを伝送したり、伝送方法の自由度を増やすことができる。さらに、この発明では、色コンポーネントをベクトル化することによって、コンポーネント間の相関も利用して情報量をより削減することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態におけるエンコーダの構成を示すブロック図である。
【図２】この発明の一実施形態におけるデコーダの構成を示すブロック図である。
【図３】コンポーネント信号のベクトル表現の例を示す略線図である。
【図４】コンポーネント信号の説明に用いる略線図である。
【図５】この発明の一実施形態におけるベクトル変換の例を示す略線図である。
【図６】この発明の一実施形態における伝送画素の探索方法の一例および他の例を説明するための略線図である。
【図７】この発明の一実施形態におけるエンコード処理中の伝送候補を探索する処理の流れを示すフローチャートである。
【図８】この発明の一実施形態におけるエンコード処理中のベクトルを評価する処理の流れを示すフローチャートである。
【図９】この発明の一実施形態におけるデコード処理中の伝送候補を探索する処理の流れを示すフローチャートである。
【図１０】この発明の一実施形態におけるデコード処理中のベクトルを格納する処理の流れを示すフローチャートである。
【符号の説明】
２・・・ベクトル化部、３・・・ベクトル演算部、４・・・ベクトル評価部、６・・・ローカルデコーダ、５・・・ベクトルテーブルが格納されたＲＯＭ５、９・・・伝送画素探索部

Claims (6)

1. 直前に伝送された画素を注目画素とし、上記注目画素に対して所定の方向に位置する１ないし複数の画素を候補画素として決定する画素決定手段と、
   上記注目画素の色空間におけるベクトルと上記候補画素の色空間におけるベクトルとの差分を示す差分ベクトルを生成する差分ベクトル生成手段と、
   複数のベクトルを有するベクトルテーブルを記憶する記憶手段と、
   上記ベクトルテーブルのベクトルと上記差分ベクトルとを使用した演算を行うことにより、上記差分ベクトルに対する評価値を得る評価手段と、
   上記評価手段によって最小の評価値が得られた差分ベクトルに対応する候補画素を伝送する画素と決定し、決定した上記伝送する画素の上記差分ベクトルに対応するベクトルコードを含む符号化データを生成する生成手段と
   を備える符号化装置。
2. 上記符号化データは、更に、上記伝送画素の位置情報を含む請求項１記載の符号化装置。
3. 上記画素決定手段は、所定の画素探索パターンに従って、上記候補画素を決定する請求項１記載の符号化装置。
4. 直前に伝送された画素を注目画素とし、上記注目画素に対して所定の方向に位置する１ないし複数の画素を候補画素として決定する画素決定ステップと、
   上記注目画素の色空間におけるベクトルと上記候補画素の色空間におけるベクトルとの差分を示す差分ベクトルを生成する差分ベクトル生成ステップと、
   複数のベクトルを有するベクトルテーブルを記憶する記憶ステップと、
   上記ベクトルテーブルのベクトルと上記差分ベクトルとを使用した演算を行うことにより、上記差分ベクトルに対する評価値を得る評価ステップと、
   上記評価ステップによって最小の評価値が得られた差分ベクトルに対応する候補画素を伝送する画素と決定し、決定した上記伝送する画素の上記差分ベクトルに対応するベクトルコードを含む符号化データを生成する生成ステップと
   を有する符号化方法。
5. 直前に伝送された画素を注目画素とし、上記注目画素に対して所定の方向に位置する１ないし複数の画素を候補画素として決定し、上記注目画素の色空間におけるベクトルと上記候補画素の色空間におけるベクトルとの差分を示す差分ベクトルを生成し、複数のベクトルを有するベクトルテーブルを記憶し、上記ベクトルテーブルのベクトルと上記差分ベクトルとを使用した演算を行うことにより、上記差分ベクトルに対する評価値を得、最小の評価値が得られた差分ベクトルに対応する候補画素を伝送する画素と決定し、決定した上記伝送する画素の上記差分ベクトルに対応するベクトルコードを含む符号化データを生成する符号化装置から伝送される符号化データを復号する復号化装置であって、
   上記ベクトルテーブルを記憶する記憶手段と、
   上記ベクトルテーブルのベクトルを使用して、上記符号化データに含まれるベクトルコードから上記差分ベクトルを再構成する再構成手段と、
   上記再構成された差分ベクトルと直前に復号した復号化データとを使用して、色空間におけるベクトルを生成するベクトル生成手段と
   を備える復号化装置。
6. 直前に伝送された画素を注目画素とし、上記注目画素に対して所定の方向に位置する１ないし複数の画素を候補画素として決定し、上記注目画素の色空間におけるベクトルと上記候補画素の色空間におけるベクトルとの差分を示す差分ベクトルを生成し、複数のベクトルを有するベクトルテーブルを記憶し、上記ベクトルテーブルのベクトルと上記差分ベクトルとを使用した演算を行うことにより、上記差分ベクトルに対する評価値を得、最小の評価値が得られた差分ベクトルに対応する候補画素を伝送する画素と決定し、決定した上記伝送する画素の上記差分ベクトルに対応するベクトルコードを含む符号化データを生成する符号化装置から伝送される符号化データを復号する復号化方法であって、
   上記ベクトルテーブルを記憶する記憶ステップと、
   上記ベクトルテーブルのベクトルを使用して、上記符号化データに含まれるベクトルコードから上記差分ベクトルを再構成する再構成ステップと、
   上記再構成された差分ベクトルと直前に復号した復号化データとを使用して、色空間におけるベクトルを生成するベクトル生成ステップと
   を有する復号化方法。

Images