JP3735244B2

JP3735244B2 - Image coding apparatus and image coding method

Info

Publication number: JP3735244B2
Application number: JP2000308730A
Authority: JP
Inventors: 眞也角野
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1996-10-30
Filing date: 2000-10-10
Publication date: 2006-01-18
Anticipated expiration: 2017-10-29
Also published as: JP2001157212A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置及び画像符号化方法に関し、特に画像信号の記録あるいは伝送を、より少ないビット数でもって画質を損なうことなく行うための符号化処理に関するものである。
【０００２】
【従来の技術】
従来の画像符号化処理は、ＭＰＥＧ２準拠の符号化方法により代表されるブロック単位で行われる符号化処理と、差分パルス符号変調（ＤＰＣＭ：Differential Pulse Code Modulation）等の画素単位で行われる符号化処理の２つに大別される。
【０００３】
ブロック単位の符号化処理は、１画像表示領域を複数のブロックに区分し、入力される画像信号（以下、画像入力信号ともいう。）の符号化処理を各ブロック毎に行う手法である。ここで、上記１画像表示領域は、ＭＰＥＧ２に準拠した符号化処理では１つの表示画面に相当するものであり、また、ＭＰＥＧ４に準拠した符号化処理では、１つの表示画面上の個々の物体（オブジェクト）に対応した形状及び大きさを有する表示領域に相当するものである。また、上記各ブロックは１画像表示領域内における所定数の画素からなる表示領域であり、該ブロックの形状としては処理が容易な矩形形状がよく使用される。
【０００４】
このようにブロック単位で画像入力信号の符号化処理を行う符号化方法では、１画像表示領域に対応する画像入力信号の符号化処理が、各ブロック毎に完結することとなる。このため、上記画像入力信号に符号化処理を施して得られる画像符号化信号を伝送する際に伝送誤りが発生しても、誤りの影響をブロック単位で収束させることが可能であるという長所がある。
【０００５】
その反面、上記ブロック単位の符号化方法では以下のような欠点がある。
まず、ブロック単位の符号化方法では、画像入力信号の符号化処理がブロック毎に完結するため、ブロック間の画素相関，つまり異なるブロック間に存在する画素値の相関性を符号化処理の際に利用することが困難である。
【０００６】
また、画像信号の予測符号化方法では、符号化の対象となる被符号化画素の画素値（被符号化画素値）を、これより先に符号化した複数の符号化済画素の画素値（符号化済画素値）を参照して予測し、該予測した画素値を用いて被符号化画素値を適応的に符号化する処理を行っている。ところが、このような予測符号化方法において符号化処理をブロック単位で行うと、被符号化画素値の符号化の際に参照される符号化済画素値がブロック内の画素に限定され、該参照される符号化済画素値の数が少なくなる。このため、被符号化画素の予測値の確からしさが小さくなり、符号化効率があまり高くならない。
【０００７】
一方、画素単位の符号化方法は、入力される画像信号を画素毎に符号化する手法であり、この符号化方法では、画像入力信号の符号化処理を画素単位で変更することも可能である。このため、この符号化方法において、例えば、画像入力信号の特性に合わせて符号語が画素毎に自動的に更新される適応算術符号化等のユニバーサル符号化処理を行うようにすれば、どのような特性の画像信号も非常に高い符号化効率でもって符号化することができる。
【０００８】
ところが、上記ユニバーサル符号化処理を行う画素単位の符号化方法により得られた画像符号化信号には、復号化側にて、符号化側と全く同様に符号語を更新する復号化処理が施されるため、上記画像符号化信号を伝送する際に伝送誤りが発生すれば、復号化側では、該伝送誤りの影響により、画像符号化信号の復号化処理を正しく行うことができない状態が長く続くという短所がある。
【０００９】
ところで、上記ブロック単位の符号化方法と画素単位の符号化方法は組み合わせることも可能であり、これらを組み合わせた符号化方法（以下、説明の都合上この符号化方法を組合せ符号化方法という。）では、画素毎に適応的に符号語を切り替え、かつ伝送誤りの影響をブロック単位で収束することが可能となり、符号化効率の高い適応算術符号化等の符号化処理を伝送誤りの影響を小さく抑えつつ行うことができる。
【００１０】
以下、この組合せ符号化方法について説明する。
図１３(a)は１フレーム画面を複数の矩形形状のブロックに区分した状態を示しており、図１３(b)はブロック内，特に符号化対象となっている被符号化ブロック及びその周辺のブロック内での画素の配列を示している。なお、各画素は、１フレーム画面内の各水平走査線に沿ってマトリクス状に配列されていることは言うまでもない。
【００１１】
図中、ＦＧは１フレームに対応する画面、Ｂ１はすでに画像信号に対する符号化処理が施された符号化済ブロック、Ｂｘは符号化処理の対象となっている被符号化ブロック、Ｂ０は未だ画像信号に対する符号化処理が施されていない未符号化ブロックである。ただし、上記各ブロックを区別しない場合はブロックＢと記載する。ＢＬｕ，ＢＬｓ，ＢＬｈ，ＢＬｍは１フレーム画面上での被符号化ブロックの上，下，左，右の境界である。また、実線の丸印はその画素値に対する符号化処理が既に施された符号化済画素を示し、点線の丸印はその画素値に対する符号化処理が未だ施されていない未符号化画素を示している。また、上記各ブロックＢは、上記１フレーム画面ＦＧ上における、４×４画素からなる画像表示領域である。
【００１２】
図１４は、符号化処理の対象となる被符号化画素Ｐｘと、その周辺に位置する周辺画素Ｐ０〜Ｐ９との位置関係を示しており、この周辺画素Ｐ０〜Ｐ９はその画素値が、被符号化画素Ｐｘの画素値を予測する際に参照されるものであり、以下参照画素Ｐ０〜Ｐ９という。
【００１３】
ここで、上記参照画素Ｐ８，Ｐ９は上記被符号化画素Ｐｘと同一の水平走査線上に位置する画素であり、該参照画素Ｐ９，Ｐ８はそれぞれ、上記被符号化画素Ｐｘの１画素分，２画素分だけ手前に位置している。また、上記参照画素Ｐ５，Ｐ１の、１フレーム画面ＦＧ上での水平方向における位置は、上記被符号化画素Ｐｘと同一であり、上記参照画素Ｐ５，Ｐ１はそれぞれ、上記被符号化画素Ｐｘの１画素分，２画素分だけ上の水平走査線上に位置している。さらに、上記参照画素Ｐ３，Ｐ４，Ｐ６，Ｐ７は上記参照画素Ｐ５と同一の水平走査線上に位置する画素であり、該参照画素Ｐ４，Ｐ３はそれぞれ上記被符号化画素Ｐｘの１画素分，２画素分だけ手前に位置し、該参照画素Ｐ６，Ｐ７はそれぞれ上記被符号化画素Ｐｘの１画素分，２画素分だけ後ろに位置している。さらに、上記参照画素Ｐ０，Ｐ２は上記参照画素Ｐ１と同一の水平走査線上に位置する画素であり、該参照画素Ｐ０は上記参照画素Ｐ１の１画素分だけ手前に、該参照画素Ｐ２は上記参照画素Ｐ１の１画素分だけ後ろに位置している。
【００１４】
上記組合せ符号化方法では、まず、図１３(a)、図１３(b) に示すように、１フレーム画面ＦＧに対応する画像信号が、該１フレーム画面を構成する複数のブロックＢの各々に対応するよう分割され、該分割された画像信号の符号化処理が各ブロック毎に行われる。
【００１５】
そして、このブロック単位の符号化処理は、ブロックＢ内における横方向画素列に沿って順次左側から右側へ向かって各画素の画素値を符号化する水平処理を、上記各ブロック内の全ての横方向画素列について最上列から順次最下列まで行うことにより完結する。
【００１６】
また、この符号化処理では、図１４に示すように、被符号化画素Ｐｘの画素値を、それぞれ被符号化画素の周辺に位置する参照画素Ｐ０〜Ｐ９の画素値から適応的に予測し、予測により得られた予測値に応じて、被符号化画素の符号化処理に用いる符号語を適応的に選択している。
【００１７】
これにより、上記組合せ符号化方法では、伝送誤りの復号化側での影響をブロック単位で収束可能とし、しかも、単純なブロック単位の符号化処理に比べて符号化効率を向上することができる。
【００１８】
一方、図１６(a)，図１６(b)及び図１７は、それぞれ上記組合せ符号化方法に対応する組合せ復号化方法を説明するための図であり、図中、Ｂ′は１フレーム画面における各ブロックであり、Ｂｘ′は被復号化ブロック、Ｂ１′は復号化済ブロック、Ｂ０′は未復号化ブロック、ＢＬｕ′，ＢＬｓ′，ＢＬｈ′，ＢＬｍ′は、被復号化ブロックＢｘ′の上，下，左，右側のブロック境界であり、Ｐ０′〜Ｐ９′は被復号化画素Ｐｘ′に対応する参照画素である。ここで、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′の配置は、図１３(a)，図１３(b)，図１４に示す符号化処理のものと全く同一となっている。
【００１９】
上記組合せ復号化方法では、まず、図１６(a)、図１６(b) に示すように、１フレーム画面ＦＧ′に対応する画像信号が、該１フレーム画面を構成する複数のブロックＢ′の各々に対応するよう分割され、該分割された画像信号の復号化処理が各ブロック毎に行われる。
【００２０】
そして、このブロック単位の復号化処理は、ブロックＢ′内における横方向画素列に沿って順次左側から右側へ向かって各画素の画素値を復号化する水平処理を、上記各ブロック内の全ての横方向画素列について最上列から順次最下列まで行うことにより完結する。
【００２１】
また、この復号化処理では、図１７に示すように、被復号化画素Ｐｘ′の画素値を、それぞれ被復号化画素の周辺に位置する参照画素Ｐ０′〜Ｐ９′の画素値から適応的に予測し、予測により得られた予測値に応じて、被復号化画素Ｐｘ′の復号化処理に用いる符号語を適応的に選択している。
【００２２】
【発明が解決しようとする課題】
しかしながら、上記ブロック単位の符号化処理と画素単位の符号化処理の両者を組合わた組合せ符号化方法では、以下のような問題があった。
この組合せ符号化方法では、符号化処理はブロック単位で進められるため、図１５に示すように被符号化画素Ｐｘが被符号化ブロックＢｘの右側境界ＢＬｍに隣接して位置する場合、該被符号化画素Ｐｘに対する参照画素Ｐ２，Ｐ６，Ｐ７が未符号化画素となる。
【００２３】
この場合、上記未符号化画素Ｐ２，Ｐ６，Ｐ７の画素値を参照して被符号化画素Ｐｘの画素値を予測し、この予測値を用いて被符号化画素Ｐｘの画素値を符号化すると、復号化側でこの被符号化画素Ｐｘに対応する画像符号化信号を正しく復号化することが不可能となる。
【００２４】
つまり、被符号化画素Ｐｘの画素値をその予測値を用いて符号化して得られる画像符号化信号を復号化側で正しく復号化するには、復号化処理の際に用いる被復号化画素Ｐｘ′の予測値を、符号化処理の際に用いる、該被復号化画素Ｐｘ′に対応する被符号化画素Ｐｘの予測値と一致させる必要がある。これは、言い換えると、符号化側では、被符号化画素Ｐｘの予測値を生成する際に参照される参照画素値が、被符号化画素Ｐｘに対応する被復号化画素Ｐｘ′の予測値を生成する際に参照される参照画素値と完全に一致するようにしておく必要があるということである。
【００２５】
このため、例えば、図１５に示すように、被符号化画素Ｐｘに対する符号化処理を行う際に、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうちの未符号化画素Ｐ２，Ｐ６，Ｐ７の画素値を参照して、被符号化画素Ｐｘの予測値を生成した場合、復号化側では、図１８に示すように、被復号化画素Ｐｘ′に対する復号化処理を行う際、被復号化画素Ｐｘ′に対応する参照画素Ｐ０′〜Ｐ９′の画素値を参照して被復号化画素Ｐｘ′の予測値を生成することとなるが、復号化側では、上記参照画素Ｐ０′〜Ｐ９′のうちの未復号化画素Ｐ２′，Ｐ６′，Ｐ７′については画素値が得られず、上記被符号化画素Ｐｘに対応する被復号化画素Ｐｘ′の画素値を復号化することができない。
【００２６】
そこで、従来の組合せ符号化方法では、上記のように被符号化画素Ｐｘに対応する参照画素Ｐ０〜Ｐ９に未符号化画素が含まれる場合に復号化処理が困難となるという問題を回避するため、上記未符号化画素については、その画素値を予め設定された固定値（例えば０）と見なして、被符号化画素Ｐｘの予測値を生成し、この予測値を用いて被符号化画素Ｐｘに対する符号化処理を行うという対応策を講じている。
【００２７】
このような対応策を講じた組合せ符号化方法では、復号化側では、ブロック内のすべての画素についてその予測値を用いた復号化処理を正しく行うことが可能になるが、未符号化画素となる参照画素の画素値を一律に固定値と置き換えるため、未符号化画素と符号化済画素の間での画素値の相関関係が損なわれることとなり、この結果、被符号化画素の予測効率，つまり被符号化画素に対する予測値の確からしさが劣化するという問題が生ずる。
【００２８】
本発明は上記のような課題を解決するためになされたもので、被符号化画素の予測効率の劣化を招くことなく符号化された画像符号化信号の復号化処理を正しく行うことができる画像処理装置を提供することを目的とする。
【００２９】
【課題を解決するための手段】
本発明に係る画像符号化装置は、画像信号を構成する画素値を、被符号化画素の周辺に位置する複数の周辺画素の画素値に基づいて符号化する画像符号化装置であって、上記画像信号を、所定数の画素からなるブロックに分割するブロック化手段と、上記被符号化画素の周辺に位置する複数の周辺画素のうちの未符号化画素の画素値を、該複数の周辺画素のうちの符号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換する画素値置換手段と、上記ブロックに対応する複数の画素からなる画像信号を、上記符号化済画素の画素値及び上記未符号化画素の擬似画素値に基づいて符号化して符号化信号を出力する符号化手段と、上記符号化信号を復号化して復号化済画素値を生成する局所復号化手段とを備え、上記画素値置換手段は、上記未符号化画素の画素値を、上記符号化済画素に対応する復号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換し、上記符号化手段は、上記符号化信号を復号化して得られた復号化済画素値及び上記未符号化画素の擬似画素値を参照して、上記被符号化画素の画素値に対して非可逆符号化処理を施す、ものである。
【００３０】
本発明に係る画像符号化方法は、画像信号を構成する画素値を、被符号化画素の周辺に位置する複数の周辺画素の画素値に基づいて符号化する画像符号化方法であって、上記画像信号を、所定数の画素からなるブロックに分割するブロック化ステップと、上記被符号化画素の周辺に位置する複数の周辺画素のうちの未符号化画素の画素値を、該複数の周辺画素のうちの符号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換する画素値置換ステップと、上記ブロックに対応する複数の画素からなる画像信号を、上記符号化済画素の画素値及び上記未符号化画素の擬似画素値に基づいて符号化して符号化信号を出力する符号化ステップと、上記符号化信号を復号化して復号化済画素値を生成する局所復号化ステップとを有し、上記画素値置換ステップでは、上記未符号化画素の画素値を、上記符号化済画素に対応する復号化済画素の画素値から所定の規則に基づいて得られる擬似画素値と置換し、上記符号化ステップでは、上記符号化信号を復号化して得られた復号化済画素値及び上記未符号化画素の擬似画素値を参照して、上記被符号化画素の画素値に対して非可逆符号化処理を施す、ものである。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図１２を用いて説明する。
【００３２】
実施の形態１．
図１は本発明の実施の形態１による画像符号化装置１０１の構成を示すブロック図である。
この画像符号化装置１０１は、入力された画像信号Ｉｓを、１画像表示領域（１フレーム）を構成する複数のブロックの各々に対応するよう分割するブロック化器２と、該ブロック化器２の出力Ｂｓを受け、符号化対象となる被符号化ブロックにおける、符号化対象となる被符号化画素の画素値を、該被符号化画素の予測画素値（以下、単に予測値ともいう。）Ｓｐを参照して可逆符号化する符号化器１６ａと、上記予測画素値Ｓｐを生成する予測値生成部１１０とを有している。
【００３３】
この予測値生成部１１０は、入力される画像信号を構成する各画素の画素値を、例えば１フレームに相当する数だけ記憶可能な大容量の主メモリ４と、該主メモリ４から出力される画素値Ｍを一時的に保持する保持時間の異なる第１，第２補助メモリ６ａ，６ｂとを有している。ここで、上記主メモリ４は、１つの画素値の符号化処理に要する時間の間に、上記符号化器１６ａにて処理の対象となっている被符号化画素Ｐｘの参照画素Ｐ０〜Ｐ９（図１４参照）に対応する画素値を、上記記憶した画素値から順次出力する構成となっている。また、上記第１補助メモリ６ａは、主メモリ４から順次出力される画素値Ｍを１画素分だけ遅延する構成となっており、上記第２補助メモリ６ｂは主メモリ４から順次出力される画素値Ｍを２画素分だけ遅延する構成となっている。
【００３４】
また、上記予測値生成部１１０は、各フレームの画像入力信号Ｉｓを受け、画素値の数をカウントするカウンタ８と、該カウンタ８の出力Ｃｏｕｔ及び外部から供給される各フレームにおける縦横のブロック数の情報ＢＮｓ基づいて、主メモリ４から出力されている画素値が、すでに符号化器１６ａにて符号化処理が施された符号化済画素の画素値であるか、まだ符号化処理が施されていない未符号化画素の画素値であるかを判定する符号化／未符号化判定器１０とを有している。ここで該判定器１０は、未符号化画素については、これと同一水平走査線上に位置する最も近い符号化済画素までの距離を画素数でもって計測する処理も行っている。また、上記カウンタ８は、１フレームを構成するすべての画素の画素値が入力された時点でリセットされるようになっている。
【００３５】
さらに、上記予測値生成部１１０は、上記符号化／未符号化判定器１０の出力に基づいて上記主メモリ４，第１，第２補助メモリ６ａ，６ｂのいずれかの出力Ｍ，Ｍａ，Ｍｂを選択して出力する選択スイッチ１２と、該選択スイッチ１２の出力Ｓｏｕｔを、被符号化画素Ｐｘに対応する予測画素値の生成に必要な参照画素Ｐ０〜Ｐ９の画素値として取得し、該被符号化画素Ｐｘに対応する予測画素値Ｓｐを生成する予測値生成器１４とを有している。
【００３６】
そして、この画像符号化装置１０１では、上記符号化器１６ａは、ブロック化器２から出力される被符号化画素Ｐｘの画素値とその予測画素値との差分値に対して符号化処理を施し、符号化した符号化差分値を上記被符号化画素Ｐｘに対応する符号化画素値として出力するようになっている。この符号化処理では、上記参照画素Ｐ０〜Ｐ９の画素値から得られる予測画素値に基づいて、被符号化画素Ｐｘの画素値を符号化するための符号語を選択するようにしている。
【００３７】
次に動作について説明する。
図２は上記画像符号化装置１０１の符号化処理をフローチャートにより示しており、まず、このフローチャートに従って符号化処理の流れを簡単に説明する。
画像信号が本画像符号化装置１０１に入力されると、上記画像信号を構成する画素値が順次主メモリ４に格納され、該主メモリ４からは、被符号化画素Ｐｘの符号化の際参照される、被符号化画素Ｐｘの周辺に位置する複数の参照画素（周辺画素）Ｐ０〜Ｐ９の画素値が出力される（ステップＳ１）。
【００３８】
次に、上記主メモリ４に取得された複数の参照画素のうちの最初の参照画素が判定対象画素とされ（ステップＳ２）、この判定対象画素が符号化済画素であるか否かの判定が符号化／未符号化判定器１０にて行われる（ステップＳ３）。この符号化／未符号化判定器１０では、上記カウンタ出力Ｃｏｕｔのインクリメントと、上記主メモリ４から９つの参照画素Ｐ０〜Ｐ９の画素値が基準クロックに基づいて順次出力される動作とが同期しているため、主メモリ４から出力されている参照画素の、被符号化画素Ｐｘに対する位置を上記カウンタ出力Ｃｏｕｔから検知することができる。
【００３９】
この判定の結果、判定の対象となっている参照画素が符号化済画素であれば、その画素値が参照画素値として上記予測値生成器１４にて取得され（ステップＳ５）、上記判定の対象となっている参照画素が符号化済画素でなければ、この参照画素についてはその周辺の符号化済画素から参照画素値（擬似画素値）が生成され、上記予測値生成器１４にて取得される（ステップＳ４）。
【００４０】
次に、被符号化画素を符号化する際に必要な参照画素値がすべて上記予測値生成器１４にて取得できたか否かの判定がなされ（ステップＳ６）、必要な参照画素値が全て取得されていない場合は、上記主メモリ４に取得された参照画素のうちの次の参照画素が上記判定対象とされ（ステップＳ８）、上記ステップＳ３〜Ｓ６の処理が繰り返し行われる。一方、上記必要な参照画素値が全て上記予測値生成器１４にて取得されている場合は、上記予測値生成器１４にて上記参照画素値に基づいて、被符号化画素Ｐｘに対応する予測画素値が生成される（ステップＳ７）。
【００４１】
その後、被符号化画素Ｐｘの画素値が上記符号化器１６ａに取得されると同時に上記予測値生成器１４から被符号化画素Ｐｘの予測画素値が取得され（ステップＳ９）、上記符号化器１６ａにて、上記被符号化画素Ｐｘの画素値に対する符号化処理が上記予測画素値を用いて行われる（ステップＳ１０）。
【００４２】
次に、画像信号の符号化処理における本画像符号化装置１０１の動作とともに、上記各ステップＳ１〜Ｓ１０での本装置の各部の具体的な動作について詳しく説明する。
画像入力信号Ｉｓが本画像符号化装置１０１に入力されると、該画像入力信号Ｉｓを構成する複数の画素はブロック化器２にて、１フレームを構成する、複数の画素からなるブロックに対応するようグループ化され、各ブロック内の画素に対応する画素値が符号化器１６ａに送られ、該符号化器１６ａでは、被符号化画素Ｐｘの画素値を画素毎に参照画素値を参照して符号化する符号化処理がブロック単位で行われる。
【００４３】
このとき、上記主メモリ４には、走査線構造の画像入力信号Ｉｓを構成する画素値が順次格納され、被符号化画素Ｐｘに対応する参照画素Ｐ０〜Ｐ９の画素値が、一定の読出周期で出力される（ステップＳ１）。上記主メモリ４の出力Ｍは一時的に上記第１，第２補助メモリ６ａ，６ｂにて保持される。上記第１補助メモリ６ａでは、上記主メモリ４の出力は１読出周期の期間だけ、上記第２補助メモリ６ｂでは２読出周期の期間だけ保持される。
【００４４】
また、上記カウンタ８では、１フレームの最初の画素値を基準として、画像入力信号Ｉｓに基づいて入力される画素値の数がカウントされ、このカウント値Ｃｏｕｔが符号化／未符号化判定器１０に出力される。この符号化／未符号化判定器１０では、外部から１フレームにおける縦横のブロック数情報ＢＮｓが入力されており、このブロック数情報ＢＮｓ及び上記カウンタ８の出力により指定される参照画素が、上記符号化済画素か未符号化画素であるかの判定がなされる判定対象画素となる。例えば、図１４に示すように被符号化画素Ｐｘが決まると、これに対応する参照画素Ｐ０〜Ｐ９が決まり、このうちの主メモリ４から最初に画素値が出力される画素Ｐ０がまず上記判定対象画素となる（ステップＳ２）。
【００４５】
このとき、上記参照画素Ｐ０の画素値は、上記第１，第２補助メモリ６ａ，６ｂにでそれぞれ１読出期間，２読出期間の間保持される。また、符号化／未符号化判定器１０は、上記カウンタ出力Ｃｏｕｔ及びブロック数情報ＢＮｓに基づいて、被符号化ブロック内での被符号化画素の位置が計算され、各参照画素について符号化済画素であるか未符号化画素であるかが判定され（ステップＳ３）、この判定結果に応じて上記選択スイッチ１２が制御される。
【００４６】
上記参照画素Ｐ０は図１４に示すように符号化済画素であるため、符号化／未符号化判定器１０による判定（ステップＳ３）の結果、選択スイッチ１２は該符号化／未符号化判定部１０により上記主メモリ４の出力Ｍを選択するよう制御され、これにより、上記参照画素Ｐ０の画素値は参照画素値として予測値生成器１４に格納される。
【００４７】
その後、上記符号化／未符号化判定部１０では、被符号化画素Ｐｘに対応する全ての参照画素の画素値が予測値生成器１４にて取得されたか否かが判定される（ステップＳ６）。この場合は、上記予測値生成器１４には参照画素Ｐ０〜Ｐ９の全ての参照画素値が取得されていないので、上記符号化／未符号化部１０では、上記主メモリ４から参照画素Ｐ０の画素値の次に出力される参照画素Ｐ１の画素値が判定対象画素の画素値とされる（ステップＳ８）。そして、参照画素Ｐ１は上記参照画素Ｐ０と同様に符号化済画素であるため、この参照画素Ｐ１の画素値についても上記ステップＳ３，Ｓ５，Ｓ６，Ｓ８の処理が行われる。
【００４８】
続いて、上記符号化／未符号化部１０では、上記主メモリ４から参照画素Ｐ１の画素値の次に出力される参照画素Ｐ２の画素値が判定対象画素の画素値とされる（ステップＳ８）。この参照画素Ｐ２は上記参照画素Ｐ０，Ｐ１とは異なり、符号化済画素の隣に位置している未符号化画素であるため、選択スイッチ１２は該符号化／未符号化判定部１０により上記第１補助メモリ６ａの出力Ｍａを選択するよう制御され、これにより、上記参照画素Ｐ１の画素値が、参照画素Ｐ２の擬似画素値として予測値生成器１４に格納される（ステップＳ４）。その後は上記ステップＳ６，ステップＳ８の処理が行われる。
【００４９】
さらに、上記参照画素Ｐ３〜Ｐ５については上記参照画素Ｐ０と同様に上記ステップＳ３，Ｓ５，Ｓ６，Ｓ８の処理が行われ、さらに参照画素Ｐ６については、上記参照画素Ｐ２と同様にステップＳ３，Ｓ４，Ｓ６，Ｓ８の処理が行われる。
【００５０】
続いて、上記符号化／未符号化部１０では、上記主メモリ４から参照画素Ｐ６の画素値の次に出力される参照画素Ｐ７の画素値が判定対象画素の画素値とされる（ステップＳ８）。この参照画素Ｐ７は上記参照画素Ｐ０〜Ｐ６とは異なり、符号化済画素Ｐｘから１画素分隔てて位置している未符号化画素であるため、選択スイッチ１２は該符号化／未符号化判定部１０により上記第２補助メモリ６ｂの出力Ｍｂを選択するよう制御され、これにより、上記参照画素Ｐ５の画素値が、参照画素Ｐ７の擬似画素値として予測値生成器１４に格納される（ステップＳ４）。その後は上記ステップＳ６，ステップＳ８の処理が行われる。
【００５１】
さらに、上記参照画素Ｐ８，Ｐ９については上記参照画素Ｐ０と同様に上記ステップＳ３，Ｓ５，Ｓ６の処理が行われる。この場合、符号化／未符号化部１０では、全ての参照画素Ｐ０〜Ｐ９の全てについての参照画素値が上記予測値生成器１４に取得されているという判定がなされ、予測値生成器１４にて、取得した参照画素値に基づいて、被符号化画素Ｐｘに対応する予測画素値Ｓｐが算出される（ステップＳ７）。
【００５２】
続いて、上記符号化器１６ａには被符号化画素Ｐｘの画素値とともに上記予測画素値Ｓｐが取得され（ステップＳ９）、被符号化画素Ｐｘの画素値とその予測画素値Ｓｐとの差分値に対して符号化処理が施されて、符号化された差分値が、上記被符号化画素Ｐｘの符号化信号として出力される（ステップＳ１０）。この符号化処理には、上記予測画素値Ｓｐに基づいて選択された符号語が用いられる。
【００５３】
このようにして１フレーム内の各ブロックの画素値が順次符号化されることとなる。なお、１フレームの先頭画素については、その周辺に符号化処理が施された参照画素が存在しないので、予測画素値は０として符号化処理が行われる。
【００５４】
このように本実施の形態１では、未符号化画素の画素値を参照する場合は、その周辺の符号化済画素の画素値を参照するようにしたので、画素単位での適応的な符号化処理とブロック単位での符号化処理とを、未符号化画素と被符号化画素との間での画素値の相関を損なうことなく、しかも符号化信号の復号化が困難となるのを回避しつつ組み合わせることができる。これにより伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化を招くことなく符号化された符号化信号の復号化処理を正しく行うことが可能となる。
【００５５】
つまり、符号化側にて被符号化画素の符号化処理をその周辺画素の画素値を参照して行う場合は、復号化側においても被復号化画素の復号化処理をその周辺画素の画素値を参照して行うこととなり、しかも符号化処理の際に参照される画素値と復号化処理の際に参照される画素値とを一致させる必要がある。
【００５６】
そこで、従来例の符号化方法では、参照される画素が未符号化画素である場合には、その画素値として固定値を用いるようにしていたが、この場合は画素値の相関が損なわれるという問題があった。
【００５７】
これに対し、本発明では、参照される画素が未符号化画素である場合には、参照される符号化済画素から所定の規則で未符号化画素に対する擬似画素値を生成するようにしている。例えば、図１５の未符号化画素Ｐ２, Ｐ６, Ｐ７についてはその画素値を符号化済画素Ｐ０, Ｐ１, Ｐ３, Ｐ４, Ｐ５, Ｐ８, Ｐ９の画素値から一意的に決定するようにしている。最も簡単な方法としては、未符号化画素と同じ水平走査線上に位置する、距離が近い符号化済画素の画素値を未符号化画素に対する擬似画素値としている。この場合には、未符号化画素Ｐ２の画素値は、符号化済画素Ｐ１の画素値に置換され、未符号化画素Ｐ６, Ｐ７の画素値は符号化済画素Ｐ５の画素値に置換される。
【００５８】
このようにすれば、ブロック境界での符号化済画素と未符号化画素の間での画素値の相関が大きくなり、画素間相関が大きいブロック内部と同じ予測方式を用いて効率の高い符号化処理が実現できる。
このため、画像信号をより低ビット数で画質を損なうことなく記録伝送することが可能となる。
【００５９】
なお、上記実施の形態１では、主メモリ４の出力Ｍを保持する時間の異なる２つの補助メモリ６ａ，６ｂを備えたが、主メモリ４の出力を一時的に保持する補助メモリを１つだけ備え、主メモリ４から出力される画素値を保持する時間を、未符号化画素の被符号化画素からの距離に応じて、符号化／未符号化判定器１０によって切り換えるようにしてもよい。
【００６０】
また、上記実施の形態１では、画像信号の符号化処理の際、被符号化画素Ｐｘの予測画素値のみを参照するものを示したが、被符号化画素Ｐｘの予測画素値だけでなく、予測画素値の確からしさを示す予測確率に基づいて符号化処理を行うようにしてもよい。
【００６１】
また、この場合、符号化処理の対象となる画像信号が２値形状信号である場合には、予測画素値は「０」あるいは「１」のいずれかであるため、予測画素値をその一方に固定しておき、予測確率のみを参照するようにしてもよい。
【００６２】
以下、本発明の実施の形態２として、上記予測画素値に代えて予測確率のみを参照して２値形状信号の符号化処理を行う画像符号化装置を、また実施の形態３として、上記予測画素値とともに予測確率を参照して、多値の画像信号の符号化処理を行う画像符号化装置についてそれぞれ説明する。
【００６３】
実施の形態２．
図３は本発明の実施の形態２による画像符号化装置１０２の構成を示すブロック図である。なお、図中、図１と同一符号は上記実施の形態１の画像符号化装置１０１におけるものと同一のものを示している。
【００６４】
この画像符号化装置１０２は、上記実施の形態１の画像符号化装置１０１における予測値生成器１４に代えて予測確率生成器２２を備え、画素値が「０」及び「１」のいずれかである２値形状信号に対して符号化処理を行うよう構成したものである。
【００６５】
上記予測確率生成器２２は、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９の画素値から、被符号化画素Ｐｘの画素値とその予測画素値とが一致する確率を予測確率として求め、被符号化画素Ｐｘに対する予測確率信号Ｓｋを上記符号化器１６ｂに出力する構成となっている。
【００６６】
ここで、上記符号化器１６ｂは、本画像符号化装置１０２が２値形状信号の符号化処理を対象するものであるため、被符号化画素Ｐｘの画素値との引き算を行う予測値は「０」及び「１」の一方に設定されている。またこの符号化器１６ｂは、上記予測確率が大きい場合は被符号化画素Ｐｘの画素値とその予測画素値とが一致する確率が高いので、上記被符号化画素Ｐｘの画素値とその予測画素値との差分値を、差分値が０となる場合に符号化効率が高くなる符号化方法により符号化し、一方、上記予測確率が小さい場合は被符号化画素Ｐｘの画素値とその予測画素値とが一致する確率が小さいので、上記被符号化画素Ｐｘの画素値とその予測画素値との差分値を、上記差分値が０でない場合に符号化効率が高くなる符号化方法により符号化する構成となっている。
【００６７】
次に作用効果について説明する。
なお、上記実施の形態１の画像符号化装置と共通する動作についてはその説明を省略する。
このような構成の画像符号化装置１０２による２値形状信号の符号化処理においても、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうち未符号化画素に相当するものについては、その画素値が上記実施の形態１の画像符号化装置１０１と同様に符号化済画素の画素値から生成され、すべての参照画素Ｐ０〜Ｐ９に対応する画素値が予測確率生成器２２に格納される。
【００６８】
そして、上記予測確率生成器２２では、上記参照画素Ｐ０〜Ｐ９の画素値に基づいて、被符号化画素Ｐｘに対する予測確率を求める。この予測確率情報Ｓｋが上記予測確率生成器２２から符号化器１６ｂに出力されると、該符号化器１６ｂでは、被符号化画素Ｐｘの画素値と予め設定されている予測画素値との差分値に対して、上記予測確率情報Ｓｋに応じた符号化処理を行う。
【００６９】
このように本実施の形態２では、２値形状信号の符号化処理を行う画像符号化装置１０２において、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる。このため、伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことが可能となる。
【００７０】
なお、予測確率に基づく符号化処理については、例えば、国際標準規格ＪＢＩＧ（Joint Bi-level Image Coding Experts Group ）に記載されているが、この規格に記載されている符号化方法は、符号化処理を画素単位（非ブロック単位）で行うものであるため、参照画素は常に符号化済画素であり、本発明の解決課題であるブロック単位の符号化処理では参照画素が未符号化画素となる場合の問題点はもとより、この未符号化画素に対する画素値をどのように設定するかという対応策については何ら開示されていない。
【００７１】
実施の形態３．
図４は本発明の実施の形態３による画像符号化装置１０３の構成を示すブロック図である。なお、図中、図１と同一符号は上記実施の形態１の画像符号化装置１０１におけるものと同一のものを示している。
【００７２】
この画像符号化装置１０３は、上述したように多値の画像信号に対して符号化処理を行うものであり、その予測確率生成部１３０を上記実施の形態１の画像符号化装置１０１における予測値生成器１４に加えて予測確率生成器２２を有する構成としたものである。
【００７３】
上記予測確率生成器２２は、上記予測値生成器１４と同様、選択スイッチ１２の出力Ｓｏｕｔを受け、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９の画素値を順次格納し、これらの画素値に基づいて、上記予測値生成器１４にて参照画素Ｐ０〜Ｐ９に基づいて予測される予測画素値Ｓｐの確からしさを示す予測確率Ｓｋを出力する構成となっている。
【００７４】
そして、上記符号化器１６ｃは、上記予測値生成器１４からの予測画素値Ｓｐ及び予測確率生成器２２からの予測確率Ｓｋに基づいて、被符号化画素Ｐｘの画素値を符号化する構成となっている。
【００７５】
具体的には、予測画素値の確からしさが大きい場合は、被符号化画素の画素値とその予測画素値の差が小さいので、上記符号化器１６ｃでは、被符号化画素の画素値とその予測画素値の差が小さい場合に符号化効率が高くなる符号化方法により、被符号化画素Ｐｘの画素値に対する符号化処理を行う。また、一方、予測値の確からしさが小さい場合は、被符号化画素の画素値とその予測画素値の差が大きいので、符号化器１６ｃでは、画素値と予測画素値との差分値がやや大きい場合に符号化効率が高い符号化方法により被符号化画素Ｐｘの画素値に対する符号化処理を行う。
【００７６】
このような構成の画像符号化装置１０３による多値の画像信号の符号化処理においても、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうち未符号化画素に相当するものについては、その画素値が上記実施の形態１の画像符号化装置１０１と同様に符号化済画素の画素値から生成され、すべての参照画素Ｐ０〜Ｐ９に対応する画素値が予測確率生成器２２及び予測値生成器１４に格納される。
【００７７】
そして、予測値生成器１４では、上記実施の形態１と同様にして参照画素Ｐ０〜Ｐ９から被符号化画素Ｐｘの予測画素値を求める。また上記予測確率生成器２２では、上記参照画素Ｐ０〜Ｐ９の画素値に基づいて、被符号化画素Ｐｘに対する予測確率Ｓｋを求める。
【００７８】
上記予測画素値Ｓｐ及び予測確率Ｓｋが符号化器１６ｃに出力されると、該符号化器１６ｃでは、被符号化画素Ｐｘの画素値と予測値生成器１４からの予測画素値との差分値に対して、上記予測確率Ｓｋに応じた符号化処理を行う。
【００７９】
このように本実施の形態３では、多値の画像信号を符号化する画像符号化装置１０３において、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる。このため、伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことが可能となる。
【００８０】
実施の形態４．
図５は本発明の実施の形態４による画像符号化装置１０４の構成を示すブロック図である。なお、図中、図１と同一符号は上記実施の形態１の画像符号化装置１０１におけるものと同一のものを示す。
この画像符号化装置１０４は、ブロック化された画像信号Ｂｓに対して非可逆符号化処理を施す点で上記実施の形態１の画像符号化装置１０１とは異なっている。
【００８１】
つまり、上記画像符号化装置１０４は、上記実施の形態１の可逆符号化処理を行う符号化器１６ａに代えて、上記ブロック化器２の出力Ｂｓに対してＤＣＴ（離散コサイン変換）処理を含む非可逆符号化処理を、予測値生成器１４からの予測画素値に基づいて施す符号化器１６ｄを有している。さらにこの画像符号化装置１０４の予測値生成部１４０は、上記符号化器１６ｄの出力Ｃｓを上記予測値生成器１４からの予測画素値Ｓｐに基づいて復号化する局所復号化器２４を備えており、該局所復号化器２４の出力ＬＤｓが主メモリ４に復号化済画素の画素値として格納され、該出力ＬＤｓが上記カウンタ８に入力されるようになっている。その他の構成は実施の形態１の画像符号化装置１０１と同一である。
【００８２】
このような構成の画像符号化装置１０４では、画像入力信号Ｉｓを被符号化画素Ｐｘの予測画素値Ｓｐに基づいて符号化処理する際、該予測画素値Ｓｐを生成する予測値生成部１４０では、局所復号化器２４にて符号化器１６ｄの出力Ｃｓを予測画素値Ｓｐを参照して復号化し、この復号化した画素値を主メモリ４に格納するようにしている。
【００８３】
このため、非可逆符号化処理を行う画像符号化装置１０４では、予測画素値の生成には復号化済画素値が使用されることとなり、これによりこの画像符号化装置により符号化された画像符号化信号を、画像復号化装置で正しく復号化することが可能となる。
【００８４】
なお、上記実施の形態４では、画像信号の非可逆符号化処理の際、被符号化画素Ｐｘの予測画素値のみを参照するものを示したが、被符号化画素Ｐｘの予測画素値だけでなく、予測画素値の確からしさを示す予測確率を参照するようにしてもよい。
【００８５】
また、この場合、非可逆符号化処理の対象となる画像信号が２値形状信号である場合には、予測画素値は「０」あるいは「１」のいずれかであるため、予測画素値をその一方に固定しておき、予測確率のみを参照するようにしてもよい。
【００８６】
そこで、本発明の実施の形態４の変形例１として、上記予測画素値に代えて予測確率のみを参照して２値形状信号の非可逆符号化処理を行う画像符号化装置を、また上記実施の形態４の変形例２として、上記予測画素値とともに予測確率を参照して、多値の画像信号の非可逆符号化処理を行う画像符号化装置についてそれぞれ説明する。
【００８７】
図６は本発明の実施の形態４の変形例１による画像符号化装置１０４ａの構成を示すブロック図である。なお、図中、図５と同一符号は実施の形態４の画像符号化装置１０４におけるものと同一のものを示す。
【００８８】
この画像符号化装置１０４ａは、上記実施の形態４の画像符号化装置１０４における予測値生成器１４に代えて、予測確率発生器２２を備えたもので、画素値が「０」及び「１」のいずれかである２値形状信号の符号化処理を行うものである。
【００８９】
上記予測確率生成器２２は、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９の画素値から、被符号化画素Ｐｘの画素値とその予測画素値とが一致する確率を予測確率として求め、被符号化画素Ｐｘに対する予測確率Ｓｋを上記符号化器１６ｅ及び局所復号化器２４に出力する構成となっている。
【００９０】
ここで、上記符号化器１６ｅは、本画像符号化装置が２値形状信号を処理対象するものであるため、被符号化画素Ｐｘに対する予測画素値は「０」及び「１」の一方に設定されている。またこの符号化器１６ｅは、上記実施の形態２の符号化器１６ｂと同様に、上記予測確率が大きい場合は、上記被符号化画素Ｐｘの画素値とその予測画素値との差分値を、差分値が０となる場合に符号化効率が高くなる符号化方法によって符号化し、一方、上記予測確率が小さい場合は、上記被符号化画素Ｐｘの画素値とその予測画素値との差分値を、上記差分値が０でない場合に符号化効率が高くなる符号化方法によって符号化する構成となっている。
【００９１】
さらに上記局所復号化器２４は、上記予測確率に基づいて上記符号化器１６ｅと同様に復号化方法を切り替えて復号化処理を行うようになっている。
なお、上記実施の形態４の画像符号化装置と共通する動作についてはその説明を省略する。
【００９２】
このような構成の画像符号化装置１０４ａによる２値形状信号の符号化処理においても、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうち未符号化画素に相当するものについては、その画素値が上記実施の形態４の画像符号化装置１０４と同様に符号化済画素の画素値から生成され、すべての参照画素Ｐ０〜Ｐ９に対応する画素値が予測確率生成器２２に格納される。
【００９３】
そして、上記予測確率生成器２２では、上記参照画素Ｐ０〜Ｐ９の画素値に基づいて、被符号化画素Ｐｘに対する予測確率Ｓｋを求める。この予測確率Ｓｋが上記予測確率生成器２２から符号化器１６ｅ及び局所復号化器２４に出力されると、該符号化器１６ｅでは、被符号化画素Ｐｘの画素値と予め設定されている予測画素値との差分値に対して、上記予測確率Ｓｋに応じた非可逆符号化処理を行う。この際、上記局所復号化器２４では、上記予測確率Ｓｋに応じた、上記符号化器１６ｅの出力Ｃｓに対する復号化処理を行って、被符号化画素Ｐｘの画素値を再生する。この再生された被符号化画素Ｐｘの画素値は上記主メモリ４に格納される。
【００９４】
このように本実施の形態４の変形例１では、２値形状信号に対する非可逆符号化処理を行う画像符号化装置１０４ａにおいて、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる。このため、伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことが可能となる。
【００９５】
図７は本発明の実施の形態４の変形例２による画像符号化装置１０４ｂの構成を示すブロック図である。なお、図中、図４と同一符号は上記実施の形態４の画像符号化装置１０４におけるものと同一のものを示す。
【００９６】
この画像符号化装置１０４ｂは、上述したように多値の画像信号に対して非可逆符号化処理を行うものであり、その予測確率生成部１４０ｂを上記実施の形態４の画像符号化装置１０４における予測値生成器１４に加えて予測確率生成器２２を有する構成としたものである。
【００９７】
上記予測確率生成器２２は、上記予測値生成器１４と同様、選択スイッチ１２の出力Ｓｏｕｔを受け、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９の画素値を順次格納し、これらの画素値に基づいて、上記予測値生成器１４にて参照画素Ｐ０〜Ｐ９に基づいて予測される予測画素値Ｓｐの確からしさを示す予測確率Ｓｋを出力する構成となっている。
【００９８】
そして、上記符号化器１６ｆは、上記予測値生成器１４からの予測画素値Ｓｐ及び予測確率生成器２２からの予測確率Ｓｋに基づいて、被符号化画素Ｐｘの画素値に対して非可逆符号化処理を施す構成となっており、その具体的な構成は、上記実施の形態３の符号化器１６ｃと全く同一となっている。
さらに上記局所復号化器２４は、上記予測確率に基づいて上記符号化器１６ｅと同様に符号化方法を切り替えて復号化処理を行うようになっている。
【００９９】
このような構成の画像符号化装置１０４ｂによる多値の画像信号の符号化処理においても、被符号化画素Ｐｘに対する参照画素Ｐ０〜Ｐ９のうち未符号化画素に相当するものについては、その画素値が上記実施の形態４の画像符号化装置１０４と同様に符号化済画素の画素値から生成され、すべての参照画素Ｐ０〜Ｐ９に対応する画素値が予測確率生成器２２及び予測値生成器１４に格納される。
【０１００】
そして、予測値生成器１４では、上記実施の形態４と同様にして参照画素Ｐ０〜Ｐ９から被符号化画素Ｐｘの予測画素値を求める。また上記予測確率生成器２２では、上記参照画素Ｐ０〜Ｐ９の画素値に基づいて、被符号化画素Ｐｘに対する予測確率Ｓｋを求める。
【０１０１】
上記予測画素値Ｓｐ及び予測確率Ｓｋが符号化器１６ｆ及び局所復号化器２４に出力されると、該符号化器１６ｆでは、被符号化画素Ｐｘの画素値と予め設定されている予測画素値との差分値に対して、上記予測確率Ｓｋに応じた符号化処理を行う。この際、上記局所復号化器２４では、上記予測確率Ｓｋに応じた、上記符号化器１６ｆの出力Ｃｓに対する復号化処理を行って、被符号化画素Ｐｘの画素値を再生する。この再生された被符号化画素Ｐｘの画素値は上記主メモリ４に格納される。
【０１０２】
これにより予測値生成が困難な画像信号に対しては符号化効率を劣化させず、予測値生成が容易な画像信号に対しては大幅な符号化効率向上を達成することができる。
【０１０３】
このように本実施の形態４の変形例２では、多値の画像信号を非可逆符号化する画像符号化装置１０４ｂにおいて、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる。このため、伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上することができ、また復号化側では、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことが可能となる。
【０１０４】
実施の形態５．
図８は本発明の実施の形態５による画像復号化装置１０５の構成を示すブロック図である。
この実施の形態５の画像復号化装置１０５は、実施の形態１の画像符号化装置１０１により可逆符号化処理を施した画像符号化信号を可逆的に復号化するものである。
【０１０５】
この画像復号化装置１０５は、入力された画像符号化信号Ｃｓを、１画像表示領域を構成する複数のブロック毎に復号化し、この際、復号化処理の対象となる被復号化画素Ｐｘ′の画素値，つまり被符号化画素Ｐｘの画素値を符号化した符号化信号を、被復号化画素の予測画素値に基づいて復号化する復号化器２６ａと、該復号化器２６ａの出力である各ブロックに対応した画像復号化信号Ｄｓを統合して所定の走査線構造の画像再生信号Ｒｓを生成する逆ブロック化器３０と、上記予測画素値を上記被復号化画素Ｐｘ′の周辺に位置する参照画素Ｐ０′〜Ｐ９′の画素値に基づいて生成する予測値生成部１５０とを有している。
【０１０６】
ここで、上記予測値生成部１５０は、実施の形態１の画像符号化装置１０１における予測値生成部１１０とほぼ同様な構成となっている。
【０１０７】
すなわち、該予測値生成部１５０は、例えば１フレームに相当する数だけ記憶可能な大容量の主メモリ４と、該主メモリ４から出力される画素値Ｍを一時的に保持する保持時間の異なる第１，第２補助メモリ６ａ，６ｂとを有している。ここで、上記主メモリ４は、１つの画素値の符号化処理に要する時間の間に、上記復号化器２６ａにて処理の対象となっている被復号化画素Ｐｘ′の参照画素Ｐ０′〜Ｐ９′（図１７参照）に対応する画素値を、上記記憶した画素値から順次出力する構成となっている。また、上記第１補助メモリ６ａは、主メモリ４から順次出力される画素値Ｍを１画素分だけ遅延する構成となっており、上記第２補助メモリ６ｂは主メモリ４から順次出力される画素値Ｍを２画素分だけ遅延する構成となっている。
【０１０８】
また、上記予測値生成部１５０は、各フレームの画像復号化信号Ｄｓを受け、画素値の数をカウントするカウンタ８と、該カウンタ８の出力Ｃｏｕｔ及び外部から供給される各フレームにおける縦横のブロック数の情報ＢＮｓ基づいて、主メモリ４から出力されている画素値が、すでに符号化器２６ａにて復号化処理が施された復号化済画素の画素値であるか、まだ復号化処理が施されていない未復号化画素の画素値であるかを判定する復号化／未復号化判定器２０とを有している。ここで該判定器２０は、未復号化画素については、これと同一水平走査線上に位置する最も近い復号化済画素までの距離を画素数でもって計測する処理も行っている。また、上記カウンタ８は、１フレームを構成するすべての画素の画素値が入力された時点でリセットされるようになっている。
【０１０９】
さらに、上記予測値生成部１５０は、上記復号化／未復号化判定器２０の出力Ｓｃｏｎｔに基づいて上記主メモリ４，第１，第２補助メモリ６ａ，６ｂのいずれかの出力Ｍ，Ｍａ，Ｍｂを選択して出力する選択スイッチ１２と、該選択スイッチ１２の出力Ｓｏｕｔを、被復号化画素Ｐｘ′に対応する予測画素値の生成に必要な参照画素Ｐ０′〜Ｐ９′の画素値として取得し、該被復号化画素Ｐｘ′に対応する予測画素値Ｓｐを生成する予測値生成器１４とを有している。
【０１１０】
そして、この画像復号化装置１０５では、上記復号化器２６ａは、外部から画像符号化信号として入力される被符号化画素Ｐｘに対する符号化差分値を復号化して復号化差分値を生成し、該復号化差分値に上記予測値生成部１５０からの予測画素値Ｓｐを加算して被復号化画素に対する復号化画素値を生成して逆ブロック化器３０に出力するようになっている。
【０１１１】
次に動作について説明する。
図９は上記画像復号化装置１０５の復号化処理をフローチャートにより示しており、まず、このフローチャートに従って復号化処理の流れを簡単に説明する。
画像符号化信号Ｃｓが本画像符号化装置１０５に入力され、復号化器２６ａにて該画像符号化信号Ｃｓの復号化処理が予測値生成部１５０からの予測信号Ｓｐに基づいて行われる。
【０１１２】
このとき上記復号化器２６ａの出力として、１フレームに対応する複数の復号化画素値が順次主メモリ４に格納され、該主メモリ４からは、被復号化画素Ｐｘ′の復号化の際に参照される、被復号化画素Ｐｘ′の周辺に位置する複数の参照画素（周辺画素）Ｐ０′〜Ｐ９′の画素値が出力される（ステップＳ１１）。
【０１１３】
次に、上記主メモリ４に取得された複数の参照画素のうちの最初の参照画素が判定対象画素とされ（ステップＳ１２）、この判定対象画素が復号化済画素であるか否かの判定が復号化／未復号化判定器３０にて行われる（ステップＳ１３）。この符号化／未符号化判定器３０では、上記カウンタ出力Ｃｏｕｔのインクリメントと、上記主メモリ４から９つの参照画素Ｐ０′〜Ｐ９′の画素値が基準クロックに基づいて順次出力される動作とが同期しているため、主メモリ４から出力されている参照画素の、被復号化画素Ｐｘ′に対する位置を上記カウンタ出力Ｃｏｕｔから検知することができる。
【０１１４】
この判定の結果、判定の対象となっている参照画素が復号化済画素であれば、その画素値が参照画素値として上記予測値生成器１４にて取得され（ステップＳ１５）、上記判定の対象となっている参照画素が復号化済画素でなければ、この参照画素についてはその周辺の復号化済画素から参照画素値（擬似画素値）が生成され、上記予測値生成器１４にて取得される（ステップＳ１４）。
【０１１５】
次に、被復号化画素を復号化する際に必要な参照画素値がすべて上記予測値生成器１４にて取得できたか否かの判定がなされ（ステップＳ１６）、必要な参照画素値が全て取得されていない場合は、上記主メモリ４に取得された参照画素のうちの次の参照画素が上記判定対象とされ（ステップＳ１８）、上記ステップＳ１３〜Ｓ１６の処理が繰り返し行われる。一方、上記必要な参照画素値が全て上記予測値生成器１４にて取得されている場合は、上記予測値生成器１４にて上記参照画素値に基づいて、被復号化画素Ｐｘ′に対応する予測画素値が生成される（ステップＳ１７）。
【０１１６】
その後、被復号化画素Ｐｘ′の画素値が上記復号化器２６ａに取得されると同時に上記予測値生成器１４から被復号化画素Ｐｘ′の予測画素値が取得され（ステップＳ１９）、上記復号化器２６ａにて、上記被復号化画素Ｐｘ′の画素値に対する復号化処理が上記予測画素値を用いて行われる（ステップＳ２０）。
【０１１７】
次に、画像信号の復号化処理における本画像復号化装置１０５の動作とともに、上記各ステップＳ１１〜Ｓ２０での本装置の各部の具体的な動作について詳しく説明する。
【０１１８】
画像符号化信号Ｃｓが本画像復号化装置１０５に入力されると、該画像復号化信号Ｃｓは、復号化器２６ａに送られ、該復号化器２６ａでは、被復号化画素Ｐｘ′の画素値を画素毎に参照画素値を参照して復号化する復号化処理がブロック単位で行われる。
【０１１９】
このとき、上記主メモリ４には、上記復号化器２６ａの出力である１フレームを構成する画素値が順次格納され、被復号化画素Ｐｘ′に対応する参照画素Ｐ０′〜Ｐ９′の画素値が、一定の読出周期で出力される（ステップＳ１１）。上記主メモリ４の出力Ｍは一時的に上記第１，第２補助メモリ６ａ，６ｂにて保持される。上記第１補助メモリ６ａでは、上記主メモリ４の出力は１読出周期の期間だけ、上記第２補助メモリ６ｂでは２読出周期の期間だけ保持される。
【０１２０】
また、上記カウンタ８では、上記１フレームの最初の画素値を基準として、復号化器２６ａの出力Ｄｓに基づいて、入力される画素値の数がカウントされ、このカウント値Ｃｏｕｔが復号化／未復号化判定器２０に出力される。この復号化／未復号化判定器２０では、外部から１フレームにおける縦横のブロック数情報ＢＮｓが入力されており、このブロック数情報ＢＮｓ及び上記カウンタ８の出力により指定される参照画素が、上記復号化済画素か未復号化画素であるかの判定がなされる判定対象画素となる。例えば、図１７に示すように被復号化画素Ｐｘ′が決まると、これに対応する参照画素Ｐ０′〜Ｐ９′が決まり、このうちの主メモリ４から最初に画素値が出力される画素Ｐ０′がまず上記判定対象画素となる（ステップＳ１２）。
【０１２１】
このとき、上記参照画素Ｐ０′の画素値は、上記第１，第２補助メモリ６ａ，６ｂにでそれぞれ１読出期間，２読出期間の間保持される。また、復号化／未復号化判定器２０は、上記カウンタ出力Ｃｏｕｔ及びブロック数情報ＢＮｓに基づいて、被復号化ブロック内での被復号化画素の位置が計算され、各参照画素について復号化済画素であるか未復号化画素であるかが判定され、この判定結果に応じて上記選択スイッチ１２が制御される。
【０１２２】
この画素Ｐ０′は図１７に示すように復号化済画素であるため、復号化／未復号化判定器２０による判定（ステップＳ１３）の結果、上記選択スイッチ１２は該復号化／未復号化判定器２０により上記主メモリ４の出力Ｍを選択するよう制御され、これにより、上記画素Ｐ０′の画素値は参照画素値として予測値生成器１４に格納される。
【０１２３】
その後、上記復号化／未復号化判定器２０では、被復号化画素Ｐｘ′に対応する全ての参照画素の画素値が予測値生成器１４にて取得されたか否かを判定する（ステップＳ１６）。この場合は、上記予測値生成器１４には参照画素Ｐ０′〜Ｐ９′の全ての参照画素値が取得されていないので、上記復号化／未復号化判定器２０は、上記主メモリ４から参照画素Ｐ０′の画素値の次に出力される参照画素Ｐ１′の画素値を判定対象画素の画素値とする（ステップＳ１８）。そして、参照画素Ｐ１′は上記参照画素Ｐ０′と同様に復号化済画素であるため、この参照画素Ｐ１′の画素値についても上記ステップＳ１３，Ｓ１５，Ｓ１６，Ｓ１８の処理が行われる。
【０１２４】
続いて、上記復号化／未復号化判定器２０では、上記主メモリ４から参照画素Ｐ１′の画素値の次に出力される参照画素Ｐ２′の画素値が判定対象画素の画素値とされる（ステップＳ１８）。この参照画素Ｐ２′は上記参照画素Ｐ０′，Ｐ１′とは異なり、復号化済画素の隣に位置している未復号化画素であるため、上記選択スイッチ１２は該復号化／未復号化判定器２０により上記第１補助メモリ６ａの出力Ｍａを選択するよう制御され、これにより、上記参照画素Ｐ１′の画素値が、参照画素Ｐ２′の擬似画素値として予測値生成器１４に格納される（ステップＳ１４）。その後は上記ステップＳ１６，ステップＳ１８の処理が行われる。
【０１２５】
さらに、上記参照画素Ｐ３′〜Ｐ５′については上記参照画素Ｐ０′と同様に上記ステップＳ１３，Ｓ１５，Ｓ１６，Ｓ１８の処理が行われ、さらに参照画素Ｐ６′については、上記参照画素Ｐ１２′と同様にステップＳ１３′，Ｓ１４′，Ｓ１６′，Ｓ１８′の処理が行われる。
【０１２６】
続いて、上記復号化／未復号化判定器２０では、上記主メモリ４から参照画素Ｐ６′の画素値の次に出力される参照画素Ｐ７′の画素値が判定対象画素の画素値とされる（ステップＳ１８）。この参照画素Ｐ７′は上記参照画素Ｐ０′〜Ｐ６′とは異なり、復号化済画素から１画素分隔てて位置している未復号化画素であるため、上記選択スイッチ１２は該復号化／未復号化判定器２０により上記第２補助メモリ６ｂの出力Ｍｂを選択するよう制御され、これにより、上記参照画素Ｐ５′の画素値が、参照画素Ｐ７′の擬似画素値として予測値生成器１４に格納される（ステップＳ１４）。その後は上記ステップＳ１６，ステップＳ１８の処理が行われる。
【０１２７】
さらに、上記参照画素Ｐ８′，Ｐ９′については上記参照画素Ｐ０′と同様に上記ステップＳ１３，Ｓ１５，Ｓ１６の処理が行われる。この場合、復号化／未復号化判定器２０は全ての参照画素Ｐ０′〜Ｐ９′の全てについての参照画素値が上記予測値生成器１４に取得されているという判定がなされ、予測値生成器１４にて、取得した参照画素値に基づいて、被復号化画素Ｐｘ′に対応する予測画素値が算出される（ステップＳ１７）。
【０１２８】
続いて、上記復号化器２６ａには被復号化画素Ｐｘ′の画素値とともに上記予測画素値が取得され（ステップＳ１９）、被復号化画素Ｐｘ′の画素値とその予測画素値との加算値が、上記被復号化画素Ｐｘの画像復号化信号Ｄｓとして出力される（ステップＳ２０）。
【０１２９】
このようにして１フレーム内の各ブロックの画素値が復号化処理される。なお、１フレームの先頭画素については、復号化処理を施した参照画素が存在しないので、予測画素値を０として復号化処理が行われる。
【０１３０】
そして上記画像復号化信号Ｄｓは逆ブロック器３０にて１フレーム画面に対応するよう統合されて、走査線構造の画像再生信号Ｒｓが出力される。
【０１３１】
このように本実施の形態５では、未復号化画素の画素値を参照する場合は、その周辺の符号化済画素の画素値を参照するようにしたので、画素単位での適応的な復号化処理とブロック単位での復号化処理とを、未復号化画素と被復号化画素との間での画素値の相関を損なうことなく行うことができる。これにより伝送誤りの影響をブロック単位で収束可能とするとともに、単純なブロック単位の符号化処理に比べて符号化効率を向上した符号化方法により処理された画像符号化信号Ｃｓを正しく復号化することができる。
【０１３２】
なお、上記実施の形態５では、主メモリ４の出力Ｍを保持する時間の異なる２つの補助メモリ６ａ，６ｂを備えたが、主メモリ４の出力を一時的に保持する補助メモリを１つだけ備え、主メモリ４から出力される画素値を保持する時間を、未復号化画素の被復号化画素からの距離に応じて、復号化／未復号化判定器２０によって切り換えるようにしてもよい。
【０１３３】
また、上記実施の形態５では、画像信号の符号化処理の際、被復号化画素Ｐｘ′の予測画素値のみを参照するものを示したが、被復号化画素Ｐｘ′の予測画素値だけでなく、予測画素値の確からしさを示す予測確率に基づいて復号化処理を行うようにしてもよい。
【０１３４】
また、この場合、復号化処理の対象となる画像信号が２値形状信号である場合には、予測画素値は「０」あるいは「１」のいずれかであるため、予測画素値をその一方に固定しておき、予測確率のみを参照するようにしてもよい。
【０１３５】
以下、本発明の実施の形態６として、上記予測画素値に代えて予測確率のみを参照して２値形状信号の復号化処理を行う画像復号化装置を、また実施の形態７として、上記予測画素値とともに予測確率を参照して、多値の画像信号の復号化処理を行う画像復号化装置についてそれぞれ説明する。
【０１３６】
実施の形態６．
図１０は本発明の実施の形態６による画像復号化装置の構成を示すブロック図である。なお、図中、図８と同一符号は上記実施の形態５の画像復号化装置１０５におけるものと同一のものを示す。
【０１３７】
本実施の形態６の画像復号化装置１０６は、上記実施の形態５の画像復号化装置１０５における予測値生成器１４に代えて予測確率生成器２２を備え、画素値が「０」及び「１」のいずれかである２値形状信号に対する復号化処理を行うようにしたものである。
【０１３８】
上記予測確率生成器２２は、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′の画素値から、被復号化画素Ｐｘ′の画素値とその予測画素値とが一致する確率を予測確率Ｓｋとして求め、被復号化画素Ｐｘ′に対する予測確率Ｓｋを上記復号化器２６ｂに出力する構成となっている。
【０１３９】
ここで、上記復号化器２６ｂは、上記実施の形態２の画像符号化装置１０２により符号化された画像符号化信号Ｃｓの復号化処理を行う構成となっている。
【０１４０】
次に作用効果について説明する。
なお、上記実施の形態１の画像符号化装置と共通する動作についてはその説明を省略する。
このような構成の画像復号化装置１０５による２値形状信号の復号化処理においても、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′のうち未復号化画素に相当するものについては、その画素値が上記実施の形態５の画像復号化装置１０５と同様に復号化済画素の画素値から生成され、すべての参照画素Ｐ０′〜Ｐ９′に対応する画素値が予測確率生成器２２に格納される。
【０１４１】
そして、上記予測確率生成器２２では、上記参照画素Ｐ０′〜Ｐ９′の画素値に基づいて、被復号化画素Ｐｘ′に対する予測確率Ｓｋを求める。この予測確率Ｓｋが上記予測確率生成器２２から復号化器２６ｂに出力されると、該復号化器２６ｂでは、被復号化画素Ｐｘ′の画素値と予め設定されている予測画素値との差分値に対して、上記予測確率Ｓｋに応じた復号化処理を行う。
【０１４２】
このように本実施の形態６では、２値の画像信号を符号化してなる画像符号化信号を復号化する画像復号化装置１０６において、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる符号化処理に対応する復号化処理を実現できる。
【０１４３】
実施の形態７．
図１１は本発明の実施の形態７による画像復号化装置の構成を示すブロック図である。なお、図中、図８と同一符号は上記実施の形態５の画像符号化装置１０５におけるものと同一のものを示す。
本実施の形態７の画像復号化装置１０７は、上述したように多値の画像信号に対して符号化処理を行うもので、上記実施の形態３の画像符号化装置１０３により符号化された画像符号化信号Ｃｓの復号化処理を行う構成となっている。
【０１４４】
具体的には、上記画像復号化装置１０７の予測確率生成部１７０は、上記実施の形態５の画像符号化装置１０５における予測値生成器１４に加えて予測確率生成器２２を有する構成となっている。
【０１４５】
上記予測確率生成器２２は、上記予測値生成器１４と同様、選択スイッチ１２の出力Ｓｏｕｔを受け、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′の画素値を順次格納し、これらの画素値に基づいて、上記予測値生成器１４にて参照画素Ｐ０′〜Ｐ９′に基づいて予測される予測画素値Ｓｐの確からしさを示す予測確率Ｓｋを出力する構成となっている。
【０１４６】
そして、上記復号化器２６ｃは上記実施の形態３の符号化器１６ｃによる符号化処理に対応する復号化処理を行うものであり、該復号化器２６ｃは、上記予測値生成器１４からの予測画素信号Ｓｐ及び予測確率生成器２２からの予測確率Ｓｋに基づいて、被復号化画素Ｐｘ′の画素値を復号化する構成となっている。
【０１４７】
次に作用効果について説明する。
なお、上記実施の形態５の画像符号化装置と共通する動作についてはその説明を省略する。
このような構成の画像復号化装置１０７による多値の画像信号の復号化処理においても、被復号化画素Ｐｘ′に対する参照画素Ｐ０′〜Ｐ９′のうち未復号化画素に相当するものについては、その画素値が上記実施の形態５の画像復号化装置１０５と同様に復号化済画素の画素値から生成され、すべての参照画素Ｐ０′〜Ｐ９′に対応する画素値が予測確率生成器２２及び予測値生成器１４に格納される。
【０１４８】
そして、予測値生成器１４では、上記実施の形態５と同様にして参照画素Ｐ０′〜Ｐ９′から被復号化画素Ｐｘ′の予測画素値を求める。また上記予測確率生成器２２では、上記参照画素Ｐ０′〜Ｐ９′の画素値に基づいて、被復号化画素Ｐｘ′に対する予測確率を求める。
【０１４９】
上記予測画素値Ｓｐ及び予測確率Ｓｋが復号化器２６ｃ及び局所復号化器２４に出力されると、該復号化器２６ｃでは、被復号化画素Ｐｘ′の画素値と予測値生成器１４からの予測画素値との加算値に対して、上記予測確率Ｓｋに応じた復号化処理を行う。この再生された被復号化画素Ｐｘ′の画素値は上記主メモリ４に格納される。
【０１５０】
このように本実施の形態７では、多値の画像信号を符号化してなる画像符号化信号を復号化する画像復号化装置１０７において、ブロック境界に隣接する予測値生成が困難な被符号化画素を、符号化効率の劣化を抑えつつ符号化することができる符号化処理に対応する復号化処理を実現できる。
【０１５１】
なお、上記実施の形態５，６，７では、画像復号化装置として、実施の形態１，２，３の画像復号化装置１０１，１０２，１０３により可逆符号化した画像符号化信号を復号化するものを示したが、上記復号化器２６ａを、非可逆符号化に対応する復号化処理を行う構成とすることにより、上記実施の形態５，６，７における画像復号化装置１０５，１０６，１０７を、実施の形態４，その変形例１，２の画像符号化装置１０４，１０４ａ，１０４ｂに対応するものとできる。
【０１５２】
また、上記実施の形態で示した符号化装置あるいは復号化装置の構成を実現するための符号化あるいは復号化プログラムを、フロッピーディスク等のデータ記憶媒体に記録するようにすることにより、上記実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【０１５３】
図１２(a) は、上記実施の形態の符号化あるいは復号化処理を、上記符号化あるいは復号化プログラムを格納したフロッピーディスクを用いて、コンピュータシステムにより実施する場合を説明するための図である。
【０１５４】
図１２(b) は、フロッピーディスクの正面からみた外観、断面構造、及びフロッピーディスクを示し、図１２(a) は、記録媒体本体であるフロッピーディスクの物理フォーマットの例を示している。フロッピーディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフロッピーディスクでは、上記フロッピーディスクＦＤ上に割り当てられた領域に、上記プログラムとしてのデータが記録されている。
【０１５５】
また、図１２(c) は、フロッピーディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフロッピーディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしてのデータをフロッピーディスクドライブを介して書き込む。また、フロッピーディスク内のプログラムにより上記符号化あるいは復号化装置をコンピュータシステム中に構築する場合は、フロッピーディスクドライブによりプログラムをフロッピーディスクから読み出し、コンピュータシステムに転送する。
【０１５６】
上記説明では、データ記録媒体としてフロッピーディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【０１５７】
また、上記実施の形態２，３及び実施の形態４の変形例１，２では、予測確率に応じて符号化方法を切換える例を、実施の形態５，６では、予測確率に応じて復号化方法を切換える例を示したが、上記予測確率に応じて符号語（符号化テーブル）を変更してもよい。特に算術符号で符号化する場合は予測確率により算術符号に相当する確率テーブルを更新するようにすることにより、簡単な構成により、上記実施の形態２，３及び実施の形態４の変形例１，２の画像符号化装置、あるいは実施の形態５，６の画像復号化装置を実現することができ、この場合、その実用上の効果は非常に大きい。
【０１５８】
また、本発明は、被符号化画素の予測画素値をその周辺に位置する複数の周辺画素の画素値を参照して予測する際、該周辺画素のうちの未符号化画素については、上記周辺画素のうちの符号化済画素の画素値を用いて擬似画素値を生成するようにしたものであるが、被符号化画素のブロック内での位置に応じて、その予測画素値を生成する際に参照される１群の周辺画素として、被符号化画素周辺での配置が異なるものを用いるようにしてもよい。
【０１５９】
例えば、図１４を用いて具体的に説明すると、被符号化画素Ｐｘがブロックの境界に位置する場合には、その周辺画素Ｐ０, Ｐ１, Ｐ３, Ｐ４, Ｐ５, Ｐ８, Ｐ９のみを参照画素とし、被符号化画素Ｐｘがブロックの境界以外に位置する場合には、その周辺画素Ｐ０, Ｐ１, Ｐ２, Ｐ３, Ｐ４, Ｐ５, Ｐ６, Ｐ７, Ｐ８, Ｐ９の全てを参照画素とする。そして、被符号化画素Ｐｘを符号化する際には、その周辺画素Ｐ０, Ｐ１, Ｐ３, Ｐ４, Ｐ５, Ｐ８, Ｐ９のみで構成される符号語と、周辺画素Ｐ０, Ｐ１, Ｐ２, Ｐ３, Ｐ４, Ｐ５, Ｐ６, Ｐ７, Ｐ８, Ｐ９の全てで構成される符号語とを切り替えて使用する。
【０１６０】
言い換えると、符号化器を、被符号化画素Ｐｘのブロック内での位置に応じた符号語を複数有する構成とし、上記被符号化画素Ｐｘの位置に応じて符号語を切換える構成とする。
【０１６１】
このような構成によっても、上述した本発明の実施の形態の画像符号化装置と同様な効果が得られることは、本発明の実施の形態から容易に類推できる。
【０１６２】
なお、復号化器についても、図１７に示す被復号化画素Ｐｘ′のブロック内での位置に応じた符号語を複数有する構成とし、上記被復号化画素Ｐｘ′の位置に応じて符号語を切換える構成とすることにより、上記実施の形態の画像復号化装置と同様な効果が得られることは言うまでもない。
【０１６３】
【発明の効果】
本発明に係る画像符号化装置によれば、被符号化画素に対応する複数の周辺画素のうちの未符号化画素の画素値を、上記複数の周辺画素のうちの符号化済画素の画素値に基づいて得られる擬似画素値に置き換える画素値置換手段を備えたので、１画像表示領域に対応する画像信号をブロック単位で符号化する処理を、被符号化画素周辺の周辺画素の画素値を画素毎に参照して行う際、被符号化画素がブロックの境界に隣接して位置し、参照される複数の周辺画素に未符号化画素が含まれる場合であっても、未符号化画素の画素値として、他の周辺画素の画素値との間で相関のとれた擬似画素値を参照することができる。この擬似画素値は被符号化画素周辺の符号化済画素の画素値から得られるものであるので、復号化側においても、被復号化画素の復号化の際に参照される未復号化画素については、その画素値の代わりに、復号化済画素の画素値から得られる擬似画素値を参照することができる。
また、被符号化画素の画素値に対する非可逆符号化処理を、上記符号化済画素の画素値を復号化した復号化画素値に基づいて行うので、被符号化画素に対する非可逆符号化処理の際に参照する周辺画素の画素値を、被復号化画素に対する復号化処理の際に参照される周辺画素の画素値と同一にすることができる。
【０１６４】
このため、画素単位での適応的な符号化処理とブロック単位での符号化処理とを、未符号化画素と被符号化画素との間での画素値の相関を損なうことなく、しかも復号化側にて符号化信号の復号化が困難となるのを回避しつつ組み合わせることができる。
【０１６５】
これにより伝送誤りの影響をブロック単位で収束可能とし、かつ符号化効率を単純なブロック単位の符号化処理に比べてより高いものとでき、また、被符号化画素の予測効率の劣化を招くことなく符号化した符号化信号の復号化処理を正しく行うことができるという効果が得られる。
【０１６６】
本発明によれば、上記画像符号化装置において、未符号化画素の擬似画素値として、最も未符号化画素に近い符号化済画素の画素値を用いることにより、未符号化画素の擬似画素値を、周辺画素の画素値との相関の強いものとできる。
【０１６７】
本発明によれば、上記画像符号化装置において、未符号化画素の擬似画素値として、未符号化画素と同一水平走査線上で上記未符号化画素から最も近い符号化済画素の画素値を用いることにより、符号化済画素の画素値を所定時間保持するといった簡単な方法により、未符号化画素の擬似画素値を得ることができる。
【０１６８】
本発明によれば、上記画像符号化装置において、上記被符号化画素の画素値とその予測画素値との差分値を符号化することにより、被符号化画素の画素値の符号化に必要となる符号量を低減して符号化効率を向上するこができる。
【０１６９】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値及び未符号化画素の擬似画素値に基づいて、被符号化画素の画素値を符号化するための符号語を選択するようにすることにより、画像信号の符号化処理の際、画素毎に符号語を適応的に変更して、効率のよい符号化処理を実現することができる。
【０１７０】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値及び未符号化画素の予測画素値に基づいて、被符号化画素を符号化する算術符号に相当する確率テーブルを選択して、被符号化画素に対する画素値の符号化を行うことにより、算術符号化処理における確率テーブルを画素毎に適応的に切り替えて、効率のよい符号化処理を行うことができる。
【０１７１】
本発明によれば、上記画像符号化装置において、被符号化画素の画素値に対して非可逆符号化処理を、上記符号化済画素の画素値を復号化した復号化画素値に基づいて行うことにより、被符号化画素に対する非可逆符号化処理の際に参照する周辺画素の画素値を、被復号化画素に対する復号化処理の際に参照される周辺画素の画素値と同一にすることができ、これにより周辺画素の画素値に基づいた非可逆符号化により得られる画像符号化信号を、復号化側にて正しく復号化することが可能となる。
【０１７２】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値および未符号化画素の擬似画素値から被符号化画素の予測画素値を生成し、上記被符号化画素の画素値とその予測画素値との差分値を符号化することにより、被符号化画素の画素値の符号化に必要となる符号量を低減して符号化効率を向上するこができる。
【０１７３】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値及び未符号化画素の擬似画素値に基づいて、該被符号化画素の画素値を符号化するための符号語を選択することにより、画像信号の符号化処理の際、画素毎に符号語を適応的に変更して、効率のよい符号化処理を実現することができる。
【０１７４】
本発明によれば、上記画像符号化装置において、上記符号化済画素の画素値及び未符号化画素の擬似画素値に基づいて、被符号化画素を符号化する算術符号に相当する確率テーブルを選択して、被符号化画素に対する画素値の符号化を行うことにより、算術符号化処理における確率テーブルを画素毎に適応的に切り替えて、効率のよい符号化処理を行うことができる。
【０１７５】
本発明に係る画像符号化方法によれば、画像信号を１画像表示領域上の各ブロックに対応するようブロック化し、該ブロックにおける被符号化画素の画素値を周辺画素の画素値を参照して符号化し、この際、周辺画素が符号化済画素であればその画素値を参照し、該周辺画素が未符号化画素であれば、その画素値に代えて符号化済画素の画素値から得られる擬似画素値を参照するようにしたので、上記符号化処理の際、被符号化画素がブロックの境界に隣接して位置し、参照される複数の周辺画素に未符号化画素が含まれる場合であっても、未符号化画素の画素値として、他の周辺画素の画素値との間で相関のとれた擬似画素値を参照することができる。この擬似画素値は被符号化画素周辺の符号化済画素の画素値から得られるものであるので、復号化側においても、被復号化画素の復号化の際に参照される未復号化画素については、その画素値に代わりに、復号化済画素の画素値から得られる擬似画素値を参照することができる。
また、被符号化画素の画素値に対する非可逆符号化処理を、上記符号化済画素の画素値を復号化した復号化画素値に基づいて行うので、被符号化画素に対する非可逆符号化処理の際に参照する周辺画素の画素値を、被復号化画素に対する復号化処理の際に参照される周辺画素の画素値と同一にすることができる。
【０１７６】
このため、画素単位での適応的な符号化処理とブロック単位での符号化処理とを、未符号化画素と被符号化画素との間での画素値の相関を損なうことなく、しかも復号化側にて符号化信号の復号化が困難となるのを回避しつつ組み合わせることができる。
【０１７７】
これにより伝送誤りの影響をブロック単位で収束可能とし、かつ符号化効率を単純なブロック単位の符号化処理に比べてより高いものとでき、また、被符号化画素の予測効率の劣化がなく符号化信号の復号化処理を正しく行うことができるという効果が得られる。
【０１７８】
このように本発明の画像符号化装置及び画像符号化方法は、画像信号の圧縮処理における符号化効率を向上することができ、画像信号の伝送や記憶を行うシステムにおける画像符号化処理を実現するものとして極めて有用であり、特に、ＭＰＥＧ４等の規格に準拠した動画像の圧縮，伸長処理に適している。
【図面の簡単な説明】
【図１】本発明の実施の形態１による画像符号化装置の構成を示すブロック図である。
【図２】上記画像符号化装置による符号化処理における未符号化画素の画素値を生成する処理をフローチャートにより示す図である。
【図３】本発明の実施の形態２による画像符号化装置の構成を示すブロック図である。
【図４】本発明の実施の形態３による画像符号化装置の構成を示すブロック図である。
【図５】本発明の実施の形態４による画像符号化装置の構成を示すブロック図である。
【図６】上記実施の形態４の変形例１による画像符号化装置の構成を示すブロック図である。
【図７】上記実施の形態４の変形例２による画像符号化装置の構成を示すブロック図である。
【図８】本発明の実施の形態５による画像復号化装置の構成を示すブロック図である。
【図９】上記画像復号化装置による復号化処理における未復号化画素の画素値を生成する処理をフローチャートにより示す図である。
【図１０】本発明の実施の形態６による画像復号化装置の構成を示すブロック図である。
【図１１】本発明の実施の形態７による画像復号化装置の構成を示すブロック図である。
【図１２】図１２(a)，図１２(b)，図１２(c)は、上記実施の形態の画像符号化装置による符号化処理あるいは画像復号化装置による復号化処理をコンピュータシステムにより実現するためのプログラムを格納したデータ記憶媒体を示す図である。
【図１３】図１３(a)、図１３(b)は、ブロック単位の符号化処理における１フレーム画面を複数のブロックに区分する様子を示す模式図である。
【図１４】画素単位での適応的な符号化処理を説明するための模式図である。
【図１５】上記ブロック単位の符号化処理と画素単位での符号化処理とを組み合わせた組合せ符号化方法における問題点を説明するための模式図である。
【図１６】図１６(a)、図１６(b)は、ブロック単位の復号化処理における１フレーム画面を複数のブロックに区分する様子を示す模式図である。
【図１７】画素単位での適応的な復号化処理を説明するための模式図である。
【図１８】上記ブロック単位の復号化処理と画素単位での復号化処理とを組み合わせた組合せ復号化方法における問題点を説明するための模式図である。
【符号の説明】
２ブロック化器
４カウンタ
６ａ，６ｂ第１，第２補助メモリ
８カウンタ
１０符号化／未符号化判定器
１２選択スイッチ
１４予測値生成器
１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ符号化器
２０復号化／未復号化判定器
２２予測確率生成器
２４局所復号化器
２６ａ，２６ｂ，２６ｃ復号化器
３０逆ブロック化器
１０１，１０２，１０３，１０４，１０４ａ，１０４ｂ画像符号化装置
１０５，１０６，１０７画像復号化装置
１１０，１２０，１３０，１４０，１４０ａ，１４０ｂ，１５０，１６０，１７０予測値生成部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding device and an image encoding method, and more particularly to an encoding process for recording or transmitting an image signal with a smaller number of bits without impairing image quality.
[0002]
[Prior art]
Conventional image encoding processing includes encoding processing performed in units of blocks represented by an encoding method compliant with MPEG2, and encoding processing performed in units of pixels such as differential pulse code modulation (DPCM). It is roughly divided into two.
[0003]
The block-by-block encoding process is a technique in which one image display area is divided into a plurality of blocks and an input image signal (hereinafter also referred to as an image input signal) is encoded for each block. Here, the one image display area corresponds to one display screen in the encoding process conforming to MPEG2, and in the encoding process conforming to MPEG4, individual objects ( This corresponds to a display area having a shape and size corresponding to (object). Each block is a display area composed of a predetermined number of pixels in one image display area, and the shape of the block is often a rectangular shape that can be easily processed.
[0004]
In this way, in the encoding method in which the image input signal is encoded in units of blocks, the encoding process of the image input signal corresponding to one image display area is completed for each block. For this reason, even if a transmission error occurs when transmitting an image encoded signal obtained by performing an encoding process on the image input signal, the influence of the error can be converged in units of blocks. is there.
[0005]
On the other hand, the block unit encoding method has the following drawbacks.
First, in the block unit encoding method, since the encoding process of the image input signal is completed for each block, the pixel correlation between the blocks, that is, the correlation of the pixel values existing between different blocks is determined during the encoding process. It is difficult to use.
[0006]
In addition, in the predictive encoding method of an image signal, pixel values of encoded pixels to be encoded (encoded pixel values) are converted to pixel values of a plurality of encoded pixels that are encoded earlier (encoded pixel values). The encoded pixel value is predicted with reference to the encoded pixel value, and the encoded pixel value is adaptively encoded using the predicted pixel value. However, when encoding processing is performed in units of blocks in such a predictive encoding method, the encoded pixel values referred to when encoding the encoded pixel values are limited to the pixels in the block. The number of encoded pixel values to be reduced is reduced. For this reason, the probability of the predicted value of the encoded pixel is reduced, and the encoding efficiency is not so high.
[0007]
On the other hand, the pixel-by-pixel encoding method is a method of encoding an input image signal for each pixel, and in this encoding method, the encoding process of the image input signal can be changed on a pixel-by-pixel basis. . For this reason, in this encoding method, for example, if universal encoding processing such as adaptive arithmetic encoding in which the code word is automatically updated for each pixel in accordance with the characteristics of the image input signal is performed, It is possible to encode an image signal having various characteristics with a very high encoding efficiency.
[0008]
However, the image encoded signal obtained by the pixel-by-pixel encoding method for performing the universal encoding process is subjected to a decoding process for updating a code word on the decoding side in the same manner as the encoding side. Therefore, if a transmission error occurs when transmitting the above-mentioned image encoded signal, the decoding side will not be able to correctly decode the image encoded signal due to the effect of the transmission error for a long time. There are disadvantages.
[0009]
By the way, the block-unit encoding method and the pixel-unit encoding method can be combined, and an encoding method combining them (hereinafter, this encoding method is referred to as a combined encoding method for convenience of description). Therefore, it is possible to switch codewords adaptively for each pixel and to converge the influence of transmission errors on a block basis, and to reduce the influence of transmission errors by performing coding processing such as adaptive arithmetic coding with high coding efficiency. It can be performed while suppressing.
[0010]
Hereinafter, this combination coding method will be described.
FIG. 13 (a) shows a state in which one frame screen is divided into a plurality of rectangular blocks, and FIG. 13 (b) shows a block, particularly a block to be encoded and its surroundings. An arrangement of pixels within a block is shown. Needless to say, each pixel is arranged in a matrix along each horizontal scanning line in one frame screen.
[0011]
In the figure, FG is a screen corresponding to one frame, B1 is a coded block that has already been subjected to coding processing on an image signal, Bx is a coded block that is a target of coding processing, and B0 is still an image. It is an unencoded block that has not been subjected to encoding processing on a signal. However, when the above blocks are not distinguished, they are referred to as block B. BLu, BLs, BLh, and BLm are the upper, lower, left, and right boundaries of the encoded block on one frame screen. In addition, solid line circles indicate encoded pixels that have already been subjected to the encoding process for that pixel value, and dotted line circles indicate unencoded pixels that have not yet been subjected to the encoding process for that pixel value. ing. Each block B is an image display area composed of 4 × 4 pixels on the one-frame screen FG.
[0012]
FIG. 14 shows the positional relationship between the encoded pixel Px to be encoded and the peripheral pixels P0 to P9 located around the encoded pixel Px. This is referred to when predicting the pixel value of the encoded pixel Px, and is hereinafter referred to as reference pixels P0 to P9.
[0013]
Here, the reference pixels P8 and P9 are pixels located on the same horizontal scanning line as the encoded pixel Px, and the reference pixels P9 and P8 respectively correspond to one pixel of the encoded pixel Px, 2 It is located in front of the pixel. Further, the positions of the reference pixels P5 and P1 in the horizontal direction on the one-frame screen FG are the same as the encoded pixel Px, and the reference pixels P5 and P1 are respectively the same as the encoded pixel Px. It is positioned on the horizontal scanning line that is one pixel and two pixels above. Further, the reference pixels P3, P4, P6 and P7 are pixels located on the same horizontal scanning line as the reference pixel P5, and the reference pixels P4 and P3 are respectively one pixel of the coded pixel Px, 2 The reference pixels P6 and P7 are positioned in front of the pixel, and the reference pixels P6 and P7 are positioned behind the encoded pixel Px by one pixel and two pixels, respectively. Further, the reference pixels P0 and P2 are pixels located on the same horizontal scanning line as the reference pixel P1, the reference pixel P0 is one pixel before the reference pixel P1, and the reference pixel P2 is the reference. It is located behind the pixel P1 by one pixel.
[0014]
In the combination coding method, first, as shown in FIGS. 13A and 13B, an image signal corresponding to one frame screen FG is transmitted to each of a plurality of blocks B constituting the one frame screen. The image is divided so as to correspond to each other, and the coding process of the divided image signal is performed for each block.
[0015]
This block-by-block encoding processing is performed by performing horizontal processing for sequentially encoding the pixel values of each pixel from the left side to the right side along the horizontal pixel row in block B. It completes by performing from the top row to the bottom row sequentially for the direction pixel row.
[0016]
Further, in this encoding process, as shown in FIG. 14, the pixel value of the pixel to be encoded Px is adaptively predicted from the pixel values of the reference pixels P0 to P9 positioned around the pixel to be encoded, According to the prediction value obtained by the prediction, the code word used for the encoding process of the pixel to be encoded is adaptively selected.
[0017]
As a result, in the above-described combination coding method, the influence of transmission errors on the decoding side can be converged on a block basis, and the coding efficiency can be improved as compared with a simple block unit coding process.
[0018]
On the other hand, FIGS. 16 (a), 16 (b), and 17 are diagrams for explaining a combination decoding method corresponding to the above combination encoding method. In FIG. Bx ′ is a decoded block, B1 ′ is a decoded block, B0 ′ is an undecoded block, and BLu ′, BLs ′, BLh ′, and BLm ′ are above the decoded block Bx ′. , Lower, left, and right block boundaries, and P0 'to P9' are reference pixels corresponding to the decoded pixel Px '. Here, the arrangement of the reference pixels P0 ′ to P9 ′ with respect to the decoded pixel Px ′ is exactly the same as that of the encoding process shown in FIGS. 13 (a), 13 (b), and 14.
[0019]
In the combination decoding method, first, as shown in FIGS. 16 (a) and 16 (b), an image signal corresponding to one frame screen FG 'is transmitted to a plurality of blocks B' constituting the one frame screen. The image data is divided so as to correspond to each of the blocks, and the decoded image signal is decoded for each block.
[0020]
This block-by-block decoding processing is performed by performing horizontal processing for sequentially decoding pixel values of each pixel from the left side to the right side along the horizontal pixel row in the block B ′. The horizontal pixel column is completed by performing from the top row to the bottom row sequentially.
[0021]
In this decoding process, as shown in FIG. 17, the pixel value of the pixel Px ′ to be decoded is adaptively determined from the pixel values of the reference pixels P0 ′ to P9 ′ positioned around the pixel to be decoded. Prediction is performed, and a codeword used for decoding processing of the decoding target pixel Px ′ is adaptively selected according to the prediction value obtained by the prediction.
[0022]
[Problems to be solved by the invention]
However, the combination encoding method that combines both the block unit encoding process and the pixel unit encoding process has the following problems.
In this combination encoding method, since the encoding process proceeds in units of blocks, when the encoded pixel Px is located adjacent to the right boundary BLm of the encoded block Bx as shown in FIG. The reference pixels P2, P6, and P7 for the pixel Px are uncoded pixels.
[0023]
In this case, when the pixel value of the encoded pixel Px is predicted with reference to the pixel values of the uncoded pixels P2, P6, P7, and the pixel value of the encoded pixel Px is encoded using the predicted value. Therefore, it becomes impossible for the decoding side to correctly decode the encoded image signal corresponding to the encoded pixel Px.
[0024]
That is, in order to correctly decode the encoded image signal obtained by encoding the pixel value of the encoded pixel Px using the predicted value on the decoding side, the decoded pixel Px used in the decoding process. It is necessary to match the predicted value of ′ with the predicted value of the encoded pixel Px corresponding to the decoded pixel Px ′ used in the encoding process. In other words, on the encoding side, the reference pixel value that is referred to when generating the predicted value of the encoded pixel Px is the predicted value of the decoded pixel Px ′ corresponding to the encoded pixel Px. That is, it is necessary to completely match the reference pixel value that is referred to when generating.
[0025]
For this reason, for example, as shown in FIG. 15, when performing the encoding process on the encoded pixel Px, the unencoded pixels P2, P6, and P7 among the reference pixels P0 to P9 for the encoded pixel Px. When the predicted value of the encoded pixel Px is generated with reference to the pixel value, the decoding side performs decoding processing on the decoded pixel Px ′ on the decoding side as shown in FIG. The prediction value of the decoded pixel Px ′ is generated with reference to the pixel values of the reference pixels P0 ′ to P9 ′ corresponding to Px ′. On the decoding side, the reference pixels P0 ′ to P9 ′ Pixel values are not obtained for the undecoded pixels P2 ′, P6 ′, and P7 ′, and the pixel value of the decoded pixel Px ′ corresponding to the encoded pixel Px cannot be decoded.
[0026]
Therefore, in the conventional combination encoding method, in order to avoid the problem that the decoding process becomes difficult when the reference pixels P0 to P9 corresponding to the encoded pixel Px include uncoded pixels as described above. For the uncoded pixel, the pixel value is regarded as a fixed value (for example, 0) set in advance, a predicted value of the encoded pixel Px is generated, and the encoded pixel Px is generated using the predicted value. Measures are taken to perform the encoding process.
[0027]
In the combination coding method in which such countermeasures are taken, on the decoding side, it becomes possible to correctly perform the decoding process using the prediction values for all the pixels in the block. Since the pixel value of the reference pixel is uniformly replaced with a fixed value, the correlation of the pixel value between the uncoded pixel and the coded pixel is lost, and as a result, the prediction efficiency of the coded pixel, That is, there arises a problem that the accuracy of the predicted value for the encoded pixel deteriorates.
[0028]
The present invention has been made to solve the above-described problems, and is an image that can correctly perform the decoding process of the encoded image signal without degrading the prediction efficiency of the encoded pixel. An object is to provide a processing apparatus.
[0029]
[Means for Solving the Problems]
An image encoding apparatus according to the present invention is an image encoding apparatus that encodes pixel values constituting an image signal based on pixel values of a plurality of peripheral pixels located around a pixel to be encoded. Blocking means for dividing an image signal into blocks each including a predetermined number of pixels, and pixel values of unencoded pixels among a plurality of peripheral pixels located around the pixel to be encoded are represented by the plurality of peripheral pixels. A pixel value replacement unit that replaces a pixel value of an encoded pixel with a pseudo pixel value obtained based on a predetermined rule, and an image signal including a plurality of pixels corresponding to the block. Encoding means for encoding and outputting an encoded signal based on the pixel value of the pixel and the pseudo pixel value of the unencoded pixel, and local decoding means for generating a decoded pixel value by decoding the encoded signal And the pixel value replacement The stage replaces the pixel value of the unencoded pixel with a pseudo pixel value obtained based on a predetermined rule from the pixel value of the decoded pixel corresponding to the encoded pixel, and the encoding means includes: Refer to the decoded pixel value obtained by decoding the encoded signal and the pseudo pixel value of the unencoded pixel, and perform irreversible encoding processing on the pixel value of the encoded pixel. Is.
[0030]
An image encoding method according to the present invention is an image encoding method for encoding pixel values constituting an image signal based on pixel values of a plurality of peripheral pixels located around a pixel to be encoded. A block forming step for dividing the image signal into blocks composed of a predetermined number of pixels, and pixel values of unencoded pixels among a plurality of peripheral pixels located around the encoded pixel are represented by the plurality of peripheral pixels. A pixel value replacement step for replacing a pixel value of an encoded pixel with a pseudo pixel value obtained based on a predetermined rule, and an image signal composed of a plurality of pixels corresponding to the block. An encoding step for encoding and outputting an encoded signal based on the pixel value of the pixel and the pseudo pixel value of the unencoded pixel, and a local decoding step for generating a decoded pixel value by decoding the encoded signal And have In the pixel value replacement step, the pixel value of the unencoded pixel is replaced with a pseudo pixel value obtained based on a predetermined rule from the pixel value of the decoded pixel corresponding to the encoded pixel, and the code In the encoding step, with reference to the decoded pixel value obtained by decoding the encoded signal and the pseudo pixel value of the unencoded pixel, the pixel value of the encoded pixel is irreversibly encoded. It is the one that performs processing.
[0031]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to FIGS.
[0032]
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a configuration of an image coding apparatus 101 according to Embodiment 1 of the present invention.
The image encoding device 101 divides an input image signal Is so as to correspond to each of a plurality of blocks constituting one image display area (one frame), and the block encoder 2 In response to the output Bs, the pixel value of the encoded pixel to be encoded in the encoded block to be encoded is the predicted pixel value of the encoded pixel (hereinafter also simply referred to as predicted value) Sp. , An encoder 16a that performs lossless encoding, and a predicted value generation unit 110 that generates the predicted pixel value Sp.
[0033]
The predicted value generation unit 110 outputs a large-capacity main memory 4 that can store, for example, the pixel value of each pixel constituting the input image signal by a number corresponding to one frame, and is output from the main memory 4. The first and second auxiliary memories 6a and 6b having different holding times for temporarily holding the pixel value M are provided. Here, during the time required for the encoding process of one pixel value, the main memory 4 has the reference pixels P0 to P9 (to be encoded pixels Px to be processed by the encoder 16a). The pixel values corresponding to FIG. 14) are sequentially output from the stored pixel values. The first auxiliary memory 6a is configured to delay the pixel value M sequentially output from the main memory 4 by one pixel, and the second auxiliary memory 6b is a pixel sequentially output from the main memory 4. The value M is delayed by two pixels.
[0034]
The predicted value generation unit 110 receives the image input signal Is of each frame, counts the number of pixel values, the output Cout of the counter 8, and the number of vertical and horizontal blocks in each frame supplied from the outside. On the basis of the information BNs, the pixel value output from the main memory 4 is the pixel value of an already-encoded pixel that has already been subjected to the encoding process by the encoder 16a, or is still subjected to the encoding process. And an encoding / uncoding determination unit 10 for determining whether the pixel value of an unencoded pixel is not present. Here, for the uncoded pixels, the determiner 10 also performs a process of measuring the distance to the nearest coded pixel located on the same horizontal scanning line as the number of pixels. The counter 8 is reset when the pixel values of all the pixels constituting one frame are input.
[0035]
Further, the predicted value generation unit 110 outputs one of the outputs M, Ma, Mb of the main memory 4 and the first and second auxiliary memories 6a, 6b based on the output of the encoded / uncoded determiner 10. The selection switch 12 for selecting and outputting the output, and the output Sout of the selection switch 12 are acquired as the pixel values of the reference pixels P0 to P9 necessary for generating the predicted pixel value corresponding to the encoded pixel Px. A prediction value generator 14 that generates a prediction pixel value Sp corresponding to the encoded pixel Px.
[0036]
In the image encoding device 101, the encoder 16a performs an encoding process on the difference value between the pixel value of the pixel Px to be encoded output from the blockizer 2 and the predicted pixel value. The encoded encoding difference value is output as an encoded pixel value corresponding to the encoded pixel Px. In this encoding process, a code word for encoding the pixel value of the pixel to be encoded Px is selected based on the predicted pixel value obtained from the pixel values of the reference pixels P0 to P9.
[0037]
Next, the operation will be described.
FIG. 2 is a flowchart showing the encoding process of the image encoding apparatus 101. First, the flow of the encoding process will be briefly described with reference to this flowchart.
When an image signal is input to the main image encoding apparatus 101, pixel values constituting the image signal are sequentially stored in the main memory 4, and the main memory 4 refers to the time when the encoded pixel Px is encoded. The pixel values of a plurality of reference pixels (peripheral pixels) P0 to P9 located around the encoded pixel Px are output (step S1).
[0038]
Next, the first reference pixel among the plurality of reference pixels acquired in the main memory 4 is set as a determination target pixel (step S2), and it is determined whether or not the determination target pixel is an encoded pixel. This is performed by the encoding / uncoding determination unit 10 (step S3). In the encoded / uncoded determination unit 10, the increment of the counter output Cout and the operation of sequentially outputting the pixel values of the nine reference pixels P0 to P9 from the main memory 4 based on the reference clock are synchronized. Therefore, the position of the reference pixel output from the main memory 4 with respect to the encoded pixel Px can be detected from the counter output Cout.
[0039]
As a result of the determination, if the reference pixel to be determined is an encoded pixel, the pixel value is acquired as the reference pixel value by the predicted value generator 14 (step S5), and the determination target If the reference pixel is not an encoded pixel, for this reference pixel, a reference pixel value (pseudo pixel value) is generated from the surrounding encoded pixels and acquired by the prediction value generator 14 (Step S4).
[0040]
Next, it is determined whether or not all the reference pixel values necessary for encoding the encoded pixel have been acquired by the prediction value generator 14 (step S6), and all the necessary reference pixel values are acquired. If not, the next reference pixel among the reference pixels acquired in the main memory 4 is set as the determination target (step S8), and the processes in steps S3 to S6 are repeated. On the other hand, when all the necessary reference pixel values are acquired by the prediction value generator 14, the prediction value generator 14 performs prediction corresponding to the encoded pixel Px based on the reference pixel values. Pixel values are generated (step S7).
[0041]
Thereafter, the pixel value of the encoded pixel Px is acquired by the encoder 16a, and at the same time, the predicted pixel value of the encoded pixel Px is acquired from the predicted value generator 14 (step S9). In 16a, the encoding process for the pixel value of the encoded pixel Px is performed using the predicted pixel value (step S10).
[0042]
Next, the operation of the image encoding apparatus 101 in the image signal encoding process and the specific operation of each unit of the apparatus in the above steps S1 to S10 will be described in detail.
When the image input signal Is is input to the image encoding device 101, a plurality of pixels constituting the image input signal Is correspond to a block composed of a plurality of pixels constituting one frame in the block generator 2. The pixel values corresponding to the pixels in each block are sent to the encoder 16a, and the encoder 16a refers to the pixel value of the pixel Px to be encoded for each pixel. The encoding process of encoding is performed in units of blocks.
[0043]
At this time, the main memory 4 sequentially stores pixel values constituting the image input signal Is having the scanning line structure, and the pixel values of the reference pixels P0 to P9 corresponding to the pixel to be encoded Px have a constant readout cycle. (Step S1). The output M of the main memory 4 is temporarily held in the first and second auxiliary memories 6a and 6b. In the first auxiliary memory 6a, the output of the main memory 4 is held only for one read cycle, and in the second auxiliary memory 6b, the output is held for two read cycles.
[0044]
The counter 8 counts the number of pixel values input based on the image input signal Is with reference to the first pixel value of one frame, and the count value Cout is encoded / unencoded. Is output. The encoded / unencoded determination unit 10 receives vertical and horizontal block number information BNs in one frame from the outside, and the reference pixel specified by the block number information BNs and the output of the counter 8 The pixel to be determined is a pixel to be determined whether it is a converted pixel or an uncoded pixel. For example, as shown in FIG. 14, when the encoded pixel Px is determined, the corresponding reference pixels P0 to P9 are determined, and the pixel P0 from which the pixel value is first output from the main memory 4 is first determined as described above. This is the target pixel (step S2).
[0045]
At this time, the pixel value of the reference pixel P0 is held in the first and second auxiliary memories 6a and 6b for one reading period and two reading periods, respectively. The encoded / unencoded determination unit 10 calculates the position of the encoded pixel in the encoded block based on the counter output Cout and the block number information BNs, and has encoded each reference pixel. It is determined whether the pixel is a pixel or an uncoded pixel (step S3), and the selection switch 12 is controlled according to the determination result.
[0046]
Since the reference pixel P0 is an encoded pixel as shown in FIG. 14, as a result of the determination by the encoded / unencoded determination unit 10 (step S3), the selection switch 12 has the encoded / unencoded determination unit. 10, the output M of the main memory 4 is controlled to be selected, whereby the pixel value of the reference pixel P0 is stored in the prediction value generator 14 as a reference pixel value.
[0047]
Thereafter, the encoded / unencoded determination unit 10 determines whether or not the pixel values of all reference pixels corresponding to the encoded pixel Px have been acquired by the predicted value generator 14 (step S6). . In this case, since all the reference pixel values of the reference pixels P0 to P9 have not been acquired by the predicted value generator 14, the encoding / uncoding unit 10 stores the reference pixel P0 from the main memory 4. The pixel value of the reference pixel P1 output next to the pixel value is set as the pixel value of the determination target pixel (step S8). Since the reference pixel P1 is an encoded pixel like the reference pixel P0, the processes of steps S3, S5, S6, and S8 are performed on the pixel value of the reference pixel P1.
[0048]
Subsequently, in the encoding / unencoding unit 10, the pixel value of the reference pixel P2 output next to the pixel value of the reference pixel P1 from the main memory 4 is set as the pixel value of the determination target pixel (step S8). ). Unlike the reference pixels P0 and P1, the reference pixel P2 is an unencoded pixel located next to the encoded pixel. Therefore, the selection switch 12 is operated by the encoding / unencoding determination unit 10 to The output Ma of the first auxiliary memory 6a is controlled to be selected, whereby the pixel value of the reference pixel P1 is stored in the predicted value generator 14 as the pseudo pixel value of the reference pixel P2 (step S4). Thereafter, the processing of step S6 and step S8 is performed.
[0049]
Further, for the reference pixels P3 to P5, the processes of steps S3, S5, S6, and S8 are performed similarly to the reference pixel P0, and for the reference pixel P6, steps S3 and S4 are performed similarly to the reference pixel P2. , S6, S8 are performed.
[0050]
Subsequently, in the encoding / uncoding unit 10, the pixel value of the reference pixel P7 output next to the pixel value of the reference pixel P6 from the main memory 4 is set as the pixel value of the determination target pixel (step S8). ). Unlike the reference pixels P0 to P6, the reference pixel P7 is an unencoded pixel that is located one pixel apart from the encoded pixel Px. Therefore, the selection switch 12 determines whether the encoding / unencoding is performed. The unit 10 is controlled to select the output Mb of the second auxiliary memory 6b, so that the pixel value of the reference pixel P5 is stored in the predicted value generator 14 as a pseudo pixel value of the reference pixel P7 (step). S4). Thereafter, the processing of step S6 and step S8 is performed.
[0051]
Further, for the reference pixels P8 and P9, the processes of steps S3, S5 and S6 are performed in the same manner as the reference pixel P0. In this case, the encoding / uncoding unit 10 determines that the reference pixel values for all the reference pixels P0 to P9 have been acquired by the prediction value generator 14, and Based on the acquired reference pixel value, the predicted pixel value Sp corresponding to the encoded pixel Px is calculated (step S7).
[0052]
Subsequently, the encoder 16a obtains the predicted pixel value Sp together with the pixel value of the encoded pixel Px (step S9), and the difference value between the pixel value of the encoded pixel Px and the predicted pixel value Sp. Is encoded, and the encoded difference value is output as the encoded signal of the encoded pixel Px (step S10). In this encoding process, a code word selected based on the predicted pixel value Sp is used.
[0053]
In this way, the pixel values of each block in one frame are sequentially encoded. Note that for the first pixel of one frame, there is no reference pixel that has been subjected to the encoding process in the vicinity thereof, and therefore the encoding process is performed with the predicted pixel value being 0.
[0054]
As described above, in the first embodiment, when referring to the pixel value of an unencoded pixel, the pixel value of the surrounding encoded pixel is referred to, so that adaptive encoding in pixel units is performed. Processing and block-by-block encoding processing without compromising the correlation of pixel values between unencoded pixels and encoded pixels, and avoiding difficulty in decoding encoded signals. Can be combined. As a result, the influence of transmission errors can be converged in units of blocks, and the encoding efficiency can be improved as compared with a simple block-unit encoding process. Therefore, it is possible to correctly perform the decoding process of the encoded signal that does not cause degradation of the image.
[0055]
That is, when encoding on the encoding side is performed with reference to the pixel values of the surrounding pixels, the decoding processing on the decoding pixels is performed on the decoding side as well. In addition, it is necessary to match the pixel value referred to in the encoding process with the pixel value referred to in the decoding process.
[0056]
Therefore, in the conventional encoding method, when the referenced pixel is an unencoded pixel, a fixed value is used as the pixel value. In this case, however, the correlation between the pixel values is impaired. There was a problem.
[0057]
On the other hand, in the present invention, when the referenced pixel is an uncoded pixel, a pseudo pixel value for the uncoded pixel is generated from the referenced coded pixel according to a predetermined rule. . For example, the pixel values of the uncoded pixels P2, P6, and P7 in FIG. 15 are uniquely determined from the pixel values of the encoded pixels P0, P1, P3, P4, P5, P8, and P9. . As the simplest method, the pixel value of the encoded pixel located on the same horizontal scanning line as the uncoded pixel and having a short distance is set as the pseudo pixel value for the uncoded pixel. In this case, the pixel value of the uncoded pixel P2 is replaced with the pixel value of the encoded pixel P1, and the pixel values of the uncoded pixels P6 and P7 are replaced with the pixel value of the encoded pixel P5. .
[0058]
In this way, the correlation between the pixel values between the encoded and uncoded pixels at the block boundary increases, and high-efficiency encoding is performed using the same prediction method as in the block where the inter-pixel correlation is large. Processing can be realized.
Therefore, it is possible to record and transmit an image signal with a lower number of bits without impairing the image quality.
[0059]
In the first embodiment, the two auxiliary memories 6a and 6b having different times for holding the output M of the main memory 4 are provided. However, only one auxiliary memory for temporarily holding the output of the main memory 4 is provided. The time for holding the pixel value output from the main memory 4 may be switched by the encoding / uncoding determination unit 10 according to the distance of the uncoded pixel from the encoded pixel.
[0060]
In the first embodiment, the image signal is encoded by referring only to the predicted pixel value of the encoded pixel Px. However, not only the predicted pixel value of the encoded pixel Px, You may make it perform an encoding process based on the prediction probability which shows the probability of a prediction pixel value.
[0061]
Further, in this case, when the image signal to be encoded is a binary shape signal, the predicted pixel value is either “0” or “1”, so that the predicted pixel value is set to one of them. It may be fixed and only the prediction probability may be referred to.
[0062]
Hereinafter, as a second embodiment of the present invention, an image coding apparatus that performs a coding process of a binary shape signal with reference to only a prediction probability instead of the predicted pixel value, and as a third embodiment, the prediction Image encoding apparatuses that perform encoding processing of multi-value image signals with reference to pixel values and prediction probabilities will be described.
[0063]
Embodiment 2. FIG.
FIG. 3 is a block diagram showing the configuration of the image coding apparatus 102 according to the second embodiment of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same elements as those in the image encoding apparatus 101 according to the first embodiment.
[0064]
The image encoding device 102 includes a prediction probability generator 22 instead of the prediction value generator 14 in the image encoding device 101 of the first embodiment, and the pixel value is either “0” or “1”. In this configuration, a certain binary shape signal is encoded.
[0065]
The prediction probability generator 22 obtains, as a prediction probability, the probability that the pixel value of the encoded pixel Px matches the prediction pixel value from the pixel values of the reference pixels P0 to P9 with respect to the encoded pixel Px. The prediction probability signal Sk for the pixel Px is output to the encoder 16b.
[0066]
Here, since the encoder 16b is for the image coding apparatus 102 to perform binary shape signal encoding processing, the predicted value to be subtracted from the pixel value of the encoded pixel Px is “ One of “0” and “1” is set. In addition, when the prediction probability is high, the encoder 16b has a high probability that the pixel value of the pixel to be encoded Px matches the prediction pixel value, and therefore the pixel value of the pixel to be encoded Px and the prediction pixel thereof. When the difference value becomes 0, the encoding value is encoded by an encoding method that increases the encoding efficiency. On the other hand, when the prediction probability is small, the pixel value of the encoded pixel Px and the predicted pixel value thereof Therefore, the difference value between the pixel value of the encoded pixel Px and its predicted pixel value is encoded by an encoding method that increases the encoding efficiency when the difference value is not 0. It has a configuration.
[0067]
Next, the function and effect will be described.
Note that description of operations common to those of the image coding apparatus according to Embodiment 1 is omitted.
Also in the encoding process of the binary shape signal by the image encoding device 102 having such a configuration, the pixel value of the reference pixel P0 to P9 corresponding to the encoded pixel Px is equivalent to the uncoded pixel. Similar to the image encoding device 101 of the first embodiment, pixel values of encoded pixels are generated, and pixel values corresponding to all reference pixels P0 to P9 are stored in the prediction probability generator 22.
[0068]
And in the said prediction probability generator 22, the prediction probability with respect to the to-be-coded pixel Px is calculated | required based on the pixel value of the said reference pixels P0-P9. When the prediction probability information Sk is output from the prediction probability generator 22 to the encoder 16b, the encoder 16b determines the difference between the pixel value of the pixel Px to be encoded and a preset prediction pixel value. Encoding processing according to the prediction probability information Sk is performed on the value.
[0069]
As described above, in the second embodiment, in the image coding apparatus 102 that performs the coding process of the binary shape signal, a coding pixel that is difficult to generate a prediction value adjacent to the block boundary is reduced in coding efficiency. It is possible to encode while suppressing. For this reason, the influence of transmission errors can be converged in units of blocks, and the encoding efficiency can be improved as compared with a simple block-unit encoding process. On the decoding side, prediction of encoded pixels is possible. It is possible to correctly perform the decoding process of the encoded signal without deterioration in efficiency.
[0070]
The encoding process based on the prediction probability is described in, for example, the international standard JBIG (Joint Bi-level Image Coding Experts Group). The encoding method described in this standard is an encoding process. Is performed in pixel units (non-block units), the reference pixel is always an encoded pixel, and the reference pixel becomes an uncoded pixel in the block-unit encoding process, which is a problem to be solved by the present invention. In addition to the above problem, there is no disclosure about a countermeasure for how to set the pixel value for the uncoded pixel.
[0071]
Embodiment 3 FIG.
FIG. 4 is a block diagram showing the configuration of the image coding apparatus 103 according to Embodiment 3 of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same elements as those in the image encoding apparatus 101 according to the first embodiment.
[0072]
As described above, this image encoding device 103 performs encoding processing on a multilevel image signal, and the prediction probability generation unit 130 is used as a prediction value in the image encoding device 101 of the first embodiment. In addition to the generator 14, the prediction probability generator 22 is included.
[0073]
Similar to the prediction value generator 14, the prediction probability generator 22 receives the output Sout of the selection switch 12, sequentially stores the pixel values of the reference pixels P0 to P9 with respect to the encoded pixel Px, and stores these pixel values in these pixel values. Based on this, the prediction value generator 14 outputs a prediction probability Sk indicating the probability of the prediction pixel value Sp predicted based on the reference pixels P0 to P9.
[0074]
The encoder 16c encodes the pixel value of the pixel to be encoded Px based on the prediction pixel value Sp from the prediction value generator 14 and the prediction probability Sk from the prediction probability generator 22. It has become.
[0075]
Specifically, when the probability of the predicted pixel value is large, the difference between the pixel value of the encoded pixel and the predicted pixel value is small. Therefore, the encoder 16c determines the pixel value of the encoded pixel and its pixel value. The encoding process for the pixel value of the pixel to be encoded Px is performed by an encoding method that increases the encoding efficiency when the difference between the predicted pixel values is small. On the other hand, when the probability of the predicted value is small, the difference between the pixel value of the encoded pixel and the predicted pixel value is large, so that the encoder 16c has a slight difference value between the pixel value and the predicted pixel value. When it is large, the encoding process is performed on the pixel value of the pixel Px to be encoded by an encoding method with high encoding efficiency.
[0076]
Also in the encoding process of the multi-value image signal by the image encoding device 103 having such a configuration, the pixel value of the reference pixels P0 to P9 corresponding to the encoded pixel Px corresponding to the uncoded pixels is the pixel value. Is generated from the pixel values of the encoded pixels in the same manner as the image encoding device 101 of the first embodiment, and the pixel values corresponding to all the reference pixels P0 to P9 are generated as the prediction probability generator 22 and the prediction value generator 14. Stored in
[0077]
Then, the predicted value generator 14 obtains the predicted pixel value of the encoded pixel Px from the reference pixels P0 to P9 in the same manner as in the first embodiment. In addition, the prediction probability generator 22 obtains a prediction probability Sk for the encoded pixel Px based on the pixel values of the reference pixels P0 to P9.
[0078]
When the prediction pixel value Sp and the prediction probability Sk are output to the encoder 16c, the encoder 16c outputs a difference value between the pixel value of the pixel to be encoded Px and the prediction pixel value from the prediction value generator 14. On the other hand, an encoding process according to the prediction probability Sk is performed.
[0079]
As described above, in the third embodiment, in the image encoding device 103 that encodes a multi-level image signal, a pixel to be encoded that is difficult to generate a prediction value adjacent to a block boundary is suppressed from deterioration in encoding efficiency. Encoding can be performed. For this reason, the influence of transmission errors can be converged in units of blocks, and the encoding efficiency can be improved as compared with a simple block-unit encoding process. On the decoding side, prediction of encoded pixels is possible. It is possible to correctly perform the decoding process of the encoded signal without deterioration in efficiency.
[0080]
Embodiment 4 FIG.
FIG. 5 is a block diagram showing the configuration of the image encoding device 104 according to the fourth embodiment of the present invention. In the figure, the same reference numerals as those in FIG. 1 denote the same elements as those in the image encoding apparatus 101 according to the first embodiment.
The image encoding device 104 is different from the image encoding device 101 of the first embodiment in that lossy encoding processing is performed on the blocked image signal Bs.
[0081]
That is, the image encoding device 104 includes DCT (discrete cosine transform) processing on the output Bs of the blockizer 2 instead of the encoder 16a that performs the lossless encoding processing of the first embodiment. An encoder 16 d that performs lossy encoding processing based on the predicted pixel value from the predicted value generator 14 is provided. Furthermore, the predicted value generation unit 140 of the image encoding device 104 includes a local decoder 24 that decodes the output Cs of the encoder 16d based on the predicted pixel value Sp from the predicted value generator 14. The output LDs of the local decoder 24 is stored in the main memory 4 as the pixel value of the decoded pixel, and the output LDs is input to the counter 8. Other configurations are the same as those of the image coding apparatus 101 according to the first embodiment.
[0082]
In the image encoding device 104 having such a configuration, when the image input signal Is is encoded based on the predicted pixel value Sp of the encoded pixel Px, the predicted value generation unit 140 that generates the predicted pixel value Sp The local decoder 24 decodes the output Cs of the encoder 16d with reference to the predicted pixel value Sp, and stores the decoded pixel value in the main memory 4.
[0083]
For this reason, in the image encoding device 104 that performs lossy encoding processing, the decoded pixel value is used to generate the predicted pixel value, and thus the image code encoded by this image encoding device is used. The decoded signal can be correctly decoded by the image decoding apparatus.
[0084]
In Embodiment 4 described above, only the predicted pixel value of the pixel to be encoded Px is referred to in the lossy encoding process of the image signal, but only the predicted pixel value of the pixel to be encoded Px is shown. Instead, a prediction probability indicating the probability of the predicted pixel value may be referred to.
[0085]
In this case, when the image signal to be subjected to the irreversible encoding process is a binary shape signal, the predicted pixel value is either “0” or “1”. It may be fixed to one side and only the prediction probability may be referred to.
[0086]
Therefore, as a first modification of the fourth embodiment of the present invention, an image coding apparatus that performs irreversible coding processing of a binary shape signal with reference to only the prediction probability instead of the predicted pixel value is described above. As a second modification of the fourth embodiment, an image encoding device that performs lossy encoding processing of a multi-valued image signal with reference to the prediction probability together with the predicted pixel value will be described.
[0087]
FIG. 6 is a block diagram showing a configuration of an image encoding device 104a according to the first modification of the fourth embodiment of the present invention. In the figure, the same reference numerals as those in FIG. 5 denote the same elements as those in the image encoding device 104 according to the fourth embodiment.
[0088]
The image encoding device 104a includes a prediction probability generator 22 instead of the prediction value generator 14 in the image encoding device 104 of the fourth embodiment, and the pixel values are “0” and “1”. The binary shape signal which is any one of the above is encoded.
[0089]
The prediction probability generator 22 obtains, as a prediction probability, the probability that the pixel value of the encoded pixel Px matches the prediction pixel value from the pixel values of the reference pixels P0 to P9 with respect to the encoded pixel Px. The prediction probability Sk for the pixel Px is output to the encoder 16e and the local decoder 24.
[0090]
Here, since the encoder 16e is for processing the binary shape signal by the image encoding apparatus, the prediction pixel value for the encoded pixel Px is set to one of “0” and “1”. Has been. Similarly to the encoder 16b of the second embodiment, the encoder 16e calculates the difference value between the pixel value of the encoded pixel Px and the predicted pixel value when the prediction probability is high. When the difference value is 0, encoding is performed by an encoding method that increases the encoding efficiency. On the other hand, when the prediction probability is low, the difference value between the pixel value of the encoded pixel Px and the prediction pixel value is calculated. The encoding is performed by an encoding method that increases the encoding efficiency when the difference value is not 0.
[0091]
Further, the local decoder 24 switches the decoding method based on the prediction probability and performs the decoding process in the same manner as the encoder 16e.
Note that description of operations common to those of the image coding apparatus according to the fourth embodiment is omitted.
[0092]
Also in the encoding process of the binary shape signal by the image encoding device 104a having such a configuration, the pixel value of the reference pixels P0 to P9 corresponding to the encoded pixel Px corresponding to the unencoded pixel is the same. Similar to the image encoding device 104 of the fourth embodiment, the pixel values of the encoded pixels are generated, and the pixel values corresponding to all the reference pixels P0 to P9 are stored in the prediction probability generator 22.
[0093]
Then, the prediction probability generator 22 calculates a prediction probability Sk for the encoded pixel Px based on the pixel values of the reference pixels P0 to P9. When the prediction probability Sk is output from the prediction probability generator 22 to the encoder 16e and the local decoder 24, the encoder 16e outputs the pixel value of the pixel Px to be encoded and a preset prediction. An irreversible encoding process corresponding to the prediction probability Sk is performed on the difference value from the pixel value. At this time, the local decoder 24 performs a decoding process on the output Cs of the encoder 16e in accordance with the prediction probability Sk to reproduce the pixel value of the encoded pixel Px. The reproduced pixel value of the encoded pixel Px is stored in the main memory 4.
[0094]
As described above, in the first modification of the fourth embodiment, in the image encoding device 104a that performs the irreversible encoding process on the binary shape signal, an encoded pixel that is difficult to generate a prediction value adjacent to the block boundary is obtained. Encoding can be performed while suppressing deterioration in encoding efficiency. For this reason, the influence of transmission errors can be converged in units of blocks, and the encoding efficiency can be improved as compared with a simple block-unit encoding process. On the decoding side, prediction of encoded pixels is possible. It is possible to correctly perform the decoding process of the encoded signal without deterioration in efficiency.
[0095]
FIG. 7 is a block diagram showing a configuration of an image encoding device 104b according to the second modification of the fourth embodiment of the present invention. In the figure, the same reference numerals as those in FIG. 4 denote the same components as those in the image encoding device 104 of the fourth embodiment.
[0096]
As described above, the image encoding device 104b performs lossy encoding processing on a multi-valued image signal, and the prediction probability generation unit 140b is used in the image encoding device 104 of the fourth embodiment. In addition to the predicted value generator 14, the predicted probability generator 22 is included.
[0097]
Similar to the prediction value generator 14, the prediction probability generator 22 receives the output Sout of the selection switch 12, sequentially stores the pixel values of the reference pixels P0 to P9 with respect to the encoded pixel Px, and stores these pixel values in these pixel values. Based on this, the prediction value generator 14 outputs a prediction probability Sk indicating the probability of the prediction pixel value Sp predicted based on the reference pixels P0 to P9.
[0098]
Then, the encoder 16f performs an irreversible code on the pixel value of the pixel Px to be encoded based on the prediction pixel value Sp from the prediction value generator 14 and the prediction probability Sk from the prediction probability generator 22. The specific configuration is exactly the same as the encoder 16c of the third embodiment.
Further, the local decoder 24 switches the encoding method based on the prediction probability and performs a decoding process in the same manner as the encoder 16e.
[0099]
Also in the encoding process of the multi-value image signal by the image encoding device 104b having such a configuration, the pixel values of the reference pixels P0 to P9 corresponding to the encoded pixel Px corresponding to the uncoded pixels are the pixel values. Is generated from the pixel values of the encoded pixels in the same manner as in the image encoding device 104 of the fourth embodiment, and the pixel values corresponding to all the reference pixels P0 to P9 are generated as the prediction probability generator 22 and the prediction value generator 14. Stored in
[0100]
Then, the predicted value generator 14 obtains the predicted pixel value of the encoded pixel Px from the reference pixels P0 to P9 in the same manner as in the fourth embodiment. In addition, the prediction probability generator 22 obtains a prediction probability Sk for the encoded pixel Px based on the pixel values of the reference pixels P0 to P9.
[0101]
When the prediction pixel value Sp and the prediction probability Sk are output to the encoder 16f and the local decoder 24, the encoder 16f outputs the pixel value of the pixel to be encoded Px and a preset prediction pixel value. Is encoded according to the prediction probability Sk. At this time, the local decoder 24 performs a decoding process on the output Cs of the encoder 16f according to the prediction probability Sk to reproduce the pixel value of the encoded pixel Px. The reproduced pixel value of the encoded pixel Px is stored in the main memory 4.
[0102]
As a result, it is possible to achieve a significant improvement in coding efficiency for image signals that are easy to generate predicted values without degrading the coding efficiency for image signals that are difficult to generate predicted values.
[0103]
As described above, in the second modification of the fourth embodiment, in the image encoding device 104b that performs lossy encoding of a multi-valued image signal, an encoded pixel that is difficult to generate a predicted value adjacent to a block boundary is encoded. It is possible to perform encoding while suppressing deterioration in conversion efficiency. For this reason, the influence of transmission errors can be converged in units of blocks, and the encoding efficiency can be improved as compared with a simple block-unit encoding process. On the decoding side, prediction of encoded pixels is possible. It is possible to correctly perform the decoding process of the encoded signal without deterioration in efficiency.
[0104]
Embodiment 5. FIG.
FIG. 8 is a block diagram showing the configuration of the image decoding apparatus 105 according to the fifth embodiment of the present invention.
The image decoding apparatus 105 according to the fifth embodiment reversibly decodes the image encoded signal that has been subjected to the lossless encoding process by the image encoding apparatus 101 according to the first embodiment.
[0105]
The image decoding apparatus 105 decodes the input image encoded signal Cs for each of a plurality of blocks constituting one image display area, and at this time, the decoding target pixel Px ′ to be subjected to decoding processing is decoded. A decoder 26a that decodes a pixel value, that is, an encoded signal obtained by encoding the pixel value of the pixel to be encoded Px based on the predicted pixel value of the pixel to be decoded, and an output of the decoder 26a. An inverse blocker 30 for generating an image reproduction signal Rs having a predetermined scanning line structure by integrating the image decoded signals Ds corresponding to the respective blocks, and the predicted pixel value is positioned around the decoded pixel Px ′. And a predicted value generation unit 150 that generates based on the pixel values of the reference pixels P0 ′ to P9 ′.
[0106]
Here, the predicted value generation unit 150 has substantially the same configuration as the predicted value generation unit 110 in the image coding apparatus 101 of the first embodiment.
[0107]
That is, the predicted value generation unit 150 has a large capacity main memory 4 that can store, for example, a number corresponding to one frame and a holding time for temporarily holding the pixel value M output from the main memory 4. It has first and second auxiliary memories 6a and 6b. Here, the main memory 4 stores the reference pixels P0 ′ to P0 ′ of the pixel Px ′ to be decoded that are processed by the decoder 26a during the time required for encoding one pixel value. The pixel values corresponding to P9 ′ (see FIG. 17) are sequentially output from the stored pixel values. The first auxiliary memory 6a is configured to delay the pixel value M sequentially output from the main memory 4 by one pixel, and the second auxiliary memory 6b is a pixel sequentially output from the main memory 4. The value M is delayed by two pixels.
[0108]
The predicted value generation unit 150 receives the image decoding signal Ds of each frame, counts the number of pixel values, the output Cout of the counter 8, and vertical and horizontal blocks in each frame supplied from the outside. Based on the number information BNs, the pixel value output from the main memory 4 is a pixel value of a decoded pixel that has already been decoded by the encoder 26a, or is still subjected to a decoding process. And a decoding / undecoding determination unit 20 that determines whether the pixel value of an undecoded pixel that has not been set. Here, for the undecoded pixels, the determiner 20 also performs a process of measuring the distance to the nearest decoded pixel located on the same horizontal scanning line as the number of pixels. The counter 8 is reset when the pixel values of all the pixels constituting one frame are input.
[0109]
Further, the predicted value generation unit 150 outputs the output M, Ma, or any one of the main memory 4 and the first and second auxiliary memories 6a and 6b based on the output Scont of the decoding / undecoding determination unit 20. The selection switch 12 that selects and outputs Mb, and the output Sout of the selection switch 12 are acquired as the pixel values of the reference pixels P0 ′ to P9 ′ that are necessary for generating the predicted pixel value corresponding to the decoded pixel Px ′. And a predicted value generator 14 for generating a predicted pixel value Sp corresponding to the decoded pixel Px ′.
[0110]
In the image decoding device 105, the decoder 26a decodes the encoded difference value for the encoded pixel Px input as an image encoded signal from the outside to generate a decoded difference value. The decoded pixel value for the decoded pixel is generated by adding the predicted pixel value Sp from the predicted value generation unit 150 to the decoded difference value, and is output to the deblocker 30.
[0111]
Next, the operation will be described.
FIG. 9 is a flowchart showing the decoding process of the image decoding apparatus 105. First, the flow of the decoding process will be briefly described with reference to this flowchart.
The encoded image signal Cs is input to the present image encoding device 105, and the decoding process of the encoded image signal Cs is performed based on the prediction signal Sp from the prediction value generation unit 150 by the decoder 26a.
[0112]
At this time, a plurality of decoded pixel values corresponding to one frame are sequentially stored in the main memory 4 as an output of the decoder 26a. From the main memory 4, the decoded pixel Px ′ is decoded. Pixel values of a plurality of reference pixels (peripheral pixels) P0 ′ to P9 ′ positioned around the decoded pixel Px ′ to be referred to are output (step S11).
[0113]
Next, the first reference pixel among the plurality of reference pixels acquired in the main memory 4 is set as a determination target pixel (step S12), and it is determined whether or not the determination target pixel is a decoded pixel. This is performed by the decoding / undecoding determination unit 30 (step S13). In the encoded / uncoded determination unit 30, the counter output Cout is incremented and the pixel values of the nine reference pixels P0 ′ to P9 ′ are sequentially output from the main memory 4 based on the reference clock. Since they are synchronized, the position of the reference pixel output from the main memory 4 relative to the decoded pixel Px ′ can be detected from the counter output Cout.
[0114]
As a result of the determination, if the reference pixel to be determined is a decoded pixel, the pixel value is acquired as the reference pixel value by the predicted value generator 14 (step S15), and the determination target If the reference pixel is not a decoded pixel, for this reference pixel, a reference pixel value (pseudo pixel value) is generated from the surrounding decoded pixels and acquired by the prediction value generator 14. (Step S14).
[0115]
Next, it is determined whether or not all the reference pixel values necessary for decoding the decoded pixel have been acquired by the prediction value generator 14 (step S16), and all the necessary reference pixel values are acquired. If not, the next reference pixel among the reference pixels acquired in the main memory 4 is set as the determination target (step S18), and the processes in steps S13 to S16 are repeated. On the other hand, when all the necessary reference pixel values are acquired by the prediction value generator 14, the prediction value generator 14 corresponds to the decoded pixel Px ′ based on the reference pixel values. A predicted pixel value is generated (step S17).
[0116]
Thereafter, the pixel value of the decoded pixel Px ′ is acquired by the decoder 26a, and at the same time, the predicted pixel value of the decoded pixel Px ′ is acquired from the predicted value generator 14 (step S19). The decoder 26a performs a decoding process on the pixel value of the pixel Px ′ to be decoded using the predicted pixel value (step S20).
[0117]
Next, the specific operation of each part of the apparatus in steps S11 to S20 will be described in detail along with the operation of the image decoding apparatus 105 in the decoding process of the image signal.
[0118]
When the encoded image signal Cs is input to the main image decoding apparatus 105, the decoded image signal Cs is sent to the decoder 26a, and the decoder 26a receives the pixel value of the pixel Px ′ to be decoded. A decoding process for decoding each pixel by referring to the reference pixel value is performed in units of blocks.
[0119]
At this time, the main memory 4 sequentially stores pixel values constituting one frame, which is the output of the decoder 26a, and the pixel values of the reference pixels P0 'to P9' corresponding to the decoded pixel Px '. Are output at a constant reading cycle (step S11). The output M of the main memory 4 is temporarily held in the first and second auxiliary memories 6a and 6b. In the first auxiliary memory 6a, the output of the main memory 4 is held only for one read cycle, and in the second auxiliary memory 6b, the output is held for two read cycles.
[0120]
The counter 8 counts the number of input pixel values on the basis of the output Ds of the decoder 26a with the first pixel value of the one frame as a reference, and the count value Cout is decoded / not decoded. It is output to the decryption determiner 20. The decoding / undecoding determination unit 20 receives vertical and horizontal block number information BNs in one frame from the outside, and the reference pixel specified by the block number information BNs and the output of the counter 8 This is a determination target pixel for which it is determined whether it is a converted pixel or an undecoded pixel. For example, when the decoded pixel Px ′ is determined as shown in FIG. 17, the corresponding reference pixels P0 ′ to P9 ′ are determined, and the pixel P0 ′ from which the pixel value is first output from the main memory 4 is determined. Is the determination target pixel (step S12).
[0121]
At this time, the pixel value of the reference pixel P0 'is held in the first and second auxiliary memories 6a and 6b for one reading period and two reading periods, respectively. Further, the decoding / undecoding determination unit 20 calculates the position of the pixel to be decoded in the block to be decoded based on the counter output Cout and the block number information BNs, and has decoded each reference pixel. It is determined whether the pixel is a pixel or an undecoded pixel, and the selection switch 12 is controlled according to the determination result.
[0122]
Since this pixel P0 ′ is a decoded pixel as shown in FIG. 17, as a result of the determination by the decoding / undecoding determination unit 20 (step S13), the selection switch 12 determines whether the decoding / undecoding is performed. The control unit 20 controls the output M of the main memory 4 to be selected, whereby the pixel value of the pixel P0 ′ is stored in the prediction value generator 14 as a reference pixel value.
[0123]
Thereafter, the decoding / undecoding determination unit 20 determines whether or not the pixel values of all reference pixels corresponding to the decoded pixel Px ′ have been acquired by the prediction value generator 14 (step S16). . In this case, since all the reference pixel values of the reference pixels P0 ′ to P9 ′ have not been acquired by the prediction value generator 14, the decoding / undecoding determination unit 20 refers to the main memory 4. The pixel value of the reference pixel P1 ′ output next to the pixel value of the pixel P0 ′ is set as the pixel value of the determination target pixel (step S18). Since the reference pixel P1 ′ is a decoded pixel like the reference pixel P0 ′, the processing of steps S13, S15, S16, and S18 is performed on the pixel value of the reference pixel P1 ′.
[0124]
Subsequently, in the decoding / non-decoding determination unit 20, the pixel value of the reference pixel P2 ′ output next to the pixel value of the reference pixel P1 ′ from the main memory 4 is set as the pixel value of the determination target pixel. (Step S18). Unlike the reference pixels P0 ′ and P1 ′, the reference pixel P2 ′ is an undecoded pixel located next to the decoded pixel. Therefore, the selection switch 12 determines whether the decoding / undecoding is performed. The control unit 20 controls the output Ma of the first auxiliary memory 6a so that the pixel value of the reference pixel P1 'is stored in the prediction value generator 14 as a pseudo pixel value of the reference pixel P2'. (Step S14). Thereafter, the processes of steps S16 and S18 are performed.
[0125]
Further, the reference pixels P3 ′ to P5 ′ are processed in the same steps S13, S15, S16, and S18 as the reference pixel P0 ′, and the reference pixel P6 ′ is the same as the reference pixel P12 ′. Steps S13 ', S14', S16 ', and S18' are performed.
[0126]
Subsequently, in the decoding / undecoding determination unit 20, the pixel value of the reference pixel P7 'output from the main memory 4 next to the pixel value of the reference pixel P6' is set as the pixel value of the determination target pixel. (Step S18). Unlike the reference pixels P0 'to P6', the reference pixel P7 'is an undecoded pixel located one pixel apart from the decoded pixel. The decoding determiner 20 is controlled to select the output Mb of the second auxiliary memory 6b, so that the pixel value of the reference pixel P5 ′ is supplied to the predicted value generator 14 as a pseudo pixel value of the reference pixel P7 ′. Stored (step S14). Thereafter, the processes of steps S16 and S18 are performed.
[0127]
Further, for the reference pixels P8 'and P9', the processes of steps S13, S15, and S16 are performed in the same manner as the reference pixel P0 '. In this case, the decoding / undecoding determination unit 20 determines that the reference pixel values for all the reference pixels P0 ′ to P9 ′ have been acquired by the prediction value generator 14, and the prediction value generator At 14, the predicted pixel value corresponding to the decoded pixel Px ′ is calculated based on the acquired reference pixel value (step S17).
[0128]
Subsequently, the decoder 26a obtains the predicted pixel value together with the pixel value of the decoded pixel Px ′ (step S19), and adds the pixel value of the decoded pixel Px ′ and the predicted pixel value. Is output as an image decoded signal Ds of the pixel Px to be decoded (step S20).
[0129]
In this way, the pixel value of each block in one frame is decoded. Note that for the first pixel of one frame, since there is no reference pixel that has been subjected to the decoding process, the decoding process is performed with the predicted pixel value set to 0.
[0130]
The decoded image signal Ds is integrated by the inverse blocker 30 so as to correspond to one frame screen, and an image reproduction signal Rs having a scanning line structure is output.
[0131]
As described above, in the fifth embodiment, when referring to the pixel value of the undecoded pixel, the pixel value of the surrounding encoded pixel is referred to, so that adaptive decoding in pixel units is performed. The process and the decoding process in units of blocks can be performed without impairing the correlation of pixel values between undecoded pixels and decoded pixels. As a result, the influence of transmission errors can be converged in units of blocks, and the image encoded signal Cs processed by the encoding method with improved encoding efficiency compared to the simple block-unit encoding process is correctly decoded. be able to.
[0132]
In the fifth embodiment, the two auxiliary memories 6a and 6b having different times for holding the output M of the main memory 4 are provided. However, only one auxiliary memory for temporarily holding the output of the main memory 4 is provided. The time for holding the pixel value output from the main memory 4 may be switched by the decoding / undecoding determination unit 20 according to the distance of the undecoded pixel from the decoded pixel.
[0133]
In the fifth embodiment, the image signal encoding process refers to only the predicted pixel value of the decoded pixel Px ′. However, only the predicted pixel value of the decoded pixel Px ′ is referred to. Instead, the decoding process may be performed based on the prediction probability indicating the likelihood of the predicted pixel value.
[0134]
In this case, when the image signal to be decoded is a binary shape signal, the predicted pixel value is either “0” or “1”, so that the predicted pixel value is set to one of them. It may be fixed and only the prediction probability may be referred to.
[0135]
Hereinafter, as a sixth embodiment of the present invention, an image decoding apparatus that performs a decoding process of a binary shape signal with reference to only a prediction probability instead of the predicted pixel value, and as a seventh embodiment, the prediction Image decoding apparatuses that perform decoding processing of multi-value image signals with reference to pixel values and prediction probabilities will be described.
[0136]
Embodiment 6 FIG.
FIG. 10 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 6 of the present invention. In the figure, the same reference numerals as those in FIG. 8 denote the same components as those in the image decoding apparatus 105 according to the fifth embodiment.
[0137]
The image decoding apparatus 106 according to the sixth embodiment includes a prediction probability generator 22 instead of the prediction value generator 14 in the image decoding apparatus 105 according to the fifth embodiment, and the pixel values are “0” and “1”. ”Is a decoding process for the binary shape signal.
[0138]
The prediction probability generator 22 determines the probability that the pixel value of the decoded pixel Px ′ matches the prediction pixel value from the pixel values of the reference pixels P0 ′ to P9 ′ with respect to the decoded pixel Px ′. And the prediction probability Sk for the decoded pixel Px ′ is output to the decoder 26b.
[0139]
Here, the decoder 26b is configured to perform a decoding process of the image encoded signal Cs encoded by the image encoding device 102 of the second embodiment.
[0140]
Next, the function and effect will be described.
Note that description of operations common to those of the image coding apparatus according to Embodiment 1 is omitted.
Also in the decoding process of the binary shape signal by the image decoding apparatus 105 having such a configuration, among the reference pixels P0 ′ to P9 ′ corresponding to the decoded pixel Px ′, those corresponding to the undecoded pixels are The pixel values are generated from the pixel values of the decoded pixels in the same manner as the image decoding apparatus 105 of the fifth embodiment, and the pixel values corresponding to all the reference pixels P0 ′ to P9 ′ are stored in the prediction probability generator 22. Is done.
[0141]
Then, the prediction probability generator 22 calculates a prediction probability Sk for the decoded pixel Px ′ based on the pixel values of the reference pixels P0 ′ to P9 ′. When the prediction probability Sk is output from the prediction probability generator 22 to the decoder 26b, the decoder 26b calculates the difference between the pixel value of the pixel Px ′ to be decoded and a preset prediction pixel value. The value is decoded according to the prediction probability Sk.
[0142]
As described above, in the sixth embodiment, in the image decoding apparatus 106 that decodes an image encoded signal obtained by encoding a binary image signal, an encoded pixel that is difficult to generate a prediction value adjacent to a block boundary. Thus, it is possible to realize a decoding process corresponding to an encoding process capable of encoding while suppressing deterioration in encoding efficiency.
[0143]
Embodiment 7 FIG.
FIG. 11 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 7 of the present invention. In the figure, the same reference numerals as those in FIG. 8 denote the same elements as those in the image encoding apparatus 105 of the fifth embodiment.
The image decoding apparatus 107 according to the seventh embodiment performs the encoding process on the multilevel image signal as described above, and the image encoded by the image encoding apparatus 103 according to the third embodiment. The encoded signal Cs is decoded.
[0144]
Specifically, the prediction probability generation unit 170 of the image decoding device 107 includes a prediction probability generator 22 in addition to the prediction value generator 14 in the image encoding device 105 of the fifth embodiment. Yes.
[0145]
Like the prediction value generator 14, the prediction probability generator 22 receives the output Sout of the selection switch 12, and sequentially stores the pixel values of the reference pixels P0 ′ to P9 ′ for the decoded pixel Px ′. Based on the pixel value, the prediction value generator 14 outputs a prediction probability Sk indicating the probability of the predicted pixel value Sp predicted based on the reference pixels P0 ′ to P9 ′.
[0146]
The decoder 26c performs a decoding process corresponding to the encoding process by the encoder 16c of the third embodiment, and the decoder 26c performs the prediction process from the prediction value generator 14. Based on the pixel signal Sp and the prediction probability Sk from the prediction probability generator 22, the pixel value of the decoded pixel Px ′ is decoded.
[0147]
Next, the function and effect will be described.
Note that description of operations common to those of the image coding apparatus according to the fifth embodiment is omitted.
Also in the decoding process of the multi-value image signal by the image decoding apparatus 107 having such a configuration, among the reference pixels P0 ′ to P9 ′ corresponding to the decoded pixel Px ′, those corresponding to undecoded pixels are as follows: The pixel values are generated from the pixel values of the decoded pixels in the same manner as the image decoding apparatus 105 of the fifth embodiment, and the pixel values corresponding to all the reference pixels P0 ′ to P9 ′ are generated as the prediction probability generator 22 and It is stored in the predicted value generator 14.
[0148]
Then, the predicted value generator 14 obtains the predicted pixel value of the decoded pixel Px ′ from the reference pixels P0 ′ to P9 ′ as in the fifth embodiment. The prediction probability generator 22 obtains the prediction probability for the decoded pixel Px ′ based on the pixel values of the reference pixels P0 ′ to P9 ′.
[0149]
When the prediction pixel value Sp and the prediction probability Sk are output to the decoder 26c and the local decoder 24, the decoder 26c outputs the pixel value of the decoded pixel Px ′ and the prediction value generator 14 from the pixel value. A decoding process corresponding to the prediction probability Sk is performed on the addition value with the prediction pixel value. The reproduced pixel value of the decoded pixel Px ′ is stored in the main memory 4.
[0150]
As described above, in the seventh embodiment, in the image decoding apparatus 107 that decodes an image encoded signal obtained by encoding a multilevel image signal, a pixel to be encoded that is difficult to generate a prediction value adjacent to a block boundary. Thus, it is possible to realize a decoding process corresponding to an encoding process capable of encoding while suppressing deterioration in encoding efficiency.
[0151]
In the fifth, sixth, and seventh embodiments, the image encoded signals that have been losslessly encoded by the image decoding devices 101, 102, and 103 according to the first, second, and third embodiments are decoded as the image decoding devices. Although shown, the decoder 26a is configured to perform a decoding process corresponding to lossy encoding, so that the image decoding apparatuses 105, 106, and 107 in the fifth, sixth, and seventh embodiments are performed. Can correspond to the image encoding devices 104, 104a, and 104b of the fourth embodiment and the first and second modifications thereof.
[0152]
Further, by recording an encoding or decoding program for realizing the configuration of the encoding device or the decoding device shown in the above embodiment on a data storage medium such as a floppy disk, the above embodiment The processing shown in the form can be easily performed in an independent computer system.
[0153]
FIG. 12 (a) is a diagram for explaining a case where the encoding or decoding process of the above embodiment is performed by a computer system using a floppy disk storing the encoding or decoding program. .
[0154]
FIG. 12B shows an external appearance, a cross-sectional structure, and a floppy disk when viewed from the front of the floppy disk, and FIG. 12A shows an example of a physical format of the floppy disk which is a recording medium body. The floppy disk FD is built in the case F, and on the surface of the disk, a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track is divided into 16 sectors Se in the angular direction. ing. Therefore, in the floppy disk storing the program, data as the program is recorded in an area allocated on the floppy disk FD.
[0155]
FIG. 12C shows a configuration for recording and reproducing the program on the floppy disk FD. When the program is recorded on the floppy disk FD, data as the program is written from the computer system Cs via the floppy disk drive. When the encoding or decoding device is built in a computer system by a program in a floppy disk, the program is read from the floppy disk by a floppy disk drive and transferred to the computer system.
[0156]
In the above description, a floppy disk is used as the data recording medium, but the same can be done using an optical disk. Further, the recording medium is not limited to this, and any recording medium such as an IC card or a ROM cassette capable of recording a program can be similarly implemented.
[0157]
In the second and third embodiments, and the first and second modifications of the fourth embodiment, the encoding method is switched according to the prediction probability. In the fifth and sixth embodiments, the decoding is performed according to the prediction probability. Although the example which switches a method was shown, you may change a codeword (coding table) according to the said prediction probability. In particular, in the case of encoding with an arithmetic code, the probability table corresponding to the arithmetic code is updated based on the prediction probability, so that the first and second embodiments and the first and second modifications of the fourth and fourth embodiments have a simple configuration. 2 or the image decoding apparatuses according to the fifth and sixth embodiments can be realized. In this case, the practical effect is very large.
[0158]
In the present invention, when predicting a predicted pixel value of a pixel to be encoded with reference to pixel values of a plurality of peripheral pixels located in the vicinity thereof, an uncoded pixel among the peripheral pixels The pseudo pixel value is generated using the pixel value of the encoded pixel of the pixels. When generating the predicted pixel value according to the position of the encoded pixel in the block, As a group of peripheral pixels referred to in FIG. 1, pixels having different arrangements around the pixel to be encoded may be used.
[0159]
For example, referring to FIG. 14, when the encoded pixel Px is located at a block boundary, only the peripheral pixels P0, P1, P3, P4, P5, P8, and P9 are used as reference pixels. When the encoded pixel Px is located outside the block boundary, all the surrounding pixels P0, P1, P2, P3, P4, P5, P6, P7, P8, and P9 are set as reference pixels. When the encoded pixel Px is encoded, a code word composed only of the peripheral pixels P0, P1, P3, P4, P5, P8, P9 and the peripheral pixels P0, P1, P2, P3, A codeword composed of all of P4, P5, P6, P7, P8, and P9 is used by switching.
[0160]
In other words, the encoder is configured to have a plurality of code words corresponding to the position of the encoded pixel Px in the block, and the code word is switched according to the position of the encoded pixel Px.
[0161]
It can be easily inferred from the embodiment of the present invention that the same effect as that of the above-described image encoding device of the embodiment of the present invention can be obtained by such a configuration.
[0162]
Note that the decoder also includes a plurality of codewords corresponding to the position of the decoded pixel Px ′ shown in FIG. 17 in the block, and the codeword is determined according to the position of the decoded pixel Px ′. It goes without saying that the same effect as that of the image decoding apparatus according to the above-described embodiment can be obtained by adopting the switching configuration.
[0163]
【The invention's effect】
According to the image encoding device according to the present invention, the pixel value of an uncoded pixel among the plurality of peripheral pixels corresponding to the pixel to be encoded is set to the pixel value of the encoded pixel among the plurality of peripheral pixels. Since the pixel value replacement means for replacing with the pseudo pixel value obtained based on the above is provided, the process of encoding the image signal corresponding to one image display area in units of blocks is performed, and the pixel values of the peripheral pixels around the pixel to be encoded are When performing the reference for each pixel, even if the encoded pixel is located adjacent to the boundary of the block and the plurality of referenced peripheral pixels include the uncoded pixel, As the pixel value, a pseudo pixel value correlated with the pixel values of other peripheral pixels can be referred to. Since this pseudo pixel value is obtained from the pixel values of the encoded pixels around the encoded pixel, on the decoding side, the undecoded pixel that is referred to when the decoded pixel is decoded. Can refer to the pseudo pixel value obtained from the pixel value of the decoded pixel instead of the pixel value.
Further, since the lossy encoding process for the pixel value of the encoded pixel is performed based on the decoded pixel value obtained by decoding the pixel value of the encoded pixel, the lossy encoding process for the encoded pixel is performed. The pixel value of the peripheral pixel referred to at the time can be made the same as the pixel value of the peripheral pixel referred to in the decoding process for the pixel to be decoded.
[0164]
Therefore, adaptive encoding processing in units of pixels and encoding processing in units of blocks are decoded without impairing the correlation of pixel values between uncoded pixels and encoded pixels. It is possible to combine them while avoiding difficulty in decoding the encoded signals on the side.
[0165]
As a result, the influence of transmission errors can be converged on a block-by-block basis, and the coding efficiency can be made higher than that of a simple block-by-block coding process, and the prediction efficiency of a pixel to be coded is degraded. Thus, there is an effect that it is possible to correctly perform the decoding process of the encoded signal that is encoded without any problem.
[0166]
According to the present invention, in the image encoding device, by using the pixel value of the encoded pixel closest to the uncoded pixel as the pseudo pixel value of the uncoded pixel, the pseudo pixel value of the uncoded pixel is used. Can be made to have a strong correlation with the pixel values of the surrounding pixels.
[0167]
According to the present invention, in the image encoding device, the pixel value of the encoded pixel closest to the uncoded pixel on the same horizontal scanning line as the uncoded pixel is used as the pseudo pixel value of the uncoded pixel. Thus, the pseudo pixel value of the uncoded pixel can be obtained by a simple method of holding the pixel value of the coded pixel for a predetermined time.
[0168]
According to the present invention, in the image encoding device, it is necessary to encode the pixel value of the encoded pixel by encoding the difference value between the pixel value of the encoded pixel and the predicted pixel value. Thus, the coding efficiency can be improved by reducing the amount of code.
[0169]
According to the present invention, in the image encoding device, a codeword for encoding a pixel value of a pixel to be encoded is based on a pixel value of the encoded pixel and a pseudo pixel value of an unencoded pixel. By making the selection, an efficient encoding process can be realized by adaptively changing the code word for each pixel during the encoding process of the image signal.
[0170]
According to the present invention, in the image encoding device, a probability table corresponding to an arithmetic code for encoding an encoded pixel based on a pixel value of the encoded pixel and a predicted pixel value of an unencoded pixel is provided. By selecting and encoding the pixel value for the pixel to be encoded, the probability table in the arithmetic encoding process can be adaptively switched for each pixel, and an efficient encoding process can be performed.
[0171]
According to the present invention, in the image encoding device, the lossy encoding process is performed on the pixel value of the encoded pixel based on the decoded pixel value obtained by decoding the pixel value of the encoded pixel. Thus, the pixel value of the peripheral pixel referred to in the irreversible encoding process for the pixel to be encoded may be the same as the pixel value of the peripheral pixel referred to in the decoding process for the pixel to be decoded. Thus, it is possible to correctly decode an image encoded signal obtained by irreversible encoding based on pixel values of peripheral pixels on the decoding side.
[0172]
According to the present invention, in the image encoding device, a predicted pixel value of an encoded pixel is generated from a pixel value of the encoded pixel and a pseudo pixel value of an uncoded pixel, and the pixel of the encoded pixel By encoding the difference value between the value and the predicted pixel value, it is possible to reduce the amount of code required for encoding the pixel value of the encoded pixel and improve the encoding efficiency.
[0173]
According to the present invention, in the image encoding device, the codeword for encoding the pixel value of the encoded pixel based on the pixel value of the encoded pixel and the pseudo pixel value of the uncoded pixel. By selecting, it is possible to adaptively change the code word for each pixel during the encoding process of the image signal, thereby realizing an efficient encoding process.
[0174]
According to the present invention, in the image encoding device, a probability table corresponding to an arithmetic code for encoding an encoded pixel based on a pixel value of the encoded pixel and a pseudo pixel value of an unencoded pixel is provided. By selecting and encoding the pixel value for the pixel to be encoded, the probability table in the arithmetic encoding process can be adaptively switched for each pixel, and an efficient encoding process can be performed.
[0175]
According to the image coding method of the present invention, an image signal is blocked so as to correspond to each block on one image display area, and the pixel value of the pixel to be encoded in the block is referred to the pixel values of the surrounding pixels. In this case, if the peripheral pixel is an encoded pixel, the pixel value is referred to. If the peripheral pixel is an uncoded pixel, the pixel value is obtained from the encoded pixel value instead of the pixel value. When the encoding process is performed, the encoded pixel is located adjacent to the boundary of the block, and the plurality of peripheral pixels referred to include uncoded pixels. Even so, as the pixel value of the unencoded pixel, a pseudo pixel value correlated with the pixel values of other peripheral pixels can be referred to. Since this pseudo pixel value is obtained from the pixel values of the encoded pixels around the encoded pixel, on the decoding side, the undecoded pixel that is referred to when the decoded pixel is decoded. Can refer to the pseudo pixel value obtained from the pixel value of the decoded pixel instead of the pixel value.
Further, since the lossy encoding process for the pixel value of the encoded pixel is performed based on the decoded pixel value obtained by decoding the pixel value of the encoded pixel, the lossy encoding process for the encoded pixel is performed. The pixel value of the peripheral pixel referred to at the time can be made the same as the pixel value of the peripheral pixel referred to in the decoding process for the pixel to be decoded.
[0176]
Therefore, adaptive encoding processing in units of pixels and encoding processing in units of blocks are decoded without impairing the correlation of pixel values between uncoded pixels and encoded pixels. It is possible to combine them while avoiding difficulty in decoding the encoded signals on the side.
[0177]
As a result, the effects of transmission errors can be converged on a block-by-block basis, and the encoding efficiency can be made higher than that of a simple block-unit encoding process. The effect that the decoding process of the digitized signal can be performed correctly is obtained.
[0178]
As described above, the image encoding device and the image encoding method of the present invention can improve the encoding efficiency in the compression process of the image signal, and realize the image encoding process in the system that transmits and stores the image signal. It is extremely useful as a video image, and is particularly suitable for moving image compression and expansion processing based on standards such as MPEG4.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an image encoding device according to Embodiment 1 of the present invention.
FIG. 2 is a flowchart illustrating a process for generating a pixel value of an unencoded pixel in an encoding process by the image encoding apparatus.
FIG. 3 is a block diagram showing a configuration of an image coding apparatus according to Embodiment 2 of the present invention.
FIG. 4 is a block diagram showing a configuration of an image coding apparatus according to Embodiment 3 of the present invention.
FIG. 5 is a block diagram showing a configuration of an image coding apparatus according to Embodiment 4 of the present invention.
FIG. 6 is a block diagram showing a configuration of an image encoding device according to a first modification of the fourth embodiment.
7 is a block diagram showing a configuration of an image encoding device according to a second modification of the fourth embodiment. FIG.
FIG. 8 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 5 of the present invention.
FIG. 9 is a diagram illustrating a process of generating a pixel value of an undecoded pixel in a decoding process by the image decoding apparatus, using a flowchart.
FIG. 10 is a block diagram showing a configuration of an image decoding apparatus according to Embodiment 6 of the present invention.
FIG. 11 is a block diagram showing a configuration of an image decoding apparatus according to a seventh embodiment of the present invention.
FIGS. 12 (a), 12 (b), and 12 (c) show the computer system that performs the encoding process by the image encoding apparatus or the decoding process by the image decoding apparatus according to the above embodiment. It is a figure which shows the data storage medium which stored the program for doing.
FIGS. 13A and 13B are schematic diagrams illustrating a state in which one frame screen is divided into a plurality of blocks in the block-unit encoding process.
FIG. 14 is a schematic diagram for explaining adaptive encoding processing in units of pixels.
FIG. 15 is a schematic diagram for explaining a problem in the combination encoding method in which the block-unit encoding process and the pixel-unit encoding process are combined.
FIGS. 16A and 16B are schematic diagrams illustrating a state in which one frame screen is divided into a plurality of blocks in a block-unit decoding process.
FIG. 17 is a schematic diagram for explaining an adaptive decoding process in units of pixels.
FIG. 18 is a schematic diagram for explaining a problem in the combined decoding method in which the decoding process in units of blocks and the decoding process in units of pixels are combined.
[Explanation of symbols]
2 Block generator
4 counter
6a, 6b first and second auxiliary memories
8 counter
10 Encoded / uncoded determiner
12 Selection switch
14 Predicted value generator
16a, 16b, 16c, 16d, 16e, 16f Encoder
20 Decoding / undecoding determiner
22 Prediction probability generator
24 Local decoder
26a, 26b, 26c decoder
30 Deblocker
101, 102, 103, 104, 104a, 104b Image coding apparatus
105, 106, 107 Image decoding apparatus
110, 120, 130, 140, 140a, 140b, 150, 160, 170 Predicted value generation unit

Claims

An image encoding device that encodes pixel values constituting an image signal based on pixel values of a plurality of peripheral pixels located around a pixel to be encoded,
Blocking means for dividing the image signal into blocks composed of a predetermined number of pixels;
A pixel value of an unencoded pixel among a plurality of peripheral pixels located around the encoded pixel is obtained from a pixel value of an encoded pixel of the plurality of peripheral pixels based on a predetermined rule. A pixel value replacement means for replacing the pseudo pixel value;
Encoding means for encoding an image signal composed of a plurality of pixels corresponding to the block based on a pixel value of the encoded pixel and a pseudo pixel value of the unencoded pixel and outputting an encoded signal;
Local decoding means for decoding the encoded signal and generating decoded pixel values,
The pixel value replacement means replaces the pixel value of the unencoded pixel with a pseudo pixel value obtained based on a predetermined rule from the pixel value of the decoded pixel corresponding to the encoded pixel,
The encoding means refers to a decoded pixel value obtained by decoding the encoded signal and a pseudo pixel value of the unencoded pixel, and is irreversible with respect to the pixel value of the encoded pixel. Encoding process,
An image encoding apparatus characterized by that.

An image encoding method for encoding pixel values constituting an image signal based on pixel values of a plurality of peripheral pixels located around a pixel to be encoded,
A blocking step for dividing the image signal into blocks each having a predetermined number of pixels;
A pixel value of an unencoded pixel among a plurality of peripheral pixels located around the encoded pixel is obtained from a pixel value of an encoded pixel of the plurality of peripheral pixels based on a predetermined rule. A pixel value replacement step for replacing the pseudo pixel value;
An encoding step of encoding an image signal composed of a plurality of pixels corresponding to the block based on a pixel value of the encoded pixel and a pseudo pixel value of the unencoded pixel, and outputting an encoded signal;
A local decoding step of decoding the encoded signal to generate decoded pixel values;
In the pixel value replacement step, the pixel value of the uncoded pixel is replaced with a pseudo pixel value obtained based on a predetermined rule from the pixel value of the decoded pixel corresponding to the encoded pixel,
In the encoding step, referring to the decoded pixel value obtained by decoding the encoded signal and the pseudo pixel value of the unencoded pixel, the pixel value of the encoded pixel is irreversible. Encoding process,
An image encoding method characterized by the above.