JP4086520B2

JP4086520B2 - 多値画像の符号化及び復号化方法並びに装置

Info

Publication number: JP4086520B2
Application number: JP2002070979A
Authority: JP
Inventors: 真紀大山; 啓之川本
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2001-03-19
Filing date: 2002-03-14
Publication date: 2008-05-14
Anticipated expiration: 2022-03-14
Also published as: US20020191694A1; JP2003134344A; US6996278B2

Description

【０００１】
【発明の属する技術分野】
本発明は、多値画像の符号化及び復号化方法並びに装置に係り、特に画像信号圧縮伸張手段を備えるディジタル複写機等における多値画像の符号化及び復号化方法並びに装置に関する。
【０００２】
【従来の技術】
近年のディジタル機器においては高画質化のため解像度を高くすることや階調数を多くする等の傾向がある。これらは画像の持つ情報量を多くすることによって画質を向上させる効果を有する。しかしながら、従来２階調（白または黒）値であった画像に対し、白黒２５６階調の画像を考えると、その情報量は８倍となる。その結果その画像を記憶するために必要とされる記憶容量も単純に計算すると８倍となり、画像処理機器のコストが増大してしまう。
【０００３】
そこで、通常は記憶容量の削減のため、画像（データ）を符号化して圧縮する方法が適用される。この画像の符号化には符号化後の符号語長から可変長と固定長とに大きく分けられる。前者の特徴は後者に比べて符号化効率が高い点と可逆が可能である点である。これに対し、後者の特徴は符号化された状態で符号化前の画像の位置が分かるため、任意の部分の画像のみを再生することが可能である点である。これらの特徴から前者はファクシミリのような機器に適しており、後者は複写機等の画像加工を伴う機器に適している。
【０００４】
【発明が解決しようとする課題】
ここで複写機等に適している固定長符号化方式について考える。この場合最も簡単な方法は、１画素に割り当てる符号語長を固定してしまう方法である。例えば１画素８ビットである画素に対して１画素２ビットの符号語を当てはめる。しかし、この方法では必ずしも画像の持つ部分的な特徴を符号に反映することができない。言い換えれば視覚的に重要である画像領域とそうでない画像領域とを区別出来ないため、結果的に符号化によって画質が劣る場合がある。
【０００５】
画質を向上するためには１画素に割り当てるビット数を多くしなければならず、符号化効率が悪くなる。また、１枚の画像の中には文字の領域や自然画像の領域等が混在している場合がある。その場合、これら特徴の異なる領域を同じ圧縮方法、即ち符号化方法で処理した場合、元画像情報が保持されず画像が劣化してしまうことがある。
【０００６】
本発明は上記課題に鑑み、符号化効率を向上させながら原画像の画質を維持可能な画像符号化方法、及びそのように符号化された画像を復号化する方法、並びにそれらの方法を実施する装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題を解決するため、先に本発明者は特開２０００−２７４３８１号公報において以下の方法を提案した。この方法では、入力多値画像を任意の大きさの矩形ブロック領域に分割し、該分割されたブロック領域に対して所定の周波数変換を施し、その結果得られた変換係数を閾値と比較し、その比較結果により当該領域にエッジ成分が存在するか否かを判断する。その結果非エッジ部と判断された部分については当該ブロックの平均濃度をそのまま符号化データとし、エッジ部と判断された部分については、最大最小平均近似法を適用して符号化を行う。
【０００８】
しかしながら、この方法では以下のような問題がある。すなわち、例えば網点で構成されている画像ではエッジ部と非エッジ部とが周期的に存在することとなる。その結果当該網点画像の周期と上記任意の大きさの矩形ブロックの適用周期との間のズレによってモアレが生ずることがある。この問題の解決のために、上記公報にて述べた如く上記閾値を変化させることが考えられる。その結果上記ブロック境界線において発生する画像劣化を防止することが可能である。しかしながら依然として完全にモアレの発生を防止することはできない。
【０００９】
そこで本発明では、符号化データの復号の際、特に非エッジ部については直線補間法、３次関数コンボリューション補間法、又は平滑特性を有する補間法を適用する。その結果、入力画像の網点を効果的に再現し、モアレを防止して高画質な画像を再生可能である。
【００１０】
又、絵柄重視画質モードが設定された場合にはエッジ、非エッジの判定結果に関わらず上記のごとくの方式を用いた非エッジ向けの復号方式を適用することが望ましい。その結果、写真等の網点画像が効果的に再現出来、モアレを防止して高画質の画像を再生可能である。
【００１１】
又、網点分離処理によって入力画像を網点部と非網点部とに分離して分離結果に応じて符号化方式を制御し、或いは更に対応する復号化方式も同様に制御することが望ましい。その結果、単なるエッジ、非エッジの判定結果のみによって符号化方式を決定する方法より更に入力画像の特性に応じてきめ細かく符号化方式、復号化方式の制御が可能となり、更に効果的にモアレを防止して高画質の画像を再生可能である。
【００１２】
【発明の実施の形態】
以下、本発明による多値画像の符号化及び復号化方法の実施の形態について詳述する。
【００１３】
まず、本発明の第１実施例は、本発明をファクシミリ装置に適用している。具体的には、第１実施例では、（２，２）のウエーブレット（ｗｅｖｅｌｅｔ）変換を用いて特徴量を抽出する。
【００１４】
図１は、第１実施例によるファクシミリシステムの構成を示す機能ブロック図である。同図に示すファクシミリシステムは、多値の白黒濃淡画像をブロックごとに固定長符号化して送信する送信装置１０と、送信装置１０から受信した符号データをブロックごとに復号して画像を出力する受信装置１１とからなる。
【００１５】
具体的には、送信装置１０は、画像読取り部１０１と、ブロック分割処理部１０２と、ブロック再分割処理部１０３と、画像変換処理部１０４と、変換テーブル１０５と、符号化処理部１０６と、データ送信部１０７とからなる。
【００１６】
画像読取り部１０１は、図示しない原稿台に載置された原稿をＣＣＤセンサで光学的に読み取り、読み取った画像データをブロック分割処理部１０２に出力する入力デバイスである。なお、本実施例では、この画像読取り部１０１は、縦横それぞれ２５６画素の白黒濃淡画像を読み取る。又、この場合の各画素の画素値は２５６階調である。
【００１７】
ブロック分割処理部１０２は、画像読取り部１０１で読み取られた画像データを所定サイズの矩形ブロックに分割する。具体的には、係るブロックは後段の符号化処理単位のサイズのブロックであり、ここでは４画素×４画素であるものとする。
【００１８】
ブロック再分割処理部１０３は、ブロック分割処理部１０２により分割された各ブロックを更に画像変換処理部１０４の処理単位のブロック（以下「小ブロック」と言う）に再分割する。ここでは、この小ブロックのサイズを２画素×２画素とする。
【００１９】
画像変換処理部１０４は、ブロック再分割処理部１０３で再分割された小ブロック内の画像データに対し周波数変換等を行う。具体的には、小ブロック内の画素値平均の取得及びエッジを抽出するウェーブレット変換を行ってその特徴量を抽出する。
【００２０】
符号化処理部１０６は、変換テーブル１０５を利用してブロック分割処理部１０２で分割した４×４の各ブロックの画素値を固定長データに符号化する。具体的には、各画素の画素値に対して単に同じビット数を割り当てるのではなく、エッジ位置を保存し、該エッジ部を成す画素に多くのビット数を割り当て、且つ当該ブロック全体として固定長になるよう符号化する。なお、変換テーブル１０５および符号化処理１０６の具体的な処理の説明については後述する。
【００２１】
データ送信部１０７は、符号化処理部１０６で符号化された固定長データを受信装置に送信する。なお、この送信装置１０は、図示しない表示部や操作パネルなどをも有するが、ここではその説明を省略する。
【００２２】
上記構成を有する送信装置１０では、画像読取り部１０１で読み取った画像データをブロックに分割し、該ブロック内の画像データを固定長のデータに順次符号化する。ここで、本実施例では画像データのエッジ部に対して多くのビット数を割り当てることとしているので、符号化効率の低下を招くことなく、且つ画像が持つ部分的な特徴を符号データに反映することができる。
【００２３】
次に、図１に示した受信装置１１の構成について説明する。同図に示すように、この受信装置１１は、データ受信部１１１と、変換テーブル１１２と、復号処理部１１３と、ブロック合成処理部１１４と、画像処理部１１５と、画像出力部１１６とを有する。
【００２４】
データ受信部１１１は、送信装置１０から送信された固定長データを通信回線を介して順次受信する。変換テーブル１１２は、送信装置１０内の変換テーブル１０５と同一の内容を有する。
【００２５】
復号処理部１１３は、変換テーブル１１２を利用してデータ受信部１１１により受信された固定長データを４×４のブロック毎の対応する画素値に復号化する。なお、この復号処理部１１３では、変換テーブル１１２を利用して画像データの復号処理を終えた後、予めランダムノイズを付加する処理が設定されている場合があり、その場合、Ｍ系列などの疑似乱数系列にしたがう乱数を順次発生して、当該画像データに埋め込む。係るノイズを埋め込む理由は、ブロック境界での濃度差やブロック内での画素値の同一さに起因するブロック歪みを減少させ、より高画質な画像を再現するためである。
【００２６】
ブロック合成処理部１１４は、復号処理部１１３によって固定長データから復号された各ブロックの画像データを順次合成し、最終的に全体の画像データを形成する。
【００２７】
画像処理部１１５は、このようにして合成された画像データに対して各種画像処理を行う。画像出力部１１６は、画像処理部１１５によって画像処理された画像データを出力するもので、具体的には、図示しない表示部への画像データの表示や印刷用紙への画像データの印字等を行う。
【００２８】
上記構成を有する受信装置１１では、画像が持つ部分的な特徴が損なわれることなく、固定長符号化された符号データが効率良く復元され得る。
【００２９】
次に、図１に示したブロック分割処理部１０２およびブロック再分割処理部１０３によるブロック分割について更に具体的に説明する。図２は、図１に示したブロック分割処理部１０２およびブロック再分割処理部１０３によるブロック分割の概念を説明するための図である。なお、ここでは説明の便宜上、画像データのサイズを８×８画素とする。
【００３０】
図２（ａ）に示すように、ブロック分割処理部１０２は、画像読取り部１０１によって読み取られた８×８の画像データを４つの４×４のブロックａ０，ａ１，ａ２，ａ３に分割する。係るブロックサイズは、符号化処理部１０６による符号化処理単位に合わせている。なお、このブロック分割処理部１０２は、ブロック符号化を行う各種画像処理装置で広く採用されているものと同様の構成を有する。
【００３１】
これに対し、ブロック再分割処理部１０３は、図２（ｂ）に示すように、ブロック分割処理部１０２により分割されたブロックを更に４つの２×２の小ブロックｂ０，ｂ１，ｂ２，ｂ３に分割する。この２×２の小ブロックに分割する理由は、画像変換処理部１０４で用いる（２，２）ウエーブレット変換の処理単位に合わせている。このウエーブレット変換をおこなう理由は、エッジを保存した固定長符号化を実現するためである。
【００３２】
なお、ここでは説明の便宜上、画像データを４×４のブロックに分割した後、これを２×２の小ブロックに再分割する場合を示したが、この例に限られず、画像データをｎ×ｍ（ｎ，ｍは整数）の矩形ブロックに分割し、これをさらに（ｎ／ｐ）×（ｍ／ｒ）（ｐ，ｒは整数）の小ブロックに分割することもできる。この場合、ｎ×ｍの矩形ブロック単位で符号化処理を行い、（ｎ／ｐ）×（ｍ／ｒ）の小ブロック単位で画像変換を行うことになる。
【００３３】
次に、図１に示した画像変換処理部１０４でおこなわれる周波数変換処理について具体的に説明する。図３および図４は、図１に示した画像変換処理部１０４でおこなわれる周波数変換処理の概念を説明するための図である。
【００３４】
図３に示すように、係る画像変換処理部１０４では、上記小ブロック内の画像データについて高域通過フィルタ１０４ａと低域通過フィルタ１０４ｂとを適用する。例えば、この高域通過フィルタ１０４ａの一例としては、小ブロック内の画素の最大値と最小値との差を画素配列方向を考慮して求めるものが挙げられる。又、低域通過フィルタ１０４ｂの一例としては、小ブロック内の画素の平均を求めるものが挙げられる。
【００３５】
係る高域通過フィルタ１０４ａと低域通過フィルタ１０４ｂとを１パスで実行する技術として、図４に示したウエーブレット変換が知られている。同図に示すように、２×２の小ブロック内の４つの画素の画素値をそれぞれａ，ｂ，ｃ，ｄとすると、低域通過フィルタ（Ｌ）は、
Ｌ＝（ａ＋ｂ＋ｃ＋ｄ）／４
の処理をおこない、高域通過フィルタ（Ｈ１，Ｈ２，Ｈ３）は、
Ｈ１＝（ａ＋ｃ）／２ − （ｂ＋ｄ）／２
Ｈ２＝（ａ＋ｂ）／２ − （ｃ＋ｄ）／２
Ｈ３＝（ａ−ｂ） − （ｃ−ｄ）
の処理をおこなうことになる。
【００３６】
次に、図１に示した符号化処理部１０６がおこなう固定長符号化処理について具体的に説明する。図５は、図１に示した変換テーブル１０５の一例を示す図であり、図６は、上記小ブロックにおけるエッジの有無に基づいて定まるモード０〜１５を説明するための図である。
【００３７】
まず最初に、図５（ａ）に示すように、ブロック内の画素の画素値をｄ０〜ｄ１５とし、同図（ｂ）に示すように、当該ブロックを形成する４つの小ブロックをｂ０，ｂ１，ｂ２，ｂ３とする。
【００３８】
次に、上記各小ブロックに含まれる各４個の画素によってエッジが構成されるか否かを判断した場合、結果的に図６に示すような１６通りのパターンが考えられる。即ち、各ブロックは、モード０〜モード１５のいずれかと一致することになる。具体的には、このモード０は、いずれの小ブロックにもエッジが存在しない場合を示し、モード１は、左上の小ブロックｂ０のみにエッジが存在する場合を示している。同様に、モード１５は、いずれの小ブロックｂ０〜ｂ３にもエッジが存在する場合を示している。
【００３９】
そして、変換テーブル１０５では、図５（ｃ）に示すように、上記各モード毎に対応して当該ブロックを構成する各小ブロックに割り当てるビット数を規定する。この変換テーブル１０５を用いることとした理由は、各モード毎に異なる符号化を行うためである。言い換えると、モード毎に異なる符号化を行えば、エッジが存在するか否かによって符号化方式を変え、エッジを保存しつつ固定長符号化を行うことが可能となる。
【００４０】
具体的には、上記モード０の場合、各小ブロックｂ０，ｂ１，ｂ２，ｂ３に夫々７ビットを割り当てる。更に当該モードの種別を示すモードビットとして４ビット必要であるため、各小ブロック毎に合計３２ビットが割り当てられる。
【００４１】
その結果、各小ブロックに低域通過フィルタ１０４ｂを適用して得られる画素値の平均（以下、「画素平均」と言う）を各小ブロック毎に７ビットで表現することになる。もし係る画素平均が８ビット以上である場合には、上位７ビットを取り出し、下位ビットを捨てる切り詰め処理をおこなう。モード０の場合に７ビットの画素平均を用いて符号化することとした理由は、図６に示す如く、このモードではいずれの小ブロックにもエッジが存在しないからである。
【００４２】
次にモード１の場合、エッジが存在しない小ブロックｂ１，ｂ２，ｂ３にはそれぞれ５ビットを割り当て、エッジが存在する小ブロックｂ０には１３ビットを割り当てる。このため、上記モードビットとの合計は３２ビットとなる。
【００４３】
ここで、エッジが存在する小ブロックｂ０を構成する各画素について考える。その場合、エッジを構成しない画素の画素値（ｍｉｎ）に４ビット、エッジをなす画素の画素値（ｍａｘ）に５ビットを夫々割り当て、更に当該小ブロックｂ０内の各画素がエッジを成すか否かを示すエッジの位置情報に４ビットを割り当てる。
【００４４】
このようにモード１の場合、エッジを成す画素には５ビットが割り当てられ、エッジをなさない画素には４ビット（小ブロックｂ０の場合）または５ビット（小ブロックｂ１，ｂ２，ｂ３）が割り当てられる。従来の固定長符号化技術によって１ブロック内の１６画素を３２ビットで固定長符号化する場合、エッジを成すか否かを問わずに各画素を２ビットで表現することになるため、本実施例による符号化によって解像度が大幅に改善されることになる。
【００４５】
同様に、モード１５の場合、当該ブロック内のエッジを成さない画素の画素値（ｍｉｎ）に６ビット、エッジを成す画素の画素値（ｍａｘ）に６ビット、各小ブロックｂ０，ｂ１，ｂ２，ｂ３内の各画素がエッジをなすか否かを示すエッジの位置情報に１６ビットを割り当てる。このため、モードビットとの合計はやはり３２ビットとなる。なお、このモード１５においては、すべての小ブロックがエッジを成す画素を含むため、画素平均は行わない。
【００４６】
このように、上記変換テーブル１０５を用いることにより、符号化処理部１０６では、各小ブロックにエッジを成す画素が存在するか否かによって符号化方式を変える。その結果、エッジを保存した固定長符号化を行うことが出来る。なお、受信装置１１が有する変換テーブル１１２も、この変換テーブル１０５と同様のものであり、この変換テーブル１１２を用いて復号処理部１１３によって対応する復号処理が行われる。
【００４７】
次に本発明の第２実施例について説明する。図７は本発明の第２実施例が適用される画像処理装置の全体構成を示すブロック図である。同装置では、原稿を光学的に読み取る読み取り部２０１は、原稿に対するランプ照射の反射光をミラー及びレンズにより受光素子に集光する。電気信号に変換された画像信号はディジタル信号に変換されて出力される。画像処理部２０２ではシェーディング補正、スキャナγ補正等の補正を行う。符号化部２０３ではこのようにして得られた多値の画像データに対して固定長符号化を行う。ここで、固定長符号化を行うのは本実施例では複写機への適用を目的としている。即ち、複写機においては符号化された状態で画像の回転を行うことが望まれるためである。
【００４８】
なお、図示せぬ画像蓄積部はこの符号データを蓄積する。本実施例では符号化部２０３で固定長符号化（圧縮）がなされたデータがここに蓄積される。符号化された符号データはＤＲＡＭで構成される半導体メモリ等に蓄積される。このメモリ２０４上では画像の回転等を行うことができる。
【００４９】
次に、蓄積された符号データは復号部２０５に送られ、この復号部５で再び画像データに復号化される。復号化された画像データは復号部５から画像処理部２０６へ送られる。この画像処理部２０６では空間フィルタ処理、γ変換処理、中間調処理が行われる。これらの画像処理後のデータは画像処理部２０６から出力部２０７に送られる。尚、出力部２０７はＬＤ（レーザダイオード）等を用いた書き込み系を持つ電子写真出力装置よりなる。
【００５０】
以下、図８を参照して上記符号化部２０３の詳細について説明する。主だった構成は、上述の本発明の第１実施例と略同様であるため、重複する説明を省略する。即ち、図８に示すように、入力された画像データは高域フィルタ２１１と低域フィルタ２１２とで構成された画像変換部２１３に入力される。又、高域フィルタ２１１の出力と低域フィルタ２１２の出力によって適用する符号化器２１４と符号化器２１５とが切り替えられる。
【００５１】
符号化器２１４は、文字等で構成されているエッジ画像用である。又、符号化器２１５は、網点で構成されている絵柄画像部用であり、連続階調を持つ絵柄は符号化器２１５で符号化するのが望ましい。また、高域フィルタ２１１の出力が大きいブロックは文字等のエッジを多く含むブロックであるため、エッジの保存性の良い符号化器２１４で符号化が行われる。一方、低域フィルタ２１２の出力が大きいブロックは滑らかな網点又は連続階調で構成されているグレースケール画像であるため、網点の忠実な保存を行うための符号化器２１５が用いられる。
【００５２】
符号化器２１４、２１５の構成については、上記機能を有する周知の構成を利用可能であり、その詳細な説明を省略する。図８において符号化器２１５には低域フィルタ２１２の出力が入力され、この低域フィルタ２１２の出力をサンプリングして符号データを生成する。
【００５３】
具体的には図９に示すように、該当ブロックのａ，ｂ，ｅ，ｆの画素値の平均を取り、その結果を符号化データとする。次のブロックではｃ，ｄ，ｇ，ｈの画素値の平均を取り、その結果を符号化データとする。この動作を繰り返すことでデータ量は元の１／４になる。ここで、現在のスキャナの解像度を６００ｄｐｉ程度であるとする。その場合、３００ｄｐｉ、即ちデータ量として１／４となったデータに対するサブサンプリング動作によって標本化されたデータのナイキスト周波数は１５０ｄｐｉであるため、１５０ｄｐｉの周波数までの成分が表現可能である。
【００５４】
現在の印刷物中の網点は１５０ｄｐｉ前後のものが多いが、これを超える網点は上記低域フィルタで平滑化されて除去されるため、折り返しによるモアレは発生しない。これによって、解像度１５０ｄｐｉより低い線数の網点が存在する場合、この網点自体を再現可能である。
【００５５】
図１０は固定長復号化部２２２の構成を示す。即ち、図１０に示すように復号器２２０は符号化器２１４（図８）で処理されたエッジ部分に対する復号化を行う。他方復号器２２１は符号化器２１５（図８）で処理された非エッジ部分に対する復号化を行う。２２４は復号器２２０，２２１を構成する補間演算部を示す。
【００５６】
次に、復号器２２１の動作について説明を行う。即ち、復号器２１１が例えば図１１のＡ，Ｂ，Ｃ、Ｄの符号化画素を復号化して例えばＡ１，Ａ２，Ａ３の画素を生成する場合を考える。ここで、この第２実施例では、この補間演算（補間演算部２２４）を直線補間法で行う。尚ここで、符号化画素値Ａ、Ｂは例えば図９における原画像の画素値ａ，ｂ，ｅ，ｆの平均値、ｃ、ｄ、ｇ、ｈの平均値に夫々対応する。
【００５７】
以下の式（１）、（２）、（３）は上記直線補間による補間演算法の具体例を示し、これらの式（１）、（２）、（３）に示すように、簡単な重み付けで補間画素Ａ１，Ａ２，Ａ３を求める。更に同様に全ての符号化画素について同様の補間演算を行うことによって元々の符号化画素数と合わせて４倍の画素数を得ることが出来、復号化が達成出来る。この方法は、演算が簡単であることが特徴である。また、入力画像の網点の線数がそれ程高くない領域であれば実用上十分な画質を得ることができる。
【００５８】
Ａ１＝（Ａ＋Ｂ）／２・・・（１）
Ａ２＝（Ａ＋Ｃ）／２・・・（２）
Ａ３＝（Ａ＋Ｂ＋Ｃ＋Ｄ）／４・・・（３）
次に本発明の第３実施例について説明する。図１２は第３実施例を説明するための図である。本実施例では、復号器２２１（図１０）は図１２に示すＡ乃至Ｆの符号化画素を複合して例えばＦ１，Ｆ２，Ｆ３の画素を生成する。そして、この第３実施例では、この場合の補間演算を３次関数コンボリューション補間法で行う。即ち、補間係数として例えば図１３に示す係数を適用する。
【００５９】
具体的には、Ｆ１画素を生成する場合図１３のＦ１用の係数を適用する。この場合当該係数の中で下線の引かれている部分を図１２における符号化画素Ｆに対応させる。即ち、図１２の例では図中太線で囲まれた８個の符号化画素Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｈ，Ｊ，Ｋに図１３のＦ１の係数のテンプレートを適用して補間演算を行う。即ち、以下の式（４）の如く、対応する符号化画素Ｂ，Ｃ，Ｅ，Ｆ，Ｇ，Ｈ，Ｊ，Ｋと補間係数ｃ１、ｃ２、ｃ３、ｃ４、ｃ５、ｃ６、ｃ７、ｃ８とを夫々掛け合わせて合計し、合計値を補間係数の合計である１６で割る。
【００６０】
Ｆ１
＝{Ｂ・ｃ１＋Ｃ・ｃ２＋Ｅ・ｃ３＋Ｆ・ｃ４＋Ｇ・ｃ５＋Ｈ・ｃ６＋Ｊ・ｃ７＋Ｋ・ｃ８}／（ｃ１＋ｃ２＋ｃ３＋ｃ４＋ｃ５＋ｃ６＋ｃ７＋ｃ８）
＝{Ｂ・１＋Ｃ・１＋Ｅ・（−１）＋Ｆ・７＋Ｇ・７＋Ｈ・（−１）＋Ｊ・（−１）＋Ｋ・１}／１６・・・（４）
同様にＦ２、Ｆ３の場合以下の式（５）、（６）のような補間演算がなされる。
【００６１】
Ｆ２
＝｛Ｅ・１＋Ｆ・１４＋Ｇ・１＋Ｉ・１＋Ｊ・１４＋Ｋ・１｝／３２・・・（５）
Ｆ３
＝｛Ｅ・（−１）＋Ｆ・９＋Ｇ・９＋Ｈ・（−１）＋Ｉ・（−１）＋Ｊ・９＋Ｋ・９＋Ｌ・（−１）｝／３２・・・（６）
そして、この補間係数で補間演算を行うことによって符号化画素のデータから原画像の網点をかなり正確に再生することができる。これによって、本第３実施例によれば前述した第２実施例の場合よりも高い線数域、即ち高解像度の網点の再生を行うことができる。その結果網点の再生誤差によるモアレの発生を少なく抑えることが可能となり高画質を得ることができる。
【００６２】
また、本発明の第４実施例について、図１２を参照して以下、説明を行う。この第４実施例は復号器２２１（図１０参照）は図１２のＡ乃至Ｆの符号化画素を復号化し、補間演算によって例えばＦ１，Ｆ２，Ｆ３の画素を生成する。本実施例では、この補間演算を例えば図１４に示す平滑化補間係数を使用して行う。
【００６３】
この場合、上記第３実施例の場合同様、図１４の補間係数テンプレート中、数字に下線の引かれている係数部分を符号化画素Ｆに対応させてテンプレートを適用する。例えばＦ１を補間演算によって求める場合、具体的には第３実施例の場合と同様にして、６個の符号化画素Ｂ，Ｃ，Ｆ，Ｇ，Ｊ，Ｋに図１４のＦ１の補間係数テンプレートを適用して補間演算を行う。即ち、以下の式（７）の如く、対応する符号化画素Ｂ，Ｃ，Ｆ，Ｇ，Ｊ，Ｋと補間係数ｃ２１、ｃ２２、ｃ２３、ｃ２４、ｃ２５、ｃ２６とを夫々掛け合わせて合計し、合計値を補間係数の合計である１６で割る。
【００６４】
Ｆ１
＝｛Ｂ・ｃ２１＋Ｃ・ｃ２２＋Ｆ・ｃ２３＋Ｇ・ｃ２４＋Ｊ・ｃ２５＋Ｋ・ｃ２６｝／（ｃ２１＋ｃ２２＋ｃ２３＋ｃ２４＋ｃ２５＋ｃ２６）
＝｛Ｂ・１＋Ｃ・１＋Ｆ・６＋Ｇ・６＋Ｊ・１＋Ｋ・１｝／１６・・・（７）
Ｆ２，Ｆ３についても同様にして補間演算によって求める。
【００６５】
この第４実施例の場合、図１４に示す如く、例えば上記第３実施例に適用した図１３に示す係数の場合と比較して各係数の数値間大小の差が小さい。その結果、この補間演算によって画素を生成する際、同時に周囲画素との間で重み付け平均演算を行っていることになり、平滑化効果を生ずる。このため、本第４実施例では、前述した第３実施例を適用した場合には補間係数によってモアレが生じるような場合であっても、それを抑制しながら網点の再生を行うことができるため、効果的に高画質な再生画像を得ることができる。
【００６６】
次に本発明の第５実施例について、以下、説明を行う。この第５実施例では、絵柄重視のモードが設定された場合、図８に示す高域通過フィルタ２１１、低域通過フィルタ２１２の通過状態、即ち当該画素がエッジを構成する画素であるか否かに関わらず、当該画素に対して一律に非エッジ画素に対する処理を行う。即ち、本実施例では絵柄重視のモードの場合には一般にそれ程高い解像度が要求されることがないことに着目し、エッジ部と非エッジ部とが混在する画像の場合に全面にわたり平滑化とダウンサンプリングによる符号化(圧縮)と補間による復号化（伸張）を行う。その結果、エッジ部と非エッジ部とに対する処理の切り換えによる画像劣化の発生を防止可能である。
【００６７】
ここで、前述した第２乃至第４実施例では画像変換部２１３（図８）によって随時符号化方法を切り替えながら符号化を行うが、このような構成の場合、特定の線数(解像度)の網点の場合、符号化器２１４で処理が行われる部分と符号化器２１５で処理が行われる部分とが混在し、その結果モアレが発生して画質低下を起こす場合がある。そのため、あまり解像度の要求されない文字写真モードや写真モードではこのように随時符号化器を切り替える手法は好ましくない場合がある。そのため、本第５実施例では操作パネル（図示せず）からユーザーが上記絵柄重視モードを選択した場合には絵柄画像用の符号化器２１５のみを用いて符号化を行う。このような動作モードを備えることによりモアレのない滑らかな画像を提供できる。このように、本実施例では、エッジ、非エッジが混在する画像の場合に対しては処理の切り替えが目立たなくなるよう、全面非エッジとしての処理を行う。
【００６８】
次に本発明の第６実施例について図１５のブロック図を用いて説明する。図１５に示すように、本実施例による符号化装置は、網点画像と線画の混在する画像から網点領域を分離する網点分離部３０１、画像を予め定められた一定の大きさの矩形ブロックに分割するブロック分割部３０５、このブロック分割部３０５で分割された画像に対して画像変換部３０７の処理単位となるブロックサイズに分割を行うブロック再分割部３０６、このブロック再分割部３０６で分割された画像に対して周波数換等の変換を行う画像変換武３０７、この画像変換部３０７で変換された変換係数を基にエッジ成分が存在するか否かを判断する符号化モード制御部３０８、この符号化モード制御部３０８の結果を基にブロック分割された元の画像に対して予め定められた一定長の符号語を出力する固定長符号化部３０９から成る。
【００６９】
ここで、ブロック分割部３０５、ブロック再分割部３０６、画像変換部３０７、符号化モード制御部３０８、固定長符号化部３０９に関しては、前述した特開平１２−２７４３８１号公報に開示されたもの等と同様の構成よりなり、詳細な説明を省く。また、網点分離部３０１については、例えば特許第２７７７３７９号に記載の網点分離法を用いる。但し、網点画像と線画とが混在する画像から網点領域を分離する方法であれば必ずしもこの方法でなくてもよい。そして、上記実施例では画像変換部２１３の変換結果からエッジ成分が存在するか否かを判別しその結果に従って符号化を行っているが、本第６実施例では、以下の「表１」、「網点分離の結果と符号化の対応表」に示すように、画像変換部３０７の変換結果ではなく、網点分離の結果に従って符号化を行う。
【００７０】
【表１】

すなわち、「表１」に示すように、網点と判定されると各ブロックの平均濃度をそのまま符号とする。非網点と判定されると最大最小平均近似法で符号化を行う。ここで、最大最小平均近似法については、前述した特開平１２−２７４３８号公報に記載のもの、或いは後述のものと同様であるため、ここでは明記しない。
【００７１】
以上のように、第６実施例では網点分離結果に基づいて符号化を行い、この場合入力画像の比較的広い領域について網点であるか否かを判定する。その結果、網点画像の中でエッジ部向けの符号化処理と非エッジ部向けの符号化処理とが切り替わることがないため、上述したような網点画像の周期と任意の大きさの矩形ブロックとの間の周期ズレによって新たなモアレが生ずることがない。
【００７２】
次ぎに、本発明の第７実施例による符号化装置について図１６のブロック図を用いて説明する。図１６に示すように、同符号化装置は、網点画像と線画の混在する画像から網点領域を分離する網点分離部３０１、画像を予め定められた一定の大きさの矩形ブロックに分割するブロック分割部３０５、このブロック分割部３０５で分割された画像に対して画像変換部３０７の処理単位となるブロックサイズに分割を行うブロック再分割部３０６、このブロック再分割部３０６で分割された画像に対して周波数変換等の変換を行う画像変換部３０７、この画像変換部３０７で変換された変換係数を基にエッジ成分が存在するか否かを判断する符号化モード制御部３０８、この符号化モード制御部３０８の結果を基にブロック分割された元の画像に対して予め定められた一定長の符号語を出力する固定長符号化部３０９から成る。
【００７３】
ここで、ブロック分割部３０５、ブロック再分割部３０６、画像変換部３０７、符号化モード制御部３０８、固定長符号化部３０９に関しては、例えば前述した特開平１２−２７４３８１号公報に記載のもの等と同じ構成を有し、その詳細な説明を省く。また、網点分離部３０１については、例えば特許第２７７７３７９号記載の網点分離法を用いる。尚、網点画像と線画の混在する画像から網点領域を分離する方法であれば必ずしもこの方法でなくてもよい。
そして、この第７実施例では、以下の「表２」に示すように、網点分離部３０１による網点分離の結果によって、符号化モード制御部３０８におけるエッジ、非エッジを判定するために用いる閾値を変え、その閾値を用いてさらにエッジかどうかの判定を行い、以下の「表２」の「網点分離結果と符号化モード判別閾値の対応表」に示す方法で符号化を行う。
【００７４】
【表２】

すなわち、「表２」に示すように、網点であると判定された画像部に対しては後段の符号化モード制御手段８で“非エッジ”と判定されやすくするために閾値を高くする（ＴＨ１）。他方、非網点と判定された画像部に対しては後段の符号化モード制御部３０８で“エッジ”と判定されやすくするために閾値を低く設ける（ＴＨ２＜ＴＨ１）。このようにして網点分離の結果によって決定される閾値を使用して、符号化モード制御部３０８では更に当該ブロックがエッジか非エッジかについて判定を行う。
【００７５】
図１７に上述の本発明の第７実施例による符号化装置の動作を示すフローチャートを示す。同図に示す如く、網点分離部３０１によって網点と判定（Ｓ１）されたブロックについて、後段の符号化モード制御部３０８でさらに非エッジ成分かどうかについて判定（Ｓ２）を行う。即ち、画像変換部３０７の高域通過フィルタ出力の絶対値（Ｈ１，Ｈ２，Ｈ３、図４参照）が閾値を超える場合は当該ブロックはエッジと判定され、最大最小平均近似法によって符号化がなされる。それ以外ならば非エッジと判定され、平均濃度によって符号化がなされる。
【００７６】
又、網点分離部３０１により非網点と判定されたブロックについては、後段の符号化モード制御部３０８で更にエッジ成分かどうかについて判定を行う（Ｓ３）。画像変換部３０７の高域通過フィルタ出力の絶対値が閾値を超える場合は当該ブロックはエッジと判定され、最大最小平均近似法によって符号化がなされる。それ以外ならば非エッジと判定され、平均濃度によって符号化がなされる。
【００７７】
以上のように、第７実施例では、網点分離の結果によって符号化モード判別閾値を変える。そして符号化モード判別閾値を用いてエッジ成分が存在するか否かの判別を行い、その判別に従って符号化を行う。このように、網点分離の結果を単独で用いて符号化を行うのでは不十分である場合であっても、網点分離の結果を用いて更にエッジかどうかの判定を行うため、より精度が高い像域分離方式による符号化処理を達成することができる。
【００７８】
次ぎに、本発明の第８実施例による符号化装置について、図１８のブロック図を用いて説明する。図１８に示すように、本符号化装置は、網点画像と線画の混在する画像から網点領域を分離する網点分離部３０１、画像を予め定められた一定の大きさの矩形ブロックに分割するブロック分割部３０５、このブロック分割部３０５で分割された画像に対して画像変換部３０７の処理単位となるブロックサイズに分割を行うブロック再分割部３０６、このブロック再分割部３０６で分割された画像に対して周波数変換等の変換を行う画像変換部３０７、この画像変換部３０７で変換された変換係数を基にエッジ成分が存在するか否かを判断する符号化モード制御部３０８、この符号化モード制御部３０８の結果を基にブロック分割された元の画像に対して予め定められた一定長の符号語を出力する固定長符号化部３０９から成る。
【００７９】
ここで、ブロック分割部３０５、ブロック再分割部３０６、画像変換部３０７、符号化モード制御部３０８、固定長符号化部３０９に関しては、前述した「特開平１２−２７４３８１号公報」に記載のもの等と同じ構成よりなり、その詳細な説明は省く。また、網点分離部３０１については、例えば特許第２７７７３７９号に記載の網点分離法を用いる。但し、網点画像と線画の混在する画像から網点領域を分離する方法であれば必ずしもこの方法でなくてもよい。
【００８０】
そして、この第８実施例では、以下の「表３」に示すように、操作者が操作部より選択する任意の画像モードによって、符号化モード制御部３０８における、エッジ成分が存在するか否かを判断するための符号化のモード判別閾値を変える。表３に示すように、操作者が操作部より任意の画質モードを選択することにより、画質モードに適した符号化のモード判別閾値が選択される。
【００８１】
【表３】

例えば、操作者が操作部によって文字モードを選択した場合、当該画像領域が網点分離部２０１によって網点と判定されると符号化モード判別閾値は６４とされ、非網点と判定されると３２とされる。或いは操作者が操作部によって文字／写真モードを選択した場合、当該画像領域が網点分離によって網点と判定されると符号化モード判別閾値は９６とされ、非網点と判定されると４８とされる。更に操作者が操作部によって写真モードを選択した場合、当該画像領域が網点分離によって網点と判定されると符号化モード判別閾値は１２８とされ、非網点と判定されると６４とされる。
【００８２】
ここで操作者が操作部で「文字モード」を選択した場合を考える。文字モードの場合文字等のエッジ情報が画像に多く存在するが逆に網点画像などの写真画像はあまり存在しないと考えられる。従ってこの場合網点分離結果によって「網点である」と判定されたとしても、符号化モード判別閾値を他のモードより低く設定することにより、エッジと判断されやすくする。
【００８３】
次に逆に操作者が操作部より「写真モード」を選択した場合について考える。写真モードでは文字などのエッジ情報は画像にあまり存在しないと考えられる。従ってこの場合、仮に網点分離結果より「非網点である」と判定されたとしても、符号化モード判別閾値を他のモードより高く設定することによって、非エッジと判断されやすくする。このように操作者の選択による画質モードに適した符号化のモード判別閾値が選択されるため、精度が高くかつ応用の高い像域分離方式による符号化処理を達成することができる。
【００８４】
次に、本発明の第９実施例について説明する。上記の実施例では、エッジ部と非エッジ部とが混在するような画像を処理する場合に処理ブロック境界線による画像劣化をなくすため、符号化（圧縮）を行う前に網点分離を用い、網点分離の結果によって符号化方法を制御する方法を用いた。本第９実施例では、このように符号化を行う前に網点分離を用い、網点分離の結果によって符号化方法を替えると共に、更に非エッジ部の符号化（圧縮）処理は、帯域制限フィルタによる処理後にダウンサンプリングを行う構成とし、更に非エッジ部の復号処理は、帯域制限フィルタによる処理後に上記３次関数コンボリューション補間法や、平滑化特性をもった補間法等により画素を生成する構成とする。その結果、網点画像の周期と任意の大きさの矩形ブロックとの周期ズレによる新たなモアレが生じることなく良好な網点再現性及び解像度の向上を実現することができる。
【００８５】
まず第９実施例に係る符号化部について図１９のブロック図を用いて説明する。すなわち、同符号化部は、網点画像と線画の混在する画像から網点領域を分離する網点分離部４０１と、この網点分離部４０１による結果を基にブロック分割された元の画像に対して予め定められた一定長の符号語を出力する固定長符号化部４０２と、前記網点分離部４０１の結果に従って復号を行う固定長復号化部４０３とを有している。
【００８６】
また、固定長符号化部４０２は符号化器４０６、符号化器４０７とを有し、網点分離部４０１による画像データの出力結果によって適用する符号化器４０６，４０７が切り替えられる。これら符号化器４０６，４０７のデータはセレクタ４０４に入力される。一方、固定長復号化部４０３は復号器４０８、復号器４０９とを有し、網点分離手段４０１による画像データの出力結果に従って適用する復号器４０８、復号器４０９が切り替わる。同様に、これら復号器４０８，４０９の出力データは復号化（圧縮伸張）後の画像データを送出するセレクタ４１０に入力される。
【００８７】
符号化器４０６は、網点で構成されている絵柄画像部用であり、符号化器４０７は、文字などで構成されているエッジ画像用である。そして、連続階調を持つ絵柄部や網点部は符号化器４０６で符号化するのが望ましく、他方文字部はエッジの保存性の良い符号化器４０７で符号化するのが望ましい。ここで、符号化器４０６、４０７は前述した上記各実施例に含まれるものの構成と略同様であるため詳細な説明は省略する。
【００８８】
また、網点分離部４０１については、例えば「特許第２７７７３７９号」に記載の網点分離法を用いるが、網点画像と線画の混在する画像から網点領域を分離する方法であれば必ずしも前記網点分離法を採用しなくてもよい。
【００８９】
更に、この第９実施例では、以下の「表４」の網点分離の結果と符号化の対応表に示すように、網点分離の結果に従って符号化を行う。具体的には、網点分離の結果が「網点」の場合には当該符号化は符号化器４０６で行い、帯域制限フィルタ処理後にダウンサンプリングを行う。他方、網点分離結果が「非網点」の場合、当該符号化は符号化器４０７で行われ、即ち最大最小平均近似法が行われる。
【００９０】
【表４】

次に本発明の第１０実施例による符号化部を図２０のブロック図を用いて説明する。すなわち、本実施例では、符号化器４１２は帯域制限フィルタ４１３によりフィルタ処理を行い、次いでダウンサンプリング部４１４によるダウンサンプリングを行う。また、符号化器４１５では最大最小平均近似法４１６による符号化処理を行う。
【００９１】
これら符号化器４１２，４１５から出力される処理データはセレクタ４０４に供給される。すなわち、現在のスキャナの解像度を６００ｄｐｉとすると、上記ダウンサンプリングとは、このスキャナで読み取られた画像を３００ｄｐｉ迄にサブサンプリングすることである。そして、この３００ｄｐｉ迄にサブサンプリングされたデータのナイキスト周波数は１５０ｌｐｉとなる。即ち、１５０ｌｐｉ以上のものを含む周波数成分はサンプリング定理を満たさないため、前段の帯域制限フィルタで制限しておく必要がある。
【００９２】
ここで、この帯域制限フィルタ４１３の係数例を図２１に示す。また、この図２１に示された帯域制限フィルタ係数の周波数特性を図２２に示す。そして、この図２２から明らかなように、１５０ｌｐｉ以上の周波数特性値は小さくなっており、前述したように、ダウンサンプリングのサンプリング定理を満たさない１５０ｌｐｉ以上の周波数成分が制限されることが分かる。
【００９３】
次に本発明の第１１実施例による復号化装置について図２３のブロック図を用いて説明する。すなわち、図２３に示すように、同復号化装置は、網点画像と線画とが混在する画像の符号化データから網点領域を分離する網点分離部４２０と、この網点分離部４２０による網点分離結果に従って復号を行う固定長復号化部４２１とから成る。
【００９４】
また、固定長復号化部４２１は復号器４２２、復号器４２３とを有し、網点分離部４２０の出力結果に従って適用する復号器４２２、復号器４２３が切り替わる。復号器４２２では帯域制限フィルタ４３０でフィルタ処理を行い補間演算部４３１により補間演算を行った後、処理データはセレクタ４３３に出力される。一方、復号器４２３は上記符号化器４１５の符号化処理に対応する復号化処理を行う。即ち、復号器４２２は前述した符号化器４１２に対応した復号器である。また、復号器４２３は前述した符号化器４１５に対応した復号器である。即ち、復号器４２２は網点で構成されている絵柄画像部用であり、復号器４２３は文字などで構成されているエッジ画像用である。ここで、復号器４２２，４２３の構成については、前述した各実施例の構成と略同様であるため詳細な説明は省略する。又、網点分離部４２０は実際には図１９、図２０における網点分離部４０１と共通化されており、もって当該符号化データが網点と判定された画像に対するものか非網点と判定された画像に対応するか判断可能である。
【００９５】
ここで、復号器４２２では帯域制限フィルタ４３０による処理を行い、更に補間演算部４３１による補間演算を行う。尚、現在存在する画像中の網点は１５０ｄｐｉ前後のものが多いが、これを超える網点は前述した符号化器４１２の帯域制限フィルタ４１３で平滑化されて除去されているため、理論的にはダウンサンプリングによるサンプリング定理を満たさない折り返しモアレは発生しないはずである。しかしながら、フィルタサイズは有限であるため、理想的な帯域制限フィルタを構成することは難しく、結果的に折り返しモアレが発生する場合がある。
【００９６】
ここで、理想的な帯域制限フィルタの周波数特性は、図２４に示す如くのものである。即ち、この帯域制限フィルタの周波数特性図から明らかなように１５０ｌｐｉ迄の周波数特性値は１．０であり、１５０ｌｐｉ以上では０となる。
【００９７】
ここで、前記図２２は図２１に示した帯域制限フィルタ４１３の係数例の周波数特性を示したものであるが、この図２２と前記図２４の周波数特性とを比較してみると明らかなように、図２２では１５０ｌｐｉ以上の周波数特性値は１より小さくなっているが、０ではない。そのため、１５０ｌｐｉ以上の周波数成分も残ってしまう。そのためダウンサンプリングによって折り返しモアレが発生してしまうことになる。
【００９８】
そこで、前述したように第１１実施例では帯域制限フィルタ４３０を設け、帯域制限フィルタ４１３（図２１）で除去出来なかった折り返しモアレをここで除去するようにしている。そして、後段の補間演算４３１により１５０ｌｐｉより低い線数の網点を再現する。
【００９９】
次いで、図２５は上記補間演算部４３１に適用可能な直線補間処理についての説明図である。この直線補間処理は上記実施例の説明にて図１１を用いて説明した処理と同じである。尚、補間演算部４３１に適用する補間方式としては、他に３次関数コンボリューション補間法でもよいし、それ以外の補間方式でもよい。
【０１００】
次に、本発明の第１２実施例の符号化及び復号化装置について図２６のブロック図を用いて説明する。すなわち、構成としては、前述した第９、第１０実施例における夫々の固定長符号化部４０２及び固定長復号化部４２１の帯域制限フィルタ４１３，４３０の夫々の係数が、操作者が操作部より選択した画質モードにより切り替わる。
【０１０１】
例えば、一例として、この帯域制限フィルタ４１３の周波数特性を図２２に示しているが、前述したように理想的な帯域制限を有するフィルタではないため折り返しによるモアレが発生する恐れがある。このような折り返しモアレを少なくするため、フィルタサイズは大きくなるが図２７に示すようなフィルタ係数を適用する場合を考える。その場合、図２８に示す対応するフィルタ係数の周波数特性をみると明らかなように、前記図２２と比べ、１５０ｌｐｉ以上の周波数特性値が小さい。
【０１０２】
更に、フィルタ係数のサイズを大きくしないで折り返しモアレを少なくしたい場合の帯域制限フィルタ４１３の係数例を図２９に示し、更に、そのフィルタ係数の周波数特性を図３０に示す。図３０に示したフィルタ係数の周波数特性は図２２と比較して、１５０ｌｐｉ以上の周波数成分は小さくなっているが、他方低周波数成分の周波数特性も小さくなっている。低周波成分は文字情報等を含むため、当該フィルタは文字モードには使えない。しかしながら文字よりも絵柄重視のユーザの場合、図２２の周波数特性を持つ帯域制限フィルタでは折り返しモアレが発生してしまうため、折り返しモアレが少ない図３０の周波数特性をもつ帯域制限フィルタが選択されるように設定する。
【０１０３】
このように、例に示したフィルタ係数以外にも、操作者（ユーザ）が操作部より選択する画質モードによってそのモードに適した帯域制限フィルタ、例えば文字モードが選択された場合には１５０ｌｐｉ以上の周波数は若干残存し、折り返しモアレも発生してしまうが文字情報を含む低周波数成分はきちんと残すような周波数特性を持つフィルタ係数が選択設定され、逆に絵柄重視の写真モードが選択された場合には、１５０ｋｐｉ以上の周波数成分はなるべく０に近付けるような特性を有し文字などの低周波数成分は考慮しないような周波数特性をもつフィルタ係数が選択設定されるよう構成すればよい。
【０１０４】
以下に本発明の第１３実施例の構成について説明する。第１３実施例による符号化装置は、図３１に示す如く、ブロック分割部５０５、ブロック再分割部５０６、画像変換部５０７、及び固定長符号化部５０９よりなる。これらの各部は上述した各実施例におけるものと同様であり、例えば図１５に示すブロック分割部３０１、ブロック再分割部３０６、画像変換部３０７、及び固定長符号化部３０９と夫々同様であり、重複する説明を省略する。
【０１０５】
図３２は上記画像変換部５０７と固定長符号化部５０９を更に詳細に示す図である。これらの構成も又上記各実施例の構成と同様であり、例えば図８に示す画像変換部２１３と固定長符号化部２１７の構成と同様である。ここで入力された画像データは高域フィルタ５１１と低域フィルタ５１２とで構成されている画像変換部５０７に入力される。高域フィルタ５１１の出力と低域フィルタ５１２の出力とに従って適用すべき符号化器５０１と符号化器５０２とが切り替えられる。
【０１０６】
符号化器５０１は網点で構成されている絵柄画像部用である。他方符号化器５０２は文字等で構成されているエッジ画像用である。連続階調を持つ絵柄は符号化器５０１で符号化（圧縮）することが望ましい。高域フィルタ５１１の出力が大きいブロックは文字等のエッジを多く含むブロックであるため、エッジの保存性の良い符号化器５０２で符号化を行う。他方低域フィルタの出力が大きいブロックは滑らかな網点又は連続階調で構成されているグレースケール画像であるため、網点の忠実な保存を行う符号化器５０１が用いられる。これら符号化器５０１，５０２の構成は上記各実施例におけるものと同様であり、詳細な説明は省く。
【０１０７】
符号化器５０２は上述の如く文字などで構成されているエッジ画像用であるため、画像変換部５０７からの変換結果からエッジであると判定されたブロックは、符号化器５０２で符号化される。符号化器５０２の符号化方法としては最大最小平均近似法を適用する。最大最小平均近似法について以下に説明する。
【０１０８】
まず当該ブロック内の最大値（Ｍａｘ）と最小値（Ｍｉｎ）とを求める。そしてＭａｘとＭｉｎとの平均値（ＴＨ＝（Ｍａｘ＋Ｍｉｎ）／２）を求める。そして、このＴＨ以上の画素値の平均値をＡ−ｈｉｇｈとし、ＴＨ以下の画素値の平均値をＡ−ｌｏｗとする。そして画素値がＴＨより大きい画素をＡ−ｈｉｇｈ、画素値がＴＨより小さい画素をＡ−ｌｏｗに夫々一律に置き換えることで符号化する。
【０１０９】
このように、２つの代表値Ａ−ｈｉｇｈとＡ−ｌｏｗとを求める際の閾値（ＴＨ）と符号の割り当てを行う閾値（ＴＨ）とは従来は同じ値である。図３３（a）に、エッジブロックと判定されたブロックを構成する画素の画素値データの例を示し、図３３（ｂ）には図３３（ａ）の画素値を上記最大最小平均近似法により符号化した例を示し、図３３（c）には図３３（ａ）と図３３（ｂ）を合わせてプロットしたグラフを示す。
【０１１０】
ここで図３３（ａ）のブロック内の画素値のＭａｘ値は１５３、Ｍｉｎ値は１２である。ＴＨはＭａｘ値とＭｉｎ値の平均値であるので（１５３＋１２）／２＝８２となる。Ａ−ｈｉｇｔはＴＨ＝８２以上の画素値の平均値であるので、
Ａ−ｈｉｇｈ＝（８９＋８９＋９６＋１５３＋１５３＋１５２＋１４３）／７となり、Ａ−ｌｏｗはＴＨ以下の画素値の平均値であるので
Ａ−ｌｏｗ＝（１４＋１２＋１７＋２４＋７８＋８１＋７２＋６４＋５４）／９
となる。
【０１１１】
画素値がＴＨ＝８２より大きい画素値はＡ−ｈｉｇｈ、画素値がＴＨより小さい画素値はＡ−ｌｏｗの値として符号化されるので、図３３（ａ）の画像データは図３３（ｂ）のように符号化される。濃いハッチングの部分はＡ−ｈｉｇｈ値であり、薄いハッチングの部分はＡ−ｌｏｗ値である。
【０１１２】
図３３（c）はこれらの画素値をプロットし、各画素がどちらの代表値で符号化されたかを示したものである。図３３（ｂ）と同じようにＡ―ｈｉｇｈ値で符号化された画素値を濃いハッチングで示し、Ａ―ｌｏｗ値で符号化された画素値は薄いハッチング値で示している。
【０１１３】
この例の場合、符号割り当て閾値ＴＨは上記の如く８２である。図３３（ｃ）をみると分かるように、画素値８１や７８は符号割り当て閾値ＴＨを僅かに下回るためＡ―ｌｏｗ値として符号化される。このような場合、これらの画素は復号化（圧縮伸張）の際に低い濃度の画素となり、結果的に線途切れ現象等が発生することがある。
【０１１４】
図３４にこの線途切れの例を示す。図３４（ａ）はスキャナ入力後の線画部の画像データを示し、、図３４（ｂ）は図３４（ａ）を上記処理で符号化した後に複合化した際に得られた画像データを示す。図中矢印で示している箇所に注目すると、これらの部分は１画素だけＡ―ｈｉｇｈ値として符号化され、その周りはＡ―ｌｏｗ値として符号化されている。これは上述したように、エッジブロックと判定されたブロック内でＡ―ｈｉｇｈ値かＡ―ｌｏｗ値かの符号割り当てを行う際、しきい値付近の画素が符号割り当て閾値を僅かに下回りＡ―ｌｏｗ値として符号化されてしまうことによって発生する現象であり、これにより線跡切れ等が発生する。
【０１１５】
これを解決する方法として、復号後の画像データに強いフィルタ処理を施すことによって線の途切れ等を補うことも考えられるが、そのような処理は画像の網点部等において逆に悪影響を及ぼすため、望ましくない。
【０１１６】
本発明の第１３実施例は上述した問題点を解決するため、エッジと判定されたブロック内において、上記符号割り当て閾値ＴＨからある所定のパラメータ値を減算して新たに第２の符号割り当て閾値を算出し、これを使用して符号の割り当てを行う。これにより、元々符号割り当て閾値より僅かに小さい値であったためにＡ―ｌｏｗ値（小さい値）として符号化され線途切れを発生していたが、本実施例の構成ではこれらの画素はＡ―ｈｉｇｈ値（大きい値）として符号化されるため、線途切れの発生を防止可能である。また、この方法によれば、非エッジと判定された箇所に対して悪影響を与えることはない。
【０１１７】
具体的にはエッジと判定されたブロックを符号化する際上記符号割り当て閾値から所定のパラメータ値を減算した値を実際の符号割り当てに使用する。その結果、線途切れを生じることなく文字部、線画部において良好な画像を得ることができる。
【０１１８】
更に、この変形例として、文字領域判定結果によって符号割り当て閾値から所定のパラメータ値を減算することにより、領域に適した符号化処理を実現することも可能となる。
【０１１９】
更に他の変形例として、操作者が操作部によって選択する画質モードによって符号割り当て閾値から減算する上記所定のパラメータ値を可変することによって操作者が望む良好な画質を得ることができる構成とすることも可能である。
【０１２０】
以下上記第１３実施例について詳細に説明する。上記最大最小平均近似法で用いる符号化割り当て閾値において、符号化割り当て閾値から所定のパラメータ値を減算して新たに第２の符号化割り当て閾値を算出し、算出された第２の符号化割り当て閾値によって符号化を行う本発明の第１３実施例による符号化装置について、図３５によって説明する。図３５は本実施例における符号化器５１５において上記符号化割り当て処理に使用される閾値を求める動作を説明するための図である。
【０１２１】
即ち、まず画像ブロック内の最大値（Ｍａｘ）と最小値（Ｍｉｎ）とを求める。そしてブロック内の最大値（Ｍａｘ）と最小値（Ｍｉｎ）とを足して２で割ったものを、代表値を求める際の第１の閾値ＴＨとする。
【０１２２】
ＴＨ＝（Ｍａｘ＋Ｍｉｎ）／２
そして、当該ブロック内のＴＨ以上の画素値の平均値を求めてＡ―ｈｉｇｈとし、ＴＨ以下の画素値の平均値を求めてＡ―ｌｏｗとする。次に、このＴＨから所定のパラメータ値Ｖａｌｕｅを引いたものを新たな第２の符号割り当て閾値ＴＨ２とする。
【０１２３】
ＴＨ２＝ＴＨ―Ｖａｌｕｅ
そして、このＴＨ２を用いて上記の符号割り当て処理を行う。即ち、画素値がＴＨ２より大きい画素の符号化データを一律Ａ―ｈｉｇｈとして符号化し、画素値がＴＨ２より小さい画素の符号化データを一律Ａ―ｌｏｗとして符号化する。
【０１２４】
このように、符号化の際の代表値Ａ―ｈｉｇｈとＡ―ｌｏｗとを求める際の閾値は従来と同じＴＨであるが、符号の割り当てを行う閾値として、このＴＨからある所定ののパラメータ値（Ｖａｌｕｅ）を減算して第２の符号の割り当て閾値（ＴＨ２）を算出し、このＴＨ２を使用して符号割り当てを行う。
【０１２５】
図３６（ａ）に図３３（ａ）と同一の、エッジブロックと判定された画素値データの例を示し、図３６（ｂ）に図３６（ａ）の各画素値を上記本発明の第１３実施例による最大最小平均近似法により符号化した例を示し、図３６（ｃ）に図３６（ａ）と図３６（ｂ）を合わせてプロットしたグラフを示す。
【０１２６】
この場合、図３３の場合同様、図３６（ａ）のブロック内の、Ｍａｘ値は１５３、Ｍｉｎ値は１２になる。ＴＨはＭａｘ値とＭｉｎ値の平均値であるので
ＴＨ＝（１５３＋１２）／２＝８２
Ａ―ｈｉｇｔはＴＨ＝８２以上の画素値の平均値であるので
Ａ―ｈｉｇｈ＝（８９＋８９＋９６＋１５３＋１５３＋１５２＋１４３）／７Ａ―ｌｏｗはＴＨ以下の画素値の平均値であるので
Ａ―ｌｏｗ＝（１４＋１２＋１７＋２４＋７８＋８１＋７２＋６４＋５４）／９
となる。
【０１２７】
次に符号割り当てを行うが、この際の符号割り当て閾値は
ＴＨ２＝ＴＨ―Ｖａｌｕｅ
とする。ここでＶａｌｕｅを１０とすると
ＴＨ２＝８２―１０＝７２
よって、新たに算出した第２の符号割り当て閾値は７２となる。
【０１２８】
その結果、画素値がＴＨ２＝７２より大きい画素の符号化値は一律Ａ―ｈｉｇｈとして符号化され、画素値が７２より小さい画素の符号化値は一律Ａ―ｌｏｗとして符号化される。その結果、図３６（ａ）の画像データは図３６（ｂ）のように符号化される。図３６（c）は画素値をプロットし、その画素がどちらの代表値で符号化されたかを異なるハッチングで示したものである。図３６（ｂ）と同じようにＡ―ｈｉｇｈ値として符号化された画素値を濃いハッチングで示し、Ａ―ｌｏｗ値として符号化された画素値を薄いハッチングで示している。
【０１２９】
図３６（ｃ）を見て分かるように、新たに算出した第２の符号割り当て閾値はＴＨ２＝８２―１０となるので、図３６（ｂ）で濃い線で囲った画素は図３３の例ではＡ―ｌｏｗ値として符号化されていたが、本発明の第１３実施例において新たに求めた符号割り当て閾値（ＴＨ２）を使用することによってＡ―ｈｉｇｈ値として符号化される。
【０１３０】
その結果、従来では符号割り当てを行う際に符号割り当て閾値より僅かに下回るためＡ―ｌｏｗ値として符号化され線途切れの原因となっていた画素が、本発明の第１３実施例においては上記符号割り当て閾値から所定のパラメータ値が減算されて求められた第２の符号割り当てしき値を使用することによってＡ―ｈｉｇｈ値として符号化されるため、線途切れ現象を防止可能である。
【０１３１】
又、図３７は上述の第１３実施例の第１の変形例であり、文字領域判定結果に従って、上記符号化割り当て閾値から所定のパラメータ値を減算して符号化を行う符号化装置について説明するための図である。このブロック図は図３５に示すものと同様であるが、ＴＨ及びＴＨ２のいずれかが選ばれるかは文字領域判定結果により決定される。
【０１３２】
文字領域判定については、網点画像と文字画像が混在する画像から文字領域を分離する方法であればよく、周知の方法を適用可能である。例えば、上記実施例における網点分離部による網点判定の結果網点でないと判断された場合に文字領域と判断する方法でもよい。文字領域判定結果が「文字」であるなら、ＴＨ２が選択され、「文字以外」なら、ＴＨが選択される。
【０１３３】
つまり、文字領域判定結果が文字判定ならば、符号割り当て閾値は、ＴＨ２が選択されるため、線途切れ現象が効果的に防止される。
【０１３４】
更に、本発明の第１３実施例の更に他の変形例として、符号化割り当て閾値から減算するパラメータ値を画質モードによって変更して符号化を行う符号化装置の例を図３８に示す。この場合、操作者が操作部よって選択する画質モードによって、符号割り当て閾値から減算するパラメータ値（Ｖａｌｕｅ）が変更される。表５に、画質モードとそのＶａｌｕｅ値との対応関係を示す。
【０１３５】
【表５】

即ち、文字モードが選択された際には出来るだけＶａｌｕｅ値を大きくして上記モード割り当て閾値を下げることにより、なるべく多くの画素がＡ−ｈｉｇｈ値として符号化されるようにして線の途切れ現象の発生を防止する。他方写真モードの際にはこのＶａｌｕｅ値を小さくする。
【０１３６】
その結果、文字の多い文書画像等の場合に効果的に線途切れ現象を防止可能であり、且つ、写真画像の際にその影響が及ばないようにして高画質な画像を再生可能とすることが可能である。
【０１３７】
尚、本発明の実施例は上記のものに限られず、本発明の思想に沿う様々な変形例が可能である。
【０１３８】
【発明の効果】
このように本発明によれば、入力画像の特性に応じて効果的な符号化、復号化方式を適用することにより、網点画像に関して起こりがちなモアレの発生を効果的に防止しながら且つ、入力画像の特徴を損なうことなく高画質の画像を再生可能である。
【図面の簡単な説明】
【図１】本発明の第１実施例による画像符号化及び復号化装置のブロック図である。
【図２】本発明の第１実施例におけるブロック分割、再分割動作を説明するための図である。
【図３】図１の構成における画像変換処理部の構成を示すブロック図である。
【図４】図１の構成における低域通過フィルタ、高域通過フィルタの各々の動作を説明するための図である。
【図５】図１の構成における符号化処理部の動作を説明するための図（その１）である。
【図６】図１の構成における符号化処理部の動作を説明するための図（その２）である。
【図７】本発明の第２実施例による符号化及び復号化装置の構成を示すブロック図である。
【図８】図７の構成における画像変換部と固定長符号化部の構成を示すブロック図である。
【図９】図８の符号器による符号化動作を説明するための図である。
【図１０】図７の構成における復号部の構成を示すブロック図である。
【図１１】図１０に示す復号器の復号動作を説明するための図である。
【図１２】本発明の第３実施例による符号化及び復号化装置における復号動作を説明するための図（その１）である。
【図１３】本発明の第３実施例による符号化及び復号化装置における復号動作を説明するための図（その２）である。
【図１４】本発明の第４実施例による符号化及び復号化装置における復号動作を説明するための図である。
【図１５】本発明の第６実施例による符号化装置の構成を示すブロック図である。
【図１６】本発明の第７実施例による符号化装置の構成を示すブロック図である。
【図１７】本発明の第７実施例による符号化装置の動作を示す動作フローチャートである。
【図１８】本発明の第８実施例による符号化装置の構成を示すブロック図である。
【図１９】本発明の第９実施例による符号化及び復号化装置の構成を示すブロック図である。
【図２０】本発明の第１０実施例による符号化装置の構成を示すブロック図である。
【図２１】図２０の構成における帯域制限フィルタの構成を示す図である。
【図２２】図２１の構成を有する帯域制限フィルタの特性を示す図である。
【図２３】本発明の第１１実施例による符号化装置の構成を示すブロック図である。
【図２４】理想的な帯域制限フィルタの一例の特性を示す図である。
【図２５】直線補間法について説明するための図である。
【図２６】本発明の第１２実施例による符号化及び復号化装置の構成を示すブロック図である。
【図２７】図２６の構成に適用可能なおける帯域制限フィルタの構成を示す図である。
【図２８】図２７の構成を有する帯域制限フィルタの特性を示す図である。
【図２９】図２６の構成に適用可能なおける他の帯域制限フィルタの構成を示す図である。
【図３０】図２９の構成を有する帯域制限フィルタの特性を示す図である。
【図３１】本発明の第１３実施例による符号化装置の構成を示すブロック図である。
【図３２】図３１の構成における画像変換部と固定長符号化部の構成を示すブロック図である。
【図３３】図３２の構成における符号化器の動作を説明するための図（その１）である。
【図３４】図３２の構成における符号化器の動作を説明するための図（その２）である。
【図３５】図３２の構成における符号化器の動作を説明するための図（その３）である。
【図３６】図３２の構成における符号化器の動作を説明するための図（その４）である。
【図３７】本発明の第１３実施例の第１の変形例を説明するための図である。
【図３８】本発明の第１３実施例の第２の変形例を説明するための図である。
【符号の説明】
２１３，５０７画像変換部
２１７，４０２，５０９固定長符号化部
４０３，４２１固定長復号化部
３０５，５０５ブロック分割部
３０６，５０６ブロック再分割部
３０１，４０１網点分離部

Claims

入力多値画像を複数のブロックに分割し、その部分のエッジ度によって各ブロックがエッジブロックか非エッジブロックかを判断する段階と、
エッジブロックと非エッジブロックとに対して異なる符号化方式を適用して符号化する段階と、
入力多値画像を、主に網点よりなる網点部とそれ以外の非網点部とに分離する段階とよりなり、
上記入力多値画像の各ブロックがエッジブロックか非エッジブロックかを判断する段階では、上記入力多値画像を網点部と非網点部とに分離する段階の分離結果と設定画質モードとに応じてその判断基準を制御し、その際、前記設定画質モードがエッジ情報が多く存在すると考えられる画質モードとされた場合には前記入力多値画像を網点部と非網点部とに分離する段階で網点部と判定された画像領域についてもエッジと判断されやすくなるように判断基準を制御し、エッジ情報があまり存在しないと考えられる画質モードとされた場合には前記入力多値画像を網点部と非網点部とに分離する段階で非網点部と判定された画像領域についても非エッジと判断されやすくなるように判断基準を制御する符号化方法。
入力多値画像を複数のブロックに分割し、エッジ度によって各ブロックがエッジブロックか非エッジブロックかを判断する段階と、
エッジブロックと非エッジブロックとに対して異なる符号化方式を適用して符号化する段階と、
入力多値画像を、主に網点よりなる網点部とそれ以外の非網点部とに分離する段階と、
上記各段階によって符号化されたデータを復号化する段階とよりなり、
上記入力多値画像を網点部と非網点部とに分離する段階の分離結果に応じてその符号化方式を制御し、
符号化されたデータを復号化する段階では、上記入力多値画像を網点部と非網点部とに分離する段階の分離結果に応じてその復号化方式を制御し、
前記符号化を行う段階では、非エッジブロックに対して画像データの周波数帯域を制限し、その際、設定画質モードによって適用する帯域制限フィルタのフィルタ係数を制御するものとし、前記設定画質モードとして文字モードが設定された場合には折り返しモアレが発生する所定値以上の周波数成分および文字情報に含まれる低周波成分を残すようなフィルタ係数を設定し、絵柄重視のモードが設定された場合には前記折り返しモアレが発生する所定値以上の周波数成分を０に近づけ文字情報に含まれる低周波成分を考慮しないフィルタ係数を設定し、
上記入力多値画像を網点部と非網点部とに分離する段階で網点部と判定された画像領域に対し前記帯域制限フィルタの適用後にダウンサンプリングを行い、非網点部と判定された画像領域に対し最大最小平均近似法を適用する構成の符号化及び復号化方法。
入力多値画像を複数のブロックに分割し、そのエッジ度によって各ブロックがエッジブロックか非エッジブロックかを判断する手段と、
エッジブロックと非エッジブロックとに対して異なる符号化方式を適用して符号化する手段と、
入力多値画像を、主に網点よりなる網点部とそれ以外の非網点部とに分離する手段とよりなり、
上記入力多値画像の各ブロックがエッジブロックか非エッジブロックかを判断する手段は、上記入力多値画像を網点部と非網点部とに分離する手段による分離結果と設定画質モードとに応じてその判断基準を制御し、その際、前記設定画質モードがエッジ情報が多く存在すると考えられる画質モードとされた場合には前記入力多値画像を網点部と非網点部とに分離する手段によって網点部と判定された画像領域についてもエッジと判断されやすくなるように判断基準を制御し、エッジ情報があまり存在しないと考えられる画質モードとされた場合には前記入力多値画像を網点部と非網点部とに分離する手段によって非網点部と判定された画像領域についても非エッジと判断されやすくなるように判断基準を制御する符号化装置。
入力多値画像を複数のブロックに分割し、そのエッジ度によって各ブロックがエッジブロックか非エッジブロックかを判断する手段と、
エッジブロックと非エッジブロックとに対して異なる符号化方式を適用して符号化する手段と、
入力多値画像を、主に網点よりなる網点部とそれ以外の非網点部とに分離する手段と、
上記手段によって符号化されたデータを復号化する手段とよりなり、
上記符号化する手段は、上記入力多値画像を網点部と非網点部とに分離する手段による分離結果に応じてその符号化方式を制御し、
符号化されたデータを復号化する手段は、上記入力多値画像を網点部と非網点部とに分離する手段の分離結果に応じてその復号化方式を制御し、
前記符号化を行う手段は非エッジブロックに対して画像データの周波数帯域を制限し、その際、設定画質モードによって適用する帯域制限フィルタのフィルタ係数を制御するものとし、前記設定画質モードとして文字モードが設定された場合には折り返しモアレが発生する所定値以上の周波数成分および文字情報に含まれる低周波成分を残すようなフィルタ係数を設定し、絵柄重視のモードが設定された場合には前記折り返しモアレが発生する所定値以上の周波数成分を０に近づけ文字情報に含まれる低周波成分を考慮しないフィルタ係数を設定し、
上記入力多値画像を網点部と非網点部とに分離する手段により網点部と判定された画像領域に対し前記帯域制限フィルタの適用後にダウンサンプリングを行い、非網点部と判定された画像領域に対し最大最小平均近似法を適用する構成の符号化及び復号化装置。