JP2832073B2

JP2832073B2 - 画像符号化装置

Info

Publication number: JP2832073B2
Application number: JP2147035A
Authority: JP
Inventors: 昭宏片山; 靖彦安田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-06-05
Filing date: 1990-06-05
Publication date: 1998-12-02
Anticipated expiration: 2013-12-02
Also published as: JPH0440074A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、画質の劣化を抑制しつつ入力画像を効率良
く符号化する画像符号化装置に関するものである。

〔従来の技術〕

従来、カラー画像を符号化する方法として、画像をブ
ロックに分割し、直交変換を施した後、その係数を量子
化・符号化するものが知られていた。

〔発明が解決しようとしている課題〕しかしながら、上記従来例では、直交変換後の係数を
量子化するため、高周波成分が失われ、エツジ部でリン
ギング（ringing）を起こし、最も使用頻度の高い黒文
字部（以下、黒文字部とは黒文字のみではなく黒線画像
等も含む）の品位が低下していた。

また、黒文字部の品位を向上させるために、黒文字部
とその他を分離して符号化することも考えられるが、黒
文字部を抽出するだけでは例えばスキヤナから読み込ま
れたような画像に対しては、その他の部分に黒文字の周
辺部分が含まれ、これがさらにエツジ部を形成し、この
部分が直交変換符号化の効率を低下させてしまう。

また、復号画像をYMCKの４色でハードコピーする場
合、黒文字部分を黒単色で印刷するための墨信号の作成
が必要となり、その手順が煩雑となる。

そこで本発明は、上述のような従来技術の欠点を除去
し、画質を高品位に保ちつつ、効率のよい画像符号化を
行うことのできる装置を提供することを目的とする。

〔課題を解決するための手段〕

上記課題を解決するために本発明の画像符号化装置に
よれば、入力多値画像における黒線画部を検出する検出
手段と、該検出手段により検出された黒線画部を拡張す
る拡張手段と、前記拡張手段により拡張された黒線画部
と該黒線画部以外の部分に対して、異なる符号化を行う
符号化手段を有することを特徴とする。

〔実施例〕

以下に説明する本発明の実施例においては、黒文字を
判定する手段と黒文字の周囲数画素の無彩色部分を検出
する手段とオリジナルの画像から黒文字部分と無彩色部
分を画素単位で差し引き、差し引いた部分は周囲の色の
平均値で置き換えを行う手段を持つ。ブロツク単位でエ
ツジの判定を行い、次に黒文字の判定を行う。そして両
者を同時に満たすブロツクを黒文字ブロツクとし、これ
を固定閾値で二値化する。これを画像全体に施し、黒文
字の面を作る。次に、黒文字を画素単位で考え、黒文字
を構成する画素の、例えば周囲８画素について無彩色性
を調べ、無彩色ならば黒文字の一部として考える。これ
を黒文字周囲の面として、黒文字の面とは別に考える。
オリジナルの画像から黒文字の面と黒文字周囲の面を画
素単位で差し引き、差し引いた部分は周囲の色の平均値
で置き換える。以上のようにして、黒文字の面と自然画
像の面を作る。

このようにして作成された黒文字画像の面と自然画像
の面をそれぞれ算術符号化、直交変換符号化を用いて符
号化し、コードデータを得る。

以下、図面を用いて説明する。

第１図は、本発明の実施例を示すブロツク図である。
10は画像入力装置、11はYCrCb変換部、12はエツジ強調
部、13はフレームメモリ、14はエツジ検出部、15は黒検
出部、16はセレクタ、17はフレームメモリ、18は算術符
号化部、19は無彩色判定部、20はフレームメモリ、21は
黒文字除去・平均値置換部、22はフレームメモリ、23は
直交変換符号化部、24は符号化データ送信部である。

画像入力装置10からのRGBデータ101は、YCrCb変換部
において、（１）式の変換が行われ、Y,Cr,Cb信号はエ
ツジ強調部12に、またCr,Cb信号は直接フレームメモリ1
3に格納される。

エツジ強調部12では、Ｙ信号のみに対してエツジ強調
が行われ、その結果がフレームメモリ13に出力される。
フレームメモリ13のデータは、Ｎ×Ｎ（ここではＮ＝４
としているが、後述する直交変換のブロツクサイズに合
わせるのがよい）のブロツク単位で読みだされ、エツジ
検出部14及び黒検出部15に入る。エツジ検出部14では、
入力されたＹ信号のみを使い、ブロツク内の最大値と最
小値の差がある一定値（ここでは８ビツト256レベルに
おけるレベル70に設定したが、この値に限らない）より
も大きければエツジが存在するとして、セレクタ16に切
り替え信号“1"を出力する。それ以外は“0"を出力す
る。またエツジ検出部14は、ブロツク内の全画素につい
て黒検出が行われるまで、切り替え信号を出力し続け
る。黒検出部15に入ったデータは、以下の式（２）
（３）を同時に満たす画素に対して信号“1"をセレクタ
に出力し、その他は“0"を出力する。

セレクタ16では、エツジ検出部14からの切り替え信号
によって、切り替え信号が“0"ならば信号301（＝
“0"）を、また切り替え信号が“1"ならば黒検出部15か
らの信号をフレームメモリ17に出力する。従って、エツ
ジの存在するブロツクでは、常に黒検出部15からの信号
がフレームメモリ17に出力され、エツジが存在しなけれ
ば信号301がフレームメモリ17に出力されることにな
る。以上の処理が終わると、フレームメモリ17には黒文
字として検出された画素が格納されたことになる。算術
符号化部18では、フレームメモリ17に格納された黒文字
パターンが算術符号化され、コードデータとして符号化
データ送信部24に出力される。本実施例では、黒文字パ
ターンの符号化手段として算術符号を用いたが、MH,MR,
MMRなどを用いてもよく、これに限らない。無彩色判定
部19では、フレームメモリ17に格納された黒文字に対し
て、その周囲の８画素について無彩色判定を行い、式
（３）（４）を満たす画素を無彩色の画素であるとして
フレームメモリ20に出力する。

Ｙ＜Ty3（＝200） …（４）黒文字除去・平均値置換部21では、フレームメモリ20
の信号値が“1"、つまり黒文字の一部であるならばフレ
ームメモリ13に格納されているオリジナル画像データの
対応する部分の値をクリアし、ブロツク内の画素値の平
均値で置き換える。直交変換符号化部23では、黒文字除
去・平均値置換回路21より出力されたデータに対して離
散コサイン変換（DCT）符号化が行われ、符号データが
符号化データ送信部24に出力される。

次に、本発明のポイントであるＹ信号エツジ強調部12
の説明を行う。

通常、文字の細かい部分をスキヤナから読み込むとエ
ツジがシヤープに再現できず、例えば明朝体の小さい文
字の隣接した二本の横棒が一本になったりする。エツジ
をシヤープに再現するために、エツジ強調を行うにも、
スキヤナから読み込まれた通常のRGBデータは、スキヤ
ナの精度やノイズのため、原稿が完全に黒であってもＲ
＝Ｇ＝Ｂとはならず、ばらつきがでる。従って、このRG
B信号をそれぞれの信号毎にエツジ強調すると、さらに
ばらつきが拡大され、黒文字の周辺で色ずれが起きて色
相が変化し、後述する黒文字検出の精度が低下するとい
う弊害が生じる。その結果、黒文字除去後の画像にエツ
ジが残ったままとなり、この部分が直交変換の符号化効
率を低下させてしまう。そこで本実施例においては、黒
文字部（無彩色部）の色バランスを崩さずにエツジ強調
をするために、輝度（Ｙ）信号のみを用いて、注目画素
が（３）式を満たす場合のみエツジ強調を行う（（５−
Ａ）式）。満たさない場合は、（５−Ｂ）式のように何
も行わない。またノイズの強調を防止するため第２図
（ｂ）に示すように、フイルタ出力値Ｆの絶対値がTe
（＝30）以下ならばエツジ強調を行わない（（５−Ｄ）
式）。ここでＹ（i,j）は注目画素を示し、ｋはエツジ
の強調度をコントロールする係数である。ここではｋ＝
１としたが、これに限らない。例えば、ｆ（Ｆ）の値に
比例させてもよい。また第２図（ａ）は、（５−Ｃ）式
で表される画素の配置を示している。

このようなエツジ強調を行うことにより、従来問題に
なっていた各色のばらつきの拡大を抑えることができ、
黒文字部のエツジがシヤープになり、いままで黒くつぶ
れていた部分も鮮明に再現することができる。

第３図（ａ）は、紙に書かれた黒文字を示す図で、第
３図（ｂ）はスキヤナから読み込まれた黒文字の断面の
濃度分布を示したものである。通常スキヤナから読み込
まれた画像は、第３図（ｂ）のようにエツジの部分がな
だらかになっている。これを固定閾値Ｔ（＝50）で二値
化した場合、第３図（ｃ）のようになり、これをオリジ
ナルの画像から差し引くと第３図（ｄ）のようになる。
第３図（ｄ）の斜線部をみると分かるように、黒文字を
除去した画像中に再びエツジが発生しており、これを直
交変換符号化すると符号化効率が著しく下がる。第３図
（ｄ）のエツジ部分は画質の点からみても不用な部分で
あり、この部分をカラー画像中から取り除き、ブロツク
内の画素値の平均値で置き換えるのが本実施例の特徴の
１つになっている。つまり、黒文字の周辺部をブロツク
内の平均値で書き換えることにより、ブロツク内の起伏
を小さくすることができ、直交変換を行ったときの符号
化効率を向上させることができる。なお、平均値での置
換に限らず最も頻度の多い値に置き換えること或いはメ
デイアンフイルタを用いてブロツク内画素の中央値に置
き換えることも可能である。

第４図（ａ）、第４図（ｂ）、第４図（ｃ）は無彩色
判定部19の動作を説明するための図である。第４図
（ａ）の斜線部はフレームメモリ17に格納されている黒
文字を示したものであり、＊は注目している黒文字の画
素を示している。＊を中心とした３×３の囲みは、＊を
注目画素とした場合の無彩色判定領域に当たる部分であ
る。第４図（ｂ）の斜線部は、実際に＊の画素を注目画
素とし、オリジナル画像に対して無彩色と判定される領
域であり、第４図（ｃ）の斜線部は最終的に黒文字とそ
の周囲の無彩色部分であると判定された領域である。こ
の判定領域信号を得るために、３×３ブロツク内のORが
とられる。即ち、注目画素を含む３×３ブロツク内に少
なくとも１つ無彩色画素があれば当該注目画素を無彩色
部と判定する。この第４図（ｃ）の斜線部がフレームメ
モリ20に格納されることになる。ここでブロツクサイズ
は３×３に限らず５×５、７×７としてもよい。

第５図は、黒文字除去・平均値置換部21を説明するた
めの図である。この第５図のように、例えば、あるブロ
ツクの黒文字とその周辺無彩色部分（升目の塗りつぶさ
れた部分）がフレームメモリ20に格納されているとす
る。例えば第５図において黒く塗りつぶされた画素は10
画素あり、黒文字除去・平均値置換部21において、この
10画素がブロツク内の残り６画素の平均値で置き換えら
れる。つまり、第５図の白い部分に対応する６画素のＹ
信号の平均値及びCr信号の平均値及びCb信号の平均値を
求め、第５図中の黒い部分に対応する10画素のＹ信号、
Cr信号、Cb信号にしてしまう。この処理を、第６図のフ
ローチャートを用いて説明する。

まず、フレームメモリ17に格納された黒文字データの
それぞれの画素に対して、その画素の８近傍の画素の無
彩色判定を行う（S1）。この判定は、（３）（４）式を
同時に満たすか否かで行われる。そして、その判定が無
彩色であるならば、フレームメモリ20の対応する位置に
“1"を書き込む（S2）。但し、初期状態としてフレーム
メモリ20の内容はすべて“0"となっている。全ての画素
について上記の処理が終了したら、次にＮ×Ｎ（ただ
し、Ｎ＝４）のブロツク単位にオリジナルデータ（フレ
ームメモリ13）とフレームメモリ20のデータを取り込む
（S4）。取り込まれたフレームメモリ20のデータにおい
てその値が“0"である画素について、Y,Cr,Cb、それぞ
れの平均値を求める（S5）。そして取り込まれたフレー
ムメモリ20のデータで“1"である画素について、S5で求
めたY,Cr,Cbそれぞれの平均値をその画素のデータと
し、フレームメモリ22に格納する（S6）。そして全ての
ブロツクに対して上記S4〜S6の処理を終えるまで繰り返
す。以上の処理が終わった結果、フレームメモリ22に
は、黒文字に相当する部分に対しては平均値で置き換え
られた値が、そしてそれ以外の部分に対してはオリジナ
ルデータの値が格納されていることになる。

次に、直交変換符号化部23における処理を説明する。
黒文字とその周辺無彩色部分をブロツク内の平均値で置
き換えした画像データ（フレームメモリ22）に対し、直
交変換符号化部23において、４×４ブロツクの２次元離
散コサイン変換を行い、その変換係数を得る。このと
き、Ｙ信号に対してはそのまま４×４のブロツクで直交
変換を行い、Cr,Cb成分に対しては、圧縮効率を上げる
ため、２×２ブロツク内の平均値をとり、それぞれ1/2
にサブサンプリングし、サブサンプリングされたデータ
に対して新たに４×４のブロツクに区切り、直交変換を
行う。ここで、色成分（Cr,Cb）のみサブサンプリング
するのは、輝度成分（Ｙ）に比べて、人間の視覚に対し
て劣化が目立たないからである。得られた変換係数は例
えば第７図（ａ）に示すような量子化テーブルによって
量子化される。一例としてオリジナルデータを変換して
得られた変換係数を第７図（ｂ）に示し、第７図（ａ）
によって量子化された係数を第７図（ｃ）に示す。

具体的には、第７図（ｂ）の変換係数の各々をマトリ
クス上で対応する第７図（ａ）の量子化テーブルの成分
で割り算し、小数点以下を切り捨てることにより第７図
（ｃ）に示す量子化データが得られる。直交変換符号化
は、第７図（ｃ）のように量子化された係数をジグザク
スキヤンし、ハフマン符号化することにより構成され、
符号データとして符号化データ送信部24に送られる。

なお、上記手順は第８図のフローチヤートに基づき、
コンピユータのソフトウエアにより行うこともできる。

符号化データ送信部24においては、最初に黒文字のパ
ターン符号が送信され、次に、Y,Cr,Cbの符号データが
面順次に送信される。各面の送信に先だって、そのデー
タがどの成分であるかを示すフラグが送信される。

以上のように、黒文字パターンを合わせて符号化する
ことで、黒文字の品位を保つことができ、黒文字をオリ
ジナルデータから分離する際に、その周囲の部分をも含
め、黒文字部分をブロツク内の平均値で置き換えること
により、直交変換符号化の効率を向上させることができ
る。

第９図は、符号データを復号する部分のブロツク図で
ある。

符号データ受信部31において受信された符号データの
うちパターン符号は、黒文字パターン復号部33に於いて
黒文字のパターン情報として復号化され、フレームメモ
リ35に格納される。

一方、直交変換符号は、直交変換復号化部32に於い
て、符号化と全く逆の手順で復号化が行われる。すなわ
ちまず、量子化された変換係数情報を復号し、次に第７
図（ａ）と同じ量子化テーブルの各成分をこの変換係数
に乗算し、逆量子化を行い変換係数を求める（第10
図）。これに２次元の逆離散コサイン変換を施し、得ら
れた画像をフレームメモリ34に格納する。Y,Cr,Cbのデ
ータがすべてそろった後に、Cr,Cbデータについては1/2
にサブサンプリングされた状態になっているので、単純
補間や線形補間等を用いてオリジナルデータと同じデー
タサイズにもどす。そして画素毎にY,Cr,Cbのデータを
読みだし、YCrCb−RGB変換部36において、画素毎にR,G,
Bのデータに復元する。この変換を（６）式に示す。

ここで復元されたデータの黒文字部の画素値について
は、所定のブロツク内の平均値に置き換えられている
が、合成部37においてフレームメモリ35から読みだされ
た黒文字データに応じてそのレベルを零とする。即ち黒
文字部の画素は他の色成分R,G,Bの値を零とし、完全に
黒にする。かかる処理を行ったr,g,bデータが画像出力
部38に送られる。一方、１ビツトの黒文字データは同時
に１ビツトのBKデータとして画像出力部38に送られる。

画像出力部38は、例えば、レーザービームプリンタ、
インクジエツトプリンタ、サーマルプリンタ、ドツトプ
リンタなどにより構成される。プリントの際には、r,g,
bデータに対しRGB−YMCの変換が行われるが、黒文字部
の画素はＲ＝Ｇ＝Ｂ＝０となっているのでＹ＝Ｍ＝Ｃ＝
０となり、UCRがすでに実現されているので、UCR、墨入
れといった通常のカラーハードコピーに必要な手順が省
略できるという、とりわけ優れた効果を奏する。すなわ
ち、ハードコピー時は、黒文字のパターンの信号を墨信
号とすれば、余分な処理を行わずに、黒文字の黒単色処
理ができ、黒文字の品位が向上する。

以上のように本発明の上記実施例によれば、輝度
（Ｙ）信号を用いて色バランスを崩さずに無彩色部分の
みエツジ強調することにより、画像入力時につぶれぎみ
に読み込まれた黒文字の細部をシヤープに再現すること
ができ、これにより、黒文字パターンの検出精度が向上
する。

さらに本実施例によれば入力画像の黒文字部分を検出
し、これを別に符号化するようにしたので、第１に画像
のエツジ部、特に黒文字部分をパターン化し、階調画像
部とは別に符号化することにより、高品位を保ちながら
符号化効率を向上させることができる。即ち階調画像に
対しては階調画像の符号化に適する直交変換符号化を用
い、直交変換符号化により高周波成分が失われるという
欠点を補うために、エツジ部、特に最も使用頻度の高い
黒文字部に対しては、そのパターンをエントロピ符号が
することによりringingを防止し、黒文字部を高品位に
再現することができる。

また第２に、黒文字部に加え、黒文字部の周囲の無彩
色部分も階調画像から削り取り、ブロツク内の平均値で
置き換えることにより、直交変換符号化の効率が格段に
向上し、直交変換符号化のみの場合よりも少ないデータ
で符号化することができる。

更に、第３に黒文字部のパターン情報をそのまま墨信
号として用いることにより、黒文字部をY,M,Cの着色剤
の組合せにより印字する場合に生じる色ずれを防止でき
ると共に、通常、カラーハードコピーに必要とされるUC
R、墨入れの手順を省略し、回路構成を簡略化すること
ができる。特に例えば複写機に有効である。

このように、本実施例によれば、直交変換符号化のみ
によっては得られない、優れた効果を得ることができ
る。

なお、上記実施例に於いて各フレームメモリの書き込
み、読みだしのアドレス制御は不図示のCPUにより行わ
れる。

また、本実施例で与えている数値は、その値に限るも
のではない。

また、画像入力部は、CCDのラインセンサに限らず、C
CDのエリアセンサ等を用いたTVカメラ、スチルビデオカ
メラや、コンピユータからの画像出力を入力するインタ
ーフエースであってもよい。また、入力される色成分信
号もRGBに限らず、YMCやＬ^＊ａ^＊ｂ^＊,YIQ,YUV等であっ
てもよい。

また、黒検出部15の構成は上記実施例に限らない。例
えば、他の黒検出の方法として、RGB信号を直接用いて
行う方法もある。この場合、以下の条件を満たすように
設計すればよい。

（１）全体的にレベルが低い。

R,G,B＜Ty（Ty＝50）（２）R,G,B各色のレベル差が小さい（無彩色に近
い）。

|R−G|＜Tc（＝30） |G−B|＜Tc |B−R|＜Tc 但し、ここではTy＝50,Tc＝30としているが、Ty,Tcの
値はこれに限らない。

また、上記実施例では直交変換符号化を行う際に、輝
度成分Ｙと、色度成分Cr,Cbに変換したが、輝度成分Ｌ
^＊と色度成分ａ^＊,b^＊に変換しても同様の効果が得られ
る。

また、色度成分のサブサンプリングを省略し、そのま
ま直交変換符号化しても、R,G,Bの各色成分に対して別
々に直交変換符号化を行ってもよい。

また、直交変換としてはDCTに限らず、アダマール変
換や離散サイン変換等を用いてもよい。

また、黒文字部パターンの符号化は、MH,MR,MMRや静
的あるいは動的な算術符号などの２値データ符号化に適
したものを用いることができる。

また、符号化データ送信部は符号化パターンを１画面
分送り、次にY,Cr,Cbの面順次に直交変換符号化を行う
ことにしたが、各面の送信順序はこれに限らない。ま
た、Y,Cr,Cbをパラレルに直交変換符号化し、Y,Cr,Cbの
各成分と、符号化パターンをパラレルに送信するように
してもよい。この場合にはフレームメモリを省略するこ
とができ、回路構成が簡単になる。

また、上述の実施例においては、輝度成分のみに対し
てエツジ強調を行ったが、第１図（ｂ）に示す様に、上
記（３）式の彩度判定を行う彩度判定部25を別に設け、
エツジ強調前のCr,Cb信号を用いて判定し、黒検出部15
にその判定信号を送る様な構成にすることにより、エツ
ジ強調を色度成分を含むすべての成分に対して行うこと
もできる。

同様の考え方から、R,G,B信号に対してエツジ強調を
行ってもよい。

また黒線画部の典型例として黒文字を用いて説明した
が、文字に限らず、細線のうち黒いものなどが含まれる
のは勿論である。

また、黒線画部は、例えば濃紺や灰色など多少色彩が
相違する線画部であってもよい。

〔発明の効果〕

以上説明したように、本発明によれば、画質の劣化を
抑制しながら、効率のよい画像データの圧縮を行うこと
ができる。

【図面の簡単な説明】

第１図は、本発明の実施例の画像符号化装置の符号化部
のブロツク図、第２図は、エツジ強調部の動作を説明するための図、第３図は、スキヤナから読み取った画像の様子および入
力画像から黒文字部を差し引く様子を示す図、第４図は、黒文字部周囲の無彩色部分を検出する様子を
示す図、第５図は、フレームメモリ20に格納されているデータの
一例を示す図、第６図は、黒文字周辺部の無彩色判定と平均値置き換え
の処理の流れを示すフローチヤート、第７図は、量子化係数、変換係数、変換係数を量子化し
た結果の一例を示す図、第８図は、直交変換符号化のアルゴリズムを示すフロー
チヤート、第９図は、本発明の実施例の画像符号化装置の復号化部
のブロツク図、第10図は、第７図（ｃ）の係数部を逆量子化した係数を
示す図である。 12……エツジ強調部 15……黒検出部 18……算術符号化部 19……無彩色判定部 21……黒文字除去・平均値置換部 23……直交変換符号化部

Claims

(57)【特許請求の範囲】

【請求項１】入力多値画像における黒線画部を検出する
検出手段と、該検出手段により検出された黒線画部を拡張する拡張手
段と、前記拡張手段により拡張された黒線画部と該黒線画部以
外の部分に対して、異なる符号化を行う符号化手段を有
することを特徴とする画像符号化装置。
【請求項２】前記検出手段は、エッジ判定と色成分判定
により前記黒線画部を検出することを特徴とする請求項
（１）に記載の画像符号化装置。
【請求項３】前記符号化手段は、前記拡張手段により拡
張された黒線画部の画像として、前記入力多値画像を変
換した多値画像を符号化すると共に、前記入力多値画像
に基づく２値画像を符号化することを特徴とする請求項
（１）に記載の画像符号化装置。
【請求項４】前記符号化手段は、前記拡張手段により拡
張された黒線画部以外の部分の画像として、前記入力多
値画像を符号化すると共に、所定の２値画像を符号化す
ることを特徴とする請求項（１）に記載の画像符号化装
置。