JP3376129B2 - 画像処理装置及びその方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像処理装置およびその
方法に関し、二色領域および多色領域が混在するカラー
画像の符号化に関する。

【０００２】

【従来の技術】従来、文字や写真等が混在する画像を符
号化する方法として、画像をその特性ごとに矩形領域で
切り出し、各領域ごとに、その特性にあった符号化方
式、例えば、文字領域については、いわゆるＭＭＲ等の
２値符号化、写真領域は、いわゆるＪＰＥＧの適応的離
散コサイン変換（ＡＤＣＴ）符号化でそれぞれ符号化を
行なうものがある。

【０００３】また、従来、画像データ内の文字や線画領
域を２値化して符号化し、そして、その符号化データを
復号化した後、多値情報（例えば、０〜２５５の２５６
階調）として出力する場合、２値化した結果が０となる
画素の値として２５５を、また、２値化した結果が１と
なる画素の値として０を定義して、ディスプレイや出力
機器等から多値情報として出力する技術が知られてい
る。

【０００４】

【０００５】

【０００６】

【発明が解決しようとする課題】二値化した文字や線画
領域を「0」および「255」の二値で定義する方法は、多
値出力すると文字や線画部分が不自然になり、色が薄い
文字や色文字なども黒文字や限定された色になってしま
う問題がある。

【０００７】近年、一様な色地（例えば緑色など）の背
景に、他の色（例えば赤色など）で文字やロゴが配置さ
れたようなカラー画像も多用されるようになった。この
ような下地色および他の一色の二色で構成される領域を
有する画像の二色領域は、従来、カラーの多値画像とし
て扱われるため、そのデータ量が大量になったり、符号
化/復号によって画質劣化を生じるという問題がある。

【０００８】本発明は、上述の問題を解決するためのも
ので、画像の二色領域の符号量を低減し、符号化/復号
による画質劣化を防ぐことを目的とする。

【０００９】また、二色領域の復号に際して、原画にで
きるだけ忠実な色の画像再現を他の目的とする。

【００１０】

【００１１】

【課題を解決するための手段】本発明は、前記の目的を
達成する一手段として、以下の構成を備える。

【００１２】本発明にかかる画像処理装置は、二色領域
および多色領域が混在するカラー画像を符号化する画像
処理装置であって、前記カラー画像の各色成分の分布特
性に基づき、前記二色領域および多色領域を判定する判
定手段と、前記カラー画像を、前記二色領域および多色
領域の重複部分の存在を許して、複数の部分領域に分割
する分割手段と、前記重複部分を、代わりの画素データ
で埋めた多値画像を生成する画素補間手段と、分割され
た各部分領域の位置および大きさ、並びに、前記重複部
分において前記二色領域の上に前記多色領域が貼り付い
ているのか、前記多色領域の上に前記二色領域が貼り付
いているのかを示す階層情報を含む構造化情報を生成す
る生成手段と、前記二色領域に対応する各部分領域を二
値化して二値符号化した符号と、前記二値化の結果の二
値それぞれに対応する代表色データとを、前記二色領域
に対応する各部分領域の符号化データとする第一の符号
化手段と、前記画素補間手段によって得られる多値画像
を多値符号化する第二の符号化手段と、前記構造化情
報、並びに、前記第一および第二の符号化手段によって
得られる符号化データを前記カラー画像の符号化データ
として出力する出力手段とを有することを特徴とする。

【００１３】本発明にかかる画像処理方法は、二色領域
および多色領域が混在するカラー画像を符号化する画像
処理方法であって、前記カラー画像の各色成分の分布特
性に基づき、前記二色領域および多色領域を判定し、前
記カラー画像を、前記二色領域および多色領域の重複部
分の存在を許して、複数の部分領域に分割し、前記重複
部分を、代わりの画素データで埋めた画素補間多値画像
を生成し、分割された各部分領域の位置および大きさ、
並びに、前記重複部分において前記二色領域の上に前記
多色領域が貼り付いているのか、前記多色領域の上に前
記二色領域が貼り付いているのかを示す階層情報を含む
構造化情報を生成し、前記二色領域に対応する各部分領
域を二値化して二値符号化した符号と、前記二値化の結
果の二値それぞれに対応する代表色データとを、前記二
色領域に対応する各部分領域の符号化データとし、前記
画素補間多値画像を多値符号化し、前記構造化情報、並
びに、前記各部分領域および前記画素補間多値画像の符
号化データを前記カラー画像の符号化データとして出力
することを特徴とする。

【００１４】

【実施例】以下、添付図面を参照して、本発明に係る好
適な実施例を詳細に説明する。

【００１５】図１は、本発明の実施例に係る画像処理装
置を構成する画像符号化装置のブロック図である。同図
において、符号１１は、本装置に対する画像の入力装
置、１２は、入力された、少なくとも１画面分の画像を
格納するためのフレームメモリ、１３は、後述する画像
領域を判定するための領域判定回路、１４は、後述する
符号化方法に従って画像を符号化する画像符号化手段、
１５は符号メモリ、そして、１６は、符号化データの通
信・蓄積等を行なう出力装置である。

【００１６】また、図２は、図１に示す領域判定回路１
３及び画像符号化手段１４の内部構成を示すブロック図
である。同図に示すように、２１は、記憶装置として機
能するフレームメモリ、２２は、領域判定回路１３での
領域判定結果が入力される領域判定メモリ、２３は符号
化法判定回路である。また、２４は、画像データについ
て、そのＲＧＢ成分をＹ成分に変換するためのＲＧＢ→
Ｙ変換回路、２５は２値化回路、２６は、後述する、画
素の代表色値を算出する代表値算出回路、２７は、ＪＢ
ＩＧ(Joint bi-level Image Group)等の符号化を行なう
２値符号化回路、２８は、ＪＰＥＧ(Joint Photographi
c Expert Group)等の符号化を行なう多値符号化回路で
ある。

【００１７】なお、２９は、図１において符号１５で表
記される符号メモリを示す。また、３０は、符号化法判
定回路２３に含まれる領域整形回路である。 ＜画像符号化装置の説明＞以下、本実施例に係る画像処
理装置の画像符号化装置について説明する。

【００１８】図１に示す入力装置１１に画像が入力さ
れ、それが、フレームメモリ１２に格納される。次に、
領域判定回路１３にて、フレームメモリ１２内の入力画
像データを、図４に示すように、画像特徴ごとに矩形領
域に分割後、その構造化情報を、図２の領域判定メモリ
２２に記述する。

【００１９】図１の領域判定回路１３、すなわち、図２
の符号化法判定回路２３で実行される領域判定方法は、
例えば、入力画像データを１６×１６画素のブロックに
分割し、各ブロックごとのデータに対して、Ｒ，Ｇ，Ｂ
それぞれのヒストグラムを取って、それぞれのヒストグ
ラムが、２つの山を持つような分布特性を示すブロック
は２色領域、また、ヒストグラムがばらけている（分散
している）ブロックは多値領域と判定する。

【００２０】このように得られた判定結果に対して、符
号化法判定回路２３に含まれる領域整形回路３０にて、
同じ特性を持つブロックのかたまりを同一領域とし、領
域判定メモリ２２に、その領域の位置や大きさ等を表わ
す構造情報として記述して、画像データを、図４に示す
ような形式で表現する。

【００２１】図５は、自然画領域の上に文字領域が重な
っている画像の例を示すもので、このような場合、従来
の処理方法では、文字領域も含めた自然画領域全体を自
然画領域として扱っているため、文字の劣化が発生した
り、符号量が増大するという傾向がある。

【００２２】しかし、本実施例に係る装置では、これら
の領域の重ね合わせを許し、図６に示すように、階層的
に矩形領域を指定して構造化ができるようにしている。

【００２３】具体的には、文字領域が切り出された自然
画領域（図６の画像６２）については、領域整形回路３
０により、図６に示すように、文字領域に対応する領域
を白色にして、後段の、ＪＰＥＧのいわゆるＡＤＣＴ(A
daptive Discrete Cosine Transform)等の多値符号化を
行なう多値符号化回路２８にて多値の符号化処理を行な
う。ＡＤＣＴでは、所定の２次元ブロック単位で直交変
換を行ない量子化することにより、多値データを効率良
く符号化する。非可逆符号化とすることで、符号化効率
を良くすることができる。あるいは、文字領域に対応す
る領域を、その周辺画素値で埋めて（補間して）符号化
処理を行なう。

【００２４】なお、このような領域の重ね合わせの場
合、文字領域に対応する領域を、その周辺画素値で埋め
て符号化処理を行なう方が、画質への悪影響が少なくて
済む傾向にある。

【００２５】そして、上記のような領域の重ね合わせの
場合、図４に示すような構造化情報に、重なり合う領域
間の関係を示す階層情報をつけ加える。例えば、図５に
示すような画像の場合、「自然画領域の上に文字領域が
重なっている」というような情報を付け加える（図６に
おける「階層情報」参照）。

【００２６】次に、画像符号化手段１４では、このよう
にして得られた各領域ごとに、その領域の特性に合わせ
て、独立に符号化の処理を行なう。

【００２７】まず、文字や線画、グラフ等の２色領域に
ついては、ＲＧＢ→Ｙ変換回路２４において、領域の画
像データから、ＲＧＢ成分をＹ成分に変換して輝度成分
（Ｙ）を算出し、この輝度成分（Ｙ）に対して、２値化
回路２５で２値化処理を行なう。なお、この２値化処理
に用いられるしきい値については、輝度成分（Ｙ）のヒ
ストグラムを用いて算出するか、あるいは、本装置のユ
ーザが、ディスプレイ８１と操作部８２を用いて対話的
に決定してもよく、その方法に特に制限はない。また、
上記の２値化の前処理として、画像のエッジ強調処理等
を行なってもよい。

【００２８】代表色値算出回路２６は、上記のごとく得
られた２値化結果を用いて、２値化結果が０になる画
素、及びそれが１になる画素の、各Ｒ，Ｇ，Ｂの代表値
を算出する。具体的な代表色値の算出方法については、
例えば、２値化結果が０になる画素の各Ｒ，Ｇ，Ｂの平
均値、２値化結果が１になる画素の各Ｒ，Ｇ，Ｂの平均
値、あるいは、ヒストグラムが最大になる値を用いても
よく、その求め方には、特に制限はない。

【００２９】図７は、ある領域の２値化結果と、その領
域の代表色値を示す図である。ここで、当該領域が白黒
の２色の場合、その領域の代表色値として、ＲＧＢでは
なく、輝度成分（Ｙ）の２値化結果が０及び１になる画
素のそれぞれの平均値を充ててもよい。また、図８に示
すように、例えば、ディスプレイ８１に表示されたカラ
ーサンプルから選択する等、本装置のユーザが、ディス
プレイ８１と操作部８２を用いて対話的に任意の色を代
表色値に指定するようにしてもよい。

【００３０】そして、このようにして得られた２値化結
果には、例えば、ＪＢＩＧ符号化、ＭＭＲ符号化等の２
値データの符号化方法を用いた符号化処理が行なわれ、
この符号化データと、代表色値算出回路２６によって算
出した代表値データとを、当該領域の出力データとして
符号メモリ１５（２９）に出力する。ここで、ＪＢＩＧ
符号化、ＭＭＲ符号化は、ライン単位の可逆符号化方法
である。

【００３１】次に、本実施例における自然画等の多色領
域の符号化について説明する。

【００３２】本実施例では、多色領域のデータに対して
は、ＪＰＥＧ符号化等の多値データの符号化方式を用い
て符号化を行ない、得られた符号化データを、当該領域
の出力データとして符号メモリ１５（２９）に出力す
る。

【００３３】そして、本装置は、各領域の符号化データ
及び代表色値データ（２色領域のとき）と、領域判定時
に得られた構造化情報を、入力画像データに対する出力
データとして、例えば、不図示の送信機や画像ファイル
等の出力装置１６にて出力する。

【００３４】図９は、本実施例に係る画像符号化装置か
らの出力データの構成を示す図である。ここでは、９１
のように領域の位置関係や領域の特性を示す構造化情報
として、例えば、図４に示すような情報が入り、その次
に、図９の９２のような代表色値データが入る。そし
て、代表色値データのあとに各領域ごとの符号化データ
が並ぶという構成をとる。

【００３５】各領域の符号データの前に符号化方式の識
別情報、例えば、いわゆるＪＢＩＧの適応的動的算術符
号化方式（以下、ＪＢＩＧ符号化という）：０，ＭＭＲ
符号化方式：１，…、を付加することにより、それをも
とに複数種の符号化方式を切替えて使用することが可能
となる。なお、本実施例において、出力データの構成に
ついては、特に制限はない。 ＜画像復号化装置の説明＞以下、上記出力データを入力
して、それを復号化する画像復号化装置について説明す
る。

【００３６】図３は、本実施例の画像処理装置を構成す
る画像復号化装置を示すブロック図である。同図におい
て、３１は、入力された符号化データの受信、読取り、
あるいは、光磁気ディスク等の外部記憶装置からのデー
タ検索入力等を行なうための入力装置、３２は符号メモ
リ、３３は、所定の復号化を実施するための画像復号化
手段、３４はフレームメモリ、そして、符号３５は、画
像の表示やプリントアウトを行なうディスプレイ、プリ
ンタ等の出力装置である。

【００３７】図１０は、図３に示す画像復号化手段３３
の内部構成を示すブロック図である。同図に示す符号メ
モリ３２には、図３に示す入力装置３１より受信、もし
くは外部記憶装置（不図示）等より読み出された符号デ
ータが格納され、符号化方式識別回路４１は、符号デー
タに付与されている構造化情報等の識別情報を解読す
る。また、４２は、２値画像符号化データを復号化する
ための２値符号・復号回路、４３は、復号化された２値
画像を多値画像に変換する２値→多値変換回路、４４
は、多値画像符号化データを復号化する多値符号・復号
回路である。なお、３４は、図３に表記したフレームメ
モリ３４と同一なメモリである。

【００３８】そこで、画像復号化手段３３で実行される
画像復号化処理について説明する。

【００３９】まず、ＪＢＩＧ符号化やＭＭＲ符号化等の
２値符号化方法で符号化されたデータについては、符号
化方式識別回路４１において、その符号化方式の識別情
報等を解読して、指定された符号化方法に対応する復号
化処理を行ない、２値画像データを得る。そして、得ら
れた２値画像データを、符号化データに付与されて入力
された当該領域の代表色値を用いて、２値→多値変換回
路４３で、その代表色による２値→多値変換処理にて、
２値画像を多値画像に変換する。

【００４０】この多値変換について、図７に示す代表色
値を用いて説明する。

【００４１】すなわち、図７に示すように、２値画像デ
ータの値が１の各画素には、（Ｒ，Ｇ，Ｂ）＝（１０
０，２００，５０）を、２値の値が０の各画素には、
（Ｒ，Ｇ，Ｂ）＝（０，５０，２００）を対応させて、
画像の多値変換を行なう。

【００４２】ここで、領域の代表値として輝度成分
（Ｙ）が入力された場合には、当該領域は白黒２値領域
とし、例えば、２値画像データの値が１の画素には、
（Ｒ，Ｇ，Ｂ）＝（Ｙ１，Ｙ１，Ｙ１）を、２値画像デ
ータの値が０の画素には、（Ｒ，Ｇ，Ｂ）＝（Ｙ０，Ｙ
０，Ｙ０）を対応させて多値変換を行なう。また、これ
に用いる代表色値データについては、符号化時と同様、
ユーザが、対話的に任意の色を指定するようにしてもよ
い。

【００４３】また、いわゆるＪＰＥＧのＡＤＣＴ符号化
方式等の多値の符号化方法で符号化されたデータについ
ては、符号化方式識別回路４１において解読された符号
化方法に対応する復号化処理を実行して多値画像データ
を得る。

【００４４】このようにして得られた各領域の多値デー
タは、不図示の制御回路にて、符号化データとともに入
力された構造化情報を用いてフレームメモリ３４に展開
し、画像の再構成を行なって、１枚の多値画像データと
してプリンタやディスプレイ等の出力装置３５から出力
する。

【００４５】ここで、図６に示すような重ね合った領域
に対しては、構造化情報に付け加えた重なり合う領域間
の関係を表わす階層情報を利用する。つまり、この場
合、自然画領域の上に文字領域を貼り付ける処理を行な
い、画像を再構成する。

【００４６】図５に示す画像の例では、文字領域を自然
画領域の上に貼り付けるので、自然画領域の空白部（文
字領域があったところ）は、それがどういう状態であっ
たとしても、文字領域の画像データが上書きされて、最
終的な再生画像が生成される。

【００４７】以上説明したように、本実施例によれば、
符号化時には、入力画像の領域判定をし、多値領域につ
いては多値符号化を、また、２色領域については、２値
化して代表色値を求めてから２値符号化を行ない、復号
化時には、多値符号化データについては多値復号化を、
２値符号化データについては、２値復号化して得られた
２値画像の各画素値に対して、対応する代表色値を用い
て多値変換を行ない、構造化情報を用いた画像の再構成
をすることにより、２色領域の符号化効率が向上し、全
体として効率のよい符号化を行なうことができる。

【００４８】また、領域の重なりを許して構造化するこ
とにより、さらに、符号化効率の向上が可能となる。

【００４９】なお、上記実施例では、入力画像データと
してＲＧＢからなるカラー画像を用いているが、本発明
は、ＲＧＢ色空間に限るものではなく、例えば、Ｙ，Ｃ
ｂ，ＣｒやＬ* ａ* ｂ* 等、他の色空間で表現された画
像を用いても良い。

【００５０】また、本実施例に係る符号化・復号化は、
単色濃淡画像に対しても同様に適用できる。

【００５１】一方、上記以外の領域判定方法として、例
えば、画像データをディスプレイ上に表示し、ユーザ
が、対話的に領域を指定することも可能である。具体的
には、領域判定回路１３の部分を、例えば、ＤＴＰ（De
sk Top Publishing:電子出版）装置にて、マウス等のポ
インティングデバイスを用いて領域を指定し、ＣＰＵ上
でソフトウェアを実行させて実現させるようにしてもよ
い。

【００５２】図１１は、上述のディスプレイを用いたシ
ステムの一例を示す。同図に示すシステムでは、まず、
入力された画像をディスプレイ１１０１に表示し、ユー
ザが、マウス１１０２等を用いて、同図の左上に位置す
る「（１）今月の報告」とある領域のように、画像を領
域特徴ごとに矩形で切り出す。そして、その領域の特
徴、例えば、２値，多値や、その符号化方法、例えば、
２値のときにはＪＢＩＧ，ＭＭＲ等を指定し、それに応
じた処理を行なう。

【００５３】ここでも、領域の切り出しと同時に、図４
に示すような領域の位置や大きさ等を示す構造化情報が
記述される。 ［変形例１］上記の実施例では、図５に示すような、自
然画領域の上に自然画領域とは独立に文字領域が重なっ
ているような画像に対して領域の重ね合わせを許し、図
６に示すように、階層的に構造化を行なっている。

【００５４】そこで、本変形例では、図１２に示すよう
な、文字領域の上に自然画領域が重なっているような画
像の処理について説明する。

【００５５】従来は、文字領域の上に自然画領域が重な
っているような画像を構造化する際には、例えば、図１
３に示すように、細かい領域に区切っているため、領域
数が増えて処理の効率が低下したり、符号量が増大した
りする傾向にあった。

【００５６】本変形例では、図１４のように、重ね合わ
せを許して領域を切り出して構造化し、切り出した自然
画領域は、ＪＰＥＧ符号化等で符号化し、残りの文字領
域については、以下のように処理する。

【００５７】すなわち、切り抜かれた部分を周辺画素
値、例えば、領域境界に接する走査順で、文字領域に切
り替わる直前の自然画領域の画素値、あるいは文字領域
に接する自然画領域の画素値の平均値等で埋め、その後
２値化してＪＢＩＧ符号化等で符号化する。また、重な
り合う領域間の関係を表わす階層情報、ここでは、文字
領域の上に自然画領域が貼り付いているといったような
情報を、構造化情報に付け加える。

【００５８】一方、画像の再構成側では、復号化された
画像データを、構造化情報及び階層情報を用いて再構成
する。本変形例では、文字領域の上に自然画領域が貼り
付いているという階層情報を用い、文字領域の指定の位
置に自然画領域を貼り付け、再構成を行なう。

【００５９】なお、本変形例では、階層的な構造化の例
として、文字領域の上に自然画領域が重なっている画像
を用いたが、本変形例は、自然画領域に限定されるもの
ではなく、他の色からなる文字領域等、性質の異なった
領域が重なっている場合にも適用できる。 ［変形例２］本変形例では、図１５に示すような、自然
画領域の上に文字領域が、自然画領域に非独立に、つま
り、文字の背景が自然画領域の絵柄となっているような
状態で重なっている画像の処理について説明する。

【００６０】従来は、上記のような画像を構造化する
際、例えば、図１６に示すように、文字領域をも含めた
自然画領域全体を自然画領域として扱っているため、画
質の劣化、特に、文字部の劣化が増大する傾向にあっ
た。

【００６１】本変形例では、図１７において符号１７０
２にて示すように、自然画領域から文字の画素だけを抜
き出し、例えば、文字の画素を１（黒）、文字以外の画
素を０（白）とした文字領域を作る。そして、文字が抜
かれた自然画領域は、図１７で符号１７０１にて示すよ
うに、文字の画素であった位置を白（Ｒ，Ｇ，Ｂ＝２５
５）で埋めたり、その近傍画素値、すなわち、文字領域
に接する走査順で文字領域に切り替わる直前の自然画領
域の画素値、あるいは、文字領域に接する自然画領域の
画素値の平均値等で埋める等して自然画領域を作り、階
層的な構造化を行なう。また、ここでは、文字の画素の
平均値を求め、それを文字領域の代表色値とする。

【００６２】また、重なり合う領域間の関係を表わす階
層情報については、文字領域の１（黒）の画素のみが自
然画領域に貼り付いている、といったような情報を、例
えば、図１７に示すように構造化情報に付け加える。そ
して、文字領域は、ＪＢＩＧ符号化等の２値符号化方法
で符号化され、自然画領域は、ＪＰＥＧ符号化等の多値
の符号化方法で符号化される。

【００６３】他方、画像の再構成側では、復号化された
画像データを、構造化情報及び階層情報を用いて再構成
を行なう。本変形例では、自然画領域から文字の画素の
みを抜き出したという階層情報を用い、自然画領域の指
定された画素位置に代表色値により色付けされた画素を
貼り付けて、画像の再構成を行なう。 ［変形例３］上記実施例に係る画像符号化装置の画像符
号化手段１４では、画像全体の下地に対して代表色値を
持たせることにより、例えば、図１８に示すように、下
地に何らかの色が付いているような画像についても、上
記実施例と同様な処理を行なうことができる。

【００６４】具体的に説明すると、何らかの方法、例え
ば、図１９に示すように、画像から各領域を切り抜いた
残りの領域の画素のＲ，Ｇ，Ｂの各平均値を算出して、
下地の代表色値を定義してもよいし、ユーザが、対話的
に指定してもよい。そして、この下地の代表色値を、例
えば、図２０に示すように、出力データに付加して出力
する。

【００６５】ここでは、下地代表色値の格納位置に制限
はなく、例えば、構造化情報の一部に記載してもよい
し、代表色値データの一部に記載されていてもよい。

【００６６】画像の再構成側では、例えば、この下地代
表色値から下地画像データを生成し、この上に、求めた
多値データを構造化情報をもとに展開して画像の再構成
を行なうようにする。

【００６７】また、下地が白の場合には、デフォルトと
して下地代表色値を用いないようにしてもよい。さら
に、下地代表値とともに全体の画像の大きさを表わすデ
ータも出力し、再構成側で下地画像データを生成する
際、この大きさを表わすデータを用いて下地画像データ
を生成するようにしてもよい。また、画像の再構成側
で、下地代表値や大きさを表わすデータを指定したり変
更して、画像の再構成を行なってもよい。 ［変形例４］上記実施例の画像符号化手段１４では、画
像データの２色領域を２値化する際、ＲＧＢ→Ｙ変換回
路２４にてＲＧＢを輝度成分（Ｙ）に変換し、得られた
輝度成分（Ｙ）を用いて２値化を行なっているが、これ
に限定されず、例えば、Ｒ，Ｇ，Ｂそれぞれを２値化し
て、３枚の２値画像（３ｂｉｔ画像）を符号化するとい
う形式をとってもよい。

【００６８】具体的には、領域判定回路１３にて得られ
た文字や線画等の２色領域の処理を行なう際、Ｒ，Ｇ，
Ｂそれぞれに対して２値化処理を行ない、３枚の２値画
像（３ｂｉｔ画像）を求める。ここで、２値化のための
各閾値は、上記実施例と同様、ヒストグラムから求めて
もよいし、ユーザが対話的に求めてもよい。

【００６９】そして、得られたそれぞれの２値化結果を
用いて、図２１に示すように、各Ｒ，Ｇ，Ｂそれぞれに
ついて、２値化結果が０になる画素、及びそれが１にな
る画素の各代表色値を算出する。この代表色値算出方法
については、上記実施例と同様に行なう。そして、得ら
れた３枚の２値画像を、ＪＢＩＧやＭＭＲ等の符号化方
法を用いてそれぞれ符号化を行ない、この符号化データ
と、算出した代表色値とを、この領域の出力データとし
て符号メモリ２９に出力する。 ［変形例５］上記実施例において、画像符号化処理を２
色画像のみならず、グラフ等のような８色以内で表現で
きる領域に適用するため、領域判定回路１３にて得られ
た、文字もしくはグラフ等のような８色以内で表現でき
る領域の処理を行なう際、Ｒ，Ｇ，Ｂそれぞれに対して
２値化処理を行なって、３枚の２値画像（３ｂｉｔ画
像）を求める。ここでも、２値化のための各閾値は、上
記実施例と同様、ヒストグラムから求めてもよいし、ユ
ーザが対話的に求めてもよい。

【００７０】本変形例では、得られた２値化データ（３
ｂｉｔ）を用いて、各Ｒ，Ｇ，Ｂそれぞれについて、２
値化結果が０になる画素、及びそれが１になる画素の各
代表色値を算出し、それらを、図２２に示すように、２
値化データ３ｂｉｔの組み合わせに対して８つの代表色
値を対応づけることが可能となり、結果として、８色以
内で表現される領域を構成することができる。なお、こ
こでの代表色値算出方法については、上記実施例と同様
に行なう。

【００７１】ここでも、得られた３枚の２値画像を、Ｊ
ＢＩＧやＭＭＲ等の符号化方法を用いて、それぞれ符号
化を行ない、この符号化データと算出した代表色値と
を、当該領域の出力データとして符号メモリ２９に出力
する。

【００７２】なお、２値化データ３ｂｉｔの組み合わせ
に対して、例えば、（０，０，０）→（１００，１５
０，２００），（０，０，１）→（１０，１００，１６
０）等のように、ユーザが対話的に指定することによ
り、８つの代表色値を独立に対応づけることも可能であ
る。 ［変形例６］上記実施例での領域の代表色値算出方法
は、領域の２値化結果を用いて、対応する画素の値より
算出しているが、本変形例では、ユーザが、対話的にそ
の領域の代表色値を指定できるようにする。

【００７３】すなわち、入力された画像データに対し
て、上記実施例と同様、文字（２値）領域と判定された
領域に対しては、切り出された画像を２値化してＪＢＩ
Ｇ符号化を行なう。ここで、領域の代表色値を、例え
ば、図２３に示すように、ディスプレイ１３０１に表示
されたカラーサンプルから、ユーザが任意の色を選択す
る方法や、ユーザが任意のＲＧＢの値を入力する方法
等、ユーザが任意の代表位置値を指定する。

【００７４】また、代表色値の算出についても、ある領
域は、上記実施例のように、ユーザが指定し、ある領域
は、上記実施例のように計算により自動で求めるといっ
たように、領域ごとに代表色値算出方法を切替えてもよ
い。下地代表色値についても、上記変形例２の下地代表
色値と同様、ユーザの対話的な指定により定義してもよ
い。 ［変形例７］ここでは、上記実施例に係る符号化方法
を、ＤＴＰ等で作成されたデータに対して適用する場合
について説明する。

【００７５】例えば、図２４に示すような、ＤＴＰ等で
作成された画像データにおいて、その上部に示された入
力文字データに対しては、文字のコードデータを画像デ
ータに展開して２値の符号化を行なう。また、文字入力
時に指定した文字及び文字背景の色情報（図２４の例で
は、文字：（ｒ，ｇ，ｂ）＝（０，０，２５５），文字
背景：（ｒ，ｇ，ｂ）＝（２５５，０，０））を、それ
ぞれの領域の代表色値データとする。

【００７６】また、図２４の下部に示すような、スキャ
ナから取り込まれる等して貼り込められた写真等の自然
画データに対しては、その領域のデータに対して、ＪＰ
ＥＧ符号化等の多値の符号化を行なう。そして、グラフ
等、ユーザが作成したカラーデータについては、例え
ば、８色を用いた棒グラフのような場合、各色を３ｂｉ
ｔ、つまり、その領域を３ｂｉｔで表わすことができ、
各ビットプレーンごとに２値の符号化を行なう。このと
き、３ｂｉｔの組み合わせに対応する各色情報を代表色
値データとする。例えば、（０，０，１）→（ｒ，ｇ，
ｂ）＝（１００，２０，２００）のように対応させる。 ［変形例８］上記実施例での領域の代表色値算出方法
は、その領域の２値化結果を用いて対応する画素の値よ
り算出しているが、本変形例では、領域の背景部（例え
ば、２値化結果が０になる部分）の代表色値に、上記変
形例２で説明した下地代表色値を与える。

【００７７】例えば、図１８に示すような背景に何らか
の色を持つ画像が入力された場合、文字領域（図１８の
下部領域）の背景に対応する、つまり、２値化結果が０
に対応する代表色値を、上記実施例のように、領域内の
画素による計算により求めるのではなく、図２５に示す
ように、画像の下地代表色値を与える。

【００７８】これにより、領域内の画素による計算で求
めた代表色値を用いて再生した場合に発生しがちであっ
た、領域と背景の色ずれを防ぐことができる。 ［変形例９］上記実施例における画像の復号化時の２値
データの多値変換方法は、符号化データに対応して入力
された代表色値を用いたものであるが、本変形例では、
復号時に、ユーザが対話的に、その領域の代表色値を指
定する。

【００７９】本変形例では、入力された符号データ、及
び構造化情報から画像を再構成する際、ＪＢＩＧ等の２
値符号化方法で符号化された領域については、符号化時
と同じ符号化方法で復号化処理を行なって２値画像デー
タを得、得られた２値画像データに対して、多値変換す
る代表色値を、ユーザがディスプレイ上のカラーサンプ
ルやＲＧＢの値等を用いて指定する。そして、その代表
色値を用いて多値変換を行ない、再生する。

【００８０】また、多値符号化方法で符号化された符号
化データについては、上記実施例と同様に復号化し、得
られた各領域の多値データを構造化情報を用いて画像の
再構成を行ない、出力する。

【００８１】本変形例では、例えば、符号化データをカ
ラーＤＴＰ上に表示し、編集する際にも適用できる。ま
た、本変形例において、領域の代表色値を入力側（符号
化処理側）では指定せずに、出力側（復号化・再生処理
側）で指定する場合と、入力側でも指定しているが、出
力側でそれを変更し、再生処理を行なうという場合が考
えられる。

【００８２】さらに、領域の代表色値を、ある領域は復
号（再生）時のユーザの指定、ある領域は符号化時に算
出・指定された値を用いるといったように、領域ごとに
変えてもよい。そして、領域の代表色値を、後に任意に
変えることができることから、例えば、入力がカラー画
像で処理されたデータを白黒濃淡画像として出力した
り、逆に、白黒濃淡画像で入力されたデータをカラー画
像として出力することも可能となる。

【００８３】なお、下地代表色値についても、上記変形
例３と同様、復号時（再構成時）に、ユーザの対話的な
指定により定義してもよい。 ［変形例１０］上記実施例において、復号化された画像
データを構造化情報を用いて再構成する際、ユーザが構
造化情報を書き換えることで、各領域の位置や大きさ等
を変えて出力するようにしてもよい。

【００８４】以上のように、多値画像データについて複
数の領域を抽出して構造化することにより、領域毎の特
徴に合った処理を行なうことができる。特に符号化方法
を領域毎に適切なものとすることができ、画像の劣化を
抑えて効率の良い符号化を行なうことができる。

【００８５】また、領域の重複を許すことにより、多値
画像データを階層構造化でき、加工、編集等をしやすく
なる。さらに、領域情報を画面上での位置情報及びサイ
ズ情報として持つことにより、領域情報の量を減少させ
ることができる。

【００８６】なお、上記実施例、変形例では、領域は矩
形領域としているが、円形、楕円形等、他の形状であっ
てもよい。また、２値画像データの符号化としては、上
述のような画素毎のデータとしての符号化に限らず、例
えば、公知の文字認識の手法により文字コードに符号化
してもよい。その場合には、文字コード及びその文字の
色と背景色とを抽出することにより、可逆の符号化を実
現できる。

【００８７】本発明は、スキャナ、ホストコンピュー
タ、プリンタ、通信装置等の複数の機器から構成される
システムに適用しても、１つの機器（スタンドアロー
ン）から成る装置に適用しても良い。また、本発明は、
システムあるいは装置にコンピュータプログラムを供給
することによって達成される場合にも適用できることは
言うまでもない。

【００８８】本発明は、上述の実施例に限定されず、特
許請求の範囲に記載の範囲内で種々の変形、応用が可能
である。特に、上述の実施例及び変形例は、相互に組み
合わせてもよい。

【００８９】このように、切り出す領域の重ね合わせを
許して画像を特性ごとに領域で切り出し、各領域ごとに
その領域の特性にあった符号化方法で符号化すること
で、領域の階層的な構造化、文字などの画質の大幅な向
上、および、符号化効率の向上が可能になる。

【００９０】また、二値化データを符号化したデータに
所定領域の代表色値情報を付与し、復号時には、復号さ
れた二値符号化データを代表色値情報によって多値変換
して多値画像を再生することで、薄い文字や色文字など
も原画に、より忠実に再現することができる。

【００９１】さらに、白黒ではない二色領域を多値画像
として扱うことなく、二値画像として扱うことで、処理
データ量を著しく減らすことができ、符号化/復号によ
って生じる画質劣化も大幅に減少させることができる。

【００９２】

【発明の効果】以上説明したように、本発明によれば、
二色領域を二値化して二値符号化するから、その符号量
を低減し、符号化/復号による画質劣化を防ぐことがで
きる。さらに、二色領域の符号化データとして、二色領
域を二値化した結果の二値それぞれに対応する代表色デ
ータを付加するから、符号化データの復号側は、復号さ
れる二色領域のそれぞれが色が薄い文字や色文字などで
も、代表色データによって、原画にできるだけ忠実な色
の画像として再現可能である。

【図面の簡単な説明】

【図１】本発明の実施例に係る画像処理装置を構成する
画像符号化装置のブロック図である。

【図２】実施例に係る画像符号化装置の領域判定回路１
３及び画像符号化手段１４の内部構成を示すブロック図
である。

【図３】実施例に係る画像処理装置を構成する画像復号
化装置のブロック図である。

【図４】構造化された画像データ及び構造化情報を示す
図である。

【図５】自然画領域の上に文字領域が重なっている画像
の例を示す図である。

【図６】自然画領域の上に文字領域が重なっている画像
の処理を説明する図である。

【図７】２値領域の代表色値を示す図である。

【図８】代表色値等の対話的な指定方法を示す図であ
る。

【図９】出力データの構成を示す図である。

【図１０】図３に示す画像復号化手段３３の内部構成を
示すブロック図である

【図１１】ディスプレイを用いたシステムの一例を示す
図である。

【図１２】文字領域中に自然画が重なっている画像の例
を示す図である。

【図１３】従来の構造化結果の例を示す図である。

【図１４】変形例１に係る画像の領域の重なり合いを許
した構造化結果の例を示す図である。

【図１５】自然画領域中に文字が重なっている画像の例
を示す図である。

【図１６】従来の構造化結果の例を示す図である。

【図１７】変形例２に係る画像の領域の重なり合いを許
した構造化結果の一例を示す図である。

【図１８】変形例３に係る画像と下地とを示す図であ
る。

【図１９】変形例３に係る画像における領域を示す図で
ある。

【図２０】変形例３に係る下地の代表色値の出力を示す
図である。

【図２１】変形例４に係る画素の各代表色値の算出方法
を示す図である。

【図２２】変形例５に係る画素の代表色値と２値化デー
タの組み合わせの対応を示す図である。

【図２３】変形例６に係る領域の代表色値の選択方法を
示す図である。

【図２４】変形例７に係る、ＤＴＰ等で作成された入力
文字データを含む画像データを示す図である。

【図２５】変形例８に係る代表色値の計算方法を示す図
である。

【符号の説明】

１１，３１ 入力装置 １２，２１，３４ フレームメモリ １３ 領域判定回路 １４ 画像符号化手段 １５，２９，３２ 符号メモリ １６，３５ 出力装置 ２２ 領域判定メモリ ２３ 符号化法判定回路 ２４ ＲＧＢ→Ｙ変換回路 ２５ ２値化回路 ２６ 代表色値算出回路 ２８ 多値符号化回路 ２９ ２値符号化回路 ３０ 領域整形回路 ３３ 画像復号化手段 ４１ 符号化方式識別回路 ４２ ２値符号・復号回路 ４３ ２値→多値変換回路 ４４ 多値符号・復号回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 吉田 正 東京都大田区下丸子３丁目30番２号 キ ヤノン株式会社内 (56)参考文献 特開 平３−104380（ＪＰ，Ａ) 特開 平３−254573（ＪＰ，Ａ) 特開 平４−96575（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 1/41 - 1/419

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 二色領域および多色領域が混在するカラ
   ー画像を符号化する画像処理装置であって、 前記カラー画像の各色成分の分布特性に基づき、前記二
   色領域および多色領域を判定する判定手段と、 前記カラー画像を、前記二色領域および多色領域の重複
   部分の存在を許して、複数の部分領域に分割する分割手
   段と、前記重複部分を、代わりの画素データで埋めた多値画像
   を生成する画素補間手段と、 分割された各部分領域の位置および大きさ、並びに、前
   記重複部分において前記二色領域の上に前記多色領域が
   貼り付いているのか、前記多色領域の上に前記二色領域
   が貼り付いているのかを示す階層情報を含む構造化情報
   を生成する生成手段と、 前記二色領域に対応する各部分領域を二値化して二値符
   号化した符号と、前記二値化の結果の二値それぞれに対
   応する代表色データとを、前記二色領域に対応する各部
   分領域の符号化データとする第一の符号化手段と、 前記画素補間手段によって得られる多値画像を多値符号
   化する第二の符号化手段と、 前記構造化情報、並びに、前記第一および第二の符号化
   手段によって得られる符号化データを前記カラー画像の
   符号化データとして出力する出力手段とを有することを
   特徴とする画像処理装置。
2. 【請求項２】 前記代表色データは、前記二値それぞれ
   に属する画素グループの各色成分の平均値を表すことを
   特徴とする請求項1に記載された画像処理装置。
3. 【請求項３】 二色領域および多色領域が混在するカラ
   ー画像を符号化する画像処理方法であって、 前記カラー画像の各色成分の分布特性に基づき、前記二
   色領域および多色領域を判定し、 前記カラー画像を、前記二色領域および多色領域の重複
   部分の存在を許して、複数の部分領域に分割し、前記重複部分を、代わりの画素データで埋めた画素補間
   多値画像を生成し、 分割された各部分領域の位置および大きさ、並びに、前
   記重複部分において前記二色領域の上に前記多色領域が
   貼り付いているのか、前記多色領域の上に前記二色領域
   が貼り付いているのかを示す階層情報を含む構造化情報
   を生成し、 前記二色領域に対応する各部分領域を二値化して二値符
   号化した符号と、前記二値化の結果の二値それぞれに対
   応する代表色データとを、前記二色領域に対応する各部
   分領域の符号化データとし、 前記画素補間多値画像を多値符号化し、 前記構造化情報、並びに、前記各部分領域および前記画
   素補間多値画像の符号化データを前記カラー画像の符号
   化データとして出力することを特徴とする画像処理方
   法。