JP2693457B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、画像をブロック単位で効率良く符号化する
画像処理装置に関するものである。 ［従来の技術］ 従来、画像を効率良くかつ画質の劣化を抑制する様に
符号化するために、画像をブロック分割し、分割された
ブロック毎の画像の種別に応じた符号化を行う技術が知
られている。 しかしながら、画像の種類が入り組んで組み合わされ
ている画像を符号化する場合には、画像をブロック毎に
分割して、ブロックに各々異なる符号化を行っただけで
は、符号化効率の向上および画質の劣化の抑制を充分に
達成することができなかった。 ［発明が解決しようとする問題点］ 本発明は、上記問題を解決するために成されたもので
あり、複数種の画像が入り組んで組み合わされた画像
を、効率良く、かつ、画質の劣化を抑制して符号化する
ことを目的とする。 ［問題点を解決するための手段］ 上述の目的を達成するため、本発明にかかる画像処理
装置は、一画面を所定サイズに分割したブロック（本実
施例では第３図の４×４画素ブロックに対応する）の画
像を入力する入力手段と、前記入力手段により入力され
るブロック内にコンピュータで生成された画像データ
（同じく、例えば第９図に示すビットマップデータが
“1"の画像データに対応する）が存在しない場合は、そ
のブロックの画像を単一の符号化方法で符号化し（同じ
く、例えば第10図の自然画像符号化器151で行われる符
号化に対応する）、入力されるブロック内にコンピュー
タで生成された画像データが存在する場合は、そのブロ
ックの前記コンピュータで生成された画像データからな
る領域を第一の符号化方法で符号化し、前記コンピュー
タで生成された画像データ以外からなる領域を第二の符
号化方法で符号化する（同じく、例えば第10図のCGデー
タ符号化器152により行われる符号化に対応する）符号
化手段とを有することを特徴とする。 ［実施例の説明］ 以下、添付図面に従つて本発明による実施例を詳細に
説明する。 第７図は実施例の画像情報処理装置のブロツク構成図
である。尚、第７図の画像情報処理装置は後述する第１
実施例及び第２実施例の説明に共通して使用される。図
において、１は画像入力装置であり、例えば密着型イメ
ージスキヤナやテレビカメラ等から成り、写真原稿や人
物等の自然画像を読み取つて多階調の自然画像データを
出力する。２は画像メモリであり、画像入力装置１で読
み取つた１頁分の自然画像データを記憶する。３は描画
プロセツサであり、画像メモリ２の自然画像データに対
し図示せぬコンピユータ等で発生したグラフイツクス情
報に基づくCGデータをメモリの所定位置に展開し合成す
る。４は符号化部であり、画像メモリ２から読み出した
自然画像データとCGデータの合成画像データを所定サイ
ズにブロツク化してブロツク毎に一括符号化する。図示
しないが、こうして符号化した符号化画像情報は他の記
憶手段に記憶して保存され、あるいはデータ通信回線を
介して他の画像情報処理装置に伝送される。５は復号化
部であり、前記他の記憶手段から読み出した、又は前記
通信回線を介して入力した符号化画像情報を復号化す
る。６は画像出力器であり、復号化部５で復号化した自
然画像データとCGデータの合成画像データを可視像化し
て出力する。 ［第１実施例］ 第１実施例はR,G,Bレベルで合成した画像データをY,
I,Q画像データに変換して符号化する場合を示してい
る。 第３図は第１実施例の画像メモリ２の一記憶態様を示
す図である。図において、11は１画素を表わし、12は４
×４画素からなる１ブロツクを表わしている。図中の白
画素で表わしている部分には図示しないが下地としての
自然画像データが有ることを示しており、黒画素13の部
分は描画プロセツサ３により展開合成したCGデータであ
る。 第４図は第３図の各ブロツクについてCGデータが存在
するブロツクには論理“1"を、存在しないブロツクには
論理“0"を付した図である。描画プロセツサ３が画像メ
モリ２にCGデータを展開するときは、当該ブロツク内に
１以上のCGデータを書き込むか否かにより全ブロツクに
対して論理“1"又は論理“0"のCGブロツクフラグＦを割
付ける。このCGブロツクフラグＦを図示せぬ適当な記憶
手段に記憶しておくことにより、後のブロツク符号化処
理においてはこのCGブロツクフラグＦを各ブロツクの符
号化に同期して読み出すことにより、当該ブロツクが自
然画像データのみから成るブロツク（自然画像ブロツ
ク）なのか、あるいは１以上のCGデータを含むブロツク
（CG画像ブロツク）なのかを判断する。 第１図は第１実施例の符号化部４の詳細を示すブロツ
ク構成図である。図において、20〜22は夫々画像メモリ
２から読み出した画像データＲ（赤）、画像データＧ
（緑）、画像データＢ（青）の入力端子である。23は信
号変換器であり、入力したR,G,B画像データをカラーTV
の信号伝送に使われている輝度データＹ及び色差データ
I,Qに変換する。24はセレクタであり、ブロツク符号化
に同期して他の記憶手段から読み出したCGブロツクフラ
グＦの論理“1"レベル又は論理“0"レベルに従つて入力
である画像データY,I,Qを２系統出力端子の内の何れか
に出力する。25はCGブロツクフラグＦが論理“0"レベル
であることにより自然画像ブロツクを符号化する自然画
像符号化器であり、該自然画像符号化器25はブロツク内
全輝度データＹについての平均値を求めてこれを符号化
し、かつブロツク内全輝度データＹに対してアダマール
変化等の直交変換を行うことによりブロツク内輝度の構
造データを求めてこれをベクトル量子化し、かつブロツ
ク内全色差データI,Qについては夫々のブロツク内平均
値を求めてこれらを符号化する。26はCGブロツクフラグ
Ｆが論理“1"レベルであることによりCG画像ブロツクを
符号化するCGデータ符号化器であり、詳細については第
２図に従つて後述する。27はセレクタであり、CGブロツ
クフラグＦの論理“1"レベル又は論理“0"レベルに従つ
て２系統入力端子のブロツク符号化データの何れかを選
択して出力する。 第２図は第１実施例のCGデータ符号化器26の詳細を示
すブロツク構成図である。図において、30〜32はセレク
タ24から供給された画像データの入力端子であり、30は
輝度データＹを、31,32は色差データI,Qを夫々入力す
る。33はCGコードデータの入力端子であり、描画プロセ
ツサ３が所定の赤、橙、黄、…、黒等の文字、図形等を
発生させる際に用いたCGコードデータを入力する。34〜
36はROM等で構成されるルツクアツプテーブル（LUT）で
あり、例えば黒色CGコードデータが入力されると、これ
をテーブルのアドレス入力として対応するY,I,Q検出用C
Gデータを発生する。該Y,I,Q検出用CGデータは例えば黒
濃度が最大の255階調のものに相当する。37はラツチで
あり、データ間のタイミングを計るために設けられてい
る。38〜40は比較器であり、入力したY,I,Q画像データ
と発生したY,I,Q検出用CGデータY,I,Qを夫々比較し、各
同値のときは論理“1"レベルを出力する。41はNAND回路
であり、比較器38〜40の各出力の論理積をとり、入力の
全てが論理“1"レベルのときはY,I,Q画像データとY,I,Q
検出用CGデータが一致した場合であり、Y,I,Q画像デー
タがCGデータであることを意味する。42はセレクタであ
り、NAND回路41の出力が論理“1"レベル（自然画像デー
タ）のときのみ入力端子のY,I,Q画像データを通過させ
る。43〜45は加算器であり、通過したY,I,Q画像データ
の内容を夫々累積加算する。即ち、ブロツク内自然画像
データのみのY,I,Qの各総和が求まる。46は加算器であ
り、NAND回路41出力が論理“1"レベル（自然画像デー
タ）である画素数をカウントする。即ち、ブロツク内自
然画像データの画素数が求まる。47〜49は除算器であ
り、Y,I,Q画像データの各総和を自然画像データの画素
数で除算し、平均値を求める。50〜52はROM等で構成さ
れる量子化器であり、除算結果の各平均値を夫々量子化
する。53はシリアル−パラレル変換用のシフトレジスタ
であり、CGデータ検出時の論理“1"レベル、自然画素デ
ータ検出時の論理“0"レベルを順次入力して16画素分の
画素タイプをビツトマツプで蓄積する。54はY,I,Q画像
データの各平均値と、CGコードデータと、16ビツト分の
画素タイプを合成する合成器である。 かかる構成により、端子33にはCGデータ描画に使用し
たCGコードデータＣを与え、LUT34〜36により対応する
Y,I,Q検出用CGデータを発生させる。比較器38〜40はY,
I,Q検出用CGデータと端子30〜32のY,I,Q画像データを夫
々比較し、各入力が同値であれば各論理“1"レベルを出
力し、そうでなければ論理“0"レベルを出力する。NAND
回路41は比較器38〜40各出力の論理積をとることによ
り、CGデータに対しては論理“0"レベルを出力し、自然
画像データに対しては論理“1"レベルを出力する。セレ
クタ42はNAND回路41出力が論理“1"レベル（自然画像デ
ータ）のときに加算器43〜45に対してY,I,Q画像データ
を出力する。また論理“0"レベル（CGデータ）のときは
何も出力しない。従つて、加算器43〜45はブロツク内自
然画像データのY,I,Qの各総和を求める。一方、加算器4
6はブロツク内自然画像データの画素数を計数する。そ
して除算器47〜49は加算器43〜45出力の各総和をブロツ
ク内自然画像データの画素数で除算する。こうしてブロ
ツク内自然画像データのY,I,Qの各平均値が求まる。量
子化器50〜52は各平均値を所定ビツト数で量子化する。
またNAND回路41出力はインバータ56でレベル反転され、
CGデータか否かを示すビツトマツプとして４×４画素に
位置対応するようシフトレジスタ53でシリアル−パラレ
ル変換され、合成器54に入力される。 第５図（Ａ）は第１実施例の符号化前のCGブロツク画
像データの輝度を示す模式図、第５図（Ｂ）は第１実施
例の復号化後のCGブロツク画像データの輝度を示す模式
図である。第５図（Ａ）において、画素241〜248はCGデ
ータであつて色、輝度共に一定である。一方、画素249
〜256は自然画像データであつて色、輝度は緩やかに変
化している。第５図（Ｂ）において、画素61〜68はCGデ
ータであつて色、輝度共に元通りに復号化されている。
一方、画素69〜76は自然画像データであつてブロツク内
自然画像データの範囲内で色、輝度は平均化されてい
る。 第６図（Ａ）は自然画像ブロツク符号化コードの情報
割付けを示す図、第６図（Ｂ）はCG画像ブロツク符号化
コードの情報割付けを示す図である。第６図（Ａ）にお
いて、最上位ビツトＦはCGブロツクフラグＦビツト
（０）であり第１図の出力端子30の部分で合成される。
CGブロツクフラグＦの内容（１又は０）によりブロツク
符号化コードデータの構造及び復号化方法を識別でき
る。自然画像ブロツクコードはY,I,Qの各ブロツク平均
値とブロツク内全Ｙデータについての輝度の構造情報を
表わすベクトル量子化コードから成つている。第６図
（Ｂ）において、CG画像ブロツクコードはCGブロツクフ
ラグＦのビツト（１）と、自然画像データの部分のＹ平
均値と、ブロツク内の自然画像データとCGデータを区別
するビツトマツプデータC₁₁〜C₄₄と、CGデータを再生す
るためのCGコードデータと、自然画像データの部分を各
I,Q平均値から成つている。 ［第１実施例の変形］ 第１実施例の変形は、第７図の画像入力装置１から読
み取る原稿の自然画像中に文字、図形等のCGデータが含
まれているような場合に関する。一般に、写真等の自然
画像は色や濃度が緩やかに変化しており、濃度のほとん
どが中間調に位置する。一方、文字、図形等からなるCG
画像は赤、橙、黄、…等の単一色であり、濃度は０又は
255階調（８ビツトの場合）の両極端に位置する。第１
実施例の変形では読取画像データの上記性質を利用する
ことにより入力画像データから独自でCGデータを検出
し、CGブロツクフラグＦを生成する。従つて第７図の描
画プロセツサ３は必ずしも必要ない。 また第１図において、セレクタ24を省略し、よつてY,
I,Q画像データは符号化器25,26に同時に供給される。ま
た入力端子29からCGブロツクフラグＦは供給されず、そ
の代りにCGデータ符号化器26で生成したCGブロツクフラ
グＦがライン1000に供給される。 第２図において、CGコードデータはオペレータの選択
等により設定される。例えば原稿画像から黒CGデータを
識別したいときは黒CGコードデータをセツトする。入力
のY,I,Q画像データから黒CGデータが検出される過程は
第１実施例と同様である。その際、比較器38〜40は黒CG
データの色、濃度の変動幅を考慮して例えばある値以上
の条件で一致出力を出すようにする。こうして入力のY,
I,Q画像データから黒CGデータが検出され、第１実施例
同様のブロツク符号化が行われる。フリツプフロツプ
（FF57）は１ブロツクの符号化処理毎にリセツトされ、
ブロツク内に１以上のCGデータがあるときはセツトされ
る。従つてFF57出力は生成したCGブロツクフラグＦにな
る。 ［第２実施例］ 第２実施例はR,G,Bレベルで合成した画像データをCIE
1976均等色空間のＬ^＊,a^＊,b^＊画像データに変換して符
号化する場合を示している。 第８図は第２実施例に採用した画像メモリ２の構成外
観図である。図において、100は画素当り１ビツトのビ
ツトマツプメモリプレーンであり当該画素が自然画像デ
ータであるかCGデータであるかを示す。101は画像デー
タＲを、102は画像データＧを、103は画像データＢを夫
々格納するメモリプレーンである。メモリプレーン100
の内容は画像入力装置１から自然画像データを入力する
ときは全て論理“0"であり、描画プロセツサ３が画像メ
モリ２上にCGデータを描画するときはCGデータで置換さ
れた画素の部分を論理“1"に書き変える。従つて第１実
施例の第４図に対するメモリプレーン100の内容は第９
図のようになる。 第10図は第２実施例の符号化部４の詳細を示すブロツ
ク構成図である。図において、入力端子120〜122には画
像メモリ２より読み出した画像データR,G,Bを夫々入力
する。信号変換器140は画像データR,G,BをCIE1976均等
色空間座標における明度データＬ^＊及び色度データ
ａ^＊,b^＊に変換する。一方、入力端子123〜138にはビツ
トマツプメモリ100の当該１ブロツク分のビツトマツプ
データを入力する、OR回路131は全ビツトマツプデータ
の論理和をとることにより当該ブロツク内に１以上のCG
データがあれば、その出力であるCGブロックフラグＦと
して論理“1"レベルを、なければ論理“0"レベルを出力
する。即ち、第１実施例の場合と同様にして当該ブロツ
ク内におけるCGデータの有無によりセレクタ150,153を
切換え、ブロツク内にCGデータが存在しない場合は自然
画像符号化器151の機能を選択し、CGデータが１つでも
存在する場合はCGデータ符号化器152の機能を選択す
る。 第11図は第２実施例のCGデータ符号化器152の詳細を
示すブロツク構成図である。図において、入力端子160
〜162にはセレクタ150出力の画像データＬ^＊,a^＊,b^＊が
夫々入力する。一方、入力端子163〜178にはメモリプレ
ーン100の当該ブロツク内のCGビツトマツプデータが入
力する。セレクタ179はパラレル入力した16画素分のCG
ビツトマツプデータを不図示の画素クロツク信号に同期
して所定順序でシリアルに出力する。これによりセレク
タ180はセレクタ179の出力が論理“0"レベル（自然画像
データ）のときは画像データＬ^＊をメモリ183及び加算
器181に、画像データａ^＊,b^＊を夫々加算器184,185に出
力する。またセレクタ179の出力が論理“1"レベル（CG
データ）のときは画像データＬ^＊,a^＊,b^＊をルツクアツ
プテーブル（LUT）197に出力し、対応するCGコードデー
タを出力させてこれを合成器195に出力する。 CG画像ブロツク内の自然画像データの明度データＬ^＊
の符号化は以下の通りである。加算器181はブロツク内
自然画像データの明度データＬ^＊のみを累積加算する。
加算器188はブロツク内自然画像データの画素数を計数
する。メモリ183はブロツク内自然画像データの明度デ
ータＬ^＊を記憶する。こうしてブツク処理が終了する時
点では、除算器182は加算器181出力のブロツク内自然画
像データの明度データＬ^＊の総和を加算器188出力のブ
ロツク内自然画像データの画素数を除算し、明度データ
Ｌ^＊の平均値を求める。該平均値は符号の合成器195に
送られて所定ビツト数の部分符号となる。減算器189は
メモリ183から読み出した各明度データＬ^＊と除算器182
出力の平均値との差文を求める。メモリ190は減算器189
出力の各差分値を記憶する。また標準偏差演算回路191
は減算器189出力の各差分値を入力して二乗し、これら
の総和を求め、この総和を別入力の自然画像データの画
素数で除算を行つてブロツク内自然画像データの明度デ
ータＬ^＊の分散σ^２を求め、この平方根をとつて標準偏
差σを求める。正規化器192はメモリ190から読み出した
各差分値を前記求めた標準偏差σで正規化し、３値に量
子化する。 即ち、例えば上記表に従つて量子化する。 ここで、 S:差分値 σ：標準偏差 である。 CG画像ブロツク内の自然画像データの色度データ
ａ^＊,b^＊の符号化は以下の通りである。加算器184,185
はブロツク内自然画像データの色度データａ^＊,b^＊を夫
々累積加算する。除算器186,187は色度データａ^＊,b^＊
の各総和を加算器188出力の自然画像データの画素数で
除算し、ブロツク内自然画像データの色度データａ^＊,b
^＊の各平均値を求める。色度符号化器194は所定ビツト
数分の組合わせから色度劣化が最小となるような色の組
合わせの番号（色度コードと称す）を出力する。 第12図（Ａ）は第２実施例の符号化前のCGブロツク画
像データの輝度を示す模式図、第12図（Ｂ）は第２実施
例の復号化後のCGブロツク画像データの輝度を示す模式
図である。第12図（Ａ）において、画素310〜317はCGデ
ータであつて色、輝度共に一定である。一方、画素318
〜324は自然画像データであつて色、輝度は緩やかに変
化している。第12図（Ｂ）において、画素330〜337はCG
データであつて色、輝度共に元通りに復号化されてい
る。一方、画素338〜345は自然画像データであつてブロ
ツク内自然画像データに係る部分の色、輝度は３値に量
子化された値となる。 第13図（Ａ）は第２実施例の自然画像ブロツク符号化
コードの情報割り付けを示す図、第13図（Ｂ）は第２実
施例のCG画像ブロツク符号化コードの情報割り付けを示
す図である。第13図（Ａ）において、ビツトＦはCGブロ
ツクフラグＦ用の１ビツトであり第10図のライン2000を
介して合成される。これによりブロツクの復号時にはブ
ロツクコードデータの構造及び復号化の方法を識別でき
る。自然画像ブロツクの符号化コードはブロツク内全明
度データＬ^＊の平均値と、該明度データＬ^＊の明度の構
造情報を表わすベクトル量子化コード（明度構造コー
ド）と、色度データａ^＊,b^＊の各平均値をコード化した
色度コードから成る。第13図（Ｂ）において、CG画像ブ
ロツクの符号化コードはCGブロツクフラグＦの１ビツト
と、ブロツク内自然画像データの明度データＬ^＊の平均
値と、ブロツク内自然画像データとCGデータを区別する
ビツトマツプデータ及び３値の正規化コードから成る明
度コード、CGコードデータ、色度データａ^＊ｂ^＊の各情
報を示す色度コードによつて構成される。 尚、上述実施例の説明ではR,G,B画像データをY,I,Q画
像データやＬ^＊,a^＊,b^＊画像データに変換して符号化を
行つたが、符号化は特にこれらの信号変換等には依存し
ない。 また自然画像データの符号化方式はこれに限定され
ず、さらに符号長も固定長、可変長共に実施可能であ
る。 またブロツク内のCGデータの種類も１種に限定され
ず、ブロツク内に複数種のCGデータが存在する場合、必
要数だけCGコードデータを符号内に挿入すればよい。 以上述べた如く本発明の実施例によれば、符号化単位
内にコンピユータグラフイクスの様なCGデータが存在す
る際に符号化方法を切換え、CGデータを保持すること
で、復号画像において、CGデータが正しく再生され、CG
データの細線の切れや線の連続性を保持できる。従つ
て、画像上でのシミユレーシヨンの結果に誤りや不明瞭
な部分がなくなり、正しい情報伝達が可能となる。 ［発明の効果］ 以上説明したように、本発明によれば、一画面を所定
サイズに分割したブロックの画像を入力し、入力される
ブロック内にコンピュータで生成された画像データが存
在しない場合は、そのブロックの画像を単一の符号化方
法で符号化し、入力されるブロック内にコンピュータで
生成された画像データが存在する場合は、そのブロック
のコンピュータで生成された画像データからなる領域を
第一の符号化方法で符号化し、コンピュータで生成され
た画像データ以外からなる領域を第二の符号化方法で符
号化することにより、一画面を所定サイズに分割したブ
ロックの画像の特徴に適した符号化を行うとともに、一
つのブロック内に複数種の画像が混在するブロックに対
しては、ブロック内の各画像に、その画像の特徴に適し
た符号化を施すことにより、複数種の画像が入り組んで
組み合わされた画像に対しても、効率良く、かつ、画質
の劣化を抑制した符号化を行うことができる。

【図面の簡単な説明】 第１図は第１実施例の符号化部４の詳細を示すブロツク
構成図、 第２図は第１実施例のCGデータ符号化器26の詳細を示す
ブロツク構成図、 第３図は第１実施例の画像メモリ２の一記憶態様を示す
図、 第４図は第３図の各ブロツクについてCGデータが存在す
るブロツクには論理“1"を、存在しないブロツクには論
理“0"を付した図、 第５図（Ａ）は第１実施例の符号化前のCGブロツク画像
データの濃度を示す模式図、 第５図（Ｂ）は第１実施例の復号化後のCGブロツク画像
データの濃度を示す模式図、 第６図（Ａ）は自然画像ブロツク符号化コードの情報割
付けを示す図、 第６図（Ｂ）はCG画像ブロツク符号化コードの情報割付
けを示す図、 第７図は実施例の画像情報処理装置のブロツク構成図、 第８図は第２実施例に採用した画像メモリ２の構成外観
図、 第９図は第２実施例のメモリプレーン100の記憶態様を
示す図、 第10図は第２実施例の符号化部４の詳細を示すブロツク
構成図、 第11図は第２実施例のCGデータ符号化器152の詳細を示
すブロツク構成図、 第12図（Ａ）は第２実施例の符号化前のCGブロツク画像
データの濃度を示す模式図、 第12図（Ｂ）は第２実施例の復号化後のCGブロツク画像
データの濃度を示す模式図、 第13図（Ａ）は第２実施例の自然画像ブロツク符号化コ
ードの情報割り付けを示す図、 第13図（Ｂ）は第２実施例のCG画像ブロツク符号化コー
ドの情報割り付けを示す図である。 図中、１……画像入力装置、２……画像メモリ、３……
描画プロセツサ、４……符号化部、５……復号化部、６
……画像出力器、11……自然画像画素、12……ブロツ
ク、13……CGデータ画素、23,140……信号変換器、24,2
7,150,153……セレクタ、25,151……自然画像符号化
器、26,152……CGデータ符号化器、34〜36,197……LU
T、38〜40……比較器、37……ラツチ、42,179,180……
セレクタ、43〜46,181,184,185,188……加算器、47〜4
9,182,186,187……除算器、50〜52……量子化器、53…
…シフトレジスタ、54,195……合成器、41……NAND回
路、100〜103……メモリプレーン、110……画素、139…
…OR回路、183,190……メモリ、189……減算器、191…
…標準偏差演算回路、192……正規化器、193……シリア
ル−パラレル変換器、194……色度符号化器である。

Claims (1)

1. (57)【特許請求の範囲】 １．一画面を所定サイズに分割したブロックの画像を入
   力する入力手段と、 前記入力手段により入力されるブロック内にコンピュー
   タで生成された画像データが存在しない場合は、そのブ
   ロックの画像を単一の符号化方法で符号化し、入力され
   るブロック内にコンピュータで生成された画像データが
   存在する場合は、そのブロックの前記コンピュータで生
   成された画像データからなる領域を第一の符号化方法で
   符号化し、前記コンピュータで生成された画像データ以
   外からなる領域を第二の符号化方法で符号化する符号化
   手段とを有することを特徴とする画像処理装置。