JPS5947915B2 - カラ−画像信号処理装置 - Google Patents

Description

【発明の詳細な説明】 本発明は、カラー画像信号処理装置、特にカラー画像信
号を効率よく符号化し、情報蓄積や情報伝送などに利用
するカラー画像信号処理装置に関するものである。

従来カラー画像の符号化法には主としてテレビジヨン信
号の高能率伝送を目的とした符号化法としてＤＰＣＭ方
式が代表的である。

ＤＰＣＭ方式ではテレビジヨン信号を適当なクロツクで
たとえば９〜１０ＭＨｚ程度でサップリンし、各サンプ
ル点に対して周囲のサンプル点の信号から予測信号を作
り、前記サンプル点の信号と予測信号との差である予測
誤差信号を再量子化して伝送する方式である。一般的な
画像信号の性質により、予測誤差Ｊ信号の振幅は狭い範
囲に集中して発生するため、量子化レベル数を少なく量
子化しても画質劣化はそれほど大きくならないので一般
のＰＣＭと比らべ符号化に要するビツト量を削減するこ
とができた。し力化この方式は１標本点ごとにかならず
予測信号を送る必要があり、また予測誤差信号の量子化
に要するビツト数も、過負荷勾配、粒状性雑音、偽輪郭
等の画質劣化要因のため極端にさげることはできず、さ
らにこの符号化方式・は、一般の動画．像に適用するた
めｌ画面分の符号化を３３ｍＳ以内に行なう必要があり
処理は単純なものに限られるなどの欠点があつた。

本発明は画像の符号化時間に関する制限を緩和し画像の
局所的性質を利用して符号化して１画面−当りの符号量
を削減し、情報蓄積や情報伝送などに利用することを目
的としている。

第１図により本発明の符号化法の適用概念を説明する図
で、図中１００は対象とするカラー画像、Ｐ，，は画面
上にとられた第ｉ行、第ｊ列の画素、１０１−Ｒ，ｌＯ
ｌ−Ｇ，ｌＯｌ−Ｂはカラー信号を赤Ｒ、緑Ｇ、青Ｂの
３成分に分離した場合のカラー画像１００に対応した各
成分の画像プレーンである。

画素Ｐ，，の値を〔Ｐ，，〕で示すことにすると一般に
画像は〔Ｐ，，〕の２次元分布によつて表現される。そ
こで画像を符号化することは各画素の値〔Ｐ，，〕を符
号化することになる。第２図は本発明の基本原理を説明
する図であり第２図ａ中の符号２００はＲ，Ｇ，Ｂに分
離されたカラー画像の対応する１プレーンを示しＢｋは
１枚のプレーン２００を例えば４×４画素を単位として
区切り、切り出されたプロツクを示し、第２図ｂの２０
１は切り出されたプロツクＢｋの拡大図である。

本発明にもとづく符号化法ではＲ，Ｇ，Ｂの各プレーン
に対してプロツク２０１を単位として符号化を行う。す
なわち、１つのプレーンの符号化に当つては、多数のプ
ロツクに分割し、１つのプロツクＢｋの中に含まれるた
とえば１６個の画素Ｐ，，〜Ｐ，，，，，Ｈ，の信号値
〔Ｐ，，〕〜〔Ｐ，ｆ，，Ｈ，〕を次に示す階調成分Ａ
ｋ。，ａｋ，および分解能成分子，，〜Ｒ，ｆ，，，ｆ
，を用いて符号化する。ここでＢｋ。

はＢｋ内の画素のうち信号値〔Ｐ，，〕が閾値Ｔｋより
小さい画素Ｐ，，よりなるＢｋの部分集合、Ｂｋ，は閾
値Ｔｋ以上の画素Ｐ，，よりなるＢｋの部分集合である
。Ｍｋ。，ｍｋ，はそれぞれＢｋ。，Ｂｋ，に含まれる
画素数を示す。この時Ａｋ。，ａｋ，をプロツクＢｋの
階調成分と呼ぶ。このようにした場合Ｂｋの画素は互い
に排他的な２つの部分集合Ｂｋ。，Ｂｋ，の２種に分類
できる。そこでＢｋ内の画素のうち、Ｂｋ。に属す画素
に符号゛０”を与え、Ｂｋ，に属す画素に符号゛１”を
割り当てる時、各画素Ｐ，，に対してこの符号を式（１
）の関係を用いてＲ，，〜Ｒ．ｆ，，，ｆ，には上記の
符号゛０”，゛１”を各々次のように与える。これを分
解能成分と呼ぶ。このようにしてプロツクＢｋ内の任意
の画素の輝度を、（１）式で得られるＡｋ。

，ａｋ，のどちらかの信号値で近似することが本符号化
の基本であり、符号化出力としては基本的に階調成分Ａ
ｋ。，ａｋ，と分解能成分子，，〜Ｒ．．，，，，．，
，（１プロツクが４×４画素の場合）が与えられる。ま
た、このうち階調成分Ａｋ。，ａｋ，はプロツクＢｋ内
の画素の輝度のみから与えられているが、これらの値は
隣接するプロツクＢｋ−，，Ｂｋｆ，などの階調成分と
も強い相関を有すると考えられる。そこで階調成分Ａｋ
。，ａｋ，にかえて、その和成分Ａｋｍ、差成分Ａｋｄ
およびさらにＡｋｍのプロツク間の差Ｄｋｍを定義し、
とすると、Ａｋｄ，ａｋ．ｎでプロツクＢｋの状態を表
わすことができる。

このようにするとＡｋｄ及びＤｋｎｌはＡｋＯ，ａｋｌ
に比べ、その振巾分布がＯ近傍に集中しＡｋＯ，ａｋｌ
をそのまま符号化するよりも少ないビツト数で符号化す
ることも可能である。以上述べた処理をＲ，Ｇ，Ｂの各
成分に対し行うことにより符号化出力として階調成分、
分解能成分を得る。

本発明は以上述べた原理に基づくもので、さらにプロツ
クの大きさを画像の局所的性質に応じて可変化する手段
を持つものである。

すなわち、画像において輝度変化の大きな領域ではプロ
ツクを小さくしで符号化による劣化をおさえ、また輝度
変化の小さな領域では、プロツクを大きくして符号化を
行うことにより符号量の削減をはかる。ここでは、第３
図を用いてプロツクの大きさを可変とするための１方法
としてプロツクを順次分割する場合の原理を説明する。
第３図は本発明の一実現方法の原理を説明する説明図で
ある。

図中３０１は８×８画素を有しているプロック、３０２
〜３０５は４×４画素を有しているプロツク、３０６〜
３０９は２Ｘ２画素を有しているプロツクの場合を例と
して示す。まず原画を例えば８×８画素を有しているプ
ロツクに分割する。

その１つのプロツク３０１に着目しこのプロツクに対し
先に述べた符号化処理、すなわち階調成分Ａ。，ａｌと
分解能成分とに分離して符号化する符号化処理を行う。
符号化処理による変換後の画素の輝度値と変換前の画素
の輝度値の差ε１ｊをプロツク３０１内の全画素につい
て求める。次にプロツク内全画素についてεＩ，の自乗
ε，，２の総和ε１２を求める。すなわち、Ｉｊ である。

次にあらかじめ設定されている所のプロツクサイズ可変
のための閾値ε占と上記ε１２とを比較し、分割の変数
Ｄ１を定める。Ｄ１＝０の時には符号化処理による変換
誤差ε１２はプロツクサイズ可変のための閾値ε１２１
よりも小さいので、プロツク３０１をこのままの状態で
符号化する。

しかしＤ１＝１の時には画素プロツク３０１では変換誤
差ε，２が大きすぎるとして第３図に示すように、プロ
ツク３０１を４×４画素を有しているプロツク３０２〜
３０５に４分割する。この４分割された各プロツク３０
２〜３０５に対しても、上記と同様変換前後の誤差を求
める操作を行い誤差の総和ε２２を求める。同様にして
あらかじめ定められているプロツク可変のための閾値ε
２２１との大小比較により分割の変数Ｄ２を求める。す
なわちである。

Ｄ２＝０の時にはこのままのプロツクで符号化し、Ｄ２
＝１の時には、再度分割をくり返したとえば２×２画素
を有するプロツクに４分割し、このようにして４分割さ
れたプロツク２０６〜２０９の各々のプロツクに対して
符号化処理を行い、符号化出力を得る。このようにプロ
ツクを分割することによつて変換誤差が一定値以下で符
号化を行うことができ、また分割のための変数Ｄｌ，Ｄ
２を各プロツク毎に情報として保存すれば画像を容易に
復元できる。以上述べたように、本実施例ではＲ−Ｇ−
Ｂ各成分ごとに先に述べた、階調成分、分解能成分およ
び分割のための変数Ｄｌ，Ｄ２を符号化出力として、伝
送もしくはフアイル化することになる。

第４図は本発明の符号処理装置の構成を示すプロツク図
を示す。

図中４００は対象とするカラー画像、４０１は画像入力
部、４０２は３原色分離部、４０３１，４０３２，４０
３３はそれぞれ３プレーンに分解された画像の１プレー
ン分の信号をサンプリングしデイジタル信号に変換する
Ａ／Ｄ変換部、４０４１，４０４２，４０４３はそれぞ
れ１プロツク分の画素情報を蓄えることのできるバツフ
アメモリ、４０５，，４０５，，４０５３はそれぞれ３
プレーンの信号に対して符号化を行う符号化部、４０６
１，４０６２，４０６３は前述したプロツクの分割制御
を行うための符号化制御部、４０７は符号蓄積フアイル
部である。次に第４図を用いて本発明の符号化処理装置
の動作について説明する。

まずカラー画像４００は画像入力部４０１によつて走査
され３原色分離部４０２に送出される。この場合画像入
力部４０１は通常のカラーカメラ等を用いることができ
、例えば３管式カラーＴＶカメラを用いその出力がＲ，
Ｇ，Ｂの３原色ならば３原色分離部４０２は不要であり
、またＹＩＱに分解されている時には、３原色分離部４
０２は既存のＹＩＱ−ＲＧＢ変換を行う。また画像入力
部４０１の走査方式は各プレーンで分割するプロツクの
形状や大きさに合わせ、たとえば前述のように８×８画
素プロツクを最大プロツクとして順次分割するような場
合には８×８画素プロツク単位で走査できることが望ま
しいが、通常のテレビカメラのようなラスタ走査方式の
場合でも、後で述べるバツフアメモリ４０１１〜４０１
３でプロツクの大きさに対応した複数走査線分のバツフ
ア容量をもたせることでプロツク単位の処理が容易に行
えることは明らかであろう。次にこのようにして取り出
されて３原色Ｒ，Ｇ，Ｂに分離された信号は各プレーン
毎にＡ／Ｄ変換部４０３，，４０３２，４０３３によつ
てサンプリングされ、デイジタル信号に変換されて、プ
ロツク単位でバッフアメモリ４０４，，４０４，，４０
４，へ画素輝度情報として書き込まれる。

この各プレーン毎の画素輝度情報は符号化部４０５，，
４０５。，４０５，及び符号化制御部４０６，，４０６
，，４０６，によつて上述したプロツクサイズ可変な符
号化方式に従い、階調成分、分解能．成分に変換される
。この時、符号化部４０５は符号化制御部４０６で出力
される分割の変数Ｄ，，Ｄ，により８×８画素、４×４
画素、２×２画素等のプロツクを単位として処理を行う
が、これらは処理動作としては（１）式の操作を行うだ
けであり基本的に．はプロツクの大きさは関係なく、既
存の回路技術で容易に実現できる。また符号化制御部４
０６も式（３）にある誤差を検出し式（４），（５）に
示される分割の変数Ｄ，，Ｄ，を求めることが主たる機
能であり、既存の乗算器、加算器、比較器等を用いて容
易に実現できる。このように符号化された情報は分割の
変数Ｄ，，Ｄ２とともに符号蓄積フアイル部４０７へデ
イジタル符号として蓄えられる。なおこの符号化装置の
構成図（第４図）において、バツフアメモリ４０４，〜
４０４，、符号化部４０５，〜．４０５，および符号化
制御部４０６，〜４０６，は３原色に対応してそれぞれ
独立に構成した形で表現してあるが、メモリ容量及び各
部の処理能力に応じて必らずしも独立に用意することは
なく、１つの処理系を時分割で用いることも可能である
し、またマイクロプロセツサでソフトウエア的に上記機
能を実現できることも明らかであろう。

第５図は上記の符号化装置で符号蓄積フアイル４０７に
蓄えられている符号を復号し表示画像信号を得る復号装
置の構成を示す。

図中、５０１，〜５０１，は各プレーンに対応したバツ
フアメモリ、５０２，〜５０２，は復号部、５０３，〜
５０３，は復号制御部、５０４はカラー信号合成部、５
０５はカラー画像表示部である。第５図を用いて復号装
置の動作について説明する。符号蓄積フアイル４０７に
蓄えられている情報を各プレーン毎にバツフアメモリ５
０１，〜５０１３のそれぞれに一旦蓄える。

この時のバツフアメモリ容量は最小１プロツク分が蓄え
られればよい。次にバツフアメモリ５０１にある情報か
ら分割の変数Ｄ．，Ｄ，に相当する信号を復号制御部５
０３に送出し、また実際の階調成分、分解能成分に相当
する信号を復号部５０２に送出する。復合制御部５０３
でプロツクの大きさを検出し、この情報を復合部５０２
に送出する。復合部５０２では、復号制御部５０３によ
つて与えられたプロツクの大きさによつて階調成分と分
解能成分とを抽出しプロツク内各画素の輝度情報を復合
する。各プレーン毎に復号されたプロツク内各画素の輝
度情報はカラー信号合成部５０４に入力される。

カラー信号合成部５０４は、バツフアメモリを含み、入
力された輝度情報を一旦バツフアメモリに蓄える。次に
バツフアメモリ内にある輝度情報を画像表示部５０５の
走査速度や走査形式に合わせ順次読みだし、画像信号を
合成し、画像表示部５０５で復元し、所望の画像を得る
。なおこの復号処理装置においても各プレーン独立に復
号部構成する形式について説明したが、１つの処理系を
時分割で利用することが可能なことは明らかであろう。
以上本発明について述べたが本文中ではプロックの可変
方法として、プロツクを順次分割していく方法について
説明したが、プロツクを拡張していく方法を採用しても
よく、またプロツクの形状についても正方形に限らず、
長方形のプロツクでも何らさしつかえない。またプロツ
クサイズを可変にするためのパラメータとして変換誤差
ε，を用いたが、何もこれに限ることはなく例えば変換
による誤差の絶対値和でもよく、更に輝度変化の大小に
よりプロツクの大きさを切り換えることを考えれば階調
成分Ａｋ。，ａｋ，の差分値すなわち式（２）で述べた
Ａｋｄの値によりプロツクの大きさを変更しても良い。
更に輝度変化の少ない領域では８×８画素プロツクのよ
うな大きなプロツクを使つて符号化を使うかわりに４つ
の４×４画素プロツクでそれぞれのプロツクを１つの輝
度信号のみで表示しても良く、この場合は分解能成分も
不要となり、（２）式で述べたＡｋ．ｒ．のみを輝度情
報とすることが可能である。

なお上記説明において、符号化した信号をフアイルする
ことを示したが、符号化した信号を直接伝送路を介して
伝送する伝送システムに適用できることは言うまでもな
い。

以上説明したように本発明による符号化及び復号処理装
置によれば、画像の局所性質に応じてプロツクの大きさ
が可変されるため、符号化・復号処理装置として高能率
かつ高品位の画質が得られ、本文で説明したような画像
フアイルシステムに用いればフアイル量を削減でき、ま
た通信システムに用いた場合伝送時間を短縮できる利点
がある。

【図面の簡単な説明】

第１図は本発明による符号化方式の適用概念を説明する
説明図、第２図は本発明による符号化方，式の基本原理
を説明する説明図、第３図は本発明による符号化方式の
主原理を説明する説明図、第４図は本発明の符号化処理
装置の一実施例構成を示すプロツク図、第５図は本発明
の復号処理装置の一実施例構成を示すプロツク図を示す
。 １００・・・・・・対象とするカラー画像、１０１・・
・・・・カラー信号を赤Ｒ、緑Ｇ、青Ｂの３成分に分離
した場合のカラー画像１００に対応する各成分の画像プ
レーン、２００・・・・・・各成分の画像プレーンの１
枚、２０１・・・・・・画像の処理単位であるプロツク
、３０１・・・・・・８×８画素を有するプロツク、３
０２〜３０５・・・・・・４×４画素を有するプロツク
、３０６〜３０９・・・・・・２×２画素を有するプロ
ツク、４００・・・・・・カラー画像、４０１・・・・
・・画像入力部、４０２・・・・・・３原色分離部、４
０３１〜４０３３・・・・・・Ａ／Ｄ変換部、４０４，
〜４０４３・・・・・・バツフアメモｌ八４０５１〜４
０５３・・・・・・符号化部、４０６１〜４０６３・・
・・・・符号化制御部、４０７・・・・・・蓄積フアイ
ル部、５０１１〜５０１，・・・・・・バツフアメモ１
八５０２１〜５０２３・・・・・・復号部、５０３，〜
５０３３・・・・・・復号制御部、５０４・・・・・・
カラー信号合成部、５０５・・・・・・画像表示部。

Claims (1)

【特許請求の範囲】
1. １ カラー画像信号を３原色成分に分解する３原色分離
   部、各成分毎に信号をサンプリングしディジタル信号に
   変換するＡ／Ｄ変換部、該Ａ／Ｄ変換部によつて得られ
   た各成分対応のディジタル画像信号を一時蓄積するバッ
   ファメモリ部、該バッファメモリ部に蓄積された２次元
   的分布をする各成分の画像信号をそれぞれ２次元的な小
   ブロックに分割して各ブロック毎に該ブロック内に属す
   る各画素の輝度の輝度平均値を求め、該輝度平均値を閾
   値とし前記ブロック内の各画素について前記閾値より大
   きい輝度値をもつ画素の集合と前記閾値より小さい輝度
   値をもつ画素の集合に分け、前記２つの集合の各々の平
   均輝度値に該当する階調成分を求め、前記ブロックに含
   まれる各画素の輝度値と上記閾値との大小関係により各
   画素の輝度値を前記階調成分の値におきかえ変換輝度値
   とする手段と前記各画素が上記２つの集合のいずれに属
   するかを示す情報に該当する分解能成分を得る手段と上
   記階調成分の和および差の値を求める手段とさらに該ブ
   ロックに近接するブロックについての上記階調成分を求
   める場合と同様の手段で求められる値の和と該ブロック
   の上記階調成分の和との差を求める手段とによつて構成
   され、前記階調成分の和の値の前記小ブロック間での前
   記差情報ならびに前記階調成分の前記差情報および前記
   分解能成分を符号化出力とする符号化部、および該ブロ
   ックの原輝度値と前記符号化処理部で得られた前記変換
   輝度値との差を求め該差の自乗値の当該ブロック内での
   総和とあらかじめ定めたブロックの大きさを可変とする
   ための閾値とを比較し、前記総和が前記ブロックの大き
   さを可変とするための閾値より大ならば前記ブロックの
   大きさを小さくし、小ならば前記ブロックの大きさをそ
   のままもしくは大きくして成分の符号化処理部を行わせ
   るための制御信号を前記符号化部に出力し、前記符号化
   に当つてのブロックサイズを可変制御する機能および前
   記制御信号を前記符号化出力とともに出力する機能を有
   する符号化制御部をそなえることを特徴とするカラー画
   像信号処理装置。