JPS61501424A - 標本色彩画像信号のための信号処理方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 標本色彩画像信号のための 信号処理方法及び装置 技術的分野 この発明は、高度標本化色成分と非高度標本化色成分とを持っている形式の標本 色彩画像信号を処理するための信号処理方法及び装置に、更に詳しくは、非高度 標本化色成分の標本値の補間信号値を与える念めのそのような信号処理方法に関 係している。

ある種の色彩画像検出装置は画像の一つの色成分を他の色成分よりも高い空間標 本化周波数で標本化することによって標本色彩画像信号を発生している。このよ り高度に標本化された色成分は、人間の目が画像細部に最も敏感であるスペクト ルの部分に通常対応しており、しばしば堺度成分と呼ばれる。ここで使用される ところの「輝度成分」の用語は、緑であれ、白であれ、又はある種の他の色であ れ、最も高度に標本化された包成　分を指す。

非高度標本化色成分は、しばしばクロミナンス成分と呼ばれ、例えば、赤及び青 、又はシアン及び黄からなる゛ことができる。

ここで使用されるところの「クロミナンス成分」の用語は、特定の色Ｋかかわら ず画像の高度にでなく標本化された色成分を指す。

この形式のある種の色彩画像検出装置においては、一つのイメージセンサが画像 の輝度成分を標本化し、且つもう一つのイメージセンサが二つのクロミナンス成 分を標本化している。クロミナンス成分を標本化するイメージセンサの画像検出 素子は一方の色と他方の色とが交互てなっている。

他の色彩画像検出装置においては、画像の輝度及び二つのクロミナンス成分を検 出するのに単一のイメージセンサを使用している。このイメージセ／すの画像検 出素子は、輝度成分を標本化する念めの素子と、クロミナンス成分の一方に続い て他方を標本化するための素子とが交互：てなっている。

これらのカラーイメージセンサによって発生された標本色彩画像信号から画像を 再建する場合には、各標本位置に対して輝度及びクロミナンス成分の値が与えら れる。これは一般に、非高度標本化色成分の標本値間のある形式の線形補間を使 用することによって行われる。クロミナンス成分の線形補間による色彩画像の再 建は、元の画像に存在する実際の色値からの補間値の偏移のために、画像細部の 領域におげろ合縁の出現を生じることになる。

再建画像におけるこのような合縁の出現も減少させるために信号処理を行うこと は知られている。１９７９年１１月２７日発行のディロン（ＤｉｌｌＯｎ　）及 びベイヤー（Ｂａｙｅｒ　）　の米国特許第４１７６３７３号は、輝度（緑）画 像検出素子にクロミナンス成分（赤及び青）画像検出素子を散在させた市松模様 のパターンを持った単一のイメージセンサ【よって発生された輝度及びクロミナ ンス標本値間の値を補間する之めのアナログ信号処理装置を開示している。この 装置はクロミナンス成分標本間の線形補間を行い、次に輝度信号の高空間周波数 部分を補間クロミナンス成分信号に加える。輝度信号の高空間周波数部分を補間 クロミナンス成分信号だ加えると、画像信号の高空間周波数部分を中性色の方へ 押しやることによって画像細部の領域における合縁の出現が減少する。ディロン 及びベイヤー知よって開示された信号処理法は画像の細部領域におげろ合縁の出 現を減少させるのに有効であるけれども、この方法は画像信号のクロミナンス成 分信号の標本値を変更することの犠牲においてこの目的を達成している。その結 果、合縁の出現は減少するけれども、画像細部の領域に幾らかの色相偏移が導入 される。

この発明の目的は、好ましくない色相偏移を導入することな（画像微細部の領域 における合縁の出現を減少させるための信号処理方法を提供することである。

発明の開示 上述の目的は、近隣のクロミナンス成分標本位置におけるクロミナンス成分値及 びｇ１客値の関数としてこの近隣位置における色相成分値を表す信号を形成する こと、近隣の色相成分値の関数として補間色相成分値を表す信号を形成すること 、並びに補間色相成分値及び補間位置における輝度値の関数として補間クロミナ ンス成分値を表す信号を形成することによって達成される。

ンス成分）の値を関係させる量を指している。色相成分を補間し且つ補間色相数 分から補間クロミナンス成分を導出することばよって、色相は念だ除徐に変化す ることを許され、これによリ、好ましくない色相偏移を導入することなく画像細 部の領域における合縁の出現がψ、・する。

この発明の一実施例にお℃・ては、標本色彩画［象信号が露出空間における輝度 及びクロミナンス値を表しており、色相成分値を表す信号が各クロミナンス成分 譚本位置における輝度値に対する標本クロミナンス成分値の比として形成され、 且つ補間クロミナンス成分値が補間色相成分値と補間位置における輝度値の積と して形成される。

この発明の別の実施例においては、標本色彩画像信号が密度空間（でおける輝度 及びクロミナンス値を奏しており、色相成分値が標本クロミナンス成分値と各ク ロミナンス成分標本位置における輝度値との差として形成され、且つ補間クロミ ナンス成分値が補間色相成分値と補間位置における輝度値との和として形成され る。

この発明を実施する方法は図面を参照して以下シて説明されるが、その図面中、 図１は標本色彩画像信号を発生し、処理し且つ表示するための二つのイメージセ ンサを備えた装置を概略的に示しており、図２は図１に示された画像検出装置に よって発生された標本色彩画像信号に適用される信号処理方法を説明するのに有 効な線図であり、 図３はこの発明の信号処理方法によって行われる本質的な機能を図解しｔ９４成 図であり、 図４は標本色彩画像信号を発生するための単一イメージセンサを備えた装置を概 略的に示してお）、図５は図４に示された画像検出装置によって発生された信号 に適用される信号処理方法を説明するのに有効な線図であり、又 図６は図３に示された単一イメージセンサに対する別の色彩標本色彩画像信号を 発生し、この標本色彩画像信号を処理し、且つ処理済み標本色彩画像信号を表示 するための装置が図１に示されている。この装置には、一対のイメージセンサ、 例えばＣＯＤ画像検出配列体、上に画像を形成する念めの、レンズ１０、ビーム スプリッタ１２及びミラー１４を備えた光学系がある。

イメージセンサ１６は画像の輝度部分を検出するものであって、一様な緑の色フ ィルタ２０を備えている。イメージセンサ１８は画像のクロミナンス成分を検出 するものでおって、図だおいてＲ及びＢと記された交互の赤及び青の垂直なしま 模様を持ったしま模様色フィルタ配列体を備えて℃・る。

イメージセンサ１６によって発生された標本アナログ輝度信号は線２４によりア ナログ−ディジタル変換器２６を通してディジタル計算機２２に供給される。イ メージセンサ１８によって発生された標本アナログクロミナンス信号は線２８に よりアナログ−ディジタル変換器３０を通して計算機２２に供給される。

ディジタル計算機２２はこの発明に従って信号処理を行い、色彩画像信号におけ る標本クロミナンス成分値の間のクロミナンス成分値を補間する。

ディジタル計算機２２は、中央処理装置３２、未処理及び処理済みのディジタル 色彩画像信号を記憶するためのフレーム記憶装置３４、並びに計算機のための制 御プログラムを記憶するための等速呼出記憶装置及び固定記憶装置、ＲＯＭ及び ＲＡＭ３６及び３８を備えている。ディジタル画像信号はデータ母線４０により 計算機に供給される。処理済み画像信号はディジタル−アナログ変換器４６を通 してＣＲＴ４２のような表示装置又はグラフィックアート走査器４４に供給され る。

装置の各素子は図１においては物理的に接続されて示されているけれども、それ らの素子を物理的に分離して、磁気テープ又はディスクのような記憶媒体により それらの素子間で信号を運ぶようにしてもよい。例えば、イメージセンナからの 標本アナログ信号をずデオ磁気テープレコーダに直接記録してそれを後程信号処 理のために計算機に供給してもよい。同様に、処理済み標本画像信号を後程の表 示のために記録してもよい。この発明は多目的ディジタル計算機を用いて実施さ れたけれども、この発明を実施するためにプログラム式マイクロプロセッサ又は 注文設計による集積回路を使用することができることは技術に通じた者には明ら かであろう。

計算機２２によって行われる信号処理方法を今度は図２を参照して説明する。図 ２は輝度イメージセンサ１６上の０１〜Ｇ。

と記された水平な行の一部分の画像検出位置、及びクロミナンスイメージセンサ １８上の対応する水平な行の一部分を示している。信号処理方法の目的は、画像 細部の領域においてこの領域に色相＠移を導入することなく合縁を減少させるよ うに補間クロミナ、ンス成分値（例えば、Ｂ、　、　Ｂ、　、　Ｂ、など）を与 えることである。このためには、画像強度情報が忠実だ再生されると共に一つの 標本化位置から次の標本化位置へと滑らかな色相変化だけが許されることが必要 である。

一様な色相の画像においては、一つの標本位置（Ｒｘ＋Ｇｘ）Ｋおける輝度（Ｇ ）の値及びクロミナンス成分の一つ（例えば赤成分Ｒ）は、露出空間において のように別の位置におげろ値（Ｒ，、Ｇｙ）に関係づけられる。

Ｒｙが補間位置における未知のクロミナンス成分値を表している場合には、方程 式（１）から 分を表している。

普通の色彩画像におけるように、一様な色相を持っていない画像においては、隣 り合ったクロミナンス成分標本位置間の色相成分値を補間することによって滑ら かに変化する色相が確保される。すなわち、補間クロミナンス成分Ｒ１はとなる 。但し、プライムの付いた色相成分は隣シ合ったクロミナンス成分標本位置間の 補間色相成分値を示しており、且つ鐸度値Ｇ１−１：補間位置（ておける輝度値 である。

この信号処理方法は、障り合ったクロミナンス成分標本位置ておける色相成分値 間の線形補間全使用することによって、図１及び２に示された装置によって発生 された信号に適用される。

〕出空間における補間クロミナンス成分値はのよ５Ｋして得られ、又他方のクロ ミナンス成分についてモ同様に のようにして得られる。又、色相成分は密度空間において補間することができる 。密度空間においては、方程式（３）はＪ−ＯｇＲ’　＝　ＬｏｇＧ＋　（Ｊ− ｏｇＲ−４ｏｇＧ　）　’　（６）となる。但し、括弧内のプライムの付いたｌ ？ｉ隣り合っ念クロミナンス標本位置間の補間色相成分値を示している。図２に 表示された信号に線形補間を適用することによって、密度空間における補間クロ ミナンス成分値は Ｊｕｇ　Ｒ＋２＝λｏｇＧ、　−１−（（ＪｏｇＲ，−ｆｏｇＧ、　）＋　（Ｊ ｏｇＲ，−Ｊ、ｏｇＧ、　）　］／２　（７）のよってして得られ、又他方のク ロミナンス成分についても同様に ＆ｇ已−＝　ＪａｇＧ、＋（（ｆｏｇＢ□−Ｊ！ｏｇＧ、）−（−ｉ！ｏｇＢ４ −　ＪａｇＧ４）　］／２　（８）のようにして得られる。

図３はこの発明の信号処理方法を実行するためにプログラム式計算機３２（でよ って行われる本質的機能を図解した構成図である。色相成分信号発生装置５０は 標本渾度信号Ｇ及び標本クロミナンス成分信号Ｒ，Ｂを受けて、前述のよう：て クロミナンス成分信号を輝度信号で割ることによって色相成分信号ＨＲ，ＨＢを 発生する。又は、密度空間における演算を行う際には、前述のように輝度信号の 対数がクロミナンス成分信号の対数から差し引かれる。

補間装置５２は色相成分信号ＨＲ，Ｈ３を受けて、補間位置における色相成分を 表す補間色相成分信号ＨＲ’ｌ’Ｂ’　ヲ！生ずル。

前述のように、行われる補間は線形補間であることが望ましい。

又は、より高次の補間を行ってもよい。補間クロミナンス取分信号を発生するた めの装置５４は輝度信号Ｇ及び補間色相成分信号）（Ｒ１、ＨＢｌ　を受けて、 前述のように輝度信号に補間色相成分信号を掛けることによって補間クロミナン ス成分信号ＲＺ（，１を発生する。

又は、密度空間においては、輝度信号Ｇの対数が補間色相取分信号ＨＲ’＋ＨＢ ’の対数に加えられて、補間クロミナンス成分信号＆ｇＲ’　、　ｆｏｇＢ　’ が発生される〔式（６）を見よ〕。

前の例では、各位置における３度値は各標本位置においてイメージセンサ１６に よって測定された実際の値であった。図４は単一チップカラーイメージセンサの 例を示しており、この場合には水平方向における暉度標本化位置はクロミナンス 成分標本化位置によって分離されている。この単一チップカラーイメージセンサ １６１には交互配列の緑、赤、緑、青（Ｇ、Ｒ，Ｇ、Ｂ　）の色フィルタからな る垂直なしまのある色フイルタ配列体が設げられている。信号を処理して表示す るための装置のその他の素子は図１に示されたものと同じである。図１のものに 類似した素子にはプライム（りの付い次番号が付けられている。

イメージセンサ１６’によって発生され比信号にこの発明の信号処理方法が適用 される場合：ては、クロミナンス成分標本化位置（Ｒ，Ｂ）に対する輝度値ＣＧ ）が適当な形式の補間によって供給される。図５はイメージセンサ１６１におけ る１行の画像検出位置の一部分を示している。クロミナンス成分標本位置Ｒ２に おける補間輝度値は、例えば、 のような線形補間によって発生することができるであろう。但し、プライムは輝 度値が補間値であることを示している。その他の輝度値も同様の方法で得られる 。

補間輝度値を用いて、この発明の信号処理方法を露出空間における信号に適用す ること、次のような補間クロミナンス成分値が得られる。

ここで、色相成分値は標本化位置からの関連の検巴位置の距離を考慮に入れるた めに重み付けされており、又プライムの付いた輝度値（（、Ｉｎ）は補間輝度値 を表している。青のクロミナンス成分値も同様の方法で発生される。図３の構成 図においては、補間装置５６が点線で示されている。この補間装置は補間輝度値 Ｇ１を供給する。

密度空間だおいては、この発明の信号処理方法は次のように適用されて赤のクロ ミナンス成分値を発生する。

Ｌｏｇａ’３＝　Ｊ−ｏｇｃ３＋　Ｃ３（Ｊ−ｏ１２−　Ｊ！ｏｇＧ’□）＋（ −ｋｇＲ，−１ｏｇＧ’、）：ｌ／４　（１３）−！ｏｇＲ’、　：　ＪｏｇＧ ’、　−）−（（ＬｏｇＲ，−Ｊａｇ３＋□）＋（ｉｏｇＲｓ−ＬｏｇＧ’ｓ） ：］／２　（１４）１０ｇＲ＋、＝　Ｊ−ｏｇＧ、　＋　（（ＪｏｇＲ２−ｋＧ ’、）＋３（Ｊ−０ｇＲ６−ｊ！ｏｇＧ’６）］／４　（１５）青のクロミナン ス成分値も同様の方法で発生される。

単一チップカラーイメージセンナに対する別の周知のフィルタ配列パターンは市 松模様（チェック）のパターンである。発明者にちなんで、しばしばベイヤー配 列（Ｂａｙｅｒ　ａｒｒａｙ　）と呼ばれる一つの市松模様のパターンが、１９ ７６年７月２０日ビー・イー・ベイヤーＣＢ、ＪＢａｙａｒ　）に発行された米 国特許第３９７１０６５号に記載されている。ベイヤー配列バター／の一部分が 刀６に示されており、ここでは以下の説明の目的の念めに標本位置の幾つかに番 号が付けられている。

ベイヤー配列においては、各クロミナンス成分漂本化位置は四つの直近の成度襟 太化位置によって取り囲まれている。補間輝度値全発生する一つの適当な方法は 次のようにこの四つの最近隣部の輝度全平均することである。

ここで、プライムは補間値を示しており、又ＩＪｎは最近済部の輝度である。

ベイヤー配列の標本化パターンを持つ之イメージセンサによって発生された信号 にこの発明の信号処理方法を適用する場合ては、三つの異なった標本化形態のこ とを考慮するべきである。

図６において５８と記された領域てよって示された第１の形態においては、測定 クロミナンス成分値が補間位置の両側部に存在している。図６において６０と記 された第２の形態においては測定クロミナンス成分値が補間位置の上及び下に存 在し、スス６において６２と記された領域によって示された第３の形態露出空間 においては、この発明の信号処理方法はベイヤー配列によって発生され定信号に 対して次のように適用される。

第１の形態に対しては 第２の形態に対しては 又第３の形態て対しては であって、ここでプライムの付いた輝度値は補間値を示している。他方のクロミ ナンス成分（例えば、青成分）の補間値も同様の方法で発生される。

密度空間においては、この発明の信号処理方法は次のようだ適用される。

２ｏｇＲ’　□＝＝　ｉｏｇｃ２＋（ＣＬｏｇＲ，−ｆｏｇＧ’□）＋　（＆ｇ Ｆ＋、−４ｏｇ（、＋３）　〕／２　（２０）”Ｒ’ｓ　＝　ｊ−０ｇＧ５　＋ （（−＃ｇＲ４−）−ｏｇ（、＋。）＋（ｊ’ｏｇＲ，−ＪｏｇＧ−）：］／２ 　（２１）ｋｇＲ’ｓ＝　Ｊ−ｏｇＧ−＋〔（ＪｏｇＲ，−ｊ−ｏｇＧ’、）＋ （４ｏｇＲ１□−ＪｏｇＧ’１．）：］／４　（２２）他方のクロミナンス成分 値（例えば、青成分）も同様の方法で決定される。

植種の写真画像を標本化して標本色彩画像信号が発生され、この標本色彩画像信 号に対してこの発明による信号処理方法が適用された。処理済み標本色彩画像信 号から再生され良画像は画像細部の領域において合縁が減少していることが判明 し、又これらの領域においては目立つほどの色相偏移がなかった。従来技術の方 法に従って処理された信号から再生された画像に比べて明確な改善が認められた 。画像信号が露出空間において処理されたとぎに発生された信号値は画像信号が 密度空間において処理されたときに発生された信号値かられずかに変化していた けれども、処理済み信号からの各再生画像の感覚的印象における差はそれほど大 きくはないので、一方の信号処理空間を他方のものよりも望ましいと決定するこ とはできないであろう。

輝度値を補間すに特定の方法はこの発明の一般的概念の本質的な特徴部分ではな いけれども、ベイヤー配列のような市松模様形式の標本化パターンを持った単一 チップカラーイメージセンサからの信号を処理する場合には、この発明の発明者 によって　に出願された「標本画鐵信号のための信号処理方法及び装置（Ｓｉｇ ｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｍｅｔｈｏｄ　ａｒｌｄ　ａ−ｐｐａｒａｔｕ ｓｇｏｒ　ＳＩＬｍｐｌｅｄ　工ｚａｇｅ　Ｓ工ｇｎａｌｓ　）　Ｊという名称 の同時出願係属中のＰＣＴ国際特許出願第　号に開示された形式のパターン認識 補間方法（てより最良の結果が達成される。このパターン認識補間方法において は、それぞれの複数の既知の幾何学的画像特徴部を完成させる補間信号値を発生 するのに適した複数の補間ルーチンが使用されている。近傍の輝度標本値を検査 してどの幾何学的画像特徴部がこの局部近傍の標本値（（よって表されているか を決定し、そして適当な補間ルーチンを使用して補間信号値を発生している。

この発明は全フレーム記憶装置を備えた信号処理装置によって行われるものとし て説明されてきたけれども、この発明の信号処理方法を行うためには信号処理装 置が一時に画像標本の数行分だけを記憶すればよいことは技術に通じ念者には明 らかであろう。

更に、この発明は多目的ディジタル計算機を用いて実施され之げれども、プログ ラム式マイクロプロセッサ又は注文設計てよる集積回路を用いてこの発明を実施 することができることは技術に通じた者には明らかであろう。

この発嬰による信号処理済み標本色彩画像信号から再生された画像において画像 細部の領域における色相偏移を導入することなく合縁を減少させるという利点を 持っている。この発明は、標本式カラーイメージセンナを用いたしろうと又は本 職用のビデオ及びスチール画像形成装置、及び標本色彩画像信号から画像を再生 するためのグラフィックアート装置に有効である。

ム 国際謂査韻失 ノーｒＭＬ’ｂ□τＯ，Ｆ２１ＮＴＥＲ＋ＮＡτｒｏ）■ＡＬＳＥＡＲＣ：ヨ！ ＲＥＰＯＲＴＯＮ

Claims (8)

【特許請求の範囲】
1. １．高度標本化輝度信号成分と非高度標本化クロミナンス信号成分とを持つた標 本色彩画像信号における標本クロミナンス成分値間の補間クロミナンス成分値を 表す信号を発生するための信号処理方法であつて、 近隣のクロミナンス成分標本位置における色相成分値を表す信号をこの近隣位置 における輝度値及びクロミナンス成分値の関数として発生すること、 補間位置における補間色相成分値を表す信号を近隣の色相成分標本値の関数とし て発生すること、並びに補間クロミナンス成分値を表す信号を補間位置における 補間色相成分値及び輝度値の関数として発生すること、によつて特徴づけられて いる前記の信号処理方法。
2. ２．標本色彩画像信号が露出空間における輝度値及びクロミナンス成分値を表し ており、色相成分値を表す信号がそれぞれの標本位置における輝度値に対する標 本クロミナンス成分値の比として発生され、且つ補間クロミナンス成分値が補間 位置における輝度値と補間色相成分値との積として発生される、請求の範囲第１ 項に記載の方法。
3. ３．標本色彩画像信号が密度空間における輝度値及びクロミナンス成分を表して おり、色相成分値がそれぞれの標本位置における標本クロミナンス成分値と輝度 値との差として発生され、且つ補間クロミナンス成分値が補間位置における輝度 値と補間色相成分値の和として発生される、請求の範囲第１項に記載の方法。
4. ４．補間色相成分値を表す信号を発生する段階が線形補間を含んでいる、請求の 範囲第１項、第２項又は第３項に記載の方法。
5. ５．輝度成分及び一つ以上の標本クロミナンス成分を持つた標本色彩画像信号を 処理するためのものであり、このクロミナンス成分によつて表された標本化位置 が空間的に互いに分離しており、且つ近隣のクロミナンス成分標本位置間の補間 位置における補間クロミナンス成分値を表す信号値を与える信号処理装置であつ て、 ａ）近隣のクロミナンス成分標本位置における輝度及びクロミナンス成分値を表 す信号に応答して近隣のクロミナンス成分標本位置における色相成分値を表す信 号を発生することのできる装置、 ｂ）近隣の色相成分値を表す信号に応答して補間位置における補間色相成分値を 表す信号を発生することのできる装置、並びに ｃ）補間位置における輝度及び補間色相成分値に応答して補間クロミナンス成分 値を表す信号を発生することのできる装置、によつて特徴づけられている前記の 信号処理装置。
6. ６．標本色彩画像信号が露出空間における輝度及びクロミナンス成分値を表して おり、且つ、色相成分値を表す信号がそれぞれの標本位置における輝度値に対す る標本クロミナンス成分値の比として発生され、且つ補間クロミナンス成分値が 補間位置における輝度値と補間色相成分値の積として発生される、請求の範囲第 ５項に記載の信号処理装置。
7. ７．標本色彩画像信号が密度空間における輝度及びクロミナンス成分値を表して おり、且つ、色相成分値がそれぞれのクロミナンス成分標本位置における輝度値 と標本クロミナンス成分値との差として形成され、且つ補間クロミナンス成分値 が補間位置における輝度値と補間色相成分値の和として形成される、請求の範囲 第５項に記載の信号処理装置。
8. ８．補間色相成分値を表す信号を発生することのできる装置が近隣の色相成分信 号値間に線形補間を行うための装置を備えている、請求の範囲第５項、第６項又 は第７項に記載の信号処理装置。