JPH11505389A - ディスクリートコサイン変換を用いた色調回復のためのシステムおよび方法 - Google Patents

Abstract

(57)【要約】 画像のフルカラー解像度は、画像を表す画像信号から画像データポイントのアレイを再構築して、シフトされた疑似絵素アレイにすることによって実現される。アレイの特定のグリッドタイプによって、色調回復が垂直解像度のみを用いるか、水平解像度のみを用いるか、垂直解像度の後に水平解像度を用いるか、水平解像度の後に垂直解像度を用いるかが決まる。各色チャネルに関して、まず画像データポイントのＤＣＴを行い、その後ＤＣＴ係数の変形ＩＤＣＴを行うことによって、欠けている色成分の補間が行われる。

Description

【発明の詳細な説明】 ディスクリートコサイン変換を用いた色調回復のための システムおよび方法 本願は、1995年6月8日公告された国際公告第ＷＯ９５／１５５３８号に対応す る、本願より前に出願した米国出願の一部継続出願である。 発明の背景 １．発明の分野 本発明は一般に、改良された画像処理システムおよびこのシステムと共に用い る画像処理方法に関する。具体的には、本発明は、画像色調回復のためのシステ ムおよびその方法に関する。 ２．先行技術の説明 画像は、空間的または時間的に分布する何らかの視覚的現実の２次元的表現で あると考えることができる。通常、画像は、人間の視覚系が明るさ、色および時 にはデプスキュー（depth cue）などの外部からの刺激の変形物として認識する ものである。画像をキャプチャ（capture）して再生するための技術が何年にも わたって数多く開発されているが、コンピュータまたは他の専用電子ハードウェ アを用いて操作、処理、または表示することができる連続的信号、離散的信号、 またはデジタル信号としての画像の表現は、最新の技術である。この最新の技術 は現在十分に確立されており、この技術には種々の有益な応用がある。例えば、 電子的な形態では、特殊視覚効果をつくりだすようにエンハンスされ、復元され 、離れた場所への送信用に符号化され、メモリ（ＣＤＲＯＭ、ＤＡＴ、フロッピ ーディスクなど）に格納され、再構築され、表示されるか、または他の何らかの 実体的な形態に変換される。 画像処理は、空間領域または周波数領域のような様々な領域で起こり得る。画 像を表記するときに用いるクロミナンスなどのパラメータの値が空間的ロケーシ ョンに直接対応するとき、画像は空間領域にあると言われる。周波数領域では、 空間領域の画像は、三角関数の形式の一連の周波数成分によって表記され得る。 この三角関数は、空間領域の各画像データポイント（すなわち、画素）について 合計されたとき、空間領域のその特定の画像データポイントの画像を特徴づける ために用いられるパラメータの値を生成する。そのような表記を拡張して画像の 全画像データポイントをカバーすることもできる。 空間領域では、元の画像データは、空間的ポジションの連続的な関数として表 記することができ、２次元の場合にはｓ_c（ｙ，ｘ）として表される。ほとんど の応用では、ｘ＝ｉＴ_hおよびｙ＝ｊＴ_vで水平方向および垂直方向に沿ってこの 連続的な空間的画像をサンプリングすることが可能でありかつ都合がよい。ここ で、ｉおよびｊは整数の指数であり、Ｔ_hは水平サンプリング期間であり、Ｔ_vは 垂直サンプリング期間である。これによりポイントの行列ｓ_c（ｊＴ_v，ｉＴ_h） が生成され、以下の説明では、２次元の場合これをｓ（ｊ，ｉ）として示される 離散的信号で表し、ここで小文字ｓは空間領域を表し、ｉは行のインデックスで あり、ｊは列のインデックスであり、ｉおよびｊは０から始まるように初期化す ることができる。周波数領域では、行列を用いて、従来からＳ（ｖ，ｕ）で示さ れる変換行列で周波数データを表記する一組の変換係数として画像を数学的に表 記することもできる。ここで、大文字Ｓは周波数領域を表し、ｕは行のインデッ クスであり、ｖは列のインデックスである。 空間的画像データポイントは、フーリエ変換またはディスクリート・コサイン 変換（discrete cosine transform）のような変換を用いて周波数領域に変換さ れ得る。デイスクリート・イーブン・コサイン変換（discrete even cosine tra nsform）（以下、ＤＥＣＴと称す）および逆ディスクリート・イーブン・コサイ ン変換（inverse discrete even cosine transform）（以下、ＩＤＥＣＴ）を用 いて画像圧縮を行うことは当該技術分野において周知であり、実際に、このよう な慣習は、国際電信電話諮問委員会（Consultative Committee on Internationa l Telegraphy and Telephony）(CCITT)および国際標準化機構（International S tandards Organization）（ISO）の共同事業の一部としてつくられたジョイント ・フォトグラフィック・エキスパート・グループ（Joint Photographic Exper ts Group）(JPEG)およびモーション・ピクチャー・エキスパート・グループ（Mo tion Picture Experts Group）(MPEG)によって規格として採用されている。 ディスクリート・イーブン・コサイン変換を用いた場合、周波数領域はＤＥＣ Ｔ領域と呼ばれ、周波数係数はＤＥＣＴ係数と呼ばれる。従来から、空間領域か ら周波数領域へのデータ変換は前方変換と呼ばれ、周波数領域から空間領域への データ変換は逆変換と呼ばれる。したがって、前方ディスクリートコサイン変換 は、前方ＤＥＣＴの基底関数に従って、画像を、空間領域のもとの画像データポ イントｓ（ｊ，ｉ）からＤＥＣＴ領域のＤＥＣＴ係数Ｓ（ｖ，ｕ）に写像（map ）する変換として定義され、逆ディスクリート・イーブン・コサイン変換は、Ｉ ＤＥＣＴの基底関数に従って、ＤＥＣＴ係数Ｓ（ｖ，ｕ）を、ＤＥＣＴ領域から 、空間領域の再構築画像データポイントｓ（ｊ，ｉ）に写像する変換として定義 される。 1992年9月24日発行のELECTRONICS LETTERS、Vol.28、No.20の1927頁〜1928頁 のJ.I,Agbinyaによる「ディスクリート・コサイン変換を用いた補間（Interpola tion Using the Discrete Cosine Transform）」と題された論文では、従来のＤ ＥＣＴおよびＩＤＥＣＴが、いかに、ズーミング（zooming）およびゼロパディ ング（zero padding）補間アルゴリズムにおいて、変換のある特定の変形例より も優れているかが記載されている。 カラー画像処理の共通の問題点は、人間の目に不快に見える画像の歪みが導入 されるあるいは伝搬することである。1991年5月発行のIEEE TRANSACTIONS ON EL ECTRON SERVICES、Vol.38、No.5の1226頁〜1232頁のY.Tim Tsaiによる「シング ルチップカメラのための色画像圧縮（Color Image Compression for Single-Chi p Cameras）」では、カラーフィルタを用いてシングルチップカメラのための画 像圧縮を行う方法が記載されており、ここでは、最終的な色画像は非圧縮画像に 比べて目に見えるエラーがない。画像圧縮法はディスクリート・コサイン変換に 基づいて行われ、欠けている色情報を回復する方法は既知の色値の対数の１次の 補間法、すなわち（ｌｏｇ Ｒ−ｌｏｇ Ｇ）および（ｌｏｇ Ｂ−ｌｏｇ Ｇ ）に基づいて行われる。 色の補間については、別個の色補間および色組成を有するグラフィックエンジ ン（graphic engine）において所望のシェード（shade）または色相を生成する ための方法が記載されている1992年6月25日に公告された国際公告番号ＷＯ９２ ／１０９１１号に記載されおり、ここでは、補間によって各色チャネルの開始色 と終了色との間の混合色が生成され、組成によってこれらの混合色が画素メモリ で混ぜられる。このようにして、所与の色チャネルの各々において既知の色密度 間で補間を行うことによって赤、緑または青の特定のシェードが得られる。 本発明は、前方および逆ディスクリート・イーブン・コサイン変換に基づいて 疑似絵素での色値を推定することによって画像の色調回復を行うためのシステム および方法を提供する。請求されるシステム及び方法は、既存のシステムよりも 効率的であり、さらに、国際標準化機構、ジョイント・フォトグラフィック・エ キスパート・グループによって定められたISO/IEC 10918-1、§A.3.3、および モーション・ピクチャー・エキスパート・グループによって認められている同様 のＤＥＣＴベースの圧縮規格などのＤＥＣＴベースの圧縮の国際規格と相補的で ある。 発明の概要 入力画像の色再生方法は、（ａ）画像取得装置から、該入力画像を表す画像信 号ｓ（ｊ，ｉ）を取得するステップと、（ｂ）該画像信号ｓ（ｊ，ｉ）の色チャ ネルを選択するステップとを包含する。この方法は、（ｃ）該画像信号ｓ（ｊ， ｉ）の第１の方向のセグメントのＮポイントＤＥＣＴを行って第１のＤＥＣＴ係 数を生成し、該第１のＤＥＣＴ係数の変形ＩＤＥＣＴを行って第１の変形ＩＤＥ ＣＴ係数を生成することにより第１の方向の色調回復を行うステップを包含し、 Ｎは所定の絵素数であり、該第１の変形ＩＤＥＣＴ係数は該第１の方向のセグメ ントの第１の推定色成分を表し、（ｄ）画像の該第１の推定色成分の第２の方向 のセグメントのＮポイント・ディスクリート・イーブン・コサイン変換を行って 第２のＤＥＣＴ係数を生成し、該第２のＤＥＣＴ係数の変形逆ディスクリート・ イーブン・コサイン変換を行って第２の変形ＩＤＥＣＴ係数を生成することによ り第２の方向の色調回復を行うステップをさらに包含し、該第２の変形ＩＤＥＣ Ｔ係数は該第２のセグメントの第２の推定色成分を表し、該第２の推定色成分は 疑似絵素に配置されることを特徴とする。 画像信号ｓ（ｊ，ｉ）として表される画像の色再生を与えるためのシステムは 、空間領域で画像信号源から該画像信号ｓ（ｊ，ｉ）を取得する手段と、該画像 信号ｓ（ｊ，ｉ）の色チャネルを選択する手段とを備え、該システムは、該画像 信号ｓ（ｊ，ｉ）の第１のセグメントのＮポイントＤＥＣＴを行って第１のＤＥ ＣＴ係数を生成し、該第１のＤＥＣＴ係数の変形ＩＤＥＣＴを行って第１の変形 ＩＤＥＣＴ係数を生成することによって、第１の方向の色調回復を行う手段を備 え、Ｎは所定の絵素数であり、該第１の変形ＩＤＥＣＴ係数は該第１のセグメン トの第１の推定色成分を表し、該画像信号ｓ（ｊ，ｉ）の該第１の推定色成分の 第２のセグメントのＮポイント・ディスクリート・イーブン・コサイン変換を行 って第２のＤＥＣＴ係数を生成し、該第２のＤＥＣＴ係数の変形逆ディスクリー ト・イーブン・コサイン変換を行って第２の変形ＩＤＥＣＴ係数を生成すること によって、第２の方向の色調回復を行う手段をさらに備え、該第２の変形ＩＤＥ ＣＴ係数は該第２のセグメントの第２の推定色成分を表し、該第２の推定色成分 は疑似絵素に配置され、該疑似絵素から色画像を生成する手段をさらに備えるこ とを特徴とする。 上述のシステムおよび方法は、画像データポイントアレイを、シフトされた疑 似絵素アレイに再構築することによってフルカラー解像度を与える。アレイの特 定のグリッドタイプにより、色調回復が垂直解像度のみを用いるか、水平解像度 のみを用いるか、垂直解像度を用いてから水平解像度を用いるか、水平解像度を 用いてから垂直解像度を用いるかが決まる。各色チャネルについて、欠けている 色成分の補間は、まず画像データポイントのＤＥＣＴを行い、その後ＤＥＣＴ係 数の変形ＩＤＥＣＴを行うことによって行われる。 図面の簡単な説明 本発明の上述の局面および他の特徴は添付の図面に関して詳細に説明しており 、図中対応するエレメントには同じ参照番号を用いている。 図１は、本発明による電子撮像システムの好適な実施形態を示す図である。 図２Ａは、図１の電子撮像システムの詳細なブロック図である。 図２Ｂは、図２Ａの行列乗算器２１８の論理図である。 図２Ｃは、図２Ａのシステムによって用いられかつ発生される信号のタイミン グ図である。 図３Ａは、各色が順次回復される、本発明によるＤＥＣＴ色調回復のフローチ ャートである。 図３Ｂは、補間のためのセグメントサイズが列の画素の総数に等しい場合に用 いられる図３Ａの水平色調回復ブロック３０６のフローチャートである。 図３Ｃは、補間のためのセグメントサイズが列の画素の総数未満に等しい場合 に用いられる図３Ａの水平色調回復ブロック３０６のフローチャートである。 図３Ｄは、補間のためのセグメントサイズが行の画素の総数に等しい場合に用 いられる図３Ａの垂直色調回復ブロック３０４のフローチャートである。 図３Ｅは、補間のためのセグメントサイズが行の画素の総数未満に等しい場合 に用いられる図３Ａの垂直色調回復ブロック３０４のフローチャートである。 図４は、各色の色調回復が並列的に起こる、本発明によるＤＥＣＴ色調回復の フローチャートである。 図５は、赤絵素、緑絵素、および青絵素の垂直ストライプを有する長方形グリ ッドを図示したものである。 図６は、図５の長方形グリッドの赤チャネルを図示したものである。 図７は、行０における、もとのインデックスｓ_rec（ｊ，０）と付け直した整 数インデックスｓ（ｊ）との関係を図示したものである。 図８は、赤チャネルに対して垂直色解像を行った後、図５の長方形グリッドの 各画素に関する実際の赤成分値と補間された赤成分値とを図示したものである。 図９は、図５の長方形グリッドのフルカラー解像度に達する実際の赤、緑およ び青の成分値と、補間された赤、緑および青の成分値とを図示したものである。 図１０は、画素の行が一行おきに半分の画素幅だけオフセットされる六角形グ リッドを図示したものである。 図１１は、図１０の六角形グリッドの赤チャネルを図示したものである。 図１２は、行０における、もとのインデックスｓ_hec（ｊ，０）と付け直した 整数インデックスｓ（ｊ）との関係を図示したものである。 図１３は、赤チャネルに対して垂直色調回復を行った後の、図１０の六角形グ リッドの各画素に関する実際の赤成分値と補間された赤成分値とを図示したもの である。 図１４は、図１３の垂直色調回復された画素に対して水平色調回復を行う場合 に得られる、赤チャネルに関する疑似絵素の計算を説明するのに有用な図である 。 図１５は、図１２を参照して説明するようにインデックス付けされる疑似絵素 として表される、図１０の六角形グリッドのフルカラー解像度を図示したもので ある。 好適な実施形態の詳細な説明 本発明は、画像の色調回復画像処理システムおよび、それに関連する画像処理 方法に関する。図１は、そのようなシステムの実施形態の一例を示す。図から分 かるように、図１は、電子スチルカメラ１０あるいはスキャナ１２等の画像信号 源によって、被写体（不図示）の画像を表す電子画像信号を提供する電子画像処 理システムを示す。コンピュータ１８は、画像信号源から電子信号を受信し、そ の後、この画像信号を電子的に処理することにより、サイズ変更(resizing)、鮮 明化(sharpening)、ノイズ除去(noise removal)、反射(reflection)、エッジ検 出、あるいは回転等の公知の画像処理機能を任意の数だけ行う。処理後の画像は 、ディスケット１６、ユーザモニタ２０、プリンタ１４、あるいは遠隔モニタ２ ６等の任意のデスティネーション装置あるいはデスティネーションアプリケーシ ョンへと送信即ち出力され得る。操作者によるシステムとのインタラクションは 、キーボード２２あるいはマウス２４を用いて行われる。無論、図１に示される 構成要素は例示に過ぎず、当業者には公知である多数の等価な装置を全て含んで はいない。例えば、上記画像信号源には、電子カメラ、スキャナ、カムコーダー 、電荷結合素子、電荷注入装置等、画像信号源として機能するあらゆる装置が含 まれ得る。また、上記画像処理が必ずしもコンピュータ１８内でのみ行われる必 要はないことにも注意されたい。むしろ、画像処理の様々な段階あるいは局面が 、画像信号源、コンピュータ、あるいはデスティネーション出力装置において行 われ得る。 図１の画像処理システムを図２Ａにさらに詳細に示すが、ここでは、画像信号 源２００が含まれており、画像信号源２００は画像取得装置２０８に接続され、 画像取得装置２００はＲＡＭ２１２および制御シーケンサロジック２２８に接続 されている。また、ＲＡＭ２１２は、行列乗算器２１８および制御シーケンサロ ジック２２８に接続されている。制御シーケンサロジック２２８および行列乗算 器２１８は互いに接続されており、また、これらは共にＲＯＭ２０２、ＲＯＭ２ ０４、ＲＯＭ２０６およびＲＡＭ２３２に接続されている。ＲＡＭ２３２および 制御シーケンサロジック２２８は共に画像ジェネレータ２３４に接続されている 。画像ジェネレータ２３４は、プリンタ、ＣＲＴディスプレイ等、画像の出力を 行うことができるあらゆる種類の装置を代表している。制御シーケンサロジック ２２８は、システムクロック２４４からクロックパルス列２４２を受信する。 １．ＤＥＣＴ計算 以下の数学的な説明では、前方および逆ディスクリート・コサイン変換に関す る特定の基本的な概念を示す。 典型的に、画像は、画素あるいは画像データポイントと呼ばれる記述子の２次 元的なＰ×Ｑのアレイによって構成される。ここで、ＰおよびＱは、画像を表し ている行の数および列の数である。画像は、空間領域の画像データポイントある いは周波数領域の対応ＤＥＣＴ係数によって表され得る。前方ＤＥＣＴでは、画 像データポイントのディスクリート・イーブン・コサイン変換(discrete even c osine transformation)を行うことによってＤＥＣＴ係数を生成する。逆に、逆 ディスクリート・イーブン・コサイン変換(inverse discrete even cosine tran sformation)では、ＤＥＣＴ係数の逆ディスクリート・コサイン変換を行うこと によってＩＤＥＣＴ係数（即ち、再構築された画像データポイント）を生成する 。 当業者には理解されるように、ＤＥＣＴ変換は、あらゆる次元で行われ得る。 次の１次元の例の場合、等式（１）に従って、Ｎ個の画像データポイントｓ（ｊ ）からなる行（より一般的にはセグメントと呼ばれる）を、空間領域から周波数 領域の対応ＤＥＣＴ係数Ｓ（ｖ）に変換することができる。 但し、０≦ｖ≦（Ｎ−１）、ｖは整数であり、 ｓ（ｊ）は、そのセグメント内の画像データポイントの行列を表し、 Ｓ（ｖ）は、対応ＤＥＣＴ係数の行列を表し、 Ｎは、そのセグメント内の画像データポイントの数を表し、 ＤＥＣＴ係数Ｓ（ｖ）は、等式（１）から求められ、正規化されたコサイン基底 項(normalized cosine basis term)はＮ個の画像データポイントを有するセグメ ントについて求められる。０≦ｊ≦（Ｎ−１）における画像データポイントｓ（ ｊ）のそれぞれに基底関数のコサイン項を掛けたものを合計することによって、 ｖ＝０の場合のＳ（０）の値が求められる。ｖ＝１の場合のＳ（１）の値は、各 画像データポイントｓ（ｊ）にコサイン項を掛けたものの合計として求められる 。先ずｖについてインデックス付けを行って(indexes)からｊについてインデッ クス付けを行うこの手順を繰り返すことによって、Ｓ（０）からＳ（Ｎ−１）ま でのＤＥＣＴ係数を求める。 変形逆ディスクリートコサイン変換は、数学的には等式（２）で定義され、Ｄ ＥＣＴ係数の１次行列Ｓ（ｖ）は、再構築された画像データポイントからなる再 よび説明されている範囲内の実数として定義される。 但し、０≦ｙ≦（Ｎ−１）、ｙは実数であり、 Ｓ（ｖ）は、ＤＥＣＴ係数の行列を表し、 ｓ（ｙ）は、再構築された画像データポイントの空間行列を表し、 Ｎは、そのセグメント内の画像データポイントの数を表し、 等式（１）のＤＥＣＴ係数Ｓ（ｖ）が１組の画像データポイントｓ（ｊ）から算 （ｙ）となり、この処理は可逆写像あるいは１対１写像と呼ばれる。なぜなら、 （ｊ）の元の画像データポイントと同一であるからである。０≦ｙ≦（Ｎ−１） の他の（非整数の）値で等式（２）のｙの値を求めることによって、変形ＩＤＥ ＣＴが得られ、これを用いて、画像を表す離散的な画像データポイント間の値の 補間等の様々な処理を行うことができる。 （０．５）の値は、各ＤＥＣＴ係数Ｓ（ｖ）にｙ＝０．５の場合のコサイン項を 掛けたものの合計として求められる。先ずｙについてインデックス付けを行って からｖについてインデックス付けを行うこの手順を繰り返して、０≦ｙ≦（Ｎ− 先にも述べたが、当業者には公知であるように、上記計算は、容易に多次元に 拡張することができる。例えば、国際公告第ＷＯ９５／１５５３８号に開示され ている２次フォーマットによって、空間領域で画像を表すことができる。この場 合、ｓ（ｙ、ｘ）は空間領域の実数ｙおよびｘにおける画像データポイントを表 し、Ｓ（ｖ、ｕ）は、周波数領域の対応ＤＥＣＴ係数を表し、ｘは０から（Ｐ− １）の範囲にあり、ｙは０から（Ｑ−１）の範囲にあり、Ｐは総行数を表し、Ｑ は総列数を表す。画像データポイントｓ（ｙ、ｘ）は明るさ、輝度、色あるいは 色相(hue)等のパラメータを表し得るが、これらに限定はされない。 等式（１）および（２）は共に、行列表記(matrix notation)でも表現され得 る。等式（１）の行列表記（インデックス無し）は、 Ｓ＝ＦＢ・s (3) ントの行列を表し、ＦＢは前方ＤＥＣＴ基底行列を表す。等式（２）の行列表記 は、 である。但し、Ｓは再構築された画像データポイントの空間的行列を表し、ＩＢ は所望の出力ポイント（即ち、再構築された画像データポイント）についての逆 ＤＥＣＴ基底行列を表す。行列方程式（３）および（４）を組み合わせることに より、上記のように２ステップにわたって行列代数（matrix algebra）を行う場 合に対して、演算処理の回数が低減される。行列方程式（３）および（４）を組 み合わせることにより、 が得られる。但し、ＭＢは、逆ＤＥＣＴ基底行列ＩＢに前方ＤＥＣＴ基底行列Ｆ Ｂを掛けた行列乗算から求めた組合せＤＥＣＴ基底行列(combined DECT basis m atrix)である。組合せＤＥＣＴ基底行列ＭＢは、等式（５）を解く間に同時に算 出してもよいし、あるいは、ＭＢを予め計算しておいてルックアップテーブルに 格納しておいてもよい。 ２．色調回復ハードウェア （図２Ａに示すような）画像色調回復システムの好適な一実施形態は、画像取 得装置２０８と、行列乗算器２１８と、ランダムアクセスメモリ（ＲＡＭ）画像 バッファ２１２および２３２と、係数リードオンリーメモリ（ＲＯＭ）２０２、 ２０４および２０６と、制御シーケンサロジック２２８と、マスタクロック２４ ４と、画像ジェネレータ２３４とを備える。マスタクロック２４４はマスタクロ ック信号２４２を生成し、制御シーケンサロジック２２８がこの信号を用いてク ロック信号ＣＫ１およびＣＫ２を発生する。画像信号源２００は、カメラ、スキ ャナ、電荷結合素子などの、画像を与えるためのいかなる装置またはシステムで あってもよい。画像取得装置２０８は、Ａ／Ｄコンバータ、入力バッファ、入力 ポート等、信号源２００から画像を受け取ることができる任意のハードウェアを 代表している。同様に、画像ジェネレータ２３４は、プリンタ、ブラウン管等、 ＲＡＭ２１２あるいは２３２に格納された係数から画像を生成する任意の装置あ るいはシステムであり得る。この全体ハードウェア構成は様々な行列積演算を実 行する汎用型である。 図２Ａ、図２Ｂおよび図２Ｃを参照して、行列乗算器ロジック２１８は、３× ３の行列積の計算を９ＣＫ１クロックサイクルで行うことができる固定ポイント 並行演算プロセッサ(fixed point parallel arithmetic processor)である。制 御シーケンサロジック２２８は、マスタクロック２４４からクロックパルスＣＫ １およびＣＫ２を生成する。バッファ２１２および２３２は、入力画像および出 力画像をバッファリングするランダムアクセスメモリであり、リードオンリーメ モリ２０２、２０４および２０６は予め計算した係数行列を格納し、制御シーケ ンサロジック２２８は、制御信号、タイミング信号およびメモリアドレス信号を 制御する(handle)ために用いられる。 行列乗算器ロジック２１８は、図２Ｂに詳細に示される３固定ポイント乗算累 算器(three fixed-point multiplier accumulator)（ＭＡＣ）アレイであり、入 ／出力ラッチと２つの双方向データバス２２０および２３０とを有する。信号Ｉ₀ およびＩ₁によって制御されるデータバス２２０および２３０の機能を規定した 真理値表Ｉに従って、通過モードにおいてはデータをＲＡＭ２１２およびＲＡＭ ２３２間で直接送信し、処理モードにおいてはデータを行列乗算器ロジック２ １８に送信して処理するように、バス２２０および２３０を構成することが可能 である。 ３つのＭＡＣユニットには乗算器２５６、２５８および２６０が含まれ、これ らは、それぞれ、加算器および累算器の対｛２６２、２６４｝、｛２６６、２６ ８｝および｛２７０、２７２｝へと続いている。累算器２６４、２６８および２ ７２の出力は、それぞれ、出力ラッチ２７４、２７６および２７８に格納される 。これらが一時的な格納を行うことによって、共通出力バス２８０上で結果が多 重化される。 制御シーケンサロジック２２８は、メモリおよびデータバスを制御するととも に、行列乗算器ロジック２１８に適切なタイミング信号を生成する。具体的には 、制御シーケンサロジック２２８は、ＲＡＭメモリ２１２および２３２に、それ ぞれ、ライン２２２および２３８上のアドルスデータならびにライン２２６およ び ジック２２８は、行列乗算器ロジック２１８に、（マスタクロック信号２４２か ら求めた）クロック信号ＣＫ１およびＣＫ２と、バス方向信号Ｉ₀およびＩ₁と、 出力多重制御信号Ｏ₀およびＯ₁と、ＲＯＭ２０２、２０４および２０６のライン ２１０上のアドレスとを提供する。制御シーケンサロジック２２８は、マイクロ コントローラあるいはプログラマブルロジックアレイ（ＰＬＡ）を用途に応じて 選択して用いることにより容易に実現できる。概して、前者はプログラミングの 観点からはより柔軟であるが、後者よりも幾分コストが高い。 行列乗算器ロジック２１８の動作は、３×３の行列乗算の例を考えることによ って容易に理解される。この例において、Ｃは係数行列を表し、Ｄはソース画像 データ行列を表し、Ｂは、ＣにＤを掛けた行列乗算の結果を表している。従って 、 について、Ｃの各行とＤの第１列との各積の合計であるＢの第１列を考える。 図２Ｃのタイミングチャートは、本実施例における制御信号とデータ信号との 関係を示す。この計算は、順次、Ｂ行列の第１、第２および第３列の値を求める ことによって行われる。この処理は、行列乗算器ロジック２１８が制御シーケン サロジック２２８からネガティブＲＥＳＥＴパルスを受信することによる累算器 のクリア(clearing)で開始する。行列Ｃの第１列、即ちＣ₁₁、Ｃ₂₁、Ｃ₃₁と、行 列Ｄの第１列の第１要素、即ちＤ₁₁とを、クロックパルスＣＫ１の時間Ｔ₁にお いて、それぞれ、入力ラッチ２４６、２４８、２５０および２５４に転送する。 具体的には、入力ラッチ２４６によってＲＯＭ２０２からのＣ₁₁を受け取り、入 力ラッチ２４８によってＲＯＭ２０４からのＣ₁₂を受け取り、入力ラッチ２５０ によってＲＯＭ２０６からのＣ₁₃を受け取り、ソース画像を格納するＲＡＭ２１ ２からのＤ₁₁をバストランスミッタ２５２を通して受け取る。行列乗算器ロジッ ク２１８とＲＡＭ２１２および２３４との間のデータの転送ならびに転送方向の 制御は、真理値表Ｉに従って、制御信号Ｉ₀およびＩ₁によって行われる。真理値 表Ｉに対応するロジックは、ロジック２５２およびバストランスミッタ２５１に よって示されている。時間Ｔ₂において、各積Ｃ₁₁Ｄ₁₁、Ｃ₂₁Ｄ₁₁およびＣ₃₁Ｄ_{1 1} を、それぞれ累算器２６４、２６８、および２７２に格納する。当業者には周 知であるように、典型的には、出力のスケーリング、即ちデータの切り捨てを行 うロジック（不図示）を累算器の後に設けて、データオーバーフロー状態に対処 する。時間Ｔ₃において、行列Ｃの第２列、即ちＣ₁₂、Ｃ₂₂およびＣ₃₂ならびに Ｄの第１列の第２要素Ｄ₂₁をそれぞれ入力ラッチ２４６、２４８、２５０および ２５４に転送する。時間Ｔ₄において、各積の部分的な合計、即ちＣ₁₁Ｄ₁₁＋Ｃ_{1 2} Ｄ₃₁、Ｃ₂₁Ｄ₁₁＋Ｃ₂₂Ｄ₂₁、Ｃ₃₁Ｄ₁₁＋Ｃ₃₂Ｄ₂₁をそれぞれ累算器２６４、２ ６８および２７２に格納する。無論、乗算は乗算器２５６、２５８および２６０ で行い、加算は加算器２６２、２６６および２７０で行う。 Ｃの第３列およびＤの第１列の第３要素についてこの処理を繰り返すと、Ｔ₆の 時点では、Ｂの第１列が各要素｛Ｃ₁₁Ｄ₁₁＋Ｃ₁₂Ｄ₂₁＋Ｃ₁₃Ｄ₃₁｝、｛Ｃ₂₁Ｄ₁₁ ＋Ｃ₂₂Ｄ₂₁＋Ｃ₂₃Ｄ₃₁｝および｛Ｃ₃₁Ｄ₁₁＋Ｃ₃₂Ｄ₂₁＋Ｃ₃₃Ｄ₃₁｝を有すること になる。これらは、Ｃの各行とＤの第１列との積の合計として得られる（等式（ ７）を参照）。 時間Ｔ₇におけるクロックパルスＣＫ２の立ち上がりエッジにおいて、累算器 ２６４、２６８および２７２からのデータをそれぞれ出力ラッチ２７４、２７６ および２７８に転送する。出力多重制御信号Ｏ₀およびＯ₁は、真理値表Ｉに従っ て、各時間Ｔ₈、Ｔ₉およびＴ₁₀において、データバス２２０あるいは２３０上で 各出力ラッチの出力を時間多重化する(time multiplex)。処理全体をこのような 方法で繰り返して、等式（６）におけるＢの残りの第２および第３列の計算を行 う。 水平変換行列および垂直変換行列の第１および第２行は、それぞれＲＯＭ２０ ２および２０４に格納され、ソース画像はＲＡＭ２１２に格納され、回転画像は ＲＡＭ２３２に格納される。なお、行列乗算器ロジック２１８は、明らかに、３ 次以外の行列の積を扱うことができる。例えば、ベクトル積および２×２行列積 を簡単に処理することができる。 もちろん、上述の構成要素と機能的に等価なものであれば、色調回復システム を実現する際に等しく動作する。例えば、メモリはＲＡＭまたはＲＯＭに限定さ れず、既知のいかなるタイプのメモリデバイスも含む。さらに、上述のように、 ＲＯＭ２０２、２０４および２０６に格納された係数は、ＲＡＭ２１２に格納さ れた予め計算されたＤＥＣＴ係数を掛ける予め計算された変形ＩＤＥＣＴ基底係 数ではなく、ＲＡＭ２１２から受け取られるソース画素を掛ける組み合わされた 再構築ベクトルとして予め計算され得る。 図２Ａの画像処理システムを用いた色調回復では、まず、第１のチャネル、例 えば赤チャネルの垂直方向の再構築が得られる。このプロセスは、垂直方向に隣 接する実際の（測定された）赤絵素値の所定の個数に基づく、赤成分の補間であ る。ＲＡＭ２１２から取り出された列セグメントに、ＲＯＭ２０２に格納された 変形ＩＤＥＣＴ基底ベクトル、すなわち再構築ベクトルを掛けて、実際の赤絵素 ロケーションの間に配置される推定再構築画素が生成される。これらの処理され た再構築赤絵素値はＲＡＭ２３２の奇数メモリロケーションに格納され、実際の 赤絵素値は通過モードでＲＡＭ２３２の偶数メモリロケーションに転送される。 他の等しく効果的なアプローチは、実際の赤絵素値を通過させずに補間によって すべての再構築赤絵素を生成し、その後、すべての再構築赤絵素値をＲＡＭ２３ ２の連続するメモリロケーションに格納することである。 赤チャネルの水平再構築の場合、ＲＡＭ２３２から再構築行列およびＤＣＴ行 セグメントが取り出され、これが行列乗算器ロジック２１８で処理され、その後 ＲＡＭ２１２に格納される。水平再構築プロセスは、画像のすべての行が取り出 され、処理され、ＲＡＭ２１２に格納されるまで続く。一旦、赤チャネルの処理 が終わると、緑チャネルおよび青チャネルが同様に処理され、フルカラー解像度 を有する画像が、出力装置２３４への転送のために利用できるようになる。 ３．色調回復方法論 典型的な電荷結合素子（ＣＣＤ）カメラは、ピクセルまたは画像データポイン トとも呼ばれる画素のアレイからなり、これらの画素は、所定の順序で配列され 、それぞれに対応する検出器を有し、これらの検出器の各々は特定の色帯域に割 り当てられる。すなわち、「青絵素」は、約４００ナノメートルから約５００ナ ノメートルの青色帯域に応答する検出器に関連する絵素を表し、「緑絵素」は、 約５００ナノメートルから約６００ナノメートルの緑色帯域に応答する検出器に 関連する絵素を表し、「赤絵素」は、約６００ナノメートルから約７００ナノメ ートルの赤色帯域に応答する検出器に関連する絵素を表す。言うまでもなく、各 絵素は、完全な色スペクトルの約３分の１にしか応答せず、残りの色情報は失わ れる。本発明の色調回復システムおよびその方法では、ディスクリートコサイン 変換を用いて、画像の各画素に対してフルカラー解像度を与え、従って、フルカ ラー解像度は、各絵素が色彩学的に青成分、緑成分、および赤成分によって表さ れるような、約４００ｎｍから約７００ｎｍの完全な色スペクトル全体にわたる 各画素の色再生として定義される。 色調回復は、各色について別々に１次元的に実現される。すなわち、行の後に 列が処理されるか、または列の後に行が処理される。図２Ａの色調回復システム を用いて各色を処理することができる。逐次処理を図３Ａに示し、並列処理を図 ４に示す。さらに、垂直色調回復ステップと水平色調回復ステップとを入れ換え るか、または、これらの色調回復ステップのうちのいずれかを省略することによ って、図３Ａの方法に変更を加えることができる。グリッドタイプに依存して、 色調回復方法は、（１）垂直絵素再構築のみを用いるか、（２）水平絵素再構築 のみを用いるか、（３）垂直絵素再構築の後に水平絵素再構築を用いるか、また は（４）水平絵素再構築の後に垂直絵素再構築を用いることによって実現できる 。なお、垂直絵素再構築ステップおよび水平絵素再構築ステップは、色調回復方 法の基本的なビルディングブロックである。上記のように、色調回復の標的とな る特定のグリッドタイプのジオメトリに依存して、これらの再構築ステップを、 入れ換えるか、いかなる順序で設定するか、または省略することもできる（必要 がある場合）。 図３Ａは、垂直色調回復の後に水平色調回復を行う（すなわち、列の後に行の 処理を行う）、上で挙げた第３の色調回復方法の逐次的な実現の例であり、これ を以下に示す。Ｐ行およびＱ行を有する入力画像ｓ（ｊ，ｉ）をブロック３００ に示しており、ここで、ｉは行インデックスであり、ｊは列インデックスである 。赤絵素、緑絵素、および青絵素が等しい数ある場合、各画素でフルカラー解像 度の３分の１しか得られない。例えば、入力画像ｓ（ｉ，ｊ）中の赤絵素の場合 、赤成分は検出するが、緑成分または青成分は検出しない。ブロック３００で、 撮像装置の特性に応じてグリッドタイプが選択され、ブロック３０２で、行イン デックスｒが０に初期化され、列インデックスｃが０に初期化され、行セグメン トサイズがＬに設定され、列セグメントサイズがＭに設定され、原色インジケー タは、３原色（ただし、任意の数の原色を用いることができる）のうちの第１の 原色を表す１に設定される。第１の原色について、画像中のすべての絵素にブロ ック３０４で垂直色調回復が行われ、ブロック３０６で水平色調回復が行われる と、ブロック３０８で色＝色＋１に設定することによって色チャネルが変えられ る。ブロック３１０で、すべての原色チャネルが色調回復されたかどうかが判断 される。各原色について、画像中の各絵素に色調回復が行われると、画像のフル カラ ー解像度が得られる。すなわち、各絵素は、実際の赤、緑および青成分値または 補間された赤、緑および青成分値によって表される。 列の後に行を処理して、上で挙げた第３の色調回復方法を並列的に実現する例 を図４に示している。ブロック４００で、グリッドタイプを含む入力データが選 択され、ブロック４０２で行セグメントサイズおよび列セグメントサイズが設定 される。色調回復が逐次的にではなく（ブロック４０４、４０６、４０８、４１ ０、４１２、４１４で）並列的に行われると、図３Ａの方法から出発し、より高 速に処理が行われる。図４の色調回復処理の各々は、図３Ｂおよび図３Ｄに示す ような行または列の画像データポイントの数に等しいセグメントサイズを用いる か、または、図３Ｃおよび図３Ｅに示すように１ポイントのオーバーラップを有 するＮポイントセグメントサイズ（ここで、Ｎは、行または列の絵素の総数より も少ない）を用いて実現できる。各色成分が各絵素ロケーションで表され、処理 された絵素から描かれる出力画像がフルカラー解像度を示すように、ブロック４ １６で、各チャネルの並列色調回復の結果が組み合わされる。 本発明による色調回復方法および装置は、いかなるタイプのグリッドにも応用 できる。以下に示す例には、通常用いられている、図５に示すような垂直色スト ライプを有する長方形グリッドパターンに色調回復方法を応用した例と、図１０ に示すように、絵素の行が１行おきに１絵素分オフセットされ、長方形グリッド とは異なるジオメトリを有する六角形グリッドパターンに色調回復方法を応用す る例とがある。 図５に示す４×９の絵素の長方形グリッドｓ_rec（ｊ，ｉ）に色調回復方法を 応用する場合、各色成分は垂直方向にフルカラー解像度を有し、水平方向に３分 の１の色解像度を有する。具体的には、グリッドは０〜３の４行および０〜８の ９行を有し、赤絵素はｓ_rec（０，ｉ）、ｓ_rec（３，ｉ）およびｓ_rec（６，ｉ ）で列０、３および６にそれぞれ配置され、緑絵素はｓ_rec（１，ｉ）、ｓ_rec（ ４，ｉ）およびｓ_rec（７，ｉ）で列１、４および７にそれぞれ配置され、青絵 素はｓ_rec（２，ｉ）、ｓ_rec（５，ｉ）およびｓ_rec（８，ｉ）で列２、５およ び８にそれぞれ配置される。赤絵素は緑成分または青成分を検出せず、緑絵素は 赤成分または青成分を検出せず、青絵素は赤成分または緑成分を検出しな い。この例の場合の色調回復方法の目標は、図９に示すようなフルカラー解像度 を有する４×９の画素出力画像を生成することであり、ここで各画素は３つの色 成分（赤、緑、青）を有する。ここでの説明では、小文字（ｒ、ｇ、ｂ）は実際 の（測定された）色成分を表し、大文字（Ｒ、Ｇ、Ｂ）は補間された（推定の） 色成分を表す。例えば、図９の列０の各画素は実際の赤成分ｒと、補間された緑 成分Ｇと、補間された青成分Ｂとを含む。 図５の長方形グリッドが既に完全な垂直色解像度を含んでいるため、水平色調 回復だけを行えばよい。したがって、図３Ａのブロック３０４の垂直色調回復ス テップが省略される。各行に対して水平色調回復を行い、欠けている色成分を補 間する。例えば、赤成分の第ｉ行は、ｓ（ｊ）＝ｓ_rec（３ｊ，ｉ）にある絵素 を有する。ここで、ｊ＝０，１，２．．．であり、ｓ（ｊ）は長方形グリッドｓ_rec （ｊ，ｉ）の第ｉ行の測定赤絵素値を１次元的に表したものである。アレイ ｓ_rec（３ｊ，ｉ）は測定赤成分を表す。同様に、緑成分の第ｉ行は、ｓ（ｊ） ＝ｓ_rec（３ｊ＋１，ｉ）にある、ｓ_rec（ｊ，ｉ）の測定緑成分を有する。ここ で、ｓ（ｊ）は長方形グリッドの第ｉ行ｓ_rec（ｉ，ｊ）の測定緑絵素値を１次 元的に表したものである。アレイｓ_rec（３ｊ＋１，ｉ）は測定緑成分を表す。 最後に、青成分の第ｉ行は、ｓ（ｊ）＝ｓ_rec（３ｊ＋２，ｉ）にある、ｓ_rec（ ｊ，ｉ）の測定青成分を有する。ここで、ｓ（ｊ）は長方形グリッドｓ_rec（ｉ ，ｊ）の第ｉ行の測定青絵素値を１次元的に表したものであり、ｓ_rec（３ｊ＋ ２，ｉ）は測定青成分を表す。 Ｌが行の画像データポイントの総数に設定されるように（または、Ｍが列の画 像データポイントの総数に設定されるように）垂直色調回復または水平色調回復 が選択されるときは常に、ブロック３０４または３０６の色調回復は、図３Ｂま たは図３Ｄに示したステップに従う。しかし、１ポイントのオーバーラップを有 する列または行の画像データポイントのＮポイントセグメントの色調回復を行う のにＮポイント補間が望ましい場合は、色調回復は図３Ｃまたは図３Ｅに示した ステップに従う。この例では、水平方向では、１ポイントのオーバーラップを有 する３ポイント補間が望ましく、従って、Ｌは図３Ａのブロック３０２で３に設 定される。 図６は、色調回復前の赤チャネルを示している。実際の赤色成分は、ｓ_rec（ ０，ｉ）、ｓ_rec（３，ｉ）およびｓ_rec（６，ｉ）にある。赤画像中の他のすべ ての絵素ロケーションは赤成分を持たないが、欠けている色成分はどれも実際の 値を補間することによって推定できる。補間は、都合良くは、現在のＪＰＥＧお よびＭＰＥＧ圧縮規格を用いる既存のシステムと互換性があるディスクリート・ コサイン変換を用いて実現できる。 赤チャネルについての垂直色調回復の最初のステップは、等式（１）に従って 図３Ｃのブロック３２２で３ポイントＤＥＣＴを行うことによって行われる。こ こで、図６に示すようにｓ_rec（０，０）、ｓ_rec（３，０）およびｓ_rec（６， ０）にある行０の最初の３つの測定赤画像データポイントについて、Ｌ＝Ｎ＝３ である。等式（１）のディスクリート・コサイン変換を促進するために、セグメ ントの３ポイントを、図７に示すようにｓ（ｊ）＝ｓ_rec（３ｊ，０）、ｊ＝０ ，１，２となるように、１次元のアレイにインデックス付けし直さなければなら ない。もちろん、色調回復方法は１つの次元に限定されないが、必要であれば、 当業者に公知のように容易に拡張して多次元的計算にすることができる。その場 合でも、ｓ（０）、ｓ（１）およびｓ（２）に対応するＤＥＣＴ係数はそれぞれ Ｓ（０）、Ｓ（１）およびＳ（２）として計算される。ブロック３２４で、等式 （２）に従った３ポイント変形ＩＤＥＣＴが、ｙ＝１／３，２／３，４／３，５ ／３でＮ＝３の場合のＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）に関して 間された赤成分値が得られる。これらの補間された赤成分値はその後長方形グリ ッドのもとの列インデックスにインデックス付し直され、図７に示した上述のよ うな再構築が行われる。この例の３ポイントセグメントは、ブロック３２６でイ ンクリメントされ、１ポイントのオーバーラップを促進し、その後、ブロック３ ０６の水平色調回復プロセスは、判断記号３２８で列インデックスｃが列の総数 Ｑと等しくなるまで続く。もちろん、セグメント中の絵素数と同様に、選ばれた オーバーラップは変わり得る。 判断記号３２８で列インデックスｃが列の総数Ｑに等しくなると、赤チャネル に対する水平色調回復が終了し、再構築された各々の絵素は、実際の赤色成分ま たは推定赤色成分を含む（図８参照）。水平赤色調回復の終了後、ブロック３０ ８で色チャネルインジケータが色＝色＋１にインクリメントされ、ブロック３１ ０で、すべての原色が水平色調回復の処理を受けたかどうかが判断される。ブロ ック３１２でプロセスが終了するまで、各色チャネルに対して図３Ａのステップ ３０４からステップ３１０までのループが繰り返される。このとき、赤チャネル 、緑チャネルおよび青チャネルの各々に関する色調回復の結果が組み合わされて 、図９に示すような出力画像のフルカラー解像度が与えられる。 図３Ａのブロック３０４で垂直色調回復を必要とする初期のグリッドおよび絵 素レイアウトが選択されると、図３Ｄのプロセスが、画像の列の総数Ｑに等しい 列セグメントサイズに適用されるであろう。セグメントサイズが列の総数Ｑより も小さいことが望ましい場合、図３Ｅのプロセスが適用されるであろう。図３Ｅ の垂直色調回復プロセスのステップ（以下に説明する）は、図３Ｃに関して上記 で説明した水平色調回復プロセスのステップと同様である。 （垂直色調回復を必要とする長方形グリッドおよび絵素レイアウトの場合を考 えると）赤チャネルについての垂直色調回復の最初のステップは、等式（１）に 従って図３Ｅのブロック３４２で３ポイントＤＥＣＴを行うことによって行われ る。ここで、ｓ_rec（０，０）、ｓ_rec（３，０）およびｓ_rec（６，０）にある 行０の最初の３つの測定赤画像データポイントに関して、Ｌ＝Ｎ＝３である。等 式（１）のディスクリート・コサイン変換の値を求めるためには、セグメントの ３ポイントを上述のように１次元のアレイにインデックス付けし直さなければな らない。ｓ（０）、ｓ（１）およびｓ（２）に対応するＤＥＣＴ係数は、それぞ れＳ（０）、Ｓ（１）およびＳ（２）として計算される。次に、ブロック３４４ で、Ｎ＝３の場合のＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）に対して等 式（２）に従った３ポイント変形ＩＤＥＣＴが行われ、補間された赤成分値を生 成する。これらの補間された赤成分値は、その後、長方形グリッドのもとの列イ ンデックスにインデックス付けし直され、上述のような再構築が行われる。この 例の３ポイントセグメントはブロック３４６でインクリメントされて１ポイント オーバーラップを促進し、その後、判断記号３４８で行インデックスｒが行の総 数Ｐに等しくなるまで、ブロック３０４の垂直色調回復プロセスが続く。もち ろん、セグメント中の絵素数と同様に、オーバーラップも変わり得る。判断記号 ３４８で行インデックスｒが行の総数Ｐに等しくなると、赤チャネルに対する垂 直色調回復が終わり、再構築された各々の絵素は、垂直方向に実際の赤色成分ま たは推定赤色成分を含む。 色調回復を行うための他のおそらくよりよいと考えられるアプローチは（１） ＤＥＣＴを行うステップと（２）ＩＤＥＣＴを行うステップとを組み合わせて１ つの動作にすることによって実現できる（等式（５）参照）。組み合わされたＤ ＥＣＴ基底行列、すなわち再構築行列ＭＢは、任意の所与のセグメントサイズに 対して予め定めることができる。さらに、再構築行列に、所与の範囲のソースデ ータを掛けることにより、空間領域において、再構築された画像データポイント が得られる。この方法では、用いる計算は上述の技術の場合よりも少なくて済み 、処理がより高速となる。さらに、再構築行列を画像に関して用いることができ るため、再構築行列を格納するのに必要なメモリ量が最小になる。 本発明のＤＥＣＴ色調回復方法を説明するために用いる第２のグリッドタイプ は図１０に示すような六角形グリッド絵素構成であり、この場合、一行おきに１ 絵素分オフセットされる。図１０の２次元入力アレイｓ_hex（ｊ，ｉ）は、それ ぞれｉ＝０，１，２，３の４行およびｊ＝０，１，２...１６の１７列を含む。 ｉ＝０，２にある行は、ｊ＝０，２，４，６，８，１０，１２，１４，１６の列 にある絵素を有し、ｉ＝１，３にある行はｊ＝１，３，５，７，９，１１，１３ ，１５の列にある絵素を有する。以下に示す例は、図３Ａに示した方法に従って 行われる図１０の六角形グリッドの色調回復である。 垂直絵素再構築の後に水平絵素再構築を行う上述の色調回復方法を行うと、図 １０の六角形グリッドに対して優れた色調回復の結果が得られることが経験的に わかっており、このような優れた結果は、まず１ポイントのオーバーラップを有 する２ポイントセグメントの垂直色調回復を行い、次に、１ポイントのオーバー ラップを有する３ポイントセグメントの垂直色調回復を行うことによって得られ る。したがって、図３Ａのブロック３０２で、Ｌは３に等しくなるように設定さ れ、Ｍは２に等しくなるように設定され、列インデックスは０に設定され、行イ ンデックスｒは０に設定され、色＝１を設定することによって最初の色（例えば 、 赤）が選択される。もちろん、垂直色調回復でＤＥＣＴおよび変形ＩＤＥＣＴを 行う場合ＮはＭに等しく、水平色調回復でＤＥＣＴおよび変形ＩＤＥＣＴを行う 場合ＮはＬに等しい。 図１１は、色調回復前の赤チャネルを示している。実際の測定赤成分は、小文 字ｒで示される絵素ロケーションにある。赤画像の他のすべての絵素ロケーショ ンには赤成分が無く、これらの欠けている成分は、本発明の方法に従ったディス クリート・コサイン変換を用いて実際の値を補間することによって推定できる。 図３Ｅでは、六角形グリッドの赤チャネルに対するブロック３０４の垂直色調 回復の最初のステップは、等式（１）に従ってブロック３４２で２ポイントＤＥ ＣＴを行うことによって行われる。ここで、図１１に示すように、ｓ_hex（０， ０）およびｓ_hex（０，２）にある列０の最初の２つの測定赤画像データポイン トに関してＭ＝Ｎ＝１である。等式（１）のディスクリート・コサイン変換の値 を求めるためには、ｓ（ｉ）＝ｓ_hex（ｊ，２ｉ）、ｉ＝０，１となるようにセ グメントの２ポイントを１次元のアレイにインデックス付けし直さなければなら ない。したがって、ｓ（０）およびｓ（１）に対応するＤＥＣＴ係数はそれぞれ Ｓ（０）およびＳ（１）として計算される。ブロック３４４において、ｘ＝１／ ２で、Ｎ＝２の場合のＤＥＣＴ係数Ｓ（０）およびＳ（１）に対して、等式 た垂直方向に再構築された赤成分値が得られる。このセグメントは、ブロック３ ４６でインクリメントされ、判断記号３４８で行インデックスｒが行の総数Ｐに 等しくなるまで、ブロック３０４の垂直色調回復プロセスが続く。その後、垂直 方向に補間された赤成分値は、六角形グリッドに用いられるインデックスにイン デックス付けし直される。画像の赤チャネルに対する垂直色調回復を図１３に示 している。 等式（１）の前方ＤＥＣＴと等式（２）の変形ＩＤＥＣＴとを組み合わせて１ つのステップにする上述の変形例を用いると、上述の垂直方向の補間手順をより 速く行うことができる。等式（１）に従ったｓ（０）およびｓ（１）の２ポイン トＤＥＣＴは、以下のような行列形式に書き直される。 ここで、定数は前方ＤＥＣＴ基底行列を表す。その後、ｘ＝１／２で等式（２） に従ってＤＥＣＴ係数Ｓ（０）およびＳ（１）の変形ＩＤＥＣＴを行うことによ って、再構築された画像データポイントｓ（１／２）の補間された赤成分値が決 定される。 ｘ＝１／２で等式（２）に従った２ポイント変形ＩＥＤＣＴは、以下のような 行列形式に書き直される。 ここで、（１／√２０）は変形ＩＤＥＣＴ基底関数を表す。前方および変形逆Ｄ ＥＣＴの２つのステップを組み合わせて、等式（５）に示すような行列形式で表 される１つのステップにすることができる。等式（８）を等式（９）に代入する と、 る。 この場合、補間された赤成分値は単に、乗算および加算をそれぞれ一回ずつ行う だけで効率的に計算できる２つの隣接する赤絵素値の平均値である。 （図１０の行０、列３の欠けている赤成分値のような）画像周辺（perimeter ）成分値を推定するという特別な場合は、欠けている値を０に設定するか、ま たは隣接する絵素と同じ値に割り当てることができる。すなわち、ｓ（３，０） の欠けている赤成分値を、ｓ（３，１）と同じ赤成分値に設定することができる 。周辺値を推定するこの方法を用いて、垂直色調回復および水平色調回復を補足 することができる。 判断記号３４８で行インデックスｒが行の総数Ｐに等しいとき、赤チャネルに 対する垂直色調回復は終了しており、図１３に示すような再構築された各々の絵 素は、実際の赤色成分または推定赤色成分を含む。垂直赤色調回復の終了後、ブ ロック３０６で、図１３の垂直方向に再構築された絵素に対して水平色調回復が 行われる。 六角形グリッドの赤チャネルに対する水平色調回復は、長方形グリッドの水平 色調回復に関して上で説明したのと同様の態様で行われる。六角形グリッドの赤 チャネルに対する水平色調回復の最初のステップは、図３Ｃのブロック３２２で 等式（１）に従って３ポイントＤＥＣＴを行うことによって行われる。ここで、 実際の赤成分値または推定赤成分値を有しかつ図１３のｓ（０，０）、ｓ（３， ０）およびｓ（６，０）にある最初の３つの絵素に関しては、Ｌ＝Ｎ＝３である 。ここでも、等式（１）のディスクリート・コサイン変換の値を求めるためには 、セグメントの３ポイントを１次元のアレイにインデックス付けし直さなければ ならない。この場合、ｓ（ｊ）＝ｓ_hex（３ｊ，ｉ）であり、ここでｊ＝０，１ ，２であり、アレイｓ_hex（３ｊ，ｉ）は図１３の推定赤成分および実際の赤成 分を表す。同様に、緑成分の第ｉ列は、ｓ（ｊ）＝ｓ_hex（３ｊ＋１，ｉ）にあ るｓ_hex（ｊ，ｉ）の測定緑成分および推定緑成分を有し、青成分の第ｉ列は、 ｓ（ｊ）＝ｓ_hex（３ｊ＋２，ｉ）にあるｓ_hex（ｊ，ｉ）の測定青成分および推 定青成分を有する。したがって、ｓ（０）、ｓ（１）およびｓ（２）に対応する ＤＥＣＴ係数はそれぞれＳ（０）、Ｓ（１）およびＳ（２）として計算される。 ブロック３２４で、ＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）に対して 等式（２）に従った３ポイント変形ＩＤＥＣＴが行われる。等式（２）の変形Ｉ ＤＥＣＴの連続補間特性を用いると、入力データの範囲内の任意のロケーション の信号の値を求めることができる。さらに、グリッド上の実際の絵素ロケーショ ンとは異なるロケーションに疑似絵素を作ると、色バランスがより良くなり、補 間された色値に隣接する真の色値をシフトしたことから起こり得るアーティファ クトがなくなることが実験から分かっている。したがって、疑似絵素は、図１４ において×印で示すロケーションで選択されている。この×印は、最初の３列内 の絵素の３ポイントセグメント（点線参照）に関する行と列との交点を示してい る。優れた色調回復結果は、図１４に示すようなγ_1R＝１／２、γ_2R＝７／６お よびγ_3R＝１１／６で、等式（２）に関して赤チャネルのｙの値を補間すると得 られる。図１４の赤チャネルに関して×印で示した同じロケーションで緑疑似絵 素および青疑似絵素が計算されるようにするためには、この例では、緑チャネル に関してはγ_1G＝１／６、γ_2G＝５／６およびγ_3G＝３／２で、青チャネルに関 してはγ_1B＝１／２、γ_2B＝７／６およびγ_3B＝１１／６で、各３ポイントセグ メントの各々のセグメント内に値を補間しなければならない。 ここで赤チャネル（図１４）内での水平補間に関して議論するために、列０お よび列３の赤絵素中心間の距離を１単位長とし、γ_1Rは１単位長の半分を表し、 γ_2Rは１単位長の６分の７を表し、γ_3Rは１単位長の６分の１１を表す。したが って、ブロック３２４で、ｙ＝１／２、７／６、１１／６でｖ＝０，１，２の値 についてのＤＥＣＴ係数Ｓ（０）、Ｓ（１）およびＳ（２）に対して、等式 が得られる。その後、これらの補間された赤成分値は、図１２に示すような付け 直された（整数値）列インデックスにインデックス付けし直される。ブロック３ ２６で列インデックスｃをインクリメントすることによって次のセグメントが選 択されて１ポイントオーバーラップが促進され、判断記号３２８で列インデック スｃが列Ｑの総数に等しくなるまで、ブロック３０６の水平色調回復プロセスが 続く。このとき、赤チャネルに関して垂直色調回復および水平色調回復が終了し ており、図１４の×印に配置される疑似絵素の各々は推定垂直赤色成分および推 定水平赤色成分を含む。 フルカラー回復が得られるまで、ブロック３０８で色インジケータをインクリ メントすることによって、上述のブロック３０４の垂直色調回復およびブロック ３０６の水平色調回復が各原色に対して繰り返される。このとき、色調回復方法 はブロック３１２で終了し、疑似絵素の各々は推定赤成分、推定緑成分、および 推定青成分を含む。 以下に述べるように、等式（１）の前方ＤＥＣＴと等式（２）の変形ＩＤＥＣ Ｔとを組み合わせて１つのステップにすることによって、上述の水平方向の補間 手順はをより速く行うことができる。等式（１）に従ったｓ（０）、ｓ（１）お よびｓ（２）の３ポイントＤＥＣＴは以下のような行列形式に書き直される。 ここで、定数はＤＥＣＴ基底行列を表す。その後、ｙ＝１／２、７／６、１１／ ６でＮ＝３の場合に等式（２）に従ったＤＥＣＴ係数Ｓ（０）、Ｓ（１）および Ｓ（２）の変形ＩＤＥＣＴを行うことによって、再構築された画像データポイン これらの値は以下のような行列形式に書き直される。 ここで、定数は変形ＩＤＥＣＴ基底行列を表す。 前方ＤＥＣＴおよび変形ＩＤＥＣＴの２つのステップを組み合わせて、行列形 式で表される１つのステップにすることができる。等式（１１）を等式（１２） ここで、定数はＤＥＣＴと変形ＩＤＥＣＴとを組み合わせた基底行列である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ソイニ，エフ．リチャード アメリカ合衆国 マサチューセッツ 01776，サドバリー，ノブスコット ロー ド 151 (72)発明者 ウォーバー，ミュニブ エイ. アメリカ合衆国 マサチューセッツ 01832，ハバーヒル，クリフ アベニュー ６ 【要約の続き】

Claims (1)

1. 【特許請求の範囲】 １．画像信号（ｓ（ｊ，ｉ））として表される画像の色再生を与えるためのシス テムであって、該システムは、 空間領域で画像信号源（２００）から該画像信号（ｓ（ｊ，ｉ））を取得する 手段（２０８）と、該画像信号（ｓ（ｊ，ｉ））の色チャネルを選択する手段（ ２２８）とを備え、該システムは、 該画像信号（ｓ（ｊ，ｉ））の第１のセグメントのＮポイント・ディスクリー ト・イーブン・コサイン変換（ＤＥＣＴ）を行って第１のＤＥＣＴ係数を生成し （３４２）、該第１のＤＥＣＴ係数の変形逆ディスクリート・イーブン・コサイ ン変換（ＩＤＥＣＴ）を行って第１の変形ＩＤＥＣＴ係数を生成する（３４４） ことによって、第１の方向の色調回復を行う（３０４）手段（２１８）を備え、 Ｎは所定の絵素（pixel）数であり、該第１の変形ＩＤＥＣＴ係数は該第１のセ グメントの第１の推定色成分を表し、 該画像信号（ｓ（ｊ，ｉ））の該第１の推定色成分の第２のセグメントのＮポ イント・ディスクリート・イーブン・コサイン変換を行って第２のＤＥＣＴ係数 を生成し（３２２）、該第２のＤＥＣＴ係数の変形逆ディスクリート・イーブン ・コサイン変換を行って第２の変形ＩＤＥＣＴ係数を生成する（３２４）ことに よって、第２の方向の色調回復を行う（３０６）手段（２１８）をさらに備え、 該第２の変形ＩＤＥＣＴ係数は該第２のセグメントの第２の推定色成分を表し、 該第２の推定色成分は疑似絵素に配置され、 該疑似絵素から色画像を生成する手段（２３４）をさらに備えることを特徴と する、システム。 ２．入力画像の色再生方法であって、 （ａ）画像取得装置（２０８）から、該入力画像を表す画像信号（ｓ（ｊ，ｉ ））を取得するステップと、 （ｂ）該画像信号（ｓ（ｊ，ｉ））の色チャネルを選択するステップ（３０２ または３０８）と、 （ｃ）該画像信号（ｓ（ｊ，ｉ））の第１の方向のセグメントのＮポイント・ ディスクリート・イーブン・コサイン変換（ＤＥＣＴ）を行って第１のＤＥＣＴ 係数を生成し（３４２）、該第１のＤＥＣＴ係数の変形逆ディスクリート・イー ブン・コサイン変換（ＩＤＥＣＴ）を行って第１の変形ＩＤＥＣＴ係数を生成す る（３４４）ことにより第１の方向の色調回復を行うステップ（３０４）と、を 包含し、Ｎは所定の絵素数であり、該第１の変形ＩＤＥＣＴ係数は該第１の方向 のセグメントの第１の推定色成分を表し、 （ｄ）該画像の該第１の推定色成分の第２の方向のセグメントのＮポイント・ ディスクリート・イーブン・コサイン変換を行って第２のＤＥＣＴ係数を生成し （３２２）、該第２のＤＥＣＴ係数の変形逆ディスクリート・イーブン・コサイ ン変換を行って第２の変形ＩＤＥＣＴ係数を生成する（３２４）ことにより第２ の方向の色調回復を行うステップ（３０６）をさらに包含し、該第２の変形ＩＤ ＥＣＴ係数は該第２のセグメントの第２の推定色成分を表し、該第２の推定色成 分は疑似絵素に配置される、方法。 ３．前記色チャネルが変えられ、前記方法は、 （ｅ）該変えられた色チャネルに対して、ステップ（ｃ）およびステップ（ｄ ）を繰り返すステップと、 （ｆ）前記疑似絵素にある、各色チャネルに関する前記第２の推定色成分を組 み合わせるステップと、 （ｇ）該疑似絵素から色画像を生成するステップとを包含することをさらに特 徴とする、請求項２に記載の方法。