JP4019318B2 - 画像復元方法、装置、プログラムおよび記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、元の画像を該画像のハーフトーン版から復元する技術に関する。該技術は、装置内において、方法として又は装置若しくはマシンに対し斯かる技術の処理ステップを実行するよう指示する命令のプログラムとして実施化することができる。
【０００２】
【関連技術の説明】
連続した階調（tone）の画像は、印刷のためにハーフトーン画像に変換される。ハーフトーンは二値又はマルチレベルの画像であり、斯かるハーフトーンを発生するために使用される二値又はマルチレベルディザ処理は、空間解像度に対してカラー深度を取り引きすることにより連続階調の効果を生ずる。ハーフトーンは、印刷に対しては優れているものの、スケーリング又はエンハンスメント等の或る処理に対してはうまく適合しない。また、ハーフトーンは余り圧縮可能ではない。このように、ハーフトーンは、通常、斯様な処理を可能にするために連続階調画像に再変換され、次いで印刷の前にハーフトーンに変換して戻される。
【０００３】
元の画像を該画像のハーフトーン版から復元する一つの既知で比較的簡単な方法は、該ハーフトーン版に対して平滑化ローパスフィルタ（ＬＰＦ）を適用するものを含む。各画素位置において、ハーフトーン値とＬＰＦ出力値との間の絶対カラー距離が所定の距離より小さい場合は該ＬＰＦの出力値が維持され、それ以外の場合はハーフトーン値が使用される。数学的には、この簡単な復元処理は次のように進行する：
【０００４】
【数１】

ここで、Δは隣接するディザレベルの間の差である。
【０００５】
この方法の問題は、復元された画像中にぼやけが導入される傾向がある点にある。
【０００６】
【発明が解決しようとする課題】
本発明の一つの目的は、上述した問題を克服することにある。
【０００７】
本発明の他の目的は、元の連続階調画像を該画像のハーフトーン版から、斯かるハーフトーンが二進又はマルチレベルディザ処理により生成されたか否かに拘わらず該ハーフトーンを発生するために使用されたディザマトリクスに関する知識を用いて、復元する改善された技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明の一態様によれば、画像を該画像のハーフトーン版から、該ハーフトーン版を発生するために使用されたディザマトリクスから得られる情報を用いて復元する方法が提供される。該方法は、各画素位置及びカラー値に対して（ｘ_min，ｘ_max）により定義される境界領域を、前記ディザマトリクスから得られる前記情報に基づいて決定するステップと；前記ハーフトーン版に対してローパスフィルタを適用して、各画素に関し復元されるカラーが、（ｉ）フィルタ処理された値がｘ_min以上で且つｘ_max以下である場合は該フィルタ処理された値となり、（ii）前記フィルタ処理された値がｘ_min未満の場合は該ｘ_min値となり、（iii）前記フィルタ処理された値がｘ_maxより大きい場合は該ｘ_max値となるようにするステップとを有する。該方法は、更に、各画素に関して、当該カラーに対する該画素の値が平均化処理に使用されるべきかを、当該画素の前記境界領域と、隣接する画素の境界領域との間の距離に基づいて決定するステップも有する。
【０００９】
通常、ｘ_min及びｘ_maxは、真の画素カラーが入るように拘束されるカラーハイパーキューブの対角的に対向する角（すみ）を規定する。復元されたカラーがフィルタ処理された値であるような状況では、該値はｘ_min及びｘ_maxにより定義される境界ボックス内に入るように拘束される。
【００１０】
本発明は、復元における細部の知覚を増加させるために、復元された画像に幾らかの高周波成分（high frequency content）を追加するステップを更に有することができる。復元された画像に対してカラー調整を実行する更なるステップを含めることもできる。該カラー調整は、逆ルックアップテーブル又は各画素カラーに関する１Ｄヒストグラムを用いて実行することができる。
【００１１】
他の態様においては、本発明は上述した方法が実施化されるような装置に関するものである。該装置は斯かる処理を実行するための、ここで述べるような適切な構成要素を有する。
【００１２】
本発明の他の態様によれば、上述した方法又は斯かる方法のステップの何れかは命令のプログラム（例えば、ソフトウェア）において具現化することができ、斯かるプログラムは実行のためにコンピュータ又は他のプロセッサ制御型装置上に記憶し、又は斯かる装置へ伝送することができる。他の例として、前記方法又は斯かる方法のステップの何れかは、機能的に等価なハードウェア構成要素、又はソフトウェアとハードウェアとの組合せを用いて実施化することができる。
【００１３】
本発明の他の目的及び成果並びに完全な理解は、以下の説明及び請求項を添付図面と共に参照することにより明らかとなり且つ理解されるであろう。
【００１４】
【発明の実施の形態】
図１は、本発明の技術を使用することが可能な典型的な画像再生システム１０の構成要素を図示している。図１に示すように、該システムは計算資源を提供すると共に該コンピュータを制御するような中央処理ユニット（ＣＰＵ）１１を含んでいる。ＣＰＵ１１は、マイクロプロセッサ等を用いて実施化することができると共に、グラフィックスプロセッサ及び／又は算術計算用の浮動小数点コプロセッサを含むこともできる。システム１０は、更に、ランダムアクセスメモリ（ＲＡＭ）及び読取専用メモリ（ＲＯＭ）の形態であり得るようなシステムメモリ１２を含んでいる。
【００１５】
図１に示すように、多数のコントローラ及び周辺装置も設けられている。入力コントローラ１３は、キーボード、マウス又はスタイラス等の１以上の入力装置１４に対するインターフェースを表している。スキャナ１６又は同等の装置と通信するコントローラ１５も存在する。１以上の記憶コントローラ１７は１以上の記憶装置１８とインターフェースし、これら記憶装置の各々は、オペレーティングシステム、ユーティリティ、及び本発明の種々の態様を実施化するプログラムの実施例を含み得るアプリケーション用の命令のプログラムを記録するために使用することができる磁気テープ若しくはディスクのような記憶媒体又は光媒体を含むことができる。記憶装置（又は複数の装置）１８は、本発明により処理されるべきデータを記憶するために使用することもできる。表示コントローラ１９は表示装置２１に対するインターフェースを提供し、該表示装置は陰極線管（ＣＲＴ）又は薄膜トランジスタ（ＴＦＴ）ディスプレイとすることができる。プリンタコントローラ２２も、プリンタ２３と通信して、本発明により処理された画像を印刷するために設けられている。通信コントローラ２４は通信装置２５とインターフェースし、該通信装置は当該システム１０が、インターネット、ローカルエリアネットワーク（ＬＡＮ）及び広域ネットワーク（ＷＡＮ）を含む種々のネットワークの何れかを介して、又は赤外線信号を含む適切な電磁搬送信号を介して遠隔装置と接続するのを可能にする。
【００１６】
図示の実施例において、全ての主要なシステム構成要素は、２以上の物理的バスを表すことができるバス２６に繋がっている。例えば、幾つかのパーソナルコンピュータは所謂工業規格アーキテクチャ（ＩＳＡ）バスのみを組み込んでいる。他のコンピュータは、ＩＳＡバス及び広帯域バスを組み込んでいる。
【００１７】
全ての処理は同一の物理的位置において生じることができるが、斯かる事項は本発明の要件ではない。例えば、入力又は出力データはプロセッサ１１から離れた位置で発生し及び終了することができる。また、本発明の種々の態様を実施化するプログラムは、ネットワークを介して遠隔位置（例えば、サーバ）からアクセスすることもできる。このように、入力若しくは出力データ、又は本発明の種々の態様を実施化するプログラムを具現化するソフトウェアは、磁気テープ若しくはディスク又は光ディスクを含む種々のマシン読み取り可能な媒体（これらの何れも、システムメモリ１２又は記憶装置１８を実施化するために使用することができる）、ネットワーク信号、又は赤外線信号を含む他の好適な電磁搬送信号の何れかを介してプロセッサ１１に伝送することができる。
【００１８】
本発明は、元（オリジナル）の連続階調画像を該画像のハーフトーン版から、該ハーフトーンを発生するのに使用されたディザマトリクスに関する知識を使用して復元する技術を提供するもので、二値レベル及びマルチレベルでディザ処理された画像の復元に適用することができる。本発明は、与えられたハーフトーン方法と一致するような全ての可能性のある画像からオリジナルを復元するために反復的技術を使用する。本発明は、例えば最も近いレベルが識別されるまでマルチレベルディザにおける一層近いレベルの間で二値レベルディザ処理を繰り返し適用することによる様な二値及びマルチレベルディザ処理の組合せにより生成されるものを含む、多数のマルチレベルディザ処理方法の何れにより発生されたハーフトーンも処理することができる。該復元技術は、画像のエッジを保存すると共に単一の調整可能なパラメータを用いて画像の“雑音除去”を実施する。該復元技術には、画像ヒストグラム等の追加の制約又は部分ブロックサムを伴う復元を組み込むことができる。以下、本発明の逆ハーフトーン化技術の詳細を説明する。
【００１９】
ディザマトリクスが分かる場合、各画素位置における出力値は（ｘ_min，ｘ_max）により与えられる境界領域内に位置するように拘束される。ｘ_min及びｘ_maxに対する値は、当該画素のディザマトリクス（又はスクリーン）に対する位置及び当該画素におけるディザ処理された値に依存する。単色ディザ処理に関しては、これは、図２ａに概念的に示すようにカラー階調線に沿う区間を規定する。多色ディザ処理の場合、これは、ＲＧＢ、ＣＭＹ、ＣＭＹＫ等であり得る画像カラー空間内のハイパーキューブ又は“ボックス”を規定する。図２ｂはＲＧＢカラー空間における斯様な境界ボックス２８を概念的に示している。ここでは、各カラー次元に対して１つずつの３つのｘ_min値、Ｒ_min、Ｇ_min及びＢ_min、並びに各カラー次元につき１つずつの３つのｘ_max値、Ｒ_max、Ｇ_max及びＢ_maxが存在する。上記６つの最小及び最大値により規定される面が交差して、境界ボックス２８を形成する。カラー（Ｒ_min，Ｇ_min，Ｂ_min）及び（Ｒ_max，Ｇ_max，Ｂ_max）は、ボックス２８の対角的に対向する角（かど）を規定する。この位置における画素に対して復元される画素カラーは、ボックス２８内に入るように拘束される。
【００２０】
ローパスフィルタ（ＬＰＦ）がハーフトーン版に適用されるが、復元を改善するために復元関数は、これらの区間又はボックス内に入るように拘束される。各画素位置において、ＬＰＦ出力値は、ハーフトーン値がｘ_min以上であり且つｘ_max以下であれば保持される。ハーフトーン値がｘ_min未満であればｘ_min値が使用され、ハーフトーン値がｘ_maxより大きければｘ_max値が使用される。数学的に、この処理は次のように書くことができる。
【００２１】
所与の画素位置におけるカラーの復元のためのフィルタ処理に含まれる画素の組は、復元されるべき画素に関するカラー境界ボックスと該画素の近隣における全画素の境界ボックスとの間の分離の程度により決定される。所定の閾値未満しか分離されていないカラー境界ボックスの画素のみが、当該フィルタ処理計算に含まれる。これは、画像内における領域境界を横切ってカラーを平均化することに起因する画像のぼやけという問題を除去する。ここで、ボックス間の距離は、或るボックス（box₁）における点（Ｐ_１）と他のボックス（box₂）における点（Ｐ_２）との間の最短距離であると定義される。数学的には、
【００２２】
【数３】

使用される距離メトリックは、計算的速度のためにマンハッタン距離とする。出力位置及び当該位置に関連するボックスが何らかの特定の閾Ｔ_box（該閾の値は使用される特定のハーフトーン方法に依存する）より小さい距離を有する場合にのみ、画素が平均化カーネルにおいて使用される。
【００２３】
品質を改善するために、数学的に、
【００２４】
【数４】

と記載されるように、上述した拘束の下で当該信号に高周波成分（high frequency content）の幾らかを加算して戻すことができ、ここで、Ｈ及びＨ_２は異なるフィルタ処理カーネルを表し、αは復元画像に加算される高周波成分の量を制御するスカラ値である。
【００２５】
次に、何らかのカラー調整が好ましくは実施される。このステップは２つの画像、例えば画像_１及び画像_２におけるカラーを整合させるもので、ここで、画像_２は画像_１をハーフトーン化し（二値レベル又はマルチレベルスクリーニングを用いて）、上述した復元技術を該ハーフトーン化された画像に適用した後に得られる。当該方法は、一様なカラーパッチの画像を生成し、これらのカラーパッチに対してハーフトーン化及び復元を実行し、及び各パッチについて復元されたカラーを決定することにより進行する。この場合、復元されたカラーを元の値に整合させるためにルックアップテーブルが構築される。斯かる技術が図３に概念的に示されている。各区間における開始値、例えば各区間の中央値が初期推定のために使用される。一様なカラーパッチ３１が入力カラーとして使用される。斯かるカラーに対してマルチレベルディザ処理がブロック３２において実行され、ブロック３３において逆ハーフトーン化が実行される。出力カラーパッチ３４の平均カラーを入力カラー３１に整合させる逆カラーテーブルが構築される。他の例として、各カラーチャンネルに対して元の画像におけるカラーの分布を表す１Ｄヒストグラムが利用可能なら、各区間におけるヒストグラムのセントロイドを開始値として使用することもできる。該手順が図４に概念的に示されている。マルチレベル量子化線４０上の開始区間推定４１ａ〜４１ｄは、１Ｄヒストグラム４３における各区間セントロイド４４ａ〜４４ｄに対応する。
【００２６】
上述した説明が示すように、本発明は元の連続階調画像を該画像のハーフトーン版から復元する技術を提供する。本発明は画像の品質を保存すると共に、ラスタ動作を介して異なるハーフトーン表現からのデータを混合する能力も保存する。本発明は種々の応用例を有している。特に、本発明は、画像サーバから異なるレンダリング能力を有する手持ち装置への画像の伝送に関連して使用することができる。特定の手持ち装置のレンダリング能力に対して最適化されたハーフトーンを上記サーバにより生成し、圧縮し、上記手持ち装置に伝送することができる。この技術により導入された圧縮ノイズは、出力装置においてレンダリングアルゴリズムに整合され、これが、圧縮アーチファクトの知覚を大幅に低減させる。本発明は、等しくないカラー深度を持つ装置間で画像が伝送される場合のカラー深度変換にも有効である。このことは、例えば、画像が比較的低いカラー深度を持つ手持ち装置から高いカラー深度を持つプリンタへ無線で送信される場合等に発生する。
【００２７】
本発明の技術は、前述したようにパーソナルコンピュータ又は他の処理装置上で動作するソフトウェアを用いて都合良く実施化することができる。また、本発明の技術は、１以上の特定用途集積回路（ＡＳＩＣ）又はデジタル信号プロセッサ等の機能的に等価なハードウェア構成部品を用いて実施化することもできる。ソフトウェアとハードウェアとの組合せも、本発明の技術を実施化するために使用することができる。これらの実施化代替案を考慮に入れて、各図及び付帯する説明は、所要の処理を実行するプログラムコード（即ち、ソフトウェア）を書き又は回路（即ち、ハードウェア）を製造するために当業者が要するであろう機能的情報を提供するものであると理解されるべきである。
【００２８】
以上、本発明を幾つかの特定の実施例に関連して説明したが、当業者にとっては、上記説明に照らして多くの他の代替例、修正例、変形例及び使用例が明らかとなるであろう。このように、ここに述べた本発明は添付請求項の趣旨及び範囲に入るであろう全ての斯様な代替例、修正例、変形例及び使用例を含むことを意図するものである。
【図面の簡単な説明】
【図１】図１は、本発明の態様を実施するために使用することができる例示的な画像再生システムにおける構成要素を図示するブロック図である。
【図２ａ】図２ａは、本発明の一実施例による単色階調線に沿う境界間隔の概念図である。
【図２ｂ】図２ｂは、本発明の一実施例による３Ｄカラー空間における境界ボックスの概念図である。
【図３】図３は、或る実施例による本発明のカラー調整態様を示すブロック図である。
【図４】図４は、他の実施例による本発明のカラー調整態様を示すブロック図である。
【符号の説明】
１０…画像再生システム
１１…ＣＰＵ
１３…入力コントローラ
１４…入力装置
１５…スキャナコントローラ
１６…スキャナ
１７…記憶コントローラ
１８…記憶装置
１９…表示コントローラ
２１…表示装置
２２…プリンタコントローラ
２３…プリンタ
２４…通信コントローラ
２５…通信装置
２６…バス

Claims (9)

1. 元画像をディザマトリクスを用いてハーフトーン処理されたハーフトーン画像から、該ディザマトリクスから得られる情報を用いて元画像を復元する方法において、
   （ａ）各画素位置において（ｘmin，ｘmax）により定義される境界領域を、前記ディザマトリクスから得られる前記情報と前記ハーフトーン画像とに基づいて決定するステップと、
   （ｂ）前記ハーフトーン画像の前記各画素に対して、当該画素の前記境界領域と、隣接する画素の境界領域との間の距離が所定の閾値より小さい画素を用いて、ローパスフィルタ処理を行うステップと、
   （ｃ）各画素に関し復元される色の値が、
   （ｂ１）前記ローパスフィルタ処理された値がｘmin以上で且つｘmax以下である場合は、該フィルタ処理された値となり、
   （ｂ２）前記ローパスフィルタ処理された値がｘmin未満の場合は、該ｘmin値となり、
   （ｂ３）前記ローパスフィルタ処理された値がｘmaxより大きい場合は、該ｘmax値となる、
   ようにするステップと、
   を有していることを特徴とする方法。
2. 請求項１に記載の方法において、
   復元された前記画像に対して、カラーパッチ画像にハーフトーンを行った後に復元を行うことで生成された、復元された色を元の値に整合させるためのルックアップテーブルを用いてカラー調整を実行するステップを更に有していることを特徴とする方法。
3. 請求項１または２に記載の方法において、復元された前記画像に対して各画素カラーに関する１Ｄヒストグラムを用いてカラー調整を実行するステップを更に有していることを特徴とする方法。
4. 元画像をディザマトリクスを用いてハーフトーン処理されたハーフトーン画像から、該ディザマトリクスから得られる情報を用いて元画像を復元する装置において、
   （ａ）各画素位置において（ｘmin，ｘmax）により定義される境界領域を、前記ディザマトリクスから得られる前記情報と前記ハーフトーン画像とに基づいて決定する手段と、
   （ｂ）前記ハーフトーン画像の前記各画素に対して、当該画素の前記境界領域と、隣接する画素の境界領域との間の距離が所定の閾値より小さい画素を用いて、ローパスフィルタ処理を行う手段と、
   （ｃ）各画素に関し復元される色の値が、
   （ｂ１）前記ローパスフィルタ処理された値がｘmin以上で且つｘmax以下である場合は、該フィルタ処理された値となり、
   （ｂ２）前記ローパスフィルタ処理された値がｘmin未満の場合は、該ｘmin値となり、
   （ｂ３）前記ローパスフィルタ処理された値がｘmaxより大きい場合は、該ｘmax値となる、
   ようにする手段と、
   を有していることを特徴とする装置。
5. 請求項４に記載の方法において、
   復元された前記画像に対して、カラーパッチ画像にハーフトーンを行った後に復元を行うことで生成された、復元された色を元の値に整合させるためのルックアップテーブル又は各画素カラーに関する１Ｄヒストグラムを用いてカラー調整が実行されることを特徴とする装置。
6. 元画像をディザマトリクスを用いてハーフトーン処理されたハーフトーン画像から、該ディザマトリクスから得られる情報を用いて元画像を復元するようにマシンに指令する命令のプログラムにおいて、前記命令のプログラムが、
   （ａ）各画素位置において（ｘmin，ｘmax）により定義される境界領域を、前記ディザマトリクスから得られる前記情報と前記ハーフトーン画像とに基づいて決定する命令と、
   （ｂ）前記ハーフトーン画像の前記各画素に対して、当該画素の前記境界領域と、隣接する画素の境界領域との間の距離が所定の閾値より小さい画素を用いて、ローパスフィルタ処理を行う命令と、
   （ｃ）各画素に関し復元される色の値が、
   （ｂ１）前記ローパスフィルタ処理された値がｘmin以上で且つｘmax以下である場合は、該フィルタ処理された値となり、
   （ｂ２）前記ローパスフィルタ処理された値がｘmin未満の場合は、該ｘmin値となり、
   （ｂ３）前記ローパスフィルタ処理された値がｘmaxより大きい場合は、該ｘmax値となる、
   ようにする命令と、
   を有していることを特徴とするプログラム。
7. 請求項６に記載のプログラムにおいて、
   復元された前記画像に対して、カラーパッチ画像にハーフトーンを行った後に復元を行うことで生成された、復元された色を元の値に整合させるためのルックアップテーブルを用いてカラー調整を実行する命令を更に有していることを特徴とするプログラム。
8. 請求項６または７に記載のプログラムにおいて、復元された前記画像に対して各画素カラーに関する１Ｄヒストグラムを用いてカラー調整を実行する命令を更に有していることを特徴とするプログラム。
9. 請求項６乃至８のいずれか一項に記載のプログラムを記録したコンピュータによって読取可能な記録媒体。

Images