JP4123780B2 - 画像アーティファクトの除去方法及び除去装置、並びにそれを記録した記録媒体 - Google Patents

画像アーティファクトの除去方法及び除去装置、並びにそれを記録した記録媒体 Download PDF

Info

Publication number
JP4123780B2
JP4123780B2 JP2002010696A JP2002010696A JP4123780B2 JP 4123780 B2 JP4123780 B2 JP 4123780B2 JP 2002010696 A JP2002010696 A JP 2002010696A JP 2002010696 A JP2002010696 A JP 2002010696A JP 4123780 B2 JP4123780 B2 JP 4123780B2
Authority
JP
Japan
Prior art keywords
pixel
image
screen
pixels
pass filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002010696A
Other languages
English (en)
Other versions
JP2002259963A5 (ja
JP2002259963A (ja
Inventor
ユエン チェン ジャウ
シュー ジョセフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of JP2002259963A publication Critical patent/JP2002259963A/ja
Publication of JP2002259963A5 publication Critical patent/JP2002259963A5/ja
Application granted granted Critical
Publication of JP4123780B2 publication Critical patent/JP4123780B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • G06T5/75Unsharp masking
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7416Projection arrangements for image reproduction, e.g. using eidophor involving the use of a spatial light modulator, e.g. a light valve, controlled by a video signal
    • H04N5/7441Projection arrangements for image reproduction, e.g. using eidophor involving the use of a spatial light modulator, e.g. a light valve, controlled by a video signal the modulator being an array of liquid crystal cells
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7416Projection arrangements for image reproduction, e.g. using eidophor involving the use of a spatial light modulator, e.g. a light valve, controlled by a video signal
    • H04N5/7441Projection arrangements for image reproduction, e.g. using eidophor involving the use of a spatial light modulator, e.g. a light valve, controlled by a video signal the modulator being an array of liquid crystal cells
    • H04N2005/745Control circuits therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、スクリーンイメージ、特に液晶プロジェクタ(LCP)によって生成された画像から、モアレなどの画像アーティファクトをメモリ効率よく取り除く方法及びその装置に関する。本発明は、前記画像アーティファクト除去方法の様々な態様を実施する命令プログラムを記録した記録媒体にも関する。
【0002】
【従来の技術】
周期的なラインやドット・パターンからなるスクリーンを含んだイメージは、時として投写あるいは表示すると、モアレアーティファクトなどのアーティファクトが表れる。モアレアーティファクトは、2つの幾何学正則パターンを重畳すると必ず発生し、しばしば画像表現のリップル状のパターンとなって表れる。そうしたアーティファクトは画質を低下させるので好ましくない。
【0003】
投写画像の場合、イメージ生成投写装置(例えば、LCP)は、投写画像の形状を変えて投写角度を補償する「キーストーン補正」として知られる手法を採用する。キーストーン補正で特定の投写画像特性は向上するが、この手法にはスクリーンのライン/ドット・パターン間の間隔を均等に保つことができないという欠点がある。そのために、画像のいろいろなところで、この不均等な間隔がモアレアーティファクトとなる。
【0004】
これに対してローパスフィルタ処理を用いてモアレアーティファクトを取り除くことはできるが、ローパスフィルタ(LPF)を広域に用いると、表示画像もしくは投写画像のテキストや非スクリーン領域がぼやけしてしまう傾向がある。すなわち、LPFを画像に一様に用いた場合、モアレを容認できるレベルまでフィルタリングすると、今度は解像度が容認できないレベルまで低下してしまう。
【0005】
上記のように、非スクリーン領域の鮮鋭度を保つと同時にスクリーン領域を平滑化してモアレを取り除き、しかも投写画像に適した有効な画像アーティファクト除去法が求められている。
【0006】
【発明が解決しようとする課題】
従って、本発明の目的は、そうしたメモリ効率の良い画像アーティファクト除去法を提供することによって上記の問題を克服するものである。
【0007】
本発明のもう一つの目的は、スクリーンイメージ領域と非スクリーンイメージ領域とを識別、セグメント化して、その2つの領域を別々に処理してスクリーン領域からモアレを取り除くが、それと同時に非スクリーン領域の鮮鋭度を保てるメモリ効率の良い画像アーティファクト除去法を提供することである。
【0008】
【課題を解決するための手段】
本発明の一つの態様によれば、表示画像から画像アーティファクトを取り除くメモリ効率の良い方法を提供する。そうした方法は、(a)画像の画素を得るステップと、(b)各画素をスクリーン画素又は非スクリーン画素に分類するステップと、(c)各画素の周囲領域にある所定の画素を調べてステップ(b)で決定されたその画素の分類を確認するステップと、(d)ステップ(c)の確認に基づき、画素にローパスフィルタを選択的に適用して、ローパスフィルタを適用した画素をローパスフィルタで生成される別の画素で置換えるステップとからなる。
【0009】
この方法の様々な好適な構成を以下に説明する。
【0010】
前記分類のステップ(b)は、分類中の画素が中心にくるように配置される所定の大きさを有する第1マスクを用いて、その分類中の画素が所定の周期的パターンを有する区域内にあるかどうかを決定することからなる。
【0011】
前記第1マスクはその一部がオーバーラップする複数の区域に分割され、全ての複数の区域内に分類中の画素が含まれる。
【0012】
検査のステップ(c)は、分類結果を確認中の画素を中心にくるように配置された所定の大きさを有する第2マスクを用いて行なう。
【0013】
前記第2マスクは、その一部がオーバーラップする複数の区域に分割され、全ての複数の区域内には分類結果を確認中の画素(中心画素)が入っている。
【0014】
また、前記所定の周期的パターンとは、2又は3を周期とする周期的ライン又はドットのパターンである。
【0015】
選択的に適用されるステップ(d)は、前記第2マスクの複数の区域のどれがスクリーン画素を含んでいるかに基づいてローパスフィルタの適用をきめる。
【0016】
上記の方法はさらに、(f)画素の少なくとも一部分の特徴標識を決定するステップと、(g)決定された特徴標識に基づいて画像の少なくとも一部分を鮮鋭化又は緩和するステップとを具備する。
【0017】
本発明のもう一つの態様は、表示画像から画像アーティファクトを取り除く装置である。そうした装置は、画像の画素を得るための装置と、得られた各画素をスクリーン画素か非スクリーン画素かに分類するために前記装置と接続されたスクリーン画素識別器と、各画素の周囲区域にある所定の画素を調べて前記スクリーン画素識別器によって決定されたその画素の分類の結果を確認する前記スクリーン画素識別器に接続されたスクリーン領域検証器と、前記スクリーン領域検証器に接続され、前記スクリーン領域検証器の確認結果に基づき各画素に選択的に適用されるローパスフィルタを有し、前記ローパスフィルタを適用する画素を、前記ローパスフィルタで生成される別の画素で置換えることを特徴とする。
【0018】
この機器の様々な好適な構成を以下に説明する。
【0019】
前記スクリーン画素識別器は、所定の大きさの第1マスクを有し、前記第1マスクは、分類中の画素が第1マスクの中心にくるように適用され、その分類中の画素が所定の周期的パターンを有する区域内にあるかどうかを決定する。
【0020】
また、前記第1マスクは、その一部がオーバーラップする複数の区域に分割され、前記複数の区域の全ての中に中心画素(分類中の画素)が含まれる。
【0021】
スクリーン画素検証器は、検証中の画素がその中心にくるように適用される所定の大きさの第2マスクを有する。
【0022】
前記第2マスクは、その一部がオーバーラップする複数の区域に分割され、前記分割された第2マスクの複数の区域全ての中に前記中心画素が入っている。
【0023】
また、前記所定の周期的パターンは周期2又は3の周期的ライン又はドットのパターンである。
【0024】
また、ローパスフィルタは、前記第2マスクの複数の区域のどれがスクリーン画素を含むかに基づいて選択的に用いられる。
【0025】
上述の装置はさらに、画像の少なくとも一部分の特徴標識を決定する周波数分類器と、決定された特徴標識に基づいて画像の少なくとも一部分を鮮鋭化又は緩和する画像処理プロセッサとを具備する。
【0026】
本発明の更なる態様により、上述の方法又はステップはコンピュータ又はその他のプロセッサで制御される装置に記憶又は伝達される命令プログラム(例えば、ソフトウエア)として実施できるようにしても構わない。もしくは、本発明の方法又はステップはハードウエア又はソフトウエアとハードウエアとの組み合わせを用いて実現してもいい。
【0027】
添付の図面と共に以下に述べる説明及び特許請求の範囲を参照することにより本発明をさらによく理解できるようになるし、本発明のその他の目的及び功績が明確になり評価できるようになる。
【0028】
【発明の実施の形態】
図1に、本発明の技法を採用できる典型的な画像投写システム10の構成要素を示す。図に示した実施例において、コンピュータシステム12はスクリーンや壁、或いはその他の表示エリアに投写する液晶プロジェクタ(LCP)など投写装置16に適切な伝送経路で電送されたディジタル画像を格納する。当業者ならばよく分かるように、図1に表すのはディジタル画像を取り込み投写するために用いることのできる数多くの選択肢の一つにすぎない。本発明は表示又は投写する前のディジタル画像に適用する特定の処理に関する発明であり、この発明にとって画像をどのようにして或いはどこに格納又はディジタル化するかといったことは重要ではない。本発明に従って処理されるディジタル画像はスキャナ、ディジタルカメラなどから取り込まれ、メモリに格納され、投写装置に送られる。また、そうしたディジタル画像はコンピュータで生成することもできる。さらに、本発明の主題である特殊処理は、投写装置自体の中で実施するか、本発明の処理を実施する機能を有するコンピュータやその他の装置において、事前に特殊処理した画像データを投写装置に送るかのいずれかである。
【0029】
コンピュータ12でディジタル画像を入手し、格納して処理する場合、使用するコンピュータはパソコン、ワークステーションなど適切なタイプならどんなものでも構わない。図2に示すように、コンピュータは様々の計算用資源を提供し、コンピュータを制御する中央処理機構(CPU)21を含むのが普通である。CPU21はマイクロプロセッサなどで実現することができ、グラフィック・プロセッサ及び/又は数理計算のための浮動小数点コプロセッサを含んでいても構わない。コンピュータ12はさらにシステムメモリ22を含み、それはランダムアクセスメモリ(RAM)及び読み出し専用メモリ(ROM)等で構成される。
【0030】
また図2に示すように、多数の制御装置及び周辺装置も備えている。入力制御装置23はキーボード、マウス或いはスタイラスなど、一つ以上の入力装置24に対するインタフェースを表す。コンピュータ12は、スキャナ及び/又はディジタルカメラなど、ディジタル画像を供給する入力装置を接続できるような入力制御装置を有していても構わない。記憶制御装置25は記憶装置26に対するインタフェースである。記憶装置26は、磁気テープやディスクなどの記憶媒体又は光メディアを含み、これらの媒体は本発明の様々な態様を実施するプログラムや、オペレーティングシステム、ユーティリティ、アプリケーション用の命令プログラムの記録に使用することができる。さらに、記憶装置26に本発明に従って処理される画像データを格納することもできる。
【0031】
出力制御装置27は、表示装置など出力装置28に対するインタフェースとなる。出力装置は陰極線管(CRT)や薄膜トランジスタ(TFT)ディスプレイなどである。出力制御装置が設けられているのは投写装置16をコンピュータに接続するためでもある。通信制御装置29は、モデムやその他のネットワーク接続のための通信装置とのインタフェースをとなる。本発明の様々な態様を実現するプログラム及び/又は処理された或いはこれから処理する画像データは、遠隔地(例えば、サーバ)からネットワークでコンピュータ12に送られる。
【0032】
図に示した実施例において、全ての主要なシステム構成要素はバス32に接続されているが、バス32は一つ以上の物理的なバスで構わない。例えば、パソコンによっては、いわゆるISAバスしか組み込まれていない場合もあるし、ISAバスの他に高帯域幅のバスが組み込まれている場合もある。
【0033】
図3に、コンピュータシステム12又は投写装置16或いはその他の装置に実装することができるプロセッサ100を示す。プロセッサ100は、キーストーン画像アーティファクト除去(KIAR)35、適応型フィールドベース映像強調(AFBVE)36、キーストーンモーフィング37など様々な機能を実行する。KIARはAFBVEをサポートする設計になっている。KIARとAFBVEとキーストーンモーフィングとの関係を図に示す。入力画像(I/P)はKIARブロックに送られ、そこでKIAR技法に従って処理される。KIAR処理された画像は次にAFBVEブロックに送られ、そこでAFBVE技法に従って処理される。その後、AFBVE処理された画像にキーストーンモーフィングを用いてLCP16によって表示される出力画像(O/P)が生成される。
【0034】
KIAR、AFBVE、キーストーンモーフィングの各処理はソフトウエア、ハードウエア、或いは両者の組み合わせなど様々なやり方でプロセッサ100において実施することができる。例えば、ソフトウエアをコンピュータ12のシステムメモリ22や記憶装置26に記憶し、実行時にCPU21によってフェッチされるようにしてもいい。もっと広く言えば、磁気テープ又はディスク、光ディスク、インターネットなどネットワーク経路で送られる信号や、赤外線信号など電磁スペクトルでの適切な搬送波信号など、様々な機械可読媒体のどれかによってそうしたソフトウエアを伝えることができる。プロセッサ100は、ディスクリート論理回路で、一つ以上のアプリケーション専用集積回路(ASIC)やディジタル信号プロセッサ、或いはプログラム制御型プロセッサなどで実現することもできる。
【0035】
図4は、本発明の実施例によるKIAR技法の機能ブロック図である。一実施例として、KIAR35はスクリーン画素識別器(SPI)41と、スクリーン領域検証器(SRV)42と、ローパスフィルタ(LPF)などのフィルタ43とで実現される。プロセスフローはこの図に示した通りである。SPI41はKIARブロック35へ入力されるディジタル画像の各画素を調べ、その画素をスクリーン画素と非スクリーン画素に分類する。次に、SRV42が、分類された画素の周辺区域の画素を調べて初期分類が正しいかどうかを確認し、SPI41で間違って分類された画素があれば分類をやり直す。次に、以下に説明するように、非スクリーン領域の画素をそのまま保持しつつ、LPFをスクリーン領域の画素に適用する。
【0036】
SPI41は分類関数を実行するのに一次元のマスクを用いる。その一実施例を概略的に図5Aに示し、もう一つの実施例を図5Bに示す。マスク51a及び51bはそれぞれ25×1画素の大きさを有し、現在調べている画素がマスクの中央にくるようにする。マスクエレメント52a及び52bはその中央の画素が周期的ライン又はドットのパターン区域内にあるかどうかを確認できるように間隔を置いて配置されている。隣接するマスクエレメントの周期もしくは距離は或る所定数で与えられる。図5Aのマスクにおいて、エレメント52aは所定数が2になるような間隔で配置されている。すなわち、マスクエレメントに対応する画素と調べている画素との間にそれぞれ一つの画素がある。図5Bのマスクにおいては、エレメント52bは所定数が3になるような間隔で配置されている。すなわち、マスクエレメントに対応する画素と調べている画素との間にそれぞれ2つの画素がある。
【0037】
図5A及び5Bに示すように、マスク51a及び51bはそれぞれ一つの画素が中央でオーバーラップするオーバーラップ区域(1)(中央から左側の区域)とオーバーラップ区域(2)(中央から右側の区域)とに分割される。このような分割を行なうことにより、ボーダー上やコーナーにあるスクリーン画素が識別しやすくなる。各区域(1)及び(2)のマスクエレメントは5又は7の画素分に対応し、図中に「距離」で示した2画素又は3画素のスペーシングを有する。マスク51aは2画素のスペーシングを有する2つの区域の7画素をそれぞれ調べるのに対し、マスク51bは3画素のスペーシングを有する2つの区域の5画素をそれぞれ調べる。
【0038】
例えば、或る特定の区域で調べた全画素が同じ色値(例えば、RGB値)をもっていれば、その区域は使用したSPIマスクに対応した所定のスクリーンパターン有するスクリーン区域内にあると考えられる。そして、その所定のパターンに対応するパターンの光度や色度など他の画素属性も調べる。どちらか一方の区域がスクリーン区域内にあると分類されたら、その中心画素をスクリーン画素と考える。
【0039】
SPIマスクで処理した後、画素分類に間違いがあればそれをSRV42によって修正する。SRV42もマスクを採用する。SPIマスクは、図5A及び5Bに示すように25×1で、SRVマスク61は25×3の画素が好ましく、図6に示すように、[1]、[2]、[3]、[4]と示した象限に分割される。各象限は13×2画素を有し、隣接する象限の1行または1列がオーバーラップするのが好ましい。すなわち、象限[1]の最も右側の列は象限[2]の最も左側の列とオーバーラップし、象限[1]の最下行は象限[3]の最上行とオーバーラップする。同様に、象限[4]の最も左側の列は象限[3]の最も右側の列とオーバーラップし、象限[4]の最上行は象限[2]の最下行とオーバーラップする。SRVマスク61を象限に分割すると、スクリーン領域の内側でも、その領域のボーダーやコーナーでも、SRVを正確に実施することができる。
【0040】
LPF43のフィルタカーネルはSRVマスクを用いた処理に基づいて適用される。フィルタカーネルは、その係数を図7に示した3×3のガウスLPFカーネルが好ましい。LPFカーネルの適用の仕方は、SRV61の象限のどの組み合わせにスクリーン画素が入っているかによって決まる。SRVマスク61の4つの象限それぞれの中にある画素が全てスクリーン画素ならば、LPFカーネルを適用して中心画素を平滑化する。それが図6で濃くなっている画素である。しかし、いくつかの象限しかスクリーン画素を含んでいなければ、対応する画素が「ミラー」画素で置換えられる。それについては以下に図8を参照して説明する。図8はLPFカーネルでカバーされた画素のナンバリングを示す。
【0041】
象限[1]、[2]及び[3]だけがスクリーン画素を含んでいれば、画素9が画素1で置換えられる。象限[1]、[2]及び[4]だけがスクリーン画素を含んでいれば、画素7が画素3で置換えられる。象限[1]、[3]及び[4]だけがスクリーン画素を含んでいれば、画素3が画素7で置換えられる。象限[2]、[3]及び[4]だけがスクリーン画素を含んでいれば、画素1が画素9で置換えられる。象限[1]と[2]しかスクリーン画素を含んでいない場合は、画素7、8、9が画素1、2、3でそれぞれ置換えられる。象限[1]と[3]しかスクリーン画素を含んでいない場合は、画素3、6、9が画素1、4、7でそれぞれ置換えられる。象限[2]と[4]しかスクリーン画素を含んでいない場合は、画素1、4、7が画素3、6、9でそれぞれ置換えられる。象限[3]と[4]しかスクリーン画素を含んでいない場合は、画素1、2、3が画素7、8、9でそれぞれ置換えられる。象限[1]しかスクリーン画素を含んでいなければ、画素3、6、9、8、7が画素1、2、1、4、1でそれぞれ置換えられる。象限[2]しかスクリーン画素を含んでいなければ、画素1、4、7、8、9が画素3、2、3、6、3でそれぞれ置換えられる。象限[3]しかスクリーン画素を含んでいなければ、画素1、2、3、6、9が画素7、4、7、8、7でそれぞれ置換えられる。象限[4]しかスクリーン画素を含んでいなければ、画素3、2、1、4、7が画素9、6、9、8、9でそれぞれ置換えられる。その他の場合はすべて、調べている画素は変わらずそのままである。すなわち、LPFは適用されない。
【0042】
画素(i, j)の場合、LPF処理は次の通り:
Ii/p (i, j) = KIAR演算の入力画像
Ilpf (i, j) = 3 x 3 ガウスLPF
Ihpf (i, j) = KIAR演算の出力画像 = Ilpf (i, j) + (1 + 鮮鋭化因数) * Ihpf (i, j)
鮮鋭化因数はシステムのハードウエア特性に基づいてLCPシステムごとに実験によって決めて構わないが、本願の発明者は、項(1 + 鮮鋭化因数)の値 = 1/8と実験から決めた。そうした値でテスト画像のあらゆるキーストーン処理したスクリーン区域のモアレアーティファクトを減らすことができた。非スクリーン区域の場合、出力画像が入力画像と同じになるようにして画像の非スクリーン区域を維持する。
【0043】
先に述べたように、適応型フィールドベース映像強調(AFBVE)として知られる別の技法とともにKIAR技法を用いてもいい。この場合、KIAR処理された画像はAFBVE技法で決められた平滑化又は鮮鋭化の処理のためにAFBVEブロックに渡される。AFBVEは適応型のプロセスで、必要に応じて、エッジや境界の平滑化或いは鮮鋭化を行ない、奇数及び偶数の画像画素行からなるLCPへの別の入力であるインタレースビデオ入力によって発生するぼやけを取り除くのに用いられる。インタレースビデオ入力は、奇数画素行が先ず入力され、それに続いて偶数画素行が入力されるのが普通である。いずれにしても、そうした入力は2つのフィールド、すなわち、奇数行フィールドと偶数行フィールドとで構成される各ビデオフレームになる。この2つのフィールド間の相互作用が原因で、結果として生成される画像がぼやけてしまいがちである。AFBVEはこのタイプのぼやけを修正することができる。
【0044】
図9は、KIARブロック35のディジタル出力に、鮮鋭化及び平滑化処理を適応的に用いるAFBVE技法の機能ブロック図である。KIAR35の出力はAFBVE36への入力画像を形成する。それはインタレースデータもしくはプログレッシブデータである。この入力画像はLPF91、加算関数92、周波数分類器93へと送られる。
【0045】
入力画像はローパスフィルタLPF91を通ることによりスムーズな(すなわち、緩和された)画像になる。LPF91は図7に示したものと同じ3×3のガウスカーネルを用いるのが好ましい。また一方で、平滑化された画像を入力画像から減算することにより画像のハイパス周波数成分を得ることができる。画像のハイパス周波数成分は第1の加算関数92へ入力される。エレメント92には、は入力画像とハイパス周波数成分とが入力され、その結果は基準化因子決定器94へ入力される。基準化因子決定器94はエレメント92の出力を受け画像の高周波数成分拡大倍率を生成する。倍率1は、AFBVE関数の出力画像がその関数の入力画像と同じになるということを意味する。すなわち、1以上の倍率は出力画像が鮮鋭化され、1以下の倍率は出力画像が緩和されることを意味する。本願の発明者は実験から好ましい倍率は1 + 20/32 = 52/32と決定した。
【0046】
高周波数成分を単に倍率で拡大した後それを平滑化した画像に加算して出力(O/P)画像を生成するのではなく、本発明の周波数分類器93は図9にfで示した特徴標識を生成して倍率を変調し、適応鮮鋭化及び緩和の強調を実現する。周波数分類器93はどの画像区域を鮮鋭化するか、緩和するかを決定するとともに、画像の各画素位置で適用する鮮鋭化又は緩和因子の大きさを決める。すなわち、周波数分類器93は、雑音性マイクロエッジ(又は非エッジ)から主エッジを分離するために画像空間周波数情報を検出して特徴標識fを生成する。
【0047】
特に、周波数分類器93は3×3のソーベルエッジ検出器を用いて画像の空間周波数成分を検出し、図10に示す3つの領域のうちのどれか一つに各成分を分類する。3つの領域とは、所定の下位しきい値周波数(thr_low)以下の緩和領域と、所定の上位しきい値(thr_high)以上の鮮鋭化領域と、緩和領域と鮮鋭化領域との間の遷移領域である。遷移領域は緩和領域と鮮鋭化領域との間でスムーズに変移する。図10に示すように、fは遷移領域では線形で緩和領域と鮮鋭化領域との間の不連続性アーティファクトを回避できる。
【0048】
図10に示すように、特徴標識fはソーベルエッジ検出器の出力の関数で、その範囲は0〜255である。下位しきい値周波数及び上位しきい値周波数は画像タイプとビジュアルの個人的な好みとシステムハードウエア特性とによって異なってくる。そうしたしきい値は実験から決定することができるが、本願の発明者は、多くの画像において下位しきい値がおよそ20で上位しきい値がおよそ40の場合優れた結果を生むと判定した。
【0049】
特徴標識fは0から1までの数字(図10の0〜100%の百分率として表される)で、乗算器95に入力され、そこで基準化因子決定器94の倍率と乗算され、変調倍率を生成する。変調倍率は加算器に入力され、LPF91によって生成された平滑化後の画像を変調する倍率として使用される。変調倍率1はLPF91の出力に何も変化も加えられないことを意味し、1以上の倍率は出力が鮮鋭化されることを意味し、倍率が1以下ということは出力が緩和もしくは平滑化されることを意味する。加算器96から生じた画像はAFBVE処理の出力(O/P)画像である。
【0050】
図11Aは、LCPに入力できるインタレースビデオ画像の図による表現である。先に説明したように、インタレース画像フォーマットにおいては、フレームごとに2つのフィールド、すなわち、例えば奇数の走査行からなる第1フィールドと、例えば偶数の走査行からなる第2フィールドとがある。画像データフィールドはそれぞれ、例えば、第1フィールドが先ず処理され、その次に第2フィールドの処理が行なわれるというように、別々に処理される。そのために、フィルタリング処理において、図11Bに概略的に示すように、第1又は第2いずれかのフィールドからのエレメントにフィルタカーネルが適用される。なお、インタレースビデオフォーマットはLCPのためのビデオ入力の一つのタイプでしかない。画像が行単位のラスタフォーマットを有するプログレッシブフォーマットを用いても構わない。
【0051】
【発明の効果】
上記の説明から明らかなように、本発明は非スクリーン領域のシャープさを維持しながら、スクリーン画像領域を平滑化してモアレを取り除く技法(KIAR)を提供する。KIAR処理に続いてAFBVE処理を行なうことができる。各処理はソフトウエア、ハードウエア、或いは両者の組み合わせを用いてパソコンやその他の処理装置で実施することができる。
【0052】
これらの実施代替え案を考慮して、ブロック図やフロー図は特定の指定した関数やその関係の性能を明らかにしていると理解すべきである。これらの機能図の境界は本明細書で説明のために任意に範囲を決めたものである。指定した関数が実行され、その間の関係を維持できさえすれば別の境界を定めて構わない。図面及びそれに伴う説明は当業者が必要な処理を実行するために回路を作成したり、ソフトウエアのコードを書いたりするのに必要となる機能情報を提供するものである。
【0053】
本発明は複数の具体的な実施例とともに説明してきたが、上記の説明に鑑み、当業者なら更に多数の代替え、変更、変形、応用が明白になるであろう。従って、本明細書で説明した発明は特許請求の範囲に記載の精神及び範囲から逸脱しない限りにおいてそうした代替え、変更、変形及び応用をすべて網羅するものとする。
【図面の簡単な説明】
【図1】本発明の様々な態様を実行するのに適した画像投写システムの主な構成要素を示すブロック図。
【図2】本発明の様々な態様を実行するのに適した典型的なコンピュータシステムの構成要素を示すブロック図。
【図3】キーストーン画像アーティファクト除去(KIAR)、適応型フィールドベース映像強調(AFBVE)、キーストーンモーフィングの各演算間のプロセスフロー及び関係を示す機能ブロック図。
【図4】本発明の実施例によるKIAR技法の機能ブロック図。
【図5】A及びBは、本発明の実施例によるスクリーン画素識別器(SPI)マスクの概略図。
【図6】本発明の実施例によるスクリーン領域検証器(SRV)マスクの概略図。
【図7】本発明の実施例に用いた3 x 3ガウスLPFカーネルを概略表現した図。
【図8】LPFカーネルでカバーされた画素のナンバリングを概略表現した図。
【図9】本発明の実施例によるAFBVE技法の機能ブロック図。
【図10】ソーベルのエッジ検出出力の関数としてのAFBVE演算の周波数分類器によって生成された特徴標識の値の図形表現。
【図11】Aは、インタレース入力画像の図形表現。
Bは、図7に示したLPFカーネルなどフィルタカーネルをインタレース画像データに用いる方法を示す概略表現。
【符号の説明】
10 画像投写システム
12 コンピューターシステム
16 液晶プロジェクタ
21 CPU
22 システムメモリ
23 入力制御装置
24 入力装置
25 記憶制御装置
26 記憶装置
27 出力制御装置
28 出力装置
29 通信制御装置
31 通信装置
41 スクリーン画像識別器
42 スクリーン領域検証器
43 フィルタ
51a、51b、61 マスク
52a、52b マスクエレメント

Claims (7)

  1. 表示画像から画像アーティファクトを取り除く方法であって、
    (a)前記画像の画素を取り出すステップと、
    (b)前記各画素をスクリーン画素又は非スクリーン画素に分類するステップと、
    (c)前記分類の結果の確認している画素を中心とした所定の大きさを有し、一部がオーバーラップする複数の区域に分割され、いずれの前記分割された区域にも、前記分類の結果を確認している画素が含まれている第2マスクを用いて、前記各画素の周辺区域にある所定の画素を調べてステップ(b)で決められた画素の分類を確認するステップと、
    (d)前記画素にローパスフィルタを選択的に適用するステップと
    からなり、
    前記ステップ(d)では、前記ローパスフィルタが適用される際に、ステップ(c)において決定される前記第2マスクの複数に分割された区域のどの区域にスクリーン画素が含まれているかに基づき、前記ローパスフィルタが適用される画素の一部が、前記ローパスフィルタが適用される別の画素に置換えられることを特徴とする画像アーティファクトの除去方法。
  2. 請求項1において、前記ステップ(b)は分類中の画素を中心とした所定の大きさを有する第1マスクを用い、前記分類中の画素が所定の周期的パターンを有する区域内にあるかどうかを決定するステップを有することを特徴とする画像アーティファクトの除去方法。
  3. 請求項2において、前記第1マスクを、その一部がオーバーラップする複数の区域に分割し、いずれの前記分割された区域にも、前記分類中の画素が含まれていることを特徴とする画像アーティファクトの除去方法。
  4. 請求項2において、前記所定の周期的パターンは、周期2又は3を有する周期的なライン又はドットのパターンであることを特徴とする画像アーティファクトの除去方法。
  5. 請求項1において、(f)前記画像の少なくとも一部分の特徴標識を決定するステップと、(g)前記決定された特徴標識に基づいて前記画像の少なくとも一部分を適応鮮鋭化又は緩和するステップとをさらに具備することを特徴とする画像アーティファクトの除去方法。
  6. 表示画像から画像アーティファクトを取り除く装置であって、
    前記画像の画素を得るための装置と、
    前記各画素をスクリーン画素又は非スクリーン画素に分類するために前記装置と接続されたスクリーン画素識別器と、
    前記分類の結果の確認している画素を中心とした所定の大きさを有し、一部がオーバーラップする複数の区域に分割され、いずれの前記分割された区域にも、前記分類の結果を確認している画素が含まれている第2マスクを用いて、前記各画素の周辺区域にある所定の画素を調べて前記スクリーン画素識別器によって分類された画素の分類を確認する、前記スクリーン画素識別器に接続されたスクリーン領域検証器と、
    前記スクリーン領域検証器に接続され、前記スクリーン領域検証器による検証結果により各画素に選択的に適用されるローパスフィルタと
    を有し、
    前記ローパスフィルタは、前記ローパスフィルタが適用される際に、前記スクリーン領域検証器において決定される前記第2マスクの複数に分割された区域のどの区域にスクリーン画素が含まれているかに基づき、前記ローパスフィルタが適用される画素の一部を、前記ローパスフィルタが適用される別の画素に置換えることを特徴とする画像アーティファクト除去装置。
  7. 画像から画像アーティファクトを取り除く方法を実行させるための命令プログラムを記録した記録媒体であって、前記命令プログラムは、
    (a)前記画像表現の画素を得るための命令と、
    (b)前記各画素をスクリーン画素又は非スクリーン画素に分類する命令と、
    (c)前記分類の結果の確認している画素を中心とした所定の大きさを有し、一部がオーバーラップする複数の区域に分割され、いずれの前記分割された区域にも、前記分類の結果を確認している画素が含まれている第2マスクを用いて、前記各画素の周辺区域にある所定の画素を調べて前記分類命令(b)によって決められたその画素の分類を確認する命令と、
    (d)前記画素にローパスフィルタを選択的に適用する命令、であり、
    前記適用命令(d)は、前記ローパスフィルタが適用される際に、前記確認命令(c)において決定される前記第2マスクの複数に分割された区域のどの区域にスクリーン画素が含まれているかに基づき、前記ローパスフィルタが適用される画素の一部を、前記ローパスフィルタが適用される別の画素に置換えることを特徴とする。
JP2002010696A 2001-01-18 2002-01-18 画像アーティファクトの除去方法及び除去装置、並びにそれを記録した記録媒体 Expired - Fee Related JP4123780B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/766,123 US6879734B2 (en) 2001-01-18 2001-01-18 Memory efficient image artifact removal technique for LCP
US09/766123 2001-01-18

Publications (3)

Publication Number Publication Date
JP2002259963A JP2002259963A (ja) 2002-09-13
JP2002259963A5 JP2002259963A5 (ja) 2005-08-04
JP4123780B2 true JP4123780B2 (ja) 2008-07-23

Family

ID=25075472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002010696A Expired - Fee Related JP4123780B2 (ja) 2001-01-18 2002-01-18 画像アーティファクトの除去方法及び除去装置、並びにそれを記録した記録媒体

Country Status (5)

Country Link
US (1) US6879734B2 (ja)
EP (1) EP1227678A3 (ja)
JP (1) JP4123780B2 (ja)
KR (1) KR100521962B1 (ja)
CN (1) CN1258745C (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7599576B2 (en) * 2004-01-23 2009-10-06 Electro Scientific Industries, Inc. Image subtraction of illumination artifacts
US7483059B2 (en) * 2004-04-30 2009-01-27 Hewlett-Packard Development Company, L.P. Systems and methods for sampling an image sensor
US7899258B2 (en) * 2005-08-12 2011-03-01 Seiko Epson Corporation Systems and methods to convert images into high-quality compressed documents
US7783117B2 (en) * 2005-08-12 2010-08-24 Seiko Epson Corporation Systems and methods for generating background and foreground images for document compression
WO2007029235A2 (en) * 2005-09-05 2007-03-15 Algosoft Limited Automatic digital film and video restoration
JP4215038B2 (ja) * 2005-09-16 2009-01-28 セイコーエプソン株式会社 画像処理装置、画像処理方法、およびプログラム
US7894689B2 (en) * 2007-05-31 2011-02-22 Seiko Epson Corporation Image stitching
JP5736652B2 (ja) * 2010-03-09 2015-06-17 セイコーエプソン株式会社 画像表示装置および画像表示方法
US11109005B2 (en) * 2019-04-18 2021-08-31 Christie Digital Systems Usa, Inc. Device, system and method for enhancing one or more of high contrast regions and text regions in projected images

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4194221A (en) * 1978-12-26 1980-03-18 Xerox Corporation Automatic multimode continuous halftone line copy reproduction
GB2170373B (en) 1984-12-28 1989-03-15 Canon Kk Image processing apparatus
JPH0683374B2 (ja) * 1986-02-14 1994-10-19 富士写真フイルム株式会社 網点画像の形成方法
JPS6460087A (en) 1987-08-31 1989-03-07 Canon Kk Signal processing circuit
JP3050282B2 (ja) 1996-03-06 2000-06-12 日本電気株式会社 液晶プロジェクタの歪み補正装置
US5798846A (en) * 1996-05-28 1998-08-25 Hewlett-Packard Company Apparatus and method for selectively processing a scanned image
US6160913A (en) * 1998-03-25 2000-12-12 Eastman Kodak Company Method and apparatus for digital halftone dots detection and removal in business documents
US6633411B1 (en) * 1998-04-01 2003-10-14 International Business Machines Corporation Method and apparatus for repurposing binary images
EP1079601B1 (en) 1999-03-05 2008-06-18 Seiko Epson Corporation Image data correcting device, image data correcting method, medium on which image data correcting program is recorded

Also Published As

Publication number Publication date
CN1366275A (zh) 2002-08-28
CN1258745C (zh) 2006-06-07
EP1227678A2 (en) 2002-07-31
US6879734B2 (en) 2005-04-12
US20020094129A1 (en) 2002-07-18
JP2002259963A (ja) 2002-09-13
KR20020061494A (ko) 2002-07-24
KR100521962B1 (ko) 2005-10-17
EP1227678A3 (en) 2003-08-27

Similar Documents

Publication Publication Date Title
JP4123781B2 (ja) 液晶プロジェクタのための画像アーティファクト除去方法及びその除去装置、並びにその命令プログラムを記録した記録媒体
US20090196524A1 (en) System and method for sharpening of digital images
US20030053692A1 (en) Method of and apparatus for segmenting a pixellated image
JP2001005960A (ja) 画像処理方法および装置
US20110205235A1 (en) Image processing apparatus, image processing method, and image display apparatus
JP2008167461A (ja) エッジ強調処理装置、出力装置、エッジ強調処理方法およびコンピュータ読み取り可能な記録媒体
US20150348234A1 (en) Method for image enhancement, image processing apparatus and computer readable medium using the same
JP4123780B2 (ja) 画像アーティファクトの除去方法及び除去装置、並びにそれを記録した記録媒体
JP2010183229A (ja) プロジェクタ、プロジェクションシステム、画像表示方法、及び画像表示プログラム
KR100560027B1 (ko) 압축 에지 적응형 비디오 및 화상의 샤프닝 및 스캐일링
JP5781370B2 (ja) 画像処理装置、画像処理方法、画像処理装置を備える画像表示装置、プログラムおよび記録媒体
WO2014102876A1 (ja) 画像処理装置、および、画像処理方法
JP3604910B2 (ja) 画像縮小装置及び画像縮小プログラムを記録した記録媒体
US11431876B2 (en) Image inspection device, image forming apparatus, and image inspection method
JP2000089747A (ja) 画像表示方法及びその装置
JP2001160142A (ja) 画像の鮮鋭度判断方法、画像の鮮鋭度を判断する処理を行うためのプログラムを記録した記録媒体、画像処理装置および写真焼付装置
JP2003209686A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体
JP2008236522A (ja) 画像処理装置及び電子機器
JP4930638B2 (ja) 画像補正装置および画像補正方法
TWI389571B (zh) 影像處理方法以及影像處理裝置
JP2001076134A (ja) 画像処理方法および画像処理装置
JP2008271259A (ja) 画像処理装置、画像処理方法、画像処理プログラム、および該プログラムを記録した記録媒体
JPS63129479A (ja) 画像領域判定装置
Dai Conquering image imperfectness by priors with applications to image recovery
JP2008234426A (ja) 画像処理方法、画像処理装置及び電子機器

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080428

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110516

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120516

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130516

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees