JP4762412B2 - 画像再生システムの欠陥を判定し且つ少なくとも部分的に補正する方法及び該方法を実施するための装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像再生システムの欠陥を判定し且つ少なくとも部分的に補正するための方法及び該方法を実施するための装置に関する。本発明は、特に、例えば陰極線管、プラズマ、ＬＣＤ（液晶デバイス）またはマイクロミラー技術等に基づいて動作する。例えばテレビジョン、モニタ、ディスプレイまたはプロジェクタ（投影器）におけるように、画像スクリーン（映像面）或るいは投影スクリーン上での画像再生の補正に適しているが、しかしながらまた、Ｘ線装置並びにまたディジタル複写機、スキャナ、画像変換器等々にもそれらに適した形態で適用することが可能である。
【０００２】
本方法は、アンシャープネス（不鮮明）、歪み及び不均一な輝度並びに色エラー及び収差が原因で画像再生時に現れる典型的な画像欠陥もしくはエラーを補正する方法である。従って、本方法によれば、例えば、ビーム銃、ＬＣＤパネル及び投影レンズのような機械的、光学的及び電子部品に対して課せられる要件並びにそれらの正確な較正のような要件が最小限に軽減される。更にまた、投影スクリーン並びに映像面の不備や斜め投影による歪み（台形歪み）も補正することができる。
【０００３】
しかしながら、本方法の応用もしくは適用範囲は、排他的に、欠陥もしくはエラー補正、即ち、理想的なシステムと比較して実際の画像再生システムにより惹起される画像データの不所望な変動を軽減もしくは除去することに制限されるものではない。基本的には、本発明はまた、画像再生システムに入力する前に、可視化もしくは再生するために予め与えられた画像データ変換を行うシステムであって、出発画像データから変換画像データへの変換を例えばマスタ画像データを用いる等、変換結果基準と照合して行うシステムと関連して実施することが可能である。
【０００４】
従って、本発明で用いる術語「画像再生システム」は、上に列挙したようなシステムの集合概念として用いられる。更にまた、「ディジタル」もしくは「ディジタル化された」画像データ、或るいは「ディジタルテスト画像データ」等の表記は、既に当初からディジタルデータとして存在する画像データを包摂するばかりではなく、当初、アナログ画像データとして存在するデータをディジタル化することによって得られるディジタル画像データをも包摂するものと理解されたい。
【０００５】
【従来の技術】
投影された画像に、例えば、投射器の光学的または電気的構成要素が原因で発生する欠陥を、帰還原理に基づいて動作する補正装置で補正するビデオプロジェクタは既に知られている（例えば、米国特許第５,２３１,４８１号参照）。この公知の装置においては、帰還結合は、ビデオプロジェクタにより投影されたテスト画像を撮像するカメラを介して実施されている。
【０００６】
投影されたテスト画像のビデオカメラで撮影されて記憶された画像データを、欠陥を有しないと見做すことができる投影前の元のテスト画像の画像データと比較し、それにより補正信号を演算により求めて記憶する。この補正信号を用いて、プロジェクタの制御装置を制御し、投影される画像の品質を改善している。
【０００７】
別の方法として、矩形の枠で縁取られた投影面上にビデオプロジェクタで投影された画像の収差及び歪みを自動的に補正する方法がある（米国特許第５,４７５,４４７号参照）。この方法では、基本的に、ビデオ信号発生器により制御されるビデオプロジェクタが用いられる。カメラにより、投影面を撮像し、信号処理によりビデオ信号を発生して該ビデオ信号を画像メモリに記憶する。次いで、計算装置もしくはコンピュータにより、矩形の投影面の４個のコーナー点の座標を算出し、それにより、該投影面内の基準点の位置を求める。信号発生器では、上記コンピュータで算出された基準点の位置に対応する位置にマークを有するビデオ信号を発生する。このビデオ信号を用いて、上記マークを有する画像を投影するようにビデオプロジェクタを制御する。マークを有する上記画像をディジタルカメラで撮像して画像メモリに記憶する。そして、該画像メモリに記憶された基準点の位置と記憶されたマークの位置との偏差から、ビデオプロジェクタに対し自動的に収差及び歪み補正を行う補正信号を発生している。
【０００８】
米国特許第５,０９１,７７３号明細書に開示されているビデオプロジェクタも、例えば、光学系によって惹起される投影画像のエラーもしくは欠陥を補正するために、負帰還原理に基づいて動作する補正装置を備えている。この目的で、ラスタに配列された明るい画像点からなるテスト画像を、プロジェクタを用いて投影面に結像する。この投影面に発生された画像を、欠陥を含まない投影されたテスト画像の結像が明るい画像点を有する位置もしくは点においてのみ透過性を示す本質的に不透明なフィルタマスク上に結像する。そして、該フィルタマスクを透過した光の強度の測定値から、補正信号を求めて、該補正信号によりビデオプロジェクタを制御している。
【０００９】
【発明が解決しようとする課題】
上述した公知の方法に共通しているのは、ディジタルカメラにより撮像され記憶されたテスト画像から、投影像の画像品質を改善するための補正信号を演算処理で求めて、投影システムの画像発生器を制御し、それにより、例えば、歪みまたは収差を補償していることである。
【００１０】
しかしながら、補正値の算出は複雑であり、然も解析された画像点の箇所に対してしか有効でない。従って、上述の公知の方法においては、分析された画像点箇所間に存在する位置に対しては補間が行われているが、この補間処理も複雑であり、然も得られる結果は近似に過ぎない。また、主として画像の幾何学的形態に関する個々の欠陥が補正されるだけであって、請求項に記述してあるような再生系の伝達特性におけるエラーは顧慮されていない。更にまた、上述の公知方法においては、電子制御系または機械系統或るいは光学系が対象となるばかりではなく、映像もしくは投影スクリーンをも変更しなければならない。更に別の欠点として、再生を繰り返す都度、その度に用いられる画像再生システムに対し、新たに補正値の算出を行わなければならないと言う問題がある。
【００１１】
上述の欠点は、利用者が、本質的に同じ結像欠陥を有することが知られている多数の同じ形式の画像再生システムを使用する場合に特に顕著になる。
【００１２】
従って本発明の課題は、電子系、機械系或るいは光学系に対する関与が必要とされず、排他的に被投影データを修正するだけで良く、然もそれにより再生系の総合的な伝達特性を顧慮した方法及び該方法を実施するための装置を提供することにある。
【００１３】
【課題を解決するための手段】
本発明によれば、上記の課題は、請求項１に記載の方法並びに請求項８に記載の装置によって解決される。また、本発明の好適な実施の形態並びにそれらの利点は、他の請求項の記載並びに以降の記述から直截的に理解されるであろう。
【００１４】
本発明の方法の基本的な思想は、予め補正を行うために、即ち、前段階補正を行うために、場所もしくは位置に依存して動作するディジタルフィルタとしてニューラルネットワークを使用することにあり、その場合、画像点が線形の制御特性を有することを前提とした場合、１層のニューラルネットワークを使用する。このニューラルネットワークはプログラムとして標準のコンピュータ上に実現することができるし、亦、回路装置もしくはハードウェアとして実現することも可能である。
【００１５】
ニューラルネットワークの学習パターンとして、画像再生システムにより発生されたテスト画像（試験画像）の未修正結像画像をディジタル化したディジタル画像を用い、他方、該テスト画像の記憶されているディジタル画像データを直接、学習プロセスのための学習基準データとして定める。
【００１６】
学習プロセス後、ニューラルネットワークの入力は、被再生画像、即ち再生すべき画像に切り換えられ、その出力には前段階で補正された画像のものに切り換えられている画像再生システムのピクセル入力値が直接発生する。このようにして、任意の被再生画像に対し、画像発生系、光学系及び投影系の伝達特性におけるエラーを前以て顧慮して補正することができ、補償されたエラーが投影スクリーン並びに画像スクリーンに現れることはない。
【００１７】
従って、本発明の特に大きな利点は、画像再生システムにおける偏向や輝度変調に関与する必要がなく、亦、画像スクリーン或るいは投影スクリーンにおける変更の必要がないことである。
【００１８】
本発明のシステムは、複数種の結像欠陥を同時に対処することができる。この場合、該欠陥としては、光学系の幾何学的な歪み或るいはフォーカシング不良またはプロジェクタ壁の曲がりや斜め投影（台形歪み）により惹起される画像歪みや低コントラストもしくは不鮮明が挙げられる。また、プロジェクタ壁の反射特性の変動並びに光学系や発光部の特性変動で惹起される不均等な輝度分布も補正することができる。また、カラー画像投影の場合には、カラー移行部に現れる色エラー（色縞）を補正することができる。本方法の特殊用途として、プロジェクタのカラーバランスを一定色の面に対して維持するのに適用することができる。また、カラーチャンネルの整合エラーをも補償することができる（収差補正）。
【００１９】
本発明の利用分野として、特に、データ及びビデオプロジェクタを用いての正面及び背面投影を行う指示装置、オーバーヘッドプロジェクタ用の据置き型表示装置並びにテレビジョン及びモニタ用ディスプレイ技術分野が挙げられる。本発明は、使用現場でのシステムの較正にもまた、関連機器の最終仕上げでの調整にも適用することができる。また、本発明は、立体画像投影システムにも適用し得る。
【００２０】
【発明の実施の形態】
以下、添付図面を参照し、本発明の実施例と関連して詳細に説明する。
【００２１】
再生すべき画像、即ち被再生画像は、画像再生装置に接続されているコンピュータにディジタル形態で格納されている（図１）。これにより、該画像を、通例のように、画像スクリーンもしくは投影面上に可視化することができる。
【００２２】
本方法は、２つの相、即ち学習プロセス（較正）及びランモードで実施される。この場合、補正のための較正（図２）の目的で、再生されたテスト画像を撮像するために撮像装置（例えば、電子カメラ）が用いられる。撮像されたテスト画像は再びコンピュータに読み込まれる。付加的なエラーの発生を回避するためには、撮像装置もしくは電子カメラは、被補正再生画像よりも高い画像品質を保証する必要がある。尤も、撮像装置の好ましくない結像特性を、爾後の評価処理に先立って補償するようにしても良い。
【００２３】
図４は、補正に用いられる局所依存性を示すディジタルフィルタとして動作する人工知能ニューラルネットワークを極く簡略な形態で示す図である。全システムが線形であることを前提として、図４の（ａ）に示すような単層のニューラルネットが用いられる（単純に１次元で１つのカラーチャンネルに対してのみが示してある）。入力Ｘ_jは、学習プロセスでは、撮像された画像のピクセル値であり、これらピクセル値は、重みＷ_ijを用いて互に結合される。実際的な２次元アレイの事例で、ニューロンは、図４の（ｂ）に一例を示すように、１ラインにおけるニューロンだけではなく、隣接のニューロンと均等に平面的に結合されている。Ｎ個のカラーチャンネルの場合には、欠陥を包括的に顧慮するために図４の（ｂ）に示すニューラルネットワークがＮ²個分必要とされる。図４の（ｃ）は、原色ＲＧＢを有する系に対する一例を示す図である。補正された各カラーチャンネルＲ'、Ｇ'、Ｂ'は、それぞれチャンネルＲ、Ｇ及びＢに結合されているニューラルネットワークＲＲ、ＲＧ、ＲＢ、ＢＲ、ＢＢ、ＢＧ、ＢＲ、ＢＧ、ＢＢの出力の和から得られる。
【００２４】
補正するためのシステムの較正は、コンピュータを用いての人工知能ニューラルネットワークの学習によって行われる。補正すべき欠陥を有している撮像されたテスト画像は、ディジタル的に学習パターンとして記憶され、人工知能ニューラルネットワークに対し学習データを得るのに用いられる。上記テスト画像はエラーの無い状態でコンピュータに格納されているので、学習プロセスに対する学習基準は直截的に定義されている。
【００２５】
テスト画像は比較的単純な構造を有することができる（図５参照）。人工知能ニューラルネットワークは、学習基準データの関連で学習データを評価することにより、補正のためにニューラルネットワークが必要とするパラメータを導出し、学習基準データとニューラルネットワークの出力ｙ_jを比較することによりニューラルネットワークの重みＷ_ijが求められる。米国特許第５,０９１,７７３号の発明とは異なり、学習プロセスでは、位置もしくは局所毎に補正値が導出されるので、補間は必要とされない。
【００２６】
学習プロセス後、ニューラルネットワークの入力は被再生画像に切り換えられ、そしてその出力は、画像再生装置に対し、前段階で補正された画像によって定まるピクセル入力値を構成する。一旦較正された補正系の変換は標準のコンピュータ上でプログラム処理により行うことができるし、又、特別のハードウエア手段用いて行うことも可能である。このように、ヨーロッパ特許（ＥＰ）第９３４６５３号明細書に開示されている技術とは異なり、画像発生装置の偏向や輝度変調に関与する必要はない。
【００２７】
ランモード（図３）において、所与の画像は、補償された欠陥が投影スクリーンもしくは映像スクリーン上に出現しないように、予め補正されて発生される。前段階補正系は、画像発生エラー、光学系エラー及び投影エラーが最初から顧慮されるように信号路に組み込まれる。
【図面の簡単な説明】
【図１】本発明の一実施例による方法を実施するための装置の構成を示す略図。
【図２】本発明の一実施例による学習プロセスを図解する簡略図。
【図３】本発明の一実施例による補正プロセスを図解する簡略図。
【図４ａ】前段階で補正に用いられる人工頭脳ニューラルネットワークの構成を原理的に示す図。
【図４ｂ】個々のニューロンにおける２次元結合を図解する図。
【図４ｃ】原色ＲＧＢを用いて具現した場合の個々のニューロンの結合を略示する図。
【図５】学習データを得るための典型的なテスト画像（試験）を示す図。

Claims (3)

1. 画像再生システムの欠陥を判定し且つ少なくとも部分的に補正するための方法であって、被再生ディジタル画像データを、ニューラルネットワークの入力に供給し、前記欠陥の補正を前記ニューラルネットワークで行い、該ニューラルネットワークの出力値を前記画像再生システムの入力値とし、
   前記画像再生システムのＮ個の補正を行うべきカラーチャンネルの各々のデータに対し、Ｎ個のニューラルネットワークを使用し、該Ｎ^２個のニューラルネットワークのＮ個の結果を加算して補正されたカラーチャンネルとし、
   前記ニューラルネットワークのパラメータを先行の前段階学習プロセスで求め、該学習プロセスにおける学習基準データ（目標データ）を発生するために、所与の画像品質のテスト画像を用いる、方法。
2. 請求項１に記載の方法であって、前記ニューラルネットの出力値が画像記憶装置の入力値である、前記方法。
3. 請求項１に記載の方法を実行する装置であって、
   画像記憶装置であって、該画像記憶装置のＮ個のカラーチャンネルがＮ個のニューラルネットワークに接続され、該Ｎ個のニューラルネットワークのＮ^２個の出力がＮ個の加算器のうちの１つに接続され、該加算器の出力が前記画像再生システムのＮ個のカラーチャンネルに接続されている、前記画像記憶装置と、
   コンピュータ上に又は回路として実現されたニューラルネットワークであって、異なる画素の値が単層のニューラルネットワークにおいて、空間可変の重みを介して互いに結合し、前記ニューラルネットワークの出力が、補正を行うべき画像再生システムの入力に接続される、前記ニューラルネットワークとを有し、
   前記画像記憶装置は、少なくとも学習プロセスの期間中、前記ニューラルネットワークの入力に直接、接続される、前記方法を実行する装置。

Images