JP5012590B2 - 画像処理装置、プロジェクタおよび画像処理方法 - Google Patents

Description

入力画像に対してキーストーン歪み補正を行った歪み補正画像の補間処理を行う画像処理装置、プロジェクタおよび画像処理方法に関するものである。

プロジェクタは、水平方向における回転や仰角変化に伴って、スクリーン上の投影画像が略台形状に歪むため、液晶ライトバルブに略台形状に歪んだ画像（スクリーン上に投影される投影画の逆画像）を形成することで、スクリーン上に歪みのない画像（正しいアスペクト比を有する長方形画像）を投影させている。つまりプロジェクタは、その構造上、入力画像を、上記の略台形状に歪んだ画像（歪み補正画像）に補正する処理（キーストーン歪み補正処理）が必須となっている。

ところで、このキーストーン歪み補正処理を行う場合、特許文献１に記載のプロジェクタは、歪み補正画像の画像部分に対して、入力画像上の複数の画素値から歪み補正画像上の１の画素値を求める補間を行っている。また、このように複数の画素値から１の画素値を求める補間を行うと、歪み補正画像の輪郭がぼやけてしまうため、輪郭を強調するためのエッジ強調処理を行っている。
特開２００５−２１０４１８号公報

ところが、特許文献１に記載の補間処理のように、歪み補正画像の画像部分のみ補間を行ったり、エッジ強調処理を行ったりすると、歪み補正画像の輪郭部分（内部画像と背景画像との境目部分）に、ジャギー（ギザギザ）が発生してしまい、結果的に投影画像の見た目が悪くなってしまうといった問題があった。

本発明は、上記の問題点に鑑み、歪み補正画像の輪郭部分が滑らかになるような補間処理を行うことができる画像処理装置、プロジェクタおよび画像処理方法を提供することを目的とする。

本発明の画像処理装置は、入力画像に対してキーストーン歪み補正を行った歪み補正画像の補間処理を行う画像処理装置であって、歪み補正画像の輪郭付近を含む対象画素を抽出し、当該対象画素が補間対象となるか否かを判定する対象画素判定部と、補間対象と判定された対象画素に対応する入力画像の座標を特定する座標特定部と、入力画像上において、座標特定部により特定された座標に相当する１個の基準画素と、当該基準画素の周辺に位置するＮ個（但し、ＮはＮ≧３となる整数）の周辺画素とを、補間画素として特定する補間画素特定部と、補間画素を用いて、対象画素の補間を行う補間部と、を備え、補間部は、補間画素に、入力画像の外部に位置する背景画素が、Ｍ個（但し、ＭはＮ／２＜Ｍ≦Ｎとなる整数）以上含まれる場合、対象画素の補間を行わず、背景画素を出力することを特徴とする。

本発明の画像処理方法は、入力画像に対してキーストーン歪み補正を行った歪み補正画像の補間処理を行う画像処理方法であって、歪み補正画像の輪郭付近を含む対象画素を抽出し、当該対象画素が補間対象となるか否かを判定するステップと、補間対象と判定された対象画素に対応する入力画像の座標である１個の基準画素と、当該基準画素の周辺に位置するＮ個（但し、ＮはＮ≧３となる整数）の周辺画素とを、補間画素として特定するステップと、補間画素を用いて、対象画素の補間を行うステップと、を備え、対象画素の補間を行うステップでは、補間画素に、入力画像の外部に位置する背景画素が、Ｍ個（但し、ＭはＮ／２＜Ｍ≦Ｎとなる整数）以上含まれる場合、対象画素の補間を行わず、背景画素を出力することを特徴とする。

これらの構成によれば、歪み補正画像の輪郭付近を含む対象画素を抽出し、当該対象画素が補間対象となるか否かを判定して補間を行うため、歪み補正画像の輪郭部分を滑らかにすることができる。つまり、補間が不要な対象画素または補間を行うことにより見た目を損なう対象画素について補間を省略することにより、結果的に歪み補正画像の見た目を向上させることができる。また、補間画素に、入力画像の外部に位置する背景画素が、Ｍ個（但し、ＭはＮ／２＜Ｍ≦Ｎとなる整数）以上含まれる場合は、対象画素の補間を行わないため、不要な補間処理を省略でき、補間処理に要する処理速度の向上を図ることができる。また、背景画素が、Ｍ個以上含まれる場合は背景画素を出力するため、歪み補正画像の背景部分における色むらの発生を抑えることができる。

上記に記載の画像処理装置において、補間画素は、各画素がマトリクス状に配置され、全体として矩形領域を形成しており、対象画素判定部は、矩形領域の中心に対する基準画素の位置と、歪み補正画像の中心に対する輪郭を構成する斜辺の位置とが一致する場合、少なくとも当該斜辺に接する対象画素を、補間対象と判定することが好ましい。

この構成によれば、対象画素を効率的に判定することができ、ひいてはより迅速に補間処理を行うことができる。

上記に記載の画像処理装置において、補間部は、斜辺に接する対象画素の補間を、入力画像の輪郭に接する背景画素を基準画素とする補間画素を用いて行うことが好ましい。

上記に記載の画像処理装置において、補間画素は、１個の基準画素と、１５個の周辺画素と、から成り、補間部は、バイキュービック法を用いた補間を行うことが好ましい。

上記に記載の画像処理装置において、基準画素は、４×４の画素から成るマトリクスのうち、中心部に位置する２×２の画素のいずれかに相当することが好ましい。

これらの構成によれば、現在知られている画像補間法の中で、最も結果の良いバイキュービック法を用いるため、画像のぼやけが少なく、見た目の良い歪み補正画像を得ることができる。一方、バイキュービック法は、計算量が多く処理速度が遅いといった欠点があるが、本発明では不要な補間処理を行わないため、バイキュービック法のそのような欠点をカバーすることができる。また、入力画像の輪郭に接する背景画素を基準画素としたり、４×４のマトリクスのうち、中心部に位置する２×２の画素を基準画素としたりすることで、歪み補正画像の輪郭部分をより滑らかに補間することができる。
なお、現在知られている画像補間法としては、バイキュービック法以外に、ニアレストネイバー法やバイリニア法が挙げられる。なお、バイキュービック法に続いて結果が良い画像補間法であるバイリニア法では、４個の画素から成るマトリクスを補間画素として用いるため、本発明を適用しても、「補間画素に含まれる背景画素が１個のときは補間を行わない」ということにしかならず、処理速度の向上という点においてあまり有効ではない。

上記に記載の画像処理装置において、Ｍの値は、１２≦Ｍ≦１５となる整数であることが好ましい。

この構成によれば、バイキュービック法では、１６個の画素から成るマトリクスを補間画素として用いるため、１６個の画素のうち、背景画素が１２個のとき、１３個のとき、１４個のときおよび１５個のときに補間を省略することができ、処理速度の向上という点において効果的である。なお、背景画素が１６個のときは、補間処理を行っても当然背景画素が出力されることとなるが、この場合も（すなわち、Ｍ＝Ｎ＋１の場合も）補間を省略するようにしても良い。

本発明のプロジェクタは、上記に記載の画像処理装置における各部と、光変調器の表示領域上に、補間部による補間後の歪み補正画像を形成して光変調を行う光変調部と、光変調部により光変調された画像を投射する投射部と、を備えたことを特徴とする。

この構成によれば、スクリーン上における投影画像の輪郭部分を滑らかに表示することができるプロジェクタを提供できる。

以下、添付した図面を参照して、本発明の一実施形態に係る画像処理装置、プロジェクタおよび画像処理方法について説明する。図１は、プロジェクタ１０の制御構成を示すブロック図である。同図に示すように、プロジェクタ１０は、スクリーンＳＣに対して投射光を照射する光学系として、照明光学系２７と、液晶ライトバルブ２８（光変調器）と、投射光学系２９と、を有している。また、プロジェクタ１０は、これらの光学系に関わる構成要素として、光源ランプ駆動部２１と、液晶ライトバルブ駆動部２２と、投射光学系調整部２３と、投射光学系検出部２４と、を有している。なお、請求項における「光変調部」は、主に液晶ライトバルブ２８および液晶ライトバルブ駆動部２２によって構成される。また、請求項における「投射部」は、主に投射光学系２９および投射光学系調整部２３によって構成される。

さらに、プロジェクタ１０は、その他の構成要素として、加速度センサ２５と、記憶部２６と、制御部３１と、画像処理部３２と、信号入力部３３と、操作部３４と、を有している。なお、本実施形態のプロジェクタ１０は、請求項における「画像処理装置」を適用したものであり、当該「画像処理装置」は、画像処理部３２に相当する。

光源ランプ駆動部２１は、照明光学系２７に含まれる光源ランプを駆動する。光源ランプとしては、放電発光型のものであっても自己発光素子（発光ダイオードなど）であっても良い。液晶ライトバルブ駆動部２２は、画像処理部３２により処理された画像データに基づいて、画像形成素子である液晶ライトバルブ２８を駆動する。

投射光学系調整部２３は、モータを有しており、投射光学系２９に含まれる投射レンズの位置を調整する。当該投射レンズは、筒状の鏡筒内に、ズームレンズやフォーカスレンズなど複数のレンズが収容された組レンズとして構成される。

具体的に、投射光学系調整部２３は、投射レンズを、光源光軸ＬＡ（照明光学系２７から射出される光の中心軸）に直交する方向に移動させることによって、投射光学系２９のシフト位置を調整する。また、投射光学系調整部２３は、投射レンズに含まれるズームレンズを、これを支持するズームリングの回転によって、光源光軸ＬＡに平行な方向に移動させることにより、投射光学系２９のズーム位置を調整する。さらに、投射光学系調整部２３は、投射レンズに含まれるフォーカスレンズを、これを支持するフォーカスリングの回転によって、光源光軸ＬＡに直交する方向に移動させる（複数のレンズの相対位置を変更させる）ことにより、投射光学系２９のフォーカス位置を調整する。

投射光学系検出部２４は、投射光学系２９のシフト位置、ズーム位置およびフォーカス位置を検出する。これらの検出結果は、投射光学系調整部２３による調整や、画像処理部３２による画像処理のために用いられる。また、投射光学系検出部２４としては、ロータリーエンコーダや可変抵抗器など、周知の位置検出手段を適用可能である。

加速度センサ２５は、プロジェクタ装置本体の位置変化量を検出する。具体的には、プロジェクタ装置本体の複数箇所に搭載され、各加速度センサ２５から出力される計測値に基づいて、プロジェクタ装置本体の前後方向、上下方向および左右方向における移動量、水平方向における回転量、並びに仰角（俯角）の変化量を検出する。当該加速度センサ２５の検出結果は、画像処理部３２において、自動でキーストーン歪補正を行う場合に用いられる。なお、加速度センサ２５としては、圧電体型、半導体ひずみゲージ型、サーボ型のいずれを用いても良い。

記憶部２６は、ＲＯＭ（Read-Only Memory）やＲＡＭ（Random Access Memory）によって構成される。ＲＯＭは、制御部３１が画像処理等の各種処理を制御するための制御プログラムを記憶するために用いられ、ＲＡＭは、ワークエリアとして用いられる。

制御部３１は、プロジェクタ１０内の各構成要素を統括制御するものであり、ＣＰＵ（Central Processing Unit）等により構成される。画像処理部３２は、上記のＲＯＭに記憶された画像処理プログラムに基づいて所定の画像処理を行うものであり、キーストーン歪補正処理部３７および補間処理部３８を有している。

キーストーン歪補正処理部３７は、操作部３４の操作に基づく補正情報（手動の場合）や加速度センサ２５の検出結果（自動の場合）に基づいて、プロジェクタ１０の水平方向における回転や仰角変化に伴う画像の歪みを補正する。例えば、スクリーンＳＣの法線と、光源光軸ＬＡとがずれている場合、液晶ライトバルブ２８に歪みのない画像が形成されると、スクリーンＳＣ上の投影画像Ｇが略台形状に歪んでしまう。そこで、液晶ライトバルブ２８に略台形状に歪んだ画像（スクリーンＳＣ上に投影される投影画像Ｇの逆画像）を形成すれば、スクリーンＳＣ上に歪のない画像を投影させることができる。すなわち、キーストーン歪補正処理部３７は、歪みのない入力画像ＧＡから、この略台形状に歪んだ画像ＧＢ（以下、「歪み補正画像ＧＢ」と称する）を生成する処理を行う（図２参照）。

一方、補間処理部３８は、歪み補正画像ＧＢの輪郭部分を滑らかにするための補間処理を行うものであり、本実施形態では、バイキュービック法を用いる。また、補間処理部３８は、対象画素判定部３８１と、座標特定部３８２と、補間画素特定部３８３と、補間部３８４と、に分類される。

対象画素判定部３８１は、歪み補正画像ＧＢの輪郭付近を含む対象画素５０（図２参照）を抽出し、当該対象画素５０が補間対象となるか否かを判定する。具体的な判定方法については後述する。座標特定部３８２は、補間対象と判定された対象画素５０に対応する入力画像ＧＡの画素５１（座標）を特定する（同じく図２参照）。補間画素特定部３８３は、入力画像ＧＡ上において、座標特定部３８２により特定された画素である１個の基準画素７１と、当該基準画素７１の周辺に位置する１５個の周辺画素７２とを、補間画素７０として特定する（図３参照）。補間部３８４は、補間画素特定部３８３により特定された補間画素７０を用いて、対象画素５０の補間（例えば、階調値の補間）を行う。

信号入力部３３は、パーソナルコンピュータやビデオレコーダ等の外部機器６１から画像データや制御信号を取得する。この場合、信号入力部３３は、パーソナルコンピュータから出力されたＲＧＢ信号やビデオレコーダから出力されたコンポジット信号を受信するインターフェースにより構成される。また、信号入力部３３は、メモリカードなどの外部記憶媒体（図示省略）から画像データ等を取得することも可能である。この場合、信号入力部３３は、画像データを読み出すメモリカードスロットにより構成される。

操作部３４は、ユーザが各種操作を行うためのものであり、プロジェクタ本体に設けられる操作パネルや遠隔操作を行うためのリモートコントローラによって構成される。例えば、キーストーン歪補正を手動で実行させる場合、ユーザは、専用のＯＳＤ（On Screen Display）をスクリーンＳＣ上に表示させて、操作パネルやリモートコントローラに設けられた上下左右キーを操作することで、歪み補正する箇所や歪み補正量を指定可能である。

次に、図２および図３を参照し、上記の補間処理部３８により実行される補間処理の概要について説明する。図２は、入力画像ＧＡと歪み補正画像ＧＢの対応関係を示す図である。歪み補正画像ＧＢは、液晶ライトバルブ２８の表示領域１００上に形成される画像である。上記の通り、入力画像ＧＡに対してキーストーン歪み補正が行われると、歪み補正画像ＧＢが略台形状に補正され、これに伴って表示領域１００に、背景部分（歪み補正画像ＧＢの内部以外の外部画像，図示斜線部）が発生することになる。

ここで、まず上記の補間処理の処理工程を簡単に説明する。同図に示すように、例えば、対象画素判定部３８１により、歪み補正画像ＧＢの輪郭を構成する左側の斜辺Ｌ１に接する対象画素５０が、補間対象と判定された場合、逆射影変換を行うことにより、当該対象画素５０に対応する入力画像ＧＡの画素５１を特定する（Ｓ０１）。一般的にキーストーン歪み補正では、変換後の座標系を基準とするので、ここでは当該入力画像ＧＡの画素５１の座標を（ｘ１，ｙ１）とする。このとき、画素５１の座標（ｘ１，ｙ１）は、整数ではなく、実数である。

続いて、補間画素特定部３８３により、当該画素５１の座標（ｘ１，ｙ１）の整数部に相当する画素５１を求め、当該画素５１を基準画素７１とする４×４画素のマトリクス（補間画素７０）を特定する。図３に示すように、基準画素７１は、４×４の画素から成るマトリクスのうち、中心部に位置する２×２の画素の左上の画素に相当する。すなわち基準画素７１は、マトリクスの左上から右下に向かって、Ｐ１〜Ｐ１６の番号を付した場合のマトリクス番号Ｐ６に相当する。補間画素特定部３８３により補間画素７０が特定されると、補間部３８４は、特定された当該補間画素７０を用いて、対象画素５０の補間（対象画素５０の画素値の算出）を行う（Ｓ０２）。

ところで、対象画素判定部３８１は、対象画素５０（マトリクス）を構成する矩形領域の中心に対する基準画素７１の位置（本実施形態の場合、左上）と、歪み補正画像ＧＢの中心に対する輪郭を構成する斜辺の位置とが一致する場合、少なくとも当該斜辺に接する対象画素５０を、補間対象と判定する。すなわち、図示の例では、斜辺Ｌ１の位置が、歪み補正画像ＧＢの中心に対して左側に位置するため、当該斜辺Ｌ１に接する対象画素５０は補間対象となる。また、本実施形態では、当該斜辺Ｌ１に接する対象画素５０の前後に位置する画素も、補間対象として判定する（図７（ａ）に示す例では、画素Ｂ，画素Ｂ０，画素Ｉ０を全て補間対象とする）。また、特に図示しないが、歪み補正画像ＧＢの輪郭を構成する上辺Ｌ２に接する対象画素５０については、歪み補正画像ＧＢの中心に対する位置（上）が基準画素７１の位置（左および上）と一致するが、所謂斜辺ではないため、補間対象とせず、背景画素を出力する。

なお、図２に示した例は、上下方向のキーストーン歪み補正が行われた場合を示しているが、左右方向のキーストーン歪み補正が行われた場合は、歪み補正画像ＧＢの輪郭を構成する４つの辺のうち、上下に位置する辺が斜辺となる。したがって、左右方向のキーストーン歪み補正が行われた場合は、図３に示す補間画素７０を用いる場合、少なくとも上側の斜辺に接する対象画素５０が補間対象となる。

一方、補間部３８４は、矩形領域である入力画像ＧＡの左辺Ｌ３の位置を、Ｘ座標の基準位置（ｘ＝０）とすると、図示の例のように歪み補正画像ＧＢの左側の斜辺Ｌ１に接する対象画素５０が補間対象となる場合は、基準画素７１（マトリクス番号Ｐ６の画素）が入力画像内部（表示領域：ｘ≧０）の直前に位置するとき、すなわち基準画素７１が入力画像ＧＡの輪郭に接する入力画像外部の背景画素となる位置から、補間を開始する。また、入力画像ＧＡの右辺の位置を、ｘ＝α（但し、α＞０）とすると、ｘ＝０からｘ＝αまでの範囲ＥＸについて、通常補間処理を行い、ｘ＜０となる範囲ＥＶ１およびｘ＞αとなる範囲ＥＶ２については、背景画素を出力する。

なお、補間部３８４は、補間画素７０に、背景画素が１２個以上含まれる場合は、上記の条件に該当した対象画素５０についても、補間を行わず、背景画素をそのまま出力する。当該例外処理については、図７にて後述する。

次に、図４および図５を参照し、補間画素特定部３８３による補間画素７０の具体的な特定方法について説明する。ここでは、基準画素７１（マトリクス番号Ｐ６の画素）のＸ座標が入力画像ＧＡの輪郭付近（内部画像と外部画像の境界付近）にある場合について例示している。

図４は、図５に示した対象画素５０（Ｂ０，Ｉ０，Ｂ１，Ｉ１）に対応する補間画素７０を示す表である。ここでは、各対象画素５０の補間を、マトリクス番号（Ｐ１〜Ｐ１６）順に示される画素番号の画素を用いて補間が行われることを示している。例えば、画素Ｂ０については、マトリクス番号Ｐ１〜Ｐ１６のうち、Ｐ１〜Ｐ６，Ｐ９，Ｐ１０,Ｐ１３，Ｐ１４について、背景画素を用いる。また、その他のマトリクス番号Ｐ７，Ｐ８，Ｐ１１，Ｐ１２,Ｐ１５，Ｐ１６については、各欄に記載された画素番号の画素を用いる。

各画素番号の具体的な位置は、図５に示すとおりである。つまり、図４および図５に示すように、歪み補正画像ＧＢの左側斜辺Ｌ１に接する画素であって、歪み補正画像ＧＢの最上部に位置する画素Ｂ０については、マトリクス範囲ＭＢ０の補間画素７０を用いて補間を行う。当該マトリクス範囲ＭＢ０における補間画素７０の基準画素７１（マトリクス番号Ｐ６）は、画素番号７の位置にある背景画素である。また、当該背景画素は、入力画像ＧＡの左辺Ｌ３に接する最上部の画素である。

また、画素Ｂ０の右隣（走査方向後側）に位置する画素Ｉ０は、マトリクス範囲ＭＩ０の補間画素７０を用いて補間を行う。当該マトリクス範囲ＭＩ０における補間画素７０の基準画素７１は、画素番号８の位置にある内部画素であり、当該内部画素は、入力画像ＧＡの左辺Ｌ３に接する最上部（左上角部）の画素である。

同様に、歪み補正画像ＧＢの左側斜辺Ｌ１に接する画素であって、歪み補正画像ＧＢの最下部に位置する画素Ｂ１は、マトリクス範囲ＭＢ１の補間画素７０を用いて補間を行う。当該マトリクス範囲ＭＢ１における補間画素７０の基準画素７１は、画素番号７´の位置にある背景画素である。また、当該背景画素は、入力画像ＧＡの左辺Ｌ３に接する最下部の画素である。

また、画素Ｂ１の右隣（走査方向後側）に位置する画素Ｉ１は、マトリクス範囲ＭＩ１の補間画素７０を用いて補間を行う。当該マトリクス範囲ＭＩ１における補間画素７０の基準画素７１は、画素番号８´の位置にある内部画素であり、当該内部画素は、入力画像ＧＡの左辺Ｌ３に接する最下部（左下角部）の画素である。

次に、図６および図７を参照し、補間処理を省略する事例（例外処理）について説明する。当該事例は、バイキュービック法とは異なる画像補間法であるバイリニア法と比較することによってその効果が明確となるため、まず、図６を参照し、バイリニア法を用いて補間処理を行う場合について説明する。バイリニア法は、２×２画素のマトリクスから成る補間画素８０を用いて補間を行うものであり、ここでは、４画素のうち左上の画素が基準画素８１であるものとする。

図６（ａ）に示すように、歪み補正画像ＧＢの斜辺Ｌ１に接する画素であって、歪み補正画像ＧＢの最上部に位置する画素Ｂ０と、その左右（走査方向における前後）に位置する画素Ｂ，画素Ｉ０を対象画素５０とすると、同図（ｂ）の表に示すように、画素Ｂは、マトリクス範囲ＭＢ（基準画素８１ａ：背景画素）の補間画素８０を用いて補間が行われる。この場合、補間画素８０は全て背景画素であるため、そのまま背景画素が出力される。なお、画素Ｂ０は、マトリクス範囲ＭＢ０（基準画素８１ｂ：背景画素）の補間画素８０を用いて補間が行われ、画素Ｉ０は、マトリクス範囲ＭＩ０（基準画素８１ｃ：内部画素）の補間画素８０を用いて補間が行われる。

続いて、図７を参照し、バイキュービック法を用いて補間処理を行う場合について説明する。図６に示したバイリニア法の例と同様に、バイキュービック法を用いて画素Ｂを補間すると、図７（ａ）に示すように、マトリクス範囲ＭＢ（基準画素７１ａ：背景画素）の補間画素７０を用いて補間を行うこととなる。マトリクス範囲ＭＢは、小点線で示される範囲であり、そのマトリクスには１３個の背景画素が含まれる。しかしながら、この場合補間部３８４は、図７(ｂ）の表に示すように、画素Ｂを、背景画素として出力する。これは、補間部３８４が、マトリクスに含まれる背景画素が１２個以上の場合には補間を行わず、そのまま背景画素を出力するといった例外処理を行うためである。つまり、画素Ｂは、歪み補正画像ＧＢの背景部分に位置するが、マトリクス範囲ＭＢの補間画素７０を用いて補間を行うと、内部画素が若干（３画素）含まれているため、背景画素とは異なる色となり、画素Ｂの周囲の背景画素と色むらが生じてしまう。上記のバイリニア法の場合は、マトリクス範囲ＭＢの補間画素８０が全て背景画素であるため、当該補間画素８０を用いて補間を行っても色むらの問題はないが、バイキュービック法の場合は、補間画素７０に含まれる内部画素数が少ない場合に、外部画素を出力するといった例外処理を行うことで、この問題を解決している。

なお、画素Ｂ０は、マトリクス範囲ＭＢ０（基準画素７１ｂ：背景画素）の補間画素７０を用いて補間が行われ、画素Ｉ０は、マトリクス範囲ＭＩ０（基準画素７１ｃ：内部画素）の補間画素７０を用いて補間が行われる。これらについては、補間画素７０に含まれる背景画素の個数が１２個未満であるため、それぞれの補間画素７０を用いた補間処理を行う。バイキュービック法では、これらの補間処理により、バイリニア法と比べて、「滑らかさ」および「境界部左右対称性」において大きな差異はないが、「画質」の向上といった大きな効果を奏することができる。

以上説明したとおり、本実施形態によれば、歪み補正画像ＧＢの輪郭付近を含む対象画素５０を抽出し、当該対象画素５０が補間対象となるか否かを適切に判定して補間を行うため、歪み補正画像ＧＢの輪郭部分を滑らかにすることができる。つまり、補間が不要な対象画素５０や補間を行うことにより逆に見た目を損なう対象画素５０について補間を省略することにより、結果的に歪み補正画像ＧＢの見た目を向上させることができる。また、補間画素７０に、入力画像ＧＡの外部に位置する背景画素が１２個以上含まれる場合は、対象画素５０の補間を行わないため、不要な補間を省略でき、補間処理に要する処理速度の向上を図ることができる。また、この場合は背景画素をそのまま出力するため、歪み補正画像ＧＢの背景部分における色むらの発生を抑えることができる。このように、バイキュービック法の利点である画質向上を図りつつも、処理速度の低下といったバイキュービック法の問題点を解消することができる。

なお、上記の実施形態では、例外処理を行う条件を、「背景画素が１２個以上含まれる場合」と規定したが、１３個や１４個など、異なる閾値としても良い。但し、閾値は、１２個以上１５個以下であることが好ましい。

また、バイキュービック法を用いた場合の補間画素７０中における基準画素７１の位置も任意である。但し、基準画素７１は、４×４の画素から成るマトリクスのうち、中心部に位置する２×２の画素のいずれかであることが好ましい。また、バイキュービック法ではなく、他の画像補間法を用いた補間処理にも、本発明を適用可能である。

また、上記の実施形態に示したプロジェクタ１０（特に画像処理部３２）の各構成要素をプログラムとして提供することが可能である。また、そのプログラムを各種記録媒体（ＣＤ−ＲＯＭ、フラッシュメモリ等）に格納して提供することも可能である。すなわち、コンピュータを、プロジェクタ１０の各手段として機能させるためのプログラム、およびそれを記録した記録媒体も、本発明の権利範囲に含まれる。

また、上記の実施形態のプロジェクタ１０は、液晶表示方式を採用しているが、ＣＲＴ表示方式やライトスイッチ表示方式（マイクロミラーデバイス方式）など、表示原理は問わない。その他、本発明の要旨を逸脱しない範囲で、適宜変更が可能である。

本発明の一実施形態に係るプロジェクタの制御ブロック図である。 入力画像と歪み補正画像の対応関係を示す図である。 バイキュービック法を用いた場合の補間画素を示す図である。 対象画素に対応する補間画素を示す図である。 図４に示した対応関係を、入力画像と歪み補正画像上でイメージ化した図である。 バイリニア法を用いた補間処理を示す図である。 バイキュービック法を用いた補間処理の例外処理を示す図である。

符号の説明

１０…プロジェクタ ３２…画像処理部 ３７…キーストーン歪補正処理部 ３８…補間処理部 ５０…対象画素 ７０…補間画素 ７１…基準画素 ７２…周辺画素 １００…表示領域 ＧＡ…入力画像 ＧＢ…歪み補正画像

Claims (8)

1. 入力画像に対してキーストーン歪み補正を行った歪み補正画像の補間処理を行う画像処理装置であって、
   前記歪み補正画像の輪郭付近を含む対象画素を抽出し、当該対象画素が補間対象となるか否かを判定する対象画素判定部と、
   補間対象と判定された前記対象画素に対応する前記入力画像の座標を特定する座標特定部と、
   前記入力画像上において、前記座標特定部により特定された座標に相当する１個の基準画素と、当該基準画素の周辺に位置するＮ個（但し、ＮはＮ≧３となる整数）の周辺画素とを、補間画素として特定する補間画素特定部と、
   前記補間画素を用いて、前記対象画素の補間を行う補間部と、を備え、
   前記補間部は、前記補間画素に、前記入力画像の外部に位置する背景画素が、Ｍ個（但し、ＭはＮ／２＜Ｍ≦Ｎとなる整数）以上含まれる場合、前記対象画素の補間を行わず、前記背景画素を出力することを特徴とする画像処理装置。
2. 前記補間画素は、各画素がマトリクス状に配置され、全体として矩形領域を形成しており、
   前記対象画素判定部は、前記矩形領域の中心に対する前記基準画素の位置と、前記歪み補正画像の中心に対する前記輪郭を構成する斜辺の位置とが一致する場合、少なくとも当該斜辺に接する対象画素を、補間対象と判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記補間部は、前記斜辺に接する対象画素の補間を、前記入力画像の輪郭に接する前記背景画素を前記基準画素とする前記補間画素を用いて行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記補間画素は、１個の基準画素と、１５個の周辺画素と、から成り、
   前記補間部は、バイキュービック法を用いた補間を行うことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。
5. 前記基準画素は、４×４の画素から成るマトリクスのうち、中心部に位置する２×２の画素のいずれかに相当することを特徴とする請求項４に記載の画像処理装置。
6. 前記Ｍの値は、１２≦Ｍ≦１５となる整数であることを特徴とする請求項４または５に記載の画像処理装置。
7. 請求項１ないし６のいずれか１項に記載の画像処理装置における各部と、
   光変調器の表示領域上に、前記補間部による補間後の前記歪み補正画像を形成して光変調を行う光変調部と、
   前記光変調部により光変調された画像を投射する投射部と、を備えたことを特徴とするプロジェクタ。
8. 入力画像に対してキーストーン歪み補正を行った歪み補正画像の補間処理を行う画像処理方法であって、
   前記歪み補正画像の輪郭付近を含む対象画素を抽出し、当該対象画素が補間対象となるか否かを判定するステップと、
   補間対象と判定された前記対象画素に対応する前記入力画像の座標である１個の基準画素と、当該基準画素の周辺に位置するＮ個（但し、ＮはＮ≧３となる整数）の周辺画素とを、補間画素として特定するステップと、
   前記補間画素を用いて、前記対象画素の補間を行うステップと、を備え、
   前記対象画素の補間を行うステップでは、前記補間画素に、前記入力画像の外部に位置する背景画素が、Ｍ個（但し、ＭはＮ／２＜Ｍ≦Ｎとなる整数）以上含まれる場合、前記対象画素の補間を行わず、前記背景画素を出力することを特徴とする画像処理方法。

Images