JP5350488B2 - 画像処理装置および画像処理方法 - Google Patents

Description

複数のプロジェクタで画像を投影する場合の画像処理方法に関する。

近年、１つの画像データに基づく画像を、複数のプロジェクタを用いて表示させるマルチプロジェクションが普及している。以下では、複数台のプロジェクタの投影領域をタイル状に並べて１つの画像を表示させることを、特にタイル表示と呼ぶ。

タイル表示における各プロジェクタの投影領域の結合方法として、以下の方法が知られている。例えば、２つの投影領域Ａ、Ｂが互いに重ならないように正確に調整しながら結合させる方法が知られている。また、投影領域Ａ、Ｂの境界に重ね合わせ領域を設け、重ね合わせ領域に夫々共通の映像Ｐを投影させ、この映像Ｐが正確に重なるように調整しながら結合させる方法が知られている。特許文献１には、複数プロジェクタの投影領域の境界の重ね合わせ領域（エッジブレンド）の開始点及び終了点を自動的に決定する方法が開示されている。

特開平１１−９８４３９号公報

しかしながら、画像データに基づく画像を複数のプロジェクタを用いて表示させる場合、各プロジェクタの投影領域の境界が目立ってしまう恐れがあった。

例えば、解像度が異なる複数のプロジェクタでタイル表示を行った場合、解像度が低いプロジェクタと解像度が高いプロジェクタの境界が、同じ解像度のプロジェクタでタイル表示を行う場合よりも目立ってしまう恐れがある。

また、例えば、解像度が同じ第１、第２のプロジェクタのうち、第１のプロジェクタの画角を第２のプロジェクタの画角よりも小さくし、第２のプロジェクタの投影領域内に第１のプロジェクタが画像を投影すると、投影領域の境界が目立ってしまう恐れがある。これは、同じ解像度のプロジェクタの場合、画角が小さいほうが解像度が高くなるため、投影領域の境界の解像度の違いが目立ってしまうためである。

また、例えば、画像信号に対して台形補正する複数のプロジェクタでタイル表示を行う場合も、各プロジェクタの投影領域の境界において解像度の差が発生し、境界が目立ってしまう恐れがあった。

プロジェクタの解像度の違いによって境界が目立ってしまう場合は、例えば、解像度が高いプロジェクタの解像度を下げれば、境界が目立ちにくくなる。しかしながら、解像度が高いプロジェクタによる投影領域の画質が下がってしまう。また、例えば、解像度が高いプロジェクタの投影領域のうち、境界付近の領域のみ、解像度を下げれば、境界が目立ちにくくなるが、境界付近の画質が下がってしまう。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、画像データに基づく画像を複数のプロジェクタを用いて表示させる場合に、画質の劣化を低減しつつ、投影領域の境界を目立ちにくくすることである。

上記の問題点を解決するために、本発明の画像処理装置は、例えば以下の構成を有する。すなわち、複数のプロジェクタに画像を投影させる画像処理装置であって、前記複数のプロジェクタの解像度、及び、前記複数のプロジェクタの投影領域に関する領域情報を取得する取得手段と、前記取得手段により取得された前記複数のプロジェクタの解像度、及び、領域情報に基づいて、解像度が異なるプロジェクタの投影領域の境界を特定する特定手段と、前記特定手段により特定された境界に対して垂直方向の画素よりも、前記境界に対して水平方向の画素のほうが強く平滑化されるように平滑化する平滑化手段と、前記平滑化手段により平滑化された画像データを出力する出力手段とを有する。

本発明によれば、複数のプロジェクタの投影領域を並べて１つの画像を表示する場合に、投影領域の画質の劣化を低減しつつ、投影領域の境界を目立ちにくくすることができる。

実施形態１のマルチプロジェクションシステムを表すブロック図 実施形態１における画像処理部２０１のブロック図 実施形態１における画像処理装置１０１の処理を表すフローチャート図 実施形態１における境界領域とフィルタリング処理を説明するための模式図 実施形態１におけるフィルタリング処理を説明するための模式図 実施形態１におけるフィルタリング処理の画素形状を説明するための模式図 実施形態２のマルチプロジェクションシステムを表すブロック図 実施形態２における画像処理部１２０１のブロック図 実施形態２における画像分割部による画像の分割を説明するための模式図 第２の実施形態における境界領域の接線と角度をあらわす模式図

＜実施形態１＞
本実施形態におけるマルチプロジェクションの構成について、図１を用いて説明する。本実施形態では、画像処理装置１０１が、２台のプロジェクタＡ、Ｂにタイル表示させる例を説明する。

プロジェクタＡはパネル信号生成部１０２、光源１０３、液晶パネル１０４、投射光学系１０５から構成される。パネル信号生成部１０２は、画像処理装置１０１からの画像データに対して画像処理を行って制御信号を生成し、液晶パネル１０４へ出力する。液晶パネル１０４は、Ｒ／Ｇ／Ｂの３枚のパネルで構成され、パネル信号生成部１０２からの制御信号によりＲ／Ｇ／Ｂの三原色に対する透過率が二次元的に制御される。光源１０３から投射された光は、パネル信号生成部１０２によって生成された制御信号に基づいて制御された液晶パネル１０４を通過する。

液晶パネル１０４を通過した通過光は、投射光学系１０５を通過してスクリーン上に投影される。投射光学系１０５には、液晶パネル１０４からの通過光に基づいて画像をスクリーンに投影するためのレンズ、スクリーン上の画角を変更するズーム部、スクリーン上の表示位置を変更するレンズシフト部などから構成される。プロジェクタＢの構成はプロジェクタＡと同様であるが、プロジェクタＢは、プロジェクタＡよりも３倍高い解像度を持つ。従って、プロジェクタＢのパネル信号生成部１０６と液晶パネル１０７はプロジェクタＡのパネル信号生成部１０２と液晶パネル１０７と比べて、制御する解像度が高い。

次に、本実施形態の画像処理装置１０１について説明する。画像処理部２０１は、画像データを入力し、タイル表示に用いる各プロジェクタの投影領域の境界の画像処理（フィルタ処理）を行ない、フィルタ処理後の画像データを各プロジェクタに出力する回路である。ただし、画像処理装置１０１に含まれるＣＰＵ２０２が、ＲＯＭ２０３に記録されているプログラムをＲＡＭ２０４に適宜読み出して上述のフィルタ処理を行うようにすることも可能である。この場合、ＲＯＭ２０３、ＲＡＭ２０４は、本実施形態のフィルタ処理に必要なプログラム、データ、作業領域をＣＰＵ２０２に提供する。なお、本実施形態の画像処理装置１０１が行うフィルタ処理は、フィルタ領域内の画素値を平滑化するための平滑化処理である。本形態の平滑化処理は、平均値フィルタを用いて行われるが、フィルタ領域の高周波成分をカットする高周波成分カットフィルタや、フィルタ領域の中央の画素値を採用する中央値フィルタを用いて行われるようにしても良い。

また、画像処理装置１０１は、ユーザからの指示を入力する操作部２０５を備える。操作部２０５は、例えば、ボタンやタッチパネルで実現可能である。また、画像処理装置１０１は、ＰＣ、カメラ、メディア（例えばハードディスク、メモリーカード、ＳＤカード、ＵＳＢメモリ）に接続するための外部インターフェース２０６を備える。外部インターフェース２０６は、ＵＳＢ、ＬＡＮ、ＩＥＥＥ１３９４等の規格に則した通信線、または無線などで実現可能である。

本実施形態の画像処理部２０１は、ユーザの視覚特性を利用して、解像度が異なるプロジェクタの投影領域の境界を目立たなくするためのフィルタ処理（平滑化処理）を行う。すなわち、解像度が異なる２つの領域の境界線に対して水平方向の解像度の違いが、境界線に対して垂直方向の解像度の違いよりも、境界線の認識に大きく関与するという視覚特性がある。そこで、画像処理部２０１は、解像度が異なるプロジェクタの投影領域の境界に対して垂直方向の画素よりも、水平方向の画素のほうが、強く平滑化されるように、画像データのフィルタ処理（平滑化処理）を行う。このフィルタ処理は、解像度の高いプロジェクタ（プロジェクタＢ）に出力する画像データの解像度を、解像度の低いプロジェクタＡの解像度に合わせて下げるフィルタ処理である。このように、本形態の画像処理部２０１は、境界線の認識に大きく関与しない方向（境界線に対して垂直方向）の画素のフィルタ処理を、境界線の認識に大きく関与する方向（境界線に対して水平方向）の画素のフィルタ処理よりも弱める。これにより、画質の低減を抑えつつ、プロジェクタの投影領域の境界を目立ちにくくできる。

画像処理部２０１の詳細を図２に示す。画像処理部２０１には、パラメータ取得部３０１、画像分割部３０２、領域特定部３０３、係数決定部３０４、フィルタ処理部３０５を備えている。パラメータ取得部３０１は、タイル表示に用いられる各プロジェクタの投影領域の位置に関する領域情報、及び、タイル表示に用いられる各プロジェクタの解像度を取得する。

画像分割部３０２は、画像処理装置１０１に入力された画像データを、各プロジェクタの領域情報に基づいて分割する。領域特定部３０３は、パラメータ取得部３０１によって取得された各プロジェクタの領域情報と解像度に基づいて解像度が異なるプロジェクタの投影領域の境界を特定し、その結果に基づいて、フィルタ処理を行うべきフィルタ領域を決定する。

係数決定部３０４は、フィルタ処理に用いるフィルタ係数（平滑化パラメータ）を決定する。フィルタ処理部３０５は、領域特定部３０３によって特定されたフィルタ領域を、係数決定部３０４によって決定されたフィルタ係数（平滑化パラメータ）でフィルタ処理する。

以下、画像処理部２０１の動作について、図３のフローチャートを用いて説明する。

ステップＳ３０１（取得手順）において、パラメータ取得部３０１は、タイル表示に用いる各プロジェクタの領域情報を取得する。領域情報は、マルチプロジェクションにおける各プロジェクタの投影領域の位置関係を特定するための情報である。例えば、図１のようなタイル表示の場合、パラメータ取得部３０１が取得する領域情報は、２台のプロジェクタの投影領域を横に並べる構成において、プロジェクタＡが左側の投影領域に投影し、プロジェクタＢが右側の投影領域に投影することを示す情報となる。また、領域情報には、各プロジェクタによる投影領域のサイズの情報が含まれる。本形態のパラメータ取得部３０１は、領域情報を、ユーザが操作部２０５を用いて設定した内容に基づいて取得する。

例えば、ユーザは、タイル表示に用いるプロジェクタの数を入力し、タイル表示の構成パターンを選択する。そして、ユーザは、選択した構成パターンに対応する各投影領域について、プロジェクタを指定する。パラメータ取得部３０１は、ユーザによって選択されたタイル表示の構成パターンと、各投影領域について指定されたプロジェクタから、領域情報を取得する。

例えば、図１の場合、プロジェクタの数として、２が入力され、タイル表示の構成パターンとして、投影領域を横に並べる構成パターンが選択される。そして、横に並べる構成パターンにおいて、左側の投影領域に画像を投影するプロジェクタとしてプロジェクタＡが指定され、右側の投影領域に画像を投影するプロジェクタとしてプロジェクタＢが指定される。本形態のパラメータ取得部３０１は、上記のようなユーザの入力（指定情報入力）に基づいて、領域情報を取得する。

すなわち、パラメータ取得部３０１は、操作部２０５により入力された指定情報に基づいて、複数のプロジェクタの投影領域に関する領域情報を取得する。

なお、本形態のパラメータ取得部３０１は、外部インターフェース２０６を介して接続されたＣＣＤカメラの撮影画像によって領域情報を取得することも可能である。すなわち、ＣＣＤカメラは、プロジェクタによる投影領域の画像を撮像する。そして、パラメータ取得部３０１は、ＣＣＤカメラによる撮像画像を画像入力することにより、複数のプロジェクタの投影領域に関する領域情報を取得できる。このようにすれば、ユーザがタイル表示の構成パターンなどを入力しない場合であっても、領域情報を取得することが可能なる。また、本形態のパラメータ取得部３０１は、ユーザ入力から領域情報を取得できない場合に、撮像画像による領域情報の取得を行うように、領域情報の取得方法を切り替える。これにより、より確実に領域情報を取得することができる。

ステップＳ３０２（取得手順）において、パラメータ取得部３０１は、プロジェクタＡ、Ｂの解像度を取得する。本形態のパラメータ取得部３０１は、ディスプレイケーブルを介して、プロジェクタＡ、Ｂのそれぞれから解像度の通知を受ける。パラメータ取得部３０１は、プロジェクタからの通知に基づいて、複数のプロジェクタのそれぞれの解像度を取得する。

なお、本形態のパラメータ取得部３０１は、外部インターフェ−ス２０６を介して接続されたカメラによる撮像画像から各プロジェクタの解像度を算出することも可能である。このようにすれば、プロジェクタが解像度を通知する機能を備えていない場合であっても、パラメータ取得部３０１は、解像度を取得できる。また、本形態のパラメータ取得部３０１は、プロジェクタからの通知によって解像度を取得できない場合に、撮像画像による解像度の取得を行うように、解像度の取得方法を切り替える。これにより、より確実にプロジェクタの解像度を取得することができる。

ステップＳ３０３において、画像分割部３０２は、パラメータ取得部３０１によって取得されたプロジェクタの領域情報に基づいて、画像データを分割する。本実施形態では、図１に示すように、プロジェクタＡとＢの投影領域を左右に並べるタイル表示を行っており、投影領域のサイズは同じである。そこで、画像分割部３０２は、入力された画像データを横方向に左右等しいサイズで分割する。ここでは、プロジェクタＡとＢの投影領域を互いに重ならないように結合するものとする。

ステップＳ３０４（特定手順）において、領域特定部３０３は、パラメータ取得部３０１によって取得された領域情報、及び、解像度に基づいて、フィルタ領域を特定する。すなわち、領域特定部３０３は、ステップＳ３０４において、複数のプロジェクタの解像度、及び領域情報に基づいて、解像度が異なるプロジェクタの投影領域の境界を特定する。そして、領域特定部３０３は、特定した境界を目立ちにくくするためのフィルタ処理を行う領域（フィルタ領域）を特定する。フィルタ処理は、高解像度のプロジェクタ用に分割された画像データに対して行なわれる。すなわち、本実施形態では、領域特定部３０３は、プロジェクタＡよりも高解像度のプロジェクタＢに出力する画像データの領域の少なくとも一部をフィルタ領域として特定する。

本形態の領域特定部３０３は、各プロジェクタの解像度の差異に基づいて、フィルタ領域の幅を特定する。すなわち、領域特定部３０３は、境界を挟む各プロジェクタの解像度の差異が、所定の差異よりも大きい場合、所定の差異よりも小さい場合よりも、フィルタ領域の幅を大きくする。このようにすることで、解像度の差異が大きい場合は、より滑らかに解像度が変化するので、境界を目立ちにくくすることができる。一方、解像度の差異が小さい場合は、フィルタ領域の幅を小さくすることで、フィルタ処理にかかる処理負荷を低減できる。

例えば、領域特定部３０３は、プロジェクタＢの解像度がプロジェクタＡの解像度の３倍である場合、プロジェクタＢの投影領域の３０％を、フィルタ領域として特定する。すなわち、プロジェクタＢの投影領域のうち、プロジェクタＡの投影領域との境界から３０％の投影領域が、フィルタ領域として特定される。一方、領域特定部３０３は、プロジェクタＢの解像度が、プロジェクタＡの解像度の２倍であった場合、プロジェクタＢの投影領域の２０％を、フィルタ領域として特定する。ただし、フィルタ領域の幅は、一定でも良い。また、領域特定部３０３は、観察距離や画像内容に基づいて領域幅を特定することも可能である。

ステップＳ３０５（決定手順）において、係数決定部３０４は、領域特定部３０３によって特定された境界の方向とフィルタ領域とに基づいて、フィルタ処理に用いるフィルタ係数（平滑化パラメータ）を決定する。本形態の係数決定部３０４は、境界に対して垂直方向の画素よりも、水平方向の画素のほうが、強く平滑化されるように、フィルタ係数を決定する。

図４は、係数決定部３０４によるフィルタ係数の決定方法の例を説明するための図である。図４（ア）は、解像度が低いプロジェクタＡの投影領域４０１と、解像度が高いプロジェクタＢの投影領域４０２を横に並べてタイル表示をしている例である。この場合、領域特定部３０３は、解像度が高いプロジェクタＢの投影領域４０２の少なくとも一部の領域（フィルタ適用領域４０３）をフィルタ領域として特定する。４０４は、プロジェクタＡの投影領域４０１とプロジェクタＢの投影領域４０２の境界線である。

図４（イ）は、図４（ア）のフィルタ適用領域４０３を拡大した図である。図４（イ）に示すように、係数決定部３０４は、フィルタ適用領域４０３のうち、境界４０４に近い領域４０７のフィルタ係数として、３つの画素値の平均をとるフィルタＡ４０５を決定する。また、係数決定部３０４は、フィルタ適用領域４０３のうち、領域４０７よりも境界４０４から遠い領域４０８のフィルタ係数として、２つの画素値の平均をとるフィルタＢ４０６を決定する。このように、係数決定部３０４は、境界線から近いフィルタ領域の画素が、境界線から遠いフィルタ領域の画素よりも強く平滑化されるように、フィルタ係数を決定する。

即ち、係数決定部３０４は、プロジェクタＢの投影領域内の画素のうち、プロジェクタＡとＢの投影領域の境界からの距離が第１の距離の画素よりも、第１の距離よりも短い第２の距離の画素のほうが強く平滑化されるように、平滑化パラメータを決定する。なお、プロジェクタＢは、プロジェクタＡよりも解像度が高いプロジェクタである。

また、本形態の係数決定部３０４は、境界方向に対して垂直方向の画素のフィルタ処理を行わず、境界方向に対して水平方向の画素のフィルタ処理を行うように、フィルタ係数を決定する。このように、係数決定部３０４は、境界方向に対して水平方向の画素の平滑化が、境界方向に対して垂直方向の画素の平滑化よりも強く行われるように、フィルタ係数を決定する。なお、本形態では、境界方向に対して垂直方向の画素の平滑化を行わない例について説明しているが、水平方向の平滑化よりも弱い平滑化を行っても良い。

本実施形態のフィルタ処理による解像度の変化について、図５を用いて説明する。図５は各プロジェクタの解像度と境界線に垂直方向（ｘ方向）の座標の関係を表した図である。図５で示す解像度は、投影画像が取り得る最高空間周波数に相当する値であり、この値が大きいほど高い解像度の画像を投影できることを示す。

図５（ア）は、フィルタ処理前の解像度を示している。境界線６０１において、プロジェクタＡとＢの解像度が急激に変化しており、境界線６０１が目立つ状態である。図５（イ）は、フィルタ処理後の境界線に対して垂直方向の解像度を示している。境界線に対して垂直方向の解像度は、境界線の認識にあまり関与しないので、プロジェクタＢ側の解像度をぼかさないか、わずかにぼかす程度である。従って、図５（イ）に示すように、フィルタ処理後の境界方向に対して垂直方向の解像度の変化は大きいままである。

図５（ウ）は、フィルタ処理後の境界線に対して水平方向の解像度を表している。上述のように、境界線に対して水平方向の解像度の違いは、垂直方向の解像度の違いよりも境界線の認識に大きく影響を及ぼす。従って、係数決定部３０４は、プロジェクタＢによる境界付近の投影領域において、境界方向に対して水平方向の解像度が、プロジェクタＡの解像度に近くなるようにフィルタ係数を決定する。そして、係数決定部３０４は、境界線から遠ざかるにつれて、プロジェクタＢの水平方向の解像度を徐々に高くし、フィルタ領域幅６０２以降の領域では、プロジェクタＢの解像度と同じにする。

図５（エ）、（オ）に、方向に関係なくフィルタ処理する場合におけるｘ方向、ｙ方向の解像度を示す。これに対し、本実施形態の画像処理部２０１は、境界方向に対して垂直方向であるｘ方向の解像度は保持させるので、方向に関係なくフィルタ処理を行うよりも、フィルタ領域の解像度が向上する。

なお、フィルタ領域やフィルタ係数の決定方法は、上記の方法に限らない。すなわち、境界線に対して水平方向の画素値が、境界線に対して垂直方向の画素値よりも強く平滑化されればよい。

ステップＳ３０６（平滑化手順）において、フィルタ処理部３０５は、ステップＳ３０４で特定されたフィルタ領域と、ステップＳ３０５で決定されたフィルタ係数を用いてフィルタ処理（平滑化処理）を行なう。すなわち、フィルタ処理部３０５は、ステップＳ３０６において、境界に対して垂直方向の画素よりも、境界に対して水平方向の画素のほうが強く平滑化されるように平滑化する。フィルタ処理部３０５は、フィルタ処理として、元の画像データに対してフィルタ係数で畳み込み積分を行う。

ステップＳ３０７（出力手順）において、フィルタ処理部３０５は、フィルタ処理後の画像データを各プロジェクタに出力する。なお、本形態の画像処理装置１０１は、プロジェクタＡ、Ｂとは別の装置として説明しているので、フィルタ処理部３０５は、プロジェクタＡとＢに画像データを出力する。しかし、例えば、画像処理装置１０１がプロジェクタＡに組み込まれている場合は、フィルタ処理部３０５は、プロジェクタＢに出力すると共に、プロジェクタＡ内の、例えば、パネル信号生成部１０２に出力する。すなわち、フィルタ処理部３０５は、フィルタ処理後の画像データを、マルチプロジェクションを行なう複数のプロジェクタのうちの少なくとも１つに出力する。

なお、図３の各ステップのうちの一部を、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や既存のアプリケーションなどの機能を用いて行なうようにしても良い。

次に、フィルタ処理による境界線の画像処理結果について、図６を用いて説明する。図６（ア）は、フィルタ処理前のプロジェクタＡ、Ｂの境界線付近の解像度を示している。１つの正方形が１つの画素に相当する。図６（ア）は、境界線７０１を挟んで、解像度が急激に変化していることを示している。図６（イ）は、フィルタ処理後のプロジェクタＡ、Ｂの境界線付近の解像度を示している。領域７０２は、ステップＳ３０５で決定されたフィルタＡの適用領域、領域７０３は、フィルタＢの適用領域である。本形態のフィルタ処理（平滑化処理）は、平均値フィルタを用いて行われる。ただし、平滑化処理は、高周波成分カットフィルタや、中央値フィルタを用いて行われるようにしても良い。

図６（イ）に示すように、フィルタ処理後のプロジェクタＢの境界線近傍の解像度は、フィルタ処理によって低くなる。特に、境界線の方向に対して水平方向の解像度が、垂直方向の解像度よりも、低くなる。すなわち、本形態の画像処理装置１０１によれば、解像度が異なるプロジェクタの投影領域の境界を目立たなくしつつ、境界線の方向に対して垂直方向には高解像度な画像を投影することができる。

なお、本実施形態は、図１のようにプロジェクタＡとＢが左右に並列してタイル表示した場合のフィルタ処理を説明したが、これに限らず、各プロジェクタの投影領域を重ね合わせて表示する場合に適用することもできる。

以上、本実施形態の画像処理装置によれば、解像度が異なる複数のプロジェクタを用いたタイル表示において、画質の劣化を低減しつつ、投影領域の境界を目立ちにくくすることができる。

なお、本形態の画像処理装置は、解像度が異なる複数のプロジェクタでマルチプロジェクションを行う例について説明したが、これに限らない。本発明は、例えば、同じ解像度であるが画角が異なる複数のプロジェクタでマルチプロジェクションを行う場合や、台形補正するプロジェクタと台形補正しないプロジェクタでマルチプロジェクションを行う場合にも適用可能である。

画角を用いる場合、図３のステップＳ３０２で、パラメータ取得部３０１は、各プロジェクタから、解像度と画角に関する情報を取得する。そして、ステップＳ３０４において、領域特定部３０３は、解像度と領域情報と画角に基づいて、解像度が異なる投影領域の境界を特定し、その結果に基づいてフィルタ領域を特定する。例えば、プロジェクタの解像度が同じ場合、画角が小さいプロジェクタの解像度が高くなる。従って、ステップＳ３０５において、係数決定部３０４は、画角が小さいプロジェクタと画角が大きいプロジェクタの投影領域の境界に垂直方向の画素よりも水平方向の画素のほうが強く平滑化されるように、フィルタ係数（平滑化パラメータ）決定する。

台形補正の補正量を用いる場合、図３のステップＳ３０２で、パラメータ取得部３０１は、各プロジェクタから、解像度と台形補正の補正量に関する情報を取得する。そして、ステップＳ３０４において、領域特定部３０３は、解像度と台形補正の補正量と領域情報に基づいて、解像度が異なる投影領域の境界を特定し、その結果に基づいてフィルタ領域を特定する。また、画像処理装置１０１は、画角と台形補正の補正量の両方を用いてフィルタ領域の特定とフィルタ係数を決定することも可能である。

＜実施形態２＞
実施形態２について、実施形態１との差異を中心に説明する。図７は、実施形態２におけるマルチプロジェクションの構成を説明するためのブロック図である。本実施形態では、プロジェクタＢの投影領域１００２が、プロジェクタＡの投影領域１００１に囲まれている場合について説明する。なお、プロジェクタＡ、Ｂは、実施形態１のプロジェクタＡ、Ｂと同様である。

図８は、実施形態２の画像処理部１２０１の構成を示すブロック図である。実施形態１の画像処理部２０１は、ユーザによる入力や、撮像画像に基づいて領域情報を取得していたのに対し、本形態の画像処理部１２０１は、画像分割部１３０２からフィルタ処理部１３０５に対して出力される画像データに基づいて、領域情報を取得する。

すなわち、画像分割部１３０２は、各プロジェクタから取得した投影領域情報に基づいて画像データを分割すると共に、分割した画像データを用いて領域情報を取得する。例えば、図７において、画像分割部１３０２は、領域１００１をプロジェクタＡが投影し、領域１００２をプロジェクタＢが投影することを通知するための投影領域情報を取得する。図７の例で画像分割部１３０２が取得する投影領域情報には、領域１００１を特定するための４つの頂点の座標値、及び、領域１００２の中心の座標値、及び、領域１００２の半径が含まれる。また、投影領域情報には、領域１００１とプロジェクタＡとを対応付けた対応付け情報、及び、領域１００２とプロジェクタＢとを対応づけた対応付け情報が含まれる。上記のような投影領域情報を取得した画像分割部１３０２は、入力された画像データをプロジェクタＡ用の画像データとプロジェクタＢ用の画像データにそれぞれ分割する。

エッジ方向特定部１３０６は、画像分割部１３０２によって出力された分割画像データに基づいて、解像度が異なる投影領域の境界と、境界の方向を特定する。以下エッジ方向特定部１３０６の処理について説明する。

画像分割部１３０２によって分割された画像の例を図９に示す。図９（ア）は、２つのプロジェクタの投影領域を合わせた投影領域を示している。領域１００１はプロジェクタＡの投影領域、領域１００２はプロジェクタＢの投影領域である。図９（イ）の白の領域は、画像分割部１３０２がプロジェクタＡ用に出力する画像データの領域を示している。また、図９（ウ）の白い領域は、画像分割部１３０２がプロジェクタＢ用に出力する画像データの領域を示している。画像分割部１３０２は、図９（イ）、（ウ）の白い領域の画素値データは入力された画像データに応じた値になり、黒い領域の画素値データは０となるように、画像データを出力する。エッジ方向特定部１３０６は、画像分割部１３０２により出力された画像データと、パラメータ取得部１３０１により取得された解像度に基づいて、解像度が異なる投影領域の境界とその方向を特定する。なお、エッジ方向特定部１３０６が、画像分割部１３０２により出力された画像データから解像度を取得することも可能である。

本形態のエッジ方向特定部１３０６は、以下のような方法で、解像度が異なる投影領域の境界とその方向を特定する。

エッジ方向特定部１３０６は、領域１００１の任意の画素Ｐ（ｘ，ｙ）に対して、ｘ、ｙ方向の微分量を算出する。

ｆｘ＝Ｐ（ｘ＋１，ｙ）−Ｐ（ｘ，ｙ） （１）
ｆｙ＝Ｐ（ｘ，ｙ＋１）−Ｐ（ｘ，ｙ） （２）

次に、エッジ方向特定部１３０６は、画像のエッジの強度Ｉを以下の式で算出する。
Ｉ（ｘ，ｙ）＝√（ｆｘ×ｆｘ＋ｆｙ×ｆｙ） （３）

次に、エッジ方向特定部１３０６は、式（３）で算出したエッジ強度をしきい値Ｉ０と比較する。

Ｉ（ｘ，ｙ）＞Ｉ０の場合、エッジ方向特定部１３０６は、画素Ｐ（ｘ，ｙ）をエッジ部であると判定する。一方、Ｉ（ｘ，ｙ）＜＝Ｉ０の場合、エッジ方向特定部１３０６は、画素Ｐ（ｘ，ｙ）をエッジ部ではないと判定する。

続いて、エッジ方向特定部１３０６は、エッジの方向を算出する。画素Ｐ（ｘ，ｙ）におけるエッジの方向は、
θ＝ｔａｎ−１（ｆｙ／ｆｘ） （４）
である。エッジの境界とθの関係について、図１０を用いて説明する。図１０（ア）は、図９（ア）と同じように、プロジェクタＡ、Ｂの投影領域を合わせた投影領域を示している。図１０（イ）は、図１０（ア）の領域１００６を拡大した図である。ある画素１００５における領域１００１と１００２の境界の接線は、接線１００３である。角度情報θは、接線、つまり境界線に対して垂直方向の角度として算出される。本形態のエッジ方向特定部１３０６は、上記の計算を、領域１００１のすべての画素に対して行う。

エッジ方向特定部１３０６は、角度情報θを係数決定部１３０４に出力する。係数決定部１３０４は、角度情報θを用いてフィルタ係数（平滑化パラメータ）を決定する。すなわち、係数決定部１３０４は、境界方向に対して水平方向の画素が、垂直方向の画素よりも強く平滑化されるように、平滑化パラメータを決定する。本形態の係数決定部１３０４には、角度情報θごとに最適なフィルタ係数が予め記憶されている。そして、係数決定部１３０４は、取得した角度情報θと、予め記憶されたフィルタ係数に応じてフィルタ係数を決定する。ただし、フィルタ係数の決定方法は、この方法に限らない。

以上、本形態の画像処理装置によれば、画像データに基づく画像を複数のプロジェクタを用いて表示させる場合に、画質の劣化を低減しつつ、投影領域の境界を目立ちにくくすることができる。

なお、本実施形態では、スクリーンの正面から画像を投影するプロジェクタに画像を表示させる画像処理装置について説明したが、例えば、リアプロジェクションテレビなどに適用することも可能である。また、本実施形態では、画像処理装置がプロジェクタとは別の機器である場合について説明したが、プロジェクタに組み込まれていても良い。

＜実施形態３＞
第１の実施形態、第２の実施形態では、それぞれプロジェクタが２台の場合について説明したが、本発明は、３台以上のプロジェクタを用いる場合にも適用可能である。本実施形態では、４台のプロジェクタ（プロジェクタＡ、Ｂ、Ｃ、Ｄ）を用いて、マルチプロジェクションを行うこと場合について説明する。例えば、図１のプロジェクタＡ（第１のプロジェクタ）の投影領域の上に、プロジェクタＤ（第４のプロジェクタ）が画像を投影し、図１のプロジェクタＢ（第２のプロジェクタ）の投影領域の上に、プロジェクタＣ（第３のプロジェクタ）が画像を投影する。なお、プロジェクタＢの解像度が最も高く、プロジェクタＡ、Ｃ、Ｄの順に解像度が低くなる。

このような例において、プロジェクタＢの投影領域のうち、プロジェクタＡの投影領域との境界付近と、プロジェクタＣの投影領域との境界付近でフィルタ処理が行われる。従って、プロジェクタＢの投影領域の一部の領域（左上の領域）において、１画素に対して、２つの画素値が算出される。すなわち、プロジェクタＡとＢの投影領域の境界の方向に応じてフィルタ処理された第１の画素値と、プロジェクタＢとＣの投影領域の境界の方向に応じてフィルタ処理された第２の画素値が算出される。本実施形態の画像処理部２０１は、１画素に対して２つ以上の画素値が算出された場合、境界部分の画像のパターンに基づいて、どちらの画素値を採用するか決定する。

より具体的には、フィルタ処理部３０５は、プロジェクタＢの投影領域の画像を解析し、横方向に強く平滑化処理する場合と、縦方向に強く平滑化処理する場合とで、どちらが投影画像の品質を損なわないか判定する。そして、フィルタ処理部３０５は、判定結果に基づいて、投影画像の品質を損なわない方向に強くフィルタ処理されて算出された画素値を採用する。

すなわち、本形態の画像処理部２０１は、プロジェクタＡ（第１のプロジェクタ）、プロジェクタＢ（第２のプロジェクタ）、プロジェクタＣ（第３のプロジェクタ）、及び、プロジェクタＤを用いてマルチプロジェクションを行なう。また、画像処理部２０１は、画像分割部３０２に入力された画像データを解析する。そして、画像処理部２０１は、プロジェクタＡとＢの投影領域の境界に応じた第１の平滑化領域と、プロジェクタＢとＣの投影領域の境界に応じた第２の平滑化領域の少なくとも一部が重複する場合、出力する画像データを以下のように決定する。すなわち、画像処理部２０１は、画像データの解析結果に応じて、プロジェクタＡとＢの投影領域の境界の方向に応じて平滑化された画像データと、プロジェクタＢとＣの投影領域の境界の方向に応じて平滑化された画像データのいずれかを出力する。このように、画像のパターンに基づいて出力する画像データの画素値を決定することで、フィルタ処理による投影画像の劣化を低減することができる。

ただし、上記の方法に限らず、例えば、プロジェクタＡとプロジェクタＣのうち、より解像度が低いプロジェクタの投影領域と、プロジェクタＢの投影領域の境界の方向に基づいてフィルタ処理された画素値を採用するようにしても良い。

つまり、画像処理部２０１は、プロジェクタＢの解像度がプロジェクタＡよりも高く、プロジェクタＡの解像度がプロジェクタＣよりも高い場合、プロジェクタＣの投影領域とプロジェクタＢの投影領域の境界の方向に基づいて、フィルタ処理する。そして、プロジェクタＢとＣの境界の方向に応じてフィルタ処理して求めた画素値を、平滑化領域が重複した領域の画素値とした画像データを出力する。

すなわち、画像処理部２０１は、プロジェクタＡとＢの投影領域の境界に応じた第１の平滑化領域と、プロジェクタＢとＣの投影領域の境界に応じた第２の平滑化領域の少なくとも一部が重複する場合、出力する画像データを以下のように決定する。すなわち、画像処理部２０１は、プロジェクタＡとＣの解像度に応じて、プロジェクタＡとＢの投影領域の境界の方向に応じて平滑化された画像データと、プロジェクタＢとＣの投影領域の境界の方向に応じて平滑化された画像データのいずれかを出力する。

このように、各プロジェクタの解像度に基づいて出力する画像データを決定することで、より解像度の差が大きい境界を目立ちにくくすることができる。また、このようにすることで、画像パターンで画素値を決定するよりも、処理を簡単にすることができる。なお、画像処理部２０１は、２つの平滑化パラメータに基づいて２つの画素値を算出してから採用する画素値を決定しても、２つの平滑化パラメータのうち１つの平滑化パラメータを決定してから画素値を算出してもよい。

＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (10)

1. 複数のプロジェクタに画像を投影させる画像処理装置であって、
   前記複数のプロジェクタの解像度、及び、前記複数のプロジェクタの投影領域に関する領域情報を取得する取得手段と、
   前記取得手段により取得された前記複数のプロジェクタの解像度、及び、領域情報に基づいて、解像度が異なるプロジェクタの投影領域の境界を特定する特定手段と、
   前記特定手段により特定された境界に対して垂直方向の画素よりも、前記境界に対して水平方向の画素のほうが強く平滑化されるように平滑化する平滑化手段と、
   前記平滑化手段により平滑化された画像データを出力する出力手段と
   を有することを特徴とする画像処理装置。
2. 前記出力手段は、前記平滑化手段により平滑化された画像データを前記複数のプロジェクタのうち少なくとも１つに出力する
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記平滑化手段は、第１の解像度の第１のプロジェクタによる第１の投影領域と、前記第１の解像度よりも高い第２の解像度の第２のプロジェクタによる第２の投影領域との境界からの距離が第１の距離である前記第２の投影領域内の画素よりも、当該境界からの距離が前記第１の距離よりも近い第２の距離である前記第２の投影領域内の画素のほうが強く平滑化されるように平滑化する
   ことを特徴とする請求項１記載の画像処理装置。
4. 前記取得手段は、前記複数のプロジェクタのそれぞれからの通知に基づいて、前記複数のプロジェクタのそれぞれの解像度を取得する
   ことを特徴とする請求項１記載の画像処理装置。
5. 前記複数のプロジェクタのそれぞれの投影領域を指定するための指定情報を入力する指定情報入力手段を有し、
   前記取得手段は、前記指定情報入力手段により入力された指定情報に基づいて、前記複数のプロジェクタの投影領域に関する領域情報を取得する
   ことを特徴とする請求項１記載の画像処理装置。
6. 撮像手段による撮像画像を入力する画像入力手段を有し、
   前記取得手段は、前記画像入力手段により入力された投影領域の撮像画像に基づいて、前記複数のプロジェクタの投影領域に関する領域情報を取得する
   ことを特徴とする請求項１記載の画像処理装置。
7. 前記画像処理装置に入力された画像データを解析する解析手段を有し、
   前記出力手段は、第１のプロジェクタの投影領域と、前記第１のプロジェクタよりも解像度が高い第２のプロジェクタの投影領域の境界である第１の境界に応じた第１の平滑化領域と、
   前記第２のプロジェクタの投影領域と、前記第２のプロジェクタよりも解像度が低い第３のプロジェクタの投影領域の境界である第２の境界に応じた第２の平滑化領域との少なくとも一部が重複する場合、
   前記解析手段による解析結果に応じて、前記重複する領域が前記第１の境界の方向に応じて平滑化された画像データと、前記重複する領域が前記第２の境界の方向に応じて平滑化された画像データとのうちのいずれかを出力する
   ことを特徴とする請求項１記載の画像処理装置。
8. 前記出力手段は、第１のプロジェクタの投影領域と、前記第１のプロジェクタよりも解像度が高い第２のプロジェクタの投影領域の境界である第１の境界に応じた第１の平滑化領域と、
   前記第２のプロジェクタの投影領域と、前記第２のプロジェクタよりも解像度が低い第３のプロジェクタの投影領域の境界である第２の境界に応じた第２の平滑化領域との少なくとも一部が重複する場合、
   前記第１、第３のプロジェクタの解像度に応じて、前記重複する領域が前記第１の境界の方向に応じて平滑化された画像データと、前記重複する領域が前記第２の境界の方向に応じて平滑化された画像データとのうちのいずれかを出力する
   ことを特徴とする請求項１記載の画像処理装置。
9. 複数のプロジェクタに画像を投影させる画像処理装置が行う画像処理方法であって、
   前記複数のプロジェクタの解像度、及び、前記複数のプロジェクタの投影領域に関する領域情報を取得する取得工程と、
   前記取得工程により取得された前記複数のプロジェクタの解像度、及び、領域情報に基づいて、解像度が異なるプロジェクタの投影領域の境界を特定する特定工程と、
   前記特定工程により特定された境界に対して垂直方向の画素よりも、前記境界に対して水平方向の画素のほうが、強く平滑化されるように平滑化する平滑化工程と、
   前記平滑化工程によって平滑化された画像データを出力する出力工程と
   を有することを特徴とする画像処理方法。
10. 複数のプロジェクタの解像度、及び、前記複数のプロジェクタの投影領域に関する領域情報に基づいて、解像度が異なるプロジェクタの投影領域の境界を特定する特定手順と、前記特定手順により特定された境界に応じて平滑化された画像データを前記複数のプロジェクタに出力する出力手順とを実行するコンピュータに、
    前記特定手順により特定された境界に対して垂直方向の画素よりも、前記境界に対して水平方向の画素のほうが、強く平滑化されるように平滑化する平滑化手順
    を実行させることを特徴とするプログラム。