JP5311499B2 - 画像処理装置およびそのプログラム - Google Patents

Description

本発明は、マルチタイルドスクリーンに表示させる画像に関する画像処理装置およびそのプログラムに関する。

複数のディスプレイを組み合わせて一枚の巨大なディスプレイとして扱うマルチタイルドスクリーンにおいて、ディスプレイの間の繋ぎ目部分に映像の重要部分が隠れると、利用者にとって目障りになる問題がある。この問題を解決する為に、以下のような従来技術が提案されている。
例えば、ディスプレイ枠を小さくする工夫として、特許文献１によると、プラズマディスプレイパネルに対して、表示面側のバス電極と背面側のアドレス電極の両方を、背面に導出することでプラズマディスプレイパネルの縦方向及び横方向の非表示エリアを小さくする方法について開示されている。

また、マルチタイルドスクリーンのディスプレイ枠を利用者に見えにくくする工夫として、特許文献２によると、各ブラウン管の表示部分のみを露出させる光反射率の高い枠によって、鏡のように表示部分を繰り返して表示する方法について開示されている。この方法では、隣接するブラウン管の画像表示部同士の色が同色になると境目が利用者に視認されにくくなる特徴がある。また、特許文献３によると、ハーフミラーを使い透過画像を見せるＣＲＴと反射画像を見せるＣＲＴを交互に分けて配置することで、お互いに枠が接することがなくなり擬似的に映像のみを連続して表示する方法について開示されている。さらに、ディスプレイ間の繋ぎ目部分を見えにくくする方法として、特許文献４によると、プラズマディスプレイパネルの表示側基盤の前面にレンズと該レンズを透過した光が結像するスクリーンを設けることで表示領域全体を拡大投写し、パネル外縁の非表示領域がスクリーン面の外に投写して繋ぎ目部分を発生させなくする方法について開示されている。
特許文献５では、マルチスクリーンを構成するＰＤＰに昇降用モータを取り付け、ディスプレイを物理的に上下方向に移動させるのと反対に映像を移動させることで、見た目の映像の高さを維持したまま、ディスプレイ間の繋ぎ目の隠れる部分を随時変更させている。

特開平８−１２４４８７号公報 実開昭６３−６５３７５号公報 特開昭６１−１５６９８５号公報 特開平１０−２１４５６７号公報 特開２００３−６６９３３号公報

しかしながら、特許文献１に開示されているディスプレイ枠を小さくする方法であっても、完全に非表示領域を無くすことはできないという問題がある。さらに、マルチタイルドスクリーンの特徴の一つは、汎用の表示装置を組み合わせることで大画面を簡単に構築できることである。一般的なディスプレイは枠を有しており、このようなディスプレイを使えることにメリットがある。
ディスプレイ枠を利用者に見えにくくする方法として開示されている特許文献２では、表示部分のみを露出させる特殊な光反射率の高い枠を各ディスプレイに予め備えなければならず、余計な部材を必要とする問題がある。さらに、光反射率の高い枠により枠周辺の映像を繰り返し表示しているため、枠部分の映像のつながりに問題がある。特許文献３では、ハーフミラーを用いて直接投射させるＣＲＴと反射させるＣＲＴの位置を異ならせる必要があり、システムを設置するスペースが余計に必要となる問題がある。特許文献４に開示されているシステムでは、ディスプレイ前面にレンズと投写スクリーンを必要とするため余計な部材を備える必要がある。
特許文献５では、物理的にディスプレイを上下に移動させる為の駆動装置が必要となるためシステム全体が大掛かりになり、容易にディスプレイの構成を変更することが困難になる。

本発明は、このような事情に鑑みてなされたもので、その目的は、汎用ディスプレイに追加する部材や大掛かりな駆動装置を必要とせず、利用者が、ディスプレイの枠を気にせずにマルチタイルドスクリーンを使えるようにする画像処理装置、プログラムおよびその方法を提供することにある。

（１）この発明は上述した課題を解決するためになされたもので、本発明の画像処理装置は、隣接するように配置された複数の表示装置の配置に合わせて映像を分割し、前記分割した映像を対応する前記表示装置に表示するマルチタイルドスクリーンシステムに映像を出力する画像補正装置であって、入力された映像から重要な領域の位置を検出する重要位置検出部と、前記映像を表示したときに、前記表示装置同士の繋ぎ目部分の非表示域に前記検出した映像の重要な領域が重ならないように、前記入力された映像の表示位置を移動させるシフト量を算出する映像シフト量算出部と、前記算出したシフト量に従い、前記入力された映像の表示位置を移動させて出力する映像位置補正部とを具備することを特徴とする。

（２）また、本発明の画像処理装置は、上述の画像処理装置であって、前記重要位置検出部は、前記入力された映像から、人物の顔領域を検出し、その位置を重量な領域とすることを特徴とする。

（３）また、本発明の画像処理装置は、上述の画像処理装置であって、前記重要位置検出部は、前記入力された映像のフレーム内における画素変化の出現頻度に基づく情報量を用いて、各領域の重要度を算出することを特徴とする。

（４）また、本発明の画像処理装置は、上述のいずれかの画像処理装置であって、前記映像を表示したときに、前記非表示域に前記検出した映像の重要な領域が重ならないように、かつ、前記シフト量が大きくならないように、前記シフト量を算出することを特徴とする。

（５）また、本発明の画像処理装置は、上述のいずれかの画像処理装置であって、前記映像を表示したときに、前記非表示域に前記検出した映像の重要な領域が重ならないように、かつ、前記シフト量と、前フレームにおけるシフト量との差が大きくならないように、前記シフト量を算出することを特徴とする。

（６）また、本発明のプログラムは、隣接するように配置された複数の表示装置の配置に合わせて映像を分割し、前記分割した映像を対応する前記表示装置に表示するマルチタイルドスクリーンシステムに映像を出力する画像処理装置のコンピュータを、入力された映像から重要な領域の位置を検出する重要位置検出部、前記映像を表示したときに、前記表示装置同士の繋ぎ目部分の非表示域に前記検出した映像の重要な領域が重ならないように、前記入力された映像の表示位置を移動させるシフト量を算出する映像シフト量算出部、 前記算出したシフト量に従い、前記入力された映像の表示位置を移動させて出力する映像位置補正部として動作させる。

この発明によれば、重要部分がマルチタイルドスクリーンの繋ぎ目部分に重ならないように映像を表示させるので、利用者が、ディスプレイの枠を気にせずに、マルチタイルドスクリーンを使えるようにすることができる。

この発明の第１の実施形態で扱われる複数のディスプレイ（表示装置）を隣接するように配置して巨大な１枚のディスプレイとしたマルチタイルドスクリーンの構成の一例である。 同実施形態における縦と横に４台ずつで、計１６台のディスプレイで１枚の大型ディスプレイとしたマルチタイルドスクリーンの構成の別の一例である。 同実施形態における５台のディスプレイによって一枚の大型ディスプレイを形成する例である。 ディスプレイ４枚で構成されたマルチタイルドスクリーンの中央に、人物３を中心とする映像４を表示した模式図である。 同実施形態における映像を右方向に少しずらし、人物の顔が枠にかからないように表示した例である。 同実施形態におけるマルチタイルドスクリーンシステムの構成を示す概略ブロック図である。 同実施形態における入力された映像から１フレーム切り出した入力画像Ｇ２０を示す図である。 同実施形態における重要位置検出部１２が予め記憶している顔のテンプレート画像Ｇ２２を示す図である。 同実施形態における重要位置検出部１２による顔認識処理を説明するフローチャートである。 同実施形態におけるディスプレイ２１〜２４の表示域を示す図である。 シフトせずに画像をマルチタイルドスクリーンに表示した例を示す図である。 同実施形態における画像をシフトさせてマルチタイルドスクリーンに表示した例を示す図である。 同実施形態における映像シフト量算出部１４による映像シフト量算出処理を説明するフローチャートである。 この発明の第２の実施形態におけるマルチタイルドスクリーンシステムの構成を示す概略ブロック図である。 同実施形態における入力画像全体を示す図である。 同実施形態における重要位置検出部１２ａによる情報量を用いた重要位置検出方法を説明するフローチャートである。 同実施形態におけるｘ方向のゾーベルオペレータを示す図である。 同実施形態におけるｙ方向のゾーベルオペレータを示す図である。 同実施形態における画像全体がなだらかなで一部にエッジがあるような画像のヒストグラムの例を示す図である。 同実施形態における画像全体が複雑で一部のみに平坦な領域が存在する画像のヒストグラムの例を示す図である。 この発明の第３の実施形態におけるマルチタイルドスクリーンシステムの構成を示す概略ブロック図である。

（第１の実施形態）
（マルチタイルドスクリーンの形態）
本発明の第１の実施の形態を図１から図１３に基づいて説明する。図１は本発明で扱われる複数のディスプレイ（表示装置）を隣接するように配置して巨大な１枚のディスプレイとしたマルチタイルドスクリーンの構成の一例である。図１に示す例では、縦と横に２台ずつで、計４台のディスプレイを並べて、マルチタイルドスクリーンを構成している。１はディスプレイ表示部を示しており、画像を表示できる表示域である。一方、２の部分は、ディスプレイの縁部に備わる枠の部分にあたり、ディスプレイ同士の繋ぎ目部分で、映像が表示されない非表示域である。ディスプレイ１枚を使う時には、非表示域が表示域の周辺部にあるため、枠の存在が気になることはない。しかしながら、マルチタイルドスクリーンでは、ディスプレイを複数台並べて表示域を構成すると、ディスプレイのつなぎ目部分にあたる非表示域が表示域内に存在することになる。

図１では４台のディスプレイによって一枚の大型ディスプレイを形成しているが、図２に例示しているように縦と横に４台ずつで、計１６台のディスプレイで１枚の大型ディスプレイを形成するなど、構成するディスプレイの台数を増やすことでさらに大型のディスプレイにすることが可能である。また、ディスプレイを真横に並べるだけではなく、図３に示すようにカーブを持たせて配置させることも可能である。以上、マルチタイルドスクリーンは、スケーラブルに構成枚数を増やすことで簡単に大画面化が実現できることと、設置形態を自由に変えられることが大きな特徴であると言える。

（重要部分のシフト）
図４はディスプレイ４枚で構成されたマルチタイルドスクリーンの中央に、人物３を中心とする映像４を表示した模式図である。この場合、映像の重要部分である人物の顔が、マルチタイルドスクリーンのつなぎ目部分と重なってしまい、利用者が枠を非常に目障りと感じる可能性が高い。図５では、映像を右方向に少しずらし、人物の顔が枠にかからないように表示した例である。図４に比べ、映像６の表示位置は変わるが、重要部分５は枠に重ならなくなり、印象を向上させることができる。

（システム構成）
図６は、本実施形態におけるマルチタイルドスクリーンシステムの構成を示す概略ブロック図である。本実施形態におけるマルチタイルドスクリーンシステムは、入力映像補正装置１０、マルチスクリーン映像表示装置１１、操作装置２０、ディスプレイ２１〜２４を備える。操作装置２０は、入力映像補正装置１０を、ユーザが操作するためのキーボードなどの入力デバイスを備える。ネットワーク３０など、外部より入力された映像信号を、入力映像補正装置１０（画像処理装置）は取り込み、マルチタイルドスクリーンの繋ぎ目部分と映像の重要部分が重ならないように映像の表示位置を変更した後に、マルチスクリーン映像表示装置１１に供給する。マルチスクリーン映像表示装置１１は、ディスプレイ２１〜２４によるマルチタイルドスクリーンに映像を表示するために、ディスプレイ２１〜２４の配置に合わせて映像を分割し、映像を分割した後に、分割した映像の映像信号を対応するディスプレイ２１〜２４に向けて出力する。

個々のディスプレイ２１〜２４が、分割された映像信号を受け取り、それを表示することで全体としてマルチタイルドスクリーン表示を実現している。表示を行う際には、図示していない各ディスプレイ間の映像入力を同期させる制御装置によって、正確に同じタイミングで映像を表示する。なお、マルチスクリーン映像表示装置１１が、ディスプレイ２１〜２４に出力する映像信号を同期させて出力することで、ディスプレイ２１〜２４で表示される映像を同期させるようにしてもよい。

入力映像補正装置１０とマルチスクリーン映像表示装置１１について、より詳細に説明する。入力映像補正装置１０は、重要位置検出部１２、ディスプレイ枠位置保持部１３、映像シフト量算出部１４、映像位置補正部１５を備える。また、マルチスクリーン映像表示装置１１は、映像分割部１６、映像表示部１７を備える。ネットワーク３０（あるいは放送）によって入力映像補正装置１０に入力された映像信号は、入力映像補正装置１０に入力された後、映像の重要な位置を検出するための重要位置検出部１２に入力される。重要位置検出部１２では、映像内の重要領域を画像処理によって抽出し、その座標値が算出される。ディスプレイ枠位置保持部１３は、操作装置２０によって入力されたディスプレイの枠位置、すなわち非表示域を示す情報を記憶する。

映像シフト量算出部１４は、重要位置検出部１２が検出した重要部分が、ディスプレイ枠位置保持部１３が記憶する非表示域に重ならないように、かつ、映像をシフトする量が大きくならないように、映像を縦方向および横方向にシフトする量を算出する。映像位置補正部１５は、映像シフト量算出部１４が算出したシフト量に従い、入力映像補正装置１０に入力された映像信号の映像をシフトさせた映像信号を生成し、出力する。映像分割部１６は、入力映像補正装置１０の映像位置補正部１５が出力した映像信号の映像を、マルチタイルドスクリーンに表示させるために、ディスプレイ２１〜２４各々用の映像に分割する。映像表示部１７は、映像分割部１６が分割した映像の信号を、それぞれのディスプレイ２１〜２４に出力する。

（重要位置検出部１２：顔認識を用いる場合）
重要位置検出部１２による重要位置の検出には、さまざまな方法を用いることができる。その一例として、本実施形態では人物の顔領域を重要部分と仮定し、重要位置検出部１２が、入力された映像から、画像処理によって人物の顔領域を検出し、その位置を重要な領域とする。顔領域の検出は、画像処理のテンプレートマッチングで行うことができる。テンプレートマッチングは、顔の教師画像を予め用意しておき、入力された映像と比較することで映像内の顔領域を検出することができる。

また、顔領域の検出の他の方法として、一般的な人の顔の認識を、以下の方法で実現することが可能である。人の顔の特徴を抽出し学習する学習フェーズと、学習で得られた情報を元に入力された画像から顔領域を抽出する認識フェーズの２つのフェーズを用いて行われる。学習フェーズは、多くの顔画像と共に顔の映っていない画像を元に学習を行うが、事前にオフラインで処理を行うことができる。また、学習で得られた情報のみを認識時に利用することで処理の高速化が可能である。詳細は明記しないが、Rainer Lienhart and Jochen Maydt, "An Extended Set of Haar-like Features for Rapid Object Detection", IEEE ICIP 2002, Vol. 1, pp. 900-903, Sep. 2002.に記載されている方法によると、学習アルゴリズムとしてAdaboostと呼ばれる弱い判別機を複数結合して強い判別能力を示す学習機と、判別に用いる特徴量としてHaar-Likeと呼ばれる単純な矩形領域の濃淡による特徴量を用いて学習フェーズを実現することができる。

以下、重要位置検出部１２のテンプレートマッチングによる顔位置検出方法について、図７、図８を用いて具体的に説明する。図７は、入力された映像から１フレーム切り出した入力画像Ｇ２０を示す図である。また、図８は、重要位置検出部１２が予め記憶している顔のテンプレート画像Ｇ２２を示す図である。ここで、入力画像Ｇ２０をｆ（ｘ,ｙ）、テンプレート画像Ｇ２２をｔ（ｉ,ｊ）とする。ｘ、ｙは、入力画像Ｇ２０の左上端を原点とし、右方向をｘ軸、下方向をｙ軸としたときのｘ座標、ｙ座標を示し、０≦ｘ＜ｆ_width、０≦ｙ＜ｆ_heightである。入力画像の大きさがＶＧＡ（Video Graphics Array；ビデオ・グラフィックス・アレイ）サイズの場合、ｆ_width＝６４０、ｆ_height＝４８０となる。同じように、ｉ、ｊは、テンプレート画像Ｇ２２の左上端を原点とし、右方向にｘ軸、下方向をｙ軸としたときのｘ座標、ｙ座標を示し、サイズは０≦ｉ＜ｔ_width、０≦ｊ＜ｔ_heightである。
入力画像の座標（ｘ，ｙ）における画素値はＲＧＢ（赤、緑、青）３つの輝度値を持つが、例えば以下の（１）式により簡略された明度を示す代表値を用いて、ｆ（ｘ、ｙ）を表す。

テンプレート画像Ｇ２２の代表値ｔ（ｉ,ｊ）についても同様に算出することができる。
重要位置検出部１２は、被探索画像である入力画像Ｇ２０に対して、テンプレート画像Ｇ２２との違いを基にテンプレート画像Ｇ２２が存在するか存在しないかを判断しながら、ｘ方向とｙ方向に１画素ずつずらして入力画像Ｇ２０全体を探索することで、テンプレートマッチングを行う。入力画像の左上を原点とすると被探索範囲Ｉは、入力画像の幅や高さから、テンプレート画像の幅や高さを引いた以下の（２）式で与えられる。

（２）式を図示すると、入力画像Ｇ２０中の網掛け部分Ｇ２１が被探索範囲になる。同様にテンプレート画像Ｇ２２の左上を原点とすると、テンプレート画像Ｇ２２の大きさは以下の（３）式で表すことができる。

図９は、重要位置検出部１２による顔認識処理を説明するフローチャートである。重要位置検出部１２は、（２）式の被探索範囲に対してステップＳ１００とステップＳ１０８とで挟まれたステップＳ１０１からステップＳ１０６、Ｓ１０７までの間の処理を繰り返すことで、テンプレートマッチングによる顔領域の認識処理を行う。まず、ステップＳ１０１では、重要位置検出部１２は、テンプレート画像Ｇ２２との類似度合いを示すパラメータｓの初期化を行う。ステップＳ１０２とステップＳ１０４とで挟まれたステップＳ１０３では、重要位置検出部１２は、入力画像Ｇ２０のうち、座標（ｘ,ｙ）を左上として（３）式と同じ大きさ分の画像と、テンプレート画像Ｇ２２とについて、１画素ずつ明度の差を求め、その全ての画素について求めた差の絶対値の累積和を求めて、類似度を示すパラメータｓとする。従って、パラメータｓは、値が小さいほどテンプレート画像に近いことを示す。

続いてステップＳ１０５において、重要位置検出部１２は、パラメータｓと予め定められたしきい値ｔｈｅ＿ｆａｃｅとを比較する。比較の結果、パラメータｓの値がしきい値ｔｈｅ＿ｆａｃｅより小さいときには（Ｓ１０５−ｔｒｕｅ）、重要位置検出部１２は、顔領域が存在するものとして、ステップＳ１０６において重要領域マップｍａｐに「ｔｒｕｅ」を代入する。代入の際に、比較が行なわれた画像の中心になるように、座標(ｘ，ｙ)よりｘ軸の正の方向にｔ_width／２、ｙ軸の正の方向にｔ_height／２ずらした位置の重要領域マップｍａｐに結果を代入する。

一方、ステップＳ１０５による比較の結果、パラメータＳの値がしきい値ｔｈｅ＿ｆａｃｅより大きいか等しいときは（Ｓ１０５−ｆａｌｓｅ）、重要位置検出部１２は、顔領域ではないものとして、ステップＳ１０７において重要領域マップｍａｐのステップＳ１０６と同様の位置に「ｆａｌｓｅ」を代入する。
以上によって、入力画像Ｇ２０の対応する座標に、重要領域が存在するか存在しないかを示す重要領域マップを算出することができる。

（ディスプレイ枠位置保持部１３）
続いて、図６におけるディスプレイ枠位置保持部１３について説明をする。ディスプレイ枠位置保持部１３は、操作装置２０によって入力された、マルチタイルドスクリーンの枠にあたる非表示領域の場所を保持する。操作装置２０は、図示しないキー入力装置と入力状況を表示するディスプレイを備えており、マルチタイルドスクリーンの枠位置を適切に入力することができる装置である。
ディスプレイ枠位置保持部１３が保持する枠位置情報をＤ（ｍ，ｎ）とすると、枠位置情報の範囲Ｋは以下のようになる。

ここで（ｍ，ｎ）は、上記座標（ｘ，ｙ）、（ｉ，ｊ）と同様に画素位置を示す座標である。図１０は、マルチタイルドスクリーンにおける座標系を示す図である。座標（ｍ，ｎ）は、図１０の黒太枠で示す表示域をカバーする領域Ｄ１の左上、すなわちマルチタイルドスクリーンの表示域の左上を原点とし、ディスプレイ間の非表示域を含み、マルチタイルドスクリーンの表示域をカバーする。なお、領域Ｄ１の横幅はＤ_width、高さはＤ_heightである。また、図６の操作装置２０によって入力される枠位置は原点からの距離を用いるほうが入力しやすいため、その場合は、操作装置２０は、入力値である距離を、画素座標に変換してから、ディスプレイ枠位置保持部１３に記憶させる。１画素の大きさをｑミリの正方画素とすると、原点からの距離ｌミリの位置に対応する画素座標は、以下の（５）式により算出できる。

ここで、ｒｏｕｎｄ（）は一番近い整数値を与える関数である。操作装置２０は、入力された枠位置の情報に基づき、枠位置情報Ｄ（ｍ，ｎ）に、座標（ｍ，ｎ）が表示域である場合には「ｔｒｕｅ」を、繋ぎ目による非表示域である場合には「ｆａｌｓｅ」の値を入れて、ディスプレイ枠位置保持部１３に記憶させる。このように、枠位置情報Ｄ（ｍ，ｎ）はマルチタイルドスクリーンを設置する際に予め設定することができ、一度設定するとスクリーンの構成を変更しない限りそのまま利用することができる。
マルチタイルドスクリーンは、表示可能な領域が巨大になるため入力画像と枠位置情報の大きさに関しては以下の（６）式のような関係になる。但し、必ずしもマルチタイルドスクリーンの表示サイズが入力画像サイズよりも大きい必要はなく、入力画像サイズが大きくても同様に扱うことが可能である。

（映像シフト量算出部１４）
映像シフト量算出部１４が、上記算出した重要領域マップｍａｐ（ｘ，ｙ）と枠位置情報Ｄ（ｍ，ｎ）を用いて、元々映像を表示する位置からのシフト量を算出する方法について説明する。図１１は、シフトせずに画像をマルチタイルドスクリーンに表示した例を示す図である。図１２は、画像をシフトさせてマルチタイルドスクリーンに表示した例を示す図である。シフト量は、図６の映像シフト量算出部１４によって算出される。図１１の画像Ｇ２３の位置が、元々入力画像を表示する位置であり、この左上端Ｐ２４の座標を（ｉｎ＿ｘ，ｉｎ＿ｙ）とする。この場合、重要画像域Ｇ２５はディスプレイの繋ぎ目Ｂ２６によって表示の一部が欠落している。

一方、図１２は、重要画像域Ｇ２５が繋ぎ目Ｂ２６で欠落しないように映像表示位置を画像Ｇ２８の位置にシフトした模式図である。この映像表示位置のシフト量は、入力画像に対して一つ決まる値でｘ方向のシフト量とｙ方向へのシフト量の組み合わせによるベクトル（ｓｈｉｆｔ＿ｘ,ｓｈｉｆｔ＿ｙ）で決まり、図１２のベクトルＶ２７によって示される。入力画像を表示する元々の位置の左上端Ｐ２４に、シフト量を示すベクトルＶ２７を加えた座標（ｉｎ＿ｘ＋ｓｈｉｆｔ＿ｘ,ｉｎ＿ｙ＋ｓｈｉｆｔ＿ｙ）が、画像Ｇ２８の左上端Ｐ２９の座標である。この移動によって、重要画像域Ｇ２５はディスプレイの繋ぎ目Ｂ２６から外れて見やすい映像になる。しかしながら、新たな映像の表示位置は元々の映像表示位置から遠く離れないほうが良いため、映像シフト量算出部１４は、シフト量が所定の範囲となるように以下の（７）式のように設定する。

ここで、ｓはシフト量を制限する予め設定された定数である。なお、（７）式では、移動可能な範囲を正方形にしているが、ｘ方向、ｙ方向の移動可能な範囲を変えた長方形でも良いし、場合によっては記載しない条件を用いて円形の範囲であってもよい。
新たな映像の表示位置としては、重要画像領域（ｍａｐ（ｘ,ｙ）の値が「ｔｒｕｅ」の領域）とディスプレイの繋ぎ目領域（Ｄ（ｍ,ｎ）の値が「ｔｒｕｅ」の領域）の重なりが少ないほどよく、また入力画像の元の位置からのシフト量が少ないほどよい。そこで、重要画像領域と繋ぎ目領域とが重なっている部分の面積と、シフト量の大きさとに重み付けをして加えることで、このような２つの条件を反映するエネルギー関数ｅ（ｓｈｉｆ＿ｘ,ｓｈｉｆｔ＿ｙ）を（８）式のように設定する。映像シフト量算出部１４は、この（８）式で表されるエネルギー関数を最小にするシフト量を算出する事によって、非表示域に重要な領域が重ならないように、かつ、シフト量が大きくならないようなシフト量を算出する。

図１３は、映像シフト量算出部１４による映像シフト量算出処理を説明するフローチャートである。ステップＳ１１０において、映像シフト量算出部１４は、エネルギー最小値ｅ_minに十分大きな値を設定し、シフト量ｓｈｉｆｔに「０」を設定する初期化を行う。続いて、映像シフト量算出部１４は、シフト量を（７）式において設定された所定の走査範囲Ｓを走査しながら、ステップＳ１１１とステップＳ１１５との間の処理を繰り返す。ステップＳ１１２において、映像シフト量算出部１４は、ステップＳ１１１で設定したシフト量の下でエネルギー関数（８）式の値ｅを算出する。ステップＳ１１３で、映像シフト量算出部１４は、エネルギー最小値ｅ_minと、ステップＳ１１２で算出した新たなエネルギー値ｅとを比較し、新たなエネルギー値ｅの方が小さければ、ステップＳ１１４に進む。

映像シフト量算出部１４は、ステップＳ１１４にてエネルギー最小値ｅ_minを新たなエネルギー値ｅに、シフト量ｓｈｉｆｔをステップＳ１１１で設定したシフト量に更新し、ステップＳ１１５に進む。ステップＳ１１３の比較の結果、新たなエネルギー値ｅの方が小さくなければ、映像シフト量算出部１４は、更新を行わずステップＳ１１５に進む。ステップＳ１１５では、映像シフト量算出部１４は、所定の走査範囲Ｓ内の走査が終了するまでステップＳ１１１に戻って処理を繰り返し、走査が終了すると処理を終了する。以上、走査が終了したときのシフト量ｓｈｉｆｔを、映像シフト量算出部１４は、最適な映像シフト量とする。

（映像位置補正部１５）
図６の映像シフト量算出部１４によって算出された映像シフト量ｓｈｉｆｔは、映像位置補正部１５に入力される。映像位置補正部１５は、元々入力画像が表示される位置（ｉｎ＿ｘ,ｉｎ＿ｙ）から、映像シフト量ｓｈｉｆｔ分移動した位置（ｉｎ＿ｘ＋ｓｈｉｆｔ＿ｘ,ｉｎ＿ｙ＋ｓｈｉｆｔ＿ｙ）の位置に表示されるように、入力画像をシフトさせる。

（マルチスクリーン映像表示装置１１）
映像位置補正部１５において表示位置が補正された映像の信号は、マルチスクリーン映像表示装置１１に入力される。マルチスクリーン映像表示装置１１では、始めに映像分割部１６が、入力された信号の映像を、予め設定されたマルチタイルドスクリーンの構成に合わせて分割する。このとき、分割された映像は、マルチタイルドスクリーンを構成するディスプレイ２１〜２４の表示域に表示する部分が抽出されたものとなっている。すなわち、マルチタイルドスクリーンの繋ぎ目部分に相当する映像は、分割された映像に含まれていない。映像表示部１７は、この分割された映像各々を、ディスプレイ２１〜２４に出力するための映像信号を生成し、それぞれのディスプレイ２１〜２４に送る。ディスプレイ２１〜２４の各々が、マルチスクリーン映像表示装置１１から受けた映像信号の映像を表示することで、１枚の巨大なディスプレイとして映像表示が行われる。
以上により、元の映像表示位置からの移動を少なく、重要部分がマルチタイルドスクリーンの繋ぎ目部分に重ならないように映像を表示するので、利用者が、ディスプレイの枠を気にせずに、マルチタイルドスクリーンを使えるようにすることができる。

（第２の実施形態）
以下、図面を用いて本発明の第２の実施形態について説明する。第１の実施形態では、重要位置の検出対象を顔領域とし、重要領域マップｍａｐ（ｘ,ｙ）は顔領域が存在するか存在しないかの２値の値を保持する例を示した。本実施形態では、重要位置検出部の重要位置検出方法の別の例として、情報理論の情報量を用いる。本実施形態では、重要領域マップｍａｐ（ｘ,ｙ）の値は多値となり、値が大きくなるほど重要度の高い領域であることを示す。

図１４は、本実施形態におけるマルチタイルドスクリーンシステムの構成を示す概略ブロック図である。図１４において、図６の各部に対応する部分には、同一の符号（１１、１３、１５〜１７、２０〜２４、３０）を付し、説明を省略する。本実施形態におけるマルチタイルドスクリーンシステムは、入力映像補正装置１０ａ、マルチスクリーン映像表示装置１１、操作装置２０、ディスプレイ２１〜２４を備える。入力映像補正装置１０ａは、重要位置検出部１２ａ、ディスプレイ枠位置保持部１３、映像シフト量算出部１４ａ、映像位置補正部１５を備える。重要位置検出部１２ａは、情報理論の情報量に基づき、入力された映像の各画素の重要度を算出する。映像シフト量算出部１４ａは、重要位置検出部１２ａが算出した各画素の重要度と、ディスプレイ枠位置保持部１３から読み出した枠位置（非表示域の位置）の情報に基づき、重要位置検出部１２ａが検出した重要度の高い部分が、ディスプレイ枠位置保持部１３が記憶する非表示域に重ならないように、かつ、映像をシフトする量が大きくならないように、映像を縦方向および横方向にシフトする量を算出する。

以下、第１の実施形態と異なる部分である重要位置検出部１２ａによる、情報量を用いた重要位置検出方法について、図１５から図２０を用いて具体的に説明する。入力映像補正装置１０ａに入力された映像から、１フレーム切り出した入力画像Ｇ２００の各画素の代表値を、ｆ（ｘ,ｙ）とする。ｘ，ｙは入力画像内の座標を示し、０≦ｘ＜ｆ_width、０≦ｙ＜ｆ_heightである。ｆ_width、ｆ_heightは、それぞれ入力画像Ｇ２００の高さと横幅を表す。例えば、入力画像の大きさがＶＧＡサイズであれば、ｆ_width＝６４０、ｆ_height＝４８０である。座標（ｘ，ｙ）の画素値はＲＧＢ３つの輝度値を持つが、重要位置検出部１２ａにおいても、第１の実施形態における（１）式と同じように簡略された明度を、代表値として用いる。
処理対象範囲については、第１の実施形態の重要位置検出部１２では、テンプレート画像との重ね合わせ処理があるため画像周辺に判定結果が出せない部分があったが、本実施形態の情報量は画素単位で算出することが可能である。このため、重要位置検出部１２ａの処理対象範囲は以下の（９）式のようになり、図１５に示す入力画像Ｇ２００全体となる。

本実施形態で用いる情報量とは、情報理論で用いられる情報量と同様に、事象Ｘが起こる確率をＰ（Ｘ）とするとき、 事象Ｘが起こったことを認知したときに受け取る情報量Ｅ（ｘ）を、（１０）式で定義する。

従って、起こりにくい事象の情報量ほど、値が大きくなる。また、上記（１０）式中の対数（ｌｏｇ）の底は２である。

図１６は、重要位置検出部１２ａによる情報量を用いた重要位置検出方法を説明するフローチャートである。重要位置検出部１２ａは、入力画像Ｇ２００のすべての画素ｆ（ｘ，ｙ）について以下のステップＳ２１１、Ｓ２１２の処理を行う（Ｓ２１０、Ｓ２１３）。ステップＳ２１１では、重要位置検出部１２ａは、エッジ強度を算出し、上記情報量の事象とする。エッジ強度は、一般的な（１１）式のゾーベルフィルタを用いて算出する。

ここで、ｆ_x（ｘ，ｙ）、ｆ_y（ｘ，ｙ）は、それぞれ図１７のｘ方向のゾーベルオペレータ、図１８のｙ方向のゾーベルオペレータを対応する画像に畳み込んで算出される。数式で示すと以下の（１２）式、（１３）式のようになる。

次にステップＳ２１２では、重要位置検出部１２ａは、（１１）式によって算出されるエッジ強度が、入力画像全体のヒストグラムのどのビンに属するかを判定し、該当するビンの度数をカウントアップする。このときに、各画素の代表値ｆ（ｘ，ｙ）の値の範囲は、０≦ｆ（ｘ，ｙ）≦２５５であるので、（１１）式によって算出されるエッジの強度は、（１４）式の範囲となる。このため、ヒストグラムのビンの数をＮ個とすると、ｉ番目のビンの要素としてカウントすべきエッジ強度の範囲は、（１５）式となる。

ステップＳ２１０からＳ２１３により、画像全体で算出したエッジ強度の出現度数をＨＩＳＴ（ｉ），ｉ＝０，…，Ｎ−１とすると、例えば、画像全体がなだらかなで一部にエッジがあるような画像のヒストグラムは、図１９に示すように左側に出現頻度が偏ったヒストグラムになる。一方、画像全体が複雑で一部のみに平坦な領域が存在する画像のヒストグラムは図２０に示すように右側に出現頻度が偏ったヒストグラムになる。
さらに画像の全画素数をＴｏｔａｌとしたときのｉ番目のビンの出現確率Ｐ（ｉ）は、（１６）式で表される。但し、ビンの出現確率をすべて加算すると、（１７）式に示すように「１」となる。

ステップＳ２１０からＳ２１３によりヒストグラムＨＩＳＴ（ｉ）を算出すると、次に、重要位置検出部１２ａは、入力画像Ｇ２００のすべての画素ｆ（ｘ，ｙ）について以下のステップＳ２１５からＳ２１７の処理を行う（Ｓ２１４、Ｓ２１８）。ステップＳ２１５では、重要位置検出部１２ａは、（１１）式を用いて、処理対象画素のエッジ強度を再び算出する。次に、ステップＳ２１６では、重要位置検出部１２ａは、算出したエッジ強度が属するビンを、（１５）式に基づき選択する。さらに、重要位置検出部１２ａは、選択したビンの出現確率を（１６）式により求め、その値を（１０）式に代入して、処理対象画素の情報量Ｅ（Ｘ）を算出する（Ｓ２１６）。ステップＳ２１７において、重要位置検出部１２ａは、（１８）式に示すように、ステップＳ２１６で算出した情報量Ｅ（Ｘ）を、処理対象画素の重要度を示す特徴量、すなわち重要領域マップｍａｐ（ｘ,ｙ）とする。

このように、情報量は起こりにくい事象の情報量ほど値が大きくなるため、特徴量として好適であり、エッジ強度の当該画像内での出現頻度に基づく情報量を重要度とすることで、出現頻度が少ない領域を重要領域と捉えることができる。
映像シフト量算出部１４ａは、第１の実施形態における（８）式を、重要領域マップｍａｐ（ｘ,ｙ）の値が多値となっていることに対応させた（１９）式をエネルギー関数とし、（１８）式の算出結果を代入する。

以降は、第１の実施形態と同様に処理を行うことによって、画素変化（エッジ強度）の当該画像内での出現頻度に基づく情報量が大きい領域を重要領域として、その部分がマルチタイルドスクリーンの繋ぎ目部分に重ならないように映像を表示させるので、利用者が、ディスプレイの枠を気にせずに、マルチタイルドスクリーンを使えるようにすることができる。

（第３の実施形態）
本発明の第３の実施形態について説明する。上記第１の実施形態と第２の実施形態は、入力映像の中から１フレームを抽出し、フレーム毎に該フレームの重要部分がマルチタイルドスクリーンの繋ぎ目部分にかからないような映像表示方法を示した。第３の実施形態では、抽出したフレームの前フレームの映像シフト量を考慮して現フレームの映像シフト量を算出する方法について説明する。

図２１は、本実施形態におけるマルチタイルドスクリーンシステムの構成を示す概略ブロック図である。同図において、図６に対応する部分には、同一の符号（１１〜１３、１５〜１７、２０〜２４、３０）を付し、説明を省略する。本実施形態におけるマルチタイルドスクリーンシステムは、入力映像補正装置１０ｂ、マルチスクリーン映像表示装置１１、操作装置２０、ディスプレイ２１〜２４を備える。入力映像補正装置１０ｂは、重要位置検出部１２、ディスプレイ枠位置保持部１３、映像シフト量算出部１４ｂ、映像位置補正部１５、遅延部４０を備える。

ネットワーク３０など、外部より入力された映像信号は、入力映像補正装置１０ｂに取り込まれマルチタイルドスクリーンの繋ぎ目部分と映像の重要部分が重ならないように、映像を表示する位置を変更した後に、マルチスクリーン映像表示装置１１に映像信号が供給される。マルチスクリーン映像表示装置１１は、マルチタイルドスクリーンに映像を表示するために、映像を分割した後に、適切に各ディスプレイ２１〜２４に映像が出力される。ディスプレイ２１〜２４では入力された映像を表示することでマルチタイルドスクリーン表示を実現している。さらに表示を行う際に、図示していない各ディスプレイ２１〜２４間の映像表示を同期させる制御装置によって、きちんと同じタイミングで映像を表示する。

より詳細に、入力映像補正装置１０ｂとマルチスクリーン映像表示装置１１について説明する。ネットワーク３０（あるいは放送）によって入力された映像信号は入力映像補正装置１０ｂに入力された後、映像の重要な位置を検出するための重要位置検出部１２に入力される。重要位置検出部１２は、映像内の重要部分を画像処理によって抽出する。
本実施形態では、重要位置検出部１２による重要位置検出方法は、第１の実施形態の顔認識による方法であるとしたが、第２の実施形態の重要位置検出部１２ａによる情報量による方法を用いるようにしてもよい。また、前述したように、ディスプレイ枠位置保持部１３や操作装置２０による枠位置の入力と位置情報の保持は第１の実施形態と同じである。

本実施形態では、映像シフト量算出部１４ｂが第１の実施形態における映像シフト量算出部１４と異なり、前フレームで算出したシフト量が、遅延部４０により１フレーム遅延されてフィードバックされ、該フィードバックされたシフト量を、シフト量の算出に用いる。これにより、非表示域に映像の重要な領域が重ならないように、かつ、シフト量と、前フレームにおけるシフト量との差が大きくならないようなシフト量を算出する。入力された前フレームのシフト量をｓｈｉｆｔ＿ｐｒｅ＝（ｓｈｉｆｔ＿ｘ＿ｐｒｅ，ｓｈｉｆｔ＿ｙ＿ｐｒｅ）として、映像シフト量算出部１４ｂは、第１の実施形態の（８）式を変更した（２０）式をエネルギー関数として用いる。

（２０）式の右辺の第３項を追加することにより、前フレームのシフト位置から現フレームのシフト位置が離れるとエネルギー関数の値が大きくなるため、前フレームと現フレームの映像表示位置の違いを小さくすることができる。ここで、第３項のγは、前フレームと現フレームの映像表示位置の違いを制御する予め設定された定数である。
なお、（２０）式において、β＝０として、非表示域に映像の重要な領域が重ならないように、かつ、シフト量と、前フレームにおけるシフト量との差が大きくならないように、前記シフト量を算出するようにしてもよい。
以上、新たに導入したエネルギー関数を用いて、第１、第２の実施形態と同様に処理をすることで、前のフレームからの移動量を抑制しながら、重要部分がマルチタイルドスクリーンの繋ぎ目部分に重ならないように映像を表示させるので、利用者が、ディスプレイの枠を気にせずに、マルチタイルドスクリーンを使えるようにすることができる。

また、図６における重要位置検出部１２、映像シフト量算出部１４、映像位置補正部１５、図１４における重要位置検出部１２ａ、映像シフト量算出部１４ａ、映像位置補正部１５、図２１における重要位置検出部１２、映像シフト量算出部１４ｂ、映像位置補正部１５、遅延部４０の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。

１０…入力映像補正装置
１１…マルチスクリーン映像表示装置
１２、１２ａ…重要位置検出部
１３…ディスプレイ枠位置保持部
１４、１４ａ、１４ｂ…映像シフト量算出部
１５…映像位置補正部
１６…映像分割部
１７…映像表示部
２０…操作装置
２１〜２４…ディスプレイ
３０…ネットワーク
４０…遅延部

Claims (2)

1. 隣接するように配置された複数の表示装置の配置に合わせて映像を分割し、前記分割した映像を対応する前記表示装置に表示するマルチタイルドスクリーンシステムに映像を出力する画像処理装置であって、
   入力された映像から人物の顔領域を検出し、その位置を重要な領域とする重要位置検出部と、
   前記映像を表示したときに、前記表示装置同士の繋ぎ目部分の非表示域に前記検出した映像の重要な領域が重ならないように、かつ、前記シフト量が所定の範囲となるように、かつ、前記シフト量と、前フレームにおけるシフト量との差を最小にするように前記入力された映像の表示位置を移動させるシフト量を算出する映像シフト量算出部と、
   前記算出したシフト量に従い、前記入力された映像の表示位置を移動させて出力する映像位置補正部と
   を具備することを特徴とする画像処理装置。
2. 隣接するように配置された複数の表示装置の配置に合わせて映像を分割し、前記分割した映像を対応する前記表示装置に表示するマルチタイルドスクリーンシステムに映像を出力する画像処理装置のコンピュータを、
   入力された映像から重要な領域として人物の顔領域を検出し、その位置を重要な領域とする重要位置検出部、
   前記映像を表示したときに、前記表示装置同士の繋ぎ目部分の非表示域に前記検出した映像の重要な領域が重ならないように、かつ、前記シフト量が所定の範囲となるように、かつ、前記シフト量と、前フレームにおけるシフト量との差を最小にするように前記入力された映像の表示位置を移動させるシフト量を算出する映像シフト量算出部、
   前記算出したシフト量に従い、前記入力された映像の表示位置を移動させて出力する映像位置補正部、
   として動作させるためのプログラム。

Images