JPWO2014192044A1 - 画像処理装置、画像処理システム及び画像処理方法 - Google Patents

Abstract

本発明の画像処理装置、画像処理システム及び画像処理方法は、ビデオウィンドウと静止画ウィンドウとが重畳する場合に、重畳領域の上下関係を判定するマスク判定部を備え、判定の結果、静止画ウィンドウが上に重畳していると判定した場合はマスク処理をし、静止画ウィンドウが下に重畳していると判断した場合はマスク処理をしない構成としたので、ビデオウィンドウと静止画ウィンドウの重畳領域における上下関係にかかわらず適切な合成画像を得ることができる。

Description

本発明は、クロマキー合成によって画像を生成する画像処理装置、画像処理システム及び画像処理方法に関するものである。

従来から、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の画像処理装置は、アクセラレータ等の画像作成装置（ハードウェア）で作成されるビデオやＧＵＩ（Ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）で作成される静止画等のコンテンツをそれぞれウィンドウ内に表示して同時に閲覧することが可能である（なお、以下の説明において、静止画を表示するウィンドウを「静止画ウィンドウ」、ビデオを表示するウィンドウを「ビデオウィンドウ」とする。）。このようなコンテンツを同時に表示する技術としてクロマキー合成が知られている。クロマキー合成とは、ＧＵＩ等によって描画されるメイン画像上のビデオウィンドウを表示する領域に特定の色（カラーキー）を設定して透過させ、ビデオウィンドウをメイン画像上に表示する方式である。しかし、クロマキー合成において、ビデオウィンドウの上に静止画ウィンドウが重畳する場合で、さらにこの重畳する領域上の静止画ウィンドウにカラーキーを使用しているような場合、静止画ウィンドウのカラーキーを使用している部分までも透過してしまう。この問題を解決するため、ビデオを表示するウィンドウと静止画を表示するウィンドウとが重畳する領域（重畳領域）をマスク処理（カラーキーを透過させないようにする処理）することによって、正しい合成画像を得る技術がある。（例えば、特許文献１）

特許第４５４１４８２号公報

しかしながら、特許文献１の画像処理装置は静止画ウィンドウがビデオウィンドウの上に重畳していることが前提となっており、静止画ウィンドウがビデオウィンドウの下に重畳している場合にまでマスク処理を実施すると、静止画ウィンドウとビデオウィンドウが重畳する領域においてビデオウィンドウを表示したいにもかかわらず、マスク処理によって重畳領域は透過されないため、所望の合成画像が得られないという問題があった。

そこで、本発明は静止画ウィンドウとビデオウィンドウが重畳する場合において、静止画ウィンドウとビデオウィンドウのどちらが上に重畳しているかにかかわらず、所望の合成画像を得ることを目的とする。

本発明の画像処理装置は、静止画を表示する第一ウィンドウが描画された第一レイヤ画像と、動画像を表示する第二ウィンドウが描画された第二レイヤ画像とを重ね、前記第一のレイヤ画像を透過させて前記第二ウィンドウを表示させるクロマキー合成を実行する画像処理装置において、前記第一ウィンドウと前記第二ウィンドウとが重畳する領域において前記第一ウィンドウと前記第二ウィンドウの重畳関係を判定するマスク判定部と、前記マスク判定部の判定に基づいて、前記第一ウィンドウが上に重畳すると判定された場合には、前記第一ウィンドウが上に重畳する領域にマスク処理を実施し、前記第二ウィンドウが上に重畳すると判定された場合には前記第二ウィンドウが上に重畳する領域に前記マスク処理を実施しないマスク処理部とを備えることを特徴とする。

本発明の画像処理システムは、静止画を表示する第一ウィンドウが描画された第一レイヤ画像と、動画像を表示する第二ウィンドウが描画された第二レイヤ画像とを重ね、前記第一のレイヤ画像を透過させて前記第二ウィンドウを表示させるクロマキー合成を実行する画像処理システムにおいて、前記第一ウィンドウと前記第二ウィンドウとが重畳する領域において前記第一ウィンドウと前記第二ウィンドウの重畳関係を判定するマスク判定部と、前記マスク判定部の判定に基づいて、前記第一ウィンドウが上に重畳すると判定された場合には、前記第一ウィンドウが上に重畳する領域にマスク処理を実施し、前記第二ウィンドウが上に重畳すると判定された場合には前記第二ウィンドウが上に重畳する領域に前記マスク処理を実施しないマスク処理部と、前記第一レイヤ画像を分割する第一レイヤ画像分割部と、分割された前記第一レイヤ画像と、前記第一レイヤ画像と対応する前記第二レイヤ画像とを合成する合成装置と、前記合成装置で合成された画像を表示する複数の表示装置と、を備え、前記表示装置は複数で一つの画面を形成することを特徴とする。

本発明の画像処理方法は、静止画を表示する第一ウィンドウが描画された第一レイヤ画像と、動画像を表示する第二ウィンドウが描画された第二レイヤ画像とを重ね、前記第一のレイヤ画像を透過させて前記第二ウィンドウを表示させるクロマキー合成を実行する画像処理方法において、前記第一ウィンドウと前記第二ウィンドウとが重畳する領域において前記第一ウィンドウと前記第二ウィンドウの重畳関係を判定するマスク判定ステップと、前記マスク判定ステップの判定に基づいて、前記第一ウィンドウが上に重畳すると判定された場合には、前記第一ウィンドウが上に重畳する領域にマスク処理を実施し、前記第二ウィンドウが上に重畳すると判定された場合には前記第二ウィンドウが上に重畳する領域に前記マスク処理を実施しないマスク処理ステップとを有することを特徴とする

本発明の画像処理装置は、ビデオウィンドウと静止画ウィンドウとが重畳する場合に、重畳領域の上下関係を判定するマスク判定部を備え、判定の結果、静止画ウィンドウが上に重畳していると判断した場合はマスク処理し、静止画ウィンドウが下に重畳していると判断した場合はマスク処理をしない構成としたので、ビデオウィンドウと静止画ウィンドウの重畳領域における上下関係にかかわらず適切な合成画像を得ることができる。

実施の形態１に係る画像処理装置の構成を示す図。 実施の形態１に係るウィンドウ位置管理部の位置情報を説明する図。 実施の形態１に係るウィンドウ重畳領域算出部の重畳情報を説明する図。 カラーキー領域を説明する図。 背景画像を説明する図。 実施の形態１に係る画像処理装置の動作フローチャート。 実施の形態１に係るマスク判定部の動作フローチャート。 実施の形態１に係るメイン画像作成部で作成されるメイン画像の例。 実施の形態１に係る画像合成部で作成される合成画像の例。 実施の形態１に係る画像合成部で作成可能な合成画像の例。 実施の形態２における重畳領域及びマスク領域を説明する図。 実施の形態２に係るマスク判定部の動作フローチャート。 実施の形態３に係る画像処理装置の構成を示す図。 実施の形態３に係る画像処理装置を用いた画像表示システムの構成を示す図。

実施の形態１．
以下、図１から図１０を用いて実施の形態１に係る画像処理装置について説明する。図１は実施の形態１に係る画像処理装置の構成を示す図である。図２は実施の形態１に係るウィンドウ位置管理部の位置情報を説明する図である。図３は実施の形態１に係るウィンドウ重畳領域算出部の重畳情報を説明する図である。図４はカラーキー領域を説明する図である。図５は背景画像を説明する図である。図６は実施の形態１に係る画像処理装置の動作フローチャートである。図７は実施の形態１に係るマスク判定部の動作フローチャートである。図８は実施の形態１に係るメイン画像作成部で作成されるメイン画像の例である。図９は実施の形態１に係る画像合成部で作成される合成画像の例である。図１０は実施の形態１に係る画像合成部で作成可能な合成画像の例である。

以下、図１を用いて実施の形態１に係る画像処理装置１の構成を説明する。

実施の形態１に係る画像処理装置１は、情報算出部１１とメイン画像作成部１２と合成処理部１３とから構成される。画像処理装置１は、ウィンドウ位置操作部２（例えば、ＰＣにおいてはマウス等）によってウィンドウの位置が移動された場合に、ウィンドウ位置操作部２から移動された静止画ウィンドウ又は移動されたビデオウィンドウの位置情報を取得し、静止画ウィンドウ（第一ウィンドウ）を有するメイン画像（第一レイヤ画像）を作成する。さらに、作成したメイン画像とビデオウィンドウを有するビデオ画像（第二レイヤ画像）とを合成して合成画像を作成し、表示装置４に出力する。

次に情報算出部１１の構成について説明する。情報算出部１１はメイン画像を作成するための情報を算出する。情報算出部１１はウィンドウ位置管理部１１１、ウィンドウ重畳領域算出部１１２、マスク判定部１１３、カラーキー領域算出部１１４から構成される。

ウィンドウ位置管理部１１１は、合成画像上に表示する全てのウィンドウの位置情報を保持している。また、ウィンドウ位置操作部２から位置情報を取得し、表示するウィンドウの位置情報を更新する。以下、実施の形態１に係る画像処理装置１の説明で使用するウィンドウの位置情報について説明する。

ウィンドウの位置情報とは、ウィンドウ順序と座標とウィンドウの種別を特定するための情報である。また、ウィンドウ順序とは、ウィンドウの重畳する順序を示す。例えば、図２Ａにおいて、縦軸はウィンドウが重畳した場合のウィンドウ順序を示す。このウィンドウ順序は番号が若い方が重畳領域において上、すなわち、優先的に表示させることを示す。例えば、ウィンドウＡとウィンドウＢが重畳する場合、ウィンドウＡのウィンドウ順序は「１」であり、ウィンドウＢのウィンドウ順序は「２」である。したがって、ウィンドウＡとウィンドウＢが重畳した場合、その重畳領域ではウィンドウＡが表示される。

また、ウィンドウの座標とは、表示装置４上に表示するウィンドウの座標を示す。例えば、図２Ｂにおいて、ウィンドウＢの座標は[（２．５、２．５）（７．５、７．５）]で表される。「（２．５、２．５）」はウィンドウＢの左下角のＸＹ座標、「（７．５、７．５）」はウィンドウＢの右上角のＸＹ座標である。ウィンドウの座標により、画像処理装置１内の各構成はウィンドウを表示装置４のどの位置に表示させるかを判断することができる。

さらに、ウィンドウの種別とは、ウィンドウが静止画ウィンドウであるかビデオウィンドウであるかを示す識別子である。例えば、静止画である場合にはＳ、ビデオである場合にはＶで示す。

また、ウィンドウの位置情報は、ウィンドウ順序、ウィンドウの種別、座標の順で表示される。例えば、図２Ｂにおいて、ウィンドウＢがビデオウィンドウである場合、ウィンドウＢの位置情報は２Ｖ［（２．５、２．５）（７．５、７．５）］で表される。

なお、以下の説明において、ウィンドウの位置情報は図２で説明した方法で表記する。ただし、実施の形態１に係る画像処理装置１について、ウィンドウの位置情報の表現方法はこれに限られるものではなく、ウィンドウ順序、ウィンドウの種別、ウィンドウの座標が識別できるものであれば何でも良い。例えば、座標はウィンドウの縦横長と角１点のＸＹ座標で表してもよい。

ウィンドウ重畳領域算出部１１２は、ウィンドウ位置管理部１１１からウィンドウの位置情報を取得し、ウィンドウの重畳領域を算出する。また、算出したウィンドウの重畳領域を重畳情報として記憶する。ここで、重畳領域とは、２つのウィンドウが重なり合う領域をいう。また、重畳情報とは、重畳領域を座標等のデータ形式で表したものである。例えば、図３において、ウィンドウＡの座標は[（５、５）（１０、１０）]、ウィンドウＢの座標は[（２．５、２．５）（７．５、７．５）]である。したがって、重畳領域は図３の点線内となり、重畳情報は[（５、５）（７．５、７．５）]となる。

マスク判定部１１３は、ウィンドウの位置情報及び重畳情報から重畳領域におけるウィンドウの上下関係を判断し、マスク処理の要否を判定する。また、ウィンドウの位置情報及び重畳情報からマスク領域を算出する。ここで、マスク処理とは、メイン画像を透過させない処理のことをいう。具体的には、後述する透過設定の透過させるフラグを無効にする処理のことをいう。また、マスク領域とは、マスク処理を行う領域のことをいう。マスク処理を行う領域は、重畳領域において静止画が一番上に重畳している領域である。すなわち、マスク領域は、重畳領域において静止画ウィンドウを表示させる領域を意味する。マスク判定部１１３は、算出したマスク領域をマスク領域情報として保持する。マスク領域情報は、マスク領域を座標等のデータ形式で表したものである。

カラーキー領域算出部１１４はウィンドウの位置情報及び重畳情報からメイン画像上のビデオウィンドウを透過させる部分にカラーキーを設定する領域（カラーキー領域）を算出する。具体的には、カラーキー領域算出部１１４は、ビデオウィンドウが静止画ウィンドウの上に重畳している場合は図４Ａの斜線部分をカラーキー領域とする。また、ビデオウィンドウが静止画ウィンドウの下に重畳している場合、カラーキー領域算出部１１４は、ビデオウィンドウ全体の領域からビデオウィンドウと静止画ウィンドウの重畳領域を除いた領域(図４Ｂの斜線部)をカラーキー領域とする。カラーキー領域算出部１１４は、カラーキー領域を算出した場合、カラーキー領域の情報をカラーキー領域情報として保持する。カラーキー領域情報は、カラーキー領域を座標等のデータ形式で表したものである。

次にメイン画像作成部１２の構成について説明する。メイン画像作成部１２はメイン画像を作成する。また、メイン画像作成部１２は、コンテンツデータ格納部１２１、ウィンドウ描画部１２２、マスク処理部１２３、カラーキー設定部１２４から構成される。

コンテンツデータ格納部１２１はメイン画像のデータや、メイン画像に描画する静止画ウィンドウ（第一ウィンドウ）のデータを保持している。メイン画像のデータとは、メイン画像を描画するための情報をいう。例えば、ＰＣにおいて、デスクトップ画像を構成する情報がメイン画像のデータにあたる。また、静止画ウィンドウのデータはメイン画像のウィンドウに描画する写真等のコンテンツのデータをいう。

ウィンドウ描画部１２２は、コンテンツデータ格納部１２１に保持されているメイン画像のデータと静止画ウィンドウのデータとを取得し、メイン画像を描画する。また、ウィンドウ描画部１２２はメイン画像上に静止画のウィンドウを描画する。さらに、静止画ウィンドウの位置は、ウィンドウ位置管理部１１１から静止画ウィンドウの位置情報を取得することによって決定される。

マスク処理部１２３は、マスク判定部１１３からマスク領域情報を取得してマスク処理を実行する。なお、マスク処理部１２３はマスク判定部１１３からマスク領域情報が出力された場合にマスク処理が必要と判断し、マスク領域にマスク処理を実行する。また、マスク処理部１２３は、マスク判定部１１３からマスク領域情報が出力されなかった場合にはマスク処理が不要であると判断し、マスク処理を実行しない。ただし、マスク処理部１２３は、マスク処理の要否をマスク判定部１１３からのマスク領域情報の有無で判断するだけでなく、１、０のビットによって、マスク処理のオン／オフを切り替えるように構成してもよい。この場合、マスク判定部１１３は、マスク領域情報とマスク処理の要否を示すビットを出力する必要がある。

カラーキー設定部１２４は、カラーキー領域算出部１１４からカラーキー領域情報を取得し、メイン画像にカラーキーを設定する。また、カラーキー設定部１２４はカラーキーを設定した後、透過設定を実行する。透過設定とは、合成画像を表示装置４で表示する際にカラーキー領域を透過させるフラグ（透過フラグ）を有効にすることをいう。なお、マスク処理部１２３においてマスク処理が施されている領域は、透過フラグが無効となる。

次に合成処理部１３の構成について説明する。合成処理部１３は、ビデオ作成部３から取得したビデオデータを処理してビデオ画像とし、このビデオ画像とメイン画像作成部１２で作成されたメイン画像とを合成する。また、合成処理部１３は、ビデオ受信処理部１３１、背景作成部１３２、画像合成部１３３で構成される。

ビデオ受信処理部１３１は、ビデオウィンドウのデータを受信し、ビデオ画像を作成する。

背景作成部１３２は、背景画像を作成する。ここで背景画像とは、メイン画像とビデオ画像の下のレイヤに存在する画像データである。図５は実施の形態１に係る画像処理装置１によって合成されるレイヤの画像を示している。合成処理部１３は上から、メイン画像、ビデオ画像、背景画像の順に配置する。このとき、メイン画像上にはビデオを表示させる位置にカラーキーを配置している。また、ビデオ画像はビデオウィンドウが配置された以外の領域が透明に構成されている。このとき、背景画像はカラーキーと同じ色で構成される。このように構成することで、メイン画像上でカラーキー領域以外の部分にカラーキーと同じ色の模様等があった場合においても、カラーキーと同じ色の模様は、透過されるが、背景を映すので正しく表示される。

画像合成部１３３は、メイン画像、ビデオ画像、背景画像を合成する。なお、合成する画像のレイヤは図５に示すように、上からメイン画像、ビデオ画像、背景画像の順で合成する。また、画像合成部１３３は、合成後の画像データを表示装置４へ送信する。さらに、表示装置４は合成後の画像データを受信して表示する。

次に、図６、図７、図８を用いて実施の形態１に係る画像処理装置１の動作を説明する。なお、実施の形態１に係る画像処理装置１の動作の説明において、ウィンドウの数が２つの場合を例として説明する。また、２つのウィンドウは静止画ウィンドウとビデオウィンドウである場合を例とする。さらに、静止画ウィンドウがビデオウィンドウの上に移動された時点から説明を開始する。なお、実施の形態１に係る画像処理装置１の動作の説明において、各ウィンドウの座標はウィンドウの左下角及び右上角をそれぞれＸＹ座標で表されるものとする。また、以下の説明において、Ｓ１開始前の静止画ウィンドウの位置情報は１Ｓ［（１９、９）（２８、１５）］、ビデオウィンドウの位置情報は１Ｖ［（３、３）（１２、９）］であるものとする。

Ｓ１において、ウィンドウ位置操作部２により、静止画ウィンドウの位置が操作される。この例の場合、図８Ａに示すように、静止画ウィンドウが座標［（１０、１）（１９、７）］へ移動される。このとき、ウィンドウ位置操作部２は移動した静止画ウィンドウの位置情報１Ｓ［（１０、１）（１９、７）］をウィンドウ位置管理部１１１へ出力する。なお、移動した静止画ウィンドウはビデオウィンドウよりも上に重畳するので、ウィンドウ順序は一番上を示す１となる。

Ｓ２において、ウィンドウ位置管理部１１１は、静止画ウィンドウの位置情報である１Ｓ［（１０、１）（１９、７）］を取得し、静止画ウィンドウの位置情報を更新する。また、ウィンドウ位置管理部１１１はビデオウィンドウのウィンドウ順位を２に更新する。ここで、ビデオウィンドウのウィンドウ順位を２としたのは、静止画ウィンドウが移動したことによってビデオウィンドウが静止画ウィンドウの下に重畳するからである。

Ｓ３において、ウィンドウ重畳領域算出部１１２は静止画ウィンドウの位置情報１Ｓ［（１０、１）（１９、７）］と、ビデオウィンドウの位置情報２Ｖ［（３、３）（１２、９）］に基づいて、ウィンドウの重畳情報［（１０、３）（１２、７）］を算出する（図８Ｂ）。なお、図８Ｂにおいて、網掛け部は重畳領域を示す。

Ｓ４において、カラーキー領域算出部１１４はウィンドウ位置管理部１１１が保持する静止画ウィンドウの位置情報１Ｓ［（１０、１）（１９、７）］と、ビデオウィンドウの位置情報２Ｖ［（３、３）（１２、９）］とを取得し、ウィンドウ重畳領域算出部１１２からウィンドウの重畳情報［（１０、３）（１２、７）］を取得し、カラーキー領域を算出する。この場合、静止画ウィンドウのウィンドウ順序は「１」であるため、カラーキー領域はビデオウィンドウを表示する位置全体からウィンドウの重畳領域を除いた部分となる。ここで、カラーキー領域はビデオウィンドウの位置情報［（３、３）（１２、９）］とウィンドウの重畳領域［（１０、３）（１２、７）］を用いて［（３、３）（１２、９）］―［（１０、３）（１２、７）］で表すものとする。なお、この例の場合のカラーキー領域は図８Ｃの斜線部で示される領域である。なお、仮に静止画ウィンドウがビデオウィンドウの下に重畳していた場合、図８Ｄに示すように、ビデオウィンドウを表示する位置全体がカラーキー領域となる。

Ｓ５において、マスク判定部１１３は静止画ウィンドウとビデオウィンドウのうち上に重畳しているウィンドウを判定する。以下に、Ｓ５のマスク判定処理について図７を用いて詳細に説明する。

Ｓ５１において、マスク判定部１１３はウィンドウ位置管理部１１１から静止画ウィンドウの位置情報１Ｓ［（１０、１）（１９、７）］と、ビデオウィンドウの位置情報２Ｖ［（３、３）（１２、９）］とを取得する。次にマスク判定部１１３は２つのウィンドウのうち、ウィンドウを１つ選択する。この例では、マスク判定部１１３は、各ウィンドウの座標のうち、右上角のＸ座標が一番大きいものから選択していくものとする。したがって、マスク判定部１１３は２つのウィンドウのうち、静止画ウィンドウ［（１０、１）（１９、７）］を選択したものとする。

Ｓ５２において、マスク判定部１１３はＳ５１で選択したウィンドウがビデオウィンドウか又は静止画ウィンドウかを判定する。Ｓ５１においてマスク判定部１１３は静止画ウィンドウを選択したので、Ｓ５３へ進む。このとき、仮にＳ５１においてビデオウィンドウを選択していた場合、Ｓ５５へ進む。

Ｓ５３において、マスク判定部１１３は、Ｓ５２で判定された静止画ウィンドウの下にビデオウィンドウが重畳しているか否かを判定する。この例の場合、静止画ウィンドウのウィンドウ順位は「１」、ビデオウィンドウのウィンドウ順位は「２」である。したがって、マスク判定部１１３は選択した静止画ウィンドウの下にビデオウィンドウが重畳していると判定する。よって、Ｓ５４へ進む。なお、仮にマスク判定部１１３は静止画ウィンドウの上にビデオウィンドウが重畳していると判断した場合はＳ５５へ進む。

Ｓ５４において、マスク判定部１１３はウィンドウ重畳領域算出部１１２からウィンドウの重畳情報［（１０、３）（１２、７）］を取得し、マスク領域を算出する。この例において、重畳領域において静止画のウィンドウが一番上に重畳する領域はウィンドウの重畳領域と同じく［（１０、３）（１２、７）］となる（図８Ｂの網掛部）。また、マスク判定部１１３は算出したマスク領域をマスク領域情報［（１０、３）（１２、７）］としてマスク処理部１２３へ出力する。

Ｓ５５において、マスク判定部１１３がＳ５１で全てのウィンドウを選択している場合にはＳ６へ進む。一方、選択していないウィンドウがある場合にはＳ５１へ戻り、Ｓ５１からＳ５５のステップを繰り返す。この例の場合、Ｓ５１でビデオウィンドウがまだ選択されていないので、Ｓ５１へ戻る。以後、マスク判定部１１３は全てのウィンドウを選択するまで、Ｓ５１からＳ５５を繰り返し実行する。

Ｓ６において、ウィンドウ描画部１２２はコンテンツデータ格納部１２１からメイン画像のデータ及び静止画ウィンドウのデータを取得する。また、ウィンドウ描画部１２２はウィンドウ位置管理部１１１から静止画ウィンドウの位置情報１Ｓ［（１０、１）（１９、７）］を取得する。さらに、ウィンドウ描画部１２２はメイン画像上のウィンドウ位置情報で示される座標［（１０、１）（１９、７）］に静止画ウィンドウを描画する（図８Ｅ）。

Ｓ７において、マスク処理部１２３は、Ｓ５でマスク処理が必要と判定されたので、マスク領域情報［（１０、３）（１２、７）］に基づいて、メイン画像にマスク処理をする（図８Ｆの点線内）。

Ｓ８において、カラーキー設定部１２４はＳ４のカラーキー領域算出部１１４で算出されたカラーキー領域［（３、３）（１２、９）］―［（１０、３）（１２、７）］に基づいて、メイン画像にカラーキーを設定する（図８Ｇ）。また、カラーキー設定部１２４はカラーキーを設定した後、透過設定をメイン画像に施す（図９Ａの破線部）。カラーキー設定部１２４は、作成されたメイン画像を画像合成部１３３へ出力する。Ｓ８が終了すると、メイン画像は完成する（図９Ａ）。

Ｓ９において、ビデオ受信処理部１３１はビデオ作成部３からビデオデータを受信する。ビデオ受信処理部１３１は、ビデオデータを受信してビデオ画像を作成する（図９Ｂ）。なお、ビデオ受信処理部１３１はウィンドウ位置管理部１１１からビデオウィンドウの位置情報を取得しているものとする（図示せず）。ビデオ受信処理部１３１は作成したビデオ画像を画像合成部１３３へ出力する。

Ｓ１０において、背景作成部１３２は背景画像を作成する（図９Ｃ）。また、背景作成部１３２は作成した背景画像を画像合成部１３３へ出力する。

Ｓ１１において、画像合成部１３３は、Ｓ１〜Ｓ１０のステップを経て作成されたメイン画像とビデオ画像と背景画像とを合成する。画像合成部１３３は合成画像を表示装置４へ出力する。Ｓ１１の動作が終了すると、表示装置４は画像処理装置１で作成された合成画像を表示する（図９Ｄ）。以上で実施の形態１の画像処理装置１の動作は終了する。

なお、実施の形態１に係る画像処理装置１において、メイン画像上に描画されるウィンドウに表示されるコンテンツは、画像処理装置１で描かれるものであれば動画でも良い。

また、実施の形態１に係る画像処理装置１の説明において、ビデオウィンドウに表示されるコンテンツはビデオすなわち動画としたが、アクセラレータ等の動画作成装置３及びこれに類する外部ハードウェアで作成されるものであれば静止画でも良い。

さらに、実施の形態１に係る画像処理装置１において、ウィンドウ位置操作部２、表示装置４は画像処理装置１の外部にある構成として説明したが、これに限らず、画像処理装置１の内部に設けられてもよい。

また、実施の形態１に係る画像処理装置１において、マスク判定部１１３はウィンドウ重畳領域算出部１１２からウィンドウの位置情報を取得する構成としたが、これに限らず、ウィンドウ位置管理手段１１１からウィンドウの位置情報を取得してもよい。

さらに、実施の形態１に係る画像処理装置１において、カラーキー領域算出部１１４はウィンドウ位置管理部１１１からウィンドウの位置情報、ウィンドウ重畳領域算出部１１２から重畳情報を取得してカラーキー領域を算出する構成としたが、これに限らず、ウィンドウ位置情報管理部１１１から位置情報を取得し、重畳情報を算出しても良い。

なお、実施の形態１に係るマスク判定部１１３は、Ｓ５１のウィンドウを選択するステップにおいて、各ウィンドウの座標のうち、右上角のＸ座標が一番大きいものから選択していくものとしたが、本発明はこれに限られず、Ｓ５のマスク処理の要否を判定するステップにおいてＳ７開始時に全てのウィンドウが選択されていればよい。例えば、マスク判定部１１３は、Ｓ５１において、左下角のＸ座標が一番小さいものから選択してもよい。

実施の形態１に係る画像処理装置１は、ビデオウィンドウと静止画ウィンドウの重畳する領域において、静止画ウィンドウが上に重畳している場合にマスク処理が必要であると判定するように構成したので、ビデオウィンドウと静止画ウィンドウとが重畳する場合においても、所望の画像を得ることができる。

また、実施の形態１に係るマスク判定部１１３は、図７に示したＳ５１で１つずつ静止画ウィンドウを選択してビデオウィンドウと静止画ウィンドウとの重畳関係を判定する構成としたので、１つのビデオウィンドウに複数の静止画が重畳しているような場合においてもそれぞれの静止画についてマスク処理の要否判定を行うことができる。例えば、ビデオウィンドウの上に複数の静止画が重畳している場合（図１０Ａ）や、1つの静止画ウィンドウがビデオウィンドウの上に重畳しており、もう一つの静止画ウィンドウがビデオウィンドウの下に重畳している場合（図１０Ｂ）においても、実施の形態１に係る画像処理装置１は、所望の合成画像を作成することが可能である。なお、静止画ウィンドウとビデオウィンドウが重畳するものが２組あるような場合も、図７に示したマスク判定部の動作フローチャートに従ってマスク処理の判定を行うことが可能である（図１０Ｃ）。

実施の形態２．
以下、図１１、図１２を用いて実施の形態２に係る画像処理装置１について説明する。図１１は実施の形態２における重畳領域及びマスク領域を説明する図である。図１２は実施の形態２に係るマスク判定部の動作フローチャートである。なお、実施の形態２に係る画像処理装置１の構成について、実施の形態１の画像処理装置１の構成に相当する部分には図１と同一符号を付してその説明を省略する。

実施の形態２に係る画像処理装置は、ウィンドウの重畳領域に他のウィンドウがさらに重畳する場合にマスク処理の要否を判定することを特徴とする。例えば、図１１Ａに示す合成画像は、ビデオウィンドウＡの上に静止画ウィンドウが重畳しており、その重畳領域にさらにビデオウィンドウＢが重畳している。このような場合の画像処理を実施の形態２に係る画像処理装置１は実行する。

実施の形態２に係る画像処理装置１の構成は実施の形態１に係る画像処理装置１と同じ構成であるため、説明を省略する。

次に実施の形態２に係る画像処理装置１の動作について説明する。実施の形態２に係る画像処理装置１の動作は、図６及び図７に示したＳ１〜Ｓ４（ウィンドウが操作されてからカラーキー領域を算出するステップまで）、Ｓ６〜１１（静止画ウィンドウを描画するステップからメイン画像、ビデオ画像、背景画像が合成されるステップまで）、及びＳ５のＳ５１〜Ｓ５３（マスク判定部１１３によってウィンドウが選択されてから、選択されたウィンドウの下にビデオウィンドウが重畳されているか判断するステップまで）と同じである。以下、図１２におけるＳ５３１、Ｓ５３２について詳細に説明する。なお、以下の説明において、実施の形態２に係る画像処理装置１は、図１１Ａに示す合成画像の作成を例として説明する。

まず、Ｓ５３１の説明の前提として、Ｓ５２及びＳ５３において、「Ｙｅｓ」が選択されているものとする。すなわち、Ｓ５１において図１１Ａの静止画ウィンドウが選択され、Ｓ５２において、Ｓ５１で選択されたウィンドウが静止画ウィンドウであると判定され、さらに、Ｓ５３において静止画ウィンドウの下にビデオウィンドウＡが重畳していると判断されたことを前提とする。

Ｓ５３１において、マスク判定部１１３は選択した静止画ウィンドウの上に他のビデオウィンドウ、すなわち、ビデオウィンドウＡ以外のビデオウィンドウが重畳しているか否かを判定する。この例では図１１ＡのビデオウィンドウＢが静止画ウィンドウの上に重畳している。したがって、Ｓ５３２へ進む。なお、このときにビデオウィンドウＢが静止画ウィンドウの上に重畳していなかった場合、実施の形態１の図８Ｃと同じ重なり方であるのでＳ５４へ進む。Ｓ５４へ進んだ場合、以後の処理は実施の形態１で説明した動作と同じ処理である。

Ｓ５３２において、マスク判定部１１３は静止画ウィンドウに他のビデオウィンドウが重畳している領域のうち静止画が一番上に重畳している領域をマスク領域とする。なお、マスク領域の算出はＳ５１で取得したウィンドウの位置情報と、Ｓ５３で取得したウィンドウの重畳情報によって容易に算出することができる。この例の場合、図１１Ｂに示す領域がマスク領域となる。

以下の動作については、実施の形態１に係る画像処理装置１の動作と同じであるため、省略する。

以上のように、実施の形態２に係る画像処理装置１は、ビデオウィンドウの上に静止画ウィンドウが重畳され、この重畳領域内においてさらに上に他のビデオウィンドウが重畳している場合においても、ビデオウィンドウと静止画ウィンドウの重畳関係を判定し、マスク処理の要否判断とマスク領域の算出を実行する。よって、ビデオウィンドウの上に静止画ウィンドウが重畳され、この重畳領域内においてさらに上に他のビデオウィンドウが重畳している場合においても、所望の合成画像を得ることができる。

実施の形態３．
実施の形態３に係る画像処理装置１ａは、大画面を構成する複数の表示装置４ａ〜４ｈで表示するメイン画像を分割し、この分割したメイン画像を複数の合成装置へ送信することを特徴とする。

以下、図１３、図１４を用いて実施の形態３に係る画像処理装置１ａについて説明する。図１３は実施の形態３に係る画像処理装置の構成を示す図である。図１４は実施の形態３に係る画像処理装置を用いた画像表示システムの構成を示す図である。なお、実施の形態３に係る画像処理装置１ａの構成について、実施の形態１及び実施の形態２の画像処理装置１の構成に相当する部分には図１と同一符号を付してその説明を省略する。

実施の形態３に係る画像処理装置１ａは、実施の形態１に係る画像処理装置１ａの合成処理部１３を備えていない。また、実施の形態３に係る画像処理装置１ａは、メイン画像作成部１２にメイン画像分割部１２５とメイン画像送信部１２６を備える。

メイン画像分割部１２５は、メイン画像を複数の画像に分割する。分割されたメイン画像（分割メイン画像）は、メイン画像送信部１２６へ出力される。

メイン画像送信部１２６は、メイン画像分割部１２５から分割メイン画像を複数の合成装置１３ａ〜１３ｈへ送信する。

次に、図１４を用いて実施の形態３に係る画像処理装置１ａを用いた画像表示システムについて説明する。

実施の形態３に係る画像処理装置１ａを用いた画像表示システムは、画像処理装置1ａ、合成装置１３ａ〜１３ｈ、スイッチ７、ビデオ送信装置５を有する。

以下、図１４を用いて実施の形態３に係る画像処理システムの構成を説明する。

スイッチ７は、画像処理装置１ａから送信された分割メイン画像をそれぞれ対応する合成装置１３ａ〜１３ｈへ分配する。

ビデオ送信装置５は、ビデオ画像を複数の合成装置１３ａ〜１３ｈへ送信する装置である。

合成装置１３ａ〜１３ｈは、メイン画像送信部１２６から出力された分割メイン画像とビデオ作成部３から出力されるビデオ画像を受信する。また、合成装置１３ａ〜１３ｈは、ビデオ画像から分割メイン画像に対応する部分を抜き出して、分割された合成画像（分割合成画像）を作成する。分割合成画像は、1つの合成画像を複数の画像に分割したものである。分割合成画像を後述する複数の表示装置４ａ〜４ｈでそれぞれ表示することによって、1つの合成画像となる。

表示装置４ａ〜４ｈは合成装置１３ａ〜１３ｈから送信された分割合成画像をそれぞれ表示する。すなわち、表示装置４ａ〜４ｈは実施の形態１に係る表示装置４で表示した合成画像と同様の画像を複数の表示装置４ａ〜４ｈを用いて1つの大画面で表示することができる。

なお、実施の形態３に係る画像処理装置１ａは、合成装置１３ａ〜１３ｈとスイッチ７を外部に有する構成としたが、内部に構成してもよい。

また、合成装置１３ａ〜１３ｈは、ビデオ送信装置５から出力されるビデオ画像を抜き出して合成したが、予め分割された合成画像を受信するように構成してもよい。また、合成装置１３ａ〜１３ｈは、分割メイン画像を受信するように構成したが、メイン画像を受信してから分割するように構成してもよい。

以上のように実施の形態３に係る画像処理装置１ａは、メイン画像を分割して複数の表示装置４ａ〜４ｈへ送信するように構成したので、複数の表示装置４ａ〜４ｈで構成される大画面システムに適用することができる。

１ 画像処理装置、２ ウィンドウ位置操作部、３ ビデオ作成部、４ 表示装置、１１ 情報算出部、１２ メイン画像作成部、１３ 合成処理部、１１１ ウィンドウ位置管理部、１１２ ウィンドウ重畳領域算出部、１１３ マスク判定部、１１４ カラーキー領域算出部、１２１ コンテンツデータ格納部、１２２ ウィンドウ描画部、１２３ マスク処理部、１２４ カラーキー設定部、１３１ ビデオ受信処理部、１３２ 背景作成部、１３３ 画像合成部

Claims (7)

1. 静止画を表示する第一ウィンドウが描画された第一レイヤ画像と、
   動画像を表示する第二ウィンドウが描画された第二レイヤ画像とを重ね、
   前記第一のレイヤ画像を透過させて前記第二ウィンドウを表示させるクロマキー合成を実行する画像処理装置において、
   前記第一ウィンドウと前記第二ウィンドウとが重畳する領域において前記第一ウィンドウと前記第二ウィンドウの重畳関係を判定するマスク判定部と、
   前記マスク判定部の判定に基づいて、前記第一ウィンドウが上に重畳すると判定された場合には、前記第一ウィンドウが上に重畳する領域にマスク処理を実施し、前記第二ウィンドウが上に重畳すると判定された場合には前記第二ウィンドウが上に重畳する領域に前記マスク処理を実施しないマスク処理部と
   を備えることを特徴とする画像処理装置。
2. 前記第一ウィンドウ及び前記第二ウィンドウを表示する位置が変更された場合に、
   前記第一ウィンドウと前記第二ウィンドウとを表示する位置情報を変更された位置情報に更新するウィンドウ位置管理部を備え、
   前記マスク判定部は、
   前記位置情報に基づいて、前記第一ウィンドウが上に重畳する領域の有無を判定することを特徴とする請求項１に記載の画像処理装置。
3. 前記位置情報に基づいて、
   前記第一レイヤ画像上で前記第二ウィンドウを透過させる領域に特定の色を設定し、前記特定の色を透過させる透過フラグを有効にするカラーキー設定部を備えることを特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記マスク処理部は、
   前記透過フラグを無効とすることで、前記マスク処理を実施することを特徴とする請求項３に記載の画像処理装置。
5. 前記位置情報は、表示するウィンドウの位置を示す情報と、ウィンドウに表示するコンテンツが静止画又は動画像であるかを識別するコンテンツの種別と、前記ウィンドウの重畳する順序から構成されることを特徴とする請求項２から請求項４のいずれかに記載の画像処理装置。
6. 静止画を表示する第一ウィンドウが描画された第一レイヤ画像と、
   動画像を表示する第二ウィンドウが描画された第二レイヤ画像とを重ね、
   前記第一のレイヤ画像を透過させて前記第二ウィンドウを表示させるクロマキー合成を実行する画像処理システムにおいて、
   前記第一ウィンドウと前記第二ウィンドウとが重畳する領域において前記第一ウィンドウと前記第二ウィンドウの重畳関係を判定するマスク判定部と、
   前記マスク判定部の判定に基づいて、前記第一ウィンドウが上に重畳すると判定された場合には、前記第一ウィンドウが上に重畳する領域にマスク処理を実施し、前記第二ウィンドウが上に重畳すると判定された場合には前記第二ウィンドウが上に重畳する領域に前記マスク処理を実施しないマスク処理部と、
   前記第一レイヤ画像を分割する第一レイヤ画像分割部と、
   分割された前記第一レイヤ画像と、前記第一レイヤ画像と対応する前記第二レイヤ画像とを合成する合成装置と、
   前記合成装置で合成された画像を表示する複数の表示装置と、
   を備え、
   前記表示装置は複数で一つの画面を形成することを特徴とする画像処理システム。
7. 静止画を表示する第一ウィンドウが描画された第一レイヤ画像と、
   動画像を表示する第二ウィンドウが描画された第二レイヤ画像とを重ね、
   前記第一のレイヤ画像を透過させて前記第二ウィンドウを表示させるクロマキー合成を実行する画像処理方法において、
   前記第一ウィンドウと前記第二ウィンドウとが重畳する領域において前記第一ウィンドウと前記第二ウィンドウの重畳関係を判定するマスク判定ステップと、
   前記マスク判定ステップの判定に基づいて、前記第一ウィンドウが上に重畳すると判定された場合には、前記第一ウィンドウが上に重畳する領域にマスク処理を実施し、前記第二ウィンドウが上に重畳すると判定された場合には前記第二ウィンドウが上に重畳する領域に前記マスク処理を実施しないマスク処理ステップと
   を有することを特徴とする画像処理方法。

Images