JP5875415B2

JP5875415B2 - 画像合成装置

Info

Publication number: JP5875415B2
Application number: JP2012051291A
Authority: JP
Inventors: 山本　正次; 正次山本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2012-03-08
Filing date: 2012-03-08
Publication date: 2016-03-02
Anticipated expiration: 2032-03-08
Also published as: EP2637411A2; CN103313069A; US20130235059A1; CN103313069B; EP2637411B1; EP2637411A3; JP2013187732A; RU2517266C1; US9613597B2

Description

本発明は、画像合成装置に関し、特に、ベース画像上のクロマキー色の領域にオーバーレイ画像を重ね合わせて合成画像として出力する画像合成装置に関する。

ベース画像の上に特定の色、即ちクロマキー（ｃｈｒｏｍａｋｅｙ）色の画像領域を描画しておき、オーバーレイ画像に対して、前記画像領域のサイズや位置に合わせて、部分切り出し、拡大・縮小等の画像処理を行い、クロマキーを利用して前記画像領域上にオーバーレイ（ｏｖｅｒｌａｙ）する方式（クロマキーオーバーレイ方式と呼ぶ）の画像合成技術がある（例えば、特許文献１）。

この場合、ベース画像の一部をオーバーレイ用のクロマキー色に設定し、クロマキー色の部分の画素については、オーバーレイ画像を表示し、クロマキー色と一致しない部分の画素については、ベース画像をそのまま表示する。

また、ベース画像上に複数のオーバーレイ画像を表示する場合に、複数のオーバーレイ画像が相互に重なる部分については、予め決められた表示優先順位に従ってオーバーレイを行う方式（ハードオーバーレイ方式）の画像合成技術がある（例えば、特許文献２）。

前記２つの技術を組み合わせた従来の画像合成装置として、ＰＣのデスクトップをベース画像として、ベース画像上の任意の位置に任意のサイズで複数の画像をオーバーレイ表示する画像合成装置がある。

この画像合成装置では、ハードオーバーレイ方式により、複数のオーバーレイ画像を合成した合成オーバーレイ画像を作り、然る後、前記合成オーバーレイ画像とベース画像を合成する際には、クロマキーオーバーレイ方式で合成する。

クロマキー色はマウスカーソルの色と一致しないように選択されるため、ＰＣのマウスカーソルが合成オーバーレイ画像と重なってもマウスカーソルの表示が消えることはない。

また、複数のオーバーレイ画像が重なった部分はハードオーバーレイ方式で合成されているため、所望の優先順位で複数のオーバーレイ画像を重ねて表示することができる。

特開平５−２０７３６８号公報（第３−５頁、第１図）特開２００４−３５５３９１号公報（第３−７頁、第１図）

上述の、前記２つの技術を組み合わせた画像合成装置では、ベース画像とオーバーレイ画像の合成にクロマキーオーバーレイ方式を使っているため、ベース画像の信号が無信号になった場合、ベース画像が表示されなくなるのみでなく、全てのオーバーレイ画像も表示されなくなる問題があった。

ベース画像とオーバーレイ画像を情報として使用者に提供することを目的とする画像合成装置において、ベース画像および全てのオーバーレイ画像が表示されなくなることは、目的とする機能を完全に失うことであり、この点において、従来の画像合成装置は運用上の大きなリスクを抱えていた。

本発明は以上の課題を解決するためになされたものであり、オーバーレイ画像を合成するためのクロマキー色の領域を含んだベース画像の信号が無信号になった場合でも、継続してオーバーレイ画像を出力することが可能な画像合成装置の提供を目的とする。

なお、本発明において、画像信号はラスタスキャン方式で入出力されるとする。

本発明に係る画像合成装置は、ベース画像上のクロマキー色の領域にオーバーレイ画像を重ね合わせて合成画像として合成画像出力端子に出力する画像合成装置であって、オーバーレイ画像を表示する領域の位置およびサイズを記憶する記憶手段と、記憶手段の情報に従って、オーバーレイ画像の位置およびサイズを変更する画像位置・サイズ変更手段と、ベース画像の有無の判定を行うベース画像有無判定手段と、ベース画像のクロマキー色部分の判定を行うクロマキー判定手段と、合成画像出力端子へのベース画像およびオーバーレイ画像の出力を制御する制御回路とを備え、ベース画像有無判定手段によりベース画像ありと判定され、かつ、前記クロマキー判定手段によりクロマキー色部分であると判定された場合は、制御回路が、画像位置・サイズ変更手段により位置およびサイズが変更された前記オーバーレイ画像を合成画像出力端子に出力する制御を行い、ベース画像有無判定手段によりベース画像ありと判定され、かつ、クロマキー判定手段により、クロマキー色部分でないと判定された場合は、制御回路が、ベース画像を合成画像出力端子に出力する制御を行い、ベース画像有無判定手段により、ベース画像なしと判定された場合は、制御回路が、画像位置・サイズ変更手段により位置およびサイズが変更されたオーバーレイ画像を合成画像出力端子に出力する制御を行うことを特徴とする。

本発明に係る画像合成装置は、ベース画像有無判定手段によりベース画像なしと判定された場合であっても、画像位置・サイズ変更手段により位置およびサイズが変更されたオーバーレイ画像を出力することを特徴とするため、機器の故障等で、ベース画像信号が無信号となった場合でも、継続してオーバーレイ画像の出力を行うことが可能である。

本発明の実施の形態に係る画像合成装置の回路構成を示す図である。本発明の実施の形態に係るベース画像等の例を示す図である。本発明の実施の形態に係るベース画像処理回路の構成を示す図である。本発明の実施の形態に係る第１のオーバーレイ画像処理回路の構成を示す図である。本発明の実施の形態に係るセレクタ制御回路の構成を示す図である。

＜全体構成＞
図１に、本発明の実施の形態に係る画像合成装置の回路構成を示す。また、図２に、ベース画像、オーバーレイ画像等の一例を示す。本実施の形態における画像合成装置は、ベース画像入力端子１ａからベース画像信号として入力されるベース画像７（図２（ａ））のクロマキー色で塗られた領域に、オーバーレイ画像を重ねて合成画像として、合成画像出力端子６ａに出力する。

クロマキー色の領域は、例えば、第１のウインドウ領域８と第２のウインドウ領域９から構成され、第１のウインドウ領域８には、第１のオーバーレイ画像入力端子２ａから入力される第１のオーバーレイ画像（図２（ｂ））が所定のサイズに拡大縮小して重ねられ、第２のウインドウ領域９には、第２のオーバーレイ画像入力端子３ａから入力される第２のオーバーレイ画像（図２（ｃ））が所定のサイズに拡大縮小して重ねられて、合成画像（図２（ｄ））となる。合成画像の出力先は、例えば、ＰＣのディスプレイなどの表示装置（図示せず）である。

また、本実施の形態の画像合成装置は、後述するように、機器の故障等でベース画像信号が無信号になった場合であっても、少なくとも、所定のサイズに拡大縮小した第１のオーバーレイ画像および第２のオーバーレイ画像の出力を行うものである。

なお、図２（ａ）に一例として示したベース画像は、例えばＰＣのデスクトップ画像であり、図中の破線は、各ウインドウ領域を示すためのもので、実際のベース画像には描かれていない。

本実施の形態における画像合成装置は、図１に示すように、ベース画像のクロマキー色の部分の判定を行うクロマキー判定手段としてのクロマキー判定回路４と、ベース画像を処理して所定の信号を出力するベース画像処理回路１と、オーバーレイ画像処理部と、出力する画像信号を選択するセレクタ回路６、セレクタ回路６を制御するセレクタ制御回路５を備える。

オーバーレイ画像処理部は、第１のオーバーレイ画像を処理する第１のオーバーレイ画像処理回路２と、第２のオーバーレイ画像を処理する第２のオーバーレイ画像処理回路３とで構成される。

＜ベース画像処理回路の構成＞
図３に、ベース画像処理回路１の構成を示す。ベース画像処理回路１は、ベース画像の有無の判定を行うベース画像有無判定手段としてのベース画像無し検出回路１１と、入力されたベース画像信号を遅延させる遅延回路１２と、同期信号回路部からなる。

同期信号回路部は、ベース画像信号から映像同期信号を分離して、第１の映像同期信号１３ａとして出力する同期信号分離回路１３と、予め用意された第２の映像同期信号を出力する同期信号生成回路１４と、ベース画像無し信号１ｃに基づいて第１の映像同期信号１３ａと第２の映像同期信号１４ａのいずれかを選択して映像同期信号１ｄとして出力する、同期信号セレクタ回路１５とから構成される。

＜第１のオーバーレイ画像処理回路の構成＞
図４に、第１のオーバーレイ画像処理回路２の構成を示す。第１のオーバーレイ画像処理回路２は、映像同期信号１ｄに従って第１のオーバーレイ画像信号を同期させてフレームレート変換するフレームレート変換回路２１と、第１のオーバーレイ画像を表示する領域、即ち第１のウインドウ領域８の位置およびサイズを記憶する記憶手段としての第１のウインドウ位置・サイズレジスタ２３と、第１のウインドウ位置・サイズレジスタ２３の情報に従って、第１のオーバーレイ画像の位置およびサイズを変更する画像位置サイズ変更手段としての拡大縮小回路２２を備える。

なお、第２のオーバーレイ画像処理回路３は、第１のオーバーレイ画像処理回路２と同様に、フレームレート変換回路、拡大縮小回路および第２のウインドウ位置・サイズレジスタを備える。ここで、第２のウインドウ位置・サイズレジスタには、第２のウインドウ領域９の位置およびサイズが記憶されている。

＜セレクタ制御回路の構成＞
図５に、セレクタ制御回路５の構成を示す。セレクタ制御回路５は、セレクタ回路６を切り替えるためのセレクタ切替信号５ａを生成する、セレクタ切替信号生成回路５１と、ウインドウの優先順位情報が記憶されたウインドウ優先順位レジスタ５２と、オーバーレイ画像を表示する領域（即ち、第１のウインドウ領域８および第２のウインドウ領域９）の位置およびサイズを記憶する記憶手段としてのウインドウ位置・サイズレジスタ５３を備える。ここで、前記優先順位情報とは、複数のウインドウ領域のうち、いずれのウインドウ領域のオーバーレイ画像を優先して表示するかを示す情報である。

＜ベース画像処理回路の動作＞
ベース画像入力端子１ａから入力されたベース画像信号は、ベース画像無し検出回路１１、遅延回路１２、同期信号分離回路１３にそれぞれ入力される。ベース画像無し検出回路１１は、ベース画像の有無を判定し、その判定結果をベース画像無し信号１ｃとして、遅延回路１２、同期信号セレクタ回路１５、およびセレクタ制御回路５へ出力する。

遅延回路１２は、ベース画像信号を一定時間遅延させてから、ベース画像出力端子１ｂへ出力する。この遅延は、クロマキー判定回路４における信号の遅延およびセレクタ制御回路５における信号の遅延を考慮したものである。この遅延を行うことで、セレクタ回路６において、適切なタイミングでベース画像出力端子１ｂの選択・非選択の切り替えを行うことができる。

また、遅延回路１２には、ベース画像無し信号１ｃが入力されており、ベース画像無し信号１ｃがベース画像無しを示す場合は、遅延回路１２に予め保存された背景画像７ａを、ベース画像の代わりにベース画像出力端子１ｂに出力する。この場合の合成画像の一例を図２（ｅ）に示す。

同期信号分離回路１３は、ベース画像信号から映像同期信号を分離して、第１の映像同期信号１３ａとして同期信号セレクタ回路１５へ入力する。また、同期信号生成回路１４は、予め用意された映像同期信号を、第２の映像同期信号１４ａとして同期信号セレクタ回路１５へ入力する。

同期信号セレクタ回路１５は、ベース画像無し信号１ｃに基づいて、第１の映像同期信号１３ａもしくは第２の映像同期信号１４ａを選択する。即ちベース画像無し信号１ｃがベース画像有りを示す場合は、第１の映像同期信号１３ａを選択し、一方ベース画像無し信号１ｃがベース画像無しを示す場合は、第２の映像同期信号１４ａを選択して、映像同期信号１ｄとして第１のオーバーレイ処理回路２、第２のオーバーレイ処理回路３およびセレクタ制御回路５へ出力する。

＜第１のオーバーレイ画像処理回路の動作＞
第１のオーバーレイ画像信号が、第１のオーバーレイ画像信号入力端子２ａからフレームレート変換回路２１に入力されると、フレームレート変換回路２１は第１のオーバーレイ画像信号を映像同期信号１ｄに同期させてフレームレート変換を行い、拡大縮小回路２２に出力する。拡大縮小回路２２は、第１のウインドウ位置・サイズレジスタ２３の情報に従って、第１のオーバーレイ画像の所定の部分を切り出し、所定のサイズに拡大または縮小して、第１のオーバーレイ画像出力端子２ｂに出力する。ここで、第１のオーバーレイ画像出力端子２ｂに出力するタイミングは、映像同期信号１ｄに従って決められる。

また、第２のオーバーレイ画像処理回路３は、第２のオーバーレイ画像入力端子３aから入力される第２のオーバーレイ画像信号に対して、第１のオーバーレイ画像処理回路２と同様の処理を行い、第２のオーバーレイ画像出力端子３ｂに出力する。

＜クロマキー判定回路の動作＞
クロマキー判定回路４は、ベース画像入力端子１ａから入力されたベース画像信号から、ベース画像のクロマキー色の部分を検出して、クロマキー色の領域であることを示すクロマキー信号４ａを、セレクタ制御回路５へ出力する。

＜セレクタ制御回路およびセレクタ回路の動作＞
セレクタ制御回路５には、クロマキー信号４ａ、ベース画像無し信号１ｃ、および映像同期信号１ｄが入力される。セレクタ切替信号生成回路５１は、これらの信号に従い、ウインドウ優先順位レジスタ５２およびウインドウ位置・サイズレジスタ５３の情報を参照してセレクタ切替信号５ａを生成し、セレクタ回路６に出力する。

セレクタ回路６は、セレクタ切替信号５ａに従って、ベース画像出力端子１ｂ、第１のオーバーレイ画像出力端子２ｂ、第２のオーバーレイ画像出力端子３ｂのいずれかの端子を選択しながら、合成画像出力端子６ａに合成画像信号を出力する。

以下で、ベース画像無し信号１ｃがベース画像有りを示す場合と、ベース画像無しを示す場合とに分けて、セレクタ制御回路５の動作を説明する。

＜ベース画像信号が有る場合＞
ベース画像無し信号１ｃがベース画像有りを示す場合、即ちベース画像信号が有る場合には、ベース画像信号から分離された第１の同期信号１３ａを映像同期信号１ｄとして用いて、クロマキー信号４ａを参照しながら制御を行う。

クロマキー信号４ａがクロマキー色の部分を示す場合、映像同期信号１ｄを基準として決まる領域が、２つのウインドウが重なる領域、即ち第１のウインドウ領域８と第２のウインドウ領域９が重なる領域である場合には、ウインドウ優先順位レジスタ５２を参照して、セレクタ回路６が、優先順位の高い方のオーバーレイ画像のオーバーレイ画像出力端子を選択するように、セレクタ切替信号５ａを出力する。また、映像同期信号１ｄを基準として決まる領域が、第１のウインドウ領域８であって、２つのウインドウが重なる領域でない場合には、セレクタ回路６が第１のオーバーレイ画像出力端子２ｂを選択するように、セレクタ切替信号５ａを出力する。また、映像同期信号１ｄを基準として決まる領域が、第２のウインドウ領域９であって、２つのウインドウが重なる領域でない場合には、セレクタ回路６が第２のオーバーレイ画像出力端子３ｂを選択するように、セレクタ切替信号５ａを出力する。

一方、クロマキー信号４ａがクロマキー色の部分を示していない場合には、セレクタ回路６が、ベース画像出力端子１ｂを選択するようにセレクタ切替信号５ａを出力する。

以上の様にしてセレクタ回路６を制御することで、合成画像出力端子６ａから合成画像（例えば、図２（ｄ））が出力される。この合成画像の例では、第２のオーバーレイ画像の方が、第１のオーバーレイ画像よりも優先順位が高く設定されているので、２つのウインドウが重なる領域には第２のオーバーレイ画像が表示される。

＜ベース画像信号が無信号の場合＞
ベース画像無し信号１ｃがベース画像無しを示す場合、即ちベース画像信号が無信号の場合には、セレクタ制御回路５は、同期信号生成回路１４から出力される、予め用意された第２の映像同期信号１４ａを映像同期信号１ｄとして用いて、セレクタ回路６の制御を行う。

映像同期信号１ｄを基準として決まる領域に対して、ウインドウ位置・サイズレジスタ５３の情報を参照してセレクタ切替信号５ａを出力する。即ち、映像同期信号１ｄを基準として決まる領域が、２つのウインドウが重なる領域、即ち第１のウインドウ領域８と第２のウインドウ領域９が重なる領域である場合には、ウインドウ優先順位レジスタ５２を参照して、セレクタ回路６が、優先順位の高い方のオーバーレイ画像のオーバーレイ画像出力端子を選択するように、セレクタ制御信号５ａを出力する。

また、映像同期信号１ｄを基準として決まる領域が、第１のウインドウ領域８であって、２つのウインドウが重なる領域でない場合には、セレクタ回路６が第１のオーバーレイ画像出力端子２ｂを選択するように、セレクタ切替信号５ａを出力する。

また、映像同期信号１ｄを基準として決まる領域が、第２のウインドウ領域９であって、２つのウインドウが重なる領域でない場合には、セレクタ回路６が第２のオーバーレイ画像出力端子３ｂを選択するように、セレクタ切替信号５ａを出力する。

また、映像同期信号１ｄを基準として決まる領域が、第１のウインドウ領域８でも第２のウインドウ領域９でもない場合には、ベース画像出力端子１ｂを選択するように、セレクタ切替信号５ａを出力する。

以上で述べたようにセレクタ回路６を制御して、合成画像出力端子６ａから合成画像信号を出力する。ベース画像信号が無信号の場合の合成画像の一例を図２（ｅ）に示す。本実施の形態においては、ベース画像信号が無信号となった場合には、予め用意された背景画像７ａが、ベース画像７の代わりとして遅延回路１２からベース画像出力端子１ｂに出力される。従って、図２（ｅ）のように、ベース画像７が無い場合でも、オーバーレイ画像の背景に背景画像７ａが表示される。

一方、遅延回路１２が背景画像７ａを出力しない場合には、図２（ｆ）に示すように、オーバーレイ画像のみが出力され、オーバーレイ画像の背景には、例えば黒色のラスタ画面７ｂの様な画像が表示される。

なお、本実施の形態においては、オーバーレイ画像数を２系統としたが、必ずしも２系統である必要はなく、任意の系統数としてよい。

＜効果＞
本実施の形態における画像合成装置は、ベース画像７上のクロマキー色の領域にオーバーレイ画像を重ね合わせて合成画像として出力する画像合成装置であって、オーバーレイ画像を表示する領域の位置およびサイズを記憶する記憶手段と、記憶手段の情報に従って、オーバーレイ画像の位置およびサイズを変更する画像位置・サイズ変更手段と、ベース画像７の有無の判定を行うベース画像有無判定手段と、ベース画像７のクロマキー色部分の判定を行うクロマキー判定手段とを備え、ベース画像有無判定手段によりベース画像ありと判定され、かつ、クロマキー判定手段により、クロマキー色部分であると判定された場合は、画像位置・サイズ変更手段により位置およびサイズが変更されたオーバーレイ画像を出力し、ベース画像有無判定手段によりベース画像ありと判定され、かつ、クロマキー判定手段により、クロマキー色部分でないと判定された場合は、ベース画像７を出力し、ベース画像有無判定手段により、ベース画像なしと判定された場合は、画像位置・サイズ変更手段により位置およびサイズが変更されたオーバーレイ画像を出力することを特徴とする。

従って、ベース画像有無判定手段によりベース画像無しと判定された場合でも、画像位置・サイズ変更手段により位置およびサイズが変更されたオーバーレイ画像を出力するため、機器の故障等で、ベース画像信号が無信号となった場合でも、継続してオーバーレイ画像の出力を行うことが可能である。

また、本実施の形態における画像合成装置は、ベース画像有無判定手段により、ベース画像なしと判定された場合は、ベース画像の信号から取得していた第１の映像同期信号１３ａに代えて、予め用意された第２の映像同期信号１４ａを使用して、オーバーレイ画像を出力することを特徴とする。

従って、ベース画像信号が無信号となり、ベース画像信号から第１の映像同期信号１３ａを取得できない場合であっても、その代わりに、予め用意された第２の同期信号１４ａを映像同期信号１ｄとして用いることにより、オーバーレイ画像の出力を続けることが可能である。

また、本実施の形態における画像合成装置は、ベース画像有無判定手段としてのベース画像無し検出回路１１により、ベース画像なしと判定された場合は、予め保存されている画像を背景画像７ａとして、ベース画像に代えて出力することを特徴とする。

従って、ベース画像信号が無信号となった場合には、ベース画像の代わりに、遅延回路１２に予め保存されている背景画像７ａを出力することで、オーバーレイ画像の背景に、例えば、ベース画像が無信号になったことを知らせる色、文字、図形等の情報を含む画像を表示することが可能である。

なお、本発明は、その発明の範囲内において、実施の形態を適宜、変形、省略することが可能である。

１ベース画像処理回路、１ａベース画像入力端子、１ｂベース画像出力端子、１ｃベース画像無し信号、１ｄ映像同期信号、２第１のオーバーレイ画像処理回路、２ａ第１のオーバーレイ画像入力端子、２ｂ第１のオーバーレイ画像出力端子、３第２のオーバーレイ画像処理回路、３ａ第２のオーバーレイ画像入力端子、３ｂ第２のオーバーレイ画像出力端子、４クロマキー判定回路、４ａクロマキー信号、５セレクタ制御回路、５ａセレクタ切替信号、６セレクタ回路、６ａ合成画像出力端子、１１ベース画像無し検出回路、１２遅延回路、１３同期信号分離回路、１３第１の同期信号、１４同期信号生成回路、１４ａ第２の同期信号、１５同期信号セレクタ回路、２１フレームレート変換回路、２２拡大縮小回路、２３第１のウインドウ位置・サイズレジスタ、５１セレクタ切替信号生成回路、５２ウインドウ優先順位レジスタ、５３ウインドウ位置・サイズレジスタ、７ベース画像、７ａ背景画像、７ｂラスタ画面、８第１のウインドウ領域、９第２のウインドウ領域。

Claims

ベース画像上のクロマキー色の領域にオーバーレイ画像を重ね合わせて合成画像として合成画像出力端子に出力する画像合成装置であって、
前記オーバーレイ画像を表示する領域の位置およびサイズを記憶する記憶手段と、
前記記憶手段の情報に従って、前記オーバーレイ画像の位置およびサイズを変更する画像位置・サイズ変更手段と、
前記ベース画像の有無の判定を行うベース画像有無判定手段と、
前記ベース画像のクロマキー色部分の判定を行うクロマキー判定手段と、
前記合成画像出力端子への前記ベース画像および前記オーバーレイ画像の出力を制御する制御回路と、
を備え、
前記ベース画像有無判定手段によりベース画像有りと判定され、かつ、前記クロマキー判定手段により、クロマキー色部分であると判定された場合は、前記制御回路が、前記画像位置・サイズ変更手段により位置およびサイズが変更された前記オーバーレイ画像を前記合成画像出力端子に出力するように制御を行い、
前記ベース画像有無判定手段によりベース画像有りと判定され、かつ、前記クロマキー判定手段により、クロマキー色部分でないと判定された場合は、前記制御回路が、前記ベース画像を前記合成画像出力端子に出力するように制御を行い、
前記ベース画像有無判定手段により、ベース画像無しと判定された場合は、前記制御回路が、前記画像位置・サイズ変更手段により位置およびサイズが変更された前記オーバーレイ画像を前記合成画像出力端子に出力するように制御を行うことを特徴とする、
画像合成装置。
前記ベース画像有無判定手段により、ベース画像無しと判定された場合は、前記制御回路が、前記ベース画像の信号から取得していた映像同期信号に代えて、予め用意された映像同期信号を使用して前記オーバーレイ画像を前記合成画像出力端子に出力するように制御を行うことを特徴とする、
請求項１に記載の画像合成装置。
前記ベース画像有無判定手段により、ベース画像無しと判定された場合は、前記画像合成装置が、前記画像合成装置の内部の回路に予め保存されている画像を前記ベース画像に代えて前記合成画像出力端子に出力することを特徴とする、
請求項１または２に記載の画像合成装置。