JP4484511B2

JP4484511B2 - 画像合成装置、画像合成用集積回路、及び画像合成方法

Info

Publication number: JP4484511B2
Application number: JP2003433925A
Authority: JP
Inventors: 好将新井; 秀規近藤; 英和加藤
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2003-12-26
Filing date: 2003-12-26
Publication date: 2010-06-16
Anticipated expiration: 2023-12-26
Also published as: CN1638444A; JP2005192128A

Description

本発明は、画像合成装置、画像合成用集積回路、及び画像合成方法に関する。

画像合成処理技術としては、例えば、特開２００１−２８５７４９号公報に開示されたＯＳＤ（On Screen Display）を用いた技術が知られている。すなわち、ビデオカメラやデジタルスチルカメラ、携帯機器等の動画像表示を行うにあたり、動画像を表示しながら同一画面上に対し、別の動画像、並びに時刻やキャプション等の情報を上書きする方式で合成する。この動画像に合成して表示するにあたり、例えば、画像データの上書き処理を行うため、数フレーム分のメモリを使用し、ＯＳＤ機能を有するハードウエアでもって実現する。
特開２００１−２８５７４９号公報

前述したＯＳＤ方式の画像合成処理技術にあっては、数フレーム分のメモリを使用して上書き処理を行うため、画像合成処理の複雑化を招き、メモリも数フレーム分必要となる。その結果、回路規模の増大を避けられず、コストの増大に繋がっていた。

本発明に係る画像合成装置では、少なくとも二つの画像を合成して画面に表示させるべく合成画像を生成する画像合成装置において、一方の前記画像を前記画面に表示させるにあたり、当該画面における非表示領域を指定する所定の非表示領域指定座標に基づき、前記一方の前記画像のうち当該非表示領域を除く画像データを画像メモリに格納させるべく出力するマスク回路と、他方の前記画像を前記画面の前記非表示領域に表示させるにあたり、前記非表示領域指定座標に基づき、前記他方の前記画像の画像データを前記画像メモリに格納させるべく出力するインサート回路とを備える。

また、前記一方の前記画像を前記画面に表示させるにあたり、前記マスク回路は、当該一方の前記画像を前記画面の全体に亘り表示させるべく、前記画像データを出力することとできる。

さらに、前記他方の前記画像を前記画面の前記非表示領域に表示させるにあたり、前記インサート回路は、当該他方の前記画像データを縮小処理して出力することとできる。

さらにまた、前記マスク回路によって出力される前記非表示領域を除く画像データは、前記一方の前記画像データの全体が縮小処理された画像データであることとできる。

本発明に係る画像合成用集積回路では、前記画像合成装置における前記マスク回路及び前記インサート回路が集積回路化されてなる。

本発明に係る画像合成方法では、少なくとも二つの画像を合成して画面に表示させるべく合成画像を生成する画像合成装置における画像合成方法において、一方の前記画像を前記画面に表示させるにあたり、当該画面における非表示領域を指定する所定の非表示領域指定座標に基づき、前記一方の前記画像のうち当該非表示領域を除く画像データを画像メモリに格納させるべく出力するステップと、他方の前記画像を前記画面の前記非表示領域に表示させるにあたり、前記非表示領域指定座標に基づき、前記他方の前記画像の画像データを前記画像メモリに格納させるべく出力するステップとを備える。

二つ以上の画像を合成して画面に表示させるあたり、非表示領域指定座標に基づき、非表示領域を除く一方の画像のデータを画像メモリに格納させる一方、他方の画像を非表示領域に表示させるべく前記画像メモリに格納させる。

したがって、一方の画像について画面における非表示領域を予め座標で一度指定しておけば、各フレーム毎に画像の上書き処理といった従来のＯＳＤ処理を行わずに済むため、画像処理の負荷が格段に軽減されるとともに、回路規模の低減が図れる。

また、一方の画像について画面における非表示領域を予め座標で一度指定しておけばよい。このため、各フレーム毎に画像の上書き処理といった従来のＯＳＤ処理に必要な複数フレームの画像メモリを用意することなく、１フレームの画像メモリを用意すれば済む。したがって、画像メモリの規模縮小化が図れ、簡単な回路構成で安価な画像合成装置を実現できる。

＝＝＝＝基本概念＝＝＝＝
図１に、画像合成の様子を表した模式図を示す。動画像Ａ（一方の画像）と動画像Ｂ（他方の画像）の二つを合成し、生成した合成画像をＬＣＤ等の表示装置の画面に表示させる。この際、図１の上段の画面に示すように、非表示領域を指定する始点座標（Ａ，Ｂ）から右方向に距離Ｘ及び下方向に距離Ｙの範囲を非表示領域とする。画面の全体に亘り表示させる動画像Ａのうち、この非表示領域を除いた部分の画像データを転送して後述の画像メモリに格納させる。これに合わせて、この非表示領域に動画像Ｂを挿入（インサート）して表示させるべく、動画像Ｂの画像データを転送して画像メモリに格納させる。この際、動画像Ｂを縮小化処理を施した画像データを転送する。その結果、図１の下段の画面に示すように、動画像Ａに対する動画像Ｂの上書き処理を行うことなく、画像合成が可能となる。このような非表示領域を座標指定する画像処理の方式について、ここでは、マスク処理モードと称することとする。

このマスク処理モードでは、画面の非表示領域を予め座標で指定しておくことにより、非表示領域には動画像Ａが表示されないため、動画像Ｂのデータによる複雑な上書き処理を行わなくて済む。したがって、動画像Ａについて画面における非表示領域を予め座標で一度指定しておけば、各フレーム毎に動画像Ｂの上書き処理といった従来のＯＳＤ（On Screen Display）処理を行わずに済むため、画像処理の負荷が格段に軽減されるとともに、回路規模の低減が図れる。

また、動画像Ａについて画面における非表示領域を予め座標で一度指定しておけばよい。このため、各フレーム毎に画像Ｂの上書き処理といった従来のＯＳＤ処理に必要な複数フレームの画像メモリを用意することなく、１フレーム分の画像メモリを用意すれば済む。したがって、画像メモリの規模縮小化が図れ、簡単な回路構成で安価な画像合成装置を実現できる。

なお、合成対象は、動画像Ａ，Ｂに限らず、静止画像やキャプション等の表示情報でもよい。

＝＝＝＝実施例＝＝＝＝
＜＜＜構成＞＞＞
図２のブロック図は、画像合成装置たる制御用ＬＳＩ１００、外部メモリ２００、及び、合成画像を画面に表示する液晶ディスプレイ装置（ＬＣＤ）３００を示す。外部メモリ２００は、ＳＤＲＡＭ等で構成され、画像メモリとして機能する。

制御用ＬＳＩ１００は、中央処理装置（ＣＰＵ）１１０、ＰＲＯＭ１２０、メモリコントローラ１３０、ＬＣＤコントローラ１４０、及び映像用入力インターフェース（Digital Format Converter）ＤＦＣ１，ＤＦＣ２を備え、図示の通りの接続関係を有する。また、この制御用ＬＳＩ１００は、集積回路として１チップ化されている。ＰＲＯＭ１２０には、画像合成動作の制御プログラムが格納されており、中央処理装置１１０は、読み出した制御プログラムに従い、制御用ＬＳＩ１００の各構成要素の動作、並びに画像合成処理の全体を統括制御する。映像用入力インターフェース（マスク回路）ＤＦＣ１には、端子Ｔ１を通じ、動画ＡのＮＴＳＣ方式のビデオ信号（Ｙ信号，Ｃｂ信号，Ｃｒ信号）が入力される。そして、映像用入力インターフェースＤＦＣ１は、前記各信号をそれぞれ所定のデジタル形式の画像データとして変換した上で、メモリコントローラ１３０を経由して外部メモリ２００に転送する。外部メモリ２００は、転送された画像データを格納する。

同様に、映像用入力インターフェース（インサート回路）ＤＦＣ２も、端子Ｔ２を通じて入力される動画Ｂについて、映像用入力インターフェースＤＦＣ１と共通の外部メモリ２００に、各Ｙ信号，Ｃｂ信号，Ｃｒ信号についての画像データを転送する。なお、本実施例における共通の外部メモリ２００は、前述したように、１フレーム分のメモリ領域の装備で十分である。

そして、外部メモリ２００に格納された動画Ａ及び動画Ｂについての画像データは、メモリコントローラ１３０を介して読み出されてＬＣＤコントローラ１４０に送られる。ＬＣＤコントローラ１４０は、受け取った画像データに応じてビデオ信号を生成し、ＬＣＤ３００に動画Ａ及び動画Ｂの合成画像を表示させる。

なお、これら各要素１００〜３００単体のハードウエア構成や動作については、例えば、書籍「トランジスタ技術SPECIAL No.31」（ＣＱ出版社，１９９５年８月１日第７版発行，第１２４頁以降等）に参考例が記載されている。

＜＜＜動作＞＞＞
このような構成の制御用ＬＳＩ１００を主体とする画像合成の具体的な動作例について、図３及び図４のフローチャート、並びに図２のブロック図を参照しつつ説明する。図３に示すように、先ず、インターフェースＤＦＣ１，ＤＦＣ２に内蔵されているレジスタを参照し、マスク処理モード、あるいは、縮小処理モード（後述の変形例で説明）のいずれかを確認する（Ｓ１００→Ｓ２００）。そして、マスク処理モードが指定されていた場合には、図４に示すように、動画（画像）Ａ、及び動画（画像）Ｂのそれぞれについて、画像合成の一連の処理が並行して実行される（Ｓ３００Ａ〜，Ｓ３００Ｂ〜）。

まず、画像Ａの処理について説明する。合成すべき画像データを制御用ＬＳＩ１００から外部メモリ２００へ転送するにあたり、ＣＰＵ１１０によって、表示領域及び非表示領域を画面の座標でもって管理し、画像Ａのマスクエリア（非表示領域）を設定する（Ｓ３００Ａ）。このマスクエリアとしては、図１を参照して前述したように、画面における始点座標を（Ａ，Ｂ）とするとともに、その大きさ（サイズ）を（Ｘ，Ｙ）とする。そして、ＬＣＤ３００の画面の表示サイズ（６４０ドット＊４８０ドット）を１フレームとする動画Ａのビデオ信号が映像用入力インタフェースＤＦＣ１に端子Ｔ１を介して入力される（Ｓ４００Ａ）。映像用入力インタフェースＤＦＣ１は、入力されてくる動画Ａのビデオ信号がマスクエリアの範囲内に該当するか否かを確認する（Ｓ５００Ａ）。ビデオ信号がマスクエリアの範囲内に該当しない、すなわち、表示領域に該当する場合には（Ｓ５００Ａ：ＮＯ）、各Ｙ信号，Ｃｂ信号，Ｃｒ信号の画像データをその画面座標に対応したメモリエリアに書き込むべく、外部メモリ２００に転送する（Ｓ６００Ａ）。反対に、ビデオ信号がマスクエリアの範囲内に該当する場合には（Ｓ５００Ａ：ＹＥＳ）、画像データを転送しない（Ｓ７００）。

すなわち、映像用入力インタフェースＤＦＣ１は、フレームを転送開始してから画面上の指定座標（Ａ，Ｂ）までの表示領域において、画像データを外部メモリ２００に転送する一方、指定座標（Ａ，Ｂ）から横Ｘ及び縦Ｙのマスクエリアにおいて、画像データを転送しない。

前述したＳ６００ＡもしくはＳ７００の処理の後、動画Ａの１フレーム全てについて、Ｓ４００Ａ〜Ｓ７００，Ｓ８００Ａの処理が終了したか否かを確認する（Ｓ８００Ａ）。これが終了していなければ（Ｓ８００Ａ：ＮＯ）、Ｓ４００Ａの処理に戻る一方、終了していれば（Ｓ８００Ａ：ＹＥＳ）、動画Ａの１フレームの合成処理を終了する。

次に、画像Ｂの処理について説明する。前述した画像Ａの処理と同様、ＣＰＵ１１０によって、前述した画像Ａのマスクエリア（非表示領域）をこの画像Ｂの表示領域（挿入領域）として設定する（Ｓ３００Ｂ）。この際、画像Ｂが当該表示領域のサイズに合致するべく、適宜、画像Ｂの縮小化（１／２，１／４，１／１６，．．．）の設定も行う。この縮小に関するデータは、映像用入力インタフェースＤＦ２のレジスタに格納され、当該ＤＦ２の処理に供される。この縮小処理では、公知の間引き処理等の手法を用いる。そして、ＬＣＤ３００の画面の表示サイズ（６４０ドット＊４８０ドット）を１フレームとする動画Ｂのビデオ信号が映像用入力インタフェースＤＦＣ２に端子Ｔ２を介して入力される（Ｓ４００Ｂ）。この際、映像用入力インタフェースＤＦＣ２は、Ｓ３００Ｂで設定された縮尺で画像Ｂの縮小処理も合わせて実行する。

そして、映像用入力インタフェースＤＦＣ２は、入力されてくる動画Ｂのビデオ信号がマスクエリアの範囲内に該当するか否かを確認する（Ｓ５００Ｂ）。ビデオ信号がマスクエリアの範囲内に該当しない、すなわち、動画Ａの表示領域に該当する場合には（Ｓ５００Ｂ：ＮＯ）、画像データを転送しない（Ｓ７００）。反対に、ビデオ信号がマスクエリアの範囲内に該当する場合には（Ｓ５００Ｂ：ＹＥＳ）、各Ｙ信号，Ｃｂ信号，Ｃｒ信号の画像データをその画面座標に対応したメモリエリアに書き込むべく、外部メモリ２００に転送する（Ｓ６００Ｂ）。

すなわち、映像用入力インタフェースＤＦＣ２は、フレームを転送開始してから画面上の指定座標（Ａ，Ｂ）までの表示領域において、画像データを外部メモリ２００に転送しない一方、指定座標（Ａ，Ｂ）から横Ｘ及び縦Ｙのマスクエリアにおいて、画像データを転送する。

前述したＳ６００ＢもしくはＳ７００の処理の後、動画Ｂの１フレーム全てについて、Ｓ４００Ｂ〜Ｓ７００，Ｓ８００Ｂの処理が終了したか否かを確認する（Ｓ８００Ｂ）。これが終了していなければ（Ｓ８００Ｂ：ＮＯ）、Ｓ４００Ａの処理に戻る一方、終了していれば（Ｓ８００Ｂ：ＹＥＳ）、動画Ａの１フレームの合成処理を終了する。

このような各動画Ａ，Ｂそれぞれについて、１フレーム分の並列処理が終了すると、次の１フレームについて、同じ処理を繰り返し実行し、動画Ａ，Ｂの合成を順次行っていく。

＜＜＜変形例＞＞＞
図３のＳ２００で縮小処理モードが指定されていた場合を変形例として説明する。すなわち、図５のフローチャートと図６の模式図を参照し、前述した実施例と相違する部分を中心に説明する。先ず、概略を説明すると、変形例としては、図６の上段に示すように、ＬＣＤ３００の画面を動画Ａと動画Ｂとで縦割りに分割表示する場合と、図６の下段に示すように、ＬＣＤ３００の画面において、動画Ａ及び動画Ｂをそれぞれ縮小して別個に配置して表示する場合である。

具体的に処理は、前述した図４のフローチャートと共通した部分が多いものの、図５に示すフローチャートの通りとなる。すなわち、動画Ａ及び動画Ｂのそれぞれについて、画像合成の一連の処理が並行して実行される（Ｓ１１００Ａ〜，Ｓ１１００Ｂ〜）。

まず、画像Ａの処理について説明する。合成すべき画像データを制御用ＬＳＩ１００から外部メモリ２００へ転送するにあたり、ＣＰＵ１１０によって、表示領域及び非表示領域を画面の座標でもって管理し、画像Ａのマスクエリア（非表示領域）を設定する（Ｓ１１００Ａ）。このマスクエリアとしては、図６に示すように、画面における動画Ｂの表示領域である。このマスクエリアの設定の際、前もって縮小化の倍率も合わせて設定する。そして、ＬＣＤ３００の画面の表示サイズ（６４０ドット＊４８０ドット）を１フレームとする動画Ａのビデオ信号が映像用入力インタフェースＤＦＣ１に端子Ｔ１を介して入力される（Ｓ１２００Ａ）。すると、映像用入力インタフェースＤＦＣ１は、ビデオ信号の縮小化（縦横比の不均等な縮小も含む）の処理（Ｓ１２００Ａ）を施した後、縮小化された画像データが動画Ｂの表示領域内に該当するか否かを確認する（Ｓ１３００Ａ）。これが該当する場合には（Ｓ１３００Ａ：ＹＥＳ）、画像データを外部メモリ２００に転送しない（Ｓ１５００）。

反対に、入力されたビデオ信号が動画Ｂの表示領域内に該当しない場合には（Ｓ１３００Ａ：ＮＯ）、各Ｙ信号，Ｃｂ信号，Ｃｒ信号の画像データをその画面座標に対応したメモリエリアに書き込むべく、外部メモリ２００に転送する（Ｓ１４００Ａ）。

そして、動画Ａの１フレーム全てについて、Ｓ１２００Ａ〜Ｓ１４００Ａ，Ｓ１５００の処理が終了したか否かを確認する（Ｓ１６００Ａ）。これが終了していなければ（Ｓ１６００Ａ：ＮＯ）、Ｓ１２００Ａの処理に戻る一方、終了していれば（Ｓ１６００Ａ：ＹＥＳ）、動画Ａの１フレームの合成処理を終了する。

次に、画像Ｂの処理について説明する。先ず、ＣＰＵ１１０によって、表示領域及び非表示領域を画面の座標でもって管理し、画像Ｂの挿入領域（表示領域）を設定する（Ｓ１１００Ｂ）。この挿入領域としては、図６に示すように、画面における動画Ｂの表示領域である。この挿入領域の設定の際、前もって縮小化の倍率も合わせて設定する。そして、ＬＣＤ３００の画面の表示サイズ（６４０ドット＊４８０ドット）を１フレームとする動画Ｂのビデオ信号が映像用入力インタフェースＤＦＣ２に端子Ｔ２を介して入力される（Ｓ１２００Ａ）。すると、映像用入力インタフェースＤＦＣ２は、ビデオ信号の縮小化（縦横比の不均等な縮小も含む）の処理（Ｓ１２００Ｂ）を施した後、縮小化された画像データが設定された動画Ｂの表示領域内に該当するか否かを確認する（Ｓ１３００Ｂ）。これが該当しない場合には（Ｓ１３００Ｂ：ＮＯ）、画像データを外部メモリ２００に転送しない（Ｓ１５００）。

反対に、入力されたビデオ信号が動画Ｂの表示領域内に該当する場合には（Ｓ１３００Ｂ：ＹＥＳ）、各Ｙ信号，Ｃｂ信号，Ｃｒ信号の画像データをその画面座標に対応したメモリエリアに書き込むべく、外部メモリ２００に転送する（Ｓ１４００Ｂ）。

そして、動画Ａの１フレーム全てについて、Ｓ１２００Ｂ〜Ｓ１４００Ｂ，Ｓ１５００の処理が終了したか否かを確認する（Ｓ１６００Ｂ）。これが終了していなければ（Ｓ１６００Ｂ：ＮＯ）、Ｓ１２００Ｂの処理に戻る一方、終了していれば（Ｓ１６００Ｂ：ＹＥＳ）、動画Ｂの１フレームの合成処理を終了する。

本発明の一実施例に係る画像合成の様子を表した模式図である。本発明の一実施例に係る画像合成装置を含むブロック回路図である。本発明の一実施例に係る画像合成装置の動作例を示すフローチャートである。本発明の一実施例に係る画像合成装置の動作例を示すフローチャートである。本発明の一実施例に係る画像合成装置の別の動作例を示すフローチャートである。本発明の一実施例に対する変形例に係る合成画像を表した模式図である。

符号の説明

１００制御用ＬＳＩ
１１０中央処理装置
１２０プログラマブルＲＯＭ
１３０メモリコントローラ
１４０ＬＣＤコントローラ
２００外部メモリ
３００液晶ディスプレイ装置
ＤＦＣ１，ＤＦＣ２映像用入力インタフェース
Ｔ１〜Ｔ４入出力用端子

Claims

２つの画像入力信号を受けて、１つの画像データを合成して画面に表示させるべく合成画像を生成する画像合成装置において、
一方の画像入力信号を受け、前記一方の画像入力信号を前記画面に表示させるにあたり、当該画面における非表示領域を指定する所定の非表示領域指定座標に基づき、前記一方の画像入力信号のうち当該非表示領域を除く画像データを画像メモリに格納させるべく出力するマスク回路を有する第１の映像用入力インタフェース回路と、
他方の画像入力信号を受け、前記他方の画像入力信号を前記画面の前記非表示領域に表示させるにあたり、前記非表示領域指定座標に基づき、前記他方の画像入力信号の画像データを前記画像メモリに格納させるべく出力するインサート回路を有する第２の映像用入力インタフェース回路と、
前記第１の映像用入力インタフェース回路及び前記第２の映像用入力インタフェース回路からの出力を受け、１つの画像データを合成し、その合成データを前記画像メモリに記憶するメモリコントローラと、を備え、
前記メモリコントローラは、前記画像メモリと入出力インタフェースを介して接続されており、表示する際、前記画像メモリに記憶されている前記合成データを取り出すことを特徴とする画像合成装置。
前記一方の画像入力信号を前記画面に表示させるにあたり、前記マスク回路は、前記一方の画像入力信号を前記画面の全体に亘り表示させるべく、前記画像データを出力することを特徴とする請求項１に記載の画像合成装置。
前記他方の画像入力信号を前記画面の前記非表示領域に表示させるにあたり、前記インサート回路は、前記他方の画像入力信号のデータを縮小処理して出力することを特徴とする請求項２に記載の画像合成装置。
前記マスク回路によって出力される前記非表示領域を除く画像データは、前記一方の画像入力信号のデータの全体が縮小処理された画像データであることを特徴とする請求項３に記載の画像合成装置。
前記請求項４に記載の画像合成装置が集積回路化されてなることを特徴とする画像合成用集積回路。