JP3909596B2 - 画像処理装置および方法、並びに、撮像装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像処理装置および方法、並びに、撮像装置に関し、特に、回路規模や製造コストを抑えたまま、容易に、より多様で複雑な方法を用いて複数の画像情報を合成する画像処理装置および方法、並びに、撮像装置に関する。
【０００２】
【従来の技術】
従来、カメラ等を用いた撮像により得られた画像信号に、文字や図形等の他の画像データを重畳する画像処理方法として、様々な方法が提案されている。
【０００３】
例えば、直列に接続された２つのOSD-ICが、それぞれ、入力された映像信号に表示データを重畳するようにし、マイコンが、その２つのOSD-ICの動作を制御して、映像信号に重畳する表示データを瞬時に切り替えたり、複数の表示データを映像信号に同時に表示させたりする方法がある（例えば、特許文献１参照）。
【０００４】
また、その他にも、重畳される画像信号と、重畳する画像信号に、それぞれ、所定の係数を乗算してから、それらの２つの信号を加算することにより、２つの信号の混合比を任意に指定する方法もある。
【０００５】
【特許文献１】
特開平１０−１５０６０９号公報（第３−６ページ、図１）
【０００６】
【発明が解決しようとする課題】
近年、画像処理装置の性能の向上や、画像処理技術の向上に伴い、様々な文字や図形などの画像情報を、様々な方法で複雑に画像信号に重畳したいという要求が高まっている。
【０００７】
しかしながら、上述したような方法では、比較的単純な方法でしか画像信号を重畳することができないという課題があった。例えば、直列に接続された２つのOSD-ICを用いる方法の場合、重畳される側の映像信号と、重畳する側の表示データとの混合比は常に１対１であり、その混合比を調整することができない。
【０００８】
また、各信号に係数を乗算する方法を用いた場合、表示データの重畳を制御する制御部は、２つの信号の混合比を調整することができるが、OSDは、例えば、表示データの一部を変更するときも、重畳する新たな表示データを１画面分用意し表示させるように制御しなければならず、OSDの処理の負荷が増大してしまい、製造コストが増大してしまうという課題があった。この方法においては、さらに、重畳する表示データの書き換えタイミングも、例えば、垂直ブランキング期間や水平ブランキング期間等に限定されてしまうため、OSDは、高速に処理を行う必要があり、製造コストがさらに増大してしまうという課題もあった。
【０００９】
さらに、直列に接続された複数のOSD-ICを用いる方法と、係数を乗算する方法を組み合わせた場合においても、重畳する表示データを、画面の一部の領域毎に制御することができず、表示データを切り替えるときは１画面分の表示データを用意しなければならず、処理の負荷や回路規模が増大してしまうという課題があった。
【００１０】
例えば、映像信号に対応する１画面分の画像データの、第１の領域と第２の領域のように互いに異なる２つの領域に表示データを重畳しているときに、第１の領域の表示データのみを切り替えるとすると、切り替え前の第１の領域に表示する表示データを重畳するOSD-IC、第２の領域に表示する表示データを重畳するOSD-IC、並びに、切り替え後の第１の領域に表示する表示データを重畳するOSD-ICの３つのOSD-ICが必要になる。従って、この方法において、重畳する表示データの切り替え方法を複雑化するためには、予め、その複雑度に対応できるように、多くのOSD-ICを用意しておかなければならず、処理の負荷が増大するだけでなく、回路規模も大きくなってしまい、製造コストの増大につながってしまっていた。
【００１１】
本発明はこのような状況に鑑みてなされたものであり、回路規模や製造コストを抑えたまま、容易に、より多様で複雑な方法を用いて複数の画像情報を合成することができるようにするものである。
【００１２】
【課題を解決するための手段】
本発明の画像処理装置は、合成用画像の供給を制御する制御手段と、制御手段により制御されて供給される合成用画像情報を記録する複数の画像記録手段と、動画像の画像情報である入力画像情報に付加された同期信号を分離する同期信号分離手段と、同期信号分離手段により入力画像情報より分離された同期信号に基づいて、入力画像情報に対応する入力画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成手段と、入力画像の画素単位毎に複数の画像記録手段に記録された合成用画像情報を合成するか否かを指示する制御情報を記憶し、アドレス情報生成手段により生成されたアドレス情報に基づいて、制御情報を順次参照し、入力画像の画素単位毎に、複数の画像記録手段に記録された複数の合成用画像情報のいずれかを選択し、合成用画像情報と入力画像情報との合成を制御する合成制御手段と、合成制御手段による制御に基づいて、入力画像の画素単位毎に、入力画像情報および合成制御手段により選択された合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、入力画像情報と出力された合成用画像情報とを合成する画像情報合成手段とを備えることを特徴とする。
【００１３】
前記合成用画像保持手段は、合成用画像情報を画素単位のデータとして保持することができる。
【００１４】
前記制御手段は、さらに、制御情報の合成制御手段への供給を制御することができる。
【００１６】
前記合成制御手段は、制御情報に基づいて、複数の画像記録手段に記録された複数の合成用画像情報のそれぞれについて、入力画像情報に合成するか否かを判定し、合成すると判定した合成用画像情報を画像記録手段より出力させ、入力画像情報に合成させるように制御し、画像情報合成手段は、合成制御手段による制御に基づいて、入力画像情報と合成用画像情報とを合成し、入力画像の画素単位毎に、入力画像と出力された合成用画像を重畳させることができる。
【００１７】
前記制御情報は、入力画像の画素単位毎に、複数の画像記録手段に記録された複数の合成用画像情報に対応する合成用画像を入力画像に混合させる際の、各画像情報の混合比を指定する情報であり、合成制御手段は、制御情報に基づいて、複数の画像記録手段に記録された複数の合成用画像情報を、指定された混合比で入力画像情報に合成させるように制御し、画像情報合成手段は、合成制御手段による制御に基づいて、入力画像情報と合成用画像情報とを合成し、入力画像の画素単位毎に、入力画像と合成用画像を指定された混合比で混合させることができる。
【００２４】
本発明の画像処理方法は、合成画像を記録する複数の画像記録手段を有し、複数の画像記録手段のうちのいずれかが合成用画像情報の出力処理を行っているとき、出力処理を行っていない画像記録手段に対して合成用画像情報を供給させるように制御する制御ステップと、複数の画像記録手段を制御し、制御ステップに制御されて供給される合成用画像情報を記録させる画像記録制御ステップと、動画像の画像情報である入力画像情報に付加された同期信号を分離する同期信号分離ステップと、同期信号分離ステップの処理により入力画像情報より分離された同期信号に基づいて、入力画像情報に対応する入力画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成ステップと、アドレス情報生成ステップの処理により生成された入力画像のアドレス情報に基づいて、入力画像の画素単位毎に複数の画像記録手段に記録された合成用画像情報を合成するか否かを指示する制御情報を順次参照し、入力画像の画素単位毎に、複数の画像記録手段に記録された複数の合成用画像情報のいずれかを選択的し、合成用画像情報と入力画像情報との合成を制御する合成制御ステップと、合成制御ステップの処理による制御に基づいて、入力画像の画素単位毎に、入力画像情報および合成制御ステップの処理により選択された合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、入力画像情報と合成用画像情報とを合成する画像情報合成ステップとを含むことを特徴とする。
【００２５】
前記画像記録制御ステップは、合成用画像情報を画素単位のデータとして前記画像記録手段に記録させるように制御することができる。
【００２６】
前記制御ステップは、さらに、制御情報の供給を制御することができる。
【００２８】
前記合成制御ステップは、入力画像の画素単位毎に、入力画像に重畳させる合成用画像に対応する合成用画像情報を、制御情報に基づいて、画像記録制御ステップの処理により制御されて複数の画像記録手段に記録された複数の合成用画像情報のそれぞれについて、入力画像情報に合成するか否かを判定し、合成すると判定した合成用画像情報を画像記録手段より出力させ、入力画像情報に合成させるように制御し、画像情報合成ステップは、合成制御ステップの処理による制御に基づいて、入力画像情報と出力された合成用画像情報とを合成し、入力画像の画素単位毎に、入力画像と合成用画像を重畳させることができる。
【００２９】
前記合成制御ステップは、入力画像の画素単位毎に、画像記録制御ステップの処理により制御されて複数の画像記録手段に記録された複数の合成用画像情報に対応する合成用画像を入力画像に混合させる際の、各画像情報の混合比を指定する制御情報に基づいて、画像記録制御ステップの処理により制御されて複数の画像記録手段に記録された複数の合成用画像情報を、指定された混合比で入力画像情報に合成させるように制御し、画像情報合成ステップは、合成制御ステップの処理による制御に基づいて、入力画像情報と合成用画像情報とを合成し、入力画像の画素単位毎に、入力画像と合成用画像を指定された混合比で混合させることができる。
【００３６】
本発明の撮像装置は、被写体を撮像し、得られた、動画像の画像情報である撮像画像情報を取り込む撮像手段と、撮像手段により取り込まれた撮像画像情報に合成する複数の合成用画像情報の供給を制御する制御手段と、制御手段により制御されて供給される合成用画像情報を記録する複数の画像記録手段と、撮像画像情報に付加された同期信号を分離する同期信号分離手段と、同期信号分離手段により撮像画像情報より分離された同期信号に基づいて、撮像画像情報に対応する撮像画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成手段と、撮像画像の画素単位毎に複数の画像記録手段に記録された合成用画像情報を合成するか否かを指示する制御情報を記憶し、撮像画像のアドレス情報に基づいて制御情報を順次参照し、撮像画像の画素単位毎に、複数の画像記録手段に記録された複数の合成用画像情報のいずれかを選択し、合成用画像情報と撮像画像情報との合成を制御する合成制御手段と、合成制御手段による制御に基づいて、撮像画像の画素単位毎に、撮像画像情報および合成制御手段により選択された合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、撮像画像情報と出力された合成用画像情報とを合成する画像情報合成手段とを備え、制御手段は、複数の画像記録手段のうちのいずれかが合成用画像情報の出力処理を行っているとき、出力処理を行っていない画像記録手段に対して合成用画像情報を供給することを特徴とする。
【００３７】
本発明においては、複数の画像記録手段のうちのいずれかが合成用画像情報の出力処理を行っているとき、その出力処理を行っていない画像記録手段に対して合成用画像情報が供給され、その供給された複数の合成用画像情報が画像記録手段に記録され、動画像の画像情報である入力画像情報に付加された同期信号が分離され、入力画像情報より分離された同期信号に基づいて、入力画像情報に対応する入力画像における画面内の位置を示すアドレス情報が生成され、入力画像の画素単位毎に複数の画像記録手段に記録された合成用画像情報を合成するか否かを指示する制御情報が記憶され、生成されたアドレス情報に基づいて、制御情報が順次参照され、入力画像の画素単位毎に、複数の画像記録手段に記録された複数の合成用画像情報のいずれかが選択され、合成用画像情報と入力画像情報との合成が制御され、その制御に基づいて、入力画像の画素単位毎に、入力画像情報および選択された合成用画像情報の内、いずれか一方が出力画像信号として選択されることにより、入力画像情報と出力された合成用画像情報とが合成される。
【００３８】
【発明の実施の形態】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３９】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定したりするものではない。
【００４０】
［請求項１］ 入力画像信号に含まれる、動画像の画像情報である入力画像情報に、前記入力画像情報と異なる画像情報である合成用画像情報を合成する画像処理装置（例えば、図１の画像合成装置１または図８の画像合成装置１５０）において、
前記合成用画像の供給を制御する制御手段（例えば、図１の制御部１３）と、
前記制御手段により制御されて供給される前記合成用画像情報を記録する複数の画像記録手段（例えば、図１または図８の第１プレーンメモリ１８および第２プレーンメモリ１９）と、
前記入力画像情報に付加された同期信号を分離する同期信号分離手段（例えば、図１または図８の同期信号分離処理部１１）と、
前記同期信号分離手段により前記入力画像情報より分離された前記同期信号に基づいて、前記入力画像情報に対応する入力画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成手段（例えば、図１または図８のアドレス発生カウンタ１２）と、
前記入力画像の画素単位毎に前記複数の画像記録手段に記録された前記合成用画像情報を合成するか否かを指示する制御情報を記憶し、前記アドレス情報生成手段により生成された前記アドレス情報に基づいて、前記制御情報を順次参照し、前記入力画像（例えば、図６Ａの入力画像９１または図１２Ａの入力画像２１１）の画素単位（例えば、図７Ｃの領域１４２乃至領域１４４、または図１４Ｂの領域２８２乃至２８４）毎に、複数の前記画像記録手段に記録された複数の前記合成用画像情報のいずれかを選択し、前記合成用画像情報と前記入力画像情報との合成を制御する合成制御手段（例えば、図１の重ね合わせ順序制御部２０または図８の混合比率制御部１５２）と、
前記合成制御手段による制御に基づいて、前記入力画像の画素単位毎に、前記入力画像情報および前記合成制御手段により選択された前記合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、前記入力画像情報と前記出力された合成用画像情報とを合成する画像情報合成手段（例えば、図１のスイッチ回路２１および２２、または、図８の乗算器１５３乃至１５５並びに加算器１５６）と
を備え、
前記制御手段は、複数の前記画像記録手段のうちのいずれかが前記合成用画像情報の出力処理を行っているとき、前記出力処理を行っていない前記画像記録手段に対して前記合成用画像情報を供給する
ことを特徴とする画像処理装置。
［請求項２］ 前記合成用画像保持手段は、前記合成用画像情報を画素単位のデータ（例えば、図２Ａの画素単位のデータ３１）として保持する
ことを特徴とする請求項１に記載の画像処理装置。
［請求項３］ 前記制御手段は、さらに、前記制御情報の前記合成制御手段への供給を制御する（例えば、図４のステップＳ２およびステップＳ５）
ことを特徴とする請求項１に記載の画像処理装置。
［請求項４］ 前記合成制御手段は、前記制御情報に基づいて、複数の前記画像記録手段に記録された複数の前記合成用画像情報のそれぞれについて、前記入力画像情報に合成するか否かを判定し（例えば、図５のステップＳ１３およびステップＳ１５）、合成すると判定した前記合成用画像情報を前記画像記録手段より出力させ、前記入力画像情報に合成させるように制御し、
前記画像情報合成手段は、前記合成制御手段による制御に基づいて、前記入力画像情報と前記出力された合成用画像情報とを合成し、前記入力画像の画素単位毎に、前記入力画像と前記合成用画像を重畳させる（例えば、図５のステップＳ１４およびステップＳ１６）
ことを特徴とする請求項３に記載の画像処理装置。
［請求項５］ 前記制御情報は、前記入力画像の画素単位毎に、複数の前記画像記録手段に記録された複数の前記合成用画像情報に対応する前記合成用画像を前記入力画像に混合させる際の、各画像情報の混合比を指定する情報（例えば、図１３Ａの画像２４１に対応する混合比率制御情報）であり、
前記合成制御手段は、前記制御情報に基づいて、複数の前記画像記録手段に記録された複数の前記合成用画像情報を、指定された混合比で前記入力画像情報に合成させるように制御し（例えば、図１１のステップＳ５３）、
前記画像情報合成手段は、前記合成制御手段による制御に基づいて、前記入力画像情報と前記合成用画像情報とを合成し、前記入力画像の画素単位毎に、前記入力画像と前記合成用画像を指定された混合比で混合させる（例えば、図１１のステップＳ５５乃至ステップＳ５７）
ことを特徴とする請求項３に記載の画像処理装置。
［請求項６］ 入力画像信号に含まれる、動画像の画像情報である入力画像情報に、前記入力画像情報と異なる画像情報である合成用画像情報を合成する画像処理装置（例えば、図１の画像合成装置１または図８の画像合成装置１５０）の画像処理方法であって、
前記合成画像を記録する複数の画像記録手段（例えば、図１または図８の第１プレーンメモリ１８および第２プレーンメモリ１９）を有し、
複数の前記画像記録手段のうちのいずれかが前記合成用画像情報の出力処理を行っているとき、前記出力処理を行っていない前記画像記録手段に対して前記合成用画像情報を供給させるように制御する制御ステップ（例えば、図４のステップＳ２およびステップＳ５）と、
複数の前記画像記録手段を制御し、前記制御ステップに制御されて供給される前記合成用画像情報を記録させる画像記録制御ステップ（例えば、図４のステップＳ３およびステップＳ６、または、図１０のステップＳ４３およびステップＳ４６）と、
前記入力画像情報に付加された同期信号を分離する同期信号分離ステップ（例えば、図５のステップＳ１１）と、
前記同期信号分離ステップの処理により前記入力画像情報より分離された前記同期信号に基づいて、前記入力画像情報に対応する入力画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成ステップ（例えば、図５のステップＳ１２）と、
前記アドレス情報生成ステップの処理により生成された前記入力画像のアドレス情報に基づいて、前記入力画像の画素単位毎に前記複数の画像記録手段に記録された前記合成用画像情報を合成するか否かを指示する制御情報を順次参照し、前記入力画像（例えば、図６Ａの入力画像９１または図１２Ａの入力画像２１１）の画素単位毎に（例えば、図７Ｃの領域１４２乃至領域１４４、または図１４Ｂの領域２８２乃至２８４）、複数の前記画像記録手段に記録された複数の前記合成用画像情報のいずれかを選択し、前記合成用画像情報と前記入力画像情報との合成を制御する合成制御ステップ（例えば、図５のステップＳ１３およびステップＳ１５、または、図１１のステップＳ５３）と、
前記合成制御ステップの処理による制御に基づいて、前記入力画像の画素単位毎に、前記入力画像情報および前記合成制御ステップの処理により選択された前記合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、前記入力画像情報と前記合成用画像情報とを合成する画像情報合成ステップ（例えば、図５のステップＳ１４およびステップＳ１６、または、図１１のステップＳ５５乃至ステップＳ５７）と
を含むことを特徴とする画像処理方法。
［請求項７］ 前記画像記録制御ステップは、前記合成用画像情報を画素単位のデータ（例えば、図２Ａの画素単位のデータ３１）として前記画像記録手段に記録させるように制御する
ことを特徴とする請求項６に記載の画像処理方法。
［請求項８］ 前記制御ステップは、さらに、前記制御情報の供給を制御する（例えば、図４のステップＳ２およびステップＳ５）
ことを特徴とする請求項６に記載の画像処理方法。
［請求項９］ 前記合成制御ステップは、前記入力画像の画素単位毎に、前記入力画像に重畳させる合成用画像に対応する前記合成用画像情報を、前記制御情報（例えば、図７Ａの画像１２１に対応する重ね合わせ制御情報）に基づいて、前記画像記録制御ステップの処理により制御されて複数の前記画像記録手段に記録された複数の前記合成用画像情報のそれぞれについて、前記入力画像情報に合成するか否かを判定し（例えば、図５のステップＳ１３およびステップＳ１５）、合成すると判定した前記合成用画像情報を前記画像記録手段より出力させ、前記入力画像情報に合成させるように制御し、
前記画像情報合成ステップは、前記合成制御ステップの処理による制御に基づいて、前記入力画像情報と前記出力された合成用画像情報とを合成し、前記入力画像の画素単位毎に、前記入力画像と前記合成用画像を重畳させる（例えば、図５のステップＳ１４およびステップＳ１６）
ことを特徴とする請求項８に記載の画像処理方法。
［請求項１０］ 前記合成制御ステップは、前記入力画像の画素単位毎に、前記画像記録制御ステップの処理により制御されて複数の前記画像記録手段に記録された複数の前記合成用画像情報に対応する前記合成用画像を前記入力画像に混合させる際の、各画像情報の混合比を指定する前記制御情報（例えば、図１３Ａの画像２４１に対応する混合比率制御情報）に基づいて、前記画像記録制御ステップの処理により制御されて複数の前記画像記録手段に記録された複数の前記合成用画像情報を、指定された混合比で前記入力画像情報に合成させるように制御し（例えば、図１１のステップＳ５３）、
前記画像情報合成ステップは、前記合成制御ステップの処理による制御に基づいて、前記入力画像情報と前記合成用画像情報とを合成し、前記入力画像の画素単位毎に、前記入力画像と前記合成用画像を指定された混合比で混合させる（例えば、図１１のステップＳ５５乃至ステップＳ５７）
ことを特徴とする請求項８に記載の画像処理方法。
［請求項１１］ 被写体を撮像し、得られた、動画像の画像情報である撮像画像情報を取り込む撮像手段（例えば、図１５のカメラ部３１０）と、
前記撮像手段により取り込まれた撮像画像情報に合成する複数の合成用画像情報の供給を制御する制御手段（例えば、図１の制御部１３）と、
前記制御手段により制御されて供給される前記合成用画像情報を記録する複数の画像記録手段（例えば、図１または図８の第１プレーンメモリ１８および第２プレーンメモリ１９）と、
前記撮像画像情報に付加された同期信号を分離する同期信号分離手段（例えば、図１または図８の同期信号分離処理部１１）と、
前記同期信号分離手段により前記撮像画像情報より分離された前記同期信号に基づいて、前記撮像画像情報に対応する撮像画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成手段（例えば、図１または図８のアドレス発生カウンタ１２）と、
前記撮像画像の画素単位毎に前記複数の画像記録手段に記録された前記合成用画像情報を合成するか否かを指示する制御情報を記憶し、前記撮像画像のアドレス情報に基づいて前記制御情報を順次参照し、前記撮像画像の画素単位毎に、複数の前記画像記録手段に記録された複数の前記合成用画像情報のいずれかを選択し、前記合成用画像情報と前記撮像画像情報との合成を制御する合成制御手段（例えば、図１の重ね合わせ順序制御部２０または図８の混合比率制御部１５２）と、
前記合成制御手段による制御に基づいて、前記撮像画像の画素単位毎に、前記撮像画像情報および前記合成制御手段により選択された前記合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、前記撮像画像情報と前記出力された合成用画像情報とを合成する画像情報合成手段（例えば、図１のスイッチ回路２１および２２、または、図８の乗算器１５３乃至１５５並びに加算器１５６）と
を備え、
前記制御手段は、複数の前記画像記録手段のうちのいずれかが前記合成用画像情報の出力処理を行っているとき、前記出力処理を行っていない前記画像記録手段に対して前記合成用画像情報を供給する
ことを特徴とする撮像装置（例えば、図１５のカムコーダ３００）。
【００４１】
以下に、本発明の実施の形態について図面を参照して説明する。
【００４２】
図１は、本発明を適用した画像合成装置の構成例を示す図である。
【００４３】
図１において、画像合成装置１は、例えば、NTSC（National Television Standards Committee）方式やPAL（Phase Alternation by Line）方式のテレビジョン信号に含まれている画像信号のような入力画像信号に対応する画像の一部または全部に、文字や図形等を表す他の画像を挿入し、出力画像信号として出力する装置である。すなわち、画像合成装置１は、入力画像信号に含まれる入力画像情報に、他の画像情報である合成用画像情報を選択的に合成し、出力する。このとき、画像合成装置１は、入力画像信号に対応する画像の画面内における複数の領域に文字や図形等が、その領域毎に、互いに独立的に合成されるように、画像情報を合成することができる。例えば、画像合成装置１は、入力画像信号に対応する画像に挿入された他の画像の一部を変形させたり、さらに他の画像に切り替えたり、他の位置に移動させたりすることができる。
【００４４】
画像合成装置１の同期信号分離処理部１１は、図示は省略するが振幅分離処理部および周波数分離処理部により構成され、入力画像信号より垂直同期信号や水平同期信号を抽出し、アドレス発生カウンタ１２に供給する。例えば、入力画像信号がNTSC方式の画像信号である場合、入力画像信号には周波数が約６０Hzの垂直同期信号と、周波数が約15.75kHzの水平同期信号が含まれている。同期信号分離処理部１１は、まず、振幅分離処理部により、これらの垂直同期信号および水平同期信号の両方を含む同期信号を入力画像信号から抽出する。そして、同期信号分離処理部１１は、周波数分離処理部により、抽出した同期信号から垂直同期信号と水平同期信号を分離し、それぞれをアドレス発生カウンタ１２に出力する。
【００４５】
なお、同期信号分離処理部１１は、入力画像信号に含まれる同期信号を抽出できればよく、その構成は、上述した以外の構成であってもよい。
【００４６】
アドレス発生カウンタ１２は、カウンタ回路を内蔵し、取得した垂直同期信号および水平同期信号のパルス数をカウントして、それらの同期信号に基づいたアドレス情報を発生し、制御部１３、第１プレーンメモリ１８、第２プレーンメモリ１９、および重ね合わせ順序制御部２０にそのアドレス情報を供給する。
【００４７】
このアドレス情報は、入力画像信号に含まれる入力画像情報の、１画面分の画像における位置情報であり、スイッチ回路２２において、合成用画像情報が、入力画像信号に同期した状態で、入力画像信号に含まれる入力画像情報に合成されるようにするための情報である。例えば、入力画像信号がNTSC方式の画像信号である場合、この入力画像信号は、インターレス方式の画像信号であるため、垂直同期信号の１周期を１Ｖとすると２Ｖ（２周期）で１画面分の情報を構成する。このような場合、アドレス発生カウンタ１２は、垂直同期信号および水平同期信号に基づいて、垂直同期信号２周期分（２Ｖ）を１周期とするアドレス情報を発生する。また、入力画像信号がノンインターレス方式の画像信号である場合、アドレス発生カウンタ１２は、垂直同期信号および水平同期信号に基づいて、垂直同期信号１周期分（１Ｖ）を１周期とするアドレス情報を発生する。
【００４８】
なお、アドレス情報発生カウンタ１２は、上述したようなアドレス情報を発生し、制御部１３、第１プレーンメモリ１８、第２プレーンメモリ１９、および重ね合わせ順序制御部２０にそのアドレス情報を供給できればよく、その構成は、上述した以外の構成であってもよい。
【００４９】
制御部１３は、図示は省略するが、制御処理部、演算部、記憶部等を内蔵しており、画像合成装置１の外部より供給されたプログラムやデータを、入力端子１４を介して取得したり、ROM１５を制御し、ROM１５に記憶されているプログラムやデータを取得したり、ドライブ１６を制御し、ドライブ１６に装着されたリムーバブルメディア１７より読み出されたプログラムやデータを取得したりする。そして、そのようにして取得したプログラムやデータに基づいて、制御部１３は、第１プレーンメモリ１８、第２プレーンメモリ１９、重ね合わせ順序制御部２０、並びに、スイッチ回路２１および２２の制御処理を行う。
【００５０】
具体的には、制御部１３は、上述したようにしてデータとして取得した重ね合わせ制御情報、または、上述したようにして取得したプログラムを実行して生成した重ね合わせ制御情報を、アドレス発生カウンタ１２より供給されたアドレス情報に基づいて、重ね合わせ順序制御部２０に供給することにより、重ね合わせ順序制御部２０の動作を制御するとともに、重ね合わせ順序制御部２０を介してスイッチ回路２１および２２の動作を制御する。
【００５１】
また、制御部１３は、上述したようにしてデータとして取得した、入力画像信号に含まれる入力画像情報に合成させる非圧縮の合成用画像情報、または、上述したようにして取得したプログラムを実行して生成した合成用画像情報を、アドレス発生カウンタ１２より供給されたアドレス情報に基づいて、第１プレーンメモリ１８または第２プレーンメモリ１９に供給することにより、それらの動作を制御する。
【００５２】
なお、その際、第１プレーンメモリ１８が１度に保持する合成用画像情報のデータ量と、第２プレーンメモリ１９が１度に保持する合成用画像情報のデータ量と、さらに、重ね合わせ順序制御部２０が１度に保持する重ね合わせ制御情報の制御に対応する合成用画像情報のデータ量が、例えば同じ画像サイズの１画面分のデータ量に統一される等して、全て同じデータ量であるようにする方が、制御部１３による制御処理が容易になり、その処理の負荷を軽減させることができる。
【００５３】
入力端子１４は、例えば、キーボード等の入力装置、カメラ等の撮像装置、ディスクプレーヤやビデオデッキ等の記録媒体再生装置、またはパーソナルコンピュータ等の画像編集装置等のような、他の装置に接続される。このような他の装置より入力される画像情報や制御情報等の各種の情報は、この入力端子１４を介して、制御部１３に供給される。
【００５４】
ROM１５は、制御部１３において実行されるプログラムや、合成用画像情報や重ね合わせ制御情報等のデータを予め記憶しており、制御部１３の制御に基づいて、それらを制御部１３に供給する。
【００５５】
ドライブ１６には、必要に応じて、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどの記録媒体からなるリムーバブルメディア１７が装着される。ドライブ１６は、制御部１３に制御されて、装着されたリムーバブルメディア１７よりプログラムやデータを読み出し、制御部１３に供給する。
【００５６】
第１プレーンメモリ１８は、例えばDRAM（Dynamic Random Access Memory）等の半導体メモリからなる記憶領域と、その記憶領域の入出力を制御する制御部を有しており、制御部１３より供給される、入力画像信号に含まれる入力画像情報に選択的に合成させる非圧縮の合成用画像情報を、例えば１画面分保持し、スイッチ回路２１の要求に応じて、アドレス発生カウンタ１２より供給されるアドレス情報に基づいて、以上のように保持している合成用画像情報をスイッチ回路２１に出力する。
【００５７】
第１プレーンメモリ１８は、例えば、図２Ａに示されるように、その記憶領域３０に、画素単位のデータである（ビットマップ形式の）非圧縮の合成用画像情報を１画面分保持する。このとき、第１プレーンメモリ１８は、合成用画像情報の画素単位のデータ３１に対して、それぞれ８ビットを割り当て、各画素の色情報が８ビット以下で表現される合成用画像情報を保持する。入力画像信号に含まれる入力画像情報の有効画素数が、４８０×７２０ピクセルであるとすると、第１プレーンメモリ１８は、例えば、記憶領域３０の、１バイト単位のアドレス０Ｈ乃至５４６００Ｈの領域を用いて、入力画像信号に含まれる画像情報と同じ画像サイズ（４８０×７２０ピクセル）の合成用画像情報を保持する。
【００５８】
そして、スイッチ回路２１に合成用画像情報の出力を要求された場合、第１プレーンメモリ１８は、このように保持されている合成用画像情報の、アドレス情報に対応する部分を読み出し、スイッチ回路２１に供給する。
【００５９】
なお、第１プレーンメモリ１８が１度に保持する合成用画像情報のデータ量は、１画面分より大きくても小さくてもよく、どのような大きさであってもよい。また、第１プレーンメモリ１８が合成用画像情報の各画素のデータに対して割り当てるビット数は、９ビット以上であっても良いし、７ビット以下であってももちろん良い。
【００６０】
また、第１プレーンメモリ１８は、図２Ａに示されるように、合成用画像情報を非圧縮の形式で画素単位のデータとして（ビットマップ方式で）保持するように説明したが、それ以外にも、例えば図２Ｂに示されるように、色情報が同じである画素の並びに基づいて合成用画像情報をテーブル化した情報を保持するようにしてもよい。
【００６１】
図２Ｂにおいては、第１プレーンメモリ１８は、制御部１３より供給された合成用画像情報を表現するテーブル４０を保持している。テーブル４０は、色情報が同じである連続する画素がグループ化された画素列に関する情報のテーブルであり、その画素列の１画面上における開始アドレスを示す開始アドレス欄４１、画素列の１画面上における終了アドレスを示す終了アドレス欄４２、および、その画素列の色情報を示す色欄４３により構成される。
【００６２】
例えば、テーブル４０において、行４４には、合成用画像情報に対応する画像の１画面上におけるアドレス「aaaa」乃至「bbbb」の画素列の色情報が「cccc」であることが示されている。
【００６３】
この場合、第１プレーンメモリ１８は、スイッチ回路２１の要求に応じて、テーブル４０の、アドレス情報に対応する行の色欄の情報を読み出し、合成用画像情報としてスイッチ回路２１に供給する。
【００６４】
なお、第１プレーンメモリ１８は、色情報だけでなく、輝度情報も含めてテーブル化した情報を保持するようにしてももちろんよい。
【００６５】
第２プレーンメモリ１９は、第１プレーンメモリ１８の場合と同様の構成であり、図２を参照して上述した構成を第２プレーンメモリの場合にも適用することができるので、その説明を省略する。
【００６６】
なお、第１プレーンメモリ１８および第２プレーンメモリ１９は合成用画像情報を保持することができればよく、その記憶領域は、半導体メモリだけでなく、例えば、磁気ディスク、光ディスク、光磁気ディスク等により構成されるようにしてもよい。また、それ以外の記録媒体により構成されるようにしてももちろんよい。ただし、第１プレーンメモリ１８および第２プレーンメモリ１９は、ある程度短時間の内に、合成用画像情報を記憶したり出力したりしなければならないため、その記憶領域は、ある程度高速に情報を入出力可能な記憶領域である必要があり、半導体メモリにより構成されるようにするのが望ましい。
【００６７】
また、第１プレーンメモリ１８および第２プレーンメモリ１９の記憶容量はどのような大きさであっても良いが、例えば、１ライン分の合成用画像情報しか記憶できない程度の大きさであると、制御部１３による書き換え処理の負担が大きくなってしまう恐れがある。従って、第１プレーンメモリ１８および第２プレーンメモリ１９の記憶容量は、通常、１度に１画面分以上の合成用画像情報を記憶する程度の大きさであるのが望ましい。すなわち、第１プレーンメモリ１８および第２プレーンメモリ１９の記憶領域は、SRAM（Static Random Access Memory）よりも安価に大容量の記憶領域を実現できるDRAMにより構成されるようにするのが望ましい。
【００６８】
重ね合わせ順序制御部２０は、記憶部２０Ａを有しており、制御部１３に供給される重ね合わせ制御情報を記憶し、その重ね合わせ制御情報と、アドレス発生カウンタ１２より供給されるアドレス情報に基づいて、スイッチ回路２１および２２の動作を制御し、入力画像信号に含まれる入力画像情報と合成用画像情報との合成処理を制御する。
【００６９】
重ね合わせ順序制御部２０は、例えば、図３Ａに示されるように、その記憶部２０Ａの記憶領域５０に、入力画像信号の入力画像と合成用画像との合成を画素単位で制御する重ね合わせ制御情報５１を１画面分保持する。画素単位の重ね合わせ制御情報５１は、ビット６１および６２の２ビットで構成され、第１プレーンメモリ１８または第２プレーンメモリ１９に保持されている合成用画像情報を、入力画像信号の入力画像情報に合成するか否かを指示する画素単位の制御情報である。入力画像信号に含まれる入力画像情報の有効画素数が、４８０×７２０ピクセルであるとすると、重ね合わせ順序制御部２０は、例えば、記憶領域５０の、２ビット単位のアドレス０Ｈ乃至５４６００Ｈの領域を用いて、入力画像信号に含まれる入力画像情報と同じ画像サイズ（４８０×７２０ピクセル）に対応する制御情報を保持する。
【００７０】
なお、重ね合わせ順序制御部２０が保持する重ね合わせ制御情報自体のデータ量は、例えば、図３Ａに示されるように、１つの合成用画像情報のデータ量より小さい方が、制御部１３の処理の負荷を軽減させることができるので望ましい。図３Ａの場合、重ね合わせ制御情報の１画素分のデータ量は２ビットであり、１画素分のデータが８ビットで構成される合成用画像情報のデータ量と比較して小さくなるように設定されている。
【００７１】
重ね合わせ順序制御部２０は、このように保持している画素単位の重ね合わせ制御情報を、アドレス情報に基づいて順次参照し、スイッチ回路２１および２２の動作を制御する。従って、重ね合わせ順序制御部２０は、入力画像信号に対応する画像の画素単位の制御を行うことができ、入力画像信号に対応する画像の画面内における任意の位置において、第１プレーンメモリ１８または第２プレーンメモリ１９のいずれかに記憶されている合成用画像情報の画像（合成用画像情報の画像の、画面内位置が対応する部分）を選択的に合成させることができる。
【００７２】
なお、重ね合わせ順序制御部２０が１度に保持する重ね合わせ制御情報のデータ量は、１画面分より大きくても小さくてもよく、どのような大きさであってもよい。また、重ね合わせ順序制御部２０は、各ビット単位の制御情報２０Ａに対して、割り当てるビット数は、何ビットであってもよい。
【００７３】
また、重ね合わせ順序制御部２０は、図３Ａに示される方法以外にも、例えば図３Ｂに示されるように、合成する画像情報が同じである画素の並びに基づいて、重ね合わせ制御情報をテーブル化した情報（制御内容が変化する変化点をテーブル化した情報）を保持するようにしてもよい。
【００７４】
図３Ｂにおいては、重ね合わせ順序制御部２０は、制御部１３より供給された重ね合わせ制御情報を表現するテーブル７０を保持している。テーブル７０は、合成する画像情報が同じである連続する画素について、制御情報をグループ化した画素列毎の重ね合わせ制御情報のテーブルであり、その画素列の１画面上における開始アドレスを示す開始アドレス欄７１、画素列の１画面上における終了アドレスを示す終了アドレス欄７２、および、その画素列において選択された合成用画像情報を示す選択合成画像情報欄７３により構成される。
【００７５】
例えば、テーブル７０において、行８１には、合成用画像情報に対応する画像の１画面上におけるアドレス「aaaa」乃至「bbbb」の画素列に合成される合成画像情報が「第１プレーンメモリ」１８に保持されている合成用画像情報であることが示されている。
【００７６】
この場合、重ね合わせ順序制御部２０は、テーブル７０の、アドレス情報に対応する行の選択合成画像情報欄７３の情報を参照し、その合成用画像情報を入力画像信号に含まれる入力画像情報に合成するように、スイッチ回路２１および２２を制御する。
【００７７】
スイッチ回路２１は、２つの入力と１つの出力を備えるスイッチ回路であり、第１プレーンメモリ１８または第２プレーンメモリ１９の出力が供給されるようになされている。スイッチ回路２１は、重ね合わせ順序制御部２０に制御されて入力側の接続を切り替え、第１プレーンメモリ１８または第２プレーンメモリ１９のいずれか一方を選択的にスイッチ回路２２に接続し、接続した方のプレーンメモリに対して合成用画像情報の出力を要求する。すなわち、スイッチ回路２１は、重ね合わせ順序制御部２０の制御に基づいて、第１プレーンメモリ１８または第２プレーンメモリ１９のいずれか一方からスイッチ回路２２に合成画像情報が供給されるように制御する。
【００７８】
スイッチ回路２２は、２つの入力と１つの出力を備えるスイッチ回路であり、画像入力信号、およびスイッチ回路２１の出力が供給されるようになされている。スイッチ回路２２は、重ね合わせ順序制御部２０に制御されて入力側の接続を切り替え、供給される画像入力信号、およびスイッチ回路２１の出力（第１プレーンメモリ１８または第２プレーンメモリ１９の出力）の内、いずれか一方を選択的に、出力画像信号として、画像合成装置１の外部に出力する。
【００７９】
次に、動作について説明する。
【００８０】
画像合成装置１に入力された非圧縮の入力画像信号は、同期信号分離処理部１１に供給され、垂直同期信号および水平同期信号等の同期信号を抽出される。同期信号分離処理部１１は、入力画像信号に含まれる同期信号を、その振幅や周波数等の特徴に基づいて抽出する。抽出された同期信号は、アドレス発生カウンタ１２に供給され、画面上の位置を示すアドレス情報に変換され、制御部１３、第１プレーンメモリ１８、第２プレーンメモリ１９、および重ね合わせ順序制御部２０に供給される。
【００８１】
制御部１３は、入力端子１４、ROM１５、またはドライブ１６に装着されたリムーバブルメディア１７よりプログラムやデータを取得し、そのプログラムを実行する等して、アドレス発生カウンタ１２より供給されたアドレス情報に基づいたタイミングで、合成用画像情報を第１プレーンメモリ１８または第２プレーンメモリ１９に供給する。
【００８２】
制御部１３は、第１プレーンメモリ１８と第２プレーンメモリ１９に、互いに異なる合成用画像情報を供給する。このようにすることにより、後述するように、制御部１３に負荷をかけずに、入力画像信号に対応する画像の一部または全部に挿入する画像を切り替えることができる。
【００８３】
また、制御部１３は、合成用画像情報の出力処理が行われていない側のプレーンメモリに対して新たな合成用画像情報を供給することができる。従って、制御部１３は、例えば、他方のプレーンメモリが合成用画像情報の出力処理を行っている間等、入力画像信号に含まれる入力画像情報の垂直ブランキング期間以外のタイミングにおいても新たな合成用画像情報を供給することができ、合成用画像情報の供給処理の負荷を軽減させることができる。これにより、制御部１３に必要な性能を下げることができるので、制御部１３の製造コストを低減させることができる。
【００８４】
なお、プレーンメモリの数は、図１において２つであるように説明したが、これに限らず、３個以上であってももちろんよい。
【００８５】
第１プレーンメモリ１８または第２プレーンメモリ１９は、以上のように制御部１３により供給された合成画像情報を保持する。そして、スイッチ回路２１からの要求に応じて、保持している合成用画像情報のアドレス情報に対応する部分をスイッチ回路２１に出力する。
【００８６】
また、制御部１３は、入力端子１４、ROM１５、またはドライブ１６に装着されたリムーバブルメディア１７よりプログラムやデータを取得し、そのプログラムを実行する等して、アドレス発生カウンタ１２より供給されたアドレス情報に基づいたタイミングで、重ね合わせ制御情報を重ね合わせ順序制御部２０に供給する。
【００８７】
重ね合わせ順序制御部２０は、制御部１３より供給された重ね合わせ制御情報を、内蔵する記憶部２０Ａに保持し、アドレス発生カウンタ１２より供給されるアドレス情報に基づいて、保持している重ね合わせ制御情報を参照し、スイッチ回路２１および２２の動作を制御する。
【００８８】
スイッチ回路２１は、重ね合わせ順序制御部２０による制御に基づいて、第１プレーンメモリ１８および第２プレーンメモリ１９に記憶されている合成用画像情報のいずれか一方を読み出し、スイッチ回路２２に供給する。スイッチ回路２２は、重ね合わせ順序制御部２０による制御に基づいて、入力画像信号またはスイッチ回路２１の出力のいずれか一方を選択し、出力画像信号として画像合成装置１の外部に出力する。
【００８９】
以上のようにすることにより、画像合成装置１は、入力画像信号に含まれる入力画像情報に合成用画像情報を選択的に合成し、出力画像信号として出力することができる。また、画像合成装置１は、回路規模や製造コストを抑えたまま、容易に、複数の画像情報を合成することができる。
【００９０】
次に、図１の画像情勢装置１による画像合成処理を、図４および図５のフローチャートを参照して説明する。また、必要に応じて図６および図７を参照して説明する。
【００９１】
最初に、ステップＳ１において、制御部１３は、第１の合成用画像情報を生成するか否かを判定する。生成すると判定した場合、制御部１３は、ステップＳ２に処理を進め、第１の合成用画像情報を生成する。そして、制御部１３は、その生成した第１の合成用画像情報を第１プレーンメモリ１８に供給する。第１の合成用画像情報を供給された第１プレーンメモリ１８は、ステップＳ３において、供給された第１の合成用画像情報を保持し、ステップＳ４に処理を進める。
【００９２】
例えば、入力画像信号に含まれる入力画像情報に対応する入力画像が、図６Ａに示されるような入力画像９１であるとき、制御部１３は、図６Ｂに示されるような、入力画像９１と同じ画像サイズの第１の合成用画像１０１に対応する第１の合成用画像情報を生成し、第１プレーンメモリ１８に供給する。第１の合成用画像１０１は、「あいう」の文字を含む領域１０２、「１２３」の文字を含む領域１０３、並びに、それ以外の領域１０４により構成される。すなわち、第１の合成用画像１０１は、「あいう」および「１２３」の文字を入力画像９１に挿入させるための画像である。第１プレーンメモリ１８は、ステップＳ３において、供給されたこの第１の合成用画像１０１に対応する第１の合成用画像情報を保持する。
【００９３】
また、ステップＳ１において、第１の合成用画像情報を生成しないと判定した場合、制御部１３は、ステップＳ２およびＳ３の処理を省略するように制御し、ステップＳ４に処理を進める。
【００９４】
ステップＳ４において、制御部１３は、第２の合成用画像情報を生成するか否かを判定する。生成すると判定した場合、制御部１３は、ステップＳ５に処理を進め、第２の合成用画像情報を生成する。そして、制御部１３は、その生成した第２の合成用画像情報を第２プレーンメモリ１９に供給する。第２の合成用画像情報を供給された第２プレーンメモリ１９は、ステップＳ６において、供給された第２の合成用画像情報を保持し、ステップＳ７に処理を進める。
【００９５】
例えば、制御部１３は、図６Ｃに示されるような、入力画像９１と同じ画像サイズの第２の合成用画像１１１に対応する第２の合成用画像情報を生成し、第２プレーンメモリ１９に供給する。第２の合成用画像１１１は、「ＡＢＣ」の文字を含む領域１１２、「４５６」の文字を含む領域１１３、並びに、それ以外の領域１１４により構成される。すなわち、第２の合成用画像１１１は、「ＡＢＣ」および「４５６」の文字を入力画像９１に挿入させるための画像である。
【００９６】
なお、ここでは、説明を簡単にするために、図６Ｃに示される第２の合成用画像１１１における領域１１２の位置や大きさは、図６Ｂに示される第１の合成用画像１０１における領域１０２のそれに対応させてあり、同様に、第２の合成用画像１１１における領域１１３の位置や大きさは、第１の合成用画像１０１における領域１０３のそれに対応させてある。これらの領域の位置や大きさ等は、互いに独立であってももちろんよい。
【００９７】
第２プレーンメモリ１９は、ステップＳ６において、供給されたこの第２の合成用画像１１１に対応する第２の合成用画像情報を保持する。
【００９８】
また、ステップＳ４において、第２の合成用画像情報を生成しないと判定した場合、制御部１３は、ステップＳ５およびＳ６の処理を省略するように制御し、ステップＳ７に処理を進める。
【００９９】
ステップＳ７において、制御部１３は、入力画像信号に含まれる入力画像情報に合成用画像情報を合成する（入力画像信号に対応する画像に、合成用画像情報に対応する画像を挿入する）為の制御情報である重ね合わせ制御情報を生成するか否かを判定する。重ね合わせ制御情報を生成すると判定した場合、制御部１３は、ステップＳ８に処理を進め、重ね合わせ制御情報を生成し、重ね合わせ順序制御部２０に供給する。重ね合わせ制御情報を供給された重ね合わせ順序制御部２０は、ステップＳ９において、その重ね合わせ制御情報を保持し、図５のステップＳ１１に処理を進める。
【０１００】
例えば、制御部１３は、図７Ａに示されるような、入力画像９１と同じ画像サイズの画像１２１に対応する重ね合わせ制御情報を生成し、重ね合わせ順序制御部２０に供給する。重ね合わせ制御情報に対応する画像１２１は、図６Ｂに示される第１の合成用画像１０１の領域１０２、および、図６Ｃに示される第２の合成用画像１１１の領域１１２と同じ大きさで同じ位置に存在する領域１２２、図６Ｂに示される第１の合成用画像１０１の領域１０３、および、図６Ｃに示される第２の合成用画像１１１の領域１１３と同じ大きさで同じ位置に存在する領域１２３、並びに、それ以外の（図６Ｂに示される第１の合成用画像１０１の領域１０４、および、図６Ｃに示される第２の合成用画像１１１の領域１１４と同じ大きさで同じ位置に存在する）領域１２４により構成されている。
【０１０１】
図７Ａにおいて、重ね合わせ制御情報は、画像１２１の領域１２２において、第１プレーンメモリ１８に保持されている第１の合成用画像情報を出力し、領域１２３において、第２プレーンメモリ１９に保持されている第２の合成用画像情報を出力し、領域１２４において、入力画像情報を出力するようになされている。
【０１０２】
重ね合わせ順序制御部２０は、このような重ね合わせ制御情報に基づいて、後述するように、スイッチ回路２１および２２を制御し、第１の合成用画像情報、第２の合成用画像情報、または、入力画像情報のいずれかを出力させる。
【０１０３】
図４に戻り、ステップＳ７において、重ね合わせ制御情報を生成しないと判定した場合、制御部１３は、ステップＳ８およびＳ９の処理を省略するように制御し、図５のステップＳ１１に処理を進める。
【０１０４】
図５のステップＳ１１において、同期信号分離処理部１１は、供給された入力画像信号より同期信号を分離し、分離した同期信号をアドレス発生カウンタ１２に供給する。ステップＳ１２において、アドレス発生カウンタ１２は、供給された同期信号に基づいて、１画面分を１周期とするアドレス情報を生成し、制御部１３、第１プレーンメモリ１８、第２プレーンメモリ１９、および重ねあわせ順序制御部２０に供給する。
【０１０５】
制御部１３より重ね合わせ制御情報を取得した重ね合わせ順序制御部２０は、ステップＳ１３において、アドレス情報に基づいて注目画素を決定し、制御情報に基づいて、その注目画素において、入力画像信号に含まれる画像情報に第１の合成用画像情報を合成するか否かを判定する。第１の合成用画像情報を合成すると判定した場合、重ね合わせ順序制御部２０は、ステップＳ１４において、スイッチ回路２１および２２を制御し、第１の合成用画像情報を出力画像信号として出力するように制御する。すなわち、スイッチ回路２１は、この重ね合わせ順序制御部２０の制御に基づいて、第１プレーンメモリ１８をスイッチ回路２２に接続し、第１プレーンメモリ１８より第１の合成用画像情報を取得し、スイッチ回路２２に供給する。スイッチ回路２２は、上述した重ね合わせ制御部２０の制御に基づいて、スイッチ回路２１の出力を出力側に接続し、スイッチ回路２１を介して供給された第１の合成用画像情報を出力画像信号として画像合成装置１の外部に出力する。第１の合成用画像情報を出力したスイッチ回路２２は、ステップＳ１８に処理を進める。
【０１０６】
また、ステップＳ１３において、注目画素において、第１の合成用画像情報を合成しないと判定した場合、重ね合わせ順序制御部２０は、ステップＳ１５に処理を進め、注目画素において、入力画像信号に含まれる画像情報に第２の合成用画像情報を合成するか否かを判定する。第２の合成用画像情報を合成すると判定した場合、重ね合わせ順序制御部２０は、ステップＳ１６に処理を進め、スイッチ回路２１および２２を制御し、第２の合成用画像情報を出力画像信号として出力するように制御する。すなわち、スイッチ回路２１は、この重ね合わせ順序制御部２０の制御に基づいて、第２プレーンメモリ１９をスイッチ回路２２に接続し、第２プレーンメモリ１９より第２の合成用画像情報を取得し、スイッチ回路２２に供給する。スイッチ回路２２は、上述した重ね合わせ制御部２０の制御に基づいて、スイッチ回路２１の出力を出力側に接続し、スイッチ回路２１を介して供給された第２の合成用画像情報を出力画像信号として画像合成装置１の外部に出力する。第２の合成用画像情報を出力したスイッチ回路２２は、ステップＳ１８に処理を進める。
【０１０７】
また、ステップＳ１５において、注目画素において、第２の合成用画像情報を合成しないと判定した場合、重ね合わせ順序制御部２０は、ステップＳ１７に処理を進め、スイッチ回路２１および２２を制御し、入力画像信号に含まれる入力画像情報を出力画像信号として出力するように制御する。すなわち、スイッチ回路２２は、上述した重ね合わせ制御部２０の制御に基づいて、入力画像信号が入力される側の入力を出力側に接続し、画像合成装置１の外部より入力された入力画像信号に含まれる入力画像情報を出力画像信号として画像合成装置１の外部に出力する。入力画像情報を出力したスイッチ回路２２は、ステップＳ１８に処理を進める。
【０１０８】
例えば、スイッチ回路２１は、図７Ａに示される画面１２１に対応する重ね合わせ制御情報に基づいた重ね合わせ順序制御部２０の制御により、図６Ｂに示される第１の合成用画像１０１に対応する第１の合成用画像情報と、図６Ｃに示される第２の合成用画像１１１に対応する第２の合成用画像情報とを選択的に出力することにより、図７Ｂに示されるような合成用画像１３１に対応する合成用画像情報をスイッチ回路２２に出力する。
【０１０９】
図７Ｂにおいて、合成用画像１３１は、領域１２２に対応する領域１３２、領域１２３に対応する領域１３３、および、領域１２４に対応する領域１３４により構成されている。領域１３２においては、第１の合成用画像１０１の領域１０２の画像が出力されており、領域１３３においては、第２の合成用画像１１１の領域１１３の画像が出力されている。なお、領域１３４においては、第１の合成用画像１０１と第２の合成用画像１１１のどちらの画像も出力されていない。
【０１１０】
スイッチ回路２２は、図７Ａに示される画面１２１に対応する重ね合わせ制御情報に基づいた重ね合わせ順序制御部２０の制御により、図６Ａに示される入力画像９１に対応する入力画像情報と、図７Ｂに示される合成用画像１３１に対応する合成用画像情報とを選択的に出力することにより、図７Ｃに示されるような出力画像１４１に対応する出力画像情報を出力画像信号として合成画像装置１の外部に出力する。
【０１１１】
図７Ｃにおいて、出力画像１４１は、領域１２２に対応する領域１４２、領域１２３に対応する領域１４３、および、領域１２４に対応する領域１４４により構成されている。領域１４２においては、第１の合成用画像１０１の領域１０２の画像が出力されており、領域１３３においては、第２の合成用画像１１１の領域１１３の画像が出力されており、領域１３４においては、入力画像９１の画像が出力されている。
【０１１２】
このように、画像合成装置１の各部は、第１の合成用画像情報、第２の合成用画像情報、および入力画像情報を任意の領域毎に選択的に合成した出力画像情報を生成し、出力画像信号として画像合成装置１の外部に出力する。
【０１１３】
図５に戻り、ステップＳ１８において、重ね合わせ順序制御部２０は、フレーム内の全ての画素、すなわち、１画面分のデータを処理したか否かを判定し、まだアドレス情報１周期分の画素を処理しておらず、フレーム内の全ての画素を処理していないと判定した場合、ステップＳ１９に処理を進め、アドレス情報に合わせて、次の画素に注目し、処理をステップＳ１３に戻し、それ以降の処理を繰り返す。
【０１１４】
すなわち、画像合成装置１の各部は、ステップＳ１３乃至ステップＳ１９の処理を繰り返すことにより、画素毎に１フレーム分の画像情報を処理する。そして、ステップＳ１８において、フレーム内の全ての画素を処理したと判定した場合、重ね合わせ順序制御部２０は、ステップＳ２０に処理を進める。
【０１１５】
ステップＳ２０において、制御部１３は、画像合成処理を終了するか否かを判定し、次のフレームに対応する画像情報が入力画像信号として入力されており、画像合成処理を終了しないと判定した場合、処理を図４のステップＳ１に戻し、それ以降の処理を繰り返す。
【０１１６】
すなわち、画像合成装置１の各部は、ステップＳ１乃至ステップＳ２０の処理を繰り返すことにより、入力画像信号に含まれる全ての入力画像情報に対して、フレーム毎に画像合成処理を行う。これにより、画像合成装置１は、第１の合成用画像情報、第２の合成用画像情報、および入力画像情報を任意の領域毎に選択的に合成した出力画像情報を、フレーム毎に生成し、出力画像信号として画像合成装置１の外部に出力することができる。すなわち、画像合成装置１は、入力画像に挿入されている合成用画像を、任意の領域毎に切り替えることができる。その際、制御部１３は、従来のように、合成用画像情報を作成したり、作成した合成用画像情報を入力画像情報に合成するように制御処理を行ったりせずに、重ね合わせ制御情報を重ね合わせ順序制御部２０に供給するだけで、容易に、合成用画像を切り替えることができる。
【０１１７】
そして、ステップＳ２０において、例えば入力画像信号の入力が停止する等して、画像合成処理を終了すると判定した場合、制御部１３は、ステップＳ２１に処理を進め、終了処理を実行し、画像合成処理を終了する。
【０１１８】
画像合成装置１の各部は、以上のようにして画像合成処理を行う。これにより、画像合成装置１は、回路規模や製造コストを抑えたまま、容易に、複数の画像情報を合成することができる。
【０１１９】
図８は、本発明を適用した画像合成装置の他の構成例を示すブロック図である。なお、図８において、図１に対応する部分については、同一の符号を付してあり、その説明を省略する。
【０１２０】
図８において、画像合成装置１５０は、例えば、NTSC方式やPAL方式のテレビジョン信号に含まれている画像信号のような入力画像信号に対応する画像の一部または全部に、文字や図形等を表す他の画像を重畳（混合）し、出力画像信号として出力する装置である。すなわち、画像合成装置１５０は、入力画像信号に含まれる入力画像情報に、他の画像情報である合成用画像情報を、その２つの画像情報に対応する画像が重畳（混合）されるように合成し、出力する。このとき、画像合成装置１５０は、入力画像信号に対応する画像の画面内における複数の領域に文字や図形等が、その領域毎に、互いに独立的に合成されるように、画像情報を合成することができる。例えば、画像合成装置１５０は、入力画像信号に対応する画像に重畳（混合）された他の画像の一部を変形させたり、さらに他の画像に切り替えたり、他の位置に移動させたりすることができる。また、画像合成装置１５０は、重畳（混合）された２つの画像の濃淡を変化させることもできる。
【０１２１】
画像合成装置１５０の制御部１５１は、図１の制御部１３の場合と同様に、図示は省略するが、制御処理部、演算部、記憶部等を内蔵している。制御部１５１は、画像合成装置１５０の外部より供給されたプログラムやデータを、入力端子１４を介して取得したり、ROM１５を制御し、ROM１５に記憶されているプログラムやデータを取得したり、ドライブ１６を制御し、ドライブ１６に装着されたリムーバブルメディア１７より読み出されたプログラムやデータを取得したりする。そして、そのようにして取得したプログラムやデータに基づいて、制御部１５０は、第１プレーンメモリ１８、第２プレーンメモリ１９、混合比率制御部１５２、並びに、乗算器１５３乃至１５５の制御処理を行う。
【０１２２】
具体的には、制御部１５１は、上述したようにしてデータとして取得した混合比率制御情報、または、上述したようにして取得したプログラムを実行して生成した混合比率制御情報を、アドレス発生カウンタ１２より供給されたアドレス情報に基づいて、混合比率制御部１５２に供給することにより、混合比率制御部１５２の動作を制御するとともに、混合比率制御部１５２を介して乗算器１５３乃至１５５の動作を制御する。
【０１２３】
また、制御部１５１は、図１の制御部１３の場合と同様に、上述したようにしてデータとして取得した、入力画像信号に含まれる入力画像情報に合成させる非圧縮の合成用画像情報、または、上述したようにして取得したプログラムを実行して生成した合成用画像情報を、アドレス発生カウンタ１２より供給されたアドレス情報に基づいて、第１プレーンメモリ１８または第２プレーンメモリ１９に供給することにより、それらの動作を制御する。
【０１２４】
なお、その際、第１プレーンメモリ１８が１度に保持する合成用画像情報のデータ量と、第２プレーンメモリ１９が１度に保持する合成用画像情報のデータ量と、さらに、混合比率制御部１５２が１度に保持する混合比率制御情報の制御に対応する合成用画像情報のデータ量が、例えば同じ画像サイズの１画面分のデータ量に統一される等して、全て同じデータ量であるようにする方が、制御部１５１による制御処理が容易になり、その処理の負荷を軽減させることができる。
【０１２５】
混合比率制御部１５２は、記憶部１５２Ａを有しており、制御部１５１より供給される混合比率制御情報を記憶し、その混合比率制御情報、アドレス発生カウンタ１２より供給されるアドレス情報、並びに、第１プレーンメモリ１８または第２プレーンメモリ１９より供給される合成画像情報に基づいて、乗算器１５３乃至１５５の動作を制御し、入力画像信号に含まれる入力画像情報と合成用画像情報との合成処理を制御する。
【０１２６】
混合比率制御部１５２は、例えば、図９Ａに示されるように、その記憶部１５２Ａの記憶領域１７０に、入力画像信号の入力画像と合成用画像との合成（混合）を画素単位で制御する混合比率制御情報１７１を１画面分保持する。画素単位の混合比率制御情報１７１は、６ビットで構成され、第１プレーンメモリ１８および第２プレーンメモリ１９に保持されている合成用画像情報、並びに入力画像信号に含まれる入力画像情報の混合比を指示する画素単位の制御情報である。図９Ａの場合、画素単位の混合比率制御情報１７１を構成する６ビットの内の２ビットであるビット群１８１が第１プレーンメモリ１８に保持されている合成用画像情報の混合比を指定する情報を保持し、同じく２ビットで構成されるビット群１８２が第２プレーンメモリ１９に保持されている合成用画像情報の混合比を指定する情報を保持し、さらに、残りの２ビットで構成されるビット群１８３が入力画像情報の混合比を指定する情報を保持している。
【０１２７】
すなわち、この場合、第１プレーンメモリ１８および第２プレーンメモリ１９に保持されている合成用画像情報、並びに入力画像信号に含まれる入力画像情報の混合比は、それぞれ、４段階の設定を行うことができるようになされている。なお、各画像情報の混合比の指定は、何段階で行うようにしてもよく、各画像情報の混合比の指定に割り当てられるビット数は、何ビットであってもよい。また、各画像情報の混合比の指定に割り当てられるビット数は、互いに異なるビット数であってももちろんよい。すなわち、図９Ａにおいて、画素単位の混合比率制御情報１７１を構成するビットの数はいくつであってもよい。
【０１２８】
なお、混合比率制御部１５２が保持する混合比率制御情報自体のデータ量（画素単位の混合比率制御情報１７１を構成するビットの数によるデータ量）は、どのような大きさであってももちろんよいが、できるだけ小さい方が、制御部１５１の処理の負荷を軽減させることができる。ただし、上述したように、混合比率制御情報のデータ量（画素単位の混合比率制御情報１７１を構成するビットの数によるデータ量）が大きいほど、各画像情報の混合比の指定を細かく設定することができる。
【０１２９】
混合比率制御部１５２は、このように保持している画素単位の混合比率制御情報を、アドレス情報に基づいて順次参照し、乗算器１５３乃至１５５の動作を制御し、各画像情報にそれぞれの混合比率に応じた係数である混合係数を乗算させる。従って、混合比率制御部１５２は、入力画像信号に対応する画像の画素単位の制御を行うことができ、入力画像信号に対応する画像の画面内における任意の位置において、第１プレーンメモリ１８または第２プレーンメモリ１９のいずれかに記憶されている合成用画像情報の画像（合成用画像情報の画像の、画面内位置が対応する部分）を混合するように合成させることができる。
【０１３０】
なお、混合比率制御部１５２が１度に保持する混合比率制御情報のデータ量（画素単位の混合比率制御情報１７１の数によるデータ量）は、１画面分より大きくても小さくてもよく、どのような大きさであってもよい。
【０１３１】
また、混合比率制御部１５２は、図９Ａに示される方法以外にも、例えば図９Ｂに示されるように、合成する画像情報の混合比が同じである画素の並びに基づいて、混合比率制御情報をテーブル化した情報を保持するようにしてもよい。
【０１３２】
図９Ｂにおいては、混合比率制御部１５２は、制御部１５１より供給された混合比率制御情報を表現するテーブル１９０を保持している。テーブル１９０は、合成する画像情報の混合比が同じであり、かつ、連続する画素について、制御情報をグループ化した画素列毎の混合比率制御情報のテーブルであり、その画素列の１画面上における開始アドレスを示す開始アドレス欄１９１、画素列の１画面上における終了アドレスを示す終了アドレス欄１９２、および、その画素列における合成用画像情報の混合比率を示す混合比率情報欄１９３により構成される。
【０１３３】
混合比率情報欄１９３には、画像情報毎に混合比率を示す欄が設けられている。図９Ｂの場合、混合比率情報１９３は、第１プレーンメモリ１８に保持されている合成用画像情報の混合比率を示す第１プレーンメモリ欄１９３Ａ、第２プレーンメモリ１９に保持されている合成用画像情報の混合比率を示す第２プレーンメモリ欄１９３Ｂ、および、入力画像情報の混合比率を示す入力画像情報欄１９３Ｃにより構成されている。
【０１３４】
例えば、テーブル１９０において、行２０１には、入力画像情報に対応する画像の１画面上におけるアドレス「aaaa」乃至「bbbb」の画素列において、第１プレーンメモリ１８に保持されている合成用画像情報は３０％の混合比で混合され、第２プレーンメモリ１９に保持されている合成用画像情報は３０％の混合比で混合され、入力画像情報は４０％の混合比で混合されることが示されている。
【０１３５】
このような場合、混合比率制御部１５２は、テーブル１９０の、アドレス情報に対応する行の混合比率情報欄１９３の情報を参照し、各画像情報を指定された混合比率で合成するように、乗算器１５３乃至１５５を制御し、各画像情報にそれぞれの混合比率に応じた混合係数を乗算させる。
【０１３６】
なお、混合比率制御部１５２は、第１プレーンメモリ１８または第２プレーンメモリ１９より供給された合成画像情報を参照し、これらの合成画像情報において、現在のアドレス情報に対応する位置の画素に合成画像が存在しない場合、その画像情報を混合させないように、乗算器１５３または１５４を制御する。すなわち、その場合、混合比率制御部１５２は、その画像情報に対応する乗算器１５３または１５４を制御し、その画像情報に値が「０」の混合係数を乗算させる。このようにすることにより、画像合成装置１は、実際に合成画像が存在する部分についてのみ、その画像情報を入力画像情報に混合させることができ、出力画像の画質劣化などを抑制することができる。
【０１３７】
乗算器１５３は、第１プレーンメモリ１８より供給された合成用画像情報に、混合比率制御部１５２より取得した混合係数を乗算し、その演算結果を加算器１５６に供給する。乗算器１５４は、第２プレーンメモリ１９より供給された合成用画像情報に、混合比率制御部１５２より取得した混合係数を乗算し、その演算結果を加算器１５６に供給する。乗算器１５５は、入力画像情報に、混合比率制御部１５２より取得した混合係数を乗算し、その演算結果を加算器１５６に供給する。
【０１３８】
加算器１５６は、乗算器１５３乃至１５５より供給された各画像情報を加算し、出力画像信号として、画像合成装置１５０の外部に出力する。
【０１３９】
次に、動作について説明する。
【０１４０】
画像合成装置１５０に入力された非圧縮の入力画像信号は、同期信号分離処理部１１に供給され、垂直同期信号および水平同期信号等の同期信号を抽出される。同期信号分離処理部１１は、入力画像信号に含まれる同期信号を、その振幅や周波数等の特徴に基づいて抽出する。抽出された同期信号は、アドレス発生カウンタ１２に供給され、画面上の位置を示すアドレス情報に変換され、制御部１５１、第１プレーンメモリ１８、第２プレーンメモリ１９、および混合比率制御部１５２に供給される。
【０１４１】
制御部１５１は、入力端子１４、ROM１５、またはドライブ１６に装着されたリムーバブルメディア１７よりプログラムやデータを取得し、そのプログラムを実行する等して、アドレス発生カウンタ１２より供給されたアドレス情報に基づいたタイミングで、合成用画像情報を第１プレーンメモリ１８または第２プレーンメモリ１９に供給する。
【０１４２】
制御部１５１は、第１プレーンメモリ１８と第２プレーンメモリ１９に、互いに異なる合成用画像情報を供給する。このようにすることにより、制御部１５１に負荷をかけずに、入力画像信号に対応する画像の一部または全部に混合する画像を切り替えることができる。
【０１４３】
また、制御部１５１は、合成用画像情報の出力処理が行われていないプレーンメモリに対して新たな合成用画像情報を供給することができる。従って、制御部１５１は、例えば、保持している合成用画像情報の出力処理が終了したプレーンメモリに対して、入力画像信号に含まれる入力画像情報の垂直ブランキング期間以外のタイミングにおいても新たな合成用画像情報を供給することができ、合成用画像情報の供給処理の負荷を軽減させることができる。これにより、制御部１３に必要な性能を下げることができるので、制御部１５１の製造コストを低減させることができる。
【０１４４】
なお、プレーンメモリの数は、図８において２つであるように説明したがこれに限らず、３個以上であってももちろんよい。
【０１４５】
制御部１５１より合成画像情報を供給された第１プレーンメモリ１８および第２プレーンメモリ１９は、その合成画像情報を保持し、供給されるアドレス情報に基づいたタイミングで、保持している合成用画像情報の、そのアドレス情報に対応する部分を、それぞれ、乗算器１５３または１５４に出力するとともに、混合比率制御部１５２にも供給する。
【０１４６】
また、制御部１５１は、入力端子１４、ROM１５、またはドライブ１６に装着されたリムーバブルメディア１７よりプログラムやデータを取得し、そのプログラムを実行する等して、アドレス発生カウンタ１２より供給されたアドレス情報に基づいたタイミングで、混合比率制御情報を混合比率制御部１５２に供給する。
【０１４７】
制御部１５１より混合比率情報を供給された混合比率制御部１５２は、その混合比率情報を、内蔵する記憶部１５２Ａに保持し、アドレス発生カウンタ１２より供給されるアドレス情報に基づいて、保持している混合比率制御情報を参照し、乗算器１５３乃至１５５に混合係数を供給することにより、それらの動作を制御する。
【０１４８】
その際、混合比率制御部１５２は、第１プレーンメモリ１８または第２プレーンメモリ１９より供給された合成用画像情報を参照し、現在アドレス情報に対応する画素に、混合する画像が存在するか否かを判定し、存在しないと判定した場合、その合成用画像を混合しないように、乗算器１５３または１５４に値が「０」の混合係数を供給して制御する。すなわち、混合比率制御部１５２は、混合比率制御情報において、合成用画像情報を混合するように指定されている領域においても、その合成用画像に、実際に合成する画像（例えば、文字や図形等）が存在しない場合は、その合成用画像情報を混合しないように制御する。
【０１４９】
第１プレーンメモリ１８より合成用画像情報を供給された乗算器１５３は、その合成用画像情報に、混合比率制御部１５２より供給された混合係数を乗算し、演算結果を加算器１５６に供給する。第２プレーンメモリ１９より合成用画像情報を供給された乗算器１５４は、その合成用画像情報に、混合比率制御部１５２より供給された混合係数を乗算し、演算結果を加算器１５６に供給する。入力画像情報（入力画像信号）を供給された乗算器１５５は、その入力画像情報に、混合比率制御部１５２より供給された混合係数を乗算し、演算結果を加算器１５６に供給する。
【０１５０】
加算器１５６は、乗算器１５３乃至１５５より供給された画像情報を画素単位で加算し、出力画像情報を生成し、出力画像信号として画像合成装置１５０の外部に出力する。
【０１５１】
以上のようにすることにより、画像合成装置１５０は、入力画像信号に含まれる入力画像情報に合成用画像情報を混合するように合成し、出力画像信号として出力することができる。また、画像合成装置１５０は、回路規模や製造コストを抑えたまま、容易に、複数の画像情報を合成することができる。
【０１５２】
次に、図８の画像情勢装置１５０による画像合成処理を、図１０および図１１のフローチャートを参照して説明する。また、必要に応じて図１２乃至図１４を参照して説明する。
【０１５３】
最初に、ステップＳ４１において、制御部１５１は、第１の合成用画像情報を生成するか否かを判定する。生成すると判定した場合、制御部１５１は、ステップＳ４２に処理を進め、第１の合成用画像情報を生成する。そして、制御部１５１は、その生成した第１の合成用画像情報を第１プレーンメモリ１８に供給する。第１の合成用画像情報を供給された第１プレーンメモリ１８は、ステップＳ４３において、供給された第１の合成用画像情報を保持し、ステップＳ４４に処理を進める。
【０１５４】
例えば、入力画像信号に含まれる入力画像情報に対応する入力画像が、図１２Ａに示されるような入力画像２１１であるとき、制御部１５１は、図１２Ｂに示されるような、入力画像２１１と同じ画像サイズの第１の合成用画像２２１に対応する第１の合成用画像情報を生成し、第１プレーンメモリ１８に供給する。第１の合成用画像２２１は、黒く塗りつぶされた円の図形を含む領域２２２、黒く塗りつぶされたドーナツ状の図形（同心円）を含む領域２２３、並びに、それ以外の領域２２４により構成される。すなわち、第１の合成用画像２２１は、黒く塗りつぶされた円および黒く塗りつぶされたドーナツ状の図形（同心円）を入力画像２１１に合成（混合）させるための画像である。第１プレーンメモリ１８は、ステップＳ４３において、供給されたこの第１の合成用画像２２１に対応する第１の合成用画像情報を保持する。
【０１５５】
また、ステップＳ４１において、第１の合成用画像情報を生成しないと判定した場合、制御部１５１は、ステップＳ４２およびＳ４３の処理を省略するように制御し、ステップＳ４４に処理を進める。
【０１５６】
ステップＳ４４において、制御部１５１は、第２の合成用画像情報を生成するか否かを判定する。生成すると判定した場合、制御部１５１は、ステップＳ４５に処理を進め、第２の合成用画像情報を生成する。そして、制御部１５１は、その生成した第２の合成用画像情報を第２プレーンメモリ１９に供給する。第２の合成用画像情報を供給された第２プレーンメモリ１９は、ステップＳ４６において、供給された第２の合成用画像情報を保持し、ステップＳ４７に処理を進める。
【０１５７】
例えば、制御部１５１は、図１２Ｃに示されるような、入力画像２１１と同じ画像サイズの第２の合成用画像２３１に対応する第２の合成用画像情報を生成し、第２プレーンメモリ１９に供給する。第２の合成用画像２３１は、黒く塗りつぶされた三角形を含む領域２３２、黒く塗りつぶされた四角形を含む領域２３３、並びに、それ以外の領域２３４により構成される。すなわち、第２の合成用画像２３１は、黒く塗りつぶされた三角形および黒く塗りつぶされた四角形を入力画像２３１に合成（混合）させるための画像である。
【０１５８】
なお、ここでは、説明を簡単にするために、図１２Ｃに示される第２の合成用画像２３１における領域２３２の位置や大きさは、図１２Ｂに示される第１の合成用画像２２１における領域２２２のそれに対応させてあり、同様に、第２の合成用画像２３１における領域２３３の位置や大きさは、第１の合成用画像２２１における領域２２３のそれに対応させてある。これらの領域の位置や大きさ等は、互いに独立であってももちろんよい。
【０１５９】
第２プレーンメモリ１９は、ステップＳ４６において、供給されたこの第２の合成用画像２３１に対応する第２の合成用画像情報を保持する。
【０１６０】
また、ステップＳ４４において、第２の合成用画像情報を生成しないと判定した場合、制御部１５１は、ステップＳ４５およびＳ４６の処理を省略するように制御し、ステップＳ４７に処理を進める。
【０１６１】
ステップＳ４７において、制御部１５１は、入力画像信号に含まれる入力画像情報に合成用画像情報を合成する（入力画像信号に対応する画像に、合成用画像情報に対応する画像を混合する）為の制御情報である混合比率制御情報を生成するか否かを判定する。混合比率制御情報を生成すると判定した場合、制御部１５１は、ステップＳ４８に処理を進め、混合比率制御情報を生成し、混合比率制御部１５２に供給する。混合比率制御情報を供給された混合比率制御部１５２は、ステップＳ４９において、その混合比率制御情報を保持し、図１１のステップＳ５１に処理を進める。
【０１６２】
例えば、制御部１５１は、図１３Ａに示されるような、図の右側を上とする斜線模様の入力画像２１１と同じ画像サイズの画像２４１に対応する混合比率制御情報を生成し、混合比率制御部１５２に供給する。混合比率制御情報に対応する画像２４１は、領域２４２、領域２４３、並びに、それ以外の領域である領域２４４に分けられており、各領域において、互いに独立して、画像情報の混合比率が指定されている。
【０１６３】
領域２４２の位置と大きさは、図１２Ｂに示される第１の合成用画像２２１の領域２２２、および、図１２Ｃに示される第２の合成用画像２３１の領域２３２と対応しており、領域２４３の位置と大きさは、図１２Ｂに示される第１の合成用画像２２１の領域２２３、および、図１２Ｃに示される第２の合成用画像２３１の領域２３３と対応しており、領域２４２の位置と大きさは、図１２Ｂに示される第１の合成用画像２２１の領域２２４、および、図１２Ｃに示される第２の合成用画像２３１の領域２３４と対応している。
【０１６４】
図１３Ａに示される画像２４１に対応する混合比率制御情報は、領域２４２において、第１の合成用画像情報を５０％、第２の合成用画像情報を３０％、入力画像情報を２０％の割合で混合し出力するように設定されている。また、この混合比率制御情報は、領域１２３において、第２の合成用画像情報を５０％、入力画像情報を５０％の割合で混合し出力するように設定されている。さらに、この混合比率制御情報は、領域１２４において、合成用画像情報を混合せずに、入力画像情報のみを出力するように設定されている。
【０１６５】
混合比率制御部１５２は、このような混合比率制御情報に基づいて、混合係数を供給することで乗算器１５３乃至１５５を制御し、第１の合成用画像情報、第２の合成用画像情報、または、入力画像情報を所定の割合で混合した画像を出力する。
【０１６６】
図１０に戻り、ステップＳ４７において、混合比率制御情報を生成しないと判定した場合、制御部１５２は、ステップＳ４８およびＳ４９の処理を省略するように制御し、図１１のステップＳ５１に処理を進める。
【０１６７】
図１１のステップＳ５１において、同期信号分離処理部１１は、供給された入力画像信号より同期信号を分離し、分離した同期信号をアドレス発生カウンタ１２に供給する。ステップＳ５２において、アドレス発生カウンタ１２は、供給された同期信号に基づいて、１画面分を１周期とするアドレス情報を生成し、制御部１５１、第１プレーンメモリ１８、第２プレーンメモリ１９、および混合比率制御部１５２に供給する。
【０１６８】
制御部１５１より混合比率制御情報を取得した混合比率制御部１５２は、ステップＳ５３において、アドレス情報に基づいて注目画素を決定し、混合比率制御情報に基づいて、その注目画素において、入力画像信号に含まれる画像情報に第１または第２の合成用画像情報を混合するか否かを判定する。第１または第２の合成用画像情報を混合すると判定した場合、混合比率制御部１５２は、ステップＳ５４に処理を進め、第１プレーンメモリ１８または第２プレーンメモリ１９より取得した第１または第２の合成用画像情報に基づいて、その注目画素において合成用画像（合成する文字や図形）が存在するか否かを判定する。
【０１６９】
ステップＳ５４において、合成用画像が存在すると判定した場合、混合比率制御部１５２は、ステップＳ５５に処理を進め、混合比率制御情報に基づいて、混合係数を乗算器１５３乃至１５５に供給し、第１または第２の合成用画像情報を入力画像情報に合成するように制御する。すなわち、混合比率制御情報１５２は、混合比率制御情報に基づいた値の混合係数を乗算器１５３乃至１５５に供給し、乗算器１５３は、供給された混合係数を第１の合成用画像情報に乗算して加算器１５６に出力し、乗算器１５４は、供給された混合係数を第２の合成用画像情報に乗算して加算器１５６に出力し、乗算器１５５は、供給された混合係数を入力画像情報に乗算して加算器１５６に出力する。そして、乗算器１５３乃至１５５を制御した混合比率制御部１５２は、ステップＳ５７に処理を進める。
【０１７０】
ところで、ステップＳ５３において、注目画素において、入力画像信号に含まれる画像情報に第１または第２の合成用画像情報を混合しないと判定した場合、混合比率制御部１５２は、ステップＳ５６に処理を進め、合成用画像情報を合成せずに入力画像情報のみを出力するように、混合係数を乗算器１５３乃至１５５に供給し、それらの混合係数を各画像情報に乗算させる。すなわち、混合比率制御情報１５２は、値が「０」の混合係数を乗算器１５３および１５４に供給し、値が「１」の混合係数を乗算器１５５に供給する。乗算器１５３乃至１５５は、供給されたそれらの混合係数を各画像情報に乗算して加算器１５６に出力する。従ってこの場合、加算器１５６には、乗算器１５３および１５４より値が「０」の信号が供給され、乗算器１５５より入力画像情報がそのまま供給される。
【０１７１】
ステップＳ５６の処理が終了すると、混合比率制御部１５２は、ステップＳ５７に処理を進める。
【０１７２】
また、ステップＳ５４において、合成用画像が存在しないと判定した場合、混合比率制御部１５２は、ステップＳ５６に処理を進め、上述したように、合成用画像情報を合成せずに入力画像情報のみを出力するように、混合係数を乗算器１５３乃至１５５に供給し、それらの混合係数を各画像情報に乗算させる。ステップＳ５６の処理が終了すると、混合比率制御部１５２は、ステップＳ５７に処理を進める。
【０１７３】
ステップＳ５７において、混合係数を乗算された後の各画像情報を供給された加算器１５６は、その各画像情報を合成し、出力画像信号として、画像合成装置１５０の外部に出力する。
【０１７４】
例えば、乗算器１５３は、混合比率制御部１５２より供給された混合係数を、図１２Ｂに示されるような第１の合成用画像２２１に対応する第１の合成用画像情報に乗算する。図１３Ａの画像２４１に示されるように、乗算器１５３は、第１の合成用画像２２１において領域２２２に位置する画素の画像情報に対して値が「０．５」の混合係数を乗算し、領域２２３および領域２２４に位置する画素の画像情報に対して値が「０」の混合係数を乗算する。
【０１７５】
乗算器１５３は、このようにして、図１３Ｂに示される第１の合成用画像２５１に対応する第１の合成用画像情報を生成する。第１の合成用画像２５１は、横線模様の円の図形を含む領域２５２、横線模様のドーナツ状の図形（同心円）を含む領域２５３、並びに、それ以外の領域２５４により構成される。
【０１７６】
領域２５２は、図１２Ｂの領域２２２に対応する領域である。領域２２２の黒く塗りつぶされた円の図形は、混合係数を乗算されることにより、領域２５２において横線模様の円の図形となっている。従って、この横線模様の円の図形の位置や大きさは、領域２２２の黒く塗りつぶされた円の図形と同じである。領域２５３は、図１２Ｂの領域２２３に対応する領域である。領域２２２の黒く塗りつぶされたドーナツ状の図形（同心円）は、値が「０」の混合係数を乗算されることにより消去され、領域２５３にはその図形は存在しない。また、領域２５４は、図１２Ｂの領域２２４に対応する領域である。
【０１７７】
乗算器１５３は、以上のようにして得られた第１の合成用画像情報を加算器１５６に供給する。
【０１７８】
また、例えば、乗算器１５４は、混合比率制御部１５２より供給された混合係数を、図１２Ｃに示されるような第２の合成用画像２３１に対応する第２の合成用画像情報に乗算する。図１３Ａの画像２４１に示されるように、乗算器１５４は、第２の合成用画像２３１において領域２３２に位置する画素の画像情報に対して値が「０．３」の混合係数を乗算し、領域２２３に位置する画素の画像情報に対して値が「０．５」の混合係数を乗算し、領域２２４に位置する画素の画像情報に対して値が「０」の混合係数を乗算する。
【０１７９】
乗算器１５４は、このようにして、図１３Ｃに示される第２の合成用画像２６１に対応する第２の合成用画像情報を生成する。第２の合成用画像２６１は、縦線模様の三角形を含む領域２６２、縦線模様の四角形を含む領域２６３、並びに、それ以外の領域２６４により構成される。
【０１８０】
領域２６２は、図１２Ｃの領域２３２に対応する領域である。領域２３２の黒く塗りつぶされた三角形は、混合係数を乗算されることにより、領域２６２において縦線模様の三角形となっている。従って、この縦線模様の三角形の位置や大きさは、領域２３２の黒く塗りつぶされた三角形と同じである。領域２６３は、図１２Ｃの領域２３３に対応する領域である。領域２３３の黒く塗りつぶされた四角形は、混合係数を乗算されることにより、領域２６３において縦線模様の四角形となっている。従って、この縦線模様の四角形の位置や大きさは、領域２３３の黒く塗りつぶされた四角形と同じである。また、領域２６４は、図１２Ｃの領域２３４に対応する領域である。
【０１８１】
乗算器１５４は、以上のようにして得られた第２の合成用画像情報を加算器１５６に供給する。
【０１８２】
さらに、例えば、乗算器１５５は、混合比率制御部１５２より供給された混合係数を、図１２Ａに示されるような入力画像２１１に対応する入力画像情報に乗算する。図１３Ａの画像２４１に示されるように、乗算器１５５は、入力画像２１１に対して、画像２４１の領域２４２に位置する画素の画像情報に対して値が「０．２」の混合係数を乗算し、画像２４１の領域２４３に位置する画素の画像情報に対して値が「０．５」の混合係数を乗算し、画像２４１の領域２４４に位置する画素の画像情報に対して値が「１」の混合係数を乗算する。
【０１８３】
乗算器１５５は、このようにして、図１４Ａに示される入力画像２７１に対応する入力画像情報を生成する。入力画像２７１は、図の左側を上とする斜線模様の領域２７２、図の左側を上とする斜線模様の領域２７３、並びに、それ以外の、図の右側を上とする斜線模様の領域２７４により構成される。
【０１８４】
領域２７２は、図１３Ａの領域２４２に対応する領域である。この領域において、図の右側を上とする斜線模様の入力画像２１１は、混合係数を乗算されることにより、図の左側を上とする斜線模様となっている。また、領域２７３は、図１３Ａの領域２４３に対応する領域である。この領域において、図の右側を上とする斜線模様の入力画像２１１は、混合係数を乗算されることにより、図の左側を上とする斜線模様となっている。さらに、領域２７４は、図１３Ａの領域２４４に対応する領域である。この領域において、図の右側を上とする斜線模様の入力画像２１１は、値が「１」の混合係数を乗算されているので、画像は変化しない。
【０１８５】
乗算器１５５は、以上のようにして得られた入力画像情報を加算器１５６に供給する。
【０１８６】
加算器１５６は、以上のような画像情報をそれぞれ取得し、それらを加算して合成し、図１４Ｂに示されるような出力画像２８１に対応する出力画像情報を生成する。
【０１８７】
出力画像２８１は、図１３Ｂの第１の合成用画像２５１、図１３Ｃの第２の合成用画像２６１、並びに、図１４Ａの入力画像２７１を加算して合成した画像であり、領域２８２乃至領域２８４により構成されている。領域２８２は、図１３Ａの領域２４２に対応する領域であり、領域２８３は、領域２４３に対応する領域であり、領域２８４は、領域２４４に対応する領域である。
【０１８８】
従って、領域２８２には、図１３Ｂの領域２５２に存在する横線模様の円の図形、図１３Ｃの領域２６２に存在する縦線模様の三角形、並びに、図１４Ａの入力画像２７１における領域２７２の、図の右側を上とする斜線模様がそれぞれ含まれている。すなわち、領域２８２の画像は、領域２５２、領域２６２、および領域２７２の画像が混合された画像である。このとき、領域２５２と領域２６２の、円や三角形等の図形が存在しない部分については、領域２５２と領域２６２の画像は混合されず、領域２７２の画像がそのまま領域２８２の画像となっている。
【０１８９】
また、領域２８３には、図１３Ｃの領域２６３に存在する縦線模様の四角形、並びに、図１４Ａの入力画像２７１における領域２７４の、図の右側を上とする斜線模様がそれぞれ含まれている。すなわち、領域２８３の画像は、領域２６３、および領域２７３の画像が混合された画像である。このとき、領域２６３の四角形が存在しない部分については、領域２６３の画像は混合されず、領域２７３の画像がそのまま領域２８３の画像となっている。
【０１９０】
領域２８４においては、図１４Ａの入力画像２７１における領域２７４の、図の右側を上とする斜線模様の画像がそのまま出力されている。
【０１９１】
以上のように、加算器１５６は、入力画像情報、第１および第２の合成画像情報を合成し、出力画像信号として、画像合成装置１５０の外部に出力する。
【０１９２】
図１１に戻り、ステップＳ５８において、混合比率制御部１５２は、フレーム内の全ての画素、すなわち、１画面分のデータを処理したか否かを判定し、まだアドレス情報１周期分の画素を処理しておらず、フレーム内の全ての画素を処理していないと判定した場合、ステップＳ５９に処理を進め、アドレス情報に合わせて、次の画素に注目し、処理をステップＳ５３に戻し、それ以降の処理を繰り返す。
【０１９３】
すなわち、画像合成装置１５０の各部は、ステップＳ５３乃至ステップＳ５９の処理を繰り返すことにより、画素毎に１フレーム分の画像情報を処理する。そして、ステップＳ５８において、フレーム内の全ての画素を処理したと判定した場合、混合比率制御部１５２は、ステップＳ６０に処理を進める。
【０１９４】
ステップＳ６０において、制御部１５１は、画像合成処理を終了するか否かを判定し、次のフレームに対応する画像情報が入力画像信号として入力されており、画像合成処理を終了しないと判定した場合、処理を図１０のステップＳ４１に戻し、それ以降の処理を繰り返す。
【０１９５】
すなわち、画像合成装置１５０の各部は、ステップＳ４１乃至ステップＳ６０の処理を繰り返すことにより、入力画像信号に含まれる全ての入力画像情報に対して、フレーム毎に画像合成処理を行う。これにより、画像合成装置１５０は、第１の合成用画像情報、第２の合成用画像情報、および入力画像情報を任意の領域毎に混合して合成した出力画像情報を、フレーム毎に生成し、出力画像信号として画像合成装置１５０の外部に出力することができる。すなわち、画像合成装置１５０は、入力画像に混合されている合成用画像を、任意の領域毎に切り替えることができる。その際、制御部１５１は、従来のように、合成用画像情報を作成したり、作成した合成用画像情報を入力画像情報に合成するように制御処理を行ったりせずに、混合比率制御情報を混合比率制御部１５２に供給するだけで、容易に、合成用画像を切り替えることができる。
【０１９６】
そして、ステップＳ６０において、例えば入力画像信号の入力が停止する等して、画像合成処理を終了すると判定した場合、制御部１５１は、ステップＳ６１に処理を進め、終了処理を実行し、画像合成処理を終了する。
【０１９７】
画像合成装置１５０の各部は、以上のようにして画像合成処理を行う。これにより、画像合成装置１５０は、回路規模や製造コストを抑えたまま、容易に、複数の画像情報を合成することができる。
【０１９８】
以上のように、本発明を適用した画像合成装置は、回路規模や製造コストを抑えたまま、容易に、より多様で複雑な方法を用いて複数の画像情報を合成することができる。
【０１９９】
次に、以上のような画像合成装置を装置の一部として用いた場合の例について説明する。
【０２００】
図１５は、本発明を適用したカムコーダ（登録商標）の構成例を示すブロック図である。
【０２０１】
図１５において、カムコーダ３００は、被写体を撮像し、得られた画像情報（動画像または静止画像）を記録媒体に記録したり、その画像情報に対応する画像をディスプレイに表示したりする。その際、カムコーダ３００は、撮像により得られた画像情報に、他の画像を上述したように合成する。
【０２０２】
カムコーダ３００のカメラ部３１０は、後述するように制御部３４０に制御され、撮像処理を行い、画像情報を生成し、DSP（Digital Signal Processor）３２０にその画像情報を供給する。
【０２０３】
図示せぬ被写体からの光は、カメラ部３１０において、レンズや絞り機構等により構成されるレンズ部３１１を介してCCD（Charge Coupled Device）３１２に入射され、光電変換される。
【０２０４】
CCD３１２が出力する画像信号は、前処理回路３１３に供給されている。前処理回路３１３は、図示せぬCDS回路（Correlated Double Sampling circuit）、AGC回路（Automatic Gain Control circuit）、並びに、A/D（Analog / Digital）変換器等により構成されている。前処理回路３１３は、CDS回路において、入力された画像信号のノイズ成分を除去し、AGC回路において、その画像信号のゲインを調整した後、A/D変換器において、アナログ信号である画像信号をデジタル信号に変換し、画像情報としてDSP３２０に出力する。
【０２０５】
また、カメラ部３１０には、制御部３４０のCPU（Central Processing Unit）３４１に制御され、タイミング信号を生成するタイミング生成回路３１４が設けられている。タイミング生成回路３１４は、CPU３４１に制御され、レンズ部３１１の動作を制御するドライバ３１５、CCD３１２の動作を制御する３１６、並びにCCD３１２にそれぞれタイミング信号を供給する。
【０２０６】
ドライバ３１５は、供給されたタイミング信号に基づいて、レンズ部３１１の動作を制御し、絞り、ズーム、またはシャッタ等の調整を行う。ドライバ３１６は、供給されたタイミング信号に基づいて、CCD３１２に制御信号を供給する。CCD３１２は、ドライバ３１６より供給された制御信号や、タイミング生成回路３１４より供給されたタイミング信号に基づいて、画像信号の取り込み等の処理を行う。
【０２０７】
前処理回路３１３より画像情報を供給されたDSP３２０は、画像情報の調整に関する処理を行う調整処理部３２１、画像情報を圧縮したり伸張したりする圧縮伸張処理部３２２、並びに、画像情報を保持するSDRAM（Synchronous Dynamic Random Access Memory）３３１の入出力を制御するSDRAMコントローラ３２３等を内蔵している。DSP３２０は、得られた画像情報を、必要に応じてSDRAM３３１に保持させてデジタル信号処理を施し、処理後の画像情報を制御部３４０に供給する。
【０２０８】
調整処理部３２１は、画像情報に基づいてAF（Auto Focus）、AE（Auto Exposure）、およびAWB（Auto White Balance）等の制御信号を生成し、その制御信号を、バス３３２を介して制御部３４０に供給する。また、圧縮伸張部３２２は、画像情報を、所定の圧縮伸張方式により、圧縮したり、伸張したりする。その際、圧縮伸張部３２２は、SDRAMコントローラ３２３に制御されたSDRAM３３１にその画像情報を一時的に保持させながら、処理を行う。
【０２０９】
このようにデジタル信号処理が施された画像情報は、バス３３２を介して、制御部３４０に供給される。
【０２１０】
制御部３４０は、CPU３４１、ROM３４２、RAM（Random Access Memory）３４３、および時計回路３４５等により構成され、このカムコーダ３００の各部を制御する。
【０２１１】
CPU３４１は、ROM３４２に記憶されているプログラム、または、ドライブ３５４に装着されたリムーバブルメディア３５５や、外部I/F（InterFace）３５７を介してカムコーダ３００の外部からRAM３４３にロードされたプログラムに従って各部を制御したり、各種の処理を実行したりする。RAM３４３にはまた、CPU３４１が各種の処理を実行する上において必要なデータなども適宜記憶される。RAM３４３には、また、各部が処理する画像情報等も一時的に保持される。
【０２１２】
また、CPU３４１は、入力部３５６より入力されたユーザからの指示情報や、DSP３２０より供給された制御情報、または、各種のプログラムを実行することにより得られた情報等に基づいて、タイミング生成回路３１４を制御し、レンズ部３１１や、CCD３１２の動作を制御する。
【０２１３】
時計回路３４５は、各部の要求に応じて、現在年月日、現在曜日、現在時刻を提供するとともに、撮影日時などを提供する。
【０２１４】
CPU３４１、ROM３４２、RAM３４３、および時計回路３４５は、バス３４４を介して相互に接続されている。このバス３４４にはまた、上述したDSP３２０が接続されているバス３３２が接続されている。
【０２１５】
また、バス３４４には、複数の画像情報を合成する画像合成処理部３５１が接続されている。
【０２１６】
画像合成処理部３５１の詳細な構成は、図１に示される画像合成装置１、または図８に示される画像合成装置１５０と基本的に同様の構成であり、同様に動作するので、図１または図８のブロック図を適用することができる。すなわち、画像合成処理部３５１は、上述した画像合成装置１または画像合成装置１５０の場合と同様の処理を行って、複数の画像情報を合成する。この場合、画像合成処理部３５１は、後述するように、バス３４４を介してCPU３４１に制御されて処理を行う。従って、画像合成処理部３５１は、図１および図８の場合と異なり、入力端子１４がバス３４４に接続されていればよく、ROM１５やドライブ１６（リムーバブルメディア１７）は、設けられていなくてもよい。なお、画像情勢処理部３５１の場合、入力画像信号は、バス３４４より入力されるようにし、出力画像信号は、バス３４４に出力されるようになされている。
【０２１７】
バス３４４には、さらに、LCD（Liquid Crystal Display）３５３の動作や入出力される情報を制御するLCD制御部３５２、必要に応じて、フレキシブルディスク、ハードディスク、若しくは磁気テープ等からなる磁気記録媒体、光ディスク、光磁気ディスク、或いは半導体メモリ等からなるリムーバブルメディア３５５が装着されるドライブ３５４、ユーザの操作を受け付ける入力部３５６、他の装置が接続される外部I/F３５７が接続されている。
【０２１８】
LCD制御部３５２は、図示せぬVRAM（Video Random Access Memory）が内蔵されている。LCD制御部３５２は、例えば、DSP３２０より取得した画像情報、CPU３４１より取得した画像情報、RAM３４３に保持されている画像情報、画像合成部３５１より取得した画像情報、リムーバブルメディア３５５に記憶されている画像情報、または、外部I/F３５７を介して取得した画像情報等を、内蔵するVRAMに記憶させ、そのVRAMに記憶されている画像データに対応する画像を、LCD３５３に表示させる。
【０２１９】
ドライブ３５４は、ドライブ３５４に装着されたリムーバブルメディア３５５に記憶されているコンピュータプログラムを読み出し、CPU３４１に供給し、RAM３４３等にインストールさせる。また、ドライブ３５４は、例えば、DSP３２０、CPU３４１、RAM３４３、画像合成処理部３５１、入力部３５６、または外部I/F３５７等のカムコーダ３００の各部より供給された、画像情報等の各種の情報をドライブ３５４に装着されているリムーバブルメディア３５５に記録する。
【０２２０】
入力部３５６は、シャッタボタンやメニューボタン等の各種のボタン、ダイヤル、つまみ、並びにタッチパネル（いずれも図示せず）等で構成されており、ユーザが操作することにより、各種のユーザからの指示を受け付け、その指示情報を、例えば、CPU３４１等、カムコーダ３００の各部に供給する。
【０２２１】
外部I/F３５７は、所定の規格に従った形状のコネクタや、その規格に基づいて通信を行うためのドライバ等により構成され、所定の方法で他の装置が接続される。外部I/F３５７に接続された他の装置は、その外部I/F３５７を介してカムコーダ３００と通信を行い、データやプログラムのやり取りを行う。なお、外部I/F３５７は、所定の通信アンテナを有し、そのアンテナを介した無線通信により、他の装置と接続されるようにしてもよい。
【０２２２】
このようなカムコーダ３００において、画像合成処理部３５１は、CPU３４１に制御され、RAM３４３に保持されている画像情報や、DSP３２０より供給された画像情報、ドライブ３５４に装着されたリムーバブルメディア３５５に接続されている画像情報、または、外部I/F３５７を介して他の装置より供給された画像情報を、バス３４４を介して取得する。なお、その際、画像情報が圧縮されている場合、画像合成処理部３５１は、その画像情報をDSP３２０の圧縮伸長部３２２に供給し、画像情報を伸長させてから取得する。
【０２２３】
画像情報を取得した画像合成処理部３５１は、上述したような方法で、その画像情報に対応する画像に、例えば、CPU３４１より供給された合成用画像情報に対応する合成用画像を挿入したり、混合したりして、２つの画像情報を合成する。
【０２２４】
そして、画像合成処理部３５１は、その合成された画像情報を、バス３４４を介して、CPU３４１やDSP３２０に供給し、画像処理を行わせたり、RAM３４３に保持させたり、LCD制御部３５２に供給し、画像情報に対応する画像をLCD３５３に表示させたり、ドライブ３５４に供給し、ドライブ３５４に装着されたリムーバブルメディア３５５に記憶させたり、外部I/F３５７を介して他の装置に供給したりする。
【０２２５】
このような画像合成処理部３５１を設け、画像合成処理を実行させることにより、カムコーダ３００は、回路規模や製造コストを抑えたまま、撮像して得られた画像情報や、外部より取得した画像情報に、容易に、多様で複雑な方法で他の画像情報を合成し、その合成画像情報を利用することができる。
【０２２６】
なお、例えば、静止画像を記録媒体に記録する場合、その静止画像は１フレーム分の動画像とすることができ、静止画像をLCD等に表示する場合、その静止画像は同じフレーム画像が連続する動画像とみなすことができる。従って、本発明は、動画像の画像情報、および、静止画像の画像情報のいずれの場合においても同様に適用することができる。
【０２２７】
以上においては、本発明をカムコーダに適用した場合を例としたが、本発明は、それ以外にも、例えば、ビデオカメラ、デジタルスチルカメラ、ビデオデッキ、テレビジョン受信表示装置等の画像処理装置、パーソナルコンピュータやPDA（Personal Digital Assistants）等の情報処理装置、または、携帯電話機等の通信装置等に適用することが可能である。なお、本発明は、回路規模や製造コストに制限のある、例えばモバイル機器のような、小型の装置に適用する場合の方がより効果的である。
【０２２８】
また、以上において、アドレス発生カウンタ１２は、同期信号分離処理部１１が入力画像信号より分離した同期信号に基づいて、アドレス情報を生成するように説明したが、これに限らず、どのような情報に基づいてアドレス情報を生成してもよく、例えば、アドレス発生カウンタ１２がクロック発生回路を内蔵するようにし、そのクロック発生回路が発生させるクロックに基づいてアドレス情報を生成するようにしてもよい。また、アドレス発生カウンタ１２は、画像合成処理装置の外部より供給されたクロックに基づいて、アドレス情報を生成するようにしてもよい。
【０２２９】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。ソフトウエアにより実行される場合、本発明は、例えば、図１６に示されるようなパーソナルコンピュータにより構成される。
【０２３０】
図１６において、パーソナルコンピュータ４００のCPU４０１は、ROM４０２に記憶されているプログラム、または記憶部４１３からRAM４０３にロードされたプログラムに従って各種の処理を実行する。RAM４０３にはまた、CPU４０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２３１】
CPU４０１、ROM４０２、およびRAM４０３は、バス４０４を介して相互に接続されている。このバス４０４にはまた、入出力インタフェース４１０も接続されている。
【０２３２】
入出力インタフェース４１０には、キーボード、マウスなどよりなる入力部４１１、CRT(Cathode Ray Tube)、LCDなどよりなるディスプレイ、並びにスピーカなどよりなる出力部４１２、ハードディスクなどより構成される記憶部４１３、モデムなどより構成される通信部４１４が接続されている。通信部４１４は、インターネットを含むネットワークを介しての通信処理を行う。
【０２３３】
入出力インタフェース４１０にはまた、必要に応じてドライブ４１５が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア４２１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部４１３にインストールされる。
【０２３４】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
【０２３５】
この記録媒体は、図１６に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア４２１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM４０２や、記憶部４１３に含まれるハードディスクなどで構成される。
【０２３６】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２３７】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２３８】
【発明の効果】
以上のごとく本発明によれば、複数の画像情報を合成ことができる。特に、回路規模や製造コストを抑えたまま、容易に、より多様で複雑な方法を用いて複数の画像情報を合成することができる。
【図面の簡単な説明】
【図１】本発明を適用した画像合成装置の構成例を示す図である。
【図２】図１の第１プレーンメモリの記憶領域の様子の例を示す図である。
【図３】図１の重ね合わせ順序制御部の記憶領域の様子の例を示す図である。
【図４】図１の画像合成装置による画像合成処理を説明するフローチャートである。
【図５】図１の画像合成装置による画像合成処理を説明する、図４に続くフローチャートである。
【図６】図１の画像合成装置が合成する画像の例を示す図である。
【図７】図１の画像合成装置による画像の合成の様子の例を示す図である。
【図８】本発明を適用した画像合成装置の他の構成例を示すブロック図である。
【図９】図８の混合比率制御部の記憶領域の様子の例を示す図である。
【図１０】図８の画像合成装置による画像合成処理を説明するフローチャートである。
【図１１】図８の画像合成装置による画像合成処理を説明する、図１０に続くフローチャートである。
【図１２】図８の画像合成装置が合成する画像の例を示す図である。
【図１３】図８の画像合成装置による画像の合成の様子の例を示す図である。
【図１４】図８の画像合成装置による画像の合成の様子の例を示す図である。
【図１５】本発明を適用したカムコーダの構成例を示すブロック図である。
【図１６】パーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１ 画像合成装置，１１ 同期信号分離処理部， １２ アドレス発生カウンタ， １３ 制御部， １８ 第１プレーンメモリ， １９ 第２プレーンメモリ， ２０ 重ね合わせ順序制御部， ２１および２２ スイッチ回路， １５０ 画像合成装置， １５１ 制御部， １５２ 混合比率制御部， １５３乃至１５５ 乗算器， １５６ 加算器， ３００ カムコーダ， ３５１ 画像合成処理部

Claims (11)

1. 入力画像信号に含まれる、動画像の画像情報である入力画像情報に、前記入力画像情報と異なる画像情報である合成用画像情報を合成する画像処理装置において、
   前記合成用画像の供給を制御する制御手段と、
   前記制御手段により制御されて供給される前記合成用画像情報を記録する複数の画像記録手段と、
   前記入力画像情報に付加された同期信号を分離する同期信号分離手段と、
   前記同期信号分離手段により前記入力画像情報より分離された前記同期信号に基づいて、前記入力画像情報に対応する入力画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成手段と、
   前記入力画像の画素単位毎に前記複数の画像記録手段に記録された前記合成用画像情報を合成するか否かを指示する制御情報を記憶し、前記アドレス情報生成手段により生成された前記アドレス情報に基づいて、前記制御情報を順次参照し、前記入力画像の画素単位毎に、複数の前記画像記録手段に記録された複数の前記合成用画像情報のいずれかを選択し、前記合成用画像情報と前記入力画像情報との合成を制御する合成制御手段と、
   前記合成制御手段による制御に基づいて、前記入力画像の画素単位毎に、前記入力画像情報および前記合成制御手段により選択された前記合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、前記入力画像情報と前記出力された合成用画像情報とを合成する画像情報合成手段と
   を備え、
   前記制御手段は、複数の前記画像記録手段のうちのいずれかが前記合成用画像情報の出力処理を行っているとき、前記出力処理を行っていない前記画像記録手段に対して前記合成用画像情報を供給する
   ことを特徴とする画像処理装置。
2. 前記合成用画像保持手段は、前記合成用画像情報を画素単位のデータとして保持する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、さらに、前記制御情報の前記合成制御手段への供給を制御する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記合成制御手段は、前記制御情報に基づいて、複数の前記画像記録手段に記録された複数の前記合成用画像情報のそれぞれについて、前記入力画像情報に合成するか否かを判定し、合成すると判定した前記合成用画像情報を前記画像記録手段より出力させ、前記入力画像情報に合成させるように制御し、
   前記画像情報合成手段は、前記合成制御手段による制御に基づいて、前記入力画像情報と前記出力された合成用画像情報とを合成し、前記入力画像の画素単位毎に、前記入力画像と前記合成用画像を重畳させる
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記制御情報は、前記入力画像の画素単位毎に、複数の前記画像記録手段に記録された複数の前記合成用画像情報に対応する前記合成用画像を前記入力画像に混合させる際の、各画像情報の混合比を指定する情報であり、
   前記合成制御手段は、前記制御情報に基づいて、複数の前記画像記録手段に記録された複数の前記合成用画像情報を、指定された混合比で前記入力画像情報に合成させるように制御し、
   前記画像情報合成手段は、前記合成制御手段による制御に基づいて、前記入力画像情報と前記合成用画像情報とを合成し、前記入力画像の画素単位毎に、前記入力画像と前記合成用画像を指定された混合比で混合させる
   ことを特徴とする請求項３に記載の画像処理装置。
6. 入力画像信号に含まれる、動画像の画像情報である入力画像情報に、前記入力画像情報と異なる画像情報である合成用画像情報を合成する画像処理装置の画像処理方法であって、
   前記合成画像を記録する複数の画像記録手段を有し、
   複数の前記画像記録手段のうちのいずれかが前記合成用画像情報の出力処理を行っているとき、前記出力処理を行っていない前記画像記録手段に対して前記合成用画像情報を供給させるように制御する制御ステップと、
   複数の前記画像記録手段を制御し、前記制御ステップに制御されて供給される前記合成用画像情報を記録させる画像記録制御ステップと、
   前記入力画像情報に付加された同期信号を分離する同期信号分離ステップと、
   前記同期信号分離ステップの処理により前記入力画像情報より分離された前記同期信号に基づいて、前記入力画像情報に対応する入力画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成ステップと、
   前記アドレス情報生成ステップの処理により生成された前記入力画像のアドレス情報に基づいて、前記入力画像の画素単位毎に前記複数の画像記録手段に記録された前記合成用画像情報を合成するか否かを指示する制御情報を順次参照し、前記入力画像の画素単位毎に、複数の前記画像記録手段に記録された複数の前記合成用画像情報のいずれかを選択し、前記合成用画像情報と前記入力画像情報との合成を制御する合成制御ステップと、
   前記合成制御ステップの処理による制御に基づいて、前記入力画像の画素単位毎に、前記入力画像情報および前記合成制御ステップの処理により選択された前記合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、前記入力画像情報と前記合成用画像情報とを合成する画像情報合成ステップと
   を含むことを特徴とする画像処理方法。
7. 前記画像記録制御ステップは、前記合成用画像情報を画素単位のデータとして前記画像記録手段に記録させるように制御する
   ことを特徴とする請求項６に記載の画像処理方法。
8. 前記制御ステップは、さらに、前記制御情報の供給を制御する
   ことを特徴とする請求項６に記載の画像処理方法。
9. 前記合成制御ステップは、前記入力画像の画素単位毎に、前記入力画像に重畳させる合成用画像に対応する前記合成用画像情報を、前記制御情報に基づいて、前記画像記録制御ステップの処理により制御されて複数の前記画像記録手段に記録された複数の前記合成用画像情報のそれぞれについて、前記入力画像情報に合成するか否かを判定し、合成すると判定した前記合成用画像情報を前記画像記録手段より出力させ、前記入力画像情報に合成させるように制御し、
   前記画像情報合成ステップは、前記合成制御ステップの処理による制御に基づいて、前記入力画像情報と前記出力された合成用画像情報とを合成し、前記入力画像の画素単位毎に、前記入力画像と前記合成用画像を重畳させる
   ことを特徴とする請求項８に記載の画像処理方法。
10. 前記合成制御ステップは、前記入力画像の画素単位毎に、前記画像記録制御ステップの処理により制御されて複数の前記画像記録手段に記録された複数の前記合成用画像情報に対応する前記合成用画像を前記入力画像に混合させる際の、各画像情報の混合比を指定する前記制御情報に基づいて、前記画像記録制御ステップの処理により制御されて複数の前記画像記録手段に記録された複数の前記合成用画像情報を、指定された混合比で前記入力画像情報に合成させるように制御し、
    前記画像情報合成ステップは、前記合成制御ステップの処理による制御に基づいて、前記入力画像情報と前記合成用画像情報とを合成し、前記入力画像の画素単位毎に、前記入力画像と前記合成用画像を指定された混合比で混合させる
    ことを特徴とする請求項８に記載の画像処理方法。
11. 被写体を撮像し、得られた、動画像の画像情報である撮像画像情報を取り込む撮像手段と、
    前記撮像手段により取り込まれた撮像画像情報に合成する複数の合成用画像情報の供給を制御する制御手段と、
    前記制御手段により制御されて供給される前記合成用画像情報を記録する複数の画像記録手段と、
    前記撮像画像情報に付加された同期信号を分離する同期信号分離手段と、
    前記同期信号分離手段により前記撮像画像情報より分離された前記同期信号に基づいて、前記撮像画像情報に対応する撮像画像における画面内の位置を示すアドレス情報を生成するアドレス情報生成手段と、
    前記撮像画像の画素単位毎に前記複数の画像記録手段に記録された前記合成用画像情報を合成するか否かを指示する制御情報を記憶し、前記撮像画像のアドレス情報に基づいて前記制御情報を順次参照し、前記撮像画像の画素単位毎に、複数の前記画像記録手段に記録された複数の前記合成用画像情報のいずれかを選択し、前記合成用画像情報と前記撮像画像情報との合成を制御する合成制御手段と、
    前記合成制御手段による制御に基づいて、前記撮像画像の画素単位毎に、前記撮像画像情報および前記合成制御手段により選択された前記合成用画像情報の内、いずれか一方を出力画像信号として選択することにより、前記撮像画像情報と前記出力された合成用画像情報とを合成する画像情報合成手段と
    を備え、
    前記制御手段は、複数の前記画像記録手段のうちのいずれかが前記合成用画像情報の出力処理を行っているとき、前記出力処理を行っていない前記画像記録手段に対して前記合成用画像情報を供給する
    ことを特徴とする撮像装置。

Images