JPH05101178A

JPH05101178A - 画像処理装置

Info

Publication number: JPH05101178A
Application number: JP3261844A
Authority: JP
Inventors: Hiroshi Mashita; 博志真下; Mitsuru Yamamoto; 満山本
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1991-10-09
Filing date: 1991-10-09
Publication date: 1993-04-23

Abstract

(57)【要約】【目的】本発明は、自由度の高い合成画像を得るこ
とを可能ならしめる画像処理装置を提供しようとするも
のである。【構成】本発明の画像処理装置は、合成対象の画像
を記憶するＮ個のフレームメモリ１、２と、このフレー
ムメモリ１、２それぞれに対応し、各々のフレームメモ
リに対しての合成に係る属性情報を記憶する属性メモリ
４、５と、フレームメモリ１、２と該当する属性メモリ
４、５との演算内容を記憶する演算情報メモリ６と、こ
のメモリ６の指示内容に応じて、フレームメモリ１、２
内の画素を対応する属性メモリ４、５内の情報に従って
演算すると共に、前記指示内容に従って１つの演算結果
を出力する合成演算部７を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像間の合成を行うこ
とによって画像の表現力を向上させる画像処理装置に関
するものである。

【０００２】

【従来の技術】画像合成を行うとき、合成領域を判断す
るのにクロマキー信号を用いた合成手法がある。これは
例えばブルーバックの手法を用いて対象物の画像の背景
を予めクロマキー信号として青色にして撮影しておくこ
とにより、該背景部分に所望の画像を合成して表示する
装置である。この装置の構成図を図８に示す。ブルーバ
ックで撮影した画像はクロマキー判別回路２４でクロマ
キー信号であるか判断し、前記信号のときはビデオスイ
ッチを背景画像側出力にし、前記信号のない部分ではビ
デオスイッチ２３を対象画像側に出力する。

【０００３】図２を例に合成の説明をする。図２のよう
な画像で車８について注目して合成したい場合、背景で
あるビル９、空１０の領域についてはあらかじめブルー
バックにして図４のようなブルーバック１３を持ち、車
部分２５が表示された画像を撮影しておく。そこに図３
のような文字部分１１、文字の地部分１２を合成したも
のが図５であり、車部分２５、文字１１、文字の地１２
が合成されている。

【０００４】

【発明が解決しようとしている課題】しかしながら、上
記従来例では、画像合成のための判断材料をクロマキー
信号のみに頼っているため、つぎのような欠点があっ
た。

【０００５】（１）合成するためには、あらかじめ、他
画像を合成したい部分をブルーバックにして作成しなく
てはならない。

【０００６】（２）キー色（ここでは青）の使用ができ
ない。

【０００７】（３）背景（ビル２、空３）をぼかして同
時に表示ができない。

【０００８】（４）合成領域の変更ができない。

【０００９】本発明はかかる問題に鑑みなされたもので
あり、このような従来の問題点を解決すると共に、自由
度の高い合成画像を得ることを可能ならしめる画像処理
装置を提供しようとするものである。

【００１０】

【課題を解決するための手段】この課題を解決するため
本発明の画像処理装置は以下に示す構成を備える。すな
わち、合成対象の画像を記憶するＮ個のフレームメモリ
と、該フレームメモリそれぞれに対応し、各々のフレー
ムメモリに対しての合成に係る属性情報を記憶する少な
くともＮ個の属性メモリと、個々のフレームメモリと該
当する属性メモリを含むメモリ間の演算内容を指示する
指示手段と、該指示手段の指示内容に応じて、各フレー
ムメモリ内の画素を対応する属性メモリ内の情報に従っ
て演算すると共に、前記指示手段の指示内容に従って１
つの演算結果を出力する演算手段とを備える。

【００１１】

【作用】かかる本発明の構成において、フレームメモリ
には合成させようとする画像を記憶させ、そのフレーム
メモリ内の所望とする位置の画素単位の属性を対応する
属性メモリに記憶させる。そして、属性メモリと対応す
るフレームメモリの演算内容を指示する。演算手段はこ
の指示された演算内容に従って各フレームメモリと対応
する属性メモリ内のデータを画素単位に演算し、演算内
容に含まれる情報に従って、１つの演算結果を出力す
る。

【００１２】

【実施例】以下、添付図面に従って本発明に係る実施例
を詳細に説明する。

【００１３】実施例における画像処理装置のブロック構
成を図１に示す。尚、実施例では自然画像と多値画像で
ある文字データの合成において、自然画像中の注目しな
い背景部をボカす例について説明する。

【００１４】図中、１は画像読み取り装置（ビデオカメ
ラ等も含む）から入力した自然画像を記憶するフレーム
メモリ、２は別途入力手段（ＣＣＤスキャナ等）より入
力した多値画像を記憶するフレームメモリ、３は装置全
体の制御を司るＣＰＵである。４はフレームメモリ１か
らの画像信号をもとにしてＣＰＵ３において作成した画
像合成のための属性情報を格納する属性メモリ、５はフ
レームメモリ２からの画像信号をもとにしてＣＰＵ３に
おいて作成した画像合成のための属性情報を格納する属
性メモリである。６はフレームメモリ１、２及び属性メ
モリ４、５内の各画素毎に対する演算内容を格納するメ
モリ、７はメモリ６に格納された演算内容に従ってメモ
リ１、２、４及び５に格納されている画像を合成する合
成演算部、８は各メモリの出力タイミングをそろえるア
ドレス発生回路である。

【００１５】合成演算部７のブロックの内部構成を図６
に示す。各メモリ（フレームメモリ１、２、及び属性メ
モリ４、５）からの出力はセレクタ１３を介して乗算器
１５、１６、減算器１７に接続されており、メモリ６か
らの演算制御信号によってメモリ１、２、４、５と乗算
器１５、１６、減算器１７の接続関係が制御される。

【００１６】上記構成における実施例の動作を以下に説
明する。

【００１７】ＣＰＵ３によって、入力した画像のうち注
目させたい部分の画素についてはダイレクトに表示する
属性を、それ以外の画素についてはコントラストを落と
すような属性を画素ごとに属性メモリ４に格納する。従
って、属性メモリ４（属性メモリ５も同様）内では１画
素につき複数の状態情報が記憶されることから、１画素
につき数ビットの容量が割り当てられている。

【００１８】一方、フレームメモリ２に取り込まれた文
字画像に対して、ＣＰＵ３は文字部分のみを合成するよ
うに属性を指定し、属性メモリ５に画素単位で書き込
む。例えば文字の地の部分の色情報を利用して、前記部
分を表示しない属性に指定する。合成属性値としては、
合成後のボケ程度に応じて、０から１までの値を用い
る。ＣＰＵ３はメモリ４に対してメモリ５を前景画面と
するように前景画面情報を作成すると共に、合成演算部
７のセレクタ１３及び１４の接続関係を制御するセレク
タ制御情報を作成し、メモリ６に格納する。合成演算部
７ではメモリ１とメモリ２をメモリ６内の合成演算内容
に基づき画素単位で制御され、処理され出力される。

【００１９】属性情報作成の手法を以下に示す。尚、こ
こでは、図２のようなビル９、空１０をバックに車２５
が写っている自然画像と、図３のような文字画像を例に
とって説明する。

【００２０】使用者はポインティングディバイス等で図
２の車２５の画像部分をエッジ情報等を利用してエリア
指定する（尚、この指定処理そのものは公知であるの
で、その詳述は割愛する）。これによって、この指定部
分の画素に対して完全に表示する値“１”を与え、それ
以外のエリアに対しては表示をぼかす値、例えば“５／
７”を与えておく（この値は使用者が自ら指定するもの
とする）。この値を属性データとして画素ごとにメモリ
４に格納する。ぼかし方として、乗算器によって例えば
ＲＧＢ信号の値にぼかす値（この場合は５／７）をかけ
ることによって、各色成分毎の輝度を５／７にダウンす
ることにより達成する。

【００２１】次に図３の文字の地の部分１２の色を持っ
たエリアの画素については全く表示しない値０を与え、
文字部分１１のエリアについては完全に表示させる値１
を与え、それらの値を属性データとして属性メモリ５に
格納する。

【００２２】ここで再び図６を用い、合成演算部７の動
作を説明する。

【００２３】メモリ６からの演算情報によりセレクタ１
３はメモリ５とメモリ２のデータを乗算器１６へ入力す
る。そこで属性メモリ５の内容が“０”であるとき乗算
器１６はフレームメモリ２からの画素データに“０”を
かけるので結果として“０”がセレクタ１４に出力され
る。一方、属性メモリ５の内容が“１”のとき、乗算器
１６はフレームメモリ２からの画素データに“１”をか
けたデータ（そのままのデータ）をセレクタ１４に出力
する。

【００２４】また、メモリ６からの演算情報によりセレ
クタ１３はメモリ１とメモリ４のデータを乗算器１５へ
入力する。そこで乗算器１５は、属性メモリ４からの内
容が“５／７”であったときには、フレームメモリ１か
らの対応する画素を“５／７”にし、“１”場合にはそ
のままのデータをセレクタ１４に出力する。

【００２５】さて、セレクタ１４には乗算器１５及び１
６からの演算結果が出力されるが、このとき、属性メモ
リ４、５からのデータは減算器１７において減算され
る。その結果が選択信号としてセレクタ１４に供給され
る。具体的には属性メモリ４からのデータから属性メモ
リ５のデータを減じたとき、それが“負”であった場合
には乗算器１６の演算結果を出力し、正または“０”の
場合には乗算器１５の演算結果を出力する。かかる処理
によって図７に示す結果が得られる。

【００２６】以上のようにして、フレームメモリ１、２
に格納された画像を合成させるとき、各々の画像の合成
に係る属性を属性メモリ４、５に展開し、且つ、その属
性メモリ４、５に書き込まれたデータに対応する演算内
容をメモリ６に書き込むことで、画素単位の所望とする
合成結果を得ることが可能になる。

【００２７】尚、合成演算部７からの画像出力端子に
は、モニタとしての表示装置や印刷装置を接続するもの
とする。

【００２８】また、メモリは１、２、４、５の他に複数
個のメモリを設けても良い。

【００２９】また、メモリ４、５に持たせる属性とし
て、空間周波数を低下させる、透明度の指定をする、色
変換する、あるいはこれらを複数（１画像につき複数の
属性メモリを持たす）組み合わせてもよい。

【００３０】図６の各演算ユニット１５〜１７を論理演
算に置き換えることによって、２画像間（Ａ、Ｂ）の１
２通りの合成組み合わせを実現できる。具体的には、cl
ear （どちらも表示しない）、Ａ（Ａのみ表示）、Ｂ
（Ｂのみ表示）、ＡoverＢ（Ｂの上にＡが重なる）、Ｂ
overＡ（Ａの上にＢが重なる）、ＡinＢ（Ａの領域内部
にＢのみ表示）、ＢinＡ（Ｂの領域内部にＡのみ表
示）、Ａout Ｂ（Ａの領域外部にＢのみ表示）、Ｂout
Ａ（Ｂの領域外部にＡのみ表示）、ＡatopＢ（Ｂの領域
内部にＡとそれ以外のＢを表示）、ＢatopＡ（Ａの領域
内部にＢとそれ以外のＡを表示）、Ａxor Ｂ（ＡとＢの
重なる部分以外を表示）などである。

【００３１】＜第２の実施例＞図９に第２の実施例のブ
ロック構成図を示す。尚、図１と同じ意味を持つブロッ
クに対しては同符号を付してある。図１と異なるのは、
属性メモリとして３つ（符号３７〜３９）と、フレーム
メモリ１、２及び属性メモリ３７〜３９の内容に従って
処理する合成演算部２２である。属性メモリ３７はフレ
ームメモリ１の画像のレイヤ情報（上下の位置関係）を
記憶させるためのメモリ、メモリ３８はフレームメモリ
１の透明度を記憶するメモリ、メモリ３９はフレームメ
モリ２の画像のレイヤ情報を記憶するメモリである。合
成演算部のブロックの内部構成は図１３に示す通りであ
る。

【００３２】次に動作について説明する。フレームメモ
リ１の入力画像が図１０のような画像で、ヘリの胴体２
９、窓３０、プロペラ３１、３２、３３、背景３４から
なるとする。これにはＲＧＢ画像データのほかに属性デ
ータとして透明度情報とレイヤ情報も含まれている。透
明度を０／７〜７／７までとすると、０／７は完全に透
明、７／７は不透明、１／７〜６／７は半透明の程度を
示す。そして、胴体２９は不透明である値７／７を、プ
ロペラ３１、３２は５／７を、窓３０、影３３は２／７
を、背景３４は０／７を持つ。また、レイヤが０／７か
ら７／７までの値とすると０／７がもっとも奥で、７／
７がもっとも手前側にあることを示す。そこで、図１０
はレイヤ値として画面全体が７／７を持っている。一
方、図１１は山を示す３５、空を示す３６からなり、レ
イヤ情報として、山３５の部分の画素は値２／７、空３
６の部分の画素は値０／７を持つ。

【００３３】図１１において、影３３の画素に対して
は、レイヤ間の値の差分が４／７以上であるとき合成し
ない演算情報をメモリ６に与えておく。

【００３４】フレームメモリ１と属性メモリ３７からの
データはメモリ６からの演算制御データによって乗算器
１５に入力され、乗算を行う。また属性メモリ３７の入
力はメモリ６からのデータによって１−αブロック１９
に入力され、値“１”との差分がとられる。その出力
は、セレクタ１４に入力され、メモリ６のデータによっ
て再びセレクタ１３へ入力される。そこでメモリ６から
のデータによりメモリ２からの入力と共に乗算器１６へ
入力され、乗算を行う。次にセレクタ１４に入力された
この出力と前記乗算器１５の出力はメモリ６からのデー
タにより再びセレクタ１３に入力される。そしてメモリ
６からのデータでセレクタ１３により加算器１８に入力
され、加算される。

【００３５】一方、メモリ３７からのレイヤ入力と属性
メモリ３９からのレイヤ入力はセレクタ１３でメモリ６
からのデータにより減算器１７に入力され差分がとられ
る。この出力がセレクタ１４に入力され、メモリ６から
のデータにより再びセレクタ１３に入力される。セレク
タ１３ではメモリ６からのデータによりコンパレータ２
０に入力され、大小比較され、差分大でＯＦＦ信号、小
でＯＮ信号を発生する。この出力をセレクタ１４におい
てメモリ６からの合成不可信号がセレクトし、合成不可
のときは強制的にＯＦＦ信号を、可のときはコンパレー
タ２０出力をそのまま通し、セレクタ信号として、ＯＮ
のときは前記加算器出力を出力し、ＯＦＦではメモリ２
出力をダイレクトに２１を通じて出力する。

【００３６】以上の処理の結果、得られる画像は図１２
に示す様になる。図中、３１、３２の部分は山と空が透
けて見え、３０の部分はより透けて見える。３３はレイ
ヤ情報を利用して、影が空３６の部分には表示されてい
ない。

【００３７】尚、本発明は、複数の機器から構成される
システムに適用しても１つの機器から成る装置に適用し
ても良い。また、本発明は、システム或は装置にプログ
ラムを供給することによって達成される場合にも適用で
きることはいうまでもない。

【００３８】

【発明の効果】以上説明したように本発明によれば、各
々の画像データに属性情報を付加し、演算を上記のよう
なハードウェア構成をとることにより、自由度の高い画
像合成を高速に行うことが可能になる。

【図面の簡単な説明】

【図１】第１の実施例における画像合成装置のブロック
構成図である。

【図２】画像合成を行う自然画像のサンプル例である。

【図３】画像合成を行う多値画像のサンプル例である。

【図４】画像合成を行う自然画像をブルーバックで撮影
したサンプル例である。

【図５】図３と図４の画像の合成例を示す図である。

【図６】第１の実施例における合成演算部のブロック図
である。

【図７】第１の実施例における合成結果を示す図であ
る。

【図８】従来の画像合成装置のブロック構成図である。

【図９】第２の実施例の画像合成装置のブロック構成図
である。

【図１０】、

【図１１】第２の実施例における合成対象画像を示す図
である。

【図１２】第２の実施例における合成例を示す図であ
る。

【図１３】第２の実施例における合成演算部のブロック
構成図である。

【符号の説明】

１及び２フレームメモリ３ＣＰＵ４、５及び３７〜３９属性メモリ６演算情報メモリ７及び２２合成演算部８アドレス発生回路

Claims

【特許請求の範囲】

【請求項１】合成対象の画像を記憶するＮ個のフレー
ムメモリと、該フレームメモリそれぞれに対応し、各々のフレームメ
モリに対しての合成に係る属性情報を記憶する少なくと
もＮ個の属性メモリと、個々のフレームメモリと該当する属性メモリを含むメモ
リ間の演算内容を指示する指示手段と、該指示手段の指示内容に応じて、各フレームメモリ内の
画素を対応する属性メモリ内の情報に従って演算すると
共に、前記指示手段の指示内容に従って１つの演算結果
を出力する演算手段とを備えることを特徴とする画像処
理装置。