JPH0453148B2 - - Google Patents

Description

【発明の詳細な説明】 技術分野 本発明は画像合成装置、とくにテレビジヨン信
号などの映像信号によつて形成される複数の画像
を単一の画像に合成する画像合成装置に関する。

背景技術 テレビジヨンカメラやビデオテープなどの映像
源から出力される映像信号を使用して行なう画像
の合成は、放送局などの業務用装置では様々な方
式が実現されている。たとえばクロマキー方式で
は、特定色の色信号を検出して一方の画像におけ
るその部分の信号を削除し、その削除した部分に
他方の画像の対応部分を組み込む。組込みのため
のキー信号を適切に発生するには、その特定色が
所定の許容条件内で適切に画像のはめ込み部分に
含まれていなければならない。

これは、照明などの撮影条件が整備されたスタ
ジオなどの環境では比較的容易に実現される。し
かし、たとえば電子式スチルカメラなどを使用し
てアマチユアが利用できる通常の撮影条件下で
は、キー信号の基となる特定色の画像部分を適切
に撮影することはなかなか困難である。たとえば
人物像を他の画像に合成する場合、通常利用可能
な照明環境においてその人物の背景を均一な色に
撮影することは、かなりむずかしい。こうして撮
影された画像の背景色にむらがあると、そのむら
に応じてキー信号が形成される部分と形成されな
い部分が１つの画像（コマ）にランダムに混在
し、他の画像への組込みが適切に行なわれないこ
とがある。

目 的 本発明はこのような従来技術の欠点を解消し、
整備されていない撮影環境において撮影された画
像であつても比較的簡略な構成で画像合成を行な
うことができる画像合成装置を提供することを目
的とする。

発明の開示 本発明による画像合成装置は、画像を表わす映
像信号を入力する画像入力手段と、映像信号を蓄
積する蓄積手段と、２つの映像信号を画像の対応
画素ごとに比較し両映像信号に有意差があると制
御信号を発生する比較手段と、画像入力手段、蓄
積手段および比較手段を制御する制御手段とを含
み、蓄積手段には第１の画像を示す第１の映像信
号が蓄積され、制御手段は、第１の画像と実質的
に同じ画像に挿入対象の像を含む第２の画像を示
す第２の映像信号が入力手段に入力されると、比
較手段によつて第１の映像信号と第２の映像信号
との比較を行ない、これによつて制御信号が発生
すると、第２の映像信号のうち制御信号に対応す
る部分を第３の画像を示す第３の映像信号に合成
する。

実施例の説明 次に添付図面を参照して本発明による画像合成
装置の実施例を詳細に説明する。

初めに本発明の基本原理を概略説明する。第１
図を参照して、ターゲツト画像１０の所望の部分
１２に他の画像１４の人物１６をはめ込み、最終
画像１９を形成する場合を想定する。この想定例
では、ターゲツト画像１０は映像信号として磁気
デイスクに記録されている。

まず、他の画像１４の人物１６を除いた部分、
すなわち背景１８をたとえばテレビジヨンカメラ
にて撮影し、基準画像２０を形成する映像信号と
してメモリに蓄積しておく。次に、同じ背景１８
に挿入対象である人物１６を所望の位置１２に対
応する位置に含ませ、好ましくは同じテレビジヨ
ンカメラにて同じ情景を撮影する。

そこで、メモリから画像２０の映像信号を読み
出し、画像１４の映像信号と引き算すると、人物
１６に対応する部分のキー信号２２が作成され
る。両画像２０および１４の背景は実質的に同じ
であるので、このキー信号２２は人物１６に適切
に対応している。そこで、このキー信号に従つて
ターゲツト画像１０の初期の位置に人物１６を組
み込むと、最終画像１９が形成される。この組込
みは、磁気デイスクからターゲツト画像１０を読
み出す際に行なつて最終画像１９を示す映像信号
としてシステムから出力してもよい。また、ター
ゲツト画像１０を一旦他のメモリ領域に読み込
み、そのメモリ領域において組込みを行なつても
よい。

このような画像合成を実現する本発明による画
像合成装置の実施例が第２図に示されている。同
図の装置は、画像を映像信号として入力するため
に、テレビジヨンカメラ３０および磁気デイスク
装置３２などの画像入力装置を有する。磁気デイ
スク装置３２は、本実施例では電子式スチルカメ
ラによつて画像が撮影された小型の磁気デイスク
３４が適用される方式の磁気再生装置であり、そ
の磁気再生ヘツド３６の出力３８が切換えスイツ
チ４０を通して輝度・クロマ（Ｙ／Ｃ）信号分離
回路４４に入力される。

テレビジヨンカメラ３０は、たとえば固体撮像
デバイスを用い、同期制御部４６から制御線４８
を通して供給される駆動クロツクに同期して出力
５０に映像信号を出力し、これはやはり切換えス
イツチ４０を通してＹ／Ｃ分離回路４４の入力４
２に入力される。

Ｙ／Ｃ分離回路４４は、入力された映像信号に
含まれる輝度(Y)信号とクロマ(C)信号を分離し、こ
れを出力５４に出力する信号分離回路である。分
離されたＹ信号およびＣ信号は、アナログ・デイ
ジタル変換器（ADC）５４によつてデイジタル
信号形式に変換され、先入れ先出しメモリ
（FIFO）５６に入力される。FIFO５６は、のち
にわかるようにカメラ３０またはデイスク３４か
ら入力された映像信号の信号速度をメモリ５８か
らの信号読出し速度に整合させるための速度変換
機能を果している。

FIFO５６の出力６０は、一方では直並列変換
器（SPC）６４を介してメモリ５８の入力６６に
接続され、他方では比較部６８の一方の入力７０
に接続されている。

メモリ５８は、本実施例では少なくとも２フイ
ールド分の画像データを蓄積する容量を有し、第
３図に示すように少なくとも２つの記憶領域５８
Ａおよび５８Ｂを有する。たとえば領域Ａには基
準画像２０のデータが、また別の領域Ｂにはター
ゲツト画像１０のデータが蓄積される。一例で
は、１つの画面が512x512画素で構成され、１画
素が16ビツトで構成されていると、１つの領域Ａ
またはＢは約512Kバイトの容量となる。

メモリ５８の読出し出力７１および７２は、２
つの並直列変換器（PSC）７３および７４によつ
てビツト直列の信号に変換され、一方のPSC７４
からは比較部６８の他の入力７６に、他方のPSC
７３からはデイジタル・アナログ変換器（DAC）
８０の入力７５に供給される。DAC８０は、こ
のビツト直列の信号を対応するアナログ形式の映
像信号に変換して本装置の出力端子８４から出力
する。出力端子８４には、たとえば映像モニタ装
置１０６、磁気デイスク記録装置、ビデオテープ
レコーダ、通信回線などの利用装置が接続され
る。

比較部６８は、２つの入力７０と７６に得られ
る信号を比較する機能を有する。本実施例では、
映像信号の輝度すなわち階調が画素当り７ビツ
ト、すなわち128レベルで表わされる。また色差
については５ビツトで表わされる。そこで比較器
６８は、２つの入力７０および７６に入力される
映像信号の階調および色差についてそれぞれ比較
を行ない、階調については４ビツトすなわち16レ
ベル以上の差があれば、その出力８６に差検出信
号を出力する。また色差信号についても差の検出
を行なうと、画像のエツジがより正確に検出でき
る。その場合、本実施例では色差の５ビツトのう
ち最上位ビツトの相違を検出している。

出力８６に接続されているエツジ検出部８８
は、この差検出信号に応動し、これが３画素の映
像信号について継続したら比較部６８の２つの入
力７０と７６の信号の間に有意差があるものと判
定する。すなわちこれは、２つの入力７０および
７６の信号がそれぞれ表わす２つのの画像の間
で、ある部分にエツジが検出されたことを意味す
る。その判定結果は、出力９０から書込み信号発
生回路９２に入力される。

書込み信号発生回路９２は、この判定結果に応
じてメモリ５８に信号線９４を通して書込み信号
を供給する回路である。メモリ５８の書込みアド
レスおよび読出しアドレスは、同期制御部４６の
制御によりアドレス指定回路９６から与えられ
る。

同期制御部４６は、操作部１０４から入力され
る指示に応動して制御線４８，９８および１００
などによりデイスク装置３２を含む本装置全体を
統括、制御する回路である。切換えスイツチ４０
なども図示を省略しているがこれによつて制御さ
れ、またメモリ５８の読出し指示は制御線１０２
を通して与えられる。

第１図に示した例を用いて本装置による画像合
成動作を説明する。

まず、ターゲツト画像１０が記録されている磁
気デイスク３４をデイスク装置３２にセツトす
る。操作部１０４を操作してスイツチ４０を図示
の状態と反対の接続状態にするとともに、デイス
ク３４のターゲツト画像１０が記録されているト
ラツクからターゲツト画像１０を読み出してこれ
をメモリ５８の領域Ｂに蓄積させる。この画像
は、出力端子８４に接続された映像モニタ装置１
０６によつてモニタすることができる。また、モ
ニタ装置１０６で映像をモニタしながら以下の操
作を行なうように装置を構成するのが有利であ
る。

これらは同期制御部４６の制御の下に次のよう
にして行なわれる。同期制御部４８はデイスク装
置３２を駆動してデイスク３４の指定のトラツク
から映像信号を読み出す。この映像信号は磁気ヘ
ツド３６から切換えスイツチ４０を通してＹ／Ｃ
分離回路４４に入力され、Ｙ／Ｃ分離回路４４に
てＹ信号とＣ信号に分離される。さらに、ADC
５４、FIFO５６およびPSC６４を経てメモリ５
８の領域Ｂにデイジタル形式の映像データとして
蓄積される。その書込み領域Ｂの指定および書込
み指示は、同期制御部４６の制御によりアドレス
指定回路９６および書込み信号発生回路６２によ
つて行なわれる。なおその際、比較部６８は同期
制御部４６により消勢されている。

次に、操作部１０４を操作してスイツチ４０を
図示の接続状態にする。そこでカメラ３０を使用
して基準画像２０とするための背景１８を撮影す
る。その際、操作部１０４を操作してこの映像信
号をメモリ５８の領域Ａに蓄積させる。これらは
同期制御部４６の制御の下に前述と同様にして行
なわれる。

そこで、背景１８の前に所望のはめ込み対象、
すなわちこの例では人物１６を入れて再度、カメ
ラ３０にて同様の情景の撮影を行なう。その際、
操作部１０４の操作により比較部６８を有効にし
ておく。次に、操作部１０４を操作してメモリ５
８の記憶領域Ａから基準画像２０の映像信号を比
較部６８の一方の入力７６に読み出させる。この
読出しは、同期制御部４６がアドレス指定回路９
６を介して領域Ａの先頭アドレスから順次アドレ
ス指定することによつて行なわれる。

一方これと同期して同期制御部４６は、カメラ
３０を駆動し、画像１４の映像信号をカメラ３０
から出力させる。後者の映像信号は、FIFO５６
によつてメモリ５８からの映像信号と同期して比
較部６８の他方の入力７０に供給される。より詳
細には、メモリ５８の領域Ａから読み出された基
準画像２０のデータがカメラ３０からの画像２０
の映像信号と対応画素ごとに比較部６８の両入力
７０および７６に入力され、両者の比較が対応画
素ごとに行なわれる。比較部６８によつて両信号
の差が検出され、これが３画素分継続すると、エ
ツジ検出部８８はこの差を有意とみて、画像１４
における有効なエツジを検出したことを示すエツ
ジ検出信号を書込み信号発生回路９２に与える。
これが前述のキー信号２２（第１図）に相当す
る。

たとえば第４図に示すように、同期制御部４６
は、クロツク（同図Ａ）に同期してカメラ３０お
よびメモリ５８の領域Ａから画素ごとのＹ信号Ｙ
０，Ｙ１，YZ，……を比較部６８に入力させる。
たとえば第４図に矢印Ｄで示すように画素Ｙ６か
らＹ１７までのＹ信号に差があつたとすると、比
較部６８は同Ｃに示すような差検出信号を出力す
る。エツジ検出部８８は、この差検出信号が３画
素期間継続することを検出すると、その出力９０
を付勢してキー信号（同Ｄ）を出力する。

このキー信号は、第１図の例では、基準画像２
０と画像１４の間で背景１８が変化していないと
すれば、人物１６のエツジ部分で発生するはずで
ある。したがつて書込み信号発生回路９２は、人
物１６のエツジに対応するメモリ５８の記憶位置
をアドレス指定回路９６が示している時にメモリ
５８に書込み信号を与える。

一方、カメラ３０から出力される画像１４の映
像信号は、FIFO５６の出力６０からSPC６４を
通してメモリ５８にも入力される。アドレス指定
回路９６は、領域Ｂについても領域Ａについて現
在読出し中の記憶位置に対応する記憶位置を示し
ているので、メモリ５８に入力されるこの映像信
号は、上述のように人物１６のエツジ部分に対応
して書込み信号発生回路９２から書込み信号が与
えられると、メモリ５８の領域Ｂの対応する記憶
位置に書き込まれる。領域Ｂにはターゲツト画像
１０が蓄積されているので、この書込みによつて
ターゲツト画像１０の目的とする位置１２に人物
１６の部分が合成され、結果として最終画像１９
が領域Ｂに完成することになる。

つまり、第４図Ｅに示すように、クロツクに同
期してメモリ５８の領域Ｂの画素が対応してアド
レス指定される。そのうち画素Ｙ６〜Ｙ１７に対
応するＹ信号が同Ｆに示す書込み信号によりカメ
ラ３０からの映像信号で置き換わることになる。

これからわかるように、本発明によれば、キー
信号を作成する際、従来のように均一な背景を使
用しなくても、同じ情景において挿入対象物のな
い場面と、ある場面と撮影することによつて、撮
影条件が実質的に変化しないかぎり適切なキー信
号を形成することができる。

メモリ５８の領域Ｂに完成した最終画像１９
は、のちに操作部１０４を操作して出力８４に映
像信号として読み出すことができる。メモリ５８
から読み出された映像信号は、PSC７３によつて
直列信号に変換され、DAC８０によつてアナロ
グ映像信号として本装置の出力８４から出力され
る。これは、必要に応じて映像モニタ装置１０６
にて再生され、また磁気デイスクやビデオテープ
などの記録媒体に記録される。

前述のように比較部６８およびエツジ検出部８
８は、Ｙ信号の他にＣ信号についても有意差の有
無を判定しているので、正確に画像のエツジが検
出できる点で有利である。しかし、Ｙ信号または
Ｃ信号のいずれか一方についてのみ有意差の判定
を行なつても初期の目的を十分に達成できること
は理解されよう。また有意差の判定には３画素分
のデータを比較しているが、これは、単なる一時
的な雑音による差の検出を有意とみることを避け
るための空間周波数フイルタとして機能する。し
たがつて３画素という数以外の他の数も有効に適
用できることは言うまでもない。

上述の実施例では、ターゲツト画像１０が磁気
デイスク３４に記録されており、これからメモリ
５８に格納された。勿論、ターゲツト画像１０を
カメラ３０から入力してメモリ５８に格納するよ
うにしてもよい。また、ターゲツト画像１０を一
旦メモリ５８に格納することなく、磁気デイスク
３４から直接読み出して画像合成を行ない、装置
外部へ出力するようにしてもよい。さらに、図示
の実施例ではキー信号を作成するための画像１４
を直接カメラ３０から得ているが、磁気デイスク
などの他の映像源から得てもよく、また、カメラ
３０から一旦メモリ５８に読み込み、すべての映
像信号をメモリ５８において合成処理するように
構成してもよい。

効 果 本発明によれば、このように同じ情景において
挿入対象物のない場面と、ある場面とを撮影し、
後者の映像信号から前者の映像信号を減衰するこ
とによつて、キー信号を作成している。したがつ
て、従来のように均一な背景を使用しなくても、
撮影条件が実質的に変化しないかぎり適切なキー
信号を形成することができる。そこで、整備され
ていない撮影環境において撮影された画像であつ
ても比較的簡略な構成の装置で画像合成を行なう
ことができる。

【図面の簡単な説明】

第１図は本発明の基本原理を説明する説明図、
第２図は本発明による画像合成装置の実施例の構
成を示すブロツク図、第３図は第２図の実施例に
おけるメモリの記憶領域を示す図、第４図は第２
図の装置の一部の動作を示すタイミング図であ
る。 主要部分の符号の説明、３０……テレビジヨン
カメラ、３２……磁気デイスク装置、４６……同
期制御部、５８……メモリ、６８……比較部、８
８……エツジ検出部、９２……書込み信号発生
部、１０４……操作部。

Claims (1)

1. 【特許請求の範囲】 １ 画像を表わす映像信号を入力する画像入力手
   段と、 該映像信号を蓄積する蓄積手段と、 ２つの映像信号を画像の対応画素ごとに比較
   し、両映像信号に有意差があると制御信号を発生
   する比較手段と、 前記画像入力手段、蓄積手段および比較手段を
   制御する制御手段とを含み、 前記蓄積手段には第１の画像を示す第１の映像
   信号が蓄積され、 該制御手段は、第１の画像と実質的に同じ画像
   に挿入対象の像を含む第２の画像を示す第２の映
   像信号が前記入力手段に入力されると、前記比較
   手段によつて第１の映像信号と第２の映像信号と
   の比較を行ない、これによつて前記制御信号が発
   生すると、第２の映像信号のうち該制御信号に対
   応する部分を第３の画像を示す第３の映像信号に
   合成することを特徴とする画像合成装置。 ２ 特許請求の範囲第１項記載の装置において、
   前記比較手段は、一連の所定の数の画素について
   対応する画素の映像信号に差があると、前記制御
   信号を発生することを特徴とする画像合成装置。 ３ 特許請求の範囲第１項記載の装置において、
   前記比較手段は、映像信号に含まれる輝度信号に
   ついて比較を行なうことを特徴とする画像合成装
   置。 ４ 特許請求の範囲第１項記載の装置において、
   第１および第２の映像信号はカラー映像信号であ
   り、前記比較手段は、第１および第２の映像信号
   に含まれる色差信号について比較を行なうことを
   特徴とする画像合成装置。 ５ 特許請求の範囲第１項記載の装置において、
   前記画像入力手段は撮影装置を含み、第１および
   第２の映像信号は該撮影装置から入力されること
   を特徴とする画像合成装置。 ６ 特許請求の範囲第１項記載の装置において、
   前記画像入力手段は磁気再生装置を含み、第３の
   映像信号は該磁気再生装置から入力されることを
   特徴とする画像合成装置。 ７ 特許請求の範囲第１項記載の装置において、
   第３の映像信号は前記蓄積手段に蓄積され、前記
   制御手段は、前記制御信号に応じて該蓄積手段に
   おける第３の映像信号の対応記憶位置に第２の映
   像信号の対応部分を書き込み、これによつて画像
   合成を行なうことを特徴とする画像合成装置。