JPH05211662A - ディジタル映像特殊効果装置及び方法 - Google Patents

Abstract

(57)【要約】 【目的】 背景色発生器６０によって発生される背景及
び入力画像の処理されたものを含む出力画像を発生する
場合、色の不釣合のない良好な画像を得ることができる
と共に、色決定情報へのノイズの混入による画像の劣化
を防止できるようにする。 【構成】 背景色発生器６０を用いて入力画像を処理す
るようにすると共に、背景色発生器６０が入力画像のサ
ンプル部分から色決定情報を読み取り、この読みとった
色決定情報を用いて入力画像のサンプル部分の色に釣合
うよう背景の色を調整する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はディジタル映像特殊効
果処理の分野に関する。特に、この発明は背景色発生器
によって発生された背景及び入力画像が処理されたもの
を含む出力画像を発生する形式の映像特殊効果装置に関
する。

【従来の技術】ディジタル映像特殊効果装置としては、
入力画像を取り込み、取り込んだ入力画像に処理を加
え、一部が処理された入力画像、一部が処理された入力
画像で占められない出力画像部分を埋める背景で構成さ
れた出力画像を作成するものが知られている。

【０００２】この処理（特殊効果処理）としては、スケ
ーリング（画像の縮小や拡大等）、回転（対象画像の回
転）、クリップ（画像の切り取り）もしくは処理された
入力画像を出力画像のほんの一部に含ませるその他の処
理がある。

【０００３】背景に含めるべき素材を何らかの方法で定
めなければならない。これに対処する１つの簡単な方法
は、背景を満たすべき色をユーザーが選択できるように
することである。

【０００４】この色は、入力画像に背景色が調和すると
いう美的理由、もしくは、入力画像の内外の両方からの
背景に対して色調除去をあとで行う必要があるかどうか
のような技術的な理由により選択できるであろう。

【０００５】

【発明が解決しようとする課題】ところが、この簡単な
方法には問題がある。表示されている入力画像の背景は
それを見る人に安定した色で見えるかもしれないが、実
際は画像の照明効果における小さな変化及び（または）
カメラその他の装置における変動が背景色に小さな変動
を発生させている。

【０００６】背景色発生器によって発生されたいかなる
背景の色も、入力画像の背景の色の変化と同じ変化を示
さない。もし表示されているもの全てが入力画像だけで
あったら、そのような変化は特に目立たないであろう。
しかしながら、その変化が小さいとはいえ、２つのソー
スからの背景を並置すると、特に背景を後述の色調除去
に用いる場合に目障りな効果を生じるという問題があっ
た。

【０００７】また、サンプル位置の色決定情報中のノイ
ズが、背景色発生器によって発生された色に不要な変化
を発生させるという問題もあった。

【０００８】また、画像処理においては、どのようにし
て本来多量の画像データを十分な速度で処理するかとい
うことが問題となる。

【０００９】この発明はこれらの問題を一掃することの
できるディジタル画像特殊効果装置及び方法を提供する
ことを課題とする。

【課題を解決するための手段】本発明は、背景発生手段
と協動して入力画像を処理し、この背景発生手段によっ
て発生される背景情報及び入力画像の処理されたものを
含む出力画像を発生する手段を備え、背景発生手段は、
入力画像のサンプル部分から色決定情報を読み取り、こ
の読み取った色決定情報を用いて入力画像のサンプル部
分の色に釣合うよう上記背景の色を調整するものであ
る。

【００１０】また本発明は、入力画像を処理すると共に
背景を発生して入力画像を処理したもの及び発生された
背景を含む出力画像を発生する過程を有し、背景を発生
する過程は、入力画像のサンプル部分から色決定情報を
読み取ると共に、この読み取った色決定情報を用いて入
力画像のサンプル部分の色に釣合うよう背景の色を調整
することを含むものである。

【００１１】

【実施例】以下、図１〜図７を参照して本発明ディジタ
ル映像特殊効果装置及び方法の一実施例を詳細に説明す
る。

【００１２】図１は単一の背景（バックグラウンド）６
及びこの上の人の図形４で構成される入力画像２を示し
ている。この入力画像２は、操作によって画像８に示す
ように９０°時計回りに回転される。入力画像２は正方
形ではないので、入力画像２の処理部分は完全に出力画
像には入りきらない。従って、背景１０を入力画像が処
理されたもの９の両端に加えねばならない。この背景１
０の付加に対する要求は、周知のように、ディジタル映
像特殊効果装置によって決定される。背景１０内に表示
される素材は、背景色発生器によって発生される。

【００１３】続いて示す最終出力画像１２は背景１０の
色が、背景色発生器によって予め定められた色に調整さ
れることを示している。オペレータは、フレーム毎にま
たは基準となる１つの時間毎にこの背景色を選択するこ
とができる。予め定められる色は、入力画像２内の背景
６の色に釣合うように選択でき得る。

【００１４】上述したように、入力画像２の背景６は、
照明効果、或いはこれに類するものの変化による色の若
干の変動を受ける。その結果、背景１０の予め定められ
た色と入力画像が処理されたもの９の背景との間でわず
かな色の不釣合を生じるであろう。これら２つのソース
からの素材を並べると、このわずかな色の不釣合を強調
することになる。これを、出力画像１２中の破線で示
す。

【００１５】図２は、入力画像１４のサンプル部分１６
から読み取られた色決定情報が発生される背景の色を制
御するために用いられるシステムの操作を示すものであ
る。入力画像１４は、図１と同じ処理を受け、背景１８
の発生に対する同様の必要性を結果として生じる。この
場合、入力画像１４の背景２０の色はサンプル部分１６
の中から読み取られる。

【００１６】このシステムは現在活性化している（活動
している）サンプル部分１６が非背景素材で侵されるか
または侵されそうな場合、ユーザーが切り換え得る一定
数の代わりのサンプル部分２２を予め設定しておくこと
ができる。

【００１７】背景色発生器が入力画像１４の背景色２０
を動的に追跡するので、背景１８と処理された入力画像
１７との間には略正確な色の釣合が最終出力画像２４に
おいて維持される。図１の出力画像１２とは対照的に、
出力画像２４にはわずかに色の異なる区域が並ぶことは
ない。

【００１８】図３は後で行う色調除去のために、図１に
従って発生された出力画像を用いる過程を示す。出力画
像２６は、入力画像の背景３０及び背景色発生器によっ
て発生された背景３２からなる背景に位置するブロック
２８を含んでいる。上述したように、破線によって示さ
れる異なる背景間には、わずかな色の不釣合が存在する
可能性がある。

【００１９】色調除去は、非常に狭く調整されている色
フィルタに画像を通すことによって、画像から背景色を
除去する動作である。フィルタがブロック２８内からの
色をも除去するという問題を軽減するため、フィルタの
レスポンスはできる限り狭くされている。従って、異な
る背景部分間のわずかな色の不釣合に対し、フィルタは
区域３０及び３２の両方を全て同時に除去することはで
きない。この結果、除去された画像３３は背景３０が除
去されてはいるものの、背景３２の除去は完全に行われ
ていないということになる。除去処理された画像３３
は、不所望の薄い色合いとなっている両側の区域３４と
共に所望のブロック２８を含む。

【００２０】除去処理された画像３３はこの後複合出力
画像３８を発生させるために２番目の画像３６に加えら
れる。このように、背景色発生器によって発生された背
景３２におけるわずかな色の不釣合は、最終的に複合画
像３８の両側に不所望の色の変化を生じるという結果と
なる。

【００２１】図４は図２に従って発生された画像を用い
る色調除去を示す。手短かにいえば、背景は、その全体
が除去されて、背景色発生器によって発生される背景に
対応する不所望の色合いが生じない結果、一貫した色に
なっている。

【００２２】図５は背景色発生器によって用いられる背
景色の制御のためのシステムを示す。この図５に示す制
御システムは、ＲＧＢ信号を分離したＲＧＢ成分の１つ
に関するものである。ゆえに全部のシステムは３つのこ
のような装置を含むものである。個々の成分入力映像信
号は直列データストリームの形で入力映像回路４０から
最小値・最大値検出回路４２に供給される。この最小値
・最大値検出回路４２は入力データストリームをサンプ
ルし、入力画像内のサンプルに対応するデータストリー
ム部分の色成分の最端値を検出する。検出された色成分
の最端値は平均回路４４において平均され、この平均値
は比較回路４６に供給される。この比較回路４６では、
色決定情報がラッチ回路４８に保持された映像列の内の
直前の画像のそれと比較される。

【００２３】最小値・最大値検出回路４２、平均回路４
４及び比較回路４６が入力画像内の指定サンプル部分の
みに応答するということは重要である。これはタイミン
グ発生器５０によって保証される。ユーザーはサンプル
コントローラ５２を用いて現在活動中のサンプル部分を
選択する。この情報は、サンプル位置・大きさ回路５４
によって現在活動中のサンプルのラスタライン番号及び
サンプル一を表すデータに変換される。タイミング発生
器５０はサンプル位置・大きさ回路５４の出力をタイミ
ング信号に変換し、このタイミング信号を最小値・最大
値検出回路４２、平均回路４４及び比較回路４６に夫々
供給する。

【００２４】直列データの入力ストリームはラスタ走査
された画像の形であり、サンプル部分は、この場合、入
力画像の左上隅にあるので、タイミング発生器５０は画
像フレーム内の最初のわずかなラインの各ライン内の最
初のわずかな画素の間にタイミング信号を与える。この
タイミング信号は画像の左上隅のサンプルを行うのに必
要な適当回数で、最小値・最大値検出回路４２、平均回
路４４及び比較回路４６を差動させる。

【００２５】比較回路４６からの出力は減衰制御を行う
エラーリミッタ５６に供給される。このエラーリミッタ
５６は一定数の減衰動作を行うことができる。エラーリ
ミッタ５６の機能はサンプル部分内の色決定情報におけ
る一時的な変化に対する過度の反応を抑圧することであ
る。使用可能な種々の減衰動作は図６により後述する。
エラーリミッタ５６からの出力は、サンプル部分内の背
景色成分のる変化の追跡に適する背景の色成分の変化に
一致する。

【００２６】加算回路５８はこの変化を、背景色発生器
６０から供給される現時点の色成分値と合算し、この値
をラッチ回路４８に供給して保持させる。背景色発生器
６０は、この後、ラッチ回路４８に保持された値を作成
する必要がある背景に適用する。

【００２７】破線で示すセクション６２ではソフトウエ
アを用いて汎用コンピュータを制御し、破線で示すセク
ション６４ではハードウエアを用いるようにするのが便
利である。ハードウエアを用いるセクション６４は高い
周波数の入力データの迅速な解析をなし得る点を、ソフ
トウエアで実施されるセクション６２はそれほど高速の
動作が要求されない背景色発生や減衰制御を比較的容易
に実施できる点を考慮している。

【００２８】図６はエラーリミッタ５６によって用いら
れる様々な減衰の動作を示す。説明の都合上、サンプル
部分内の色成分のサンプル値は、時間Ｔ０で段階的変化
を受けるものと仮定する。サンプル値の、予め設定され
たスレッシュホールドレベルの変化ＶＴより小さい新た
なレベルＶ’へのいかなる変化も、直ちに行われるであ
ろう。スレッシュホールドレベルＶＴより大きい変化
は、ノイズによるものが多く、次のような減衰動作の１
つを受けることになる。

【００２９】減衰動作Ｂでは、エラーリミッタは期間Ｔ
ｄの間におけるいかなる変化にも応答しないが、この後
は完全に応答する。従って、ある段階的変化が期間Ｔｄ
内で起きた一時的なグリッチ（不調）だった場合、背景
色には不要な変化が発生しない。図６のＣに示す減衰動
作では、エラーリミッタ５６は変化に対して即座に応答
するが、発生されていた画像の各フレーム間の背景色内
の一定の最大変化だけを認める。これを時間Ｔ０に続く
制動応答グラフの最大勾配Ｍによって示す。この動作Ｃ
では、入力におけるグリッチが背景色内に比較的小さな
疑似変化を発生させることになる。

【００３０】図６のＤに示す減衰動作は図６のＢ及びＣ
の動作の組合わせである。期間Ｔｄの間において応答が
なく、その後の応答は、勾配Ｍに対応するフレーム間の
最大変化を受ける。

【００３１】図７は映像信号の青成分内へのグリッチ入
力に対する減衰応答を示す。強くまたは弱く、減衰した
応答が示されている。

【００３２】

【発明の効果】このように本発明においては、背景色発
生器６０により、入力画像のサンプル部分から色決定情
報を読み取り、この読み取った色決定情報を用いて入力
画像のサンプル部分の色に釣合うよう背景の色を調整す
るようにしたので、色の不釣合のない良好な画像を得る
ことができると共に、色決定情報へのノイズの混入によ
る画像の劣化を防止することができる。

【図面の簡単な説明】

【図１】背景に予め定めた色を用いる一連のステップを
示す説明図である。

【図２】背景色の制御に入力画像のサンプルを用いる一
連のステップを示す説明図である。

【図３】色調除去処理を用いる場合の問題点を示す説明
図である。

【図４】改良された色調除去処理を示す説明図である。

【図５】本発明ディジタル映像特殊効果装置及び方法の
一実施例を示す構成図である。

【図６】減衰動作の種々の例を示す波形図である。

【図７】入力ノイズに加える減衰レベルの例を示す波形
図である。

【符号の説明】

１４ 入力画像 １６ サンプル部分 １７ 入力画像の処理されたもの １８ 背景 ２４ 出力画像 ４２ 最小値・最大値検出回路 ４４ 平均回路 ５２ サンプルコントローラ ５６ エラーリミッタ ６０ 背景色発生器

Claims (10)

【特許請求の範囲】
1. 【請求項１】 背景発生手段と協動して入力画像を処理
   し、該背景発生手段によって発生される背景情報及び入
   力画像の処理されたものを含む出力画像を発生する手段
   を備え、 上記背景発生手段は、上記入力画像のサンプル部分から
   色決定情報を読み取り、この読み取った色決定情報を用
   いて上記入力画像の上記サンプル部分の色に釣合うよう
   上記背景の色を調整することを特徴とするディジタル映
   像特殊効果装置。
2. 【請求項２】 更に上記読み取った色決定情報の変化に
   対して上記背景発生手段の応答に制限を加えるための色
   変化減衰手段を含むことを特徴とする請求項１記載の装
   置。
3. 【請求項３】 上記色変化減衰手段は、予め定めた時間
   の間に上記背景発生手段が上記読み取った色決定情報の
   変化に対する応答を抑制することを特徴とする請求項２
   記載の装置。
4. 【請求項４】 上記色変化減衰手段は上記背景発生手段
   によって調整される上記背景の色における変化率を予め
   定めた最大の率に制限することを特徴とする請求項２ま
   たは３記載の装置。
5. 【請求項５】 上記入力画像の上記サンプル部分として
   処理される部分を変える手段を備えることを特徴とする
   上記各請求項記載の装置。
6. 【請求項６】 上記手段は、ユーザー入力に応答して上
   記サンプル部分として処理される上記入力画像の予め定
   めた部分を切り換えることを特徴とする請求項５記載の
   装置。
7. 【請求項７】 上記背景発生手段は上記読み取った色決
   定情報の最端値を検出し、上記最端値の平均に応じて上
   記背景の色を調整することを特徴とする上記各請求項記
   載の装置。
8. 【請求項８】 上記背景発生手段は、上記入力画像を表
   す直列データの通過ストリームの中から上記色決定情報
   を読み取ることを特徴とする各請求項記載の装置。
9. 【請求項９】 上記サンプル部分は、上記入力画像の色
   調除去背景区域に対応する上記入力画像内位置にあるこ
   とを特徴とする上記各請求項記載の装置。
10. 【請求項１０】 入力画像を処理すると共に背景を発生
    して上記入力画像を処理したもの及び上記発生された背
    景を含む出力画像を発生する過程を有し、 上記背景を発生する上記過程は、入力画像のサンプル部
    分から色決定情報を読み取ると共に、この読み取った色
    決定情報を用いて上記入力画像の上記サンプル部分の色
    に釣合うよう上記背景の色を調整することを含むことを
    特徴とするディジタル映像特殊効果方法。