JPH11102434A

JPH11102434A - 画像処理装置及び方法

Info

Publication number: JPH11102434A
Application number: JP10189276A
Authority: JP
Inventors: Hitoshi Ebihara; 均蛯原
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-07-31
Filing date: 1998-07-03
Publication date: 1999-04-13

Abstract

(57)【要約】【課題】画像信号とキー信号の双方にアンチエリシン
グ処理を施しても、前景画像の前景色に対するその背景
色の混合のような画質の低下を招くことがないようにす
る。【解決手段】画像処理装置１では、画素検出回路６が
検出した混色の起こる可能性のある画素に対して、画像
フィルター回路３で前景画像にあって背景色を含まない
画素のみを用いたアンチエリアシング処理を施し、この
アンチエリアシング処理の施された前景画像信号を乗算
器７に供給する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は前景画像と背景画像
とをキー信号を用いて合成するときに画像信号及びキー
信号の双方にアンチエリアシング処理を施す画像処理装
置及び方法に関する。

【０００２】

【従来の技術】ある映像（背景画像）の上に任意の形状
でくり貫いた形で別の映像（前景画像）を合成する場
合、ある映像と別の映像の画素毎の合成比率をあらわす
キー信号（キー映像）が使用される。通常、キー信号に
は入力画像からブルーバック（背景色）を抽出するなど
して、背景として消したい部分を透明に、残したい部分
を不透明になるような値を持たせる。

【０００３】このキー信号を用いて上記前景画像と背景
画像とを合成した合成画像を、例えばラスタ走査方式の
カラーディスプレイに表示すると、特に斜線や面の辺り
において階段状のギザギザが目立つことがある。これは
画素数の不足により生ずるエリアシング誤差と呼ばれる
現象であり、上記合成画像の画質の低下を招いてしま
う。そこで上記ギザギザのエッジ部分をぼかして、目立
たなくするアンチエリアシング処理が必要とされる。

【０００４】しかし、アンチエリアシング処理のために
上記キー信号に対して直接フィルター演算を行うだけで
は、本来は透明になるべき背景領域にもキー値が広がっ
てビデオ合成時に背景色が見えてしまう可能性がある。

【０００５】すなわち、例えば図１３の（ａ）に示すよ
うな入力キー信号値Ｋｉ（ｉ＝０〜９を図示）に対して
単純な３タップ−フィルター演算であるＬｉ＝Ｆ（Ｋｉ−１，Ｋｉ，Ｋｉ＋１）＝（Ｋｉ−１＋２Ｋｉ＋Ｋｉ＋１）／４の演算を行った場合、図１３の（ｂ）に示すように本来
は背景領域であるｉ＝１，８の画素に対しては透明度が
下がってしまう。

【０００６】また、合成する上記前景画像信号に対して
もアンチエリアス処理が必要になるが、単純なフィルタ
ー演算を行うだけでは合成画像の輪郭部分に本来はキー
で抜けて見えなくなるべき背景色が混ざり込んでしまう
問題がある。

【０００７】すなわち、例えば図１４の（ａ）に示すよ
うな入力画像信号値Ｐｉ（＝０〜９を図示）に対して単
純な３タップ−フィルター演算であるＱｉ＝Ｆ（Ｐｉ−１，Ｐｉ，Ｐｉ＋１）＝（Ｐｉ−１＋２Ｐｉ＋Ｐｉ＋１）／４の演算を行った場合、図１４の（ｂ）に示すように本来
は背景領域であるｉ＝１，８には前景色が混ざり込み、
前景色であるｉ＝２，７には背景色が混ざり込む。

【０００８】本発明はこのような問題点に鑑みてなされ
たものであって、画像信号とキー信号の双方にアンチエ
リシング処理を施しても、上記前景画像に対するその背
景色の混合のような画質の低下を招くことのない画像処
理装置及び方法の提供を目的とする。

【０００９】

【課題を解決するための手段】本発明に係る画像処理装
置は、上記課題を解決するために、前景画像と背景画像
とをキー信号を用いて合成する画像処理装置であって、
画素数の不足に伴い斜めの図形境界を階段状にギザギザ
に表示してしまうエリアシングノイズを目立たなくする
アンチエリアシング処理を上記前景画像に施す画像フィ
ルター手段と、上記アンチエリアシング処理を上記キー
信号に施すキーフィルター手段と、上記キー信号、及び
上記画像フィルター手段のサイズから、上記画像フィル
ター手段の演算によって混色の起こる可能性のある画素
を検出する画素検出手段とを備え、上記画素検出手段が
検出した上記混食の起こる可能性のある画素に対して、
上記画像フィルター手段は上記前景画像にあって背景色
を含まない画素のみを用いたアンチエリアシング処理を
施す。

【００１０】ここで、上記画素検出手段が上記キー信号
から上記前景画像の中で前景色と背景色の境界部分を検
出したとき、上記画像フィルター手段は、その境界部分
については上記前景画像の前景色を背景色部分に複写す
る。

【００１１】また、上記画素検出手段は上記キーフィル
ター手段のサイズから上記キー信号が上記前景画像の背
景色に対して広がる領域を検出したときには、その領域
に対しては最も近くの前景の輪郭画素を複写する。

【００１２】本発明に係る画像処理方法は、上記課題を
解決するために、前景画像と背景画像とをキー信号を用
いて合成するための画像処理方法であって、画像信号及
びキー信号の双方に、画素数の不足に伴い斜めの図形境
界を階段状にギザギザに表示してしまうエリアシングを
目立たなくするアンチエリアシング処理を施す際に、上
記前景画像にアンチエリアシング処理を施す画像フィル
ターのサイズから、上記画像フィルターの演算によって
混色の起こる可能性のある画素を検出し、その画素に対
しては、上記画像フィルターの背景色を含まない画素の
みを用いたアンチエリアシング処理を施す。

【００１３】ここで、上記キー信号から上記前景画像の
中で前景色と背景色の境界部分を検出し、その境界部分
については上記前景画像の前景色を背景色部分に複写す
る。

【００１４】また、上記キー信号に上記アンチエリアシ
ング処理を施すキーフィルターのサイズから上記キー信
号が上記前景画像の背景色に対して広がる領域を検出
し、その領域に対しては最も近くの前景の輪郭画素を複
写するアンチエリアシング処理を施す。

【００１５】本発明によれば、画像フィルターのサイズ
から、画像フィルターの演算によって混色の起こる可能
性のある画素が検出され、その画素に対しては、画像フ
ィルターが背景色を含まない画素だけで演算するように
切り替えられる。

【００１６】また、キーフィルタのサイズからキー信号
が背景に対して広がる領域を検出し、その領域に対して
は最も近くの前記の輪郭画素をコピーする処理が実行さ
れる。

【００１７】本発明に係る画像処理装置は、上記課題を
解決するために、前景画像と背景画像とをキー信号を用
いて合成する画像処理装置であって、画素数の不足に伴
い斜めの図形境界を階段状にギザギザに表示してしまう
エリアシングを目立たなくするアンチエリアシング処理
を上記前景画像に施す画像フィルター手段と、上記画像
フィルター手段に入力する画素の背景色／前景色の識別
結果を基に、上記画像フィルター手段の演算方式を指定
するか、あるいは入力画素を複写するかを選択する制御
手段と、上記アンチエリアシング処理を上記キー信号に
施すキーフィルター手段とを備え、上記制御手段が上記
背景色／前景色の識別結果から混色の起こる可能性のあ
る画素を検出したとき、上記画像フィルター手段は上記
前景画像にあって背景色を含まない画素のみを用いたア
ンチエリアシング処理を施す。

【００１８】ここで、上記制御手段が上記背景色／前景
色の識別結果から上記前景画像の中で前景色と背景色の
境界部分を検出したとき、この境界部分については上記
前景画像の前景色を背景色部分に複写する。

【００１９】また、上記制御手段は、上記キーフィルタ
ー手段のサイズから上記キー信号が上記前景画像の背景
色に対して広がる領域を検出したときには、その領域に
対して、最も近くの前景の輪郭画素を複写する。

【００２０】本発明に係る画像処理方法は、上記課題を
解決するために、前景画像と背景画像とをキー信号を用
いて合成するための画像処理方法であって、アンチエリ
アシング処理を上記前景画像に施す画像フィルター部に
入力する画素の背景色／前景色の識別結果を基に、上記
画像フィルター部の演算方式を指定するか、あるいは入
力画素のいずれかを複写するかを選択制御する。

【００２１】ここで、上記背景色／前景色の識別結果か
ら混色の起こる可能性のある画素を検出したとき、上記
画像フィルター部は上記前景画像にあって背景色を含ま
ない画素のみを用いたアンチエリアシング処理を施す。

【００２２】また、上記背景色／前景色の識別結果から
上記前景画像の中で前景色と背景色の境界部分を検出し
たとき、この境界部分については上記前景画像の前景色
を背景色部分に複写する。

【００２３】また、上記キー信号にアンチエリアシング
処理を施すキーフィルター部のサイズから上記キー信号
が上記前景画像の背景色に対して広がる領域を検出した
ときには、その領域に対して、最も近くの前景の輪郭画
素を複写する。

【００２４】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。

【００２５】この実施の形態は、例えばコンピュータグ
ラフィックスのような前景画像と例えば写真のような背
景画像とをキー信号を用いて合成する、図１に構成を示
すような画像処理装置１であり、本発明の画像処理装置
及び方法を適用している。

【００２６】この画像処理装置１は、図１に示すよう
に、画像入力端子２から入力される前景画像信号に対し
て、画素数の不足に伴い斜めの図形境界を階段状にギザ
ギザに表示してしまうエリアシングを目立たなくするア
ンチエリアシング処理を施す画像フィルター回路３と、
キー信号入力端子４から入力されるキー信号に対して上
記アンチエリアシング処理を施すキーフィルター回路５
と、上記キー信号、及び画像フィルター回路３のサイズ
から、この画像フィルター回路３の演算によって混色の
起こる可能性のある画素を検出する画素検出回路６とを
備えてなる。

【００２７】また、この画像処理装置１は、キーフィル
ター回路５でアンチエリアシング処理の施されたキー信
号を上記画像フィルター回路３からの前景画像信号出力
に乗算する乗算器７と、上記アンチエリアシング処理の
施されたキー信号を１から引いた残りの値を、画像入力
端子８から入力される背景画像信号に対して乗算する乗
算器９と、この乗算器９と乗算器７との乗算出力とを加
算し、合成画像を出力端子１１から出力する加算器１０
とを備えている。

【００２８】そして、この画像処理装置１では、画素検
出回路６が検出した上記混色の起こる可能性のある画素
に対して、画像フィルター回路３で上記前景画像にあっ
て背景色を含まない画素のみを用いたアンチエリアシン
グ処理を施し、このアンチエリアシング処理の施された
前景画像信号を乗算器７に供給する。

【００２９】画像フィルター回路３は、通常の画素用の
アンチエリアシングフィルター回路１２と、拡張画素用
の輪郭画素の記憶回路１３と、エッジ画素専用のアンチ
エリアシングフィルター回路１４と、これらの回路１２
〜１４の出力を選択する出力選択回路１５とを備えてい
る。

【００３０】通常画素用のアンチエリアシングフィルタ
ー回路１２は、前景画像信号入力Ｐｉに対して例えば、Ｑｉ＝Ｆ（Ｐｉ−１，Ｐｉ，Ｐｉ＋１）＝（Ｐｉ−１＋２Ｐｉ＋Ｐｉ＋１）／４のような３タップのフィルター演算を行う回路である。
そして、入力画素がエッジ画素又は拡張画素でない場合
には、出力選択回路１５はこのフィルター回路１２の演
算結果を選択する。

【００３１】エッジ画素専用のアンチエリアスフィルタ
ー回路１４は、背景画素を含まない形のフィルター演算
を実行する。このフィルター回路１４は、後述するエッ
ジ画素の付加情報を受けて、エッジ画素の位置（中央、
右、左等）に応じたフィルター演算を実行することがで
きる。エッジ画素に対しては、出力選択回路１５はこの
フィルター回路１４の演算結果を選択する。

【００３２】拡張画素用の輪郭画素の記憶回路１３は、
入力画像信号の画素に最も近い前景の輪郭画素情報を記
憶しておく。拡張画素に対しては、出力選択回路１５は
この回路１３の出力を選択する。

【００３３】キーフィルター回路５は、入力キー信号Ｋ
ｉに対して例えば、Ｌｉ＝Ｆ（Ｋｉ−１，Ｋｉ，Ｋｉ＋１）＝（Ｋｉ−１＋２Ｋｉ＋Ｋｉ＋１）／４のような３タップのフィルター演算を行う。このフィル
ター回路５は一種類の演算を行えばよい。

【００３４】画素検出回路６は、エッジ画素検出回路１
６と、拡張画素検出回路１７とを備えている。エッジ画
素検出回路１６は、キー信号から背景領域に隣接する前
景の輪郭画素を求め、画像フィルター回路３のサイズか
ら演算によって混色の起きる可能性がある「エッジ画
素」を検出する。拡張画素検出回路１７は、キーフィル
ター回路５のサイズからキー信号が背景領域に対して広
がる画素数を求め、画像信号の輪郭画素をコピーすべき
「拡張画素」の検出を行う。この画素検出回路６はこれ
らの検出情報をもとに画素種別情報を生成し、画像フィ
ルター回路３の出力選択回路１５に送る。また、エッジ
画素の付加情報をエッジ専用フィルター回路１４に送
る。

【００３５】次に、この画像処理装置１の動作について
説明する。今、画像入力端子２から図２に示すＣＧ画像
が入力され、画像入力端子８から図３に示すような写真
画像が入力されたとする。また、キー信号入力端子４か
らは上記前景画像から図示しないキー信号生成部が生成
したキー信号が入力されたとする。

【００３６】画素検出回路６のエッジ画素検出回路１６
は、上記キー信号から上記背景画像に隣接する前景画像
の輪郭画素（エッジ）を求める。

【００３７】また、画像フィルター回路３の通常のフィ
ルター回路１２は、上記入力画像信号に対して通常の３
タップのフィルター処理を施す。

【００３８】また、画像フィルター回路３のエッジ専用
フィルター回路１４は、上記入力画像信号に対して上記
エッジ画素の付加情報を用いたエッジ画素専用のアンチ
エリアシング処理を施す。

【００３９】また、出力選択回路１５は、画素検出回路
６がキーフィルター回路５のサイズから上記キー信号が
上記前景画像の背景色に対して広がる領域を検出する
と、その領域に対しては最も近くの輪郭画素となる前景
画素を輪郭画素の記憶回路１３から読み出し、その背景
色に複写する。

【００４０】また、出力選択回路１５は、画素検出回路
６が上記キー信号から上記背景画像に隣接する前景画像
の輪郭画素を求め、上記混色の起こる可能性のある画素
を検出すると、エッジ専用のフィルター回路１４からの
フィルター出力を選択する。

【００４１】図４はエッジ拡張処理の動作例を示す図で
ある。この図４の（ａ）は入力画像信号であり、図４の
（ｂ）はエッジ拡張後の画像信号である。

【００４２】エッジ拡張処理は、キー信号に対してアン
チエリアス処理を行う際に、キー信号が前景領域から背
景領域に広がり、本来は透明に抜けるはずの背景領域が
画像合成の際に見えてしまう問題を解決するための処理
である。アンチエリアス処理を施すためのフィルターの
サイズから背景領域にはみ出すキー領域は事前に分かる
ため、画像信号のこの領域に対応する画素に対して、最
も近くにある輪郭画素（背景領域に隣接する前景画素）
のコピーを行うものである。図４ではＰ２をＰ１にコピ
ーし、Ｐ７をＰ８にコピーしている。つまり、前景色を
両側に２画素拡張している。

【００４３】次に、図５はエッジ保護処理の動作例を示
す図である。この図５の（ａ）は入力画像信号Ｐｉであ
り、図５の（ｂ）はエッジ保護後の画像信号Ｑｉであ
る。

【００４４】エッジ保護処理は、画像信号に対してアン
チエリアスフィルター演算を行う際に、背景色が前景色
に混ざり込むことを防止するための処理である。アンチ
エリアス処理を施すためのフィルターのサイズから背景
色が混ざってしまう前景画素、すなわちエッジ画素は事
前に分かるため、そのエッジ画素に対するフィルター関
数のみ背景画素を含まない形に切り替える。図５ではエ
ッジ画素（ｉ＝２，７）については、Ｑ２＝Ｐ２，Ｑ７
＝Ｐ７として、それぞれ背景画素Ｐ１，Ｐ８を含まない
ようにし、それ以外の画素については、Ｑｉ＝Ｆ（Ｐｉ−１，Ｐｉ，Ｐｉ＋１）＝（Ｐｉ−１＋２Ｐｉ＋Ｐｉ＋１）／４としている。

【００４５】図６はエッジ保護処理とエッジ拡張処理を
組み合わせた場合の動作例を示す図である。この図６の
（ａ）は入力画像信号Ｐｉであり、図６の（ｂ）はエッ
ジ拡張処理及びエッジ保護処理を施した後の画像信号Ｑ
ｉである。

【００４６】図６（ｂ）に示すように、エッジ拡張処理
とエッジ保護処理を組み合わせることで、画像信号とキ
ー信号に対して同時にアンチエリアスフィルター処理を
行いながらも、合成後の画像に背景色の混ざることを完
全に防止できる。

【００４７】このため、画像信号処理装置１により、図
２に示した前景画像と図３に示した背景画像とを合成す
ると、図７に示すような本発明に基づくアンチエリアシ
ング処理の施された合成画像を生成することができる。
この合成画像は、図８に示す比較例のように前景画像に
対するその背景色の混合のような画質の低下を招くこと
がない。

【００４８】次に、本発明の他の実施の形態について説
明する。この他の実施の形態は、図９に示すような画像
処理装置２０である。基本的には上記画像処理装置１と
同様に、例えばコンピュータグラフィックスのような前
景画像と例えば写真のような背景画像とをキー信号を用
いて合成する。

【００４９】この画像処理装置２０では、入力前景画像
PI（0,0)〜PI(x_s,y_s)が１画面分の大きさのメモリ２１
に格納されている。また、キー画像KI（0,0)〜KI(x_s,
y_s)も１画面分の大きさのメモリ２５に格納されてい
る。また、背景画像も１画面分の大きさのメモリ３２に
格納されていてもよい。

【００５０】キー画像KI（0,0)〜KI(x_s,y_s)は、キー生
成回路２４により生成されるが、外部から上記キー画像
信号用メモリ２５に入力されてもよい。すなわち、キー
画像が外部装置から供給される場合はそのまま使用する
が、キー画像が与えられない場合は入力画像から特定の
色域領域を抽出する処理（クロマキー）などを行ってキ
ー画像を作り出すことができる。

【００５１】画像フィルター回路２２は上記図１に示し
た画像フィルター回路３と同様に、前景画像信号に対し
て上記アンチエリアシング処理を施す。

【００５２】また、キーフィルター回路２６は上記図１
に示したキーフィルター回路５と同様に、キー信号に上
記アンチエリアシング処理を施す。

【００５３】これらフィルター演算回路は、内部を多段
のパイプライン構成とし、フィルター演算に関与する全
ての画素を一時的に記憶させておくことによって、後述
する画像生成制御回路２３から指定された画素のパター
ンに応じたフィルター演算を行える構成とする。さら
に、近傍の画素情報を蓄積していることを利用して、近
傍画素値のコピーや近傍の複数画素の平均値などを出力
する機能も持っている。

【００５４】画像生成制御回路２３は、上記画素検出回
路６の機能を含み、画素のパターンを検出し、画像フィ
ルター回路２２及びキーフィルター回路２６での演算方
式を指定する。

【００５５】背景識別回路２７は、背景として扱われる
キー値を記憶しておくレジスタ（１つの値だけでなく範
囲を持たせることも可能）２８を持ち、入力されたキー
値と比較を行って背景画素かどうかの結果を示す背景フ
ラグflag_Bg(x,y）を出力する。また、近傍の画素が背
景であるかどうかの結果を示す近傍背景判定情報Adj
（x,y)も出力する。

【００５６】画像フィルター回路２２からの前景画像の
フィルター出力PF（x,y)は画像生成制御回路２３を介し
て出力画像用メモリ２９に出力画像PO（0,0)〜PO（x_s,y
_s)として蓄えられる。

【００５７】また、キーフィルター回路２６からのキー
画像のフィルター出力KF（x,y)は画像生成制御回路２３
を介してキー出力用メモリ３０にキー信号出力KO（0,0)
〜KO（x_s,y_s)として蓄えられる。

【００５８】このキー出力用メモリ３０からのキー信号
出力は、乗算器３１に供給され、出力画像用メモリ２９
からの出力画像に乗算される。また、上記キー信号出力
を１から減算した残りの値は乗算器３３に供給され、背
景画像信号用メモリ３２から読み出された背景画像信号
に乗算される。

【００５９】そして、乗算器３１と乗算器３３との乗算
出力とを加算器３４で加算し、合成画像を出力端子３５
から出力する。

【００６０】ここで、画像フィルター回路２２として
は、図１０に示す、５タップのフィルター回路を用いる
ことができる。このフィルター回路は、上記前景画像PI
（）が入力される７個のシフトレジスタＡ，Ｂ，Ｃ，
Ｄ，Ｅ，Ｆ及びＧと、その内のＡ，Ｂ，Ｃ，Ｄ，Ｅのシ
フトレジスタで＋２，＋１，０，−１及び−２倍された
前景画像PIが固有の重みで演算されるフィルター演算回
路４１，４２，４３及び４４と、これらフィルター演算
回路４１，４２，４３及び４４からのフィルター出力を
時間軸方向に調整する時間調整用レジスタ４５、４６，
４７及び４８と、さらに時間軸方向に調整する時間軸調
整用レジスタ４９，５０，５１及び５２と、上記７個の
シフトレジスタＡ，Ｂ，Ｃ，Ｄ，Ｅ，Ｆ及びＧの内の
Ｃ，Ｄ，Ｅ，Ｆ，Ｇのシフトレジスタで＋２，＋１，
０，−１及び−２倍された前景画像PIか、或いは上記時
間軸調整用レジスタ４９，５０，５１及び５２を介した
フィルター出力を制御回路５４の制御に基づいて切り換
え選択するセレクタ５３とを備えて成る。ここで、各演
算フィルター回路４１，４２，４３及び４４は、１クロ
ックで演算が終わる。

【００６１】また、キーフィルター回路２６としては、
図１１に示す５タップのフィルター回路を用いることが
できる。このフィルター回路は、上記キー画像KI（）が
入力される５個のシフトレジスタＡ，Ｂ，Ｃ，Ｄ及びＥ
と、これら５個のシフトレジスタＡ，Ｂ，Ｃ，Ｄ及びＥ
で＋２，＋１，０，−１及び−２倍されたキー画像KIに
固有の重みを用いてフィルター演算を施すフィルター演
算回路６１と、このフィルター演算回路６１からのフィ
ルター出力を時間軸方向に調整する時間調整用レジスタ
６２と、さらに時間軸方向に調整する時間軸調整用レジ
スタ６３と、前景画像において背景領域として透明に抜
きたいエリアのキー値を格納しておく背景領域用固定値
レジスタ６４と、時間調整用レジスタ６３を介したフィ
ルター演算回路６１のフィルター出力と背景領域用固定
値レジスタ６４からの固定値とシフトレジスタＡ，Ｂ，
Ｃ，Ｄ及びＥからのレジスタ出力を制御回路６６の制御
に基づいて切り換えるセレクタ６５とを備えて成る。

【００６２】背景領域用固定値レジスタ６４は、ブルー
バックによるキー抜きを行う場合などでは、ある程度の
範囲のキー値を背景として扱う必要があるが、透明にな
るべき背景領域に対してフィルター演算を行っても無意
味であるため、一定の固定値に置き換えられるようにし
ておく。

【００６３】これら図１０及び図１１に示した画像フィ
ルター回路２２及びキーフィルター回路２６を備えた画
像処理装置２０の動作を、図１２のフローチャートを用
いて以下に説明する。ここで、近傍の画素とは、対象と
する画素（x,y）のフィルター演算を行う際に関与する
全ての画素を指す。

【００６４】先ず、ステップＳ１で、上記画像フィルタ
ー回路２２に前景画像信号PI（）を、上記キーフィルタ
ー回路２６にキー画像信号KI（）を入力し、ステップＳ
２でｘ＝０，ｙ＝０とする。

【００６５】次に、背景識別回路２７が、背景キー値用
レジスタ２８を参照して画像フィルター回路２２のレジ
スタＣに入力されたキー信号KI（）が背景であるか否か
を判別し背景フラグflag_Bg(x,y)を画像生成制御回路２
３に供給する。すると、ステップＳ３で画像生成制御回
路２３は、供給されてきた上記背景フラグflag_Bg(x,y)
が真であるか否かを判定する。ここで、上記背景フラグ
flag_Bg(x,y)が真でなく、前景であるときにはステップ
Ｓ４に進み、上記背景フラグflag_Bg(x,y)が真であり、
背景であるときにはステップＳ１４に進む。

【００６６】ステップＳ４では背景識別回路２７からの
近傍に背景があるか否かを示す近傍背景判定情報Adj
（x,y)を基に近傍に背景があるか否かを判定する。ここ
で、近傍に背景があるときにはステップＳ５に進む。ま
た、近傍に背景が無いと判定したときにはステップＳ１
２に進む。

【００６７】ステップＳ５では、セレクタ５３に出力P0
（x,y)として近傍の前景画素のみでフィルター演算した
値PF（x,y)を出力させる。

【００６８】また、ステップＳ６では、キー信号出力KI
（x,y)として近傍画素でフィルター演算した値KF（x,y)
を出力させる。

【００６９】そして、ステップＳ７でｘをインクリメン
トし、ステップＳ８の判定でｘがｘ_sより大きくなるま
で、ステップＳ３以降の処理を繰り返す。このステップ
Ｓ８でｘがｘ_sより大きくなれば、ステップＳ９に進ん
で、ｘ＝０とし、ｙをインクリメントし、ステップＳ１
０でｙがｙ_sより大きくなるまでステップＳ３以降の処
理を繰り返す。そして、ステップＳ１０でｙがｙｓより
大きくなると、ステップＳ１１に進んで、P0（），K
0（）を出力する。

【００７０】ステップＳ４にて上記フラグAdj(x,y)から
近傍に背景が無いと判定したときに進んだステップＳ１
２では、出力P0（x,y)として近傍画素でフィルター演算
した値PF（x,y)をセレクタ５３に選択させ、出力させ
る。

【００７１】そして、ステップＳ１３ではキー信号出力
KI（x,y)として近傍画素でフィルター演算した値KF（x,
y)を出力させる。その後には、上述したステップＳ７以
降に移行する。

【００７２】上記ステップＳ３で上記背景フラグflag_B
g(x,y)が真であり、背景であるとして進んだステップＳ
１４では、上記フラグAdj（x,y)を基に近傍に前景があ
るか否かを判定する。ここで、近傍に前景があるときに
はステップＳ１５に進む。また、近傍に前景が無いと判
定したときにはステップＳ１７に進む。

【００７３】ステップＳ１５では、出力P0（x,y)とし
て、近傍の前景画素と同じ値を演算出力PF（x,y)として
出力させる。すなわち、近傍の前景画素を複写する。近
傍に前景画素が複数存在する場合には平均化など適当な
演算を行って作る。

【００７４】ステップＳ１６では、キー信号出力KI（x,
y)として近傍画素でフィルター演算した値KF（x,y)を出
力させる。その後には、上述したステップＳ７以降に移
行する。

【００７５】ステップＳ１４で上記近傍背景判定情報Ad
j（x,y)から近傍画素に前景が無いと判定したときに進
んだステップＳ１７では、出力P0（x,y)としてPI（x,y)
又はPF（x,y)又は既定値を出力させる。

【００７６】そして、ステップＳ１８でキー信号出力K0
（x,y)として入力キー信号画像KI（x,y)又は近傍画素で
フィルター演算した値KF（x,y)又は既定値を出力させ
る。その後には、上述したステップＳ７以降に移行す
る。

【００７７】次に、背景識別回路２７での背景フラグ及
び近傍背景判定情報を用いての前景／背景の判別が表１
に示すような場合の、画像処理装置２０の詳細な動作を
説明する。

【００７８】

【表１】

【００７９】この表１において×は背景識別回路２７で
の前景／背景の判別が背景であることを示し、○は前景
であることを示す。

【００８０】すると、これらの前景／背景の判別結果を
受けて、画像生成制御回路２３が画像フィルター回路２
２のフィルター出力PF（x,y)を演算方式を指定しなが
ら、又は前景画像信号PI（x,y)を、出力画像P0（x,y）
として出力画像用メモリ２９に格納する。なお、以下で
は画像フィルター回路２２での演算方式について主に説
明し、キーフィルター回路２６のフィルター出力KF(x,
y)の制御については省略する。また、ここではフィルタ
ー領域の中心が出力しようとしている画素にあたるとし
て説明を進める。

【００８１】上記シフトレジスタＡ，Ｂ，Ｃ，Ｄ及びＥ
に入った５つの画素が上記表１に｛×××××｝として
示すように全て背景であるときには以下のようになる。

【００８２】先ずステップＳ３でフィルター領域の中
心、すなわちシフトレジスタＣが出力しようとしている
画素が、背景であると上記背景フラグflag_Bg(x,y)から
判定したときには、ステップＳ１４に進み、上記近傍背
景判定情報Adj（x,y)を基に近傍に前景があるか否かを
判定する。近傍には前景が無いので、ステップＳ１７に
進み、シフトレジスタＥからの上記入力前景画像信号PI
（0)を選択して出力PO（0)としてセレクタ５３に選択さ
せ、出力画像用メモリ２９に格納させる。

【００８３】次に、上記５つの画素が｛××××○｝の
ときにはステップＳ１４で近傍画素に前景があるとして
ステップＳ１５に進み、近傍の前景画素と同じ値を、シ
フトレジスタＧからのPI(-2）を選択させる。同様に、
上記５つの画素が｛×××○×｝のときにはステップＳ
１４で近傍に前景画素があると判定し、ステップＳ１５
に進んで、シフトレジスタＦからのPI(-1）をセレクタ
５３に選択させる。

【００８４】上記５つの画素が｛××○××｝であると
きには、フィルターの中心が前景であるので、ステップ
Ｓ３からステップＳ４に移行する。ステップＳ４では近
傍に背景が有ると判定するので、ステップＳ５に進む。
ステップＳ５では近傍の前景画素のみでフィルター演算
した値を選択させるが、近傍の前景画素は中心の前景画
素PI（0）であるので、このPI（0）をシフトレジスタＥ
からセレクタ５３に選択させる。

【００８５】上記５つの画素が｛×○×○×｝であると
きには、フィルターの中心が背景であるのでステップＳ
１４に進む。ステップＳ１４では近傍画素に前景がある
と判定するので、ステップＳ１５に進む。ステップＳ１
５では近傍の前景画素が複数存在しているので、フィル
ター演算回路４３で“０１０１０”という重みを用い
て、（Ｐ（＋１）＋Ｐ（−１））／２という演算を行
う。そして、このフィルター演算出力を時間調整用レジ
スタ４７及び５１を介したのち、セレクタ５３に選択さ
せる。

【００８６】上記５つの画素が｛×○○○×｝であると
きには、フィルターの中心が前景であるのでステップＳ
４に進む。ステップＳ４では近傍画素に背景があると判
定するので、ステップＳ５に進む。ステップＳ５では近
傍画素のみで、フィルター演算回路４２を用いて“０１
２１０”という重みを用いて、（Ｐ（＋１）＋２＊Ｐ
（０）＋Ｐ（−１））／４という演算を行う。そして、
このフィルター演算出力を時間調整用レジスタ４６及び
５０を介したのち、セレクタ５３に選択させる。

【００８７】上記５つの画素が｛○×××○｝であると
きには、フィルターの中心が背景であるのでステップＳ
１４に進む。ステップＳ１４では近傍画素に前景がある
と判定するので、ステップＳ１５に進む。ステップＳ１
５では近傍の前景画素が複数存在しているので、フィル
ター演算回路４４で“１０００１”という重みを用い
て、（Ｐ（＋２）＋Ｐ（−２））／２という演算を行
う。そして、このフィルター演算出力を時間調整用レジ
スタ４８及び５２を介したのち、セレクタ５３に選択さ
せる。

【００８８】上記５つの画素が｛○○○○○｝であると
きには、フィルターの中心が前景であるのでステップＳ
４に進む。ステップＳ４では近傍画素に背景が無いと判
定するので、ステップＳ１２に進む。ステップＳ１２で
は近傍画素で、フィルター演算回路４１で“１３８３
１”という重みを用いて、（Ｐ（＋２）＋３＊Ｐ（＋
１）＋８＊Ｐ（０）＋３＊Ｐ（−１）＋Ｐ（−２））／
１６という演算を行う。そして、このフィルター演算出
力を時間調整用レジスタ４５及び４９を介したのち、セ
レクタ５３に選択させる。

【００８９】このようにして画像処理装置２０は、画像
フィルター回路２２の演算によって混色の起こる可能性
のある画素を検出したときには、画像フィルター回路２
２内部のセレクタ５３に、上記前景画像にあって背景色
を含まない画素のみを用いたアンチエリアシング処理出
力を選択させる。また、上記キー信号が前景画像の背景
色に対して広がる領域を検出し、その領域に対しては前
景画像をその背景色に複写するアンチエリアシング処理
出力を選択させる。

【００９０】なお、上記図９に示した画像処理装置２０
では、入力画像PI（）、キー画像KI（）が１画面分の大
きさのメモリにそれぞれ格納されると記述したが、各回
路の内部にフィルター演算時に必要とする近傍の画素全
てを蓄積できるだけのメモリを搭載することで、大容量
のフレームバッファが無くてもリアルタイムに流れてく
るビデオ信号を処理することが可能である。

【００９１】

【発明の効果】以上説明したように、本発明によれば、
画像信号のエッジ拡張によるキー領域の拡大に対する処
理と、画像信号のエッジ保護による背景色の混色防止の
機能により、画像信号とキー信号に対して同時にアンチ
エリアシングフィルター処理を行った場合でも、本来は
透明に抜けるべき背景領域の色が見えてしまうことや、
前景に背景色が混ざってしまうことなどの画質の劣化を
完全に防止できる。

【図面の簡単な説明】

【図１】本発明の実施の形態となる画像処理装置の構成
を示すブロック図である。

【図２】上記画像処理装置に前景画像として入力される
ＣＧ画像を示す図である。

【図３】上記画像処理装置に背景画像として入力される
写真画像を示す図である。

【図４】エッジ拡張処理の動作例を示す図である。

【図５】エッジ保護処理の動作例を示す図である。

【図６】エッジ保護処理とエッジ拡張処理を組み合わせ
た場合の動作例を示す図である。

【図７】上記画像処理装置によって生成された合成画像
を示す図である。

【図８】アンチエリアシング処理の施されていない合成
画像を示す図である。

【図９】他の実施の形態となる画像処理装置の構成を示
すブロック図である。

【図１０】上記図９に示した画像処理装置の内部に含ま
れる画像フィルター回路の詳細な具体例を示すブロック
図である。

【図１１】上記図９に示した画像処理装置の内部に含ま
れるキーフィルター回路の詳細な具体例を示すブロック
図である。

【図１２】上記図９に示した画像処理装置の動作を説明
するためのフローチャートである。

【図１３】画像信号に対して単純なアンチエリアシング
フィルター演算を施した場合の問題点を示す図である。

【図１４】キー信号に対して単純なアンチエリアシング
フィルター演算を施した場合の問題点を示す図である。

【符号の説明】

１画像処理装置、３画像フィルター回路、５キー
フィルター回路、６画素検出回路、１２通常の画素用
のアンチエリアシングフィルター回路、１３拡張画素用
の輪郭画素の記憶回路、１４エッジ画素専用のアンチ
エリアシングフィルター回路、２０画像処理装置、２
２画像フィルター回路、２３画像生成制御回路、２
６キーフィルター回路、２７背景識別回路、２８
背景キー値用レジスタ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号ＦＩＨ０４Ｎ 9/75 Ｇ０６Ｆ 15/68 ４００Ａ

Claims

【特許請求の範囲】

【請求項１】前景画像と背景画像とをキー信号を用い
て合成する画像処理装置であって、図形境界に表れるエリアシングノイズを目立たなくする
少なくともアンチエリアシング処理を上記前景画像に施
す画像フィルター手段と、上記アンチエリアシング処理を上記キー信号に施すキー
フィルター手段と、上記キー信号、及び上記画像フィルター手段のサイズか
ら、上記画像フィルター手段の演算によって混色の起こ
る可能性のある画素を検出する画素検出手段とを備え、上記画素検出手段が検出した上記混食の起こる可能性の
ある画素に対して、上記画像フィルター手段は上記前景
画像にあって背景色を含まない画素のみを用いたアンチ
エリアシング処理を施すことを特徴とする画像処理装
置。
【請求項２】上記画素検出手段は上記キー信号から上
記前景画像の中で前景色と背景色の境界部分を検出する
ことを特徴とする請求項１記載の画像処理装置。
【請求項３】上記画像フィルター手段は、上記画素検
出手段が検出した境界部分については上記前景画像の前
景色を背景色部分に複写することを特徴とする請求項２
記載の画像処理装置。
【請求項４】上記画素検出手段は上記キーフィルター
手段のサイズから上記キー信号が上記前景画像の背景色
に対して広がる領域を検出する手段と、その領域に対し
ては最も近くの前景の輪郭画素を複写する手段とを備え
ることを特徴とする請求項１記載の画像処理装置。
【請求項５】上記画像フィルター手段は、奇数タップ
のアンチエリアシング処理を上記前景画像に施すことを
特徴とする請求項１記載の画像処理装置。
【請求項６】上記画像フィルター手段は、３又は５の
タップ数の上記アンチエリアシング処理を上記前景画像
に施すことを特徴とする請求項５記載の画像処理装置。
【請求項７】前景画像と背景画像とをキー信号を用い
て合成するための画像処理方法であって、画像信号及びキー信号の双方に、図形境界に表れるエリ
アシングノイズを目立たなくする少なくともアンチエリ
アシング処理を施すときに、上記前景画像にアンチエリアシング処理を施す画像フィ
ルターのサイズから、上記画像フィルターの演算によっ
て混色の起こる可能性のある画素を検出し、その画素に
対しては、上記画像フィルターの背景色を含まない画素
のみを用いたアンチエリアシング処理を施すことを特徴
とする画像処理方法。
【請求項８】上記キー信号から上記前景画像の中で前
景色と背景色の境界部分を検出し、その境界部分につい
ては上記前景画像の前景色を背景色部分に複写すること
を特徴とする請求項７記載の画像処理方法。
【請求項９】上記キー信号に上記アンチエリアシング
処理を施すキーフィルター手段のサイズから上記キー信
号が上記前景画像の背景色に対して広がる領域を検出
し、その領域に対しては最も近くの前景の輪郭画素を複
写するアンチエリアシング処理を施すことを特徴とする
請求項７記載の画像処理方法。
【請求項１０】上記画像フィルターは、奇数タップの
上記アンチエリアシング処理を上記前景画像に施すこと
を特徴とする請求項７記載の画像処理方法。
【請求項１１】上記画像フィルターは、３又は５のタ
ップ数の上記アンチエリアシング処理を上記前景画像に
施すことを特徴とする請求項１１記載の画像処理方法。
【請求項１２】前景画像と背景画像とをキー信号を用
いて合成する画像処理装置であって、画素数の不足に伴い斜めの図形境界を階段状にギザギザ
に表示してしまうエリアシングを目立たなくするアンチ
エリアシング処理を上記前景画像に施す画像フィルター
手段と、上記画像フィルター手段に入力する画素の背景色／前景
色の識別結果を基に、上記画像フィルター手段の演算方
式を指定するか、あるいは入力画素の複写を選択制御す
る制御手段と、上記アンチエリアシング処理を上記キー信号に施すキー
フィルター手段とを備え、上記制御手段が上記背景色／前景色の識別結果から混色
の起こる可能性のある画素を検出したとき、上記画像フ
ィルター手段は上記前景画像にあって背景色を含まない
画素のみを用いたアンチエリアシング処理を施すことを
特徴とする画像処理装置。
【請求項１３】上記制御手段が上記背景色／前景色の
識別結果から上記前景画像の中で前景色と背景色の境界
部分を検出したとき、この境界部分については上記前景
画像の前景色を背景色部分に複写することを特徴とする
請求項１２記載の画像処理装置。
【請求項１４】上記制御手段は、上記キーフィルター
手段のサイズから上記キー信号が上記前景画像の背景色
に対して広がる領域を検出したときには、その領域に対
して、最も近くの前景の輪郭画素を複写することを特徴
とする請求項１２記載の画像処理装置。
【請求項１５】上記制御手段は、上記画像フィルター
手段に奇数タップのアンチエリアシング処理を上記前景
画像に施させることを特徴とする請求項１２記載の画像
処理装置。
【請求項１６】上記制御手段は、３又は５のタップ数
の上記アンチエリアシング処理を上記画像フィルター手
段に行わせることを特徴とする請求項１５記載の画像処
理装置。
【請求項１７】前景画像と背景画像とをキー信号を用
いて合成するための画像処理方法であって、アンチエリアシング処理を上記前景画像に施す画像フィ
ルター部に入力する画素の背景色／前景色の識別結果を
基に、上記画像フィルター部の演算方式を指定するか、
あるいは入力画素の複写を選択するかを制御することを
特徴とする画像処理方法。
【請求項１８】上記背景色／前景色の識別結果から混
色の起こる可能性のある画素を検出したとき、上記画像
フィルター部は上記前景画像にあって背景色を含まない
画素のみを用いたアンチエリアシング処理を施すことを
特徴とする請求項１７記載の画像処理方法。
【請求項１９】上記背景色／前景色の識別結果から上
記前景画像の中で前景色と背景色の境界部分を検出した
とき、この境界部分については上記前景画像の前景色を
背景色部分に複写することを特徴とする請求項１７記載
の画像処理方法。
【請求項２０】上記キー信号にアンチエリアシング処
理を施すキーフィルター部のサイズから上記キー信号が
上記前景画像の背景色に対して広がる領域を検出したと
きには、その領域に対して、最も近くの前景の輪郭画素
を複写することを特徴とする請求項１７記載の画像処理
方法。
【請求項２１】上記画像フィルター部に奇数タップの
アンチエリアシング処理を上記前景画像に施させること
を特徴とする請求項１７記載の画像処理方法。
【請求項２２】３又は５のタップ数の上記アンチエリ
アシング処理を上記画像フィルター部に行わせることを
特徴とする請求項２１記載の画像処理方法。