JP3728884B2 - 画像処理装置及び方法、画像合成装置、並びに記録媒体 - Google Patents
画像処理装置及び方法、画像合成装置、並びに記録媒体 Download PDFInfo
- Publication number
- JP3728884B2 JP3728884B2 JP20820597A JP20820597A JP3728884B2 JP 3728884 B2 JP3728884 B2 JP 3728884B2 JP 20820597 A JP20820597 A JP 20820597A JP 20820597 A JP20820597 A JP 20820597A JP 3728884 B2 JP3728884 B2 JP 3728884B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- background
- foreground
- background color
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、入力画像から背景色の影響を除去する画像処理装置及び方法、第１の画像の前景と第２の画像の背景とを合成する画像合成装置、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来から、例えば第１の画像ａの前景と、背景からなる第２の画像ｂとを合成する処理が映画製作や、他の映像ファイルを作成する際に行われていた。
【０００３】
例えば、図１２に示すように、前景と背景からなる第１の画像ａと、背景からのみなる第２の画像ｂのうち、第１の画像ａの前景と第２の画像ｂの背景とを合成する際には、第１の画像ａから前景を抜き出すためのマスク画像ｃを生成しなければならなかった。
【０００４】
画素において前景が寄与する割合をキー信号と呼ぶが、マスク画像ｃはキー信号を算出すれば用意に生成することが出来る。例えばキー信号の値は、前景において１、背景において０で、前景と背景が混合する領域では０以上１以下の値になる。マスク画像ｃは、例えばキー信号の値を用いて、０から２５５までの値を取るモノクロ画像として容易に作成できる。
【０００５】
ところで、キー信号を用いて第１の画像ａから前景の画像を単純に抜き出す場合には問題がある。前景の境界付近は前景色と背景色が混合しているので、抜き出した前景画像と第２の画像ｂ（背景）をキー信号を用いて合成してしまうと、合成画像の前景の境界付近では、境界付近に残ってしまっている第１の画像ａの背景色と、第２の画像ｂの新しい背景色が混ざってしまうからである。
【０００６】
そのため、上記二つの画像ａ，ｂを混合する際には第１の画像ａから予め第１の画像の背景色の影響を削除することが望ましい。
【０００７】
一方、画像からキー信号を算出するための従来の技術としてクロマキー法がある。クロマキーは色空間（例えばＲＧＢ空間）上でキーの値ｋの等値面を決定し、注目画素の色を色空間にマッピングして、マッピング後の点を通る等値面のキーの値ｋを算出して、これをキー信号とする方法である。
【０００８】
クロマキーを用いた特許には、特開平１−１５５４７６号公報に開示されている「絵柄のマスク作成方法」、特開平４−６８７６３号公報に開示されている「切き抜マスク作成方法」、特開平３−５１１６号公報に開示されている「ディジタルラインクロマキー装置」、Ｖｌａｈｏｓ．Ｐ，”Ｃｏｍｐｏｓｉｔｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ｒｅｃｏｒｄｅｄ ｓｉｇｎａｌ ｃｏｌｏｒ”，ＵＳ−Ｐａｔｅｎｔ、がある。また、クロマキーを用いた論文としては、三島，”多面体スライスを用いたクロマキーのソフトウェア，”ＮＩＣＯＧＲＡＰＨ論文集Ｖｏ．８ ｐｐ−４４−５２（１９９２）、を始めとして多数の応用例があるが、ここでは良く知られている基本的な方法について説明する。
【０００９】
クロマキーは、例えば青一色で塗り潰された部屋において人や車を撮影し、出来上がった画像から背景色となる青色を図１３に示すように色空間で削除する方法である。
【００１０】
例えば、図１３の右上図における画像の注目画素のキー信号を算出したい場合は、注目画素の色をＲＧＢ空間にマッピングする。ただし、背景色は青一色であるとする。ＲＧＢ空間では図１３の左図に示すように、背景の色を点（０，０，１）とする。また、前景だけの領域と前景と背景の混合した領域の境界を、切片ｂと傾きｍをオペレータが指定して生成される正４角錐の４個の側面とする。ここで、キーの値ｋが０から１までの等値面は、キーの値ｋが０の点とキーの値ｋが１の等値面を内挿するようにして得られるような、正４角錐の４個の側面とする。
【００１１】
この場合、図１３においてキーの値が１の等値面の下側で、かつ０≦Ｒ≦１，０≦Ｇ≦１，０≦Ｂ≦１で表される立方体の内側の領域に含まれる点は、全てキーの値ｋが１の点である。そして、画面上の各画素毎に算出されたキーの値ｋを、画素において前景の影響の占める割合を示すキー信号αとして、（１−α）と背景の青色を掛け合わせて画素の色から引くことにより、背景色の影響を削除した前景色のみの画像を得ることができる。
【００１２】
この方法では、オペレータは切片ｂと傾きｍを調節しながら、例えば生成されたキーを用いて背景色の影響を削除した画像を見て、適当なキーの等値面を作成することが出来る。切片ｂと傾きｍを調節することは、キーの値ｋが１の領域の境界を決定することなので、オペレータがＲＧＢ空間内の前景領域を決定する意味を持つ。
【００１３】
【発明が解決しようとする課題】
しかし、上記図１２で説明したように、第１の画像ａの背景に複数の色が含まれている場合には、第１の画像ａから抜き出したい前景の境界付近において、例えばオペレータが背景色の均一である領域毎に背景色を指定してやる必要があったので、大変な作業量となっていた。
【００１４】
また、上記図１３を用いて説明したように、画像からキー信号を算出する際の、従来の技術であるクロマキーに代表される方法には問題があった。例えばクロマキーの様に背景色を予め指定してしまう方法では、前景と背景の境界付近において背景の中に多くの色が含まれている場合に、対応できないからである。また、キー作成の過程において、前景の中に指定した背景色(例えば青色)が混ざっている場合に、本当は前景の中の領域なのに背景と勘違いしてキーを作成してしまう。
【００１５】
これらの問題は、前景と背景の境界付近において局所的な領域毎にキーを作成することで解決するが、例えばオペレータが前景と背景の境界付近において、局所的な領域毎に前景色(前景の領域)と背景色(背景の領域)を決定することは、前景と背景の境界付近に多数の背景色が存在する場合に、オペレータの作業が膨大になってしまう。
【００１６】
そこで、本発明は、上記実情に鑑みてなされたものであり、局所的な領域の背景色を自動的に算出し、画像から除去するための画像処理装置及び方法の提供を目的とする。
【００１８】
また、本発明は、上記実情に鑑みてされたものであり、上記画像処理装置及び方法を用いて、画像合成時にオペレータの作業量を低減させることのできる画像合成装置の提供を目的とする。
【００１９】
また、本発明は、上記画像処理方法に関するプログラムを記録した記録媒体を提供することで、オペレータの作業量を低減することを目的とする。
【００２０】
【課題を解決するための手段】
本発明に係る画像処理装置は、上記課題を解決するために、背景色算出手段が、画像を構成する前景と背景の境界に関する情報と、上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、背景色除去手段が、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する。
【００２３】
また、本発明に係る画像処理方法は、上記課題を解決するために、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、この背景色に基づいて画像から背景色の影響を除去する。
【００２８】
また、本発明に係る画像合成装置は、上記課題を解決するために、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出手段と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去手段とを備える。
【００３４】
また、本発明に係る記録媒体は、画像を構成する前景と背景の境界に関する情報と上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出工程と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去工程とを備える処理手順を記録してなる。
【００３６】
【発明の実施の形態】
以下、本発明に係る画像処理装置及び方法、画像合成装置、並びに記録媒体に関する実施の形態について説明する。
【００３７】
先ず、図１〜図４を用いて、上記画像処理装置及び方法の実施の形態となる背景色除去装置について説明する。
【００３８】
この背景色除去装置は、図１に示すように、画像入力端子１からの入力画像から背景色の影響を除去する背景色除去処理を行うため、画像１入力を構成する前景と背景の境界に関する情報と、上記画像１入力を用いて前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出部６と、この背景色算出部６で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去部７とを備えてなる。
【００３９】
また、この背景色除去装置は、入力端子２から供給されるキー信号α、すなわち上記前景と背景の境界に関する情報、に応じて前景だけの領域Ｒ1と、背景だけの領域Ｒ3と、前景と背景が混合した領域Ｒ2を形成する領域分割部３と、背景色を除去する対象となる注目画素ｐを決定する注目画素決定部４と、この注目画素決定部４で決定された注目画素ｐに最も近い、上記領域Ｒ3上での画素ｑを算出する最近画素算出部５も備えてなる。
【００４０】
そして、上記背景色算出部６は、上記最近画素算出部５で算出された最近画素ｑに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して背景色ｂとする。
【００４１】
この背景色ｂは、背景色除去部７に供給される。背景色除去部７は、上記背景色を含んだ注目画素ｐの色Ｃ１と、キー信号αと、上記背景色ｂを用いて、背景色の影響を除去した画素の色Ｃ２を算出し、出力端子８に供給する。
【００４２】
この図１に示した各部での演算処理は、図２に示す中央演算部（ＣＰＵ）１０内部の論理演算部（ＡＬＵ）１１で行われる。
【００４３】
ＣＰＵ１０は、ＡＬＵ１１の他、レジスタ１２と、コントローラ１３を有してなる。このＣＰＵ１０は、インターフェース（Ｉ／Ｆ）１５を介して供給される入力データを、一旦ＲＡＭ１８に記憶させた後、ＡＬＵ１１による演算後に、ＲＡＭ１８またはＲＯＭ１９を介して、出力データとして出力する。
【００４４】
レジスタ１２は、ＡＬＵ１１における計算に使用されるデータや計算結果などを、一時的に記憶する。ＡＬＵ１１は、レジスタ１２が保持するデータを読み込み、そのデータに対して所定の演算を行ない、その演算結果をレジスタ１２に出力する。コントローラ１３は、ＲＯＭ１９に記憶されているプログラムに従って、レジスタ１２およびＡＬＵ１１を制御し、プログラムに記憶された計算などを行なわせる。
【００４５】
ＲＡＭ１８は、ＣＰＵ１０を制御するプログラムを記憶する他に、ＣＰＵ１０から供給されるデータを保管してＩ／Ｆ１５に出力するようになされている。ＲＯＭ１９は、ＣＰＵ１０において使用されるデータやプログラムを、一時的に記憶するようになされている。
【００４６】
以下、図３のフローチャートと図４を用いて、図１及び図２に示した背景色除去装置の動作を説明する。
【００４７】
ここで、レジスタ１２とコントローラ１３における動作説明は省略するが、これらの各部は各ステップにおいて必要に応じて上述した範囲で動作する。
【００４８】
また、最初に、画像とキー信号がＩ／Ｆ１５を通じて入力され、ＲＯＭ１９に確保された２個の画像用の記憶領域にそれぞれ記憶されているとする。また、図４に示した画像１の境界線Ｌ0，Ｌ1の２曲線を表すパラメータはＲＯＭ１９に記憶される。
【００４９】
図３のフローチャートの各ステップで用いられる変数は、ＲＡＭ１８からレジスタ１２に送られ、上記図１に詳細な構成を示したＡＬＵ１１によって必要な演算を施された後に、再びレジスタ１２を介してＲＡＭ１８に送られる。また、フローチャートにおける一連の処理を行なうプログラムがＩ／Ｆ１５から入力されＲＡＭ１８に記憶されている。
【００５０】
なお、この背景色除去装置に入力されるキー信号αは、本件出願人が特開平９−３７１５３号公報にて開示した「キー信号生成装置及び方法」の技術により生成できる。この技術は、前景と背景の混合比であるキー信号の曲面を近似して算出し、複数個のパラメータで制御する方法による。この方法を用いると図４に示すように、前景と背景の混合した領域の前景側の境界線Ｌ1と背景側の境界線Ｌ0を算出できるため、画像全体を前景のみの領域Ｒ1と、前景と背景が混ざった領域Ｒ2と、背景のみの領域Ｒ3に分割することが出来る。
【００５１】
上記背景除去装置では、ＡＬＵ１１を構成している領域分割部３が上記キー信号αに基づいて上記境界線Ｌ1と上記境界線Ｌ0を算出し、画像全体を前景のみの領域Ｒ1と、前景と背景が混ざった領域Ｒ2と、背景のみの領域Ｒ3に分割している。
【００５２】
先ず、ステップＳ１で、ＡＬＵ１１を構成する注目画素決定部４は、画像中の画素を順に画素（1）,画素（2）,...,画素（n）として、画素の番号ｉをｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに１を代入する。
【００５３】
ステップＳ２で、注目画素決定部４は、画素ｉが前景のみの領域Ｒ1、前景と背景の混合した領域Ｒ2、背景のみの領域Ｒ3のどれに含まれるか調べる。具体的には、番号ｉの画素に対応した領域をＲＡＭ１８に記憶されている領域判定用のマップから算出する。ここで、領域Ｒ2に含まれると判定すればステップＳ３〜ステップＳ６を処理する。また、領域Ｒ1に含まれると判定すればステップＳ８に進み、領域Ｒ3に含まれると判定すればステップＳ９に進む。
【００５４】
ここで、ステップＳ２で画像ｉが領域Ｒ2に含まれると判定すると、ＡＬＵ１１を構成する最近画素算出部５は、ステップＳ３で、領域Ｒ3に含まれる画素で、画素ｉに最も距離が近い画素ｑを求める。具体的には、ＲＡＭ１８に記録されている領域判定用のマップから領域Ｒ3に含まれる画素を探して画素ｉとの距離を最近画素算出部５で算出し、画素の座標と算出した距離を一時的な変数に格納し、格納した距離より短い距離が得られた場合には、一時的な画素の座標と算出した距離を更新し、最終的に画素ｉに最も近い画素ｑを算出して、画素ｑの座標をＲＡＭ１８に記憶する。
【００５５】
次ぎに、ステップＳ４で、ＡＬＵ１１を構成する背景色算出部６は、領域Ｒ3に含まれる画素で、画素ｑから距離２以下、境界線Ｌ0から距離２以下という条件下での画素ｑ1，ｑ2,...を算出する。具体的には、ＲＡＭ１８に確保されている領域判定用のマップを用いて、領域Ｒ3に含まれる画素ｑiを探して画素ｑとの距離を算出する。また、ＲＡＭ１８に記憶されている境界線Ｌ0のパラメータから曲線の方程式を算出して、画素ｑiと境界線Ｌ0の距離を算出する。そして、画素ｑから距離２以下で、かつ境界線Ｌ0から距離２以下の画素を次々と算出して、ＲＡＭ１８に用意された画素用の配列に色を書き込む。
【００５６】
そして、ステップＳ５で背景色算出部６は、画素ｑ1，ｑ2,...の色の平均値ｂを算出する。具体的には、ＲＡＭ１８に確保された画素用の配列に記憶されている全ての色の平均値を算出し、ＲＡＭ１８に確保された背景色用の変数ｂに書き込む。
【００５７】
そして、ステップＳ６で、ＡＬＵ１１を構成している背景色除去部７は、画素ｉにおけるキー信号αを入力して、色Ｃ２を、
Ｃ２＝Ｃ１−（１−α）＊ｂ
から求める。具体的には、ＲＡＭ１８に確保された変数Ｃ１，ｂと、ＲＯＭ１９に確保された画像用の記憶領域に記憶されたキー信号のマップを参照して、ここから得られる画素ｉのキー信号αを用いて、画素ｉから背景色の影響を除去した色Ｃ２を上記式のように算出し、ＲＡＭ１８に確保された画像用の記憶領域の画素ｉに対応する場所に書き込む。
【００５８】
上記ステップＳ２で画素ｉが領域Ｒ1に含まれると判定し、ステップＳ８に進むと、背景色除去部７は、Ｃ２＝Ｃ１とする。すなわち、ＲＡＭ１８から取り出した変数Ｃ２に画素ｉの値Ｃ１を代入する。
【００５９】
また、上記ステップＳ２で画素ｉが領域Ｒ3に含まれると判定し、ステップＳ９に進むと、背景色除去部７は、Ｃ２＝０とする。すなわち、ＲＡＭ１８から取り出した変数Ｃ２に画素ｉの値０を代入する。
【００６０】
そして、ステップＳ７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモニタ１７に表示される。
【００６１】
このように、図１及び図２に示した背景色除去装置は、従来と比較して、前景と背景の境界付近において、局所的に背景色が自動的に決定でき、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。このため、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【００６２】
次ぎに、図５〜図８を用いて、上記キー信号生成装置及び方法の実施の形態について説明する。
【００６３】
この実施の形態は、前景と背景からなる画像からキー信号を生成するキー信号生成装置であり、図５に示すように、画像入力端子２０から入力された画像の前景と背景の境界情報を算出する境界情報算出部２１と、この境界情報算出部２１で算出した上記境界情報と上記画像とを用いて、上記前景と背景の境界付近における局所的な前景色を算出する前景色算出部２５と、境界情報算出部２１で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出部２７と、前景色算出部２５で算出した上記前景色と背景色算出部２７で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成部２８とを備えてなる。
【００６４】
また、このキー信号生成装置は、境界情報算出部２１で算出した境界情報に基づいて入力画像を前景だけの領域Ｒ1、背景だけの領域Ｒ3、前景と背景が混合した領域Ｒ2に分割する領域分割部２２と、キー信号を生成する対象となる注目画素を決定する注目画素決定部２３と、この注目画素決定部２３で決定された注目画素ｐに最も近い、上記領域Ｒ1上での画素ｒを算出する最近画素算出部２４と、上記注目画素ｐに最も近い、上記領域Ｒ3上での画素ｑを算出する最近画素算出部２６も備えてなる。
【００６５】
そして、上記前景色算出部２５は、上記最近画素算出部２４で算出された最近画素ｒに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して前景色ｆとする。
【００６６】
また、上記背景色算出部２７は、上記最近画素算出部２６で算出された最近画素ｑに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して背景色ｂとする。
【００６７】
キー信号生成部２８は、上記前景色ｆと背景色ｂに基づいて画素ｐにおけるキー信号αを生成して出力端子２９に供給する。
【００６８】
この図５に示した各部での演算処理も、上記図２に示したＣＰＵ１０内部のＡＬＵ１１で行われる。ここで、ＣＰＵ１０、ＡＬＵ１１、レジスタ１２、コントローラ１３、Ｉ／Ｆ１５、ＲＡＭ１８、ＲＯＭ１９における基本的な動作は、既に上述した通りである。
【００６９】
以下、図６のフローチャートと図７及び図８を用いて、図５及び図２に示したキー信号生成装置の動作を説明する。
【００７０】
ここでも、レジスタ１２とコントローラ１３における動作説明は省略するが、これらの各部は各ステップにおいて必要に応じて上述した範囲で動作する。
【００７１】
最初に、入力画像がＲＯＭ１９に確保された画像用の記憶領域に記憶されているとする。また、図６のフローチャートにおける一連の処理を行なうプログラムがＩ／Ｆ１５から入力されＲＡＭ１８に記憶されているとする。
【００７２】
そして、図６のフローチャートの各ステップで用いられる変数は、ＲＡＭ１８からレジスタ１２に送られ、ＡＬＵ１１によって必要な演算を施された後に、再びレジスタ１２を介してＲＡＭ１８に送られる。
【００７３】
なお、境界情報算出部２１は、本件出願人が特開平９−３７１５３号公報で開示した「キー信号生成装置及び方法」の技術を用いて、図７に示すように、画像１におけるキー信号の中間データとして、キーの値が０の境界線Ｌ0と、キーの値が１の境界線Ｌ1を算出する。
【００７４】
そして、領域分割部２２は、境界線Ｌ0、Ｌ1により図７に示すように、画像全体を前景のみの領域Ｒ1と、前景と背景が混ざった領域Ｒ2と、背景のみの領域Ｒ3に分割する。
【００７５】
先ず、ステップＳ１１で、ＡＬＵ１１を構成する注目画素決定部２３は、画像中の画素を順に画素（1）,画素（2）,...,画素（n）として、画素の番号ｉをｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに１を代入する。
【００７６】
ステップＳ１２で、注目画素決定部２３は、画素ｉが前景のみの領域Ｒ1、前景と背景の混合した領域Ｒ2、背景のみの領域Ｒ3のどれに含まれるか調べる。具体的には、番号ｉの画素に対応した領域をＲＡＭ１８に記憶されている領域判定用のマップから算出する。ここで、領域Ｒ2に含まれると判定すればステップＳ１３〜ステップＳ１６を処理する。また、領域Ｒ1に含まれると判定すればステップＳ１８に進み、領域Ｒ3に含まれると判定すればステップＳ１９に進む。
【００７７】
ここで、ステップＳ１２で画像ｉが領域Ｒ2に含まれると判定すると、ＡＬＵ１１を構成する最近画素算出部２４は、ステップＳ１３で、領域Ｒ1に含まれる画素で、画素ｉに最も距離が近い画素ｒを求める。具体的には、ＲＡＭ１８に記録されている領域判定用のマップから領域Ｒ1に含まれる画素を探して画素ｉとの距離を算出し、画素の座標と算出した距離を一時的な変数に格納し、格納した距離より短い距離が得られた場合には、一時的な画素の座標と算出した距離を更新し、最終的に画素ｉに最も近い画素ｒを算出して、画素ｒの座標をＲＡＭ１８に記憶する。同様に、このステップＳ１３で、ＡＬＵ１１を構成する最近画素算出部２６は、領域Ｒ3に含まれる画素で、画素ｉに最も距離が近い画素ｑを求める。
【００７８】
次ぎに、ステップＳ１４で、ＡＬＵ１１を構成する前景色算出部２５は、領域Ｒ1に含まれる画素で、画素ｒから距離２以下、境界線Ｌ1から距離２以下の画素ｒ1，ｒ2,...を算出する。具体的には、ＲＡＭ１８に確保されている領域判定用のマップを用いて、領域Ｒ1に含まれる画素ｒiを探して画素ｒとの距離を算出する。また、ＲＡＭ１８に記憶されている境界線Ｌ1のパラメータから曲線の方程式を算出して、画素ｒiと境界線Ｌ1の距離を算出する。そして、画素ｒから距離２以下で、かつ境界線Ｌ1から距離２以下の画素を次々と算出して、ＲＡＭ１８に用意された画素用の配列に色を書き込む。同様に、背景色算出部２７は、領域Ｒ3に含まれる画素で、画素ｑから距離２以下、境界線Ｌ0から距離２以下の画素ｑ1，ｑ2,...を算出する。
【００７９】
そして、ステップＳ１５で前景色算出部２５は、画素ｒ1，ｒ2,...の色の平均値ｆを算出する。具体的には、ＲＡＭ１８に確保された画素用の配列に記憶されている全ての色の平均値を算出し、ＲＡＭ１８に確保された背景色用の変数ｆに書き込む。同様に、背景色算出部２７は、画素ｑ1，ｑ2,...の色の平均値ｂを算出する。
【００８０】
そして、ステップＳ１６で、ＡＬＵ１１を構成しているキー信号生成部２８は、画素ｉにおけるキー信号αを算出する。
【００８１】
このキー信号生成部２８は、図８に示すように、画素ｐの色Ｃ１、前景色ｆ、背景色ｂをＲＧＢ空間にマッピングして、点ｆと点ｂを結ぶ半直線に対して点Ｃ１の垂線の足である点ｇを求め、以下の式により画素ｐのキー信号αを算出する。
【００８２】
α＝｜ｇ−ｂ｜／｜ｆ−ｂ｜
上記ステップＳ１２で画素ｉが領域Ｒ1に含まれると判定し、ステップＳ１８に進むと、キー信号生成部２８は、α＝１とする。
【００８３】
また、上記ステップＳ１２で画素ｉが領域Ｒ3に含まれると判定し、ステップＳ１９に進むと、キー信号生成部２８は、α＝０とする。
【００８４】
そして、ステップＳ１７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ２０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ１２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保されたキー信号αがＩ／Ｆ１５を経てモニタ１７に表示される。
【００８５】
このように、図５及び図２に示したキー信号生成装置は、従来と比較して、前景と背景の境界付近において、局所的に前景色と背景色を自動的に決定できるので、局所的な領域毎に正確なキー信号を算出できる。このため、オペレータが局所的な領域毎に前景色と背景色を指定する場合に比べて、作業量が大幅に削減できる。
【００８６】
次ぎに、上記画像処理装置及び方法の他の実施の形態について図９及び図１０を参照しながら説明する。
【００８７】
この実施の形態は、画像から背景色の影響を削除するために、局所的な背景色を自動的に算出し、画像から除去する背景色除去装置である。
【００８８】
この背景色除去装置の構成は、上記図１及び図２に示した構成と基本的に同様である。異なるのは最近画素算出部５での最近画素Ｂの算出処理であり、図９に示すフローチャートではステップＳ３の処理が異なる。
【００８９】
先ず、ステップＳ１で、ＡＬＵ１１を構成する注目画素決定部４は、上述したように画素の番号ｉをｉ＝１で初期化する。
【００９０】
ステップＳ２で、注目画素決定部４は、画素ｉが前景のみの領域Ｒ1、前景と背景の混合した領域Ｒ2、背景のみの領域Ｒ3のどれに含まれるか調べる。具体的には、本件出願人が特開平９−３７１５３号公報で開示した「キー信号生成装置及び方法」の技術を用い、前景のキーが３次元のモデル、即ち、３次−１次のベジェ曲面が３次のパラメータの方向に連続して輪の形に繋がっている形状で生成されたとき、これをｘｙ＝０の平面に射影して、前景のみの領域Ｒ1、前景と背景の混合した領域Ｒ2、背景のみの領域Ｒ3に分類して、画素ｉが領域Ｒ1，Ｒ2，Ｒ3のどれに含まれるかを調べる。
【００９１】
図１０は、ｎ個のベジェ曲面Ｑk（１≦ｋ≦ｎ）が連続して繋がることで前景のキーを表したとき、この曲面の高さを平面にマッピングした図である。
【００９２】
ここで、ベジェ曲面Ｑk（１≦ｋ≦ｎ）は、前景と背景の混合した領域のキーを３次元の曲面で表したもので、前景のキーの高さ方向（ｘｙｚ座標系のｚ方向）はキーの値ｋを表し、前景のキーの縦横方向（ｘｙｚ座標系のｘｙ方向）は画像上の座標（ｘ，ｙ）を表している。
【００９３】
そして、ベジェ曲面Ｑk（１≦ｋ≦ｎ）では、前景のキーの高さ方向（ｘｙｚ座標系のｚ方向）をパラメータｓ（０≦ｓ≦１）で、前景のキーの縦横方向（ｘｙｚ座標系のｘｙ方向）をパラメータｔ（０≦ｔ≦１）で制御している。
【００９４】
ステップＳ２で画像ｉが領域Ｒ2に含まれると判定すると、最近画素算出部５は、ステップＳ３で、領域Ｒ3に含まれる画素で、画素ｉに最も距離が近い画素Ｂを求める。具体的には、画素ｉの中心点Ｐにおいて、画素ｉが含まれる曲面Ｑk（１≦ｋ≦ｎ）の３次方向の曲線に対して法線を算出し、この法線上の画素であって、領域Ｒ3に含まれる画素で、画素ｉに最も距離が近い画素Ｂを求める。
【００９５】
そして、ステップＳ４で背景色検出部６は、領域Ｒ3に含まれる画素で、画素Ｂから距離２以下、曲線Ｌ0から距離２以下の画素Ｂ1，Ｂ2,...を算出し、ステップＳ５で画素Ｂ1，Ｂ2,...の色の平均値ｂを算出する。
【００９６】
すなわち、ステップＳ３〜ステップＳ５では、注目する画素ｉの中心点Ｐにおいて、図１０に示すようにパラメータｓ方向の曲線に対する法線を算出し、この法線が図１０におけるキー信号の値が０の曲線Ｌ0を通過した直後の画素をＢとして、画素Ｂから距離２以内の範囲で、曲線Ｌ0から距離２以内の範囲で曲面Ｑk（１≦ｋ≦ｎ）の外側に含まれる画素の平均値を背景色ｂとして算出する。
【００９７】
そして、ステップＳ６で、ＡＬＵ１１を構成している背景色除去部７は、画素ｉにおけるキー信号αを入力して、色Ｃ２を、
Ｃ２＝Ｃ１−（１−α）＊ｂ
から求める。
【００９８】
上記ステップＳ２で画素ｉが領域Ｒ1に含まれると判定し、ステップＳ８に進むと、背景色除去部７は、Ｃ２＝Ｃ１とする。
【００９９】
また、上記ステップＳ２で画素ｉが領域Ｒ3に含まれると判定し、ステップＳ９に進むと、背景色除去部７は、Ｃ２＝０とする。
【０１００】
そして、ステップＳ７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモニタ１７に表示される。
【０１０１】
このように、図９に動作を示した背景色除去装置は、従来と比較して、前景と背景の境界付近において、局所的に背景色が自動的、かつ正確に決定でき、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。このため、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【０１０２】
次ぎに、本発明に係る画像合成装置の実施の形態について図１１を参照しながら説明する。
【０１０３】
図１１において、画像提供装置６１及び６２は、例えばビデオテーププレーヤ、或いはハードディスク装置などのディスクプレーヤなどで、所定の画像を再生して出力するようになされている。なお、ここでは、画像提供装置６１が再生する前景又は背景をそれぞれＦ又はＢとする画像Ｔ１（第１の画像）が、キー信号生成装置６４及びミキサ６５に供給されるようになされており、この画像Ｔ１が、キー信号を生成する対象とされている。また、画像提供装置６２が再生する画像Ｔ２（第２の画像）は、ミキサ６５に供給されるようになされており、この画像Ｔ２に対し、画像Ｔ１の前景Ｆが合成されるようになされている。
【０１０４】
キー信号生成装置６４は、上記図５に示したキー信号生成装置と同様に構成されており、上述したようにしてキー信号αを生成し、ミキサ６５に出力する。ミキサ６５は、キー信号生成装置６４からのキー信号αを用いて、そこに入力される画像Ｔ１とＴ２とを合成する。
【０１０５】
ここで、ミキサ６５は、上記図１に示した背景除去装置の機能を備えており、画像Ｔ１から前景Ｆを抜き出す際に、背景色の影響を排除している。そして、その前景Ｆを、画像Ｔ２に合成（はめ込む）するようになされている。
【０１０６】
次ぎに、その動作について説明する。画像提供装置６１及び６２では、画像Ｔ１及びＴ２がそれぞれ再生され、ミキサ６５に供給される。さらに、画像提供装置６１が再生する画像Ｔ１は、キー信号生成装置６４にも供給される。
【０１０７】
キー信号生成装置６４では、上述したようにして、キー信号αを生成し、ミキサ６５に出力する。ミキサ６５では、上記背景色除去装置の機能を用い、キー信号αを用いて、そこに入力される画像Ｔ１から前景Ｆを抜き出す際に、背景色を削除し、その前景Ｆを、画像Ｔ２に合成する。これにより、画像Ｔ２に前景Ｆを合成した画像（合成画像）Ｔ４が生成される。
【０１０８】
このように、上記画像合成装置は、画像合成時に、上記キー信号生成方法を用いたキー信号生成装置と、上記画像処理方法を用いたミキサを使って、画像を合成しているので、オペレータの作業量を低減させることができる。
【０１０９】
なお、ここでは、キー信号生成装置６４に本発明のキー信号生成方法、及びミキサ６５に本発明の画像処理方法を適用していたが、いずれか一方のみ、すなわちキー信号生成装置６４には他のキー信号生成方法を適用し、ミキサ６５にのみ本発明の画像処理方法を適用してもよい。また、キー信号生成装置６４に本発明のキー信号生成方法を適用し、ミキサ６５では特に背景色を除去する機能を持たせなくてもよい。
【０１１０】
尚、以上の実施の形態においては、前景と背景の境界に関する情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域に分割するための情報であったが、この情報は、例えばオペレータがペイントツール等を用いて作成した画像の輪郭を、前景と背景が混合した領域とし、この輪郭の内側を前景だけの領域、この輪郭の外側を背景だけの領域とすることもできる。
【０１１１】
また、以上の実施の形態においては、画像の局所的な領域における前景色や背景色を算出する際に、前景と背景の混合した領域に含まれる画素から、前景だけの領域、または背景だけの領域に含まれる画素の内で注目する画素に最も近い画素を算出し、算出した画素から一定距離の範囲に存在し、かつ、前景と背景が混合した領域と前景だけの領域との境界線から一定距離の範囲に存在する画素の平均値を算出して注目する画素の前景色とし、また、前景と背景が混合した領域と背景だけの領域との境界線から一定距離の範囲に存在する画素の平均値を算出して注目する画素の背景色とする方法を示したが、これ以外の方法で局所的な領域における前景色と背景色を算出する場合、即ち、注目する画素の近傍となる画素を、前景だけの領域または背景だけの領域から算出するために別の方法を用いる場合や、算出された注目する画素の近傍となる画素から、注目する画素の前景色や背景色を算出するために別の方法を用いる場合にも、本発明の方法は適用可能であることは勿論である。
【０１１２】
また、本発明に係る画像処理方法、すなわち、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、この背景色に基づいて画像から背景色の影響を除去するという方法を用いた、処理手順（プログラム）を記録媒体に記録し、このプログラムを適宜読み出すことにより、容易に、注目画素における背景色の影響を排除することができる。
【０１１３】
この処理手順は、詳細に示すと、画像を構成する前景と背景の境界に関する情報と上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出工程と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去工程とからなる。
【０１１４】
また、本発明に係るキー信号生成方法、すなわち、前景と上記背景の境界情報を算出し、この境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色と背景色とを算出し、これら前景色と背景色とを用いて、上記キー信号を生成するという方法を用いた処理手順（プログラム）を記録した記録媒体から該プログラムを読み出して実行することにより、容易に、注目画素のキー信号を生成することができる。
【０１１５】
この処理手順は、詳細に示すと、前景と上記背景の境界情報を算出する境界情報算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出工程と、上記前景色算出工程で算出した上記前景色と上記背景色算出工程で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成工程とからなる。
【０１１６】
【発明の効果】
本発明に係る画像処理装置及び方法は、局所的な領域の背景色を自動的に算出し、画像から除去するので、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。また、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【０１１８】
また、本発明に係る画像合成装置は、上記画像処理装置及び方法、或いは上記キー信号生成装置及び方法を用いるので、画像合成時にオペレータの作業量を低減させることができる。
【０１１９】
また、本発明に係る記録媒体は、背景色除去時、又はキー信号生成時にオペレータの作業量を低減させるという効果を広く提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置及び方法の実施の形態となる背景色除去装置の機能ブロック図である。
【図２】上記図１の機能ブロック図を動作させる論理演算部（ＡＬＵ）を含む全体構成を示す上記背景色除去装置のブロック図である。
【図３】上記背景色除去装置の動作を説明するためのフローチャートである。
【図４】上記背景色除去装置の動作を説明するための図である。
【図５】本発明に係るキー信号生成装置及び方法の実施の形態となるキー信号生成装置の機能ブロック図である。
【図６】上記キー信号生成装置の動作を説明するためのフローチャートである。
【図７】上記キー信号生成装置の動作を説明するための図である。
【図８】上記キー信号生成装置の要部の動作を説明するための特性図である。
【図９】上記背景除去装置及び方法の他の実施の形態の動作を説明するためのフローチャートである。
【図１０】上記図９に示した他の実施の形態の動作を説明するための図である。
【図１１】本発明に係る画像合成装置の実施の形態の構成を示すブロック図である。
【図１２】画像合成処理を説明するための図である。
【図１３】クロマキー生成処理を説明するための図である。
【符号の説明】
５ 最近（最も近い）画素算出部、６ 背景色算出部、７ 背景色除去部、２４ 最近画素算出部、２５ 前景色算出部、２６ 最近画素算出部、２７ 背景色算出部、２８ キー信号生成部
【発明の属する技術分野】
本発明は、入力画像から背景色の影響を除去する画像処理装置及び方法、第１の画像の前景と第２の画像の背景とを合成する画像合成装置、並びに記録媒体に関する。
【０００２】
【従来の技術】
従来から、例えば第１の画像ａの前景と、背景からなる第２の画像ｂとを合成する処理が映画製作や、他の映像ファイルを作成する際に行われていた。
【０００３】
例えば、図１２に示すように、前景と背景からなる第１の画像ａと、背景からのみなる第２の画像ｂのうち、第１の画像ａの前景と第２の画像ｂの背景とを合成する際には、第１の画像ａから前景を抜き出すためのマスク画像ｃを生成しなければならなかった。
【０００４】
画素において前景が寄与する割合をキー信号と呼ぶが、マスク画像ｃはキー信号を算出すれば用意に生成することが出来る。例えばキー信号の値は、前景において１、背景において０で、前景と背景が混合する領域では０以上１以下の値になる。マスク画像ｃは、例えばキー信号の値を用いて、０から２５５までの値を取るモノクロ画像として容易に作成できる。
【０００５】
ところで、キー信号を用いて第１の画像ａから前景の画像を単純に抜き出す場合には問題がある。前景の境界付近は前景色と背景色が混合しているので、抜き出した前景画像と第２の画像ｂ（背景）をキー信号を用いて合成してしまうと、合成画像の前景の境界付近では、境界付近に残ってしまっている第１の画像ａの背景色と、第２の画像ｂの新しい背景色が混ざってしまうからである。
【０００６】
そのため、上記二つの画像ａ，ｂを混合する際には第１の画像ａから予め第１の画像の背景色の影響を削除することが望ましい。
【０００７】
一方、画像からキー信号を算出するための従来の技術としてクロマキー法がある。クロマキーは色空間（例えばＲＧＢ空間）上でキーの値ｋの等値面を決定し、注目画素の色を色空間にマッピングして、マッピング後の点を通る等値面のキーの値ｋを算出して、これをキー信号とする方法である。
【０００８】
クロマキーを用いた特許には、特開平１−１５５４７６号公報に開示されている「絵柄のマスク作成方法」、特開平４−６８７６３号公報に開示されている「切き抜マスク作成方法」、特開平３−５１１６号公報に開示されている「ディジタルラインクロマキー装置」、Ｖｌａｈｏｓ．Ｐ，”Ｃｏｍｐｏｓｉｔｉｎｇ ｓｙｓｔｅｍ ｆｏｒ ｒｅｃｏｒｄｅｄ ｓｉｇｎａｌ ｃｏｌｏｒ”，ＵＳ−Ｐａｔｅｎｔ、がある。また、クロマキーを用いた論文としては、三島，”多面体スライスを用いたクロマキーのソフトウェア，”ＮＩＣＯＧＲＡＰＨ論文集Ｖｏ．８ ｐｐ−４４−５２（１９９２）、を始めとして多数の応用例があるが、ここでは良く知られている基本的な方法について説明する。
【０００９】
クロマキーは、例えば青一色で塗り潰された部屋において人や車を撮影し、出来上がった画像から背景色となる青色を図１３に示すように色空間で削除する方法である。
【００１０】
例えば、図１３の右上図における画像の注目画素のキー信号を算出したい場合は、注目画素の色をＲＧＢ空間にマッピングする。ただし、背景色は青一色であるとする。ＲＧＢ空間では図１３の左図に示すように、背景の色を点（０，０，１）とする。また、前景だけの領域と前景と背景の混合した領域の境界を、切片ｂと傾きｍをオペレータが指定して生成される正４角錐の４個の側面とする。ここで、キーの値ｋが０から１までの等値面は、キーの値ｋが０の点とキーの値ｋが１の等値面を内挿するようにして得られるような、正４角錐の４個の側面とする。
【００１１】
この場合、図１３においてキーの値が１の等値面の下側で、かつ０≦Ｒ≦１，０≦Ｇ≦１，０≦Ｂ≦１で表される立方体の内側の領域に含まれる点は、全てキーの値ｋが１の点である。そして、画面上の各画素毎に算出されたキーの値ｋを、画素において前景の影響の占める割合を示すキー信号αとして、（１−α）と背景の青色を掛け合わせて画素の色から引くことにより、背景色の影響を削除した前景色のみの画像を得ることができる。
【００１２】
この方法では、オペレータは切片ｂと傾きｍを調節しながら、例えば生成されたキーを用いて背景色の影響を削除した画像を見て、適当なキーの等値面を作成することが出来る。切片ｂと傾きｍを調節することは、キーの値ｋが１の領域の境界を決定することなので、オペレータがＲＧＢ空間内の前景領域を決定する意味を持つ。
【００１３】
【発明が解決しようとする課題】
しかし、上記図１２で説明したように、第１の画像ａの背景に複数の色が含まれている場合には、第１の画像ａから抜き出したい前景の境界付近において、例えばオペレータが背景色の均一である領域毎に背景色を指定してやる必要があったので、大変な作業量となっていた。
【００１４】
また、上記図１３を用いて説明したように、画像からキー信号を算出する際の、従来の技術であるクロマキーに代表される方法には問題があった。例えばクロマキーの様に背景色を予め指定してしまう方法では、前景と背景の境界付近において背景の中に多くの色が含まれている場合に、対応できないからである。また、キー作成の過程において、前景の中に指定した背景色(例えば青色)が混ざっている場合に、本当は前景の中の領域なのに背景と勘違いしてキーを作成してしまう。
【００１５】
これらの問題は、前景と背景の境界付近において局所的な領域毎にキーを作成することで解決するが、例えばオペレータが前景と背景の境界付近において、局所的な領域毎に前景色(前景の領域)と背景色(背景の領域)を決定することは、前景と背景の境界付近に多数の背景色が存在する場合に、オペレータの作業が膨大になってしまう。
【００１６】
そこで、本発明は、上記実情に鑑みてなされたものであり、局所的な領域の背景色を自動的に算出し、画像から除去するための画像処理装置及び方法の提供を目的とする。
【００１８】
また、本発明は、上記実情に鑑みてされたものであり、上記画像処理装置及び方法を用いて、画像合成時にオペレータの作業量を低減させることのできる画像合成装置の提供を目的とする。
【００１９】
また、本発明は、上記画像処理方法に関するプログラムを記録した記録媒体を提供することで、オペレータの作業量を低減することを目的とする。
【００２０】
【課題を解決するための手段】
本発明に係る画像処理装置は、上記課題を解決するために、背景色算出手段が、画像を構成する前景と背景の境界に関する情報と、上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、背景色除去手段が、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する。
【００２３】
また、本発明に係る画像処理方法は、上記課題を解決するために、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、この背景色に基づいて画像から背景色の影響を除去する。
【００２８】
また、本発明に係る画像合成装置は、上記課題を解決するために、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出手段と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去手段とを備える。
【００３４】
また、本発明に係る記録媒体は、画像を構成する前景と背景の境界に関する情報と上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出工程と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去工程とを備える処理手順を記録してなる。
【００３６】
【発明の実施の形態】
以下、本発明に係る画像処理装置及び方法、画像合成装置、並びに記録媒体に関する実施の形態について説明する。
【００３７】
先ず、図１〜図４を用いて、上記画像処理装置及び方法の実施の形態となる背景色除去装置について説明する。
【００３８】
この背景色除去装置は、図１に示すように、画像入力端子１からの入力画像から背景色の影響を除去する背景色除去処理を行うため、画像１入力を構成する前景と背景の境界に関する情報と、上記画像１入力を用いて前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出部６と、この背景色算出部６で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去部７とを備えてなる。
【００３９】
また、この背景色除去装置は、入力端子２から供給されるキー信号α、すなわち上記前景と背景の境界に関する情報、に応じて前景だけの領域Ｒ1と、背景だけの領域Ｒ3と、前景と背景が混合した領域Ｒ2を形成する領域分割部３と、背景色を除去する対象となる注目画素ｐを決定する注目画素決定部４と、この注目画素決定部４で決定された注目画素ｐに最も近い、上記領域Ｒ3上での画素ｑを算出する最近画素算出部５も備えてなる。
【００４０】
そして、上記背景色算出部６は、上記最近画素算出部５で算出された最近画素ｑに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して背景色ｂとする。
【００４１】
この背景色ｂは、背景色除去部７に供給される。背景色除去部７は、上記背景色を含んだ注目画素ｐの色Ｃ１と、キー信号αと、上記背景色ｂを用いて、背景色の影響を除去した画素の色Ｃ２を算出し、出力端子８に供給する。
【００４２】
この図１に示した各部での演算処理は、図２に示す中央演算部（ＣＰＵ）１０内部の論理演算部（ＡＬＵ）１１で行われる。
【００４３】
ＣＰＵ１０は、ＡＬＵ１１の他、レジスタ１２と、コントローラ１３を有してなる。このＣＰＵ１０は、インターフェース（Ｉ／Ｆ）１５を介して供給される入力データを、一旦ＲＡＭ１８に記憶させた後、ＡＬＵ１１による演算後に、ＲＡＭ１８またはＲＯＭ１９を介して、出力データとして出力する。
【００４４】
レジスタ１２は、ＡＬＵ１１における計算に使用されるデータや計算結果などを、一時的に記憶する。ＡＬＵ１１は、レジスタ１２が保持するデータを読み込み、そのデータに対して所定の演算を行ない、その演算結果をレジスタ１２に出力する。コントローラ１３は、ＲＯＭ１９に記憶されているプログラムに従って、レジスタ１２およびＡＬＵ１１を制御し、プログラムに記憶された計算などを行なわせる。
【００４５】
ＲＡＭ１８は、ＣＰＵ１０を制御するプログラムを記憶する他に、ＣＰＵ１０から供給されるデータを保管してＩ／Ｆ１５に出力するようになされている。ＲＯＭ１９は、ＣＰＵ１０において使用されるデータやプログラムを、一時的に記憶するようになされている。
【００４６】
以下、図３のフローチャートと図４を用いて、図１及び図２に示した背景色除去装置の動作を説明する。
【００４７】
ここで、レジスタ１２とコントローラ１３における動作説明は省略するが、これらの各部は各ステップにおいて必要に応じて上述した範囲で動作する。
【００４８】
また、最初に、画像とキー信号がＩ／Ｆ１５を通じて入力され、ＲＯＭ１９に確保された２個の画像用の記憶領域にそれぞれ記憶されているとする。また、図４に示した画像１の境界線Ｌ0，Ｌ1の２曲線を表すパラメータはＲＯＭ１９に記憶される。
【００４９】
図３のフローチャートの各ステップで用いられる変数は、ＲＡＭ１８からレジスタ１２に送られ、上記図１に詳細な構成を示したＡＬＵ１１によって必要な演算を施された後に、再びレジスタ１２を介してＲＡＭ１８に送られる。また、フローチャートにおける一連の処理を行なうプログラムがＩ／Ｆ１５から入力されＲＡＭ１８に記憶されている。
【００５０】
なお、この背景色除去装置に入力されるキー信号αは、本件出願人が特開平９−３７１５３号公報にて開示した「キー信号生成装置及び方法」の技術により生成できる。この技術は、前景と背景の混合比であるキー信号の曲面を近似して算出し、複数個のパラメータで制御する方法による。この方法を用いると図４に示すように、前景と背景の混合した領域の前景側の境界線Ｌ1と背景側の境界線Ｌ0を算出できるため、画像全体を前景のみの領域Ｒ1と、前景と背景が混ざった領域Ｒ2と、背景のみの領域Ｒ3に分割することが出来る。
【００５１】
上記背景除去装置では、ＡＬＵ１１を構成している領域分割部３が上記キー信号αに基づいて上記境界線Ｌ1と上記境界線Ｌ0を算出し、画像全体を前景のみの領域Ｒ1と、前景と背景が混ざった領域Ｒ2と、背景のみの領域Ｒ3に分割している。
【００５２】
先ず、ステップＳ１で、ＡＬＵ１１を構成する注目画素決定部４は、画像中の画素を順に画素（1）,画素（2）,...,画素（n）として、画素の番号ｉをｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに１を代入する。
【００５３】
ステップＳ２で、注目画素決定部４は、画素ｉが前景のみの領域Ｒ1、前景と背景の混合した領域Ｒ2、背景のみの領域Ｒ3のどれに含まれるか調べる。具体的には、番号ｉの画素に対応した領域をＲＡＭ１８に記憶されている領域判定用のマップから算出する。ここで、領域Ｒ2に含まれると判定すればステップＳ３〜ステップＳ６を処理する。また、領域Ｒ1に含まれると判定すればステップＳ８に進み、領域Ｒ3に含まれると判定すればステップＳ９に進む。
【００５４】
ここで、ステップＳ２で画像ｉが領域Ｒ2に含まれると判定すると、ＡＬＵ１１を構成する最近画素算出部５は、ステップＳ３で、領域Ｒ3に含まれる画素で、画素ｉに最も距離が近い画素ｑを求める。具体的には、ＲＡＭ１８に記録されている領域判定用のマップから領域Ｒ3に含まれる画素を探して画素ｉとの距離を最近画素算出部５で算出し、画素の座標と算出した距離を一時的な変数に格納し、格納した距離より短い距離が得られた場合には、一時的な画素の座標と算出した距離を更新し、最終的に画素ｉに最も近い画素ｑを算出して、画素ｑの座標をＲＡＭ１８に記憶する。
【００５５】
次ぎに、ステップＳ４で、ＡＬＵ１１を構成する背景色算出部６は、領域Ｒ3に含まれる画素で、画素ｑから距離２以下、境界線Ｌ0から距離２以下という条件下での画素ｑ1，ｑ2,...を算出する。具体的には、ＲＡＭ１８に確保されている領域判定用のマップを用いて、領域Ｒ3に含まれる画素ｑiを探して画素ｑとの距離を算出する。また、ＲＡＭ１８に記憶されている境界線Ｌ0のパラメータから曲線の方程式を算出して、画素ｑiと境界線Ｌ0の距離を算出する。そして、画素ｑから距離２以下で、かつ境界線Ｌ0から距離２以下の画素を次々と算出して、ＲＡＭ１８に用意された画素用の配列に色を書き込む。
【００５６】
そして、ステップＳ５で背景色算出部６は、画素ｑ1，ｑ2,...の色の平均値ｂを算出する。具体的には、ＲＡＭ１８に確保された画素用の配列に記憶されている全ての色の平均値を算出し、ＲＡＭ１８に確保された背景色用の変数ｂに書き込む。
【００５７】
そして、ステップＳ６で、ＡＬＵ１１を構成している背景色除去部７は、画素ｉにおけるキー信号αを入力して、色Ｃ２を、
Ｃ２＝Ｃ１−（１−α）＊ｂ
から求める。具体的には、ＲＡＭ１８に確保された変数Ｃ１，ｂと、ＲＯＭ１９に確保された画像用の記憶領域に記憶されたキー信号のマップを参照して、ここから得られる画素ｉのキー信号αを用いて、画素ｉから背景色の影響を除去した色Ｃ２を上記式のように算出し、ＲＡＭ１８に確保された画像用の記憶領域の画素ｉに対応する場所に書き込む。
【００５８】
上記ステップＳ２で画素ｉが領域Ｒ1に含まれると判定し、ステップＳ８に進むと、背景色除去部７は、Ｃ２＝Ｃ１とする。すなわち、ＲＡＭ１８から取り出した変数Ｃ２に画素ｉの値Ｃ１を代入する。
【００５９】
また、上記ステップＳ２で画素ｉが領域Ｒ3に含まれると判定し、ステップＳ９に進むと、背景色除去部７は、Ｃ２＝０とする。すなわち、ＲＡＭ１８から取り出した変数Ｃ２に画素ｉの値０を代入する。
【００６０】
そして、ステップＳ７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモニタ１７に表示される。
【００６１】
このように、図１及び図２に示した背景色除去装置は、従来と比較して、前景と背景の境界付近において、局所的に背景色が自動的に決定でき、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。このため、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【００６２】
次ぎに、図５〜図８を用いて、上記キー信号生成装置及び方法の実施の形態について説明する。
【００６３】
この実施の形態は、前景と背景からなる画像からキー信号を生成するキー信号生成装置であり、図５に示すように、画像入力端子２０から入力された画像の前景と背景の境界情報を算出する境界情報算出部２１と、この境界情報算出部２１で算出した上記境界情報と上記画像とを用いて、上記前景と背景の境界付近における局所的な前景色を算出する前景色算出部２５と、境界情報算出部２１で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出部２７と、前景色算出部２５で算出した上記前景色と背景色算出部２７で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成部２８とを備えてなる。
【００６４】
また、このキー信号生成装置は、境界情報算出部２１で算出した境界情報に基づいて入力画像を前景だけの領域Ｒ1、背景だけの領域Ｒ3、前景と背景が混合した領域Ｒ2に分割する領域分割部２２と、キー信号を生成する対象となる注目画素を決定する注目画素決定部２３と、この注目画素決定部２３で決定された注目画素ｐに最も近い、上記領域Ｒ1上での画素ｒを算出する最近画素算出部２４と、上記注目画素ｐに最も近い、上記領域Ｒ3上での画素ｑを算出する最近画素算出部２６も備えてなる。
【００６５】
そして、上記前景色算出部２５は、上記最近画素算出部２４で算出された最近画素ｒに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して前景色ｆとする。
【００６６】
また、上記背景色算出部２７は、上記最近画素算出部２６で算出された最近画素ｑに所定の条件下で近傍であるいくつかの画素を算出し、これらのいくつかの画素の色の平均値を算出して背景色ｂとする。
【００６７】
キー信号生成部２８は、上記前景色ｆと背景色ｂに基づいて画素ｐにおけるキー信号αを生成して出力端子２９に供給する。
【００６８】
この図５に示した各部での演算処理も、上記図２に示したＣＰＵ１０内部のＡＬＵ１１で行われる。ここで、ＣＰＵ１０、ＡＬＵ１１、レジスタ１２、コントローラ１３、Ｉ／Ｆ１５、ＲＡＭ１８、ＲＯＭ１９における基本的な動作は、既に上述した通りである。
【００６９】
以下、図６のフローチャートと図７及び図８を用いて、図５及び図２に示したキー信号生成装置の動作を説明する。
【００７０】
ここでも、レジスタ１２とコントローラ１３における動作説明は省略するが、これらの各部は各ステップにおいて必要に応じて上述した範囲で動作する。
【００７１】
最初に、入力画像がＲＯＭ１９に確保された画像用の記憶領域に記憶されているとする。また、図６のフローチャートにおける一連の処理を行なうプログラムがＩ／Ｆ１５から入力されＲＡＭ１８に記憶されているとする。
【００７２】
そして、図６のフローチャートの各ステップで用いられる変数は、ＲＡＭ１８からレジスタ１２に送られ、ＡＬＵ１１によって必要な演算を施された後に、再びレジスタ１２を介してＲＡＭ１８に送られる。
【００７３】
なお、境界情報算出部２１は、本件出願人が特開平９−３７１５３号公報で開示した「キー信号生成装置及び方法」の技術を用いて、図７に示すように、画像１におけるキー信号の中間データとして、キーの値が０の境界線Ｌ0と、キーの値が１の境界線Ｌ1を算出する。
【００７４】
そして、領域分割部２２は、境界線Ｌ0、Ｌ1により図７に示すように、画像全体を前景のみの領域Ｒ1と、前景と背景が混ざった領域Ｒ2と、背景のみの領域Ｒ3に分割する。
【００７５】
先ず、ステップＳ１１で、ＡＬＵ１１を構成する注目画素決定部２３は、画像中の画素を順に画素（1）,画素（2）,...,画素（n）として、画素の番号ｉをｉ＝１で初期化する。具体的には、ＡＬＵ１１でｉに１を代入する。
【００７６】
ステップＳ１２で、注目画素決定部２３は、画素ｉが前景のみの領域Ｒ1、前景と背景の混合した領域Ｒ2、背景のみの領域Ｒ3のどれに含まれるか調べる。具体的には、番号ｉの画素に対応した領域をＲＡＭ１８に記憶されている領域判定用のマップから算出する。ここで、領域Ｒ2に含まれると判定すればステップＳ１３〜ステップＳ１６を処理する。また、領域Ｒ1に含まれると判定すればステップＳ１８に進み、領域Ｒ3に含まれると判定すればステップＳ１９に進む。
【００７７】
ここで、ステップＳ１２で画像ｉが領域Ｒ2に含まれると判定すると、ＡＬＵ１１を構成する最近画素算出部２４は、ステップＳ１３で、領域Ｒ1に含まれる画素で、画素ｉに最も距離が近い画素ｒを求める。具体的には、ＲＡＭ１８に記録されている領域判定用のマップから領域Ｒ1に含まれる画素を探して画素ｉとの距離を算出し、画素の座標と算出した距離を一時的な変数に格納し、格納した距離より短い距離が得られた場合には、一時的な画素の座標と算出した距離を更新し、最終的に画素ｉに最も近い画素ｒを算出して、画素ｒの座標をＲＡＭ１８に記憶する。同様に、このステップＳ１３で、ＡＬＵ１１を構成する最近画素算出部２６は、領域Ｒ3に含まれる画素で、画素ｉに最も距離が近い画素ｑを求める。
【００７８】
次ぎに、ステップＳ１４で、ＡＬＵ１１を構成する前景色算出部２５は、領域Ｒ1に含まれる画素で、画素ｒから距離２以下、境界線Ｌ1から距離２以下の画素ｒ1，ｒ2,...を算出する。具体的には、ＲＡＭ１８に確保されている領域判定用のマップを用いて、領域Ｒ1に含まれる画素ｒiを探して画素ｒとの距離を算出する。また、ＲＡＭ１８に記憶されている境界線Ｌ1のパラメータから曲線の方程式を算出して、画素ｒiと境界線Ｌ1の距離を算出する。そして、画素ｒから距離２以下で、かつ境界線Ｌ1から距離２以下の画素を次々と算出して、ＲＡＭ１８に用意された画素用の配列に色を書き込む。同様に、背景色算出部２７は、領域Ｒ3に含まれる画素で、画素ｑから距離２以下、境界線Ｌ0から距離２以下の画素ｑ1，ｑ2,...を算出する。
【００７９】
そして、ステップＳ１５で前景色算出部２５は、画素ｒ1，ｒ2,...の色の平均値ｆを算出する。具体的には、ＲＡＭ１８に確保された画素用の配列に記憶されている全ての色の平均値を算出し、ＲＡＭ１８に確保された背景色用の変数ｆに書き込む。同様に、背景色算出部２７は、画素ｑ1，ｑ2,...の色の平均値ｂを算出する。
【００８０】
そして、ステップＳ１６で、ＡＬＵ１１を構成しているキー信号生成部２８は、画素ｉにおけるキー信号αを算出する。
【００８１】
このキー信号生成部２８は、図８に示すように、画素ｐの色Ｃ１、前景色ｆ、背景色ｂをＲＧＢ空間にマッピングして、点ｆと点ｂを結ぶ半直線に対して点Ｃ１の垂線の足である点ｇを求め、以下の式により画素ｐのキー信号αを算出する。
【００８２】
α＝｜ｇ−ｂ｜／｜ｆ−ｂ｜
上記ステップＳ１２で画素ｉが領域Ｒ1に含まれると判定し、ステップＳ１８に進むと、キー信号生成部２８は、α＝１とする。
【００８３】
また、上記ステップＳ１２で画素ｉが領域Ｒ3に含まれると判定し、ステップＳ１９に進むと、キー信号生成部２８は、α＝０とする。
【００８４】
そして、ステップＳ１７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ２０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ１２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保されたキー信号αがＩ／Ｆ１５を経てモニタ１７に表示される。
【００８５】
このように、図５及び図２に示したキー信号生成装置は、従来と比較して、前景と背景の境界付近において、局所的に前景色と背景色を自動的に決定できるので、局所的な領域毎に正確なキー信号を算出できる。このため、オペレータが局所的な領域毎に前景色と背景色を指定する場合に比べて、作業量が大幅に削減できる。
【００８６】
次ぎに、上記画像処理装置及び方法の他の実施の形態について図９及び図１０を参照しながら説明する。
【００８７】
この実施の形態は、画像から背景色の影響を削除するために、局所的な背景色を自動的に算出し、画像から除去する背景色除去装置である。
【００８８】
この背景色除去装置の構成は、上記図１及び図２に示した構成と基本的に同様である。異なるのは最近画素算出部５での最近画素Ｂの算出処理であり、図９に示すフローチャートではステップＳ３の処理が異なる。
【００８９】
先ず、ステップＳ１で、ＡＬＵ１１を構成する注目画素決定部４は、上述したように画素の番号ｉをｉ＝１で初期化する。
【００９０】
ステップＳ２で、注目画素決定部４は、画素ｉが前景のみの領域Ｒ1、前景と背景の混合した領域Ｒ2、背景のみの領域Ｒ3のどれに含まれるか調べる。具体的には、本件出願人が特開平９−３７１５３号公報で開示した「キー信号生成装置及び方法」の技術を用い、前景のキーが３次元のモデル、即ち、３次−１次のベジェ曲面が３次のパラメータの方向に連続して輪の形に繋がっている形状で生成されたとき、これをｘｙ＝０の平面に射影して、前景のみの領域Ｒ1、前景と背景の混合した領域Ｒ2、背景のみの領域Ｒ3に分類して、画素ｉが領域Ｒ1，Ｒ2，Ｒ3のどれに含まれるかを調べる。
【００９１】
図１０は、ｎ個のベジェ曲面Ｑk（１≦ｋ≦ｎ）が連続して繋がることで前景のキーを表したとき、この曲面の高さを平面にマッピングした図である。
【００９２】
ここで、ベジェ曲面Ｑk（１≦ｋ≦ｎ）は、前景と背景の混合した領域のキーを３次元の曲面で表したもので、前景のキーの高さ方向（ｘｙｚ座標系のｚ方向）はキーの値ｋを表し、前景のキーの縦横方向（ｘｙｚ座標系のｘｙ方向）は画像上の座標（ｘ，ｙ）を表している。
【００９３】
そして、ベジェ曲面Ｑk（１≦ｋ≦ｎ）では、前景のキーの高さ方向（ｘｙｚ座標系のｚ方向）をパラメータｓ（０≦ｓ≦１）で、前景のキーの縦横方向（ｘｙｚ座標系のｘｙ方向）をパラメータｔ（０≦ｔ≦１）で制御している。
【００９４】
ステップＳ２で画像ｉが領域Ｒ2に含まれると判定すると、最近画素算出部５は、ステップＳ３で、領域Ｒ3に含まれる画素で、画素ｉに最も距離が近い画素Ｂを求める。具体的には、画素ｉの中心点Ｐにおいて、画素ｉが含まれる曲面Ｑk（１≦ｋ≦ｎ）の３次方向の曲線に対して法線を算出し、この法線上の画素であって、領域Ｒ3に含まれる画素で、画素ｉに最も距離が近い画素Ｂを求める。
【００９５】
そして、ステップＳ４で背景色検出部６は、領域Ｒ3に含まれる画素で、画素Ｂから距離２以下、曲線Ｌ0から距離２以下の画素Ｂ1，Ｂ2,...を算出し、ステップＳ５で画素Ｂ1，Ｂ2,...の色の平均値ｂを算出する。
【００９６】
すなわち、ステップＳ３〜ステップＳ５では、注目する画素ｉの中心点Ｐにおいて、図１０に示すようにパラメータｓ方向の曲線に対する法線を算出し、この法線が図１０におけるキー信号の値が０の曲線Ｌ0を通過した直後の画素をＢとして、画素Ｂから距離２以内の範囲で、曲線Ｌ0から距離２以内の範囲で曲面Ｑk（１≦ｋ≦ｎ）の外側に含まれる画素の平均値を背景色ｂとして算出する。
【００９７】
そして、ステップＳ６で、ＡＬＵ１１を構成している背景色除去部７は、画素ｉにおけるキー信号αを入力して、色Ｃ２を、
Ｃ２＝Ｃ１−（１−α）＊ｂ
から求める。
【００９８】
上記ステップＳ２で画素ｉが領域Ｒ1に含まれると判定し、ステップＳ８に進むと、背景色除去部７は、Ｃ２＝Ｃ１とする。
【００９９】
また、上記ステップＳ２で画素ｉが領域Ｒ3に含まれると判定し、ステップＳ９に進むと、背景色除去部７は、Ｃ２＝０とする。
【０１００】
そして、ステップＳ７では、ＲＡＭ１８に記憶されている変数ｉに１だけ加算する。また、ステップＳ１０では、画素ｉ≦ｎか調べて、ｙｅｓならステップＳ２に進み、ｎｏならｅｎｄとし、ＲＡＭ１８に確保された画像用の記憶領域の色Ｃ２がＩ／Ｆ１５を経てモニタ１７に表示される。
【０１０１】
このように、図９に動作を示した背景色除去装置は、従来と比較して、前景と背景の境界付近において、局所的に背景色が自動的、かつ正確に決定でき、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。このため、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【０１０２】
次ぎに、本発明に係る画像合成装置の実施の形態について図１１を参照しながら説明する。
【０１０３】
図１１において、画像提供装置６１及び６２は、例えばビデオテーププレーヤ、或いはハードディスク装置などのディスクプレーヤなどで、所定の画像を再生して出力するようになされている。なお、ここでは、画像提供装置６１が再生する前景又は背景をそれぞれＦ又はＢとする画像Ｔ１（第１の画像）が、キー信号生成装置６４及びミキサ６５に供給されるようになされており、この画像Ｔ１が、キー信号を生成する対象とされている。また、画像提供装置６２が再生する画像Ｔ２（第２の画像）は、ミキサ６５に供給されるようになされており、この画像Ｔ２に対し、画像Ｔ１の前景Ｆが合成されるようになされている。
【０１０４】
キー信号生成装置６４は、上記図５に示したキー信号生成装置と同様に構成されており、上述したようにしてキー信号αを生成し、ミキサ６５に出力する。ミキサ６５は、キー信号生成装置６４からのキー信号αを用いて、そこに入力される画像Ｔ１とＴ２とを合成する。
【０１０５】
ここで、ミキサ６５は、上記図１に示した背景除去装置の機能を備えており、画像Ｔ１から前景Ｆを抜き出す際に、背景色の影響を排除している。そして、その前景Ｆを、画像Ｔ２に合成（はめ込む）するようになされている。
【０１０６】
次ぎに、その動作について説明する。画像提供装置６１及び６２では、画像Ｔ１及びＴ２がそれぞれ再生され、ミキサ６５に供給される。さらに、画像提供装置６１が再生する画像Ｔ１は、キー信号生成装置６４にも供給される。
【０１０７】
キー信号生成装置６４では、上述したようにして、キー信号αを生成し、ミキサ６５に出力する。ミキサ６５では、上記背景色除去装置の機能を用い、キー信号αを用いて、そこに入力される画像Ｔ１から前景Ｆを抜き出す際に、背景色を削除し、その前景Ｆを、画像Ｔ２に合成する。これにより、画像Ｔ２に前景Ｆを合成した画像（合成画像）Ｔ４が生成される。
【０１０８】
このように、上記画像合成装置は、画像合成時に、上記キー信号生成方法を用いたキー信号生成装置と、上記画像処理方法を用いたミキサを使って、画像を合成しているので、オペレータの作業量を低減させることができる。
【０１０９】
なお、ここでは、キー信号生成装置６４に本発明のキー信号生成方法、及びミキサ６５に本発明の画像処理方法を適用していたが、いずれか一方のみ、すなわちキー信号生成装置６４には他のキー信号生成方法を適用し、ミキサ６５にのみ本発明の画像処理方法を適用してもよい。また、キー信号生成装置６４に本発明のキー信号生成方法を適用し、ミキサ６５では特に背景色を除去する機能を持たせなくてもよい。
【０１１０】
尚、以上の実施の形態においては、前景と背景の境界に関する情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域に分割するための情報であったが、この情報は、例えばオペレータがペイントツール等を用いて作成した画像の輪郭を、前景と背景が混合した領域とし、この輪郭の内側を前景だけの領域、この輪郭の外側を背景だけの領域とすることもできる。
【０１１１】
また、以上の実施の形態においては、画像の局所的な領域における前景色や背景色を算出する際に、前景と背景の混合した領域に含まれる画素から、前景だけの領域、または背景だけの領域に含まれる画素の内で注目する画素に最も近い画素を算出し、算出した画素から一定距離の範囲に存在し、かつ、前景と背景が混合した領域と前景だけの領域との境界線から一定距離の範囲に存在する画素の平均値を算出して注目する画素の前景色とし、また、前景と背景が混合した領域と背景だけの領域との境界線から一定距離の範囲に存在する画素の平均値を算出して注目する画素の背景色とする方法を示したが、これ以外の方法で局所的な領域における前景色と背景色を算出する場合、即ち、注目する画素の近傍となる画素を、前景だけの領域または背景だけの領域から算出するために別の方法を用いる場合や、算出された注目する画素の近傍となる画素から、注目する画素の前景色や背景色を算出するために別の方法を用いる場合にも、本発明の方法は適用可能であることは勿論である。
【０１１２】
また、本発明に係る画像処理方法、すなわち、画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、この背景色に基づいて画像から背景色の影響を除去するという方法を用いた、処理手順（プログラム）を記録媒体に記録し、このプログラムを適宜読み出すことにより、容易に、注目画素における背景色の影響を排除することができる。
【０１１３】
この処理手順は、詳細に示すと、画像を構成する前景と背景の境界に関する情報と上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出工程と、上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去工程とからなる。
【０１１４】
また、本発明に係るキー信号生成方法、すなわち、前景と上記背景の境界情報を算出し、この境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色と背景色とを算出し、これら前景色と背景色とを用いて、上記キー信号を生成するという方法を用いた処理手順（プログラム）を記録した記録媒体から該プログラムを読み出して実行することにより、容易に、注目画素のキー信号を生成することができる。
【０１１５】
この処理手順は、詳細に示すと、前景と上記背景の境界情報を算出する境界情報算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な前景色を算出する前景色算出工程と、上記境界情報算出工程で算出した上記境界情報と上記画像とを用いて、上記前景と上記背景の境界付近における局所的な背景色を算出する背景色算出工程と、上記前景色算出工程で算出した上記前景色と上記背景色算出工程で算出した上記背景色とを用いて、上記キー信号を生成するキー信号生成工程とからなる。
【０１１６】
【発明の効果】
本発明に係る画像処理装置及び方法は、局所的な領域の背景色を自動的に算出し、画像から除去するので、背景色に複数の色が含まれている場合にも、画像から背景色の影響を高い精度で取り除くことが出来る。また、オペレータが局所的な領域毎に背景色を指定する場合に比べて、作業量が大幅に削減できる。
【０１１８】
また、本発明に係る画像合成装置は、上記画像処理装置及び方法、或いは上記キー信号生成装置及び方法を用いるので、画像合成時にオペレータの作業量を低減させることができる。
【０１１９】
また、本発明に係る記録媒体は、背景色除去時、又はキー信号生成時にオペレータの作業量を低減させるという効果を広く提供することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置及び方法の実施の形態となる背景色除去装置の機能ブロック図である。
【図２】上記図１の機能ブロック図を動作させる論理演算部（ＡＬＵ）を含む全体構成を示す上記背景色除去装置のブロック図である。
【図３】上記背景色除去装置の動作を説明するためのフローチャートである。
【図４】上記背景色除去装置の動作を説明するための図である。
【図５】本発明に係るキー信号生成装置及び方法の実施の形態となるキー信号生成装置の機能ブロック図である。
【図６】上記キー信号生成装置の動作を説明するためのフローチャートである。
【図７】上記キー信号生成装置の動作を説明するための図である。
【図８】上記キー信号生成装置の要部の動作を説明するための特性図である。
【図９】上記背景除去装置及び方法の他の実施の形態の動作を説明するためのフローチャートである。
【図１０】上記図９に示した他の実施の形態の動作を説明するための図である。
【図１１】本発明に係る画像合成装置の実施の形態の構成を示すブロック図である。
【図１２】画像合成処理を説明するための図である。
【図１３】クロマキー生成処理を説明するための図である。
【符号の説明】
５ 最近（最も近い）画素算出部、６ 背景色算出部、７ 背景色除去部、２４ 最近画素算出部、２５ 前景色算出部、２６ 最近画素算出部、２７ 背景色算出部、２８ キー信号生成部
Claims (10)
- 入力画像から背景色の影響を除去する背景色除去処理を行う画像処理装置において、
上記画像を構成する前景と背景の境界に関する情報と、上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出手段と、
上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去手段と
を備えることを特徴とする画像処理装置。 - 上記境界に関する情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域を形成するための情報であることを特徴とする請求項１記載の画像処理装置。
- 上記境界情報は、パラメータで制御される曲面で表されるキーに関する情報であることを特徴とする請求項１記載の画像処理装置。
- 上記境界情報を用いて上記前景と背景の境界付近の画素に対して前景の輪郭と垂直な方向を算出し、この方向に沿って上記背景色算出手段が上記背景色を算出することを特徴とする請求項３記載の画像処理装置。
- 入力画像から背景色の影響を除去するための画像処理方法において、
上記画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出し、この背景色に基づいて画像から背景色の影響を除去することを特徴とする画像処理方法。 - 上記境界に関する情報は、前景だけの領域と、背景だけの領域と、前景と背景が混合した領域を形成するための情報であることを特徴とする請求項５記載の画像処理方法。
- 上記境界情報は、パラメータで制御される曲面で表されるキーに関する情報であることを特徴とする請求項５記載の画像処理方法。
- 上記境界情報を用いて上記前景と背景の境界付近の画素に対して、前景の輪郭と垂直な方向を算出し、この方向に沿って背景色を算出することを特徴とする請求項７記載の画像処理方法。
- 少なくとも前景及び背景からなる第１の画像と、少なくとも背景からなる第２の画像とを受信し、上記第１の画像の前景と上記第２の画像の背景とを合成する画像合成装置において、
上記画像を構成する前景と背景の境界に関する情報と上記画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出手段と、
上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去手段と
を備えることを特徴とする画像合成装置。 - 入力画像から背景色の影響を除去する処理手順を記録している記録媒体において、
上記画像を構成する前景と背景の境界に関する情報と上記入力画像を用いて、前景と背景の境界付近の画素における局所的な背景色を算出する背景色算出工程と、
上記背景色算出手段で算出した背景色に基づいて画像から背景色の影響を除去する背景色除去工程と
を備える処理手順を記録してなることを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20820597A JP3728884B2 (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置及び方法、画像合成装置、並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20820597A JP3728884B2 (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置及び方法、画像合成装置、並びに記録媒体 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005228604A Division JP3945524B2 (ja) | 2005-08-05 | 2005-08-05 | キー信号生成装置及び方法、画像合成装置、並びに記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1155686A JPH1155686A (ja) | 1999-02-26 |
| JP3728884B2 true JP3728884B2 (ja) | 2005-12-21 |
Family
ID=16552416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20820597A Expired - Fee Related JP3728884B2 (ja) | 1997-08-01 | 1997-08-01 | 画像処理装置及び方法、画像合成装置、並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3728884B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111845099A (zh) * | 2019-04-26 | 2020-10-30 | 森大（深圳）技术有限公司 | 打印机白墨墨量的设置方法、装置、设备及介质 |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6721446B1 (en) | 1999-04-26 | 2004-04-13 | Adobe Systems Incorporated | Identifying intrinsic pixel colors in a region of uncertain pixels |
| EP1049047B1 (en) * | 1999-04-26 | 2006-09-20 | Adobe Systems, Inc. | Identifying intrinsic pixel colors in a region of uncertain pixels |
| US6434269B1 (en) * | 1999-04-26 | 2002-08-13 | Adobe Systems Incorporated | Smart erasure brush |
| JP4596227B2 (ja) | 2001-06-27 | 2010-12-08 | ソニー株式会社 | 通信装置および方法、通信システム、記録媒体、並びにプログラム |
| KR100661528B1 (ko) | 2006-02-27 | 2006-12-27 | 주식회사 업앤온 | 적응형 크로마키 합성 장치 및 그 방법 |
| JP4811421B2 (ja) * | 2008-03-14 | 2011-11-09 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP5545316B2 (ja) * | 2012-04-11 | 2014-07-09 | 大日本印刷株式会社 | 印画物作製装置及び印画物作製方法 |
| JP6119164B2 (ja) * | 2012-09-28 | 2017-04-26 | 大日本印刷株式会社 | 自動クロマキー合成装置、自動クロマキー合成方法、およびプログラム |
-
1997
- 1997-08-01 JP JP20820597A patent/JP3728884B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111845099A (zh) * | 2019-04-26 | 2020-10-30 | 森大（深圳）技术有限公司 | 打印机白墨墨量的设置方法、装置、设备及介质 |
| CN111845099B (zh) * | 2019-04-26 | 2022-03-01 | 深圳市汉森软件有限公司 | 打印机白墨墨量的设置方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1155686A (ja) | 1999-02-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6396491B2 (en) | Method and apparatus for reproducing a shape and a pattern in a three-dimensional scene | |
| US6522787B1 (en) | Method and system for rendering and combining images to form a synthesized view of a scene containing image information from a second image | |
| JP3450022B2 (ja) | 背景信号を前景信号の部分にはめ込む制御信号を取出す方法及び装置 | |
| US6429875B1 (en) | Processing image data | |
| JPH089172A (ja) | カラー画像処理装置 | |
| JP3728884B2 (ja) | 画像処理装置及び方法、画像合成装置、並びに記録媒体 | |
| JP3467725B2 (ja) | 画像の影除去方法、画像処理装置及び記録媒体 | |
| US5412767A (en) | Image processing system utilizing brush profile | |
| JP3945524B2 (ja) | キー信号生成装置及び方法、画像合成装置、並びに記録媒体 | |
| US4855834A (en) | Video wipe processing apparatus | |
| JP2882754B2 (ja) | ソフトクロマキー処理方法 | |
| US20050089217A1 (en) | Data creation method data creation apparatus and 3-dimensional model | |
| JP3543209B2 (ja) | 標高データ描画処理装置及び標高データ描画処理プログラムを記録した記録媒体 | |
| JP2713677B2 (ja) | カラー画像色変更処理方式とカラー画像合成処理方式 | |
| JP3713689B2 (ja) | キー信号生成装置およびキー信号生成方法、並びに画像合成装置 | |
| JPH1125254A (ja) | 画像解析方法および画像編集方法 | |
| JP2001084408A (ja) | ３次元データ加工装置及び方法並びに記録媒体 | |
| JPH07249114A (ja) | 地図の作製方法および装置 | |
| JPH07131817A (ja) | 画像合成方法及び画像合成装置 | |
| JP2003058885A (ja) | 対応点探索方法および装置並びにコンピュータプログラム | |
| JPH05128224A (ja) | カラー画像の色抽出装置および方法 | |
| JPH1070669A (ja) | 色変換装置 | |
| JP3780587B2 (ja) | 色彩データ変換装置 | |
| JPH05183808A (ja) | 画像情報入力装置と画像合成装置 | |
| JPH08329280A (ja) | 画像合成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050527 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050607 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050805 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050926 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091014 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101014 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111014 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121014 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131014 Year of fee payment: 8 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |