JPH1118008A

JPH1118008A - 画像処理装置及び画像処理方法

Info

Publication number: JPH1118008A
Application number: JP16775897A
Authority: JP
Inventors: Takahiro Ishii; 隆寛石井
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-06-24
Filing date: 1997-06-24
Publication date: 1999-01-22

Abstract

(57)【要約】【課題】本発明は、画像処理装置に関し、一段と撮影時
の制約を低減して使い勝手を向上し得るようにする。【解決手段】複数の相異なる背景画像をそれぞれ記録す
る記録手段（２４）と、これら複数の背景画像の中から
入力画像（Ｓ２１）の背景に相当する背景画像を検索す
る検索手段（２８）と、この検索した背景画像（Ｓ３
０）と入力画像とに基づいて、入力画像内の撮影対象物
の位置を示すキー信号（Ｓ２３）を生成するキー信号生
成手段（２６）とを設けるようにしたことにより、背景
が変化しても正確なキー信号を生成することができ、か
くして一段と撮影時の制約を低減して使い勝手を向上し
得る。

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。

【０００２】発明の属する技術分野従来の技術（図７〜図１１）発明が解決しようとする課題課題を解決するための手段発明の実施の形態（図１〜図６）発明の効果

【０００３】

【発明の属する技術分野】本発明は画像処理装置及び画
像処理方法に関し、例えば撮影位置や焦点距離等の撮影
条件を変えながら撮影対象物を撮影し、その結果得られ
た画像から撮影対象物の領域のみを抜き出し、これと他
の背景画像とを合成する画像処理装置に適用して好適な
ものである。

【０００４】

【従来の技術】従来、この種の画像処理装置は、テレビ
や映画、広告写真の分野において、映像や画像の表現力
を向上させるための必要不可欠な技術として広く利用さ
れている。この画像処理装置は、例えばある背景の下で
演技している出演者を撮影したとき、この撮影した画像
の中から出演者だけを抽出して、この抽出した出演者と
他の背景画像とを１つの画像に合成することができるよ
うになされており、これにより、実際に撮影した背景と
は異なる背景、又は現実にはあり得ない仮想の背景で、
出演者が演技しているような画像を作成することができ
る。

【０００５】例えば、山中を歩いている主人公が急に海
岸を歩き始めるドラマのシーンや、現実には１人しかい
ない俳優が１人２役をして同時に演技するドラマのシー
ンや、タレントが宇宙を飛びながら商品を説明するコマ
ーシヤルなどがある。画像処理装置は、このような合成
画像を得るとき、画像の中から所望の領域のみを分離及
び抽出するいわゆるキーイング技術を用いて、映像や画
像の合成をするようになされている。

【０００６】このキーイング技術は、撮影された画像の
うち背景の画像と抽出したい領域の画像とを区別するた
めのキー信号を生成し、当該キー信号を用いて画像の合
成を行う技術である。画像処理装置は、生成されたキー
信号を用いて、出演者の輪郭領域の画像を前景、コンピ
ユータグラフイツクスや別の実写など他の異なる背景画
像を後景として、これら前景及び後景を合成することに
より、上述したような映像や画像を得ることができる。

【０００７】このようにして合成される映像や画像の品
質は、生成されたキー信号が抽出すべき所望の領域を正
確に表しているか否かによつて決定されるので、上述し
たキーイング技術は映像及び画像合成には重要な技術で
ある。

【０００８】従来、このキーイング技術としては、２つ
の画像の差分からキー信号を生成する手法のものがあ
る。図７に示すように、この手法を採用した画像処理装
置１は、入力画像Ｓ１と背景画像Ｓ２との差分をとつ
て、前景となる撮影対象物の画像領域のみを抽出してキ
ー信号Ｓ３を生成することにより、当該キー信号Ｓ３を
基に入力画像Ｓ１と別の背景画像Ｓ４とを合成して合成
画像Ｓ５を得るようになされている。

【０００９】撮像装置２は、背景となる画像を撮影する
いわゆる空舞台撮影用のカメラであり、撮影した画像を
背景画像Ｓ２として背景画像記録部３に送出する。この
背景画像記録部３は背景画像Ｓ２を記録して、再生の要
求があつた場合に背景画像Ｓ２を再生して差分処理部４
に送出するようになされている。

【００１０】一方、撮像装置５は、ある背景の下で撮影
対象物を撮影するいわゆる本番撮影用のカメラであり、
背景を撮影したときと同じ撮影条件の下で背景の前に位
置する撮影対象物を撮影して、この撮影した画像を入力
画像Ｓ１として差分処理部４及び画像合成部６に送出す
るようになされている。

【００１１】差分処理部４は、入力画像Ｓ１と背景画像
Ｓ２との各色値が同じ値になる領域を背景領域とすると
共に、各色値が異なる値になる領域を前景領域とするよ
うになされおり、各画素毎に入力画像Ｓ１の色値からこ
れに対応する背景画像Ｓ２の色値を減じた色値を１つの
閾値で２値化することによりキー信号Ｓ３を生成し、こ
れを画像合成部６に送出するようになされている。

【００１２】このように差分処理部４は、入力画像Ｓ１
と背景画像Ｓ２との各画素の色値の差分をとつて、これ
ら各色値が同じか又は異なるかで場合分けをしたものを
キー信号Ｓ３としている。かくしてこのように生成され
たキー信号Ｓ３は、前景領域と背景領域とを区別するマ
スクとしての重要な機能を有する。

【００１３】画像合成部６は、このキー信号Ｓ３に基づ
いて、前景領域の場合には入力画像Ｓ１を選択して出力
し、後景領域の場合には外部から供給される別の背景画
像Ｓ４を選択して出力することにより入力画像Ｓ１と別
の背景画像Ｓ４とを合成し、その結果得られる合成画像
Ｓ５を外部に出力するようになされている。

【００１４】具体的には画像合成部６は、入力画像Ｓ１
の画素（ｘ、ｙ）の色値をＡ（ｘ、ｙ）、外部から供給
される別の背景画像Ｓ４の画素（ｘ、ｙ）の色値をＢ
（ｘ、ｙ）、キー信号Ｓ３の座標（ｘ、ｙ）でのキー値
をｋ（ｘ、ｙ）（但し、ｋ（ｘ、ｙ）の値が、「０」の
場合は後景領域を示し、「１」の場合は前景領域を示
す）として、合成画像Ｓ５の画素（ｘ、ｙ）の色値Ｃ
（ｘ、ｙ）を、次式

【００１５】

【数１】

【００１６】によつて求め、これを外部に出力する。

【００１７】ここでこのような画像処理装置１を使用し
て、例えば山中で撮影された出演者の演技シーンを海岸
での演技シーンのように見せる合成画像を１フレーム分
生成する場合について説明する。図８に示すように、ま
ず画像処理装置１は、所望の位置に固定された撮像装置
２によつて山中を空舞台撮影し、背景画像を取得する。

【００１８】次に図９に示すように、画像処理装置１
は、図８に示すような空舞台撮影をしたときと同一の撮
影位置及び撮影条件で、撮像装置５によつて山中で出演
者が演技しているシーンを撮影し、この撮影した１フレ
ームの画像を入力画像として取得する。

【００１９】図１０に示すように、撮像装置２は撮影し
た背景画像Ｓ２を背景画像記録部３に送出して記録す
る。背景画像記録部３は、再生の要求があつた場合、背
景画像Ｓ２を差分処理部４に送出する。一方、撮像装置
５は撮影した入力画像Ｓ１を差分処理部４に送出する。
差分処理部４はこれら入力画像Ｓ１と背景画像Ｓ２とか
ら出演者の領域を表すキー信号Ｓ３を生成し、これを画
像合成部６に送出する。

【００２０】ここで画像処理装置１では、海を撮影した
映像のうちの１フレームの画像が別の背景画像Ｓ４とし
て画像合成部６に供給されるようになされている。画像
合成部６は、キー信号Ｓ３に基づいて出演者の領域のと
きには入力画像Ｓ１を選択し、それ以外のときには別の
背景画像Ｓ４を選択することにより入力画像Ｓ１と別の
背景画像Ｓ４とを合成し、これにより海を背景に出演者
が演技する１フレーム分の合成画像Ｓ５を生成する。

【００２１】なお、数フレーム分の動画像の合成処理を
行う場合、画像処理装置１は、撮像装置５を固定した状
態で出演者のみが動いているシーンを撮影しながら、上
述した１フレーム分の合成処理を順次繰り返すことによ
り、合成された動画像すなわち合成映像を得ることがで
きるようになされている。

【００２２】ところで、以上説明してきたような２つの
画像の差分からキー信号を生成するキーイング技術以外
にも、背景を単色にしておくことによりキー信号を生成
するいわゆるクロマキー装置がある。このクロマキー装
置は、図９に示す本番撮影の背景を単色、例えば青色一
色のブルーバツクスクリーンに設定して１回だけ撮影し
て、入力画像を取得する。そして図１１に示すように、
クロマキー装置１０は、撮像装置１１によつて撮影され
た入力画像Ｓ１１を比較部１２及び画像合成部１３に送
出する。

【００２３】比較部１２は、青色を示す閾値を設け、当
該閾値を越えたか否かによつて入力画像Ｓ１１の各画素
が青色か否か判断することにより、各画素を２値化して
キー信号Ｓ１２を生成し、これを画像合成部１３に送出
する。画像合成部１３は、このキー信号Ｓ１２を用い
て、入力画像Ｓ１１と外部から供給される別の背景画像
Ｓ１３とを合成し、これを合成画像Ｓ１４として外部に
出力するようになされている。

【００２４】

【発明が解決しようとする課題】ところで２つの画像の
差分をとる画像処理装置１においては、入力画像Ｓ１と
背景画像Ｓ２との各画素の色値が異なる値になる領域を
前景としてキー信号Ｓ３を生成しているため、入力画像
Ｓ１と背景画像Ｓ２とから正確なキー信号Ｓ３を生成す
るには、入力画像Ｓ１の背景領域の各色値と、これに対
応する背景画像Ｓ２の各色値とを正確に一致させる必要
があつた。

【００２５】従つて画像処理装置１では、空舞台撮影時
と本番撮影時との間で、撮像装置２及び５を同じ位置に
固定することにより、これらの撮影条件（位置、向き、
光学系の設定、色のバランスをとるためのホワイトバラ
ンス、アイリス（絞り）など）や背景を一致させる必要
があつた。

【００２６】因みに、この画像処理装置１では、撮像装
置２及び５の撮影条件と背景とをそれぞれ時間的に全く
同じように変化させることができれば、当該撮像装置２
及び５を固定しなくても良いが、実際上、これらを全く
同じように変化させることは不可能であるため、結局、
撮像装置２及び５を固定せざるを得なかつた。

【００２７】また画像処理装置１では、撮影していると
き、出演者以外が動いたり、照明を変えたりすることが
できないため、背景には、動く物体や、光や影が変化す
るもの（撮像装置２及び５のノイズを含む）や、照明が
変わるようなものがないようにする必要があつた。この
ように画像処理装置１では、様々な制約の下で撮影しな
ければならない問題があつた。

【００２８】これらの制約を低減するものとして、特開
平４−２２０８８５号公報や特開平４−２７８７８５号
公報に開示されているような手法がある。特開平４−２
２０８８５号公報に開示されている手法は、差分をとつ
た画像を複数の閾値で２値化してキー信号を生成する方
法を採用している。また特開平４−２７８７８５号公報
に開示されている手法は、背景画像に補正を施す方法を
採用している。これらの手法では、ホワイトバランスの
変化やアイリスの変化の影響によつて、差分処理を実行
する際に生じるノイズや誤りを低減して、合成画像の画
質を向上させることができるようになされている。

【００２９】しかしながら、これらの手法も、撮影中
に、撮像装置の位置や向き、光学系の設定などを変える
こと、いわゆるカメラワークが制限されていた。従つて
これらの手法では、パン（撮像装置の向きを水平方向に
変えること）・チルト（撮像装置の向きを上下方向に変
えること）・クローズアツプ（焦点距離又は撮像装置と
撮影対象物との距離を変化させること）等の撮影技巧を
取り入れた、豊かな表現形式の映像制作は困難であつ
た。このようにこれらの手法を採用したものでも、様々
な制約の下で撮影しなければならない問題があつた。

【００３０】一方クロマキー装置１０においては、撮影
された映像の背景一面が常に単色であるので、カメラワ
ークによる背景の変化が非常に少なく、自由なカメラワ
ークで撮影できる。またこのクロマキー装置１０では、
空舞台の撮影をする必要がなかつた。

【００３１】しかしながらクロマキー装置１０は、カメ
ラワークが自由である一方、撮影環境には様々な問題が
あつた。具体的には、撮影は照明を制御できるスタジオ
内に限られるということや、背景を単一色にするための
均一な照明が困難であるということや、背景が青一色の
ため雰囲気が出ず、出演者が演技になかなか没頭できな
いということや、例えば机などの演技補助の物品が置け
ないということや、背景色と同色の衣服を出演者が着用
できないということがあつた。

【００３２】また映像作品の品質は、出演者の演技によ
つて決定されるので、制作者の意図する表現力のある合
成画像を生成することが困難であつた。このようにクロ
マキー装置１０においても、様々な制約の下で撮影をし
なければならない問題があつた。

【００３３】本発明は以上の点を考慮してなされたもの
で、撮影時の制約を低減して使い勝手を向上し得る画像
処理装置及び画像処理方法を提案しようとするものであ
る。

【００３４】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、背景及び撮影対象物からなる入力
画像が入力され、当該入力画像内の上記撮影対象物の位
置を示すキー信号を生成する画像処理装置において、複
数の相異なる背景画像をそれぞれ記録する記録手段と、
記録手段に記録されている背景画像の中から入力画像の
背景に相当する背景画像を検索する検索手段と、検索手
段によつて検索した背景画像と入力画像とに基づいて、
撮影対象物の位置を示すキー信号を生成するキー信号生
成手段とを設けるようにした。

【００３５】このように複数の背景画像を記録手段に記
録しておき、これら複数の背景画像の中から入力画像の
背景に相当する背景画像を検索し、この検索した背景画
像と入力画像とに基づいてキー信号を生成するようにし
たことにより、入力画像の背景が変化しても、この変化
した背景に相当する背景画像を記録手段から順次読み出
すことができる。従つてフレーム毎に背景画像を検索し
て正確なキー信号を順次生成することができ、かくして
入力画像を得るときに従来のような背景の制約がなくな
る。

【００３６】

【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。

【００３７】図７との対応部分に同一符号を付して示す
図１において、２０は全体として本発明を適用した画像
処理装置を示し、撮像装置２１から供給される入力画像
Ｓ２１と、外部から供給される別の背景画像Ｓ２２と
を、キー信号抽出ブロツク２２によつて生成されたキー
信号Ｓ２３を基に、画像合成部６において合成するよう
になされている。

【００３８】撮像装置２３は、背景となる画像を撮影す
るいわゆる空舞台撮影用のカメラであり、当該空舞台撮
影の後に行う本番撮影のときと同じようなカメラワーク
で、様々な位置、方向、画角から背景を撮影し、これを
背景画像Ｓ２４としてキー信号抽出ブロツク２２の画像
データベース部２４に送出する。

【００３９】これと共に撮像装置２３は、当該撮像装置
２３に取り付けられた三脚などの機械的な部材から、撮
像装置２３の置かれた環境、撮像装置２３内部の状態、
撮影対象物への照明方法等といつた撮影条件をフレーム
毎に検出する。そして撮像装置２３は、この撮影条件を
撮影条件情報信号Ｓ２５としてフレーム毎にカメラパラ
メータ検出部２５に送出する。

【００４０】撮像装置２３は、例えば図２に示すよう
に、空舞台である山中を３箇所の撮影位置Ｐ１〜Ｐ３で
撮影する。そして撮像装置２３は撮影位置Ｐ１〜Ｐ３の
位置で撮影された背景画像Ｓ２４を画像データベース部
２４に送出すると共に、撮影位置Ｐ１〜Ｐ３の位置で撮
影されたときの撮影条件情報信号Ｓ２５をカメラパラメ
ータ検出部２５に送出する。

【００４１】カメラパラメータ検出部２５は、撮影条件
情報信号Ｓ２５から、撮像装置２３の位置（ＸＹＺ方向
の座標値が３個）、向き（ＸＹＺ方向の座標値が３
個）、焦点距離、アスペクト比、光軸と画像中心のずれ
（ＸＹ方向の座標値が２個）等を検出する。カメラパラ
メータ検出部２５は、これらをカメラパラメータＳ２６
としてフレーム毎に画像データベース部２４に送出す
る。

【００４２】画像データベース部２４は、背景画像Ｓ２
４のうちの１フレーム分の背景画像と、カメラパラメー
タＳ２６のうちの背景画像に対応するカメラパラメータ
とを１組として、内蔵する所定の記録媒体に記録する。
これにより、画像データベース部２４は、記録されてい
る背景画像を検索する際、カメラパラメータから当該カ
メラパラメータに対応する背景画像を読み出すことがで
きる。因みに、この画像データベース部２４は、背景画
像からも当該背景画像に対応するカメラパラメータを読
み出すことができるようになされている。

【００４３】さらに画像データベース部２４は、並べ替
えのアルゴリズムであるいわゆるクイツクソートを実行
することにより、カメラパラメータの各値の２乗和に基
づいて背景画像を並べ替えると共に、カメラパラメータ
を検索キーとして、背景画像をハツシユ法で検索できる
ようにするためのハツシユテーブルを生成するようにな
されている。

【００４４】一方、撮像装置２１は、ある背景の下で撮
影対象物を撮影するいわゆる本番撮影用のカメラであ
り、空舞台撮影のときと同じようなカメラワークで、様
々な位置、方向、画角から撮影対象物を撮影し、これを
入力画像Ｓ２１としてキー信号抽出ブロツク２２の差分
処理部２６及び画像合成部６に送出するようになされて
いる。

【００４５】これと共に撮像装置２１は、上述した撮像
装置２３と同様に撮影条件をフレーム毎に検出し、これ
を撮影条件情報信号Ｓ２７としてカメラパラメータ検出
部２７に送出する。撮像装置２１は、例えば図３に示す
ように、撮影位置Ｐ１から移動しながら、山中で出演者
が演技している本番シーンを撮影する。

【００４６】カメラパラメータ検出部２７は、上述した
カメラパラメータ検出部２５と同様に、撮影条件情報信
号Ｓ２７から撮像装置２１の位置や向きなどを検出し、
これらをカメラパラメータＳ２８としてフレーム毎にキ
ー信号抽出ブロツク２２の画像検索部２８に送出する。

【００４７】画像検索部２８は、このカメラパラメータ
Ｓ２８を検索キーとして、画像データベース部２４に記
録されている複数の背景画像の中から、入力画像Ｓ２１
の背景に相当する背景画像、又は入力画像Ｓ２１の背景
に類似する複数の背景画像を検索し、これを背景画像Ｓ
２９として画像データベース部２４から読み出す。この
場合、入力画像Ｓ２１のカメラパラメータと一致したカ
メラパラメータを有する背景画像Ｓ２９の背景は、入力
画像Ｓ２１の背景に相当することになる。

【００４８】続いて画像検索部２８は、入力画像Ｓ２１
の背景に相当する背景画像を読み出した場合には、これ
を背景画像Ｓ３０として差分処理部２６に送出し、類似
する複数の背景画像を読み出した場合には、これら類似
する複数の背景画像に対して所定のデータ処理を施すこ
とによつて、入力画像Ｓ２１の背景に相当する背景画像
を算出し、これを背景画像Ｓ３０として差分処理部２６
に送出する。

【００４９】差分処理部２６は、各画素毎に入力画像Ｓ
２１の色値から背景画像Ｓ３０の色値を減じた色値を１
つの閾値で２値化することによりキー信号Ｓ２３を生成
し、これを画像合成部６に送出するようになされてい
る。

【００５０】画像合成部６は、この実施の形態の場合に
も従来の場合と同様に、キー信号Ｓ２３に基づいて、前
景領域の場合には入力画像Ｓ２１を選択して出力し、後
景領域の場合には外部から供給される別の背景画像Ｓ２
２を選択して出力することにより入力画像Ｓ２１と別の
背景画像Ｓ２２とを合成し、その結果得られる合成画像
Ｓ３１を外部に出力するようになされている。

【００５１】かくしてこの画像処理装置２０は、撮像装
置２１を動かしながら撮影して数フレーム分の動画像の
合成処理を行う場合、上述した１フレーム分の合成処理
を順次繰り返すことにより、合成された動画像すなわち
合成映像を得ることができるようになされている。

【００５２】ここで上述した画像データベース部２４に
よる画像データベースの生成方法について図４に示すフ
ローチヤートを用いて説明する。まずステツプＳＰ１か
ら入つたステツプＳＰ２において、画像データベース部
２４は、撮像装置２３によつて撮影した背景画像を１フ
レーム分取得すると共に、続くステツプＳＰ３におい
て、カメラパラメータ検出部２５から対応するカメラパ
ラメータを１フレーム分取得する。

【００５３】そしてステツプＳＰ４において、画像デー
タベース部２４は、取得した背景画像とカメラパラメー
タとを１組として、所定の記録媒体に記録する。続いて
ステツプＳＰ５において、画像データベース部２４は、
所望のフレーム数の背景画像及びカメラパラメータを記
録したか否か判定する。その結果、記録したと判定され
た場合には画像データベース部２４はステツプＳＰ６に
移行し、記録していないと判定された場合にはステツプ
ＳＰ２に戻つて動作を繰り返す。

【００５４】ステツプＳＰ６において、画像データベー
ス部２４は、クイツクソートを実行することにより、カ
メラパラメータの各値の２乗和に基づいて背景画像を並
べ替えると共に、カメラパラメータを検索キーとして、
背景画像をハツシユ法で検索できるようにするためのハ
ツシユテーブルを生成する。この処理が終わると次にス
テツプＳＰ７に移つて処理を終了する。

【００５５】続いて上述した画像検索部２８による背景
画像の検索方法について図５に示すフローチヤートを用
いて説明する。まずステツプＳＰ１１から入つたステツ
プＳＰ１２において、画像検索部２８は、カメラパラメ
ータ検出部２７から供給されたカメラパラメータＳ２８
を検索キーとして、上述したハツシユテーブルに基づい
て画像データベース部２４から背景画像を検索する。

【００５６】次にステツプＳＰ１３において、画像検索
部２８は、画像データベース部２４から検索キーと一致
するカメラパラメータを検索できたか否か判定する。そ
の結果、検索できたと判定された場合には画像検索部２
８はステツプＳＰ１４に移行して検索した背景画像を差
分処理部２６に送出し、検索できなかつたと判定された
場合にはステツプＳＰ１５に移行する。

【００５７】ステツプＳＰ１５において、画像検索部２
８は、探索のアルゴリズムであるいわゆる２分探索法に
よつて、カメラパラメータＳ２８の各値の２乗和に近い
複数のカメラパラメータを検索することにより、入力画
像の背景に類似した複数の背景画像を検索する。この場
合、カメラパラメータは、上述したクイツクソートによ
つて並べ替えられているため、複数のカメラパラメータ
を２分探索法で高速に検索し得るようになされている。

【００５８】続いてステツプＳＰ１６において、画像検
索部２８は、Moezzi等によつて提案されている画像処理
方法（Moezzi,S et al. 「Reality Modeling and Visua
lization from Multiple Video Sequences」IEEE Compu
ter Graphics and Applications, Nov.,pp58-63,1996）
を利用した画像処理を行うことにより、複数の類似した
背景画像と、これら各背景画像に対応するカメラパラメ
ータと、入力画像のカメラパラメータとに基づいて、入
力画像の背景に相当する背景画像を算出する。そしてス
テツプＳＰ１４において、画像検索部２８は、類似する
複数の背景画像から算出された背景画像を差分処理部２
６に送出する。次にステツプＳＰ１７に移つて処理を終
了する。

【００５９】以上の構成において、このような画像処理
装置２０を使用して、山中で撮影された出演者の演技シ
ーンから当該出演者を抽出するキー信号Ｓ２３を生成す
る過程を説明する。まず撮像装置２３は、図２に示すよ
うに、空舞台を３箇所の撮影位置Ｐ１〜Ｐ３で撮影し、
この結果得た背景画像Ｉ１〜Ｉ３からなる背景画像Ｓ２
４を画像データベース部２４に送出する。これと共に撮
像装置２３は、撮影位置Ｐ１〜Ｐ３の位置で撮影された
ときの撮影条件情報信号Ｓ２５をカメラパラメータ検出
部２５に送出する。

【００６０】カメラパラメータ検出部２５は、撮影条件
情報信号Ｓ２５からカメラパラメータＣｐ１〜Ｃｐ３を
順次検出し、これらをカメラパラメータＳ２６として画
像データベース部２４に送出する。

【００６１】画像データベース部２４は、背景画像Ｉ１
〜Ｉ３及びカメラパラメータＣｐ１〜Ｃｐ３を、背景画
像Ｉ１及びカメラパラメータＣｐ１、背景画像Ｉ２及び
カメラパラメータＣｐ２、背景画像Ｉ３及びカメラパラ
メータＣｐ３をそれぞれ１組として、所定の記録媒体に
記録する。

【００６２】一方、撮像装置２１は、図３に示すよう
に、撮影位置Ｐ１から移動しながら山中で出演者が演技
している本番シーンを撮影する。撮像装置２１はこの撮
影した入力画像Ｓ２１を差分処理部２６に送出する。こ
れと共に撮像装置２１は、上述した撮像装置２３と同様
に撮影条件を検出し、これを撮影条件情報信号Ｓ２７と
してカメラパラメータ検出部２７に送出する。

【００６３】カメラパラメータ検出部２７は、上述した
カメラパラメータ検出部２５と同様に、撮影条件情報信
号Ｓ２７から撮像装置２１の位置や向きなどを検出し、
これらをカメラパラメータＳ２８として画像検索部２８
に送出する。

【００６４】画像検索部２８は、このカメラパラメータ
Ｓ２８を検索キーとして、画像データベース部２４から
入力画像Ｓ２１の背景に相当する背景画像Ｉ１を検索し
て読み出した後、これを背景画像Ｓ３０として差分処理
部２６に送出する。これに対して、入力画像Ｓ２１の背
景に相当する背景画像を検索できなかつた場合には、画
像検索部２８は、入力画像Ｓ２１の背景に類似する複数
の背景画像を検索して読み出し、これら類似する複数の
背景画像から入力画像Ｓ２１の背景に相当する背景画像
を算出し、その結果得た背景画像Ｓ３０を差分処理部２
６に送出する。

【００６５】差分処理部２６は、各画素毎に入力画像Ｓ
２１の色値から背景画像Ｓ３０の色値を減じた色値を１
つの閾値で２値化することによりキー信号Ｓ２３を生成
し、これを画像合成部６に送出する。

【００６６】このように複数の背景画像を画像データベ
ース部２４に記録しておき、これら複数の背景画像の中
から入力画像Ｓ２１の背景に相当する背景画像を検索
し、この検索した背景画像Ｓ３０と入力画像Ｓ２１とに
基づいてキー信号Ｓ２３を生成するようにしたことによ
り、撮像装置２１を動かしながら撮影することによつて
入力画像Ｓ２１の背景が変化しても、この変化した背景
に相当する背景画像を画像データベース部２４から順次
読み出すことができ、従つて撮影毎に正確なキー信号Ｓ
２３を順次生成し得る。かくして従来のように撮像装置
２１を固定したり、背景を単色にする必要がなく、一段
と撮影時の制約を低減し得る。

【００６７】かくして出演者は背景の雰囲気に合わせた
自然な演技を行うことができ、一方、映像技術者や制作
者は、自由な撮影環境の下でパン・チルト・クローズア
ツプなどの撮影技巧を用いて映像を合成することがで
き、一段と高品質な映像表現が可能になる。

【００６８】また、画像データベース部２４に記録され
ている複数の背景画像の中から、入力画像Ｓ２１の背景
に相当する背景画像を検索できなかつたときは、入力画
像Ｓ２１の背景に類似する複数の背景画像を検索して、
これら類似する複数の背景画像から入力画像Ｓ２１の背
景に相当する背景画像を算出するようにしたことによ
り、入力画像Ｓ２１の背景に相当する背景画像が記録さ
れていない場合でも、正確なキー信号Ｓ２３を生成する
ことができる。

【００６９】以上の構成によれば、複数の背景画像を画
像データベース部２４に記録しておき、これら複数の背
景画像の中から入力画像Ｓ２１の背景に相当する背景画
像を検索し、この検索した背景画像Ｓ３０と入力画像Ｓ
２１とに基づいてキー信号Ｓ２３を生成するようにした
ことにより、入力画像Ｓ２１の背景が変化しても正確な
キー信号Ｓ２３を順次生成することができ、かくして一
段と撮影時の制約を低減し得る。

【００７０】なお上述の実施の形態においては、カメラ
パラメータＳ２６及びＳ２８を検索キーとして、背景画
像を検索するようにした場合について述べたが、本発明
はこれに限らず、撮像装置２１から供給される入力画像
Ｓ２１と画像データベース部２４に記録されている背景
画像とを比較することにより、入力画像Ｓ２１の背景に
相当する背景画像を検索するようにしても良い。この場
合、画像検索部２８は、２つの画像を比較する手段を有
し、この手段によつて、例えば入力画像Ｓ２１と画像デ
ータベース部２４に記録されている背景画像との差分を
とつて差分画像を生成し、当該差分画像の各画素の色値
が所定の閾値より小さい画素の個数を算出することによ
り画像類似度を求め、この画像類似度に基づいて入力画
像Ｓ２１の背景に相当する背景画像を検索することがで
きる。

【００７１】また上述の実施の形態においては、本発明
を、テレビや映画、広告写真の分野で用いられる撮像装
置２１及び２３に適用するようにした場合について述べ
たが、本発明はこれに限らず、常に同じ動作を行うよう
な撮像装置、例えば監視カメラや工業用ロボツトのカメ
ラのような、この他種々の撮像装置に適用するようにし
ても良く、この場合、高度な物体認識を可能にすること
ができる。このような撮像装置は常に同じ動作を行うこ
とから、画像検索部は、必ず背景画像を検索することが
できるので、図５に示すフローチヤートのステツプＳＰ
１５及びＳＰ１６を省略して高速に背景画像を検索し得
る。

【００７２】さらに上述の実施の形態においては、撮像
装置２３によつて撮影された複数の背景画像を画像デー
タベース部２４に記録するようにした場合について述べ
たが、本発明はこれに限らず、例えばハードデイスクに
記録されている画像のように、この他種々の記録媒体に
記録されている背景画像を読み出して画像データベース
部２４に記録するようにしても良い。

【００７３】さらに上述の実施の形態においては、画像
データベース部２４に記録されている背景画像から入力
画像Ｓ２１の背景に相当する背景画像を検索するアルゴ
リズムとして、ハツシユ法を適用するようにした場合に
ついて述べたが、本発明はこれに限らず、例えばトライ
法のように、この他種々のアルゴリズムを適用するよう
にしても良い。

【００７４】さらに上述の実施の形態においては、画像
データベース部２４に記録されている背景画像を並べ替
えるアルゴリズムとして、クイツクソートを適用するよ
うにした場合について述べたが、本発明はこれに限ら
ず、例えばヒープソートのように、この他種々のアルゴ
リズムを適用するようにしても良い。

【００７５】さらに上述の実施の形態においては、画像
データベース部２４に記録されている背景画像から入力
画像Ｓ２１の背景に類似する複数の背景画像を検索する
アルゴリズムとして、２分探索法を適用するようにした
場合について述べたが、本発明はこれに限らず、例えば
線形探索法のように、この他種々のアルゴリズムを適用
するようにしても良い。

【００７６】さらに上述の実施の形態においては、Moez
zi等によつて提案されている画像処理方法を用いて背景
画像を算出するようにした場合について述べたが、本発
明はこれに限らず、要は、入力画像Ｓ２１の背景に類似
する複数の背景画像から、入力画像Ｓ２１の背景に相当
する背景画像を算出するようなアルゴリズムであれば良
い。

【００７７】さらに上述の実施の形態においては、本発
明を、複数の背景画像が記録されている画像データベー
ス部２４と、当該複数の背景画像の中から入力画像Ｓ２
１の背景に相当する背景画像を検索する画像検索部２８
と、当該検索された背景画像Ｓ３０と入力画像Ｓ２１と
に基づいてキー信号Ｓ２３を生成する差分処理部２６と
からなるキー信号抽出ブロツク２２によつて生成された
キー信号Ｓ２３に基づいて、入力画像Ｓ２１と別の背景
画像Ｓ２２とを合成する画像処理装置２０に適用した場
合について述べたが、本発明はこれに限らず、複数の相
異なる背景画像をそれぞれ記録する記録手段と、記録手
段に記録されている背景画像の中から入力画像Ｓ２１の
背景に相当する背景画像を検索する検索手段と、検索手
段によつて検索した背景画像Ｓ３０と入力画像Ｓ２１と
に基づいて、入力画像Ｓ２１内の撮影対象物の位置を示
すキー信号Ｓ２３を生成するキー信号生成手段とからな
る画像処理装置に本発明を適用しても正確なキー信号を
順次生成することができ、従つて撮影時の制約を低減し
得る。

【００７８】さらに上述の実施の形態においては、入力
画像Ｓ２１と別の背景画像Ｓ２２とをキー信号Ｓ２３に
基づいて合成する画像合成部６を用いた場合について述
べたが、本発明はこれに限らず、要は、キー信号Ｓ２３
に基づいて入力画像Ｓ２１から撮影対象物の画像を抽出
するような抽出手段を用いても上述の場合と同様の効果
を得ることができる。

【００７９】

【発明の効果】上述のように本発明によれば、複数の背
景画像を記録手段に記録しておき、これら複数の背景画
像の中から入力画像の背景に相当する背景画像を検索
し、この検索した背景画像と入力画像とに基づいてキー
信号を生成するようにしたことにより、入力画像の背景
が変化しても正確なキー信号を順次生成することがで
き、かくして一段と撮影時の制約を低減して使い勝手を
向上し得る。

【図面の簡単な説明】

【図１】本発明の一実施の形態による画像処理装置の構
成を示すブロツク図である。

【図２】空舞台撮影の場合を示す略線図である。

【図３】本番撮影の場合を示す略線図である。

【図４】画像データベース部による画像データベースの
生成方法を示すフローチヤートである。

【図５】画像検索部による背景画像の検索方法を示すフ
ローチヤートである。

【図６】キー信号の生成過程を示す略線図である。

【図７】従来の画像処理装置の構成を示すブロツク図で
ある。

【図８】空舞台撮影の場合を示す略線図である。

【図９】本番撮影の場合を示す略線図である。

【図１０】従来の合成画像の生成過程を示す略線図であ
る。

【図１１】従来のクロマキー装置の構成を示すブロツク
図である。

【符号の説明】

６……画像合成部、２０……画像処理装置、２１、２３
……撮像装置、２２……キー信号抽出ブロツク、２４…
…画像データベース部、２５、２７……カメラパラメー
タ検出部、２６……差分処理部、２８……画像検索部。

Claims

【特許請求の範囲】

【請求項１】背景及び撮影対象物からなる入力画像が入
力され、当該入力画像内の上記撮影対象物の位置を示す
キー信号を生成する画像処理装置において、複数の相異なる背景画像をそれぞれ記録する記録手段
と、上記記録手段に記録されている上記背景画像の中から上
記入力画像の上記背景に相当する背景画像を検索する検
索手段と、上記検索手段によつて検索した上記背景画像と上記入力
画像とに基づいて、上記撮影対象物の位置を示す上記キ
ー信号を生成するキー信号生成手段とを具えることを特
徴とする画像処理装置。
【請求項２】上記キー信号に基づいて上記入力画像から
上記撮影対象物の画像を抽出する抽出手段を具えること
を特徴とする請求項１に記載の画像処理装置。
【請求項３】上記背景画像を撮影する第１の撮影手段
と、上記入力画像を撮影する第２の撮影手段と、上記第１の撮影手段によつて撮影したときの撮影条件を
検出する第１の検出手段と、上記第２の撮影手段によつて撮影したときの撮影条件を
検出する第２の検出手段とを具え、上記第１の検出手段によつて検出した上記撮影条件と、
当該撮影条件に対応する上記背景画像とを組にして上記
記録手段に記録し、上記第２の検出手段によつて検出し
た上記撮影条件に基づいて上記記録手段に記録されてい
る上記背景画像の中から上記入力画像の上記背景に相当
する背景画像を検索することを特徴とする請求項１に記
載の画像処理装置。
【請求項４】上記撮影条件は、カメラパラメータからな
ることを特徴とする請求項３に記載の画像処理装置。
【請求項５】上記検索手段は、上記入力画像と上記記録手段に記録されている上記背景
画像とを比較することにより、当該背景画像の中から上
記入力画像の上記背景に相当する背景画像を検索するこ
とを特徴とする請求項１に記載の画像処理装置。
【請求項６】上記検索手段は、上記記録手段に記録されている上記背景画像の中から、
上記入力画像の上記背景に相当する背景画像を検索でき
なかつた場合、上記入力画像の上記背景に類似する複数
の背景画像を検索して、当該類似する複数の背景画像か
ら上記入力画像の上記背景に相当する背景画像を算出す
ることを特徴とする請求項１に記載の画像処理装置。
【請求項７】背景及び撮影対象物からなる入力画像が入
力され、当該入力画像内の上記撮影対象物の位置を示す
キー信号を生成する画像処理方法において、複数の相異なる背景画像をそれぞれ記録した後、記録されている上記背景画像の中から上記入力画像の上
記背景に相当する背景画像を検索し、検索した上記背景
画像と上記入力画像とに基づいて、上記撮影対象物の位
置を示す上記キー信号を生成することを特徴とする画像
処理方法。
【請求項８】上記キー信号に基づいて上記入力画像から
上記撮影対象物の画像を抽出することを特徴とする請求
項７に記載の画像処理方法。
【請求項９】上記背景画像を撮影したときの撮影条件を
検出し、当該検出した撮影条件と、当該撮影条件に対応
する上記背景画像とを組にして記録した後、上記入力画像を撮影したときの撮影条件を検出し、当該
検出した撮影条件に基づいて、記録されている上記背景
画像の中から上記入力画像の上記背景に相当する背景画
像を検索することを特徴とする請求項７に記載の画像処
理方法。
【請求項１０】上記撮影条件は、カメラパラメータから
なることを特徴とする請求項９に記載の画像処理方法。
【請求項１１】上記入力画像と記録されている上記背景
画像とを比較することにより、当該背景画像の中から上
記入力画像の上記背景に相当する背景画像を検索するこ
とを特徴とする請求項７に記載の画像処理方法。
【請求項１２】記録されている上記背景画像の中から、
上記入力画像の上記背景に相当する背景画像を検索でき
なかつた場合、上記入力画像の上記背景に類似する複数
の背景画像を検索して、当該類似する複数の背景画像か
ら上記入力画像の上記背景に相当する背景画像を算出す
ることを特徴とする請求項７に記載の画像処理方法。