JPH10326357A

JPH10326357A - 画像処理方法及び装置並びに画像処理用パネル並びに記録媒体

Info

Publication number: JPH10326357A
Application number: JP9135615A
Authority: JP
Inventors: Mitsuharu Oki; 光晴大木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1997-05-26
Filing date: 1997-05-26
Publication date: 1998-12-08
Also published as: IL128187A0; WO1998054894A1; EP0923235A1

Abstract

(57)【要約】【課題】従来、バーチャルスタジオあるいはバーチャ
ルセットなどを使って、撮影した画像にＣＧを合成して
視聴者に見せるとき、出演者は、あたかも、そこに「後
ほど合成されるはずである物体」があると思って演技を
しなくてはいけないので、演技しづらいという欠点があ
った。【解決手段】ステレオカメラ１は、メインカメラ２と
サブカメラ３からなる。画像データ蓄積部４は、ステレ
オカメラ１のメインカメラ２とサブカメラ３からの画像
データを蓄積する。ＣＧデータ格納部５は、コンピュー
タグラフィックデータを格納している。マーカー位置情
報格納部６は、予めワールド座標系から見たマーカーの
位置情報を格納している。演算部７は、入力部９から入
力される情報を基に一連の計算を行う。制御部８は、上
記画像データ蓄積部４、ＣＧデータ格納部５及びマーカ
ー位置情報格納部６を制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、オリジナル画像か
ら不要な部分を取り除き、他の画像と合成するような画
像処理方法及び装置、並びに撮像装置により撮影したオ
リジナル画像に、文字あるいは図形を３次元上の位置を
合わせて合成して出力する画像処理に用いる画像処理用
パネル、並びに上記画像処理を実行するための処理手順
が記録されている記録媒体に関する。

【０００２】

【従来の技術】ビデオカメラ（以下、適宜、単にカメラ
という）を例えば２台などの複数台用いて、いわゆるス
テレオカメラを構成し、各カメラにより、３次元空間内
の物体を撮像して、その撮像の結果得られる２次元画像
から、物体の３次元空間における位置情報を得る３次元
位置情報検出装置として、ステレオカメラシステムが、
従来より知られている。

【０００３】ステレオカメラシステムについては、例え
ば、出口光一郎「コンピュータビジョンのための幾何
学：２．ステレオの仕掛けを解き明かす」情報処理、Ｖ
ｏｌ．３７、ｎｏ．７、ｐｐ．６６２−６７０、１９９
６年７月などに、その詳細が開示されている。

【０００４】ステレオカメラシステムでは、３次元空間
の位置情報を得ようとする対象の物体（対象物体）を、
複数のカメラで撮影した時に、各カメラにおける、例え
ばＣＣＤなどの光電変換素子の受光面（以下、適宜、ス
クリーンという）上に投射される対象物体の位置情報か
ら、その対象物体の３次元空間における位置情報を特定
できる。従って、３次元空間内のある位置に存在する物
体の位置情報と、その位置に対象物体があるときに、そ
の対象物体が各カメラのスクリーン上に投影される位置
の位置情報との対応関係（位置情報対応関係）を、予め
求めておく必要がある。この位置情報対応関係を求める
ことをキャリブレーションといい、キャリブレーション
装置により求められる。図１８には、キャリブレーショ
ン装置の概略を示す。

【０００５】図１８において、パイプ１０１及び１０２
は、３次元空間において、同一平面に含まれて、かつ平
行になるように配置されており、台車１０３は、このパ
イプ１０１及び１０２に沿って滑らかに移動することが
できるように設置されている。そして、台車１０３に
は、ステレオカメラを構成するカメラ１０４及び１０５
が取り付けられている。

【０００６】パイプ１０１及び１０２には目盛が記され
ており、台車１０３がスライドした量が測定できるよう
になっている。台車１０３がスライドする方向と垂直
に、正方格子模様が書かれた平板１０６が設置されてい
る。図１８に示すように、正方格子の横方向をｘ軸、縦
方向をｙ軸とし、スライドする方向、即ち正方格子に対
して垂直方向をｚ軸とする。この平板１０６よりカメラ
側が、ｚ＞０である。このような、ｘ軸、ｙ軸及びｚ軸
よりなる３次元座標をワールド座標と定義する。

【０００７】キャリブレーションの測定は、カメラ１０
４及び１０５を載せた台車１０３の位置をずらして、平
板１０６を２箇所から撮影して行われる。図１９は、２
箇所から撮影した場合の説明図であり、図１８の装置を
真上から見た図である。

【０００８】先ず、カメラ１０４及びカメラ１０５を、
ある位置Ｐ₁に固定して、平板１０６を、正方格子が映
るように撮影し、その後、カメラ１０４及び１０５を台
車１０３のスライドにより他の位置Ｐ₂に距離Ｌだけ移
動し、再度、平板１０６を撮影する。なお、この図１９
では、カメラ１０４及び１０５を、平板１０６から遠ざ
かる方向にスライドさせているが、そのスライド方向
は、逆であってもよい。

【０００９】このように、カメラ１０４及び１０５をス
ライドして平板１０６を撮影することにより得られた２
次元画像は、図２０に示すように、カメラ１０４及び１
０５を固定して、平板１０６をスライドしても得ること
ができる。

【００１０】すなわち、図２０に示すように、カメラ１
０４及び１０５を、ある位置Ｐ₁に固定して、平板１０
６を、その正方格子が映るように撮影し、その後、平板
１０６をｚ軸に沿って、カメラ１０４及び１０５から遠
ざかる方向に、距離Ｌだけ、スライドさせ、その位置
で、再度、平板１０６を撮影することによっても、同様
の２次元画像を得ることができる。

【００１１】この図２０において、距離Ｌだけ遠ざける
前の平板１０６上に描かれた正方格子（第１の正方格子
Ｑ₁）の左下隅を原点とし、ワールド座標の原点とする
と、この平板１０６の第１の正方格子Ｑ₁において、
（ｉ，ｊ）の位置はワールド座標において（ｉ，ｊ、
０）となる。また、長さＬだけスライドさせた後の平板
１０６の正方格子（第２の正方格子Ｑ₂）において
（ｉ，ｊ）の位置はワールド座標において（ｉ，ｊ、−
Ｌ）となる。

【００１２】図２１は、カメラ１０４と平板１０６上の
第１の正方格子Ｑ₁と第２の正方格子Ｑ₂を示した図であ
る。カメラ１０４の光学中心がＯ₁であり、例えばＣＣ
Ｄ１１１などの受光面となるスクリーン上に対象物体の
位置情報が投影される。例えば、ＣＣＤ１１１上の座標
位置（ｈ，ｋ）には、第１の正方格子Ｑ₁における座標
位置（ｐ，ｑ）が写し出され、かつ、第２の正方格子Ｑ
₂における座標位置（ｒ，ｓ）が写し出されたとする。
なお、各正方格子の各縦線、横線の交点以外の場所は、
補間により、その座標を求めることが可能である。

【００１３】これをワールド座標を用いて、説明し直す
と、ＣＣＤ１１１上の座標位置（ｈ，ｋ）には、３次元
上の座標位置（ｐ，ｑ，０）と（ｒ，ｓ，−Ｌ）が写し
出される。すなわち、２次元上の座標位置（ｈ，ｋ）と
３次元上の座標位置（ｐ，ｑ，０）と（ｒ，ｓ，−Ｌ）
とを結ぶ直線をｌとすると、この直線ｌ上の点は、全
て、ＣＣＤ１１１上の座標位置（ｈ，ｋ）に写し出され
ることが分かる。

【００１４】したがって、直線ｌは、３次元空間におけ
る物体の位置情報（ここでは、ワールド座標系における
座標）と、その物体を撮像して得られる２次元画像の位
置情報（ここでは、ＣＣＤ１１１上の２次元座標系にお
ける座標）との対応関係（位置情報対応関係）を表すこ
とになる。

【００１５】この直線ｌは、（ｘ−ｒ）／（ｐ−ｒ）＝（ｙ−ｓ）／（ｑ−ｓ）＝
（ｚ＋Ｌ）／Ｌとして求めることができる。

【００１６】直線ｌを求めるのと同様にして、ＣＣＤ１
１１上の２次元座標系における他の座標位置について
も、そこに投射される３次元空間上の点の集合としての
直線を求める。さらに、同様のことを、カメラ１０５に
ついても行う。

【００１７】以上のようにして、カメラ１０４及び１０
５についての直線すべてを求めることで、ステレオカメ
ラシステムのキャリブレーションを終了する。

【００１８】このようにしてキャリブレーションが行わ
れたステレオカメラシステムでは、次のようにして、３
次元空間にある物体の位置情報を求めることができる。

【００１９】先ず、ステレオカメラで物体を撮影する。
すると、例えば、図２２に示すように、カメラ１０４の
スクリーン（ＣＣＤ）１１１の座標位置（ａ，ｂ）に物
体が写し出されたとする。キャリブレーションにおい
て、座標位置（ａ，ｂ）に対応するワールド座標系にお
ける直線ｌ₁は求まっているので、ワールド座標系にお
けるこの直線ｌ₁上に物体は存在することになる。

【００２０】また、カメラ１０５のスクリーン（ＣＣ
Ｄ）１１２の各位置に対応するワールド座標系における
直線も、キャリブレーションにおいて求まっている。従
って、これら直線の内、上記直線ｌ₁と交点を持つ、直
線を選び出すことが可能である。この選び出された直線
は、図中の１１３₁，１１３₂，１１３_i・・・である。

【００２１】直線１１３₁に対応する、カメラ１０５の
スクリーン１１２の点は、１１４₁である。同様に、１
１３₂に対応する点は１１４₂であり、１１３_iに対応す
る点は１１４_iである。他も同様である。従って、これ
から分かるように、これら全ての直線１１３₁，１１
３₂，１１３_i・・・に対応する、カメラ１０５のスクリー
ン１１２の点１１４₁，１１４₂，１１４_i・・・を集める
と、図２２の１１５という直線になる。この直線１１５
は、一般に、エピポーラライン（Epipolar Line）と呼
ばれている。

【００２２】上述したように、カメラ１０４のスクリー
ン１１１の座標位置（ａ，ｂ）に写った物体は、直線ｌ
₁上のどこかにある。従って、カメラ１０５のスクリー
ン１１２上では、エピポーラライン１１５上のどこかに
その物体が投影されるはずである。従って、このエピポ
ーラライン１１５上で、物体の投影像を探索していけば
良い。例えば、エピポーラライン１１５上の点（ｃ，
ｄ）に、その投影像があれば、点（ｃ，ｄ）に対応する
直線ｌ₂が判別する。この直線ｌ₂は、直線１１３₁，１
１３₂，１１３_i・・・の内の１つである。後は、直線ｌ
₁と、直線ｌ₂の交点をワールド座標系で求めることによ
り、物体の３次元における位置１１６を知ることが出来
る。つまり、物体の３次元位置を求めることができる。

【００２３】但し、この時、基準となる３次元座標は、
ステレオカメラの位置および向きに固有の座標系であ
る。もし、ステレオカメラが動かなければ、この基準と
なる３次元座標は常に不動である。しかし、撮影中にス
テレオカメラが移動すると、この３次元座標も移動す
る。なお、以下では、上記カメラ１０４と上記カメラ１
０５とをステレオカメラとして表現する。すなわち、単
にステレオカメラと記しても、例えば２台のカメラを備
えている。

【００２４】例えば、図２３に示すように、最初の時刻
におけるステレオカメラ１２０から求めた静止物体１２
１の位置が、最初の時刻のステレオカメラ１２０を基準
とした座標系１２３から見て（ｘ，ｙ，ｚ）であったと
する。この後、ステレオカメラ１２０は回転変換Ｒ１と
並進変換Ｔ１され、次の時刻において、ステレオカメラ
１２４となった。

【００２５】すると、次の時刻におけるステレオカメラ
１２４からの情報より求まる上記静止物体１２１の位置
は、（ｘ，ｙ，ｚ）・Ｒ１＋Ｔ１となる。なぜなら、次
の時刻におけるステレオカメラ１２４から求まる物体の
位置は、この時刻におけるステレオカメラ１２４を基準
とした座標系１２５での位置であるからである。

【００２６】ここで、座標系１２３と座標系１２５とで
は、回転変換Ｒ１と並進変換Ｔ１を施した関係になって
いるので、当然、同一の物体１２１の位置を測定した
時、その位置関係は、回転変換Ｒ１と並進変換Ｔ１を施
した関係になっている。

【００２７】さて、最近は、テレビ局において、バーチ
ャルスタジオあるいはバーチャルセットと呼ばれるスタ
ジオ（セット）で画像を撮影して、この撮影した画像に
対して、ＣＧ（コンピュータグラフィック）で作成した
画像を合成し、この合成画像を放送するということが行
われるようになってきた。

【００２８】例えば、ニュース番組（報道番組）を例に
とると、先ず、青色の背景をバックに出演者を立たせ
る。これをステレオカメラで撮影する。ステレオカメラ
の内１つをメインカメラと呼ぶことにする。このメイン
カメラからの画像（オリジナル画像と呼ぶことにする）
に、ＣＧを合成して、最終的な合成画像を作成する。

【００２９】上記青色の背景には、図２４に１２６で示
すような、青色系統で目立たないマーカー（模様）を付
けておくようにしてある。マーカー１２６の３次元上で
の位置は、特定の絶対不動の座標系であるワールド座標
系１２７を基準として、あらかじめ測定しておく。マー
カー１２６は目立たないが、ステレオカメラで認識する
ことが、かろうじて出来るので、マーカー１２６の位置
を測定することが出来る。つまり、その時のステレオカ
メラ１２８を基準とした座標系１２９から見たマーカー
１２６の３次元位置が分かる。以上で、ワールド座標１
２７を基準としたマーカー１２６の位置と、座標系１２
９を基準としたマーカー１２６の位置が分かったことに
なる。

【００３０】ワールド座標系１２７と座標系１２９の関
係を回転変換Ｒと並進変換Ｔを施した関係とすると、ワ
ールド座標系１２７を基準としたマーカー１２６の位置
と座標系１２９を基準としたマーカー１２６の位置の関
係も回転変換Ｒと並進変換Ｔを施した関係となる。従っ
て、ワールド座標系１２７を基準としたマーカー１２６
の位置と、座標系１２９を基準としたマーカー１２６の
位置は分かっているので、逆に、回転変換Ｒと並進変換
Ｔを求めることが出来る。実際には、マーカーを複数使
用して、複数のマーカーの位置より、回転変換Ｒと並進
変換Ｔを求める。従って、現在のステレオカメラの位置
および向きが、ワールド座標系を基準として、どの位置
（Ｒ、Ｔ）にあるかが分かる。

【００３１】次に、コンピュータグラフィックＣＧで人
工的な背景を決定する。これは、上記ワールド座標系を
基準にして作られる。例えば、ｚ＝１０の面に白色の壁
があるとする。実際には、模様のある壁紙をＣＧで作成
して合成したりするが、ここでは、一番簡単である白い
壁として説明を進める。このｚ＝１０にある仮想的な白
い壁を、ワールド座標系の原点に対してＲとＴの位置関
係にある仮想のカメラから撮影したときに、どのように
見えるかを計算する。この仮想的な位置から仮想的な白
い壁を見たときの画像を「ＣＧ背景画像」と呼ぶことに
する。

【００３２】また、ＣＧで「ニュースの内容などが書か
れている板」を作る。これも、上記ワールド座標系を基
準にして作られる。例えば、ｚ＝８（壁よりもカメラ
側）に適当な大きさの板があるとする。この板を、ワー
ルド座標系の原点に対してＲとＴの位置関係にある仮想
のカメラから撮影したときに、どのように見えるかを計
算する。この仮想的な位置から仮想的な板を見たときの
画像を「ＣＧフリップ画像」と呼ぶことにする。

【００３３】次に、メインカメラに写ったオリジナル画
像の内、青色の部分を取り除く。これにより、背景だけ
が取り除かれ、出演者の投影像だけが残される。この画
像を「キー抜きされた画像」と呼ぶことにする。ここ
で、上記マーカーも青色系統なので取り除かれる。

【００３４】「キー抜きされた画像」において、取り除
かれた部分に、先程の「ＣＧフリップ画像」の画像を挿
入する。これを第１合成画像と呼ぶことにする。第１合
成画像には、出演者と、上記板の投影像があり、他の部
分は、まだ、取り除かれている状態にある。

【００３５】第１合成画像において、まだ取り除かれて
いる部分に、先程の「ＣＧ背景画像」を挿入する。これ
を、第２合成画像と呼ぶことにする。第２合成画像は、
あたかも白い壁をバックにして出演者と「ニュースの内
容などが書かれている板」が存在しているような画像と
なる。この第２合成画像が最終的に得る画像である。

【００３６】さて、出演者が、「ニュースの内容などが
書かれている板」を指しながら演技する場合を考えてみ
る。実際には板はないので、出演者は、あたかもそこに
存在しているかのように指さして演技しなくてはいけな
い。従って、出演者にとって、演技しにくかった。

【００３７】ここで、図を用いて説明する。図２５の
（ａ）、（ｂ）、（ｃ）、（ｄ）は、それぞれ、時刻ｔ
１、ｔ２、ｔ３、ｔ４におけるスタジオ内の出演者の位
置を上から見た図である。図２６の（ａ）、（ｂ）、
（ｃ）、（ｄ）は、それぞれ、時刻ｔ１、ｔ２、ｔ３、
ｔ４における第２合成画像（最終的に得られる合成画
像）の図である。図２７の（ａ）、（ｂ）、（ｃ）
（ｄ）は、それぞれ、時刻ｔ１、ｔ２、ｔ３、ｔ４にお
ける、スタジオ内の出演者の位置と、仮想的な板の位置
を上から見た図であり、実際には見ることのない仮想的
な、説明の為の図である。ここで、ｔ１＜ｔ２＜ｔ３＜
ｔ４である。

【００３８】先ず、図２５の（ａ）、（ｂ）、（ｃ）、
（ｄ）を用いて、出演者の立ち位置について、説明す
る。各図において、ステレオカメラは図の下から上に向
かって撮影している。時刻ｔ１では図２５の（ａ）に示
すように、出演者１３１はスタジオ１３０の右はじにい
る。時刻ｔ２でも図２５の（ｂ）に示すように、出演者
１３１はスタジオ１３０の右はじにいる。時刻ｔ３では
図２５の（ｃ）に示すように、出演者１３１はスタジオ
１３０の中央に移動している。時刻ｔ４では図２５の
（ｄ）に示すように、出演者１３１はスタジオ１３０の
中央にいて、腕１３２を伸ばして、空中を指し示してい
る。

【００３９】このように出演者には演技してもらうが、
この出演者をステレオカメラで撮影して、メインカメラ
からの映像にＣＧを合成した最終的に得られる画面が、
図２６の（ａ）、（ｂ）、（ｃ）、（ｄ）である。

【００４０】時刻ｔ１では図２６の（ａ）に示すよう
に、メインカメラから得られる出演者の投影像１３３に
「ＣＧ背景画像（白い壁１３４）」を合成する。先程も
述べたが、実際には、背景画像として、模様のある壁紙
をＣＧで作ったりするので、１３４の部分はＣＧで作ら
れた模様のある壁紙付きの壁の投影像となるが、ここで
は、白い壁としておく。また、出演者はスタジオの右は
じにいるので、図２６の（ａ）において、投影像１３３
は右側に位置している。この時刻においては、まだ、
「ＣＧフリップ画像」は合成しない。つまり、「キー抜
きされた画像」と「第１合成画像」は同じである。

【００４１】時刻ｔ２では図２６の（ｂ）に示すよう
に、メインカメラから得られる画像に「ＣＧフリップ画
像１３５」と「ＣＧ背景画像（白い壁１３４）」を合成
する。これが時刻ｔ２における最終的に得られる画像で
ある。ＣＧフリップ画像１３５は、仮想的なＣＧで作ら
れたニュースの内容などが書かれている板の投影像であ
る。

【００４２】時刻ｔ３では図２６の（ｃ）に示すよう
に、出演者は中央に移動するので、画面上でも出演者の
投影像１３３は中央に位置する。これが時刻ｔ３におけ
る最終的に得られる画像である。

【００４３】時刻ｔ４では、図２６の（ｄ）に示すよう
に、出演者は腕を伸ばしているので、画面上でも出演者
の腕１３６の投影像が表れる。これが時刻ｔ４における
最終的に得られる画像である。

【００４４】図２６の（ａ）、（ｂ）、（ｃ）、（ｄ）
を見ている視聴者にとっては、時刻ｔ１において、出演
者が右はじにいるように見える。時刻ｔ２において、左
側に、ニュースの内容などが書かれている板が、突然あ
らわれるように見える。時刻ｔ３において、その板に出
演者が近づいたように見える。時刻ｔ４において、出演
者が、その板を指し示して解説しているように見える。
このように、あたかも、出演者が本当に突然あらわれた
板を見ながら解説している場面を、撮影した画像を見て
いるような錯覚を起こさせることができる。

【００４５】つまり、視聴者は、あたかも、図２７の
（ａ）、（ｂ）、（ｃ）、（ｄ）に示すスタジオを撮影
したカメラからの画像を見ているように錯覚を起こす。
時刻ｔ１において、図２７の（ａ）に示すように、スタ
ジオ１３０内の右はじに、出演者１３１がいるように見
える。時刻ｔ２において、図２７の（ｂ）に示すよう
に、スタジオ１３０内の右はじに出演者１３１がいて、
かつ、突然、板１３７が左側にあらわれるように見え
る。時刻ｔ３において、図２７の（ｃ）に示すように、
スタジオ１３０内の板１３７のそばに出演者１３１が近
づいたように見える。時刻ｔ４において、図２７の
（ｄ）に示すように、スタジオ１３０内の板１３７のそ
ばに出演者１３１がいて、かつ、出演者１３１が腕１３
２をあげて指し示しているように見える。

【００４６】この例から分かるように、本当には存在し
ないものをＣＧを用いて合成することで、あたかも本当
に存在している物体（例えば、上述の板）であるかのよ
うに、視聴者を錯覚させることが出来るのが、バーチャ
ルスタジオあるいはバーチャルセットの特色である。

【００４７】

【発明が解決しようとする課題】ところで、上述したよ
うに、出演者が、「ニュースの内容などが書かれている
板」を指しながら演技をする場合、出演者の立場で考え
てみると、何もない空間上に架空の板があると思って演
技をしなくてはいけない。現状では、どこに板があるの
か出演者は分からないので、最終的なＣＧを合成した画
像をスタジオ内のモニターでチェックしながら、「この
位置に板があるはずである。」と考えながら演技をして
いる。従って、演技が、非常にしづらいという欠点があ
った。

【００４８】すなわち、従来、バーチャルスタジオある
いはバーチャルセットなどを使って、撮影した画像にＣ
Ｇを合成して視聴者に見せるとき、出演者は、あたか
も、そこに「後ほど合成されるはずである物体」がある
と思って演技をしなくてはいけないので、演技しづらい
という欠点があった。

【００４９】本発明は、上記課題に鑑みてなされたもの
であり、出演者に演技を容易に行わせることのできる画
像処理方法及び装置並びに画像処理用パネル並びに記録
媒体の提供を目的とする。

【００５０】

【課題を解決するための手段】本発明に係る画像処理方
法は、上記課題を解決するために、オリジナル画像から
特定の色領域の部分のみを取り除き、さらに上記オリジ
ナル画像に投影されている物体の３次元位置の内、指定
された３次元領域の中に含まれる３次元位置にある物体
のみを取り出した画像に、他の画像を合成して出力す
る。

【００５１】また、本発明に係る画像処理装置は、上記
課題を解決するために、オリジナル画像から特定の色領
域の部分のみを取り除き、さらに上記オリジナル画像に
投影されている物体の３次元位置の内、指定された３次
元領域の中に含まれる３次元位置にある物体のみを取り
出した画像を求め、この画像に他の画像を合成して出力
する演算手段を備える。

【００５２】また、本発明に係る画像処理方法は、上記
課題を解決するために、オリジナル画像から特定の色領
域の部分のみを取り除き、さらに上記オリジナル画像に
投影されている物体の３次元位置の内、可変指定される
３次元領域の中に含まれる３次元位置にある物体のみを
取り出した画像に、他の画像を合成して出力する。

【００５３】また、本発明に係る画像処理装置は、上記
課題を解決するために、オリジナル画像から特定の色領
域の部分のみを取り除き、さらに上記オリジナル画像に
投影されている物体の３次元位置の内、可変指定される
３次元領域の中に含まれる３次元位置にある物体のみを
取り出した画像を求め、この画像に他の画像を合成して
出力する演算手段を備える。

【００５４】また、本発明に係る画像処理用パネルは、
上記課題を解決するために、表面には、上記文字あるい
は図形が書かれるように、オリジナル画像から取り除か
れる色領域内の色であり、かつ視認可能な色で下書きを
施している。

【００５５】また、本発明に係る記録媒体は、上記課題
を解決するために、オリジナル画像から特定の色領域の
部分のみを取り除く工程と、オリジナル画像に投影され
ている物体の３次元位置の内、指定された３次元領域の
中に含まれる３次元位置にある物体のみを取り出す工程
と、３次元領域の中に含まれる３次元位置にある物体の
みを取り出した画像に他の画像を合成する工程とを有す
る処理手順を記録している。

【００５６】また、本発明に係る記録媒体は、上記課題
を解決するために、オリジナル画像から特定の色領域の
部分のみを取り除く工程と、オリジナル画像に投影され
ている物体の３次元位置の内、時間とともに可変指定さ
れる３次元領域の中に含まれる３次元位置にある物体の
みを取り出す工程と、３次元領域の中に含まれる３次元
位置にある物体のみを取り出した画像に他の画像を合成
する工程とを有する処理手順を記録している。

【００５７】本発明によれば、例えば、演出を取り仕切
っているディレクターが、ワールド座標系で３次元領域
を時間とともに適応的に指定することで、その領域内に
対応するメインカメラに写った投影像のみを取り出すよ
うにしてあるので、例えば、青色でない枠をつけた実際
の板を用意して、その実際の板を最初含まないように上
記領域を指定して、ＣＧフリップ画像を枠を参考にし
て、実際の板を被うように合成し、実際の板を含むよう
に上記領域を指定し直すようにして、実際の板に出演者
が近づいても、出演者の投影像が切り出せるようにして
あるので、出演者は実際の板を指し示しながら演技でき
る。

【００５８】また、本発明では、画像から出演者などを
切り出す際に、まず、青色の部分を取り除き、さらに、
演出を取り仕切っているディレクターが指定した３次元
領域以外も取り除くようにしている。従って、上記指定
する３次元領域に、背景を含ませないようにすること
で、模様は青色系統でなくても良くなる。青色系統でな
い目立つ模様をつけることで、カメラで撮影したとき
に、その画像から、模様の投影像を認識しやすくなる。
そして、その画像に写った模様は、指定された３次元領
域の外にあり、キー抜きの際に取り除かれるので、問題
はない。

【００５９】また、従来、ＣＧで作られた板に、あたか
も出演者がペンで記入したように合成画像を作成するこ
とは出来なかった。本発明においては、画像処理用パネ
ルにペンで書き込む。そして、キー抜きの際に、ペンで
書かれた文字は残されるので、最終的に得られる合成画
像にも残される。つまり、ＣＧで作られた板に、あたか
も出演者がペンで記入したように合成画像を作成するこ
とが出来る。これは、あらかじめ青色系統の色で下書き
を実際の板に書いておき、その上を出演者が青色系統で
ない目立つ色のペンで書いていくことにより、ＣＧとの
位置も正確に合わせながら書き込むことが出来るとい
う、本発明の特徴による。

【００６０】

【発明の実施の形態】以下、本発明に係る画像処理方法
及び装置の実施の形態について図面を参照しながら説明
する。

【００６１】この実施の形態は、図１に示すような画像
処理装置であり、メインカメラ２とサブカメラ３からな
るステレオカメラ１と、このステレオカメラ１のメイン
カメラ２とサブカメラ３からの画像データを蓄積する画
像データ蓄積部４と、コンピュータグラフィック（Ｃ
Ｇ）データを格納しているＣＧデータ格納部５と、予め
ワールド座標系から見たマーカーの位置情報を格納して
いるマーカー位置情報格納部６と、入力部９から入力さ
れる情報を基に後述する一連の計算を行う演算部７と、
上記画像データ蓄積部４、ＣＧデータ格納部５及びマー
カー位置情報格納部６を制御する制御部８とを備えてな
る。

【００６２】制御部８は、記録媒体を内蔵しており、演
算部７に後述する一連の計算を行わせるためのプログラ
ムを格納しており、入力部９から入力される情報を基
に、適切に画像データ蓄積部４とＣＧデータ格納部５と
マーカー位置情報格納部６からそれぞれデータを読み出
して演算部７に供給し、演算部７に適切な計算を行わせ
る。

【００６３】すなわち、制御部８は、内蔵の記録媒体か
ら、特定の色領域の部分のみを取り除く工程と、オリジ
ナル画像に投影されている物体の３次元位置の内、指定
された３次元領域の中に含まれる３次元位置にある物体
のみを取り出す工程と、３次元領域の中に含まれる３次
元位置にある物体のみを取り出した画像に他の画像を合
成する工程とを有する処理手順を逐次取り出して、演算
部７に一連の計算を行わせている。ここで、上記３次元
領域は時間とともに可変指定されてもよい。

【００６４】制御部８は、さらに、演算部７での計算で
得られた最終的に合成された画像である第２合成画像を
出力端子から出力させる制御も行っている。

【００６５】なお、この画像処理装置は、本発明に係る
画像処理方法を、制御部８での制御に応じて、演算部７
に行わせている。この画像処理方法は、詳細には後述す
る図２のフローチャートに示す処理手順となるが、概略
的には、オリジナル画像から特定の色領域の部分のみを
取り除き、さらに上記オリジナル画像に投影されている
物体の３次元位置の内、指定された３次元領域の中に含
まれる３次元位置にある物体のみを取り出した画像に、
他の画像を合成して出力するという画像処理方法であ
る。なお、この図２に示すフローチャートは、上述した
ように制御部８内の記録媒体に格納されている。

【００６６】以下、上記画像処理装置に、図２に示すよ
うな処理手順を実行させ、図３のスタジオ内部で実写し
た出演者１０の投影像にＣＧを合成するような、画像処
理を行わせる動作を説明する。

【００６７】先ず、図３に示したスタジオ内部の状態に
ついて説明しておく。ステレオカメラ１は、カメラが一
個のように記されているが、図１に示したようにメイン
カメラ２とサブカメラ３が一体化されている。スタジオ
内部にて、出演者１０は３方向を囲んだ背景となる青色
の壁１１の中に居る。この青色の壁１１には、青色系統
ではない目立つ色、例えば外側の円が赤色で、内側の円
が黄色であるような模様のマーカー１２₁，１２₂，１２
₃，１２₄，１２₅，１２₆が取り付けられている。

【００６８】このようなスタジオで撮影することによ
り、マーカー１２₁，１２₂，１２₃，１２₄，１２₅，１
２₆の投影像は、その画像の中で目立っているので、認
識しやすい。また、マーカー１２₁，１２₂，１２₃，１
２₄，１２₅，１２₆を沢山つけることで、もし出演者１
０にはばまれて、ステレオカメラ１に投影されないマー
カーがあったとしても、他のマーカーはステレオカメラ
１から見ることが出来る。

【００６９】従来は青色の背景に、青色系統のマーカー
を取り付けていた。マーカーを青色系統にするのは、後
で画像から出演者などを切り出す、いわゆるキー抜きの
際に、青色部分を消すことでキー抜きを行っていたた
め、背景と同時にマーカーも消せるようにするためであ
る。しかし、青色の背景上にある青色系統のマーカーを
カメラで撮影したときに、その画像からマーカーの投影
像を認識しにくいという欠点があった。

【００７０】これに対して、上記画像処理装置では、上
記図３に示したスタジオ内部で、画像から出演者１０な
どを切り出す際に、先ず、青色の部分を取り除く。さら
に、演出を取り仕切っているディレクターが入力部９で
指定した後述する３次元領域Ｗを除く部分も取り除く。
従って、ディレクターが指定する３次元領域Ｗ内に、マ
ーカー１２₁，１２₂，１２₃，１２₄，１２₅，１２₆の取
り付けられている青色の壁１１を含ませないようにする
ことで、マーカー１２₁，１２₂，１２₃，１２₄，１
２₅，１２₆は青色系統でなくても良くなる。

【００７１】この青色系統でない目立つマーカー１
２₁，１２₂，１２₃，１２₄，１２₅，１２₆を青色の壁１
１に取り付けることで、カメラで撮影したときに、その
画像から、マーカーの投影像を認識しやすくなる。そし
て、その画像に写ったマーカー１２₁，１２₂，１２₃，
１２₄，１２₅，１２₆は、ディレクターに指定された３
次元領域Ｗの外にあり、キー抜きの際に取り除かれるの
で、問題はない。

【００７２】これらマーカー１２₁，１２₂，１２₃，１
２₄，１２₅，１２₆の位置は、予めワールド座標系１３
を基準として測定されており、図１に示したマーカー位
置情報格納部６にマーカー位置情報として格納されてい
る。

【００７３】以下、図２のフローチャートを用いての動
作説明に移る。なお、このフローチャートの各ステップ
はスタジオ内部の状況によっては、実行されない場合も
ある。

【００７４】先ず、スタジオ内部での撮影を取り仕切る
ディレクターが、図２のステップＳ１で入力部９よりワ
ールド座標系１３での３次元領域Ｗを指定したとする。

【００７５】すると、制御部８は、ステレオカメラ１を
構成するメインカメラ２とサブカメラ３から得られる画
像データを画像データ蓄積部４から読み出して、演算部
７に供給する。演算部７は、上記マーカーの３次元上で
の位置を計算する。

【００７６】次ぎに、ステップＳ３で、制御部８は、あ
らかじめ測定しておいたワールド座標系１３を基準とし
た３次元位置をマーカー位置情報格納部６から読みとっ
て演算部７に供給する。演算部７では、上記３次元座標
系１４から見たマーカーの３次元上での位置から、ステ
レオカメラ１の現在の位置および向きがワールド座標系
１３を基準として、どの位置（回転変換Ｒ、並進変換
Ｔ）にあるかを計算する。この回転変換Ｒと並進変換Ｔ
を求める計算は、各時刻におけるステレオカメラ１から
の画像を使用して計算するので、ステレオカメラ１が移
動している場合でも、的確に求めることが出来る。

【００７７】従来、マーカーには青色系統の色を用いて
いたので、その認識が非常に難しく、例えば、壁に当た
る照明が変化したりすると、認識できなくなる状態に陥
るということがあった。しかし、上記本実施の形態とな
る画像処理装置が用いられるスタジオでは、青色系統で
ないマーカー１２₁，１２₂，１２₃，１２₄，１２₅，１
２₆を使用しているので、認識が容易く、カメラの位
置、向きを正確に求めることが出来る。

【００７８】次ぎに、ステップＳ４で制御部８は、上記
ステップＳ１でディレクターが入力部９から入力した３
次元領域Ｗを演算部８に送り、ステップＳ３で求めたス
テレオカメラ１の位置、方向から見た３次元領域Ｖを演
算部８に計算させる。すなわち、演算部７は、制御部８
の制御により、ワールド座標系での上記３次元領域Ｗに
対して、回転変換Ｒと並進変換Ｔを行った３次元領域Ｖ
を計算する。

【００７９】次ぎに、ステップＳ５で制御部８は、画像
データ蓄積部４からステレオカメラ１のメインカメラ２
で撮影された画像データを読み出して演算部７に送る。
演算部７では、このオリジナル画像から青色の部分を取
り除く。

【００８０】次ぎに、ステップＳ６で制御部８は、画像
データ蓄積部４からステレオカメラ１のそれぞれのカメ
ラ２及び３で撮影された画像データを読み出して演算部
７に送る。演算部７では、これらの画像データから上記
カメラ２及び３の視差を計算して、全ての投影像に対応
する実物の３次元上での位置を計算する。ただし、この
位置は、ステレオカメラ１を基準とした３次元座標系に
おける位置として求まる。

【００８１】次ぎに、ステップＳ７で制御部８は、演算
部７に上記ステップＳ６で求めた実物の３次元上での位
置から、上記ステップＳ４で求めた３次元領域Ｖ内にあ
る実物のみを求めさせる。そして、演算部７は、その実
物のメインカメラ２への投影像のみを残して、他の部分
を取り除く。これにより、オリジナル画像から「青色部
分」と「領域Ｖ以外」は全て削除された画像、いわゆる
「キー抜きされた画像」を作成できる。

【００８２】次ぎに、ステップＳ８で制御部８は、演算
部７を制御して、ＣＧデータ格納部５に蓄積された画像
データから赤色の枠など予め登録されたパターンを探索
する。

【００８３】次ぎに、ステップＳ９で制御部８は、演
算部７に、ステップＳ７で作成した「キー抜きされた画
像」の中で削除された部分に、「ＣＧフリップ画像」を
合成させ、第１合成画像を作成させる。合成する位置
は、上記ステップＳ８で検出されたパターンの投影像位
置と同じ位置である。

【００８４】次ぎに、ステップＳ１０で制御部８は、演
算部７に、上記第１の合成画像の中で、「ＣＧフリップ
画像」を合成しても、まだ、削除され続けている部分に
「ＣＧ背景画像」を合成させ、最終的に得られる視聴者
に提供する第２合成画像を作成させる。

【００８５】そして、最後にステップＳ１１で制御部８
は、演算部７に出力端子から第２の合成画像を出力させ
る。

【００８６】上記図３に示したスタジオ内部で上記画像
処理装置に上記図２に示すフローチャートの処理手順を
実行させた場合の詳細な動作を図４〜図１７を参照しな
がら説明する。

【００８７】先ず、図４は時刻Ｔ１における上記図３に
示したスタジオ内部の状態を上から見た図である。この
図４の状態でメインカメラ２に写ったオリジナル画像を
図５の（ａ）に示す。また、オリジナル画像のうち不要
部分を取り除いた画像、すなわち「キー抜きされた画
像」を図５の（ｂ）に示す。また、最終的に得られる視
聴者に提供する合成画像、すなわち第２合成画像を図５
の（ｃ）に示す。

【００８８】また、図６は時刻Ｔ２におけるスタジオ内
部の状態を上から見た図である。図７の（ａ）、図７の
（ｂ）、図７の（ｃ）は、それぞれ、上記図６の状態で
メインカメラ２に写ったオリジナル画像、オリジナル画
像のうち不要部分を取り除いた「キー抜きされた画
像」、最終的に得られる視聴者に提供する第２合成画像
を示す。ここで、時刻Ｔ２は時刻Ｔ１に続く時刻であ
る。

【００８９】また、図８は時刻Ｔ３におけるスタジオ内
部の状態を上から見た図である。図９の（ａ）、図９の
（ｂ）、図９の（ｃ）は、それぞれ、上記図８の状態の
オリジナル画像、「キー抜きされた画像」、第２合成画
像を示す。ここで、時刻Ｔ３は時刻Ｔ２に続く時刻であ
る。

【００９０】また、図１０は時刻Ｔ４におけるスタジオ
内部の状態を上から見た図である。図１１の（ａ）、図
１１の（ｂ）、図１１の（ｃ）は、それぞれ、上記図１
０の状態のオリジナル画像、「キー抜きされた画像」、
第２合成画像を示す。ここで、時刻Ｔ４は時刻Ｔ３に続
く時刻である。

【００９１】また、図１２は時刻Ｔ５におけるスタジオ
内部の状態を上から見た図である。図１３の（ａ）、図
１３の（ｂ）、図１３の（ｃ）は、それぞれ、上記図１
２の状態のオリジナル画像、「キー抜きされた画像」、
第２合成画像を示す。ここで、時刻Ｔ５は時刻Ｔ４に続
く時刻である。

【００９２】また、図１４は時刻Ｔ６におけるスタジオ
内部の状態を上から見た図である。図１５の（ａ）、図
１５の（ｂ）、図１５の（ｃ）は、それぞれ、上記図１
４の状態のオリジナル画像、「キー抜きされた画像」、
第２合成画像を示す。ここで、時刻Ｔ６は時刻Ｔ５に続
く時刻である。

【００９３】また、図１６は時刻Ｔ７におけるスタジオ
内部の状態を上から見た図である。図１７の（ａ）、図
１７の（ｂ）、図１７の（ｃ）は、それぞれ、上記図１
６の状態のオリジナル画像、「キー抜きされた画像」、
第２合成画像を示す。ここで、時刻Ｔ７は時刻Ｔ６に続
く時刻である。

【００９４】上記図４、図６、図８、図１０、図１２、
図１４及び図１６に示すように、スタジオ内部には、ス
テレオカメラ１と、出演者１０と、マーカーの取り付け
られた背景となる青色の壁１１が配置されている。ま
た、実際には存在しないが、演出を取り仕切っているデ
ィレクターが指定した３次元領域１５も記されている。
この３次元領域１５を、ワールド座標系において領域Ｗ
とする。

【００９５】この３次元領域（Ｗ）１５は、ディレクタ
ーが各時刻において指定できるようになっている。実際
には、あらかじめ登録しておいたワールド座標系におけ
る領域のパターンから選ぶようにする。ここでは、２種
類の領域のパターンのどちらかを選択するようにしてい
る。図４、図６及び図１６に示す３次元領域（Ｗ）１５
が１つめのパターンであり、図８、図１０、図１２及び
図１４に示すのが２つめのパターンである。つまり、時
刻Ｔ１、Ｔ２、Ｔ７においては１つめのパターンを、時
刻Ｔ３、Ｔ４、Ｔ５、Ｔ６においては２つめのパターン
をディレクターが指定する。

【００９６】また、図６、図８、図１０、図１２、図１
４及び図１６には、板２０が記されている。この板２０
は、青色で出来ており、さらに、出演者１０が時間的に
後でペンで書く部分が、青色系統で下書きされている。
この板２０には縁取りがしてあり、この縁部分は、青色
系統ではなく、目立つ色とされている。例えば、赤色の
枠が付けられているように見える。なお、「出演者が後
でペンで書く部分」とは、合成するＣＧの「ニュースの
内容などが書かれている板」に出演者がその場で書き込
みたい内容であり、あらかじめ決めておく。

【００９７】図６に示した状態の時刻Ｔ２において、こ
の板２０は、その時刻において指定される３次元領域
（Ｗ）１５の外を通って、運ばれてくる。そして、時刻
Ｔ３〜Ｔ６までの間、図に示すようにスタジオ内に置か
れている。図１６に示した状態の時刻Ｔ７で、その時刻
において指定されている領域１５の外を通って、運び出
される。出演者１０は、時刻Ｔ１〜Ｔ３では、スタジオ
の右はじにいるが、その後、板２０の側に移動するの
で、時刻Ｔ４〜Ｔ５では中央にいる。さらに、その後、
右はじに移動するので、時刻Ｔ６〜Ｔ７においては、右
はじにいる。

【００９８】図５、図７、図９、図１１、図１３、図１
５及び図１７の各（ａ）は、上述したように、メインカ
メラ２に写ったオリジナル画像である。このメインカメ
ラ２に写ったオリジナル画像にＣＧを合成することで、
最終的な合成画像を作成する。オリジナル画像には、出
演者の投影像１６が入っている。また、このオリジナル
画像には、マーカーの書かれた背景となる青色の壁１１
の投影像１７もある。一般に、この青色の壁１１の投影
像１７には、図３に示したマーカー１２₁，１２₂，１２
₃，１２₄，１２₅，１２₆ の投影像１８が複数含まれ
ているが、図中ではそれを１つに省略している。

【００９９】図７、図１１、図１３、図１５及び図１７
の各（ａ）の各オリジナル画像には、上記実際に存在す
る板２０の投影像２１が写っている。投影像２１は、板
２０の赤枠の投影像２１₁と、上記出演者が後でペンで
書き込む部分の下書きの部分の投影像２１₂と、それ以
外の板の投影像２１₃よりなる。板の枠の投影像２１
₁は、赤色の部分である。下書き部分の投影像２１₂は、
青色系統である。それ意外の板の投影像の部分２１
₃は、青色である。

【０１００】このオリジナル画像から、不要部分を取り
除き、キー抜きされた画像を作成して、さらに、ＣＧを
合成することで、最終的な第２合成画像を作成する。

【０１０１】図５、図７、図９、図１１、図１３、図１
５及び図１７の各（ｂ）は、上述したように、オリジナ
ル画像の内、不要部分を取り除いた画像、すなわちキー
抜きされた画像である。

【０１０２】これらのキー抜きされた画像には、各時刻
におけるオリジナル画像中に存在する出演者の投影像１
６が必要部分として取り除かれずに残っている。また、
不要部分が取り除かれた部分は、何もない状態の部分１
９となる。

【０１０３】図９、図１１、図１３及び図１５の各
（ｂ）には、各時刻におけるオリジナル画像中に存在す
る板枠の投影像２１₁も必要部分として、取り除かれず
に残っている。

【０１０４】図５、図７、図９、図１１、図１３、図１
５及び図１７の各（ｃ）は、上述したように、最終的に
得られる、視聴者に提供する第２合成画像である。この
第２合成画像には、出演者１０の投影像１６が残ってい
る。また、図９、図１１、図１３及び図１５の各（ｃ）
には、板枠の投影像２１₁も残っている。

【０１０５】また、上記図４、図６、図８、図１０、図
１２、図１４及び図１６には、ステレオカメラ１が固定
されているよう記されているが、実際には、動いていて
も良い。上記図３を用いて説明したように、ステレオカ
メラ１では、各時刻における各カメラに写った投影像の
位置をもとに、その物体の３次元位置を特定することが
可能である。但し、その時刻におけるステレオカメラ１
を基準とした座標系においてである。各時刻において、
背景となる青色の壁１１上のマーカー１２₁，１２₂，１
２₃，１２₄，１２₅，１２₆の撮影像から、毎時刻、ステ
レオカメラ１の位置、向きを求めることが出来る。

【０１０６】以下に、時刻Ｔ１〜Ｔ７を追って、上記図
２のフローチャートの処理手順を説明していく。なお、
ある時刻における処理が終わったら、次の時刻における
処理として図２のフローチャートが繰り返されるが、上
述したように時刻Ｔ１〜Ｔ７でのスタジオ内部の状況に
よっては、処理されないステップもあり得る。

【０１０７】時刻Ｔ１では、ディレクターにより、図４
の３次元領域（Ｗ）１５が選択されたとする。この領域
（Ｗ）１５は、図３に示したワールド座標系１３を基準
とした３次元上の点の集まりとして登録されている。先
に述べたように、時刻Ｔ１におけるステレオカメラ１の
位置、向きが、ワールド座標系１３に対してどの位置関
係（回転変換Ｒ、並進変換Ｔ）にあるか分かるので、こ
れと同じ変換を領域（Ｗ）１５に対して行い、これを３
次元領域（Ｖ）とする。つまり、Ｖ＝｛領域Ｗ上の各点
に対して、回転変換Ｒと並進変換Ｔを行った点｝であ
る。ＷからＶへの変換は、単に、ワールド座標系１３か
ら見た図４の領域（Ｗ）１５を、時刻Ｔ１におけるステ
レオカメラ１を基準とした図３の座標系１４へ変換した
に過ぎない。

【０１０８】次ぎに、図５の（ａ）に示したオリジナル
画像の内、青色の部分を取り除く。これにより、背景の
内マーカーのない部分の投影像１７は取り除かれる。な
ぜなら、この部分は青いからである。さらに、ステレオ
カメラ１により各物体の３次元位置は、時刻Ｔ１におけ
るステレオカメラ１を基準とした座標系１４において測
定されているので、その位置が上記領域Ｖ内に含まれて
いない物体は取り除かれる。これにより、背景につけら
れたマーカーの投影像１８は取り除かれる。なぜなら、
この部分は３次元領域Ｖに含まれていないからである。
従って、このように不要部分を取り除いた後の、キー抜
きされた画像は、図５の（ｂ）に示すようになる。出演
者の投影像１６は、この作業において残される。また、
図５の（ａ）に示された背景１７（マーカーの投影像１
８を含む）は、削除されるので、この部分は図５の
（ｂ）に示すように何も無い部分１９となる。

【０１０９】この時刻Ｔ１では、ＣＧで作られた「ニュ
ースの内容などが書かれている板」の投影像は合成しな
いので、ＣＧで作られた背景である「白い壁」の投影像
のみを合成する。「白い壁」は例えば、ワールド座標系
を基準にしてＺ＝１０の位置に仮想的に存在している。

【０１１０】先に、時刻Ｔ１におけるステレオカメラ１
の位置、向きが、ワールド座標系に対してどの位置関係
（回転変換Ｒ、並進変換Ｔ）にあるか調べてある。そこ
で、このＺ＝１０にある仮想的な白い壁を、ワールド座
標系の原点に対して回転変換Ｒと並進変換Ｔの位置関係
にある仮想のカメラから撮影したときに、どのように見
えるかを計算する。この仮想的な位置から仮想的な白い
壁を見たときの画像を、時刻Ｔ１における「ＣＧ背景画
像」と呼ぶことにする。

【０１１１】時刻Ｔ１における「キー抜きされた画像」
において、取り除かれた部分に、「ＣＧ背景画像」の画
像を挿入する。これが、図５の（ｃ）に示す第２合成画
像である。この結果、第２合成画像は、あたかも白い壁
をバックにして出演者が存在しているような画像とな
る。すなわち、図５の（ｃ）の第２合成画像には、出演
者の投影像１６が、ＣＧで作られた「白い壁」２０を背
景にして写っている。

【０１１２】時刻Ｔ２では、ディレクターにより、図６
に示す３次元領域（Ｗ）１５が選択されたとする。先
ず、時刻Ｔ１の時と同様に３次元領域Ｖを求める。即
ち、時刻Ｔ２におけるステレオカメラ１の位置、向き
が、ワールド座標系に対してどの位置関係（回転変換
Ｒ、並進変換Ｔ）にあるか分かるので、これと同じ変換
を３次元領域（Ｗ）１５に対して行う。ここで、時刻Ｔ
２におけるＲとＴは、時刻Ｔ１におけるＲとＴと同じで
あるとは限らない。なぜなら、ステレオカメラ１は動い
ている可能性もあるからである。これ以降の時刻におい
ても、ＲとＴは変化していくこともある。従って、も
し、３次元領域Ｗが同じであっても、３次元領域Ｖは時
刻によって変化する。

【０１１３】また時刻Ｔ２においては、図６に示す３次
元領域（Ｗ）１５以外の通路を通って、実際に存在する
板２０が運ばれる。従って、時刻Ｔ２における図７の
（ａ）に示すオリジナル画像において、実際に存在する
板２０の投影像２１がフレームイン、すなわちオリジナ
ル画像内に入ってくる。

【０１１４】この図７の（ａ）に示すオリジナル画像に
おいて、青色（及び青色系統）の部分を取り除く。さら
に、その位置が上記３次元領域Ｖ内に含まれていない物
体を取り除く。これにより、図７の（ａ）の背景１７
（マーカーの投影像１８を含む）と、板枠を含む板の投
影像２１は削除される。出演者の投影像１６は、この作
業において残される。なぜなら、背景の内マーカーのな
い部分の投影像１７と、上記板の赤色の枠２１₁以外の
板の投影像２１₂、２１₃は、青色（または、青色系統）
であるため取り除かれる。背景につけられたマーカーの
投影像１８と、上記板の赤色の枠の投影像２１₁は、３
次元領域Ｖに含まれないので、取り除かれるからであ
る。この取り除き作業の後、図７の（ｂ）に示すキー抜
きされた画像が得られる。

【０１１５】この時刻Ｔ２でも、ＣＧで作られた「ニュ
ースの内容などが書かれている板」の投影像は合成しな
いので、ＣＧで作られた背景である「白い壁」の投影像
のみを合成する。前述した通り、「白い壁」はワールド
座標系を基準にしてＺ＝１０の位置に仮想的に存在して
いる。

【０１１６】先に、時刻Ｔ２におけるステレオカメラ１
の位置、向きが、ワールド座標系に対してどの位置関係
（回転変換Ｒ、並進変換Ｔ）にあるか調べてある。そこ
で、このＺ＝１０にある仮想的な白い壁を、ワールド座
標系の原点に対してＲとＴの位置関係にある仮想のカメ
ラから撮影したときに、どのように見えるかを計算す
る。この仮想的な位置から仮想的な白い壁を見たときの
画像を、時刻Ｔ２における「ＣＧ背景画像」と呼ぶ。

【０１１７】時刻Ｔ２における「キー抜きされた画像」
において、取り除かれた部分に、「ＣＧ背景画像」の画
像を挿入する。これが、図７の（ｃ）に示す第２合成画
像である。第２合成画像は、あたかも白い壁をバックに
して出演者が存在しているような画像となる。すなわ
ち、第２合成画像では、出演者の投影像１６をＣＧで作
られた「白い壁」２０上に写す。

【０１１８】時刻Ｔ３では、ディレクターにより、図８
に示すように３次元領域（Ｗ）１５が選択されたとす
る。これまでの時刻の時と同様に、ワールド座標系に対
する時刻Ｔ３におけるステレオカメラの位置、向き（回
転変換Ｒ、並進変換Ｔ）と、同じ変換を３次元領域Ｗに
対して行い、３次元領域Ｖを得る。

【０１１９】図９の（ａ）に示すオリジナル画像におい
て、青色（及び青色系統）の部分は取り除く。さらに、
その位置が上記Ｖ内に含まれていない物体も取り除く。
これにより、図９の（ａ）に示された背景１７（マーカ
ー１８部分を含む）と、枠を除く板の投影像は、削除さ
れる。そして、出演者の投影像１６と、板の枠の投影像
２１₁は、この作業において残される。なぜなら、背景
の内マーカーのない部分の投影像１７と、上記板の赤色
の枠２１₁以外の板の投影像２１₂、２１₃は、青色（ま
たは、青色系統）であるため取り除かれる。背景につけ
られたマーカーの投影像１８は、３次元領域Ｖに含まれ
ないので、取り除かれるからである。この取り除き作業
の後の図が、図９の（ｂ）に示すキー抜きされた画像と
なる。

【０１２０】この時刻Ｔ３では、ＣＧで作られた「ニュ
ースの内容などが書かれている板」の投影像の合成を行
う。そのために、赤色の枠の部分を探索する。これは、
２つの方法が考えられる。どちらの方法を使用しても良
い。１つめの方法は、３次元上で赤い枠を探索する方法
である。ステレオカメラを用いているので、各物体の３
次元位置を測定できる。そこで、測定された物体の中
で、赤色の枠を見つければ良い。具体的には、例えば、
赤色で、かつ、３次元上において線分である物体を選び
出す。選び出されたものが、４本あれば、それらが赤色
の枠の部分である。もし、３本以下ならば、他の赤色の
線分を予測して、４本の線分にし、それを赤色の枠とす
る。これは、出演者などが、赤い枠よりもステレオカメ
ラ側にいるために、赤い枠の一部分が見えなくなる場合
に起こる。赤色の枠の部分の３次元位置が分かれば、図
９の（ａ）のオリジナル画像における、その投影像２１
₁の位置も分かる。従って、図９の（ｂ）に示す「キー
抜きされた画像」においても、赤い枠の投影像２１₁の
位置が分かる。もし、出演者と重なっているために赤い
枠の一部が写っていないとしても、「キー抜きされた画
像」において、どの位置に赤い枠の投影像があるか予想
できる。

【０１２１】もう１つの方法は、図９の（ｂ）に示した
「キー抜きされた画像」において、２次元平面上で、赤
い枠の投影像を直接探索する方法である。具体的には、
例えば、赤色で、かつ、２次元上において線分である物
体を選び出す。選び出されたものが、４本あれば、それ
らが赤色の枠の投影像の部分である。もし、３本以下な
らば、他の赤色の線分を予測して、４本の線分にし、そ
れを赤色の枠の投影像とする。いずれの方法を用いて
も、「キー抜きされた画像」において、赤い枠の投影像
を求めることが出来る。

【０１２２】次に、ＣＧで作られた「ニュースの内容な
どが書かれている板」について、丁度、「キー抜きされ
た画像」中の赤色の枠２１₁に収まるように射影変換を
施す。この射影変換を施された上記ＣＧの板の投影像
（ＣＧフリップ画像）を、「キー抜きされた画像」に合
成する。この上記ＣＧの板の投影像を合成する位置は、
「キー抜きされた画像」において、取り除かれた部分だ
けである。換言すれば、最初に、「ＣＧフリップ画像」
を作成しておき、その上に「キー抜きされた画像」を上
書きする。これにより、ＣＧの板の投影像の内、残され
るのは、「キー抜きされた画像」の中で何もない部分１
９に位置するものだけである。つまり、出演者の投影像
１６と、赤枠の投影像２１₁は「ＣＧフリップ画像」に
よって上書きされることはない。このようにして、「キ
ー抜きされた画像」に「ＣＧフリップ画像」を合成す
る。この合成画像を時刻Ｔ３における第１合成画像と呼
ぶことにする。

【０１２３】「キー抜きされた画像」に「ＣＧフリップ
画像」を合成して出来た第１合成画像においても、ま
だ、何もない部分が存在する。次に、この部分に、ＣＧ
で作られた背景である「白い壁」の投影像を合成する。
前述した通り、「白い壁」はワールド座標系を基準にし
てＺ＝１０の位置に仮想的に存在している。

【０１２４】先に、時刻Ｔ３におけるステレオカメラの
位置、向きが、ワールド座標系に対してどの位置関係
（回転変換Ｒ、並進変換Ｔ）にあるか調べてある。そこ
で、このＺ＝１０にある仮想的な白い壁を、ワールド座
標系の原点に対してＲとＴの位置関係にある仮想のカメ
ラから撮影したときに、どのように見えるかを計算す
る。この仮想的な位置から仮想的な白い壁を見たときの
画像を、時刻Ｔ３における「ＣＧ背景画像」と呼ぶこと
にする。

【０１２５】時刻Ｔ３における第１合成画像において、
何もない部分に「ＣＧ背景画像」の画像２０を挿入す
る。これを、第２合成画像と呼ぶことにする。第２合成
画像は、図９の（ｃ）に示すように、あたかも白い壁を
バックにして出演者と、赤い枠のついた「ニュースの内
容などが書かれている板」が存在しているような画像と
なる。すなわち、この第２合成画像には、「白い壁」２
０上で出演者の投影像１６が、赤い枠の投影像２１₁の
内部２２にある「ニュースの内容（Ａ）などが書かれて
いる板」と共に写っている。

【０１２６】時刻Ｔ４では、ディレクターにより図１０
に示す３次元領域（Ｗ）１５が選択されたとする。これ
までの時刻の時と同様に、ワールド座標系に対する時刻
Ｔ４におけるステレオカメラ１の位置、向き（回転変換
Ｒ、並進変換Ｔ）と、同じ変換を３次元領域Ｗに対して
行い、３次元領域Ｖを得る。

【０１２７】また、時刻Ｔ４においては、出演者１０
は、板２０に近づく。ここで、板２０は実際にある板な
ので、出演者は、それに近づくことは容易である。従来
は、何も存在しないところに、仮想的な板があって、そ
れに出演者が近づこうとしたので、非常に演技しづらか
った。

【０１２８】時刻Ｔ４における、図１１の（ａ）に示す
オリジナル画像では、上記図１０で出演者１０が板２０
に近づいたので、出演者の投影像１６が板枠の投影２１
₁と一部、重なっている。出演者の方が板より手前にい
るので、板枠の投影像２１₁の一部が写っていない。

【０１２９】図１１の（ａ）に示すオリジナル画像にお
いて、青色（及び青色系統）の部分は取り除く。さら
に、その位置が上記３次元領域Ｖ内に含まれていない物
体は、取り除く。これにより、図１１の（ａ）に示され
た背景１７（マーカー部分を含む）と、枠を除く板の投
影像２１は、削除される。そして、出演者の投影像１６
と、板の枠の投影像２１₁は、この作業において残され
る。この取り除き作業の後の図が、図１１の（ｂ）に示
すキー抜きされた画像である。

【０１３０】この時刻でも、ＣＧで作られた「ニュース
の内容などが書かれている板」の投影像の合成を行う。
そのために、前述と同じ方法を用いて赤色の枠の部分を
探索する。図１１の（ａ）に示すオリジナル画像を見て
分かるように、出演者によって、赤い枠の一辺が隠され
てしまっている。しかし、残りの３辺より、その一辺は
推測できる。

【０１３１】次に、ＣＧで作られた「ニュースの内容な
どが書かれている板」について、丁度、「キー抜きされ
た画像」中の赤色の枠に収まるように射影変換を施す。
この射影変換を施された上記ＣＧの板の投影像（ＣＧフ
リップ画像）を「キー抜きされた画像」に合成する。こ
の上記ＣＧの板の投影像を合成する位置は、「キー抜き
された画像」において、取り除かれた部分だけである。
つまり、出演者の投影像１６と、赤枠の投影像１２₁は
「ＣＧフリップ画像」によって上書きされることはな
い。この合成画像を時刻Ｔ４における第１合成画像と呼
ぶことにする。

【０１３２】「キー抜きされた画像」に「ＣＧフリップ
画像」を合成して出来た第１合成画像においても、ま
だ、何もない部分が存在する。次に、この部分に、ＣＧ
で作られた背景である「白い壁」の投影像を合成する。
合成する「白い壁」の投影像（ＣＧ背景画像）は、これ
までの時刻の時と同様に、仮想的な位置からみた画像で
あり、その説明を省略する。時刻Ｔ４における第１合成
画像において、何もない部分に、「ＣＧ背景画像」の画
像を挿入した画像が、図１１の（ｃ）に示す第２合成画
像である。この画像は、あたかも白い壁をバックにして
出演者と、赤い枠のついた「ニュースの内容などが書か
れている板」が存在しているような画像となる。そし
て、出演者は、板のそばにいるような画像である。

【０１３３】時刻Ｔ５では、ディレクターにより、図１
２に示す３次元領域（Ｗ）１５が選択されたとする。こ
れまでの時刻の時と同様に、ワールド座標系に対する時
刻Ｔ５におけるステレオカメラ１の位置、向き（回転変
換Ｒ、並進変換Ｔ）と、同じ変換を領域Ｗに対して行
い、３次元領域Ｖを得る。

【０１３４】また、時刻Ｔ５においては、出演者１０
は、図１２に示すように、腕２３を突き出して、板２０
に向かってペンで図形を書いている。ここで、書く内容
は、前述した通り、板２０に青色系統で下書きされてい
る。つまり、出演者１０は、下書きどおりにペンで書け
ば良いので、容易に書くことが出来る。ペンにより書か
れる文字あるいは図形の色は、青色系統ではない色を使
用する。

【０１３５】出演者１０が板２０にペンで図形を書いた
ので、時刻Ｔ５における図１３の（ａ）に示すオリジナ
ル画像には、出演者の腕の投影像２４がある。さらに、
下書き部分２１₂は、ペンにより書かれてしまうので見
えなくなり、代わりに、ペンで書かれた図形の投影像２
５が見える。ちなみに、下書き部分２１₂と図形の投影
像２５は同じ形である。なぜなら、出演者がペンで下書
き部分をなぞっただけだからである。

【０１３６】図１３の（ａ）に示すオリジナル画像にお
いて、青色（及び青色系統）の部分は取り除く。さら
に、その位置が上記３次元領域Ｖ内に含まれていない物
体は、取り除く。これにより、図１３の（ａ）に示され
た背景（マーカー部分を含む）と、枠を除く板は、削除
される。そして、出演者（腕を含む）の投影像１６、２
４と、板の枠の投影像２１₁と、青色でないペンで書か
れた図形の投影像２５は、この作業において残される。
この取り除き作業の後の図が、図１３の（ｂ）に示すキ
ー抜きされた画像である。

【０１３７】この時刻でも、ＣＧで作られた「ニュース
の内容などが書かれている板」の投影像の合成を行う。
そのために、前述と同じ方法を用いて赤色の枠の部分を
探索する。図１３の（ａ）に示すオリジナル画像を見て
分かるように、出演者によって、赤い枠の一辺が隠され
てしまっている。しかし、残りの３辺より、その一辺は
推測できる。

【０１３８】次にＣＧで作られた「ニュースの内容など
が書かれている板」について、丁度、「キー抜きされた
画像」中の赤色の枠に収まるように射影変換を施す。こ
の射影変換を施された上記ＣＧの板の投影像（ＣＧフリ
ップ画像）を、「キー抜きされた画像」に合成する。こ
の上記ＣＧの板の投影像を合成する位置は、「キー抜き
された画像」において、取り除かれた部分だけである。
つまり、出演者（腕を含む）の投影像１６、２４と、赤
枠の投影像２１₁と、ペンで書かれた図形の投影像２５
は「ＣＧフリップ画像」によって上書きされることはな
い。この合成画像を時刻Ｔ５における第１合成画像と呼
ぶことにする。

【０１３９】「キー抜きされた画像」に「ＣＧフリップ
画像」を合成して出来た第１合成画像においても、ま
だ、何もない部分が存在する。次に、この部分に、ＣＧ
で作られた背景である「白い壁」の投影像を合成する。
合成する「白い壁」の投影像（ＣＧ背景画像）２０は、
これまでの時刻の時と同様に、仮想的な位置からみた画
像であり、その説明を省略する。時刻Ｔ５における第１
合成画像において、何もない部分に、「ＣＧ背景画像」
の画像２０を挿入した画像が、第２合成画像である。こ
の画像は、あたかも白い壁をバックにして出演者と、赤
い枠のついた「ニュースの内容などが書かれている板」
が存在しているような画像となる。そして、その板に
は、出演者が書いた図形が書かれている画像である。こ
こでは、ＣＧの板上のＡという文字を囲むように、ペン
で○を書いている。

【０１４０】時刻Ｔ６において、出演者は、また、右は
じに移動している。この時刻における説明は、時刻Ｔ３
における説明とほぼ同じなので、その説明を省略する。
ただし、時刻Ｔ３と違うことは、実際の板２０に、出演
者１０がペンで図形を書いてしまってある点である。従
って、図１５の（ａ）が示す時刻Ｔ６におけるオリジナ
ル画像において、図９の（ａ）にあった下書き部分２１
₂の代わりに、図形２５がある。また、この図形２５
は、キー抜きの際に、取り除かれないので、図１５の
（ｂ）に示すキー抜きされた画像、図１５の（ｃ）に示
す第２合成画像にも表れている。

【０１４１】図１５の（ｃ）に示す第２合成画像は、あ
たかも白い壁をバックにして出演者と、赤い枠のついた
「ニュースの内容などが書かれている板」が存在してい
るような画像となる。そして、その板には、出演者が書
いた図形２５が書かれている画像である。

【０１４２】時刻Ｔ７における説明は、時刻Ｔ２におけ
る説明とほぼ同じなので、その説明を省略する。ただ
し、時刻Ｔ２と違うことは、実際の板２０に、出演者が
ペンで図形を書いてしまってある点である。しかし、板
２０が、３次元領域Ｖに含まれないので、キー抜きの際
に図形の投影像２５は取り除かれる。また、図１６に示
す領域（Ｗ）１５以外の通路を通って、実際に存在する
板２０が運び出される。従って、図１７の（ａ）に示す
時刻Ｔ７におけるオリジナル画像において、板の投影像
２１が画像の外に出ていくように、フレームアウトす
る。図１７の（ａ）に示す時刻Ｔ７におけるオリジナル
画像において、図１７の（ａ）にあった下書き２１₂の
代わりに、図形２５がある。また、図形２５は、キー抜
きの際に、取り除かれるので、図１７の（ｂ）に示すキ
ー抜きされた画像、図１７の（ｃ）に示す第２合成画像
には表れない。

【０１４３】図１７の（ｃ）に示す第２合成画像は、あ
たかも白い壁をバックにして出演者が存在しているよう
な画像となる。

【０１４４】さらに、図示を省略するが、この後、新し
い板を、時刻Ｔ２の時と同様に運び込むことで、出演者
は、また新たな板に、ペンで図形あるいは文字を書き込
むことが出来る。そして、その図形あるいは文字は、Ｃ
Ｇで作られた「ニュースの内容などが書かれている板」
の上にあたかも書かれたような合成画像を作成すること
が出来る。

【０１４５】このように、本実施の形態の画像処理装置
では、青色の部分を取り除き、さらに、ディレクターが
指定する３次元領域以外も取り除いているので、背景の
マーカーは青色系統でなくても、キー抜きの際に取り除
ける。従って、マーカーの色は目立つ色にしておくこと
で、カメラで撮影したときに、その投影像の認識が容易
となる。

【０１４６】そして、上記ディレクターが指定する３次
元領域を、時間とともに可変に設定できるという、本発
明の特徴により、以下の利点がある。

【０１４７】出演者の演技の補助をするための実際の板
などの搬入、搬出過程においては、その板を領域に含ま
せないように設定することで、キー抜きの際に板を取り
除ける。このままでは、板に出演者が近づいた時には、
出演者までキー抜きの際に取り除かれてしまうが、近づ
く前に、ディレクターが板を含むように領域を設定し直
すことでそれを回避できる。

【０１４８】さらに、その板に出演者が文字などを書く
ことで、あたかも、ＣＧで作られた板の上に書き込むこ
とが出来る。

【０１４９】以上の説明においては、背景などを青色と
して、青色部分をキー抜きの際に取り除くようにした
が、青色以外の色、例えば緑色でも良いことは言うまで
もない。また、例えば、キー抜きする色を赤色にして、
背景を赤色にしても良い。

【０１５０】

【発明の効果】本発明に係る画像処理方法及び装置は、
ユーザによりワールド座標系で指定された３次元領域に
写った投影像のみを取り出すようにしているので、赤い
枠のようなマークを取り付けた実際の板を最初含まない
ように上記３次元領域が指定されれば、上記マークを参
考にして他の画像が実際の板を覆うように合成されて
も、実際の板を含むように上記領域が指定し直されるこ
とにより、出演者には実際の板を指示しながらの演技を
行わせることができ、演技を容易にさせる。

【０１５１】本発明に係る画像処理用パネルは、表面
に、背景の特定の色と同じ色、又は、特定の色と似てい
る色で上記文字あるいは図形が書かれるように下書きさ
れているので、出演者の演技を容易にさせることができ
る。

【図面の簡単な説明】

【図１】本発明に係る画像処理方法及び装置の実施の形
態となる画像処理装置のブロック図である。

【図２】上記実施の形態となる画像処理装置が実行する
画像処理方法を詳細に示したフローチャートである。

【図３】上記画像処理装置が上記画像処理方法を実行す
る場所となるスタジオ内部を示す図である。

【図４】時刻Ｔ１におけるスタジオ内部の状態を上から
見た図である。

【図５】上記図４の状態でのオリジナル画像、キー抜き
画像、第２合成画像を示す図である。

【図６】時刻Ｔ２におけるスタジオ内部の状態を上から
見た図である。

【図７】上記図６の状態でのオリジナル画像、キー抜き
画像、第２合成画像を示す図である。

【図８】時刻Ｔ３におけるスタジオ内部の状態を上から
見た図である。

【図９】上記図８の状態でのオリジナル画像、キー抜き
画像、第２合成画像を示す図である。

【図１０】時刻Ｔ４におけるスタジオ内部の状態を上か
ら見た図である。

【図１１】上記図１０の状態でのオリジナル画像、キー
抜き画像、第２合成画像を示す図である。

【図１２】時刻Ｔ５におけるスタジオ内部の状態を上か
ら見た図である。

【図１３】上記図１２の状態でのオリジナル画像、キー
抜き画像、第２合成画像を示す図である。

【図１４】時刻Ｔ６におけるスタジオ内部の状態を上か
ら見た図である。

【図１５】上記図１４の状態でのオリジナル画像、キー
抜き画像、第２合成画像を示す図である。

【図１６】時刻Ｔ７におけるスタジオ内部の状態を上か
ら見た図である。

【図１７】上記図１６の状態でのオリジナル画像、キー
抜き画像、第２合成画像を示す図である。

【図１８】従来のキャリブレーション装置の外観斜視図
である。

【図１９】上記図１８に示したキャリブレーション装置
にて二つのカメラをスライドさせた様子を示す図であ
る。

【図２０】上記図１８に示したキャリブレーション装置
にて平板をスライドさせた様子を示す図である。

【図２１】所定の直線上の点が、スクリーンの所定の位
置に投射される様子を示す図である。

【図２２】上記図１８に示したキャリブレーション装置
で得たキャリブレーションデータを用いて、ステレオカ
メラシステムが物体の３次元上の位置を求める方法を説
明するための図である。

【図２３】ステレオカメラの移動による回転変換と並進
変換を説明するための図である。

【図２４】ワールド座標と、カメラを基準とした座標の
関係を説明するための図である。

【図２５】従来のバーチャルセットの説明図であり、ス
タジオ内の出演者の時刻によるよる位置の変化を上から
見た図である。

【図２６】従来のバーチャルセットにより作られる画像
を時刻の変化に応じて説明するための図である。

【図２７】従来のバーチャルセットにより作られる画像
上の出演者の位置と、仮想的な板の位置を上から見た図
である。

【符号の説明】

１ステレオカメラ、２メインカメラ、３サブカメ
ラ、４画像データ蓄積部、５コンピュータグラフィ
ックデータ格納部、６マーカー位置情報格納部、７
演算部、８制御部、９入力部

Claims

【特許請求の範囲】

【請求項１】オリジナル画像から特定の色領域の部分
のみを取り除き、さらに上記オリジナル画像に投影され
ている物体の３次元位置の内、指定された３次元領域の
中に含まれる３次元位置にある物体のみを取り出した画
像に、他の画像を合成して出力することを特徴とする画
像処理方法。
【請求項２】上記物体の３次元位置は、複数の撮像装
置で撮影された物体の投影像のスクリーン上での位置よ
り求めることを特徴とする請求項１記載の画像処理方
法。
【請求項３】上記特定の色とは、青色又は緑色である
ことを特徴とする請求項１記載の画像処理方法。
【請求項４】オリジナル画像から特定の色領域の部分
のみを取り除き、さらに上記オリジナル画像に投影され
ている物体の３次元位置の内、指定された３次元領域の
中に含まれる３次元位置にある物体のみを取り出した画
像を求め、この画像に他の画像を合成して出力する演算
手段を備えることを特徴とする画像処理装置。
【請求項５】上記物体の３次元位置は、複数の撮像装
置で撮影された物体の投影像のスクリーン上での位置よ
り求めることを特徴とする請求項４記載の画像処理装
置。
【請求項６】上記特定の色とは、青色又は緑色である
ことを特徴とする請求項４記載の画像処理装置。
【請求項７】オリジナル画像から特定の色領域の部分
のみを取り除き、さらに上記オリジナル画像に投影され
ている物体の３次元位置の内、可変指定される３次元領
域の中に含まれる３次元位置にある物体のみを取り出し
た画像に、他の画像を合成して出力することを特徴とす
る画像処理方法。
【請求項８】上記３次元領域は、時間とともに可変指
定されることを特徴とする請求項７記載の画像処理方
法。
【請求項９】上記物体の３次元位置は、複数の撮像装
置で撮影された物体の投影像のスクリーン上での位置よ
り求めることを特徴とする請求項７記載の画像処理方
法。
【請求項１０】上記特定の色とは、青色又は緑色であ
ることを特徴とする請求項７記載の画像処理方法。
【請求項１１】オリジナル画像から特定の色領域の部
分のみを取り除き、さらに上記オリジナル画像に投影さ
れている物体の３次元位置の内、可変指定される３次元
領域の中に含まれる３次元位置にある物体のみを取り出
した画像を求め、この画像に他の画像を合成して出力す
る演算手段を備えることを特徴とする画像処理装置。
【請求項１２】上記３次元領域は、時間とともに可変
指定されることを特徴とする請求項１１記載の画像処理
装置。
【請求項１３】上記物体の３次元位置は、複数の撮像
装置で撮影された物体の投影像のスクリーン上での位置
より求めることを特徴とする請求項１１記載の画像処理
装置。
【請求項１４】上記特定の色とは、青色又は緑色であ
ることを特徴とする請求項１１記載の画像処理装置。
【請求項１５】撮像装置により撮影したオリジナル画
像から特定の色領域の部分を取り除き、さらに文字ある
いは図形を３次元上の位置を合わせて合成して出力する
画像処理に用いる画像処理用パネルであって、表面には、上記文字あるいは図形が書かれるように、オ
リジナル画像から取り除かれる色領域内の色であり、か
つ視認可能な色で下書きを施していることを特徴とする
画像処理用パネル。
【請求項１６】オリジナル画像から特定の色領域の部
分のみを取り除く工程と、オリジナル画像に投影されている物体の３次元位置の
内、指定された３次元領域の中に含まれる３次元位置に
ある物体のみを取り出す工程と、３次元領域の中に含まれる３次元位置にある物体のみを
取り出した画像に他の画像を合成する工程とを有する処
理手順を記録していることを特徴とする記録媒体。
【請求項１７】オリジナル画像から特定の色領域の部
分のみを取り除く工程と、オリジナル画像に投影されている物体の３次元位置の
内、可変指定される３次元領域の中に含まれる３次元位
置にある物体のみを取り出す工程と、３次元領域の中に含まれる３次元位置にある物体のみを
取り出した画像に他の画像を合成する工程とを有する処
理手順を記録していることを特徴とする記録媒体。