JPH0628449A

JPH0628449A - 画像合成装置

Info

Publication number: JPH0628449A
Application number: JP4180851A
Authority: JP
Inventors: Akio Nishimura; 明夫西村; Kiyoshi Maenobu; 潔前信; Makoto Hirai; 誠平井; Teiji Nishizawa; 貞次西澤; Noriyuki Sagishima; 敬之鷺島
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-07-08
Filing date: 1992-07-08
Publication date: 1994-02-04

Abstract

(57)【要約】【目的】本発明は、実写画像と計算による生成画像を
同期させて合成することが可能な画像合成装置を提供す
ることを目的とする。【構成】ズーム／アイリスなどの撮影条件の検出が可
能な撮像部１０１と、撮像部１０１の３次元空間内での
位置／方向の検出を行なう位置検出部１０８と、撮影条
件と撮像部の位置／方向と３次元幾何学形状モデルの形
状／属性データをもとに画像生成を行なう画像生成部１
１０と、被写体の位置を検出する被写体位置検出部１０
５と、被写体位置および撮像部で入力した実写画像を元
にキー情報を生成する合成キー生成部１０３と、合成キ
ー情報にしたがって実写画像と生成画像とを合成して出
力する画像合成部１１４とを備えた構成である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は実写画像に同期した３次
元画像生成を行ないその生成画像と実写画像を合成する
画像合成装置に関する。

【０００２】

【従来の技術】従来より、画像を合成する手段としてク
ロマキー処理が行なわれ、別々に撮影した人物とその背
景を合成することが行なわれている（特開平02-198281
号公報、特開平01-036285号公報など）。

【０００３】以下図面を参照しながら、従来の画像合成
装置の一例について説明する。図７はクロマキーによ
る、従来の画像合成装置の構成を示すものである。

【０００４】図７において、７０１は入力画像Ａの色信
号、７０２は入力画像Ａの輝度信号、７０３は入力画像
Ｂの色信号、７０４は入力画像Ｂの輝度信号、７０５は
キー信号生成部、７０６はキー信号、７０７は色信号選
択部、７０８は輝度信号選択部、７０９は出力色信号、
７１０は出力輝度信号、７１１は色指定信号である。

【０００５】以上のように構成された従来の画像合成装
置について、以下その動作を説明する。

【０００６】入力画像Ａおよび入力画像Ｂは同期して、
順次この画像合成装置に入力される。キー信号生成部７
０５は入力画像Ａの色信号と、あらかじめ設定された色
指定信号７１１を比較し、差がある一定値以内であれば
論理値１をキー信号として色信号選択部７０７および輝
度信号選択部７０８に出力し、差がある一定値以上であ
れば論理値０をキー信号として色信号選択部７０７およ
び輝度信号選択部７０８に出力する。色信号選択部７０
７はキー信号選択部７０５の出力するキー信号７０６に
したがって、キー信号７０６が論理値１の場合には入力
画像Ｂの色信号７０３を、キー信号７０６が論理値０の
場合には入力画像Ａの色信号７０１を選択し、出力色信
号７０９として出力する。

【０００７】輝度信号選択部７０８はキー信号選択部７
０５の出力するキー信号７０６にしたがって、キー信号
７０６が論理値１の場合には入力画像Ｂの輝度信号７０
４を、キー信号７０６が論理値０の場合には入力画像Ａ
の輝度信号７０２を選択し、出力輝度信号７１０として
出力する。

【０００８】以上の動作により、入力画像Ａの特定色の
領域に入力画像Ｂをはめ込み合成することができる。

【０００９】

【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、２系統の画像が相互に関連なしに合成さ
れるため、画像内容が同期した合成画像が生成できない
という問題点を有していた。

【００１０】本発明は上記問題点に鑑み、実写画像と、
その内容に同期した生成画像との合成を行なう画像合成
装置を提供することを目的とする。

【００１１】

【課題を解決するための手段】本発明は上記目的を達す
るため、実写画像の撮像部の撮影条件と位置の検出によ
り実写画像と同期した画像を生成し、実写画像に奥行き
値を与えて生成画像と合成するようにしたものである。

【００１２】

【作用】本発明によれば、実写画像の撮像部の撮影条件
と位置の検出により実写画像と画角、奥行きを合わせた
生成画像が得られ、実写画像に奥行き値を与えて生成画
像と合成するようにしたため、実写画像と自然に合成で
きることとなる。

【００１３】

【実施例】以下本発明の画像合成装置の一実施例につい
て、図面を参照しながら説明する。図１は本発明の第１
の実施例を示す画像合成装置の構成図である。

【００１４】図１において、１０１は被写体を撮影し実
写画素データ１０２、撮影条件１０７を出力する撮像
部、１０３は撮像部１０１で取り込んだ実写画素データ
１０２をもとに実写キー信号１０４を生成する合成キー
生成部、１０５は被写体の３次元空間内での位置を計測
し、被写体奥行き値１０６を出力する被写体位置検出
部、１０８は撮像部１０１の３次元空間内での位置／角
度などの撮像位置データ１０９を出力する撮像位置検出
部、１１０は与えられた３次元幾何学形状モデルの形状
および属性データ１１１と、撮像位置データ１０９、撮
影条件１０７とから画像を生成し、生成画素データ１１
３および生成奥行き値１１２を出力する画像生成部、１
１４は実写キー信号１０４と、実写奥行き値１０６と、
実写画素データ１０２と、生成奥行き値１１２と、生成
画素データ１１３を入力とし、出力画素データ１１５を
出力する画像合成部である。

【００１５】上記のように構成された画像合成装置につ
いてその動作を説明する。まず、撮像部１０１において
は、被写体１１６を撮影し、その画像を実写画素データ
１０２として出力する。また、レンズのアイリス、フォ
ーカス、ズームなどの撮影の条件を撮影条件１０７とし
て出力する。撮像位置検出部１０８は、３次元空間内の
カメラの位置を磁気センサによって、方向をロータリエ
ンコーダによって検出し、撮像位置データ１０９として
出力する。

【００１６】次に、合成キー生成部１０３では、従来例
と同様に、入力された実写画素データに対してあらかじ
め指定された色情報との比較を行ないその結果にしたが
って領域の内外を区別する実写キー信号１０４を出力す
る。被写体位置検出部１０５は、被写体の奥行き値を磁
気センサによる測定で求め、被写体奥行き値１０６とし
て出力する。

【００１７】次に、与えられた３次元幾何学形状モデル
１１７の形状および属性データ１１１に対して、画像生
成部１１０は撮像部１０１から出力された撮影条件１０
７と、撮像位置検出部１０８から出力された撮像位置デ
ータ１０９とにしたがって仮想カメラ位置、方向および
画角を決定し画像生成を行なって、その結果を生成画素
データ１１３と生成奥行き値１１２として出力する。

【００１８】次に、画像合成部１１４は、合成キー生成
部１０３から出力された実写キー信号１０４の指定する
領域内では、実写奥行き値１０６と生成奥行き値１１２
を比較し隠面消去処理を行なうことにより実写画素デー
タ１０２または生成画素データ１１３のどちらかを選択
し、出力画素データ１１５として出力する。領域外では
生成画素データ１１３を出力画素データ１１５として出
力する。

【００１９】なお、本実施例ではカメラの位置測定に磁
気センサを用いたものを開示しているが、位置測定方法
はこれに限定するものではなく、三脚に取り付けたロー
タリエンコーダや、ステレオカメラの画像処理による方
法や、超音波による距離測定といった種々の方法でも同
様の動作が可能である。

【００２０】また、本実施例ではカメラの方向測定にロ
ータリエンコーダを用いたものを開示しているが、方向
測定方法はこれに限定するものではなく、ステレオカメ
ラの画像処理による方法や、磁気センサによる測定とい
った種々の方法でも同様の動作が可能である。

【００２１】また、本実施例では被写体奥行き値を磁気
センサで求め、１点で代表させて扱うものを開示してい
るが、被写体奥行き測定方法はこれに限定するものでは
なく、ステレオカメラの画像処理によって画素単位の奥
行き値を求めて用いることもできる。

【００２２】また、本実施例では合成キー生成部におい
て実写キー信号を生成する際クロマキー手法を用いたも
のを開示しているが、キー信号生成方法はこれに限定す
るものではなく、画像認識による領域抽出によって実写
キー信号を生成することもできる。

【００２３】以下本発明の画像合成装置の第２の実施例
について、図面を参照しながら説明する。図２は本発明
の第２の実施例を示す画像合成装置の構成図である。

【００２４】図２において、２０１は被写体を撮影し実
写画素データ２０２、撮影条件２０７を出力する撮像
部、２０５は被写体の３次元空間内での位置を計測し、
被写体奥行き値２０６を出力する被写体位置検出部、２
０８は撮像部２０１の３次元空間内での位置／角度など
の撮像位置データ２０９を出力する撮像位置検出部、２
１０は与えられた３次元幾何学形状モデルの形状および
属性データ２１１と、撮像位置データ２０９、撮影条件
２０７とから画像を生成し、生成画素データ２１３、生
成奥行き値２１２および生成キー信号２１８を出力する
画像生成部、２１４は生成キー信号２１８と、実写奥行
き値２０６と、実写画素データ２０２と、生成奥行き値
２１２と、生成画素データ２１３を入力とし、出力画素
データ２１５を出力する画像合成部である。

【００２５】上記のように構成された画像合成装置につ
いてその動作を説明する。まず、撮像部２０１において
は、被写体２１６を撮影し、その画像を実写画素データ
２０２として出力する。また、レンズのアイリス、フォ
ーカス、ズームなどの撮影の条件を撮影条件２０７とし
て出力する。撮像位置検出部２０８は、３次元空間内の
カメラの位置を磁気センサによって、方向をロータリエ
ンコーダによって検出し撮像位置データ２０９として出
力する。

【００２６】次に、被写体位置検出部２０５は、被写体
の奥行き値を磁気センサによる測定で求め、被写体奥行
き値２０６として出力する。次に、与えられた３次元幾
何学形状モデル２１７の形状および属性データ２１１に
対して、画像生成部２１０は撮像部２０１から出力され
た撮影条件２０７と、撮像位置検出部２０８から出力さ
れた撮像位置データ２０９とにしたがって仮想カメラ位
置、方向および画角を決定し画像生成を行なって、その
結果を生成画素データ２１３と生成奥行き値２１２とし
て出力し、実写と奥行き合成したい領域を指定する生成
キー信号２１８を生成して同時に出力する。

【００２７】次に、画像合成部２１４は、画像生成部２
１０から出力された生成キー信号２１８の指定する領域
内では、実写奥行き値２０６と生成奥行き値２１２を比
較し隠面消去処理を行なうことにより実写画素データ２
０２または生成画素データ２１３のどちらかを選択し、
出力画素データ２１５として出力する。領域外では実写
画素データ２０２を出力画素データ２１５として出力す
る。

【００２８】なお、本実施例ではカメラの位置測定に磁
気センサを用いたものを開示しているが、位置測定方法
はこれに限定するものではなく、三脚に取り付けたロー
タリエンコーダや、ステレオカメラの画像処理による方
法や、超音波による距離測定といった種々の方法でも同
様の動作が可能である。

【００２９】また、本実施例ではカメラの方向測定にロ
ータリエンコーダを用いたものを開示しているが、方向
測定方法はこれに限定するものではなく、ステレオカメ
ラの画像処理による方法や、磁気センサによる測定とい
った種々の方法でも同様の動作が可能である。

【００３０】また、本実施例では被写体奥行き値を磁気
センサで求め１点で代表させて扱うものを開示している
が、被写体奥行き測定方法はこれに限定するものではな
く、ステレオカメラの画像処理によって画素単位の奥行
き値を求めて用いることもできる。

【００３１】以下本発明の画像合成装置の第３の実施例
について、図面を参照しながら説明する。図３は本発明
の第３の実施例を示す画像合成装置の構成図である。

【００３２】図３において、３０１は被写体を撮影し実
写画素データ３０２、撮影条件３０７を出力する撮像
部、３０３は撮像部３０１で取り込んだ実写画素データ
３０２をもとに実写キー信号３０４を生成する合成キー
生成部、３０５は被写体の３次元空間内での位置を計測
し、被写体奥行き値３０６を出力する被写体位置検出
部、３０８は撮像部３０１の３次元空間内での位置／角
度などの撮像位置データ３０９を出力する撮像位置検出
部、３１０は与えられた３次元幾何学形状モデルの形状
および属性データ３１１と、撮像位置データ３０９、撮
影条件３０７とから画像を生成し、生成画素データ３１
３、生成奥行き値３１２および生成キー信号３１８を出
力する画像生成部、３１４は実写キー信号３０４と、実
写奥行き値３０６と、実写画素データ３０２と、生成キ
ー信号３１８と、生成奥行き値３１２と、生成画素デー
タ３１３と、外部から入力された背景画素データ３１９
を入力とし、出力画素データ３１５を出力する画像合成
部である。

【００３３】上記のように構成された画像合成装置につ
いてその動作を説明する。まず、撮像部３０１において
は、被写体３１６を撮影しその画像を実写画素データ３
０２として出力する。また、レンズのアイリス、フォー
カス、ズームなどの撮影の条件を撮影条件３０７として
出力する。撮像位置検出部３０８は、３次元空間内のカ
メラの位置を磁気センサによって、方向をロータリエン
コーダによって検出し撮像位置データ３０９として出力
する。

【００３４】次に、合成キー生成部３０３では、従来例
と同様に、入力された実写画素データに対してあらかじ
め指定された色情報との比較を行ないその結果にしたが
って領域の内外を区別する実写キー信号３０４を出力す
る。被写体位置検出部３０５は、被写体の奥行き値を磁
気センサによる測定で求め、被写体奥行き値３０６とし
て出力する。

【００３５】次に、与えられた３次元幾何学形状モデル
３１７の形状および属性データ３１１に対して、画像生
成部３１０は撮像部３０１から出力された撮影条件３０
７と、撮像位置検出部３０８から出力された撮像位置デ
ータ３０９とにしたがって仮想カメラ位置、方向および
画角を決定し画像生成を行なって、その結果を生成画素
データ３１３と生成奥行き値３１２として出力し、実写
と奥行き合成したい領域を指定する生成キー信号３１８
を生成して同時に出力する。

【００３６】次に、画像合成部３１４は、合成キー生成
部３０３から出力された実写キー信号３０４で指定さ
れ、画像生成部３１０から出力された生成キー信号３１
８でも指定された領域内では、実写奥行き値３０６と生
成奥行き値３１２を比較し隠面消去処理を行なうことに
より実写画素データ３０２または生成画素データ３１３
のどちらかを選択し、出力画素データ３１５として出力
する。

【００３７】また、実写キー信号３０４で指定され、生
成キー信号３１８では指定されない領域内では、実写画
素データ３０２を出力画素データ３１５として出力し、
生成キー信号３１８で指定され、実写キー信号３０４で
は指定されない領域内では、生成画素データ３１３を出
力画素データ３１５として出力し、実写キー信号３０４
で指定されず、生成キー信号３１８でも指定されない領
域内では、外部から入力された背景画素データ３１９を
出力画素データ３１５として出力する。

【００３８】なお、本実施例ではカメラの位置測定に磁
気センサを用いたものを開示しているが、位置測定方法
はこれに限定するものではなく、三脚に取り付けたロー
タリエンコーダや、ステレオカメラの画像処理による方
法や、超音波による距離測定といった種々の方法でも同
様の動作が可能である。

【００３９】また、本実施例ではカメラの方向測定にロ
ータリエンコーダを用いたものを開示しているが、方向
測定方法はこれに限定するものではなく、ステレオカメ
ラの画像処理による方法や、磁気センサによる測定とい
った種々の方法でも同様の動作が可能である。

【００４０】また、本実施例では被写体奥行き値を磁気
センサで求め１点で代表させて扱うものを開示している
が、被写体奥行き測定方法はこれに限定するものではな
く、ステレオカメラの画像処理によって画素単位の奥行
き値を求めて用いることもできる。

【００４１】また、本実施例では合成キー生成部におい
て実写キー信号を生成する際クロマキー手法を用いたも
のを開示しているが、キー信号生成方法はこれに限定す
るものではなく、画像認識による領域抽出によって実写
キー信号を生成することもできる。

【００４２】以下本発明の画像合成装置の第４の実施例
について、図面を参照しながら説明する。図４は本発明
の第４の実施例を示す画像合成装置の構成図である。

【００４３】図４において、４０１は被写体を撮影し実
写画素データ４０２、撮影条件４０７を出力する撮像
部、４０３は撮像部で取り込んだ実写画素データ４０２
をもとに実写キー信号４０４を生成する合成キー生成
部、４０５は被写体の３次元空間内での位置を計測し、
被写体奥行き値４０６を出力する被写体位置検出部、４
０８は撮像部４０１の３次元空間内での位置／角度など
の撮像位置データ４０９を出力する撮像位置検出部、４
１０は与えられた３次元幾何学形状モデルの形状および
属性データ４１１と、撮像位置データ４０９、撮影条件
４０７とから画像を生成し、生成画素データ４１３、生
成奥行き値４１２および生成キー信号４１８を出力する
画像生成部、４１４は実写キー信号４０４と、実写奥行
き値４０６と、実写画素データ４０２と、生成キー信号
４１８と、生成奥行き値４１２と、生成画素データ４１
３と、外部から入力された背景奥行き値４２０と、背景
画素データ４１９を入力とし、出力画素データ４１５と
出力奥行き値４２５を出力する画像合成部である。

【００４４】上記のように構成された画像合成装置につ
いてその動作を説明する。まず、撮像部４０１において
は、被写体４１６を撮影し、その画像を実写画素データ
４０２として出力する。また、レンズのアイリス、フォ
ーカス、ズームなどの撮影の条件を撮影条件４０７とし
て出力する。撮像位置検出部４０８は、３次元空間内の
カメラの位置を磁気センサによって、方向をロータリエ
ンコーダによって検出し撮像位置データ４０９として出
力する。

【００４５】次に、合成キー生成部４０３では、従来例
と同様に、入力された実写画素データに対してあらかじ
め指定された色情報との比較を行ない、その結果にした
がって領域の内外を区別する実写キー信号４０４を出力
する。被写体位置検出部４０５は、被写体の奥行き値を
磁気センサによる測定で求め、被写体奥行き値４０６と
して出力する。

【００４６】次に、与えられた３次元幾何学形状モデル
４１７の形状および属性データ４１１に対して、画像生
成部４１０は撮像部４０１から出力された撮影条件４０
７と、撮像位置検出部４０８から出力された撮像位置デ
ータ４０９とにしたがって仮想カメラ位置、方向および
画角を決定し画像生成を行なって、その結果を生成画素
データ４１３と生成奥行き値４１２として出力し、実写
と奥行き合成したい領域を指定する生成キー信号４１８
を生成して同時に出力する。

【００４７】次に、画像合成部４１４は、合成キー生成
部４０３から出力された実写キー信号４０４で指定さ
れ、画像生成部４１０から出力された生成キー信号４１
８でも指定された領域内では、実写奥行き値４０６と生
成奥行き値４１２を比較し隠面消去処理を行なうことに
より実写画素データ４０２と実写奥行き値４０６、また
は生成画素データ４１３と生成奥行き値４１８のどちら
かを選択し、出力画素データ４１５および出力奥行き値
４２５として出力する。

【００４８】また、実写キー信号４０４で指定され、生
成キー信号４１８では指定されない領域内では、実写奥
行き値４０６と背景奥行き値４２０を比較し隠面消去処
理を行なうことにより実写画素データ４０２と実写奥行
き値４０６、または背景画素データ４１９と背景奥行き
値４２０のどちらかを選択し、生成キー信号４１８で指
定され、実写キー信号４０４では指定されない領域内で
は、生成奥行き値４１２と背景奥行き値４２０を比較し
隠面消去処理を行なうことにより生成画素データ４１３
と生成奥行き値４１８、または背景画素データ４１９と
背景奥行き値４２０のどちらかを選択し、出力画素デー
タ４１５および出力奥行き値４２５として出力し、実写
キー信号４０４で指定されず、生成キー信号４１８でも
指定されない領域内では、外部から入力された背景画素
データ４１９と背景奥行き値４２０を、出力画素データ
４１５および出力奥行き値４２５として出力する。

【００４９】なお、本実施例ではカメラの位置測定に磁
気センサを用いたものを開示しているが、位置測定方法
はこれに限定するものではなく、三脚に取り付けたロー
タリエンコーダや、ステレオカメラの画像処理による方
法や、超音波による距離測定といった種々の方法でも同
様の動作が可能である。

【００５０】また、本実施例ではカメラの方向測定にロ
ータリエンコーダを用いたものを開示しているが、方向
測定方法はこれに限定するものではなく、ステレオカメ
ラの画像処理による方法や、磁気センサによる測定とい
った種々の方法でも同様の動作が可能である。

【００５１】また、本実施例では被写体奥行き値を磁気
センサで求め１点で代表させて扱うものを開示している
が、被写体奥行き測定方法はこれに限定するものではな
く、ステレオカメラの画像処理によって画素単位の奥行
き値を求めて用いることもできる。

【００５２】また、本実施例では合成キー生成部におい
て実写キー信号を生成する際クロマキー手法を用いたも
のを開示しているが、キー信号生成方法はこれに限定す
るものではなく、画像認識による領域抽出によって実写
キー信号を生成することもできる。

【００５３】以下本発明の画像合成装置の第５の実施例
について、図面を参照しながら説明する。図５は本発明
の第５の実施例を示す画像合成装置の構成図である。

【００５４】図５において、５０１は被写体を撮影し実
写画素データ５０２、撮影条件５０７を出力する撮像
部、５０３は撮像部５０１で取り込んだ実写画素データ
５０２をもとに実写キー信号５０４を生成する合成キー
生成部、５０５は被写体の３次元空間内での位置を計測
し、被写体奥行き値５０６を出力する被写体位置検出
部、５０８は撮像部５０１の３次元空間内での位置／角
度などの撮像位置データ５０９を出力する撮像位置検出
部、５２１は被写体５１６の操作を操作データ５２２に
変換して出力する被写体操作部、５２３は実写画像の撮
影環境における照明条件を検出し、照明条件データ５２
４を出力する照明条件抽出部、５１０は与えられた３次
元幾何学形状モデルの形状および属性データ５１１と、
撮像位置データ５０９、撮影条件５０７、照明条件デー
タ５２４、操作データ５２２とから画像を生成し、生成
画素データ５１３および生成奥行き値５１２を出力する
画像生成部、５１４は実写キー信号５０４と、実写奥行
き値５０６と、実写画素データ５０２と、生成奥行き値
５１２と、生成画素データ５１３を入力とし、出力画素
データ５１５を出力する画像合成部である。

【００５５】上記のように構成された画像合成装置につ
いてその動作を説明する。まず、撮像部５０１において
は、被写体５１６を撮影し、その画像を実写画素データ
５０２として出力する。また、レンズのアイリス、フォ
ーカス、ズームなどの撮影の条件を撮影条件５０７とし
て出力する。撮像位置検出部５０８は、３次元空間内の
カメラの位置を磁気センサによって、方向をロータリエ
ンコーダによって検出し撮像位置データ５０９として出
力する。

【００５６】次に、合成キー生成部５０３では、従来例
と同様に、入力された実写画素データに対してあらかじ
め指定された色情報との比較を行ないその結果にしたが
って領域の内外を区別する実写キー信号５０４を出力す
る。被写体位置検出部５０５は、被写体の奥行き値を磁
気センサによる測定で求め、被写体奥行き値５０６とし
て出力する。被写体操作部５２１は、被写体５１６によ
るボタン操作を受け付け、操作データ５２２を出力す
る。照明条件抽出部５２３は、照明状態の計測あるいは
調光器の操作盤の状態取り込みなどにより実写の照明条
件を抽出し、照明条件データ５２４を出力する。

【００５７】次に、与えられた３次元幾何学形状モデル
５１７の形状および属性データ５１１に対して、画像生
成部５１０は被写体操作部から出力された操作データ５
２２にしたがって一部あるいは全部の物体移動、変形操
作などを行ない、照明条件抽出部５２３から出力された
照明条件データ５２４にしたがって照明シミュレーショ
ン演算を行なって各面の照度データを求め、撮像部５０
１から出力された撮影条件５０７と、撮像位置検出部５
０８から出力された撮像位置データ５０９とにしたがっ
て仮想カメラ位置、方向および画角を決定し、画像生成
を行なって、その結果を生成画素データ５１３と生成奥
行き値５１２として出力する。

【００５８】次に、画像合成部５１４は、合成キー生成
部５０３から出力された実写キー信号５０４の指定する
領域内では、実写奥行き値５０６と生成奥行き値５１２
を比較し隠面消去処理を行なうことにより実写画素デー
タ５０２または生成画素データ５１３のどちらかを選択
し、出力画素データ５１５として出力する。領域外では
生成画素データ５１３を出力画素データ５１５として出
力する。

【００５９】なお、本実施例ではカメラの位置測定に磁
気センサを用いたものを開示しているが、位置測定方法
はこれに限定するものではなく、三脚に取り付けたロー
タリエンコーダや、ステレオカメラの画像処理による方
法や、超音波による距離測定といった種々の方法でも同
様の動作が可能である。

【００６０】また、本実施例ではカメラの方向測定にロ
ータリエンコーダを用いたものを開示しているが、方向
測定方法はこれに限定するものではなく、ステレオカメ
ラの画像処理による方法や、磁気センサによる測定とい
った種々の方法でも同様の動作が可能である。

【００６１】また、本実施例では被写体奥行き値を磁気
センサで求め１点で代表させて扱うものを開示している
が、被写体奥行き測定方法はこれに限定するものではな
く、ステレオカメラの画像処理によって画素単位の奥行
き値を求めて用いることもできる。

【００６２】また、本実施例では合成キー生成部におい
て実写キー信号を生成する際クロマキー手法を用いたも
のを開示しているが、キー信号生成方法はこれに限定す
るものではなく、画像認識による領域抽出によって実写
キー信号を生成することもできる。

【００６３】また、本実施例では被写体操作部はボタン
による操作を開示しているが、操作方法はこれに限定す
るものではなく、ジョイスティックによる操作や、マウ
スによる操作、発声による操作なども利用できる。ある
いはこれらを組み合わせて操作することもできる。

【００６４】以下本発明の画像合成装置の第６の実施例
について、図面を参照しながら説明する。図６は本発明
の第６の実施例を示す画像合成装置の構成図である。

【００６５】図６において、６０１は被写体を撮影し実
写画素データ６０２、撮影条件６０７を出力する撮像
部、６０３は撮像部６０１で取り込んだ実写画素データ
６０２をもとに実写キー信号６０４を生成する合成キー
生成部、６０５は被写体の３次元空間内での位置を計測
し、被写体奥行き値６０６を出力する被写体位置検出
部、６０８は撮像部６０１の３次元空間内での位置／角
度などの撮像位置データ６０９を出力する撮像位置検出
部、６２１は被写体６１６の操作を操作データ６２２に
変換して出力する被写体操作部、６２３は実写画像の撮
影環境における照明条件を検出し、照明条件データ６２
４を出力する照明条件抽出部、６１０は与えられた３次
元幾何学形状モデルの形状および属性データ６１１と、
撮像位置データ６０９、撮影条件６０７、照明条件デー
タ６２４、操作データ６２２とから画像を生成し、生成
画素データ６１３および生成奥行き値６１２を出力する
画像生成部、６１４は実写キー信号６０４と、実写奥行
き値６０６と、実写画素データ６０２と、生成奥行き値
６１２と、生成画素データ６１３を入力とし、出力画素
データ６１５を出力する画像合成部である。

【００６６】上記のように構成された画像合成装置につ
いてその動作を説明する。まず、撮像部６０１において
は、被写体６１６を撮影しその画像を実写画素データ６
０２として出力する。また、レンズのアイリス、フォー
カス、ズームなどの撮影の条件を撮影条件６０７として
出力する。撮像位置検出部６０８は、３次元空間内のカ
メラの位置を磁気センサによって、方向をロータリエン
コーダによって検出し撮像位置データ６０９として出力
する。次に、合成キー生成部６０３では、従来例と同様
に、入力された実写画素データに対してあらかじめ指定
された色情報との比較を行ないその結果にしたがって領
域の内外を区別する実写キー信号６０４を出力する。

【００６７】被写体位置検出部６０５は、被写体の奥行
き値を磁気センサによる測定で求め、被写体奥行き値６
０６として出力する。被写体操作部６２１は、実写画素
データ６０２と実写奥行き値６０６をもとに、画像処理
または画像認識により被写体６１６の動作から操作内容
を抽出し、操作データ６２２を出力する。照明条件抽出
部６２３は、照明状態の計測あるいは調光器の操作盤の
状態取り込みなどにより実写の照明条件を抽出し、照明
条件データ６２４を出力する。

【００６８】次に、与えられた３次元幾何学形状モデル
６１７の形状および属性データ６１１に対して、画像生
成部６１０は被写体操作部から出力された操作データ６
２２にしたがって一部あるいは全部の物体移動、変形操
作などを行ない、照明条件抽出部６２３から出力された
照明条件データ６２４にしたがって照明シミュレーショ
ン演算を行なって各面の照度データを求め、撮像部６０
１から出力された撮影条件６０７と、撮像位置検出部６
０８から出力された撮像位置データ６０９とにしたがっ
て仮想カメラ位置、方向および画角を決定し、画像生成
を行なって、その結果を生成画素データ６１３と生成奥
行き値６１２として出力する。

【００６９】次に、画像合成部６１４は、合成キー生成
部６０３から出力された実写キー信号６０４の指定する
領域内では、実写奥行き値６０６と生成奥行き値６１２
を比較し隠面消去処理を行なうことにより実写画素デー
タ６０２または生成画素データ６１３のどちらかを選択
し、出力画素データ６１５として出力する。領域外では
生成画素データ６１３を出力画素データ６１５として出
力する。

【００７０】なお、本実施例ではカメラの位置測定に磁
気センサを用いたものを開示しているが、位置測定方法
はこれに限定するものではなく、三脚に取り付けたロー
タリエンコーダや、ステレオカメラの画像処理による方
法や、超音波による距離測定といった種々の方法でも同
様の動作が可能である。

【００７１】また、本実施例ではカメラの方向測定にロ
ータリエンコーダを用いたものを開示しているが、方向
測定方法はこれに限定するものではなく、ステレオカメ
ラの画像処理による方法や、磁気センサによる測定とい
った種々の方法でも同様の動作が可能である。

【００７２】また、本実施例では被写体奥行き値を磁気
センサで求め１点で代表させて扱うものを開示している
が、被写体奥行き測定方法はこれに限定するものではな
く、ステレオカメラの画像処理によって画素単位の奥行
き値を求めて用いることもできる。

【００７３】また、本実施例では合成キー生成部におい
て実写キー信号を生成する際クロマキー手法を用いたも
のを開示しているが、キー信号生成方法はこれに限定す
るものではなく、画像認識による領域抽出によって実写
キー信号を生成することもできる。

【００７４】

【発明の効果】以上のように本発明によれば、実写画像
の撮像部の撮影条件と位置の検出により実写画像と画
角、奥行きを合わせた生成画像が得られ、実写画像に奥
行き値を与えて生成画像と合成するようにしたため、実
写画像と自然に合成できることとなる。

【００７５】また、合成キーを画像生成部から供給する
構成では、実写の背景に対して画像生成部で生成した仮
想物体が動き回る映像を奥行きまで正しく合成すること
ができることとなる。

【００７６】また、合成キーを実写と画像生成部から供
給する構成では、遠景の背景画像に対して実写画像から
の被写体と画像生成部で生成した仮想物体が動き回る映
像を奥行きまで正しく合成することができることとな
る。

【００７７】また、合成キーを実写と画像生成部から供
給するようにし、奥行き値を持った背景画像を入力する
構成では、背景画像に対して、実写画像からの被写体と
画像生成部で生成した仮想物体が動き回る映像を奥行き
まで正しく合成することができることとなる。

【００７８】さらに、被写体に対する照明条件を取り込
み、画像生成部で照明シミュレーションを行なって画像
生成する構成では、実写画像と生成画像の色調が合致す
ることとなり、自然な合成を行なうことができることと
なる。

【００７９】さらに、被写体から画像生成部に対して操
作データを供給する構成では、実写画像と生成画像のよ
り高度なインタラクションが可能となる。

【００８０】また、出力画像として奥行き値も出力する
構成では、複数の画像合成装置を直列につないで順次合
成することによってより複雑な合成画像の生成が可能と
なる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における画像合成装置の
構成図

【図２】本発明の第２の実施例における画像合成装置の
構成図

【図３】本発明の第３の実施例における画像合成装置の
構成図

【図４】本発明の第４の実施例における画像合成装置の
構成図

【図５】本発明の第５の実施例における画像合成装置の
構成図

【図６】本発明の第７の実施例における画像合成装置の
構成図

【図７】従来の画像合成装置の構成図

【符号の説明】

１０１撮像部１０３合成キー生成部１０５被写体位置検出部１０８撮像位置検出部１１０画像生成部１１４画像合成部２０１撮像部２０５被写体位置検出部２０８撮像位置検出部２１０画像生成部２１４画像合成部３０１撮像部３０３合成キー生成部３０５被写体位置検出部３０８撮像位置検出部３１０画像生成部３１４画像合成部４０１撮像部４０３合成キー生成部４０５被写体位置検出部４０８撮像位置検出部４１０画像生成部４１４画像合成部５０１撮像部５０３合成キー生成部５０５被写体位置検出部５０８撮像位置検出部５１０画像生成部５１４画像合成部５２１被写体操作部５２３照明条件抽出部６０１撮像部６０３合成キー生成部６０５被写体位置検出部６０８撮像位置検出部６１０画像生成部６１４画像合成部６２１被写体操作部６２３照明条件抽出部

───────────────────────────────────────────────────── フロントページの続き (72)発明者西澤貞次大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者鷺島敬之大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】被写体を撮影し実写画素データとその撮影
条件を出力する撮像部と、上記撮像部から入力された実
写画素データをもとに合成のための実写キー信号を生成
する合成キー生成部と、上記撮像部の位置方向を検出す
る撮像位置検出部と、上記撮像位置検出部から出力され
る上記撮像部の位置方向と上記撮像部から出力される撮
影条件と与えられた３次元幾何学形状モデルの形状およ
び属性データとをもとに画像生成し生成画素データと生
成奥行き値を出力する画像生成部と、上記撮像部で撮影
する被写体の位置を計測し実写奥行き値を出力する被写
体位置検出部と、上記実写画素データと実写奥行き値と
生成画素データと生成奥行き値とに対して実写キー信号
にしたがって出力画像を合成しその画素データを出力す
る画像合成部とを備えた画像合成装置。
【請求項２】被写体を撮影し実写画素データとその撮影
条件を出力する撮像部と、上記撮像部の位置方向を検出
する撮像位置検出部と、上記撮像位置検出部から出力さ
れる上記撮像部の位置方向と上記撮像部から出力される
撮影条件と与えられた３次元幾何学形状モデルの形状お
よび属性データとをもとに画像生成し生成画素データと
生成奥行き値とその領域を示す生成キー信号を出力する
画像生成部と、上記撮像部で撮影する被写体の位置を計
測し実写奥行き値を出力する被写体位置検出部と、上記
実写画素データと実写奥行き値と生成画素データと生成
奥行き値とに対して生成キー信号にしたがって出力画像
を合成しその画素データを出力する画像合成部とを備え
た画像合成装置。
【請求項３】被写体を撮影し実写画素データとその撮影
条件を出力する撮像部と、上記撮像部から入力された実
写画素データをもとに合成のための実写キー信号を生成
する合成キー生成部と、上記撮像部の位置方向を検出す
る撮像位置検出部と、上記撮像位置検出部から出力され
る上記撮像部の位置方向と上記撮像部から出力される撮
影条件と与えられた３次元幾何学形状モデルの形状およ
び属性データとをもとに画像生成し生成画素データと生
成奥行き値とその領域を示す生成キー信号を出力する画
像生成部と、上記撮像部で撮影する被写体の位置を計測
し実写奥行き値を出力する被写体位置検出部と、上記実
写画素データと実写奥行き値と生成画素データと生成奥
行き値と与えられた背景画像の画素データに対して実写
キー信号および生成キー信号にしたがって出力画像を合
成しその画素データを出力する画像合成部とを備えた画
像合成装置。
【請求項４】被写体を撮影し実写画素データとその撮影
条件を出力する撮像部と、上記撮像部から入力された実
写画素データをもとに合成のための実写キー信号を生成
する合成キー生成部と、上記撮像部の位置方向を検出す
る撮像位置検出部と、上記撮像位置検出部から出力され
る上記撮像部の位置方向と上記撮像部から出力される撮
影条件と与えられた３次元幾何学形状モデルの形状およ
び属性データとをもとに画像生成し生成画素データと生
成奥行き値とその領域を示す生成キー信号を出力する画
像生成部と、上記撮像部で撮影する被写体の位置を計測
し実写奥行き値を出力する被写体位置検出部と、上記実
写画素データと実写奥行き値と生成画素データと生成奥
行き値と与えられた背景画像の画素データと背景奥行き
値に対して実写キー信号および生成キー信号にしたがっ
て出力画像を合成しその画素データを出力する画像合成
部とを備えた画像合成装置。
【請求項５】被写体に対する照明条件を検出して画像生
成部に照明条件データを出力する照明条件抽出部をさら
に備え、前記画像生成部においては、前記照明条件抽出
部から入力された照明条件データにしたがって画像を生
成する請求項１、２、３または４のいずれかに記載の画
像合成装置。
【請求項６】被写体の操作を入力し画像生成部に操作デ
ータを出力する被写体操作部をさらに備え、前記画像生
成部においては、前記被写体操作部から入力された操作
データにしたがって画像を生成する請求項１、２、３、
４または５のいずれかに記載の画像合成装置。
【請求項７】実写画素データと実写奥行き値を入力とし
画像生成部に操作データを出力する被写体操作抽出部を
さらに備えた請求項１、２、３、４または５のいずれか
に記載の画像合成装置。
【請求項８】画像合成部は、出力画素データに対してそ
の奥行き値も出力する請求項４記載の画像合成装置。