JP3533717B2

JP3533717B2 - 画像合成装置

Info

Publication number: JP3533717B2
Application number: JP23102894A
Authority: JP
Inventors: 孝雄山口; 雅通中川; 文雄前原
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1994-09-27
Filing date: 1994-09-27
Publication date: 2004-05-31
Anticipated expiration: 2019-05-31
Also published as: JPH0898089A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は複数の端末間で情報交換
を行い表現力の豊かな画像合成を行う画像合成装置に関
するものである。

【０００２】

【従来の技術】従来より、自分側空間の風景の画像中か
ら、例えば人物画像を抽出し、その画像と相手側から送
られてきた人物画像と予め記憶されている相手側と共通
的に表示する仮想的な空間の画像とを重畳して表示する
ことにより、相手が自分の前にいるという実在感を充足
し、臨場感のある映像通信を目指したものがある（特公
平４―２４９１４号公報、「ハイパーメディアパーソ
ナルコンピュータコミュニケーションシステム」
（Fukuda, K., Tahara, T., Miyoshi, T.:"Hypermedia
Personal Computer Communication System: Fujitsu Ha
bitat", FUJITSUSci. Tech.J., 26, 3, pp.197-206(Oct
ober 1990).）、中村：「ネットワーク対応仮想現実感
による分散協同作業支援」、情報処理学会オーディオビ
ジュアル複合情報処理研究会(1993)）。

【０００３】従来の技術では、オフィスでの利用を考え
た会議システムのような各端末間の性能や通信容量がほ
ぼ対等な通信環境を前提に画像合成を応用した画像通信
サービスを提供するためのシステムが考えられてきた。
従って、各端末間の性能が大きく異なり、端末間の通信
容量が大きく異なるＣＡＴＶのような通信環境下を前提
にした画像合成を応用した画像通信システムについては
考慮されていない。

【０００４】従来技術では、EthernetやＮ−ＩＳＤＮの
ような通信帯域が狭いシステムを対象としていたため、
動画情報を活用したような表現力豊かな画像合成は実現
されていなかった。また、センター側端末から家庭側端
末への通信容量が大きく、逆方向の通信容量は小さい、
双方向ＣＡＴＶにおいては、従来、映画やゲームなどの
既存のパッケージソフトを利用者の要求に応じてセンタ
ー側端末から家庭側端末へ伝送する用途が多かった（双
方向ＣＡＴＶの通信特性を活かした画像合成の通信方式
は考慮されていない）。なお、本発明で考慮している通
信形態は、有線の双方向ＣＡＴＶだけではなく、センタ
ー側端末（放送局）から家庭側端末への映像や音声の伝
送は電波（例えば、ＶＨＦ帯、ＵＨＦ帯）で、センター
側端末と家庭側端末との制御データのやり取りはアナロ
グの電話回線やＮ−ＩＳＤＮであってもよい。

【０００５】また、従来の技術では、あらかじめ家庭側
端末に前景を作成するイメージ情報で表現された前景画
像部品（例えば、人物キャラクタ）と背景画像（同様
に、イメージ情報で表現される風景になるような”山や
太陽”）をＣＤ−ＲＯＭなどに持たせている（前景と背
景の区別はシステム設計者が予め決定しておく）。ある
家庭側端末から利用者が前景情報や背景情報を操作する
コマンド要求を発生させれば、アナログの電話回線のよ
うな低速の通信回線を使って、センター側端末などを経
由して、他の利用者の家庭側端末に表示されている前景
情報と背景情報をコマンド要求に応じて変更させる（コ
マンドのみのやり取り）。従って、本発明で実現してい
るような動画情報を有効に利用した、ＣＡＴＶの通信特
性を利用した動きのある臨場感のある画像通信システム
は実現できていない。

【０００６】さらに、従来の技術では画像の合成方法は
利用者がキーボードやマウスといった入力デバイスを用
いて、利用者が明示的に操作する必要があったため、利
用者の端末の利用状況に応じた画像合成を行うのは十分
ではなかった。

【０００７】

【発明が解決しようとする課題】従来の手法では、画像
合成を活用した画像通信サービスを実現するために、あ
らかじめ家庭側端末に前景を作成するイメージ情報で表
現された画像部品（例えば、人物キャラクタ）と背景画
像（同様に、イメージ情報で表現される）を持たせる。
ある家庭側端末から利用者が前景情報や背景情報を操作
するコマンド要求が発生すれば、アナログの電話回線の
ような低速の通信回線を使って、センター側端末などを
経由して、他の利用者の家庭側端末に表示されている前
景情報と背景情報をコマンド要求に応じて変更させる。
そのため、センター側端末から家庭側端末への通信容量
が大きく、逆方向の通信容量は小さい、双方向ＣＡＴＶ
の通信特性を有効に利用した表現力の豊かな画像合成を
活用した画像通信サービスが実現できていないという課
題がある。

【０００８】本発明の目的は、複数の端末間で情報交換
を行い表現力の豊かな画像合成が可能な画像合成装置を
実現することを目的とする。

【０００９】

【課題を解決するための手段】本発明は、前景画像とな
る部品の名称あるいはＩＤ、中心座標を含む前景画像を
作成するための情報を管理する前景画面作成情報管理手
段と、背景画像を作成するための情報を管理する背景画
像作成情報管理手段と、前記前景画像を作成するための
情報に基づき、少なくとも１つ以上の前景画像を作成す
る前景画面作成手段と、前記背景画像を作成するための
情報に基づき、少なくとも１つ以上の背景画像を作成す
る背景画像作成手段と、少なくとも１つ以上の前記前景
画像と少なくとも１つ以上の前記背景画像を合成し、画
像を生成する画面合成手段と、情報の送受信を行う伝送
手段と、前記各手段を制御する端末支援制御手段とを具
備し、情報の伝送を行う伝送手段と、これら各手段を制
御する端末制御手段とを具備する端末装置を少なくとも
１つ以上、制御、管理し、前記合成した画像を伝送する
ものである。

【００１０】また、少なくとも１つ以上の背景画像と少
なくとも１以上の前景画像を合成する画像合成端末装置
であって、情報の送受信を行う伝送手段と、前記前景画
像を作成するための情報を管理する前景画面作成情報管
理手段と、前記前景画像を作成するための情報に基づ
き、前記前景画像を作成する前景画面作成手段と、複数
の前記画像合成端末装置を制御、管理する端末支援装置
から伝送された前記背景画像と、前記前景画像とを合成
する画像合成手段と、これら各手段を制御する端末制御
手段を具備し、前記伝送手段は、他の画像合成端末装置
から前記前景画像を作成するための情報を受信し、前記
前景画像作成手段により、前記前景画像を作成するもの
である。

【００１１】

【作用】本発明においては、複数の端末間で情報交換を
行い表現力の豊かな画像合成を行うことが可能である。

【００１２】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。図１は本発明の一実施例における画像合成
装置の概略構成図である。図１の構成は、ＣＡＴＶを対
象とした場合、センター側端末（端末支援装置１０２）
で画像合成に関する情報を集中して管理、画像合成を行
い、家庭側端末（端末装置１０１）へ、画像合成された
情報を映像で送信を行うための集中管理型のシステム構
成図に相当する。

【００１３】画像合成端末装置１０１を構成する入出力
部１１は、カメラ、スキャナー、キーボード、マウス、
デジタイザ、タッチパネル、ライトペン、タブレット、
マイク、ディスプレイ、スピーカー、プリンタ等の入出
力装置である。

【００１４】伝送部１２は、ＬＡＮ、ＣＡＴＶ、モデ
ム、デジタルＰＢＸ等の伝送装置である。端末制御部１
３は入出力部１１と伝送部１２を制御、管理する手段か
ら構成される。

【００１５】前景画像を作成する前景画面作成部１４
と、背景画像を作成する背景画面作成部１５と、前景画
像を作成するための情報を管理するための前景画面作成
情報管理部１６と、背景画像を作成するための情報を管
理するための背景画面作成情報管理部１７と、前景画像
と背景画像を合成し画像を生成する画面合成部１８と、
情報の伝送を行う伝送部１９の各部を制御する端末支援
制御部２０とを具備する端末支援装置１０２が、先の端
末装置１０１を少なくとも１つ以上、制御、管理する。

【００１６】尚、先の前景画面作成情報管理部１６およ
び背景画面作成情報管理部１７は、磁気ディスク、ＶＴ
Ｒ、光ディスク等の装置である。また、前景画面作成情
報管理部１６および背景画面作成情報管理部１７で管理
させる情報は、具体的には、それぞれ、前景画像の情報
（例えば、人物キャラクタ、”人間や鳥”）と、背景画
像の情報（例えば、風景になるような”山や太陽”のイ
メージ、動画情報、ＣＧ）を管理させる。なお、前景情
報と背景情報の区別はシステム設計者が用途に併せて予
め決定しておく。なお、本発明で考慮している通信形態
は、有線の双方向ＣＡＴＶだけではなく、センター側端
末（放送局）から家庭側端末への映像や音声の伝送は電
波（例えば、ＶＨＦ帯、ＵＨＦ帯）で、センター側端末
と家庭側端末との制御データのやり取りはアナログの電
話回線やＮ−ＩＳＤＮであってもよい。

【００１７】図２は本発明の一実施例における分散管理
型の画像合成装置の概略構成図である。図２の構成は、
ＣＡＴＶを対象とした場合に、センター側端末（端末支
援装置２０２）での画像合成の処理を行わずに、それぞ
れの家庭側端末（端末装置２０１）で画像合成を行うこ
とにより、センター側端末でのシステムの負荷を軽減す
ることを目的とした分散管理型のシステム構成図に相当
する。また、図１の構成に比べ、背景画像を映像で送
り、各端末装置２０１で個別に画像合成を行うため、各
利用者の利用状況に応じた、表現力豊かな動きのある画
像合成が可能となる。逆に、端末装置２０１で画像合成
の処理が必要となるため、端末装置２０１側で図１の端
末装置に比べ高い処理能力が必要とされる。

【００１８】画像合成端末装置２０１を構成する入出力
部２１は、カメラ、スキャナー、キーボード、マウス、
デジタイザ、タッチパネル、ライトペン、タブレット、
マイク、ディスプレイ、スピーカー、プリンタ等の入出
力装置である。また、伝送部２２は、ＬＡＮ、ＣＡＴ
Ｖ、モデム、デジタルＰＢＸ等の伝送装置である。

【００１９】前景画像を作成する前景画面作成部２３
と、前景情報を管理するための前景画面作成情報管理部
２４と、前景画像と、端末支援装置２０２から映像情報
として送られてくる背景画像を合成する画面合成部２５
と、これら各部を制御、管理する端末制御部２６から構
成される。また、端末支援装置２０２は、背景画像を作
成する背景画面作成部２７と、背景画像を作成するため
の情報を管理するための背景画面作成情報管理部２８
と、情報の伝送を行う伝送部２９の各部を制御する端末
支援制御部３０とを具備する端末支援装置２０２が、先
の端末装置２０１を少なくとも１つ以上、制御、管理す
る。

【００２０】尚、先の前景画面作成情報管理部２４及び
背景画面作成情報管理部２８は、磁気ディスク、ＶＴ
Ｒ、光ディスク等の装置である。図１と同様に、本発明
で考慮している通信形態は、有線の双方向ＣＡＴＶだけ
ではなく、センター側端末（放送局）から家庭側端末へ
の映像や音声の伝送は電波（例えば、ＶＨＦ帯、ＵＨＦ
帯）で、センター側端末と家庭側端末との制御データの
やり取りはアナログの電話回線やＮ−ＩＳＤＮであって
もよい。

【００２１】図３は画像合成を集中して行う方法と分散
して行う方法を説明する図である。図の例では、”太
陽”、”山”の画像部品は背景画像であり、”人”、”
鳥”の画像部品は前景画像である。（ａ）は集中して画
像合成を行う方式であり、それぞれの画像部品は端末支
援装置で合成される。合成された画像情報は映像情報と
して端末装置へ伝送される。（ｂ）は分散して画像合成
を行う方式であり、背景画像部品は映像情報として端末
支援装置から端末装置へ伝送される。伝送された背景画
像の映像は、各端末装置にて、端末装置から取り込まれ
た前景画像部品と合成されるか、他の端末装置や端末支
援装置から伝送された前景画像部品と合成される。

【００２２】図４は前景部品と背景部品の伝送方法につ
いて説明する図である。図に示すように（ａ）の集中型
の画像合成方式においては前景部品は端末装置（端末）
から端末支援装置（センター端末）へ伝送されるか、端
末支援装置で管理されるかのどちらかである。先に述べ
たように、前景部品と背景部品は端末支援装置で映像情
報として作成され、各端末装置へ伝送される。（ｂ）の
分散型の画像合成方式においては、端末支援装置から端
末装置へ背景画像を映像情報で伝送を行った情報と、自
らの端末装置が保有する前景部品、他の端末装置から伝
送されてきた前景部品、もしくは、端末支援装置から各
端末装置へ送信してきた前景部品と画像合成を行う。
（ｃ）の分散型の画像合成においては、背景画像情報は
端末支援装置から各端末装置へ映像情報として配信され
る。また、前景画像部品の情報は、端末支援装置を経由
せずに端末装置間をループ状に情報が伝送される。分散
型と集中型の大きな違いは、先に述べたように、端末支
援装置にかかる画像合成のための負荷の違いである。

【００２３】また、（ｂ）と（ｃ）の違いは、（ｃ）の
場合、（ｂ）に比べ、端末支援装置へ前景部品が伝送さ
れないので、端末支援装置への負荷が小さくなる。その
反面（ｃ）の場合には、新たに端末装置が画像合成の処
理中に追加したり、削除したりするために手間がかか
る。そこで、各端末間が有する前景部品を一貫性を保っ
て、端末装置を途中参加、削除するために、適宜、例え
ば、一定時間毎や、端末装置が追加された時、削除され
た時に各端末装置が管理する前景部品の状態を端末支援
装置が比較、調整することにより手間が低減できる。た
だし、各端末装置が管理する前景部品の状態を比較、調
整を端末支援装置が行うのではなく、端末装置間でもち
まわりで行う方法によっても実現できる（端末支援装置
の役割を果たす端末装置を決めておけばよい）。（ｃ）
は、特に、片方向のＣＡＴＶと、既存のＬＡＮやＩＳＤ
Ｎといった異種のネットワークを融合して利用する場合
には有効である。

【００２４】図５は、画面合成部の構成について説明す
る図である。図１および図２で説明した画像合成部は、
画像を作成する対象物の固有情報を管理する対象物固有
情報管理部５１と、対象物間の位置情報を管理する対象
物間位置情報管理部５２と、対象物間の相互干渉の情報
を管理する対象物間相互干渉情報管理部５３と、これら
各部を制御する画像合成制御部５４の各部から構成され
る。具体的な管理情報は以下で説明する。

【００２５】図６〜図１０は、画像を作成する対象物の
固有情報を管理する対象物固有情報管理部が管理する情
報について説明する図である。図６の例では管理される
情報としては、前景部品の情報が管理され（前景画面作
成情報管理部が記憶、管理する情報と同じ）、キャラク
タ名（前景部品の名称）、キャラクタＩＤ、キャラクタ
ーの大きさ、中心座標（キャラクターの重心座標）、キ
ャラクターの振る舞い方（演出ルール）のそれぞれの情
報が管理されている。図７は、図６で管理されている情
報を視覚的に表現したものである。図８の例では、背景
画像の情報が管理され（背景画面作成情報管理部が記
憶、管理する情報と同じ）、背景画像名、背景画像Ｉ
Ｄ、背景画像としての演出効果の内容を示す演出コード
の各情報が管理されている。図８の例では、キャラクタ
ー間の衝突や遭遇時の演出効果を表現する画像情報を背
景画像の情報として管理されているが、図９に示した例
では、図６の例とは逆に前景部品の情報として管理して
いる。従って、図１０に示した例では、ロボットと石は
前景部品の情報として管理される。なお、図に示したよ
うに、衝突時の効果が前景情報であるか、背景情報であ
るかは、アプリケーションを設計時に、適宜、システム
設計者の目的に応じて管理すればよい。なお、利用者が
前景画像部品として登録した情報とともに、同様に、利
用者が演出の効果を高める目的で効果音を演出のための
情報として登録してもよい。

【００２６】図１１〜図１４は、対象物間の位置情報を
管理する対象物間位置情報管理部について説明する図で
ある。対象物間位置情報管理部が管理する具体的な管理
情報について述べる。図の例では、現在利用されている
前景部品のキャラクターＩＤと、現在キャラクターが存
在する座標位置が管理されている。図には示していない
が、背景画像の座標位置の管理も同様の要領で実現でき
る。尚、前景画像や背景画像を３次元情報として構築し
てもよく、その場合には、奥行き情報を考慮すればよい
（２次元の情報を対象としてもキャラクタ間の重なり状
態を考慮して、３次元ＣＧなどと同様に、奥行きを考慮
すればよい。２つのキャラクターが重なっていても衝突
していない状況は作れる。）。

【００２７】図１２は、背景画像と前景画像との衝突判
定を行う具体的な例を示したものである。図示した例
は、鳥が木に衝突するかを判定する例である。鳥は前景
部品として、木は背景部品として管理され、大きさや部
品の中心座標などの部品固有の情報は先に述べた対象物
固有情報管理部で管理されている。また、現在のそれぞ
れの画像部品の状態が図１１で説明した対象物間位置情
報管理部にて管理されている。図の例では、対象物間の
接近距離の測定は、それぞれの部品の中心座標に基づい
て行っている。接近距離がある一定より小さくなると衝
突と判定して、図１５で述べる対象物間の相互干渉の情
報を管理する対象物間相互干渉情報管理部の衝突時の画
面上の演出効果のルールに基づき、一連の画面上の演出
効果を実現する。

【００２８】なお、図に示したように前景部品や背景部
品は動画であってもよい。また、背景画像全体を映像情
報とした場合、カメラから取り込んだ映像（図１３に示
すように利用者が自由にカメラの制御が可能なものであ
ってもよい）や映像情報の一部をクリッピング（切り出
す）した映像（例えば、図１４に示した映像）や、ＶＴ
Ｒなどに記録されている映像などで、各映像シーンの特
定の領域（例えば、”山”、”太陽”、”木”に関する
映像が記録されているものであれば、特に”木”が撮影
されている領域）に、衝突判定すべき背景画像が存在す
るというアトリビュート（属性）を各映像シーンに対応
させて記録、管理させることにより、背景が映像であっ
ても前景部品との衝突判定処理は実現できる。

【００２９】図１５は、対象物間の相互干渉の情報を管
理する対象物間相互干渉情報管理部について説明する図
である。図の例では、（ａ）前景画像もしくは背景画像
の画面上での演出効果について管理されている。（ａ）
の情報を元に、時間軸を考慮して、画面上での前景画像
もしくは背景画像の一連の時間的に流れのある演出ルー
ルを定義している。例えば、pat#1の場合は、遭遇時
（対象物間の接近距離が一定以下になったとき）は「爆
発」、更に衝突時（予めアプリケーションで決めた接近
距離の限界値より小さくなったとき）には「倒れる」の
演出を行う。

【００３０】図１６，図１７，図１８は、端末間での時
間的な経過を含めた具体的な情報のやり取りについて説
明した図である。なお、図１６から図１８の方式は、先
の図４に示した（ａ）から（ｃ）の方式に対応する。

【００３１】図１６に示す集中して画像合成を行う集中
管理型の方式においては、例えば、端末装置Ａ（端末
Ａ）が送信した前景画像（例えば、自らの人物像、顔画
像、似顔絵、３次元ＣＧ、映像など）を端末支援装置に
て受信、背景画像（静止画像、３次元ＣＧ、映像など）
と合成を行い、合成結果を各端末へ映像情報として伝送
している。特に、自らの顔画像を画像合成の情報として
利用することにより、利用者の利用意欲は高まる。ま
た、前景部品を操作するコマンド（例えば、”移動
（右）”といった端末装置と端末支援装置間で予め取り
決めを行って、前景部品を操作するための命令）が端末
Ｂから端末支援装置へ伝送され、前景部品を操作するコ
マンドに従い、前景部品を操作し、操作された前景部品
画像と背景画像とともに端末支援装置で合成され、各端
末装置へ伝送される。なお、背景画像と前景画像、前景
画像同士の衝突判定などは前述の方法で処理が各端末支
援装置で集中して行われる。

【００３２】図１７の分散して画像合成を行う方式で
は、例えば、端末Ａから端末支援装置に前景画像が送信
され、各端末へ送信される。また、端末支援装置から前
景部品が各端末装置へ伝送される。各端末装置では端末
支援装置から伝送されてくる背景の映像情報とともに画
像合成を行う。さらに、端末Ｂから前景部品を操作する
操作要求が発生すれば、端末支援装置を経由して、各端
末装置へ伝送される。なお、背景画像と前景画像、前景
画像同士の衝突判定などは前述の方法で処理が各端末装
置で分散して行われる。

【００３３】図１８の分散して画像合成を行う方式で
は、例えば、端末Ｂから前景部品が伝送されれば、予め
システムで取り決めたルート（各端末は、どの端末に情
報を送り、どの端末から情報が来るかを記憶、管理して
いる。ＦＤＤＩのようなトークンリング的な通信形態）
で端末支援装置を介さずに前景部品が順番に伝送されて
ゆく。また、前景部品に対する操作に関しても、端末支
援装置を介さずに操作コマンドが順番に伝送されてゆ
く。なお、背景画像と前景画像、前景画像同士の衝突判
定などは前述の方法で処理が各端末装置で分散して行わ
れる。

【００３４】図１９、図２０は、端末支援装置や端末装
置でやり取りされる情報の具体例を説明した図である。
図１９に示すように、端末間でやり取りされる情報とし
ては、例えば、送信先、送信元、キャラクタＩＤ（前景
部品もしくは背景部品）、コマンドＩＤ（部品の操作Ｉ
Ｄ）、コマンドの引数から構成される。具体的なコマン
ドとしては、図２０に示すように、コマンド名、コマン
ドＩＤ、コマンド引数、コマンドの実行内容といった情
報が管理されている。

【００３５】図２１は、映像特徴量抽出部について説明
する図である。映像の特徴量の抽出は図１の構成では、
端末支援装置１０２の端末支援制御部２０で集中して行
われる。また、図２の構成では、端末装置２０１の端末
制御部２６で分散して映像の特徴量の抽出が行われる。
映像の特徴量の抽出を行う映像特徴量抽出部は、映像の
色相情報を調べる色相特徴量抽出部１９０１と、映像の
輝度情報を調べる輝度特徴量抽出部１９０２と、映像の
彩度情報を調べる彩度特徴量抽出部１９０３、映像の特
徴量を抽出する各部を制御、管理する映像特徴量抽出制
御部１９０４から構成される。映像の特徴量の変化と、
図１５で述べた演出効果との関係を定量化するすること
により、利用者がキーボードやマウスといった入力デバ
イスを用いて、利用者が明示的に操作をしないで、利用
者の端末の利用状況に応じた画像合成を行うことが可能
となる。例えば、画像合成を用いた通信カラオケや教育
などで、利用者の動きに合わせた、前景部品や背景部品
の演出を行うことができる（例えば、画面が乱れる、画
面がフラッシュするなど）。

【００３６】図２２は、音声特徴量抽出部について説明
する図である。音声の特徴量の抽出は図１の構成では、
端末支援装置１０２の端末支援制御部２０で集中して行
われる。また、図２の構成では、端末装置２０１の端末
制御部２６で分散して音声の特徴量の抽出が行われる。
音声の特徴量の抽出を行う音声特徴量抽出部は、音の大
きさを調べる音の大きさ検出部２００１と、音のピッチ
を調べる音声ピッチ抽出部２００２、利用者の発話命令
を調べる発話命令抽出部２００３と、これら各部を制
御、管理する音声特徴量抽出制御部２００４から構成さ
れる。音のピッチ検出にあたっては、例えばマイクで拾
われた音声信号にローパスフィルタを通して、倍音部分
を除去してからサンプリング周波数２０ｋＨｚでＡ／Ｄ
変換して１２ビットのデジタルデータとして、基本周期
を計算する。基本周期はあらかじめ設定したしきい値以
上の振幅のピーク間の時間を測定して求めればよい。図
２１でも述べたように、音声の特徴量の変化と、図１５
で述べた演出効果との関係を定量化するすることによ
り、利用者がキーボードやマウスといった入力デバイス
を用いて、利用者が明示的に操作をしないで、利用者の
端末の利用状況に応じた画像合成を行うことが可能とな
る。また、先に示した音声の特徴量以外に、音のリズ
ム、音色といった音声の特徴量を利用することも考えら
れる。先と同様に、画像合成を用いた通信カラオケや教
育などで、利用者の動きに合わせた、前景部品や背景部
品の演出を行うことができる。

【００３７】

【発明の効果】以上のように、本発明によれば、センタ
ー側端末から家庭側端末への通信容量が大きく、逆方向
の通信容量は小さい、双方向ＣＡＴＶの通信特性を有効
に利用した表現力の豊かな画像合成を活用した画像通信
サービスを実現することが可能である。

【図面の簡単な説明】

【図１】本発明の画像合成装置の集中管理型の概略構成
図

【図２】本発明の画像合成装置の分散管理型の概略構成
図

【図３】(a),(b)は画像合成を集中して行う方法と分散
して行う方法を示す図

【図４】(a)〜(c)は前景部品と背景部品の伝送方法を示
す図

【図５】画像合成部の構成を示す図

【図６】画像を作成する対象物の固有情報を管理する対
象物固有情報管理部が管理する情報を示す図

【図７】画像を作成する対象物の固有情報を管理する対
象物固有情報管理部が管理する情報を示す図

【図８】画像を作成する対象物の固有情報を管理する対
象物固有情報管理部が管理する情報を示す図

【図９】画像を作成する対象物の固有情報を管理する対
象物固有情報管理部が管理する情報を示す図

【図１０】画像を作成する対象物の固有情報を管理する
対象物固有情報管理部が管理する情報を示す図

【図１１】対象物間の位置情報を管理する対象物間位置
情報管理部を示す図

【図１２】対象物間の位置情報を管理する対象物間位置
情報管理部を示す図

【図１３】対象物間の位置情報を管理する対象物間位置
情報管理部を示す図

【図１４】対象物間の位置情報を管理する対象物間位置
情報管理部を示す図

【図１５】(a),(b)は対象物間の相互干渉の情報を管理
する対象物間相互干渉情報管理部を示す図

【図１６】集中管理型端末間での時間的な経過を含めた
具体的な情報のやり取りを示す図

【図１７】分散管理型端末間での時間的な経過を含めた
具体的な情報のやり取りを示す図

【図１８】分散管理型端末間での時間的な経過を含めた
具体的な情報のやり取りを示す図

【図１９】端末支援装置や端末装置でやり取りされる情
報の具体例を示す図

【図２０】端末支援装置や端末装置でやり取りされる情
報の具体例を示す図

【図２１】映像特徴量抽出部を示す図

【図２２】音声特徴量抽出部を示す図

【符号の説明】

１１入出力部１２伝送部１３端末制御部１４前景画面作成部１５背景画像作成部１６前景画面作成情報管理部１７背景画面作成情報管理部１８画面合成部１９伝送部２０端末支援制御部１０１端末装置１０２端末支援装置

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭58−54794（ＪＰ，Ａ) 特開平４−266178（ＪＰ，Ａ) 特開平４−293164（ＪＰ，Ａ) 特開平６−231068（ＪＰ，Ａ) 特開平３−125576（ＪＰ，Ａ) 特開平４−294435（ＪＰ，Ａ) 特開平６−35999（ＪＰ，Ａ) 特開平４−38570（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/272 G06T 11/60 G06F 13/00 G06F 17/30

Claims

(57)【特許請求の範囲】

【請求項１】前景画像となる部品の名称あるいはＩＤ、
中心座標を含む前景画像を作成するための情報を管理す
る前景画面作成情報管理手段と、背景画像を作成するための情報を管理する背景画像作成
情報管理手段と、前記前景画像を作成するための情報に基づき、少なくと
も１つ以上の前景画像を作成する前景画面作成手段と、前記背景画像を作成するための情報に基づき、少なくと
も１つ以上の背景画像を作成する背景画像作成手段と、少なくとも１つ以上の前記前景画像と少なくとも１つ以
上の前記背景画像を合成し、画像を生成する画面合成手
段と、情報の送受信を行う伝送手段と、前記各手段を制御する端末支援制御手段とを具備し、情報の伝送を行う伝送手段と、これら各手段を制御する
端末制御手段とを具備する端末装置を少なくとも１つ以
上、制御、管理し、前記合成した画像を伝送することを
特徴とする画像合成装置。
【請求項２】前記前景画像を作成するための情報が、前
記端末装置から伝送されることを特徴とする請求項１記
載の画像合成装置。
【請求項３】少なくとも１つ以上の背景画像と少なくと
も１以上の前景画像を合成する画像合成端末装置であっ
て、情報の送受信を行う伝送手段と、前景画像となる部品の名称あるいはＩＤ、中心座標を含
む前景画像を作成するための情報を管理する前景画面作
成情報管理手段と、前記前景画像を作成するための情報に基づき、前記前景
画像を作成する前景画面作成手段と、前記画像合成端末装置を制御、管理する端末支援装置か
ら伝送された前記背景画像と、前記前景画像とを合成す
る画像合成手段と、これら各手段を制御する端末制御手段を具備することを
特徴とする画像合成端末装置。
【請求項４】前記前景画像を作成するための情報が、前
記端末支援装置または他の画像合成端末装置から伝送さ
れることを特徴とする請求項３記載の画像合成端末装
置。
【請求項５】少なくとも１つ以上の背景画像と少なくと
も１以上の前景画像を合成する画像合成端末装置であっ
て、情報の送受信を行う伝送手段と、前記前景画像を作成するための情報を管理する前景画面
作成情報管理手段と、前記前景画像を作成するための情報に基づき、前記前景
画像を作成する前景画面作成手段と、複数の前記画像合成端末装置を制御、管理する端末支援
装置から伝送された前記背景画像と、前記前景画像とを
合成する画像合成手段と、これら各手段を制御する端末制御手段を具備し、前記伝送手段は、他の画像合成端末装置から前記前景画
像を作成するための情報を受信し、前記前景画像作成手
段により、前記前景画像を作成することを特徴とする画
像合成端末装置。
【請求項６】前記伝送手段は、前記他の画像合成端末装
置に前景画像を作成するための情報を送信することを特
徴とする請求項５記載の画像合成端末装置。
【請求項７】前記前景画像を作成するための情報とし
て、人物画像を用いることを特徴とする請求項１から６
いずれか１項に記載の画像合成装置。
【請求項８】前記前景画像を作成するための情報とし
て、似顔絵もしくは顔画像を用いることを特徴とする請
求項１から７いずれか１項に記載の画像合成装置。