JPH0898089A - Image compositing device - Google Patents

Image compositing device

Info

Publication number
JPH0898089A
JPH0898089A JP6231028A JP23102894A JPH0898089A JP H0898089 A JPH0898089 A JP H0898089A JP 6231028 A JP6231028 A JP 6231028A JP 23102894 A JP23102894 A JP 23102894A JP H0898089 A JPH0898089 A JP H0898089A
Authority
JP
Japan
Prior art keywords
information
image
terminal
foreground
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6231028A
Other languages
Japanese (ja)
Other versions
JP3533717B2 (en
Inventor
Takao Yamaguchi
孝雄 山口
Masamichi Nakagawa
雅通 中川
Fumio Maehara
文雄 前原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP23102894A priority Critical patent/JP3533717B2/en
Publication of JPH0898089A publication Critical patent/JPH0898089A/en
Application granted granted Critical
Publication of JP3533717B2 publication Critical patent/JP3533717B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)
  • Computer And Data Communications (AREA)
  • Studio Circuits (AREA)

Abstract

PURPOSE: To obtain a composited image full of expression by utilizing effectively a communication characteristic of two-way CATV so as to allow plural terminal equipments to make mutual information exchange. CONSTITUTION: Information management sections 16, 17 of a terminal aid device 102 of a center manage image information of a foreground and a background in the centralized image compositing system. An image compositing section 18 manages specific information of an object, position information and mutual interference information and composites the image information according to input information from a terminal equipment 101 and sends the result as video information to each terminal. Furthermore, in the distributed image compositing system, when foreground information from a terminal is received by the aid device, it is sent from the aid device to each terminal together with the managed background information and at each terminal an image is composited based thereon. When a request comes from other terminal, the information is sent to each terminal via the terminal aid device. Thus, the two-way CATV having a high communication capacity from the center to each home terminal and having a small communication capacity in the reverse direction is used effectively to composite images.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は複数の端末間で情報交換
を行い表現力の豊かな画像合成を行う画像合成装置に関
するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image synthesizing apparatus for exchanging information between a plurality of terminals and synthesizing images with rich expressiveness.

【0002】[0002]

【従来の技術】従来より、自分側空間の風景の画像中か
ら、例えば人物画像を抽出し、その画像と相手側から送
られてきた人物画像と予め記憶されている相手側と共通
的に表示する仮想的な空間の画像とを重畳して表示する
ことにより、相手が自分の前にいるという実在感を充足
し、臨場感のある映像通信を目指したものがある(特公
平4―24914号公報、「ハイパーメディア パーソ
ナル コンピュータ コミュニケーション システム」
(Fukuda, K., Tahara, T., Miyoshi, T.:"Hypermedia
Personal Computer Communication System: Fujitsu Ha
bitat", FUJITSUSci. Tech.J., 26, 3, pp.197-206(Oct
ober 1990).)、中村:「ネットワーク対応仮想現実感
による分散協同作業支援」、情報処理学会オーディオビ
ジュアル複合情報処理研究会(1993))。
2. Description of the Related Art Conventionally, for example, a person image is extracted from an image of a landscape in one's own space, and the image and the person image sent from the other party are displayed commonly with the other party stored in advance. By superimposing and displaying an image of a virtual space, the presence of the other person in front of him is satisfied, and there is a thing aiming at a realistic image communication (Japanese Patent Publication No. 4-24914). Gazette, "Hypermedia Personal Computer Communication System"
(Fukuda, K., Tahara, T., Miyoshi, T.:"Hypermedia
Personal Computer Communication System: Fujitsu Ha
bitat ", FUJITSUSci. Tech.J., 26, 3, pp.197-206 (Oct
ober 1990).), Nakamura: "Support for distributed collaborative work by virtual reality for networks", IPSJ Audiovisual Complex Information Processing Research Group (1993)).

【0003】従来の技術では、オフィスでの利用を考え
た会議システムのような各端末間の性能や通信容量がほ
ぼ対等な通信環境を前提に画像合成を応用した画像通信
サービスを提供するためのシステムが考えられてきた。
従って、各端末間の性能が大きく異なり、端末間の通信
容量が大きく異なるCATVのような通信環境下を前提
にした画像合成を応用した画像通信システムについては
考慮されていない。
[0003] In the prior art, for providing an image communication service to which image synthesis is applied on the premise of a communication environment in which the performances and communication capacities of respective terminals are almost equal, such as a conference system for use in an office. The system has been considered.
Therefore, no consideration is given to an image communication system that applies image combining under the communication environment such as CATV in which the performances of the respective terminals are greatly different and the communication capacities of the terminals are greatly different.

【0004】従来技術では、EthernetやN−ISDNの
ような通信帯域が狭いシステムを対象としていたため、
動画情報を活用したような表現力豊かな画像合成は実現
されていなかった。また、センター側端末から家庭側端
末への通信容量が大きく、逆方向の通信容量は小さい、
双方向CATVにおいては、従来、映画やゲームなどの
既存のパッケージソフトを利用者の要求に応じてセンタ
ー側端末から家庭側端末へ伝送する用途が多かった(双
方向CATVの通信特性を活かした画像合成の通信方式
は考慮されていない)。なお、本発明で考慮している通
信形態は、有線の双方向CATVだけではなく、センタ
ー側端末(放送局)から家庭側端末への映像や音声の伝
送は電波(例えば、VHF帯、UHF帯)で、センター
側端末と家庭側端末との制御データのやり取りはアナロ
グの電話回線やN−ISDNであってもよい。
In the prior art, since a system having a narrow communication band such as Ethernet or N-ISDN is targeted,
Image synthesis with rich expressiveness using moving image information has not been realized. Also, the communication capacity from the center side terminal to the home side terminal is large, and the communication capacity in the opposite direction is small,
In the conventional two-way CATV, the existing package software such as movies and games has been used in many cases to be transmitted from the center side terminal to the home side terminal according to the user's request (the image utilizing the communication characteristics of the two-way CATV is used. Communication method of synthesis is not considered). Note that the communication mode considered in the present invention is not limited to the wired bidirectional CATV, but the transmission of video and audio from the center side terminal (broadcasting station) to the home side terminal is performed by radio waves (for example, VHF band, UHF band). ), The control data may be exchanged between the center side terminal and the home side terminal by an analog telephone line or N-ISDN.

【0005】また、従来の技術では、あらかじめ家庭側
端末に前景を作成するイメージ情報で表現された前景画
像部品(例えば、人物キャラクタ)と背景画像(同様
に、イメージ情報で表現される風景になるような”山や
太陽”)をCD−ROMなどに持たせている(前景と背
景の区別はシステム設計者が予め決定しておく)。ある
家庭側端末から利用者が前景情報や背景情報を操作する
コマンド要求を発生させれば、アナログの電話回線のよ
うな低速の通信回線を使って、センター側端末などを経
由して、他の利用者の家庭側端末に表示されている前景
情報と背景情報をコマンド要求に応じて変更させる(コ
マンドのみのやり取り)。従って、本発明で実現してい
るような動画情報を有効に利用した、CATVの通信特
性を利用した動きのある臨場感のある画像通信システム
は実現できていない。
Further, according to the conventional technique, a foreground image component (for example, a person character) previously represented by image information for creating a foreground on a home-side terminal and a background image (similarly a landscape represented by image information). Such a "mountain or the sun") is provided in a CD-ROM or the like (the system designer determines in advance the distinction between the foreground and the background). If a user issues a command request to operate the foreground information or background information from a home terminal, a low-speed communication line such as an analog telephone line will be used to send another command via the center terminal. The foreground information and background information displayed on the user's home terminal are changed in response to a command request (only command exchange). Therefore, it is not possible to realize a moving and realistic image communication system utilizing the communication characteristics of CATV, which effectively utilizes moving image information as realized by the present invention.

【0006】さらに、従来の技術では画像の合成方法は
利用者がキーボードやマウスといった入力デバイスを用
いて、利用者が明示的に操作する必要があったため、利
用者の端末の利用状況に応じた画像合成を行うのは十分
ではなかった。
Further, in the conventional technique, the image synthesizing method requires the user to explicitly operate the input device such as a keyboard or a mouse, so that the user can use the terminal device depending on the usage status of the terminal. Image composition was not enough.

【0007】[0007]

【発明が解決しようとする課題】従来の手法では、画像
合成を活用した画像通信サービスを実現するために、あ
らかじめ家庭側端末に前景を作成するイメージ情報で表
現された画像部品(例えば、人物キャラクタ)と背景画
像(同様に、イメージ情報で表現される)を持たせる。
ある家庭側端末から利用者が前景情報や背景情報を操作
するコマンド要求が発生すれば、アナログの電話回線の
ような低速の通信回線を使って、センター側端末などを
経由して、他の利用者の家庭側端末に表示されている前
景情報と背景情報をコマンド要求に応じて変更させる。
そのため、センター側端末から家庭側端末への通信容量
が大きく、逆方向の通信容量は小さい、双方向CATV
の通信特性を有効に利用した表現力の豊かな画像合成を
活用した画像通信サービスが実現できていないという課
題がある。
According to the conventional method, in order to realize an image communication service utilizing image synthesis, an image part (for example, a human character) represented in advance by the image information for creating a foreground on a home-side terminal is realized. ) And a background image (also represented by image information).
When a user issues a command request to operate the foreground information or background information from a home-side terminal, a low-speed communication line such as an analog telephone line is used, and another use is made via the center-side terminal. The foreground information and the background information displayed on the home terminal of the user are changed in response to a command request.
Therefore, the communication capacity from the center side terminal to the home side terminal is large and the communication capacity in the opposite direction is small.
There is a problem that the image communication service utilizing the image synthesis with rich expressiveness that effectively utilizes the communication characteristics of is not realized.

【0008】本発明の目的は、複数の端末間で情報交換
を行い表現力の豊かな画像合成が可能な画像合成装置を
実現することを目的とする。
It is an object of the present invention to realize an image synthesizing apparatus capable of exchanging information between a plurality of terminals and synthesizing images with rich expressiveness.

【0009】[0009]

【課題を解決するための手段】本発明は、少なくとも1
つ以上の前景画像を作成する前景画面作成手段と、少な
くとも1つ以上の背景画像を作成する背景画像作成手段
と、前景画像を作成するための情報を管理するための前
景画面作成情報管理手段と、背景画像を作成するための
情報を管理するための背景画面作成情報管理手段と、少
なくとも1つ以上の前景画像と少なくとも1つ以上の背
景画像を合成し、画像を生成する画面合成手段と、情報
の伝送を行う伝送手段の各手段を制御する端末支援制御
手段とを具備する端末支援装置が、情報の入出力を行う
入出力手段と、情報の伝送を行う伝送手段と、これら各
手段を制御する端末制御手段とを具備する端末装置を少
なくとも1つ以上、制御、管理を行う構成である。
SUMMARY OF THE INVENTION The present invention comprises at least one
A foreground screen creating means for creating one or more foreground images, a background image creating means for creating at least one or more background images, and a foreground screen creating information managing means for managing information for creating the foreground images. A background screen creation information management means for managing information for creating a background image, and a screen composition means for composing at least one or more foreground images and at least one or more background images to generate an image, A terminal support device having terminal support control means for controlling each means of transmission means for transmitting information includes an input / output means for inputting / outputting information, a transmitting means for transmitting information, and each of these means. The configuration is such that at least one terminal device including a terminal control unit for controlling is controlled and managed.

【0010】または、少なくとも1つ以上の背景画像を
作成する背景画像作成手段と、背景画像を作成するため
の情報を管理するための背景画像作成情報管理手段と、
情報の伝送を行う伝送手段と、これら各手段を管理する
端末支援制御手段とを具備する端末支援装置が、情報の
入出力を行う入出力手段と、情報の伝送を行う伝送手段
と、少なくとも1つ以上の前景画像を作成する前景画面
作成手段と、前景画像を作成するための情報を管理する
ための前景画面作成情報管理手段と、少なくとも1つ以
上の前景画像と少なくとも1つ以上の背景画像とを合成
する画像合成手段と、これら各手段を制御する端末制御
手段を具備する端末装置を少なくとも1つ以上、制御、
管理する構成である。
Alternatively, a background image creating means for creating at least one or more background images, and a background image creating information managing means for managing information for creating the background image,
At least one of an input / output unit for inputting / outputting information, a transmission unit for transmitting / receiving information, and a terminal support device including a transmission unit for transmitting information and a terminal support control unit for managing each unit are provided. Foreground screen creating means for creating one or more foreground images, foreground screen creating information managing means for managing information for creating the foreground image, at least one or more foreground images and at least one or more background images An image synthesizing unit for synthesizing the above and a terminal control unit for controlling each of these units.
It is a management configuration.

【0011】[0011]

【作用】本発明においては、複数の端末間で情報交換を
行い表現力の豊かな画像合成を行うことが可能である。
In the present invention, it is possible to exchange information between a plurality of terminals and perform image synthesis with rich expressiveness.

【0012】[0012]

【実施例】以下、本発明の実施例について図面を参照し
て説明する。図1は本発明の一実施例における画像合成
装置の概略構成図である。図1の構成は、CATVを対
象とした場合、センター側端末(端末支援装置102)
で画像合成に関する情報を集中して管理、画像合成を行
い、家庭側端末(端末装置101)へ、画像合成された
情報を映像で送信を行うための集中管理型のシステム構
成図に相当する。
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic configuration diagram of an image synthesizing apparatus according to an embodiment of the present invention. In the configuration of FIG. 1, in the case of CATV, the center side terminal (terminal support device 102)
This is equivalent to a centralized system configuration diagram for centrally managing and synthesizing information related to image composition, performing image composition, and transmitting the image-combined information to the home-side terminal (terminal device 101) as a video.

【0013】画像合成端末装置101を構成する入出力
部11は、カメラ、スキャナー、キーボード、マウス、
デジタイザ、タッチパネル、ライトペン、タブレット、
マイク、ディスプレイ、スピーカー、プリンタ等の入出
力装置である。
The input / output unit 11 constituting the image composition terminal device 101 includes a camera, a scanner, a keyboard, a mouse,
Digitizer, touch panel, light pen, tablet,
Input / output devices such as a microphone, a display, a speaker, and a printer.

【0014】伝送部12は、LAN、CATV、モデ
ム、デジタルPBX等の伝送装置である。端末制御部1
3は入出力部11と伝送部12を制御、管理する手段か
ら構成される。
The transmission unit 12 is a transmission device such as LAN, CATV, modem, digital PBX and the like. Terminal control unit 1
Reference numeral 3 is composed of means for controlling and managing the input / output unit 11 and the transmission unit 12.

【0015】前景画像を作成する前景画面作成部14
と、背景画像を作成する背景画面作成部15と、前景画
像を作成するための情報を管理するための前景画面作成
情報管理部16と、背景画像を作成するための情報を管
理するための背景画面作成情報管理部17と、前景画像
と背景画像を合成し画像を生成する画面合成部18と、
情報の伝送を行う伝送部19の各部を制御する端末支援
制御部20とを具備する端末支援装置102が、先の端
末装置101を少なくとも1つ以上、制御、管理する。
Foreground screen creating section 14 for creating a foreground image
A background screen creating unit 15 for creating a background image, a foreground screen creating information managing unit 16 for managing information for creating a foreground image, and a background for managing information for creating a background image. A screen creation information management unit 17, a screen composition unit 18 that combines the foreground image and the background image to generate an image,
The terminal support device 102 including the terminal support control unit 20 that controls each unit of the transmission unit 19 that transmits information controls and manages at least one of the above terminal devices 101.

【0016】尚、先の前景画面作成情報管理部16およ
び背景画面作成情報管理部17は、磁気ディスク、VT
R、光ディスク等の装置である。また、前景画面作成情
報管理部16および背景画面作成情報管理部17で管理
させる情報は、具体的には、それぞれ、前景画像の情報
(例えば、人物キャラクタ、”人間や鳥”)と、背景画
像の情報(例えば、風景になるような”山や太陽”のイ
メージ、動画情報、CG)を管理させる。なお、前景情
報と背景情報の区別はシステム設計者が用途に併せて予
め決定しておく。なお、本発明で考慮している通信形態
は、有線の双方向CATVだけではなく、センター側端
末(放送局)から家庭側端末への映像や音声の伝送は電
波(例えば、VHF帯、UHF帯)で、センター側端末
と家庭側端末との制御データのやり取りはアナログの電
話回線やN−ISDNであってもよい。
The foreground screen creation information management unit 16 and the background screen creation information management unit 17 are the magnetic disk, VT.
A device such as an R or an optical disk. Further, the information managed by the foreground screen creation information management unit 16 and the background screen creation information management unit 17 is, specifically, information on the foreground image (for example, a person character, “human or bird”) and a background image, respectively. Information (for example, an image of "mountain or sun" that looks like a landscape, moving image information, CG) is managed. It should be noted that the system designer determines in advance the distinction between foreground information and background information in accordance with the intended use. Note that the communication mode considered in the present invention is not limited to the wired bidirectional CATV, but the transmission of video and audio from the center side terminal (broadcasting station) to the home side terminal is performed by radio waves (for example, VHF band, UHF band). ), The control data may be exchanged between the center side terminal and the home side terminal by an analog telephone line or N-ISDN.

【0017】図2は本発明の一実施例における分散管理
型の画像合成装置の概略構成図である。図2の構成は、
CATVを対象とした場合に、センター側端末(端末支
援装置202)での画像合成の処理を行わずに、それぞ
れの家庭側端末(端末装置201)で画像合成を行うこ
とにより、センター側端末でのシステムの負荷を軽減す
ることを目的とした分散管理型のシステム構成図に相当
する。また、図1の構成に比べ、背景画像を映像で送
り、各端末装置201で個別に画像合成を行うため、各
利用者の利用状況に応じた、表現力豊かな動きのある画
像合成が可能となる。逆に、端末装置201で画像合成
の処理が必要となるため、端末装置201側で図1の端
末装置に比べ高い処理能力が必要とされる。
FIG. 2 is a schematic block diagram of a distributed management type image synthesizing apparatus according to an embodiment of the present invention. The configuration of FIG. 2 is
When targeting CATV, the center side terminal (terminal support device 202) does not perform the image combining process, but the home side terminal (terminal device 201) performs the image combining process. Corresponds to a distributed management type system configuration diagram for the purpose of reducing the load on the system. Further, compared to the configuration of FIG. 1, since the background image is sent as a video and the image synthesis is performed individually at each terminal device 201, it is possible to perform image synthesis with rich expressiveness according to the usage situation of each user. Becomes On the contrary, since the terminal device 201 needs the image combining process, the terminal device 201 side needs a higher processing capability than the terminal device of FIG.

【0018】画像合成端末装置201を構成する入出力
部21は、カメラ、スキャナー、キーボード、マウス、
デジタイザ、タッチパネル、ライトペン、タブレット、
マイク、ディスプレイ、スピーカー、プリンタ等の入出
力装置である。また、伝送部22は、LAN、CAT
V、モデム、デジタルPBX等の伝送装置である。
The input / output unit 21 constituting the image composition terminal device 201 includes a camera, a scanner, a keyboard, a mouse,
Digitizer, touch panel, light pen, tablet,
Input / output devices such as a microphone, a display, a speaker, and a printer. In addition, the transmission unit 22 uses LAN, CAT
It is a transmission device such as a V, a modem, and a digital PBX.

【0019】前景画像を作成する前景画面作成部23
と、前景情報を管理するための前景画面作成情報管理部
24と、前景画像と、端末支援装置202から映像情報
として送られてくる背景画像を合成する画面合成部25
と、これら各部を制御、管理する端末制御部26から構
成される。また、端末支援装置202は、背景画像を作
成する背景画面作成部27と、背景画像を作成するため
の情報を管理するための背景画面作成情報管理部28
と、情報の伝送を行う伝送部29の各部を制御する端末
支援制御部30とを具備する端末支援装置202が、先
の端末装置201を少なくとも1つ以上、制御、管理す
る。
Foreground screen creating section 23 for creating a foreground image
And a foreground screen creation information management unit 24 for managing the foreground information, and a screen composition unit 25 for composing the foreground image and the background image sent as video information from the terminal support device 202.
And a terminal control unit 26 that controls and manages each of these units. The terminal support device 202 also includes a background screen creation unit 27 that creates a background image and a background screen creation information management unit 28 that manages information for creating a background image.
And a terminal support control unit 30 that controls each unit of the transmission unit 29 that transmits information controls and manages at least one of the above-described terminal devices 201.

【0020】尚、先の前景画面作成情報管理部24及び
背景画面作成情報管理部28は、磁気ディスク、VT
R、光ディスク等の装置である。図1と同様に、本発明
で考慮している通信形態は、有線の双方向CATVだけ
ではなく、センター側端末(放送局)から家庭側端末へ
の映像や音声の伝送は電波(例えば、VHF帯、UHF
帯)で、センター側端末と家庭側端末との制御データの
やり取りはアナログの電話回線やN−ISDNであって
もよい。
The foreground screen creation information management section 24 and the background screen creation information management section 28 are composed of a magnetic disk and a VT.
A device such as an R or an optical disk. Similar to FIG. 1, the communication mode considered in the present invention is not limited to the wired two-way CATV, but the transmission of video and audio from the center side terminal (broadcasting station) to the home side terminal is performed by radio waves (for example, VHF). Obi, UHF
The control data may be exchanged between the center side terminal and the home side terminal via an analog telephone line or N-ISDN.

【0021】図3は画像合成を集中して行う方法と分散
して行う方法を説明する図である。図の例では、”太
陽”、”山”の画像部品は背景画像であり、”人”、”
鳥”の画像部品は前景画像である。(a)は集中して画
像合成を行う方式であり、それぞれの画像部品は端末支
援装置で合成される。合成された画像情報は映像情報と
して端末装置へ伝送される。(b)は分散して画像合成
を行う方式であり、背景画像部品は映像情報として端末
支援装置から端末装置へ伝送される。伝送された背景画
像の映像は、各端末装置にて、端末装置から取り込まれ
た前景画像部品と合成されるか、他の端末装置や端末支
援装置から伝送された前景画像部品と合成される。
FIGS. 3A and 3B are views for explaining a method of performing image synthesis in a concentrated manner and a method of performing image synthesis in a distributed manner. In the example of the figure, the image parts of "Sun" and "Mountain" are background images, and "Person" and "
The image component of “bird” is a foreground image. (A) is a method of intensively synthesizing images, and each image component is synthesized by the terminal support device. The synthesized image information is video information as the terminal device. (B) is a method of synthesizing images in a distributed manner, and the background image component is transmitted as video information from the terminal support device to the terminal device. At, it is combined with the foreground image component fetched from the terminal device or combined with the foreground image component transmitted from another terminal device or the terminal support device.

【0022】図4は前景部品と背景部品の伝送方法につ
いて説明する図である。図に示すように(a)の集中型
の画像合成方式においては前景部品は端末装置(端末)
から端末支援装置(センター端末)へ伝送されるか、端
末支援装置で管理されるかのどちらかである。先に述べ
たように、前景部品と背景部品は端末支援装置で映像情
報として作成され、各端末装置へ伝送される。(b)の
分散型の画像合成方式においては、端末支援装置から端
末装置へ背景画像を映像情報で伝送を行った情報と、自
らの端末装置が保有する前景部品、他の端末装置から伝
送されてきた前景部品、もしくは、端末支援装置から各
端末装置へ送信してきた前景部品と画像合成を行う。
(c)の分散型の画像合成においては、背景画像情報は
端末支援装置から各端末装置へ映像情報として配信され
る。また、前景画像部品の情報は、端末支援装置を経由
せずに端末装置間をループ状に情報が伝送される。分散
型と集中型の大きな違いは、先に述べたように、端末支
援装置にかかる画像合成のための負荷の違いである。
FIG. 4 is a diagram for explaining a method of transmitting the foreground component and the background component. As shown in the figure, in the centralized image synthesizing method of (a), the foreground component is a terminal device (terminal).
From the terminal support device (center terminal) or managed by the terminal support device. As described above, the foreground component and the background component are created as video information by the terminal support device and transmitted to each terminal device. In the distributed image synthesizing method of (b), information in which the background image is transmitted as video information from the terminal support device to the terminal device, the foreground parts owned by the terminal device itself, and the information transmitted from other terminal devices are transmitted. The image is synthesized with the received foreground component or the foreground component transmitted from the terminal support device to each terminal device.
In the distributed image composition of (c), the background image information is distributed from the terminal support device to each terminal device as video information. The information on the foreground image component is transmitted in a loop between the terminal devices without passing through the terminal support device. The major difference between the distributed type and the centralized type is, as described above, the difference in the load on the terminal support device for image composition.

【0023】また、(b)と(c)の違いは、(c)の
場合、(b)に比べ、端末支援装置へ前景部品が伝送さ
れないので、端末支援装置への負荷が小さくなる。その
反面(c)の場合には、新たに端末装置が画像合成の処
理中に追加したり、削除したりするために手間がかか
る。そこで、各端末間が有する前景部品を一貫性を保っ
て、端末装置を途中参加、削除するために、適宜、例え
ば、一定時間毎や、端末装置が追加された時、削除され
た時に各端末装置が管理する前景部品の状態を端末支援
装置が比較、調整することにより手間が低減できる。た
だし、各端末装置が管理する前景部品の状態を比較、調
整を端末支援装置が行うのではなく、端末装置間でもち
まわりで行う方法によっても実現できる(端末支援装置
の役割を果たす端末装置を決めておけばよい)。(c)
は、特に、片方向のCATVと、既存のLANやISD
Nといった異種のネットワークを融合して利用する場合
には有効である。
Further, the difference between (b) and (c) is that, in the case of (c), the foreground parts are not transmitted to the terminal support device, so the load on the terminal support device is reduced. On the other hand, in the case of (c), it takes time and effort for the terminal device to newly add or delete the image during the image combining process. Therefore, in order to maintain the consistency of the foreground parts among the terminals and to join or delete the terminal device halfway, as appropriate, for example, at fixed time intervals, when the terminal device is added, or when the terminal device is deleted, The terminal support device compares and adjusts the states of the foreground parts managed by the device, thereby reducing labor. However, instead of the terminal support device performing the adjustment and comparison of the states of the foreground parts managed by each terminal device, it can also be realized by a method of performing the inter-terminal operation between the terminal devices (determining the terminal device that plays the role of the terminal support device. You can leave it). (C)
Especially for one-way CATV and existing LAN and ISD
This is effective when different types of networks such as N are used together.

【0024】図5は、画面合成部の構成について説明す
る図である。図1および図2で説明した画像合成部は、
画像を作成する対象物の固有情報を管理する対象物固有
情報管理部51と、対象物間の位置情報を管理する対象
物間位置情報管理部52と、対象物間の相互干渉の情報
を管理する対象物間相互干渉情報管理部53と、これら
各部を制御する画像合成制御部54の各部から構成され
る。具体的な管理情報は以下で説明する。
FIG. 5 is a diagram for explaining the configuration of the screen compositing unit. The image composition section described with reference to FIGS.
An object-specific information management unit 51 that manages object-specific information for creating an image, an object-object position information management unit 52 that manages position information between objects, and information on mutual interference between objects. The object mutual interference information management unit 53 and the image synthesis control unit 54 that controls these units are configured. Specific management information will be described below.

【0025】図6〜図10は、画像を作成する対象物の
固有情報を管理する対象物固有情報管理部が管理する情
報について説明する図である。図6の例では管理される
情報としては、前景部品の情報が管理され(前景画面作
成情報管理部が記憶、管理する情報と同じ)、キャラク
タ名(前景部品の名称)、キャラクタID、キャラクタ
ーの大きさ、中心座標(キャラクターの重心座標)、キ
ャラクターの振る舞い方(演出ルール)のそれぞれの情
報が管理されている。図7は、図6で管理されている情
報を視覚的に表現したものである。図8の例では、背景
画像の情報が管理され(背景画面作成情報管理部が記
憶、管理する情報と同じ)、背景画像名、背景画像I
D、背景画像としての演出効果の内容を示す演出コード
の各情報が管理されている。図8の例では、キャラクタ
ー間の衝突や遭遇時の演出効果を表現する画像情報を背
景画像の情報として管理されているが、図9に示した例
では、図6の例とは逆に前景部品の情報として管理して
いる。従って、図10に示した例では、ロボットと石は
前景部品の情報として管理される。なお、図に示したよ
うに、衝突時の効果が前景情報であるか、背景情報であ
るかは、アプリケーションを設計時に、適宜、システム
設計者の目的に応じて管理すればよい。なお、利用者が
前景画像部品として登録した情報とともに、同様に、利
用者が演出の効果を高める目的で効果音を演出のための
情報として登録してもよい。
6 to 10 are views for explaining the information managed by the object specific information management unit which manages the unique information of the object for which an image is to be created. In the example of FIG. 6, as the information to be managed, the information of the foreground part is managed (the same as the information stored and managed by the foreground screen creation information management unit), the character name (the name of the foreground part), the character ID, and the character. Information on the size, center coordinates (coordinates of the character's center of gravity), and how the character behaves (production rules) is managed. FIG. 7 is a visual representation of the information managed in FIG. In the example of FIG. 8, the information of the background image is managed (the same as the information stored and managed by the background screen creation information management unit), the background image name and the background image I.
D, each piece of information of the effect code indicating the content of the effect as the background image is managed. In the example of FIG. 8, the image information expressing the effect effect at the time of collision or encounter between characters is managed as the information of the background image, but in the example shown in FIG. It is managed as part information. Therefore, in the example shown in FIG. 10, the robot and the stone are managed as the information of the foreground parts. As shown in the figure, whether the effect at the time of collision is the foreground information or the background information may be appropriately managed at the time of designing the application according to the purpose of the system designer. Note that, together with the information registered by the user as the foreground image component, similarly, the user may register the sound effect as information for effect in order to enhance the effect of effect.

【0026】図11〜図14は、対象物間の位置情報を
管理する対象物間位置情報管理部について説明する図で
ある。対象物間位置情報管理部が管理する具体的な管理
情報について述べる。図の例では、現在利用されている
前景部品のキャラクターIDと、現在キャラクターが存
在する座標位置が管理されている。図には示していない
が、背景画像の座標位置の管理も同様の要領で実現でき
る。尚、前景画像や背景画像を3次元情報として構築し
てもよく、その場合には、奥行き情報を考慮すればよい
(2次元の情報を対象としてもキャラクタ間の重なり状
態を考慮して、3次元CGなどと同様に、奥行きを考慮
すればよい。2つのキャラクターが重なっていても衝突
していない状況は作れる。)。
11 to 14 are views for explaining the inter-object position information managing unit for managing the position information between the objects. Specific management information managed by the inter-object position information management unit will be described. In the example of the figure, the character ID of the foreground part currently used and the coordinate position where the character currently exists are managed. Although not shown in the figure, management of the coordinate position of the background image can be realized in the same manner. It should be noted that the foreground image and the background image may be constructed as three-dimensional information, and in that case, depth information may be taken into consideration (even if two-dimensional information is used, the overlapping state between characters is taken into consideration. As with dimension CG, it is sufficient to consider depth. Even if two characters overlap, it is possible to create a situation where they do not collide.)

【0027】図12は、背景画像と前景画像との衝突判
定を行う具体的な例を示したものである。図示した例
は、鳥が木に衝突するかを判定する例である。鳥は前景
部品として、木は背景部品として管理され、大きさや部
品の中心座標などの部品固有の情報は先に述べた対象物
固有情報管理部で管理されている。また、現在のそれぞ
れの画像部品の状態が図11で説明した対象物間位置情
報管理部にて管理されている。図の例では、対象物間の
接近距離の測定は、それぞれの部品の中心座標に基づい
て行っている。接近距離がある一定より小さくなると衝
突と判定して、図15で述べる対象物間の相互干渉の情
報を管理する対象物間相互干渉情報管理部の衝突時の画
面上の演出効果のルールに基づき、一連の画面上の演出
効果を実現する。
FIG. 12 shows a concrete example in which the collision determination between the background image and the foreground image is performed. The illustrated example is an example of determining whether a bird collides with a tree. Birds are managed as foreground parts, trees are managed as background parts, and part-specific information such as size and center coordinates of parts is managed by the object-specific information management unit described above. In addition, the current state of each image component is managed by the inter-object position information management unit described with reference to FIG. In the example of the figure, the approach distance between the objects is measured based on the center coordinates of the respective parts. When the approach distance becomes smaller than a certain value, it is determined as a collision, and based on the rule of the effect effect on the screen at the time of the collision of the object-to-object mutual interference information management unit which manages the information of the mutual interference between the objects described in FIG. , Realize a series of on-screen effect.

【0028】なお、図に示したように前景部品や背景部
品は動画であってもよい。また、背景画像全体を映像情
報とした場合、カメラから取り込んだ映像(図13に示
すように利用者が自由にカメラの制御が可能なものであ
ってもよい)や映像情報の一部をクリッピング(切り出
す)した映像(例えば、図14に示した映像)や、VT
Rなどに記録されている映像などで、各映像シーンの特
定の領域(例えば、”山”、”太陽”、”木”に関する
映像が記録されているものであれば、特に”木”が撮影
されている領域)に、衝突判定すべき背景画像が存在す
るというアトリビュート(属性)を各映像シーンに対応
させて記録、管理させることにより、背景が映像であっ
ても前景部品との衝突判定処理は実現できる。
The foreground component and the background component may be moving images as shown in the figure. When the entire background image is used as the video information, the video captured from the camera (the camera may be freely controllable by the user as shown in FIG. 13) or a part of the video information is clipped. An image (cut out) (for example, the image shown in FIG. 14) or a VT
If the images recorded in R etc. are related to a specific area (eg, "mountain", "sun", "tree") of each video scene, "tree" will be taken. Area) that has a background image to be subjected to a collision determination is recorded and managed in association with each video scene, so that collision determination processing with a foreground component is performed even if the background is a video. Can be realized.

【0029】図15は、対象物間の相互干渉の情報を管
理する対象物間相互干渉情報管理部について説明する図
である。図の例では、(a)前景画像もしくは背景画像
の画面上での演出効果について管理されている。(a)
の情報を元に、時間軸を考慮して、画面上での前景画像
もしくは背景画像の一連の時間的に流れのある演出ルー
ルを定義している。例えば、pat#1の場合は、遭遇時
(対象物間の接近距離が一定以下になったとき)は「爆
発」、更に衝突時(予めアプリケーションで決めた接近
距離の限界値より小さくなったとき)には「倒れる」の
演出を行う。
FIG. 15 is a diagram for explaining an inter-object mutual interference information management unit for managing information on mutual interference between objects. In the example of the figure, (a) the effect of the foreground image or the background image on the screen is managed. (A)
Based on the above information, a series of time-dependent production rules for the foreground image or the background image on the screen are defined in consideration of the time axis. For example, in the case of pat # 1, when it encounters (when the approach distance between objects is below a certain level), it is an “explosion”, and when it collides (when it becomes smaller than the limit value of the approach distance determined by the application in advance). ) Is directed to "fall down".

【0030】図16,図17,図18は、端末間での時
間的な経過を含めた具体的な情報のやり取りについて説
明した図である。なお、図16から図18の方式は、先
の図4に示した(a)から(c)の方式に対応する。
FIG. 16, FIG. 17, and FIG. 18 are diagrams for explaining the concrete exchange of information including the passage of time between terminals. The methods of FIGS. 16 to 18 correspond to the methods of (a) to (c) shown in FIG. 4 above.

【0031】図16に示す集中して画像合成を行う集中
管理型の方式においては、例えば、端末装置A(端末
A)が送信した前景画像(例えば、自らの人物像、顔画
像、似顔絵、3次元CG、映像など)を端末支援装置に
て受信、背景画像(静止画像、3次元CG、映像など)
と合成を行い、合成結果を各端末へ映像情報として伝送
している。特に、自らの顔画像を画像合成の情報として
利用することにより、利用者の利用意欲は高まる。ま
た、前景部品を操作するコマンド(例えば、”移動
(右)”といった端末装置と端末支援装置間で予め取り
決めを行って、前景部品を操作するための命令)が端末
Bから端末支援装置へ伝送され、前景部品を操作するコ
マンドに従い、前景部品を操作し、操作された前景部品
画像と背景画像とともに端末支援装置で合成され、各端
末装置へ伝送される。なお、背景画像と前景画像、前景
画像同士の衝突判定などは前述の方法で処理が各端末支
援装置で集中して行われる。
In the centralized management type system for performing intensive image composition shown in FIG. 16, for example, a foreground image transmitted from the terminal device A (terminal A) (for example, its own person image, face image, portrait, 3 3D CG, video, etc.) received by the terminal support device, background image (still image, 3D CG, video, etc.)
And the composition result is transmitted to each terminal as video information. In particular, the user's willingness to use is increased by using his / her face image as information for image synthesis. In addition, a command for operating the foreground component (for example, a command such as "move (right)" for operating the foreground component by making an agreement in advance between the terminal device and the terminal assistance device) is transmitted from the terminal B to the terminal assistance device. The foreground component is operated according to the command for operating the foreground component, and the foreground component image and the background image that have been manipulated are combined by the terminal support device and transmitted to each terminal device. The background image and the foreground image, the collision determination between the foreground images, and the like are intensively performed by each terminal support device by the above-described method.

【0032】図17の分散して画像合成を行う方式で
は、例えば、端末Aから端末支援装置に前景画像が送信
され、各端末へ送信される。また、端末支援装置から前
景部品が各端末装置へ伝送される。各端末装置では端末
支援装置から伝送されてくる背景の映像情報とともに画
像合成を行う。さらに、端末Bから前景部品を操作する
操作要求が発生すれば、端末支援装置を経由して、各端
末装置へ伝送される。なお、背景画像と前景画像、前景
画像同士の衝突判定などは前述の方法で処理が各端末装
置で分散して行われる。
In the distributed image synthesizing method shown in FIG. 17, for example, the foreground image is transmitted from the terminal A to the terminal support device and is transmitted to each terminal. Further, the foreground component is transmitted from the terminal support device to each terminal device. Each terminal device performs image composition together with the background video information transmitted from the terminal support device. Further, when an operation request for operating the foreground component is generated from the terminal B, it is transmitted to each terminal device via the terminal support device. The background image and the foreground image, the collision determination between the foreground images, and the like are performed by the terminal devices in a distributed manner by the above-described method.

【0033】図18の分散して画像合成を行う方式で
は、例えば、端末Bから前景部品が伝送されれば、予め
システムで取り決めたルート(各端末は、どの端末に情
報を送り、どの端末から情報が来るかを記憶、管理して
いる。FDDIのようなトークンリング的な通信形態)
で端末支援装置を介さずに前景部品が順番に伝送されて
ゆく。また、前景部品に対する操作に関しても、端末支
援装置を介さずに操作コマンドが順番に伝送されてゆ
く。なお、背景画像と前景画像、前景画像同士の衝突判
定などは前述の方法で処理が各端末装置で分散して行わ
れる。
In the distributed image synthesizing method of FIG. 18, for example, when the foreground component is transmitted from the terminal B, the route (each terminal sends information to which terminal and which terminal sends information by the system) in advance. It stores and manages whether information comes in. Token ring-like communication form like FDDI)
The foreground parts are sequentially transmitted without going through the terminal support device. Further, regarding the operation on the foreground parts, the operation commands are sequentially transmitted without going through the terminal support device. The background image and the foreground image, the collision determination between the foreground images, and the like are performed by the terminal devices in a distributed manner by the above-described method.

【0034】図19、図20は、端末支援装置や端末装
置でやり取りされる情報の具体例を説明した図である。
図19に示すように、端末間でやり取りされる情報とし
ては、例えば、送信先、送信元、キャラクタID(前景
部品もしくは背景部品)、コマンドID(部品の操作I
D)、コマンドの引数から構成される。具体的なコマン
ドとしては、図20に示すように、コマンド名、コマン
ドID、コマンド引数、コマンドの実行内容といった情
報が管理されている。
19 and 20 are diagrams for explaining specific examples of information exchanged between the terminal support device and the terminal device.
As shown in FIG. 19, the information exchanged between the terminals includes, for example, a destination, a source, a character ID (foreground component or background component), a command ID (component operation I).
D), consisting of command arguments. As specific commands, as shown in FIG. 20, information such as command names, command IDs, command arguments, and execution contents of commands is managed.

【0035】図21は、映像特徴量抽出部について説明
する図である。映像の特徴量の抽出は図1の構成では、
端末支援装置102の端末支援制御部20で集中して行
われる。また、図2の構成では、端末装置201の端末
制御部26で分散して映像の特徴量の抽出が行われる。
映像の特徴量の抽出を行う映像特徴量抽出部は、映像の
色相情報を調べる色相特徴量抽出部1901と、映像の
輝度情報を調べる輝度特徴量抽出部1902と、映像の
彩度情報を調べる彩度特徴量抽出部1903、映像の特
徴量を抽出する各部を制御、管理する映像特徴量抽出制
御部1904から構成される。映像の特徴量の変化と、
図15で述べた演出効果との関係を定量化するすること
により、利用者がキーボードやマウスといった入力デバ
イスを用いて、利用者が明示的に操作をしないで、利用
者の端末の利用状況に応じた画像合成を行うことが可能
となる。例えば、画像合成を用いた通信カラオケや教育
などで、利用者の動きに合わせた、前景部品や背景部品
の演出を行うことができる(例えば、画面が乱れる、画
面がフラッシュするなど)。
FIG. 21 is a diagram for explaining the video feature amount extraction unit. In the configuration of FIG.
The terminal support control unit 20 of the terminal support apparatus 102 intensively performs this. Further, in the configuration of FIG. 2, the terminal controller 26 of the terminal device 201 disperses and extracts the feature amount of the video.
An image feature amount extraction unit that extracts an image feature amount, a hue feature amount extraction unit 1901 that checks the hue information of the image, a luminance feature amount extraction unit 1902 that checks the luminance information of the image, and a saturation information of the image. A saturation feature amount extraction unit 1903 and a video feature amount extraction control unit 1904 that controls and manages each unit that extracts the feature amount of the image. Changes in the features of the image,
By quantifying the relationship with the effect described in FIG. 15, the user can use the input device such as the keyboard or the mouse to operate the terminal of the user without explicitly operating the user. It is possible to perform appropriate image composition. For example, in online karaoke using image synthesis, education, etc., it is possible to perform the foreground component and the background component in accordance with the user's movement (for example, the screen is distorted, the screen flashes, etc.).

【0036】図22は、音声特徴量抽出部について説明
する図である。音声の特徴量の抽出は図1の構成では、
端末支援装置102の端末支援制御部20で集中して行
われる。また、図2の構成では、端末装置201の端末
制御部26で分散して音声の特徴量の抽出が行われる。
音声の特徴量の抽出を行う音声特徴量抽出部は、音の大
きさを調べる音の大きさ検出部2001と、音のピッチ
を調べる音声ピッチ抽出部2002、利用者の発話命令
を調べる発話命令抽出部2003と、これら各部を制
御、管理する音声特徴量抽出制御部2004から構成さ
れる。音のピッチ検出にあたっては、例えばマイクで拾
われた音声信号にローパスフィルタを通して、倍音部分
を除去してからサンプリング周波数20kHzでA/D
変換して12ビットのデジタルデータとして、基本周期
を計算する。基本周期はあらかじめ設定したしきい値以
上の振幅のピーク間の時間を測定して求めればよい。図
21でも述べたように、音声の特徴量の変化と、図15
で述べた演出効果との関係を定量化するすることによ
り、利用者がキーボードやマウスといった入力デバイス
を用いて、利用者が明示的に操作をしないで、利用者の
端末の利用状況に応じた画像合成を行うことが可能とな
る。また、先に示した音声の特徴量以外に、音のリズ
ム、音色といった音声の特徴量を利用することも考えら
れる。先と同様に、画像合成を用いた通信カラオケや教
育などで、利用者の動きに合わせた、前景部品や背景部
品の演出を行うことができる。
FIG. 22 is a diagram for explaining the voice feature quantity extraction unit. The extraction of the voice feature amount is performed in the configuration of FIG.
The terminal support control unit 20 of the terminal support apparatus 102 intensively performs this. Further, in the configuration of FIG. 2, the terminal control unit 26 of the terminal device 201 dispersively extracts the voice feature amount.
A voice feature amount extraction unit that extracts a voice feature amount includes a sound volume detection unit 2001 that checks a sound volume, a voice pitch extraction unit 2002 that checks a sound pitch, and a utterance command that checks a user's utterance command. The extraction unit 2003 and an audio feature amount extraction control unit 2004 that controls and manages each of these units. When detecting the pitch of a sound, for example, a voice signal picked up by a microphone is passed through a low-pass filter to remove the overtone portion, and then the A / D is set at a sampling frequency of 20 kHz.
The basic period is calculated as 12-bit digital data after conversion. The basic period may be obtained by measuring the time between peaks having an amplitude equal to or greater than a preset threshold value. As described with reference to FIG. 21, the change in the voice feature amount and the change in FIG.
By quantifying the relationship with the effect described in, the user can use the input device such as the keyboard and mouse without the user's explicit operation, depending on the usage status of the user's terminal. It becomes possible to perform image composition. In addition to the voice feature amount shown above, it is also possible to use the voice feature amount such as the rhythm and tone of the sound. Similarly to the above, in online karaoke using image synthesis, education, etc., it is possible to produce the foreground parts and the background parts according to the user's movement.

【0037】[0037]

【発明の効果】以上のように、本発明によれば、センタ
ー側端末から家庭側端末への通信容量が大きく、逆方向
の通信容量は小さい、双方向CATVの通信特性を有効
に利用した表現力の豊かな画像合成を活用した画像通信
サービスを実現することが可能である。
As described above, according to the present invention, the communication capacity from the center-side terminal to the home-side terminal is large and the communication capacity in the reverse direction is small, and the expression that effectively utilizes the communication characteristics of the bidirectional CATV. It is possible to realize an image communication service that utilizes rich image synthesis.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の画像合成装置の集中管理型の概略構成
FIG. 1 is a schematic configuration diagram of a centralized management type of an image synthesizing apparatus of the present invention.

【図2】本発明の画像合成装置の分散管理型の概略構成
FIG. 2 is a schematic configuration diagram of a distributed management type of the image synthesizing apparatus of the present invention.

【図3】(a),(b)は画像合成を集中して行う方法と分散
して行う方法を示す図
3A and 3B are diagrams showing a method of performing image composition in a concentrated manner and a method of performing image synthesis in a distributed manner.

【図4】(a)〜(c)は前景部品と背景部品の伝送方法を示
す図
4A to 4C are diagrams showing a transmission method of a foreground component and a background component.

【図5】画像合成部の構成を示す図FIG. 5 is a diagram showing a configuration of an image composition unit.

【図6】画像を作成する対象物の固有情報を管理する対
象物固有情報管理部が管理する情報を示す図
FIG. 6 is a diagram showing information managed by an object unique information management unit that manages unique information of an object for which an image is created.

【図7】画像を作成する対象物の固有情報を管理する対
象物固有情報管理部が管理する情報を示す図
FIG. 7 is a diagram showing information managed by an object unique information management unit that manages unique information of an object for which an image is created.

【図8】画像を作成する対象物の固有情報を管理する対
象物固有情報管理部が管理する情報を示す図
FIG. 8 is a diagram showing information managed by an object unique information management unit that manages unique information of an object for which an image is created.

【図9】画像を作成する対象物の固有情報を管理する対
象物固有情報管理部が管理する情報を示す図
FIG. 9 is a diagram showing information managed by an object unique information management unit that manages unique information of an object for which an image is created.

【図10】画像を作成する対象物の固有情報を管理する
対象物固有情報管理部が管理する情報を示す図
FIG. 10 is a diagram illustrating information managed by a target object unique information management unit that manages unique information of a target object that creates an image.

【図11】対象物間の位置情報を管理する対象物間位置
情報管理部を示す図
FIG. 11 is a diagram showing an inter-object positional information management unit that manages positional information between objects.

【図12】対象物間の位置情報を管理する対象物間位置
情報管理部を示す図
FIG. 12 is a diagram showing an inter-object positional information management unit that manages positional information between objects.

【図13】対象物間の位置情報を管理する対象物間位置
情報管理部を示す図
FIG. 13 is a diagram showing an inter-object positional information management unit that manages positional information between objects.

【図14】対象物間の位置情報を管理する対象物間位置
情報管理部を示す図
FIG. 14 is a diagram showing an inter-object positional information management unit that manages positional information between objects.

【図15】(a),(b)は対象物間の相互干渉の情報を管理
する対象物間相互干渉情報管理部を示す図
15 (a) and 15 (b) are diagrams showing a mutual interference information management unit between objects for managing information on mutual interference between objects.

【図16】集中管理型端末間での時間的な経過を含めた
具体的な情報のやり取りを示す図
FIG. 16 is a diagram showing the exchange of specific information including the passage of time between the centralized management type terminals.

【図17】分散管理型端末間での時間的な経過を含めた
具体的な情報のやり取りを示す図
FIG. 17 is a diagram showing a specific exchange of information including a lapse of time between distributed management type terminals.

【図18】分散管理型端末間での時間的な経過を含めた
具体的な情報のやり取りを示す図
FIG. 18 is a diagram showing a specific exchange of information including a lapse of time between distributed management type terminals.

【図19】端末支援装置や端末装置でやり取りされる情
報の具体例を示す図
FIG. 19 is a diagram showing a specific example of information exchanged between the terminal support device and the terminal device.

【図20】端末支援装置や端末装置でやり取りされる情
報の具体例を示す図
FIG. 20 is a diagram showing a specific example of information exchanged between the terminal support device and the terminal device.

【図21】映像特徴量抽出部を示す図FIG. 21 is a diagram showing a video feature amount extraction unit.

【図22】音声特徴量抽出部を示す図FIG. 22 is a diagram showing an audio feature quantity extraction unit.

【符号の説明】[Explanation of symbols]

11 入出力部 12 伝送部 13 端末制御部 14 前景画面作成部 15 背景画像作成部 16 前景画面作成情報管理部 17 背景画面作成情報管理部 18 画面合成部 19 伝送部 20 端末支援制御部 101 端末装置 102 端末支援装置 11 Input / output unit 12 Transmission unit 13 Terminal control unit 14 Foreground screen creation unit 15 Background image creation unit 16 Foreground screen creation information management unit 17 Background screen creation information management unit 18 Screen composition unit 19 Transmission unit 20 Terminal support control unit 101 Terminal device 102 terminal support device

Claims (14)

【特許請求の範囲】[Claims] 【請求項1】少なくとも1つ以上の前景画像を作成する
前景画面作成手段と、少なくとも1つ以上の背景画像を
作成する背景画像作成手段と、前景画像を作成するため
の情報を管理するための前景画面作成情報管理手段と、
背景画像を作成するための情報を管理するための背景画
面作成情報管理手段と、少なくとも1つ以上の前景画像
と少なくとも1つ以上の背景画像を合成し、画像を生成
する画面合成手段と、情報の伝送を行う伝送手段の各手
段を制御する端末支援制御手段とを具備する端末支援装
置が、情報の入出力を行う入出力手段と、情報の伝送を
行う伝送手段と、これら各手段を制御する端末制御手段
とを具備する端末装置を少なくとも1つ以上、制御、管
理することを特徴とする画像合成装置。
1. A foreground screen creating means for creating at least one or more foreground images, a background image creating means for creating at least one or more background images, and information for managing information for creating the foreground images. A foreground screen creation information management means,
A background screen creation information management unit for managing information for creating a background image, a screen composition unit for composing at least one or more foreground images and at least one or more background images, and an image, A terminal support device including terminal support control means for controlling each means of transmission means for controlling transmission of information, input / output means for inputting / outputting information, transmission means for transmitting information, and controlling each of these means. An image synthesizing device, which controls and manages at least one terminal device including a terminal control means for controlling the terminal device.
【請求項2】端末支援装置で前景画像と背景画像の合成
を行い、その結果を少なくとも1つ以上の端末装置に映
像情報で伝送することを特徴とする請求項1記載の画像
合成装置。
2. The image synthesizing apparatus according to claim 1, wherein the terminal supporting apparatus synthesizes the foreground image and the background image, and transmits the result as video information to at least one or more terminal apparatuses.
【請求項3】少なくとも1つ以上の背景画像を作成する
背景画像作成手段と、背景画像を作成するための情報を
管理するための背景画像作成情報管理手段と、情報の伝
送を行う伝送手段と、これら各手段を管理する端末支援
制御手段とを具備する端末支援装置が、情報の入出力を
行う入出力手段と、情報の伝送を行う伝送手段と、少な
くとも1つ以上の前景画像を作成する前景画面作成手段
と、前景画像を作成するための情報を管理するための前
景画面作成情報管理手段と、少なくとも1つ以上の前景
画像と少なくとも1つ以上の背景画像とを合成する画像
合成手段と、これら各手段を制御する端末制御手段を具
備する端末装置を少なくとも1つ以上、制御、管理する
ことを特徴とする画像合成装置。
3. A background image creating means for creating at least one background image, a background image creating information managing means for managing information for creating the background image, and a transmitting means for transmitting information. A terminal support device having terminal support control means for managing each of these means creates an input / output means for inputting / outputting information, a transmitting means for transmitting information, and at least one foreground image. Foreground screen creating means, foreground screen creating information managing means for managing information for creating a foreground image, and image synthesizing means for synthesizing at least one or more foreground images and at least one or more background images. An image synthesizing device characterized by controlling and managing at least one or more terminal devices equipped with terminal control means for controlling each of these means.
【請求項4】端末支援装置から前景画像を作成するため
の情報を、少なくとも1つ以上の端末装置に伝送すると
ともに、映像情報で構成される背景画像情報を前記端末
支援装置から少なくとも1つ以上の前記端末装置に伝送
し、少なくとも1つ以上の前記端末装置で前景画像と背
景画像を合成することを特徴とする請求項3記載の画像
合成装置。
4. Information for creating a foreground image from the terminal support device is transmitted to at least one or more terminal devices, and background image information composed of video information is transmitted from the terminal support device in at least one or more. 4. The image synthesizing apparatus according to claim 3, wherein the foreground image and the background image are synthesized by transmitting the image to the terminal device and the at least one terminal device.
【請求項5】少なくとも1つ以上の前記端末装置から前
景画像を作成するための情報を少なくとも他の1つ以上
の前記端末装置に順々に伝送し、少なくとも1つ以上の
前記端末装置に映像情報で構成される背景画像情報を前
記端末支援装置から伝送し、少なくとも1つ以上の前記
端末装置で前景画像と背景画像情報とを合成することを
特徴とする請求項3記載の画像合成装置。
5. Information for creating a foreground image is transmitted from at least one or more of the terminal devices to at least one other of the at least one terminal device in sequence, and video is transmitted to the at least one or more of the terminal device. 4. The image synthesizing apparatus according to claim 3, wherein background image information composed of information is transmitted from the terminal support apparatus, and the foreground image and the background image information are synthesized by at least one or more of the terminal apparatuses.
【請求項6】端末装置からの前景画像作成するための情
報として、人物画像を用いることを特徴とする請求項
2、4または5のいずれかに記載の画像合成装置。
6. The image synthesizing apparatus according to claim 2, wherein a person image is used as information for creating a foreground image from the terminal device.
【請求項7】端末装置からの前景画像作成するための情
報として、似顔絵もしくは顔画像を用いることを特徴と
する請求項2、4または5のいずれかに記載の画像合成
装置。
7. The image synthesizing apparatus according to claim 2, wherein a portrait or a face image is used as the information for creating the foreground image from the terminal device.
【請求項8】画像を作成する対象物の固有情報を管理す
る対象物固有情報管理手段と、対象物間の位置情報を管
理する対象物間位置情報管理手段と、対象物間の相互干
渉の情報を管理する対象物間相互干渉情報管理手段と、
これら各手段を制御する画像合成制御手段とを具備する
ことを特徴とする請求項1または3記載の画像合成装
置。
8. An object-specific information management unit that manages the unique information of the objects for which an image is created, an inter-object position information management unit that manages position information between the objects, and mutual interference between the objects. Mutual interference information management means between objects for managing information,
An image synthesizing apparatus according to claim 1, further comprising image synthesizing control means for controlling each of these means.
【請求項9】端末装置の入出力手段から入力される映像
情報から、映像の特徴量を抽出する映像特徴量抽出手段
を端末制御手段に具備し、前記映像特徴抽出手段が管理
する情報に基づいて画像合成方法を制御することを特徴
とする請求項8記載の画像合成装置。
9. A terminal control means is provided with a video feature amount extraction means for extracting a video feature amount from video information input from an input / output means of a terminal device, and based on information managed by the video feature extraction means. 9. The image synthesizing apparatus according to claim 8, wherein the image synthesizing method is controlled according to the above method.
【請求項10】端末装置の入出力手段から入力される映
像情報から、映像の特徴量を抽出する映像特徴量抽出手
段を端末支援制御手段に具備し、前記映像特徴量抽出手
段が管理する情報に基づいて画像合成方法を制御するこ
とを特徴とする請求項8記載の画像合成装置。
10. The terminal support control means is provided with a video feature amount extraction means for extracting a video feature amount from the video information input from the input / output means of the terminal device, and the information managed by the video feature amount extraction means. The image synthesizing apparatus according to claim 8, wherein the image synthesizing method is controlled based on the above.
【請求項11】映像特徴量抽出手段は、映像の色相情報
を調べる色相特徴量抽出手段と、映像の輝度情報を調べ
る輝度特徴量抽出手段と、映像の彩度情報を調べる彩度
特徴量抽出手段のうち、少なくとも1つ以上の映像の特
徴量を抽出する手段を具備し、具備した映像の特徴量を
抽出する手段を制御、管理する映像特徴量抽出制御手段
から構成されることを特徴とする請求項9または10記
載の画像合成装置。
11. A video feature amount extraction means, a hue feature amount extraction means for checking the hue information of the video, a brightness feature amount extraction means for checking the luminance information of the video, and a saturation feature amount extraction for checking the saturation information of the video. Among the means, there is provided a means for extracting a feature amount of at least one video image, and a video feature amount extraction control means for controlling and managing the means for extracting the feature amount of the equipped video image. The image synthesizing device according to claim 9 or 10.
【請求項12】端末装置の入出力手段から入力される音
声情報から、音声の特徴量を抽出する音声特徴量抽出手
段を端末制御手段に具備し、前記音声特徴量抽出手段が
管理する情報に基づいて画像合成方法を制御することを
特徴とする請求項8記載の画像合成装置。
12. The terminal control means is provided with a voice feature amount extraction means for extracting a voice feature amount from voice information input from the input / output means of the terminal device, and the information managed by the voice feature amount extraction means is provided. The image synthesizing apparatus according to claim 8, wherein the image synthesizing method is controlled based on the image synthesizing method.
【請求項13】端末装置の入出力手段から入力される音
声情報から、音声の特徴量を抽出する音声特徴量抽出手
段を端末支援制御手段に具備し、前記音声特徴量抽出手
段が管理する情報に基づいて画像合成方法を制御するこ
とを特徴とする請求項8記載の画像合成装置。
13. A terminal support control unit is provided with a voice feature amount extraction unit for extracting a voice feature amount from voice information input from an input / output unit of a terminal device, and information managed by the voice feature amount extraction unit. The image synthesizing apparatus according to claim 8, wherein the image synthesizing method is controlled based on the above.
【請求項14】音声特徴量抽出手段は、音声の大きさを
調べる音量抽出手段と、音声のピッチを調べる音声ピッ
チ抽出手段と、利用者の発話命令を調べる発話命令抽出
手段のうち、少なくとも1つ以上の音声の特徴量を抽出
する手段から構成されることを特徴とする請求項12ま
たは13記載の画像合成装置。
14. The voice feature amount extraction means is at least one of a volume extraction means for checking the volume of voice, a voice pitch extraction means for checking the pitch of voice, and a utterance command extraction means for checking the utterance command of the user. 14. The image synthesizing apparatus according to claim 12, wherein the image synthesizing apparatus comprises a unit for extracting one or more voice feature amounts.
JP23102894A 1994-09-27 1994-09-27 Image synthesis device Expired - Lifetime JP3533717B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23102894A JP3533717B2 (en) 1994-09-27 1994-09-27 Image synthesis device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23102894A JP3533717B2 (en) 1994-09-27 1994-09-27 Image synthesis device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004008934A Division JP2004164668A (en) 2004-01-16 2004-01-16 Image generation device and image generation method

Publications (2)

Publication Number Publication Date
JPH0898089A true JPH0898089A (en) 1996-04-12
JP3533717B2 JP3533717B2 (en) 2004-05-31

Family

ID=16917141

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23102894A Expired - Lifetime JP3533717B2 (en) 1994-09-27 1994-09-27 Image synthesis device

Country Status (1)

Country Link
JP (1) JP3533717B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998057718A1 (en) * 1997-06-18 1998-12-23 Two Way Tv Ltd. Method and apparatus for generating a display signal
JP2004506996A (en) * 2000-08-22 2004-03-04 バーチャルメディア カンパニー リミテッド Apparatus and method for generating synthetic face image based on form information of face image
US8065701B2 (en) 1997-04-30 2011-11-22 Sony Corporation Information broadcasting method, information broadcasting system, and receiving apparatus for transmitting data other than program through digital broadcasting
US9717988B2 (en) 2011-11-07 2017-08-01 Square Enix Holdings Co., Ltd. Rendering system, rendering server, control method thereof, program, and recording medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8065701B2 (en) 1997-04-30 2011-11-22 Sony Corporation Information broadcasting method, information broadcasting system, and receiving apparatus for transmitting data other than program through digital broadcasting
WO1998057718A1 (en) * 1997-06-18 1998-12-23 Two Way Tv Ltd. Method and apparatus for generating a display signal
US7095450B1 (en) 1997-06-18 2006-08-22 Two Way Media Limited Method and apparatus for generating a display signal
JP2004506996A (en) * 2000-08-22 2004-03-04 バーチャルメディア カンパニー リミテッド Apparatus and method for generating synthetic face image based on form information of face image
US9717988B2 (en) 2011-11-07 2017-08-01 Square Enix Holdings Co., Ltd. Rendering system, rendering server, control method thereof, program, and recording medium

Also Published As

Publication number Publication date
JP3533717B2 (en) 2004-05-31

Similar Documents

Publication Publication Date Title
US11895426B2 (en) Method and apparatus for capturing video, electronic device and computer-readable storage medium
WO2020090786A1 (en) Avatar display system in virtual space, avatar display method in virtual space, and computer program
JPH07255044A (en) Animated electronic conference room and video conference system and method
JP2005182843A (en) Operation method of virtual reality circuit
TW201308195A (en) Communicating between a virtual area and a physical space
JP3623415B2 (en) Avatar display device, avatar display method and storage medium in virtual space communication system
JP3660198B2 (en) Three-dimensional shared virtual space display method, three-dimensional shared virtual space communication system and method, virtual conference system, and recording medium recording user terminal program therefor
US11363088B1 (en) Methods and apparatus for receiving virtual relocation during a network conference
EP4161067A1 (en) A method, an apparatus and a computer program product for video encoding and video decoding
CN114697755A (en) Virtual scene information interaction method, device, equipment and storage medium
US8937635B2 (en) Device, method and system for real-time screen interaction in video communication
JP3533717B2 (en) Image synthesis device
CN113014960B (en) Method, device and storage medium for online video production
JP3139615B2 (en) Three-dimensional virtual space sound communication method and apparatus
JPH10260808A (en) Video display system, and presence improving method in the system
JP3276057B2 (en) 3D virtual world display system
JP2004164668A (en) Image generation device and image generation method
WO2021187647A1 (en) Method and system for expressing avatar imitating user's motion in virtual space
JP3296471B2 (en) Sound field control method and device
Rauterberg New directions in User-System Interaction: augmented reality, ubiquitous and mobile computing
US11601482B2 (en) Methods and apparatus for performing virtual relocation during a network conference
JP7409467B1 (en) Virtual space generation device, virtual space generation program, and virtual space generation method
JP3184028B2 (en) People image display system
KR102526599B1 (en) Method of operating performance server for non-face to face reactive performance
JPH07184180A (en) Conference environment controller

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040217

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040301

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080319

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090319

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100319

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110319

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110319

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120319

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 9