JP2591439B2 - テレビ会議用動画像合成方式 - Google Patents

テレビ会議用動画像合成方式

Info

Publication number
JP2591439B2
JP2591439B2 JP5232217A JP23221793A JP2591439B2 JP 2591439 B2 JP2591439 B2 JP 2591439B2 JP 5232217 A JP5232217 A JP 5232217A JP 23221793 A JP23221793 A JP 23221793A JP 2591439 B2 JP2591439 B2 JP 2591439B2
Authority
JP
Japan
Prior art keywords
participant
moving image
point
image
video conference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP5232217A
Other languages
English (en)
Other versions
JPH0767035A (ja
Inventor
鋼一 柴垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
Nippon Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Electric Co Ltd filed Critical Nippon Electric Co Ltd
Priority to JP5232217A priority Critical patent/JP2591439B2/ja
Publication of JPH0767035A publication Critical patent/JPH0767035A/ja
Application granted granted Critical
Publication of JP2591439B2 publication Critical patent/JP2591439B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はテレビ会議用動画像合成
方式に係り、特に臨場感の高いテレビ会議用動画像合成
方式に関するものである。
【0002】
【従来の技術】従来のテレビ会議システムにおいては、
図5に示すように、1台のモニタ80に各地点A,B,
C,Dの参加者a,b,c,dの動画像を相対的な位置
関係に配慮せずに、マルチウィンドウ表示したり、図6
に示すように、各地点A,B,C,Dの参加者a,b,
c,dの動画像を複数個のモニタ81〜83に別々に写
し出している。84は会議場に備えられたテーブルであ
る。
【0003】
【発明が解決しようとする課題】この従来のテレビ会議
システムでは、上述のように各参加者の動画像を1台の
モニタにマルチウィンドウ表示したり、複数個のモニタ
に別々に写し出しているため、参加者が1箇所に集まっ
て行う現実の会議ではあり得ない不自然な参加者配置に
なったり、参加者の視線の一致が実現されなかったり、
単一の会議空間が実現されないので、現実の会議空間と
は極めて異なるものになり、臨場感が感じられないとい
う問題があった。
【0004】本発明はかかる問題を解決するためになさ
れたもので、少ない画像情報量で現実の会議に近い参加
配置,参加者の視点から見える画像表示器能,テレビ会
議空間の単一性および連続性を有する臨場感の高いテレ
ビ会議を実現するテレビ会議用動画像合成方式を得るこ
とを目的とする。
【0005】
【課題を解決するための手段】本発明のテレビ会議用動
画像合成方式は、n個(n:2以上の任意の自然数)の
各地点における参加者が同一場所で会議をする際の空間
を仮想的に表わす会議空間を生成し、上記仮想的に表わ
す会議空間上にn個の各地点の参加者の位置を決定し、
第1の地点のテレビ会議端末には第1の地点の参加者を
写す(n−1)個の他地点の参加者用のカメラが仮想会
議空間上の(n−1)の他地点の参加者の位置に各々設
置され、第2の地点においてはこの第2の地点の参加者
の頭の動きを抽出し、第1の地点においてこの第1の地
点の参加者を写す第2の地点の参加者用のカメラの位置
この第2の地点の参加者の頭の動きに連動させ、第1
の地点の端末は上記(n−1)個の他地点の参加者用の
カメラによって写された第1の地点の参加者の動画像を
テレビ会議サービス提供装置に伝送し、このテレビ会議
サービス提供装置はn個の地点の端末から送られてくる
動画像を送り返す端末毎に束ね変えたうえで、参加者の
人物像を抽出し、そのまわりに背景画像を埋めることに
よって部分動画像を合成し、この部分動画像を各端末に
動画像領域として送り返し、画面の大部分を占める静止
領域は背景画像とし、この背景画像を上記テレビ会議サ
ービス提供装置がデータベースとして備えておき、テレ
ビ会議の始まる前に静止画像として各端末に伝送してお
き、各端末はテレビ会議の際に上記テレビ会議サービス
提供装置から送り返されてくる他地点の参加者の部分動
画像を仮想会議空間上の各参加者の位置にはめ込み、全
体の動画像を生成するようにしたものである。
【0006】
【作用】本発明においては、テレビ会議サービス提供装
置が各端末から送られてくる参加者の動画像から人物像
を抽出し、背景画像を埋め込み、部分的な動画像を生成
して各端末に送り返し、各端末においては予め送られて
いる画面の大部分を占める静止領域の画像に部分動画像
を埋め込むことによって全体の動画像を合成し、また、
参加者の頭の動きを抽出し、参加者の視点とカメラの位
置を連動させることによって参加者の視点から見える画
像表示を行うようにする。
【0007】
【実施例】つぎに本発明について図面を参照して説明す
る。図1,図2および図3は本発明によるテレビ会議用
動画像合成方式の一実施例の説明に供する説明図で、図
1は動画像合成を示したものであり、図2は参加者画像
合成を示し、図3は視点適応型画像表示を示したもので
ある。図4は本発明の一実施例のシステム構成を示すブ
ロック図である。まず、本発明のテレビ会議用動画像合
成方式における動画像合成を図1により説明する。テレ
ビ会議端末の各地点A,B,C,Dにおける参加者a,
b,c,dが同一場所で会議をする際の空間を仮想的に
表わす会議空間を生成し、その仮想会議空間上における
参加者a,b,c,dの位置を決める。
【0008】そして、この図1に示す地点Aのテレビ会
議端末(以下、テレビ会議端末を端末と略称する)には
参加者b用のCCDカメラ1,参加者用c用のCCDカ
メラ2,参加者d用のCCDカメラ3が仮想会議空間上
の参加者b,c,dの位置に各々設置され、地点Aの端
末はこれらのカメラによって写された参加者aの動画像
をサーバ(テレビ会議サービス提供装置)に伝送する。
サーバはこのテレビ会議端末の各地点A,B,C,Dか
ら送られてくる動画像を端末の地点Aに送り返す動画
像,端末の地点Bに送り返す動画像のように、送り返す
端末毎に分類し、各動画像から人物像を抽出し、そのま
わりに背景画像を埋めることによって部分動画像を合成
し、この部分動画像を端末の各地点A,B,C,Dに送
り返す。
【0009】そして、テレビ会議の画面の大部分を占め
る静止画領域4は背景画像とし、この背景はサーバがデ
ータベースとして備えておき、テレビ会議の始まる前に
静止画像として伝送しておく。端末の地点Aはテレビ会
議の行われている間は、サーバから送り返されてくる参
加者bの部分動画像5,参加者cの部分動画像6,参加
者dの部分動画像7を仮想会議空間上の各参加者の位置
にはめ込んで、テレビ会議用動画像を生成し、円柱モニ
タ8に出力する。9は動画像領域、10は参加者b用マ
イク、11は参加者c用マイク、12は参加者d用マイ
ク、13a,13bはスピーカである。
【0010】つぎに、本発明における参加者画像合成を
図2より説明する。サーバにおける部分動画合成はつぎ
のようにして行われる。地点Cの参加者a用カメラが捕
捉した参加者cの動画像21(参加者aの視点移動に合
わせて参加者a用カメラが移動しても、カメラの目標中
心位置は固定)から参加者cの人物像22を抽出し、そ
のまわりに背景静止画像23(データベース上の背景静
止画像使用)を埋めることによって端末の地点A用の参
加者cを写した部分合成動画像24を生成する。同様に
端末の地点A用の参加者bおよびcを写した部分合成動
画像25(地点Bの部分合成動画像はめ込み位置)およ
び26(地点Cの部分合成動画像はめ込み位置)を生成
する。ここで、矢印(イ)は人物像抽出背景合成を示
し、矢印(ロ)ははめ込み合成を示す。
【0011】そして、端末の地点Aにおけるトータル動
画像合成はつぎのようにして行われる。サーバから送り
返されてくる端末の地点A用の参加者bを写した部分合
成動画像25と端末の地点A用の参加者cを写した部分
合成動画像26および端末の地点A用の参加者dを写し
た部分合成画像27(地点Dの部分合成動画像はめ込み
位置)を仮想会議空間上の参加者b,c,dの各位置に
はめ込んで端末の地点Aのモニタに出力する動画像とす
る。
【0012】28は地点Cの背景画像を示し、29は動
画像領域(点線内)、30は動画像領域(点線内)、3
1は動画像領域(点線内)を示す。そして、机などの背
景画像である静止画領域(データベース上の背景静止画
像)にテーブル32を囲んだ参加者b,c,dを含む地
点Aのモニタ上のトータル合成画像が得られる。
【0013】つぎに、本発明における視点適応型画像表
示を図3により説明する。ここで、視点適応型画像表示
とは参加者の視点と他地点に備えられる上記参加者のた
めのカメラの位置を連動させ常に参加者の視点から見え
る画像を表示することである。これを利用すれば、体を
動かし視点を変えれば見る方向が変化するので、その分
だけ違って見える。
【0014】さて、地点Aの参加者aの視点41が移動
した場合には、地点Bの参加者bを写す参加者A用のカ
メラ42,地点Cの参加者cを写す参加者用A用のカメ
ラ43,地点Dの参加者dを写す参加者A用のカメラ4
4は参加者aの動きに合わせて移動する。このようにす
ることによって、視点が移動した場合にも常に参加者の
視点から見える画像を表示することができる。この図3
において、45は参加者b用カメラ、46は参加者c用
カメラ、47は参加者d用カメラである。48は視点の
移動を示し、49と50および51は参加者bと参加者
cおよび参加者dの各画像の変化を示す。52,53,
54は参加者a用カメラの移動を示し、55,56,5
7,58は半円柱モニタを示す。
【0015】つぎに、本発明の一実施例のシステム構成
を図4により説明する。端末の地点A60では参加者b
用のカメラ61によって写された参加者aの動画像,参
加者c用のカメラ62によって写された参加者aの動画
像,参加者d用のカメラ63によって写された参加者a
の動画像が多重化器64に送られる。この多重化器64
ではこれらの動画像が多重化され、ネットワーク72を
通ってサーバ73に送られる。
【0016】端末の地点D66では参加者用a用のカメ
ラ67によって写された参加者dの動画像,参加者b用
のカメラ68によって写された参加者dの動画像,参加
者c用のカメラ69によって写された参加者dの動画像
が多重化器70に送られる。この多重化器70ではこれ
らの動画像が多重化され、ネットワーク72を通ってサ
ーバ73に送られる。
【0017】つぎに、このサーバ73では、分離器74
において端末の各地点A,B,C,Dから送られてきた
多重化された動画像を分離し、人物像抽出器75におい
てその分離された各々の動画像から人物像を抽出する。
そして、部分動画像合成器76において各々の人物像に
背景画像を埋めることによって部分動画像を合成し、多
重化器77において端末の地点Aに送り返す動画像,端
末の地点Bに送り返す動画像,端末の地点Cに送り返す
動画像,端末の地点Dに送り返す動画像というように送
り返す端末毎に別々に多重化する。
【0018】多重化された動画像はネットワーク72を
通して端末の各地点A,B,C,Dに送られる。端末の
地点A,B,C,Dではトータル動画像合成器65,・
・・71において予め送られている背景画像に他地点の
参加者の部分動画像を仮想会議空間上の各参加者の位置
にはめ込み、動画像を合成し、モニタに出力する。
【0019】
【発明の効果】以上説明したように本発明は、サーバが
各端末から送られてくる参加者の動画像から人物像を抽
出し、背景画像を埋め込み、部分的な動画像を生成して
各端末に送り返し、各端末においては予め送られている
画面の大部分を占める静止領域の画像に部分動画像を埋
め込むことによって全体の動画像を合成し、また、参加
者の頭の動きを抽出し、参加者の視点とカメラの位置を
連動させることによって参加者の視点から見える画像表
示を行うようにしたので、少ない画像情報量により、テ
レビ会議空間の単一性,連続性,現実の会議に近い参加
者の配置,広視野性,参加者の視点から見える画像表示
を実現でき、現実の会議に近い臨場感の高いテレビ会議
を実現することができるという効果を有する。
【図面の簡単な説明】
【図1】本発明によるテレビ会議用動画像合成方式の一
実施例の動画合成を示す説明図である。
【図2】本発明の一実施例の参加者画像合成を示す説明
図である。
【図3】本発明の一実施例の視野適応型画像表示を示す
説明図である。
【図4】本発明の一実施例のシステム構成を示すブロッ
ク図である。
【図5】従来のテレビ会議における1モニタ内でのマル
チウィンドウ表示の一例を示す説明図である。
【図6】従来のテレビ会議における複数個のモニタによ
る表示の例を示す説明図である。
【符号の説明】
1 参加者用b用CCDカメラ 2 参加者用c用CCDカメラ 3 参加者用d用CCDカメラ 4 静止画領域 5 参加者bの動画像 6 参加者cの動画像 7 参加者dの動画像 8 円柱モニタ 21 参加者cの動画像 22 参加者cの人物像 23 背景静止画像 24 部分合成動画像 25 部分合成動画像 26 部分合成動画像 27 部分合成動画像 73 テレビ会議サービス提供装置

Claims (3)

    (57)【特許請求の範囲】
  1. 【請求項1】 テレビ会議用動画像合成方式において、
    n個(n:2以上の任意の自然数)の各地点における参
    加者が同一場所で会議をする際の空間を仮想的に表わす
    会議空間を生成し、前記仮想的に表わす会議空間上にn
    個の各地点の参加者の位置を決定し、第1の地点のテレ
    ビ会議端末には第1の地点の参加者を写す(n−1)個
    の他地点の参加者用のカメラが仮想会議空間上の(n−
    1)の他地点の参加者の位置に各々設置され、第2の地
    点においてはこの第2の地点の参加者の頭の動きを抽出
    、第1の地点においてこの第1の地点の参加者を写す
    第2の地点の参加者用のカメラの位置前記第2の地点
    の参加者の頭の動きに連動させ、第1の地点の端末は前
    記(n−1)個の他地点の参加者用のカメラによって写
    された第1の地点の参加者の動画像をテレビ会議サービ
    ス提供装置に伝送し、このテレビ会議サービス提供装置
    はn個の地点の端末から送られてくる動画像を送り返す
    端末毎に束ね変えたうえで、参加者の人物像を抽出し、
    そのまわりに背景画像を埋めることによって部分動画像
    を合成し、この部分動画像を各端末に動画像領域として
    送り返し、画面の大部分を占める静止領域は背景画像と
    し、この背景画像を前記テレビ会議サービス提供装置が
    データベースとして備えておき、テレビ会議の始まる前
    に静止画像として各端末に伝送しておき、各端末はテレ
    ビ会議の際に前記テレビ会議サービス提供装置から送り
    返されてくる他地点の参加者の部分動画像を仮想会議空
    間上の各参加者の位置にはめ込み、全体の動画像を生成
    するようにしたことを特徴とするテレビ会議用動画像合
    成方式。
  2. 【請求項2】 請求項1記載のテレビ会議用動画像合成
    方式において、n個(n:4以上の任意の自然数)の各
    テレビ会議端末の第1地点では第2の参加者用カメラに
    よって写された第1の参加者の動画像と第3の参加者用
    カメラによって写された第1の参加者の動画像および第
    nの参加者によって写された第1の参加者の動画像を入
    力としこれらの動画像を多重化する第1の多重化器と、
    第nの地点では第1の参加者用カメラによって写された
    第nの参加者の動画像と第2の参加者用カメラによって
    写された第nの参加者の動画像および第3の参加者用カ
    メラによって写された第nの参加者の動画像を入力とし
    これらの動画像を多重化する第2の多重化器と、この第
    1および第2の多重化器の各出力をネットワークを介し
    て入力とするテレビ会議サービス提供装置とから構成さ
    れることを特徴とするテレビ会議用動画像合成方式。
  3. 【請求項3】 請求項2記載のテレビ会議用動画像合成
    方式において、テレビ会議サービス提供装置はテレビ会
    議端末の第1〜第n地点から送られてきた多重化された
    動画像を分離する分離器と、この分離器で分離された各
    々の動画像から人物像を抽出し各々の人物像に背景画像
    を埋めることによって部分動画像を合成する部分動画像
    合成器と、この部分動画像合成器の各出力を入力とし各
    送り返す端末毎に別々に多重化する多重化器を有し、こ
    の多重化器で多重化された動画像はネットワークを通し
    て第1〜第n地点に送られこの第1〜第n地点の各テレ
    ビ会議端末ではトータル動画像合成器において予め送ら
    れている背景画像に他地点の参加者の部分動画像を仮想
    会議空間上の各参加者の位置にはめ込み動画像を合成
    し、モニタに出力するようにしたことを特徴とするテレ
    ビ会議用動画像合成方式。
JP5232217A 1993-08-26 1993-08-26 テレビ会議用動画像合成方式 Expired - Fee Related JP2591439B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5232217A JP2591439B2 (ja) 1993-08-26 1993-08-26 テレビ会議用動画像合成方式

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5232217A JP2591439B2 (ja) 1993-08-26 1993-08-26 テレビ会議用動画像合成方式

Publications (2)

Publication Number Publication Date
JPH0767035A JPH0767035A (ja) 1995-03-10
JP2591439B2 true JP2591439B2 (ja) 1997-03-19

Family

ID=16935822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5232217A Expired - Fee Related JP2591439B2 (ja) 1993-08-26 1993-08-26 テレビ会議用動画像合成方式

Country Status (1)

Country Link
JP (1) JP2591439B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100316639B1 (ko) 1998-05-22 2002-01-16 윤종용 다지점 영상회의 시스템 및 그에 따른 구현방법
JP2000165831A (ja) 1998-11-30 2000-06-16 Nec Corp 多地点テレビ会議システム
JPWO2007122907A1 (ja) * 2006-03-29 2009-09-03 パナソニック株式会社 画像コーデック装置
US9532001B2 (en) * 2008-07-10 2016-12-27 Avaya Inc. Systems, methods, and media for providing selectable video using scalable video coding

Also Published As

Publication number Publication date
JPH0767035A (ja) 1995-03-10

Similar Documents

Publication Publication Date Title
EP1187480B1 (en) Teleconferencing method and system
KR100316639B1 (ko) 다지점 영상회의 시스템 및 그에 따른 구현방법
US7616226B2 (en) Video conference system and a method for providing an individual perspective view for a participant of a video conference between multiple participants
JP2000165831A (ja) 多地点テレビ会議システム
JPH07154763A (ja) 在席テレビ会議装置
US20170237941A1 (en) Realistic viewing and interaction with remote objects or persons during telepresence videoconferencing
KR102191050B1 (ko) 가상 카메라를 이용한 개인화된 쇼핑몰 시스템
WO2018214746A1 (zh) 一种视频会议实现方法、装置、系统及计算机存储介质
CN106534618B (zh) 伪现场解说实现方法、装置和系统
JP3587106B2 (ja) 視線一致テレビ会議装置
JPH09271006A (ja) 多地点テレビ会議装置
JP2003333572A (ja) 仮想観客形成装置およびその方法、仮想観客形成受信装置およびその方法ならびに仮想観客形成プログラム
JP2591439B2 (ja) テレビ会議用動画像合成方式
JP2009239762A (ja) テレビ会議システム、テレビ会議方法
JPH0670040A (ja) 多地点テレビ会議システムにおける表示形態変更方式
EP4106326A1 (en) Multi-camera automatic framing
JP2011066745A (ja) 端末装置、通信方法および通信システム
JP4126835B2 (ja) 画像合成装置
De Silva et al. A Multiple person eye contact (MPEC) teleconferencing system
JPH0746564A (ja) テレビ会議装置
JP2008301399A (ja) テレビ会議装置、テレビ会議方法、テレビ会議システム、コンピュータプログラム及び記録媒体
JPH09163336A (ja) テレビ会議システム
KR20020070015A (ko) 상하좌우 360도 파노라믹 또는 구면 동영상 압축 및전송을 위한 방법 및 장치
JPH09261608A (ja) テレビ会議端末装置およびテレビ会議画像処理装置
JP3184028B2 (ja) 人物映像表示システム

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071219

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081219

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091219

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091219

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101219

Year of fee payment: 14

LAPS Cancellation because of no payment of annual fees