JPH11355804A - ネットワーク会議画像処理装置 - Google Patents
ネットワーク会議画像処理装置Info
- Publication number
- JPH11355804A JPH11355804A JP10156400A JP15640098A JPH11355804A JP H11355804 A JPH11355804 A JP H11355804A JP 10156400 A JP10156400 A JP 10156400A JP 15640098 A JP15640098 A JP 15640098A JP H11355804 A JPH11355804 A JP H11355804A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- viewpoint
- conference
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
(57)【要約】
【課題】 構成を容易にし、かつ、視点の移動に対応し
た視線一致を図り、更に、画像品質が向上して自然な画
質を得るとともに、自然な対話による会議を可能にす
る。 【解決手段】 ビデオカメラ２ａ，２ｂ、ディスプレイ
装置３、画像処理部４、画像合成部５、視点検出部６、
画像表示処理部７、画像作成部８、表示制御部９及び伝
送路１０を有し、他のネットワーク会議画像処理装置と
の間で画像情報、視点情報及び画像制御情報を伝送し、
この情報によって会議者の視点の位置変化に対応して伝
送する画像の撮影位置及び撮影範囲を変化させ、会議者
の視点の移動に対応して、その視線を一致させる。
た視線一致を図り、更に、画像品質が向上して自然な画
質を得るとともに、自然な対話による会議を可能にす
る。 【解決手段】 ビデオカメラ２ａ，２ｂ、ディスプレイ
装置３、画像処理部４、画像合成部５、視点検出部６、
画像表示処理部７、画像作成部８、表示制御部９及び伝
送路１０を有し、他のネットワーク会議画像処理装置と
の間で画像情報、視点情報及び画像制御情報を伝送し、
この情報によって会議者の視点の位置変化に対応して伝
送する画像の撮影位置及び撮影範囲を変化させ、会議者
の視点の移動に対応して、その視線を一致させる。
Description
【０００１】
【発明の属する技術分野】本発明は、遠隔地との間でビ
デオカメラ及びディスプレイ装置を用い、画像／音声デ
ータを通信ネットワークで伝送して会議を行うネットワ
ーク会議画像処理装置に関し、特に、画面の会議者と対
話する際の視線が一致（アイコンタクト）するネットワ
ーク会議画像処理装置に関する。
デオカメラ及びディスプレイ装置を用い、画像／音声デ
ータを通信ネットワークで伝送して会議を行うネットワ
ーク会議画像処理装置に関し、特に、画面の会議者と対
話する際の視線が一致（アイコンタクト）するネットワ
ーク会議画像処理装置に関する。
【０００２】
【従来の技術】従来、この種のネットワーク会議画像処
理装置では、画面の会議者と向かい合って視線一致（ア
イコンタクト）による対話が可能なように、その制御が
行われる（例えば、特開平８−１９５９４５号公報
例）。このような制御を行う装置では、ディスプレイ装
置の背面にビデオカメラを配置して、ディスプレイ装置
に対面する会議者の視線と、ディスプレイ装置に映し出
される会議者との視線が一致するようにしている。
理装置では、画面の会議者と向かい合って視線一致（ア
イコンタクト）による対話が可能なように、その制御が
行われる（例えば、特開平８−１９５９４５号公報
例）。このような制御を行う装置では、ディスプレイ装
置の背面にビデオカメラを配置して、ディスプレイ装置
に対面する会議者の視線と、ディスプレイ装置に映し出
される会議者との視線が一致するようにしている。
【０００３】この装置では、ディスプレイ装置の背面か
らディスプレイ装置に対面する会議者をビデオカメラで
撮影するため、ディスプレイ装置を透過して会議者の画
像光をビデオカメラで取り込む必要があり、特殊な汎用
性のないディスプレイ装置を必要とする。また、ディス
プレイ装置の前面にハーフミラーなどを設けて、会議者
がディスプレイ装置上の画像を目視できるようにし、か
つ、ディスプレイ装置全面の会議者をハーフミラー、光
り屈折装置（プリズム）などを配置してディスプレイ装
置の背面に設けたビデオカメラで撮影する必要があり、
その構成が複雑である。
らディスプレイ装置に対面する会議者をビデオカメラで
撮影するため、ディスプレイ装置を透過して会議者の画
像光をビデオカメラで取り込む必要があり、特殊な汎用
性のないディスプレイ装置を必要とする。また、ディス
プレイ装置の前面にハーフミラーなどを設けて、会議者
がディスプレイ装置上の画像を目視できるようにし、か
つ、ディスプレイ装置全面の会議者をハーフミラー、光
り屈折装置（プリズム）などを配置してディスプレイ装
置の背面に設けたビデオカメラで撮影する必要があり、
その構成が複雑である。
【０００４】また、ディスプレイ装置の両側に配置され
た二台のビデオカメラの出力画像を処理してディスプレ
イ装置に対面する会議者の視線とディスプレイ装置に映
し出される会議者との視線が一致するように制御する例
がある（例えば、特開平２−５８４８４号公報例）。こ
の装置では、二台のビデオカメラの出力画像を処理して
おり、複雑な画像処理が必要になって、その画像品質が
劣化し、自然な画像が得られ難い。
た二台のビデオカメラの出力画像を処理してディスプレ
イ装置に対面する会議者の視線とディスプレイ装置に映
し出される会議者との視線が一致するように制御する例
がある（例えば、特開平２−５８４８４号公報例）。こ
の装置では、二台のビデオカメラの出力画像を処理して
おり、複雑な画像処理が必要になって、その画像品質が
劣化し、自然な画像が得られ難い。
【０００５】また、このようにディスプレイ装置に対面
する会議者の視線とディスプレイ装置に映し出される会
議者との視線が一致する制御を行う例として、特開平９
−２３４４９号「実写映像及び３次元モデル合成装置」
公報及び特開平６−９０４４５号「映像入出力装置」公
報で開示されている例が周知である。
する会議者の視線とディスプレイ装置に映し出される会
議者との視線が一致する制御を行う例として、特開平９
−２３４４９号「実写映像及び３次元モデル合成装置」
公報及び特開平６−９０４４５号「映像入出力装置」公
報で開示されている例が周知である。
【０００６】特開平９−２３４４９号公報従来例は、二
つのカメラの撮影位置（視点）の一致を判定し、一致し
ていない場合に二つのビデオカメラの撮影位置の一方の
画像を表示している。また、特開平６−９０４４５号公
報従来例は、テレビ電話利用者の視線を強制的に一致さ
せている。また、二つのビデオカメラで撮影した画像を
三次元形状に生成し、これをレンダリンクして画像を生
成している。この二つの公報従来例は、いずれも視点の
移動に伴う表示画像における視点位置の検出が出来ない
ため、より自然な視線一致による会議ができにくいもの
である。
つのカメラの撮影位置（視点）の一致を判定し、一致し
ていない場合に二つのビデオカメラの撮影位置の一方の
画像を表示している。また、特開平６−９０４４５号公
報従来例は、テレビ電話利用者の視線を強制的に一致さ
せている。また、二つのビデオカメラで撮影した画像を
三次元形状に生成し、これをレンダリンクして画像を生
成している。この二つの公報従来例は、いずれも視点の
移動に伴う表示画像における視点位置の検出が出来ない
ため、より自然な視線一致による会議ができにくいもの
である。
【０００７】
【発明が解決しようとする課題】このように上記従来例
では、構成が複雑であり、かつ、画像品質が劣化し、自
然な画質を得にくい。また、視点の移動（位置変化）に
対応した視線一致による自然な対話による会議が出来な
いという欠点があった。
では、構成が複雑であり、かつ、画像品質が劣化し、自
然な画質を得にくい。また、視点の移動（位置変化）に
対応した視線一致による自然な対話による会議が出来な
いという欠点があった。
【０００８】本発明は、このような従来の技術における
課題を解決するものであり、慣用的なビデオカメラ及び
ディスプレイ装置を用いて、その構成が容易となり、か
つ、視点の移動に対応した会議者間の視線一致が可能に
なると共に、画像品質が向上し、自然な画質による会議
が可能なネットワーク会議画像処理装置の提供を目的と
する。
課題を解決するものであり、慣用的なビデオカメラ及び
ディスプレイ装置を用いて、その構成が容易となり、か
つ、視点の移動に対応した会議者間の視線一致が可能に
なると共に、画像品質が向上し、自然な画質による会議
が可能なネットワーク会議画像処理装置の提供を目的と
する。
【０００９】
【課題を解決するための手段】上記課題を達成するため
に、本発明のネットワーク会議画像処理装置は、撮影画
像及び会話音声を伝送し、かつ、表示画像と対面して会
議を行うものであり、他のネットワーク会議画像処理装
置との間で画像情報、視点情報及び画像制御情報を伝送
し、この情報によって会議者の視点の位置変化に対応し
て伝送する画像の撮影位置及び撮影範囲を変化させ、視
点の移動に対応して視線を一致させる会議画像処理手段
を備える構成としてある。
に、本発明のネットワーク会議画像処理装置は、撮影画
像及び会話音声を伝送し、かつ、表示画像と対面して会
議を行うものであり、他のネットワーク会議画像処理装
置との間で画像情報、視点情報及び画像制御情報を伝送
し、この情報によって会議者の視点の位置変化に対応し
て伝送する画像の撮影位置及び撮影範囲を変化させ、視
点の移動に対応して視線を一致させる会議画像処理手段
を備える構成としてある。
【００１０】また、前記画像の撮影位置及び撮影範囲の
変化が、少なくとも二つの視点から撮影された画像を処
理し、この二つの視点とは別の視点から撮影した任意画
像を生成した場合であり、前記画像情報が、他のネット
ワーク会議画像処理装置の表示画面上に表示される二次
元情報であり、視点情報は、前記画像情報の画像上にお
ける視点位置を示す情報であり、画像制御情報を、表示
画面上の画像位置、大きさ、及び、画像情報の三次元空
間における撮影領域を示す情報とする構成としてある。
変化が、少なくとも二つの視点から撮影された画像を処
理し、この二つの視点とは別の視点から撮影した任意画
像を生成した場合であり、前記画像情報が、他のネット
ワーク会議画像処理装置の表示画面上に表示される二次
元情報であり、視点情報は、前記画像情報の画像上にお
ける視点位置を示す情報であり、画像制御情報を、表示
画面上の画像位置、大きさ、及び、画像情報の三次元空
間における撮影領域を示す情報とする構成としてある。
【００１１】更に、前記会議画像処理手段として、複数
の撮影位置から会議者を撮影した画像情報を出力する撮
影部と、撮影部からの画像情報を処理して会議者の三次
元画像を合成した三次元画像情報を伝送路を通じて他の
ネットワーク会議画像処理装置へ送出する画像合成部
と、画像合成部からの三次元画像から会議者の視点を検
出した視点情報を伝送路を通じて他のネットワーク会議
画像処理装置へ送出する視点検出部と、画像合成部から
の三次元画像を任意の撮影位置から撮影して画像に生成
した画像情報を伝送路通じて他のネットワーク会議画像
処理装置へ送出する画像作成部と、伝送路を通じて受信
した画像情報における画像の表示位置を決定した画像信
号を出力し、かつ、画像作成部及び画像表示処理部での
動作処理のための画像制御情報を受信して送出する受信
処理部とを備える構成としてある。
の撮影位置から会議者を撮影した画像情報を出力する撮
影部と、撮影部からの画像情報を処理して会議者の三次
元画像を合成した三次元画像情報を伝送路を通じて他の
ネットワーク会議画像処理装置へ送出する画像合成部
と、画像合成部からの三次元画像から会議者の視点を検
出した視点情報を伝送路を通じて他のネットワーク会議
画像処理装置へ送出する視点検出部と、画像合成部から
の三次元画像を任意の撮影位置から撮影して画像に生成
した画像情報を伝送路通じて他のネットワーク会議画像
処理装置へ送出する画像作成部と、伝送路を通じて受信
した画像情報における画像の表示位置を決定した画像信
号を出力し、かつ、画像作成部及び画像表示処理部での
動作処理のための画像制御情報を受信して送出する受信
処理部とを備える構成としてある。
【００１２】また、前記画像合成部において、会議者の
顔の画像の特徴のみの画像処理によって三次元画像を作
成し、視点検出部において、画像合成部で作成した三次
元画像中の視点位置を三次元画像及び、この元になる撮
影画像から検出し、更に、画像作成部において、撮影位
置を他のネットワーク会議画像処理装置から受信した視
点情報と連動して処理する構成としてある。
顔の画像の特徴のみの画像処理によって三次元画像を作
成し、視点検出部において、画像合成部で作成した三次
元画像中の視点位置を三次元画像及び、この元になる撮
影画像から検出し、更に、画像作成部において、撮影位
置を他のネットワーク会議画像処理装置から受信した視
点情報と連動して処理する構成としてある。
【００１３】更に、前記受信処理部として、会議者の画
像を映し出す画像表示部と、伝送路を通じて受信した画
像情報における画像の表示位置を決定した画像信号を画
像表示部に出力する画像表示処理部と、画像作成部及び
画像表示処理部での動作処理のための画像制御情報を受
信して送出する表示制御部とを備える構成としてある。
像を映し出す画像表示部と、伝送路を通じて受信した画
像情報における画像の表示位置を決定した画像信号を画
像表示部に出力する画像表示処理部と、画像作成部及び
画像表示処理部での動作処理のための画像制御情報を受
信して送出する表示制御部とを備える構成としてある。
【００１４】また、他の一つのネットワーク会議画像処
理装置との間で伝送路を通じて画像情報、視点情報及び
画像制御情報を送受信する通信制御装置を更に備えると
共に、複数のネットワーク会議画像処理装置との間で通
信ネットワークを通じて画像情報、視点情報及び画像制
御情報を送受信する通信制御装置を備える構成としてあ
る。更に、通信ネットワークをＩＳＤＮとする構成とし
てある。
理装置との間で伝送路を通じて画像情報、視点情報及び
画像制御情報を送受信する通信制御装置を更に備えると
共に、複数のネットワーク会議画像処理装置との間で通
信ネットワークを通じて画像情報、視点情報及び画像制
御情報を送受信する通信制御装置を備える構成としてあ
る。更に、通信ネットワークをＩＳＤＮとする構成とし
てある。
【００１５】また、前記画像情報、視点情報及び画像制
御情報を帯域圧縮符号化処理して送受信するための圧縮
処理部を更に備える構成としてある。
御情報を帯域圧縮符号化処理して送受信するための圧縮
処理部を更に備える構成としてある。
【００１６】このような発明のネットワーク会議画像処
理装置は、慣用的（例えば、市販製品）なビデオカメラ
及びディスプレイ装置を用いて、画像の撮影位置及び撮
影範囲を変化させ、会議者の視点の移動に対応した視線
一致を図っている。したがって、特殊なビデオカメラや
ディスプレイ装置を必要とせず、その構成が容易であ
る。
理装置は、慣用的（例えば、市販製品）なビデオカメラ
及びディスプレイ装置を用いて、画像の撮影位置及び撮
影範囲を変化させ、会議者の視点の移動に対応した視線
一致を図っている。したがって、特殊なビデオカメラや
ディスプレイ装置を必要とせず、その構成が容易であ
る。
【００１７】また、画像の撮影位置及び撮影範囲の変化
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。したがって、会議者の視点の移動に対
応した視線一致が可能になり、その自然な対話による会
議が可能になる。
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。したがって、会議者の視点の移動に対
応した視線一致が可能になり、その自然な対話による会
議が可能になる。
【００１８】更に、画像合成時に会議者における顔画像
の特徴のみの最小限の画像処理によって三次元画像を作
成している。したがって、画像品質が劣化せずに、その
画像品質が向上して自然な画質による会議が可能にな
る。
の特徴のみの最小限の画像処理によって三次元画像を作
成している。したがって、画像品質が劣化せずに、その
画像品質が向上して自然な画質による会議が可能にな
る。
【００１９】
【発明の実施の形態】次に、本発明のネットワーク会議
画像処理装置の実施の形態を図面を参照して詳細に説明
する。図１は本発明のネットワーク会議画像処理装置の
実施形態における構成を示すブロック図である。図１に
おいて、このネットワーク会議画像処理装置は、撮影対
象の会議者Ｍを中心に撮影した画像情報Ｓ１０１ａ，Ｓ
１０１ｂをそれぞれ出力するビデオカメラ２ａ，２ｂ
と、伝送路１０を通じて図示しない他のネットワーク会
議画像処理装置から受信した画像信号Ｓ１１２の画像を
映し出すディスプレイ装置３と、画像処理部４とで概略
構成されている。
画像処理装置の実施の形態を図面を参照して詳細に説明
する。図１は本発明のネットワーク会議画像処理装置の
実施形態における構成を示すブロック図である。図１に
おいて、このネットワーク会議画像処理装置は、撮影対
象の会議者Ｍを中心に撮影した画像情報Ｓ１０１ａ，Ｓ
１０１ｂをそれぞれ出力するビデオカメラ２ａ，２ｂ
と、伝送路１０を通じて図示しない他のネットワーク会
議画像処理装置から受信した画像信号Ｓ１１２の画像を
映し出すディスプレイ装置３と、画像処理部４とで概略
構成されている。
【００２０】なお、図１において、このネットワーク会
議画像処理装置を複数台用いたネットワーク会議システ
ムが構築される。このようなネットワーク会議システム
は公衆回線や専用回線（ＩＳＤＮなどの高速デジタル回
線）又は、企業の事業所内に構築される構内回線（例え
ば、ローカルエリアネットワーク）などの通信ネットワ
ークを通じて会議を行うものである。このネットワーク
会議システムは、画像データ及び音声データを送受信す
るが、ここでは音声データの処理については公知の手段
を用いて行っている。
議画像処理装置を複数台用いたネットワーク会議システ
ムが構築される。このようなネットワーク会議システム
は公衆回線や専用回線（ＩＳＤＮなどの高速デジタル回
線）又は、企業の事業所内に構築される構内回線（例え
ば、ローカルエリアネットワーク）などの通信ネットワ
ークを通じて会議を行うものである。このネットワーク
会議システムは、画像データ及び音声データを送受信す
るが、ここでは音声データの処理については公知の手段
を用いて行っている。
【００２１】また、通信ネットワークとの通信規約（プ
ロトコル）による通信制御を実行する通信制御装置（例
えば、デジタル終端装置（ＤＳＵ）、ターミナルアダプ
タ（ＴＡ）、ネットワーク通信装置（ＮＣＵ）等）や、
画像データ及び音声データの変調、復調を処理する場合
の変復調装置、及び、ＩＳＤＮを使用した場合の帯域圧
縮符号化処理を行う圧縮処理部などについても、公知の
手段を用いて行っている。
ロトコル）による通信制御を実行する通信制御装置（例
えば、デジタル終端装置（ＤＳＵ）、ターミナルアダプ
タ（ＴＡ）、ネットワーク通信装置（ＮＣＵ）等）や、
画像データ及び音声データの変調、復調を処理する場合
の変復調装置、及び、ＩＳＤＮを使用した場合の帯域圧
縮符号化処理を行う圧縮処理部などについても、公知の
手段を用いて行っている。
【００２２】図１において、画像処理部４は、ビデオカ
メラ２ａ，２ｂからの画像情報Ｓ１０１ａ，Ｓ１０１ｂ
を処理して伝送路１０を通じて図示しない他のネットワ
ーク会議画像処理装置（図１と同様の構成）に、あとで
詳細に説明する視点情報信号Ｓ１０６、画像情報信号Ｓ
１０７及び画像制御情報信号Ｓ１０８を送信する。ま
た、画像処理部４は、図示しない他のネットワーク会議
画像処理装置から伝送路１０を通じて受信したあとで詳
細に説明する視点情報信号Ｓ１０９、画像情報信号Ｓ１
１１、画像制御情報信号Ｓ１１０を処理し、その画像信
号Ｓ１１２をディスプレイ装置３に送出する。
メラ２ａ，２ｂからの画像情報Ｓ１０１ａ，Ｓ１０１ｂ
を処理して伝送路１０を通じて図示しない他のネットワ
ーク会議画像処理装置（図１と同様の構成）に、あとで
詳細に説明する視点情報信号Ｓ１０６、画像情報信号Ｓ
１０７及び画像制御情報信号Ｓ１０８を送信する。ま
た、画像処理部４は、図示しない他のネットワーク会議
画像処理装置から伝送路１０を通じて受信したあとで詳
細に説明する視点情報信号Ｓ１０９、画像情報信号Ｓ１
１１、画像制御情報信号Ｓ１１０を処理し、その画像信
号Ｓ１１２をディスプレイ装置３に送出する。
【００２３】図１に示す画像処理部４の内部構成として
は、ビデオカメラ２ａ，２ｂからの画像情報Ｓ１０１
ａ，Ｓ１０１ｂを処理して三次元画像情報信号Ｓ１０２
を出力する画像合成部５と、視点検出部６とを有してい
る。この視点検出部６は、画像合成部５からの三次元画
像情報信号Ｓ１０２を処理して視点位置を検出すると共
に、撮影位置情報信号Ｓ１０４に基づいて、撮影位置で
撮影した画像上での視点位置を計算した視点情報信号Ｓ
１０６を伝送路１０を通じて図示しない他のネットワー
ク会議画像処理装置へ送信する。
は、ビデオカメラ２ａ，２ｂからの画像情報Ｓ１０１
ａ，Ｓ１０１ｂを処理して三次元画像情報信号Ｓ１０２
を出力する画像合成部５と、視点検出部６とを有してい
る。この視点検出部６は、画像合成部５からの三次元画
像情報信号Ｓ１０２を処理して視点位置を検出すると共
に、撮影位置情報信号Ｓ１０４に基づいて、撮影位置で
撮影した画像上での視点位置を計算した視点情報信号Ｓ
１０６を伝送路１０を通じて図示しない他のネットワー
ク会議画像処理装置へ送信する。
【００２４】また、この画像処理部４は、伝送路１０を
通じて受信した画像情報信号Ｓ１１１を画像配置情報信
号Ｓ１０５に基づいて処理し、この画像の表示位置を決
定した画像信号Ｓ１１２をディスプレイ装置３へ出力す
る画像表示処理部７と、画像属性情報信号Ｓ１０３及び
視点情報信号Ｓ１０９に基づいて撮影位置と画像の撮影
範囲を計算し、更に、この計算した撮影位置から三次元
画像情報信号Ｓ１０２を、撮影して得られる画像に生成
し、この画像情報信号Ｓ１０７を伝送路１０を通じて図
示しない他のネットワーク会議画像処理装置へ送信する
画像作成部８とを有している。
通じて受信した画像情報信号Ｓ１１１を画像配置情報信
号Ｓ１０５に基づいて処理し、この画像の表示位置を決
定した画像信号Ｓ１１２をディスプレイ装置３へ出力す
る画像表示処理部７と、画像属性情報信号Ｓ１０３及び
視点情報信号Ｓ１０９に基づいて撮影位置と画像の撮影
範囲を計算し、更に、この計算した撮影位置から三次元
画像情報信号Ｓ１０２を、撮影して得られる画像に生成
し、この画像情報信号Ｓ１０７を伝送路１０を通じて図
示しない他のネットワーク会議画像処理装置へ送信する
画像作成部８とを有している。
【００２５】更に、この画像処理部４には、伝送路１０
を通じて受信した画像制御情報信号Ｓ１１０を記憶し、
画像作成部８の処理動作のための画像属性情報信号Ｓ１
０３を出力し、かつ、画像の表示位置を管理するための
画像配置情報信号Ｓ１０５を出力すると共に、画像制御
情報信号Ｓ１０８を伝送路１０を通じて図示しない他の
ネットワーク会議画像処理装置へ送信する表示制御部９
とを有している。
を通じて受信した画像制御情報信号Ｓ１１０を記憶し、
画像作成部８の処理動作のための画像属性情報信号Ｓ１
０３を出力し、かつ、画像の表示位置を管理するための
画像配置情報信号Ｓ１０５を出力すると共に、画像制御
情報信号Ｓ１０８を伝送路１０を通じて図示しない他の
ネットワーク会議画像処理装置へ送信する表示制御部９
とを有している。
【００２６】上記の三次元画像情報信号Ｓ１０２は、三
次元空間に二枚の二次元画像を配置した状態を表す画像
情報である。また、画像属性情報信号Ｓ１０３は、ディ
スプレイ装置３の画面上における画像位置、及び、この
装置から伝送した図示しない他のネットワーク会議画像
処理装置のディスプレイ装置の画面上における画像位置
及び大きさ（画面サイズ）を示す情報である。更に、撮
影位置情報信号Ｓ１０４は、画像作成部８で使用される
撮影位置と撮影範囲の情報である。
次元空間に二枚の二次元画像を配置した状態を表す画像
情報である。また、画像属性情報信号Ｓ１０３は、ディ
スプレイ装置３の画面上における画像位置、及び、この
装置から伝送した図示しない他のネットワーク会議画像
処理装置のディスプレイ装置の画面上における画像位置
及び大きさ（画面サイズ）を示す情報である。更に、撮
影位置情報信号Ｓ１０４は、画像作成部８で使用される
撮影位置と撮影範囲の情報である。
【００２７】また、画像配置情報信号Ｓ１０５は、ディ
スプレイ装置３の画面上の表示画像の位置を示す情報で
ある。視点情報信号Ｓ１０６は、画像情報信号Ｓ１０７
の画像上における視点位置を示す情報である。更に、画
像情報信号Ｓ１０７は、伝送路１０を通じた図示しない
他のネットワーク会議画像処理装置のディスプレイ装置
の画面上に表示される二次元情報である。画像制御情報
信号Ｓ１０８は、ディスプレイ装置３の画面上の画像位
置、大きさ、画像情報信号Ｓ１０７の三次元空間におけ
る撮影領域を示す情報である。
スプレイ装置３の画面上の表示画像の位置を示す情報で
ある。視点情報信号Ｓ１０６は、画像情報信号Ｓ１０７
の画像上における視点位置を示す情報である。更に、画
像情報信号Ｓ１０７は、伝送路１０を通じた図示しない
他のネットワーク会議画像処理装置のディスプレイ装置
の画面上に表示される二次元情報である。画像制御情報
信号Ｓ１０８は、ディスプレイ装置３の画面上の画像位
置、大きさ、画像情報信号Ｓ１０７の三次元空間におけ
る撮影領域を示す情報である。
【００２８】また、視点情報信号Ｓ１０９は、画像情報
信号Ｓ１１１における画像上の視点位置を示す情報であ
る。画像制御情報信号Ｓ１１０は、伝送路１０を通じた
図示しない他のネットワーク会議画像処理装置のディス
プレイ装置の画面上の画像位置、大きさ、及び、画像情
報信号Ｓ１１１における三次元空間の撮影領域を示す情
報である。画像情報信号Ｓ１１１は、伝送路１０に図示
しない他のネットワーク会議画像処理装置が送信した二
次元画像情報である。
信号Ｓ１１１における画像上の視点位置を示す情報であ
る。画像制御情報信号Ｓ１１０は、伝送路１０を通じた
図示しない他のネットワーク会議画像処理装置のディス
プレイ装置の画面上の画像位置、大きさ、及び、画像情
報信号Ｓ１１１における三次元空間の撮影領域を示す情
報である。画像情報信号Ｓ１１１は、伝送路１０に図示
しない他のネットワーク会議画像処理装置が送信した二
次元画像情報である。
【００２９】次に、この実施形態の動作について説明す
る。図２は送信動作の処理手順を示すフローチャートで
あり、図３は受信動作の処理手順を示すフローチャート
である。図４はビデオカメラ２ａ，２ｂでの会議者Ｍの
撮影状態を示す上面図であり、図５は図４の撮影状態で
の画像を示す図である。また、図６は画像合成部５が作
成した三次元画像情報信号Ｓ１０２を、図４の撮影画像
と重ね合わせた状態を説明するための図であり、図７は
三次元画像情報信号Ｓ１０２を、ビデオカメラ２ａ，２
ｂの中間位置から目視した状態を説明するための図であ
る。
る。図２は送信動作の処理手順を示すフローチャートで
あり、図３は受信動作の処理手順を示すフローチャート
である。図４はビデオカメラ２ａ，２ｂでの会議者Ｍの
撮影状態を示す上面図であり、図５は図４の撮影状態で
の画像を示す図である。また、図６は画像合成部５が作
成した三次元画像情報信号Ｓ１０２を、図４の撮影画像
と重ね合わせた状態を説明するための図であり、図７は
三次元画像情報信号Ｓ１０２を、ビデオカメラ２ａ，２
ｂの中間位置から目視した状態を説明するための図であ
る。
【００３０】図８は図１に示す二台のネットワーク会議
画像処理装置Ａ，Ｂ（以下、適宜、左側装置、右側装置
と記載する）を伝送路１０を通じて接続した場合の状態
遷移を説明するための図である。この図８（ａ）の左右
装置Ａ，Ｂにおいて、画像表示部分１１ａ，１１ｂは、
ディスプレイ装置３の表示画面部分である。ここでは左
右装置Ａ，Ｂをそれぞれの会議者Ｍが利用して対話によ
る会議を行うものとする。ここでの基本視点位置１２
ａ，１２ｂは、会議者Ｍが画像表示部分の中心部を正面
から目視した際の視点位置である。更に、視点１３ａ，
１３ｂは会議者Ｍの視点中心を示している。
画像処理装置Ａ，Ｂ（以下、適宜、左側装置、右側装置
と記載する）を伝送路１０を通じて接続した場合の状態
遷移を説明するための図である。この図８（ａ）の左右
装置Ａ，Ｂにおいて、画像表示部分１１ａ，１１ｂは、
ディスプレイ装置３の表示画面部分である。ここでは左
右装置Ａ，Ｂをそれぞれの会議者Ｍが利用して対話によ
る会議を行うものとする。ここでの基本視点位置１２
ａ，１２ｂは、会議者Ｍが画像表示部分の中心部を正面
から目視した際の視点位置である。更に、視点１３ａ，
１３ｂは会議者Ｍの視点中心を示している。
【００３１】図８（ａ）は初期動作状態であり、図８
（ｂ）は、左側装置Ａを利用する会議者Ｍが基本視点位
置１２ａと視点一致した状態を表している。また、図８
（ｃ）は、図８（ｂ）状態における左側装置Ａの会議者
Ｍの画像を画像表示部分１１ｂで表示した状態であり、
右側装置Ｂの会議者Ｍが視点を基本視点位置１２ｂから
ｙ２だけＹ軸方向に移動した状態を表している。更に、
図８（ｄ）は、図８（ｃ）の状態にある右側装置Ｂの会
議者Ｍの画像を、画像表示部分１１ａに表示した状態に
おいて左側装置Ａを利用する会議者Ｍが基本視点位置１
２ａに視点を一致させている状態を表している。
（ｂ）は、左側装置Ａを利用する会議者Ｍが基本視点位
置１２ａと視点一致した状態を表している。また、図８
（ｃ）は、図８（ｂ）状態における左側装置Ａの会議者
Ｍの画像を画像表示部分１１ｂで表示した状態であり、
右側装置Ｂの会議者Ｍが視点を基本視点位置１２ｂから
ｙ２だけＹ軸方向に移動した状態を表している。更に、
図８（ｄ）は、図８（ｃ）の状態にある右側装置Ｂの会
議者Ｍの画像を、画像表示部分１１ａに表示した状態に
おいて左側装置Ａを利用する会議者Ｍが基本視点位置１
２ａに視点を一致させている状態を表している。
【００３２】図８（ｅ）は、図８（ｄ）の状態にある左
側装置Ａの会議者Ｍの画像を画像表示部分１１ｂに表示
した状態であり、右側装置Ｂの会議者Ｍが視点を基本視
点位置１２ｂからだけＹ軸方向に移動した状態を表して
いる。図８（ｆ）は、図８（ｅ）の状態にある右側装置
Ｂの会議者Ｍの画像を画像表示部分１１ａに表示した状
態において、左側装置Ａの会議者Ｍが視点を基本視点位
置１２ａからｙ１だけＹ軸方向に移動した状態を表して
いる。図８（ｇ）は、図８（ｆ）の状態にある左側装置
Ａの会議者Ｍの画像を画像表示部分１１ｂに表示した状
態であり、右側装置Ｂの会議者Ｍが視点を基本視点位置
１２ａからｙ２だけＹ軸方向に移動した状態を表してい
る。
側装置Ａの会議者Ｍの画像を画像表示部分１１ｂに表示
した状態であり、右側装置Ｂの会議者Ｍが視点を基本視
点位置１２ｂからだけＹ軸方向に移動した状態を表して
いる。図８（ｆ）は、図８（ｅ）の状態にある右側装置
Ｂの会議者Ｍの画像を画像表示部分１１ａに表示した状
態において、左側装置Ａの会議者Ｍが視点を基本視点位
置１２ａからｙ１だけＹ軸方向に移動した状態を表して
いる。図８（ｇ）は、図８（ｆ）の状態にある左側装置
Ａの会議者Ｍの画像を画像表示部分１１ｂに表示した状
態であり、右側装置Ｂの会議者Ｍが視点を基本視点位置
１２ａからｙ２だけＹ軸方向に移動した状態を表してい
る。
【００３３】以下、図２を参照して送信動作を説明す
る。まず、画像処理部４が初期状態に設定される（ステ
ップＳ１）。この初期状態が図８（ａ）である。この初
期状態の図８（ａ）では、画像処理部４で基本視点位置
１２ａ，１２ｂを測定し、この基本視点位置１２ａ，１
２ｂの座標値Ｃｘ，Ｃｙ，Ｃｚを記憶する。同時に基本
視点位置１２ａ，１２ｂを中心とした際に、どの程度の
範囲の画像を撮影できるかを測定する。この値を撮影範
囲Ｌｙ，Ｌｚとして記憶する。
る。まず、画像処理部４が初期状態に設定される（ステ
ップＳ１）。この初期状態が図８（ａ）である。この初
期状態の図８（ａ）では、画像処理部４で基本視点位置
１２ａ，１２ｂを測定し、この基本視点位置１２ａ，１
２ｂの座標値Ｃｘ，Ｃｙ，Ｃｚを記憶する。同時に基本
視点位置１２ａ，１２ｂを中心とした際に、どの程度の
範囲の画像を撮影できるかを測定する。この値を撮影範
囲Ｌｙ，Ｌｚとして記憶する。
【００３４】図８（ａ）では、Ｚ軸方向が示されておら
ず、Ｌｙのみが図示されている。また、画像処理部４で
は、画像表示部分１１ａ，１１ｂの実際の大きさ（画像
サイズ）Ｗｙ，Ｗｚも同時に記憶する。また、ネットワ
ーク会議画像処理装置Ａ，Ｂ（左側装置Ａ、右側装置
Ｂ）を使用する会議者Ｍの正面の顔を撮影し、この画像
情報Ｓ１０１ａ，Ｓ１０１ｂを画像合成部５が図示しな
いメモリなどに記憶する。
ず、Ｌｙのみが図示されている。また、画像処理部４で
は、画像表示部分１１ａ，１１ｂの実際の大きさ（画像
サイズ）Ｗｙ，Ｗｚも同時に記憶する。また、ネットワ
ーク会議画像処理装置Ａ，Ｂ（左側装置Ａ、右側装置
Ｂ）を使用する会議者Ｍの正面の顔を撮影し、この画像
情報Ｓ１０１ａ，Ｓ１０１ｂを画像合成部５が図示しな
いメモリなどに記憶する。
【００３５】次に、この初期状態を、例えば、左側装置
Ａから右側装置Ｂに送信する（ステップＳ２）。この送
信情報は、画像表示部分１１ａ，１１ｂにおける実際の
大きさ（画像サイズ）Ｗｙ，Ｗｚ、及び、基本視点位置
１２ａ，１２ｂの座標値Ｃｘ，Ｃｙ，Ｃｚ及び撮影範囲
Ｌｙ，Ｌｚである。次に、会議者Ｍの撮影を行う（ステ
ップＳ３）。
Ａから右側装置Ｂに送信する（ステップＳ２）。この送
信情報は、画像表示部分１１ａ，１１ｂにおける実際の
大きさ（画像サイズ）Ｗｙ，Ｗｚ、及び、基本視点位置
１２ａ，１２ｂの座標値Ｃｘ，Ｃｙ，Ｃｚ及び撮影範囲
Ｌｙ，Ｌｚである。次に、会議者Ｍの撮影を行う（ステ
ップＳ３）。
【００３６】ビデオカメラ２ａ，２ｂで会議者Ｍが撮影
され、画像情報Ｓ１０１ａ，Ｓ１０１ｂが画像合成部５
に入力される。次に、会議者Ｍの顔の画像部分を検出す
る（ステップＳ４）。この検出は画像合成部５で行い、
上記の初期状態設定時に撮影された会議者Ｍの正面の顔
画像と画像情報Ｓ１０１ａ，Ｓ１０１ｂの画像情報との
相関を検出して、画像情報Ｓ１０１ａ，Ｓ１０１ｂ内の
会議者Ｍの顔の画像部分を検出する。
され、画像情報Ｓ１０１ａ，Ｓ１０１ｂが画像合成部５
に入力される。次に、会議者Ｍの顔の画像部分を検出す
る（ステップＳ４）。この検出は画像合成部５で行い、
上記の初期状態設定時に撮影された会議者Ｍの正面の顔
画像と画像情報Ｓ１０１ａ，Ｓ１０１ｂの画像情報との
相関を検出して、画像情報Ｓ１０１ａ，Ｓ１０１ｂ内の
会議者Ｍの顔の画像部分を検出する。
【００３７】次に、画像合成部５で三次元画像を作成す
る（ステップＳ５）。まず、画像合成部５は会議者Ｍの
顔の画像部分を検出した二枚の画像を比較し、同一点を
撮影している部分を検出して、ビデオカメラ２ａ，２ｂ
の位置情報に基づいて撮影された会議者Ｍの三次元位置
を特定する。更に、図６及び図７に示すように、会議者
Ｍの顔の表面に接し、かつ、ビデオカメラ２ａ，２ｂと
会議者Ｍの顔を結ぶ直線を垂線とする平面を求める。こ
の平面に画像１１３ａ，１１３ｂを設定する。このよう
にして作成した三次元画像情報を、三次元画像情報信号
Ｓ１０２として画像合成部５から視点検出部６及び画像
作成部８に出力する。また、別の実施の形態として、図
９及び図１０に示すように、ビデオカメラ２ａ，２ｂと
会議者Ｍの顔を結ぶ直線を垂線とする平面と、会議者Ｍ
の顔の表面に接する半円柱を組み合わせた曲面に画像１
１３ａ，１１３ｂを設定してもよい。
る（ステップＳ５）。まず、画像合成部５は会議者Ｍの
顔の画像部分を検出した二枚の画像を比較し、同一点を
撮影している部分を検出して、ビデオカメラ２ａ，２ｂ
の位置情報に基づいて撮影された会議者Ｍの三次元位置
を特定する。更に、図６及び図７に示すように、会議者
Ｍの顔の表面に接し、かつ、ビデオカメラ２ａ，２ｂと
会議者Ｍの顔を結ぶ直線を垂線とする平面を求める。こ
の平面に画像１１３ａ，１１３ｂを設定する。このよう
にして作成した三次元画像情報を、三次元画像情報信号
Ｓ１０２として画像合成部５から視点検出部６及び画像
作成部８に出力する。また、別の実施の形態として、図
９及び図１０に示すように、ビデオカメラ２ａ，２ｂと
会議者Ｍの顔を結ぶ直線を垂線とする平面と、会議者Ｍ
の顔の表面に接する半円柱を組み合わせた曲面に画像１
１３ａ，１１３ｂを設定してもよい。
【００３８】次いで、画像作成部８が送信画像を作成す
る（ステップＳ６）。画像作成部８では、三次元画像情
報信号Ｓ１０２の初期情報の受信後に、ある位置から撮
影した画像を生成する。この撮影位置は、左側装置Ａの
ディスプレイ装置３中の画像表示部分に表示された右側
装置Ｂの会議者Ｍの画像上の視点位置である（なお、こ
の動作はあとで説明する図３中のステップＳ１２であ
る）。
る（ステップＳ６）。画像作成部８では、三次元画像情
報信号Ｓ１０２の初期情報の受信後に、ある位置から撮
影した画像を生成する。この撮影位置は、左側装置Ａの
ディスプレイ装置３中の画像表示部分に表示された右側
装置Ｂの会議者Ｍの画像上の視点位置である（なお、こ
の動作はあとで説明する図３中のステップＳ１２であ
る）。
【００３９】次に、視点検出部６が、視点位置を検出す
る（ステップＳ７）。視点検出部６は、画像合成部５か
らの三次元画像情報信号Ｓ１０２での顔画像から目の位
置を検出して、視点位置を特定する。この三次元画像情
報信号Ｓ１０２における視点位置情報と撮影位置情報信
号Ｓ１０４とによって、画像情報信号Ｓ１０７における
視点情報を計算し、この視点情報信号Ｓ１０６を右側装
置Ｂへ送信する。この送信と共に、状態及び画像情報で
ある画像情報信号Ｓ１０７及び画像制御情報信号Ｓ１０
８を右側装置Ｂへ送信する（ステップＳ８）。この後は
図２中のステップＳ２にリターンして上記した処理を繰
り返して実行する。
る（ステップＳ７）。視点検出部６は、画像合成部５か
らの三次元画像情報信号Ｓ１０２での顔画像から目の位
置を検出して、視点位置を特定する。この三次元画像情
報信号Ｓ１０２における視点位置情報と撮影位置情報信
号Ｓ１０４とによって、画像情報信号Ｓ１０７における
視点情報を計算し、この視点情報信号Ｓ１０６を右側装
置Ｂへ送信する。この送信と共に、状態及び画像情報で
ある画像情報信号Ｓ１０７及び画像制御情報信号Ｓ１０
８を右側装置Ｂへ送信する（ステップＳ８）。この後は
図２中のステップＳ２にリターンして上記した処理を繰
り返して実行する。
【００４０】次に、図３を参照して受信動作を説明す
る。図１に示す画像処理部４が、図示しない他のネット
ワーク会議画像処理装置からの伝送路１０を通じて上記
ステップＳ１の処理による初期情報を受信し、次に情報
を受信する（ステップＳ１１，Ｓ１２）。この情報内容
は、図２のステップＳ８で送信される情報と同様であ
る。すなわち、視点情報信号Ｓ１０６、画像情報信号Ｓ
１０７及び画像制御情報信号Ｓ１０８である。
る。図１に示す画像処理部４が、図示しない他のネット
ワーク会議画像処理装置からの伝送路１０を通じて上記
ステップＳ１の処理による初期情報を受信し、次に情報
を受信する（ステップＳ１１，Ｓ１２）。この情報内容
は、図２のステップＳ８で送信される情報と同様であ
る。すなわち、視点情報信号Ｓ１０６、画像情報信号Ｓ
１０７及び画像制御情報信号Ｓ１０８である。
【００４１】次に、画像表示処理部７が伝送路１０を通
じて受信した情報から画像情報を取り出し、この画像信
号Ｓ１１２をディスプレイ装置３へ送出して画像を表示
する（ステップＳ１３）。次に、画像表示処理部７が伝
送路１０を通じて受信した情報中の画像情報以外の画像
制御情報信号Ｓ１１０を、表示制御部９が取り込んで更
新する。また、画像作成部８が視点情報信号Ｓ１０９を
取り込んで更新する（ステップＳ１４）。この後は、ス
テップＳ１２にリターンして上記した処理を繰り返して
実行する。
じて受信した情報から画像情報を取り出し、この画像信
号Ｓ１１２をディスプレイ装置３へ送出して画像を表示
する（ステップＳ１３）。次に、画像表示処理部７が伝
送路１０を通じて受信した情報中の画像情報以外の画像
制御情報信号Ｓ１１０を、表示制御部９が取り込んで更
新する。また、画像作成部８が視点情報信号Ｓ１０９を
取り込んで更新する（ステップＳ１４）。この後は、ス
テップＳ１２にリターンして上記した処理を繰り返して
実行する。
【００４２】以下、画像作成部８の動作を図８に基づい
て詳細に説明する。図８（ｂ）では、左側装置Ａでの視
点１３ａが基本視点位置１２ａに位置している。更に、
右側装置Ｂが初期状態の場合、画像表示部分１１ａの中
心を撮影位置として、その視点が画像の中心になるよう
に画像が作成される。この情報は伝送路１０を通じて図
８（ｃ）の右側装置Ｂへ伝送される。この右側装置Ｂで
は、視点１３ｂが基本視点位置１２ｂから移動してい
る。撮影位置は、図８（ｂ）で視点１３ａが基本視点位
置１２ａに位置していたため、画像表示部分１１ｂの中
心となる。
て詳細に説明する。図８（ｂ）では、左側装置Ａでの視
点１３ａが基本視点位置１２ａに位置している。更に、
右側装置Ｂが初期状態の場合、画像表示部分１１ａの中
心を撮影位置として、その視点が画像の中心になるよう
に画像が作成される。この情報は伝送路１０を通じて図
８（ｃ）の右側装置Ｂへ伝送される。この右側装置Ｂで
は、視点１３ｂが基本視点位置１２ｂから移動してい
る。撮影位置は、図８（ｂ）で視点１３ａが基本視点位
置１２ａに位置していたため、画像表示部分１１ｂの中
心となる。
【００４３】次に、画像作成部８が撮影範囲を計算す
る。この計算は、まず、視点１３ｂと基本視点位置１２
ｂとの間の角度θを計算する。次に、図８（ｄ）に示す
ように左側装置Ａの画像表示部分１１ａの位置、大き
さ、及び、基本視点位置１２ａの情報から、基本視点位
置１２ａと画像表示部分１１ａに表示される画像上の視
点との間が角度θになる視点位置ｙ２ａを計算する。
る。この計算は、まず、視点１３ｂと基本視点位置１２
ｂとの間の角度θを計算する。次に、図８（ｄ）に示す
ように左側装置Ａの画像表示部分１１ａの位置、大き
さ、及び、基本視点位置１２ａの情報から、基本視点位
置１２ａと画像表示部分１１ａに表示される画像上の視
点との間が角度θになる視点位置ｙ２ａを計算する。
【００４４】撮影範囲は、画像表示部分１１ａでの表示
画像上の視点位置がｙ２ａになるように決定される。具
体的には、図８（ａ）に示すように画像表示部分１１
ａ，１１ｂの実際の大きさ（画像サイズ）Ｗ１ｙと視点
位置ｙ２ａとの比が、撮影範囲Ｌ２ｙと図８（ｃ）に示
す視点１３ｂと中心線との距離Ｖ２ｙの比に等しくなる
ように撮影範囲が決定される。図８（ｄ）では視点１３
ａは、基本視点位置１２ａに位置しているが、画像表示
部分１１ａ上の視点位置中心から視点位置ｙ２ａに移動
し、この視点位置ｙ２ａが撮影位置となる。撮影範囲は
視点１３ａが中心となるように設定される。
画像上の視点位置がｙ２ａになるように決定される。具
体的には、図８（ａ）に示すように画像表示部分１１
ａ，１１ｂの実際の大きさ（画像サイズ）Ｗ１ｙと視点
位置ｙ２ａとの比が、撮影範囲Ｌ２ｙと図８（ｃ）に示
す視点１３ｂと中心線との距離Ｖ２ｙの比に等しくなる
ように撮影範囲が決定される。図８（ｄ）では視点１３
ａは、基本視点位置１２ａに位置しているが、画像表示
部分１１ａ上の視点位置中心から視点位置ｙ２ａに移動
し、この視点位置ｙ２ａが撮影位置となる。撮影範囲は
視点１３ａが中心となるように設定される。
【００４５】図８（ｅ）では、視点１３ｂが図８（ｃ）
の場合と同じ位置にある。画像表示部分１１ｂに表示さ
れる画像上の視点の位置も変化しないため、撮影位置、
撮影範囲が図８（ｃ）の場合と同一になる。図８（ｆ）
では、視点１３ａが基本視点位置１２ａから移動してい
る。このため、図８（ｃ）の場合と同様に、視点１３ａ
と基本視点位置１２ａとの間の角度ψを求め、右側装置
Ｂの情報に基づいて視点位置ｙ１ａを計算して、撮影範
囲を設定する。
の場合と同じ位置にある。画像表示部分１１ｂに表示さ
れる画像上の視点の位置も変化しないため、撮影位置、
撮影範囲が図８（ｃ）の場合と同一になる。図８（ｆ）
では、視点１３ａが基本視点位置１２ａから移動してい
る。このため、図８（ｃ）の場合と同様に、視点１３ａ
と基本視点位置１２ａとの間の角度ψを求め、右側装置
Ｂの情報に基づいて視点位置ｙ１ａを計算して、撮影範
囲を設定する。
【００４６】撮影位置は図８（ｅ）で視点１３ｂが変化
していないため、視点位置ｙ２ａのままとなる。図８
（ｇ）では視点１３ｂが変化していない。しかし、撮影
位置が視点位置ｙ１ａに移動しているため、画像表示部
分１１ａ，１１ｂの実際の大きさ（画像サイズ）Ｗ１ｙ
と視点位置ｙ２ａとの比が、撮影範囲Ｌ２ｙと図８
（ｃ）に示す視点１３ｂと中心線との距離Ｖ２ｙとの比
に等しくなるように撮影範囲が変化する。
していないため、視点位置ｙ２ａのままとなる。図８
（ｇ）では視点１３ｂが変化していない。しかし、撮影
位置が視点位置ｙ１ａに移動しているため、画像表示部
分１１ａ，１１ｂの実際の大きさ（画像サイズ）Ｗ１ｙ
と視点位置ｙ２ａとの比が、撮影範囲Ｌ２ｙと図８
（ｃ）に示す視点１３ｂと中心線との距離Ｖ２ｙとの比
に等しくなるように撮影範囲が変化する。
【００４７】
【発明の効果】以上の説明から明らかなように、本発明
のネットワーク会議画像処理装置によれば、例えば、市
販製品のビデオカメラ及びディスプレイ装置を用いて、
画像の撮影位置及び撮影範囲を変化させ、視点の移動に
対応した視線一致を図っている。この結果、その構成が
容易に出来るようになる。
のネットワーク会議画像処理装置によれば、例えば、市
販製品のビデオカメラ及びディスプレイ装置を用いて、
画像の撮影位置及び撮影範囲を変化させ、視点の移動に
対応した視線一致を図っている。この結果、その構成が
容易に出来るようになる。
【００４８】また、画像の撮影位置及び撮影範囲の変化
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。この結果、視点の移動に対応した視線
一致が可能になり、その自然な対話による会議が出来る
ようになる。
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。この結果、視点の移動に対応した視線
一致が可能になり、その自然な対話による会議が出来る
ようになる。
【００４９】更に、画像合成時に会議者における顔画像
の特徴のみの最小限の画像処理によって三次元画像を作
成している。この結果、画像品質が劣化せずに、その画
像品質が向上して自然な画質による会議が出来るように
なる。
の特徴のみの最小限の画像処理によって三次元画像を作
成している。この結果、画像品質が劣化せずに、その画
像品質が向上して自然な画質による会議が出来るように
なる。
【図１】本発明のネットワーク会議画像処理装置の実施
形態における構成を示すブロック図である。
形態における構成を示すブロック図である。
【図２】実施形態にあって送信動作の処理手順を示すフ
ローチャートである。
ローチャートである。
【図３】実施形態にあって受信動作の処理手順を示すフ
ローチャートである。
ローチャートである。
【図４】実施形態にあって会議者の撮影状態を示す上面
図である。
図である。
【図５】実施形態にあって撮影状態での画像を示す図で
ある。
ある。
【図６】実施形態にあって三次元画像情報信号を撮影画
像と重ね合わせた状態を説明するための図である。
像と重ね合わせた状態を説明するための図である。
【図７】実施形態にあって三次元画像情報信号をビデオ
カメラの中間位置から目視した状態を説明するための図
である。
カメラの中間位置から目視した状態を説明するための図
である。
【図８】実施形態にあって二台のネットワーク会議画像
処理装置を伝送路を通じて接続した場合の状態遷移を説
明するための図である。
処理装置を伝送路を通じて接続した場合の状態遷移を説
明するための図である。
【図９】他の実施形態にあって三次元画像情報信号を撮
影画像と重ね合わせた状態を説明するための図である。
影画像と重ね合わせた状態を説明するための図である。
【図１０】他の実施形態にあって三次元画像情報信号を
ビデオカメラの中間位置から目視した状態を説明するた
めの図である。
ビデオカメラの中間位置から目視した状態を説明するた
めの図である。
２ａ，２ｂ ビデオカメラ ３ ディスプレイ装置 ４ 画像処理部 ５ 画像合成部 ６ 視点検出部 ７ 画像表示処理部 ８ 画像作成部 ９ 表示制御部 １０ 伝送路 Ｓ１０１ａ，Ｓ１０１ｂ，Ｓ１１２ 画像情報 Ｓ１０２ 三次元画像情報信号 Ｓ１０３ 画像属性情報信号 Ｓ１０４ 撮影位置情報信号 Ｓ１０５ 画像配置情報信号 Ｓ１０６，Ｓ１０９ 視点情報信号 Ｓ１０７，Ｓ１１１ 画像情報信号 Ｓ１０８，Ｓ１１０ 画像制御情報信号 Ｍ 会議者
Claims (12)
- 【請求項１】 撮影画像及び会話音声を伝送し、かつ、
表示画像と対面して会議を行うためのネットワーク会議
画像処理装置において、 他のネットワーク会議画像処理装置との間で画像情報、
視点情報及び画像制御情報を伝送し、この情報によって
会議者の視点の位置変化に対応して伝送する画像の撮影
位置及び撮影範囲を変化させ、会議者の視点の移動に対
応して視線を一致させる会議画像処理手段を備えること
を特徴とするネットワーク会議画像処理装置。 - 【請求項２】 前記画像の撮影位置及び撮影範囲の変化
が、 少なくとも二つの視点から撮影された画像を処理し、こ
の二つの視点とは別の視点から撮影した任意画像を生成
した場合であることを特徴とする請求項１記載のネット
ワーク会議画像処理装置。 - 【請求項３】 前記画像情報が、他のネットワーク会議
画像処理装置の表示画面上に表示される二次元情報であ
り、 視点情報は、前記画像情報の画像上における視点位置を
示す情報であり、 画像制御情報が、表示画面上の画像位置、大きさ、及
び、画像情報の三次元空間における撮影領域を示す情報
であることを特徴とするネットワーク会議画像処理装
置。 - 【請求項４】 前記会議画像処理手段として、 複数の撮影位置から会議者を撮影した画像情報を出力す
る撮影部と、 前記撮影部からの画像情報を処理して会議者の三次元画
像を合成した三次元画像情報を伝送路を通じて他のネッ
トワーク会議画像処理装置へ送出する画像合成部と、 前記画像合成部からの三次元画像から前記会議者の視点
を検出した視点情報を、伝送路を通じて他のネットワー
ク会議画像処理装置へ送出する視点検出部と、 前記画像合成部からの三次元画像を任意の撮影位置から
撮影して画像に生成した画像情報を伝送路通じて他のネ
ットワーク会議画像処理装置へ送出する画像作成部と、 伝送路を通じて受信した画像情報における画像の表示位
置を決定した画像信号を出力し、かつ、前記画像作成部
及び画像表示処理部での動作処理のための画像制御情報
を受信して送出する受信処理部と、 を備えることを特徴とする請求項１記載のネットワーク
会議画像処理装置。 - 【請求項５】 前記画像合成部において、 会議者の顔の画像の特徴のみの画像処理によって三次元
画像を作成することを特徴とする請求項４記載のネット
ワーク会議画像処理装置。 - 【請求項６】 前記視点検出部において、 画像合成部で作成した三次元画像中の視点位置を、三次
元画像及び、この元になる撮影画像から検出することを
特徴とする請求項４記載のネットワーク会議画像処理装
置。 - 【請求項７】 前記画像作成部において、 撮影位置を、他のネットワーク会議画像処理装置から受
信した視点情報と連動して処理することを特徴とする請
求項４記載のネットワーク会議画像処理装置。 - 【請求項８】 前記受信処理部として、 会議者の画像を映し出す画像表示部と、 伝送路を通じて受信した画像情報における画像の表示位
置を決定した画像信号を前記画像表示部に出力する画像
表示処理部と、 前記画像作成部及び画像表示処理部での動作処理のため
の画像制御情報を受信して送出する表示制御部と、 を備えることを特徴とする請求項４記載のネットワーク
会議画像処理装置。 - 【請求項９】 他の一つのネットワーク会議画像処理装
置との間で伝送路を通じて画像情報、視点情報及び画像
制御情報を送受信する通信制御装置を更に備えることを
特徴とする請求項１記載のネットワーク会議画像処理装
置。 - 【請求項１０】 複数のネットワーク会議画像処理装置
との間で通信ネットワークを通じて画像情報、視点情報
及び画像制御情報を送受信する通信制御装置を備えるこ
とを特徴とする請求項１記載のネットワーク会議画像処
理装置。 - 【請求項１１】 前記通信ネットワークがＩＳＤＮであ
ることを特徴とする請求項１０記載のネットワーク会議
画像処理装置。 - 【請求項１２】 前記画像情報、視点情報及び画像制御
情報を帯域圧縮符号化処理して送受信するための圧縮処
理部を更に備えることを特徴とする請求項４記載のネッ
トワーク会議画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15640098A JP3389102B2 (ja) | 1998-06-04 | 1998-06-04 | ネットワーク会議画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15640098A JP3389102B2 (ja) | 1998-06-04 | 1998-06-04 | ネットワーク会議画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001064755A Division JP2001313917A (ja) | 2001-03-08 | 2001-03-08 | ネットワーク会議画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11355804A true JPH11355804A (ja) | 1999-12-24 |
| JP3389102B2 JP3389102B2 (ja) | 2003-03-24 |
Family
ID=15626918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15640098A Expired - Fee Related JP3389102B2 (ja) | 1998-06-04 | 1998-06-04 | ネットワーク会議画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3389102B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011004054A (ja) * | 2009-06-17 | 2011-01-06 | Sharp Corp | 画像処理システム及び方法 |
| CN102708843A (zh) * | 2012-05-15 | 2012-10-03 | 中兴通讯股份有限公司 | 一种终端图像处理方法及终端 |
| US8514262B2 (en) | 2009-02-27 | 2013-08-20 | Kabushiki Kaisha Toshiba | Information processing apparatus and network conference system |
| EP3005691A4 (en) * | 2013-05-31 | 2016-11-23 | Samsung Electronics Co Ltd | DISPLAY DEVICE AND CONTROL METHOD THEREFOR |
| WO2017195513A1 (ja) * | 2016-05-10 | 2017-11-16 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
| WO2020054605A1 (ja) * | 2018-09-12 | 2020-03-19 | シャープ株式会社 | 映像表示装置、映像処理装置 |
| CN114697602A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 会议装置和会议系统 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63228890A (ja) * | 1987-03-18 | 1988-09-22 | Hitachi Ltd | 画像合成装置 |
| JPS6473330A (en) * | 1987-09-14 | 1989-03-17 | Nippon Telegraph & Telephone | Three-dimensional image display device |
| JPH0250691A (ja) * | 1988-08-12 | 1990-02-20 | Nippon Telegr & Teleph Corp <Ntt> | 視線一致画像通信方式 |
| JPH0258484A (ja) * | 1988-08-24 | 1990-02-27 | Nippon Telegr & Teleph Corp <Ntt> | テレビ電話装置 |
| JPH0389794A (ja) * | 1989-09-01 | 1991-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 多人数用三次元表示方式 |
| JPH0522723A (ja) * | 1991-07-15 | 1993-01-29 | Canon Inc | 画像通信装置 |
| JPH0522722A (ja) * | 1991-07-12 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信用入出力装置 |
| JPH0568246A (ja) * | 1991-09-06 | 1993-03-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信用表示・撮像方式 |
| JPH0690445A (ja) * | 1992-09-09 | 1994-03-29 | Hitachi Ltd | 映像入出力装置 |
| JPH08195945A (ja) * | 1995-01-17 | 1996-07-30 | Japan Aviation Electron Ind Ltd | カメラ付きディスプレイ装置 |
| JPH0923449A (ja) * | 1995-07-05 | 1997-01-21 | Hitachi Ltd | 実写映像及び３次元モデル合成装置 |
| JPH09116882A (ja) * | 1995-10-13 | 1997-05-02 | Ricoh Co Ltd | オーディオビジュアル通信端末装置 |
| JPH09114979A (ja) * | 1995-10-18 | 1997-05-02 | Nippon Telegr & Teleph Corp <Ntt> | カメラシステム |
| JPH09154114A (ja) * | 1995-11-28 | 1997-06-10 | Nec Corp | 電子会議端末装置 |
-
1998
- 1998-06-04 JP JP15640098A patent/JP3389102B2/ja not_active Expired - Fee Related
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63228890A (ja) * | 1987-03-18 | 1988-09-22 | Hitachi Ltd | 画像合成装置 |
| JPS6473330A (en) * | 1987-09-14 | 1989-03-17 | Nippon Telegraph & Telephone | Three-dimensional image display device |
| JPH0250691A (ja) * | 1988-08-12 | 1990-02-20 | Nippon Telegr & Teleph Corp <Ntt> | 視線一致画像通信方式 |
| JPH0258484A (ja) * | 1988-08-24 | 1990-02-27 | Nippon Telegr & Teleph Corp <Ntt> | テレビ電話装置 |
| JPH0389794A (ja) * | 1989-09-01 | 1991-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 多人数用三次元表示方式 |
| JPH0522722A (ja) * | 1991-07-12 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信用入出力装置 |
| JPH0522723A (ja) * | 1991-07-15 | 1993-01-29 | Canon Inc | 画像通信装置 |
| JPH0568246A (ja) * | 1991-09-06 | 1993-03-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信用表示・撮像方式 |
| JPH0690445A (ja) * | 1992-09-09 | 1994-03-29 | Hitachi Ltd | 映像入出力装置 |
| JPH08195945A (ja) * | 1995-01-17 | 1996-07-30 | Japan Aviation Electron Ind Ltd | カメラ付きディスプレイ装置 |
| JPH0923449A (ja) * | 1995-07-05 | 1997-01-21 | Hitachi Ltd | 実写映像及び３次元モデル合成装置 |
| JPH09116882A (ja) * | 1995-10-13 | 1997-05-02 | Ricoh Co Ltd | オーディオビジュアル通信端末装置 |
| JPH09114979A (ja) * | 1995-10-18 | 1997-05-02 | Nippon Telegr & Teleph Corp <Ntt> | カメラシステム |
| JPH09154114A (ja) * | 1995-11-28 | 1997-06-10 | Nec Corp | 電子会議端末装置 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8514262B2 (en) | 2009-02-27 | 2013-08-20 | Kabushiki Kaisha Toshiba | Information processing apparatus and network conference system |
| JP2011004054A (ja) * | 2009-06-17 | 2011-01-06 | Sharp Corp | 画像処理システム及び方法 |
| CN102708843A (zh) * | 2012-05-15 | 2012-10-03 | 中兴通讯股份有限公司 | 一种终端图像处理方法及终端 |
| EP3005691A4 (en) * | 2013-05-31 | 2016-11-23 | Samsung Electronics Co Ltd | DISPLAY DEVICE AND CONTROL METHOD THEREFOR |
| US9596432B2 (en) | 2013-05-31 | 2017-03-14 | Samsung Electronics Co., Ltd. | Display apparatus and control method thereof |
| WO2017195513A1 (ja) * | 2016-05-10 | 2017-11-16 | ソニー株式会社 | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム |
| US11006098B2 (en) | 2016-05-10 | 2021-05-11 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
| WO2020054605A1 (ja) * | 2018-09-12 | 2020-03-19 | シャープ株式会社 | 映像表示装置、映像処理装置 |
| CN114697602A (zh) * | 2020-12-31 | 2022-07-01 | 华为技术有限公司 | 会议装置和会议系统 |
| CN114697602B (zh) * | 2020-12-31 | 2023-12-29 | 华为技术有限公司 | 会议装置和会议系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3389102B2 (ja) | 2003-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5359362A (en) | Videoconference system using a virtual camera image | |
| US7957581B2 (en) | Image processing apparatus and method | |
| CA2157613C (en) | Video conference system and method of providing parallax correction and a sense of presence | |
| JP3292248B2 (ja) | 遠隔会議システム | |
| JP2003506927A (ja) | ビデオ会議の参加者がカメラに焦点を合わせた状態で相手方ユーザの前に出現できるようにする方法と装置 | |
| JPH07154763A (ja) | 在席テレビ会議装置 | |
| EP2352290A1 (en) | Method and apparatus for matching audio and video signals during a videoconference | |
| JP2006333301A (ja) | テレビ通信装置 | |
| JP3587106B2 (ja) | 視線一致テレビ会議装置 | |
| JP2001052177A (ja) | 画像処理装置および画像処理方法 | |
| JP4461739B2 (ja) | 撮像装置 | |
| Breiteneder et al. | TELEPORT—an augmented reality teleconferencing environment | |
| JP3488096B2 (ja) | ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体 | |
| JPH11355804A (ja) | ネットワーク会議画像処理装置 | |
| US8717410B2 (en) | Video communication method, apparatus, and system | |
| JP2003009108A (ja) | 画像通信システム、画像通信装置、および画像通信方法 | |
| JPH0258484A (ja) | テレビ電話装置 | |
| JP2001313917A (ja) | ネットワーク会議画像処理装置 | |
| JPH1075432A (ja) | 立体テレビ電話器 | |
| JP2005142765A (ja) | 撮像装置及び方法 | |
| JPH08256316A (ja) | 通信会議システム | |
| TWI248021B (en) | Method and system for correcting out-of-focus eyesight of attendant images in video conferencing | |
| JP3721624B2 (ja) | Ｔｖ電話システム | |
| JPH09154114A (ja) | 電子会議端末装置 | |
| JP2001092990A (ja) | ３次元仮想空間参加者表示方法、３次元仮想空間表示装置、および３次元仮想空間参加者表示プログラムを記録した記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100117 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110117 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110117 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120117 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130117 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130117 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |