JP3389102B2 - ネットワーク会議画像処理装置 - Google Patents
ネットワーク会議画像処理装置Info
- Publication number
- JP3389102B2 JP3389102B2 JP15640098A JP15640098A JP3389102B2 JP 3389102 B2 JP3389102 B2 JP 3389102B2 JP 15640098 A JP15640098 A JP 15640098A JP 15640098 A JP15640098 A JP 15640098A JP 3389102 B2 JP3389102 B2 JP 3389102B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewpoint
- information
- conference
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
【０００１】
【発明の属する技術分野】本発明は、遠隔地との間でビ
デオカメラ及びディスプレイ装置を用い、画像／音声デ
ータを通信ネットワークで伝送して会議を行うネットワ
ーク会議画像処理装置に関し、特に、画面の会議者と対
話する際の視線が一致（アイコンタクト）するネットワ
ーク会議画像処理装置に関する。
デオカメラ及びディスプレイ装置を用い、画像／音声デ
ータを通信ネットワークで伝送して会議を行うネットワ
ーク会議画像処理装置に関し、特に、画面の会議者と対
話する際の視線が一致（アイコンタクト）するネットワ
ーク会議画像処理装置に関する。
【０００２】
【従来の技術】従来、この種のネットワーク会議画像処
理装置では、画面の会議者と向かい合って視線一致（ア
イコンタクト）による対話が可能なように、その制御が
行われる（例えば、特開平８−１９５９４５号公報
例）。このような制御を行う装置では、ディスプレイ装
置の背面にビデオカメラを配置して、ディスプレイ装置
に対面する会議者の視線と、ディスプレイ装置に映し出
される会議者との視線が一致するようにしている。
理装置では、画面の会議者と向かい合って視線一致（ア
イコンタクト）による対話が可能なように、その制御が
行われる（例えば、特開平８−１９５９４５号公報
例）。このような制御を行う装置では、ディスプレイ装
置の背面にビデオカメラを配置して、ディスプレイ装置
に対面する会議者の視線と、ディスプレイ装置に映し出
される会議者との視線が一致するようにしている。
【０００３】この装置では、ディスプレイ装置の背面か
らディスプレイ装置に対面する会議者をビデオカメラで
撮影するため、ディスプレイ装置を透過して会議者の画
像光をビデオカメラで取り込む必要があり、特殊な汎用
性のないディスプレイ装置を必要とする。また、ディス
プレイ装置の前面にハーフミラーなどを設けて、会議者
がディスプレイ装置上の画像を目視できるようにし、か
つ、ディスプレイ装置全面の会議者をハーフミラー、光
り屈折装置（プリズム）などを配置してディスプレイ装
置の背面に設けたビデオカメラで撮影する必要があり、
その構成が複雑である。
らディスプレイ装置に対面する会議者をビデオカメラで
撮影するため、ディスプレイ装置を透過して会議者の画
像光をビデオカメラで取り込む必要があり、特殊な汎用
性のないディスプレイ装置を必要とする。また、ディス
プレイ装置の前面にハーフミラーなどを設けて、会議者
がディスプレイ装置上の画像を目視できるようにし、か
つ、ディスプレイ装置全面の会議者をハーフミラー、光
り屈折装置（プリズム）などを配置してディスプレイ装
置の背面に設けたビデオカメラで撮影する必要があり、
その構成が複雑である。
【０００４】また、ディスプレイ装置の両側に配置され
た二台のビデオカメラの出力画像を処理してディスプレ
イ装置に対面する会議者の視線とディスプレイ装置に映
し出される会議者との視線が一致するように制御する例
がある（例えば、特開平２−５８４８４号公報例）。こ
の装置では、二台のビデオカメラの出力画像を処理して
おり、複雑な画像処理が必要になって、その画像品質が
劣化し、自然な画像が得られ難い。
た二台のビデオカメラの出力画像を処理してディスプレ
イ装置に対面する会議者の視線とディスプレイ装置に映
し出される会議者との視線が一致するように制御する例
がある（例えば、特開平２−５８４８４号公報例）。こ
の装置では、二台のビデオカメラの出力画像を処理して
おり、複雑な画像処理が必要になって、その画像品質が
劣化し、自然な画像が得られ難い。
【０００５】また、このようにディスプレイ装置に対面
する会議者の視線とディスプレイ装置に映し出される会
議者との視線が一致する制御を行う例として、特開平６
−９０４４５号「映像入出力装置」公報で開示されてい
る例が周知である。
する会議者の視線とディスプレイ装置に映し出される会
議者との視線が一致する制御を行う例として、特開平６
−９０４４５号「映像入出力装置」公報で開示されてい
る例が周知である。
【０００６】特開平６−９０４４５号公報従来例は、テ
レビ電話利用者の視線を強制的に一致させている。ま
た、二つのビデオカメラで撮影した画像を三次元形状に
生成し、これをレンダリンクして画像を生成している。
この公報従来例は、視点の移動に伴う表示画像における
視点位置の検出が出来ないため、より自然な視線一致に
よる会議ができにくいものである。
レビ電話利用者の視線を強制的に一致させている。ま
た、二つのビデオカメラで撮影した画像を三次元形状に
生成し、これをレンダリンクして画像を生成している。
この公報従来例は、視点の移動に伴う表示画像における
視点位置の検出が出来ないため、より自然な視線一致に
よる会議ができにくいものである。
【０００７】
【発明が解決しようとする課題】このように上記従来例
では、構成が複雑であり、かつ、画像品質が劣化し、自
然な画質を得にくい。また、視点の移動（位置変化）に
対応した視線一致による自然な対話による会議が出来な
いという欠点があった。
では、構成が複雑であり、かつ、画像品質が劣化し、自
然な画質を得にくい。また、視点の移動（位置変化）に
対応した視線一致による自然な対話による会議が出来な
いという欠点があった。
【０００８】本発明は、このような従来の技術における
課題を解決するものであり、慣用的なビデオカメラ及び
ディスプレイ装置を用いて、その構成が容易となり、か
つ、視点の移動に対応した会議者間の視線一致が可能に
なると共に、画像品質が向上し、自然な画質による会議
が可能なネットワーク会議画像処理装置の提供を目的と
する。
課題を解決するものであり、慣用的なビデオカメラ及び
ディスプレイ装置を用いて、その構成が容易となり、か
つ、視点の移動に対応した会議者間の視線一致が可能に
なると共に、画像品質が向上し、自然な画質による会議
が可能なネットワーク会議画像処理装置の提供を目的と
する。
【０００９】
【課題を解決するための手段】上記課題を達成するため
に、本発明のネットワーク会議画像処理装置は、撮影画
像及び会話音声を伝送し、かつ、表示画像と対面して会
議を行うものであり、他のネットワーク会議画像処理装
置との間で、表示画面上に表示される二次元情報である
画像情報と、前記画像情報の画像上における視点位置を
示す情報である視点情報（図１の視点情報信号Ｓ１０
６、視点情報信号Ｓ１０９、図８のｙ１ａ、ｙ２ａに対
応）と、表示画面上の画像位置、画像表示部分の大きさ
（図８のＷ１ｙ、Ｗ２ｙに対応）、及び、画像情報の三
次元空間における撮影領域（図８のＬ１ｙ、Ｌ２ｙに対
応）を示す情報である画像制御情報（図１の画像制御情
報信号Ｓ１０８、画像制御情報信号Ｓ１１０に対応）と
を互いに伝送する会議画像処理手段を備え、前記会議画
像処理手段は、少なくとも二つの視点から撮影された画
像をこの二つの視点とは別の視点の画像となるよう画像
処理することで、伝送する画像の撮影位置及び撮影範囲
を変化させるものであって、前記別の視点を、受信した
前記視点情報によって通信相手会議者の視点の位置変化
に対応して変化させるとともに、前記撮影範囲を視点情
報および画像制御情報に基づいて変化させる構成として
ある。
に、本発明のネットワーク会議画像処理装置は、撮影画
像及び会話音声を伝送し、かつ、表示画像と対面して会
議を行うものであり、他のネットワーク会議画像処理装
置との間で、表示画面上に表示される二次元情報である
画像情報と、前記画像情報の画像上における視点位置を
示す情報である視点情報（図１の視点情報信号Ｓ１０
６、視点情報信号Ｓ１０９、図８のｙ１ａ、ｙ２ａに対
応）と、表示画面上の画像位置、画像表示部分の大きさ
（図８のＷ１ｙ、Ｗ２ｙに対応）、及び、画像情報の三
次元空間における撮影領域（図８のＬ１ｙ、Ｌ２ｙに対
応）を示す情報である画像制御情報（図１の画像制御情
報信号Ｓ１０８、画像制御情報信号Ｓ１１０に対応）と
を互いに伝送する会議画像処理手段を備え、前記会議画
像処理手段は、少なくとも二つの視点から撮影された画
像をこの二つの視点とは別の視点の画像となるよう画像
処理することで、伝送する画像の撮影位置及び撮影範囲
を変化させるものであって、前記別の視点を、受信した
前記視点情報によって通信相手会議者の視点の位置変化
に対応して変化させるとともに、前記撮影範囲を視点情
報および画像制御情報に基づいて変化させる構成として
ある。
【００１０】
【００１１】更に、前記会議画像処理手段として、複数
の撮影位置から会議者を撮影した画像情報を出力する撮
影部と、撮影部からの画像情報を処理して会議者の三次
元画像を合成した三次元画像情報を伝送路を通じて他の
ネットワーク会議画像処理装置へ送出する画像合成部
と、画像合成部からの三次元画像から会議者の視点を検
出した視点情報を伝送路を通じて他のネットワーク会議
画像処理装置へ送出する視点検出部と、画像合成部から
の三次元画像を任意の撮影位置から撮影して画像に生成
した画像情報を伝送路通じて他のネットワーク会議画像
処理装置へ送出する画像作成部と、伝送路を通じて受信
した画像情報における画像の表示位置を決定した画像信
号を出力し、かつ、画像作成部及び画像表示処理部での
動作処理のための画像制御情報を受信して送出する受信
処理部とを備える構成としてある。
の撮影位置から会議者を撮影した画像情報を出力する撮
影部と、撮影部からの画像情報を処理して会議者の三次
元画像を合成した三次元画像情報を伝送路を通じて他の
ネットワーク会議画像処理装置へ送出する画像合成部
と、画像合成部からの三次元画像から会議者の視点を検
出した視点情報を伝送路を通じて他のネットワーク会議
画像処理装置へ送出する視点検出部と、画像合成部から
の三次元画像を任意の撮影位置から撮影して画像に生成
した画像情報を伝送路通じて他のネットワーク会議画像
処理装置へ送出する画像作成部と、伝送路を通じて受信
した画像情報における画像の表示位置を決定した画像信
号を出力し、かつ、画像作成部及び画像表示処理部での
動作処理のための画像制御情報を受信して送出する受信
処理部とを備える構成としてある。
【００１２】また、前記画像合成部において、会議者の
顔の画像の特徴のみの画像処理によって三次元画像を作
成し、視点検出部において、画像合成部で作成した三次
元画像中の視点位置を三次元画像及び、この元になる撮
影画像から検出し、更に、画像作成部において、撮影位
置を他のネットワーク会議画像処理装置から受信した視
点情報と連動して処理する構成としてある。
顔の画像の特徴のみの画像処理によって三次元画像を作
成し、視点検出部において、画像合成部で作成した三次
元画像中の視点位置を三次元画像及び、この元になる撮
影画像から検出し、更に、画像作成部において、撮影位
置を他のネットワーク会議画像処理装置から受信した視
点情報と連動して処理する構成としてある。
【００１３】更に、前記受信処理部として、会議者の画
像を映し出す画像表示部と、伝送路を通じて受信した画
像情報における画像の表示位置を決定した画像信号を画
像表示部に出力する画像表示処理部と、画像作成部及び
画像表示処理部での動作処理のための画像制御情報を受
信して送出する表示制御部とを備える構成としてある。
像を映し出す画像表示部と、伝送路を通じて受信した画
像情報における画像の表示位置を決定した画像信号を画
像表示部に出力する画像表示処理部と、画像作成部及び
画像表示処理部での動作処理のための画像制御情報を受
信して送出する表示制御部とを備える構成としてある。
【００１４】また、他の一つのネットワーク会議画像処
理装置との間で伝送路を通じて画像情報、視点情報及び
画像制御情報を送受信する通信制御装置を更に備えると
共に、複数のネットワーク会議画像処理装置との間で通
信ネットワークを通じて画像情報、視点情報及び画像制
御情報を送受信する通信制御装置を備える構成としてあ
る。
理装置との間で伝送路を通じて画像情報、視点情報及び
画像制御情報を送受信する通信制御装置を更に備えると
共に、複数のネットワーク会議画像処理装置との間で通
信ネットワークを通じて画像情報、視点情報及び画像制
御情報を送受信する通信制御装置を備える構成としてあ
る。
【００１５】
【００１６】このような発明のネットワーク会議画像処
理装置は、慣用的（例えば、市販製品）なビデオカメラ
及びディスプレイ装置を用いて、画像の撮影位置及び撮
影範囲を変化させ、会議者の視点の移動に対応した視線
一致を図っている。したがって、特殊なビデオカメラや
ディスプレイ装置を必要とせず、その構成が容易であ
る。
理装置は、慣用的（例えば、市販製品）なビデオカメラ
及びディスプレイ装置を用いて、画像の撮影位置及び撮
影範囲を変化させ、会議者の視点の移動に対応した視線
一致を図っている。したがって、特殊なビデオカメラや
ディスプレイ装置を必要とせず、その構成が容易であ
る。
【００１７】また、画像の撮影位置及び撮影範囲の変化
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。したがって、会議者の視点の移動に対
応した視線一致が可能になり、その自然な対話による会
議が可能になる。
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。したがって、会議者の視点の移動に対
応した視線一致が可能になり、その自然な対話による会
議が可能になる。
【００１８】更に、画像合成時に会議者における顔画像
の特徴のみの最小限の画像処理によって三次元画像を作
成している。したがって、画像品質が劣化せずに、その
画像品質が向上して自然な画質による会議が可能にな
る。
の特徴のみの最小限の画像処理によって三次元画像を作
成している。したがって、画像品質が劣化せずに、その
画像品質が向上して自然な画質による会議が可能にな
る。
【００１９】
【発明の実施の形態】次に、本発明のネットワーク会議
画像処理装置の実施の形態を図面を参照して詳細に説明
する。図１は本発明のネットワーク会議画像処理装置の
実施形態における構成を示すブロック図である。図１に
おいて、このネットワーク会議画像処理装置は、撮影対
象の会議者Ｍを中心に撮影した画像情報Ｓ１０１ａ，Ｓ
１０１ｂをそれぞれ出力するビデオカメラ２ａ，２ｂ
と、伝送路１０を通じて図示しない他のネットワーク会
議画像処理装置から受信した画像信号Ｓ１１２の画像を
映し出すディスプレイ装置３と、画像処理部４とで概略
構成されている。
画像処理装置の実施の形態を図面を参照して詳細に説明
する。図１は本発明のネットワーク会議画像処理装置の
実施形態における構成を示すブロック図である。図１に
おいて、このネットワーク会議画像処理装置は、撮影対
象の会議者Ｍを中心に撮影した画像情報Ｓ１０１ａ，Ｓ
１０１ｂをそれぞれ出力するビデオカメラ２ａ，２ｂ
と、伝送路１０を通じて図示しない他のネットワーク会
議画像処理装置から受信した画像信号Ｓ１１２の画像を
映し出すディスプレイ装置３と、画像処理部４とで概略
構成されている。
【００２０】なお、図１において、このネットワーク会
議画像処理装置を複数台用いたネットワーク会議システ
ムが構築される。このようなネットワーク会議システム
は公衆回線や専用回線（ＩＳＤＮなどの高速デジタル回
線）又は、企業の事業所内に構築される構内回線（例え
ば、ローカルエリアネットワーク）などの通信ネットワ
ークを通じて会議を行うものである。このネットワーク
会議システムは、画像データ及び音声データを送受信す
るが、ここでは音声データの処理については公知の手段
を用いて行っている。
議画像処理装置を複数台用いたネットワーク会議システ
ムが構築される。このようなネットワーク会議システム
は公衆回線や専用回線（ＩＳＤＮなどの高速デジタル回
線）又は、企業の事業所内に構築される構内回線（例え
ば、ローカルエリアネットワーク）などの通信ネットワ
ークを通じて会議を行うものである。このネットワーク
会議システムは、画像データ及び音声データを送受信す
るが、ここでは音声データの処理については公知の手段
を用いて行っている。
【００２１】また、通信ネットワークとの通信規約（プ
ロトコル）による通信制御を実行する通信制御装置（例
えば、デジタル終端装置（ＤＳＵ）、ターミナルアダプ
タ（ＴＡ）、ネットワーク通信装置（ＮＣＵ）等）や、
画像データ及び音声データの変調、復調を処理する場合
の変復調装置、及び、ＩＳＤＮを使用した場合の帯域圧
縮符号化処理を行う圧縮処理部などについても、公知の
手段を用いて行っている。
ロトコル）による通信制御を実行する通信制御装置（例
えば、デジタル終端装置（ＤＳＵ）、ターミナルアダプ
タ（ＴＡ）、ネットワーク通信装置（ＮＣＵ）等）や、
画像データ及び音声データの変調、復調を処理する場合
の変復調装置、及び、ＩＳＤＮを使用した場合の帯域圧
縮符号化処理を行う圧縮処理部などについても、公知の
手段を用いて行っている。
【００２２】図１において、画像処理部４は、ビデオカ
メラ２ａ，２ｂからの画像情報Ｓ１０１ａ，Ｓ１０１ｂ
を処理して伝送路１０を通じて図示しない他のネットワ
ーク会議画像処理装置（図１と同様の構成）に、あとで
詳細に説明する視点情報信号Ｓ１０６、画像情報信号Ｓ
１０７及び画像制御情報信号Ｓ１０８を送信する。ま
た、画像処理部４は、図示しない他のネットワーク会議
画像処理装置から伝送路１０を通じて受信したあとで詳
細に説明する視点情報信号Ｓ１０９、画像情報信号Ｓ１
１１、画像制御情報信号Ｓ１１０を処理し、その画像信
号Ｓ１１２をディスプレイ装置３に送出する。
メラ２ａ，２ｂからの画像情報Ｓ１０１ａ，Ｓ１０１ｂ
を処理して伝送路１０を通じて図示しない他のネットワ
ーク会議画像処理装置（図１と同様の構成）に、あとで
詳細に説明する視点情報信号Ｓ１０６、画像情報信号Ｓ
１０７及び画像制御情報信号Ｓ１０８を送信する。ま
た、画像処理部４は、図示しない他のネットワーク会議
画像処理装置から伝送路１０を通じて受信したあとで詳
細に説明する視点情報信号Ｓ１０９、画像情報信号Ｓ１
１１、画像制御情報信号Ｓ１１０を処理し、その画像信
号Ｓ１１２をディスプレイ装置３に送出する。
【００２３】図１に示す画像処理部４の内部構成として
は、ビデオカメラ２ａ，２ｂからの画像情報Ｓ１０１
ａ，Ｓ１０１ｂを処理して三次元画像情報信号Ｓ１０２
を出力する画像合成部５と、視点検出部６とを有してい
る。この視点検出部６は、画像合成部５からの三次元画
像情報信号Ｓ１０２を処理して視点位置を検出すると共
に、撮影位置情報信号Ｓ１０４に基づいて、撮影位置で
撮影した画像上での視点位置を計算した視点情報信号Ｓ
１０６を伝送路１０を通じて図示しない他のネットワー
ク会議画像処理装置へ送信する。
は、ビデオカメラ２ａ，２ｂからの画像情報Ｓ１０１
ａ，Ｓ１０１ｂを処理して三次元画像情報信号Ｓ１０２
を出力する画像合成部５と、視点検出部６とを有してい
る。この視点検出部６は、画像合成部５からの三次元画
像情報信号Ｓ１０２を処理して視点位置を検出すると共
に、撮影位置情報信号Ｓ１０４に基づいて、撮影位置で
撮影した画像上での視点位置を計算した視点情報信号Ｓ
１０６を伝送路１０を通じて図示しない他のネットワー
ク会議画像処理装置へ送信する。
【００２４】また、この画像処理部４は、伝送路１０を
通じて受信した画像情報信号Ｓ１１１を画像配置情報信
号Ｓ１０５に基づいて処理し、この画像の表示位置を決
定した画像信号Ｓ１１２をディスプレイ装置３へ出力す
る画像表示処理部７と、画像属性情報信号Ｓ１０３及び
視点情報信号Ｓ１０９に基づいて撮影位置と画像の撮影
範囲を計算し、更に、この計算した撮影位置から三次元
画像情報信号Ｓ１０２を、撮影して得られる画像に生成
し、この画像情報信号Ｓ１０７を伝送路１０を通じて図
示しない他のネットワーク会議画像処理装置へ送信する
画像作成部８とを有している。
通じて受信した画像情報信号Ｓ１１１を画像配置情報信
号Ｓ１０５に基づいて処理し、この画像の表示位置を決
定した画像信号Ｓ１１２をディスプレイ装置３へ出力す
る画像表示処理部７と、画像属性情報信号Ｓ１０３及び
視点情報信号Ｓ１０９に基づいて撮影位置と画像の撮影
範囲を計算し、更に、この計算した撮影位置から三次元
画像情報信号Ｓ１０２を、撮影して得られる画像に生成
し、この画像情報信号Ｓ１０７を伝送路１０を通じて図
示しない他のネットワーク会議画像処理装置へ送信する
画像作成部８とを有している。
【００２５】更に、この画像処理部４には、伝送路１０
を通じて受信した画像制御情報信号Ｓ１１０を記憶し、
画像作成部８の処理動作のための画像属性情報信号Ｓ１
０３を出力し、かつ、画像の表示位置を管理するための
画像配置情報信号Ｓ１０５を出力すると共に、画像制御
情報信号Ｓ１０８を伝送路１０を通じて図示しない他の
ネットワーク会議画像処理装置へ送信する表示制御部９
とを有している。
を通じて受信した画像制御情報信号Ｓ１１０を記憶し、
画像作成部８の処理動作のための画像属性情報信号Ｓ１
０３を出力し、かつ、画像の表示位置を管理するための
画像配置情報信号Ｓ１０５を出力すると共に、画像制御
情報信号Ｓ１０８を伝送路１０を通じて図示しない他の
ネットワーク会議画像処理装置へ送信する表示制御部９
とを有している。
【００２６】上記の三次元画像情報信号Ｓ１０２は、三
次元空間に二枚の二次元画像を配置した状態を表す画像
情報である。また、画像属性情報信号Ｓ１０３は、ディ
スプレイ装置３の画面上における画像位置、及び、この
装置から伝送した図示しない他のネットワーク会議画像
処理装置のディスプレイ装置の画面上における画像位置
及び大きさ（画面サイズ）を示す情報である。更に、撮
影位置情報信号Ｓ１０４は、画像作成部８で使用される
撮影位置と撮影範囲の情報である。
次元空間に二枚の二次元画像を配置した状態を表す画像
情報である。また、画像属性情報信号Ｓ１０３は、ディ
スプレイ装置３の画面上における画像位置、及び、この
装置から伝送した図示しない他のネットワーク会議画像
処理装置のディスプレイ装置の画面上における画像位置
及び大きさ（画面サイズ）を示す情報である。更に、撮
影位置情報信号Ｓ１０４は、画像作成部８で使用される
撮影位置と撮影範囲の情報である。
【００２７】また、画像配置情報信号Ｓ１０５は、ディ
スプレイ装置３の画面上の表示画像の位置を示す情報で
ある。視点情報信号Ｓ１０６は、画像情報信号Ｓ１０７
の画像上における視点位置を示す情報である。更に、画
像情報信号Ｓ１０７は、伝送路１０を通じた図示しない
他のネットワーク会議画像処理装置のディスプレイ装置
の画面上に表示される二次元情報である。画像制御情報
信号Ｓ１０８は、ディスプレイ装置３の画面上の画像位
置、大きさ、画像情報信号Ｓ１０７の三次元空間におけ
る撮影領域を示す情報である。
スプレイ装置３の画面上の表示画像の位置を示す情報で
ある。視点情報信号Ｓ１０６は、画像情報信号Ｓ１０７
の画像上における視点位置を示す情報である。更に、画
像情報信号Ｓ１０７は、伝送路１０を通じた図示しない
他のネットワーク会議画像処理装置のディスプレイ装置
の画面上に表示される二次元情報である。画像制御情報
信号Ｓ１０８は、ディスプレイ装置３の画面上の画像位
置、大きさ、画像情報信号Ｓ１０７の三次元空間におけ
る撮影領域を示す情報である。
【００２８】また、視点情報信号Ｓ１０９は、画像情報
信号Ｓ１１１における画像上の視点位置を示す情報であ
る。画像制御情報信号Ｓ１１０は、伝送路１０を通じた
図示しない他のネットワーク会議画像処理装置のディス
プレイ装置の画面上の画像位置、大きさ、及び、画像情
報信号Ｓ１１１における三次元空間の撮影領域を示す情
報である。画像情報信号Ｓ１１１は、伝送路１０に図示
しない他のネットワーク会議画像処理装置が送信した二
次元画像情報である。
信号Ｓ１１１における画像上の視点位置を示す情報であ
る。画像制御情報信号Ｓ１１０は、伝送路１０を通じた
図示しない他のネットワーク会議画像処理装置のディス
プレイ装置の画面上の画像位置、大きさ、及び、画像情
報信号Ｓ１１１における三次元空間の撮影領域を示す情
報である。画像情報信号Ｓ１１１は、伝送路１０に図示
しない他のネットワーク会議画像処理装置が送信した二
次元画像情報である。
【００２９】次に、この実施形態の動作について説明す
る。図２は送信動作の処理手順を示すフローチャートで
あり、図３は受信動作の処理手順を示すフローチャート
である。図４はビデオカメラ２ａ，２ｂでの会議者Ｍの
撮影状態を示す上面図であり、図５は図４の撮影状態で
の画像を示す図である。また、図６は画像合成部５が作
成した三次元画像情報信号Ｓ１０２を、図４の撮影画像
と重ね合わせた状態を説明するための図であり、図７は
三次元画像情報信号Ｓ１０２を、ビデオカメラ２ａ，２
ｂの中間位置から目視した状態を説明するための図であ
る。
る。図２は送信動作の処理手順を示すフローチャートで
あり、図３は受信動作の処理手順を示すフローチャート
である。図４はビデオカメラ２ａ，２ｂでの会議者Ｍの
撮影状態を示す上面図であり、図５は図４の撮影状態で
の画像を示す図である。また、図６は画像合成部５が作
成した三次元画像情報信号Ｓ１０２を、図４の撮影画像
と重ね合わせた状態を説明するための図であり、図７は
三次元画像情報信号Ｓ１０２を、ビデオカメラ２ａ，２
ｂの中間位置から目視した状態を説明するための図であ
る。
【００３０】図８は図１に示す二台のネットワーク会議
画像処理装置Ａ，Ｂ（以下、適宜、左側装置、右側装置
と記載する）を伝送路１０を通じて接続した場合の状態
遷移を説明するための図である。この図８（ａ）の左右
装置Ａ，Ｂにおいて、画像表示部分１１ａ，１１ｂは、
ディスプレイ装置３の表示画面部分である。ここでは左
右装置Ａ，Ｂをそれぞれの会議者Ｍが利用して対話によ
る会議を行うものとする。ここでの基本視点位置１２
ａ，１２ｂは、会議者Ｍが画像表示部分の中心部を正面
から目視した際の視点位置である。更に、視点１３ａ，
１３ｂは会議者Ｍの視点中心を示している。
画像処理装置Ａ，Ｂ（以下、適宜、左側装置、右側装置
と記載する）を伝送路１０を通じて接続した場合の状態
遷移を説明するための図である。この図８（ａ）の左右
装置Ａ，Ｂにおいて、画像表示部分１１ａ，１１ｂは、
ディスプレイ装置３の表示画面部分である。ここでは左
右装置Ａ，Ｂをそれぞれの会議者Ｍが利用して対話によ
る会議を行うものとする。ここでの基本視点位置１２
ａ，１２ｂは、会議者Ｍが画像表示部分の中心部を正面
から目視した際の視点位置である。更に、視点１３ａ，
１３ｂは会議者Ｍの視点中心を示している。
【００３１】図８（ａ）は初期動作状態であり、図８
（ｂ）は、左側装置Ａを利用する会議者Ｍが基本視点位
置１２ａと視点一致した状態を表している。また、図８
（ｃ）は、図８（ｂ）状態における左側装置Ａの会議者
Ｍの画像を画像表示部分１１ｂで表示した状態であり、
右側装置Ｂの会議者Ｍが視点を基本視点位置１２ｂから
ｙ２だけＹ軸方向に移動した状態を表している。更に、
図８（ｄ）は、図８（ｃ）の状態にある右側装置Ｂの会
議者Ｍの画像を、画像表示部分１１ａに表示した状態に
おいて左側装置Ａを利用する会議者Ｍが基本視点位置１
２ａに視点を一致させている状態を表している。
（ｂ）は、左側装置Ａを利用する会議者Ｍが基本視点位
置１２ａと視点一致した状態を表している。また、図８
（ｃ）は、図８（ｂ）状態における左側装置Ａの会議者
Ｍの画像を画像表示部分１１ｂで表示した状態であり、
右側装置Ｂの会議者Ｍが視点を基本視点位置１２ｂから
ｙ２だけＹ軸方向に移動した状態を表している。更に、
図８（ｄ）は、図８（ｃ）の状態にある右側装置Ｂの会
議者Ｍの画像を、画像表示部分１１ａに表示した状態に
おいて左側装置Ａを利用する会議者Ｍが基本視点位置１
２ａに視点を一致させている状態を表している。
【００３２】図８（ｅ）は、図８（ｄ）の状態にある左
側装置Ａの会議者Ｍの画像を画像表示部分１１ｂに表示
した状態であり、右側装置Ｂの会議者Ｍが視点を基本視
点位置１２ｂからだけＹ軸方向に移動した状態を表して
いる。図８（ｆ）は、図８（ｅ）の状態にある右側装置
Ｂの会議者Ｍの画像を画像表示部分１１ａに表示した状
態において、左側装置Ａの会議者Ｍが視点を基本視点位
置１２ａからｙ１だけＹ軸方向に移動した状態を表して
いる。図８（ｇ）は、図８（ｆ）の状態にある左側装置
Ａの会議者Ｍの画像を画像表示部分１１ｂに表示した状
態であり、右側装置Ｂの会議者Ｍが視点を基本視点位置
１２ａからｙ２だけＹ軸方向に移動した状態を表してい
る。
側装置Ａの会議者Ｍの画像を画像表示部分１１ｂに表示
した状態であり、右側装置Ｂの会議者Ｍが視点を基本視
点位置１２ｂからだけＹ軸方向に移動した状態を表して
いる。図８（ｆ）は、図８（ｅ）の状態にある右側装置
Ｂの会議者Ｍの画像を画像表示部分１１ａに表示した状
態において、左側装置Ａの会議者Ｍが視点を基本視点位
置１２ａからｙ１だけＹ軸方向に移動した状態を表して
いる。図８（ｇ）は、図８（ｆ）の状態にある左側装置
Ａの会議者Ｍの画像を画像表示部分１１ｂに表示した状
態であり、右側装置Ｂの会議者Ｍが視点を基本視点位置
１２ａからｙ２だけＹ軸方向に移動した状態を表してい
る。
【００３３】以下、図２を参照して送信動作を説明す
る。まず、画像処理部４が初期状態に設定される（ステ
ップＳ１）。この初期状態が図８（ａ）である。この初
期状態の図８（ａ）では、画像処理部４で基本視点位置
１２ａ，１２ｂを測定し、この基本視点位置１２ａ，１
２ｂの座標値Ｃｘ，Ｃｙ，Ｃｚを記憶する。同時に基本
視点位置１２ａ，１２ｂを中心とした際に、どの程度の
範囲の画像を撮影できるかを測定する。この値を撮影範
囲Ｌｙ，Ｌｚとして記憶する。
る。まず、画像処理部４が初期状態に設定される（ステ
ップＳ１）。この初期状態が図８（ａ）である。この初
期状態の図８（ａ）では、画像処理部４で基本視点位置
１２ａ，１２ｂを測定し、この基本視点位置１２ａ，１
２ｂの座標値Ｃｘ，Ｃｙ，Ｃｚを記憶する。同時に基本
視点位置１２ａ，１２ｂを中心とした際に、どの程度の
範囲の画像を撮影できるかを測定する。この値を撮影範
囲Ｌｙ，Ｌｚとして記憶する。
【００３４】図８（ａ）では、Ｚ軸方向が示されておら
ず、Ｌｙのみが図示されている。また、画像処理部４で
は、画像表示部分１１ａ，１１ｂの実際の大きさ（画像
サイズ）Ｗｙ，Ｗｚも同時に記憶する。また、ネットワ
ーク会議画像処理装置Ａ，Ｂ（左側装置Ａ、右側装置
Ｂ）を使用する会議者Ｍの正面の顔を撮影し、この画像
情報Ｓ１０１ａ，Ｓ１０１ｂを画像合成部５が図示しな
いメモリなどに記憶する。
ず、Ｌｙのみが図示されている。また、画像処理部４で
は、画像表示部分１１ａ，１１ｂの実際の大きさ（画像
サイズ）Ｗｙ，Ｗｚも同時に記憶する。また、ネットワ
ーク会議画像処理装置Ａ，Ｂ（左側装置Ａ、右側装置
Ｂ）を使用する会議者Ｍの正面の顔を撮影し、この画像
情報Ｓ１０１ａ，Ｓ１０１ｂを画像合成部５が図示しな
いメモリなどに記憶する。
【００３５】次に、この初期状態を、例えば、左側装置
Ａから右側装置Ｂに送信する（ステップＳ２）。この送
信情報は、画像表示部分１１ａ，１１ｂにおける実際の
大きさ（画像サイズ）Ｗｙ，Ｗｚ、及び、基本視点位置
１２ａ，１２ｂの座標値Ｃｘ，Ｃｙ，Ｃｚ及び撮影範囲
Ｌｙ，Ｌｚである。次に、会議者Ｍの撮影を行う（ステ
ップＳ３）。
Ａから右側装置Ｂに送信する（ステップＳ２）。この送
信情報は、画像表示部分１１ａ，１１ｂにおける実際の
大きさ（画像サイズ）Ｗｙ，Ｗｚ、及び、基本視点位置
１２ａ，１２ｂの座標値Ｃｘ，Ｃｙ，Ｃｚ及び撮影範囲
Ｌｙ，Ｌｚである。次に、会議者Ｍの撮影を行う（ステ
ップＳ３）。
【００３６】ビデオカメラ２ａ，２ｂで会議者Ｍが撮影
され、画像情報Ｓ１０１ａ，Ｓ１０１ｂが画像合成部５
に入力される。次に、会議者Ｍの顔の画像部分を検出す
る（ステップＳ４）。この検出は画像合成部５で行い、
上記の初期状態設定時に撮影された会議者Ｍの正面の顔
画像と画像情報Ｓ１０１ａ，Ｓ１０１ｂの画像情報との
相関を検出して、画像情報Ｓ１０１ａ，Ｓ１０１ｂ内の
会議者Ｍの顔の画像部分を検出する。
され、画像情報Ｓ１０１ａ，Ｓ１０１ｂが画像合成部５
に入力される。次に、会議者Ｍの顔の画像部分を検出す
る（ステップＳ４）。この検出は画像合成部５で行い、
上記の初期状態設定時に撮影された会議者Ｍの正面の顔
画像と画像情報Ｓ１０１ａ，Ｓ１０１ｂの画像情報との
相関を検出して、画像情報Ｓ１０１ａ，Ｓ１０１ｂ内の
会議者Ｍの顔の画像部分を検出する。
【００３７】次に、画像合成部５で三次元画像を作成す
る（ステップＳ５）。まず、画像合成部５は会議者Ｍの
顔の画像部分を検出した二枚の画像を比較し、同一点を
撮影している部分を検出して、ビデオカメラ２ａ，２ｂ
の位置情報に基づいて撮影された会議者Ｍの三次元位置
を特定する。更に、図６及び図７に示すように、会議者
Ｍの顔の表面に接し、かつ、ビデオカメラ２ａ，２ｂと
会議者Ｍの顔を結ぶ直線を垂線とする平面を求める。こ
の平面に画像１１３ａ，１１３ｂを設定する。このよう
にして作成した三次元画像情報を、三次元画像情報信号
Ｓ１０２として画像合成部５から視点検出部６及び画像
作成部８に出力する。また、別の実施の形態として、図
９及び図１０に示すように、ビデオカメラ２ａ，２ｂと
会議者Ｍの顔を結ぶ直線を垂線とする平面と、会議者Ｍ
の顔の表面に接する半円柱を組み合わせた曲面に画像１
１３ａ，１１３ｂを設定してもよい。
る（ステップＳ５）。まず、画像合成部５は会議者Ｍの
顔の画像部分を検出した二枚の画像を比較し、同一点を
撮影している部分を検出して、ビデオカメラ２ａ，２ｂ
の位置情報に基づいて撮影された会議者Ｍの三次元位置
を特定する。更に、図６及び図７に示すように、会議者
Ｍの顔の表面に接し、かつ、ビデオカメラ２ａ，２ｂと
会議者Ｍの顔を結ぶ直線を垂線とする平面を求める。こ
の平面に画像１１３ａ，１１３ｂを設定する。このよう
にして作成した三次元画像情報を、三次元画像情報信号
Ｓ１０２として画像合成部５から視点検出部６及び画像
作成部８に出力する。また、別の実施の形態として、図
９及び図１０に示すように、ビデオカメラ２ａ，２ｂと
会議者Ｍの顔を結ぶ直線を垂線とする平面と、会議者Ｍ
の顔の表面に接する半円柱を組み合わせた曲面に画像１
１３ａ，１１３ｂを設定してもよい。
【００３８】次いで、画像作成部８が送信画像を作成す
る（ステップＳ６）。画像作成部８では、三次元画像情
報信号Ｓ１０２の初期情報の受信後に、ある位置から撮
影した画像を生成する。この撮影位置は、左側装置Ａの
ディスプレイ装置３中の画像表示部分に表示された右側
装置Ｂの会議者Ｍの画像上の視点位置である（なお、こ
の動作はあとで説明する図３中のステップＳ１２であ
る）。
る（ステップＳ６）。画像作成部８では、三次元画像情
報信号Ｓ１０２の初期情報の受信後に、ある位置から撮
影した画像を生成する。この撮影位置は、左側装置Ａの
ディスプレイ装置３中の画像表示部分に表示された右側
装置Ｂの会議者Ｍの画像上の視点位置である（なお、こ
の動作はあとで説明する図３中のステップＳ１２であ
る）。
【００３９】次に、視点検出部６が、視点位置を検出す
る（ステップＳ７）。視点検出部６は、画像合成部５か
らの三次元画像情報信号Ｓ１０２での顔画像から目の位
置を検出して、視点位置を特定する。この三次元画像情
報信号Ｓ１０２における視点位置情報と撮影位置情報信
号Ｓ１０４とによって、画像情報信号Ｓ１０７における
視点情報を計算し、この視点情報信号Ｓ１０６を右側装
置Ｂへ送信する。この送信と共に、状態及び画像情報で
ある画像情報信号Ｓ１０７及び画像制御情報信号Ｓ１０
８を右側装置Ｂへ送信する（ステップＳ８）。この後は
図２中のステップＳ２にリターンして上記した処理を繰
り返して実行する。
る（ステップＳ７）。視点検出部６は、画像合成部５か
らの三次元画像情報信号Ｓ１０２での顔画像から目の位
置を検出して、視点位置を特定する。この三次元画像情
報信号Ｓ１０２における視点位置情報と撮影位置情報信
号Ｓ１０４とによって、画像情報信号Ｓ１０７における
視点情報を計算し、この視点情報信号Ｓ１０６を右側装
置Ｂへ送信する。この送信と共に、状態及び画像情報で
ある画像情報信号Ｓ１０７及び画像制御情報信号Ｓ１０
８を右側装置Ｂへ送信する（ステップＳ８）。この後は
図２中のステップＳ２にリターンして上記した処理を繰
り返して実行する。
【００４０】次に、図３を参照して受信動作を説明す
る。図１に示す画像処理部４が、図示しない他のネット
ワーク会議画像処理装置からの伝送路１０を通じて上記
ステップＳ１の処理による初期情報を受信し、次に情報
を受信する（ステップＳ１１，Ｓ１２）。この情報内容
は、図２のステップＳ８で送信される情報と同様であ
る。すなわち、視点情報信号Ｓ１０６、画像情報信号Ｓ
１０７及び画像制御情報信号Ｓ１０８である。
る。図１に示す画像処理部４が、図示しない他のネット
ワーク会議画像処理装置からの伝送路１０を通じて上記
ステップＳ１の処理による初期情報を受信し、次に情報
を受信する（ステップＳ１１，Ｓ１２）。この情報内容
は、図２のステップＳ８で送信される情報と同様であ
る。すなわち、視点情報信号Ｓ１０６、画像情報信号Ｓ
１０７及び画像制御情報信号Ｓ１０８である。
【００４１】次に、画像表示処理部７が伝送路１０を通
じて受信した情報から画像情報を取り出し、この画像信
号Ｓ１１２をディスプレイ装置３へ送出して画像を表示
する（ステップＳ１３）。次に、画像表示処理部７が伝
送路１０を通じて受信した情報中の画像情報以外の画像
制御情報信号Ｓ１１０を、表示制御部９が取り込んで更
新する。また、画像作成部８が視点情報信号Ｓ１０９を
取り込んで更新する（ステップＳ１４）。この後は、ス
テップＳ１２にリターンして上記した処理を繰り返して
実行する。
じて受信した情報から画像情報を取り出し、この画像信
号Ｓ１１２をディスプレイ装置３へ送出して画像を表示
する（ステップＳ１３）。次に、画像表示処理部７が伝
送路１０を通じて受信した情報中の画像情報以外の画像
制御情報信号Ｓ１１０を、表示制御部９が取り込んで更
新する。また、画像作成部８が視点情報信号Ｓ１０９を
取り込んで更新する（ステップＳ１４）。この後は、ス
テップＳ１２にリターンして上記した処理を繰り返して
実行する。
【００４２】以下、画像作成部８の動作を図８に基づい
て詳細に説明する。図８（ｂ）では、左側装置Ａでの視
点１３ａが基本視点位置１２ａに位置している。更に、
右側装置Ｂが初期状態の場合、画像表示部分１１ａの中
心を撮影位置として、その視点が画像の中心になるよう
に画像が作成される。この情報は伝送路１０を通じて図
８（ｃ）の右側装置Ｂへ伝送される。この右側装置Ｂで
は、視点１３ｂが基本視点位置１２ｂから移動してい
る。撮影位置は、図８（ｂ）で視点１３ａが基本視点位
置１２ａに位置していたため、画像表示部分１１ｂの中
心となる。
て詳細に説明する。図８（ｂ）では、左側装置Ａでの視
点１３ａが基本視点位置１２ａに位置している。更に、
右側装置Ｂが初期状態の場合、画像表示部分１１ａの中
心を撮影位置として、その視点が画像の中心になるよう
に画像が作成される。この情報は伝送路１０を通じて図
８（ｃ）の右側装置Ｂへ伝送される。この右側装置Ｂで
は、視点１３ｂが基本視点位置１２ｂから移動してい
る。撮影位置は、図８（ｂ）で視点１３ａが基本視点位
置１２ａに位置していたため、画像表示部分１１ｂの中
心となる。
【００４３】次に、画像作成部８が撮影範囲を計算す
る。この計算は、まず、視点１３ｂと基本視点位置１２
ｂとの間の角度θを計算する。次に、図８（ｄ）に示す
ように左側装置Ａの画像表示部分１１ａの位置、大き
さ、及び、基本視点位置１２ａの情報から、基本視点位
置１２ａと画像表示部分１１ａに表示される画像上の視
点との間が角度θになる視点位置ｙ２ａを計算する。
る。この計算は、まず、視点１３ｂと基本視点位置１２
ｂとの間の角度θを計算する。次に、図８（ｄ）に示す
ように左側装置Ａの画像表示部分１１ａの位置、大き
さ、及び、基本視点位置１２ａの情報から、基本視点位
置１２ａと画像表示部分１１ａに表示される画像上の視
点との間が角度θになる視点位置ｙ２ａを計算する。
【００４４】撮影範囲は、画像表示部分１１ａでの表示
画像上の視点位置がｙ２ａになるように決定される。具
体的には、図８（ａ）に示すように画像表示部分１１
ａ，１１ｂの実際の大きさ（画像サイズ）Ｗ１ｙと視点
位置ｙ２ａとの比が、撮影範囲Ｌ２ｙと図８（ｃ）に示
す視点１３ｂと中心線との距離Ｖ２ｙの比に等しくなる
ように撮影範囲が決定される。図８（ｄ）では視点１３
ａは、基本視点位置１２ａに位置しているが、画像表示
部分１１ａ上の視点位置中心から視点位置ｙ２ａに移動
し、この視点位置ｙ２ａが撮影位置となる。撮影範囲は
視点１３ａが中心となるように設定される。
画像上の視点位置がｙ２ａになるように決定される。具
体的には、図８（ａ）に示すように画像表示部分１１
ａ，１１ｂの実際の大きさ（画像サイズ）Ｗ１ｙと視点
位置ｙ２ａとの比が、撮影範囲Ｌ２ｙと図８（ｃ）に示
す視点１３ｂと中心線との距離Ｖ２ｙの比に等しくなる
ように撮影範囲が決定される。図８（ｄ）では視点１３
ａは、基本視点位置１２ａに位置しているが、画像表示
部分１１ａ上の視点位置中心から視点位置ｙ２ａに移動
し、この視点位置ｙ２ａが撮影位置となる。撮影範囲は
視点１３ａが中心となるように設定される。
【００４５】図８（ｅ）では、視点１３ｂが図８（ｃ）
の場合と同じ位置にある。画像表示部分１１ｂに表示さ
れる画像上の視点の位置も変化しないため、撮影位置、
撮影範囲が図８（ｃ）の場合と同一になる。図８（ｆ）
では、視点１３ａが基本視点位置１２ａから移動してい
る。このため、図８（ｃ）の場合と同様に、視点１３ａ
と基本視点位置１２ａとの間の角度ψを求め、右側装置
Ｂの情報に基づいて視点位置ｙ１ａを計算して、撮影範
囲を設定する。
の場合と同じ位置にある。画像表示部分１１ｂに表示さ
れる画像上の視点の位置も変化しないため、撮影位置、
撮影範囲が図８（ｃ）の場合と同一になる。図８（ｆ）
では、視点１３ａが基本視点位置１２ａから移動してい
る。このため、図８（ｃ）の場合と同様に、視点１３ａ
と基本視点位置１２ａとの間の角度ψを求め、右側装置
Ｂの情報に基づいて視点位置ｙ１ａを計算して、撮影範
囲を設定する。
【００４６】撮影位置は図８（ｅ）で視点１３ｂが変化
していないため、視点位置ｙ２ａのままとなる。図８
（ｇ）では視点１３ｂが変化していない。しかし、撮影
位置が視点位置ｙ１ａに移動しているため、画像表示部
分１１ａ，１１ｂの実際の大きさ（画像サイズ）Ｗ２ｙ
と視点位置ｙ１ａとの比が、撮影範囲Ｌ１ｙと図８
（ｆ）に示す視点１３ｄと中心線との距離Ｖ１ｙとの比
に等しくなるように撮影範囲が変化する。
していないため、視点位置ｙ２ａのままとなる。図８
（ｇ）では視点１３ｂが変化していない。しかし、撮影
位置が視点位置ｙ１ａに移動しているため、画像表示部
分１１ａ，１１ｂの実際の大きさ（画像サイズ）Ｗ２ｙ
と視点位置ｙ１ａとの比が、撮影範囲Ｌ１ｙと図８
（ｆ）に示す視点１３ｄと中心線との距離Ｖ１ｙとの比
に等しくなるように撮影範囲が変化する。
【００４７】
【発明の効果】以上の説明から明らかなように、本発明
のネットワーク会議画像処理装置によれば、例えば、市
販製品のビデオカメラ及びディスプレイ装置を用いて、
画像の撮影位置及び撮影範囲を変化させ、視点の移動に
対応した視線一致を図っている。この結果、その構成が
容易に出来るようになる。
のネットワーク会議画像処理装置によれば、例えば、市
販製品のビデオカメラ及びディスプレイ装置を用いて、
画像の撮影位置及び撮影範囲を変化させ、視点の移動に
対応した視線一致を図っている。この結果、その構成が
容易に出来るようになる。
【００４８】また、画像の撮影位置及び撮影範囲の変化
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。この結果、視点の移動に対応した視線
一致が可能になり、その自然な対話による会議が出来る
ようになる。
として、例えば、二つの視点から撮影された画像を処理
し、この二つの視点とは別の視点から撮影した場合の任
意の画像を生成して、会議者相互が視線を向けた対話を
可能にしている。この結果、視点の移動に対応した視線
一致が可能になり、その自然な対話による会議が出来る
ようになる。
【００４９】更に、画像合成時に会議者における顔画像
の特徴のみの最小限の画像処理によって三次元画像を作
成している。この結果、画像品質が劣化せずに、その画
像品質が向上して自然な画質による会議が出来るように
なる。
の特徴のみの最小限の画像処理によって三次元画像を作
成している。この結果、画像品質が劣化せずに、その画
像品質が向上して自然な画質による会議が出来るように
なる。
【図１】本発明のネットワーク会議画像処理装置の実施
形態における構成を示すブロック図である。
形態における構成を示すブロック図である。
【図２】実施形態にあって送信動作の処理手順を示すフ
ローチャートである。
ローチャートである。
【図３】実施形態にあって受信動作の処理手順を示すフ
ローチャートである。
ローチャートである。
【図４】実施形態にあって会議者の撮影状態を示す上面
図である。
図である。
【図５】実施形態にあって撮影状態での画像を示す図で
ある。
ある。
【図６】実施形態にあって三次元画像情報信号を撮影画
像と重ね合わせた状態を説明するための図である。
像と重ね合わせた状態を説明するための図である。
【図７】実施形態にあって三次元画像情報信号をビデオ
カメラの中間位置から目視した状態を説明するための図
である。
カメラの中間位置から目視した状態を説明するための図
である。
【図８】実施形態にあって二台のネットワーク会議画像
処理装置を伝送路を通じて接続した場合の状態遷移を説
明するための図である。
処理装置を伝送路を通じて接続した場合の状態遷移を説
明するための図である。
【図９】他の実施形態にあって三次元画像情報信号を撮
影画像と重ね合わせた状態を説明するための図である。
影画像と重ね合わせた状態を説明するための図である。
【図１０】他の実施形態にあって三次元画像情報信号を
ビデオカメラの中間位置から目視した状態を説明するた
めの図である。
ビデオカメラの中間位置から目視した状態を説明するた
めの図である。
２ａ，２ｂ ビデオカメラ
３ ディスプレイ装置
４ 画像処理部
５ 画像合成部
６ 視点検出部
７ 画像表示処理部
８ 画像作成部
９ 表示制御部
１０ 伝送路
Ｓ１０１ａ，Ｓ１０１ｂ，Ｓ１１２ 画像情報
Ｓ１０２ 三次元画像情報信号
Ｓ１０３ 画像属性情報信号
Ｓ１０４ 撮影位置情報信号
Ｓ１０５ 画像配置情報信号
Ｓ１０６，Ｓ１０９ 視点情報信号
Ｓ１０７，Ｓ１１１ 画像情報信号
Ｓ１０８，Ｓ１１０ 画像制御情報信号
Ｍ 会議者
フロントページの続き
(56)参考文献 特開 平２−58484（ＪＰ，Ａ)
特開 平９−154114（ＪＰ，Ａ)
特開 平９−114979（ＪＰ，Ａ)
特開 平２−50691（ＪＰ，Ａ)
特開 昭63−228890（ＪＰ，Ａ)
Claims (7)
- 【請求項１】 撮影画像及び会話音声を伝送し、かつ、
表示画像と対面して会議を行うためのネットワーク会議
画像処理装置において、 他のネットワーク会議画像処理装置との間で、表示画面
上に表示される二次元情報である画像情報と、前記画像
情報の画像上における視点位置を示す情報である視点情
報と、表示画面上の画像位置、画像表示部分の大きさ、
及び、画像情報の三次元空間における撮影領域を示す情
報である画像制御情報とを互いに伝送する会議画像処理
手段を備え、 前記会議画像処理手段は、少なくとも二つの視点から撮
影された画像をこの二つの視点とは別の視点の画像とな
るよう画像処理することで、伝送する画像の撮影位置及
び撮影範囲を変化させるものであって、前記別の視点
を、受信した前記視点情報によって通信相手会議者の視
点の位置変化に対応して変化させるとともに、前記撮影
範囲を視点情報および画像制御情報に基づいて変化させ
ることを特徴とするネットワーク会議画像処理装置。 - 【請求項２】 前記会議画像処理手段として、 複数の撮影位置から会議者を撮影した画像情報を出力す
る撮影部と、 前記撮影部からの画像情報を処理して会議者の三次元画
像を合成する画像合成部と、 前記画像合成部からの三次元画像から前記会議者の視点
を検出した視点情報を、伝送路を通じて他のネットワー
ク会議画像処理装置へ送出する視点検出部と、 前記画像合成部からの三次元画像を任意の撮影位置から
撮影して画像に生成した画像情報を伝送路を通じて他の
ネットワーク会議画像処理装置へ送出する画像作成部
と、 伝送路を通じて受信した画像情報における画像の表示位
置を決定した画像信号を出力し、かつ、前記画像作成部
及び画像表示処理部での動作処理のための画像制御情報
を受信して送出する受信処理部と、 を備えることを特徴とする請求項１記載のネットワーク
会議画像処理装置。 - 【請求項３】 前記画像合成部において、 会議者の顔の画像の特徴のみの画像処理によって三次元
画像を作成することを特徴とする請求項２記載のネット
ワーク会議画像処理装置。 - 【請求項４】 前記視点検出部において、 画像合成部で作成した三次元画像中の視点位置を、三次
元画像及び、この元になる撮影画像から検出することを
特徴とする請求項２記載のネットワーク会議画像処理装
置。 - 【請求項５】 前記画像作成部において、 撮影位置を、他のネットワーク会議画像処理装置から受
信した視点情報と連動して処理することを特徴とする請
求項２記載のネットワーク会議画像処理装置。 - 【請求項６】 前記受信処理部として、 会議者の画像を映し出す画像表示部と、 伝送路を通じて受信した画像情報における画像の表示位
置を決定した画像信号を前記画像表示部に出力する画像
表示処理部と、 前記画像作成部及び画像表示処理部での動作処理のため
の画像制御情報を受信して送出する表示制御部と、 を備えることを特徴とする請求項２記載のネットワーク
会議画像処理装置。 - 【請求項７】 他の一つのネットワーク会議画像処理装
置との間で伝送路を通じて画像情報、視点情報及び画像
制御情報を送受信する通信制御装置を更に備えることを
特徴とする請求項１記載のネットワーク会議画像処理装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15640098A JP3389102B2 (ja) | 1998-06-04 | 1998-06-04 | ネットワーク会議画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15640098A JP3389102B2 (ja) | 1998-06-04 | 1998-06-04 | ネットワーク会議画像処理装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001064755A Division JP2001313917A (ja) | 2001-03-08 | 2001-03-08 | ネットワーク会議画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11355804A JPH11355804A (ja) | 1999-12-24 |
| JP3389102B2 true JP3389102B2 (ja) | 2003-03-24 |
Family
ID=15626918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15640098A Expired - Fee Related JP3389102B2 (ja) | 1998-06-04 | 1998-06-04 | ネットワーク会議画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3389102B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5208810B2 (ja) | 2009-02-27 | 2013-06-12 | 株式会社東芝 | 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム |
| JP5202448B2 (ja) * | 2009-06-17 | 2013-06-05 | シャープ株式会社 | 画像処理システム及び方法 |
| CN102708843B (zh) * | 2012-05-15 | 2017-02-15 | 中兴通讯股份有限公司 | 一种终端图像处理方法及终端 |
| KR102169523B1 (ko) * | 2013-05-31 | 2020-10-23 | 삼성전자 주식회사 | 디스플레이장치 및 그 제어방법 |
| US11006098B2 (en) | 2016-05-10 | 2021-05-11 | Sony Corporation | Information processing apparatus, information processing system, and information processing method |
| JP2020043507A (ja) * | 2018-09-12 | 2020-03-19 | シャープ株式会社 | 映像表示装置、映像処理装置 |
| CN114697602B (zh) * | 2020-12-31 | 2023-12-29 | 华为技术有限公司 | 会议装置和会议系统 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH074011B2 (ja) * | 1987-03-18 | 1995-01-18 | 株式会社日立製作所 | 画像合成装置 |
| JP2557406B2 (ja) * | 1987-09-14 | 1996-11-27 | 日本電信電話株式会社 | ３次元画像表示装置 |
| JP2528167B2 (ja) * | 1988-08-12 | 1996-08-28 | 日本電信電話株式会社 | 視線一致画像通信方式 |
| JPH0652945B2 (ja) * | 1988-08-24 | 1994-07-06 | 日本電信電話株式会社 | テレビ電話装置 |
| JPH0389794A (ja) * | 1989-09-01 | 1991-04-15 | Nippon Telegr & Teleph Corp <Ntt> | 多人数用三次元表示方式 |
| JP3289730B2 (ja) * | 1991-07-12 | 2002-06-10 | 日本電信電話株式会社 | 画像通信用入出力装置 |
| JPH0522723A (ja) * | 1991-07-15 | 1993-01-29 | Canon Inc | 画像通信装置 |
| JPH0568246A (ja) * | 1991-09-06 | 1993-03-19 | Nippon Telegr & Teleph Corp <Ntt> | 画像通信用表示・撮像方式 |
| JPH0690445A (ja) * | 1992-09-09 | 1994-03-29 | Hitachi Ltd | 映像入出力装置 |
| JPH08195945A (ja) * | 1995-01-17 | 1996-07-30 | Japan Aviation Electron Ind Ltd | カメラ付きディスプレイ装置 |
| JPH0923449A (ja) * | 1995-07-05 | 1997-01-21 | Hitachi Ltd | 実写映像及び３次元モデル合成装置 |
| JPH09116882A (ja) * | 1995-10-13 | 1997-05-02 | Ricoh Co Ltd | オーディオビジュアル通信端末装置 |
| JP3328478B2 (ja) * | 1995-10-18 | 2002-09-24 | 日本電信電話株式会社 | カメラシステム |
| JPH09154114A (ja) * | 1995-11-28 | 1997-06-10 | Nec Corp | 電子会議端末装置 |
-
1998
- 1998-06-04 JP JP15640098A patent/JP3389102B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11355804A (ja) | 1999-12-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5359362A (en) | Videoconference system using a virtual camera image | |
| US20050129325A1 (en) | Image processing apparatus and method | |
| US7330584B2 (en) | Image processing apparatus and method | |
| JP2006333301A (ja) | テレビ通信装置 | |
| US20060120712A1 (en) | Method and apparatus for processing image | |
| EP2352290B1 (en) | Method and apparatus for matching audio and video signals during a videoconference | |
| JP2009071478A (ja) | 情報通信端末および情報通信システム | |
| JP4539015B2 (ja) | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム | |
| JP4461739B2 (ja) | 撮像装置 | |
| JP2005142957A (ja) | 撮像装置及び方法、撮像システム | |
| JP3389102B2 (ja) | ネットワーク会議画像処理装置 | |
| JP2001136501A (ja) | 視線一致テレビ会議装置 | |
| US8717410B2 (en) | Video communication method, apparatus, and system | |
| JP3488096B2 (ja) | ３次元共有仮想空間通信サービスにおける顔画像制御方法，３次元共有仮想空間通信用装置およびそのプログラム記録媒体 | |
| JP2003009108A (ja) | 画像通信システム、画像通信装置、および画像通信方法 | |
| KR20120054746A (ko) | 휴대용 단말기에서 입체 이미지를 생성하기 위한 장치 및 방법 | |
| Liu et al. | A computational approach to establish eye-contact in videocommunication | |
| JPH0258484A (ja) | テレビ電話装置 | |
| JP2001313917A (ja) | ネットワーク会議画像処理装置 | |
| JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
| JP2005142765A (ja) | 撮像装置及び方法 | |
| TWI248021B (en) | Method and system for correcting out-of-focus eyesight of attendant images in video conferencing | |
| JPH08256316A (ja) | 通信会議システム | |
| JP4586447B2 (ja) | 画像処理装置及び方法、プログラム | |
| JPH0481090A (ja) | 視線一致型の人物映像撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080117 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090117 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100117 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110117 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110117 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120117 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130117 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130117 Year of fee payment: 10 |
|
| LAPS | Cancellation because of no payment of annual fees |