JP4539015B2 - 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム - Google Patents
画像通信装置、および画像通信方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4539015B2 JP4539015B2 JP2002359387A JP2002359387A JP4539015B2 JP 4539015 B2 JP4539015 B2 JP 4539015B2 JP 2002359387 A JP2002359387 A JP 2002359387A JP 2002359387 A JP2002359387 A JP 2002359387A JP 4539015 B2 JP4539015 B2 JP 4539015B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- user
- communication partner
- communication
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、画像通信装置、および画像通信方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、テレビ電話、テレビ会議等のように通信手段を介して会話相手をディスプレイに表示して会話を行なうシステムにおいて、ユーザの動きに応じた表示画像の制御を行なうことにより、会話を行なうユーザの違和感を減少させたディスプレイ表示を可能とした画像通信装置、および画像通信方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
テレビ電話、テレビ会議等のように、通信手段を介して会話相手をディスプレイに表示して会話を行なうシステムが様々な分野で利用されている。昨今では、パーソナルコンピュータ（ＰＣ）の高機能化、低価格化が進み、ＰＣあるいは携帯端末等にデジタルカメラを備え、インターネット等のネットワークを介して音声および画像データを送受信するテレビ電話機能を持つ装置も実用化されている。
【０００３】
このようにユーザ同士が、双方に通信相手に対して撮像装置により撮影した画像データを通信回線を介して送信し、相手ユーザの画像を表示して対話を行なうシステムでは、表示装置を見ている利用者と、表示装置に表示されている相手の画像の目線（視線）を合致させることが自然な感覚での対話を実現するため重要な要素となる。
【０００４】
双方の利用者の目線を一致させるための構成については、すでにいくつかの提案がなされている。たとえば、ハーフミラーを用いてカメラの向きと表示画面を合わせるもの（たとえば特許文献１）、あるいは、光透過状態と光錯乱状態を制御できるスクリーンとプロジェクタを用いて時系列で表示と撮像を行うもの（たとえば特許文献２）、ホログラムスクリーンとプロジェクタを用いることで、表示と撮像を同時実行可能としたもの（たとえば特許文献３）などがある。
【０００５】
しかし、上述の各従来技術に開示されたシステムでは、画像データを提供し合うユーザの双方において、それぞれ１台の固定カメラのみを備えた構成であるため、固定カメラによって取得された一視点からの映像のみが相手方に送信されることになり、違った視点における映像を送信することはできない。従って、人物がたとえば左あるいは右に移動した場合、画像を見ながら対話を行なっている利用者の視線方向にずれが生じ、コミュニケーションが不自然になってしまうという問題がある。
【０００６】
このような不自然さを解消するため、映像を見ている人物の位置を計測し、その情報に合わせて相手のカメラを動かして、人物が動いても視線の一致を実現するシステムも提案されている（例えば特許文献４）。本特許文献４に記載の構成は、利用者を撮影するカメラを動かす稼動部を設け、映像を見ている人物の位置を計測し、その情報に合わせて相手のカメラを動かす構成である。しかし、本構成においては、利用者の動きの検出に基づいてカメラの移動を開始することになり、カメラ移動に伴うタイムラグの発生により、ユーザの動きに十分追従できず、不自然さを十分解消するには至らないという問題がある。また、制御信号に基づいてカメラを正確に駆動させるための稼動部構成の困難性や信頼性に問題がある。
【０００７】
また、複数のカメラを備えた画像対話装置についても提案されている（例えば特許文献５）。これはＡ地点とＢ地点で対話を行う場合に、Ａ地点に設置した複数のカメラによって取得される複数の画像から、Ａ地点の利用者の顔を撮影している画像を選択して、その画像をＢ地点の利用者に対して提示する構成である。この構成は、利用者のディスプレイに常に相手の顔を表示しようとするものである。しかし、本構成は、ディスプレイを見ている利用者の動きに応じて、その利用者が見ている表示画像を制御する構成ではないため、ディスプレイを見ている利用者が動いても、その利用者が見ている表示画像は、固定的な相手方の顔画像となり、対話を行なう利用者の違和感を減少させるに十分な構成とは言い難い。
【０００８】
【特許文献１】
特開昭６１−６５６８３号公報
【特許文献２】
特開平４−１１４８５号公報
【特許文献３】
特開平９−１６８１４１号公報
【特許文献４】
特開２０００−８３２２８号公報
【特許文献５】
特開平６−３０３６０１号公報
【０００９】
【発明が解決しようとする課題】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、テレビ電話、テレビ会議等のように、通信路を介して利用者の画像データを送信し、双方のディスプレイに表示して会話を行なうシステムにおいて、ユーザの動きに応じた表示画像の制御を行なうことにより、会話を行なうユーザの違和感を減少させた画像表示を可能とした画像通信装置、および画像通信方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１０】
さらに、前述の従来技術に開示されているシステムは、いずれも２つの地点を結ぶ双方向通信システムであり３地点以上のユーザ相互間で画像を提示して対話を行なおうとする場合の構成については開示されていない。３地点以上のユーザ相互間で画像を提示するシステムの場合は、１つのディスプレイに対話に参加する複数地点の画像データを併せて表示する構成が望まれる。例えば、ディスプレイを分割して複数の相手を表示し、ディスプレイを見る利用者の視線に応じて、ディスレイに表示する画像の制御を行ない、ディスプレイを見る利用者の視線方向にある表示画像領域の利用者画像の視線を合わせる調整を行なうことで、より自然な対話感をもたらすことができるものと考えられる。
【００１１】
本発明の構成では、このような３地点以上の通信手段を介して会話相手をディスプレイに表示して会話を行なうシステムにおいて、ユーザの動きに応じた表示画像の制御を行なうことにより、会話を行なうユーザの違和感を減少させたディスプレイ表示を可能とした画像通信装置、および画像通信方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の第１の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信装置であり、
画像送信元の利用者（Ａ）の画像を異なる視点から撮影する複数のカメラを有する撮像部と、
通信相手（Ｂ）の画像を通信相手の数（ｎ）に応じて分割された分割画面領域の各々に表示する表示部と、
前記利用者（Ａ）の位置情報を取得する検出部と、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力し、入力する通信相手（Ｂ）の位置情報に基づいて、前記撮像部の複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する送信映像制御部を有し、
前記送信映像制御部は、
前記撮像部の複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理部を有し、
前記画像処理部は、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記撮像部の複数カメラの撮影画像に基づく画像処理により生成する処理を実行するとともに、前記表示部に複数（ｎ）の通信相手が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成し、
前記送信映像制御部は、
前記画像処理部の生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行する構成であることを特徴とする記載の画像通信装置にある。
【００１３】
さらに、本発明の画像通信装置の一実施態様において、前記画像通信装置は、３地点以上の多地点のコミュニケーションに利用可能な構成を有し、前記表示部は、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成を有し、前記送信映像制御部は、前記表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する前記撮像部の複数カメラの範囲を区分する処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像通信装置の一実施態様において、前記検出部は、前記撮像部を構成するカメラの取得した画像に基づいて、前記利用者（Ａ）の位置情報を取得する処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の画像通信装置の一実施態様において、前記検出部は、前記撮像部を構成する異なる視点の複数カメラの取得画像に基づくステレオ法による三次元位置取得処理により、前記利用者（Ａ）の位置情報を取得する構成であることを特徴とする。
【００１７】
さらに、本発明の画像通信装置の一実施態様において、前記撮像部を構成する複数のカメラは、前記表示部方向からの前記利用者（Ａ）画像を異なる視点で撮影する構成であることを特徴とする。
【００１８】
さらに、本発明の画像通信装置の一実施態様において、前記撮像部を構成する複数のカメラは水平上に複数配列され、画像送信元の利用者（Ａ）の画像を少なくとも水平方向に異なる視点から撮影する構成であることを特徴とする。
【００１９】
さらに、本発明の画像通信装置の一実施態様において、前記撮像部を構成する複数のカメラはアレイ状に配列され、画像送信元の利用者（Ａ）の画像を水平方向および垂直方向において異なる視点から撮影する構成であることを特徴とする。
【００２０】
本発明の第２の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信装置であり、
画像送信元の利用者（Ａ）の画像を異なる視点から撮影する複数のカメラを有する撮像部と、
通信相手（Ｂ）の画像を通信相手の数（ｎ）に応じて分割された分割画面領域の各々に表示する表示部と、
前記利用者（Ａ）の位置情報を取得する検出部と、
前記ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力し、前記検出部の検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記表示部に対する出力画像として選択する表示映像制御部を有し、
前記表示映像制御部は、
前記撮像部の複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理部を有し、
前記画像処理部は、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御部は、
前記画像処理部の生成画像を、前記表示部に対する出力画像とする構成であることを特徴とする画像通信装置にある。
【００２２】
本発明の第３の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信方法であり、
画像送信元の利用者（Ａ）の画像を異なる視点から複数のカメラによって撮影する撮影ステップと、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力する位置情報入力ステップと、
入力する通信相手（Ｂ）の位置情報に基づいて、前記複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する画像選択ステップと、
前記画像選択ステップにおいて選択した画像を通信相手に送信する画像送信ステップを有し、
前記画像選択ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記複数カメラの撮影画像に基づく画像処理により生成する処理を実行し、利用者（Ａ）側表示部に複数（ｎ）の通信相手が表示されている場合、表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成するステップであり、
前記画像選択ステップは、
前記画像処理ステップにおける生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行ステップであることを特徴とする画像通信方法にある。
【００２３】
さらに、本発明の画像通信方法の一実施態様において、前記画像通信方法は、さらに、表示部を、単一の通信相手を表示する一人対面モード、あるいは複数の通信相手を画面分割により同時に表示する複数人対面モードのいずれかのモードに設定するモード設定ステップと、前記表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する前記撮像部の複数カメラの範囲を区分する区分ステップとを有し、前記画像選択ステップは、前記区分ステップにおいて区分されたカメラの取得する画像のみから各通信相手に送信する画像を選択する処理を実行することを特徴とする。
【００２５】
さらに、本発明の画像通信方法の一実施態様において、前記画像通信方法は、さらに、前記通信相手（Ｂ）に送信するための画像送信元の利用者（Ａ）の位置情報を検出する検出ステップを有し、前記検出ステップは、前記複数カメラの取得画像に基づいて、前記利用者（Ａ）の位置情報を取得する処理を実行することを特徴とする。
【００２６】
さらに、本発明の画像通信方法の一実施態様において、前記検出ステップは、前記複数カメラの取得画像に基づくステレオ法による三次元位置取得処理により、前記利用者（Ａ）の位置情報を取得することを特徴とする。
【００２７】
本発明の第４の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信方法であり、
画像送信元の利用者（Ａ）の位置情報を取得する検出ステップと
ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力する画像データ入力ステップと、
前記検出ステップにおいて検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、表示部に対する出力画像として選択する表示映像制御ステップと、
前記表示映像制御ステップにおいて選択した出力画像を表示部に出力する表示ステップを有し、
前記表示映像制御ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御ステップは、
前記画像処理ステップにおいて生成した生成画像を、前記表示部に対する出力画像とすることを特徴とする画像通信方法にある。
【００２９】
本発明の第５の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現するための画像通信処理を実行するコンピュータ・プログラムであって、
画像送信元の利用者（Ａ）の画像を異なる視点から複数のカメラによって撮影する撮影ステップと、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力する位置情報入力ステップと、
入力する通信相手（Ｂ）の位置情報に基づいて、前記複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する画像選択ステップと、
前記画像選択ステップにおいて選択した画像を通信相手に送信する画像送信ステップを有し、
前記画像選択ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記複数カメラの撮影画像に基づく画像処理により生成する処理を実行し、利用者（Ａ）側表示部に複数（ｎ）の通信相手が表示されている場合、表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成するステップであり、
前記画像選択ステップは、
前記画像処理ステップにおける生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行ステップであることを特徴とするコンピュータ・プログラムにある。
【００３０】
本発明の第６の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現するための画像通信処理を実行するコンピュータ・プログラムであって、
画像送信元の利用者（Ａ）の位置情報を取得する検出ステップと
ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力する画像データ入力ステップと、
前記検出ステップにおいて検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、表示部に対する出力画像として選択する表示映像制御ステップと、
前記表示映像制御ステップにおいて選択した出力画像を表示部に出力する表示ステップを有し、
前記表示映像制御ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御ステップは、
前記画像処理ステップにおいて生成した生成画像を、前記表示部に対する出力画像とすることを特徴とするコンピュータ・プログラムにある。
【００３１】
【作用】
本発明の構成によれば、ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する構成において、画像送信元の利用者（Ａ）の画像を複数カメラを用いて異なる視点から撮影し、ネットワークを介して通信相手の利用者（Ｂ）の位置情報を入力し、入力する通信相手（Ｂ）の位置情報に基づいて、撮像部の複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する構成としたので、利用者の位置が変化しても視線の一致を得ることが可能となり、利用者は、互いに先方の利用者を所望の位置から見ているような映像を観察することができ、あたかも窓を介して会話しているような臨場感でコミュニケーションを図ることが可能となる。
【００３２】
さらに、本発明の構成によれば、表示部を、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成とし、送信映像制御部は、表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する撮像部の複数カメラの範囲を区分する処理を実行する構成としたので、３地点以上の多地点のコミュニケーションに利用する場合においても、利用者は、互いに先方の利用者を所望の位置から見ているような映像を観察することが可能となる。
【００３３】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００３５】
【発明の実施の形態】
以下、本発明の画像通信装置、および画像通信方法の詳細について、図面を参照しながら複数の実施例を説明する。
【００３６】
［実施例１］
まず、本発明の第１の実施形態について説明する。図１は、実施例１に係る画像通信装置の構成を示す図である。図１は、ラインＰＱの上部Ａに示す利用者１ａとラインＰＱの下部Ｂに示すユーザ１ｂとがネットワーク７を介して通信を実行するシステムを示している。双方のユーザ１ａ，１ｂがそれぞれ本実施例に係る画像通信装置２ａ，２ｂを利用して双方向に映像および音声情報の交換を行なう構成例である。なお、以下の説明において、映像とは、カメラによって連続して撮影された画像、すなわち動画像のことであり、画像の下位概念である。
【００３７】
また、ＡＢ以外の他の地点に利用者が存在する場合や、同一箇所に複数人の利用者が存在する場合には、全ての利用者の組み合わせ毎に同様の画像通信装置が設置され、画像通信装置に相対して一人の利用者のみが位置するように設定して、相互に画像データを送受信する構成とする。なお、３地点以上の多地点間の具体的構成例については、実施例３において説明する。
【００３８】
Ａ地点側の画像通信装置２ａは、検出部３ａ、表示部４ａ、送信映像制御部５ａ、および撮像部６ａ等、および図示しない音声処理部および音声情報伝送処理部等により構成される。なお、音声処理および音声伝送処理については、従来からの処理構成を適用可能であるため、本明細書における詳細な説明は省略する。
【００３９】
また、Ｂ地点側の画像通信装置２ｂもＡ地点の画像通信装置２ａと同様の構成を有し、検出部３ｂ、表示部４ｂ、送信映像制御部５ｂ、および撮像部６ｂ、さらに図示しない音声処理部および伝送処理部等により構成される。
【００４０】
画像通信装置２ａ、２ｂのそれぞれがインターネット、専用回線、公衆回線、ＬＡＮ等、様々なデータ通信ネットワークによって構成されるネットワーク７に接続され、地点Ａ、Ｂにおいてネットワーク７を介して互いに映像データおよび音声データが転送され、相互に通信相手の画像を見ながらコミュニケーションを行なう。本発明の構成においては、さらに利用者位置情報がネットワークを介して転送される。
【００４１】
具体的には、Ａ地点側の画像通信装置２ａにおいて取得された映像情報ＤＡと、位置情報ＣＡと、音声情報（図示せず）とが、Ｂ地点側の画像通信装置２ｂに供給されると共に、Ｂ地点側の画像通信装置２ｂにおいて形成された映像情報ＤＢと、位置情報ＣＢと音声情報等とがＡ地点側の画像通信装置２ａに供給される。
【００４２】
地点Ａおよび地点Ｂのいずれの地点の画像通信装置２ａ、２ｂも同一構成であるので、以下では、利用者１ａ側の画像通信装置２ａを例に挙げてその構成と動作について説明する。
【００４３】
表示部４ａは、例えば、ホログラムスクリーン４１とプロジェクタ４２により構成されており、表示部４ａには、Ｂ地点の画像通信装置２ｂ内の異なる視点からの画像を撮影する複数のカメラからなる撮像部６ｂにより撮影された複数の画像の１つが、Ｂ地点の画像通信装置２ｂ内の送信映像制御部５ｂにおいて選択され、選択映像情報ＤＢとしてネットワーク７を介して供給される。
【００４４】
従って、表示部４ａには、Ｂ地点の複数のカメラからなる撮像部６ｂにおいて取得された複数映像の中から選択送信された１つの映像、すなわち選択映像情報ＤＢに基づく映像が表示される。なお、表示部４ａのホログラムスクリーン４１を介して利用者１ａが図１中において矢印８１で示されるように映像を見ることを考慮し、例えば、反転されると共に、歪み補正処理された映像が表示部４ａに映し出される。また、表示部４ａは、ホログラムスクリーン４１とプロジェクタ４２以外の例えばＣＲＴなどの表示装置とハーフミラーで構成してもよい。
【００４５】
撮像部６ａを構成する複数のカメラは、表示部４ａの表示手段としてのホログラムスクリーン４１の方向からの利用者１ａの画像を撮影する。撮像部６ａは、異なる視点からの映像を撮影する複数台のカメラにより構成されており、この複数台のカメラにより図１中において矢印８２で示されるように利用者１ａが撮影される。このとき、利用者１ａの映像を正面から捉えるカメラと、たとえばその左右に利用者１ａの正面からわずかにずれた位置からの映像を捉える複数台のカメラを設置する。
【００４６】
図２に、撮像部６ａの構成例を示す。撮像部６ａには、複数台のカメラ６１〜６５が設定され、それぞれのカメラがホログラムスクリーン４１を介して利用者１ａを異なる方向から撮影する。カメラ６１は、利用者１ａの左側面から、カメラ６３は、利用者１ａの真正面から、カメラ６５は、利用者１ａの右側面からの映像を撮影する。
【００４７】
送信映像制御部５ａには、Ｂ地点の検出部３ｂにおいて取得された利用者１ｂの位置情報ＣＢが供給される。送信映像制御部５ａは、ネットワークを介してＢ地点から入力する位置情報ＣＢに基づいて撮像部６ａのどのカメラからの映像を出力、すなわち、複数の異なる視点からの映像のどの映像をＢ地点の表示部４ｂに提示するかを選択する。
【００４８】
送信映像制御部５ａが利用者１ｂの位置情報ＣＢに基づいて選択した１つの映像、すなわち利用者１ａの選択映像が選択映像情報ＤＡとして、ネットワーク７を介してＢ地点に送信され、Ｂ地点の画像通信装置２ｂの表示部４ｂに供給される。
【００４９】
すなわち、本発明の構成においては、Ｂ地点の利用者１ｂの位置情報がＢ地点側の検出部３ｂによって取得され、この利用者１ｂの位置情報ＣＢがＡ地点の送信映像制御部５ａに送信され、この情報に基づいて、Ａ地点の利用者１ａを撮影する複数カメラの取得映像から最適視点映像が選択されてＢ地点に送信される。すなわち映像を見ている側の動きに応じて、映像データが切り替えられる。
【００５０】
同様に、Ａ地点の利用者１ａの位置情報がＡ地点側の検出部３ａによって取得され、この利用者１ａの位置情報ＣＡがＢ地点の送信映像制御部５ｂに送信され、この情報に基づいて、Ｂ地点の利用者１ｂを撮影する複数カメラの取得映像から最適視点映像が選択されてＡ地点に送信される。
【００５１】
検出部の処理について説明する。Ａ地点側の検出部の処理について説明する。表示部４ａの近接部に取り付けられた検出部３ａは、たとえばカメラ部３１および検出器３２により構成される。図１において矢印８３で示されるようにカメラ部３１により利用者１ａの姿が撮影され、カメラ部３１の映像出力が検出器３２に供給される。検出器３２は、画像解析により利用者１ａの位置情報、例えば顔の位置を検出する。検出した利用者１ａの位置情報ＣＡをＢ地点側の送信映像制御部５ｂに送信する。Ｂ地点側の送信映像制御部５ｂは、Ａ地点の検出部３ａから入力する位置情報ＣＡに基づいて、利用者１ｂの複数視点映像から送信映像を選択する。
【００５２】
検出部３ａにおいてなされる顔の位置の検出処理は、例えば、カメラ３１を１台設置し、カメラ３１の取得映像における利用者１ａの顔領域の位置大きさ等を解析し、利用者の顔の空間における位置を検出する処理として実行される。あるいは、利用者１ａに対してレーザを照射し三角測量による物体位置計測手法を適用する構成や、カメラ部３１に複数のカメラを設置して、複数カメラの取得画像を検出器３２に入力してステレオ法による視差検出を実行することにより、利用者１ａの位置情報を取得する構成としてもよい。
【００５３】
ステレオ法について、その原理を簡単に説明する。ステレオ法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで計測対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと検出カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の計測対象物の距離を三角測量の原理により測定する。
【００５４】
図３は、ステレオ法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ １）と検出カメラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【００５５】
基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している検出カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
【００５６】
基準カメラにおけるポイント「ｍｂ」の位置は、検出カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、検出カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【００５７】
図３は、エピポーラ・ラインと、検出カメラ画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、検出カメラ画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【００５８】
以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００５９】
上述のステレオ画像法は１台の基準カメラと１台の検出カメラとを用いた構成としたが、検出カメラを複数用いたマルチベースラインステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の検出カメラによって撮影される画像を用い、複数の検出カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３１７−１３２７ １９９２年８月、に記載されている。
【００６０】
上述のように、ステレオ法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで計測対象物の三次元空間における位置を求めようとするものである。
【００６１】
従来から、よく使われている「対応点付け」の手法は、Pixel-basedマッチング、Area-basedマッチングとFeature-basedマッチングに大別される。Pixel-basedマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である。Area-basedマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である。Feature-basedマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である。
【００６２】
一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてArea-basedマッチングは有効であり、よく使われている。一般的なArea-basedマッチングによるステレオ視の対応点の求め方について図４を用いて説明する。図４（ａ）は、基準カメラの観測画像であり、図４（ｂ）は検出カメラによる観測画像である。基準カメラによる観測画像上の点Ｎｂの周辺の小領域Ｗをテンプレートとして、検出カメラ画像のエピポーラライン上の数点における画像相関値を求める。この図に示す例の場合は、距離分解能はＮｄ１〜Ｎｄ６の6点で、この距離番号１〜６が例えば撮影した基準カメラから１ｍ、２ｍ、３ｍ、４ｍ、５ｍ、６ｍの距離に対応しているとする。
【００６３】
各点の画像相関値は、例えば以下に示す式（１）を用いて求める評価値を用いることができる。なお、以下に示す式中のＩ（ｘ）は基準カメラで撮影した基準画像における輝度値、Ｉ’（ｘ’）は検出カメラで撮影した検出カメラ画像の輝度値を示している。
【００６４】
【数１】
【００６５】
上記式を用いて得られる図４のＮｄ１〜Ｎｄ６の6点での評価値中、最も低いところを対応点とする。これを示したのが図４の下段のグラフである。図４の例の場合は、Ｎｄ３の位置、すなわちカメラから３ｍの位置を距離データとする。なお、さらにサンプリングデータ間の補間処理を実行してサンプルデータ以外の部分において最も低い点を求めることも可能である。この補間処理を行なった場合、図４のグラフのＮｄ３とＮｄ４の間にある点が最小の評価値であり、この場合、計測対象はカメラから約３．３ｍの距離であるとされる。なお、エピポーラライン、およびエピポーラライン上の位置と物体との距離との関係は、予めキャリブレーションによって求めておく。例えば基準カメラ画像上のすべての画素に対して、各距離に応じた検出カメラ画像上の対応点の座標をテーブルにして保持しておく。
【００６６】
このように、基準カメラ画像と検出カメラ画像とのマッチング処理を各測定点の画素について繰り返し実行することにより、全ての画素に対する三次元形状データ、すなわち三次元空間における位置情報を得ることができる。
【００６７】
図１に示す検出部３ａのカメラ３１として、異なる視点から利用者１ａを撮影する複数カメラを設定し、これらを基準カメラと参照カメラとして、検出器３２において上述の対応点マッチング処理を適用したステレオ法による取得画像の位置情報の取得処理を実行する。この処理により利用者１ａの顔の位置情報ＣＡを取得し、Ｂ地点の送信映像制御部５ｂに送信する構成とすることができる。なお、検出部３ａの構成は、前述したように、ステレオ法に限らず、利用者の顔の位置の検出が可能な構成であればよく、様々な構成の適用が可能である。
【００６８】
このように検出器３２において利用者１ａの顔の位置が検出され、得られた検出結果に応じた位置信号が検出器３２において形成される。この位置信号がネットワークインタフェース等の伝送処理部を介して位置情報ＣＡとして、ネットワーク７を介してＢ地点の画像通信装置２ｂの送信映像制御部５ｂに供給される。
【００６９】
なお、図示されていない画像通信装置２ａに内蔵された音声処理部は、アンプ、スピーカおよびマイクロホン等により構成されており、音声信号の入出力処理を行う。また、図示しない伝送処理部は、ネットワークインターフェース回路、伝送符号／復号器等により構成されており、映像信号および音声信号と位置信号とを伝送媒体等に応じた伝送形態となるように変換し、得られた情報を伝送路上に送出すると共に、その逆に供給される先方からの所定の伝送形態の情報から元の情報を復元し、各部に供給する。
【００７０】
上述したＡ地点側の画像通信装置２ａと同様にＢ地点の画像通信装置２ｂ側が構成される。従って、システム全体の動作としては、画像通信装置２ａの検出部３ａにおいて利用者１ａの顔の位置が検出され、この検出結果に応じて形成された位置情報ＣＡが画像通信装置２ｂの送信映像制御部５ｂに供給されると共に、画像通信装置２ｂの検出部３ｂにおいて利用者１ｂの顔の位置が検出され、この検出結果に応じて形成された位置情報ＣＢが画像通信装置２ａの送信映像制御部５ａに供給される。
【００７１】
画像通信装置２ａの送信映像制御部５ａにおいて、Ｂ地点の利用者１ｂの位置情報ＣＢがネットワークを介して入力され、利用者１ｂの位置情報ＣＢに基づいて、利用者１ａを異なる視点から撮影する複数カメラからなる撮像部６ａのどのカメラ映像をＢ地点側に送信し、Ｂ地点の表示部４ｂに出力するかを選択する。同様に、Ｂ地点の画像通信装置２ｂの送信映像制御部５ｂは、Ａ地点の利用者１ａの位置情報ＣＡに基づいて、利用者１ｂを異なる視点から撮影する複数カメラからなる撮像部６ｂのどのカメラ映像をＡ地点側に送信し、Ａ地点の表示部４ａに出力するかを選択する。
【００７２】
Ａ地点の画像通信装置２ａの送信映像制御部５ａが選択した利用者１ａの選択映像情報ＤＡは、ネットワーク７を介してＢ地点の画像通信装置２ｂの表示部４ｂに供給される。一方、Ｂ地点の画像通信装置２ｂの送信映像制御部５ｂが選択した利用者１ｂの選択映像情報ＤＢは、Ａ地点の画像通信装置２ａの表示部４ａに供給される。
【００７３】
Ａ地点の利用者１ａが見ている表示部４ａには、Ｂ地点において撮影された利用者１ｂの映像が映し出される。この利用者１ｂの表示映像は、利用者１ａの顔の位置に応じて変更して映し出される。一方、Ｂ地点の表示部４ｂには、Ａ地点において撮影された利用者１ａの映像が映し出される。この利用者１ａの表示映像は、利用者１ｂの顔の位置に応じ、変更して映し出される。この変更処理により、利用者１ａ、１ｂは、互いに先方の利用者を所望の位置から見ているような映像をホログラムスクリーン上に観察することができ、あたかも窓を介して会話しているような臨場感でコミュニケーションを図ることができる。
【００７４】
受信側の利用者の視点位置に応じて送信側の複数カメラの画像から選択して受信側の表示装置に表示する手順を、図５および図６を用いて詳細に説明する。図５および図６は、画像通信装置２ａ側（つまりＡ地点）からのカメラ画像選択操作を説明するもので、図５はその処理手順を示している、各ステップには、Ｓ１〜Ｓ５の参照符号を付している。各ステップの処理について、以下説明する。
【００７５】
まず、ステップＳ１において、Ａ地点の利用者１ａの顔の位置の検出処理が実行される。例えば、上述した複数のカメラを用いたステレオ法による視差検出に基づいて、利用者１ａの三次元空間上での顔の位置が利用者１ａの位置情報ＣＡとして検出される。
【００７６】
次に、ステップＳ２において、検出された位置情報ＣＡがＢ地点の画像通信装置２ｂにネットワーク７を介して送信される。ステップＳ３では、位置情報ＣＡをＢ地点の画像通信装置２ｂ内の送信映像制御部５ｂが受信し、Ｂ地点の利用者２ｂを撮影している撮像部６ｂを構成する複数視点の複数カメラの映像から１つをＡ地点に対する出力映像として選択し、この選択映像を選択映像情報ＤＢとしてＡ地点に対して出力する。
【００７７】
送信映像制御部５ｂにおいて実行する位置情報ＣＡに基づく映像選択処理について図６を用いて説明する。図６（Ｊ１）および（Ｊ３）はＡ地点での利用者１ａと表示部４ａと仮想的なＢ地点の利用者１ｂの像を上方から観察した状況を示している。
【００７８】
図６（Ｊ２）および（Ｊ４）はＢ地点での利用者１ｂと表示部４ｂと撮像部６ｂを構成するカメラ６１〜６５を上方から観察した状況を示している。本発明の画像通信装置においては、表示部に表示される通信相手の映像を制御することで、双方の利用者１ａ，１ｂが、面前に存在する感覚で対話を行なえるように映像制御を行なう構成を持つ。
【００７９】
例えば、図６（Ｊ１）のように、Ａ地点とＢ地点の間で本装置を用いてコミュニケーションをとる場合に、Ａ地点の利用者１ａにとって、表示部４ａに表示されるＢ地点の利用者１ｂが、あたかも利用者ａの前方に実在し、窓を介して会話しているような臨場感を提供する。
【００８０】
図６（Ｊ１）に示す利用者１ａの視点位置で観察される利用者１ｂの像は、図６（Ｊ２）における撮像部６ｂのカメラ６３の取得映像に含まれる利用者１ｂの像にもっとも近い。よって、Ａ地点から送られてきた利用者ａの位置情報が図６（Ｊ１）にある利用者１ａの位置の近傍を示していた場合には、Ｂ地点の送信映像制御部５ｂはカメラ６３が撮影している利用者１ｂの映像を選択して、この選択映像を選択映像情報ＤＢとしてＡ地点に対して出力する。
【００８１】
また、図６（Ｊ３）のように、Ａ地点の利用者１ａが表示部４ａに向かって正面よりやや左に移動している場合には、そこで利用者１ａが観察する利用者１ｂの像は、図６（Ｊ４）における撮像部６ｂのカメラ６２の映像に写っている利用者１ｂの像がもっとも近い像となる。
【００８２】
よって、Ａ地点から送られてきた利用者ａの位置情報が図６（Ｊ３）の位置の近傍を示していた場合には、Ｂ地点側の送信映像制御部５ｂはカメラ６２が撮影している利用者１ｂの映像を選択して、この選択映像を選択映像情報ＤＢとしてＡ地点に対して出力する。
【００８３】
このように、画像送信側の送信映像制御部は、表示部において表示画像を見る画像受信側の利用者の視点位置で観察される像に最も近い像を提供するカメラの映像の選択処理を実行し出力する。この選択処理においては、画像受信側の利用者の位置情報が適用される。すなわち、画像受信側の利用者位置から見ている対話相手の画像にもっとも近い画像が選択されて送信、表示される。
【００８４】
図５のフローに戻り、説明を続ける。ステップＳ４において、上述した映像選択処理に基づいて選択された選択映像情報ＤＢが、送信映像制御部５ｂからＡ地点の画像通信装置２ａに送信される。ステップＳ５において、Ｂ地点から送られてきた選択映像情報ＤＢが表示部４ａに表示される。
【００８５】
上述の表示画像制御により、コミュニケーションを行なう利用者双方は、それぞれの表示部に表示される通信相手が、あたかも前方に実在し、窓を介して会話しているような臨場感を得ることが可能となる。
【００８６】
本発明の画像通信装置の送信映像制御部の処理をまとめると以下のようになる。図１のＡ地点側の送信映像制御部５ａの処理として説明する。送信映像制御部５ａは、ネットワークを介して通信相手である利用者１ｂの位置情報を入力し、入力する通信相手の利用者１ｂの位置情報に基づいて、撮像部３ａの複数カメラが撮影する利用者１ａの複数の画像から、通信相手の利用者１ｂ側の表示部４ｂに表示される利用者１ａに対する通信相手１ｂの視点方向からの利用者１ａの画像に近い画像を通信相手１ｂに対する送信画像として選択する処理を実行するということになる。
【００８７】
なお、上述した実施例の説明において、撮像部６ａ、６ｂのカメラは水平方向に並べた構成例としたが、利用者の上下方向の視点移動に対応するために、上下方向にもカメラを設置し、たとえばアレイ状に配列する構成としてもよい。このようなアレイ状にカメラを配列すれば、利用者の左右の動きばかりでなく、上下の動きに応じた最適映像データを選択して送信することが可能となる。
【００８８】
また、利用者が前後方向に移動、すなわち表示部に対して近づいたり離れたりする際にも対応可能とするために、撮像部６ａ、６ｂのカメラの映像のレンズのズームを、前後方向の位置に応じて操作し、利用者が前後に移動したときに観察されるべき映像を擬似的に生成する構成としてもよい。あるいは、レンズのズームを操作するのでなく、カメラの映像を比較的広い視野角に固定して撮像しておき、その映像を信号処理し、表示部に表示される利用者の表示領域を大きくしたり小さくする制御を実行して、同様の効果を持たせる構成としてもよい。
【００８９】
［実施例２］
図７は、本発明の第２の実施形態における画像通信装置の構成を示す。実施例１において説明した図１と同様の構成部に関しては同一の参照符号を付してある。また、図７においては、Ｂ地点の画像通信装置２ｂは省略した。
【００９０】
第２の実施形態では、第１の実施形態にある検出部３ａを構成するカメラ部３１を削除し、撮像部６ａを構成するカメラによって取得した画像に基づいて、利用者１ａの位置情報を取得する構成とした。
【００９１】
前述したように、利用者１ａの位置情報は、利用者を撮影するカメラの情報に基づいて実行することが可能である。例えば１台のカメラの撮影画像の解析に基づいて、利用者１ａの位置を求めることが可能である。この場合は、撮像部６ａを構成する複数カメラの撮影画像の１つを用いて、撮影画像の解析に基づいて、利用者１ａの位置を求める。また、前述したステレオ法では、異なる視点からの撮影画像として基準カメラと参照カメラとの画像を用いるが、撮像部６ａを構成する複数カメラは、上述の説明において理解されるように異なる視点方向の画像を取得可能であり、これらの画像を用いてステレオ法による利用者１ａの位置情報が取得できる。
【００９２】
図８を参照して、本実施例の構成における検出器３２の処理について説明する。撮像部６ａは、前述の実施例１と同様、利用者１ａを異なる方向から撮影する複数のカメラ６１〜６５から構成される。カメラ６１は、利用者１ａの左側面から、カメラ６３は、利用者１ａの真正面から、カメラ６５は、利用者１ａの右側面からの映像を撮影する。
【００９３】
送信映像制御部５ａには、Ｂ地点の検出部３ｂにおいて取得された利用者１ｂの位置情報ＣＢが供給される。送信映像制御部５ａは、ネットワークを介してＢ地点から入力する位置情報ＣＢに基づいて撮像部６ａのどのカメラからの映像を出力、すなわち、複数の異なる視点からの映像のどの映像をＢ地点の表示部４ｂに提示するかを選択する。送信映像制御部５ａが利用者１ｂの位置情報ＣＢに基づいて選択した１つの映像、すなわち利用者１ａの選択映像が選択映像情報ＤＡとして、ネットワーク７を介してＢ地点に送信され、Ｂ地点の画像通信装置２ｂの表示部４ｂに供給される。この映像選択構成は、実施例１と同様である。
【００９４】
本実施例においては、撮像部６ａを構成する複数のカメラ６１〜６５の取得映像を検出器３２に入力する。例えばカメラ６１の映像と、カメラ６５の取得映像を検出器３２に入力し、先に図３、図４を参照して説明したステレオ法を適用して利用者１ａの三次元上の位置を求める。求めた位置情報は、利用者１ａの位置情報ＣＡとして、Ｂ地点の画像通信装置の送信映像制御部５ｂに送られる。
【００９５】
このように、本実施例によれば、利用者の位置情報検出に、撮像部のカメラの撮影画像を適用する構成としたので、検出部にカメラを設置する必要がなくなり、装置の小型化、コストダウンが実現される。
【００９６】
［実施例３］
上述した実施例１、２では、２地点間の利用者を想定した構成例を説明した。次に、３地点以上に利用者がおり、それぞれの利用者映像をネットワークを介して相互に送信する処理構成例について説明する。
【００９７】
Ａ地点、Ｂ地点、Ｃ地点の３地点を結んだ通信での運用例について説明する。画像通信装置は、モード切り替え機構を有し、「一人対面モード」と「二人対面モード」との切り替えが可能な構成を持ち、状況に応じて利用者がモードを切り替えることができる。「一人対面モード」は、これまで説明してきた２地点間の通信において用いられる。「複数人対面モード」は、多地点での同時運用時に利用され、たとえばＡ地点の画像通信装置２ａにおいて、通信している別の２地点（Ｂ地点、Ｃ地点）からの映像を、画像通信装置２ａの表示映像を分割して左右に並べて利用者１ａに提示するモードである。
【００９８】
図９は、「複数人（二人）対面モード」の状態を図示している。Ａ地点の利用者１ａが「複数人（二人）対面モード」を選択すると、通信している別の２地点（Ｂ地点、Ｃ地点）からの映像を、画像通信装置２ａのスクリーン４１ａ上の表示映像を区分、すなわち分割して左右に並べて利用者１ａに提示する。
【００９９】
画像通信装置２ａ内の送信映像制御部５ａの構成例を図１０に示す。送信映像制御部５ａのモード設定部５１は、利用者からのモード設定コマンドを入力する。「一人対面モード」の際には、送信映像制御部５ａから出力される受信側に送るための映像は、撮像部６ａの複数のカメラ６１〜６５すべてからの映像を選択候補映像として、対面している通信相手の位置情報に基づいて選択して送信する。
【０１００】
例えばＢ地点の利用者１ｂとのみ対面する状態の場合には、Ｂ地点に送信する利用者１ａの画像は、撮像部６ａの複数のカメラ６１〜６５すべてからの映像を選択候補映像として、Ｂ地点の利用者１ｂの位置情報ＣＢを第１位置情報入力部５３を介して入力し、映像選択部５２において選択しＢ地点への選択出力画像とする。
【０１０１】
「複数人（二人）対面モード」の設定の場合には、Ｂ地点およびＣ地点に送る映像を、撮像部６ａの複数のカメラ６１〜６５の撮影映像を区分して設定する。例えばＢ地点に送る映像は、カメラ６１〜６３の映像を選択候補とする。Ｃ地点に送る映像は、カメラ６３〜６５の映像を選択候補とするなどである。
【０１０２】
すなわち、本実施例の画像通信装置では、表示部は、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成を有し、送信映像制御部は、表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する撮像部の複数カメラの範囲を区分する処理を実行する構成である。
【０１０３】
例えば、Ａ地点の画像通信装置２ａの利用者１ａが見ているスクリーン４１ａ上の映像に向かって右半分がＢ地点からの映像、左半分がＣ地点からの映像とすると、Ｂ地点に送られる映像を、利用者１ａから見て向かって右半分のカメラ群から選択し、Ｃ地点に送られる映像を、利用者１ａから見て向かって左半分のカメラ群から選択する。このように設定することで、利用者１ａの前に利用者１ｂと利用者１ｃが隣合って対面しているように映像表示することが可能となる。
【０１０４】
Ａ地点の画像通信装置２ａは、Ｂ地点の利用者１ｂの位置情報ＣＢを第１位置情報入力部５３を介して入力し、映像選択部５２において、選択画像候補としてカメラ６１〜６３の取得画像を設定し、この設定内の取得画像から送信映像を選択し、Ｂ地点への選択出力映像とする。また、Ｃ地点の利用者１ｃの位置情報ＣＣを第２位置情報入力部５４を介して入力し、映像選択部５２において、選択画像候補としてカメラ６３〜６５の取得画像を設定し、この設定内の取得画像から送信映像を選択し、Ｃ地点への選択出力映像とする。
【０１０５】
さらに、たとえばＢ地点の利用者１ｂが画像通信装置２ｂの正面に位置している場合に、これまでの「一人対面モード」では撮像部６ａの複数のカメラの中心付近にあるカメラの映像を選ぶように設定されていたが、「二人対面モード」では、これをＢ地点用のカメラ群の中心付近にあるカメラの位置に設定する。同様に、Ｃ地点の利用者１ｃが画像通信装置２ｃの正面に位置している場合に、「二人対面モード」では、これをＣ地点用のカメラ群の中心付近にあるカメラの位置に設定する。また、Ｂ地点用のカメラ群とＣ地点用のカメラ群は重なりなく分割しても、多少の重なりを持たせた分割でもよい。
【０１０６】
このように運用することで、たとえばＡ地点の利用者１ａが画像通信装置２ａのスクリーン４１ａ上に表示されているＢ地点の利用者１ｂの映像に視線を合わせて対話している場合には、Ｂ地点の利用者１ｂが見ている画像通信装置２ｂのスクリーン４１ｂ上に表示されているＡ地点の利用者１ａの映像は視線の一致が図れ、Ｃ地点の利用者１ｃが見ている画像通信装置２ｃのスクリーン４１ｃ上に表示されているＡ地点の利用者１ａの映像は違った方向を見ていることになり、より臨場感を高めた対話が実現できる。
【０１０７】
なお、ここでは３地点での対話の例を挙げたが、４地点以上の対話においても、同様の運用を行うことで、同様の効果が得られる。
【０１０８】
［ビューインターポレーションによる画像処理］
上述した実施例においては、撮像部に複数のカメラを設置し、利用者の位置に応じて、各カメラの取得映像を切り替えて表示する構成を説明した。しかし、上述の構成においては、撮像部に設置可能なカメラの数には制限がある。従って、利用者の位置によっては、個々のカメラの撮影映像のみでは利用者位置を正確に反映した映像を提示できなくなる場合がある。
【０１０９】
例えば上述の例では、撮像部６ａには５台のカメラ６１〜６５を設置した構成を示している。この場合、各カメラ位置５箇所においては利用者の位置を正確に反映した映像を提供できるが、各カメラ間に対応する位置に利用者が位置した場合の正確な映像は提示できない。このような問題を解決するため、複数カメラの画像に基づいて、実際には撮影されていない位置の画像を生成して送信する構成例を説明する。
【０１１０】
図１１に実際のカメラ撮影画像に基づいて、実際には撮影されていない画像を生成するビューインターポレーションを実行する画像処理部構成を持つ画像通信装置の送信映像制御部５ａの構成例を示す。なお、ここでは、２地点間の画像通信例を説明するが、前述の３地点以上の地点間の画像通信においても同様の画像処理が適用可能である。
【０１１１】
撮像部６ａには、複数台のカメラ６１〜６５が設定され、それぞれのカメラが利用者を異なる方向から撮影する。送信映像制御部５ａの位置情報入力部５６には、Ｂ地点の検出部３ｂにおいて取得された利用者１ｂの位置情報ＣＢが供給される。映像選択部５７は、複数台のカメラ６１〜６５の映像から、位置情報ＣＢに対応した位置にある利用者映像を選択してＢ地点に対する出力映像とする。この構成は、上述の各実施例で述べた処理を実行する基本構成である。
【０１１２】
送信映像制御部５ａは、さらに、画像処理部５８を有する。画像処理部５８は、位置情報入力部５６の入力位置情報に正確に対応する取得映像がない場合、複数カメラの映像に基づいて、実際には撮影されていない位置の映像、すなわちカメラ間に対応する位置にある利用者位置に対応する映像を生成する。すなわち、ビューインターポレーションによる画像処理を実行する。
【０１１３】
実際にカメラのない位置を視点とした映像を、周辺の複数のカメラの実写映像から生成するビューインターポレーション（Ｖｉｅｗ Ｉｎｔｅｒｐｏｌａｔｉｏｎ； Ｖｉｅｗ Ｍｏｒｐｈｉｎｇとも呼ばれる）の技術を用いれば、利用者の視点の移動に伴う映像の変化を、より違和感のないものとして実現可能となる。
【０１１４】
ビューインターポレーションとは、複数のカメラからの映像から、実際のカメラのない視点から見える映像を生成する技術である。図１２に示すように、カメラＡからの画像ＡとカメラＢからの画像Ｂを用いて、その間に位置する仮想的なカメラＣで撮影されるべき画像Ｃを生成する。画像Ｃは、実際にカメラＣがあったとして得られる画像と寸分違わぬ画像である必要はなく、人の目に違和感なく自然に見えればよい。このビューインターポレーションを実現するための技術としては、たとえば［S. M. Seitz and C. R. Dyer, "View Morphing," Proc. SIGGRAPH 96, ACM, 1996pp.21-30．］に記載の画像処理手法が利用できる。なお、この文献に記載の手法は仮想視点がカメラの投影中心を結んだ直線上の移動のみを考慮したものであるが、仮想視点がカメラより前方に移動する（被写体に近づく）場合の画像生成には、［S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F. Cohen, "The Lumigraph", Proc. of SIGGRAPH '96, ACM, 1996, pp. 43-54］に記載の手法が利用できる。
【０１１５】
このように、ビューインターポレーションによれば、複数のカメラに基づく実際の取得画像に基づいて、カメラのない視点の画像の生成が可能であり、この画像処理を本発明の画像通信装置において実行することで、利用者の位置に対応した画像を限られた数のカメラの取得画像に基づいて生成、送信することが可能となり、より臨場感のある画像を各利用者に提供することが可能となる。
【０１１６】
［その他の実施例］
上述の複数の実施例においては、いずれも画像を送信する側の画像通信装置の送信映像制御部において、複数カメラの取得画像から１つの画像を選択、または、ビューインタポレーションによる合成画像を生成して通信相手に送信する構成例を説明した。
【０１１７】
このように、画像を送信する側で、１つの送信画像を設定することなく、複数カメラの取得画像を全て通信相手の装置に送信し、通信相手側の画像通信装置において画像を選択あるいはビューインタポレーションによる画像生成を実行して、唯一の表示画像を設定して表示する構成としてもよい。
【０１１８】
複数の画像を受信して、画像選択あるいは画像生成を実行する場合は、画像通信装置に表示映像制御部を設け、表示映像制御部において、通信相手から受信する複数画像データからの画像選択処理、あるいは通信相手から受信する複数画像データに基づいてビューインタポレーション等の画像処理を実行する構成とする。
【０１１９】
表示映像制御部は、自装置の検出部において検出した自分の位置情報を入力し、位置情報に基づいて、通信相手から受信する複数画像からの画像選択処理またはビューインタポレーションによる画像処理を実行して、表示画像の選択あるいは生成を行なう。この構成においては、画像データの送信量は増加するが、画像選択に適用する利用者位置情報をネットワークを介して送信する必要がなくなる。
【０１２０】
［ハードウェア構成例］
次に、図１３を参照して、本発明の画像通信装置のハードウェア構成例について説明する。本発明の画像通信装置は、図１他を参照して説明したように、ディスプレイに相対して位置する利用者を撮影する複数のカメラ構成を有することが必要となるが、これら複数カメラの取得画像の選択処理、ディスプレイに対する表示制御処理、データ送受信制御処理は、例えばＰＣ、ＰＤＡ、携帯端末等ＣＰＵ等の制御部、メモリ、通信インタフェース等を備えた様々な情報処理装置構成において実現可能である。複数カメラの取得画像の選択処理、ディスプレイに対する表示制御処理、あるいはデータ送受信処理を実行するための情報処理装置の具体的ハードウェア構成例について、図１３を参照して説明する。
【０１２１】
ＣＰＵ(Central Processing Unit)８５６は、各種アプリケーションプログラムの実行制御を行なう。例えば外部から入力される利用者位置情報に基づくカメラ取得画像の選択処理、ディスプレイに対する表示制御処理、データ送受信処理制御を実行する制御部として機能するプロセッサである。メモリ８５７は、ＣＰＵ８５６が実行するプログラム、あるいは演算パラメータとしての固定データを格納するＲＯＭ（Read-Only-Memory）、ＣＰＵ８５６の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用されるＲＡＭ（Random Access Memory）等によって構成される。
【０１２２】
ＨＤＤ８５８はプログラム格納領域として利用可能であり、また、送受信画像データの格納領域として利用可能なハードディスクを持つ記憶部である。なお、図には、ＨＤＤを利用した例を示しているが、ＣＤ、ＤＶＤ等を記憶媒体として適用することも可能である。
【０１２３】
コーデック８５１は、ネットワークを介して送受信する画像データのエンコード（符号化）処理、デコード（復号）処理を実行する。画像データは、情報量が多いため、例えばＭＰＥＧ符号化によりデータ量を削減して送信することが好ましい。
【０１２４】
ネットワークインタフェース８５２は、インターネット、ＬＡＮ等の各種通信ネットワークとのインタフェースとして機能する。入力インタフェース８５３は、マウス８３７、キーボード８３６等の入力機器とのインタフェースとして機能する。ユーザは例えばキーボード８３６からのデータ入力により、前述した実施例３で説明したモード設定を実行する。
【０１２５】
ＡＶインタフェース８５４、ディスプレイインタフェース８５５は、カメラ群８３３、マイク８３４、スピーカ８３５等のＡＶデータ入出力機器からのデータ入出力を行なう。ＰＣＩバス８５９を介して制御情報、データが各構成要素間において転送される。これらのデータ転送制御、その他各種プログラム制御はＣＰＵ８５６によって実行される。
【０１２６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１２７】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２８】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１３１】
【発明の効果】
以上、説明したように、本発明の構成によれば、ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する構成において、画像送信元の利用者１ａの画像を複数カメラを用いて異なる視点から撮影し、ネットワークを介して通信相手の利用者１ｂの位置情報を入力し、入力する通信相手１ｂの位置情報に基づいて、撮像部の複数カメラが撮影する利用者１ａの複数の画像から、通信相手１ｂ側表示装置に表示される利用者１ａに対する通信相手１ｂの視点方向からの利用者１ａの画像に近い画像を通信相手１ｂに対する送信画像として選択する構成としたので、利用者の位置が変化しても視線の一致を得ることが可能となり、利用者は、互いに先方の利用者を所望の位置から見ているような映像を観察することができ、あたかも窓を介して会話しているような臨場感でコミュニケーションを図ることが可能となる。
【０１３２】
さらに、本発明の構成によれば、表示部を、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成とし、送信映像制御部は、表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する撮像部の複数カメラの範囲を区分する処理を実行する構成としたので、３地点以上の多地点のコミュニケーションに利用する場合においても、利用者は、互いに先方の利用者を所望の位置から見ているような映像を観察することが可能となる。
【図面の簡単な説明】
【図１】本発明の画像通信装置の構成および通信処理について説明する図である。
【図２】本発明の画像通信装置の撮像部、表示時構成例について説明する図である。
【図３】本発明において利用者位置情報検出に適用可能なステレオ法について説明する図である。
【図４】本発明において利用者位置情報検出に適用可能なステレオ法について説明する図である。
【図５】本発明の画像通信装置の処理シーケンスを説明するフロー図である。
【図６】本発明の画像通信装置における送信画像の選択処理について説明する図である。
【図７】本発明の画像通信装置の第２実施例構成を示す図である。
【図８】本発明の画像通信装置の第２実施例構成の詳細を説明する図である。
【図９】本発明の画像通信装置の第３実施例構成を示す図である。
【図１０】本発明の画像通信装置の第３実施例における送信映像制御部の構成を示す図である。
【図１１】画像生成処理を実行する画像処理部を有する本発明の画像通信装置の送信映像制御部の構成を示す図である。
【図１２】ビューインタポレーション処理について説明する図である。
【図１３】本発明の画像通信装置のハードウェア構成例を示すハードウェア構成図である。
【符号の説明】
１ａ，１ｂ，１ｃ 利用者
２ａ，２ｂ，２ｃ 画像通信装置
３ａ，３ｂ 検出部
４ａ，４ｂ 表示部
５ａ，５ｂ 送信映像制御部
６ａ，６ｂ，６ｃ カメラ
７ ネットワーク
３１ カメラ
３２ 検出器
４１ ホログラムスクリーン
４２ プロジェクタ
５１ モード設定部
５２ 映像選択部
５３ 第１位置情報入力部
５４ 第２位置情報入力部
５６ 位置情報入力部
５７ 映像選択部
５８ 画像処理部
６１〜６３ カメラ
８３２ ディスプレイ
８３３ ビデオカメラ
８３４ マイク
８３５ スピーカ
８３６ キーボード
８３７ マウス
８５０ 画像制御処理装置
８５１ コーデック
８５２ ネットワークインタフェース
８５３ 入出力インタフェース
８５４ ＡＶインタフェース
８５５ ディスプレイインタフェース
８５６ ＣＰＵ
８５７ メモリ
８５８ ＨＤＤ
８５９ ＰＣＩバス
【発明の属する技術分野】
本発明は、画像通信装置、および画像通信方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、テレビ電話、テレビ会議等のように通信手段を介して会話相手をディスプレイに表示して会話を行なうシステムにおいて、ユーザの動きに応じた表示画像の制御を行なうことにより、会話を行なうユーザの違和感を減少させたディスプレイ表示を可能とした画像通信装置、および画像通信方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
テレビ電話、テレビ会議等のように、通信手段を介して会話相手をディスプレイに表示して会話を行なうシステムが様々な分野で利用されている。昨今では、パーソナルコンピュータ（ＰＣ）の高機能化、低価格化が進み、ＰＣあるいは携帯端末等にデジタルカメラを備え、インターネット等のネットワークを介して音声および画像データを送受信するテレビ電話機能を持つ装置も実用化されている。
【０００３】
このようにユーザ同士が、双方に通信相手に対して撮像装置により撮影した画像データを通信回線を介して送信し、相手ユーザの画像を表示して対話を行なうシステムでは、表示装置を見ている利用者と、表示装置に表示されている相手の画像の目線（視線）を合致させることが自然な感覚での対話を実現するため重要な要素となる。
【０００４】
双方の利用者の目線を一致させるための構成については、すでにいくつかの提案がなされている。たとえば、ハーフミラーを用いてカメラの向きと表示画面を合わせるもの（たとえば特許文献１）、あるいは、光透過状態と光錯乱状態を制御できるスクリーンとプロジェクタを用いて時系列で表示と撮像を行うもの（たとえば特許文献２）、ホログラムスクリーンとプロジェクタを用いることで、表示と撮像を同時実行可能としたもの（たとえば特許文献３）などがある。
【０００５】
しかし、上述の各従来技術に開示されたシステムでは、画像データを提供し合うユーザの双方において、それぞれ１台の固定カメラのみを備えた構成であるため、固定カメラによって取得された一視点からの映像のみが相手方に送信されることになり、違った視点における映像を送信することはできない。従って、人物がたとえば左あるいは右に移動した場合、画像を見ながら対話を行なっている利用者の視線方向にずれが生じ、コミュニケーションが不自然になってしまうという問題がある。
【０００６】
このような不自然さを解消するため、映像を見ている人物の位置を計測し、その情報に合わせて相手のカメラを動かして、人物が動いても視線の一致を実現するシステムも提案されている（例えば特許文献４）。本特許文献４に記載の構成は、利用者を撮影するカメラを動かす稼動部を設け、映像を見ている人物の位置を計測し、その情報に合わせて相手のカメラを動かす構成である。しかし、本構成においては、利用者の動きの検出に基づいてカメラの移動を開始することになり、カメラ移動に伴うタイムラグの発生により、ユーザの動きに十分追従できず、不自然さを十分解消するには至らないという問題がある。また、制御信号に基づいてカメラを正確に駆動させるための稼動部構成の困難性や信頼性に問題がある。
【０００７】
また、複数のカメラを備えた画像対話装置についても提案されている（例えば特許文献５）。これはＡ地点とＢ地点で対話を行う場合に、Ａ地点に設置した複数のカメラによって取得される複数の画像から、Ａ地点の利用者の顔を撮影している画像を選択して、その画像をＢ地点の利用者に対して提示する構成である。この構成は、利用者のディスプレイに常に相手の顔を表示しようとするものである。しかし、本構成は、ディスプレイを見ている利用者の動きに応じて、その利用者が見ている表示画像を制御する構成ではないため、ディスプレイを見ている利用者が動いても、その利用者が見ている表示画像は、固定的な相手方の顔画像となり、対話を行なう利用者の違和感を減少させるに十分な構成とは言い難い。
【０００８】
【特許文献１】
特開昭６１−６５６８３号公報
【特許文献２】
特開平４−１１４８５号公報
【特許文献３】
特開平９−１６８１４１号公報
【特許文献４】
特開２０００−８３２２８号公報
【特許文献５】
特開平６−３０３６０１号公報
【０００９】
【発明が解決しようとする課題】
本発明は、上述した従来技術の問題点に鑑みてなされたものであり、テレビ電話、テレビ会議等のように、通信路を介して利用者の画像データを送信し、双方のディスプレイに表示して会話を行なうシステムにおいて、ユーザの動きに応じた表示画像の制御を行なうことにより、会話を行なうユーザの違和感を減少させた画像表示を可能とした画像通信装置、および画像通信方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１０】
さらに、前述の従来技術に開示されているシステムは、いずれも２つの地点を結ぶ双方向通信システムであり３地点以上のユーザ相互間で画像を提示して対話を行なおうとする場合の構成については開示されていない。３地点以上のユーザ相互間で画像を提示するシステムの場合は、１つのディスプレイに対話に参加する複数地点の画像データを併せて表示する構成が望まれる。例えば、ディスプレイを分割して複数の相手を表示し、ディスプレイを見る利用者の視線に応じて、ディスレイに表示する画像の制御を行ない、ディスプレイを見る利用者の視線方向にある表示画像領域の利用者画像の視線を合わせる調整を行なうことで、より自然な対話感をもたらすことができるものと考えられる。
【００１１】
本発明の構成では、このような３地点以上の通信手段を介して会話相手をディスプレイに表示して会話を行なうシステムにおいて、ユーザの動きに応じた表示画像の制御を行なうことにより、会話を行なうユーザの違和感を減少させたディスプレイ表示を可能とした画像通信装置、および画像通信方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明の第１の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信装置であり、
画像送信元の利用者（Ａ）の画像を異なる視点から撮影する複数のカメラを有する撮像部と、
通信相手（Ｂ）の画像を通信相手の数（ｎ）に応じて分割された分割画面領域の各々に表示する表示部と、
前記利用者（Ａ）の位置情報を取得する検出部と、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力し、入力する通信相手（Ｂ）の位置情報に基づいて、前記撮像部の複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する送信映像制御部を有し、
前記送信映像制御部は、
前記撮像部の複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理部を有し、
前記画像処理部は、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記撮像部の複数カメラの撮影画像に基づく画像処理により生成する処理を実行するとともに、前記表示部に複数（ｎ）の通信相手が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成し、
前記送信映像制御部は、
前記画像処理部の生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行する構成であることを特徴とする記載の画像通信装置にある。
【００１３】
さらに、本発明の画像通信装置の一実施態様において、前記画像通信装置は、３地点以上の多地点のコミュニケーションに利用可能な構成を有し、前記表示部は、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成を有し、前記送信映像制御部は、前記表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する前記撮像部の複数カメラの範囲を区分する処理を実行する構成であることを特徴とする。
【００１５】
さらに、本発明の画像通信装置の一実施態様において、前記検出部は、前記撮像部を構成するカメラの取得した画像に基づいて、前記利用者（Ａ）の位置情報を取得する処理を実行する構成であることを特徴とする。
【００１６】
さらに、本発明の画像通信装置の一実施態様において、前記検出部は、前記撮像部を構成する異なる視点の複数カメラの取得画像に基づくステレオ法による三次元位置取得処理により、前記利用者（Ａ）の位置情報を取得する構成であることを特徴とする。
【００１７】
さらに、本発明の画像通信装置の一実施態様において、前記撮像部を構成する複数のカメラは、前記表示部方向からの前記利用者（Ａ）画像を異なる視点で撮影する構成であることを特徴とする。
【００１８】
さらに、本発明の画像通信装置の一実施態様において、前記撮像部を構成する複数のカメラは水平上に複数配列され、画像送信元の利用者（Ａ）の画像を少なくとも水平方向に異なる視点から撮影する構成であることを特徴とする。
【００１９】
さらに、本発明の画像通信装置の一実施態様において、前記撮像部を構成する複数のカメラはアレイ状に配列され、画像送信元の利用者（Ａ）の画像を水平方向および垂直方向において異なる視点から撮影する構成であることを特徴とする。
【００２０】
本発明の第２の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信装置であり、
画像送信元の利用者（Ａ）の画像を異なる視点から撮影する複数のカメラを有する撮像部と、
通信相手（Ｂ）の画像を通信相手の数（ｎ）に応じて分割された分割画面領域の各々に表示する表示部と、
前記利用者（Ａ）の位置情報を取得する検出部と、
前記ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力し、前記検出部の検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記表示部に対する出力画像として選択する表示映像制御部を有し、
前記表示映像制御部は、
前記撮像部の複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理部を有し、
前記画像処理部は、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御部は、
前記画像処理部の生成画像を、前記表示部に対する出力画像とする構成であることを特徴とする画像通信装置にある。
【００２２】
本発明の第３の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信方法であり、
画像送信元の利用者（Ａ）の画像を異なる視点から複数のカメラによって撮影する撮影ステップと、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力する位置情報入力ステップと、
入力する通信相手（Ｂ）の位置情報に基づいて、前記複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する画像選択ステップと、
前記画像選択ステップにおいて選択した画像を通信相手に送信する画像送信ステップを有し、
前記画像選択ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記複数カメラの撮影画像に基づく画像処理により生成する処理を実行し、利用者（Ａ）側表示部に複数（ｎ）の通信相手が表示されている場合、表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成するステップであり、
前記画像選択ステップは、
前記画像処理ステップにおける生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行ステップであることを特徴とする画像通信方法にある。
【００２３】
さらに、本発明の画像通信方法の一実施態様において、前記画像通信方法は、さらに、表示部を、単一の通信相手を表示する一人対面モード、あるいは複数の通信相手を画面分割により同時に表示する複数人対面モードのいずれかのモードに設定するモード設定ステップと、前記表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する前記撮像部の複数カメラの範囲を区分する区分ステップとを有し、前記画像選択ステップは、前記区分ステップにおいて区分されたカメラの取得する画像のみから各通信相手に送信する画像を選択する処理を実行することを特徴とする。
【００２５】
さらに、本発明の画像通信方法の一実施態様において、前記画像通信方法は、さらに、前記通信相手（Ｂ）に送信するための画像送信元の利用者（Ａ）の位置情報を検出する検出ステップを有し、前記検出ステップは、前記複数カメラの取得画像に基づいて、前記利用者（Ａ）の位置情報を取得する処理を実行することを特徴とする。
【００２６】
さらに、本発明の画像通信方法の一実施態様において、前記検出ステップは、前記複数カメラの取得画像に基づくステレオ法による三次元位置取得処理により、前記利用者（Ａ）の位置情報を取得することを特徴とする。
【００２７】
本発明の第４の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信方法であり、
画像送信元の利用者（Ａ）の位置情報を取得する検出ステップと
ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力する画像データ入力ステップと、
前記検出ステップにおいて検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、表示部に対する出力画像として選択する表示映像制御ステップと、
前記表示映像制御ステップにおいて選択した出力画像を表示部に出力する表示ステップを有し、
前記表示映像制御ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御ステップは、
前記画像処理ステップにおいて生成した生成画像を、前記表示部に対する出力画像とすることを特徴とする画像通信方法にある。
【００２９】
本発明の第５の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現するための画像通信処理を実行するコンピュータ・プログラムであって、
画像送信元の利用者（Ａ）の画像を異なる視点から複数のカメラによって撮影する撮影ステップと、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力する位置情報入力ステップと、
入力する通信相手（Ｂ）の位置情報に基づいて、前記複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する画像選択ステップと、
前記画像選択ステップにおいて選択した画像を通信相手に送信する画像送信ステップを有し、
前記画像選択ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記複数カメラの撮影画像に基づく画像処理により生成する処理を実行し、利用者（Ａ）側表示部に複数（ｎ）の通信相手が表示されている場合、表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成するステップであり、
前記画像選択ステップは、
前記画像処理ステップにおける生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行ステップであることを特徴とするコンピュータ・プログラムにある。
【００３０】
本発明の第６の側面は、
ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現するための画像通信処理を実行するコンピュータ・プログラムであって、
画像送信元の利用者（Ａ）の位置情報を取得する検出ステップと
ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力する画像データ入力ステップと、
前記検出ステップにおいて検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、表示部に対する出力画像として選択する表示映像制御ステップと、
前記表示映像制御ステップにおいて選択した出力画像を表示部に出力する表示ステップを有し、
前記表示映像制御ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御ステップは、
前記画像処理ステップにおいて生成した生成画像を、前記表示部に対する出力画像とすることを特徴とするコンピュータ・プログラムにある。
【００３１】
【作用】
本発明の構成によれば、ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する構成において、画像送信元の利用者（Ａ）の画像を複数カメラを用いて異なる視点から撮影し、ネットワークを介して通信相手の利用者（Ｂ）の位置情報を入力し、入力する通信相手（Ｂ）の位置情報に基づいて、撮像部の複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する構成としたので、利用者の位置が変化しても視線の一致を得ることが可能となり、利用者は、互いに先方の利用者を所望の位置から見ているような映像を観察することができ、あたかも窓を介して会話しているような臨場感でコミュニケーションを図ることが可能となる。
【００３２】
さらに、本発明の構成によれば、表示部を、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成とし、送信映像制御部は、表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する撮像部の複数カメラの範囲を区分する処理を実行する構成としたので、３地点以上の多地点のコミュニケーションに利用する場合においても、利用者は、互いに先方の利用者を所望の位置から見ているような映像を観察することが可能となる。
【００３３】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００３４】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００３５】
【発明の実施の形態】
以下、本発明の画像通信装置、および画像通信方法の詳細について、図面を参照しながら複数の実施例を説明する。
【００３６】
［実施例１］
まず、本発明の第１の実施形態について説明する。図１は、実施例１に係る画像通信装置の構成を示す図である。図１は、ラインＰＱの上部Ａに示す利用者１ａとラインＰＱの下部Ｂに示すユーザ１ｂとがネットワーク７を介して通信を実行するシステムを示している。双方のユーザ１ａ，１ｂがそれぞれ本実施例に係る画像通信装置２ａ，２ｂを利用して双方向に映像および音声情報の交換を行なう構成例である。なお、以下の説明において、映像とは、カメラによって連続して撮影された画像、すなわち動画像のことであり、画像の下位概念である。
【００３７】
また、ＡＢ以外の他の地点に利用者が存在する場合や、同一箇所に複数人の利用者が存在する場合には、全ての利用者の組み合わせ毎に同様の画像通信装置が設置され、画像通信装置に相対して一人の利用者のみが位置するように設定して、相互に画像データを送受信する構成とする。なお、３地点以上の多地点間の具体的構成例については、実施例３において説明する。
【００３８】
Ａ地点側の画像通信装置２ａは、検出部３ａ、表示部４ａ、送信映像制御部５ａ、および撮像部６ａ等、および図示しない音声処理部および音声情報伝送処理部等により構成される。なお、音声処理および音声伝送処理については、従来からの処理構成を適用可能であるため、本明細書における詳細な説明は省略する。
【００３９】
また、Ｂ地点側の画像通信装置２ｂもＡ地点の画像通信装置２ａと同様の構成を有し、検出部３ｂ、表示部４ｂ、送信映像制御部５ｂ、および撮像部６ｂ、さらに図示しない音声処理部および伝送処理部等により構成される。
【００４０】
画像通信装置２ａ、２ｂのそれぞれがインターネット、専用回線、公衆回線、ＬＡＮ等、様々なデータ通信ネットワークによって構成されるネットワーク７に接続され、地点Ａ、Ｂにおいてネットワーク７を介して互いに映像データおよび音声データが転送され、相互に通信相手の画像を見ながらコミュニケーションを行なう。本発明の構成においては、さらに利用者位置情報がネットワークを介して転送される。
【００４１】
具体的には、Ａ地点側の画像通信装置２ａにおいて取得された映像情報ＤＡと、位置情報ＣＡと、音声情報（図示せず）とが、Ｂ地点側の画像通信装置２ｂに供給されると共に、Ｂ地点側の画像通信装置２ｂにおいて形成された映像情報ＤＢと、位置情報ＣＢと音声情報等とがＡ地点側の画像通信装置２ａに供給される。
【００４２】
地点Ａおよび地点Ｂのいずれの地点の画像通信装置２ａ、２ｂも同一構成であるので、以下では、利用者１ａ側の画像通信装置２ａを例に挙げてその構成と動作について説明する。
【００４３】
表示部４ａは、例えば、ホログラムスクリーン４１とプロジェクタ４２により構成されており、表示部４ａには、Ｂ地点の画像通信装置２ｂ内の異なる視点からの画像を撮影する複数のカメラからなる撮像部６ｂにより撮影された複数の画像の１つが、Ｂ地点の画像通信装置２ｂ内の送信映像制御部５ｂにおいて選択され、選択映像情報ＤＢとしてネットワーク７を介して供給される。
【００４４】
従って、表示部４ａには、Ｂ地点の複数のカメラからなる撮像部６ｂにおいて取得された複数映像の中から選択送信された１つの映像、すなわち選択映像情報ＤＢに基づく映像が表示される。なお、表示部４ａのホログラムスクリーン４１を介して利用者１ａが図１中において矢印８１で示されるように映像を見ることを考慮し、例えば、反転されると共に、歪み補正処理された映像が表示部４ａに映し出される。また、表示部４ａは、ホログラムスクリーン４１とプロジェクタ４２以外の例えばＣＲＴなどの表示装置とハーフミラーで構成してもよい。
【００４５】
撮像部６ａを構成する複数のカメラは、表示部４ａの表示手段としてのホログラムスクリーン４１の方向からの利用者１ａの画像を撮影する。撮像部６ａは、異なる視点からの映像を撮影する複数台のカメラにより構成されており、この複数台のカメラにより図１中において矢印８２で示されるように利用者１ａが撮影される。このとき、利用者１ａの映像を正面から捉えるカメラと、たとえばその左右に利用者１ａの正面からわずかにずれた位置からの映像を捉える複数台のカメラを設置する。
【００４６】
図２に、撮像部６ａの構成例を示す。撮像部６ａには、複数台のカメラ６１〜６５が設定され、それぞれのカメラがホログラムスクリーン４１を介して利用者１ａを異なる方向から撮影する。カメラ６１は、利用者１ａの左側面から、カメラ６３は、利用者１ａの真正面から、カメラ６５は、利用者１ａの右側面からの映像を撮影する。
【００４７】
送信映像制御部５ａには、Ｂ地点の検出部３ｂにおいて取得された利用者１ｂの位置情報ＣＢが供給される。送信映像制御部５ａは、ネットワークを介してＢ地点から入力する位置情報ＣＢに基づいて撮像部６ａのどのカメラからの映像を出力、すなわち、複数の異なる視点からの映像のどの映像をＢ地点の表示部４ｂに提示するかを選択する。
【００４８】
送信映像制御部５ａが利用者１ｂの位置情報ＣＢに基づいて選択した１つの映像、すなわち利用者１ａの選択映像が選択映像情報ＤＡとして、ネットワーク７を介してＢ地点に送信され、Ｂ地点の画像通信装置２ｂの表示部４ｂに供給される。
【００４９】
すなわち、本発明の構成においては、Ｂ地点の利用者１ｂの位置情報がＢ地点側の検出部３ｂによって取得され、この利用者１ｂの位置情報ＣＢがＡ地点の送信映像制御部５ａに送信され、この情報に基づいて、Ａ地点の利用者１ａを撮影する複数カメラの取得映像から最適視点映像が選択されてＢ地点に送信される。すなわち映像を見ている側の動きに応じて、映像データが切り替えられる。
【００５０】
同様に、Ａ地点の利用者１ａの位置情報がＡ地点側の検出部３ａによって取得され、この利用者１ａの位置情報ＣＡがＢ地点の送信映像制御部５ｂに送信され、この情報に基づいて、Ｂ地点の利用者１ｂを撮影する複数カメラの取得映像から最適視点映像が選択されてＡ地点に送信される。
【００５１】
検出部の処理について説明する。Ａ地点側の検出部の処理について説明する。表示部４ａの近接部に取り付けられた検出部３ａは、たとえばカメラ部３１および検出器３２により構成される。図１において矢印８３で示されるようにカメラ部３１により利用者１ａの姿が撮影され、カメラ部３１の映像出力が検出器３２に供給される。検出器３２は、画像解析により利用者１ａの位置情報、例えば顔の位置を検出する。検出した利用者１ａの位置情報ＣＡをＢ地点側の送信映像制御部５ｂに送信する。Ｂ地点側の送信映像制御部５ｂは、Ａ地点の検出部３ａから入力する位置情報ＣＡに基づいて、利用者１ｂの複数視点映像から送信映像を選択する。
【００５２】
検出部３ａにおいてなされる顔の位置の検出処理は、例えば、カメラ３１を１台設置し、カメラ３１の取得映像における利用者１ａの顔領域の位置大きさ等を解析し、利用者の顔の空間における位置を検出する処理として実行される。あるいは、利用者１ａに対してレーザを照射し三角測量による物体位置計測手法を適用する構成や、カメラ部３１に複数のカメラを設置して、複数カメラの取得画像を検出器３２に入力してステレオ法による視差検出を実行することにより、利用者１ａの位置情報を取得する構成としてもよい。
【００５３】
ステレオ法について、その原理を簡単に説明する。ステレオ法は複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけることで計測対象物の三次元空間における位置を求めようとするものである。例えば基準カメラと検出カメラにより異なる視点から同一対象物を撮影して、それぞれの画像内の計測対象物の距離を三角測量の原理により測定する。
【００５４】
図３は、ステレオ法の原理を説明する図である。基準カメラ（Ｃａｍｅｒａ １）と検出カメラ（Ｃａｍｅｒａ ２）は異なる視点から同一対象物を撮影する。基準カメラによって撮影された画像中の「ｍｂ」というポイントの奥行きを求めることを考える。
【００５５】
基準カメラによる撮影画像中のポイント「ｍｂ」に見える物体は、異なる視点から同一物体を撮影している検出カメラによって撮影された画像において、「ｍ１」、「ｍ２」、「ｍ３」のようにある直線上に展開されることになる。この直線をエピポーラライン（Ｅｐｉｐｏｌａｒ ｌｉｎｅ）Ｌｐと呼ぶ。
【００５６】
基準カメラにおけるポイント「ｍｂ」の位置は、検出カメラによる画像中では「エピポーラ・ライン」と呼ばれる直線上に現れる。撮像対象となる点Ｐ（Ｐ１，Ｐ２，Ｐ３を含む直線上に存在する点）は、基準カメラの視線上に存在する限り、奥行きすなわち基準カメラとの距離の大小に拘らず、基準画像上では同じ観察点「ｍｂ」に現れる。これに対し、検出カメラによる撮影画像上における点Ｐは、エピポーラ・ライン上に基準カメラと観察点Ｐとの距離の大小に応じた位置にあらわれる。
【００５７】
図３は、エピポーラ・ラインと、検出カメラ画像中における観察点「ｍｂ」の対応を図解している。同図に示すように、観察点Ｐの位置がＰ１，Ｐ２，Ｐ３へと変化するに従って、検出カメラ画像中の観察点は「ｍ１」、「ｍ２」、「ｍ３」へとシフトする。
【００５８】
以上の幾何光学的性質を利用して、観察点「ｍｂ」をエピポーラ・ライン上で探索することにより、点Ｐの距離を同定することができる。これが「ステレオ法」の基本的原理である。このような方法で画面上のすべての画素についての三次元情報を取得する。取得した三次元情報は画素ごとに対応した画素属性データとして使用することが可能となる。
【００５９】
上述のステレオ画像法は１台の基準カメラと１台の検出カメラとを用いた構成としたが、検出カメラを複数用いたマルチベースラインステレオ（Ｍｕｌｔｉ Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ）法によって評価値を求めて、該評価値に基づいて画素ごとの三次元情報を取得するように構成してもよい。マルチベースラインステレオ画像法は、１つの基準カメラと複数の検出カメラによって撮影される画像を用い、複数の検出カメラ画像それぞれについて基準カメラ画像との相関を表す評価値を求め、それぞれの評価値を加算し、その加算値を最終的な評価値とするものである。このマルチベースラインステレオ画像法の詳細は、例えば「複数の基線長を利用したステレオマッチング」、電子情報通信学会論文誌Ｄ−１１Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ Ｎｏ．８ ｐｐ．１３１７−１３２７ １９９２年８月、に記載されている。
【００６０】
上述のように、ステレオ法は、複数のカメラを用いて２つ以上の視点（異なる視線方向）から同一対象物を撮影して得られる複数の画像における画素同士を対応づけること、すなわち「対応点付け（マッチング）」を実施することで計測対象物の三次元空間における位置を求めようとするものである。
【００６１】
従来から、よく使われている「対応点付け」の手法は、Pixel-basedマッチング、Area-basedマッチングとFeature-basedマッチングに大別される。Pixel-basedマッチングとは、一方の画像における点の対応を、他方の画像でそのまま探索する方法である。Area-basedマッチングとは、一方の画像における点の対応を、他方の画像で探す時、その点の周りの局所的な画像パターンを用いて探索する方法である。Feature-basedマッチングとは、画像から濃淡エッジなどの特徴を抽出し、画像間の特徴だけを用いて対応付けを行う方法である。
【００６２】
一般的に、高精度で対象の３次元形状（または奥行き）を画素毎に求めるための手法としてArea-basedマッチングは有効であり、よく使われている。一般的なArea-basedマッチングによるステレオ視の対応点の求め方について図４を用いて説明する。図４（ａ）は、基準カメラの観測画像であり、図４（ｂ）は検出カメラによる観測画像である。基準カメラによる観測画像上の点Ｎｂの周辺の小領域Ｗをテンプレートとして、検出カメラ画像のエピポーラライン上の数点における画像相関値を求める。この図に示す例の場合は、距離分解能はＮｄ１〜Ｎｄ６の6点で、この距離番号１〜６が例えば撮影した基準カメラから１ｍ、２ｍ、３ｍ、４ｍ、５ｍ、６ｍの距離に対応しているとする。
【００６３】
各点の画像相関値は、例えば以下に示す式（１）を用いて求める評価値を用いることができる。なお、以下に示す式中のＩ（ｘ）は基準カメラで撮影した基準画像における輝度値、Ｉ’（ｘ’）は検出カメラで撮影した検出カメラ画像の輝度値を示している。
【００６４】
【数１】
上記式を用いて得られる図４のＮｄ１〜Ｎｄ６の6点での評価値中、最も低いところを対応点とする。これを示したのが図４の下段のグラフである。図４の例の場合は、Ｎｄ３の位置、すなわちカメラから３ｍの位置を距離データとする。なお、さらにサンプリングデータ間の補間処理を実行してサンプルデータ以外の部分において最も低い点を求めることも可能である。この補間処理を行なった場合、図４のグラフのＮｄ３とＮｄ４の間にある点が最小の評価値であり、この場合、計測対象はカメラから約３．３ｍの距離であるとされる。なお、エピポーラライン、およびエピポーラライン上の位置と物体との距離との関係は、予めキャリブレーションによって求めておく。例えば基準カメラ画像上のすべての画素に対して、各距離に応じた検出カメラ画像上の対応点の座標をテーブルにして保持しておく。
【００６６】
このように、基準カメラ画像と検出カメラ画像とのマッチング処理を各測定点の画素について繰り返し実行することにより、全ての画素に対する三次元形状データ、すなわち三次元空間における位置情報を得ることができる。
【００６７】
図１に示す検出部３ａのカメラ３１として、異なる視点から利用者１ａを撮影する複数カメラを設定し、これらを基準カメラと参照カメラとして、検出器３２において上述の対応点マッチング処理を適用したステレオ法による取得画像の位置情報の取得処理を実行する。この処理により利用者１ａの顔の位置情報ＣＡを取得し、Ｂ地点の送信映像制御部５ｂに送信する構成とすることができる。なお、検出部３ａの構成は、前述したように、ステレオ法に限らず、利用者の顔の位置の検出が可能な構成であればよく、様々な構成の適用が可能である。
【００６８】
このように検出器３２において利用者１ａの顔の位置が検出され、得られた検出結果に応じた位置信号が検出器３２において形成される。この位置信号がネットワークインタフェース等の伝送処理部を介して位置情報ＣＡとして、ネットワーク７を介してＢ地点の画像通信装置２ｂの送信映像制御部５ｂに供給される。
【００６９】
なお、図示されていない画像通信装置２ａに内蔵された音声処理部は、アンプ、スピーカおよびマイクロホン等により構成されており、音声信号の入出力処理を行う。また、図示しない伝送処理部は、ネットワークインターフェース回路、伝送符号／復号器等により構成されており、映像信号および音声信号と位置信号とを伝送媒体等に応じた伝送形態となるように変換し、得られた情報を伝送路上に送出すると共に、その逆に供給される先方からの所定の伝送形態の情報から元の情報を復元し、各部に供給する。
【００７０】
上述したＡ地点側の画像通信装置２ａと同様にＢ地点の画像通信装置２ｂ側が構成される。従って、システム全体の動作としては、画像通信装置２ａの検出部３ａにおいて利用者１ａの顔の位置が検出され、この検出結果に応じて形成された位置情報ＣＡが画像通信装置２ｂの送信映像制御部５ｂに供給されると共に、画像通信装置２ｂの検出部３ｂにおいて利用者１ｂの顔の位置が検出され、この検出結果に応じて形成された位置情報ＣＢが画像通信装置２ａの送信映像制御部５ａに供給される。
【００７１】
画像通信装置２ａの送信映像制御部５ａにおいて、Ｂ地点の利用者１ｂの位置情報ＣＢがネットワークを介して入力され、利用者１ｂの位置情報ＣＢに基づいて、利用者１ａを異なる視点から撮影する複数カメラからなる撮像部６ａのどのカメラ映像をＢ地点側に送信し、Ｂ地点の表示部４ｂに出力するかを選択する。同様に、Ｂ地点の画像通信装置２ｂの送信映像制御部５ｂは、Ａ地点の利用者１ａの位置情報ＣＡに基づいて、利用者１ｂを異なる視点から撮影する複数カメラからなる撮像部６ｂのどのカメラ映像をＡ地点側に送信し、Ａ地点の表示部４ａに出力するかを選択する。
【００７２】
Ａ地点の画像通信装置２ａの送信映像制御部５ａが選択した利用者１ａの選択映像情報ＤＡは、ネットワーク７を介してＢ地点の画像通信装置２ｂの表示部４ｂに供給される。一方、Ｂ地点の画像通信装置２ｂの送信映像制御部５ｂが選択した利用者１ｂの選択映像情報ＤＢは、Ａ地点の画像通信装置２ａの表示部４ａに供給される。
【００７３】
Ａ地点の利用者１ａが見ている表示部４ａには、Ｂ地点において撮影された利用者１ｂの映像が映し出される。この利用者１ｂの表示映像は、利用者１ａの顔の位置に応じて変更して映し出される。一方、Ｂ地点の表示部４ｂには、Ａ地点において撮影された利用者１ａの映像が映し出される。この利用者１ａの表示映像は、利用者１ｂの顔の位置に応じ、変更して映し出される。この変更処理により、利用者１ａ、１ｂは、互いに先方の利用者を所望の位置から見ているような映像をホログラムスクリーン上に観察することができ、あたかも窓を介して会話しているような臨場感でコミュニケーションを図ることができる。
【００７４】
受信側の利用者の視点位置に応じて送信側の複数カメラの画像から選択して受信側の表示装置に表示する手順を、図５および図６を用いて詳細に説明する。図５および図６は、画像通信装置２ａ側（つまりＡ地点）からのカメラ画像選択操作を説明するもので、図５はその処理手順を示している、各ステップには、Ｓ１〜Ｓ５の参照符号を付している。各ステップの処理について、以下説明する。
【００７５】
まず、ステップＳ１において、Ａ地点の利用者１ａの顔の位置の検出処理が実行される。例えば、上述した複数のカメラを用いたステレオ法による視差検出に基づいて、利用者１ａの三次元空間上での顔の位置が利用者１ａの位置情報ＣＡとして検出される。
【００７６】
次に、ステップＳ２において、検出された位置情報ＣＡがＢ地点の画像通信装置２ｂにネットワーク７を介して送信される。ステップＳ３では、位置情報ＣＡをＢ地点の画像通信装置２ｂ内の送信映像制御部５ｂが受信し、Ｂ地点の利用者２ｂを撮影している撮像部６ｂを構成する複数視点の複数カメラの映像から１つをＡ地点に対する出力映像として選択し、この選択映像を選択映像情報ＤＢとしてＡ地点に対して出力する。
【００７７】
送信映像制御部５ｂにおいて実行する位置情報ＣＡに基づく映像選択処理について図６を用いて説明する。図６（Ｊ１）および（Ｊ３）はＡ地点での利用者１ａと表示部４ａと仮想的なＢ地点の利用者１ｂの像を上方から観察した状況を示している。
【００７８】
図６（Ｊ２）および（Ｊ４）はＢ地点での利用者１ｂと表示部４ｂと撮像部６ｂを構成するカメラ６１〜６５を上方から観察した状況を示している。本発明の画像通信装置においては、表示部に表示される通信相手の映像を制御することで、双方の利用者１ａ，１ｂが、面前に存在する感覚で対話を行なえるように映像制御を行なう構成を持つ。
【００７９】
例えば、図６（Ｊ１）のように、Ａ地点とＢ地点の間で本装置を用いてコミュニケーションをとる場合に、Ａ地点の利用者１ａにとって、表示部４ａに表示されるＢ地点の利用者１ｂが、あたかも利用者ａの前方に実在し、窓を介して会話しているような臨場感を提供する。
【００８０】
図６（Ｊ１）に示す利用者１ａの視点位置で観察される利用者１ｂの像は、図６（Ｊ２）における撮像部６ｂのカメラ６３の取得映像に含まれる利用者１ｂの像にもっとも近い。よって、Ａ地点から送られてきた利用者ａの位置情報が図６（Ｊ１）にある利用者１ａの位置の近傍を示していた場合には、Ｂ地点の送信映像制御部５ｂはカメラ６３が撮影している利用者１ｂの映像を選択して、この選択映像を選択映像情報ＤＢとしてＡ地点に対して出力する。
【００８１】
また、図６（Ｊ３）のように、Ａ地点の利用者１ａが表示部４ａに向かって正面よりやや左に移動している場合には、そこで利用者１ａが観察する利用者１ｂの像は、図６（Ｊ４）における撮像部６ｂのカメラ６２の映像に写っている利用者１ｂの像がもっとも近い像となる。
【００８２】
よって、Ａ地点から送られてきた利用者ａの位置情報が図６（Ｊ３）の位置の近傍を示していた場合には、Ｂ地点側の送信映像制御部５ｂはカメラ６２が撮影している利用者１ｂの映像を選択して、この選択映像を選択映像情報ＤＢとしてＡ地点に対して出力する。
【００８３】
このように、画像送信側の送信映像制御部は、表示部において表示画像を見る画像受信側の利用者の視点位置で観察される像に最も近い像を提供するカメラの映像の選択処理を実行し出力する。この選択処理においては、画像受信側の利用者の位置情報が適用される。すなわち、画像受信側の利用者位置から見ている対話相手の画像にもっとも近い画像が選択されて送信、表示される。
【００８４】
図５のフローに戻り、説明を続ける。ステップＳ４において、上述した映像選択処理に基づいて選択された選択映像情報ＤＢが、送信映像制御部５ｂからＡ地点の画像通信装置２ａに送信される。ステップＳ５において、Ｂ地点から送られてきた選択映像情報ＤＢが表示部４ａに表示される。
【００８５】
上述の表示画像制御により、コミュニケーションを行なう利用者双方は、それぞれの表示部に表示される通信相手が、あたかも前方に実在し、窓を介して会話しているような臨場感を得ることが可能となる。
【００８６】
本発明の画像通信装置の送信映像制御部の処理をまとめると以下のようになる。図１のＡ地点側の送信映像制御部５ａの処理として説明する。送信映像制御部５ａは、ネットワークを介して通信相手である利用者１ｂの位置情報を入力し、入力する通信相手の利用者１ｂの位置情報に基づいて、撮像部３ａの複数カメラが撮影する利用者１ａの複数の画像から、通信相手の利用者１ｂ側の表示部４ｂに表示される利用者１ａに対する通信相手１ｂの視点方向からの利用者１ａの画像に近い画像を通信相手１ｂに対する送信画像として選択する処理を実行するということになる。
【００８７】
なお、上述した実施例の説明において、撮像部６ａ、６ｂのカメラは水平方向に並べた構成例としたが、利用者の上下方向の視点移動に対応するために、上下方向にもカメラを設置し、たとえばアレイ状に配列する構成としてもよい。このようなアレイ状にカメラを配列すれば、利用者の左右の動きばかりでなく、上下の動きに応じた最適映像データを選択して送信することが可能となる。
【００８８】
また、利用者が前後方向に移動、すなわち表示部に対して近づいたり離れたりする際にも対応可能とするために、撮像部６ａ、６ｂのカメラの映像のレンズのズームを、前後方向の位置に応じて操作し、利用者が前後に移動したときに観察されるべき映像を擬似的に生成する構成としてもよい。あるいは、レンズのズームを操作するのでなく、カメラの映像を比較的広い視野角に固定して撮像しておき、その映像を信号処理し、表示部に表示される利用者の表示領域を大きくしたり小さくする制御を実行して、同様の効果を持たせる構成としてもよい。
【００８９】
［実施例２］
図７は、本発明の第２の実施形態における画像通信装置の構成を示す。実施例１において説明した図１と同様の構成部に関しては同一の参照符号を付してある。また、図７においては、Ｂ地点の画像通信装置２ｂは省略した。
【００９０】
第２の実施形態では、第１の実施形態にある検出部３ａを構成するカメラ部３１を削除し、撮像部６ａを構成するカメラによって取得した画像に基づいて、利用者１ａの位置情報を取得する構成とした。
【００９１】
前述したように、利用者１ａの位置情報は、利用者を撮影するカメラの情報に基づいて実行することが可能である。例えば１台のカメラの撮影画像の解析に基づいて、利用者１ａの位置を求めることが可能である。この場合は、撮像部６ａを構成する複数カメラの撮影画像の１つを用いて、撮影画像の解析に基づいて、利用者１ａの位置を求める。また、前述したステレオ法では、異なる視点からの撮影画像として基準カメラと参照カメラとの画像を用いるが、撮像部６ａを構成する複数カメラは、上述の説明において理解されるように異なる視点方向の画像を取得可能であり、これらの画像を用いてステレオ法による利用者１ａの位置情報が取得できる。
【００９２】
図８を参照して、本実施例の構成における検出器３２の処理について説明する。撮像部６ａは、前述の実施例１と同様、利用者１ａを異なる方向から撮影する複数のカメラ６１〜６５から構成される。カメラ６１は、利用者１ａの左側面から、カメラ６３は、利用者１ａの真正面から、カメラ６５は、利用者１ａの右側面からの映像を撮影する。
【００９３】
送信映像制御部５ａには、Ｂ地点の検出部３ｂにおいて取得された利用者１ｂの位置情報ＣＢが供給される。送信映像制御部５ａは、ネットワークを介してＢ地点から入力する位置情報ＣＢに基づいて撮像部６ａのどのカメラからの映像を出力、すなわち、複数の異なる視点からの映像のどの映像をＢ地点の表示部４ｂに提示するかを選択する。送信映像制御部５ａが利用者１ｂの位置情報ＣＢに基づいて選択した１つの映像、すなわち利用者１ａの選択映像が選択映像情報ＤＡとして、ネットワーク７を介してＢ地点に送信され、Ｂ地点の画像通信装置２ｂの表示部４ｂに供給される。この映像選択構成は、実施例１と同様である。
【００９４】
本実施例においては、撮像部６ａを構成する複数のカメラ６１〜６５の取得映像を検出器３２に入力する。例えばカメラ６１の映像と、カメラ６５の取得映像を検出器３２に入力し、先に図３、図４を参照して説明したステレオ法を適用して利用者１ａの三次元上の位置を求める。求めた位置情報は、利用者１ａの位置情報ＣＡとして、Ｂ地点の画像通信装置の送信映像制御部５ｂに送られる。
【００９５】
このように、本実施例によれば、利用者の位置情報検出に、撮像部のカメラの撮影画像を適用する構成としたので、検出部にカメラを設置する必要がなくなり、装置の小型化、コストダウンが実現される。
【００９６】
［実施例３］
上述した実施例１、２では、２地点間の利用者を想定した構成例を説明した。次に、３地点以上に利用者がおり、それぞれの利用者映像をネットワークを介して相互に送信する処理構成例について説明する。
【００９７】
Ａ地点、Ｂ地点、Ｃ地点の３地点を結んだ通信での運用例について説明する。画像通信装置は、モード切り替え機構を有し、「一人対面モード」と「二人対面モード」との切り替えが可能な構成を持ち、状況に応じて利用者がモードを切り替えることができる。「一人対面モード」は、これまで説明してきた２地点間の通信において用いられる。「複数人対面モード」は、多地点での同時運用時に利用され、たとえばＡ地点の画像通信装置２ａにおいて、通信している別の２地点（Ｂ地点、Ｃ地点）からの映像を、画像通信装置２ａの表示映像を分割して左右に並べて利用者１ａに提示するモードである。
【００９８】
図９は、「複数人（二人）対面モード」の状態を図示している。Ａ地点の利用者１ａが「複数人（二人）対面モード」を選択すると、通信している別の２地点（Ｂ地点、Ｃ地点）からの映像を、画像通信装置２ａのスクリーン４１ａ上の表示映像を区分、すなわち分割して左右に並べて利用者１ａに提示する。
【００９９】
画像通信装置２ａ内の送信映像制御部５ａの構成例を図１０に示す。送信映像制御部５ａのモード設定部５１は、利用者からのモード設定コマンドを入力する。「一人対面モード」の際には、送信映像制御部５ａから出力される受信側に送るための映像は、撮像部６ａの複数のカメラ６１〜６５すべてからの映像を選択候補映像として、対面している通信相手の位置情報に基づいて選択して送信する。
【０１００】
例えばＢ地点の利用者１ｂとのみ対面する状態の場合には、Ｂ地点に送信する利用者１ａの画像は、撮像部６ａの複数のカメラ６１〜６５すべてからの映像を選択候補映像として、Ｂ地点の利用者１ｂの位置情報ＣＢを第１位置情報入力部５３を介して入力し、映像選択部５２において選択しＢ地点への選択出力画像とする。
【０１０１】
「複数人（二人）対面モード」の設定の場合には、Ｂ地点およびＣ地点に送る映像を、撮像部６ａの複数のカメラ６１〜６５の撮影映像を区分して設定する。例えばＢ地点に送る映像は、カメラ６１〜６３の映像を選択候補とする。Ｃ地点に送る映像は、カメラ６３〜６５の映像を選択候補とするなどである。
【０１０２】
すなわち、本実施例の画像通信装置では、表示部は、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成を有し、送信映像制御部は、表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する撮像部の複数カメラの範囲を区分する処理を実行する構成である。
【０１０３】
例えば、Ａ地点の画像通信装置２ａの利用者１ａが見ているスクリーン４１ａ上の映像に向かって右半分がＢ地点からの映像、左半分がＣ地点からの映像とすると、Ｂ地点に送られる映像を、利用者１ａから見て向かって右半分のカメラ群から選択し、Ｃ地点に送られる映像を、利用者１ａから見て向かって左半分のカメラ群から選択する。このように設定することで、利用者１ａの前に利用者１ｂと利用者１ｃが隣合って対面しているように映像表示することが可能となる。
【０１０４】
Ａ地点の画像通信装置２ａは、Ｂ地点の利用者１ｂの位置情報ＣＢを第１位置情報入力部５３を介して入力し、映像選択部５２において、選択画像候補としてカメラ６１〜６３の取得画像を設定し、この設定内の取得画像から送信映像を選択し、Ｂ地点への選択出力映像とする。また、Ｃ地点の利用者１ｃの位置情報ＣＣを第２位置情報入力部５４を介して入力し、映像選択部５２において、選択画像候補としてカメラ６３〜６５の取得画像を設定し、この設定内の取得画像から送信映像を選択し、Ｃ地点への選択出力映像とする。
【０１０５】
さらに、たとえばＢ地点の利用者１ｂが画像通信装置２ｂの正面に位置している場合に、これまでの「一人対面モード」では撮像部６ａの複数のカメラの中心付近にあるカメラの映像を選ぶように設定されていたが、「二人対面モード」では、これをＢ地点用のカメラ群の中心付近にあるカメラの位置に設定する。同様に、Ｃ地点の利用者１ｃが画像通信装置２ｃの正面に位置している場合に、「二人対面モード」では、これをＣ地点用のカメラ群の中心付近にあるカメラの位置に設定する。また、Ｂ地点用のカメラ群とＣ地点用のカメラ群は重なりなく分割しても、多少の重なりを持たせた分割でもよい。
【０１０６】
このように運用することで、たとえばＡ地点の利用者１ａが画像通信装置２ａのスクリーン４１ａ上に表示されているＢ地点の利用者１ｂの映像に視線を合わせて対話している場合には、Ｂ地点の利用者１ｂが見ている画像通信装置２ｂのスクリーン４１ｂ上に表示されているＡ地点の利用者１ａの映像は視線の一致が図れ、Ｃ地点の利用者１ｃが見ている画像通信装置２ｃのスクリーン４１ｃ上に表示されているＡ地点の利用者１ａの映像は違った方向を見ていることになり、より臨場感を高めた対話が実現できる。
【０１０７】
なお、ここでは３地点での対話の例を挙げたが、４地点以上の対話においても、同様の運用を行うことで、同様の効果が得られる。
【０１０８】
［ビューインターポレーションによる画像処理］
上述した実施例においては、撮像部に複数のカメラを設置し、利用者の位置に応じて、各カメラの取得映像を切り替えて表示する構成を説明した。しかし、上述の構成においては、撮像部に設置可能なカメラの数には制限がある。従って、利用者の位置によっては、個々のカメラの撮影映像のみでは利用者位置を正確に反映した映像を提示できなくなる場合がある。
【０１０９】
例えば上述の例では、撮像部６ａには５台のカメラ６１〜６５を設置した構成を示している。この場合、各カメラ位置５箇所においては利用者の位置を正確に反映した映像を提供できるが、各カメラ間に対応する位置に利用者が位置した場合の正確な映像は提示できない。このような問題を解決するため、複数カメラの画像に基づいて、実際には撮影されていない位置の画像を生成して送信する構成例を説明する。
【０１１０】
図１１に実際のカメラ撮影画像に基づいて、実際には撮影されていない画像を生成するビューインターポレーションを実行する画像処理部構成を持つ画像通信装置の送信映像制御部５ａの構成例を示す。なお、ここでは、２地点間の画像通信例を説明するが、前述の３地点以上の地点間の画像通信においても同様の画像処理が適用可能である。
【０１１１】
撮像部６ａには、複数台のカメラ６１〜６５が設定され、それぞれのカメラが利用者を異なる方向から撮影する。送信映像制御部５ａの位置情報入力部５６には、Ｂ地点の検出部３ｂにおいて取得された利用者１ｂの位置情報ＣＢが供給される。映像選択部５７は、複数台のカメラ６１〜６５の映像から、位置情報ＣＢに対応した位置にある利用者映像を選択してＢ地点に対する出力映像とする。この構成は、上述の各実施例で述べた処理を実行する基本構成である。
【０１１２】
送信映像制御部５ａは、さらに、画像処理部５８を有する。画像処理部５８は、位置情報入力部５６の入力位置情報に正確に対応する取得映像がない場合、複数カメラの映像に基づいて、実際には撮影されていない位置の映像、すなわちカメラ間に対応する位置にある利用者位置に対応する映像を生成する。すなわち、ビューインターポレーションによる画像処理を実行する。
【０１１３】
実際にカメラのない位置を視点とした映像を、周辺の複数のカメラの実写映像から生成するビューインターポレーション（Ｖｉｅｗ Ｉｎｔｅｒｐｏｌａｔｉｏｎ； Ｖｉｅｗ Ｍｏｒｐｈｉｎｇとも呼ばれる）の技術を用いれば、利用者の視点の移動に伴う映像の変化を、より違和感のないものとして実現可能となる。
【０１１４】
ビューインターポレーションとは、複数のカメラからの映像から、実際のカメラのない視点から見える映像を生成する技術である。図１２に示すように、カメラＡからの画像ＡとカメラＢからの画像Ｂを用いて、その間に位置する仮想的なカメラＣで撮影されるべき画像Ｃを生成する。画像Ｃは、実際にカメラＣがあったとして得られる画像と寸分違わぬ画像である必要はなく、人の目に違和感なく自然に見えればよい。このビューインターポレーションを実現するための技術としては、たとえば［S. M. Seitz and C. R. Dyer, "View Morphing," Proc. SIGGRAPH 96, ACM, 1996pp.21-30．］に記載の画像処理手法が利用できる。なお、この文献に記載の手法は仮想視点がカメラの投影中心を結んだ直線上の移動のみを考慮したものであるが、仮想視点がカメラより前方に移動する（被写体に近づく）場合の画像生成には、［S.J. Gortler, R. Grzeszczuk, R. Szeliski, and M.F. Cohen, "The Lumigraph", Proc. of SIGGRAPH '96, ACM, 1996, pp. 43-54］に記載の手法が利用できる。
【０１１５】
このように、ビューインターポレーションによれば、複数のカメラに基づく実際の取得画像に基づいて、カメラのない視点の画像の生成が可能であり、この画像処理を本発明の画像通信装置において実行することで、利用者の位置に対応した画像を限られた数のカメラの取得画像に基づいて生成、送信することが可能となり、より臨場感のある画像を各利用者に提供することが可能となる。
【０１１６】
［その他の実施例］
上述の複数の実施例においては、いずれも画像を送信する側の画像通信装置の送信映像制御部において、複数カメラの取得画像から１つの画像を選択、または、ビューインタポレーションによる合成画像を生成して通信相手に送信する構成例を説明した。
【０１１７】
このように、画像を送信する側で、１つの送信画像を設定することなく、複数カメラの取得画像を全て通信相手の装置に送信し、通信相手側の画像通信装置において画像を選択あるいはビューインタポレーションによる画像生成を実行して、唯一の表示画像を設定して表示する構成としてもよい。
【０１１８】
複数の画像を受信して、画像選択あるいは画像生成を実行する場合は、画像通信装置に表示映像制御部を設け、表示映像制御部において、通信相手から受信する複数画像データからの画像選択処理、あるいは通信相手から受信する複数画像データに基づいてビューインタポレーション等の画像処理を実行する構成とする。
【０１１９】
表示映像制御部は、自装置の検出部において検出した自分の位置情報を入力し、位置情報に基づいて、通信相手から受信する複数画像からの画像選択処理またはビューインタポレーションによる画像処理を実行して、表示画像の選択あるいは生成を行なう。この構成においては、画像データの送信量は増加するが、画像選択に適用する利用者位置情報をネットワークを介して送信する必要がなくなる。
【０１２０】
［ハードウェア構成例］
次に、図１３を参照して、本発明の画像通信装置のハードウェア構成例について説明する。本発明の画像通信装置は、図１他を参照して説明したように、ディスプレイに相対して位置する利用者を撮影する複数のカメラ構成を有することが必要となるが、これら複数カメラの取得画像の選択処理、ディスプレイに対する表示制御処理、データ送受信制御処理は、例えばＰＣ、ＰＤＡ、携帯端末等ＣＰＵ等の制御部、メモリ、通信インタフェース等を備えた様々な情報処理装置構成において実現可能である。複数カメラの取得画像の選択処理、ディスプレイに対する表示制御処理、あるいはデータ送受信処理を実行するための情報処理装置の具体的ハードウェア構成例について、図１３を参照して説明する。
【０１２１】
ＣＰＵ(Central Processing Unit)８５６は、各種アプリケーションプログラムの実行制御を行なう。例えば外部から入力される利用者位置情報に基づくカメラ取得画像の選択処理、ディスプレイに対する表示制御処理、データ送受信処理制御を実行する制御部として機能するプロセッサである。メモリ８５７は、ＣＰＵ８５６が実行するプログラム、あるいは演算パラメータとしての固定データを格納するＲＯＭ（Read-Only-Memory）、ＣＰＵ８５６の処理において実行されるプログラム、およびプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用されるＲＡＭ（Random Access Memory）等によって構成される。
【０１２２】
ＨＤＤ８５８はプログラム格納領域として利用可能であり、また、送受信画像データの格納領域として利用可能なハードディスクを持つ記憶部である。なお、図には、ＨＤＤを利用した例を示しているが、ＣＤ、ＤＶＤ等を記憶媒体として適用することも可能である。
【０１２３】
コーデック８５１は、ネットワークを介して送受信する画像データのエンコード（符号化）処理、デコード（復号）処理を実行する。画像データは、情報量が多いため、例えばＭＰＥＧ符号化によりデータ量を削減して送信することが好ましい。
【０１２４】
ネットワークインタフェース８５２は、インターネット、ＬＡＮ等の各種通信ネットワークとのインタフェースとして機能する。入力インタフェース８５３は、マウス８３７、キーボード８３６等の入力機器とのインタフェースとして機能する。ユーザは例えばキーボード８３６からのデータ入力により、前述した実施例３で説明したモード設定を実行する。
【０１２５】
ＡＶインタフェース８５４、ディスプレイインタフェース８５５は、カメラ群８３３、マイク８３４、スピーカ８３５等のＡＶデータ入出力機器からのデータ入出力を行なう。ＰＣＩバス８５９を介して制御情報、データが各構成要素間において転送される。これらのデータ転送制御、その他各種プログラム制御はＣＰＵ８５６によって実行される。
【０１２６】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１２７】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２８】
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２９】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１３０】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【０１３１】
【発明の効果】
以上、説明したように、本発明の構成によれば、ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する構成において、画像送信元の利用者１ａの画像を複数カメラを用いて異なる視点から撮影し、ネットワークを介して通信相手の利用者１ｂの位置情報を入力し、入力する通信相手１ｂの位置情報に基づいて、撮像部の複数カメラが撮影する利用者１ａの複数の画像から、通信相手１ｂ側表示装置に表示される利用者１ａに対する通信相手１ｂの視点方向からの利用者１ａの画像に近い画像を通信相手１ｂに対する送信画像として選択する構成としたので、利用者の位置が変化しても視線の一致を得ることが可能となり、利用者は、互いに先方の利用者を所望の位置から見ているような映像を観察することができ、あたかも窓を介して会話しているような臨場感でコミュニケーションを図ることが可能となる。
【０１３２】
さらに、本発明の構成によれば、表示部を、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成とし、送信映像制御部は、表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する撮像部の複数カメラの範囲を区分する処理を実行する構成としたので、３地点以上の多地点のコミュニケーションに利用する場合においても、利用者は、互いに先方の利用者を所望の位置から見ているような映像を観察することが可能となる。
【図面の簡単な説明】
【図１】本発明の画像通信装置の構成および通信処理について説明する図である。
【図２】本発明の画像通信装置の撮像部、表示時構成例について説明する図である。
【図３】本発明において利用者位置情報検出に適用可能なステレオ法について説明する図である。
【図４】本発明において利用者位置情報検出に適用可能なステレオ法について説明する図である。
【図５】本発明の画像通信装置の処理シーケンスを説明するフロー図である。
【図６】本発明の画像通信装置における送信画像の選択処理について説明する図である。
【図７】本発明の画像通信装置の第２実施例構成を示す図である。
【図８】本発明の画像通信装置の第２実施例構成の詳細を説明する図である。
【図９】本発明の画像通信装置の第３実施例構成を示す図である。
【図１０】本発明の画像通信装置の第３実施例における送信映像制御部の構成を示す図である。
【図１１】画像生成処理を実行する画像処理部を有する本発明の画像通信装置の送信映像制御部の構成を示す図である。
【図１２】ビューインタポレーション処理について説明する図である。
【図１３】本発明の画像通信装置のハードウェア構成例を示すハードウェア構成図である。
【符号の説明】
１ａ，１ｂ，１ｃ 利用者
２ａ，２ｂ，２ｃ 画像通信装置
３ａ，３ｂ 検出部
４ａ，４ｂ 表示部
５ａ，５ｂ 送信映像制御部
６ａ，６ｂ，６ｃ カメラ
７ ネットワーク
３１ カメラ
３２ 検出器
４１ ホログラムスクリーン
４２ プロジェクタ
５１ モード設定部
５２ 映像選択部
５３ 第１位置情報入力部
５４ 第２位置情報入力部
５６ 位置情報入力部
５７ 映像選択部
５８ 画像処理部
６１〜６３ カメラ
８３２ ディスプレイ
８３３ ビデオカメラ
８３４ マイク
８３５ スピーカ
８３６ キーボード
８３７ マウス
８５０ 画像制御処理装置
８５１ コーデック
８５２ ネットワークインタフェース
８５３ 入出力インタフェース
８５４ ＡＶインタフェース
８５５ ディスプレイインタフェース
８５６ ＣＰＵ
８５７ メモリ
８５８ ＨＤＤ
８５９ ＰＣＩバス
Claims (15)
- ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信装置であり、
画像送信元の利用者（Ａ）の画像を異なる視点から撮影する複数のカメラを有する撮像部と、
通信相手（Ｂ）の画像を通信相手の数（ｎ）に応じて分割された分割画面領域の各々に表示する表示部と、
前記利用者（Ａ）の位置情報を取得する検出部と、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力し、入力する通信相手（Ｂ）の位置情報に基づいて、前記撮像部の複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する送信映像制御部を有し、
前記送信映像制御部は、
前記撮像部の複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理部を有し、
前記画像処理部は、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記撮像部の複数カメラの撮影画像に基づく画像処理により生成する処理を実行するとともに、前記表示部に複数（ｎ）の通信相手が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成し、
前記送信映像制御部は、
前記画像処理部の生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行する構成であることを特徴とする記載の画像通信装置。 - 前記画像通信装置は、
３地点以上の多地点のコミュニケーションに利用可能な構成を有し、
前記表示部は、単一の通信相手を表示する一人対面モードと、複数の通信相手を画面分割により同時に表示する複数人対面モードとのモード変更による異なる画面表示が可能な構成を有し、
前記送信映像制御部は、
前記表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する前記撮像部の複数カメラの範囲を区分する処理を実行する構成であることを特徴とする請求項１に記載の画像通信装置。 - 前記検出部は、
前記撮像部を構成するカメラの取得した画像に基づいて、前記利用者（Ａ）の位置情報を取得する処理を実行する構成であることを特徴とする請求項１に記載の画像通信装置。 - 前記検出部は、
前記撮像部を構成する異なる視点の複数カメラの取得画像に基づくステレオ法による三次元位置取得処理により、前記利用者（Ａ）の位置情報を取得する構成であることを特徴とする請求項１に記載の画像通信装置。 - 前記撮像部を構成する複数のカメラは、前記表示部方向からの前記利用者（Ａ）画像を異なる視点で撮影する構成であることを特徴とする請求項１に記載の画像通信装置。
- 前記撮像部を構成する複数のカメラは水平上に複数配列され、画像送信元の利用者（Ａ）の画像を少なくとも水平方向に異なる視点から撮影する構成であることを特徴とする請求項１に記載の画像通信装置。
- 前記撮像部を構成する複数のカメラはアレイ状に配列され、画像送信元の利用者（Ａ）の画像を水平方向および垂直方向において異なる視点から撮影する構成であることを特徴とする請求項１に記載の画像通信装置。
- ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信装置であり、
画像送信元の利用者（Ａ）の画像を異なる視点から撮影する複数のカメラを有する撮像部と、
通信相手（Ｂ）の画像を通信相手の数（ｎ）に応じて分割された分割画面領域の各々に表示する表示部と、
前記利用者（Ａ）の位置情報を取得する検出部と、
前記ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力し、前記検出部の検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記表示部に対する出力画像として選択する表示映像制御部を有し、
前記表示映像制御部は、
前記撮像部の複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理部を有し、
前記画像処理部は、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御部は、
前記画像処理部の生成画像を、前記表示部に対する出力画像とする構成であることを特徴とする画像通信装置。 - ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信方法であり、
画像送信元の利用者（Ａ）の画像を異なる視点から複数のカメラによって撮影する撮影ステップと、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力する位置情報入力ステップと、
入力する通信相手（Ｂ）の位置情報に基づいて、前記複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する画像選択ステップと、
前記画像選択ステップにおいて選択した画像を通信相手に送信する画像送信ステップを有し、
前記画像選択ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記複数カメラの撮影画像に基づく画像処理により生成する処理を実行し、利用者（Ａ）側表示部に複数（ｎ）の通信相手が表示されている場合、表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成するステップであり、
前記画像選択ステップは、
前記画像処理ステップにおける生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行ステップであることを特徴とする画像通信方法。 - 前記画像通信方法は、さらに、
表示部を、単一の通信相手を表示する一人対面モード、あるいは複数の通信相手を画面分割により同時に表示する複数人対面モードのいずれかのモードに設定するモード設定ステップと、
前記表示部の設定モードに従って区分された通信相手の表示領域に応じて、通信相手に対する送信画像として選択する前記撮像部の複数カメラの範囲を区分する区分ステップとを有し、
前記画像選択ステップは、
前記区分ステップにおいて区分されたカメラの取得する画像のみから各通信相手に送信する画像を選択する処理を実行することを特徴とする請求項９に記載の画像通信方法。 - 前記画像通信方法は、さらに、
前記通信相手（Ｂ）に送信するための画像送信元の利用者（Ａ）の位置情報を検出する検出ステップを有し、
前記検出ステップは、
前記複数カメラの取得画像に基づいて、前記利用者（Ａ）の位置情報を取得する処理を実行することを特徴とする請求項９に記載の画像通信方法。 - 前記検出ステップは、
前記複数カメラの取得画像に基づくステレオ法による三次元位置取得処理により、前記利用者（Ａ）の位置情報を取得することを特徴とする請求項１１に記載の画像通信方法。 - ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現する画像通信方法であり、
画像送信元の利用者（Ａ）の位置情報を取得する検出ステップと
ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力する画像データ入力ステップと、
前記検出ステップにおいて検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、表示部に対する出力画像として選択する表示映像制御ステップと、
前記表示映像制御ステップにおいて選択した出力画像を表示部に出力する表示ステップを有し、
前記表示映像制御ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御ステップは、
前記画像処理ステップにおいて生成した生成画像を、前記表示部に対する出力画像とすることを特徴とする画像通信方法。 - ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現するための画像通信処理を実行するコンピュータ・プログラムであって、
画像送信元の利用者（Ａ）の画像を異なる視点から複数のカメラによって撮影する撮影ステップと、
前記ネットワークを介して通信相手（Ｂ）の位置情報を入力する位置情報入力ステップと、
入力する通信相手（Ｂ）の位置情報に基づいて、前記複数カメラが撮影する利用者（Ａ）の複数の画像から、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を通信相手（Ｂ）に対する送信画像として選択する画像選択ステップと、
前記画像選択ステップにおいて選択した画像を通信相手に送信する画像送信ステップを有し、
前記画像選択ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、通信相手（Ｂ）側表示装置に表示される利用者（Ａ）に対する通信相手（Ｂ）の視点方向からの利用者（Ａ）の画像に近い画像を、前記複数カメラの撮影画像に基づく画像処理により生成する処理を実行し、利用者（Ａ）側表示部に複数（ｎ）の通信相手が表示されている場合、表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの利用者（Ａ）の画像に近い画像を各通信相手対応の画像として生成するステップであり、
前記画像選択ステップは、
前記画像処理ステップにおける生成画像を、前記通信相手（Ｂ）に対する送信画像として設定する処理を実行ステップであることを特徴とするコンピュータ・プログラム。 - ネットワークを介して利用者画像を送信し、利用者画像を表示部に表示したコミュニケーションを実現するための画像通信処理を実行するコンピュータ・プログラムであって、
画像送信元の利用者（Ａ）の位置情報を取得する検出ステップと
ネットワークを介して通信相手（Ｂ）を異なる視点から撮影した複数の画像データを入力する画像データ入力ステップと、
前記検出ステップにおいて検出した前記利用者（Ａ）の位置情報に基づいて、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、表示部に対する出力画像として選択する表示映像制御ステップと、
前記表示映像制御ステップにおいて選択した出力画像を表示部に出力する表示ステップを有し、
前記表示映像制御ステップは、
前記複数カメラが撮影する複数の画像に基づいてカメラ間の画像を合成する画像処理ステップを有し、
前記画像処理ステップは、利用者（Ａ）の視点方向から通信相手（Ｂ）を見た画像に近い通信相手（Ｂ）画像を、前記ネットワークを介して受信する通信相手（Ｂ）を異なる視点から撮影した複数の画像データに基づいて生成する処理を実行するとともに、前記表示部に複数の通信相手（Ｂ１〜Ｂｎ）が表示されている場合、前記表示部に表示された各通信相手（Ｂ１〜Ｂｎ）の表示領域の設定位置と相対的に同じ視点方向からの通信相手の画像に近い画像を各通信相手対応の画像として生成し、
前記表示映像制御ステップは、
前記画像処理ステップにおいて生成した生成画像を、前記表示部に対する出力画像とすることを特徴とするコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002359387A JP4539015B2 (ja) | 2002-12-11 | 2002-12-11 | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002359387A JP4539015B2 (ja) | 2002-12-11 | 2002-12-11 | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004193962A JP2004193962A (ja) | 2004-07-08 |
| JP4539015B2 true JP4539015B2 (ja) | 2010-09-08 |
Family
ID=32758798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002359387A Expired - Fee Related JP4539015B2 (ja) | 2002-12-11 | 2002-12-11 | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4539015B2 (ja) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4179251B2 (ja) * | 2004-09-07 | 2008-11-12 | 株式会社日立製作所 | 中間画像作成装置 |
| KR100713415B1 (ko) | 2004-12-10 | 2007-05-04 | 삼성전자주식회사 | 영상 시점을 보정하는 이동통신단말기 |
| JP4431532B2 (ja) | 2005-09-16 | 2010-03-17 | 富士フイルム株式会社 | 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム |
| JPWO2007122907A1 (ja) * | 2006-03-29 | 2009-09-03 | パナソニック株式会社 | 画像コーデック装置 |
| GB2450345A (en) * | 2007-06-20 | 2008-12-24 | Iona Simpson | Videoconference terminal providing enhanced user interface |
| WO2009119288A1 (ja) * | 2008-03-25 | 2009-10-01 | コニカミノルタホールディングス株式会社 | コミュニケーションシステム及びコミュニケーションプログラム |
| JP2009239459A (ja) * | 2008-03-26 | 2009-10-15 | Nippon Telegr & Teleph Corp <Ntt> | 映像合成システム、映像合成装置およびプログラム |
| JP5000699B2 (ja) * | 2009-11-12 | 2012-08-15 | 富士フイルム株式会社 | 対象画像の位置検出装置および方法ならびに対象画像の位置検出装置を制御するプログラム |
| US9716858B2 (en) * | 2011-03-07 | 2017-07-25 | Ricoh Company, Ltd. | Automated selection and switching of displayed information |
| JP5863280B2 (ja) * | 2011-05-24 | 2016-02-16 | キヤノン株式会社 | 撮像装置、画像処理方法及びプログラム |
| JP5834533B2 (ja) * | 2011-06-23 | 2015-12-24 | 沖電気工業株式会社 | コミュニケーションシステム及びコミュニケーション装置 |
| JP6157077B2 (ja) * | 2012-08-29 | 2017-07-05 | キヤノン株式会社 | カメラ付き表示装置 |
| JP5907016B2 (ja) * | 2012-09-12 | 2016-04-20 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像通信装置 |
| JP5833526B2 (ja) * | 2012-10-19 | 2015-12-16 | 日本電信電話株式会社 | 映像コミュニケーションシステム及び映像コミュニケーション方法 |
| US10116911B2 (en) | 2012-12-18 | 2018-10-30 | Qualcomm Incorporated | Realistic point of view video method and apparatus |
| JP6534120B2 (ja) * | 2015-07-13 | 2019-06-26 | 国立大学法人静岡大学 | 画像通信装置 |
| CN113395479B (zh) * | 2021-06-16 | 2022-06-24 | 随锐科技集团股份有限公司 | 视频会议画面处理方法及系统 |
| CN117041670B (zh) * | 2023-10-08 | 2024-04-02 | 荣耀终端有限公司 | 图像处理方法及相关设备 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001136501A (ja) * | 1999-11-10 | 2001-05-18 | Nec Corp | 視線一致テレビ会議装置 |
| JP2001338280A (ja) * | 2000-05-30 | 2001-12-07 | Nippon Telegr & Teleph Corp <Ntt> | ３次元空間情報入力装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3189243B2 (ja) * | 1993-10-22 | 2001-07-16 | 日本電信電話株式会社 | 多地点映像通信システム |
| JPH0937224A (ja) * | 1995-07-21 | 1997-02-07 | Matsushita Electric Ind Co Ltd | テレビ会議装置 |
| JPH09154114A (ja) * | 1995-11-28 | 1997-06-10 | Nec Corp | 電子会議端末装置 |
| JPH09200715A (ja) * | 1996-01-19 | 1997-07-31 | Canon Inc | 通信装置、通信方法及び通信システム |
-
2002
- 2002-12-11 JP JP2002359387A patent/JP4539015B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001136501A (ja) * | 1999-11-10 | 2001-05-18 | Nec Corp | 視線一致テレビ会議装置 |
| JP2001338280A (ja) * | 2000-05-30 | 2001-12-07 | Nippon Telegr & Teleph Corp <Ntt> | ３次元空間情報入力装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004193962A (ja) | 2004-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4539015B2 (ja) | 画像通信装置、および画像通信方法、並びにコンピュータ・プログラム | |
| US8345961B2 (en) | Image stitching method and apparatus | |
| US7855752B2 (en) | Method and system for producing seamless composite images having non-uniform resolution from a multi-imager system | |
| US11736801B2 (en) | Merging webcam signals from multiple cameras | |
| CN104641633B (zh) | 用于组合来自多个深度相机的数据的系统和方法 | |
| US20080158340A1 (en) | Video chat apparatus and method | |
| US10554928B2 (en) | Telepresence device | |
| US11089265B2 (en) | Telepresence devices operation methods | |
| Zhang et al. | Virtualcube: An immersive 3d video communication system | |
| JP7441926B2 (ja) | 映像コーディングを行うコンピュータプログラム | |
| JP5963006B2 (ja) | 画像変換装置、カメラ、映像システム、画像変換方法およびプログラムを記録した記録媒体 | |
| JP2014203462A (ja) | 光フィールド映像を生成する方法及び装置 | |
| JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
| JP4451892B2 (ja) | 映像再生装置、映像再生方法、及び映像再生プログラム | |
| Schreer et al. | 3dpresence-a system concept for multi-user and multi-party immersive 3d videoconferencing | |
| JP2015104107A (ja) | Ｉｐ立体映像推定装置及びそのプログラム | |
| JP2011097447A (ja) | コミュニケーションシステム | |
| JP2005065051A (ja) | 撮像装置 | |
| WO2017141584A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
| JP2011113206A (ja) | 映像コミュニケーションシステム、及び映像コミュニケーション方法 | |
| JP2009258005A (ja) | 三次元測定装置及び三次元測定方法 | |
| JP4373645B2 (ja) | 映像配信システム、プログラム及び記録媒体 | |
| JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
| JP2013016933A (ja) | 端末装置、撮像方法およびプログラム | |
| JP3954439B2 (ja) | 映像記録システム、プログラム及び記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051205 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080212 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090324 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100330 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100601 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100614 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4539015 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130702 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |