JP6157077B2

JP6157077B2 - カメラ付き表示装置

Info

Publication number: JP6157077B2
Application number: JP2012188695A
Authority: JP
Inventors: 赤田　弘司; 弘司赤田; 千冬富田; 長野　明彦; 明彦長野; 須田　康夫; 康夫須田; 孝之坪井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-08-29
Filing date: 2012-08-29
Publication date: 2017-07-05
Anticipated expiration: 2032-08-29
Also published as: JP2014049797A

Description

本発明は、テレビ電話やテレビ会議に好適に用いられるカメラ付き表示装置に関するものである。

表示装置を見ている利用者と、表示装置に表示されている相手の画像の視線とを合致させることが、テレビ電話やテレビ会議において自然な感覚での対話を実現するため重要な要素である。従来、テレビ電話システムやテレビ会議システムにおいて表示装置の表示面方向から使用者を撮影し、使用者間の視線を合致させる技術があった。さらに、特許文献１に示されるように、複数の端末間で画像データを通信するテレビ電話システムにおいて、表示画面を注視しつつ位置を変える使用者Ａをほぼ正面から撮像し、撮像された使用者の画像が表示画面のほぼ中央を占めるように通信相手への画像として加工する技術が知られている。この技術によれば、通信相手から見て使用者Ａと視線がよく合致し、会話に違和感を与えることがない。

特開２００９−７１５７３号公報

テレビ電話やテレビ会議においては、カメラの撮影範囲を大きく取って表示装置に対向する使用者の顔の位置の自由度をできるだけ大きくすることが、良好な使い勝手を提供することに結び付く。すなわち、使用者が表示装置に正対している場合だけでなく、やや斜めから表示装置を見ている場合にもカメラの撮影範囲に収まることが重要である。

一方で、使用者の背景にある種々の物を写り込ませたくないという使用者側の意識があることや、広角レンズの撮影範囲の周辺においては、例え歪曲収差が完全に補正されているレンズであっても所謂広角歪（ボリューム歪）によって使用者が歪んで写ってしまうことから、カメラの撮影画角は狭くしたいという要求がある。

想定される表示装置から使用者までの距離において、十分に広く実用的な撮影範囲を設定し、しかも、撮影画角を狭くするということは、表示面からカメラを後方に離すということに他ならない。このことについてカメラの撮像面の大きさを固定して考えれば、より焦点距離が長いレンズを備えたカメラを表示面の後方に（画面方向に）離間して配置するということになる。

図１７はこの配置に関する説明図である。図１７（ａ）はディスプレイ装置（表示装置）の表示面に近接させて広画角のカメラを配置した時の使用者とカメラの撮影範囲との関係を示す俯瞰図、図１７（ｂ）は狭い画角のカメラを使用した時の使用者とカメラの撮影範囲との関係を示す俯瞰図である。両図において、ディスプレイ装置と使用者との距離は同一となっている。

図１７（ａ）において、２０１はパッシブマトリクス方式を採用して透過光の割合を増やした有機ＥＬディスプレイ装置、２０２はカメラ、２２５はカメラ２０２の光軸、２０３はカメラ２０２の撮影範囲である。２０４は使用者の頭部、２０５は使用者２０４の目の位置におけるカメラ２０２の撮影範囲、２０６は背景の撮影範囲である。また、図１７（ｂ）において、２１１はカメラ、２２６はカメラ２１１の光軸、２１２はカメラ２１１の撮影範囲、２１３は使用者の目の位置におけるカメラ２１１の撮影範囲、２１４は背景の撮影範囲である。カメラ２１１の焦点距離はカメラ２０２の焦点距離よりも長く、カメラ２１１の撮影画角θ_２１１はカメラ２０２の撮影画角θ_２０２よりも小さい。

使用者の目の位置における撮影範囲２０５と２１３を同一の長さに設定するとすれば、撮影画角の狭いカメラ２１１は撮影画角の広いカメラ２０２よりも使用者から遠ざける必要があり、ディスプレイ装置２０１の表示面から後方に離れることとなる。このとき、カメラ２０２による背景の撮影範囲２０６よりも、カメラ２１１による背景の撮影範囲２１４は狭くなり、図１７（ｂ）の状態の方が背景の単純化が図れている。

さらに、撮影画角が広くなるほど広角歪が発生し、画面の短部においては使用者の頭部が不自然に引き伸ばされて撮像されてしまう現象がある。図１８はその説明図であって、図１８において、２２１はカメラの撮影レンズ、２２２ａ〜２２２ｅは使用者の頭部、２２３ａ〜２２３ｅは使用者の頭部２２２ａ〜２２２ｅにそれぞれ対応し、撮像面２１５に投影された光学像である。使用者の頭部２２２ａ〜２２２ｅの大きさは一定であるにも関わらず、光学像２２３ａ〜２２３ｅの大きさは一定ではなく、光軸２２４から離れる程に光学像の寸法は大きくなって、横に引き伸ばされた画像となってしまう。この現象は撮影レンズ２２１の歪曲収差に起因するものではなく、平面上の格子を相似形の格子像として形成できる良好に収差補正された撮影レンズであっても、被写体に奥行きがあることが原因してこの現象は発生してしまう。こういった広角歪を抑制するには、撮影画角を狭くするしかない。このことを図１７の状態に当てはめて考えると、狭い撮影画角θ_２１１を有するカメラ２１１を使用した状態の方が広角歪の無い良好な光学像を得ることができ、より望ましいということになる。

しかしながら、このようにカメラをディスプレイ装置の表示面から離して配置して背景の単純化や広角歪の抑制を行った時には、視線の合致度が低下してしまうという大きな問題が発生する。

図１９はその説明図である。２３０は通信相手の頭部の画像である。図１９（ａ）に示すごとく、特開２００９−７１５７３号公報に開示されているように通信相手の画像をカメラ２０２の位置するディスプレイ装置２０１の中央部に表示することによって、視線２２７のように使用者が通信相手を見ると、同時にその背後にあるカメラをも見ることにもなって、カメラ２０２からは使用者の視線がカメラに向いた画像を取得することができる。ところが、図１９（ｂ）に示すようにカメラ２１１がディスプレイ装置２０１の表示面から後方に離れていると、たとえ通信相手の画像をディスプレイ装置２０１の中央部に表示したとしても使用者の視線がカメラに向いた画像を取得することは出来ない。２２８は使用者の視線であり、視線２２８は使用者の頭部２０４の目の中央位置から通信相手の頭部の画像２３０を結んでいる。カメラ２１１は通信相手の頭部の画像２３０の背後にあるが近接してはおらず、離れて位置している。したがって、視線２２８の延長線上にカメラ２１１が位置していないので、カメラ２１１が取得する使用者２０４の画像は使用者が視線をカメラ２１１に向けているものとはならない。この結果、こういったカメラ付きディスプレイ装置をテレビ電話システムやテレビ会議システムに使用すると視線の合致度が低下して臨場感が損なわれ、十分な意思疎通が図れなくなってしまうという問題がある。

（発明の目的）
本発明の目的は、カメラを表示手段の画面方向に離して配置した際にも、十分な視線の合致度を得ることができるカメラ付き表示装置を提供することである。

上記目的を達成するために、本発明のカメラ付き表示装置は、画像データを相互に通信する画像通信システムに供されるカメラ付き表示装置であって、
通信相手からの画像を表示する表示手段と、
前記表示手段を観察する使用者を前記表示手段の画面方向から撮像するカメラと、
前記表示手段の表示面における前記通信相手の顔画像の表示位置のシフト量を、前記カメラの取得画像における前記使用者の顔画像の位置に基づいて算出する表示位置算出手段とを有し、
前記表示手段は、前記使用者のカメラ位置と前記使用者の両目の中央位置とを結ぶ直線上に位置するように前記算出されたシフト量ずらして表示することを特徴とするものである。

本発明によれば、カメラを表示手段の画面方向に離して配置した際にも、十分な視線の合致度を得ることができる。

本発明の実施例１であるカメラ付きディスプレイ装置のハードウェア構成例を示すブロック図である。実施例１における処理を表すフローチャートである。実施例１における送信処理を表すフローチャートである。実施例１における受信処理を表すフローチャートである。使用者Ｂのトリミング前後のカメラ画像を示す図である。使用者Ａのトリミング前後のカメラ画像を示す図である。実施例１でのカメラ画像の表示位置の算出方法を説明するための俯瞰図である。使用者Ｂがディスプレイ装置に正対した状態を使用者Ｂの正面側から示す図である。使用者Ｂがディスプレイ装置に正対した状態を使用者Ｂの背面側から示す図である。使用者Ｂがディスプレイ装置に対して横にずれた状態を使用者Ｂの正面側から示す図である。使用者Ｂがディスプレイ装置に対して横にずれた状態を使用者Ｂの背面側から示す図である。図９Ａに使用者Ａを加えた状態を使用者Ｂの正面側から示す図である。図９Ｂに使用者Ａを加えた状態を使用者Ｂの背面側から示す図である。図９Ａの使用者Ｂの顔画像を算出したシフト量ずらした状態を使用者Ｂの正面側から示す図である。図９Ｂの使用者Ｂの顔画像を算出したシフト量ずらした状態を使用者Ｂの背面側から示す図である。実施例１による視線合致の様子を使用者Ｂの正面側から示す図である。実施例１による視線合致の様子を使用者Ｂの背面側から示す図である。使用者ＡとＢがともに横にずれたときの実施例１による視線合致の様子を使用者Ｂの正面側から示す図である。使用者ＡとＢがともに横にずれたときの実施例１による視線合致の様子を使用者Ｂの背面側から示す図である。本発明の実施例２における複数のカメラの設置状態を示す図である。同じく実施例２における複数のカメラの設置状態を示す図である。実施例２でのカメラ画像の表示位置の算出方法を説明するための俯瞰図である。使用者ＡとＢがともに横にずれたときの実施例２による視線合致の様子を使用者Ｂの正面側から示す図である。使用者ＡとＢがともに横にずれたときの実施例２による視線合致の様子を使用者Ｂの背面側から示す図である。カメラをディスプレイ装置の表示面に近接して、および離して配置した状態の説明図である。広角歪の説明図である。使用者の視線がカメラに向く場合と外れる場合を示す俯瞰図である。

本発明を実施するための形態は、以下の実施例１および２に記載される通りである。

まず、本発明の実施例１であるカメラ付ディスプレイ装置のハードウェア構成例について説明する。図１に示されるように、画像データを相互に通信する画像通信システムに供される表示装置としてのディスプレイ装置１０１（１０４）は、表示手段であるところの表示器１３２と、この表示器１３２の表示面に対向する利用者を撮影するためのカメラ１０２（１０５）を有する。図１はこれらのカメラ１０２の取得画像の処理、表示器１３２に対する表示制御処理、あるいはデータ送受信処理を実行するための情報処理機能を備えたディスプレイ装置の具体的ハードウェア構成例についての説明図である。カメラ１０２（１０５）は、表示器１３２を観察する使用者を表示器１３２の画面方向の奥から撮像する。

ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１５６は、各種アプリケーションプログラムの実行制御を行う。例えば、利用者の顔検出処理、利用者位置情報に基づく取得画像の切り出し処理、ディストーション補正、表示器１３２に対する表示制御処理、データ送受信処理制御を実行する制御部として機能するプロセッサである。メモリ１５７は、ＣＰＵ１５６が実行するプログラムや固定データを格納するＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ−Ｍｅｍｏｒｙ）、およびＣＰＵ１５６の処理において実行されるプログラムやプログラム処理において適宜変化するパラメータの格納エリア、ワーク領域として使用されるＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等によって構成される。

ＨＤＤ１５８はプログラム格納領域として利用可能であり、また、送受信画像データの格納領域として利用可能なハードディスクを持つ記憶部である。

コーデック１５１は、ネットワークを介して送受信する画像データのエンコード（符号化）処理、デコード（復号）処理を実行する。画像データは、情報量が多いため、圧縮し、データ量を削減して送信する。

ネットワークインターフェース１５２は、インターネット、ＬＡＮ等の各種通信ネットワークとのインターフェースとして機能する。入力インターフェース１５３は、マウス１３７、キーボード１３６等の入力機器とのインターフェースとして機能する。使用者は例えばキーボード１３６からのデータ入力により、種々のモード設定を実行する。

ＡＶインターフェース１５４、ディスプレイインターフェース１５５は、カメラ１０２、１０５、マイク１３４、スピーカ１３５等のＡＶデータ入出力機器からのデータ入出力を行う。ＰＣＩバス１５９を介して制御情報、データが各構成要素間において転送される。これらのデータ転送制御、その他各種プログラム制御はＣＰＵ１５６によって実行される。

次に、テレビ電話や、テレビ会議における本ディスプレイ装置の動作について説明する。特に、ここには、ディスプレイ装置の表示面とカメラが近接していない場合の動作を含む。図２から図４はＣＰＵ１５６による処理を表すフローチャートである。

全体フローとして図２に示したように、本テレビ電話システムにおいては、まず、ステップＳ１０１においてテレビ電話が使用者の操作によって起動したかどうかを調べる。起動していれば、ステップＳ１０２に移行して送信処理を行い、続くステップＳ１０３で受信処理を行った後、再びステップＳ１０１に戻り、テレビ電話が起動中であるかをチェックする。ここで、起動中であれば、送信処理と受信処理を繰り返す。また、起動中でなければ、ステップＳ１０１を繰り返して使用者の操作による起動を待機する。なお、以下の説明では画像データに絞って処理の流れを説明するが、画像データに加えて音声データについても公知の手法により送受信し、画像と音によるコミュニケーションを図ることは言うまでもない。

図３は送信処理の詳細を表すフローチャートである。図１３Ａおよび図１３Ｂを用いて後述するようにディスプレイ装置１０１に使用者Ｂが対向している状態を想定して説明を進める。最初のステップＳ２０１では表示器の背後に設置されたカメラ１０２から画像を取得する。このカメラ画像には、図５（ａ）に示すように使用者Ｂが写っている。図５において、１６０はカメラ画像、１６１は使用者Ｂの画像である。

ステップＳ２０２では、カメラ画像１６０のデータを解析して写っている人物の顔の検出を行う。

ステップＳ２０３では、顔が検出されたかどうかを判定し、顔が検出されていれば次のステップＳ２０４に移行し、検出されていなければ前回の両目の中央位置座標を保持したままステップＳ２０５に移行する。

ステップＳ２０４では、検出した顔の特徴情報を用いて両目の中央位置座標を新たに算出する。

ステップＳ２０５では、先のステップＳ２０４で算出した両目の中央位置の座標を基にカメラ画像１６０から一部をトリミングする。図５（ａ）に示した１６２はこのトリミング範囲であり、使用者Ｂの両目の中央位置がトリミング範囲１６２の中央やや上方になるように設定してある。この位置は相手側のディスプレイ装置１０４における表示器とカメラとの位置関係と同一になるように決定される。図５（ｂ）はトリミング後の画像の状態を表し、１６３はカメラ画像、１６４は使用者Ｂの画像である。

なお、表示器とカメラとの位置関係の情報は、テレビ電話システムを起動する際に相互に通信される。

続くステップＳ２０６では、トリミング範囲１６２について光学系の歪曲収差や広角歪を除去するために演算上でディストーション補正を施す。

ステップＳ２０７では、ネットワークを介した画像データの送信に際して、データ量を削減するために符号化を行う。

ステップＳ２０８では、トリミングおよびディストーション補正が終了した画像データ（１６３）をテレビ電話の相手側に送信して送信のサブルーチンを終了する。

図４は受信処理の詳細を表すフローチャートである。図１３Ａおよび図１３Ｂを用いて後述するように第一のディスプレイ装置１０１に使用者Ｂが対向し、さらに、第二のディスプレイ装置１０４に使用者Ａが対向している状態を想定して説明を進める。

第二のディスプレイ装置１０４側でも使用者Ａの画像がカメラ１０５により取得されている。図６（ａ）はカメラ１０５による画像を示し、１６５がカメラ画像、１６６が使用者Ａの画像、１６７がトリミング範囲である。トリミング後の画像は図６（ｂ）に示すように、カメラ画像１６８の中央に使用者の画像１６９が位置し、中央やや上方に使用者Ａの目が位置するようになっている。

ステップＳ３０１では通信相手側の画像としてこの画像データ（１６８）を受信する。

ステップＳ３０２では、ステップＳ３０１で受信した画像データに対して復号処理を施す。

ステップＳ３０３では、図２のステップＳ１０２、および図３のステップＳ２０１とＳ２０２で検出した顔の位置に基づいて、受信したカメラ画像１６３の表示位置を算出する。このステップＳ３０３を実行するＣＰＵ１５６が表示位置算出手段を構成する。

図７は、カメラ画像１６８の表示位置の算出方法を説明するための図であって、使用者Ｂ、表示器、およびカメラの俯瞰図である。カメラ画像１６８の表示位置は上下方向、および左右方向の両方向について調節することが必要であるが、何れの方向においても算出方法は同一であるので、ここでは表示器の左右方向を例にとって説明を進める。

図７において、３０１はディスプレイ装置１０１の表示器、３１１は表示器３０１の背後に設置されたカメラ、３２６はカメラ３１１に具えられた撮影レンズの光軸、３０４は使用者Ｂの頭部、３２８は使用者Ｂの視線である。カメラ３１１は光軸３２６を中心として領域３１２で示した画角θの範囲を撮像する。また、使用者Ｂの視線３２８が、図７に示したようにカメラ３１１に向かっていれば、カメラ３１１で捉えた使用者Ｂの画像は視線３２８をカメラ３１１に向けていることになる。

このように使用者Ｂの視線３２８がカメラ３１１に向かうようにするためには、表示器３０１上において３３０で示す位置に相手側の顔画像が、すなわち使用者Ａの顔画像が表示されていれば良い。使用者Ｂが自然に使用者Ａの画像に視線３２８を合致させることで、使用者Ｂの視線３２８がカメラ３１１に向かうこととなる。使用者Ｂは必ずしもカメラ３１１に正対しているわけではないので、使用者Ａの顔画像３３０の最適な位置は、使用者Ｂの頭部３０４の位置によって決定されることになる。

使用者Ａの顔画像３３０の位置は次のように求めることができる。想定顔距離上の撮影画面寸法をＷｋ、カメラ画像上での画面寸法をＷｇ（図５）、カメラ画像上での顔のシフト量をＳｇ（図５）とすると、顔のシフト量Ｓｋは、
Ｓｋ＝Ｗｋ×Ｓｇ／Ｗｇ・・・（１）
となる。さらに、想定顔距離をＤｋ、表示面とカメラとの距離をＤｃとすると、表示画像のシフト量Ｓｈは、
Ｓｈ＝Ｓｋ×Ｄｃ／（Ｄｋ＋Ｄｃ）＝（Ｗｋ×Ｓｇ／Ｗｇ）×Ｄｃ／（Ｄｋ＋Ｄｃ）・・・（２）
と表せる。

なお、Ｗｋ／（Ｄｋ＋Ｄｃ）をカメラの画角θで表すと、
Ｗｋ／（Ｄｋ＋Ｄｃ）＝２×ｔａｎ（θ／２）・・・（３）
である。

したがって、表示画像のシフト量Ｓｈは、
Ｓｈ＝２×（Ｓｇ／Ｗｇ）×Ｄｃ×ｔａｎ（θ／２）・・・（４）
と表すことができる。

式（４）から分かるように、ディスプレイ装置の設計上の値として設定されるカメラの画角θ、表示面とカメラとの距離Ｄｃ、および、図３のステップＳ２０４で算出される両目の中央位置の情報としてのカメラ画像上での画面寸法Ｗｇとカメラ画像上での顔のシフト量Ｓｇで、横方向についての使用者Ａの顔画像３３０の最適な位置が決定される。縦方向についても同様の方法で算出し、それらを合成した位置に顔画像３３０を表示すれば、上下左右方向ともに使用者Ｂの視線がカメラ３１１に向かうこととなる。

なお、頻繁に使用者Ａの顔画像３３０の位置が移動することを避けるために、図４で示したステップＳ３０４において、使用する表示位置情報に時間的なヒステリシスを設けたり、移動平均処理を加えることが有効である。

次に、テレビ電話やテレビ会議における視線合致の様子を詳述する。図８Ａ〜図１３Ｂはこのための説明図である。図８Ａ〜図１３ＢのうちＡが付されている図は第一のディスプレイ装置を背面から、第二のディスプレイ装置を正面から見た状態を表し、Ｂが付されている図は第一のディスプレイ装置を正面から、第二のディスプレイ装置を背面から見た状態を表している。

図８Ａ〜図１３Ｂにおいて、１０１は第一のディスプレイ装置、１０２は第一のディスプレイ装置１０１の表示面に隣接してその背後に位置し、表示面を透過した光に基づいて撮像を行う、第一のディスプレイ装置１０１の一部であるところの第一のカメラ、１０３、１０３’は使用者Ｂである。１０４は第二のディスプレイ装置、１０５は第二のディスプレイ装置１０４の表示面に隣接してその背後に位置し、表示面を透過した光に基づいて撮像を行う、第二のディスプレイ装置１０４の一部であるところの第二のカメラ、１０６、１０６’、１０６’’は第二のディスプレイ装置１０４上に表示された使用者Ｂの画像、１０７、１０７’は使用者Ａ、１０８、１０８’、１０８’’、１０８’’’は第一のディスプレイ装置１０１上に表示された使用者Ａの画像である。

第一のカメラ１０２と第二のカメラ１０５はそれぞれディスプレイ装置１０１、１０４の表示面の中央部やや上方に配置されている。これは表示面に通信相手の顔の画像を表示したときに、目近傍の背後にカメラが位置するようにするためである。

第一のディスプレイ装置１０１と第二のディスプレイ装置１０４はネットワークを介して互いに接続され、第一のカメラ１０２で取得した画像は第二のディスプレイ装置１０４上に表示され、第二のカメラ１０５で取得した画像は第一のディスプレイ装置１０１上に表示される。

では、最初に、一人の使用者がディスプレイ装置に正対している場合から説明する。図８Ａと図８Ｂは、使用者Ｂ１０３が一人で第一のディスプレイ装置１０１の表示面を正面から見ている状態を示している。使用者Ｂ１０３は第一のカメラ１０２に正対するために、第一のカメラ１０２が取得する画像上において使用者Ｂ１０３は視線１１０を第一のカメラ１０２に向けている。この結果、第二のディスプレイ装置１０４に表示される使用者Ｂの画像１０６は図に示す如く正面に視線１１０を向けたものとなる。

次に一人の使用者がディスプレイ装置の正面から横に逸れてディスプレイ装置の表示面のほぼ中央部を見ている場合を考える。図９Ａと図９Ｂは、使用者Ｂ１０３’が一人で第一のディスプレイ装置１０１の表示面を斜め前方から見ている状態を示している。図において１０３’は使用者Ｂ、１０６’は第二のディスプレイ装置１０４上に表示された使用者Ｂの画像である。使用者Ｂ１０３’は第一のカメラ１０２を斜めに見ているために、第一のカメラ１０２が取得する画像上において使用者Ｂ１０３’は視線１１１を第一のカメラ１０２に向けている。この結果、第二のディスプレイ装置１０４に表示される使用者Ｂの画像１０６’は図に示す如く表示面の周辺部にあって正面に視線を向けたものとなる。

ここでさらに、使用者Ｂの通信相手となる使用者Ａを加えて、テレビ電話によるコミュニケーションを考える。図１０Ａと図１０Ｂは、使用者Ｂが第一のディスプレイ装置１０１の正面から横に逸れて第一のディスプレイ装置１０１の表示面の中央を見ている状態と、通信相手となる使用者Ａが第二のディスプレイ装置１０４に正対して第二のディスプレイ装置１０４の表示面の中央を見ている状態を示している。図において、１０７は使用者Ａ、１０８は第一のディスプレイ装置１０１に表示された使用者Ａ１０７の画像である。

コミュニケーションをとるために使用者Ａ１０７は第二のディスプレイ装置１０４に表示されている使用者Ｂ１０３’の画像１０６’を見るので、その視線１１２は矢印のようになる。この結果、第二のカメラ１０５が捉えた使用者Ａ１０７の画像上では、使用者Ａ１０７は視線１１２を第二のカメラ１０５の方向に向けていない。つまり、第一のディスプレイ装置１０１に表示される使用者Ａの画像１０８は視線を正面に向けずに横に逸らしていることになる。使用者Ｂがこの使用者Ａの画像１０８を見ても自分には視線を向けておらず、臨場感を得ることはできない。一方で、使用者Ａが使用者Ｂの画像１０６’を見たときには、こちらは正面を見ている画像となっているため、自分に視線が向いていると感じて十分な臨場感を得ることが出来る。

このような使用者間の視線が互いに一致しない状況は、画像の位置をずらして表示することによって解消することが可能である。図１１Ａと図１１Ｂはこの説明図であって、図９Ａと図９Ｂに示した状態から画像の表示位置を変えた状態を示している。図において、破線で示した画像１０６’は表示位置を変更する前の使用者Ｂの画像、１０６’’は図７を用いて説明したようにカメラと表示器の間隔を考慮して表示位置を変更した使用者Ｂの画像である。画像１０６’’は、使用者Ｂ１０３’の目の位置が第二のカメラ１０５におよそ重なる位置に表示されている。第一のカメラ１０２の撮影画角を表示領域よりもあらかじめ広く設定しておき、その画像から使用者Ｂを中心に置く領域をトリミングすることによって、使用者Ｂ１０３’の目の位置が第二のカメラ１０５におよそ重なる位置に表示することができる。

このように使用者Ｂ１０３’の目の位置が第二のカメラ１０５におよそ重なる位置に表示されていれば、図１２Ａと図１２Ｂに示すように、使用者Ａ１０７がコミュニケーションをとるために第二のディスプレイ装置１０４に表示されている使用者Ｂ１０３’の画像１０６’’を見ると、その視線１１３は矢印のごとく第二のカメラ１０５に向かうことになる。先に、図１１Ａと図１１Ｂを用いて説明したように使用者Ｂ１０３’の画像１０６’’は正面を見ている画像となっているため、使用者Ａ１０７は自分に視線が向いていると感じて十分な臨場感を得ることが出来る。

第二のカメラ１０５が使用者Ａ１０７を捉えた画像上では、使用者Ａ１０７は視線１１３を第二のカメラ１０５の方向に向けているために、第一のディスプレイ装置１０１に表示される使用者Ａ１０７の画像１０８’は視線１１３を正面に向けたものとなる。この結果、使用者Ｂが使用者Ａの画像１０８’を見ると自分に視線を向けていると感じ、使用者Ｂも十分な臨場感を得ることができることとなる。

以上、図１１Ａと図１１Ｂ、および図１２Ａと図１２Ｂを用いて、第二のディスプレイ装置１０４に表示する画像の位置をずらすことが視線の合致度を高めることを説明した。第一のディスプレイ装置１０１に表示する画像についても同様に表示位置をずらすことによって、どちら側の使用者がディスプレイ装置の正面から横に逸れても視線の合致状態を常に保つことができるようになる。図１３Ａと図１３Ｂはこの状態の説明図であって、１０７’は第二のディスプレイ装置１０４の正面から横に逸れて第二のディスプレイ装置１０４の表示面を見ている使用者Ａ、破線で示した１０８’’は表示位置を変更する前の使用者Ａの画像、１０８’’’は図７を用いて説明したようにカメラと表示器の間隔を考慮して表示位置を変更した後の使用者Ａの画像、１１４は使用者Ｂの視線、１１５は使用者Ａの視線である。

まず、使用者Ｂの画像１０６’’の目の位置を第二のカメラ１０５におよそ重なる位置に表示するところから説明を始める。コミュニケーションをとるために使用者Ａが第二のディスプレイ装置１０４に表示されている使用者Ｂの画像１０６’’を見ると、その視線１１５は矢印のごとく第二のカメラ１０５を向くことになる。したがって、使用者Ａの画像１０８’’は正面を見ている画像となる。

第二のカメラ１０５の撮影画角を表示領域よりもあらかじめ広く設定しておき、その画像から使用者Ａ１０７’を中心に置く領域をトリミングすることによって、使用者Ａの目の位置を第一のカメラ１０２におよそ重なる位置に表示することが可能である。この処理を用いて画像１０８’’’を、使用者Ａの目の位置が第二のカメラ１０２におよそ重なる位置に表示する。

さらに、コミュニケーションをとるために使用者Ｂが第一のディスプレイ装置１０１に表示されている使用者Ａの画像１０８’’’を見ると、その視線１１４は矢印のようになる。このとき使用者Ａの画像１０８’’’は正面を見ている画像となっているため、使用者Ｂは自分に視線が向いていると感じて十分な臨場感を得ることが出来る。

第一のカメラ１０２が捉えた使用者Ｂの画像上では、使用者Ｂは視線１１４を第一のカメラ１０２側に向けているので、第二のディスプレイ装置１０４に表示される使用者Ｂの画像１０６’’もまた視線を正面に向けていることになる。この結果、使用者Ａがこの使用者Ｂの画像１０６’’を見ると自分に視線を向けていると感じ、第二のディスプレイ装置１０４の正面から横に逸れて第二のディスプレイ装置１０４の表示面を見ている使用者Ａについても十分な臨場感を得ることができることとなる。したがって、テレビ電話で会話する双方が視線の合致による臨場感を得ることができる。

本発明の実施例２は、相手側の画像を表示器の中央部以外の表示する際にも視線を合致させることができるようにカメラが複数備えられたディスプレイ装置となっている。

図１４Ａと図１４Ｂは、複数のカメラの設置状態を示す説明図である。図において、３０１は第一のディスプレイ装置、３０２は第一のディスプレイ装置３０１に設置された第一のカメラ群、３０４は第二のディスプレイ装置、３０５は第二のディスプレイ装置３０４に設置された第二のカメラ群である。第一のカメラ群３０２、および第二のカメラ群３０５はそれぞれ１０個のカメラで構成されている。

テレビ電話の相手側の画像を表示する情報表示ウィンドウが置かれた位置に最も近いカメラを選択し、その画像を相手側に送信する。

図１５は、カメラ画像の表示位置の算出方法を説明するための図であって、使用者Ｂ、表示器、およびカメラを上方から見た説明図である。カメラ画像の表示位置は上下方向、および左右方向の両方向について調節することが必要であるが、何れの方向においても算出方法は同一であるので、ここでは表示器の左右方向を例にとって説明を進める。

図１５において、４０１はディスプレイ装置３０１の表示器、４１１は表示器３０１の背後に設置されたカメラ、４２６はカメラ４１１に具えられた撮影レンズの光軸、４０４は使用者Ｂの頭部、４２８は使用者Ｂの視線である。カメラ４１１は光軸４２６を中心として領域４１２で示した画角θの範囲を撮像する。また、使用者Ｂの視線４２８が、図１５に示したようにカメラ４１１に向かっていれば、カメラ４１１で捉えた使用者Ｂの画像は視線をカメラ４１１に向けていることになる。

このように使用者Ｂの視線４２８がカメラ４１１に向かうようにするためには、表示器４０１上において４３０で示す位置に相手側の顔が、すなわち使用者Ａの顔が表示されていれば良い。

カメラ３０５ａ（図１６Ｂ）の撮影画角を表示領域よりもあらかじめ広く設定しておき、その画像から使用者Ａ３０７’を中心に置く領域をトリミングすることによって、使用者Ａ３０７’の目の位置がカメラ３０２ａにおよそ重なる位置に表示することができる。

このような使用者Ｂの頭部とカメラとの位置関係は、図７に示したカメラが中央にある場合と同じであるので、表示画像のシフト量Ｓｈは式（４）で表すことができる。

さらに、他方のディスプレイ装置に表示する画像についても同様にカメラの撮影画角を表示領域よりもあらかじめ広く設定しておき、その画像から使用者を中心に置く領域をトリミングすることによって、どちらの使用者がディスプレイ装置の正面から横に逸れてディスプレイ装置の表示面を見ていても視線の合致状態を保つことができるようになる。

図１６Ａと図１６Ｂは、使用者Ｂ３０３’が第一のディスプレイ装置３０１の表示面の周辺部を見ている状態を、使用者Ａ３０７’が第二のディスプレイ装置３０４の表示面の周辺部を見ている状態を示している。第一のディスプレイ装置３０１には、情報表示ウィンドウ３５１、３５２、３５３が表示され、第二のディスプレイ装置３０５には情報表示ウィンドウ３５４、３５５が表示されている。このうち、情報表示ウィンドウ３５１と３５４にはテレビ電話の相手側の画像が縮小されて表示されている。

情報表示ウィンドウ３５１が第一のカメラ群３０２のうちの一つのカメラ３０２ａに重なる位置に表示されているため、視線３１４で示すように使用者Ｂ３０３’は情報表示ウィンドウ３５１の中の使用者Ａの画像３０８’’’を見ると同時にカメラ３０２ａの方向を見ており、カメラ３０２ａが取得する画像上では使用者Ｂ３０３’は視線３１４をカメラ３０２ａに向けている。この結果、第二のディスプレイ装置３０４に表示される使用者Ｂの画像３０６’’は図１６Ａに示す如く正面に視線３１４を向けたものとなる。

同様に、情報表示ウィンドウ３５４が第二のカメラ群３０５のうちの一つのカメラ３０５ａに重なる位置に表示されているため、視線３１５で示すように使用者Ａ３０７’は情報表示ウィンドウ３５４の中の使用者Ｂの画像３０６’’を見ると同時にカメラ３０５ａの方向を見ており、カメラ３０５ａが取得する画像上では使用者Ａ３０７’は視線３１５をカメラに向けている。この結果、第一のディスプレイ装置３０１に表示される使用者Ａの画像３０８’’’は図１６Ｂに示す如く正面に視線３１５を向けたものとなる。

実施例１および２では表示器の背後にカメラを配置したが、表示器の周囲にカメラを配置し、ビューインターポレーション技術を用いて、複数のカメラからの映像から、実際のカメラのない視点から見える映像を生成しても良い。この場合には、表示器の画面方向は、使用者から見てカメラが表示面より奥にある配置だけではなく、使用者側に飛び出している配置も可能である。

１０１第一のディスプレイ装置
１０２第一のカメラ
１０３、１０３’ 使用者Ｂ
１０４第二のディスプレイ装置
１０５第二のカメラ
１０７、１０７’ 使用者Ａ
１５６ＣＰＵ
Ｓｇ使用者の顔画像のシフト量
Ｓｈ表示位置のシフト量

Claims

画像データを相互に通信する画像通信システムに供されるカメラ付き表示装置であって、
通信相手からの画像を表示する表示手段と、
前記表示手段を観察する使用者を前記表示手段の画面方向から撮像するカメラと、
前記表示手段の表示面における前記通信相手の顔画像の表示位置のシフト量を、前記カメラの取得画像における前記使用者の顔画像の位置に基づいて算出する表示位置算出手段とを有し、
前記表示手段は、前記使用者のカメラ位置と前記使用者の両目の中央位置とを結ぶ直線上に位置するように前記算出されたシフト量ずらして表示することを特徴とするカメラ付き表示装置。
前記通信相手の顔画像の表示位置のシフト量Ｓｈは、前記使用者のカメラの光軸から前記使用者の顔画像の両目の中央位置までの前記使用者のカメラの光軸と直交する方向の距離Ｓｋ、前記使用者の顔から前記使用者の表示手段の表示面までの前記使用者のカメラの光軸方向の距離Ｄｋ、前記使用者のカメラから前記使用者の表示手段の表示面までの前記使用者のカメラの光軸方向の距離Ｄｃに基いて算出させる請求項１に記載のカメラ付き表示装置。
前記使用者の顔画像の位置は、前記カメラの取得画像の中央にずらしたときのシフト量で表すことを特徴とする請求項１または２に記載のカメラ付き表示装置。
前記使用者の顔画像をトリミングにより画像の中央にずらした状態のカメラ画像を送信する送信手段を有することを特徴とする請求項１ないし３のいずれか１項に記載のカメラ付き表示装置。
前記カメラは複数備えられ、
前記表示位置算出手段は、前記表示手段の表示面における前記通信相手の顔画像の表示位置のシフト量を、前記カメラのうちの選択されたカメラの取得画像における前記使用者の顔画像の位置に基づいて算出することを特徴とする請求項１ないし４のいずれか１項に記載のカメラ付き表示装置。