JP2859392B2

JP2859392B2 - 視線一致型の人物映像撮影装置

Info

Publication number: JP2859392B2
Application number: JP2190768A
Authority: JP
Inventors: 博幸山口; 茂樹正木; 和典島村; 尚彦釜江
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1990-07-20
Filing date: 1990-07-20
Publication date: 1999-02-17
Anticipated expiration: 2014-02-17
Also published as: JPH0481090A

Description

【発明の詳細な説明】（産業上の利用分野）本発明はテレビ会議，テレビ電話などにおける会議参
加者の視線を一致させて撮影する視線一致型の人物映像
撮影装置に関するものである。

（従来の技術）画像通信技術の発達により遠隔地にいる相手の顔画像
を見ながら会議や打ち合わせができるテレビ会議システ
ムやテレビ電話システムが実用に供されている。テレビ
会議システムやテレビ電話システムでは、通信会議を意
識させないような自然な、臨場感のある、また表情など
をうまく読み取れる撮影表示方法を必要としている。CR
T等の画像表示装置を介してのお互いの視線を一致させ
て撮影する方法は、自然で、臨場感のある、また表情な
どをうまく読み取れるシステム実現のための有効な手段
である。

しかしながら、視線の一致を実現するためにカメラを
CRT等の画像表示装置の前に設置するとカメラが表示装
置の表示画面を遮ってしまうため、現在のこれらのシス
テムでは、表示装置の上や横に設置している。この結
果、通信相手には斜め上方や横から見た顔画像が送信さ
れてしまい、お互いの視線はCRT等の画像表示装置を向
いているので、視線を一致させた会議や打ち合わせが実
現されていなかった。

上記の問題点を解決するため、表示装置の表示画面を
遮ることなくカメラを被写体人物像の視線の中に設置す
る方法として、従来では、ハーフミラーを使用した視線
一致型の表示撮影装置が知られている。第５図はハーフ
ミラーを使用した表示撮影装置の構成例を示す図であ
り、１は表示装置、２はハーフミラー、３は撮影装置と
してのTVカメラ、４は観察者である。観察者４はハーフ
ミラー２を介して表示装置１を観察している。同時に観
察者４の顔は、撮影装置３により撮影されるため、観察
者４の視線は撮影装置３の方向を向いており、通信相手
に視線の一致した顔画像が伝送されることになる。

（発明が解決しようとする課題）しかしながら、上記従来の視線一致型表示撮影装置で
は、撮影装置３は観察者４から見えないようにするた
め、外部からの光を遮断するための箱に納め固定なけれ
ばならず、装置が大型になる。

ハーフミラー２の配置角度を小さくすると、撮影装
置３に表示装置１の表示画面も撮影されてしまい、人物
像のみを撮影することができない。

また、遠隔地画像の表示においては、臨場感、すな
わち、あたかも相手がそこにいるような感覚を観察者４
に与えるために、表示画面の大型化が重要な要件の１つ
である。

これに関しては、畑田，坂田，日下が、「画面サイズ
による方向感覚誘導結果」テレビジョン学会誌第33巻，
第５号，第407頁〜第413頁,1979年において、臨場感効
果は20゜以下の狭い表示画面では非常に弱く、80゜近辺
以上になると飽和状態になると報告している。

すなわち、テレビ会議における表示画面の大形化が必
要であるが、第５図の従来の撮影装置では更につぎの問
題点がある。

表示画面を大型化すると、それに従いハーフミラー
も大きくなり、これが45゜で傾いているため、画面直近
に観察者４が近づいて観ることが出来ない。従って表示
画面の観察者が観た視野角は大きく出来ず、臨場感の効
果がうすい。

以上のような問題点があるため、第５図に示す撮影装
置では大画面画像表示は不可能であり、表示画面は臨場
感に乏しいため実用に供されることはなかった。

（発明の目的）本発明の目的は、表示装置観察中の観察者の正面像を
良好に撮影出来、大画面・広視野角表示をできるように
した、視線一致型の人物映像撮影装置を提供することに
ある。

（課題を解決するための手段）本発明は上記課題を解決し目的を達成するため、表示
装置の表示画面観察中の人物を撮影する視線一致型の人
物映像撮影装置において、前記表示装置の表示画面像と観察者像とを切分する手
段と、撮影装置から出力された映像信号と表示装置に入
力される映像信号との差分信号を発生させる信号処理手
段とを少なくとも有することを特徴とする。

（作用）本発明は遠隔地にある相手の顔画像が表示装置の表示
画面に表示され、観察者はハーフミラーを介して観察す
る。一方、観察者の顔の像はハーフミラーにより反射さ
れ撮影装置により撮影され、同時にハーフミラーを介し
て表示装置の表示画面を撮影する。そして、観察者の像
と表示画面上の相手の顔画像が重畳された状態の信号と
して信号処理装置に入力される。

この場合、信号処理装置では、表示画面を正面画像の
形で撮影されている時は別として、斜めの方向から撮影
された時は相手方の顔画像の歪み補正を行なう。また、
一方、撮影装置の出力映像に重畳された前記相手側の映
像信号と輝度レベルを同一とし、必要にそり相手側の映
像を拡大あるいは縮小して位置合せを行なう。

そして、上記処理がされた前記撮影装置からの映像信
号と、表示装置への入力映像信号を差分処理装置で差分
映像を得た後、観察者の映像のみを適切な輝度レベルま
でにして相手方へ伝送する。これはハーフミラーを45゜
程度まで傾ける必要がなく小型化とともに大画面，広視
野での相手の映像表示ができる。更に上記動作を基本と
して表示装置を大型スクリーンに代え行なうことによ
り、広視野で画像の観察を可能とし、表示画像の臨場感
を更に増すことができる。

（実施例）第１図は本発明の第１の実施例の構成図を示し、前記
第５図と同じ各部について同じ番号を付してある。図に
示すように表示装置１の表示画面前にハーフミラー２を
配置し、該表示画面上に映し出された相手側の顔画像の
表示画面像光路５と、該ハーフミラー上に映し出された
観察者４の観察者像光路６とが、ハーフミラー２により
切り分けられる構成となっている。

また、前記表示装置１への入力映像信号７と、撮影装
置（TVカメラ）３の出力映像信号８の２入力が差分信号
を発生させる信号処理装置９に入力され、該装置から遠
隔地にある相手側表示装置へ観察者映像信号10として出
力される構成となっている。

上記信号処理装置９の構成例を第２図に示し、図に示
すように表示装置１への入力映像信号７系には、輝度低
減装置91とトリミング装置92が、またTVカメラ３の出力
映像信号８系には、台形歪補正装置93を夫々有する。両
映像信号7,8の２入力は差分映像を得る差分処理装置94
に入力され、その出力は輝度増幅装置95に入力される構
成となっている。

上記構成に基づく第１の実施例の動作を、第３図に示
す入力映像信号７系とTVカメラの出力映像信号８系の各
映像例により説明する。

まず、入力映像信号７は表示装置１及び信号処理装置
９に入力され、表示装置１には遠隔地にいる会議の相手
の顔画像が表示画面上に表示され、観察者４はハーフミ
ラー２を介して相手の顔画像を観察できる。

一方、観察者４の顔の像はハーフミラー２により反射
され、観察者像光路６を通ってTVカメラ３により撮影さ
れる。また、同時にTVカメラ３はハーフミラー２を通し
て表示装置１の表示画面像（相手の顔画像）も表示画面
像光路５を通って撮影され、前記観察者の顔の像と重畳
されたTVカメラの出力映像信号８として信号処理装置９
に入力される。ところで、前記TVカメラ３は表示装置１
の表示画面に対し完全に垂直方向から撮影している場合
は別として、第１図に示すように斜め方向から撮影する
と、TVカメラの出力映像信号８に重畳された相手側の顔
画像の映像は、第３図81の破線で示すように台形に歪ん
でいる。この歪みは第１図に示すTVカメラ３の光軸と、
表示装置１の表示画面とのなす角度θにより決まる。従
って予めこの角度を測定しておき、第２図の台形歪補正
装置93により歪を実時間で補正し、第３図82に示す台形
歪補正映像を得た後、差分処理装置94へ入力する。

また、遠隔地の相手側の映像である表示装置１への入
力映像信号７の映像71（第３図参照）は、第２図の輝度
低減装置91に入力されて輝度低減映像72を得る。この時
の輝度低減はTVカメラの出力映像信号８に重畳される相
手側の映像信号と輝度レベルを同一にするために行う。
そして、この輝度低減映像72はトリミング装置92に入力
され、遠隔地の相手の映像を拡大あるいは縮小し、さら
に位置合せを行ない所定の寸法のトリミング映像73を得
て差分処理装置94へ入力する。

このトリミング映像73を得る場合、具体的には台形歪
補正映像82に重畳された相手の映像の寸法，位置を予め
TVカメラ３の撮影倍率，撮影角度より測定しておき、こ
れらの値をもとにトリミング装置92で実時間で処理して
行う。

次に差分処理装置94では、台形歪補正映像82からトリ
ミング映像73を差し引き、観察者４の映像のみが映って
いる差分映像40を得る。この差分映像40は輝度増幅装置
95に入力され、観察者の映像を適切な輝度レベルまで増
幅し、観察者映像信号10を得、遠隔地の相手に伝送す
る。

以上述べたような構成になっているため、本発明によ
るとTVカメラで撮影された映像から、観察者の映像部分
のみを良好に切り出すことが出来る。従って、従来の装
置に比べ表示画面に対し、ハーフミラーを45゜程度まで
傾むける必要がなく、そのために装置を小形化できると
共に観察者は表示画面直近まで顔を近づけることが出来
るので、大画面・広視野での相手映像表示ができる。

なお、信号処理装置９は、説明を簡単にするために必
要最小限の専用のハードウェア構成について説明した
が、この代わりに汎用の動画像処理装置を用いて同一の
アルゴリズムを実現できることは言うまでもない。例え
ば、米国イメージテクノロジ社の動画像処理装置ITI−1
50シリーズにおいて、映像入力端子３本のうちの２本に
それぞれ表示装置入力映像信号７と、TVカメラ出力映像
信号８を入力することで実現できる。

第４図は本発明の第２の実施例の構成図を示し前記第
１図と同じ各部については同じ番号を付してある。図に
示すように表示装置１に代え大型のスクリーン1aを斜め
に配置し、その前にハーフミラー2aを配置する。そして
観察者４の位置する所より斜め上方より該スクリーン1a
上へハーフミラー2aを介して投影するTVプロジェクタ1b
を配置し、その前面にハーフミラー2bを、また、撮影装
置３のTVカメラの前面にフルミラー2cを夫々配置した構
成である。

本実施例では大画面・高輝度表示を実現するために上
記のようにTVプロジェクタ1bにより遠隔地の相手の顔画
像をスクリーン1a上のハーフミラー2a,2bを介して投影
する。そして、観察者４はスクリーン1a上に表示された
相手の顔画像を観察する。

上記TVカメラ３ではハーフミラー2a,2b,フルミラー2c
を通して投影されるスクリーン1a上の表示像と、ハーフ
ミラー2aで反射される観察者４の像が重畳して撮影さ
れ、TVカメラの出力映像信号８が信号処理装置９に入力
される。この信号処理装置９ではTVプロジェクタ1bに入
力される入力映像信号７も入力され、前記第２図で説明
した信号処理が行なわれ、観察者４の映像のみが観察者
映像信号10として相手側へ出力される。

本実施例ではスクリーン1aの大きさは120インチであ
り、観察者４とスクリーン中央との距離は約1.5mとし
た。これによって観察者４は視野角80゜程度の広視野で
画像を観察出来るので、表示画枠が気にならないため表
示画像の臨場感及び迫力を増すことが出来る。これに対
し従来の装置では、このような大画面表示では観察者は
ハーフミラーが表示面に対し出てしまいスクリーン面に
近づいて表示画面を観察することができない。

（発明の効果）以上説明したように、本発明は、ハーフミラーを介し
て撮影される観察者像と表示画面像から、観察者像のみ
を切り出すことができるため、表示画面に対するハーフ
ミラーの角度は制限がなく、装置を小型化できる。ま
た、表示画面に対するハーフミラーの角度には制限がな
く、表示画面に平行に配置できるため、観察者は画面に
近づいて観察できるので大画面広視野画像が表示でき
る。

【図面の簡単な説明】

第１図は本発明の第１の実施例の構成図、第２図は第１
図の信号処理装置の構成例を示す図、第３図は第２図の
信号処理装置での処理内容を説明するための図、第４図
は本発明の第２の実施例の構成図、第５図は従来の視線
一致型の表示撮影装置の構成例を示す図である。１……表示装置、1a……スクリーン、1b……TVプロジェ
クタ、2,2a,2b……ハーフミラー、2c……フルミラー、
３……撮影装置（TVカメラ）、４……観察者、５……表
示画面像光路、６……観察者像光路、７……表示装置へ
の入力映像信号、８……TVカメラの出力映像信号、９…
…信号処理装置、10……観察者映像信号、91……輝度低
減装置、92……トリミング装置、93……台形歪補正装
置、94……差分処理装置、95……輝度増幅装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者釜江尚彦東京都千代田区内幸町１丁目１番６号日本電信電話株式会社内 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/10,7/14 - 7/173,7/20 - 7/22

Claims

(57)【特許請求の範囲】

【請求項１】表示装置の表示画面観察中の人物を撮影す
る視線一致型の人物映像撮影装置において、前記表示装置の表示画面像と観察者像とを切分する手段
と、撮影装置から出力された映像信号と表示装置に入力
される映像信号との差分信号を発生させる信号処理手段
とを少なくとも有することを特徴とする視線一致型の人
物映像撮影装置。
【請求項２】表示装置の表示画面像と観察者像とを切分
する手段は、前記表示装置の表示画面前に配置されたハ
ーフミラーによることを特徴とする請求項（１）記載の
視線一致型の人物映像撮影装置。
【請求項３】撮影装置から出力された映像信号と表示装
置に入力される映像信号との差分信号を発生させる信号
処理手段は、少なくとも前記表示装置に入力される映像
信号の輝度を低減させた後、２入力,1出力の映像信号差
分処理手段へ入力し処理することを特徴とする請求項
（１）記載の視線一致型の人物映像撮影装置。
【請求項４】撮影装置から出力された映像信号は必要に
より台形歪補正を行い、表示装置に入力される映像信号
は輝度を低減させた後、必要によりトリミングを行い、
夫々２入力,1出力の映像信号差分処理手段へ入力し処理
することを特徴とする請求項（１）記載の視線一致型の
人物映像撮影装置。