JPH05316500A - 空間走査撮像表示装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明は，オフィスなどの共同作業環境におけ
る要求条件に適合したテレビ電話装置などを提供し得る
ようにすることを目的としている。 【構成】可動形ビデオカメラと撮像位置センサと画像情
報表示器とその表示部分の位置検出器とを用いて，全体
を大きなサイズの画像記憶メモリを介して結合し，一体
的に動作するよう構成し，画面を見ながらの対話を支援
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，空間撮像機能を持ち，
対面対話支援機能に優れた，テレビ電話装置などを提供
する空間走査撮像表示装置に関するものである。

【０００２】

【従来の技術】従来のテレビ電話装置は，テレビ画像を
表示する画像表示器，テレビ画像を入力する撮像カメ
ラ，テレビ電話信号通信制御部，音声送受話器等から構
成され，人物の顔画像をお互いに送受しながら対話する
装置であり，顔画像の撮像，表示に適するようにカメラ
と表示器が固定的に配置されていた。

【０００３】

【発明が解決しようとする課題】このような従来のテレ
ビ電話装置をオフィス等の複数の人間が共存する共同作
業環境に設置し，遠隔会議，遠隔打ち合せ，遠隔共同作
業，遠隔訓練等の用途に適用する場合，以下のようなヒ
ューマンインタフェース上の問題点があった。 （ａ）固定カメラの不自由 ビデオ通信を顔画像以外の，書類や品物等の種々の対象
物の情報を伝えるために使おうとすると，カメラを固定
的に配置されたカメラは対象物を自由に撮影するには大
変不便である。 （ｂ）視点の把握 通常の対面対話では，一方の人間が話題情報（画像情
報）を提示し，他方の人間もその情報を見ながら，話を
進める。話題情報を提示した側の人間は，確かに相手も
それを見たなという事を確認しながら話を進める。ある
いは，相手がどの部分に注目し，関心を示したかを確か
めながら，話を進める。すなわち，実際の対面対話で
は，相手が何を見ているか，相手の目線の先を見る事に
より把握・確認しながら，話を進めていく。このよう
な，互いの視点検出により，スムーズな対話や意思疎通
が行なわれている。しかし，従来テレビ電話では相手の
目線の先に何があるかは見ることができない。いろいろ
な画像情報を相手に提示しても，本当に相手がそれを見
たかどうかは，はっきりとはわからないし，相手がどの
部分に注目したかもわからない。このため，どうして
も，テレビ電話では，実際の対面対話に比べて，対話が
スムーズに進まないという問題点があった。 （ｃ）画面サイズが小さい 実際の対面対話では，通常，会議テーブルや机が準備さ
れており，話題情報をそのテーブルに広げて，いろいろ
ならべて，見比べたりしながら，話を進めていく。話題
情報をならべるための，広い空間（テーブル）が用意さ
れている。しかし，従来のテレビ電話装置においては，
画像表示器の大きさは，通常のテレビ受信機の画像表示
器と同等の大きさである。より大きな画像表示器や，複
数台の画像表示器を用意する事は，装置のコストや大き
さが増加するため，実用的でない。このため，１つだけ
の画像表示器ではどうしても，話題情報を広げて，見比
べながら話を進めることがうまくできないという問題点
があった。

【０００４】本発明は，オフィスなどの共同作業環境に
おける要求条件に適合したテレビ電話装置などを提供し
得るようにすることを目的としている。

【０００５】

【課題を解決するための手段】図１は本発明の全体構成
を説明する図である。Ａ，Ｂ，二人の遠隔の人間同士が
ビデオ画像情報を見ながら，行う対話活動を支援するテ
レビ電話装置において，両者が共通の大きな画像空間Ｗ
の中を自由に眺め回せるような機能を実現している。

【０００６】本発明では，この機能を実現するために，
可動形ビデオカメラとその撮像位置センサと，画像情報
表示器とその表示部分の位置検出器とを用いて，全体を
大きなサイズの画像記憶メモリを介して結合し，一体的
に動作するよう構成してあり，従来のテレビ電話装置と
異なる。

【０００７】

【作用】本発明の場合以下のような特徴をもっている。 （１）ビデオカメラで撮影した画像をそのまま相手に伝
えるのではなく，一旦大きな画像記憶メモリの中に，撮
影位置に合わせて張り付けておく。相手は画像記憶メモ
リの中を自由に見る位置を変えながら，眺め回すことが
できる。 （２）利用者が表示器に表示している部分をマーク等に
より，相手に知らせる事により，相手が何処を見ている
か視野の把握ができる。 （３）実時間で撮影している部分をマーク等により，相
手に知らせる事により，相互に見たい部分にカメラを移
動するためのガイドができる。

【０００８】

【実施例】図２は本発明の空間走査撮像機能の入力部の
実施例を説明する図である。図中の符号１は撮影対象物
Ｔ，２は位置センサ付可動形カメラ，３はカメラの撮影
領域Ｓ，４は画像記憶メモリ空間Ｗ，５は撮影画像Ｖ
（ｔ）である。

【０００９】これを動作するには，撮影対象物Ｔ１を位
置センサ付可動形カメラ２で撮影し，撮影画像Ｖ（ｔ）
５を得る。ここで，撮影画像Ｖ（ｔ）５は撮影対象物Ｔ
１の一部分の領域Ｓ３を撮影したものであり，撮影領域
Ｓ３を画素数ｎ×ｍの画像として画像記憶メモリ空間Ｗ
４へ取り込む。この際，撮影画像を画像記憶メモリ空間
Ｗ４のどの位置へ取り込むかは，位置センサ付カメラが
検出した撮影位置に基づいて決定する。

【００１０】撮影対象物Ｔ１の全体を撮像するために，
可動形カメラ２を動かして，撮影領域Ｓを移動させ，別
の部分領域を撮影して，時間ｔに対して連続的な撮影画
像Ｖ（ｔ）を画像記憶メモリ空間Ｗ４へ取り込んでい
く。撮影の時間的タイミングをｔ１，ｔ２，ｔ３，・・
・ｔｋとすると，それぞれの時刻における撮影画像Ｖ
（ｔ１），・・・，Ｖ（ｔｋ）を，それぞれの時刻にお
ける撮影位置に合わせて，画像記憶メモリ空間Ｗ４へ上
書きしながら張り付けて，取り込んでいく。

【００１１】画像記憶メモリ空間Ｗ４は撮影対象物Ｔ１
の全体を取り込めるよう，充分大きな画素数のメモリ
（Ｎ×Ｍ）を用意しておく。このような大きな画像記憶
メモリ空間Ｗ４を用意し，可動形カメラを走査させた撮
影，取り込み，撮影位置に合わせた張り付けを行うこと
により，低解像度のカメラを用いて，高精細，大画面サ
イズの画像を撮影できる。

【００１２】上記の撮影画像の張り付けを行う際，撮影
画像相互の整合をとるためにはカメラの位置や傾きに合
わせた射影処理が必要となる。一般に対象物の形状，位
置と，撮影の視点条件（位置，画角）を把握して，ビデ
オ画像を空間構造モデルへマッピングする方法はテクス
チャマッピング等の射影処理手法として，ＣＡＤ等の分
野で使われている。本発明ではこの方法を可動形ビデオ
カメラで撮影したビデオ画像に対して適用し，撮像対象
の構造，撮像条件に合わせて画像記憶メモリ空間Ｗ上の
仮想空間に写像して，張り付けて記憶・表示させる。射
影処理により張り付ける場合，対象物（空間）が複雑な
形状をしている場合には，その形状，位置の把握は難し
い。このため，対象とする空間を比較的簡単な形状にモ
デル化する方法を用いる事が実用的である。

【００１３】図３は，対象物の空間を，机や壁等のよう
な板状の平面形状にモデル化した実施例である。資料や
図面，素材等を机の上に置いて眺める場合には，図３の
ような平面状の空間モデルが適用できる。平面状のモデ
ルを拡張し，複数の平面で囲まれた空間をモデル化すれ
ば，壁や部屋の形状に対しても適用できる。図３に示す
ように，位置センサと一体化したビデオカメラを手で持
って，即ち，図３に複数のカメラが存在するように示さ
れているが実際には単一のカメラを手に持って移動させ
て，空間的に走査して撮影する。

【００１４】撮影画像の写像位置の計算方法に関する，
撮影対象物とカメラとの位置関係のモデルを図４に示
す。撮影対象物がｘｙ平面上にあり，ｘｙ平面上からｚ
軸方向に距離ｌだけ離れた点Ｖからカメラで撮像してい
るとする。レンズの歪を無視すれば，カメラをｘｙ平面
に垂直にして撮像した場合には，撮像画像の中の相対的
位置ｓ（ｘ，ｙ）は，ｘｙ平面上の実際の位置Ｓ（ｘ，
ｙ）と一致している。ｘｙ平面上の点Ｓ（ｘ，ｙ）を撮
影すると，画像中の相対的位置ｓ（ｘ，ｙ）に撮像され
る。一方，カメラがｘ，ｙ，ｚ軸に対して，各々θ，
φ，ωだけ回転した状態で撮影した事がわかっている
時，得られた画像の中の点ｓ（ｘ，ｙ）が実際にｘｙ平
面上のどこにある点か写像計算により求める。 （１）ｙ軸方向の回転θ 実際の位置をＳ１（Ｘ１，Ｙ１）とすると， ｘ＝ｌ tanα (1) ｙ＝ｌ tanβ (2) Ｘ１＝ｌ tan（θ＋α） (3) Ｙ１＝ｌ cosα・ tanβ／ cos（θ＋α） (4) （２）ｘ軸方向の回転φ 実際の位置をＳ２（Ｘ２，Ｙ２）とすると， ｘ＝ｌ tanα (1) ｙ＝ｌ tanβ (2) Ｘ２＝ｌ cosβ・ tanα／ cos（φ＋β） (5) Ｙ２＝ｌ tan（φ＋β） (6) （３）ｚ軸方向の回転ω 実際の位置をＳ３（Ｘ３，Ｙ３）とすると， ｒ＝ｘ＋ｙ (7) tan γ＝ｙ／ｘ (8) Ｘ３＝ｒ cos（ω＋γ） (9) Ｙ３＝ｒ sin（ω＋γ） (10) 上記の写像の計算を組み合わせる事により，ｘｙ平面上
の対象物を任意の方向から撮像した場合の，画像の位置
を算出する。

【００１５】図５は撮像された画像記憶メモリ空間を介
して，遠隔の人間同士が眺め回す機能の制御部の実施例
を示す図である。図中の符号１１は撮影対象物Ｔ，１２
は位置センサ付可動形カメラ，１３はカメラの撮影領域
Ｓ，１４は画像記憶メモリ空間Ｗ，１５は撮影画像Ｖ
（ｔ），１６，１７は各々遠隔の人間Ａ，Ｂが画像記憶
メモリ空間Ｗの中を見る際の画像表示ＲＡ，ＲＢ，１
８，１９は人間Ａ，Ｂが画像表示位置を指示するための
表示位置制御部である。

【００１６】画像表示ＲＡ，ＲＢは各々通常の画像表示
ディスプレイを用いており，画面サイズは制限される
が，メモリ上の画像に対し以下の画像出力機能を備える
事により，マウスやジョイスティック等の指示装置から
なる表示位置制御部１８，１９で指示することにより，
自由にメモリ空間内を眺め回すことができる。 （ａ）画像記憶メモリ空間Ｗ１４の中の見たい一部分を
出力する機能， （ｂ）画像記憶メモリ空間Ｗ１４の全体もしくは一部を
縮小またはズームして表示する機能。

【００１７】このような画像出力を行う際，利用者全員
がどの部分を見ているかを，画像記憶メモリ空間にマー
クで表示を行う。マークとしては画像内に白枠で示すよ
うな線画により，相手の視野領域を示す事が容易であ
る。相手の人数が多い場合には，誰のマーク（視野）か
明示するために線画の色を変えることにより，判別させ
ることができる。

【００１８】このような画像出力と同時に，位置センサ
付きカメラからの撮影を連続的に行ない，実時間で撮影
している領域Ｖ（ｔ）１５を画像記憶メモリ空間Ｗ１４
上にマークで表示を行う。

【００１９】実際に対話活動を行う場合は，これらの機
能を用い，以下の手順で行う。 （１）撮影対象物のまわりを，カメラを走査して撮像
し，画像記憶メモリ空間に張り付ける。 （２）表示位置制御部１８，１９により，全体像や関心
のある部分像の位置を指示して，眺め回す。 （３）相手が見ている領域をマークにより把握し，可動
形カメラ１２を移動して，相手の視野領域部分へ，実時
間で撮影している領域Ｖ（ｔ）を動かしてやり，実時間
で撮影している画像を見せる。

【００２０】図６は画像記憶メモリ空間Ｗ内の各表示領
域の関係を示す図である。表示領域として，実時間で撮
影，射影処理，張り込みをしている実時間撮影領域Ｖ
（ｔ），実時間で部分表示，ズーム表示等の画像表示を
している画像表示領域Ｒ（ｔ），静止画として記憶され
た張り込み画像Ｖ（ｔｎ）があり，Ｖ（ｔ）は張り込み
画像Ｖ（ｔｎ）の上に上書きされている。

【００２１】図７は本発明の実施例の全体構成を示す図
であり，２１はカメラ，２２は位置センサ，２３は位置
センサ制御部，２４は映像入力部，２５は映像張り付け
・表示位置制御部，２６は映像分配部，２７，２８は映
像表示制御部，２９はモニタ，３０はマウス，３１は映
像表示位置変更制御部である。

【００２２】これを動作するには，カメラ２１から撮影
した画像が映像入力部２４を介して，映像張り付け・表
示位置制御部２５に入力される。ここで，位置センサ制
御部２３を介して入力された，カメラの撮影位置情報に
基づき，画像メモリに張り付けられる。映像張り付け・
表示位置制御部２５で張り付けられた画像メモリ内の画
像情報は，マウス３０による指示情報を，どの部分を表
示するか映像表示位置変更制御部３１で解釈し，映像分
配部２６を介して，映像表示制御部２７，２８，を通し
てモニタ２９へ出力される。

【００２３】図８は画像記憶メモリ空間と人物の顔画像
とを同時に表示する場合の，本発明の別の実施例の構成
を示した図であり，４１は撮影対象物，４２は位置セン
サ付可動形カメラ，４３は通信ネットワークおよび空間
走査撮像表示制御部，４４はディスプレイ，４５は人物
用カメラ，４６は表示位置制御部である。

【００２４】この実施例においては撮影対象の画像以外
に，人物の顔画像を撮影する固定形カメラ４５が端末に
配置され，位置センサ付可動形カメラ４２で撮影された
画像と人物画像とが一つのディスプレイ４４に表示され
る。ディスプレイに表示する領域は表示位置制御部４６
により選択，変更される。

【００２５】このような場合の画面制御の例を図９に示
す。画像記憶メモリ空間１０１の中の，表示領域１０２
と人物表示１０３とを一つのディスプレイに合体し画像
表示１０４として表示し，相手が何処を見ているかとい
う画像表示領域１０５のマーク（線画）を付与する。ま
たカメラのアイコン１０６を表示する。さらに，どの人
物がどの領域表示と対応するか明示するために，人物画
像やカメラと領域表示とを線矢印１０７，１０８，１０
９でつないでいる。これにより，相手が大きな画像記憶
メモリ空間１０１内の何処を見ているかが，概ね推測で
きるようになる。

【００２６】

【発明の効果】以上説明したように，本発明によれば，
オフィス等の集団共同作業環境における，大画面情報の
提示と相手視野の把握とを両立させた，小形で，操作
性，作業性の良い，テレビ電話装置を実現できる。

【図面の簡単な説明】

【図１】本発明の全体構成を説明する図である。

【図２】本発明の空間走査撮像機能の入力部の実施例を
説明する図である。

【図３】対象物の空間を机や壁等のような板状の平面形
状にモデル化した例である。

【図４】撮影画像の写像位置の計算方法に関する，撮影
対象物とカメラの位置関係のモデル図である。

【図５】撮像された画像記憶メモリ空間を介して，遠隔
の人間同士が眺め回す機能の制御部の実施例を示す図で
ある。

【図６】画像記憶メモリ空間Ｗ内の各表示領域の関係を
示す図である。

【図７】本発明の実施例の全体構成を示す図である。

【図８】画像記憶メモリ空間と人物の顔画像とを同時に
表示する場合の，本発明の別の実施例の構成を示した図
である。

【図９】画像記憶メモリ空間と人物像とを合成した実施
例である。

【符号の説明】

１ 撮影対象物Ｔ ２ 位置センサ付可動形カメラ ３ カメラの撮影領域Ｓ ４ 画像記憶メモリ空間Ｗ ５ 撮影画像Ｖ（ｔ） １１ 撮影対象物Ｔ １２ 位置センサ付可動形カメラ １３ カメラの撮影領域Ｓ １４ 画像記憶メモリ空間Ｗ １５ 撮影画像Ｖ（ｔ） １６，１７ 遠隔の人間Ａ，Ｂが画像記憶メモリ空間Ｗ
の中を見る際の画像表示ＲＡ，ＲＢ １８，１９ 人間Ａ，Ｂが画像表示位置を指示するため
の表示位置制御部 ２１ カメラ ２２ 位置センサ ２３ 位置センサ制御部 ２４ 映像入力部 ２５ 映像張り付け・表示位置制御部 ２６ 映像分配部 ２７，２８ 映像表示制御部 ２９ モニタ ３０ マウス ３１ 映像表示位置変更制御部 ４１ 撮影対象物 ４２ 位置センサ付可動形カメラ ４３ 通信ネットワークおよび空間走査撮像表示制御部 ４４ ディスプレイ ４５ 人物用カメラ ４６ 表示位置制御部 １０１ 画像記憶メモリ空間 １０２ 実時間撮影している表示領域 １０３ 人物表示 １０４ 自分が見ている画像表示 １０５ 相手が見ている画像表示領域 １０６ カメラのアイコン １０７ 線矢印 １０８ 線矢印 １０９ 線矢印

Claims (1)

【特許請求の範囲】
1. 【請求項１】 空間上を走査して表示する空間走査撮像
   表示装置において， 撮像位置を自由に可動できるビデオカメラ装置， その撮像位置と撮像方向とを検出する手段， 画像を配置するための面的な画像メモリ， 撮影したビデオ画像を射影変換して画像メモリに張り付
   ける手段， 画像メモリ中の部分または全体を送信して表示する手
   段， 表示位置を指示する手段， 表示位置をマークとして表現する手段とを備え， カメラで撮影した画像を張り合わせた画像空間を介し
   て，対話的に双方の表示位置を伝え合うようにしたこと
   を特徴とする空間走査撮像表示装置。