JPH08149356A - 動画表示装置 - Google Patents

Abstract

(57)【要約】 【目的】 注目部分については動画でその他の部分につ
いては静止画で遠隔地の広範囲の様子を伝えることがで
き、しかも効率的な動画表示を可能とした動画表示装置
を提供する。 【構成】 マウス７の操作により動画領域を移動する
と、ＣＰＵ２は、移動した動画領域の位置情報に基づい
てビデオカメラ４の撮影方向が移動後の動画領域の位置
に対応するようカメラ制御装置５を制御するとともに、
撮影方向の変更前に動画領域に表示していた動画を用い
てビットマップディスプレイ３が表示する合成静止画の
うち移動前の動画領域に対応する部分を静止画として更
新する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオカメラから取り
込んだ動画を表示する動画表示装置に関する。

【０００２】

【従来の技術】遠隔地の様子をテレビカメラで写す必要
のある遠隔地診断やテレビ会議システム等において、ビ
デオカメラから動画を取り込んでディスプレイに表示し
ている際に、撮影対象が移動したり、撮影対象を変更し
たりする場合が少なくない。このような場合、カメラの
ある側にいる利用者については、カメラ方向を見ればあ
る程度写っている対象が判断できるので、必ずしも直接
ディスプレイ上の動画を見て写っている範囲を確認する
必要はない。しかしながら、カメラがディスプレイ及び
利用者双方から隔った場所にある場合には、利用者は現
在写っている動画の画面を見ながらカメラの方向を遠隔
操作で変更することで撮影対象を変更する必要がある。

【０００３】こうした場合、カメラで同時に写すことの
できる限られた範囲の動画だけではなく、カメラで撮影
できる遠隔地の広範囲の様子が分かれば、カメラの方向
の制御がやり易くなる。さらには、注目する対象だけで
はなく、遠隔地全体の風景も同時に写っていた方が臨場
感があり雰囲気もより伝わる。

【０００４】

【発明が解決しようとする課題】遠隔地のより広範囲の
様子を動画で伝えようとすると、広角のカメラで撮影し
た動画を表示するしかない。しかしながら、広角の動画
で雰囲気を伝えようとすると、注目する対象も小さく写
ってしまうという問題がある。

【０００５】そこで、全体の雰囲気（広角）の映像と拡
大映像（標準又は望遠）を１台の表示装置（又は表示ウ
ィンドウ）で必要に応じて切り替えて表示するか、ある
いは広角と標準（又は望遠）の２台のカメラの映像を２
台の表示装置（又は表示ウィンドウ）に同時に表示する
ことになる。２台のカメラで広角、標準の２通りの映像
を送ろうとすると、カメラとカメラ制御装置、及び映像
の伝送路が２倍必要になるという問題がある。

【０００６】一方、１台のカメラで実現するためには、
以下の方法が考えられる。 (1) 高精細で撮影した動画を送り、高精細の大画面で表
示する。 (2) 高精細で撮影した動画を送り、注目する部分だけを
必要に応じて表示時に表示側で拡大する。 (3) 通常の画素密度で動画を送りその一部を表示時に表
示側で拡大する。 (4) 遠隔地のカメラのズーム倍率を変更する。

【０００７】しかしながら、上記(1) 、(2) では高精細
（＝大容量）の動画を送る必要があり、(2) では拡大表
示での画質が悪くなり、また、(1) 以外では広い範囲の
動画と注目点付近すなわち広角と標準の２種類の映像を
同時には確認することはできないという問題がある。

【０００８】そこで、本発明は、上記事情に鑑みてなさ
れたものであり、注目部分については動画でその他の部
分については静止画で遠隔地の広範囲の様子を伝えるこ
とができ、しかも効率的な動画表示を可能とした動画表
示装置を提供することを目的とする。

【０００９】

【課題を解決するための手段】請求項１記載の動画表示
装置は、動画を撮影する動画撮影手段と、この動画撮影
手段の撮影方向を変更する撮影方向変更手段と、前記動
画撮影手段の撮影方向を変更して予め撮影された様々な
方向の動画を基に１つの広範囲の静止画を合成する合成
手段と、この合成手段による合成静止画を静止画領域に
表示するとともに、前記動画撮影手段が現在撮影してい
る動画を静止画領域上の現在の撮影方向に対応する位置
に重畳した動画領域に表示する表示手段と、前記静止画
領域内で動画領域を移動する動画領域移動手段と、この
動画領域移動手段によって移動した動画領域の位置情報
に基づいて前記動画撮影手段の撮影方向が移動後の動画
領域の位置に対応するよう前記撮影方向変更手段を制御
するとともに、撮影方向の変更前に動画領域に表示して
いた動画を用いて前記合成静止画のうち移動前の動画領
域に対応する部分を静止画として更新する制御手段とを
有することを特徴とするものである。

【００１０】請求項２記載の動画表示装置は、動画を撮
影する動画撮影手段と、この動画撮影手段の撮影方向を
変更する撮影方向変更手段と、前記動画撮影手段の撮影
方向を変更して予め撮影された様々な方向の動画を基に
１つの広範囲の静止画を合成する合成手段と、この合成
手段による合成静止画を静止画領域に表示するととも
に、前記動画撮影手段が現在撮影している動画を静止画
領域上の現在の撮影方向に対応する位置に重畳した動画
領域に表示する表示手段と、前記動画領域に表示されて
いる動画中の物体の動きを検出する動き検出手段と、こ
の動き検出手段が検出した物体の位置情報に基づいて前
記動画領域を移動するとともに前記動画撮影手段の撮影
方向が移動後の物体の位置に対応するよう前記撮影方向
変更手段を制御するとともに、撮影方向の変更前に動画
領域に表示していた動画を用いて前記合成静止画のうち
移動前の動画領域に対応する部分を静止画として更新す
る制御手段とを有することを特徴とするものである。

【００１１】請求項３記載の動画表示装置は、前記静止
画領域に対応する撮影領域を前記動画撮影手段により走
査して前記合成静止画全体を定期的に更新することを特
徴とするものである。

【００１２】請求項４記載の動画表示装置は、前記動き
検出手段が物体の動きを検出していない場合に、前記静
止画領域に対応する撮影領域を前記動画撮影手段により
走査して前記合成静止画全体を更新することを特徴とす
るものである。

【００１３】請求項５記載の動画表示装置は、動画を撮
影する動画撮影手段と、この動画撮影手段の撮影方向を
変更する撮影方向変更手段と、前記動画撮影手段よりも
広角の倍率を持ち、広範囲の静止画を撮影する静止画撮
影手段と、この静止画撮影手段が撮影した静止画を静止
画領域に表示するとともに、前記動画撮影手段が現在撮
影している動画を静止画領域上の現在の撮影方向に対応
する位置に重畳した動画領域に表示する表示手段と、前
記静止画領域内で動画領域を移動する動画領域移動手段
と、この動画領域移動手段によって移動した動画領域の
位置情報に基づいて前記動画撮影手段の撮影方向が移動
後の動画領域の位置に対応するよう前記撮影方向変更手
段を制御する制御手段とを有することを特徴とするもの
である。

【００１４】請求項６記載の動画表示装置は、動画を撮
影する動画撮影手段と、この動画撮影手段の撮影方向を
変更する撮影方向変更手段と、前記動画撮影手段よりも
広角の倍率を持ち、広範囲の静止画を撮影する静止画撮
影手段と、この静止画撮影手段が撮影した静止画を静止
画領域に表示するとともに、前記動画撮影手段が現在撮
影している動画を静止画領域上の現在の撮影方向に対応
する位置に重畳した動画領域に表示する表示手段と、前
記動画領域に表示されている動画中の物体の動きを検出
する動き検出手段と、この動き検出手段が検出した物体
の位置情報に基づいて前記動画領域を移動するとともに
前記動画撮影手段の撮影方向が移動後の物体の位置に対
応するよう前記撮影方向変更手段を制御する制御手段と
を有することを特徴とするものである。

【００１５】請求項７記載の動画表示装置は、通信ネッ
トワークを介して前記表示手段及びそれに必要な手段と
前記撮影手段及びそれに必要な手段とを接続したことを
特徴とするものである。

【００１６】請求項８記載の動画表示装置は、前記表示
手段を２つ備え、通信ネットワークを介して一方の表示
手段と他方の表示手段、前記撮影手段、撮影方向変更手
段及び動画領域移動手段とを接続したことを特徴とする
ものである。

【００１７】請求項９記載の動画表示装置は、前記動画
領域移動手段を２つ備えるとともに、両動画領域移動手
段の制御権調停機能を有し、通信ネットワークを介して
一方の動画領域移動手段及び前記表示手段と他方の動画
領域移動手段、前記撮影手段及び撮影方向変更手段とを
接続したことを特徴とするものである。

【００１８】請求項１０記載の動画表示装置は、前記動
画領域移動手段は、視線入力装置を用いることを特徴と
するものである。

【００１９】

【作用】請求項１記載の動画表示装置によれば、動画領
域移動手段により動画領域を移動すると、制御手段は、
移動した動画領域の位置情報に基づいて動画撮影手段の
撮影方向が移動後の動画領域の位置に対応するよう撮影
方向変更手段を制御するとともに、撮影方向の変更前に
動画領域に表示していた動画を用いて合成静止画のうち
移動前の動画領域に対応する部分を静止画として更新す
る。これにより、大画面の動画表示が遅い場合や動画転
送レートがあまり高くなく、高精細での広い範囲の動画
表示が難しいような場合であっても、全体の雰囲気を伝
える広い範囲の映像を静止画として表示するとともに、
注目部分に関しては動画として表示し、さらに両者の位
置・大きさを合わせつつ合成表示することで、あたかも
静止画の一部が動画に置き換わったかのようになり、少
ない計算機資源で効率的な動画表示が可能になる。ま
た、合成静止画全体を更新するのではなく、注目部分の
みを更新するので、更新データ量が少なくて済む。

【００２０】請求項２記載の動画表示装置によれば、動
き検出手段が動画領域に表示されている動画中の物体の
動きを検出すると、制御手段は、検出した物体の位置情
報に基づいて動画領域を移動するとともに動画撮影手段
の撮影方向が移動後の物体の位置に対応するよう撮影方
向変更手段を制御するとともに、撮影方向の変更前に動
画領域に表示していた動画を用いて合成静止画のうち移
動前の動画領域に対応する部分を静止画として更新す
る。これにより、請求項１記載と同様に、遠隔地の広範
囲の様子を伝えることができ、しかも効率的な動画表示
が可能となり、また、動き部分を自動的に追跡するの
で、動画領域の移動操作の手間を省ける。

【００２１】請求項３記載の動画表示装置によれば、静
止画領域に対応する撮影領域を動画撮影手段により走査
して合成静止画全体を定期的に更新する。

【００２２】請求項４記載の動画表示装置によれば、動
き検出手段が物体の動きを検出していない場合に、静止
画領域に対応する撮影領域を動画撮影手段により走査し
て合成静止画全体を更新する。

【００２３】請求項５記載の動画表示装置によれば、動
画撮影手段とは別に静止画撮影手段を備えているので、
静止画の合成処理を省略できる。

【００２４】請求項６記載の動画表示装置によれば、請
求項１記載と同様に、遠隔地の広範囲の様子を伝えるこ
とができ、しかも効率的な動画表示が可能となり、動き
部分を自動的に追跡するので、動画領域の移動操作の手
間を省け、動画撮影手段とは別に静止画撮影手段を備え
ているので、静止画の合成処理を省略できる。

【００２５】請求項７記載の動画表示装置によれば、注
目部分のみの更新データを通信ネットワークを介して転
送する。

【００２６】請求項８記載の動画表示装置によれば、動
画撮影手段がある側で動画領域の移動操作を行う。

【００２７】請求項９記載の動画表示装置によれば、動
画撮影手段がある側とそこから離れた遠隔地の双方で動
画領域の移動操作を行うことができ、制御権調停機能に
より、動画領域の移動制御が双方で競合するのを防げ
る。

【００２８】請求項１０記載の動画表示装置によれば、
視線入力装置を用いることにより、動画領域の移動操作
の手間を省ける。

【００２９】

【実施例】以下、本発明の実施例を図面を参照して詳細
に説明する。

【００３０】図１は本発明の動画表示装置の第１の実施
例を示すブロック図である。

【００３１】この第１の実施例の動画表示装置１Ａは、
本装置１Ａ全体を制御する制御手段としてのＣＰＵ２を
有し、このＣＰＵ２に、マルチウィンドウ表示及び動画
をウィンドウ形式で表示可能な表示手段としてのビット
マップディスプレイ３と、動画を撮影する動画撮影手段
としてのビデオカメラ４と、ビデオカメラ４の上下左右
の方向を制御する撮影方向変更手段としてのカメラ制御
装置５と、ビデオカメラ４から取り込んだビデオ信号を
Ａ／Ｄ変換して取り込む機能を備えたビデオキャプチャ
装置６と、動画領域としての動画ウィンドウ（図２参
照）３１の移動等に用いる動画領域移動手段としてのマ
ウス７と、画像情報等を記憶する主記憶装置８とを各々
内部バス９を介して接続している。

【００３２】図２はビットマップディスプレイ３に表示
される本実施例の表示画面の例である。ビットマップデ
ィスプレイ３上では複数のウィンドウを重ねて表示可能
なウィンドウシステムが動作しているものとする。同図
に示す表示画面には、静止画を表示するための静止画領
域としての静止画ウィンドウ３０、動画を表示するため
の動画ウィンドウ３１が表示される。動画ウィンドウ３
１には、ビデオキャプチャ装置６を用いてビデオカメラ
４から取り込んだ動画が表示される。この動画ウィンド
ウ３１の位置は、マウス７を用いて静止画ウィンドウ３
０上を移動可能である。なお、静止画ウィンドウ３０は
動画ウィンドウ３１よりも大きいものとする。また、動
画ウィンドウ３１は静止画ウィンドウ３０よりも重なり
が常に上になるものとする。

【００３３】ＣＰＵ２は、ビデオカメラ４の方向を上下
左右に制御することで画像を取り込み、ビデオカメラ４
が写すことのできる領域の画像全体を静止画として再構
成し、この全体画像（合成静止画）を静止画として静止
画ウィンドウ３０に表示するものである。また、ＣＰＵ
２は、動画ウィンドウ３１にビデオカメラ４の映像を表
示するが、動画ウィンドウ３１に写っている動画が、静
止画ウィンドウ３０に写っている全体画像のある領域に
対応するように、ビデオカメラ４の方向、双方のウィン
ドウ３０、３１の位置及び写っている映像の大きさを合
致させて表示するものである。すなわち、あたかも静止
画の一部が動画に置き換わっているかのように表示され
ることになる。表示しようとする背景が全く動かず、あ
る一定の場所のみ動く物体あるいは人物がいる場合に
は、カメラ４の方向を制御する必要は特にない。背景の
様子が変化したり、動く対象の位置が変化するためビデ
オカメラ４の方向を変更するような場合には、静止画ウ
ィンドウ３０上に位置大きさとも合致して表示されてい
る動画ウィンドウ３１に対して、マウス７を用いてウィ
ンドウ３１の移動操作を行い、動画ウィンドウ３１の位
置を注目する対象へ移動する。この操作と共に、ＣＰＵ
２は、動画が全体画像に対して常に適切な方向を向くよ
うにビデオカメラ４の方向を制御し、さらには、合成静
止画のうち移動前に動画ウィンドウ３０の存在していた
部分を動画ウィンドウ３１に表示されていた動画を用い
て更新するようになっている。

【００３４】次に、本実施例の動作を図３を参照し、図
４のフローチャートに従って説明する。図３は動画ウィ
ンドウ３０の移動の様子を示す図である。なお、同図に
おいて、３１ａは移動前の動画ウィンドウ、３１ｂは移
動後の動画ウィンドウを示す。また、図４は動画ウィン
ドウ３１を移動する際の動作を示すフローチャートであ
る。

【００３５】まず、マウス７を用いて動画ウィンドウ３
１を３１ａの位置から３１ｂの位置に移動すると、マウ
ス７の移動量を検出し（Ｓ４０２）、この時点での移動
前の動画ウィンドウ３１ａに表示されている動画の最終
フレームの画像３２を保持する（Ｓ４０３）とともに、
動画ウィンドウ３１の位置をマウス７の移動量に従って
移動させる（Ｓ４０４）。なお、ここでウィンドウ３１
の移動操作自体は、ウィンドウシステムが有するウィン
ドウ管理機構を用いて実現する。さらにマウス７の移動
量を検出してカメラ４の移動量及び位置を計算する（Ｓ
４０５）。ここで、図５のように座標系を決め、カメラ
４の方向（θ，φ）、動画ウィンドウ３１の位置（Ｘ
０，Ｙ０）で表すとすると、 Ｘ０＝Ｒ・ｔａｎθ Ｙ０＝Ｒ・ｔａｎφ …(1) で表せる。ここでカメラの方向（θ，φ）は、θ：左右
方向の首振り角、φ：上下方向の首振り角であり、Ｒは
定数である。(1) 式より動画ウィンドウ３１の位置から
カメラ４の方向を求め、カメラ制御装置５に移動命令を
発することでカメラ４の方向を移動する（Ｓ４０６）。
さらに、動画ウィンドウ３１の移動によって静止画ウィ
ンドウ３０上の静止画のうちの移動前の動画ウィンドウ
３１ａの画像（更新する画像）３２を前記ステップＳ４
０３で保存した動画の最終フレームの画像で置き換え
る。この操作により、動画ウィンドウ３１を移動した場
合、動画ウィンドウ３１がもともと存在していた場所の
静止画を動画の最終フレームの画像で更新していくこと
になる。

【００３６】ここで、カメラ４にズーム機能があり、ズ
ームアップ、ダウンが可能だとする。カメラのズーム倍
率を変更した場合には、静止画との大きさが合わなくな
る。この場合、カメラ制御装置５からズーム倍率を読み
出し、ここで得られたズーム倍率に応じて、合成静止画
をズームアップ、ダウンすればよい。すなわち、ズーム
前後の倍率の変化率をＺとすると、静止画の表示倍率の
変化率もＺ倍にすればよい。ただし、静止画のズームア
ップ、ダウンは動画ウィンドウ３１の中心（図５でいえ
ば、（Ｘ０，Ｙ０））をズームの中心として表示倍率の
変更を行う。

【００３７】なお、起動時の初期画面に関しては、予め
全ての領域をカメラ４でスキャンし全体画像を構成し、
表示しておく、例えば図６のように静止画ウィンドウ３
０が動画ウィンドウ３１の９倍の大きさであれば、動画
ウィンドウ３１を１→２→３…→９とスキャンし、９枚
の画像を合成すればよい。また、本実施例では動画の動
画ウィンドウ３１への表示方法に関しては、ＣＰＵ２の
ソフト的な処理による表示でも、動画表示のための特殊
ハードウェアを用いた表示でも構わない。制約として
は、動画ウィンドウの位置を移動させる際に、動画ウィ
ンドウの重なっていた部分の全体画像が移動時の動画の
最新フレームで更新できるような機能を備えていれば構
わない。例えば、動画の特定フレームを静止画として保
存する機能と、保存した画像を用いて全体画像の指定し
た部位を置き換える機能を備えていればよい。

【００３８】このような第１の実施例によれば、大画面
での動画表示処理が遅かったり、動画のバス転送レート
等、動画取り込み、表示するための性能があまり高くな
いために、高精細での広い範囲の動画を所望のフレーム
レートで表示することが難しいような場合であっても、
全体の雰囲気を伝える広い範囲の映像を静止画として表
示しておき、注目部分に関しては、処理に間に合う大き
さ及び解像度で動画として表示し、さらに両者を位置・
大きさを合わせつつ合成表示することで、あたかも静止
画の一部が動画に置き換わったかのようになり、狭い範
囲の動画と広い範囲の静止画とを同時に見ることがで
き、少ない計算機資源で効率的な動画表示が可能にな
る。また、興味のある対象がカメラ４の撮影領域に同時
に入り切れない場合でも、動画ウィンドウ３１の走査に
よって合成した静止画を表示することで全体の雰囲気を
伝えると共に、注目する部分は動画表示される。しか
も、全体画像の一部があたかも動画に置き換わったかの
ように表示されるため、詳細と全体の関係が把握し易
い。また、動画ウィンドウ３１に入り切れない部分の対
象があまり動くことがなければ、時々更新される静止画
であっても構わない。また、興味のある対象が移動する
ような場合には、マウス等のポインティングデバイスで
動画ウィンドウ３１を移動することで、その方向にカメ
ラ４を向けるともに、移動によって動画があたかも静止
画の一部であるように表示される関係は保たれるので、
全体の部分と注目部分の対応づけが分かり易い。また、
全体画像の全領域を更新するのではなく、そのうち動画
ウィンドウ３１が通った部分、あるいは注目した部分の
み更新されていくので、全体画像の更新の量が少なくて
済み、処理負荷が少なくて済む。

【００３９】図７は本発明の動画表示装置の第２の実施
例を示すブロック図である。

【００４０】この第２の実施例の動画表示装置１Ｂは、
第１の実施例の動画表示装置１Ａに対して動き検出装置
１０を付加したものである。

【００４１】動画ウィンドウ３１をマウス７を用いて移
動した場所のみ静止画の更新が行われると、静止画全体
のうち変化があるのに全く更新されない部分が生ずる可
能性がある。これを避けるため、時々、カメラ４を静止
画像全体に対応する領域を走査して、静止画全体を更新
する。全体画像の更新は、例えば図６のように静止画ウ
ィンドウ３０が動画ウィンドウ３１の９倍の大きさであ
れば、動画ウィンドウ３１を１→２→３…→９と走査
し、９枚の画像を合成すればよい。

【００４２】また、走査のタイミングは、動き検出装置
１０から割り込みにより実行する。すなわち、一定時間
動きが検出されない場合、動き検出装置１０は、割り込
み信号を発生する。これを捉えたＣＰＵ２は、図６の静
止画全体の更新動作を実行する。静止画全体の更新操作
が終了すると、マウス７を用いた動画ウィンドウ３１の
移動による静止画の更新に切り替わる。また、起動時の
所期画面に関しては、上記の更新走査を最初に行うこと
で、作成すればよい。

【００４３】このような第２の実施例によれば、第１の
実施例の効果に加えて、動きがないときは、定期的に全
体画像が更新されるため、静止画全体のうち変化がある
のに全く更新されない部分がなくなる。

【００４４】なお、第２の実施例の他の実施例として、
第２の実施例において、動きがあっても、一定周期で強
制的に静止画を更新するようにしてもよい。この場合
は、ある一定の周期毎にＣＰＵ２にタイマ割り込みが入
るようにしておき、タイマ割り込みが入ると、図６の静
止画更新走査をするようにすればよい。これにより、第
２の実施例では、常に動きがある場合は静止画のうちま
ったく更新されない部分が生じる可能性があるが、本実
施例では、強制的に一定周期で静止画を更新するのでま
ったく更新されない部分は生じない。

【００４５】また、上記他の実施例に加えて、動画中の
物体が動いている間はカメラ４は動く物体を追跡すると
ともに、追跡に合わせて静止画に対する動画表示の位置
を変更するようにし、動画中の物体が静止している間
は、定期的に静止画を更新するようにカメラ４を走査す
るようにしてもよい。この場合、動き検出装置１０は、
カメラ４から得られた動画の動きを検出するものとす
る。また、動き検出装置１０は、フレーム毎の差分やオ
プティカルフロー等の画像処理手法を用いて、物体の追
跡中はカメラ４の走査により画面全体が動くことも考慮
に入れ、画面全体（全体領域）の中から局所領域の動き
を検出し、動きの方向と移動量を求めることができるも
のとする。ここで得られた、動きの方向とその移動量を
マウス７からの入力の代わりに用いることで、カメラ４
で動く物体を追跡することが可能である。この機能を、
上記他の実施例に対して付加することで、動画中の物体
が動いている間はカメラ４は動く物体を追跡するととも
に、追跡に合わせて静止画に対する動画表示の位置を変
更するようにし、動画中の物体が静止している間は、定
期的に静止画を更新するようにすることが可能になる。
これにより、動く部分を自動的に追跡して静止画を更新
するため、人が能動的にマウス７等による移動操作をす
るとがなくなるため、マウス操作の煩わしさから解放さ
れる。

【００４６】図８は本発明の動画表示装置の第３の実施
例を示すブロック図である。

【００４７】この第３の実施例の動画表示装置１Ｃは、
第２の実施例の動画表示装置１Ｂに対して画像取り込み
装置１１及び静止画カメラ１２を接続したものである。

【００４８】第２の実施例のように、静止画をカメラ４
の走査により更新するのではなく、ビデオカメラ４より
広角の静止画カメラ１２を用いて撮影した静止画を用い
るものである。

【００４９】画像取り込み装置１１は、静止画カメラ１
２で撮影した画像を主記憶装置８に読み込むものであ
る。

【００５０】静止画カメラ２１からは定期的に画像を取
り込み、全体画像を更新するようにする。ここで静止画
カメラ２１から得られる画像は、動画カメラよりも高精
細であり、例えば、図６の１〜９の領域に相当する画面
を一度に取り込めるようになっているものとする。静止
画表示の更新は、全領域を一度に行ってもよいし、動画
カメラを使った更新同様図の１〜９の領域を順番に９回
に分けて更新していってもよい。

【００５１】このような第３の実施例によれば、別途、
広角の静止画カメラ１２を備えたことにより、全体画像
（静止画）を合成するために時々ビデオカメラ４を走査
する必要がなくなり、ビデオカメラ４は動画の撮影専用
に用いることができるようになる。また、静止画の更新
と動画の取り込み表示は独立してできるようになる。

【００５２】図９は本発明の動画表示装置の第４の実施
例を示すブロック図である。

【００５３】この第４の実施例の動画表示装置１Ｄは、
第１の実施例の動画表示装置１Ａにおいてビデオカメラ
４及びカメラ制御装置５は、ビットマップディスプレイ
３と共通のバス９に接続されている構成であったもの
を、同図に示すように通信ネットワークインタフェース
（Ｉ／Ｆ）１３、１４及び通信ネットワーク１５を介し
て接続された構成に置き換えたものである。すなわち、
カメラ方向移動命令は、ネットワーク１５経由でＣＰＵ
２から発せられてカメラ制御装置６へ送られる。

【００５４】また、ビデオカメラ４の映像は、ビデオキ
ャプチャ装置６で取り込まれ、ネットワーク１５経由で
内部バス９に流され、ＣＰＵ２、主記憶装置８を用いて
最終フレームを保存するとともに、ビットマップディス
プレイ７３の動画ウィンドウ３１に表示される。あとの
動作に関しては、第１の実施例と同一である。本実施例
では、ネットワーク１５を介して転送されるのは、動画
ウィンドウ３１に表示する内容のみである。

【００５５】このような第４の実施例によれば、全体を
常に動画として転送する場合と比較して、全体画像のう
ち注目した部分のみが更新されていくので、全体画像が
大きな画像であったとしても、ネットワーク１５の転送
量の大幅な削減を図ることができる。

【００５６】なお、第１乃至第４の実施例において、マ
ウス７の代わりに視線入力装置を用いてもよい。この視
線入力装置は、人間の視線方向を検知して、ビットマッ
プディスプレイ３のどの部分を見ているかを獲得し、そ
れをポインティングデバイスの代わりに用いるものであ
る。第１乃至第４の実施例においてそれぞれマウス７を
視線入力装置に置き換えること以外は、各実施例と同一
である。これにより、人間の視覚特性として、視線方向
の中心付近（中心窩という）のみ視力が高く、中心窩か
ら外れた部分の視力は著しく低下する。この原理を利用
して、人間の視線の方向に合わせて、動画ウィンドウ３
１の位置を移動する。常に視線方向に動画ウィンドウの
中心が来るように動画ウィンドウ３１の位置、カメラ４
の方向を変更することで、一番視力の良い部分にのみ動
画を提示することになり、視力の低い中心窩から外れる
残りの部分には静止画像（厳密には更新回数の少ない動
画になるが）が写ることになる。すなわち、計算機にか
かる負荷を小さくとどめながら人間の視覚特性にあった
動画表示が可能となる。

【００５７】図１０は本発明の動画表示装置の第５の実
施例を示すブロック図である。

【００５８】この第５の実施例の動画表示装置１Ｅは、
第１の計算機１６と第２の計算機１７とを通信ネットワ
ーク１８を介して接続し、動画撮影手段のある側で動画
表示ウィンドウ３１の位置を制御し、動画撮影手段とは
隔たった場所にある表示手段に第１の実施例と同様の方
法で表示し、表示側では動画ウィンドウ３１の移動操作
は行わず、動画撮影手段のある側で撮影方向の制御を行
うようにしたものである。

【００５９】第１の計算機１６は、第１の計算機１６全
体を制御する第１のＣＰＵ１６０を有し、この第１のＣ
ＰＵ１６０に、ビットマップディスプレイ１６１と、主
記憶装置１６２と、ネットワークインタフェース（Ｉ／
Ｆ）１６３とを各々内部バス１６４を介して接続し、遠
隔地にある第２の計算機１７の後述するカメラ１７４が
写す様子を表示するために用いるものである。

【００６０】第２の計算機１７は、第２の計算機１７全
体を制御する第２のＣＰＵ１７０を有し、ネットワーク
インタフェース（Ｉ／Ｆ）１７１と、ビデオキャプチャ
装置１７２と、カメラ制御装置１７３と、ビデオカメラ
１７４と、ビットマップディスプレイ１７５と、マウス
１７６と、主記憶装置１７７とを各々内部バス１７８を
介して接続し、第１の実施例に対してネットワークイン
タフェース（Ｉ／Ｆ）１７１を加えたものである。

【００６１】ビデオカメラ１７４から取り込んだ動画及
び、取り込んだ動画から生成された静止画（第１の実施
例で述べた全体画像）が、第１の計算機１６のビットマ
ップディスプレイ１６１と第２の計算機１７のビットマ
ップディスプレイ１７５の双方の静止画ウィンドウ３０
と動画ウィンドウ３１にそれぞれ同期して表示されてい
るものとする。この時、静止画ウィンドウ３０と動画ウ
ィンドウ３１の位置及び大きさの関係は、第１の実施例
と同様に、静止画（全体画像）の一部が動画に置き換わ
ったかのように表示されているものとする。また、全体
画像の生成も、第１の実施例と同様とする。

【００６２】ここで、第１の実施例と異なるのは、動画
ウィンドウ３１の移動が、計算機側（カメラで接続され
ていない側）のマウス２による移動操作によるものでは
ない点である。第２の計算機１７側のビットマップディ
スプレイ１７５に表示されている静止画ウィンドウ３０
と動画ウィンドウ３１が相対的な位置関係及び大きさを
保ったままネットワーク１８経由で第１の計算機１６の
ビットマップディスプレイ１６１に表示されるものであ
る。ここで、第２の計算機１７側では、マウス１７６を
使用してカメラ１７４の方向を制御すると、その結果の
全体画像及び動画が第１の計算機１６側のビットマップ
ディスプレイ１６１にも表示されることになる。

【００６３】このような第５の実施例によれば、少ない
通信転送量で興味のある部分を重点的に転送できるた
め、効率的な大画面の動画転送・表示が可能になる。さ
らに、第２の計算機１〃側では、マウス１７６を使用し
てカメラ１７４の方向を制御するだけでなく、興味のあ
る動く物体を自動検出するような処理を第２のＣＰＵ１
７０で行うことにより、カメラ１７４の画像から自動検
出した興味のある物体を追従することができる。こうす
ることによって、人手を介してマウス１７６で興味のあ
る対象を追いかけることなく、少ない通信転送量で興味
のある部分を重点的に転送できるため、効率的な大画面
の動画転送・表示が可能になる。

【００６４】図１１は本発明の動画表示装置の第６の実
施例を示すブロック図である。

【００６５】この第６の実施例の動画表示装置１Ｆは、
第１のワークステーション１９と第２のワークステーシ
ョン２０とを通信ネットワーク２１を介して接続し、第
４の実施例と第５の実施例と組み合わせて、動画撮影手
段のある側とネットワーク２１を経由して動画撮影手段
から離れた遠隔地側の双方から撮影方向を制御できるよ
うにしたものである。

【００６６】第１のワークステーション１９は、静止画
ウィンドウ１９０中に表示する動画ウィンドウ１９１を
操作するためのマウス１９２を備えている。

【００６７】第２のワークステーション２０は、静止画
ウィンドウ２００中に表示する動画ウィンドウ２０１を
操作するためのマウス２０２、ビデオカメラ２０３を接
続するとともに、第１の実施例と同様の図示しないビデ
オキャプチャボード及びカメラ制御装置を接続し、第５
の実施例の第１の計算機１６の内部バス１６４にマウス
２０２を追加した構成と同一である。ビデオカメラ２０
３から取り込んだ動画は動画ウィンドウ２０１に表示さ
れているものとする。

【００６８】また、本実施例では制御主体が２系統ある
ため、制御の競合が生ずる可能性がある。このことを防
ぐため、カメラ２０３の制御権を得た方が制御を行う制
御権機能を導入している。カメラ２０３の制御権の与え
方は、例えば、次のようにする。すなわち、先に移動動
作をしている場合には、操作を拒否する。「操作の拒
否」とは、相手が操作中である旨を表示し、相手が操作
中はマウス２０２による操作を受け付けないようにす
る。

【００６９】このような第６の実施例によれば、制御権
調停機能を導入することで、制御が競合することなくカ
メラ２０３のある側とネットワーク２１を経由してカメ
ラ２０３から離れた遠隔地側の双方からのカメラ２０３
の方向制御が可能になる。従って、静止画中の動画ウィ
ンドウ２０１の位置の移動が、カメラ２０３のある側と
ネットワーク２１を経由してカメラ２０３から離れた遠
隔地側の両者からできるようになる。

【００７０】

【発明の効果】以上詳述した本発明によれば、以下の効
果を奏する。

【００７１】請求項１記載の発明によれば、大画面の動
画表示が遅い場合や動画転送レートがあまり高くなく、
高精細での広い範囲の動画表示が難しいような場合であ
っても、全体の雰囲気を伝える広い範囲の映像を静止画
として表示するとともに、注目部分に関しては動画とし
て表示し、さらに両者の位置・大きさを合わせつつ合成
表示することで、あたかも静止画の一部が動画に置き換
わったかのようになり、少ない計算機資源で効率的な動
画表示が可能になり、合成静止画全体を更新するのでは
なく、注目部分のみを更新するので、更新データ量が少
なくて済むので、注目部分については動画でその他の部
分については静止画で遠隔地の広範囲の様子を伝えるこ
とができ、しかも効率的な動画表示を可能とした動画表
示装置を提供することができる。

【００７２】請求項２記載の発明によれば、請求項１記
載と同様に、遠隔地の広範囲の様子を伝えることがで
き、しかも効率的な動画表示が可能となり、また、動き
部分を自動的に追跡するので、動画領域の移動操作の煩
わしさから解放される。

【００７３】請求項３記載の発明によれば、合成静止画
全体を定期的に更新するので、合成静止画全体のうち変
化があるのに全く更新されない部分がなくなる。

【００７４】請求項４記載の発明によれば、動画領域の
移動操作の煩わしさから解放されるとともに、動き検出
手段が物体の動きを検出していない場合に、合成静止画
全体を更新することができる。

【００７５】請求項５記載の発明によれば、請求項１記
載と同様に、遠隔地の広範囲の様子を伝えることがで
き、しかも効率的な動画表示が可能となり、動画撮影手
段とは別に静止画撮影手段を備えているので、静止画の
合成処理を省略できる。

【００７６】請求項６記載の発明によれば、請求項１記
載と同様に、遠隔地の広範囲の様子を伝えることがで
き、しかも効率的な動画表示が可能となり、動き部分を
自動的に追跡するので、動画領域の移動操作の煩わしさ
から解放され、動画撮影手段とは別に静止画撮影手段を
備えているので、静止画の合成処理を省略できる。

【００７７】請求項７記載の発明によれば、注目部分の
みを更新するので、通信ネットワークの転送量の大幅に
削減できる。

【００７８】請求項８記載の発明によれば、動画撮影手
段がある側で動画領域の移動操作を行うことができる。

【００７９】請求項９記載の発明によれば、動画撮影手
段がある側とそこから離れた遠隔地の双方で動画領域の
移動操作を行うことができる。

【００８０】請求項１０記載の発明によれば、視線入力
装置を用いることにより、動画領域の移動操作の煩わし
さから解放される。

【図面の簡単な説明】

【図１】第１の実施例のブロック図である。

【図２】本実施例のビットマップディスプレイの表示画
面の一例を示す図である。

【図３】動画ウィンドウの移動を説明するための図であ
る。

【図４】本実施例の動画ウィンドウの移動の際の動作を
示すフローチャートである。

【図５】本実施例のビットマップディスプレイの表示画
面の座標系を説明するための図である。

【図６】静止画の合成方法を説明するための図である。

【図７】第２の実施例のブロック図である。

【図８】第３の実施例のブロック図である。

【図９】第４の実施例のブロック図である。

【図１０】第５の実施例のブロック図である。

【図１１】第６の実施例のブロック図である。

【符号の説明】

１Ａ乃至１Ｆ 動画表示装置 ２、１６０、１７０ ＣＰＵ（制御手段） ３、１６１、１７５ ビットマップディスプレイ（表示
手段） ４、１７４、２０３ ビデオカメラ（動画撮影手段） ５、１７３ カメラ制御装置（撮影方向変更手段） ６、１７２ ビデオキャプチャ装置 ７、１７６、１９２、２０２ マウス（動画領域移動手
段） ８、１６２、１７２ 主記憶装置 １０ 動き検出装置 １１ 画像取り込み装置 １２ 静止画カメラ １５、１８、２１ 通信ネットワーク ３０ 静止画ウィンドウ ３１ 動画ウィンドウ

Claims (10)

【特許請求の範囲】
1. 【請求項１】 動画を撮影する動画撮影手段と、この動
   画撮影手段の撮影方向を変更する撮影方向変更手段と、
   前記動画撮影手段の撮影方向を変更して予め撮影された
   様々な方向の動画を基に１つの広範囲の静止画を合成す
   る合成手段と、この合成手段による合成静止画を静止画
   領域に表示するとともに、前記動画撮影手段が現在撮影
   している動画を静止画領域上の現在の撮影方向に対応す
   る位置に重畳した動画領域に表示する表示手段と、前記
   静止画領域内で動画領域を移動する動画領域移動手段
   と、この動画領域移動手段によって移動した動画領域の
   位置情報に基づいて前記動画撮影手段の撮影方向が移動
   後の動画領域の位置に対応するよう前記撮影方向変更手
   段を制御するとともに、撮影方向の変更前に動画領域に
   表示していた動画を用いて前記合成静止画のうち移動前
   の動画領域に対応する部分を静止画として更新する制御
   手段とを有することを特徴とする動画表示装置。
2. 【請求項２】 動画を撮影する動画撮影手段と、この動
   画撮影手段の撮影方向を変更する撮影方向変更手段と、
   前記動画撮影手段の撮影方向を変更して予め撮影された
   様々な方向の動画を基に１つの広範囲の静止画を合成す
   る合成手段と、この合成手段による合成静止画を静止画
   領域に表示するとともに、前記動画撮影手段が現在撮影
   している動画を静止画領域上の現在の撮影方向に対応す
   る位置に重畳した動画領域に表示する表示手段と、前記
   動画領域に表示されている動画中の物体の動きを検出す
   る動き検出手段と、この動き検出手段が検出した物体の
   位置情報に基づいて前記動画領域を移動するとともに前
   記動画撮影手段の撮影方向が移動後の物体の位置に対応
   するよう前記撮影方向変更手段を制御するとともに、撮
   影方向の変更前に動画領域に表示していた動画を用いて
   前記合成静止画のうち移動前の動画領域に対応する部分
   を静止画として更新する制御手段とを有することを特徴
   とする動画表示装置。
3. 【請求項３】 前記静止画領域に対応する撮影領域を前
   記動画撮影手段により走査して前記合成静止画全体を定
   期的に更新することを特徴とする請求項１又は２記載の
   動画表示装置。
4. 【請求項４】 前記動き検出手段が物体の動きを検出し
   ていない場合に、前記静止画領域に対応する撮影領域を
   前記動画撮影手段により走査して前記合成静止画全体を
   更新することを特徴とする請求項２記載の動画表示装
   置。
5. 【請求項５】 動画を撮影する動画撮影手段と、この動
   画撮影手段の撮影方向を変更する撮影方向変更手段と、
   前記動画撮影手段よりも広角の倍率を持ち、広範囲の静
   止画を撮影する静止画撮影手段と、この静止画撮影手段
   が撮影した静止画を静止画領域に表示するとともに、前
   記動画撮影手段が現在撮影している動画を静止画領域上
   の現在の撮影方向に対応する位置に重畳した動画領域に
   表示する表示手段と、前記静止画領域内で動画領域を移
   動する動画領域移動手段と、この動画領域移動手段によ
   って移動した動画領域の位置情報に基づいて前記動画撮
   影手段の撮影方向が移動後の動画領域の位置に対応する
   よう前記撮影方向変更手段を制御する制御手段とを有す
   ることを特徴とする動画表示装置。
6. 【請求項６】 動画を撮影する動画撮影手段と、この動
   画撮影手段の撮影方向を変更する撮影方向変更手段と、
   前記動画撮影手段よりも広角の倍率を持ち、広範囲の静
   止画を撮影する静止画撮影手段と、この静止画撮影手段
   が撮影した静止画を静止画領域に表示するとともに、前
   記動画撮影手段が現在撮影している動画を静止画領域上
   の現在の撮影方向に対応する位置に重畳した動画領域に
   表示する表示手段と、前記動画領域に表示されている動
   画中の物体の動きを検出する動き検出手段と、この動き
   検出手段が検出した物体の位置情報に基づいて前記動画
   領域を移動するとともに前記動画撮影手段の撮影方向が
   移動後の物体の位置に対応するよう前記撮影方向変更手
   段を制御する制御手段とを有することを特徴とする動画
   表示装置。
7. 【請求項７】 通信ネットワークを介して前記表示手段
   及びそれに必要な手段と前記撮影手段及びそれに必要な
   手段とを接続したことを特徴とする請求項１、２、３、
   ４、５又は６記載の動画表示装置。
8. 【請求項８】 前記表示手段を２つ備え、通信ネットワ
   ークを介して一方の表示手段と他方の表示手段、前記撮
   影手段、撮影方向変更手段及び動画領域移動手段とを接
   続したことを特徴とする請求項１、３、４又は５記載の
   動画表示装置。
9. 【請求項９】 前記動画領域移動手段を２つ備えるとと
   もに、両動画領域移動手段の制御権調停機能を有し、通
   信ネットワークを介して一方の動画領域移動手段及び前
   記表示手段と他方の動画領域移動手段、前記撮影手段及
   び撮影方向変更手段とを接続したことを特徴とする請求
   項１、３、４又は５記載の動画表示装置。
10. 【請求項１０】 前記動画領域移動手段は、視線入力装
    置を用いることを特徴とする請求項１、３、４又は５記
    載の動画表示装置。