JP3684009B2 - 映像通信システム及び情報処理装置及びその制御方法 - Google Patents
映像通信システム及び情報処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP3684009B2 JP3684009B2 JP32055996A JP32055996A JP3684009B2 JP 3684009 B2 JP3684009 B2 JP 3684009B2 JP 32055996 A JP32055996 A JP 32055996A JP 32055996 A JP32055996 A JP 32055996A JP 3684009 B2 JP3684009 B2 JP 3684009B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- video information
- storage unit
- display
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置を遠隔操作可能な映像通信システム及び情報処理装置及びその制御方法に関する。
【０００２】
【従来の技術】
図８は一般的な映像通信システムの概要を示す図である。また、図９は一般的な映像通信システムの概略構成を示すブロック図である。例えば、カメラを制御し、その映像を送信する映像サーバとしての通信端末１００は、図８に示すように、コンピュータ本体１０１、キーボード１０２、マウス１０３、ディスプレイ１０４、ビデオカメラ１０５を備える。また、通信端末１００よりの映像データを受信してこれを表示する映像クライアントとしての通信端末２００は、図８に示されるように、コンピュータ本体２０１、キーボード２０２、マウス２０３、ディスプレイ２０４を備える。そして、通信端末１００と通信端末２００はネットワーク３００によって通信可能に接続される。
【０００３】
図９に示されるように、通信端末１００のビデオカメラ１０５で撮影された映像は、映像入力部１１０によってデジタル化される。そしてデジタル化された１画面分の映像データは、ネットワーク送受信部１１１によりパケット化され、ネットワーク３００上に出力される。ネットワーク３００上に出力されたパケットは、通信端末２００のネットワーク送受信部２１１により受信される。通信端末２００はパケットを受信すると、受信したパケットをデータ化し、それを映像バッファ２１０に蓄積する。そして通信端末２００は、映像データを一定のタイミングで映像バッファ２１０から読み出し、映像をディスプレイ２０４に表示する。
【０００４】
以上の動作を繰り返すことにより、ビデオカメラ１０５によって通信端末１００で獲得している動画映像を通信端末２００で表示することが可能となる。ここで、映像データを映像バッファ２１０に蓄積する理由は次の通りである。
ネットワーク上のパケットは様々な理由で時間に対する揺らぎ(ジッタ)を持って流れる。この様子を図１０に示す。図１０に示されるように、映像データ送信側から一定の間隔Ｔで１フレーム分の映像データが送信されたとしても、ジッタの影響で受信側では必ずしも一定の間隔Ｔで受信されるとは限らない。このため、図１０のＡの部分に示されるように受信間隔が広がったり、Ｂの部分に示されるように受信間隔が狭まったりする。
【０００５】
従って、もし、映像バッファ２１０を介さずに受信したデータをすぐに表示すると、ディスプレイに表示される映像の動きが遅くなったり（Ａの部分）、速くなったり（Ｂの部分）してしまう。これを防ぐために、ジッタを吸収できるだけの時間映像バッファ２１０にバッファしておき、映像の再生時に映像獲得時と同じタイミングで読み出すことで、ジッタの影響を少なくすことが一般に行なわれる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来例では、パン、チルトおよびズームを外部制御可能なビデオカメラ１０５を通信端末１００に接続し、映像の表示を行っている通信端末２００からビデオカメラ１０５の姿勢を制御する場合を考慮していなかった。具体的に説明する。上記従来例では、表示する映像データをバッファしているため、映像を獲得した時刻と表示される時刻に生じるズレが大きくなる。このため、映像表示を行っている通信端末２００から、ユーザがその映像を見ながらビデオカメラ１０５のパンやチルトやズームなどの制御を行った際、ビデオカメラを動かした後の映像が表示されるまでにしばらく時間がかかることになる。よって、ユーザは更にビデオカメラを動かしてしまい、ユーザが意図した以上にビデオカメラを動かしてしまうという問題があった。
【０００７】
本発明は上記の問題に鑑みてなされたものであり、撮像装置の遠隔操作時において、映像送信側端末が獲得した時刻と映像表示側端末が映像を表示する時刻のズレを小さくすることを可能とし、映像表示側端末による表示画像を見ながら映像送信端末の撮像装置の操作を行った際の、表示画像の操作状態に対する追従性を向上した映像通信システム及び情報処理装置及びその制御方法を提供することを目的とする。
【０００８】
また、本発明の他の目的は、映像表示側端末から映像送信側端末にある撮像装置の操作を行った場合に、撮像装置の操作後に映像送信側端末が獲得した映像をより迅速に映像表示側端末に表示させることを可能とすることにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明の映像通信システムは以下の構成を備える。すなわち、
少なくとも１つの映像送信端末よりの映像情報を少なくとも１つの映像表示端末で受信して表示する映像通信システムであって、
前記映像送信端末に設けられた撮像装置よりの映像情報を前記映像表示端末で受信する受信手段と、
前記映像情報をバッファリングする第１の記憶手段と、
前記映像情報を表示イメージとして記憶する第２の記憶手段と、
前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段と、
前記映像表示端末において、前記撮像装置の操作状態を検出する検出手段と、
前記検出手段で前記撮像装置が被操作状態でないことを検出した場合、前記受信手段で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信手段で受信した映像情報を前記第２の記憶手段に出力する制御手段とを備える。
【００１０】
また、上記の目的を達成する本発明の情報処理装置は以下の構成を備える。すなわち、
ネットワーク上の外部装置より映像情報を受信して表示する情報処理装置であって、
前記映像情報を受信する受信手段と、
前記映像情報をバッファリングする第１の記憶手段と、
前記映像情報を表示イメージとして記憶する第２の記憶手段と、
前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段と、
前記外部装置の送信する映像情報を獲得している撮像装置が被操作状態であることを検出する検出手段と、
前記検出手段で前記撮像装置が被操作状態でないことを検出した場合、前記受信手段で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信手段で受信した映像情報を前記第２の記憶手段に出力する制御手段とを備える。
【００１２】
更に上記の目的を達成するための本発明の映像通信システムの制御方法は、
少なくとも１つの映像送信端末よりの映像情報を少なくとも１つの映像表示端末で受信して表示する映像通信システムの制御方法であって、
前記映像表示端末は、前記映像情報をバッファリングする第１の記憶手段と、前記映像情報を表示イメージとして記憶する第２の記憶手段と、前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段とを備え、
前記映像送信端末に設けられた撮像装置よりの映像情報を前記映像表示端末で受信する受信工程と、
前記映像表示端末において、前記撮像装置の操作状態を検出する検出工程と、
前記検出工程で前記撮像装置が被操作状態でないことを検出した場合、前記受信工程で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信工程で受信した映像情報を第２の記憶手段に出力する制御工程とを備える。
【００１３】
また、上記の目的を達成する本発明の情報処理装置の制御方法は、
ネットワーク上の外部装置より映像情報を受信して表示する情報処理装置の制御方法であって、
前記情報処理装置は、前記映像情報をバッファリングする第１の記憶手段と、前記映像情報を表示イメージとして記憶する第２の記憶手段と、前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段とを備え、
前記映像情報を受信する受信工程と、
前記外部装置の送信する映像情報を獲得している撮像装置の操作状態を検出する検出工程と、
前記検出工程で前記撮像装置が被操作状態でないことを検出した場合、前記受信工程で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信工程で受信した映像情報を第２の記憶手段に出力する制御工程とを備える。
【００１４】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施の形態を説明する。
【００１５】
＜第１の実施形態＞
図１は第１の実施形態による映像通信システムの構成を説明するブロック図である。１０、２０は通信端末であり、それぞれの端末本体１１、２１は、通常のコンピュータと同様にＣＰＵ４１、５１、ＲＯＭ４２、５２、ＲＡＭ４３、５３、外部記憶装置４４、５４などから構成されている。また、通信端末１０、２０は、ネットワーク３０によって相互に通信可能に接続される。
【００１６】
１２はビデオカメラである。また、１３は映像入力部であり、ビデオカメラ１２より出力された映像アナログ信号を取り込み、これをデジタル化する。１４はカメラ制御部であり、ビデオカメラ１２のパン、チルト及びズームなどを制御する（以下、姿勢制御という）。１５はネットワーク送受信部であり、ネットワーク３０にパケットを送信したり、ネットワーク３０に流れているパケットを受信したりする。以上の映像入力部１３、カメラ制御部１４、ネットワーク送受信部１５の各構成は、それぞれの構成に適応したハードウエアと、ＣＰＵ４１がＲＯＭ４２或いはＲＡＭ４３に格納された制御プログラムを実行してこれらハードウエアを適切に制御することで実現される。
【００１７】
２７は受信したデジタル映像データを蓄積するための映像バッファ部である。映像バッファ部２７は、ＲＡＭ５３或いは外部記憶装置５４を映像バッファとして使用し、最初に蓄積したデータを最初に読み出すことが可能なFirstInFirstOutメモリを構成している。２２はディスプレイであり、ＣＰＵ５１の制御によって各種表示を行う。受信した映像も、このディスプレイ２２に表示される。２８はポインティングデバイスであるマウス、２９はキーボードである。
【００１８】
２３はカメラ制御部であり、マウス２８或いはキーボード２９によって指示されたビデオカメラ１２のパン角、チルト角、ズーム値などの指示をコマンド化するとともに、これを通信端末１０へ送信するべくネットワーク送受信部２４に渡す。２６はバッファ抑制部であり、映像バッファ部２７に対して、映像データをバッファリングするかそのままディスプレイに表示するかを指示する。２５はカメラ制御検知部であり、カメラ制御要求が行われているか否かを判断し、その判断結果をバッファ抑制部２６へ伝える。２４はネットワーク送受信部であり、ネットワーク３０にパケットを送信したり、ネットワーク３０に流れているパケットを受信したりする。
【００１９】
以上の参照番号２３〜２７で示した各部は、それぞれの構成に適応したハードウエアと、ＣＰＵ５１がＲＯＭ５２或いはＲＡＭ５３に格納された制御プログラムを実行してこれらハードウエアを適切に制御することで実現される。
【００２０】
図２は本実施形態による通信端末２０の表示例を示す図である。同図において３０１はディスプレイ２２に表示されたマウスカーソルである。周知の通り、マウス２８によりマウスカーソル３０１はマウス２８の操作によって自在に移動させることができる。３０２はディスプレイ２２に表示された映像で、通信端末１０のビデオカメラ１２からの映像である。３０３はカメラ操作のためのユーザインタフェースである。
【００２１】
以下、通信端末１０から映像データを出力するまでの動作を図１を用いて説明する。
【００２２】
通信端末１０のビデオカメラ１５から出力されたアナログ映像データは映像入力部１３によりデジタル化される。デジタル化された映像データはネットワーク送受信部１５によりパケット化され、通信端末１０からネットワーク３０に所定の周期で送り出される。
【００２３】
次に、通信端末２０が映像データを受信してから表示するまでの動作を図１、図３、図４を用いて説明する。図３は本実施形態の映像バッファ部２７とその周辺部分の構成をを詳細に示すブロック図である。また、図４は本実施形態の通信端末２０による受信映像データの表示手順を示すフローチャートである。
【００２４】
図３に示すように、映像バッファ部２７はバッファメモリ２７ａ、バッファ制御部２７ｂ、出力制御部２７ｃを備える。バッファメモリ２７ａは、例えばＲＡＭ５３の一部を利用して構成され、本例では最大１０画面分の映像データを格納できるものとする。また、バッファ制御部２７ｂは、バッファ抑制部２６の抑制信号がオフのときは入力した映像データをバッファメモり２７ａへバッファリングし、抑制信号がオンのときは入力した映像データを出力制御部２７ｃへ送る。出力制御部２７ｃは、抑制信号がオフの場合はバッファメモリ２７ａよりバッファリングされたデータを読み出して描画部５５へ出力し、抑制信号がオンの場合はバッファ制御部２７ｂよりの映像データを描画部５５へ出力する。この結果、抑制信号がオンの場合には、入力された映像データはバッファメモリ２７ａに格納されず、そのまま描画部５５へ出力されることになる。
【００２５】
描画部５５は入力された映像データに基づいてＶＲＡＭ５６へイメージの描画を行う。ＶＲＡＭ５６に描画されたイメージは不図示のビデオコントローラによってディスプレイ２２に表示される。
【００２６】
以上のようなバッファ抑制部２６、映像バッファ部２７の動作を、図４のフローチャートを用いて更に説明する。
【００２７】
まず、ステップＳ１１において、映像データのパケットを受信したかどうかを判定する。パケットが受信されていれば、ステップＳ１２へ進み、現在カメラ制御中かどうかが判定される。この判定は、上述のようにカメラ抑制部２６からの抑制信号がオンか否かをチェックすることで行なわれる。現在カメラ制御中でなければ、ステップＳ１３へ進み、バッファメモリ２７ａに当該映像データをバッファリングする。
【００２８】
ステップＳ１４では１０画面分の映像データがバッファメモリ２７ａに蓄積されたか否か、或いは表示フラグがオンしているか否かを判断する。１０画面分の映像データがバッファリングされると、所定の表示タイミングでの表示を開始すべく、表示フラグがオンされる（ステップＳ１５）。そして、表示タイミングになると、バッファメモリから、１番古い１フレーム分の映像データが読み出され、ディスプレイ２２に描画される（ステップＳ１６、Ｓ１７）。なお、読み出した映像データはバッファメモリ２７ａから消去される。以後、表示フラグがオンの間、受信した映像データのバッファメモリ２７ａへのバッファリングと、バッファメモリ２７ａから読み出した映像データの表示が並行して行なわれる。そして、バッファメモリ２７ａから映像データが無くなると、表示フラグがオフされる（ステップＳ１８、Ｓ１９）。
【００２９】
以上のような処理の途中で、カメラ制御要求部２３からカメラの制御要求が発行されると、カメラ制御検知部２５これを検知し、バッファ抑制部２６に伝える。バッファ抑制部２６が抑制信号をオンすると、バッファ制御部２７ｂは入力された映像データを、バッファメモリ２７ａを介さずにバッファ出力部２７ｃに渡す。そして、バッファ出力部２７ｃがこの映像データを描画部５５に送ることにより、バッファリング無しで受信した映像データが表示されることになる（ステップＳ１２、Ｓ２０）。
【００３０】
以上のように構成することにより、カメラ操作時に映像データがバッファされることがなくなり、カメラ操作によって変化した映像を少ない遅延時間で表示できるようになる。このため、カメラ操作が行い易くなるという利点がある。
【００３１】
なお、上記説明では、１対１の通信システムを例にとって説明したが、本発明はこれに限られるものではなく、多対多の通信システムに関して適応可能であることは明らかである。また本実施形態の通信端末は送信専用（通信端末１０）と表示専用（通信端末２９）に分かれていたが、本発明はこれに限るものではなく相互に通信する場合においても適用可能である。
【００３２】
以上説明したように、第１の実施形態によれば、映像表示側の装置からカメラを操作した場合、カメラを動かした後の映像がバッファされずに表示されるので、カメラの撮像時刻と表示時刻との差を短くすることができ、カメラの操作性が向上する。
【００３３】
＜第２の実施形態＞
上記第１の実施形態では、カメラ操作時に、既に映像バッファ部２７に映像データが蓄積されていると、カメラ操作を終了した後、バッファされている映像データを全て読み出すまでは最新の映像を表示できない。第２の実施形態はこの問題を解決するためのものである。
【００３４】
図５は第２の実施形態による映像通信システムの構成を示すブロック図である。同図において、第１の実施形態（図１）と同じ構成には同一の参照番号を付し、ここではそれらの詳細な説明を省略する。６１はバッファ消去部であり、カメラ制御検知部２５がユーザによるカメラ操作を検知した場合に、映像バッファ部２７にバッファリングされた映像データを消去する。
【００３５】
図６は第２の実施形態による映像バッファ部２７とその周辺部分の構成をを詳細に示すブロック図である。同図において第１の実施形態（図３）と同じ構成には同一の参照番号を付してある。第２の実施形態では、バッファ制御部６１が、バッファメモリ２７ａに格納された映像データの一括消去を行う。
【００３６】
以上のような構成において、通信端末２０のマウスカーソル３０１をマウス２８を用いてディスプレイ上で動かすことで、カメラ制御インタフェース３０３を用いてビデオカメラ１２の操作を行うと、その情報がカメラ制御要求部２３に伝わる。カメラ制御要求部２３はその要求をコマンド化し、ネットワーク送受信部２４に渡す。ネットワーク送受信部２４はコマンドをパケット化してネットワーク３０に送信する。通信端末１０のネットワーク送受信部１５はパケットを受信すると、パケットをコマンドに戻し、これをカメラ制御部１４に渡す。カメラ制御部１４はコマンドに従ってカメラの制御を行う。
【００３７】
図７は第２の実施形態によるバッファ消去部の処理手順を説明するフローチャートである。通信端末２０のカメラ制御要求部２３にカメラ制御要求が伝わると、カメラ制御検知部２５がそれを検知する。カメラ制御検知部２５は、カメラ制御要求を検知するとバッファ消去部６１にその旨を伝える。この通知を受けたバッファ消去部６１２は、映像バッファ部２７内のバッファメモリ２７ａに映像データが蓄積されているかどうかを調べる（ステップＳ１０１、Ｓ１０２）。そして、バッファメモリ２７ａに映像データが蓄積されていれば、バッファメモリ２７ｂに蓄積されている全ての映像データを消去する（ステップＳ１０３）。
【００３８】
以上のように構成することにより、カメラ操作時にバッファされた映像データを表示することがなくなり、カメラ操作の結果変化した映像をすぐに表示することができ、カメラ操作が行い易くなるという利点がある。
【００３９】
なお、上記第２の実施形態では１対１の通信システムを例にとって説明したが、本発明は多対多の通信システムに関しても適用可能であることは明らかである。また本実施形態の通信端末は送信専用（通信端末１０）と表示専用（通信端末２０）に分かれていたが、本発明はこれに限るものではなく相互に通信する場合においても適用可能である。
【００４０】
以上のように、第２の実施形態によれば、第１の実施形態の効果に加えて、カメラ操作終了後に、新たな姿勢による映像データを迅速に表示することが可能となる。
【００４１】
なお、上記第１及び第２の実施形態では、映像表示側の通信端末においてカメラの制御指示を行った場合に、当該映像表示側の端末においてその制御指示を検出してバッファの抑制を行う。しかしながら、ビデオカメラ１２が制御指示を受けた場合に、映像送信側の端末がその旨を示す情報を映像データに付加して送信するようにし、映像表示側の端末が映像データの付加情報に基づいてカメラが制御中であることを認識するようにしてもよい。この場合、例えば、カメラ制御検知部２５が受信した映像データパケットから、付加情報を分離して、カメラ制御中か否かを検出する。このようにすれば、複数の映像表示側となる通信端末が存在した場合に、そう指示を行っていない表示端末に置いても、カメラの動作に追従した映像を表示させることが可能となる。
【００４２】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図１１のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。すなわち、例えば「受信処理モジュール」「バッファ処理モジュール」、「第１表示処理モジュール」「検出処理モジュール」及び「第２表示処理モジュール」の各モジュールのプログラムコードを記憶媒体に格納する。また、好ましくは「消去処理モジュール」の各モジュールのプログラムコードを格納する。
【００４８】
ここで、上記各処理モジュールは、ネットワーク上の外部装置より映像情報を受信して表示するための制御プログラムを構成するもので、受信処理モジュールは映像情報を受信する受信処理を実行する。また、バッファ処理モジュールは受信した映像情報をバッファリングするバッファ処理を実現する。また、第１表示処理モジュールは、バッファ処理によって蓄積された映像情報に基づいて画像を表示する第１表示処理を実現する。また、検出処理モジュールは、外部装置の送信する映像情報を獲得している撮像装置が被制御状態であることを検出する検出処理を実現する。また、第２表示処理モジュールは、検出処理で前記撮像装置が被制御状態であることを検出した場合、前記受信処理で受信した映像情報をバッファ処理を介さずに直接的に表示する第２表示処理を実現する。更に、消去処理モジュールは、検出処理によって前記撮像装置が被制御状態であることが検出された場合、バッファ処理によって蓄積された映像情報を消去する消去処理を実現するものである。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、撮像装置の遠隔操作時において、映像送信側端末が獲得した時刻と映像表示側端末が映像を表示する時刻のズレを小さくすることを可能とし、映像表示側端末による表示画像を見ながら映像送信端末のカメラ操作を行った際の、表示画像の操作状態に対する追従性が向上する。
【００５０】
また、本発明によれば、映像表示側端末から映像送信側端末にある撮像装置の操作を行った場合にバッファ内の映像データを消去するので、撮像装置の操作後に映像送信側端末が獲得した映像をより迅速に映像表示側端末に表示させることが可能となる。
【００５１】
【図面の簡単な説明】
【図１】第１の実施形態による映像通信システムの構成を説明するブロック図である。
【図２】本実施形態による通信端末２０の表示例を示す図である。
【図３】本実施形態の映像バッファ部２７とその周辺部分の構成をを詳細に示すブロック図である。
【図４】本実施形態の通信端末２０による受信映像データの表示手順を示すフローチャートである。
【図５】第２の実施形態による映像通信システムの構成を示すブロック図である。
【図６】第２の実施形態による映像バッファ部２７とその周辺部分の構成をを詳細に示すブロック図である。
【図７】第２の実施形態によるバッファ消去部の処理手順を説明するフローチャートである。
【図８】一般的な映像通信システムの概要を示す図である。
【図９】一般的な映像通信システムの概略構成を示すブロック図である。
【図１０】ネットワーク上の通信におけるジッタの発生を説明する図である。
【図１１】本発明に係る制御プログラムを格納した記憶媒体のメモリマップ例を示す図である。
【符号の説明】
１０、２０ 通信端末
１１、２１ 端末本体
１２ ビデオカメラ
１３ 映像入力部
１４ カメラ制御部
１５、２４ ネットワーク送受信部
２２ ディスプレイ
２３ カメラ制御要求部
２５ カメラ制御検知部
２６ バッファ制御部
２７ 映像バッファ部
４１、５１ ＣＰＵ
４２、５２ ＲＯＭ
４３、５３ ＲＡＭ
４４、５４ 外部記憶装置
【発明の属する技術分野】
本発明は、撮像装置を遠隔操作可能な映像通信システム及び情報処理装置及びその制御方法に関する。
【０００２】
【従来の技術】
図８は一般的な映像通信システムの概要を示す図である。また、図９は一般的な映像通信システムの概略構成を示すブロック図である。例えば、カメラを制御し、その映像を送信する映像サーバとしての通信端末１００は、図８に示すように、コンピュータ本体１０１、キーボード１０２、マウス１０３、ディスプレイ１０４、ビデオカメラ１０５を備える。また、通信端末１００よりの映像データを受信してこれを表示する映像クライアントとしての通信端末２００は、図８に示されるように、コンピュータ本体２０１、キーボード２０２、マウス２０３、ディスプレイ２０４を備える。そして、通信端末１００と通信端末２００はネットワーク３００によって通信可能に接続される。
【０００３】
図９に示されるように、通信端末１００のビデオカメラ１０５で撮影された映像は、映像入力部１１０によってデジタル化される。そしてデジタル化された１画面分の映像データは、ネットワーク送受信部１１１によりパケット化され、ネットワーク３００上に出力される。ネットワーク３００上に出力されたパケットは、通信端末２００のネットワーク送受信部２１１により受信される。通信端末２００はパケットを受信すると、受信したパケットをデータ化し、それを映像バッファ２１０に蓄積する。そして通信端末２００は、映像データを一定のタイミングで映像バッファ２１０から読み出し、映像をディスプレイ２０４に表示する。
【０００４】
以上の動作を繰り返すことにより、ビデオカメラ１０５によって通信端末１００で獲得している動画映像を通信端末２００で表示することが可能となる。ここで、映像データを映像バッファ２１０に蓄積する理由は次の通りである。
ネットワーク上のパケットは様々な理由で時間に対する揺らぎ(ジッタ)を持って流れる。この様子を図１０に示す。図１０に示されるように、映像データ送信側から一定の間隔Ｔで１フレーム分の映像データが送信されたとしても、ジッタの影響で受信側では必ずしも一定の間隔Ｔで受信されるとは限らない。このため、図１０のＡの部分に示されるように受信間隔が広がったり、Ｂの部分に示されるように受信間隔が狭まったりする。
【０００５】
従って、もし、映像バッファ２１０を介さずに受信したデータをすぐに表示すると、ディスプレイに表示される映像の動きが遅くなったり（Ａの部分）、速くなったり（Ｂの部分）してしまう。これを防ぐために、ジッタを吸収できるだけの時間映像バッファ２１０にバッファしておき、映像の再生時に映像獲得時と同じタイミングで読み出すことで、ジッタの影響を少なくすことが一般に行なわれる。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記従来例では、パン、チルトおよびズームを外部制御可能なビデオカメラ１０５を通信端末１００に接続し、映像の表示を行っている通信端末２００からビデオカメラ１０５の姿勢を制御する場合を考慮していなかった。具体的に説明する。上記従来例では、表示する映像データをバッファしているため、映像を獲得した時刻と表示される時刻に生じるズレが大きくなる。このため、映像表示を行っている通信端末２００から、ユーザがその映像を見ながらビデオカメラ１０５のパンやチルトやズームなどの制御を行った際、ビデオカメラを動かした後の映像が表示されるまでにしばらく時間がかかることになる。よって、ユーザは更にビデオカメラを動かしてしまい、ユーザが意図した以上にビデオカメラを動かしてしまうという問題があった。
【０００７】
本発明は上記の問題に鑑みてなされたものであり、撮像装置の遠隔操作時において、映像送信側端末が獲得した時刻と映像表示側端末が映像を表示する時刻のズレを小さくすることを可能とし、映像表示側端末による表示画像を見ながら映像送信端末の撮像装置の操作を行った際の、表示画像の操作状態に対する追従性を向上した映像通信システム及び情報処理装置及びその制御方法を提供することを目的とする。
【０００８】
また、本発明の他の目的は、映像表示側端末から映像送信側端末にある撮像装置の操作を行った場合に、撮像装置の操作後に映像送信側端末が獲得した映像をより迅速に映像表示側端末に表示させることを可能とすることにある。
【０００９】
【課題を解決するための手段】
上記の目的を達成するための本発明の映像通信システムは以下の構成を備える。すなわち、
少なくとも１つの映像送信端末よりの映像情報を少なくとも１つの映像表示端末で受信して表示する映像通信システムであって、
前記映像送信端末に設けられた撮像装置よりの映像情報を前記映像表示端末で受信する受信手段と、
前記映像情報をバッファリングする第１の記憶手段と、
前記映像情報を表示イメージとして記憶する第２の記憶手段と、
前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段と、
前記映像表示端末において、前記撮像装置の操作状態を検出する検出手段と、
前記検出手段で前記撮像装置が被操作状態でないことを検出した場合、前記受信手段で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信手段で受信した映像情報を前記第２の記憶手段に出力する制御手段とを備える。
【００１０】
また、上記の目的を達成する本発明の情報処理装置は以下の構成を備える。すなわち、
ネットワーク上の外部装置より映像情報を受信して表示する情報処理装置であって、
前記映像情報を受信する受信手段と、
前記映像情報をバッファリングする第１の記憶手段と、
前記映像情報を表示イメージとして記憶する第２の記憶手段と、
前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段と、
前記外部装置の送信する映像情報を獲得している撮像装置が被操作状態であることを検出する検出手段と、
前記検出手段で前記撮像装置が被操作状態でないことを検出した場合、前記受信手段で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信手段で受信した映像情報を前記第２の記憶手段に出力する制御手段とを備える。
【００１２】
更に上記の目的を達成するための本発明の映像通信システムの制御方法は、
少なくとも１つの映像送信端末よりの映像情報を少なくとも１つの映像表示端末で受信して表示する映像通信システムの制御方法であって、
前記映像表示端末は、前記映像情報をバッファリングする第１の記憶手段と、前記映像情報を表示イメージとして記憶する第２の記憶手段と、前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段とを備え、
前記映像送信端末に設けられた撮像装置よりの映像情報を前記映像表示端末で受信する受信工程と、
前記映像表示端末において、前記撮像装置の操作状態を検出する検出工程と、
前記検出工程で前記撮像装置が被操作状態でないことを検出した場合、前記受信工程で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信工程で受信した映像情報を第２の記憶手段に出力する制御工程とを備える。
【００１３】
また、上記の目的を達成する本発明の情報処理装置の制御方法は、
ネットワーク上の外部装置より映像情報を受信して表示する情報処理装置の制御方法であって、
前記情報処理装置は、前記映像情報をバッファリングする第１の記憶手段と、前記映像情報を表示イメージとして記憶する第２の記憶手段と、前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段とを備え、
前記映像情報を受信する受信工程と、
前記外部装置の送信する映像情報を獲得している撮像装置の操作状態を検出する検出工程と、
前記検出工程で前記撮像装置が被操作状態でないことを検出した場合、前記受信工程で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信工程で受信した映像情報を第２の記憶手段に出力する制御工程とを備える。
【００１４】
【発明の実施の形態】
以下、添付の図面を参照して本発明の好適な実施の形態を説明する。
【００１５】
＜第１の実施形態＞
図１は第１の実施形態による映像通信システムの構成を説明するブロック図である。１０、２０は通信端末であり、それぞれの端末本体１１、２１は、通常のコンピュータと同様にＣＰＵ４１、５１、ＲＯＭ４２、５２、ＲＡＭ４３、５３、外部記憶装置４４、５４などから構成されている。また、通信端末１０、２０は、ネットワーク３０によって相互に通信可能に接続される。
【００１６】
１２はビデオカメラである。また、１３は映像入力部であり、ビデオカメラ１２より出力された映像アナログ信号を取り込み、これをデジタル化する。１４はカメラ制御部であり、ビデオカメラ１２のパン、チルト及びズームなどを制御する（以下、姿勢制御という）。１５はネットワーク送受信部であり、ネットワーク３０にパケットを送信したり、ネットワーク３０に流れているパケットを受信したりする。以上の映像入力部１３、カメラ制御部１４、ネットワーク送受信部１５の各構成は、それぞれの構成に適応したハードウエアと、ＣＰＵ４１がＲＯＭ４２或いはＲＡＭ４３に格納された制御プログラムを実行してこれらハードウエアを適切に制御することで実現される。
【００１７】
２７は受信したデジタル映像データを蓄積するための映像バッファ部である。映像バッファ部２７は、ＲＡＭ５３或いは外部記憶装置５４を映像バッファとして使用し、最初に蓄積したデータを最初に読み出すことが可能なFirstInFirstOutメモリを構成している。２２はディスプレイであり、ＣＰＵ５１の制御によって各種表示を行う。受信した映像も、このディスプレイ２２に表示される。２８はポインティングデバイスであるマウス、２９はキーボードである。
【００１８】
２３はカメラ制御部であり、マウス２８或いはキーボード２９によって指示されたビデオカメラ１２のパン角、チルト角、ズーム値などの指示をコマンド化するとともに、これを通信端末１０へ送信するべくネットワーク送受信部２４に渡す。２６はバッファ抑制部であり、映像バッファ部２７に対して、映像データをバッファリングするかそのままディスプレイに表示するかを指示する。２５はカメラ制御検知部であり、カメラ制御要求が行われているか否かを判断し、その判断結果をバッファ抑制部２６へ伝える。２４はネットワーク送受信部であり、ネットワーク３０にパケットを送信したり、ネットワーク３０に流れているパケットを受信したりする。
【００１９】
以上の参照番号２３〜２７で示した各部は、それぞれの構成に適応したハードウエアと、ＣＰＵ５１がＲＯＭ５２或いはＲＡＭ５３に格納された制御プログラムを実行してこれらハードウエアを適切に制御することで実現される。
【００２０】
図２は本実施形態による通信端末２０の表示例を示す図である。同図において３０１はディスプレイ２２に表示されたマウスカーソルである。周知の通り、マウス２８によりマウスカーソル３０１はマウス２８の操作によって自在に移動させることができる。３０２はディスプレイ２２に表示された映像で、通信端末１０のビデオカメラ１２からの映像である。３０３はカメラ操作のためのユーザインタフェースである。
【００２１】
以下、通信端末１０から映像データを出力するまでの動作を図１を用いて説明する。
【００２２】
通信端末１０のビデオカメラ１５から出力されたアナログ映像データは映像入力部１３によりデジタル化される。デジタル化された映像データはネットワーク送受信部１５によりパケット化され、通信端末１０からネットワーク３０に所定の周期で送り出される。
【００２３】
次に、通信端末２０が映像データを受信してから表示するまでの動作を図１、図３、図４を用いて説明する。図３は本実施形態の映像バッファ部２７とその周辺部分の構成をを詳細に示すブロック図である。また、図４は本実施形態の通信端末２０による受信映像データの表示手順を示すフローチャートである。
【００２４】
図３に示すように、映像バッファ部２７はバッファメモリ２７ａ、バッファ制御部２７ｂ、出力制御部２７ｃを備える。バッファメモリ２７ａは、例えばＲＡＭ５３の一部を利用して構成され、本例では最大１０画面分の映像データを格納できるものとする。また、バッファ制御部２７ｂは、バッファ抑制部２６の抑制信号がオフのときは入力した映像データをバッファメモり２７ａへバッファリングし、抑制信号がオンのときは入力した映像データを出力制御部２７ｃへ送る。出力制御部２７ｃは、抑制信号がオフの場合はバッファメモリ２７ａよりバッファリングされたデータを読み出して描画部５５へ出力し、抑制信号がオンの場合はバッファ制御部２７ｂよりの映像データを描画部５５へ出力する。この結果、抑制信号がオンの場合には、入力された映像データはバッファメモリ２７ａに格納されず、そのまま描画部５５へ出力されることになる。
【００２５】
描画部５５は入力された映像データに基づいてＶＲＡＭ５６へイメージの描画を行う。ＶＲＡＭ５６に描画されたイメージは不図示のビデオコントローラによってディスプレイ２２に表示される。
【００２６】
以上のようなバッファ抑制部２６、映像バッファ部２７の動作を、図４のフローチャートを用いて更に説明する。
【００２７】
まず、ステップＳ１１において、映像データのパケットを受信したかどうかを判定する。パケットが受信されていれば、ステップＳ１２へ進み、現在カメラ制御中かどうかが判定される。この判定は、上述のようにカメラ抑制部２６からの抑制信号がオンか否かをチェックすることで行なわれる。現在カメラ制御中でなければ、ステップＳ１３へ進み、バッファメモリ２７ａに当該映像データをバッファリングする。
【００２８】
ステップＳ１４では１０画面分の映像データがバッファメモリ２７ａに蓄積されたか否か、或いは表示フラグがオンしているか否かを判断する。１０画面分の映像データがバッファリングされると、所定の表示タイミングでの表示を開始すべく、表示フラグがオンされる（ステップＳ１５）。そして、表示タイミングになると、バッファメモリから、１番古い１フレーム分の映像データが読み出され、ディスプレイ２２に描画される（ステップＳ１６、Ｓ１７）。なお、読み出した映像データはバッファメモリ２７ａから消去される。以後、表示フラグがオンの間、受信した映像データのバッファメモリ２７ａへのバッファリングと、バッファメモリ２７ａから読み出した映像データの表示が並行して行なわれる。そして、バッファメモリ２７ａから映像データが無くなると、表示フラグがオフされる（ステップＳ１８、Ｓ１９）。
【００２９】
以上のような処理の途中で、カメラ制御要求部２３からカメラの制御要求が発行されると、カメラ制御検知部２５これを検知し、バッファ抑制部２６に伝える。バッファ抑制部２６が抑制信号をオンすると、バッファ制御部２７ｂは入力された映像データを、バッファメモリ２７ａを介さずにバッファ出力部２７ｃに渡す。そして、バッファ出力部２７ｃがこの映像データを描画部５５に送ることにより、バッファリング無しで受信した映像データが表示されることになる（ステップＳ１２、Ｓ２０）。
【００３０】
以上のように構成することにより、カメラ操作時に映像データがバッファされることがなくなり、カメラ操作によって変化した映像を少ない遅延時間で表示できるようになる。このため、カメラ操作が行い易くなるという利点がある。
【００３１】
なお、上記説明では、１対１の通信システムを例にとって説明したが、本発明はこれに限られるものではなく、多対多の通信システムに関して適応可能であることは明らかである。また本実施形態の通信端末は送信専用（通信端末１０）と表示専用（通信端末２９）に分かれていたが、本発明はこれに限るものではなく相互に通信する場合においても適用可能である。
【００３２】
以上説明したように、第１の実施形態によれば、映像表示側の装置からカメラを操作した場合、カメラを動かした後の映像がバッファされずに表示されるので、カメラの撮像時刻と表示時刻との差を短くすることができ、カメラの操作性が向上する。
【００３３】
＜第２の実施形態＞
上記第１の実施形態では、カメラ操作時に、既に映像バッファ部２７に映像データが蓄積されていると、カメラ操作を終了した後、バッファされている映像データを全て読み出すまでは最新の映像を表示できない。第２の実施形態はこの問題を解決するためのものである。
【００３４】
図５は第２の実施形態による映像通信システムの構成を示すブロック図である。同図において、第１の実施形態（図１）と同じ構成には同一の参照番号を付し、ここではそれらの詳細な説明を省略する。６１はバッファ消去部であり、カメラ制御検知部２５がユーザによるカメラ操作を検知した場合に、映像バッファ部２７にバッファリングされた映像データを消去する。
【００３５】
図６は第２の実施形態による映像バッファ部２７とその周辺部分の構成をを詳細に示すブロック図である。同図において第１の実施形態（図３）と同じ構成には同一の参照番号を付してある。第２の実施形態では、バッファ制御部６１が、バッファメモリ２７ａに格納された映像データの一括消去を行う。
【００３６】
以上のような構成において、通信端末２０のマウスカーソル３０１をマウス２８を用いてディスプレイ上で動かすことで、カメラ制御インタフェース３０３を用いてビデオカメラ１２の操作を行うと、その情報がカメラ制御要求部２３に伝わる。カメラ制御要求部２３はその要求をコマンド化し、ネットワーク送受信部２４に渡す。ネットワーク送受信部２４はコマンドをパケット化してネットワーク３０に送信する。通信端末１０のネットワーク送受信部１５はパケットを受信すると、パケットをコマンドに戻し、これをカメラ制御部１４に渡す。カメラ制御部１４はコマンドに従ってカメラの制御を行う。
【００３７】
図７は第２の実施形態によるバッファ消去部の処理手順を説明するフローチャートである。通信端末２０のカメラ制御要求部２３にカメラ制御要求が伝わると、カメラ制御検知部２５がそれを検知する。カメラ制御検知部２５は、カメラ制御要求を検知するとバッファ消去部６１にその旨を伝える。この通知を受けたバッファ消去部６１２は、映像バッファ部２７内のバッファメモリ２７ａに映像データが蓄積されているかどうかを調べる（ステップＳ１０１、Ｓ１０２）。そして、バッファメモリ２７ａに映像データが蓄積されていれば、バッファメモリ２７ｂに蓄積されている全ての映像データを消去する（ステップＳ１０３）。
【００３８】
以上のように構成することにより、カメラ操作時にバッファされた映像データを表示することがなくなり、カメラ操作の結果変化した映像をすぐに表示することができ、カメラ操作が行い易くなるという利点がある。
【００３９】
なお、上記第２の実施形態では１対１の通信システムを例にとって説明したが、本発明は多対多の通信システムに関しても適用可能であることは明らかである。また本実施形態の通信端末は送信専用（通信端末１０）と表示専用（通信端末２０）に分かれていたが、本発明はこれに限るものではなく相互に通信する場合においても適用可能である。
【００４０】
以上のように、第２の実施形態によれば、第１の実施形態の効果に加えて、カメラ操作終了後に、新たな姿勢による映像データを迅速に表示することが可能となる。
【００４１】
なお、上記第１及び第２の実施形態では、映像表示側の通信端末においてカメラの制御指示を行った場合に、当該映像表示側の端末においてその制御指示を検出してバッファの抑制を行う。しかしながら、ビデオカメラ１２が制御指示を受けた場合に、映像送信側の端末がその旨を示す情報を映像データに付加して送信するようにし、映像表示側の端末が映像データの付加情報に基づいてカメラが制御中であることを認識するようにしてもよい。この場合、例えば、カメラ制御検知部２５が受信した映像データパケットから、付加情報を分離して、カメラ制御中か否かを検出する。このようにすれば、複数の映像表示側となる通信端末が存在した場合に、そう指示を行っていない表示端末に置いても、カメラの動作に追従した映像を表示させることが可能となる。
【００４２】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００４３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４４】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００４５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４６】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４７】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図１１のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。すなわち、例えば「受信処理モジュール」「バッファ処理モジュール」、「第１表示処理モジュール」「検出処理モジュール」及び「第２表示処理モジュール」の各モジュールのプログラムコードを記憶媒体に格納する。また、好ましくは「消去処理モジュール」の各モジュールのプログラムコードを格納する。
【００４８】
ここで、上記各処理モジュールは、ネットワーク上の外部装置より映像情報を受信して表示するための制御プログラムを構成するもので、受信処理モジュールは映像情報を受信する受信処理を実行する。また、バッファ処理モジュールは受信した映像情報をバッファリングするバッファ処理を実現する。また、第１表示処理モジュールは、バッファ処理によって蓄積された映像情報に基づいて画像を表示する第１表示処理を実現する。また、検出処理モジュールは、外部装置の送信する映像情報を獲得している撮像装置が被制御状態であることを検出する検出処理を実現する。また、第２表示処理モジュールは、検出処理で前記撮像装置が被制御状態であることを検出した場合、前記受信処理で受信した映像情報をバッファ処理を介さずに直接的に表示する第２表示処理を実現する。更に、消去処理モジュールは、検出処理によって前記撮像装置が被制御状態であることが検出された場合、バッファ処理によって蓄積された映像情報を消去する消去処理を実現するものである。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、撮像装置の遠隔操作時において、映像送信側端末が獲得した時刻と映像表示側端末が映像を表示する時刻のズレを小さくすることを可能とし、映像表示側端末による表示画像を見ながら映像送信端末のカメラ操作を行った際の、表示画像の操作状態に対する追従性が向上する。
【００５０】
また、本発明によれば、映像表示側端末から映像送信側端末にある撮像装置の操作を行った場合にバッファ内の映像データを消去するので、撮像装置の操作後に映像送信側端末が獲得した映像をより迅速に映像表示側端末に表示させることが可能となる。
【００５１】
【図面の簡単な説明】
【図１】第１の実施形態による映像通信システムの構成を説明するブロック図である。
【図２】本実施形態による通信端末２０の表示例を示す図である。
【図３】本実施形態の映像バッファ部２７とその周辺部分の構成をを詳細に示すブロック図である。
【図４】本実施形態の通信端末２０による受信映像データの表示手順を示すフローチャートである。
【図５】第２の実施形態による映像通信システムの構成を示すブロック図である。
【図６】第２の実施形態による映像バッファ部２７とその周辺部分の構成をを詳細に示すブロック図である。
【図７】第２の実施形態によるバッファ消去部の処理手順を説明するフローチャートである。
【図８】一般的な映像通信システムの概要を示す図である。
【図９】一般的な映像通信システムの概略構成を示すブロック図である。
【図１０】ネットワーク上の通信におけるジッタの発生を説明する図である。
【図１１】本発明に係る制御プログラムを格納した記憶媒体のメモリマップ例を示す図である。
【符号の説明】
１０、２０ 通信端末
１１、２１ 端末本体
１２ ビデオカメラ
１３ 映像入力部
１４ カメラ制御部
１５、２４ ネットワーク送受信部
２２ ディスプレイ
２３ カメラ制御要求部
２５ カメラ制御検知部
２６ バッファ制御部
２７ 映像バッファ部
４１、５１ ＣＰＵ
４２、５２ ＲＯＭ
４３、５３ ＲＡＭ
４４、５４ 外部記憶装置
Claims (8)
- 少なくとも１つの映像送信端末よりの映像情報を少なくとも１つの映像表示端末で受信して表示する映像通信システムであって、
前記映像送信端末に設けられた撮像装置よりの映像情報を前記映像表示端末で受信する受信手段と、
前記映像情報をバッファリングする第１の記憶手段と、
前記映像情報を表示イメージとして記憶する第２の記憶手段と、
前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段と、
前記映像表示端末において、前記撮像装置の操作状態を検出する検出手段と、
前記検出手段で前記撮像装置が被操作状態でないことを検出した場合、前記受信手段で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信手段で受信した映像情報を前記第２の記憶手段に出力する制御手段とを備えることを特徴とする映像通信システム。 - 前記第１の記憶手段は複数フレームの映像情報を記憶し、前記第２の記憶手段へ古いフレームの順に映像情報を出力することを特徴とする請求項１に記載の映像通信システム。
- ネットワーク上の外部装置より映像情報を受信して表示する情報処理装置であって、
前記映像情報を受信する受信手段と、
前記映像情報をバッファリングする第１の記憶手段と、
前記映像情報を表示イメージとして記憶する第２の記憶手段と、
前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段と、
前記外部装置の送信する映像情報を獲得している撮像装置が被操作状態であることを検出する検出手段と、
前記検出手段で前記撮像装置が被操作状態でないことを検出した場合、前記受信手段で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信手段で受信した映像情報を前記第２の記憶手段に出力する制御手段とを備えることを特徴とする情報処理装置。 - 前記第１の記憶手段は複数フレームの映像情報を記憶し、前記第２の記憶手段へ古いフレームの順に映像情報を出力することを特徴とする請求項３に記載の情報処理装置。
- 少なくとも１つの映像送信端末よりの映像情報を少なくとも１つの映像表示端末で受信して表示する映像通信システムの制御方法であって、
前記映像表示端末は、前記映像情報をバッファリングする第１の記憶手段と、前記映像情報を表示イメージとして記憶する第２の記憶手段と、前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段とを備え、
前記映像送信端末に設けられた撮像装置よりの映像情報を前記映像表示端末で受信する受信工程と、
前記映像表示端末において、前記撮像装置の操作状態を検出する検出工程と、
前記検出工程で前記撮像装置が被操作状態でないことを検出した場合、前記受信工程で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信工程で受信した映像情報を第２の記憶手段に出力する制御工程とを備えることを特徴とする制御方法。 - 前記第１の記憶手段は複数フレームの映像情報を記憶し、前記第２の記憶手段へ古いフレームの順に映像情報を出力することを特徴とする請求項５に記載の制御方法。
- ネットワーク上の外部装置より映像情報を受信して表示する情報処理装置の制御方法であって、
前記情報処理装置は、前記映像情報をバッファリングする第１の記憶手段と、前記映像情報を表示イメージとして記憶する第２の記憶手段と、前記第２の記憶手段に蓄積された映像情報に基づいて画像を表示する表示手段とを備え、
前記映像情報を受信する受信工程と、
前記外部装置の送信する映像情報を獲得している撮像装置の操作状態を検出する検出工程と、
前記検出工程で前記撮像装置が被操作状態でないことを検出した場合、前記受信工程で受信した映像情報を前記第１の記憶手段へ出力するとともに、前記第１の記憶手段の映像情報を前記第２の記憶手段に出力し、前記検出手段で前記撮像装置が被操作状態であることを検出した場合、前記受信工程で受信した映像情報を第２の記憶手段に出力する制御工程とを備えることを特徴とする制御方法。 - 前記第１の記憶手段は複数フレームの映像情報を記憶し、前記第２の記憶手段へ古いフレームの順に映像情報を出力することを特徴とする請求項７に記載の制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32055996A JP3684009B2 (ja) | 1996-11-29 | 1996-11-29 | 映像通信システム及び情報処理装置及びその制御方法 |
| US08/955,213 US6646677B2 (en) | 1996-10-25 | 1997-10-21 | Image sensing control method and apparatus, image transmission control method, apparatus, and system, and storage means storing program that implements the method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32055996A JP3684009B2 (ja) | 1996-11-29 | 1996-11-29 | 映像通信システム及び情報処理装置及びその制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10164537A JPH10164537A (ja) | 1998-06-19 |
| JP3684009B2 true JP3684009B2 (ja) | 2005-08-17 |
Family
ID=18122788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32055996A Expired - Fee Related JP3684009B2 (ja) | 1996-10-25 | 1996-11-29 | 映像通信システム及び情報処理装置及びその制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3684009B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4593209B2 (ja) * | 2004-09-02 | 2010-12-08 | パナソニック株式会社 | 画像受信装置及び画像受信方法、並びに画像伝送システム |
| JP6348252B2 (ja) * | 2012-09-18 | 2018-06-27 | 日本電気株式会社 | 情報端末装置および画面情報共有システム |
| JP6173085B2 (ja) | 2013-07-18 | 2017-08-02 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 |
| JP6257197B2 (ja) | 2013-07-18 | 2018-01-10 | キヤノン株式会社 | 情報処理装置及びその制御方法、プログラム、並びに記憶媒体 |
-
1996
- 1996-11-29 JP JP32055996A patent/JP3684009B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10164537A (ja) | 1998-06-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8457444B2 (en) | Communication apparatus | |
| US6452628B2 (en) | Camera control and display device using graphical user interface | |
| US7012636B2 (en) | Electronic camera and electronic camera system | |
| US20060078329A1 (en) | Image distribution apparatus, image receiving apparatus, management method for image distribution apparatus, and setting method for image receiving apparatus | |
| JPH09233467A (ja) | 画像データ通信装置及び画像データ通信システムにおける通信データ量調整方法 | |
| US20080136942A1 (en) | Image sensor equipped photographing apparatus and picture photographing method | |
| CN112261218B (zh) | 视频控制方法、视频控制装置、电子设备和可读存储介质 | |
| US20040189809A1 (en) | Digital imaging apparatus and method for selecting data transfer mode of the same | |
| JP2002304168A (ja) | データ転送システム | |
| US8120691B2 (en) | Image capturing appatatus and method for use in a mobile terminal | |
| JP3684009B2 (ja) | 映像通信システム及び情報処理装置及びその制御方法 | |
| US9311042B2 (en) | Display controlling apparatus and image processing apparatus | |
| JP2003032539A (ja) | カメラ搭載装置 | |
| US8125525B2 (en) | Information processing apparatus, remote indication system, and computer readable medium | |
| US20170171492A1 (en) | Display control apparatus, imaging apparatus, and display control method | |
| US7576790B2 (en) | Terminal control apparatus, terminal control method, terminal control program and storage medium | |
| JP5963571B2 (ja) | 画像表示装置及び監視カメラシステム | |
| JP2001255860A (ja) | 映像データ転送装置及び映像データの転送方法 | |
| JP2001054053A (ja) | 静止画キャプチャー装置 | |
| EP1705558A2 (en) | Method and apparatus for capturing full-screen frames | |
| JPH10164419A (ja) | カメラ制御装置及び方法 | |
| JP3096681B2 (ja) | デジタル画像取込装置、デジタル画像取込装置の制御方法、及びデジタル画像取込装置の制御方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体 | |
| CN114071224A (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
| JPH11203299A (ja) | 情報処理装置及び方法及びシステム | |
| JP2000101991A (ja) | 撮像装置の遠隔制御方法、遠隔制御装置、制御装置、および撮像システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050513 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050527 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090603 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100603 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110603 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120603 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120603 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130603 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |