JP3927608B2

JP3927608B2 - 動画像表示装置及び動画像記憶装置

Info

Publication number: JP3927608B2
Application number: JP29667394A
Authority: JP
Inventors: 智明河合
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-11-30
Filing date: 1994-11-30
Publication date: 2007-06-13
Anticipated expiration: 2022-06-13
Also published as: DE69525317T2; US5937096A; EP0715459A3; JPH08163478A; EP0715459B1; EP0715459A2; DE69525317D1

Description

【０００１】
【産業上の利用分野】
本発明は動画像信号表示装置及び動画像信号記憶装置に関し、特に、動画データベースを構成する装置として好適な動画像信号表示装置及び動画像信号記憶装置に関するものである。
【０００２】
【従来の技術】
ビデオカメラ等からリアルタイムで取込まれる動画像信号は非常に大きな情報量を有しているが、近年、この様な動画像信号をデジタル化し、必要に応じて周知のＭＰＥＧ方式やモーション（ｍｏｔｉｏｎ）ＪＰＥＧ方式により圧縮（高能率符号化）してハードディスク等の蓄積型の記憶体にデータベースとして格納するシステムが提示されている。また、一方ではテレビ会議システムや遠隔地の様子を見る監視カメラ等では、遠隔地のビデオカメラの映像をネットワークを通じて伝送、表示するということが行われている。
【０００３】
ビデオカメラ等から動画像信号をハードディスク等の二次記憶体（蓄積型）に格納する場合、一連の信号取込動作による動画像信号は全て単一のファイルとして格納していた。また、他の手法として動画像信号の１フレーム（１画面）を単一のファイルとして格納する手法も考えられていた。
【０００４】
【発明が解決しようとする課題】
しかしながら、特に動画像信号の様に単位時間当りの情報量が多く、且、時間的に連続する信号については長時間に亘るデータを保存、蓄積しようとするとそのデータ量が膨大な量となってしまう。従って、一連の動画像信号を単一のファイルとして格納した場合には、１つのファイルサイズが膨大となってしまい、データのコピー編集，検索などの各種の処理を行う上で、メモリやディスク等の記憶装置のシステムの制約を受け易く、非常に扱い難くなっていた。
【０００５】
また、一連の動画像信号をファイルとして取込んでいる場合にはその間中、記憶されている動画像信号を読み出せないのが一般的である。
【０００６】
従って、例えば遠隔地からのビデオカメラの映像を記憶しつつ表示する装置とは別に、過去の映像を表示する装置とは別々に設けなければならず、これら双方の装置を別々に駆動する必要があった。また、これらが個々に独立した装置であるので、混在のビデオカメラの映像について、過去から現在へ連続的に映像を流し見（ブラウズ）することはできなかった。
【０００７】
また、同様に２つの独立した装置を別々に駆動することになるので、操作に一貫性をもたせることもできなかった。
【０００８】
一方、動画像信号を１フレーム毎にファイルとして格納する場合には、ファイル数が多くなりすぎ、検索・編集等に於て非常に扱いにくく、また、ファイル数の制限のある装置、システム等には適用できないという問題があった。
【０００９】
斯かる背景下に於て、本発明は簡単な構成にて現在取込中の動画像以前に既に記憶されている動画像を表示することのできる動画像表示装置並びに、既に格納されている動画像の検索に適した動画像記憶装置に用いて好適な動画像信号記憶装置を提供することを目的としている。
【００１０】
【課題を解決するための手段】
上記課題を解決するために、本発明は、カメラによる動画像信号を入力する入力手段と、前記入力手段より入力された動画像信号を記憶する記憶手段と、時刻指定パネルを表示するよう制御する表示制御手段と、前記時刻指定パネルにより過去の時刻が指定された場合、該指定された過去の時刻の動画像信号を前記記憶手段から読み出して表示するとともにカメラ制御パネルを隠し、前記時刻指定パネルにより現在の時刻が指定された場合、前記入力手段より入力される動画像信号とカメラ制御パネルを表示するよう制御する制御手段とを有することを特徴とする動画像表示装置を提供する。
【００１１】
上記課題を解決するために、本発明は、カメラによる動画像信号を入力する入力工程と、前記入力工程より入力された動画像信号を記憶する記憶工程と、時刻指定パネルを表示するよう制御する表示制御工程と、前記時刻指定パネルにより過去の時刻が指定された場合、該指定された過去の時刻の動画像信号を読み出して表示するとともにカメラ制御パネルを隠し、前記時刻指定パネルにより現在の時刻が指定された場合、前記入力工程より入力される動画像信号とカメラ制御パネルを表示するよう制御する制御工程とを有することを特徴とする動画像表示方法を提供する。
【００１３】
【実施例】
以下、本発明の実施例につき、図面を参照しつつ詳細に説明する。
【００１４】
図１は本発明の一実施例としてのシステム全体を示すブロック図であり、図中１−１はビデオカメラ、１−２はビデオカメラ１−１から取込んだビデオ信号をＡ／Ｄ変換し、更にデジタル化された動画像信号を高能率符号化して、そのデータ量が圧縮されたデータをシステム本体内に取込むビデオキャプチャ装置である。
【００１５】
また、１−３はビデオカメラ１−１のパン，チルト，ズーム等の動作が制御可能な制御装置であり、１−４は複数のバッファを具えるメモリ、１−５はビットマップディスプレイ、１−６はキーボード、１−７はＣＰＵ、１−８はポインティングデバイス（マウス）、１−９は高速にデータの書込／読出しが可能な二次記憶装置である。
【００１６】
図２は本実施例におけるビットマップディスプレイ１−５上の画面の様子を示したものである。また、図３は、図１のシステムの動作の流れを説明するフローチャートである。以下、図２、図３を用いて本実施例の動作を説明する。
【００１７】
図２の画面で、２−１は、動画表示用映像ウィンドウであり、ビデオキャプチャ装置１−２から取り込まれたビデオカメラ１−１の映像、ないし二次記憶装置１−９に格納されている動画データを読み出し、圧縮されていたデータを伸張し表示することができるものである。カメラ制御パネル２−２、２−３は、カメラ制御装置１−３を制御するための操作を行うパネルであり、マウスによる各種ＧＵＩのクリック操作により、カメラ制御装置に対して命令を発行し、カメラのパン・チルト・ズーム等を可能にする。
【００１８】
なお、カメラ操作のコマンドとしては、ｔｉｌｔ（θ）、ｐａｎ（φ）、ｚｏｏｍ（ｚ）があり、これらのコマンドに従ってカメラのチルト（ｔｉｌｔ）、パン（ｐａｎ）、ズーム（ｚｏｏｍ）が制御されるものとする。
【００１９】
これらのコマンドはカメラ制御パネル２−２、２−３のＧＵＩに割りつけられている。２−２の上／下方向ボタンを押下している間、角度θを増加／減少させてｔｉｌｔ（θ）コマンドを呼び出す。同様に２−２の左／右方向ボタンを押下している間、角度φを増加／減少させてｐａｎ（φ）コマンド呼び出す。また２−３のスクロールバーを操作している間は、ズーム倍率ｚを増加／減少させてｚｏｏｍ（ｚ）コマンド呼び出す。
【００２０】
時刻指定ウィンドウ２−５は、時刻を入力するためのパネルであり、ここで指定した時刻から、二次記憶装置１−３に格納されている動画データにアクセスし、指定した時刻に対応するデータを検索するためのものである。ただし、カメラ制御パネル２−２、２−３と時刻指定ウィンドウ２−５とは、画面上に同時に表示されることはない。
【００２１】
２−４は、ビデオカメラ１−１の映像と二次記憶装置１−４に格納されている動画データを読み出しを切り替えるためのスイッチのＧＵＩであり、「現在」ボタンをクリックするとビデオカメラ１−１の映像を動画表示ウィンドウ２−１に表示するとともに、時刻指定ウィンドウ２−５を隠し（ポップダウンし）、カメラ制御パネル２−２、２−３を見せる（ポップアップする）ようにする。
【００２２】
一方、「過去」ボタンをクリックすると二次記憶装置１−９に格納されている動画データを読み出し、圧縮されていたデータを伸長して映像ウィンドウ２−１に表示するとともに、カメラ制御パネル２−２、２−３を隠し（ポップダウンし）、時刻指定ウィンドウ２−５を見せる（ポップアップする）ようにする。ただし、「過去」ボタンをクリックした時点では、時刻は指定されていない。時刻入力ウィンドウ２−５１に時刻を入力し、２−５２の「設定」ボタンをクリックした時点で、二次記憶装置１−４に蓄積されている動画データを検索し、指定された時刻の動画像を表示する。なお、二次記憶装置１−９時間をキーとして検索し、指定した時点から蓄積映像を表示するものとする。
【００２３】
ここで、蓄積に関しては、常時蓄積専用のモジュールが動作しており、この蓄積モジュールが取り込まれた映像データを絶えず二次記憶装置１−９へ格納していく。なお、本システムでは、映像の二次記憶装置１−９への蓄積に際して、並行して後述の手法により読み出しができるものとする。
【００２４】
図４は、モジュール構成図である。４−１は、図２のＧＵＩおよび図３の動作を実現するブラウズモジュールであり、４−２が、ビデオキャプチャ装置１−２によって取り込まれた映像データを常に二次記憶装置１−３へ格納する格納モジュールである。「過去」「現在」のいずれが指定されているときでも、常に格納モジュール４−２は、映像データの二次記憶装置１−４への格納を行っている。
【００２５】
このように、ビデオカメラからの取り込み中の動画データと格納された動画データとを選択して表示できるようにしたことで、ビデオカメラから取り込まれた映像を、現在のカメラの映像から過去の映像へさかのぼって、連続的に映像をブラウズできるようになる。また、現在のカメラの映像が写っているときは、カメラの制御を可能とするパネルを、過去の映像が写っているときには時間を指定するパネルを自動的に表示するので、ユーザにとって使い勝手がよい。
【００２６】
次に、上述の構成に於いて表示される操作パネルの他の例を図５を用いて説明する。本例はビデオカメラからの取り込み中の動画データと格納された動画データとの表示の選択における操作性を図５に示す如きパネルをもちいて向上させたものである。
【００２７】
すなわち、図２はパネル２−５の代わりに図５に示すような時間設定操作パネルを導入する。５−１は、スクロールバーであり、この実施例では３０分の映像データをスクロールバーのノッチ５−５を動かすことでブラウズできるようになっている。この時刻指定ウィンドウがポップアップして最初の操作のときは、過去の映像はまだアクセスしていないので表示されていないが、ノッチ５−５を操作した時点で、時刻表示ウィンドウ５−４にノッチ位置に対応した時刻が表示され、その時点に対応する映像データが上述の場合と同様に表示される。
【００２８】
なお、ノッチの位置はスクロールバー５−１の長さを３０分とし、左端からのノッチ位置までの長さを時刻に換算すれば良い。また、５−７、５−８はそれぞれノッチが左端および右端にあるときの指定時刻である。この時刻範囲を変更する場合、すなわち、より以前ないし以降の映像をブラウズする場合には、それぞれ５−９ないし５−１０の三角ボタンをクリックすることで、範囲を移動することが可能である。
【００２９】
なお、５−３は最古時刻、すなわち、カメラの映像の格納を開始した時刻をあらわし、５−２は最新時刻、すなわちブラウズできるもっとも新しい時刻すなわち現在時刻を表す。ノッチ５−５で最新時刻に指定すると、現在のカメラの映像を２−１に表示し、２−２、２−３に示したカメラ操作パネルを表示する。
【００３０】
ノッチが右端以外の場合には、カメラ操作パネル２−２、２−３はポップダウンされるようにし、ノッチの位置に応じた過去のある時刻を５−４に表示し、その時刻に応じた過去の映像を映像表示ウィンドウ２−１に表示する。また、５−６は、スクロールバーを操作した時に、過去の映像の早送り、早戻しをして映像ウィンドウに表示するようにするが、その表示に際してフレーム間引き間隔を設定するものである。
【００３１】
この図５の操作パネルを導入することにより、更に現在から過去への時間スクロールが直感的かつ連続的に滑らかに実行できるようになる。
【００３２】
次に動画像信号の高速二次記憶装置への記憶（格納）動作を説明する。図６は、データ取り込みの動作を示したフローチャートである。まず、１−２のビデオキャプチャ装置は、ビデオカメラ１−１の映像データをＡ／Ｄ変換し、必要に応じてＭＰＥＧ等の手法でデータを圧縮して、１−４のメモリ中に用意されたバッファに書き込んでいく。バッファはＮ個（＃１から＃Ｎまで）用意されており、リングバッファを構成している。１つのフレームは、いくつかのバッファに分割されて読み込まれるものとする。バッファ＃ｉが一杯になるとバッファ＃ｉ＋１に書き込み、バッファ＃Ｎまで書き終わると次はバッファ＃１に戻って書き込む。
【００３３】
なお、バッファに書き込む際に各動画フレームの先頭がわかるように各動画フレームの先頭にはデータにマーカーを挿入するものとする。尚、圧縮方法によっては、フレームの先頭がわかるようになっているものもあり、その場合にはマーカーの付加は必要ない。ここで、データの圧縮方式としてはＪＰＥＧやＭＰＥＧ等各種の方法があるが、本実施例では、圧縮形式にこだわるものではない。
【００３４】
図７は、ファイル書き込み動作を示すフローチャートである。Ｓ３０３でファイル名を与える。ファイル名は、例えばユーザが与えた名前にカウンタで設定される連続番号を付加したものを、ファイル名とする。例えば、名前をｆｉｌｅとすると、図３の処理によってデータ区切り毎にｆｉｌｅ−１、ｆｉｌｅ−２、ｆｉｌｅ−３、・・・のような与えた名前に番号が付加されたファイルが生成されることになる。
【００３５】
次にファイル書き込み部では、ファイルを生成して開き（Ｓ３０４）、図６で示したデータ取り込み部によってデータが格納されているリングバッファから順番に読み出し、ファイルにバッファの内容を書き出していく（Ｓ３０６、Ｓ３０７）。なお、リングバッファへの書き込みと読み出しは、同期がとられているものとする。
【００３６】
また、バッファへの書き込みに際して、フレームの先頭を調べフレーム数カウンタが一定数になると（Ｓ３０６、Ｓ３０９）、一つの区切りとして、ファイルを閉じ保存する（Ｓ３１１）。なお、Ｓ３０９では、フレームレートをＦｆｒａｍｅ／ｓｅｃとし、別々のファイルとして生成したい期間をＴｓｅｃとすると、Ｆ＊Ｔが１つのファイルに格納されるフレーム数となるので、フレーム数のカウンタは、Ｆ＊Ｔの値と比較すればよい。
【００３７】
この時点で１つのファイル（ｆｉｌｅ−１）が完成するので、Ｓ３０２に戻ってまた次の新たなファイル（ｆｉｌｅ−２）を生成する。以上のＳ３０２〜Ｓ３１０の動作を繰り返すことで、一定期間ごとのファイルとして格納されてゆくことになる。なお、ここで、Ｔの値を１／Ｆとすると１フレーム毎のファイルとなる。
【００３８】
なお、後のファイル検索のために表１のようなエントリを持つインデックスファイルを生成される。
【００３９】
【表１】

【００４０】
このインデックスファイルの例では、１９９４年９月３０日１４時２１分３０秒より格納を開始し１秒間に５フレームのフレームレートでファイルに動画を取り込んでゆく。６０秒分すなわち６０ｓｅｃ×５ｆａｍｅ／ｓｅｃ＝３００フレーム分の動画を１つのファイルに格納したら新たに次のファイルを生成する。ファイル名は、ｖａ−０、ｖａ−１、ｖａ−２、・・・となり、それぞれｖａ−０は１９９４年９月３０日１４時２１分３０秒から９９４年９月３０日１４時２２分３０秒まで、ｖａ−１は１９９４年９月３０日１４時２２分３０秒から９９４年９月３０日１４時２３分３０秒まで、ｖａ−２は１９９４年９月３０日１４時２３分３０秒から９９４年９月３０日１４時２４分３０秒まで、のフレームを格納することになる。
【００４１】
なお、ファイル名の長さに制限のあるシステムの場合には、ファイル名として与える名前をファイル名の変わりにディレクトリ名に用いる。例えば、ファイル名前の制限を６文字とすると、各ディレクトリには単純な数値を名前とするファイルを生成し、次のように格納する。すなわち、各ディレクトリｖａ−０、ｖａ−１、ｖａ−２、・・・には、ファイル名“０”、“１”、“２”、・・・、“ｆｆｆｆｆｆ”までの合わせて２の２４乗個のファイルが生成可能である。こうすることで、ファイル名に制限があっても、多数のファイルを生成することができる。
【００４２】
本実施例では、一定時間毎のファイルを生成する場合であったが、一定のサイズのファイルを生成する場合には、フレームカウンタの代わりに、バッファに含まれるデータの量の積算を計算し、Ｓ３０９でのフレームカウンタのチェックの代わりに積算データ量が一定のサイズを越えているかどうかのチェックを行う構成とする。
【００４３】
また、本実施例では、ビデオカメラからの動画データキャプチャリングについて述べているが、ビデオカメラの映像でなくても、動画データがネットワーク経由でリアルタイムで流れてくるような場合や、音声データ等、時間要素を含むディジタルのコンティニュアスメディアのデータ保存に適用可能である。
【００４４】
上述の構成によれば、動画データを、長時間データを保存する場合に、一定期間ないし一定データサイズ毎に区切ってファイルに落としていくので、１つのファイルのサイズが膨大ることを避けられる。また、動画データを１フレーム毎に細切れのファイルとして保存するのでもないため、ファイルの数が多くなりすぎることもさけられる。更に、メモリやディスク等のシステムの制約を受けないように、ファイルサイズや、ファイル数を制御することにより、データのコピーや検索等の各種の処理を行う上でシステムの制約を受けにくくなり、扱いやすくなる。
【００４５】
次に、図１のシステムにおいて、単にビデオカメラ１−１からの動画像信号を取り込むだけでなく、これを二次記憶装置１−９に格納し、且、この二次記憶装置１−９に格納されている動画像信号を読み出して、ディスプレイ１−５の映像ウィンドゥ２−１に表示する場合について説明する。
【００４６】
なお、上述の実施例においては、二次記憶装置１−９を充分に高速にアクセス可能な記憶装置とし、メモリ１−４ないにて形成された１つのファイルを二次記憶装置１−９に蓄積する期間は上記１つのファイル分のデータをビデオカメラ１−１からバスを介して前記メモリ１−４に蓄積するための時間よりも充分に短くしている。即ち、メモリ１−４からバスを介しての高速二次記憶装置１−９への動画像データファイルの転送は時間的に間欠的に行われる。
【００４７】
そして、この高速二次記憶装置１−９への動画像データの転送期間の間の期間に高速二次記憶装置１−９から該装置に格納されているファイルのメモリ１−４への転送を行う。尚、この場合には前述のＮ個のバッファはＮ／２個が高速二次記憶装置１−９への動画像データの転送用に用いられ、そして、残りのＮ／２個のバッファは高速二次記憶装置１−９からメモリ１−４へのファイルの転送用に用いられる。
【００４８】
そして、メモリ１−４においては高速二次記憶装置１−９から転送されたファイルは、ディスプレイ１−５において表示可能なデータ転送レートにて読み出されることになる。即ち、１フレームについて１／６０秒で読み出され、上記ディスプレイ１−５内にて圧縮されていたデータを復号・伸長して映像ウィンドゥ２−１に表示する。このとき、このデータに代わって前述の様にビデオキャプチャ装置１−２にて圧縮されたデータを復号・伸長して映像ウィンドゥ２−１に表示することができる。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、同一の操作手段による簡単な操作により、過去の画像と最新のリアルタイム画像を切り替えて表示することができる効果がある。
【図面の簡単な説明】
【図１】本発明の一実施例としての動画像蓄積表示システム全体の構成を示すブロック図である。
【図２】図１におけるディスプレイ上の表示例を示す図である。
【図３】図１のシステムの大まかな動作の流れを説明するフローチャートである。
【図４】図１のシステムのモジュールの構成を示す図である。
【図５】図１におけるディスプレイ上の他の表示例を示す図である。
【図６】図１のシステムのデータ取り込み動作を説明するフローチャートである。
【図７】図１のシステムのファイル書き込み動作を説明するフローチャートである。
【符号の説明】
１−１ビデオカメラ
１−２ビデオキャプチャ装置
１−３カメラ制御装置
１−４メモリ
１−５ビットマップディスプレイ
１−６キーボード
１−７ＣＰＵ
１−８ポインティングデバイス
１−９高速二次記憶装置

Claims

カメラによる動画像信号を入力する入力手段と、
前記入力手段より入力された動画像信号を記憶する記憶手段と、
時刻指定パネルを表示するよう制御する表示制御手段と、
前記時刻指定パネルにより過去の時刻が指定された場合、該指定された過去の時刻の動画像信号を前記記憶手段から読み出して表示するとともにカメラ制御パネルを隠し、前記時刻指定パネルにより現在の時刻が指定された場合、前記入力手段より入力される動画像信号とカメラ制御パネルを表示するよう制御する制御手段と
を有することを特徴とする動画像表示装置。
前記記憶手段は前記入力された動画像信号を書き込みつつ、記憶されている動画像信号を読み出すことができることを特徴とする請求項１に記載の動画像表示装置。
前記記憶手段はバッファメモリを有し、前記動画像信号を所定期間毎に１つのファイルとして記憶することを特徴とする請求項１または２に記載の動画表示装置。
前記記憶手段はバッファメモリを有し、前記動画像信号を所定データ量毎に１つのファイルとして記憶することを特徴とする請求項１または２に記載の動画像表示装置。
前記記憶手段は前記動画像信号をファイル単位で間欠的に記憶し、該ファイルの記憶の間に記憶されている動画像信号を前記ファイル単位で読み出すことを特徴とする請求項３または４に記載の動画像表示装置。
前記表示制御手段は、前記記憶手段に記憶しようとしている動画像信号と前記記憶手段から読み出された動画像信号とを同一の表示領域に表示することを特徴とする請求項１乃至５のいずれかに記載の動画像表示装置。
前記表示制御手段が前記記憶手段から読み出された動画像信号を表示する際には、該動画像信号に関連する時刻情報を表示することを特徴とする請求項１乃至５のいずれかに記載の動画像表示装置。
カメラによる動画像信号を入力する入力工程と、
前記入力工程より入力された動画像信号を記憶する記憶工程と、
時刻指定パネルを表示するよう制御する表示制御工程と、
前記時刻指定パネルにより過去の時刻が指定された場合、該指定された過去の時刻の動画像信号を読み出して表示するとともにカメラ制御パネルを隠し、前記時刻指定パネルにより現在の時刻が指定された場合、前記入力工程より入力される動画像信号とカメラ制御パネルを表示するよう制御する制御工程と
を有することを特徴とする動画像表示方法。