JP3550667B2

JP3550667B2 - Video data display device

Info

Publication number: JP3550667B2
Application number: JP2002297743A
Authority: JP
Inventors: 恵久川邉
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-10-10
Filing date: 2002-10-10
Publication date: 2004-08-04
Anticipated expiration: 2019-08-04
Also published as: JP2003125341A

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ映像情報を表示可能な映像ウィンドウシステムに関し、特にマルチウィンドウ化された映像データ表示装置に関する。
【０００２】
【従来の技術】
近年、マイクロプロセッサを用いたパーソナルコンピュータや、ワークステーションなどのコンピュータシステムでは、より高い性能と、より良いユーザインタフェースを求めてマルチウィンドウ化の傾向にある。このような映像ウィンドウシステムでは、ワークステーションの操作性の向上や新しい応用方法の開拓が大きな問題となっており、中でも、ＮＴＳＣ信号等の一般のビデオ信号を、マルチウィンドウシステムでいかに扱うかが大きな問題の一つとなっている。
【０００３】
従来、マルチウィンドウシステムでは、主にテキスト情報のみを扱うにすぎなかったが、近年では、ワークステーションのディスプレイ上に、一般のビデオ信号に基づく映像を動画として表示するウィンドウを設けたウィンドウシステムも提案されている（たとえば、荒木他「ＶＰ−１５０高精細自然画プロセッサ」，ＮＥＣ技法ＶＯＬ．４０Ｎｏ．７／１９８７，ｐｐ．２８−３３」参照）。
【０００４】
この文献に記載の装置においては、ビデオ信号がＡ／Ｄ変換された後、一次メモリに蓄積され、次いで所定の画像処理が施された後、二次メモリに蓄積される。二次メモリの内容は、ディスプレイの同期信号に同期して読み出され、Ｄ／Ａ変換された後、パーソナルコンピュータからのビデオ信号と合成されてディスプレイに出力される。
【０００５】
【発明が解決しようとする課題】
しかし、上記文献に記載の装置においては、パーソナルコンピュータによる表示画像の一部或いは全部を、ＶＴＲ，ビデオカメラ等の他の映像信号源からのビデオ信号で置換して表示するだけであり、表示された画像を見ながら、ビデオ信号自体に対して、記録，編集等の処理を行うことはできなかった。
【０００６】
本発明は、前記問題点を解決するために案出されたものであって、ビデオ信号を複数画面分一旦メモリに記録しておき、このメモリの内容に対して所定の操作を加えることにより、映像ウィンドウシステムの応用分野を広げ、かつ、より良い操作性を有する映像データ表示装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の映像データ表示装置は、連続した一連の動画像から選択された一画像を表示する第１の映像ウインドウと、前記動画像に含まれ、かつ時間順に記録された複数の映像データを表示する第２の映像ウインドウとを備え、前記第２の映像ウインドウの複数の映像データをドラッグ操作により連続的に変化させることを特徴とする。
【０００８】
【発明の実施の形態】
【０００９】
【実施例】
以下、図面を参照しながら実施例に基づいて本発明の特徴を具体的に説明する。
【００１０】
第１図は本発明の映像ウィンドウシステムの第１の実施例の原理的な構成を示すブロック図である。
【００１１】
第１の実施例の映像ウィンドウシステムは、第１図に示すように、少なくとも、ＶＴＲ，ビデオカメラ等の映像再生装置１から出力されるビデオ信号による画像（以下、ビデオ映像という）を表示可能な映像ウィンドウ２と、この映像ウィンドウ２に表示されたビデオ映像に対応するビデオ信号を実時間でメモリに記録する映像データ記録手段３と、キーボード４及びマウス５より入力された信号を解釈するインタフェース手段６と、このインタフェース手段６によって解釈された信号により、映像データ記録手段３に記録されている複数の映像データの集合からユーザの意図する任意の映像データを選択し映像ウィンドウ２或いは他の映像ウィンドウ７に表示するための映像データ再生表示手段８とから構成されている。
【００１２】
この映像ウィンドウシステムにおいては、モニタモードと再生モードの２種類の表示モードをとることができる。通常は、モニタモードとなっており、映像ウィンドウ２には、映像再生装置１からのビデオ映像が表示されており、また、再生モードでは、映像データ再生表示手段８からのビデオ映像が表示される。
【００１３】
また、キーボード４及びマウス５より入力された信号は、インターフェース手段６によって映像データ再生表示手段８の制御信号として出力され、映像データ記録手段３に記録された複数の映像データから一画面分の映像データを選択する。選択された映像データは、映像データ再生表示手段８により前記映像ウィンドウ２または他の映像ウィンドウ７に表示される。
【００１４】
次に、上記第１の実施例の具体的な構成について、第２図のブロック図を参照して説明する。また、本実施例のディスプレイ画面の例を第３図に示す。
【００１５】
第２図の例では、ビデオ映像表示手段９において、ビデオ入力端子１０より入力されたビデオ信号を、Ａ／Ｄ変換器１１によりディジタル信号に変換し、ビデオ信号のフィールドレートに従って書込み制御器１２によりビデオメモリ１３に書き込む。ビデオメモリ１３の内容は、表示するディスプレィの走査レートに従って制御された読出し制御器１４により読み出されてディジタルビデオ信号とされる。このディジタルビデオ信号は、ビデオ入力をモニタするモニタモードと、記録された画像データを表示する再生モードとを切り替えるための切替器１５を経由し、更に、表示される映像ウィンドウのサイズに応じて、折返し雑音を防ぐために空間フィルタ１６を通してバッファ１７に保存される。
【００１６】
一方、テキスト情報を表示するためのコンピュータ，ワークステーション等からのディスプレイ入力も、ディスプレイ入力端子１８を介して画像合成器１９に入力されて表示のための同期が取られ、バッファ１７に保存されたディジタルビデオ信号と合成され、ビデオ出力端子２０からビデオ出力としてディスプレイ装置に出力される。
【００１７】
第３図は、ディスプレイ画面の一例を示しており、ディスプレイ装置の表示部５１には、キーボード４（第１図参照）から入力されたコマンド等をエコーバックして表示したり、システムからの応答を表示するテキストウィンドウ５２，後述する映像データ記録手段２１の映像データメモリバンク２２から読み出された１画面分の画像データを表示するビデオ表示ウィンドウ５３，画像データの一部を切り出して表示してテキストデータとともに表示するテキストウィンドウ５４等が表示されている。なお、テキストウィンドウ５４においては、たとえば、ビデオ表示ウィンドウ５３に表示されている画像の一部領域をマウス５等により指定し、キーボード４から入力された文字列が表示されるテキストウィンドウ５４内にコピーすることにより、文書中にビデオ映像中の任意のシーンの一部分を切り出して組み込んだマルチメディアドキュメントを作成することが可能となる。
【００１８】
また、映像データ記録手段２１は、ビデオ入力端子１０より入力されたビデオ信号を記録するために、ディジタル信号に変換されたビデオ映像データＤ０，Ｄ１，Ｄ２，・・をビデオメモリ１３より入力し、書込み制御器１２により、０から始まりフィールドごとに増加するフィールド番号０，１，２，・・をつけて映像データメモリバンク２２に保存する。映像データメモリバンク２２への格納状態の一例を第１表に示す。
【００１９】
【表１】

また、インタフェース手段２３において、マウス５（第１図参照）からマウス入力端子２４を介して供給される位置情報は、座標計数器２５で数えられマウスカーソル５５（第３図参照）の座標として保持される。また、マウスボタン検出器２６により、マウスボタンのオン／オフ情報を検出し、映像データ再生表示手段２８に出力する。この実施例では、第４図に示すように右ボタン５Ｒ，中ボタン５Ｃ，左ボタン５Ｌの３種類のボタンを具有するマウス５を考える。また、第３図に示すように、マウスカーソル５５は、表示部５１上のスクロールバー５６の一部を指示しているとする。なお、スクロールバー５６はビデオ表示ウィンドウ５３の右辺に隣接して配置されており、同ビデオ表示ウィンドウ５３の高さと略等しい長さを有している。座標計数器２５は、マウスボタン５Ｌ，５Ｃ，５Ｒが押されたことを検出して、その時の座標を正規化器２７に出力する。正規化器２７は、該座標値からスクロールバー５６の全体の長さＬに対するスクロールバー５６上の指示された地点の起点からの距離１の比を計算し、０から１までの値αとして映像データ再生表示手段２８に出力する。
【００２０】
映像データ再生表示手段２８においては、前記映像データメモリバンク２２に記録されている画像データの数Ｍを記録画像数保持器２９に保持している。また、記録した映像データを再生してビデオ表示ウィンドウ５３に表示する際に、前記映像データメモリバンク２２に記録された画像データのうち、どのフィールドがビデオ表示ウィンドウ５３に表示されているかを示す画像計数器３０と、前記インタフェース手段２３の正規化器２７の出力αと記録画像数保持器２９からの出力Ｍから表示すべき画像に対応するフィールド番号Ｆを求める乗算器３１とを備えている。
【００２１】
前記マウス５の右ボタン５Ｒが押されたことがマウスボタン検出器２６により検出されると信号ＣＵが発生し、この信号ＣＵにより、前記画像計数器３０はカウントアップされ、その結果、すぐ後に記録されているフィールドの画像データがビデオ表示ウィンドウ５３に表示される。
【００２２】
また、左ボタン５Ｌが押された事を検出する信号ＣＤにより、前記画像計数器３０はカウントダウンされ、その結果、直前に記録されたフィールドの画像データがビデオ表示ウィンドウ５３に表示される。
【００２３】
また、前記インタフェース手段２３の正規化器２７より出力された０から１までの値αと、前記記録画像数保持器２９の内容Ｍとを乗算器３１で乗算することにより、マウス５で指示された画像データのフィールド番号Ｆが求められており、中ボタン５Ｃが押された事を検出する信号ＬＤにより、該フィールド番号Ｆを前記画像計数器３０にロードする。ロードの結果、前記映像データメモリバンク２２に記録された当該フィールド番号の画像データがビデオ表示ウィンドウ５３に表示される。
【００２４】
これにより、たとえば、マウス５の右または左ボタン５Ｒ，５Ｌにより、あたかもビデオテープレコーダのコマ送りを行うかのように、記録された映像データを見ることができる。また、マウス５の中ボタン５Ｃにより、記録された映像データのうち特定の一場面を直接的に選択し表示することができる。さらに、マウス５の中ボタン５Ｃを押したまま、マウスカーソル５５をスクロールバー５６上でずらすことにより、マウス５で指示された画像データのフィールド番号Ｆが変化しながら連続的に前記画像計数器３０にロードされるので、ビデオ表示ウィンドウ５３にはスクロールバー５６上でマウス５により指示された位置に対応する映像データが連続的に表示され、あたかもビデオテープレコーダの早送り再生や巻戻し再生のような処理が、簡単にできるようになる。
【００２５】
これにより、一連の動画像から任意のシーンを必要に応じて簡単な操作で取り出すことができ、たとえば、コンピュータグラフィックによる映像とビデオテープレコーダからのビデオ画像とを合成して新たな画像を創作するようなマルチメディアドキュメントの編集作業において、より良いユーザインタフェースを提供することが可能となる。
【００２６】
次に、本発明の第２の実施例について、第５図の原理ブロック図及び第６図の具体ブロック図を参照して説明する。なお、第１図〜第３図に示す第１の実施例と対応する部材等には同一符号を付し、重複説明は省略する。
【００２７】
第５図に示す第２の実施例の原理ブロック図は、第１図に示す第１の実施例の原理ブロック図と比較して、映像データ再生表示手段８と映像ウィンドウ２との間に、プレビューデータ表示手段３２が設けられている点が異なっている。このプレビューデータ表示手段３２は、映像データ記録手段３に記録されている複数の映像データの集合から、連続した一連複数の映像データを表示するためのものであり、映像データ再生表示手段８からの指示に基づき、着目する映像データ及びこの前後の複数の映像データを記録するためのメモリを備えている。
【００２８】
この第５図に示す第２の実施例においても、第１の実施例と同様に、映像ウィンドウ２には、通常は映像再生装置１からのビデオ映像が表示されており、また、再生表示のときには、映像データ再生表示手段８からのビデオ映像を表示することもできる。また、プレビューデータ表示手段３２に記録されている画像データを読み出すことにより、着目する映像データと並んで前後に記録された複数の映像データが、記録された時間順に映像ウィンドウ２に表示される。本実施例では、この映像ウィンドウを特にプレビューウィンドウと呼んで区別する。一方、マウス５及びキーボード４より入力された信号は、インターフェース手段６によって映像データ再生表示手段８の制御信号として出力され、映像データ記録手段３に記録された複数の映像データから一画面分の映像データを選択する。選択された映像データは、映像データ再生表示手段８により前記映像ウィンドウ２等に表示されると同時に、プレビューウィンドウには、該選択された映像データの前後に記録された複数の映像データと共に表示される。なお、第５図の例では、プレビューウィンドウは映像ウィンドウ２に含まれている。
【００２９】
第６図は第２の実施例の具体的なブロック図を示しており、第２図に示す第１の実施例の具体ブロック図と比較して異なっているのは、映像データメモリバンク２２の出力が空間フィルタ３４を介してプレビューデータメモリ３５に供給され、このプレビューデータメモリ３５の出力がバッファ３６を介して画像合成器１９に供給されていることである。なお、プレビューデータメモリ３５には、書込み制御器１２，読出し制御器１４から制御信号が供給されている。なお、第７図は第２の実施例によるディスプレイ画面の例を示す。
【００３０】
本実施例では、第７図に示すように、ビデオ表示ウィンドウ５３とは別にプレビューウィンドウ５７が表示され、このプレビューウィンドウ５７には、着目する映像データとその前後５フィールド分、すなわち、合計１１個の映像データＤｎ−５，Ｄｎ−４，・・，Ｄｎ，・・，Ｄｎ＋４，Ｄｎ＋５を表示できるものを考える。
【００３１】
空間フィルタ３４，プレビューデータメモリ３５を備えたプレビューデータ表示手段３３は、前記映像データ再生表示手段２８から出力された前記フィールド番号Ｆを入力し、映像データメモリバンク２２から、当該フィールド番号Ｆに対応する映像データ及び前後５フィールド、合計１１フィールドの画像データを、空間フィルタ３４を経由してプレビューデータメモリ３５に格納する。格納された１１フィールド分の画像データは、ビデオ映像表示手段９に出力され、プレビューウィンドウ５７として表示される。
【００３２】
これにより、第７図に示すように、プレビューウィンドウ５７に表示された複数の映像データを同時に見ることで、映像データの前後の関係や流れを把握することができるようになる。更に、プレビューウィンドウ５７上で、マウス５を操作し、右ボタン５Ｒ又は左ボタン５Ｌを押せば、画像計数器３０により指示されるフィールド番号が、１だけ増加又は減少するので、当該フィールド番号に対応する画像データが映像データメモリバンク２２から読み出されてビデオ表示ウィンドウ５３に表示されるとともに、変更後のフィールド番号を中心とした１１フィールド分の画像データがプレビューウィンドウ５７に表示される。これにより、マウス５を操作してあたかもビデオテープレコーダのコマ送りを行うかのように記録された映像データを見ることができる。また、マウス５の中ボタン５Ｃを操作して、乗算器３１により得られたフィールド番号Ｆを直接画像計数器３０にロードすることにより、記録された映像データのうち特定の一場面を直接的に選択して表示することができる。
【００３３】
更に、マウス５の中ボタン５Ｃを押したままマウスカーソル５８をスクロールバー５９上でずらすことにより、ビデオ表示ウィンドウ５３及びプレビューウィンドウ５７には、スクロールバー５９上でマウス５により指示された対応する映像データが連続的に表示され、あたかもビデオテープレコーダの早送り再生や巻戻し再生のような処理が簡単にできるようになる。
【００３４】
なお、第２の実施例においては、インタフェース手段２３は、プレビューウィンドウ５７に対応したものに変更されているものとする。
【００３５】
次に、本発明の第３の実施例について、第８図の原理ブロック図及び第９図の具体ブロック図を参照して説明する。なお、第５図〜第７図に示す第２の実施例と対応する部材等には同一符号を付し、重複説明は省略する。また、第１０図は第３の実施例によるディスプレイ画面の例である。
【００３６】
第８図に示す第３の実施例の原理ブロック図は、第５図に示す第２の実施例の原理ブロック図と比較して、映像データ再生表示手段８とプレビューデータ表示手段３２との間に、画像キュー部３７が設けられている点が異なっている。この画像キュー部３７は、映像データに一意に対応する数を記憶するためのキュー構造をしたメモリである。
【００３７】
この第３の実施例においても、前述した第１及び第２の実施例と同様に、映像ウィンドウ２には、通常は映像再生装置１からのビデオ映像が表示されており、また、再生表示のときには、映像データ再生表示手段８からのビデオ映像を表示することもできる。また、第２の実施例と同様に、プレビューデータ表示手段３２により、着目する映像データと並んで前後に記録された複数の映像データが、記録された時間順にプレビューウィンドウに表示される。
【００３８】
一方、マウス５及びキーボード４より入力された信号は、インターフェース手段６によって映像データ再生表示手段８の制御信号として出力され、映像データ記録手段３に記録された複数の映像データから一画面分の映像データを選択する。選択された映像データは、映像データ再生表示手段８により前記映像ウィンドウ２に表示されると同時に、プレビューウィンドウには、選択された映像データが前後に記録された複数の映像データと共に表示される。
【００３９】
ここで、この第３の実施例においては、マウス５を用いて、プレビューウィンドウ上で望む映像データの範囲を選択する操作をすると、その一連の映像データに一意に対応する一連の数が画像キュー部３７にストアされる。この操作を繰り返すことにより、前記映像データ記録手段３に蓄えられた任意の映像データをユーザの意図する任意の順につなぎ合わせた動画像データを得ることができる。また、この動画像は、前記画像キュー部３７に蓄えられた数をもとに、プレビューウィンドウ及び映像ウィンドウ２に表示される。
【００４０】
第９図は上記第３の実施例の具体的なブロック図を示しており、第６図に示す第２の実施例と比較して異なっているのは、インタフェース手段２３に、マウス位置を判別するための座標比較器４０、マウスカーソル５８により指示されたスクロールバー５９上の範囲から複数の画像データのフィールド番号の範囲に変換する範囲指示器４１が設けられていること、及び、この範囲指示器４１の出力が供給されて記憶され、その出力がプレビューデータメモリ３５に供給されるキューメモリ３８を備えた画像キュー部３９が設けられていることである。
【００４１】
画像キュー部３９には、範囲指示器４１及び画像計数器３０からのフィールド番号が供給され、また、画像キュー部３９からは、フィールド番号が映像データメモリバンク２２及びプレビューメモリ３５に出力される。更に、プレビューウィンドウ５７上でマウスにより指示された画像に対応するフィールド番号へ画像計数器３０の内容を変更するための信号が、画像キュー部３９から出力される。
【００４２】
この第３の実施例においても、前記第１及び第２の実施例と同様に、映像データメモリバンク２２に記憶されている複数の画像データの中から、マウス５により選択された画像データをビデオ画像ウィンドウ５３に表示し、更に、この目的の画像データを含めて前後の１１フィールド分の画像データをプレビューデータ表示手段３３によりプレビューウィンドウ５７に表示する。
【００４３】
いま、マウスカーソル５８がプレビューウィンドウ５７上に存在している状態で、該プレビューウィンドウ５７に表示されている一連の映像データのうち、ユーザの望む範囲の領域の開始をマウス５の左ボタン５Ｌで指示し、終了を右ボタン５Ｒで指示すると、各ボタン５Ｌ，５Ｒが押されたときのマウスカーソル５８の座標値がそれぞれ座標比較器４０に供給される。座標比較器４０では、プレビューウィンドウ５７上の特定の一連映像データが選択されたことが検出され、範囲指示器４１にマウスカーソル５８の座標値を出力する。範囲指示器４１は、前記プレビューデータメモリ３５の出力から選択された一連映像データの個々の映像データに対応するフィールド番号を知り、時間順に一連のフィールド番号としてキューメモリ３８に書き込む。ここで、各映像データに対応するフィールド番号は、このシステムでは、一意に定まることに注目すべきである。
【００４４】
前述の、プレビューウィンドウ５７に表示されている一連の映像データを選択して、対応する一連のフィールド番号を画像キュー部３９に書き込む、という操作を繰り返すことにより、動画像データを繋ぎあわせ、新たな動画像データを作成する。
【００４５】
一方、前記キューメモリ３８に書き込まれた一連のフィールド番号を、前記プレビューデータメモリ３５に出力することにより、キューメモリ３８に書き込まれたフィールド番号に対応する画像データをプレビューウィンドウ５７に表示する。また同様に、一連のフィールド番号のうち特定のフィールド番号を映像データメモリバンク２２に出力することにより、該フィールド番号に対応する画像データをビデオ表示ウィンドウ５３に表示する。
【００４６】
これにより、第１及び第２の実施例と同様に、プレビューウィンドウ５７に表示された複数の映像データを同時に見ながら、映像データの前後の関係や流れを把握し、更に、プレビューウィンドウ５７上でマウス５を操作することにより、あたかもビデオテープレコーダのコマ送り，早送り再生，巻戻し再生を行うかのように、記録された映像データを見ることができる。
【００４７】
特に、第３の実施例においては、画像キュー部３９を設けることにより、動画像データを参照し、検討の上、マウス５によりユーザが希望する一連の動画像を切り出してつなぎ合わせ、新たな動画像データとすることが簡単にできるようになる。
【００４８】
また、キューメモリ３８の最大容量に対して実際に書き込まれているフィールド番号を示すデータの量の割合を、表示画面上５１にマーカ６０として表示することにより、画像を切り出してつなぎ合わせるという編集作業をしながら、あとどれくらいの編集を行うことができるのかをユーザが知ることができる。このマーカ６０を表示するには、たとえば、キューメモリ３８と画像合成器１９との間の信号経路に、キューメモリ３８内のデータ量に応じてマーカ信号の発生タイミングが変更されるマーカ発生器（図示せず）を設ければよい。
【００４９】
上述のように、メモリに蓄積された複数の画像データのうちの表示すべき画像データに付与されたフィールド番号等の識別番号をキューメモリに格納しておき、再生時にこの識別番号に基づいてメモリ内の画像データを読み出すことにより、上述のコマ送りなどの動作をさせて映像の流れを検討した上でユーザが希望する一連の動画像を切り出して繋ぎ合わせ、新たな動画像データを創作することができる。しかも、フィルムやビデオテープによる編集と異なり、編集個所の変更が極めて容易であり、また、処理がディジタル的に行われるので、編集作業による画質の劣化もない。
【００５０】
【発明の効果】
本発明によれば、第一の映像ウインドウに加え第２の映像ウインドウを備えたので、映像データの前後の流れの把握が容易になる。また、映像データの編集も容易になる。
【図面の簡単な説明】
【図１】本発明の映像ウィンドウシステムの第１の実施例の原理ブロック図
【図２】第１の実施例の具体ブロック図
【図３】第１の実施例によるディスプレイ画面の例を示す説明図
【図４】マウスの模式的な平面図
【図５】本発明の映像ウィンドウシステムの第２の実施例の原理ブロック図
【図６】第２の実施例の具体ブロック図
【図７】第２の実施例によるディスプレイ画面の例を示す説明図
【図８】本発明の映像ウィンドウシステムの第３の実施例の原理ブロック図
【図９】第３の実施例の具体ブロック図
【図１０】第３の実施例によるディスプレイ画面の例を示す説明図
【符号の説明】
１：映像再生装置２，７：映像ウィンドウ３：映像データ記録手段４：キーボード５：マウス６，２３：インタフェース手段８，２８：映像データ再生表示手段９：ビデオ映像表示手段１０：ビデオ入力端子１１：Ａ／Ｄ変換器１２：書込み制御器１３：ビデオメモリ１４：読出し制御器１５：切替器１６，３４空間フィルタ１７：バッファ１８：ディスプレイ入力端子１９：画像合成器２０：ビデオ出力端子２１：映像データ記録手段２２：映像データメモリバンク２４：マウス入力端子２５：座標計数器２６：マウスボタン検出器２７：正規化器２９：記録画像数保持器３０：画像計数器３１：乗算器３２，３３：プレビューデータ表示手段３５：プレビューデータメモリ３６：バッファ３７，３９：画像キュー部３８：キューメモリ４０：座標比較器４１：範囲指示器５１：表示部５２，５４：テキストウィンドウ５３：ビデオ表示ウィンドウ５５，５８：マスカーソル５６，５９：スクロールバー５７：プレビューウィンドウ６０：マーカ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a video window system capable of displaying a video image information, about the particular multi-windowed video data display equipment.
[0002]
[Prior art]
2. Description of the Related Art In recent years, computer systems such as personal computers and workstations using microprocessors have tended to use multi-windows in search of higher performance and a better user interface. In such a video window system, improvement of operability of a workstation and development of a new application method is a major problem. In particular, how to handle a general video signal such as an NTSC signal in a multi-window system is a major problem. It is one of the problems.
[0003]
Conventionally, a multi-window system has mainly dealt only with text information. In recent years, however, a window system that has a window for displaying a video based on a general video signal as a moving image on a display of a workstation has been proposed. (See, for example, Araki et al., "VP-150 High-Definition Natural Image Processor", NEC Technology Vol. 40 No. 7/1987, pp. 28-33).
[0004]
In the device described in this document, a video signal is A / D-converted, stored in a primary memory, subjected to predetermined image processing, and then stored in a secondary memory. The contents of the secondary memory are read out in synchronization with the synchronization signal of the display, D / A-converted, combined with a video signal from a personal computer, and output to the display.
[0005]
[Problems to be solved by the invention]
However, in the device described in the above-mentioned document, only a part or all of the image displayed by the personal computer is replaced with a video signal from another video signal source such as a VTR or a video camera, and the image is displayed. It is not possible to perform processing such as recording and editing on the video signal itself while watching the image.
[0006]
The present invention has been devised in order to solve the above-described problem, and temporarily records a video signal for a plurality of screens in a memory, and performs a predetermined operation on the content of the memory, An object of the present invention is to provide a video data display device which has a wider application field of a video window system and has better operability.
[0007]
[Means for Solving the Problems]
The video data display device of the present invention displays a first video window for displaying one image selected from a continuous series of moving images , and a plurality of video data included in the moving images and recorded in chronological order. second an image window, characterized by continuously changing by dragging the plurality of video data of said second image window to be.
[0008]
BEST MODE FOR CARRYING OUT THE INVENTION
[0009]
【Example】
Hereinafter, the features of the present invention will be specifically described based on embodiments with reference to the drawings.
[0010]
FIG. 1 is a block diagram showing the basic configuration of a first embodiment of the video window system of the present invention.
[0011]
As shown in FIG. 1, the video window system according to the first embodiment can display at least an image (hereinafter, referred to as a video image) based on a video signal output from a video reproduction device 1 such as a VTR or a video camera. A video window 2, video data recording means 3 for recording a video signal corresponding to the video image displayed in the video window 2 in a memory in real time, and interface means for interpreting signals input from a keyboard 4 and a mouse 5 6 and a signal interpreted by the interface means 6, the user selects arbitrary video data intended by the user from a set of a plurality of video data recorded in the video data recording means 3 and selects the video window 2 or another video window. And a video data reproducing / displaying means 8 for displaying the data on the display 7.
[0012]
In this video window system, two types of display modes, a monitor mode and a reproduction mode, can be set. Normally, the monitor mode is set, and the video window 2 displays a video image from the video reproduction device 1. In the reproduction mode, a video image from the video data reproduction display means 8 is displayed. .
[0013]
A signal input from the keyboard 4 and the mouse 5 is output as a control signal of the video data reproducing / displaying unit 8 by the interface unit 6, and a plurality of video data recorded in the video data recording unit 3 is used to output one screen of video. Select data. The selected video data is displayed in the video window 2 or another video window 7 by the video data reproduction / display means 8.
[0014]
Next, a specific configuration of the first embodiment will be described with reference to the block diagram of FIG. FIG. 3 shows an example of the display screen of this embodiment.
[0015]
In the example of FIG. 2, in the video image display means 9, the video signal input from the video input terminal 10 is converted into a digital signal by the A / D converter 11, and the writing controller 12 controls the video signal in accordance with the field rate of the video signal. Write to the video memory 13. The contents of the video memory 13 are read out by a read-out controller 14 controlled in accordance with the scanning rate of the display to be displayed, and are converted into digital video signals. This digital video signal passes through a switch 15 for switching between a monitor mode for monitoring video input and a playback mode for displaying recorded image data, and further according to the size of a displayed video window. It is stored in a buffer 17 through a spatial filter 16 to prevent aliasing noise.
[0016]
On the other hand, a display input from a computer, a workstation, or the like for displaying text information is also input to an image synthesizer 19 via a display input terminal 18, synchronized for display, and stored in a buffer 17. It is combined with the digital video signal and output from the video output terminal 20 as a video output to the display device.
[0017]
FIG. 3 shows an example of a display screen. A command or the like input from the keyboard 4 (see FIG. 1) is echoed back and displayed on the display unit 51 of the display device, and a response from the system is displayed. , A video display window 53 for displaying one screen of image data read from the video data memory bank 22 of the video data recording means 21 described later, and a portion of the image data cut out and displayed. A text window 54 and the like displayed together with the text data are displayed. In the text window 54, for example, a partial area of the image displayed in the video display window 53 is designated by the mouse 5 or the like, and is copied into the text window 54 in which a character string input from the keyboard 4 is displayed. By doing so, it is possible to create a multimedia document in which a part of an arbitrary scene in a video image is cut out and incorporated into a document.
[0018]
The video data recording means 21 inputs video video data D0, D1, D2,... Converted into digital signals from the video memory 13 in order to record a video signal input from the video input terminal 10, The writing controller 12 assigns

field numbers

0, 1, 2,... Starting from 0 and increasing for each field, and stores them in the video data memory bank 22. Table 1 shows an example of a storage state in the video data memory bank 22.
[0019]
[Table 1]

In the interface means 23, the position information supplied from the mouse 5 (see FIG. 1) via the mouse input terminal 24 is counted by the coordinate counter 25 and held as the coordinates of the mouse cursor 55 (see FIG. 3). Is done. The mouse button detector 26 detects the on / off information of the mouse button and outputs the information to the video data reproduction / display means 28. In this embodiment, as shown in FIG. 4, a mouse 5 having three types of buttons, a right button 5R, a middle button 5C, and a left button 5L is considered. It is assumed that the mouse cursor 55 indicates a part of the scroll bar 56 on the display unit 51 as shown in FIG. The scroll bar 56 is disposed adjacent to the right side of the video display window 53 and has a length substantially equal to the height of the video display window 53. The coordinate counter 25 detects that the

mouse buttons

5L, 5C, 5R are pressed, and outputs the coordinates at that time to the normalizer 27. The normalizer 27 calculates the ratio of the distance 1 from the starting point of the designated point on the scroll bar 56 to the entire length L of the scroll bar 56 from the coordinate values, and calculates the image as a value α from 0 to 1. The data is output to the data reproduction display means 28.
[0020]
In the video data reproduction / display means 28, the number M of image data recorded in the video data memory bank 22 is stored in a recorded image number holder 29. When the recorded video data is reproduced and displayed on the video display window 53, an image indicating which field of the image data recorded on the video data memory bank 22 is displayed on the video display window 53 is displayed. A counter 30 and a multiplier 31 for obtaining a field number F corresponding to an image to be displayed from the output α of the normalizer 27 of the interface means 23 and the output M of the recorded image number holding unit 29 are provided.
[0021]
When the mouse button detector 26 detects that the right button 5R of the mouse 5 is pressed, a signal CU is generated, and the signal CU causes the image counter 30 to count up. The image data of the field being displayed is displayed in the video display window 53.
[0022]
Further, the image counter 30 is counted down by the signal CD for detecting that the left button 5L is pressed, and as a result, the image data of the field recorded immediately before is displayed on the video display window 53.
[0023]
Further, the value α from 0 to 1 output from the normalizer 27 of the interface means 23 is multiplied by the content M of the recorded image number holding unit 29 by the multiplier 31, so that the instruction is given by the mouse 5. The field number F of the image data obtained is obtained, and the field number F is loaded into the image counter 30 by a signal LD for detecting that the middle button 5C is pressed. As a result of the loading, the image data of the field number recorded in the video data memory bank 22 is displayed on the video display window 53.
[0024]
Thus, for example, the right or

left buttons

5R and 5L of the mouse 5 allow the user to view the recorded video data as if the video tape recorder were stepping forward. In addition, a specific scene from the recorded video data can be directly selected and displayed by the middle button 5C of the mouse 5. Further, by moving the mouse cursor 55 on the scroll bar 56 while holding down the middle button 5C of the mouse 5, the image counter 30 is continuously changed while the field number F of the image data designated by the mouse 5 changes. , The video data corresponding to the position pointed by the mouse 5 on the scroll bar 56 is continuously displayed in the video display window 53, and the video data is displayed as if by a fast forward playback or a rewind playback of a video tape recorder. Processing becomes easy.
[0025]
As a result, an arbitrary scene can be extracted from a series of moving images by a simple operation as needed. For example, a new image is created by synthesizing a computer graphic image and a video image from a video tape recorder. In such a multimedia document editing operation, a better user interface can be provided.
[0026]
Next, a second embodiment of the present invention will be described with reference to the principle block diagram of FIG. 5 and the specific block diagram of FIG. In addition, members and the like corresponding to those of the first embodiment shown in FIGS. 1 to 3 are denoted by the same reference numerals, and redundant description is omitted.
[0027]
The principle block diagram of the second embodiment shown in FIG. 5 is different from the principle block diagram of the first embodiment shown in FIG. The difference is that a preview data display means 32 is provided. The preview data display means 32 is for displaying a continuous series of plural video data from a set of plural video data recorded in the video data recording means 3. A memory for recording the video data of interest and a plurality of video data before and after the video data based on the instruction is provided.
[0028]
In the second embodiment shown in FIG. 5, similarly to the first embodiment, the video image from the video reproducing apparatus 1 is normally displayed in the video window 2, and the reproduction display is not performed. At times, the video image from the video data reproduction / display means 8 can be displayed. Also, by reading out the image data recorded in the preview data display means 32, a plurality of video data recorded before and after along with the video data of interest are displayed in the video window 2 in the order of recording time. In the present embodiment, this video window is particularly distinguished by being called a preview window. On the other hand, a signal input from the mouse 5 and the keyboard 4 is output as a control signal of the video data reproducing / displaying unit 8 by the interface unit 6, and the video data for one screen is obtained from a plurality of video data recorded in the video data recording unit 3. Select data. The selected video data is displayed in the video window 2 or the like by the video data reproduction / display means 8 and simultaneously displayed in the preview window together with a plurality of video data recorded before and after the selected video data. You. In the example of FIG. 5, the preview window is included in the video window 2.
[0029]
FIG. 6 shows a specific block diagram of the second embodiment. The difference from the specific block diagram of the first embodiment shown in FIG. The output is supplied to the preview data memory 35 via the spatial filter 34, and the output of the preview data memory 35 is supplied to the image synthesizer 19 via the buffer 36. Note that the preview data memory 35 is supplied with control signals from the write controller 12 and the read controller 14. FIG. 7 shows an example of a display screen according to the second embodiment.
[0030]
In this embodiment, as shown in FIG. 7, a preview window 57 is displayed separately from the video display window 53. The preview window 57 includes the video data of interest and the five fields before and after the video data, that is, a total of eleven video data. , Dn,..., Dn + 4, Dn + 5 can be displayed.
[0031]
A preview data display means 33 having a spatial filter 34 and a preview data memory 35 receives the field number F output from the video data reproduction and display means 28, and receives a corresponding field number F from the video data memory bank 22. The video data to be processed and the image data of a total of 11 fields, ie, 5 fields before and after, are stored in the preview data memory 35 via the spatial filter 34. The stored image data for 11 fields is output to the video image display means 9 and displayed as a preview window 57.
[0032]
As a result, as shown in FIG. 7, by simultaneously viewing a plurality of video data displayed in the preview window 57, it is possible to grasp the relation and flow before and after the video data. Further, if the mouse 5 is operated on the preview window 57 and the right button 5R or the left button 5L is pressed, the field number designated by the image counter 30 increases or decreases by one, and the field number corresponding to the field number is increased. The image data to be read is read from the video data memory bank 22 and displayed on the video display window 53, and image data for 11 fields centered on the changed field number is displayed on the preview window 57. As a result, it is possible to view the recorded video data by operating the mouse 5 as if the frame advance of the video tape recorder was performed. By operating the middle button 5C of the mouse 5 and directly loading the field number F obtained by the multiplier 31 into the image counter 30, a specific scene of the recorded video data can be directly displayed. Can be selected and displayed.
[0033]
Further, by moving the mouse cursor 58 on the scroll bar 59 while holding down the middle button 5C of the mouse 5, the video display window 53 and the preview window 57 display the corresponding image indicated by the mouse 5 on the scroll bar 59. Data is continuously displayed, and processing such as fast forward playback and rewind playback of a video tape recorder can be easily performed.
[0034]
In the second embodiment, it is assumed that the interface means 23 has been changed to one corresponding to the preview window 57.
[0035]
Next, a third embodiment of the present invention will be described with reference to the principle block diagram of FIG. 8 and the specific block diagram of FIG. Members and the like corresponding to those of the second embodiment shown in FIGS. 5 to 7 are denoted by the same reference numerals, and redundant description will be omitted. FIG. 10 is an example of a display screen according to the third embodiment.
[0036]
The principle block diagram of the third embodiment shown in FIG. 8 is different from the principle block diagram of the second embodiment shown in FIG. Is provided with an image cue unit 37. The image queue unit 37 is a memory having a queue structure for storing numbers uniquely corresponding to video data.
[0037]
Also in the third embodiment, as in the first and second embodiments described above, the video window 2 normally displays a video image from the video reproduction device 1, and the reproduction window is displayed. At times, the video image from the video data reproduction / display means 8 can be displayed. Similarly to the second embodiment, the preview data display means 32 displays a plurality of video data recorded before and after along with the video data of interest in the preview window in the order of recording time.
[0038]
On the other hand, a signal input from the mouse 5 and the keyboard 4 is output as a control signal of the video data reproducing / displaying unit 8 by the interface unit 6, and the video data for one screen is obtained from a plurality of video data recorded in the video data recording unit 3. Select data. The selected video data is displayed in the video window 2 by the video data reproduction / display means 8, and at the same time, the selected video data is displayed in the preview window together with a plurality of video data recorded before and after.
[0039]
Here, in the third embodiment, when an operation of selecting a desired video data range on the preview window using the mouse 5 is performed, a series of numbers uniquely corresponding to the series of video data is displayed in the image queue. Stored in the unit 37. By repeating this operation, it is possible to obtain moving image data in which arbitrary video data stored in the video data recording unit 3 is connected in an arbitrary order intended by the user. The moving image is displayed in the preview window and the video window 2 based on the number stored in the image queue unit 37.
[0040]
FIG. 9 is a specific block diagram of the third embodiment. The difference from the second embodiment shown in FIG. 6 is that the interface means 23 determines the mouse position. And a range indicator 41 for converting a range on the scroll bar 59 designated by the mouse cursor 58 into a range of a plurality of image data field numbers, and the range indicator. An image cue unit 39 having a cue memory 38 for supplying and storing the output of the device 41 and supplying the output to the preview data memory 35 is provided.
[0041]
Field numbers from the range indicator 41 and the image counter 30 are supplied to the image queue unit 39, and the field numbers are output to the video data memory bank 22 and the preview memory 35 from the image queue unit 39. Further, a signal for changing the content of the image counter 30 to a field number corresponding to the image specified by the mouse on the preview window 57 is output from the image queue unit 39.
[0042]
In the third embodiment as well, as in the first and second embodiments, the image data selected by the mouse 5 from the plurality of image data stored in the video data memory bank 22 is converted to the video data. The image data is displayed in the image window 53, and the image data for the previous and next eleven fields including the target image data is displayed in the preview window 57 by the preview data display means 33.
[0043]
Now, with the mouse cursor 58 being on the preview window 57, the start of the area desired by the user in the series of video data displayed in the preview window 57 is started by the left button 5L of the mouse 5. When the instruction and the end are instructed by the right button 5R, the coordinate values of the mouse cursor 58 when the

respective buttons

5L and 5R are pressed are supplied to the coordinate comparator 40, respectively. The coordinate comparator 40 detects that a specific series of video data on the preview window 57 has been selected, and outputs the coordinate value of the mouse cursor 58 to the range indicator 41. The range indicator 41 knows the field numbers corresponding to the individual video data of the series of video data selected from the output of the preview data memory 35, and writes the field numbers to the queue memory 38 in chronological order as a series of field numbers. Here, it should be noted that the field number corresponding to each video data is uniquely determined in this system.
[0044]
By repeating the above-described operation of selecting a series of video data displayed in the preview window 57 and writing a corresponding series of field numbers into the image queue unit 39, the moving image data is joined, and a new Create moving image data.
[0045]
On the other hand, by outputting a series of field numbers written in the queue memory 38 to the preview data memory 35, image data corresponding to the field numbers written in the queue memory 38 is displayed in the preview window 57. Similarly, by outputting a specific field number from the series of field numbers to the video data memory bank 22, the image data corresponding to the field number is displayed on the video display window 53.
[0046]
Thus, as in the first and second embodiments, while simultaneously watching a plurality of video data displayed in the preview window 57, the relationship and flow of the video data before and after are grasped. By operating the mouse 5, the recorded video data can be viewed as if frame advance, fast forward playback, and rewind playback of the video tape recorder were performed.
[0047]
In particular, in the third embodiment, by providing the image queue unit 39, a series of moving images desired by the user are cut out by the mouse 5 and connected by referring to the moving image data and examined, and a new moving image is created. Image data can be easily obtained.
[0048]
An editing operation of cutting out and joining images by displaying the ratio of the amount of data indicating the field number actually written to the maximum capacity of the queue memory 38 as a marker 60 on the display screen 51. The user can know how much more editing can be done. In order to display the marker 60, for example, a marker generator (in which a generation timing of a marker signal is changed according to the amount of data in the queue memory 38) is provided in a signal path between the queue memory 38 and the image synthesizer 19. (Not shown) may be provided.
[0049]
As described above, the identification number such as the field number assigned to the image data to be displayed among the plurality of image data stored in the memory is stored in the queue memory, and the memory is stored based on the identification number during reproduction. By reading out the image data in the above, making the above-mentioned frame advance etc. operation and examining the flow of the video, cutting out and joining a series of moving images desired by the user, creating new moving image data Can be. In addition, unlike editing by film or videotape, it is extremely easy to change the editing location, and since the processing is performed digitally, there is no deterioration in image quality due to editing work.
[0050]
【The invention's effect】
According to the present invention, since the second video window is provided in addition to the first video window, it is easy to grasp the flow before and after the video data. Also, editing of video data is facilitated.
[Brief description of the drawings]
FIG. 1 is a block diagram showing the principle of a first embodiment of a video window system according to the present invention. FIG. 2 is a specific block diagram of the first embodiment. FIG. 3 is a diagram showing an example of a display screen according to the first embodiment. FIG. 4 is a schematic plan view of a mouse. FIG. 5 is a principle block diagram of a video window system according to a second embodiment of the present invention. FIG. 6 is a specific block diagram of the second embodiment. FIG. 8 is an explanatory diagram showing an example of a display screen according to the second embodiment. FIG. 8 is a principle block diagram of a third embodiment of the video window system of the present invention. FIG. 9 is a specific block diagram of the third embodiment. Explanatory diagram showing an example of a display screen according to a third embodiment.
1: Video playback device 2, 7: Video window 3: Video data recording means 4: Keyboard 5: Mouse 6, 23: Interface means 8, 28: Video data reproduction display means 9: Video video display means 10: Video input terminal 11 : A / D converter 12: Write controller 13: Video memory 14: Read controller 15: Switching

unit

16, 34 spatial filter 17: Buffer 18: Display input terminal 19: Image synthesizer 20: Video output terminal 21: Video Data recording means 22: Video data memory bank 24: Mouse input terminal 25: Coordinate counter 26: Mouse button detector 27: Normalizer 29: Recorded image number holder 30: Image counter 31: Multiplier 32, 33: Preview data display means 35: Preview data memory 36: Buffer 37, 39: Image queue unit 3 8: Cue memory 40: Coordinate comparator 41: Range indicator 51: Display unit 52, 54: Text window 53: Video display window 55, 58: Mass cursor 56, 59: Scroll bar 57: Preview window 60: Marker

Claims

A first video window for displaying one image selected from a continuous series of moving images;
The included in the moving image, and a second image window for displaying a plurality of video data recorded chronologically,
A video data display device, wherein a plurality of video data in the second video window are continuously changed by a drag operation .