JP4090936B2 - 動画像検索装置 - Google Patents
動画像検索装置 Download PDFInfo
- Publication number
- JP4090936B2 JP4090936B2 JP2003112859A JP2003112859A JP4090936B2 JP 4090936 B2 JP4090936 B2 JP 4090936B2 JP 2003112859 A JP2003112859 A JP 2003112859A JP 2003112859 A JP2003112859 A JP 2003112859A JP 4090936 B2 JP4090936 B2 JP 4090936B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- video data
- screen
- video
- title
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
この発明は動画像検索装置および方法に関し、特に、符号化された動画像情報からなる動画像の検索を簡単にかつ数種類の方法を使って行うことを可能とする動画像検索装置に関する。
【０００２】
【従来の技術】
従来から、ビデオテープ、磁気ディスク等の磁気記憶媒体、あるいは光デイスク等の記憶媒体に映像を格納しておき、必要に応じてこれらから映像を再生できるようにした画像再生装置あるいは画像記録再生装置が開発されている。これらの記憶媒体は大きな容量を持っているので、数時間の映像を記憶することができるが、該記憶媒体をさらに有効利用するために、画像を圧縮して記憶媒体に記憶させるようにしたものもある。
【０００３】
これらの記憶媒体に記憶された画像情報は、単体の画像再生装置で再生されたり、パソコンに接続されてパソコン上で再生されたり、あるいはネットワークに接続されて、ワークステーション上で再生されたりしている。ユーザは、該記憶媒体に記憶されている画像情報を再生する場合、該画像情報のタイトル名等の文字情報をもとに画像情報を検索し、所望の画像を再生するようにしている。
【０００４】
【発明が解決しようとする課題】
前記したように、従来は、再生したい画像情報をタイトル名等の文字情報をもとに検索しているため、画像情報の頭出しはできるが、選んだ画像情報の中の特定の画面（シーン）を検索しようとすると、画像情報を例えば早送りで最初から再生し、所望の特定の画面を見つけなければならず、時間と手間がかかるという問題があった。また、検索のための再生中にうっかりして所望の画面を見逃すと、再度最初から画像情報を再生して、検索作業をやり直さなければならないという問題があった。
【０００５】
本発明の目的は、前記した従来技術の問題点を除去し、映像を最初から最後まで再生することなく、容易に映像内容の把握ができ、対話的に映像の検索、再生を行って目的の映像を見つけることができる動画像検索装置を提供することにある。また、類似検索機能を備えることにより、所望の映像のみを表示、再生することのできる動画像検索装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明は、ユーザの要求に応じて、あらかじめ蓄積されたビデオデータを再生、検索する動画像検索装置において、ビデオデータを蓄積するビデオデータ蓄積手段と、該ビデオデータ蓄積手段に蓄積されているビデオデータの少なくともタイトルと該タイトルのビデオデータの内容を示す代表画面を表示し、該タイトルと代表画面のいずれからでもビデオデータを選択できるようにするビデオタイトル選択手段と、複数の検索条件から検索条件を選択して設定する手段と、前記設定された検索条件に従って、前記ビデオタイトル選択手段によって選択されたビデオデータ内の複数の画面を検索し、複数の検索画面を表示するビデオデータ検索手段と、該ビデオデータ検索手段によって検索された画面に基づいてビデオデータを再生する再生手段とを具備した点に第１の特徴がある。
【０００７】
また、ビデオデータを蓄積する手段を有するサーバと、該サーバとクライアントとを接続するネットワークと、該ネットワークに接続されたクライアントとで構成される動画像検索装置であって、前記サーバが送出するビデオデータの少なくともタイトルと該タイトルのビデオデータの内容を示す代表画面を表示し、該タイトルと代表画面のいずれからでもビデオデータを選択できるようにするビデオタイトル選択手段と、複数の検索条件から検索条件を選択して設定する手段と、前記設定された検索条件に従って、前記ビデオタイトル選択手段によって選択されたビデオデータ内の複数の画面を検索し、複数の検索画面を表示する前記サーバ側のビデオデータ検索手段と、該ビデオデータ検索手段によって検索された画面に基づいてビデオデータを再生する再生手段とを具備した点に第２の特徴がある。
【０００８】
第１の特徴によれば、前記ビデオタイトル選択手段は、少なくともタイトルと代表画面を表示し、該タイトルと代表画面のいずれからでも選択できるようになる。このため、ユーザは該ビデオタイトル選択手段によって選択されたビデオデータを最初から最後まで再生しなくても、ビデオデータの検索をすることができる。また、短時間に検索をすることができる。また、前記再生手段は該検索された画面に基づいてビデオデータの再生を行うので、ユーザはビデオデータのうち、見たい画面からの再生を行うことができる。
【０００９】
また、前記第２の特徴によれば、クライアントはネットワークを介してサーバに蓄積されているビデオデータを読み出し、該ビデオデータを検索した画面を自身のモニタに表示することができる。このため、クライアントは、サーバに共有されているビデオデータを、あたかも自分が所有しているのと同じ感覚で使用することができる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。ここでは、動画像符号化の国際標準方式、ＭＰＥＧ１（ＩＳＯ／ＩＥＣ １１１７２）により圧縮された動画像符号化データからの動画像検索について説明するが、本発明はＭＰＥＧ１の圧縮方式で圧縮された動画像の検索に限定されるものではない。
【００１１】
本発明の一実施形態は、ビデオデータを格納するハードディスク、圧縮動画像を再生する再生ボード、ソフトウェアを内蔵したＰＣ（パソコン）、及びモニタ等から構成されている。また、マウス等のポインティングデバイスを用いて、対話的な操作を実現している。
【００１２】
図１はこの実施形態の機能を表すブロック図である。図のデータ蓄積部１は前記ハードディスクに相当し、該データ蓄積部１には、予めジャンル選択画面情報、ビデオタイトル選択画面情報、各種の映像ファイルＡ，Ｂ，…、インデックスファイルが格納されている。再生部２は前記データ蓄積部１から読み出された圧縮動画像である映像ファイルａを復号化して再生するものであり、前記再生ボードに相当する。該再生部２は復号化された映像データｂを、表示データ用バッファ７に送出する。
【００１３】
制御部３はＣＰＵ等で構成されており、前記ソフトウェアを内蔵したＰＣに相当する。画面表示部４は前記データ蓄積部１に格納されているジャンル選択画面情報、ビデオタイトル選択画面情報、あるいは前記再生部で復号化された映像ファイル等を表示する。また、各種の制御ボタン等を表示する。操作入力部５はキーボード、マウス等のポインティングデバイスに相当する。
【００１４】
検索処理部６は、オペレータによる操作入力部５からの操作手順により、画像検索の指示がなされると、前記データ蓄積部１に格納されている各種の映像ファイルから指定された映像ファイルｃを取り出し、複数種類の方法（後述する時間検索、シーン検索、類似画像検索等）で映像シーンの検索を行う。検索処理部６は、また、後述するインデックス検索が選択された場合には、データ蓄積部１中のインデックスファイルｄを取り出し、これを用いて、映像シーンの検索を行う。検索処理部６は検索結果の画面情報ｅを再生部２に送ると共に、画面タイムコード等の検索画面に付随する情報ｆを表示データ用バッファ７に送出する。表示データ用バッファ７は、前記画面表示部４に表示するデータを一時的に蓄積する。
【００１５】
次に、本実施形態の動作を、図２のフローチャート、図３以下の画面表示等を参照して説明する。まず、図２のステップＳ１にあるように、前記データ蓄積部１には、ビデオデータが圧縮符号化され、その内容に従ってジャンル毎に分類されて格納されているものとする。ステップＳ２において、オペレータが、本システムのアプリケーションソフトウェアを立ち上げると、制御部３の作用により、前記データ蓄積部１からジャンル選択画面情報が読み出され、表示データ用バッファ７に転送される。この結果、画面表示部４には図３に示されているようなジャンル選択画面を表示する。ジャンル名の表示は、ディレクトリ名をサーチして表示する。ステップＳ３では、該ジャンル選択画面から、検索、再生する映像のジャンルが選択されたかどうかの判断がなされる。ジャンルが選択されると、ステップＳ４に進む。この選択は、ポインティングデバイスを用いることにより行うことができる。
【００１６】
ステップＳ４では、データ蓄積部１からビデオタイトル選択画面情報が読み出され、図４(a) または(b) に示されているような、ビデオタイトル選択画面が表示される。前記ジャンル選択画面情報およびビデオタイトル選択画面情報は、図９の(a) 〜(c) のいずれかに示されているようなファイル構造をしている。(a) および(b) はディレクトリをサーチしてタイトル名を表示する場合のファイル構造を、(c) は識別子を利用してタイトル名を表示する場合のファイル構造を示している。
【００１７】
ビデオタイトル選択画面に表示される内容としては、図４に示されているように、ビデオデータのタイトル名、代表画面、トータルタイムがある。タイトル名は、ジャンル名と同様、データファイル等が蓄積されているディレクトリをサーチして表示するか、識別子を利用して表示する。また、画面中の「Cancel」は、前画面に戻る（ここでは、ジャンル選択画面）ことを指示する時に選択される制御ボタンであり、「Previous」、「Next」は、表示される代表画面が多い場合の画面の切り替え、すなわち前の画面に戻るまたは次の画面に進む時に使用される制御ボタンである。該制御ボタンは、後述の再生画面、検索画面、検索結果表示画面においても共通である。
【００１８】
また、トータルタイムは以下の計算式で求めることができる。
トータルタイム＝ビデオデータの容量／ビットレート［sec ］…（１）
ビットレート＝(system bitstream multiplex rate) ×400 ［bit/sec ］…（２）
ここで、system bitstream multiplex rate は、ＩＳＯ／ＩＥＣ １１１７２ー３で規定されているＭＰＥＧ１のシステムビットストリームのビットレート単位である。
【００１９】
さらに、代表画面としてはビデオデータの先頭画面を利用することができ、その作成方法としては、ＧＩＦ，ＪＰＥＧ等のフォーマットを利用してあらかじめ代表画面ファイルを作成しておくか、ＭＰＥＧ１で圧縮されたもとのビデオデータをランダムアクセスしてその画面のみを表示する方法がある。後者のランダムアクセスした画面を代表画面として表示する場合のランダムアクセスの方法としては、タイムコードを利用する方法とフレームフラグを利用する方法がある。
【００２０】
それぞれのアクセス位置は以下の計算式で求めることができる。
タイムコードを利用する場合：
（トータル容量×アクセスタイム／トータルタイム）−αバイト…（３）
フレームフラグを利用する場合：
（トータル容量×アクセスフレーム／トータルフレーム）−αバイト…（４）
なお、αは任意の整数で、正の値を用いることにより、アクセス位置を少し手前にすることができる。これにより、少し手前からの再生を行って、再生タイムコードを監視し、該当のタイムコードで一時停止して、該当画面の表示を行うことができる。
【００２１】
図４のビデオデータのタイトル選択画面においてビデオタイトルが選択されると（ステップＳ５が肯定）、選択したビデオデータを再生するか、検索するかを選ぶことができる（ステップＳ６）。再生を選択する場合は再生ボタンを、検索を選択する場合は、検索ボタンをクリックする。また、この変形例として、ジャンル選択画面が表示される前の段階で、あらかじめ再生、検索を選択することも可能である。
【００２２】
選択したビデオデータを再生する場合は、前記再生ボタンがクリックされる。そうすると、ステップＳ７に進み、データ蓄積部１から選択されたビデオタイトルの映像ファイルを再生部２に送る。再生部２において、圧縮されて蓄積されていた画像データは復号化され、表示データ用バッファ７に記憶される。そして、ステップＳ８において、図５のような再生画面が表示される。この再生画面には、前記選択されたビデオタイトルの画像データが最初から最後まで連続的に表示される。この再生を途中で止めたい場合には、ＣＡＮＣＥＬボタンをクリックすればよい。なお、通常の再生のほか、スロー再生、スキップ再生、コマ送り等の特殊再生を行ったり、再生画面のサイズを変えることもできる。図中のＰＬＡＹ，ＣＵＥ，ＳＬＯＷ，ＳＳ，ＲＥＷ，ＦＦ，ＰＡＵＳＥ，ＳＴＯＰはそれぞれ通常再生、早送り再生、低速再生、コマ送り、巻き戻し、早送り、一時停止、停止を意味し、コマ送りの場合、マウス等のポインティングデバイスでクリックする毎に１コマずつ進むようになっている。
【００２３】
ステップＳ９では、再生を継続するか否かの判断がなされる。すなわち、他のビデオタイトルの画像を再生するか否かの判断がなされる。この判断が肯定の場合には、ステップＳ２に戻って、図３のジャンル選択画面を表示する。一方、再生を継続しない場合には終了する。
【００２４】
次に、図４のタイトル選択画面で選択したビデオデータの内容を検索する場合には、検索ボタンがクリックされる。そうすると、前記ステップＳ６からステップＳ１０に進み、図６の検索画面が表示される。すなわち、前記検索処理部６（図１参照）が動作し、図６の検索画面が表示される。該検索画面には、時間検索、シーン検索、類似画像検索等が表示される。これらのうちの任意の検索が選択されると、選択された種類の検索が該検索処理部６にて実行され、検索結果が図７のように表示される（ステップＳ１１）。その後、該画面中の検索画面またはタイムコードをポインティングデバイスで指定し、再生を選択すると（ステップＳ１２が肯定）、該当画面からの再生を行うことが可能である（ステップＳ８）。この場合、指定された場所からの再生については、前述の（３）式か（４）式を用いてランダムアクセス再生することができる。
【００２５】
次に、図６の画面に表示された各検索方法について、詳細に説明する。
時間検索は、指定された時間間隔ごとにビデオデータを検索し、その画面とタイムコードを表示する。時間の指定方法は、図６の検索画面において、時間検索を選択すると同時に、開始および終了時間（ＸＸ：ＸＸ〜ＸＸ：ＸＸ）と、検索間隔（ＸＸ Ｓｅｃ．）を指定する。なお、前もって時間間隔を指定したり、開始、終了時間をそれぞれビデオの開始、終了時間に合わせることも可能である。この時間検索によれば、開始〜終了時間の間のビデオデータが、指定された検索間隔で抽出され、検索画面として画面表示部４に表示される。
【００２６】
シーン検索は、映像のシーン切り替わり点（カット点）を自動的に検出して、各シーンの代表画面とタイムコードを表示する。代表画面としては、各シーンの先頭画面を用いることができる。該カット点検出には、例えば氏原らの’動画像のカット点画像検出装置及び方法’、情報処理学会第５１回後期全国大会６S −９（１９９５）、特願平７ー２６３６８１号、特願平５−２１６８９５号、あるいは特願平６−４６５６１号に開示されている技術を用いることができる。
【００２７】
この技術は、例えば、入力された動画像の画面のデータから縮小画像を作る縮小画像作成手段と、注目画面ｎ（ただし、ｎは正の整数）、および該注目画面から時間的に、前後に、１フレームまたは複数フレーム離れた画面（ｎ−１）、（ｎ＋１）の縮小画像間の輝度差分を総合して、各フレームに関するフレーム間輝度差分を求めるフレーム間輝度差分演算手段と、前記画面（ｎ−１）、ｎ、（ｎ＋１）の縮小画像間の色差信号のヒストグラムから、フレーム間の色差信号とヒストグラム相関値を求める色差ヒストグラム相関演算手段と、前記注目画面ｎのフレーム間輝度差分の、前記画面（ｎ−１）、（ｎ＋１）のフレーム間輝度差分に対する時間的な変化と、前記注目画面ｎの色差ヒストグラム相関値の、前記画面（ｎ−１）、（ｎ＋１）の色差ヒストグラム相関値に対する時間的な変化より、注目画面ｎのカット画面を判定するカット画面判定手段とを具備することにより、カット点の検出を行うものである。
【００２８】
類似画像検索は、シーン検索を行った後、検索結果として表示されたシーンの代表画面から類似画像検索を行うシーンを指定し、類似画像検索を選択する。すなわち、前記シーン検索を行うと、図８の画面が表示される。そこで、該画面中の類似画像検索をしたいシーンを選択し、次いで類似画像検索ボタンをクリックする。そうすると、該選択されたシーンと類似したシーンが検索され、そのシーンの代表画面とタイムコードが検索結果として表示される。例えば図７または図８のように表示される。該類似画像検索には、例えば中島らの’類似画像検索装置及び方法’、画像電子学会研究会予稿（１９９４ー０６）、または特願平７ー７７０９８号に記載された技術を用いることができる。
【００２９】
この技術は、例えば、参照画像を設定する手段と、入力画像から検索対象画像を選択する手段と、該参照画像および各検索対象画像の特徴量から検索対象画像毎に類似度を演算する手段と、該類似度が所定値以上であるか否かを判定する手段と、該類似度が所定値以上であると判定された各検索対象画像を同一クラスタとして記録する手段と、該参照画像の特徴量を前記同一クラスタと判定された検索対象画像の特徴量を用いて更新する手段とを具備し、該参照画像の特徴量を順次更新させて、後続の検索対象画像から類似画像を検索するようにしたものである。
【００３０】
検索結果として表示された画面あるいはタイムコードを選択すると、そのポイントからのビデオ再生が可能となる。特定されたポイントへのアクセス方法は、前述のようにタイムコードを利用する方法や、フレームフラグを利用する方法などが利用できる。
【００３１】
また、これらの数種の検索を複合して、次のような検索をすることができる。
【００３２】
(1) 図６において、時間検索とシーン検索とを続けて選択する。時間検索の選択時に時間指定を行うと、指定された時間間隔で検索が行われ、例えば図７のような検索画面が表示される。次に、この画面で特定の検索画面が指定されると、該検索画面につき、それ以降のビデオデータに対してシーン検索が行われ、各シーンの代表画面が表示される。このようにすると、例えば、１分単位で時間検索を行って、大まかな内容閲覧を行った後、その代表画面の一つを選択して、そこからのシーン検索を行うという検索ができる。
【００３３】
(2) 図６において、時間検索と類似画像検索とが続けて選択されると、指定された時間間隔で検索が行われ、例えば図７のような検索画面が表示される。次に、この画面の中で特定の検索画面が指定されると、該検索画面につき、それ以降のビデオデータに対してシーン検索が行われ、例えば図８のような各シーンの代表画面が表示される。そこで、ユーザが所望のシーンを指定すると、該シーンと類似したシーンの検索が行われ、類似したシーンが画面上に表示される。
【００３４】
(3) 図６において、シーン検索と類似画像検索とが続けて選択されると、まず、シーン検索が行われ、図８のような各シーンの代表画面が表示される。次に、ユーザによって、その中の所望のシーンが指定され、類似検索ボタンが押されると、該所望のシーンに類似したシーンが検索され表示される。
【００３５】
インデックス検索の場合は、前記検索処理部６（図１参照）はデータ蓄積部１に格納されているインデックスファイルをアクセスし、該インデックスファイルに基づいて代表画面を検索し、検索結果である代表画面とタイムコードを画面表示部４に表示する。この時の表示画面は、例えば、図８の画面のようになる。
【００３６】
データ蓄積部１に格納するインデックスファイルの内容としては、例えば図１０に示されているような３つが考えられる。
第１のインデックスファイルは、同図(a) に示されているように、タイムコードだけを記録したインデックスファイルである。このインデックスファイルは、時間とその時間に対応するフレーム番号から構成されている。図示の例は、３０秒間隔のインデックスファイルである。この場合には、３０秒毎の検索画面が選択されたビデオタイトルのビデオデータから取り出され、再生部２で再生されて画面表示部４に表示される。
【００３７】
図１０(b) は第２のインデックスファイルを示し、フレームフラグだけを記録したインデックスファイルである。このインデックスファイルには、取り出されるフレームの番号が予め記録されている。例えば１フレーム、１００フレーム、２００フレーム、…、５０００フレームというふうにフレームの番号が記録されている。データ蓄積部１にこのインデックスファイルが格納されている場合には、該記録されたフレームの検索画面が選択されたビデオタイトルのビデオデータから取り出され、再生部２で再生されて画面表示部４に表示されることになる。
【００３８】
次に、図１０(c) は第３のインデックスファイルを示し、代表画面データファイルとタイムコードファイルから構成されている。該代表画面データは圧縮されていないビデオデータが好適であるが、圧縮されているものであってもよい。このインデックスファイルの場合には、代表画面データが予め作成されてデータ蓄積部１に格納されているので、該代表画面データが対応するタイムコードと共に取り出され、画面表示部４に検索画面として表示される。
【００３９】
次に、インデックス検索をした画像からの再生方法について説明する。検索画像からの再生は、タイムコードのみのインデックスファイルの場合には、前述のように、選択されたタイムコード、トータルタイム、容量を用いてビデオデータの該当位置を予測し、その位置から再生を行う。フレームフラグのインデックスファイルの場合は選択されたフレームフラグ、トータルフレーム、容量を用いてビデオデータの該当位置を予測し、その位置からの再生を行う。画像ファイルとタイムコードのインデックスファイルの場合には、選択されたタイムコードに対応するビデオデータにランダムアクセスして再生を行う。なお、再生は、前述の実施例１と同様、特殊再生と再生画面サイズの変更が可能である。
【００４０】
次に、前記データ蓄積部１に蓄積しておくファイルの構造を、図１１に示す。ファイルはディレクトリ構造で蓄積される。同図(a) の場合、代表画面の表示にはビデオ（映像）ファイルを利用し、検索画面の表示にはインデックスファイルを利用する。この場合、代表画面は、ビデオの先頭画面などの固定された位置の画像を用いる。同図(b) の場合には、代表画面の表示には、タイトルファイルを利用し、検索画像の表示にはインデックスファイルを利用する。なお、タイトルファイルは、タイトル画面そのものをファイルとして持つ場合、代表画面のタイムコードを持つ場合、あるいは、代表画面のフレームフラグを持つ場合が考えられる。インデックスファイルは、前述のようにインデックス画面そのもの、インデックスタイムコード、あるいは、インデックスフレームフラグを持つ場合が考えられる。
【００４１】
前記の実施形態は、本発明を、ハードディスクに格納されている画像データをパソコンから直接アクセスするシステムに適用した例であったが、本発明はこれに限定されず、図１２に示されているような、サーバとクライアントをネットワークで接続したシステムにも使用することができる。該システム構成を図１２を参照して説明する。
【００４２】
サーバ１１とクライアント１２ａ〜１２ｃは、例えばＬＡＮ，ＩＳＤＮなどのネットワーク１３で接続され、サーバ１１側に映像データを格納し、画像検索処理、クライアント１２ａ〜１２ｃへの映像データの送信をサーバ１１側で行う。クライアント１２ａ〜１２ｃ側では、サーバ１１から送信されたデータを用いて、映像データの再生や、検索結果の表示などが行われる。伝送制御手段としては、例えばＬＡＮではＮＦＳ（Ｎｅｔｗｏｒｋ Ｆｉｌｅ Ｓｙｓｔｅｍ）を用いて、サーバをクライアントの１つの仮想デバイスとして扱うことにより、クライアント内蔵ハードディスクのデータのリードライトと同様な手法でランダムアクセスが可能である。なお、前記サーバはインターネットのＷＷＷサーバを用い、クラアント側にはＷＷＷビューアを備えて、再生や検索結果の表示をするようにしてもよい。
【００４３】
図１３は、前記システム構成を使用した場合の動作を示すフローチャートである。ステップＳ１〜Ｓ６は図２と同一または同等であるので説明を省略し、ステップＳ２１以下について説明する。このシステム構成では、前記データ蓄積部１（図１参照）はサーバ１１のハードディスク１１ａに相当する。そこで、ステップＳ６にて再生が選択されると、ステップＳ２１に進み、選択されたビデオタイトルのビデオデータがサーバ１１側からクライアント１２側へ送信される。次いで、ステップＳ２２に進み、クライアント１２側で、図５の再生画面が表示され、該再生画面にビデオデータの再生画像が表示される。ステップＳ２３では、再生を継続するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ２に戻って、再度ジャンル選択画面が表示される。
【００４４】
次に、ステップＳ６で検索が選択された場合には、ステップＳ２４に進んで、図６の検索画面が表示される。そして、前記と同様に、この画面にて、時間検索、シーン検索、類似画像検索およびインデックス画像検索の選択が行われる。ステップＳ２５では、サーバ１１はステップＳ２４で選択された検索を開始し、その検索結果をサーバ１１側からクライアント１２側へ送信する。ステップＳ２６では、クライアント１２側は、受信した検索結果を表示する。ステップＳ２７では、検索画面の再生を行うか否かの判断がなされ、この判断が肯定の場合にはステップＳ２８に進んで、サーバ１１は画像の再生を行う。そして、再生したビデオデータをクライアント１２側へ送信する。そして、ステップＳ２２に進んで、クライアント１２側のモニタに再生画像が表示される。
【００４５】
以上のように、本実施形態によれば、圧縮された画像データがデータ蓄積部１またはサーバのハードディスク１１ａに格納されるので、データ量が小さいという効果、また、該データ蓄積部１またはサーバのハードディスク１１ａに格納されている画像データに対して、時間検索、シーン検索、類似画像検索またはインデックス画像検索のうちの所望の検索を行うことができるので、ビデオデータから、短時間に所望のシーンを取り出すことができる。また、該取り出したシーンから、必要に応じて再生を開始することができるので、見たい場面のみを簡単にかつ短時間に再生することができる。
【００４６】
なお、前記の実施形態では、図６に示されているように、選択できる検索の種類を時間検索、シーン検索、類似画像検索およびインデックス画像検索の４種類を設けたが、本発明はその内の１種類でもよく、また任意の組み合わせの２種類または３種類であってもよい。
【００４７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、従来のように、ビデオデータを最初から最後まで再生しなくても、検索装置が自動的に検索し、検索結果を表示するので、手間がかからず、短時間に検索できる。また、検索された画面に基づいて再生を開始することができるので、ユーザは短時間に自分の見たい所を見つけ、該見つけた所から再生することができ、操作性が大いに向上するという効果がある。
また、ビデオデータを蓄積する手段を有するサーバと、該サーバとクライアントとを接続するネットワークと、該ネットワークに接続されたクライアントとで構成されるシステムにおいても、前記の検索と再生とを実現することができ、実用的な価値が大きいという効果がある。
さらに、本発明によれば、時間間隔指定の検索、シーン検索、類似したシーンの検索、あるいはこれらを組み合わせた検索、あるいはインデックス検索を行うことができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の全体構成の機能を示すブロック図である。
【図２】 本発明の一実施形態の動作の概要を示すフローチャートである。
【図３】 ジャンル選択画面の一例を示す図である。
【図４】 タイトル選択画面の一例を示す図である。
【図５】 再生画面の一例を示す図である。
【図６】 検索画面の一例を示す図である。
【図７】 検索結果画面の一例を示す図である。
【図８】 類似検索画面の一例を示す図である。
【図９】 ジャンル選択画面情報およびビデオタイトル選択画面情報のファイル構造を示す図である。
【図１０】 インデックスファイルの内容を示す図である。
【図１１】 データ蓄積部に蓄積するファイル構造を示す図である。
【図１２】 本発明が適用されるネットワークの一例を示すシステム図である。
【図１３】 該ネットワークにおける本発明の動作の概要を示すフローチャートである。
【符号の説明】
１…データ蓄積部、２…再生部、３…制御部、４…画像表示部、５…操作入力部、６…検索処理部、７…表示データ用バッファ、１１…サーバ、１２ａ〜１２ｃ…クライアント、１３…ネットワーク。
【発明の属する技術分野】
この発明は動画像検索装置および方法に関し、特に、符号化された動画像情報からなる動画像の検索を簡単にかつ数種類の方法を使って行うことを可能とする動画像検索装置に関する。
【０００２】
【従来の技術】
従来から、ビデオテープ、磁気ディスク等の磁気記憶媒体、あるいは光デイスク等の記憶媒体に映像を格納しておき、必要に応じてこれらから映像を再生できるようにした画像再生装置あるいは画像記録再生装置が開発されている。これらの記憶媒体は大きな容量を持っているので、数時間の映像を記憶することができるが、該記憶媒体をさらに有効利用するために、画像を圧縮して記憶媒体に記憶させるようにしたものもある。
【０００３】
これらの記憶媒体に記憶された画像情報は、単体の画像再生装置で再生されたり、パソコンに接続されてパソコン上で再生されたり、あるいはネットワークに接続されて、ワークステーション上で再生されたりしている。ユーザは、該記憶媒体に記憶されている画像情報を再生する場合、該画像情報のタイトル名等の文字情報をもとに画像情報を検索し、所望の画像を再生するようにしている。
【０００４】
【発明が解決しようとする課題】
前記したように、従来は、再生したい画像情報をタイトル名等の文字情報をもとに検索しているため、画像情報の頭出しはできるが、選んだ画像情報の中の特定の画面（シーン）を検索しようとすると、画像情報を例えば早送りで最初から再生し、所望の特定の画面を見つけなければならず、時間と手間がかかるという問題があった。また、検索のための再生中にうっかりして所望の画面を見逃すと、再度最初から画像情報を再生して、検索作業をやり直さなければならないという問題があった。
【０００５】
本発明の目的は、前記した従来技術の問題点を除去し、映像を最初から最後まで再生することなく、容易に映像内容の把握ができ、対話的に映像の検索、再生を行って目的の映像を見つけることができる動画像検索装置を提供することにある。また、類似検索機能を備えることにより、所望の映像のみを表示、再生することのできる動画像検索装置および方法を提供することにある。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明は、ユーザの要求に応じて、あらかじめ蓄積されたビデオデータを再生、検索する動画像検索装置において、ビデオデータを蓄積するビデオデータ蓄積手段と、該ビデオデータ蓄積手段に蓄積されているビデオデータの少なくともタイトルと該タイトルのビデオデータの内容を示す代表画面を表示し、該タイトルと代表画面のいずれからでもビデオデータを選択できるようにするビデオタイトル選択手段と、複数の検索条件から検索条件を選択して設定する手段と、前記設定された検索条件に従って、前記ビデオタイトル選択手段によって選択されたビデオデータ内の複数の画面を検索し、複数の検索画面を表示するビデオデータ検索手段と、該ビデオデータ検索手段によって検索された画面に基づいてビデオデータを再生する再生手段とを具備した点に第１の特徴がある。
【０００７】
また、ビデオデータを蓄積する手段を有するサーバと、該サーバとクライアントとを接続するネットワークと、該ネットワークに接続されたクライアントとで構成される動画像検索装置であって、前記サーバが送出するビデオデータの少なくともタイトルと該タイトルのビデオデータの内容を示す代表画面を表示し、該タイトルと代表画面のいずれからでもビデオデータを選択できるようにするビデオタイトル選択手段と、複数の検索条件から検索条件を選択して設定する手段と、前記設定された検索条件に従って、前記ビデオタイトル選択手段によって選択されたビデオデータ内の複数の画面を検索し、複数の検索画面を表示する前記サーバ側のビデオデータ検索手段と、該ビデオデータ検索手段によって検索された画面に基づいてビデオデータを再生する再生手段とを具備した点に第２の特徴がある。
【０００８】
第１の特徴によれば、前記ビデオタイトル選択手段は、少なくともタイトルと代表画面を表示し、該タイトルと代表画面のいずれからでも選択できるようになる。このため、ユーザは該ビデオタイトル選択手段によって選択されたビデオデータを最初から最後まで再生しなくても、ビデオデータの検索をすることができる。また、短時間に検索をすることができる。また、前記再生手段は該検索された画面に基づいてビデオデータの再生を行うので、ユーザはビデオデータのうち、見たい画面からの再生を行うことができる。
【０００９】
また、前記第２の特徴によれば、クライアントはネットワークを介してサーバに蓄積されているビデオデータを読み出し、該ビデオデータを検索した画面を自身のモニタに表示することができる。このため、クライアントは、サーバに共有されているビデオデータを、あたかも自分が所有しているのと同じ感覚で使用することができる。
【００１０】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。ここでは、動画像符号化の国際標準方式、ＭＰＥＧ１（ＩＳＯ／ＩＥＣ １１１７２）により圧縮された動画像符号化データからの動画像検索について説明するが、本発明はＭＰＥＧ１の圧縮方式で圧縮された動画像の検索に限定されるものではない。
【００１１】
本発明の一実施形態は、ビデオデータを格納するハードディスク、圧縮動画像を再生する再生ボード、ソフトウェアを内蔵したＰＣ（パソコン）、及びモニタ等から構成されている。また、マウス等のポインティングデバイスを用いて、対話的な操作を実現している。
【００１２】
図１はこの実施形態の機能を表すブロック図である。図のデータ蓄積部１は前記ハードディスクに相当し、該データ蓄積部１には、予めジャンル選択画面情報、ビデオタイトル選択画面情報、各種の映像ファイルＡ，Ｂ，…、インデックスファイルが格納されている。再生部２は前記データ蓄積部１から読み出された圧縮動画像である映像ファイルａを復号化して再生するものであり、前記再生ボードに相当する。該再生部２は復号化された映像データｂを、表示データ用バッファ７に送出する。
【００１３】
制御部３はＣＰＵ等で構成されており、前記ソフトウェアを内蔵したＰＣに相当する。画面表示部４は前記データ蓄積部１に格納されているジャンル選択画面情報、ビデオタイトル選択画面情報、あるいは前記再生部で復号化された映像ファイル等を表示する。また、各種の制御ボタン等を表示する。操作入力部５はキーボード、マウス等のポインティングデバイスに相当する。
【００１４】
検索処理部６は、オペレータによる操作入力部５からの操作手順により、画像検索の指示がなされると、前記データ蓄積部１に格納されている各種の映像ファイルから指定された映像ファイルｃを取り出し、複数種類の方法（後述する時間検索、シーン検索、類似画像検索等）で映像シーンの検索を行う。検索処理部６は、また、後述するインデックス検索が選択された場合には、データ蓄積部１中のインデックスファイルｄを取り出し、これを用いて、映像シーンの検索を行う。検索処理部６は検索結果の画面情報ｅを再生部２に送ると共に、画面タイムコード等の検索画面に付随する情報ｆを表示データ用バッファ７に送出する。表示データ用バッファ７は、前記画面表示部４に表示するデータを一時的に蓄積する。
【００１５】
次に、本実施形態の動作を、図２のフローチャート、図３以下の画面表示等を参照して説明する。まず、図２のステップＳ１にあるように、前記データ蓄積部１には、ビデオデータが圧縮符号化され、その内容に従ってジャンル毎に分類されて格納されているものとする。ステップＳ２において、オペレータが、本システムのアプリケーションソフトウェアを立ち上げると、制御部３の作用により、前記データ蓄積部１からジャンル選択画面情報が読み出され、表示データ用バッファ７に転送される。この結果、画面表示部４には図３に示されているようなジャンル選択画面を表示する。ジャンル名の表示は、ディレクトリ名をサーチして表示する。ステップＳ３では、該ジャンル選択画面から、検索、再生する映像のジャンルが選択されたかどうかの判断がなされる。ジャンルが選択されると、ステップＳ４に進む。この選択は、ポインティングデバイスを用いることにより行うことができる。
【００１６】
ステップＳ４では、データ蓄積部１からビデオタイトル選択画面情報が読み出され、図４(a) または(b) に示されているような、ビデオタイトル選択画面が表示される。前記ジャンル選択画面情報およびビデオタイトル選択画面情報は、図９の(a) 〜(c) のいずれかに示されているようなファイル構造をしている。(a) および(b) はディレクトリをサーチしてタイトル名を表示する場合のファイル構造を、(c) は識別子を利用してタイトル名を表示する場合のファイル構造を示している。
【００１７】
ビデオタイトル選択画面に表示される内容としては、図４に示されているように、ビデオデータのタイトル名、代表画面、トータルタイムがある。タイトル名は、ジャンル名と同様、データファイル等が蓄積されているディレクトリをサーチして表示するか、識別子を利用して表示する。また、画面中の「Cancel」は、前画面に戻る（ここでは、ジャンル選択画面）ことを指示する時に選択される制御ボタンであり、「Previous」、「Next」は、表示される代表画面が多い場合の画面の切り替え、すなわち前の画面に戻るまたは次の画面に進む時に使用される制御ボタンである。該制御ボタンは、後述の再生画面、検索画面、検索結果表示画面においても共通である。
【００１８】
また、トータルタイムは以下の計算式で求めることができる。
トータルタイム＝ビデオデータの容量／ビットレート［sec ］…（１）
ビットレート＝(system bitstream multiplex rate) ×400 ［bit/sec ］…（２）
ここで、system bitstream multiplex rate は、ＩＳＯ／ＩＥＣ １１１７２ー３で規定されているＭＰＥＧ１のシステムビットストリームのビットレート単位である。
【００１９】
さらに、代表画面としてはビデオデータの先頭画面を利用することができ、その作成方法としては、ＧＩＦ，ＪＰＥＧ等のフォーマットを利用してあらかじめ代表画面ファイルを作成しておくか、ＭＰＥＧ１で圧縮されたもとのビデオデータをランダムアクセスしてその画面のみを表示する方法がある。後者のランダムアクセスした画面を代表画面として表示する場合のランダムアクセスの方法としては、タイムコードを利用する方法とフレームフラグを利用する方法がある。
【００２０】
それぞれのアクセス位置は以下の計算式で求めることができる。
タイムコードを利用する場合：
（トータル容量×アクセスタイム／トータルタイム）−αバイト…（３）
フレームフラグを利用する場合：
（トータル容量×アクセスフレーム／トータルフレーム）−αバイト…（４）
なお、αは任意の整数で、正の値を用いることにより、アクセス位置を少し手前にすることができる。これにより、少し手前からの再生を行って、再生タイムコードを監視し、該当のタイムコードで一時停止して、該当画面の表示を行うことができる。
【００２１】
図４のビデオデータのタイトル選択画面においてビデオタイトルが選択されると（ステップＳ５が肯定）、選択したビデオデータを再生するか、検索するかを選ぶことができる（ステップＳ６）。再生を選択する場合は再生ボタンを、検索を選択する場合は、検索ボタンをクリックする。また、この変形例として、ジャンル選択画面が表示される前の段階で、あらかじめ再生、検索を選択することも可能である。
【００２２】
選択したビデオデータを再生する場合は、前記再生ボタンがクリックされる。そうすると、ステップＳ７に進み、データ蓄積部１から選択されたビデオタイトルの映像ファイルを再生部２に送る。再生部２において、圧縮されて蓄積されていた画像データは復号化され、表示データ用バッファ７に記憶される。そして、ステップＳ８において、図５のような再生画面が表示される。この再生画面には、前記選択されたビデオタイトルの画像データが最初から最後まで連続的に表示される。この再生を途中で止めたい場合には、ＣＡＮＣＥＬボタンをクリックすればよい。なお、通常の再生のほか、スロー再生、スキップ再生、コマ送り等の特殊再生を行ったり、再生画面のサイズを変えることもできる。図中のＰＬＡＹ，ＣＵＥ，ＳＬＯＷ，ＳＳ，ＲＥＷ，ＦＦ，ＰＡＵＳＥ，ＳＴＯＰはそれぞれ通常再生、早送り再生、低速再生、コマ送り、巻き戻し、早送り、一時停止、停止を意味し、コマ送りの場合、マウス等のポインティングデバイスでクリックする毎に１コマずつ進むようになっている。
【００２３】
ステップＳ９では、再生を継続するか否かの判断がなされる。すなわち、他のビデオタイトルの画像を再生するか否かの判断がなされる。この判断が肯定の場合には、ステップＳ２に戻って、図３のジャンル選択画面を表示する。一方、再生を継続しない場合には終了する。
【００２４】
次に、図４のタイトル選択画面で選択したビデオデータの内容を検索する場合には、検索ボタンがクリックされる。そうすると、前記ステップＳ６からステップＳ１０に進み、図６の検索画面が表示される。すなわち、前記検索処理部６（図１参照）が動作し、図６の検索画面が表示される。該検索画面には、時間検索、シーン検索、類似画像検索等が表示される。これらのうちの任意の検索が選択されると、選択された種類の検索が該検索処理部６にて実行され、検索結果が図７のように表示される（ステップＳ１１）。その後、該画面中の検索画面またはタイムコードをポインティングデバイスで指定し、再生を選択すると（ステップＳ１２が肯定）、該当画面からの再生を行うことが可能である（ステップＳ８）。この場合、指定された場所からの再生については、前述の（３）式か（４）式を用いてランダムアクセス再生することができる。
【００２５】
次に、図６の画面に表示された各検索方法について、詳細に説明する。
時間検索は、指定された時間間隔ごとにビデオデータを検索し、その画面とタイムコードを表示する。時間の指定方法は、図６の検索画面において、時間検索を選択すると同時に、開始および終了時間（ＸＸ：ＸＸ〜ＸＸ：ＸＸ）と、検索間隔（ＸＸ Ｓｅｃ．）を指定する。なお、前もって時間間隔を指定したり、開始、終了時間をそれぞれビデオの開始、終了時間に合わせることも可能である。この時間検索によれば、開始〜終了時間の間のビデオデータが、指定された検索間隔で抽出され、検索画面として画面表示部４に表示される。
【００２６】
シーン検索は、映像のシーン切り替わり点（カット点）を自動的に検出して、各シーンの代表画面とタイムコードを表示する。代表画面としては、各シーンの先頭画面を用いることができる。該カット点検出には、例えば氏原らの’動画像のカット点画像検出装置及び方法’、情報処理学会第５１回後期全国大会６S −９（１９９５）、特願平７ー２６３６８１号、特願平５−２１６８９５号、あるいは特願平６−４６５６１号に開示されている技術を用いることができる。
【００２７】
この技術は、例えば、入力された動画像の画面のデータから縮小画像を作る縮小画像作成手段と、注目画面ｎ（ただし、ｎは正の整数）、および該注目画面から時間的に、前後に、１フレームまたは複数フレーム離れた画面（ｎ−１）、（ｎ＋１）の縮小画像間の輝度差分を総合して、各フレームに関するフレーム間輝度差分を求めるフレーム間輝度差分演算手段と、前記画面（ｎ−１）、ｎ、（ｎ＋１）の縮小画像間の色差信号のヒストグラムから、フレーム間の色差信号とヒストグラム相関値を求める色差ヒストグラム相関演算手段と、前記注目画面ｎのフレーム間輝度差分の、前記画面（ｎ−１）、（ｎ＋１）のフレーム間輝度差分に対する時間的な変化と、前記注目画面ｎの色差ヒストグラム相関値の、前記画面（ｎ−１）、（ｎ＋１）の色差ヒストグラム相関値に対する時間的な変化より、注目画面ｎのカット画面を判定するカット画面判定手段とを具備することにより、カット点の検出を行うものである。
【００２８】
類似画像検索は、シーン検索を行った後、検索結果として表示されたシーンの代表画面から類似画像検索を行うシーンを指定し、類似画像検索を選択する。すなわち、前記シーン検索を行うと、図８の画面が表示される。そこで、該画面中の類似画像検索をしたいシーンを選択し、次いで類似画像検索ボタンをクリックする。そうすると、該選択されたシーンと類似したシーンが検索され、そのシーンの代表画面とタイムコードが検索結果として表示される。例えば図７または図８のように表示される。該類似画像検索には、例えば中島らの’類似画像検索装置及び方法’、画像電子学会研究会予稿（１９９４ー０６）、または特願平７ー７７０９８号に記載された技術を用いることができる。
【００２９】
この技術は、例えば、参照画像を設定する手段と、入力画像から検索対象画像を選択する手段と、該参照画像および各検索対象画像の特徴量から検索対象画像毎に類似度を演算する手段と、該類似度が所定値以上であるか否かを判定する手段と、該類似度が所定値以上であると判定された各検索対象画像を同一クラスタとして記録する手段と、該参照画像の特徴量を前記同一クラスタと判定された検索対象画像の特徴量を用いて更新する手段とを具備し、該参照画像の特徴量を順次更新させて、後続の検索対象画像から類似画像を検索するようにしたものである。
【００３０】
検索結果として表示された画面あるいはタイムコードを選択すると、そのポイントからのビデオ再生が可能となる。特定されたポイントへのアクセス方法は、前述のようにタイムコードを利用する方法や、フレームフラグを利用する方法などが利用できる。
【００３１】
また、これらの数種の検索を複合して、次のような検索をすることができる。
【００３２】
(1) 図６において、時間検索とシーン検索とを続けて選択する。時間検索の選択時に時間指定を行うと、指定された時間間隔で検索が行われ、例えば図７のような検索画面が表示される。次に、この画面で特定の検索画面が指定されると、該検索画面につき、それ以降のビデオデータに対してシーン検索が行われ、各シーンの代表画面が表示される。このようにすると、例えば、１分単位で時間検索を行って、大まかな内容閲覧を行った後、その代表画面の一つを選択して、そこからのシーン検索を行うという検索ができる。
【００３３】
(2) 図６において、時間検索と類似画像検索とが続けて選択されると、指定された時間間隔で検索が行われ、例えば図７のような検索画面が表示される。次に、この画面の中で特定の検索画面が指定されると、該検索画面につき、それ以降のビデオデータに対してシーン検索が行われ、例えば図８のような各シーンの代表画面が表示される。そこで、ユーザが所望のシーンを指定すると、該シーンと類似したシーンの検索が行われ、類似したシーンが画面上に表示される。
【００３４】
(3) 図６において、シーン検索と類似画像検索とが続けて選択されると、まず、シーン検索が行われ、図８のような各シーンの代表画面が表示される。次に、ユーザによって、その中の所望のシーンが指定され、類似検索ボタンが押されると、該所望のシーンに類似したシーンが検索され表示される。
【００３５】
インデックス検索の場合は、前記検索処理部６（図１参照）はデータ蓄積部１に格納されているインデックスファイルをアクセスし、該インデックスファイルに基づいて代表画面を検索し、検索結果である代表画面とタイムコードを画面表示部４に表示する。この時の表示画面は、例えば、図８の画面のようになる。
【００３６】
データ蓄積部１に格納するインデックスファイルの内容としては、例えば図１０に示されているような３つが考えられる。
第１のインデックスファイルは、同図(a) に示されているように、タイムコードだけを記録したインデックスファイルである。このインデックスファイルは、時間とその時間に対応するフレーム番号から構成されている。図示の例は、３０秒間隔のインデックスファイルである。この場合には、３０秒毎の検索画面が選択されたビデオタイトルのビデオデータから取り出され、再生部２で再生されて画面表示部４に表示される。
【００３７】
図１０(b) は第２のインデックスファイルを示し、フレームフラグだけを記録したインデックスファイルである。このインデックスファイルには、取り出されるフレームの番号が予め記録されている。例えば１フレーム、１００フレーム、２００フレーム、…、５０００フレームというふうにフレームの番号が記録されている。データ蓄積部１にこのインデックスファイルが格納されている場合には、該記録されたフレームの検索画面が選択されたビデオタイトルのビデオデータから取り出され、再生部２で再生されて画面表示部４に表示されることになる。
【００３８】
次に、図１０(c) は第３のインデックスファイルを示し、代表画面データファイルとタイムコードファイルから構成されている。該代表画面データは圧縮されていないビデオデータが好適であるが、圧縮されているものであってもよい。このインデックスファイルの場合には、代表画面データが予め作成されてデータ蓄積部１に格納されているので、該代表画面データが対応するタイムコードと共に取り出され、画面表示部４に検索画面として表示される。
【００３９】
次に、インデックス検索をした画像からの再生方法について説明する。検索画像からの再生は、タイムコードのみのインデックスファイルの場合には、前述のように、選択されたタイムコード、トータルタイム、容量を用いてビデオデータの該当位置を予測し、その位置から再生を行う。フレームフラグのインデックスファイルの場合は選択されたフレームフラグ、トータルフレーム、容量を用いてビデオデータの該当位置を予測し、その位置からの再生を行う。画像ファイルとタイムコードのインデックスファイルの場合には、選択されたタイムコードに対応するビデオデータにランダムアクセスして再生を行う。なお、再生は、前述の実施例１と同様、特殊再生と再生画面サイズの変更が可能である。
【００４０】
次に、前記データ蓄積部１に蓄積しておくファイルの構造を、図１１に示す。ファイルはディレクトリ構造で蓄積される。同図(a) の場合、代表画面の表示にはビデオ（映像）ファイルを利用し、検索画面の表示にはインデックスファイルを利用する。この場合、代表画面は、ビデオの先頭画面などの固定された位置の画像を用いる。同図(b) の場合には、代表画面の表示には、タイトルファイルを利用し、検索画像の表示にはインデックスファイルを利用する。なお、タイトルファイルは、タイトル画面そのものをファイルとして持つ場合、代表画面のタイムコードを持つ場合、あるいは、代表画面のフレームフラグを持つ場合が考えられる。インデックスファイルは、前述のようにインデックス画面そのもの、インデックスタイムコード、あるいは、インデックスフレームフラグを持つ場合が考えられる。
【００４１】
前記の実施形態は、本発明を、ハードディスクに格納されている画像データをパソコンから直接アクセスするシステムに適用した例であったが、本発明はこれに限定されず、図１２に示されているような、サーバとクライアントをネットワークで接続したシステムにも使用することができる。該システム構成を図１２を参照して説明する。
【００４２】
サーバ１１とクライアント１２ａ〜１２ｃは、例えばＬＡＮ，ＩＳＤＮなどのネットワーク１３で接続され、サーバ１１側に映像データを格納し、画像検索処理、クライアント１２ａ〜１２ｃへの映像データの送信をサーバ１１側で行う。クライアント１２ａ〜１２ｃ側では、サーバ１１から送信されたデータを用いて、映像データの再生や、検索結果の表示などが行われる。伝送制御手段としては、例えばＬＡＮではＮＦＳ（Ｎｅｔｗｏｒｋ Ｆｉｌｅ Ｓｙｓｔｅｍ）を用いて、サーバをクライアントの１つの仮想デバイスとして扱うことにより、クライアント内蔵ハードディスクのデータのリードライトと同様な手法でランダムアクセスが可能である。なお、前記サーバはインターネットのＷＷＷサーバを用い、クラアント側にはＷＷＷビューアを備えて、再生や検索結果の表示をするようにしてもよい。
【００４３】
図１３は、前記システム構成を使用した場合の動作を示すフローチャートである。ステップＳ１〜Ｓ６は図２と同一または同等であるので説明を省略し、ステップＳ２１以下について説明する。このシステム構成では、前記データ蓄積部１（図１参照）はサーバ１１のハードディスク１１ａに相当する。そこで、ステップＳ６にて再生が選択されると、ステップＳ２１に進み、選択されたビデオタイトルのビデオデータがサーバ１１側からクライアント１２側へ送信される。次いで、ステップＳ２２に進み、クライアント１２側で、図５の再生画面が表示され、該再生画面にビデオデータの再生画像が表示される。ステップＳ２３では、再生を継続するか否かの判断がなされ、この判断が肯定の場合には、ステップＳ２に戻って、再度ジャンル選択画面が表示される。
【００４４】
次に、ステップＳ６で検索が選択された場合には、ステップＳ２４に進んで、図６の検索画面が表示される。そして、前記と同様に、この画面にて、時間検索、シーン検索、類似画像検索およびインデックス画像検索の選択が行われる。ステップＳ２５では、サーバ１１はステップＳ２４で選択された検索を開始し、その検索結果をサーバ１１側からクライアント１２側へ送信する。ステップＳ２６では、クライアント１２側は、受信した検索結果を表示する。ステップＳ２７では、検索画面の再生を行うか否かの判断がなされ、この判断が肯定の場合にはステップＳ２８に進んで、サーバ１１は画像の再生を行う。そして、再生したビデオデータをクライアント１２側へ送信する。そして、ステップＳ２２に進んで、クライアント１２側のモニタに再生画像が表示される。
【００４５】
以上のように、本実施形態によれば、圧縮された画像データがデータ蓄積部１またはサーバのハードディスク１１ａに格納されるので、データ量が小さいという効果、また、該データ蓄積部１またはサーバのハードディスク１１ａに格納されている画像データに対して、時間検索、シーン検索、類似画像検索またはインデックス画像検索のうちの所望の検索を行うことができるので、ビデオデータから、短時間に所望のシーンを取り出すことができる。また、該取り出したシーンから、必要に応じて再生を開始することができるので、見たい場面のみを簡単にかつ短時間に再生することができる。
【００４６】
なお、前記の実施形態では、図６に示されているように、選択できる検索の種類を時間検索、シーン検索、類似画像検索およびインデックス画像検索の４種類を設けたが、本発明はその内の１種類でもよく、また任意の組み合わせの２種類または３種類であってもよい。
【００４７】
【発明の効果】
以上の説明から明らかなように、本発明によれば、従来のように、ビデオデータを最初から最後まで再生しなくても、検索装置が自動的に検索し、検索結果を表示するので、手間がかからず、短時間に検索できる。また、検索された画面に基づいて再生を開始することができるので、ユーザは短時間に自分の見たい所を見つけ、該見つけた所から再生することができ、操作性が大いに向上するという効果がある。
また、ビデオデータを蓄積する手段を有するサーバと、該サーバとクライアントとを接続するネットワークと、該ネットワークに接続されたクライアントとで構成されるシステムにおいても、前記の検索と再生とを実現することができ、実用的な価値が大きいという効果がある。
さらに、本発明によれば、時間間隔指定の検索、シーン検索、類似したシーンの検索、あるいはこれらを組み合わせた検索、あるいはインデックス検索を行うことができるという効果がある。
【図面の簡単な説明】
【図１】 本発明の全体構成の機能を示すブロック図である。
【図２】 本発明の一実施形態の動作の概要を示すフローチャートである。
【図３】 ジャンル選択画面の一例を示す図である。
【図４】 タイトル選択画面の一例を示す図である。
【図５】 再生画面の一例を示す図である。
【図６】 検索画面の一例を示す図である。
【図７】 検索結果画面の一例を示す図である。
【図８】 類似検索画面の一例を示す図である。
【図９】 ジャンル選択画面情報およびビデオタイトル選択画面情報のファイル構造を示す図である。
【図１０】 インデックスファイルの内容を示す図である。
【図１１】 データ蓄積部に蓄積するファイル構造を示す図である。
【図１２】 本発明が適用されるネットワークの一例を示すシステム図である。
【図１３】 該ネットワークにおける本発明の動作の概要を示すフローチャートである。
【符号の説明】
１…データ蓄積部、２…再生部、３…制御部、４…画像表示部、５…操作入力部、６…検索処理部、７…表示データ用バッファ、１１…サーバ、１２ａ〜１２ｃ…クライアント、１３…ネットワーク。
Claims (8)
- ユーザの要求に応じて、あらかじめ蓄積されたビデオデータを再生、検索する動画像検索装置において、
ビデオデータを蓄積するビデオデータ蓄積手段と、
該ビデオデータ蓄積手段に蓄積されているビデオデータの少なくともタイトルと該タイトルのビデオデータの内容を示す代表画面を表示し、該タイトルと代表画面のいずれからでもビデオデータを選択できるようにするビデオタイトル選択手段と、
複数の検索条件から検索条件を選択して設定する手段と、
前記設定された検索条件に従って、前記ビデオタイトル選択手段によって選択されたビデオデータ内の複数の画面を検索し、複数の検索画面を表示するビデオデータ検索手段と、
該ビデオデータ検索手段によって検索された画面に基づいてビデオデータを再生する再生手段とを具備したことを特徴とする動画像検索装置。 - ビデオデータを蓄積する手段を有するサーバと、該サーバとクライアントとを接続するネットワークと、該ネットワークに接続されたクライアントとで構成される動画像検索装置であって、
前記サーバが送出するビデオデータの少なくともタイトルと該タイトルのビデオデータの内容を示す代表画面を表示し、該タイトルと代表画面のいずれからでもビデオデータを選択できるようにするビデオタイトル選択手段と、
複数の検索条件から検索条件を選択して設定する手段と、
前記設定された検索条件に従って、前記ビデオタイトル選択手段によって選択されたビデオデータ内の複数の画面を検索し、複数の検索画面を表示する前記サーバ側のビデオデータ検索手段と、
該ビデオデータ検索手段によって検索された画面に基づいてビデオデータを再生する再生手段とを具備したことを特徴とする動画像検索装置。 - 請求項１または２に記載の動画像検索装置において、
前記代表画面は、ビデオデータ内の任意の時間の画面であることを特徴とする動画像検索装置。 - 請求項１または２に記載の動画像検索装置において、
前記代表画面は、元のビデオデータの任意に指定された位置を直接復号して得られたものであることを特徴とする動画像検索装置。 - 請求項１または２に記載の動画像検索装置において、
前記代表画面は、元のビデオデータをランダムアクセスして得られたものであり、該ランダムアクセス方法として、タイムコードまたはフレームフラグを用いることを特徴とする動画像検索装置。 - 請求項５に記載の動画像検索装置において、
前記タイムコードは、ビデオデータのトータルタイム、アクセスタイムおよびトータル容量から求めることを特徴とする動画像検索装置。 - 請求項５に記載の動画像検索装置において、
前記フレームフラグは、ビデオデータのトータルタイム、アクセスフレームおよびトータル容量から求めることを特徴とする動画像検索装置。 - 請求項５ないし７のいずれかに記載の動画像検索装置において、
前記ランダムアクセスするとき、アクセス位置を任意のバイト分差し引いた位置にすることを特徴とする動画像検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003112859A JP4090936B2 (ja) | 2003-04-17 | 2003-04-17 | 動画像検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003112859A JP4090936B2 (ja) | 2003-04-17 | 2003-04-17 | 動画像検索装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07816996A Division JP3529540B2 (ja) | 1996-03-07 | 1996-03-07 | 動画像検索装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003289487A JP2003289487A (ja) | 2003-10-10 |
| JP4090936B2 true JP4090936B2 (ja) | 2008-05-28 |
Family
ID=29244561
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003112859A Expired - Fee Related JP4090936B2 (ja) | 2003-04-17 | 2003-04-17 | 動画像検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4090936B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100739770B1 (ko) * | 2004-12-11 | 2007-07-13 | 삼성전자주식회사 | 멀티 앵글 타이틀에 적용 가능한 메타 데이터를 포함하는저장 매체, 그 재생 장치 및 방법 |
| KR100775176B1 (ko) * | 2006-03-10 | 2007-11-12 | 엘지전자 주식회사 | 동영상 정보를 썸네일로 재생하는 방법 및 이를 이용한단말기 |
| US7668867B2 (en) * | 2006-03-17 | 2010-02-23 | Microsoft Corporation | Array-based discovery of media items |
| KR100826184B1 (ko) * | 2006-05-02 | 2008-04-30 | 엘지전자 주식회사 | 녹화물의 순간 이동 기능을 구비한 영상기기 및 그제어방법 |
| JP2011223325A (ja) | 2010-04-09 | 2011-11-04 | Sony Corp | コンテンツ検索装置および方法、並びにプログラム |
| CN111639599B (zh) * | 2020-05-29 | 2024-04-02 | 北京百度网讯科技有限公司 | 物体图像挖掘方法、装置、设备以及存储介质 |
-
2003
- 2003-04-17 JP JP2003112859A patent/JP4090936B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003289487A (ja) | 2003-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7174055B2 (en) | Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus | |
| JP3195284B2 (ja) | 動画再生制御方法およびその方法が適用される画像表示装置 | |
| US8548295B2 (en) | Method and system for replaying video images | |
| EP1111612B1 (en) | Method and device for managing multimedia file | |
| US6370316B1 (en) | Apparatus for retrieving and administrating moving pictures and related network system | |
| JP3529540B2 (ja) | 動画像検索装置 | |
| JPH1066008A (ja) | 動画像検索編集装置 | |
| JP2007504778A (ja) | 記録再生方法及び映像記録再生システム | |
| JP2011103688A (ja) | 再生方法 | |
| US20020133486A1 (en) | Video retrieval and browsing apparatus, video retrieval, browsing and editing apparatus, and recording medium | |
| KR101117915B1 (ko) | 이종 기기간 동일 영상 재생 시스템 및 방법 | |
| US6931201B2 (en) | Video indexing using high quality sound | |
| JP2000350165A (ja) | 動画像記録再生装置 | |
| JP4090936B2 (ja) | 動画像検索装置 | |
| US7697815B2 (en) | Video playback unit, video delivery unit and recording medium | |
| JP4807250B2 (ja) | 記録方法 | |
| JP2002185889A (ja) | コンテンツの検索・提示システム及び方法、並びに記憶媒体 | |
| JP4574771B2 (ja) | 画像情報記述方法 | |
| JP2002281433A (ja) | 動画像検索閲覧編集装置および記録媒体 | |
| JP2012044451A (ja) | 画像再生装置、その制御方法、及び画像再生プログラム、並びに記録媒体 | |
| KR20000007558A (ko) | 텍스트로 작성된 줄거리별 동영상 검색 시스템 | |
| KR100960767B1 (ko) | 기록 방법 및 기록 장치 | |
| KR20060102639A (ko) | 동영상 재생 시스템 및 방법 | |
| JPH11239322A (ja) | ビデオブラウジング／ビューイングシステム | |
| JP2002199345A (ja) | 動画像検索装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050309 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050706 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050902 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050908 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20051028 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080227 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110307 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140307 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |