JPH07298185A

JPH07298185A - 画像検索装置

Info

Publication number: JPH07298185A
Application number: JP6107503A
Authority: JP
Inventors: Hitoshi Yoshinobu; 仁司吉信; Junya Saito; 潤也斎藤; Kazuhiro Akaike; 和洋赤池
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-04-22
Filing date: 1994-04-22
Publication date: 1995-11-10

Abstract

(57)【要約】【目的】画像検索装置において、検索用画像データを
作成する処理の単純化と記憶容量の低減を行う。【構成】ＶＴＲ１から再生された映像信号は、画像検
索装置２の画像入力回路３でデジタル化され、所定時間
毎に１枚分の画像データがＲＡＭ４に取り込まれる。Ｒ
ＡＭ４に取り込まれた画像データは、マイコン５により
２値化、データ圧縮処理を受けた後、記憶装置６に記憶
される。記憶装置６から読み出された検索用画像データ
は、マイコン５によりデータ伸長、表示処理を受けた
後、表示用ＲＡＭ７に書き込まれ、アナログ信号に変換
され、表示装置１０に表示される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ビデオテープレコーダ
ー（以下「ＶＴＲ」という）等に記録されている画像を
検索する装置に関するものである。

【０００２】

【従来の技術】従来、ビデオテープを頭出しする手段と
しては、コントロール信号を利用したＶＩＳＳ（Ｖｉｄ
ｅｏＩｎｄｅｘＳｅａｒｃｈＳｙｓｔｅｍ）やＶ
ＡＳＳ（ＶｉｄｅｏＡｄｄｒｅｓｓＳｅａｒｃｈ
Ｓｙｓｔｅｍ）があった。また、ビデオテープの再生カ
ラー映像信号をＭＰＥＧ方式によりデータ圧縮して検索
用の画像データを作成し、記憶装置に記憶するシステム
が考えられている。

【０００３】

【発明が解決しようとする課題】しかしながら、ＶＩＳ
ＳやＶＡＳＳでは画像を見ながら頭出しをすることはで
きないという問題点があった。また、再生カラー映像信
号をＭＰＥＧ方式によりデータ圧縮して記録するシステ
ムでは、データ圧縮処理が複雑であり、かつデータ圧縮
した画像データを記憶するために大容量の記憶装置が必
要になるという問題点があった。

【０００４】本発明はこのような問題点に鑑みてなされ
たものであり、画像を見ながら検索することができ、か
つデータ圧縮処理の単純化と記憶装置の記憶容量の低減
が可能な画像検索装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】前記課題を解決するため
に、本発明に係る画像検索装置は、画像を第１の所定時
間毎に取り込み、かつ画像データに変換する第１の手段
と、第１の手段の出力を２値化する第２の手段と、第２
の手段の出力をデータ圧縮する第３の手段と、第３の手
段の出力を記憶する第４の手段と、第４の手段の出力を
データ伸長する第５の手段と、第５の手段の出力をアナ
ログ化する第６の手段と、第６の手段の出力を表示する
第７の手段とを備えることを特徴とするものである。

【０００６】ここで、画像の取り込みは、第１の所定時
間（例、１分）毎に１枚でもよいし、第１の所定時間毎
に複数枚（例、１分毎の１０秒間の画像を１秒毎に１０
枚）でもよい。後者によれば、擬似的な動画が表示され
る。

【０００７】また、第７の手段において複数枚（例、１
５枚）の画像を同時に表示するように構成することによ
り、記憶容量の低減、検索用画像全体の表示時間の短
縮、及び検索の利便性を実現できる。

【０００８】さらに、画像の取り込みと共に音声の取り
込みを行い、画像の表示と共に音声を出力するようにし
て音声を検索に用いるように構成した。ここで音声の取
り込みは、音声の内容から画像の内容を確認できる程度
の短時間（例、数秒〜数十秒）で行うことが適当であ
る。

【０００９】なお、第２、第３、第５の手段はマイコン
のソフト処理で実現することが適当である。

【００１０】

【作用】本発明によれば、画像が第１の所定時間毎に取
り込まれ、デジタル化され、２値化され、かつデータ圧
縮されて記憶される。そして、記憶された画像データは
読み出され、データ伸長され、かつアナログ化されて検
索用画像として表示される。

【００１１】また、本発明によれば、画像と共に音声が
取り込まれ、デジタル化されて記憶される。そして、記
憶された音声データは読み出され、アナログ化されて出
力される。

【００１２】

【実施例】以下本発明の実施例について図面を参照しな
がら詳細に説明する。（第１実施例）図１は本発明の画像検索装置の第１実施
例を示す。本実施例はＶＴＲの再生映像信号を取り込
み、検索用画像データを生成し、記憶装置に記憶する。
そして、記憶した検索用画像データを読み出して表示す
る。さらに、ユーザーが、表示されている検索用画像の
中から所望の画像を選択すると、選択した画像が記録さ
れている位置からビデオテープを再生することができ
る。以下、（１）画像検索装置の構成、（２）検索用画
像データの作成時の動作、（３）検索用画像データの読
み出し、表示及びＶＴＲの制御動作、の順に説明する。

【００１３】（１）画像検索装置の構成本実施例の画像検索装置２はＶＴＲ１のビデオテープか
ら再生される映像信号を入力する。画像入力回路３は入
力された映像信号から輝度信号を分離し、かつ例えば８
ビットのデジタル信号（以下「画像データ」という）に
変換する。ＲＡＭ４は１フレーム分の画像データを記憶
する。なお、ＶＴＲ１がＹ／Ｃ分離出力端子を持ってい
る場合には、輝度信号のみを入力するように構成する。

【００１４】ＲＡＭ４に記憶された１フレーム分の画像
データはマイコン５に取り込まれ、２値化部５１で
「０」と「１」の２レベルの信号に変換され、圧縮部５
２でデータ圧縮された後、記憶装置６に記憶される。こ
こで、２値化部５１及び圧縮部５２はマイコン５のソフ
トウェアの機能を示す。また、記憶装置６はハードディ
スクやフロッピーディスク等のマイコン５の外部記憶装
置である。

【００１５】この２値化処理としては、単純に画像デー
タのＭＳＢの１ビットで代表させてもよいが、例えばデ
ィザ法を用いて画像の濃淡レベルを反映させたり、画像
の輪郭を抽出するような処理にすることが望ましい。ま
た、データ圧縮処理としては、例えばランレングス符号
化のような簡単な処理を用いる。

【００１６】このような画像データの取り込みから記憶
までの処理を一定時間（例えば１分間隔）毎に行うこと
により、ビデオテープの検索用画像ファイルが記憶装置
６上に形成される。画像データをＲＡＭ４に取り込んだ
後のマイコン５の処理はリアルタイムである必要はない
ので、高性能なマイコンを必要としない。

【００１７】記憶装置６に記憶されている検索用画像デ
ータは、マイコン５により読み出され、伸長部５３で圧
縮されているデータをデータ伸長（解凍）し、表示処理
部５４でユーザーが検索しやすい形式に変換した後、表
示用ＲＡＭ７に書き込む。このとき、データ伸長した２
値化データをそのまま用いると画像の輪郭が強調されす
ぎて内容の判別が困難になるような場合には、表示処理
部でディザ法（誤差拡散法）を用いて輪郭をソフトにし
てから表示用ＲＡＭ７に書き込む。表示用ＲＡＭ７に書
き込まれたデータはＤ／Ａ変換器でアナログレベルに変
換され、表示選択回路９を通って表示装置１０において
表示される。

【００１８】図２に表示装置１０における表示画像の１
例を示す。ここでは、ビデオテープから１分間隔で取り
込まれた検索用画像が１５個並んで表示されている。各
検索用画像の上に付されている数字は経過時間（分）で
ある。また、Ａ〜Ｏは画像の内容を示す。この場合、各
検索用画像は表示装置１０の画面に対して縦、横共に５
〜６分の１程度の大きさなので、ＲＡＭ４に取り込んだ
画像データを読み出してマイコン５で処理するときに、
縦、横共に５〜６サンプル毎に１個ずつ読み出せばよ
い。

【００１９】このように表示されている画像に対して、
ユーザーがマウス等（図示せず）を操作して希望する画
像を選択すると、画像検索装置２のマイコン５はＶＴＲ
１に対して選択された検索用画像が記録されている位置
にビデオテープを頭出しするように制御する。具体的に
は、ＶＴＲ１から送信される各種ステータス情報（テー
プカウンタ値、動作モード等）を見ながら、ＶＴＲ１に
対して各種コマンド（早送り指令、再生指令等）を送信
する。なお、これらの信号の送受信は例えばＬＡＮＣ
（ＬｏｃａｌＡｐｐｌｉｃａｔｉｏｎＣｏｎｔｒｏ
ｌＢｕｓＳｙｓｔｅｍ）を用いて行う。

【００２０】（２）検索用画像データの作成以下図３を参照しながら、検索用画像データの作成を行
う時のマイコン５の動作を説明する。

【００２１】まず、マイコン５からＶＴＲ１へコマンド
を送信し、ビデオテープを一定時間（例えば１分間）早
送りした後、１フレーム分再生するように制御する（ス
テップＳ１，Ｓ２）。次に、画像入力回路がＶＴＲ１か
ら再生された映像信号をＡ／Ｄ変換し、ＲＡＭ４に取り
込むまで待つ（ステップＳ３）。

【００２２】次に、ＲＡＭ４に取り込んだ画像データを
２値化し、データ圧縮する（ステップＳ４）。そして、
データ圧縮した画像データをＶＴＲ１のテープカウンタ
情報と共に記憶装置６へ記憶する（ステップＳ５）。

【００２３】以上の処理をビデオテープの所定の部分ま
で繰り返し行った後、処理を終える（ステップＳ６）。
ここで、所定の部分としてはビデオテープの終端部が一
般的であるが、ビデオテープの途中までしか録画されて
いない場合には録画されている部分の終端が所定の部分
となる。なお、ビデオテープが所定の部分まで送られた
かどうかはＶＴＲ１がマイコン５に対してステータス情
報として送信する。

【００２４】次に、図４を参照しながら、作成した検索
用画像データをリアルタイムで表示する場合の動作につ
いて説明する。この場合、マイコン５からＶＴＲ１へコ
マンドを送信し、ＶＴＲ１を一定時間早送りした後、１
フレーム分再生するように制御する動作からデータ圧縮
した画像データをＶＴＲ１のテープカウンタ情報と共に
記憶装置６へ記憶する動作まで（ステップＳ１〜Ｓ５）
は、図３と同一である。

【００２５】次に、記憶装置６に記憶した画像データを
読み出してデータ伸長し、表示装置１０の画面上で見や
すくする。（ステップＳ６，Ｓ７）。ここで、ステップ
Ｓ７の処理は前記した輪郭をソフトにする処理や図２に
示した形式への変換処理である。

【００２６】さらに、ステップＳ７で処理した画像デー
タを表示用ＲＡＭ７に書き込み、Ｄ／Ａ変換器８により
アナログレベルに変換した後、表示選択回路９を介して
表示装置１０に表示する（ステップＳ８）。

【００２７】以上の処理をビデオテープの所定の部分、
例えば終端まで繰り返し行った後、処理を終える（ステ
ップＳ９）。以上のように構成することにより、作成し
た検索用画像データをリアルタイムで確認することがで
きる。

【００２８】（３）検索用画像データの読み出し、表示
及びＶＴＲの制御動作図５は検索用画像データを表示する場合の動作を示す。
この場合、ステップＳ１〜Ｓ３は、図４のステップＳ６
〜Ｓ８と同じ処理である。そして、記憶装置６に記憶さ
れている検索用画像データを全て表示するまでこの処理
を繰り返す（ステップＳ４）。このとき、表示装置１０
の画面上には例えば１５個の検索用画像しか表示できな
いので、１６個目以降の検索用画像を表示するときは古
い方の検索用画像を順次画面から消していく。

【００２９】図５は検索用画像を単に表示するだけの処
理である。次に、図６を参照しながら表示した検索用画
像を基にビデオテープの頭出しをする場合の動作を説明
する。この場合、ステップＳ３までは図５と同じであ
る。

【００３０】次のステップＳ４では、ユーザーが表示装
置１０の画面に表示されている検索用画像を頭出しのた
めに選択したかどうかを判断する。そして、選択してい
れば、その検索用画像に相当するＶＴＲ１のテープカウ
ンタ値を記憶装置６から読み出し、ＶＴＲ１へコマンド
を送信してカウンタ値まで早送りし、その後通常再生す
る（ステップＳ５〜Ｓ8 ）。このとき、ＶＴＲ１の再生
映像信号は頭出しされた位置から表示装置１０に表示さ
れる。

【００３１】（第２実施例）図７は本発明の画像検索装
置の第２実施例を示す。第１実施例と比較した本実施例
の特徴は検索用画像データと共に検索用音声データを記
憶する点にある。なお、図７において図１と同一の番号
が付してあるブロックは同一の構成及び機能を持ってい
るので、本実施例の説明に必要な場合を除いてそれらの
部分の説明は省略する。

【００３２】本実施例においては、ＶＴＲ１から再生さ
れた音声信号は音声入力回路１１によりデジタル音声信
号（以下「音声データ」という）に変換され、ＲＡＭ１
２に取り込まれる。ここで、音声データの取り込みはＲ
ＡＭ４画像データを取り込んだ時点から短時間（数秒〜
数十秒）行う。これは音声の内容から画像の内容を確認
できるようにするためである。

【００３３】ＲＡＭ１２に取り込まれた音声データはマ
イコン５の圧縮部５２でデータ圧縮処理を受け、データ
圧縮された画像データ及びテープカウンタ情報と共に記
憶装置６に記憶される。このテープカウンタ情報として
は、取り込んだ画像データの記録位置を示すものだけに
してもよいが、取り込んだ音声データの記録位置を示す
テープカウンタ値を併せて記憶しておけば、音声データ
のテープカウンタ値の位置に頭出しをすることも可能に
なる。また、音声データをデータ圧縮せずに記憶しても
よい。

【００３４】そして、記憶装置６に記憶された検索用音
声データは検索用画像データと共に読み出され、データ
伸長された後、Ｄ／Ａ変換器１３でアナログ音声信号に
戻される。さらに、アンプ１４で増幅され、スピーカー
１５から音声として出力される。

【００３５】ユーザーは、表示装置１０に表示されてい
る検索用画像とスピーカー１５から出力される検索用音
声に基づいて頭出しを行うための選択を行う。この選択
は、第１実施例と同じくカーソル等を検索用画像に合わ
せることで可能であるが、希望する音声が出力された時
点で選択指令を行う事も可能である。

【００３６】次に、図８を参照しながら検索用画像デー
タ及び検索用音声データの作成と表示をリアルタイムで
行う場合の動作を説明する。まず、マイコン５からＶＴ
Ｒ１へコマンドを送信し、ＶＴＲ１を一定時間早送りし
た後、所定時間再生するように制御する（ステップＳ
１，Ｓ２）。ここで、所定時間とは、前記した音声の内
容から画像の内容を確認できる程度の短時間である。

【００３７】次に、画像入力回路で作成した画像データ
を１画面分ＲＡＭに取り込むと共に音声入力回路で作成
した音声データを所定時間分取込むまで待つ（ステップ
Ｓ３）。

【００３８】次に、ＲＡＭ４に取り込んだ画像データを
２値化し、データ圧縮する（ステップＳ４）。また、Ｒ
ＡＭ１２に取り込んだ音声データをデータ圧縮する（ス
テップＳ５）。そして、データ圧縮した画像データ及び
音声データをＶＴＲ１のテープカウンタ情報と共に記憶
装置６へ記憶する（ステップＳ６）。

【００３９】次に、記憶装置６に記憶した画像データ及
び音声データを読み出してデータ伸長する（ステップＳ
７）。そして、画像データは表示画面上で見やすくす
る。（ステップＳ８）。

【００４０】さらに、ステップＳ７で処理した画像デー
タを表示用ＲＡＭ７に書き込み、Ｄ／Ａ変換器８により
アナログレベルに変換した後、表示選択回路９を介して
表示装置１０に表示する（ステップＳ９）。また、デー
タ伸長した音声データをＤ／Ａ変換生１３によりアナロ
グ音声信号に変換し、アンプ１４で増幅してスピーカー
１５から出力する（ステップＳ１０）。

【００４１】以上の処理をビデオテープの所定の部分、
例えば終端まで繰り返し行った後、処理を終える（ステ
ップＳ１１）。なお、第１実施例の図３、図５、及び図
６に相当する動作については、これまでの説明から明ら
かなので説明を省略する。

【００４２】本発明は前記実施例に限定さるものではな
く、例えば下記（１）〜（２）のような種々の変形が可
能であり、それらを本発明の範囲から排除するものでは
ない。

【００４３】（１）第１実施例及び第２実施例におい
て、１枚ずつの静止画ではなく最低限動画として認識で
きる程度の数枚の静止画を取り込んでおき、再生時に次
々と表示することにより、擬似的な動画を表示して検索
を補助させる。例えば、１分間隔で１枚取り込んでいた
画像の代わりに、１分毎の１０秒間の画像を１秒毎に１
０枚取り込んで記録する。

【００４４】（２）ビデオテープ１本の画像データを検
索するだけではなく、ビデオチェンジャーと組み合わせ
ることにより、複数本のビデオテープの画像データの検
索を行う。

【００４５】

【発明の効果】以上詳細に説明したように、本発明によ
れば画像データの圧縮・伸長が２値化データで行われる
ため、アルゴリズムが簡単で処理が早い。したがって、
高性能のマイコンを必要としない。また、本発明によれ
ば画像と音声を参照しながら検索を行うことができる。

【図面の簡単な説明】

【図１】本発明の画像検索装置の第１実施例を示す図で
ある。

【図２】図１の画像検索装置における表示画像の１例を
示す図である。

【図３】図１の画像検索装置の検索用画像データ作成時
のマイコンの動作を示すフローチャートである。

【図４】図１の画像検索装置が作成した検索用画像デー
タをリアルタイムで表示する場合のマイコンの動作を示
すフローチャートである。

【図５】図１の画像検索装置が検索用画像データを表示
する場合のマイコンの動作を示すフローチャートであ
る。

【図６】図１の画像検索装置が表示した検索用画像を基
にビデオテープの頭出しをする場合のマイコンの動作を
示すフローチャートである。

【図７】本発明の画像検索装置の第２実施例を示す図で
ある。

【図８】図８の画像検索装置が検索用画像データ及び検
索用音声データの作成と表示をリアルタイムで行う場合
のマイコンの動作をを示すフローチャートである。

【符号の説明】

３…画像入力回路、５…マイコン、５１…２値化部、５
２…圧縮部、５３…伸長部、６…記憶装置、８，１３…
Ｄ／Ａ変換器、１０…表示装置、１１…音声入力回路、
１４…アンプ、１５…スピーカー

フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｈ０４Ｎ 5/937 Ｈ０４Ｎ 5/93 Ｃ 8224−5ＤＧ１１Ｂ 27/10 Ｅ

Claims

【特許請求の範囲】

【請求項１】画像を第１の所定時間毎に取り込み、か
つ画像データに変換する第１の手段と、該第１の手段の出力を２値化する第２の手段と、該第２の手段の出力をデータ圧縮する第３の手段と、該第３の手段の出力を記憶する第４の手段と、該第４の手段の出力をデータ伸長する第５の手段と、該第５の手段の出力をアナログ化する第６の手段と、該第６の手段の出力を表示する第７の手段とを備えるこ
とを特徴とする画像検索装置。
【請求項２】第１の所定時間毎に複数枚の画像を取込
むことにより、擬似的に動画を表示する請求項１記載の
画像検索装置。
【請求項３】第７の手段において複数枚の画像を同時
に表示する請求項１又は２記載の画像検索装置。
【請求項４】第１の所定時間毎に第２の所定時間の音
声を取り込み、かつ音声データに変換する第８の手段
と、音声データをアナログ化し、かつ音声に変換して出
力する第９の手段とを備え、画像の表示と共に音声を出
力する請求項１、２又は３記載の画像検索装置。