JPH07253986A

JPH07253986A - 音声及び動画の検索装置

Info

Publication number: JPH07253986A
Application number: JP6044080A
Authority: JP
Inventors: Kenji Sakamoto; 憲治坂本; Keiko Watanuki; 啓子綿貫; Fumio Togawa; 文雄外川
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1994-03-15
Filing date: 1994-03-15
Publication date: 1995-10-03
Anticipated expiration: 2016-06-04
Also published as: JP3171744B2; US5561796A

Abstract

(57)【要約】【目的】所望の場面を検索し得る音声及び動画の検索
装置を提供する。【構成】コマンド等を入力する入力部１０１と、ラベ
ル情報を格納したラベル情報格納部１０３と、ラベル属
性を格納したラベル属性格納部１０４と、ラベルの上位
概念を格納した上位概念格納部１０５と、前記ラベル情
報格納部１０３からデータに関する情報を抽出する第１
の検索部１０２と、音声及び動画を格納したデータベー
ス１０７と、前記第１の検索部１０２により抽出された
情報を元にデータベース１０７からの所望のデータにア
クセスする制御部１０６と、前記データを出力する出力
部１０８とで構成される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声や動画の記録デー
タから所望の部分を検索する音声及び動画の検索装置に
関する。

【０００２】

【従来の技術】従来、会議などの画像、音声情報を記録
し、記録に必要な場面にマークを作成し、再生時にこの
マークを手掛かりに必要な情報を検索し得る画像、音声
の記録、再生、編集装置が提案されている（特願平５−
２８５７）。

【０００３】この画像、音声の記録、再生、編集装置
は、図１６に示すように、画像、音声情報を入力するカ
メラ、マイクロフォン等からなる入力装置１と、入力装
置１から送られる画像、音声情報を記録する記録装置２
と、記録装置２に記録された画像、音声情報などを編集
する編集装置３と、記録された情報を高速再生して必要
な情報を見つけ出す検索装置４と、記録された情報を通
常の速度で再生する再生装置５と、画像、音声情報を出
力するテレビジョン、スピーカ等からなる出力装置６
と、これらの装置間での情報の処理及び受け渡しを制御
する制御装置７及び制御卓８により構成されている。

【０００４】次に、上述した従来の画像、音声の記録、
再生、編集装置の動作について説明する。入力装置１に
より会議の進行が画像及び音声により入力され、この画
像及び音声は記録装置２により記録される。記録された
画像、音声情報は再生装置５により再生され、出力装置
６に出力される。編集装置３により記録装置２に保存さ
れた画像、音声情報の任意の位置にマークが付けられ、
各マークに対して文字情報等が付加される。付加された
情報は記録装置２に保存される。検索装置４は早送りに
よる高速再生を行いながら編集装置３で作成された情報
がテロップとして画像情報に付加されて出力装置６に表
示される。高速再生での情報の不足する部分は通常の速
度で再生される。これにより記録内容の概要把握及び必
要な部分の詳細確認が行われる。

【０００５】また、音声データをＡ／Ｄ変換装置により
ディジタル化してコンピュータアクセス可能にしてお
き、その音声データの波形や周波数スペクトルをコンピ
ュータの画面上に表示し、予め決められた音素のラベル
を、音声データ上の開始位置と終了位置と共に記憶し、
必要に応じてラベルを手掛かりに音声データを検索する
検索方法がある。

【０００６】

【発明が解決しようとする課題】しかしながら、上述し
た従来の画像、音声の記録、再生、編集装置及び検索方
法では、音声または動画の事象についての一方のみしか
検索できず、所望の場面を検索できず、例えば、ある人
が「はい」といってうなづいている場面を検索しようと
しても検索できないという問題点がある。

【０００７】本発明は、上記のような課題を解消するた
めになされたもので、所望の場面を検索し得る音声及び
動画の検索装置を提供することを目的としている。

【０００８】

【課題を解決するための手段】本発明によれば、前述の
目的は、前記音声及び動画のデータを最小の時間単位と
してのフレーム毎に格納するデータベースと、前記デー
タベースに格納された音声、動画のデータをフレーム毎
にラベル付けするためのラベルの属性情報を格納するラ
ベル属性格納手段と、前記ラベル属性格納手段に格納さ
れているラベルの属性情報に基づき、前記フレーム毎に
格納された音声及び動画のデータを複数の異なる事象に
対してラベル付けされたラベル情報を格納するラベル情
報格納手段と、前記ラベルをＯＲ検索又はＡＮＤ検索に
より検索するための上位概念を格納する上位概念格納手
段と、前記上位概念を指定するコマンドを入力する入力
手段と、前記指定されたコマンドに応答し上位概念格納
手段に格納された上位概念に基づいて、前記ラベル情報
格納手段からラベル情報を検索する検索手段と、前記検
索手段により検索されたラベル情報に対応した音声及び
動画のデータを前記データベースからアクセスする制御
手段と、前記データベースからアクセスされた音声及び
動画のデータを出力する出力手段とを備える音声及び動
画の検索装置によって達成される。

【０００９】本発明によれば、前述の目的は、また、前
記音声及び動画のデータを最小の時間単位としてのフレ
ーム毎に入力する入力手段と、予めラベル付けされた各
音声及び動画のデータのそれぞれに対応する各特徴量を
格納する特徴量格納手段と、前記入力手段により入力さ
れた音声及び動画のデータと、特徴量格納手段に格納さ
れた特徴量とのマッチングを行い、予め設定されている
条件を満たしている場合にのみ前記マッチングされた前
記特徴量に対応するラベルの出力を行うマッチング手段
と、前記ラベルをＯＲ検索又はＡＮＤ検索により検索す
るための上位概念を格納する上位概念格納手段と、前記
マッチング手段より出力される前記ラベルを受容し、前
記上位概念格納手段より前記ラベルの上位概念を検索す
る検索手段と、前記検索手段により検索された前記上位
概念を出力する出力手段とを備える音声及び動画の検索
装置によって達成される。

【００１０】

【作用】本発明の第１の音声及び動画の検索装置によれ
ば、データベースにより音声及び動画のデータを最小の
時間単位としてのフレーム毎に格納され、ラベル情報格
納手段によりラベル情報が格納され、ラベル属性格納手
段によりラベル属性が格納され、上位概念格納手段によ
りラベルの上位概念が格納され、データベースにより音
声及び動画が格納される。データを検索する場合、入力
手段により上位概念を指定するコマンドが入力される
と、上位概念格納手段を参照しデータに関するラベル情
報が検索手段により抽出され、ラベル情報に対応する音
声及び動画データが制御手段によりデータベースからア
クセスされ、出力手段により音声及び動画データが出力
される。これにより、所望の場面を容易に検索し得る。

【００１１】本発明の第２の音声及び動画の検索装置に
よれば、入力手段により前記音声及び動画のデータが最
小の時間単位としてのフレーム毎に入力され、特徴量格
納手段には、予めラベル付けされた各音声及び動画のデ
ータのそれぞれに対応する各特徴量を格納され、上位概
念格納手段には、ラベルをＯＲ検索又はＡＮＤ検索によ
り検索するための上位概念が格納されている。マッチン
グ手段は、前記入力手段により入力された音声及び動画
のデータと、特徴量格納手段に格納された特徴量とのマ
ッチングを行い、予め設定されている条件を満たしてい
る場合にのみ前記マッチングされた前記特徴量に対応す
るラベルの出力を行い、検索手段は、前記ラベルを受容
し前記上位概念格納手段より前記ラベルの上位概念を検
索し、検索された上位概念が出力手段により出力され
る。

【００１２】

【実施例】以下、本発明の第１の音声及び動画の検索装
置の実施例を図に基づいて説明する。

【００１３】第１の音声及び動画の検索装置は、図１に
示すように、コマンド等を入力する入力手段としての入
力部１０１と、ラベル情報を格納したラベル情報格納手
段としてのラベル情報格納部１０３と、ラベル属性を格
納したラベル属性格納手段としてのラベル属性格納部１
０４と、ラベルの上位概念を格納した上位概念格納手段
としての上位概念格納部１０５と、前記ラベル情報格納
部１０３からデータに関する情報を抽出する第１の検索
手段としての検索部１０２と、音声及び動画データを格
納したデータベース１０７と、前記検索部１０２により
抽出された情報を元にデータベース１０７からの所望の
データにアクセスする制御手段としての制御部１０６
と、前記データベース１０７からのデータを出力する出
力手段としての出力部１０８とを備えている。

【００１４】音声及び動画の検索装置が適用される画
像、音声の記録、再生、編集装置の実際のシステム構成
は、図２に示される。入力部１０１は、キーボード１０
及びマウス１１から構成されており、検索部１０２及び
制御部１０６はコンピュータ本体１２内に内蔵されてい
る。コンピュータ本体１２には、ラベル情報格納部１０
３、ラベル属性格納部１０４及び上位概念格納部１０５
を兼ねる磁気ディスク１３と、データベース１０７とし
ての光磁気ディスク１４と、ディスプレイ１５とが接続
されている。光磁気ディスク１４には、出力部１０８と
してのモニタ１６と、受付担当者１１０側に配置された
入出力装置１７と、被検者１１１側に配置された入出力
装置１８とが接続されている。入出力装置１７は、カメ
ラ１９、マイク２０、モニタ２１及びスピーカ２２から
構成されている。

【００１５】受付担当者１１０の前にはハーフミラー２
３が配置されており、受付担当者１１０は、ハーフミラ
ー２３を見ることによりモニタ２１に写し出される被検
者１１１とあたかも対面するようになっている。同様
に、入出力装置１８は、カメラ２４、マイク２５、モニ
タ２６及びスピーカ２７から構成されている。

【００１６】被検者１１１の音声はマイク２５を通して
受付担当者１１０側のスピーカ２２に出力され、被検者
１１１の姿はカメラ２４により撮影されて受付担当者１
１０側のモニタ２１に出力される。同様に、受付担当者
１１０の音声はマイク２０を通して被検者１１１側のス
ピーカ２７に出力され、受付担当者１１０の姿はカメラ
１９により撮影されて被検者１１１側のモニタ２６に出
力される。受付担当者１１０がハーフミラー２３を介し
てモニタ２１に映る被検者を見ると、受付担当者１１０
の視線はハーフミラー２３を通ってカメラ１９に向いて
いるので、モニタ２６に映っている受付担当者も被検者
１１１を見ているようになる。モニタ２１の全面にハー
フミラー２３を置くことにより、モニタ２１と受付担当
者１１０の目線を結ぶ線上にあたかもカメラがあるかの
ようにして受付担当者１１０を撮影している。

【００１７】マイク２５により録音された被検者１１１
の音声、カメラ２４により撮影された被検者１１１の姿
の画像、マイク２０によりとられた受付担当者１１０の
音声、及びカメラ１９により撮影された受付担当者１１
０の姿の画像は、光磁気ディスク１４に記録される。光
磁気ディスク１４はキーボード１０、マウス１１、コン
ピュータ本体１２、磁気ディスク１３及びディスプレイ
１５からなるワークステーションによりコントロールさ
れ、書き込み及び再生が行われる。再生時の音声及び動
画はモニタ１６に出力される。ラベル情報、ラベル属
性、上位概念等のデータは、磁気ディスク１３に書き込
まれている。キーボード１０及びマウス１１によって、
コマンド等が入力できるようになっている。

【００１８】次に、ラベル属性について説明する。

【００１９】ラベル属性データは、図３に示すように、
＃の後に続いて属性名があり、属性名は異なる事象を意
味している。なお、図３においてはｉ番目の属性につい
て説明している。

【００２０】事象とは、例えば、身体のどの部分の動き
に着目しているかという意味である。各属性名の下に続
いてラベル名があり、属性の中で異なる動作をラベル付
けする。例えば、身体の動きの違いを表している。

【００２１】ラベル属性は、図４に示すように、一番目
の属性のｔａｓｋは、データのタスクを表し、このデー
タの中のラベルとしてｕｋｅｔｓｕｋｅ（受付のタス
ク）、ｊａｎｋｅｎ（じゃんけんのタスク）がある。二
番目の属性のｇｅｓｔｕｒｅは、人の身体動作を表し、
その中のラベルとしてｂｏｗ（おじぎ）、ｎｏｄ（うな
ずき）、ｌｏｏｋ（メモを見る）、ｐｏｉｎｔｉｎｇ
（指さし）がある。三番目の属性のｅｘｐｒｅｓｓｉｏ
ｎは、人の表情を表し、その中のラベルとしてｓｍｉｌ
ｅ（微笑み）、ａｎｇｒｙ（怒り）、ｌａｕｇｈ（笑
い）、ｃｏｎｆｕｓｅ（困惑）がある。四番目の属性の
ｈｅａｄは、人の頭がどの方向を向いてるかを表し、そ
の中のラベルとしてｌｅｆｔ（左を向いている）、ｒｉ
ｇｈｔ（右を向いている）、ｕｐ（上を向いている）、
ｄｏｗｎ（下を向いている）、ｃｅｎｔｅｒ（正面を向
いている）がある。五番目の属性のｅｙｅは、人の視線
がどうなっているかを表し、その中のラベルとしてｃｏ
ｎｔａｃｔ（相手を見ている）、ｅｃｌｏｓｅ（目を閉
じている）がある。六番目の属性のｍｏｕｔｈは、人の
口がどうなっているかを表し、その中のラベルとしてｍ
ｏｐｅｎ（開いている）、ｍｃｌｏｓｅ（閉じている）
がある。七番目の属性のｓｐｅｅｃｈは、人の発声した
内容を表し、その中のラベルとしてｉｒａｓｓｈａｉ
（いらっしゃい）、ｈａｉ（はい）、ｉｉｅ（いい
え）、ａｒｉｇａｔｏｕ（ありがとう）などがある。

【００２２】ラベル情報は、図５に示すように、各属性
名２８に続く行にそれぞれラベルの開始フレーム２９、
ラベルの終了フレーム３０、ラベル名３１の順で記述さ
れている。ラベル名はラベル属性で定義された名称が用
いられる。なお、ここでいう開始フレーム２９及び終了
フレーム３０は光磁気ディスク１４に記録されているデ
ータのフレーム番号を表している。例えば、属性名ｇｅ
ｓｔｕｒｅで、フレーム番号６９４３から６９６２まで
はｎｏｄ（うなずき）をしたことを表している。

【００２３】次に、ディスプレイ１５に表示するラベル
付け及び検索に係る画面構成を図６を用いて説明する。

【００２４】図６において、属性情報ウィンドウ３２に
はラベル属性が表示されている。図示例では、ｔａｓ
ｋ、ｇｅｓｔｕｒｅ、ｅｘｐｒｅｓｓｉｏｎ、ｈｅａ
ｄ、ｅｙｅ、ｍｏｕｔｈ、ｓｐｅｅｃｈの７つのラベル
属性の情報が表示されている。再生フレームウィンドウ
３３には現時点での光磁気ディスクの再生フレームが表
示されている。ラベル情報ウィンドウ３４には各ラベル
属性のラベルがフレームに対応して表示されている。ラ
ベルは、各属性ごとに直線上に並べて表示されており、
ラベルの位置を示すラベルの開始フレームから終了フレ
ームまでの領域が矩形３５で表されている。フレームウ
ィンドウ３６には、ラベル情報ウィンドウ３４が表示し
ているフレームが表示されている。フレームカーソル３
７は、表示されているバーを左右に動かすことによりラ
ベル情報ウィンドウ３４の見えている時間を変更するこ
とができる。この場合、フレームウィンドウ３６の目盛
りや数値も連動して動くようになっている。

【００２５】操作ボタン３８は、光磁気ディスクをコン
トロールし、その機能は左端のボタンから、高速逆再
生、通常逆再生、スロー逆再生、逆コマ送り、停止、コ
マ送り、スロー再生、通常再生、高速再生となってい
る。高速逆再生ボタン、高速再生ボタン、逆コマ送りボ
タン及びコマ送りボタンはボタンを押している間だけそ
の制御ができ、その他のボタンは一度そのボタンが押さ
れると、他のボタンが押されるまでその制御が持続され
る。コマンドボタン３９は、ラベル情報を追加（Ａｄ
ｄ）したり、修正（Ｍｏｄｉｆｙ）したり、消去（Ｄｅ
ｌｅｔｅ）したり、選択（Ｓｅｌｅｃｔ）したりする場
合に用いられる。ラベル選択ボタン４０は、ラベルにラ
ベル名を付与する場合や、ラベルを指定する場合に用い
られる。

【００２６】次に、ラベル情報ウィンドウ３４について
図７を用いて詳細に説明する。

【００２７】図７において、横方向をｘ方向、縦方向を
ｙ方向とし、ラベル属性ｔａｓｋ、ｇｅｓｔｕｒｅ、ｅ
ｘｐｒｅｓｓｉｏｎ、ｈｅａｄ、ｅｙｅ、ｍｏｕｔｈ、
ｓｐｅｅｃｈを表示するｙ座標をそれぞれＹ［１］，Ｙ
［２］，Ｙ［３］，Ｙ［４］，Ｙ［５］，Ｙ［６］，Ｙ
［７］、マウスカーソルの座標を（ＭＸ，ＭＹ）とし、
ラベルを表示する画面の最左端のｘ座標をＬＥＦＴ、最
右端のｘ座標をＲＩＧＨＴ、フレームウィンドウ３６に
表示している最左端のフレームをＳＴＡＲＴＦＲＡＭ
Ｅ、最右端のフレームをＥＮＤＦＲＡＭＥとする。い
ま表示しようとしているラベル情報が、ｉ番目のラベル
属性で、開始フレーム、終了フレームが、それぞれｓ
ｔ，ｅｄとすると、図８に示すように、ラベルの位置す
なわち最左端ＬＸ１、最右端ＬＸ２、最下端ＬＹ１、最
上端ＬＹ２は次式により求められる。

【００２８】ＬＸ１＝（ｓｔ−ＳＴＡＲＴＦＲＡＭ
Ｅ）／（ＥＮＤＦＲＡＭＥ−ＳＴＡＲＴＦＲＡＭ
Ｅ）＊（ＲＩＧＨＴ−ＬＥＦＴ）＋ＬＥＦＴｉｆ（ＬＸ１＜ＬＥＦＴ）ｔｈｅｎＬＸ１＝ＬＥＦＴＬＸ２＝（ｅｄ−ＳＴＡＲＴＦＲＡＭＥ）／（ＥＮＤ
ＦＲＡＭＥ−ＳＴＡＲＴＦＲＡＭＥ）＊（ＲＩＧＨ
Ｔ−ＬＥＦＴ）＋ＬＥＦＴｉｆ（ＬＸ２＞ＲＩＧＨＴ）ｔｈｅｎＬＸ２＝ＲＩＧＨ
ＴＬＹ１＝Ｙ［ｉ］−ＡＬＹ２＝Ｙ［ｉ］＋Ａなお、Ａにより矩形の縦方向の幅が決められ、Ａは表示
の大きさに依存する値であるが、ここではＡ＝２とす
る。

【００２９】マウスカーソル４１により次式が満たされ
る。

【００３０】ＬＸ１＜ＭＸ＜ＬＸ２、ＬＹ１＜ＭＹ＜ＬＹ２この状態にあるときに、マウス１１のボタンが押される
のを検知し、このラベルの開始フレームと終了フレーム
とが制御部１０６に送られ、データが再生される。例え
ば、図１０（ｂ）に示すように、ラベルをマウスでクリ
ックするだけでそのラベルを付与した音声及び動画のデ
ータを再生することができる。

【００３１】マウスカーソル４１がラベル情報ウィンド
ウ３４内にある場合、常にマウスカーソル４１の位置を
検出し、次式より得られるｆｒａｍｅに相当するフレー
ムの音声及び画像が出力される。

【００３２】ｆｒａｍｅ＝（ＭＸ−ＬＥＦＴ）／（ＲＩ
ＧＨＴ−ＬＥＦＴ）＊（ＥＮＤＦＲＡＭＥ−ＳＴＡＲ
ＴＦＲＡＭＥ）＋ＳＴＡＲＴＦＲＡＭＥ次に、コマンドの実行の手順を図９ａのフローチャート
に沿って説明する。

【００３３】マウス１１が移動されてコマンドウィンド
ウ３９のＡｄｄボタン上にマウスカーソル４１が移動さ
れ、マウスボタンが押される。この時、Ａｄｄボタンは
選択されていることを示すために、通常の状態とは異な
る色で選択されていることが容易に分かる選択色に変わ
る。

【００３４】そして、ラベル選択ボタン４０の中からラ
ベル付けしたい所望のラベルの上にマウスカーソル４１
が移動され、マウスボタンが押される（ステップＳ
１）。この時、選択されたラベルボタンは選択色に変わ
る。それから、開始フレームでマウスボタンが押され
（ステップＳ２）、マウスボタンを押したままマウスカ
ーソル４１がドラッグされ、終了フレームでマウスボタ
ンが離される（ステップＳ３）。マウスをドラッグして
いる間は、開始フレームから現在、マウスカーソル４１
が指しているフレームまで、選択されたラベル属性固有
のｙ座標の位置に矩形が表示され、同時にその時点での
画像が再生される。このように入力されたラベル名、開
始フレーム、終了フレームの情報は、ラベル情報格納部
１０３としての磁気ディスク１３に格納される（ステッ
プＳ４、Ｓ５）。なお、ラベル選択ボタン４０は、現在
選択されているボタン以外のボタンが選択されるまで、
選択が継続され、二つ以上のボタンが同時に選択される
ことはない。再度Ａｄｄボタンが押されるか、他のコマ
ンドボタン３９が押されると、作業は終了する（ステッ
プＳ６）。この時、Ａｄｄボタンの色は、選択色から元
の色に戻される。

【００３５】次に、以前に入力されているラベル情報の
ラベル名、開始フレーム、終了フレームの何れか一つま
たは複数を変更する場合の動作を、図９ｂのフローチャ
ートに沿って説明する。

【００３６】コマンドボタン３９のＭｏｄｉｆｙボタン
が押されると、Ｍｏｄｉｆｙボタンの色が選択色に変わ
る。ラベル名が変更される場合、変更したいラベル名の
ラベル選択ボタン４０が押され（ステップＳ７）、ラベ
ル情報ウィンドウ３４の変更したいラベルの矩形が押さ
れる（ステップＳ８）。これにより新しいラベル名に書
き変えられる（ステップＳ９）。ラベル選択ボタン４０
により選択したラベル属性とラベル情報ウィンドウ３４
で選択したラベルの属性が違った場合、ラベル名の書き
換えは起こらない。開始フレーム及び終了フレームを変
更したい場合、図１０（ａ）に示すように、変更したい
ラベルの矩形の境界である開始フレームまたは終了フレ
ームがマウスカーソル４１により押され（ステップＳ１
０）、そのまま変更したいフレームまでマウスカーソル
４１がドラッグされてから離される（ステップＳ１
１）。このように修正されたラベル名、開始フレーム、
終了フレームの情報は、以前の情報に置き換えられて磁
気ディスク１３に格納される（ステップＳ１２）。この
際、表示画面の書き換えが行われる（ステップＳ１
３）。なお、ラベル選択ボタン４０は、現在選択されて
いるボタン以外のボタンが選択されるまで、選択が継続
され、二つ以上のボタンが同時に選択されることはな
い。再度Ｍｏｄｉｆｙボタンが押されるか、他のコマン
ドボタン３９が押されると、作業は終了される（ステッ
プＳ１４）。Ｍｏｄｉｆｙボタンの色は選択色から元の
色に戻される。

【００３７】次に、以前に入力されているラベル情報を
消去する場合の動作を図９ｃのフローチャートに沿って
説明する。

【００３８】コマンドボタン３９のＤｅｌｅｔｅボタン
が押されると、Ｄｅｌｅｔｅボタンの色が選択色に変わ
る。ラベル情報ウィンドウ３４から消去したいラベルの
矩形の上にマウスカーソル４１が移動され、マウスボタ
ンが押される（ステップＳ１５）。すると、制御部１０
６からディスプレイ１５へラベル消去の確認信号が出力
され、そのラベルの消去がＯＫであると確認されると
（ステップＳ１６）、そのラベルの情報はラベル情報格
納部１０３から消去される（ステップＳ１７）。この
際、表示画面の書き換えが行われる（ステップＳ１
８）。再度Ｄｅｌｅｔｅボタンが押されるか、他のコマ
ンドボタン３９が押されると、作業は終了される（ステ
ップＳ１９）。Ｍｏｄｉｆｙボタンの色は選択色から元
の色に戻される。また、上述ステップＳ１６において、
ラベルの消去がＯＫでない場合、消去の作業は終了す
る。

【００３９】次に、複数のラベル情報を選択したり、同
時に消去したり、順に再生したりする場合の動作を図９
ｄのフローチャートに沿って説明する。

【００４０】コマンドボタン３９のＳｅｌｅｃｔボタン
が押されると、Ｓｅｌｅｃｔボタンの色が選択色に変わ
る。複数のラベル情報を同時に消去したい場合、ラベル
情報ウィンドウ３４から消去したい複数のラベルの矩形
の上に順次にマウスカーソル４１が移動され、マウスボ
タンが押される（ステップＳ２０、Ｓ２１）。このとき
選択されたラベルは、図１０（ｃ）に示すように、選択
色に変わる。コマンドボタン３９のＤｅｌｅｔｅボタン
が押されると（ステップＳ２２）、制御部１０６からデ
ィスプレイ１５へ複数のラベル消去の確認信号が出力さ
れ、複数のラベルの消去がＯＫであると確認されると
（ステップＳ２３）、それらのラベルの情報はラベル情
報格納部１０３から消去される（ステップＳ２４）。こ
の際、表示画面の書き換えが行われる（ステップＳ２
５）。再度Ｓｅｌｅｃｔボタンが押されるか、他のコマ
ンドボタン３９が押されると、作業は終了される（ステ
ップＳ２６）。Ｓｅｌｅｃｔボタンの色は選択色から元
の色に戻される。また、上述ステップＳ２３において、
ラベルの消去がＯＫでない場合、消去の作業は終了され
る。

【００４１】複数のラベルを順に再生する場合、ラベル
情報ウィンドウ３４から再生したい複数のラベルの矩形
の上に順次にマウスカーソル４１が移動され、マウスボ
タンが押される（ステップＳ２０、Ｓ２１）。このとき
選択されたラベルは、図１０（ｃ）に示すように、選択
色に変わる。コマンドボタン３９のＤｅｌｅｔｅボタン
を押さずに（ステップＳ２２）、操作ボタン３８の再生
ボタンが押されると（ステップＳ２７）、検索部１０２
はラベル情報を検索する（ステップＳ２８）。選択され
たラベル情報が順に再生される（ステップＳ２９）。再
度Ｓｅｌｅｃｔボタンが押されるか、他のコマンドボタ
ン３９が押されると、作業は終了される（ステップＳ２
６）。Ｓｅｌｅｃｔボタンの色は選択色から元の色に戻
される。次に、複数の属性間でのラベル検索について図
１１に基づき詳細に説明する。属性が異なる２つのラベ
ルＬ１、Ｌ２を考えると、縦方向には、属性のラベルが
ならんでいる。横方向は時間を表しており、単位はフレ
ームである。この二つのラベルの重なった部分をＡＮＤ
検索すると、領域Ｓ１になる。このＳ１の部分が音声及
び画像の再生対象となる。同様に、二つのラベルのいず
れか一方でも含む部分をＯＲ検索すると、領域Ｓ２にな
る。このＳ２の部分が音声及び画像の再生対象となる。

【００４２】例えば、図１１（ａ）に示すように、Ｌ１
を「うなずき」のラベル、Ｌ２を「はい」のラベルとす
ると、領域Ｓ１は、「はい」と言い始め、「うなずき」
が終了する間を示しており、領域Ｓ２は、「うなずき」
始め、「はい」と言い終わる間を示している。

【００４３】図１１（ｂ）の場合は、領域Ｓ１は、「う
なずき」の最中で「はい」と言っている間を示してお
り、領域Ｓ２は、「うなずき」の全区間を示している。

【００４４】図１１（ｃ）の場合は、ラベルＬ１とＬ２
とに時間的な重なりがなく、図中のＴＨがラベルＬ１
「うなずき」とラベルＬ２「はい」との関係から決まる
所定値より大きい場合を示している。これは、「うなず
き」とこれに続く「はい」には関連がないことを表して
いる。この時、ＡＮＤ検索で検索される領域Ｓ１はな
い。ＯＲ検索される領域Ｓ２は図のように二箇所が検索
される。ここでは「うなずき」が再生された後に「は
い」が再生される。

【００４５】図１１（ｄ）の場合は、ラベルＬ１とＬ２
とに時間的な重なりがなく、図中のＴＨがラベルＬ１
「うなずき」とラベルＬ２「はい」との関係から決まる
所定値より小さい場合を示している。これは、「うなず
き」とこれに続く「はい」との間には関連があり、両者
を同時に検索する必要があることを表している。この
時、ＡＮＤ検索で検索される領域Ｓ１はない。ＯＲ検索
される領域Ｓ２は図のように両者を合わせた領域とな
る。ここでは「うなずき」が再生され、その後も再生が
続いて「はい」が再生される。

【００４６】なお、これらの例の場合、ラベルの入力や
検索の手法であるＡＮＤ検索かＯＲ検索かの指定は、キ
ーボード１０またはマウス１１から入力する。

【００４７】次に、前記ラベルの上位概念について説明
する。

【００４８】上位概念とは、図１２に示すように、複数
のラベルの生起関係で表せられ、ＡＮＤ検索やＯＲ検索
で抽出できる事象のことである。例えば、上位概念「同
意」は、ラベル属性ｓｐｅｅｃｈのラベル名「はい」と
ラベル属性ｇｅｓｔｕｒｅのラベル名「うなずき」のＯ
Ｒ検索で抽出される領域のことである。これは、人は
「同意」するときに、「はい」と言う音声や「うなず
き」という身体動作のどちらか一方、またはその双方が
同時に現れていることに由来する。

【００４９】次に、本発明の第２の音声及び動画の検索
装置の実施例を図に基づいて説明する。

【００５０】本実施例は、図１３に示すように、音声及
び動画のデータを入力する入力手段としての入力部２０
１と、予めラベル付けされたデータの特徴量を格納する
特徴量格納手段としての特徴量格納部２０３と、入力部
２０１より入力される音声及び動画のデータと特徴量格
納部２０３に格納されている特徴量とを比較してその類
似度が一番大きくかつ所定閾値より大きい場合に、その
特徴量に付属するラベル名を出力するマッチング手段と
してのマッチング部２０２と、ラベルの上位概念を格納
した上位概念格納手段としての上位概念格納部２０５
と、前記マッチング部２０２で得られた各ラベル属性の
ラベル名の時系列データから前記上位概念格納部２０５
に格納されている上位概念を検索する第２の検索手段と
しての検索部２０４と、検索部２０４により検索された
結果を出力する出力手段としての出力部２０６とから構
成されている。

【００５１】次に、本実施例の動作について説明する。

【００５２】上述した本発明の第１の音声及び動画の検
索装置の実施例と同様に、本実施例においては、ラベル
毎の特徴量が抽出される。この抽出は、例えば図１４に
示すように、全身領域５０、頭領域５１、顔領域５２、
目領域５３、口領域５４で行われる。どの属性がどの領
域に関係しているかを図１５に示す。

【００５３】例えば、ラベル属性ｇｅｓｔｕｒｅに係る
ｂｏｗ（おじぎ）、ｎｏｄ（うなずき）、ｌｏｏｋ（メ
モを見る）、ｐｏｉｎｔｉｎｇ（指さし）などの特徴
は、全身領域５０から抽出される。

【００５４】ラベル属性ｅｘｐｒｅｓｓｉｏｎに係るｓ
ｍｉｌｅ（微笑み）、ａｎｇｒｙ（怒り）、ｌａｕｇｈ
（笑い）、ｃｏｎｆｕｓｅ（困惑）などの特徴は、顔領
域５２から抽出される。

【００５５】ラベル属性ｈｅａｄに係るｌｅｆｔ（左を
向いている）、ｒｉｇｈｔ（右を向いている）、ｕｐ
（上を向いている）、ｄｏｗｎ（下を向いている）、ｃ
ｅｎｔｅｒ（正面を向いている）などの特徴は、頭領域
５１から抽出される。

【００５６】ラベル属性ｅｙｅに係るｃｏｎｔａｃｔ
（相手を見ている）、ｅｃｌｏｓｅ（目を閉じている）
などの特徴は、目領域５３から抽出される。

【００５７】ラベル属性ｍｏｕｔｈに係るｍｏｐｅｎ
（開いている）、ｍｃｌｏｓｅ（閉じている）などの特
徴は、口領域５４から抽出される。

【００５８】ラベル属性ｓｐｅｅｃｈに係るｉｒａｓｓ
ｈａｉ（いらっしゃい）、ｈａｉ（はい）、ｉｉｅ（い
いえ）、ａｒｉｇａｔｏｕ（ありがとう）などの特徴
は、口領域５４から抽出される。ここで、ラベル属性ｓ
ｐｅｅｃｈについて、音声波形を周波数分析したものも
特徴量として保持されている。

【００５９】各領域は、図１５に示すように、画像デー
タに記録されている人物の位置があまり移動しないとし
て、多くのデータから得られた平均的な座標で表せられ
ている。この座標の値は、最左端、最下端、最右端、最
上端の順で記載されている。

【００６０】上記のように各領域から抽出される特徴量
は、ラベル区間の時系列データとなり、このデータは特
徴量格納部２０３に予め格納される。入力部２０１より
音声及び動画が入力されると、特徴量格納部２０３に格
納されている全ての特徴量とのマッチングがマッチング
部２０２で行われる。このときダイナミック・プログラ
ミング等の手法が用いられ、ラベル属性毎に一番似てい
るラベルがそのマッチングしている区間のフレーム値と
共に得られる。このようにして得られたラベルの時系列
から、上述第一の実施例と同様に、上位概念格納部２０
５に格納されている上位概念が指定の検索手段により検
索され、その結果は出力部２０６にて出力される。

【００６１】

【発明の効果】以上説明したように、本発明の第１の音
声及び動画の検索装置によれば、データを検索する場
合、入力手段により所定のコマンドが入力されると、上
位概念格納手段を用い上位概念に対応したラベル情報格
納手段からデータに関するラベル情報が第１の検索手段
により抽出され、第１の検索手段により抽出されたラベ
ル情報を元にデータベースからの所望のデータが制御手
段によりアクセスされ、出力手段によりこのデータが出
力されるように構成したので、上位概念に対応する所定
のコマンドを入力するだけで、ＯＲ検索又はＡＮＤ検索
により所望の場面を容易に検索することができる。

【００６２】本発明の第２の音声及び動画の検索装置に
よれば、マッチング手段が、特徴量格納手段に格納され
ている予めラベル付けされた各音声及び動画データのそ
れぞれに対応する各特徴量と、入力手段により入力され
た前記音声及び動画データとのマッチングを行い、予め
設定されている条件を満たしている場合にのみマッチン
グした特徴量に対応するラベルの出力を行う。第２の検
索手段は、上位概念格納手段よりマッチング手段より出
力されたラベルの上位概念を検索し、出力手段が検索さ
れた上位概念を出力するため、入力した音声及び動画デ
ータの上位概念を容易に検索することができる。

【図面の簡単な説明】

【図１】本発明に係る第１の音声及び動画の検索装置の
構成を示すブロック図である。

【図２】本発明に係る第１の音声及び動画の検索装置が
用いられ画像、音声の記録、再生、編集装置を示す概略
構成図である。

【図３】本発明に係るラベル属性データの構成を示す図
である。

【図４】本発明に係るラベル属性データ例を示す図であ
る。

【図５】本発明に係るラベル属性データ例を示す図であ
る。

【図６】ディスプレイに表示される画面構成例を示す図
である。

【図７】ラベル情報ウィンドウを説明するための図であ
る。

【図８】ラベルの矩形を説明するための図である。

【図９ａ】ラベルの手続きを示すフローチャートであ
る。

【図９ｂ】ラベルの手続きを示すフローチャートであ
る。

【図９ｃ】ラベルの手続きを示すフローチャートであ
る。

【図９ｄ】ラベルの手続きを示すフローチャートであ
る。

【図１０】ラベルに対するマウス操作を説明するための
図である。

【図１１】本発明に係る検索領域を説明するための図で
ある。

【図１２】上位概念例を示す図である。

【図１３】本発明に係る第１の音声及び動画の検索装置
の構成を示すブロック図である。

【図１４】画像領域を示す図である。

【図１５】ラベル属性と画像領域との関係を示す図であ
る。

【図１６】従来の画像・音声の記録・再生・編集装置を
示すブロック図である。

【符号の説明】

１０１，２０１入力部１０２，２０４検索部１０３ラベル情報格納部１０４ラベル属性格納部１０５，２０５上位概念格納部１０６制御部１０７データベース１０８，２０６出力部

Claims

【特許請求の範囲】

【請求項１】音声や動画のデータを検索する音声及び
動画の検索装置であって、前記音声及び動画のデータを
最小の時間単位としてのフレーム毎に格納するデータベ
ースと、前記データベースに格納された音声、動画のデ
ータをフレーム毎にラベル付けするためのラベルの属性
情報を格納するラベル属性格納手段と、前記ラベル属性
格納手段に格納されているラベルの属性情報に基づき、
前記フレーム毎に格納された音声及び動画のデータを複
数の異なる事象に対してラベル付けしたラベル情報を格
納するラベル情報格納手段と、前記ラベルをＯＲ検索又
はＡＮＤ検索により検索するための上位概念を格納する
上位概念格納手段と、前記上位概念を指定するコマンド
を入力する入力手段と、前記指定されたコマンドに応答
し上位概念格納手段に格納された上位概念に基づいて前
記ラベル情報格納手段からラベル情報を検索する検索手
段と、前記検索手段により検索されたラベル情報に対応
した音声及び動画のデータを前記データベースからアク
セスする制御手段と、前記データベースからアクセスさ
れた音声及び動画のデータを出力する出力手段とを備え
る音声及び動画の検索装置。
【請求項２】ラベル属性として複数の属性が設けられ
ている請求項１に記載の音声及び動画の検索装置。
【請求項３】音声や動画のデータを検索する音声及び
動画の検索装置であって、前記音声及び動画のデータを
最小の時間単位としてのフレーム毎に入力する入力手段
と、予めラベル付けされた各音声及び動画のデータのそ
れぞれに対応する各特徴量を格納する特徴量格納手段
と、前記入力手段により入力された音声及び動画のデー
タと、特徴量格納手段に格納された特徴量とのマッチン
グを行い、予め設定されている条件を満たしている場合
にのみ前記マッチングされた前記特徴量に対応するラベ
ルの出力を行うマッチング手段と、前記ラベルをＯＲ検
索又はＡＮＤ検索により検索するための上位概念を格納
する上位概念格納手段と、前記マッチング手段より出力
される前記ラベルを受容し、前記上位概念格納手段より
前記ラベルの上位概念を検索する検索手段と、前記検索
手段により検索された前記上位概念を出力する出力手段
とを備える音声及び動画の検索装置。