JPH08314494A

JPH08314494A - 情報検索装置

Info

Publication number: JPH08314494A
Application number: JP7121388A
Authority: JP
Inventors: Katsumi Murai; 克己村井; Kenji Hashimoto; 賢治橋本; Atsushi Horioka; 篤史堀岡
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-05-19
Filing date: 1995-05-19
Publication date: 1996-11-29
Anticipated expiration: 2019-11-24
Also published as: JP3594359B2

Abstract

(57)【要約】【目的】生データの情報が失われず、簡単に検索や整
理を行うことができる情報検索装置を提供すること。【構成】記録ファイル名と表示部位の指定を行い（ス
テップＳ１１０）、ディスクからＡＤＰＣＭ圧縮音響デ
ータを読み出してデータの圧縮を解凍し（ステップＳ１
１１）、得られた周波数領域データを時系列に表示する
（ステップＳ１１２）。このとき、もし音声認識された
文字の意味が通じなかったら、その部位の確認のために
バーグラフ上に音響データ再生開始位置と終了位置を指
示し（ステップＳ１１３）、音響データを再生して確認
し、確認した部位の文字の修正や編集を行う（ステップ
Ｓ１１４）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声や文字図形情報の
情報検索に関するものであり、原理的に誤認識が存在す
る認識処理を人と機械との良好な関係いわゆるマンマシ
ンインターフェイスの改善により認識処理を現実に利用
可能な道具とするための情報検索装置に関するものであ
る。

【０００２】

【従来の技術】近年パーソナルコンピューターの普及に
より文書の多くが電子化される状況になってきた。しか
しながら多量のデータが電子化されたと言っても紙はい
つまでたってもなくなるどころかかえってオフィスに氾
濫している。いわゆる電子媒体の問題点は紙のような手
軽さに欠けることである。紙の利点としては、拾い読み
(ブラウジング：browsing）がしやすいと言う利点は特
に強調されるべきであり、電子媒体では現時点での解像
度や処理速度の関係からもブラウジングがしやすいとは
いえない。ところで良く考えてみると、このブラウジン
グというのは、知識体系を書籍という人間の作った人工
物を介した、知識と人間とのインターフェイスとして、
何世紀も受け入れられてきたそれなりの合理性を持った
体系であると考えられる。例えばタイトルや段落や空白
それぞれ一つとりあげても、人の視覚に重要度を訴え、
あるいは見やすさや意味的なまとまりを伝えるため発達
してきた技術であり、人が書籍と言う道具に対し「紙め
くり」と言う動的な働きかけを通じ知識を自由に利用す
る手法として磨かれ続けてきたものである。

【０００３】ところで機械音声認識や文字認識等、人に
替わって話したり読んだりする技術は、究極的には人の
ように考える機械を目指しているが、人のように考える
ことのできない機械が人のように話したり読んだりでき
るのだろうか。別の言い方をすれば、機械はどのような
レベルの、どのような知識をもった人を想定すればよい
のだろうか。神ではない人の知識は有限であり、誤りは
避けられないが、人は考え対話することができるため、
たとえ絶対的知識が不足している幼児や、知識を共有し
ていない老人に対してであっても、意志を疎通し合って
知識の伝達修正が可能である。これは機械においては何
を意味しているのか。もし知識が非常に不足している状
態で機械が自動認識してコード化し、電子媒体に記録し
ようと思っても誤認識の問題がつきまとい、その時点で
修正しない限り情報が失われてしまう。現実の音声会話
の内容は非常に非論理的であり、また印刷情報も文字だ
けでなく画像や色にあふれ単純な文字列として理解でき
ないものが非常に多い。これはリアルタイムな認識（す
なわち音が発生した時点や文字が読まれたその時点での
認識）が、誤認識の対話修正なしにはコード化不可能で
あると言う事実と、その時点で誤認識される前の正しい
情報が永久に失われ、またさらに我々が常日頃利用して
いるコード情報以外の重要な情報を失ってしまうと言う
問題の存在を示唆している。もちろん情報を生のまま保
存するならばこのような問題は発生しないが、データ量
が膨大になり検索や整理もしにくいと言う問題点があっ
た。

【０００４】

【発明が解決しようとする課題】上述したように、機械
が音声や文字認識を自動的に行うとき、常に問題になる
のが背景知識の不足の問題であり、考えることもでき
ず、口や耳や目を持たない機械が経験を通じて正しい知
識を獲得することができない以上、正しい知識を機械に
求めるのは機械に神託を期待するようなものである。機
械に何かを認識させるとは結果の責任を機械に持たせよ
うとすることであり、もし責任を持たせられないなら結
局は人間が生データを判断して修正する必要がある。も
しリアルタイムな認識を要求し、認識結果の内容まで期
待するなら、結局は生データを保存しなければならな
い。ところが生データの形で蓄積しようと思ったとたん
に検索が困難になることやデータ量の問題が発生すると
いう課題がある。

【０００５】本発明は、例えばリアルタイムな生データ
の蓄積を再生可能なデータ圧縮手法で記録し、後に人が
データ圧縮情報から生データを検索し同時に認識を行っ
て結果を確認し、必要な時に人が介在して認識結果を修
正してコード化しようとするものである。蓄積する際の
データ圧縮についても人間の聴覚や視覚の行っている前
処理に基づく情報圧縮を用うことで記録時に認識を中途
まで実行し、再生時にはデータを可視化して表示すると
ともに、あるいは検索を圧縮する際の特徴を用いて検索
し、修正時も人が容易に修正可能なインターフェイスを
用意して道具として利用しやすい形を取ろうとするもの
である。

【０００６】すなわち本発明は、生データの情報が失わ
れず、簡単に検索や整理を行うことができる情報検索装
置を提供することを目的とするものである。

【０００７】

【課題を解決するための手段】請求項１の本発明は、生
データ又は変形された生データを記憶する記憶手段と、
生データ中の所定の特徴を、生データとともに又は変形
された生データとともに表示する特徴表示手段と、操作
者により指定された部分を認識し、その認識結果を表示
する認識結果表示手段とを備えた情報検索装置である。

【０００８】請求項２の本発明は、音響データを記憶す
る音響データ記憶手段と、その記憶された音響データの
うち、操作者により指定されたデータを時系列表示する
音響データ時系列表示手段と、音響データの音声部分を
音声認識し、その認識結果を表示された時系列データに
対応する位置に表示する音声認識表示手段と、操作者の
指示により範囲指定された音響データを音響再生する音
響データ指示再生手段と、表示された認識結果に対し
て、操作者の指示により、文字の入力、修正、あるいは
認識修正候補を提示しての置き換えを行い、その編集結
果を記憶する文字入力編集記憶手段とを備えた情報検索
装置である。

【０００９】請求項６の本発明は、音響データを周波数
領域の時系列データに変換した時系列周波数領域情報を
記号化圧縮保存する記号化圧縮記憶手段と、文字を音韻
に対応させた文字音韻対応表に基づき、操作者が指定し
た検索文字から音韻を得て音韻を時系列周波数領域情報
の検索記号列に変換する検索記号列作成手段と、その検
索記号列と記号化圧縮記憶手段に記録された記号列との
近似マッチングを行う記号列近似マッチング手段と、そ
の記号列近似マッチング手段により読みだされた音響デ
ータを表示する音響データ表示手段と、その表示された
音響データの音声部分を音声認識し、その認識結果を表
示された音響データに対応した位置に表示する音声認識
表示手段と、操作者の指示により範囲指定された音響デ
ータを音響再生する音響データ指示再生手段と、音声認
識結果を修正する文字修正手段とを備え、文字修正手段
によって修正された文字の音韻を文字音韻対応表に順次
反映させる情報検索装置である。

【００１０】請求項７の本発明は、音響データを周波数
領域に変換して記憶する音響データ記憶手段と、音響デ
ータを記憶する際に、入力された短時系列データ毎に周
波数領域の互いの類似性を調べて各類似データ毎にデー
タ配列を作り、各類似データの中心値と音響データの変
動値により類似データ配列番号に対応させて記録する類
似データ配列番号記録手段と、記憶された音響データを
操作者の指示に応じて、時系列対応して類似データ毎に
表示選択すると共に、類似データ配列番号で全数検索を
行い表示する音響データ表示検索手段と、類似データ配
列番号記録手段で記録されたデータに対して表示時に音
声認識し、音声部分の認識結果を表示された時系列に対
応する位置に表示する音声認識表示手段と、操作者の指
示により範囲指定された音響データを、類似データの中
心値と音響データの変動値から再び時間領域に変換して
音響再生する音響データ指示再生手段と、文字を入力、
又は修正、又は認識修正候補を提示して置き換え、その
結果を記憶する文字入力編集記憶手段と、その文字入力
編集記憶手段により訂正され対応づけられた類似データ
配列番号と音声認識結果の対応表を更新する対応表更新
手段とを備えた情報検索装置である。

【００１１】請求項９の本発明は、画像データを記憶す
る画像データ記憶手段と、その記憶された画像データを
読み出して表示する画像データ表示検索手段と、その表
示された画像データのうち文字と判定される対象領域を
文字認識し、その認識結果を文字コード情報で得るとと
もに認識文字として対象領域の画像データの文字と同等
の大きさでその文字に重ねて表示する文字認識処理表示
手段と、操作者の指示により領域を指定する領域指定手
段と、その領域指定手段で指定された領域の文字を、操
作者の指示に応じて修正候補文字で置き換える文字修正
手段とを備えた情報検索装置である。

【００１２】請求項１０の本発明は、文字図形画像デー
タを記憶する文字図形画像データ記憶手段と、文字図形
画像の小部分を索引として、より大きな部分を検索する
図形部品辞書と、文字図形画像データの小部分を索引と
して図形部品辞書を引き、得られた文字図形画像の類似
性を比較する類似図形部品辞書検索手段と、文字図形画
像データの少なくとも一部を類似図形部品辞書データで
置き換えて記述し、又は類似図形部品辞書データと文字
図形画像データとの差異で表現し、又は表現した結果を
蓄積する図形部品化記述手段と、その図形部品化記述手
段で記述されたデータを再生して原文字図形画像を復元
して表示する表示手段と、必要に応じて図形部品化記述
手段において類似度に対応した複数解釈の部品化記述が
考えられる場合には解釈候補を一つ以上提示して選択を
促し、また解釈候補提示においては必要に応じて原文字
図形画像との差異データを明示的に表示し、又は差異デ
ータを表示しない候補提示手段と、図形部品、又は図形
が文字ないし図形としてコード化可能ならば認識処理結
果データとしてコード化データを得る認識処理手段と、
画面上で表示した文字図形画像ないしコード化データの
特定部をポインティング指定して修正編集を行うポイン
ティング修正編集手段と、原文字図形画像データ入力時
に対応した画面の可視化表示を行う検索手段と、指定文
字位置に操作者の意図に応じて文字入力、又は編集、又
は再び記憶し検索する文字編集記憶検索手段とを備えた
情報検索装置である。

【００１３】

【作用】本発明は、例えば、ユーザが会議などで音声生
データや文字画像生データを記録して後に例えば議事録
などを作ろうとする場合、その時点ではコード化せずに
生データを圧縮記録し、あるいは圧縮を認識の前処理段
階にとどめて中間値で圧縮記録し、後に読み出す時点で
は可視化してブラウジングにて検索、或いは検索文字に
対応する中間値データを全検索して可視化選択する。検
索文字と中間値データの対応は可視化時に誤認識結果の
修正により校正され、また校正結果は即時に検索に反映
され、また次の（検索時の）認識処理に反映される。こ
のようにして情報の検索はブラウジングを伴った形で行
われ、生データの持っている人間が知覚可能な情報を失
うことなく、検索し再生した時点で認識処理を行い、誤
認識データの修正を人の介在した情報選択行為として実
行する。会議の議事録を例に考えて見ても、通常我々の
必要とする情報はそれほど多くはなく、コード化する必
要があるものはそれほど多くはない。必要が生じた時点
で時間的な流れを可視化して、音声ならば空白時間や声
の高低や音量また話者情報等を参考に、また文字ならば
空白や字体なども参考にコード化（認識）を行えばよ
く、基本的に機械の知識限界による誤認識は発生しな
い。

【００１４】

【実施例】以下に、本発明をその実施例を示す図面に基
づいて説明する。

【００１５】図１は、本発明にかかる第１の実施例の情
報検索装置の機能ブロック図であり、図２は、図１の機
能ブロック図の情報検索装置の処理フローであり、図３
は、図２の処理フローによる図１の機能ブロック図にお
けるディスプレイ画面の一例を示す図である。図１にお
いて、１はディスク、２はマイクロコンピュータ、３は
メモリ、４はＡ／Ｄコンバータ、５はＤ／Ａコンバー
タ、６はディスプレイプロセッサ、７はマイクロフォ
ン、８はスピーカ、９はディスプレイ、１０はマウス、
１１はキーボードである。ここで、ディスク１、Ａ／Ｄ
コンバータ４等が音響データ記憶手段を構成し、ディス
プレイプロセッサ６、ディスプレイ９等が音響データ時
系列表示手段を構成し、Ｄ／Ａコンバータ５、スピーカ
８等が音響データ指示再生手段を構成し、メモリ３、キ
ーボード１１等が文字入力編集記憶手段を構成してい
る。又、マイクロコンピュータ２とその制御プログラム
の一部等が前述の各手段の一部を構成し、更に別のプロ
グラム等を含めた部分が音声認識表示手段を構成してい
る。

【００１６】次に、上記第１の実施例の情報検索装置の
動作について、図面を参照しながら説明する。

【００１７】いま、このシステムを図２における記録モ
ードとした時、入力音声はマイクロフォン７から入力さ
れた後（ステップＳ１０１）、Ａ／Ｄコンバータ４に入
力されてディジタル化される（ステップＳ１０２）。そ
の後ディジタル化された音響信号はマイクロコンピュー
タ２によりＡＤＰＣＭにより圧縮され（ステップＳ１０
３）、ディスク１に書き込まれる（ステップＳ１０
４）。

【００１８】また検索時は、図２の検索モードフロー図
に示すように、記録ファイル名の指定と表示部位の指定
を行った後（ステップＳ１１０）、ディスク１から指定
されたファイルのＡＤＰＣＭ圧縮音響データを読み出し
て、対応する部位のデータの圧縮を解凍した後（ステッ
プＳ１１１）、時系列に切り取ってＦＦＴ処理を行って
得られた周波数領域データを時系列に表示する（ステッ
プＳ１１２）。図３（ａ）において、９’は選択した記
録ファイルの周波数領域データをバーグラフ状の時系列
で表示したディスプレイ画面で、図では省略してあるが
時系列の一本のバーの下側が低い周波数、上側が高い周
波数であり各周波数の強度が輝度に対応している。時系
列データが長く続く場合、バーグラフは画面の右端で折
り返されて下段に移り、またある程度の長さの空白が音
声データに存在する場は会話の区切りとして余白を残し
て下段に移る。表示画面をさらに大きくしてファイル全
体の大まかな部位を指定することも可能であり、また逆
に図３（ｂ）の９''に示すように、詳細に特定部位を表
示し各バーグラフ状の周波数領域データの下にその音声
認識結果を示すように選択させることもできる。音声認
識は再生された音響データからＬＰＣ予測係数算出、メ
ルケプストラム、ベクトル量子化の後、音韻辞書とのパ
ターンマッチングを行って文字コードを得る。

【００１９】このとき、もし音声認識された文字の意味
が通じなかったら、その部位の確認のためにバーグラフ
上に音響データ再生開始位置と終了位置を指示し（ステ
ップＳ１１３）、時系列音響データをマイクロコンピュ
ータ２で再び音響信号に変換し、Ｄ／Ａコンバータ５、
スピーカ８を介して音として確認したり、大まかな位置
の検索時にも音で確認することができ、その後、確認し
た部位の文字の修正や編集を行うことができる（ステッ
プＳ１１４）。図３（ｂ）の例では「じぎょうけいなに
ついて」という部分の意味が通じないため音声を再生す
るため範囲指定したところである。この場合「じぎょう
けいかくについて」と「な」の文字を「かく」にキーボ
ード１１から入力して修正する。このように確認した結
果から認識結果の文字を修正したり編集して会議の議事
録のワープロ文書に挿入したり、さらに他の部位を表示
して検索したりする。

【００２０】次に、他の箇所の表示部位を指定するかど
うかを選択し（ステップＳ１１５）、指定した場合は、
再度ステップＳ１１１の処理へ戻り、上記の手順を繰り
返す。指定しない場合は、この検索モードを終了する。

【００２１】次に、第２の実施例の情報検索装置につい
て説明する。本実施例における基本的構成は、第１の実
施例の図１と同様であり重複する部分の説明は省略す
る。異なる点は、時系列データの表示の方法が一部違う
点である。

【００２２】図４において、９'''は記録ファイルの周
波数領域データをバーグラフ状の時系列で表示したディ
スプレイ画面で、図中の記号○は２秒までの無音区間、
○○は４秒までの無音区間、×は８秒までの無音区間、
また××は８秒を越える無音区間を示している。この無
音区間の表示は画面のスペースを節約するだけでなく、
ブラウジング検索のキーとして役立つものである。会議
でどのようなことが話されたかを思い出す鍵となるもの
は長い沈黙であったり、特定の音や笑い声であったりす
る場合が多く、このような表示は検索時の覚えとして有
効であるので、前述の無音区間以外にも、例えば音声認
識が不可能と判定された物音（ドアの閉まる音など）を
色を変えて表示したりすることもできる。

【００２３】次に、第３の実施例の情報検索装置につい
て説明する。本実施例における基本的構成は、第１の実
施例の図１と同様であり重複する部分の説明は省略す
る。図５は、本実施例の情報検索装置における処理フロ
ーである。

【００２４】いま、システムが図５における記録モード
にあるとした時、入力音響信号はマイクロフォン７から
入力され（ステップＳ２０１）、Ａ／Ｄコンバータ４に
入力された後にディジタル化される。その後ディジタル
化された音響信号はマイクロコンピュータ２によりウェ
ーブレット変換処理されて周波数領域の時系列データと
された後（ステップＳ２０２）、聴感特性と音声特徴に
あわせベクトル量子化して圧縮され（ステップＳ２０
３）、ディスク１に書き込まれる（ステップＳ２０
４）。

【００２５】また検索時は、図５の検索モードフローに
従い、記録ファイル名の指定と表示部位の指定を行った
後（ステップＳ２１０）、ディスク１から指定されたフ
ァイルのベクトル量子化された音響データを読み込み
（ステップＳ２１１）、ベクトル情報を時系列方向に表
示する。このとき、バーグラフの上下で周波数を、また
輝度で各周波数成分の強度を示すように表示している。
ステップＳ２１２からステップＳ２１５までの処理は、
第１の実施例での該当する部分の処理と基本的に同様で
あり、説明を省略する。

【００２６】またベクトル量子化データと音韻辞書のパ
ターンマッチングを行い、音声認識処理を行う。このよ
うなフィルタバンクのような周波数領域データを使用し
た音声認識は古典的でＬＰＣを使った場合よりやや認識
率が劣るが、ソナグラムからしゃべっている内容が読み
とれる例でもわかるように人間の直感に合致している。
音響データの記録モード時には既に音声認識の前処理と
表示の周波数分析が済んでしまい、音声認識中間値、あ
るいは検索表示中間値としてディスク１に記録されてい
ることになる。このようにしてコンピュータの計算資源
は記録時と検索（認識）時に分けて使われるため効率が
良く、近年の高性能のマイクロプロセッサのみで認識処
理を行うことができる。

【００２７】次に、第４の実施例の情報検索装置につい
て説明する。

【００２８】図６は、本実施例における機能ブロック図
であり、複数のマイクロフォン７からの信号がＡ／Ｄコ
ンバータ４に入力される。各マイクロフォン７は単一指
向性のものを使用し、会議中の各話者方向に向けたり、
あるいはラペルマイクとして話者に近接して装着しても
らえば各話者の音量比で誰が話しているかがわかる。こ
の例では３人の話者に対して３チャンネルの音声データ
を記録し、各音声データの音量比を判定し、音響データ
の可視化表示時には図３（ａ）の各会話の区切り毎に話
者のマークを表示して誰がしゃべったかを知らせる。あ
るいは話者毎に色を変えて表示する。ディスク１の記憶
領域を節約するためには、マイクの音量比を記録前に調
べて１チャンネルしか音声データを記録しなくともよ
い。ディスク記録前に話者を判定して各会話の先頭に識
別子をつければ良い。また同様にマイクロフォン７を単
独使用して１チャンネルの音響データとした場合でも表
示時に音質から判定してマークをつけるようなこともで
きる。

【００２９】なお、本実施例では、マイクロフォン７の
個数を３個、すなわち入力チャンネル数を３として説明
したが、チャンネル数はこれに限定されるものではな
い。

【００３０】次に、第５の実施例の情報検索装置につい
て説明する。本実施例における基本的構成は、第１の実
施例の図１と同様であり重複する部分の説明は省略す
る。本実施例においては、ディスク１、Ａ／Ｄコンバー
タ４等が記号化圧縮記憶手段を構成し、ディスプレイプ
ロセッサ６、ディスプレイ９等が音響データ表示手段を
構成し、Ｄ／Ａコンバータ５、スピーカ８等が音響デー
タ指示再生手段を構成し、キーボード１１等が文字修正
手段を構成している。又、マイクロコンピュータ２とプ
ログラム等を含めた部分が、検索記号列作成手段、記号
列近似マッチング手段、音声認識表示手段を構成してい
る。図７は、本実施例の情報検索装置における処理フロ
ーである。

【００３１】まず、記録モードでは、マイクロフォン７
から取り込まれた（ステップＳ３０１）入力音響信号
は、Ａ／Ｄコンバータ４に入力された後にディジタル化
される。その後ディジタル化された音響信号はマイクロ
コンピュータ２により周波数領域の時系列データとされ
た後（ステップＳ３０２）、周波数領域成分と時間軸成
分に分離して記号列としてベクトル量子化され（ステッ
プＳ３０３）、この記号列をディスク１に順次記録して
いく（ステップＳ３０４）。

【００３２】また検索時には、図７の検索モードフロー
に従い、記録ファイル名の指定と検索文字の指定を行っ
た後（ステップＳ３１０）、検索文字列に対応する音韻
列を音声認識に使用する音韻−文字対応辞書を逆引きし
て読み、これをさらに記録時に用いたベクトル量子化方
法に従って、検索用のベクトル量子化データ列を作成す
る（ステップＳ３１１）。そして対象ファイルを文書の
全文検索と同様に、ディスク１から順次読み込んで、ベ
クトル量子化データ列と一致する箇所を候補として表示
していく（ステップＳ３１２）。文書を対象とした全文
検索では厳密な一致だけでなく、一部だけ異なっている
場合も許容したいわゆる曖昧検索を行うが、一部のベク
トルに関してマッチングを行わなければ同様な曖昧検索
が可能となる。

【００３３】次に、対応するファイルの中から候補とさ
れた会話部分近辺のベクトル量子化された音響データを
読み込み、ベクトル情報を時系列方向に表示する。この
とき、バーグラフの上下で周波数を、また輝度で各周波
数成分の強度を示すように表示する。またベクトル量子
化データと音韻辞書のパターンマッチングを行い、周辺
の会話の音声認識処理を行い、その認識結果を表示する
（ステップＳ３１３）。この後、指定箇所の音を指示し
て（ステップＳ３１４）、聞いてみたり誤認識文字を修
正し（ステップＳ３１５）、音声認識に用いる音韻辞書
を修正する（ステップＳ３１６）。つまり音声記録時に
は音声認識して記号列に判定しているわけでないため、
再検索の修正の毎に辞書が更新され認識率が向上してい
く。その後、他の箇所について処理を行うかどうかを指
定し（ステップＳ３１７）、行わない場合は、検索モー
ドを終了する。

【００３４】次に、第６の実施例の情報検索装置につい
て説明する。本実施例における基本的構成は、第１の実
施例の図１と同様であり重複する部分の説明は省略す
る。本実施例においては、メモリ３、マイクロコンピュ
ータ２等が、類似データ配列番号記録手段、対応表更新
手段を構成し、マイクロコンピュータ２、ディスプレイ
プロセッサ６、ディスプレイ９等が音声認識表示手段を
構成し、Ｄ／Ａコンバータ５、スピーカ８等が音響デー
タ指示再生手段を構成し、メモリ３、キーボード１１等
が文字入力編集記憶手段を構成している。図８は、本実
施例の情報検索装置における処理フローである。

【００３５】まず、記録モードでは、マイクロフォン７
から取り込まれた（ステップＳ４０１）入力音響信号
は、Ａ／Ｄコンバータ４に入力された後にディジタル化
される。その後ディジタル化された音響信号は、マイク
ロコンピュータ２により周波数領域の時系列データとさ
れた後（ステップＳ４０２）、周波数領域成分と時間軸
成分に分離してメモリ３をバッファとして蓄えていく
（ステップＳ４０３）。このとき、過去から現時点まて
蓄積したデータのうち、周波数成分と時間軸成分の各々
のパラメータ毎に類似しているものをマイクロコンピュ
ータ２によりマッチング処理してクラスタとしてまと
め、類似データ配列番号としてのクラスタ番号を与えて
いく（ステップＳ４０４）。

【００３６】そして一連の音響データの取り込みが終了
したら（ステップＳ４０５）、ディスク１に各クラスタ
の番号列と各クラスタの中心値の周波数領域、時間軸領
域の値との変位を書き込む（ステップＳ４０６）。

【００３７】また検索時には、図８の検索モードフロー
に従い、記録ファイル名の指定と検索文字列の入力を行
った後（ステップＳ４１０）、ディスク１から指定され
たファイルのクラスタパラメータのみを読み込む（ステ
ップＳ４１１）。この時点で記録ファイルのパラメータ
と音韻との対応を取り、音韻に対応する複数のクラスタ
番号を割り付けて検索クラスタ列を作成する（ステップ
Ｓ４１２）。そして対象ファイルを文書の全文検索と同
様に、ディスク１から順次読み込んで、クラスタ列と一
致する箇所を候補として表示していく（ステップＳ４１
３）。文書を対象とした全文検索では厳密な一致だけで
なく、一部だけ異なっている場合も許容したいわゆる曖
昧な検索を行うが、クラスタは既に複数音韻に割り振ら
れているためマッチングは曖昧な検索となっている。

【００３８】次に、対応するファイルの中から候補とさ
れた会話部分近辺のクラスタ番号列を含む音響データを
読み込み、対応するクラスタ番号の中心値とその周波数
領域、時間軸領域の変位から再現計算して時系列方向に
表示する。このとき、バーグラフの上下で周波数を、ま
た輝度で各周波数成分の強度を示すように表示する。同
様にして得られたデータと音韻辞書のパターンマッチン
グを行い、周辺の会話の音声認識処理を行い、その認識
結果を表示する（ステップＳ４１４）。この後、指定箇
所の音を指示して（ステップＳ４１５）、聞いてみたり
誤認識文字を修正し（ステップＳ４１６）、音声認識の
音韻辞書を修正する（ステップＳ４１７）。その後、他
の箇所について処理を行うかどうかを指定し（ステップ
Ｓ３１７）、行わない場合は、検索モードを終了する。

【００３９】なお、図示はしないが、さらに別の実施例
として、操作者による編集訂正作業を音響データの取り
込み時におこなってもよいことは言うまでもなく、操作
者が音響データを聞きながら画面に時系列表示と音声認
識文字表示を行い、誤っている文字を修正ないし編集す
るようにもできる。この時は時系列データを記録すると
ともに音声認識結果及びその修正編集結果とを対応させ
て記録する必要がある。また少なくとも修正のあった箇
所は区別して記録しておく。

【００４０】次に、第７の実施例の情報検索装置につい
て説明する。

【００４１】図９は、本実施例における機能ブロック図
であり、図１の構成と異なる点は、Ａ／Ｄコンバータ
４、Ｄ／Ａコンバータ５、マイクロフォン７、スピーカ
８がなく、その代わりに、画像データを取り込むための
電子スチルカメラ１３、取り込んだ画像データ用のＡ／
Ｄコンバータ４’、ディジタル化された画像データを蓄
積する画像メモリ１２が設けられている点である。ここ
で、画像メモリ１２、ディスク１等が画像データ記憶手
段を構成し、ディスプレイプロセッサ６、ディスプレイ
９等が画像データ表示検索手段を構成し、マイクロコン
ピュータ２、ディスプレイ９等が文字認識処理表示手段
を構成し、キーボード１１、マウス１０等が領域指定手
段を構成し、マイクロコンピュータ２等が文字修正手段
を構成している。また図１０は、図９の情報検索装置に
おける処理フローである。

【００４２】まず、記録モード時には、電子スチルカメ
ラ１３から画像データを取り込み（ステップＳ５０
１）、その画像データは画像用のＡ／Ｄコンバータ４’
を経由して（ステップＳ５０２）、一旦画像メモリ１２
に蓄えられる。さらに画像メモリ１２に蓄えられた画像
データは、ＦＡＸと同様なランレングス符号化による圧
縮を行った後（ステップＳ５０３）、ディスク１にファ
イルとして蓄えられる。

【００４３】また検索モードにおいては、検索対象ファ
イルと表示位置をブラウジングにて指定検索し（ステッ
プＳ５１０）、ディスク１から再生されたランレングス
符号データはメモリ３へ転送された後、マイクロコンピ
ュータ２によって復号され（ステップＳ５１１）、ディ
スプレイプロセッサ６に送られて画像の間引き処理が行
われ（ステップＳ５１２）、ディスプレイ９に画像情報
として表示される（ステップＳ５１３）。

【００４４】もし文字領域をコード化する必要がある場
合はユーザが変換領域を指定し（ステップＳ５１４）、
指定範囲の文字画像がマイクロプロセッサ２により認識
処理される。この時コード化された結果は認識対象とな
っている文字が明朝体なら明朝に、ゴシック体ならゴシ
ックの形で大きさを同等にしてもとの文字画像に重ね色
を変えて表示する。ユーザーはこのような対話処理の中
で、もし文字認識誤りがあるなら修正し、このとき複数
の認識候補があるならば認識システムはこれを表示し、
ユーザがその中から選択する（ステップＳ５１５）。ま
た文字編集してそのまま元の画像に付加して保存する
か、あるいはコード化情報をそのまま記録または他のア
プリケーションにて利用する。その後、他の箇所につい
て処理を行うかどうかを指定し（ステップＳ５１６）、
行わない場合は、検索モードを終了する。

【００４５】次に、第８の実施例の情報検索装置につい
て説明する。

【００４６】図１１は、本実施例における機能ブロック
図であり、図９の第７の実施例と異なる点は、図形部品
辞書及び文字図形の小部分の形を番地入力するとハッシ
ュ表にて全体を読み出すメモリの機能を有する画像部品
辞書メモリ１４が設けられている点であり、他は図９と
同じである。本実施例においては、画像メモリ１２、デ
ィスク１等が文字図形画像データ記憶手段を構成し、画
像部品辞書メモリ１４が図形部品辞書を構成し、ディス
プレイプロセッサ６、ディスプレイ９等が表示手段を構
成し、マイクロコンピュータ２、ディスプレイ９等が候
補提示手段、検索手段を構成し、メモリ３、キーボード
１１、マウス１０等が文字編集記憶検索手段を構成し、
マイクロコンピュータ２等が類似図形部品辞書検索手
段、図形部品化記述手段、認識処理手段を構成してい
る。また図１２は、本実施例における処理フローであ
る。

【００４７】まず、記録時には、画像はスチルカメラ１
３から取り入れられＡ／Ｄコンバータ４’により二値化
される（ステップＳ６０１）。さらにマイクロコンピュ
ータ２により入力データの輪郭線が抽出され、得られた
輪郭線を単純な円弧や角あるいはその組み合わせで記述
できる小部品の集まりとして分解し、この部品データを
数値化する（ステップＳ６０２）。次に、対象部品と隣
接部品の数値から、辞書を引き図形全体輪郭データを取
得する（ステップＳ６０３）。

【００４８】この後、得られた図形全体輪郭データと入
力データ輪郭とを比較し、予め定めておいた差異値Ｌを
越えていないかどうかを調べる（ステップＳ６０４）。
もし誤差値が閾値以上なら再度辞書を引き、閾値以下な
ら入力データそのものを辞書に記述してある図形コード
番号で記述する（ステップＳ６０５）。取り込まれた入
力図形データは画面に表示し、同時に得られた辞書図形
輪郭データと重ね表示する。文字のような解釈が問題に
なる図形輪郭については、操作者が必要に応じて文字修
正、編集、候補提示選択を行い（ステップＳ６０６）、
その後、選択された図形（文字）コードとその差異をデ
ィスク１に記録し、又、解釈が誤っていてもかまわない
とするならそのままの図形（文字）コードとその差異を
ディスク１に書き込む（ステップＳ６０７）。

【００４９】また再生検索時には、必要なファイル等を
指定した後（ステップＳ６１０）、ディスクからデータ
を読み込む（ステップＳ６１１）。このときファイルデ
ータを表示するが、表示は差異データは表示せず図形
（文字）コードのみを間引いて小さく表示し（ステップ
Ｓ６１２）、これをブラウジングで選択するか、また上
記のファイルデータ検索時には図形（文字）コードから
全コード検索する（ステップＳ６１３）。

【００５０】次に、文字図形コードの範囲を指定するか
否かを選択し（ステップＳ６１４）、指定する場合は、
検索して得られた図形データを差異を含めて大きく表示
し、必要に応じて図形（文字）コードと差異データを重
ねて表示し、図形（文字）コードを必要とする時には指
定した範囲を認識修正処理あるいは編集する（ステップ
Ｓ６１５）。例えば取り込んだ図形がゴシック文字
「Ａ」であった場合、明朝体の「Ａ」しか画像部品辞書
になかった場合は、その差異のみが取り込んだ画像近傍
に表示される。この場合コードフォント情報と文字情報
のように上位のコードと下位のコードがあるがこれらは
操作者が必要に応じて検索時、修正時に選んで使い分け
る。その後、他の箇所について処理を行うかどうかを指
定し（ステップＳ６１６）、行わない場合は、検索モー
ドを終了する。

【００５１】以上、説明したように本発明によれば次の
ような効果を得ることができる。（１）音声や画像を元データの情報を失わず蓄えること
ができ、認識誤りが問題にならなくなる。（２）実際に検索を行った後にコード化という作業を行
うため、ユーザに心理的負荷を与えない。（３）圧縮と検索認識コード化までの統一的な処理が可
能。

【００５２】なお、上記実施例では、いずれもコンピュ
ータを用いてソフトウェア的に各機能を構成したが、こ
れに代えて、同様の機能を専用のハードウェアにより実
現してもよい。

【００５３】また、上記実施例では、いずれもデータの
ディスクへの蓄積を圧縮して行う構成としているが、こ
れに限らず、生データをそのまま蓄積する構成としても
適用可能である。

【００５４】

【発明の効果】以上述べたところから明らかなように本
発明は、生データの情報が失われず、簡単に検索や整理
を行うことができるという長所を有する。

【図面の簡単な説明】

【図１】本発明にかかる第１の実施例の情報検索装置の
機能ブロック図である。

【図２】同第１の実施例における処理手順を示すフロー
チャートである。

【図３】同図（ａ）は、同第１の実施例におけるディス
プレイ画面の一例を示す図、同図（ｂ）は、ディスプレ
イ画面の別の一例を示す図である。

【図４】本発明にかかる第２の実施例の情報検索装置に
おけるディスプレイ画面の一例を示す図である。

【図５】本発明にかかる第３の実施例の情報検索装置に
おける処理手順を示すフローチャートである。

【図６】本発明にかかる第４の実施例の情報検索装置の
機能ブロック図である。

【図７】本発明にかかる第５の実施例の情報検索装置に
おける処理手順を示すフローチャートである。

【図８】本発明にかかる第６の実施例の情報検索装置に
おける処理手順を示すフローチャートである。

【図９】本発明にかかる第７の実施例の情報検索装置の
機能ブロック図である。

【図１０】同第７の実施例における処理手順を示すフロ
ーチャートである。

【図１１】本発明にかかる第８の実施例の情報検索装置
の機能ブロック図である。

【図１２】同第８の実施例における処理手順を示すフロ
ーチャートである。

【符号の説明】

１ディスク２マイクロコンピュータ３メモリ６ディスプレイプロセッサ７マイクロフォン８スピーカ９ディスプレイ１２画像メモリ

Claims

【特許請求の範囲】

【請求項１】生データ又は変形された生データを記憶
する記憶手段と、前記生データ中の所定の特徴を、生デ
ータとともに又は変形された生データとともに表示する
特徴表示手段と、操作者により指定された部分を認識
し、その認識結果を表示する認識結果表示手段とを備え
たことを特徴とする情報検索装置。
【請求項２】音響データを記憶する音響データ記憶手
段と、その記憶された音響データのうち、操作者により
指定されたデータを時系列表示する音響データ時系列表
示手段と、前記音響データの音声部分を音声認識し、そ
の認識結果を前記表示された時系列データに対応する位
置に表示する音声認識表示手段と、前記操作者の指示に
より範囲指定された音響データを音響再生する音響デー
タ指示再生手段と、前記表示された認識結果に対して、
前記操作者の指示により、文字の入力、修正、あるいは
認識修正候補を提示しての置き換えを行い、その編集結
果を記憶する文字入力編集記憶手段とを備えたことを特
徴とする情報検索装置。
【請求項３】音響データ時系列表示手段は、無音区間
と判定される部位をそのまま時系列表示せずに一定無音
区間毎の長さを記号に変換して表示し、または音声認識
不可能な音を特定の記号で表示することを特徴とする請
求項２記載の情報検索装置。
【請求項４】音響データ記憶手段は、音響データを周
波数領域に変換して圧縮保存するものであり、前記音響
データ時系列表示手段は、音響データの表示時に周波数
領域データとして表示するものであり、前記音声認識表
示手段は、前記周波数変換された音響データに対して音
声認識するものであり、前記音響データ指示再生手段
は、前記周波数領域のデータを再び時間領域に変換して
再生するものであることを特徴とする請求項２記載の情
報検索装置。
【請求項５】音響データ記憶手段は、複数のマイクに
より複数の話者の音響データを記憶するものであり、前
記音響データ時系列表示手段は、前記複数の話者毎に区
別して音響データを表示することを特徴とする請求項２
記載の情報検索装置。
【請求項６】音響データを周波数領域の時系列データ
に変換した時系列周波数領域情報を記号化圧縮保存する
記号化圧縮記憶手段と、文字を音韻に対応させた文字音
韻対応表に基づき、操作者が指定した検索文字から音韻
を得て音韻を時系列周波数領域情報の検索記号列に変換
する検索記号列作成手段と、その検索記号列と前記記号
化圧縮記憶手段に記録された記号列との近似マッチング
を行う記号列近似マッチング手段と、その記号列近似マ
ッチング手段により読みだされた音響データを表示する
音響データ表示手段と、その表示された音響データの音
声部分を音声認識し、その認識結果を前記表示された音
響データに対応した位置に表示する音声認識表示手段
と、前記操作者の指示により範囲指定された音響データ
を音響再生する音響データ指示再生手段と、前記音声認
識結果を修正する文字修正手段とを備え、前記文字修正
手段によって修正された文字の音韻を前記文字音韻対応
表に順次反映させることを特徴とする情報検索装置。
【請求項７】音響データを周波数領域に変換して記憶
する音響データ記憶手段と、前記音響データを記憶する
際に、入力された短時系列データ毎に周波数領域の互い
の類似性を調べて各類似データ毎にデータ配列を作り、
前記各類似データの中心値と音響データの変動値により
類似データ配列番号に対応させて記録する類似データ配
列番号記録手段と、前記記憶された音響データを操作者
の指示に応じて、時系列対応して前記類似データ毎に表
示選択すると共に、前記類似データ配列番号で全数検索
を行い表示する音響データ表示検索手段と、前記類似デ
ータ配列番号記録手段で記録されたデータに対して表示
時に音声認識し、音声部分の認識結果を前記表示された
時系列に対応する位置に表示する音声認識表示手段と、
前記操作者の指示により範囲指定された音響データを、
前記類似データの中心値と音響データの変動値から再び
時間領域に変換して音響再生する音響データ指示再生手
段と、文字を入力、又は修正、又は認識修正候補を提示
して置き換え、その結果を記憶する文字入力編集記憶手
段と、その文字入力編集記憶手段により訂正され対応づ
けられた前記類似データ配列番号と音声認識結果の対応
表を更新する対応表更新手段とを備えたことを特徴とす
る情報検索装置。
【請求項８】音響データを記憶する際に音声認識を行
って、画面に音響データと音声認識文字結果とを表示
し、前記認識文字を修正編集する修正編集手段と、前記
修正編集された文字を前記音響データと対応させて記憶
する記憶手段とを備えたことを特徴とする請求項２、
６、又は７記載の情報検索装置。
【請求項９】画像データを記憶する画像データ記憶手
段と、その記憶された画像データを読み出して表示する
画像データ表示検索手段と、その表示された画像データ
のうち文字と判定される対象領域を文字認識し、その認
識結果を文字コード情報で得るとともに認識文字として
前記対象領域の画像データの文字と同等の大きさでその
文字に重ねて表示する文字認識処理表示手段と、操作者
の指示により領域を指定する領域指定手段と、その領域
指定手段で指定された領域の文字を、前記操作者の指示
に応じて修正候補文字で置き換える文字修正手段とを備
えたことを特徴とする情報検索装置。
【請求項１０】文字図形画像データを記憶する文字図
形画像データ記憶手段と、文字図形画像の小部分を索引
として、より大きな部分を検索する図形部品辞書と、前
記文字図形画像データの小部分を索引として図形部品辞
書を引き、得られた文字図形画像の類似性を比較する類
似図形部品辞書検索手段と、前記文字図形画像データの
少なくとも一部を前記類似図形部品辞書データで置き換
えて記述し、又は前記類似図形部品辞書データと前記文
字図形画像データとの差異で表現し、又は表現した結果
を蓄積する図形部品化記述手段と、その図形部品化記述
手段で記述されたデータを再生して原文字図形画像を復
元して表示する表示手段と、必要に応じて前記図形部品
化記述手段において類似度に対応した複数解釈の部品化
記述が考えられる場合には解釈候補を一つ以上提示して
選択を促し、また前記解釈候補提示においては必要に応
じて原文字図形画像との差異データを明示的に表示し、
又は差異データを表示しない候補提示手段と、前記図形
部品、又は前記図形が文字ないし図形としてコード化可
能ならば認識処理結果データとしてコード化データを得
る認識処理手段と、画面上で表示した文字図形画像ない
し前記コード化データの特定部をポインティング指定し
て修正編集を行うポインティング修正編集手段と、原文
字図形画像データ入力時に前記対応した画面の可視化表
示を行う検索手段と、指定文字位置に操作者の意図に応
じて文字入力、又は編集、又は再び記憶し検索する文字
編集記憶検索手段とを備えたことを特徴とする情報検索
装置。