JPH03119587A

JPH03119587A - 音声の蓄積及び検索方法

Info

Publication number: JPH03119587A
Application number: JP1253751A
Authority: JP
Inventors: Takashi Saito; 隆斉藤; Kenichi Hattori; 憲一服部; Minoru Kanzaki; 歓崎　実
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 1989-09-30
Filing date: 1989-09-30
Publication date: 1991-05-21

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（発明の属する技術分野）本発明は文字２図形、自然画、動画等の画像情報と音声
情報を蓄積可能な装置において、音声を蓄積する際、音
声と画像をリンクして蓄積し、表示画像を利用して蓄積
済みの音声を検索する方法に関する。

（従来の技術）従来、音声を蓄積する方法としては、テープレコーダ、
ＶＴＲ等がある。カセノ１−テープ、オープンリール等
を利用するテープレコーダにおける録音動作は、音声を
単純に先頭からシリアルに単純蓄積するものであり、所
望の会話部分等を検索するには、音声を再生させて内容
を確認しながら、所望の箇所を探索する必要がある。

また、画像を伴ったＶＴＲ等においても、やはり録画内
容と録音内容を確認しながら検索する必要があった。従
って、これらの方法では所望の録音部分の検索に多大の
時間を要するとともに、音声の編集等が極めて面倒であ
った。

（発明が解決しようとする課題）このように音声のみ、または画像を伴った音声の蓄積、
そして音声の再生に際して、短時間で簡単に検索する方
法が課題となっていて、現状では適切な方法が見当らな
い。

（発明の目的）本発明は上記従来技術の課題に鑑み、音声の蓄積を表示
画像とリンクさせ、自由な検索編集、音声の蓄積状態を
画像で表現して再生音声の頭出しを容易とし、かつ、一
定時間内の過去の音声からの録音を可能とすることを目
的とする。

（発明の構成）（発明の特徴と従来技術との差異）本発明は上記目的を達成するため、画像情報と音声情報
を蓄積可能な装置において、画像を表示しながら音声を
録音する際、録音開始毎、録音ポーズ毎、前記表示画像
の更新毎に新たな音声ファイルにクリエイトし、一連の
音声を複数の音声ファイルに分割して蓄積管理するとと
もに、検索情報として前記音声ファイル毎に現在表示し
ている画像の文書番号、ページ番号、セグメント番号。

録音の日時２時間等を付与し、音声と画像をリンクして
蓄積し、表示画像を利用して蓄積済みの音声を検索する
ようにしたことを特徴とする。

従来技術とは音声管理単位をセグメント単位とし、この
セグメント単位のランダムアクセスが可能な音声の頭出
し、編集が容易な点が異なる。

（実施例）第１図は、本発明を実施するための装置外観図であって
、１は装置本体、２は情報記憶部、３は記憶媒体、４は
スロット、５は入力表示一体型デバイス、６は電源スィ
ッチ、７はマイクロホン、８はスピーカである。

この装置本体１は、コード化文字及びドツトイメージ（
手書き文字を含む）からなる画像情報を、記憶媒体３に
混成蓄積管理すると共に、それらのデータを検索提示す
る機能を具備したものであり、ポータプルな情報蓄積検
索機器である。

ここで、入力表示一体型デバイス５は、ペンまたは指に
よるタッチ入力および手書き入力が可能なタブレット５
ａと、液晶（Ｌ　ＣＤ）等の平面デイスプレィ５ｂを一
体化したもので、その機能図を第２図に示す。

また、情報記憶部２としては、フロッピーディスクドラ
イブ、光デイスクドライブ、光力−トドライブ、ＩＣカ
ードドライブ、磁気カードドライブ、カセット磁気テー
プドライブ等が適用でき、この情報記憶部２の記憶方式
に応じて、フロッピーディスク、光ディスク、光カード
、ＩＣカード。

磁気カード、カセット−磁気テープ等の記憶媒体３を装
置本体１にスロット４により挿入する。

この光ディスクの場合は、書換え可能または追記可能で
あることが必要で、書換え型としては光磁気ディスク、
相変化型光ディスク等が適している。

なお、第１図では記憶媒体として、フロッピーディスク
、光ディスク等のリムーバブルな記憶媒体３を適用した
例を示しているが、本発明はこれに限るものではなく、
例えば、ハードディスクまたは半導体メモリ等を本体に
内蔵して、スロット４を除去してもよい。

第２図は第１図の装置本体１の内部の構成を示した機能
図であって、ハードブロック（ｎ）の９は音声インタフ
ェース回路（ＩＮＦ）、１１はタブレット５ａに対する
インタフェース回路（ＩＮＦ）、１２は液晶（Ｌ　ＣＤ
）等の平面デイスプレィ５ｂに対するインタフェース回
路（ＩＮＦ）、１３は制御回路で、図に示すようにマイ
クロ・コンピュータ（ＣＰＵ）からなる制御部１３−１
、ＲＯＭ１３−２、ＲＡＭ１３−３、漢字ＲＯＭ　１３
−４、Ｄ　Ｍ　Ａ　Ｃ１３−５、カレンダ１３−６、入
出力（Ｉｌｏ）ドライバ１３−７等から構成されている
。

また、ソフトブロック（Ｉ）（７）１４はＢＩＯ８，１
５はＯ８，１６はマンマシンインタフェース及び検索の
カーネル、１７は各種ＡＰ（アプリケーションプログラ
ム）である。このソフトウェア（プログラム）は制御回
路１３内のＲＯＭ１３−２、または記憶媒体３に格納さ
れており、制御回路１３はソフトウェア１４〜１７の処
理フローに従って動作する。

また、インタフェース（Ｉ　Ｎ　Ｆ）９　、１１．１２
はマイクロホン７、スピーカ８．タブレット５ａ及び液
晶（ＬＣＤ）等の平面デイスプレィ５ｂの各デバイスの
駆動制御と制御回路１３との情報の授受を行なう。

第３図（１）は第１図に示した入力表示一体型デバイス
５への表示画像の一例を示し、画像表示部５−１の」二
部に各種モード表示部５−２、音声インデックス（ＩＤ
Ｘ、）表示スイッチ（ＳＷ）５−３、ファンクションキ
ー５−４、及び表示画像スクロール５−５を、また画像
表示部５−１の下部に音声インデックス（ＩＤＸ）表示
部５−６を夫々入力表示する。

上記画像表示部５−１は画像データを表示するが、ここ
で言う画像データとは、手書き文字、ＣＧ（コンピュー
タグラフィクス）画像、静止画等のドツトイメージ、コ
ート化された文字であり、それらの重畳を含む。

第３図（２）は上記音声よりＸ表示部５−６の拡大図を
示し、ここには音声タイトル５−６ａ　、時間５−６ｂ
、日時５−６ｃ及び音声タイトルスクロールまはた音声
早送り早戻り５−６ｄが表示され、その拡大図を第３図
（３）に示し、ここには音声操作キーの状態遷移、つま
り初期、録音時、再生時の各メニューがインデックス表
示される。

まず、音声ＩＤＸ表示５Ｗ５−３をオンとすると、音声
ＩＤＸ表示部５−６に音声インデックスが表示され、画
像表示部５−１に表示された画像と関連する音声データ
のタイトル等５−６ａ〜５−６ｄが提示されるとともに
、音声入出力タスクが起動されて、音声の入出力動作が
可能な状態となる。

ここで、音声タイトル５−６８が多数存在する場合は、
表示画像スクロール５−５により関連する音声データの
蓄積状況を一覧できる。音声操作キー部（第３図（３）
）をポイン１〜タツチすると、音声操作キーの状態が遷
移し、録音または再生用の操作キーに表示が更新される
。ここで、この音声タイトル５〜６８は、現在表示中の
画像に関連した音声データの見出しであり、表示画像を
更新するとそれに伴って、音声タイトルも更新される。

また、音声の録音再生の単位は、内容的に区切れのよい
セグメントを単位とする。このセグメン１−は、操作者
が録音時に音声を聞きながら内容を判断して区切る、録
音を一時中断する（ポーズ）、表示画像を更新する等の
操作によりセグメント化さ九る。

また、連続して長時間録音し、長時間の録音データを、
後から複数のセグメントに分割して再蓄８− 積してもよい。この音声データをセグメント化する手段
としては、音声データの無音時間を利用して自動的に文
節単位程度のセグメントに区切る方法もあるが、これで
はセグメントの単位として小さすぎ内容が完結しにくく
、しかも精度のよい無音検出手段が必要であり、装置が
大型で複雑になる。そこで、本発明では、操作者が録音
しようとする音声の内容を判断して、録音動作のスター
１−／スＩ〜ツブキー、ポーズキー（図略）を押下する
毎、または表示している画像のページを更新する毎に、
自動的にセグメント化される。また、録音を中断させな
いでセグメント化する手段として、マニュアルのセグメ
ント化キーも具備している。

なお、音声セグメントのタイトルの付与はタブレット５
ａを利用して、録音中または録音前後に付与するが、属
性として録音時間、録音日時等が自動付与され、これら
の属性を利用して検索することも可能で、タイトルなし
でも所望の音声データの検索が可能である。

また、第３図（１）の音声ＩＤＸ表示部５−６の時間５
−６ｂにパーチャートにより録音時間を表示しているが
、このパーチャートの中間点をポイントタッチすること
により、その音声セグメントの途中からの音声再生を可
能とするような、指示方法も実現可能である。

第４図は第２図に示した音声インタフェース回路９の構
成例を示した図で、９−１はＡＧＣ付きアンプ（ＡＭＰ
）、９−２はＡ／Ｄコンバータ（ＡＤＣ）、９−３は符
号器（ＣＯＤ）、９−４はシストレジスタ等による遅延
メモリ、９−５は遅延時間選択スイッチ、９−６はバッ
ファメモリ、９−７は復号器（ＤＥＣ）、９−８はＤ／
Ａコンバータ（ＤＡＣ）、９−９はアンプ（ＡＭＰ）、
９−１０は外部入力端子である。

マイクロホン７からの音声データはアンプ９−１で増幅
され、Ａ／Ｄコンバータ９−２、符号器９−３でディジ
タル信号に変換される。音声データのソースとしては、
マイクロホン７以外に他のＡＶ機器からの音声を、外部
入力端子９−１０を介して入力することも可能である。

このディジタル信号は音声遅延メモリ９−４に入力し、
制御回路１３で遅延時間選択スイッチ９−５が動作し、
所定の遅延処理を施され、バッファメモリ９−６および
制御回路１３を介して情報記憶部２に入力する。ここで
、遅延時間としては、ｔｏｙ　ｔ□。

ｔｚ（ｔｏ＜ｔｔ＜ｔｚ）の各時間が設定されており、
遅延時間選択スイッチ９−５で選択される。このスイッ
チ９−５は制御回路１３により制御される。

この遅延メモリ９−４への音声入力は常時実行されてお
り、録音開始時、この遅延メモリ９−４内のデータから
情報記憶部２ヘデータを転送することで、過去にさかの
ぼった音声蓄積（過去録モード）となる。

この遅延時間は遅延メモリ９−４の容量が許す範囲で自
由に設定できるが、例えば、１．を１秒程度以下の操作
者の録音開始操作時間相当、ｔ□を数秒程度の有音を確
認して録音開始を判断する時間相当、ｔ２を数十秒以上
の録音か否かを内容的に判断するのに要する時間相当と
すればよい。例えば、新規に録音開始する際は、音声の
内容が不明なのでｔ２とし、−旦ポーズしポーズ後録音
再開する際は、次の音声の内容がある程度予想できるの
で、有音確認さえできればよいのでｔ。またはｔ□とす
ればよい。これにより、音声情報のぬけがなく、しかも
無駄な無音期間の少ない効率的な録音操作が可能となる
。

情報記憶部２に蓄積されている音声データを再生するに
は、情報記憶部２からの音声データを一旦バッファメモ
リ９−６で速度整合して、復号器９−７で復号化、Ｄ／
Ａコンバータ９−８でＤ／Ａ変換、アンプ９−９で増幅
し、スピーカ８で音声に再生する。

第５図は本発明の音声処理フローの例を示した図である
。電源スィッチ６をオンすると、ジョブ選択ルーチン（
ジョブとしては、データ編集、外部機器とのデータ授受
等）に入るが１本フローはその内の画像表示のフローを
示している。

メニュー検索、ブラウジング、ばらばらめくり。

キーワード検索等の従来の画像検索手段により、所望の
画像を選択するとそのデータを記憶媒体３よりロードし
、その内容をＬＣＤ５ｂに表示する１１２（Ｓ□）。

そして、音声管理テーブルをロードした後（Ｓ２）、音
声ＩＤＸ表示部５−６に音声ＩＤＸ表示がなされる（Ｓ
３）。ここで操作者が音声データの録音または再生を望
む場合は、音声ＩＤＸ表示５Ｗ５−３をオンすることに
よって、このフロー例では音声入出力タスクが起動され
る（Ｓ４）、　（ｓｓ）。また、タブレット５ａへの手
書き入出力タスクが起動される（Ｓ、）、（Ｓ７）。こ
のように本例では音声処理（Ｓ４）と手書き処理（ＳＧ
）は並行処理可能なマルチタスク処理のフローとなって
いる。

例えば本装置を会議の支援に用いる場合、本装置に予め
会議資料を画像データとして蓄積しておき、その資料を
参照しながら、打ち合せ模様を音声データとして録音す
ると共に、手書きメモを表示画像上に追記すれば、議事
録等の作成が容易となる・なお、ページ変更について必要なら（Ｓ８のＹＥＳ）、
表示ページ更新を行ない（Ｓ９）、音声ＩＤＸ表示（Ｓ
３）に戻し、表示ページの音声セグメント−覧の表示／
更新を行なう（ＳＱ。）。また、文書変更が必要なら（
Ｓ□□のＹＥＳ）スタートに戻される。

第６図は第５図でのべた音声入出力タスクのフロー例を
示す。音声処理が録音の場合（ＳｌのＹＥＳ）、まず音
声セグメント（Ｓ　Ｅ　Ｇ）の存在を判断しくＳ２）、
これから録音する音声データのセグメント番号ｎを付与
する。現在表示中のページに音声データが既に蓄積され
ている場合は、ｎ＝ｉ積済みの最終セグメント番号＋１
を付与しくＳ３）、音声データが蓄積されていない時は
ｎ＝１とする（Ｓ４）。その後、音声データ（セグメン
ト）の情報記憶部２内の格納先となる音声ファイルを新
規にクリエイトしてから録音開始する（ｓｓＬ　（Ｓ６
）。

（Ｓ７）。ここで、音声セグメントの管理を容易とする
ために、１音声セグメントを１音声フアイルに対応付け
ている。

次に、過去録をするか否かにより、第４図における遅延
時間ｔをセットする。すなわち、過去録モードの時（Ｓ
６）は１＝１１または１＝１２とし、過去録モードでな
い時（Ｓ７）は１＝１ｎとして、順次情報記憶部２に入
力する。音声データはポーズ。

セグメント化指示２表示ページ更新、録音終了のいずれ
かが実行される毎にセグメント化され（ＳＩｌ）、セグ
メント化される毎に、音声セグメントＳＥＧ　ｎ　（ｎ
は表示ページ毎のシリアルナンバー）として順次音声管
理テーブルに登録される（Ｓ９）。

なお、音声セグメントには、録音日時、録音時間等の属
性が自動付与されるが、見出しのタイトル、メモ、検索
用のキーワード等は、音声セグメン１〜を登録する際ま
たは登録後に、タブレット５ａから入力できる。

音声再生の場合（ＳｌのＮＯ）は、第３図に示した音声
ＩＤＸ表示部５−６に提示されている音声セグメント−
覧から、操作者が必要な音声セグメントを選択して（所
望のタイトルをポイントタッチ（Ｓ工。））、所望の音
声セグメントを選択する毎に情報記憶部２よりテークを
ロードし、順次音声を再生する（Ｓ、□）。また、複数
または全部の音声セグメントを一括して選択し、これら
を連続して再生及びリピートすることも可能である。

第７図は本発明における文書管理方法の例である。文書
ｄは複数のページから構成され、各ページｐはテキスト
ファイルＴＦ、イメージファイルＩＦ、音声ファイルＶ
Ｆから構成される。

ここで、音声データは１セグメン１−が１フアイルであ
り、各ページ当りセグメントの数だけ音声ファイルが存
在する。この例ではファイル例として、文書名ｄとペー
ジｐさらに音声の場合はセグメント番号（ＳＥＧＩ、５
ＥＧ２・・・）をファイル名としており、ファイル名で
各メデイア間の関連が解る構成となっている。なお、同
図においては、ファイルのメディア識別の例として、Ｔ
ＸＴ（テキスト）、ＩＭＧ（イメージ）、ＡＤＯ（音声
）をファイル名に付加している。

第８図はデータ検索動作の説明図である。操作者Ａが検
索要求ａを出すと、データ検索機構Ｂは記憶媒体３のフ
ァイル管理テーブル３ａの中から、文書タイトル（大見
出し、中見出し、小見出し）等すを順に検索して操作者
に提示する。操作者Ａは提示されるタイトル、蓄積日時
等の属性を基に必５６要とするファイルを指定するＣ。データ検索機構Ｂはこ
れを基に該当するファイルを検索し、内容（コンテント
）ｅを提示する。

第９図は記憶媒体３の音声ファイルの管理テーブル３ａ
の例である。このテーブルは第８図におけるファイル管
理テーブル３ａ内に存在し、文書名２項（ページ）、セ
グメント番号（Ｓ　Ｅ　Ｇ）等を指定することにより、
該当するタイトル、ファイルＩＤ等を出力する。すなわ
ち、ある文書の特定のページを現在表示している状態か
ら、音声処理を起動すると、表示中の文書名、ページの
情報から該当する音声ファイルのタイトルを提示する。

また、そのタイトルの中から特定のタイトルを操作者が
指定すると、音声データが蓄積されているファイルのＩ
Ｄを出力し、そのファイルＩＤに対応する実際の音声フ
ァイルの内容を音声インタフェース回路９に転送して、
所望の音声が再生される。

このような構成になっているから、音声データを画像情
報とリンクして蓄積でき、視覚を利用した音声データの
検索が可能となる。また、音声をセグメント単位に蓄積
するので、所望の音声データを即時に検索し再生できる
。その効果としては、現在表示中の画像情報に関連した
所定の音声データを即時に提示でき、従来の技術に比べ
て、音声データのランダムアクセスが可能なこと、検索
手段が豊富であること等、検索速度、検索の的中率の改
善がはかられた。

（発明の効果）以上説明したように、本発明は音声データを画像情報と
リンクしてセグメント単位に蓄積するので、表示中の画
像情報に関連した音声データを即時に再生／録音でき、
また検索速度、検索の的中率が向上し、しかも検索手段
が豊富なため、この種の音声蓄積装置における、音声デ
ータの整理。

編集が容易となり、利便性が大幅に向上する利点がある
。

【図面の簡単な説明】

第１図は本発明を実施するための装置本体１の外観図、
第２図は第」−図の装置本体１の内部の構成を示した機
能図、第３図は入力表示一体型デバイス５への表示画像
の一例を示す図、第４図は第２図の音声インタフェース
回路９の構成例を示した図、第５図は本発明の音声処理
フローの例を示した図、第６図は第５図の音声入出力タ
スクのフロー例を示した図、第７図は本発明における文
書管理方法の例を示した図、第８図はデータ検索動作の
説明図、第９図は音声ファイルの管理テーブル例である
。１　・・・装置本体、　２・・・情報記憶部、３・・・
記憶媒体、４　・・・スロット、　５・・・入力表示一
体型デバイス、　６　・・・電源スィッチ、　７　・・
・マイクロホン、　８・・・スピーカ、　９　・・・音
声インタフェース回路、　９−１・・・ＡＧＣ付アンプ
、９−２・・・Ａ／Ｄコンバータ、　９−３・・・符号
器、　９−４・・・シフトレジスタ等による遅延メモリ
、　９−５・・・遅延時間選択スイッチ、　９−６・・
・バッファメモリ、　９−７・・・復号器、　９−８・
・・Ｄ／Ａコンバータ、９−９・・・アンプ、　９−１
０・・・外部入力端子、１１・・・タブレットインタフ
ェース回路、１２・・・ＬＣＤインタフェース回路、１
３・・・制御回路、１４・・・ＢＩＯ８，１５・・・Ｏ
８，１６・・・マンマシンインタフェース及び検索のカ
ーネル、１７・・・各種ＡＰ（アプリケーションプログ
ラム）。

Claims

【特許請求の範囲】

画像情報と音声情報を蓄積可能な装置において、画像を
表示しながら音声を録音する際、録音開始毎、録音ポー
ズ毎、前記表示画像の更新毎に新たな音声ファイルにク
リエイトし、一連の音声を複数の音声ファイルに分割し
て蓄積管理するとともに、検索情報として前記音声ファ
イル毎に現在表示している画像の文書番号、ページ番号
、セグメント番号、録音の日時、時間等を付与し、音声
と画像をリンクして蓄積し、表示画像を利用して蓄積済
みの音声を検索するようにしたことを特徴とする音声の
蓄積及び検索方法。