JP3460964B2 - Speech reading method and recording medium in multimedia information browsing system - Google Patents
Speech reading method and recording medium in multimedia information browsing systemInfo
- Publication number
- JP3460964B2 JP3460964B2 JP03311299A JP3311299A JP3460964B2 JP 3460964 B2 JP3460964 B2 JP 3460964B2 JP 03311299 A JP03311299 A JP 03311299A JP 3311299 A JP3311299 A JP 3311299A JP 3460964 B2 JP3460964 B2 JP 3460964B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- importance
- voice
- correspondence table
- book
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、マルチメディア情
報を閲覧し、音声読み上げするマルチメディア情報閲覧
システムにおける音声読み上げ方法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a voice reading method in a multimedia information browsing system for browsing multimedia information and reading the voice.
【0002】[0002]
【従来の技術】従来の音声読み上げ装置において、シス
テム利用者は、マルチメディア情報をブラウザで表示さ
せ、この表示されているマルチメディア情報の中から、
音声で読み上げすることを利用者が望む情報を選択し、
この選択された情報を音声合成装置で読み上げている。2. Description of the Related Art In a conventional voice-to-speech system, a system user causes a browser to display multimedia information, and from among the displayed multimedia information,
Select the information the user wants to read aloud,
The selected information is read aloud by the voice synthesizer.
【0003】[0003]
【発明が解決しようとする課題】従来のマルチメディア
情報閲覧システムにおいて、利用者が望むマルチメディ
ア情報を画面に表示し、利用者の希望に応じて画面上の
情報を音声で読み上げる場合、画面上に表示されている
文章を表示通りに音声で読み上げることが基本である。In the conventional multimedia information browsing system, when the multimedia information desired by the user is displayed on the screen and the information on the screen is read aloud according to the user's request, It is basically to read out the text displayed in the text as it is displayed.
【0004】このような従来のシステムにおいて、画面
上に表示されている情報を音声で読み上げる場合、通常
は、表示されている文章を利用者が目で追う速度が、音
声の再生速度よりも速いので、利用者による情報への注
目点がずれる。この場合、利用者による情報への注目点
を一致させるには、音声の速度に合わせて、利用者が目
線を動かすようにして対応するか、または、音声の再生
位置をその都度変更するようにして対応する必要があ
る。In such a conventional system, when the information displayed on the screen is read aloud, the speed at which the user follows the displayed text with his or her eyes is usually faster than the speed at which the sound is reproduced. Therefore, the user's attention to the information deviates. In this case, in order to match the user's attention point to the information, the user may move his or her eyes to match the speed of the voice, or the playback position of the voice may be changed each time. Need to be dealt with.
【0005】つまり、上記従来例において、画面上に表
示されている情報を音声で読み上げるようにした場合、
画面上の文章を利用者が目で追う速度と音声の再生速度
とが異なることによって利用者による情報への注目点が
ずれ、この注目点のずれに対する対応が煩雑であるとい
う問題がある。That is, in the above-mentioned conventional example, when the information displayed on the screen is read aloud,
There is a problem that the user's eye-tracking speed differs from the voice reproduction speed due to the difference between the speed at which the user visually follows the text on the screen, and the user's attention point to the information deviates.
【0006】また、画面上に表示されている情報を利用
者がざっと流し読みすることができるが、上記流し読み
と同様の速度で、再生された音声を理解できるようにす
るためには、音声再生速度を速め、早回しの音声で再生
するか、または、文章や段落の先頭部のみを読み上げる
必要がある。つまり、上記従来例は、読み上げシステム
の操作上の利便性とシステムの活用性を阻害するという
問題がある。[0006] Further, the user can roughly scan the information displayed on the screen, but in order to understand the reproduced voice at the same speed as the above-mentioned non-scanning, the voice must be read. It is necessary to speed up the playback speed and play back in fast-moving sound, or read only the beginning of a sentence or paragraph. That is, the above-mentioned conventional example has a problem that the convenience of operation of the reading system and the utilization of the system are impaired.
【0007】本発明は、音声の再生速度について利用者
が意識せずに、表示されている情報と同じように再生音
声情報を流し読みすることができるマルチメディア情報
閲覧システムにおける音声読み上げ方法を提供すること
を目的とするものである。The present invention provides a voice reading method in a multimedia information browsing system which allows a user to read and read the reproduced voice information in the same manner as the displayed information without paying attention to the voice reproduction speed. The purpose is to do.
【0008】[0008]
【課題を解決するための手段】本発明は、本型マルチメ
ディア情報を閲覧するシステムにおける音声読み上げ方
法において、上記本型マルチメディア情報について、テ
キスト情報と重要度とが対応している対応表を作成する
対応表作成段階と、利用者による本のページめくり速度
を設定する速度設定段階と、現在の表示ページ番号に該
当する位置情報に基づいて、読み上げポインタを設定す
る読み上げポインタ設定段階と、上記読み上げポインタ
が示す情報に応じた重要度を、上記対応表から得る重要
度獲得段階と、上記対応表から得られた重要度が、上記
ページをめくる速度に対応する重要度よりも高ければ、
上記読み上げポインタが示す情報を音声合成することに
よって、表示と連動して音声読み上げする音声再生段階
を有することを特徴とするマルチメディア情報閲覧シス
テムにおける音声読み上げ方法。 SUMMARY OF THE INVENTION The present invention is based on this type of multimedia.
How to read aloud in a system for browsing media information
In the law, regarding the above-mentioned book type multimedia information,
Create a correspondence table in which text information and importance levels correspond
Correspondence table creation stage and page turning speed of books by users
Set the speed setting step and the current display page number
Set the reading pointer based on the relevant position information.
Reading pointer setting step and the above reading pointer
The importance according to the information indicated by is obtained from the above correspondence table
The degree of importance and the importance obtained from the above correspondence table are
If it is higher than the importance corresponding to the speed of turning pages,
To synthesize the information indicated by the reading pointer
Therefore, the voice reproduction stage that reads out the voice in conjunction with the display
A multimedia information browsing system characterized by having
How to read aloud in Tem.
【0009】[0009]
【発明の実施の形態および実施例】図1は、本発明の第
1の実施例であるマルチメディア情報閲覧システムにお
ける音声読み上げ装置100を示すブロック図である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 is a block diagram showing a voice reading device 100 in a multimedia information browsing system according to a first embodiment of the present invention.
【0010】マルチメディア情報閲覧システムにおける
音声読み上げ装置100は、本やカード等をコンピュー
タディスプレイ上で仮想的に表示し、この表示されてい
る情報を音声で表現するシステムに対して有効な装置で
ある。以下では、物理的な本をコンピュータディスプレ
イに仮想的に表示し、ディスプレイ上に表示されている
情報を音声で読み上げる場合について説明する。The voice reading device 100 in the multimedia information browsing system is a device effective for a system which virtually displays a book, a card or the like on a computer display and expresses the displayed information by voice. In the following, a case will be described in which a physical book is virtually displayed on a computer display and the information displayed on the display is read aloud.
【0011】音声読み上げ装置100は、ディスプレイ
1と、画面情報制御部2と、入力部3と、本型情報格納
データベース4と、情報要約処理部5と、本型情報要約
データベース6と、情報選択部7と、本めくり速度−重
要度対応表8と、スピーカ9と、音声合成装置10とを
有する。The voice reading device 100 includes a display 1, a screen information control unit 2, an input unit 3, a model information storage database 4, an information summary processing unit 5, a model information summary database 6, and information selection. It has a section 7, a main turning speed-importance degree correspondence table 8, a speaker 9, and a voice synthesizer 10.
【0012】ディスプレイ1は、利用者が情報の閲覧、
選択を行うために、システム中に格納されている本型の
情報を表示するディスプレイであり、画面情報制御部2
は、本型の情報をディスプレイ1に表示させたり、利用
者からの要求に応じて行う音声読み上げの制御をするも
のであり、入力部3は、画面情報制御部2に対して音声
読み上げを行うために利用者から入力を受け取るもので
ある。The display 1 allows the user to browse information,
The screen information control unit 2 is a display for displaying book-type information stored in the system for selection.
Is for displaying this type of information on the display 1 and for controlling the voice reading to be performed in response to a request from the user. The input unit 3 performs voice reading to the screen information control unit 2. In order to receive the input from the user.
【0013】本型情報格納データベース4は、本形式の
情報をディスプレイ1に表示するコンテンツを格納する
データベースであり、情報要約処理部5は、本型情報を
構成する各情報から、それぞれの重要度を抽出する情報
処理部であり、本型情報要約データベース6は、本型情
報を構成する各情報と、それら各情報に対応する重要度
との関係を格納するデータベースである。The main model information storage database 4 is a database that stores contents for displaying information in the main format on the display 1, and the information summarization processing section 5 determines the degree of importance of each piece of information that constitutes the main model information. The main model information summary database 6 is a database that stores the relationship between each piece of information that forms the main model information and the degree of importance corresponding to each piece of information.
【0014】情報選択部7は、利用者が閲覧中の本のペ
ージをめくる速度に対応する重要度以上の情報だけを、
本型情報要約データベース6から抽出する選択部であ
り、本めくり速度−重要度対応表8は、本のページをめ
くる速度と、その本のページをめくる速度で読み上げら
れるべき要約を取り出すための重要度とが対応されてい
る対応表であり、音声合成装置10は、スピーカ9から
音声を再生する音声合成装置である。The information selecting section 7 only displays information of importance or higher, which corresponds to the speed of turning pages of the book being browsed by the user.
The book-turning speed-importance degree correspondence table 8 which is a selection unit extracted from the book-type information summary database 6 is important for extracting a summary to be read aloud at the speed of turning the pages of the book and the speed of turning the pages of the book. Is a correspondence table in which degrees are associated with each other, and the voice synthesizer 10 is a voice synthesizer that reproduces voice from the speaker 9.
【0015】次に、上記実施例の動作について説明す
る。Next, the operation of the above embodiment will be described.
【0016】図2は、音声読み上げ装置100の動作を
示すフローチャートである。FIG. 2 is a flowchart showing the operation of the voice reading device 100.
【0017】図2に示すフローチャートにおいて、ま
ず、入力部3を介して利用者から入力された要求を判別
し(S1)、画面上に情報を表示する場合、画面情報制
御部2が入力コマンドの種別を判定し(S2)、本型情
報格納データベース4に格納されている本型情報をディ
スプレイ1に表示する(S3)。In the flowchart shown in FIG. 2, first, when a request input by the user through the input unit 3 is discriminated (S1) and information is displayed on the screen, the screen information control unit 2 outputs the input command. The type is determined (S2), and the main mold information stored in the main mold information storage database 4 is displayed on the display 1 (S3).
【0018】ディスプレイ1に物理的な本を仮想的に表
現する場合、たとえば、1ページ進めるかまたは1ペー
ジ戻すことによって、複数の仮想的な本の中から、所望
の本を選択する。このように物理的な本を仮想的にディ
スプレイ1に表示し、利用する方法としては、たとえば
特開平6−574396号公報に記載されている書籍情
報の検索・表示方法や、特開平7−78168号公報に
記載されている情報検索処理装置および方法に開示され
ている本型の情報の表示が知られている。When a physical book is virtually represented on the display 1, for example, a desired book is selected from a plurality of virtual books by advancing by one page or returning by one page. As a method of virtually displaying and utilizing a physical book on the display 1 as described above, for example, a book information search / display method described in JP-A-6-574396 or JP-A-7-78168. The display of information of this type disclosed in the information retrieval processing device and method disclosed in the publication is known.
【0019】次に、情報要約処理部5は、本形式の情報
中の選択された仮想的なページに含まれる様々な情報に
ついて、本型情報格納データベース4に基づいて、それ
ぞれの重要度を抽出する(S4)。Next, the information summarization processing unit 5 extracts the importance of each of various information contained in the selected virtual page in the information of this format, based on the model information storage database 4. Yes (S4).
【0020】図3は、上記実施例に使用することができ
る本型情報の一例を示す図である。FIG. 3 is a diagram showing an example of main form information that can be used in the above embodiment.
【0021】図4は、上記実施例において、図3示す本
型情報のうちの所定の情報と、その所定の情報の重要度
とが対応している対応表の一例を示す図である。FIG. 4 is a diagram showing an example of a correspondence table in which the predetermined information of the main type information shown in FIG. 3 and the degree of importance of the predetermined information correspond to each other in the above embodiment.
【0022】所定情報の重要度を抽出する場合、本型情
報の構造中の章タイトル文、節タイトル文等の見出しの
文章や、本型情報に予め付与されている重要度情報に応
じて、上記所定情報の重要度を抽出し、この抽出された
重要度を、図4に示す対応表に盛り込む。When extracting the importance of the predetermined information, according to the sentence of the heading such as the chapter title sentence and the section title sentence in the structure of the main type information, or the importance information previously given to the main type information, The importance of the predetermined information is extracted, and the extracted importance is included in the correspondence table shown in FIG.
【0023】図4に示す対応表において、その右に、所
定の情報が記載され、その左に、その情報の重要度を示
す数値が記載され、本型情報の先頭から順に作成した結
果を対応表の上から順に格納したものである。In the correspondence table shown in FIG. 4, predetermined information is described on the right side thereof, and a numerical value indicating the degree of importance of the information is described on the left side thereof. Corresponding results created in order from the head of the model information. It is stored in order from the top of the table.
【0024】たとえば、図3において最も大きく記載さ
れている見出し「音声認識技術」は、最も重要性が高い
と考え、重要度5が付与され、対応表に格納され、次に
少し大きめに記載されている見出し「音声認識って何
?」は、2番目に重要性が高いと考え、重要度4が付与
され、対応表に格納され、その次に小さく記載されてい
る見出し「音声認識技術」は、3番目に重要性が高いと
考え、重要度3が付与され、対応表に格納され、普通の
文章である「とは、いわば」は、重要性が最も低いと考
え、重要度1が付与され、対応表に格納され、強調対応
表現され(「 」が付され)ている「コンピュータの耳」
は、重要度3が付与され、対応表に格納されている。For example, the headline "Voice recognition technology", which is described most largely in FIG. 3, is considered to have the highest importance, is given an importance of 5, is stored in the correspondence table, and is then described in a slightly larger size. The heading "Voice recognition?", Which is thought to be the second most important, is given an importance level of 4, is stored in the correspondence table, and the heading "Voice recognition technology" is listed next. Is considered to be the third most important, is given an importance degree of 3, and is stored in the correspondence table. The ordinary sentence "towa, so to speak" is considered to have the lowest importance, and the importance degree of 1 is given. "Computer ears" that have been assigned, stored in the correspondence table, and expressed as highlighted correspondences (with "")
Is assigned importance 3 and stored in the correspondence table.
【0025】次に、ステップS4で得られたそれぞれの
情報とその重要度とが対応している対応表を、本型情報
要約データベース6に格納する(S5)。Next, the correspondence table in which the respective information obtained in step S4 and the degree of importance thereof correspond to each other is stored in the main model information summary database 6 (S5).
【0026】そして、ディスプレイ1に仮想的に表示さ
れている本のページを利用者がめくっている速度を、入
力部3が取得する(S6)。たとえば、1秒間にめくっ
たページ数を、ページめくりの速度と考えるようにして
もよい。この実施例では、1秒間にめくったページ数
を、ページめくりの速度と考える。Then, the input unit 3 acquires the speed at which the user is flipping through the pages of the book virtually displayed on the display 1 (S6). For example, the number of pages turned over in one second may be considered as the page turning speed. In this embodiment, the number of pages turned over in one second is considered as the page turning speed.
【0027】図5は、上記実施例において、本をめくる
速度と、そのときに読み上げられるべき情報の重要度と
が対応している対応表の例を示す図である。FIG. 5 is a diagram showing an example of a correspondence table in which the speed of turning a book and the importance of information to be read at that time are associated with each other in the above embodiment.
【0028】本めくり速度−重要度対応表8は、本をめ
くる速度と、そのときに読み上げられるべき情報の重要
度とが対応している対応表である。上記実施例では、図
5に示す対応表において、1秒間に3ページめくってい
るときには、重要度が3以上である情報を読み上げ、1
秒間に4ページめくっているときには、重要度が4以上
である情報を読み上げ、1秒間に5ページ以上めくって
いるときには、重要度が5以上である情報を読み上げ
る。The book-turning speed-importance degree correspondence table 8 is a correspondence table in which the book-turning speed and the degree of importance of information to be read at that time correspond to each other. In the above-mentioned embodiment, in the correspondence table shown in FIG. 5, when three pages are turned over in one second, the information having the importance level of 3 or more is read aloud.
When turning over four pages per second, the information having the degree of importance of 4 or more is read out, and when turning over five pages or more per second, the information having the degree of importance of 5 or more is read out.
【0029】また、このときに、本のどの部分を表示さ
せているかの情報も取得する。たとえば、本のページ番
号、章・節番号、本の行数等の情報を、本の表示部分の
情報として採用するようにしてもよい。上記実施例で
は、ページ番号を、本の表示部分の情報として採用す
る。At this time, information about which part of the book is displayed is also acquired. For example, information such as a page number of a book, a chapter / section number, and the number of lines of the book may be adopted as the information of the display portion of the book. In the above embodiment, the page number is adopted as the information of the display portion of the book.
【0030】そして、本のどの部分を表示させているか
を示す情報を、情報選択部7が入力部3から取得し、本
型情報要約データベース6を参照し、現在表示している
本のページ番号に該当する位置情報を探し出し、その位
置情報を、読み上げポインタとして、データベースに設
定する(S7)。Then, the information selecting section 7 obtains information indicating which part of the book is displayed from the input section 3, refers to the book-type information summary database 6, and refers to the page number of the book currently displayed. The position information corresponding to is searched out, and the position information is set in the database as a reading pointer (S7).
【0031】次に、情報選択部7は、本をめくる速度を
入力部3から受け取り、本のぺーじをめくる速度と、そ
のページめくり速度に応じた情報の重要度とが対応して
いる本めくり速度−重要度対応表8を参照し、本をめく
る速度に基づいて、情報の重要度の数値を得る(S
8)。Next, the information selection unit 7 receives the book-turning speed from the input unit 3, and the book-turning speed in which the page-turning speed of the book and the importance of the information corresponding to the page-turning speed correspond to each other. With reference to the speed-importance correspondence table 8, the numerical value of the importance of information is obtained based on the speed of turning the book (S
8).
【0032】そして、情報選択部7は、本型情報要約デ
ータベース6を参照し、上記設定された読み上げポイン
タが示す情報に応じた情報の重要度を得る((S9)。
この得られた情報の重要度の数値と、本のページめくり
速度から得られた重要度の数値とを比較し(S10)、
読み上げポインタが示す情報の重要度の数値が、読み上
げ速度に応じた重要度の数値以上であれば、情報を音声
合成装置33に送り(S11)、読み上げポインタを進
め(S12)、情報選択部7で抽出された情報を音声合
成装置10が音声に変換し、スピーカ9で再生する(S
13)。Then, the information selection unit 7 refers to the model-type information summary database 6 to obtain the degree of importance of the information according to the information indicated by the above-mentioned reading pointer ((S9)).
The value of the degree of importance of the obtained information is compared with the value of the degree of importance obtained from the page turning speed of the book (S10),
If the numerical value of the importance of the information indicated by the reading pointer is equal to or higher than the numerical value of the importance corresponding to the reading speed, the information is sent to the speech synthesizer 33 (S11), the reading pointer is advanced (S12), and the information selecting unit 7 is selected. The voice synthesizing device 10 converts the information extracted in S to voice and reproduces it in the speaker 9 (S).
13).
【0033】その後は、再びステップS6に戻り、入力
部3から読み上げ中止の指示があるまで、または、本型
情報の最後尾まで、上記動作(S6〜S13)を続け
る。読み上げポインタが示す情報の重要度の数値が、読
み上げ速度から得られた重要度の数値未満であれば、情
報を音声合成装置33に送らずに、読み上げポインタを
進める(S12)。After that, the process returns to step S6 again, and the above-described operations (S6 to S13) are continued until there is an instruction to stop reading aloud from the input unit 3 or until the end of this type information. If the value of the importance of the information indicated by the reading pointer is less than the value of the importance obtained from the reading speed, the reading pointer is advanced without sending the information to the speech synthesizer 33 (S12).
【0034】つまり、基本的には、本のページめくり速
度がある程度速ければ、ポインタが示す情報を読み上げ
ない。ただし、本のページめくり速度がある程度速くて
も、ポインタが示す情報の重要度がある程度高ければ、
その情報を読み上げる。That is, basically, if the page turning speed of the book is high to some extent, the information indicated by the pointer is not read out. However, even if the page turning speed of the book is somewhat fast, if the importance of the information indicated by the pointer is high to some extent,
Read the information aloud.
【0035】図6は、図3に示す本型情報について、本
のページをめくる速度と、読み上げるべき要約の内容と
の関係の例を示す図である。FIG. 6 is a diagram showing an example of the relationship between the page-turning speed of the book and the contents of the summary to be read, for the book-type information shown in FIG.
【0036】図6に示す例おいて、本をめくる速度を5
に設定した場合、「音声認識技術」のみが、その要約と
して音声再生されるが、本をめくる速度を3に設定した
場合、「音声認識技術 音声認識って何? 音声認識技
術 コンピュータの耳………… 」のように多くの文章
が、その要約として音声再生される。つまり、本をめく
る速度が速い程、音声合成される文章が短く、本をめく
る速度が遅い程、多くの文章が音声合成される。In the example shown in FIG. 6, the book-turning speed is set to 5
When set to, only "Voice recognition technology" is played as a summary, but when the book-turning speed is set to 3, "Voice recognition technology What is voice recognition? A lot of sentences such as "..." are reproduced as a summary. In other words, the faster the book-turning speed, the shorter the sentence to be voice-synthesized, and the slower the book-turning speed, the more the speech is synthesized.
【0037】すなわち、上記実施例において、マルチメ
ディア情報に含まれる個々の情報のそれぞれが固有の重
要度を有し、各重要度に応じた重み付け情報が、各情報
に付加され、この付与された重み付け情報に応じて、音
声合成する文章の長さが変わる。したがって、上記実施
例では、本を流し読みするような感覚で、情報を「聞き
流す」ことができる。That is, in the above embodiment, each piece of information included in the multimedia information has a unique importance, and weighting information corresponding to each importance is added to each information and added. The length of the sentence to be voice-synthesized changes depending on the weighting information. Therefore, in the above-described embodiment, the information can be "listened" like a book being read.
【0038】つまり、上記実施例は、マルチメディア情
報を閲覧するシステムにおける音声読み上げ方法におい
て、所定の上記マルチメディア情報をディスプレイに表
示する表示速度と、上記表示速度で読み上げられるべき
情報とが対応している対応表を作成する対応表作成段階
と、上記ディスプレイに表示すべき情報のうちで所定の
情報を上記対応表から取り出すことによって、上記マル
チメディア情報の要約を生成する要約生成段階と、上記
生成された要約を音声で再生する要約音声再生段階とを
有するマルチメディア情報閲覧システムにおける音声読
み上げ方法である。That is, in the above embodiment, in the voice reading method in the system for browsing multimedia information, the display speed at which the predetermined multimedia information is displayed on the display corresponds to the information to be read at the display speed. A correspondence table creating step of creating a correspondence table, a summary creating step of creating a summary of the multimedia information by extracting predetermined information from the correspondence table among the information to be displayed on the display, And a summary voice reproduction step of reproducing the generated summary by voice, in a multimedia information browsing system.
【0039】この実施例によれば、利用者が希望するマ
ルチメディア情報に含まれる膨大な情報の全てを膨大な
時間をかけて音声で再生することなく、マルチメディア
情報の要約となる文章を音声で再生することができ、マ
ルチメディア情報の要約を素早く理解することができ
る。逆に、音声読み上げ装置でマルチメディア情報の要
約を読み上げ中に、その詳細を知りたいときには、閲覧
システムの操作によって詳細な文章を再生したり、再び
要約の文章を読み上げることができる。また、上記情報
のそれぞれに重要度が付与されている(重み付けされて
いる)ので、その最も高い重要度が付与されている情報
だけを抜き出し、それぞれにページを付与すれば、目次
を作成することができる。2番目、3番目に高い重要度
が付与されている情報をも抜き出して目次を作成するよ
うにしてもよい。そして、このように作成された目次を
使用して、所望のマルチメディア情報を探し出すように
してもよい。According to this embodiment, a sentence as a summary of multimedia information is reproduced by voice without reproducing a huge amount of information included in the multimedia information desired by the user by voice over a huge amount of time. It can be played at and can quickly understand the summary of multimedia information. On the contrary, while reading the summary of the multimedia information by the voice reading device, if the user wants to know the details, the detailed sentence can be reproduced or the summary sentence can be read again by operating the browsing system. In addition, since each of the above information is given a weight (weighted), only the information with the highest weight is extracted, and a page is added to each of them to create a table of contents. You can The table of contents may be created by extracting the information to which the second and third highest importance levels are given. Then, using the table of contents created in this way, desired multimedia information may be searched for.
【0040】すなわち、上記実施例は、本型マルチメデ
ィア情報を閲覧するシステムにおける音声読み上げ方法
において、ディスプレイに表示されている本のページを
めくる速度と、その速度で読み上げられるべき情報とが
対応している対応表を作成する対応表作成段階と、上記
ディスプレイに表示されている本のページをめくる速度
に対応する情報のうちで所定の情報を上記対応表から取
り出すことによって、上記本型マルチメディア情報の要
約を作成する要約作成段階と、上記ページをめくる速度
に応じた上記要約を音声で再生する要約音声再生段階と
を有するマルチメディア情報閲覧システムにおける音声
読み上げ方法である。That is, in the above embodiment, in the voice reading method in the system for browsing this type of multimedia information, the speed of turning the pages of the book displayed on the display and the information to be read at that speed correspond to each other. The correspondence table creation step of creating the correspondence table, and the book-type multimedia by extracting predetermined information from the correspondence table among the information corresponding to the speed of turning the pages of the book displayed on the display. A method for reading a voice in a multimedia information browsing system, comprising: a summary creating step of creating a summary of information; and a summary voice playing step of playing back the summary by voice according to a page turning speed.
【0041】この実施例によれば、本型マルチメディア
情報から本の構造に含まれる章や節等を用いて、閲覧シ
ステムのディスプレイ上に仮想的に表示された本のペー
ジを利用者がめくる速度と、そのときに読み上げられる
べき情報とを対応表化することによって、本型マルチメ
ディア情報閲覧システムのディスプレイ上に仮想的に表
示されている本を利用者が速めにめくると、本型情報の
要約を読み上げることができ、一方、利用者が遅めにめ
くると、より詳細な内容を読み上げることができ、本を
パラパラとめくる感覚と同じ感覚で本型のマルチメディ
ア情報を短時間で理解することができる。According to this embodiment, the user can turn the pages of the book virtually displayed on the display of the browsing system by using the chapters and sections included in the structure of the book from the book-type multimedia information. By converting the speed and the information to be read at that time into a correspondence table, when the user quickly turns over the book virtually displayed on the display of the book-type multimedia information browsing system, the book-type information is displayed. Can be read aloud, while the user can read the contents in more detail if they turn over later, and understand the book-type multimedia information in a short time with the same sense as flipping a book. can do.
【0042】図7は、本発明の第2の実施例であるマル
チメディア情報閲覧システムにおける音声読み上げ装置
200を示すブロック図である。FIG. 7 is a block diagram showing a voice reading device 200 in the multimedia information browsing system according to the second embodiment of the present invention.
【0043】マルチメディア情報閲覧システムにおける
音声読み上げ装置200は、インターネット上で流通す
るWWW(World Wide Web)のホームペ
ージの情報を、一般に広く使われているWWWブラウザ
と連携させ、ホームページ情報を音声で読み上げる音声
読み上げ装置である。The voice reading device 200 in the multimedia information browsing system makes the information of the home page of WWW (World Wide Web) distributed on the Internet cooperate with the generally widely used WWW browser to read the home page information by voice. It is a voice reading device.
【0044】また、マルチメディア情報閲覧システムに
おける音声読み上げ装置200は、ディスプレイ24
と、WWWブラウザ25と、入力部26と、インターネ
ット27と、情報要約処理部28と、ホームページ情報
要約データベース29と、情報選択部30と、スクロー
ル速度−重要度対応表31と、スピーカ32と、音声合
成装置33とを有する。The voice reading device 200 in the multimedia information browsing system includes a display 24.
, WWW browser 25, input unit 26, Internet 27, information summary processing unit 28, homepage information summary database 29, information selection unit 30, scroll speed-importance degree correspondence table 31, speaker 32, and And a voice synthesizer 33.
【0045】ディスプレイ24は、利用者がホームペー
ジ上の情報の閲覧、選択を行うために、インターネット
上に格納されたHTML(Hyper Text Ma
rkup Language)で定義される情報を表示
するディスプレイである。The display 24 is an HTML (Hyper Text Ma) stored on the Internet for the user to browse and select information on the home page.
rkup Language) is a display that displays the information defined.
【0046】WWWブラウザ25は、ホームページの情
報をディスプレイ24に表示するための制御を行うブラ
ウザである。入力部26は、WWWブラウザ25に対し
てディスプレイ24に表示しきれないホームページの画
面を上下にスクロールさせたり、音声読み上げを行うた
めに利用者から入力を受け取る部分である。The WWW browser 25 is a browser for performing control for displaying homepage information on the display 24. The input unit 26 is a unit that receives an input from the user in order to scroll up and down the screen of the home page that cannot be displayed on the display 24 by the WWW browser 25 or to read aloud.
【0047】インターネット27は、ディスプレイ24
上にホームページの情報を表示するために、ホームペー
ジの情報を格納するものであり、情報要約処理部28
は、ホームページのHTML情報から重要度を抽出する
処理部である。ホームページ情報要約データベース29
は、ホームページ情報とその重要度との関係を格納する
データベースである。The Internet 27 has a display 24.
The information of the home page is stored in order to display the information of the home page on the information summarization processing unit 28.
Is a processing unit that extracts the degree of importance from the HTML information of the home page. Homepage information summary database 29
Is a database that stores the relationship between homepage information and its importance.
【0048】情報選択部30は、閲覧中のホームページ
の画面を利用者が上下にスクロールさせる速度に対応す
る重要度以上の情報を、ホームページ情報要約データベ
ース29から抽出するものである。スクロール速度−重
要度対応表31は、閲覧中のホームページの画面を利用
者が上下にスクロールさせる速度と、その速度で読み上
げられるべき要約を得るための重要度とが対応されてい
る対応表である。音声合成装置33は、スピーカ32か
ら音声を再生する装置である。The information selection unit 30 extracts information of importance or higher corresponding to the speed at which the user scrolls the screen of the homepage being browsed up and down from the homepage information summary database 29. The scroll speed-importance degree correspondence table 31 is a correspondence table in which the speed at which the user scrolls the screen of the homepage being browsed up and down and the importance degree for obtaining the summary to be read at that speed are associated with each other. . The voice synthesizer 33 is a device that reproduces voice from the speaker 32.
【0049】次に、音声読み上げ装置200の動作につ
いて説明する。図8は、音声読み上げ装置200の動作
を示すフローチャートである。Next, the operation of the voice reading device 200 will be described. FIG. 8 is a flowchart showing the operation of the voice reading device 200.
【0050】まず、入力部26を介して利用者が入力し
た要求を判別し(S21)、WWWブラウザ25が、入
力コマンドの種別を判定し(S22)、インターネット
27上に格納されているホームページの情報をディスプ
レイ24に表示する(S23)。First, the request input by the user via the input unit 26 is determined (S21), the WWW browser 25 determines the type of the input command (S22), and the home page stored on the Internet 27 is searched. The information is displayed on the display 24 (S23).
【0051】そして、現在表示しているホームページの
HTML形式の文書を、WWWブラウザ25から情報要
約処理部28が受け取り、HTML形式で対応表現され
たホームページの情報に含まれている各情報の重要度を
抽出する。Then, the information summarization processing section 28 receives the HTML format document of the currently displayed homepage from the WWW browser 25, and the importance of each information included in the homepage information correspondingly expressed in the HTML format. To extract.
【0052】HTML文書は、機能名を「<」、「>」
で囲まれたタグによって表現された文書である。このタ
グには、ホームページのタイトル、章見出し、強調等の
機能が用意され、たとえば、「<TITLE>日本の将
来</TITLE>」に着目すると、「<TITLE
>」と「</TITLE>」とによって囲まれた「日本
の将来」がこのホームページのタイトル文である。これ
らのタグに注目すると、ホームページの情報にはある程
度の重要度情報が予め含められていると考えることがで
き、したがて、HTML文書の中から、そのHTML文
書を構成している各情報の重要度を求めることができ
る。In the HTML document, the function names are "<" and ">".
It is a document represented by tags enclosed in. This tag has functions such as home page title, chapter heading, emphasis, etc. For example, if you pay attention to "<TITLE> Future of Japan </ TITLE>", "<TITLE>
"The future of Japan" surrounded by ">" and "</ TITLE>" is the title sentence of this home page. By paying attention to these tags, it can be considered that the information of the home page includes a certain degree of importance information in advance, and accordingly, from the HTML document, the information of each information constituting the HTML document is The degree of importance can be calculated.
【0053】図9は、ホームページ情報の一例を示す図
である。図10は、図9に示したホームページ情報をH
TML文書によって示した図である。図11は、上記実
施例において、HTMLタグと重要度との対応の一例を
示す図である。図12は、図11に示す重要度情報に基
づいて、図10に示すHTML文書から作成した文書情
報と重要度とを示す対応表の一例を示す図である。FIG. 9 is a diagram showing an example of home page information. FIG. 10 shows the home page information shown in FIG.
It is the figure shown by the TML document. FIG. 11 is a diagram showing an example of correspondence between HTML tags and importance levels in the above embodiment. FIG. 12 is a diagram showing an example of a correspondence table showing the importance and the document information created from the HTML document shown in FIG. 10 based on the importance information shown in FIG.
【0054】音声読み上げ装置200において、図11
に示すようなHTMLタグと重要度とが対応している対
応表を用意し、図10に示すホームページを表現するH
TML文書を情報要約処理部28が受け取った場合、図
11に示すHTMLタグと重要度とが対応している対応
表を参照しながら、HTML文書の先頭から操作し、上
記対応表に含まれるタグを発見すると、この発見された
タグに対応する重要度の数値と、上記タグに囲まれてい
る文書とを抜き出すことによって、図12に示すよう
に、所定情報とその所定情報の重要度情報とが対応して
いる対応表を作成する。In the voice reading device 200, FIG.
Prepare a correspondence table in which the HTML tag and the degree of importance as shown in FIG.
When the TML document is received by the information summarization processing unit 28, the tag included in the correspondence table is operated from the beginning of the HTML document while referring to the correspondence table shown in FIG. When the information is found, the numerical value of the importance corresponding to the found tag and the document surrounded by the tags are extracted, so that the predetermined information and the importance information of the predetermined information are extracted as shown in FIG. Create a correspondence table corresponding to.
【0055】ところで、上記対応表に含まれない情報
は、音声読み上げに必要のない情報であると判断し、こ
れを対応表には含めない。上記操作を、HTML文書の
最後尾まで繰り返す。Information that is not included in the correspondence table is determined to be information that is not necessary for reading aloud and is not included in the correspondence table. The above operation is repeated until the end of the HTML document.
【0056】図12に示す対応表は、その右に、情報が
書き込まれ、その左に、その情報の重要度を示す数値が
書き込まれている表であり、HTML文書の先頭から順
に操作した結果を対応表の上から順に格納したものであ
る。The correspondence table shown in FIG. 12 is a table in which information is written on the right side thereof, and numerical values indicating the importance of the information are written on the left side thereof. As a result of operating in order from the beginning of the HTML document. Are stored in order from the top of the correspondence table.
【0057】図12において、たとえば、「<H1>」
と「</H1>」とによって囲まれ、見出しレベルが1
である「はじめに」は、上記対応表に、重要度5として
格納され、通常の文章である「このたびは、本製品のご
購入を…」という文章は、重要度1として格納され、見
出しレベルが1である「ご紹介」は、重要度5として格
納され、見出しレベルが2である「本製品の特徴」は、
重要度4として格納されている。なお、上記見出しレベ
ルは、その見出しの文字の大きさ等、見出しを強調する
度合いをしめすものである。In FIG. 12, for example, "<H1>"
Surrounded by "</ H1>" and the heading level is 1
"Introduction" is stored in the above correspondence table as importance level 5, and the ordinary sentence "This time, please purchase this product ..." is stored as importance level 1 and the heading level. "Introduction" with 1 is stored as importance level 5, and "Feature of this product" with heading level 2 is
It is stored as importance level 4. The heading level indicates the degree of emphasizing the heading, such as the size of characters in the heading.
【0058】そして、情報要約処理部28は、ステップ
S24で得られた重要度情報とその情報とによって構成
されている対応表を、ホームページ情報要約データベー
ス29に格納する(S25)。Then, the information summarization processing unit 28 stores the correspondence table composed of the importance degree information obtained in step S24 and the information in the homepage information summarization database 29 (S25).
【0059】次に、入力部26は、ディスプレイ24に
表示されている画面を、利用者がどの程度の速度でスク
ロールさせているかを取得する。たとえば、1秒間にス
クロールしているドット数または行数を取得する。この
実施例では、1秒間にスクロールさせている行数を、利
用者がスクロールしている速度として考える(S2
6)。Next, the input unit 26 acquires how fast the user is scrolling the screen displayed on the display 24. For example, the number of dots or lines scrolling in one second is acquired. In this embodiment, the number of lines scrolled per second is considered as the speed at which the user is scrolling (S2).
6).
【0060】図13は、音声読み上げ装置200におけ
るスクロール速度−重要度対応表31を示す図である。FIG. 13 is a diagram showing a scroll speed-importance degree correspondence table 31 in the voice reading device 200.
【0061】スクロール速度−重要度対応表31は、ブ
ラウザ画面のスクロール速度と、そのときに読み上げら
れるべき情報の重要度とが対応している対応表である。
図13において、1秒間に3行スクロールさせていると
きには、重要度を「3」と設定し、1秒間に4行スクロ
ールさせているときには、重要度を「4」と設定し、1
秒間に5行以上スクロールさせているときには、重要度
を「5」と設定している。The scroll speed-importance degree correspondence table 31 is a correspondence table in which the scroll speed of the browser screen and the importance degree of the information to be read at that time correspond to each other.
In FIG. 13, when scrolling three lines per second, the importance level is set to "3", and when scrolling four lines per second, the importance level is set to "4".
When scrolling five lines or more per second, the importance level is set to "5".
【0062】また、ホームページにおける表示位置を取
得する。この表示位置として、たとえば、ホームページ
の文章中の行数、情報の先頭からの文字数を用いてもよ
い。Further, the display position on the home page is acquired. As the display position, for example, the number of lines in the text of the home page or the number of characters from the beginning of the information may be used.
【0063】次に、利用者が現在表示させているホーム
ページの位置を、入力部26から情報選択部30が受け
取り、ホームページ情報要約データベース29を参照
し、利用者が現在表示させているホームページの位置に
応じて、該当する位置情報を探し出し、この探し出され
た位置情報を、読み上げポインタとしてデータベース上
に設定する(S27)。Next, the information selecting section 30 receives the position of the home page currently displayed by the user from the input section 26, refers to the home page information summary database 29, and displays the position of the home page currently displayed by the user. In response to this, the corresponding position information is searched for, and the found position information is set on the database as a reading pointer (S27).
【0064】そして、WWWブラウザ25の画面をスク
ロールする速度を、入力部26から情報選択部30が受
け取り、画面をスクロールさせる速度と、読み上げるべ
き情報の重要度とが対応されているスクロール速度−重
要度対応表31を参照し、画面をスクロールさせる速度
に基づいて、読み上げるべき情報の重要度の数値を得る
(S28)。Then, the information selecting unit 30 receives the speed of scrolling the screen of the WWW browser 25 from the input unit 26, and the speed of scrolling the screen and the importance of the information to be read correspond to each other. By referring to the degree correspondence table 31, a numerical value of the degree of importance of the information to be read is obtained based on the speed of scrolling the screen (S28).
【0065】次に、情報選択部30は、ステップS27
で設定された読み上げポインタが示す情報をホームペー
ジ情報要約データベース29の中から参照する(S2
9)。Next, the information selecting section 30 carries out step S27.
The information indicated by the reading pointer set in step 3 is referred from the homepage information summary database 29 (S2).
9).
【0066】そして、読み上げポインタが示す情報の重
要度の数値と、画面をスクロールさせている速度に対応
する重要度の数値とを比較し(S30)、読み上げポイ
ンタが示す情報の重要度の数値が、読み上げ速度に対応
する重要度の数値以上であれば、読み上げポインタが現
在示す情報をホームページ情報要約データベース29か
ら取り出し、これを音声合成装置33に送り(S3
1)、情報選択部30が、ホームページ情報要約データ
ベース29上の読み上げポインタを次の情報に進める
(S32)。そして、情報選択部30で抽出された情報
を音声合成装置33が音声に変換し、スピーカ32から
再生する(S33)。Then, the numerical value of the importance of the information indicated by the reading pointer is compared with the numerical value of the importance corresponding to the speed at which the screen is scrolled (S30), and the numerical value of the importance of the information indicated by the reading pointer is determined. If it is equal to or higher than the value of the importance corresponding to the reading speed, the information currently indicated by the reading pointer is taken out from the homepage information summary database 29 and sent to the speech synthesizer 33 (S3).
1), the information selection unit 30 advances the reading pointer on the homepage information summary database 29 to the next information (S32). Then, the voice synthesizer 33 converts the information extracted by the information selecting unit 30 into voice, and reproduces it from the speaker 32 (S33).
【0067】一方、読み上げポインタが示す情報の重要
度の数値が、読み上げ速度に対応する重要度の数値未満
であれば、読み上げポインタが示す情報をホームページ
情報要約データベース29から取り出さずに、ホームペ
ージ情報要約データベース29上の読み上げポインタを
次の情報に進める(S32)。On the other hand, if the numerical value of the importance of the information indicated by the reading pointer is less than the numerical value of the importance corresponding to the reading speed, the information indicated by the reading pointer is not retrieved from the home page information summary database 29, and the home page information summary is obtained. The reading pointer on the database 29 is advanced to the next information (S32).
【0068】つまり、基本的には、スクロールの速度が
ある程度速ければ、ポインタが示す情報を読み上げな
い。ただし、スクロールの速度がある程度速くても、ポ
インタが示す情報の重要度がある程度高ければ、その情
報を読み上げる。That is, basically, if the scrolling speed is high to some extent, the information indicated by the pointer is not read out. However, even if the scroll speed is high to some extent, if the importance of the information indicated by the pointer is high to some extent, the information is read aloud.
【0069】そして、再びステップS26に戻り、入力
部26から読み上げ中止の指示があるか、またはホーム
ページ情報の最後尾の処理が終わる間まで、上記処理
(S26〜S33)を実行する。Then, the process returns to step S26 again, and the above processes (S26 to S33) are executed until there is an instruction to stop reading aloud from the input unit 26 or until the process at the end of the homepage information ends.
【0070】図14は、音声読み上げ装置200におい
て、スクロール速度と、読み上げるべき要約の内容との
関係の例を示す図である。FIG. 14 is a diagram showing an example of the relationship between the scroll speed and the contents of the abstract to be read in the voice reading device 200.
【0071】図14において、スクロール速度を5に設
定した場合、要約として「はじめにご紹介」のみが音声
再生されるが、スクロール速度を3に設定した場合、
「はじめに ご紹介 本製品の特徴 高コストパフォー
マンス 処理能力が…………」のように多くの文章が要
約として音声再生され、スクロール速度が速い程、音声
合成される文章が短く、スクロール速度が遅い程、多く
の文章が音声合成される。In FIG. 14, when the scroll speed is set to 5, only "Introduction" is reproduced as a summary, but when the scroll speed is set to 3,
A large number of sentences are played back as a summary, such as "Introduction Introduction Features of this product High cost performance and processing power ...", and the faster the scroll speed, the shorter the sentence to be voice synthesized and the slower the scroll speed. A lot of sentences are speech-synthesized.
【0072】つまり、上記実施例において、マルチメデ
ィア情報に含まれる個々の情報のそれぞれに、各重要度
に応じて重み付け情報が付加され、この付与された重み
付け情報に応じて、音声合成する文章の長さが変わるの
で、本を流し読みするような感覚で、情報を「聞き流
す」ことができる。That is, in the above-described embodiment, weighting information is added to each of the individual pieces of information included in the multimedia information according to the degree of importance, and the text to be speech-synthesized is added according to the added weighting information. Because the length changes, you can "listen" for information as if you were reading a book.
【0073】本の上で目線を走らせることによって流し
読みし、情報の要約を素早く参照するようにしている
が、しかし、本を読み上げる場合、従来、音声の再生ス
ピードを速めることによって、テープやレコードの早回
しのような音声でしか、情報を早く聞くことができず、
情報の要約はおろか、何を言っているのか理解すらでき
ない場合が多い。しかし、上記実施例では、マルチメデ
ィア情報の中から、要点を抜き出して読み上げるので、
情報の要約を素早く知ることができ、また、要点を読み
上げている途中で、所望の内容について詳しく知りたい
場合、その要点が含まれている元の情報を読み上げるの
で、本のページをパラパラとめくりながら、所望の情報
を探し出すことができ、パラパラとページをめくって目
で情報を探すと同様に、パラパラとページをめくって耳
で情報を探すことができる。[0073] The eyes are swept over to read the book and refer to the summary of information quickly. However, when reading a book, conventionally, by speeding up the reproduction speed of audio, a tape or a tape is used. Information can be heard quickly only with the sound of fast-moving records,
Often, not even a summary of the information, I don't even understand what I'm saying. However, in the above embodiment, the main points are extracted from the multimedia information and read aloud.
You can quickly get a summary of the information, and if you want to know more about the desired content while reading the main points, you can read the original information containing the main points, so flip through the pages of the book. However, desired information can be searched for, and flipping pages and pages to search for information can be done in the same manner as flipping pages and pages to search for information.
【0074】また、上記と同様に、重み付け情報に基づ
いて、インターネットのホームページ情報に関して目次
を作成し、利用者が情報の読み上げ位置を指定する際
に、この作成された目次に基づいて、読み上げ位置を利
用者が選択することができる。Similarly to the above, when the user creates a table of contents for the home page information on the Internet based on the weighting information and the user specifies the reading position of the information, the reading position is read based on the created table of contents. The user can select.
【0075】つまり、上記実施例は、インターネットの
ホームページ情報を閲覧するシステムにおける音声読み
上げ方法において、上記ホームページ情報に予め含まれ
ている見出しタグまたは強調タグ情報を参照し、上記ホ
ームページの画面をスクロールする速度と、その速度で
読み上げられるべき情報とが対応している対応表を作成
する対応表作成段階と、上記ディスプレイに表示されて
いるホームページ情報をスクロールする速度に対応する
情報のうちで所定の情報を上記対応表から取り出すこと
によって、上記ホームページ情報の要約を作成する要約
作成段階と、上記ホームページ情報をスクロールする速
度に応じた上記要約を音声で再生する要約音声再生段階
とを有するマルチメディア情報閲覧システムにおける音
声読み上げ方法である。That is, in the above-mentioned embodiment, in the voice reading method in the system for browsing home page information on the Internet, the heading tag or the emphasis tag information included in advance in the home page information is referred to and the screen of the home page is scrolled. Predetermined information from the correspondence table creation step of creating a correspondence table in which the speed and the information to be read at that speed correspond, and the information corresponding to the speed of scrolling the homepage information displayed on the above display From the correspondence table, the multimedia information browsing has a step of creating a summary of the homepage information, and a summary voice reproduction step of reproducing the summary by voice according to the scrolling speed of the homepage information. With the voice reading method in the system That.
【0076】この実施例によれば、ホームページ情報を
HTMLの言語構造に含まれる見出しタグや強調タグ等
の情報を用いて、ブラウザシステムの画面を利用者がス
クロールする速度と、そのとき読み上げられるべき情報
とを対応表化することによって、ブラウザシステムの画
面を利用者が速めにスクロールさせると、ホームページ
情報の要約を読み上げ、利用者が遅めにスクロールさせ
ると、より詳細な内容を読み上げるので、ホームページ
情報を短時間で理解することができる。According to this embodiment, the home page information is to be read aloud at the speed at which the user scrolls the screen of the browser system by using information such as heading tags and emphasis tags included in the HTML language structure. By making the correspondence table with information, when the user scrolls the screen of the browser system faster, the summary of homepage information is read aloud, and when the user scrolls later, more detailed contents are read aloud. Information can be understood in a short time.
【0077】ところで、上記各実施例を、記録媒体の発
明として把握することができる。つまり、上記実施例
は、所定のマルチメディア情報をディスプレイに表示す
る表示速度と上記表示速度で読み上げられるべき情報と
が対応している対応表を作成する対応表作成手順と、上
記ディスプレイに表示すべき情報のうちで所定の情報を
上記対応表から取り出すことによって、上記マルチメデ
ィア情報の要約を生成する要約生成手順と、上記生成さ
れた要約を音声で再生する要約音声再生手順とをコンピ
ュータに実行させるためのプログラムを記録したコンピ
ュータ読み取り可能な記録媒体の例である。By the way, each of the above embodiments can be understood as an invention of a recording medium. That is, the above-described embodiment has a correspondence table creating procedure for creating a correspondence table in which the display speed at which predetermined multimedia information is displayed on the display and the information to be read at the display speed correspond to each other, and the correspondence table creating procedure. The computer executes a summary generation procedure for generating a summary of the multimedia information and a summary voice reproduction procedure for reproducing the generated summary by voice by extracting predetermined information from the correspondence table. It is an example of a computer-readable recording medium in which a program for causing the program is recorded.
【0078】また、上記実施例は、ディスプレイに表示
されている本型マルチメディア情報の本のページをめく
る速度と、その速度で読み上げられるべき情報とが対応
している対応表を作成する対応表作成手順と、上記ディ
スプレイに表示されている本のページをめくる速度に対
応する情報のうちで所定の情報を上記対応表から取り出
すことによって、上記本型マルチメディア情報の要約を
作成する要約作成手順と、上記ページをめくる速度に応
じた上記要約を音声で再生する要約音声再生手順とをコ
ンピュータに実行させるためのプログラムを記録したコ
ンピュータ読み取り可能な記録媒体の例である。Further, in the above embodiment, the correspondence table for creating the correspondence table in which the speed of turning the pages of the book of the book-type multimedia information displayed on the display and the information to be read at that speed are created Summary creation procedure for creating a summary of the book-type multimedia information by taking out predetermined information from the correspondence table among the creation procedure and the information corresponding to the speed of turning pages of the book displayed on the display 2 is an example of a computer-readable recording medium recording a program for causing a computer to execute a summary voice reproduction procedure for reproducing the summary by voice according to the speed of turning the page.
【0079】さらに、上記実施例は、インターネットの
ホームページ情報に予め含まれている見出しタグまたは
強調タグ情報を参照し、上記ホームページの画面をスク
ロールする速度と、その速度で読み上げられるべき情報
とが対応している対応表を作成する対応表作成手順と、
ディスプレイに表示されている上記ホームページ情報を
スクロールする速度に対応する情報のうちで所定の情報
を上記対応表から取り出すことによって、上記ホームペ
ージ情報の要約を作成する要約作成手順と、上記ホーム
ページ情報をスクロールする速度に応じた上記要約を音
声で再生する要約音声再生手順とをコンピュータに実行
させるためのプログラムを記録したコンピュータ読み取
り可能な記録媒体の例である。Further, in the above embodiment, the speed of scrolling the screen of the home page and the information to be read at that speed correspond to each other by referring to the heading tag or emphasis tag information included in the home page information of the Internet in advance. The correspondence table creation procedure for creating the correspondence table,
A procedure for creating a summary of the homepage information by extracting predetermined information from the correspondence table among the information corresponding to the scrolling speed of the homepage information displayed on the display, and scrolling the homepage information. It is an example of a computer-readable recording medium in which a program for causing a computer to execute a summary voice reproduction procedure of reproducing the above summary by voice according to the speed at which the recording medium is recorded.
【0080】なお、上記記録媒体としては、FD、C
D、DVD、HD、光ディスク、光磁気ディスク、半導
体メモリ等が考えられる。The recording medium is FD or C.
D, DVD, HD, optical disc, magneto-optical disc, semiconductor memory, etc. are conceivable.
【0081】[0081]
【発明の効果】本発明によれば、音声の再生速度につい
て利用者が意識せずに、表示されている情報と同じよう
に再生音声情報を流し読みすることができるという効果
を奏する。According to the present invention, the reproduced voice information can be read in the same manner as the displayed information without the user being aware of the voice reproduction speed.
【図1】本発明の第1の実施例であるマルチメディア情
報閲覧システムにおける音声読み上げ装置100を示す
ブロック図である。FIG. 1 is a block diagram showing a voice reading device 100 in a multimedia information browsing system according to a first embodiment of the present invention.
【図2】音声読み上げ装置100の動作を示すフローチ
ャートである。FIG. 2 is a flowchart showing an operation of the voice reading device 100.
【図3】上記実施例に使用することができる本型情報の
一例を示す図である。FIG. 3 is a diagram showing an example of main form information that can be used in the above embodiment.
【図4】上記実施例において、図3示す本型情報に関す
る重要度の対応表の一例を示す図である。FIG. 4 is a diagram showing an example of a correspondence table of the degree of importance related to the main-form information shown in FIG. 3 in the above embodiment.
【図5】上記実施例において、本をめくる速度と、その
ときに読み上げられるべき情報の重要度とが対応してい
る対応表である。FIG. 5 is a correspondence table in which the speed of turning a book and the importance of information to be read at that time are associated with each other in the above-described embodiment.
【図6】図3に示す本型情報について、本のページをめ
くる速度と、読み上げるべき要約の内容との関係の例を
示す図である。6 is a diagram showing an example of the relationship between the speed of turning pages of a book and the contents of a summary to be read for the book-type information shown in FIG. 3;
【図7】本発明の第2の実施例であるマルチメディア情
報閲覧システムにおける音声読み上げ装置200を示す
ブロック図である。FIG. 7 is a block diagram showing a voice reading device 200 in the multimedia information browsing system according to the second embodiment of the present invention.
【図8】音声読み上げ装置200の動作を示すフローチ
ャートである。8 is a flowchart showing an operation of the voice reading device 200. FIG.
【図9】ホームページ情報の一例を示す図である。FIG. 9 is a diagram showing an example of home page information.
【図10】図9に示したホームページ情報をHTML文
書によって示した図である。10 is a diagram showing the home page information shown in FIG. 9 as an HTML document.
【図11】上記実施例において、HTMLタグと重要度
との対応例を示す図である。FIG. 11 is a diagram showing an example of correspondence between HTML tags and importance in the above embodiment.
【図12】図11に示す重要度情報に基づいて、図10
に示すHTML文書から作成した文書情報と重要度とを
示す対応表の一例を示す図である。12 is a flowchart of FIG. 10 based on the importance information shown in FIG.
It is a figure which shows an example of the correspondence table which shows the document information created from the HTML document shown in FIG.
【図13】音声読み上げ装置200におけるスクロール
速度−重要度対応表31を示す図である。13 is a diagram showing a scroll speed-importance degree correspondence table 31 in the voice reading device 200. FIG.
【図14】音声読み上げ装置200において、スクロー
ル速度と、読み上げるべき要約の内容との関係の例を示
す図である。FIG. 14 is a diagram showing an example of the relationship between the scroll speed and the content of the summary to be read in the voice reading device 200.
100、200……… 音声読み上げ装置、 1、24…ディスプレイ、 2…画面情報制御部、 3、26…入力部、 4…本型情報格納データベース、 5、28…情報要約処理部、 6…本型情報要約データベース、 7、30…情報選択部、 8…本めくり速度−重要度対応表、 10、33…音声合成装置。 25…WWWブラウザ、 27…インターネット、 29…ホームページ情報要約データベース、 31…スクロール速度−重要度対応表。 100, 200 ......... Voice reading device, 1, 24 ... Display, 2 ... Screen information control unit, 3, 26 ... Input section, 4 ... This type information storage database, 5, 28 ... Information summary processing unit, 6 ... This type information summary database, 7, 30 ... Information selection section, 8 ... Book turning speed-importance table 10, 33 ... Voice synthesizer. 25 ... WWW browser, 27 ... Internet, 29 ... Homepage information summary database, 31 ... Scroll speed-importance degree correspondence table.
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小澤 英昭 東京都新宿区西新宿三丁目19番2号 日 本電信電話株式会社内 (56)参考文献 特開 平10−39846(JP,A) 特開 平7−85011(JP,A) 特開 平5−232982(JP,A) 特開 昭63−231493(JP,A) 特開 平9−325960(JP,A) 特開 平10−254876(JP,A) 特開 平8−235219(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06F 3/16 ─────────────────────────────────────────────────── ─── Continued Front Page (72) Hideaki Ozawa Inventor Hideaki Ozawa 3-19-2 Nishishinjuku, Shinjuku-ku, Tokyo Nihon Telegraph and Telephone Corporation (56) Reference JP-A-10-39846 (JP, A) Special Features Kaihei 7-85011 (JP, A) JP 5-232982 (JP, A) JP 63-231493 (JP, A) JP 9-325960 (JP, A) JP 10-254876 ( JP, A) JP 8-235219 (JP, A) (58) Fields investigated (Int.Cl. 7 , DB name) G06F 3/16
Claims (3)
テムにおける音声読み上げ方法において、上記本型マルチメディア情報について、テキスト情報と
重要度とが対応している対応表を作成する対応表作成段
階と; 利用者による本のページめくり速度を設定する速度設定
段階と; 現在の表示ページ番号に該当する位置情報に基づいて、
読み上げポインタを設定する読み上げポインタ設定段階
と; 上記読み上げポインタが示す情報に応じた重要度を、上
記対応表から得る重要度獲得段階と; 上記対応表から得られた重要度が、上記ページをめくる
速度に対応する重要度よりも高ければ、上記読み上げポ
インタが示す情報を音声合成することによって、表示と
連動して音声読み上げする音声再生段階と; を有することを特徴とするマルチメディア情報閲覧シス
テムにおける音声読み上げ方法。1. A method for reading aloud in a system for browsing book-type multimedia information, wherein the book-type multimedia information includes text information and text information.
Correspondence table creation stage that creates a correspondence table corresponding to importance
Floor and; speed setting to set the page turning speed of the book by the user
Stage and; based on the position information corresponding to the current display page number,
Set the reading pointer Set the reading pointer
And; the importance according to the information indicated by the reading pointer above
The importance acquisition stage obtained from the correspondence table ; and the importance obtained from the correspondence table described above
If it is higher than the importance corresponding to the speed, the reading aloud
By synthesizing the information indicated by the interface with the voice,
And a voice reproducing step of reading voice in conjunction with each other; and a voice reading method in a multimedia information browsing system.
る本のページを速くめくることによって、上記ディスプ
レイに表示されている本の見出しを音声で再生し、一
方、上記ディスプレイに表示されている本のページを遅
くめくることによって、上記見出しに対応する詳細な内
容の文章を音声で再生する段階であることを特徴とする
マルチメディア情報閲覧システムにおける音声読み上げ
方法。 2. The method according to claim 1, wherein the audio reproduction step is displayed on the display.
By quickly flipping through the pages of a
Play the title of the book displayed in Ray to
However, the page of the book displayed on the above display may be delayed.
By turning over, you can see the details corresponding to the above headings.
It is characterized in that it is the stage of reproducing Yō sentence by voice
Read aloud in multimedia information browsing system
Method.
テムにおける音声読み上げプログラムを記録した記録媒
体において、 上記本型マルチメディア情報について、テキスト情報と
重要度とが対応している対応表を作成し、データベース
に格納する対応表作成手順と; 利用者による本のページめくり速度を設定する速度設定
手順と; 現在の表示ページ番号に該当する位置情報に基づいて、
読み上げポインタを設定する読み上げポインタ設定手順
と; 上記読み上げポインタが示す情報に応じた重要度を、上
記対応表から得る重要 度獲得手順と; 上記対応表から得られた重要度が、上記ページをめくる
速度に対応する重要度よりも高ければ、上記読み上げポ
インタが示す情報を音声合成することによって、表示と
連動してスピーカが音声読み上げする音声再生手順と; をコンピュータに実行させるプログラムを記録したコン
ピュータ読取可能な記録媒体。 3. A system for browsing this type of multimedia information
Recording medium that records the voice reading program in the system
In the body, about the above-mentioned book type multimedia information, text information and
Create a correspondence table that corresponds to the degree of importance, and
Correspondence table creation procedure to store in ;; Speed setting to set the page turning speed of the book by the user
Procedure and; based on the location information corresponding to the current display page number,
Setting the reading pointer Reading pointer setting procedure
And; the importance according to the information indicated by the reading pointer above
The procedure to obtain the importance from the correspondence table ; and the importance obtained from the above correspondence table, turn to the above page
If it is higher than the importance corresponding to the speed, the reading aloud
By synthesizing the information indicated by the interface with the voice,
A voice recording procedure that causes the speaker to read the voice in conjunction with the computer ;
A computer-readable recording medium.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03311299A JP3460964B2 (en) | 1999-02-10 | 1999-02-10 | Speech reading method and recording medium in multimedia information browsing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03311299A JP3460964B2 (en) | 1999-02-10 | 1999-02-10 | Speech reading method and recording medium in multimedia information browsing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000231475A JP2000231475A (en) | 2000-08-22 |
JP3460964B2 true JP3460964B2 (en) | 2003-10-27 |
Family
ID=12377581
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03311299A Expired - Lifetime JP3460964B2 (en) | 1999-02-10 | 1999-02-10 | Speech reading method and recording medium in multimedia information browsing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3460964B2 (en) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6725203B1 (en) | 2000-10-12 | 2004-04-20 | E-Book Systems Pte Ltd. | Method and system for advertisement using internet browser to insert advertisements |
US6496803B1 (en) | 2000-10-12 | 2002-12-17 | E-Book Systems Pte Ltd | Method and system for advertisement using internet browser with book-like interface |
US7272258B2 (en) | 2003-01-29 | 2007-09-18 | Ricoh Co., Ltd. | Reformatting documents using document analysis information |
EP1631962A1 (en) * | 2003-05-26 | 2006-03-08 | Koninklijke Philips Electronics N.V. | System and method for generating audio-visual summaries for audio-visual program content |
US8676790B1 (en) | 2003-12-05 | 2014-03-18 | Google Inc. | Methods and systems for improving search rankings using advertising data |
US7761789B2 (en) | 2006-01-13 | 2010-07-20 | Ricoh Company, Ltd. | Methods for computing a navigation path |
US7788579B2 (en) | 2006-03-06 | 2010-08-31 | Ricoh Co., Ltd. | Automated document layout design |
US8583637B2 (en) | 2007-03-21 | 2013-11-12 | Ricoh Co., Ltd. | Coarse-to-fine navigation through paginated documents retrieved by a text search engine |
US8812969B2 (en) | 2007-03-21 | 2014-08-19 | Ricoh Co., Ltd. | Methods for authoring and interacting with multimedia representations of documents |
US8584042B2 (en) | 2007-03-21 | 2013-11-12 | Ricoh Co., Ltd. | Methods for scanning, printing, and copying multimedia thumbnails |
JP4785909B2 (en) * | 2008-12-04 | 2011-10-05 | 株式会社ソニー・コンピュータエンタテインメント | Information processing device |
JP6516650B2 (en) * | 2015-10-13 | 2019-05-22 | 三菱電機株式会社 | Document output control device |
WO2023067715A1 (en) * | 2021-10-20 | 2023-04-27 | 日本電信電話株式会社 | Information presentation system, device, method, and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS63231493A (en) * | 1987-03-20 | 1988-09-27 | 三洋電機株式会社 | Reciting of sentence using voice rule synthesizer |
JPH05232982A (en) * | 1992-02-24 | 1993-09-10 | Nippon Telegr & Teleph Corp <Ntt> | Time length specification type description reading method |
JPH0785011A (en) * | 1993-09-10 | 1995-03-31 | Matsushita Electric Ind Co Ltd | Image retrieving device |
JPH08235219A (en) * | 1995-02-27 | 1996-09-13 | Canon Inc | Document summarizing device |
JPH09325960A (en) * | 1996-06-04 | 1997-12-16 | Oki Electric Ind Co Ltd | Document processing system |
JP3488020B2 (en) * | 1996-07-19 | 2004-01-19 | 日本電信電話株式会社 | Multimedia information presentation device |
JPH10254876A (en) * | 1997-03-07 | 1998-09-25 | Omron Corp | Document summarizing method and its device |
-
1999
- 1999-02-10 JP JP03311299A patent/JP3460964B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2000231475A (en) | 2000-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2713330B2 (en) | Method and system for presenting multiple multimedia representations of an object | |
JP3460964B2 (en) | Speech reading method and recording medium in multimedia information browsing system | |
JP4127668B2 (en) | Information processing apparatus, information processing method, and program | |
JP5634853B2 (en) | Electronic comic viewer device, electronic comic browsing system, viewer program, and electronic comic display method | |
US20090326953A1 (en) | Method of accessing cultural resources or digital contents, such as text, video, audio and web pages by voice recognition with any type of programmable device without the use of the hands or any physical apparatus. | |
WO2012086356A1 (en) | File format, server, view device for digital comic, digital comic generation device | |
US20110222788A1 (en) | Information processing device, information processing method, and program | |
EP1788538A1 (en) | Apparatus and method for the manufacture of audio books | |
KR20090047159A (en) | Audio-book playback method and apparatus thereof | |
EP2180480B1 (en) | Playlist search device, playlist search method and program | |
US20060008258A1 (en) | Device and method for reproducing compressed information | |
JPH0973461A (en) | Sentence information reproducing device using voice | |
KR20060088175A (en) | System and method for creating e-book that having multi-format | |
KR20050012101A (en) | Scenario data storage medium, apparatus and method therefor, reproduction apparatus thereof and the scenario searching method | |
JP7229296B2 (en) | Related information provision method and system | |
KR20180078197A (en) | E-voice book editor and player | |
JP2003091344A (en) | Information processor, information processing method, recording medium, data structure and program | |
JP6506438B1 (en) | Speech synthesizer | |
KR20230062650A (en) | Cartoon reproduction system, its method, its computer software program, and cartoon data used therein | |
JPH07175909A (en) | Data processor | |
JP2005141424A (en) | Information processing method and information processor | |
JP6964918B1 (en) | Content creation support system, content creation support method and program | |
JP2003099447A (en) | Document data structure, storage medium and information processor | |
JP2010230838A (en) | Device and program for supporting preparation of digital teaching material, device and program for presenting digital teaching material | |
JP2003203242A (en) | Electronic cartoon creating system and electronic cartoon creating method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080815 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090815 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100815 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100815 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 10 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |