WO2016110947A1 - 端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム - Google Patents

端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム Download PDF

Info

Publication number
WO2016110947A1
WO2016110947A1 PCT/JP2015/050171 JP2015050171W WO2016110947A1 WO 2016110947 A1 WO2016110947 A1 WO 2016110947A1 JP 2015050171 W JP2015050171 W JP 2015050171W WO 2016110947 A1 WO2016110947 A1 WO 2016110947A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
data
classification information
text data
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/050171
Other languages
English (en)
French (fr)
Inventor
大奨 梨本
喬浩 鎌田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to PCT/JP2015/050171 priority Critical patent/WO2016110947A1/ja
Publication of WO2016110947A1 publication Critical patent/WO2016110947A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Definitions

  • the present invention relates to a technical field of a terminal device, a content output method, a computer program, and a system that outputs text data such as an electronic book and outputs sound data related to the text data.
  • the present invention has been made in view of, for example, the above problems, and an object of the present invention is to provide a terminal device, a content output method, a computer program, and a system that can reproduce a song suitable for the context.
  • the terminal device of the present invention is associated with content including text data and the entire text data or a plurality of parts of the text data, and the entire text data or the text Text classification information indicating classification for each of a plurality of parts of data, acquisition means for acquiring, determination means for determining one or more sound data corresponding to the acquired text classification information, and the acquired text Output means for outputting at least a part of the data and acquiring and outputting sound data corresponding to the text classification information associated with the output at least part of the determined one or more sound data And comprising.
  • the content output method of the present invention is associated with content including text data and the entire text data or a plurality of parts of the text data.
  • Text classification information indicating classification for each of a plurality of parts of text data
  • an acquisition step a determination step for determining one or a plurality of sound data corresponding to the acquired text classification information, and the acquired Output that outputs at least a part of the text data, and acquires and outputs sound data corresponding to the text classification information associated with the output at least a part of the determined one or more sound data A process.
  • a computer program associates a computer installed in a terminal device with content including text data, the entire text data, or a plurality of parts of the text data. Determining the whole text data or text classification information indicating the classification of each part of the text data, and one or more sound data corresponding to the acquired text classification information A sound corresponding to text classification information associated with the output at least part of the determined one or more sound data, and at least a part of the acquired text data; It functions as output means for acquiring and outputting data.
  • the system of the present invention performs text analysis processing on content including text data and is associated with the entire text data or each of a plurality of parts of the text data.
  • text classification information indicating a classification for each of a plurality of parts of the text data
  • a server device for storing the obtained text classification information, and the content and at least a part of the text data included in the content
  • Acquisition means for acquiring the obtained text classification information from the server device, determination means for determining one or more sound data corresponding to the acquired text classification information, and at least a part of the acquired text data And outputting one or more of the determined sound data.
  • a terminal device and an output means for outputting the acquired sound data corresponding to the text classification information associated with at least a portion of the output.
  • the terminal device includes an acquisition unit, a determination unit, and an output unit.
  • an acquisition unit including a memory, a processor, and the like is associated with content including text data, the entire text data, or a plurality of parts of the text data, and the entire text data or the plurality of text data. And text classification information indicating the classification of each part.
  • “acquire” is not limited to acquisition from, for example, a large-capacity memory or a hard disk drive built in the terminal device, but is acquired from a server device that exists on a network such as the Internet. It is a concept that also includes
  • Content including text data is not limited to text (text) such as novels, essays, biographies, etc., for example, but also includes content mainly based on pictures such as picture books and comics.
  • the “text classification information” may be generated based on the result of sentence analysis processing such as natural language analysis on the text data. “Each multiple pieces of text data” may be, for example, for each sentence, for each paragraph, for each page, for each chapter, etc., for each unit larger than the minimum unit capable of sentence analysis processing.
  • the determination means including a memory, a processor, etc. determines one or a plurality of sound data corresponding to the acquired text classification information.
  • the sound data corresponding to the text classification information may be sound data having parameters, titles, and the like corresponding to parameters, keywords, and the like related to the text classification information.
  • Sound data is a concept including not only music but also sound effects such as environmental sounds.
  • an output unit including a memory, a processor, etc. outputs at least a part of the acquired text data, and is associated with at least a part of the determined one or more sound data. Obtain and output sound data corresponding to text classification information.
  • “obtain” is a concept that includes not only acquisition from the terminal device but also acquisition from a server device existing on the network as described above.
  • “Output” is not limited to displaying at least a part of text data and reproducing sound data.
  • the terminal device outputs text data to a display device different from the terminal device. It is a concept including outputting sound data to different playback devices.
  • Part of text data means text data that can be displayed in the size of the screen on which the text data is displayed.
  • sound data corresponding to the text classification information associated with the output (for example, displayed) text data is output (for example, reproduced).
  • a music piece associated with a book that does not sufficiently reflect the contents of the book, such as a name is simply played back, it is possible to provide sound data such as a music piece suitable for the context. Can be suppressed.
  • the output means when the user of the terminal device starts reading the text data associated with the other text classification information, the sound data corresponding to the other text classification information is output instead of the sound data corresponding to the one text classification information.
  • the output means detects the user's reading speed and specifies when the user starts reading text data associated with other text classification information based on the detected reading speed. You can do it.
  • the “reading speed” may be obtained from, for example, the frequency of turning pages (that is, the frequency of screen update) and the detected frequency and the number of lines or characters per page.
  • the terminal device further includes line-of-sight detection means for detecting the line of sight of the user, and the output means is a text in which the user is associated with other text classification information based on an output signal from the line-of-sight detection means. You may specify when you started reading the data.
  • the output means when there are a plurality of sound data corresponding to the text classification information associated with at least a part of the output text data, the output means outputs at least one of the output sound data.
  • a plurality of sound data corresponding to the text classification information associated with the text data of the copy are sequentially output.
  • the sound data can be appropriately output, which is very advantageous in practice.
  • the tune parameter corresponding to the whole text data or each of a plurality of words included in each of a plurality of parts of the text data is one or more parameters indicating the tune.
  • a classification determining unit that determines text classification information based on the determined music tone parameter, and the classification determining unit includes a plurality of words for each of the entire text data or a plurality of parts of the text data.
  • the weight related to the music tone parameter corresponding to the first word is set larger than the weight related to the music tone parameter corresponding to the other word among the plurality of words, and the text classification information is determined.
  • sound data corresponding to the text classification information can be determined relatively easily based on the text classification information, which is very advantageous in practice.
  • the content output method is associated with content including text data, the entire text data, or a plurality of portions of the text data, and the entire text data or the plurality of portions of the text data.
  • Text classification information indicating classification
  • an acquisition step of acquiring a determination step of determining one or a plurality of sound data corresponding to the acquired text classification information, and outputting at least a part of the acquired text data
  • obtaining and outputting sound data corresponding to the text classification information associated with the outputted at least part of the one or more determined sound data is associated with content including text data, the entire text data, or a plurality of portions of the text data, and the entire text data or the plurality of portions of the text data.
  • a music piece associated with a book that does not sufficiently reflect the contents of the book is simply reproduced.
  • sound data suitable for the context can be provided, and the user's uncomfortable feeling can be suppressed.
  • the content output method according to the present embodiment can also adopt various aspects similar to the various aspects of the terminal device according to the above-described embodiment.
  • the computer program associates a computer installed in a terminal device with content including text data, the entire text data, or a plurality of parts of the text data.
  • Text classification information indicating classification for each of a plurality of parts of text data
  • acquisition means for acquiring
  • determination means for determining one or more sound data corresponding to the acquired text classification information
  • the acquired Output that outputs at least a part of the text data
  • the terminal device According to the computer program according to the embodiment, from a recording medium such as a RAM (Random Access Memory), a CD-ROM (Compact Disc Only Memory), a DVD-ROM (DVD Read Only Memory) or the like that stores the computer program.
  • a recording medium such as a RAM (Random Access Memory), a CD-ROM (Compact Disc Only Memory), a DVD-ROM (DVD Read Only Memory) or the like that stores the computer program.
  • the terminal device If the computer program is read and executed by a computer provided in the terminal device, or if the computer program is executed after being downloaded through the communication means, the terminal device according to the above-described embodiment is compared. Can be realized easily.
  • the terminal device compared to a case where music associated with a book that does not sufficiently reflect the content of the book, such as a book name, is simply reproduced. Appropriate sound data can be provided, and the user's discomfort can be suppressed.
  • the system performs text analysis processing on content including text data and is associated with the entire text data or each of a plurality of parts of the text data, and the entire text data or a plurality of the text data
  • a server apparatus for obtaining text classification information indicating classification for each part, storing the obtained text classification information, and text classification information associated with at least a part of the content and text data included in the content from the server apparatus
  • Comprising the output means for obtaining and outputting the sound data corresponding to the text classification information the terminal device comprising a, a.
  • a song associated with a book that does not sufficiently reflect the contents of the book is simply played back.
  • sound data suitable for the context can be provided, and the user's uncomfortable feeling can be suppressed.
  • Text classification information associated with at least a part of text data included in the content is “text classification information associated with the entire text data included in the content” or “a plurality of text data included in the content”. It means “text classification information associated with each part”.
  • FIG. 1 is a block diagram showing the configuration of the system according to the first embodiment.
  • a system 100 includes an electronic book terminal 10, a book server 20, and a music server 30.
  • the electronic book terminal 10, the book server 20, and the music server 30 are connected to each other via a network 40 such as the Internet so that they can communicate with each other.
  • the electronic book terminal 10 as an example of the “terminal device” according to the present invention includes a control unit 11, a display unit 12, an audio reproduction unit 13, and a communication unit 14.
  • the display unit 12 is a concept including not only a member having a display screen such as a display, but also a member (for example, a graphic processor) that outputs an image signal to the display or the like.
  • the audio reproduction unit 13 is not limited to a member having a mechanism for converting an electrical signal such as a speaker into physical vibration, but includes a member (for example, a sound processor) that outputs an audio signal to the speaker or the like. It is.
  • the book server 20 includes a sentence analysis unit 21, an electronic book database 22, a dictionary database 23, and a text analysis result management unit 24.
  • the electronic book database 22 does not need to include data of the electronic book itself, and only needs to include information indicating a location (address) where the data of the electronic book itself is stored.
  • the dictionary database 23 stores dictionary data used for natural language analysis performed in document analysis processing described later. Since various known modes can be applied to the dictionary data, a detailed description thereof is omitted.
  • the text analysis result management unit 24 stores the result of the document analysis process in association with the electronic book subjected to the process.
  • the sentence analysis unit 21 of the book server 20 reads the electronic book data to be analyzed (step S101). Subsequently, the sentence analysis unit 21 performs a structuring process that identifies which page the text data constituting the electronic book data and the paragraph of the text data belong to (step S102).
  • the sentence analysis unit 21 performs, for example, morphological analysis for each sentence (step S103). At this time, the sentence analysis unit 21 inquires of the dictionary database 23 about the meaning of each morpheme and each phrase.
  • the sentence analysis unit 21 records, for each sentence structure, the morpheme and the phrase and the meaning of the analyzed electronic book data in the text analysis result management unit 24 (step S104).
  • the document analysis process may be performed, for example, when there is a browsing request from the electronic book terminal 10 or may be performed as needed.
  • step S103 The processing in step S103 described above will be specifically described with reference to FIGS. still, Assume that the content of one page included in the electronic book data to be analyzed is the content shown in FIG. 5, for example.
  • the sentence analysis unit 21 performs morphological analysis on the text data corresponding to the one page. By performing the morphological analysis, for example, a result as shown in FIG. 6 is obtained.
  • the sentence analysis unit 21 refers to a table (see FIG. 7) that prescribes a correspondence relationship between words and music parameters (here, speed, power, and brightness) stored in advance in the dictionary database 23, for example. Then, the music tone parameter corresponding to each word extracted by the morphological analysis is specified. Note that the tune parameter is not limited to “speed”, “power”, and “brightness”, but may be set as appropriate according to the specifications of the system 100.
  • the sentence analysis unit 21 obtains, for example, an average value of the specified music tone parameters, and uses them as the music tone parameters related to the one page (see FIG. 8).
  • the sentence analysis unit 21 performs the same processing for all pages included in the electronic book data to be analyzed, and obtains the tone parameter for each page.
  • the “tune parameter relating to each page” according to the embodiment is an example of “text classification information” according to the present invention.
  • one tune parameter is associated with one page as an example of “for each of a plurality of parts of text data” according to the present invention.
  • the present invention is not limited to this. For example, for one paragraph One music tone parameter may be associated, and one music tone parameter may be associated with one chapter.
  • the above-described music tone parameter (see FIG. 8) related to one page is not limited to a simple average of a plurality of music tone parameters respectively corresponding to a plurality of words, and for example, a weight related to a music tone parameter corresponding to a first appearing word (for example, a noun). Alternatively, it may be obtained by averaging after increasing the weight associated with the tune parameter corresponding to another word. If constituted in this way, it will become easy to be reflected in a music tone parameter, for example that a scene changed, and it is very advantageous practically.
  • the music server 30 includes a music tone analysis unit 31, a music database 32, and a music feature database 33.
  • the music database 32 does not need to include the data of the music itself, and only needs to include information indicating the location where the data of the music itself is stored.
  • the music feature amount database 33 stores the result of the music tone analysis process described later in association with the music subjected to the process.
  • the “music piece” according to the present embodiment is a concept including sound effects.
  • the music tone analysis unit 31 of the music server 30 reads music data to be analyzed and analyzes the voice waveform. Then, from the rhythm and sound pressure related to the music data, the music tone parameter related to the music base is obtained (step S201). Since various known modes can be applied to the tune analysis (waveform analysis), the details thereof are omitted.
  • the music tone analysis unit 31 records the obtained music tone parameters in the music feature database 32 in association with the music (step S202).
  • the music tone analysis process may be performed every time a new music is added to the music database 32 of the music server 30, or may be performed from time to time.
  • the control unit 11 of the electronic book terminal 10 corresponds to the one book requested for browsing via the communication unit 14.
  • the electronic book data to be read is read (step S301).
  • the control unit 11 controls the display unit 12 to display the read electronic book data (step S302). In this case, for example, a cover of one book is displayed on the screen.
  • control unit 11 controls the display unit 12 to display a page designated by the user (step S303).
  • a page as shown in FIG. 5 is displayed on the screen.
  • control unit 11 acquires the music tone parameter corresponding to the currently displayed page from the book server 20 via the communication unit 14 (step S304).
  • the tune parameter “speed: ⁇ 11.7, power: ⁇ 0.7, brightness: 0.3” is acquired.
  • the control unit 11 inquires of the music feature amount database 33 of the music server 30 via the communication unit 14 and specifies the music having the music tone parameter corresponding to the acquired music tone parameter (step S305).
  • the “musical parameter corresponding to the acquired musical parameter” is not limited to the musical parameter that completely matches the acquired musical parameter, for example, a musical parameter that partially matches the acquired musical parameter, A music tone parameter included in a predetermined range including the acquired music tone parameter may be included.
  • control unit 11 acquires music data corresponding to the specified music via the communication unit 14, and controls the audio playback unit 13 to play back the acquired music data (step S306).
  • the control unit 11 performs audio playback so that a plurality of pieces of music data respectively corresponding to the plurality of specified music pieces are sequentially reproduced.
  • the playback unit 13 is controlled.
  • music data related to sound effects is included in the plurality of music data, the music data related to the sound effects may be reproduced simultaneously with other music data.
  • control unit 11 stores the stored electronic book. Data may be read. Similarly, when music data corresponding to the specified music is stored in the electronic book terminal 10 in advance in the process of step S306 described above, the control unit 11 reproduces the stored music data. Good.
  • the music that has the music parameters corresponding to the music parameters related to the other pages includes the music that was played when the first page was displayed. If so, the playback of the music may be continued, or the playback of another music may be started.
  • the tune parameter is given as an example of the “text classification information” according to the present invention.
  • the tune parameter for example, the genre of the book, the year of publication, the place of publication, etc. It may be used as “text classification information”.
  • the music is narrowed down by genre, publication year, publication place, etc., music more suitable for the contents of the book is reproduced, which is very advantageous in practice.
  • a database that associates a book name, a video work name, and a recorded song of a sound track related to the video work is prepared in advance.
  • the music corresponding to the music tone parameter may be preferentially selected from the music recorded on the track.
  • control unit 11 The “control unit 11”, “communication unit 14”, “electronic book data”, and “music data” according to the embodiment are respectively “determination unit”, “acquisition unit”, “text data”, and “text data” according to the present invention. It is an example of “sound data”.
  • the “display unit 12” and “sound reproduction unit 13” according to the embodiment are examples of the “output unit” according to the present invention.
  • FIGS. 9 and 10 A second embodiment according to the terminal device of the present invention will be described with reference to FIGS.
  • the second embodiment is the same as the first embodiment described above except that the configuration of the electronic book terminal and the browsing process are partially different. Therefore, in the second embodiment, the description overlapping with that of the first embodiment is omitted, and common portions in the drawing are denoted by the same reference numerals, and only FIGS. 9 and 10 are basically different only. The description will be given with reference.
  • the system 200 includes an electronic book terminal 10a, a book server 20, and a music server 30.
  • the electronic book terminal 10 a includes a control unit 11, a display unit 12, an audio reproduction unit 13, a communication unit 14, and a sentence analysis unit 15.
  • the sentence analysis unit 15 first reads the electronic book data to be analyzed in the same manner as the sentence analysis unit 21 described above. Subsequently, the sentence analysis unit 15 performs structuring processing on the text data constituting the electronic book data. Next, the sentence analysis unit 15 performs morphological analysis, and obtains a tune parameter based on the result of morphological analysis, for example, for each page.
  • the sentence analysis part 15 typically performs the above-mentioned sentence analysis process about the electronic book data corresponding to the book with which the browsing request was carried out by the user. Note that the result of the sentence analysis processing by the sentence analysis unit 15 may be stored in the text analysis result management unit 24 of the book server 20 via the communication unit 14.
  • the control unit 11 of the electronic book terminal 10 a corresponds to the one book requested to be browsed via the communication unit 14. Read e-book data. Subsequently, the control unit 11 acquires text data for one page corresponding to the page designated by the user from the read electronic book data (step S401).
  • control unit 11 performs morphological analysis on the acquired text data as a part of the document analysis process described above (step S402). For example, the result shown in FIG. 6 is obtained by the morphological analysis.
  • control unit 11 refers to, for example, a table (see FIG. 7) that defines the correspondence relationship between words and tune parameters stored in advance in the dictionary database 23 of the book server 20 via the communication unit 14. Then, the tune parameter corresponding to each word extracted by the morphological analysis is specified (step S403).
  • control unit 11 obtains, for example, an average value of the specified music tone parameters, and obtains a music tone parameter relating to the page designated by the user (step S404).
  • control unit 11 inquires of the music feature amount database 33 of the music server 30 via the communication unit 14 and specifies the music having the music tone parameter corresponding to the acquired music tone parameter. And the control part 11 acquires the music data corresponding to the specified music via the communication part 14 (step S405), and controls the audio
  • the control unit 11 of the electronic book terminal 10 or 10a displays, for example, one page of electronic book data corresponding to one book requested to be browsed, and then the next page of the one page. Find the time until. Subsequently, the control unit 11 detects the speed at which the user proceeds to read from the obtained time and the number of characters included in one page, for example.
  • the reading speed is detected and updated at the time of browsing one book, for example, every time the display page is updated (that is, every time the page is turned).
  • control unit 11 matches the tone parameter associated with the one paragraph and the tone parameter associated with the other paragraph following the one paragraph. It is determined whether or not.
  • the control unit 11 determines that the user Estimate when to start reading another paragraph (eg, elapsed time since page was displayed). Then, when the user starts to read another paragraph, the control unit 11 replaces the music data corresponding to the music parameter associated with the one paragraph, instead of the music data corresponding to the music parameter associated with the other paragraph.
  • the audio playback unit 13 is controlled so as to acquire and play back.
  • the electronic book terminal includes a line-of-sight detection means (not shown).
  • the line-of-sight detection means analyzes, for example, an infrared LED (Light Emitting Diode) that illuminates the user's face, an infrared camera that captures the user's face illuminated with infrared, and an image captured by the infrared camera.
  • an image processing unit for detecting the user's line of sight.
  • a gaze detection method since well-known various aspects are applicable, the description about the detail is omitted.
  • control unit 11 matches the tone parameter associated with the one paragraph and the tone parameter associated with the other paragraph following the one paragraph. It is determined whether or not.
  • the control unit 11 is based on the user's line of sight detected by the line of sight detection means.
  • the song data corresponding to the tone parameter associated with the other paragraph is acquired and reproduced instead of the song data corresponding to the tone parameter associated with the one paragraph.
  • the sound reproducing unit 13 is controlled as described above.
  • the recorded music of the sound track related to the video work related to one book is reproduced when the one book is browsed
  • the recorded music (for example, including the name of the character extracted by morphological analysis)
  • “XX theme” may be reproduced regardless of the music tone parameter.
  • the recorded song having the song name can be determined by page count or morphological analysis. You may reproduce based on the appearance frequency of the extracted word. Or according to the number of pages, the recorded music of the sound track may be reproduced in the recording order.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　端末装置（１０、１０ａ）は、テキストデータを含むコンテンツと、該テキストデータ全体、又は該テキストデータの複数の部分毎に関連付けられており、該テキストデータ全体、又は該テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得手段（１４）と、取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段（１１）と、取得されたテキストデータの少なくとも一部を出力すると共に、定された一又は複数のサウンドデータのうち、出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段（１２、１３）と、を備える。

Description

端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム
　本発明は、例えば電子書籍等のテキストデータを出力すると共に、該テキストデータに関連するサウンドデータを出力する端末装置、コンテンツ出力方法、コンピュータプログラム及びシステムの技術分野に関する。
　この種の装置として、電子書籍の表示中に、該電子書籍に係る、例えば書籍名（タイトル）、ジャンル情報、作者名、出版社及び発行日等の書籍情報に関連する曲データを再生する装置が提案されている（特許文献１参照）。
特開２０１０－６８０４４号公報
　上述の背景技術によれば、一の書籍に関連付けられた一又は複数の曲が繰り返し再生される。他方で、書籍の構成として、様々な場面（例えば導入部、問題提起、事実提示、結論、回想、日常、クライマックス等）が存在する。このため、一の書籍に関連付けられた一又は複数の曲が単純に再生されると、ユーザが違和感を覚える可能性があるという技術的問題点がある。
　本発明は、例えば上記問題点に鑑みてなされたものであり、文脈に適した曲を再生可能な端末装置、コンテンツ出力方法、コンピュータプログラム及びシステムを提供することを課題とする。
　本発明の端末装置は、上記課題を解決するために、テキストデータを含むコンテンツと、前記テキストデータ全体、又は前記テキストデータの複数の部分毎に関連付けられており、前記テキストデータ全体、又は前記テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得手段と、前記取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段と、前記取得されたテキストデータの少なくとも一部を出力すると共に、前記決定された一又は複数のサウンドデータのうち、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段と、を備える。
　本発明のコンテンツ出力方法は、上記課題を解決するために、テキストデータを含むコンテンツと、前記テキストデータ全体、又は前記テキストデータの複数の部分毎に関連付けられており、前記テキストデータ全体、又は前記テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得工程と、前記取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定工程と、前記取得されたテキストデータの少なくとも一部を出力すると共に、前記決定された一又は複数のサウンドデータのうち、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力工程と、を備える。
　本発明のコンピュータプログラムは、上記課題を解決するために、端末装置に搭載されたコンピュータを、テキストデータを含むコンテンツと、前記テキストデータ全体、又は前記テキストデータの複数の部分毎に関連付けられており、前記テキストデータ全体、又は前記テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得手段と、前記取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段と、前記取得されたテキストデータの少なくとも一部を出力すると共に、前記決定された一又は複数のサウンドデータのうち、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段と、として機能させる。
　本発明のシステムは、上記課題を解決するために、テキストデータを含むコンテンツにテキスト解析処理を施して、前記テキストデータ全体又は前記テキストデータの複数の部分毎に関連付けられており、前記テキストデータ全体、又は前記テキストデータの複数の部分毎の分類を示すテキスト分類情報を求め、前記求められたテキスト分類情報を格納するサーバ装置と、前記コンテンツ及び前記コンテンツに含まれるテキストデータの少なくとも一部に関連付けられたテキスト分類情報を前記サーバ装置から取得する取得手段と、前記取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段と、前記取得されたテキストデータの少なくとも一部を出力すると共に、前記決定された一又は複数のサウンドデータのうち、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段と、を備える端末装置と、を備える。
　本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。
第１実施例に係るシステムの構成を示すブロック図である。 第１実施例に係る文書解析処理を示すフローチャートである。 第１実施例に係る曲調解析処理を示すフローチャートである。 第１実施例に係る閲覧処理を示すフローチャートである。 表示画面の一例を示す図である。 形態素解析の結果の一例を示す図である。 単語と曲調パラメータとの関係の一例を示す図である。 文書解析処理の結果の一例を示す図である。 第２実施例に係るシステムの構成を示すブロック図である。 第２実施例に係る閲覧処理を示すフローチャートである。
　本発明の端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム各々に係る実施形態について説明する。
　（端末装置）
　実施形態に係る端末装置は、取得手段、決定手段及び出力手段を備えて構成されている。
　例えばメモリ、プロセッサ等を備えてなる取得手段は、テキストデータを含むコンテンツと、該テキストデータ全体、又は該テキストデータの複数の部分毎に関連付けられており、テキストデータ全体、又は該テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する。
　ここで、「取得する」は、当該端末装置に内蔵されている、例えば大容量メモリやハードディスクドライブ等から取得するという意味に限らず、例えばインターネット等のネットワーク上に存在するサーバ装置から取得することも含む概念である。
　「テキストデータを含むコンテンツ」は、例えば小説、随筆、伝記等の文書（テキスト）を主体としたものに限らず、例えば絵本や漫画等の絵を主体としたものも含む概念である。
　「テキスト分類情報」は、テキストデータに、例えば自然言語解析等の文章解析処理を施し、該文章解析処理の結果に基づいて生成すればよい。「テキストデータの複数の部分毎」は、例えば一文毎、一段落毎、一ページ毎、一章毎等、文章解析処理が可能な最小単位よりも大きなまとまり毎であればよい。
　例えばメモリ、プロセッサ等を備えてなる決定手段は、取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する。ここで、テキスト分類情報に対応するサウンドデータは、例えばテキスト分類情報に係るパラメータやキーワード等に対応する、パラメータやタイトル等を有するサウンドデータとすればよい。「サウンドデータ」は、楽曲に限らず、例えば環境音等の効果音も含む概念である。
　例えばメモリ、プロセッサ等を備えてなる出力手段は、取得されたテキストデータの少なくとも一部を出力すると共に、決定された一又は複数のサウンドデータのうち、該出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する。
　ここで、「取得する」は、上述の如く、当該端末装置から取得することに限らず、ネットワーク上に存在するサーバ装置から取得することも含む概念である。「出力する」は、テキストデータの少なくとも一部を表示する、サウンドデータを再生する、ことに限らず、例えば当該端末装置とは異なる表示装置に対してテキストデータを出力する、当該端末装置とは異なる再生装置に対してサウンドデータを出力することも含む概念である。「テキストデータの一部」は、該テキストデータが表示される画面のサイズに表示可能なテキストデータを意味する。
　本実施形態に係る端末装置では、上述の如く、出力された（例えば表示された）テキストデータに関連付けられたテキスト分類情報に対応するサウンドデータが出力される（例えば再生される）ので、例えば書籍名等、書籍の内容が十分には反映されていないものに関連付けられた楽曲が単純に再生される場合に比べて、文脈に適した、例えば楽曲等のサウンドデータを提供することができ、ユーザの違和感を抑制することができる。
　本実施形態に係る端末装置の一態様では、出力された少なくとも一部のテキストデータの途中で、テキスト分類情報が一のテキスト分類情報から他のテキスト分類情報に変化する場合、出力手段は、当該端末装置のユーザが、他のテキスト分類情報に関連付けられたテキストデータを読み始めた時に、一のテキスト分類情報に対応するサウンドデータに代えて、他のテキスト分類情報に対応するサウンドデータを出力する。
　この態様によれば、例えば画面上に表示されているページの途中で、場面が変わったとしても、適切なサウンドデータを提供することができ、実用上非常に有利である。
　この態様では、出力手段は、ユーザの読み進む速さを検出し、該検出された読み進む速さに基づいて、ユーザが他のテキスト分類情報に関連付けられたテキストデータを読み始めた時を特定してよい。
　このように構成すれば、ユーザが他のテキスト分類情報に関連付けられたテキストデータを読み始めた時を、比較的容易にして特定することができ、実用上非常に有利である。尚、「読み進む速さ」は、例えばページをめくる頻度（即ち、画面更新の頻度）を検出し、該検出された頻度と、１ページ当たりの行数又は文字数とから求めればよい。
　或いは、この態様では、当該端末装置はユーザの視線を検出する視線検出手段を更に備え、出力手段は、視線検出手段からの出力信号に基づいて、ユーザが他のテキスト分類情報に関連付けられたテキストデータを読み始めた時を特定してよい。
　このように構成すれば、ユーザが他のテキスト分類情報に関連付けられたテキストデータを読み始めた時を、比較的容易にして特定することができ、実用上非常に有利である。尚、視線検出方法については、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。
　本実施形態に係る端末装置の他の態様では、出力された少なくとも一部のテキストデータに関連付けられたテキスト分類情報に対応するサウンドデータが複数存在する場合、出力手段は、該出力された少なくとも一部のテキストデータに関連付けられたテキスト分類情報に対応する複数のサウンドデータを、順次出力する。
　この態様によれば、複数のサウンドデータが存在する場合であっても、適切にサウンドデータを出力することができ、実用上非常に有利である。
　本実施形態に係る端末装置の他の態様では、テキストデータ全体、又は該テキストデータの複数の部分毎に含まれる複数の単語各々に対応し、曲調を示す一又は複数のパラメータである曲調パラメータを決定すると共に、該決定された曲調パラメータに基づき、テキスト分類情報を決定する分類決定手段を更に備え、該分類決定手段は、テキストデータ全体、又はテキストデータの複数の部分毎に、複数の単語のうち初出の単語に対応する曲調パラメータに係る重みを、該複数の単語のうち他の単語に対応する曲調パラメータに係る重みよりも大きくし、テキスト分類情報を決定する。
　この態様によれば、テキスト分類情報に基づき、比較的容易にして、該テキスト分類情報に対応するサウンドデータを決定することができ、実用上非常に有利である。
　（コンテンツ出力方法）
　実施形態に係るコンテンツ出力方法は、テキストデータを含むコンテンツと、該テキストデータ全体、又は該テキストデータの複数の部分毎に関連付けられており、テキストデータ全体、又は該テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得工程と、該取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定工程と、該取得されたテキストデータの少なくとも一部を出力すると共に、該決定された一又は複数のサウンドデータのうち、該出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力工程と、を備える。
　本実施形態に係るコンテンツ出力方法によれば、上述した実施形態に係る端末装置と同様に、例えば書籍名等、書籍の内容が十分には反映されていないものに関連付けられた楽曲が単純に再生される場合に比べて、文脈に適したサウンドデータを提供することができ、ユーザの違和感を抑制することができる。
　本実施形態に係るコンテンツ出力方法においても、上述した実施形態に係る端末装置の各種態様と同様の各種態様を採ることができる。
　（コンピュータプログラム）
　実施形態に係るコンピュータプログラムは、端末装置に搭載されたコンピュータを、テキストデータを含むコンテンツと、該テキストデータ全体、又は該テキストデータの複数の部分毎に関連付けられており、テキストデータ全体、又は該テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得手段と、該取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段と、該取得されたテキストデータの少なくとも一部を出力すると共に、該決定された一又は複数のサウンドデータのうち、該出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段と、として機能させる。
　実施形態に係るコンピュータプログラムによれば、当該コンピュータプログラムを格納するＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤＶＤ　Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等の記録媒体から、当該コンピュータプログラムを、端末装置に備えられたコンピュータに読み込んで実行させれば、或いは、当該コンピュータプログラムを、通信手段を介してダウンロードさせた後に実行させれば、上述した実施形態に係る端末装置を比較的容易にして実現できる。これにより、上述した実施形態に係る端末装置と同様に、例えば書籍名等、書籍の内容が十分には反映されていないものに関連付けられた楽曲が単純に再生される場合に比べて、文脈に適したサウンドデータを提供することができ、ユーザの違和感を抑制することができる。
　（システム）
　実施形態に係るシステムは、テキストデータを含むコンテンツにテキスト解析処理を施して、該テキストデータ全体又は該テキストデータの複数の部分毎に関連付けられており、テキストデータ全体、又は該テキストデータの複数の部分毎の分類を示すテキスト分類情報を求め、該求められたテキスト分類情報を格納するサーバ装置と、コンテンツ及び該コンテンツに含まれるテキストデータの少なくとも一部に関連付けられたテキスト分類情報をサーバ装置から取得する取得手段と、該取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段と、該取得されたテキストデータの少なくとも一部を出力すると共に、該決定された一又は複数のサウンドデータのうち、該出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段と、を備える端末装置と、を備える。
　本実施形態に係るシステムによれば、上述した実施形態に係る端末装置と同様に、例えば書籍名等、書籍の内容が十分には反映されていないものに関連付けられた楽曲が単純に再生される場合に比べて、文脈に適したサウンドデータを提供することができ、ユーザの違和感を抑制することができる。
　尚、「コンテンツに含まれるテキストデータの少なくとも一部に関連付けられたテキスト分類情報」は、「コンテンツに含まれるテキストデータ全体に関連付けられたテキスト分類情報」又は「コンテンツに含まれるテキストデータの複数の部分毎に関連付けられたテキスト分類情報」を意味する。
　本実施形態に係るシステムにおいても、上述した実施形態に係る端末装置の各種態様と同様の各種態様を採ることができる。
　本発明の端末装置等に係る実施例を図面に基づいて説明する。
　＜第１実施例＞
　本発明の端末装置等に係る第１実施例について、図１乃至図８を参照して説明する。
　第１実施例に係るシステムの構成について、図１を参照して説明する。図１は、第１実施例に係るシステムの構成を示すブロック図である。
　図１において、システム１００は、電子書籍端末１０、書籍サーバ２０及び楽曲サーバ３０を備えて構成されている。電子書籍端末１０、書籍サーバ２０及び楽曲サーバ３０は、例えばインターネット等のネットワーク４０を介して相互に通信可能に接続されている。
　本発明に係る「端末装置」の一例としての、電子書籍端末１０は、制御部１１、表示部１２、音声再生部１３及び通信部１４を備えて構成されている。
　表示部１２は、例えばディスプレイ等の表示画面を有する部材に限らず、ディスプレイ等に対して画像信号を出力する部材（例えば、グラフィックプロセッサ）をも含む概念である。同様に、音声再生部１３も、例えばスピーカ等の電気信号を物理振動に変換する機構を有する部材に限らず、スピーカ等に対して音声信号を出力する部材（例えば、サウンドプロセッサ）をも含む概念である。
　書籍サーバ２０は、文章解析部２１、電子書籍データベース２２、辞書データベース２３及びテキスト解析結果管理部２４を備えて構成されている。電子書籍データベース２２には、電子書籍そのもののデータが含まれてなくてよく、電子書籍そのもののデータが格納されてある場所（アドレス）を示す情報が含まれていればよい。
　辞書データベース２３には、後述する文書解析処理において実施される自然言語解析に用いられる辞書データが格納されている。該辞書データには、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。テキスト解析結果管理部２４には、文書解析処理の結果が、該処理が施された電子書籍に関連付けられて格納されている。
　ここで、文書解析処理について、図２のフローチャートを参照して説明する。
　図２において、書籍サーバ２０の文章解析部２１は、解析すべき電子書籍データを読み込む（ステップＳ１０１）。続いて、文章解析部２１は、電子書籍データを構成するテキストデータと、該テキストデータの段落とが、どのページに属しているのかを特定する構造化処理を行う（ステップＳ１０２）。
　次に、文章解析部２１は、例えば一文毎に形態素解析を実施する（ステップＳ１０３）。この際、文章解析部２１は、形態素毎、文節毎の意味を、辞書データベース２３に問い合わせる。
　次に、文章解析部２１は、解析した電子書籍データについて、文章構造毎に、形態素及び文節とその意味とを、テキスト解析結果管理部２４に記録する（ステップＳ１０４）。文書解析処理は、例えば電子書籍端末１０からの閲覧要求があった際に実施されてもよいし、時々に応じて実施されてもよい。
　上述のステップＳ１０３の処理について、図５乃至図８を参照して具体的に説明する。尚、
　解析対象の電子書籍データに含まれる１ページの内容が、例えば図５に示す内容であったとする。文章解析部２１は、上記１ページに対応するテキストデータに形態素解析を施す。形態素解析が施されることにより、例えば図６に示すような結果が得られる。
　尚、形態素解析により抽出される単語は、例えば名詞のみ、形容詞のみ、名詞及び形容詞のみ、等特定の品詞の単語のみが抽出されてもよい。形態素解析には、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。
　次に、文章解析部２１は、例えば辞書データベース２３に予め格納されている、単語と曲調パラメータ（ここでは、スピード、パワー及び明るさ）との対応関係を規定するテーブル（図７参照）を参照して、形態素解析により抽出された単語毎に対応する曲調パラメータを特定する。尚、曲調パラメータは、「スピード」、「パワー」及び「明るさ」に限らず、システム１００の仕様に応じて適宜設定されてよい。
　次に、文章解析部２１は、特定された曲調パラメータの、例えば平均値を求め、上記１ページに係る曲調パラメータとする（図８参照）。文章解析部２１は、解析対象の電子書籍データに含まれる全てのページについて同様の処理を行い、各ページに係る曲調パラメータを求める。
　実施例に係る「各ページに係る曲調パラメータ」は、本発明に係る「テキスト分類情報」の一例である。尚、ここでは、本発明に係る「テキストデータの複数の部分毎」の一例としての、１ページに対して１つの曲調パラメータが関連付けられるが、これに限定されず、例えば、１段落に対して１つの曲調パラメータが関連付けられてもよいし、１章に対して１つの曲調パラメータが関連付けられてもよい。
　上述した１ページに係る曲調パラメータ（図８参照）は、複数の単語に夫々対応する複数の曲調パラメータの単純平均に限らず、例えば初出の単語（例えば名詞）に対応する曲調パラメータに係る重みを、他の単語に対応する曲調パラメータに係る重みよりも大きくした上で平均することにより求められてもよい。このように構成すれば、例えば場面が変わったことが曲調パラメータに反映され易くなり、実用上非常に有利である。
　再び図１に戻り、楽曲サーバ３０は、曲調解析部３１、楽曲データベース３２及び楽曲特徴量データベース３３を備えて構成されている。楽曲データベース３２には、楽曲そのもののデータが含まれてなくてよく、楽曲そのもののデータが格納されている場所を示す情報が含まれていればよい。楽曲特徴量データベース３３には、後述する曲調解析処理の結果が、該処理が施された楽曲に関連付けられて格納されている。尚、本実施例に係る「楽曲」は、効果音も含む概念である。
　ここで、曲調解析処理について、図３のフローチャートを参照して説明する。
　図３において、楽曲サーバ３０の曲調解析部３１は、解析すべき楽曲データを読み込み、音声波形を分析する。そして、楽曲データに係るリズムと音圧とから、該楽曲ベースに係る曲調パラメータを求める（ステップＳ２０１）。曲調解析（波形解析）には、公知の各種態様を適用可能であるので、その詳細については割愛する。
　次に、曲調解析部３１は、求められた曲調パラメータを、楽曲に関連付けて楽曲特徴量データベース３２に記録する（ステップＳ２０２）。曲調解析処理は、楽曲サーバ３０の楽曲データベース３２に、新たな楽曲が追加される度に実施されてもよいし、時々に応じて実施されてもよい。
　次に、閲覧処理について、図４のフローチャートを参照して説明する。
　図４において、電子書籍端末１０のユーザにより一の書籍の閲覧要求がされた場合、該電子書籍端末１０の制御部１１は、通信部１４を介して、閲覧要求がされた一の書籍に対応する電子書籍データを読み込む（ステップＳ３０１）。続いて、制御部１１は、読み込まれた電子書籍データを表示するように表示部１２を制御する（ステップＳ３０２）。この場合、画面上には、例えば一の書籍の表紙等が表示される。
　次に、制御部１１は、ユーザが指定するページを表示するように表示部１２を制御する（ステップＳ３０３）。ここでは、画面上に、例えば図５に示すようなページが表示されたとする。
　次に、制御部１１は、通信部１４を介して、現在表示されているページに対応する曲調パラメータを書籍サーバ２０から取得する（ステップＳ３０４）。ここでは、例えば曲調パラメータ「スピード：－１１．７、パワー：－０．７、明るさ：０．３」（図８参照）が取得される。
　次に、制御部１１は、通信部１４を介して、楽曲サーバ３０の楽曲特徴量データベース３３に問合せ、取得された曲調パラメータに対応する曲調パラメータを有する楽曲を特定する（ステップＳ３０５）。ここで、「取得された曲調パラメータに対応する曲調パラメータ」は、取得された曲調パラメータと完全に一致する曲調パラメータに限らず、例えば、取得された曲調パラメータと一部が一致する曲調パラメータや、取得された曲調パラメータを含む所定範囲内に含まれる曲調パラメータ、等を含んでよい。
　次に、制御部１１は、通信部１４を介して、特定された楽曲に対応する楽曲データを取得し、該取得された楽曲データを再生するように音声再生部１３を制御する（ステップＳ３０６）。
　ここで、取得された曲調パラメータに対応する曲調パラメータを有する楽曲が複数特定された場合、制御部１１は、特定された複数の楽曲に夫々対応する複数の楽曲データを順次再生するように、音声再生部１３を制御する。尚、複数の楽曲データに、効果音に係る楽曲データが含まれる場合、該効果音に係る楽曲データが、他の楽曲データと同時に再生されてもよい。
　尚、上述のステップＳ３０１の処理において、閲覧要求がされた一の書籍に対応する電子書籍データが、電子書籍端末１０に予め格納されている場合、制御部１１は、該格納されている電子書籍データを読み込んでよい。同様に、上述のステップＳ３０６の処理において、特定された楽曲に対応する楽曲データが、電子書籍端末１０に予め格納されている場合、制御部１１は、該格納されている楽曲データを再生してよい。
　表示ページが一のページから他のページに変わった場合、他のページに係る曲調パラメータに対応する曲調パラメータを有する楽曲に、一のページが表示されていたときに再生されていた楽曲が含まれている場合、該楽曲の再生が継続されてもよいし、他の楽曲の再生が開始されてもよい。
　本実施例では、本発明に係る「テキスト分類情報」の一例として、曲調パラメータを挙げたが、該曲調パラメータに加えて、例えば書籍のジャンル、出版年、出版地等も、本発明に係る「テキスト分類情報」として用いられてよい。この場合、例えばジャンル、出版年、出版地等で、楽曲の絞りこみを行えば、書籍の内容により適した楽曲が再生されることになり、実用上非常に有利である。
　更に、例えば書籍名と、映像作品名と、該映像作品に係るサウンドトラックの収録曲とを対応付けるデータベースを予め用意し、該データベースに含まれる書籍の閲覧要求が合った場合には、対応するサウンドトラックの収録曲のうち曲調パラメータに対応する楽曲が優先的に選択されてよい。
　実施例に係る「制御部１１」、「通信部１４」、「電子書籍データ」及び「楽曲データ」は、夫々、本発明に係る「決定手段」、「取得手段」、「テキストデータ」及び「サウンドデータ」の一例である。実施例に係る「表示部１２」及び「音声再生部１３」は、本発明に係る「出力手段」の一例である。
　＜第２実施例＞
　本発明の端末装置等に係る第２実施例について、図９及び図１０を参照して説明する。第２実施例では、電子書籍端末の構成及び閲覧処理が一部異なる以外は、上述した第１実施例と同様である。よって、第２実施例について、第１実施例と重複する説明を省略すると共に、図面上における共通箇所には同一符号を付して示し、基本的に異なる点についてのみ、図９及び図１０を参照して説明する。
　図９において、システム２００は、電子書籍端末１０ａ、書籍サーバ２０及び楽曲サーバ３０を備えて構成されている。電子書籍端末１０ａは、制御部１１、表示部１２、音声再生部１３、通信部１４及び文章解析部１５を備えて構成されている。
　文章解析部１５は、上述した文章解析部２１と同様に、先ず、解析すべき電子書籍データを読み込む。続いて、文章解析部１５は、電子書籍データを構成するテキストデータの構造化処理を行う。次に、文章解析部１５は、形態素解析を実施し、例えば１ページ毎に形態素解析の結果に基づく曲調パラメータを求める。
　文章解析部１５は、典型的には、ユーザにより閲覧要求がされた書籍に対応する電子書籍データについて、上述の文章解析処理を行う。尚、文章解析部１５による文章解析処理の結果は、書籍サーバ２０のテキスト解析結果管理部２４に、通信部１４を介して格納されてよい。
　次に、閲覧処理について、図１０のフローチャートを参照して説明する。
　図１０において、電子書籍端末１０ａのユーザにより一の書籍の閲覧要求がされた場合、該電子書籍端末１０ａの制御部１１は、通信部１４を介して、閲覧要求がされた一の書籍に対応する電子書籍データを読み込む。続いて、制御部１１は、ユーザにより指定されたページに対応する１ページ分のテキストデータを、読み込まれた電子書籍データから取得する（ステップＳ４０１）。
　次に、制御部１１は、取得されたテキストデータに対して、上述した文書解析処理の一部としての、形態素解析を実施する（ステップＳ４０２）。形態素解析により、例えば図６に示すような結果が得られる。
　次に、制御部１１は、例えば、通信部１４を介して、書籍サーバ２０の辞書データベース２３に予め格納されている単語と曲調パラメータとの対応関係を規定するテーブル（図７参照）を参照して、形態素解析により抽出された単語毎に対応する曲調パラメータを特定する（ステップＳ４０３）。
　次に、制御部１１は、特定された曲調パラメータの、例えば平均値を求め、ユーザにより指定されたページに係る曲調パラメータを求める（ステップＳ４０４）。
　次に、制御部１１は、通信部１４を介して、楽曲サーバ３０の楽曲特徴量データベース３３に問合せ、取得された曲調パラメータに対応する曲調パラメータを有する楽曲を特定する。そして、制御部１１は、通信部１４を介して、特定された楽曲に対応する楽曲データを取得し（ステップＳ４０５）、該取得された楽曲データを再生するように音声再生部１３を制御する（ステップＳ４０６）。
　＜第１変形例＞
　上述した第１実施例及び第２実施例に係る第１変形例について説明する。本変形例では、例えば１段落毎に文書解析の結果（即ち、曲調パラメータ）が関連付けられるものとする。
　電子書籍端末１０又は１０ａの制御部１１は、例えば、閲覧要求がされた一の書籍に対応する電子書籍データの一のページが表示されてから、該一のページの次のページが表示されるまでの時間を求める。続いて、制御部１１は、該求められた時間と、例えば一のページに含まれる文字数等とから、ユーザの読み進む速さを検出する。
　読み進む速さは、一の書籍の閲覧時に、例えば表示ページが更新される度に（つまり、ページがめくられる度に）、検出、更新される。
　表示されたページの途中で段落が変わっている場合、制御部１１は、一の段落に関連付けられた曲調パラメータと、該一の段落に続く他の段落に関連付けられた曲調パラメータとが一致しているか否かを判定する。
　一の段落に関連付けられた曲調パラメータと、他の段落に関連付けられた曲調パラメータとが一致していないと判定された場合、制御部１１は、ユーザの読み進む速さに基づいて、該ユーザが他の段落を読み始める時（例えば、ページが表示されてからの経過時間）を推定する。そして、制御部１１は、ユーザが他の段落を読み始めた時に、一の段落に関連付けられた曲調パラメータに対応する楽曲データに代えて、他の段落に関連付けられた曲調パラメータに対応する楽曲データを取得して再生するように音声再生部１３を制御する。
　＜第２変形例＞
　上述した第１実施例及び第２実施例に係る第１変形例について説明する。本変形例でも、例えば１段落毎に文書解析の結果（即ち、曲調パラメータ）が関連付けられるものとする。
　本変形例では特に、電子書籍端末が、視線検出手段（図示せず）を備えている。ここで、視線検出手段は、例えば、ユーザの顔を照らす赤外線ＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）と、赤外線で照らされたユーザの顔を撮影する赤外線カメラと、該赤外線カメラにより撮影された画像を解析してユーザの視線を検出する画像処理部と、を備えて構成されている。尚、視線検出方法については、公知の各種態様を適用可能であるので、その詳細についての説明は割愛する。
　表示されたページの途中で段落が変わっている場合、制御部１１は、一の段落に関連付けられた曲調パラメータと、該一の段落に続く他の段落に関連付けられた曲調パラメータとが一致しているか否かを判定する。
　一の段落に関連付けられた曲調パラメータと、他の段落に関連付けられた曲調パラメータとが一致していないと判定された場合、制御部１１は、視線検出手段により検出されたユーザの視線に基づいて、ユーザが他の段落を読み始めた時に、一の段落に関連付けられた曲調パラメータに対応する楽曲データに代えて、他の段落に関連付けられた曲調パラメータに対応する楽曲データを取得して再生するように音声再生部１３を制御する。
　尚、一の書籍に関連する映像作品に係るサウンドトラックの収録曲が、該一の書籍の閲覧時に再生される場合、例えば形態素解析により抽出された登場人物の名称を含む曲名を有する収録曲（例えば、“○○のテーマ”等）が、曲調パラメータにかかわらず再生されてもよい。或いは、サウンドトラックの収録曲の曲名に、例えば「プロローグ」、「エンディング」、「決闘」等、物語の場面を示す曲名がある場合、該曲名を有する収録曲が、ページ数や、形態素解析により抽出された単語の出現頻度に基づいて再生されてもよい。或いは、ページ数に応じて、サウンドトラックの収録曲が収録順に再生されてもよい。
　本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う端末装置、コンテンツ出力方法、コンピュータプログラム及びシステムもまた本発明の技術的範囲に含まれるものである。
　１０、１０ａ…電子書籍端末、１１…制御部、１２…表示部、１３…音声再生部、１４…通信部、１５、２１…文章解析部、２０…書籍サーバ、２２…電子書籍データベース、２３…辞書データベース、２４…テキスト解析結果管理部、３０…楽曲サーバ、３１…曲調解析部、３２…楽曲データベース、３３…楽曲特徴量データベース、４０…ネットワーク、１００、２００…システム

Claims (9)

  1. 　テキストデータを含むコンテンツと、前記テキストデータ全体、又は前記テキストデータの複数の部分毎に関連付けられており、前記テキストデータ全体、又は前記テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得手段と、
    　前記取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段と、
    　前記取得されたテキストデータの少なくとも一部を出力すると共に、前記決定された一又は複数のサウンドデータのうち、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段と、
    　を備えることを特徴とする端末装置。
  2. 　前記出力された少なくとも一部の途中で、前記テキスト分類情報が一のテキスト分類情報から他のテキスト分類情報に変化する場合、前記出力手段は、当該端末装置のユーザが、前記他のテキスト分類情報に関連付けられたテキストデータを読み始めた時に、前記一のテキスト分類情報に対応するサウンドデータに代えて、前記他のテキスト分類情報に対応するサウンドデータを出力することを特徴とする請求項１に記載の端末装置。
  3. 　前記出力手段は、前記ユーザの読み進む速さを検出し、前記検出された読み進む速さに基づいて、前記ユーザが前記他のテキスト分類情報に関連付けられたテキストデータを読み始めた時を特定することを特徴とする請求項２に記載の端末装置。
  4. 　前記ユーザの視線を検出する視線検出手段を更に備え、
    　前記出力手段は、前記視線検出手段からの出力信号に基づいて、前記ユーザが前記他のテキスト分類情報に関連付けられたテキストデータを読み始めた時を特定する
    　ことを特徴とする請求項２に記載の端末装置。
  5. 　前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータが複数存在する場合、前記出力手段は、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応する複数のサウンドデータを、順次出力することを特徴とする請求項１に記載の端末装置。
  6. 　前記テキストデータ全体、又は前記テキストデータの複数の部分毎に含まれる複数の単語各々に対応し、曲調を示す一又は複数のパラメータである曲調パラメータを決定すると共に、前記決定された曲調パラメータに基づき、前記テキスト分類情報を決定する分類決定手段を更に備え、
    　前記分類決定手段は、前記テキストデータ全体、又は前記テキストデータの複数の部分毎に、前記複数の単語のうち初出の単語に対応する曲調パラメータに係る重みを、前記複数の単語のうち他の単語に対応する曲調パラメータに係る重みよりも大きくし、前記テキスト分類情報を決定する
    　ことを特徴とする請求項１に記載の端末装置。
  7. 　テキストデータを含むコンテンツと、前記テキストデータ全体、又は前記テキストデータの複数の部分毎に関連付けられており、前記テキストデータ全体、又は前記テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得工程と、
    　前記取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定工程と、
    　前記取得されたテキストデータの少なくとも一部を出力すると共に、前記決定された一又は複数のサウンドデータのうち、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力工程と、
    　を備えることを特徴とするコンテンツ出力方法。
  8. 　端末装置に搭載されたコンピュータを、
    　テキストデータを含むコンテンツと、前記テキストデータ全体、又は前記テキストデータの複数の部分毎に関連付けられており、前記テキストデータ全体、又は前記テキストデータの複数の部分毎の分類を示すテキスト分類情報と、を取得する取得手段と、
    　前記取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段と、
    　前記取得されたテキストデータの少なくとも一部を出力すると共に、前記決定された一又は複数のサウンドデータのうち、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段と、
    　として機能させることを特徴とするコンピュータプログラム。
  9. 　テキストデータを含むコンテンツにテキスト解析処理を施して、前記テキストデータ全体又は前記テキストデータの複数の部分毎に関連付けられており、前記テキストデータ全体、又は前記テキストデータの複数の部分毎の分類を示すテキスト分類情報を求め、前記求められたテキスト分類情報を格納するサーバ装置と、
    　前記コンテンツ及び前記コンテンツに含まれるテキストデータの少なくとも一部に関連付けられたテキスト分類情報を前記サーバ装置から取得する取得手段と、前記取得されたテキスト分類情報に対応する一又は複数のサウンドデータを決定する決定手段と、前記取得されたテキストデータの少なくとも一部を出力すると共に、前記決定された一又は複数のサウンドデータのうち、前記出力された少なくとも一部に関連付けられたテキスト分類情報に対応するサウンドデータを取得して出力する出力手段と、を備える端末装置と、
    　を備えることを特徴とするシステム。
PCT/JP2015/050171 2015-01-06 2015-01-06 端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム Ceased WO2016110947A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/050171 WO2016110947A1 (ja) 2015-01-06 2015-01-06 端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/050171 WO2016110947A1 (ja) 2015-01-06 2015-01-06 端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム

Publications (1)

Publication Number Publication Date
WO2016110947A1 true WO2016110947A1 (ja) 2016-07-14

Family

ID=56355672

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/050171 Ceased WO2016110947A1 (ja) 2015-01-06 2015-01-06 端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム

Country Status (1)

Country Link
WO (1) WO2016110947A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297157A (ja) * 2001-03-30 2002-10-11 Yamaha Corp 情報送受信装置、情報送受信方法並びに記憶媒体
JP2004004409A (ja) * 2002-03-27 2004-01-08 Fujitsu Ltd 教材不具合箇所通知方法及び教材不具合箇所通知装置
JP2011216071A (ja) * 2010-03-15 2011-10-27 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2011243108A (ja) * 2010-05-20 2011-12-01 Nec Corp 電子ブック装置及び電子ブック操作方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002297157A (ja) * 2001-03-30 2002-10-11 Yamaha Corp 情報送受信装置、情報送受信方法並びに記憶媒体
JP2004004409A (ja) * 2002-03-27 2004-01-08 Fujitsu Ltd 教材不具合箇所通知方法及び教材不具合箇所通知装置
JP2011216071A (ja) * 2010-03-15 2011-10-27 Sony Corp 情報処理装置、情報処理方法及びプログラム
JP2011243108A (ja) * 2010-05-20 2011-12-01 Nec Corp 電子ブック装置及び電子ブック操作方法

Similar Documents

Publication Publication Date Title
JP5030617B2 (ja) デジタル・オーディオ・プレーヤ上でｒｓｓコンテンツをレンダリングするためのｒｓｓコンテンツ管理のための方法、システム、およびプログラム（デジタル・オーディオ・プレーヤ上でｒｓｓコンテンツをレンダリングするためのｒｓｓコンテンツ管理）
US20090307207A1 (en) Creation of a multi-media presentation
US9729907B2 (en) Synchronizing a plurality of digital media streams by using a descriptor file
US8548243B2 (en) Information processing device, information processing method, and program
US10805111B2 (en) Simultaneously rendering an image stream of static graphic images and a corresponding audio stream
JP5634853B2 (ja) 電子コミックのビューワ装置、電子コミックの閲覧システム、ビューワプログラム、ならびに電子コミックの表示方法
US20120259634A1 (en) Music playback device, music playback method, program, and data creation device
JP2003330777A (ja) データファイル再生装置、記録メディア、データファイル記録装置及びデータファイル記録プログラム
JP2011145694A (ja) トーキングｅブック
EP2442299B1 (en) Information processing apparatus, information processing method, and program
KR101042585B1 (ko) 음악 재생 장치 및 음악 재생 방법
WO2016110947A1 (ja) 端末装置、コンテンツ出力方法、コンピュータプログラム及びシステム
JP2005285285A (ja) コンテンツ読出装置及び楽曲再生装置
Bernstein Making Audio Visible: The Lessons of Visual Language for the Textualization of Sound
JP2007226880A (ja) 再生装置、検索方法、及び、コンピュータプログラム
JP6129977B2 (ja) アノテーション共有方法、アノテーション共有装置及びアノテーション共有プログラム
KR20010026276A (ko) 애니메이션을 제공하는 음악 재생 방법 및 장치
JP2005051706A (ja) 画像再生装置及び画像再生プログラム
KR100622101B1 (ko) 악보 및 노래를 이용한 암기 학습 시스템 및 그 기록매체
Byron et al. This Is How We Do It: An Approach to Hooks
KR100689417B1 (ko) 복수의 파일 연결 재생장치 및 방법
KR200202690Y1 (ko) 전자 음악/영화 주문장치
JP2011076485A (ja) コンテンツ情報表示制御装置およびそのプログラム
JP5605083B2 (ja) 映像再生装置及び映像再生プログラム
JP2006313467A (ja) コンテンツ検索装置及びコンテンツ検索方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15876825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15876825

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP