WO2006109767A1 - 音声再生方法、文字コード利用装置、配信サービスシステム、及び文字コード管理方法 - Google Patents

音声再生方法、文字コード利用装置、配信サービスシステム、及び文字コード管理方法 Download PDF

Info

Publication number
WO2006109767A1
WO2006109767A1 PCT/JP2006/307557 JP2006307557W WO2006109767A1 WO 2006109767 A1 WO2006109767 A1 WO 2006109767A1 JP 2006307557 W JP2006307557 W JP 2006307557W WO 2006109767 A1 WO2006109767 A1 WO 2006109767A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
character
character code
symbol
voice
Prior art date
Application number
PCT/JP2006/307557
Other languages
English (en)
French (fr)
Inventor
Tadahiko Munakata
Original Assignee
Sharp Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Kabushiki Kaisha filed Critical Sharp Kabushiki Kaisha
Priority to EP06731504A priority Critical patent/EP1876522A1/en
Priority to JP2007512995A priority patent/JPWO2006109767A1/ja
Priority to US11/911,337 priority patent/US20090063152A1/en
Publication of WO2006109767A1 publication Critical patent/WO2006109767A1/ja

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems

Definitions

  • the present invention relates to a sound reproduction method, a character code utilization device, a distribution service system, and a character code management method for simultaneously reproducing sound or sound when displaying characters or symbols.
  • a terminal with an e-mail function usually stores an emoticon and sound data corresponding to the e-mail function so that when viewing an e-mail in which the emoji is described,
  • an emoticon and sound data corresponding to the e-mail function so that when viewing an e-mail in which the emoji is described.
  • there is a technology that reproduces and outputs sound data corresponding to pictograms. are listed.
  • the present invention has been made in view of such a situation, and by adding sounds in addition to characters and symbols to a character code, the power of expression is increased by using sounds on the Internet, e-mail, or the like. Is to be able to.
  • the present invention has been made to solve the above-described problems, and records character codes on electronic devices with reference to character codes by associating character codes with not only characters and symbols but also sounds and voices.
  • the corresponding sound and voice recorded on the electronic device can be played at the same time as the corresponding characters and symbols are displayed, making it possible to create a sentence with rich expressiveness in line with the intention of the sentence creator. It becomes possible.
  • the sender in an e-mail, a messenger, a web site, etc., the sender can convey the intended sound to the recipient, thereby increasing the expressive power and accurately conveying the intention.
  • FIG. 1 is a functional block diagram showing a configuration of an electronic mail terminal as a character code utilization device according to a first embodiment of the present invention.
  • FIG. 2 shows character code management data recorded in the audio reproduction method of the present embodiment. It is a conceptual block diagram of one Example of the character code recording part to do.
  • FIG. 3 is a conceptual configuration diagram of a variation of the character code recording unit for recording the character code management data shown in FIG.
  • FIG. 4 is a flowchart of an example of an input method in an electronic mail terminal as a character code utilization device of the present embodiment.
  • FIG. 5 is a flowchart of a received mail display and sound reproduction method in an electronic mail terminal as a character code utilization device according to the present embodiment.
  • FIG. 6 shows the voice reproduction and display of the received mail including the character code that is associated with the voice, voice or voice together with the electronic mail terminal as the character code using apparatus according to the present embodiment. It is explanatory drawing of an example of a method.
  • FIG. 7 shows a display device for a character code associated with a sound or voice included in a received mail in an electronic mail terminal as a character code utilization device according to the present embodiment. It is the figure which showed the example of a display.
  • FIG. 8 shows a modification of the display screen of the display device that displays the text string of the content of the received mail in the electronic mail terminal as the character code using device according to the present embodiment, and this display screen. It is explanatory drawing of the audio
  • FIG. 9 is a conceptual configuration diagram of an example of a character code recording unit for recording character code management data in the audio reproduction method according to the second embodiment of the present invention.
  • FIG. 10 is an example of a method of inputting sound or voice recorded without being associated with characters or symbols in the electronic mail terminal as the character code using device of the present embodiment. It is a flowchart.
  • FIG. 11 is a list of character codes showing the correspondence between character codes associated only with sounds and word data indicating the contents of the sounds or sounds in the sound reproduction method according to the present embodiment. It is a screen display example of a display.
  • FIG. 12 is an example of an e-mail creation screen using the audio playback method according to the present embodiment.
  • FIG. 13 is an example of an e-mail reception screen using the audio playback method according to the present embodiment.
  • FIG. 14 is a diagram showing an example of an e-mail using a character code in which only a sound is associated with the title part of the e-mail using the audio reproduction method according to the present embodiment.
  • FIG. 15 is a configuration diagram of a distribution service system according to an embodiment of the present invention.
  • a first embodiment of an audio reproduction method of the present invention and a character code utilization apparatus to which the audio reproduction method is applied will be described below with reference to FIGS.
  • FIG. 1 is a functional block diagram showing a configuration of an electronic mail terminal as a character code utilization device according to the first embodiment of the present invention.
  • the electronic mail terminal 10 includes an input device 11, a display device 12, a communication device 13, a control unit 14, a spinning force 15, a recording unit 16, and a mailer (mail client) 17.
  • the input device 11 includes an instruction key for instructing creation, transmission, reception, and browsing of an e-mail, a character key and a symbol key used for creating an e-mail content, an e-mail content, and the like. Operation keys such as scroll keys used for creating, browsing, etc. are provided for the user to perform input operations and setting instruction operations.
  • D Liquid Crystal Display
  • ELD Electro Luminescence Displ a y
  • the communication device 13 is for transmitting and receiving various types of information including electronic mail to and from a communication company server 'computer connected to the electronic mail terminal 10.
  • the control unit 14 controls each component of the electronic mail terminal 10.
  • the speaker 15 is used to output various information including the contents of the received mail.
  • the recording unit 16 is for storing transmitted / received e-mails and recording various kinds of information used for e-mail creation, transmission / reception, browsing, and the like.
  • the recording unit 16 includes a character code recording unit 16a, a character recording unit 16b, and a sound recording unit 16c. Is provided.
  • the character code recording unit 16a records character code management data.
  • the character code management data is data for managing the correspondence between the character or symbol recorded in association with each character code and the sound or voice recorded in association with each character code.
  • the character recording unit 16b records character data and symbol data such as kana input reading and display data for conversion for each character and symbol recorded in association with the character code.
  • the sound recording unit 16c records sound data for generating various sounds or sounds from the speaker 15.
  • the mailer 17 is used to create, send and receive e-mails, and to store and manage received e-mails, and causes the control unit 14 to function as e-mail storage and management means.
  • FIG. 2 is a conceptual configuration diagram of an example of a character code recording unit that records character code management data in the audio reproduction method of the present embodiment.
  • FIG. 3 is a conceptual configuration diagram of a modification of the character code recording unit for recording the character code management data shown in FIG.
  • the character code recording unit 16a has a configuration in which a character or symbol Qc and a sound or voice are recorded in association with the character code Q, respectively. Yes.
  • the character (or symbol) Qc is the character data or symbol data stored in the character recording unit 16b described above, and the corresponding character data or symbol data is not the character data itself. It is identification data for specifying among various character data and symbol data recorded in 16b. Similarly, the sound Qs is used to specify the central force of various audio data recorded in the sound recording unit 16c, not the audio data itself recorded in the sound recording unit 16c. Represents identification data.
  • the character code recording unit 16a shown in FIG. 2 is a character code recording unit 16a in the case where a single sound (or voice) Q S is provided corresponding to one character (or symbol) Qc. The configuration is shown.
  • the character code aOOl is associated with the kanji character “smile” (ie, the identification data of the kanji character “smile”) and the sound A
  • the character code bOOl is associated with the kanji character.
  • “Cry” ie, the identification data of the Chinese character “Cry”
  • the character “Thunder” ie, the identification data of the Chinese character “Thunder”
  • the sound C is associated with each other and is recorded!
  • the character code recording unit 16a shown in FIG. 3 records character codes when a plurality of sounds (or voices) Qs are provided corresponding to one character (or symbol) Qc.
  • the configuration of part 16a is shown.
  • the same kanji “smile” and different sounds A1 to A3 are associated with the character codes a001 to a003, respectively, and the character codes a001 to The same kanji “smile” as in the case of a003 is associated, but the sound is not associated. That is, even if the same character (or symbol) Qc has a plurality of corresponding sounds (or sounds) Qs, the same character (or characters) for a plurality of character codes Q for each sound (or sound) Qs. (Or symbol) Qc is related.
  • B2 force is recorded in association with different character codes b003 and b004.
  • FIG. 4 is a flowchart of an example of an input method in an electronic mail terminal as a character code utilization device according to the present embodiment.
  • the user inputs a mail creation instruction by a predetermined operation of the input device 11.
  • the control unit 14 activates the mailer 17 and enters a mail creation mode. Under the control of this mailer 17, the control unit 14 controls the display device 12, communication device 13, speaker 15, and recording unit 16 in the mail creation mode. To do.
  • the user confirms that the mail creation mode by the mailer 17 has been activated by, for example, displaying a mail creation screen displayed on the display device 12. Thereafter, the user inputs characters or symbols by using the character keys or symbol keys of the input device 11 and creates and inputs mail.
  • Step S41 the user determines whether the input is a character or a symbol (step S41), and if it is a character, inputs the kana reading from the input device 11. (Step S42).
  • the mail creation mode control unit 14 stores the character data corresponding to the input kana character in the recording unit 16 in step 43. Called from the recording unit 16b and temporarily stored as conversion display character candidates. At that time, the control unit 14 records a plurality of character data corresponding to powerful input readings in the character recording unit 16b, and each of the plurality of different character data corresponding to the same readings. Called from the character recording unit 16b as separate conversion display character candidates and temporarily stored.
  • control unit 14 refers to the character code recording unit 16a and records the same identification data correspondingly for each piece of identification data temporarily stored as conversion display candidates in this way. Search for the character code. Then, the control unit 14 generates a plurality of conversion candidates for each character code even for the same character data in association with the searched character code.
  • the control unit 14 includes each character code.
  • the characters having the same character data as the number (type) of character codes are displayed on the display device 12 as different conversion candidates.
  • the control unit 14 corresponds to the character code associated with sound or voice.
  • the characters of conversion candidate character data to be displayed a symbol indicating that is added to the display character of the corresponding conversion candidate, and no sound or voice is associated. Change the color of the display character with the display character corresponding to the character code.
  • control unit 14 indicates that the sound or the sound is also associated between them.
  • the symbol that represents is further displayed by distinguishing it by changing the color or changing the color.
  • the control unit 14 inputs each of these conversion candidate characters to the user's input. It is related to the character code by the user by sequentially displaying it on the display device 12 based on the conversion operation from the device 11 or by simultaneously displaying the display characters of these conversion candidates on the display device 12 at the same time. Lets you select selected characters and sounds or sounds.
  • the control unit 14 selects the conversion candidate selected based on the selection instruction from the input device 11, as shown in step S44. It is possible to discriminate whether the character is due to a character code that is associated with a sound code associated with sound or speech, or a character code that is associated with neither sound nor sound.
  • the determination based on the character code in which neither sound nor sound is associated is based on the character code in which sound or sound is associated with the same character itself.
  • the same character as the character itself may have a character code associated with sound or speech, but the same character may have a character code that is not associated with the medium sound or sound. The case where is selected is included.
  • the control unit 14 determines the character ( Step S45).
  • the control unit 14 Referring to the code recording unit 16a, the sound or sound associated with the character code is called from the sound recording unit 16c, and the associated sound or sound is reproduced and output from the speaker 15 (step S46).
  • step S45 the user performs a confirmation instruction operation by the input device 11 and confirms the reproduced sound, and the character code in which the reproduced sound or voice is associated with it. Confirm the character by (step S45).
  • the user returns to step S43 in which the confirmation instruction operation by the input device 11 is not performed, displays the conversion candidate again, and displays the desired conversion associated with the character code. Select the character again.
  • the character associated with the selected character code is associated with sound or voice. If the character is not a character, it is confirmed as it is by the selection operation. On the other hand, if the character associated with the selected character code is a character to which sound or speech is associated, the associated sound or After generating the replayed sound, the force is confirmed after confirmation by the user of the 11 input devices.
  • the generation of playback sound for the character with which the selected sound or sound selected in step S46 is associated is set in the confirmation skip mode by the input device 11, for example, the sound of the character code recording unit 16a (or (Speech) Qs (See Fig. 2 and Fig. 3)
  • the control unit 14 associates a sound or a voice together!
  • a character associated with the character code is selected, first check the occurrence / confirmation omission mode and set the occurrence / confirmation omission mode.
  • step S46 If not, execute the generation and confirmation operation of the playback sound in step S46, and if the occurrence 'confirmation omission mode is set, the selected character is associated with sound or voice. As in the case of a character associated with a non-character code, it can be confirmed as it is (step S45).
  • step S41 when composing mail, the user determines whether the input is a character or a symbol (step S41).
  • the list display instruction is input (step S41).
  • step 47 When an instruction to display a list of symbols is supplied from the input device 11 to the mail creation mode control unit 14, in step 47, the registered symbol set is called from the character recording unit 16b of the recording unit 16, Temporarily accumulates as converted display character candidates.
  • control unit 14 refers to the character code recording unit 16a and records the same identification data for each identification data temporarily stored as conversion display candidates in this way. Search for the character code. Then, the control unit 14 generates a plurality of conversion candidates for each character code for the same symbol data in association with the searched character code. Therefore, if there are a plurality of character codes having identification data corresponding to the character code recording unit 16a with respect to the symbols of the symbol data called from the character recording unit 16b, the control unit 14 associates each character code with each character code. The same symbol data symbols as the number (type) of character codes are displayed on the display device 12 as separate conversion candidates.
  • the control unit 14 adds a symbol indicating that, changes the color, etc. It is configured to distinguish between the same symbol associated with a character code that is not associated with sound or speech, or the same symbol associated with a character code that is associated with other sound or speech. Yes.
  • Step S48 the control unit 14 determines that the selected symbol is a symbol associated with a character code that is associated with sound or speech, or a character that is not associated with sound or speech. Determine whether the symbol is associated with a chord (step S49), and if it is a symbol associated with a character code that is not associated with a sound or voice, confirm it (step S45). Is a symbol associated with the character code, the associated sound or the playback sound of the sound is generated (step S410) and supplied from the input device 11. Confirmation is performed by inputting a confirmation operation instruction by the user (step S45).
  • the control unit 14 uses a set of symbols registered in the character recording unit 16b based on an instruction to display a list of symbols from the input device 11. A list is displayed on the display device 12 and a desired symbol is selected from the list.
  • the input method is not limited to this, and by assigning readings to symbols in advance, the same procedure as in the case of characters is used. It can also be set as the structure which inputs.
  • the e-mail created by the e-mail terminal as the character code using device of the present embodiment is reconfigured into the corresponding character code and received by the user via the input device 11.
  • the control unit 14 is sent to the server of the sender's telecommunication company via the communication device 13 and sent to the receiving side e-mail. Sent to an address.
  • a plurality of sounds for one character data character or symbol data symbol called from the character recording unit 16b.
  • sounds are included in one sound among multiple sounds
  • the display method of the conversion candidate selection candidate is not limited to this.
  • a plurality of sounds are associated with the characters of one character data or the symbol data, they are not displayed in duplicate on the display device 12 as described above. Initially, it is displayed as a selection candidate as a symbol of the symbol data. Only when the character or symbol data of one character data to which the voice is associated is selected, as a definite candidate, it is associated with the character or symbol data of this one character data! It is also possible to display each sound and select and confirm the sound.
  • the configuration of the receiving-side e-mail terminal is the same as that of the transmitting-side e-mail terminal 10 shown in FIG. 1. Therefore, in the description thereof, the same components are denoted by the same names and the same reference numerals. explain.
  • FIG. 5 is a flowchart of the received mail display and sound reproduction method in the electronic mail terminal as the character code utilization apparatus according to the present embodiment.
  • the user inputs a mail reception instruction by a predetermined operation of the input device 11.
  • control unit 14 When a mail reception instruction is supplied from the input device 11, the control unit 14 activates the mailer 17 and enters a mail reception mode. Under the control of the mailer 17, the control unit 14 controls the display device 12, the communication device 13, the speaker 15, and the recording unit 16 in the mail reception mode.
  • the user confirms that the mail reception mode by the mailer 17 has been activated by, for example, displaying a mail reception screen displayed on the display device 12, and then uses the input device 11 to perform a desired reception. Open the mail.
  • the control unit 14 when controlled by the mailer 17, receives an instruction to open a desired received mail from the input device 11, the communication device 13
  • the server receives the received mail corresponding to the server of the telecommunications company on the receiver side through the computer, and stores it in a received mail storage area (not shown) of the storage unit 16.
  • control unit 14 records, in the recording unit 16, whether or not a sound or voice is assigned to each character code constituting the content of the received received mail.
  • the character code recording unit 16a is analyzed for analysis (step S51).
  • control unit 14 refers to the character code recording unit 16a and determines that the analyzed character code is a character code associated with sound or voice
  • the control unit 14 uses the character recording unit 16b.
  • the associated character data or symbol data is called, and the sound or voice data associated with the sound recording unit 16c is called (steps S52 and S54).
  • the control unit 14 determines from the character recording unit 16b that the analyzed character code is associated with a sound or a voice. Only the associated character or symbol is called (step S56).
  • control unit 14 reproduces and outputs the sound data of the sound or voice called from the sound recording unit 16c in step S54 from the speaker 15 at a predetermined timing (step S55).
  • FIG. 6 illustrates an example of a method for reproducing and displaying a voice of a received mail including a character code that is associated with sound or voice in the electronic mail terminal as a character code utilization device according to the present embodiment.
  • FIG. 6 shows a method of reproducing a character code associated with a sound or voice for each row or column.
  • the user performs a predetermined operation on the input device 11, for example, “It's time“ alarm clock ”, good morning. Unfortunately, it's raining today.
  • the received mail of the Japanese sentence with the symbol “” is displayed on the screen (note that the “” part of the sentence indicated by the “” part is represented by pictographs).
  • the control unit 14 associates sound or voice with the first line of the designated constituent part. It is determined whether or not it contains a display of characters or symbols associated with the character code.
  • the control unit 14 associates it with the character code.
  • the sound data of the corresponding sound or sound is called from the sound recording unit 16c, and Playback and output from the speaker 15 as a corresponding sound or voice.
  • the “alarm clock” pictogram in the figure is a symbol according to the character code associated with the sound, and the control unit 14 associates the character code with the character code from the sound recording unit 16c.
  • the voice data (alarm sound such as “Jiririri”) that was called up is reproduced and output from the speaker 15.
  • the control unit 14 designates this.
  • the second line of the component part it is related to the character code associated with the sound or the voice, and the character or symbol is included in the display, and it is determined whether or not the power is correct. If the second line of the received mail as the designated component contains a character code of a character or symbol that is associated with a sound or voice, the control unit 14 The sound data of the corresponding sound or voice associated with the keyboard is called from the sound recording unit 16c, and reproduced and output from the speaker 15 as sound or voice corresponding to the character or symbol.
  • the pictograph “rain cloud” in the figure corresponds to a symbol by a character code associated with sound, and the control unit 14 associates the character code with the character code from the sound recording unit 16c.
  • the voice data that was called (rain sound, such as “The One”) is played back and output from the speaker 15.
  • sound or voice is applied to a corresponding part such as a line, a sentence, a phrase, or a designated range part arbitrarily designated by the user, for example, a constituent part of the received mail designated by the user through a predetermined operation of the input device 11.
  • the control unit 14 is set in advance for the control unit 14 by a predetermined operation of the user input device 11 and stored in the storage unit 16. According to the sound reproduction mode, the sound or sound is reproduced and output from the speaker 15 as sound or sound corresponding to the character or symbol by the character code associated with the sound or sound.
  • the control unit 14 sets the sound recording unit 16c in the order of appearance of the characters or symbols by the character code associated with the sound or the sound included in the corresponding part.
  • the sound or voice data associated with the character code is sequentially called from and sequentially reproduced and output from the speaker 15.
  • the control unit 14 For example, if the first playback mode is set, the character or symbol with the character code associated with the sound or sound included in the corresponding part is the character associated with the sound or sound that appears first.
  • the control unit 14 selects the corresponding sound or voice corresponding to the character code associated with the remaining sound or voice included in the corresponding part. It is configured to omit playing sound or voice.
  • control unit 14 which does not designate a corresponding part such as a line, a sentence, a phrase, or a designated range part arbitrarily designated by the user as a constituent part of the received mail, includes one or more received mail contents.
  • the specified destination is scanned manually or automatically, and a character or symbol with a character code associated with the sound or sound is specified, the sound associated with the character code of the corresponding character or symbol is specified.
  • FIG. 7 shows a display example on the display device for the character code associated with the sound or voice included in the received mail in the electronic mail terminal as the character code using device according to the present embodiment.
  • control unit 14 displays the content of the e-mail including characters or symbols associated with the character codes associated with sound or voice on the screen of the display device 12, A character or symbol associated with a character code associated with sound or speech is displayed in a different display form from the character or symbol associated with a character code associated with neither sound or speech. It is configured as shown above.
  • Characters or symbols according to the character code shown in FIG. An example of the content of the e-mail including, “Unnotably, today is a tremendous thunder.
  • the kanji character “Thunder” is a character code with a sound or voice associated with it.
  • the control unit 14 distinguishes the other sounds or sounds from the characters or symbols by the character codes that are not associated with each other. “Thunder” is displayed on the screen of the display device 12 by reversing, flickering, adding symbols, and the like.
  • the sound or voice playback method corresponding to the Chinese character "Thunder”, which is a character code associated with the sound or voice, is designated by the user through a predetermined operation of the input device 11. It is also possible that the control unit 14 reproduces and outputs the sound or voice associated with the character code from the speaker 15 only when the
  • FIG. 8 shows a modification of the display screen of the display device that displays the text string of the content of the received mail in the electronic mail terminal as the character code utilization device according to the present embodiment, and the audio reproduction on this display screen. It is explanatory drawing of a method.
  • the text string of the received mail content is manually stored in a predetermined display area 12a on the screen of the display device 12 (for example, in a display area defined by a predetermined number or rows of display characters). Or, when the character corresponding to the character code associated with the sound or voice included in the text string is scrolled to a specific position in the display area 12a and is displayed while being automatically scrolled,
  • the control unit 14 is configured to detect this and reproduce and output the sound or sound associated with the character code from the speaker 15.
  • the characters associated with the sound included in the received mail content There are various methods for reproducing sounds or sounds corresponding to characters or symbols by codes, but the reproduction method is not limited to the above-described embodiment.
  • a character string for example, a Japanese character string "Today is unfortunately rainy” created with a mixture of kanji and kana characters in the received mail content (kanji “ “Now”)
  • a character or symbol for example 1 second
  • Allocating and displaying power of this character string may be configured to start reproduction output of the corresponding sound or voice from the speaker 15 after n-1 seconds (after 9 seconds).
  • a second embodiment of the voice reproduction method of the present invention and a character code utilization apparatus to which the voice reproduction method is applied will be described below with reference to FIGS.
  • the configuration of the e-mail terminal as the character code using device of the present embodiment is the same as the configuration of the e-mail terminal as the character code using device of the first embodiment shown in FIG. Therefore, the description about the structure is abbreviate
  • FIG. 9 is a conceptual configuration diagram of an example of a character code recording unit that records character code management data in the audio reproduction method of the present embodiment.
  • the character code recording unit 16a of the present embodiment is different from the character code recording unit 16a of the first embodiment shown in Figs.
  • the symbol Qc is not associated, and only the sound or voice Qs is associated and recorded.
  • FIG. 10 is a flowchart of an example of an input method of sound or voice recorded without being associated with characters or symbols in the electronic mail terminal as the character code utilization device of the present embodiment.
  • the user inputs a mail creation instruction by a predetermined operation of the input device 11.
  • control unit 14 activates the mailer 17 and enters a mail creation mode. Under the control of the mailer 17, the control unit 14 controls the display device 12, the communication device 13, the speaker 15, and the recording unit 16 in the mail creation mode.
  • the user confirms that the mail creation mode by the mailer 17 has been activated, for example, by displaying a mail creation screen displayed on the display device 12.
  • the control unit 14 in the mail creation mode records the character code of the recording unit 16 in step S101. Refer to the records in Part 16a, and search for the character codes that are recorded with only the sound or voice Qs but not the character or symbol Qc, and list the character codes with only the sound or voice. Is displayed on the display device 12.
  • control unit 14 may be stored in the sound recording unit 16c together with sound or voice data, for example, and may be displayed using word data indicating the content of the sound or voice.
  • FIG. 11 is a character code showing the correspondence between the character code associated with only the sound or the sound and the word data indicating the content of the sound or the sound in the sound reproduction method according to the present embodiment. It is an example of a screen display of the list display.
  • the user selects the character code of the sound or voice to be input from the list of character codes associated with only the sound or voice displayed on the display device 12 (or the sound or voice associated with the character code). Is selected by operating the input device 11.
  • the control unit 14 calls the sound or voice data stored in the sound recording unit 16c in association with the character code (step S102). Subsequently, the sound data of the called sound or voice is reproduced and output from the speaker 15 from the speaker 15 (step S103).
  • the user confirms the sound or sound reproduced from the speaker 15, and if it is confirmed that the sound or sound is the intended sound, the input device 11 inputs a confirmation operation instruction.
  • the control unit 14 performs the confirmation in response to the user's confirmation operation instruction input supplied from the input device 11 (step S104). On the other hand, if the sound or sound reproduced from the speaker 15 is not intended, the user selects it again.
  • FIG. 12 is an example of an e-mail creation screen using the audio playback method according to the present embodiment.
  • the control unit 14 causes the display device 12 to display the content of the e-mail that is being created or has been created, including the character code associated with only sound or voice. However, some corrections may be made later, so the background color is changed so that the character code associated with only the sound or voice is distributed in the content. Or flashing, or adding a specific symbol for display.
  • FIG. 13 is an example of an e-mail reception screen using the audio playback method according to the present embodiment.
  • FIG. 13 shows an example of receiving an e-mail created by combining a character code associated with only sound or voice and a character code associated with a character or symbol.
  • the receiver can reproduce the sound or sound intended by the sender (for example, cracker sound in the case of illustration) by a predetermined operation.
  • control unit 14 associates the sound or the voice by changing the background color or the like. May indicate that the specified character code exists.
  • the control unit 14 makes a sound similar to the case of the creation screen shown in FIG. 12 created by the sender.
  • the arrangement portion is displayed so that the character code associated with only the voice is arranged where it is arranged.
  • the electronic mail terminal 10 as the character code using device of the present embodiment is 14 is configured to automatically play the sound when receiving or opening.
  • FIG. 14 is a diagram showing an example of an e-mail using a character code in which only the sound or the voice is associated with the title part of the e-mail using the audio reproduction method according to the present embodiment. .
  • the title part has a voice that is also the voice of the announcer “Goal”. Assume that an e-mail has a character code associated with a message.
  • the control unit 14 sends it instead of the ring tone.
  • the sound or voice designated by the believer for example, “goal” in the figure, voice of announcer
  • the speaker 15 can be reproduced and output from the speaker 15.
  • a character code recording unit 16a provided in the storage unit 16 of the electronic mail terminal 10 as the character code utilization device shown in FIG. 2, FIG. 3, and FIG.
  • a distribution service system for distributing and storing character code management data and a character code management method thereof will be described below.
  • the character code recording unit 16a includes (1) a character code associated with only a character or symbol, (2) only a sound or a voice, as character code management data. Associated character code, (3) a character code associated with both a character or symbol and sound or speech, and (4) a character code associated with neither a character or symbol, nor sound or speech. There are four types of character code management data.
  • FIG. 15 is a configuration diagram of a distribution service system according to an embodiment of the present invention.
  • the character code transmission service system (distribution service system) 150 includes a character code management server 151, a transmission server 152, and a character code utilization device 153.
  • the character code management server 151 is installed in the manufacturer of the character code utilization device 153, an after-service company, a communication company, etc., and is connected to the transmission server (distribution server) 152. Yes. As a result, the character code management server 151 can transmit data to the character code utilization device 153 via the Internet 200 via the transmission server 152.
  • the character code management server 151 includes a character code management unit 151a, a character recording unit 151b, and a sound recording unit 151c.
  • the character code management unit 151a records and manages the latest character code management data. That is, (1) a character code associated with only a character or symbol, (2) a character code associated with only a sound or speech, and (3) both a character or symbol and a sound or speech associated with each other. Record management of four types of character code management data: (4) character or symbol, and character code to which neither sound nor voice is associated.
  • the character recording unit 151b records character data and symbol data such as kana input reading and display data for conversion for each character and symbol recorded in association with the character code.
  • the sound recording unit 151c records sound data for generating various sounds or sounds by the character code utilization device 153.
  • the administrator of the character code management server 151 stores the sound data. After recording in the sound recording unit 151c, the character data managing unit 151a associates the sound data with the corresponding character code.
  • the character code utilization device 153 for example, the operation of the electronic mail terminal 10 shown in Fig. 1 will be described as an example.
  • the updated character code management data and the character or symbol data or sound or voice data are transmitted via the communication device 13 to the e-mail terminal 10. Received by.
  • the control unit 14 records the received character code management data in the character code recording unit 16a of the recording unit 16.
  • the control unit 14 records the newly added or updated character or symbol data in association with the character code corresponding to the character recording unit 15 lb, and the newly added or updated sound or voice data is: Recorded in association with the character code corresponding to the sound recording unit 16b.
  • the character code management server 151 transmits the generated character code management data and sound data to each character code using device 153 and records them in each character code using device 153, so that the character code management server 151 can express the sound in a character. Can also be communicated.
  • kiosks and various memory cards may be used for data transmission.
  • a character code using device in which new data has already been recorded may be transmitted to an unrecorded character code using device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

 文字コードに文字や記号に加え、音を関連付けることによって、インターネットや電子メール等で音を利用して表現力を増すことができるようにする。  文字コードに文字や記号に加え、音を関連付け、文字コード利用装置に音データを文字コードと関連付けて記録することによって、文字コード利用装置の利用者が文字を表示するのと同様に、意図した音を再生することが可能となり、インターネットや電子メール等での表現力を増すことができるようにする。

Description

明 細 書
音声再生方法、文字コード利用装置、配信サービスシステム、及び文字 コード管理方法
技術分野
[0001] 本発明は、文字又は記号を表示する際に、音又は音声を同時に再生する音声再 生方法、文字コード利用装置、配信サービスシステム、及び文字コード管理方法に 関する。
背景技術
[0002] コンピュータやインターネットで文字や記号を扱う場合、それぞれの文字や記号に 固有の文字コードを関連付けた文字コード体系を予め決めておき、その文字コード を利用することによって、コンピュータ内での処理やインターネットでの送受信等を行 つている。文字コード体系には数種類ある力 例えば PC (Personal Computer)等で 使う S— JISコード (シフト JISコード)では日本語における表音文字の仮名「あ」という 文字は「82A0」
Figure imgf000003_0001
ヽる。
[0003] し力しながら、予め決められた文字コードでは新たな文字や記号を追加できないこ とから、通信会社等では新たな独自の記号に未使用の文字コードを関連付けて運用 することにより、電子メールや WEBサイトでの表現性を増している。
[0004] この独自記号は共通の通信会社の利用者や同一の機器製造メーカ等の限られた 環境でないと使えない場合もあるが、その表現力から、特に携帯電話では「絵文字」 等と呼ばれ、広く利用されるようになっている。
[0005] 一方で、コンピュータや携帯電話等、文字コード体系を利用して文字や記号を扱う 機器は、入力手段や表示手段の他に音声出力手段を備えていることから、文字や記 号を表示するだけでなぐ電子メールに音声を利用する技術も発明されている。
[0006] 特開 2003— 150507号公報によれば、電子メール機能付き端末に関して、絵文 字とそれに対応する音データを記憶することによって、絵文字が記述された電子メー ルを見る際に、通常の文字に対応する音声を出力して電子メールに記述されて 、る 通常の文字を読み上げる他に、絵文字に対応する音データを再生出力する技術が 記載されている。
[0007] し力しながら、上述した従来技術のように、電子メール機能付き端末に音データを 記憶する場合、絵文字と音データとが対応付けて記憶してあるだけなので、送信者 側と受信者側との間で利用する通信会社が異なったり、使用機器の製造メーカが異 なったりすると、電子メールの送信者が意図しな 、音データを受信側で再生してしま つたり、受信者側の電子メール機能付き端末に対応する絵文字に対応して音データ が記憶されて!、な!、ために、送信者が意図した音データの再生が受信者側でできな いといった可能性がある。
[0008] また、絵文字以外の文字や記号についても、例えば表意文字の一種としての漢字「 笑」や漢字「雷」等の音によってより一層意図を伝えられる文字もあるし、更には電子 メールだけでなく WEBサイトやチャット等においても、音によって表現力が増す用途 もめる。
[0009] 本発明は、そのような状況に鑑みてなされたもので、文字コードに文字や記号に加 え、音を関連付けることによって、インターネットや電子メール等で音を利用して表現 力を増すことができるようにするものである。
発明の開示
[0010] 本発明は上記課題を解決するためになされたものであって、文字コードに対し、文 字や記号だけでなく音や音声を関連付けることによって、文字コードを参照して電子 機器に記録された該当の文字や記号を表示すると同時に、同じく電子機器に記録さ れた該当の音や音声を再生できるので、文章の作成者の意図に沿った豊カな表現 力を備えた文章作成が可能となる。
[0011] 本発明によれば、電子メールやメッセンジャー、 WEBサイト等において、送信者は 意図した音を受信者に伝えることによって、その表現力を増し、意図を的確に伝える ことができる。
図面の簡単な説明
[0012] [図 1]図 1は、本発明の第一の実施の形態による文字コード利用装置としての電子メ ール端末の構成を示した機能ブロック図である。
[図 2]図 2は、本実施の形態の音声再生方法において、文字コード管理データを記録 する文字コード記録部の一実施例の概念構成図である。
[図 3]図 3は、図 2に示した文字コード管理データを記録する文字コード記録部の変 形例の概念構成図である。
[図 4]図 4は、本実施の形態の文字コード利用装置としての電子メール端末における 入力方法の一実施例のフローチャートである。
[図 5]図 5は、本実施の形態による文字コード利用装置としての電子メール端末にお ける受信メールの表示及び音再生方法のフローチャートである。
[図 6]図 6は、本実施の形態による文字コード利用装置としての電子メール端末にお V、て、音又は音声が共に関連付けられて 、る文字コードを含む受信メールの音声再 生及び表示方法の一例の説明図である。
[図 7]図 7は、本実施の形態による文字コード利用装置としての電子メール端末にお いて、受信メールに含まれている音又は音声が共に関連付けられた文字コードにつ いての表示装置における表示例を示した図である。
[図 8]図 8は、本実施の形態による文字コード利用装置としての電子メール端末にお いて、受信メール内容の本文文字列を表示する表示装置の表示画面の変形例と、こ の表示画面における音声再生方法の説明図である。
[図 9]図 9は、本発明の第二の実施の形態による音声再生方法において、文字コード 管理データを記録する文字コード記録部の一実施例の概念構成図である。
[図 10]図 10は、本実施の形態の文字コード利用装置としての電子メール端末におけ る、文字又は記号とは関連付けられずに記録された音又は音声の入力方法の一実 施例のフローチャートである。
[図 11]図 11は、本実施の形態による音声再生方法における、音のみを関連付けられ た文字コードとその音又は音声の内容を示す言葉データとの対応関係が示された文 字コードの一覧表示の画面表示例である。
[図 12]図 12は、本実施の形態による音声再生方法を利用した電子メールの作成画 面の例である。
[図 13]図 13は、本実施の形態による音声再生方法を利用した電子メールの受信画 面の例である。 [図 14]図 14は、本実施の形態による音声再生方法を利用して、電子メールのタイトル 部に音のみを関連付けられた文字コードを使った電子メールの実施例を示した図で ある。
[図 15]図 15は、本発明の一実施の形態による配信サービスシステムの構成図である
発明を実施するための最良の形態
[0013] 〈第一の実施の形態〉
本発明の音声再生方法、並びにこの音声再生方法を適用した文字コード利用装 置の第一の実施の形態について、図 1〜図 4に基づいて、以下に説明する。
[0014] 図 1は、本発明の第一の実施の形態による文字コード利用装置としての電子メール 端末の構成を示した機能ブロック図である。
[0015] 電子メール端末 10は、入力装置 11、表示装置 12、通信装置 13、制御部 14、スピ 一力 15、記録部 16、メーラー (メールクライアント) 17を有して構成されている。
[0016] 入力装置 11は、電子メールの作成,送信,受信,及び閲覧等を指示するための指 示キーや、送信メール内容の作成等で使用される文字キー並びに記号キーや、メー ル内容の作成,閲覧等で使用されるスクロールキー等といった操作キーを備え、ユー ザが入力操作や設定指示操作等を行うためのものである。
[0017] ¾ 装 12は、 Lし D (Liquid Crystal Display) , ELD (Electro Luminescence Displ ay)等といった表示器を備え、作成メール内容,送受信メール内容等をはじめとする 各種情報の表示を行うためのものである。
[0018] 通信装置 13は、電子メール端末 10が接続された通信会社のサーバ'コンピュータ との間で電子メールを含む各種情報の送受信を行うためのものである。
[0019] 制御部 14は、電子メール端末 10の構成各部の制御を行う。
[0020] スピーカ 15は、受信メール内容等を含む各種情報を音声出力するためのものであ る。
[0021] 記録部 16は、送受信した電子メールを保存するとともに、電子メールの作成,送受 信,及び閲覧等で利用される各種情報を記録するためのものである。本実施の形態 の場合、記録部 16には、文字コード記録部 16a、文字記録部 16b、音記録部 16cが 備えられている。
[0022] 文字コード記録部 16aは、文字コード管理データを記録する。文字コード管理デー タは、文字コードそれぞれに関連付けられて記録された文字又は記号と、文字コード それぞれに関連付けられて記録された音又は音声との対応関係を管理するための データである。
[0023] 文字記録部 16bは、文字コードに関連付けられて記録された文字及び記号それぞ れについて、その変換用のかな入力読みや表示データ等といった文字データ及び 記号データを記録する。
[0024] 音記録部 16cは、スピーカ 15より各種音又は音声を発生させるための音声データ を記録する。
[0025] メーラー 17は、電子メールの作成や送受信、受信した電子メールの保存'管理を行 うためのもので、制御部 14を電子メールの保存 ·管理手段として機能させる。
[0026] 次に、本実施の形態の音声再生方法における文字コード管理方法の実施例につ いて、図 2,図 3により説明する。
[0027] 図 2は、本実施の形態の音声再生方法において、文字コード管理データを記録す る文字コード記録部の一実施例の概念構成図である。
[0028] 図 3は、図 2に示した文字コード管理データを記録する文字コード記録部の変形例 の概念構成図である。
[0029] 図 2及び図 3に示すように、文字コード記録部 16aは、文字コード Qに対して、文字 又は記号 Qcと、音又は音声 とが、それぞれ関連付けられて記録された構成にな つている。
[0030] なお、図中において、その文字 (又は記号) Qcは、前述した文字記録部 16bに記 録されている文字データ及び記号データそのものではなぐ対応する文字データ又 は記号データを文字記録部 16bに記録されて 、る種々の文字データ及び記号デー タの中から特定するための識別データである。同様に、その音 Qsは、前述した音記 録部 16cに記録されている音声データそのものではなぐ対応する音声データを音 記録部 16cに記録されている種々の音声データの中力も特定するための識別データ を表している。 [0031] 図 2に示した文字コード記録部 16aは、 1つの文字 (又は記号) Qcに対応して単一 の音 (又は音声) QSが設けられている場合の文字コード記録部 16aの構成を示して いる。
[0032] 図示の場合、文字コード aOOlに対しては、漢字「笑」(すなわち、漢字「笑」の識別デ ータ)と、音 Aとが関連付けられ、文字コード bOOlに対しては、漢字「泣」(すなわち、 漢字「泣」の識別データ)と、音 Bとが関連付けられ、文字コード cOOlに対しては、漠 字「雷」(すなわち、漢字「雷」の識別データ)と、音 Cとが関連付けられ、それぞれ記 録されて!/ヽる構成になって!/、る。
[0033] これに対して、図 3に示した文字コード記録部 16aでは、 1つの文字 (又は記号) Qc に対応して複数の音 (又は音声) Qsが設けられている場合の文字コード記録部 16a の構成を示している。
[0034] 図示の場合、それぞれ文字コード a001〜a003に対しては、同じ漢字「笑」と、互いに 異なる音 A1〜A3とが関連付けられ、さらに文字コード a004に対しては、文字コード a 001〜a003の場合と同じ漢字「笑」が関連付けられてはいるものの、音は関連付けら れていない構成になっている。すなわち、同じ文字 (又は記号) Qcであっても、複数 の対応する音 (又は音声) Qsを有する場合は、それぞれの音 (又は音声) Qs別に、 複数の文字コード Qに対して同じ文字 (又は記号) Qcが関連付けられている構成に なっている。
[0035] また、稲妻の絵文字のような新たに作成した独自記号も、それぞれ異なる音 B1,音
B2力 それぞれ別の文字コード b003, b004に関連付けられて記録されている。
[0036] 次に、上記電子メール端末 10における電子メール作成方法について、図 4に示す フローチャートに基づいて説明する。
[0037] 図 4は、本実施の形態の文字コード利用装置としての電子メール端末における入力 方法の一実施例のフローチャートである。
[0038] まず、ユーザは、入力装置 11の所定操作によって、メール作成指示を入力する。
[0039] 制御部 14は、入力装置 11からメール作成指示が供給されると、メーラー 17を起動 し、メール作成モードになる。このメーラー 17による制御の下、制御部 14は、表示装 置 12,通信装置 13,スピーカ 15,及び記録部 16を、メール作成モードで制御作動 する。
[0040] ユーザは、メーラー 17によるメール作成モードが起動されたことを、例えば表示装 置 12に表示されるメール作成画面の表示によって確認する。その後、ユーザは、入 力装置 11の文字キー又は記号キー等を用いて文字又は記号を入力して、メールの 作成入力を行う。
[0041] このメールの作成入力に当たっては、ユーザはその入力しょうとするものが文字な のか記号なのかを判断し (ステップ S41)、文字であれば入力装置 11より、その文字 の読みをかな入力する (ステップ S42)。
[0042] メール作成モードの制御部 14は、入力装置 11から文字のかな入力された読みが 供給されると、ステップ 43において、このかな入力された読みに相当する文字データ を記録部 16の文字記録部 16bから呼び出し、変換表示文字候補として一時蓄積す る。その際、制御部 14は、力な入力された読みに相当する文字データが文字記録部 16bの中に複数記録されて 、れば、これら同じ読みに相当する複数の異なる文字デ ータそれぞれも、別々の変換表示文字候補として文字記録部 16bから呼び出して、 一時蓄積する。
[0043] 制御部 14は、次に、このようにして変換表示候補として一時蓄積した文字データそ れぞれの識別データについて、文字コード記録部 16aを参照して同じ識別データが 対応記録されている文字コードを検索する。そして、制御部 14は、この検索した文字 コードに対応させて、同じ文字データであっても文字コード別に変換候補を複数生 成する。
[0044] したがって、文字記録部 16bから呼び出した文字データの文字に対して、文字コー ド記録部 16aに対応する識別データを有する文字コードが複数あれば、制御部 14は 、それぞれの文字コードに対応させて、その文字コードの数 (種類)分だけ同じ文字 データの文字を別々の変換候補として、表示装置 12に表示する。
[0045] その際、制御部 14は、同じ文字データの文字を文字コード別に別々の変換候補と して表示装置 12に表示するにあたって、音又は音声が関連付けられて 、る文字コ一 ドに対応する変換候補の文字データの文字については、その旨を示す記号を該当 する変換候補の表示文字に付加表示したり、音又は音声が関連付けられていない 文字コードに対応する表示文字との間で表示文字の色を変えたりする等して、見分 けがつくようにして表示する。
[0046] さらに、音又は音声が関連付けられている文字コードに対応する同じ文字データの 文字が複数ある場合には、制御部 14は、これらの間でも、音又は音声が関連付けら れている旨を表す記号をさらに記号分けしたり、色を変えたりする等して、見分けが つくようにして表示する。
[0047] その上で、制御部 14は、これらかな入力された読みに相当するそれぞれ文字コー ドに対応した変換候補の文字が複数あれば、これら変換候補の文字それぞれを、ュ 一ザの入力装置 11からの変換操作に基づいて表示装置 12に順次表示したり、又は これら変換候補の表示文字を同時に一括して表示装置 12に表示したりすること等に よって、ユーザに文字コードに関連付けられた文字及び音又は音声の選択を行わせ る。
[0048] このようにして、力な入力された読みに相当する変換候補の文字が表示装置 12に 表示されると、ユーザは、変換候補の文字の中から所望の文字を、入力装置 11によ る選択操作によって選択する。
[0049] したがって、ユーザは、この変換候補の文字の中力 所望の文字を選択する際に、 音が関連付けられて 、る文字と音が関連付けられて 、な 、文字との!/、ずれかを、同 時に選択することになる。
[0050] そこで、制御部 14は、ユーザによって変換候補の文字の中から所望の文字の選択 がなされると、ステップ S44に示すように、入力装置 11からの選択指示に基づき選択 された変換候補の文字が、音若しくは音声が共に関連付けられた文字コードによるも のである力、又は音若しくは音声が共に関連付けられていない文字コードによるもの であるかを判別することができる。
[0051] この判別において、音又は音声が共に関連付けられていない文字コードによるもの との判別の中には、その文字と同じ文字自体に音又は音声が関連付けられた文字コ ードによるものが元力 な 、場合や、その文字と同じ文字自体には音又は音声が関 連付けられた文字コードによるものがあるものの、これら同じ文字の中力 音又は音 声が関連付けられていない文字コードによるものが選択された場合が含まれる。 [0052] 制御部 14は、ユーザが入力装置 11を操作し、変換候補の文字の中から音又は音 声が共に関連付けられていない文字コードによるものを選択した場合、その文字を確 定する (ステップ S45)。
[0053] これに対して、ユーザが入力装置 11を操作し、変換候補の文字の中から音又は音 声が共に関連付けられている文字コードによるものを選択した場合は、制御部 14は 、文字コード記録部 16aを参照して、当該文字コードに関連づけられている音又は音 声を音記録部 16cから呼び出して、スピーカ 15よりその関連付けられた音又は音声 を再生出力する (ステップ S46)。
[0054] ユーザは、その再生音を確認した上で意に沿ったものであるならば、入力装置 11 による確定指示操作を行い、その再生出力された音又は音声が共に関連付けられて いる文字コードによる文字を確定する (ステップ S45)。また、ユーザは、その再生音 を確認した際に問題があれば、入力装置 11による確定指示操作を行うことなぐステ ップ S43に戻って改めて変換候補を表示し、文字コードに関連付けられた所望の文 字を選択し直す。
[0055] なお、上記説明では、上述した変換候補の中から文字コードに関連付けられた所 望の文字を選択するに当たり、選択された文字コードに関連付けられた文字が共に 音又は音声が関連付けられていない文字である場合は、その選択操作によってその まま確定する一方、選択された文字コードに関連付けられた文字が共に音又は音声 が関連付けられている文字である場合は、その関連付けられている音又は音声の再 生音を発生させた後、入力装置 11力 のユーザによる確認を経て力 確定するよう にした。
[0056] この構成に関しては、変形例として、選択された文字コードに関連付けられた文字 が共に音又は音声が関連付けられている文字であっても、例えば、よく利用する文字 等、確認が不要の場合は、ステップ S46による再生音の発生及び確認操作を省略す ることもでき、ステップ S45による確定を自動的に行える構成とすることも可能である。
[0057] この場合、ステップ S46の選択した音又は音声が共に関連付けられている文字に ついての再生音の発生'確認省略モードは、入力装置 11によって、例えば文字コー ド記録部 16aの音 (又は音声) Qs (図 2,図 3参照)に付随させる等して事前設定でき る構成にしておくことにより、制御部 14は、変換候補の文字コードに関連付けられた 文字の中から所望の文字が選択された際、音又は音声が共に関連付けられて!/、る 文字コードに関連付けられた文字が選択された場合は、再生音の発生'確認省略モ ードが設定されて ヽるカゝ否カゝをまず確認し、発生 ·確認省略モードが設定されて ヽな い場合は、ステップ S46による再生音の発生及び確認操作を実行させ、発生'確認 省略モードが設定されている場合は、選択された文字が共に音又は音声が関連付 けられていない文字コードに関連付けられた文字である場合と同様に、そのまま確定 することができる(ステップ S45)。
[0058] 一方、メールの作成入力に当たって、ユーザはその入力しょうとするものが文字な のか記号なのかを判断し (ステップ S41)、入力しょうとするものが記号であれば、入 力装置 11力もその一覧表示の指示を入力する (ステップ S41)。
[0059] メール作成モードの制御部 14は、入力装置 11から記号の一覧表示の指示が供給 されると、ステップ 47において、登録されている記号一式を記録部 16の文字記録部 16bより呼び出し、変換表示文字候補として一時蓄積する。
[0060] 制御部 14は、次に、このようにして変換表示候補として一時蓄積した記号データそ れぞれの識別データについて、文字コード記録部 16aを参照して同じ識別データが 対応記録されている文字コードを検索する。そして、制御部 14は、この検索した文字 コードに対応させて、同じ記号データについても文字コード別に変換候補を複数生 成する。したがって、文字記録部 16bから呼び出した記号データの記号に対して、文 字コード記録部 16aに対応する識別データを有する文字コードが複数あれば、制御 部 14は、それぞれの文字コードに対応させて、その文字コードの数 (種類)分だけ同 じ記号データの記号を別々の変換候補として、表示装置 12に表示する。
[0061] その際に、音又は音声が共に関連付けられている文字コードに関連付けられた記 号の表示については、制御部 14は、その旨を示す記号を付けたり、色を変える等し て、音又は音声が共に関連付けられていない文字コードに関連付けられた同一記号 や、他の音又は音声が共に関連付けられている文字コードに関連付けられた同一記 号に対して、見分けがつく構成になっている。
[0062] 以降、文字の場合と同様に、入力装置 11から所望の記号の選択指示が供給される と (ステップ S48)、制御部 14では、選択指示された記号が共に音又は音声が関連 付けられている文字コードに関連付けられた記号である力、又は音若しくは音声が共 に関連付けられていない文字コードに関連付けられた記号であるかを判断し (ステツ プ S49)、音又は音声が関連付けられていない文字コードに関連付けられた記号で ある場合はその確定を行 、 (ステップ S45)、音又は音声が共に関連付けられて!/、る 文字コードに関連付けられた記号である場合は、その関連付けられている音又は音 声の再生音を発生させた上で (ステップ S410)、入力装置 11から供給されるユーザ の確定操作の指示入力により、その確定を行う(ステップ S45)。
[0063] なお、上記した構成では、ユーザによる所望の記号の入力に際しては、入力装置 1 1から記号の一覧表示の指示に基づき、制御部 14は文字記録部 16bに登録されて いる記号一式を表示装置 12に一覧表示し、その中から所望の記号を選択するよう構 成したが、その入力方法はこれに限らず、記号にも予め読み方を割り当てることにより 、文字の場合と同様の手順で入力する構成とすることもできる。
[0064] 以上の操作を繰り返すことによって、本実施の形態の文字コード利用装置としての 電子メール端末により作成された電子メールは、該当する文字コードに構成しなおさ れ、入力装置 11によってユーザが受信側の電子メールアドレス等を指定した後、ュ 一ザの送信操作に基づき、制御部 14は、通信装置 13を介して送信者側の通信会社 のサーバ.コンピュータに送信され、受信側の電子メールアドレス宛に送信される。
[0065] 本実施の形態の文字コード利用装置としての電子メール端末では、文字記録部 16 bより呼び出した 1つの文字データの文字又は記号データの記号に対して複数の音( この場合は、無音も音として複数の音の中の 1つの音に含む)がそれぞれ関連付けら れている場合は、同じ文字データよる文字又は同じ記号データよる記号であっても、 文字コードに対応して同一文字又は同一記号を変換候補の選択候補として、最初か ら表示装置 12に重複して表示するように構成したが、変換候補の選択候補の表示 方法の実施例は、これに限られるものではない。例えば、 1つの文字データの文字又 は記号データの記号に複数の音がそれぞれ関連付けられている場合においても、こ のように表示装置 12に重複して表示せず、 1つの文字データの文字又は記号データ の記号として当初は選択候補と表示し、ユーザの選択操作により、複数の音又は音 声が関連付けられている 1つの文字データの文字又は記号データが選択された場合 に限って、さらに確定候補として、この 1つの文字データの文字又は記号データに関 連付けられて!/ヽる複数の音をそれぞれ表示し、選択確定する構成とすることも可能で ある。
[0066] 次に、受信側の電子メール端末における文字又は記号の表示方法と音又は音声 の再生方法とについて、図 5に示すフローチャートに基づいて説明する。なお、受信 側の電子メール端末の構成は、図 1に示した送信側の電子メール端末 10と同様であ るので、その説明にあたっては、同一構成部については、同一名称、同一符号を用 いて説明する。
[0067] 図 5は、本実施の形態による文字コード利用装置としての電子メール端末における 受信メールの表示及び音再生方法のフローチャートである。
[0068] まず、ユーザは、入力装置 11の所定操作によって、メール受信指示を入力する。
[0069] 制御部 14は、入力装置 11からメール受信指示が供給されると、メーラー 17を起動 し、メール受信モードになる。このメーラー 17による制御の下、制御部 14は、表示装 置 12,通信装置 13,スピーカ 15,及び記録部 16を、メール受信モードで制御作動 する。
[0070] そして、ユーザは、メーラー 17によるメール受信モードが起動されたのを例えば表 示装置 12に表示されるメール受信画面の表示により確認した後、入力装置 11を用 V、て所望の受信メールの開封を行う。
[0071] ここで、メーラー 17が起動すると、制御部 14は、メーラー 17による制御の下で、入 力装置 11からユーザによる所望の受信メールの開封指示が供給された場合には、 通信装置 13を介して受信者側の通信会社のサーバ'コンピュータ力 対応する受信 メールの供給を受け、記憶部 16の図示せぬ受信メール記憶エリアにー且蓄積する。
[0072] その上で、制御部 14は、このー且蓄積した受信メールに関して、そのメール内容を 構成する文字コードそれぞれに音又は音声が割り当てられている力否かを、記録部 16に記録されている文字コード記録部 16aを参照して解析する (ステップ S51)。
[0073] ここで、制御部 14は、文字コード記録部 16aを参照の結果、解析した文字コードに ついて音又は音声が関連付けられた文字コードと判断した場合、文字記録部 16bよ り関連付けられた文字データ又は記号データの呼び出しを、音記録部 16cより関連 付けられた音又は音声の音声データの呼び出しを行う(ステップ S52、 S54)。
[0074] 一方、制御部 14は、文字コード記録部 16aを参照の結果、解析した文字コードに つ!、て音又は音声が関連付けられて 、な 、と判断した場合は、文字記録部 16bより 関連付けられた文字又は記号のみの呼び出しを行う(ステップ S56)。
[0075] ステップ S52及び S56において文字記録部 16bより呼び出された文字データ又は 記号データは、制御部 14が、予めメール内容として指定された順番に従い、表示装 置 12に表示する(ステップ S 53)。
[0076] また、ステップ S54において音記録部 16cより呼び出された音又は音声の音声デー タは、制御部 14が、所定のタイミングでスピーカ 15より再生出力する (ステップ S55)
[0077] 次に、制御部 14による受信メールの音又は音声の再生方法の一例を、図 6乃至図 8を用いて説明する。
[0078] 図 6は、本実施の形態による文字コード利用装置としての電子メール端末において 、音又は音声が共に関連付けられて 、る文字コードを含む受信メールの音声再生及 び表示方法の一例の説明図である。
[0079] 図 6では、行又は列毎に音又は音声を関連付けられた文字コードがあった場合、そ れを再生する方法を示して ヽる。
[0080] まず、ユーザが入力装置 11の所定操作によって、例えば『時間だよ「目覚まし時計 」、おはよう。今日は残念ながら、「雨」です。』という記号混じりの日本語文章 (なお、 この『』部分で示した文章中の「」部分は絵文字で表されて 、る)の受信メールを画面 表示する場合を想定する。その際に、受信メールの構成部分としての例えば 1行目を 表示装置 12の画面表示上で指定した場合、制御部 14は、この指定した構成部分の 1行目に音又は音声が関連付けられている文字コードに関連付けられている文字又 は記号についての表示が含まれている力否かを判別する。制御部 14は、この指定し た構成部分としての受信メールの 1行目に、音又は音声が共に関連付けられている 文字又は記号の文字コードが含まれている場合には、当該文字コードに関連付けた 該当する音又は音声の音声データを音記録部 16cより呼び出し、文字又は記号に対 応する音又は音声としてスピーカ 15から再生出力する。
[0081] 図 6に示した例では、図中の「目覚まし時計」の絵文字が、音が共に関連付けられ た文字コードによるに記号に当たり、制御部 14は、音記録部 16cより当該文字コード に関連付けて呼び出した音声データ(目覚まし音、例えば「ジリリリ」)をスピーカ 15か ら再生出力する。
[0082] 続、て、ユーザが入力装置 11の所定操作によって、受信メールの構成部分として の例えば 2行目を表示装置 12の画面表示上で指定した場合、制御部 14は、この指 定した構成部分の 2行目に音又は音声が関連付けられている文字コードに関連付け られて 、る文字又は記号にっ 、ての表示が含まれて 、る力否かを判別する。制御部 14は、この指定した構成部分としての受信メールの 2行目に、音又は音声が共に関 連付けられている文字又は記号の文字コードが含まれている場合には、当該文字コ ードに関連付けた該当する音又は音声の音声データを音記録部 16cより呼び出し、 文字又は記号に対応する音又は音声としてスピーカ 15から再生出力する。
[0083] 図 6に示した例では、図中の「雨雲」の絵文字が、音が共に関連付けられた文字コ ードによる記号に当たり、制御部 14は、音記録部 16cより当該文字コードに関連付け て呼び出した音声データ(雨降り音、例えば「ザ一」)をスピーカ 15から再生出力する
[0084] なお、ユーザが入力装置 11の所定操作によって指定した受信メールの構成部分、 例えば、行,文章,フレーズ,若しくはユーザによって任意指定された指定範囲部分 等の該当部分に、音又は音声が共に関連付けられた文字コードによる文字又は記 号が複数存在する場合等は、制御部 14は、ユーザの入力装置 11の所定操作により 予め制御部 14に対して設定され、記憶部 16に記憶された音再生モードに従って、 音又は音声が共に関連付けられた文字コードによる文字又は記号に対応する音又 は音声としてスピーカ 15から再生出力する。
[0085] 制御部 14は、例えば、順次再生モードが設定されている場合には、該当部分に含 まれる音又は音声が共に関連付けられた文字コードによる文字又は記号の登場順に 、音記録部 16cから当該文字コードに関連付けられた音又は音声の音声データを順 次呼び出して、スピーカ 15から順次再生出力する。同様にして、制御部 14は、例え ば、最初再生モードが設定されている場合には、該当部分に含まれる音又は音声が 共に関連付けられた文字コードによる文字又は記号の中、最初に登場する音又は音 声が共に関連付けられた文字コードによる文字又は記号に対応する音又は音声の 音声データのみを、例えば、最終再生モードが設定されている場合には、該当部分 に含まれる音又は音声が共に関連付けられた文字コードによる文字又は記号の中、 最後に登場する音又は音声が共に関連付けられた文字コードによる文字又は記号 に対応する音又は音声の音声データのみを、音記録部 16cから呼び出してスピーカ 15から再生出力する。この最初再生モードや最終再生モードが設定されている場合 、制御部 14は、該当部分に含まれるその余の音又は音声が共に関連付けられた文 字コードに対応した音又は音声については、その該当する音又は音声の再生を省 略する構成となっている。
[0086] さらに、行,文章,フレーズ,若しくはユーザによって任意指定された指定範囲部分 等の該当部分を受信メールの構成部分として指定するのではなぐ制御部 14が、受 信メール内容を一乃至複数の文字ずつその指定先をマニュアル又は自動で走査移 動し、音又は音声が共に関連付けられた文字コードによる文字又は記号が指定され た場合に、該当する文字又は記号の文字コードに関連付けられた音又は音声の音 声データを音記録部 16cから呼び出して、スピーカ 15から再生出力する走査再生モ ードを設定することも可能になっている。
[0087] 図 7は、本実施の形態による文字コード利用装置としての電子メール端末において 、受信メールに含まれている音又は音声が共に関連付けられた文字コードについて の表示装置における表示例を示した図である。
[0088] 図 7に示すように、制御部 14は、音又は音声が共に関連付けられた文字コードに 関連付けられた文字又は記号を含む電子メールの内容を表示装置 12の画面上に 表示するに当たり、音又は音声が共に関連付けられた文字コードに関連付けられた 文字又は記号を、音又は音声が共に関連付けられていない文字コードに関連付けら れた文字又は記号の表示形態とは異なる表示形態形で、画面上に表示する構成に なっている。
[0089] 図 7に示した、音又は音声が共に関連付けられた文字コードによる文字又は記号を 含む電子メールの内容例、『今日は残念ながら、すごい雷です。』というかな '漢字混 じりの日本語文章においては、その中の漢字「雷」という文字は、音又は音声が共に 関連付けられた文字コードによる文字になっている。そのため、制御部 14は、それ以 外の音又は音声が共に関連付けられていない文字コードによる文字又は記号と区別 して顕在化するために、音が共に関連付けられた文字コードによる文字である漢字「 雷」については、反転や明滅,記号の付加等を行って、表示装置 12の画面上に表 示する。
[0090] この場合における、音又は音声が共に関連付けられた文字コードによる文字である 漢字「雷」に対応する音又は音声の再生方法は、ユーザが入力装置 11の所定操作 によって、この文字を指定したときにのみ、制御部 14が、この文字コードに共に関連 付けられた音又は音声を、スピーカ 15から再生出力する構成とすることも可能である
[0091] 図 8は、本実施の形態による文字コード利用装置としての電子メール端末において 、受信メール内容の本文文字列を表示する表示装置の表示画面の変形例と、この表 示画面における音声再生方法の説明図である。
[0092] 図 8では、受信メール内容の本文文字列が、表示装置 12の画面中の所定の表示 領域 12a内(例えば、所定表示文字数の行又は列によって規定された表示領域内) で、マニュアル又は自動的にスクロールされながら表示され、この本文文字列に含ま れる音又は音声が関連付けられた文字コードに該当する文字が、この表示領域 12a 内の特定位置にスクロールされて到達した場合には、制御部 14はこれを検出して、 その文字コードに共に関連付けられた音又は音声を、スピーカ 15から再生出力する 構成になっている。
[0093] 図 8に示した『残念ながら、すごい雷です。』というかな '漢字混じりの日本語文章の 文字列の例では、漢字「雷」という文字に該当する文字コードに共に音が関連付けら れており、本実施例では、画面中の表示領域 12aの左端に漢字「雷」という文字がマ -ュアル又は自動的にスクロールされながら達したときに、制御部 14は、これを検出 して、該当する音又は音声をスピーカ 15から再生出力する構成になっている。
[0094] 上記説明したように、受信メール内容に含まれている音が共に関連付けられた文字 コードによる文字又は記号に該当した音又は音声の再生方法は種々あるが、その再 生方法は上記説明した実施例に限定されるものではない。
[0095] さらに、受信メール内容の文字列の文字を順番に全て読み上げて、音又は音声が 関連付けられた文字コードに該当する文字又は記号を読み上げる際に同時に、又は その読み上げに代えて、その文字コードに共に関連付けられた音又は音声を、再生 出力する構成としてもよい。
[0096] また、例えば、受信メール内容の漢字及びかな文字が混在して作成された文字列( 例えば、『今日は残念ながら、雨です。』という日本語文章の文字列)の先頭 (漢字「 今」)力も n番目(10番目)に音が共に関連付けられた文字コードに該当する文字又 は記号 (漢字「雨」)がある場合は、文字又は記号毎に一定の時間、例えば 1秒を割り 当て、この文字列の表示力も n-1秒後(9秒後)に、該当する音又は音声をスピーカ 1 5から再生出力を開始する構成としてもよい。
[0097] 〈第二の実施の形態〉
本発明の音声再生方法、並びにこの音声再生方法を適用した文字コード利用装 置の第二の実施の形態について、図 9〜図 13に基づいて、以下に説明する。
[0098] 前述した第一の実施の形態では、文字又は記号を表示すると同時に音又は音声を 再生することを意図していたが、本実施の形態は、元より文字又は記号を表示するこ とは念頭におかず、音又は音声のみを再生することを意識した構成になって 、る。
[0099] なお、本実施の形態の文字コード利用装置としての電子メール端末の構成は、図 1 に示した第一の実施の形態の文字コード利用装置としての電子メール端末の構成と 同様であるので、その構成についての説明は省略する。
[0100] 図 9は、本実施の形態の音声再生方法において、文字コード管理データを記録す る文字コード記録部の一実施例の概念構成図である。
[0101] 本実施の形態の文字コード記録部 16aは、図 2及び図 3に示した第一の実施の形 態の文字コード記録部 16aの場合と異なり、文字コード Qに対して、文字又は記号 Q cは関連付けずに、音又は音声 Qsだけが関連付けられて記録された構成になってい る。
[0102] つまり、電子メールやチャット等で文字コード dOOl, d002, d003を含む電子メールの 内容を送信した場合、受信側の機器としての電子メール端末 10には、これら文字コ ード dOOl, d002, d003それぞれに対応して、表示装置 12には文字記録部 16bに記 録されている文字データの文字は表示されず、これら文字コード dOOl, d002, d003そ れぞれに関連付けられて記録されている音記録部 16cの音又は音声の音声データ が制御部 14によってそれぞれ呼び出され、各音声データに対応する音 D1,音 D2, 音 D3のみが再生出力されることとなる。
[0103] 次に、本実施の形態の電子メール端末 10における電子メール作成方法に関して、 文字コード Qに対して、文字又は記号 Qcとは関連付けられずに記録された音又は音 声 Qsの入力方法を説明する。
[0104] 図 10は、本実施の形態の文字コード利用装置としての電子メール端末における、 文字又は記号とは関連付けられずに記録された音又は音声の入力方法の一実施例 のフローチャートである。
[0105] まず、ユーザは、入力装置 11の所定操作によって、メール作成指示を入力する。
[0106] 制御部 14は、入力装置 11からメール作成指示が供給されると、メーラー 17を起動 し、メール作成モードになる。このメーラー 17による制御の下、制御部 14は、表示装 置 12,通信装置 13,スピーカ 15,及び記録部 16を、メール作成モードで制御作動 する。
[0107] ユーザは、メーラー 17によるメール作成モードが起動されたことを、例えば表示装 置 12に表示されるメール作成画面の表示によって確認する。
[0108] そして、ユーザはその入力しょうとするものが文字又は記号とは関連付けられずに 記録された音又は音声の入力であれば、入力装置 11から音又は音声のみを関連付 けられた文字コードの一覧表示の指示を入力する。
[0109] メール作成モードの制御部 14は、入力装置 11から音又は音声のみを関連付けら れた文字コードの一覧表示の指示が供給されると、ステップ S 101において、記録部 16の文字コード記録部 16aの記録を参照して、文字又は記号 Qcは関連付けられず に、音又は音声 Qsだけが関連付けられて記録された文字コードを検索し、音又は音 声のみが関連付けられた文字コードの一覧を表示装置 12に表示する。
[0110] この際、文字コードそのものを表示するのでは使用者に分かりにくいため、図 11に 示すように、制御部 14は、例えば音記録部 16cに音又は音声の音声データとともに 記憶されて!、る音又は音声の内容を示す言葉データを用いて表示してもよ ヽ。
[0111] 図 11は、本実施の形態による音声再生方法における、音又は音声のみが関連付 けられた文字コードとその音又は音声の内容を示す言葉データとの対応関係が示さ れた文字コードの一覧表示の画面表示例である。
[0112] ユーザは、表示装置 12に表示された音又は音声のみが関連付けられた文字コー ドの一覧の中から入力したい音又は音声の文字コード (又は、当該文字コードに関連 付けた音又は音声の内容を示す言葉データ)を入力装置 11の操作により選択する。 この入力装置 11の操作による選択指示が供給されると、制御部 14は、この文字コー ドに関連付けられて音記録部 16cに記憶されている音又は音声の音声データを呼び 出し (ステップ S102)、続いてスピーカ 15からこの呼び出した音又は音声の音声デ ータを、スピーカ 15から再生出力する(ステップ S103)。ユーザは、スピーカ 15より再 生される音又は音声を確認し、意図した音又は音声であることを確認したならば、入 力装置 11により確定操作の指示入力を行う。制御部 14は、入力装置 11から供給さ れるユーザの確定操作の指示入力により、その確定を行う (ステップ S 104)。一方、 ユーザは、スピーカ 15より再生される音又は音声が意図したものではない場合は、 再び選択しなおす。
[0113] 次に、このようにして作成された、音又は音声のみが関連付けられた文字コードを 含む電子メールの表示例について説明する。
[0114] 図 12は、本実施の形態による音声再生方法を利用した電子メールの作成画面の 例である。
[0115] 図 12の例では、『口お誕生日おめでとう!』という日本語文章 (なお、この『』部分で 示した文章中の口部分は、言葉データ部分で、この場合はクラッカー音の言葉デー タ部分である)の電子メールを想定する。
[0116] 図 12に示すように、制御部 14は、作成中の又は作成完了した、音又は音声のみが 関連付けられた文字コードを含む電子メールの内容を表示装置 12に表示させるに 当たっては、後に修正等を行うこともあるので、音又は音声のみが関連付けられた文 字コードが内容中のどこに配置されているかが分力るように、背景の色を変えて表示 したり、点滅させたり、特定の記号を付加したりした上で表示したりする構成になって いる。
[0117] 次に、音又は音声のみが関連付けられた文字コードが含まれる電子メールの受信 について説明する。
[0118] 図 13は、本実施の形態による音声再生方法を利用した電子メールの受信画面の 例である。
[0119] 図 13では、音又は音声のみを関連付けられた文字コードと、文字又は記号を関連 付けられた文字コードと組み合わせて作成された電子メールの受信例が示されてい る。
[0120] この場合、 1行目は音又は音声のみを関連付けられた文字コードのみによって作成 されて ヽるため、文字又は記号の!/ヽずれも表示装置 12の画面上には表示されな ヽ 力 受信者は所定操作により、送信者が意図した音又は音声 (例えば、図示の場合 はクラッカー音)を再生することができる。
[0121] 受信者力この部分を入力装置 11により指定することによって、意図した音又は音声 を再生する場合には、制御部 14は、その背景色を変える等して、音又は音声を関連 付けられた文字コードが存在することを示してもよい。
[0122] 受信者力このメールを引用して返信や転送しょうとした場合、本実施の形態では、 制御部 14は、送信者が作成した図 12に示した作成画面の場合と同様に、音又は音 声のみが関連付けられた文字コードがどこに配置されているかが分力るように、その 配置部分を表示する構成になって 、る。
[0123] また、特定の場所、例えば電子メールのタイトル部分に音又は音声のみを関連付け られた文字コードがある場合、本実施の形態の文字コード利用装置としての電子メー ル端末 10は、制御部 14が受信時又は開封時に自動的にその音を再生する構成に なっている。
[0124] 図 14は、本実施の形態による音声再生方法を利用して、電子メールのタイトル部に 音又は音声のみを関連付けられた文字コードを使った電子メールの実施例を示した 図である。
[0125] 図 14の例では、そのタイトル部に「ゴール」というアナウンサーの声力もなる音声の みを関連付けられた文字コードが配置された電子メールを想定している。
[0126] 図 14に示した電子メールの実施例の場合、文字コード利用装置としての電子メー ル端末 10は、この電子メールを受信した際に、制御部 14は、着信音の代わりに、送 信者が指定した音又は音声 (例えば、図示の場合は「ゴール」 、うアナウンサーの 声)を、スピーカ 15から再生出力することができる構成になっている。
[0127] 〈第三の実施の形態〉
本発明の第三の実施の形態として、前述した図 2、図 3、及び図 9に示した文字コー ド利用装置としての電子メール端末 10の記憶部 16に備えられている文字コード記録 部 16aに文字コード管理データを配信記憶するための配信サービスシステム、及び その文字コード管理方法について説明する。
[0128] 前述した実施の形態でも説明したように、文字コード記録部 16aには、文字コード 管理データとして、(1)文字又は記号のみが関連付けられた文字コード、(2)音又は 音声のみが関連付けられた文字コード、 (3)文字又は記号と音又は音声との双方が 関連付けられた文字コード、(4)文字又は記号、及び音又は音声のいずれもが関連 付けられていない文字コード、の 4種類の文字コード管理データがある。
[0129] 文字コード利用装置 153 (後述の図 15参照、前述の電子メール端末 10が該当)の 製造後に、その製造時点では文字コードに関連付けられていない文字若しくは記号 が生じた場合、又は音又は音声が後から文字コードに関連付けられた場合は、それ 以前に製造された文字コード利用装置 153では、それら文字コードを利用できない。
[0130] これに対して、後から関連付けられた文字若しくは記号、又は音若しくは音声を利 用するために、以下に、新たな文字コード管理データ等を文字コード利用装置 153 に伝送するための配信サービスシステムの実施の形態について、図 15により説明す る。
[0131] 図 15は、本発明の一実施の形態による配信サービスシステムの構成図である。
[0132] 文字コード伝送サービスシステム (配信サービスシステム) 150は、文字コード管理 サーバ 151、送信サーバ 152、文字コード利用装置 153を備えて構成される。
[0133] 文字コード管理サーバ 151は、文字コード利用装置 153の製造会社又はアフター サービス会社、通信会社等に設置され、送信サーバ (配信サーバ) 152と接続されて いる。これにより、文字コード管理サーバ 151は、送信サーバ 152を介して、インター ネット 200経由で、文字コード利用装置 153に対してデータ伝送可能になっている。
[0134] また、文字コード管理サーバ 151は、文字コード管理部 151aと、文字記録部 151b と、音記録部 151cとを備えた構成になっている。
[0135] 文字コード管理部 151aは、最新の文字コード管理データを記録管理する。すなわ ち、(1)文字又は記号のみが関連付けられた文字コード、(2)音又は音声のみが関 連付けられた文字コード、 (3)文字又は記号と音又は音声との双方が関連付けられ た文字コード、(4)文字又は記号、及び音又は音声のいずれもが関連付けられてい ない文字コード、の 4種類の文字コード管理データの記録管理を行う。
[0136] 文字記録部 151bは、文字コードに関連付けて記録された文字及び記号それぞれ について、その変換用のかな入力読みや表示データ等といった文字データ及び記 号データを記録する。
[0137] 音記録部 151cは、文字コード利用装置 153によって各種音又は音声を発生させる ための音声データを記録する。
[0138] このように構成された配信サービスシステム 150において、例えば、この文字コード 管理サーバ 151に記録されていない新しい音を設定する場合、文字コード管理サー ノ 151の管理者は、その音データを音記録部 151cに記録した上で、文字コード管 理部 151aによってその音データを対応する文字コードと関連付ける。
[0139] このように、新たに文字若しくは記号データ、音若しくは音声データ、さらには文字 若しくは記号データと音若しくは音声データとの双方が、文字記録部 15 lbや音記録 部 151cに記録されたとき、それらのデータは、文字コード管理部 151aに記録管理さ れる対応する文字コードと共に、送信サーバ 152を経由して、文字コード利用装置 1 53に送信される。この送信は送信サーバ 152が自動的に行ってもよいし、文字コード 利用装置 153からの要求に応じて送信サーバ 152が行ってもよい。
[0140] 一方、文字コード利用装置 153としては、例えば図 1に示した電子メール端末 10を 例にその作用を説明すれば、文字コード管理サーバ 151からインターネット 200経由 で配信された、新たに追加又は更新された文字コード管理データと、文字若しくは記 号データ又は音若しくは音声データとは、通信装置 13を介して、電子メール端末 10 によって受信される。これに基づき、制御部 14は、この受信した文字コード管理デー タを記録部 16の文字コード記録部 16aに記録する。一方、制御部 14は、新たに追加 若しくは更新された文字又は記号データを文字記録部 15 lbに該当する文字コード と対応付けて記録するとともに、新たに追加若しくは更新された音又は音声データは 、音記録部 16bに該当する文字コードと対応付けて記録する。
[0141] これにより、例えば漢字「雷」の S—JISコードは「979B」である力 この文字コードに「 ゴロゴロ」と 、つた雷鳴の音データを新たに関連付けた文字コード管理データを生成 した場合は、文字コード管理サーバ 151はこの生成した文字コード管理データ及び 音データを各文字コード利用装置 153に伝送し、各文字コード利用装置 153に記録 することによって、文字にカ卩えて音での表現も伝えることが可能となる。
[0142] データの伝送にはインターネットの他、キオスク端末や各種メモリーカードなどを利 用してもよい。また、既に新たなデータが記録されている文字コード利用装置から、 未記録の文字コード利用装置に対して送信してもよい。

Claims

請求の範囲
[1] それぞれの文字コードに関連付けられた文字又は記号と共に、音又は音声を関連付 けることにより、文字又は記号を表示する際に、同じ文字コードに関連付けられた音 又は音声を再生することを特徴とする音声再生方法。
[2] 未使用の文字コードに新たに文字又は記号を関連付けると共に、音又は音声を関連 付けることにより、文字又は記号を表示する際に、同じ文字コードに関連付けられた 音又は音声を再生することを特徴とする音声再生方法。
[3] 1つの文字又は記号に対して、音又は音声をともに関連付けた 1つ以上の文字コード と、音又は音声は関連付けない 1つの文字コードとの 2つ以上の文字コードとを備え ることにより、同じ文字又は記号を表示しても、文字コードを使い分けることにより、音 又は音声を再生する場合と再生しない場合との双方に対応する
ことを特徴とする請求項 1又は 2記載の音声再生方法。
[4] 文字コードに対し文字又は記号は関連付けず、音又は音声のみを関連付けることに より、文字又は記号を表示しなくても、文字コードに関連付けられた音又は音声を再 生することを特徴とする音声再生方法。
[5] a)文字コードと、文字コードに関連付けられた文字若しくは記号、又は音若しくは音 声を記録する文字コード記録手段と、
b)通信機器を介して文字コードを受信する文字コード受信手段と、
c)該文字コード受信手段が受信した文字コードに関連付けられた文字若しくは記号 、又は音若しくは音声を、前記文字コード記録手段の記録内容に基づいて呼び出す 呼出手段と、
d)該呼出手段により呼び出された文字又は記号を表示する表示手段と、
e)該呼出手段により呼び出された音又は音声を出力する音声出力手段と、 を備えていることを特徴とする文字コード利用装置。
[6] さらに、
f)文字若しくは記号、又は音若しくは音声を前記文字コード記録手段に入力記録す るための登録手段
を備えていることを特徴とする請求項 5記載の文字コード利用装置。
[7] さらに、
通信手段
を備えていることを特徴とする請求項 5又は 6記載の文字コード利用装置。
[8] 複数の文字又は記号による表示内容から、縦又は横にスクロールしながら所望の表 示内容部分が含まれる行又は列を指定する際、当該指定された行又は列に音又は 音声が関連付けられた文字コードがある場合には、該当する音又は音声を再生する 音声再生方法。
[9] 指定された行又は列に音又は音声が関連付けられた文字コードが複数ある場合に、 音又は音声が関連付けられた先頭の文字コードに関連付けられた音又は音声のみ を再生する
ことを特徴とする請求項 8記載の音声再生方法。
[10] 音又は音声に関連付けられた文字コードに該当する文字又は記号のみ表示方法を 変え、使用者の操作によってその文字又は記号が指定された場合に、該当する音又 は音声を再生する音声再生方法。
[11] 一文字ずつ文字又は記号を指定する際、指定された文字又は記号が関連付けられ た文字コードに音又は音声も関連付けられている場合に、該当する音又は音声を再 生する音声再生方法。
[12] 複数の文字又は記号からなる文字列を、所定表示文字数の行又は列によって規定 された表示領域内に表示し、当該文字列を表示領域内でスクロールすることによって 全文を表示する際、音又は音声が関連付けられた文字コードが表示部分の特定位 置に来たときに、該当する音又は音声を再生する音声再生方法。
[13] 文字又は記号毎に一定の時間を割り当て、文字列の表示後の時間経過に従い、音 又は音声が関連付けられた文字コードより前に配置された文字又は記号に割り当て られた時間の合計を経過した際に、該当する音又は音声を再生する音声再生方法。
[14] 指定された箇所に音又は音声を関連付けられた文字コードが使用された場合、操作 を経ずに自動的に該当する音又は音声を再生する音声再生方法。
[15] 文字又は記号を順に読み上げるとともに、音又は音声が関連付けられた文字コード については、文字又は記号が読み上げられるタイミングと同時に該当する音又は音 声を再生する音声再生方法。
[16] 文字若しくは記号のみを関連付けられた文字コード、又は文字若しくは記号と音若し くは音声との 、ずれもが関連付けられて 、な 、文字コードに対し、後から音又は音声 を関連付け、その音又は音声データのみを文字コード利用装置に伝送する配信サ 一ビスシステム。
[17] 音若しくは音声のみが関連付けられた文字コード、又は文字若しくは記号と音若しく は音声との 、ずれもが関連付けられて 、な 、文字コードに対し、後から文字又は記 号を関連付け、その文字又は記号データのみを文字コード利用装置に伝送する配 信サービスシステム。
[18] 文字又は記号と音又は音声とのいずれもが関連付けられていない文字コードに対し 、後から文字又は記号と音又は音声との双方を関連付け、それらのデータを文字コ ード利用装置に伝送する配信サービスシステム。
[19] 文字コードにおいて、それぞれの文字コードに関連付けられた文字又は記号と共に 、音又は音声を関連付けたことを特徴とする文字コード管理方法。
[20] 文字コードにおいて、いずれの文字又は記号も関連付けられていない文字コードに 、新たに文字又は記号と音又は音声を関連付けたことを特徴とする文字コード管理 方法。
[21] 請求項 19又は請求項 20記載の文字コード管理方法において、
1つの文字又は記号に対して、音又は音声をともに関連付けた文字コードと音又は 音声は関連付けない文字コードとの、 2つの文字コードを備えた
ことを特徴とする請求項 19又は 20記載の文字コード管理方法。
[22] 文字コードにおいて、文字コードに文字又は記号は関連付けず、音又は音声のみを 関連付けたことを特徴とする文字コード管理方法。
PCT/JP2006/307557 2005-04-12 2006-04-10 音声再生方法、文字コード利用装置、配信サービスシステム、及び文字コード管理方法 WO2006109767A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP06731504A EP1876522A1 (en) 2005-04-12 2006-04-10 Audio reproducing method, character code using device, distribution service system, and character code management method
JP2007512995A JPWO2006109767A1 (ja) 2005-04-12 2006-04-10 音声再生方法、文字コード利用装置、配信サービスシステム、及び文字コード管理方法
US11/911,337 US20090063152A1 (en) 2005-04-12 2006-04-10 Audio reproducing method, character code using device, distribution service system, and character code management method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-114839 2005-04-12
JP2005114839 2005-04-12

Publications (1)

Publication Number Publication Date
WO2006109767A1 true WO2006109767A1 (ja) 2006-10-19

Family

ID=37087038

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/307557 WO2006109767A1 (ja) 2005-04-12 2006-04-10 音声再生方法、文字コード利用装置、配信サービスシステム、及び文字コード管理方法

Country Status (6)

Country Link
US (1) US20090063152A1 (ja)
EP (1) EP1876522A1 (ja)
JP (1) JPWO2006109767A1 (ja)
KR (1) KR20070119751A (ja)
CN (1) CN101194224A (ja)
WO (1) WO2006109767A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008156081A (ja) * 2006-12-25 2008-07-10 Toshiba Elevator Co Ltd エレベータの表示システム
CN110299130A (zh) * 2019-04-26 2019-10-01 上海连尚网络科技有限公司 一种基于寄宿应用的语音播放方法及设备

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881928B2 (en) * 2006-09-01 2011-02-01 International Business Machines Corporation Enhanced linguistic transformation
US8645140B2 (en) * 2009-02-25 2014-02-04 Blackberry Limited Electronic device and method of associating a voice font with a contact for text-to-speech conversion at the electronic device
JP5278064B2 (ja) * 2009-03-16 2013-09-04 富士通モバイルコミュニケーションズ株式会社 携帯端末および音声認識されたテキストデータの利用方法
CN102664007B (zh) * 2012-03-27 2016-08-31 上海量明科技发展有限公司 用于生成字符标识内容的方法、客户端及系统
CN106463111B (zh) * 2014-06-17 2020-01-21 雅马哈株式会社 基于字符的话音生成的控制器与系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150507A (ja) * 2001-11-19 2003-05-23 Denso Corp 電子メール機能付端末およびコンピュータプログラム
JP2004310352A (ja) * 2003-04-04 2004-11-04 Canon Inc 情報処理装置および情報処理方法ならびに記憶媒体、プログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164900A (en) * 1983-11-14 1992-11-17 Colman Bernath Method and device for phonetically encoding Chinese textual data for data processing entry
JPH06195326A (ja) * 1992-12-25 1994-07-15 Canon Inc 文書入力方法及び装置
JP3138370B2 (ja) * 1993-09-09 2001-02-26 株式会社日立製作所 情報処理装置
US6442523B1 (en) * 1994-07-22 2002-08-27 Steven H. Siegel Method for the auditory navigation of text
JP3367298B2 (ja) * 1994-11-15 2003-01-14 富士ゼロックス株式会社 言語情報提供装置、言語情報提供システムおよび言語情報提供方法
JPH0944189A (ja) * 1995-05-24 1997-02-14 Sanyo Electric Co Ltd テキスト情報の合成音声読み上げ装置及び文字放送受信機
JP3224760B2 (ja) * 1997-07-10 2001-11-05 インターナショナル・ビジネス・マシーンズ・コーポレーション 音声メールシステム、音声合成装置およびこれらの方法
JP2000081892A (ja) * 1998-09-04 2000-03-21 Nec Corp 効果音付加装置および効果音付加方法
US6324511B1 (en) * 1998-10-01 2001-11-27 Mindmaker, Inc. Method of and apparatus for multi-modal information presentation to computer users with dyslexia, reading disabilities or visual impairment
JP2001358602A (ja) * 2000-06-14 2001-12-26 Nec Corp 文字情報受信装置
US6816835B2 (en) * 2000-06-15 2004-11-09 Sharp Kabushiki Kaisha Electronic mail system and device
US6876969B2 (en) * 2000-08-25 2005-04-05 Fujitsu Limited Document read-out apparatus and method and storage medium
JP3485898B2 (ja) * 2000-11-13 2004-01-13 株式会社スクウェア・エニックス コンピュータ読み取り可能な記録媒体およびメッセージ送信プログラム、メッセージ受信プログラム、メッセージ送受信プログラムおよびメッセージ送信方法、メッセージ受信方法、メッセージ送受信方法および情報処理装置
US7062437B2 (en) * 2001-02-13 2006-06-13 International Business Machines Corporation Audio renderings for expressing non-audio nuances
JP2003058181A (ja) * 2001-08-14 2003-02-28 Oki Electric Ind Co Ltd 音声合成装置
JP3884951B2 (ja) * 2001-12-14 2007-02-21 キヤノン株式会社 情報処理装置及びその方法、プログラム
US20030135375A1 (en) * 2002-01-14 2003-07-17 Bloomstein Richard W. Encoding speech segments for economical transmission and automatic playing at remote computers
JP3848181B2 (ja) * 2002-03-07 2006-11-22 キヤノン株式会社 音声合成装置及びその方法、プログラム
JP4787634B2 (ja) * 2005-04-18 2011-10-05 株式会社リコー 音楽フォント出力装置、フォントデータベース及び言語入力フロントエンドプロセッサ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003150507A (ja) * 2001-11-19 2003-05-23 Denso Corp 電子メール機能付端末およびコンピュータプログラム
JP2004310352A (ja) * 2003-04-04 2004-11-04 Canon Inc 情報処理装置および情報処理方法ならびに記憶媒体、プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008156081A (ja) * 2006-12-25 2008-07-10 Toshiba Elevator Co Ltd エレベータの表示システム
CN110299130A (zh) * 2019-04-26 2019-10-01 上海连尚网络科技有限公司 一种基于寄宿应用的语音播放方法及设备

Also Published As

Publication number Publication date
KR20070119751A (ko) 2007-12-20
EP1876522A1 (en) 2008-01-09
US20090063152A1 (en) 2009-03-05
JPWO2006109767A1 (ja) 2008-11-20
CN101194224A (zh) 2008-06-04

Similar Documents

Publication Publication Date Title
US8255154B2 (en) System, method, and computer program product for social networking utilizing a vehicular assembly
CN102483917B (zh) 针对显示文本的命令
US6252588B1 (en) Method and apparatus for providing an audio visual e-mail system
US8473152B2 (en) System, method, and computer program product for utilizing a communication channel of a mobile device by a vehicular assembly
US8762853B2 (en) Method and apparatus for annotating a document
CN101682667B (zh) 用于搜索不同类型项目的方法和便携式设备
CN101243679B (zh) 用于提供语音通信的语音通信器
WO2006109767A1 (ja) 音声再生方法、文字コード利用装置、配信サービスシステム、及び文字コード管理方法
US8594290B2 (en) Descriptive audio channel for use with multimedia conferencing
JP2000507018A (ja) プレゼンテーション用マルチメディアメッセージを形成するための方法及び装置
JP2005507623A (ja) テキスト・メッセージングのための方法及び装置
US9171530B2 (en) Methods and apparatus for creating music melodies using validated characters
CN104052656A (zh) 用于改进电子邮件的设备和方法
WO2002003284A1 (en) Video mail service method and system
US9055015B2 (en) System and method for associating media files with messages
JP2004145418A (ja) 電子メール作成プログラム及び電子メール作成装置
JP4236976B2 (ja) 情報通信端末及び情報通知方法
KR20010084715A (ko) 인터넷 게시판 게시물 자동 포스팅 시스템 및 그 제어방법
JP2003016003A (ja) 電子メールアドレス入力方法
US20090150483A1 (en) Communication apparatus
JP2003036234A (ja) データ転送装置、通信装置、データ転送方法、通信方法、データ転送プログラムが記録された機械読取可能な記録媒体、通信プログラムが記録された機械読取可能な記録媒体、データ転送プログラム、通信プログラムおよびデータ通信システム
KR100556879B1 (ko) 멀티미디어 메시지의 파일첨부방법
JP3593004B2 (ja) 通信方法および通信システム
CN101626553A (zh) 发送短信的方法及通信终端
KR100487446B1 (ko) 이동 통신 단말의 오디오 장치를 이용한 감정 표현 방법및 이를 위한 이동 통신 단말

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680020253.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2007512995

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11911337

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006731504

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020077026199

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006731504

Country of ref document: EP