WO2006001488A1 - 携帯端末装置 - Google Patents

携帯端末装置 Download PDF

Info

Publication number
WO2006001488A1
WO2006001488A1 PCT/JP2005/012005 JP2005012005W WO2006001488A1 WO 2006001488 A1 WO2006001488 A1 WO 2006001488A1 JP 2005012005 W JP2005012005 W JP 2005012005W WO 2006001488 A1 WO2006001488 A1 WO 2006001488A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
control unit
terminal device
reading
text
Prior art date
Application number
PCT/JP2005/012005
Other languages
English (en)
French (fr)
Inventor
Tetsushi Wakasa
Takashi Kobiki
Kiyofumi Miyake
Original Assignee
Kyocera Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004192219A external-priority patent/JP4990482B2/ja
Priority claimed from JP2004191961A external-priority patent/JP4642391B2/ja
Priority claimed from JP2004192290A external-priority patent/JP4990483B2/ja
Application filed by Kyocera Corporation filed Critical Kyocera Corporation
Priority to US11/571,492 priority Critical patent/US9131062B2/en
Priority to CN2005800288605A priority patent/CN101010664B/zh
Publication of WO2006001488A1 publication Critical patent/WO2006001488A1/ja
Priority to US14/830,808 priority patent/US20160049145A1/en

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72436User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for text messaging, e.g. short messaging services [SMS] or e-mails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/57Arrangements for indicating or recording the number of the calling subscriber at the called subscriber's set
    • H04M1/575Means for retrieving and displaying personal data about calling party
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W52/00Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02Power saving arrangements
    • H04W52/0209Power saving arrangements in terminal devices
    • H04W52/0261Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0267Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by controlling user interface components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • the present invention relates to a mobile terminal device that performs wireless communication, such as a mobile phone, and more particularly to a mobile terminal device having a function of reading a displayed item by voice.
  • the mobile phone includes a plurality of key operation units, a control unit configured to set a function corresponding to a key operation among a plurality of functions provided in the phone according to one or more key operations of the key operation unit, and a key. And a voice synthesizer that outputs the function name set in conjunction with the operation.
  • the former information output device is a device that converts information stored in the information storage unit into a predetermined read position force read voice and reproduces and outputs it, and the read control unit uses a rewind button.
  • the reading start position of the information is determined by the instruction, it is determined Moves to the first separation position ahead of the information reading position, and when the information reading start position is determined by an instruction by the fast forward button, the determined information reading start position is moved to the first separation position behind. Move and finally determine where to start reading information.
  • the header of the mail is output in order by the speech synthesizer.
  • the user registers the necessary sender or subject or both of them in the skip condition holding unit as a skip condition by e-mail. After that, when the header part is read, the condition is judged by the skip condition judgment part, and the mail conforming to the skip condition is not read. If the necessary mail is found, the text is output by the speech synthesizer in response to the instruction.
  • Patent Document 1 Japanese Patent Laid-Open No. 11 252216
  • the above-described information output apparatus basically corresponds to text information that is a series of sentences, and does not correspond to menu display accompanying operation of the terminal.
  • the automatic setting of the break position is primarily considered to avoid the reproduction of unnatural position force after rewinding or fast-forwarding operation, but it is sufficient from the viewpoint of supporting selection according to importance. Absent. For example, do not recognize mail header information as header information! Therefore, it is necessary to read out the date and time of reception, sender, subject, and other low importance messages such as “Return path” and “to”. The information is handled in the same way.
  • each of the above-mentioned devices has a function that improves the convenience of the user in response to an externally connected device such as an earphone microphone. There is.
  • a warning sound is emitted to a fixed telephone or a portable telephone and a button switch set to a reading function is pressed.
  • a button switch set to a reading function is pressed.
  • a warning sound is generated before reading aloud only by converting the search result of the abbreviated number memory into voice information and transmitting it to the user according to the key operation.
  • the light emitting pattern of the LED in the conventional mobile phone is single, the information that can be given to the user is limited, and it cannot correspond to various functions of the mobile phone.
  • a folder type (foldable type) mobile phone in order to actually confirm the contents of the e-mail after the user is notified, the case is opened and a predetermined key operation is performed. Therefore, the operation is complicated. In particular, when reading aloud by voice is used as guidance, access to the text of received mail is inevitably slowed.
  • An object of the present invention is to automatically set an appropriate item break position according to the situation, to realize a skip operation and a back skip operation by a specific operation, to efficiently use a reading function, and
  • An object of the present invention is to provide a portable terminal device capable of improving user convenience.
  • Another object of the present invention is to provide a mobile terminal device that allows a user to set a warning sound before reading without requiring a troublesome trouble and can generate a warning sound only when necessary. is there.
  • Still another object of the present invention is to provide a mobile terminal device capable of notifying a user of various information and confirming the content of the information with a simple operation. Means for solving the problem
  • a mobile terminal device having a voice reading function, a storage unit that stores text according to a reading item, a warning sound generation unit that generates a warning sound, and performs reading
  • a voice synthesis unit that converts the text stored in the storage unit into voice data
  • a voice output unit that outputs the voice data or the warning sound
  • the voice output unit that outputs the voice data.
  • the first control for outputting the sound data after the warning sound is output from the sound output unit, and the second control for outputting the sound data without outputting the warning sound by the sound output unit.
  • a control unit that includes the control of the mobile terminal device.
  • an operation unit capable of instructing reading is provided, and the control unit starts reading by the second control when the reading is instructed by the operation unit.
  • control unit starts reading out according to the state transition in the first control.
  • a battery is provided, and the state transition is a transition of the remaining amount of the battery.
  • a communication unit is provided, and the state transition is a transition of a radio wave state in the communication unit.
  • the state transition is weighted for each state, and the control unit starts reading out according to the weighting.
  • a communication unit connectable to a communication network, a notification sound generation unit that generates a notification sound,
  • the control unit causes the voice output unit to output the notification sound when the communication unit receives or receives a message from the communication network, and outputs the notification sound. Read aloud.
  • control unit when performing the reading in the first control, causes the sound output unit to output the warning sound and output the sound data after a predetermined time.
  • an operation unit is provided, and the control unit does not cause the audio output unit to output the audio data when there is an input from the operation unit during the predetermined time.
  • the operation unit is associated with a predetermined process, and the control unit outputs to the audio output unit when the operation unit force is input for the predetermined time. Do not output the above audio data, and do not perform the predetermined process.
  • an operation unit is provided, the text has a delimiter position, and the control unit outputs text data to be read when the audio data is output by the audio output unit.
  • control is performed so as to read out the text having a separation position force either before or after the text reading position at the time of inputting the instruction.
  • the predetermined instruction instructed by the operation unit is a fast-forwarding or rewinding operation
  • the control unit determines that the text being read out is read if the predetermined instruction is a fast-forwarding instruction.
  • the nearest separation position force in the non-output direction is also read out. If the instruction is a rewinding instruction, the reading is performed from the nearest division position in the already output direction at the input time of the instruction.
  • the delimiter position is a position to which a descriptive symbol is attached.
  • the communication unit includes a communication unit that is connected to a communication network and transmits or receives a message, and the control unit indicates a transmission source or a reception destination of the message when the message is read out. Control is performed so that the element and the component indicating the message body are handled as the above delimiter positions.
  • control unit when reading out the message, the control unit reads out the constituent element name for each constituent element.
  • the storage unit stores a text of a title (such as Mr. Ms. or Dr.) and address information including a name, and the control unit reads out the message. Constituent power indicating the sender or receiver of the message Control is performed so that the name retrieved from the address information is read together with the title.
  • an external connection device having an external operation unit that is externally connected and instructs the control unit to perform a reading operation and a second audio output unit is provided, and the control unit is connected to the external connection device. If so, control is performed so that the audio data is output by the second audio output unit.
  • the communication unit includes a communication unit connectable to a communication network, and a notification sound generation unit that generates a notification sound.
  • the control unit receives an incoming request from the communication network by the communication unit, The notification sound is generated and output by the second sound output unit, and when the external operation unit is operated, the notification sound is stopped and the communication unit responds to the incoming call request. Control to start.
  • the external operation unit includes at least one key
  • the control unit includes a plurality of processes as the predetermined instruction, and a signal generated by operating the key is within a predetermined time. The number of times of input is counted, and one of the plurality of processes is processed according to the counted number.
  • the external operation unit includes at least one key
  • the control unit includes a plurality of processes as the predetermined instruction, and counts a continuous time of a signal generated by the operation of the key.
  • One of the plurality of processes is processed according to the time.
  • the predetermined instruction is a fast-forward or rewind operation
  • the control unit performs the operation when the voice output unit reads out at a first speed that is a normal speed.
  • a fast-forward instruction is issued by the part, it reads out from the point at which the fast-forward instruction was issued to the nearest break position at a second speed that is faster than the first speed. Control to read back to.
  • the predetermined instruction includes a rewinding operation, and when the rewinding instruction is given by the operation unit, the control unit determines a break before the reading position at the time of the rewinding instruction. Return to the position and read it out. If there is a rewinding instruction after the above rewinding instruction, control is performed to return to the previous separation position and read out again.
  • control unit has a light emitting unit and an operation unit capable of instructing reading, and the control unit instructs the light emitting unit to emit light when a state transition occurs, and the light emitting unit emits light to force the operation unit. Controls to read out information about state transitions when is operated.
  • the operation unit includes a plurality of input keys, a plurality of the light emitting units are provided, and are respectively associated with a plurality of input keys of the operation unit, and the control unit includes: When the state transition occurs, the light emission unit is instructed to emit light according to the type of state transition, and the input key corresponding to the light emission unit instructed to emit light is operated. Instructed to read out information about state transitions.
  • the apparatus includes a plurality of connected casings capable of forming an open state Z closed state, and the input key and the light emitting unit are arranged at positions exposed in the closed state of the casing. .
  • control unit reads information on the state transition that has caused the light emission when the housing is in a closed state and the light emitting unit emits light and an open state is formed. Control to raise.
  • the light emitting unit has a plurality of light emitting states
  • the control unit has one light emitting state pre-assigned to the type of the state transition among the plurality of light emitting states. Instruct to emit light.
  • the text is composed of a plurality of items
  • the control unit can be controlled to read out the text for each item, and each of the plurality of items is selected from the plurality of light emitting states.
  • the light emitting unit emits light with one light emitting state assigned in advance to the item.
  • the text is composed of a plurality of items
  • the control unit is controllable to read out the text for each item, and the plurality of light emitting states for the combination of the text items.
  • the light emitting unit is caused to emit light with one assigned light emission state.
  • a reading control method in a mobile terminal device having a voice reading function the step of storing text according to the reading item, the step of generating a warning sound,
  • the speech synthesis step for converting the text into speech data
  • the speech output step for outputting the speech data or the warning sound
  • the speech data output in the speech output step Read-out control comprising: a first control step for outputting the warning sound and outputting force voice data; and a second control step for outputting the voice data without outputting the warning sound.
  • a storage unit that stores text corresponding to a reading item, a warning sound generation unit that generates a warning sound, and a text stored in the storage unit when reading is performed.
  • the voice data is output in the voice output step to a computer of a portable terminal device that includes a voice synthesizer that converts a list into voice data and a voice output unit that outputs the voice data or the warning sound.
  • a computer program is provided.
  • the mobile terminal device of the present invention various information can be notified to the user, and the content of the information can be confirmed with a simple operation, so that the operational comfort is improved.
  • FIG. 1 is a block diagram illustrating an example of a system configuration of a mobile phone according to a first embodiment.
  • FIGS. 2A to 2D are diagrams illustrating an example of the appearance of the mobile phone according to the first embodiment.
  • FIG. 2A is a front view
  • FIG. 2B is a back view
  • Figure 2D shows the back view.
  • Fig. 3 is a diagram showing an example of signals when three types of operations are identified in the first embodiment.
  • FIG. 4 is a flowchart for explaining the basic operation of the reading operation according to the first embodiment.
  • FIG. 5 is a diagram showing an example of data received at the time of a reading operation according to the first embodiment, and is a diagram showing an example when received by a mailer.
  • FIG. 6 is a diagram showing an example of a table created by the text extraction unit based on the data received during the reading operation according to the first embodiment.
  • FIG. 7 is a flowchart for explaining the operation during the skip operation according to the first embodiment.
  • FIG. 8 is a flowchart for explaining the operation of the back skip operation according to the first embodiment.
  • FIG. 9 is a flowchart for explaining the control operation when the connection terminal of the earphone microphone as the external connection device according to the first embodiment is connected to the external device connection unit.
  • FIG. 10 is a flow chart for explaining the control operation when the connection terminal of the earphone microphone as the external connection device according to the first embodiment is connected to the external device connection unit.
  • FIG. 11 is a block diagram illustrating an example of the system configuration of the mobile phone according to the second embodiment.
  • FIGS. 12A to 12D are diagrams illustrating an example of the appearance of the mobile phone according to the second embodiment.
  • FIG. 12A is a front appearance view
  • FIG. 12B is a rear appearance view
  • FIG. Fig. 12D shows the front view
  • Fig. 12D shows the rear view.
  • FIG. 13 is a diagram showing an example of a control table according to the second embodiment.
  • FIG. 14 is a diagram showing an example of a weighting table according to the second embodiment.
  • FIG. 15 is a flowchart for explaining the basic operation of the reading operation according to the second embodiment.
  • FIG. 16 is a diagram showing a use scene of the speech reading function during travel according to the second embodiment.
  • FIG. 17 is a diagram showing a use scene of a speech reading function during a call according to the second embodiment.
  • FIG. 18 is a diagram showing a use scene of a speech reading function in an email according to the second embodiment.
  • FIG. 19 is a block diagram illustrating an example of a system configuration of the mobile phone according to the third embodiment.
  • FIG. 19 is a block diagram illustrating an example of a system configuration of the mobile phone according to the third embodiment.
  • FIG. 20A to 20D are diagrams illustrating an example of the appearance of the mobile phone according to the third embodiment.
  • FIG. 20A is a front view
  • FIG. 20B is a back view
  • FIG. 20C is a view
  • Fig. 20D shows the front appearance
  • Fig. 20D shows the rear appearance.
  • FIG. 21 is an example illustrating a reading key and a light emitting unit according to the third embodiment.
  • FIG. 22A and FIG. 22B are examples of a light emission pattern according to the event type of the third embodiment.
  • FIG. 23 is an example of a light emission pattern according to the destination of the third embodiment.
  • FIG. 24 is a flowchart showing a light emission process of the third embodiment.
  • FIG. 1 is a block diagram illustrating an example of a system configuration of a mobile phone 10 as an embodiment of the mobile terminal device of the present invention.
  • 2A to 2D are diagrams illustrating an example of the appearance of the mobile phone 10.
  • the mobile phone 10 is a so-called foldable mobile phone having a movable mechanism.
  • FIG. 2A is a front view in an opened state (open state)
  • FIG. 2B is a front view in a closed state (closed state).
  • Fig. 2C shows a side view in the open state
  • Fig. 2D shows a side view in the closed state.
  • a remote control having a voice reading function and an external operation unit that is externally connected and can instruct a reading operation is provided.
  • An earphone / microphone as an externally connected device can be connected, and when connected to an externally connected device, it has a function of switching the output of the audio output unit.
  • the cellular phone 10 (including the case where the earphone microphone is not connected and the case where it is connected) is a menu display, mailer, browser, etc. where the data format and a series of operations are specified, and the importance of information to the user Stipulates effective rules for automatic setting of breakpoints along the line, and efficient use of the user by utilizing skip operations during speech reading It is configured to allow selection of information.
  • the delimiter position is set by e-mail-specific information such as “reception date”, “sender”, “subject”, and “text”.
  • these item headings can be inserted at the beginning of each delimiter as standard text, and the skip operation can be performed while checking the item names in this order.
  • remote control remote control
  • the mobile phone 10 includes a communication processing unit 11 including a transmission / reception antenna 111 and a transmission / reception circuit 112, a memory 12, a key operation unit 13, a dial input unit 14, and a sub display.
  • Unit 15 main display unit 16, audio processing unit 17 including speaker 171 and microphone 172, and audio processing circuit 173, open / close switch 18, reading key input unit 19, audio synthesizing unit 20, ringer A speaker 21, switch circuits 22, 23, 24, an external device connection unit 25, and a control unit (CPU) 26 are included.
  • reference numeral 30 denotes an earphone microphone as an external connection device.
  • the earphone microphone 30 includes a key operation unit 31 for operating a remote controller, a spin force 32, and a microphone 33.
  • the main body case 100 of the mobile phone 10 is a first case.
  • a key input side main body case 101 and a display side main body case 102 as a second housing are connected by a movable mechanism (not shown) so as to form an open / close state.
  • the communication processing unit 11 performs a wireless communication operation via the base station, for example, a telephone number calling operation or an e-mail transmission / reception operation.
  • the communication processing unit 11 modulates voice information, electronic mail, and the like processed by the control unit 26 and transmits them to the base station via the transmission / reception antenna 111, not shown.
  • the transmission / reception circuit 112 demodulates various information such as voice information such as an e-mail, a short message, and a message such as a PTT call transmitted from the base station by radio and received by the transmission / reception antenna 111 and outputs the demodulated information to the control unit 26.
  • PTT is an abbreviation for Push to Talk.
  • the transmission / reception antenna 111 that performs incoming call notification is built in the key input side main body case 101 or the display side main body case 102 as in the case of normal voice incoming call. In 2D, it is exposed to the outside.
  • the memory (storage unit) 12 includes a non-volatile memory such as an EEPROM, in which a control program for transmitting and receiving calls, an Internet browser, message data, a name, and a telephone number are registered. Memorize the address book.
  • EEPROM electrically erasable programmable read-only memory
  • the memory 12 stores a speech-to-speech database including a text string necessary for a speech function to be described later.
  • text strings for reading are systematically arranged so that the connection relationship before and after is established as a sentence.
  • the memory 12 stores a title text and address information.
  • the memory 12 stores “standard text”, “abbreviated text”, and “descriptive text” for each menu item displayed on the display unit.
  • the key operation unit 13 has an end (end call) Z power key, a start (call) key, a plurality of numeric keys corresponding to numbers, and the like. When these keys are operated by the user, User The input information is output to the control unit 26.
  • the dial input unit 14 is arranged on the side surface of the display-side main body case 102 so that the user's thumb can make the operation easier when the user holds the mobile phone 10 in the open state.
  • This is a dial-type input unit that can be operated in two directions.
  • the user can change the sound output volume and the character size displayed on the sub display unit 15 and the main display unit 16.
  • the sub display unit 15 has a display device such as a liquid crystal display (LCD) and is visually recognized by the user in the closed state as shown in FIG.
  • LCD liquid crystal display
  • the main display unit 16 has a display device such as a liquid crystal display (LCD) and is visually recognized by the user in the open state as shown in FIG. 2A.
  • LCD liquid crystal display
  • the sub display unit 15 and the main display unit 16 display the text of the received e-mail and various text data stored in the memory 12 in the closed state and the open state, respectively.
  • the sound processing unit 17 includes a sound processing circuit 173, and a speaker power 171 for outputting sound for a call function and a speaker 32 of the earphone microphone 30 are selectively connected via the switch 22.
  • the microphone 172 for inputting voice and the microphone 33 of the earphone microphone 30 are selectively connected via the switch 23.
  • the sound processing circuit 173 performs predetermined processing on the sound collected by the microphone 172 or the microphone 33 of the earphone microphone 30 and supplies the processed sound to the control unit 26. Also, the audio processing circuit 173 performs predetermined processing on the audio information supplied from the control unit 26 and outputs the audio information from the speaker 171 or the speaker 32 of the earphone microphone 30.
  • the speaker 171 is composed of the receiving speaker 171 and the ring speaker. It includes two voice output sections with force 21 and basically outputs the voice that is the processing result of the reading function by the ringer speaker 21.
  • the open / close switch 18 is a switch for detecting the open / closed state of the mobile phone 10.
  • each of the key input side main body case 101 and the display side main body case 102 has a contact portion.
  • the two contacts In the closed state (FIG. 2B), the two contacts can be electrically non-conductive so that the circuit can be turned off.
  • the open / close switch 18 is turned on (ON state), and when the mobile phone 10 is opened, the open / close switch 18 is turned off (OFF state), and the control unit 26 is in the open / closed switch state. By detecting this, the open / close state of the mobile phone 10 is determined.
  • the reading key operation unit 19 includes a push-down button 19a disposed in the center of the display-side main body case 102 and an input circuit for switch input by the button. .
  • the cellular phone 10 in this embodiment has a reading function.
  • the push button 19a When the push button 19a is pressed (operated), for example, the voice is output from the ringer speaker 21 in the closed state, and the voice is output from the receiving speaker 171 in the open state. In this manner, the control unit 26 controls the operation.
  • the control unit 26 After determining the open / closed state of the mobile phone 10 based on the output of the open / close switch 18, the control unit 26 notifies the audio processing unit 17 of the audio output destination for reading.
  • control unit 26 causes the speaker 171 to output the output voice data generated by voice synthesis by the voice synthesis unit 20 through the voice processing unit 17.
  • the speech synthesizer 20 converts the text data read and extracted from the memory 12 by the control unit 26 into speech data when reading out.
  • the fixed contact a is connected to the input / output part of the sound processing circuit 173
  • the operation contact b is connected to the microphone 172
  • the operation contact c is connected to the microphone terminal 251 of the external device connection part 25.
  • connection terminal of the earphone microphone 30 When the connection terminal of the earphone microphone 30 is connected to the external device connection section 25!, (Or is inserted!), The switch circuit 22 is controlled by the control section 26 to operate with the fixed contact a. Connect the point b and input the information collected by the microphone 172 to the audio processing circuit 173 Let
  • the switch circuit 22 When the connection terminal of the earphone microphone 30 is connected (inserted) to the external device connection section 25, the switch circuit 22 connects the fixed contact a and the operating contact under the control of the control section 26. Information collected by the microphone 33 of the external earphone microphone 30 is input to the sound processing circuit 173.
  • the fixed contact a is connected to the input / output unit of the sound processing circuit 173
  • the operation contact b is connected to the speaker 171
  • the operation contact c is connected to the speaker terminal 252 of the external device connection unit 25. ing.
  • connection terminal of the earphone microphone 30 is connected to the external device connection section 25 !, and so on (inserted!)
  • the switch circuit 23 is controlled by the control section 26 and connected to the fixed contact a. Connect point b and output sound from speaker 171.
  • the switch circuit 23 When the connection terminal of the earphone microphone 30 is connected (inserted) to the external device connection section 25, the switch circuit 23 connects the fixed contact a and the operating contact under the control of the control section 26. Sound is output from the speaker 32 of the external earphone microphone 30.
  • the fixed contact a is connected to the output unit of the speech synthesizer 20, the working contact b force is connected to the S ringer speaker 21, and the working contact c is connected to the speaker terminal 25 2 of the external device connection unit 25. It is connected.
  • connection terminal of the earphone microphone 30 When the connection terminal of the earphone microphone 30 is connected to the external device connection section 25 !, and so on (inserted!), The switch circuit 24 is operated with the fixed contact a by the control of the control section 26. Connect the point b and output the synthesized voice from the ringer speaker 21.
  • the switch circuit 25 When the connection terminal of the earphone microphone 30 is connected (inserted) to the external device connection section 25, the switch circuit 25 connects the fixed contact a and the operating contact under the control of the control section 26. Output sound synthesized by speaker 32 of external earphone microphone 30
  • the external device connection unit 25 is detachably connectable to the connection terminal of the earphone microphone 30, and includes a microphone terminal 251, a speaker terminal 252, and a signal terminal 253.
  • the microphone terminal 251 is connected to the operating contact c of the switch circuit 22 and the microphone mouthphone 33 of the earphone microphone 30.
  • Speaker terminal 252 is the operating contact c and It is connected to the speaker 32 of the earphone microphone 30.
  • the signal terminal is connected to the control unit 26 and the key operation unit 31 of the earphone microphone 30.
  • control unit 26 When the control unit 26 recognizes that the connection terminal of the earphone microphone 30 is connected to the external device connection unit 25 and is connected to the key operation unit 31, the control unit 26 activates the connection of the fixed contact a of the switch circuits 22, 23, 24. Control to switch from contact b to working contact c.
  • the control unit 26 is configured mainly with a microcomputer and controls the entire mobile phone 10. For example, the control unit 26 controls transmission / reception of various types of information in the communication processing unit 11, processes audio information for the audio processing unit 17, controls display of information on the main display unit 16, and inputs information to the key input unit 13. Depending on the processing, access control to the memory 12 is performed.
  • the control unit 26 executes a function for reading out the displayed text.
  • the text-to-speech method is used to extract the text string that is not used by the method of outputting speech data for reading as a text-to-speech function.
  • the control unit 26 includes a text extraction unit 261.
  • the text extraction unit 261 extracts database power text of menus, mailers, browsers stored in the memory 12, for example, according to the text extraction rules.
  • the control unit 26 scans the text string in order of the first character and refers to the reading database in the memory 12 in advance and considers the connection relationship before and after.
  • Text data is supplied to the speech synthesizer 20 so as to perform speech synthesis on a sentence-by-sentence basis. Further, the control unit 26 performs control so as to perform speech synthesis in units of sentences, for example.
  • this reading function for example, it is possible to change to male sound, change to female sound, change the reading speed, etc.
  • the control unit 26 When outputting the voice data from the speaker 32 of the ringer speaker 21 (speaker 171) or the earphone microphone 30 through the voice synthesis unit 20, the control unit 26 recognizes a predetermined break from the text to be read out, and When a predetermined instruction is given by the reading key operation part 19, the operation part 13 has a word before or after the text to be read out when the instruction is input. Control is performed so that audio data is output from any of the separation positions.
  • the predetermined instruction given by the key operation unit 13 or the reading key operation unit 19 to the control unit 26 is, for example, as shown in FIG. This is back-skip 9 operation.
  • the control unit 26 performs control so that the separation position force closest to the front from the time of the instruction is also output as voice data.
  • the control unit 26 controls to output the audio data from the position closest to the rear from the time when the instruction is given.
  • «descriptive symbols such as punctuation marks, punctuation marks, exclamation points, question marks, etc. specified by JIS, specifically,”, ”“. ”“ One ”“ Z ”“! ”“? ”
  • the attached position is set as the break position.
  • control unit 26 recognizes the constituent elements of the electronic mail and reads between the plural constituent elements when reading out the electronic mail. It is also controlled so that it is handled as a break position.
  • control unit 26 controls to insert the text of the name of the component at the head portion of the text sandwiched at the delimiter position divided by the component.
  • the memory 12 stores the title text and address information, and the control unit 26 can search the sender name from the address information in the memory 12 for the constituent elements indicating the sender of the received e-mail.
  • control is performed so that the title is output after the sender name is output by the speaker 21 or the like as the voice output unit.
  • the mobile phone 10 includes an external operation unit that can be externally connected and can instruct a reading operation, and can be connected to an earphone microphone 30 as an external connection device that can be remotely controlled. 26, when the earphone microphone 30 is connected Performs remote control-compatible operation interrupt routine management processing, and inputs / outputs audio input / output
  • Switch circuits 22-24 are controlled to switch to 30.
  • the switch circuits 22 to 24 are controlled so that voice input / output is switched by the built-in microphone 172, speaker 171 and ringer speaker 21.
  • the control unit 26 causes the earphone microphone 30 to notify the incoming call through the speaker 32 as an audio output unit.
  • the incoming call notification is stopped, and further, the communication processing unit 11 is controlled to start communication connection processing to the communication network.
  • the key operation unit 31 of the earphone microphone 30 includes one or a plurality of keys.
  • the control unit 26 determines a predetermined instruction by counting the number of times a signal generated by the key operation of the key operation unit 31 of the earphone microphone 30 within a predetermined time.
  • the predetermined instruction here is a fast forward (skip) or rewind (back skip) operation.
  • the control unit 26 skips when the key of the key operation unit 31 is operated once, and backs up when the key is operated twice as shown in FIG. 3 (b). Judged as skipped.
  • the control unit 26 when there is a signal input for a predetermined time or more by the key operation unit 31, the control unit 26 performs an operation not related to the read-out function, for example, an incoming call response or a hold. It is determined that it is a release.
  • the controller 26 reads out at the first speed, which is the normal speed, and a fast-forward instruction is issued by the key operation section 19, 13, or 31, the point force at which the fast-forward instruction is issued is most forward. Read up to the nearest break position at a second speed faster than the first speed, and control the break position force back to the first speed.
  • the control unit 26 reads out the separation section at the time of the first operation instruction, and the first operation instruction is issued. If there is an instruction for rewinding operation again within the specified time, control is performed to return the reading target to the previous section. [0075] In the state where the sub display unit 15 or the main display unit 16 displays text, when a dial input is made in the upward direction of the mobile phone 10, the character size of the displayed text is enlarged. In addition, when a dial input is made in the downward direction of the mobile phone 1, each display unit is controlled so that the character size of the displayed text is reduced.
  • the control unit 26 extracts the character information from the memory 12 and displays it on each display unit.
  • the cellular phone 1 displays the text font with the ringer speaker 21 side as the lower side.
  • the control unit 26 performs processing according to dial input from the dial input unit 14, and at that time, performs reversal processing according to the open / close state of the mobile phone 1.
  • the control unit 26 determines the open / closed state of the mobile phone 10 based on the output of the open / close switch 18, and inverts the action on the dial input unit 14 according to the open / closed state.
  • an upward operation on the dial input unit 14 always increases the character size and a downward direction on the dial input unit 14. The operation moves in the direction of reducing the character size, improving operability without a sense of incongruity.
  • FIG. 4 to FIG. A specific description will be given in association with 0.
  • FIG. 4 is a flowchart for explaining the basic operation of the reading operation centered on the control unit 26 according to the present embodiment.
  • FIG. 5 is a diagram showing an example of data received at the time of the reading operation, and shows an example in the case of being received by the mailer.
  • FIG. 6 is a diagram showing an example of a table created by the text extraction unit 261 based on the data received during the reading operation.
  • control unit 26 operates by transitioning to a state where reading is possible.
  • the control unit 26 determines a source of data to be read (ST1). As a receiving source, the control unit 26 determines whether it is a menu, a mailer, or a browser. In this example, it is assumed that mailer power has been received. The recipient is not limited to a single location, and menus and mailers can be combined.
  • the control unit 26 receives data as shown in FIG. 5 (ST2) and creates a table as shown in FIG. 6 (ST3).
  • the received data is, for example, data as shown in FIG.
  • the header part is the body text such as DATE (date): 2004Z3Z20, From (from): Taro Kyocera, Subject (subject): Nice weather, etc.
  • DATE (date): 2004Z3Z20 From (from): Taro Kyocera
  • Today is a good weather. Will it be sunny tomorrow? Let's go play next time!”.
  • the text contains a punctuation mark “.”, A question mark “?”, And an exclamation mark “!”.
  • control unit 26 creates text data for each item in accordance with the rule corresponding to the data receiving source.
  • “From Taro Kyocera Taro I” is created as the text data for “Item number 2”.
  • the text data for this item number 2 is “From: Taro Kyocera” in the header of the received data. It is created based on the data.
  • the letters “From” and “Ms.” are underlined, indicating that this is a standard additional text for each item.
  • “San” is a title (Mr. or Ms. or Dr. Sir, etc.). Note that the CPU 26 omits the operation of adding the above-mentioned title when the component indicating the sender of the e-mail contains only address information, or stores the address book stored in the memory 21 of the mobile phone 10. It is preferable to perform an operation of adding a title after extracting a matching name with reference to.
  • “: ⁇ Good weather” is created as the text data for “item number 3”.
  • the text data of item number 3 is created based on the data “Subject: V, weather” in the header of the received data. Note that the power of “Subject” is underlined. This indicates that this is a standard additional text for each item.
  • the text “Today is the weather.” Is created.
  • the text data of item number 4 is created based on the data “Today is the weather” in the body of the received data. That is, the punctuation mark “.” Is recognized as a delimiter position, and the punctuation mark “.” Part is used as a delimiter.
  • the text “Body” is underlined, indicating that this is a standard additional text for each item.
  • text corresponding to each item for outputting a voice by the reading function is held in the memory 12 and pressed.
  • text corresponding to the selected item is supplied to the speech synthesizer 20, where speech synthesis processing is performed, and for example, speech is output item by item from the ringer speaker 21 according to the table. Is done.
  • the process ends when the last item in the created table (number 7 “end of mail”) is read out (ST6).
  • FIG. 7 is a flowchart for explaining the operation during the skip operation.
  • FIG. 8 is a flowchart for explaining the operation of the back skip operation.
  • control unit 26 When the control unit 26 receives an interrupt process in response to a skip operation instruction (fast forward instruction) from the key operation unit 13 or 19 during reading (ST11), it determines whether or not the item to be skipped is the last item in the created table. (ST12).
  • a skip operation instruction fast forward instruction
  • control unit 26 advances the item by one, ie, skips the current item (ST13).
  • control unit 26 determines whether or not an interrupt process based on a skip operation instruction (fast-forward instruction) has been received by the key operation unit 13 or 19 within a predetermined time (ST14).
  • step ST14 if there is no skip operation instruction within a predetermined time, control unit 26 ends the process. On the other hand, if it is determined that the skip operation instruction has been given within the predetermined time, the control unit 26 returns to the processing of step ST12 and determines whether or not the item to be skipped is the last item of the created table (ST12).
  • control unit 26 determines in step ST12 that the item is the last item, the control unit 26 ends the processing. If the control unit 26 determines that the item is not the last item, the control unit 26 advances the item by one from the processing in step ST13. That is, the control unit 26 performs a process of skipping the current item, and proceeds to the process of step ST14. Next, the operation during the back skip operation will be described with reference to FIG.
  • control unit 26 When the control unit 26 receives an interrupt process by a back skip operation instruction (fast reverse instruction) by the key operation unit 13 or 19 during reading (ST21), after reading the same item again (ST22) It is determined whether or not it is the first item of the created table (ST23).
  • a back skip operation instruction fast reverse instruction
  • control unit 26 determines whether or not the key operation unit 13 or 19 has received an interrupt process by a back skip operation instruction (fast return instruction) within a predetermined time. (ST24).
  • step ST24 if there is no back skip operation instruction within a predetermined time, control unit 26 ends the process. On the other hand, if it is determined that a back skip operation instruction has been given within a predetermined time, the process proceeds to step ST25, and it is determined whether or not the item to be skipped is the first item in the created table.
  • control unit 26 determines in step ST25 that the item is not the first item, the control unit 26 returns one item, that is, performs a process of back-skiping the current item (ST26), and proceeds to the process of step ST24.
  • control unit 26 determines that it is not the first item in step ST25, it ends the process.
  • control unit 26 determines whether the connection terminal of earphone microphone 30 that is an external connection device is connected to external device connection unit 25 (ST31).
  • control unit 26 determines in step ST31 that the connection terminal of earphone microphone 30 is connected to external device connection unit 25, control unit 26 performs an operation interrupt routine management process corresponding to the remote controller (ST32).
  • control unit 26 determines in step ST31 that the connection terminal of the earphone microphone 30 is not connected to the external device connection unit 25, the control unit performs a normal operation interrupt routine management process (ST33).
  • the control unit 26 determines whether or not there is an input from the key operation unit of the main body (ST41). Then, interrupt processing according to the operation is performed (ST42).
  • control unit 26 determines whether or not the remote control signal is input (ON) by the key operation unit 31 of the earphone microphone 30. (ST43).
  • controller 26 determines in step ST43 that the remote control signal has been turned ON, O
  • step ST44 determines whether or not the remote control signal has been turned OFF within a predetermined time
  • the key operation unit 31 performs the predetermined operation. Since there is a signal input over a period of time, it is determined that the operation is not related to this reading function, for example, an incoming call response or release of hold (ST45) .
  • the control unit 26 determines that the remote control signal is turned OFF in step ST44.
  • whether or not the remote control signal is turned on within a predetermined time is determined by the key operation unit 31 (ST46).
  • control unit 26 determines that a knock skip operation instruction has been issued, and performs the above-described back skip operation interrupt process (ST47).
  • control unit 26 determines that a skip operation instruction has been issued, and performs the above-described skip operation interrupt process (ST48).
  • the control unit 26 causes the speaker 32 to notify the incoming call and output it to the earphone microphone 30.
  • control unit 26 stops the incoming call notification when the key operation unit 31 of the earphone microphone 30 is operated, and causes the communication unit 11 to start communication connection processing to the communication network.
  • the control unit 26 receives a new mail, it creates a new mail table.
  • “New mail” is displayed on the standby screen. This “new mail” is displayed when the control unit 26 detects that a new incoming mail has occurred, the text extracted especially from the database of the menu stored in the memory 21 is displayed in the sub display unit 15. Display.
  • the display of “New mail” is switched on the main display section 16 due to a change in the signal of the open / close switch 18.
  • the key operation unit 13 opens a new mail, and when the reading key operation unit 19 is instructed to read it out, a table as described in connection with FIGS. 5 and 6 is created. Is made.
  • the menu database power is first extracted at the beginning of the item number. Add “New mail” to the text data and shift the item numbers below one by one to create a table. As a result, if a fast-forward (skip) operation is performed without operating the key operation unit 13 in a state where a new mail has been generated, it is possible to check even the contents of the new mail immediately.
  • table creation operation including such a menu is not limited to the force described only when the earphone microphone 30 is connected.
  • the reading key operation unit 19 when the reading key operation unit 19 is configured to be exposed when the door of the mobile phone 10 that is a mobile terminal device is closed, the reading operation unit 19 is read when the door of the mobile terminal device is closed.
  • the table creation operation including the menu may be performed as described above.
  • the reading of “There is a new mail” is reduced without opening the door of the mobile terminal device. Nga speaker 21 and so on, a series of content confirmation can be performed.
  • the operation unit 19 for instructing the reading operation, the memory 12 for storing the text, and the text data stored in the memory 12 when the reading is performed are converted into voice data.
  • the user can select according to the importance of information, and the reading function can be used efficiently.
  • text items to be read out can be extracted according to rules that have been determined in advance, and can be automatically handled in the case of data such as e-mail that cannot be predicted in advance. However, it is possible to reduce the labor of setting the break position by yourself.
  • the characters on the displayed text can be enlarged and reduced by the operation on the dial input unit 14, and the text visibility is improved.
  • the display processing corresponding to the display format of the text is performed, so that the user's visibility and operational comfort are further improved.
  • a second embodiment of the portable terminal device of the present invention will be described with reference to FIGS.
  • the second embodiment of the present invention relates to a portable terminal device in which a user can set a warning sound before reading without requiring a troublesome work and can generate a warning sound only when necessary.
  • the mobile terminal device 10A illustrated in FIGS. Part 25 has been deleted.
  • Other components are substantially the same as the mobile terminal device 10 of the first embodiment and the mobile terminal device 10A of the second embodiment.
  • the control unit 26 according to the first embodiment and the control unit 26A according to the second embodiment are different in processing contents as described below. The following description will focus on the characteristic differences of the mobile terminal device 10A according to the second embodiment.
  • the mobile phone 10A has a voice reading function in addition to the function of a normal mobile phone.
  • a warning sound is output before the reading. It is configured to alert the user (listener) by sounding and obtain a psychological effect.
  • the ringtone is used as a warning sound before the reading time.
  • a normal warning sound is not emitted as a split. That is, the mobile phone 10A is configured not to emit a warning sound until it is clearly audible.
  • the user when the user can set the warning sound and the user's terminal is read aloud, it is configured so that it can be determined instantaneously.
  • the first is that a warning sound is generated by referring to the condition table.
  • a weighting value is given in advance to each event (event) that does not have a fixed setting such as a condition table, and the range in which the user sounds the warning sound, the weight of the weighting table.
  • the weight value of each item in the weighting table of the speech reading function stored in the memory 12 can be set through the control unit 26A.
  • the audio processing unit 17 includes an audio processing circuit 173, to which a speech power 171 that outputs audio for a call function and a microphone 172 that inputs audio are connected.
  • the sound processing unit 17 performs predetermined processing on the sound collected by the microphone 172 and supplies the sound to the control unit 26A.
  • the audio processing unit 17 performs predetermined processing on the audio information supplied from the control unit 26A and outputs it from the speaker 171.
  • the speaker 171 includes two voice output units, that is, a reception speaker 171a and a ringer speaker 171b, and outputs a voice as a processing result of the reading function.
  • the speech processing unit 17 converts the text data read and extracted from the memory 12 in the control unit 26A into speech data when reading out, and receives the speech output unit.
  • the voice is synthesized and output by the speaker 171a or the linger speaker 171b.
  • the speech processing unit 17 outputs the speech data synthesized by the reception speaker 171a or the ringer speaker 171b in the speech output unit under the control of the second control signal CTL2 by the control unit 26A during speech reading, Depending on the reason for starting reading, a warning sound is output at the audio output unit, and the audio data is also output.
  • the warning sound generating unit 50 receives the first control signal CTL1 from the control unit 26A and generates a warning sound, for example, a warning sound "ping pong", and the voice is transmitted through the control unit 26A or directly. This is supplied to the synthesis processing unit 17.
  • the control unit 26A executes a function for reading out the displayed text.
  • the text-to-speech method is used to extract the text string that is not used by the method of outputting the speech data for reading as a reading-out function, and to generate Z and read the text.
  • control unit 26A When outputting the audio data, the control unit 26A generates a warning sound by the control signal CTL1 and outputs the warning sound from the speaker serving as the voice output unit according to the reason for starting to read the voice data.
  • the second control signal CTL2 is output to the sound processing unit 17 so as to output.
  • control unit 26A when outputting the voice data, the control unit 26A generates a warning sound with the first control signal CTL1 according to the reason for starting the reading, and then converts the text into the voice data with the second control signal CTL2. Control to convert to.
  • the control unit 26A causes the speaker 172, which is an audio output unit, to output a warning sound and output the audio data after a predetermined time has elapsed.
  • control unit 26A generates a warning sound in the warning sound generation unit 50 by the first control signal CTL and generates voice data in the voice synthesis processing unit 17 by the second control signal CTL2 after a predetermined time has elapsed.
  • control unit 26A does not output the audio data through the speaker 172 that is an audio output unit.
  • the key operation unit 13 is associated with a predetermined process, and the control unit 26A, when receiving an input from the key operation unit 13 during a predetermined time, performs a sound through the speaker 172 that is an audio output unit. It is controlled so that a predetermined process is not performed only by not outputting voice data.
  • control unit 26A determines whether the reading is started by the reading key operation unit 19 or the automatic reading according to the state transition in the terminal as a reason for starting the reading.
  • This automatic reading is based on, for example, transition of the remaining battery level or radio wave condition.
  • control unit 26A refers to the control table for the voice reading function stored in the memory 12.
  • FIG. 13 is a diagram showing an example of a control table according to the present embodiment.
  • the automatic reading-out category is divided into the remaining battery level, radio wave status, and others.
  • the mobile phone 10A is not shown in the figure, and is supplied with power by a secondary battery (hereinafter referred to as a battery), and the control unit 26A keeps track of the voltage value of the battery to grasp the remaining battery level. ing.
  • a battery flag is set depending on whether the battery voltage value is equal to or greater than a predetermined threshold value, and the threshold value is provided at a plurality of levels. Based on this, the remaining battery power is designated as 0, 1, 2, or 3 in order and displayed on the display units 15 and 16.
  • the battery status is determined by, for example, whether or not to read out the battery flag power displayed on the display units 15 and 16 by one, two, or three.
  • the control unit 26A when the battery flag is 0 and 1, the control unit 26A will notify the user that the battery level is extremely low.
  • the sound generation control and the reading control are performed so as to read out “
  • control unit 26A When there are two and three battery flags according to the control table, the control unit 26A does not perform read-out control until the user is notified of the remaining battery level.
  • the mobile phone 10A always performs an operation of ensuring communication with a neighboring base station by the transmission / reception circuit 112 transmitting and receiving a radio signal through the antenna 111.
  • the intensity of the radio wave as seen from the mobile phone 10A changes from moment to moment.
  • the control unit 26A provides a plurality of thresholds and values according to the intensity of the radio wave, and designates 0 to 3 radio wave marks for each. Also, if the minimum signal strength for communication is not available, specify out-of-service area. These are displayed on display sections 15 and 16.
  • the radio wave status is divided into whether the radio waves displayed on the display units 15 and 16 are out of service area, 0 radio waves, 1 radio wave, 2 radio waves, or 3 radio waves.
  • the control unit 26A indicates that the radio wave is out of range, 0 radio waves, 1 radio wave, and the radio wave condition is very bad for the user. Alarm sound generation control and reading-out control are performed so as to read out. In accordance with the control table, the control unit 26A does not perform read-out control as long as the radio wave condition is notified to the user when there are two radio waves and three radio waves.
  • Others include when charging is complete, during a call, when radio wave condition is restored, incoming call, mail reception (in this case, the received sound is a warning sound), unread mail, and absence of voice mail.
  • the control unit 26A warns to notify the user when charging is complete, during a call, when the radio wave condition is restored, when an incoming call is received, or when an email is received (in this case, the received sound is a warning sound) Performs sound generation control and reading-out control.
  • control unit 26A has other notification functions in the case of unread mail and absence of recorded messages, and therefore does not perform read-out control.
  • the control unit 26A does not perform voice reading control during the manner mode, drive mode, or key lock.
  • control unit 26A refers to the weighting table of the voice reading function stored in the memory 12.
  • the control unit 26A determines whether or not to perform automatic reading according to the weighting value in the weighting table.
  • FIG. 14 is a diagram showing an example of a weighting table according to the present embodiment.
  • the category of automatic reading is divided into the remaining battery level and the radio wave status.
  • the battery status is divided, for example, by whether the battery flag power displayed on the display units 15 and 16 is to be read out by changing the weight value for 1, 2, or 3.
  • the control unit 26A notifies the user that the remaining battery level is extremely low, for example, when the weighting force and the battery flag force are 3 and 1 respectively.
  • a warning sound generation control and a reading-out control are performed so as to read out frequently, such as “If the remaining battery level is low”.
  • control unit 26A When there are two and three battery flags with weighting values 2 and 1 according to the control table, control unit 26A does not perform read-out control because it is not necessary to notify the user of the remaining battery level.
  • the radio wave status is divided into whether the radio waves displayed on the display units 15 and 16 are out of service area, 0 radio waves, 1 radio wave, 2 radio waves, and 3 radio waves, with different weighting values. ing.
  • the control unit 26A determines that the radio wave condition is extremely bad for the user, for example, out of service area with weighting values 5, 4, 3 and 0 radio waves and 1 radio wave.
  • the alarm sound generation control and the reading control are performed so as to read out “That's bad!
  • control unit 26A does not perform read-out control on the assumption that there is no need to notify the user of the radio wave status when the radio wave with the weighting value 2 or 1 is 2 radio waves or 3 radio waves. .
  • control unit 26A issues an instruction to the voice processing unit 17 that generates a notification sound.
  • the control unit 26A causes the sound output unit to output a warning sound when the notification sound is output from the speaker 172, which is a sound output unit, due to the reception of the reasoning information for starting reading or the processing of the incoming call.
  • the control unit 26A includes a text extraction unit (not shown), and the text extraction unit 261 also extracts text from a database such as a menu, mailer, or browser stored in the memory 12 according to the text extraction rule. This is supplied to the speech synthesis processing unit 17.
  • the control unit 26A sequentially scans the text string in order of the first character, refers to the reading database in the memory 12 in advance, and performs speech synthesis in units of sentences while considering the connection relation before and after.
  • the text data is supplied to the speech synthesizer 20.
  • the control unit 26A controls, for example, to synthesize sentence-by-sentence speech, and with this reading function, for example, it is possible to change to male sound, change to female sound, change the reading speed, etc. It is. [0118]
  • the sub display unit 15 or the main display unit 16 displays text, if a dial input is made in the upward direction of the mobile phone 10A, the character size of the displayed text increases.
  • the character information for controlling each display unit is reduced so that the character size of the displayed text is reduced. Since the fonts are stored in the memory 12 as a plurality of fonts having different sizes, the control unit 26A takes out the character information from the memory 12 and displays it on each display unit.
  • the mobile phone 10A displays a text font with the ringer speaker 21 side as the lower side.
  • control unit 26A performs processing in accordance with dial input from dial input unit 14, and at that time, performs inversion processing in accordance with the open / closed state of mobile phone 10A.
  • the process for realizing the above-described operation in accordance with the user's expectation is the inversion process.
  • the cellular phone 10A is in the closed state (FIG. 12B), as described above, for example, when processing is performed so that the character size is enlarged and reduced, respectively, according to the input in the vertical direction of the dial. If no other processing is performed, when the cellular phone 10A is in the open state (FIG. 12A), the vertical position direction of the dial input unit 14 for the user is reversed compared to the closed state, so Accordingly, the character size is reduced, resulting in a feeling of strangeness for the user.
  • the control unit 26A determines the open / close state of the mobile phone 10A based on the output of the open / close switch 18, and performs an inversion process of the action on the dial input unit 14 according to the open / close state.
  • the character size is always increased by the upward operation on the dial input unit 14 and the downward direction with respect to the dial input unit 14 The operation moves in a direction to reduce the character size, so that the operability without a sense of incongruity is improved.
  • FIG. 15 is a flowchart for explaining the basic operation of the reading operation of the control unit 26A according to the present embodiment.
  • the control unit 26A first reads the reading instruction from the reading key operation unit. Judgment is made on whether or not the power is based on the operation of 19 (ST102).
  • step ST102 If it is determined in step ST102 that the operation is based on the operation of the reading key operation unit 19, the control unit 26A extracts a desired text from the memory 12 and outputs a control signal CTL2 to the speech synthesis processing unit 17 to generate a speech. Generate voice data by synthesis and output the voice data (ST103). In this case, no warning sound is generated because it is due to the user's will.
  • step ST102 If it is determined in step ST102 that it is not based on the operation of the reading key operation unit 19, the control unit 26A determines that it is based on automatic reading (ST104), In step ST105, it is determined whether or not the voice is read out when the cursor is set, or the numerical input is read out.
  • step ST105 If it is determined in step ST105 that the operation is to be read out, the control unit 26A does not generate a warning sound because it is based on the user's intention, and starts to read out the sound in step ST103. That is, the control unit 26A extracts desired text from the memory 12, outputs the control signal CTL2 to the speech synthesis processing unit 17, generates speech data by speech synthesis, and outputs the speech data.
  • Control unit 26A determines whether or not a mail is received and whether or not the call is received (ST106).
  • step ST106 If it is determined in step ST106 that a mail has been received or received, the control unit 26A Since the user has received and ringtones, no warning sound is generated and voice reading is started in step ST103. That is, the control unit 26A extracts desired text from the memory 12, outputs the control signal CTL2 to the speech synthesis processing unit 17, generates speech data by speech synthesis, and outputs speech data.
  • step ST106 if it is determined that the mail is not received or received !, control unit 26A determines whether or not the telephone is next busy (ST107).
  • control unit 26A If it is determined in step ST107 that the call is a call, a warning sound is not required, so control unit 26A does not generate a warning sound and starts reading aloud in step ST103. That is, the control unit 26A extracts a desired text from the memory 12, outputs the control signal CTL2 to the speech synthesis processing unit 17, generates speech data by speech synthesis, adjusts the volume, and Audio data is output together with audio.
  • control unit 26A refers to the condition table which is a control table or a weighting table (ST108).
  • Control unit 26A determines whether or not the read-out item in the condition table is ON (ST109).
  • control unit 26A If it is determined in step ST109 that the item is not ON (OFF), no warning sound is required, so control unit 26A does not generate a warning sound and starts to read out a sound in step ST103. That is, the control unit 26A extracts desired text from the memory 12, outputs the control signal CTL2 to the speech synthesis processing unit 17, generates speech data by speech synthesis, and outputs the speech data.
  • step ST109 if it is determined that the item is ON, a warning sound is required. Therefore, control unit 26A generates a warning sound using first control signal CTL1 (ST110), and then performs a second sound. Control signal CTL2 to convert text to audio data.
  • step ST103 speech reading is started in step ST103. That is, the control unit 26A extracts desired text from the memory 12, outputs the control signal CTL2 to the speech processing unit 17, generates speech data by speech synthesis, and outputs the speech data.
  • voice output is started by starting to read out a sound after a predetermined time has elapsed. Even if the warning sound output from the power unit 171 is a sound including a residual sound, it is superimposed on the voice to be read out, or the supplied sound source is the warning sound generator 50 even for a voice amplification circuit (not shown). Therefore, it is possible to avoid a problem such as a sudden change due to a change in the amplification factor.
  • FIG. 16 is a diagram showing a use scene of the speech reading function during traffic.
  • FIG. 17 is a diagram showing a use scene of the voice reading function during a call.
  • Fig. 18 is a diagram showing the use scene of the voice reading function in an email.
  • the warning sound "Ping Pong" The battery is read out. The user who has heard this can take measures to prepare for the upcoming call by connecting the charger to the charging terminal with a connector on the assumption that the call will be made while charging.
  • the memory 12 that stores the text corresponding to the reading item, the warning sound generation unit 50 that generates the warning sound, and the memory 1 2 when the reading is performed.
  • the voice synthesis processing unit 17 that converts the text stored in the voice data into the voice data, the voice output unit 171 that outputs the voice data or the warning sound, and the voice output unit 171 when the voice data is output Accordingly, it has a control unit 26A that controls to output a warning sound at the voice output unit and output voice data as well, so that the user (listener) can be alerted by sounding the warning sound before reading out. It is possible to obtain effects such as eliminating missed listening.
  • the characters on the displayed text can be enlarged and reduced by the operation on the dial input unit 14, and the visibility of the text is improved.
  • the display processing according to the display format of the text is performed, which further improves the visibility and operational comfort of the user.
  • a third embodiment of the portable terminal device of the present invention will be described with reference to FIGS. 19 to 20A to 20D.
  • the mobile terminal device 10B can notify various information to the user, and can confirm the content of the information with a simple operation.
  • the mobile terminal device 10B illustrated in FIGS. has been deleted.
  • the other components are substantially the same as the mobile terminal device 10 of the first embodiment and the mobile terminal device 10B of the third embodiment.
  • the processing content described below is different between the control unit 26 of the first embodiment and the control unit 26B of the third embodiment.
  • description will be made centering on the difference in characteristics of the mobile terminal device 10B of the third embodiment.
  • Both the sub display unit 15 and the main display unit 16 are an embodiment of the display means of the present invention, and the control unit 26B is an embodiment of the control means of the present invention.
  • the light emitting unit 40 is an embodiment of the light emitting means of the present invention.
  • the memory 12 includes information for managing the remaining battery level, radio wave status, and other internal operation statuses, and information for managing presence / absence of e-mail reception and other externally acquired data. Management information is stored. This management information is updated as necessary by the control unit 26B. For example, if there is an occurrence of an event such as a missed call (an incoming call that the user did not answer) or an unread e-mail (the body content is still displayed), The contents are updated by the control unit 26B.
  • the cellular phone 10B In order to appropriately notify the user when there is a change in management information, information that associates the change in management information (update of management information) with the emission color and its pattern is stored in advance in the memory 12.
  • the cellular phone 10B is configured such that, for example, when a new e-mail is received, the light emitting unit 40 emits light with a predetermined color and a predetermined light emission pattern.
  • the text stored in the memory 12 can be configured so that the text is associated with a change in management information.
  • the management information itself can be configured separately or in addition to this. It can also be configured to be associated with text.
  • the “read-out items (notification items)” to be notified (notified) by the read-out function described later includes “changed management information” and “how the management information has changed”. The text will be memorized!
  • the push button 19a is an embodiment of the input key of the present invention.
  • the cellular phone 10B has a reading function.
  • the cellular phone 10B outputs sound from the ringer speaker 171b in the closed state, and outputs sound from the receiving speaker 171a in the opened state.
  • the control unit 26B determines the open / closed state of the mobile phone 10B based on the output of the open / close switch 18, and then notifies the audio processing unit 17 of the audio output destination for reading.
  • the control unit 26B controls the light emitting unit 40 to light the LED. . Further, when the user operates the push button 19a while the LED is lit, a function for reading out the contents related to the management information (corresponding to the reading means of the present invention) is executed. At that time, the text-to-speech method is used as the text-to-speech function.
  • the text-to-speech system reads out the text by extracting and generating the text string to be read out.
  • the control unit 26B Extract a text string indicating the change in the remaining battery level (such as “Battery is low”) and read it out.
  • the control unit 26B reads the email item ( For each “Sender”, “Subject”, “Body”, etc.), it is extracted into the work area in the control unit 26B, and a text string for reading is generated and the text string is read out. For example, if it has been designated in advance to notify only the “sender”, a text string such as “Tamura-san is an email” is generated and read out.
  • control unit 26B basically reads out the text corresponding to the change by the reading function.
  • the text that the knot has been reduced must correspond to a “change” in management information.
  • the battery management scale is associated with “battery has been reduced” as battery management information, it will be read as “battery has been reduced” even when the scale is changed from 1 to 2. Shimada, contradiction occurs. Therefore, it is necessary to associate the text “Battery depleted” with “Management information change” from 3 to 2.
  • the control unit 26B scans the extracted Z generated text sequence in order of the first character, and refers to the reading database in the memory 12 in advance, and considers the connection relationship before and after the sentence-based speech synthesis. I do. Since speech synthesis is performed on a sentence-by-sentence basis, for example, it is possible to change to a male sound, to a female sound, or to change the reading speed according to this reading function.
  • the voice synthesis result generated by the control unit 26B is processed by the voice processing unit 17 and output from the reception speaker 171a or the ringer speaker 171b.
  • the control unit 26B outputs sound from the ringer speaker 171b when the open / close switch 18 is in an on state (ON state), that is, when the mobile phone 10B is in a closed state.
  • the open / close switch 18 is in an OFF state (OFF state)
  • the audio processing unit 17 is set so that the audio is output from the reception speaker 171a. Control.
  • the light emitting unit 40 includes a plurality of LEDs and an LED drive circuit, and can emit various colors. For example, a red LED, a blue LED, and a green LED can be configured to emit a wide range of colors depending on the gradation.
  • the LED drive circuit drives a plurality of LEDs by a control signal from the control unit 26B.
  • the light emitting unit 40 emits light of various colors and patterns (flashing Z lighting) according to the control signal.
  • the light emitting unit 40 is an embodiment of the light emitting means of the present invention.
  • the push button 19a itself or the vicinity of the push button 19a is caused to emit light so as to associate the information transmission by the light emission with the operation button. Then place the LED near the push button 19a.
  • FIGS. 21A to 21C are cross-sectional views taken along section A—A shown in FIG. Various examples of the positional relationship between 9a and the LED are shown.
  • FIGS. 21A to 21C the optical path of the light emitted from the LED is schematically represented by an arrow.
  • various examples of the configuration of the contact of the push button can be considered, and a specific configuration example is not intended here.
  • two LEDs are shown in the figure, this is only an example, and it goes without saying that the number of LEDs can be arbitrarily set.
  • the push button 19a is coupled to a leaf spring (SPR), and when the push button 19a is pushed (operated), the contacts T1 and T2 come into contact with each other. Thus, an electrical signal is input to the control unit 26B by conducting electrical continuity.
  • SPR leaf spring
  • the push-down button 19a is formed of a light transmissive type grease, and the LED is disposed directly below the push-down button 19a.
  • the LED emits light
  • the user recognizes that the push button 19a itself is emitting light. Therefore, the user recognizes that information corresponding to the push button 19a has been issued.
  • FIG. 21B a slight gap is provided between the display-side main body case 102 and the push-down button 19a, and the LED is arranged immediately below.
  • the LED emits light
  • the user recognizes that the push button 19a itself is emitting light. Therefore, the user recognizes that information corresponding to the push-down button 19a has been issued.
  • a transparent glass 102a is provided in a part of the display-side main body case 102 in the vicinity of the push-down button 19a, and an LED is provided directly below the transparent glass 102a.
  • the LED emits light
  • the user recognizes that information corresponding to the push button 19a is emitted.
  • buttons 19a there are multiple buttons 19a and the information associated with each button is different, what type of information is emitted just by looking at which button is lit! / It can also be used for the user's judgment of whether or not a quick response is necessary.
  • FIG. 22A and 22B show the setting of emission color and emission pattern corresponding to the occurrence of an event.
  • FIG. 22A shows the relationship between the event type and the emission color
  • FIG. 22B shows the relationship between the reading range by the reading function and the emission pattern.
  • the control unit 26B updates the management information in the memory 12, and causes the LED of the light emitting unit 40 to emit light in “green”. This notifies the user that the e-mail has been received. Furthermore, as shown in FIG. 22B, when only the number of unread e-mails is notified, the light emission pattern is turned on only once. In addition, when notifying the number of unread e-mails and the name of the sender, the lighting pattern is lit twice.
  • the range to be read out is configured so that the user can set it in advance by operating the menu screen.
  • the information corresponding to the light emission color and the light emission turn is read out by the reading function.
  • the control unit 26B accesses the management information in the memory 12, retrieves the data of the number of unread e-mails, generates ⁇ Two unread mails '' t, and generates this text string. Read aloud.
  • the power color indicating an example of the light emission color and the light emission pattern set corresponding to the occurrence of the event is managed as management information regardless of the occurrence of the event. As long as it has the information.
  • FIG. 23A and FIG. 23B are examples in which the emission color is changed according to the destination of the incoming e-mail. In this way, if the emission color is changed depending on the other party, it is easy for the user to determine whether or not the information power should be confirmed by pressing the push button 19a.
  • FIG. 24 is a flowchart illustrating an example of the light emission process.
  • the cellular phone 10B is configured so that the user can select the operation Z non-operation (ONZOFF) of the reading function and the operation Z non-operation (ONZOFF) of the LED light emitting function. 26B performs processing by discriminating these pieces of information.
  • step ST210 when an event such as reception of an e-mail occurs (step ST210), the control unit 26B determines the operation Z non-operation (ONZOFF) of the reading function. As a result, when the reading function is not operated, the control unit 26B performs normal processing (step ST212
  • the normal process is a process for notifying the user of information when the LED lighting and reading functions are not used. For example, if an event occurs when an e-mail is received, an e-mail is displayed on the display unit. For example, a process of displaying an icon indicating that the message has been received.
  • control unit 26B it is determined whether or not there is a user confirmation operation (step ST213).
  • the user confirmation operation refers to, for example, an operation in which the user closes the casing and opens the state immediately after receiving an e-mail.
  • the control unit 26B determines the confirmation operation of the user by detecting a change in the state of the opening / closing switch 18 (on-state force is also off).
  • step ST214 If the user opens the housing after an event such as receiving an e-mail, the user has already notified the e-mail reception and has already recognized the event. Since it is not necessary to actively notify the occurrence of the event using the LED, the LED does not emit light and the necessary post-processing is performed (step ST214). In post-processing, for example, in the case of receiving an email, the body of the email is read out.
  • step ST215 it is determined whether the LED light emission function operates Z non-operation (ONZOFF) (step ST215). As a result, when the LED light emission function is set to the non-operating state, the control unit 26B does not perform LED light emission and performs the normal processing described above.
  • the control unit 26B displays the emission color and emission pattern corresponding to the occurrence of the event in the memory 12 in order to emit the LED. After selecting and confirming (steps ST216 and ST217), the LED is driven to emit light with the selected emission color and emission pattern.
  • the LED emits light with various colors' patterns corresponding to the change of the management information, and the push button is pressed while the LED is emitting light.
  • the push button is pressed while the LED is emitting light.
  • information is read according to the change in the management information.
  • the user can recognize the change of the management information from the visual information. For example, it is possible to recognize whether a new e-mail has been received or whether a missed call has been received from the luminescent color and its pattern.
  • the level of information to be read can be recognized by the user, and the operational comfort is improved. Can recognize the ⁇ blue information that is output by voice before pressing the push button 19a.
  • the user when outputting only the number of received emails by voice, or when outputting the number of recipients and the name of the called party by voice, changing the flash pattern according to the information level, the user can press It is possible to recognize again how much information is generated by pressing the button 19a. In other words, since it can be determined at a glance, such as the current setting is set to read out the text, the user can suppress the situation where a private email text is unexpectedly read out during work.
  • the mobile phone 10B it is detected that the casing is in the closed state, and the sound output destination is determined to be the ringer speaker 171b. Therefore, the user can leave the casing in the closed state. It becomes possible to confirm the voice read out up to the body of the e-mail.
  • the LED is arranged in the vicinity of the push button 19a, the push button 19a to be pressed by the user is emphasized by the light emission of the LED, and an erroneous operation of the user is performed. It can be prevented and can be operated reliably even in a dark place.
  • the mobile phone 10B when the user does not press the push button 19a and opens the housing, the reading of information to be notified is started. As a result, it is possible to eliminate omission of information notification by voice.
  • the present invention is not limited to the first to third embodiments described above.
  • the present invention can be appropriately combined with the first to third embodiments as described in the claims and the column “Z” or “Means for Solving the Problems”.
  • a mobile phone has been illustrated as a preferred embodiment of the mobile terminal device of the present invention, but the present invention can be applied to various other terminal devices having functions and Z or configurations equivalent to or similar to the above-described mobile phone.

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Telephone Function (AREA)

Abstract

 状況に応じた適切な項目区切り位置を自動設定でき、特定の操作でスキップ操作やバックスキップ操作を実現でき、読み出し機能を効率的に活用でき、また、ユーザの利便性を向上させることが可能な携帯端末装置を提供する。読み上げ操作を指示する操作部19と、テキストを記憶するメモリ12と、読み上げを行う際に、メモリ12に記憶されたテキストデータを音声データに変換する音声合成部20と、音声データを出力する音声出力部21と、音声出力部21にて音声データを出力する際に、読み上げるべきテキストから所定の区切りを認識し、操作部19により所定の指示があったときは、指示入力時点での読み上げ対象テキストの前後いずれかの区切り位置からを音声データとして音声出力部により出力するように制御する制御部26とを有する。

Description

明 細 書
携帯端末装置
技術分野
[0001] 本発明は、たとえば携帯電話機等の無線通信を行う携帯端末装置に係り、特に、 表示中の項目を音声にて読み上げる機能を有する携帯端末装置に関するものであ る。
背景技術
[0002] 近年、携帯端末装置としてキー操作に対応して、このキー操作により設定された機 能名等をアナウンスするようにした携帯電話機が提案されている (たとえば、特許文 献 1参照)。
この携帯電話機は、複数のキー操作部と、キー操作部の 1あるいは複数のキー操 作に従い電話機が備えた複数の機能のうち、キー操作に対応する機能に関して設 定を行う制御部と、キー操作に連動して設定される機能名を音声出力する音声合成 部とを有する。
この携帯電話機においては、キー操作に応じて、短縮番号メモリの検索結果を音 声情報に変換してユーザに伝達するのみで、音声で提供される情報は基本的に順 番に出力され、一覧性がなぐ重要度によってユーザが取捨選択して音声情報を取 得することが困難で、いわゆる読み上げ機能を効率的に活用することができないとい ぅ不禾 IJ益がある。
[0003] 上記、音声出力機能を有する端末装置として、ニュースや広告等の言葉として一ま とまりの意味を持った音声に変換して再生出力する場合に、操作者 (ユーザ)が情報 の誤認等をするのを防止するようにした情報出力装置が知られている。また、メール 読み上げ装置により読み出されるメール力 必要なメールを確認するための時間を 短縮するようにした文書読み上げ装置が知られて 、る。
[0004] 前者の情報出力装置は、情報記憶部に記憶されている情報を所定の読み出し位 置力 読み出し音声に変換して再生出力する装置であって、読出制御部が、巻き戻 しボタンによる指示によって情報の読出開始位置が決定されたときには、決定された 情報の読出位置の前方の最初の区切り位置まで移動する、また、早送りボタンによる 指示によって情報の読出開始位置が決定されたときには、決定された情報の読出開 始位置を後方の最初の区切り位置まで移動し、情報の読出開始位置を最終的に決 定する。
後者の文書読み上げ装置は、電話機力 情報処理装置にアクセスしてメールを読 み出す際、まず、メールのヘッダが順に音声合成部により出力される。ユーザは、必 要な 、メールにっ 、ては、その差出人あるいはサブジェクトあるいはそれらの両方を 、スキップ条件としてスキップ条件保持部に登録する。その後、ヘッダ部を読み出す 際に、スキップ条件判定部によりその条件が判定され、スキップ条件に適合したメー ルは読まれない。また、必要なメールが見つかれば、指示に応じて本文が音声合成 部により出力される。
特許文献 1:特開平 11 252216号公報
発明の開示
発明が解決しょうとする課題
[0005] 上述した情報出力装置では、基本的に一連の文章となったテキスト情報に対応す るもので、端末の操作などが伴うメニュー表示などには対応していない。また、区切り 位置の自動設定は、巻き戻しや早送り操作後に不自然な位置力 の再生を回避する ことが第一に考慮されており、重要度により取捨選択をサポートするという観点では 十分とはいえない。たとえば、メールのヘッダ情報をヘッダ情報として認識することが な!、ことから、受信日時、差出人、件名と、それ以外の重要度の低!ヽ「Return path 」や「to」などの読み上げには必要として!ヽな 、情報を同じように取り扱ってしまう。
[0006] 上述した文書読み上げ装置は、必要なメールを選択して再生する際の操作性に主 眼が置かれて!/、るため、「件名」と「差出人」し力スキップ条件として利用することがで きない。また、メールを読み上げる時の操作性に関しては改善されていない。
[0007] また、上述した各装置にお!、ては、イヤホンマイク等の外部接続機器に対応して、 ユーザの利便性を向上させるような機能を有して ヽな 、と 、う不利益がある。
[0008] また、音声出力機能を有する装置として、不審者が侵入した際、固定電話または携 帯電話機に警告音を発し、読み上げ機能に設定されているボタンスィッチを押下す れば現場の音声を伝達可能なもの、あるいは警告音を徐々に大きくすることで心理 的効果を得るというもの等が提案されている。ところが、そのような携帯電話機におい ては、キー操作に応じて、短縮番号メモリの検索結果を音声情報に変換してユーザ に伝達するのみで、音声読み上げ前に警告音を発生することは考慮されていない。
[0009] 上述した特許文献 1以外の前者の装置では、ボタンスィッチの押下による読み上げ 力 自動読み上げかは設定できるが、自動に設定した場合の警告音等を発生する機 能は存在しない。このため、読み上げがスタートしたときの始めの言葉が聞き取れな い可能性がある。また、読み上げ前の警告音をユーザが設定できないため、自分に かかわりのある事由であるかどうかの判断が遅くなる。また、警告音の必要がないとに も発してしまうという不利益がある。
[0010] 携帯電話機では、電子メールを受信すると LEDが発光するように構成することで、 ユーザに対して電子メールを受信した旨を通知する技術が知られて 、る。
ところで、従来の携帯電話機における LEDの発光パターンは単一であるため、ュ 一ザに与えることができる情報は限定的であり、携帯電話機の様々な機能に対応さ せることができない。また、フォルダ型 (折り畳み型)の携帯電話機の場合には、ユー ザに通知があった後に実際に電子メールの内容を確認するためには、筐体を開状態 にし、さらに、所定のキー操作が必要となるので、操作が煩雑である。特に、音声によ る読み上げをガイダンスとして用いている場合には、受信したメールの本文へのァク セスが必然的に遅くなる。
[0011] 本発明の目的は、状況に応じた適切な項目区切り位置を自動設定でき、特定の操 作でスキップ操作やバックスキップ操作を実現でき、読み出し機能を効率的に活用で き、また、ユーザの利便性を向上させることが可能な携帯端末装置を提供することに ある。
[0012] 本発明の他の目的は、煩雑な手間を要することなく読み上げ前の警告音をユーザ が設定でき、しかも必要なときのみ警告音を発生することができる携帯端末装置を提 供することにある。
[0013] 本発明のさらに他の目的は、ユーザに対して様々な情報を通知することができ、か つ、その情報の内容が簡易な操作で確認できる携帯端末装置を提供することにある 課題を解決するための手段
[0014] 本発明によれば、音声による読み上げ機能を有する携帯端末装置であって、読み 上げ項目に応じたテキストを記憶する記憶部と、警告音を生成する警告音発生部と、 読み上げを行う際に、上記記憶部に記憶されたテキストを音声データに変換する音 声合成部と、上記音声データまたは上記警告音を出力する音声出力部と、上記音声 出力部にて上記音声データを出力する際に、上記警告音を上記音声出力部にて出 力してから音声データを出力する第 1の制御と、上記警告音を上記音声出力部にて 出力することなく音声データを出力する第 2の制御と、を備える制御部と、を行うことを 特徴とする携帯端末装置が提供される。
[0015] 好ましくは、読み上げを指示可能な操作部を有し、上記制御部は、上記操作部によ り読み上げ指示されると、上記第 2の制御にて読み上げを開始する。
[0016] 好ましくは、上記制御部は、状態遷移が生じると、上記第 1の制御にて当該状態遷 移に応じ読み上げを開始する。
[0017] 好ましくは、電池を備え、上記状態遷移は、上記電池の残量の遷移である。
[0018] 好ましくは、通信部を備え、上記状態遷移は、上記通信部における電波状態の遷 移である。
[0019] 好ましくは、上記状態遷移として、状態ごとに重み付けされ、上記制御部は、上記 重み付けに応じ、読み上げを開始する。
[0020] また好ましくは、通信網に接続可能な通信部と、報知音を生成する報知音生成部と
、を備え、上記制御部は、上記通信部により上記通信網からのメッセージの受信また は着信の処理が生じると、上記報知音を上記音声出力部にて出力させるとともに、上 記第 2の制御にて読み上げを行う。
[0021] 好ましくは、上記制御部は、上記第 1の制御にて読み上げを行う際、上記音声出力 部にて上記警告音を出力させて力 所定時間経過後に上記音声データを出力させ る。
[0022] 好ましくは、操作部を備え、上記制御部は、上記所定時間の間に上記操作部から の入力があると、上記音声出力部にて上記音声データを出力させない。 [0023] 好ましくは、上記操作部は、所定の処理が対応付けされており、上記制御部は、上 記所定時間の間は、上記操作部力 の入力があった場合、上記音声出力部にて上 記音声データを出力させな 、のみで、上記所定の処理を行わな 、。
[0024] 好ましくは、操作部を備え、上記テキストは、区切り位置を有し、上記制御部は、上 記音声出力部にて上記音声データを出力する際に、読み上げるべきテキストデータ 力 所定の区切りを認識し、上記操作部により所定の指示があつたときは、当該指示 入力時点でのテキストの読み上げ位置の前後いずれかの区切り位置力ものテキスト につ 、て読み上げるよう制御する。
[0025] 好ましくは、上記操作部により指示される所定の指示は、早送りまたは巻き戻しの操 作であって、上記制御部は、上記所定の指示が、早送りの指示ならば読み上げ中テ キストの当該指示の入力時点で未出力方向の最も近い区切り位置力も読み上げ、卷 き戻しの指示ならば当該指示の入力時点で既出力方向の最も近い区切り位置から 読み上げるよう制御する。
[0026] 好ましくは、上記区切り位置は、記述記号が付された位置である。
[0027] 好ましくは、通信網に接続し、メッセージを送信あるいは受信する通信部を備え、上 記制御部は、上記メッセージについて読み上げを行う際、当該メッセージの送信元あ るいは受信先を示す構成要素とメッセージ本文を示す構成要素との間を上記区切り 位置として扱うよう制御する。
[0028] 好ましくは、上記制御部は、上記メッセージについて読み上げを行う際に、上記構 成要素ごとに構成要素名を合わせて読み上げさせる。
[0029] 好ましくは、上記記憶部は、敬称 (Mr. Ms.や Dr.など)のテキストと、名前を含むアド レス情報とを記憶し、上記制御部は、上記メッセージについて読み上げを行う際に、 当該メッセージの送信元あるいは受信先を示す構成要素力 上記アドレス情報から 検索される名前に、上記敬称を合わせて読み上げるよう制御する。
[0030] 好ましくは、外部接続されて、上記制御部に読み上げ操作を指示する外部操作部 と、第 2音声出力部とを有する外部接続機器を備え、上記制御部は、上記外部接続 機器の接続されるときには上記音声データの出力を上記第 2音声出力部にて行うよ う制御する。 [0031] 好ましくは、通信網に接続可能な通信部と、報知音を生成する報知音生成部と、を 備え、上記制御部は、上記通信部により上記通信網からの着信要求を受信すると、 上記報知音を生成させるとともに上記第 2音声出力部にて出力させ、上記外部操作 部が操作されると当該報知音の出力を停止するとともに、上記通信部に前記着信要 求への応答処理を開始させるように制御する。
[0032] 好ましくは、上記外部操作部は、少なくとも一つのキーを含み、上記制御部は、上 記所定の指示として複数の処理を有し、上記キーの操作により生じる信号が所定時 間内に入力される回数をカウントし、カウント数に応じて上記複数の処理のいずれか を処理する。
[0033] 好ましくは、上記外部操作部は、少なくとも一つのキー構成され、上記制御部は、 上記所定の指示として複数の処理を有し、上記キーの操作により生じる信号の継続 する時間をカウントし、当該時間に応じて上記複数の処理のいずれかを処理する。
[0034] 好ましくは、上記所定の指示は、早送りまたは巻き戻しの操作であり、上記制御部 は、上記音声出力部にて通常速度である第 1の速度で読み上げている際に、上記操 作部により早送り指示がなされると、当該早送り指示があった時点から前方に最も近 い区切り位置までを第 1の速度よりも早い第 2の速度で読み上げ、上記区切り位置か らは第 1の速度に戻して読み上げる制御を行う。
[0035] 好ましくは、上記所定の指示は、巻き戻しの操作を含み、上記制御部は、上記操作 部によって巻き戻し指示がなされると、当該巻き戻し指示時点での読み上げ箇所より 前の区切りの位置に戻って読み上げ、上記巻き戻し指示があってから再度巻き戻し 指示があると、さらに前の区切り位置に戻って読み上げるよう制御する。
[0036] 好ましくは、発光部と、読み上げを指示可能な操作部を有し、上記制御部は、状態 遷移が生じると上記発光部に発光指示し、当該発光部が発光されて力 上記操作部 が操作されると状態遷移に関する情報を読み上げるよう制御する。
[0037] 好ましくは、上記操作部は、複数の入力キーを含み、上記発光部は、複数設けられ るとともに、上記操作部の有する複数の入力キーにそれぞれ対応付けられ、上記制 御部は、上記状態遷移が生じると状態遷移の種類に応じて上記発光部のいずれか を発光指示し、当該発光指示された発光部に対応する上記入力キーが操作されると 状態遷移に関する情報を読み上げるよう指示。
[0038] 好ましくは、開状態 Z閉状態を形成可能である複数の連結された筐体を備え、上 記入力キーおよび上記発光部は、上記筐体の閉状態において露出する位置に配さ れる。
[0039] 好ましくは、上記制御部は、上記筐体が閉状態で上記発光部が発光される状態に て、開状態が形成されると、上記発光の理由となった状態遷移に関する情報を読み 上げるよう制御する。
[0040] 好ましくは、前記発光部は、複数の発光状態を有し、上記制御部は、上記複数の 発光状態の中から、上記状態遷移の種類に対して予め割り当てられた一の発光状 態をもって発光指示する。
[0041] 好ましくは、上記テキストが複数の項目から構成され、上記制御部は、上記テキスト を項目毎に読み上げるよう制御可能であり、上記複数の発光状態の中から、上記複 数の項目の各項目に対して予め割り当てられた一の発光状態をもって、発光部を発 光させる。
[0042] 好ましくは、上記テキストが複数の項目から構成され、上記制御部は、上記テキスト を項目毎に読み上げるよう制御可能であり、上記テキストの項目の組み合わせに対し て、上記複数の発光状態が各々割り当てられた一の発光状態をもって、発光部を発 光させる。
[0043] また本発明によれば、音声による読み上げ機能を有する携帯端末装置における読 み上げ制御方法であって、読み上げ項目に応じたテキストを記憶するステップと、警 告音を生成するステップと、読み上げを行う際に、上記テキストを音声データに変換 する音声合成ステップと、上記音声データまたは上記警告音を出力する音声出カス テツプと、上記音声出力ステップにて上記音声データを出力する際に、上記警告音 を出力して力 音声データを出力する第 1の制御ステップと、上記警告音を出力する ことなく上記音声データを出力する第 2の制御ステップと、を備えることを特徴とする 読み上げ制御方法が提供される。
[0044] さらに本発明によれば、読み上げ項目に応じたテキストを記憶する記憶部と、警告 音を生成する警告音発生部と、読み上げを行う際に、上記記憶部に記憶されたテキ ストを音声データに変換する音声合成部と、上記音声データまたは上記警告音を出 力する音声出力部と、を備える携帯端末装置のコンピューターに、上記音声出カス テツプにて上記音声データを出力する音声合成処理と、上記警告音を出力してから 音声データを出力する第 1の制御処理と、上記警告音を出力することなく上記音声 データを出力する第 2の制御処理と、を実行させることを特徴とするコンピュータプロ グラムが提供される。
発明の効果
[0045] 本発明によれば、状況に応じた適切な項目区切り位置を自動設定でき、特定の操 作でスキップ操作やバックスキップ操作を実現でき、読み出し機能を効率的に活用で きる。
また、ユーザの利便性を向上させることができる。
[0046] 本発明によれば、煩雑な手間を要することなく読み上げ前の警告音をユーザが設 定でき、し力も必要なときのみ警告音を発生することができる利点がある。
[0047] 本発明に係る携帯端末装置よれば、ユーザに対して様々な情報を通知することが でき、かつ、その情報の内容が簡易な操作で確認できるので、操作快適性が向上す る。
図面の簡単な説明
[0048] [図 1]図 1は、第 1実施形態の携帯電話機のシステム構成の一例を図解したブロック 図である。
[図 2]図 2A〜図 2Dは、第 1実施形態の携帯電話機の外観の一例を図解した図であ り、図 2Aは正面の外観図を、図 2Bは背面の外観図を、図 2Cは正面の外観図を、図 2Dは背面の外観図を、それぞれ示す。
[図 3]図 3は、第 1実施形態において 3種類の操作を識別する場合の信号例を示す図 である。
[図 4]図 4は、第 1実施形態に係る読み上げ動作の基本的動作を説明するためのフロ 一チャートである。
[図 5]図 5は、第 1実施形態に係る読み上げ動作時の受け取ったデータの例を示す 図であって、メーラーによって受け取った場合の例を示す図である。 圆 6]図 6は、第 1実施形態に係る読み上げ動作時の受け取ったデータに基づいてテ キスト抽出部で作成されるテーブルの一例を示す図である。
圆 7]図 7は、第 1実施形態に係るスキップ操作時の動作を説明するためのフローチヤ ートである。
圆 8]図 8は、第 1実施形態に係るバックスキップ操作の動作を説明するためのフロー チャートである。
圆 9]図 9は、第 1実施形態に係る外部接続機器であるイヤホンマイクの接続端子が 外部機器接続部に接続された場合の制御動作について説明するためのフローチヤ ートである。
圆 10]図 10は、第 1実施形態に係る外部接続機器であるイヤホンマイクの接続端子 が外部機器接続部に接続された場合の制御動作について説明するためのフローチ ヤートである。
[図 11]図 11は、第 2実施形態の携帯電話機のシステム構成の一例を図解したブロッ ク図である。
[図 12]図 12A〜図 12Dは、第 2実施形態の携帯電話機の外観の一例を図解した図 であり、図 12Aは正面の外観図を、図 12Bは背面の外観図を、図 12Cは正面の外観 図を、図 12Dは背面の外観図を、それぞれ示す。
[図 13]図 13は、第 2実施形態に係る制御テーブルの一例を示す図である。
[図 14]図 14は、第 2実施形態に係る重み付けテーブルの一例を示す図である。
[図 15]図 15は、第 2実施形態に係る読み上げ動作の基本的動作を説明するための フローチャートである。
[図 16]図 16は、第 2実施形態の通行中における音声読み上げ機能のユースシーン を示す図である。
[図 17]図 17は、第 2実施形態の通話中における音声読み上げ機能のユースシーン を示す図である。
[図 18]図 18は、第 2実施形態のメール中における音声読み上げ機能のユースシーン を示す図である。
[図 19]図 19は、第 3実施形態の携帯電話機のシステム構成の一例を図解したブロッ ク図である。
[図 20]図 20A〜図 20Dは、第 3実施形態の携帯電話機の外観の一例を図解した図 であり、図 20Aは正面の外観図を、図 20Bは背面の外観図を、図 20Cは正面の外観 図を、図 20Dは背面の外観図を、それぞれ示す。
[図 21]図 21は、第 3実施形態に係る読み上げキーと発光部を図解した例である。
[図 22]図 22A,図 22Bは、第 3実施形態のイベント種類に応じた発光パターンの一 例である。
[図 23]図 23は、第 3実施形態の着信相手に応じた発光パターンの一例である。
[図 24]図 24は、第 3実施形態の発光処理を示すフローチャートである。
符号の説明
10· ··携帯電話機
100…本体ケース
101…キー入力側本体ケース
102…表示側本体ケース
11· ··通信処理部
111…送受信アンテナ
12· ··メモリ
13…キー操作部
14…ダイヤル入力部
15· ··サブ表示部
16· ··メイン表示部
17· ··音声処理部
171…スピーカ
172· ··マイクロフォン
18· ··開閉スィッチ
19· ··読み上げキー操作部
20…音声合成部
21· ··リンガスピー力 22〜24…スィッチ回路
25…外部機器接続端子
26…制御部
30· ··イヤホンマイク
31…キー操作部
32· "スピーカ
33· ··マイクロフォン
40…発光部
50· ··警告音発生部
発明を実施するための最良の形態
[0050] 以下、本発明の実施形態を添付図面に関連付けて説明する。
[0051] i mm
図 1は、本発明の携帯端末装置の実施形態としての携帯電話機 10のシステム構成 の一例を図解したブロック図である。図 2A〜図 2Dは、携帯電話機 10の外観の一例 を図解した図である。
携帯電話機 10は、可動機構を有する、いわゆる折り畳み式携帯電話機であって、 図 2Aは開かれた状態(開状態)での正面図を、図 2Bは閉じられた状態(閉状態)で の正面図を、図 2Cは開状態での側面図を、図 2Dは閉状態での側面図を、それぞれ 示す。
[0052] 本実施形態に係る携帯電話機 10においては、通常の携帯電話機の機能に加えて 、音声読み上げ機能を有し、また、外部接続されて読み上げ操作を指示可能な外部 操作部を備えるリモートコントロールする外部接続機器としてのイヤホンマイクを接続 可能で、外部接続機器に接続されるときには音声出力部の出力をイヤホンマイク〖こ 切り替える機能を備えて 、る。
携帯電話機 10 (イヤホンマイクを接続していない場合と接続した場合を含む)は、メ ニュー表示、メーラー、ブラウザという、データ形式や一連の操作が規定される場面 で、ユーザにとっての情報の重要度に沿った区切り位置の自動設定の効果的なルー ルを規定し、音声読み上げ中のスキップ操作を活用することによりユーザの効率的な 情報の取捨選択を可能にするように構成されて 、る。
たとえば、本実施形態に係る携帯電話機 10においては、メール本文の読み上げの 際には、「受信日時」、「差出人」、「件名」、「本文」という電子メール特有の情報により 区切り位置を設定するとともに、定型テキストとしてこれらの項目見出しを各区切りの 先頭に挿入し、この順番で項目名を確認しながらスキップ操作を行うことが可能とな つている。
また、本実施形態に係る携帯電話機 10においては、たとえ «JISの規定する句点、 読点、感嘆符、疑問符等の記述記号、具体的には、「、」「。」「一」「Z」「!」「?」等の 記述記号が付された位置を区切り位置として設定することで、メール本文内を自動的 に区切ることが可能で、確認 (認識)時間を短縮しながらも、読み上げ内容のおおま かな要点を把握することが可能となって 、る。
また、イヤホンマイクの使用時に、イヤホンを通した読み上げ音声の確認とリモート コントロール (以下、単にリモコンという)操作を可能とすることで、携帯電話機 10をた とえば鞫にいれたままでの操作や、携帯電話機 10で音楽を聞いている最中の新着メ ールの内容確認や、周囲の第 3者に画面の内容を見られたくな 、ような状況での情 報の確認などを、簡単な操作で実現可能となっている。
[0053] 以下、本実施形態に係る携帯電話機 10の各部の構成、機能、並びに、音声読み 上げ制御にっ 、て順を追って説明する。
[0054] 図 1に示すように、携帯電話機 10は、送受信アンテナ 111と送受信回路 112とを含 む通信処理部 11と、メモリ 12と、キー操作部 13と、ダイヤル入力部 14と、サブ表示 部 15と、メイン表示部 16と、スピーカ 171およびマイクロフォン 172と音声処理回路 1 73とを含む音声処理部 17と、開閉スィッチ 18と、読み上げキー入力部 19と、音声合 成部 20と、リンガスピーカ 21と、スィッチ回路 22, 23, 24と、外部機器接続部 25と、 制御部(CPU) 26とを有している。また、図 1において、 30が外部接続機器としての イヤホンマイクを示して 、る。
イヤホンマイク 30は、図 1に示すように、リモコン操作のためのキー操作部 31、スピ 一力 32、およびマイクロフォン 33を有している。
また、図 2Aに示すように、携帯電話機 10の本体ケース 100は、第 1の筐体としての キー入力側本体ケース 101と、第 2の筐体としての表示側本体ケース 102とが、図示 しな 、可動機構により連結されて、開閉状態を形成するように構成される。
[0055] 通信処理部 11は、基地局を介した無線通信動作、たとえば、電話番号の発呼動作 や電子メールの送受信動作などを行う。
通信処理部 11は、電波を利用した無線通信で行うために、制御部 26で処理された 音声情報、電子メール等を変調して送受信アンテナ 111により図示しな 、基地局に 送信する。
送受信回路 112は、基地局から無線により送信され、送受信アンテナ 111で受信し た電子メール、ショートメッセージ、 PTT呼び出しなどのメッセージなどの音声情報等 の各種情報を復調して制御部 26に出力する。
PTTとは Push to Talkの略称である。現在、通常の音声通話 (全 2重通信)以外 に、半 2重通信を用いて、 1台の端末から複数台の端末に対して同じ音声や画像デ ータを一斉に送信する通信方式が考えられている。これを PTTと呼ぶ。この PTTに ついても発信者力 呼び出されると、通常の音声着信のときと同様、着信報知を行う 送受信アンテナ 111は、キー入力側本体ケース 101または表示側本体ケース 102 に内蔵され、図 2A〜図 2Dにお 、て外部に露出されて ヽな 、。
[0056] メモリ(記憶部) 12は、 EEPROM等の不揮発性メモリを含んで構成され、通話ゃメ ールの送受信のための制御プログラム、インターネットブラウザ、メッセージデータ、 名前および電話番号が登録されたアドレス帳などを記憶する。
メモリ 12は、後述する読み上げ機能に必要なテキスト列を含む音声読み上げデー タベースを記憶する。このデータベースでは、読み上げのためのテキスト列について 、前後の接続関係が文章として成立するように、体系的に整理されている。
メモリ 12は、敬称のテキストと、アドレス情報とを記憶する。
メモリ 12は、表示部が表示するメニューの項目毎に、「標準テキスト」、「短縮テキス ト」および「説明テキスト」を記憶する。
[0057] キー操作部 13は、終了(終話) Z電源キー、開始 (発呼)キー、数字等に対応した 複数のテンキー等を有し、これらのキーがユーザにより操作されることにより、ユーザ 力もの入力情報を制御部 26に出力する。
[0058] ダイヤル入力部 14は、図 2Cに示すように、ユーザが開状態の携帯電話機 10を保 持した時にユーザの親指により操作がしゃすくなるように、表示側本体ケース 102の 側面に配設されるダイヤル式の入力部であり、上下 2方向の操作が可能に構成され る。
ダイヤル入力部 14に対する操作により、ユーザは、音声の出力音量やサブ表示部 15およびメイン表示部 16に表示する文字サイズを変更することが可能となる。
また、図 2Cおよび図 2Dから明らかなように、閉状態と開状態のダイヤル入力部 14 を比較すると、上下 2方向の操作方向が物理的に逆転することになるが、本実施形 態においては、ユーザにとって違和感が生じないように、ユーザから見た操作方向と 操作に対する作用(たとえば、上述した音量変更や表示フォントサイズ (表示する文 字サイズ)の変更)が常に一致するように、後述する制御部 26により制御される。
[0059] サブ表示部 15は、液晶表示装置 (LCD)等の表示デバイスを有し、図 2 (に示すよ うに、閉状態においてユーザに視認される。
メイン表示部 16は、液晶表示装置 (LCD)等の表示デバイスを有し、図 2Aに示す ように、開状態においてユーザに視認される。
サブ表示部 15およびメイン表示部 16は、それぞれ閉状態および開状態において、 受信した電子メールのテキストやメモリ 12に格納された様々なテキストデータを表示 する。
[0060] 音声処理部 17は、音声処理回路 173を有し、通話機能のために音声出力を行うス ピー力 171とイヤホンマイク 30のスピーカ 32とがスィッチ 22を介して選択的に接続さ れ、音声入力を行うマイクロフォン 172とイヤホンマイク 30のマイクロフォン 33とがスィ ツチ 23を介して選択的に接続される。
音声処理回路 173は、マイクロフォン 172またはイヤホンマイク 30のマイクロフォン 3 3により集音した音声に対して所定の処理を行って制御部 26に供給する。また、音声 処理回路 173は、制御部 26により供給された音声情報に対して所定の処理を行って スピーカ 171またはイヤホンマイク 30のスピーカ 32から出力させる。
図 2A,図 2Bに示すように、スピーカ 171は、受話スピーカ 171およびリンガスピー 力 21の 2箇所の音声出力部を含み、基本的にリンガスピーカ 21による読み上げ機能 の処理結果である音声を出力する。
[0061] 開閉スィッチ 18は、携帯電話機 10の開閉状態を検出するためのスィッチである。
開閉スィッチ 18の具体的な構成としては、様々な技術を適用することができるが、 たとえば図 2Aに示すように、キー入力側本体ケース 101および表示側本体ケース 1 02のそれぞれに接点部を有し、閉状態(図 2B)において両接点が電気的に非導通 となることにより、オフ状態となるような構成にすることができる。
たとえば、携帯電話機 10が閉状態で開閉スィッチ 18がオン状態 (ON状態)となり、 開状態で開閉スィッチ 18がオフ状態 (OFF状態)となるように構成し、制御部 26が開 閉スィッチの状態を検出することにより、携帯電話機 10の開閉状態を判別する。
[0062] 読み上げキー操作部 19は、図 2Bに示すように、表示側本体ケース 102の中央に 配設される押下式ボタン 19aと、当該ボタンによるスィッチ入力に対する入力回路とを 含んで構成される。
本実施形態における携帯電話機 10は、読み上げ機能を有し、押下式ボタン 19aが 押下 (操作)されると、たとえば閉状態にリンガスピーカ 21により音声出力し、開状態 では受話スピーカ 171より音声出力するように制御部 26により制御される。
制御部 26は、携帯電話機 10の開閉状態を開閉スィッチ 18の出力により判別した 後、読み上げのための音声出力先を音声処理部 17に通知する。
制御部 26は、たとえば開状態の場合、音声合成部 20で音声合成されて生成され た出力音声データを音声処理部 17を通してスピーカ 171により音声出力させる。
[0063] 音声合成部 20は、読み上げを行う際に、制御部 26においてメモリ 12から読み出さ れ抽出されたテキストデータを音声データに変換する。
[0064] スィッチ回路 22は、固定接点 aが音声処理回路 173の入出力部に接続され、作動 接点 bがマイクロフォン 172に接続され、作動接点 cが外部機器接続部 25のマイクロ フォン端子 251に接続されて!、る。
スィッチ回路 22は、外部機器接続部 25にイヤホンマイク 30の接続端子が接続され て!、な 、 (挿入されて!、な 、)場合には、制御部 26の制御により固定接点 aと作動接 点 bとを接続し、マイクロフォン 172により収音された情報を音声処理回路 173に入力 させる。
スィッチ回路 22は、外部機器接続部 25にイヤホンマイク 30の接続端子が接続され ている(挿入されている)場合には、制御部 26の制御により固定接点 aと作動接点じと を接続し、外部のイヤホンマイク 30のマイクロフォン 33により収音された情報を音声 処理回路 173に入力させる。
[0065] スィッチ回路 23は、固定接点 aが音声処理回路 173の入出力部に接続され、作動 接点 bがスピーカ 171に接続され、作動接点 cが外部機器接続部 25のスピーカ端子 252に接続されている。
スィッチ回路 23は、外部機器接続部 25にイヤホンマイク 30の接続端子が接続され て!、な 、 (挿入されて!、な 、)場合には、制御部 26の制御により固定接点 aと作動接 点 bとを接続し、スピーカ 171から音声出力させる。
スィッチ回路 23は、外部機器接続部 25にイヤホンマイク 30の接続端子が接続され ている(挿入されている)場合には、制御部 26の制御により固定接点 aと作動接点じと を接続し、外部のイヤホンマイク 30のスピーカ 32により音声出力させる。
[0066] スィッチ回路 24は、固定接点 aが音声合成部 20の出力部に接続され、作動接点 b 力 Sリンガスピーカ 21に接続され、作動接点 cが外部機器接続部 25のスピーカ端子 25 2に接続されている。
スィッチ回路 24は、外部機器接続部 25にイヤホンマイク 30の接続端子が接続され て!、な 、 (挿入されて!、な 、)場合には、制御部 26の制御により固定接点 aと作動接 点 bとを接続し、リンガスピーカ 21から合成された音声を出力させる。
スィッチ回路 25は、外部機器接続部 25にイヤホンマイク 30の接続端子が接続され ている(挿入されている)場合には、制御部 26の制御により固定接点 aと作動接点じと を接続し、外部のイヤホンマイク 30のスピーカ 32により合成された音声を出力させる
[0067] 外部機器接続部 25は、イヤホンマイク 30の接続端子が着脱自在に接続可能であ り、マイクロフォン端子 251、スピーカ端子 252、および信号端子 253を有する。
マイクロフォン端子 251が、スィッチ回路 22の作動接点 cと、イヤホンマイク 30のマ イク口フォン 33が接続される。スピーカ端子 252がスィッチ回路 23の作動接点 cとィ ャホンマイク 30のスピーカ 32と接続される。そして、信号端子が制御部 26とイヤホン マイク 30のキー操作部 31と接続される。
制御部 26は、外部機器接続部 25にイヤホンマイク 30の接続端子が接続され、キ 一操作部 31と接続されたことを認識すると、スィッチ回路 22, 23, 24の固定接点 aの 接続を作動接点 bから作動接点 cに切り替える制御を行う。
[0068] 制御部 26は、マイクロコンピュータを主体として構成され、携帯電話機 10の全体の 制御を行う。たとえば、制御部 26は、通信処理部 11における各種情報の無線による 送受信の制御、音声処理部 17に対する音声情報の処理、メイン表示部 16への情報 の表示制御、キー入力部 13の入力情報に応じた処理、メモリ 12に対するアクセス制 御等を行う。
[0069] 制御部 26は、ユーザによる押下式ボタン 19aの操作がなされると、表示されるテキ ストの読み上げ機能を実行する。その際、読み上げ機能として、読み上げ用の音声 データを出力する方式ではなぐテキスト列を抽出 Z生成してそのテキストを読み上 げるテキスト読み上げ方式を用いて 、る。
制御部 26は、たとえば図 1に示すようにテキスト抽出部 261を含み、テキスト抽出部 261は、テキスト抽出ルールに従って、たとえばメモリ 12に格納されているメニュー、 メーラー、ブラウザのデータベース力 テキストを抽出して音声合成部 20に供給する その際、制御部 26は、テキスト列を 1文字目力も順に走査し、予めメモリ 12内の読 み上げデータベースを参照して、前後の接続関係を考慮しながら、文単位の音声合 成を行うように、音声合成部 20にテキストデータの供給を行う。また、制御部 26は、た とえば文単位の音声合成を行うように制御する。この読み上げ機能によれば、たとえ ば、男性音への変更、女性音への変更、読み上げスピードの変更などが可能である
[0070] 制御部 26は、音声合成部 20を通して、リンガスピーカ 21 (スピーカ 171)あるいはィ ャホンマイク 30のスピーカ 32から音声データを出力する際に、読み上げるべきテキ ストから所定の区切りを認識し、キー操作部 13ある ヽは読み上げキー操作部 19によ り所定の指示があつたときは、指示入力時点での読み上げ対象テキストの前後いず れかの区切り位置からを音声データとして出力するように制御する。
この場合、制御部 26に対してキー操作部 13ある 、は読み上げキー操作部 19によ り指示される所定の指示は、図 3に示したように、たとえば早送り(スキップ)または卷 き戻し (バックスキップ 9の操作である。
制御部 26は、所定の指示が早送り (スキップ)の指示ならば、指示があった時点か ら前方に最も近い区切り位置力も音声データとして出力するように制御する。
制御部 26は、所定の指示が巻き戻し (バックスキップ)の指示ならば、指示があった 時点から後方に最も近い区切り位置からを音声データとして出力するように制御する この区切り位置は、前述したように、たとえ «JISの規定する句点、読点、感嘆符、 疑問符等の記述記号、具体的には、「、」「。」「一」「Z」「!」「?」等の記述記号が付 された位置が区切り位置として設定される。これにより、メール本文内を自動的に区 切ることが可能で、確認 (認識)時間を短縮しながらも音声のおおまカゝな要点を把握 することが可能となって 、る。
[0071] 制御部 26はさらに、たとえば電子メールを通信部 11を通して受信した場合であつ て、電子メールについて読み上げを行う際に、電子メールの構成要素を認識して複 数の構成要素の間を区切り位置として扱うようにも制御する。
また、制御部 26は、電子メールについて読み上げを行う際に、構成要素の名称の テキストを上記構成要素により区切った区切り位置で挟まれるテキストの先頭部分に 挿入するように制御する。
メモリ 12には、敬称のテキストと、アドレス情報とが記憶されており、制御部 26は、受 信した電子メールの差出人を示す構成要素について、メモリ 12のアドレス情報から 差出人名を検索可能で、電子メールの差出人を示す構成要素について読み上げを 行う際に、音声出力部としてスピーカ 21等により差出人名を出力した後に敬称を出 力するように制御する。
[0072] 携帯電話機 10は、音声読み上げ機能に加えて、外部接続されて読み上げ操作を 指示可能な外部操作部を備えリモートコントロール可能な外部接続機器としてのィャ ホンマイク 30を接続可能で、制御部 26は、イヤホンマイク 30が接続されるときには、 リモコン対応操作割り込みルーチン管理処理を行って、音声入出力をイヤホンマイク
30に切り替えるようにスィッチ回路 22〜24を制御する。
制御部 26は、イヤホンマイク 30の接続端子が外部機器接続端子 25から抜かれると
、音声入出力を、内蔵のマイクロフォン 172、スピーカ 171、リンガスピーカ 21により 切り替えるようにスィッチ回路 22〜24を制御する。
[0073] 制御部 26は、イヤホンマイク 30が接続されているとき、通信処理部 11を通して着信 情報が入力されると、音声出力部としてのスピーカ 32により着信報知を行わせてィャ ホンマイク 30に出力させるとともに、イヤホンマイク 30のキー操作部 31が操作された ときには着信報知を停止し、さらに通信処理部 11に通信ネットワークへ通信の接続 処理を開始させるように制御する。
イヤホンマイク 30のキー操作部 31は、 1または複数のキーで構成される。 制御部 26は、後で詳述するように、イヤホンマイク 30のキー操作部 31のキーの操 作により生じる信号の所定時間内における回数をカウントすることにより、所定の指示 を判別する。ここでいう所定の指示とは、早送り (スキップ)または巻き戻し (バックスキ ップ)の操作である。
制御部 26は、たとえば図 3 (a)に示すように、キー操作部 31のキーが 1回操作され るとスキップであり、図 3 (b)に示すように、 2回操作されるとバックスキップであると判 別する。また、制御部 26は、図 3 (c)に示すように、キー操作部 31により所定時間以 上に亘つて信号入力がある場合には、本読み上げ機能に関係しない操作、たとえば 着信応答や保留解除であると判別する。
[0074] 制御部 26は、通常速度である第 1の速度で読み上げている際に、キー操作部 19, 13、あるいは 31により早送り指示がなされると、早送り指示があった時点力 前方に 最も近い区切り位置までを第 1の速度よりも速い第 2の速度で読み上げ、区切り位置 力 は第 1の速度に戻して読み上げる制御する。
制御部 26は、キー操作部 19, 13、あるいは 31により第 1回目の巻き戻し指示がさ れると、この第 1回目の操作指示時点での区切り区間を読み上げ、第 1回目の操作 指示があって力 所定時間内に再度巻き戻し操作の指示があると、一つ前の区間ま で読み上げ対象を戻すように制御する。 [0075] サブ表示部 15またはメイン表示部 16がテキストを表示する状態において、携帯電 話機 10の上方向に対してダイヤル入力がなされると、表示されるテキストの文字サイ ズが拡大するように、また、携帯電話機 1の下方向に対してダイヤル入力がなされると 、表示されるテキストの文字サイズが縮小するように、各表示部を制御する。
文字情報については、スケーラブルフォントとして、若しくは、サイズの異なる複数の フォントとしてメモリ 12に格納されているので、制御部 26は、文字情報をメモリ 12から 取り出して各表示部に表示させる。
ここで、携帯電話機 1は、図 2Bに示す状態において、リンガスピーカ 21側を下側と して、テキストのフォントが表示されるとする。
[0076] 制御部 26は、ダイヤル入力部 14からのダイヤル入力に応じた処理を行うが、その 際、携帯電話機 1の開閉状態に応じた反転処理を行う。
一般的に、上下方向のダイヤル操作に対して、ユーザは、上方向の操作に対して は作用が増大することを、下方向の操作に対しては作用が減少することを期待する ので、携帯電話機 1の開閉状態に関わらず、ユーザの期待に沿った作用がなされる ことを実現するための処理が反転処理である。
[0077] すなわち、携帯電話機 1が閉状態(図 2B)において、上述したように、ダイヤルの上 下方向の入力に応じて、たとえば文字サイズがそれぞれ拡大 Z縮小するように処理 する場合には、仮に、何らその他の処理を行わないとすると、携帯電話機 10が開状 態(図 2A)においては、ユーザに対するダイヤル入力部 14の上下位置方向が閉状 態と比して逆転するため、上方向の入力に応じて文字サイズが縮小し、ユーザにとつ て違和感が生ずる作用結果となる。
そこで、制御部 26は、開閉スィッチ 18の出力に基づいて、携帯電話機 10の開閉 状態を判別し、当該開閉状態に応じて、ダイヤル入力部 14に対する作用の反転処 理を行う。これにより、ユーザ力も見ると、携帯電話機 10の開閉状態に関わらず、常 に、ダイヤル入力部 14に対する上方向の操作により、文字サイズを拡大させる方向 に、また、ダイヤル入力部 14に対する下方向の操作により、文字サイズを縮小させる 方向に、動作することになるので、違和感がなぐ操作性が向上する。
[0078] 次に、本実施形態に係る携帯電話機 10の音声読み上げ制御について、図 4〜図 1 0に関連付けて具体的に説明する。
[0079] まず、図 4〜図 6に関連付けて本実施形態に係る読み上げ動作の基本的動作を説 明する。
図 4は、本実施形態に係る制御部 26を中心とする読み上げ動作の基本的動作を 説明するためのフローチャートである。図 5は、読み上げ動作時の受け取ったデータ の例を示す図であって、メーラーによって受け取った場合の例を示す図である。図 6 は、読み上げ動作時の受け取ったデータに基づいてテキスト抽出部 261で作成され るテーブルの一例を示す図である。
[0080] 基本的には、制御部 26は、読み上げ可能な状態に遷移することにより作動する。
まず、読み上げの前処理として、制御部 26は、読み上げるべきデータの受け取り元 を判別する(ST1)。受け取り元として、制御部 26は、メニュー、メーラー、ブラウザで あるかの判別を行う。この例では、メーラー力 受け取つたものとする。なお、受け取り 元は一箇所に限定せず、メニューとメーラーの組み合わせ等を許容する。
そして、制御部 26は、図 5に示すようなデータを受け取り(ST2)、図 6に示すような テーブル作成を行う (ST3)。
[0081] 受け取ったデータは、たとえば図 5に示すようなデータとする。
すなわち、ヘッダ部は、 DATE (日付): 2004Z3Z20、 From (差出人):京セラ太 郎、 Subject (件名):いい天気ですね、等と、本文である。図 6の本文の例は、「今日 はいい天気ですね。明日も晴れるかな?今度遊びに行きましょう!」となっている。こ のように、本文には、読点「。」、疑問符「?」、感嘆符「!」が含まれている。
[0082] テーブル作成の際は、制御部 26は、データ受け取り元に応じたルールに従って、 項目ごとにテキストデータを作成する。
具体的には、「項目番号 1」のテキストデータとして、「 2004年 3月 20日」が作 成される。この項目番号 1のテキストデータは、受け取りデータのヘッダ部の「DATE : 2004Z3Z20」なるデータに基づき作成されている。なお、「受信」の文字に下線を 付してあるが、これは項目毎の定型追加テキストであることを示している。
「項目番号 2」のテキストデータとして、「差出人京セラ太郎さん Iが作成される この 項目番号 2のテキストデータは、受け取りデータのヘッダ部の「From:京セラ太郎」な るデータに基づいて作成されている。なお、「差出人」「さん」の文字に下線を付して あるが、これは項目毎の定型追加テキストであることを示している。「さん」は敬称 (Mr. 又は Ms.あるいは Dr. Sirなど)である。なお、 CPU26は、電子メールの差出人を示 す構成要素にアドレス情報しか含まれなカゝつた場合には、上記敬称の付加動作を省 略したり、携帯電話機 10のメモリ 21に記憶されるアドレス帳を参照して一致する名称 を抽出した上で敬称を付加する動作を行わすことが好ましい。
「項目番号 3」のテキストデータとして、「:^いい天気ですね」が作成される。この項 目番号 3のテキストデータは、受け取りデータのヘッダ部の「Subject: V、 、天気です ね」なるデータに基づいて作成されている。なお、「件名」の文字に下線を付してある 力 これは項目毎の定型追加テキストであることを示している。
[0083] 「項目番号 4」のテキストデータとして、「本文今日は 、 、天気ですね。」が作成され る。この項目番号 4のテキストデータは、受け取りデータの本文の「今日は 、 、天気で すね。」なるデータに基づいて作成されている。すなわち、読点「。」を区切り位置とし て認識し、この読点「。」部分で項目の区切りとしている。「本文」の文字に下線を付し てあるが、これは項目毎の定型追加テキストであることを示している。
「項目番号 5」のテキストデータとして、「明日も晴れるかな?」が作成される。この項 目番号 5のテキストデータは、受け取りデータの本文の「明日も晴れるかな?」なるデ ータに基づいて作成されている。すなわち、疑問符「?」を区切り位置として認識し、 この疑問符「?」部分で項目の区切りとしている。
「項目番号 6」のテキストデータとして、「今度遊びに行きましょう!」が作成される。こ の項目番号 6のテキストデータは、受け取りデータの本文の「今度遊びに行きましょう !」なるデータに基づいて作成されている。すなわち、感嘆符「!」を区切り位置とし て認識し、この感嘆符「!」部分で項目の区切りといしている。
「項目番号 7」のテキストデータとして、「メール終わり」が文末の定型追加テキストと して作成される。「メール終わり」の文字に下線を付してある力 これは項目毎の定型 追加テキストであることを示して 、る。
[0084] 実施形態に係る携帯電話機 10において、読み上げ機能により音声出力するため の各項目に対応したテキスト (説明テキストと称する)をメモリ 12に保持しており、押下 式ボタン 19aに対する操作に応じて、選択された項目に対応するテキストが音声合成 部 20に供給され、ここで音声合成処理が行われて、たとえばリンガスピーカ 21からテ 一ブルに従って一項目ずつ音声出力される。
[0085] 読み上げ中に、キー操作部 13あるいは 19によりスキップ操作指示(早送り指示)ま たはバックスキップ操作指示 (巻き戻し指示)による割り込み処理を受けると、後述す るスキップ操作 (ST5a)またはバックスキップ操作 (ST5b)が行われる。
そして、作成したテーブルの最後の項目(番号 7の「メール終わり」)を読み上げた時 点で終了する(ST6)。
[0086] 次に、図 7および図 8に関連付けて制御部 26におけるスキップ操作およびバックス キップ操作にっ 、て説明する。
図 7は、スキップ操作時の動作を説明するためのフローチャートである。図 8は、バッ クスキップ操作の動作を説明するためのフローチャートである。
[0087] まず、図 7に関連付けてスキップ操作時の動作を説明する。
制御部 26は、読み上げ中に、キー操作部 13あるいは 19によりスキップ操作指示( 早送り指示)による割り込み処理を受けると (ST11)、スキップすべき項目が作成した テーブルの最後の項目か否かを判別する(ST12)。
制御部 26は、ステップ ST12において、最後の項目でないと判別すると、項目を一 つ進める、すなわち現項目をスキップする処理を行う(ST13)。
次に、制御部 26は、所定時間内に、キー操作部 13あるいは 19によりスキップ操作 指示 (早送り指示)による割り込み処理を受けた否かの判別を行う(ST14)。
ステップ ST14にお 、て、所定時間内にスキップ操作指示が無 、場合には制御部 2 6は、処理を終了する。一方、所定時間内にスキップ操作指示があつたと判別すると 、制御部 26は、ステップ ST12の処理に戻り、スキップすべき項目が作成したテープ ルの最後の項目か否かを判別する(ST12)。
制御部 26は、ステップ ST12において、最後の項目であると判別すると、処理を終 了し、最後の項目ではないと判別するとステップ ST13の処理より項目を一つ進める 。すなわち、制御部 26は、現項目をスキップする処理を行い、ステップ ST14の処理 に移行する。 [0088] 次に、図 8に関連付けてバックスキップ操作時の動作を説明する。
制御部 26は、読み上げ中に、キー操作部 13あるいは 19によりバックスキップ操作 指示 (早戻し指示)による割り込み処理を受けると (ST21)、同じ項目を読み直した後 (ST22)バックスキップすべき項目が作成したテーブルの最初の項目か否かを判別 する(ST23)。
制御部 26は、ステップ ST23において、最初の項目でないと判別すると、所定時間 内に、キー操作部 13あるいは 19によりバックスキップ操作指示(早戻し指示)による 割り込み処理を受けた否かの判別を行う (ST24)。
制御部 26は、ステップ ST24において、所定時間内にバックスキップ操作指示が無 い場合には処理を終了する。一方、所定時間内にバックスキップ操作指示があつたと 判別すると、ステップ ST25の処理に進み、スキップすべき項目が作成したテーブル の最初の項目か否かを判別する。
制御部 26は、ステップ ST25において、最初の項目でないと判別した場合には、項 目を一つ戻す、すなわち現項目をバックスキップする処理を行 ヽ(ST26)、ステップ ST24の処理に移行する。
制御部 26は、ステップ ST25にお 、て最初の項目でな 、と判別した場合には処理 を終了する。
[0089] 次に、外部接続機器であるイヤホンマイク 30の接続端子が外部機器接続部 25〖こ 接続された場合の制御動作について図 9および図 10のフローチャートに関連付けて 説明する。
[0090] 制御部 26は、図 9に示すように、外部接続機器であるイヤホンマイク 30の接続端子 が外部機器接続部 25に接続された力否力の判別を行う(ST31)。
制御部 26は、ステップ ST31において、イヤホンマイク 30の接続端子が外部機器 接続部 25に接続されたと判別すると、制御部 26は、リモコン対応の操作割り込みル 一チン管理処理を行う (ST32)。
制御部 26は、ステップ ST31において、イヤホンマイク 30の接続端子が外部機器 接続部 25に接続されていないと判別すると、制御部は、通常の操作割り込みルーチ ン管理処理を行う(ST33)。 [0091] リモコン対応の操作割り込みルーチン管理処理においては、図 10に示すように、制 御部 26は、本体のキー操作部からの入力が有る力否かの判別を行い(ST41)、有る 場合には操作に応じた割り込み処理を行う (ST42)。
制御部 26は、ステップ ST41にお 、て本体のキー操作部からの入力がな 、と判別 すると、イヤホンマイク 30のキー操作部 31によりリモコン信号が入力(ON)されたか 否かの判別を行う(ST43)。
[0092] 制御部 26は、ステップ ST43において、リモコン信号が ONされたと判別すると、 O
Nして力 所定時間内におけるリモコン信号が OFFした力否かの判別を行う(ST44) 制御部 26は、ステップ ST44において、リモコン信号が OFFしていないと判別する と、キー操作部 31により所定時間以上に亘つて信号入力があることから、本読み上 げ機能に関係しない操作、たとえば着信応答や保留解除であると判別する (ST45) 制御部 26は、ステップ ST44において、リモコン信号が OFFしたと判別すると、キー 操作部 31により所定時間内にリモコン信号が ONされたカゝ否かの判別を行う(ST46
) o
制御部 26は、ステップ ST46において、所定時間に再度リモコン信号が ONされた と判別すると、ノ ノクスキップ操作指示がなされたものと判別し、上述したバックスキッ プ操作割り込み処理を行う (ST47)。
制御部 26は、ステップ ST46において、所定時間に再度リモコン信号が ONされな いと判別すると、スキップ操作指示がなされたものと判別し、上述したスキップ操作割 り込み処理を行う(ST48)。
[0093] また、制御部 26は、イヤホンマイク 30が接続されているとき、通信処理部 11を通し て着信情報が入力されるとスピーカ 32により着信報知を行わせてイヤホンマイク 30 に出力させる。
これと並行して、制御部 26は、イヤホンマイク 30のキー操作部 31が操作されたとき には着信報知を停止して、通信部 11に通信ネットワークへ通信の接続処理を開始さ せる。 また、制御部 26は、イヤホンマイク 30が接続されているときに、新着メールを受信 すると、新着メールのテーブルを作成する。
[0094] ここで、イヤホンマイクの接続されるときの新着メールのテーブルについて説明する 。基本的には、すでに図 5および図 6を参照してテーブルの作成については述べた 力 イヤホンマイクが接続されるときには、この動作を若干変更することにより、ユーザ にとつてさらに便利な読み上げ機能とすることができる。
通常は、新たに着信メールが発生すると、待ち受け画面上に「新着メールあり」との 表示がなされる。この「新着メールあり」の表示は、制御部 26が、新たに着信メールの 生じたことを検出すると、メモリ 21に格納されている特にメニューのデータベースから 抽出されるテキストを、サブ表示部 15に表示させる。ここで、ユーザは端末を開くと、 開閉スィッチ 18の信号の変化によりメイン表示部 16に「新着メールあり」の表示が切 り替わる。
この状態にて、キー操作部 13にて新着メールを開く動作を行い、読み上げキー操 作部 19にて読み上げが指示されると、図 5および図 6に関連付けて述べたようなテー ブルの作成がなされる。
これに対し、イヤホンマイク 30が接続されるとき、図 5および図 6に関連付けて述べ たようなテーブルの作成を行う際に、項目番号の先頭にまずメニューのデータベース 力も抽出されるテキストである「新着メールあり」をテキストデータに加え、以降の項目 番号を一つずつ下位にずらしてテーブルを作成する。これにより、新着メールの生じ た状態で、キー操作部 13を操作しなくても早送り (スキップ)動作を行えば、即時新着 メールの内容までをも確認することができる。
[0095] なお、このようなメニューをも含めたテーブル作成動作はイヤホンマイク 30の接続の 有る状態でのみ説明した力 これに限るものではない。
たとえば、読み上げキー操作部 19が携帯端末装置である携帯電話機 10の扉が閉 じられた状態において露出するように構成されている場合、携帯端末装置の扉が閉 じられた状態において読み上げ操作部 19が操作されたときは、上述したようにメ-ュ 一をも含めたテーブル作成動作を行うようにしても良 、。
これにより、携帯端末装置の扉を開力なくても「新着メールあり」という読み上げがリ ンガスピーカ 21などより出力され、一連の内容確認を行うことができるようになる。 以上説明したように、本実施形態によれば、読み上げ操作を指示する操作部 19と 、テキストを記憶するメモリ 12と、読み上げを行う際に、メモリ 12に記憶されたテキスト データを音声データに変換する音声合成部 20と、音声データを出力する音声出力 部 21と、音声出力部 21にて音声データを出力する際に、読み上げるべきテキストか ら所定の区切りを認識し、操作部 19により所定の指示があつたときは、指示入力時点 での読み上げ対象テキストの前後いずれかの区切り位置からを音声データとして音 声出力部としてのスピーカにより出力するように制御する制御部 26とを有することから 以下の効果を得ることができる。
音声読み上げ機能において、ユーザが情報の重要度に応じて取捨選択することが 可能となり、読み上げ機能を効率的に活用できる。
また、メーラーやブラウザやメニュー表示部といった、情報表示を管理しているアブ リケーシヨン等をテキスト情報の受け取り元とすることができ、メール一通分など画面 表示時に意味のある単位での受け渡しが可能となる。
また、あら力じめ決めたルールに従って読み上げるテキストの項目抽出を行うことが でき、あらかじめ内容を予測することのできな 、電子メールなどのデータの場合にも 自動的に対応することができ、ユーザが自分で区切り位置を設定する労力を軽減す ることがでさる。
既存のイヤホンマイクインタフェースを使って、読み上げ音声の出力やリモコン操作 を利用可能であり、端末の低コスト化と小サイズ化、およびプライバシーに配慮した機 能操作を可能とする。
画面をほとんど見ることなくメール確認などの操作を可能とするため、視力が低下す る状況での利用はもちろん、第 3者に画面を覼かれたくな 、状況などで画面表示を オフにして利用することも可能である。
また、音楽再生など音声読み上げとは別の用途でイヤホンマイクを使用していると きに新着メールを受信した場合に、いわゆる折り畳み型端末を開くことなく新着メー ルの確認など簡単な操作が手元で可能となる利点がある。
また、メール内容確認などプライベートな情報が含まれているために、音声読み上 げじにデメリットが生じるような場合でも、音声が周囲に漏れることがないため問題なく 使用することが可能である。
[0097] また、本実施形態に係る携帯電話機 10によれば、ダイヤル入力部 14に対する操 作により、表示されているテキストの文字を拡大 Z縮小することができ、テキストの視 認性が向上するとともに、テキストの文字を拡大 Z縮小する際に、そのテキストの表示 形式に応じた表示処理を行うので、さらにユーザの視認性および操作快適性が向上 する。
[0098] 2実 餱
図 11〜図 18を参照して本発明の携帯端末装置の第 2実施形態を述べる。 本発明の第 2実施形態は、煩雑な手間を要することなく読み上げ前の警告音をュ 一ザが設定でき、しかも必要なときのみ警告音を発生することができる携帯端末装置 に関する。
図 11,図 12A〜図 12Dに図解した携帯端末装置 10Aは、図 1,図 2A〜図 2Sに図 解した携帯端末装置 10と比較すると、警告音発生部 50が付加されており、外部接続 部 25が削除されている。その他の構成要素は、第 1実施形態の携帯端末装置 10と 第 2実施形態の携帯端末装置 10Aとは実質的に同じである。ただし、第 1実施形態 の制御部 26と第 2実施形態の制御部 26Aとは下記に述べるとおり処理内容が異なる 以下、第 2実施形態の携帯端末装置 10Aの特徴湘違)を中心に述べる。
[0099] 本実施形態に係る携帯電話機 10Aは、通常の携帯電話機の機能に加えて、音声 読み上げ機能を有し、かつ、携帯電話機 10Aが読み上げ指示を受けた場合、その 読み上げ前に警告音を鳴らすことでユーザ (聞き手)側に注意を促せ、心理的効果 を得るように構成されている。
携帯電話機 10Aにお 、て、警告音を鳴らす状況は音声読み上げ機能を「自動」に セットし、かつ、たとえば電波状況や電池残量の有無など特に重要なステータスをュ 一ザに知らせる必要があるときのみである。
本実施形態に係る携帯電話機 10Aは、着信時やメール受信時に読み上げを行う 場合は、いわゆるバイブレーションや着うた、着メロが読み上げ時間前の警告音の役 割をするものとして通常の警告音は発しない。すなわち、携帯電話機 10Aにおいて は、明らかに聞くことのできる状況にあるときまで警告音は発しないように構成されて いる。
なお、その警告音をユーザが設定できることで自分の端末が読み上げられると 、う ことを瞬時に判断できるように構成されて 、る。
[0100] 本実施形態に係る携帯電話機 10Aにおいて、あとで詳述するように、「警告音発生
」の条件に関しては以下の 2点が存在する。
第 1は、条件テーブルを参照して警告音を発生させる点である。
第 2は、条件テーブルのような固定的な設定ではなぐ各事象 (イベント)に重み付 けの数値をあらかじめ与えておき、利用者がどの範囲で警告音を鳴らすか、重み付 けテーブルの重み値とユーザの設定値を比較し、警告音の鳴動、非鳴動を制御する ことでユーザの利便性を向上させる点である。
[0101] 以下、本実施形態に係る携帯電話機 10Aの各部の構成、機能、並びに、音声読み 上げ制御にっ 、て順を追って説明する。
[0102] キー操作部 13の操作により、メモリ 12に記憶される音声読み上げ機能の制御テー ブルの各項目の読み上げするか否か (ONZOFF)を制御部 26Aを通して設定可能 である。
キー操作部 13の操作により、メモリ 12に記憶される音声読み上げ機能の重み付け テーブルの各項目の重み値を制御部 26Aを通して設定可能である。
[0103] 音声処理部 17は、音声処理回路 173を有し、通話機能のために音声出力を行うス ピー力 171と音声入力を行うマイクロフォン 172とが接続されている。
音声処理部 17は、マイクロフォン 172により収音した音声に対して所定の処理を行 つて制御部 26Aに供給する。また、音声処理部 17は、制御部 26Aにより供給された 音声情報に対して所定の処理を行ってスピーカ 171から出力させる。
スピーカ 171は、受話スピーカ 171aおよびリンガスピーカ 171bの 2箇所の音声出 力部を含み、読み上げ機能の処理結果である音声を出力する。
さらに、音声処理部 17は、読み上げを行う際に、制御部 26Aにおいてメモリ 12から 読み出され抽出されたテキストデータを音声データに変換して、音声出力部である受 話スピーカ 171 aまたはリンガスピーカ 171bにより音声合成して音声出力させる。 音声処理部 17は、音声読み上げの際、制御部 26Aによる第 2の制御信号 CTL2 の制御の下、音声出力部にて受話スピーカ 171aまたはリンガスピーカ 171bにより音 声合成した音声データを出力させる際、読み上げ開始の理由に応じて、警告音を音 声出力部にて出力させて力も音声データを出力する。
[0104] 警告音発生部 50は、制御部 26Aにより第 1の制御信号 CTL1を受けて警告音、た とえば「ピンポン」という警告音を生成し、制御部 26Aを通して、あるいは直接的に、 音声合成処理部 17に供給する。
[0105] 制御部 26Aは、ユーザによる押下式ボタン 19aの操作がなされると、表示されるテ キストの読み上げ機能を実行する。その際、読み上げ機能として、読み上げ用の音 声データを出力する方式ではなぐテキスト列を抽出 Z生成してそのテキストを読み 上げるテキスト読み上げ方式を用いて 、る。
[0106] 制御部 26Aは、音声データを出力する際、読み上げ開始の理由に応じて、制御信 号 CTL1により警告音を生成させて警告音を音声出力部であるスピーカから出力し て力も音声データを出力するように第 2の制御信号 CTL2を音声処理部 17に出力す る。
換言すれば、制御部 26Aは、音声データを出力する際、読み上げ開始の理由に 応じて、第 1の制御信号 CTL1により警告音を生成した後、第 2の制御信号 CTL2に てテキストを音声データに変換するように制御する。
制御部 26Aは、音声出力部であるスピーカ 172にて警告音を出力させて力も所定 時間経過後に音声データを出力させる。
すなわち、制御部 26Aは、第 1の制御信号 CTLにより警告音発生部 50に警告音を 発生させて力 所定の時間経過後に第 2の制御信号 CTL2により音声合成処理部 1 7に音声データを生成させる。
また制御部 26Aは、所定時間の間にキー操作部 13からの入力があると、音声出力 部であるスピーカ 172にて音声データを出力させない。
キー操作部 13は、所定の処理が対応付けされており、制御部 26Aは、所定時間の 間にキー操作部 13からの入力があった場合、音声出力部であるスピーカ 172にて音 声データを出力させな 、のみで、所定の処理を行わな!/、ように制御する。
[0107] さらに制御部 26Aは、読み上げ開始の理由として、読み上げキー操作部 19による 読み上げ指示か、端末内部の状態遷移に応じた自動読み上げかを判定する。
この自動読み上げは、たとえば電池残量または電波状況の遷移に基づくものであ る。
この自動読み上げに際しては、制御部 26Aは、メモリ 12に記憶されている音声読 み上げ機能の制御テーブルを参照する。
[0108] 図 13は、本実施形態に係る制御テーブルの一例を示す図である。
図 13の例では、自動読み上げのカテゴリ一として電池残量と、電波状況と、その他 に区分けしている。
[0109] 携帯電話機 10Aは図示しな 、二次電池 (以降電池と 、う)により電源供給を受けて おり、制御部 26Aは、電池の電圧値を常時監視することにより電池残量を把握してい る。この電池電圧値が所定のしきい値以上力どうかにより電池フラグを設定しており、 このしきい値が複数のレベルで設けられている。これに基づいて、残量の少ないもの 力も順に、電池フラグが 0個、 1個、 2個、 3個と指定し、表示部 15、 16にて表示する。 電池状況は、たとえば表示部 15、 16に表示される電池フラグ力 ^個、 1個、 2個、 3 個で読み上げを行うか否かを分けて 、る。
制御部 26Aは、制御テーブルに従って、電池フラグが 0個と 1個の場合には、ユー ザに電池残量が極めて少な 、ものとして報知するまめに「電池残量が少なくなつて!/、 ます」等の読み上げを行うように警告音の生成制御と読み上げ制御を行う。
制御部 26Aは、制御テーブルに従って、電池フラグが 2個と 3個の場合には、ユー ザに電池残量を報知するまではな 、ものとして読み上げ制御を行わな 、。
[0110] また、携帯電話機 10Aは、送受信回路 112がアンテナ 111により無線信号を送受 信することにより近隣の基地局との通信を確保する動作を常に行っている。ここで、携 帯電話機 10Aが移動したり、周囲の環境が変化することにより時々刻々と携帯電話 機 10Aからみた基地局力もの電波の強度は変化する。制御部 26Aは、この電波の 強度にっ 、ても複数のしき 、値を設け、それぞれに電波マーク 0本〜 3本を指定する 。また、通信を行える最低限の電波の強度が得られない場合には圏外と指定して、こ れらを表示部 15、 16にて表示する。
電波状況は、たとえば表示部 15、 16に表示される電波が圏外、電波 0本、電波 1本 、電波 2本、電波 3本で読み上げを行うか否かを分けている。
制御部 26Aは、制御テーブルの内容に従って、電波が圏外、電波 0本、電波 1本に は、ユーザに電波状況が極めて悪いものとして「現在位置では、電波状況が悪くなつ て 、ます」等の読み上げを行うように警告音の生成制御と読み上げ制御を行う。 制御部 26Aは、制御テーブルに従って、電波が電波 2本、電波 3本の場合には、ュ 一ザに電波状況を報知するまではな 、ものとして読み上げ制御を行わな 、。
[0111] その他としては、充電完了時、通話中、電波状況回復時、着信、メール受信 (この 場合受信音が警告音)、未読メール、留守録有に分けられている。
制御部 26Aは、制御テーブルに従って、充電完了時、通話中、電波状況回復時、 着信、メール受信 (この場合受信音が警告音)、の場合には、ユーザにその旨を報知 するために警告音の生成制御と読み上げ制御を行う。
制御部 26Aは、制御テーブルに従って、未読メール、留守録有の場合には、他の 報知機能を有して 、ることから、読み上げ制御を行わな 、。
制御部 26Aは、マナーモード、ドライブモード、キーロック中には音声読み上げ制 御は行わない。
[0112] この自動読み上げに際しては、制御部 26Aは、メモリ 12に記憶されている音声読 み上げ機能の重み付けテーブルを参照する。
制御部 26Aは、重み付けテーブルの重み付け値に応じて自動読み上げを行うか 行わないかを判定する。
[0113] 図 14は、本実施形態に係る重み付けテーブルの一例を示す図である。
図 14の例では、自動読み上げのカテゴリ一として電池残量と、電波状況とに区分け している。
[0114] 電池状況は、たとえば表示部 15、 16に表示される電池フラグ力 ^個、 1個、 2個、 3 個で重み付け値を変えて読み上げを行うか否かを分けている。
制御部 26Aは、制御テーブルに従って、たとえば重み付け値力 と 3である電池フ ラグ力^個と 1個の場合には、ユーザに電池残量が極めて少ないものとして報知する まめに「電池残量が少なくなつて 、ます」等の読み上げを行うように警告音の生成制 御と読み上げ制御を行う。
制御部 26Aは、制御テーブルに従って、重み付け値が 2と 1である電池フラグが 2 個と 3個の場合には、ユーザに電池残量を報知するまではないものとして読み上げ 制御を行わない。
[0115] 電波状況は、たとえば表示部 15、 16に表示される電波が圏外、電波 0本、電波 1本 、電波 2本、電波 3本で重み付け値を変えて読み上げを行うか否かを分けている。 制御部 26Aは、制御テーブルに従って、たとえば重み付け値が 5, 4, 3である圏外 、電波 0本、電波 1本には、ユーザに電波状況が極めて悪いものとして「現在位置で は、電波状況が悪くなつて!、ます」等の読み上げを行うように警告音の生成制御と読 み上げ制御を行う。
制御部 26Aは、制御テーブルに従って、重み付け値が 2, 1である電波が電波 2本 、電波 3本の場合には、ユーザに電波状況を報知するまではないものとして読み上 げ制御を行わない。
[0116] 制御部 26Aは、通信処理部 11により通信網からの情報の受信または着信の処理 が生じると報知音を生成する音声処理部 17に対して指示を出す。
制御部 26Aは、読み出し開始の理由力 情報の受信または着信の処理の発生で あって報知音を音声出力部であるスピーカ 172にて出力する際、警告音は音声出力 部から出力させる。
[0117] 制御部 26Aは、図示しないテキスト抽出部を含み、テキスト抽出部 261は、テキスト 抽出ルールに従って、たとえばメモリ 12に格納されているメニュー、メーラー、ブラウ ザ等のデータベース力もテキストを抽出して音声合成処理部 17に供給する。
その際、制御部 26Aは、テキスト列を 1文字目力も順に走査し、予めメモリ 12内の 読み上げデータベースを参照して、前後の接続関係を考慮しながら、文単位の音声 合成を行うように、音声合成部 20にテキストデータの供給を行う。また、制御部 26A は、たとえば文単位の音声合成を行うように制御し、この読み上げ機能によれば、た とえば、男性音への変更、女性音への変更、読み上げスピードの変更などが可能で ある。 [0118] また、サブ表示部 15またはメイン表示部 16がテキストを表示する状態において、携 帯電話機 10Aの上方向に対してダイヤル入力がなされると、表示されるテキストの文 字サイズが拡大するように、また、携帯電話機 10Aの下方向に対してダイヤル入力が なされると、表示されるテキストの文字サイズが縮小するように、各表示部を制御する 文字情報については、スケーラブルフォントとして、若しくは、サイズの異なる複数の フォントとしてメモリ 12に格納されているので、制御部 26Aは、文字情報をメモリ 12か ら取り出して各表示部に表示させる。
なお、ここで、携帯電話機 10Aは、図 12Bに示す状態において、リンガスピーカ 21 側を下側として、テキストのフォントが表示されるとする。
[0119] 制御部 26Aは、上述したように、ダイヤル入力部 14からのダイヤル入力に応じた処 理を行うが、その際、携帯電話機 10Aの開閉状態に応じた反転処理を行う。
一般的に、上下方向のダイヤル操作に対して、ユーザは、上方向の操作に対して は作用が増大することを、下方向の操作に対しては作用が減少することを期待する ので、携帯電話機 10Aの開閉状態に関わらず、上述したユーザの期待に沿った作 用がなされることを実現するための処理が反転処理である。
[0120] すなわち、携帯電話機 10Aが閉状態(図 12B)において、上述したように、ダイヤル の上下方向の入力に応じて、たとえば文字サイズがそれぞれ拡大 Z縮小するように 処理する場合には、仮に、何らその他の処理を行わないとすると、携帯電話機 10A が開状態(図 12A)においては、ユーザに対するダイヤル入力部 14の上下位置方向 が閉状態と比して逆転するため、上方向の入力に応じて文字サイズが縮小し、ユー ザにとって違和感が生ずる作用結果となる。
そこで、制御部 26Aは、開閉スィッチ 18の出力に基づいて、携帯電話機 10Aの開 閉状態を判別し、当該開閉状態に応じて、ダイヤル入力部 14に対する作用の反転 処理を行う。これにより、ユーザ力 見ると、携帯電話機 10Aの開閉状態に関わらず 、常に、ダイヤル入力部 14に対する上方向の操作により、文字サイズを拡大させる方 向に、また、ダイヤル入力部 14に対する下方向の操作により、文字サイズを縮小させ る方向に、動作することになるので、違和感がなぐ操作性が向上する。 [0121] 次に、本実施形態に係る携帯電話機 10Aの音声読み上げ制御について、図 15〜 図 18に関連付けて具体的に説明する。
[0122] まず、図 15に関連付けて本実施形態に係る制御部 26Aにおける読み上げ動作の 基本的動作を説明する。
図 15は、本実施形態に係る制御部 26Aの読み上げ動作の基本的動作を説明する ためのフローチャートである。
[0123] 基本的には、読み上げ可能な状態に遷移することにより作動する。
まず、読み上げキー操作部 19の操作、あるいは何らかのイベント、たとえば電池残 量や電波状況を読み上げて報知する必要が生じた場合 (ST101)、制御部 26Aは、 まず、その読み上げ指示が読み上げキー操作部 19の操作に基づくもの力否かの判 定を行う(ST102)。
ステップ ST102において、読み上げキー操作部 19の操作に基づくものであると判 別すると、制御部 26Aは、メモリ 12から所望のテキストを抽出して制御信号 CTL2を 音声合成処理部 17に出力して音声合成にて音声データを生成させて、音声データ を出力させる(ST103)。この場合、ユーザの意志によるものであることから警告音の 発生は行わない。
[0124] ステップ ST102において、読み上げキー操作部 19の操作に基づくものでないと判 別すると、制御部 26Aは、自動読み上げによるものと判定して(ST104)、操作して いることに対する読み上げ、具体的にはカーソルを合わせた時の読み上げ、数字入 力の読み上げである力否かの判別を行う(ST105)。
ステップ ST105において、操作していることに対する読み上げであると判別すると、 制御部 26Aは、ユーザの意志によるものであることから警告音の発生は行わず、ステ ップ ST103において音声読み上げを開始させる。すなわち、制御部 26Aは、メモリ 1 2から所望のテキストを抽出して制御信号 CTL2を音声合成処理部 17に出力して音 声合成にて音声データを生成させて、音声データを出力させる。
[0125] ステップ ST105にお 、て、操作して!/、ることに対する読み上げではな 、と判別する と、制御部 26Aは、メール受信、着信時力否かの判別を行う(ST106)。
ステップ ST106において、メール受信、着信時であると判別すると、制御部 26Aは 、ユーザは受信、着信音があることから、警告音の発生は行わず、ステップ ST103に おいて音声読み上げを開始させる。すなわち、制御部 26Aは、メモリ 12から所望の テキストを抽出して制御信号 CTL2を音声合成処理部 17に出力して音声合成にて 音声データを生成させて、音声データを出力させる。
[0126] ステップ ST106にお 、て、メール受信、着信時でな!、判別すると、制御部 26Aは、 次に通話中である力否かに判別を行う(ST107)。
ステップ ST107において、通話であると判別すると、警告音は必要ないことから、制 御部 26Aは、警告音の発生は行わず、ステップ ST103において音声読み上げを開 始させる。すなわち、制御部 26Aは、メモリ 12から所望のテキストを抽出して制御信 号 CTL2を音声合成処理部 17に出力して音声合成にて音声データを生成させて、 音量を調整し、通話相手の音声とともに音声データを出力させる。
[0127] ステップ ST107にお 、て、通話でな!、と判別すると、制御部 26Aは、制御テープ ルあるいは重み付けテーブルである条件テーブルを参照する(ST108)。
制御部 26Aは、条件テーブル表の読み上げ項目が ONである力否かの判別を行う (ST109)。
ステップ ST109において、項目が ONでない (OFF)と判別すると、警告音は必要 ないことから、制御部 26Aは、警告音の発生は行わず、ステップ ST103において音 声読み上げを開始させる。すなわち、制御部 26Aは、メモリ 12から所望のテキストを 抽出して制御信号 CTL2を音声合成処理部 17に出力して音声合成にて音声データ を生成させて、音声データを出力させる。
[0128] ステップ ST109において、項目が ONであると判別すると、警告音が必要であること から、制御部 26Aは、第 1の制御信号 CTL1により警告音を生成した後(ST110)、 第 2の制御信号 CTL2にてテキストを音声データに変換するように制御する。
具体的には、警告音を出力させてから所定時間経過後に、ステップ ST103におい て音声読み上げを開始させる。すなわち、制御部 26Aは、メモリ 12から所望のテキス トを抽出して制御信号 CTL2を音声処理部 17に出力して音声合成にて音声データ を生成させて、音声データを出力させる。
このように、所定時間経過してから、音声読み上げを開始させることにより、音声出 力部 171にて出力される警告音が残留音などを含む音であっても読み上げる音声に 重畳されてしまったり、図示しない音声の増幅回路にとっても、供給される音源が警 告音発生部 50から音声合成処理部 17の合成音に急に切り換わってしまい、増幅率 の変化にっ ヽて 、けな 、等の問題を回避することもできる。
[0129] また、図 16は、通行中における音声読み上げ機能のユースシーンを示す図である 。図 17は、通話中における音声読み上げ機能のユースシーンを示す図である。図 1 8は、メール中における音声読み上げ機能のユースシーンを示す図である。
[0130] たとえばポケットに携帯電話機 10Aが入った状態で通行しているときにおいて、電 池が切れそうになっているときには、図 16に示すように、警告音「ピンポン」と発せら れた後に「電池が残り 1個になりました」との音声読み上げが行われる。これを聞 、た ユーザには、たとえばコンビニエンスストアで補充電用電池を買うなどの思慮を働か せるきっかけを与えることができる。
さらに、電話が力かってくる予定があり、その着信を図 17に示すように待っていると きに、同じく電池が切れそうになっているときには、警告音「ピンポン」と発せられた後 に「電池が残り 1個になりました」との音声読み上げが行われる。これを聞いたユーザ には、充電しながら通話することも想定して、充電器を充電端子にコネクタで接続し ておくように予め来るべき通話に向けての対策を講じておくことができる。
また、電子メールを作成し、その送信指示を行うと、通常は送信指示を行ってから 基地局との通信を確立した上で、所定のメールサーバなどを呼び出して電子メール を所定のパケットなどにより送信するため、ユーザが送信を指示して力も送信完了ま でには数秒程度のタイムラグがある。このようなメール送信時についても、図 18に示 すように、電波状況の良好な状態で電子メールを作成して力も送信指示してメール サーバへの接続待ちなどまだ送信の完了していないときに、送信が成功することを見 越して携帯電話 10Aをポケットにしまうことも多々ある。このときにもし、ポケットに入れ て力も電波状態が良好でなくなると、警告音「ピンポン」と発した後に「電波の良いとこ ろでリトライして下さい」との音声読み上げが行われる。これを聞いたユーザには、たと えば後で送信しなおすか、あるいは場所を変えるなどの措置を取るきっかけを作るこ とができ、電子メールの送信失敗に気づかない、というような事態を極力防止すること ができる。
[0131] 以上説明したように、本実施形態によれば、読み上げ項目に応じたテキストを記憶 するメモリ 12と、警告音を生成する警告音発生部 50と、読み上げを行う際に、メモリ 1 2に記憶されたテキストを音声データに変換する音声合成処理部 17と、音声データ または警告音を出力する音声出力部 171と、音声出力部 171にて音声データを出力 する際、読み上げ開始の理由に応じて、警告音を音声出力部にて出力して力も音声 データを出力するように制御する制御部 26Aとを有するので、読み上げ前に警告音 を鳴らすことでユーザ(聞き手)側に注意を促せ、聞き逃しをなくす等の効果を得るこ とがでさる。
読み上げを自動にするかボタン押下による読み上げにするかを設定でき、さらに自 動に設定した場合でも、ユーザが警告音の必要性のないときは警告音を鳴らさない ようにすることができ、煩雑な手間を要することなく読み上げ前の警告音をユーザが 設定でき、し力も必要なときのみ警告音を発生することができる利点がある。
[0132] また、本実施形態に係る携帯電話機 1 OAによれば、ダイヤル入力部 14に対する操 作により、表示されているテキストの文字を拡大 Z縮小することができ、テキストの視 認性が向上するとともに、テキストの文字を拡大 Z縮小する際に、そのテキストの表示 形式に応じた表示処理を行うので、さらにユーザの視認性および操作快適性が向上 する。
Figure imgf000040_0001
図 19〜図 20A〜図 20Dを参照して本発明の携帯端末装置の第 3実施形態を述べ る。
本発明の第 3実施形態の携帯端末装置 10Bは、ユーザに対して様々な情報を通 知することができ、かつ、その情報の内容が簡易な操作で確認できる。
図 19,図 20A〜図 20Dに図解した携帯端末装置 10Bは、図 1,図 2A〜図 2Sに図 解した携帯端末装置 10と比較すると、発光部 40が付加されており、外部接続部 25 が削除されている。その他の構成要素は、第 1実施形態の携帯端末装置 10と第 3実 施形態の携帯端末装置 10Bとは実質的に同じである。ただし、第 1実施形態の制御 部 26と第 3実施形態の制御部 26Bとは下記に述べる処理内容が異なる。 以下、第 3実施形態の携帯端末装置 10Bの特徴湘違)を中心に述べる。
[0134] サブ表示部 15およびメイン表示部 16は、ともに、本発明の表示手段の一実施形態 であり、制御部 26Bは、本発明の制御手段の一実施形態である。発光部 40は、本発 明の発光手段の一実施形態である。
[0135] メモリ 12は、バッテリ残量、電波状態その他の内部の動作状態を管理するための情 報と、電子メール受信の有無その他の外部から取得するデータを管理するための情 報と、を含む管理情報を記憶する。この管理情報は、制御部 26Bによって必要に応 じて更新される。たとえば、不在着信 (ユーザが応答しなかった着信)があったこと、 未読の (未だ本文内容が表示されて 、な 、)電子メールを受信したこと等のイベント の発生があると、管理情報の内容が制御部 26Bにより更新される。
[0136] 管理情報の変化があった際にユーザに対して適切に通知するために、管理情報の 変化 (管理情報の更新)と、発光色およびそのパターンとを対応付ける情報が予めメ モリ 12に記憶される。これにより、本実施形態に係る携帯電話機 10Bでは、たとえば 、新たに電子メールを受信すると、所定の色と所定の発光パターンをもって、発光部 40が発光するように構成されて 、る。
[0137] メモリ 12に記憶されるテキストとしては、管理情報の変化にテキストが関連付けられ るように構成することも可能である力 たとえば、これとは別にあるいはこれにカ卩えて、 管理情報そのものにテキストが関連付けられるように構成することも可能である。 そして、後述する読み上げ機能により報知 (通知)すべき「読み上げ事項 (通知事項 )」は、「変化後の管理情報」や「管理情報がいかに変化した」が含まれ、メモリ 12には 、その 、ずれにつ 、てテキストが記憶されて!、ても良!、。
[0138] 押下式ボタン 19aは、本発明の入力キーの一実施形態である。
本実施形態における携帯電話機 10Bは、読み上げ機能を有し、押下式ボタン 19a が押下 (操作)されると、閉状態ではリンガスピーカ 171bより音声出力し、開状態では 受話スピーカ 171aより音声出力する。
後述する制御部 26Bは、携帯電話機 10Bの開閉状態を開閉スィッチ 18の出力に より判別した後、読み上げのための音声出力先を音声処理部 17に通知する。
[0139] 制御部 26Bは、管理情報に変化があると、発光部 40を制御して LEDを点灯させる 。さらに、 LEDが点灯した状態で、ユーザによる押下式ボタン 19aの操作がなされる と、管理情報に関する内容の読み上げ機能 (本発明の読み上げ手段に相当)を実行 する。その際、読み上げ機能として、読み上げ用の音声データを出力する方式では なぐテキスト列を抽出 Z生成してそのテキストを読み上げるテキスト読み上げ方式を 用いている。
[0140] たとえば、管理情報の変化の一例として、携帯電話機 10Bの内部の動作状態を管 理するための情報である「バッテリ残量」が変化した場合には、制御部 26Bは、メモリ 12から、ノ ッテリ残量の変化を表すテキスト列(「バッテリ残り少な 、です」など)を抽 出し、これを読み上げる。
また、管理情報の変化の一例として、外部から取得するデータを管理するための情 報である電子メール受信情報が変化した場合には、制御部 26Bは、メモリ 12からそ の電子メールの項目(「差出人」, 「件名」, 「本文」等)毎に、制御部 26B内のワークェ リアに抽出したうえで、読み上げ用のテキスト列を生成し、そのテキスト列を読み上げ る。たとえば、「差出人」のみを通知するように予め指定されていた場合には、「田村さ んからメールです」というようなテキスト列を生成し、これを読み上げる。
[0141] このように、制御部 26Bは、基本的に、管理情報に変化があれば、読み上げ機能に よりこの変化に対応したテキストを読み上げる。
上述した例のように、ノ ッテリが減りましたというテキストは管理情報の「変化」に対 応付けておかねばならない。たとえば、ノ ッテリの管理情報としてバッテリ 2目盛に「バ ッテリが減りました」と対応付けてしまっていると、 1目盛から 2目盛になったときも「バッ テリが減りました」と読み上げてしま ヽ、矛盾が生じる。よって 3目盛から 2目盛になる「 管理情報の変化」に「バッテリが減りました」というテキストを対応付けておく必要があ る。
[0142] ただし、たとえば管理情報の変化にテキストが関連付けられるように構成することと は別に、管理情報そのものにテキストを関連付けておくだけでも、ユーザに対して様 々な情報を通知することができ、かつ、その情報の内容を簡易な操作で確認できる。 たとえば、バッテリ 2目盛に「バッテリ 2目盛です」と関連付けておき、バッテリの管理 情報が 3目盛から 2目盛と変化があってから、変化後の管理情報のテキストを読むだ けでも充分ユーザは意味を理解できる。その他、「圏外になりました」に対して「圏外 です」も同様に言える。
[0143] 制御部 26Bは、抽出 Z生成したテキスト列を 1文字目力も順に走査し、予めメモリ 1 2内の読み上げデータベースを参照して、前後の接続関係を考慮しながら、文単位 の音声合成を行う。文単位の音声合成を行うので、この読み上げ機能によれば、たと えば、男性音への変更、女性音への変更、読み上げスピードの変更などが可能であ る。
[0144] 制御部 26Bにより生成された音声合成結果は、音声処理部 17により処理されて、 受話スピーカ 171 aまたはリンガスピーカ 171bより出力される。
その際、制御部 26Bは、図 3に示したように、開閉スィッチ 18がオン状態 (ON状態 )の場合、すなわち、携帯電話機 10Bが閉状態である場合にはリンガスピーカ 171b より音声出力がなされるように、また、開閉スィッチ 18がオフ状態 (OFF状態)の場合 、すなわち、携帯電話機 10Bが開状態である場合には受話スピーカ 171aより音声出 力がなされるように、音声処理部 17を制御する。
[0145] 発光部 40は、複数の LEDおよび LED駆動回路を含んで構成され、様々な色を発 光可能である。たとえば、赤色 LED、青色 LEDおよび緑色 LEDを含んで構成するこ とにより、階調度に応じて広範囲な色を発光させることができる。
LED駆動回路は、制御部 26Bからの制御信号により、複数の LEDを駆動する。こ れにより、発光部 40は、制御信号に応じた様々な色およびパターン(点滅 Z点灯)の 光を出射する。
なお、発光部 40は、本発明の発光手段の一実施形態である。
[0146] 次に、読み上げキー入力部 19の押下式ボタン 19aと、発光部 40の LEDとの位置 関係について述べる。
本実施形態に係る携帯電話機 10Bでは、押下式ボタン 19aそのもの、または、押下 式ボタン 19aの近傍を発光させることで、発光による情報伝達と操作ボタンとを対応 付けることを企図しており、かかる観点から、 LEDを押下式ボタン 19aの近傍に配置 させる。
[0147] 図 21A〜図 21Cは、図 20Bに示す断面 A— Aによる断面図であり、押下式ボタン 1 9aと LEDとの位置関係についての様々な実施例を示す。
なお、図 21A〜図 21Cでは、 LEDから出射する光の光路を矢印で模式的に表して いる。また、押下式ボタンの接点の構成については、様々な実施例が考えられ、ここ では特定の構成例を企図したものではない。さらに、 2つの LEDが図示されているが 、これは一例に過ぎず、 LEDの数は、任意に設定できることは言うまでもない。
図 21A〜図 21Cの各実施例では、押下式ボタン 19aは、板ばね(SPR)に結合さ れており、押下式ボタン 19aが押下 (操作)されると、接点 T1および T2が接触するこ とにより、電気的な導通がなされることで電気信号が制御部 26Bへ入力される構成と なっている。
[0148] 図 21Aでは、押下式ボタン 19aは、光透過型の榭脂等により形成されるとともに、 L EDが押下式ボタン 19aの真下に配置される。これにより、 LEDが発光すると、押下 式ボタン 19aそのものが発光しているようにユーザに認識される。したがって、押下式 ボタン 19aに対応した情報が発せられていることがユーザに認識される。
図 21Bでは、表示側本体ケース 102と押下式ボタン 19aとの間に若干の隙間を設 け、その真下に LEDが配置される。これにより、同様に、 LEDが発光すると、押下式 ボタン 19aそのものが発光しているようにユーザに認識される。したがって、押下式ボ タン 19aに対応した情報が発せられていることがユーザに認識される。
図 21Cでは、押下式ボタン 19aの近傍の表示側本体ケース 102の一部に透明ガラ ス 102aを設け、その透明ガラス 102aの真下に LEDを配設する。これにより、 LEDが 発光すると、押下式ボタン 19aに対応した情報が発せられていることがユーザに認識 される。
また、ボタン 19aが複数あってそれぞれで対応づけられる情報が異なるように構成 されるならば、いずれのボタンが発光しているのかを見るだけでどの種類の情報が発 せられて!/、るのかを知ることができ、素早 、対応が必要なのかそうでな 、か等のユー ザの判断に役立てることもできる。
[0149] 次に、新たに電子メールを受信した等のイベントが発生することにより、管理情報に 変化があった場合の発光色および発光パターンの設定例について述べる。
図 22A,図 22Bは、イベントの発生に対応した発光色および発光パターンのー設 定例であり、図 22Aはイベントの種類と発光色の関係を、図 22Bは読み上げ機能に よる読み上げ範囲と発光パターンの関係を、それぞれ示す。
[0150] たとえば、図 22Aに示すように、新たに電子メールを受信するイベントが発生すると
、制御部 26Bはメモリ 12内の管理情報を更新するとともに、発光部 40の LEDを「緑」 色に発光させる。これにより、ユーザに対して電子メールを受信した旨が通知される。 さらに、図 22Bに示すように、ユーザ未読の電子メールの件数のみを通知する場合 には、 1回だけ点灯する発光パターンとなる。また、ユーザ未読の電子メールの件数 と送信者の名前を通知する場合には、 2回点灯する発光パターンとなる。
なお、電子メールに含まれる情報のうち、読み上げる範囲については、予めユーザ によりメニュー画面を操作することで設定できるように構成する。
[0151] 上述したように、イベントの発生とそれに対応した発光色および発光パターンとを対 応させることにより、視覚情報によりイベントの種類をユーザに通知することが可能と なる。
力かる発光を認識してユーザが押下式ボタン 19aを押下すると、発光色および発光 ノターンに応じた情報が読み上げ機能により読み上げられる。
たとえば、図 22A,図 22Bに示した例では、「緑」色が 1回だけ点灯した場合には、 未読の電子メールの件数のみの情報力 「未読メールが 2件です」と 、うように読み上 げられる。すなわち、制御部 26Bは、メモリ 12内の管理情報にアクセスし、未読の電 子メールの件数のデータを取り出した後、「未読メールが 2件です」 t 、つたテキスト列 を生成し、これを読み上げる。
[0152] なお、図 22A,図 22Bを参照して、イベントの発生に対応して設定した発光色およ び発光パターンの一例を示した力 イベントの発生に拘泥せず、管理情報として管理 されている情報であれば、何でも構わない。
たとえば、図 23A,図 23Bは、電子メールの着信相手に応じて発光色を変更した例 である。このように、着信相手によって発光色を変更しておけば、ユーザにとって、す ぐに押下式ボタン 19aを押下して内容を確認すべき情報力否かの判断が容易となる
[0153] 次に、図 24に関連付けて、制御部 26Bにより行われる発光処理について述べる。 図 24は、発光処理の一例を示すフローチャートである。
携帯電話機 10Bでは、読み上げ機能の動作 Z非動作 (ONZOFF)と、 LED発光 機能の動作 Z非動作 (ONZOFF)がユーザにより選択できるように構成されており、 管理情報の変化が発生すると、制御部 26Bは、これらの情報を判別して処理を行う。
[0154] 先ず、電子メールの受信等のイベントが発生すると (ステップ ST210)、制御部 26B において、読み上げ機能の動作 Z非動作 (ONZOFF)が判別される。その結果、読 み上げ機能が非動作の場合には、制御部 26Bは、通常処理を行う(ステップ ST212
) o
通常処理とは、 LEDの点灯および読み上げ機能を使用しない場合に、ユーザに対 して行う情報の通知処理であり、たとえば、イベントの発生が電子メールの受信であ れば、表示部に電子メールを受信したことを示すアイコン等を表示する処理などであ る。
[0155] 次いで、制御部 26Bはにおいて、ユーザの確認動作がある力否かが判別される(ス テツプ ST213)。ここで、ユーザの確認動作とは、例えば電子メールの受信直後にュ 一ザが筐体を閉状態力も開状態とする動作のことをいう。制御部 26Bは、開閉スイツ チ 18の状態の変化 (オン状態力もオフ状態)を検出することにより、ユーザの確認動 作を判別する。
電子メールの受信等のイベントが発生した後に、ユーザが筐体を開状態とする場合 には、ユーザは電子メール受信の報知をすでに行っているため、イベントの発生をす でに認識しており、 LEDを用いて積極的にそのイベントの発生を通知する必要がな いため、 LEDの発光を行わず、必要な後処理を行う(ステップ ST214)。後処理では 、たとえば、電子メールの受信の場合であれば、電子メールの本文の読み上げなど を行う。
[0156] 次に、制御部 26Bにおいて、 LED発光機能の動作 Z非動作 (ONZOFF)が判別 される (ステップ ST215)。その結果、 LED発光機能が非動作状態に設定されている 場合には、 LEDの発光を行わず、制御部 26Bは、上述した通常処理を行う。
LED発光機能が動作状態に設定されている場合には、制御部 26Bは、 LEDの発 光を行うためにイベントの発生に対応する発光色および発光パターンを、メモリ 12か ら検索して選択'決定した後 (ステップ ST216および ST217)、選択した発光色およ び発光パターンをもって、 LEDを駆動して発光させる。
[0157] 以上説明したように、本実施形態に係る携帯電話機 10Bによれば、管理情報の変 化に対応させて LEDを様々な色'パターンをもって発光させるとともに、 LEDが発光 中に押下式ボタン 19aが押下されると、その管理情報の変化に応じた情報の読み上 げを行う。
したがって、ユーザは、管理情報の変化を視覚情報により認識することができる。た とえば、新たな電子メールの受信や不在着信の有無を、発光色およびそのパターン で認識することができる。
その際、読み上げる情報のレベルを予め設定しておくことで、管理情報の変化が通 知されたときに、読み上げる情報のレベルをユーザに認識させることができ、操作快 適性が向上するとともに、ユーザは、押下式ボタン 19aを押下する前に音声出力され る†青報を認識させることができる。
たとえば、受信した電子メールの件数のみを音声出力する場合、件数と着信相手 先の名前を音声出力する場合等、情報レベルによって発光パターンを変更して設定 しておくことで、ユーザは、押下式ボタン 19aを押下することでどの程度の情報が発 せられるか改めて認識することができる。つまり、現在の設定で本文まで読み上げる 設定になっている等、一目で判断できるため、ユーザは仕事中に不意にプライベート のメール本文を読み上げられてしまうような事態を極力抑えることができる。
[0158] 本実施形態に係る携帯電話機 10Bによれば、筐体が閉状態であることを検出して 、音声出力先をリンガスピーカ 171bに決定するので、ユーザは、筐体が閉状態のま まで電子メールの本文まで読み上げ音声を確認することが可能となる。
[0159] 本実施形態に係る携帯電話機 10Bによれば、 LEDを押下式ボタン 19aの近傍に 配置したので、 LEDの発光によって、ユーザが押下すべき押下式ボタン 19aが強調 され、ユーザの誤操作を防止することができるとともに、暗所においても確実に操作 することができる。
本実施形態に係る携帯電話機 10Bによれば、ユーザが押下式ボタン 19aを押下せ ず、筐体を開状態とした場合には、通知すべき情報の読み上げを開始するように構 成したので、音声による情報の通知漏れを無くすことができる。
[0160] また、本実施形態に係る携帯電話機 10Bにおいて、管理情報の変化にテキストが 関連付けられるように構成することとは別に、管理情報そのものにテキストを関連付け ておくだけでも、ユーザに対して様々な情報を通知することができ、かつ、その情報 の内容を簡易な操作で確認できる。
[0161] 他の実施形
本発明は上述した第 1〜第 3実施形態に限定されない。
また本発明は、たとえば、請求の範囲および Zまたは「課題を解決するための手段 」欄に記載のように、第 1〜第 3実施形態を適宜組み合わせることができる。
本発明の携帯端末装置の好適な実施形態として、携帯電話機を例示したが、本発 明は上述した携帯電話機と同等または類似する機能および Zまたは構成を有する 他の種々の端末装置に適用できる。

Claims

請求の範囲
[1] 音声による読み上げ機能を有する携帯端末装置であって、
読み上げ項目に応じたテキストを記憶する記憶部と、
警告音を生成する警告音発生部と、
読み上げを行う際に、上記記憶部に記憶されたテキストを音声データに変換する音 声合成部と、
上記音声データまたは上記警告音を出力する音声出力部と、
上記音声出力部にて上記音声データを出力する際に、上記警告音を上記音声出 力部にて出力してから音声データを出力する第 1の制御と、上記警告音を上記音声 出力部にて出力することなく音声データを出力する第 2の制御と、を行う制御部と、 を備えることを特徴とする携帯端末装置。
[2] 読み上げを指示可能な操作部を有し、
上記制御部は、上記操作部により読み上げ指示されると、上記第 2の制御にて読 み上げを開始する
ことを特徴とする請求項 1に記載の携帯端末装置。
[3] 上記制御部は、状態遷移が生じると、上記第 1の制御にて当該状態遷移に応じ読 み上げを開始する
ことを特徴とする請求項 1に記載の携帯端末装置。
[4] 電池を備え、
上記状態遷移は、上記電池の残量の遷移であることを特徴とする請求項 3に記載 の携帯端末装置。
[5] 通信部を備え、
上記状態遷移は、上記通信部における電波状態の遷移であることを特徴とする請 求項 3に記載の携帯端末装置。
[6] 上記状態遷移として、状態ごとに重み付けされ、
上記制御部は、上記重み付けに応じ、読み上げを開始することを特徴とする請求 項 3に記載の携帯端末装置。
[7] 通信網に接続可能な通信部と、 報知音を生成する報知音生成分と、を備え、
上記通制御部は、上記通信部により上記通信網からのメッセージの受信または着 信の処理が生じると、上記報知音を上記音声出力部にて出力させるとともに、上記第
2の制御にて読み上げを行う
ことを特徴とする請求項 1に記載の携帯端末装置。
[8] 上記制御部は、上記第 1の制御にて読み上げを行う際、上記音声出力部にて上記 警告音を出力させて力 所定時間経過後に上記音声データを出力させることを特徴 とする請求項 1に記載の携帯端末装置。
[9] 操作部を備え、
上記制御部は、上記所定時間の間に上記操作部からの入力があると、上記音声出 力部にて上記音声データを出力させないことを特徴とする請求項 8に記載の携帯端 末装置。
[10] 上記操作部は、所定の処理が対応付けされており、
上記制御部は、上記所定時間の間は、上記操作部からの入力があった場合、上記 音声出力部にて上記音声データを出力させないのみで、上記所定の処理を行わな いことを特徴とする請求項 9に記載の携帯端末装置。
[11] 操作部を備え、
上記テキストは、区切り位置を有し、
上記制御部は、上記音声出力部にて上記音声データを出力する際に、読み上げ るべきテキストデータ力 所定の区切りを認識し、上記操作部により所定の指示があ つたときは、当該指示入力時点でのテキストの読み上げ位置の前後いずれかの区切 り位置からのテキストについて読み上げるよう制御することを特徴とする請求項 1に記 載の携帯端末装置。
[12] 上記操作部により指示される所定の指示は、早送りまたは巻き戻しの操作であって 上記制御部は、上記所定の指示が、早送りの指示ならば読み上げ中テキストの当 該指示の入力時点で未出力方向の最も近い区切り位置力 読み上げ、巻き戻しの 指示ならば当該指示の入力時点で既出力方向の最も近い区切り位置力 読み上げ るよう制御することを特徴とする請求項 10に記載の携帯端末装置。
[13] 上記区切り位置は、記述記号が付された位置であることを特徴とする請求項 11に 記載の携帯端末装置。
[14] 通信網に接続し、メッセージを送信あるいは受信する通信部を備え、
上記制御部は、上記メッセージについて読み上げを行う際、当該メッセージの送信 元あるいは受信先を示す構成要素とメッセージ本文を示す構成要素との間を上記区 切り位置として扱うよう制御することを特徴とする請求項 11に記載の携帯端末装置。
[15] 上記制御部は、上記メッセージについて読み上げを行う際に、上記構成要素ごとに 構成要素名を合わせて読み上げさせることを特徴とする請求項 14に記載の携帯端 末装置。
[16] 上記記憶部は、敬称のテキストと、名前を含むアドレス情報とを記憶し、
上記制御部は、上記メッセージについて読み上げを行う際に、当該メッセージの送 信元あるいは受信先を示す構成要素から上記アドレス情報から検索される名前に、 上記敬称を合わせて読み上げるよう制御することを特徴とする請求項 15に記載の携 帯端末装置。
[17] 外部接続されて、上記制御部に読み上げ操作を指示する外部操作部と、第 2音声 出力部とを有する外部接続機器を備え、
上記制御部は、上記外部接続機器の接続されるときには上記音声データの出力を 上記第 2音声出力部にて行うよう制御することを特徴とする請求項 1に記載の携帯端 末装置。
[18] 通信網に接続可能な通信部と、
報知音を生成する報知音生成部と、を備え、
上記制御部は、上記通信部により上記通信網からの着信要求を受信すると、上記 報知音を生成させるとともに上記第 2音声出力部にて出力させ、上記外部操作部が 操作されると当該報知音の出力を停止するとともに、上記通信部に前記着信要求へ の応答処理を開始させるように制御することを特徴とする請求項 17に記載の携帯端 末装置。
[19] 上記外部操作部は、少なくとも一つのキーを含み、 上記制御部は、上記所定の指示として複数の処理を有し、上記キーの操作により 生じる信号が所定時間内に入力される回数をカウントし、カウント数に応じて上記複 数の処理のいずれかを処理することを特徴とする請求項 17に記載の携帯端末装置
[20] 上記外部操作部は、少なくとも一つのキー構成され、
上記制御部は、上記所定の指示として複数の処理を有し、上記キーの操作により 生じる信号の継続する時間をカウントし、当該時間に応じて上記複数の処理のいず れかを処理することを特徴とする請求項 17に記載の携帯端末装置。
[21] 上記所定の指示は、早送りまたは巻き戻しの操作であり、
上記制御部は、上記音声出力部にて通常速度である第 1の速度で読み上げて 、る 際に、上記操作部により早送り指示がなされると、当該早送り指示があった時点から 前方に最も近い区切り位置までを第 1の速度よりも早い第 2の速度で読み上げ、上記 区切り位置からは第 1の速度に戻して読み上げる制御を行うことを特徴とする請求項 1に記載の携帯端末装置。
[22] 上記所定の指示は、巻き戻しの操作を含み、
上記制御部は、上記操作部によって巻き戻し指示がなされると、当該巻き戻し指示 時点での読み上げ箇所より前の区切りの位置に戻って読み上げ、上記巻き戻し指示 があって力 の再度巻き戻し指示があると、さらに前の区切り位置に戻って読み上げ るよう制御することを特徴とする請求項 21に記載の携帯端末装置。
[23] 発光部と、
読み上げを指示可能な操作部とを有し、
上記制御部は、状態遷移が生じると上記発光部に発光指示し、当該発光部が発光 されてから上記操作部が操作されると状態遷移に関する情報を読み上げるよう制御 することを特徴とする請求項 1に記載の携帯端末装置。
[24] 上記操作部は、複数の入力キーを含み、
上記発光部は、複数設けられるとともに、上記操作部の有する複数の入力キーに それぞれ対応付けられ、
上記制御部は、上記状態遷移が生じると状態遷移の種類に応じて上記発光部の いずれかを発光指示し、当該発光指示された発光部に対応する上記入力キーが操 作されると状態遷移に関する情報を読み上げるよう指示することを特徴とする請求項
23に記載の携帯端末装置。
[25] 開状態 Z閉状態を形成可能である複数の連結された筐体を備え、
上記入力キーおよび上記発光部は、上記筐体の閉状態において露出する位置に 配されることを特徴とする請求項 24に記載の携帯端末装置。
[26] 上記制御部は、上記筐体が閉状態で上記発光部が発光される状態にて、開状態 が形成されると、上記発光の理由となった状態遷移に関する情報を読み上げるよう制 御することを特徴とする請求項 25に記載の携帯端末装置。
[27] 前記発光部は、複数の発光状態を有し、
上記制御部は、上記複数の発光状態の中から、上記状態遷移の種類に対して予 め割り当てられた一の発光状態を持って発光指示することを特徴とする請求項 23に 記載の携帯端末装置。
[28] 上記テキストが複数の項目から構成され、
上記制御部は、上記テキストを項目毎に読み上げるよう制御可能であり、上記複数 の発光状態の中から、上記複数の項目の各項目に対して予め割り当てられた一の発 光状態をもって、発光部を発光させることを特徴とする請求項 27に記載の携帯端末 装置。
[29] 上記テキストが複数の項目から構成され、
上記制御部は、上記テキストを項目毎に読み上げるよう制御可能であり、上記テキ ストの項目の組み合わせに対して、上記複数の発光状態が各々割り当てられた一の 発光状態をもって、発光部を発光させることを特徴とする請求項 27に記載の携帯端 末装置。
[30] 音声による読み上げ機能を有する携帯端末装置における読み上げ制御方法であ つて、
読み上げ項目に応じたテキストを記憶するステップと、
警告音を生成するステップと、
読み上げを行う際に、上記テキストを音声データに変換する音声合成ステップと、 上記音声データまたは上記警告音を出力する音声出力ステップと、
上記音声出力ステップにて上記音声データを出力する際に、上記警告音を出力し て力 音声データを出力する第 1の制御ステップと、上記警告音を出力することなく 上記音声データを出力する第 2の制御ステップと、を備えることを特徴とする読み上 げ制御方法。
読み上げ項目に応じたテキストを記憶する記憶部と、
警告音を生成する警告音発生部と、
読み上げを行う際に、上記記憶部に記憶されたテキストを音声データに変換する音 声合成部と、
上記音声データまたは上記警告音を出力する音声出力部と、を備える携帯端末装 置のコンピューターに、
上記音声出力ステップにて上記音声データを出力する音声合成処理と、 上記警告音を出力して力 音声データを出力する第 1の制御処理と、
上記警告音を出力することなく上記音声データを出力する第 2の制御処理と、 を実行させることを特徴とするコンピュータプログラム。
PCT/JP2005/012005 2004-06-29 2005-06-29 携帯端末装置 WO2006001488A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US11/571,492 US9131062B2 (en) 2004-06-29 2005-06-29 Mobile terminal device
CN2005800288605A CN101010664B (zh) 2004-06-29 2005-06-29 移动终端设备
US14/830,808 US20160049145A1 (en) 2004-06-29 2015-08-20 Mobile terminal device

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2004-192290 2004-06-29
JP2004-192219 2004-06-29
JP2004192219A JP4990482B2 (ja) 2004-06-29 2004-06-29 携帯端末装置
JP2004-191961 2004-06-29
JP2004191961A JP4642391B2 (ja) 2004-06-29 2004-06-29 携帯端末装置
JP2004192290A JP4990483B2 (ja) 2004-06-29 2004-06-29 携帯端末装置

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US11/571,492 A-371-Of-International US9131062B2 (en) 2004-06-29 2005-06-29 Mobile terminal device
US14/830,808 Continuation US20160049145A1 (en) 2004-06-29 2015-08-20 Mobile terminal device

Publications (1)

Publication Number Publication Date
WO2006001488A1 true WO2006001488A1 (ja) 2006-01-05

Family

ID=35781906

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/012005 WO2006001488A1 (ja) 2004-06-29 2005-06-29 携帯端末装置

Country Status (2)

Country Link
US (2) US9131062B2 (ja)
WO (1) WO2006001488A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011146050A (ja) * 2011-02-16 2011-07-28 Kyocera Corp 通信機器及び通信方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2014070B1 (en) * 2006-04-28 2017-06-14 Telecom Italia S.p.A. Method for handling unanswered calls
JP5215837B2 (ja) * 2008-12-24 2013-06-19 株式会社日立国際電気 無線通信装置、及び、無線通信システム
US9253304B2 (en) * 2010-12-07 2016-02-02 International Business Machines Corporation Voice communication management
WO2012105241A1 (ja) * 2011-02-03 2012-08-09 Necカシオモバイルコミュニケーションズ株式会社 遠隔操作システム、中継装置、移動体通信装置、端末内サーバ制御方法及び中継処理方法
CN103778806B (zh) * 2012-10-23 2016-04-13 中国电信股份有限公司 有声阅读的方法、终端和系统
GB201223081D0 (en) * 2012-12-20 2013-02-06 Thunderhead Ltd Accessing content in a rich internet application
JP2014206695A (ja) * 2013-04-15 2014-10-30 株式会社東芝 情報処理装置および制御方法
US9246988B2 (en) 2013-06-17 2016-01-26 Google Inc. Managing data communications based on phone calls between mobile computing devices
KR20150025548A (ko) * 2013-08-29 2015-03-11 삼성전자주식회사 전자 장치의 상태 표시 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
US9390072B2 (en) 2013-11-27 2016-07-12 Xiaomi Inc. Method and device for enlarging displayed font
US9875734B2 (en) 2016-01-05 2018-01-23 Motorola Mobility, Llc Method and apparatus for managing audio readouts

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424714A (ja) * 1990-05-15 1992-01-28 Sanyo Electric Co Ltd 情報処理装置
JPH07152532A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 文章読み上げ装置
JPH07199992A (ja) * 1993-12-28 1995-08-04 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置
JPH09307658A (ja) * 1996-05-13 1997-11-28 Canon Inc 情報処理方法及び装置
WO2001033549A1 (fr) * 1999-11-01 2001-05-10 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de lecture de messages electroniques, et support enregistre de conversion de texte
JP2003030113A (ja) * 2001-07-19 2003-01-31 Sharp Corp 通信端末装置およびプログラム記憶媒体

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US615493A (en) * 1898-12-06 Automatic weighing-machine
JPS5553137A (en) * 1978-10-12 1980-04-18 Matsushita Electric Works Ltd Charger with storage battery state indicating function
US5164652A (en) * 1989-04-21 1992-11-17 Motorola, Inc. Method and apparatus for determining battery type and modifying operating characteristics
KR930001812B1 (ko) * 1990-07-19 1993-03-13 삼성전자주식회사 휴대용 이동체 통신시스템의 밧데리 과방전 및 과전압 보호회로
JP3142062B2 (ja) 1990-11-29 2001-03-07 ローム株式会社 コードレス電話機
DE69327774T2 (de) * 1992-11-18 2000-06-21 Canon Information Syst Inc Prozessor zur Umwandlung von Daten in Sprache und Ablaufsteuerung hierzu
JP3044145B2 (ja) 1993-01-28 2000-05-22 シャープ株式会社 コードレス留守番電話機
WO1995031863A1 (fr) * 1994-05-17 1995-11-23 Sony Corporation Terminal de communication et appareil telephonique portable
JPH0879339A (ja) 1994-08-30 1996-03-22 Funai Electric Co Ltd コードレス電話機の電池残量表示装置
US5570025A (en) * 1994-11-16 1996-10-29 Lauritsen; Dan D. Annunciator and battery supply measurement system for cellular telephones
US5634084A (en) * 1995-01-20 1997-05-27 Centigram Communications Corporation Abbreviation and acronym/initialism expansion procedures for a text to speech reader
JPH1032858A (ja) 1996-07-18 1998-02-03 Sharp Corp 受信装置
JPH1078490A (ja) * 1996-09-02 1998-03-24 Tomohiko Kato 目覚まし機能付き室内照明装置
JPH10200957A (ja) 1997-01-14 1998-07-31 Saitama Nippon Denki Kk デジタル無線電話装置
US5924068A (en) * 1997-02-04 1999-07-13 Matsushita Electric Industrial Co. Ltd. Electronic news reception apparatus that selectively retains sections and searches by keyword or index for text to speech conversion
JP2931276B2 (ja) 1997-09-04 1999-08-09 豊喜 笹倉 機器の使用制限装置
US7123936B1 (en) * 1998-02-18 2006-10-17 Ericsson Inc. Cellular phone with expansion memory for audio and video storage
JPH11237167A (ja) 1998-02-20 1999-08-31 Matsushita Refrig Co Ltd 冷蔵庫の異常診断装置
JPH11252216A (ja) 1998-02-27 1999-09-17 Kyocera Corp 電話機
US6115686A (en) * 1998-04-02 2000-09-05 Industrial Technology Research Institute Hyper text mark up language document to speech converter
US6400809B1 (en) * 1999-01-29 2002-06-04 Ameritech Corporation Method and system for text-to-speech conversion of caller information
JP2000250654A (ja) 1999-02-26 2000-09-14 Hitachi Ltd 無線通信機能付電子計算機
US6522878B1 (en) * 1999-04-07 2003-02-18 Denso Corporation In-band audio signaling
JP3078286B1 (ja) * 1999-11-19 2000-08-21 株式会社東芝 バッテリ残量表示回路とこの回路を備えた移動通信端末装置
GB2357943B (en) * 1999-12-30 2004-12-08 Nokia Mobile Phones Ltd User interface for text to speech conversion
JP2001197159A (ja) * 2000-01-14 2001-07-19 Yamaha Corp 携帯電話機
US6728934B1 (en) * 2000-02-10 2004-04-27 Philip M. Scopes Touch tone voice internet service
JP3448003B2 (ja) 2000-03-09 2003-09-16 株式会社東芝 移動通信端末
JP3830081B2 (ja) 2000-05-23 2006-10-04 株式会社ケンウッド 折り畳み式携帯電話機
JP4380025B2 (ja) 2000-05-30 2009-12-09 パナソニック株式会社 コードレス電話システム
JP2001350692A (ja) 2000-06-06 2001-12-21 Nec Mobiling Ltd 携帯電話及びメール音声読み上げ方法
JP2002055925A (ja) 2000-08-07 2002-02-20 Hitachi Ltd 音声読み上げ装置および情報処理装置
US6760704B1 (en) * 2000-09-29 2004-07-06 Intel Corporation System for generating speech and non-speech audio messages
JP2002185569A (ja) 2000-12-13 2002-06-28 Hitachi Kokusai Electric Inc 携帯端末
WO2002065303A1 (fr) 2001-02-13 2002-08-22 Fujitsu Limited Terminal de reseau a mode d"economie d"energie
JP4135326B2 (ja) 2001-03-01 2008-08-20 日本電気株式会社 折り畳み型携帯電話機における数値情報報知装置及び方法
JP2002271512A (ja) 2001-03-14 2002-09-20 Hitachi Kokusai Electric Inc 携帯電話端末
JP2002281130A (ja) 2001-03-21 2002-09-27 Nec Saitama Ltd 移動体通信機
JP3879006B2 (ja) * 2001-08-08 2007-02-07 富士通株式会社 携帯端末装置
US20030032415A1 (en) * 2001-08-13 2003-02-13 Cho Han S. Voice announced caller identification features and methods therefor
JP2003114687A (ja) 2001-10-03 2003-04-18 Sharp Corp コンテンツ再生配信システム、コンテンツ再生/配信装置、コンテンツ再生/配信方法、コンテンツ再生/配信プログラム及びコンテンツ再生/配信プログラムを記録した記録媒体
KR100424469B1 (ko) * 2001-12-15 2004-03-26 삼성전자주식회사 이동통신단말기에서 음성 알람 장치 및 방법
JP2003208189A (ja) 2002-01-16 2003-07-25 Sony Corp 文字列音声変換装置及び文字列音声変換方法
US7373120B2 (en) * 2002-03-13 2008-05-13 Nokia Corporation Mobile communication terminal
JP2003333522A (ja) * 2002-05-17 2003-11-21 Victor Co Of Japan Ltd データ再生装置及びデータ再生方法
WO2004001578A1 (en) * 2002-06-21 2003-12-31 Nokia Corporation Mobile communication device having music player navigation function and method of operation thereof
JP2004029490A (ja) 2002-06-27 2004-01-29 Nippon Seiki Co Ltd 情報確認装置
KR100532273B1 (ko) * 2002-10-11 2005-11-29 삼성전자주식회사 복합 단말기에서 동작 모드에 따른 배터리 가용 시간 알림방법
JP2004072744A (ja) 2003-07-24 2004-03-04 Hitachi Ltd 映像記録再生装置
US20050174889A1 (en) * 2004-02-06 2005-08-11 Microsoft Corporation Connected clock radio
EP1615465A3 (en) * 2004-07-08 2016-07-27 LG Electronics, Inc. Music play control apparatus with an earphone comprising at least one earphone function key, and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0424714A (ja) * 1990-05-15 1992-01-28 Sanyo Electric Co Ltd 情報処理装置
JPH07152532A (ja) * 1993-11-29 1995-06-16 Toshiba Corp 文章読み上げ装置
JPH07199992A (ja) * 1993-12-28 1995-08-04 Nippon Telegr & Teleph Corp <Ntt> 情報提供装置
JPH09307658A (ja) * 1996-05-13 1997-11-28 Canon Inc 情報処理方法及び装置
WO2001033549A1 (fr) * 1999-11-01 2001-05-10 Matsushita Electric Industrial Co., Ltd. Dispositif et procede de lecture de messages electroniques, et support enregistre de conversion de texte
JP2003030113A (ja) * 2001-07-19 2003-01-31 Sharp Corp 通信端末装置およびプログラム記憶媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011146050A (ja) * 2011-02-16 2011-07-28 Kyocera Corp 通信機器及び通信方法

Also Published As

Publication number Publication date
US20110124362A1 (en) 2011-05-26
US20160049145A1 (en) 2016-02-18
US9131062B2 (en) 2015-09-08

Similar Documents

Publication Publication Date Title
WO2006001488A1 (ja) 携帯端末装置
JP2007129692A (ja) 移動通信端末機の情報管理方法
KR20120068258A (ko) 이동 통신 단말기의 메시지 표시 방법 및 장치
JP5263920B2 (ja) 端末装置、及びプログラム
US9661113B2 (en) Wireless communication system and method for continuously performing data communication while the folder type wireless communication device in the closed state
WO2011019467A1 (en) Methods and devices for adding sound annotation to picture and for highlighting on photos and mobile terminal including the devices
CN101010664B (zh) 移动终端设备
JP2011077909A (ja) 携帯端末及び携帯端末のメール送信支援方法
WO2005045687A1 (ja) 携帯端末装置
JP4990483B2 (ja) 携帯端末装置
US20110053563A1 (en) Portable handsfree device with local voicemail service for use with a mobile terminal
JP5127051B2 (ja) 通信装置、通信装置制御方法、及び通信装置制御プログラム
JP3762610B2 (ja) 電話機
JP2007208636A (ja) 携帯電話端末
JP3524860B2 (ja) 折畳式通信端末装置および発光色選択方法
JPH07131550A (ja) 電子手帳及び電話機
JP4642391B2 (ja) 携帯端末装置
JP3936509B2 (ja) 電話通信システム
JP2003298718A (ja) 無線通信機
JP4064216B2 (ja) 携帯電話端末
JP3996587B2 (ja) 携帯電話機
JP2006128783A (ja) 携帯端末装置とその着信処理方法
JP2003087379A (ja) 携帯電話機
KR20050099353A (ko) 통신 단말기에서 단문메시지를 이용한 연락처 전달 방법및 그를 이용한 통화연결 방법
KR20050029609A (ko) 센서키를 구비한 무선통신 단말기 및 이를 이용한 응답메시지 제공 방법

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

WWE Wipo information: entry into national phase

Ref document number: 200580028860.5

Country of ref document: CN

122 Ep: pct application non-entry in european phase
WWE Wipo information: entry into national phase

Ref document number: 11571492

Country of ref document: US