WO2014106927A1 - 携帯端末装置及び情報処理システム - Google Patents

携帯端末装置及び情報処理システム Download PDF

Info

Publication number
WO2014106927A1
WO2014106927A1 PCT/JP2013/083815 JP2013083815W WO2014106927A1 WO 2014106927 A1 WO2014106927 A1 WO 2014106927A1 JP 2013083815 W JP2013083815 W JP 2013083815W WO 2014106927 A1 WO2014106927 A1 WO 2014106927A1
Authority
WO
WIPO (PCT)
Prior art keywords
lip
recognition
data
unit
lip movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/083815
Other languages
English (en)
French (fr)
Inventor
鈴木　基之
西島　英男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Priority to CN201380064683.0A priority Critical patent/CN104838339B/zh
Priority to US14/651,002 priority patent/US10303433B2/en
Publication of WO2014106927A1 publication Critical patent/WO2014106927A1/ja
Anticipated expiration legal-status Critical
Priority to US16/396,985 priority patent/US11487502B2/en
Priority to US17/969,868 priority patent/US11861264B2/en
Priority to US18/379,239 priority patent/US12282708B2/en
Priority to US19/075,888 priority patent/US20250208829A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/24—Speech recognition using non-acoustical features
    • G10L15/25—Speech recognition using non-acoustical features using position of the lips, movement of the lips or face analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/74—Details of telephonic subscriber devices with voice recognition means

Definitions

  • the present invention relates to a mobile terminal device and an information processing system.
  • An object of the present invention is to provide a portable terminal device and an information processing system that are more user-friendly even in an environment in which it is not preferable to utter a voice or an environment in which noise is high in consideration of the above problems.
  • a storage unit that stores lip movement recognition data
  • an imaging unit that captures an image including at least the lip part of the operator
  • movement data and lip movement of the lip part of the operator obtained from the imaging unit
  • a configuration including a lip movement recognition unit that recognizes an operation to be executed by comparing the recognition data and a control unit that performs an operation that can be executed in accordance with the lip movement recognition unit is used.
  • FIG. 1 is a block diagram showing an example of the internal configuration of a mobile terminal device 100 according to an embodiment of the present invention.
  • the mobile terminal 100 includes a control unit 101, a voice recognition unit 102, a lip movement recognition unit 103, a memory 104, a storage 105, a GPS (Global Positioning System) reception unit 106, a geomagnetic sensor 107, an acceleration sensor 108, a gyro sensor 109, and a base station.
  • Communication unit 110, wireless communication unit 111, microphone 112, audio processing unit 113, speaker 114, audio output unit 115, touch panel 116, operation input unit 117, display unit 118, image processing unit 119, imaging unit 120, input / output I / O F121 are provided, and each is connected to the bus 150.
  • the base station communication unit 110 is a communication interface for performing long-distance wireless communication with the base station 400 such as W-CDMA (Wideband Code Division Multiple Access) and GSM (registered trademark) (Global System for Mobile communications). As a result, it is possible to connect to the external network 600 through the base station 500 and transmit / receive information.
  • W-CDMA Wideband Code Division Multiple Access
  • GSM Global System for Mobile communications
  • the control unit 101 is composed of a CPU (Central Processing Unit) or the like, and controls each component by executing a program stored in the memory 104 to perform various processes.
  • CPU Central Processing Unit
  • the voice recognition unit 102 recognizes the operator's voice taken in from the microphone 112 via the voice processing unit 113 and recognizes the operation instructed by voice. Also, the lip movement recognition unit 103 recognizes an image including the operator's lips captured from the imaging unit 120 via the image processing unit 119 and recognizes an operation instructed by the movement of the operator's lips.
  • the control unit 101 selects whether to perform an operation based on a result recognized from the operator's voice or to execute an operation based on a result recognized from the movement of the operator's lips, and executes an operation based on the selected result. .
  • the memory 104 is a flash memory or the like, and stores programs, data, and the like. Data used for recognition by the voice recognition unit 102 and the lip movement recognition unit 103 is stored in predetermined areas 104 a and 104 b of the memory 104.
  • the mobile terminal 100 includes a storage 105 such as a memory card, and the storage 105 can store e-mail addresses, music, video, photo data, and the like.
  • the program or data stored in the memory 104 or the storage 105 can be updated and added as needed by the base station communication unit 110 performing wireless communication with the base station and downloading from an external server (not shown). It is also possible to connect to an external device 300 such as a personal computer via the input / output I / F 121 to update and add data, programs, and the like.
  • the GPS receiver 106 receives signals from GPS satellites in the sky. Thereby, the current position of the mobile terminal 100 can be detected.
  • the geomagnetic sensor 107 is a sensor that detects the direction in which the mobile terminal 100 is facing.
  • the acceleration sensor 108 is a sensor that detects the acceleration of the mobile terminal 100
  • the gyro sensor 109 is a sensor that detects the angular velocity of the mobile terminal 100. Accordingly, the tilt and movement of the mobile terminal 100 can be detected in detail.
  • the wireless communication unit 111 is a communication interface that performs wireless communication using a wireless LAN such as IEEE802.11a / b / n, and can be connected to the external network 600 via the wireless router 500.
  • a wireless LAN such as IEEE802.11a / b / n
  • the microphone 112 is for inputting external sound, and the speaker 111 is for outputting sound to the outside.
  • the external audio output unit 115 connects the earphone 200 and outputs audio.
  • the input / output sound is processed by the sound processing unit 113.
  • the touch panel 116 includes an operation input unit 117 and a display unit 118.
  • the display unit 118 displays images and images such as an LCD, and has an operation input unit 117 such as a touch pad on its display surface.
  • the operation input unit 117 is, for example, a capacitive touch pad, and detects a contact operation (hereinafter referred to as touch) with a finger or a touch pen as an operation input.
  • the imaging unit 120 is a camera or the like.
  • the video displayed on the display unit 118 and the video input from the imaging unit 120 are processed by the image processing unit 119.
  • the input / output I / F 121 is, for example, a USB (Universal Serial Bus) or the like, and is an interface that transmits / receives data to / from the external device 300.
  • USB Universal Serial Bus
  • FIG. 2 shows an example of a flowchart of processing of the control unit 101 that executes an operation by voice recognition or lip movement recognition in the mobile terminal device 100.
  • FIG. 2 first, it is determined what operation is to be performed from the choices of operations that can be executed according to the state of the mobile terminal device 100 (S201).
  • FIG. 3 shows an example of a table of operations that can be executed corresponding to the state of the mobile terminal device 100. For example, when the home screen is displayed, “music playback”, “mail”, and the like are operation options, and when music is being played, “stop”, “previous skip”, and the like are operation options.
  • branch processing is performed depending on whether or not the target to be operated needs to be selected (S202). For example, when “music playback” is performed as an operation, it is necessary to select a target (song, etc.) on which an operation (music playback, etc.) is performed, such as which music is to be played back.
  • FIG. 4 is a flowchart showing an example of the operation determination process S201.
  • branching process 406 it is determined by the lip detection flag whether or not the lip portion is captured without the lip portion being out of the imaging range and the lip movement data has been successfully acquired. If the lip movement data acquisition is successful (Yes), the lip movement recognition data in the memory area 104b is updated corresponding to the voice recognition result (S407), the manner mode is canceled (S408), and the process is terminated. In the operation after the manner mode is canceled, an operation guide by sound from the speaker 114 (or from the earphone through the external sound output unit 115 when the earphone 200 is connected), an incoming call guidance by sound, and the like are performed.
  • the operation is determined according to the voice recognition result, and when the voice recognition operation determination process fails and the lip movement recognition operation determination process is successful, the lip movement recognition is performed. The operation is determined. If the speech recognition is successful and the lip movement data is successfully acquired, the lip movement recognition data in the memory area 104b is updated.
  • the manner mode can be set / released automatically by voice recognition and lip movement recognition processing.
  • FIG. 5 is a flowchart showing an example of a process S401 for capturing an image including audio and a lip portion.
  • the determination of the start of capturing for example, the determination is made based on whether a predetermined part M of the touch panel 116 of the mobile terminal device 100 illustrated in FIG. 6 is touched.
  • the capturing of the sound and the image of the lip portion is started (S502), and the captured image is displayed on the predetermined part W of the display unit 118 of the mobile terminal device 100. (S503).
  • the lip movement detection unit 103 detects whether or not the lip portion is out of the shooting range from the captured image (S504).
  • branch processing is performed based on the lip detection result, and when the lip portion is not out of the imaging range (Yes) as shown in FIG. 6A, for example, the display of the predetermined part W of the display unit 118 is performed.
  • the frame is blue (S506).
  • the display frame of the predetermined part W of the display unit 118 is set to red (S507).
  • the process returns to S502 to continue capturing audio and video. If it is determined that the predetermined part M has been touched (Yes), the capturing of the sound and the video of the lip is terminated (S509), and the process is terminated.
  • the above processing audio and video of the lips are captured. Further, it is possible to easily determine whether or not the lip portion is out of the shooting range based on the display of the captured image and the color of the display frame, and the operator can correct the shooting position.
  • the color of the display frame is changed as a method for notifying the operator whether or not the image of the lip portion is out of the shooting range, but it may be notified by other display methods.
  • voice analysis is performed to extract a time series pattern (specifically, time series of spectrum and cepstrum) of feature parameters of input voice (S701).
  • the likelihood with the speech recognition data corresponding to the operation option stored in the memory area 104a as an acoustic model based on HMM (Hidden Markov Model) is calculated (S702).
  • the speech recognition flag is set to OK (S704).
  • an operation option that gives the maximum probability is determined as a recognition result (S705), and the process ends.
  • the voice recognition flag is set to NG (S706), and the process is terminated.
  • lip movement is detected from the input video of the lip movement, and lip movement data is acquired (S801).
  • the lip movement data for example, as shown in FIG. 9, a temporal change in the horizontal size X of the lips and the vertical size Y of the lips is detected. If the lip portion is out of the imaging range and the lip portion cannot be detected from the input video and the lip movement data acquisition process S801 fails to acquire the lip movement data, the branch process 802 determines No, The lip detection flag and the lip movement recognition flag are set to NG (S803, S809), and the process ends.
  • the lip movement recognition flag is set to OK (S804).
  • the likelihood of the acquired lip movement data and the lip movement recognition data corresponding to the operation option stored in the memory area 104b is calculated (S805).
  • the lip movement recognition flag is set to OK (S807).
  • the operation option giving the maximum probability is determined as the recognition result (S808), and the process is terminated.
  • the lip movement recognition flag is set to NG (S809), and the process ends.
  • FIG. 10 shows examples of lip movement recognition data Xr (t), Yr (t) and acquired lip movement data Xd (t), Yd (t).
  • FIG. 10A corresponds to the operation option “music playback (ongakusaisei)”
  • FIG. 10 (b) corresponds to “video playback (bidesaisei)”.
  • X indicates the horizontal size of the lips
  • Y indicates the vertical size of the lips.
  • the sizes of the lips of “GA” and “SA” corresponding to the vowel “A” are large in both X and Y.
  • the lip size “X” corresponding to the vowel “I” is relatively large, while Y is small.
  • FIG. 11A shows the lip movement recognition data Yr (t) before update
  • FIG. 11B shows the acquired lip movement data Yd (t)
  • FIG. 11C shows the lip movement recognition data Yr after update. (t) '.
  • the updated lip movement recognition data Yr (t) ′ is defined by the following equation.
  • the updated lip movement recognition data Yr (t) ′ is used as lip movement recognition data Yr (t) in the next lip movement recognition.
  • the updated lip movement recognition data Xr (t) ' is also given by the following equation.
  • FIG. 12 shows an example of a flowchart of the operation target determination process.
  • a sound is captured from the microphone 112 via the sound processing unit 113, and an image including at least the lip portion of the operator is captured from the imaging unit 120 via the image processing unit 119 (S1201).
  • speech recognition category determination processing S1202 and lip movement recognition category determination processing S1203 are performed.
  • the branch process S1204 it is determined by the voice recognition flag whether or not the voice recognition is successful in the voice recognition category determination process S1202. If the speech recognition is successful (Yes), the operation target category is determined based on the result recognized in the speech recognition category determination processing S1202 (S1205).
  • the branching process 1206 it is determined by the lip detection flag whether or not the lip portion has been captured without the lip portion being out of the shooting range and the lip movement data has been successfully acquired.
  • the lip movement recognition data in the memory area 104b is updated corresponding to the voice recognition result (S1207), and the process proceeds to the next process S1210.
  • the lip movement recognition data in the memory area 104b is not updated, and the process proceeds to the next process S1210.
  • the branching process 1208 determines whether the recognition has succeeded in the lip movement recognition category determination process S1203 based on the lip movement recognition flag. If the lip movement recognition is successful (Yes), the operation target category is determined based on the result recognized in the lip movement recognition category determination process S403 (S1209), and the process proceeds to the next process S1210. On the other hand, if it is determined in the branching process S1208 that the lip movement recognition flag has failed due to the lip movement recognition flag (No), the process returns to the process of capturing audio and video again (S1201).
  • the audio and the video including at least the lip of the operator are captured again.
  • a voice recognition operation target determination process S1211 and a lip movement recognition operation target determination process S1212 are performed based on the captured voice and video.
  • the branch process S1213 it is determined by the voice recognition flag whether or not the recognition is successful in the voice recognition operation target determination process S1211.
  • the operation target is determined based on the result recognized in the voice recognition operation target determination process S1211 (S1214).
  • branch processing S1215 it is determined by the lip detection flag whether the lip portion has been captured without the lip portion being out of the photographing range and the lip movement data has been successfully acquired.
  • the lip movement recognition data in the memory area 104b is updated corresponding to the voice recognition result (S1216), and the process is terminated.
  • the lip movement recognition data in the memory area 104b is not updated, and the process ends.
  • FIG. 13 is a flowchart showing an example of the lip movement recognition category determination process.
  • lip movement is detected from the input video of lip movement, and lip movement data is acquired (S1301). If the lip part is out of the imaging range and lip detection cannot be performed, and lip movement data acquisition fails in the lip movement data acquisition process S1301, it is determined No in the branch process 1302, and the lip detection flag and lip movement recognition are determined. The flag is set to NG (S1303, S1309), and the process ends. On the other hand, when the lip movement data is successfully acquired from the lip image input in the lip movement data acquisition process S1301, it is determined Yes in the branch process 1302, and the lip detection flag is set to OK (S1304). Next, the likelihood between the acquired lip movement data and the lip movement recognition data corresponding to the operation option stored in the memory area 104b is calculated (S1305).
  • FIG. 14 shows an example of a category option table corresponding to the operation.
  • Metadata attributes assigned to data such as music and photos correspond to categories.
  • data related to attributes such as song titles, artists, albums, etc. are assigned to each music data as metadata.
  • FIG. 15 is a flowchart showing an example of the voice recognition category determination process.
  • lip movement recognition operation target determination processing and voice recognition operation target determination processing for determining operation targets belonging to the determined category will be described.
  • FIG. 16 is a flowchart showing an example of lip movement recognition operation target determination processing.
  • lip movement is detected from the input video of lip movement, and lip movement data is acquired (S1601).
  • the lip movement data acquisition process S1601 if the lip part is out of the imaging range and the lip cannot be detected and the lip movement data acquisition fails, it is determined No in the branch process S1602, and the lip detection flag and the lip movement recognition are determined. The flag is set to NG (S1603, S1611), and the process ends.
  • the lip detection flag is set to OK (S1604). .
  • the maximum probability ⁇ (maximum likelihood) of the likelihood calculation result is equal to or greater than a predetermined value (here, 0.6 is assumed as an example) (Yes)
  • a predetermined value here, 0.6 is assumed as an example
  • there is a plurality of candidates that is, the maximum A branch process is performed by determining whether there is a plurality of data whose probabilities are equal to or greater than a predetermined value (S1607).
  • the lip movement recognition flag is set to OK (S1608), the operation target that gives the maximum probability is determined as the recognition result (S1609), and the process ends.
  • the operation target selection process S1610 will be described with reference to the flowchart of FIG.
  • FIG. 17 shows lip movement recognition data and acquired lip movement data corresponding to this.
  • the lip movement recognition data Xr (t) and Yr (t) include almost the same part, and the operation target cannot be determined only by the lip movement. Therefore, characters with different lip shapes for selection are added to the song title and displayed (here, “A”, “I”, “U”).
  • an image including at least the lip portion of the operator is captured from the imaging unit 120 via the image processing unit 119 (S1702).
  • lip movement is detected from the input video of lip movement, and lip movement data is acquired (S1703).
  • lip movement data acquisition process S1703 when the lip is out of the photographing range and the lip cannot be detected and the acquisition of the lip movement data fails, it is determined No in the branch process 1704, and the lip detection flag and the lip movement recognition flag are determined. Is set to NG (S1705, S1711), and the process ends.
  • the lip detection flag is set to OK (S1706).
  • the likelihood of the lip movement data corresponding to the input video and the lip movement recognition data corresponding to the characters added for selection is calculated. (S1707).
  • branch processing S1708 when the maximum probability (maximum likelihood) of the likelihood calculation result is equal to or greater than a predetermined value (here, 0.6 is set as an example) (Yes), the lip motion recognition flag is set to OK (S1709). ), The option giving the maximum probability is determined as the operation target (S1710), and the process is terminated.
  • the lip movement recognition flag is set to NG (S1711), and the process ends.
  • the operation target can be determined by adding a character or a character string having a different lip shape.
  • FIG. 20 is a flowchart showing an example of the speech recognition operation target determination process S1211.
  • the recognition flag is set to OK (S2105), The operation option that gives the maximum probability is determined as a recognition result (S2106), and the process ends.
  • the recognition flag is set to NG (S2107), and the process ends.
  • FIG. 22 shows an example of a table of vowel arrangements corresponding to operation options stored in advance in the memory 104b.
  • the vowel line corresponding to “music playback” is “aoi ei”.
  • the likelihood of the vowel arrangement corresponding to this operation option and the vowel arrangement corresponding to the input video is calculated, and the operation option having the highest likelihood is determined as a recognition result.
  • the operation options and the vowel arrangement correspond one-to-one, and the operation options can be determined based on the vowels and the vowels.
  • FIG. 24 shows an example of a lip shape corresponding to a vowel.
  • lip shapes for Japanese vowels “a”, “i”, “u”, “e”, and “o” are shown.
  • the vertical width X and horizontal width Y of the lips are represented in three levels and correspond to each vowel.
  • the vertical width X and the horizontal width Y of the lip shape of the input video can be obtained, and the corresponding vowel can be determined according to the table of FIG.
  • the above vowel recognition method is not limited to the lip movement recognition operation determination process S405, but may be applied to the lip movement recognition category determination process S1104 and the lip movement recognition operation target determination process S1109.
  • FIG. 26 is a flowchart showing another embodiment of processing for capturing video including audio and lip portions.
  • FIG. 29 is a flowchart showing an example of the operation determination process S201 according to the second embodiment, and the same processes as those in the flowchart of FIG. 4 are denoted by the same symbols.
  • FIG. 29 first, sound is acquired from the microphone 112 via the audio processing unit 113, and video including at least the lip portion of the operator is acquired from the imaging unit 120 via the image processing unit 119 (S401).
  • the operator recognition unit 122 recognizes the operator N who is operating based on the voice and / or video captured in the audio / video capturing process S401 and the operator recognition data stored in the memory area 104d ( S420).
  • the operator recognition data for example, voice authentication data or face authentication data registered in advance for logging in to the mobile terminal device 100 can be used.
  • the speech recognition unit 102 performs speech recognition operation determination processing S402, and the lip motion recognition unit 103 performs lip motion recognition operation determination processing S403.
  • branch process S404 it is determined from the voice recognition flag whether or not the voice recognition is successful in the voice recognition operation determination process S402. If the speech recognition is successful (Yes), it is determined what operation to perform based on the result recognized in the speech recognition operation determination processing S402 (S405). Next, in branching process 406, it is determined by the lip detection flag whether or not the lip portion is captured without the lip portion being out of the imaging range and the lip movement data has been successfully acquired. If the lip movement data acquisition is successful (Yes), the lip movement recognition data corresponding to the operator N in the memory area 104b is updated corresponding to the voice recognition result (S421), and the manner mode is canceled (S408). To finish the process.
  • lip movement recognition data corresponding to the operator is updated for each operator, and lip movement recognition data corresponding to individual differences in lip movement can be obtained. Therefore, in the lip movement recognition operation determination processing S403, lip movement recognition is performed using the lip movement recognition data updated corresponding to the operator, so that lip movement recognition can be performed even when a plurality of people use the mobile terminal device. Accuracy can be improved. Further, not only the operation determination process S201 but also the lip movement recognition data update process corresponding to the operator may be applied to the operation target determination process S203.
  • FIG. 30 is a block diagram showing a configuration example of the third embodiment of the mobile terminal device 100.
  • FIG. 31 is a block diagram illustrating a schematic configuration of a voice / lip motion recognition information processing system including the mobile terminal device 100 and the voice / lip motion recognition server 700 according to the present embodiment.
  • the voice recognition unit 102, the lip movement recognition unit 103, and the voice recognition data area and the lip movement recognition data area of the memory 104 are not provided in the configuration example of FIG.
  • the voice / lip motion recognition server 700 is provided with a part to be operated.
  • the voice / lip movement recognition server 700 includes a control unit 701, a voice recognition unit 702, a lip movement recognition unit 703, a memory 704, a storage 705, and a communication unit 706, which are mutually connected to a bus 710. .
  • the communication unit 706 is an interface for connecting to the external network 600, and is connected to the mobile terminal device 100 via the base station 400 or the wireless router 500.
  • the control unit 701 is configured by a CPU or the like, and controls each component by executing a program stored in the memory 704 to perform various processes.
  • the voice recognition unit 702 recognizes the voice data of the operator of the mobile terminal device 100 obtained through the communication unit 706 and converts it into a character string corresponding to the voice data. Also, the lip movement recognition unit 703 recognizes the movement of the lips from the video data of the operator of the portable terminal device 100 obtained via the communication unit 706 and converts it into a character string corresponding to the video data.
  • the control unit 701 transmits the result recognized from the operator's voice or the result recognized from the movement of the operator's lips to the mobile terminal device 100 via the communication unit 706.
  • the memory 704 is a flash memory or the like, and stores programs, data, and the like.
  • the storage 705 is an SSD (Solid State Device) or a hard disk, and data used for recognition by the voice recognition unit 702 and the lip movement recognition unit 703 is stored in predetermined areas 705 a and 705 b of the storage 705.
  • the captured audio and video data is transmitted to the audio / lip motion recognition server 700 via the base station communication unit 110 or the wireless communication unit 111 (S3203).
  • the voice / lip movement recognition server 700 performs voice and lip movement recognition processing S3204 based on the received voice and video data, and transmits the recognition result to the mobile terminal device 100 via the communication unit 706 (S3205).
  • branch processing is performed based on the speech recognition flag and lip motion recognition flag of the recognition result sent from the speech / lip motion recognition server 700, and if speech recognition and lip motion recognition fails (No), the speech / video The process returns to the capturing process S3201.
  • the operation determination process S3207 is performed, and the method is determined based on the likelihood of the option data related to the operation shown in FIG. 3 stored in the memory 104c and the recognition result. If there is an operation option corresponding to the recognition result, the decision success / failure flag is set to OK. In the branch process 3408, a branch process is performed based on the decision success / failure flag, and if there is no operation option corresponding to the recognition result (No), the process returns to the audio / video capturing process S3201. If there is an operation option corresponding to the recognition result (Yes), branch processing is performed based on the voice recognition flag in branch processing S3209. When the speech recognition is successful (Yes), the manner mode is canceled (S3210), and when the speech recognition is unsuccessful (No), the manner mode is set (S3211).
  • branch processing is performed depending on whether or not the target to be operated is selected (S3212). For example, when “music playback” is performed as an operation, it is necessary to select a target (song, etc.) on which an operation (music playback, etc.) is performed, such as which music is to be played back. In addition, when “stop” is performed as an operation during music playback, it is not necessary to select a target to be operated (such as stop). If there is no selection of an operation target (No), the determined operation is executed (S3228). When it is determined that there is an operation option in the branch process S3212 (Yes), an audio / video capturing process S3213 is performed, and the captured audio and video data is transmitted to the audio / lip motion recognition server 700 (S3214).
  • the voice / lip movement recognition server 700 performs voice and lip movement recognition processing S3215 based on the received voice and video data, and transmits the recognition result to the mobile terminal device 100 (S3216).
  • branch processing is performed based on the speech recognition flag and lip motion recognition flag of the recognition result sent from the speech / lip motion recognition server 700, and if speech recognition and lip motion recognition fails (No), the speech / video The process returns to the capturing process S3213.
  • the operation category determination process S3218 is performed, and the likelihood of the category option data corresponding to the operation shown in FIG.
  • the operation target category is determined based on the determination result, and if there is a category option corresponding to the recognition result, the determination success / failure flag is set to OK.
  • a branch process is performed based on the decision success / failure flag. If there is no category option corresponding to the recognition result (No), the process returns to the audio / video capturing process S3213. If there is a category option corresponding to the recognition result (Yes), an audio / video capturing process S3220 is performed, and the captured audio and video data is transmitted to the audio / lip movement recognition server 700 (S3221).
  • the voice / lip movement recognition server 700 performs voice and lip movement recognition processing S3222 based on the received voice and video data, and transmits the recognition result to the mobile terminal device 100 (S3223).
  • branch processing is performed based on the speech recognition flag and lip motion recognition flag of the recognition result sent from the speech / lip motion recognition server 700, and when speech recognition and lip motion recognition fails (No), the speech / video The process returns to the capturing process S3220.
  • an operation target determination process S3225 is performed. History data for each operator is stored in the memory 104e of the portable terminal 100, and a history of words or the like to be searched when searching the Internet by voice recognition is stored.
  • Metadata relating to attributes such as title, artist, shooting date, and the like is added to data such as music and photos stored in the storage 105 of the mobile terminal device 100.
  • Description of history data stored in the memory 104e and attribute portion of the category determined in the operation category determination processing S3218 (for example, when a song name is selected as a category, it corresponds to a song title recorded as metadata of each music data)
  • the operation target is determined based on the likelihood of the recognition result and the recognition result, and if there is an operation target corresponding to the recognition result, the decision success / failure flag is set to OK.
  • a branch process is performed based on the decision success / failure flag.
  • the process returns to the audio / video capturing process S3220.
  • the determined operation target is added / updated to the history data corresponding to the operator N stored in the memory 104e (S3227), and the determined operation target is set. The operation is executed on the device (S3228).
  • FIG. 33 shows an example of a flowchart of voice / lip movement recognition processing S3204, S3215, and S3222.
  • the voice recognition unit 702 performs voice recognition processing S3301, and the lip movement recognition unit 703 performs lip movement recognition.
  • Regular processing S3302 is performed.
  • the branch process S3303 it is determined from the voice recognition flag whether or not the voice recognition is successful in the voice recognition process S3301. If the speech recognition fails (No), the process ends.
  • the video is captured without the lip portion being out of the shooting range, and it is determined by the lip detection flag whether the lip movement data has been successfully acquired. If acquisition of lip movement data is successful (Yes), branch processing is performed depending on the presence or absence of lip recognition data corresponding to a character string obtained by speech recognition. When there is lip recognition data corresponding to the character string obtained by voice recognition (Yes), the lip recognition data in the storage area 705b corresponding to the character string is updated (S3306), and there is no lip recognition data (No). , Lip recognition data corresponding to the character string obtained by voice recognition is added to the storage area 705b (S3307), and the process is terminated. On the other hand, if it is determined in the branching process S3304 that acquisition of lip movement data has failed (No), the lip movement recognition data is not updated and the process ends.
  • the lip movement recognition data corresponding to the voice recognition result is updated and added.
  • FIG. 34 shows an example of a flowchart of the speech recognition process S3301.
  • voice analysis is first performed to extract a time series pattern of feature parameters of the input voice (S3401).
  • the likelihood with the speech recognition data stored in the predetermined area 705a of the storage as an acoustic model by the HMM is calculated (S3402).
  • the speech recognition flag is set to OK (S3404).
  • the processing ends with the speech recognition data giving the maximum probability as the recognition result.
  • the speech recognition flag is set to NG (S3405), and the processing is terminated.
  • the movement of the lips is detected from the input video, and the lip movement data is acquired (S3501). If the lip part is out of the imaging range and the lip part cannot be detected from the input video, and the lip movement data acquisition process S3501 fails to acquire the lip movement data, the branch process 3702 determines No, The lip detection flag and the lip movement recognition flag are set to NG (S3503, S3508), and the process ends. On the other hand, if the lip movement data is successfully acquired from the input video, it is determined Yes in the branch processing S3502, and the lip detection flag is set to OK (S3504). Next, the likelihood between the acquired lip movement data and the lip movement recognition data stored in the predetermined area 705b of the storage is calculated (S3505).
  • the voice / lip movement recognition server 700 performs voice recognition and lip recognition, so that the lip movement recognition data is updated based on the voice and lip movement data of many operators. It is possible to further improve the accuracy. Also, by providing history data for each operator, adding words and phrases newly used in voice recognition as history data, and using the history data in lip movement recognition, the frequency of use for each operator of the mobile terminal device It is possible to recognize words with high lip movement.
  • voice recognition data, lip movement recognition data, and option data are stored in the memory 104, but may be stored in the storage 105.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Further, it is possible to add, delete, and replace other configurations for a part of the configuration of each embodiment.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor. Information such as programs, tables, and files for realizing each function can be placed in the memory 104 or the storage 105.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

口唇動き認識データを記憶する記憶部と、操作者の少なくとも口唇部分を含む映像を撮影する撮像部と、撮像部から得られた操作者の口唇部分の動きデータと口唇動き認識データを比較することにより実行する操作を認識する口唇動き認識部と、口唇動き認識部に従って実行可能な操作を行う制御部とを備える。

Description

携帯端末装置及び情報処理システム
　本発明は、携帯端末装置及び情報処理システムに関する。
　近年、携帯電話、カーナビゲーションシステム、家庭内ＡＶ機器等の端末において、キーボードやマウス等の操作手段を用いずに、音声を認識することにより容易に操作可能なユーザインタフェースが注目されている。
特開２００７－４１０８９公報
　しかし、これらの音声認識により操作を行う端末では、図書館のように声を発するのが好ましくない環境や騒音が大きい環境では操作できないという問題が生じる。
　本発明の目的は、前記課題を考慮し、声を発するのが好ましくない環境や騒音が大きい環境においても、より使い勝手の良い携帯端末装置及び情報処理システムを提供することにある。
　前記課題を解決するための手段として、例えば特許請求の範囲に記載の構成を採用すればよい。一例を挙げるならば、口唇動き認識データを記憶する記憶部と、操作者の少なくとも口唇部分を含む映像を撮影する撮像部と、撮像部から得られた操作者の口唇部分の動きデータと口唇動き認識データを比較することにより実行する操作を認識する口唇動き認識部と、口唇の動き認識部に従って実行可能な操作を行う制御部とを備える構成を用いる。
　本発明の技術を用いることにより、声を発するのが好ましくない環境や騒音が大きい環境においても、より使い勝手の良い携帯端末装置及び情報処理システムを提供することが可能となる。
本発明の実施例に係る携帯端末装置の構成例を示すブロック図である。 音声認識或いは口唇動き認識により携帯端末の操作を行う処理のフローチャートの例である。 携帯端末の状態に対応した操作選択肢テーブルの例を示す図である。 操作決定処理を説明するフローチャートの例である。 操作者の音声及び映像を取り込む処理を説明するフローチャートの例である。 操作者の音声及び映像を取り込む処理における携帯端末の表示例を示す図である。 音声認識操作決定処理を説明するフローチャートの例である。 口唇動き認識操作決定処理を説明するフローチャートの例である。 口唇の大きさの定義の例を示す図である。 口唇動き認識操作決定処理における口唇動き認識データと取得口唇動きデータの例を示す図である。 口唇動き認識データ更新処理の例を説明する図である。 操作対象決定処理を説明するフローチャートの例である。 口唇動き認識カテゴリ決定処理を説明するフローチャートの例である。 操作に対応したカテゴリ選択肢テーブルの例を示す図である。 音声認識カテゴリ決定処理を説明するフローチャートの例である。 口唇動き認識操作対象決定処理を説明するフローチャートの例である。 口唇動き認識による操作対象選択処理を説明するフローチャートの例である。 操作対象選択処理における携帯端末の表示例を示す図である。 口唇動き認識操作対象決定処理における口唇動き認識データと口唇動き取得データの例を示す図である。 音声認識操作対象決定処理を説明するフローチャートの例である。 口唇動き認識操作決定処理を説明するフローチャートの第２の例である。 操作選択肢に対応する母音並びのテーブルの例である。 音節母音並び変換処理を説明するフローチャートの例である。 母音に対応した口唇形状の一例を示す図である。 母音に対応した口唇の大きさのテーブルの例を示す図である。 音声及び映像を取り込む処理を説明するフローチャートの第２の例である。 音声及び映像を取り込む処理における表示例を示す図である。 本発明の第２の実施例に係る携帯端末装置の構成例を示すブロック図である。 本発明の実施例２に係る操作決定処理を説明するフローチャートの例である。 本発明の第３の実施例に係る携帯端末装置の構成例を示すブロック図である。 本発明の第３の実施例に係る携帯端末装置と音声・口唇動き認識サーバーからなる情報処理システムの概略構成を示すブロック図である。 本発明の情報処理システムの処理の一例を示すフローチャートである。 本発明の情報処理システムの処理の一例を示すフローチャートである。 音声・口唇動き認識サーバーにおける音声・口唇動き認識処理の一例を示すフローチャートである。 音声・口唇動き認識サーバーにおける音声認識処理の一例を示すフローチャートである。 音声・口唇動き認識サーバーにおける口唇動き認識処理の一例を示すフローチャートである。
　以下、本発明の実施形態の例を、図面を用いて説明する。
　図１は、本発明の一実施例による携帯端末装置１００の内部構成例を示すブロック図である。
　ここでは、スマートフォンの場合を例にして説明する。携帯端末１００は、制御部１０１、音声認識部１０２、口唇動き認識部１０３、メモリ１０４、ストレージ１０５、ＧＰＳ（Global Positioning System）受信部１０６、地磁気センサ１０７、加速度センサ１０８、ジャイロセンサ１０９、基地局通信部１１０、無線通信部１１１、マイク１１２、音声処理部１１３、スピーカ１１４、音声出力部１１５、タッチパネル１１６、操作入力部１１７、表示部１１８、画像処理部１１９、撮像部１２０、入出力Ｉ／Ｆ１２１を備え、それぞれはバス１５０に相互に接続されている。
　基地局通信部１１０は、Ｗ－ＣＤＭＡ（Wideband Code Division Multiple Access）やＧＳＭ（登録商標）（Global System for Mobile communications）などの基地局４００と遠距離の無線通信を行う通信インターフェースである。これにより基地局５００を通して外部ネットワーク６００に接続し、情報の送受信を行うこともできる。
　制御部１０１はＣＰＵ（Central　Processing　Unit）等で構成されは、メモリ１０４に記憶したプログラムを実行することによって、各構成部を制御し、各種の処理を行っている。
　音声認識部１０２はマイク１１２から音声処理部１１３を介して取り込んだ操作者の音声を認識し、音声で指示した操作を認識するものである。また、口唇動き認識部１０３は撮像部１２０から画像処理部１１９を介して取り込んだ操作者の口唇を含む映像を認識し、操作者の口唇の動きで指示した操作を認識するものである。
　制御部１０１は、操作者の音声から認識した結果により操作を実行するか、操作者の口唇の動きから認識した結果により操作を実行するかを選択し、選択した結果に基づいて操作を実行する。
　メモリ１０４は、フラッシュメモリなどであり、プログラム、データなどを記憶している。上記した音声認識部１０２や口唇動き認識部１０３で認識のために使用するデータはメモリ１０４の所定の領域１０４ａ，１０４ｂに保存されている。
　さらに携帯端末１００はメモリカードなどのストレージ１０５を備えており、ストレージ１０５にもメールアドレスや音楽、ビデオ、写真のデータなどを保存することができる。
　メモリ１０４或いはストレージ１０５に記憶されるプログラム或いはデータは、基地局通信部１１０が基地局と無線通信を行い、図示しない外部サーバーなどからダウンロードすることにより、随時更新・追加することが可能である。また、入出力Ｉ／Ｆ１２１を介してパソコン等の外部機器３００と接続し、データやプログラム等を更新、追加することも可能である。
　ＧＰＳ受信部１０６は、上空にあるＧＰＳ衛星からの信号を受信するものである。これにより、携帯端末１００の現在位置を検出することができる。
　地磁気センサ１０７は携帯端末１００の向いている方向を検出するセンサである。
　加速度センサ１０８は携帯端末１００の加速度を検出するセンサ、ジャイロセンサ１０９は、携帯端末１００の角速度を検出するセンサである。これらにより、携帯端末１００の傾き、動きを詳細に検出することができる。
　無線通信部１１１は、IEEE802.11a/b/nなどの無線ＬＡＮによる無線通信を行う通信インターフェースであり、無線ルータ５００を介して外部ネットワーク６００に接続することができる。
　マイク１１２は、外部の音声を入力するものであり、スピーカ１１１は、外部に対して音声を出力するものである。外部音声出力部１１５はイヤフォン２００を接続して音声を出力するものである。入出力される音声は、音声処理部１１３にて音声処理される。
　タッチパネル１１６は、操作入力部１１７、表示部１１８からなる。表示部１１８はＬＣＤなど映像や画像を表示するものであり、その表示面にはタッチパッドのような操作入力部１１７を有する。
　操作入力部１１７は、例えば静電容量式などのタッチパッドであり、指やタッチペンなどによる接触操作（以降、タッチという）を操作入力として検出するものである。
　撮像部１２０は、カメラなどである。表示部１１８に表示される映像や、撮像部１２０から入力された映像は、画像処理部１１９にて処理される。
　入出力Ｉ／Ｆ１２１は、例えばＵＳＢ（Universal Serial Bus）などであり、外部機器３００とデータの送受信を行うインターフェースである。
　次に携帯端末装置１００において、音声認識或いは口唇動き認識により操作を実行する制御部１０１の処理のフローチャートの例を図２に示す。
　図２において、まず携帯端末装置１００の状態により実行可能な操作の選択肢から、どのような操作を行うかを決定する（Ｓ２０１）。図３に携帯端末装置１００の状態に対応した実行可能な操作のテーブルの例を示す。例えば、ホーム画面が表示されている状態では「音楽再生」や「メール」等が操作選択肢となり、音楽を再生している状態では「停止」や「前スキップ」等が操作選択肢となる。次に、操作を行う対象を選択する必要の有無により分岐処理を行う（Ｓ２０２）。例えば、操作として「音楽再生」を行う場合、どの曲を再生するのかというように操作（音楽再生など）を行う対象（曲など）の選択が必要となる。また、音楽再生中の操作として「停止」を行う場合、操作（停止など）を行う対象の選択は必要ない。操作対象の選択がある場合（Ｙｅs）には，操作対象を決定する処理Ｓ２０３を行い、選択した操作対象（例えば曲）に対して、操作（例えば音楽再生）を実行する（Ｓ２０４）。分岐処理Ｓ２０２で操作対象の選択がない場合（Ｎｏ）には操作（例えば停止）を実行する。図３に示した携帯端末装置の状態に応じた操作選択肢のテーブルデータはメモリ領域１０４ｃに記憶されている。　図４は操作決定処理Ｓ２０1の一例を示すフローチャートである。
　図４において、まずマイク１１２から音声処理部１１３を介して音声を、撮像部１２０から画像処理部１１９を介して操作者の少なくとも口唇部分を含む映像を取り込む（Ｓ４０１）。次に、音声認識部１０２で音声認識操作決定処理Ｓ４０２を行い、口唇動き認識部１０３で口唇動き認識操作決定処理Ｓ４０３を行う。分岐処理Ｓ４０４では音声認識操作決定処理Ｓ４０２で音声認識に成功したかどうかを音声認識フラグにより判断する。音声認識に成功した場合（Ｙｅs）には音声認識操作決定処理Ｓ４０２で認識した結果に基づいてどのような操作を行うかを決定する（Ｓ４０５）。次に分岐処理４０６で口唇部分が撮影範囲から外れることなく映像の取り込みが行われ、口唇動きデータの取得に成功したかを口唇検出フラグにより判断する。口唇動きデータの取得に成功した場合（Ｙｅｓ）には音声認識結果に対応してメモリ領域１０４ｂの口唇動き認識データを更新し（Ｓ４０７）、マナーモードを解除（Ｓ４０８）して処理を終了する。マナーモード解除以降の操作においては、スピーカ１１４から（或いはイヤフォン２００が接続されている場合には外部音声出力部１１５を介して、イヤフォンから）の音声による操作ガイド、音による着信案内等を行う。一方、分岐処理Ｓ４０６で口唇検出フラグにより口唇動きデータの取得に失敗したと判断した場合（Ｎｏ）にはメモリ領域１０４ｂの口唇動き認識データを更新せず、マナーモードを解除（Ｓ４０８）して処理を終了する。
　分岐処理Ｓ４０４で音声認識フラグにより音声認識に失敗したと判断した場合（Ｎｏ）には分岐処理４０９で口唇動き認識フラグにより口唇動き認識操作決定処理Ｓ４０３で認識に成功したかどうかを判断する。口唇動き認識に成功した場合（Ｙｅｓ）には口唇動き認識操作決定処理Ｓ４０３で認識した結果に基づいてどのような操作を行うかを決定（Ｓ４１０）し、マナーモードを設定（Ｓ４１１）して処理を終了する。マナーモードにおいてはスピーカ１１４からの出力をオフとし、音声無しの画面表示での操作ガイド或いは着信案内等を行う。一方、分岐処理Ｓ４０９で口唇動き認識フラグにより口唇動き認識が失敗したと判断した場合（Ｎｏ）には再度音声および映像を取り込む処理（Ｓ４０１）に戻る。
　以上の処理により、音声認識操作決定処理に成功した場合には音声認識結果に従って操作が決定され、音声認識操作決定処理に失敗して口唇動き認識操作決定処理に成功した場合には口唇動き認識に従って操作が決定される。また、音声認識に成功し、口唇動きデータの取得に成功した場合にはメモリ領域１０４ｂの口唇動き認識データの更新が行われる。
　以上の説明のように、雑踏等で騒音が大きい環境や図書館等で声を出すのがふさわしくない環境で音声認識操作決定処理が行えない場合にも、口唇動き認識操作決定処理を行うことでどのような操作を行うかを決定することができる。また、マナーモードの設定・解除が音声認識及び口唇動き認識の処理によって自動的に行うことが可能となる。
　図５は音声及び口唇部分を含む映像を取り込む処理Ｓ４０１の一例を示すフローチャートである。
　図５において、まず音声及び映像の取り込み開始を判断する（Ｓ５０１）。取り込み開始の判断としては、例えば図６に示す携帯端末装置１００のタッチパネル１１６の所定の部位Ｍがタッチされたかにより判断を行う。所定の部位Ｍがタッチされた（Ｙｅｓ）と判断すると、音声及び口唇部分の映像の取り込み（Ｓ５０２）を開始するとともに、取り込んだ映像を携帯端末装置１００の表示部１１８の所定の部位Ｗに表示する（Ｓ５０３）。口唇動き検出部１０３により、取り込んだ映像により口唇部分が撮影範囲から外れていないかを検出する（Ｓ５０４）。分岐処理Ｓ５０５では口唇検出結果により分岐処理を行い、図６（ａ）のように、口唇部分が撮影範囲から外れていない（Ｙｅs）の場合には、例えば表示部１１８の所定の部位Ｗの表示枠を青色とする（Ｓ５０６）。図６（ｂ）のように口唇部分が撮影範囲から外れている（Ｎｏ）と判断した場合には、例えば表示部１１８の所定の部位Ｗの表示枠を赤色とする（Ｓ５０７）。分岐処理Ｓ５０８では音声及び映像の取り込み終了を判断する。取り込み終了の判断としては、携帯端末装置１００のタッチパネル１１６の所定の部位Ｍが再度タッチされたかにより判断を行う。所定の部位Ｍがタッチされていない（Ｎｏ）と判断した場合にはＳ５０２に戻り、音声及び映像の取り込みを続ける。所定の部位Ｍがタッチされた（Ｙｅｓ）と判断すると、音声及び口唇部分の映像の取り込みを終了し（Ｓ５０９）、処理を終了する。
　以上の処理により、音声及び口唇部分の映像の取り込みが行われる。また、取り込んだ映像の表示及び表示枠の色により口唇部分が撮影範囲から外れたかどうかを容易に判断することができ、操作者が撮影位置を修正することができる。なお、ここでは口唇部分の映像が撮影範囲から外れたかどうかを操作者に知らせる方法として表示枠の色を変えるようにしたが、他の表示方法により知らせるようにしてもよい。
　次に，音声認識部１０２における音声認識操作決定処理Ｓ４０２のフローチャートの一例を図７に示す。
　図７において、まず音声分析を行い、入力音声の特徴パラメータの時系列パターン（具体的には，スペクトルやケプストラムの時系列）を抽出する（Ｓ７０１）。次にＨＭＭ（Hidden Markov　Model）による音響モデルとしてメモリ領域１０４ａに記憶された操作選択肢に対応する音声認識データとの尤度を計算する（Ｓ７０２）。分岐処理Ｓ７０３では、尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には音声認識フラグをＯＫとし（Ｓ７０４）、最大確率を与える操作選択肢を認識結果として決定し（Ｓ７０５）、処理を終了する。一方、分岐処理Ｓ７０３でＮｏと判断した場合には、騒音等により音声認識が失敗したと判断し、音声認識フラグをＮＧとして（Ｓ７０６）、処理を終了する。
　次に、口唇動き認識部１０３における口唇動き認識操作決定処理Ｓ４０３について、図８の例を用いて説明する。
　図８のフローチャートにおいて、まず入力された口唇の動きの映像から、口唇の動きを検出し、口唇動きデータを取得する（Ｓ８０１）。口唇の動きのデータとしては、例えば図９に示すように口唇の横の大きさXと口唇の縦の大きさYの時間的な変化を検出する。口唇部分が撮影範囲から外れていて入力された映像から口唇部分の検出ができず、口唇動きデータ取得処理Ｓ８０１において口唇動きデータの取得に失敗した場合には、分岐処理８０２においてＮｏと判断し、口唇検出フラグ及び口唇動き認識フラグをＮＧに設定（Ｓ８０３、Ｓ８０９）し、処理を終了する。一方、入力された映像から口唇動きデータの取得に成功した場合には、分岐処理Ｓ８０２においてＹｅｓと判断し、口唇検出フラグをＯＫに設定（Ｓ８０４）する。次に、この取得した口唇動きデータとメモリ領域１０４ｂに記憶されている操作選択肢に対応する口唇動き認識データとの尤度を計算する（Ｓ８０５）。分岐処理Ｓ８０６では尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には、口唇動き認識フラグをＯＫとし（Ｓ８０７）、最大確率を与える操作選択肢を認識結果として決定し（Ｓ８０８）、処理を終了する。一方、分岐処理Ｓ８０６でＮｏと判断した場合には口唇動き認識フラグをＮＧとし（Ｓ８０９）、処理を終了する。
　図１０に口唇動き認識データXr(t)、Yr(t)と取得した口唇動きデータXd(t)、Yd(t)の例を示す。図１０（ａ）は操作選択肢「音楽再生（おんがくさいせい）」に対応し、図１０（ｂ）は「ビデオ再生（びでおさいせい）」に対応する。Xは口唇の横の大きさ、Yは口唇の縦の大きさを示している。例えば母音「あ」に対応する「が」「さ」の口唇の大きさはX、Yともに大きくなっている。一方、母音「い」に対応する「い」「び」の口唇の大きさXは比較的大きいのに対して、Yは小さくなっている。このように、口唇の動きとして取得した口唇動きデータXd(t)、Yd(t)とメモリ１０４に記憶された操作選択肢に対応する口唇動き認識データXr(t)、Yr(t)から口唇の大きさX，Yの時間的変化が最も近い選択肢を認識結果として決定することができる。
　口唇動き認識データ更新処理Ｓ４０７の一例を、図１１を用いて説明する。
　図１１（ａ）は更新前の口唇動き認識データYr(t)を、図１１(ｂ)は取得した口唇動きデータYd(t)を、図１１(ｃ)は更新後の口唇動き認識データYr(t)‘を示している。ここで、更新後の口唇動き認識データYr(t)‘を以下の式で定義する。
　(数１)　Yr(t)‘=Yr(t)＋α・(Yd(t)-Yr(t))
更新後の口唇動き認識データYr(t)‘は次の口唇動き認識における口唇動き認識データYr(t)として用いられる。　
　ここで、αは口唇動き認識データが取得した口唇動きデータに収束する速さを決定する係数であり、例えば、α＝１とすると、
　(数２)　Yr(t)‘=Yd(t)
となり、取得した口唇動きデータYd(t)が次の口唇動き認識における口唇動き認識データとなる。α＝０．５とすると、
　(数３)　Yr(t)‘=0.5・(Yd(t)＋Yr(t))
となり、取得した口唇動きデータYd(t)と更新前の口唇動き認識データYr(t)の平均が次の口唇動き認識における口唇動き認識データとなる。αの範囲は、
　(数４)　０＜α＜１
が選ばれる。αが大きいほど口唇動き認識データが取得した口唇動きデータに早く収束する。図１１(ｃ)はα＝０．５の場合を示している。
　更新後の口唇動き認識データXr(t)‘も同様に次式で与えられる。
　(数５)　Xr(t)‘=Xr(t)＋α・(Xd(t)-Xr(t))
　以上の処理により、更新後の口唇動き認識データXr(t)’、Yr(t)’は更新前よりも実際に取得した口唇動きに近いデータに更新され、次の口唇動き認識において口唇動き認識データXr(t)、Yr(t)として用いられる。これを繰り返すことで、より操作者の口唇動きに合わせた口唇動き認識データXr(t)、Yr(t)を得ることができ、口唇動き認識の精度を向上することができる。
　以上の音声認識操作決定処理、或いは口唇動き認識操作決定処理によりどのような操作を行うかを決定することができる。
　次に操作を行う対象を決定する処理（Ｓ２０３）について説明する。
　図１２に操作対象決定処理のフローチャートの例を示す。
　図１２において、まずマイク１１２から音声処理部１１３を介して音声を、撮像部１２０から画像処理部１１９を介して操作者の少なくとも口唇部分を含む映像を取り込む（Ｓ１２０１）。次に、音声認識カテゴリ決定処理Ｓ１２０２、口唇動き認識カテゴリ決定処理Ｓ１２０３を行う。分岐処理Ｓ１２０４では音声認識カテゴリ決定処理Ｓ１２０２で音声認識に成功したかどうかを音声認識フラグにより判断する。音声認識に成功した場合（Ｙｅs）には音声認識カテゴリ決定処理Ｓ１２０２で認識した結果に基づいて操作対象のカテゴリを決定する（Ｓ１２０５）。次に分岐処理１２０６で口唇部分が撮影範囲から外れることなく映像の取り込みが行われ、口唇動きデータの取得に成功したかを口唇検出フラグにより判断する。口唇動きデータの取得に成功した場合（Ｙｅｓ）には音声認識結果に対応してメモリ領域１０４ｂの口唇動き認識データを更新（Ｓ１２０７）し、次の処理Ｓ１２１０に進む。一方、分岐処理Ｓ１２０６で口唇検出フラグにより口唇動きデータの取得に失敗したと判断した場合（Ｎｏ）にはメモリ領域１０４ｂの口唇動き認識データを更新せず、次の処理Ｓ１２１０に進む。
　分岐処理Ｓ１２０４で音声認識フラグにより音声認識に失敗したと判断した場合（Ｎｏ）には分岐処理１２０８で口唇動き認識フラグにより口唇動き認識カテゴリ決定処理Ｓ１２０３で認識に成功したかどうかを判断する。口唇動き認識に成功した場合（Ｙｅｓ）には口唇動き認識カテゴリ決定処理Ｓ４０３で認識した結果に基づいて操作対象のカテゴリを決定し（Ｓ１２０９）、次の処理Ｓ１２１０に進む。一方、分岐処理Ｓ１２０８で口唇動き認識フラグにより口唇動き認識に失敗したと判断した場合（Ｎｏ）には再度音声および映像を取り込む処理（Ｓ１２０１）に戻る。
　Ｓ１２１０では再度音声及び操作者の少なくとも口唇部分を含む映像を取り込む。取り込んだ音声及び映像をもとに音声認識操作対象決定処理Ｓ１２１１、口唇動き認識操作対象決定処理Ｓ１２１２を行う。分岐処理Ｓ１２１３では音声認識操作対象決定処理Ｓ１２１１で認識に成功したかどうかを音声認識フラグにより判断する。音声認識に成功した場合（Ｙｅs）には音声認識操作対象決定処理Ｓ１２１１で認識した結果に基づいて操作対象を決定する（Ｓ１２１４）。次に分岐処理Ｓ１２１５で口唇部分が撮影範囲から外れることなく映像の取り込みが行われ、口唇動きデータの取得に成功したかを口唇検出フラグにより判断する。口唇動きデータの取得に成功した場合（Ｙｅｓ）には音声認識結果に対応してメモリ領域１０４ｂの口唇動き認識データを更新し（Ｓ１２１６）、処理を終了する。一方、分岐処理Ｓ１２１５で口唇検出フラグにより口唇動きデータの取得に失敗したと判断した場合（Ｎｏ）にはメモリ領域１０４ｂの口唇動き認識データを更新せず、処理を終了する。
　分岐処理Ｓ１２１３で音声認識フラグにより音声認識に失敗したと判断した場合（Ｎｏ）には分岐処理１２１７で口唇動き認識フラグにより口唇動き認識操作対象決定処理Ｓ１２１２で口唇動き認識に成功したかどうかを判断する。口唇動き認識に成功した場合（Ｙｅｓ）には口唇動き認識操作対象決定処理Ｓ１２１２で認識した結果に基づいて操作対象を決定（Ｓ１２１８）し、処理を終了する。一方、分岐処理Ｓ１２１７で口唇動き認識フラグにより口唇動き認識に失敗したと判断した場合（Ｎｏ）には再度音声および映像を取り込む処理（Ｓ１２１０）に戻る。
　図１３は口唇動き認識カテゴリ決定処理の一例を示すフローチャートである。
　図１３のフローチャートにおいて、まず入力された口唇の動きの映像から、口唇の動きを検出し、口唇動きデータを取得する（Ｓ１３０１）。口唇部分が撮影範囲から外れていて口唇検出ができず、口唇動きデータ取得処理Ｓ１３０１において口唇動きデータの取得に失敗した場合には、分岐処理１３０２においてＮｏと判断し、口唇検出フラグ及び口唇動き認識フラグをＮＧに設定（Ｓ１３０３、Ｓ１３０９）し、処理を終了する。一方、口唇動きデータ取得処理Ｓ１３０１において入力された口唇の映像からの口唇動きデータの取得に成功した場合には、分岐処理１３０２においてＹｅｓと判断し、口唇検出フラグをＯＫに設定する（Ｓ１３０４）。次に、この取得した口唇動きデータとメモリ領域１０４ｂに記憶されている操作選択肢に対応する口唇動き認識データとの尤度を計算する（Ｓ１３０５）。
　図１４に操作に対応したカテゴリ選択肢のテーブルの例を示す。音楽、写真等のデータに付与されているメタデータの属性がカテゴリに相当する。例えば各音楽データには曲名、アーティスト、アルバム等の属性（カテゴリ）に関するデータがメタデータとして付与されている。
　分岐処理Ｓ１３０６では尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には、口唇動き認識フラグをＯＫとし（Ｓ１３０７）、最大確率を与える操作カテゴリを認識結果として決定し（Ｓ１３０８）、処理を終了する。一方、分岐処理Ｓ１３０６でＮｏと判断した場合には口唇動き認識フラグをＮＧとし（Ｓ１３０９）、処理を終了する。
　次に、音声認識カテゴリ決定処理（Ｓ１２０２）について説明する。
　図１５は音声認識カテゴリ決定処理の一例を示すフローチャートである。
　図１５において、まずマイク１１２から音声処理部１１３を介して入力された音声の分析を行い、入力音声の特徴パラメータの時系列パターンを抽出する（Ｓ１５０１）。次にＨＭＭによる音響モデルとしてメモリ領域１０４ａに記憶されたカテゴリ選択肢に対応する音声認識データとの尤度を計算する（Ｓ１５０２）。分岐処理Ｓ１５０３では、尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には認識フラグをＯＫとし（Ｓ１５０４）、最大確率を与えるカテゴリ選択肢を認識結果として決定し（Ｓ１５０５）、処理を終了する。一方、分岐処理Ｓ１５０３でＮｏと判断した場合には、騒音等により音声認識に失敗したと判断し、認識フラグをＮＧとし（Ｓ１５０６）、処理を終了する。
　以上の口唇動き認識カテゴリ決定処理、或いは音声認識カテゴリ決定処理により操作対象がどのカテゴリに属するかを決定することができる。
　次に、決定したカテゴリに属する操作対象を決定するための口唇動き認識操作対象決定処理、および音声認識操作対象決定処理について説明する。
　図１６は口唇動き認識操作対象決定処理の例を示すフローチャートである。
　図１６のフローチャートにおいて、まず入力された口唇の動きの映像から、口唇の動きを検出し、口唇動きデータを取得する（Ｓ１６０１）。口唇動きデータ取得処理Ｓ１６０１において口唇部分が撮影範囲から外れていて口唇検出ができず、口唇動きデータの取得に失敗した場合には、分岐処理Ｓ１６０２においてＮｏと判断し、口唇検出フラグ及び口唇動き認識フラグをＮＧに設定（Ｓ１６０３、Ｓ１６１１）し、処理を終了する。一方、口唇動きデータ取得処理Ｓ１６０１において入力された口唇部分の映像からの口唇動きデータの取得に成功した場合には、分岐処理Ｓ１６０２においてＹｅｓと判断し、口唇検出フラグをＯＫに設定する（Ｓ１６０４）。ストレージ１０５に記憶されている音楽、写真等のデータにはタイトル、アーティスト、撮影日等の属性に関するメタデータ付与されている。Ｓ１６０５では選択したカテゴリの属性部分の記述に対応した口唇動き認識データ（例えばカテゴリとして曲名を選択した場合には各音楽データのメタデータとして記録されている曲のタイトルに対応した口唇動き認識データ）と取得した口唇動きデータとの尤度を計算する。分岐処理１６０６では尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には、候補数が複数あるか、すなわち最大確率が所定の値以上となるデータが複数あるかを判断して分岐処理を行う（Ｓ１６０７）。候補数が１つの場合（Ｙｅｓ）には口唇動き認識フラグをＯＫとし（Ｓ１６０８）、最大確率を与える操作対象を認識結果として決定し（Ｓ１６０９）、処理を終了する。一方、分岐処理Ｓ１６０７で候補数が複数の場合（Ｎｏ）と判断した場合には操作対象選択処理（Ｓ１６１０）を行い、処理を終了する。一方、分岐処理Ｓ１６０６でＮｏと判断した場合には、口唇動き認識フラグをＮＧとし（Ｓ１６１１）、処理を終了する。
　操作対象選択処理Ｓ１６１０について、図１７のフローチャートを用いて説明する。
　図１７において、まずタッチパッド１１６の表示部１１８に複数の候補を表示する（Ｓ１７０１）。表示の例を図１８に示す。ここでは、候補となる曲が３つある場合の例である。また、これに対応した口唇動き認識データおよび取得口唇動きデータを図１９に示す。この場合、口唇動き認識データXr(t),Yr(t)がほとんど同じ部分が含まれ、口唇の動きだけでは操作対象を決定できない。そこで、選択のための口唇形状が異なる文字を曲名に付加して表示している（ここでは、「あ」「い」「う」）。次に撮像部１２０から画像処理部１１９を介して操作者の少なくとも口唇部分を含む映像を取り込む（Ｓ１７０２）。まず入力された口唇の動きの映像から、口唇の動きを検出し、口唇動きデータを取得する（Ｓ１７０３）。口唇動きデータ取得処理Ｓ１７０３において口唇が撮影範囲から外れていて口唇検出ができず、口唇動きデータの取得に失敗した場合には、分岐処理１７０４においてＮｏと判断し、口唇検出フラグ及び口唇動き認識フラグをＮＧに設定（Ｓ１７０５、Ｓ１７１１）し、処理を終了する。一方、口唇動きデータ取得処理Ｓ１７０３において入力された映像から口唇動きデータの取得に成功した場合には、分岐処理Ｓ１７０４においてＹｅｓと判断し、口唇検出フラグをＯＫに設定する（Ｓ１７０６）。次に、この入力映像に対応した口唇動きデータと選択のために付加した文字（図１８の例では「あ」「い」「う」）に対応した口唇動き認識データとの尤度を計算する（Ｓ１７０７）。分岐処理Ｓ１７０８では尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には、口唇動き認識フラグをＯＫとし（Ｓ１７０９）、最大確率を与える選択肢を操作対象として決定し（Ｓ１７１０）、処理を終了する。一方、分岐処理Ｓ１７０８でＮｏと判断した場合には口唇動き認識フラグをＮＧとし（Ｓ１７１１）、処理を終了する。
　以上のように、口唇動きがほぼ同じ候補が複数ある場合にも、口唇形状が異なる文字或いは文字列を付加することで、操作対象を決定することができる。
　図２０は音声認識操作対象決定処理Ｓ１２１１の例を示すフローチャートである。
　図２０において、まずマイク１１２から音声処理部１１３を介して入力された音声の分析を行い、入力音声の特徴パラメータの時系列パターンを抽出する（Ｓ２００１）。音楽、写真等のデータの属性部分の記載（例えばカテゴリとして曲名を選択した場合には各音楽データのメタデータとして記録されている曲のタイトル）について、メモリ領域１０４ａに音響モデルとして記憶されている音声認識データとの尤度を計算する（Ｓ２００２）。分岐処理Ｓ２００３では、尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には音声認識フラグをＯＫとし（Ｓ２００４）、最大確率を与える操作対象を認識結果として決定し（Ｓ２００５）、処理を終了する。一方、分岐処理Ｓ２００３でＮｏと判断した場合には、音声認識フラグをＮＧとして処理を終了する。
　口唇動き認識操作決定処理Ｓ４０５の他の実施例を図２１に示す。本実施例では口唇の形状を母音に対応させ、口唇の動きを母音の並びとして認識を行うものである。
図２１において、まず入力された口唇の動きの映像から、音節数Ｎを決定する（Ｓ２１０１）。次に、音節母音並び変換処理により各音節に対応する口唇の形状がどの母音に対応するかを判別し、Ｎ個の音節に対応した母音の並びに変換する（Ｓ２１０２）。この入力映像に対応した母音の並びとメモリ１０４ｂに記憶されている操作選択肢に対応する母音の並びで表現された口唇動き認識データとの尤度を計算する（Ｓ２１０３）。
分岐処理２１０４では尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には、認識フラグをＯＫとし（Ｓ２１０５）、最大確率を与える操作選択肢を認識結果として決定し（Ｓ２１０６）、処理を終了する。一方、分岐処理Ｓ２１０４でＮｏと判定した場合には認識フラグをＮＧとし（Ｓ２１０７）、処理を終了する。
　メモリ１０４ｂに予め記憶されている操作選択肢に対応する母音並びのテーブルの例を図２２に示す。例えば「音楽再生」に対応する母音並びは「おあうあいえい」となる。この操作選択肢に対応する母音並びと入力映像に対応した母音並びの尤度を計算し、最も尤度が大きい操作選択肢を認識結果として決定する。各操作選択肢の文字列の母音並びが異なるようにすることで操作選択肢と母音並びが一対一に対応し、母音並びにより操作選択肢を決定することができる。母音並びによる認識では操作選択肢に対する母音の並びを記憶するため、図１０に示す操作選択肢に対する口唇動き認識データのように口唇の大きさＸ及びＹの時間的な変化を記憶する必要がなく、メモリ１０４ｂの使用量を少なくすることができる。
　図２３に音節母音並び変換処理（Ｓ２１０２）のフローチャートの一例を示す。
　図２３において、まず母音口唇形状と比較する音節を指定するパラメータＩを１から音節数Ｎまでとして、ループ処理を開始し（Ｓ２３０１）、Ｓ２３０３のループ終了処理までＳ２３０２の処理を繰り返して行う。Ｓ２３０２では入力された映像のＩ番目の音節に対応する口唇の形状とメモリ１０４ｂに記憶されている口唇認識データの母音に対応する口唇の形状を比較し、Ｉ番目の音節に対応する母音を決定する。以上の処理により、入力映像に対応したＮ個の音節が母音の並びに変換される。
　図２４に母音に対応した口唇形状の例を示す。ここでは、日本語の「あ」「い」「う」「え」「お」の母音に対する口唇形状を示している。例えば、図２５のテーブルに示すように口唇の縦の幅Ｘと横の幅Ｙの大きさを３段階で表し、各母音と対応させる。これにより、入力映像の口唇形状の縦の幅Ｘと横の幅Ｙを求め、図２５のテーブルに従って対応する母音を決定することができる。
　以上の母音並びによる認識方法は口唇動き認識操作決定処理Ｓ４０５に限らず、口唇動き認識カテゴリ決定処理Ｓ１１０４、口唇動き認識操作対象決定処理Ｓ１１０９に適用してもよい。
　図２６は音声及び口唇部分を含む映像を取り込む処理の他の実施例を示すフローチャートである。
　図２６において、図５の音声・映像取り込み処理と異なるのは選択肢表示処理Ｓ５１０を付加した点である。図２７に音声及び口唇部分を含む映像を取り込む処理における表示の例を示す。図２７（ａ）は操作決定処理においてホームの状態での操作選択肢の表示であり、図２７（ｂ）は操作対象決定処理において音楽再生時におけるカテゴリ選択肢の表示である。選択のための母音が異なる文字或いは文字列を付加して表示し、付加した文字或いは文字列部分について音声認識或いは口唇動き認識により操作選択処理を行なう。これにより、母音が異なる短い文字或いは文字列で認識できるため、認識を容易に確実に行うことが可能となる。
　以上のように、選択肢を表示部１１８に表示することで操作選択肢或いはカテゴリ選択肢をいちいち覚えておく必要がなく、確実に選択することができる。ただし、操作者が携帯端末の操作に慣れた場合などには選択肢を表示しないように、選択肢を表示するかどうかを設定できるようにしてもよい。
　図２８は携帯端末装置１００の第２の実施例の構成例を示すブロック図であり、図１の構成例と同一機能部分には同じ記号を付し、説明を省略する。
　本実施例では図１の構成例に対して操作者認識部１２２及びメモリ１０４の所定の領域１０４ｄに操作者認識データを設けるようにしており、携帯端末装置１００を使用する操作者が複数いる場合に対応するものである。
　図２９は実施例２に係る操作決定処理Ｓ２０1の一例を示すフローチャートであり、図４のフローチャートと同一処理には同一の記号を付している。
　図２９において、まずマイク１１２から音声処理部１１３を介して音声を、撮像部１２０から画像処理部１１９を介して操作者の少なくとも口唇部分を含む映像を取り込む（Ｓ４０１）。次に、操作者認識部１２２で音声・映像取り込み処理Ｓ４０１で取り込んだ音声及び/或いは映像とメモリ領域１０４ｄに記憶されている操作者認識データに基づいて操作している操作者Ｎを認識する（Ｓ４２０）。操作者認識データとしては、例えば携帯端末装置１００にログインするために予め登録した音声認証用データ或いは顔認証用データを用いることができる。操作者認識後、音声認識部１０２で音声認識操作決定処理Ｓ４０２を行い、口唇動き認識部１０３で口唇動き認識操作決定処理Ｓ４０３を行う。分岐処理Ｓ４０４では音声認識操作決定処理Ｓ４０２で音声認識に成功したかどうかを音声認識フラグにより判断する。音声認識に成功した場合（Ｙｅs）には音声認識操作決定処理Ｓ４０２で認識した結果に基づいてどのような操作を行うかを決定する（Ｓ４０５）。次に分岐処理４０６で口唇部分が撮影範囲から外れることなく映像の取り込みが行われ、口唇動きデータの取得に成功したかを口唇検出フラグにより判断する。口唇動きデータの取得に成功した場合（Ｙｅｓ）には音声認識結果に対応してメモリ領域１０４ｂの操作者Ｎに対応した口唇動き認識データを更新し（Ｓ４２１）、マナーモードを解除（Ｓ４０８）して処理を終了する。マナーモード解除以降の操作においては、スピーカ１１４から（或いはイヤフォン２００が接続されている場合には外部音声出力部１１５を介して、イヤフォンから）の音声による操作ガイド、音による着信案内等を行う。一方、分岐処理Ｓ４０６で口唇検出フラグにより口唇動きデータの取得に失敗したと判断した場合（Ｎｏ）にはメモリ領域１０４ｂの口唇動き認識データを更新せず、マナーモードを解除（Ｓ４０８）して処理を終了する。
　分岐処理Ｓ４０４で音声認識フラグにより音声認識に失敗したと判断した場合（Ｎｏ）には分岐処理４０９で口唇動き認識フラグにより口唇動き認識操作決定処理Ｓ４０３で認識に成功したかどうかを判断する。口唇動き認識に成功した場合（Ｙｅｓ）には口唇動き認識操作決定処理Ｓ４０３で認識した結果に基づいてどのような操作を行うかを決定（Ｓ４１０）し、マナーモードを設定（Ｓ４１１）して処理を終了する。マナーモードにおいてはスピーカ１１４からの出力をオフとし、音声無しの画面表示での操作ガイド或いは着信案内等を行う。一方、分岐処理Ｓ４０９で口唇動き認識フラグにより口唇動き認識が失敗したと判断した場合（Ｎｏ）には再度音声および映像を取り込む処理（Ｓ４０１）に戻る。
　以上の処理により、操作者毎に操作者に対応した口唇動き認識データが更新され、口唇の動きの個人差に対応した口唇動き認識データを得ることができる。したがって、口唇動き認識操作決定処理Ｓ４０３では操作者に対応して更新された口唇動き認識データを用いて口唇動き認識を行うことで、携帯端末装置を複数の人が使用する場合にも口唇動き認識の精度を向上することができる。
また、操作決定処理Ｓ２０１に限らず、操作対象決定処理Ｓ２０３についても同様に操作者に対応した口唇動き認識データ更新処理を適用してもよい。
　図３０は携帯端末装置１００の第３の実施例の構成例を示すブロック図であり、図２８の構成例と同一機能部分には同じ記号を付し、説明を省略する。また、図３１は本実施例の携帯端末装置１００と音声・口唇動き認識サーバー７００からなる音声・口唇動き認識情報処理システムの概略構成を示すブロック図である。
　本実施例の携帯端末装置１００では図２８の構成例に対して音声認識部１０２、口唇動き認識部１０３、メモリ１０４の音声認識データ領域及び口唇動き認識データ領域を設けておらず、これらに対応する部位を音声・口唇動き認識サーバー７００に設けている。
　図３１において音声・口唇動き認識サーバー７００は、制御部７０１、音声認識部７０２、口唇動き認識部７０３、メモリ７０４、ストレージ７０５、通信部７０６を備え、それぞれはバス７１０に相互に接続されている。
　通信部７０６は外部ネットワーク６００と接続するためのインターフェースであり、基地局４００或いは無線ルータ５００を介して携帯端末装置１００と接続される。
　制御部７０１はＣＰＵ等で構成されは、メモリ７０４に記憶したプログラムを実行することによって、各構成部を制御し、各種の処理を行っている。
　音声認識部７０２は通信部７０６を介して得られた携帯端末装置１００の操作者の音声データを認識し、音声データに対応した文字列に変換するものである。また、口唇動き認識部７０３は通信手段７０６を介して得られた携帯端末装置１００の操作者の映像データから口唇の動きを認識し、映像データに対応した文字列に変換するものである。制御部７０１は操作者の音声から認識した結果或いは操作者の口唇の動きから認識した結果を通信部７０６を介して携帯端末装置１００に送信する。
　メモリ７０４は、フラッシュメモリなどであり、プログラム、データなどを記憶している。ストレージ７０５はＳＳＤ（Solid State Device）或いはハードディスクであり、上記した音声認識部７０２や口唇動き認識部７０３で認識のために使用するデータはストレージ７０５の所定の領域７０５ａ，７０５ｂに保存されている。
　図３２は図３１の携帯端末装置１００と音声・口唇動き認識サーバー７００からなる情報処理システムにおける制御部１０１及び制御部７０１の処理の一例を示すフローチャートである。
　図３２において、まず携帯端末装置１００においてマイク１１２から音声処理部１１３を介して音声を、撮像部１２０から画像処理部１１９を介して操作者の少なくとも口唇部分を含む映像を取り込む（Ｓ３２０１）。操作者認識部１２２で音声・映像取り込み処理Ｓ３２０１で取り込んだ音声及び/或いは映像とメモリ領域１０４ｄに記憶されている操作者認識データに基づいて操作している操作者Ｎを認識する（Ｓ３２０２）。
　次に、取り込んだ音声及び映像のデータを基地局通信部１１０或いは無線通信部１１１を介して音声・口唇動き認識サーバー７００に送信する（Ｓ３２０３）。音声・口唇動き認識サーバー７００では受信した音声及び映像のデータに基づいて音声及び口唇動き認識処理Ｓ３２０４を行い、認識結果を通信部７０６を介して携帯端末装置１００に送信する（Ｓ３２０５）。Ｓ３２０６では音声・口唇動き認識サーバー７００から送られた認識結果の音声認識フラグ及び口唇動き認識フラグに基づいて分岐処理を行い、音声認識及び口唇動き認識に失敗した場合（Ｎｏ）には音声・映像取り込み処理Ｓ３２０１に戻る。音声認識或いは口唇動き認識に成功した場合（Ｙｅｓ）には操作決定処理Ｓ３２０７を行い、メモリ１０４ｃに記憶された図３に示すような操作に関する選択肢データと認識結果との尤度に基づいてどのような操作を行うのかを決定し、認識結果に対応した操作選択肢が存在する場合には決定成否フラグをＯＫとする。分岐処理３４０８では決定成否フラグにより分岐処理を行い、認識結果に対応した操作選択肢が存在しない場合（Ｎｏ）には音声・映像取り込み処理Ｓ３２０１に戻る。認識結果に対応した操作選択肢が存在する場合（Ｙｅｓ）には分岐処理Ｓ３２０９で音声認識フラグに基づいて分岐処理を行う。音声認識に成功した場合（Ｙｅｓ）にはマナーモードを解除（Ｓ３２１０）し、失敗した場合（Ｎｏ）にはマナーモードを設定（Ｓ３２１１）する。
　次に、操作を行う対象を選択する必要の有無により分岐処理を行う（Ｓ３２１２）。例えば、操作として「音楽再生」を行う場合、どの曲を再生するのかというように操作（音楽再生など）を行う対象（曲など）の選択が必要となる。また、音楽再生中の操作として「停止」を行う場合、操作（停止など）を行う対象の選択は必要ない。操作対象の選択がない場合（Ｎｏ）には決定した操作を実行する（Ｓ３２２８）。分岐処理Ｓ３２１２において操作選択肢ありと判断した場合（Ｙｅｓ）には音声・映像取り込み処理Ｓ３２１３を行い、取り込んだ音声及び映像のデータを音声・口唇動き認識サーバー７００に送信する（Ｓ３２１４）。音声・口唇動き認識サーバー７００では受信した音声及び映像のデータに基づいて音声及び口唇動き認識処理Ｓ３２１５を行い、認識結果を携帯端末装置１００に送信する（Ｓ３２１６）。Ｓ３２１７では音声・口唇動き認識サーバー７００から送られた認識結果の音声認識フラグ及び口唇動き認識フラグに基づいて分岐処理を行い、音声認識及び口唇動き認識に失敗した場合（Ｎｏ）には音声・映像取り込み処理Ｓ３２１３に戻る。音声認識或いは口唇動き認識に成功した場合（Ｙｅｓ）には操作カテゴリ決定処理Ｓ３２１８を行い、メモリ１０４ｃに記憶された図１３に示すような操作に対応したカテゴリ選択肢データと認識結果との尤度に基づいて操作対象のカテゴリを決定し、認識結果に対応したカテゴリ選択肢が存在する場合には決定成否フラグをＯＫとする。分岐処理３４１８では決定成否フラグにより分岐処理を行い、認識結果に対応したカテゴリ選択肢が存在しない場合（Ｎｏ）には音声・映像取り込み処理Ｓ３２１３に戻る。認識結果に対応したカテゴリ選択肢が存在する場合（Ｙｅｓ）には音声・映像取り込み処理Ｓ３２２０を行い、取り込んだ音声及び映像のデータを音声・口唇動き認識サーバー７００に送信する（Ｓ３２２１）。音声・口唇動き認識サーバー７００では受信した音声及び映像のデータに基づいて音声及び口唇動き認識処理Ｓ３２２２を行い、認識結果を携帯端末装置１００に送信する（Ｓ３２２３）。Ｓ３２２４では音声・口唇動き認識サーバー７００から送られた認識結果の音声認識フラグ及び口唇動き認識フラグに基づいて分岐処理を行い、音声認識及び口唇動き認識に失敗した場合（Ｎｏ）には音声・映像取り込み処理Ｓ３２２０に戻る。認識に成功した場合（Ｙｅｓ）には操作対象決定処理Ｓ３２２５を行う。携帯端末１００のメモリ１０４ｅには操作者毎の履歴データが記憶されており、音声認識によりインターネット検索したときの検索対象の語句等の履歴が保存されている。また、携帯端末装置１００のストレージ１０５に記憶されている音楽、写真等のデータにはタイトル、アーティスト、撮影日等の属性に関するメタデータ付与されている。メモリ１０４ｅに記憶された履歴データ及び操作カテゴリ決定処理Ｓ３２１８で決定したカテゴリの属性部分の記述（例えばカテゴリとして曲名を選択した場合には各音楽データのメタデータとして記録されている曲のタイトルに対応した記述）と認識結果との尤度に基づいて操作対象を決定し、認識結果に対応した操作対象が存在する場合には決定成否フラグをＯＫとする。分岐処理３４２６では決定成否フラグにより分岐処理を行い、認識結果に対応した操作対象が存在しない場合（Ｎｏ）には音声・映像取り込み処理Ｓ３２２０に戻る。認識結果に対応した操作対象が存在する場合（Ｙｅｓ）にはメモリ１０４ｅに記憶されている操作者Ｎに対応した履歴データに決定した操作対象を追加・更新（Ｓ３２２７）し、決定した操作対象に対して操作を実行する（Ｓ３２２８）。
　音声・口唇動き認識処理Ｓ３２０４，Ｓ３２１５，Ｓ３２２２のフローチャートの一例を図３３に示す。図３３において、まず通信部７０６を介して取得した操作者の音声データ及び少なくとも口唇部分を含む映像データに基づいて音声認識部７０２で音声認識処理Ｓ３３０１を行い、口唇動き認識部７０３で口唇動き認識定処理Ｓ３３０２を行う。分岐処理Ｓ３３０３では音声認識処理Ｓ３３０１で音声認識に成功したかどうかを音声認識フラグにより判断する。音声認識に失敗した場合（Ｎｏ）には処理を終了する。音声認識に成功した場合（Ｙｅs）には分岐処理Ｓ３３０４で口唇部分が撮影範囲から外れることなく映像の取り込みが行われ、口唇動きデータの取得に成功したかを口唇検出フラグにより判断する。口唇動きデータの取得に成功した場合（Ｙｅｓ）には音声認識で得られた文字列に対応した口唇認識データの有無により分岐処理を行う。音声認識で得られた文字列に対応した口唇認識データがある場合（Ｙｅs）には文字列に対応したストレージ領域７０５ｂの口唇認識データを更新し（Ｓ３３０６）、口唇認識データがない場合（Ｎｏ）には音声認識で得られた文字列に対応した口唇認識データをストレージ領域７０５ｂに追加し（Ｓ３３０７）、処理を終了する。一方、分岐処理Ｓ３３０４で口唇動きデータの取得に失敗したと判断した場合（Ｎｏ）には口唇動き認識データを更新せず、処理を終了する。
　以上の処理により、音声認識に成功し、口唇動きデータの取得に成功した場合には音声認識結果に対応した口唇動き認識データの更新及び追加が行われる。
　音声認識処理Ｓ３３０１のフローチャートの一例を図３４に示す。図３４において、まず音声分析を行い、入力音声の特徴パラメータの時系列パターンを抽出する（Ｓ３４０１）。次にＨＭＭによる音響モデルとしてストレージの所定の領域７０５ａに記憶された音声認識データとの尤度を計算する（Ｓ３４０２）。分岐処理Ｓ３４０３では、尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には音声認識フラグをＯＫとし（Ｓ３４０４）、最大確率を与える音声認識データを認識結果として処理を終了する。一方、分岐処理Ｓ３４０３でＮｏと判断した場合には、騒音等により音声認識が失敗したと判断し、音声認識フラグをＮＧとして（Ｓ３４０５）、処理を終了する。
　次に、口唇動き認識処理Ｓ３３０２について、図３５の例を用いて説明する。
　図３５のフローチャートにおいて、まず入力された映像から口唇の動きを検出し、口唇動きデータを取得する（Ｓ３５０１）。口唇部分が撮影範囲から外れていて入力された映像から口唇部分の検出ができず、口唇動きデータ取得処理Ｓ３５０１において口唇動きデータの取得に失敗した場合には、分岐処理３７０２においてＮｏと判断し、口唇検出フラグ及び口唇動き認識フラグをＮＧに設定（Ｓ３５０３、Ｓ３５０８）し、処理を終了する。一方、入力された映像から口唇動きデータの取得に成功した場合には、分岐処理Ｓ３５０２においてＹｅｓと判断し、口唇検出フラグをＯＫに設定（Ｓ３５０４）する。次に、この取得した口唇動きデータとストレージの所定の領域７０５ｂに記憶されている口唇動き認識データとの尤度を計算する（Ｓ３５０５）。分岐処理Ｓ３５０６では尤度計算の結果の最大確率 (最大尤度)が所定の値（ここでは一例として０．６とした）以上の場合（Ｙｅｓ）には、口唇動き認識フラグをＯＫとし（Ｓ３５０７）、最大確率を与える口唇動き認識データを認識結果として処理を終了する。一方、分岐処理Ｓ３５０６でＮｏと判断した場合には口唇動き認識フラグをＮＧとし（Ｓ３５０８）、処理を終了する。
　上記の実施例では携帯端末装置１００において取り込んだ音声及び映像データを音声・口唇動き認識サーバー７００に送信するようにしているが、携帯端末装置１００において入力音声の特徴パラメータの時系列パターンを抽出する音声分析を行い、入力された映像から口唇の動きを検出して口唇動きデータ取得した結果を音声・口唇動き認識サーバー７００に送信するようにしてもよい。これにより、携帯端末装置１００から音声・口唇動き認識サーバー７００に送るデータ量を低減し、処理時間を低減することが可能となる。
　以上の実施例では音声・口唇動き認識サーバー７００で音声認識及び口唇認識を行うことにより、多数の操作者の音声及び口唇動きのデータに基づいて口唇動き認識データが更新されるため、口唇動き認識の精度をより高めることが可能となる。また、操作者毎の履歴データを設け、音声認識で新たに使用された語句等を履歴データとして追加し、履歴データを口唇動き認識において利用することで、携帯端末装置の操作者毎に使用頻度の高い語句を口唇動き認識させることが可能となる。
　尚、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。例えば、第１及び第２の実施例では音声認識データ、口唇動き認識データ、選択肢データ、をメモリ１０４に記憶するようにしたが、ストレージ１０５に記憶するようにしてもよい。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ１０４やストレージ１０５に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。
１００：携帯端末装置、１０１：制御部、１０２：音声認識部、１０３：口唇動き認識部、１０４：メモリ、１０５：ストレージ、１１０：基地局通信部、１１１：無線通信部、１１２：マイク、１１３：音声処理部、１１４：スピーカ、１１５：外部音声出力部、１１６：タッチパネル、１１７：操作入力部、１１８：表示部、１１９：画像処理部、１２０：撮像部、１２２：操作者認識部、４００：基地局、５００：無線ルータ、６００：外部ネットワーク、７００：音声・口唇動き認識サーバー、７０１：制御部、７０２：音声認識部、７０３：口唇動き認識部、７０５：ストレージ、７０６：通信部

Claims (11)

  1. 口唇動き認識データを記憶する記憶部と、
    操作者の少なくとも口唇部分を含む映像を撮影する撮像部と、
    前記撮像部から得られた操作者の口唇部分の動きデータと前記口唇動き認識データを比較することにより実行する操作を認識する口唇動き認識部と、
    前記口唇動き認識部に従って実行可能な操作を行う制御部とを備える
    ことを特徴とする携帯端末装置。
  2. 操作者の音声を取り込むマイクと、
    前記マイクから取り込んだ音声により実行する操作を認識する音声認識部を備え、
    前記制御部は前記音声認識部及び口唇動き認識部の認識結果に基づいて実行可能な操作を行う
    ことを特徴とする請求項１に記載の携帯端末装置。
  3. 前記制御部は、
    前記音声認識部から実行する操作を決定する結果が得られた場合には音声認識部の結果に基づいて実行可能な操作を行い、前記口唇の動き認識部から実行する操作を認識する結果が得られ、かつ音声認識部から実行する操作を認識する結果が得られない場合には前記口唇動き認識部の結果に基づいて実行可能な操作を行う
    ことを特徴とする請求項２に記載の携帯端末装置。
  4. 前記選択部は、
    前記音声認識部から実行する操作を決定する結果が得られた場合にはマナーモードを解除し、前記口唇の動き認識部から実行する操作を認識する結果が得られ、かつ音声認識部から実行する操作を認識する結果が得られない場合にはマナーモードを設定する
    ことを特徴とする請求項２に記載の携帯端末装置。
  5. 実行可能な操作に対応した文字列の選択肢を表示する表示部を備える
    ことを特徴とする請求項１に記載の携帯端末装置。
  6. 前記選択肢は、少なくとも口唇部分の形状が異なる音節の文字、或いは口唇部分の形状が異なる音節の並びが異なる文字列を含む
    ことを特徴とする請求項１に記載の携帯端末装置。
  7. 前記選択肢は少なくとも母音が異なる文字、或いは母音の並びが異なる文字列を含む
    ことを特徴とする請求項１に記載の携帯端末装置。
  8. 口唇部分の形状を記憶する記憶部を設け、
    前記口唇動き認識部は前記記憶部に記憶された口唇部分の形状に基づいて操作者の口唇部分の映像から文字列の音節の並びを識別する
    ことを特徴とする請求項１に記載の携帯端末装置。
  9. 前記音声認識部において実行する操作を決定する結果が得られ、かつ前記口唇動き認識部において操作者の口唇部分の動きデータが得られた場合には前記口唇部分の動きデータに基づいて前記口唇動き認識データを更新する
    ことを特徴とする請求項２に記載の携帯端末装置。
  10. 前記マイクから取り込んだ音声及び／或いは前記撮像部で撮影した映像により操作者を識別する操作者識別部を設け、
    前記音声認識部において実行する操作を決定する結果が得られ、かつ前記口唇動き認識部において操作者の口唇部分の動きデータが得られた場合には前記口唇部分の動きデータに基づいて前記操作者認識部で認識した操作者に対応した前記口唇動き認識データを更新する
    ことを特徴とする請求項２に記載の携帯端末装置。
  11. 携帯端末装置と音声認識及び口唇動き認識を行うサーバーを備える情報処理システムであって、
    前記携帯端末装置は、
    操作者の少なくとも口唇部分を含む映像を撮影する撮像部と、
    操作者の音声を取り込むマイクと、
    前記撮像部で取り込んだ映像データと前記マイクで取り込んだ音声データを前記サーバーに送信し、認識結果を受信する通信部とを備え、
    前記サーバーは、
    前記携帯端末装置からの音声データと映像データを受信し、認識結果を送信する通信部と、
    口唇動き認識データを記憶する記憶部と、
    前記サーバーの通信部を介して受信した操作者の音声データにより認識を行う音声認識部と、
    前記サーバーの通信部を介して受信した操作者の映像データと前記口唇動き認識データにより認識を行う口唇動き認識部とを備える
    ことを特徴とする情報処理システム。
PCT/JP2013/083815 2013-01-07 2013-12-18 携帯端末装置及び情報処理システム Ceased WO2014106927A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201380064683.0A CN104838339B (zh) 2013-01-07 2013-12-18 便携终端装置以及信息处理系统
US14/651,002 US10303433B2 (en) 2013-01-07 2013-12-18 Portable terminal device and information processing system
US16/396,985 US11487502B2 (en) 2013-01-07 2019-04-29 Portable terminal device and information processing system
US17/969,868 US11861264B2 (en) 2013-01-07 2022-10-20 Portable terminal device and information processing system
US18/379,239 US12282708B2 (en) 2013-01-07 2023-10-12 Portable terminal device and information processing system
US19/075,888 US20250208829A1 (en) 2013-01-07 2025-03-11 Portable terminal device and information processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013000297A JP5902632B2 (ja) 2013-01-07 2013-01-07 携帯端末装置及び情報処理システム
JP2013-000297 2013-01-07

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/651,002 A-371-Of-International US10303433B2 (en) 2013-01-07 2013-12-18 Portable terminal device and information processing system
US16/396,985 Continuation US11487502B2 (en) 2013-01-07 2019-04-29 Portable terminal device and information processing system

Publications (1)

Publication Number Publication Date
WO2014106927A1 true WO2014106927A1 (ja) 2014-07-10

Family

ID=51062249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/083815 Ceased WO2014106927A1 (ja) 2013-01-07 2013-12-18 携帯端末装置及び情報処理システム

Country Status (4)

Country Link
US (5) US10303433B2 (ja)
JP (1) JP5902632B2 (ja)
CN (1) CN104838339B (ja)
WO (1) WO2014106927A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6518134B2 (ja) 2015-05-27 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 眼前装着型表示装置
US10360441B2 (en) 2015-11-25 2019-07-23 Tencent Technology (Shenzhen) Company Limited Image processing method and apparatus
CN106919891B (zh) * 2015-12-26 2019-08-23 腾讯科技（深圳）有限公司 一种图像处理方法及装置
CN105632497A (zh) * 2016-01-06 2016-06-01 昆山龙腾光电有限公司 一种语音输出方法、语音输出系统
JP6532085B2 (ja) * 2016-03-07 2019-06-19 セイコーソリューションズ株式会社 注文管理システム
JP2018091954A (ja) * 2016-12-01 2018-06-14 オリンパス株式会社 音声認識装置、及び音声認識方法
CN107679449B (zh) * 2017-08-17 2018-08-03 平安科技（深圳）有限公司 嘴唇动作捕捉方法、装置及存储介质
CN109422147A (zh) * 2017-08-28 2019-03-05 奥的斯电梯公司 口头命令界面
KR102417524B1 (ko) * 2017-10-13 2022-07-07 현대자동차주식회사 음성 인식 기반의 자동차 제어 방법
JP7010012B2 (ja) * 2018-01-17 2022-01-26 株式会社Ｊｖｃケンウッド 音声出力制御装置、電子機器、音声出力制御方法およびプログラム
JP7081164B2 (ja) * 2018-01-17 2022-06-07 株式会社Ｊｖｃケンウッド 表示制御装置、通信装置、表示制御方法および通信方法
CN108521516A (zh) * 2018-03-30 2018-09-11 百度在线网络技术（北京）有限公司 用于终端设备的控制方法和装置
CN108538291A (zh) * 2018-04-11 2018-09-14 百度在线网络技术（北京）有限公司 语音控制方法、终端设备、云端服务器及系统
KR102512446B1 (ko) * 2018-05-04 2023-03-22 구글 엘엘씨 자동화된 어시스턴트 기능(들)의 핫-워드 프리 적응
US11386900B2 (en) * 2018-05-18 2022-07-12 Deepmind Technologies Limited Visual speech recognition by phoneme prediction
CN111049664A (zh) * 2018-10-11 2020-04-21 中兴通讯股份有限公司 一种网络告警处理方法、装置及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325793A (ja) * 1996-06-05 1997-12-16 Oki Electric Ind Co Ltd 音声認識方法及び装置
JP2000068882A (ja) * 1998-08-17 2000-03-03 Matsushita Electric Ind Co Ltd 無線通信装置
JP2002118623A (ja) * 2000-10-06 2002-04-19 Matsushita Electric Ind Co Ltd 移動体通信装置
JP2002335304A (ja) * 2001-05-07 2002-11-22 Ricoh Co Ltd 移動体無線端末
JP2004246095A (ja) * 2003-02-14 2004-09-02 Nec Saitama Ltd 携帯電話装置及び遠隔制御方法
WO2006080161A1 (ja) * 2005-01-28 2006-08-03 Kyocera Corporation 発声内容認識装置及び発声内容認識方法
WO2007049569A1 (ja) * 2005-10-24 2007-05-03 Advanced Media, Inc. 情報検索システム及びサーバ装置
JP2007280179A (ja) * 2006-04-10 2007-10-25 Mitsubishi Electric Corp 携帯端末
WO2011037264A1 (ja) * 2009-09-28 2011-03-31 京セラ株式会社 電子機器および制御方法
JP2011186994A (ja) * 2010-03-11 2011-09-22 Fujitsu Ltd 文字入力装置および文字入力方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6014625A (en) * 1996-12-30 2000-01-11 Daewoo Electronics Co., Ltd Method and apparatus for producing lip-movement parameters in a three-dimensional-lip-model
AU780674B2 (en) * 1999-10-27 2005-04-07 Keyless Systems Ltd. Integrated keypad system
JP2001358828A (ja) 2000-06-10 2001-12-26 Masahiko Okuno モバイル機器、モバイル機器の指紋認証方法及びモバイル機器の指紋認証プログラムを記録した記録媒体
JP2002368870A (ja) 2001-06-04 2002-12-20 Nec Corp 移動通信端末装置
JP2005184485A (ja) 2003-12-19 2005-07-07 Casio Comput Co Ltd 撮像装置、撮像装置の動作制御方法及びプログラム
JP2007041089A (ja) 2005-08-01 2007-02-15 Hitachi Ltd 情報端末および音声認識プログラム
US20070048695A1 (en) * 2005-08-31 2007-03-01 Wen-Chen Huang Interactive scoring system for learning language
KR101502003B1 (ko) * 2008-07-08 2015-03-12 엘지전자 주식회사 이동 단말기 및 그 텍스트 입력 방법
JP2010026731A (ja) 2008-07-17 2010-02-04 Nec Saitama Ltd 文字入力装置、文字入力方法、文字入力システム、文字入力サーバー及び端末
JP2010272077A (ja) * 2009-05-25 2010-12-02 Toshiba Corp 情報再生方法及び情報再生装置
JP5341678B2 (ja) 2009-08-27 2013-11-13 京セラ株式会社 通信システム
KR101092820B1 (ko) * 2009-09-22 2011-12-12 현대자동차주식회사 립리딩과 음성 인식 통합 멀티모달 인터페이스 시스템
CN102104651A (zh) * 2009-12-22 2011-06-22 康佳集团股份有限公司 移动终端接收来电时播放预留语音的方法及其移动终端
CN102117115B (zh) * 2009-12-31 2016-11-23 上海量科电子科技有限公司 一种利用唇语进行文字输入选择的系统及实现方法
US8635066B2 (en) * 2010-04-14 2014-01-21 T-Mobile Usa, Inc. Camera-assisted noise cancellation and speech recognition
US8700392B1 (en) * 2010-09-10 2014-04-15 Amazon Technologies, Inc. Speech-inclusive device interfaces
BR112014015844A8 (pt) * 2011-12-26 2017-07-04 Intel Corp determinação das entradas de áudio e visuais de ocupantes baseada em veículo
KR101891259B1 (ko) * 2012-04-04 2018-09-28 삼성전자주식회사 지능형 이벤트 정보 출력 지원 방법 및 단말기
TW201342278A (zh) * 2012-04-06 2013-10-16 Wei-Yen Yeh 資訊整合互動系統及其方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09325793A (ja) * 1996-06-05 1997-12-16 Oki Electric Ind Co Ltd 音声認識方法及び装置
JP2000068882A (ja) * 1998-08-17 2000-03-03 Matsushita Electric Ind Co Ltd 無線通信装置
JP2002118623A (ja) * 2000-10-06 2002-04-19 Matsushita Electric Ind Co Ltd 移動体通信装置
JP2002335304A (ja) * 2001-05-07 2002-11-22 Ricoh Co Ltd 移動体無線端末
JP2004246095A (ja) * 2003-02-14 2004-09-02 Nec Saitama Ltd 携帯電話装置及び遠隔制御方法
WO2006080161A1 (ja) * 2005-01-28 2006-08-03 Kyocera Corporation 発声内容認識装置及び発声内容認識方法
WO2007049569A1 (ja) * 2005-10-24 2007-05-03 Advanced Media, Inc. 情報検索システム及びサーバ装置
JP2007280179A (ja) * 2006-04-10 2007-10-25 Mitsubishi Electric Corp 携帯端末
WO2011037264A1 (ja) * 2009-09-28 2011-03-31 京セラ株式会社 電子機器および制御方法
JP2011186994A (ja) * 2010-03-11 2011-09-22 Fujitsu Ltd 文字入力装置および文字入力方法

Also Published As

Publication number Publication date
US10303433B2 (en) 2019-05-28
US11861264B2 (en) 2024-01-02
US20240036815A1 (en) 2024-02-01
US20230039067A1 (en) 2023-02-09
JP2014132396A (ja) 2014-07-17
US12282708B2 (en) 2025-04-22
US11487502B2 (en) 2022-11-01
US20150324168A1 (en) 2015-11-12
JP5902632B2 (ja) 2016-04-13
CN104838339A (zh) 2015-08-12
US20190250884A1 (en) 2019-08-15
US20250208829A1 (en) 2025-06-26
CN104838339B (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
JP5902632B2 (ja) 携帯端末装置及び情報処理システム
CN107644646B (zh) 语音处理方法、装置以及用于语音处理的装置
KR102081925B1 (ko) 디스플레이 디바이스 및 스피치 검색 방법
JP2022532313A (ja) 分散システムにおいてユーザの好みに最適化するためのカスタマイズされた出力
EP2323351A2 (en) Mobile communication terminal that delivers vibration information, and method thereof
KR101696555B1 (ko) 영상 또는 지리 정보에서 음성 인식을 통한 텍스트 위치 탐색 시스템 및 그 방법
US20200403816A1 (en) Utilizing volume-based speaker attribution to associate meeting attendees with digital meeting content
EP4485948A1 (en) Video processing method and apparatus, device and medium
CN107479854A (zh) 一种投影仪及投影方法
WO2019101099A1 (zh) 视频节目识别方法、设备、终端、系统和存储介质
KR20170044386A (ko) 전자기기 및 전자기기의 제어방법
CN105302335B (zh) 词汇推荐方法和装置及计算机可读存储介质
CN114171019A (zh) 一种控制方法及装置、存储介质
CN107910006A (zh) 语音识别方法、装置和多信源语音区分识别系统
CN105765532A (zh) 一种信息处理方法以及智能手环
JP6190909B2 (ja) 携帯端末装置及び情報処理システム
US20150006173A1 (en) System and Method for Processing a Keyword Identifier
KR20190034494A (ko) 번역 장치 및 번역 시스템
CN111091807A (zh) 语音合成方法、装置、计算机设备及存储介质
KR102527585B1 (ko) 이동 단말기 및 그 제어방법
JP2023123080A (ja) 機器管理システム、情報処理システム、機器管理方法、プログラム、機器
JP7830987B2 (ja) 音声処理システム、デバイス、音声処理方法
US20240004921A1 (en) Information processing system, information processing method, and non-transitory recording medium
CN112218149B (zh) 一种多媒体数据采集方法、装置、设备及介质
JP2017152913A (ja) 通信システム、通信端末、サーバ装置、および情報処理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13869893

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14651002

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13869893

Country of ref document: EP

Kind code of ref document: A1