WO2018037951A1 - 情報提示装置、および情報提示方法 - Google Patents

情報提示装置、および情報提示方法 Download PDF

Info

Publication number
WO2018037951A1
WO2018037951A1 PCT/JP2017/029195 JP2017029195W WO2018037951A1 WO 2018037951 A1 WO2018037951 A1 WO 2018037951A1 JP 2017029195 W JP2017029195 W JP 2017029195W WO 2018037951 A1 WO2018037951 A1 WO 2018037951A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
information
presentation
level
unit
Prior art date
Application number
PCT/JP2017/029195
Other languages
English (en)
French (fr)
Inventor
真里 斎藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP17843434.6A priority Critical patent/EP3506070B1/en
Priority to JP2018535605A priority patent/JP6460286B2/ja
Priority to US16/325,992 priority patent/US11495209B2/en
Publication of WO2018037951A1 publication Critical patent/WO2018037951A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/454—Multi-language systems; Localisation; Internationalisation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/126—Character encoding
    • G06F40/129—Handling non-Latin characters, e.g. kana-to-kanji conversion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/151—Transformation
    • G06F40/157—Transformation using dictionaries or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G06F9/4451—User profiles; Roaming
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/02—Preprocessing operations, e.g. segment selection; Pattern representation or modelling, e.g. based on linear discriminant analysis [LDA] or principal components; Feature selection or extraction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/22—Interactive procedures; Man-machine interfaces

Definitions

  • the present technology relates to an information presentation apparatus and an information presentation method, and more particularly, to an information presentation apparatus and an information presentation method in which the presentation information presentation method is changed according to a user's age, knowledge level, language ability, and the like.
  • presentation information When some information (hereinafter referred to as presentation information) is presented to the user by text or voice, the knowledge level and language ability required to understand the presentation information, even if the user is a child or a foreigner If you do not have, you may not fully understand the contents.
  • the present technology has been made in view of such a situation, and makes it possible to present information to a plurality of users in an easily understandable manner according to each level.
  • An information presentation device includes a specifying unit that specifies a level of each of one or more users, an acquisition unit that acquires presentation information to be presented to the user, and the acquired presentation A conversion unit that appropriately converts information according to the level of each user, and a presentation unit that presents the presentation information after conversion to each user as appropriate.
  • the specifying unit may specify at least one of the user's age, knowledge level, language ability, or foreign language learning level as the user level.
  • the specifying unit can specify the level of the user based on information registered in the database in advance.
  • the information presentation apparatus may further include an estimation unit that estimates the level of the user and registers the estimated level in the database.
  • the estimation unit can periodically execute a process of estimating the user level to update the user level in the database.
  • the presenting unit can present the presentation information after conversion as appropriate to each user by at least one of character display and voice output.
  • the presenting information after the conversion is appropriately displayed for a user having a lower level, and for a user having a higher level
  • the presentation information after conversion can be output as audio.
  • the information presentation device may further include a detection unit that detects the state of each of one or more users, and the presentation unit is shared by a plurality of users having different states at the same time.
  • the converted presentation information can be appropriately presented according to the state of the user.
  • the detection unit can detect whether or not the user is watching the display, and the presenting unit can display the display when the user who is watching the display and the user who is not watching the display are sharing the screen at the same time. It is possible to display the converted presentation information as appropriate for the viewing user, and to output the converted presentation information as a voice to the user who is viewing the display.
  • the conversion unit can convert words in the obtained presentation information into simpler words according to the level of the user.
  • the conversion unit can convert the kanji in the obtained presentation information into hiragana, katakana, or kanji with kana according to the level of the user.
  • the conversion unit can convert a part or all of the obtained presentation information into a foreign language according to the level of the user.
  • An information presentation method includes a specific step of identifying each level of one or more users by an information presentation device, an acquisition step of acquiring presentation information to be presented to the user, A conversion step of appropriately converting the acquired presentation information according to the level of each user, and a presentation step of appropriately presenting the converted presentation information to each user.
  • the level of each of one or more users is specified, presentation information to be presented to the user is acquired, and the acquired presentation information is appropriately determined according to the level of each user.
  • the converted presentation information is appropriately presented to each user.
  • information can be presented to a plurality of users having different levels in an easily understandable manner.
  • FIG. 11 is a block diagram illustrating a configuration example of a general-purpose computer.
  • the present technology relates to an information presentation device shared by one or more users.
  • information character display and voice output
  • the presentation method is changed according to the language learning level or the like.
  • the user level the user's age, knowledge level, language ability, and foreign language learning level are collectively referred to as the user level.
  • presentation information can include action schedules and news related to the user and related parties (such as family members).
  • presentation information can include action schedules and news related to the user and related parties (such as family members).
  • the type of presentation information is not limited to these, and is arbitrary.
  • FIG. 1 shows an example in which a mother (mama) and a child (Yu) share an information presentation device at different timings as two users at different levels.
  • the presenting information today's schedule of the family (daddy, mom, and yuuta) is presented.
  • the character described in the rectangular frame in a figure represents showing as a character display.
  • Fig. A shows a case where the user is detected and identified as a mom, and the level is determined to be high (having a knowledge level and language ability to understand the presented information as they are). Note that, for convenience of explanation, the user level has two levels of high and low, but in actuality, the determination is made by distinguishing in more stages.
  • the presentation information is displayed as characters for the high-level user (mama).
  • synthesized speech corresponding to character display may be output.
  • This voice output may be always performed according to the user's setting, or may be performed only when the user is not looking at the character display on the display.
  • the number of pieces of information displayed in text and the points thereof may be output as voice.
  • the presentation information when performing voice output, may be converted into spoken language and then the voice may be synthesized and output.
  • spoken language there are, for example, methods of writing bullets, supplementing particles and auxiliary verbs, or skipping parentheses.
  • the presentation information “Papa Singapore business trip” is the spoken word “Daddy is a business trip to Singapore”
  • the presentation information “4 o’clock soccer classroom” is the spoken language “4 o’clock soccer classroom”.
  • “AA President (55 years old)” may be converted to the spoken word “AA President will come to Japan”.
  • FIG. B shows a case where the user is detected and identified as a child, and the level is determined to be low (the knowledge level and the language ability are sufficient to understand the presented information as they are).
  • FIG. C shows a case where the user is detected and identified as a child, and the level is determined to be low (but higher than that in FIG. B).
  • words in the presentation information are replaced according to the user's level, or kanji characters are converted into hiragana and presented, so that the user with a particularly low level can deepen their understanding. Is possible.
  • FIG. 2 shows an example in which a mother (mama) and a child (Yu) share an information presentation device at the same time as two users at different levels.
  • the presenting information today's schedule of the family (daddy, mom, and yuuta) is presented.
  • the character described in the rectangular frame in a figure represents showing as a character display, and the character described in the balloon represents showing as audio
  • the directivity of the speaker that outputs sound can be adjusted, the sound is output toward the user (in this case, a child) who is the target of information presentation by sound output.
  • FIG. 3 shows an example in which presentation information is simultaneously presented to a mother (mama) who is wearing a vacuum cleaner and a child (Yu) looking at the display of the information presentation device as two users in different states. Is shown. As the presenting information, today's schedule of the family (daddy, mom, and yuuta) is presented.
  • reading and understanding the character display requires a higher level for the user than listening to and understanding the voice output.
  • the mom who is the user with the higher level is not looking at the display, and the child who is the user with the lower level is looking at the display.
  • the character is displayed for the user (child).
  • a synthesized voice corresponding to the presentation information is output.
  • information presentation to the user for example, words that are assumed to be incomprehensible to the user (child), such as “Singapore business trip” is replaced with “gakukoku oshigoto”, are plain words.
  • kanji characters that are considered unreadable cannot be converted into hiragana characters and presented as character displays. Note that in the case where a plurality of speakers capable of adjusting the directivity of the speaker that outputs the sound is provided, the sound corresponding to the character display may be synthesized and output to the child at the same time.
  • FIG. 4 shows an example in which Japanese sentences and words in the presentation information are replaced with learned foreign languages according to the user's foreign language (English in the case of FIG. 4) learning level.
  • the presentation information today's schedule of the user (mama) is presented.
  • the user is detected, identified as a ma, and the foreign language learning level is read from the user database. Then, according to the foreign language learning level of the user (mama), “today's schedule” and “jogging” in the presentation information are replaced with the foreign languages “Today's Schedule” and “Jogging” and displayed as characters. Depending on the user's foreign language learning level, all of the presentation information may be converted into a foreign language and displayed in characters.
  • the voice corresponding to the character display may be output.
  • the speed of the foreign language portion of the audio output may be changed according to the foreign language learning level.
  • the character display may be all in Japanese, and the voice may be partially set in a foreign language or all in a foreign language depending on the learning level.
  • all the character notations may be in a foreign language and the voice output may be in Japanese, or all the character notations may be in Japanese and the voice output may be in a foreign language.
  • the foreign language learning level of the user is estimated based on the user's daily conversation and operation history. However, the user can set his / her own foreign language learning level (for example, English first grader level, Eiken second grade level, TOEFL 500 point level, etc.) Then, the learning level may be estimated from the learning text.
  • his / her own foreign language learning level for example, English first grader level, Eiken second grade level, TOEFL 500 point level, etc.
  • the estimated learning level may be lowered.
  • the Japanese in the presentation information can be replaced with a learned foreign language, so the user confirms the result of his / her learning can do. If the user dares to set his / her foreign language ability high, an unlearned foreign language can be displayed, so that an effect that leads to an increase in learning motivation can be expected.
  • the learning level is in the elementary level, the Japanese before replacement and the foreign language after replacement are written together, and only the foreign language after replacement is displayed after the learning level has increased to a certain level. It may be.
  • kanji may be converted to hiragana or katakana, or the kana will be written with characters. May be.
  • Example of changing the information to be added to the presentation information according to the user's interest> 5 and 6 show an example in which information related to the presentation information (hereinafter referred to as additional information) is presented in addition to the presentation information.
  • FIG. 5 shows a case where a user is detected and identified as a daddy, the level is determined, and the region of interest (economics) of the user (daddy) is retrieved from the user DB (database).
  • FIG. 6 shows a case where the user is detected, identified as being a ma, the level is determined, and the region of interest (culture) of the user (mama) is further searched from the user DB.
  • “Toda's News AA Presidential Visit to Japan” is displayed as text to the user (mama).
  • additional information related to the presented information “AA country culture cuisine ABC crafts XYZ etc.” is displayed in text.
  • the synthesized voice corresponding to the character display of the presentation information and the additional information may be output at the same time.
  • the corresponding schedule of family members is displayed when the article is displayed. You may do.
  • keywords are extracted from the categories searched by each user in advance, the content viewed, the schedule entered, the contents of emails, etc., and the area of interest is estimated from the extracted keywords and registered in the user DB. You just have to. Alternatively, the user himself / herself may register his / her region of interest in the user DB in advance.
  • information of interest of the user can be added to the presentation information and presented.
  • the users (daddy and mom) shown in FIGS. 5 and 6 are sharing the information presentation device and watching the display at the same time, the user has additional information for each user. You may make it display on the side which is. That is, when the user (dad) is on the left side and the user (mom) is on the right side, the presentation information is displayed in the center of the display, and the left side is for the dad and the right side is for the mom.
  • the additional information may be displayed in characters.
  • FIG. 7 illustrates a configuration example of an information presentation apparatus that is an embodiment of the present technology for realizing the various examples described above.
  • the information presentation device 10 includes a presentation processing unit 11 and a level estimation unit 12.
  • the presentation processing unit 11 is for executing an information presentation process for presenting presentation information to a user.
  • An information DB 25, a display 26, and a speaker 27 are included.
  • the level estimation unit 12 is for executing a level estimation process for estimating a user level, and includes a microphone 31, a user utterance processing unit 32, a user history processing unit 33, a user analysis unit 34, and a user DB 35.
  • the user DB 35 also belongs to the presentation processing unit 11.
  • the presentation information acquisition unit 21 of the presentation processing unit 11 should access an information terminal (for example, a smartphone, a personal computer, etc.) used by the user or a predetermined server and present it to the user. Presentation information is acquired and supplied to the output control unit 24. Note that the user may be allowed to input the presentation information directly to the information presentation device 10.
  • an information terminal for example, a smartphone, a personal computer, etc.
  • the user may be allowed to input the presentation information directly to the information presentation device 10.
  • the user state recognition sensor 22 includes a camera that captures the surroundings of the information presentation device 10, a microphone that acquires sound, a signal processing circuit that can analyze the video and sound, and the like.
  • the user state recognition sensor 22 detects one or more users located around the information presentation device 10, identifies who (papa, mom, child, etc.) it is, and the status of the identified user (for example, Whether or not the user is viewing the display 26 and whether or not the character display or voice output is understood or the like is determined and notified to the user management unit 23.
  • features such as the user's face may be registered in advance, or a unique ID tag may be attached to each user.
  • the user management unit 23 constantly notifies the output control unit 25 of information indicating who is in the surroundings of the information presentation device 10 and what state is based on the notification from the user state recognition sensor 22.
  • the output control unit 24 requests the presentation information acquisition unit 21 for presentation information to be presented to the user detected as being around the information presentation device 10, and is supplied accordingly. Analyze the presentation information. Further, the output control unit 24 acquires the user level from the user DB 35 and refers to the general knowledge DB 25 to appropriately convert the presentation information in accordance with the user level, and at least one of character display and voice display To present to the user. At the same time, the output control unit 24 synthesizes the voice corresponding to the presentation information appropriately converted according to the level of the user and causes the user to present it.
  • the output control unit 24 acquires the user's region of interest from the user DB 35, acquires information related to the presentation information and belongs to the user's region of interest from the general knowledge DB 25, and causes the user to present it.
  • the display 26 displays the presentation information appropriately converted according to the level of the user in accordance with the control from the output control unit 24.
  • the speaker 27 outputs a synthesized voice corresponding to the presentation information appropriately converted according to the level of the user in accordance with the control from the output control unit 24.
  • the voice is output to the user who is the target of presentation by voice output.
  • the microphone 31 of the level estimation unit 12 collects detected and identified user conversations and outputs them to the user utterance processing unit 32.
  • the user utterance processing unit 32 analyzes the user's conversation and notifies the user analysis unit 34 of the analysis result.
  • the user history processing unit 33 accesses an information terminal used by the user, acquires a user operation history (search history, content reproduction history, schedule, mail, text input history of a document, etc.) in the external device, and the user It supplies to the analysis part 34.
  • a user operation history search history, content reproduction history, schedule, mail, text input history of a document, etc.
  • the user analysis unit 34 estimates the level of each user (including the user's age, knowledge level, and language ability) based on the input from the user utterance processing unit 32 and the user history processing unit 33 and registers the estimated level in the user DB 35.
  • the user DB 35 basic information (birth date, sex, occupation, school year, etc.) of each user is registered in advance by the user, and the level of each user estimated by the user analysis unit 34 is registered.
  • the user can also register the levels of the user and other users.
  • the mom can register the child level in the user DB 35.
  • the user may be able to refer to the level and history of the user and other users at an arbitrary timing.
  • FIG. 8 is a flowchart for explaining level estimation processing by the level estimation unit 12 of the information presentation apparatus 10.
  • This level estimation process is executed at an initial stage where the information presentation apparatus 10 is started to be used, and thereafter at a cycle (for example, every month) that can change the user level.
  • step S ⁇ b> 1 the level estimation unit 12 collects user conversations detected and identified by the microphone 31 and outputs them to the user utterance processing unit 32.
  • step S ⁇ b> 2 the user utterance processing unit 32 analyzes the user's conversation and notifies the analysis result to the user analysis unit 34.
  • the analysis of the user's conversation by the user utterance processing unit 32 may be executed every time voice data of the user's conversation is accumulated to some extent.
  • step S3 the user history processing unit 33 accesses the information terminal used by the user, acquires the user operation history in the external device, and supplies it to the user analysis unit 34. Based on the input from the user utterance processing unit 32 and the user history processing unit 33, the user analysis unit 34 estimates the level of each user and registers it in the user DB 35. This completes the level estimation process.
  • the level of each user can be registered and updated in the user DB 35 without the user himself / herself being aware of the level up and without setting the level of the user or other users. Therefore, even when the child user grows, the vocabulary increases, or the foreign language learning level is improved, the presentation information can be presented correspondingly.
  • FIG. 9 is a flowchart for explaining information presentation processing by the presentation processing unit 11 of the information presentation apparatus 10. This information presentation process is executed each time the information presentation apparatus 10 is activated, unlike the level estimation process described above.
  • step S ⁇ b> 11 the user state recognition sensor 22 detects and identifies one or more users located around the information presentation apparatus 10, determines the user situation, and notifies the user management unit 23. Based on the notification from the user state recognition sensor 22, the user management unit 23 notifies the output control unit 25 of information indicating who is around the information presentation apparatus 10 and in what state.
  • step S12 the output control unit 24 requests the presentation information acquisition unit 21 for presentation information to be presented to the detected and identified user based on the notification from the user management unit 23.
  • the presentation information acquisition unit 21 acquires presentation information to be presented to the user and supplies it to the output control unit 24.
  • step S13 the output control unit 24 acquires the level of the user from the user DB 35, and determines a presentation method such as the example shown in FIGS. 1 to 6 according to the level and situation of the user.
  • step S14 the output control unit 24 presents the presentation information to the user according to the determined presentation method (performs at least one of character display and voice output). This completes the information presentation process.
  • information belonging to the user's region of interest related to the presentation information may be presented to the user.
  • FIG. 10 shows an application example in which the information presentation device 10 is applied to a car navigation device.
  • two users (dad and child) are detected and recognized, the level is determined, and the user's state (dad is not looking at the display (during driving), the child is looking at the display. ) Is determined.
  • the audio corresponding to the presentation information “There is XX castle in the left direction 500m” as a car navigation device is synthesized and output.
  • the presentation information “500m ahead, there is XX Castle in the left direction” as the car navigation device is converted according to the user level.
  • the text “Hidagari, I can see the white” is displayed.
  • the presentation information can be presented by voice output to a driving user.
  • the presentation method converted according to the level can be presented by character display. Therefore, it becomes possible to present information more easily without compromising the safety of all users in the vehicle.
  • the information presentation apparatus 10 in addition to the above-described car navigation apparatus, for example, it can be applied to a robot, a signage apparatus, and the like.
  • the above-described series of processing can be executed by hardware or can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer capable of executing various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 10 is a block diagram illustrating a configuration example of hardware of a computer that executes a series of processes by the information presentation apparatus 10 described above by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 105 is further connected to the bus 104.
  • An input unit 106, an output unit 107, a storage unit 108, a communication unit 109, and a drive 110 are connected to the input / output interface 105.
  • the input unit 106 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 107 includes a display, a speaker, and the like.
  • the storage unit 108 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 109 includes a network interface or the like.
  • the drive 110 drives a removable medium 111 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 101 loads the program stored in the storage unit 108 to the RAM 103 via the input / output interface 105 and the bus 104 and executes the program. A series of processing is performed.
  • the program executed by the computer (CPU 101) can be provided by being recorded in the removable medium 211 as a package medium, for example.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program executed by the computer 100 may be a program that is processed in time series in the order described in this specification, or a necessary timing such as when a call is made in parallel. It may be a program in which processing is performed.
  • the present technology can also have the following configurations.
  • a specific part that identifies the level of each of one or more users An acquisition unit for acquiring presentation information to be presented to the user; A conversion unit for appropriately converting the obtained presentation information according to the level of each user; An information presentation apparatus comprising: a presentation unit that presents each user with the presentation information after conversion as appropriate.
  • the information presentation device further including an estimation unit that estimates the level of the user and registers the level in the database.
  • the estimation unit periodically executes a process of estimating the user level and updates the user level in the database.
  • the presentation unit according to any one of (1) to (5), wherein the presentation unit presents the presentation information after conversion as appropriate to each user by at least one of character display and voice output. (7) When a plurality of users having different levels share the presenting unit at the same time, the presenting information after the conversion is appropriately displayed for a user having a lower level, and for a user having a higher level
  • the information presentation apparatus according to any one of (1) to (5), wherein the presentation information after conversion is output as audio.
  • the presenting unit presents the presentation information after conversion as appropriate according to the state of the user when a plurality of users with different states are sharing at the same time. Any one of (1) to (5) Information presentation device.
  • the detection unit detects whether the user is looking at a display; When the user who is viewing the display and the user who is not viewing the display are sharing the presentation unit, the presentation unit appropriately displays the converted presentation information for the user who is viewing the display and displays the display.
  • the information presentation apparatus according to (8) wherein the presentation information after conversion is appropriately output to a viewing user by voice.
  • the information presentation device according to any one of (1) to (9), wherein the conversion unit converts words in the obtained presentation information into simpler words according to the level of the user.
  • the conversion unit converts the kanji in the obtained presentation information into hiragana, katakana, or kanji with kana according to the level of the user.
  • (12) The information presentation device according to any one of (1) to (9), wherein the conversion unit converts part or all of the obtained presentation information into a foreign language according to the level of the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

本技術は、レベルが異なる複数のユーザに対して、それぞれが理解し易く情報を提示することができるようにする情報提示装置、および情報提示方法に関する。 本技術の一側面である情報提示装置は、一人または複数のユーザそれぞれのレベルを特定する特定部と、前記ユーザに対して提示するための提示情報を取得する取得部と、取得された前記提示情報を各ユーザのレベルに応じて適宜変換する変換部と、適宜変換後の前記提示情報を各ユーザに提示する提示部とを備える。本技術は、例えば、ロボット、サイネージ装置、カーナビゲーション装置等に適用できる。

Description

情報提示装置、および情報提示方法
　本技術は、情報提示装置、および情報提示方法に関し、特に、ユーザの年齢、知識レベル、言語能力等に応じて提示情報の提示方法を変更するようにした情報提示装置、および情報提示方法に関する。
　何らかの情報（以下、提示情報と称する）を文字や音声によってユーザに提示する場合、ユーザが子供であったり、外国人であったりして、提示情報を理解するために必要な知識レベルや言語能力を備えていないと、その内容を十分に理解できないことがある。
　そのような事態に対処する方法として、予め取得しているユーザの知識レベルに応じて言葉を置換する等により、ユーザの知識レベルに応じて理解し易いように情報を提示する方法が提案されている（例えば、特許文献１参照）。
特開平５－２６５６７７号公報
　上述した従来方法では、ユーザが勉強したり成長したりして知識レベルや言語能力は向上した場合、ユーザが一人だけであれば、ユーザのレベル設定を変更すれば済む。しかしながら、知識レベルや言語能力の異なる複数のユーザに対して情報を提示する場合、全てのユーザに理解させるためには、例えば最も低いレベルのユーザに合わせて情報を提示する必要があり、各ユーザに対して、それぞれのレベルに応じて情報を提示することができなかった。
　本技術はこのような状況に鑑みてなされたものであり、複数のユーザに対し、それぞれのレベルに応じて理解し易く情報を提示できるようにするものである。
　本技術の一側面である情報提示装置は、一人または複数のユーザそれぞれのレベルを特定する特定部と、前記ユーザに対して提示するための提示情報を取得する取得部と、取得された前記提示情報を各ユーザのレベルに応じて適宜変換する変換部と、適宜変換後の前記提示情報を各ユーザに提示する提示部とを備える。
　前記特定部は、前記ユーザのレベルとして、ユーザの年齢、知識レベル、言語能力、または外国語学習レベルのうちの少なくとも一つを特定することができる。
　前記特定部は、予めデータベースに登録されている情報に基づき、前記ユーザのレベルを特定することができる。
　本技術の一側面である情報提示装置は、前記ユーザのレベルを推定して前記データベースに登録する推定部をさらに備えることができる。
　前記推定部は、前記ユーザのレベルを推定する処理を周期的に実行し、前記データベースにおける前記ユーザのレベルを更新することができる。
　前記提示部は、適宜変換後の前記提示情報を文字表示または音声出力の少なくとも一方によって各ユーザに提示することができる。
　前記提示部は、レベルが異なる複数のユーザが同時に共用している場合、レベルが低い方のユーザに対して適宜変換後の前記提示情報を文字表示するとともに、レベルが高いい方のユーザに対して適宜変換後の前記提示情報を音声出力することができる。
　本技術の一側面である情報提示装置は、一人または複数の前記ユーザそれぞれの状態を検出する検出部をさらに備えることができ、前記提示部は、状態が異なる複数のユーザが同時に共用している場合、前記ユーザの状態に応じて、適宜変換後の前記提示情報を提示することができる。
　前記検出部は、前記ユーザがディスプレイを見ているか否かを検出することができ、前記提示部は、ディスプレイを見ているユーザとディスプレイを見ていないユーザが同時に共用している場合、ディスプレイを見ているユーザに対して適宜変換後の前記提示情報を文字表示するとともに、ディスプレイを見ているユーザに対して適宜変換後の前記提示情報を音声出力することができる。
　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報内の言葉をより平易な言葉に変換することができる。
　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報内の漢字をひらがな、カタカナ、または振り仮名付き漢字に変換することができる。
　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報の一部または全部を外国語に変換することができる。
　本技術の一側面である情報提示方法は、情報提示装置による、一人または複数のユーザそれぞれのレベルを特定する特定ステップと、前記ユーザに対して提示するための提示情報を取得する取得ステップと、取得された前記提示情報を各ユーザのレベルに応じて適宜変換する変換ステップと、適宜変換後の前記提示情報を各ユーザに提示する提示ステップとを含む。
　本技術の一側面においては、一人または複数のユーザそれぞれのレベルが特定され、前記ユーザに対して提示するための提示情報が取得され、取得された前記提示情報が各ユーザのレベルに応じて適宜変換され、適宜変換後の前記提示情報が各ユーザに提示される。
　本技術の一側面によれば、レベルが異なる複数のユーザに対して、それぞれが理解し易く情報を提示することができる。
レベルが異なる二人のユーザに対して異なるタイミングで提示情報を提示する例を示す図である。 レベルが異なる二人のユーザに対して同時に提示情報を提示する例を示す図である。 状態が異なる二人のユーザに対して同時に提示情報を提示する例を示す図である。 ユーザの学習レベルに応じて提示情報の言葉を外国語に変換する例を示す図である。 ユーザの興味に応じて提示情報に追加する情報を変更する例を示す図である。 ユーザの興味に応じて提示情報に追加する情報を変更する例を示す図である。 本技術を適用した情報提示装置の構成例を示すブロック図である。 レベル推定処理を説明するフローチャートである。 情報提示処理を説明するフローチャートである。 情報提示装置をカーナビゲーション装置に適用した場合の例を示す図である。 汎用のコンピュータの構成例を示すブロック図である。
　以下、本技術を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
　＜本技術の概要説明＞
　始めに、本技術の概要について説明する。本技術は、一人または複数のユーザが共有する情報提示装置に係るものであり、ユーザに対して情報を提示（文字表示および音声出力）するに際しては、ユーザの年齢、知識レベル、言語能力、外国語学習レベル等に応じて、その提示方法を変更するようになされている。以下、ユーザの年齢、知識レベル、言語能力、外国語学習レベルを一括して、ユーザのレベルと称する。
　ユーザに対して提示する情報（以下、提示情報と称する）としては、ユーザやその関係者（家族等）に関する行動予定やニュース等を挙げることができる。ただし、提示情報の種類は、これらに限るものではなく任意である。
　以下、ユーザのレベルに応じて提示方法を変更する例について説明する。
　＜レベルが異なる二人のユーザに対して異なるタイミングで提示情報を提示する例＞
　図１は、レベルが異なる二人のユーザとして、母親（ママ）と子供（ゆうた）が、異なるタイミングで情報提示装置を共用する例を示している。提示情報としては、家族（パパ、ママ、およびゆうた）の今日の予定が提示される。なお、図中の矩形枠内に記載されている文字は、文字表示として提示されることを表している。
　同図Ａは、ユーザが検知され、ママであると識別され、そのレベルが高い（提示情報をそのまま理解できるだけの知識レベル、言語能力を有する）と判断された場合を示している。なお、ユーザのレベルについては、説明の都合上、高いと低いの２段階としているが、実際にはより多段階に区別して判断する。
　この場合、レベルが高いユーザ（ママ）に対しては、提示情報がそのまま文字表示される。なお、文字表示に対応して合成した音声を出力してもよい。この音声出力は、ユーザの設定に応じて常に行ってもよいし、ユーザがディスプレイの文字表示を見ていない時にだけ行うようにしてもよい。さらに、文字表示されている情報の件数やその要点を音声として出力するようにしてもよい。
　また、音声出力を行う場合には、提示情報を話し言葉に変換してからその音声を合成して出力してもよい。話し言葉に変換するには、例えば、箇条書きを文章化したり、助詞、助動詞を補ったり、括弧を読み飛ばしたりする方法がある。具体的には、例えば、提示情報「パパ　シンガポール出張」は、話し言葉「パパはシンガポールに出張です」に、提示情報「4時　サッカー教室」は、話し言葉「4時にサッカー教室です」に、提示情報「ＡＡ国大統領（55歳）来日」は、話し言葉「AA国大統領が来日します」に変換してもよい。
　同図Ｂは、ユーザが検知され、子供であると識別され、そのレベルが低い（提示情報をそのまま理解できるだけの知識レベル、言語能力がない）と判断された場合を示している。
　この場合、レベルが低いユーザ（小学校１年生入学時）が理解できるように、例えば、「シンガポール出張」が「がいこくでおしごと」に置換されるように、ユーザのレベルでは理解できないと想定される言葉がより理解し易い平易な言葉に置換されるとともに、読むことができないと思われる漢字がひらがなに変換されてから文字表示される。なお、文字表示と同時に、表示された文字に対応して合成した音声を出力してもよい。また、漢字をひらがなに変換する代わりに、カタカナに変換したり、漢字に振り仮名をつけたりするようにしてもよい。
　同図Ｃは、ユーザが検知され、子供であると識別され、そのレベルが低い（ただし、同図Ｂの時よりも上がっている）と判断された場合を示している。
　この場合、ユーザ（小学校１年生秋）が理解できるように、例えば、「シンガポール出張」が「がいこくでおしごと」に置換されるように、ユーザのレベルでは理解できないと想定される言葉が平易な言葉に置換されるとともに、読むことができないと思われる漢字がひらがなに変換されてから文字表示される。ただし、ユーザは既に漢字「学校」を学習しているので、同図Ｃの場合、同図Ｂではひらがな表示であった「がっこう」が、漢字表示「学校」とされる。なお、文字表示と同時に、表示された文字に対応して合成した音声を出力してもよい。
　図１に示された例によれば、ユーザのレベルに応じて提示情報内における言葉を置換したり、漢字をひらがなに変換したりして提示するので、特にレベルが低いユーザの理解を深めることが可能となる。
　また、予定やニュース等の提示情報を文字表示する場合、誰の予定であるのかを区別したり、各ユーザの既読状況や進捗状況が判断できるように、例えば、色分けしたり、表示位置を変えたりするようにしてもよい。
　＜レベルが異なる二人のユーザに対して同時に提示情報を提示する例＞
　図２は、レベルが異なる二人のユーザとして、母親（ママ）と子供（ゆうた）が、同時に情報提示装置を共用する例を示している。提示情報としては、家族（パパ、ママ、およびゆうた）の今日の予定が提示される。なお、図中の矩形枠内に記載されている文字は、文字表示として提示されることを表しており、吹き出し内に記載されている文字は、音声出力として提示されることを表している。以降の図においても同様とする。
　同図では、二人のユーザが検知され、ママと子供に識別されて、ママのレベルが高い（提示情報をそのまま理解できるだけの知識レベル、言語能力を有する）、子供のレベルが低い（提示情報をそのまま理解できるだけの知識レベル、言語能力がない）と判断された場合を示している。
　通常、文字表示を読んで理解することは、音声出力を聞いて理解することに比較して、ユーザにはより高いレベルが必要とされる。よって、この場合、レベルが高いユーザ（ママ）に対する情報提示としては、提示情報がそのまま文字表示される。一方、レベルが低いユーザ（子供）に対する情報提示としては、例えば、「シンガポール出張」が「がいこくでおしごと」に置換されるように、理解できないと想定される言葉が平易な言葉に置換され、それに応じて合成された音声が出力される。
　なお、音声を出力するスピーカの指向性を調整できる場合、音声出力による情報提示の対象とするユーザ（いまの場合、子供）に向けて音声を出力するようにする。
　図２に示された例によれば、レベルが異なる複数のユーザに対して、それぞれのレベルに応じ、一方に対しては文字表示で、他方に対しては音声出力で情報を同時に提示するようにしたので、レベルが異なる複数のユーザの理解を同時に深めることが可能となる。
　＜状態が異なる二人のユーザに対して同時に提示情報を提示する例＞
　図３は、状態が異なる二人のユーザとして、掃除機をかけている母親（ママ）と、情報提示装置のディスプレイを見ている子供（ゆうた）に対して、同時に提示情報を提示する例を示している。提示情報としては、家族（パパ、ママ、およびゆうた）の今日の予定が提示される。
　同図では、二人のユーザ（ママと子供）が検知、識別されてレベルが判断され、さらにそれぞれの状態（ママがディスプレイを見ていない、子供がディスプレイを見ている）が判断された場合を示している。
　通常、文字表示を読んで理解することは、音声出力を聞いて理解することに比較して、ユーザにはより高いレベルが必要とされる。しかしながら、いまの場合、レベルが高い方のユーザであるママはディスプレイを見ておらず、レベルが低い方のユーザである子供がディスプレイを見ているので、ユーザ（ママ）に対しては音声出力が行われ、ユーザ（子供）に対しては文字表示が行われる。
　すなわち、ユーザ（ママ）に対する情報提示としては、提示情報に対応して合成された音声が出力される。一方、ユーザ（子供）に対する情報提示としては、例えば、「シンガポール出張」が「がいこくでおしごと」に置換されるように、ユーザ（子供）が理解できないと想定される言葉が平易な言葉に置換されるとともに、読むことができないと思われる漢字がひらがなに変換されてから文字表示として提示される。なお、音声を出力するスピーカの指向性を調整できるスピーカが複数設けられている場合、子供に対しても文字表示に対応する音声を合成して同時に出力するようにしてもよい。
　図３に示された例によれば、状態が異なる複数のユーザに対して、それぞれの状態に応じ、一方に対しては文字表示で、他方に対しては音声出力で情報を同時に提示するようにしたので、状態が異なる複数のユーザに対して理解し易く情報を提示することが可能となる。
　＜ユーザの外国語学習レベルに応じて言葉を外国語に置換する例＞
　図４は、ユーザの外国語（図４の場合、英語）の学習レベルに応じて、提示情報の中の日本語の文章や単語を、学習済みの外国語に置換する例を示している。提示情報としては、ユーザ（ママ）の今日の予定が提示される。
　同図の場合、ユーザが検知され、ママであると識別されて、その外国語学習レベルがユーザデータベースから読み出される。そして、ユーザ（ママ）の外国語学習レベルに応じて提示情報の「今日の予定」と「ジョギング」が、外国語「Today's Schedule」と「Jogging」に置換されて文字表示される。なお、ユーザの外国語学習レベルによっては、提示情報の全てを外国語に変換して文字表示してもよい。
　なお、文字表示に合わせて、それに対応する音声を出力するようにしてもよい。なお、音声出力の外国語の部分については、外国語学習レベルに応じて、そのスピードを変更できるようにしてもよい。また、文字表示を全て日本語とし、音声を学習レベルに応じて部分的に外国語にしたり、全て外国語としたりしてもよい。さらに、全ての文字表記を外国語にして音声出力を日本語にしたり、全ての文字表記を日本語にして、音声出力を外国語にしたりしてもよい。
　なお、ユーザの外国語学習レベルについては、ユーザの日常の会話や操作履歴に基づいて推定される。ただし、予めユーザが自己の外国語学習レベル（例えば、英語の場合、中学１年生レベル、英検２級レベル、TOEFL500点レベル等）を設定するようにしたり、使用している学習テキストを設定して、その学習テキストから学習レベルを推定したりするようにしてもよい。
　なお、提示した外国語に対するユーザの理解度が低いようであれば、推定した学習レベルを下げるようにしてもよい。さらに、ユーザと同じ学習レベルの他の学習者にみられる間違いの傾向を利用してもよい。例えば、ユーザと同じ学習レベルの他の学習者には、現在進行形の文章を間違えた場合に過去進行形の文章でも間違える傾向がある場合、ユーザが進行形の文章を間違えた場合には過去進行形の文章も表示するようにしてユーザの学習のサポートをできるようにしてもよい。
　図４に示された例によれば、ユーザの学習レベルに応じて、提示情報の中の日本語を、学習済みの外国語に置換することができるので、ユーザは自己の学習の成果を確認することができる。なお、ユーザが自己の外国語能力を敢えて高めに設定しておけば、未学習の外国語が表示され得るので、学習意欲の向上につながる効果を期待できる。
　なお、学習レベルが初歩段階である場合には、置換前の日本語と、置換後の外国語を併記するようにし、学習レベルがある程度まで上昇してから置換後の外国語のみを表示するようにしてもよい。
　また、例えば、ユーザが日本語を学習している外国人である場合には、日本語の学習レベルに応じて、漢字をひらがなやカタカナに変換したり、振り仮名を併記して文字表記したりしてもよい。
　＜ユーザの興味に応じて提示情報に追加する情報を変更する例＞
　図５および図６は、提示情報の提示に追加して、提示情報に関連する情報（以下、追加情報と称する）を提示する場合の例を示している。
　図５は、ユーザが検知され、パパであると識別され、そのレベルが判断され、さらにユーザ（パパ）の興味領域（経済）がユーザＤＢ（データベース）から検索された場合を示している。
　この場合、ユーザ（パパ）に対して、提示情報として「Toda's News　ＡＡ国大統領来日」が文字表示される。さらに提示情報に関連する追加情報として、「ＡＡ国の経済　為替レート　GDP等」が文字表示される。なお提示情報および追加情報の文字表示に対応して合成した音声を同時に出力するようにしてもよい。
　図６は、ユーザが検知され、ママであると識別され、そのレベルが判断され、さらにユーザ（ママ）の興味領域（文化）がユーザＤＢから検索された場合を示している。この場合、ユーザ（ママ）に対して、提示情報として「Toda's News　ＡＡ国大統領来日」が文字表示される。さらに提示情報に関連する追加情報として、「ＡＡ国の文化　料理ＡＢＣ　工芸品ＸＹＺ等」が文字表示される。なお提示情報および追加情報の文字表示に対応して合成した音声を同時に出力するようにしてもよい。また近々旅行先として検討している特定の地域のニュースなど、家族の予定に関連する記事に対して、興味を引くために、あえてその記事の表示の際に、家族の該当予定を表示するなどをしてもよい。
　なお、各ユーザの興味領域については、予め各ユーザが検索したカテゴリ、視聴したコンテンツ、入力した予定やメールの内容等からキーワードを抽出し、抽出したキーワードから興味領域を推定してユーザＤＢに登録しておけばよい。また、ユーザ自身が自己の興味領域をユーザＤＢに予め登録するようにしてもよい。
　図５および図６に示された例によれば、ユーザの興味がある情報を提示情報に追加して提示することができる。なお、例えば、図５と図６にそれぞれ示されたユーザ（パパとママ）が同時に情報提示装置を共用してディスプレイを見ている場合には、各ユーザ向けの追加情報をユーザが存在している側に表示するようにしてもよい。すなわち、ディスプレイに向かってユーザ（パパ）が左側に、ユーザ（ママ）が右側に存在している場合、ディスプレイの中央に提示情報の文字表示を行い、その左側にパパ向け、その右側にママ向けの追加情報の文字表示を行うようにしてもよい。
　なお、図１乃至図６を参照して上述した例は適宜組み合わせて実行してもよい。
　＜本技術の実施の形態である情報提示装置の構成例＞
　次に、図７は、上述した様々な例を実現するための本技術の実施の形態である情報提示装置の構成例を示している。
　この情報提示装置１０は、提示処理部１１およびレベル推定部１２を備える。提示処理部１１は、ユーザに対して提示情報を提示する情報提示処理を実行するためのものであり、提示情報取得部２１、ユーザ状態認識センサ２２、ユーザ管理部２３、出力制御部２４、一般情報ＤＢ２５、ディスプレイ２６、およびスピーカ２７を有する。
　レベル推定部１２は、ユーザのレベルを推定するレベル推定処理を実行するためのものであり、マイク３１、ユーザ発話処理部３２、ユーザ履歴処理部３３、ユーザ分析部３４、およびユーザＤＢ３５を有する。なお、ユーザＤＢ３５は、提示処理部１１にも属する。
　提示処理部１１の提示情報取得部２１は、出力制御部２４からの要求に応じ、ユーザが使用する情報端末（例えば、スマートフォン、パーソナルコンピュータ等）や所定のサーバにアクセスし、ユーザに提示すべき提示情報を取得して出力制御部２４に供給する。なお、情報提示装置１０に対して直接的にユーザが提示情報を入力できるようにしてもよい。
　ユーザ状態認識センサ２２は、情報提示装置１０の周囲を撮像するカメラと、音声を取得するマイクと、その映像や音声を解析し得る信号処理回路等からなる。ユーザ状態認識センサ２２は、情報提示装置１０の周囲に位置する一人以上のユーザを検知し、それが誰（パパ、ママ、子供等）であるかを識別し、識別したユーザの状況（例えば、ディスプレイ２６を見ているか否か、文字表示や音声出力を理解しているか否か等）を判断してユーザ管理部２３に通知する。ユーザが誰であるかを識別する方法としては、ユーザの顔等の特徴を予め登録しておいたり、各ユーザに固有のＩＤタグを付けたりするようにすればよい。
　ユーザ管理部２３は、ユーザ状態認識センサ２２からの通知に基づき、情報提示装置１０の周囲に誰が居てどのような状態であるのかを示す情報を出力制御部２５に常時通知する。
　出力制御部２４は、ユーザ管理部２３からに通知に基づき、情報提示装置１０の周囲に居ると検知されたユーザに提示すべき提示情報を提示情報取得部２１に要求し、それに応じて供給される提示情報を解析する。また、出力制御部２４は、該ユーザのレベルをユーザＤＢ３５から取得し、一般知識ＤＢ２５を参照することにより、該ユーザのレベルに応じて提示情報を適宜変換し、文字表示または音声表示の少なくとも一方によってユーザに提示させる。これと同時に、出力制御部２４は、該ユーザのレベルに応じて適宜変換した提示情報に対応する音声を合成してユーザに提示させる。
　さらに、出力制御部２４は、該ユーザの興味領域をユーザＤＢ３５から取得し、提示情報に関連する情報であって、ユーザの興味領域に属する情報を一般知識ＤＢ２５から取得してユーザに提示させる。
　一般知識ＤＢ２５には、提示情報中に存在し得る単語や文章と同じ意味を有する年齢等に応じて理解できる易しい表現、外国語による表現、各学年で習う漢字や英単語（各出版社の教科書毎）、外国語能力レベルに応じた語彙、シソーラスに基づいて関連付けられている情報（例えば、図５または図６に示された例におけるＡＡ国の経済状況や文化情報等）が登録され、随時更新されている。
　ディスプレイ２６は、出力制御部２４からの制御に従い、ユーザのレベルに応じて適宜変換された提示情報を文字表示する。スピーカ２７は、出力制御部２４からの制御に従い、ユーザのレベルに応じて適宜変換された提示情報に対応して合成された音声を出力する。なお、スピーカ２７の指向性が調整できる場合、音声出力による提示の対象とするユーザに指向して音声を出力するようにする。
　レベル推定部１２のマイク３１は、検知、識別したユーザの会話を収集してユーザ発話処理部３２に出力する。ユーザ発話処理部３２は、ユーザの会話を解析し、解析結果をユーザ分析部３４に通知する。
　ユーザ履歴処理部３３は、ユーザが使用する情報端末にアクセスし、外部装置におけるユーザの操作履歴（検索履歴、コンテンツの再生履歴、予定、メール、文書等のテキスト入力履歴等）を取得してユーザ分析部３４に供給する。
　ユーザ分析部３４は、ユーザ発話処理部３２およびユーザ履歴処理部３３からの入力に基づき、各ユーザのレベル（ユーザの年齢、知識レベル、言語能力を含む）を推定してユーザＤＢ３５に登録する。
　ユーザＤＢ３５には、各ユーザの基本情報（生年月日、性別、職業、学年等）がユーザによって予め登録されている他、ユーザ分析部３４によって推定された各ユーザのレベルが登録される。なお、ユーザは、自己や他のユーザのレベルを登録することもできる。例えば、ママが子供のレベルをユーザＤＢ３５に登録することもできる。また、ユーザが任意のタイミングで自己や他のユーザのレベルや履歴を参照できるようにしてもよい。
　＜情報提示装置１０によるレベル推定処理＞
　次に、図８は、情報提示装置１０のレベル推定部１２によるレベル推定処理を説明するフローチャートである。
　このレベル推定処理は、情報提示装置１０を利用し始める初期段階と、その後、ユーザのレベルが変化し得る程度の周期（例えば、月毎）で実行される。
　ステップＳ１において、レベル推定部１２は、マイク３１により、検知、識別したユーザの会話を収集してユーザ発話処理部３２に出力する。ステップＳ２において、ユーザ発話処理部３２は、ユーザの会話を解析し、解析結果をユーザ分析部３４に通知する。なお、ユーザ発話処理部３２によるユーザの会話の解析は、ユーザの会話の音声データがある程度溜まる毎に実行するようにしてもよい。
　ステップＳ３において、ユーザ履歴処理部３３は、ユーザが使用する情報端末にアクセスし、外部装置におけるユーザの操作履歴を取得してユーザ分析部３４に供給する。ユーザ分析部３４は、ユーザ発話処理部３２およびユーザ履歴処理部３３からの入力に基づき、各ユーザのレベルを推定してユーザＤＢ３５に登録する。以上でレベル推定処理は終了される。
　以上説明したレベル推定処理によれば、ユーザ自身にレベルアップに自覚が無く、ユーザが自身や他のユーザのレベルを設定しなくても、各ユーザのレベルをユーザＤＢ３５に登録、更新できる。よって、子供のユーザが成長したり、語彙が増えたり、外国語学習レベルが上達した場合にも、それに対応して提示情報を提示することができる。
　＜情報提示装置１０による情報提示処理＞
　次に、図９は、情報提示装置１０の提示処理部１１による情報提示処理を説明するフローチャートである。この情報提示処理は、上述したレベル推定処理と異なり、情報提示装置１０が起動される毎に実行される。
　ステップＳ１１において、ユーザ状態認識センサ２２は、情報提示装置１０の周囲に位置する一人以上のユーザを検知、識別しするとともに、ユーザの状況を判断してユーザ管理部２３に通知する。ユーザ管理部２３は、ユーザ状態認識センサ２２からの通知に基づき、情報提示装置１０の周囲に誰が居てどのような状態であるのかを示す情報を出力制御部２５に通知する。
　ステップＳ１２において、出力制御部２４は、ユーザ管理部２３からに通知に基づき、検知、識別されたユーザに提示すべき提示情報を提示情報取得部２１に要求する。この要求に応じ、提示情報取得部２１は、ユーザに提示すべき提示情報を取得して出力制御部２４に供給する。
　ステップＳ１３において、出力制御部２４は、ユーザＤＢ３５から該ユーザのレベルを取得し、該ユーザのレベルと状況に応じ、図１乃至図６に示された例のような提示方法を決定する。ステップＳ１４において、出力制御部２４は、決定した提示方法に従って提示情報をユーザに提示する（文字表示または音声出力の少なくとも一方を行う）。以上で情報提示処理は終了される。
　なお、上述した情報提示処理からは省略したが、図５および図６に示されたように、提示情報に関連する、ユーザの興味領域に属する情報もユーザに提示するようにしてもよい。
　以上に説明した情報提示処理によれば、一人以上の各ユーザに対してそれぞれのレベルに応じて適宜変換した提示情報を提示できる。よって、レベルが異なるユーザが同時に使用する場合であっても、各ユーザが提示情報に対する理解を深めることが可能となる。
　＜情報提示装置１０のカーナビゲーション装置への適用＞
　次に、図１０は、情報提示装置１０をカーナビゲーション装置に適用した応用例を示している。
　図１０の例では、二人のユーザ（パパと子供）が検知、認識されてレベルが判断され、さらにユーザの状態（パパがディスプレイを見ていない（運転中である）、子供がディスプレイを見ている）が判断された場合を示している。
　運転中であってディスプレイを見ることができないユーザ（パパ）に対しては、カーナビゲーション装置としての提示情報「５００ｍ先、左方向にＸＸ城があります。」に対応する音声が合成されて出力される。一方、ディスプレイを見ているユーザ（ゆうた）に対しては、カーナビゲーション装置としての提示情報「５００ｍ先、左方向にＸＸ城があります。」をユーザのレベルに応じて変換した「すこしいくとひだりがわに、おしろがみえるよ」が文字表示される。
　なお、ユーザ（ゆうた）に対しては、さらに、文字表示「すこしいくとひだりがわに、おしろがみえるよ」と同じ音声を合成して出力するようにしてもよい。ただし、その場合には、ユーザ（パパ）に対する音声出力のタイミングとずらして出力するか、スピーカの指向方向を対象とするユーザに向けて出力するようにして、二人のユーザがそれぞれ音声を聞き易いようにすればよい。
　情報提示装置１０をカーナビゲーション装置に適用した場合、運転中のユーザに対しては提示情報を音声出力によって提示できる。一方、運転していないユーザに対しては、そのレベルに応じて変換した提示方法を文字表示によって提示できる。したがって、車中の全てのユーザの安全を損なうことなく、より分かり易く情報を提示することが可能となる。
　なお、情報提示装置１０の応用例としては、上述したカーナビゲーション装置の他、例えば、ロボット、サイネージ装置等に適用できる。
　＜上述した一連の処理をソフトウェアにより実行する場合について＞
　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１０は、上述した情報提示装置１０による一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
　バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、入力部１０６、出力部１０７、記憶部１０８、通信部１０９、およびドライブ１１０が接続されている。
　入力部１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１０７は、ディスプレイ、スピーカなどよりなる。記憶部１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１０９は、ネットワークインタフェースなどよりなる。ドライブ１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１を駆動する。
　以上のように構成されるコンピュータ１００では、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５およびバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　なお、コンピュータ１００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであってもよいし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであってもよい。
　なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　本技術は以下のような構成も取ることができる。
（１）
　一人または複数のユーザそれぞれのレベルを特定する特定部と、
　前記ユーザに対して提示するための提示情報を取得する取得部と、
　取得された前記提示情報を各ユーザのレベルに応じて適宜変換する変換部と、
　適宜変換後の前記提示情報を各ユーザに提示する提示部と
　を備える情報提示装置。
（２）
　前記特定部は、前記ユーザのレベルとして、ユーザの年齢、知識レベル、言語能力、または外国語学習レベルのうちの少なくとも一つを特定する
　前記（１）に記載の情報提示装置。
（３）
　前記特定部は、予めデータベースに登録されている情報に基づき、前記ユーザのレベルを特定する
　前記（１）または（２）に記載の情報提示装置。
（４）
　前記ユーザのレベルを推定して前記データベースに登録する推定部を
　さらに備える前記（３）に記載の情報提示装置。
（５）
　前記推定部は、前記ユーザのレベルを推定する処理を周期的に実行し、前記データベースにおける前記ユーザのレベルを更新する
　前記（４）に記載の情報提示装置。
（６）
　前記提示部は、適宜変換後の前記提示情報を文字表示または音声出力の少なくとも一方によって各ユーザに提示する
　前記（１）から（５）のいずれかに記載の情報提示装置。
（７）
　前記提示部は、レベルが異なる複数のユーザが同時に共用している場合、レベルが低い方のユーザに対して適宜変換後の前記提示情報を文字表示するとともに、レベルが高いい方のユーザに対して適宜変換後の前記提示情報を音声出力する
　前記（１）から（５）のいずれかに記載の情報提示装置。
（８）
　一人または複数の前記ユーザそれぞれの状態を検出する検出部をさらに備え、
　前記提示部は、状態が異なる複数のユーザが同時に共用している場合、前記ユーザの状態に応じて、適宜変換後の前記提示情報を提示する
　前記（１）から（５）のいずれかに記載の情報提示装置。
（９）
　前記検出部は、前記ユーザがディスプレイを見ているか否かを検出し、
　前記提示部は、ディスプレイを見ているユーザとディスプレイを見ていないユーザが同時に共用している場合、ディスプレイを見ているユーザに対して適宜変換後の前記提示情報を文字表示するとともに、ディスプレイを見ているユーザに対して適宜変換後の前記提示情報を音声出力する
　前記（８）に記載の情報提示装置。
（１０）
　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報内の言葉をより平易な言葉に変換する
　前記（１）から（９）のいずれかに記載の情報提示装置。
（１１）
　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報内の漢字をひらがな、カタカナ、または振り仮名付き漢字に変換する
　前記（１）から（９）のいずれかに記載の情報提示装置。
（１２）
　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報の一部または全部を外国語に変換する
　前記（１）から（９）のいずれかに記載の情報提示装置。
（１３）
　情報提示装置の情報提示方法において、
　前記情報提示装置による、
　　一人または複数のユーザそれぞれのレベルを特定する特定ステップと、
　　前記ユーザに対して提示するための提示情報を取得する取得ステップと、
　　取得された前記提示情報を各ユーザのレベルに応じて適宜変換する変換ステップと、
　　適宜変換後の前記提示情報を各ユーザに提示する提示ステップと
　を含む情報提示方法。
　１０　情報提示装置，　１１　提示処理部，　１２　レベル推定部，　２１　提示情報取得部，　２２　ユーザ状態認識センサ，　２３　ユーザ管理部，　２４　出力制御部，　２５　一般知識ＤＢ，　２６　ディスプレイ，　２７　スピーカ，　３１　マイク，　３２　ユーザ発話処理部，　３３　ユーザ履歴処理部，　３４　ユーザ分析部，　３５　ユーザＤＢ，　１００　コンピュータ，　１０１　CPU

Claims (13)

  1. 　一人または複数のユーザそれぞれのレベルを特定する特定部と、
    　前記ユーザに対して提示するための提示情報を取得する取得部と、
    　取得された前記提示情報を各ユーザのレベルに応じて適宜変換する変換部と、
    　適宜変換後の前記提示情報を各ユーザに提示する提示部と
    　を備える情報提示装置。
  2. 　前記特定部は、前記ユーザのレベルとして、ユーザの年齢、知識レベル、言語能力、または外国語学習レベルのうちの少なくとも一つを特定する
    　請求項１に記載の情報提示装置。
  3. 　前記特定部は、予めデータベースに登録されている情報に基づき、前記ユーザのレベルを特定する
    　請求項２に記載の情報提示装置。
  4. 　前記ユーザのレベルを推定して前記データベースに登録する推定部を
    　さらに備える請求項３に記載の情報提示装置。
  5. 　前記推定部は、前記ユーザのレベルを推定する処理を周期的に実行し、前記データベースにおける前記ユーザのレベルを更新する
    　請求項４に記載の情報提示装置。
  6. 　前記提示部は、適宜変換後の前記提示情報を文字表示または音声出力の少なくとも一方によって各ユーザに提示する
    　請求項２に記載の情報提示装置。
  7. 　前記提示部は、レベルが異なる複数のユーザが同時に共用している場合、レベルが低い方のユーザに対して適宜変換後の前記提示情報を文字表示するとともに、レベルが高いい方のユーザに対して適宜変換後の前記提示情報を音声出力する
    　請求項２に記載の情報提示装置。
  8. 　一人または複数の前記ユーザそれぞれの状態を検出する検出部をさらに備え、
    　前記提示部は、状態が異なる複数のユーザが同時に共用している場合、前記ユーザの状態に応じて、適宜変換後の前記提示情報を提示する
    　請求項２に記載の情報提示装置。
  9. 　前記検出部は、前記ユーザがディスプレイを見ているか否かを検出し、
    　前記提示部は、ディスプレイを見ているユーザとディスプレイを見ていないユーザが同時に共用している場合、ディスプレイを見ているユーザに対して適宜変換後の前記提示情報を文字表示するとともに、ディスプレイを見ているユーザに対して適宜変換後の前記提示情報を音声出力する
    　請求項８に記載の情報提示装置。
  10. 　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報内の言葉をより平易な言葉に変換する
    　請求項２に記載の情報提示装置。
  11. 　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報内の漢字をひらがな、カタカナ、または振り仮名付き漢字に変換する
    　請求項２に記載の情報提示装置。
  12. 　前記変換部は、前記ユーザのレベルに応じ、取得された前記提示情報の一部または全部を外国語に変換する
    　請求項２に記載の情報提示装置。
  13. 　情報提示装置の情報提示方法において、
    　前記情報提示装置による、
    　　一人または複数のユーザそれぞれのレベルを特定する特定ステップと、
    　　前記ユーザに対して提示するための提示情報を取得する取得ステップと、
    　　取得された前記提示情報を各ユーザのレベルに応じて適宜変換する変換ステップと、
    　　適宜変換後の前記提示情報を各ユーザに提示する提示ステップと
    　を含む情報提示方法。
PCT/JP2017/029195 2016-08-25 2017-08-10 情報提示装置、および情報提示方法 WO2018037951A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP17843434.6A EP3506070B1 (en) 2016-08-25 2017-08-10 Information presentation device and information presentation method
JP2018535605A JP6460286B2 (ja) 2016-08-25 2017-08-10 情報提示装置、および情報提示方法
US16/325,992 US11495209B2 (en) 2016-08-25 2017-08-10 Information presentation device, and information presentation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-164364 2016-08-25
JP2016164364 2016-08-25

Publications (1)

Publication Number Publication Date
WO2018037951A1 true WO2018037951A1 (ja) 2018-03-01

Family

ID=61244869

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/029195 WO2018037951A1 (ja) 2016-08-25 2017-08-10 情報提示装置、および情報提示方法

Country Status (4)

Country Link
US (1) US11495209B2 (ja)
EP (1) EP3506070B1 (ja)
JP (2) JP6460286B2 (ja)
WO (1) WO2018037951A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021009541A (ja) * 2019-07-01 2021-01-28 コニカミノルタ株式会社 画像形成装置、及び、画像形成システム
WO2023037569A1 (ja) * 2021-09-08 2023-03-16 日本電気株式会社 文章理解支援装置、文章理解支援方法およびプログラム記憶媒体

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037951A1 (ja) 2016-08-25 2018-03-01 ソニー株式会社 情報提示装置、および情報提示方法
KR20210014909A (ko) * 2019-07-31 2021-02-10 삼성전자주식회사 대상의 언어 수준을 식별하는 전자 장치 및 방법
US11875133B2 (en) * 2021-02-02 2024-01-16 Rovi Guides, Inc. Methods and systems for providing subtitles

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265677A (ja) 1992-03-18 1993-10-15 Hitachi Ltd 情報提供システム
JP2000278626A (ja) * 1999-03-29 2000-10-06 Sanyo Electric Co Ltd マルチ画面音声出力制御装置
JP2001282409A (ja) * 2000-03-30 2001-10-12 Brother Ind Ltd ヘルプ情報表示装置及びヘルプ情報表示方法
JP2010020616A (ja) * 2008-07-11 2010-01-28 Fujifilm Corp コンテンツ表示装置、コンテンツ表示方法およびプログラム
JP2011227849A (ja) * 2010-04-23 2011-11-10 Jvc Kenwood Corp 文章変換装置、文章変換方法、プログラムおよびデータ構造

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3933449B2 (ja) * 2001-11-22 2007-06-20 株式会社東芝 コミュニケーション支援装置
US7243105B2 (en) * 2002-12-31 2007-07-10 British Telecommunications Public Limited Company Method and apparatus for automatic updating of user profiles
CN101682662B (zh) * 2007-06-26 2014-08-13 日本电气株式会社 终端、功能启动方法以及终端用程序
JP5720133B2 (ja) * 2010-07-13 2015-05-20 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US10875525B2 (en) * 2011-12-01 2020-12-29 Microsoft Technology Licensing Llc Ability enhancement
JP5994968B2 (ja) 2012-01-12 2016-09-21 シャープ株式会社 コンテンツ利用装置、制御方法、プログラム、及び記録媒体
KR101874836B1 (ko) * 2012-05-25 2018-08-02 삼성전자주식회사 음향 보정이 가능한 디스플레이 장치, 청각 레벨 제어 장치 및 방법
US8761574B2 (en) * 2012-10-04 2014-06-24 Sony Corporation Method and system for assisting language learning
JP2015018163A (ja) * 2013-07-12 2015-01-29 船井電機株式会社 映像表示装置及び映像表示制御方法
JP2015146550A (ja) * 2014-02-04 2015-08-13 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10613826B2 (en) * 2014-12-25 2020-04-07 Maxell, Ltd. Head-mounted display system and operating method for head-mounted display device
KR20160082078A (ko) * 2014-12-30 2016-07-08 한국전자통신연구원 교육 서비스 시스템
US20170046970A1 (en) * 2015-08-11 2017-02-16 International Business Machines Corporation Delivering literacy based digital content
US10223613B2 (en) * 2016-05-31 2019-03-05 Microsoft Technology Licensing, Llc Machine intelligent predictive communication and control system
WO2018037951A1 (ja) 2016-08-25 2018-03-01 ソニー株式会社 情報提示装置、および情報提示方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265677A (ja) 1992-03-18 1993-10-15 Hitachi Ltd 情報提供システム
JP2000278626A (ja) * 1999-03-29 2000-10-06 Sanyo Electric Co Ltd マルチ画面音声出力制御装置
JP2001282409A (ja) * 2000-03-30 2001-10-12 Brother Ind Ltd ヘルプ情報表示装置及びヘルプ情報表示方法
JP2010020616A (ja) * 2008-07-11 2010-01-28 Fujifilm Corp コンテンツ表示装置、コンテンツ表示方法およびプログラム
JP2011227849A (ja) * 2010-04-23 2011-11-10 Jvc Kenwood Corp 文章変換装置、文章変換方法、プログラムおよびデータ構造

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3506070A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021009541A (ja) * 2019-07-01 2021-01-28 コニカミノルタ株式会社 画像形成装置、及び、画像形成システム
JP7419682B2 (ja) 2019-07-01 2024-01-23 コニカミノルタ株式会社 画像形成装置、及び、画像形成システム
WO2023037569A1 (ja) * 2021-09-08 2023-03-16 日本電気株式会社 文章理解支援装置、文章理解支援方法およびプログラム記憶媒体

Also Published As

Publication number Publication date
JP6460286B2 (ja) 2019-01-30
JPWO2018037951A1 (ja) 2019-02-14
EP3506070A1 (en) 2019-07-03
US11495209B2 (en) 2022-11-08
JP7087987B2 (ja) 2022-06-21
US20210383793A1 (en) 2021-12-09
EP3506070B1 (en) 2021-12-15
JP2019071089A (ja) 2019-05-09
EP3506070A4 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
JP6460286B2 (ja) 情報提示装置、および情報提示方法
US11544590B2 (en) Answering questions during video playback
US20190180747A1 (en) Voice recognition apparatus and operation method thereof
JP2017527926A (ja) 社交的会話入力に対するコンピュータレスポンスの生成
TW200900967A (en) Multi-mode input method editor
CN107608618B (zh) 一种用于可穿戴设备的交互方法、装置和可穿戴设备
US10089898B2 (en) Information processing device, control method therefor, and computer program
US11893813B2 (en) Electronic device and control method therefor
US11676607B2 (en) Contextual denormalization for automatic speech recognition
JPWO2018037956A1 (ja) 情報処理装置及び情報処理方法
CN111079423A (zh) 一种听写报读音频的生成方法、电子设备及存储介质
CN107844531B (zh) 答案输出方法、装置和计算机设备
CN112382295A (zh) 语音识别方法、装置、设备及可读存储介质
CN113038175B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
US11010562B2 (en) Visual storyline generation from text story
KR20040094634A (ko) 일본어 및 중국어 음성 인식 훈련을 위한 동적 발음 지원
KR102484528B1 (ko) 음소 이미지와 음소분석 알고리즘 적용 한글 읽기 학습 시스템
CN111159403B (zh) 一种智能课堂感知的方法及系统
CN113221514A (zh) 文本处理方法、装置、电子设备和存储介质
US20220245344A1 (en) Generating and providing information of a service
US20230088532A1 (en) Processing apparatus, processing method, and non-transitory storage medium
KR102566696B1 (ko) 영어 학습 시스템, 서버 및 방법
CN113891026B (zh) 一种录播视频的标记方法、装置、介质和电子设备
US20230089965A1 (en) Processing apparatus, processing method, and non-transitory storage medium
US20240236439A9 (en) Device and method for selective presentation of subtitles

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018535605

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843434

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017843434

Country of ref document: EP

Effective date: 20190325