WO2015008363A1 - 情報提示装置及び情報提示方法 - Google Patents

情報提示装置及び情報提示方法 Download PDF

Info

Publication number
WO2015008363A1
WO2015008363A1 PCT/JP2013/069520 JP2013069520W WO2015008363A1 WO 2015008363 A1 WO2015008363 A1 WO 2015008363A1 JP 2013069520 W JP2013069520 W JP 2013069520W WO 2015008363 A1 WO2015008363 A1 WO 2015008363A1
Authority
WO
WIPO (PCT)
Prior art keywords
presentation
user
unit
recognition
time
Prior art date
Application number
PCT/JP2013/069520
Other languages
English (en)
French (fr)
Inventor
洋 西村
芳知 中村
淳 嶋田
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112013007242.4T priority Critical patent/DE112013007242T5/de
Priority to PCT/JP2013/069520 priority patent/WO2015008363A1/ja
Priority to US14/766,862 priority patent/US10109258B2/en
Priority to JP2015527112A priority patent/JP6095781B2/ja
Priority to CN201380076180.5A priority patent/CN105164499B/zh
Publication of WO2015008363A1 publication Critical patent/WO2015008363A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30Control of display attribute
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/08Arrangements within a display terminal for setting, manually or automatically, display parameters of the display terminal
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present invention relates to an information presentation device and an information presentation method for displaying a presentation target (for example, an icon, a character, a map, a moving image, etc.) on a display of a car navigation device, for example.
  • a presentation target for example, an icon, a character, a map, a moving image, etc.
  • the gaze of the driver of the vehicle is detected, the gaze target being watched by the driver is identified, and information corresponding to the type of the gaze target is displayed. Like to do. Thereby, the information which a driver
  • the information presentation device disclosed in Patent Document 2 below includes a means for detecting the user's line-of-sight movement as the user's state. For example, the state in which the user's line-of-sight is facing out of the screen, and the blink waveform A state of slowness and a state of rapidly decreasing the eyeball component are detected.
  • this information presentation device detects the above state, it determines that it is time when information can be displayed on the screen, and the relationship between the state of the window arranged on the screen and the user's point of sight The information display position is determined on the basis of the information, and the information is displayed. Thereby, the danger of oversight can be reduced without disturbing a user's work concentration.
  • JP 2008-13070 A (paragraph number [0007])
  • JP 2006-72876 A (paragraph numbers [0016] [0020])
  • Patent Document 1 Since the conventional information presentation apparatus is configured as described above, in the case of Patent Document 1, the information required by the driver can be appropriately provided. The amount of information cannot be adjusted. For this reason, there is a problem that information oversight and annoyance may be caused due to excessive information. Further, in the case of Patent Document 2, it is possible to determine the time to present information from the user's line-of-sight movement, but as in Patent Document 1, the user's recognition level for the presentation target is grasped and the information amount is adjusted. I can't. For this reason, there is a problem that information oversight and annoyance may be caused due to excessive information.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to provide an information presentation apparatus and an information presentation method capable of suppressing an excessive amount of information presentation and reducing annoyance caused by information presentation.
  • the information presenting apparatus compares a gaze time during which the user is gazing at the presentation target with a grasp required time determined according to the content of the presentation target, and recognizes the user with respect to the presentation target from the comparison result.
  • a recognition degree determination means for determining the degree is provided, and the presentation processing means presents the presentation target in a presentation form corresponding to the recognition degree determined by the recognition degree determination means.
  • the gaze time during which the user is gazing at the presentation target is compared with the grasping required time determined according to the content of the presentation target, and the user's recognition level for the presentation target is determined from the comparison result.
  • Recognition degree determination means is provided, and the presentation processing means is configured to present the presentation target in a presentation form corresponding to the recognition degree determined by the recognition degree determination means.
  • FIG. 1 is a block diagram showing an information presentation apparatus according to Embodiment 1 of the present invention.
  • the line-of-sight measurement camera 1 is constituted by an imaging device such as a CCD camera, for example, and takes an image (line-of-sight detection image) used for detecting the line of sight of the user and outputs image data of the line-of-sight detection image. Perform the process.
  • the line-of-sight detection image is an image of the user's face taken.
  • the line-of-sight detection unit 2 includes, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like, and analyzes image data output from the line-of-sight measurement camera 1 to detect a user's line of sight To implement.
  • the presentation information acquisition unit 3 includes, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like.
  • a presentation target for example, a display target currently displayed by the display processing unit 9 from an application
  • Icon for example, a display target currently displayed by the display processing unit 9 from an application
  • display area display position
  • size size
  • color size
  • timing animation expression method
  • importance etc.
  • the gaze time measuring unit 4 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like, and is a gaze area that is an area where the user is looking from the gaze detected by the gaze detection unit 2 And the process of measuring the gaze time T, which is the time in which the gaze area and the display area indicated by the presentation information acquired by the presentation information acquisition unit 3 overlap, is performed.
  • the grasping minimum required time storage unit 5 is composed of a storage device such as a RAM or a hard disk, for example, and shows a correspondence relationship between the type of the presentation target and the grasping minimum necessary time (the minimum necessary time for grasping the contents of the presentation target). Stores the table.
  • the grasping minimum necessary time specifying unit 6 is composed of, for example, a semiconductor integrated circuit mounting a CPU or a one-chip microcomputer, and presents it with reference to a table stored in the grasping minimum necessary time storage unit 5 The process which specifies the grasping minimum required time Tmin corresponding to the kind of presentation object which the presentation information acquired by the information acquisition part 3 shows is implemented.
  • the user recognition level determination unit 7 includes, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, and the like.
  • the user recognition level determination unit 7 constitutes a recognition level determination unit.
  • the presentation form selection unit 8 is configured by, for example, a GPU (Graphics Processing Unit) or a one-chip microcomputer, and displays a presentation target in a presentation form corresponding to the recognition degree determined by the user recognition degree determination unit 7 While displaying on the part 9, the process which outputs the audio
  • the display processing unit 9 includes, for example, a liquid crystal display, and displays a presentation target on the screen under the control of the presentation form selection unit 8.
  • the audio output unit 10 includes, for example, a speaker and outputs audio according to the audio data output from the presentation form selection unit 8.
  • the presentation processing means is configured by the presentation form selection unit 8, the display processing unit 9, and the voice output unit 10.
  • FIG. 1 a line-of-sight measurement camera 1, a line-of-sight detection unit 2, a presentation information acquisition unit 3, a gaze time measurement unit 4, a grasping minimum necessary time storage unit 5, a grasping minimum necessary time specifying unit 6, which are constituent elements of the information presentation device,
  • each of the user recognition degree determination unit 7, the presentation form selection unit 8, the display processing unit 9, and the audio output unit 10 is configured by dedicated hardware, all or part of the information presentation device May be configured by a computer.
  • FIG. 2 is a flowchart showing the processing contents (information presentation method) of the information presentation apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is an explanatory diagram showing the HUD in the vehicle, the display of the car navigation device, and the instrument panel.
  • the line-of-sight measurement camera 1 captures a line-of-sight detection image, which is an image used for detecting the line of sight of the user, and outputs image data of the line-of-sight detection image to the line-of-sight detection unit 2 (step ST1 in FIG. 2). Note that capturing of the line-of-sight detection image is repeated continuously or intermittently.
  • the line-of-sight detection unit 2 receives image data of a line-of-sight detection image from the line-of-sight measurement camera 1, it analyzes the image data and detects the user's line of sight (step ST2). Since the process of analyzing the image data and detecting the user's line of sight is a known technique, a detailed description thereof will be omitted.
  • a detection result of the user's line of sight for example, a two-dimensional coordinate (HUD, an XY coordinate of a surface on which the display and instrument panel of the car navigation device are arranged) of a point (gaze point) that the user is looking at, or the user 3D coordinates (HUD, XYZ coordinates of the space where the display and instrument panel of the car navigation device are arranged) of the point (gazing point) at which the camera is looking is output to the gaze time measuring unit 4 in time series.
  • HUD two-dimensional coordinate
  • HUD an XY coordinate of a surface on which the display and instrument panel of the car navigation device are arranged
  • HUD XYZ coordinates of the space where the display and instrument panel of the car navigation device are arranged
  • the presentation information acquisition unit 3 is, for example, a presentation target currently displayed by the display processing unit 9 from an application, or a type, display area (display position), and size of a presentation target to be displayed on the display processing unit 9 from now on.
  • the presentation information indicating the color, timing, animation expression method, importance, etc. is acquired, and the presentation information is output to the gaze time measuring unit 4 and the grasped minimum required time specifying unit 6 (step ST3).
  • the gaze time measuring unit 4 identifies a gaze area that is a region that the user is viewing from the gaze detection result by the gaze detection unit 2.
  • the gaze area means an area (excluding the stable gaze) within the range of the effective visual field centering on the point (gaze point) that the user is looking at.
  • the gaze time measurement unit 4 specifies the gaze area of the user
  • the gaze time measurement unit 4 measures a gaze time T that is a time in which the gaze area and the display area indicated by the presentation information acquired by the presentation information acquisition unit 3 overlap (step) ST4).
  • the display area indicated by the presentation information acquired by the presentation information acquisition unit 3 is the display of the car navigation device
  • the time during which the user's gaze area includes the display of the car navigation device is measured as the gaze time T. .
  • the grasped minimum required time specifying unit 6 refers to the table stored in the grasped minimum required time storage unit 5 and corresponds to the type of presentation target indicated by the presentation information
  • the minimum required time T min to be grasped is specified (step ST5).
  • FIG. 4 is an explanatory diagram showing a table stored by the grasped minimum required time storage unit 5.
  • the minimum grasping time T min is the minimum necessary time for grasping the content to be presented. In FIG. 4, if the type of the presentation target is an icon, the minimum required grasp time T min is 1.5 seconds, and if the type of the presentation target is a character, the minimum grasp time T min is the number of characters ⁇ 0.8 seconds. Some examples are shown.
  • the minimum required time T min for grasping may be changed according to user attributes (for example, the state of gaze, fatigue, age, comprehension, etc.). For example, when the user is an elderly person 60 years or older, a mode in which 1.0 second is added to the minimum grasped necessary time T min can be considered.
  • gazing time measuring unit 4 measures the gaze time T, when the grasp minimum required time specifying unit 6 identifies a grasp minimum required time T min, the gaze time T and grasp minimum required time T min And the degree of recognition of the user with respect to the presentation target is determined from the comparison result.
  • the determination process of the user recognition level by the user recognition level determination unit 7 will be specifically described.
  • the time at which it is not possible to fully grasp the content to be presented, but it is possible to grasp a little is defined as “small grasp time T Little ”.
  • small grasp time T Little As the minute grasping time T Little , 0.75 seconds shorter than the minimum grasping necessary time T min can be considered.
  • the user recognition level determination unit 7 compares the gaze time T with the minute grasp time T Little (step ST6), and the gaze time T is less than the minute grasp time T Little . If it is short, it is considered that the user's recognition level with respect to the presentation target is very low, so the user's recognition level is recognized as “level 1” (step ST7). If the gaze time T is greater than or equal to the minute grasp time T Little , the user recognition level determination unit 7 compares the gaze time T with the minimum grasp time T min (step ST8).
  • the user recognition level determination unit 7 When the gaze time T is shorter than the minimum required time T min , the user recognition level determination unit 7 is not able to sufficiently grasp the content of the presentation target, but is considered to be somewhat grasped.
  • the user's recognition level is certified to “level 2” (step ST9). Further, since the user recognition level determination unit 7 is considered to have sufficiently grasped the content to be presented if the gaze time T is equal to or greater than the minimum grasp time T min , the user recognition level is set to “level 3”. (Step ST10).
  • the presentation form selection unit 8 selects a presentation form corresponding to the recognition degree of the user from a plurality of presentation forms when the user recognition degree determination unit 7 determines the recognition degree of the user with respect to the presentation target. That is, the presentation form selection unit 8 selects a presentation form that is less conspicuous as the user's recognition level determined by the user recognition level determination unit 7 is higher.
  • the most prominent presentation form is selected (step ST11), and if the user's recognition level is medium level 2, the presentation form that is slightly conspicuous is selected (step ST12), and the user's recognition degree is highest at level 3. If there is, an inconspicuous presentation form is selected (step ST13).
  • FIG. 5 is an explanatory diagram showing an example of a presentation form corresponding to the degree of user recognition.
  • FIG. 5 shows an example in which, when the type of the presentation target is an icon, if the recognition level is the lowest level 1, the icon blinking display + voice guidance is selected as the presentation form. Further, if the recognition level is medium level 2, only the blinking display of the icon is selected as the presentation form, and if the recognition degree is the highest level 3, icon highlighting is not performed as the presentation form. An example is shown.
  • the presentation form selection unit 8 selects a presentation form corresponding to the degree of recognition of the user, the presentation form displays the presentation target on the display processing unit 9 in the presentation form, and voice data indicating the content of the presentation target is displayed in the voice output unit. 10 is output. That is, if the user's recognition level is the lowest level 1, the presentation form selection unit 8 displays the presentation target on the display processing unit 9 in the presentation form corresponding to the level 1, and indicates the content of the presentation target. If the voice data is output to the voice output unit 10 (step ST14) and the user's recognition level is medium level 2, the presentation target is displayed on the display processing unit 9 in a presentation form corresponding to level 2. Then, audio data indicating the content of the presentation target is output to the audio output unit 10 (step ST15). If the user's level of recognition is level 3, the presentation target is displayed on the display processing unit 9 in a presentation form corresponding to level 3, and voice data indicating the content of the presentation target is displayed in the voice output unit 10. (Step ST16).
  • the presentation form selection unit 8 presents a presentation target.
  • the announcement of the car navigation device is a presentation target and the announcement is “off the route”
  • the announcement “I am out of the route” is displayed on the display of the car navigation device which is the display processing unit 9.
  • the gaze time T when the user is looking at the display of the car navigation device is equal to or longer than the minute grasp time T Little (0.75 seconds) and less than 8.8 seconds, the user's degree of recognition is medium.
  • the presentation target is presented in a presentation form corresponding to level 2.
  • the announcement “I am off the route” is displayed blinking on the display of the car navigation device that is the display processing unit 9 so that the user is aware that the announcement is being displayed.
  • the presentation mode corresponding to the lowest level 1 of the user's recognition level is presented.
  • the announcement “I am off the route” is displayed blinking on the display of the car navigation device that is the display processing unit 9.
  • the voice output unit 10 outputs the announcement “I am off the route”.
  • the type of the object to be presented is an icon.
  • the time T min is 1.5 seconds as shown in FIG. Therefore, if the gaze time T when the user is looking at the instrument panel is 1.5 seconds or longer, the presentation target is presented in a presentation form corresponding to level 3 where the user's recognition level is the highest.
  • the icon is displayed on the instrument panel, which is the display processing unit 9, without highlighting such as blinking the icon (in order to prevent the occurrence of annoyance due to information presentation). To display.
  • the gaze time T when the user is looking at the instrument panel is not less than the minute grasp time T Little (0.75 seconds) and less than 1.5 seconds, it corresponds to Level 2 where the user's recognition level is medium.
  • the presentation target is presented in the form of presentation. In the example of FIG. 5, the user notices that the icon is displayed by blinking the icon on the instrument panel which is the display processing unit 9. If the gaze time T when the user is looking at the instrument panel is shorter than the minute grasping time T Little (0.75 seconds), the presentation target is presented in a presentation form corresponding to Level 1 where the user's recognition level is the lowest. . In the example of FIG. 5, in order to ensure that the user notices that the icon is being presented, the icon is displayed blinking on the instrument panel that is the display processing unit 9, and the meaning of the icon from the audio output unit 10. (For example, engine abnormality) is output by voice.
  • a user's recognition level for one presentation target is determined and the display target is displayed on a display or an instrument panel of the car navigation device according to the user's recognition level for the presentation target is shown.
  • the user's recognition level with respect to the presentation target may be determined at the same time, and each presentation target may be displayed on an arbitrary display processing unit 9 according to the user's recognition level with respect to each presentation target.
  • the gaze area which is the region the user is looking at, is identified from the gaze detected by the gaze detection unit 2, and the gaze area and the presentation information acquisition unit 3 are identified.
  • the gaze time measuring unit 4 that measures the gaze time T, which is the time when the display area indicated by the presentation information acquired by the method overlaps, and the type of the presentation target indicated by the presentation information acquired by the presentation information acquisition unit 3,
  • Minimum required time identifying unit 6 for identifying the minimum required time T min that is the minimum necessary time for grasping the content to be presented, and gaze time T measured by the gaze time measuring unit 4 and the minimum required time identifying unit comparing the identified grasped minimum required time T min by 6, and a user recognition determination unit 7 determines awareness of the user to the presented objects from the comparison result provided, the presentation mode selection unit 8, the user certification Since the presentation target is presented in a presentation form corresponding to the degree of recognition determined by the degree determination unit 7, it is possible to suppress an excessive amount of information presentation and reduce annoyance due to the presentation of information. Play
  • the information presentation device is mounted on the vehicle, and the display of the HUD, the car navigation device and the instrument panel have the functions of the display processing unit 9.
  • the monitoring control system Displays, train driver's seat displays, airplane cockpit displays, monitors installed in ship driver's seats, digital signage installed in public spaces with touch operations, etc.
  • the presentation form selection unit 8 may display the presentation target on these displays and the like.
  • the grasping minimum required time storage unit 5 stores a table indicating a correspondence relationship between the type of the presentation target and the grasping minimum necessary time (minimum necessary time for grasping the content of the presentation target).
  • the grasping minimum necessary time specifying unit 6 refers to the table stored in the grasping minimum necessary time storage unit 5 and performs a process of specifying the grasping minimum necessary time Tmin , and the user recognition level determination unit 7 A process of comparing the gaze time T measured by the gaze time measuring unit 4 with the minimum required time T min specified by the minimum required time specifying unit 6 and determining the degree of recognition of the user with respect to the presentation target from the comparison result. The case where it implements is demonstrated.
  • the user recognition level determination unit 7 compares the gaze time T measured by the gaze time measurement unit 4 with a predetermined time (grasping time) determined according to the content of the presentation target, and presents the comparison result. What is necessary is just to determine the recognition degree of the user with respect to the object, and the grasping time is not limited to the grasping minimum necessary time Tmin . For example, the average time for grasping the content of the presentation target or the maximum time required for grasping the content of the presentation target by a plurality of samples may be used.
  • the grasping minimum necessary time storage unit 5 stores a table indicating a correspondence relationship between the type of the presentation target and the grasping time
  • the grasping minimum necessary time specifying unit 6 is stored by the grasping minimum necessary time storage unit 5.
  • a process for specifying the grasping time is performed with reference to the existing table.
  • the functions of the display processing unit 9 and the audio output unit 10 may be supplemented by the external device with reference to the gaze time measured by the external device. In that case, the line-of-sight measurement camera 1, the line-of-sight detection unit 2, the gaze time measurement unit 4, the display processing unit 9, and the audio output unit 10 in FIG. 1 are unnecessary.
  • the presentation target does not present a plurality of information, and when presenting single information, it is not necessary to refer to a table of minimum grasped required time. In that case, the presentation information acquisition unit 3, the grasped minimum required time storage unit 5, and the grasped minimum required time specifying unit 6 in FIG. 1 are not necessary.
  • FIG. 6 is a block diagram showing an information presentation apparatus according to Embodiment 2 of the present invention.
  • the in-vehicle information acquisition unit 11 is composed of, for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like, and in-vehicle information (for example, vehicle speed, acceleration, gasoline gasoline) Carrying out processing to obtain information on the remaining amount, energy remaining in the electric vehicle, tire pressure, location information such as the current location, outside temperature, inside temperature and humidity, music currently being played, navigation information, etc. To do.
  • the importance level determination unit 12 is composed of, for example, a semiconductor integrated circuit mounted with a CPU or a one-chip microcomputer, and the importance level of the presentation target is determined based on the in-vehicle information acquired by the in-vehicle information acquisition unit 11. Perform the process of determining.
  • the in-vehicle information acquisition unit 11 and the importance level determination unit 12 constitute importance level determination means.
  • the presentation form selection unit 13 includes, for example, a GPU or a one-chip microcomputer, and the presentation form corresponding to the recognition degree determined by the user recognition degree determination part 7 and the importance degree determined by the importance degree determination part 12.
  • the presentation form selection part 13 comprises the presentation process means.
  • each of the user recognition level determination unit 7, the in-vehicle information acquisition unit 11, the importance level determination unit 12, the presentation form selection unit 13, the display processing unit 9, and the audio output unit 10 is configured by dedicated hardware.
  • all or part of the information presentation device may be configured by a computer.
  • a part of the information presentation device (the line-of-sight detection unit 2, the presentation information acquisition unit 3, the gaze time measurement unit 4, the grasping minimum necessary time storage unit 5, the grasping minimum necessary time specifying unit 6, the user recognition degree determination unit 7, on-vehicle
  • the grasping minimum necessary time storage unit 5 is configured on the internal memory or the external memory of the computer
  • the described program may be stored in the memory of the computer, and the CPU of the computer may execute the program stored in the memory.
  • the presentation form selection part 8 displays a presentation target on the display process part 9 by the presentation form corresponding to the recognition degree determined by the user recognition degree determination part 7, the content of the presentation target
  • the presentation form selection unit 13 sets the recognition level determined by the user recognition level determination unit 7 and the importance level determined by the importance level determination unit 12.
  • a presentation target may be displayed on the display processing unit 9 in a corresponding presentation form, and voice data indicating the content of the presentation target may be output to the voice output unit 10. Specifically, it is as follows.
  • the in-vehicle information acquisition unit 11 acquires in-vehicle information indicating the current state of the vehicle and outputs the in-vehicle information to the importance level determination unit 12.
  • in-vehicle information for example, vehicle speed, acceleration, gasoline remaining amount of gasoline vehicles, electric vehicle energy remaining amount, tire air pressure, location information such as current location, outside temperature, in-vehicle temperature / humidity, currently playing music, navigation Get information inside and outside the vehicle, such as information.
  • the importance level determination unit 12 acquires the presentation information acquired by the presentation information acquisition unit 3 and receives the in-vehicle information related to the presentation information from the in-vehicle information acquisition unit 11, the importance target is based on the in-vehicle information. Determine the importance of. For example, when a warning indicating a vehicle abnormality is an object to be presented and an icon with a warning indicating a decrease in the remaining amount of gasoline is presented on the instrument panel, the importance of the presentation target is determined based on in-vehicle information regarding the remaining amount of gasoline. .
  • the importance level of the presentation target is indicated as importance level 1 (the importance level is low), and the remaining gasoline level is indicated as 20% or less.
  • the importance of the presentation object is 2 (importance is medium) and the remaining amount of gasoline is 10% or less, the importance of the presentation object is 3 (importance is high).
  • the presentation mode selection unit 13 determines the user's recognition level from the plurality of presentation modes. A presentation form corresponding to the degree of recognition and the importance of the presentation target is selected. That is, the presentation form selection unit 13 selects a presentation form that is less conspicuous as the recognition degree of the user determined by the user recognition degree determination unit 7 is higher, like the presentation form selection unit 8 of FIG. As the importance of is higher, a conspicuous presentation form is selected.
  • FIG. 7 is an explanatory diagram illustrating an example of a presentation form corresponding to the recognition level of the user and the importance level of the presentation target.
  • a different presentation mode is selected.
  • the recognition level of the user is the same level, if the importance level of the presentation target is different, a different presentation mode is selected.
  • the icon is flashed on the instrument panel which is the display processing unit 9 and a message indicating that the remaining amount of gasoline is 10% or less is displayed on the display of the HUD which is the display processing unit 9 or the car navigation device.
  • a voice message is output from the voice output unit 10 indicating that the remaining amount of gasoline is 10% or less.
  • the importance level determination unit 12 that determines the importance level of the presentation target based on the in-vehicle information acquired by the in-vehicle information acquisition unit 11 is provided, and the presentation type selection is performed.
  • the display unit 9 displays the presentation target on the display processing unit 9 in the presentation form corresponding to the recognition degree determined by the user recognition degree determination unit 7 and the importance degree determined by the importance degree determination unit 12, and the presentation target Since the voice data indicating the contents of the information is output to the voice output unit 10, as in the first embodiment, excessive information presentation can be suppressed, and the annoyance caused by the presentation of information can be reduced. There is an effect that it is possible to present the presentation target in an appropriate presentation form according to the current situation.
  • the information presentation device suppresses excessive information presentation when displaying a presentation target (for example, an icon, a character, a map, a moving image, etc.) on a display of a car navigation device, and reduces the troublesomeness of information presentation. Suitable for those that need to be reduced.
  • a presentation target for example, an icon, a character, a map, a moving image, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

 ユーザの視線から注視エリアを特定し、その注視エリアと提示情報取得部3により取得された提示情報が示す表示エリアとが重なっている時間である注視時間Tを計測する注視時間計測部4と、その提示情報が示す提示対象の種類から、提示対象の内容の把握に最低必要な時間である把握最低必要時間Tminを特定する把握最低必要時間特定部6と、その注視時間Tと把握最低必要時間Tminを比較し、その比較結果から提示対象に対するユーザの認識度を判定するユーザ認識度判定部7とを設け、提示形態選択部8が、ユーザ認識度判定部7により判定された認識度に対応する提示形態で、提示対象を提示する。

Description

情報提示装置及び情報提示方法
 この発明は、例えば、提示対象(例えば、アイコン、文字、地図、動画など)をカーナビゲーション装置のディスプレイなどに表示する情報提示装置及び情報提示方法に関するものである。
 以下の特許文献1に開示されている情報提示装置では、車両の運転者の視線を検出して、運転者が注視している注視対象を特定し、その注視対象の種類に対応する情報を表示するようにしている。
 これにより、運転者が必要とする情報を適切に提供することができる。
 以下の特許文献2に開示されている情報提示装置では、ユーザの視線動作をユーザの状態として検出する手段を備えており、例えば、ユーザの視線が画面外に向いている状態、瞬きの波形がゆっくりとしたものになっている状態、眼球成分が急速に減少している状態を検出する。
 この情報提示装置は、上記の状態を検出すると、情報を画面上に表示することが可能な時期であると判断し、画面上に配置されているウィンドウの状態と、ユーザの注視点との関係に基づいて、情報の表示位置を決定して、その情報を表示するようにしている。
 これにより、ユーザの作業集中を妨げず、看過の危険性を減少させることができる。
特開2008-13070号公報(段落番号[0007]) 特開2006-72876号公報(段落番号[0016][0020])
 従来の情報提示装置は以上のように構成されているので、特許文献1の場合、運転者が必要とする情報を適切に提供することができるが、提示対象に対するユーザの認識度を把握して情報量を調整することができない。このため、情報の過多が原因で、情報の見落としや煩わしさを招いてしまうことがある課題があった。
 また、特許文献2の場合、ユーザの視線動作から情報を提示する時期を判断することができるが、特許文献1と同様に、提示対象に対するユーザの認識度を把握して情報量を調整することができない。このため、情報の過多が原因で、情報の見落としや煩わしさを招いてしまうことがある課題があった。
 この発明は上記のような課題を解決するためになされたもので、過多の情報提示を抑えて、情報の提示による煩わしさを軽減することができる情報提示装置及び情報提示方法を得ることを目的とする。
 この発明に係る情報提示装置は、ユーザが提示対象を注視している注視時間と提示対象の内容に応じて定められている把握必要時間とを比較し、その比較結果から提示対象に対するユーザの認識度を判定する認識度判定手段を設け、提示処理手段が、認識度判定手段により判定された認識度に対応する提示形態で、提示対象を提示するようにしたものである。
 この発明によれば、ユーザが提示対象を注視している注視時間と提示対象の内容に応じて定められている把握必要時間とを比較し、その比較結果から提示対象に対するユーザの認識度を判定する認識度判定手段を設け、提示処理手段が、認識度判定手段により判定された認識度に対応する提示形態で、提示対象を提示するように構成したので、過多の情報提示を抑えて、情報の提示による煩わしさを軽減することができる効果がある。
この発明の実施の形態1による情報提示装置を示す構成図である。 この発明の実施の形態1による情報提示装置の処理内容(情報提示方法)を示すフローチャートである。 車両内のHUD、カーナビゲーション装置のディスプレイ及びインパネを示す説明図である。 把握最低必要時間格納部5により格納されているテーブルを示す説明図である。 ユーザの認識度に対応する提示形態の一例を示す説明図である。 この発明の実施の形態2による情報提示装置を示す構成図である。 ユーザの認識度及び提示対象の重要度に対応する提示形態の一例を示す説明図である。
 以下、この発明をより詳細に説明するため、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1はこの発明の実施の形態1による情報提示装置を示す構成図である。
 図1において、視線計測カメラ1は例えばCCDカメラなどの撮像装置から構成されており、ユーザの視線の検出に用いる画像(視線検出用画像)を撮影し、その視線検出用画像の画像データを出力する処理を実施する。視線検出用画像は、ユーザの顔を撮影している画像である。
 視線検出部2は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、視線計測カメラ1から出力された画像データを解析して、ユーザの視線を検出する処理を実施する。
 提示情報取得部3は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、例えば、アプリケーションから、現在、表示処理部9により表示されている提示対象(例えば、アイコン、文字、地図、動画など)、あるいは、これから表示処理部9に表示される提示対象の種類、表示エリア(表示位置)、大きさ、色、タイミング、アニメーションの表現方法、重要度などを示す提示情報を取得する処理を実施する。
 注視時間計測部4は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、視線検出部2により検出された視線から、ユーザが見ている領域である注視エリアを特定し、その注視エリアと提示情報取得部3により取得された提示情報が示す表示エリアとが重なっている時間である注視時間Tを計測する処理を実施する。
 把握最低必要時間格納部5は例えばRAMやハードディスクなどの記憶装置から構成されており、提示対象の種類と把握最低必要時間(提示対象の内容の把握に最低必要な時間)との対応関係を示すテーブルを格納している。
 把握最低必要時間特定部6は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、把握最低必要時間格納部5により格納されているテーブルを参照して、提示情報取得部3により取得された提示情報が示す提示対象の種類に対応する把握最低必要時間Tminを特定する処理を実施する。
 ユーザ認識度判定部7は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、注視時間計測部4により計測された注視時間Tと把握最低必要時間特定部6により特定された把握最低必要時間Tminを比較し、その比較結果から提示対象に対するユーザの認識度を判定する処理を実施する。なお、ユーザ認識度判定部7は認識度判定手段を構成している。
 提示形態選択部8は例えばGPU(Graphics Processing Unit)、あるいは、ワンチップマイコンなどから構成されており、ユーザ認識度判定部7により判定された認識度に対応する提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力する処理を実施する。
 表示処理部9は例えば液晶ディスプレイなどから構成されており、提示形態選択部8の制御の下、提示対象を画面に表示する。
 音声出力部10は例えばスピーカなどから構成されており、提示形態選択部8から出力された音声データにしたがって音声を出力する。
 なお、提示形態選択部8、表示処理部9及び音声出力部10から提示処理手段が構成されている。
 図1では、情報提示装置の構成要素である視線計測カメラ1、視線検出部2、提示情報取得部3、注視時間計測部4、把握最低必要時間格納部5、把握最低必要時間特定部6、ユーザ認識度判定部7、提示形態選択部8、表示処理部9及び音声出力部10のそれぞれが専用のハードウェアで構成されているものを想定しているが、情報提示装置の全部又は一部がコンピュータで構成されていてもよい。
 例えば、情報提示装置の一部(視線検出部2、提示情報取得部3、注視時間計測部4、把握最低必要時間格納部5、把握最低必要時間特定部6、ユーザ認識度判定部7、提示形態選択部8)がコンピュータで構成されている場合、把握最低必要時間格納部5をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、視線検出部2、提示情報取得部3、注視時間計測部4、把握最低必要時間特定部6、ユーザ認識度判定部7及び提示形態選択部8の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
 図2はこの発明の実施の形態1による情報提示装置の処理内容(情報提示方法)を示すフローチャートである。
 次に動作について説明する。
 この実施の形態1では、情報提示装置が車両に搭載されており、HUD(Head-Up Display)、カーナビゲーション装置のディスプレイ及びインパネが、表示処理部9の機能を備えているものとする。
 図3は車両内のHUD、カーナビゲーション装置のディスプレイ及びインパネを示す説明図である。
 視線計測カメラ1は、ユーザの視線の検出に用いる画像である視線検出用画像を撮影し、その視線検出用画像の画像データを視線検出部2に出力する(図2のステップST1)。なお、視線検出用画像の撮影は、連続的又は断続的に繰り返し行われる。
 視線検出部2は、視線計測カメラ1から視線検出用画像の画像データを受ける毎に、その画像データを解析して、ユーザの視線を検出する(ステップST2)。
 画像データを解析してユーザの視線を検出する処理自体は公知の技術であるため詳細な説明は省略する。
 なお、ユーザの視線の検出結果として、例えば、ユーザが見ている地点(注視点)の2次元座標(HUD、カーナビゲーション装置のディスプレイ及びインパネが配置されている面のXY座標)、あるいは、ユーザが見ている地点(注視点)の3次元座標(HUD、カーナビゲーション装置のディスプレイ及びインパネが配置されている空間のXYZ座標)を時系列で注視時間計測部4に出力する。
 提示情報取得部3は、例えば、アプリケーションから、現在、表示処理部9により表示されている提示対象、あるいは、これから表示処理部9に表示される提示対象の種類、表示エリア(表示位置)、大きさ、色、タイミング、アニメーションの表現方法、重要度などを示す提示情報を取得し、その提示情報を注視時間計測部4及び把握最低必要時間特定部6に出力する(ステップST3)。
 注視時間計測部4は、視線検出部2による視線の検出結果から、ユーザが見ている領域である注視エリアを特定する。
 ここで、注視エリアは、ユーザが見ている地点(注視点)を中心とする有効視野の範囲内のエリア(安定注視野を除く)を意味する。
 注視時間計測部4は、ユーザの注視エリアを特定すると、その注視エリアと提示情報取得部3により取得された提示情報が示す表示エリアとが重なっている時間である注視時間Tを計測する(ステップST4)。
 例えば、提示情報取得部3により取得された提示情報が示す表示エリアがカーナビゲーション装置のディスプレイであるとき、ユーザの注視エリアがカーナビゲーション装置のディスプレイを包含している時間を注視時間Tとして計測する。
 把握最低必要時間特定部6は、提示情報取得部3から提示情報を受けると、把握最低必要時間格納部5により格納されているテーブルを参照して、その提示情報が示す提示対象の種類に対応する把握最低必要時間Tminを特定する(ステップST5)。
 ここで、図4は把握最低必要時間格納部5により格納されているテーブルを示す説明図である。
 把握最低必要時間Tminは、提示対象の内容の把握に最低必要な時間である。
 図4では、提示対象の種類がアイコンであれば、把握最低必要時間Tminは1.5秒、提示対象の種類が文字であれば、把握最低必要時間Tminは文字数×0.8秒であるなどの例を示している。
 なお、把握最低必要時間Tminは、ユーザの属性(例えば、視線の状態、疲れ、年齢、理解力など)に応じて変えるようにしてもよい。
 例えば、ユーザが60歳以上の高齢者である場合、上記の把握最低必要時間Tminに、1.0秒を付加するような態様が考えられる。
 ユーザ認識度判定部7は、注視時間計測部4が注視時間Tを計測し、把握最低必要時間特定部6が把握最低必要時間Tminを特定すると、その注視時間Tと把握最低必要時間Tminを比較して、その比較結果から提示対象に対するユーザの認識度を判定する。
 以下、ユーザ認識度判定部7によるユーザの認識度の判定処理を具体的に説明する。
 ここでは、提示対象の内容を十分には把握することができないが、多少の把握は可能であると思われる時間を「微小把握時間TLittle」と定義する。
 なお、微小把握時間TLittleとしては、把握最低必要時間Tminより短い0.75秒などが考えられる。
 ユーザ認識度判定部7は、注視時間計測部4が注視時間Tを計測すると、その注視時間Tと微小把握時間TLittleを比較し(ステップST6)、その注視時間Tが微小把握時間TLittleより短ければ、提示対象に対するユーザの認識度は極めて低いと考えられるため、ユーザの認識度を「レベル1」に認定する(ステップST7)。
 ユーザ認識度判定部7は、その注視時間Tが微小把握時間TLittle以上であれば、その注視時間Tと把握最低必要時間Tminを比較する(ステップST8)。
 ユーザ認識度判定部7は、その注視時間Tが把握最低必要時間Tminより短い場合、提示対象の内容を十分には把握することができていないが、多少は把握していると考えられるため、ユーザの認識度を「レベル2」に認定する(ステップST9)。
 また、ユーザ認識度判定部7は、その注視時間Tが把握最低必要時間Tmin以上であれば、提示対象の内容を十分に把握していると考えられるため、ユーザの認識度を「レベル3」に認定する(ステップST10)。
 提示形態選択部8は、ユーザ認識度判定部7が提示対象に対するユーザの認識度を判定すると、複数の提示形態の中から、ユーザの認識度に対応する提示形態を選択する。
 即ち、提示形態選択部8は、ユーザ認識度判定部7により判定されたユーザの認識度が高い程、目立たない提示形態を選択するものであり、ユーザの認識度が最も低いレベル1であれば、最も目立つ提示形態を選択し(ステップST11)、ユーザの認識度が中程度であるレベル2であれば、少し目立つ提示形態を選択し(ステップST12)、ユーザの認識度が最も高いレベル3であれば、目立たない提示形態を選択する(ステップST13)。
 ここで、図5はユーザの認識度に対応する提示形態の一例を示す説明図である。
 図5では、提示対象の種類がアイコンである場合、認識度が最も低いレベル1であれば、提示形態として、アイコンの点滅表示+音声案内を選択する例を示している。
 また、認識度が中程度であるレベル2であれば、提示形態として、アイコンの点滅表示だけを選択し、認識度が最も高いレベル3であれば、提示形態として、アイコンの強調表現を行わない例を示している。
 提示形態選択部8は、ユーザの認識度に対応する提示形態を選択すると、その提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力する。
 即ち、提示形態選択部8は、ユーザの認識度が最も低いレベル1であれば、レベル1に対応する提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力し(ステップST14)、ユーザの認識度が中程度であるレベル2であれば、レベル2に対応する提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力する(ステップST15)。
 また、ユーザの認識度が最も高いレベル3であれば、レベル3に対応する提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力する(ステップST16)。
 以下、提示形態選択部8が提示対象を提示する際の具体例を説明する。ただし、以下の具体的はあくまでも一例である。
 例えば、カーナビゲーション装置のアナウンスが提示対象であり、そのアナウンスが「ルートから外れています」である場合、この提示対象の種類は文字であり、その文字数が11であるため、把握最低必要時間Tminは、図4に示すように、8.8秒(=11×0.8秒)になる。
 したがって、ユーザがカーナビゲーション装置のディスプレイを見ている注視時間Tが、8.8秒以上であれば、ユーザの認識度が最も高いレベル3に対応する提示形態で、提示対象を提示する。
 図5の例では、アナウンス「ルートから外れています」を点滅するなどの強調表現を行わずに(情報提示による煩わしさの発生を防止ために、強調表現を行わないようにする)、アナウンス「ルートから外れています」を表示処理部9であるカーナビゲーション装置のディスプレイに表示する。
 また、ユーザがカーナビゲーション装置のディスプレイを見ている注視時間Tが、微小把握時間TLittle(0.75秒)以上で、8.8秒未満であれば、ユーザの認識度が中程度であるレベル2に対応する提示形態で、提示対象を提示する。
 図5の例では、アナウンス「ルートから外れています」を表示処理部9であるカーナビゲーション装置のディスプレイに点滅表示することで、アナウンスが表示されていることをユーザが気付くようにしている。
 また、ユーザがカーナビゲーション装置のディスプレイを見ている注視時間Tが、微小把握時間TLittle(0.75秒)より短ければ、ユーザの認識度が最も低いレベル1に対応する提示形態で、提示対象を提示する。
 図5の例では、アナウンスが提示されていることをユーザが確実に気付くようにするために、アナウンス「ルートから外れています」を表示処理部9であるカーナビゲーション装置のディスプレイに点滅表示するとともに、音声出力部10からアナウンス「ルートから外れています」を音声出力する。
 例えば、車両の異常を示す警告が提示対象であり、その警告内容を示すアイコン(例えば、エンジン異常を示すアイコン)をインパネに提示する場合、この提示対象の種類がアイコンであるため、把握最低必要時間Tminは、図4に示すように、1.5秒になる。
 したがって、ユーザがインパネを見ている注視時間Tが、1.5秒以上であれば、ユーザの認識度が最も高いレベル3に対応する提示形態で、提示対象を提示する。
 図5の例では、アイコンを点滅するなどの強調表現を行わずに(情報提示による煩わしさの発生を防止ために、強調表現を行わないようにする)、アイコンを表示処理部9であるインパネに表示する。
 また、ユーザがインパネを見ている注視時間Tが、微小把握時間TLittle(0.75秒)以上で、1.5秒未満であれば、ユーザの認識度が中程度であるレベル2に対応する提示形態で、提示対象を提示する。
 図5の例では、アイコンを表示処理部9であるインパネに点滅表示することで、アイコンが表示されていることをユーザが気付くようにしている。
 また、ユーザがインパネを見ている注視時間Tが、微小把握時間TLittle(0.75秒)より短ければ、ユーザの認識度が最も低いレベル1に対応する提示形態で、提示対象を提示する。
 図5の例では、アイコンが提示されていることをユーザが確実に気付くようにするために、アイコンを表示処理部9であるインパネに点滅表示するとともに、音声出力部10からアイコンが意味する内容(例えば、エンジン異常)を音声出力する。
 ここでは、1つの提示対象に対するユーザの認識度を判定し、その提示対象に対するユーザの認識度に応じて、その提示対象をカーナビゲーション装置のディスプレイやインパネに表示する例を示したが、複数の提示対象に対するユーザの認識度を同時に判定し、各々の提示対象に対するユーザの認識度に応じて、各々の提示対象を任意の表示処理部9に表示するようにしてもよい。
 以上で明らかなように、この実施の形態1によれば、視線検出部2により検出された視線から、ユーザが見ている領域である注視エリアを特定し、その注視エリアと提示情報取得部3により取得された提示情報が示す表示エリアとが重なっている時間である注視時間Tを計測する注視時間計測部4と、提示情報取得部3により取得された提示情報が示す提示対象の種類から、提示対象の内容の把握に最低必要な時間である把握最低必要時間Tminを特定する把握最低必要時間特定部6と、注視時間計測部4により計測された注視時間Tと把握最低必要時間特定部6により特定された把握最低必要時間Tminを比較し、その比較結果から提示対象に対するユーザの認識度を判定するユーザ認識度判定部7とを設け、提示形態選択部8が、ユーザ認識度判定部7により判定された認識度に対応する提示形態で、提示対象を提示するように構成したので、過多の情報提示を抑えて、情報の提示による煩わしさを軽減することができる効果を奏する。
 したがって、例えば、カーナビゲーション装置が提示しているルートから外れてしまった場合、従来であれば、「ルートから外れています」という音声ガイダンスが、ルートから外れている間、鳴り続く煩わしさや、リルートの選択肢がカーナビゲーション装置の画面上から消えない煩わしさが生じるとともに、リルートの選択肢が画面上から消えないことで、地図情報の面積が少なくなってしまうなどの問題を生じるが、この実施の形態1では、ユーザの認識度が高くなると、例えば、音声ガイダンスを止めたり、リルートの選択肢を移動や停止したりすることで、過多の情報提示を抑えて、情報の提示による煩わしさを軽減することができる。
 この実施の形態1では、情報提示装置が車両に搭載されており、HUD、カーナビゲーション装置のディスプレイ及びインパネが、表示処理部9の機能を備えているものについて説明したが、例えば、監視制御システムのディスプレイ、電車の運転席のディスプレイ、飛行機のコックピットのディスプレイ、船の運転席に設置されているモニター、タッチ操作を伴う公共空間に設置されているデジタルサイネージなどが表示処理部9の機能を備えて、提示形態選択部8が、これらのディスプレイ等に提示対象を表示するようにしてもよい。
 また、この実施の形態1では、把握最低必要時間格納部5が、提示対象の種類と把握最低必要時間(提示対象の内容の把握に最低必要な時間)との対応関係を示すテーブルを格納し、把握最低必要時間特定部6が、把握最低必要時間格納部5により格納されているテーブルを参照して、把握最低必要時間Tminを特定する処理を実施し、ユーザ認識度判定部7が、注視時間計測部4により計測された注視時間Tと把握最低必要時間特定部6により特定された把握最低必要時間Tminを比較し、その比較結果から提示対象に対するユーザの認識度を判定する処理を実施する場合について説明している。
 しかしながら、ユーザ認識度判定部7が、注視時間計測部4により計測された注視時間Tと提示対象の内容に応じて定められている所定時間(把握時間)とを比較し、その比較結果から提示対象に対するユーザの認識度を判定するものであればよく、把握時間は、把握最低必要時間Tminに限定されるものではない。例えば、提示対象の内容を把握するための平均時間や、複数人のサンプルが、提示対象の内容を把握するために要した時間の最大時間などであってもよい。
 この場合、把握最低必要時間格納部5は、提示対象の種類と把握時間との対応関係を示すテーブルを格納し、把握最低必要時間特定部6は、把握最低必要時間格納部5により格納されているテーブルを参照して、把握時間を特定する処理を実施するように構成する。
 また、外部装置で測定された注視時間を参照し、表示処理部9及び音声出力部10の機能を外部装置で補ってもよい。その場合、図1における視線計測カメラ1、視線検出部2、注視時間計測部4、表示処理部9及び音声出力部10は不要である。
 さらに、この実施の形態1のように、提示対象が、複数情報を提示するものではなく、単一情報を提示する場合には、把握最低必要時間のテーブルを参照する必要がない。その場合、図1における提示情報取得部3、把握最低必要時間格納部5及び把握最低必要時間特定部6は不要である。
実施の形態2.
 図6はこの発明の実施の形態2による情報提示装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
 車載情報取得部11は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、現在の車両の状態等を示す車載情報(例えば、車速、加速度、ガソリン車のガソリン残量、電気自動車のエネルギー残量、タイヤの空気圧、現在地などの位置情報、外気温、車内の温度・湿度、現在再生中の音楽、ナビ情報などの車内外の情報)を取得する処理を実施する。
 重要度判定部12は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、車載情報取得部11により取得された車載情報に基づいて、提示対象の重要度を判定する処理を実施する。
 なお、車載情報取得部11及び重要度判定部12から重要度判定手段が構成されている。
 提示形態選択部13は例えばGPU、あるいは、ワンチップマイコンなどから構成されており、ユーザ認識度判定部7により判定された認識度及び重要度判定部12により判定された重要度に対応する提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力する処理を実施する。なお、提示形態選択部13は提示処理手段を構成している。
 図6では、情報提示装置の構成要素である視線計測カメラ1、視線検出部2、提示情報取得部3、注視時間計測部4、把握最低必要時間格納部5、把握最低必要時間特定部6、ユーザ認識度判定部7、車載情報取得部11、重要度判定部12、提示形態選択部13、表示処理部9及び音声出力部10のそれぞれが専用のハードウェアで構成されているものを想定しているが、情報提示装置の全部又は一部がコンピュータで構成されていてもよい。
 例えば、情報提示装置の一部(視線検出部2、提示情報取得部3、注視時間計測部4、把握最低必要時間格納部5、把握最低必要時間特定部6、ユーザ認識度判定部7、車載情報取得部11、重要度判定部12、提示形態選択部13)がコンピュータで構成されている場合、把握最低必要時間格納部5をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、視線検出部2、提示情報取得部3、注視時間計測部4、把握最低必要時間特定部6、ユーザ認識度判定部7、車載情報取得部11、重要度判定部12及び提示形態選択部13の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
 上記実施の形態1では、提示形態選択部8が、ユーザ認識度判定部7により判定された認識度に対応する提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力するものを示したが、提示形態選択部13が、ユーザ認識度判定部7により判定された認識度及び重要度判定部12により判定された重要度に対応する提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力するようにしてもよい。
 具体的には、以下の通りである。
 車載情報取得部11、重要度判定部12及び提示形態選択部13以外は、上記実施の形態1と同様であるため、ここでは、車載情報取得部11、重要度判定部12及び提示形態選択部13の処理内容だけを説明する。
 車載情報取得部11は、現在の車両の状態等を示す車載情報を取得し、その車載情報を重要度判定部12に出力する。
 車載情報として、例えば、車速、加速度、ガソリン車のガソリン残量、電気自動車のエネルギー残量、タイヤの空気圧、現在地などの位置情報、外気温、車内の温度・湿度、現在再生中の音楽、ナビ情報などの車内外の情報を取得する。
 重要度判定部12は、提示情報取得部3により取得された提示情報を入手し、車載情報取得部11から、その提示情報に関連する車載情報を受けると、その車載情報に基づいて、提示対象の重要度を判定する。
 例えば、車両の異常を示す警告が提示対象であり、ガソリンの残量低下を警告内容とするアイコンをインパネに提示する場合、ガソリン残量に関する車載情報に基づいて、提示対象の重要度を判定する。
 具体的には、ガソリン残量に関する車載情報が、ガソリン残量30%以下を示している場合、提示対象の重要度を重要度1(重要度は低)、ガソリン残量20%以下を示している場合、提示対象の重要度を重要度2(重要度は中)、ガソリン残量10%以下を示している場合、提示対象の重要度を重要度3(重要度は高)とする。
 提示形態選択部13は、ユーザ認識度判定部7が提示対象に対するユーザの認識度を判定し、重要度判定部12が提示対象の重要度を判定すると、複数の提示形態の中から、ユーザの認識度及び提示対象の重要度に対応する提示形態を選択する。
 即ち、提示形態選択部13は、図1の提示形態選択部8と同様に、ユーザ認識度判定部7により判定されたユーザの認識度が高い程、目立たない提示形態を選択するが、提示対象の重要度が高い程、目立つ提示形態を選択する。
 ここで、図7はユーザの認識度及び提示対象の重要度に対応する提示形態の一例を示す説明図である。
 この実施の形態2では、ユーザの認識度が同じレベルであっても、提示対象の重要度が異なれば、異なる提示形態が選択される。
 図7では、例えば、ユーザの認識度がレベル1である場合、ガソリン残量10%以下であれば(重要度3)、緊急性が高く、提示対象を確実にユーザに認識させる必要があるため、アイコンを表示処理部9であるインパネに点滅表示するとともに、ガソリンの残量が10%以下である旨を示すメッセージを表示処理部9であるHUDやカーナビゲーション装置のディスプレイ等に表示する。また、音声出力部10からガソリンの残量が10%以下である旨を示すメッセージを音声出力する。
 ユーザの認識度が同じレベル1であっても、ガソリン残量20%以下である場合(重要度2)、ガソリン残量10%以下の場合ほど緊急性が高くないので、アイコンを表示処理部9であるインパネに点滅表示し、ガソリンの残量が20%以下である旨を示すメッセージを表示処理部9であるHUDやカーナビゲーション装置のディスプレイ等に表示するが、ガソリンの残量が20%以下である旨を示すメッセージについては音声出力しない。
 また、ユーザの認識度が同じレベル1であっても、ガソリン残量30%以下である場合(重要度2)、緊急性が高くないので、情報過多による煩わしさを軽減する観点から、アイコンの点滅表示だけを行う。
 以上で明らかなように、この実施の形態2によれば、車載情報取得部11により取得された車載情報に基づいて、提示対象の重要度を判定する重要度判定部12を備え、提示形態選択部13が、ユーザ認識度判定部7により判定された認識度及び重要度判定部12により判定された重要度に対応する提示形態で、提示対象を表示処理部9に表示するとともに、その提示対象の内容を示す音声データを音声出力部10に出力するように構成したので、上記実施の形態1と同様に、過多の情報提示を抑えて、情報の提示による煩わしさを軽減することができるほか、現在の状況に応じた適正な提示形態で、提示対象を提示することができる効果を奏する。
 なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
 この発明に係る情報提示装置は、提示対象(例えば、アイコン、文字、地図、動画など)をカーナビゲーション装置のディスプレイなどに表示する際、過多の情報提示を抑えて、情報の提示による煩わしさを軽減する必要性が高いものに適している。
 1 視線計測カメラ、2 視線検出部、3 提示情報取得部、4 注視時間計測部、5 把握最低必要時間格納部、6 把握最低必要時間特定部、7 ユーザ認識度判定部(認識度判定手段)、8 提示形態選択部(提示処理手段)、9 表示処理部(提示処理手段)、10 音声出力部(提示処理手段)、11 車載情報取得部(重要度判定手段)、12 重要度判定部(重要度判定手段)、13 提示形態選択部(提示処理手段)。

Claims (5)

  1.  ユーザが提示対象を注視している注視時間と上記提示対象の内容に応じて定められている把握必要時間とを比較し、その比較結果から上記提示対象に対するユーザの認識度を判定する認識度判定手段と、
     上記認識度判定手段により判定された認識度に対応する提示形態で、上記提示対象を提示する提示処理手段と
     を備えた情報提示装置。
  2.  上記提示処理手段は、上記認識度判定手段により判定されたユーザの認識度が高い程、目立たない提示形態で、上記提示対象を提示することを特徴とする請求項1記載の情報提示装置。
  3.  上記提示対象の重要度を判定する重要度判定手段を備え、
     上記提示処理手段は、上記認識度判定手段により判定された認識度及び上記重要度判定手段により判定された重要度に対応する提示形態で、上記提示対象を提示することを特徴とする請求項1記載の情報提示装置。
  4.  上記提示処理手段は、上記重要度判定手段により判定された重要度が高い程、目立つ提示形態で、上記提示対象を提示することを特徴とする請求項3記載の情報提示装置。
  5.  認識度判定手段が、ユーザが提示対象を注視している注視時間と上記提示対象の内容に応じて定められている把握必要時間とを比較し、その比較結果から上記提示対象に対するユーザの認識度を判定する認識度判定処理ステップと、
     提示処理手段が、上記認識度判定処理ステップで判定された認識度に対応する提示形態で、上記提示対象を提示する提示処理ステップと
     を備えた情報提示方法。
PCT/JP2013/069520 2013-07-18 2013-07-18 情報提示装置及び情報提示方法 WO2015008363A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112013007242.4T DE112013007242T5 (de) 2013-07-18 2013-07-18 Informationsdarstellungsgerät und Informationsdarstellungsverfahren
PCT/JP2013/069520 WO2015008363A1 (ja) 2013-07-18 2013-07-18 情報提示装置及び情報提示方法
US14/766,862 US10109258B2 (en) 2013-07-18 2013-07-18 Device and method for presenting information according to a determined recognition degree
JP2015527112A JP6095781B2 (ja) 2013-07-18 2013-07-18 情報提示装置及び情報提示方法
CN201380076180.5A CN105164499B (zh) 2013-07-18 2013-07-18 信息提示装置和信息提示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/069520 WO2015008363A1 (ja) 2013-07-18 2013-07-18 情報提示装置及び情報提示方法

Publications (1)

Publication Number Publication Date
WO2015008363A1 true WO2015008363A1 (ja) 2015-01-22

Family

ID=52345858

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/069520 WO2015008363A1 (ja) 2013-07-18 2013-07-18 情報提示装置及び情報提示方法

Country Status (5)

Country Link
US (1) US10109258B2 (ja)
JP (1) JP6095781B2 (ja)
CN (1) CN105164499B (ja)
DE (1) DE112013007242T5 (ja)
WO (1) WO2015008363A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091231A (ja) * 2018-12-06 2020-06-11 パナソニックIpマネジメント株式会社 情報提示システム、情報提示方法、プログラム、及び、移動体
JP2020102040A (ja) * 2018-12-21 2020-07-02 パナソニックIpマネジメント株式会社 指導情報の出力方法および指導情報の出力システム
JP2022179574A (ja) * 2019-06-27 2022-12-02 株式会社デンソー 表示制御装置及び表示制御プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868157B (zh) * 2016-04-18 2018-06-15 山东交通学院 基于驾驶员注视时间的隧道出入口限速标志位置设定方法
WO2017212610A1 (ja) * 2016-06-09 2017-12-14 三菱電機株式会社 表示制御装置、表示装置、車載ディスプレイシステムおよび表示制御方法
JP6945130B2 (ja) * 2016-09-13 2021-10-06 パナソニックIpマネジメント株式会社 音声提示方法、音声提示プログラム、音声提示システム及び端末装置
CN107608514A (zh) * 2017-09-20 2018-01-19 维沃移动通信有限公司 信息处理方法及移动终端
CN110533894B (zh) * 2019-09-02 2021-11-02 深圳市新系区块链技术有限公司 一种视觉疲劳提醒的方法、装置、设备及可读存储介质
CN115113784A (zh) * 2021-03-08 2022-09-27 北京七鑫易维信息技术有限公司 一种显示方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184222A (ja) * 2004-12-28 2006-07-13 Nissan Motor Light Truck Co Ltd 車両情報表示装置
JP2009229385A (ja) * 2008-03-25 2009-10-08 Kenwood Corp 車載用表示制御装置、方法及びプログラム
JP2012245880A (ja) * 2011-05-27 2012-12-13 Isuzu Motors Ltd 車両用表示装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP2007225282A (ja) * 2004-03-31 2007-09-06 Pioneer Electronic Corp 情報提示装置、情報提示プログラム及び情報提示方法等
US8232962B2 (en) * 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
JP2006072876A (ja) 2004-09-06 2006-03-16 Fuji Xerox Co Ltd 情報提示装置及び情報提示方法、並びにコンピュータ・プログラム
JP4645299B2 (ja) * 2005-05-16 2011-03-09 株式会社デンソー 車載用表示装置
US8120577B2 (en) * 2005-10-28 2012-02-21 Tobii Technology Ab Eye tracker with visual feedback
CN1830389A (zh) * 2006-04-21 2006-09-13 太原理工大学 疲劳驾驶状态监控装置及方法
JP2008013070A (ja) 2006-07-06 2008-01-24 Toyota Motor Corp 車両用表示装置
JP2008267878A (ja) * 2007-04-17 2008-11-06 Toyota Motor Corp ナビゲーション装置
CN101030316B (zh) * 2007-04-17 2010-04-21 北京中星微电子有限公司 一种汽车安全驾驶监控系统和方法
JP5264193B2 (ja) 2008-01-18 2013-08-14 キヤノン株式会社 表示装置及びその制御方法
JP2010039646A (ja) 2008-08-01 2010-02-18 Dainippon Printing Co Ltd 契約端末装置、契約管理システム、方法、プログラム、記録媒体
JP5292978B2 (ja) 2008-08-01 2013-09-18 富士通株式会社 制御装置、情報処理装置、及びメモリモジュール認識方法
JP5311012B2 (ja) * 2008-09-29 2013-10-09 マツダ株式会社 車両用運転支援装置
CN104284233B (zh) * 2009-10-19 2018-03-20 鹰图公司 视频和遥测数据的数据搜索、解析和同步
US20120236172A1 (en) * 2011-03-14 2012-09-20 Geovector Corp. Multi Mode Augmented Reality Search Systems
CN102779502A (zh) * 2011-05-11 2012-11-14 中兴通讯股份有限公司 一种控制终端屏幕的方法及终端
JP6017854B2 (ja) * 2011-06-24 2016-11-02 本田技研工業株式会社 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP5863423B2 (ja) * 2011-11-30 2016-02-16 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US20140204014A1 (en) * 2012-03-30 2014-07-24 Sony Mobile Communications Ab Optimizing selection of a media object type in which to present content to a user of a device
WO2013169237A1 (en) * 2012-05-09 2013-11-14 Intel Corporation Eye tracking based selective accentuation of portions of a display

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006184222A (ja) * 2004-12-28 2006-07-13 Nissan Motor Light Truck Co Ltd 車両情報表示装置
JP2009229385A (ja) * 2008-03-25 2009-10-08 Kenwood Corp 車載用表示制御装置、方法及びプログラム
JP2012245880A (ja) * 2011-05-27 2012-12-13 Isuzu Motors Ltd 車両用表示装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020091231A (ja) * 2018-12-06 2020-06-11 パナソニックIpマネジメント株式会社 情報提示システム、情報提示方法、プログラム、及び、移動体
JP7270206B2 (ja) 2018-12-06 2023-05-10 パナソニックIpマネジメント株式会社 情報提示システム、情報提示方法、プログラム、及び、移動体
JP2020102040A (ja) * 2018-12-21 2020-07-02 パナソニックIpマネジメント株式会社 指導情報の出力方法および指導情報の出力システム
JP2022179574A (ja) * 2019-06-27 2022-12-02 株式会社デンソー 表示制御装置及び表示制御プログラム

Also Published As

Publication number Publication date
JP6095781B2 (ja) 2017-03-15
CN105164499B (zh) 2019-01-11
US20160012801A1 (en) 2016-01-14
DE112013007242T5 (de) 2016-04-07
US10109258B2 (en) 2018-10-23
JPWO2015008363A1 (ja) 2017-03-02
CN105164499A (zh) 2015-12-16

Similar Documents

Publication Publication Date Title
JP6095781B2 (ja) 情報提示装置及び情報提示方法
US9904362B2 (en) Systems and methods for use at a vehicle including an eye tracking device
US9530065B2 (en) Systems and methods for use at a vehicle including an eye tracking device
US11535260B2 (en) Attention-based notifications
CN111163968B (zh) 交通工具中的显示系统
US9838814B2 (en) Displaying sound indications on a wearable computing system
US9043042B2 (en) Method to map gaze position to information display in vehicle
US20140070934A1 (en) Methods and systems for monitoring driver object detection
JP2010018201A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP6620977B2 (ja) 表示制御装置、投影装置、および表示制御プログラム
JP2017016457A (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
JP2018083441A (ja) 情報表示方法及び情報表示装置
KR20120124256A (ko) 운전자 상태감지 모듈을 이용한 클러스터 컨텐츠 표시시스템 및 클러스터 컨텐츠 표시방법
CN105987717B (zh) 驾驶员视觉传感器性能测试系统
US20160198126A1 (en) Vehicular image control apparatus
JP2015228203A (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
JP2011086125A (ja) 視認検出装置
US9376019B2 (en) Method for operating a control device for a display in a motor vehicle and correspondingly functioning control device
KR101619267B1 (ko) 차량의 hud 제어 방법, 및 차량의 hud 제어 장치
US11768650B2 (en) Display control device, display system, and display control method for controlling display of information
JP2016099891A (ja) 表示操作装置
JP2014174313A (ja) データ再生装置、集積回路、モバイル機器、データ再生方法
JP7262040B2 (ja) 情報提示システム、情報提示方法、プログラム、及び、移動体
JP2021124972A (ja) 情報処理システム、および情報処理プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380076180.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13889413

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015527112

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14766862

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112013007242

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13889413

Country of ref document: EP

Kind code of ref document: A1