WO2021166706A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理方法、及び、プログラム Download PDFInfo
- Publication number
- WO2021166706A1 WO2021166706A1 PCT/JP2021/004514 JP2021004514W WO2021166706A1 WO 2021166706 A1 WO2021166706 A1 WO 2021166706A1 JP 2021004514 W JP2021004514 W JP 2021004514W WO 2021166706 A1 WO2021166706 A1 WO 2021166706A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- user
- information
- vehicle
- state
- information processing
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 57
- 238000003672 processing method Methods 0.000 title claims abstract description 7
- 238000000034 method Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 53
- 238000001514 detection method Methods 0.000 claims description 37
- 206010041349 Somnolence Diseases 0.000 claims description 25
- 201000003152 motion sickness Diseases 0.000 claims description 19
- 235000003642 hunger Nutrition 0.000 claims description 16
- 206010027566 Micturition urgency Diseases 0.000 claims description 3
- 230000037007 arousal Effects 0.000 claims description 2
- 230000004424 eye movement Effects 0.000 claims description 2
- 230000005057 finger movement Effects 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 14
- 230000006399 behavior Effects 0.000 description 25
- 238000010586 diagram Methods 0.000 description 19
- 210000005252 bulbus oculi Anatomy 0.000 description 16
- 230000009471 action Effects 0.000 description 11
- 239000011521 glass Substances 0.000 description 11
- 230000000875 corresponding effect Effects 0.000 description 9
- RYYVLZVUVIJVGH-UHFFFAOYSA-N caffeine Chemical compound CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 8
- 210000001508 eye Anatomy 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- LPHGQDQBBGAPDZ-UHFFFAOYSA-N Isocaffeine Natural products CN1C(=O)N(C)C(=O)C2=C1N(C)C=N2 LPHGQDQBBGAPDZ-UHFFFAOYSA-N 0.000 description 4
- 229960001948 caffeine Drugs 0.000 description 4
- VJEONQKOZGKCAK-UHFFFAOYSA-N caffeine Natural products CN1C(=O)N(C)C(=O)C2=C1C=CN2C VJEONQKOZGKCAK-UHFFFAOYSA-N 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000002485 urinary effect Effects 0.000 description 4
- 239000008280 blood Substances 0.000 description 3
- 210000004369 blood Anatomy 0.000 description 3
- 238000007664 blowing Methods 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 208000032140 Sleepiness Diseases 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 230000035622 drinking Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000027939 micturition Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000037321 sleepiness Effects 0.000 description 2
- 244000241257 Cucumis melo Species 0.000 description 1
- 235000015510 Cucumis melo subsp melo Nutrition 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 208000004880 Polyuria Diseases 0.000 description 1
- 206010048232 Yawning Diseases 0.000 description 1
- FJJCIZWZNKZHII-UHFFFAOYSA-N [4,6-bis(cyanoamino)-1,3,5-triazin-2-yl]cyanamide Chemical compound N#CNC1=NC(NC#N)=NC(NC#N)=N1 FJJCIZWZNKZHII-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 235000008429 bread Nutrition 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001882 diuretic effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 206010016256 fatigue Diseases 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 235000015205 orange juice Nutrition 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 235000019685 rice crackers Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Definitions
- the present technology relates to an information processing device, an information processing method, and a program, and particularly to an information processing device, an information processing method, and a program that enable highly convenient information presentation in a vehicle or the like.
- Patent Document 1 discloses that switching from the automatic operation mode to the manual operation mode is performed according to the state of the user.
- This technology was made in view of such a situation, and makes it possible to present highly convenient information in a car or the like.
- the information processing device or program of the present technology has a user state estimation unit that estimates the state of the user in the vehicle, and projection information projected into the vehicle based on the estimated state of the user. It is a program for operating a computer as an information processing device including an information presentation unit to be generated, or as such a positioning device.
- the information processing device estimates the state of the user in the vehicle and generates projection information projected into the vehicle based on the estimated state of the user. The method.
- the state of the user in the vehicle is estimated, and the projection information projected in the vehicle is generated based on the estimated state of the user.
- FIG. 1 It is a flowchart which showed the processing example performed by the user state estimation processing unit 34. It is a figure which illustrated the state of the inside of a vehicle during automatic driving. It is a figure which showed the state of the inside of a vehicle when information presentation processing is necessary. It is a figure explaining Example 2 of the information presentation process. It is a figure explaining the presentation information in Example 3. FIG. It is a figure explaining Example 4. FIG. It is a figure explaining the information presentation method in Example 4. FIG. It is a figure explaining the information presentation method in Example 4. FIG. It is a figure explaining the information presentation method in Example 4. FIG. It is a figure explaining the information presentation method in Example 4. FIG. It is a block diagram which shows the configuration example of the hardware of the computer which executes a series of processing programmatically.
- FIG. 1 is a block diagram showing a configuration example of an embodiment of an information processing apparatus to which the present technology is applied.
- the information processing device 11 is a device that displays (projects) the presented information generated by a predetermined process on a predetermined portion by a projector or the like, for example, in an automobile.
- the presentation information projected into the vehicle by the projector is called projection information.
- the presented information is information generated by the processing of the OS (Operating System) or a predetermined application (hereinafter, simply referred to as an application).
- the type of application is not limited to a specific type such as a weather forecast application, a music application, a car navigation application, a gourmet application, a video application, a map application, and a discussion application.
- the information processing device 11 has an input unit 12, a graphics display processing unit 13, an output unit 14, and a presentation processing unit 15.
- the input unit 12 includes a general input device that receives the user's operation and the state of the projection surface as input.
- the input unit 12 includes a touch panel, an image sensor, a depth sensor, and a touch sensor.
- the depth sensor acquires three-dimensional information such as the user's state and what the user is holding.
- the depth sensor may be a visible light camera, an infrared camera, a stereo camera, a ToF (time of flight) sensor, or the like.
- the input unit 12 supplies the information (input information) received as input from the user to the graphics display processing unit 13.
- the graphics display processing unit 13 has a function of receiving input information from the input unit 12 and a function of displaying graphics to the user.
- the graphics display processing unit 13 has a function as a control layer of a general OS that controls drawing of multi-contents such as a window for displaying an application and distributes operation events such as touch to each content.
- the graphics display processing unit 13 may acquire the content from a recording medium, from a server or the like via communication, or from another vehicle by vehicle-to-vehicle communication. It may be obtained by any method.
- the graphics display processing unit 13 supplies the input information from the input unit 12 to the presentation processing unit 15.
- the output unit 14 is an output device that presents information to the user.
- the output unit 14 includes an image display display (liquid crystal display, organic EL (Electro-Luminescence) display, etc.) and a projector.
- the presentation processing unit 15 monitors the state of the user and the vehicle.
- the presentation processing unit 15 includes a vehicle state detection unit 20, a user state estimation unit 30, and an information presentation unit 50.
- the vehicle state detection unit 20 detects the state of the automobile (vehicle).
- the vehicle state detection unit 20 includes a vehicle information detection unit 21, an outside information estimation processing unit 22, and a vehicle state storage unit 23.
- the automobile information detection unit 21 detects the current position of the own vehicle and the surrounding POI (point of interest) information. It is a general one based on the data used in car navigation systems.
- the automobile information detection unit 21 determines the distance from the position of the own vehicle during automatic driving to the exit of the expressway that must be changed to manual driving, the distance to pass the SA or PA entrance, the traveling speed of the own vehicle, and the like. Therefore, the information presenting unit 50 calculates information such as how long the content can be played back.
- the automobile information detection unit 21 acquires information on whether the visibility is poor at night from the current time, and whether the environment is physiologically prone to accidents by switching from a cone to a rod with mesopic vision in the evening, which will be described later.
- the user state estimation processing unit 34 adds points to the processing when it is visually disadvantageous.
- the automobile information detection unit 21 acquires information on whether the road is slippery due to rain or snow at the current location, and whether the steering wheel is easily stolen by a strong wind. Add points to the processing when it is disadvantageous to.
- the out-of-vehicle information estimation processing unit 22 performs processing for estimating out-of-vehicle information using information from a general out-of-vehicle sensing module composed of a camera, radar, and LiDAR (Light Detection and Ringing).
- a general out-of-vehicle sensing module composed of a camera, radar, and LiDAR (Light Detection and Ringing).
- the vehicle state storage unit 23 stores the numbers of surrounding vehicles, driver characteristics, colors, vehicle types, and positions obtained from the vehicle exterior information estimation processing unit 22 in the time series direction.
- the vehicle state storage unit 23 manages (saves) the vehicle state in the form of a relational database, a lookup table, or the like.
- the user state estimation unit 30 estimates the state of the user in the vehicle.
- the user state estimation unit 30 includes a user behavior detection unit 31, a user state definition unit 32, a user state storage unit 33, and a user state estimation processing unit 34.
- the user behavior detection unit 31 detects the user's line of sight, posture, behavior, grasped object, etc. by using the information of the camera or sensor for the inside of the vehicle.
- the user state definition unit 32 has dull eyes, dull fingers, urge to urinate, is hungry, and has motion sickness with respect to the user's behavior obtained from the user behavior detection unit 31.
- -Define a conversion table for estimating the user's condition such as fatigue and drowsiness.
- the user state definition unit 32 manages (saves) in the form of a relational database, a lookup table, or the like.
- the user state storage unit 33 stores the estimated user state. At the same time, the user state storage unit 33 defines the expected resistance according to the attributes of the user.
- the user state storage unit 33 is generally realized in the form of a relational database or a lookup table.
- the user state estimation processing unit 34 estimates the user's state by performing conversion processing on the user's action obtained from the user action detection unit 31 by the user state definition unit 32, and accumulates the result as the user state. The process of accumulating in the unit 33 is performed. When the accumulated state exceeds a certain level and exceeds the tolerance, the level is calculated according to the degree of exceeding, and the information presentation unit 50, which will be described later, calculates the parameter at which level the content is reproduced.
- the information presentation unit 50 generates and presents presentation information such as contents and warnings to the user.
- the presentation (projection) method and presentation time (projection time) are controlled by the information obtained from the vehicle state detection unit 20 and the user state estimation unit 30.
- 2 and 3 are a plan view and a side view of the automobile 51 to which the present technology is applied.
- projectors 61, 62, 63, and 64 which are a form of the output unit 14, are installed in the vehicle of the automobile 51.
- the projector 61 is installed near the center in the vertical and horizontal directions at the rear part of the vehicle.
- the projector 62 is installed on the upper part of the right side surface (for example, the upper part of the C-pillar) in the rear part of the vehicle.
- the projector 63 is installed on the upper left side surface (for example, the upper part of the C-pillar) in the rear part of the vehicle.
- the projector 64 is installed on the front side of the ceiling in the vehicle.
- FIG. 4 is a diagram illustrating the position where the projected image of the projector is projected.
- the portion where the projected image from the projector is projected includes a ceiling 92, a rear seat left door glass 94, and a rear seat.
- a display portion where information is displayed or a screen includes a ceiling 92, a rear seat left door glass 94, and a rear seat.
- the projected image 93 from the projector 61 of FIG. 2 is projected on the ceiling 92.
- the projected image 95 from the projector 62 of FIG. 2 is projected on the left door glass 94 of the rear seat.
- the projected image 97 from the projector 63 of FIG. 2 is projected on the right door glass 96 of the rear seat.
- the projected image from the projector 64 of FIG. 2 is projected on the door glass 101 and the dashboard 102 of the passenger seat 82 whose projected image is not shown in FIG.
- the projected images from the projectors 61, 62, or 63 of FIG. 2 are displayed on the back sides of the headrests 99 and 100 of the driver's seat 81 and the passenger seat 82.
- the projector that projects the projected image on the ceiling may be installed on, for example, the headrests 99 or 100 of the driver's seat 81 and the passenger seat 82, the headrests of the rear seats 83 and 84, and the like.
- the part where the projector is installed is not limited to a specific part in the vehicle 91.
- the screen may be the right door glass, windshield, rear glass, armrest, back of the back seat, etc. of the driver's seat 81, and is not limited to a specific part.
- a film for forming an image may be attached to the windshield, or the windshield may be a dimming glass in which the windshield is electrically switched from transparent to opaque.
- an image display panel (liquid crystal display, organic EL display, etc.), which is a form of the output unit 14, is installed on any or all of the screens instead of projecting the projected image from the projector. You may. However, in the following description, it is assumed that the output unit 14 is a projector. Further, when the output unit 14 is a projector, the presentation information presented in the vehicle corresponds to the projection information projected by the projector, and presenting the presentation information corresponds to projecting the projection information.
- the image sensor, depth sensor, etc. included in the input unit 12 may be installed in the vehicle as a set with the projector.
- 5 to 8 are configuration examples of the automobile 51 when a part of the windshield is used as a screen.
- FIGS. 5 and 6 are a plan view and a side view of the automobile 51 showing the state of the screen during driving.
- the screen 70 is arranged on the ceiling of the vehicle of the automobile 51.
- the screen 70 has expansion screens 70A and 70B that can slide in the front-rear direction on the front end side.
- the expansion screens 70A and 70B are housed in a position hidden from the windshield so as not to overlap the windshield except during automatic operation or when the vehicle is stopped.
- FIGS. 7 and 8 are a plan view and a side view of the automobile 51 showing a state in which the screen 70 is expanded during automatic driving or when the vehicle is stopped.
- the expansion screens 70A and 70B in FIGS. 7 and 8 are extended forward with respect to the retracted positions of FIGS. 5 and 6 and are arranged in the upper range of the windshield.
- the entire screen 70 including the expansion screens 70A and 70B becomes one screen extending from the ceiling to the upper part of the windshield.
- the screen 70 may be expanded like the expansion screens 70A and 70B to form one screen from the ceiling to the entire windshield.
- FIG. 9 is a diagram showing how the content is projected on the expanded screen 70.
- one screen 70 extending from the ceiling to the windshield is projected with contents such as sports broadcast images and movies. Users in the car can enjoy watching the content on a large screen.
- FIG. 10 is a diagram showing a quiz screen projected on the expanded screen 70.
- a quiz by a quiz screen is given on the screen 70 extended to the windshield as in FIG. 9. Then, the user in the car points his finger at what he thinks is the correct answer and answers the quiz.
- a sensor for detecting the user's gesture is provided in the vehicle, and a determination of whether the answer is correct or incorrect is displayed on the screen 70.
- the vehicle exterior information estimation processing unit 22 acquires surrounding information using a general vehicle exterior sensing module composed of a camera, radar, and LiDAR.
- FIG. 11 is a diagram showing a situation in which sensing has been started.
- the automobile 51 traveling in the center of the road 140 is the own vehicle.
- the double line extending from the automobile 51 indicates the direction of sensing by the sensing module. Sensing by the sensing module is performed, for example, clockwise.
- FIG. 12 is a diagram showing the status of information obtained by one sensing.
- the information obtained by one sensing in which the sensing direction is rotated 360 degrees is only the information about the parts of the automobiles 141, 143, and the motorcycle 142 on the own vehicle side.
- FIG. 13 is a diagram showing the state of information obtained by repeating sensing.
- FIG. 14 is a flowchart showing a processing example of the vehicle outside information estimation processing unit 22.
- step S11 the vehicle exterior information estimation processing unit 22 performs sensing around the own vehicle and determines whether or not the sensing has made a full turn. Specifically, as described with reference to FIG. 13, it is determined whether or not the information around the own vehicle can be grasped by repeating the sensing.
- step S11 If it is determined in step S11 that the sensing has not made one round, the process proceeds from step S11 to step S12.
- step S12 the vehicle exterior information estimation processing unit 22 acquires sensor information from the input unit 12 (see FIG. 1). The process proceeds from step S12 to step S13.
- step S13 the vehicle outside information estimation processing unit 22 determines whether or not the vehicle has been detected.
- step S13 If it is determined in step S13 that the vehicle is not detected, the process returns from step S13 to step S11.
- step S13 If it is determined in step S13 that the vehicle has been detected, the process proceeds to step S14.
- step S14 the vehicle outside information estimation processing unit 22 determines whether or not the vehicle number can be detected.
- step S14 If it is determined in step S14 that the number can be detected, the process proceeds from step S14 to step S16.
- step S14 If it is determined in step S14 that the number cannot be detected, the process proceeds from step S14 to step S15.
- step S15 the vehicle exterior information estimation processing unit 22 determines whether or not the driver has been able to detect it.
- step S15 If it is determined in step S15 that the driver could be detected, the process proceeds from step S15 to step S17.
- step S15 If it is determined in step S15 that the driver cannot be detected, the process proceeds from step S15 to step S18.
- step S16 the vehicle exterior information estimation processing unit 22 determines whether or not the number detected in step S14 matches the number defined in the vehicle state storage unit 23.
- step S16 If it is determined in step S16 that the number detected in step S14 does not match the number defined in the vehicle state storage unit 23, the process proceeds from step S16 to step S20.
- step S16 If it is determined in step S16 that the number detected in step S14 matches the number defined in the vehicle state storage unit 23, the process proceeds from step S16 to step S21.
- step S17 the vehicle exterior information estimation processing unit 22 determines whether or not the driver detected in step S15 matches the characteristics of the driver defined in the vehicle state storage unit 23.
- step S17 If it is determined in step S17 that the driver detected in step S15 does not match the characteristics of the driver defined in the vehicle state storage unit 23, the process proceeds from step S17 to step S20.
- step S17 If it is determined in step S17 that the driver detected in step S15 matches the characteristics of the driver defined in the vehicle state storage unit 23, the process proceeds from step S17 to step S21.
- step S18 the vehicle exterior information estimation processing unit 22 determines whether or not the color / vehicle type defined in the vehicle state storage unit 23 matches the detected vehicle position.
- step S18 If it is determined in step S18 that the color / vehicle type defined in the vehicle state storage unit 23 does not match the detected vehicle position, the process proceeds from step S18 to step S20.
- step S18 If it is determined in step S18 that the color and vehicle type defined in the vehicle state storage unit 23 match the detected vehicle position, the process proceeds from step S18 to step S21.
- step S20 the vehicle outside information estimation processing unit 22 adds a definition and registers the acquired information. The process proceeds from step S20 to step S21.
- step S21 the vehicle state storage unit 23 updates the vehicle position and also updates the last update time. The process returns from step S21 to step S11.
- the vehicle exterior information estimation processing unit 22 determines whether or not the vehicle detected in step S13 is a vehicle registered in the vehicle state storage unit 23 by the processing of steps S14 to S18.
- the vehicle outside information estimation processing unit 22 can uniquely identify another vehicle when the number is detected, and therefore determines whether or not the vehicle is a registered vehicle based on the number.
- the accuracy is inferior to that of the number, but the vehicle outside information estimation processing unit 22 determines whether or not the vehicle is a registered vehicle according to the characteristics of the driver. If the driver is not detected, the accuracy is further inferior, but the vehicle outside information estimation processing unit 22 determines whether or not the vehicle is a registered vehicle based on the color and model of the vehicle.
- step S11 If it is determined in step S11 that the sensing has gone around, the process proceeds from step S11 to step S22.
- step S22 the vehicle exterior information estimation processing unit 22 determines whether or not there is data in the vehicle state storage unit 23 in which the last update time has passed a certain time or more (data in which a certain time or more has passed from the last update time to the current time). Is determined.
- step S22 If it is determined in step S22 that there is no data whose last update time has passed a certain time or more, the process skips step S23 and ends this flowchart.
- step S22 If it is determined in step S22 that there is data for which the last update time has passed a certain time or more, the process proceeds from step S22 to step S23, and the vehicle outside information estimation processing unit 22 deletes the corresponding definition. That is, since it is estimated that the vehicle whose last update time has passed a certain time or more does not exist around the own vehicle, it is deleted from the vehicle state storage unit 23.
- step S23 When the process of step S23 is completed, this flowchart ends.
- the processing of this flowchart is performed, for example, once every few seconds or periodically every frame.
- Vehicle state storage unit 23 When a vehicle that has not been registered is detected, the vehicle state storage unit 23 registers the information of the vehicle in step S20 of FIG. 14 and accumulates data on vehicles around the own vehicle.
- FIG. 15 is a diagram illustrating data accumulated in the vehicle state storage unit 23.
- the data items registered (stored) in the vehicle state storage unit 23 for each vehicle are the vehicle ID, number, driver, color, vehicle type, vehicle position, and last update time.
- Identification information (number) attached to each vehicle is registered in the vehicle ID item.
- a license plate is registered in the number item.
- Features such as age, gender, and hair color are registered in the driver items.
- the color of the vehicle is registered in the color item.
- the body type of the vehicle is registered in the vehicle type item.
- the vehicle position item the position of the vehicle as seen from the own vehicle is registered.
- the last update time item the time when the vehicle was last detected is registered.
- the information registered in the item of the last update time may be information that can grasp the elapsed time from the last update time to the current time, even if it is not the time itself when the vehicle was last detected.
- the vehicle with vehicle ID # 4 is regarded as a characteristic of the number and driver, but a considerable amount of time has passed since the last update time.
- the vehicle with vehicle ID # 4 is considered to be no longer around the vehicle, so it is subject to deletion.
- the user behavior detection unit 31 acquires information from the in-vehicle camera or sensor from the input unit 12 and detects the user's line of sight, posture, behavior, and the object held by the user.
- FIG. 16 is a diagram illustrating user behavior detection.
- the image of FIG. 16 is a photographed image taken by a camera for the inside of a car.
- the user behavior detection unit 31 detects the user's behavior by extracting feature points such as eyes, nose, mouth, and joint points from the captured image acquired from the in-vehicle camera and generating bone data and the like. In FIG. 16, the action pointed by the user is detected from the data of the joint points.
- the user state definition unit 32 defines a conversion table for estimating the user's state with respect to the application executed by the user and the user's behavior detected by the user behavior detection unit 31.
- the estimated user state is, for example, drowsiness of the eyeball (state related to the movement of the eyeball), drowsiness of the fingers (state related to the movement of the fingers), motion sickness (state related to the presence or absence (degree) of motion sickness), and so on. Being hungry (state related to whether or not you are hungry (degree of hunger)), having motion sickness (state related to whether or not you are motion sickness (degree of motion sickness)), and having fatigue drowsiness (presence or absence of fatigue sleepiness (degree)) ), Etc.
- the estimated user state may be any one or more of these user states.
- FIG. 17 is a diagram illustrating data (conversion table) stored in the user state definition unit 32.
- the data items stored in the user state definition unit 32 include an application, a user behavior, a threshold value, and an estimated user state.
- the type of application expected to be used by the user is registered in the application item.
- the behavior expected to be performed by the user is registered.
- the judgment condition for adding (or subtracting) the value of the estimated user state is registered.
- the items of the estimated user state are subdivided, and the items of the estimated user state include dullness of the eyeball, dullness of the fingers, urge to urinate, hunger, motion sickness, and drowsiness. Then, the number of points added (number of points deducted) when it is determined that each state is applicable is registered in each item.
- the eyeball is dull because he / she keeps watching the same content (eyeball dullness: +1), but the controller
- the user state is estimated as if the finger is moving (dullness of the finger: -1).
- the eyeball is dull (eyeball dullness: +2) and the fingers are because they are looking at the smartphone at a closer distance than the vehicle screen.
- the user state is estimated as dull (dullness of fingers: +1).
- the user's condition is estimated as if fatigue and drowsiness have accumulated (fatigue / drowsiness: +1).
- the user state storage unit 33 stores the estimated user state for each user. Further, the user state storage unit 33 defines the resistance assumed according to the attribute of the user.
- FIG. 18 is a diagram illustrating the data accumulated in the user state storage unit 33.
- Data items stored in the user state storage unit 33 include user ID, seat, estimated user state, and assumed user tolerance.
- Identification information attached to each user is registered in the user ID item. Gender and age are registered in the attribute item. In the seat item, the seat on which the user is seated is registered.
- the items of the estimated user status are subdivided, and as in FIG. 17, items such as dullness of the eyeball, dullness of the fingers, urge to urinate, hunger, motion sickness, and fatigue drowsiness are included.
- a numerical value indicating the degree of conformity to those states is registered in each item. Scores such as +1 and -1 are added to the item of the estimated user state every time the action (see FIG. 17) defined by the user state definition unit 32 is detected and exceeds the threshold value.
- the items of assumed user tolerance are also subdivided, and like the estimated user state, items such as dullness of the eyeball, dullness of fingers, urge to urinate, hunger, motion sickness, and fatigue drowsiness are included. In each item, a numerical value indicating resistance to those states is registered.
- User 1 is presumed to be a driver because he is a male in his 40s and is located in the driver's seat. Since this user becomes a driver when switching from automatic driving to manual driving, resistance to eye dullness and finger dullness is set, and if this resistance is exceeded, information such as exercising before switching to manual driving etc. The presentation is performed by the information presentation unit 50.
- User 2 is a female in her twenties and is located in the passenger seat. Since he is not a driver, it is not necessary to consider the tolerance of eyeball dullness and finger dullness, and the tolerance of eyeball dullness and finger dullness is ⁇ . In addition, since the user 2 can sleep at any time, the fatigue and drowsiness tolerance is also ⁇ . Further, since the user 2 is an adult, the tolerance for urination and stool is high, and since the user 2 is not a driver, the tolerance for motion sickness is lower than that of the driver.
- Users 3 and 4 are children located in the back seats. Children have low tolerance for urinary sickness because they cannot tolerate it, and they have low tolerance for motion sickness because they tend to get motion sickness.
- the user state estimation processing unit 34 performs a process of accumulating data in the user state storage unit 33, and determines the level of information presentation in the information presentation unit 50.
- FIG. 19 is a flowchart showing a processing example performed by the user state estimation processing unit 34.
- step S41 the user state estimation processing unit 34 determines whether or not all users have been sensed.
- step S41 If it is determined in step S41 that all users have been sensed, the process proceeds from step S41 to step S46.
- step S41 If it is determined in step S41 that all users are not being sensed, the process proceeds from step S41 to step S42.
- step S42 the user state estimation processing unit 34 acquires sensor information from the input unit 12, and the user behavior detection unit 31 extracts the corresponding user behavior.
- the corresponding user behavior is an behavior corresponding to the combination of the application and the user behavior (see FIG. 17) in the user state definition unit 32. The process proceeds from step S42 to step S43.
- step S43 the user state estimation processing unit 34 determines in step S42 whether or not an action corresponding to the combination of the application and the user action in the user state definition unit 32 has been extracted.
- step S43 If it is determined in step S43 that the corresponding action is not extracted, the process returns from step S43 to step S41.
- step S43 If it is determined in step S43 that the corresponding action has been extracted, the process proceeds from step S43 to step S44, and the user state estimation processing unit 34 defines the action extracted in step S43 in the user state definition unit 32. It is determined whether or not the threshold value (see FIG. 17) has been exceeded.
- step S44 If it is determined in step S44 that the extracted action does not exceed the threshold value, the process returns from step S44 to step S41.
- step S44 If it is determined in step S44 that the extracted action exceeds the threshold value, the process proceeds from step S44 to step S45.
- step S45 the user state estimation processing unit 34 adds the value of the estimated user state of FIG. 17 defined in the user state definition unit 32 to the estimated user state of FIG. 18 of the user state storage unit 33, and the estimated user. Update the status. The process returns from step S45 to step S41.
- step S41 If it is determined in step S41 that all users have been sensed, the process proceeds from step S41 to step S46.
- step S46 the user state estimation processing unit 34 acquires information from the automobile information detection unit 21. The process proceeds from step S46 to step S47.
- step S47 the user state estimation processing unit 34 determines whether the time is evening or night based on the information acquired in step S46.
- step S47 If it is determined in step S47 that the time is not evening or night, the process skips step S48 and proceeds from step S47 to step S49.
- step S47 If it is determined in step S47 that the time is evening or night, the process proceeds from step S47 to step S48.
- step S48 the user state estimation processing unit 34 adds +1 point to the dullness of the eyeball. This point is a process based on the environment, such as whether the visibility is poor at night from the current time, and whether the environment is physiologically prone to accidents by switching from a cone to a rod with mesopic vision in the evening. Is done independently.
- step S49 the user state estimation processing unit 34 determines whether it is raining or snowing, or whether a strong wind is blowing.
- step S49 If it is determined in step S49 that neither rain nor snow is falling and no strong wind is blowing, the process skips step S50 and proceeds from step S49 to step S51.
- step S49 If it is determined in step S49 that it is raining or snowing, or if it is determined that a strong wind is blowing, the process proceeds from step S49 to step S50.
- step S50 the user state estimation processing unit 34 adds +1 point to the dullness of the fingers.
- This point addition is an environment-based process of whether the road is slippery due to rain or snow at the current location, and whether the steering wheel is easily stolen by a strong wind, and is performed independently of the user's actions. The process proceeds from step S50 to step S51.
- step S51 the user state estimation processing unit 34 determines whether or not there is a user whose estimated user state exceeds the assumed user tolerance in the data (see FIG. 18) of the user state storage unit 33.
- step S51 If it is determined in step S51 that there is no user whose estimated user status exceeds the assumed user tolerance, the processing of this flowchart ends.
- step S51 If it is determined in step S51 that there is a user whose estimated user state exceeds the assumed user tolerance, the process proceeds from step S51 to step S52.
- step S52 the user state estimation processing unit 34 determines whether or not the estimated user state exceeds the assumed user tolerance by 3 or more.
- step S52 If it is determined in step S52 that the estimated user state exceeds the assumed user tolerance by 3 or more, the process proceeds from step S52 to step S53, and the user state estimation processing unit 34 performs level 3 information presentation processing.
- step S52 If it is determined in step S52 that the estimated user state does not exceed the assumed user tolerance by 3 or more, the process proceeds from step S52 to step S54.
- step S54 the user state estimation processing unit 34 determines whether or not the estimated user state exceeds the assumed user tolerance by 2 or more.
- step S54 If it is determined in step S54 that the estimated user state exceeds the assumed user tolerance by 2 or more, the process proceeds from step S54 to step S55, and the user state estimation processing unit 34 performs level 2 information presentation processing.
- step S54 If it is determined in step S54 that the estimated user state does not exceed the assumed user tolerance by 2 or more, the process proceeds from step S54 to step S56.
- step S56 the user state estimation processing unit 34 determines whether or not the estimated user state exceeds the assumed user tolerance by 1 or more.
- step S56 If it is determined in step S56 that the estimated user state exceeds the assumed user tolerance by 1 or more, the process proceeds from step S56 to step S57, and the user state estimation processing unit 34 performs level 1 information presentation processing.
- step S56 If it is determined in step S56 that the estimated user state does not exceed the assumed user tolerance by 1 or more, the process skips steps S56 to S57 and ends this flowchart.
- information presentation level the level of information presentation processing (hereinafter referred to as information presentation level), that is, an example of processing according to the user state will be described.
- FIG. 20 is a diagram illustrating the inside of the vehicle during automatic driving.
- the information presenting unit 50 grasps the timing of switching from automatic driving to manual driving based on the information from the vehicle state detecting unit 20, for example, as shown in FIG. 20 until 5 minutes before getting off the expressway. By viewing only the content, users can immerse themselves in the movie world.
- FIG. 21 is a diagram showing the inside of the vehicle when information presentation processing is required.
- the window such as the windshield 182 is transparent so that the outside of the vehicle can be seen.
- the transparency of displaying the outside of the vehicle is adjusted to 75% at information presentation level 1, 50% at information presentation level 2, and 0% at information presentation level 3 (the outside of the vehicle can be seen as it is without transparency).
- NS By displaying an image of the outside of the vehicle in the peripheral visual field according to the information presentation level, that is, the user's condition, the situation around the vehicle can be grasped unconsciously, and smooth switching to manual driving is possible.
- the transparency value is reflected in the transmittance when only the peripheral part of the image is transmitted through the glass, and in the alpha blending density when displaying the image of the front camera.
- the information presentation unit 50 stops content playback and sets it to 0% when the time from the timing of switching from automatic driving to manual driving reaches a predetermined time (one minute before getting off the expressway, etc.).
- the second embodiment is an example of visually presenting the situation around the own vehicle in a short time. It is presented at the timing of switching from automatic operation to manual operation, but it may be used in combination with the first embodiment.
- FIG. 22 is a diagram illustrating Example 2 of the information presentation process.
- map information including the point where the own vehicle is traveling is presented from a viewpoint directly above the own vehicle.
- zooming in from this state 201 to the state 202 the user is made to grasp where the own vehicle is currently traveling.
- the images of states 201 and 202 in FIG. 22 are generated from terrain data and POI data.
- the images after the state 203 in FIG. 22 are generated from the sensing data, and the display can be switched from the state 202 to the state 203 by using the information around the own vehicle generated by the outside information estimation processing unit 22.
- the viewpoint is switched to the third person viewpoint
- the display is switched to the state 204
- the zoom is zoomed in from the state 204 to the state 205.
- the viewpoint shifts to the inside of the car and is switched to the first-person viewpoint.
- the glass is made transparent and the screen is hidden so that the outside of the vehicle can be seen in a form that matches the projected content as in state 206.
- the information presentation unit 50 presents the information. Change the presentation time etc. according to the level.
- the information presentation unit 50 adjusts so that only the states 204 to 206 of FIG. 22 are presented over 30 seconds.
- the information presentation unit 50 adjusts to present the states 201 to 206 of FIG. 22 over 1 minute.
- the information presentation unit 50 adjusts so that the states 201 to 206 of FIG. 22 are slowly presented over 3 minutes.
- Example 3 when the user state estimation processing unit 34 needs to present information when the “bluntness of the eyeball” and the “bluntness of the fingers” exceed a predetermined value, the user's vehicle is used as in the first and second embodiments. This is an example of not only presenting information about the surroundings, but also actively putting in an exercise to eliminate the dullness before that. That is, in the third embodiment, the presentation information for raising the awakening level of the user is presented according to the state of the user.
- FIG. 23 is a diagram for explaining the presentation information in the third embodiment.
- FIG. 23 a simple exercise is assumed in which figures with numbers presented on the screen are touched (selected) in ascending order of the numbers.
- screen 221 is presented.
- figures of the same shape and size in this case, only a circle
- numbers in a narrow range are presented in a single color with numbers in a narrow range. The exercise using the screen 221 can be easily cleared.
- screen 222 is presented. On the screen 222, figures having the same shape with different colors and sizes are presented in a wider range than the screen 221. Exercise using screen 222 is a little more difficult than screen 221.
- screen 223 is presented.
- figures having different colors, shapes, and sizes are presented in a wider range than the screen 222.
- the fingers are positively stretched to reduce the dullness, and the eyeball is also greatly moved to reduce the dullness. Since the exercise using the screen 223 is more difficult than the screen 222, the user's awakening is further promoted.
- the screen 224 may be presented. On the screen 224, a larger number of figures than the screen 223 are presented at a high density. Based on the information from the vehicle state detection unit 20, it is also possible to adjust how many figures are presented according to the remaining time until switching from automatic driving to manual driving.
- the own vehicle position, the next SA position, the next next PA position, the own vehicle speed, and the traffic congestion information are integrated based on the information of the vehicle state detection unit 20.
- the information corresponding to the horizontal axis in the figure is generated, and the vertical axis is generated on the assumption that the points of urinary urgency, hunger, motion sickness, and fatigue drowsiness estimated by the user state estimation unit 30 continue linearly. That is, the vehicle state detection unit 20 estimates the arrival time to the point where the user can take a break. In the example of FIG. 24, it is presumed that drowsiness and stool will exceed tolerance by the time the next PA is reached, so that the user needs to stop by the next SA.
- the presentation information is presented based on the estimated state of the user and the arrival time to the point where the user can rest.
- the presented information corresponding to the highest information presentation level, that is, a break. Only the presentation information with the highest degree of prompting may be presented.
- 25 to 27 are diagrams for explaining the information presentation method in the fourth embodiment.
- the presentation method shown in FIG. 25 will be adopted.
- a part of the content is dynamically modified to present the information.
- meal scenes 241 and 242 in the content are detected, and a natural place (such as on a table or plate 251) is detected even if a meal is placed.
- the presentation information resemble of SA that makes the user stop by is presented in a natural place even if the meal is placed.
- SA SA specialty melon bread 252 so that it is placed on the plate 251 and making the user aware of it, it is possible to naturally control the destination of the car during automatic driving without feeling pressed. It becomes.
- the presentation method shown in FIG. 26 will be adopted.
- the presentation information 262 that proposes a break is presented by sandwiching the content switching (between the image 261 and the image 263). Since the presentation information 262 is presented when the content is switched, the user's discomfort can be suppressed.
- the presentation method shown in FIG. 27 will be adopted.
- the alert 291 is displayed on the image 282 presented in the next scene of the image 281.
- the high degree of urgency is beneficial to the user, except for discomfort.
- the presentation information having a high degree of prompting a break is presented according to the state of the user.
- a part or all of the processing performed by the information processing apparatus 11 of FIG. 1 can be executed by hardware or software.
- the programs constituting the software are installed on the computer.
- the computer includes a computer embedded in dedicated hardware and, for example, a general-purpose personal computer capable of executing various functions by installing various programs.
- FIG. 28 is a block diagram showing a configuration example of computer hardware that executes the above-mentioned series of processes programmatically.
- a CPU Central Processing Unit
- ROM ReadOnly Memory
- RAM RandomAccessMemory
- An input / output interface 405 is further connected to the bus 404.
- An input unit 406, an output unit 407, a storage unit 408, a communication unit 409, and a drive 410 are connected to the input / output interface 405.
- the input unit 406 consists of a keyboard, mouse, microphone, etc.
- the output unit 407 includes a display, a speaker, and the like.
- the storage unit 408 includes a hard disk, a non-volatile memory, and the like.
- the communication unit 409 includes a network interface and the like.
- the drive 410 drives a removable medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
- the CPU 401 loads the program stored in the storage unit 408 into the RAM 603 via the input / output interface 405 and the bus 404 and executes the above-described series. Is processed.
- the program executed by the computer (CPU401) can be recorded and provided on the removable media 411 as a package media or the like, for example.
- the program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
- the program can be installed in the storage unit 408 via the input / output interface 405 by mounting the removable media 411 in the drive 410. Further, the program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the storage unit 408. In addition, the program can be pre-installed in the ROM 402 or the storage unit 408.
- the program executed by the computer may be a program that is processed in chronological order according to the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
- a user state estimation unit that estimates the state of the user inside the vehicle, An information processing device including an information presenting unit that generates projection information projected on the inside of the vehicle based on the estimated state of the user.
- the user state estimation unit determines, as the user's state, eye movement, finger movement, urinary urgency, hunger, motion sickness, and at least any of fatigue and drowsiness.
- the information processing apparatus according to (1).
- the user state estimation unit detects any of the user's actions (1) to (3) based on at least one of the user's line of sight, posture, behavior, and an object held by the user. Information processing device described in Crab.
- the user state estimation unit compares the accumulated state of the user with the predefined tolerance of the user.
- the information processing device according to any one of (1) to (4), wherein the information presenting unit projects the projected information according to a comparison result between the state of the user and the tolerance of the user.
- the information processing apparatus according to (5), wherein the resistance of the user is defined for each attribute of the user.
- a vehicle condition detection unit for detecting the condition of the vehicle, The information processing device according to any one of (1) to (6), wherein the information presenting unit controls projection of the projection information based on the detected state of the vehicle.
- the vehicle state detection unit detects the timing at which the vehicle switches from automatic driving to manual driving, and detects the timing when the vehicle switches from automatic driving to manual driving.
- the information processing device controls the projection of the projection information based on the estimated state of the user and the time until the timing.
- the vehicle state detection unit detects information outside the vehicle and obtains information outside the vehicle.
- the information processing device controls projection of projection information having different viewpoints based on an estimated user state and information outside the vehicle.
- the information processing device includes map information and information around the vehicle.
- the information processing apparatus according to (11), wherein the information presenting unit changes the projection time of the projection information having different viewpoints according to the state of the user.
- the vehicle state detection unit estimates the arrival time to a point where the user can rest, and determines the arrival time.
- the information processing device according to (7) to (12), wherein the information presenting unit controls projection of the projection information based on the estimated state of the user and the arrival time to the point.
- the information processing device according to any one of (1) to (14), wherein the information presenting unit projects the projection information that raises the arousal level of the user according to the state of the user.
- the projection information is a plurality of figures that allow a user to select in the order of attached numbers.
- the information processing device wherein the information presenting unit projects figures having a number, color, shape, and size according to the state of the user.
- Information processing device Estimate the state of the user inside the vehicle, An information processing method that generates projection information projected inside the vehicle based on the estimated state of the user. (19) On the computer Estimate the state of the user inside the vehicle, A program for executing a process of generating projection information projected inside the vehicle based on the estimated state of the user.
- 11 Information processing device 12 Input unit, 13 Graphics display processing unit, 14 Output unit, 20 Vehicle status detection unit, 21 Automatic person information detection unit, 22 External information estimation processing unit, 23 Vehicle status storage unit, 30 User status estimation Unit, 31 User behavior detection unit, 32 User state definition unit, 33 User state storage unit, 34 User state estimation processing unit, 50 Information presentation unit
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
本技術は、車内等での利便性の高い情報提示を行えるようにする情報処理装置、情報処理方法、及び、プログラムに関する。 車両の車内のユーザの状態が推定され、推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報が生成される。本技術は、自動車の車内に設置される投影装置に適用することができる。
Description
本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、車内等での利便性の高い情報提示を行えるようにする情報処理装置、情報処理方法、及び、プログラムに関する。
特許文献1には、自動運転モードから手動運転モードへの切り替えをユーザの状態に応じて行うことが開示されている。
自動車等の車内において利便性の高い情報提示が望まれている。
本技術は、このような状況に鑑みてなされたものであり、車内等での利便性の高い情報提示を行えるようにする。
本技術の情報処理装置、又は、プログラムは、車両の車内のユーザの状態を推定するユーザ状態推定部と、推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報提示部とを備える情報処理装置、又は、そのような測位装置として、コンピュータを機能させるためのプログラムである。
本技術の情報処理方法は、情報処理装置が、車両の車内のユーザの状態を推定し、推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報処理方法である。
本技術においては、車両の車内のユーザの状態が推定され、推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報が生成される。
以下、図面を参照しながら本技術の実施の形態について説明する。
<<本技術を適用した情報処理装置の一実施の形態>>
図1は、本技術を適用した情報処理装置の一実施の形態の構成例を示したブロック図である。
図1は、本技術を適用した情報処理装置の一実施の形態の構成例を示したブロック図である。
図1において、情報処理装置11は、例えば自動車の車内において、所定の処理により生成した提示情報をプロジェクタ等により所定部位に表示(投影)する装置である。なお、プロジェクタにより車内に投影される提示情報を投影情報という。
提示情報は、OS(Operating System)や所定のアプリケーション(以下、単にアプリという)の処理により生成される情報である。アプリ(処理)の種類は、天気予報アプリ、音楽アプリ、カーナビアプリ、グルメアプリ、動画アプリ、地図アプリ、及び、ディスカッションアプリ等、特定の種類に限定されない。
情報処理装置11は、入力部12、グラフィックス表示処理部13、出力部14、及び、提示処理部15を有する。
入力部12は、ユーザの操作や投影面の状態を入力として受け付ける一般的な入力装置を含む。具体的には、入力部12は、タッチパネル、画像センサ、デプスセンサ、及び、タッチセンサを含む。
デプスセンサは、ユーザの状態や、ユーザが何を把持しているか等の三次元情報を取得する。デプスセンサは、可視光カメラ、赤外線カメラ、ステレオカメラ、及びToF(time of flight)センサ等であってよい。
入力部12は、ユーザから入力として受け付けた情報(入力情報)をグラフィックス表示処理部13に供給する。
グラフィックス表示処理部13は、入力部12からの入力情報を受け付ける機能、及び、ユーザに対してグラフィックスを表示する機能を有する。
また、グラフィックス表示処理部13は、アプリケーションを表示するウインドウなど、マルチコンテンツの描画制御や、各コンテンツに対してタッチなどの操作イベント配信を行う、一般的なOSの制御レイヤとして機能を有する。なお、グラフィックス表示処理部13は、コンテンツを、記録媒体から取得してもよいし、通信を介してサーバ等から取得してもよいし、車車間通信により他車から取得してもよく、どのような方法で取得してもよい。
グラフィックス表示処理部13は、入力部12からの入力情報を提示処理部15に供給する。
出力部14は、ユーザに対して情報提示を行う出力装置である。例えば、出力部14は、画像表示ディスプレイ(液晶ディスプレイ、有機EL(Electro-Luminescence)ディスプレイ等)やプロジェクタを含む。
提示処理部15は、ユーザ及び自動車の状態を監視する。
提示処理部15は、車両状態検出部20、ユーザ状態推定部30、及び、情報提示部50を有する。
車両状態検出部20は、自動車(車両)の状態を検出する。車両状態検出部20は、自動車情報検出部21、車外情報推定処理部22、及び、車両状態蓄積部23を有する。
自動車情報検出部21は、自車の現在位置や周囲のPOI(point of interest)情報を検出する。カーナビで用いられるデータに基づく一般的なものである。
また、自動車情報検出部21は、自動運転中の自車の位置から手動運転に変わらなければいけない高速道路の出口までの距離、SAやPA入口を通過するまでの距離、自車の走行速度などから、情報提示部50がコンテンツをどれくらいの時間再生可能かといった情報を算出する。
また、自動車情報検出部21は、現在の時刻から夜で視界が悪いかどうか、夕方で薄明視で錐体から杆体に切り替わり生理的に事故を起こしやすい環境かどうかという情報を取得し、後述のユーザ状態推定処理部34にて視覚的に不利な場合の処理に加点する。
自動車情報検出部21は、現在地に雨や雪が降っていて道路が滑りやすいかどうか、強風によりハンドルが奪われやすいかどうかという情報を取得し、後述のユーザ状態推定部30にて手指の運動的に不利な場合の処理に加点する。
車外情報推定処理部22は、カメラ・レーダー・LiDAR(Light Detection and Ranging)から構成される一般的な車外向けセンシングモジュールの情報を使い、車外の情報を推定する処理を行う。
車両状態蓄積部23は、車外情報推定処理部22から得られた、周囲の車両のナンバー、ドライバーの特徴、色、車種、位置を時系列方向に蓄積する。
車両状態蓄積部23は、車両状態をリレーショナルデータベースやルックアップテーブル等の形態で管理(保存)する。
ユーザ状態推定部30は、車内のユーザの状態を推定する。ユーザ状態推定部30は、ユーザ行動検出部31、ユーザ状態定義部32、ユーザ状態蓄積部33、及び、ユーザ状態推定処理部34を有する。
ユーザ行動検出部31は、車内向けカメラやセンサの情報を用い、ユーザの視線・姿勢・所作・把持している物体などを検出する。
ユーザ状態定義部32は、ユーザ行動検出部31から得られたユーザの行動に対して、眼球が鈍っている・手指が鈍っている・尿意便意がある・空腹である・車酔いをしている・疲労眠気があるなどの、ユーザの状態を推定するための変換表を定義する。ユーザ状態定義部32は、リレーショナルデータベースやルックアップテーブル等の形態で管理(保存)する。
ユーザ状態蓄積部33は、推定されたユーザの状態を蓄積する。同時にユーザ状態蓄積部33はユーザの属性に合わせて想定される耐性を定義する。ユーザ状態蓄積部33は、リレーショナルデータベースやルックアップテーブルのような形態で実現されることが一般的である。
ユーザ状態推定処理部34は、ユーザ行動検出部31から得られたユーザの行動に対して、ユーザ状態定義部32により変換処理を行うことで、ユーザの状態を推定し、その結果をユーザ状態蓄積部33に蓄積する処理を行う。蓄積された状態が一定以上になり耐性を上回る場合は、上回る程度に応じてレベルを算出し、後述の情報提示部50にコンテンツをどのレベルで再生するかのパラメータ算出を行う。
情報提示部50は、ユーザに対してコンテンツや警告などの提示情報を生成して提示する。車両状態検出部20とユーザ状態推定部30とから得られた情報によって提示(投影)する方法や提示時間(投影時間)はコントロールされる
<出力部14について>
出力部14の一実施の形態について説明する。
出力部14の一実施の形態について説明する。
図2及び図3は、本技術が適用される自動車51の平面図及び側面図である。
図2及び図3において、自動車51の車内には、出力部14の一形態であるプロジェクタ61、62、63、64が設置される。
プロジェクタ61は、車内の後部における上下左右方向の中央付近に設置される。プロジェクタ62は、車内の後部における右側の側面上部(例えばCピラーの上部)に設置される。プロジェクタ63は、車内の後部における左側の側面上部(例えばCピラーの上部)に設置される。プロジェクタ64は、車内の天井の前側部分に設置される。
図4は、プロジェクタの投影画像が投影される位置を例示した図である。
自動車51の車内91において、例えば、プロジェクタからの投影画像が投影される部位(情報が表示される表示部位、又は、スクリーンという)としては、天井92、後部座席の左ドアガラス94、後部座席の右ドアガラス96、運転席81及び助手席82のヘッドレスト99及び100、助手席82のドアガラス101、及び、ダッシュボード102等がある。
天井92には、図2のプロジェクタ61からの投影画像93が投影される。後部座席の左ドアガラス94には、図2のプロジェクタ62からの投影画像95が投影される。後部座席の右ドアガラス96には、図2のプロジェクタ63からの投影画像97が投影される。
また、図4には投影画像が図示されていない助手席82のドアガラス101及びダッシュボード102には、図2のプロジェクタ64からの投影画像が投影される。運転席81及び助手席82のヘッドレスト99及び100の背面側には、図2のプロジェクタ61、62、又は、63からの投影画像が表示される。
なお、天井に投影画像を投影するプロジェクタは、例えば運転席81及び助手席82のヘッドレスト99又は100や後部座席83及び84のヘッドレスト等に設置されてもよい。プロジェクタが設置される部位は、車内91の特定の部位に限らない。
また、スクリーン(表示部位)は、運転席81の右ドアガラス、フロントガラス、リアガラス、アームレスト、バックシートの背面等でもよく特定の部位に限らない。例えば、フロントガラスには、映像を結像するフィルムが貼り付けられていてもよいし、フロントガラスが電気的に透明から不透明に切替えられる調光ガラスであってもよい。
また、車内91においてスクリーンのいずれか又は全てには、プロジェクタからの投影画像が投影されるのではなく、出力部14の一形態である画像表示パネル(液晶ディスプレイ、有機ELディスプレイ等)が設置されてもよい。ただし、以降の説明においては出力部14はプロジェクタであるとする。また、出力部14がプロジェクタである場合に、車内に提示される提示情報は、プロジェクタにより投影される投影情報に相当し、提示情報を提示することは、投影情報を投影することに相当する。
また、入力部12に含まれる画像センサやデプスセンサ等は、プロジェクタとセットで車内に設置されていてもよい。
図5乃至図8は、フロントガラスの一部分をスクリーンとして使用する場合の自動車51の構成例である。
図5及び図6は、運転中のスクリーンの状態を示した自動車51の平面図及び側面図である。図5及び図6に示されるようにスクリーン70は、自動車51の車両の天井に配置される。スクリーン70は、前端側に、前後方向にスライド可能な拡張スクリーン70A、70Bを有する。拡張スクリーン70A、70Bは、自動運転中又は停車中以外では、フロントガラスに重ならない、フロントガラスから隠れた位置に収納される。
図7及び図8は、自動運転中又は停車中においてスクリーン70が拡張した状態を示した自動車51の平面図及び側面図である。図7及び図8における拡張スクリーン70A、70Bは、図5及び図6の収納状態の位置に対して前方に繰り出されてフロントガラスの上部の範囲に配置されている。これによって、拡張スクリーン70A、70Bを含むスクリーン70の全体が、天井からフロントガラス上部の範囲に及んで1つのスクリーンとなる。座席をリクライニング状態にすることで、スクリーン70の全体を見渡すことが容易となる。なお、拡張スクリーン70A、70Bのようにスクリーン70を拡張して、天井からフロントガラスの全体範囲に及んで1つのスクリーンとなるようにしてもよい。
図9は、拡張されたスクリーン70にコンテンツが投影された様子を示した図である。図9において天井からフロントガラスに及ぶ1つのスクリーン70には、スポーツ中継の映像や映画などのコンテンツが投影される。車内のユーザがコンテンツを大画面で視聴して楽しむことができる。
図10は、拡張されたスクリーン70にクイズ画面が投影された様子を示した図である。図10において図9と同様にフロントガラスまで拡張されたスクリーン70にはクイズ画面によるクイズが出題されている。そして、車内のユーザが正解と思うものに指をさしてクイズに答える様子が示されている。車内にはユーザのジェスチャを検出するセンサが設けられており、正解か不正解か等の判定がスクリーン70に表示される。このようにスクリーン70とセンサとの組合せにより、コンテンツの視聴だけでなく、ユーザの操作を伴うゲーム等も行うことができる。
<車両状態検出部20の説明>
(車外情報推定処理部22)
車外情報推定処理部22は、カメラ・レーダー・LiDARから構成される一般的な車外向けセンシングモジュールを用いて周囲の情報を取得する。
(車外情報推定処理部22)
車外情報推定処理部22は、カメラ・レーダー・LiDARから構成される一般的な車外向けセンシングモジュールを用いて周囲の情報を取得する。
図11は、センシングを開始した状況を示した図である。
図11において、道路140の中央を走行する自動車51が自車である。自動車51から伸びる二重線はセンシングモジュールによるセンシングの方向を示す。センシングモジュールによるセンシングは、例えば、時計回りに行われる。
自車である自動車51の周りには、例えば自動車141、143、バイク142が存在する。それらの車両が図面上、部分的に表されているのは、これらの車両についての情報が得られていないことを示す。
図12は、一度のセンシングで得られた情報の状況を示した図である。
図12のように、センシング方向を360度回転させた一度のセンシングで得られる情報は、自動車141、143、バイク142の自車側の部分についての情報だけである。
図13は、センシングを繰り返すことで得られる情報の状況を示した図である。
センシングを繰り返している間に、自車と他車との位置関係が変化する。したがって、センシングを繰り返して、過去のデータとつなぎ合わせることで、図13のように自車の周囲の情報を把握することができる。
図14は、車外情報推定処理部22の処理例を示したフローチャートである。
ステップS11では、車外情報推定処理部22は、センシングを自車の周囲に行い、センシングが一周したか否かを判定する。具体的には、図13を参照して説明したように、センシングを繰り返すことで、自車の周囲の情報を把握することができたか否かが判定される。
ステップS11において、センシングが一周していないと判定された場合、処理はステップS11からステップS12に進む。
ステップS12では、車外情報推定処理部22は、入力部12(図1参照)からセンサ情報を取得する。処理はステップS12からステップS13に進む。
ステップS13では、車外情報推定処理部22は、車両が検出されたか否かを判定する。
ステップS13において、車両が検出されないと判定された場合には、処理はステップS13からステップS11に戻る。
ステップS13において、車両が検出されたと判定された場合には、処理はステップS14に進む。
ステップS14では、車外情報推定処理部22は、車両のナンバーが検出できたか否かを判定する。
ステップS14において、ナンバーが検出できたと判定された場合には、処理はステップS14からステップS16に進む。
ステップS14において、ナンバーが検出できないと判定された場合には、処理はステップS14からステップS15に進む。
ステップS15では、車外情報推定処理部22は、ドライバーが検出できたか否かを判定する。
ステップS15において、ドライバーが検出できたと判定された場合には、処理はステップS15からステップS17に進む。
ステップS15において、ドライバーが検出できないと判定された場合には、処理はステップS15からステップS18に進む。
ステップS16では、車外情報推定処理部22は、ステップS14において検出されたナンバーが、車両状態蓄積部23に定義されたナンバーと一致するか否かを判定する。
ステップS16において、ステップS14において検出されたナンバーが、車両状態蓄積部23に定義されたナンバーと一致しないと判定された場合には、処理はステップS16からステップS20に進む。
ステップS16において、ステップS14において検出されたナンバーが、車両状態蓄積部23に定義されたナンバーと一致すると判定された場合には、処理はステップS16からステップS21に進む。
ステップS17では、車外情報推定処理部22は、ステップS15において検出されたドライバーが、車両状態蓄積部23に定義されたドライバーの特徴と一致するか否かを判定する。
ステップS17において、ステップS15において検出されたドライバーが、車両状態蓄積部23に定義されたドライバーの特徴と一致しないと判定された場合には、処理はステップS17からステップS20に進む。
ステップS17において、ステップS15において検出されたドライバーが、車両状態蓄積部23に定義されたドライバーの特徴と一致すると判定された場合には、処理はステップS17からステップS21に進む。
ステップS18では、車外情報推定処理部22は、検出車両位置に対して車両状態蓄積部23に定義された色・車種が一致するか否かを判定する。
ステップS18において、検出車両位置に対して車両状態蓄積部23に定義された色・車種が一致しないと判定された場合には、処理はステップS18からステップS20に進む。
ステップS18において、検出車両位置に対して車両状態蓄積部23に定義された色・車種が一致すると判定された場合には、処理はステップS18からステップS21に進む。
ステップS20では、車外情報推定処理部22は、定義を追加し、取得できた情報を登録する。処理がステップS20からステップS21に進む。
ステップS21では、車両状態蓄積部23は、車両位置を更新し、また、最終更新時刻を更新する。処理はステップS21からステップS11に戻る。
このようにして、車外情報推定処理部22は、ステップS14乃至ステップS18の処理により、ステップS13で検出された車両が、車両状態蓄積部23に登録済みの車両であるか否かを判定する。その登録済みの車両か否かの判定において、車外情報推定処理部22は、ナンバーが検出された場合には他車を一意の同定できるので、ナンバーにより登録済みの車両か否かを判定する。ナンバーが検出されなかった場合に、ドライバーが検出されたときは、ナンバーよりも精度は劣るが、車外情報推定処理部22は、ドライバーの特徴により登録済みの車両か否かを判定する。ドライバーも検出されなかった場合には、さらに精度は劣るが、車外情報推定処理部22は、車両の色や車種により登録済みの車両か否かを判定する。
ステップS11において、センシングが一周したと判定された場合、処理はステップS11からステップS22に進む。
ステップS22では、車外情報推定処理部22は、車両状態蓄積部23において、最終更新時刻が一定時間以上経過したデータ(最終更新時刻から現時刻までに一定時間以上経過したデータ)が存在するか否かを判定する。
ステップS22において、最終更新時刻が一定時間以上経過したデータが存在しないと判定された場合には、処理はステップS23をスキップして本フローチャートを終了する。
ステップS22において、最終更新時刻が一定時間以上経過したデータが存在すると判定された場合には、処理はステップS22からステップS23に進み、車外情報推定処理部22は、該当する定義を削除する。即ち、最終更新時刻が一定時間以上経過した車両は自車の周囲に存在しないと推定されるので車両状態蓄積部23から削除される。
ステップS23の処理が終了すると、本フローチャートが終了する。なお、このフローチャートの処理は例えば、数秒に一度、又は毎フレームごとに周期的に行われる。
(車両状態蓄積部23)
車両状態蓄積部23は、登録済みではない車両が検出された場合に、図14のステップS20においてその車両の情報を登録し、自車の周囲の車両に関するデータを蓄積する。
車両状態蓄積部23は、登録済みではない車両が検出された場合に、図14のステップS20においてその車両の情報を登録し、自車の周囲の車両に関するデータを蓄積する。
図15は、車両状態蓄積部23に蓄積されるデータを例示した図である。
各車両について車両状態蓄積部23に登録(蓄積)されるデータの項目としては、車両ID、ナンバー、ドライバー、色、車種、車両位置、及び、最終更新時刻である。
車両IDの項目には、車両ごとに付された識別情報(番号)が登録される。ナンバーの項目には、ナンバープレートが登録される。ドライバーの項目には、年代、性別、髪色などの特徴が登録される。色の項目には、車両の色が登録される。車種の項目には、車両のボディタイプが登録される。車両位置の項目には、自車から見たその車両の位置が登録される。最終更新時刻の項目には、その車両が最後に検出された時刻が登録される。なお、最終更新時刻の項目に登録される情報は、車両が最後に検出された時刻そのもののでなくても、最終更新時刻から現時刻までの経過時間が把握できる情報であればよい。
図15の例では、車両IDが#1の車両については、ナンバーが検出された状態であり、確度高く他車が同定される。
車両IDが#2の車両については、ナンバーやドライバーの特徴は捉えられていないが、色と車種が蓄積されている。
車両IDが#3の車両については、自車との角度からナンバーは捉えられていないものの、ドライバーの特徴が蓄積されている。
車両IDが#4の車両については、ナンバーやドライバーの特徴とも捉えられているが、最終更新時刻からかなりの時間経過している。車両IDが#4の車両は既に自車の周囲にいないと考えられるので、削除の対象となる
<ユーザ状態推定部30>
(ユーザ行動検出部31)
ユーザ行動検出部31は、車内向けカメラやセンサの情報を入力部12から取得し、ユーザの視線、姿勢、所作、及び、ユーザが把持している物体を検出する。
(ユーザ行動検出部31)
ユーザ行動検出部31は、車内向けカメラやセンサの情報を入力部12から取得し、ユーザの視線、姿勢、所作、及び、ユーザが把持している物体を検出する。
図16は、ユーザ行動検出を説明する図である。
図16の画像は車内向けカメラで撮影された撮影画像である。ユーザ行動検出部31は、車内向けカメラから取得した撮影画像から、例えば、目、鼻、口、関節点などの特徴点を抽出し、ボーンデータ等を生成することでユーザの行動を検出する。図16では、関節点のデータからユーザが指さししている所作が検出される。
(ユーザ状態定義部32)
ユーザ状態定義部32は、ユーザが実行しているアプリケーションと、ユーザ行動検出部31により検出されるユーザの行動に対して、ユーザの状態を推定するための変換表を定義している。
ユーザ状態定義部32は、ユーザが実行しているアプリケーションと、ユーザ行動検出部31により検出されるユーザの行動に対して、ユーザの状態を推定するための変換表を定義している。
推定するユーザ状態は、例えば、眼球が鈍っている(眼球の動きに関する状態)、手指が鈍っている(手指の動きに関する状態)、尿意便意がある(尿意便意の有無(程度)に関する状態)、空腹である(空腹か否か(空腹の程度)に関する状態)、車酔いをしている(車酔いか否か(車酔いの程度)に関する状態)、疲労眠気がある(疲労眠気の有無(程度)に関する状態)、などの状態である。なお、推定するユーザ状態は、これらのユーザ状態のうちのいずれか1つ又は複数の状態であってもよい。
図17は、ユーザ状態定義部32に蓄積されるデータ(変換表)を例示した図である。
ユーザ状態定義部32に蓄積されるデータの項目には、アプリケーション、ユーザ行動、閾値、及び、推定ユーザ状態がある。
アプリケーションの項目には、ユーザが利用すると予想されるアプリケーションの種類が登録される。ユーザ行動の項目には、ユーザが行うと予想される行動が登録される。
閾値の項目には、推定ユーザ状態の値を加算(または減算)する際の判定条件が登録される。推定ユーザ状態の項目は細分化されており、推定ユーザ状態には、眼球の鈍り、手指の鈍り、尿意便意、空腹、車酔い、疲労眠気という項目が含まれる。そして、それぞれの項目には各々の状態に該当すると判断されたときの加点数(減点数)が登録される。
図17の例に従って具体的に説明する。
動画プレイヤーのアプリケーションを実行中で、ユーザが5分以上スクリーンを見ている場合は、ずっと同じコンテンツを見続けているので眼球が鈍っている(眼球の鈍り:+1)、コンテンツを見ているだけなので手指が鈍っている(手指の鈍り:+1)、のようにユーザ状態が推定される。
ゲームのアプリケーションを実行中で、ユーザが5分以上コントローラを握ってゲームをやっている場合は、ずっと同じコンテンツを見続けているので眼球が鈍っている(眼球の鈍り:+1)が、コントローラで手指は動かしている(手指の鈍り:-1)、のようにユーザ状態が推定される。
図10のように天井やフロントガラスに大きくクイズ画面を表示し、ユーザが1分以上指さしてクイズに答えるアプリケーションを実行している場合は、大きく目を動かしていて(眼球の鈍り:-1)、手指も動かしている(手指の鈍り:-1)、のようにユーザ状態が推定される。
ユーザがアプリケーションを実行せずに、10分以上スマートフォンを触っている場合は、車両スクリーンよりも近い距離でスマートフォンを見ているので眼球はより鈍っており(眼球の鈍り:+2)、手指が鈍っている(手指の鈍り:+1)、のようにユーザ状態が推定される。
ユーザが1回伸びをした場合は、少しの運動により手指は動いたが(手指の鈍り:-1)、疲労や眠気が溜まっている(疲労・眠気:+1)、のようにユーザ状態が推定される。
ユーザがあくびを1回した場合は、疲労や眠気が溜まっている(疲労・眠気:+1)、のようにユーザ状態が推定される。
本手法ではユーザが何を把持しているかを把握することができるので、ユーザがコーヒを1回飲んでいたらコーヒにはカフェインが含まれ利尿作用があるため尿意便意が溜まっている(尿意・便意:+3)、飲み物を飲んだことで少し空腹が満たされる(空腹:-1)、カフェインの効果で覚醒し疲労や眠気が低減する(疲労・眠気:-1)、のようにユーザ状態が推定される。
ユーザが水を2回飲んだ場合は、カフェインが含まれていないので尿意便意が少し溜まっている(尿意・便意:+2)、飲み物を飲んだことで少し空腹が満たされる(空腹:-1)、のようにユーザ状態が推定される。
ユーザがオレンジジュースを1回飲んだ場合は、カフェインが含まれていないので尿意便意が少し溜まっている(尿意・便意:+2)、糖分が含まれているので血糖値が上がり空腹が満たされる(空腹:-2)、血糖値が少し上がり少しだけ眠くなる(疲労・眠気:+1)、のようにユーザ状態が推定される。
ユーザが煎餅を1回食べた場合は便意が少し溜まっている(尿意・便意:+1)、飲み物でなく腹持ちのよい食べ物を食べることで空腹が大きく満たされる(空腹:-3)、糖質が含まれるため血糖値が大きく上がり眠くなる(疲労・眠気:+2)、のようにユーザ状態が推定される。
ユーザが清涼菓子を5回食べた場合は少し空腹が満たされる(空腹:-1)、車に酔いそうだから清涼菓子でさっぱりしたいと考えていると推定され、少し車酔いを疑う(車酔い:+2)。これにより同乗者が車に酔っているかもしれないことを検出できるため、子供が意思表示をはっきりしない場合や、他人同士が自動運転の同乗カーシェアリングを利用して言い出しづらい場合にも車酔いの検出が可能である。
(ユーザ状態蓄積部33)
ユーザ状態蓄積部33は、推定されるユーザ状態をユーザごとに蓄積している。また、ユーザ状態蓄積部33は、ユーザの属性に合わせて想定される耐性を定義している。
ユーザ状態蓄積部33は、推定されるユーザ状態をユーザごとに蓄積している。また、ユーザ状態蓄積部33は、ユーザの属性に合わせて想定される耐性を定義している。
図18は、ユーザ状態蓄積部33に蓄積されたデータを例示した図である。
ユーザ状態蓄積部33に蓄積されるデータの項目として、ユーザID、座席、推定ユーザ状態、及び、想定ユーザ耐性がある。
ユーザIDの項目には、ユーザごとに付された識別情報が登録される。属性の項目には、性別及び年齢が登録される。座席の項目には、ユーザが着座している座席が登録される。
推定ユーザ状態の項目は細分化されており、図17と同様に、眼球の鈍り、手指の鈍り、尿意便意、空腹、車酔い、及び、疲労眠気という項目が含まれる。各々の項目にはそれらの状態への適合度を表す数値が登録される。この推定ユーザ状態の項目には、ユーザ状態定義部32で定義された行動(図17参照)が検出され閾値を超える度に+1、-1といったスコアが加算されていく。
想定ユーザ耐性の項目も細分化されており、推定ユーザ状態と同じく、眼球の鈍り、手指の鈍り、尿意便意、空腹、車酔い、及び、疲労眠気という項目が含まれる。各々の項目には、それらの状態への耐性を表す数値が登録される。
図18の例に従って具体的に説明する。
ユーザ1は、男性40代で運転席に位置しているため運転者と推定される。このユーザが自動運転から手動運転に切り替わった時に運転者となるため、眼球鈍りや手指鈍りに対しての耐性が設定されており、この耐性をオーバーしたら手動運転に切り替わる前に運動させるなどの情報提示が情報提示部50により行われる。
また、ユーザ1は大人であることから尿意便意耐性が高く、運転者であることから自動車の動きが予想できるため車酔い耐性が高く、運転を行うことから疲労眠気耐性が設定されている。
ユーザ2は、女性20代で助手席に位置している。運転者ではないので眼球鈍り・手指鈍りの耐性を考慮する必要がなく、眼球鈍り・手指鈍りの耐性は∞となっている。また、ユーザ2はいつでも寝られるので疲労眠気耐性も∞である。更に、ユーザ2は大人であることから尿意便意耐性が高く、運転者でないことから車酔い耐性は運転者よりは低い。
ユーザ3及び4は、後部座席に位置している子供である。子供は我慢できないので尿意便意耐性が低く、車に酔いやすいので車酔い耐性が低い。
以上のように推定されたユーザの状態と想定されるユーザの耐性とを個別に比較することで、後述の通りユーザに対して行動変化を提案・警告することが可能となる。
(ユーザ状態推定処理部34)
ユーザ状態推定処理部34は、ユーザ状態蓄積部33にデータを蓄積する処理を行い、情報提示部50での情報提示のレベルを決定する。
ユーザ状態推定処理部34は、ユーザ状態蓄積部33にデータを蓄積する処理を行い、情報提示部50での情報提示のレベルを決定する。
図19は、ユーザ状態推定処理部34が行う処理例を示したフローチャートである。
ステップS41では、ユーザ状態推定処理部34は、全ユーザをセンシングしたか否かを判定する。
ステップS41において、全ユーザをセンシングしたと判定された場合には、処理はステップS41からステップS46に進む。
ステップS41において、全ユーザをセンシングしていないと判定された場合には、処理はステップS41からステップS42に進む。
ステップS42では、ユーザ状態推定処理部34は、入力部12からセンサ情報を取得し、ユーザ行動検出部31で該当するユーザ行動を抽出する。該当するユーザ行動とは、ユーザ状態定義部32におけるアプリケーションとユーザ行動との組合せ(図17参照)に該当する行動である。処理はステップS42からステップS43に進む。
ステップS43では、ユーザ状態推定処理部34は、ステップS42で、ユーザ状態定義部32におけるアプリケーションとユーザ行動との組合せに該当する行動が抽出されたか否かを判定する。
ステップS43において、該当する行為が抽出されないと判定された場合には、処理はステップS43からステップS41に戻る。
ステップS43において、該当する行為が抽出されたと判定された場合、処理はステップS43からステップS44に進み、ユーザ状態推定処理部34は、ステップS43で抽出された行動が、ユーザ状態定義部32において定義されている閾値(図17参照)を超えたか否かを判定する。
ステップS44において、抽出された行為が閾値を超えないと判定された場合には、処理がステップS44からステップS41に戻る。
ステップS44において、抽出された行為が閾値を超えたと判定された場合には、処理はステップS44からステップS45に進む。
ステップS45では、ユーザ状態推定処理部34は、ユーザ状態定義部32に定義されている図17の推定ユーザ状態の値を、ユーザ状態蓄積部33の図18の推定ユーザ状態に加算し、推定ユーザ状態を更新する。処理はステップS45からステップS41に戻る。
ステップS41において、全ユーザをセンシングしたと判定された場合には、処理はステップS41からステップS46に進む。
ステップS46では、ユーザ状態推定処理部34は、自動車情報検出部21から情報を取得する。処理はステップS46からステップS47に進む。
ステップS47では、ユーザ状態推定処理部34は、ステップS46で取得した情報に基づいて、時刻が夕方又は夜であるかを判定する。
ステップS47において、時刻が夕方又は夜ではないと判定された場合には、処理はステップS48をスキップしてステップS47からステップS49に進む。
ステップS47において、時刻が夕方又は夜であると判定された場合には、処理はステップS47からステップS48に進む。
ステップS48では、ユーザ状態推定処理部34は、眼球の鈍りに+1加点する。この加点は、現在の時刻から夜で視界が悪いかどうか、夕方で薄明視で錐体から杆体に切り替わり生理的に事故を起こしやすい環境かどうかという環境に基づいた処理であり、ユーザの行動とは独立して行われる。
ステップS49では、ユーザ状態推定処理部34は、雨又は雪が降っているか否か、又は、強風が吹いているか否かを判定する。
ステップS49において、雨も雪も降っていないと判定され、かつ、強風も吹いていないと判定され場合には、処理はステップS50をスキップしてステップS49からステップS51に進む。
ステップS49において、雨または雪が降っていると判定された場合、又は、強風が吹いていると判定された場合には、処理はステップS49からステップS50に進む。
ステップS50では、ユーザ状態推定処理部34は、手指の鈍りに+1加点する。この加点は、現在地に雨や雪が降っていて道路が滑りやすいかどうか、強風によりハンドルが奪われやすいかどうかという環境に基づいた処理であり、ユーザの行動とは独立して行われる。処理はステップS50からステップS51に進む。
ステップS51では、ユーザ状態推定処理部34は、ユーザ状態蓄積部33のデータ(図18参照)において想定ユーザ耐性よりも推定ユーザ状態が上回るユーザが存在するか否かを判定する。
ステップS51において、想定ユーザ耐性よりも推定ユーザ状態が上回るユーザが存在しないと判定された場合には、本フローチャートの処理は終了する。
ステップS51において、想定ユーザ耐性よりも推定ユーザ状態が上回るユーザが存在すると判定された場合には、処理はステップS51からステップS52に進む。
ステップS52では、ユーザ状態推定処理部34は、推定ユーザ状態が想定ユーザ耐性を3以上上回ったか否かを判定する。
ステップS52において、推定ユーザ状態が想定ユーザ耐性を3以上上回ったと判定された場合には、処理はステップS52からステップS53に進み、ユーザ状態推定処理部34は、レベル3の情報提示処理を行う。
ステップS52において、推定ユーザ状態が想定ユーザ耐性を3以上上回っていないと判定された場合には、処理はステップS52からステップS54に進む。
ステップS54では、ユーザ状態推定処理部34は、推定ユーザ状態が想定ユーザ耐性を2以上上回ったか否かを判定する。
ステップS54において、推定ユーザ状態が想定ユーザ耐性を2以上上回ったと判定された場合には、処理はステップS54からステップS55に進み、ユーザ状態推定処理部34は、レベル2の情報提示処理を行う。
ステップS54において、推定ユーザ状態が想定ユーザ耐性を2以上上回っていないと判定された場合には、処理はステップS54からステップS56に進む。
ステップS56では、ユーザ状態推定処理部34は、推定ユーザ状態が想定ユーザ耐性を1以上上回ったか否かを判定する。
ステップS56において、推定ユーザ状態が想定ユーザ耐性を1以上上回ったと判定された場合には、処理はステップS56からステップS57に進み、ユーザ状態推定処理部34は、レベル1の情報提示処理を行う。
ステップS56において、推定ユーザ状態が想定ユーザ耐性を1以上上回っていないと判定された場合には、処理はステップS56からステップS57をスキップして本フローチャートを終了する。
以下、情報提示処理のレベル(以下、情報提示レベルという)、即ち、ユーザ状態に応じた処理の実施例について説明する。
<実施例1>
自動運転レベル3では、特定区間内(高速道路等)のみで自動運転が可能であり一般道に戻る際には人間の運転者(ドライバ)が運転を行う必要がある。自動運転レベル4では全区間自動運転が可能だが、非常時には人間の運転者が運転を行う可能性が生じる。
自動運転レベル3では、特定区間内(高速道路等)のみで自動運転が可能であり一般道に戻る際には人間の運転者(ドライバ)が運転を行う必要がある。自動運転レベル4では全区間自動運転が可能だが、非常時には人間の運転者が運転を行う可能性が生じる。
急に自動運転システムから人間のドライバに交代されても安全運転が困難であるので、自動運転から手動運転に切り替わる際に短時間で自動車の周囲の状態やどこを走っているかを人間に把握させる必要がある。
図20は、自動運転中の車内の様子を例示した図である。
図20の車内181において、全ての窓は遮光され、フロントガラス182には映像などのコンテンツ183が表示されている。
情報提示部50は、車両状態検出部20からの情報を元に、自動運転から手動運転に切り替わるタイミングを把握しており、例えば、高速道路を降りる5分前になるまでは図20のようにコンテンツのみを表示して、ユーザは映画の世界に没頭することができる。
所定タイミングに達しかつユーザ状態推定処理部34により「眼球の鈍り」「手指の鈍り」「疲労眠気」などの運転席に関する耐性が所定値を超えて情報提示処理が必要になった場合には、車内の映像の周囲に車外の様子を表示する。
図21は、情報提示処理が必要な場合の車内の様子を示した図である。
図21においては、フロントガラス182等の窓が透過して車外の様子が見える状況になっている。
この際に、車外の様子を表示する透明度は、情報提示レベル1の場合は75%、情報提示レベル2では50%、情報提示レベル3では0%(透過なしで車外がそのまま見える)に調整される。情報提示レベル、即ち、ユーザ状態に応じて、周辺視野に車外の映像を表示することで、自車の周囲の状況を無意識下で把握させ、手動運転へのスムーズな切り替えを可能にしている。透明度の値は映像周囲の部分だけガラスを透過する場合は透過率、前方カメラの映像を表示する場合はアルファブレンディングの濃度などに反映される。
また、情報提示部50は、自動運転から手動運転に切り替わるタイミングまでの時間が所定時間(高速道路を降りる1分前など)に達したら、コンテンツ再生を停止し0%にする。
<実施例2>
実施例2は、短時間で視覚的に自車周囲の状況を提示する例である。自動運転から手動運転に切り替わるタイミングで提示されるが、実施例1と併用されても良い。
実施例2は、短時間で視覚的に自車周囲の状況を提示する例である。自動運転から手動運転に切り替わるタイミングで提示されるが、実施例1と併用されても良い。
図22は、情報提示処理の実施例2を説明する図である。
図22の状態201では自車が走行している地点を含む地図情報が、自車の真上からの視点で提示されている。この状態201から状態202のようにズームインしていくことで、自車がいまどこを走行しているかをユーザに把握させる。
図22の状態201及び状態202の画像は、地形データやPOIデータから生成される。
図22の状態203以降の画像は、センシングデータから生成され、車外情報推定処理部22で生成された自車の周囲の情報を用いて、状態202から状態203の表示に切り替えられる。
その後、視点が三人称視点に切り替えられて状態204の表示に切り替えられ、状態204から状態205のようにズームインしていく。さらに視点は車内に移り、一人称視点に切り替えられる。スクリーンに映る画像とフロントガラスが一致したところでガラスの透明化やスクリーンを隠す処理を行い、状態206のように投影内容と一致する形で車外が見えるようになる。
このように視点移動を伴う情報を提示することで、手動運転であれば本来ドライバが知っているはずの自車の周囲の情報を、短時間で直感的に伝達することが可能となる。
ユーザ状態推定処理部34により「眼球の鈍り」「手指の鈍り」「疲労眠気」などの運転席に関する耐性が所定値を超えて情報提示が必要になった際、情報提示部50は、情報提示レベルに応じて提示時間等を変更する。
例えば、情報提示部50は、情報提示レベル1の場合には、図22の状態204乃至206のみを30秒かけて提示するよう調整する。
情報提示部50は、情報提示レベル2の場合には、図22の状態201乃至状態206を1分かけて提示するよう調整する。
情報提示部50は、情報提示レベル3の場合には、図22の状態201乃至状態206をゆっくり3分かけて提示するよう調整する。
<実施例3>
実施例3は、ユーザ状態推定処理部34により「眼球の鈍り」「手指の鈍り」が所定値を超えて情報提示が必要になった際、実施例1や実施例2のように自車の周囲の情報を提示するだけでなく、その前に積極的に鈍りを解消させる運動を入れる例である。即ち、実施例3においては、ユーザの状態に応じて、ユーザの覚醒レベルを上げる提示情報が提示される。
実施例3は、ユーザ状態推定処理部34により「眼球の鈍り」「手指の鈍り」が所定値を超えて情報提示が必要になった際、実施例1や実施例2のように自車の周囲の情報を提示するだけでなく、その前に積極的に鈍りを解消させる運動を入れる例である。即ち、実施例3においては、ユーザの状態に応じて、ユーザの覚醒レベルを上げる提示情報が提示される。
図23は、実施例3における提示情報を説明する図である。
図23においては、スクリーン上に提示された、数字を付した図形を、その数字の小さい順にタッチ(選択)していく簡単な運動を想定する。
情報提示レベル1の場合には、スクリーン221が提示される。スクリーン221においては、その狭い範囲に、数字を付した単色で同形状、同サイズの図形(この場合は円のみ)が提示される。スクリーン221を用いた運動は、簡易にクリアできる。
情報提示レベル2の場合には、スクリーン222が提示される。スクリーン222においては、スクリーン221より広い範囲に、数字を付した色やサイズが異なる同形状の図形が提示される。スクリーン222を用いた運動は、スクリーン221より少し難易度が上がる。
情報提示レベル3の場合、スクリーン223が提示される。スクリーン223においては、スクリーン222よりさらに広い範囲に、色、形状、サイズが異なる図形が提示される。これにより、積極的に手指が伸ばされて鈍りが低減され、かつ眼球も大きく動かされて鈍りが低減される。スクリーン223を用いた運動は、スクリーン222よりも難易度が上がるので、よりユーザの覚醒が促される。
また、情報提示レベル3の場合に、スクリーン224が提示されてもよい。スクリーン224においては、スクリーン223よりも多い数の図形が、高い密度で提示されている。車両状態検出部20からの情報を基に、自動運転から手動運転に切り替わるまでの残り時間に応じて、いくつの図形が提示されるかを調整することも可能である。
<実施例4>
自動運転中にコンテンツを視聴している場合、ユーザは、積極的に車外を見ることがないため自車の位置をあまり意識することがなく、サービスエリア(SA)やパーキングエリア(PA)に訪れるタイミングを図ることが困難となる。そのため、急にトイレに行きたくなったときにはSAを過ぎたばかりで、次のPAまでは渋滞していて長時間我慢しなければならなくなるといった問題が生じる可能性がある。
自動運転中にコンテンツを視聴している場合、ユーザは、積極的に車外を見ることがないため自車の位置をあまり意識することがなく、サービスエリア(SA)やパーキングエリア(PA)に訪れるタイミングを図ることが困難となる。そのため、急にトイレに行きたくなったときにはSAを過ぎたばかりで、次のPAまでは渋滞していて長時間我慢しなければならなくなるといった問題が生じる可能性がある。
実施例4では、図24に示されるように、車両状態検出部20の情報を基に自車位置・次のSA位置・次の次のPA位置・自車速度・渋滞情報を総合して、図中の横軸に該当する情報を生成し、ユーザ状態推定部30で推定される尿意便意・空腹・車酔い・疲労眠気の加点が線形に継続すると仮定して縦軸を生成する。即ち、車両状態検出部20は、ユーザが休憩可能な地点までの到達時間を推定する。図24の例では、次の次のPAに達するまでに眠気や便意が耐性を超えてしまうと推測されるため、ユーザに、次のSAに立ち寄らせる必要が生じる。
そこで、実施例4においては、推定されたユーザの状態と、ユーザが休憩可能な地点までの到達時間に基づいて、提示情報が提示されるようにする。なお、尿意便意、空腹、車酔い、疲労眠気等のユーザ状態のうち、複数のユーザ状態が耐性を超えてしまうと推測される場合には最も高い情報提示レベルに対応した提示情報、即ち、休憩を促す度合いの最も高い提示情報のみを提示するようにしてもよい。
図25乃至図27は、実施例4における情報提示方法を説明する図である。
情報提示レベル1の耐性を超えてしまうと予想される場合、図25の提示方法を採用する。図25の提示方法では、コンテンツの一部を動的に修正して情報を提示する。この例ではコンテンツ中の食事場面241、242を検出し、食事が置かれていても自然な場所(テーブルや皿251の上など)を検出する。そして、食事が置かれていても自然な場所に、ユーザに立ち寄らせるSAを想起させる提示情報を提示する。例えば、とあるSA名物のメロンパン252を、皿251の上に配置されるように提示し、ユーザ自らに気づかせることで、自動運転中の車の行き先を押しつけ感なく自然にコントロールすることが可能となる。
情報提示レベル2の耐性を超えてしまうと予想される場合、図26の提示方法を採用する。図26の提示方法では、コンテンツの切り替わり(画像261と画像263との間)で、休憩を提案する提示情報262を挟で提示する。コンテンツの切り替わりに提示情報262が提示されるので、ユーザの不快感を抑えることができる。
情報提示レベル3の耐性を超えてしまうと予想される場合、図27の提示方法を採用する。図27の提示方法では、画像281の次のシーンで提示される画像282上にアラート291を表示させる。緊急度が高いため、ユーザにとっては不快感を除けば有益である。
以上のように、実施例4における情報提示方法によれば、ユーザの状態に応じて、休憩を促す度合いの高い提示情報が提示される。
<プログラム>
図1の情報処理装置11が行う処理の一部及び全ては、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図1の情報処理装置11が行う処理の一部及び全ては、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図28は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)401,ROM(Read Only Memory)402,RAM(Random Access Memory)403は、バス404により相互に接続されている。
バス404には、さらに、入出力インタフェース405が接続されている。入出力インタフェース405には、入力部406、出力部407、記憶部408、通信部409、及びドライブ410が接続されている。
入力部406は、キーボード、マウス、マイクロフォンなどよりなる。出力部407は、ディスプレイ、スピーカなどよりなる。記憶部408は、ハードディスクや不揮発性のメモリなどよりなる。通信部409は、ネットワークインタフェースなどよりなる。ドライブ410は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア411を駆動する。
以上のように構成されるコンピュータでは、CPU401が、例えば、記憶部408に記憶されているプログラムを、入出力インタフェース405及びバス404を介して、RAM603にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU401)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア411に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア411をドライブ410に装着することにより、入出力インタフェース405を介して、記憶部408にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部409で受信し、記憶部408にインストールすることができる。その他、プログラムは、ROM402や記憶部408に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本技術は、以下のような構成も取ることができる。
(1)
車両の車内のユーザの状態を推定するユーザ状態推定部と、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報提示部と
を備える情報処理装置。
(2)
前記ユーザ状態推定部は、前記ユーザの状態として、眼球の動き、手指の動き、尿意便意の有無、空腹か否か、車酔いか否か、および、疲労・眠気の有無の少なくもいずれかを推定する
(1)に記載の情報処理装置。
(3)
前記ユーザ状態推定部は、前記ユーザの行動に基づいて、前記ユーザの状態を推定する
(1)又は(2)に記載の情報処理装置。
(4)
前記ユーザ状態推定部は、前記ユーザの視線、姿勢、所作、および、前記ユーザが把持している物体の少なくともいずれかに基づいて、前記ユーザの行動を検出する
(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
前記ユーザ状態推定部は、蓄積した前記ユーザの状態と、あらかじめ定義された前記ユーザの耐性とを比較し、
前記情報提示部は、前記ユーザの状態と前記ユーザの耐性との比較結果に応じて、前記投影情報を投影する
(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記ユーザの耐性は、前記ユーザの属性毎に定義される
(5)に記載の情報処理装置。
(7)
前記車両の状態を検出する車両状態検出部をさらに備え、
前記情報提示部は、検出された前記車両の状態に基づいて、前記投影情報の投影を制御する
(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記車両状態検出部は、前記車両が自動運転から手動運転に切り替わるタイミングを検出し、
前記情報提示部は、推定された前記ユーザの状態と、前記タイミングまでの時間に基づいて、前記投影情報の投影を制御する
(7)に記載の情報処理装置。
(9)
前記情報提示部は、前記タイミングまでの時間に基づいて、前記ユーザの状態に応じた透明度の前記投影情報を投影する
(8)に記載の情報処理装置。
(10)
前記車両状態検出部は、前記車両の車外の情報を検出し、
前記情報提示部は、推定された前記ユーザの状態と、前記車外の情報に基づいて、視点の異なる前記投影情報の投影を制御する
(7)乃至(9)に記載の情報処理装置。
(11)
前記車外の情報は、地図情報、及び、前記車両の周囲の情報を含む
(10)に記載の情報処理装置。
(12)
前記情報提示部は、前記ユーザの状態に応じて、視点の異なる前記投影情報の投影時間を変更する
(11)に記載の情報処理装置。
(13)
前記車両状態検出部は、前記ユーザが休憩可能な地点までの到達時間を推定し、
前記情報提示部は、推定された前記ユーザの状態と、前記地点までの到達時間に基づいて、前記投影情報の投影を制御する
(7)乃至(12)に記載の情報処理装置。
(14)
前記情報提示部は、前記ユーザの状態に応じて、休憩を促す度合いの高い前記投影情報を投影する
(13)に記載の情報処理装置。
(15)
前記情報提示部は、前記ユーザの状態に応じて、前記ユーザの覚醒レベルを上げる前記投影情報を投影する
(1)乃至(14)のいずれかに記載の情報処理装置。
(16)
前記投影情報は、ユーザに、付された数字の順に選択させる複数の図形である
(1)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記情報提示部は、前記ユーザの状態に応じた数、色、形状、サイズの図形を投影する
(16)に記載の情報処理装置。
(18)
情報処理装置が、
車両の車内のユーザの状態を推定し、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
情報処理方法。
(19)
コンピュータに、
車両の車内のユーザの状態を推定し、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
処理を実行させるためのプログラム。
車両の車内のユーザの状態を推定するユーザ状態推定部と、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報提示部と
を備える情報処理装置。
(2)
前記ユーザ状態推定部は、前記ユーザの状態として、眼球の動き、手指の動き、尿意便意の有無、空腹か否か、車酔いか否か、および、疲労・眠気の有無の少なくもいずれかを推定する
(1)に記載の情報処理装置。
(3)
前記ユーザ状態推定部は、前記ユーザの行動に基づいて、前記ユーザの状態を推定する
(1)又は(2)に記載の情報処理装置。
(4)
前記ユーザ状態推定部は、前記ユーザの視線、姿勢、所作、および、前記ユーザが把持している物体の少なくともいずれかに基づいて、前記ユーザの行動を検出する
(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
前記ユーザ状態推定部は、蓄積した前記ユーザの状態と、あらかじめ定義された前記ユーザの耐性とを比較し、
前記情報提示部は、前記ユーザの状態と前記ユーザの耐性との比較結果に応じて、前記投影情報を投影する
(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記ユーザの耐性は、前記ユーザの属性毎に定義される
(5)に記載の情報処理装置。
(7)
前記車両の状態を検出する車両状態検出部をさらに備え、
前記情報提示部は、検出された前記車両の状態に基づいて、前記投影情報の投影を制御する
(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記車両状態検出部は、前記車両が自動運転から手動運転に切り替わるタイミングを検出し、
前記情報提示部は、推定された前記ユーザの状態と、前記タイミングまでの時間に基づいて、前記投影情報の投影を制御する
(7)に記載の情報処理装置。
(9)
前記情報提示部は、前記タイミングまでの時間に基づいて、前記ユーザの状態に応じた透明度の前記投影情報を投影する
(8)に記載の情報処理装置。
(10)
前記車両状態検出部は、前記車両の車外の情報を検出し、
前記情報提示部は、推定された前記ユーザの状態と、前記車外の情報に基づいて、視点の異なる前記投影情報の投影を制御する
(7)乃至(9)に記載の情報処理装置。
(11)
前記車外の情報は、地図情報、及び、前記車両の周囲の情報を含む
(10)に記載の情報処理装置。
(12)
前記情報提示部は、前記ユーザの状態に応じて、視点の異なる前記投影情報の投影時間を変更する
(11)に記載の情報処理装置。
(13)
前記車両状態検出部は、前記ユーザが休憩可能な地点までの到達時間を推定し、
前記情報提示部は、推定された前記ユーザの状態と、前記地点までの到達時間に基づいて、前記投影情報の投影を制御する
(7)乃至(12)に記載の情報処理装置。
(14)
前記情報提示部は、前記ユーザの状態に応じて、休憩を促す度合いの高い前記投影情報を投影する
(13)に記載の情報処理装置。
(15)
前記情報提示部は、前記ユーザの状態に応じて、前記ユーザの覚醒レベルを上げる前記投影情報を投影する
(1)乃至(14)のいずれかに記載の情報処理装置。
(16)
前記投影情報は、ユーザに、付された数字の順に選択させる複数の図形である
(1)乃至(15)のいずれかに記載の情報処理装置。
(17)
前記情報提示部は、前記ユーザの状態に応じた数、色、形状、サイズの図形を投影する
(16)に記載の情報処理装置。
(18)
情報処理装置が、
車両の車内のユーザの状態を推定し、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
情報処理方法。
(19)
コンピュータに、
車両の車内のユーザの状態を推定し、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
処理を実行させるためのプログラム。
11 情報処理装置, 12 入力部, 13 グラフィックス表示処理部, 14 出力部, 20 車両状態検出部, 21 自動者情報検出部, 22 車外情報推定処理部, 23 車両状態蓄積部, 30 ユーザ状態推定部, 31 ユーザ行動検出部, 32 ユーザ状態定義部, 33 ユーザ状態蓄積部, 34 ユーザ状態推定処理部, 50 情報提示部
Claims (19)
- 車両の車内のユーザの状態を推定するユーザ状態推定部と、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する情報提示部と
を備える情報処理装置。 - 前記ユーザ状態推定部は、前記ユーザの状態として、眼球の動き、手指の動き、尿意便意の有無、空腹か否か、車酔いか否か、および、疲労・眠気の有無の少なくもいずれかを推定する
請求項1に記載の情報処理装置。 - 前記ユーザ状態推定部は、前記ユーザの行動に基づいて、前記ユーザの状態を推定する
請求項1に記載の情報処理装置。 - 前記ユーザ状態推定部は、前記ユーザの視線、姿勢、所作、および、前記ユーザが把持している物体の少なくともいずれかに基づいて、前記ユーザの行動を検出する
請求項3に記載の情報処理装置。 - 前記ユーザ状態推定部は、蓄積した前記ユーザの状態と、あらかじめ定義された前記ユーザの耐性とを比較し、
前記情報提示部は、前記ユーザの状態と前記ユーザの耐性との比較結果に応じて、前記投影情報を投影する
請求項1に記載の情報処理装置。 - 前記ユーザの耐性は、前記ユーザの属性毎に定義される
請求項5に記載の情報処理装置。 - 前記車両の状態を検出する車両状態検出部をさらに備え、
前記情報提示部は、検出された前記車両の状態に基づいて、前記投影情報の投影を制御する
請求項1に記載の情報処理装置。 - 前記車両状態検出部は、前記車両が自動運転から手動運転に切り替わるタイミングを検出し、
前記情報提示部は、推定された前記ユーザの状態と、前記タイミングまでの時間に基づいて、前記投影情報の投影を制御する
請求項7に記載の情報処理装置。 - 前記情報提示部は、前記タイミングまでの時間に基づいて、前記ユーザの状態に応じた透明度の前記投影情報を投影する
請求項8に記載の情報処理装置。 - 前記車両状態検出部は、前記車両の車外の情報を検出し、
前記情報提示部は、推定された前記ユーザの状態と、前記車外の情報に基づいて、視点の異なる前記投影情報の投影を制御する
請求項7に記載の情報処理装置。 - 前記車外の情報は、地図情報、及び、前記車両の周囲の情報を含む
請求項10に記載の情報処理装置。 - 前記情報提示部は、前記ユーザの状態に応じて、視点の異なる前記投影情報の投影時間を変更する
請求項11に記載の情報処理装置。 - 前記車両状態検出部は、前記ユーザが休憩可能な地点までの到達時間を推定し、
前記情報提示部は、推定された前記ユーザの状態と、前記地点までの到達時間に基づいて、前記投影情報の投影を制御する
請求項7に記載の情報処理装置。 - 前記情報提示部は、前記ユーザの状態に応じて、休憩を促す度合いの高い前記投影情報を投影する
請求項13に記載の情報処理装置。 - 前記情報提示部は、前記ユーザの状態に応じて、前記ユーザの覚醒レベルを上げる前記投影情報を投影する
請求項1に記載の情報処理装置。 - 前記投影情報は、ユーザに、付された数字の順に選択させる複数の図形である
請求項1に記載の情報処理装置。 - 前記情報提示部は、前記ユーザの状態に応じた数、色、形状、サイズの図形を投影する
請求項16に記載の情報処理装置。 - 情報処理装置が、
車両の車内のユーザの状態を推定し、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
情報処理方法。 - コンピュータに、
車両の車内のユーザの状態を推定し、
推定された前記ユーザの状態に基づいて、前記車両の車内に投影される投影情報を生成する
処理を実行させるためのプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020028094 | 2020-02-21 | ||
JP2020-028094 | 2020-02-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2021166706A1 true WO2021166706A1 (ja) | 2021-08-26 |
Family
ID=77391131
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2021/004514 WO2021166706A1 (ja) | 2020-02-21 | 2021-02-08 | 情報処理装置、情報処理方法、及び、プログラム |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2021166706A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024069692A1 (ja) * | 2022-09-26 | 2024-04-04 | 日産自動車株式会社 | 自動車 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009250791A (ja) * | 2008-04-07 | 2009-10-29 | Mitsubishi Electric Corp | 車載用ナビゲーション装置およびナビゲーションにおける情報提示方法 |
JP2011186995A (ja) * | 2010-03-11 | 2011-09-22 | Renesas Electronics Corp | 運転支援システム |
JP2017207997A (ja) * | 2016-05-20 | 2017-11-24 | アイシン精機株式会社 | 運転支援装置 |
WO2018087877A1 (ja) * | 2016-11-11 | 2018-05-17 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
JP2018149874A (ja) * | 2017-03-10 | 2018-09-27 | オムロン株式会社 | 表示装置および表示方法 |
JP2019089512A (ja) * | 2017-11-16 | 2019-06-13 | 株式会社Subaru | 運転支援装置及び運転支援方法 |
JP2019185496A (ja) * | 2018-04-13 | 2019-10-24 | 株式会社デンソー | 自動運転車両の情報提供装置 |
-
2021
- 2021-02-08 WO PCT/JP2021/004514 patent/WO2021166706A1/ja active Application Filing
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009250791A (ja) * | 2008-04-07 | 2009-10-29 | Mitsubishi Electric Corp | 車載用ナビゲーション装置およびナビゲーションにおける情報提示方法 |
JP2011186995A (ja) * | 2010-03-11 | 2011-09-22 | Renesas Electronics Corp | 運転支援システム |
JP2017207997A (ja) * | 2016-05-20 | 2017-11-24 | アイシン精機株式会社 | 運転支援装置 |
WO2018087877A1 (ja) * | 2016-11-11 | 2018-05-17 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
JP2018149874A (ja) * | 2017-03-10 | 2018-09-27 | オムロン株式会社 | 表示装置および表示方法 |
JP2019089512A (ja) * | 2017-11-16 | 2019-06-13 | 株式会社Subaru | 運転支援装置及び運転支援方法 |
JP2019185496A (ja) * | 2018-04-13 | 2019-10-24 | 株式会社デンソー | 自動運転車両の情報提供装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024069692A1 (ja) * | 2022-09-26 | 2024-04-04 | 日産自動車株式会社 | 自動車 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220203996A1 (en) | Systems and methods to limit operating a mobile phone while driving | |
JP7288911B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
KR102667182B1 (ko) | 차량 제어 디바이스 및 차량 제어 방법 | |
US20200216078A1 (en) | Driver attentiveness detection system | |
Haeuslschmid et al. | A design space to support the development of windshield applications for the car | |
JP6330903B2 (ja) | 情報呈示装置及び情報呈示方法 | |
US11194405B2 (en) | Method for controlling information display apparatus, and information display apparatus | |
US20230110773A1 (en) | Control system and method using in-vehicle gesture input | |
WO2021166801A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
US20080291032A1 (en) | System and method for reducing boredom while driving | |
US20230347903A1 (en) | Sensor-based in-vehicle dynamic driver gaze tracking | |
US20200312282A1 (en) | Information processing apparatus, information processing method, program, display system, and mobile object | |
US11084424B2 (en) | Video image output apparatus, video image output method, and medium | |
US10703384B2 (en) | Information processing apparatus, information processing method, and non-transitory storage medium | |
WO2021166706A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
CN115923832A (zh) | 用于机器向驾驶员转变的移交助手 | |
WO2022224173A1 (en) | Systems and methods for determining driver control over a vehicle | |
JP2021174405A (ja) | 表示システム、表示方法、及び表示プログラム | |
US11308520B2 (en) | Vehicle advertisement display system | |
JP4586443B2 (ja) | 情報提供装置 | |
WO2022124164A1 (ja) | 注目対象共有装置、注目対象共有方法 | |
JP7487728B2 (ja) | 監視装置、監視用コンピュータプログラム及び監視方法 | |
JP7238193B2 (ja) | 車両制御装置および車両制御方法 | |
WO2024018563A1 (ja) | 自動運転車両、制御装置、制御方法、及び制御プログラム | |
GB2614292A (en) | Method, apparatus and computer program product for selecting content for display during a journey to alleviate motion sickness |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21756766 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 21756766 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |