WO2019021973A1 - 端末装置、危険予測方法、記録媒体 - Google Patents

端末装置、危険予測方法、記録媒体 Download PDF

Info

Publication number
WO2019021973A1
WO2019021973A1 PCT/JP2018/027371 JP2018027371W WO2019021973A1 WO 2019021973 A1 WO2019021973 A1 WO 2019021973A1 JP 2018027371 W JP2018027371 W JP 2018027371W WO 2019021973 A1 WO2019021973 A1 WO 2019021973A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
danger
terminal device
walking
camera
Prior art date
Application number
PCT/JP2018/027371
Other languages
English (en)
French (fr)
Inventor
将人 守屋
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US16/634,253 priority Critical patent/US20200372779A1/en
Priority to JP2019532574A priority patent/JP6822571B2/ja
Publication of WO2019021973A1 publication Critical patent/WO2019021973A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0461—Sensor means for detecting integrated or attached to an item closely associated with the person but not worn by the person, e.g. chair, walking stick, bed sensor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0446—Sensor means for detecting worn on the body to detect changes of posture, e.g. a fall, inclination, acceleration, gait
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0469—Presence detectors to detect unsafe condition, e.g. infrared sensor, microphone
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0438—Sensor means for detecting
    • G08B21/0476—Cameras to detect unsafe condition, e.g. video cameras

Definitions

  • the present invention relates to a terminal device, a risk prediction method, and a recording medium.
  • Patent Document 1 discloses a technique related to risk avoidance for a user who uses a terminal device while walking.
  • the moving speed of the terminal device is derived, and the activation state of the display screen is determined.
  • the technology also includes a first imaging unit provided on the display screen side, determines the direction of the user's face based on the captured image acquired from the first imaging unit, and the movement speed, activation state, and face of the terminal device It is determined based on the direction of whether or not the user is walking while viewing the terminal device. Further, in the technology of Patent Document 1, when the user walks in a state where the terminal device is viewed, it is determined whether the user is in a dangerous situation based on the frequency or volume of the collected sound.
  • this invention aims at providing the terminal device which solves the above-mentioned subject, the danger prediction method, and a program.
  • the terminal device determines whether the user is operating the device while walking, the operation determining unit during walking, the sound collection device for collecting surrounding sound, and the user And a risk prediction unit for predicting the danger of the user based on the dangerous material candidate captured in the image data obtained from the camera provided in the own device when it is determined that the user is operating the own device while walking.
  • the danger prediction unit may calculate the direction of the sound source based on a sound signal obtained from the sound collection device.
  • the danger prediction method determines whether the user is operating the device while walking, collects surrounding sounds, and the user operates the device while walking.
  • the danger of the user is predicted based on the dangerous material candidate captured in the image data obtained from the camera provided in the terminal device, and the sound source of the sound is generated based on the collected sound signal Calculating the direction of.
  • the recording medium determines whether the user of the terminal device is walking while operating the device while walking.
  • a program is recorded which is characterized in that it functions as danger prediction means for calculating the direction of the sound source based on the collected sound signals.
  • the present invention it is possible to provide a technology capable of predicting a higher risk in the risk prediction of a pedestrian walking while holding a terminal device.
  • a terminal according to an embodiment of the present invention will be described with reference to the drawings. It is a functional block diagram of the terminal unit by one embodiment of the present invention. It is a figure which shows the processing flow of the terminal device by one Embodiment of this invention.
  • FIG. 1 is a block diagram showing the configuration of a terminal according to the embodiment.
  • the terminal device 1 is a portable terminal such as a smartphone, a mobile phone, a PDA, or a tablet terminal.
  • the terminal device 1 includes hardware such as a CPU 101, ROM 102, RAM 103, HDD 104, communication module 105, touch panel 106, input / output unit 107, camera 108, acceleration sensor 109, microphone 110, GPS 111, speaker 112, vibrator 113, light 114 and the like.
  • hardware such as a CPU 101, ROM 102, RAM 103, HDD 104, communication module 105, touch panel 106, input / output unit 107, camera 108, acceleration sensor 109, microphone 110, GPS 111, speaker 112, vibrator 113, light 114 and the like.
  • the terminal device 1 predicts or detects the danger of the user walking while operating the own terminal while walking, and notifies the user of the danger. Thereby, the terminal device 1 supports the avoidance of the danger to the user performing the operation while walking.
  • FIG. 2 is a functional block diagram of the terminal device.
  • the terminal device 1 is activated and executes the control program, thereby having at least each functional unit of the control unit 11, the walking operation determination unit 12, the risk prediction unit 13, the notification unit 14, and the data transmission unit 15.
  • the terminal device 1 has other known functions such as a telephone function.
  • the control unit 11 controls each functional unit provided in the terminal device 1.
  • the operation determination unit 12 determines whether the user is operating the terminal device 1 while walking.
  • the danger prediction unit 13 predicts or detects a danger to the user who is operating the terminal device 1 while walking.
  • the notification unit 14 notifies the display function such as the touch panel 106 of the terminal device 1 of the danger.
  • the data transmission unit 15 transmits data to a device connected for communication.
  • the in-walking operation determination unit 12 determines whether the user is performing the in-walking operation by combining information obtained from various hardware such as the acceleration sensor 109 shown in FIG. For example, during walking, the operation determination unit 12 determines whether the screen formed by the touch panel 106 is ON, determines whether the detection pattern of the acceleration sensor 109 matches the walking pattern, and detects in the image obtained from the camera 108 It is determined whether it is a walking operation based on the determination of whether the feature is moving or the like. More specifically, the walking operation determination unit 12 determines that the screen is ON, the detection pattern of the acceleration detected by the acceleration sensor 109 matches the walking pattern, and determines that the feature is moving in the image. It determines that the operation is being performed.
  • the danger prediction unit 13 predicts the danger to the user in real time by combining various functions such as the camera 108, the microphone 110, the acceleration sensor 109, and the GPS 111 built in the terminal device 1.
  • the risk prediction unit 13 detects position information of the terminal device 1 obtained from the GPS 111, posture information such as the direction of the terminal device 1 based on acceleration obtained from the acceleration sensor 109, and images obtained by photographing with the camera 108 in the prediction of danger. Data, a sound signal obtained from the microphone 110 and the like are used.
  • the cameras 108 are composed of a plurality of cameras such as an in-camera 108a and an out-camera 108b, and these cameras 108 may be all-sky cameras.
  • a plurality of microphones 110 may also be provided in the terminal device 1.
  • the terminal device 1 shown in the present embodiment is provided with a touch panel 106 in which a liquid crystal screen and a touch sensor are stacked on the main surface of a plate-like casing.
  • An in-camera 108 a is provided above the touch panel 106 on the main surface.
  • an out camera 108 b is provided on the top of the back surface of the main surface.
  • the in-camera 108a is a camera whose imaging direction is directed to itself when the user directs the touch panel 106 of the terminal device to face the self.
  • the in-camera 108a inevitably becomes a position where the user takes a direction of the user.
  • the out-camera 108b is a camera whose imaging direction is directed in the opposite direction to the user's side, that is, the traveling direction of the user.
  • the danger prediction unit 13 recognizes the direction of sound by using the plurality of microphones 110. In addition, the danger prediction unit 13 detects the orientation of the terminal using image data acquired by shooting with the camera 108, or corrects distortion or the like of the image data based on a mark serving as a reference in the image data. The danger of the user may be predicted based on the information captured.
  • the notification unit 14 notifies the user of the danger by using the various functions provided in the terminal device 1 such as the speaker 112, the vibrator 113, and the light 114, as well as notifying the user of the danger on the screen of the terminal 1.
  • the notification unit 14 may display information such as an obstacle on a screen in real time as well as when a danger is detected.
  • the terminal device 1 may be configured to always predict the danger without the processing of the operation determination unit 12 during walking.
  • the terminal device 1 may include the data transmission unit 15, and may transmit the prediction result of the risk prediction unit 13 to a dedicated server communicably connected.
  • the dedicated server may accumulate information of the prediction result of the danger by the terminal device 1, calculate basic data for improving the danger detection accuracy in the terminal device 1, and perform a process to be used by the terminal device 1 .
  • FIG. 3 is a diagram showing a process flow of the terminal device. Next, the operation of the terminal device 1 will be described using FIG.
  • the process of the terminal device 1 is a process of predicting danger and notifying the user of the prediction result when the terminal device 1 detects that the user is performing a walking operation, and an example thereof is shown.
  • the terminal device 1 is communicably connected to the dedicated server 2.
  • the dedicated server 2 receives the prediction of danger of the terminal device 1 and the result of danger detection, and collects and analyzes features of data such as image data used to detect the danger, feedback information from all users, etc. It shall have a function.
  • the during-walking operation determination unit 12 of the terminal device 1 starts the process of determining whether the user is performing the during-walking operation (step S1).
  • the in-walking operation determination unit 12 determines whether the user operating the terminal device 1 performs the in-walking operation by combining various functions such as the acceleration sensor 109 (step S2). For example, whether the screen constituting the touch panel is ON and operated, or the movement pattern detected by the acceleration sensor 109 matches the walking pattern, or the feature point specified in the image data acquired from the camera 108 is Determine if it is moving.
  • the walking operation determining unit 12 may determine that the user is walking.
  • the operation during walking of the terminal device 1 is performed. You may judge that you are doing.
  • the determination example of the operation during walking is an example, and the operation during walking may be determined by another method.
  • the danger prediction unit 13 predicts the danger of the user using a camera or various sensors, and starts the process of detection (step S3). Then, the risk prediction unit 13 determines whether a risk has been detected (step S4).
  • the danger prediction unit 13 specifies the traveling direction of the user carrying the terminal device 1 using the acceleration sensor 109 or the like. Further, the danger prediction unit 13 detects the inclination of the terminal device 1 based on the information obtained from the acceleration sensor 109. For example, when the terminal device 1 has a plate-like shape, the danger prediction unit 13 tilts in the surface vertical direction (forward tilt angle) with respect to a state where the plate-like terminal device 1 is vertically stood. The inclination (lateral inclination angle) in the direction orthogonal to the surface perpendicular direction is detected.
  • the anteversion angle indicates how much the terminal device 1 is inclined in the direction perpendicular to the plane (corresponding to the direction of movement of the user) from the vertical state with the ground (when the anteversion angle is 90 °, the terminal is in the horizontal state). How much the terminal device 1 points to the right from the traveling direction (when the horizontal inclination angle is 90 °, the upper part of the terminal device 1 points to the right) and the terminal device 1 is completely horizontal to the traveling direction) Represents
  • the control unit 11 controls the control unit 11 to obtain images such as several to several tens of images per second and output them to the risk prediction unit 13 Do.
  • the risk prediction unit 13 acquires image data from the in-camera 108a (or the out-camera 108b).
  • the risk prediction unit 13 uses image data obtained by shooting anew by the in-camera 108a (or out-camera 108b) among the image data obtained in the predetermined time from the in-camera 108a (or out-camera 108b) and the last shooting.
  • the danger prediction unit 13 detects an image difference between a plurality of obtained image data, and based on the forward inclination angle and the horizontal inclination angle, an object that appears in the image due to camera shake or walking vibration in the present image data. Correction is performed to determine whether the dangerous goods candidate appears in the image of the part that is not excluded.
  • the out-camera 108b When the user is walking and watching the touch panel 106, the out-camera 108b basically takes a picture of the front of the user, but the user holds the touch panel 106 of the terminal device 1 horizontally toward the sky direction. If you do, the anteversion angle approaches 90 °. In this case, the out-camera 108b provided in the terminal device 1 captures an image of the ground in a nearly horizontal state, which makes it difficult to capture the image in front, and an image complemented by an external camera such as the in-camera 108a or the all-sky camera Risk prediction can be performed using
  • the danger prediction unit 13 can expand the danger search range. As a result, the danger prediction unit 13 can detect approaching objects / hazardous objects from behind the user, falling objects on the head, and the like. Further, the in-camera 108a can also recognize the line-of-sight direction of the user, and the danger can be predicted by detecting the line-of-sight direction. For example, the danger prediction unit 13 detects the approach of the car in the direction of the user based on the image data obtained by the photographing of the out camera 108b.
  • the danger prediction unit 13 detects the gaze direction of the user based on the image data obtained by the photographing of the in-camera 108a.
  • the danger prediction unit 13 predicts danger if it is determined that the sight line direction does not visually recognize the direction of the car although the car is approaching in the direction of the user.
  • the danger prediction unit 13 detects a car appearing in a plurality of continuous image data obtained from the out camera 108 b by pattern recognition.
  • the danger prediction unit 13 determines the direction vector from the terminal device 1 to the car in the three-dimensional space coordinate system based on the position shown in the image data of the car and the orientation of the back side of the terminal device 1 based on the acceleration obtained from the acceleration sensor 109 Calculate
  • the risk prediction unit 13 also has a white area indicated by the conjunctival area of the user's eye appearing in continuous image data acquired from the in-camera 108a, a positional relationship between a black area indicated by the iris and the pupil area, and a white area stored in advance.
  • the current gaze direction of the user is detected based on the information of the gaze direction corresponding to each of the positional relationships of the black regions.
  • the danger prediction unit 13 calculates a gaze vector indicated by the gaze direction in the three-dimensional space coordinate system.
  • the danger prediction unit 13 calculates an angle formed by the first direction vector directed from the terminal device 1 to the car and the gaze vector. When the angle formed by the first direction vector and the gaze vector is equal to or more than a predetermined angle, the danger prediction unit 13 determines that the user's gaze direction is not directed to the vehicle direction.
  • the danger prediction unit 13 may estimate the moving dangerous goods candidate from the difference between the captured images. In this case, the danger prediction unit 13 estimates the moving speed of the user by, for example, acquiring in advance the position information measured by the GPS 111. Furthermore, the risk prediction unit 13 determines whether the dangerous goods candidate itself is moving, from the size change in the image of the moving dangerous goods candidate. It is determined whether the movement is approaching or away from the terminal device 1 held by the user. Alternatively, the danger prediction unit 13 determines whether the dangerous goods candidate only looks as if the user is moving.
  • the danger prediction unit 13 calculates the walking speed and the walking direction of the user who holds the terminal device 1 based on the position information according to the passage of time obtained from the GPS 111. Further, the danger prediction unit 13 stores the change rate of the size of the dangerous goods candidate per unit time appearing in the image according to the walking speed, and acquires the information of the change rate. The danger prediction unit 13 continuously changes the size of the dangerous goods candidate in the image data acquired from the in-camera 108a and the out-camera 108b per unit time at a higher rate than the change rate according to the walking speed of the user. It is determined whether or not. When the change ratio per unit time of the size of the dangerous material candidate shown in the image data is higher than the change ratio according to the walking speed of the user, the risk prediction unit 13 determines that the dangerous material candidate is approaching. Do.
  • the risk prediction unit 13 extracts a mark serving as a reference appearing in the acquired image data, estimates the size of the dangerous goods candidate from the change ratio of the size per unit time of the information indicating the mark, and estimates the size
  • the movement speed of the dangerous goods candidate may be calculated by using the size of the dangerous goods candidate.
  • the reference mark is a relatively fixed size such as a mark or a post.
  • the hazard prediction unit 13 estimates the size of the person on the bicycle from the relative size, using a marker or the like, which is installed at a constant interval in the city, such as a traffic light or a post, and whose size is relatively determined. Can.
  • the danger prediction unit 13 calculates the size of the dangerous goods candidate in the image by such a method, for example, estimates the distance between the person on the bicycle and the user and the approach speed, and calculates the collision anticipation time It is also good.
  • the danger prediction unit 13 may be a pedestrian crossing, a traffic light, a train platform or a Braille / linear block for visually impaired persons on a road, pedestrians and bicycles, pedestrians and bicycles, bumps, road surface anomalies, telephone poles, billboards, stalls as dangerous goods candidates.
  • the shape of small animals etc. are memorized.
  • the risk prediction unit 13 performs pattern matching between the stored shape information and the object obtained from the photographed image, and determines which stored shape they match. When it is determined that the shapes match according to the pattern matching, the risk prediction unit 13 recognizes an object appearing in the image as a dangerous substance candidate.
  • the danger prediction unit 13 determines whether or not these dangerous goods candidates are approaching by comparing image data before and after.
  • the risk prediction unit 13 estimates in advance the moving speed of the user using the moving amount per unit time based on the position information obtained from the GPS 111, and the moving speed and the size per unit time of the dangerous goods candidate in the image. It may be determined whether they are approaching based on the comparison with the change rate.
  • the risk prediction unit 13 may combine image data acquired sequentially for several seconds and combine them. In this case, the danger prediction unit 13 can discriminate dangerous goods candidates from a wider viewpoint beyond the range which can be photographed by a camera.
  • the danger prediction unit 13 may obtain image data from an external camera such as a wearable terminal camera or a 360 degree camera (all sky camera). .
  • the terminal device 1 may be equipped with a plurality of cameras.
  • the danger prediction unit 13 As a method for the danger prediction unit 13 to detect the approach of the dangerous goods candidate, in addition, a person on a bicycle is detected from the image data as the dangerous goods candidate.
  • the risk prediction unit 13 extracts a changed pixel on the camera image from the difference between the image frame Ft at that time and the image frame Ft-1 immediately before (it is not limited to the immediately preceding frame but may be a plurality of immediately preceding frames). . If the danger prediction unit 13 can determine that the area of the pixel indicating the dangerous goods candidate is large, it determines that the dangerous goods candidate is approaching.
  • the risk predicting unit 13 estimates that the traveling direction of the person on the bicycle is approaching and determines that the user holding the terminal device 1 is approaching the left side, the user is on the bicycle if the user avoids on the right side Avoid conflicts with Therefore, the risk prediction unit 13 displays information for prompting avoidance on the right side on the screen to notify the user. For example, the risk prediction unit 13 outputs the direction in which the risk avoidance action is performed by using an arrow. At this time, the danger prediction unit 13 may detect from the image data whether or not there is an avoidable width of the user in the direction in which the danger avoidance action is taken.
  • the danger prediction unit 13 may predict danger based on the sound signal acquired from the microphone 110.
  • the sound signal acquired from the microphone 110 is analyzed to detect a characteristic sound.
  • the characteristic sounds are a siren, a sound notifying a crossing period of a traffic light, a sound at the time of crossing crossing, a bicycle bell, and the like. Since the artificial warning sound emitted to such a person is regularly repeated in many cases, the danger prediction unit 13 pre-stores it as a waveform pattern of sound, and from the acquired sound signal If the waveform pattern of the obtained sound matches the pattern of the warning sound stored in advance, it is predicted to be dangerous.
  • the danger prediction unit 13 recognizes voices of human voices such as “dangerous” and “run away” without being limited to artificial warning sounds, and the words obtained as a result of the speech recognition agree with the words indicating the prestored memories. If so, it may be determined that the dangerous material candidate is approaching.
  • the danger prediction unit 13 specifies the direction of the sound generation source based on the sound signals acquired from the respective microphones 110 and the posture of the terminal device 1. Good. More specifically, the danger prediction unit 13 analyzes the sound signal obtained from each of the microphones 110 and calculates the strength of the sound. The danger prediction unit 13 estimates the direction of the sound source based on the terminal device 1 based on the intensity of the sound obtained from each of the microphones 110. The danger prediction unit 13 specifies the direction vector of the sound source in the three-dimensional space coordinate system based on the three orthogonal axes serving as a reference based on the attitude of the current terminal device 1.
  • the risk prediction unit 13 detects an object in the captured image that corresponds to the direction indicated by the specified direction vector of the generation source. Danger Predictor 13 If the object can be identified as a dangerous object candidate by pattern recognition such as shape, the relationship between the dangerous object candidate and the direction vector of the source is linked.
  • the danger prediction unit 13 may output the direction of the dangerous goods candidate from the speaker by, for example, voice when the dangerous goods candidate and the direction vector of the generation source coincide with each other.
  • the notification unit 14 notifies the danger information (step S5).
  • the process of the notification unit 14 will be specifically described.
  • the notification unit 14 notifies the user of the detected danger information.
  • the notification unit 14 displays the detected dangerous goods candidate and the information related thereto as danger information on the screen of the terminal device 1.
  • the notification unit 14 may also display the predicted collision time based on the danger approach level indicating whether the danger is imminent.
  • the notification unit 14 may also display information for assisting the danger avoidance behavior of the user based on the direction (posture) of the terminal device 1 and the approaching direction of the dangerous material candidate.
  • notification of danger information to the user is not limited to when the danger is predicted, and there is a possibility that there is a possibility of danger in the image data obtained by shooting with the camera 108, and the possibility of the sound characteristic of the microphone 110 Information indicating that there is a message may be displayed on a part of the screen in real time.
  • the notification unit 14 selectively uses various output functions provided in the terminal device 1 such as the speaker 112, the vibrator 113, and the light 114 in addition to screen display based on the direction (attitude) of the terminal device 1 and the gaze direction of the user. May be notified.
  • the danger approach level is set to any one of level 1 to level 3 and output.
  • the danger approach level 3 is set to 3 seconds up to the predicted collision time, but the danger avoidance behavior may be set according to the user instead of a fixed value because there are parts depending on the age and physical ability of the user .
  • the danger prediction unit 13 calculates the distance between the detected dangerous goods candidate and the terminal device 1, and determines that the danger approach level 1 when it is determined that the distance is equal to or greater than a threshold.
  • the risk prediction unit 13 determines that the distance to the dangerous goods candidate is equal to or more than the threshold and the approaching speed of the dangerous goods candidate is less than the threshold or the dangerous goods candidate is stopped, Do.
  • the risk prediction unit 13 calculates that the predicted time until the collision with the user is 8 seconds or more because the distance is equal to or more than the threshold and the approach speed is less than the threshold, judge.
  • the risk prediction unit 13 determines the risk approaching level 2 when the distance to the dangerous goods candidate is equal to or greater than the threshold and the approaching speed of the dangerous goods candidate is determined to be equal to or greater than the threshold. As an example, the danger prediction unit 13 calculates the danger approach level 2 when the estimated time until a collision with the user is calculated to be 8 seconds to 3 seconds because the distance is the threshold or more but the approach speed is the threshold or more. It is determined that
  • the risk predicting unit 13 determines the risk approaching level 3 when it determines that the distance to the dangerous goods candidate is less than the threshold and the approaching speed of the dangerous goods candidate is equal to or more than the threshold. As an example, when the distance is less than the threshold and the approach speed is equal to or more than the threshold, the risk prediction unit 13 determines the risk approach level 3 when the predicted time until a collision with the user is calculated to be less than 3 seconds. Do.
  • the risk prediction unit 13 determines the position of the dangerous goods candidate determined from the image data, the size thereof, the amount of change when the dangerous goods candidate approaches the user in unit time, the approaching distance with the user, the collision prediction It may be determined using any one or more information such as time.
  • the danger prediction unit 13 calculates the change area by detecting the frame difference of the image data for each acquired fixed time, and based on the change area, the movement distance of the dangerous goods candidate or The moving speed (approaching speed) can be estimated.
  • the danger prediction unit 13 outputs auxiliary information such as where to escape for danger avoidance action based on the traveling direction of the dangerous goods candidate and the direction of the sound detected from the microphone 110 by voice or screen. May be The danger prediction unit 13 expresses, for example, the direction of the user's avoidance on the screen by an arrow.
  • the danger prediction unit 13 processes the sound signal obtained from the microphone 110, which is input information, and the image data obtained from the camera 108 independently of each other, since the danger material candidate does not necessarily emit sound.
  • the priority order and weighting may be set to the information of the subject.
  • the attitude of the terminal such as tilt (forward tilt angle, lateral tilt angle) is calculated from the acceleration obtained from the acceleration sensor 109 to recognize the traveling direction, It can compensate for image distortion due to terminal shake or movement.
  • the danger prediction unit 13 of the terminal device 1 detects that the screen portion of the terminal device 1 is facing the ground direction and can not be viewed by the user. Then, since the danger prediction unit 13 can determine that there is a high possibility that the user can not recognize the notification only on the screen, the danger prediction unit 13 notifies the user of the danger by selecting another notification unit such as the vibrator 113, the speaker 112, and the light 114. In addition, even when the danger prediction unit 13 detects that the user does not look at the screen based on the line-of-sight information of the user, the notification unit 14 may select the notification means to notify the user of the danger.
  • the data transmission unit 15 transmits data regarding the detected danger to the dedicated server (step S6).
  • the dedicated server collects feedback from all users and risk prediction results, analyzes it in multiple directions, and stores it for all terminal devices 1 including not only this terminal device 1 but also other terminal devices 1 A process of improving the risk prediction accuracy may be performed.
  • the terminal device 1 may perform risk prediction based on data analysis obtained from the dedicated server 2.
  • the dedicated server may assume that the user is likely to perform those operations at the danger point, and may receive feedback as to whether or not those operations have been performed.
  • the terminal device 1 can perform detailed danger prediction. Furthermore, the terminal device 1 can also use information such as tilt from the acceleration sensor 109, and information such as sounds and directions from the plurality of microphones 110 to predict dangers not captured by the camera 108. It becomes.
  • the terminal device 1 may use, for example, data obtained in cooperation with a wearable terminal such as a watch-type terminal or a glasses-type terminal for risk prediction.
  • a wearable terminal such as a watch-type terminal or a glasses-type terminal for risk prediction.
  • the above-described terminal device 1 internally includes a computer system. And the process of each process mentioned above is memorize
  • the computer-readable recording medium refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory and the like.
  • the computer program may be distributed to a computer through a communication line, and the computer that has received the distribution may execute the program.
  • the program may be for realizing a part of the functions described above. Furthermore, it may be a so-called difference file (difference program) that can realize the above-described functions in combination with a program already recorded in the computer system.
  • difference file difference program

Landscapes

  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Telephone Function (AREA)
  • Alarm Systems (AREA)

Abstract

より高い危険の予測が可能な端末装置を提供するよう、ユーザが歩行しながら自装置を操作しているかを判定し、周囲の音を収集し、ユーザが歩行しながら自装置を操作していると判定された場合に、端末装置に備わるカメラから得た画像データに写る危険物候補に基づいてユーザの危険を予測する。そして、音収集装置から得た音信号に基づいて音の発生源の方向を算出する。

Description

端末装置、危険予測方法、記録媒体
　本発明は、端末装置、危険予測方法、記録媒体に関する。
　歩行しながら端末装置を利用するユーザの危険回避に関する技術が特許文献１に開示されている。特許文献１の技術では、端末装置の移動速度を導出し、表示画面の起動状態を判定する。また当該技術は、表示画面側に設けられた第１撮影手段を備え、第１撮影手段から取得した撮影画像に基づいてユーザの顔の方向を判定し、端末装置の移動速度、起動状態及び顔の方向に基づいて、ユーザが端末装置を目視した状態で歩行しているか否かを判定する。また特許文献１の技術ではユーザが端末装置を目視した状態で歩行している場合に、集音した音の周波数又は音量に基づいて、ユーザが危険な状況にあるか否かを判定する。
特開２０１４-２３２４１１号公報
　上述のような技術における歩行者の危険予測においてより高い危険の予測が可能な技術が求められている。
　そこでこの発明は、上述の課題を解決する端末装置、危険予測方法、プログラムを提供することを目的としている。
　本発明の第１の態様によれば、端末装置は、ユーザが歩行しながら自装置を操作しているかを判定する歩行中操作判定部と、周囲の音を収集する音収集装置と、前記ユーザが歩行しながら自装置を操作していると判定された場合に、自装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測する危険予測部と、を備え、前記危険予測部は前記音収集装置から得た音信号に基づいて前記音の発生源の方向を算出することを特徴とする。
　本発明の第２の態様によれば、危険予測方法は、ユーザが歩行しながら自装置を操作しているかを判定し、周囲の音を収集し、前記ユーザが歩行しながら自装置を操作していると判定された場合に、端末装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測するとともに、前記収集した音の信号に基づいて前記音の発生源の方向を算出することを特徴とする。
　本発明の第３の態様によれば、記録媒体は、端末装置のコンピュータを、ユーザが歩行しながら自装置を操作しているかを判定する歩行中操作判定手段、周囲の音を収集する音収集手段、前記ユーザが歩行しながら自装置を操作していると判定された場合に、前記端末装置に備わるカメラから得た画像データに写る危険物候補に基づいてユーザの危険を予測するとともに、前記収集した音の信号に基づいて前記音の発生源の方向を算出する危険予測手段、として機能させることを特徴とするプログラムを記録する。
　本発明によれば、端末装置を保持しながら歩行する歩行者の危険予測においてより高い危険の予測が可能な技術を提供することができる。
本発明の一実施形態による端末装置を図面を参照して説明する。 本発明の一実施形態による端末装置の機能ブロック図である。 本発明の一実施形態による端末装置の処理フローを示す図である。
　以下、本発明の一実施形態による端末装置を図面を参照して説明する。
　図１は同実施形態による端末装置の構成を示すブロック図である。
　端末装置１はスマートフォン、携帯電話、ＰＤＡ、タブレット端末などの携帯型の端末である。端末装置１はＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ１０４、通信モジュール１０５、タッチパネル１０６、入出力部１０７、カメラ１０８、加速度センサ１０９、マイク１１０、ＧＰＳ１１１、スピーカ１１２、バイブレータ１１３、ライト１１４などの各ハードウェアが備わる。
　本実施形態による端末装置１は歩行中に自端末を操作しながら歩いているユーザの危険を予測し、または検出し、当該ユーザにその危険を通知する。これにより端末装置１は、歩行中操作を行っているユーザへの危険に対する回避を支援する。
　図２は端末装置の機能ブロック図である。
　端末装置１は起動して制御プログラムを実行することにより、制御部１１、歩行中操作判定部１２、危険予測部１３、通知部１４、データ送信部１５の各機能部を少なくとも有する。端末装置１はその他、電話機能等の公知の機能を有している。
　制御部１１は端末装置１に備わる各機能部を制御する。
　歩行中操作判定部１２はユーザが歩行しながら端末装置１を操作しているか否かを判定する。
　危険予測部１３は端末装置１の歩行中操作を行っているユーザに対する危険を予測または検知する。
　通知部１４は端末装置１のタッチパネル１０６などの表示機能に危険を通知する。
　データ送信部１５は通信接続している装置にデータを送信する。
　次に端末装置１の各機能の詳細を説明する。
　歩行中操作判定部１２は加速度センサ１０９などの図１で示した各種ハードウェアから得た情報を組み合わせてユーザが歩行中操作を行っているかを判定する。例えば歩行中操作判定部１２はタッチパネル１０６により構成される画面がＯＮになっているかの判定、加速度センサ１０９の検出パターンが歩行パターンと一致しているかの判定、カメラ１０８から得た画像において検出した特徴物が移動しているかの判定などに基づいて歩行中操作であるかを判定する。より具体的には歩行中操作判定部１２は、画面がＯＮであり、加速度センサ１０９による加速度の検出パターンと歩行パターンとが一致し、画像において特徴物が移動していると判定した場合、歩行中操作を行っていると判定する。
　危険予測部１３は、端末装置１に内蔵されているカメラ１０８、マイク１１０、加速度センサ１０９、ＧＰＳ１１１など各種機能を組み合わせてリアルタイムでユーザにかかる危険を予測する。危険予測部１３は、危険の予測において、ＧＰＳ１１１から得られる端末装置１の位置情報、加速度センサ１０９から得られる加速度に基づく端末装置１の向きなどの姿勢情報、カメラ１０８の撮影により得られた画像データ、マイク１１０から得られる音信号などを利用する。カメラ１０８は、インカメラ１０８ａ、アウトカメラ１０８ｂなどの複数のカメラで構成され、これらカメラ１０８は全天カメラであってよい。マイク１１０も複数が端末装置１に備わっていてもよい。
　本実施形態において示す端末装置１は、板状の筐体の主面に液晶画面とタッチセンサとが積層されたタッチパネル１０６が設けられている。主面のタッチパネル１０６の上部にはインカメラ１０８ａが設けられる。また主面の裏面の上部にはアウトカメラ１０８ｂが設けられている。インカメラ１０８ａとはユーザが端末装置のタッチパネル１０６を自身に正対させて向けた場合に自身に撮影方向が向くカメラである。ユーザがタッチパネルの設けられた端末装置１の筐体の主面を自身に向けることで必然的にインカメラ１０８ａはユーザ自身の方向を撮影する位置となる。他方、アウトカメラ１０８ｂはユーザが端末装置１のタッチパネル１０６を自身に正対させて向けた場合に自身側とは反対方向、つまりユーザの進行方向に撮影方向が向くカメラである。
　危険予測部１３は、複数のマイク１１０を利用することで音の方向を認識する。また危険予測部１３はカメラ１０８の撮影により取得した画像データを用いて端末の向きを検出し、または当該画像データに写る基準となる目印に基づいて画像データの歪みなどを補正しながら画像データに写る情報に基づいてユーザの危険を予測してもよい。
　通知部１４は、端末装置１の画面に危険を通知するほか、スピーカ１１２やバイブレータ１１３、ライト１１４など端末装置１に備わる各種機能を利用してユーザに危険を知らせて危険回避行動を促す。通知部１４は、危険を検出した場合に限らず、障害物などの情報をリアルタイムに画面表示してもよい。
　なお、本発明において端末装置１は歩行中操作判定部１２の処理を行わずに、常に危険予測部１３が危険を予測する構成としてもよい。また端末装置１はデータ送信部１５を具備し、危険予測部１３による予測結果を通信接続された専用サーバに送信してもよい。専用サーバは端末装置１による危険の予測結果の情報を蓄積して、端末装置１における危険検出精度を向上させるための基礎データを算出し、端末装置１に利用させる処理を行うようにしてもよい。
　図３は端末装置の処理フローを示す図である。
　次に、図３を用いて端末装置１の動作を説明する。
　当該端末装置１の処理は、端末装置１がユーザの歩行中操作を行っていると検出した場合に、危険を予測し、その予測結果をユーザに通知する処理でありその一例を示す。
　端末装置１は専用サーバ２と通信接続される。専用サーバ２は端末装置１の危険の予測や危険検出の結果を受信して、危険を検出するために利用した画像データなどのデータの特徴や、全ユーザからのフィードバック情報などを収集、分析する機能を有するものとする。
　まず端末装置１の歩行中操作判定部１２はユーザが歩行中操作を行っているかの判定処理を開始する（ステップＳ１）。そして歩行中操作判定部１２は、加速度センサ１０９などの各種機能を組み合わせて端末装置１を操作するユーザが歩行中操作を行っているかどうかを判定する（ステップＳ２）。例えば、タッチパネルを構成する画面がＯＮになっており操作されているか、加速度センサ１０９で検出した動きのパターンが歩行のパターンと一致しているか、カメラ１０８から取得した画像データにおいて特定した特徴点が移動しているかを判定する。歩行中操作判定部１２は、画面がＯＮになっており、加速度センサ１０９から加速度パターンが歩行パターンと一致している場合にはユーザが歩行中であると判定してよい。またカメラ１０８から得た画像データにユーザの顔の特徴が映っており、この特徴点の位置が連続して取得した画像データ中において移動している場合には、端末装置１の歩行中操作を行っていると判定してよい。この歩行中操作の判定例は一例であって、他の手法により歩行中操作と判定してもよい。
　危険予測部１３はカメラや各種センサを利用してユーザの危険を予測、検出の処理を開始する（ステップＳ３）。そして危険予測部１３は危険を検出したかどうかを判定する（ステップＳ４）。
　危険予測部１３は、加速度センサ１０９などを利用して端末装置１を携帯するユーザの進行方向を特定する。また危険予測部１３は端末装置１の傾きを加速度センサ１０９から得た情報に基づいて検出する。例えば危険予測部１３は端末装置１が板状の形状を成している場合には、板状の端末装置１を垂直に立てた状態を基準とした面垂直方向の傾き（前傾角）、当該面垂直方向に直交する方向の傾き（横傾角）を検出する。なお前傾角は端末装置１が地面と垂直状態からどの程度面垂直方向（ユーザの進行方向に一致）に傾いているか（前傾角が９０°の場合は端末が水平状態となる）を表す。横傾角は端末装置１が進行方向からどの程度右手に向いているか（横傾角が９０°の場合は端末装置１の上部が右手側に向いており進行方向に対して完全に横向き状態となる）を表す。
　インカメラ１０８ａやアウトカメラ１０８ｂは歩行中操作を行っていると判定された場合には制御部１１の制御によって１秒間に数枚から数十枚などの画像を取得して危険予測部１３へ出力する。危険予測部１３は、インカメラ１０８ａ（またはアウトカメラ１０８ｂ）から画像データを取得する。危険予測部１３はインカメラ１０８ａ（またはアウトカメラ１０８ｂから一定時間内で取得した画像データのうち、インカメラ１０８ａ（またはアウトカメラ１０８ｂ）で新たに撮影により得られた画像データと、直前の撮影により得られた複数枚数の画像データの画像の差分を検出する。危険予測部１３はこの差分において、前傾角および横傾角を基に今回の画像データにおける手ぶれや歩行時の振動により画像に現れた物体を除く補正を行い、除かれない部分の画像において危険物候補が映るかを判定する。
　ユーザがタッチパネル１０６を歩きながら視認している場合には、アウトカメラ１０８ｂは基本的にユーザの前方を撮影することになるが、ユーザが端末装置１のタッチパネル１０６を天空方向に向けて水平に把持していると、前傾角が９０°に近くなる。この場合、端末装置１に設けられたアウトカメラ１０８ｂは水平に近い状態で地面を撮影することになり前方の撮影が困難となるためインカメラ１０８ａや全天カメラなどの外付けカメラで補完した画像を用いて危険予測を行うことができる。
　インカメラ１０８ａから取得した画像データの解析においては、ユーザの後方や頭上の対象物を検出することができるため危険予測部１３は危険探索範囲を広げることができる。これにより危険予測部１３はユーザ後方からの接近物・危険物や頭上の落下物等の検出が可能となる。また、インカメラ１０８ａではユーザの視線方向も認識でき、この視線方向の検出により危険を予測することができる。例えば危険予測部１３はアウトカメラ１０８ｂの撮影により得られた画像データに基づいて車のユーザ方向への接近を検出する。また危険予測部１３はインカメラ１０８ａの撮影により得られた画像データに基づいてユーザの視線方向を検出する。危険予測部１３は車がユーザ方向へ接近しているにもかかわらず、視線方向が当該車の方向を視認していないと判定した場合には危険であると予測する。
　この具体的な処理の一例を説明すると、危険予測部１３はアウトカメラ１０８ｂから得た複数の連続する画像データにおいて写る車をパターン認識により検出する。危険予測部１３は車の画像データ中に映る位置と加速度センサ１０９から得た加速度に基づく端末装置１の裏面の向きとに基づいて、３次元空間座標系における端末装置１から車へ向く方向ベクトルを算出する。危険予測部１３はまたインカメラ１０８ａから取得した連続する画像データにおいて写るユーザの目の結膜領域が示す白色領域と、虹彩や瞳孔領域が示す黒色領域との位置関係と、予め記憶する白色領域と黒色領域の位置関係それぞれに対応する視線方向の情報とに基づいて、現在のユーザの視線方向を検出する。危険予測部１３は３次元空間座標系における視線方向が示す視線ベクトルを算出する。危険予測部１３は、端末装置１から車へ向く第一方向ベクトルと、視線ベクトルとの成す角度を算出する。危険予測部１３は第一方向ベクトルと視線ベクトルとの成す角度が所定の角度以上である場合には、ユーザの視線方向が車方向を向いていないと判定する。
　危険予測部１３は撮影した画像の差分から、移動している危険物候補を推定してもよい。この場合に危険予測部１３は、例えば予めＧＰＳ１１１の測定した位置情報を取得してユーザの移動速度を推定する。さらに危険予測部１３は、移動している危険物候補の画像中のサイズ変化から、その危険物候補自体が移動しているかを判定する。当該移動はユーザが保持する端末装置１から近づいているか遠ざかっているかを判定する。または危険予測部１３は、ユーザのみが移動していることにより危険物候補が移動したように見えるだけなのかを判定する。
　この場合の処理の具体例としては、例えば危険予測部１３は、ＧＰＳ１１１から得た時刻の経過に応じた位置情報に基づいて端末装置１を保持するユーザの歩行速度や歩行方向を算出する。また危険予測部１３は画像中に映る危険物候補の単位時間当たりの大きさの変化割合などを歩行速度に応じて記憶しておき、その変化割合の情報を取得する。危険予測部１３は、連続してインカメラ１０８ａやアウトカメラ１０８ｂから取得した画像データに写る危険物候補の大きさの単位時間当たりの変化割合が、ユーザの歩行速度に応じた変化割合よりも高いか否かを判定する。危険予測部１３は画像データに写る危険物候補の大きさの単位時間当たりの変化割合が、ユーザの歩行速度に応じた変化割合よりも高い場合には、危険物候補が接近していると判定する。
　また危険予測部１３は、取得した画像データに写る基準となる目印を抽出しておき、その目印を示す情報の単位時間当たりの大きさの変化割合から危険物候補のサイズを推定し、その推定した危険物候補のサイズを利用することで危険物候補の移動速度を算出してもよい。ここで、基準となる目印は標識やポストなど比較的サイズが固定されているものである。
　危険予測部１３は、信号機やポストなど街中に一定間隔で設置されており比較的サイズが決まっているものを基準となる目印として、その相対サイズから自転車に乗っている人のサイズを推定することができる。危険予測部１３は、このような手法により画像中の危険物候補のサイズを算出し、例えば自転車に乗っている人とユーザとの距離および接近速度を推定し、また衝突予想時刻を算出してもよい。
　危険予測部１３による危険物候補の判定においては他の手法により危険物候補であることを判定してもよい。
　例えば危険予測部１３は、危険物候補として横断歩道や信号機、駅のホームや道路上にある視覚障害者用の点字・線状ブロック、歩行者や自転車、段差、路面異常、電柱、看板、露店、小動物などの形状を記憶している。危険予測部１３はそれら記憶している形状情報と撮影画像から得た物体とのパターンマッチングを行い、それら記憶するいずれの形状と一致するかを判定する。危険予測部１３は当該パターンマッチングにより形状が一致したと判定した場合にはその画像中に写る物体を危険物候補と認識する。危険予測部１３はこれら危険物候補に接近しているか否かを前後の画像データを比較して判定する。
　危険予測部１３はあらかじめユーザの移動速度をＧＰＳ１１１から得た位置情報に基づく単位時間当たりの移動量などを用いて推測し、その移動速度と画像中の危険物候補の単位時間当たりの大きさの変化割合との比較に基づいて接近しているかどうかを判定してもよい。
　危険予測部１３は順次取得した画像データを数秒分繋ぎあわせて合成してもよい。この場合、危険予測部１３は、カメラで撮影できる一瞬の範囲を超えて、より広い視点での危険物候補の判別が可能となる。
　また危険予測部１３は、端末装置１に付属のインカメラ１０８ａやアウトカメラ１０８ｂのほか、ウェアラブル端末のカメラや３６０度カメラ（全天カメラ）など外付けのカメラから画像データを取得してもよい。端末装置１は複数のカメラが搭載されていてもよい。
　危険予測部１３が危険物候補の接近を検出する方法としては、その他、画像データから自転車に乗っている人を危険物候補として検出する。危険予測部１３は、その時点での画像フレームＦｔとその直前（直前１フレームに限らず、直前の複数フレームでもよい）の画像フレームＦｔ－１との差分からカメラ画像上の変化画素を抽出する。危険予測部１３は、その危険物候補を示す画素の領域が大きくなっていることが判断できれば、危険物候補が近づいてきていると判定する。
　危険予測部１３は、自転車に乗っている人の進行方向を推定して端末装置１を保持するユーザの左側に近づいてきていると判断した場合、ユーザは右側に避ければ自転車に乗っている人との衝突を避けられる。したがって危険予測部１３は右側に避けることを促すための情報を画面に表示してユーザに通知する。例えば、危険予測部１３は、危険回避行動をする方向を矢印で出力する。このとき危険予測部１３は、危険回避行動をする方向にユーザの避けられる幅があるかどうかを画像データから検出しておいてもよい。
　危険予測部１３はマイク１１０から取得した音信号に基づいて危険を予測してもよい。
例えばマイク１１０から取得した音信号を解析して特徴的な音を検出する。例えば特徴的な音はサイレン、信号機の横断期間を通知する音、踏切遮断時の音、自転車のベルなどである。このような人に対して発せられる人工的な警告音は規則的な繰り返しであることが多いことから、危険予測部１３は、音の波形パターンとして事前に記憶しておき、取得した音信号から得た音の波形パターンが予め記憶する警告音のパターンと一致した場合には危険であると予測する。危険予測部１３は人工的な警告音に限定せず、「危ない」や「逃げろ」など人の声を音声認識して、音声認識結果で得られた言葉が予め記憶する警告を示す言葉と一致すると判定した場合には、危険物候補が迫っていると判定してもよい。
　端末装置１が複数のマイク１１０を設けており、危険予測部１３がそれら各マイク１１０から取得した音信号と端末装置１の姿勢とに基づいて音の発生源の方向を特定するようにしてもよい。より具体的には、危険予測部１３は各マイク１１０から得た音信号を解析して音の強度を算出する。危険予測部１３は各マイク１１０から得た音の強度に基づいて端末装置１を基準とした音の発生源の方向を推定する。危険予測部１３は現在の端末装置１の姿勢に基づく基準となる直交する３軸による３次元空間座標系において、音の発生源の方向ベクトルを特定する。危険予測部１３は、特定した発生源の方向ベクトルが示す方向に対応する撮影画像中の物体を検出する。危険予測部１３その物体が形状などのパターン認識により、危険物候補と特定できる場合には、その危険物候補と発生源の方向ベクトルとの関係を結びつける。危険予測部１３は、危険物候補と発生源の方向ベクトルが一致する場合には、例えば音声などにより危険物候補の方向をスピーカから出力するようにしてもよい。
　次に通知部が危険情報を通知する（ステップＳ５）。
　具体的に通知部１４の処理について説明する。通知部１４は検出した危険情報をユーザに通知する。例えば通知部１４は、検出した危険物候補およびそれに関連する情報を危険情報として端末装置１の画面に表示する。この時、通知部１４は、危険が迫っているかを示す危険接近レベルに基づいて衝突予想時刻も併せて表示してもよい。通知部１４は端末装置１の向き（姿勢）や危険物候補の接近方向に基づいて、ユーザの危険回避行動を補助するための情報も併せて表示してもよい。なお、ユーザへの危険情報の通知は危険を予測した時に限定せず、カメラ１０８の撮影により得られた画像データにおいて危険の可能性がある旨や、マイク１１０で特徴的な音である可能性がある旨の情報をリアルタイムに画面の一部に表示してもよい。
　通知部１４は、端末装置１の向き（姿勢）やユーザの視線方向に基づいて、画面表示の他、スピーカ１１２、バイブレータ１１３、ライト１１４など端末装置１に具備された各種出力機能を使い分けてユーザに通知してよい。
　ステップＳ５の危険情報の通知処理について補足説明する。
　なお危険情報を画面に表示する際は危険接近レベルをレベル１～レベル３の何れかに設定して出力する。一例としては、危険接近レベル３を衝突予想時刻まで３秒と設定しているが、危険回避行動はユーザの年齢や身体能力による部分もあるため固定値ではなくユーザに応じて設定してもよい。
（危険接近レベル１）
　危険予測部１３は、検出した危険物候補と端末装置１との距離を算出し、その距離が閾値以上であると判定した場合には危険接近レベル１と判定する。そして危険予測部１３は危険物候補との距離が閾値以上であり、かつ、危険物候補の接近速度が閾値未満または危険物候補が停止していると判定した場合には危険接近レベル１と判定する。一例として危険予測部１３は、距離が閾値以上であり接近速度が閾値未満であることにより、ユーザとの衝突までの予想時間が８秒以上であると算出した場合には、危険接近レベル１と判定する。
（危険接近レベル２）
　危険予測部１３は、危険物候補との距離が閾値以上であり、かつ、危険物候補の接近速度が閾値以上と判定した場合には危険接近レベル２と判定する。一例として危険予測部１３は、距離が閾値以上であるが接近速度が閾値以上であることにより、ユーザとの衝突までの予想時間が８秒～３秒と算出した場合には、危険接近レベル２と判定する。
（危険接近レベル３）
　危険予測部１３は、危険物候補との距離が閾値未満であり、かつ、危険物候補の接近速度が閾値以上と判定した場合には危険接近レベル３と判定する。一例として危険予測部１３は、距離が閾値未満でありさらに接近速度が閾値以上であることにより、ユーザとの衝突までの予想時間が３秒未満と算出した場合には、危険接近レベル３と判定する。
　危険予測部１３は、危険接近レベルの決定において、画像データから判定した危険物候補の位置、そのサイズ、危険物候補が単位時間においてユーザに近づく際の変化量、ユーザとの接近距離、衝突予想時間など何れか一つまたは複数の情報を用いて決定してよい。
衝突予測時刻を算出する際には危険予測部１３は、取得した一定時間毎に画像データのフレーム差分を検出することで変化領域を算出し、その変化領域に基づいて危険物候補の移動距離や移動速度（接近速度）を推定することができる。
　危険予測部１３は、危険物候補の進行方向、およびマイク１１０から検出した音の方向を基に危険回避行動のためにどこに逃げればよいかなどの補助情報を音声や画面などで出力するようにしてもよい。危険予測部１３は、例えばユーザが回避する方向を矢印で画面上に表現する。
　なお危険予測部１３は、危険物候補が必ずしも音を発するとは限らない為、入力情報であるマイク１１０から得た音信号と、カメラ１０８から得た画像データはそれぞれ独立して処理し、何れかの情報に優先順位や重み付け設定してもよい。また、上記において触れたが、カメラ１０８からの画像データの解析には加速度センサ１０９から得た加速度により端末の傾き（前傾角・横傾角）などの姿勢を算出して、進行方向を認識し、端末のぶれや動きによる画像の歪みを補完することができる。
　上記ステップＳ５における危険情報の通知手段について補足する。
　端末装置１の危険予測部１３は、傾き情報を基に端末装置１の画面部分が地面方向に向いておりユーザが視認できない状態だと検知する。そして危険予測部１３は、画面への通知だけではユーザが認識できない可能性が高いと判断できるため、バイブレータ１１３やスピーカ１１２、ライト１１４など別の通知手段を選択してユーザへ危険を通知する。また危険予測部１３はユーザの視線情報を基に、ユーザが画面を見ていないと検知した場合も通知部１４は通知手段を選択してユーザへ危険を通知してよい。
　データ送信部１５は、検知した危険に関するデータを専用サーバに送信する（ステップＳ６）。なお専用サーバは、全ユーザからのフィードバックや危険予測結果を収集し、多角的に分析、蓄積することで本端末装置１に限らず他の端末装置１も含めた全ての端末装置１に対して危険予測精度を向上させる処理を行ってもよい。端末装置１は専用サーバ２から得られたデータ分析に基づいて危険予測を行うようにしてもよい。
　また、実際に危険だった場合はユーザの操作でその旨をフィードバックする他、危険回避後に警察や病院へ発呼する、証拠写真を撮影する、ＳＮＳ（social networking service）に検出結果を送信して登録する場合がある。専用サーバは危険個所においてユーザがそれらの動作をする可能性が高いと仮定し、それらの動作をしたかどうかをフィードバックとして受け取るようにしてもよい。
　上述の端末装置１の処理によれば、ユーザが端末装置１を歩行中操作している時における危険検知について、アウトカメラ１０８ｂだけでなく必要に応じてインカメラ１０８ａも利用して障害物、接近物などの危険物候補を検知する仕組みを提供することができる。
これにより端末装置１は詳細な危険予測を行うことができる。さらに端末装置１は加速度センサ１０９からの傾きなどの情報や、複数のマイク１１０からの音や方向などの情報も材料とすることで、カメラ１０８には映っていない危険も予測とすることが可能となる。
　端末装置１は例えば時計型端末や眼鏡型端末など、ウェアラブル端末と連携して得られるデータを危険予測に利用してもよい。
　上述の端末装置１は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
　また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。
　この出願は、２０１７年７月２８日に出願された日本出願特願２０１７－１４６９６０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１・・・端末装置
２・・・専用サーバ
１１・・・制御部
１２・・・歩行中操作判定部
１３・・・危険予測部
１４・・・通知部
１５・・・データ送信部
１０１・・・ＣＰＵ
１０２・・・ＲＯＭ
１０３・・・ＲＡＭ
１０４・・・ＨＤＤ
１０５・・・通信モジュール
１０６・・・タッチパネル
１０７・・・入出力部
１０８・・・カメラ
１０９・・・加速度センサ
１１０・・・マイク
１１１・・・ＧＰＳ
１１２・・・スピーカ
１１３・・・バイブレータ
１１４・・・ライト

Claims (5)

  1. 　ユーザが歩行しながら自装置を操作しているかを判定する歩行中操作判定手段と、
    　周囲の音を収集する音収集装置と、
    　前記ユーザが歩行しながら自装置を操作していると判定された場合に、自装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測する危険予測手段と、を備え、
    　前記危険予測手段は前記音収集装置から得た音信号に基づいて前記音の発生源の方向を算出する
    　端末装置。
  2. 　前記危険予測手段は、前記端末装置の姿勢を検出し、前記ユーザの危険を予測した場合に当該姿勢に基づいて危険の通知に利用する通知手段を選択する
    　請求項１に記載の端末装置。
  3. 　前記カメラとして前記端末装置の板状筺体に主面に設けられたインカメラと、
    　前記主面の裏面に設けられたアウトカメラと、を備え、
    　前記危険予測手段は前記インカメラと前記アウトカメラの両方から得た画像に基づいて前記ユーザの危険を予測する
    　請求項１または請求項２に記載の端末装置。
  4. 　ユーザが歩行しながら自装置を操作しているかを判定し、
    　周囲の音を収集し、
    　前記ユーザが歩行しながら自装置を操作していると判定された場合に、端末装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測するとともに、前記収集した音の信号に基づいて前記音の発生源の方向を算出する
    　危険予測方法。
  5. 　端末装置のコンピュータを、
    　ユーザが歩行しながら自装置を操作しているかを判定する歩行中操作判定手段、
    　周囲の音を収集する音収集手段、
    　前記ユーザが歩行しながら自装置を操作していると判定された場合に、前記端末装置に備わるカメラから得た画像データに写る危険物候補に基づいて前記ユーザの危険を予測するとともに、前記収集した音の信号に基づいて前記音の発生源の方向を算出する危険予測手段、
    　として機能させるプログラムを記録する記録媒体。
PCT/JP2018/027371 2017-07-28 2018-07-20 端末装置、危険予測方法、記録媒体 WO2019021973A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/634,253 US20200372779A1 (en) 2017-07-28 2018-07-20 Terminal device, risk prediction method, and recording medium
JP2019532574A JP6822571B2 (ja) 2017-07-28 2018-07-20 端末装置、危険予測方法、プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017146960 2017-07-28
JP2017-146960 2017-07-28

Publications (1)

Publication Number Publication Date
WO2019021973A1 true WO2019021973A1 (ja) 2019-01-31

Family

ID=65041174

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/027371 WO2019021973A1 (ja) 2017-07-28 2018-07-20 端末装置、危険予測方法、記録媒体

Country Status (3)

Country Link
US (1) US20200372779A1 (ja)
JP (1) JP6822571B2 (ja)
WO (1) WO2019021973A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117379009A (zh) * 2023-10-18 2024-01-12 中国人民解放军总医院第二医学中心 一种社区老年人群心脑血管急危重症预警监测系统
CN117379009B (zh) * 2023-10-18 2024-06-04 中国人民解放军总医院第二医学中心 一种社区老年人群心脑血管急危重症预警监测系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018087625A1 (en) 2016-11-10 2018-05-17 Semiconductor Energy Laboratory Co., Ltd. Display device and driving method of display device
CN111559327B (zh) * 2019-02-14 2022-05-24 华为技术有限公司 一种数据处理方法及对应的装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015061122A (ja) * 2013-09-17 2015-03-30 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 報知装置、制御方法、及びプログラム
JP2015185899A (ja) * 2014-03-20 2015-10-22 株式会社Ｎｔｔドコモ 携帯端末および音通知方法
JP2017010385A (ja) * 2015-06-24 2017-01-12 株式会社東芝 携帯端末、警告出力方法、及び、プログラム
JP2017060033A (ja) * 2015-09-17 2017-03-23 カシオ計算機株式会社 携帯情報機器、携帯情報システム、表示方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015061122A (ja) * 2013-09-17 2015-03-30 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 報知装置、制御方法、及びプログラム
JP2015185899A (ja) * 2014-03-20 2015-10-22 株式会社Ｎｔｔドコモ 携帯端末および音通知方法
JP2017010385A (ja) * 2015-06-24 2017-01-12 株式会社東芝 携帯端末、警告出力方法、及び、プログラム
JP2017060033A (ja) * 2015-09-17 2017-03-23 カシオ計算機株式会社 携帯情報機器、携帯情報システム、表示方法及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117379009A (zh) * 2023-10-18 2024-01-12 中国人民解放军总医院第二医学中心 一种社区老年人群心脑血管急危重症预警监测系统
CN117379009B (zh) * 2023-10-18 2024-06-04 中国人民解放军总医院第二医学中心 一种社区老年人群心脑血管急危重症预警监测系统

Also Published As

Publication number Publication date
US20200372779A1 (en) 2020-11-26
JP6822571B2 (ja) 2021-01-27
JPWO2019021973A1 (ja) 2020-07-30

Similar Documents

Publication Publication Date Title
US20230394683A1 (en) Information processing apparatus, control method, and program
KR101766305B1 (ko) 침입 탐지 장치
US20160054795A1 (en) Information display device
JP4161208B2 (ja) 携帯情報装置、携帯電話装置および表示制御方法
KR20210115026A (ko) 차량 인텔리전트 운전 제어 방법 및 장치, 전자 기기 및 기억 매체
JPWO2013042767A1 (ja) 車両周辺監視装置
JPWO2017163514A1 (ja) 眼鏡型ウェアラブル端末、その制御方法および制御プログラム
EP3157233A1 (en) Handheld device, method for operating the handheld device and computer program
JP2010044561A (ja) 乗物搭載用監視装置
US20210090611A1 (en) Information processing apparatus, control method, and program
JP6822571B2 (ja) 端末装置、危険予測方法、プログラム
JP2013093865A (ja) 車両周辺監視装置
JP2010026601A (ja) 車両周辺監視装置
US20220189038A1 (en) Object tracking apparatus, control method, and program
JPWO2019021500A1 (ja) 乗員数検知システム、乗員数検知方法、およびプログラム
JP5626099B2 (ja) 歩行者検出装置
JP6120444B2 (ja) ウェアラブルデバイス
JP2006027481A (ja) 物体警告装置及び物体警告方法
JP7424973B2 (ja) 報知システム
JP2009295018A (ja) 車両周辺監視装置
JP2014044458A (ja) 車載機器、及び、危険報知方法
JP2014078155A (ja) 車両用警報装置
JP6321848B2 (ja) ウェアラブルデバイス
JP2022186346A (ja) 遠隔支援装置、遠隔支援方法、遠隔支援プログラム及び遠隔支援システム
JP6146017B2 (ja) 携帯端末装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18838599

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019532574

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18838599

Country of ref document: EP

Kind code of ref document: A1