WO2016072644A1 - 조기에 위험을 경고하는 방법 및 장치 - Google Patents

조기에 위험을 경고하는 방법 및 장치 Download PDF

Info

Publication number
WO2016072644A1
WO2016072644A1 PCT/KR2015/011083 KR2015011083W WO2016072644A1 WO 2016072644 A1 WO2016072644 A1 WO 2016072644A1 KR 2015011083 W KR2015011083 W KR 2015011083W WO 2016072644 A1 WO2016072644 A1 WO 2016072644A1
Authority
WO
WIPO (PCT)
Prior art keywords
target object
risk
information
wearable device
user
Prior art date
Application number
PCT/KR2015/011083
Other languages
English (en)
French (fr)
Inventor
두시아오이
루오헹리앙
왕얀
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201410638409.6A external-priority patent/CN105632049B/zh
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US15/525,218 priority Critical patent/US10121075B2/en
Priority to EP15857475.6A priority patent/EP3217370A4/en
Publication of WO2016072644A1 publication Critical patent/WO2016072644A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms

Definitions

  • HMD head mounted displays
  • image signals are used to detect danger from the vehicle.
  • an audio signal is used to detect a danger and provide warning information.
  • a method of early warning of a danger with a wearable device may include obtaining image information of a target object, detecting a physical characteristic of the target object based on the obtained image information, and using the detected physical characteristic. Determining a degree of risk that is a degree of threatening the safety of the user, and providing an alert to the user based on the risk of the determined event.
  • the acquiring step may include acquiring surrounding audio information and detecting the audio property based on the acquired audio information.
  • the determining of risk may further include determining, based on the image information, the time taken for the target object to reach the wearable device, the physical characteristics of the target object, the time taken for the target object to reach the wearable device, and the audio of the target object.
  • the method may include determining a risk level for the target object according to at least one of the characteristics.
  • the physical characteristics of the target object may include a human face, a torso, limbs, an animal tooth, a tail, or an eye.
  • the audio characteristics of the target object may include at least one of volume, pitch, Mel Frequency Cepstrum Coefficient (MFCC), human dialogue, and Power Normalized Cepstral Coefficient (PNCC). Can be.
  • MFCC Mel Frequency Cepstrum Coefficient
  • PNCC Power Normalized Cepstral Coefficient
  • the obtaining may include obtaining weather information or odor information, and determining the risk may determine the risk based on weather information or odor information.
  • the step of providing a warning may also provide a warning in different ways depending on the degree of risk.
  • the method may further include receiving image information or audio information obtained through the second wearable device, and the determining the risk may determine the risk based on the information received from the second wearable device.
  • the detecting may include detecting whether the target object is a human by using the image information, and detecting the face of the person if the target object is a human, and determining the risk may include detecting the face.
  • the risk can be determined by whether or not you are in the set face database.
  • a wearable device that warns of a danger early may include a sensing unit that acquires image information of a target object, a characteristic detector that detects physical characteristics of the target object based on the acquired image information, and a detected physical characteristic. It may include a risk determination unit for determining a risk that is a degree of threat to the safety of the user and a warning unit for warning the user based on the risk of the determined event.
  • the sensing unit may acquire surrounding audio information, and the characteristic detector may detect the audio characteristic based on the obtained audio information.
  • the risk determination unit may determine the time taken for the target object to reach the wearable device based on the image information, and may include at least one of a physical characteristic of the target object, a time taken for the target object to reach the wearable device, and an audio characteristic of the target object. The risk for the target object can be determined accordingly.
  • the physical characteristics of the target object may include a human face, a torso, limbs, an animal tooth, a tail, or an eye.
  • the audio characteristics of the target object may include at least one of volume, pitch, Mel Frequency Cepstrum Coefficient (MFCC), human dialogue, and Power Normalized Cepstral Coefficient (PNCC). Can be.
  • MFCC Mel Frequency Cepstrum Coefficient
  • PNCC Power Normalized Cepstral Coefficient
  • the sensing unit may obtain weather information or smell information
  • the risk determination unit may determine the risk level based on the weather information or smell information.
  • the warning part can also provide a warning in different ways depending on the degree of danger.
  • the apparatus may further include a receiver configured to receive image information or audio information acquired through the second wearable device, and the risk determiner may determine the risk based on the information received from the second wearable device.
  • the detection unit detects whether the target object is a human using the image information, and if the target object is a human, detects a human face, and the risk determination unit determines a risk according to whether the detected face is in a preset face database. You can decide.
  • FIG. 1 is a block diagram illustrating an apparatus for early warning of danger according to one embodiment.
  • FIG. 2 is a block diagram illustrating an apparatus for early warning of danger according to another embodiment.
  • FIG. 3 is a block diagram illustrating an apparatus for early warning of danger according to another embodiment.
  • FIG. 4 is a flowchart illustrating a method for warning of danger early in accordance with one embodiment.
  • FIG. 5 is a flowchart illustrating a method for warning of danger early in accordance with another embodiment.
  • FIG. 6 is a flowchart illustrating an example of a method for early warning of danger according to an embodiment.
  • FIG. 7 is a flowchart for explaining another example of a method for early warning of danger.
  • FIG. 8 is a flowchart for explaining another example of a method for early warning of danger.
  • 9 is a flowchart for explaining an example of implementing a method for early warning of danger.
  • part refers to a hardware component, such as software, FPGA or ASIC, and “part” plays certain roles. However, “part” is not meant to be limited to software or hardware.
  • the “unit” may be configured to be in an addressable storage medium and may be configured to play one or more processors.
  • a “part” refers to components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, Subroutines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables.
  • the functionality provided within the components and “parts” may be combined into a smaller number of components and “parts” or further separated into additional components and “parts”.
  • FIG. 1 is a block diagram illustrating an apparatus for early warning of danger according to one embodiment.
  • the wearable device 100 that warns of danger early includes a sensing unit 110, a characteristic detection unit 120, a risk determination unit 130, and a warning unit 140.
  • the wearable device may include a head mounted display, smart glasses or smart watch.
  • the sensing unit 110 may obtain image information of the target object. In addition, the sensing unit 110 may obtain surrounding audio information. In addition, the sensing unit 110 may acquire weather information or smell information. In addition, the sensing unit 110 may obtain the biometric information of the user through the first wearable device.
  • the characteristic detector 120 may detect a physical characteristic of the target object based on the acquired image information. In addition, the characteristic detector 120 may detect the audio characteristic based on the obtained audio information.
  • the audio characteristics of the target object may include at least one of a volume, a pitch, a Mel Frequency Cepstrum Coefficient (MFCC), a human dialogue, and a Power Normalized Cepstral Coefficient (PNCC). have.
  • MFCC Mel Frequency Cepstrum Coefficient
  • PNCC Power Normalized Cepstral Coefficient
  • the characteristic detector 120 may detect whether the target object is a human by using image information.
  • the characteristic detector 120 may detect a face of a person when the target object is a person.
  • the risk determining unit 130 may determine the degree of risk that threatens the safety of the user by using the detected physical characteristics. In addition, the risk determination unit 130 may determine the time taken for the target object to reach the first wearable device based on the image information. The risk determination unit 130 may determine the risk for the target object according to at least one of the physical characteristics of the target object, the time taken for the target object to reach the first wearable device, and the audio characteristic of the target object. In addition, the risk determination unit 130 may determine the risk based on weather information or smell information. For example, on rainy days you need to be careful of slips, which can increase your risk. Or, if the concentration of toxic gas in the air is high, the risk may increase. In addition, the risk determination unit 130 may determine the risk based on the biometric information. In addition, the risk determination unit 130 may determine the risk according to whether the detected face is in a preset face database.
  • the warning unit 140 may provide a warning to the user based on the determined risk of the event.
  • the warning unit 140 may provide a warning according to the biometric information. For example, an alert may be provided when a user's blood pressure drops sharply.
  • the warning unit 140 may vary the warning depending on the degree of danger. For example, if the risk is low, a warning can be given with a weak vibration, and if the risk is high, a warning can be given with a strong vibration.
  • the lamp may blink slowly at low risk, and the lamp may blink quickly at high risk. Another example may be to repeat the beep slowly at low risk, and to repeat the beep quickly at high risk.
  • FIG. 2 is a block diagram illustrating an apparatus for early warning of danger according to another embodiment.
  • the device 200 for warning of danger early includes a sensing unit 110, a characteristic detection unit 120, a risk determination unit 130, a warning unit 140, and a receiver 210.
  • the receiving unit 210 may receive information obtained through the second wearable device.
  • the information may include at least one of biometric information of the second user and image information and audio information acquired by the second wearable device.
  • the risk determination unit 130 may determine the risk based on the information received from the second wearable device.
  • the possibility of fraud can be determined by analyzing the conversation contents, facial features, or motion change of the target object.
  • the risk determination unit 130 may determine the risk based on the determined probability of fraud.
  • FIG. 3 is a block diagram illustrating an apparatus for early warning of danger according to another embodiment.
  • the wearable device 300 may include a sensing unit 310, a processing unit 320, and an alarm unit 330.
  • the wearable device 300 may correspond to the wearable device 100 that warns of a danger early in FIG. 1.
  • the sensing unit 310 may include various sensors for detecting different types of information.
  • the sensing unit 310 includes an image sensor 312, an audio sensor 314, a humidity sensor 316, and an odor sensor 318.
  • Image sensors also known as photosensitive elements, are devices that convert optical images into electronic signals.
  • the image sensor 312 can be used to obtain real time image information of the surrounding environment.
  • the wearable device 300 may include a camera, and the image sensor 312 may be included in the camera.
  • Real-time image information may include any peripheral information that may threaten the safety of the user.
  • real-time image information is not limited to road conditions, vehicle operating conditions, or information from nearby organisms, including humans and animals.
  • the audio sensor 314 may comprise a pickup device or an array of pickups.
  • the audio sensor 314 can be used to obtain real time audio information of the surrounding environment.
  • Real time audio information may contain arbitrary ambient information that may threaten the safety of the user.
  • real-time audio information may include, but is not limited to, vehicle horns, thunders, human voices, animal screams, and the like.
  • the sensing unit 310 may include another type of sensor.
  • the sensing unit 310 may constitute a humidity sensor 316, an odor sensor 318, a speed sensor (not shown), an atmospheric pressure sensor (not shown), or the like.
  • Humidity sensor 316 may be used to sense humidity to determine weather conditions of the surrounding environment.
  • Odor sensor 318 may be used, for example, to detect some type of odor or gas in the environment.
  • the gas may be a gas containing dangerous chemicals such as carbon monoxide fumes that endanger the safety of the user.
  • the speed sensor may be used to detect, for example, the speed of a user wearing the wearable device 300.
  • Atmospheric pressure sensors can be used to sense atmospheric pressure, for example, to determine weather conditions of the surrounding environment.
  • the sensing unit 310 may include any type of sensor already made or any type of sensor for sensing an environmental condition to be developed in the future.
  • the wearable device 300 may further include a network communication unit 350 that may be connected to a network such as the Internet 20 to acquire information. By the network communication unit 350, the wearable device 300 may receive weather forecast information in order to acquire weather information of the surrounding environment in the network.
  • the wearable device 300 may further include a biometric information sensor 360.
  • Biometric information sensor 360 is an instrument used to detect biological material and convert material concentration into electrical signals.
  • the biometric information sensor 360 may be used to detect biometric information of the user 10 (that is, the user) wearing the wearable device 300.
  • the biometric information of the user may include various information representing the physiological state of the user.
  • the biometric information may include but is not limited to heart rate, blood pressure, body temperature, respiratory rate.
  • the processor 320 is used to determine a risk based on various pieces of information obtained through the wearable device. In response to the risk, the processor 320 may provide warning information. For example, the processor 320 may analyze the image information and the audio information and determine the risk based on the above analysis.
  • the processor 320 may analyze the image information to acquire information that may endanger the safety of the user.
  • the processor 320 may include the feature detector 120 of FIGS. 1 and 2.
  • the processor 320 may detect a physical feature of the target object based on the environment image information transmitted by the sensing unit 310.
  • the target object may be a vehicle, an animal, or a human. Vehicles may also include, but are not limited to, trucks, cars, motorcycles. When the subject is an animal (eg, a drooping dog, a fierce dog, etc.), its physical characteristics may include but are not limited to tail and eyes.
  • the target object is a human, the physical characteristics of the human may include but are not limited to the human face, limbs and torso. If the target object moves, the processor 320 may determine a time taken for the target object to reach the wearable device, that is, a time taken for the target object to reach the user.
  • the processor 320 may analyze the audio information to acquire information that may endanger the safety of the user. For example, the processor 320 may extract an audio characteristic of the target object based on the audio information transmitted from the sensing unit 310.
  • the target object may include, but is not limited to, a vehicle, an animal, and a person.
  • the audio characteristics of the vehicle may include but are not limited to the horn sound of the vehicle.
  • the audio characteristics of the animal may include, but are not limited to, audio size, pitch, and mel frequency cepstrum coefficient (MFCC).
  • MFCC mel frequency cepstrum coefficient
  • the audio characteristics of the person may include but are not limited to speech, power normialized cepstral coefficients (PNCC).
  • the processor 320 may also be configured based on image and audio analysis for determining a risk level for the target object. For example, the processor 320 may determine a risk level for the target object based on the following three items.
  • the three items are the physical characteristics of the target object, the time taken for the target object to reach the corresponding wearable device, and the audio characteristics of the target object.
  • the processor 320 may be formed based on various factors that adjust the risk level to be evaluated. In one embodiment, the processor 320 may determine the risk based on weather information or smell information detected by the sensing unit 310.
  • the vehicle can slip and create unexpected hazards. Therefore, the risk can be high.
  • the risk may be increased.
  • the processing unit 320 may be based on the physiological condition information of the user detected by the biometric information sensor 360. The risk may be determined. For example, when a bad physiological condition of the user, such as a fast heart rate, high blood pressure, lack of breath, or the like is detected by the bioinformation sensor 360, the risk may be increased.
  • the processor 320 is configured to provide warning information in response to the degree of danger.
  • the processor 320 is configured to obtain feedback information of the user wearing the wearable device and provide warning information based on the feedback information. For example, when a user inputs information about a high risk factor, warning information may be provided according to high risk. For example, you can enter the current weather or enter your health.
  • the early risk warning system may include a stored user preference database (eg, user preference data such as response data or feedback data for various risks).
  • the processor 320 may provide alert information in a manner suitable for the user or a similar user.
  • the warning unit 330 may warn based on the warning information provided by the processing unit 320.
  • the warning unit 330 may include various devices (eg, speakers, displays, vibrators, etc.) that can interact with the user to provide other ways of alerting.
  • wearable device 300 may include third party support.
  • the wearable device 300 may include a transmitter 340.
  • the transmitter 340 may receive information from other wearable devices. (Eg, wearable device worn by user 40).
  • the above information includes, but is not limited to, biometric information of users wearing other wearable devices, information generated by other wearable devices (eg, risk generated by a processing unit of the wearable device).
  • the processor 320 may determine the risk based on information from other wearable devices. Through information sharing, the user can be provided with an initial warning from a third party. Therefore it can increase the safety of the user.
  • the early danger warning system may include a shared database 30 that allows the wearable device to upload their information to the shared database 30 in order to share information with other devices.
  • the receiver 210 of FIG. 2 may be included in the transmitter 340.
  • each wearable device may receive information from another wearable device through the shared database 30.
  • connection may be set up directly to transmit information between the two wearable devices.
  • a wearable device worn by an adult and a wearable device worn by a child may be used together by establishing a direct connection.
  • two wearable devices may share information with each other.
  • the wearable device 300 may include, but is not limited to, a head mounted device, a wrist mount device, a smart bracelet, a smart watch, and the like.
  • a person skilled in the art can design a device suitable for performing detection through various sensors on the wearable device 300.
  • FIG. 4 is a flowchart illustrating a method for warning of danger early in accordance with one embodiment.
  • image information of the target object may be obtained.
  • information acquired through the second wearable device worn by the second user may be received.
  • the information may include at least one of biometric information, image information, audio information, and information generated by the second wearable device of the second user.
  • the sensor may detect weather conditions or receive weather forecasts through a network to obtain weather information. Weather information or smell information may also be obtained.
  • biometric information of the first user acquired through the first wearable device may be received.
  • the physical characteristic of the target object may be detected based on the acquired image information.
  • the risk may be determined based on the detected physical characteristics.
  • the risk may be determined based on information received from the second wearable device.
  • the risk may be determined based on the determined risk of the event. To alert the user. And the warning can be different based on the biometric information.
  • FIG. 5 is a flowchart illustrating a method for warning of danger early in accordance with another embodiment.
  • surrounding information may be acquired through the wearable device.
  • information acquired through the second wearable device worn by the second user may be received.
  • the information may include at least one of biometric information of the second user, information, and information generated by the second wearable device.
  • the sensor may detect weather conditions or receive weather forecasts through a network to obtain weather information.
  • the information may include weather information or odor information.
  • the biometric information of the first user acquired through the first wearable device may be received.
  • the risk level may be determined based on the obtained information.
  • the risk may be determined based on the information obtained through the second wearable device.
  • the risk may be determined based on weather information or odor information.
  • the physical characteristics of the target object may be detected, and the time taken for the target object to reach the corresponding wearable device may be determined based on the image information.
  • the audio characteristic of the target object may be extracted based on the audio information.
  • the risk for the target object may be determined according to at least one of physical characteristics of the target object, time taken for the target object to reach the corresponding wearable device, and audio characteristics of the target object.
  • the audio characteristics of the target object may include at least one of a volume, a pitch, a Mel Frequency Cepstrum Coefficient (MFCC), a human dialogue, and a Power Normalized Cepstral Coefficient (PNCC). have.
  • MFCC Mel Frequency Cepstrum Coefficient
  • PNCC Power Normalized Cepstral Coefficient
  • step S530 may provide a warning according to the determined risk. It is also possible to adjust the means for providing the alert information based on the biometric information.
  • FIG. 6 is a flowchart illustrating an example of a method for early warning of danger according to an embodiment.
  • first wearable device refers to the mentioned wearable device.
  • Secondary wearable device refers to another wearable device having a similar function in addition to the wearable device mentioned. This is a way to distinguish without limiting the wearable device itself.
  • the information is obtained through the first wearable device.
  • the information includes image information and audio information.
  • the potential danger may be a danger due to the vehicle while driving, a danger from nearby animals, a danger from toxic gases in the air, or a potential fraud from strangers.
  • the wearable device worn by the user may acquire ambient information to detect possible potential dangers.
  • the information includes image information and audio information.
  • the image information may include information of the vehicle, information of a person or an animal, and operation state information of a person or an animal while driving the vehicle.
  • the information of the plurality of images may include a movement direction, a speed, a target object, and the like.
  • the image sensor 312 shown in FIG. 3 may be used to detect image information.
  • the audio information may include the horn frequency of the vehicle, the human voice around the user, and the screaming of the animal while the vehicle is driving.
  • the audio sensor 314 shown in FIG. 3 can be used to detect audio information.
  • the risk level is determined based on the information obtained in step S610. For example, specifically determining whether the driving direction of the vehicle toward or away from the user through the image information, and determining whether the distance between the vehicle and the user is too close enough to endanger the safety of the user. It includes. The method may further include determining, via the audio information, whether the nearby animal is in anger and whether the user may be hurt.
  • a warning is issued according to the determined degree of risk. For example, if the risk is high, the user may warn the user to leave the place or change the walking direction. In some embodiments, the alert method may be set according to site or user preference.
  • the wearable device may also store the user preferences database and send user feedback information for later use. (E.g., response data or feedback data for various risks)
  • the wearable device may obtain user feedback information from a user preference database that stores user preferences, and provide a corresponding alert based on the feedback information.
  • the manner of warning may include, but is not limited to, visual, auditory and tactile.
  • the content of the warning may include images, text, sound or any combination of the above mentioned items.
  • the warning may vary depending on the determined risk. For example, if the risk is low, the sound of the alert may be set to low volume and low frequency. If the risk is high, the warning sound can be set at high volume and high frequency. Also, if the risk is high, various ways of alerting can be used simultaneously, for example, vibrations rather than beeps can be generated to alert the user.
  • the manner of alerting may be adjusted based on the biometric information of the user wearing the wearable device. Since the biometric information of the user may reflect the psychological or mental state of the user, other biometric or mental states may result in different responses and treatments for the oncoming risk.
  • the wearable device may provide various ways to alert the user. For example, if the user's mental state is not good, the user is likely to overlook the risk if the current user does not respond to the risk. In order to prevent possible damage, the manner of warning triggered by the wearable device may be more sensitive. For example, a wearable device may use high warning volume, high frequency, and so on.
  • the method of early warning of danger uses a wearable device to obtain information.
  • the obtained information may include image information and audio information.
  • the wearable device determines the risk based on the obtained information. According to the determined risk, the wearable device warns the user.
  • the method provides a comprehensive and rapid early hazard warning of the user through various sensors. This improves the safety of the user.
  • risk detection includes detection of vehicles as well as organisms such as animals and humans.
  • FIG. 7 is a flowchart for explaining another example of a method for early warning of danger.
  • the time required for the target object to reach the corresponding wearable device is determined based on the image information.
  • Image information is analyzed to obtain information that may endanger the safety of the user.
  • the image information may not only be captured by the wearable device itself, but may also include an image captured by another wearable device. For example, when two devices are paired, these two devices can transmit data between each other.
  • the data may include photographed image information, audio information, and information generated by each wearable device, for example, but not limited thereto.
  • analyzing the image information may include detecting a physical characteristic of the target object.
  • shared types may be used to detect various types of target objects.
  • the target object includes three kinds of cars, animals, and people. If the target object is an animal (eg stray dog, ferocious dog, etc.), the physical properties include but are not limited to the animal's teeth, tail, eyes.
  • the target object is a person
  • the physical characteristics of the person include, but are not limited to, the person's face, torso and limbs.
  • the physical characteristic information of a person can be used to determine whether there is a possibility of fraud.
  • analyzing the image information may include determining a time for the target object to reach the corresponding wearable device based on the plurality of images.
  • a plurality of images can be used to determine the distance between the target object and the wearable device, the direction of movement, and the speed of the target object.
  • the time taken for the target object to reach the corresponding wearable device can be calculated.
  • Several methods can be used to calculate distance, direction of movement and speed.
  • the distance can be estimated by comparing the actual size of the target object with the image size of the target object in the image.
  • the direction of movement may be estimated according to the offset of the target object in the image.
  • analyzing the image information may analyze an image from another wearable device.
  • the first wearable device and the second wearable device are paired and share image information with each other.
  • the first wearable device may analyze image information from the second wearable device, and calculate a time taken for the target object to reach the second wearable device. Subsequently, the first wearable device may determine a time taken for the target object to reach the first wearable device based on a mutual positional relationship between the first wearable device and the second wearable device.
  • the second wearable device may share a time taken for the target object to reach the first wearable device and the second wearable device. Therefore, the amount of transmitted data can be reduced, thereby improving processing efficiency.
  • audio characteristics of the target object may be detected based on the audio information.
  • the audio information is analyzed to obtain information that may endanger the safety of the user.
  • the audio information includes audio information captured by the wearable device itself as well as audio captured by another wearable device.
  • analyzing the audio information includes detecting audio characteristics of the target object from the audio information.
  • the sound of interest eg the sound of a vehicle, animal or human
  • the audio characteristic includes but is not limited to the horn frequency of the vehicle.
  • the audio characteristics include, but are not limited to, volume, pitch, and mel frequency cepstrum coefficient (MFCC).
  • MFCC mel frequency cepstrum coefficient
  • the audio characteristics of the person may include, but are not limited to, a person's conversation, power normalized cepstrum coefficients (PNCC).
  • the risk may be determined according to the physical characteristics of the target object, the time taken for the target object to reach the corresponding wearable device, and the audio characteristics of the target object.
  • the risk level for the target object may be determined by analyzing the image and audio information. Can be determined on the basis of In particular, the risk for the target object may be determined according to the physical and audio characteristics of the target object and the time taken for the target object to reach the corresponding wearable device.
  • the target object when the target object is a vehicle, it may be weighted and discretized by the time it takes for the vehicle to reach the user and the horn frequency of the vehicle.
  • a risk level i.e., a level that threatens the user
  • the target object when the target object is an animal, the threat level (eg, anger and ferocity) of the animal may be evaluated according to physical characteristics, audio characteristics, and acoustic characteristics of the animal.
  • the probability of attack from an animal can be evaluated according to the time it takes for the animal to reach the user.
  • the threat degree and probability can be weighted and discretized to determine the threat level of the animal, ie the level of danger.
  • evaluating a risk level for the target object may include determining whether the target object is tricking the user.
  • the risk may be determined based on additional factors (weather information, odor information, biological information). The risk may be further adjusted based on a number of factors to provide accurate early warning.
  • the risk may be determined based on weather information or odor information.
  • weather conditions can be detected by the humidity sensor inside the sensing portion of the wearable device.
  • the weather forecast can be obtained via the network by the network communication unit of the wearable device.
  • weather conditions can be detected by other types of sensors, such as temperature sensors used to sense temperature.
  • Acoustic sensors can be used to detect sounds such as thunder, rain and wind.
  • Image sensors can be used to detect images of rainy, snowy, sunny, cloudy, and lightning days.
  • the odor sensor may detect odor information.
  • the risk level caused by a vehicle on rainy days should be much higher than on sunny days. Because on rainy days the road is slippery and hard to see.
  • the risk level may be adjusted based on biometric information of the user wearing the wearable device (ie, the user). As described above, the biometric information of the user may reflect the physiological state or the mental state of the user. When the physiological or mental state is weak, the user is more vulnerable and vulnerable. Thus, the risk level can be raised accordingly.
  • FIG. 8 is a flowchart for explaining another example of a method for early warning of danger.
  • a method of determining a risk level for a target object when the target object is a human is shown.
  • the risk level for the target object is primarily determined by the likelihood of fraud by the target object.
  • step S800 it is detected whether the target object is a human.
  • step S810 if the target object is a person, the face of the target person is detected.
  • the risk is determined according to whether the detected face is in a preset face database.
  • the stranger is recognized according to the image information or the audio information obtained by the wearable device.
  • whether the target object is a stranger may be determined according to the image information.
  • the processor of the wearable device may detect a face according to the image information.
  • Various facial recognition techniques can be used to detect faces.
  • Adaboost machine learning algorithms and Haar-like features may be used to detect faces.
  • whether the detected face is a stranger's face can be determined by searching an acquaintance database.
  • the acquaintance database is a database storing image data of acquaintances of previous users.
  • whether the target object is a stranger may be determined according to the audio information.
  • the processor of the wearable device may perform voice recognition on the audio information.
  • voice recognition techniques can be used to recognize speech.
  • the target object may be recognized by a voiceprint recognition technique.
  • whether the detected voice is the voice of an acquaintance or a trusted person can be determined by searching the acquaintance database.
  • the acquaintance database has previously stored voice data or audio characteristic data of acquaintances of the user.
  • the target object may be considered an acquaintance only if it is recognized by the two embodiments.
  • an acquaintance may be considered when recognized as an acquaintance by one of both embodiments.
  • whether the detected person is interacting with the user may be determined according to the image information of. That is, whether or not the target object is spoken by the user is determined by physical characteristics.
  • the determining may first determine a distance between the target object and the user according to the face size of the target object. For example, it is determined whether the distance is within a preset range. Secondly, according to the direction of the face of the target object, it is determined whether the target object is toward the user. Finally, it determines whether the lips of the target object are moving. If all three of these conditions are met at the same time, the target object may be considered to be the person who is talking to the user. In general, strangers have cheated through stories. Thus, in one embodiment, strangers who do not talk to the user may be excluded from the survey. The excluding step may be performed before, after or between detecting the face and detecting the voice, but is not limited thereto.
  • the likelihood of fraud may be determined based on one or more embodiments, and is determined including, but not limited to, aspects of conversation, representation, or behavior of a target object.
  • the voice content of the target object is analyzed based on a fraud criteria model to determine the likelihood of fraud.
  • a fraud reference model can be created by studying examples of frauds that existed.
  • the fraud criteria model can be generated by the following steps. It collects various cases of fraud from the network and uses a Bayesian classifier to represent the fraudulent language model.
  • the audio information is analyzed by the processing unit of the wearable device.
  • the analysis step firstly extracts the power normalized Cepstrum coefficient (PNCC) feature of the target object and facilitates speech recognition. Secondly, words are divided and sensitive words are extracted based on the Markov random field. Finally, a fraud reference model is used to predict the likelihood of fraud.
  • PNCC power normalized Cepstrum coefficient
  • the likelihood of fraud may be estimated based on changes in facial features (ie facial expressions) of the target object.
  • the processor of the wearable device may be used to analyze a facial feature change of the target object based on the image information. According to psychological or practical analysis, some facial feature changes can be used to infer corresponding psychological activities (such as lying).
  • the likelihood of fraud can be assigned according to a change or combination of special facial features.
  • the likelihood of fraud is assigned according to psychology or practice.
  • the likelihood of fraud is adjusted based on statistical analysis of fraud cases.
  • the special facial feature change may include, but is not limited to, a relative displacement of an eye, a relative change of an eyebrow shape, a change in face color, and the like.
  • Template changes of facial features and the likelihood of fraud can be generated.
  • the template may be a lookup table. Each part of the data in the lookup table is organized by search index and possibility of fraud.
  • the search index can be defined as When the eyes move to the right, the eyebrows rise upwards, and the face turns pink, the chances of a corresponding fraud are 0.7.
  • the likelihood of fraud may be estimated based on the change of behavior of the target object.
  • the processor of the wearable device may be used to analyze a change in behavior of the target object based on the image information. According to the analysis of psychology or practice, any particular behavioral change can be inferred from the corresponding psychological activity (e.g. psychological activity such as a lie).
  • the likelihood of fraud can be assigned according to these particular behavioral changes and combinations thereof.
  • the likelihood of fraud can be assigned on the basis of psychology or practice.
  • the likelihood of fraud is adjusted based on statistical analysis of fraud cases.
  • Special behavioral behavior changes include, but are not limited to, touching the neck and shrugging the shoulders. Templates of behavioral changes and the likelihood of fraud can be created.
  • the detection of behavioral behavioral changes can be implemented in a variety of ways. For example, in the detecting step, the hand is first detected by the color of the skin and the shoulder is detected through the skeletal analysis. Second, the hands and shoulders are tracked using a tracking-learning detection (TLD) tracking algorithm to obtain the order of the hands and shoulders. Finally, the probability of fraud is estimated based on the orbital order.
  • TLD tracking-learning detection
  • the likelihood of fraud determined by each may be calculated separately, from which three likelihoods of fraud may be weighted to determine the likelihood of a comprehensive fraud.
  • the estimated likelihood of fraud can be expressed as a percentage or other value.
  • the likelihood of fraud may be mapped to the corresponding risk. This method extends the scope of risk detection and improves user safety.
  • 9 is a flowchart for explaining an example of implementing a method for early warning of danger.
  • the user's companion gets lost on the street (such as a young girl). If the user is very anxious, the wearable device of the present invention worn by the user detects anxiety of the user by the biometric information sensor and transmits anxiety information to a wearable device worn by other nearby users. It then detects this anxiety and opens the image sharing feature so that the user's field of view can be expanded. This makes it easier for other users to find a lost girl.
  • step S900 the user finds that the companion (girl) is lost.
  • the wearable device worn by the user detects the psychological state of the user by the biometric information sensor.
  • the first wearable device may request information sharing from at least one second wearable device in the vicinity. For example, an information sharing request may be sent to one or more second wearable devices in the vicinity through the server of the early warning system.
  • the first wearable device may directly broadcast a request for information sharing to notify a nearby second wearable device.
  • the second wearable device ie, the wearable device worn by the other user receives an information sharing request.
  • step S940 these second wearable devices enable the information sharing function to help.
  • the second wearable device may optionally upload the view view image along with the audio information to the cloud database for sharing with the first wearable device.
  • these second wearable devices may provide location information (eg, location information obtained through the GPS module).
  • location information eg, location information obtained through the GPS module.
  • the first wearable device may acquire an image of the surroundings for searching.
  • step S970 the object is searched for according to the information acquired by the first wearable device itself and the information shared by the one or more second wearable devices. For example, based on the image information, the young girl is retrieved according to the features or physical characteristics of her shape.
  • step S980 by the manner of information sharing, the user's field of view can be expanded, so the girl can be found more quickly.
  • a search function based on image processing may be performed at the server of the early warning system. Therefore, the load of the first wearable device can be reduced.
  • a search function based on image processing may be distributed among other wearable devices that may accelerate the processing speed.
  • each part (for example, "part") of the apparatus described in the embodiments of the present application may be implemented not only in the form of software but also in the form of hardware.
  • Each portion of the device may be provided by a processor (eg, processor 320).
  • a device may include a processor, a memory for storing and executing program data, a permanent storage such as a disk drive, a communication port for communicating with an external device, a touch panel, a key, a button, and the like. Interface devices and the like.
  • Methods implemented by software modules or algorithms may be stored on a computer readable recording medium as computer readable codes or program instructions executable on the processor.
  • the computer-readable recording medium may be a magnetic storage medium (eg, read-only memory (ROM), random-access memory (RAM), floppy disk, hard disk, etc.) and an optical reading medium (eg, CD-ROM). ) And DVD (Digital Versatile Disc).
  • the computer readable recording medium can be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
  • the medium is readable by the computer, stored in the memory, and can be executed by the processor.
  • This embodiment can be represented by functional block configurations and various processing steps. Such functional blocks may be implemented in various numbers of hardware or / and software configurations that perform particular functions.
  • an embodiment may include an integrated circuit configuration such as memory, processing, logic, look-up table, etc. that may execute various functions by the control of one or more microprocessors or other control devices. You can employ them.
  • the present embodiment includes various algorithms implemented in C, C ++, Java (data structures, processes, routines or other combinations of programming constructs). It may be implemented in a programming or scripting language such as Java), an assembler, or the like.
  • the functional aspects may be implemented with an algorithm running on one or more processors.
  • the present embodiment may employ the prior art for electronic configuration, signal processing, and / or data processing.
  • Terms such as “mechanism”, “element”, “means” and “configuration” can be used widely and are not limited to mechanical and physical configurations. The term may include the meaning of a series of routines of software in conjunction with a processor or the like.
  • connection or connection members of the lines between the components shown in the drawings by way of example shows a functional connection and / or physical or circuit connections, in the actual device replaceable or additional various functional connections, physical It may be represented as a connection, or circuit connections.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

사용자가 착용한 제 1웨어러블 디바이스를 통해 대상 객체의 이미지 정보를 획득하고, 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출하고, 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하고, 결정된 사건의 위험도에 기초하여 사용자에게 경고를 하는, 조기에 위험을 경고하는 방법 및 장치가 개시된다.

Description

조기에 위험을 경고하는 방법 및 장치
조기에 위험을 경고하는 방법 및 장치에 관한다.
차량과 같은 위험한 물체를 검출 할 수 있고, 경고 정보를 송신 할 수 있는 헤드 마운트 디스플레이 (HMD)와 같은 일부 웨어러블 디바이스가 있다. 이러한 디바이스에서는, 이미지 신호가 차량으로부터 위험을 감지하는데 사용된다. 또 다른 웨어러블 디바이스들에서는, 오디오 신호를 이용하여 위험을 감지하고 경고 정보를 제공한다.
조기에 위험을 경고하는 방법 및 장치에 관한다. 또한 하드웨어와 결합되어 상기 방법을 처리시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공한다.
일 측면에 따라 웨어러블 디바이스로 조기에 위험을 경고하는 방법은, 대상 객체의 이미지 정보를 획득하는 단계, 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출하는 단계, 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하는 단계 및 결정된 사건의 위험도에 기초하여 사용자에게 경고를 제공하는 단계를 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
또한 획득하는 단계는, 주위의 오디오 정보를 획득하고, 검출하는 단계는, 획득된 오디오 정보를 기초로 하여 오디오 특성을 검출할 수 있다.
또한 위험도를 결정하는 단계는, 이미지 정보에 기초하여, 대상 객체가 웨어러블 디바이스에 도달하는데 걸린 시간을 결정하는 단계 및 대상 객체의 물리적 특성, 대상 객체가 웨어러블 디바이스에 도달하는데 걸린 시간 및 대상 객체의 오디오 특성 중 적어도 하나에 따라 대상 객체에 대한 위험도를 결정하는 단계를 포함할 수 있다.
또한 대상 객체의 물리적 특성은 사람의 얼굴, 몸통, 팔다리, 동물의 치아, 꼬리 또는 눈을 포함할 수 있다.
또한 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함할 수 있다.
또한 획득하는 단계는, 기상 정보 또는 냄새 정보를 획득하는 단계를 포함하고, 위험도를 결정하는 단계는, 기상 정보 또는 냄새 정보에 기초하여 위험도를 결정할 수 있다.
또한 경고를 제공하는 단계는, 위험도에 따라 다른 방식으로 경고를 제공할 수 있다.
또한 제 2 웨어러블 디바이스를 통하여 획득한 이미지 정보 또는 오디오 정보를 수신하는 단계를 더 포함하고, 위험도를 결정하는 단계는, 제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 위험도를 결정할 수 있다.
또한 검출하는 단계는, 이미지 정보를 이용해 대상 객체가 사람인지 여부를 검출하는 단계 및 대상 객체가 사람이면, 사람의 얼굴을 검출하는 단계를 포함하고, 위험도를 결정하는 단계는, 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 위험도를 결정할 수 있다.
다른 측면에 따라 조기에 위험을 경고하는 웨어러블 디바이스는 대상 객체의 이미지 정보를 획득하는 센싱부, 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출하는 특성 검출부, 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하는 위험도 결정부 및 결정된 사건의 위험도에 기초하여 사용자에게 경고를 하는 경고부를 포함할 수 있다.
또한 센싱부는, 주위의 오디오 정보를 획득하고, 특성 검출부는, 획득된 오디오 정보를 기초로 하여 오디오 특성을 검출할 수 있다.
또한 위험도 결정부는, 이미지 정보에 기초하여, 대상 객체가 웨어러블 디바이스에 도달하는데 걸린 시간을 결정하고, 대상 객체의 물리적 특성, 대상 객체가 웨어러블 디바이스에 도달하는데 걸린 시간 및 대상 객체의 오디오 특성 중 적어도 하나에 따라 대상 객체에 대한 위험도를 결정할 수 있다.
또한 대상 객체의 물리적 특성은 사람의 얼굴, 몸통, 팔다리, 동물의 치아, 꼬리 또는 눈을 포함할 수 있다.
또한 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함할 수 있다.
또한 센싱부는, 기상 정보 또는 냄새 정보를 획득하고, 위험도 결정부는, 기상 정보 또는 냄새 정보에 기초하여 위험도를 결정할 수 있다.
또한 경고부는, 위험도에 따라 다른 방식으로 경고를 제공할 수 있다.
또한 제 2 웨어러블 디바이스를 통하여 획득한 이미지 정보 또는 오디오 정보를 수신하는 수신부를 더 포함하고, 위험도 결정부는,제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 위험도를 결정할 수 있다.
또한 검출부는, 이미지 정보를 이용해 대상 객체가 사람인지 여부를 검출하고, 대상 객체가 사람이면, 사람의 얼굴을 검출하고, 위험도 결정부는, 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 위험도를 결정할 수 있다.
도 1은 일 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도 2는 다른 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도 3은 또 다른 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도 4는 일 실시예에 따라 조기에 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
도 5는 다른 실시예에 따라 조기에 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
도 6은 일 실시예에 따라 조기에 위험을 경고하기 위한 방법의 한 예를 설명하기 위한 흐름도이다.
도 7은 조기에 위험을 경고하기 위한 방법의 다른 예를 설명하기 위한 흐름도이다.
도 8은 조기에 위험을 경고하기 위한 방법의 또 다른 예를 설명하기 위한 흐름도이다.
도 9는 조기에 위험을 경고하기 위한 방법을 실시하는 한 예를 설명하기 위한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 일 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도1 을 참조하면 조기에 위험을 경고하는 웨어러블 디바이스(100)는 센싱부(110), 특성 검출부(120), 위험도 결정부(130) 및 경고부(140)를 포함한다. 웨어러블 디바이스는 헤드 마운트 디스플레이, 스마트 글래스 또는 스마트 워치를 포함할 수 있다.
센싱부(110)는 대상 객체의 이미지 정보를 획득할 수 있다. 또한 센싱부(110)는 주위의 오디오 정보를 획득할 수 있다. 그리고 센싱부(110)는 기상 정보 또는 냄새 정보를 획득할 수 있다. 이와 더불어 센싱부(110)는 제 1 웨어러블 디바이스를 통해 사용자의 생체 정보를 획득할 수 있다.
특성 검출부(120)는 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출할 수있다. 또한 특성 검출부(120)는 획득된 오디오 정보를 기초로 하여 오디오 특성을 검출할 수 있다. 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함할 수 있다. 특성 검출부(120)는, 이미지 정보를 이용해 대상 객체가 사람인지 여부를 검출할 수 있다. 특성 검출부(120)는 대상 객체가 사람이면, 사람의 얼굴을 검출할 수 있다.
위험도 결정부(130)는 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정할 수 있다. 또한 위험도 결정부(130)는 이미지 정보에 기초하여, 대상 객체가 제 1 웨어러블 디바이스에 도달하는데 걸린 시간을 결정할 수 있다. 그리고 위험도 결정부(130)는 대상 객체의 물리적 특성, 대상 객체가 제 1 웨어러블 디바이스에 도달하는데 걸린 시간 및 대상 객체의 오디오 특성 중 적어도 하나에 따라 대상 객체에 대한 위험도를 결정할 수 있다. 또한 위험도 결정부(130)는 기상 정보 또는 냄새 정보에 기초하여 위험도를 결정할 수 있다. 예를 들면 비오는 날엔 미끄럼을 주의해야하므로 위험도가 올라갈 수 있다. 또는 공기중 유독가스의 농도가 높을 경우 위험도가 올라갈 수 있다. 그리고 위험도 결정부(130)는 생체 정보에 기초하여 위험도를 결정할 수 있다. 또한 위험도 결정부(130)는, 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 위험도를 결정할 수 있다.
경고부(140)는 결정된 사건의 위험도에 기초하여 사용자에게 경고를 제공할 수 있다. 또한 경고부(140)는 생체 정보에 따라 경고를 제공할 수 있다. 예를 들어 사용자의 혈압이 급격히 떨어졌을 경우에 경고를 제공할 수 있다. 또한 경고부(140)는 위험도에 따라 경고를 다르게 할 수 있다. 예를 들어 위험도가 낮을 경우에는 약한 진동으로 경고를 하고, 위험도가 높을 경우에는 강한 진동으로 경고를 제공할 수 있다. 또는 위험도가 낮을 경우에는 램프를 느리게 깜박이고, 위험도가 높을 경우에는 램프를 빠르게 깜박일 수 있다. 또 다른 예로는 위험도가 낮을 경우에는 느리게 경고음을 반복할 수 있고, 위험도가 높을 경우에는 빠르게 경고음을 반복할 수 있다. 이 밖에 다양하게 위험도에 따라 다른 방식으로 경고를 제공하는 실시예가 가능하다.
도 2는 다른 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도2 을 참조하면 조기에 위험을 경고하는 장치(200)는 센싱부(110), 특성 검출부(120), 위험도 결정부(130), 경고부(140) 및 수신부(210)를 포함한다.
도 2의 센싱부(110), 특성 검출부(120), 위험도 결정부(130) 및 경고부(140)에 대한 설명은 도 1의 동일한 구성에 대한 설명과 같다. 그리고 수신부(210)는, 제 2 웨어러블 디바이스를 통하여 획득한 정보를 수신할 수 있다. 이때 정보는, 제 2 사용자의 생체 정보및 제 2 웨어러블 디바이스에 의해 획득된 이미지 정보 및 오디오 정보 중 적어도 하나를 포함할 수 있다. 또한 위험도 결정부(130)는 제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 위험도를 결정할 수 있다.
이와 더불어 사기 참조 모델에 기초하여 대상 객체의 대화 내용, 안면 특징의 변화 또는 동작 전환을 분석하여 사기의 가능성을 결정할 수 있다. 위험도 결정부(130)는, 결정된 사기의 가능성에 기초하여 위험도를 결정할 수 있다.
도 3은 또 다른 실시예에 따라 조기에 위험을 경고하기 위한 장치를 도시한 블록도이다.
도 3에 나타내는 바와 같이, 웨어러블 디바이스(300)는 센싱부 (310), 처리부 (320) 및 경보부 (330)를 포함할 수 있다. 이때 웨어러블 디바이스(300)는 도 1에 도시된 조기에 위험을 경고하는 웨어러블 디바이스(100)와 대응될 수 있다.
센싱부 (310)는 서로 다른 유형의 정보를 감지하기 위한 다양한 센서를 포함 할 수 있다. 일반적으로, 센싱부 (310)는 이미지 센서 (312) 오디오 센서 (314), 습도 센서(316) 및 냄새 센서(318)를 포함한다.
또한 감광 요소로 알려진 이미지 센서는, 전자 신호로 광학 이미지를 변환하는 장치이다. 이 실시 예에서, 이미지 센서 (312)는 주변 환경의 실시간 이미지 정보를 획득하는 데 사용될 수 있다. 또한 웨어러블 디바이스(300)는 카메라를 포함할 수 있고, 이미지 센서(312)는 카메라에 포함될 수도 있다. 실시간 이미지 정보는 사용자의 안전을 위협할 수 있는 임의의 주변 정보를 포함 할 수있다. 예를 들면, 실시간 이미지 정보는 도로 상태, 차량 작동 조건, 인간과 동물을 포함한 인근 생물로부터의 정보에 한정되지 않는다.
오디오 센서(314)는 픽업 장치나 픽업의 어레이를 포함할 수있다. 본 실시 예에서, 오디오 센서 (314)는 주변 환경의 실시간 오디오 정보를 획득하는데 사용될 수있다. 실시간 오디오 정보는 사용자의 안전을 위협 할 수있는 임의의 주변 정보를 포함할 수있다. 예를 들어, 실시간 오디오 정보는 차량의 경적, 천둥, 사람의 목소리, 동물 비명 등을 포함 할 수 있지만, 이에 한정되지 않는다.
또한, 센싱부(310)는 또 다른 유형의 센서를 포함할 수 있다. 예를 들면, 센싱부(310)는 습도 센서(316), 냄새 센서(318) 속도 센서(미도시), 대기압 센서(미도시) 등을 구성하고 있을 수 있다. 습도 센서(316)는 주위 환경의 기상 조건을 결정하기 위하여 습도를 감지하도록 사용될 수 있다. 냄새 센서(318)는, 예를 들면 주위 환경의 냄새 또는 가스의 몇몇 유형을 검출하기 위하여 사용될 수 있다. 예를 들면, 이 가스는 사용자의 안전을 위태롭게 하는 일산화탄소 연기와 같은 위험한 화학제품을 포함하는 가스일 수 있다. 속도 센서는, 예를 들면, 웨어러블 디바이스(300)를 착용한 사용자의 속도를 감지하기 위해 사용될 수 있다. 대기압 센서는, 예를 들면, 주위 환경의 기상 조건을 결정하기 위하여 대기압을 감지하도록 사용될 수 있다. 당업자는 센싱부(310)가 이미 만들어진 어떤 유형의 센서들 또는 앞으로 개발될 주위 환경 상태를 감지하기 위한 어떤 유형의 센서들도 포함할 수 있다는 것을 이해할 수 있다. 다른 한편, 웨어러블 디바이스(300)는 정보를 습득하기 위하여 인터넷(20)과 같은 네트워크에 연결될 수 있는 네트워크 통신부(350)를 더 포함할 수 있다. 네트워크 통신부(350)에 의하여, 웨어러블 디바이스(300)는 네트워크에서 주위 환경의 날씨 정보를 습득하기 위하여 일기 예보 정보를 받을 수 있다.
또한, 웨어러블 디바이스(300)는 센싱부(310) 이외에, 생체 정보 센서(360)를 더 포함할 수 있다. 생체 정보 센서(360)는 생물학 물질을 탐지하여 전기 신호로 물질 농도를 전환하는데 사용되는 기구이다.
일 실시예에서, 생체 정보 센서(360)는 웨어러블 디바이스(300)를 착용한 사용자(10)(즉, 사용자)의 생체 정보를 감지하기 위하여 사용될 수 있다. 사용자의 생체 정보는 사용자의 생리적인 상태를 나타내는 다양한 정보를 포함할 수 있다. 예를 들면, 생체 정보는 심박수, 혈압, 체온, 호흡 비율을 포함하지만 이에 제한되지 않을 수 있다.
웨어러블 디바이스(300)에서 처리부(320)는 웨어러블 디바이스를 통해서 획득된 각종 정보를 기초로 위험도를 결정하는 데 이용된다. 그리고 위험도에 대응하여, 처리부(320)는 경고 정보를 제공할 수 있다.. 예를 들어, 처리부(320)는 이미지 정보와 오디오 정보를 분석하고, 위 분석에 근거한 위험도를 결정할 수 있다.
일 실시예에서, 처리부(320)는 사용자의 안전을 위태롭게 할 수 있는 정보를 습득하기 위하여 이미지 정보를 분석할 수 있다. 처리부(320)는 도 1 및 도 2의 특성 검출부(120)를 포함할 수 있다. 처리부(320)는 센싱부(310)에 의해 전달된 환경 이미지 정보에 근거한 대상 객체의 신체적 특징을 검출할 수 있다. 예를 들면, 대상 객체는 차량, 동물, 사람일 수 있다. 또한, 차량은 트럭, 차, 오토바이를 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 동물 (예를 들면, 처진 개, 맹렬한 개, 등)일 때, 그것의 신체적 특징은 꼬리 및 눈을 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 사람일 때, 사람의 신체적 특징은 사람의 얼굴, 손발 및 몸통을 포함하지만 이에 제한되지 않을 수 있다. 만약 대상 객체가 움직이는 경우에, 처리부(320)는 대상 객체가 웨어러블 디바이스에 도달하기 위하여 걸린 시간, 즉, 대상 객체가 사용자에게 도달 하기 위해 걸린 시간을 결정할 수 있다.
다른 실시예로, 처리부(320)는 사용자의 안전을 위태롭게 할 수 있는 정보를 습득하기 위하여 오디오 정보를 분석할 수 있다. 예를 들면, 처리부(320)는 센싱부(310)에서 전달된 오디오 정보에 근거한 대상 객체의 오디오 특성을 추출할 수 있다. 예를 들어 대상 객체는 차량, 동물, 사람을 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 차량일 때, 차량의 오디오 특성은 차량의 경적 소리를 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 동물일 때, 동물의 오디오 특성은 오디오의 크기, 피치 및 멜 주파수 켑스트럼 계수(MFCC,Mel Frequency Cepstrum Coefficient)를 포함하지만 이에 제한되지 않을 수 있다. 대상 객체가 사람일 때, 사람의 오디오 특성은 연설, 켑스트럼 힘에 의하여 정상화된 계수 (PNCC,Power Normialized Cepstral Coefficient)를 포함하지만 이에 제한되지 않을 수 있다.
처리부(320)는 또한, 대상 객체에 대한 위험도를 결정하는 이미지 및 오디오 분석을 기초로 구성될 수 있다. 예를 들면, 처리부(320)는 아래의 3개의 항목에 근거하여 대상 객체에 대한 위험도를 결정할 수 있다.
3개의 항목은 대상 객체의 신체적 특징, 대상 객체가 대응하는 웨어러블 디바이스에 도달하기 위하여 걸린 시간 및 대상 객체의 오디오 특성이다.
또한, 처리부(320)는 평가되는 위험 레벨을 조정하는 다양한 요인에 근거하여 형성될 수 있다. 일 실시예에서는, 처리부(320)는 센싱부(310)에 의해 감지된 날씨 정보 또는 냄새 정보에 근거하여 위험도를 결정할 수 있다.
예를 들면, 비가 오거나 눈이 내리는 날에, 미끄러운 도로에서, 차량은 미끄러져서 예상치 못한 위험을 만들 수 있다. 그러므로 위험도가 높아질 수 있다. 다른 예로, 독가스가 센싱부(310)에 의해 검출될 때, 위험도가 높아질 수 있다.. 다른 실시에서는, 처리부(320)는 생체 정보 센서(360)에 의해 감지된 사용자의 생리적인 조건 정보에 근거하여 위험도를 결정할 수 있다.. 예를 들면, 빠른 심박수, 고혈압, 호흡 부족 등과 같은 사용자의 좋지않은 생리적인 상태가 생체 정보 센서(360)에 의해 감지될 때, 위험도가 높아질 수 있다.
처리부(320)는 위험도에 대응하여 경고 정보를 제공하도록 구성된다. 다른 실시예에서, 처리부 (320)는 웨어러블 디바이스를 착용한 사용자의 피드백 정보를 획득하고, 피드백 정보에 기초하여 경고 정보를 제공하도록 구성된다. 예를 들면 사용자가 위험도가 높은 요소에 관한 정보를 입력하면 높은 위험도에 따른 경고 정보를 제공할 수 있다. 예를 들면 현재 날씨를 입력하거나, 사용자의 건강 상태등을 입력할 수 있다. 다른 실시 예에서는, 조기 위험 경고 시스템은 저장된 사용자 선호 데이터 베이스(예를 들면 반응 데이터 또는 다양한 위험들에 대한 피드백 데이터과 같은 사용자 선호 데이터)를 포함할 수 있다.
사용자 선호 데이터베이스 검색을 통해 처리부 (320)는 사용자 또는 비슷한 사용자에 적합한 방식으로 경고 정보를 제공 할 수있다.
경고부(330)는 처리부(320)에 의해 제공되는 경고 정보에 기초하여 경고를 할 수 있다. 경고부(330)는 경고의 다른 방식을 제공하기 위해 사용자와 상호 작용할 수 있는 다양한 디바이스(예를 들면, 스피커, 디스플레이, 진동기 등)를 포함할 수 있다.
경고의 방식은 사용자 선호에 따라 설정 될 수있다. 사용자 선호도는 이미지, 텍스트, 소리 나 진동과 같은 시각적, 청각적 또는 촉각적 방식을 포함하지만 이에 제한되지 않는다.일부 실시 예에서, 웨어러블 디바이스 (300)는 서드 파티 지원 기능을 포함 할 수있다. 예를 들어, 웨어러블 디바이스 (300)는 송신부 (340)를 포함 할 수있다. 송신부(340)는 다른 웨어러블 디바이스들로부터 정보를 수신할 수 있다. (예를 들어, 사용자(40)에 의해 착용된 웨어러블 디바이스).
위의 정보는 다른 웨어러블 디바이스들을 착용한 사용자들의 생체 정보, 다른 웨어러블 디바이스들에 의해 생성된 정보(예를 들면, 웨어러블 디바이스의 처리부에 의해 생성된 위험도)를 포함하지만 이에 제한되지 않는다.
또한, 처리부 (320)은 다른 웨어러블 디바이스들로부터의 정보에 기초하여 위험도를 결정할 수있다. 정보 공유를 통해, 사용자는 제 3 자로부터의 초기 경고를 제공받을 수 있다. 그러므로 사용자의 안전성을 증가시킬 수있다.
조기 위험 경고 시스템은 다른 디바이스들과 정보를 공유하기 위해 웨어러블 디바이스가 공유 데이터베이스 (30)에 자신의 정보를 업로드 할 수 있도록하는 공유 데이터베이스 (30)를 포함 할 수있다. 도 2의 수신부(210)는 전송부(340)에 포함될 수 있다.
이 실시예에서, 각 웨어러블 디바이스는 공유 데이터베이스(30)를 통하여 다른 웨어러블 디바이스로부터 정보를 수신 할 수있다.
다른 실시 예에서, 접속은 두 웨어러블 디바이스간에 정보를 송신하기위해 직접 설정 될 수있다. 예를 들어, 성인에 의해 착용된 웨어러블 디바이스 및 아동에 의해 착용된 웨어러블 디바이스는 직접 연결을 설정하여 함께 사용할 수 있다. 따라서, 두 개의 웨어러블 디바이스들은 서로간에 정보를 공유 할 수 있다.
웨어러블 디바이스(300)는 헤드 마운트 디바이스, 손목 마운트 디바이스, 스마트 팔찌, 스마트 손목 시계 등을 포함하지만 이에 한정되지 않는다. 기술 분야에서 숙련 된 사람은 다양한 센서를 통해 감지를 수행하기에 적합한 장치를 웨어러블 디바이스 (300)에 설계 할 수있다.
도 4는 일 실시예에 따라 조기에 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
단계 S400에서는, 대상 객체의 이미지 정보를 획득할 수 있다. 또한 제 2 사용자가 착용한 제 2 웨어러블 디바이스를 통하여 획득한 정보를 수신할 수 있다. 이때 정보는, 제 2 사용자의 생체 정보, 이미지 정보, 오디오 정보 및 제 2 웨어러블 디바이스에 의해 생성된 정보 중 적어도 하나를 포함할 수 있다. 그리고 센서를 이용하여 기상 조건을 감지하거나 네트워크를 통해 일기 예보를 수신하여 기상 정보를 획득할 수 있다. 기상 정보 또는 냄새 정보또한 획득할 수 있다.. 이와 더불어 제 1 웨어러블 디바이스를 통해 획득한 제 1사용자의 생체 정보를 수신할 수 있다.
단계 S410에서는, 획득된 이미지 정보를 기초로 하여 대상 객체의 물리적 특성을 검출할 수 있다.
단계 S430에서는 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정할 수 있다.제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 위험도를 결정할 수 있다.단계 S430에서는 결정된 사건의 위험도에 기초하여 사용자에게 경고를 제공할 수 있다. 그리고 생체 정보에 기초하여 경고를 다르게 할 수 있다.
도 5는 다른 실시예에 따라 조기에 위험을 경고하기 위한 방법을 설명하기 위한 흐름도이다.
단계 S500에서는 웨어러블 디바이스를 통해 주위의 정보를 획득할 수 있다.
단계 S510에서는 제 2 사용자가 착용한 제 2 웨어러블 디바이스를 통하여 획득한 정보를 수신할 수 있다. 이때 정보는, 제 2 사용자의 생체 정보, 정보 및 제 2 웨어러블 디바이스에 의해 생성된 정보 중 적어도 하나를 포함할 수 있다. 그리고 센서를 이용하여 기상 조건을 감지하거나 네트워크를 통해 일기 예보를 수신하여 기상 정보를 획득할 수 있다. 정보는 기상 정보 또는 냄새 정보를 포함할 수 있다. 이와 더불어 제 1 웨어러블 디바이스를 통해 획득한 제 1사용자의 생체 정보를 수신할 수 있다.
단계 S520에서는 획득한 정보에 기초하여 위험도를 결정할 수 있다. 또한 제 2 웨어러블 디바이스를 통하여 획득된 정보에 기초하여 위험도를 결정할 수 있다. 기상 정보 또는 냄새의 정보에 기초하여 위험도를 결정할 수 있다. 이외에 대상 객체의 물리적 특성을 검출하고, 대상 객체가 이미지 정보에 기초하여 대응하는 웨어러블 디바이스에 도달하는데 걸린 시간을 결정할 수 있다. 그리고 오디오 정보에 기초하여 대상 객체의 오디오 특성을 추출할 수 있다. 대상 객체의 물리적 특성, 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸린 시간 및 대상 객체의 오디오특성 중 적어도 하나에 따라 대상 객체에 대한 위험도를 결정할 수 있다. 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함할 수 있다.
단계 S530에서는 결정된 위험도에 따라 경고를제공할 수 있다. 또한 생체 정보에 기초하여 경고 정보를 제공하는 수단을 조정할 수 있다.
도 6은 일 실시예에 따라 조기에 위험을 경고하기 위한 방법의 한 예를 설명하기 위한 흐름도이다.
다음의 설명에서, "제 1웨어러블 디바이스"는 언급한 웨어러블 디바이스를 지칭한다. "제 2웨어러블 디바이스"는 언급한 웨어러블 디바이스 이외에 유사한 기능을 갖는 다른 웨어러블 디바이스를 지칭한다. 이것은 웨어러블 디바이스 자체를 제한하지 않고 단지 구별하기 위한 방식이다.
단계 S600에서, 정보는 제 1 웨어러블 디바이스를 통해 획득된다. 정보는 이미지 정보 및 오디오 정보를 포함한다. 예를 들어, 사용자가 거리에서 걷거나 실내에 머물 때, 일부 잠재적인 위험이 있을 수 있다. 예컨대, 잠재적인 위험은 차량 주행 중에 차량으로 인한 위험, 인근 동물에 의한 위험, 공기에서 유독 가스로 발생하는 위험, 낯선 사람의 잠재적인 사기로 인한 위험일 수 있다.
본 실시 예에서, 사용자에 의해 착용된 웨어러블 디바이스는, 가능한 잠재적 위험을 검출하기 위해 주위 정보를 획득 할 수있다. 일반적으로, 정보는 이미지 정보 및 오디오 정보를 포함한다.
예를 들어 사용자가 거리를 걷는 경우 이미지 정보는, 차량 주행 중에 차량의 정보, 사람 또는 동물의 정보, 사람 또는 동물의 동작 상태 정보를 포함 할 수 있다. 복수의 이미지들의 정보는 움직임 방향, 속도 및 대상 객체 등을 포함 할 수 있다. 도 3에 도시 된 이미지 센서(312)는 이미지 정보를 감지하는 데 사용될 수 있다. 오디오 정보는, 차량 주행 중에 차량의 경적 주파수, 사용자 주변의 사람 목소리, 동물의 비명을 포함 할 수 있다. 도 3에 도시 된 오디오 센서 (314)는 오디오 정보를 감지하는 데 사용될 수 있다.
단계 S610에서 획득된 정보에 기초하여 위험도가 결정된다. 예를 들어, 구체적으로 차량의 운행 방향이 사용자를 향하고 있는지 사용자에게서 멀어지고 있는지 여부를 이미지 정보를 통해 결정하고, 차량과 사용자의 거리가 사용자의 안전이 위험해질 정도로 너무 가까운지 여부를 결정하는 단계를 포함한다. 또한, 오디오 정보를 통해 근처의 동물이 분노 상태인지 여부 및 사용자를 헤칠 수 있는지 여부를 결정하는 단계를 포함한다.
단계 S620에서, 결정된 위험도에 따라 경고를 한다. 예를 들면, 위험도가 높은 경우, 사용자가 장소를 떠나거나 보행 방향을 변경하기 위해 사용자에게 경고하는 것을 포함한다. 일부 실시 예에서, 경고 방법은 현장 또는 사용자 선호에 따라 설정 될 수 있다. 또한, 웨어러블 디바이스는 사용자 선호 데이터 베이스를 저장하고 나중에 사용하기 위해 사용자의 피드백 정보를 전송할 수 있다. (예를 들면, 각종 위험에 대한 반응 데이터 또는 피드백 데이터)
웨어러블 디바이스는 사용자 선호도를 저장하는 사용자 선호 데이터베이스로부터 사용자의 피드백 정보를 획득할 수 있고, 피드백 정보에 기초하여 대응하는 경고를 제공 할 수있다. 예를 들어, 경고의 방식은 시각, 청각 및 촉각 방식을 포함 할 수 있지만 이에 한정되지 않는다. 따라서 경고의 내용은 이미지, 텍스트, 사운드 또는 상기 언급 된 항목의 임의의 조합을 포함 할 수있다. 추가 실시 예로, 결정된 위험도에 따라 경고를 다르게 할 수 있다. 예를 들어, 위험도가 낮은 경우, 경고의 소리가 낮은 볼륨 및 낮은 주파수로 설정 될 수 있다. 위험도가 높은 경우, 경고의 소리가 높은 볼륨 및 높은 주파수로 설정 될 수 있다. 또한 위험도가 높은 경우, 경고의 다양한 방식이 동시에 이용 될 수 있다, 예를 들면, 경고음이 아니라 진동이 사용자에게 경고하기 위해 생성 될 수 있다. 다른 실시 예에서, 웨어러블 디바이스를 착용한 사용자의 생체 정보에 기초하여 경고하는 방식을 조정할 수 있다. 사용자의 생체 정보는 사용자의 심리학적 상태 또는 정신 상태를 반영할 수 있기 때문에, 다른 생체 상태 또는 정신 상태는 다가오는 위험에 대한 다른 반응 및 치료를 가져올 수 있다.
따라서, 다른 반응 및 치료를 기초로 하여, 웨어러블 디바이스는 사용자에게 경고하는 다양한 방식을 제공 할 수있다. 예를 들어, 사용자의 정신 상태가 좋지 않은 경우에는, 현재 사용자가 위험에 응답하지 않으면 사용자는 위험을 간과하기 쉽다. 가능한 손상을 방지하기 위해, 웨어러블 디바이스에 의해 작동한 경고의 방식은 좀더 민감해질 수 있다. 예를 들면 웨어러블 디바이스는 높은 경고 볼륨, 빠른 주파수 등을 사용할 수 있다.
조기에 위험을 경고하는 방법은, 정보를 획득하는 웨어러블 디바이스를 사용한다. 획득된 정보는 이미지 정보 및 오디오 정보 등을 포함 할 수있다. 웨어러블 디바이스는 획득된 정보에 기초하여 위험도를 결정한다. 결정된 위험도에 따라 웨어러블 디바이스는 사용자에 대하여 경고한다. 요약하면, 상기 방법은 다양한 센서를 통해 사용자의 종합적이고 신속한 조기 위험 경고를 제공한다. 이에 사용자의 안전성을 향상시킨다. 또한, 위험 검출은 차량의 감지 뿐만 아니라 동물 및 사람과 같은 생물의 감지를 포함한다.
도 7은 조기에 위험을 경고하기 위한 방법의 다른 예를 설명하기 위한 흐름도이다.
단계 S700에서, 이미지 정보에 기초하여 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸리는 시간을 결정한다. 이미지 정보는 사용자의 안전을 위태롭게 할 수있는 정보를 획득하기 위해 분석된다. 이미지 정보는 단지 웨어러블 디바이스 자체에 의해 포착 할뿐만 아니라, 다른 웨어러블 디바이스에 의해 캡처된 이미지를 포함할 수 있다. 예를 들어, 두 개의 장치가 페어링될 때, 이들 두 개의 장치는 서로간에 데이터를 전송할 수있다. 데이터는 각각 촬영 된 이미지 정보, 오디오 정보, 각각 웨어러블 디바이스에 의해 생성되는 정보(예를 들면 결정된 위험도)를 포함 할 수 있지만 이에 한정되지 않는다.
이 실시 예에서, 이미지 정보를 분석하는 단계는 대상 객체의 물리적 특성을 검출하는 단계를 포함 할 수 있다. 일 실시예에서, 공유 특성을 이용하여 대상 객체의 다양한 유형을 검출할 수 있다. 예를 들어, 대상 객체는 자동차, 동물, 사람 3 종류를 포함한다. 대상 객체가 동물(예를 들어 길 잃은 강아지, 사나운 개, 등)인 경우, 물리적 특성은 동물의 치아, 꼬리, 눈을 포함하지만 이에 한정되지 않는다. 대상 객체가 사람 일 때, 사람의 물리적인 특성은 사람의 얼굴, 몸통 및 팔다리를 포함하지만 이에 한정되지 않는다. 사람의 신체적 특징 정보는 사기의 가능성이 있는지 여부를 결정하는 데 사용될 수 있다. 또한, 이미지 정보를 분석하는 단계는 대상 객체가 복수의 이미지에 기초하여 대응하는 웨어러블 디바이스에 도달하는 데 걸리는 시간을 결정하는 단계를 포함할 수 있다.
예를 들어, 복수의 이미지가 대상 객체와 웨어러블 디바이스 사이의 거리, 운동 방향 및 대상 객체의 속도를 결정하는데 사용될 수 있다. 따라서, 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸린 시간은 계산될 수 있다. 여러 방법은 거리, 운동 방향 및 속도를 계산하는데 이용 될 수 있다. 예를 들어, 거리는 대상 객체의 실제 크기와 이미지내 대상 객체의 이미지 크기를 비교함으로써 추정 될 수있다. 예를 들어, 움직임의 방향은, 이미지에서 대상 객체의 오프셋에 따라 추정될 수 있다. 기술 분야에서 숙련 된 사람은 대상 객체의 운동 방향이 사용자쪽으로 향하지 않는 경우, 대상 객체는 위험 가능성이 없다고 이해할 수있다.
일 실시예에서, 이미지 정보를 분석하는 단계는, 다른 웨어러블 디바이스로부터의 이미지를 분석할 수 있다. 예를 들어 제 1 웨어러블 디바이스와 제 2웨어러블 디바이스는 페어링되고 서로 간의 이미지 정보를 공유한다. 이 실시예에서, 제 1웨어러블 디바이스는 제 2웨어러블 디바이스로부터 이미지 정보를 분석 할 수 있고, 대상 객체가 제 2웨어러블 디바이스에 도달하는데 걸리는 시간을 계산할 수있다. 이어서 제 1웨어러블 디바이스는 제 1웨어러블 디바이스와 제 2 웨어러블 디바이스의 상호 위치 관계에 기초하여 대상 객체가 제 1웨어러블 디바이스에 도달하는데 걸리는 시간을 결정할 수 있다. 다른 실시예에서, 제 2웨어러블 디바이스는 대상 객체가 제 1웨어러블 디바이스와 제 2웨어러블 디바이스에 도달하는데 걸리는 시간을 공유 할 수있다. 따라서 전송된 데이터의 양이 감소 될 수있어, 처리 효율을 향상시킬 수 있다.
단계 S710에서, 오디오 정보를 기초로 하여 대상 객체의 오디오 특성을 검출할 수 있다. 오디오 정보는 사용자의 안전을 위태롭게 할 수 있는 정보를 획득하기 위해 분석된다. 마찬가지로, 오디오 정보는 웨어러블 디바이스 자체에 의해 캡쳐된 오디오 정보를 포함할 뿐만 아니라, 다른 웨어러블 디바이스에 의해 캡쳐된 오디오를 포함한다. 구체적으로는, 오디오 정보를 분석하는 단계는 오디오 정보로부터 대상 객체의 오디오 특성을 검출하는 단계를 포함한다.
음성 신호의 기저 대역 분해 및 재구성 기술에 따라, 관심 사운드(예를 들어, 차량, 동물 또는 사람의 소리)를 배경 사운드로부터 분리 할수있다. 예를 들어, 대상 객체가 차량 인 경우, 오디오 특성은 차량의 경적 주파수를 포함하지만 이에 한정되지 않는다. 대상 객체가 동물 인 경우, 오디오 특성은 볼륨, 피치, 및 멜 주파수 켑스트럼 계수(MFCC)를 포함하지만 이에 한정되지 않는다. 대상 객체가 사람일 때, 사람의 오디오 특성은 사람의 대화, 파워 정규화 켑스트럼 계수 (PNCC)를 포함 할 수 있지만, 이에 한정되지 않는다.
단계 S720에서, 대상 객체의 물리적 특성, 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸리는 시간 및 대상 객체의 오디오 특성에 따라 위험도를 결정할 수있다.. 대상 객체에 대한 위험 레벨은 이미지 및 오디오 정보의 분석에 기초하여 결정할 수 있다. 특히, 대상 객체에 대한 위험도는 대상 객체의 물리적 특성 및 오디오 특성과 대상 객체가 대응하는 웨어러블 디바이스에 도달하는데 걸리는 시간에 따라 결정될 수 있다.
일 실시예로, 대상 객체가 차량 인 경우, 차량이 사용자에 도달하는 데 걸리는 시간 및 차량의 경적 주파수에 의해 가중화되고 이산화될 수 있다. 따라서 위험 레벨, 즉 사용자에게 위협을 가하는 레벨이 결정될 수 있다. 다른 실시예로, 대상 객체가 동물일 때, 동물의 위협도(예를 들어, 분노 정도 및 사나운 정도)는 물리적 특성, 오디오 특성과 동물의 음향 특성에 따라 평가 될 수있다. 한편, 동물로부터의 공격 확률은 동물이 사용자에게 도달하는데 걸리는 시간에 따라 평가될 수 있다. 마지막으로, 동물의 위협도, 즉 위험 레벨을 결정하기 위해 위협도 및 확률은 가중화 및 이산화 될 수 있다. 다른 실시예로, 대상 객체가 사람이면, 대상 객체에 대한 위험 레벨을 평가하는 단계는 대상 객체가 사용자를 속일지 여부를 결정하는 단계를 포함할 수 있다.
단계 S730에서, 추가적인 요인(기상 정보, 냄새 정보, 생물학적 정보)에 기초하여 위험도를 결정할 수 있다. 위험도는 정확한 조기 경보를 제공하기 위하여 추가로 다수의 인자에 기초하여 더 조정될 수있다.
일 실시 예에서, 기상 정보 또는 냄새의 정보에 기초하여 위험도를 결정할 수 있다. 앞서 언급 한 바와 같이, 기상 조건이 웨어러블 디바이스의 센싱부 안에있는 습도 센서에 의해 감지될 수있다. 대안적으로, 일기 예보는 웨어러블 디바이스의 네트워크 통신부에 의한 네트워크를 통해 획득 될 수있다. 다른 대안으로서, 기상 조건은 온도를 감지하기 위해 사용되는 온도 센서와 같은 다른 유형의 센서들에 의해 감지 될 수있다. 음향 센서는 천둥, 비, 바람 등의 소리를 감지하기 위해 사용될 수 있다. 이미지 센서는 비오는 날, 눈 덮인 날, 맑은 날, 흐린 날, 번개치는 날의 이미지를 감지하기 위해 사용될 수 있다. 또한, 냄새 센서는 냄새 정보를 감지 할 수 있다.
예를 들어, 비오는 날에 차량에 의해 발생하는 위험 레벨은 맑은 날보다 훨씬 더 높아야한다. 왜냐하면 비오는 날은 도로가 미끄럽고 보기 어렵기 때문이다.
따라서, 이러한 요인으로 인해, 운전자 또는 사용자가 더 실수 하고 교통 사고가 발생할 가능성이 있다. 다른 실시 예에서, 웨어러블 디바이스를 착용한 사용자(즉, 사용자)의 생체 정보에 기초하여 위험 레벨을 조정할 수있다. 전술한 바와 같이, 사용자의 생체 정보는 생리적 상태 또는 사용자의 정신 상태를 반영할 수있다. 생리적 상태 또는 정신 상태가 약할 때, 사용자는 더 상처받기 쉽고 속기 쉽다. 따라서, 위험 레벨은 이에 따라 상승 될 수있다.
도 8은 조기에 위험을 경고하기 위한 방법의 또 다른 예를 설명하기 위한 흐름도이다. 대상 객체가 사람일 때 대상 객체에 대한 위험 레벨을 결정하는 방법을 도시한다. 일 실시 예에서, 대상 객체에 대한 위험 레벨은 주로 대상 객체에 의한 사기의 가능성에 의해 결정된다.
단계 S800에서는 대상 객체가 사람인지 여부를 검출한다.
단계 S810에서는 만약 대상 객체가 사람이라면 대상 사람의 얼굴을 검출한다.
단계 S820에서는 검출된 얼굴이 기 설정된 얼굴 데이터 베이스에 있는지 여부에 따라 위험도를 결정한다. 이때 얼굴 데이터 베이스에 없는 얼굴은 낯선 사람이라고 결정할 수 있다. 위험은 대개 낯선 사람에 의해 야기된다고 이해될 수 있다. 따라서 주로 낯선 사람에 의해 저지른 사기의 검출에 초점을 맞추고있다. 낯선 사람은 이미지 정보 또는 웨어러블 디바이스에 의해서 획득된 오디오 정보에 따라 인식된다. 일 실시예에서, 대상 객체가 낯선 사람인지 여부는 이미지 정보에 따라 결정될 수있다. 예를 들어, 웨어러블 디바이스의 처리부는 이미지 정보에 따라 얼굴을 검출할 수있다. 다양한 안면 인식 기술은 얼굴을 검출하는데 사용될 수있다. 실시 예에서, 아다부스트(Adaboost) 기계 학습 알고리즘과 하르 라이크 피쳐(Haar-like feature)가 얼굴을 검출하는데 사용될 수 있다. 또한, 검출된 얼굴이 낯선 사람의 얼굴인지 여부는 지인 데이터베이스를 검색함으로써 결정될 수있다. 지인 데이터베이스는 이전 사용자의 지인들 얼굴 이미지 데이터를 저장한 데이터베이스이다.
다른 실시예에서, 대상 객체가 낯선 사람인지 여부는 오디오 정보에 따라 결정될 수있다. 예를 들어, 웨어러블 디바이스의 처리부는 오디오 정보에 대한 음성 인식을 수행할 수 있다. 다양한 음성 인식 기술은 음성을 인식하는 데 사용될 수 있다. 실시 예에서, 대상 객체는 성문 인식 기술에 의해 인식될 수있다. 또한, 검출된 음성이 지인의 음성인지 또는 믿을 수 있는 사람인지 여부는 지인 데이터베이스를 검색함으로써 결정될 수 있다. 지인 데이터베이스는 이전에 저장된 음성 데이터 또는 사용자의 지인들의 오디오 특징 데이터를 가지고 있다.
이는 전술 한 두 가지 실시예를 임의로 조합할 수 있다는 것을 알 수 있다. 예를 들어, 일 구현에서, 대상 객체는 양쪽의 실시예에 의해 지인으로 인식된 경우에만 지인으로 간주 될 수있다. 다른 실시예에서, 양쪽의 실시예 중 하나에 의해 지인으로 인식된 경우에 지인으로 간주 될 수있다.
또한, 검출된 사람이 사용자와 상호 작용하고 있는지 여부, 즉, 검출 된 사람이 사용자에게 얘기하고 있는지 여부는 의 이미지 정보에 따라 결정될 수 있다. 즉, 대상 객체가 사용자가 얘기하는지 여부는 물리적인 특성에 따라 결정된다. 일 실시 예에서, 결정하는 단계는, 우선 대상 객체의 얼굴 크기에 따라, 대상 객체와 사용자의 거리를 결정한다. 예를 들면, 거리가 미리 설정된 범위 내에 있는지의 여부를 결정한다. 둘째 대상 객체의 얼굴 방향에 따라 대상 객체가 사용자를 향해있는지 여부를 결정한다. 마지막으로 대상 객체의 입술이 움직이고 있는지 여부를 결정한다. 이들 세 가지 조건이 모두 동시에 만족하는 경우, 대상 객체는 사용자와 대화하는 사람으로 간주될 수 있다. 일반적으로 낯선 사람은 이야기를 통해 사기를 저질렀다. 따라서, 일 실시예에서, 사용자와 대화하지 않는 낯선 사람은 조사에서 제외될 수 있다. 제외하는 단계는 얼굴을 검출하는 단계 및 음성을 검출의 단계 이전, 이후 또는 사이에 수행 될 수 있고, 이러한 점에 한정되지는 않는다.
사기의 가능성은 하나 이상의 실시예에 기초하여 결정될 수 있고, 대상 객체의 대화, 표현 또는 동작 등의 양상들을 포함하여 결정되지만 이에 한정되지 않는다. 일 실시 예에서, 대상 객체의 음성 컨텐츠는 사기의 가능성을 결정하기 위해, 사기 기준 모델에 기초하여 분석된다. 사기 참조 모델은 존재했던 사기들의 사례를 연구하여 만들 수 있다. 예를 들면, 사기 기준 모델은 다음의 단계들에 의해 생성될 수 있다. 네트워크로부터 사기의 다양한 사례를 수집하고, 사기 언어 모델을 대행하기 위해 베이지안(Bayesian) 분류기를 사용한다.
일 실시예에서, 오디오 정보는 웨어러블 디바이스의 처리부에 의해 분석된다. 예를 들면, 분석 단계는, 첫째로 대상 객체의 파워 정규화 켑스트럼 계수(PNCC) 특징을 추출하고, 음성 인식을 수핸한다. 둘째로 단어들을 분할하고 마르코프 랜덤 필드(Markov random field)를 기초로 하여 민감한 단어를 추출한다. 최종적으로 사기의 가능성을 예측하기 위해 사기 참조 모델을 사용한다.
예를 들어, 대상 객체가 "이 은행 카드로 10 만 달러를 전송하시기 바랍니다."라고말할 때, 추출된 민감한 단어는 "은행 카드"와 "달러"이다. 베이즈 정리(Bayes’ theorem)에 따르면 사기 가능성 P(사기| “은행카드”, “돈”) = P( "은행 카드", "돈"| 사기) * P (사기) / P ( "은행 카드", “돈”)이다. 이때 P(“은행 카드”, “돈”|사기)는 모든 사기 사건들에서 키워드 “은행 카드” 및 “돈”이 동시적으로 나타나는 확률을 나타낸다. P(사기)는 사전 확률이다. P(“은행 카드, “돈”)은 키워드 “은행 카드” 및 “돈”이 동시적으로 나타나는 사전 확률이다. 이러한 세 가지 가능성은 사기 언어 모델을 학습하여 결정될 수있다.
다른 실시예에서, 사기의 가능성은 대상 객체의 안면 특징(즉 표정) 변화를 기초로 하여 추정될 수있다. 일 실시예에서, 웨어러블 디바이스의 처리부는 이미지 정보에 기초하여 대상 객체의 안면 특징 변화를 분석하는데 사용될 수 있다. 심리학 또는 실천학의 분석에 따르면, 일부 안면 특징의 변화는 대응하는 심리적 활동(예를 들면 거짓말과 같은)을 추론하는데 사용될 수있다. 따라서, 사기의 가능성은 특별한 안면 특징의 변화 또는 조합에 따라 할당될 수 있다. 예를 들면 사기 가능성은 심리학 또는 실천학에 따라 할당된다. 사기의 가능성은 사기 사건의 통계 분석에 기초하여 조정된다. 예를 들어, 특수 안면 특징 변화는, 눈의 상대 변위, 눈썹 형상의 상대적인 변화, 얼굴 색 등의 변화를 포함할 수 있으나 이에 한정되지 않는다. 얼굴의 특징 변화 및 사기의 가능성 탬플릿은 생성될 수 있다. 실시 예에서, 템플릿은 룩업 테이블 일 수있다. 룩업 테이블의 데이터의 각 부분을 검색 인덱스 및 사기의 가능성에 의해 구성된다.
예를 들어, 검색 인덱스는 다음과 같이 정의 될 수있다. 우측으로 시선이 이동하고, 눈썹이 위쪽으로 상승, 얼굴빛이 연분홍으로 변하면 대응하는 사기의 가능성은 0.7이다. 다른 실시예에서, 사기의 가능성은 대상 객체의 동작 전환에 기초하여 추정될 수있다. 웨어러블 디바이스의 처리부는 이미지 정보에 기초하여 대상 객체의 행동 변화를 분석하는데 사용될 수 있다. 심리학 또는 실천학의 분석에 따르면, 어떤 특별한 행동 변화는 대응하는 심리학적 활동으로 추론할 수 있다.(예를 들면, 거짓말 등의 심리적 활동)
사기의 가능성은 이러한 특별한 행동 변화 및 이들의 조합에 따라 할당될 수 있다. 예를 들면, 사기의 가능성은 심리학 또는 실천학을 기초로 하여 할당될 수 있다. 사기의 가능성은 사기 사건의 통계 분석에 기초하여 조정된다. 특별한 행동 동작 변경은 목을 만지는 동작, 어깨를 으쓱하는 동작을 포함하지만 이에 제한되지 않는다. 행동 변화와 사기의 가능성의 템플릿은 생성될 수 있다. 행동 동작 변경의 검출은 다양한 방식으로 구현될 수 있다. 예를 들어, 검출 단계는, 먼저 피부색으로 손을 검출하고 골격분석을 통해 어깨를 검출한다. 두번째로 손과 어깨의 궤도의 순서를 획득하기 위해 티엘디(TLD, Tracking- Learning ? Detection) 트래킹 알고리즘을 이용하여 손과 어깨를 트래킹한다. 마지막으로 궤도의 순서를 기초로 하여 사기의 가능성을 추정한다.
예를 들어 손으로 목을 만지는 동작이 검출되면 손에 대한 사기의 가능성은 P(사기|손으로 목을 만지는 동작)이다. 어깨를 으쓱하는 동작이 검출되면, 어깨에 대한 사기의 가능성은 P(사기|어깨를 으쓱하는 동작)이고, 종합적인 사기의 가능성은 P(사기 | 손으로 목을 만지는 동작, 어깨를 으쓱하는 동작) = P(사기 | 손으로 목을 만지는 동작) + P(사기 |어깨를 으쓱하는 동작) ? P(사기 | 손으로 목을 만지는 동작)* P(사기 |어깨를 으쓱하는 동작) 이다.
이는 전술 한 세 가지 실시가 임의로 조합 될 수 있다는 것을 알 수있다. 예를 들어, 일 실시예에서, 각각에 의해 결정되는 사기의 가능성은, 별도로 계산 될 수 있고, 그로부터 3개의 사기의 가능성들은 가중화 되어 종합 사기의 가능성을 결정할 수 있다.
일반적으로 추정된 사기의 가능성은 백분율 또는 그밖의 수치로 표현될 수 있다. 대응하는 위험도에 따라 대응하는 경고 정보를 차후에 제공하기 위해, 사기의 가능성은 대응하는 위험도에 맵핑될 수 있다. 이 방법은 위험 검출의 범위를 확장하고 사용자의 안전을 향상시킨다.
이 도면에 있어서의 특정 단계 순서가 기술되지만, 그러나, 특정한 순서에 따라 수행되어야 한다는 것을 의미하지는 않는다. 그리고 원하는 결과를 달성하기 위해 모든 단계를 수행할 필요가 없다. 대신에, 흐름도에 도시된 단계들의 실행 순서는는 변경될 수 있다.
도 9는 조기에 위험을 경고하기 위한 방법을 실시하는 한 예를 설명하기 위한 흐름도이다.
도 9를 참조하면, 사용자의 동반자가 (예 : 어린 소녀와 같은) 거리에서 길을 잃는다. 사용자가 매우 불안한 경우, 사용자에 의해 착용된 본 발명의 웨어러블 디바이스는, 생체 정보 센서에 의해 사용자의 불안감을 감지하고 인근 다른 사용자가 착용하는 웨어러블 디바이스에 불안 정보를 송신한다. 이어서 이 불안을 감지하고 사용자의 시야가 확장 될 수 있도록 이미지 공유 기능을 연다. 이에 다른 사용자가 길 잃은 소녀를 보다 쉽게 발견 할 수 있다.
단계 S900에서, 사용자는 동반자(소녀)가 길을 잃은 것을 발견한다.
단계 S910에서, 사용자에 의해 착용된 웨어러블 디바이스(제 1 웨어러블 디바이스)가 생체 정보 센서에 의해 사용자의 심리학적 상태를 감지한다. 제 1 웨어러블 디바이스가 사용자의 불안감을 감지하면, 인근에 있는 하나 이상의 제 2웨어러블 디바이스에서의 정보 공유를 요청할 수있다. 예를 들어, 조기 경보 시스템의 서버를 통해 근처의 하나 이상의 제2 웨어러블 디바이스에 정보 공유 요청을 보낼 수 있다. 다른 예를 들면, 제 1웨어러블 디바이스는 근처의 제 2웨어러블 디바이스에 알리기 위해 정보 공유의 요청을 직접 방송 할 수 있다.
단계 S930에서, 다른 사용자가 착용한 제 2웨어러블 디바이스 (즉, 제 웨어러블 디바이스)는 정보 공유 요청을 수신한다.
단계 S940에서, 이들 제 2웨어러블 디바이스는 도움을 주기 위해 정보 공유 기능을 가능하게 한다.
단계 S950에서, 제 2 웨어러블 디바이스는 제 1웨어러블 디바이스와 공유하기 위해 선택적으로 오디오 정보와 함께 시야 뷰 이미지를 클라우드 데이터베이스에 업로드할 수 있다.
단계 S960에 도시 된 바와 같이, 이들 제 2웨어러블 디바이스는 위치 정보(예를 들어 GPS 모듈을 통해 획득 된 위치 정보)를 제공할 수 있다. 동시에, 단계 S940에서, 제 1웨어러블 디바이스는 검색을 위해 주위 의 이미지를 획득 할 수있다.
단계 S970에서, 대상은 제 1웨어러블 디바이스 자체에 의해 획득된 정보에 및 하나 이상의 제 2웨어러블 디바이스들에 의해 공유된 정보에 따라 검색된다. 예를 들어, 이미지 정보에 기초하여, 어린 소녀는 그녀의 형상의 특징 또는 물리적 특성에 따라 검색된다.
단계 S980에서, 정보 공유의 방식에 의해, 사용자의 시야가 확장 될 수 있으므로 소녀를 더 신속하게 찾을 수있다.
일 실시예에서, 이미지 처리에 기초로 한 탐색 기능은 조기 경보 시스템의 서버에서 수행될 수있다. 따라서, 제 1웨어러블 디바이스의 부하를 줄일 수있다. 다른 실시예에서, 이미지 처리에 기초로 한 탐색 기능은 처리 속도를 가속 할 수있는 다른 웨어러블 디바이스들 사이에 분산 될 수 있다.
이뿐만 아니라, 본 출원의 실시예에서 설명하는 장치의 각 부분(예를 들면 ‘부’)은 소프트웨어의 형태로 구현될 수 있을 뿐만 아니라 하드웨어의 형태로 구현될 수 도 있다. 장치의 각 부분은 프로세서(예를 들면 처리부(320))에서 제공될 수 있다.
본 실시 예들에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 실시 예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 실시 예는 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩 업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 실시 예는 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 실시 예는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 실시 예에서 설명하는 특정 실행들은 예시들로서, 어떠한 방법으로도 기술적 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다.
본 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 포함하는 것으로서(이에 반하는 기재가 없다면), 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 한정되는 것은 아니다. 모든 예들 또는 예시적인 용어(예를 들어, 등등)의 사용은 단순히 기술적 사상을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.

Claims (19)

  1. 대상 객체의 이미지 정보를 획득하는 단계;
    상기 획득된 이미지 정보를 기초로 하여 상기 대상 객체의 물리적 특성을 검출하는 단계;
    상기 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하는 단계; 및
    상기 결정된 사건의 위험도에 기초하여 사용자에게 경고를 제공하는 단계를 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  2. 제 1항에 있어서,
    상기 획득하는 단계는,
    주위의 오디오 정보를 획득하고,
    상기 검출하는 단계는,
    상기 획득된 오디오 정보를 기초로 하여 오디오 특성을 검출하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  3. 제 2항에 있어서,
    상기 위험도를 결정하는 단계는,
    상기 이미지 정보에 기초하여, 대상 객체가 상기 웨어러블 디바이스에 도달하는데 걸린 시간을 결정하는 단계; 및
    상기 대상 객체의 물리적 특성, 상기 대상 객체가 상기 웨어러블 디바이스에 도달하는데 걸린 시간 및 상기 대상 객체의 오디오 특성 중 적어도 하나에 따라 상기 대상 객체에 대한 위험도를 결정하는 단계를 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  4. 제 1항에 있어서,
    상기 대상 객체의 물리적 특성은 사람의 얼굴, 몸통, 팔다리, 동물의 치아, 꼬리 또는 눈을 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  5. 제 2항에 있어서,
    상기 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  6. 제 1 항에 있어서,
    상기 획득하는 단계는,
    기상 정보 또는 냄새 정보를 획득하는 단계를 포함하고,
    상기 위험도를 결정하는 단계는,
    상기 기상 정보 또는 냄새 정보에 기초하여 상기 위험도를 결정하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  7. 제 1 항에 있어서,
    상기 경고를 제공하는 단계는,
    상기 위험도에 따라 다른 방식으로 경고를 제공하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  8. 제 1 항에있어서,
    제 2 웨어러블 디바이스를 통하여 획득한 이미지 정보 또는 오디오 정보를 수신하는 단계를 더 포함하고,
    상기 위험도를 결정하는 단계는,
    상기 제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 상기 위험도를 결정하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  9. 제 1항에 있어서,
    상기 검출하는 단계는,
    상기 이미지 정보를 이용해 대상 객체가 사람인지 여부를 검출하는 단계;및
    상기 대상 객체가 사람이면, 상기 사람의 얼굴을 검출하는 단계를 포함하고,
    상기 위험도를 결정하는 단계는,
    상기 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 상기 위험도를 결정하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  10. 제1항 내지 제9항 중 어느 하나의 항의 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
  11. 대상 객체의 이미지 정보를 획득하는 센싱부;
    상기 획득된 이미지 정보를 기초로 하여 상기 대상 객체의 물리적 특성을 검출하는 특성 검출부;
    상기 검출된 물리적 특성을 이용하여 사용자의 안전을 위협하는 정도인 위험도를 결정하는 위험도 결정부; 및
    상기 결정된 사건의 위험도에 기초하여 상기 사용자에게 경고를 하는 경고부를 포함하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  12. 제 11항에 있어서,
    상기 센싱부는,
    상기 주위의 오디오 정보를 획득하고,
    상기 특성 검출부는,
    상기 획득된 오디오 정보를 기초로 하여 오디오 특성을 검출하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  13. 제 12항에 있어서,
    상기 위험도 결정부는,
    상기 이미지 정보에 기초하여, 대상 객체가 상기 웨어러블 디바이스에 도달하는데 걸린 시간을 결정하고,
    상기 대상 객체의 물리적 특성, 상기 대상 객체가 상기 웨어러블 디바이스에 도달하는데 걸린 시간 및 상기 대상 객체의 오디오 특성 중 적어도 하나에 따라 상기 대상 객체에 대한 위험도를 결정하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  14. 제 11항에 있어서,
    상기 대상 객체의 물리적 특성은 사람의 얼굴, 몸통, 팔다리, 동물의 치아, 꼬리 또는 눈을 포함하는, 웨어러블 디바이스로 조기에 위험을 경고하는 방법.
  15. 제 12항에 있어서,
    상기 대상 객체의 오디오 특성은 볼륨, 피치, 멜 주파수 켑스트럼 계수(MFCC, Mel Frequency Cepstrum Coefficient), 사람의 대화 및 전력 표준화 켑스트럼 계수 (PNCC, Power Normalized Cepstral Coefficient) 중 적어도 하나를 포함하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  16. 제 11 항에 있어서,
    상기 센싱부는,
    기상 정보 또는 냄새 정보를 획득하고,
    상기 위험도 결정부는,
    상기 기상 정보 또는 냄새 정보에 기초하여 상기 위험도를 결정하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  17. 제 11 항에 있어서,
    상기 경고부는,
    상기 위험도에 따라 다른 방식으로 경고를 제공하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  18. 제 11 항에있어서,
    제 2 웨어러블 디바이스를 통하여 획득한 이미지 정보 또는 오디오 정보를 수신하는 수신부를 더 포함하고,
    상기 위험도 결정부는,
    상기 제 2웨어러블 디바이스로부터 수신된 정보에 기초하여 상기 위험도를 결정하는, 조기에 위험을 경고하는 웨어러블 디바이스.
  19. 제 11 항에있어서,
    상기 특성 검출부는,
    상기 이미지 정보를 이용해 대상 객체가 사람인지 여부를 검출하고, 상기 대상 객체가 사람이면, 상기 사람의 얼굴을 검출하고,
    상기 위험도 결정부는,
    상기 검출된 얼굴이 기 설정된 얼굴 데이터베이스에 있는지 여부에 따라 상기 위험도를 결정하는, 조기에 위험을 경고하는 웨어러블 디바이스.
PCT/KR2015/011083 2014-11-06 2015-10-20 조기에 위험을 경고하는 방법 및 장치 WO2016072644A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/525,218 US10121075B2 (en) 2014-11-06 2015-10-20 Method and apparatus for early warning of danger
EP15857475.6A EP3217370A4 (en) 2014-11-06 2015-10-20 Method and apparatus for early warning of danger

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201410638409.6A CN105632049B (zh) 2014-11-06 2014-11-06 一种基于可穿戴设备的预警方法和装置
CN201410638409.6 2014-11-06
KR10-2015-0137084 2015-09-25
KR1020150137084A KR102408257B1 (ko) 2014-11-06 2015-09-25 조기에 위험을 경고하는 방법 및 장치

Publications (1)

Publication Number Publication Date
WO2016072644A1 true WO2016072644A1 (ko) 2016-05-12

Family

ID=55909327

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/011083 WO2016072644A1 (ko) 2014-11-06 2015-10-20 조기에 위험을 경고하는 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2016072644A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
KR101033037B1 (ko) * 2003-06-30 2011-05-13 소니 주식회사 통신장치 및 제어방법
JP2013171476A (ja) * 2012-02-22 2013-09-02 Nec Corp 携帯型顔認識防犯用背後カメラシステム及びそれに用いる防犯判断方法
KR20140024712A (ko) * 2012-08-21 2014-03-03 홍순선 스마트 기기를 이용한 위치 기반 사용자 주변 영상 모니터링 서비스 제공 방법
KR101395614B1 (ko) * 2013-12-06 2014-05-16 조원석 스마트워치를 이용한 맥박측정과 자동촬영전송장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101033037B1 (ko) * 2003-06-30 2011-05-13 소니 주식회사 통신장치 및 제어방법
JP2010081480A (ja) * 2008-09-29 2010-04-08 Fujifilm Corp 携帯型不審者検出装置、不審者検出方法及びプログラム
JP2013171476A (ja) * 2012-02-22 2013-09-02 Nec Corp 携帯型顔認識防犯用背後カメラシステム及びそれに用いる防犯判断方法
KR20140024712A (ko) * 2012-08-21 2014-03-03 홍순선 스마트 기기를 이용한 위치 기반 사용자 주변 영상 모니터링 서비스 제공 방법
KR101395614B1 (ko) * 2013-12-06 2014-05-16 조원석 스마트워치를 이용한 맥박측정과 자동촬영전송장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3217370A4 *

Similar Documents

Publication Publication Date Title
KR102408257B1 (ko) 조기에 위험을 경고하는 방법 및 장치
US20220032482A1 (en) Information processing device and storage medium
KR20220042445A (ko) 교통 수단 통근 제어 방법 및 장치, 전자 기기, 매체 및 차량
US20060009702A1 (en) User support apparatus
WO2007074842A1 (ja) 画像処理装置
US10867527B2 (en) Process and wearable device equipped with stereoscopic vision for helping the user
JP2018504960A (ja) 人体特徴データの処理方法及び装置
CN111904806A (zh) 导盲系统
Manjari et al. CREATION: Computational constRained travEl aid for objecT detection in outdoor eNvironment
JP2022526702A (ja) 盲人及び視覚障害者用の立体音響装置
JP7371595B2 (ja) 装置、システム、方法およびプログラム
WO2016072644A1 (ko) 조기에 위험을 경고하는 방법 및 장치
Srinivas et al. A new method for recognition and obstacle detection for visually challenged using smart glasses powered with Raspberry Pi
Saha et al. Visual, navigation and communication aid for visually impaired person
US20200272819A1 (en) Translation to braille
KR20120059752A (ko) 감정을 인식하는 시각장애인용 안내 장치, 안내 시스템, 그를 이용한 안내방법, 및 그 기록매체
Kumar et al. Visual Impaired Assist Mobile App using CNN
Pirom Object Detection and Position using CLIP with Thai Voice Command for Thai Visually Impaired
CN111479060B (zh) 图像采集方法、装置、存储介质及电子设备
JP2023000524A (ja) 情報管理システム
WO2021070765A1 (ja) 案内装置、案内方法、記録媒体
Abbas Lifesaver: Android-based Application for Human Emergency Falling State Recognition
CN117880715A (zh) 一种远程可视化助听器及可视化系统
CN113642111A (zh) 安全防护方法及装置、介质、电子设备及车辆
Anwaar et al. Design of an Assistive Technology Wearable Vest for persons with Hearing Disability

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15857475

Country of ref document: EP

Kind code of ref document: A1

REEP Request for entry into the european phase

Ref document number: 2015857475

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15525218

Country of ref document: US