KR100944934B1 - System for human activity recognition and location tracking - Google Patents

System for human activity recognition and location tracking Download PDF

Info

Publication number
KR100944934B1
KR100944934B1 KR1020070108292A KR20070108292A KR100944934B1 KR 100944934 B1 KR100944934 B1 KR 100944934B1 KR 1020070108292 A KR1020070108292 A KR 1020070108292A KR 20070108292 A KR20070108292 A KR 20070108292A KR 100944934 B1 KR100944934 B1 KR 100944934B1
Authority
KR
South Korea
Prior art keywords
user
location
behavior
situation
image
Prior art date
Application number
KR1020070108292A
Other languages
Korean (ko)
Other versions
KR20090042503A (en
Inventor
남윤영
조용원
김진형
조위덕
Original Assignee
아주대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아주대학교산학협력단 filed Critical 아주대학교산학협력단
Priority to KR1020070108292A priority Critical patent/KR100944934B1/en
Publication of KR20090042503A publication Critical patent/KR20090042503A/en
Application granted granted Critical
Publication of KR100944934B1 publication Critical patent/KR100944934B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/22—Social work or social welfare, e.g. community support activities or counselling services
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은 스마트 펜던트의 카메라 영상만을 이용하여 사용자의 행동을 인식하고 GPS를 통해 위치를 파악하여 사용자에게 안전을 제공해 줄 수 있는 사람의 행동인식 및 위치추적 시스템에 관한 것으로, 영상을 이용하여 사용자의 행동을 인식 및 분석한 상황정보, 영상 및 GPS 위치정보를 전송하는 스마트 펜던트; 상기 스마트 펜던트(200)로부터 수신된 신호를 저장 및 전송하는 상황인지서버 및 상기 상황인지서버(300)로부터 수신된 신호를 디스플레이하여 상기 스마트 펜던트 사용자의 행동 및 위치를 파악하는 모니터링 장치(350)를 포함하여, 사용자가 스마트 펜던트를 몸에 착용하여 사용자의 행동상태와 위치를 외부 장치에 실시간으로 전달함으로써, 유아, 장애우 및 노약자들을 위한 안전장치로서 활용이 가능할 뿐만 아니라, 유아 및 치매노인들의 범죄 및 실종을 사전에 예방할 수 있다.The present invention relates to a system for recognizing a user's behavior and a location tracking system that can recognize a user's behavior using only a camera image of a smart pendant and provide a safety to the user by identifying a location through a GPS. Smart pendant for transmitting the context information, video and GPS location information that recognizes and analyzed the behavior; The monitoring device 350 to determine the behavior and location of the smart pendant user by displaying the signal received from the situation server and the situation server 300 to store and transmit the signal received from the smart pendant 200; Including the smart pendant on the body to convey the user's behavior and location to the external device in real time, which can be used as a safety device for infants, the disabled and the elderly, as well as the crime of infants and demented elderly Missing can be prevented in advance.

Description

사용자의 행동인식 및 위치추적 시스템{SYSTEM FOR HUMAN ACTIVITY RECOGNITION AND LOCATION TRACKING}User's Behavior Recognition and Location Tracking System {SYSTEM FOR HUMAN ACTIVITY RECOGNITION AND LOCATION TRACKING}

본 발명은 사람의 행동인식 및 위치추적 시스템에 관한 것으로, 더욱 상세하게는 스마트 펜던트의 카메라 영상만을 이용하여 사용자의 행동을 인식하고 GPS를 통해 위치를 파악하여 사용자에게 안전을 제공해 줄 수 있는 사람의 행동인식 및 위치추적 시스템에 관한 것이다.The present invention relates to a human behavior recognition and location tracking system, and more particularly, to recognize the user's behavior using only the camera image of the smart pendant and to identify the location through the GPS to provide safety to the user It relates to behavior recognition and location tracking systems.

최근, 유아, 장애우 및 노약자들의 안전을 위한 서비스가 중요한 분야로 대두되고 있으며, 사람의 안전을 제공해 주기 위한 새로운 웨어러블 컴퓨팅 시스템이 필요하다.Recently, services for the safety of infants, the disabled and the elderly are emerging as an important field, and a new wearable computing system is needed to provide human safety.

이러한 안전을 위한 서비스를 제공하기 위해서는 사람의 행동 인식 및 위치 파악이 선행되어야 한다.In order to provide services for these safety, people's behavior recognition and location must be preceded.

종래에는 각종 센서를 이용하여 자동적으로 사람의 행동 및 위치를 인식하는 방법이 있다.Conventionally, there is a method of automatically recognizing a person's behavior and location using various sensors.

예를 들면, 종래의 센서를 이용한 사용자 행동 및 위치 측정장치가 대한민국 공개특허 제10-2006-0018128호에 개시되어 있다.For example, a user behavior and position measuring apparatus using a conventional sensor is disclosed in Korean Patent Laid-Open No. 10-2006-0018128.

즉, 도 1에 나타낸 바와 같이, 종래의 사용자 위치 측정장치는 보행자의 진행방향을 검출하기 위한 3축의 지자기 방위센서(10)와, 외란으로부터 방위각을 보정하기 위한 자이로센서(20)와, 이동속도와 운동거리를 검출하기 위한 3축의 가속도센서(30)와, 출발점으로부터의 이동방위와 운동거리 정보로부터의 상대 위치를 추정한 다음 이를 연산하여 제어하도록 신호를 처리하는 연산제어부(40)와, 외부 프로세서와의 데이터 통신을 위해 시리얼 포트가 구비되어 있는 통신단말부(50)와, 이동 궤적 및 위치를 디스플레이시키고 오차 및 측정결과를 사용자가 용이하게 확인할 수 있도록 표시하는 모니터 표시부(60)와, 사용자가 필요한 정보를 입력하거나 작동기능을 선택할 수 있도록 다수개의 스위치와 시리얼 포트로 이루어진 입력수단부(70)와, 상기의 구성부들에 대한 안정적이고 원활한 구동을 위해 직류전압과 같은 전원을 공급하는 전원부(80)를 포함하여 이루어진다.That is, as shown in FIG. 1, the conventional user position measuring apparatus includes a three-axis geomagnetic orientation sensor 10 for detecting the direction of travel of a pedestrian, a gyro sensor 20 for correcting an azimuth from disturbance, and a moving speed. And a three-axis acceleration sensor 30 for detecting a movement distance, an arithmetic and control unit 40 for processing a signal to estimate and then calculate a relative position from a moving direction and movement distance information from a starting point, and an external device. Communication terminal unit 50 is provided with a serial port for data communication with the processor, a monitor display unit 60 for displaying the movement trajectory and position, and display the error and measurement results so that the user can easily check, and the user The input means unit 70 and a configuration unit consisting of a plurality of switches and serial ports so that the user can input necessary information or select an operation function. Stable and comprises a power supply section 80 for supplying power such as DC voltage for smooth driving on.

그러나, 상기와 같은 종래의 복수개의 센서를 이용한 사용자 행동 및 위치 인식 장치는, 전력 지원 문제와 복수개의 센서를 복합적으로 구비하여야 하는 문제점이 있다.However, the above-described conventional user behavior and location recognition apparatus using a plurality of sensors has a problem of having a power support problem and a plurality of sensors in combination.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 그 목적은 각종 센서를 사용하지 않고 카메라의 영상만을 이용하여 사용자의 행동을 인식하고 GPS를 이용하여 사용자의 위치를 파악할 수 있는 사용자의 행동인식 및 위치추적 시스 템을 제공하는 것이다.The present invention is to solve the above problems, the purpose is to recognize the user's behavior using only the image of the camera without using various sensors and the user's behavior recognition that can determine the user's location using GPS and To provide a location tracking system.

즉, 상기의 목적을 달성하기 위한 본 발명에 따른 사용자의 행동인식 및 위치추적 시스템은, 영상을 이용하여 사용자의 행동을 인식 및 분석한 상황정보, 영상 및 GPS 위치정보를 전송하는 스마트 펜던트(200); 상기 스마트 펜던트(200)로부터 수신된 신호를 저장 및 전송하는 상황인지서버(300) 및 상기 상황인지서버(300)로부터 수신된 신호를 디스플레이하여 상기 스마트 펜던트 사용자의 행동 및 위치를 파악하는 모니터링 장치(350)를 포함하되, 상기 스마트 팬던트(200)는 외부로부터 입력되는 영상을 이용하여 사용자의 행동을 인식 및 분석하여 사용자의 현재 상황을 파악하는 행동인식 분석부(210)와, 상기 행동인식 분석부(210)의 내부에 설치된 카메라를 통해 입력되는 영상을 캡쳐하는 자동 캡쳐부(220)와, 사용자의 움직이는 상황을 동영상으로 기록하는 녹화부(230)와, 사용자의 위치를 추적할 수 있도록 GPS로부터 현재 시간, 경도, 위도로 구성된 스트링 신호 값을 수신하는 위치 분석부(250)를 포함하고, 상기 행동인식 분석부(210)는 내부에 설치된 카메라를 통해 입력되는 영상을 이용하여 사용자의 '걷기(Walk)', '멈춤(Stop)', '좌회전(Left Turn)' 및 '우회전(Right Turn)에 따른 영상을 인식 및 분석하되, 사용자의 '걷기(Walk)' 및 '멈춤(Stop)'은 현재 프레임과 이전 프레임간에 픽셀 값의 차이를 이용하여 분석하고, '좌회전(Left Turn)' 및 '우회전(Right Turn)은 좌측 및 우측 방향에 따라 추출된 특징 점들의 각도(θ)를 계산하여, 특징 점들의 각도가 -90°~ 90°는 좌회전(Left Turn), 90°~ -90°는 우회전(Right Turn)으로 분석하는 것을 특징으로 한다.That is, the user's behavior recognition and location tracking system according to the present invention for achieving the above object, the smart pendant 200 for transmitting the situation information, the image and the GPS location information to recognize and analyze the user's behavior using the image ); Monitoring device for identifying the behavior and location of the smart pendant user by displaying the situation received from the smart pendant 200 and the situation server 300 and the signal received from the situation server 300 ( Including the 350, the smart pendant 200 recognizes and analyzes the user's behavior using an image input from the outside to determine the current situation of the user and the behavior recognition analysis unit 210, the behavior recognition analysis unit An automatic capture unit 220 for capturing an image input through a camera installed inside the 210, a recording unit 230 for recording a moving situation of the user as a video, and a GPS to track the location of the user. It includes a position analyzer 250 for receiving a string signal value consisting of the current time, longitude, latitude, the behavior recognition analysis unit 210 through a camera installed therein Recognize and analyze the images according to the user's' Walk ',' Stop ',' Left Turn 'and' Right Turn 'using the input image, but the user's' Walk ( Walk 'and' Stop 'are analyzed using the difference in pixel values between the current frame and the previous frame, and' Left Turn 'and' Right Turn 'are extracted along the left and right directions. By calculating the angle θ of the feature points, the angle of the feature points is -90 ° ~ 90 ° characterized in that the left turn (Left Turn), 90 ° ~ -90 ° is characterized in that the analysis as a right turn (Right Turn).

본 발명에 따른 사용자의 행동인식 및 위치추적 시스템에 따르면, 사용자가 스마트 펜던트를 몸에 착용하여 사용자의 행동상태와 위치를 외부 장치에 실시간으로 전달함으로써, 유아, 장애우 및 노약자들을 위한 안전장치로서 활용이 가능할 뿐만 아니라, 유아 및 치매노인들의 범죄 및 실종을 사전에 예방할 수 있다.According to the user's behavior recognition and location tracking system according to the present invention, the user wears a smart pendant on the body and transmits the user's behavior state and location to an external device in real time, thereby utilizing it as a safety device for infants, the disabled and the elderly. Not only is this possible, it is possible to proactively prevent crime and disappearance of infants and elderly people with dementia.

이하, 첨부한 도면을 참조하여 본 발명에 따른 사용자 행동인식 및 위치인식 시스템을 상세하게 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described in detail the user behavior recognition and position recognition system according to the present invention.

도 2는 본 발명의 일실시예에 따른 사용자의 행동인식 및 위치추적 시스템을 나타내는 도면이고, 도 3은 본 발명에 적용되는 스마트 펜던트를 나타내는 도면이다.2 is a view showing a user's behavior recognition and location tracking system according to an embodiment of the present invention, Figure 3 is a view showing a smart pendant applied to the present invention.

또한, 도 4는 본 발명의 일실시예에 따른 사용자의 현재 행동을 인식한 화면을 일정한 간격으로 캡쳐한 이미지 영상을 나타낸 도면이고, 도 5는 본 발명에 적용되는 스마트 펜던트를 착용하고 특정 지역을 이동한 모습을 나타내는 도면이며, 도 6은 본 발명에 적용되는 스마트 펜던트를 사용자가 착용한 모습을 나타내는 도면이다.In addition, Figure 4 is a view showing an image captured by a predetermined interval of the screen captures the user's current behavior in accordance with an embodiment of the present invention, Figure 5 is wearing a smart pendant applied to the present invention in a specific area 6 is a view showing a state of movement, Figure 6 is a view showing a user wearing a smart pendant applied to the present invention.

도 2에 나타낸 바와 같이, 본 발명의 일실시예에 따른 사용자 행동인식 및 위치인식 시스템은, 스마트 펜던트(200), 상황인지서버(300), 보호자 단말기인 모니터링 장치(350)를 포함한다.As shown in FIG. 2, the user behavior recognition and location recognition system according to an embodiment of the present invention includes a smart pendant 200, a situation awareness server 300, and a monitoring device 350 which is a guardian terminal.

이때, 도 3에 도시된 스마트 펜던트(200)는 영상을 이용하여 사용자의 행동을 인식 및 분석한 상황정보와 GPS 위치정보를 상황인지서버(300)에 전송하는 장치로서, 행동인식 분석부(210), 자동 캡쳐부(220), 녹화부(230) 및 위치 분석부(240)로 구성된다.At this time, the smart pendant 200 shown in FIG. 3 is a device for transmitting the situation information and GPS location information to the situation recognition server 300 by recognizing and analyzing the user's behavior using the image, the behavior recognition analysis unit 210 ), An automatic capture unit 220, a recording unit 230, and a position analyzer 240.

구체적으로, 행동인식 분석부(210)는 내부에 설치된 카메라에 입력되는 영상을 이용하여, 사용자의 네 가지 동작, 즉 '걷기(Walk)', '멈춤(Stop)', '좌회전(Left Turn)', '우회전(Right Turn)을 인식 및 분석하여 사용자의 현재 상황을 일정 시간마다 상황인지서버(300)에 전송한다.Specifically, the behavior recognition analysis unit 210 uses the image input to the camera installed therein, four actions of the user, 'Walk', 'Stop', 'Left Turn' ',' Recognize and analyze the right turn (Right Turn) and transmits the current situation of the user to the server 300 whether the situation every predetermined time.

이때, 행동인식 분석부(210)가 사용자의 현재 상황에 대한 행동을 분석하는 과정은 다음과 같다.At this time, the behavior recognition analysis unit 210 analyzes the behavior of the user's current situation is as follows.

첫째, 사용자의 'Walk'와 'Stop'을 인식하기 위해 아래의 수학식 1을 사용하여 카메라 영상간의 차이를 분석한다.First, in order to recognize the user's 'Walk' and 'Stop', the difference between the camera images is analyzed using Equation 1 below.

이때, 'Walk'일 때와 'Stop'일 때에는, 카메라를 통해 입력되는 영상에 분포된 0~255 사이의 픽셀 값들 중에서 '0'인 픽셀을 이용하며, 이 픽셀을 이용하여 현재 프레임과 이전 프레임간에 픽셀 값의 차이를 구한다.At this time, 'Walk' and 'Stop' use pixels of '0' among pixel values between 0 and 255 distributed in the image input through the camera, and use the current frame and the previous frame. Find the difference between pixel values.

ΔK = Kt - Kt -1 ΔK = K t -K t -1

여기서, K는 픽셀값의 평균값이다.Here, K is an average value of pixel values.

둘째, 다양한 조명 변화와 환경 변화에 적응할 수 있도록, 아래의 식 2를 적용하여 임계값을 구한다.Second, in order to adapt to various lighting changes and environmental changes, the following equation 2 is applied to find a threshold value.

이때, 정확한 인식을 위해서는 현재의 영상과 이전의 영상을 필터링해서 노이즈를 제거한다.In this case, the noise is removed by filtering the current image and the previous image for accurate recognition.

Figure 112007076909158-pat00001
Figure 112007076909158-pat00001

여기서 Dk는 임계값에 따른 인식결과이다.Where D k is a recognition result according to a threshold value.

즉, 연속된 두 프레임간에 분포된 특정 픽셀 값의 평균값의 차이를 구한 후, 변화된 값이 임계값(Threshold)보다 크면 'Walk', 임계값보다 작으면 'Stop'으로 인식한다.That is, after obtaining the difference between the average value of a specific pixel value distributed between two consecutive frames, it is recognized as a 'Walk' if the changed value is greater than the threshold value, and 'Stop' if it is smaller than the threshold value.

셋째, 'Left Turn' 및 'Right turn'을 분석할 수 있도록 연속된 2차원 영상에서 패턴의 움직임 정보를 추출하기 위해, 아래의 수학식 3과 같은 옵티컬 플로우 방식을 사용한다.Third, in order to extract the motion information of the pattern from the continuous two-dimensional image to analyze the 'left turn' and 'right turn', an optical flow method as shown in Equation 3 below is used.

Figure 112007076909158-pat00002
Figure 112007076909158-pat00002

여기서,

Figure 112007076909158-pat00003
는 각각 x축, y축, 시간축 방향의 밝기 변화율을 나타낸다.here,
Figure 112007076909158-pat00003
Denotes the rate of change of brightness in the x-, y-, and time-axis directions, respectively.

이때, 옵티컬 플로우 방식은, 이동한 점은 원래 위치에서 멀리 움직이지 않았다는 것과 점이 이동한 후에도 색상은 변하지 않았다는 것을 가정한다.In this case, the optical flow method assumes that the moved point does not move far from the original position and that the color does not change even after the point moves.

즉, 카메라를 통해 입력된 영상이 오른쪽 또는 왼쪽으로 돌 때 벡터들의 움직임이 달라지며, 옵티컬 플로우 방식을 이용해서 움직임 벡터를 추출한다.That is, when the image input through the camera rotates to the right or left, the motions of the vectors are changed, and the motion vector is extracted using the optical flow method.

넷째, 현재 프레임의 특징점 P(x, y)t와, 이전 프레임의 특징점 Q(x, y)t-1을 찾아, 가우시안 피라미드(Gaussian Pyramid)를 통해 필요한 특징점만 추출하여 움직임 좌표값을 처리한다.Fourth, the feature point P (x, y) t of the current frame and the feature point Q (x, y) t-1 of the previous frame are found, and only the necessary feature points are extracted through the Gaussian pyramid to process the motion coordinate values. .

이때, 움직임 좌표값은 V(u, v)t이며, 해당 픽셀의 x(수평좌표), y(수직좌 표)에 대한 시간적인 변위(u, v)는 아래의 수학식 4와 같다.At this time, the motion coordinate value is V (u, v) t , and the temporal displacements (u, v) with respect to x (horizontal coordinate) and y (vertical coordinate) of the corresponding pixel are expressed by Equation 4 below.

u = (xp - xq), v = (yp - yq)u = (x p -x q ), v = (y p -y q )

여기서, u 및 v는 해당 픽셀의 x, y에 대한 시간적인 변위이다.Here, u and v are temporal displacements of x and y of the pixel.

다섯째, 사용자가 오른쪽으로 돌 때와 왼쪽으로 돌 때에는 벡터의 방향이 서로 다르므로, 벡터의 방향성을 찾기 위해 특징 점들의 각도를 계산한다.Fifth, since the direction of the vector is different when the user turns to the right and to the left, the angles of the feature points are calculated to find the direction of the vector.

추출된 특징 점간의 각도(θ)는 아래의 수학식 5와 같다.The angle θ between the extracted feature points is expressed by Equation 5 below.

Figure 112007076909158-pat00004
Figure 112007076909158-pat00004

특징 점간의 각도(θ) 값을 구한 후 각도의 범위를 두 개의 범위로 구분하여, -90°~ 90°는 왼쪽 방향, 90°~ -90°는 오른쪽 방향으로 정의하고, 각 방향에 대한 벡터들의 집합을 평균화하여 오른쪽과 왼쪽 방향을 구분한다.After calculating the angle ( θ ) value between the feature points, divide the angle range into two ranges, and define -90 ° to 90 ° as the left direction and 90 ° to -90 ° as the right direction, and the vector for each direction. Average the set of these to distinguish between the right and left directions.

또한, 'Walk' 또는 'Stop'일 때, 'Turn'을 잘못 인식할 수 있기 때문에, 정확한 인식을 위해 벡터의 길이를 이용하여 'Turn'을 하는 경우에는 'Walk' 또는 'Stop'인 경우보다 벡터의 길이가 커지므로, 이 벡터의 길이가 커진 값이 특정 임계값 이상일 경우를 'Turn'으로 인식한다.In addition, when 'Walk' or 'Stop' is used, 'Turn' may be misrecognized. Therefore, when 'Turn' is performed using the length of the vector for accurate recognition, 'Walk' or 'Stop' is used. Since the length of the vector is increased, it is recognized as 'Turn' when the value of the length of the vector is larger than a certain threshold.

한편, 자동 캡쳐부(220)는 행동인식 분석부(210)의 내부에 설치된 카메라를 통해 입력되는 영상을 캡쳐한다.Meanwhile, the automatic capture unit 220 captures an image input through a camera installed inside the behavior recognition analyzer 210.

이때, 상기 자동 캡쳐부가 카메라를 통해 입력되는 영상을 캡쳐하는 방식은 다음과 같다.In this case, the automatic capture unit captures the image input through the camera as follows.

1. 통상적인 카메라 및 카메라 기능이 내장된 셀룰러 폰의 기능처럼, 사용자가 특정 버튼을 이용하여 현재의 상황을 캡쳐한다. 이 방식은 사용자가 위험한 순간이나 특별한 상황이 발생했을 때 사용할 수 있다.1. Like a normal phone and a cellular phone with built-in camera functions, the user captures the current situation using a specific button. This method can be used when the user has a dangerous moment or when a special situation occurs.

2. 사용자가 원하는 시간만큼 캡쳐 저장간격을 설정(예를 들어, 10분 내지 15분)한 후, 자동 캡쳐 버튼을 누르면 사용자의 현재 상황을 자동적으로 저장한다.2. After setting the capture save interval as long as the user wants (for example, 10 to 15 minutes), press the auto capture button to automatically save the current situation of the user.

3. 유아나 장애우 및 노약자 등을 고려하여, 사용자의 움직임이 일정시간(예컨대, 3분 내지 5분) 없을 때에는 위험한 상황이라고 판단하여 영상을 캡쳐한다.3. In consideration of infants, disabled people and the elderly, when the user's movement is not a certain time (for example, 3 minutes to 5 minutes) it is determined that the dangerous situation to capture the image.

녹화부(230)는 사용자의 움직이는 상황을 기록하기 위해 동영상으로 촬영한다.The recording unit 230 captures a moving picture to record the user's moving situation.

위치 분석부(250)는 사용자의 위치를 추적할 수 있도록 GPS(Global Positioning System)로부터 현재 시간, 경도, 위도로 구성된 GPGSV(GPS Satellites in View), GPGSA(GPS DOP and active satellites), GPRMC(Recommended Minimum data), GPGGA(Global Positioning System Fix Data)의 스트링 신호 값을 수신한 후, 상황인지서버(300)로 GPS 패킷을 전송한다.The location analyzer 250 includes GPS satellites in view (GPGSV), GPS DOP and active satellites (GPGSA), and GPRMC (Recommended) configured from the Global Positioning System (GPS) to track the user's location. After receiving the string signal value of the minimum data (GPGGA), Global Positioning System Fix Data (GPGGA), the GPS packet is transmitted to the situation aware server 300.

여기서, 상기 행동인식 분석부(210), 자동 캡쳐부(220), 녹화부(230) 및 위치 분석부(240) 각각에서의 신호는 도시되지 않은 전송부에 의해 무선통신 방식으로 상황인지서버(300)에 전송된다.Here, the signal from each of the behavior recognition analysis unit 210, the automatic capture unit 220, the recording unit 230 and the position analysis unit 240 is a situation-aware server in a wireless communication method by a transmission unit not shown ( 300).

한편, 상황인지서버(300)는 상기 복수개의 스마트 펜던트(200)로부터 수신된 신호를 각각 저장하여, 보호자 단말기인 모니터링 장치(350)에 전송하는 장치로서, 행동인식 데이터 저장부(310), 위치 데이터 저장부(320) 및 상황 전송부(330)로 구성된다.Meanwhile, the situation awareness server 300 stores the signals received from the plurality of smart pendants 200, respectively, and transmits them to the monitoring device 350, which is a guardian terminal. It is composed of a data storage unit 320 and the situation transmission unit 330.

구체적으로, 행동인식 데이터 저장부(310)는 행동인식 분석부(210)로부터 사용자의 현재 상황에 대한 분석 신호를 수신하여 저장한다.Specifically, the behavior recognition data storage 310 receives and stores an analysis signal of the current situation of the user from the behavior recognition analysis unit 210.

즉, 복수개의 스마트 펜던트의 모델 또는 기종에 따라 각각 수신된 분석 신호를 저장하여, 해당 스마트 펜던트 사용자를 파악할 수 있게 한다.That is, the received analysis signal is stored according to models or models of the plurality of smart pendants, so that the user of the smart pendant can be identified.

한편, 위치 데이터 저장부(320)는 스마트 펜던트(100)의 위치 분석부(240)로부터 수신된 GPS 패킷을 저장함과 동시에, 사용자가 어느 위치에 있는지를 경도와 위도를 통해 지도상에 표시하게 한다.On the other hand, the location data storage unit 320 stores the GPS packet received from the location analysis unit 240 of the smart pendant 100, and allows the user to display the location on the map through the longitude and latitude .

또한, 상황 전송부(330)는 행동인식 데이터 저장부(310)에 저장된 사용자의 행동, 자동 캡쳐부(220)를 통해 캡쳐한 이미지 영상, 녹화부(230)를 통해 녹화한 동영상 데이터 및 위치 데이터 저장부(320)에 저장된 위치 데이터를 외부의 보호자 단말기인 모니터링 장치(350)에 전송한다.In addition, the situation transmitter 330 is a user's behavior stored in the behavior recognition data storage 310, the image image captured by the automatic capture unit 220, video data and position data recorded through the recording unit 230 The location data stored in the storage unit 320 is transmitted to the monitoring device 350 which is an external guardian terminal.

한편, 모니터링 장치(350)는 상기 상황인지서버(300)의 상황 전송부(330)로부터 수신된 신호를 도 4 및 도 5에 나타낸 바와 같이 디스플레이하여, 스마트 펜던트 사용자의 보호자가, 사용자의 행동 및 위치를 파악할 수 있게 한다.Meanwhile, the monitoring device 350 displays the signal received from the situation transmitter 330 of the situation awareness server 300 as shown in FIGS. 4 and 5, so that the guardian of the smart pendant user can control the user's behavior and Make sure you know the location.

이하, 본 발명의 일실시예에 따른 실험예를 설명한다.Hereinafter, an experimental example according to an embodiment of the present invention.

실험을 위해 스마트 펜던트 V1.2 프로토타입과, 인텔 코어 솔로 프로세서 U1500 1.33GHz CPU와 1GB 메모리에 Windows Vista 기반의 UMPC를 이용하였으며, 위치 추적을 위해 블루투스 방식의 GPS 모듈을 사용하였으며, 서버는 인텔 듀얼 코어 프로세서와 Window XP가 설치된 PC를 사용하였다.We used a Smart Pendant V1.2 prototype, an Intel Core Solo processor U1500 1.33GHz CPU, and a 1GB memory, a Windows Vista-based UMPC, and a Bluetooth GPS module for location tracking. I used a PC with a core processor and Window XP.

또한, 본 발명의 구현에 사용된 개발 언어는 Visual C++와 인텔에서 제공하는 OpenCV 라이브러리를 이용하여 구현하였고 실험은 건물 내부와 와부 공간에서 수행하였다.In addition, the development language used in the implementation of the present invention was implemented using the OpenCV library provided by Visual C ++ and Intel, and the experiment was performed in the building and in the widow space.

먼저, 사용자가 도 6에 도시된 바와 같이 스마트 펜던트(200)를 착용한 후, 건물 내부 공간에서 5분간 캡쳐 및 녹화를 해보았다. 예를 들어, 사용자의 현재 행동을 인식한 화면을 일정한 간격으로 캡쳐한 이미지 영상이 도 4에 나타나 있다.First, the user wore the smart pendant 200 as shown in FIG. 6, and then captured and recorded for 5 minutes in the building interior space. For example, an image image of capturing a screen that recognizes a user's current behavior at regular intervals is shown in FIG. 4.

도 4에 도시된 이미지 영상은 1초에 15프레임으로 캡쳐하였으며 이미지 사이즈는 320*240으로 하였다.The image shown in FIG. 4 was captured at 15 frames per second, and the image size was 320 * 240.

또한, 스마트 펜던트(200)를 착용하고 건물 외부 공간의 특정 지역을 이동한 모습이 도 5와 같이 나타났다. 위치 분석부(240)를 이용하여 사용자가 이동한 경로에 대한 위도와 경도를 분석한 후 사용자의 위치를 구글맵(Google Map)에 표시하였다.In addition, the smart pendant 200 is shown as shown in Figure 5 to move a specific area of the building exterior space. After analyzing the latitude and longitude of the route traveled by the user using the location analyzer 240, the location of the user is displayed on a Google map.

한편, 스마트 펜던트(200)에서 사람의 행동 인식을 확인하기 위해 1시간 동안 10분 간격으로 'Walk', 'Stop', 'Turn'에 대한 행동 인식률을 확인해 보았다. 스마트 펜던트를 이용하여 사용자의 행동을 인식할 때 다양한 외부 조건들(외부 객체 출현, 카메라의 작은 움직임, 조명 등)에 의해 인식률의 차이가 발생할 수 있다.On the other hand, the smart pendant 200 to check the behavior recognition rate for 'Walk', 'Stop', 'Turn' every 10 minutes for 1 hour to check the behavior recognition of the person. When a smart pendant is used to recognize a user's behavior, a difference in recognition rate may occur due to various external conditions (external object appearance, small camera movement, lighting, etc.).

스마트 펜던트(200)를 몸에 착용한 후 사용자가 여러 동작을 수행하여 행동 인식률을 측정해 본 결과, 아래의 표 1과 같은 결과가 나타났다.After wearing the smart pendant 200 on the body and the user performed a number of actions to measure the behavior recognition rate, the results shown in Table 1 below.

구분division 인식률Recognition rate 행동behavior 상황situation WalkWalk StopStop TurnTurn 걷기  walking 객체 미 출현No object 80%80% 20%20% 3%3% 객체 출현Object appearance 85%85% 15%15% 10%10% 앉고 서기Sitting and standing 95%95% 5%5% 15%15% 돌기spin 90%90% 10%10% 95%95% 멈춤  stoppage 객체 미 출현No object 10%10% 90%90% 1%One% 객체 출현Object appearance 45%45% 55%55% 5%5% 앉고 서기Sitting and standing 60%60% 40%40% 10%10% 돌기spin 65%65% 35%35% 95%95%

상기 표 1의 실험결과를 보면, 'Walk'와 'Stop'에 비해서 'Turn'은 다른 여러 가지 상황에서도 95%의 높은 인식률을 보였다. 특히, 'Walk'의 경우에는 어떠한 상황이라도 인식률이 높았다. 또한, 'Stop'은 네 가지 상황중에서 객체가 출현하지 않을 때가 가장 높은 인식률을 보였다.As a result of the experiment of Table 1, 'Turn' showed 95% higher recognition rate in various other situations than 'Walk' and 'Stop'. In particular, in the case of 'Walk', the recognition rate was high in any situation. Also, 'Stop' showed the highest recognition rate when no object appeared among the four situations.

또한, '멈춤' 행동에서 '객체 출현'이거나 '앉고 서기'를 하는 경우 'Walk'와 'Stop'의 인식률이 높지 않았다.In addition, the recognition of 'Walk' and 'Stop' was not high when 'object appeared' or 'sit and stand' in 'stop' behavior.

이상에서는 본 발명의 일실시예에 따라 본 발명을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 변경 및 변형한 것도 본 발명에 속함은 당연하다.Although the present invention has been described above according to an embodiment of the present invention, a person skilled in the art to which the present invention belongs has changed and modified within the scope without departing from the technical spirit of the present invention. Of course.

즉, 본 발명의 일실시예에서는 스마트 펜던트를 이용하여 사용자의 행동을 인식하고 위치를 추적하였지만, 카메라 기능이 있는 셀룰라 폰에 스마트 펜던트의 기능을 탑재하여 사용자의 행동을 인식하고 위치를 추적할 수 있음은 물론이다.That is, in one embodiment of the present invention, although the user's behavior is recognized and the location is tracked using the smart pendant, the cellular phone having the camera function is equipped with the smart pendant function to recognize the user's behavior and track the location. Of course.

도 1은 종래의 사용자 위치 측정장치를 나타낸 도면.1 is a view showing a conventional user position measuring device.

도 2는 본 발명의 일실시예에 따른 사용자의 행동인식 및 위치추적 시스템을 나타내는 도면.2 is a view showing a user's behavior recognition and location tracking system according to an embodiment of the present invention.

도 3은 본 발명에 적용되는 스마트 펜던트를 나타내는 도면.3 is a view showing a smart pendant applied to the present invention.

도 4는 본 발명의 일실시예에 따른 사용자의 현재 행동을 인식한 화면을 일정한 간격으로 캡쳐한 이미지 영상을 나타낸 도면.4 is a view showing an image image captured at regular intervals of the screen recognizing the current behavior of the user according to an embodiment of the present invention.

도 5는 본 발명에 적용되는 스마트 펜던트를 착용하고 특정 지역을 이동한 모습을 나타내는 도면.5 is a view showing a state wearing a smart pendant applied to the present invention and moved to a specific area.

도 6은 본 발명에 적용되는 스마트 펜던트를 사용자가 착용한 모습을 나타내는 도면.Figure 6 is a view showing a user wearing a smart pendant applied to the present invention.

Claims (5)

영상을 이용하여 사용자의 행동을 인식 및 분석한 상황정보, 영상 및 GPS 위치정보를 전송하는 스마트 펜던트(200);Smart pendant 200 for transmitting the situation information, the image and the GPS location information by recognizing and analyzing the user's behavior using the image; 상기 스마트 펜던트(200)로부터 수신된 신호를 저장 및 전송하는 상황인지서버(300); 및Situation server for storing and transmitting the signal received from the smart pendant 200; And 상기 상황인지서버(300)로부터 수신된 신호를 디스플레이하여 상기 스마트 펜던트 사용자의 행동 및 위치를 파악하는 모니터링 장치(350)를 포함하되,Including the monitoring device 350 to determine the behavior and location of the smart pendant user by displaying the signal received from the situation awareness server 300, 상기 스마트 팬던트(200)는,The smart pendant 200, 외부로부터 입력되는 영상을 이용하여 사용자의 행동을 인식 및 분석하여 사용자의 현재 상황을 파악하는 행동인식 분석부(210)와,A behavior recognition analyzer 210 for recognizing and analyzing a user's behavior using an image input from the outside to determine a user's current situation; 상기 행동인식 분석부(210)의 내부에 설치된 카메라를 통해 입력되는 영상을 캡쳐하는 자동 캡쳐부(220)와,An automatic capture unit 220 for capturing an image input through a camera installed in the behavior recognition analyzer 210; 사용자의 움직이는 상황을 동영상으로 기록하는 녹화부(230)와,A recording unit 230 for recording a moving situation of the user as a video; 사용자의 위치를 추적할 수 있도록 GPS로부터 현재 시간, 경도, 위도로 구성된 스트링 신호 값을 수신하는 위치 분석부(250)를 포함하고,It includes a location analyzer 250 for receiving a string signal value consisting of the current time, longitude, latitude from the GPS to track the location of the user, 상기 행동인식 분석부(210)는 내부에 설치된 카메라를 통해 입력되는 영상을 이용하여 사용자의 '걷기(Walk)', '멈춤(Stop)', '좌회전(Left Turn)' 및 '우회전(Right Turn)에 따른 영상을 인식 및 분석하되,The behavior recognition analysis unit 210 uses the image input through the camera installed inside the user's 'Walk', 'Stop', 'Left Turn' and 'Right Turn' ) To recognize and analyze images 사용자의 '걷기(Walk)' 및 '멈춤(Stop)'은 현재 프레임과 이전 프레임간에 픽셀 값의 차이를 이용하여 분석하고, '좌회전(Left Turn)' 및 '우회전(Right Turn)은 좌측 및 우측 방향에 따라 추출된 특징 점들의 각도(θ)를 계산하여, 특징 점들의 각도가 -90°~ 90°는 좌회전(Left Turn), 90°~ -90°는 우회전(Right Turn)으로 분석하는 것을 특징으로 하는 사용자의 행동인식 및 위치추적 시스템.The user's 'Walk' and 'Stop' are analyzed using the difference in pixel values between the current frame and the previous frame, and the 'Left Turn' and 'Right Turn' are left and right Calculate the angle ( θ ) of the extracted feature points according to the direction, and analyze the angle of the feature points as -90 ° to 90 ° left turn, and 90 ° to -90 ° right turn. Characteristic behavior recognition and location tracking system of the user. 제 1항에 있어서,The method of claim 1, 상기 상황인지서버(300)는,The situation aware server 300, 상기 스마트 펜던트(200)로부터 수신된 사용자의 행동 분석 데이터, 이미지 영상 및 동영상 데이터를 저장하는 행동인식 데이터 저장부(310)와,Behavior recognition data storage unit 310 for storing the behavior analysis data, image image and video data of the user received from the smart pendant 200, 상기 위치 분석부(240)의 분석을 통해 상기 스마트 펜던트(100)로부터 수신된 위치 데이터 패킷을 저장하고, 사용자가 어느 위치에 있는지를 경도와 위도를 통해 지도상에 표시하게 하는 위치 데이터 저장부(320)와,The location data storage unit stores the location data packet received from the smart pendant 100 through the analysis of the location analysis unit 240, and displays the location of the user on the map through longitude and latitude ( 320), 상기 행동인식 데이터 저장부(310)에 저장된 사용자의 행동 분석 데이터, 이미지 영상, 동영상 데이터 및 위치 데이터 저장부(320)에 저장된 위치 데이터를 보호자 단말기인 상기 모니터링 장치(350)에 전송하는 상황 전송부(330)를 포함하는 것을 특징으로 하는 사용자의 행동인식 및 위치추적 시스템.The situation transmission unit for transmitting the user's behavior analysis data, image image, video data and the location data stored in the location data storage 320 stored in the behavior recognition data storage 310 to the monitoring device 350 as a guardian terminal. A user's behavior recognition and location tracking system comprising a (330). 삭제delete 삭제delete 제 1항에 있어서,The method of claim 1, 자동 캡쳐부(220)는 사용자가 위험한 순간이나 특별한 상황이 발생했을 때 특정 버튼을 이용하여 현재의 상황을 캡쳐하고, 사용자가 원하는 시간만큼 캡쳐 저장간격을 설정하여 자동 캡쳐 버튼을 누르면 사용자의 현재 상황을 자동적으로 저장하며, 사용자의 움직임이 일정시간 없을 때에는 위험한 상황이라고 판단하여 영상을 캡쳐하는 방식 중 어느 하나를 통해 캡쳐하는 것을 특징으로 하는 사용자의 행동인식 및 위치추적 시스템.The automatic capture unit 220 captures the current situation by using a specific button when a user has a dangerous moment or a special situation, and sets the capture storage interval for the desired time and presses the automatic capture button to present the user's current situation. Automatically stores the user's behavior recognition and location tracking system, characterized in that by capturing through any one of the methods of capturing the image is determined to be a dangerous situation when the user's movement is not a certain time.
KR1020070108292A 2007-10-26 2007-10-26 System for human activity recognition and location tracking KR100944934B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070108292A KR100944934B1 (en) 2007-10-26 2007-10-26 System for human activity recognition and location tracking

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070108292A KR100944934B1 (en) 2007-10-26 2007-10-26 System for human activity recognition and location tracking

Publications (2)

Publication Number Publication Date
KR20090042503A KR20090042503A (en) 2009-04-30
KR100944934B1 true KR100944934B1 (en) 2010-03-02

Family

ID=40765228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070108292A KR100944934B1 (en) 2007-10-26 2007-10-26 System for human activity recognition and location tracking

Country Status (1)

Country Link
KR (1) KR100944934B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015103092A1 (en) * 2013-12-30 2015-07-09 Google Technology Holdings LLC Methods and systems for determining elstimation of motion of a device
US9277361B2 (en) 2014-02-20 2016-03-01 Google Inc. Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
CN105373774A (en) * 2015-10-10 2016-03-02 安徽清新互联信息科技有限公司 Method for detecting physical punishment behaviors of kindergarten teachers on children
KR102288860B1 (en) * 2021-03-04 2021-08-11 주식회사 스누아이랩 Apparatus for Intelligent Infant Observation and Driving Method Thereof

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101270901B1 (en) * 2011-07-07 2013-06-07 황광진 Motion picture recorder for preventing from kidnapping
KR101383953B1 (en) * 2012-07-25 2014-04-14 에스케이씨앤씨 주식회사 Method for Automatic Protection of Person based on Location / Time and System using the same
KR101995799B1 (en) * 2012-12-07 2019-07-03 삼성전자주식회사 Place recognizing device and method for providing context awareness service
KR101481051B1 (en) * 2013-09-12 2015-01-16 (주)유즈브레인넷 Private black box apparatus and driviing method thereof
KR101741074B1 (en) * 2013-12-27 2017-05-30 엘지전자 주식회사 Automatic recording device and method for car accident
KR102089511B1 (en) 2015-01-27 2020-04-16 한국전자통신연구원 Method and Apparatus for Secure Access Controlling of Terminal
KR102326193B1 (en) * 2021-02-24 2021-11-15 주식회사 케이엔엑스정보통신 CCTV-integrated security system for emergency door

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054125A (en) * 2000-05-23 2000-09-05 이성환 Wearable walking guidance device and method for the blind
KR100729104B1 (en) 2006-07-25 2007-06-14 주식회사 엘지씨엔에스 Family protecting system using portable wireless data transmitter-receiver and the service method thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000054125A (en) * 2000-05-23 2000-09-05 이성환 Wearable walking guidance device and method for the blind
KR100729104B1 (en) 2006-07-25 2007-06-14 주식회사 엘지씨엔에스 Family protecting system using portable wireless data transmitter-receiver and the service method thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015103092A1 (en) * 2013-12-30 2015-07-09 Google Technology Holdings LLC Methods and systems for determining elstimation of motion of a device
US9303999B2 (en) 2013-12-30 2016-04-05 Google Technology Holdings LLC Methods and systems for determining estimation of motion of a device
US9277361B2 (en) 2014-02-20 2016-03-01 Google Inc. Methods and systems for cross-validating sensor data acquired using sensors of a mobile device
CN105373774A (en) * 2015-10-10 2016-03-02 安徽清新互联信息科技有限公司 Method for detecting physical punishment behaviors of kindergarten teachers on children
CN105373774B (en) * 2015-10-10 2018-12-28 安徽清新互联信息科技有限公司 A kind of detection method of preschool teacher's school's corporal punishment child's behavior
KR102288860B1 (en) * 2021-03-04 2021-08-11 주식회사 스누아이랩 Apparatus for Intelligent Infant Observation and Driving Method Thereof

Also Published As

Publication number Publication date
KR20090042503A (en) 2009-04-30

Similar Documents

Publication Publication Date Title
KR100944934B1 (en) System for human activity recognition and location tracking
US10647252B2 (en) Portable electronic device and operating method therefor
US9303999B2 (en) Methods and systems for determining estimation of motion of a device
ATE365941T1 (en) MOBILE DEVICE WITH OPTICAL ON-SCREEN NAVIGATION
US9655554B2 (en) Device and method for monitoring movement and orientation of the device
US11365974B2 (en) Navigation system
US20100261984A1 (en) Physiology sensing apparatus with navigation capability
WO2004038659A3 (en) Method and system for performing surveillance
US20190167157A1 (en) Device, system and method for fall detection
Jansi et al. Detection of fall for the elderly in an indoor environment using a tri-axial accelerometer and Kinect depth data
Aubeck et al. Camera based step detection on mobile phones
KR101795798B1 (en) Intelligent surveillance camera system
EP3767581A1 (en) Gaze detector, method for controlling gaze detector, method for detecting corneal reflection image position, computer program, and storage medium
Moder et al. Indoor positioning for visually impaired people based on smartphones
KR20150106986A (en) System for detecting drowsiness based on server and the method thereof
CN116465412A (en) Improved PDR indoor positioning method based on LSTM and attention mechanism
KR20120059752A (en) Emotion recognition apparatus and system for announce blind persons, method for announce using the same and recording medium thereof
US20220284796A1 (en) Abnormal behavior notification device, abnormal behavior notification system, abnormal behavior notification method, and recording medium
JP2012103901A (en) Intrusion object detection device
KR20150006582A (en) Method of Judging People among Entity Filming By Thermo-Graphic Camera and Thermo-graphic System thereof
Chirakkal et al. Exploring smartphone-based indoor navigation: A QR code assistance-based approach
Pathak et al. Fall detection for elderly people in homes using Kinect sensor
CN107909676A (en) A kind of driving habit analysis system based on intelligent wearable device
Elgorma et al. A Review of Methods for Detecting and Preventing Drowning Incorporating Various Techniques, Devices and Technologies
Chu et al. Integrating smartphone and kinect for fall detection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140103

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20141226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190107

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 11