KR101978967B1 - 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법 - Google Patents

제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법 Download PDF

Info

Publication number
KR101978967B1
KR101978967B1 KR1020120084460A KR20120084460A KR101978967B1 KR 101978967 B1 KR101978967 B1 KR 101978967B1 KR 1020120084460 A KR1020120084460 A KR 1020120084460A KR 20120084460 A KR20120084460 A KR 20120084460A KR 101978967 B1 KR101978967 B1 KR 101978967B1
Authority
KR
South Korea
Prior art keywords
gesture
direction information
information
recognizing
previous
Prior art date
Application number
KR1020120084460A
Other languages
English (en)
Other versions
KR20140017829A (ko
Inventor
이규빈
류현석
이준행
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120084460A priority Critical patent/KR101978967B1/ko
Priority to EP13178372.2A priority patent/EP2693300A3/en
Priority to US13/955,030 priority patent/US9495758B2/en
Publication of KR20140017829A publication Critical patent/KR20140017829A/ko
Application granted granted Critical
Publication of KR101978967B1 publication Critical patent/KR101978967B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법이 개시된다. 일 실시예는 적어도 하나의 이전 방향 정보를 저장하는 메모리, 제스처와 관련된 센서 데이터를 생성하는 센서, 및 센서 데이터에 기초하여 현재 방향 정보를 결정하고 적어도 하나의 이전 방향 정보와 현재 방향 정보에 기초하여 제스처를 인식하는 프로세서를 포함한다.

Description

제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법{DEVICE OF RECOGNIZING PREDETERMINED GESTURE BASED ON A DIRECTION OF INPUT GESTURE AND METHOD THEREOF}
아래 실시예들은 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법에 관한 것이다.
제스처 인식 기술은 인간과 컴퓨터와의 커뮤니케이션 수단으로서, 예를 들어 지능 로봇, 게임, 시뮬레이션, 생산 기술 등 다양한 분야에서 응용될 수 있다. 보다 구체적으로, 제스처 인식 기술은 비디오 카메라 등을 이용하여 이용자의 손이나 손가락의 움직임을 촬영함으로써 동영상 데이터(또는, 복수의 이미지 데이터)을 획득한다. 제스처 인식 기술은 획득된 동영상 데이터(또는, 복수의 이미지 데이터)를 이미지 프로세싱 함으로써 제스처(gesture)를 인식할 수 있다.
나아가, 컴퓨터는 제스처 인식 기술에 의해 인식된 제스처를 이용하여 다양한 처리를 실행할 수 있다.
일 측에 따른 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치는 적어도 하나의 이전 방향 정보를 저장하는 메모리; 상기 제스처와 관련된 센서 데이터를 생성하는 센서; 및 상기 센서 데이터에 기초하여 현재 방향 정보를 결정하고, 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보에 기초하여 상기 제스처를 인식하는 프로세서를 포함한다.
이 때, 상기 프로세서는 상기 센서 데이터에 기초하여 속도 정보를 생성하는 속도 생성부; 상기 속도 정보에 기초하여 방향 정보를 추출하는 방향 생성부; 상기 방향 정보를 미리 정해진 복수의 방향들 중 어느 하나로 양자화 시킴으로써 상기 현재 방향 정보를 결정하는 방향 양자화부; 및 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보에 기초하여 상기 제스처를 인식하는 제스처 인식부를 포함할 수 있다.
또한, 상기 프로세서는 슬립(sleep) 모드에서 상기 제스처를 인식하고, 상기 제스처를 인식함에 반응하여 상기 제스처 인식 장치를 활성화(activation) 시킬 수 있다.
도한, 상기 메모리는 상기 제스처에 대응되는 미리 정해진 작업(operation)을 더 저장하고, 상기 프로세서는 상기 제스처를 인식함에 반응하여 상기 작업을 수행할 수 있다.
또한, 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보 각각은 상기 제스처 인식 장치의 이동 방향과 관련된 정보; 또는 상기 센서에 의하여 감지되는 피사체의 이동 방향과 관련된 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 센서는 가속도 센서, 이미지 센서, 또는 광류(optical flow) 센서 중 적어도 하나를 포함할 수 있다.
또한, 상기 메모리는 상기 제스처에 대응되는 룩업 테이블-상기 룩업 테이블은 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보에 따라 상기 룩업 테이블의 변수를 증감시키기 위한 수치들을 포함함-을 더 저장하고, 상기 프로세서는 상기 적어도 하나의 이전 방향 정보, 상기 현재 방향 정보, 및 상기 룩업 테이블에 기초하여 상기 변수를 증감시키며, 상기 변수와 미리 정해진 문턱값을 비교함으로써 상기 제스처를 인식할 수 있다.
다른 일 측에 따른 입력되는 제스처의 방향에 기초하여 미리 설정된 복수의 제스처들을 인식하는 제스처 인식 장치는 적어도 하나의 이전 방향 정보 및 상기 복수의 제스처들에 대응되는 룩업 테이블들을 저장하는 메모리; 상기 입력되는 제스처와 관련된 센서 데이터를 생성하는 센서; 및 상기 센서 데이터에 기초하여 현재 방향 정보를 결정하고, 상기 적어도 하나의 이전 방향 정보, 상기 현재 방향 정보, 및 상기 룩업 테이블들에 기초하여 상기 미리 설정된 복수의 제스처들 중 어느 하나를 인식하는 프로세서를 포함한다.
이 때, 상기 프로세서는 상기 센서 데이터에 기초하여 속도 정보를 생성하는 속도 생성부; 상기 속도 정보에 기초하여 방향 정보를 추출하는 방향 생성부; 상기 방향 정보를 미리 정해진 복수의 방향들 중 어느 하나로 양자화 시킴으로써 상기 현재 방향 정보를 결정하는 방향 양자화부; 및 상기 적어도 하나의 이전 방향 정보, 상기 현재 방향 정보, 및 상기 룩업 테이블들에 기초하여 상기 룩업 테이블들 각각의 변수를 증감시키며, 상기 변수와 미리 정해진 문턱값을 비교함으로써 상기 어느 하나의 제스처를 인식하는 제스처 인식부를 포함할 수 있다.
또한, 상기 메모리는 상기 복수의 제스처들에 대응되는 미리 정해진 작업들을 더 저장하고, 상기 프로세서는 슬립(sleep) 모드에서 상기 어느 하나의 제스처를 인식하며, 상기 어느 하나의 제스처를 인식함에 반응하여 상기 어느 하나의 제스처에 대응되는 미리 정해진 작업을 수행할 수 있다.
또 다른 일 측에 따른 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 방법은 상기 제스처와 관련된 센서 데이터를 생성하는 단계; 상기 센서 데이터에 기초하여 현재 방향 정보를 결정하는 단계; 미리 저장된 적어도 하나의 이전 방향 정보를 획득하는 단계; 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보에 기초하여 상기 제스처를 인식하는 단계를 포함할 수 있다.
이 때, 상기 결정하는 단계는 상기 센서 데이터에 기초하여 속도 정보를 생성하는 단계; 상기 속도 정보에 기초하여 방향 정보를 추출하는 단계; 및 상기 방향 정보를 미리 정해진 복수의 방향들 중 어느 하나로 양자화 시킴으로써 상기 현재 방향 정보를 결정하는 단계를 포함할 수 있다.
또한, 상기 제스처를 인식함에 반응하여 슬립 모드에서 활성화 모드로 전환하는 단계를 더 포함하고, 상기 인식하는 단계는 상기 슬립 모드에서 상기 제스처를 인식하는 단계일 수 있다.
또한, 상기 인식하는 단계는 상기 적어도 하나의 이전 방향 정보, 상기 현재 방향 정보, 및 미리 설정된 룩업 테이블에 기초하여 상기 미리 설정된 룩업 테이블의 변수를 증감시키는 단계; 상기 변수와 미리 정해진 문턱값을 비교하는 단계; 및 상기 비교 결과에 기초하여 상기 제스처를 인식하는 단계를 포함할 수 있다.
도 1은 일 실시예에 따른 미리 설정된 제스처를 인식하는 제스처 인식 장치를 나타내는 블록도.
도 2는 일 실시예에 따른 가속도 센서, 이미지 센서, 광류 센서 중 적어도 하나를 포함하는 센서를 나타내는 블록도.
도 3은 일 실시예에 따른 제스처 인식 장치의 프로세서에 포함된 방향 생성부 및 방향 양자화부의 동작을 설명하기 위한 도면.
도 4a 내지 도 4d는 일 실시예에 따른 제스처 인식 장치의 프로세서에 포함된 제스처 인식부의 동작을 설명하기 위한 도면.
도 5는 일 실시예에 따른 미리 설정된 제스처를 인식하는 제스처 인식 방법을 나타내는 동작 흐름도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 미리 설정된 제스처(gesture)를 인식하는 제스처 인식 장치를 나타내는 블록도이다.
도 1을 참조하면, 일 실시예에 따른 제스처 인식 장치(100)는 메모리(110), 센서(120), 및 프로세서(130)를 포함한다. 여기서, 제스처 인식 장치(100)는 이용자에 의해 입력되는 제스처를 인식할 수 있는 장치로, 예를 들어 이동 단말 등을 포함할 수 있다. 이하, 식별번호 100은 이동 단말을 지칭할 수 있다.
이 때, 센서(120)는 미리 설정된 제스처와 관련된 센서 데이터를 생성할 수 있다. 보다 구체적으로, 센서 데이터는 이용자에 의하여 입력되는 제스처가 미리 설정된 제스처와 일치하는지 여부를 판단하기 위한 정보를 포함할 수 있다.
예를 들면, 센서(120)는 이미지 센서를 포함할 수 있다. 이 경우, 센서(120)는 이용자의 손이 움직이는 궤적을 파악하기 위하여 연속된 복수의 이미지들을 생성할 수 있다. 다른 실시예에 따른 센서(120)는 가속도 센서를 포함할 수 있다. 이 경우, 센서(120)는 이용자에 의하여 이동 단말(100) 자체가 움직이는 궤적을 파악하기 위하여 가속도 정보를 생성할 수 있다. 센서(120)와 관련된 보다 상세한 사항들은 도 2를 참조하여 후술한다.
또한, 프로세서(130)는 센서(120)에 의해 생성된 센서 데이터에 기초하여 현재 방향 정보를 결정할 수 있다. 여기서, 현재 방향 정보는 이동 단말(100)의 이동 방향과 관련된 정보 또는 센서(120)에 의하여 감지되는 피사체의 이동 방향과 관련된 정보 중 적어도 하나를 포함할 수 있다.
즉, 프로세서(130)는 센서(120)에 의해 생성된 센서 데이터에 따라 이동 단말이 현재 움직이는 방향을 결정하거나 센서(120)에 의하여 감지되는 피사체(예를 들면, 이용자의 손)가 현재 움직이는 방향을 결정할 수 있다.
보다 구체적으로, 프로세서(130)는 속도 생성부(131), 방향 생성부(132), 및 방향 양자화부(133)를 포함할 수 있다.
속도 생성부(131)는 센서(120)에 의하여 생성된 센서 데이터에 기초하여 속도 정보를 생성할 수 있다. 여기서, 속도 정보는 벡터(vector)로서 크기 정보와 방향 정보를 포함할 수 있다.
방향 생성부(132)는 속도 생성부(131)에 의해 생성된 속도 정보에 기초하여 방향 정보를 추출할 수 있다. 예를 들어, 방향 생성부(132)는 속도 정보에 포함된 크기 정보에 기초하여 속도 정보에 포함된 방향 정보가 유의미한지 여부를 판단할 수 있다. 속도 정보에 포함된 방향 정보가 유의미하다고 판단되는 경우, 방향 생성부(132)는 속도 정보에 포함된 방향 정보를 추출할 수 있다.
방향 양자화부(133)는 방향 생성부(132)에 의해 추출된 방향 정보를 미리 정해진 복수의 방향들 중 어느 하나로 양자화시킬 수 있다. 나아가, 방향 양자화부(133)는 양자화된 방향 정보에 기초하여 현재 방향 정보를 결정할 수 있다.
속도 생성부(131), 방향 생성부(132), 및 방향 양자화부(133) 각각의 동작과 관련된 보다 상세한 사항들은 도 2 및 도 3을 참조하여 후술한다.
또한, 프로세서(130)는 현재 방향 정보를 메모리(110)에 저장할 수 있다. 이 때, 프로세서(130)가 현재 방향 정보를 메모리(100)에 저장하는 시점을 제1 시점이라고 하자. 프로세서(130)는 제1 시점 이후의 제2 시점에서 메모리(100)에 저장된 정보를 활용함으로써 이용자에 의하여 입력되는 제스처를 인식할 수 있다.
다시 말하면, 메모리(110)는 적어도 하나의 이전 방향 정보를 저장할 수 있다. 여기서, 적어도 하나의 이전 방향 정보는 적어도 하나의 이전 시점에서 프로세서(130)에 의하여 결정된 방향 정보(즉, 해당 시점에서의 현재 방향 정보)를 포함할 수 있다.
따라서, 적어도 하나의 이전 방향 정보 각각은 이동 단말(100)의 이동 방향과 관련된 정보 또는 센서(120)에 의하여 감지되는 피사체의 이동 방향과 관련된 정보 중 적어도 하나를 포함할 수 있다.
또한, 프로세서(130)는 적어도 하나의 이전 방향 정보와 현재 방향 정보에 기초하여 이용자에 의하여 입력되는 제스처를 인식할 수 있다.
보다 구체적으로, 프로세서(130)는 제스처 인식부(134)를 더 포함할 수 있다.
이 때, 제스처 인식부(134)는 메모리(110)로부터 적어도 하나의 이전 방향 정보를 획득할 수 있고, 방향 양자화부(133)에 의해 결정된 현재 방향 정보를 획득할 수 있다.
나아가, 제스처 인식부(134)는 적어도 하나의 이전 방향 정보와 현재 방향 정보에 기초하여 이용자에 의하여 입력되는 제스처를 인식하기 위하여, 방향 시퀀스 추정기(direction sequence estimator) 를 활용할 수 있다.
이러한 방향 시퀀스 추정기와 관련된 보다 상세한 사항들은 도 4a 내지 도 4d를 참조하여 후술한다.
또한, 프로세서(130)는 슬립(sleep) 모드에서 이용자에 의하여 입력되는 제스처를 인식할 수 있다. 나아가, 프로세서(130)는 해당 제스처를 인식함에 반응하여 이동 단말을 활성화(activation) 시킬 수 있다.
즉, 일 실시예에 따른 이동 단말(100)은 슬립 모드에서 제스처를 인식하는 기술을 제공하기 위하여, 복잡한 이미지 프로세싱이 아닌 간단한 연산을 이용할 수 있다. 다시 말하면, 일 실시예에 따른 이동 단말(100)은 제스처를 인식하기 위해 소모되는 전력을 감소시키는 기술을 제공할 수 있다. 이러한 이동 단말(100)의 제스처 인식을 위한 연산과 관련된 보다 상세한 사항들은 후술한다.
뿐만 아니라, 메모리(110)는 제스처에 대응되는 미리 정해진 작업(operation)을 더 저장할 수 있다. 이 경우, 프로세서(130)는 해당 제스처를 인식함에 반응하여 해당 제스처에 대응되는 미리 정해진 작업을 수행할 수 있다.
도 2는 일 실시예에 따른 가속도 센서, 이미지 센서, 광류 센서 중 적어도 하나를 포함하는 센서를 나타내는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 센서(200)는 가속도 센서(210), 이미지 센서(220), 또는 광류 센서(230) 중 적어도 하나를 포함할 수 있다.
이 때, 가속도 센서(210)는 이동 단말 자체의 움직임에 의한 제스처를 인식하기 위한 센서 데이터를 생성할 수 있다. 예를 들어, 가속도 센서(210)에 의하여 생성되는 센서 데이터는 가속도 정보(215)를 포함할 수 있다. 즉, 가속도 정보(215)는 이동 단말 자체가 이용자에 의하여 이동되면서 발생되는 가속도와 관련된 정보를 포함할 수 있다.
이 경우, 도 1의 속도 생성부(131)는 가속도 정보(215)에 기초하여 속도 정보(즉, 이동 단말의 이동 속도)를 생성할 수 있다. 보다 구체적으로, 가속도를 적분하면 속도를 생성할 수 있으므로, 속도 생성부(131)는 가속도 정보(215)를 누적 합산하여 속도 정보(즉, 이동 단말의 이동 속도)를 계산할 수 있다.
나아가, 속도 생성부(131)는 가속도 정보(215)를 누적 합산하는 동안 발생될 수 있는 오차를 감소시키기 위하여 다양한 기법들을 적용할 수 있다. 예를 들면, 속도 생성부(131)는 이동 단말의 자세-즉, 기울어진 정도(tilt)-를 보정하고, 보정된 가속도 정보에서 중력 가속도 성분을 배제시킴으로써 오차를 감소시키는 기법 등을 적용할 수 있다.
또한, 이미지 센서(220)는 피사체(예를 들면, 이용자의 손)의 움직임에 의한 제스처를 인식하기 위한 센서 데이터를 생성할 수 있다. 예를 들어, 이미지 센서(220)에 의하여 생성되는 센서 데이터는 연속된 적어도 두 개의 이미지 데이터들(225)을 포함할 수 있다.
즉, 연속된 적어도 두 개의 이미지 데이터들(225)은 이미지 센서(220)에 의하여 감지되는 피사체(예를 들면, 이용자의 손)의 위치 변화와 관련된 정보를 포함할 수 있다.
이 경우, 도 1의 속도 생성부(131)는 연속된 적어도 두 개의 이미지 데이터들(225)에 기초하여 속도 정보(즉, 피사체의 이동 속도)를 생성할 수 있다.
보다 구체적으로, 속도 생성부(131)는 연속된 적어도 두 개의 이미지 데이터들(225) 각각이 촬영된 시간 간격과 관련된 정보를 획득할 수 있다. 속도 생성부(131)는 이미지 프로세싱 작업을 통하여 연속된 적어도 두 개의 이미지 데이터들(225)로부터 피사체의 위치 변화와 관련된 정보를 추출할 수 있다.
여기서, 속도 생성부(131)는 피사체의 위치 변화와 관련된 정보를 추출하기 위하여 다양한 기법들을 적용할 수 있다. 예를 들어, 속도 생성부(131)는 연속된 적어도 두 개의 이미지 데이터들(225) 각각으로부터 배경과 이동체를 분리하는 기술, 분리된 이동체의 중심을 계산하는 기술 등을 적용할 수 있다. 속도 생성부(131)는 그 중심의 위치 변화에 기초하여 피사체의 위치 변화와 관련된 정보를 생성할 수 있다.
나아가, 속도 생성부(131)는 피사체의 변화된 위치를 연속된 적어도 두 개의 이미지 데이터들(225) 각각이 촬영된 시간 간격으로 나눔으로써, 속도 정보(즉, 피사체의 이동 속도)를 계산할 수 있다.
뿐만 아니라, 이미지 센서(220)는 이동 단말 자체의 움직임에 의한 제스처를 인식하기 위한 센서 데이터를 생성할 수 있다. 예를 들어, 이미지 센서(220)에 의하여 생성되는 연속된 적어도 두 개의 이미지 데이터들(225)은 이동 단말 자체가 이용자에 의하여 이동되면서 실질적으로 촬영되는 이미지 전체가 이동되는 정도와 관련된 정보를 포함할 수 있다.
이 경우, 도 1의 속도 생성부(131)는 연속된 적어도 두 개의 이미지 데이터들(225)에 기초하여 속도 정보(즉, 이동 단말의 이동 속도)를 생성할 수 있다.
보다 구체적으로, 속도 생성부(131)는 이미지 프로세싱 작업을 통하여 연속된 적어도 두 개의 이미지 데이터들(225)로부터 이동 단말의 위치 변화와 관련된 정보를 추출할 수 있다. 여기서, 속도 생성부(131)는 이동 단말의 위치 변화와 관련된 정보를 추출하기 위하여 다양한 기법들을 적용할 수 있다.
예를 들어, 속도 생성부(131)는 연속된 적어도 두 개의 이미지 데이터들(225) 각각으로부터 서로 대응되는 픽셀들을 추출하고, 대응되는 픽셀들의 위치 변화를 계산하는 기술 등을 적용할 수 있다. 속도 생성부(131)는 대응되는 픽셀들의 위치 변화에 기초하여 이동 단말의 위치 변화와 관련된 정보를 생성할 수 있다.
나아가, 속도 생성부(131)는 이동 단말의 변화된 위치를 연속된 적어도 두 개의 이미지 데이터들(225) 각각이 촬영된 시간 간격으로 나눔으로써, 속도 정보(즉, 이동 단말의 이동 속도)를 계산할 수 있다.
또한, 광류 센서(230)는 피사체(예를 들면, 이용자의 손)의 움직임에 의한 제스처를 인식하기 위한 센서 데이터를 생성할 수 있다. 예를 들어, 광류 센서(230)에 의하여 생성되는 센서 데이터는 광류(235)를 포함할 수 있다.
여기서, 광류(235)는 새로운 이벤트가 발생된 적어도 하나의 픽셀의 속도 벡터를 포함할 수 있다. 즉, 광류는 복수의 픽셀들 중 미리 정해진 이벤트가 발생된 적어도 하나의 픽셀의 속도 벡터를 포함할 수 있다.
이 때, 각각의 속도 벡터는 복수의 픽셀들로 구성되는 2차원 평면 상에서 특정 방향과 특정 크기를 가지는 2차원 벡터이고, 각각의 속도 벡터의 시작 위치는 해당하는 픽셀의 위치일 수 있다.
예를 들면, 카메라를 이용하여 시간적으로 연속된 영상을 얻을 때, 물체에 대해서 카메라의 위치를 이동시키거나 카메라에 대해서 물체를 이동시키면 이미지 내의 각 픽셀들의 밝기가 변화하는데, 광류는 이러한 이미지 내의 명암의 이동을 2차원 벡터의 형태로 포함할 수 있다.
즉, 광류(235)는 광류 센서(230)에 의하여 감지되는 피사체(예를 들면, 이용자의 손)의 이동 속도와 관련된 정보를 포함할 수 있다.
이 경우, 도 1의 속도 생성부(131)는 광류(235)에 기초하여 속도 정보(즉, 피사체의 이동 속도)를 생성할 수 있다.
보다 구체적으로, 속도 생성부(131)는 광류 센서(230)가 광류(235)를 생성하기 위해 이용한 두 개의 이미지들이 촬영된 시간 간격과 관련된 정보를 획득할 수 있다. 속도 생성부(131)는 광류(235)로부터 피사체의 위치 변화와 관련된 정보를 추출할 수 있다.
여기서, 속도 생성부(131)는 속도 정보(즉, 피사체의 이동 속도)를 생성하기 위하여 다양한 기법들을 적용할 수 있다. 예를 들어, 속도 생성부(131)는 광류(235)에 포함된 복수의 픽셀들의 속도 벡터들의 평균을 계산함으로써, 피사체의 위치 변화와 관련된 정보를 계산하는 기술 등을 적용할 수 있다.
나아가, 속도 생성부(131)는 피사체의 변화된 위치를 광류 센서(230)가 광류(235)를 생성하기 위해 이용한 두 개의 이미지들이 촬영된 시간 간격으로 나눔으로써, 속도 정보(즉, 피사체의 이동 속도)를 계산할 수 있다.
뿐만 아니라, 광류 센서(230)는 이동 단말 자체의 움직임에 의한 제스처를 인식하기 위한 센서 데이터를 생성할 수 있다. 예를 들어, 광류 센서(230)에 의하여 생성되는 광류(235)는 이동 단말 자체가 이용자에 의하여 이동되면서 실질적으로 촬영되는 이미지 전체가 이동되는 정도와 관련된 정보를 포함할 수 있다.
이 경우, 도 1의 속도 생성부(131)는 광류(235)에 기초하여 속도 정보(즉, 이동 단말의 이동 속도)를 생성할 수 있다.
보다 구체적으로, 속도 생성부(131)는 광류(235)로부터 이동 단말의 위치 변화와 관련된 정보를 추출할 수 있다. 여기서, 속도 생성부(131)는 이동 단말의 위치 변화와 관련된 정보를 추출하기 위하여 다양한 기법들을 적용할 수 있다.
예를 들어, 속도 생성부(131)는 광류(235)에 포함된 복수의 픽셀들의 속도 벡터들의 평균을 계산하고, 계산된 평균 속도 벡터의 방향을 180도 회전시킴으로써 이동 단말의 위치 변화와 관련된 정보를 계산하는 기술 등을 적용할 수 있다.
나아가, 속도 생성부(131)는 이동 단말의 변화된 위치를 광류 센서(230)가 광류(235)를 생성하기 위해 이용한 두 개의 이미지들이 촬영된 시간 간격으로 나눔으로써, 속도 정보(즉, 피사체의 이동 속도)를 계산할 수 있다.
도 3은 일 실시예에 따른 이동 단말의 프로세서에 포함된 방향 생성부 및 방향 양자화부의 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 따른 속도 정보는 방향 정보와 크기 정보를 포함하는 벡터일 수 있다. 예를 들어, 사분면(310)을 참조하면, 벡터(311)은 단위 원(313)보다 큰 크기를 가지고, 1시 방향을 향하는 벡터이다. 벡터(312)는 단위 원(313)보다 작은 크기를 가지고, 5시 방향을 향하는 벡터이다.
도 1을 참조하여 전술한 바와 같이, 방향 생성부(132)는 속도 생성부(131)에 의해 생성된 속도 정보에 기초하여 방향 정보를 생성할 수 있다.
보다 구체적으로, 방향 생성부(132)는 속도 정보에 포함된 크기 정보에 기초하여 단위 크기를 가지는 벡터를 생성할 수 있다. 이 때, 생성되는 단위 크기의 벡터는 속도 정보에 포함된 방향 정보에 대응되는 방향을 향할 수 있다. 즉, 일 실시예에 따른 방향 정보는 단위 크기의 벡터를 포함할 수 있다.
예를 들어, 사분면(320)을 참조하면, 방향 생성부(132)는 벡터(311)을 입력 받아 벡터(321)을 생성할 수 있다. 벡터(311)이 단위 원(313)보다 큰 크기를 가진다는 판단에 따라, 방향 생성부(132)는 단위 크기를 가지며 벡터(311)과 동일한 방향을 향하는 벡터(321)을 생성할 수 있다.
반면, 방향 생성부(132)는 속도 정보에 포함된 크기 정보에 기초하여 입력되는 벡터를 필터링 할 수 있다. 예를 들어, 방향 생성부(132)는 벡터(312)를 입력 받아 아무런 출력을 생성하지 않을 수 있다. 즉, 벡터(312)가 단위 원(313)보다 작은 크기를 가진다는 판단에 따라, 방향 생성부(132)는 입력되는 벡터(312)를 노이즈로 간주할 수 있다. 이 경우, 방향 생성부(132)는 벡터(312)가 입력됨에도 불구하고, 벡터(312)에 대응되는 방향 정보를 생성하지 않을 수 있다.
나아가, 도 1의 방향 양자화부(133)는 방향 생성부(132)에 의해 생성된 방향 정보에 기초하여 현재 방향 정보를 생성할 수 있다. 여기서, 현재 방향 정보는 양자화된 방향 정보를 포함할 수 있다.
보다 구체적으로, 방향 양자화부(133)는 방향 생성부(132)에 의해 생성된 방향 정보를 미리 정해진 간격으로 분할된 방향들 중 어느 하나로 분류할 수 있다. 여기서, 미리 정해진 간격으로 분할된 방향들은 360도가 일정한 간격(예를 들어, 4등분, 8등분, 또는 16등분 등)으로 분할된 방향들을 포함할 수 있다.
예를 들면, 팔분면(330)과 팔분면(340)을 참조하면, 방향 양자화부(133)는 360도가 8등분으로 분할된 방향들을 이용할 수 있다. 방향 양자화부(133)는 방향 생성부(132)로부터 방향 정보(331)를 수신할 수 있다. 방향 양자화부(133)는 수신된 방향 정보(331)가 360도가 8등분으로 분할된 방향들 중 어느 방향에 가장 가까운지 여부를 판단할 수 있다.
방향 양자화부(133)는 수신된 방향 정보(331)가 12시 방향에 가장 가깝다는 판단에 따라 단위 크기를 가지고 12시 방향을 향하는 벡터(341)을 생성할 수 있다. 여기서, 벡터(341)은 양자화된 방향 정보로서, 방향 양자화부(133)에 의하여 생성되는 현재 방향 정보는 벡터(341)을 포함할 수 있다.
즉, 방향 양자화부(133)는 방향 정보(331)을 양자화 시킴으로써, 벡터(341)을 포함하는 현재 방향 정보를 결정할 수 있다.
도 4a 내지 도 4d는 일 실시예에 따른 이동 단말의 프로세서에 포함된 제스처 인식부의 동작을 설명하기 위한 도면이다.
도 4a를 참조하면, 일 실시예에 따른 이동 단말은 방향 시퀀스 추정기(direction sequence estimator)를 이용하여 이용자에 의해 입력된 제스처를 인식할 수 있다.
보다 구체적으로, 도 1의 제스처 인식부(134)는 메모리(110)로부터 적어도 하나의 이전 방향 정보를 획득할 수 있고, 방향 양자화부(133)에 의해 결정된 현재 방향 정보를 획득할 수 있다.
이 때, 제스처 인식부(134)는 적어도 하나의 이전 방향 정보와 현재 방향 정보에 기초하여 이용자에 의하여 입력되는 제스처를 인식하기 위하여, 방향 시퀀스 추정기를 활용할 수 있다.
방향 시퀀스 추정기는 완전 연결된 네트워크(fully connected network)로 구현될 수 있다. 즉, 방향 시퀀스 추정기는 복수의 노드(node)들을 포함하고, 복수의 노드들 각각은 서로 에지(edge)를 통해 연결될 수 있다.
여기서, 방향 시퀀스 추정기에 포함된 복수의 노드들은 방향 양자화부(133)에서 미리 정해진 간격으로 분할된 방향들에 일대일로 대응될 수 있다. 에지는 방향성을 가지고, 에지의 시작 부분에는 이전 방향 정보와 관련된 노드가 위치되고, 에지의 끝 부분에는 현재 방향 정보와 관련된 노드가 위치될 수 있다.
방향 시퀀스 추정기는 하나의 스칼라 수치, V를 출력할 수 있다. 복수의 에지들 각각은 특정 증감 수치를 포함할 수 있다. 따라서, 제스처 인식부(134)는 방향 시퀀스 추정기의 이전 방향 정보와 관련된 노드로부터 현재 방향 정보와 관련된 노드를 연결시키는 에지의 증감 수치에 기초하여 V를 증감 시킬 수 있다.
이 때, 복수의 에지들 각각에 포함되는 증감 수치는 미리 설정된 제스처에 기초하여 결정될 수 있다.
예를 들면, 상하 방향으로 움직이는 미리 설정된 제스처(410)를 인식하기 위한 방향 시퀀스 추정기를 가정하자. 제스처 인식부(134)는 이전 방향 정보가 6시 방향(421)이고 현재 방향 정보가 12시 방향(420)인 경우, 입력된 제스처가 미리 설정된 제스처(410)와 일치한다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 6시 방향(421)으로부터 12시 방향(420)으로 향하는 에지의 증감 수치를 최대 증가 수치(예를 들면, +1)로 설정할 수 있다.
도면에 표시하지는 아니하였으나, 물론 제스처 인식부(134)는 이전 방향 정보가 12시 방향이고 현재 방향 정보가 6시 방향인 경우에도 입력된 제스처가 미리 설정된 제스처(410)와 일치한다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 12시 방향으로부터 6시 방향으로 향하는 에지의 증감 수치를 가장 큰 증가 수치(예를 들면, +1)로 설정할 수 있다.
한편, 미리 설정된 제스처(410)와 일치되지 않는 제스처가 입력되는 경우, 방향 시퀀스 추정기는 해당하는 에지의 증감 수치를 최대 증가 수치로부터 감소시킬 수 있다.
예를 들어, 이전 방향 정보가 5시 방향 또는 7시 방향(422)이고 현재 방향 정보가 12시 방향(420)인 경우, 제스처 인식부(134)는 입력된 제스처가 미리 설정된 제스처(410)와 그대로 일치하지는 않는다고 판단할 수 있다. 다만, 제스처 인식부(134)는 입력된 제스처의 오차가 허용 오차 범위 이내에 있다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 5시 방향 또는 7시 방향(422)으로부터 12시 방향(420)으로 향하는 에지의 증감 수치를 일반 증가 수치(예를 들면, +0.5)로 설정할 수 있다.
나아가, 이전 방향 정보가 11시 방향 또는 1시 방향(423)이고 현재 방향 정보가 12시 방향(420)인 경우, 제스처 인식부(134)는 입력된 제스처가 미리 설정된 제스처(410)와 전혀 일치하지 않는다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 11시 방향 또는 1시 방향(423)으로부터 12시 방향(420)으로 향하는 에지의 증감 수치를 최대 감소 수치(예를 들면, -1)로 설정할 수 있다.
제스처 인식부(134)는 이전 방향 정보와 현재 방향 정보에 따라 방향 시퀀스 추정기의 출력 값 V를 계산할 수 있다. 즉, 제스처 인식부(134)는 이전 방향 정보와 현재 방향 정보에 따라 방향 시퀀스 추정기 내 하나의 에지를 선택하고, 해당 에지에 포함된 증감 수치만큼 V를 증가시키거나 감소시킬 수 있다.
이로 인하여, 제스처 인식부(134)는 미리 설정된 제스처(134)에 부합되는 제스처가 입력되는 경우 V를 증가시키고, 반대의 경우 V를 감소시킬 수 있다.
또한, 제스처 인식부(134)는 미리 정해진 문턱값과 V를 비교함으로써, 입력되는 제스처를 미리 설정된 제스처(410)로 인식할 것인지 여부를 판단할 수 있다. 보다 구체적으로, 제스처 인식부(134)는 입력되는 제스처에 의해 V가 증가되거나 감소될 때마다 미리 정해진 문턱값과 V를 비교할 수 있다. 제스처 인식부(134)는 V가 미리 정해진 문턱값보다 커지는 경우, 입력되는 제스처를 미리 설정된 제스처(410)로 인식할 수 있다.
따라서, 미리 정해진 문턱값의 크기를 조절함으로써, 일 실시예에 따른 이동 단말은 제스처 인식의 민감도를 조절하는 기술을 제공할 수 있다.
또한, 일 실시예에 따른 이동 단말은 입력되는 제스처가 특정 속도 이상이기만 하면, 입력되는 제스처의 크기와 무관하게, 입력되는 제스처의 방향만으로 제스처를 인식할 수 있다. 따라서, 일 실시예에 따른 이동 단말은 입력되는 제스처가 스케일-프리(scale-free)하도록 하는 기술을 제공할 수 있다.
또한, 일 실시예에 따른 이동 단말은 이미지 센서 또는 광류 센서에 의해 감지되는 이미지 영역 내 제스처가 입력되는 상대 위치와 무관하게, 입력되는 제스처의 방향만으로 제스처를 인식할 수 있다. 즉, 일 실시예에 따른 이동 단말은 입력되는 제스처를 이미지 센서 또는 광류 센서에 의해 감지되는 이미지 영역의 중심으로 이동시키는 이미지 프로세싱을 거칠 필요 없이, 입력되는 제스처가 스케일-프리(scale-free)하도록 하는 기술을 제공할 수 있다.
뿐만 아니라, 일 실시예에 따른 이동 단말은 방향 시퀀스 추정기 내 에지에 포함된 증감 수치를 조절함으로써, 입력되는 제스처가 오리엔테이션-프리(orientation-free)하도록 하는 기술을 제공할 수 있다.
보다 구체적으로, 방향 시퀀스 추정기는 미리 설정된 제스처(410)의 절대적인 방향에만 의존하지 않고, 미리 설정된 제스처(410)의 상대적인 방향도 고려할 수 있다.
즉, 제스처 인식부(134)는 이전 방향 정보가 5시 방향(431)이고 현재 방향 정보가 11시 방향(430)인 경우에도, 입력된 제스처가 미리 설정된 제스처(410)와 일치한다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 5시 방향(431)으로부터 11시 방향(430)으로 향하는 에지의 증감 수치를 최대 증가 수치(예를 들면, +1)로 설정할 수 있다.
마찬가지로, 이전 방향 정보가 6시 방향 또는 4시 방향(432)이고 현재 방향 정보가 11시 방향(430)인 경우, 제스처 인식부(134)는 입력된 제스처가 미리 설정된 제스처(410)와 그대로 일치하지는 않는다고 판단할 수 있다. 다만, 제스처 인식부(134)는 입력된 제스처의 오차가 허용 오차 범위 이내에 있다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 6시 방향 또는 4시 방향(432)으로부터 11시 방향(430)으로 향하는 에지의 증감 수치를 일반 증가 수치(예를 들면, +0.5)로 설정할 수 있다.
나아가, 이전 방향 정보가 9시 방향 또는 12시 방향(433)이고 현재 방향 정보가 11시 방향(430)인 경우, 제스처 인식부(134)는 입력된 제스처가 미리 설정된 제스처(410)와 전혀 일치하지 않는다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 9시 방향 또는 12방향(433)으로부터 11시 방향(430)으로 향하는 에지의 증감 수치를 최대 감소 수치(예를 들면, -1)로 설정할 수 있다.
도면에 도시하지는 아니하였으나, 방향 시퀀스 추정기는 현재 방향 정보가 12시 방향(420)과 11시 방향(430)을 제외한 나머지 여섯 방향들 중 하나인 경우에도 같은 방식으로 에지의 증감 수치를 설정할 수 있다.
따라서, 제스처 인식부(134)는 미리 설정된 제스처(410)의 절대적인 방향뿐 아니라, 미리 설정된 제스처(410)의 상대적인 방향까지 고려할 수 있다. 이로 인하여, 일 실시예에 따른 이동 단말은 입력되는 제스처가 오리엔테이션-프리하도록 하는 기술을 제공할 수 있다.
도 4b를 참조하면, 일 실시예에 따른 방향 시퀀스 추정기는 하나의 룩업 테이블(440)로 구현될 수 있다.
여기서, 룩업(lookup) 테이블(440)은 방향 시퀀스 추정기가 구현된 자료 구조로, 미리 설정된 제스처가 하나의 룩업 테이블에 대응될 수 있다. 룩업 테이블(440)의 각 열은 현재 방향 정보에 대응되고, 각 행은 이전 방향 정보에 대응될 수 있다. 이전 방향 정보에 대응되는 행과 현재 방향 정보에 대응되는 열이 만나는 위치에 저장되는 수치는 이전 방향 정보에 대응되는 노드로부터 현재 방향 정보로 향하는 에지의 증감 수치일 수 있다.
예를 들면, 현재 방향 정보가 12시 방향(441)이고 이전 방향 정보가 6시 방향(442)인 경우, 해당하는 에지의 증감 수치는 최대 증가 수치(443)(예를 들면, +1)일 수 있다. 현재 방향 정보와 이전 방향 정보가 동일한 경우, 해당하는 에지의 증감 수치는 0일 수 있다. 룩업 테이블(440)은 도 4a를 통하여 전술된 두 케이스에 대하여만 수치를 표시하고 있으나, 나머지 부분들은 해당 분야에서 통상의 기술을 가진 자에게 명백하게 이해될 수 있으므로 보다 상세한 설명은 생략한다.
한편, 다른 실시예에 따른 방향 시퀀스 추정기는 이용자에 의해 입력되는 제스처를 인식하기 위하여, 둘 이상의 이전 방향 정보를 이용할 수 있다. 이 경우, 방향 시퀀스 추정기는 3차원 이상의 룩업 테이블로 구현될 수 있다. 해당 분야에서 통상의 기술을 가진 자라면 전술한 사항들로부터 둘 이상의 이전 방향 정보를 이용하는 구성으로 용이하게 확장할 수 있음은 자명하다.
도 4c를 참조하면, 다른 실시예에 따른 방향 시퀀스 추정기는 반시계 방향으로 원을 그리며 움직이는 미리 설정된 제스처(450)를 인식할 수 있다.
도 1의 제스처 인식부(134)는 이전 방향 정보가 11시 방향(461)이고 현재 방향 정보가 12시 방향(460)인 경우, 입력된 제스처가 미리 설정된 제스처(450)와 일치한다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 11시 방향(461)으로부터 12시 방향(460)으로 향하는 에지의 증감 수치를 최대 증가 수치(예를 들면, +1)로 설정할 수 있다.
또한, 이전 방향 정보가 6시 방향(462)이고 현재 방향 정보가 12시 방향(460)인 경우, 제스처 인식부(134)는 입력된 제스처가 미리 설정된 제스처(450)와 그대로 일치하지는 않는다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 6시 방향(462)으로부터 12시 방향(460)으로 향하는 에지의 증감 수치를 0으로 설정할 수 있다.
나아가, 이전 방향 정보가 11시 방향(463)이고 현재 방향 정보가 12시 방향(460)인 경우, 제스처 인식부(134)는 입력된 제스처가 미리 설정된 제스처(450)와 전혀 일치하지 않는다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 11시 방향(463)으로부터 12시 방향(460)으로 향하는 에지의 증감 수치를 최대 감소 수치(예를 들면, -1)로 설정할 수 있다.
마찬가지로, 일 실시예에 따른 이동 단말은 방향 시퀀스 추정기 내 에지에 포함된 증감 수치를 조절함으로써, 입력되는 제스처가 오리엔테이션-프리(orientation-free)하도록 하는 기술을 제공할 수 있다.
즉, 제스처 인식부(134)는 이전 방향 정보가 12시 방향(471)이고 현재 방향 정보가 11시 방향(470)인 경우에도, 입력된 제스처가 미리 설정된 제스처(450)와 일치한다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 12시 방향(471)으로부터 11시 방향(470)으로 향하는 에지의 증감 수치를 최대 증가 수치(예를 들면, +1)로 설정할 수 있다.
또한, 이전 방향 정보가 5시 방향(472)이고 현재 방향 정보가 11시 방향(470)인 경우, 제스처 인식부(134)는 입력된 제스처가 미리 설정된 제스처(450)와 그대로 일치하지는 않는다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 5시 방향(472)으로부터 11시 방향(470)으로 향하는 에지의 증감 수치를 0으로 설정할 수 있다.
나아가, 이전 방향 정보가 9시 방향(473)이고 현재 방향 정보가 11시 방향(470)인 경우, 제스처 인식부(134)는 입력된 제스처가 미리 설정된 제스처(450)와 전혀 일치하지 않는다고 판단할 수 있다. 따라서, 방향 시퀀스 추정기는 9방향(473)으로부터 11시 방향(470)으로 향하는 에지의 증감 수치를 최대 감소 수치(예를 들면, -1)로 설정할 수 있다.
도 4d를 참조하면, 또 다른 실시예에 따른 방향 시퀀스 추정기는 다양한 형태의 미리 설정된 제스처들을 인식할 수 있다.
예를 들면, 방향 시퀀스 추정기는 별 모양으로 움직이는 미리 설정된 제스처(480)를 인식할 수 있다. 또는, 방향 시퀀스 추정기는 이용자에 의하여 임의로 지정된 제스처(490)를 인식할 수 있다.
별 모양으로 움직이는 미리 설정된 제스처(480) 또는 이용자에 의하여 임의로 지정된 제스처(490)를 인식하는 데에는 도 1 내지 도 4c를 통하여 기술한 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
뿐만 아니라, 다른 실시예에 따른 이동 단말은 미리 설정된 복수의 제스처들을 인식할 수 있다. 보다 구체적으로, 도 1의 메모리(110)는 적어도 하나의 이전 방향 정보 및 복수의 제스처들에 대응되는 룩업 테이블들을 저장할 수 있다. 여기서, 미리 설정된 복수의 제스처들 각각이 하나의 룩업 테이블에 대응될 수 있다.
전술한 바와 같이 룩업 테이블은 고유의 출력값 V를 가질 수 있다. 예를 들어, 별 모양으로 움직이는 미리 설정된 제스처(480)와 이용자에 의하여 임의로 지정된 제스처(490)를 모두 인식할 수 있는 이동 단말을 가정하자.
이 때, 별 모양으로 움직이는 미리 설정된 제스처(480)에 대응되는 룩업 테이블(이하, "제1 룩업 테이블"이라고 함)은 출력값 V1을 가질 수 있다. 마찬가지로, 이용자에 의하여 임의로 지정된 제스처(490)에 대응되는 룩업 테이블(이하, "제2 룩업 테이블"이라고 함)은 출력값 V2를 가질 수 있다.
이 경우, 프로세서(130)는 현재 방향 정보, 이전 방향 정보, 제1 룩업 테이블, 및 제2 룩업 테이블에 기초하여 V1과 V2를 각각 증가시키거나 감소시킬 수 있다.
나아가, 프로세서(130)는 V1과 V2 중 어느 하나가 미리 정해진 문턱값보다 커지는 경우, 해당하는 출력값에 대응되는 제스처가 인식되었다고 판단할 수 있다. 예를 들어, V1이 미리 정해진 문턱값보다 커지는 경우, 프로세서(130)는 제1 룩업 테이블에 대응되는 별 모양으로 움직이는 미리 설정된 제스처(480)가 인식되었다고 판단할 수 있다.
또한, 메모리(110)는 복수의 제스처들에 대응되는 미리 정해진 작업들을 더 저장할 수 있다. 이 경우, 프로세서는 슬립 모드에서 어느 하나의 제스처를 인식하며, 어느 하나의 제스처를 인식함에 반응하여 어느 하나의 제스처에 대응되는 미리 정해진 작업을 수행할 수 있다.
도 5는 일 실시예에 따른 미리 설정된 제스처를 인식하는 이동 단말의 동작 방법을 나타내는 동작 흐름도이다.
도 5를 참조하면, 일 실시예에 따른 이동 단말의 동작 방법은 센서를 이용하여 제스처와 관련된 센서 데이터를 생성하는 단계(510), 센서 데이터에 기초하여 현재 방향 정보를 결정하는 단계(520), 메모리에 저장된 적어도 하나의 이전 방향 정보를 획득하는 단계(530), 및 적어도 하나의 이전 방향 정보와 현재 방향 정보에 기초하여 제스처를 인식하는 단계(540)를 포함한다.
이 때, 단계(520)는 센서 데이터에 기초하여 속도 정보를 생성하고, 생성된 속도 정보에 기초하여 방향 정보를 추출하며, 추출된 방향 정보를 미리 정해진 복수의 방향들 중 어느 하나로 양자화 시킴으로써 현재 방향 정보를 결정할 수 있다.
또한, 단계(540)는 적어도 하나의 이전 방향 정보, 현재 방향 정보, 및 룩업 테이블에 기초하여 룩업 테이블의 변수를 증감시키고, 그 변수와 미리 정해진 문턱값을 비교한 결과에 기초하여 제스처를 인식할 수 있다. 이 경우, 메모리는 제스처에 대응되는 룩업 테이블을 더 저장할 수 있다.
뿐만 아니라, 일 실시예에 따른 이동 단말의 동작 방법은 제스처를 인식함에 반응하여 이동 단말을 활성화 시키는 단계(550)를 더 포함할 수 있다. 이 경우, 단계(540)는 슬립 모드에서 제스처를 인식하는 단계일 수 있다.
도 5에 도시된 각 단계들에는 도 1 내지 도 4d를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치에 있어서,
    적어도 하나의 이전 방향 정보를 저장하는 메모리;
    상기 제스처와 관련된 센서 데이터를 생성하는 센서; 및
    상기 센서 데이터에 기초하여 현재 방향 정보를 결정하고, 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보에 기초하여 상기 제스처를 인식하는 프로세서; 를 포함하되,
    상기 메모리는 상기 제스처에 대응되는 룩업(lookup) 테이블을 더 저장하고,
    상기 룩업 테이블은 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보의 관계에 따라 상기 룩업 테이블의 변수를 증감시키기 위한 복수의 수치들을 포함하고,
    상기 프로세서는 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보에 기초하여 상기 제스처를 인식하기 위해 방향 시퀀스 추정기를 활용하는 제스처 인식부를 포함하며,
    상기 방향 시퀀스 추정기는 복수의 노드 및 상기 복수의 노드 각각을 연결하는 에지를 포함하는 완전 연결된 네트워크로 구현되는 제스처 인식 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 센서 데이터에 기초하여 속도 정보를 생성하는 속도 생성부;
    상기 속도 정보에 기초하여 방향 정보를 추출하는 방향 생성부; 및
    상기 방향 정보를 미리 정해진 복수의 방향들 중 어느 하나로 양자화 시킴으로써 상기 현재 방향 정보를 결정하는 방향 양자화부; 를 더 포함하는 제스처 인식 장치.
  3. 제1항에 있어서,
    상기 프로세서는 슬립(sleep) 모드에서 상기 제스처를 인식하고, 상기 제스처를 인식함에 반응하여 상기 제스처 인식 장치를 활성화(activation) 시키는 제스처 인식 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보 각각은
    상기 제스처 인식 장치의 이동 방향과 관련된 정보; 또는
    상기 센서에 의하여 감지되는 피사체의 이동 방향과 관련된 정보
    중 적어도 하나를 포함하는 제스처 인식 장치.
  5. 제1항에 있어서,
    상기 프로세서는 상기 적어도 하나의 이전 방향 정보, 상기 현재 방향 정보, 및 상기 룩업 테이블에 기초하여 상기 변수를 증감시키며, 상기 변수와 미리 정해진 문턱값을 비교함으로써 상기 제스처를 인식하는 제스처 인식 장치.
  6. 입력되는 제스처의 방향에 기초하여 미리 설정된 복수의 제스처들을 인식하는 제스처 인식 장치에 있어서,
    적어도 하나의 이전 방향 정보 및 상기 복수의 제스처들에 대응되는 룩업 테이블들을 저장하는 메모리;
    상기 입력되는 제스처와 관련된 센서 데이터를 생성하는 센서; 및
    상기 센서 데이터에 기초하여 현재 방향 정보를 결정하고, 상기 적어도 하나의 이전 방향 정보, 상기 현재 방향 정보, 및 상기 룩업 테이블들에 기초하여 상기 미리 설정된 복수의 제스처들 중 어느 하나를 인식하는 프로세서; 를 포함하되,
    상기 룩업 테이블은 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보의 관계에 따라 상기 룩업 테이블의 변수를 증감시키기 위한 복수의 수치들을 포함하고,
    상기 프로세서는 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보에 기초하여 상기 제스처를 인식하기 위해 방향 시퀀스 추정기를 활용하는 제스처 인식부를 포함하며,
    상기 방향 시퀀스 추정기는 복수의 노드 및 상기 복수의 노드 각각을 연결하는 에지를 포함하는 완전 연결된 네트워크로 구현되는 제스처 인식 장치.
  7. 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 방법에 있어서,
    상기 제스처와 관련된 센서 데이터를 생성하는 단계;
    상기 센서 데이터에 기초하여 현재 방향 정보를 결정하는 단계;
    미리 저장된 적어도 하나의 이전 방향 정보를 획득하는 단계;
    상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보에 기초하여 상기 제스처를 인식하는 단계; 를 포함하되,
    상기 인식하는 단계는 미리 설정된 룩업 테이블에 기초하여 상기 제스처를 인식하고,
    상기 룩업 테이블은 상기 적어도 하나의 이전 방향 정보와 상기 현재 방향 정보의 관계에 따라 상기 룩업 테이블의 변수를 증감시키기 위한 복수의 수치들을 포함하고,
    상기 인식하는 단계는 방향 시퀀스 추정기를 활용하여 상기 제스처를 인식하며, 상기 방향 시퀀스 추정기는 복수의 노드 및 상기 복수의 노드 각각을 연결하는 에지를 포함하는 완전 연결된 네트워크로 구현되는 제스처 인식 방법.
  8. 제7항에 있어서,
    상기 제스처를 인식함에 반응하여 슬립 모드에서 활성화 모드로 전환하는 단계
    를 더 포함하고,
    상기 인식하는 단계는 상기 슬립 모드에서 상기 제스처를 인식하는 단계인 제스처 인식 방법.
  9. 제7항에 있어서,
    상기 인식하는 단계는
    상기 적어도 하나의 이전 방향 정보, 상기 현재 방향 정보, 및 미리 설정된 룩업 테이블에 기초하여 상기 미리 설정된 룩업 테이블의 변수를 증감시키는 단계;
    상기 변수와 미리 정해진 문턱값을 비교하는 단계; 및
    상기 비교 결과에 기초하여 상기 제스처를 인식하는 단계
    를 포함하는 제스처 인식 방법.
  10. 제7항 내지 제9항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
KR1020120084460A 2012-08-01 2012-08-01 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법 KR101978967B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120084460A KR101978967B1 (ko) 2012-08-01 2012-08-01 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법
EP13178372.2A EP2693300A3 (en) 2012-08-01 2013-07-29 Device and method for recognizing gesture based on direction of gesture
US13/955,030 US9495758B2 (en) 2012-08-01 2013-07-31 Device and method for recognizing gesture based on direction of gesture

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120084460A KR101978967B1 (ko) 2012-08-01 2012-08-01 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법

Publications (2)

Publication Number Publication Date
KR20140017829A KR20140017829A (ko) 2014-02-12
KR101978967B1 true KR101978967B1 (ko) 2019-05-17

Family

ID=48917359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120084460A KR101978967B1 (ko) 2012-08-01 2012-08-01 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법

Country Status (3)

Country Link
US (1) US9495758B2 (ko)
EP (1) EP2693300A3 (ko)
KR (1) KR101978967B1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010020925B4 (de) 2010-05-10 2014-02-27 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung
FR2985065B1 (fr) * 2011-12-21 2014-01-10 Univ Paris Curie Procede d'estimation de flot optique a partir d'un capteur asynchrone de lumiere
US10067231B2 (en) 2012-10-05 2018-09-04 Faro Technologies, Inc. Registration calculation of three-dimensional scanner data performed between scans based on measurements by two-dimensional scanner
DE102012109481A1 (de) 2012-10-05 2014-04-10 Faro Technologies, Inc. Vorrichtung zum optischen Abtasten und Vermessen einer Umgebung
JP2015002428A (ja) * 2013-06-14 2015-01-05 富士通株式会社 携帯端末装置、機能制御方法および機能制御プログラム
US9317112B2 (en) * 2013-11-19 2016-04-19 Microsoft Technology Licensing, Llc Motion control of a virtual environment
KR20150080741A (ko) * 2014-01-02 2015-07-10 한국전자통신연구원 연속 값 입력을 위한 제스처 처리 장치 및 그 방법
KR102265143B1 (ko) * 2014-05-16 2021-06-15 삼성전자주식회사 입력 처리 장치 및 방법
US9693040B2 (en) 2014-09-10 2017-06-27 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and calibration of a three-dimensional measuring device
DE102014013677B4 (de) 2014-09-10 2017-06-22 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und unterteiltem Display
WO2016040271A1 (en) * 2014-09-10 2016-03-17 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
DE102014013678B3 (de) 2014-09-10 2015-12-03 Faro Technologies, Inc. Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten
US9671221B2 (en) 2014-09-10 2017-06-06 Faro Technologies, Inc. Portable device for optically measuring three-dimensional coordinates
US9602811B2 (en) 2014-09-10 2017-03-21 Faro Technologies, Inc. Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device
KR101703645B1 (ko) * 2014-09-23 2017-02-07 에스케이텔레콤 주식회사 민감도 조정이 가능한 동작 인식 방법 및 장치
KR102347249B1 (ko) * 2014-10-21 2022-01-04 삼성전자주식회사 외부 물체의 움직임과 연관된 이벤트에 응답하여 화면을 디스플레이하는 장치 및 방법
KR102081966B1 (ko) * 2014-10-31 2020-02-26 에스케이텔레콤 주식회사 상황 인지 기반의 동작 인식 장치 및 이를 위한 기록 매체
DE102015122844A1 (de) 2015-12-27 2017-06-29 Faro Technologies, Inc. 3D-Messvorrichtung mit Batteriepack
CN106951852A (zh) * 2017-03-15 2017-07-14 深圳汇创联合自动化控制有限公司 一种有效的人体行为识别系统
US20200014909A1 (en) 2018-07-03 2020-01-09 Faro Technologies, Inc. Handheld three dimensional scanner with autofocus or autoaperture
DE102018121492B4 (de) * 2018-09-04 2023-05-11 SIKA Dr. Siebert & Kühn GmbH & Co. KG Mess- oder Kalibriereinrichtung mit einer verbesserten Bedienung
KR102582863B1 (ko) 2018-09-07 2023-09-27 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
CN110347243A (zh) * 2019-05-30 2019-10-18 深圳乐行天下科技有限公司 一种机器人的工作方法及机器人
IT201900013440A1 (it) * 2019-07-31 2021-01-31 St Microelectronics Srl Sistema e metodo di riconoscimento di gesti per un dispositivo del tipo a penna digitale e corrispondente dispositivo del tipo a penna digitale
DE102021005129A1 (de) 2021-10-13 2023-04-13 vanory GmbH Verfahren und Vorrichtung zum Steuern elektronischer Geräte, insbesondere Leuchten
CN113970967A (zh) * 2021-10-28 2022-01-25 上海布鲁可积木科技有限公司 手势姿态同步检测控制方法、系统、介质以及移动终端

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100313050A1 (en) * 2009-06-05 2010-12-09 Qualcomm Incorporated Controlling power consumption of a mobile device based on gesture recognition
US20120071891A1 (en) 2010-09-21 2012-03-22 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4172793B2 (ja) 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
GB2419433A (en) 2004-10-20 2006-04-26 Glasgow School Of Art Automated Gesture Recognition
CN101204079B (zh) 2005-06-03 2011-07-27 苏黎世大学 用于检测与时间相关的图像数据的光敏元件阵列
BRPI0622049A2 (pt) * 2006-09-29 2014-06-10 Thomson Licensing Estimativa de estado dinâmico
US20090265671A1 (en) * 2008-04-21 2009-10-22 Invensense Mobile devices with motion gesture recognition
CA2591808A1 (en) * 2007-07-11 2009-01-11 Hsien-Hsiang Chiu Intelligent object tracking and gestures sensing input device
EP2304527A4 (en) * 2008-06-18 2013-03-27 Oblong Ind Inc GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES
KR101545876B1 (ko) 2009-01-22 2015-08-27 삼성전자주식회사 모션 센서 기반의 전력 소모 감소 방법 및 이를 이용한 휴대 단말기
US8983127B2 (en) * 2010-03-19 2015-03-17 University Of Central Florida Research Foundation, Inc. Object tracking with opposing image capture devices
JP5683153B2 (ja) * 2010-07-09 2015-03-11 キヤノン株式会社 画像処理装置および画像処理方法
KR20120035529A (ko) 2010-10-06 2012-04-16 삼성전자주식회사 휴대용 단말기에서 적응적 제스처 인식 장치 및 방법
CN103890695B (zh) * 2011-08-11 2017-10-13 视力移动技术有限公司 基于手势的接口系统和方法
US20130194173A1 (en) * 2012-02-01 2013-08-01 Ingeonix Corporation Touch free control of electronic systems and associated methods
US9128528B2 (en) * 2012-06-22 2015-09-08 Cisco Technology, Inc. Image-based real-time gesture recognition
JP5613314B1 (ja) * 2013-11-14 2014-10-22 Ｊｆｅシステムズ株式会社 ジェスチャー検出装置、ジェスチャー検出プログラム、ジェスチャー認識装置およびジェスチャー認識プログラム
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100313050A1 (en) * 2009-06-05 2010-12-09 Qualcomm Incorporated Controlling power consumption of a mobile device based on gesture recognition
US20120071891A1 (en) 2010-09-21 2012-03-22 Intuitive Surgical Operations, Inc. Method and apparatus for hand gesture control in a minimally invasive surgical system

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Caridakis et al. SOMM Self organizing Markov map for gesture recognition. Pattern Recognition Letters, Vol. 31, No. 1, 2010년, pp. 52-59. 1부.*
Nishikawa et al. Description and recognition of human gestures based on the transition of curvature from motion images. In Automatic Face and Gesture Recognition, IEEE AFGR, 1998년, pp. 552-557. 1부.*

Also Published As

Publication number Publication date
US20140037139A1 (en) 2014-02-06
KR20140017829A (ko) 2014-02-12
US9495758B2 (en) 2016-11-15
EP2693300A2 (en) 2014-02-05
EP2693300A3 (en) 2015-11-04

Similar Documents

Publication Publication Date Title
KR101978967B1 (ko) 제스처의 방향에 기초하여 상기 제스처를 인식하는 제스처 인식 장치와 제스처 인식 방법
CN109074084B (zh) 机器人的控制方法、装置、系统及所适用的机器人
KR102462799B1 (ko) 자세 추정 방법 및 자세 추정 장치
CN107703973B (zh) 轨迹跟踪方法、装置
KR101534742B1 (ko) 차량용 제스처 인식 시스템 및 그 방법
JP4345722B2 (ja) 動体追跡制御装置、動体追跡システム、動体追跡制御方法及びプログラム
KR102433931B1 (ko) 움직임 인식 방법 및 움직임 인식 장치
US9958938B2 (en) Gaze tracking for a mobile device
US20180286056A1 (en) Information processing device, information processing method, and program
US20160217326A1 (en) Fall detection device, fall detection method, fall detection camera and computer program
EP3572910B1 (en) Method, system and computer program for remotely controlling a display device via head gestures
US20150269425A1 (en) Dynamic hand gesture recognition with selective enabling based on detected hand velocity
US20150109528A1 (en) Apparatus and method for providing motion haptic effect using video analysis
US20170140215A1 (en) Gesture recognition method and virtual reality display output device
US20150220153A1 (en) Gesture recognition system with finite state machine control of cursor detector and dynamic gesture detector
KR20200143228A (ko) 3차원 가상 공간 모델을 이용한 사용자 포즈 추정 방법 및 장치
CN117581275A (zh) 眼睛注视分类
KR101656618B1 (ko) 물리 객체에 대한 증강 현실 제공 방법 및 장치
WO2017113674A1 (zh) 基于智能设备实现体感控制的方法、系统以及智能设备
KR101806453B1 (ko) 무인 비행체 충돌 회피를 위한 이동 객체 검출 장치 및 방법
CN102456127A (zh) 头部姿态估计设备和方法
US20170123501A1 (en) Gesture control device and method
JP6849097B2 (ja) 情報処理装置、制御方法、及びプログラム
JP2017033556A (ja) 画像処理方法及び電子機器
KR101909326B1 (ko) 얼굴 모션 변화에 따른 삼각 매쉬 모델을 활용하는 사용자 인터페이스 제어 방법 및 시스템

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)