KR20140060807A - Computer interface method using user's body and voice - Google Patents

Computer interface method using user's body and voice Download PDF

Info

Publication number
KR20140060807A
KR20140060807A KR1020120127592A KR20120127592A KR20140060807A KR 20140060807 A KR20140060807 A KR 20140060807A KR 1020120127592 A KR1020120127592 A KR 1020120127592A KR 20120127592 A KR20120127592 A KR 20120127592A KR 20140060807 A KR20140060807 A KR 20140060807A
Authority
KR
South Korea
Prior art keywords
user
voice
computer interface
computer
motion
Prior art date
Application number
KR1020120127592A
Other languages
Korean (ko)
Other versions
KR101414577B1 (en
Inventor
황선명
박성주
김범식
임흥택
Original Assignee
한남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한남대학교 산학협력단 filed Critical 한남대학교 산학협력단
Priority to KR1020120127592A priority Critical patent/KR101414577B1/en
Publication of KR20140060807A publication Critical patent/KR20140060807A/en
Application granted granted Critical
Publication of KR101414577B1 publication Critical patent/KR101414577B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a computer interface method using a user′s body and voice. The computer interface according to an embodiment of the present invention includes: an RGB camera, an infrared ray recognition sensor; an infrared laser, a microphone array; a tilt motor, a memory, and a controller. The computer interface method according to an embodiment of the present invention includes the steps of: a) determining the mode of the computer interface device by the controller; b) comparing a voice signal received from the microphone array to the voice data stored in the memory, and providing a signal corresponding to the voice signal to a computer if the voice signal and the voice data in the memory are determined to be equivalent when the controller determined the computer interface device is in a voice mode; c) comparing the motion of a user′s body recognized from the RGB camera, infrared ray recognition sensor and infrared laser to the data stored in the memory, and generating and providing a mouse function signal corresponding to the motion of the user′s body to a computer if the user′s motion and the data in the memory are determined to be equivalent when the controller determined the computer interface device is in a mouse mode; and d) comparing the motion of a user′s body recognized from the RGB camera, infrared ray recognition sensor and infrared laser to the data stored in the memory, and generating and providing a shortcut motion signal corresponding to the motion of the user′s body to a computer if the user′s motion signal and the data in the memory are determined to be equivalent when the controller determined the computer interface device is in a shortcut motion mode.

Description

사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법{Computer Interface Method Using User's Body and Voice}[0001] The present invention relates to a computer interface method using a user's body and voice,

본 발명은 사용자의 신체 및 음성을 이용한 컴퓨터 인터페이스 방법에 관한 것이다.The present invention relates to a computer interface method using a user's body and voice.

최근 들어 스마트폰의 보급과 함께 터치 스크린이 가장 편리한 사용자 인터페이스로 각광 받고 있다. 그러나, 터치 스크린에도 한계점은 분명히 존재한다. 그 중 하나는 여전히 무엇인가를 이용하거나 또는 사용자 신체 예컨대, 손가락을 직접 접촉시켜, 입력을 수행한다는 것이다.In recent years, along with the spread of smartphones, the touch screen has become the most convenient user interface. However, there are also clear limitations on the touch screen. One of them is still using something or carrying out the input by touching the user's body, for example, a finger directly.

또한, 터치 스크린에 있어서도, 그 스크린 자체가 키보드 자판 또는 마우스와 동일한 방식으로 이용되고 있다. 예컨대, 터치 스크린을 키보드로 사용하는 경우, 기존의 키보드와 같이, 사용자는 터치 스크린의 표면을 누르는 형식으로 입력을 수행한다.Also in the touch screen, the screen itself is used in the same manner as the keyboard or the mouse. For example, when the touch screen is used as a keyboard, the user performs input in the form of pressing the surface of the touch screen like a conventional keyboard.

이러한 기존의 키보드 또는 마우스와 같은 인터페이스 방식은 컴퓨터 사용자에게 새로운 컴퓨팅 환경을 제공하고 새로운 형식의 콘텐츠를 창출하기에는 그 한계가 있다. 이에, 새로운 컴퓨터 사용자 인터페이스를 제공하기 위한 많은 연구가 수행되고 있다.Such conventional interface methods such as a keyboard or a mouse have limitations in providing a new computing environment to computer users and creating new types of contents. Therefore, much research has been conducted to provide a new computer user interface.

도 1은 종래의 컴퓨터 인터페이스 장치를 나타낸 도면이고, 도 2는 도 1에 도시된 컴퓨터 인터페이스 장치의 사용 예를 나타낸 도면이다.FIG. 1 is a view showing a conventional computer interface device, and FIG. 2 is a view showing an example of use of the computer interface device shown in FIG.

도 1을 참조하면, 컴퓨터 인터페이스 장치는 RGB 카메라(10), 적외선 인식 센서(20), 적외선 레이저(30), 마이크 어레이(40) 및 틸트 모터(50)를 포함한다.1, the computer interface device includes an RGB camera 10, an infrared ray recognition sensor 20, an infrared laser 30, a microphone array 40, and a tilt motor 50.

상기 RGB 카메라(10), 적인선 인식 센서(20) 및 적외선 레이저(30)는 사용자의 동작을 인식하는데에 이용될 수 있다. 상기 RGB 카메라(10)는 단순히 물체의 색, 크기 및 개수와 같은 2차원 데이터를 획득 및 처리한다. 상기 적외선 인식 센서(20)와 적외선 레이저(30)는 도 2에 나타낸 바와 같이, 적외선 레이저를 이용한 물체의 반사를 상기 적외선 인식 센서(20)에서 검출하고 이를 기초로 물체의 깊이 정보를 3D로 처리한다. 상기 마이크 어레이(40)는 배열된 다수의 마이크들을 포함하며, 상기 틸트 모터(50)는 본 장치의 각도를 조절에 사용된다. The RGB camera 10, the line recognition sensor 20, and the infrared laser 30 may be used to recognize the operation of the user. The RGB camera 10 simply acquires and processes two-dimensional data such as color, size and number of objects. The infrared ray recognition sensor 20 and the infrared ray laser 30 detect the reflection of an object using an infrared laser by the infrared ray recognition sensor 20 and process the depth information of the object in 3D on the basis thereof do. The microphone array 40 includes a plurality of microphones arranged, and the tilt motor 50 is used to adjust the angle of the apparatus.

그러나, 상기 종래의 컴퓨터 인터페이스 장치는 사용자의 동작 및 음성을 컴퓨터에서 인식할 수 있는 방법을 지원하지만, 상기 종래의 컴퓨터 인터페이스 장치의 입력 방식은 응용 프로그램에 적용할 수 없는 문제가 있다.
However, the conventional computer interface device supports a method of recognizing the user's operation and voice by a computer, but the input method of the conventional computer interface device can not be applied to an application program.

이에 본 발명은 상술한 사정을 감안하여 창출된 것으로서, 본 발명의 목적은 음성 인식 기술과 모션 인식 기술을 이용하여 직접적인 터치 없는 새로운 컴퓨팅 환경을 구축가능하게 하는 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법을 제공하는 것이다.SUMMARY OF THE INVENTION The present invention has been made in view of the above circumstances, and it is an object of the present invention to provide a computer interface method using a user body and voice, which enables a new computing environment without a direct touch to be constructed using speech recognition technology and motion recognition technology .

상기 목적을 달성하기 위한, 본 발명에 따른 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법은 RGB 카메라, 적외선 인식 센서, 적외선 레이저, 마이크 어레이, 틸트 모터, 메모리 및 컨트롤러를 포함하며, 상기 RGB 카메라, 상기 적외선 인식 센서 및 상기 적외선 레이저를 통해 사용자 신체의 3차원 위치 정보를 획득하여 사용자 신체의 움직임을 파악하며, 상기 마이크 어레이를 통해 입력되는 사용자 음성을 인식하는 컴퓨터 인터페이스 장치에 있어서의 컴퓨터 인터페이스 방법에 있어서, a) 상기 컨트롤러는 상기 컴퓨터 인터페이스 장치의 모드를 판단하는 단계; b) 상기 컨트롤러는 단계 a)에 의해 음성 모드로 판단되는 경우, 상기 마이크 어레이로부터 입력되는 음성 신호와 상기 메모리에 저장된 음성 데이터를 대비하고, 상기 대비 결과는 일치하는 경우, 상기 음성 신호에 대응하는 신호를 컴퓨터에 제공하는 단계; c) 상기 컨트롤러는 단계 a)에 의해 마우스 모드로 판단하는 경우, 마우스 기능을 사용자의 신체에 할당하고, 상기 RGB 카메라, 적외선 인식 센서 및 적외선 레이저를 통해 인식되는 상기 사용자 신체의 움직임을 상기 메모리에 저장된 데이터와 대비하며, 상기 사용자 신체의 움직임에 대응하는 마우스 기능 신호를 발생시키고, 상기 발생되는 마우스 기능 신호를 상기 컴퓨터에 제공하는 단계; 및 d) 상기 컨트롤러는 단계 a)에 의해 단축 모션 모드로 판단하는 경우, 단축 기능을 사용자의 신체에 할당하고, 상기 RGB 카메라, 적외선 인식 센서 및 적외선 레이저를 통해 인식되는 상기 사용자 신체의 움직임을 상기 메모리에 저장된 데이터와 대비하며 상기 할당된 사용자 신체의 움직임에 대응하는 단축 모션 신호를 발생시키고, 상기 발생되는 단축 모션 신호를 상기 컴퓨터에 제공하는 단계를 포함한다. According to an aspect of the present invention, there is provided a computer interface method using a user body and a voice, the method including: an RGB camera, an infrared ray recognition sensor, an infrared laser, a microphone array, a tilt motor, A computer interface method in a computer interface device for recognizing a user's voice inputted through a microphone array by acquiring three-dimensional position information of a user's body through a recognition sensor and the infrared laser, a) the controller determining a mode of the computer interface device; b) the controller compares the voice signal input from the microphone array with the voice data stored in the memory when it is judged in the voice mode by step a), and when the contrast result is coincident, Providing a signal to the computer; c) The controller assigns a mouse function to the user's body when the controller determines in the mouse mode in step a), and controls the movement of the user's body recognized through the RGB camera, the infrared recognition sensor and the infrared laser to the memory Generating a mouse function signal corresponding to the movement of the user's body in comparison with stored data and providing the generated mouse function signal to the computer; And d) the controller assigns the shortening function to the body of the user when judging the short axis motion mode by step a), and detects the movement of the user body recognized through the RGB camera, the infrared ray recognition sensor and the infrared laser, Generating a uniaxial motion signal corresponding to the motion of the user's body in contrast to the data stored in the memory, and providing the generated uniaxial motion signal to the computer.

상기 마우스의 기능은 좌클릭, 우클릭, 더블클릭, 휠, 커서 이동 및 드래그 작동 중 하나 이상을 포함한다.The function of the mouse includes at least one of left click, right click, double click, wheel, cursor movement, and drag operation.

상기 좌클릭, 우클릭, 더블클릭 및 휠은 사용자 신체의 왼손에 할당하고, 상기 커서 이동 및 드래그 작동은 사용자 신체의 오른손에 할당된다.The left click, right click, double click, and wheel are assigned to the left hand of the user's body, and the cursor movement and drag operation is assigned to the right hand of the user's body.

상기 단축 기능은 프로그램 종료, 새로 고침, 브라우저 실행, 뒤로 가기, 앞으로 가기, 앞으로 가기, 프로그램 최대화, 및 프로그램 최소화 중 하나 이상을 포함한다.The shortening function includes at least one of program end, refresh, browser execution, backward, forward, forward, program maximization, and program minimization.

본 발명에 의하면, 음성 인식 기술과 사람의 동작을 이해하는 모션 인식 기술을 이용하여 터치 없는 새로운 컴퓨팅 환경을 구축하여 누르지 않고 가까이 가지 않아도 작동하는 컴퓨팅환경을 구축할 수 있게 한다. 그리고 그 환경에 맞는 콘텐츠를 제공할 수 있는 기틀을 제공하여 기존 사용자 인터페이스에서는 접하지 못한 다양한 콘텐츠를 창조하는 하나의 기틀을 마련하게 된다.According to the present invention, a new computing environment without a touch can be constructed by using a speech recognition technology and a motion recognition technology that understands a person's movements, thereby making it possible to construct a computing environment that operates without being pressed. It provides a framework for providing content suitable for the environment, and thus provides a framework for creating various contents that are not available in the existing user interface.

도 1은 종래의 컴퓨터 인터페이스 장치를 나타낸 도면이다.
도 2는 도 1에 도시된 컴퓨터 인터페이스 장치의 사용 예를 나타낸 도면이다.
도 3은 본 발명의 실시 예에 따른 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법을 설명하기 위한 기능 동작 흐름도이다.
도 4는 본 발명의 실시 예에 따른 음성 인식 모드를 설명하기 위한 기능 동작 흐름도이다.
도 5 및 도 6은 본 발명의 실시 예에 따른 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법을 설명하기 위한 도면들이다.
도 7는 본 발명의 실시 예에 따른 마우스 모드를 설명하기 위한 기능 동작 흐름도이다.
도 8은 본 발명의 실시 예에 따른 단축 모드를 설명하기 위한 기능 동작 흐름도이다.
도 9는 본 발명의 실시 예에 따른 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법이 적용되는 시스템의 일 예를 나타낸 구성도이다.1 is a diagram showing a conventional computer interface device.
2 is a diagram showing an example of use of the computer interface apparatus shown in FIG.
FIG. 3 is a functional flowchart illustrating a computer interface method using a user body and voice according to an exemplary embodiment of the present invention. Referring to FIG.
4 is a functional flowchart illustrating a voice recognition mode according to an embodiment of the present invention.
5 and 6 are diagrams for explaining a computer interface method using a user body and voice according to an embodiment of the present invention.
7 is a functional flowchart illustrating a mouse mode according to an embodiment of the present invention.
8 is a functional operation flowchart for explaining a shortening mode according to an embodiment of the present invention.
9 is a block diagram illustrating an example of a system to which a computer interface method using a user body and voice according to an embodiment of the present invention is applied.

이하, 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 구현 예 및 실시 예를 상세히 설명한다.Hereinafter, embodiments and examples of the present invention will be described in detail with reference to the accompanying drawings, so that those skilled in the art can easily carry out the present invention.

그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 구현 예 및 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.It should be understood, however, that the present invention may be embodied in many different forms and is not limited to the embodiments and examples described herein. In the drawings, the same reference numbers are used throughout the specification to refer to the same or like parts.

본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout this specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without departing from the other elements unless specifically stated otherwise.

도 9는 본 발명의 실시 예에 따른 사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법이 적용되는 컴퓨터 시스템의 일 예를 나타낸 구성도이다. FIG. 9 is a block diagram illustrating an example of a computer system to which a computer interface method using a user body and voice according to an embodiment of the present invention is applied.

도 9를 참조하면, 본 발명이 적용되는 컴퓨터 시스템은 컴퓨터 인터페이스 장치(100) 및 컴퓨터(PC, 200)를 포함한다.Referring to FIG. 9, a computer system to which the present invention is applied includes a computer interface device 100 and a computer (PC) 200.

상기 컴퓨터 인터페이스 장치(100)는 RGB 카메라(10), 적외선 인식 센서(20), 적외선 레이저(30), 마이크 어레이(40), 틸트 모터(50), 컨트롤러(70) 및 메모리(60)를 포함한다. The computer interface device 100 includes an RGB camera 10, an infrared ray recognition sensor 20, an infrared laser 30, a microphone array 40, a tilt motor 50, a controller 70 and a memory 60 do.

상기 메모리(60)는 상기 컴퓨터 인터페이스 장치(100)의 제어에 필요한 데이터들을 저장한다. 예컨대, 상기 메모리(60)는 음성 인식, 마우스 및 단축 모드들에서의 동작에 필요한 데이터들을 저장한다.The memory 60 stores data necessary for the control of the computer interface device 100. For example, the memory 60 stores data necessary for operation in speech recognition, mouse and short axes modes.

상기 컨트롤러(70)는 상기 컴퓨터 인터페이스 장치(100) 전반을 제어한다. The controller 70 controls the entire computer interface device 100.

상기 컴퓨터 인터페이스 장치(100)의 컨트롤러(70)는 사용자의 동작 및 음성을 인식하며 본 컴퓨터 인터페이스 장치(100)의 모드를 판단한다.The controller 70 of the computer interface device 100 recognizes the operation and voice of the user and determines the mode of the computer interface device 100.

상기 컴퓨터 인터페이스 장치(100)의 모드가 음성 인식 모드인 것으로 판단되는 경우, 상기 컨트롤러(70)는 상기 마이크 어레이(40)로부터 입력되는 음성 신호와 상기 메모리(60)에 사전에 저장된 음성 데이터를 대비하고, 상기 대비 결과는 일치하는 경우, 상기 음성 신호에 대응하는 신호를 컴퓨터(200)에 제공한다.When the mode of the computer interface device 100 is determined to be the voice recognition mode, the controller 70 compares the voice signal inputted from the microphone array 40 with the voice data previously stored in the memory 60 And provides the computer 200 with a signal corresponding to the voice signal if the contrast result matches.

상기 컴퓨터 인터페이스 장치(100)의 컨트롤러(70)에 의한 상기 음성 인식은 상기 마이크 어레이(40)를 통해 입력받은 음성 소스를 분석하여 미리 설정해 놓은 음성 소스와 매칭이 된다면 이에 따른 신호를 컴퓨터(200)에 제공한다. 상기 음성 인식은 입력 받은 음성 소스가 사전에 준비된 데이터와 어느 정도 일치하는지 여부에 의해 결정될 수 있다. 또한, 상기 음성 인식은 앞으로 데이터가 많아지거나 음성 소스에 잡음이나 하울링을 제거하는 방법을 사용하면 보다 나은 음성 인식 결과를 얻을 수 있다. 물론, 새로운 처리 방식이나 새로운 알고리즘을 찾는다면 인식률은 보다 향상될 것이다.The voice recognition by the controller 70 of the computer interface device 100 analyzes the voice source inputted through the microphone array 40 and outputs a signal corresponding thereto if the voice source matches the preset voice source, . The speech recognition may be determined depending on whether or not the input speech source matches the previously prepared data. Further, in the speech recognition, a better speech recognition result can be obtained by using a method of increasing data in the future or removing noise or howling in a speech source. Of course, if we look for new processing methods or new algorithms, the recognition rate will improve.

또한, 상기 음성 인식은 다양한 언어들을 지원할 수 있다. 예컨대, 상기 컴퓨터 인터페이스 장치(100)는 입력되는 음성의 언어가 영어 인지 또는 한국어인지를 판단한다. 그리고 판단 결과에 따라 영어 또는 한국어를 인식할 수 있다.In addition, the speech recognition may support various languages. For example, the computer interface device 100 determines whether the language of the input voice is English or Korean. And can recognize English or Korean according to the judgment result.

상기 모드가 마우스 모드인 것으로 판단되는 경우, 상기 컴퓨터 인터페이스 장치(100)의 컨트롤러(70)는 사용자의 동작을 인식하게 된다. 상기 마우스 모드에서는 마우스 기능을 사용자의 신체에 할당되며, 상기 컴퓨터 인터페이스 장치(100)의 컨트롤러(70)는 상기 RGB 카메라(10), 적외선 인식 센서(20) 및 적외선 레이저(30)를 통해 인식되는 상기 할당된 사용자 신체의 움직임에 대응하는 마우스 기능 신호를 발생시키고, 상기 발생되는 마우스 기능 신호를 상기 컴퓨터(200)에 제공한다. 예컨대, 상기 컴퓨터 인터페이스 장치(100)는 도 5와 같이 사용자의 관절을 인식한다. 상기 컴퓨터 인터페이스 장치(100)는 인식한 관절의 위치를 추적하여 도 6과 같이 사람의 뼈대를 그릴 수 있고 관절이나 특정 위치에 가상의 이미지를 띄우거나 따라다니는 물체를 지정할 수도 있다. When it is determined that the mode is the mouse mode, the controller 70 of the computer interface device 100 recognizes the operation of the user. In the mouse mode, the mouse function is assigned to the user's body, and the controller 70 of the computer interface device 100 recognizes the mouse function through the RGB camera 10, the infrared ray recognition sensor 20 and the infrared laser 30 Generates a mouse function signal corresponding to the movement of the user body, and provides the generated mouse function signal to the computer 200. For example, the computer interface device 100 recognizes the user's joint as shown in FIG. The computer interface device 100 may track the position of the recognized joint to draw a human skeleton as shown in FIG. 6, and may designate an object that floats or follows a virtual image at a joint or a specific position.

또한, 상기 마우스 모드에서 상기 좌클릭, 우클릭, 더블클릭 및 휠은 사용자 신체의 왼손에 할당하고, 상기 커서 이동 및 드래그 작동은 사용자 신체의 오른손에 할당된다. 즉, 각 관절마다 x, y, z의 좌표 값이 지정되고 관절의 x, y, z의 좌표 값을 얻어올 수 있다. 이 특성을 이용하여 오른손 관절, 왼손 관절의 좌표와 화면상 커서의 위치를 매핑을 통해 마우스를 대체하여 사람의 신체로 컴퓨터 제어를 제어할 수 있게 된다.In the mouse mode, the left click, right click, double click, and wheel are assigned to the left hand of the user's body, and the cursor movement and drag operation are assigned to the right hand of the user's body. That is, coordinate values of x, y, and z are assigned to each joint, and coordinate values of x, y, and z of the joint can be obtained. By using this characteristic, it is possible to control the computer control by the human body by replacing the mouse by mapping the coordinates of the right and left joints and the position of the cursor on the screen.

한편, 상기 모드가 단축 모드인 것으로 판단되는 경우, 상기 컴퓨터 인터페이스 장치(100)는 또한 사용자의 동작을 인식하게 된다. 예컨대, 상기 컴퓨터 인터페이스 장치(100)는 단축 기능을 사용자의 신체에 할당하고, 상기 RGB 카메라(10), 적외선 인식 센서(20) 및 적외선 레이저(30)를 통해 인식되는 상기 할당된 사용자 신체의 움직임에 대응하는 단축 모션 신호를 발생시키고, 상기 발생되는 단축 모션 신호를 상기 컴퓨터(200)에 제공하게 된다. 예컨대, 상기 단축 기능은 프로그램 종료, 새로 고침, 브라우저 실행, 뒤로 가기, 앞으로 가기, 앞으로 가기, 프로그램 최대화, 및 프로그램 최소화 중 하나 이상을 포함하고, 상기 기능들에 각각의 모션이 부여된다. Meanwhile, when it is determined that the mode is the short mode, the computer interface device 100 also recognizes the operation of the user. For example, the computer interface device 100 allocates a shortening function to the body of the user and transmits the motion of the assigned user body recognized through the RGB camera 10, the infrared recognition sensor 20 and the infrared laser 30 And provides the generated uniaxial motion signal to the computer 200. [0033] FIG. For example, the shortening function includes at least one of program end, refresh, browser execution, backward, forward, forward, program maximization, and program minimization, and the respective motions are given to the functions.

즉, 앞서 설명한 바와 같이, 상기 컴퓨터 인터페이스 장치(100)는 모션 인식을 위해 각 관절마다 좌표 값들을 비교하여 관절의 상대적인 값들을 얻어온다. 그리고, 그 상대적인 값들을 조건으로 넣으면 특정 모션에 특정 기능을 넣을 수 있다. 예컨대, 오른손 관절이 어깨 관절보다 위에 있다고 가정하면 사용자는 오른손을 위로 들고 있다고 인식할 수 있다. 그러나, 오른쪽 팔꿈치 관절이 어깨보다 위라고 할 때는 팔을 번쩍 들고 있는 상태임을 알 수 있다. 이처럼 각 관절의 상대적인 좌표를 이용하여 여러 가지 동작을 세밀하게 인식할 수 있다. 따라서, 인식한 동작들을 이용하여 다양한 기능을 구현할 수 있다.That is, as described above, the computer interface device 100 compares the coordinate values for each joint for motion recognition to obtain relative values of the joints. And, by putting the relative values as conditions, you can put specific functions in specific motion. For example, assuming that the right hand joint is above the shoulder joints, the user can recognize that he is holding his right hand up. However, when the right elbow joint is above the shoulder, it can be seen that the arm is flashed. By using the relative coordinates of each joint, various movements can be recognized in detail. Accordingly, various functions can be implemented using recognized operations.

이하, 도 3, 도 4, 도 7 및 도 8을 참조하여, 본 발명을 보다 상세히 설명한다.Hereinafter, the present invention will be described in more detail with reference to Figs. 3, 4, 7 and 8. Fig.

도 3은 도 1에 도시된 컴퓨터 시스템의 동작을 설명하기 위한 기능 동작 흐름도이다.3 is a functional operation flow chart for explaining the operation of the computer system shown in Fig.

먼저, 도 3을 참조하면, 상기 컴퓨터 인터페이스 장치(100)의 컨트롤러(70)는 상기 컴퓨터 인터페이스 장치(100)의 동작 모드를 판단한다(S1).Referring to FIG. 3, the controller 70 of the computer interface device 100 determines the operation mode of the computer interface device 100 (S1).

상기 컴퓨터 인터페이스 장치(100)의 동작 모드가 음성 인식 모드인 것으로 판단되는 경우, 상기 컴퓨터 인터페이스 장치(100)는 음성 인식을 개시한다(S2). If it is determined that the operation mode of the computer interface device 100 is the voice recognition mode, the computer interface device 100 starts voice recognition (S2).

상기 컴퓨터 인터페이스 장치(100)는 상기 마이크 어레이(40)로부터 입력되는 음성 신호와 상기 메모리(60)에 저장된 음성 데이터를 대비하고, 상기 대비 결과 일치하는 경우, 상기 음성 신호에 대응하는 신호를 컴퓨터에 제공한다(S3, S4).The computer interface device 100 compares the voice signal input from the microphone array 40 with the voice data stored in the memory 60 and outputs a signal corresponding to the voice signal to the computer 60 (S3, S4).

도 4를 참조로, 상기 컴퓨터 인터페이스 장치(100)의 음성 모드에서의 동작을 설명하면, 상기 컴퓨터 인터페이스 장치(100)는 입력되는 음성의 언어가 영어 인지 또는 한국어인지를 사용자에 의해 선택되거나 또는 자동으로 판단할 수 있다. 그리고 선택 또는 판단 결과에 따라 영어 또는 한국어를 인식을 시작한다(S41 내지 S44).Referring to FIG. 4, the operation of the computer interface apparatus 100 in the voice mode will be described. The computer interface apparatus 100 determines whether the language of the input voice is English or Korean, . Then, recognition of English or Korean is started according to the result of selection or judgment (S41 to S44).

음성 인식이 개시된 후, 사용자로부터 음성이 입력되면, 상기 컴퓨터 인터페이스 장치(100)는 상기 음성을 인식하고, 상기 메모리(60)에 저장된 데이터와 대비한다(S45, S46).After voice recognition is started, if the user inputs a voice, the computer interface device 100 recognizes the voice and compares the voice with the data stored in the memory 60 (S45, S46).

상기 대비 결과, 상기 입력된 음성이 상기 메모리(60)에 저장된 데이터들 중 일치하는 것이 존재하는 경우, 해당 데이터에 따라 신호를 발생시키고, 상기 발생되는 신호를 상기 컴퓨터(200)에 제공한다(S47, S49).If there is a match among the data stored in the memory 60 as a result of the contrast, a signal is generated according to the data and the generated signal is provided to the computer 200 (S47 , S49).

이와 달리, 일치하는 데이터가 존재하지 않는다면, 음성 모드가 끝날 때까지 상기 컴퓨터 인터페이스 장치(100)는 상술한 단계들을 반복 수행한다(S48, S50).Otherwise, if there is no matching data, the computer interface device 100 repeats the above steps (S48, S50) until the voice mode ends.

상기 단계 S1의 판단 결과, 상기 컴퓨터 인터페이스 장치(100)의 동작 모드가 마우스 모드인 것으로 판단되는 경우, 상기 컴퓨터 인터페이스 장치(100)는 동작 인식을 개시한다(S5).If it is determined in step S1 that the operation mode of the computer interface device 100 is the mouse mode, the computer interface device 100 starts recognizing the operation (S5).

상기 마우스 모드로 진입하면, 상기 컴퓨터 인터페이스 장치(100)는 사용자의 동작을 인식하게 된다(S6). Upon entering the mouse mode, the computer interface device 100 recognizes the operation of the user (S6).

상기 마우스 모드에서 상기 컴퓨터 인터페이스 장치(100)는 사용자의 손 움직임을 인식하고, 상기 사용자의 손 움직임을 상기 메모리(60)에 저장된 손목 움직임 데이터와 대비한 후, 해당 데이터에 따른 신호를 상기 컴퓨터(200)에 제공한다(S7). In the mouse mode, the computer interface device 100 recognizes a movement of a user's hand, compares the movements of the user's hand with wrist movement data stored in the memory 60, 200 (S7).

도 7을 참조로 상기 마우스 모드를 보다 상세히 설명하면, 상기 컴퓨터 인터페이스 장치(100)는 마우스 모드인지를 판단한 후, 판단 결과 마우스 모드인 경우(S71, S72), 상기 사용자의 왼손 움직임을 상기 메모리(60)에 저장된 데이터를 대비하고, 상기 사용자의 왼손 움직임이 상기 메모리(60)에 저장된 좌클릭, 우클릭, 더블클릭 또는 휠에 대응하면, 해당 기능에 대응하는 신호를 상기 컴퓨터(200)를 제공한다(S73).Referring to FIG. 7, the computer interface device 100 determines whether the mouse mode is the mouse mode (S71, S72). If the mouse mode is the mouse mode, 60, and if the left-hand motion of the user corresponds to a left-click, a right-click, a double-click, or a wheel stored in the memory 60, the computer 200 provides a signal corresponding to the function (S73).

또한, 상기 컴퓨터 인터페이스 장치(100)는 상기 사용자의 오른손 움직임을 상기 메모리(60)에 저장된 데이터를 대비하고, 상기 사용자의 오른손 움직임이 상기 메모리(60)에 저장된 X, Y 좌표의 커서 이동인지 또는 Z좌표의 드래그에 대응하면, 해당 기능에 대응하는 신호를 상기 컴퓨터(200)에 제공한다(S74, S75).Also, the computer interface device 100 compares data of the right hand of the user with data stored in the memory 60, and determines whether the right hand movement of the user is a cursor movement of X, Y coordinates stored in the memory 60, In response to the drag of the Z coordinate, a signal corresponding to the function is provided to the computer 200 (S74, S75).

다시 도 3에서, 상기 모드가 단축 모드인 것으로 판단되는 경우, 상기 컴퓨터 인터페이스 장치(100)는 또한 사용자의 동작을 인식하게 된다(S8). 이어, 상기 컴퓨터 인터페이스 장치(100)는 상기 사용자 동작에 대응하는 단축 모션 신호를 발생시키고, 상기 발생되는 단축 모션 신호를 상기 컴퓨터(200)에 제공하게 된다(S9). 예컨대, 도 8에 나타낸 바와 같이, 상기 컴퓨터 인터페이스 장치(100)는 모드가 단축 모드인 것으로 판단되는 경우(S81, S82), 상기 사용자의 동작이 상기 메모리(60)에 저장된 데이터 즉, 프로그램 종료, 새로 고침, 브라우저 실행, 뒤로 가기, 앞으로 가기, 앞으로 가기, 프로그램 최대화, 및 프로그램 최소화 중 하나 이상에 대응하는지를 판단하고, 상기 사용자 동작에 상기 기능들 중 하나에 해당되는 것을 판단하는 경우, 해당 신호를 발생시켜 상기 컴퓨터(200)에 제공한다(S83, S84). Referring again to FIG. 3, when it is determined that the mode is the short mode, the computer interface device 100 also recognizes the operation of the user (S8). Next, the computer interface device 100 generates a uniaxial motion signal corresponding to the user operation and provides the generated uniaxial motion signal to the computer 200 (S9). 8, when the mode is determined to be the short mode (S81, S82), the computer interface apparatus 100 determines whether the operation of the user is the data stored in the memory 60, that is, Determining whether the user operation corresponds to one or more of a refresh, a browser execution, a backward, a forward, a forward, a program maximization, and a program minimization, and when judging that the user operation corresponds to one of the functions, And provides it to the computer 200 (S83, S84).

본 발명은 특정한 실시 예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.While the present invention has been particularly shown and described with reference to specific embodiments thereof, it will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the following claims It will be apparent to those of ordinary skill in the art.

10: RGB 카메라 20: 적인선 인식 센서
30: 적외선 레이저 40: 마이크 어레이
50: 틸트 모터 60: 메모리
70: 컨트롤러 100: 컴퓨터 인터페이스 장치
200: 컴퓨터10: RGB camera 20: Line recognition sensor
30: Infrared laser 40: Microphone array
50: tilt motor 60: memory
70: controller 100: computer interface device
200: computer

Claims (4)

RGB 카메라, 적외선 인식 센서, 적외선 레이저, 마이크 어레이, 틸트 모터, 메모리 및 컨트롤러를 포함하며, 상기 RGB 카메라, 상기 적외선 인식 센서 및 상기 적외선 레이저를 통해 사용자 신체의 3차원 위치 정보를 획득하여 사용자 신체의 움직임을 파악하며, 상기 마이크 어레이를 통해 입력되는 사용자 음성을 인식하는 컴퓨터 인터페이스 장치에 있어서의 컴퓨터 인터페이스 방법에 있어서,
a) 상기 컨트롤러는 상기 컴퓨터 인터페이스 장치의 모드를 판단하는 단계;
b) 상기 컨트롤러는 단계 a)에 의해 음성 모드로 판단되는 경우, 상기 마이크 어레이로부터 입력되는 음성 신호와 상기 메모리에 저장된 음성 데이터를 대비하고, 상기 대비 결과는 일치하는 경우, 상기 음성 신호에 대응하는 신호를 컴퓨터에 제공하는 단계;
c) 상기 컨트롤러는 단계 a)에 의해 마우스 모드로 판단하는 경우, 마우스 기능을 사용자의 신체에 할당하고, 상기 RGB 카메라, 적외선 인식 센서 및 적외선 레이저를 통해 인식되는 상기 사용자 신체의 움직임을 상기 메모리에 저장된 데이터와 대비하며, 상기 사용자 신체의 움직임에 대응하는 마우스 기능 신호를 발생시키고, 상기 발생되는 마우스 기능 신호를 상기 컴퓨터에 제공하는 단계; 및
d) 상기 컨트롤러는 단계 a)에 의해 단축 모션 모드로 판단하는 경우, 단축 기능을 사용자의 신체에 할당하고, 상기 RGB 카메라, 적외선 인식 센서 및 적외선 레이저를 통해 인식되는 상기 사용자 신체의 움직임을 상기 메모리에 저장된 데이터와 대비하며 상기 할당된 사용자 신체의 움직임에 대응하는 단축 모션 신호를 발생시키고, 상기 발생되는 단축 모션 신호를 상기 컴퓨터에 제공하는 단계를 포함하는 것을 특징으로 하는
사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법.Dimensional position information of the user's body through the RGB camera, the infrared ray recognition sensor, and the infrared laser to obtain a three-dimensional position information of the user's body by using the RGB camera, an infrared ray recognition sensor, an infrared ray laser, a microphone array, a tilt motor, A computer interface method in a computer interface device for recognizing a movement and recognizing a user's voice inputted through the microphone array,
a) the controller determining a mode of the computer interface device;
b) the controller compares the voice signal input from the microphone array with the voice data stored in the memory when it is judged in the voice mode by step a), and when the contrast result is coincident, Providing a signal to the computer;
c) The controller assigns a mouse function to the user's body when the controller determines in the mouse mode in step a), and controls the movement of the user's body recognized through the RGB camera, the infrared recognition sensor and the infrared laser to the memory Generating a mouse function signal corresponding to the movement of the user's body in comparison with stored data and providing the generated mouse function signal to the computer; And
d) If the controller determines in the short-motion mode by step a), the controller allocates the shortening function to the body of the user, and controls the motion of the user's body, which is recognized through the RGB camera, infrared- And generating a uniaxial motion signal corresponding to the motion of the user's body allocated to the user and providing the generated uniaxial motion signal to the computer,
Computer interface method using user body and voice. 제 1 항에 있어서, 상기 마우스의 기능은 좌클릭, 우클릭, 더블클릭, 휠, 커서 이동 및 드래그 작동 중 하나 이상을 포함하는 것을 특징으로 하는
사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법.The method of claim 1, wherein the function of the mouse includes at least one of a left click, a right click, a double click, a wheel, a cursor movement, and a drag operation
Computer interface method using user body and voice. 제 2 항에 있어서, 상기 좌클릭, 우클릭, 더블클릭 및 휠은 사용자 신체의 왼손에 할당하고, 상기 커서 이동 및 드래그 작동은 사용자 신체의 오른손에 할당하는 것을 특징으로 하는
사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법.3. The method of claim 2, wherein the left click, right click, double click, and wheel are assigned to the left hand of the user's body, and the cursor movement and drag operations are assigned to the right hand of the user's body
Computer interface method using user body and voice. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, 상기 단축 기능은 프로그램 종료, 새로 고침, 브라우저 실행, 뒤로 가기, 앞으로 가기, 앞으로 가기, 프로그램 최대화, 및 프로그램 최소화 중 하나 이상을 포함하는 것을 특징으로 하는
사용자 신체 및 음성을 이용한 컴퓨터 인터페이스 방법.
4. The method according to any one of claims 1 to 3, wherein the shortening function includes at least one of a program end, a refresh, a browser execution, a backward, a forward, a forward, a program maximization, To
Computer interface method using user body and voice.
KR1020120127592A 2012-11-12 2012-11-12 Computer Interface Method Using User's Body and Voice KR101414577B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120127592A KR101414577B1 (en) 2012-11-12 2012-11-12 Computer Interface Method Using User's Body and Voice

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120127592A KR101414577B1 (en) 2012-11-12 2012-11-12 Computer Interface Method Using User's Body and Voice

Publications (2)

Publication Number Publication Date
KR20140060807A true KR20140060807A (en) 2014-05-21
KR101414577B1 KR101414577B1 (en) 2014-07-03

Family

ID=50890008

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120127592A KR101414577B1 (en) 2012-11-12 2012-11-12 Computer Interface Method Using User's Body and Voice

Country Status (1)

Country Link
KR (1) KR101414577B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933393A (en) * 2017-03-24 2017-07-07 南京航空航天大学 A kind of novel passive wireless mouse and its control method
WO2020102977A1 (en) * 2018-11-20 2020-05-28 深圳市欢太科技有限公司 Image processing method and related product
KR20220161094A (en) * 2021-05-28 2022-12-06 주식회사 피앤씨솔루션 Augmented reality glasses device with voice command translation in offline environment

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1031551A (en) * 1996-07-15 1998-02-03 Mitsubishi Electric Corp Human interface system and high-speed moving body position detecting device using the same
KR101046022B1 (en) * 2009-03-11 2011-07-01 삼성전기주식회사 Remote control device using human body motion and human voice
KR101896947B1 (en) * 2011-02-23 2018-10-31 엘지이노텍 주식회사 An apparatus and method for inputting command using gesture

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106933393A (en) * 2017-03-24 2017-07-07 南京航空航天大学 A kind of novel passive wireless mouse and its control method
CN106933393B (en) * 2017-03-24 2023-03-17 南京航空航天大学 Novel passive wireless mouse and control method thereof
WO2020102977A1 (en) * 2018-11-20 2020-05-28 深圳市欢太科技有限公司 Image processing method and related product
KR20220161094A (en) * 2021-05-28 2022-12-06 주식회사 피앤씨솔루션 Augmented reality glasses device with voice command translation in offline environment

Also Published As

Publication number Publication date
KR101414577B1 (en) 2014-07-03

Similar Documents

Publication Publication Date Title
US11392212B2 (en) Systems and methods of creating a realistic displacement of a virtual object in virtual reality/augmented reality environments
EP3436916B1 (en) Applications for multi-touch input detection
US11010512B2 (en) Improving predictive information for free space gesture control and communication
CN104956292B (en) The interaction of multiple perception sensing inputs
JP2020052991A (en) Gesture recognition-based interactive display method and device
US10372229B2 (en) Information processing system, information processing apparatus, control method, and program
CN104969148A (en) Depth-based user interface gesture control
JP6711817B2 (en) Information processing apparatus, control method thereof, program, and storage medium
US20150316996A1 (en) Systems and methods for remapping three-dimensional gestures onto a finite-size two-dimensional surface
KR20170009979A (en) Methods and systems for touch input
JP2016224686A (en) Information processing apparatus, control method thereof, program, and storage medium
KR101414577B1 (en) Computer Interface Method Using User's Body and Voice
CN106598422B (en) hybrid control method, control system and electronic equipment
US11620790B2 (en) Generating a 3D model of a fingertip for visual touch detection
US20140304736A1 (en) Display device and method of controlling the display device
JP2023527906A (en) Control method, device, terminal and storage medium
CN105488832A (en) Optical digital ruler
US11782548B1 (en) Speed adapted touch detection
JP2010086367A (en) Positional information inputting device, positional information inputting method, program, information processing system, and electronic equipment
Yeom et al. [POSTER] Haptic Ring Interface Enabling Air-Writing in Virtual Reality Environment
CN113961067A (en) Non-contact graffiti drawing method and recognition interaction system based on deep learning
KR102107182B1 (en) Hand Gesture Recognition System and Method
Lee et al. Mouse operation on monitor by interactive analysis of intuitive hand motions
WO2021075103A1 (en) Information processing device, information processing method, and program
KR20130099708A (en) Input apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant