KR20120131981A - Method and device of recognizing user's movement, and electric-using apparatus using the device - Google Patents

Method and device of recognizing user's movement, and electric-using apparatus using the device Download PDF

Info

Publication number
KR20120131981A
KR20120131981A KR1020110050515A KR20110050515A KR20120131981A KR 20120131981 A KR20120131981 A KR 20120131981A KR 1020110050515 A KR1020110050515 A KR 1020110050515A KR 20110050515 A KR20110050515 A KR 20110050515A KR 20120131981 A KR20120131981 A KR 20120131981A
Authority
KR
South Korea
Prior art keywords
user
combination
motion
recognition
detected user
Prior art date
Application number
KR1020110050515A
Other languages
Korean (ko)
Other versions
KR102086495B1 (en
Inventor
이승계
이부열
남현정
원윤기
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020110050515A priority Critical patent/KR102086495B1/en
Publication of KR20120131981A publication Critical patent/KR20120131981A/en
Application granted granted Critical
Publication of KR102086495B1 publication Critical patent/KR102086495B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A user motion recognition method, apparatus, and electronic user apparatus using the same are provided to systematize a user motion for executing functions by combining the order of motions. CONSTITUTION: A motion recognition unit(120) detects a motion of a user from an image inputted through an image capturing device(110). When the user motion is matched with the order of motions, the motion recognition unit recognizes the detected user motions. A combination or the order of the motions for the detected user motions is determined by using icons located on a screen of a display unit(300). [Reference numerals] (110) Capturing device; (120) Motion recognition unit; (200) Control unit; (300) Display unit; (400) Image processing unit; (AA) Control command

Description

사용자 동작 인식 방법 및 장치와, 이를 사용하는 전기 사용 장치{Method and device of recognizing user's movement, and electric-using apparatus using the device}Method and device for recognizing user motion, and apparatus for recognizing user's movement, and electric-using apparatus using the device

본 발명은 사용자 동작 인식 방법에 대한 것으로서, 보다 상세하게는, 사용자 동작 인식 방법 및 장치와 이를 사용하는 전기 사용 장치에 대한 것이다.
The present invention relates to a method for recognizing a user's motion, and more particularly, to a method and a device for recognizing a user's motion and an electric device using the same.

영상 정보 기반의 다양한 멀티미디어 시스템(multi-media system)이 발달하면서 영상이 포함하고 있는 정보를 이해하고 이를 다양한 분야에 응용할 수 있는 기술에 대한 수요가 급증하고 있다. 특히, 사용작의 동작 예를 들면 손 동작 등을 인식함으로써 보다 편리한 인터페이스 환경을 구축하는 데 많은 관심이 집중되고 있다. As various multimedia systems based on image information have been developed, the demand for technology capable of understanding the information contained in images and applying them to various fields is increasing rapidly. In particular, much attention has been focused on building a more convenient interface environment by recognizing the operation of a user operation, for example, a hand gesture.

이와 관련하여, 종래에는 손 동작 등을 인식함에 있어, 인식률을 높이기 위해, 동작에 민감하게 반응하도록 인식장치를 구성하였다. 그런데, 인식률을 높이는 경우에, 유사한 동작을 잘못인식하게 되어 오류율이 증가하는 문제가 발생하게 된다. 이와 관련하여, 도 1을 참조한다. In this regard, in the related art, in recognizing hand gestures and the like, in order to increase the recognition rate, a recognition apparatus is configured to react sensitively to movements. However, when the recognition rate is increased, a similar operation may be misrecognized, resulting in an increase in the error rate. In this regard, reference is made to FIG. 1.

도 1은 종래의 손 동작 인식 방법을 설명하기 위한 도면이다. 1 is a view for explaining a conventional hand gesture recognition method.

도 1을 참조하면, 특정 명령을 수행하기 위해, 특정 아이콘 상에서 손을 좌우로 흔들게 된다. 그런데, 종래에는 인식률을 높이기 위해 동작에 민감하게 반응하도록 구성하게 되므로, 단순히 손이 좌우로 오고 가는 동작 또한 손을 좌우로 흔드는 동작으로 오인하는 경우가 발생할 수 있게 된다. Referring to FIG. 1, in order to perform a specific command, a hand shakes from side to side on a specific icon. However, in the related art, since the sensor is configured to react sensitively to increase the recognition rate, a case in which a hand simply moves from side to side and also moves from side to side may be mistaken for a motion of shaking the hand side to side.

이처럼, 종래에는 동작에 대한 인식률을 높이게 되는 경우에 오류율이 높아지게 되는 문제가 발생하게 된다.
As described above, in the related art, when the recognition rate of the operation is increased, the error rate increases.

본 발명은, 사용자의 동작을 인식함에 있어 인식률을 향상과 함께 오류율을 감소시키는 데 과제가 있다.
SUMMARY OF THE INVENTION The present invention has a problem in reducing an error rate while improving a recognition rate in recognizing a user's motion.

전술한 바와 같은 과제를 달성하기 위해, 본 발명은, 전기 사용 장치의 사용자 동작 인식 방법에 있어서, 촬상소자를 통해 입력된 영상에서 사용자의 동작을 검출하는 단계와; 상기 검출된 사용자 동작이, 설정된 동작 순서나 조합에 부합하는지 여부를 판단하는 단계와; 상기 설정된 동작 순서나 조합에 부합하는 경우에, 상기 검출된 사용자 동작을 인식하는 단계를 포함하는 사용자 동작 인식 방법을 제공한다.In order to achieve the above object, the present invention provides a method for recognizing a user's motion of an electric device, comprising: detecting a user's motion in an image input through an image pickup device; Determining whether the detected user motion corresponds to a set operation order or combination; In response to the set operation order or combination, a method for recognizing a user's motion is provided.

여기서, 상기 검출된 사용자 동작이 상기 설정된 동작 순서나 조합에 부합하는지 여부를 판단하는 단계는, 상기 전기 표시 장치의 표시부의 화면 상에 위치하는 아이콘들을 사용하게 되며, 상기 설정된 동작 순서에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 순서가 사용되고, 상기 설정된 동작 조합에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 조합이 사용될 수 있다.In the determining of whether the detected user motion corresponds to the set operation order or combination, the icons located on the screen of the display unit of the electric display device are used, and whether the detected user motion corresponds to the set operation order. In determining, the recognition order of the icons according to the detected user action is used, and in determining whether the icon corresponds to the set operation combination, the recognition combination of the icons according to the detected user action may be used.

상기 촬상소자를 통해 입력된 영상을 알파-블렌딩(alpha-blending)하여 상기 표시부에 표시하는 단계를 더욱 포함할 수 있다.The method may further include alpha-blending the image input through the image pickup device and displaying the image on the display unit.

다른 측면에서, 본 발명은, 전기 사용 장치의 사용자 동작 인식 장치에 있어서, 촬상소자와; 상기 촬상소자를 통해 입력된 영상에서 사용자의 동작을 검출하고; 상기 검출된 사용자 동작이, 설정된 동작 순서나 조합에 부합하는지 여부를 판단하고; 상기 설정된 동작 순서나 조합에 부합하는 경우에, 상기 검출된 사용자 동작을 인식하는 동작인식부를 포함하는 사용자 동작 인식 장치를 제공한다.In another aspect, the present invention provides a device for recognizing a user's motion of an electric device, comprising: an imaging device; Detecting a user's motion in an image input through the imaging device; Determine whether the detected user motion corresponds to a set operation order or combination; In accordance with the set operation order or combination, it provides a user motion recognition apparatus including a motion recognition unit for recognizing the detected user motion.

여기서, 상기 검출된 사용자 동작이 상기 설정된 동작 순서나 조합에 부합하는지 여부를 판단함에 있어, 상기 전기 표시 장치의 표시부의 화면 상에 위치하는 아이콘들을 사용하게 되며, 상기 설정된 동작 순서에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 순서가 사용되고, 상기 설정된 동작 조합에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 조합이 사용될 수 있다.Here, in determining whether the detected user motion corresponds to the set operation order or combination, the icons located on the screen of the display unit of the electric display device are used, and whether or not the detected user motion corresponds to the set operation order. In determining, the recognition order of the icons according to the detected user action is used, and in determining whether the icon corresponds to the set operation combination, the recognition combination of the icons according to the detected user action may be used.

또 다른 측면에서, 본 발명은, 전기 사용 장치에 있어서, 촬상소자와; 상기 촬상소자를 통해 입력된 영상에서 사용자의 동작을 검출하고; 상기 검출된 사용자 동작이, 설정된 동작 순서나 조합에 부합하는지 여부를 판단하고; 상기 설정된 동작 순서나 조합에 부합하는 경우에, 상기 검출된 사용자 동작을 인식하는 동작인식부와; 상기 동작인식부의 인식 결과에 따라, 상기 전기 사용 장치의 동작을 제어하는 제어부를 포함하는 전기 사용 장치를 제공한다.In still another aspect, the present invention provides an electrical apparatus, comprising: an imaging device; Detecting a user's motion in an image input through the imaging device; Determine whether the detected user motion corresponds to a set operation order or combination; A motion recognition unit for recognizing the detected user motion when the set operation sequence or combination is matched; According to a result of the recognition of the operation recognition unit, it provides an electric using device including a control unit for controlling the operation of the electric using device.

여기서, 상기 전기 표시 장치는 표시부를 더욱 포함하고, 상기 검출된 사용자 동작이 상기 설정된 동작 순서나 조합에 부합하는지 여부를 판단함에 있어, 상기 표시부의 화면 상에 위치하는 아이콘들을 사용하게 되며, 상기 설정된 동작 순서에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 순서가 사용되고, 상기 설정된 동작 조합에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 조합이 사용될 수 있다.Here, the electrical display device further includes a display unit, and in determining whether the detected user operation corresponds to the set operation order or combination, the icons located on the screen of the display unit are used. In determining whether or not the operation order is matched, the recognition order of the icons according to the detected user action is used, and in determining whether the matching action combination is in accordance with, the recognition combination of the icons according to the detected user action is Can be used.

상기 촬상소자를 통해 입력된 영상을 알파-블렌딩(alpha-blending)하는 영상처리부를 더욱 포함할 수 있다.
The apparatus may further include an image processor configured to alpha-blend the image input through the image pickup device.

본 발명에서는, 동작 인식을 함에 있어 동작의 순서나 조합을 사용하게 되는데, 이와 같은 동작의 순서나 조합은 기능 실행을 위한 사용자의 의도적인 행위가 보다 체계화된 것으로서, 기능 실행과 무관한 사용자의 행위와는 뚜렷하게 차별화된다. In the present invention, in order to recognize a motion, a sequence or a combination of operations is used. The sequence or a combination of the operations is more systematic intentional behavior of a user for executing a function, and the user's behavior is irrelevant to the execution of the function. Is distinct from.

따라서, 동작에 민감하도록 구성하여 동작 인식의 인식률을 높인다고 하더라도, 의도하지 않은 사용자 동작과 혼동되어 인식될 가능성은 매우 낮은바, 오류율 또한 상당한 수준으로 감소될 수 있게 되는 것이다.
Therefore, even if it is configured to be sensitive to motion to increase the recognition rate of motion recognition, it is very unlikely to be recognized confused with unintended user motion, so that the error rate can be significantly reduced.

도 1은 종래의 손 동작 인식 방법을 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 사용자 동작 인식을 위한 사용자 동작 인식 장치를 포함하는 장치를 개략적으로 도시한 도면.
도 3은 본 발명의 실시예에 따른 사용자 동작 인식 방법을 개략적으로 도시한 흐름도.
도 4 및 5는 본 발명의 실시예에 따른 사용자 동작 인식 방법을 설명하기 위한 표시 화면의 예들을 도시한 도면.1 is a view for explaining a conventional hand gesture recognition method.
FIG. 2 schematically illustrates an apparatus including a user gesture recognition apparatus for recognizing a user gesture according to an exemplary embodiment of the present invention.
3 is a flowchart schematically illustrating a method for recognizing user motion according to an exemplary embodiment of the present invention.
4 and 5 illustrate examples of a display screen for explaining a method for recognizing a user's motion according to an exemplary embodiment of the present invention.

이하, 도면을 참조하여 본 발명의 실시예를 설명한다.
Hereinafter, embodiments of the present invention will be described with reference to the drawings.

도 2는 본 발명의 실시예에 따른 사용자 동작 인식을 위한 사용자 동작 인식 장치를 포함하는 장치를 개략적으로 도시한 도면이고, 도 3은 본 발명의 실시예에 따른 사용자 동작 인식 방법을 개략적으로 도시한 흐름도이다.FIG. 2 is a diagram schematically showing a device including a user gesture recognition apparatus for recognizing a user gesture according to an embodiment of the present invention, and FIG. 3 is a diagram schematically showing a method for recognizing a user gesture according to an embodiment of the present invention. It is a flow chart.

도 2를 참조하면, 본 발명의 실시예에 따른 장치(10)는, 사용자 동작 인식 장치(100)와, 제어부(200)와, 표시부(300)를 포함할 수 있다. Referring to FIG. 2, the apparatus 10 according to an exemplary embodiment of the present invention may include a user gesture recognition apparatus 100, a controller 200, and a display unit 300.

여기서, 본 발명의 실시예에 따른 장치(10)는, 사용자 동작 인식 장치(100)를 통해 입력된 정보를 기반으로 제어되어 동작하며, 자신이 동작함에 있어 전기를 사용하는 모든 종류의 장치를 의미한다고 할 것이다. 예를 들면, 플라즈마표시장치, 액정표시장치, 유기전계발광표시장치 등의 표시장치, 세탁기, 냉장고, 에어컨, 산업용 기기 등 다양한 형태의 장치가, 본 발명의 실시예에 따른 장치(10)에 포함된다고 할 것이다. 설명의 편의를 위해, 본 발명의 실시예에 따른 장치(10)는 전기 사용 장치(10)라고 칭할 수 있다.Here, the device 10 according to an embodiment of the present invention is controlled and operated based on information input through the user gesture recognition apparatus 100, and means all kinds of devices that use electricity in their operation. I will say. For example, various types of devices, such as a plasma display device, a liquid crystal display device, a display device such as an organic light emitting display device, a washing machine, a refrigerator, an air conditioner, and an industrial device, are included in the device 10 according to an embodiment of the present invention. Will be. For convenience of description, the device 10 according to an embodiment of the present invention may be referred to as an electric use device 10.

사용자 동작 인식 장치(100)는, 촬상소자(110)와 동작인식부(120)를 포함할 수 있다.The user gesture recognition apparatus 100 may include an imaging device 110 and a gesture recognition unit 120.

촬상소자(110)로서는 예를 들면 카메라(camera)가 사용될 수 있다. 이와 같은 촬상소자(110)를 통해 전방의 영상이 촬영되며, 촬영된 영상은 동작 인식부(120)에 입력될 수 있게 된다. 한편, 촬영된 영상은 표시부(300)에도 전달될 수 있으며, 이와 같은 경우에, 표시부(300)는 촬영된 영상을 화면 상에 실시간으로 표시할 수 있게 된다.As the imaging device 110, for example, a camera can be used. An image of the front is photographed through the imaging device 110, and the photographed image may be input to the motion recognition unit 120. Meanwhile, the photographed image may be transmitted to the display unit 300. In this case, the display unit 300 may display the captured image on a screen in real time.

동작인식부(120)는 입력된 영상을 분석하여, 사용자의 동작 예를 들면 손 동작을 검출하고 인식하게 된다.The motion recognition unit 120 analyzes the input image to detect and recognize a user's motion, for example, a hand motion.

이와 같은 손 동작 인식 결과는, 제어부(200)에 전송된다. 제어부(200)는, 손 동작 인식 결과에 따라, 대응되는 제어명령을 생성하여 출력할 수 있게 된다. 즉, 인식된 손 동작에 대응되는 특정 제어명령을 발생시킬 수 있게 된다. The hand gesture recognition result is transmitted to the controller 200. The controller 200 may generate and output a corresponding control command according to a hand gesture recognition result. That is, it is possible to generate a specific control command corresponding to the recognized hand motion.

이와 같이 발생된 제어명령에 따라, 전기 사용 장치(100)는 제어되고 동작할 수 있게 된다. 예를 들면, 표시장치가 사용되는 경우에, 전원을 오프(off)하거나, 채널(channel)을 변경하거나, 볼륨(volume)을 조절하거나, 그림을 이동 또는 확대하는 등의 다양한 기능이 수행될 수 있다. According to the control command generated in this way, the electrical device 100 can be controlled and operated. For example, when a display device is used, various functions such as turning off the power, changing a channel, adjusting a volume, moving or enlarging a picture, can be performed. have.

한편, 전기 사용 장치(10)는 영상처리부(400)를 더욱 포함할 수 있다. 영상처리부(400)는, 표시부(300)에 표시되는 영상에 대한 정보를 처리할 수 있다. 예를 들면, 비디오카드와 같은 외부시스템으로부터 영상 정보를 전달받고 이를 처리하여 표시부(300)에 전송할 수 있다. 한편, 필요에 따라 영상처리부(400)는 제어부(200)에 의해 제어될 수 있는데, 예를 들면, 동작 인식에 따른 전기 사용 장치(10)의 기능이 표시부(300)의 화면 표시와 관련된 경우에는 영상처리부(400)는 제어부(200)의 제어에 따라 화면 표시와 관련된 영상처리를 수행할 수 있다. 이 외에도, 영상처리부(400)는 다양한 형태의 영상처리를 수행할 수 있게 된다.
On the other hand, the electrical device 10 may further include an image processor 400. The image processor 400 may process information about an image displayed on the display unit 300. For example, the image information may be received from an external system such as a video card, processed, and transmitted to the display unit 300. On the other hand, the image processing unit 400 may be controlled by the control unit 200 as needed. For example, when the function of the electrical device 10 according to the motion recognition is related to the screen display of the display unit 300. The image processor 400 may perform image processing related to screen display under the control of the controller 200. In addition, the image processor 400 may perform various types of image processing.

이하, 도 3을 더욱 참조하여, 본 발명의 실시예에 따른 손 동작 인식 방법의 일예를 상세하게 설명한다.Hereinafter, an example of a hand gesture recognition method according to an exemplary embodiment of the present invention will be described in detail with reference to FIG. 3.

먼저, 촬상소자(110)를 통해 사용자를 포함한 영상이 촬영되고, 이와 같이 촬영된 영상은 동작인식부(120)에 입력된다 (st1). First, an image including a user is photographed through the imaging device 110, and the captured image is input to the motion recognition unit 120 (st1).

한편, 촬상소자(110)를 통해 입력된 영상은, 동작 인식을 위한 시각적 표식으로서 예를 들면 아이콘들과 알파-블렌딩(alpha-blending)되어, 표시부(300)의 사용자 인터페이스(UI: User Interface)에 표시될 수 있다 (st2). 여기서, 입력된 영상에 대한 알파-블렌딩은 영상처리부(400)에서 수행될 수 있다. On the other hand, the image input through the image pickup device 110 is alpha-blended with, for example, icons as visual markers for gesture recognition, and thus a user interface (UI) of the display unit 300. May be indicated (st2). Here, alpha-blending of the input image may be performed by the image processor 400.

예를 들면, 영상처리부(400)는 사용자 동작 인식 장치(100)로부터 촬영된 영상정보와 아이콘 정보를 입력받고, 이에 대한 알파-블렌딩처리를 수행할 수 있다. 이와 같이 알파-블렌딩된 영상정보는 표시부(300)에 전송될 수 있다. 이에 따라, 표시부(300)는 알파-블렌딩된 영상을 화면 상에 실시간으로 표시할 수 있게 된다.For example, the image processor 400 may receive image information and icon information captured by the user gesture recognition apparatus 100, and may perform alpha-blending processing thereof. In this way, the alpha-blended image information may be transmitted to the display unit 300. Accordingly, the display unit 300 may display the alpha-blended image on the screen in real time.

알파-블렌딩을 통해 표시부(300)에서 사용자 인터페이스로 표시된 화면의 예들이 도 4 및 5에 도시되어 있다. 여기서, 도 4 및 5는, 전기 사용 장치(10)로서 표시장치가 사용된 경우에서의 화면을 예로서 도시하고 있다.Examples of screens displayed by the user interface on the display unit 300 through alpha-blending are illustrated in FIGS. 4 and 5. 4 and 5 show an example of a screen in a case where a display device is used as the electricity use device 10.

도 4 및 5 각각의 좌측 화면을 살펴보면, 촬상소자(100)를 통해 촬영된 영상과, 아이콘(icon)들, 그리고 비디오카드 등의 외부 시스템으로부터 표시장치에 전달되어 표시부(300)에서 표시하고자 하는 그림 영상이 블렌딩되어 하나의 화면 상에 함께 표시되고 있다. 이처럼, 표시장치가 사용되는 경우에, 영상처리부(400)는, 촬영된 영상 및 아이콘들에 대한 정보와 함께, 화면에 표시하고자 하는 영상에 대한 정보를 입력받고, 이들에 대한 알파-블렌딩을 수행할 수 있게 된다.Referring to the left screen of FIGS. 4 and 5, the image captured by the imaging device 100, icons, and an external system such as a video card are transferred to the display device to be displayed on the display unit 300. The picture images are blended and displayed together on one screen. As such, when the display device is used, the image processor 400 receives information about an image to be displayed on the screen together with information about the captured image and icons, and performs alpha-blending on the image. You can do it.

한편, 촬영된 영상 및 아이콘들이 알파-블렌딩된 화면은 도 1을 참조할 수 있을 것이다.Meanwhile, the screen in which the captured image and the icons are alpha-blended may refer to FIG. 1.

다음으로, 사용자 인터페이스 상에서 사용자의 손 동작을 검출하게 된다 (st3). 즉, 사용자 인터페이스 상의 특정 위치에서 손 동작이 발생하게 되면, 이를 검출하게 된다.Next, the user's hand gesture is detected on the user interface (st3). That is, when a hand gesture occurs at a specific position on the user interface, it is detected.

다음으로, 검출된 손 동작이, 사전에 설정된 동작 순서나 조합에 부합하는지 여부를 판단하게 된다 (st4). Next, it is determined whether or not the detected hand motion corresponds to a preset operation order or combination (st4).

이와 관련하여, 사전에 설정된 동작 순서나 조합은, 설계자의 필요에 따라, 전기 사용 장치(10)에 설정되어 저장될 수 있을 것이다. 예를 들면, 특정 명령에 대응되는 동작 순서나 조합이 설정되고 저장될 수 있을 것이다. 그리고, 이와 같은 동작 순서나 조합을 저장하기 위해, 전기 사용 장치(10)는 메모리와 같은 저장부를 구비할 수 있을 것이다.In this regard, a predetermined operation sequence or combination may be set and stored in the electrical use device 10 as required by the designer. For example, an operation order or combination corresponding to a specific command may be set and stored. In addition, in order to store such an operation sequence or combination, the electrical device 10 may include a storage unit such as a memory.

다음으로, 전술한 판단 결과로서, 검출된 손 동작이 설정된 동작 순서나 조합에 부합한다고 판단되면, 검출된 손 동작은 설정된 동작 순서나 조합에 대응되는 손 동작으로서 인식되게 된다 (st5). Next, if it is determined as a result of the above-described determination that the detected hand motion corresponds to the set operation order or combination, the detected hand motion is recognized as a hand motion corresponding to the set operation order or combination (st5).

이와 같이, 손 동작이 인식되면, 대응되는 제어명령이 발생되어 해당 기능이 실행될 수 있게 된다.As such, when the hand gesture is recognized, a corresponding control command is generated to execute the corresponding function.

한편, 전술한 판단 결과로서, 검출된 손 동작이 설정된 동작 순서나 조합에 부합하지 않는다고 판단되면, 검출된 손 동작은 설정된 동작 순서나 조합에 대응되는 손 동작으로서 인식되지 않게 된다 (st6). On the other hand, if it is determined as a result of the above-described determination that the detected hand motion does not correspond to the set operation order or combination, the detected hand motion is not recognized as a hand operation corresponding to the set operation order or combination (st6).

이와 같이, 손 동작이 미인식되면, 전기 사용 장치(10)에는 별도의 제어명령이 발생되지 않게 된다.
In this manner, when the hand motion is not recognized, no separate control command is generated in the electric device 10.

여기서, 사용자 동작의 순서나 조합과 관련하여, 도 4 및 5를 예로 들어 보다 상세하게 설명한다. Here, with reference to FIGS. 4 and 5, the order and combination of user operations will be described in more detail.

먼저, 도 4를 참조하면, 사용자의 손이, 화면의 가운데 위치하는 연속하는 세개의 아이콘을 예를 들면 우->좌 방향으로 지나가도록 동작하게 된다. 즉, 손 동작의 순서는, 우->좌 방향으로 특정 위치의 세개의 아이콘을 순차적으로 지나가는 형태이다. First, referring to FIG. 4, the user's hand operates to pass three consecutive icons positioned at the center of the screen, for example in a right-> left direction. That is, the order of the hand motions is a form of sequentially passing three icons at a specific position in a right-> left direction.

한편, 전기 사용 장치(10)에는, 해당 세개의 아이콘을 우->좌 방향으로 지나가도록 이루어지는 동작 순서가 사전에 설정되어 저장되어 있다. 그리고, 이와 같은 동작 순서에 대응하여서는, 화면 상의 그림이 플립(flip)되어 우->좌로 이동하도록 제어명령이 발생되어, 해당 명령에 따른 기능이 실행될 수 있게 된다.On the other hand, in the electricity use apparatus 10, an operation sequence of passing the three icons in the right-> left direction is set in advance and stored. In addition, in response to such an operation sequence, a control command is generated such that the picture on the screen is flipped and moved from right to left, so that a function according to the command can be executed.

따라서, 도 4에 도시한 바와 같은 손 동작이 검출되는 경우에, 검출된 손 동작은 설정된 동작 순서에 부합된다. 이에 따라, 대응되는 기능이 실행되어, 도 4의 우측에 도시한 바와 같이 그림이 우->좌로 이동하게 된다.Therefore, when a hand gesture as shown in Fig. 4 is detected, the detected hand gesture corresponds to the set operation sequence. Accordingly, the corresponding function is executed, and the figure moves from right to left as shown in the right side of FIG.

다음으로, 도 5를 참조하면, 사용자의 양손이, 화면의 좌우 양측에 위치하는 두개의 아이콘을 예를 들면 동시에 지나가도록 동작하게 된다. 즉, 손 동작의 조합은, 좌우 양측 특정 위치의 두개의 아이콘을 양손이 동시에 지나가는 형태이다. Next, referring to FIG. 5, both hands of the user are operated to simultaneously pass two icons positioned at both left and right sides of the screen, for example. That is, the combination of hand motions is a form in which both hands pass simultaneously two icons at both left and right specific positions.

한편, 전기 사용 장치(10)에는, 해당 두개의 아이콘을 양손이 동시에 지나가도록 이루어지는 동작 조합이 사전에 설정되어 저장되어 있다. 그리고, 이와 같은 동작 조합에 대응하여서는, 화면 상의 그림이 확대되도록 제어명령이 발생되어, 해당 명령에 따른 기능이 실행될 수 있게 된다.On the other hand, in the electricity use apparatus 10, an operation combination in which both hands pass the two icons at the same time is set in advance and stored. In addition, in response to such an operation combination, a control command is generated so that the picture on the screen is enlarged, and a function according to the command can be executed.

따라서, 도 5에 도시한 바와 같은 손 동작이 검출되는 경우에, 검출된 손 동작은 설정된 동작 조합에 부합된다. 이에 따라, 대응되는 기능이 실행되어, 도 5의 우측에 도시한 바와 같이 그림이 확대되게 된다.
Therefore, in the case where a hand gesture as shown in Fig. 5 is detected, the detected hand gesture corresponds to the set motion combination. Accordingly, the corresponding function is executed, and the picture is enlarged as shown in the right side of FIG.

앞서 설명한 바와 같이, 본 발명의 실시예에서는, 사용자 동작 인식을 위해, 아이콘과 같은 시각적 표식이 사용될 수 있다. 즉, 아이콘들은 특정 위치를 나타내는 참조 표식으로서, 사용자 동작에 따라 인식되는 아이콘 순서나 조합에 따라, 해당 사용자 동작이 설정된 동작 순서나 조합에 부합하는지 여부를 판단할 수 있게 된다. 다시 말하면, 도 4를 예로 들어, 사용자 손이 움직이는 경우에, 해당 동작 범위 내에 위치하는 아이콘들의 인식 순서가 확인될 수 있을 것이며, 이를 기초로 사용자 동작이 설정된 동작 순서에 부합되는지를 판단할 수 있게 될 것이다. 또한, 도 5를 예로 들어, 사용자의 양손이 실질적으로 동시에 움직이는 경우에, 해당 동작 범위 내에 위치하는 아이콘들의 인식 조합이 확인될 수 있을 것이며, 이를 기초로 사용자 동작이 설정된 동작 조합에 부합되는지를 판단할 수 있게 될 것이다.
As described above, in an embodiment of the present invention, a visual marker such as an icon may be used to recognize a user's motion. That is, the icons are reference marks indicating specific positions, and according to the order or combination of icons recognized according to the user's action, it is possible to determine whether the corresponding user's action corresponds to the set operation order or combination. In other words, using FIG. 4 as an example, when the user's hand moves, the recognition order of the icons located within the corresponding operation range may be checked, and based on this, it may be determined whether the user's action corresponds to the set operation order. Will be. In addition, referring to FIG. 5, when both hands of the user are moved at substantially the same time, a recognition combination of icons located within a corresponding operation range may be confirmed, and it is determined whether the user operation corresponds to the set operation combination based on this. You will be able to.

전술한 바와 같이, 본 발명의 실시예에 따르면, 사용자의 동작이 특정 순서나 조합에 부합하는 경우에, 해당 동작이 인식되게 된다. 이처럼, 동작 인식에 있어 특정 순서나 조합을 사용하는 경우는, 일반적인 제어 환경에서 좀처럼 나타나지 않는 경우라 할 것이다. As described above, according to an embodiment of the present invention, when a user's motion matches a specific order or combination, the motion is recognized. As such, the use of a specific order or combination in gesture recognition will rarely appear in a general control environment.

이와 관련하여, 종래의 기술을 재차 살펴보면, 일반적인 제어 환경에서 나타나는 경우로서, 손을 흔드는 동작과 같이 단순한 하나의 동작만으로 명령을 실행하도록 구성되어 있다. 이에 따라, 동작 인식에 대한 인식률을 높이기 위해 동작에 민감하도록 구성하는 경우에, 이에 따른 반대 급부로서 오류율이 높아지게 되는 것이다.In this regard, the prior art again looks at a general control environment, and is configured to execute a command with only one simple operation, such as a waving operation. Accordingly, when the configuration is sensitive to the motion in order to increase the recognition rate for the motion recognition, the error rate is increased as a counter benefit.

한편, 본 발명의 실시예에서는, 동작 인식을 함에 있어 동작의 순서나 조합을 사용하게 되는데, 이와 같은 동작의 순서나 조합은 기능 실행을 위한 사용자의 의도적인 행위가 보다 체계화된 것으로서, 기능 실행과 무관한 사용자의 행위와는 뚜렷하게 차별화된다. 따라서, 동작에 민감하도록 구성하여 동작 인식의 인식률을 높인다고 하더라도, 의도하지 않은 사용자 동작과 혼동되어 인식될 가능성은 매우 낮은바, 오류율 또한 상당한 수준으로 감소될 수 있게 되는 것이다.
On the other hand, in the embodiment of the present invention, in order to recognize the motion, the order or combination of the actions is used. The order or combination of the actions is a systematization of the user's intentional behavior for the function execution. Distinct from the behavior of irrelevant users. Therefore, even if it is configured to be sensitive to motion to increase the recognition rate of motion recognition, it is very unlikely to be confused with the unintended user motion, so that the error rate can be reduced to a considerable level.

한편, 전술한 본 발명의 실시예에서는, 손 동작을 인식에 대해 주로 설명하였다. 한편, 본 발명의 실시예는, 손 이외에 발, 팔, 다리, 머리 등과 같이 움직임을 통해 사용자의 의사를 시각적으로 표현할 수 있는 기관 즉 동적 기관을 통한 사용자 동작을 인식하는 데에도 적용될 수 있음은, 당업자에게 자명하다 할 것이다.
On the other hand, in the above-described embodiment of the present invention, the hand gesture is mainly described for recognition. On the other hand, the embodiment of the present invention, in addition to the hand can be applied to recognize the user's motion through the organ that can visually express the user's intention through movement, such as feet, arms, legs, head, etc., It will be apparent to those skilled in the art.

전술한 본 발명의 실시예는 본 발명의 일예로서, 본 발명의 정신에 포함되는 범위 내에서 자유로운 변형이 가능하다. 따라서, 본 발명은, 첨부된 특허청구범위 및 이와 등가되는 범위 내에서의 본 발명의 변형을 포함한다.
Embodiment of the present invention described above is an example of the present invention, it is possible to change freely within the scope included in the spirit of the present invention. Accordingly, the invention includes modifications of the invention within the scope of the appended claims and their equivalents.

10: 전기 사용 장치 100: 사용자 동작 인식 장치
110: 촬상소자 120: 동작인식부
200: 제어부 300: 표시부
400: 영상처리부10: electric device 100: user gesture recognition device
110: imaging device 120: operation recognition unit
200: control unit 300: display unit
400: image processing unit

Claims (8)

전기 사용 장치의 사용자 동작 인식 방법에 있어서,
촬상소자를 통해 입력된 영상에서 사용자의 동작을 검출하는 단계와;
상기 검출된 사용자 동작이, 설정된 동작 순서나 조합에 부합하는지 여부를 판단하는 단계와;
상기 설정된 동작 순서나 조합에 부합하는 경우에, 상기 검출된 사용자 동작을 인식하는 단계
를 포함하는 사용자 동작 인식 방법.
In the user gesture recognition method of the electricity-using device,
Detecting a user's motion in an image input through the image pickup device;
Determining whether the detected user motion corresponds to a set operation order or combination;
Recognizing the detected user action in case of conforming to the set operation order or combination
User gesture recognition method comprising a.
제 1 항에 있어서,
상기 검출된 사용자 동작이 상기 설정된 동작 순서나 조합에 부합하는지 여부를 판단하는 단계는, 상기 전기 표시 장치의 표시부의 화면 상에 위치하는 아이콘들을 사용하게 되며,
상기 설정된 동작 순서에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 순서가 사용되고,
상기 설정된 동작 조합에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 조합이 사용되는
사용자 동작 인식 방법.
The method of claim 1,
The determining of whether the detected user motion corresponds to the set operation order or combination may use icons located on the screen of the display unit of the electric display device.
In determining whether or not the operation order is matched, the recognition order of the icons according to the detected user actions is used.
In determining whether to match the set action combination, a recognition combination of icons according to the detected user action is used.
How to recognize user gestures.
제 2 항에 있어서,
상기 촬상소자를 통해 입력된 영상을 알파-블렌딩(alpha-blending)하여 상기 표시부에 표시하는 단계
를 더욱 포함하는 사용자 동작 인식 방법.
The method of claim 2,
Alpha-blending the image input through the image pickup device and displaying the image on the display unit
User gesture recognition method further comprising.
전기 사용 장치의 사용자 동작 인식 장치에 있어서,
촬상소자와;
상기 촬상소자를 통해 입력된 영상에서 사용자의 동작을 검출하고; 상기 검출된 사용자 동작이, 설정된 동작 순서나 조합에 부합하는지 여부를 판단하고; 상기 설정된 동작 순서나 조합에 부합하는 경우에, 상기 검출된 사용자 동작을 인식하는 동작인식부
를 포함하는 사용자 동작 인식 장치.
A device for recognizing user motion of an electricity-using device,
An imaging device;
Detecting a user's motion in an image input through the imaging device; Determine whether the detected user motion corresponds to a set operation order or combination; A motion recognition unit for recognizing the detected user motion in case of conforming to the set operation order or combination
User gesture recognition device comprising a.
제 4 항에 있어서,
상기 검출된 사용자 동작이 상기 설정된 동작 순서나 조합에 부합하는지 여부를 판단함에 있어, 상기 전기 표시 장치의 표시부의 화면 상에 위치하는 아이콘들을 사용하게 되며,
상기 설정된 동작 순서에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 순서가 사용되고,
상기 설정된 동작 조합에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 조합이 사용되는
사용자 동작 인식 장치.
The method of claim 4, wherein
In determining whether the detected user motion corresponds to the set operation order or combination, icons located on the screen of the display of the electric display device are used.
In determining whether or not the operation order is matched, the recognition order of the icons according to the detected user actions is used.
In determining whether to match the set action combination, a recognition combination of icons according to the detected user action is used.
User gesture recognition device.
전기 사용 장치에 있어서,
촬상소자와;
상기 촬상소자를 통해 입력된 영상에서 사용자의 동작을 검출하고; 상기 검출된 사용자 동작이, 설정된 동작 순서나 조합에 부합하는지 여부를 판단하고; 상기 설정된 동작 순서나 조합에 부합하는 경우에, 상기 검출된 사용자 동작을 인식하는 동작인식부와;
상기 동작인식부의 인식 결과에 따라, 상기 전기 사용 장치의 동작을 제어하는 제어부
를 포함하는 전기 사용 장치.
In the electric device,
An imaging device;
Detecting a user's motion in an image input through the imaging device; Determine whether the detected user motion corresponds to a set operation order or combination; A motion recognition unit for recognizing the detected user motion when the set operation sequence or combination is matched;
A control unit which controls an operation of the electric using device according to a recognition result of the operation recognition unit
Electrical use device comprising a.
제 6 항에 있어서,
상기 전기 표시 장치는 표시부를 더욱 포함하고,
상기 검출된 사용자 동작이 상기 설정된 동작 순서나 조합에 부합하는지 여부를 판단함에 있어, 상기 표시부의 화면 상에 위치하는 아이콘들을 사용하게 되며,
상기 설정된 동작 순서에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 순서가 사용되고,
상기 설정된 동작 조합에 부합하는지 여부를 판단함에 있어, 상기 검출된 사용자 동작에 따른 아이콘들의 인식 조합이 사용되는
전기 사용 장치.
The method according to claim 6,
The electrical display device further includes a display unit,
In determining whether the detected user motion corresponds to the set operation order or combination, icons used on the screen of the display unit are used.
In determining whether or not the operation order is matched, the recognition order of the icons according to the detected user actions is used.
In determining whether to match the set action combination, a recognition combination of icons according to the detected user action is used.
Electrical devices.
제 7 항에 있어서,
상기 촬상소자를 통해 입력된 영상을 알파-블렌딩(alpha-blending)하는 영상처리부
를 더욱 포함하는 전기 사용 장치.The method of claim 7, wherein
An image processor for alpha-blending the image input through the image pickup device.
Electrical use device further comprising.
KR1020110050515A 2011-05-27 2011-05-27 Method and device of recognizing user's movement, and electric-using apparatus using the device KR102086495B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110050515A KR102086495B1 (en) 2011-05-27 2011-05-27 Method and device of recognizing user's movement, and electric-using apparatus using the device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110050515A KR102086495B1 (en) 2011-05-27 2011-05-27 Method and device of recognizing user's movement, and electric-using apparatus using the device

Publications (2)

Publication Number Publication Date
KR20120131981A true KR20120131981A (en) 2012-12-05
KR102086495B1 KR102086495B1 (en) 2020-03-10

Family

ID=47515708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110050515A KR102086495B1 (en) 2011-05-27 2011-05-27 Method and device of recognizing user's movement, and electric-using apparatus using the device

Country Status (1)

Country Link
KR (1) KR102086495B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354762A (en) * 2015-11-11 2016-02-24 国网山东省电力公司电力科学研究院 Work order identification and distribution system and method of electricity customer service business

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010098781A (en) * 2000-04-21 2001-11-08 이데이 노부유끼 Information processing apparatus, method of displaying movement recognizable standby state, method of showing recognizable movement, method of displaying movement recognizing process, and program storage medium
KR20060070280A (en) * 2004-12-20 2006-06-23 한국전자통신연구원 Apparatus and its method of user interface using hand gesture recognition
KR20100114779A (en) * 2009-04-16 2010-10-26 엘지전자 주식회사 Mobile terminal and control method thereof
KR20100128592A (en) * 2009-05-28 2010-12-08 엘지전자 주식회사 Mobile terminal and operating method thereof
KR20110002709A (en) * 2009-07-02 2011-01-10 엘지전자 주식회사 A mobile terminal having a plurality of virtual screen and a controlling method thereof
KR20110012820A (en) * 2009-07-31 2011-02-09 삼성전기주식회사 Indivisual authentication apparatus according to the motion mixture of the face element and method thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010098781A (en) * 2000-04-21 2001-11-08 이데이 노부유끼 Information processing apparatus, method of displaying movement recognizable standby state, method of showing recognizable movement, method of displaying movement recognizing process, and program storage medium
KR20060070280A (en) * 2004-12-20 2006-06-23 한국전자통신연구원 Apparatus and its method of user interface using hand gesture recognition
KR20100114779A (en) * 2009-04-16 2010-10-26 엘지전자 주식회사 Mobile terminal and control method thereof
KR20100128592A (en) * 2009-05-28 2010-12-08 엘지전자 주식회사 Mobile terminal and operating method thereof
KR20110002709A (en) * 2009-07-02 2011-01-10 엘지전자 주식회사 A mobile terminal having a plurality of virtual screen and a controlling method thereof
KR20110012820A (en) * 2009-07-31 2011-02-09 삼성전기주식회사 Indivisual authentication apparatus according to the motion mixture of the face element and method thereof

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Eiichi Hosoya 외 3인. Mirror Interface-An Interactive Communication System Utilizing the Metaphor of a Mirror. NTT Technical Review. Vol. 4, No. 5. 2006년 5월. 1부. *
Eiichi Hosoya 외 3인. Mirror Interface-An Interactive Communication System Utilizing the Metaphor of a Mirror. NTT Technical Review. Vol. 4, No. 5. 2006년 5월. 1부.* *
코원. 자주 묻는 질문과 답변. 터치 잠금 및 잠금해제 패턴 설정/해제. 2011년01월19일. 1부.* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105354762A (en) * 2015-11-11 2016-02-24 国网山东省电力公司电力科学研究院 Work order identification and distribution system and method of electricity customer service business

Also Published As

Publication number Publication date
KR102086495B1 (en) 2020-03-10

Similar Documents

Publication Publication Date Title
US10761610B2 (en) Vehicle systems and methods for interaction detection
US11262835B2 (en) Human-body-gesture-based region and volume selection for HMD
US10466794B2 (en) Gesture recognition areas and sub-areas for interaction with real and virtual objects within augmented reality
US9733752B2 (en) Mobile terminal and control method thereof
CN106716302B (en) Method, apparatus, and computer-readable medium for displaying image
KR102348947B1 (en) Method and apparatus for controlling display on electronic devices
US20170293383A1 (en) Portable device and method for controlling same
KR101334049B1 (en) Apparatus and method for providing user interface based on augmented reality
US10234955B2 (en) Input recognition apparatus, input recognition method using maker location, and non-transitory computer-readable storage program
US10514842B2 (en) Input techniques for virtual reality headset devices with front touch screens
US10969827B2 (en) Electronic device and method for controlling user interface therein
JP2012238293A (en) Input device
US20200089323A1 (en) Method and apparatus for interaction with virtual and real images
US20150012856A1 (en) Electronic device and method for displaying user interface for one handed operation
US9665260B2 (en) Method and apparatus for controlling screen of mobile device
KR101890140B1 (en) A method for controlling a display apparatus using a camera device and mobile device, display apparatus, and system thereof
KR20160072306A (en) Content Augmentation Method and System using a Smart Pen
US8970483B2 (en) Method and apparatus for determining input
KR102086495B1 (en) Method and device of recognizing user's movement, and electric-using apparatus using the device
JP6792721B2 (en) Electronics, programs, controls and control methods
KR101165388B1 (en) Method for controlling screen using different kind of input devices and terminal unit thereof
US20150241982A1 (en) Apparatus and method for processing user input
KR101870292B1 (en) Method and device of recognizing user's gesture, and electric-using apparatus using the device
KR101471304B1 (en) Virtual remote control apparatus and method thereof
KR20140077610A (en) Portable terminal and method for operating multi touch

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2018101003611; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20180829

Effective date: 20191023

S901 Examination by remand of revocation
E902 Notification of reason for refusal
GRNO Decision to grant (after opposition)
GRNT Written decision to grant