KR102293291B1 - Method and apparatus for controlling a robot using head mounted display - Google Patents
Method and apparatus for controlling a robot using head mounted display Download PDFInfo
- Publication number
- KR102293291B1 KR102293291B1 KR1020190178876A KR20190178876A KR102293291B1 KR 102293291 B1 KR102293291 B1 KR 102293291B1 KR 1020190178876 A KR1020190178876 A KR 1020190178876A KR 20190178876 A KR20190178876 A KR 20190178876A KR 102293291 B1 KR102293291 B1 KR 102293291B1
- Authority
- KR
- South Korea
- Prior art keywords
- hmd
- user
- user input
- robot
- feedback
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/087—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices for sensing other physical parameters, e.g. electrical or chemical properties
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/006—Controls for manipulators by means of a wireless system for controlling one or several manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
컴퓨팅 장치가 HMD 장비에 의해 수신된 사용자 입력에 따라 로봇을 제어하는 방법이 제공된다. 본 발명의 일 실시예에 따른 HMD를 이용한 로봇 제어 방법은 HMD(Head-Mounted Display)를 착용한 사용자의 머리 모션을 감지하는 단계, 상기 HMD에 내장된 센서를 이용하여, 상기 사용자의 동공의 위치를 감지하는 단계, 상기 동공의 위치가 감지된 결과를 이용하여, 상기 사용자의 시선이 제1 위치를 제1 기준 시간 이상 주시하고 있는지 여부를 결정하는 단계, 상기 사용자의 시선이 상기 제1 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정되고, 상기 사용자의 시선이 상기 제1 위치를 상기 제1 기준 시간 이상 주시하는 시점을 기준으로 제2 기준 시간 이내에 상기 HMD를 착용한 사용자의 제1 머리 모션이 감지된 경우, 상기 제1 위치에 위치한 객체와 상기 제1 머리 모션에 따라 결정되는 제1 사용자 입력이 발생된 것으로 판정하는 단계 및 상기 제1 사용자 입력에 따른 피드백이 상기 HMD에 디스플레이 되는 단계를 포함할 수 있다.A method is provided for a computing device to control a robot according to a user input received by an HMD equipment. A robot control method using an HMD according to an embodiment of the present invention includes detecting a head motion of a user wearing a head-mounted display (HMD), and using a sensor built in the HMD, the position of the user's pupil detecting, determining whether the user's gaze gazes at the first position for more than a first reference time using the result of the detection of the position of the pupil, the user's gaze determines the first position The first head of the user who wears the HMD is determined to be gazing at the first reference time or longer, and within a second reference time based on a point in time when the user's gaze gazes at the first position for the first reference time or longer If a motion is detected, determining that a first user input determined according to the first motion of the head and the object located at the first position has occurred, and displaying a feedback according to the first user input on the HMD may include.
Description
본 발명은 HMD 장비를 이용한 로봇 제어 방법 및 그 장치에 관한 것이다. 보다 상세하게는, 사용자에게 제공되는 카메라의 모드 및 로봇의 움직임을 HMD 장비를 이용하여 제어하는 방법 및 그 방법이 적용된 장치에 관한 것이다.The present invention relates to a method for controlling a robot using HMD equipment and an apparatus therefor. More particularly, it relates to a method of controlling a camera mode and robot movement provided to a user using an HMD device, and an apparatus to which the method is applied.
원격 로봇 제어의 초기 도입은 위험한 작업 분야에서 인간을 대체하기 위해 적용되었으나, 최근 인간의 작업 피로를 덜어주고 작업 능력을 증대하는 용도로 적용분야가 확대되고 있다. 이동성 및 작업성이 뛰어난 로봇들은 많이 개발되었으나, 로봇의 지능이 부족하여 정형화되지 않은 환경에서 사람을 대신하여 작업을 수행하기에는 한계가 있다. 따라서 부족한 로봇의 지능을 인간이 원거리에서 보완해 줄 수 있는 새로운 로봇 제어 방식이 개발된다면, 보다 효율적인 작업이 가능해질 것이다. The initial introduction of remote robot control was applied to replace humans in dangerous work fields, but recently, the application fields have been expanded to relieve human work fatigue and increase work ability. Although many robots with excellent mobility and workability have been developed, there is a limit to performing tasks on behalf of humans in an unstructured environment due to the lack of robot intelligence. Therefore, if a new robot control method that can compensate for the lack of robot intelligence from a distance is developed, more efficient work will be possible.
종래 원격 조종 로봇 제어 방법은 사용자가 HMD(Head-Mounted Display)를 장착한 후 원격지에 있는 로봇을 조종석에 앉아 조종자의 손으로 직접 제어하는 방식으로 이루어졌다. 그러나, 로봇 자체에 대한 제어뿐만 아니라 사용자의 작업 인터페이스에 대한 제어도 요구되어 조종자의 손에 의존한 제어 방식은 정밀하고 특수한 작업을 수행하기에는 한계가 있다. 따라서, HMD를 이용하여 사용자 손의 움직임 없이 사용자의 입력 정보에 따른 피드백으로 로봇을 제어하는 방법이 요구된다.In the conventional remote control robot control method, a user mounts a head-mounted display (HMD) and then sits in a cockpit to directly control the remote robot with the hands of the operator. However, since control of the user's work interface as well as control of the robot itself is required, the control method that relies on the hands of the manipulator has limitations in performing precise and special tasks. Accordingly, there is a need for a method of controlling a robot with feedback according to the user's input information without movement of the user's hand using the HMD.
더욱이, 로봇이 제공하는 영상 정보 내에 존재하는 겹쳐 있는 복수의 객체에 대한 처리는 로봇의 원격 조종에 있어서 매우 중요한 사항에 해당함에도 이에 대한 해결 방안이 없었다.Moreover, although the processing of a plurality of overlapping objects existing in the image information provided by the robot corresponds to a very important matter in the remote control of the robot, there is no solution to this.
본 발명이 해결하고자 하는 기술적 과제는, HMD 장비를 이용하여 HMD 장비에 내장된 센서로부터 얻은 사용자 입력에 따라 로봇을 제어하는 방법 및 그 방법이 적용된 장치를 제공하는 것이다.The technical problem to be solved by the present invention is to provide a method for controlling a robot according to a user input obtained from a sensor embedded in the HMD equipment using the HMD equipment, and an apparatus to which the method is applied.
본 발명이 해결하고자 하는 다른 기술적 과제는, 로봇이 제공하는 복수의 카메라 모드에 대한 선택을 제어하는 방법 및 그 방법이 적용된 장치를 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a method for controlling selection of a plurality of camera modes provided by a robot and an apparatus to which the method is applied.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 로봇이 제공하는 영상 정보 내에 존재하는 겹쳐 있는 복수의 객체에 대한 선택을 제어하는 방법 및 그 방법이 적용된 장치를 제공하는 것이다.Another technical problem to be solved by the present invention is to provide a method for controlling selection of a plurality of overlapping objects present in image information provided by a robot and an apparatus to which the method is applied.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The technical problems of the present invention are not limited to the technical problems mentioned above, and other technical problems not mentioned will be clearly understood by those skilled in the art from the following description.
상기 기술적 과제를 해결하기 위한, 본 발명의 일 실시예에 따른 HMD 장비를 이용한 로봇 제어 방법은, 사용자가 HMD 상에 디스플레이 되는 복수의 객체가 겹쳐 있는 겹침 위치를 제1 기준 시간 이상 주시하고 있는지 여부를 결정하는 단계 및 상기 겹침 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정된 경우, 초점 객체가 상기 복수의 객체 중 어느 하나로 변경된 피드백을 제공하는 단계를 포함할 수 있다. In a method for controlling a robot using an HMD device according to an embodiment of the present invention for solving the above technical problem, whether a user watches an overlapping position where a plurality of objects displayed on the HMD are overlapped for a first reference time or longer and providing feedback in which the focus object is changed to any one of the plurality of objects when it is determined that the overlapping position is observed for the first reference time or longer.
일 실시예에서, 상기 피드백을 제공하는 단계는 상기 HMD 상에 디스플레이 되는 겹쳐 있는 상기 복수의 객체 중 가장 앞에 위치한 객체부터 가장 뒤에 있는 객체까지 기준 주기를 두고 차례로, 상기 초점 객체가 변경된 피드백을 제공하는 단계를 포함할 수 있다.In one embodiment, the step of providing the feedback may include providing feedback that the focus object is changed in sequence with a reference period from the frontmost object to the rearmost object among the plurality of overlapping objects displayed on the HMD. may include steps.
일 실시예에서, 상기 기준 주기는 상기 HMD 상에 디스플레이 되는 상기 복수의 객체 개수가 증가하면, 짧아질 수 있다.In an embodiment, the reference period may be shortened when the number of the plurality of objects displayed on the HMD increases.
일 실시예에서, 상기 초점 객체로 변경될 대상 객체가 제1 조건에 해당하는 경우 상기 대상 객체 뒤에 있는 객체로, 상기 초점 객체가 변경된 피드백을 제공하는 단계를 더 포함할 수 있다.In an embodiment, when the target object to be changed into the focus object meets the first condition, the method may further include providing feedback on the change of the focus object to an object behind the target object.
일 실시예에서, 상기 피드백을 제공하는 단계는 상기 HMD 상에 디스플레이 되는 겹쳐 있는 상기 복수의 객체 중 제1 사용자 입력 시점을 기준으로 디스플레이 된 초점 객체의 뒤에 위치한 객체로, 상기 초점 객체가 변경된 피드백을 제공하는 단계를 포함할 수 있다.In an embodiment, the providing of the feedback includes receiving feedback that the focus object is changed to an object located behind the displayed focus object based on a first user input point among the plurality of overlapping objects displayed on the HMD. It may include the step of providing.
일 실시예에서, 상기 피드백을 제공하는 단계는 로봇에 내장된 카메라에 의해서 제공되어 상기 HMD 상에 디스플레이 되는 복수의 카메라 모드 중 제1 사용자 입력 시점을 기준으로 디스플레이 된 카메라 모드에서 다른 카메라 모드로, 상기 초점 객체가 변경된 피드백을 제공하는 단계를 포함할 수 있다.In one embodiment, the step of providing the feedback is provided by a camera built in the robot from a camera mode displayed based on a first user input point among a plurality of camera modes displayed on the HMD to another camera mode, It may include providing feedback that the focus object has changed.
일 실시예에서, HMD를 착용한 사용자의 머리 움직임 정보를 획득하는 단계, 상기 사용자가 제1 위치를 제1 기준 시간 이상 주시하고 있는지 여부를 결정하는 단계, 상기 사용자가 상기 제1 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정되고, 상기 사용자가 상기 제1 위치를 상기 제1 기준 시간 이상 주시하는 시점을 기준으로 제2 기준 시간 이내에 상기 HMD를 착용한 사용자의 제1 머리 모션이 감지된 경우, 상기 제1 위치에 위치한 객체와 상기 제1 머리 모션에 따라 결정되는 제1 사용자 입력이 발생된 것으로 판정하는 단계 및 상기 제1 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계를 포함할 수 있다.In an embodiment, obtaining head movement information of a user wearing an HMD, determining whether the user is looking at a first location for a first reference time or longer, the user selecting the first location as the second location It is determined that the user is looking at the first reference time or more, and the first head motion of the user wearing the HMD is detected within a second reference time based on the time when the user gazes at the first position for the first reference time or more. In this case, the method may include determining that a first user input determined according to the first motion of the head and the object located at the first position has occurred, and providing feedback according to the first user input to the HMD. have.
일 실시예에서, 상기 제1 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계는, 상기 HMD 상에 디스플레이 되는 상기 제1 위치에 위치한 객체가 확대된 피드백을 제공하는 단계를 포함할 수 있다.In an embodiment, the step of providing the feedback according to the first user input to the HMD may include providing feedback in which the object located at the first position displayed on the HMD is enlarged.
일 실시예에서, 상기 제1 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계는, 초점 객체가 복수의 객체 중 어느 하나로 변경된 피드백을 제공하는 단계를 포함할 수 있다.In an embodiment, the step of providing the feedback according to the first user input to the HMD may include providing feedback in which the focus object is changed to any one of a plurality of objects.
일 실시예에서, 상기 제1 사용자 입력에 따른 피드백이 상기 HMD에 디스플레이 되는 도중, 상기 사용자가 제2 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정되고, 상기 사용자가 상기 제2 위치를 상기 제1 기준 시간 이상 주시하는 시점을 기준으로 상기 제2 기준 시간 이내에 상기 HMD를 착용한 사용자의 제2 머리 모션이 감지된 경우, 상기 제2 위치에 위치한 객체와 상기 제2 머리 모션에 따라 결정되는 제2 사용자 입력이 발생된 것으로 판정하는 단계 및 상기 제2 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계를 더 포함할 수 있다.In an embodiment, while the feedback according to the first user input is being displayed on the HMD, it is determined that the user is looking at the second location for more than the first reference time, and the user is looking at the second location. When a second head motion of the user wearing the HMD is detected within the second reference time based on the time of gazing for more than the first reference time, it is determined according to the second head motion and the object located at the second location. The method may further include determining that a second user input has occurred and providing feedback according to the second user input to the HMD.
일 실시예에서, 상기 제1 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계는, 상기 제1 위치에 위치한 객체에 대한 상기 로봇의 움직임을 제어하는 행동 선택지가 상기 HMD 상에 표시되는 피드백을 제공하는 단계를 포함할 수 있다.In an embodiment, the step of providing the feedback according to the first user input to the HMD includes providing feedback in which an action option for controlling the movement of the robot with respect to the object located at the first position is displayed on the HMD may include the step of
일 실시예에서, 사용자의 눈 주변 근육의 움직임 정보를 획득하는 단계, 상기 사용자의 눈 주변 근육의 움직임에 기반한 움직임 패턴에 대응되는 제1 사용자 입력이 발생된 것으로 판정하는 단계 및 상기 제1 사용자 입력에 따라 초점 객체가 복수의 객체 중 어느 하나로 변경된 피드백을 제공하는 단계를 포함할 수 있다.In one embodiment, the steps of obtaining movement information of the muscles around the eyes of the user, determining that a first user input corresponding to a movement pattern based on the movement of the muscles around the eyes of the user is generated, and the first user input The method may include providing feedback in which the focus object is changed to any one of a plurality of objects according to the method.
일 실시예에서, 사용자가 HMD 상에 디스플레이 되는 제1 객체가 있는 위치를 제1 기준 시간 이상 주시하고 있는지 여부를 결정하는 단계 및 상기 사용자가 상기 제1 객체가 있는 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정된 경우, 상기 제1 객체에 대한 로봇의 움직임을 제어하는 행동 선택지가 상기 HMD상에 표시되는 피드백을 제공하는 단계를 포함할 수 있다.In an embodiment, determining whether the user is looking at the location of the first object displayed on the HMD for more than a first reference time, and determining whether the user is looking at the location of the first object displayed on the HMD for the first reference time or more When it is determined that the user is watching, the method may include providing feedback in which an action option for controlling the movement of the robot with respect to the first object is displayed on the HMD.
본 발명의 일 실시예에 따른 HMD 장비를 이용한 로봇 제어 장치는, 프로세서, 네트워크 인터페이스, 메모리 및 상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되, 상기 컴퓨터 프로그램은,The robot control apparatus using the HMD equipment according to an embodiment of the present invention includes a processor, a network interface, a memory, and a computer program loaded into the memory and executed by the processor, the computer program comprising:
HMD를 착용한 사용자의 머리 움직임 정보를 획득하는 인스트럭션(instruction), 상기 HMD에 내장된 센서를 이용하여, 상기 사용자가 제1 위치를 제1 기준 시간 이상 주시하고 있는지 여부를 결정하는 인스트럭션, 상기 사용자가 상기 제1 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정되고, 상기 사용자가 상기 제1 위치를 상기 제1 기준 시간 이상 주시하는 시점을 기준으로 제2 기준 시간 이내에 상기 HMD를 착용한 사용자의 제1 머리 모션이 감지된 경우, 상기 제1 위치에 위치한 객체와 상기 제1 머리 모션에 따라 결정되는 제1 사용자 입력이 발생된 것으로 판정하는 인스트럭션 및 상기 제1 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계를 포함할 수 있다.An instruction for acquiring head movement information of a user wearing an HMD, an instruction for determining whether the user is looking at a first location for a first reference time or longer, using a sensor built in the HMD, the user a user who wears the HMD within a second reference time based on a time when it is determined that the user is looking at the first location for the first reference time or longer, and the user looks at the first location for the first reference time or longer When the first head motion of It may include the step of providing
도 1은 본 발명의 일 실시예에 따른 HMD 장비를 이용한 로봇 제어 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 해결하고자 하는 과제에 대한 예시도이다.
도 3은 본 발명의 일 실시예에 따라 HMD 장비를 이용하여 로봇을 제어하는 방법을 수행하는 프로세스를 도시한 순서도이다.
도 4는 도 3을 참조하여 설명된 방법의 일부 동작을 상세히 설명하기 위한 상세 순서도이다.
도 5는 도 4를 참조하여 설명된 방법의 일부 동작을 상세히 설명하기 위한 상세 순서도이다.
도 6은 도 5를 참조하여 설명된 방법에 따른 HMD 장비를 이용하여 로봇을 제어하는 방법을 설명하기 위한 예시도이다.
도 7은 도 4를 참조하여 설명된 방법의 일부 동작을 상세히 설명하기 위한 상세 순서도이다.
도 8은 도 7을 참조하여 설명된 방법에 따른 HMD 장비를 이용하여 로봇을 제어하는 방법을 설명하기 위한 예시도이다.
도 9는 도3을 참조하여 설명된 방법에 일 부 동작이 더 추가된 방법을 상세히 설명하기 위한 상세 순서도이다.
도 10 내지 도 11은 본 발명의 다른 실시예에 따라 HMD 장비를 이용하여 로봇을 제어하는 방법을 수행하는 프로세스를 도시한 순서도이다.
도 12는 본 발명의 다양한 실시예들을 구현할 수 있는 예시적인 컴퓨팅 장치를 도시한 도면이다.1 is a block diagram of a robot control system using an HMD device according to an embodiment of the present invention.
2 is an exemplary diagram of a problem to be solved according to an embodiment of the present invention.
3 is a flowchart illustrating a process of performing a method for controlling a robot using an HMD equipment according to an embodiment of the present invention.
4 is a detailed flowchart for describing in detail some operations of the method described with reference to FIG. 3 .
FIG. 5 is a detailed flowchart for describing in detail some operations of the method described with reference to FIG. 4 .
6 is an exemplary view for explaining a method of controlling a robot using the HMD equipment according to the method described with reference to FIG. 5 .
7 is a detailed flowchart for describing in detail some operations of the method described with reference to FIG. 4 .
8 is an exemplary diagram for explaining a method of controlling a robot using the HMD equipment according to the method described with reference to FIG. 7 .
9 is a detailed flowchart for explaining in detail a method in which some operations are further added to the method described with reference to FIG. 3 .
10 to 11 are flowcharts illustrating a process of performing a method of controlling a robot using an HMD equipment according to another embodiment of the present invention.
12 is a diagram illustrating an exemplary computing device that may implement various embodiments of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but may be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims.
각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In adding reference numerals to the components of each drawing, it should be noted that the same components are given the same reference numerals as much as possible even though they are indicated on different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly defined in particular. The terminology used herein is for the purpose of describing the embodiments and is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.In addition, in describing the components of the present invention, terms such as first, second, A, B, (a), (b), etc. may be used. These terms are only for distinguishing the components from other components, and the essence, order, or order of the components are not limited by the terms. When a component is described as being “connected”, “coupled” or “connected” to another component, the component may be directly connected or connected to the other component, but another component is between each component. It should be understood that elements may be “connected,” “coupled,” or “connected.”
명세서에서 사용되는 "포함한다 (comprises)" 및/또는 "포함하는 (comprising)"은 언급된 구성 요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성 요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.As used herein, “comprises” and/or “comprising” refers to the presence of one or more other components, steps, operations and/or elements mentioned. or addition is not excluded.
이하, 본 발명의 몇몇 실시예들에 대하여 첨부된 도면에 따라 상세하게 설명한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 HMD 장비를 이용한 로봇 제어 시스템의 구성도이다.1 is a block diagram of a robot control system using an HMD device according to an embodiment of the present invention.
도 1을 참조하면, HMD 장비를 이용한 로봇 제어 시스템은 대상 서버(100), HMD 장비(200) 및 로봇(300)을 포함할 수 있다. 도 1은 대상 서버(100)가 로봇(300)에 의해 제공되는 영상 정보를 수신하고, HMD 장비(200)에 의해 센서 감지 정보를 수신하여 로봇을 제어하는 실시예를 도시하고 있다.Referring to FIG. 1 , a robot control system using an HMD device may include a
일 실시예에 따르면, 대상 서버(100), HMD 장비(200) 및 로봇(300)은 네트워크를 통해 서로 연결될 수 있는 컴퓨팅 장치를 포함하여 구성될 수 있다. 예를 들어, 대상 서버(100)는 하나 이상의 프로세서를 포함하여 구성되는 서버 장치, 데스크탑 PC, 노트북, 스마트폰과 같은 장치를 포함하여 구성될 수 있다. HMD 장비(200)는, 예를 들어, 화면을 출력할 수 있는 디스플레이를 구비한 장치를 포함하여 구성될 수 있다. 나아가, 사용자의 동공의 위치, 눈 주변 근육의 움직임, 머리 움직임을 감지하는 센서를 포함하여 구성될 수 있다. 다른 실시예에서, HMD 장비(200)는 하나 이상의 프로세서를 포함하여 구성되는 장치를 포함하여 구성될 수 있다. 로봇(300)은 사용자에게 작업 진행 지역의 다양한 정보를 제공할 수 있는 카메라를 포함하여 구성될 수 있다. 예를 들어, 가시광선 카메라, 열화상 카메라, 초음파 카메라와 같은 장치를 포함하여 구성될 수 있다. 다만, 상기 예시에 본 발명이 한정되는 것은 아니다.According to an embodiment, the
본 발명의 일 실시예에 따른 대상 서버(100)는 HMD 장비(200)로부터 사용자 입력에 대한 다양한 정보를 획득할 수 있다. 여기서 사용자 입력에 대한 정보는, 사용자 동공의 위치 정보, 상기 동공의 위치 정보를 활용한 사용자 시선의 위치 정보, 상기 시선의 위치 정보를 활용한 주시 시간 정보, 사용자 눈 주변 근육의 움직임 정보 및 사용자의 머리 움직임 정보를 포함할 수 있다.The
본 발명의 다른 실시예에서, 대상 서버(100)는 HMD 장비(200)로부터 사용자 입력에 대한 정보를 획득하여 사용자 입력을 결정하기 위해 정보를 가공할 수 있다. 사용자 입력에 대한 정보는 사용자 동공의 위치 정보가 될 수 있다. 본 실시예에서, 대상 서버(100)는 HMD 장비(200)로부터 사용자 동공의 위치 정보를 얻어 사용자 시선의 위치 정보를 획득할 수 있다. 나아가, 대상 서버(100)는 사용자 시선의 위치 정보를 활용하여, 주시 시간 정보를 획득할 수 있다.In another embodiment of the present invention, the
본 발명의 일 실시예에 따른 대상 서버(100)는 로봇(300)으로부터 작업 진행 지역에 대한 다양한 정보를 획득할 수 있다. 여기서 작업 진행 지역에 대한 정보는, 원격지의 로봇(300)이 촬영한 가시광선 영역의 영상 정보, 열화상 영상 정보 및 초음파 영상 정보를 포함할 수 있다.The
본 발명의 일 실시예에 따른 HMD 장비(200)는 상기 사용자 입력에 대한 정보를 감지하는 센서를 포함할 수 있다. 일 실시예에서, 사용자의 동공의 위치 및 동공의 위치 정보를 활용한 사용자 시선의 위치 정보를 얻기 위해 IR신호 및 안구 전위(EOG)를 감지하는 센서가 이용될 수 있다. 이에 대한 구체적인 방법은 대한민국 등록특허 제10-1817436호에서 확인할 수 있다. 상기 시선의 위치 정보를 활용하여 시선이 위치한 지점에 대한 사용자의 주시 시간 정보를 얻을 수 있다. 다른 실시예에서, 사용자 눈 주변 근육의 움직임 정보를 얻기 위해 IR신호를 감지하는 센서가 이용될 수 있다. 이에 대한 구체적인 방법은 대한민국 등록특허 제10-1759444호에서 확인할 수 있다. 또 다른 실시예에서, 사용자 머리의 움직임 정보를 얻기 위해 가속도 센서 및 자이로 센서가 이용될 수 있다.The
본 발명의 일 실시예에 따른 HMD 장비(200)는 사용자에게 작업 진행 지역의 영상 정보를 제공하는 디스플레이를 포함할 수 있다. 상기 영상 정보는 로봇(300)으로부터 직접 제공되는 것일 수 있다. 다른 실시예에서, 대상 서버(100)에 의해 가공되어 제공되는 것일 수도 있다.The
본 발명의 일 실시예에 따른 로봇(300)은 작업 진행 지역에 대한 다양한 정보를 획득할 수 있다. 여기서 작업 진행 지역에 대한 정보는 가시광선 카메라에 의해 얻어질 수 있다. 다른 실시예에서 정보는 열화상 카메라에 의해 얻어질 수 있다. 또 다른 실시예에서 정보는 초음파 카메라에 의해 얻어질 수 있다. The
본 발명의 일 실시예에 따른 로봇(300)은 대상 서버(100)로부터 제어되어 작업이 수행될 수 있다. 다른 실시예에서, 로봇(300)은 HMD 장비로부터 직접 제어되어 작업이 수행될 수 있다.The
이하 도 2를 참조하여, 본 발명의 일 실시예에 따라 해결하고자 하는 과제에 대한 구체적인 예시를 설명한다. 최근 원격 조종 로봇 제어는 인간의 작업 피로를 덜어주고 작업 능력을 증대하는 용도로 적용분야가 확대되고 있다. 산업 현장뿐만 아니라 상점, 가정에서의 적용으로 확대되고 있는 추세다.Hereinafter, a specific example of a problem to be solved according to an embodiment of the present invention will be described with reference to FIG. 2 . Recently, the field of application of remote control robot control is expanding to reduce human fatigue and increase work ability. The trend is expanding to be applied not only in industrial sites but also in shops and homes.
도 2를 참조하면, 도시된 복수의 셔츠는 상점 로봇이 제공하는 영상 정보의 일 예에 해당한다. 예를 들어, 사용자는 원격지에서 로봇이 제공하는 영상 정보를 토대로 쇼핑을 수행할 수 있고, 로봇이 제공하는 영상 정보 속 복수의 셔츠 중 몇몇 셔츠에 대한 상품 정보를 구매에 앞서 요구할 수 있다. 로봇이 제공하는 영상 정보는 복수의 셔츠 상호간 겹쳐 있는 모습으로 제공되므로, 복수의 셔츠 중 구매에 앞서 정보를 확인하고 싶은 몇몇 셔츠에 대한 객체 선택이 어려워지는 문제가 발생한다. 후술할 몇몇 실시예에서, 원격지에서 HMD를 착용한 사용자의 입력에 대응하는 초점 객체를 변경시켜 대상 객체를 선택함으로써, 복수의 객체가 겹쳐 있는 상황에서 특정 객체에 대한 선택을 용이하게 할 수 있다. 즉, 디스플레이 상에 겹쳐 있는 복수의 객체 중 특정 객체를 선택하게 하는 인터페이스를 제공함으로써, 로봇이 특수하고 정밀한 작업을 진행하기 위한 동작의 사전 제어 방법을 제공한다. 대상 객체에 대한 정확한 선택을 제공함으로써, 로봇은 정교하고 직관적인 명령에 따른 동작을 수행할 수 있다. Referring to FIG. 2 , the illustrated plurality of shirts corresponds to an example of image information provided by the shop robot. For example, the user may perform shopping at a remote location based on image information provided by the robot, and may request product information on some shirts among a plurality of shirts in the image information provided by the robot prior to purchase. Since the image information provided by the robot is provided in the form of a plurality of shirts overlapping each other, it is difficult to select an object for some shirts whose information is to be checked prior to purchase among the plurality of shirts. In some embodiments to be described later, by selecting a target object by changing a focus object corresponding to an input of a user wearing an HMD at a remote location, it is possible to facilitate selection of a specific object in a situation in which a plurality of objects overlap. That is, by providing an interface for selecting a specific object from among a plurality of objects overlapped on the display, a method for pre-controlling the operation of the robot to perform a special and precise operation is provided. By providing an accurate selection of the target object, the robot can perform actions according to sophisticated and intuitive commands.
이하 도 3에서, 본 발명의 실시예에 따른 HMD 장비를 이용한 로봇 제어 방법에 대하여 구체적으로 설명한다. 상기 로봇 제어 방법은 대상 서버(100)에 의해 수행될 수 있다.Hereinafter, a robot control method using an HMD device according to an embodiment of the present invention will be described in detail with reference to FIG. 3 . The robot control method may be performed by the
도 3은 본 발명의 일 실시예에 따라 HMD 장비를 이용하여 로봇을 제어하는 방법을 수행하는 프로세스를 도시한 순서도이다.3 is a flowchart illustrating a process of performing a method for controlling a robot using an HMD equipment according to an embodiment of the present invention.
단계 S101에서 HMD 장비(200)에서 동공의 위치가 감지된다. HMD 장비(200)에서 감지된 동공의 위치 정보는 대상 서버(100)에 제공될 수 있다. 상기 동공의 위치는 IR 신호 또는 EOG 신호를 감지하는 센서에 의해 감지될 수 있다. 다만, 이에 한정되는 것은 아니고 동공의 위치를 감지할 수 있는 다양한 방법이 포함될 수 있다. 나아가, 상기 동공의 위치는 HMD 상에 위치한 제1 위치를 특정하기 위한 여러 수단 중 하나에 해당하므로, 본 발명은 이에 한정되지 않는다. In step S101, the position of the pupil in the
다음으로, 단계 S103에서 제1 위치 주시 시간이 결정된다. 단계 S101에서 감지된 동공의 위치를 이용하여 HMD 상에 위치한 제1 위치가 특정되고, 제1 위치에서 기준 거리 이내에 사용자의 시선이 머문 시간이 계산될 수 있다. 다만, 동공의 위치는 상기 제1 위치를 특정하기 위한 여러 수단 중 하나에 해당하므로, 본 발명은 이에 한정되지 않는다. 상기 주시 시간은 HMD 장비(200)에서 계산되어 대상 서버(100)에 제공될 수 있다. 다른 실시예에서, 대상 서버(100)는 HMD 장비(200)로부터 실시간 동공의 위치 정보만을 얻어 HMD 상에 위치한 제1 위치를 계산하고, 해당 위치에 대한 주시 시간이 결정될 수 있다.Next, in step S103, the first position gaze time is determined. A first position located on the HMD may be specified using the position of the pupil detected in step S101, and the time the user's gaze stays within a reference distance from the first position may be calculated. However, since the position of the pupil corresponds to one of several means for specifying the first position, the present invention is not limited thereto. The gaze time may be calculated by the
다음으로, 단계 S105에서 제1 위치를 제1 기준 시간 이상 주시하고 있는 경우, 단계 S107에서 머리 모션이 감지된다. HMD 장비(200)에서 감지된 머리 모션은 대상 서버(100)에 제공될 수 있다. 상기 머리 모션은 가속도 센서 및 자이로 센서에 의해 감지될 수 있다. 상기 가속도 센서 및 자이로 센서를 활용함으로써, 사용자의 수직, 수평 방향 머리 모션이 감지될 수 있다. Next, when the first position is observed for more than the first reference time in step S105, a head motion is detected in step S107. The head motion detected by the
다음으로, 단계 S109에서, 제1 위치를 제1 기준 시간 이상 주시한 시점을 기준으로 제2 기준 시간 이내에 제1 머리 모션이 감지된 경우, 단계 S111에서, HMD 상의 제1 위치에 위치한 객체 및 사용자의 제1 머리 모션의 조합을 기반으로 사용자의 입력이 결정된다. 상기 사용자 입력의 결정은 HMD 장비(200)에 의해 제공된 감지 정보를 바탕으로, 대상 서버(100)에 의해 수행될 수 있다. Next, in step S109, when the first head motion is detected within the second reference time based on the time when the first location is observed for the first reference time or longer, in step S111, the object and the user located at the first location on the HMD The user's input is determined based on the combination of the first head motions of The determination of the user input may be performed by the
다음으로, 단계 S113에서, 결정된 사용자 입력에 따른 피드백이 HMD에 디스플레이 된다. 대상 서버(100)에 의해 결정된 사용자 입력에 대응하는 피드백이 HMD 장비(200)에 전달되어 디스플레이 될 수 있다. Next, in step S113, feedback according to the determined user input is displayed on the HMD. Feedback corresponding to the user input determined by the
단계 S113을 구체화한 구체적 실시예에서, 단계 S111에서 결정된 제1 위치에 위치한 객체가 확대된 피드백이 디스플레이 된다. 예를 들어, HMD 상에 위치한 특정 객체가 있는 위치를 제1 기준 시간 이상 주시한 시점을 기준으로 제2 기준 시간 이내에 고정된 머리 모션이 감지된 경우, 특정 개체가 있는 위치 및 고정된 머리 모션의 조합에 의해 특정 개체가 확대되는 피드백이 디스플레이 될 수 있다. 다만, 본 예시가 설정한 제1 위치 및 제1 머리 모션에 본 발명이 한정되는 것은 아니다. 특정 객체가 확대되는 피드백이 디스플레이 됨으로써, 확대된 대상 객체에 대한 로봇을 활용한 추후 작업을 보다 용이하게 수행할 수 있다. In a specific embodiment embodying step S113, an enlarged feedback of the object located at the first position determined in step S111 is displayed. For example, if a fixed head motion is detected within the second reference time based on the time when the location of the specific object located on the HMD is observed for the first reference time or longer, the location of the specific object and the fixed head motion Feedback that a specific object is magnified by the combination can be displayed. However, the present invention is not limited to the first position and the first head motion set in this example. By displaying the feedback that the specific object is enlarged, it is possible to more easily perform a subsequent operation using the robot for the enlarged target object.
다른 실시예에서, 단계 S111에서 결정된 제1 위치에 위치한 객체에 대한 로봇의 움직임을 제어하는 행동 선택지가 표시되는 피드백이 디스플레이 된다. 예를 들어, HMD 상에 위치한 특정 객체가 있는 제1 위치를 제1 기준 시간 이상 주시한 시점을 기준으로 제2 기준 시간 이내에 머리를 360도 회전하는 모션이 감지된 경우, 특정 개체가 있는 위치 및 360도 회전하는 머리 모션의 조합에 의해 특정 객체에 대한 로봇의 움직임을 제어하는 행동 선택지가 표시되는 피드백이 디스플레이 될 수 있다. 다만, 본 예시가 설정한 제1 위치 및 제1 머리 모션에 본 발명이 한정되는 것은 아니다.In another embodiment, feedback in which an action option for controlling the movement of the robot with respect to the object located at the first position determined in step S111 is displayed is displayed. For example, when a motion of rotating the head 360 degrees is detected within the second reference time based on the time when the first location where the specific object located on the HMD is located for the first reference time or longer, the location of the specific object and the Feedback indicating an action option for controlling the robot's movement with respect to a specific object by a combination of 360-degree rotating head motion may be displayed. However, the present invention is not limited to the first position and the first head motion set in this example.
본 실시예에서, 특정 객체에 대한 로봇의 움직임이 여러가지 행동 선택지로 제공된다. 예를 들어, 앞서 도 2에 예시된 상점 로봇에 해당하는 경우, 특정 객체는 상점에서 판매되는 상품에 해당할 수 있다. 로봇의 움직임으로 제공되는 선택지는 상기 상품에 대한 정보를 제공, 상기 상품을 다른 각도에서 볼 수 있게 이동, 상기 상품에 대한 주문 및 포장 등을 포함할 수 있다. 다른 예를 들어, 방범 로봇에 해당하는 경우, 특정 객체는 보안이 요구되는 공간 속 승인되지 않은 사람일 수 있다. 로봇의 움직임으로 제공되는 선택지는 상기 사람에 대한 계속된 추적, 관리자에 대한 보고, 다른 방법 로봇에 대한 추적 요청 등을 포함할 수 있다.In this embodiment, movement of the robot with respect to a specific object is provided as various action options. For example, when corresponding to the store robot illustrated in FIG. 2 above, the specific object may correspond to a product sold in a store. The options provided by the movement of the robot may include providing information about the product, moving the product to be viewed from a different angle, ordering and packaging the product, and the like. For another example, in the case of a security robot, the specific object may be an unauthorized person in a space requiring security. The options provided by the robot's movement may include a continuous tracking of the person, a report to the manager, and a request to track the robot in another way.
도 3에 도시된 바와 같이, 사용자의 입력에 따른 피드백이 HMD에 디스플레이 될 수 있다. 이러한 제어 방법을 로봇의 추후 동작을 제어하기 위한 로봇의 사전 제어 방법으로 이용함으로써, 사용자의 정밀한 작업 환경을 조성하는 인터페이스를 제공한다. 나아가, 사용자 손의 이용을 필요로 하지 않음으로써, 복잡한 조작키를 구비하지 않더라도 인터페이스를 통제할 수 있는 수단을 제공한다.As shown in FIG. 3 , feedback according to a user's input may be displayed on the HMD. By using this control method as a pre-control method of the robot for controlling the subsequent operation of the robot, an interface for creating a user's precise work environment is provided. Furthermore, since the use of the user's hand is not required, a means for controlling the interface is provided even without a complicated operation key.
이하 도 4에서, 단계 S113의 동작을 구체화한 본 발명의 몇몇 실시예에 따른 로봇 제어 방법에 대해 구체적 설명한다. 상기 로봇 제어 방법은 대상 서버(100)에 의해 수행될 수 있다. Hereinafter, in FIG. 4 , a robot control method according to some embodiments of the present invention in which the operation of step S113 is specified will be described in detail. The robot control method may be performed by the
단계 S130에서, 초점 객체가 복수의 객체 중 어느 하나로 변경된 피드백이 디스플레이 된다. 대상 서버(100)에 의해 결정된 사용자 입력에 대응하는 피드백이 HMD 장비(200)에 전달되어 디스플레이 될 수 있다. 상기 초점 객체란, HMD 상에서 디스플레이 되는 여러 객체 중 선택되어 디스플레이 되는 특정 객체를 의미한다. 다만, 선택되어 디스플레이 되는 특정 객체 자체에 한정되는 것은 아니고, 로봇(300)에 의해 제공되는 복수의 카메라 모드 중 선택되어 디스플레이 되는 특정 카메라 모드를 의미할 수 있다. 즉, 초점 객체란 선택 가능한 복수의 객체 중에서 선택되어 디스플레이 된 특정 객체를 의미한다. 상기 초점 객체는 HMD 상에서 객체 테두리에 특정 색이 표시되거나 특정 색으로 음영처리 될 수 있다. 다만, 본 발명은 이에 한정되는 것은 아니다.In step S130, the feedback that the focus object is changed to any one of the plurality of objects is displayed. Feedback corresponding to the user input determined by the
본 실시예에서, 사용자 입력에 대응하여, 초점 객체가 복수의 객체 중 어느 하나로 변경되는 피드백이 디스플레이 될 수 있다. 본 실시예에서 사용자 입력은, HMD 상에 복수의 객체가 겹쳐 있는 겹침 위치를 사용자가 제1 기준 시간 이상 주시하고 있는 경우, 겹침 위치 주시 시간이 될 수 있다. In the present embodiment, in response to a user input, feedback that a focus object is changed to any one of a plurality of objects may be displayed. In the present embodiment, the user input may be the overlapping position gaze time when the user gazes at the overlapping position where the plurality of objects are overlapped on the HMD for more than the first reference time.
다른 실시예에서, 사용자 입력은, HMD 상에 제1 위치를 제1 기준 시간 이상 사용자가 주시하고 있는 경우, 제1 기준 시간 이상 주시하고 있는 시점으로부터 제2 기준 시간 이내에 사용자의 제1 머리 모션이 있는 경우, 제1 위치에 위치한 객체와 사용자의 제1 머리 모션의 조합이 될 수 있다. 예를 들어, HMD 상에 복수의 객체가 겹쳐 있는 위치를 제1 기준 시간 이상 사용자가 주시하고 있는 경우, 제1 기준 시간 이상 주시하고 있는 시점으로부터 제2 기준 시간 이내에 사용자의 위로 향한 머리 모션이 있는 경우, 복수의 객체가 겹쳐 있는 위치 및 위로 향한 사용자의 머리 모션의 조합이 해당될 수 있다. 다만, 본 예시가 설정한 제1 위치 및 제1 머리 모션에 본 발명이 한정되는 것은 아니다.In another embodiment, the user input may include, when the user gazes at a first location on the HMD for a first reference time or longer, the user's first head motion is generated within a second reference time from a point in time at which the user gazes at the first reference time or longer. If there is, it may be a combination of the object located at the first position and the user's first head motion. For example, if the user is looking at a location where a plurality of objects are overlapped on the HMD for a first reference time or longer, there is a head motion of the user upward within a second reference time from a point in time at which the user is looking at the first reference time or longer. In this case, a combination of a position where a plurality of objects overlap and a motion of the user's head facing upward may correspond. However, the present invention is not limited to the first position and the first head motion set in this example.
또 다른 실시예에서, 사용자 입력은, 사용자 눈 주변의 근육 움직임에 기반한 패턴이 될 수 있다. 예를 들어, 사용자의 오른쪽 눈 윙크에 기반한 패턴이 해당될 수 있다. 다만, 본 예시가 설정한 패턴에 본 발명이 한정되는 것은 아니다.In another embodiment, the user input may be a pattern based on muscle movement around the user's eyes. For example, a pattern based on the user's right eye wink may correspond. However, the present invention is not limited to the pattern set in this example.
도 4에 도시된 바와 같이, 로봇의 실제적 동작을 수행하기에 앞선 사전 제어 방법으로써, 선택 가능한 복수의 객체 중 특정 객체를 선택 가능하게 하는 인터페이스는 사용자가 정밀한 작업을 수행하는데 도움을 준다. 나아가, 로봇의 동작을 특정 객체에 집중시킴으로써, 로봇에게 직관적인 명령을 전달할 수 있다.As shown in FIG. 4 , as a pre-control method prior to performing an actual operation of the robot, an interface that enables a user to select a specific object from among a plurality of selectable objects helps the user to perform a precise operation. Furthermore, by concentrating the robot's motion on a specific object, an intuitive command can be transmitted to the robot.
이하, 도 5 내지 도 8에서, 단계 S130의 동작을 구체화한 본 발명의 몇몇 실시예에 따른 로봇 제어 방법에 대해 구체적으로 설명한다. 상기 로봇 제어 방법은 대상 서버(100)에 의해 수행될 수 있다. Hereinafter, in FIGS. 5 to 8 , a method for controlling a robot according to some embodiments of the present invention in which the operation of step S130 is embodied will be described in detail. The robot control method may be performed by the
도 5는, 단계 S130의 동작을 구체화한 본 발명의 몇몇 실시예에 대한 순서도이다.5 is a flowchart of some embodiments of the present invention embodying the operation of step S130.
단계 S131에서, 겹쳐 있는 복수의 객체 중에서 사용자 입력 시점을 기준으로 디스플레이 된 초점 객체에서 바로 뒤에 위치한 객체로, 초점 객체가 변경된 피드백이 디스플레이 된다. 대상 서버(100)에 의해 결정된 사용자 입력에 대응하는 피드백이 HMD 장비(200)에 전달되어 디스플레이 될 수 있다. In step S131 , a feedback in which the focus object is changed is displayed as an object located immediately behind the displayed focus object based on the user input point among the plurality of overlapping objects. Feedback corresponding to the user input determined by the
본 실시예에서, 사용자 입력에 대응하여, HMD 상에 겹쳐 있는 복수의 객체 중 사용자 입력 시점에 디스플레이 된 초점 객체에서 해당 초점 객체 바로 뒤의 객체가 초점 객체로 변경되는 피드백이 디스플레이 된다. 본 실시예는, 1회의 초점 객체 이동이 디스플레이 된다. In the present embodiment, in response to a user input, feedback is displayed in which an object immediately behind the corresponding focus object is changed to a focus object in the focus object displayed at the time of the user input among a plurality of objects overlapped on the HMD. In this embodiment, one focus object movement is displayed.
단계 S133에서, 겹쳐 있는 복수의 객체 중에서 가장 앞에 위치한 객체부터 가장 뒤에 있는 객체까지 기준 주기를 두고 차례로, 초점 객체가 변경된 피드백이 디스플레이 된다. 대상 서버(100)에 의해 결정된 사용자 입력에 대응하는 피드백이 HMD 장비(200)에 전달되어 디스플레이 될 수 있다. In step S133, the feedback on which the focus object is changed is displayed in sequence from the frontmost object to the rearmost object among the plurality of overlapping objects with a reference period. Feedback corresponding to the user input determined by the
본 실시예에서, 사용자 입력에 대응하여, HMD 상에 겹쳐 있는 복수의 객체 중 가장 앞에 위치한 객체부터 가장 뒤에 있는 객체까지 연속적으로 초점 객체가 기준 주기를 두고 변경되는 피드백이 디스플레이 된다.In the present embodiment, in response to a user input, feedback in which a focus object is continuously changed with a reference period from the frontmost object to the rearmost object among a plurality of objects overlapped on the HMD is displayed.
몇몇 실시예에서, 초점 객체는 HMD 상에 복수의 겹쳐 있는 객체 중 특정 객체를 1회 또는 연속적으로 선택하는 피드백이 디스플레이 된다. 이하, 도 6을 참조하여 도 5에 도시된 순서도에 따른 구체적 예시를 설명한다.In some embodiments, the focus object is displayed feedback selecting a specific object from among a plurality of overlapping objects on the HMD one time or successively. Hereinafter, a specific example according to the flowchart shown in FIG. 5 will be described with reference to FIG. 6 .
앞서 도 2에서 설명한바, 복수의 객체가 상호간 겹쳐 있는 영상 정보에서 특정 객체를 선택하는 문제는 정밀한 로봇 동작의 제어를 위해 필요한 사전 단계에 해당한다. 도 6을 참조하면, 앞서 도 5에서 설명한 초점 객체가 변경되는 피드백 중 연속적으로 초점 객체가 변경되는 피드백이 디스플레이 된다. 겹쳐 있는 복수의 셔츠 중 가장 앞에 위치한 셔츠(400)부터 기준 주기를 두고 초점 객체가 변경되어, 1주기 이후 가장 앞에 위치한 셔츠(400) 바로 뒤의 셔츠(410)가 초점 객체로 변경되고, 일련의 주기를 거쳐 겹쳐 있는 모든 셔츠들이 초점 객체로 변경되는 과정을 지나면, 가장 뒤에 위치한 셔츠(420)가 초점 객체로 변경된다.As previously described with reference to FIG. 2, the problem of selecting a specific object from image information in which a plurality of objects overlap each other corresponds to a preliminary step necessary for precise control of robot motion. Referring to FIG. 6 , a feedback in which a focus object is continuously changed is displayed among the feedback that the focus object is changed as described above in FIG. 5 . Among the plurality of overlapping shirts, the focus object is changed with a reference period from the
일 실시예에서, 초점 객체로 변경되는 기준 주기가 겹쳐 있는 복수의 객체의 개수에 의해 짧아질 수 있다. 상기 기준 주기가 겹쳐 있는 복수의 객체의 개수에 관계없이 일정한 경우, 편리한 사용자 인터페이스를 제공하는데 한계가 있다. 예를 들어, 사용자가 원하는 대상 객체가 가장 뒤에 위치한 객체와 근접한 경우, 가장 앞에 있는 객체부터 초점 객체가 변경되는 일련의 과정은 빠르게 생략될 필요가 있다. 겹쳐 있는 객체의 개수에 감산치를 두어 기준 주기를 조절함으로써, 예시한 상황의 사용자 불편을 감소시킬 수 있다.In an embodiment, the reference period changed to the focus object may be shortened by the number of the plurality of overlapping objects. When the reference period is constant regardless of the number of overlapping objects, there is a limitation in providing a convenient user interface. For example, when the target object desired by the user is close to the rearmost object, a series of processes in which the focus object is changed from the frontmost object needs to be quickly omitted. By adjusting the reference period by adding a subtraction value to the number of overlapping objects, user inconvenience in the exemplified situation can be reduced.
다른 실시예에서, 초점 객체로 변경될 대상 객체가 특정 조건에 해당하는 경우, 상기 대상 객체 뒤에 있는 객체로 초점 객체가 변경된 피드백이 디스플레이 될 수 있다. 예를 들어, 겹쳐 있는 복수의 셔츠 중 빨간 셔츠는 초점 객체로 고려하지 않는다는 조건이 설정될 수 있다. 초점 객체가 차례로 변경되는 과정에서 변경될 대상 객체가 빨간 셔츠에 해당하는 경우, 해당 빨간 셔츠 뒤에 있는 셔츠로 초점 객체가 변경된다. 이처럼 사용자가 원하는 조건을 부여하여, 초점 객체를 변경시킴으로써, 사용자 친화적인 인터페이스를 제공할 수 있다. 또 다른 예를 들어, 산업 시설용 로봇에 있어서, 겹쳐 있는 복수의 객체 중 고정되어 움직임이 불가능한 객체는 초점 객체로 고려하지 않는다는 조건이 설정될 수 있다. 복수의 겹쳐 있는 객체 중 산업 시설용 로봇을 이용하여 조작 가능한 객체를 초점 객체로 변경시킴으로써, 직관적이고 정밀한 명령을 로봇이 수행할 수 있다. 또 다른 예를 들어, 방범용 로봇에 있어서, 겹쳐 있는 복수의 객체 중 고정되어 움직임 불가능한 객체는 초점 객체로 고려하지 않는다는 조건이 설정될 수 있다. 복수의 겹쳐 있는 객체 중 유동체만을 초점 객체로 변경시킴으로써, 방범용 로봇의 주시 대상을 명확하게 할 수 있다. 다만, 본 예시에 의해 본 발명이 한정되는 것은 아니다. 초점 객체의 변경에 있어서 변경될 대상을 배제하기 위한 모든 조건이 모두 포함될 수 있다. In another embodiment, when a target object to be changed into a focus object corresponds to a specific condition, feedback that the focus object is changed to an object behind the target object may be displayed. For example, a condition that a red shirt is not considered as a focus object among a plurality of overlapping shirts may be set. When the target object to be changed corresponds to the red shirt in the process of sequentially changing the focus object, the focus object is changed to the shirt behind the red shirt. In this way, a user-friendly interface can be provided by changing the focus object by giving the user a desired condition. As another example, in a robot for an industrial facility, a condition that an object that is fixed and cannot move among a plurality of overlapping objects is not considered as a focus object may be set. By changing an object that can be manipulated by using a robot for industrial facilities among a plurality of overlapping objects into a focus object, the robot can perform an intuitive and precise command. As another example, in a crime prevention robot, a condition that a fixed and non-movable object among a plurality of overlapping objects is not considered as a focus object may be set. By changing only the fluid among the plurality of overlapping objects to the focus object, it is possible to clarify the gaze target of the crime prevention robot. However, the present invention is not limited by this example. In the change of the focus object, all conditions for excluding the subject to be changed may be included.
몇몇 실시예에서, 디스플레이 상에 겹쳐 있는 복수의 객체 중 특정 객체를 선택하게 하는 인터페이스를 제공함에 따라 로봇의 동작을 제어하는 사전 단계로써 대상 객체를 선택하여 로봇이 정교하고 복잡한 명령을 수행하게 할 수 있다. 나아가, 선택에 조건을 부여함으로써, 보다 사용자 친화적인 인터페이스를 제공할 수 있다.In some embodiments, by providing an interface for selecting a specific object among a plurality of objects superimposed on the display, it is possible to select a target object as a pre-step to control the robot's motion so that the robot can perform sophisticated and complex commands. have. Furthermore, a more user-friendly interface can be provided by applying conditions to the selection.
도 7은, 단계 S130의 동작을 구체화한 본 발명의 일 실시예에 대한 순서도이다.7 is a flowchart of an embodiment of the present invention embodying the operation of step S130.
단계 S135에서, 로봇에 내장된 카메라에 의해서 제공되어 HMD 상에 디스플레이 되는 복수의 카메라 모드 중 사용자 입력 시점을 기준으로 디스플레이 된 카메라 모드에서 다른 카메라 모드로, 초점 객체가 변경된 피드백이 디스플레이 된다. 대상 서버(100)에 의해 결정된 사용자 입력에 대응하는 피드백이 HMD 장비(200)에 전달되어 디스플레이 될 수 있다. In step S135, a feedback on which a focus object is changed from a camera mode displayed based on a user input time point to another camera mode among a plurality of camera modes provided by a camera built in the robot and displayed on the HMD is displayed. Feedback corresponding to the user input determined by the
본 실시예에서, 제공되는 복수의 카메라 모드는 열화상 카메라, 가시광선 카메라, 초음파 카메라가 될 수 있다. 다만, 이에 한정되는 것은 아니다. 로봇이 제공하는 카메라 영상 정보의 디스플레이 되는 우선 순위를 정함에 있어서, 사용자의 손의 움직임 없이 HMD에 내장된 센서가 감지하는 정보를 토대로 카메라 모드를 변경할 수 있다. 예를 들어, 방범용 로봇에 있어서, 가시광선 영역의 카메라로 확인할 수 없는 장애물 뒤의 물체에 대한 정보를 카메라 모드 변경에 의해 열화상 카메라로 전환하여 정보를 획득할 수 있다. 이러한 제어 방법을 로봇의 추후 동작을 제어하기 위한 로봇의 사전 제어 방법으로 이용함으로써, 사용자의 정교한 작업 환경을 조성하는 인터페이스를 제공한다. In this embodiment, the plurality of camera modes provided may be a thermal imaging camera, a visible light camera, and an ultrasonic camera. However, the present invention is not limited thereto. In determining the priority of displaying camera image information provided by the robot, the camera mode can be changed based on information detected by a sensor built into the HMD without the user's hand movement. For example, in a crime prevention robot, information about an object behind an obstacle that cannot be confirmed by a camera in a visible light region may be converted into a thermal imaging camera by changing a camera mode to acquire information. By using this control method as a pre-control method of the robot for controlling the subsequent operation of the robot, an interface for creating a sophisticated work environment for the user is provided.
이하, 도 8을 참조하여 도 7에 도시된 순서도에 따른 구체적 예시를 설명한다.Hereinafter, a specific example according to the flowchart shown in FIG. 7 will be described with reference to FIG. 8 .
복수의 카메라 모드를 제공할 수 있는 영상 정보에서 특정 카메라 모드를 선택하는 문제는 정밀한 로봇 동작의 제어를 위해 필요한 사전 단계에 해당한다. 도 8을 참조하면, 앞서 도 7에서 설명한 초점 객체가 변경되는 피드백 중 카메라 모드가 변경되는 피드백이 디스플레이 된다. 가시광선 카메라가 제공하는 디스플레이(500), 열화상 카메라가 제공하는 디스플레이(510) 및 초음파 카메라가 제공하는 디스플레이(520)가 사용자 입력에 대응되어 변경된다.The problem of selecting a specific camera mode from image information that can provide a plurality of camera modes corresponds to a pre-step required for precise control of robot motion. Referring to FIG. 8 , a feedback for changing a camera mode is displayed among the feedback for changing the focus object described above with reference to FIG. 7 . The
가시광선 카메라가 제공하는 디스플레이(500)는 실제 사용자가 육안으로 보는 환경과 같은 영상 정보를 전달한다. 원격지의 로봇에 의해 해당 지역을 육안으로 관찰하는 것과 같이 작업 수행할 수 있다.The
열화상 카메라가 제공하는 디스플레이(510)는 열을 추적하여 이에 대한 정보를 시각적으로 전달한다. 열화상 카메라는 오로지 열을 추적 디스플레이 함으로써, 빛이 없는 경우뿐만 아니라 장애물이 대상 물체 앞에 놓인 경우도 물체를 확인할 수 있다. 온도를 색으로 표현하여 감지된 열 정보를 시각적으로 확인할 수 있다. The
초음파 카메라가 제공하는 디스플레이(520)는 초음파가 발생하는 위치를 추적하여 이에 대한 정보를 시각적으로 전달한다. 발생되는 초음파의 양을 데시벨에 따라 색으로 표현하여 진동이 발생하는 영역에 대한 정보를 제공한다.The
원격지에서 로봇(300)에 내장된 복수의 카메라 모듈에 의해, 사용자 작업 환경에 맞는 카메라 모드를 설정할 수 있다. 카메라 모드 선택에 있어서, 손의 움직임을 필요로 하지 않음으로써, 복잡한 조작키의 구비 없이도 로봇에게 직관적인 명령을 수행하게 할 수 있다. A camera mode suitable for a user's work environment may be set by a plurality of camera modules built into the
이하, 도 9에서, 본 발명의 일 실시예에 따른 HMD 장비를 이용한 로봇 제어 방법을 보다 구체화한 순서도에 대해 구체적으로 설명한다. 상기 로봇 제어 방법은 대상 서버(100)에 의해 수행될 수 있다.Hereinafter, in FIG. 9 , a flowchart more concretely illustrating a method for controlling a robot using an HMD device according to an embodiment of the present invention will be described in detail. The robot control method may be performed by the
단계 S201에서, 제1 사용자 입력이 발생된 이후 제2 사용자 입력이 발생된 경우, 단계 S203에서, 제2 사용자 입력에 따른 피드백이 디스플레이 된다. 본 실시예에서, 제1 사용자 입력에 따른 피드백이 HMD에 디스플레이 되는 도중, 사용자의 시선이 제2 위치를 제1 기준 시간 이상 주시하고 있는 것으로 결정되고, 사용자의 시선이 제2 위치를 제1 기준 시간 이상 주시하는 시점을 기준으로 제2 기준 시간 이내에 사용자의 제2 머리 모션이 감지된 경우, 제2 위치에 위치한 객체와 제2 머리 모션에 따라 결정되는 제2 사용자 입력이 발생된 것으로 판정될 수 있다. 상기 제2 사용자 입력에 대응한 피드백이 HMD에 디스플레이 될 수 있다. When the second user input is generated after the first user input is generated in step S201, feedback according to the second user input is displayed in step S203. In the present embodiment, while the feedback according to the first user input is displayed on the HMD, it is determined that the user's gaze is gazing at the second location for a first reference time or longer, and the user's gaze is based on the second location as the first reference When the user's second head motion is detected within the second reference time based on the time of gazing for more than a period of time, it may be determined that the second user input determined according to the second head motion and the object located at the second position has occurred. have. A feedback corresponding to the second user input may be displayed on the HMD.
예를 들어, 제1 사용자 입력은 HMD 상에 복수의 객체가 겹쳐 있는 위치 및 위로 향하는 머리 모션에 해당할 수 있다. 이에 대한 피드백으로, 겹쳐 있는 복수의 객체 중 가장 앞에 있는 객체부터 가장 뒤에 있는 객체까지 기준 주기를 가지고 초점 객체가 변경된 피드백이 디스플레이 될 수 있다. 상기 피드백이 디스플레이 되는 도중 제2 사용자 입력은 복수의 객체가 겹쳐 있는 위치에서 기준 거리 이상 벗어난 위치 및 고정된 머리 모션에 해당할 수 있다. 이에 대한 피드백으로, 제1 사용자 입력에 따른 초점 객체의 변경이 중단될 수 있다. 본 실시예에서 연속적인 초점 객체의 변화를 중단시킴으로써, 사용자는 원하는 대상 객체의 선택을 용이하게 하여 편리한 작업수행을 할 수 있다. 다만, 본 예시가 설정한 제1 위치, 제2 위치, 제1 머리 모션 및 제2 머리 모션에 본 발명이 한정되는 것은 아니다.For example, the first user input may correspond to a position in which a plurality of objects are overlapped on the HMD and a motion of the head upward. As feedback on this, feedback in which a focus object is changed with a reference period from the frontmost object to the rearmost object among the plurality of overlapping objects may be displayed. While the feedback is being displayed, the second user input may correspond to a location where a plurality of objects overlap by more than a reference distance and a fixed head motion. As a feedback on this, the change of the focus object according to the first user input may be stopped. In the present embodiment, by stopping the continuous change of the focus object, the user can easily select a desired target object and perform a convenient operation. However, the present invention is not limited to the first position, the second position, the first head motion, and the second head motion set in this example.
이하 도 10 및 도 11에서, 본 발명의 일 실시예에 따른 HMD 장비를 이용한 로봇 제어 방법에 대한 순서도를 구체적으로 설명한다. 특히, 도 10 및 도 11은 사용자 입력이 변경된 경우의 일 실시예에 해당한다.Hereinafter, a flowchart of a robot control method using an HMD device according to an embodiment of the present invention will be described in detail with reference to FIGS. 10 and 11 . In particular, FIGS. 10 and 11 correspond to an embodiment in which a user input is changed.
도 10에서, 사용자 입력은 HMD 상에 복수의 객체가 겹쳐 있는 겹침 위치를 사용자가 제1 기준 시간 이상 주시하고 있는 경우, 겹침 위치 주시 시간이 된다.In FIG. 10 , the user input is the overlapping position gaze time when the user gazes at the overlapping position where the plurality of objects are overlapped on the HMD for a first reference time or longer.
앞서 설명한바, 단계 S301에서, S101에서와 같이 동공의 위치가 감지되고, 다음으로, 단계 S303에서 S103과 유사하게, 복수의 객체가 겹쳐 있는 겹침 위치에 대한 주시 시간이 동공의 위치로부터 계산된다. 단계 S305에서 S105와 유사하게, 상기 주시 시간이 제1 기준 시간 이상에 해당하는 경우, 단계 S307에서 S130과 유사하게, 초점 객체가 복수의 객체 중 어느 하나로 변경된 피드백이 디스플레이 된다. As described above, in step S301, the position of the pupil is sensed as in S101, and then, in step S303, similarly to S103, a gaze time for an overlapping position where a plurality of objects overlap is calculated from the position of the pupil. Similar to S105 in step S305, if the gaze time is equal to or greater than the first reference time, feedback in which the focus object is changed to any one of a plurality of objects is displayed in step S307, similar to S130.
다른 실시예에서, 사용자 입력은 HMD 상에 제1 객체가 있는 위치를 사용자가 제1 기준 시간 이상 주시하고 있는 경우, 제1 객체가 있는 위치 주시 시간이 된다. 이에 대응한 피드백으로, 상기 제1 객체에 대한 로봇의 움직임을 제어하는 행동 선택지가 HMD 상에 표시되는 피드백이 디스플레이 된다. 이는 앞서 도 3을 참조하여 설명한 S113의 일 실시예를 통해 구체적으로 확인할 수 있다.In another embodiment, the user input is a time of looking at the location of the first object when the user is looking at the location of the first object on the HMD for the first reference time or longer. As a feedback corresponding thereto, a feedback in which an action option for controlling the movement of the robot with respect to the first object is displayed on the HMD is displayed. This can be specifically confirmed through the embodiment of S113 described above with reference to FIG. 3 .
도 11에서, 사용자 입력은 사용자 입력은, 사용자 눈 주변의 근육 움직임에 기반한 패턴이 된다.In FIG. 11 , the user input becomes a pattern based on the movement of muscles around the user's eyes.
단계 S401에서, 눈 주변 근육의 움직임이 감지된다. HMD 장비(200)에서 감지된 눈 주변 근육의 움직임 정보는 대상 서버(100)에 제공될 수 있다. 상기 눈 주변 근육의 움직임 정보는 IR 신호를 감지하는 센서에 의해 감지될 수 있다. 다만, 이에 한정되는 것은 아니고 눈 주변 근육을 감지할 수 있는 다양한 방법이 포함될 수 있다. In step S401, the movement of the muscles around the eye is detected. The motion information of the muscles around the eyes detected by the
단계 S403에서, 사용자의 눈 주변 근육의 움직임에 따라 눈 주변 근육 중 특징점에 해당하는 근육의 IR신호 반사 강도가 이용되어 패턴이 생성된다. 단계 S405에서 미리 설정한 사용자의 눈 주변 근육 움직임 정보에 대응한 패턴과 동일한 패턴이 입력된 경우 단계 S407에서 사용자 입력이 있는 것으로 결정된다. 단계 S409에서 S130과 유사하게, 결정된 사용자 입력에 따라 초점 객체가 복수의 객체 중 어느 하나로 변경된 피드백이 디스플레이 된다.In step S403, according to the movement of the user's muscles around the eyes, the IR signal reflection intensity of the muscles corresponding to the feature points among the muscles around the eyes is used to generate a pattern. If the same pattern as the pattern corresponding to the user's eye peripheral muscle movement information set in step S405 is input, it is determined in step S407 that there is a user input. In step S409, similarly to S130, the feedback that the focus object is changed to any one of the plurality of objects according to the determined user input is displayed.
몇몇 실시예에서, 사용자의 손의 사용 없이 HMD 장비에 내장된 센서에 의해 감지될 수 있는 정보로부터 로봇을 제어하는 방법을 확인했다. 사용자 입력을 조절함에 따라 복수의 로봇 제어 방법에 관한 출력을 얻을 수 있다. 사용자 입력은 특정 객체에 대한 주시 시간이 될 수 있고, 주시한 객체 및 사용자의 머리 모션이 될 수 있고, 눈 주변 근육의 움직임 패턴이 될 수 있다. 일 실시예에서, 사용자 입력에 관한 감지 정보는 딥 러닝에 활용되기 위한 전 처리 과정을 거칠 수 있다. 로봇 제어 방법에 관한 출력으로는, 선택된 대상 객체의 확대가 될 수 있고, 초점 객체의 변경이 될 수 있으며, 선택된 대상 객체에 대한 로봇의 행동 선택지 표시가 될 수 있다.In some embodiments, we have identified a method of controlling a robot from information that can be sensed by sensors built into the HMD equipment without the use of a user's hand. By adjusting the user input, it is possible to obtain an output related to a plurality of robot control methods. The user input may be a gaze time for a specific object, the gazed object and the user's head motion, and may be a movement pattern of muscles around the eyes. In an embodiment, the sensed information about the user input may undergo a pre-processing process to be used for deep learning. As an output related to the robot control method, the selected target object may be enlarged, the focus object may be changed, and the robot's action option may be displayed for the selected target object.
본 발명에 따른 실시예에 의해서, 손의 개입 없이 로봇을 제어하기 위한 사전 단계에 해당하는 대상 객체의 선택을 용이하게 할 수 있으며, 원격지에서 로봇이 수행하는 작업의 적절한 카메라 모드에 대한 선택을 용이하게 할 수 있다. 사용자의 정밀한 작업 환경을 조성하는 인터페이스를 제공할 수 있고, 보다 직관적인 명령을 로봇에 전달할 수 있다. 나아가, 사용자 손의 이용을 필요로 하지 않음으로써, 복잡한 조작키를 구비하지 않더라도 인터페이스를 통제할 수 있는 수단을 제공한다.According to the embodiment according to the present invention, it is possible to facilitate the selection of a target object corresponding to a pre-step for controlling the robot without intervention of the hand, and it is possible to facilitate the selection of an appropriate camera mode for the operation performed by the robot in a remote place. can do it An interface that creates a user's precise work environment can be provided, and more intuitive commands can be transmitted to the robot. Furthermore, since the use of the user's hand is not required, a means for controlling the interface is provided even without a complicated operation key.
이하에서는, 도 12를 참조하여 본 발명의 다양한 실시예에서 설명된 방법들을 구현할 수 있는 예시적인 대상 서버(100)에 대하여 설명하도록 한다.Hereinafter, an
도 12는 대상 서버(100)를 나타내는 예시적인 하드웨어 구성도이다.12 is an exemplary hardware configuration diagram illustrating the
도 12에 도시된 바와 같이, 대상 서버(100)는 하나 이상의 프로세서(110), 버스(150), 통신 인터페이스(170), 프로세서(110)에 의하여 수행되는 컴퓨터 프로그램(191)을 로드(load)하는 메모리(130)와, 컴퓨터 프로그램(191)을 저장하는 스토리지(190)를 포함할 수 있다. 다만, 도 12에는 본 발명의 실시예와 관련 있는 구성요소들 만이 도시되어 있다. 따라서, 본 발명이 속한 기술분야의 통상의 기술자라면 도 12에 도시된 구성요소들 외에 다른 범용적인 구성 요소들이 더 포함될 수 있음을 알 수 있다. 도 12에 도시된 대상 서버(100)는 IaaS(Infrastructure-as-a-Service) 방식의 클라우드 서비스를 제공하는 서버팜(server farm)에 소속된 물리 서버 중 어느 하나를 가리킬 수 있다.12 , the
프로세서(110)는 대상 서버(100)의 각 구성의 전반적인 동작을 제어한다. 프로세서(110)는 CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 또는 본 발명의 기술 분야에 잘 알려진 임의의 형태의 프로세서 중 적어도 하나를 포함하여 구성될 수 있다. 또한, 프로세서(110)는 본 발명의 다양한 실시예들에 따른 방법/동작을 실행하기 위한 적어도 하나의 애플리케이션 또는 프로그램에 대한 연산을 수행할 수 있다. 대상 서버(100)는 하나 이상의 프로세서를 구비할 수 있다.The
메모리(130)는 각종 데이터, 명령 및/또는 정보를 저장한다. 메모리(130)는 본 발명의 다양한 실시예들에 따른 방법/동작들을 실행하기 위하여 스토리지(190)로부터 하나 이상의 프로그램(191)을 로드(load) 할 수 있다. 예를 들어, 컴퓨터 프로그램(191)이 메모리(130)에 로드 되면, 도 3에 도시된 바와 같은 로직(또는 모듈)이 메모리(130) 상에 구현될 수 있다. 메모리(130)의 예시는 RAM이 될 수 있으나, 이에 한정되는 것은 아니다.The
버스(150)는 대상 서버(100)의 구성 요소 간 통신 기능을 제공한다. 버스(150)는 주소 버스(Address Bus), 데이터 버스(Data Bus) 및 제어 버스(Control Bus) 등 다양한 형태의 버스로 구현될 수 있다.The
통신 인터페이스(170)는 대상 서버(100)의 유무선 인터넷 통신을 지원한다. 통신 인터페이스(170)는 인터넷 통신 외의 다양한 통신 방식을 지원할 수도 있다. 이를 위해, 통신 인터페이스(170)는 본 발명의 기술 분야에 잘 알려진 통신 모듈을 포함하여 구성될 수 있다.The
스토리지(190)는 하나 이상의 컴퓨터 프로그램(191)을 비임시적으로 저장할 수 있다. 스토리지(190)는 플래시 메모리 등과 같은 비휘발성 메모리, 하드 디스크, 착탈형 디스크, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터로 읽을 수 있는 기록 매체를 포함하여 구성될 수 있다.The
컴퓨터 프로그램(191)은 본 발명의 다양한 실시예들에 따른 방법/동작들이 구현된 하나 이상의 인스트럭션들을 포함할 수 있다. 컴퓨터 프로그램(191)이 메모리(130)에 로드 되면, 프로세서(110)는 상기 하나 이상의 인스트럭션들을 실행시킴으로써 본 발명의 다양한 실시예들에 따른 방법/동작들을 수행할 수 있다.The
지금까지 도 1 내지 도 12를 참조하여 본 발명의 몇몇 실시예들 및 그에 따른 효과들을 언급하였다. 본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.So far, some embodiments of the present invention and effects thereof have been described with reference to FIGS. 1 to 12 . Effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
지금까지 도 1 내지 도 12를 참조하여 설명된 본 발명의 개념은 컴퓨터가 읽을 수 있는 매체 상에 컴퓨터가 읽을 수 있는 코드로 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는, 예를 들어 이동형 기록 매체(CD, DVD, 블루레이 디스크, USB 저장 장치, 이동식 하드 디스크)이거나, 고정식 기록 매체(ROM, RAM, 컴퓨터 구비 형 하드 디스크)일 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체에 기록된 상기 컴퓨터 프로그램은 인터넷 등의 네트워크를 통하여 다른 컴퓨팅 장치에 전송되어 상기 다른 컴퓨팅 장치에 설치될 수 있고, 이로써 상기 다른 컴퓨팅 장치에서 사용될 수 있다.The concept of the present invention described with reference to FIGS. 1 to 12 may be implemented as computer-readable codes on a computer-readable medium. The computer-readable recording medium may be, for example, a removable recording medium (CD, DVD, Blu-ray disk, USB storage device, removable hard disk) or a fixed recording medium (ROM, RAM, computer-equipped hard disk). can The computer program recorded in the computer-readable recording medium may be transmitted to another computing device through a network, such as the Internet, and installed in the other computing device, thereby being used in the other computing device.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.In the above, even though all the components constituting the embodiment of the present invention are described as being combined or operating in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more.
도면에서 동작들이 특정한 순서로 도시되어 있지만, 반드시 동작들이 도시된 특정한 순서로 또는 순차적 순서로 실행되어야만 하거나 또는 모든 도시 된 동작들이 실행되어야만 원하는 결과를 얻을 수 있는 것으로 이해되어서는 안 된다. 특정 상황에서는, 멀티태스킹 및 병렬 처리가 유리할 수도 있다. 더욱이, 위에 설명한 실시예들에서 다양한 구성들의 분리는 그러한 분리가 반드시 필요한 것으로 이해되어서는 안 되고, 설명된 프로그램 컴포넌트들 및 시스템들은 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키지 될 수 있음을 이해하여야 한다.Although acts are shown in a specific order in the drawings, it should not be understood that the acts must be performed in the specific order or sequential order shown, or that all shown acts must be performed to obtain a desired result. In certain circumstances, multitasking and parallel processing may be advantageous. Moreover, the separation of the various components in the embodiments described above should not be construed as necessarily requiring such separation, and the described program components and systems may generally be integrated together into a single software product or packaged into multiple software products. It should be understood that there is
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Although embodiments of the present invention have been described above with reference to the accompanying drawings, those of ordinary skill in the art to which the present invention pertains can realize that the present invention may be embodied in other specific forms without changing the technical spirit or essential features thereof. can understand Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. The protection scope of the present invention should be construed by the following claims, and all technical ideas within the equivalent range should be construed as being included in the scope of the present invention.
Claims (14)
사용자가 HMD 상에 디스플레이 되는 복수의 객체가 겹쳐 있는 겹침 위치를 제1 기준 시간 이상 주시하고 있는지 여부를 결정하는 단계; 및
상기 겹침 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정된 경우, 상기 사용자에 의해 선택된 초점 객체가 상기 겹침 위치에 겹쳐 있는 상기 복수의 객체 중 어느 하나로 변경된 피드백을 제공하는 단계를 포함하는,
HMD 장비를 이용한 로봇 제어 방법.A method performed on a computing device, comprising:
determining whether a user gazes at an overlapping position in which a plurality of objects displayed on the HMD are overlapped for a first reference time or longer; and
When it is determined that the overlapping position is gazed at the overlapping position for more than the first reference time, the focus object selected by the user comprising the step of providing a changed feedback to any one of the plurality of objects overlapping the overlapping position,
Robot control method using HMD equipment.
상기 피드백을 제공하는 단계는,
상기 HMD 상에 디스플레이 되는 겹쳐 있는 상기 복수의 객체 중 가장 앞에 위치한 객체부터 가장 뒤에 있는 객체까지 기준 주기를 두고 차례로, 상기 초점 객체가 변경된 피드백을 제공하는 단계를 포함하는,
HMD 장비를 이용한 로봇 제어 방법.According to claim 1,
The step of providing the feedback includes:
Containing the step of providing feedback that the focus object is changed in sequence with a reference period from the frontmost object to the rearmost object among the plurality of overlapping objects displayed on the HMD,
Robot control method using HMD equipment.
상기 기준 주기는 상기 HMD 상에 디스플레이 되는 상기 복수의 객체의 개수가 증가하면, 짧아지는,
HMD 장비를 이용한 로봇 제어 방법. 3. The method of claim 2,
The reference period is shortened when the number of the plurality of objects displayed on the HMD increases,
Robot control method using HMD equipment.
상기 초점 객체로 변경될 대상 객체가 제1 조건에 해당하는 경우 상기 대상 객체의 뒤에 있는 객체로, 상기 초점 객체가 변경된 피드백을 제공하는 단계를 더 포함하는,
HMD 장비를 이용한 로봇 제어 방법. 3. The method of claim 2,
When the target object to be changed into the focus object meets the first condition, the method further comprising the step of providing feedback that the focus object has changed to an object behind the target object,
Robot control method using HMD equipment.
상기 피드백을 제공하는 단계는,
상기 HMD 상에 디스플레이 되는 겹쳐 있는 상기 복수의 객체 중 제1 사용자 입력 시점을 기준으로 디스플레이 된 초점 객체의 뒤에 위치한 객체로, 상기 초점 객체가 변경된 피드백을 제공하는 단계를 포함하는
HMD 장비를 이용한 로봇 제어 방법. According to claim 1,
The step of providing the feedback includes:
and providing feedback that the focus object is changed as an object located behind the displayed focus object based on a first user input point among the plurality of overlapping objects displayed on the HMD.
Robot control method using HMD equipment.
상기 피드백을 제공하는 단계는,
로봇에 내장된 카메라에 의해서 제공되어 상기 HMD 상에 디스플레이 되는 복수의 카메라 모드 중 제1 사용자 입력 시점을 기준으로 디스플레이 된 카메라 모드에서 다른 카메라 모드로, 상기 초점 객체가 변경된 피드백을 제공하는 단계를 포함하는,
HMD 장비를 이용한 로봇 제어 방법. According to claim 1,
The step of providing the feedback includes:
It includes the step of providing feedback that the focus object is changed from a camera mode displayed based on a first user input viewpoint among a plurality of camera modes displayed on the HMD provided by a camera built in the robot to another camera mode doing,
Robot control method using HMD equipment.
HMD를 착용한 사용자의 머리 움직임 정보를 획득하는 단계;
상기 사용자가 복수의 객체가 겹쳐 있는 겹침 위치를 제1 기준 시간 이상 주시하고 있는지 여부를 결정하는 단계;
상기 사용자가 상기 겹침 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정되고, 상기 사용자가 상기 겹침 위치를 상기 제1 기준 시간 이상 주시하는 시점을 기준으로 제2 기준 시간 이내에 상기 HMD를 착용한 사용자의 제1 머리 모션이 감지된 경우, 상기 겹침 위치에 위치한 객체와 상기 제1 머리 모션에 따라 결정되는 제1 사용자 입력이 발생된 것으로 판정하는 단계; 및
상기 제1 사용자 입력에 기초하여, 상기 사용자에 의해 선택된 초점 객체가 상기 겹침 위치에 겹쳐 있는 복수의 객체 중 어느 하나로 변경된 피드백을 상기 HMD에 제공하는 단계를 포함하는,
HMD 장비를 이용한 로봇 제어 방법.A method performed on a computing device, comprising:
obtaining head movement information of a user wearing an HMD;
determining whether the user is looking at an overlapping position in which a plurality of objects are overlapped for a first reference time or longer;
It is determined that the user gazes at the overlapping position for the first reference time or longer, and the user wears the HMD within a second reference time based on a time point at which the user gazes at the overlapping position for the first reference time or longer. determining that a first user input determined according to the first head motion and the object located at the overlapping position has occurred when a first head motion of is detected; and
Based on the first user input, the focus object selected by the user comprising the step of providing a changed feedback to any one of a plurality of objects overlapped at the overlapping position to the HMD,
Robot control method using HMD equipment.
상기 제1 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계는,
상기 HMD 상에 디스플레이 되는 상기 초점 객체가 확대된 피드백을 제공하는 단계를 포함하는,
HMD 장비를 이용한 로봇 제어 방법. 8. The method of claim 7,
The step of providing feedback according to the first user input to the HMD includes:
providing feedback that the focus object displayed on the HMD is magnified;
Robot control method using HMD equipment.
상기 제1 사용자 입력에 따른 피드백이 상기 HMD에 디스플레이 되는 도중, 상기 사용자가 제2 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정되고, 상기 사용자가 상기 제2 위치를 상기 제1 기준 시간 이상 주시하는 시점을 기준으로 상기 제2 기준 시간 이내에 상기 HMD를 착용한 사용자의 제2 머리 모션이 감지된 경우, 상기 제2 위치에 위치한 객체와 상기 제2 머리 모션에 따라 결정되는 제2 사용자 입력이 발생된 것으로 판정하는 단계; 및
상기 제2 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계를 더 포함하는,
HMD 장비를 이용한 로봇 제어 방법.8. The method of claim 7,
While the feedback according to the first user input is being displayed on the HMD, it is determined that the user is looking at the second location for the first reference time or longer, and the user looks at the second location for the first reference time or longer When the second head motion of the user wearing the HMD is detected within the second reference time from the time of gaze, the second user input determined according to the second head motion and the object located at the second position is determining that it has occurred; and
Further comprising the step of providing feedback according to the second user input to the HMD,
Robot control method using HMD equipment.
상기 제1 사용자 입력에 따른 피드백을 상기 HMD에 제공하는 단계는,
상기 초점 객체에 대한 상기 로봇의 움직임을 제어하는 행동 선택지가 상기 HMD 상에 표시되는 피드백을 제공하는 단계를 포함하는,
HMD 장비를 이용한 로봇 제어 방법.8. The method of claim 7,
The step of providing feedback according to the first user input to the HMD includes:
and providing feedback in which an action option for controlling the movement of the robot with respect to the focus object is displayed on the HMD.
Robot control method using HMD equipment.
사용자의 눈 주변 근육의 움직임 정보를 획득하는 단계;
상기 사용자의 눈 주변 근육의 움직임에 기반한 움직임 패턴에 대응되는 제1 사용자 입력이 발생된 것으로 판정하는 단계; 및
상기 제1 사용자 입력에 따라 상기 사용자에 의해 선택된 초점 객체가 복수의 객체가 겹쳐 있는 겹침 위치에 위치한 복수의 객체 중 어느 하나로 변경된 피드백을 제공하는 단계를 포함하는,
HMD 장비를 이용한 로봇 제어 방법.A method performed on a computing device, comprising:
acquiring movement information of muscles around the user's eyes;
determining that a first user input corresponding to a movement pattern based on movement of muscles around the user's eyes has been generated; and
Comprising the step of providing feedback in which the focus object selected by the user according to the first user input is changed to any one of a plurality of objects located at an overlapping position where the plurality of objects overlap,
Robot control method using HMD equipment.
네트워크 인터페이스;
메모리; 및
상기 메모리에 로드(load)되고, 상기 프로세서에 의해 실행되는 컴퓨터 프로그램을 포함하되,
상기 컴퓨터 프로그램은,
HMD를 착용한 사용자의 머리 움직임 정보를 획득하는 인스트럭션(instruction);
상기 HMD에 내장된 센서를 이용하여, 상기 사용자가 복수의 객체가 겹쳐 있는 겹침 위치를 제1 기준 시간 이상 주시하고 있는지 여부를 결정하는 인스트럭션;
상기 사용자가 상기 겹침 위치를 상기 제1 기준 시간 이상 주시하고 있는 것으로 결정되고, 상기 사용자가 상기 겹침 위치를 상기 제1 기준 시간 이상 주시하는 시점을 기준으로 제2 기준 시간 이내에 상기 HMD를 착용한 사용자의 제1 머리 모션이 감지된 경우, 상기 겹침 위치에 위치한 객체와 상기 제1 머리 모션에 따라 결정되는 제1 사용자 입력이 발생된 것으로 판정하는 인스트럭션; 및
상기 제1 사용자 입력에 기초하여, 상기 사용자에 의해 선택된 초점 객체가 상기 겹침 위치에 겹쳐 있는 복수의 객체 중 어느 하나로 변경된 피드백을 상기 HMD에 제공하는 단계를 포함하는,
HMD 장비를 이용한 로봇 제어 장치.processor;
network interface;
Memory; and
a computer program loaded into the memory and executed by the processor;
The computer program is
an instruction for obtaining head movement information of a user wearing an HMD;
instructions for determining whether the user is looking at an overlapping position where a plurality of objects are overlapped for a first reference time or longer using a sensor built in the HMD;
It is determined that the user gazes at the overlapping position for the first reference time or longer, and the user wears the HMD within a second reference time based on a time point at which the user gazes at the overlapping position for the first reference time or longer. instructions for determining that a first user input determined according to the first head motion and the object located at the overlapping position is generated when a first head motion of is detected; and
Based on the first user input, the focus object selected by the user comprising the step of providing a changed feedback to any one of a plurality of objects overlapped at the overlapping position to the HMD,
Robot control device using HMD equipment.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180174063 | 2018-12-31 | ||
| KR20180174063 | 2018-12-31 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200083359A KR20200083359A (en) | 2020-07-08 |
| KR102293291B1 true KR102293291B1 (en) | 2021-08-24 |
Family
ID=71601042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190178876A KR102293291B1 (en) | 2018-12-31 | 2019-12-31 | Method and apparatus for controlling a robot using head mounted display |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102293291B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102400143B1 (en) * | 2020-11-12 | 2022-05-18 | 충북대학교 산학협력단 | Method and Apparatus for Posture Control for Remote Robot Based on Video Call of Smartphone |
| CN113848882A (en) * | 2021-09-01 | 2021-12-28 | 深圳优地科技有限公司 | Robot path planning method and device, robot and computer readable storage medium |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018006914A (en) * | 2016-06-29 | 2018-01-11 | フォーブ インコーポレーテッド | External imaging system, external imaging method, external imaging program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101776576B1 (en) * | 2015-09-25 | 2017-09-08 | 숭실대학교산학협력단 | Robot control system and method |
| KR101759444B1 (en) | 2016-08-25 | 2017-07-18 | 연세대학교 산학협력단 | Expression recognition sysyem and method using a head mounted display |
-
2019
- 2019-12-31 KR KR1020190178876A patent/KR102293291B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018006914A (en) * | 2016-06-29 | 2018-01-11 | フォーブ インコーポレーテッド | External imaging system, external imaging method, external imaging program |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200083359A (en) | 2020-07-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11275480B2 (en) | Dynamic interactive objects | |
| KR101636360B1 (en) | A virtual maintenance training system using a virtual reality | |
| EP3511803B1 (en) | Method and apparatus to determine trigger intent of user | |
| JP6554631B2 (en) | Method, system, and apparatus for navigating in a virtual reality environment | |
| KR101331655B1 (en) | Electronic data input system | |
| JP6495331B2 (en) | System, method and computer program product for processing interaction between human and humanoid robot | |
| US11047691B2 (en) | Simultaneous localization and mapping (SLAM) compensation for gesture recognition in virtual, augmented, and mixed reality (xR) applications | |
| US20200065584A1 (en) | CONTEXT-AWARE HAZARD DETECTION USING WORLD-FACING CAMERAS IN VIRTUAL, AUGMENTED, AND MIXED REALITY (xR) APPLICATIONS | |
| KR102293291B1 (en) | Method and apparatus for controlling a robot using head mounted display | |
| US20040046711A1 (en) | User-controlled linkage of information within an augmented reality system | |
| CA2951087C (en) | Collision detection | |
| JP2021039789A5 (en) | ||
| JP2018049592A (en) | Using human motion sensor to detect movement when in the vicinity of hydraulic robot | |
| Khatib et al. | Human-robot contactless collaboration with mixed reality interface | |
| US11267132B2 (en) | Robot system | |
| US11072071B2 (en) | Modifying robot dynamics in response to human presence | |
| JP6493514B2 (en) | Monitoring system, monitoring method and monitoring program | |
| US10922831B2 (en) | Systems and methods for handling multiple simultaneous localization and mapping (SLAM) sources and algorithms in virtual, augmented, and mixed reality (xR) applications | |
| WO2019186551A1 (en) | Augmented reality for industrial robotics | |
| US11199561B2 (en) | System and method for standardized evaluation of activity sequences | |
| Bovo et al. | Detecting errors in pick and place procedures: detecting errors in multi-stage and sequence-constrained manual retrieve-assembly procedures | |
| JP6270488B2 (en) | Operator monitoring control device and operator monitoring control method | |
| US10593223B2 (en) | Action evaluation apparatus, action evaluation method, and computer-readable storage medium | |
| JPWO2021084694A5 (en) | Information processing equipment, control methods and programs | |
| Latif et al. | Teleoperation through eye gaze (TeleGaze): a multimodal approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |