KR20210072463A - 인간-머신 상호작용 방법 및 이를 위한 장치 - Google Patents

인간-머신 상호작용 방법 및 이를 위한 장치 Download PDF

Info

Publication number
KR20210072463A
KR20210072463A KR1020190162801A KR20190162801A KR20210072463A KR 20210072463 A KR20210072463 A KR 20210072463A KR 1020190162801 A KR1020190162801 A KR 1020190162801A KR 20190162801 A KR20190162801 A KR 20190162801A KR 20210072463 A KR20210072463 A KR 20210072463A
Authority
KR
South Korea
Prior art keywords
location
machine
identified
task
human
Prior art date
Application number
KR1020190162801A
Other languages
English (en)
Inventor
이주행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020190162801A priority Critical patent/KR20210072463A/ko
Priority to US16/728,827 priority patent/US11164002B2/en
Publication of KR20210072463A publication Critical patent/KR20210072463A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Abstract

인간-머신 상호작용 방법 및 이를 위한 장치가 개시된다. 본 발명의 일실시예에 따른 인간-머신 상호작용 방법은 3차원 공간을 표시하는 사용자 디바이스의 입/출력 인터페이스를 통해, 머신에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하는 단계; 상기 머신이 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 상기 사용자 디바이스에 증강하여 표시하는 단계; 상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신하는 단계; 상기 머신이 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 상기 사용자 디바이스에 증강하여 표시하는 단계 및 상기 머신을 통하여 상기 작업이 수행된 결과와 관련된 정보를 수신하는 단계를 포함한다.

Description

인간-머신 상호작용 방법 및 이를 위한 장치 {METHOD OF HUMAN-MACHINE INTERACTION, AND DEVICE FOR THE SAME}
본 발명은 인간-머신 상호작용 기술에 관한 것으로, 보다 상세하게는 모바일 기술, 이미지 인식 기술, 3차원 정보 처리 기술, 증강 현실 기술, 로봇 제어 기술 및 이를 이용한 인간-머신 상호작용 기술에 관한 것이다.
최근 로봇 기술의 발전을 통해 인간과 협업이 가능한 협동 로봇의 개발이 활발하다. 이미 제품으로 출시된 경우도 많다. 작업 기능은 부족하지만 가정 내 돌보미 로봇이나 매장 가이드 로봇 등 인간과 공존하는 로봇도 활발이 개발 및 보급되고 있다. 이러한 상황에서 인간과 로봇은 효과적인 의사전달을 통해 상호작용하는 것이 필요하다.
특히, 로봇의 서비스를 받기 위해서는 인간의 의사를 명확히 지시하는 것이 필요하다. 간단한 작업의 경우는 컴퓨터나 스마트폰의 메뉴 방식으로 지시할 수 있지만, 복잡한 3차원 공간상에서 특정 물체를 선택하여 다시 특정 위치로 옮겨야 하는 것과 같은 작업을 메뉴 방식의 UI만으로 해결하기 어렵다. 음성 인터페이스는 3차원 정보를 정확하게 기술하기에 적합하지 않다. 웨어러블 증강현실 장치의 경우 스마트 폰에 비해 가용성과 비용 등에서 보급이 어렵다. 또한, 좁은 화각이나 배터리 사용시간도 문제가 된다.
본 발명에서는 3차원 작업을 머신에게 효율적으로 지시하고, 그 결과를 효과적으로 확인하여 확인 할 수 있는 효율적인 인간-머신 상호작용 방법 및 이를 위한 장치를 제시하고, 실세계 사물에 대한 복잡한 3차원 작업과 서비스에 관련된 응용에 활용하는 방법을 제시한다.
한편, 한국공개특허 제 10-2014-0025814 호 “인간―로봇 상호작용 서비스 장치”는 서비스 로봇 기술의 컴포넌트와 응용프로그램 사이의 통일된 인터페이스를 제시함으로써 컴포넌트들의 재사용성을 증진시키고 서비스 애플리케이션과 컴포넌트 개발의 효율 성을 높일 수 있는 인간-로봇 상호작용 서비스 장치에 관하여 개시하고 있다.
본 발명은 복잡한 3차원 작업 정보를 인간과 로봇이 정확하고 효율적으로 공유하여 상호작용하는 것을 목적으로 한다.
또한, 본 발명은 복잡한 3차원 작업을 직관적으로 지시하고, 로봇이 이해한 바를 가시화하는 것을 목적으로 한다.
또한, 본 발명은 실세계 사물에 대한 복잡한 3차원 작업과 서비스에 관련된 응용을 제공하는 것을 목적으로 한다.
또한, 본 발명은 로봇에 대한 작업 지시를 인터랙티브하게 제공하는 것을 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 인간-머신 상호작용 방법은 3차원 공간을 표시하는 사용자 디바이스의 입/출력 인터페이스를 통해, 머신에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하는 단계; 상기 머신이 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 상기 사용자 디바이스에 증강하여 표시하는 단계; 상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신하는 단계; 상기 머신이 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 상기 사용자 디바이스에 증강하여 표시하는 단계 및 상기 머신을 통하여 상기 작업이 수행된 결과와 관련된 정보를 수신하는 단계를 포함한다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 상기 인간-머신 상호작용 방법은 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 상기 사용자 디바이스에 증강하여 표시하는 단계를 더 포함할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 사용자 디바이스는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은 3차원 공간을 표시하는 입/출력 인터페이스를 통해, 머신에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하고, 상기 머신이 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 증강하여 표시하고, 상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신하고, 상기 머신이 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 머신 디바이스는 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은 사용자 디바이스로부터 지시될 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하고, 상기 객체 식별 입력에 상응하여 공간 내에서 식별된 상기 객체에 상응하는, 객체 식별 시각 인터페이스 정보를 생성하고, 상기 사용자 디바이스로부터 상기 공간 내의 위치를 식별하기 위한 위치 식별 입력을 수신하고, 위치 식별 입력에 상응하여 상기 공간 내에서 식별된 상기 위치에 상응하는, 위치 식별 시각 인터페이스 정보를 생성하고, 상기 객체 및 상기 위치에 기반하여 상기 작업을 식별하고, 식별된 상기 작업에 상응하는 동작을 수행할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 사용자 디바이스는 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
본 발명은 복잡한 3차원 작업 정보를 인간과 로봇이 정확하고 효율적으로 공유하여 상호작용할 수 있다.
또한, 본 발명은 복잡한 3차원 작업을 직관적으로 지시하고, 로봇이 이해한 바를 가시화할 수 있다.
또한, 본 발명은 실세계 사물에 대한 복잡한 3차원 작업과 서비스에 관련된 응용을 제공할 수 있다.
또한, 본 발명은 로봇에 대한 작업 지시를 인터랙티브하게 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 인간-머신 상호작용 시스템을 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 사용자 디바이스를 나타낸 블록도이다.
도 3은 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 머신 디바이스를 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 사용자 디바이스의 인간-머신 상호작용 방법을 나타낸 동작흐름도이다.
도 5는 본 발명의 일실시예에 따른 머신 디바이스의 인간-머신 상호작용 방법을 나타낸 동작흐름도이다.
도 6은 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 나타낸 시퀀스 다이어그램이다.
도 7 내지 도 12은 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 이용한 작업 과정의 일 예를 나타낸 도면이다.
도 13 내지 도 21는 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 이용한 작업 과정의 일 예에 해당하는 사용자 인터페이스를 나타낸 도면이다.
도 22 내지 도 27은 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 이용한 작업 과정의 다른 예에 해당하는 사용자 인터페이스를 나타낸 도면이다.
도 28은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "??부", "??기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 인간-머신 상호작용 시스템을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 인간-머신 상호작용 시스템은 사용자 디바이스(100) 및 머신 디바이스(200)를 포함한다.
사용자 디바이스(100)는 3차원 공간을 표시하는 입/출력 인터페이스를 통해, 머신 디바이스(200)에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신할 수 있다.
이 때, 사용자 디바이스(100)는 상기 머신 디바이스(200)가 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 증강하여 표시할 수 있다.
이 때, 사용자 디바이스(100)는 상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신할 수 있다.
이 때, 사용자 디바이스(100)는 상기 머신 디바이스(200)가 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 증강하여 표시할 수 있다.
이 때, 사용자 디바이스(100)는 모바일 장치, 스마트폰 및 스마트 패드 등에 상응할 수 있다.
이 때, 사용자 디바이스(100)는 물체, 사람, 환경 및 신호 등의 인식 대상을 인식할 수 있다.
이 때, 사용자 디바이스(100)는 인식 대상의 검출, 인식 대상의 식별, 자세, 이상 상태, 언어를 인식할 수 있다.
이 때, 사용자 디바이스(100)는 터치 입력을 받아 시각, 햅틱으로 피드백 가능하고, 모션 트래킹 및 쉐이킹 등의 동작을 센싱하여 인터랙션을 제공할 수 있다.
또한, 머신 디바이스(200)는 사용자 디바이스(100)로부터 지시될 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신할 수 있다.
이 때, 머신 디바이스(200)는 상기 객체 식별 입력에 상응하여 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스 정보를 생성할 수 있다.
이 때, 머신 디바이스(200)는 상기 사용자 디바이스(100)로부터 상기 공간 내의 위치를 식별하기 위한 위치 식별 입력을 수신할 수 있다
이 때, 머신 디바이스(200)는 위치 식별 입력에 상응하여 상기 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스 정보를 생성할 수 있다.
이 때, 머신 디바이스(200)는 상기 객체 및 상기 위치에 기반하여 상기 작업을 식별하고, 식별된 상기 작업에 상응하는 동작을 수행할 수 있다.
이 때 머신 디바이스(200)는 협동 로봇, 돌보미 로봇, 작업용 로봇, 청소기 로봇 및 인간형 로봇 등의 다양한 로봇 형태 머신 및 작업 머신에 상응할 수 있다.
이 때 머신 디바이스(200)는 물체, 사람, 환경 및 신호 등의 인식 대상을 인식할 수 있다.
이 때, 머신 디바이스(200)는 인식 대상의 검출, 인식 대상의 식별, 자세, 이상 상태, 언어를 인식할 수 있다.
머신 디바이스(200)가 청소기 로봇일 때 수행하는 기능을 설명한다.
예를 들어, 청소기 로봇은 진행 방향과 진행 폭이 중요하므로, 물리적으로 가능한 진행 방향과 경로를 피드백 정보로 보여줄 수 있다.
이 때, 청소기 로봇은 회전과 경로 변경 한계가 있으므로 이를 고려한 진입 가능 영역을 출력할 수 있다.
이 때, 청소기 로봇은 진입 가능 영역을 무시한 입력에 대해서는 오류를 표시할 수 있다.
이 때, 청소기 로봇은 주변 영역을 고려하여 인식된 평면의 특성을 고려하여 청소기의 접근성(충돌 가능성)을 계산하여 출력할 수 있다.
이 때, 청소기 로봇은 작업 지점이 경로 방식으로 확장되므로, 모바일 장치를 이동하며 작업 지점을 확장하는 인터페이스를 추가로 제공할 수 있다.
또한, 머신 디바이스(200)가 작업용 로봇일 때 수행하는 기능을 설명한다.
예를 들어, 작업용 로봇은 로봇 파지 작업을 수행할 수 있다.
이 때, 작업용 로봇은 사용자의 실수로 지정된 잘못된 목표 지점(예, 테이블 아래 바닥)에 대해서는 오류 표시할 수 있다.
이 때, 작업용 로봇은 물체의 기하학적 형태와 물리적 특징(무게 중심), 그리고 목표 지점의 상태(평면 여부, 다른 물체가 있는지 여부)를 출력할 수 있다.
이 때, 작업용 로봇은 물체의 기하학적 형태와 물리적 특징(무게 중심), 그리고 목표 지점의 상태를 고려하여 물체가 목표지점에 안전하게 배치 될 수 있는지를 판단하고, 판단한 결과를 시각적으로 출력할 수 있다.
도 2는 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 사용자 디바이스를 나타낸 블록도이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 사용자 디바이스(100)는 통신부(110), 객체 식별 정보 처리부(120) 및 위치 식별 정보 처리부(130)를 포함한다.
통신부(110)는 머신 디바이스(200)에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력 및 위치 식별 입력을 송신할 수 있다.
객체 식별 정보 처리부(120)는 3차원 공간을 표시하는 입/출력 인터페이스를 통해, 머신 디바이스(200)에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신할 수 있다.
이 때, 객체 식별 정보 처리부(120)는 상기 머신 디바이스(200)가 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 증강하여 표시할 수 있다.
위치 식별 정보 처리부(130)는 상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신할 수 있다.
이 때, 위치 식별 정보 처리부(130)는 상기 머신 디바이스(200)가 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 자세 정보는 인식된 객체의 자세를 나타내는 정보일 수 있다. 예를 들어, 자세 정보는 인식된 객체의 3차원 공간상의 자세를 나타내는 정보일 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
예를 들어, 부드러운 면 위의 위치를 나타내는 위치 식별 시각 인터페이스와 거친 면 위의 위치를 나타내는 위치 식별 시각 인터페이스가 달리 생성될 수 있다.
예를 들어, 인식된 객체가 책상 위에 놓여 있는 물체인 경우와(주변 객체가 책상인 경우), 인식된 객체가 벽면에 걸려 있는 물체인 경우(주변 객체가 벽인 경우)의 위치 식별 시각 인터페이스는 달리 생성될 수 있다. 즉, 책상 위에 놓인 객체가 대하여 예상되는 작업과, 벽에 걸린 객체에 대하여 예상되는 작업이 상이하므로, 두 경우에 서로 다른 위치 식별 시각 인터페이스가 제공될 수 있다. 예를 들어, 책상 위에 놓인 객체에 대해서는 책상 면을 기준으로 2축 방향(x축 및 y축)에 해당하는 위치 식별 시각 인터페이스가 제공될 수 있다. 예를 들어, 벽에 걸린 객체에 대해서는 벽면을 기준으로 2축 방향(y축 및 z축)에 해당하는 위치 식별 시각 인터페이스가 제공될 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
예를 들어, 위치 식별 입력에 상응하는 위치가 책상 위 또는 책상 아래 바닥에 상응하는 경우, 바닥에 붙어서 움직이는 성질을 가진 객체(예를 들어, 청소기 로봇)에 대해서는 책상 아래 바닥으로 위치 식별되고, 책상 위에서만 움직이는 객체에 대해서는 책상 위의 위치로 위치 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 객체 식별 정보 처리부(120)는 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시할 수 있다.
예를 들어, 작업 시각 피드백은 식별된 객체 및 위치에서 수행되는 작업의 프리뷰에 상응하는 것일 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
도 3은 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 머신 디바이스를 나타낸 블록도이다.
도 3을 참조하면, 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 머신 디바이스(200)는 머신 통신부(210), 객체 식별 정보 생성부(220), 위치 식별 정보 생성부(230) 및 동작 수행부(240)를 포함한다.
머신 통신부(210)는 사용자 디바이스(100)로부터 지시될 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신할 수 있다.
객체 식별 정보 생성부(220)는 상기 객체 식별 입력에 상응하여 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스 정보를 생성할 수 있다.
머신 통신부(210)는 상기 사용자 디바이스(100)로부터 상기 공간 내의 위치를 식별하기 위한 위치 식별 입력을 수신할 수 있다
위치 식별 정보 생성부(230)는 위치 식별 입력에 상응하여 상기 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스 정보를 생성할 수 있다.
동작 수행부(240)는 상기 객체 및 상기 위치에 기반하여 상기 작업을 식별하고, 식별된 상기 작업에 상응하는 동작을 수행할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 사용자 디바이스(100)는 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
도 4는 본 발명의 일실시예에 따른 사용자 디바이스의 인간-머신 상호작용 방법을 나타낸 동작흐름도이다.
도 4를 참조하면, 본 발명의 일실시예에 따른 사용자 디바이스의 인간-머신 상호작용 방법은 먼저 객체 식별 입력을 수신할 수 있다(S310).
즉, 단계(S310)는 3차원 공간을 표시하는 입/출력 인터페이스를 통해, 머신 디바이스(200)에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신할 수 있다.
또한, 본 발명의 일실시예에 따른 사용자 디바이스의 인간-머신 상호작용 방법은 객체 식별 시각 인터페이스를 표시할 수 있다(S320).
즉, 단계(S320)는 상기 머신 디바이스(200)가 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 증강하여 표시할 수 있다.
또한, 본 발명의 일실시예에 따른 사용자 디바이스의 인간-머신 상호작용 방법은 위치 식별 입력을 수신할 수 있다(S330).
즉, 단계(S330)는 상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신할 수 있다.
또한, 본 발명의 일실시예에 따른 사용자 디바이스의 인간-머신 상호작용 방법은 위치 식별 시각 인터페이스를 표시할 수 있다(S340).
즉, 단계(S340)는 상기 머신 디바이스(200)가 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 증강하여 표시할 수 있다.
또한, 본 발명의 일실시예에 따른 사용자 디바이스의 인간-머신 상호작용 방법은 결과 정보를 수신할 수 있다(S350).
즉, 단계(S350)는 머신 디바이스(200)에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 송신하고, 머신 디바이스(200)로부터 해당 동작을 수행한 결과 정보를 수신할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 단계(S340)는 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
도 5는 본 발명의 일실시예에 따른 머신 디바이스의 인간-머신 상호작용 방법을 나타낸 동작흐름도이다.
도 5를 참조하면, 본 발명의 일실시예에 따른 머신 디바이스의 인간-머신 상호작용 방법은 먼저 객체 식별 입력을 수신할 수 있다(S410).
즉, 단계(S410)는 사용자 디바이스(100)로부터 지시될 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신할 수 있다.
또한, 본 발명의 일실시예에 따른 머신 디바이스의 인간-머신 상호작용 방법은 객체 식별 시각 인터페이스 정보를 생성할 수 있다(S420).
즉, 단계(S420)는 상기 객체 식별 입력에 상응하여 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스 정보를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 머신 디바이스의 인간-머신 상호작용 방법은 위치 식별 입력을 수신할 수 있다(S430).
즉, 단계(S430)는 상기 사용자 디바이스(100)로부터 상기 공간 내의 위치를 식별하기 위한 위치 식별 입력을 수신할 수 있다.
또한, 본 발명의 일실시예에 따른 머신 디바이스의 인간-머신 상호작용 방법은 위치 식별 시각 인터페이스 정보를 생성할 수 있다(S440).
즉, 단계(S440)는 위치 식별 입력에 상응하여 상기 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스 정보를 생성할 수 있다.
또한, 본 발명의 일실시예에 따른 머신 디바이스의 인간-머신 상호작용 방법은 작업을 식별할 수 있다(S450).
즉, 단계(S450)는 상기 객체 및 상기 위치에 기반하여 상기 작업을 식별할 수 있다.
또한, 본 발명의 일실시예에 따른 머신 디바이스의 인간-머신 상호작용 방법은 작업 동작을 수행할 수 있다(S460).
즉, 단계(S460)는 식별된 상기 작업에 상응하는 동작을 수행할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 사용자 디바이스(100)는 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
도 6은 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 나타낸 시퀀스 다이어그램이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 인간-머신 상호작용 방법은 사용자 디바이스(100)와 머신 디바이스(200)에 의해 수행되는 것을 알 수 있다.
먼저, 사용자 디바이스(100)는 머신 디바이스(200)에게 대상을 인식하고 작업 실행을 요청하기 위한 작업 명세를 생성하고 작업 명세를 머신 디바이스(200)에게 송신하여 작업을 지시할 수 있다(S510).
이 때, 머신 디바이스(200)는 수신한 작업 명세에 대하여 작업 대상을 인식하고(S520), 사용자 디바이스(100)에게 작업 대상의 인식 결과를 피드백할 수 있다(S530).
이 때, 사용자 디바이스(100)는 머신 디바이스(200)의 피드백을 확인하고(S540), 머신 디바이스(S540)가 대상의 인식을 실패한 경우, 작업 명세를 수정하고 작업을 재지시할 수 있다(S550).
이 때, 사용자 디바이스(100)는 머신 디바이스(200)가 대상의 인식을 성공한 경우, 머신 디바이스(2000에게 작업 계획을 요청할 수 있다(S560).
이 때, 머신 디바이스(200)는 작업 계획을 처리하고(S570), 사용자 디바이스(100)에게 작업 계획을 피드백할 수 있다(S580).
이 때, 사용자 디바이스(100)는 작업 계획을 확인하고(S590), 작업 계획의 수정이 필요한 경우 작업 계획을 수정(S600)하고, 작업 계획을 재요청할 수 있다(S560).
이 때, 사용자 디바이스(100)는 작업 계획의 수정이 필요하지 않은 경우, 머신 디바이스(200)에게 작업 실행을 요청할 수 있다(S610).
이 때, 머신 디바이스(200)는 작업을 실행하고(S620), 사용자 디바이스(100)에게 작업 실행 결과를 피드백할 수 있다(S630).
이 때, 사용자 디바이스(100)는 작업 실행 결과를 확인하고(S640), 작업 실행 결과에 대한 재작업 및 복구를 수행하고(S650), 작업 실행 결과가 기설정된 목표에 달성한 경우, 머신 디바이스(200)에게 작업 종료를 요청할 수 있다(S660).
이 때, 머신 디바이스(200)는 사용자 디바이스(100)로부터 작업 종료를 요청 받은 경우 작업을 종료할 수 있다(S670).
도 7 내지 도 12은 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 이용한 작업 과정의 일 예를 나타낸 도면이다.
도 7 내지 도 12를 참조하면, 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 통해 물체(10)를 이동시키는 작업을 지시하는 과정을 나타낸 것을 알 수 있다.
도 7을 참조하면, 인간-머신 상호작용 방법을 위한 장치를 이용하여 물체(10)을 촬영할 수 있다.
이 때, 인간-머신 상호작용 방법을 위한 장치는 상기에서 설명한 사용자 디바이스(100) 및 머신 디바이스(200)에 상응할 수 있다.
이 때, 인간-머신 상호작용 방법을 위한 장치는 촬영한 이미지를 디바이스의 자체 기능 또는 외부 서버의 기능을 이용하여, 타겟이미지 내의 물체(10)를 검출하고, 물체를 식별하고, 물체의 자세를 계산하여 자세 정보를 생성할 수 있다.
도 8을 참조하면, 인간-머신 상호작용 방법을 위한 장치는 십자 표시(11)에 인식된 물체의 식별 결과와 자세 정보(12)를 증강현실 방식으로 물체(10)에 대한 이미지를 포함하는 객체 식별 인터페이스를 시각화할 수 있다.
도 9를 참조하면, 인간-머신 상호작용 방법을 위한 장치는 단말의 위치가 바꾸어 물체(10)를 비추어도 트래킹 기능을 이용하여 물체의 식별 결과 및 자세 정보(120)를 정확하게 정합하여 객체 식별 인터페이스를 시각화한 것을 알 수 있다.
예를 들어, 사용자 디바이스(100)는 머신 디바이스(200)에게 작업 물체를 지시하고, 머신 디바이스(200)는 물체의 식별 결과 및 자세 정보를 시각적 방법으로 사용자 전달할 수 있다.
이를 통해, 사용자는 사용자 디바이스(100)를 이용하여 머신 디바이스(200)를 통해 작업에 대한 정보를 상호간에 확인할 수 있다.
이 때, 사용자 디바이스(100)는 물체에 대한 지정이나 물체의 자세 교정을 통해, 머신 디바이스(200)의 작업을 수정할 수 있다.
도 10을 참조하면, 물체(10)를 옮겨야 할 위치인 목표 지점이 지정된 것을 알 수 있다.
이를 위해, 인간-머신 상호작용 방법을 위한 장치는 촬영 방향을 이동시켜 목표 지점을 향할 수 있다.
이 때, 목표 지점은 십자표시(11) 부분이 대상 영역인 것을 알 수 있다.
예를 들어, 인간-머신 상호작용 방법을 위한 장치는 사용자로부터 대상 영역을 UI 버튼이나 손가락 터치를 통해 입력 받아 대상 영역을 지정할 수 있다.
인간-머신 상호작용 방법을 위한 장치는 위치가 트래킹이 되고 있기 때문에, 이미지의 한 위치를 3차원 공간상의 위치로 인식할 수 있다.
이 때, 인간-머신 상호작용 방법을 위한 장치는 자체적 또는 외부 시스템을 이용하여 3차원 공간상의 위치를 계산할 수 있다.
도 11을 참조하면, 인간-머신 상호작용 방법을 위한 장치는 계산된 3차원 목표 지점(13)을 증강현실 방식으로 표시할 수 있다.
이 때, 사용자 디바이스(100)는 3차원 목표 지점(13)에 대해서 머신 디바이스(200)가 잘 이해하고 있는지를 가시화 피드백을 통해 확인할 수 있다.
이 때, 사용자 디바이스(100)는 3차원 목표 지점(13)이 잘못 설정된 경우, 3차원 목표 지점(13)을 수정할 수 있다.
도 12를 참조하면, 물체(10)와 3차원 목표 지점(13)이 증강현실 방식으로 올바르게 설정된 것을 알 수 있다.
또한, 도 7 내지 도 12를 참조하면, 사용자 디바이스(100)가 출력하는 인터페이스 화면을 나타낸 것으로, 인터페이스 화면의 우측 하단에는 3개의 단추를 표시할 수 있다.
이 때, 사용자는 사용자 디바이스(100)의 인터페이스 화면의 3개의 단추를 터치하여 아래 기능을 실행할 수 있다.
제1 단추는 사용자 디바이스(100)와 머신 디바이스(200)의 공통 좌표계를 설정하기 위한 마커를 제공할 수 있다.
이 때, 사용자 디바이스(100)와 머신 디바이스(200)가 마커를 촬영하면 마커를 기준으로, 사용자 디바이스(100)와 머신 디바이스(200)의 3차원 기준점이 계산될 수 있다.
이 때, 사용자 디바이스(100)와 머신 디바이스(200)는 3차원 기준점을 기준으로 사용자 디바이스(100)를 트래킹하여 사용자 디바이스(100)의 위치와 방위를 계산할 수 있다.
이 때, 사용자 디바이스(100)와 머신 디바이스(200)는 3차원 기준점을 공유하여 공통 좌표계를 설정할 수 있다.
제2 단추는 대상 물체를 지정하는 기능을 제공할 수 있다.
예를 들어, 도 7에 도시된 바와 같이, 사용자가 사용자 디바이스(100)의 방향을 물체(10)의 방향으로 위치시키고, 십자 표시(11)를 물체(10) 위에 둔 채로, 제2 단추를 터치하면, 촬영된 이미지에서 십자 표시(11)에 위치한 물체(10)를 인식할 수 있다.
제3 단추는 목표 지점을 설정하는 기능을 제공할 수 있다.
예를 들어, 도 10에 도시된 바와 같이, 십자 표시(11)의 위치에서 제3 단추를 터치하면, 촬영한 이미지에서 십자 표시(11)의 위치를 목표 지점으로 설정할 수 있다.
도 13 내지 도 21는 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 이용한 작업 과정의 일 예에 해당하는 사용자 인터페이스를 나타낸 도면이다.
도 13을 참조하면, 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 이용한 작업 과정의 일 예에 해당하는 사용자 인터페이스를 보다 세부적으로 나타낸 것을 알 수 있다.
인간-머신 상호작용 방법을 위한 장치는 사용자 인터페이스를 통해 작업 선택, 인식기 선택, 작업 지시 및 제어기 단추를 표시할 수 있다.
도 14를 참조하면, 사용자 인터페이스에서 작업 선택 버튼을 선택한 결과를 나타낸 것을 알 수 있다.
사용자 인터페이스에서 작업 선택 버튼을 선택하면 분야 선택 버튼, 세부 작업 선택 버튼 및 작업 환경 선택 버튼이 표시되는 것을 알 수 있다.
분야 선택 버튼은 협동 로봇, 청소기 로봇, 돌보미 로봇 등의 작업 분야를 표시하고, 작업 분야를 선택 받을 수 있다.
또한, 세부 작업 선택 버튼은 협동 로봇인 경우, Pick & Place, Peg-in-Hole 등의 세부 작업을 표시하고, 세부 작업을 선택 받을 수 있다.
세부 작업 선택 버튼은 청소기 로봇인 경우, 청소 경로 설정, 장애물 설정 등의 세부 작업을 표시하고, 세부 작업을 선택 받을 수 있다.
세부 작업 선택 버튼은 돌보미 로봇인 경우, 관찰 영역/경로 설정, 관찰 물체 설정 등의 세부 작업을 표시하고, 세부 작업을 선택 받을 수 있다.
작업 환경 선택 버튼은 현재 작업이 수행되는 환경에 대한 정보를 선택 받을 수 있다.
이 때, 작업 환경 선택 버튼은 단일 평면, 다중 평면 및 주거 공간 등의 작업 환경을 표시하고, 작업 환경을 선택 받을 수 이다.
단일 평면은 테이블 위, 방 1개에서 단일 평면에서 작업이 수행되는 환경에 상응할 수 있다.
다중 평면은 테이블과 바닥, 테이블과 선반 등 다중 평면에서 작업이 수행되는 환경에 상응할 수 있다.
주거 공간은 평면도가 제공되는 공간에서 작업이 수행되는 환경에 상응할 수 있다.
또한, 자동 버튼은 입력된 영상, 위치 정보, 사용자 정보 등 맥락 (context) 정보를 이용하여 작업 관련 설정을 추정하여 제시할 수 있다.
또한, 완료 버튼은 선택된 분야, 세부 작업, 작업 환경을 최종 결정할 수 있다.
또한, 제어판 버튼은 분야, 세부작업, 작업 환경에 관한 세부 구성을 추가, 삭제 및 수정할 수 있다.
도 15를 참조하면, 사용자 인터페이스에서 인식기 선택 버튼을 선택한 결과를 나타낸 것을 알 수 있다.
사용자 인터페이스에서 인식기 선택 버튼을 선택하면 환경 인식 버튼, 물체 인식 버튼, 자세 인식 버튼, 얼굴 인식 버튼이 표시되는 것을 알 수 있다.
환경 인식 버튼은 기선택된 작업 환경에 맞는 인식기 및 트래커의 연동 여부를 선택할 수 있다.
예를 들어, 작업 환경은 상기에서 설명한 단일 평면, 다중 평면 및 주거 공간에 상응할 수 있다.
물체 인식 버튼은 기선택된 작업에 맞는 물체 인식기 및 식별기의 연동 여부를 선택할 수 있다
예를 들어, 물체 인식기 및 식별기는 재고 파악 물체, 알약 및 가구 등 다양한 물체들 중 어느 하나에 최적화된 인식 및 식별 기능을 제공할 수 있다.
자세 인식 버튼은 기선택된 환경, 작업, 물체에 맞는 자세 인식기의 연동 여부를 선택할 수 있다.
예를 들어, 자세 인식기는 평면에서의 위치/회전, 테이블/선반 등 복합 평면에서의 위치 중 어느 하나에 최적화된 자세 인식 기능을 제공할 수 있다.
얼굴 인식 버튼은 돌보미 로봇 등 사용자의 신원/위치 인식이 필요한 경우에 얼굴 인식기의 연동 여부를 선택할 수 있다.
예를 들어, 얼굴 인식기는 대상을 식별하고, 대상의 연령 및 감정 등을 인식할 수 있다.
또한, 자동 선택 버튼은 입력된 영상, 위치 정보, 사용자 정보 등 맥락 (context) 정보와 기선택된 분야, 작업, 환경 맥락 정보를 이용하여 필요한 인식기를 추정하여 자동으로 제시할 수 있다.
또한, 완료 버튼은 선택된 인식기를 최종 결정할 수 있다.
또한, 제어판 버튼은 인식기에 관한 정보를 추가, 삭제 및 수정할 수 있다.
도 16을 참조하면, 사용자 인터페이스는 작업 지시 버튼을 선택 받은 이후, 물체 지정 버튼과 식별, 위치, 회전 값을 표시하는 것을 알 수 있다.
도 17을 참조하면, 물체 지정 버튼을 이용하여 물체를 지정하고 물체의 위치와 자세를 인식할 수 있다.
상기에서 설명한 바와 같이, 사용자 디바이스(100) 및 머신 디바이스(200)는를 촬영 방향을 물체 방향으로 위치시키고, 물체에 십자 표시를 위치시키거나 물체 영역을 터치한 뒤, 사용자가 물체 지정 버튼을 터치하면 이미지를 촬영하고, 촬영된 이미지에서 물체를 인식할 수 있다.
도 17에 도시된 바와 같이, 식별된 물체는 Cheez-It 인 것을 알 수 있다.
이 때, 사용자 디바이스(100) 및 머신 디바이스(200)는 지정된 물체를 식별하고 물체 영역과 이름을 증강현실 방식으로 표시할 수 있다.
이 때, 사용자 디바이스(100) 및 머신 디바이스(200)는 물체 식별을 식별한 경우, 물체의 지정을 재시도할 수 있다.
이 때, 사용자 디바이스(100) 및 머신 디바이스(200)는 물체의 자세를 인식하고, 물체 영역을 3차원 증강현실 방식으로 좌표축과 함께 표시할 수 있다.
이 때, 사용자 디바이스(100) 및 머신 디바이스(200)는 물체의 자세 인식을 식별한 경우, 물체의 자세 인식을 재시도할 수 있다.
또한, 사용자 인터페이스는 다음 버튼을 입력 받으면, Pick-&-Place 작업에서 '물체 지정'의 다음 단계로 진행할 수 있다.
도 18을 참조하면, 물체 지정에서 다음 버튼을 선택한 뒤에, 작업 불가 사유가 존재하는 경우, 작업 불가 사유와 도움말을 출력할 수 있다.
예를 들어, 사용자 인터페이스는 작업 불가 사유로 로봇 파지 작업에 적합하지 않은 경우, 물체가 너무 크거나, 너무 무겁거나, 자세가 작업에 적합하지 않은 경우, 상기의 작업 불가 사유에 대하여 가능한 물체의 물리적 조건을 도움말에서 출력할 수 있다.
또한, 사용자 인터페이스는 작업 불가 사유로 지정한 물체의 위치가 로봇팔이 닿지 않은 곳에 존재하는 경우, 가능한 물체의 위치를 도움말에서 출력할 수 있다.
도 19를 참조하면, 사용자 인터페이스는 물체 지정 이후, 다음 버튼을 입력 받아 목표 지정 버튼과, 목표 지정에 따른 목표 지점의 식별, 위치, 회전 값을 표시하는 것을 알 수 있다.
사용자 인터페이스는 목표 지점이 테이블 위 인 것을 식별하고, 지정된 물체를 이동시킬 목표 지점에 대한 위치와 회전 각도를 설정하는 기능을 제공할 수 있다.
이 때, 사용자 인터페이스는 화면상에 물체를 이동시킬 목표 지점을 터치 받아 위치를 설정하고, 터치 후 GUI를 통해 지정한 목표 지점을 회전시킬 수도 있다.
이 때, 사용자 인터페이스는 지정된 위치 및 회전 값을 증강현실 방식으로 표시할 수 있다.
이 때, 사용자 인터페이스는 지정된 목표 지점에 가상의 물체를 표시할 수도 있다.
또한, 완료 버튼은 Pick-&-Place 작업에서 '목표 위치 지정' 설정으로 작업 지시를 완료할 수 있다.
도 20을 참조하면, 목표 지정에서 완료 버튼을 선택한 뒤에, 작업 불가 사유가 존재하는 경우, 작업 불가 사유와 도움말을 출력할 수 있다.
예를 들어, 사용자 인터페이스는 작업 불가 사유로 작업 공간이 평면이 아니어서 물체를 이동시키기 적합하지 않은 경우, 가능한 목표 위치의 조건을 도움말에서 출력할 수 있다.
또한, 사용자 인터페이스는 작업 불가 사유로 지정한 물체의 위치가 로봇팔이 닿지 않은 곳에 존재하는 경우, 가능한 물체의 위치를 도움말에서 출력할 수 있다.
도 21을 참조하면, 사용자 인터페이스는 각종 기타 기능에 관한 버튼을 추가로 제공할 수 있다.
실행 버튼은 실행 과정을 촬영 및 기록할 수 있다.
이 때, 실행 버튼은 실행 과정의 상태를 모니터링 할 수 있다.
또한, 시뮬레이션 버튼은 실행 전에 가상의 로봇팔이 가상의 물체를 옮기는 과정을 증강현실 방식으로 표시할 수 있다.
이 때, 시뮬레이션 버튼은 작업 과정에서 문제가 발생한 경우, 문제를 해결하기 위한 작업을 안내할 수 있고, 이전 작업 과정으로 되돌아 갈 수 있다.
또한, 분석 버튼은 실행 및 시뮬레이션에서 얻은 데이터를 분석하고 분석한 결과를 출력할 수 있다.
도 22 내지 도 27은 본 발명의 일실시예에 따른 인간-머신 상호작용 방법을 이용한 작업 과정의 다른 예에 해당하는 사용자 인터페이스를 나타낸 도면이다.
도 22를 참조하면, 상기 도 13 내지 21에서 설명한 사용자 인터페이스를 나타낸 것을 알 수 있다.
이 때, 사용자 인터페이스는 작업 선택 버튼의 분야 버튼을 청소 로봇을 선택하고, 세부 작업 버튼을 집중 청소로 선택하고, 작업 환경을 기존 등록장소로 선택한 것을 표시하는 것을 알 수 있다.
예를 들어, 청소 로봇의 세부 작업은 집중 청소, 경로 설정, 장애물 설정 등을 포함할 수 있다.
또한, 청소 로봇의 작업 환경은 기존 등록장소 및 신규 등록 등을 포함할 수 있다.
사용자 인터페이스에는 아파트 주거 환경과 청소 로봇(30)이 촬영된 것을 알 수 있다.
도 23을 참조하면, 청소 로봇의 인식기 선택에 상응하는 사용자 인터페이스를 나타낸 것을 알 수 있다.
예를 들어, 사용자 인터페이스는 청소 로봇인 경우, 환경 인식과 물체 인식이 자동적으로 선택된 결과를 표시할 수 있다.
이 때, 인식기는 서비스 정책에 따라 인식기의 종류와 성능이 변경될 수도 있다.
도 24를 참조하면, 사용자 인터페이스에서 작업 지시 버튼이 선택되고 영역 지정 버튼을 표시한 것을 알 수 있다.
영역 지정 버튼은 '집중 청소' 작업 영역(31)을 지정할 수 있다.
사용자는 사용자 디바이스(100)를 이동시키면서 작업에 필요한 영역(31)을 인식시킬 수 있다.
이 때, 사용자 디바이스(100)는 트래킹 기능으로 HW, 운영체제, 개발도구를 이용하여 작업 영역(31)을 인식할 수 있다.
사용자 인터페이스는 작업 영역(31)이 '기존 등록장소'인 경우, 평면 지도와 겹쳐서 표시하고, 면적 등의 편의 정보를 우선적으로 표시할 수도 있다.
도 25를 참조하면, 사용자 인터페이스에서 작업 불가 영역(32)이 표시된 것을 알 수 있다.
작업 불가 영역(32)은 청소 로봇(30)이 작업 영역(31)이 검출되지 않았거나 기타의 작업 불가 사유가 발생할 수 있다.
예를 들어, 작업 불가 영역(32)은 작업 영역(31)이 너무 복잡하거나, 작업 공간이 두 개의 평면으로 인식되는 경우(예를 들어, 마루 + 현관 바닥)에 상응할 수 있다.
이 때, 사용자 디바이스(100) 및 머신 디바이스(200)는 인식된 작업 불가 영역(32)을 가시화하고,‘작업 불가 사유'를 출력하고, 작업 영역(31)의 재지정을 요청할 수 있다.
도 26을 참조하면, 사용자 인터페이스는 지정된 작업 영역(31)에 대해서 청소 로봇(30)이 작업할 경로(33)를 나타낸 것을 알 수 있다.
이 때, 사용자 디바이스(100) 및 머신 디바이스(200)는 작업할 경로(33)에 대한 거리와 예상시간을 계산하고, 사용자 인터페이스를 통해 출력할 수 있다.
이 때, 사용자 인터페이스는 계산된 거리를 30m, 계산된 시간을 30분으로 표시하는 것을 알 수 있다.
도 27을 참조하면, 도 26에서 다음 버튼을 터치한 이후, 사용자 인터페이스는 작업 영역(31)에서 경로(33)를 결정할 수 없는 작업 불가 사유가 발생한 경우, 경우, 작업 불가 사유를 출력할 수 있다.
예를 들어, 도 27에 도시된 바와 같이, 사용자 인터페이스는 인식된 작업 영역이 단일 평면이 아니라 장애물에 의해 분리된 두 개의 영역(34, 35)인 경우, 경로(33)가 청소 로봇의 배터리 잔량으로 작업이 불가한 거리인 경우, 작업 불가 사유를 표시할 수 있다.
이 때, 사용자 인터페이스는 경로(33)에 대해서 경로 수정 기능을 제공할 수 있다.
경로 수정 기능은 경로 곡선을 '그리기' 기능을 이용하여 수정 받거나, 작업 영역(31)을 수정 받거나, 피해야 할 장소를 장애물로 선택 받아 경로를 수정할 수 있다.
예를 들어, 사용자 디바이스(100) 및 머신 디바이스(200)는 제1 영역(34)을 장애물 영역으로 선택 받고, 제2 영역(35)을 작업 영역으로 선택 받으면, 제2 영역(35)에 대해서만 경로를 재계산할 수 있다.
이 때, 경로 수정이 끝난 후, 사용자 인터페이스에서 다음 버튼을 터치하면, 청소 로봇(30)이 경로에 따라 실제 청소 작업을 수행할 수 있다.
사용자 디바이스(100) 및 머신 디바이스(200)는 물체 인식기를 포함한 경우 경로 상의 장애물을 미리 출력할 수 있고, 장애물에 따라 경로를 수정할 수 있다.
또한, 도 21에서 설명한 바와 같이, 사용자 인터페이스는 청소 로봇에 대해서도 각종 기타 기능에 관한 버튼을 추가로 제공할 수 있다.
실행 버튼은 실행 과정을 촬영 및 기록할 수 있다.
이 때, 실행 버튼은 실행 과정의 상태를 모니터링 할 수 있다.
또한, 시뮬레이션 버튼은 실행 전에 가상의 청소 로봇이 계산된 경로를 이동하는 과정을 증강현실 방식으로 표시할 수 있다.
이 때, 시뮬레이션 버튼은 작업 과정에서 문제가 발생한 경우, 문제를 해결하기 위한 작업을 안내할 수 있고, 이전 작업 과정으로 되돌아 갈 수 있다.
또한, 분석 버튼은 실행 및 시뮬레이션에서 얻은 데이터를 분석하고 분석한 결과를 출력할 수 있다.
도 28은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 28을 참조하면, 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 사용자 디바이스(100) 및 머신 디바이스(200)는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 28에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 인터페이스 입력 장치(1140), 사용자 인터페이스 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.
본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 사용자 디바이스는 하나 이상의 프로세서(1110); 및 상기 하나 이상의 프로세서(1110)에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리(1130)를 포함하고, 상기 적어도 하나 이상의 프로그램은 3차원 공간을 표시하는 입/출력 인터페이스를 통해, 머신에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하고, 상기 머신이 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 증강하여 표시하고, 상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신하고, 상기 머신이 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 상기 적어도 하나 이상의 프로그램은 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
또한, 본 발명의 일실시예에 따른 인간-머신 상호작용을 위한 머신 디바이스는 하나 이상의 프로세서(1110); 및 상기 하나 이상의 프로세서(1110)에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리(1130)를 포함하고, 상기 적어도 하나 이상의 프로그램은 사용자 디바이스로부터 지시될 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하고, 상기 객체 식별 입력에 상응하여 공간 내에서 식별된 상기 객체에 상응하는, 객체 식별 시각 인터페이스 정보를 생성하고, 상기 사용자 디바이스로부터 상기 공간 내의 위치를 식별하기 위한 위치 식별 입력을 수신하고, 위치 식별 입력에 상응하여 상기 공간 내에서 식별된 상기 위치에 상응하는, 위치 식별 시각 인터페이스 정보를 생성하고, 상기 객체 및 상기 위치에 기반하여 상기 작업을 식별하고, 식별된 상기 작업에 상응하는 동작을 수행할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함할 수 있다.
이 때, 상기 자세 정보는 상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함할 수 있다.
이 때, 상기 위치 식별 시각 인터페이스는 식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함할 수 있다.
이 때, 상기 주변 정보는 상기 주변 객체의 성질에 기반하여 생성될 수 있다.
이 때, 상기 주변 객체의 성질은 상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함할 수 있다.
이 때, 상기 위치는 인식된 상기 객체의 종류에 따라 달리 식별될 수 있다.
이 때, 상기 주변 정보는 인식된 상기 객체의 종류에 따라 달리 생성될 수 있다.
이 때, 사용자 디바이스는 상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시할 수 있다.
이 때, 상기 객체 식별 시각 인터페이스는 상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함할 수 있다.
본 발명의 일실시예에 따른 인간-머신 상호작용 방법 및 이를 위한 장치는 복잡한 3차원 작업 정보를 인간과 로봇이 정확하고 효율적으로 공유할 수 있다.
특히, 본 발명의 일실시예에 따른 인간-머신 상호작용 방법 및 이를 위한 장치는 증강현실 기법을 이용하여 머신에게 3차원 정보를 지시하고, 머신이 이해한 바를 3차원 가시화를 통해 확인할 수 있다.
또한, 본 발명의 일실시예에 따른 인간-머신 상호작용 방법 및 이를 위한 장치는 복잡한 3차원 작업을 직관적으로 지시하고, 머신이 이해한 바를 가시화함으로써 쉽게 입증할 수 있다.
또한, 최근 스마트폰과 같은 모바일 단말에는 증강현실을 위한, 카메라 및 센서와 가시화 기술의 기본이 API 형식으로 탑재되어 있으므로, 본 발명의 일실시예에 따른 인간-머신 상호작용 방법 및 이를 위한 장치는 이를 응용하여 인터페이스와 상호작용 시스템을 구성하는데 활용할 수 있다. 즉, 스마트폰 및 스마트패드는 인간-머신 상호작용을 위한 장치로 사용될 수 있다.
이상에서와 같이 본 발명의 일실시예에 따른 인간-머신 상호작용 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
100: 사용자 디바이스 110: 통신부
120: 객체 식별 정보 처리부
130: 위치 식별 정보 처리부
200: 머신 디바이스 210: 머신 통신부
220: 객체 식별 정보 생성부
230: 위치 식별 정보 생성부
240: 동작 수행부
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 인터페이스 입력 장치
1150: 사용자 인터페이스 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크

Claims (20)

  1. 3차원 공간을 표시하는 사용자 디바이스의 입/출력 인터페이스를 통해, 머신에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하는 단계;
    상기 머신이 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 상기 사용자 디바이스에 증강하여 표시하는 단계;
    상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신하는 단계;
    상기 머신이 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 상기 사용자 디바이스에 증강하여 표시하는 단계; 및
    상기 머신을 통하여 상기 작업이 수행된 결과와 관련된 정보를 수신하는 단계
    를 포함하는 것을 특징으로 하는 인간-머신 상호작용 방법.
  2. 청구항 1에 있어서,
    상기 객체 식별 시각 인터페이스는
    인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함하는 것을 특징으로 하는 인간-머신 상호작용 방법.
  3. 청구항 2에 있어서,
    상기 자세 정보는
    상기 객체의 3차원 자세에 상응하는 x축, y축 및 z축 정보를 포함하는 것을 특징으로 하는 인간-머신 상호작용 방법.
  4. 청구항 2에 있어서,
    상기 위치 식별 시각 인터페이스는
    식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함하는 것을 특징으로 하는 인간-머신 상호작용 방법.
  5. 청구항 4에 있어서,
    상기 주변 정보는
    상기 주변 객체의 성질에 기반하여 생성되는 것을 특징으로 하는 인간-머신 상호작용 방법.
  6. 청구항 5에 있어서,
    상기 주변 객체의 성질은
    상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함하는 것을 특징으로 하는 인간-머신 상호작용 방법.
  7. 청구항 4에 있어서,
    상기 위치는
    인식된 상기 객체의 종류에 따라 달리 식별되는 것을 특징으로 하는 인간-머신 상호작용 방법.
  8. 청구항 4에 있어서,
    상기 주변 정보는
    인식된 상기 객체의 종류에 따라 달리 생성되는 것을 특징으로 하는 인간-머신 상호작용 방법.
  9. 청구항 4에 있어서,
    상기 인간-머신 상호작용 방법은
    상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 상기 사용자 디바이스에 증강하여 표시하는 단계
    를 더 포함하는 것을 특징으로 하는 인간-머신 상호작용 방법.
  10. 청구항 1에 있어서,
    상기 객체 식별 시각 인터페이스는
    상기 3차원 공간 내에서 식별된 상기 객체가 이동할 수 있는 경로 정보를 포함하는 것을 특징으로 하는 인간-머신 상호작용 방법.
  11. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리;
    를 포함하고,
    상기 적어도 하나 이상의 프로그램은
    3차원 공간을 표시하는 입/출력 인터페이스를 통해, 머신에게 지시할 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하고,
    상기 머신이 인식하고 있는 공간 내에서 식별된 상기 객체에 상응하는 객체 식별 시각 인터페이스를 증강하여 표시하고,
    상기 작업과 관련된 상기 3차원 공간상의 위치를 식별하기 위한 위치 식별 입력을 수신하고,
    상기 머신이 인식하고 있는 공간 내에서 식별된 상기 위치에 상응하는 위치 식별 시각 인터페이스를 증강하여 표시하는 것을 특징으로 하는 사용자 디바이스.
  12. 청구항 11에 있어서,
    상기 객체 식별 시각 인터페이스는
    인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함하는 것을 특징으로 하는 사용자 디바이스.
  13. 청구항 12에 있어서,
    상기 위치 식별 시각 인터페이스는
    식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함하는 것을 특징으로 하는 사용자 디바이스.
  14. 청구항 13에 있어서,
    상기 주변 정보는
    상기 주변 객체의 성질에 기반하여 생성되는 것을 특징으로 하는 사용자 디바이스.
  15. 청구항 14에 있어서,
    상기 주변 객체의 성질은
    상기 주변 객체의 자세 또는 재질 중 어느 하나 이상을 포함하는 것을 특징으로 하는 사용자 디바이스.
  16. 청구항 13에 있어서,
    상기 적어도 하나 이상의 프로그램은
    상기 객체 및 상기 위치에 기반하여 식별된 상기 작업과 관련된 작업 시각 피드백(task visual feedback)을 증강하여 표시하는 것을 특징으로 하는 사용자 디바이스.
  17. 하나 이상의 프로세서; 및
    상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리;
    를 포함하고,
    상기 적어도 하나 이상의 프로그램은
    사용자 디바이스로부터 지시될 작업과 관련된 객체를 식별하기 위한 객체 식별 입력을 수신하고,
    상기 객체 식별 입력에 상응하여 공간 내에서 식별된 상기 객체에 상응하는, 객체 식별 시각 인터페이스 정보를 생성하고,
    상기 사용자 디바이스로부터 상기 공간 내의 위치를 식별하기 위한 위치 식별 입력을 수신하고,
    위치 식별 입력에 상응하여 상기 공간 내에서 식별된 상기 위치에 상응하는, 위치 식별 시각 인터페이스 정보를 생성하고,
    상기 객체 및 상기 위치에 기반하여 상기 작업을 식별하고,
    식별된 상기 작업에 상응하는 동작을 수행하는 것을 특징으로 하는 머신 디바이스.
  18. 청구항 17에 있어서,
    상기 객체 식별 시각 인터페이스는
    인식된 상기 객체의 중심으로부터 기설정된 영역 내에 표시되는 자세 정보를 포함하는 것을 특징으로 하는 머신 디바이스.
  19. 청구항 18에 있어서,
    상기 위치 식별 시각 인터페이스는
    식별된 상기 위치로부터 기설정된 영역 내에 표시되고, 상기 위치에 자리하는 주변 객체에 상응하는 주변 정보를 포함하는 것을 특징으로 하는 머신 디바이스.
  20. 청구항 19에 있어서,
    상기 위치는
    인식된 상기 객체의 종류에 따라 달리 식별되는 것을 특징으로 하는 머신 디바이스.
KR1020190162801A 2019-12-09 2019-12-09 인간-머신 상호작용 방법 및 이를 위한 장치 KR20210072463A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190162801A KR20210072463A (ko) 2019-12-09 2019-12-09 인간-머신 상호작용 방법 및 이를 위한 장치
US16/728,827 US11164002B2 (en) 2019-12-09 2019-12-27 Method for human-machine interaction and apparatus for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190162801A KR20210072463A (ko) 2019-12-09 2019-12-09 인간-머신 상호작용 방법 및 이를 위한 장치

Publications (1)

Publication Number Publication Date
KR20210072463A true KR20210072463A (ko) 2021-06-17

Family

ID=76209905

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190162801A KR20210072463A (ko) 2019-12-09 2019-12-09 인간-머신 상호작용 방법 및 이를 위한 장치

Country Status (2)

Country Link
US (1) US11164002B2 (ko)
KR (1) KR20210072463A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3640767A1 (de) * 2018-10-17 2020-04-22 Siemens Schweiz AG Verfahren zum bestimmen mindestens eines bereichs in mindestens einem eingabemodell für mindestens ein zu platzierendes element
CN113641442A (zh) * 2021-08-31 2021-11-12 京东方科技集团股份有限公司 交互方法、电子设备及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0203908D0 (sv) 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
JP4612439B2 (ja) * 2005-03-08 2011-01-12 株式会社東芝 画像表示装置
KR100930370B1 (ko) 2007-11-30 2009-12-08 광주과학기술원 증강현실 저작 방법 및 시스템과 그 프로그램을 기록한컴퓨터로 읽을 수 있는 기록 매체
KR101680124B1 (ko) 2010-06-14 2016-11-29 주식회사 비즈모델라인 이종 플랫폼 간 증강현실 전달 방법
KR101978740B1 (ko) * 2012-02-15 2019-05-15 삼성전자주식회사 원격조종시스템 및 그 제어방법
KR20140025814A (ko) 2012-08-22 2014-03-05 한국전자통신연구원 인간―로봇 상호작용 서비스 장치
US9639984B2 (en) 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
US10442025B2 (en) * 2014-10-22 2019-10-15 Illinois Tool Works Inc. Virtual reality controlled mobile robot
KR102317247B1 (ko) 2015-06-15 2021-10-26 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법
KR101732890B1 (ko) 2015-08-19 2017-05-08 한국전자통신연구원 증강대상의 모션에 기반한 미러 디스플레이 상에서의 증강현실 렌더링 방법 및 이를 이용한 장치
JP6420229B2 (ja) * 2015-12-10 2018-11-07 ファナック株式会社 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
US10535274B2 (en) * 2017-08-03 2020-01-14 Airbus Operations S.A.S. System and method for collision avoidance
WO2020014495A1 (en) * 2018-07-13 2020-01-16 Irobot Corporation Mobile robot cleaning system
CN109215121A (zh) * 2018-10-23 2019-01-15 百度在线网络技术（北京）有限公司 用于生成信息的方法和装置
US11762369B2 (en) * 2019-02-06 2023-09-19 Sensory Robotics, Inc. Robotic control via a virtual world simulation

Also Published As

Publication number Publication date
US20210174084A1 (en) 2021-06-10
US11164002B2 (en) 2021-11-02

Similar Documents

Publication Publication Date Title
JP6810093B2 (ja) ロボットのシミュレーション装置
JP6343353B2 (ja) ロボットの動作プログラム生成方法及びロボットの動作プログラム生成装置
US9495802B2 (en) Position identification method and system
Gutierrez et al. IMA-VR: A multimodal virtual training system for skills transfer in Industrial Maintenance and Assembly tasks
JP6653526B2 (ja) 測定システムおよびユーザインタフェース装置
US20150273689A1 (en) Robot control device, robot, robotic system, teaching method, and program
JP2015204615A (ja) 機器と移動デバイスとの間でインタラクトする方法及びシステム
CN110888428B (zh) 移动机器人、远程终端、计算机可读介质、控制系统、控制方法
KR20210072463A (ko) 인간-머신 상호작용 방법 및 이를 위한 장치
WO2021246416A1 (ja) プログラミング装置
CN114080590A (zh) 使用先进扫描技术的机器人料箱拾取系统和方法
Shamaine et al. RoSTAR: ROS-based telerobotic control via augmented reality
Gradmann et al. Augmented reality robot operation interface with google tango
JP3559335B2 (ja) 三次元画像処理装置
Hoang et al. Arviz: An augmented reality-enabled visualization platform for ros applications
JP6625266B1 (ja) ロボット制御装置
JP2015203680A (ja) 情報処理装置、方法、プログラム
US20220331972A1 (en) Robot Image Display Method, Recording Medium, And Robot Image Display System
KR102361985B1 (ko) 웨어러블 디바이스 기반의 매뉴얼 제공 방법 및 그 시스템
EP3703915B1 (en) Method of performing assembling of an object, and assembly system
CN114610143A (zh) 一种设备控制的方法、装置、设备及存储介质
KR20170116310A (ko) 작업 교시 시스템 및 방법
US20230249345A1 (en) System and method for sequencing assembly tasks
JP2018158429A (ja) ロボットシステム
KR20210128113A (ko) 시선 가이드 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination