KR20100085297A - 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법 - Google Patents

이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법 Download PDF

Info

Publication number
KR20100085297A
KR20100085297A KR1020090004493A KR20090004493A KR20100085297A KR 20100085297 A KR20100085297 A KR 20100085297A KR 1020090004493 A KR1020090004493 A KR 1020090004493A KR 20090004493 A KR20090004493 A KR 20090004493A KR 20100085297 A KR20100085297 A KR 20100085297A
Authority
KR
South Korea
Prior art keywords
user
gaze
display unit
image
pupil
Prior art date
Application number
KR1020090004493A
Other languages
English (en)
Other versions
KR101590331B1 (ko
Inventor
하태신
한우섭
최병권
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090004493A priority Critical patent/KR101590331B1/ko
Priority to US12/654,536 priority patent/US9298254B2/en
Publication of KR20100085297A publication Critical patent/KR20100085297A/ko
Application granted granted Critical
Publication of KR101590331B1 publication Critical patent/KR101590331B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법에 관한 것으로, 더욱 상세하게는 사용자 시점에 맞추어 영상을 디스플레이하는 장치를 구비한 로봇의 디스플레이 방법에 관한 것이다.
이를 위해 본 발명은 사용자 시점에 맞추어 영상을 디스플레이하는 장치를 이동 가능하게 설치하고, 이동 가능한 디스플레이 장치를 로봇에 설치하여 로봇의 이동성과 모션을 통해 사용자 시점에 맞추어 영상을 정확히 디스플레이해 줌으로서 사용자에게 보다 편리하고 확장된 서비스를 제공할 수 있으며, 사용자의 시점 변화에 따라 디스플레이되는 영상을 변화시켜 2차원의 디스플레이 장치를 통해 3차원으로 느껴지는 영상을 제공받을 수 있게 된다.

Description

이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법{MOBILE DISPLAY APPARATUS, ROBOT HAVE MOBILE DISPLAY APPARATUS AND DISPLAY METHOD THEREOF}
본 발명은 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법에 관한 것으로, 더욱 상세하게는 사용자 시점에 맞추어 영상을 디스플레이하는 장치를 구비한 로봇의 디스플레이 방법에 관한 것이다.
일반적으로, 전기적 또는 자기적인 작용을 이용하여 인간의 동작과 닮은 운동을 행하는 기계장치를 로봇이라고 한다. 최근 들어 로봇은 센서 및 제어기의 발달로 다양한 분야에서 활용되고 있으며, 그 예로는 가정에서의 가사 도우미 로봇, 공공장소용 서비스 로봇, 생산 현장에서의 반송 로봇, 작업자 지원 로봇 등이 있다. 이러한 로봇은 이동성과 모션을 통해 사용자에게 다양한 서비스를 제공할 수 있으며, 최근에는 영상 서비스를 제공하는 디스플레이 장치를 로봇 본체에 설치하여 사용자가 로봇에 접근함으로서 디스플레이 장치를 통해 영상 서비스를 제공받게 된다. 터치 스크린과 같이 사용자와의 상호 작용이 필요한 경우에는 터치의 효율성을 위해서 디스플레이 장치를 로봇 본체에 고정하는 것이 바람직하나, 영상 서비스 만을 제공하는 경우에는 디스플레이 장치를 로봇 본체에 고정할 경우 사용자는 고정된 시점에서 영상을 시청해야 하므로 영상을 장시간 시청하는 경우 불편함을 느끼게 된다.
이러한 문제를 해결하기 위해 영상 서비스만을 제공하는 디스플레이 장치의 경우에는 로봇의 머니퓰레이터(링크 구조, 암 등...) 끝 단(엔드 이펙터)에 디스플레이 장치를 설치하여 로봇의 이동성과 모션을 통해 디스플레이 장치의 위치를 변경해 줌으로서 사용자 시점에 맞추어 영상을 디스플레이하는 방법이 제안되었으나, 사용자 시점을 정확히 측정하기 어려워 디스플레이 화면을 사용자 시점에 맞추는 방법이 제한적이며, 또한 사용자 시점이 바뀌어도 디스플레이 장치를 통해 제공되는 영상 화면이 동일하기 때문에 사용자에게 보다 편리하고 확장된 서비스를 제공하지 못하는 단점이 있다.
본 발명은 이동 가능한 디스플레이 장치를 로봇에 설치하여 로봇의 이동성과 모션을 통해 사용자 시점에 맞추어 영상을 디스플레이할 수 있는 디스플레이 방법을 제시하고자 한다.
이를 위해 본 발명의 실시예는 영상을 디스플레이하는 디스플레이부; 상기 디스플레이부에 설치되어 사용자 영상을 획득하는 카메라; 상기 사용자의 머리 회전 방향 및 눈동자 방향을 측정하는 HMD; 상기 카메라를 통해 획득된 상기 사용자 영상과 상기 HMD를 통해 측정된 상기 머리 회전 방향 및 눈동자 방향을 이용하여 상기 사용자의 시선을 인식하고, 인식된 상기 사용자의 시선에 맞추어 상기 디스플레이부의 자세를 제어하는 제어부; 상기 제어부의 제어에 따라 상기 디스플레이부를 이동시키는 구동부를 포함한다.
또한, 본 발명의 실시예는 상기 카메라를 통해 획득된 상기 사용자 영상으로부터 상기 사용자의 얼굴 방향을 추출하는 카메라 영상 처리부를 더 포함하고, 상기 제어부는 상기 추출된 상기 사용자의 얼굴 방향과 상기 측정된 상기 머리 회전 방향을 이용하여 상기 사용자의 시선 인식을 위한 머리 회전 방향을 추정하는 것을 특징으로 한다.
또한, 본 발명의 실시예는 상기 카메라를 통해 획득된 상기 사용자 영상으로부터 상기 사용자의 눈동자 방향을 추출하는 카메라 영상 처리부를 더 포함하고, 상기 제어부는 상기 추출된 상기 사용자의 눈동자 방향과 상기 측정된 상기 눈동자 방향을 이용하여 상기 사용자의 시선 인식을 위한 눈동자 방향을 추정하는 것을 특징으로 한다.
상기 제어부는 상기 추정된 머리 회전 방향과 눈동자 방향을 이용하여 상기 사용자의 시선 방향을 인식하고, 인식된 상기 사용자의 시선 방향에 따라 상기 디스플레이부의 자세를 제어하여 디스플레이되는 영상을 상기 사용자 시선에 맞추어 제공하는 것을 특징으로 한다.
상기 제어부는 상기 디스플레이부의 이동에 따른 무게 중심이 상기 디스플레이 장치의 중심에 위치하도록 상기 디스플레이부의 자세를 결정하는 것을 특징으로 한다.
그리고, 본 발명의 실시예는 머니퓰레이터에 이동 가능하게 설치되어 영상을 디스플레이하는 디스플레이부; 상기 디스플레이부에 설치되어 사용자 영상을 획득하는 카메라; 상기 사용자의 머리 회전 방향 및 눈동자 방향을 측정하는 HMD; 상기 카메라를 통해 획득된 상기 사용자 영상과 상기 HMD를 통해 측정된 상기 머리 회전 방향 및 눈동자 방향을 이용하여 상기 사용자의 시선을 인식하고, 인식된 상기 사용자의 시선에 맞추어 상기 디스플레이부의 자세를 제어하는 제어부; 상기 제어부의 제어에 따라 상기 머니퓰레이터를 이동시켜 상기 디스플레이부의 자세를 변화시키는 구동부를 포함한다.
상기 제어부는 상기 추정된 상기 머리 회전 방향과 눈동자 방향을 이용하여 상기 사용자의 시선 위치를 인식하고, 상기 사용자의 시선 위치와 상기 디스플레이부의 현재 위치 차이를 계산하여 상기 머니퓰레이터의 이동 경로를 생성하는 것을 특징으로 한다.
상기 제어부는 상기 사용자의 시선 위치로 상기 디스플레이부를 위치시켰을 때의 무게 중심의 변화를 체크하여 상기 로봇 본체를 이동시키는 것을 특징으로 한다.
상기 제어부는 상기 사용자의 시선 변화에 따라 상기 디스플레이부에서 디스플레이되는 영상을 변화시키는 것을 특징으로 한다.
그리고, 본 발명의 실시예는 로봇 머니퓰레이터에 이동 가능하게 설치된 디스플레이부를 통해 영상 서비스를 제공하고; 상기 영상 서비스를 제공받는 사용자 영상을 획득하고; 상기 사용자의 머리 회전 방향 및 눈동자 방향을 측정하고; 상기 획득된 사용자 영상과 상기 HMD를 통해 측정된 상기 사용자의 머리 회전 방향 및 눈동자 방향을 이용하여 상기 사용자의 시선을 인식하고, 인식된 상기 사용자의 시선에 따라 상기 디스플레이부의 자세를 제어하여 상기 사용자의 시선을 추적하는 것을 특징으로 한다.
또한, 본 발명의 실시예는 상기 획득된 사용자 영상으로부터 상기 사용자의 얼굴 방향을 추출하는 것을 더 포함하고, 상기 사용자의 시선을 인식하는 것은, 상기 추출된 상기 사용자의 얼굴 방향과 상기 측정된 상기 머리 회전 방향을 이용하여 상기 사용자의 머리 회전 방향을 추정하는 것을 특징으로 한다.
또한, 본 발명의 실시예는 상기 획득된 사용자 영상으로부터 상기 사용자의 눈동자 방향을 추출하는 것을 더 포함하고, 상기 사용자의 시선을 인식하는 것은, 상기 추출된 상기 사용자의 눈동자 방향과 상기 측정된 상기 눈동자 방향을 이용하 여 상기 사용자의 눈동자 방향을 추정하는 것을 특징으로 한다.
상기 사용자의 시선을 인식하는 것은, 상기 추정된 상기 머리 회전 방향과 눈동자 방향을 이용하여 상기 사용자의 시선 위치를 인식하는 것을 특징으로 한다.
상기 사용자의 시선을 추적하는 것은, 상기 사용자의 시선 위치와 상기 디스플레이부의 현재 위치 차이를 계산하여 상기 머니퓰레이터의 이동 경로를 생성하는 것을 특징으로 한다.
상기 사용자의 시선을 추적하는 것은, 상기 사용자의 시선 위치로 상기 디스플레이부를 위치시켰을 때 상기 로봇의 무게 중심의 변화를 체크하여 상기 로봇 본체를 이동시키는 것을 특징으로 한다.
상기 사용자의 시선을 추적하는 것은, 상기 사용자의 시선 변화에 따라 상기 디스플레이부에서 디스플레이되는 영상을 변화시키는 것을 특징으로 한다.
이러한 본 발명의 실시예에 의하면 사용자 시점에 맞추어 영상을 디스플레이하는 장치를 이동 가능하게 설치하고, 이동 가능한 디스플레이 장치를 로봇에 설치하여 로봇의 이동성과 모션을 통해 사용자 시점에 맞추어 영상을 정확히 디스플레이해 줌으로서 사용자에게 보다 편리하고 확장된 서비스를 제공할 수 있으며, 사용자의 시점 변화에 따라 디스플레이되는 영상을 변화시켜 2차원의 디스플레이 장치를 통해 3차원으로 느껴지는 영상을 제공받을 수 있게 된다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 의한 로봇의 외관 구성도로서, 이동성과 모션을 통해 자율적으로 이동하면서 사용자에게 다양한 서비스를 제공하게 된다.
도 1에서, 본 발명의 실시예에 의한 로봇(10)은 외관을 형성하는 본체(12)와, 본체(12)의 상부에 설치되어 로봇(10)의 모션이 가능한 작업을 수행하는 머니퓰레이터(14, manipulator)와, 본체(12)의 하부에 설치되어 로봇(10)의 위치를 이동시키는 구동바퀴(16)를 포함하여 구성된다.
머니퓰레이터(14)의 끝 단(18, end-effector;이하 엔드 이펙터라 한다)에는 사용자에게 영상 데이터를 제공하는 디스플레이부(20)가 설치되고, 디스플레이부(20)의 상단 일측에는 사용자의 영상을 촬영하여 사용자 영상 정보를 획득하는 카메라(22)가 설치된다.
머니퓰레이터(14)는 전기적ㆍ기계적 메카니즘에 의해서 팔이나 손의 동작에 가깝게 운동할 수 있도록 만들어진 것으로, 현재 사용되고 있는 대부분의 로봇 머니퓰레이터(14)는 여러 개의 링크(link)들이 서로 연결되어 구성된다. 각 링크들의 부위를 관절(joint)이라 하는데 로봇 머니퓰레이터(14)는 이러한 링크와 관절들 사이의 기하학적인 관계에 따라 운동 특성이 결정된다. 이 기하학적인 관계를 수학적으로 표현한 것이 기구학(Kinematics)이며 대부분의 머니퓰레이터(14)는 이러한 기구학적 특성(kinematics characteristic)을 가지고 작업을 수행하기 위한 방향으로 엔드 이펙터(18)를 이동시킨다. 본 발명의 실시예에 의한 머니퓰레이터(14)는 높이와 각도 조절이 가능한 링크 장치를 이용하여 사용자 시점에 맞추어 영상을 디스플레이하도록 디스플레이부(20)와 카메라(22)의 위치 및 각도(자세)를 변화시킨다.
구동바퀴(16)의 후방에는 데이터 통신부(24)가 설치되어 사용자의 머리에 착 용된 헤드 마운티드 디바이스(Head Mounted Device; 이는 머리에 착용하는 각종 디바이스를 통칭하며 헤드 마운티드 디스플레이를 포함한다, 이하 HMD라 한다)에서 측정된 머리 회전 방향과 눈동자 방향에 대한 사용자의 시선 방향을 전송받는다.
도 2는 본 발명의 실시예에 의한 로봇의 제어 블록도로서, 데이터 통신부(24), 카메라 영상 처리부(26), 시선 인식부(28), 시선 추적 제어부(30), 구동부(32) 및 영상 재생부(34)를 포함하여 구성된다.
데이터 통신부(24)는 구동바퀴(16)의 후방에 설치되어 HMD(23)를 통해 사용자 시선 정보를 획득한다. HMD(23)는 사용자가 머리에 착용하여 머리의 움직임과 눈의 움직임을 얻는 장비로, 대표적인 방법으로 모션 센서(가속도 센서와 자이로)를 통해 머리의 회전 방향을 측정하고, 적외선과 센서를 통해 눈동자의 이동 방향을 측정하여 측정된 머리 회전 방향과 눈동자 방향의 사용자 시선 정보를 데이터 통신부(24)에 전달한다.
카메라 영상 처리부(26)는 카메라(22)를 통해 획득된 사용자 영상 정보를 전달받아 사용자의 얼굴 방향과 머리 회전 방향, 눈동자 방향을 추출하는 것으로, 카메라 영상으로부터 색을 통해 얼굴을 검출하고 기존 DB와의 비교를 통해 얼굴 방향을 추출한다. 추출된 얼굴에 대해 얼굴 특징(feature)에 대한 탬플릿 매칭(Template matching)을 통해 눈에 해당하는 이미지 데이터를 추출한다. 또한 추출된 눈 이미지에 대해서 에지(edge)를 검출하고 눈이 2개의 컬러로 구성된다는 점을 고려하여 홍채(눈동자)에 대한 영역화를 수행하여 눈동자의 방향(위치)을 추출한다.
시선 인식부(28)는 카메라(22)와 HMD(23)를 통해 획득된 사용자의 얼굴 방향과 머리 회전 방향, 눈동자 방향으로부터 사용자의 시선을 인식하는 것으로, 카메라 영상 처리부(26)에서 추출된 얼굴 방향의 시간에 따른 변화율을 계산하고 이를 중력으로 하여 HMD(23)에서 측정된 머리 회전 방향과 카메라 영상 처리부(26)에서 추출된 얼굴 방향을 이용하여 사용자 시선 인식을 위한 머리 회전 방향을 추정한다.
또한, 시선 인식부(28)는 카메라 영상 처리부(26)에서 추출된 눈동자 방향의 시간에 따른 변화율을 계산하고 이를 기반으로 하고 HMD(23)에서 측정된 눈동자 방향과 카메라 영상 처리부(26)에서 추출된 눈동자 방향을 이용하여 사용자 시선 인식을 위한 눈동자 방향을 추정한다.
또한, 시선 인식부(28)는 추정된 머리 회전 방향과 눈동자 방향을 이용하여 사용자의 시선 방향을 인식한다.
시선 추적 제어부(30)는 시선 인식부(28)에 의해 인식된 사용자의 시선에 따라 디스플레이부(20)의 자세(위치와 각도)를 제어하는 시선 트랙킹으로 디스플레이부(20)에서 제공되는 영상 데이터를 사용자 시점에 맞추어 제공하는 것으로, 현재 디스플레이부(20)의 위치 및 로봇 본체(12)의 위치에 따라 머니퓰레이터(14)와 구동바퀴(16)의 움직임을 결정하여 로봇(10)의 이동과 모션을 동시에 제어한다.
이를 보다 자세히 설명하면, 시선 추적 제어부(30)는 사용자의 시선 위치와 현재 디스플레이부(20)의 위치 차이를 계산하고, 시선 위치에 디스플레이부(20)를 위치시키기 위한 해당 관절(joint)의 모든 각도를 계산한다. 이는 사용자의 시선 위치에 엔드 이펙터(18)를 놓기 위한 머니퓰레이터(14)의 역 기구학적 특성(Inverse kinematics characteristic)을 가지고 계산하며, 계산된 관절(joint) 각도들 중에서 관절(joint) 회전이 가장 작은 경로(path)를 선택하여 머니퓰레이터(14)에 이동 경로를 생성한다.
또한, 시선 추적 제어부(30)는 사용자의 시선 위치에 디스플레이부(20)를 위치시켰을 때 무게 중심(COM;Center Of Mass)의 변화를 계산하여 로봇 본체(12)의 중심에서 무게 중심과의 거리에 따라 로봇(10)의 안정도를 계산한다. 이는 무게 중심이 로봇 본체(12)의 중심에서 벗어날수록 로봇(10)은 불안하여 넘어질 가능성이 높아지기 때문에 안정도를 무게 중심과 로봇 본체(12) 중심과의 거리로 정의하여 피드백 제어한다.
따라서, 시선 추적 제어부(30)는 계산된 로봇(10)의 안정도를 미리 정해진 기준 안정도와 비교하여 로봇(10)의 안정도가 기준 안정도 범위를 벗어나면 구동바퀴(16)의 움직임을 결정하여 무게 중심이 로봇 본체(12)의 중심에 위치하도록 제어한다.
또한, 시선 추적 제어부(30)는 사용자 시선 변화에 따라 디스플레이부(20)에서 제공하는 영상 데이터를 변화시키는 것으로, 3차원으로 모델링된 영상 데이터를 사용자 시선 방향에 따라 2차원으로 맵핑하여 디스플레이부(20)를 통해 출력한다. 즉 사용자 시선 방향에 수직인 면에 대해서 3차원 영상을 프로젝션(projection)하여 2차원 영상을 만드는 것이다. 따라서 사용자로 하여금 확장된 영상 즉, 3차원으로 느껴지는 영상 데이터를 제공할 수 있도록 한다.
구동부(32)는 시선 추적 제어부(30)에서 결정된 구동바퀴(16)와 머니퓰레이터(14)의 움직임 정보에 따라 로봇(10)을 이동시키면서 디스플레이부(20)의 위치 및 각도(자세)를 변화시켜 디스플레이부(20)에서 제공되는 영상을 사용자 시점에 맞추도록 구동바퀴(16)와 머니퓰레이터(14)를 구동시키는 것으로, 시선 추적 제어부(30)에서 생성된 이동 경로에 따라 머니퓰레이터(14)를 구동시키고, 시선 추적 제어부(30)에서 계산된 로봇(10)의 안정도에 따라 구동바퀴(16)를 구동시킨다.
영상 재생부(34)는 사용자 시점에 맞추어 영상 데이터를 디스플레이부(20)로 출력하는 것으로, 영상 데이터는 3차원으로 모델링되어 로봇(10)에 미리 저장되어 있는 데이터이다.
도 3은 본 발명의 실시예에 의한 로봇에서 사용자 시선 인식 과정을 나타낸 동작 순서도이다.
도 3에서, 사용자가 머리에 착용한 HMD(23)에서 머리 회전 방향과 눈동자 방향을 측정하여 데이터 통신부(24)에 전달하고(100), 로봇(10)에서 제공하는 영상 서비스를 이용하는 사용자의 영상을 머니퓰레이터(14)의 엔드 이펙터(18)에 설치된 카메라(22)에서 촬영하여 사용자 영상 정보를 획득한다(102).
따라서, 카메라 영상 처리부(26)는 카메라 영상으로부터 색을 통해 얼굴을 검출하고 기존 DB와의 비교를 통해 얼굴 방향을 추출하고(104), 추출된 얼굴에 대해 얼굴 특징(feature)에 대한 탬플릿 매칭(Template matching)을 통해 눈에 해당하는 이미지 데이터를 추출한다(106).
또한, 카메라 영상 처리부(26)는 추출된 눈 이미지에 대해서 에지(edge)를 검출하고 눈이 2개의 컬러로 구성된다는 점을 고려하여 홍채(눈동자)에 대한 영역화를 수행하여 눈동자의 방향(위치)을 추출한다(108).
시선 인식부(28)는 HMD(23)에서 측정된 머리 회전 방향과 카메라 영상 처리부(26)에서 추출된 얼굴 방향을 이용하여 사용자 시선 인식을 위한 머리 회전 방향을 추정하고(110), HMD(23)에서 측정된 눈동자 방향과 카메라 영상 처리부(26)에서 추출된 눈동자 방향을 이용하여 사용자 시선 인식을 위한 눈동자 방향을 추정한다(112).
이에 따라, 시선 인식부(28)는 추정된 머리 회전 방향과 눈동자 방향을 이용하여 사용자의 시선 방향을 인식한다(114).
도 4는 본 발명의 실시예에 의한 로봇에서 시선 추적을 위한 머니퓰레이터의 제어 과정을 나타낸 동작 순서도이다.
도 4에서, 시선 인식부(28)에 의해 사용자의 시선 방향이 인식되면(200), 시선 추적 제어부(30)는 사용자 시선 위치와 현재 디스플레이부(20)의 위치 차이를 계산하고(202), 사용자의 시선 위치에 엔드 이펙터(18)를 놓기 위한 머니퓰레이터(14)의 역 기구학적 특성(Inverse kinematics characteristic)을 가지고 해당 관절(joint)의 모든 각도를 계산한다(204).
이후, 시선 추적 제어부(30)는 계산된 관절(joint) 각도들 중에서 관절(joint) 회전이 가장 작은 경로(path)를 선택하여 관절(joint) 회전이 최소화되는 머니퓰레이터(14)의 이동 경로를 생성한다(206).
따라서, 구동부(32)는 시선 추적 제어부(30)에서 생성된 이동 경로에 따라 머니퓰레이터(14)를 구동시킨다(208).
도 5는 본 발명의 실시예에 의한 로봇에서 시선 추적을 위한 구동바퀴의 제어 과정을 나타낸 동작 순서도로서, 도 4에 나타낸 머니퓰레이터(14)의 모션과 동시에 수행되는 과정이다.
도 5에서, 시선 인식부(28)에 의해 사용자의 시선 방향이 인식되면(300), 시선 추적 제어부(30)는 사용자 시선 위치와 현재 디스플레이부(20)의 위치 차이를 계산하고(302), 디스플레이부(20)를 사용자의 시선 위치에 이동시켰을 때 무게 중심의 변화를 계산한다(304).
이후, 시선 추적 제어부(30)는 계산된 무게 중심의 변화에 따라 로봇 본체(12)의 중심에서 무게 중심과의 거리를 계산하여 로봇(10)의 안정도를 계산하여(306), 계산된 로봇(10)의 안정도를 미리 정해진 기준 안정도와 비교한다(308).
단계 308의 비교 결과, 로봇(10)의 안정도가 기준 안정도보다 크면, 무게 중심이 로봇 본체(12)의 중심에서 벗어나지 않았다고 판단하고 로봇(10)의 현재 위치를 그대로 유지시킨다(310).
한편, 단계 308의 비교 결과, 로봇(10)의 안정도가 기준 안정도보다 작으면, 무게 중심이 로봇 본체(12)의 중심에서 벗어났다고 판단하고 구동바퀴(16)를 구동하여 무게 중심이 로봇 본체(12)의 중심에 위치하도록 이동시킨다(312).
도 6은 본 발명의 실시예에 의한 로봇에서 사용자 시선에 따른 영상 재생 과정을 나타낸 동작 순서도이다.
도 6에서, 시선 인식부(28)에 의해 사용자의 시선 방향이 인식되면(400), 시 선 추적 제어부(30)는 사용자 시선 변화에 따라 사용자 위치를 인덱스로 미리 저장된 3차원 영상 데이터를 선택한다(402).
이후, 시선 추적 제어부(30)는 선택된 3차원 영상 데이터를 사용자 시선 방향에 따라 2차원으로 맵핑하여(404) 디스플레이부(20)를 통해 영상 데이터를 출력한다(406). 즉 사용자 시선 방향을 법선 방향으로 선택하여 3차원으로 느껴지는 2차원 영상을 제공하게 된다.
따라서, 도 7에 도시한 바와 같이, 사용자의 이동과 시점 변화에도 능동적으로 영상 데이터를 제공할 수 있으며, 3차원으로 모델링된 영상 데이터를 2차원 디스플레이부(20)로 출력하여 사용자 시점 변화에 따라 영상 데이터를 변경하여 확장된 영상 즉, 3차원으로 느껴지는 영상을 사용자에게 제공할 수 있게 된다.
도 1은 본 발명의 실시예에 의한 로봇의 외관 구성도이다.
도 2는 본 발명의 실시예에 의한 로봇의 제어 블록도이다.
도 3은 본 발명의 실시예에 의한 로봇에서 사용자 시선 인식 과정을 나타낸 동작 순서도이다.
도 4는 본 발명의 실시예에 의한 로봇에서 시선 추적을 위한 머니퓰레이터의 제어 과정을 나타낸 동작 순서도이다.
도 5는 본 발명의 실시예에 의한 로봇에서 시선 추적을 위한 구동바퀴의 제어 과정을 나타낸 동작 순서도이다.
도 6은 본 발명의 실시예에 의한 로봇에서 사용자 시선에 따른 영상 재생 과정을 나타낸 동작 순서도이다.
도 7은 본 발명의 실시예에 의한 로봇에서 사용자 시선에 따른 디스플레이 화면의 영상 데이터 변화를 나타낸 도면이다.
*도면의 주요 부분에 대한 부호의 설명*
10 : 로봇 12 : 본체
14 : 머니퓰레이터 16 : 구동바퀴
18 : 엔드 이펙터 20 : 디스플레이부
22 : 카메라 23 : HMD
24 : 데이터 통신부 26 : 카메라 영상 처리부
28 : 시선 인식부 30 : 시선 추적 제어부
32 : 구동부 34 : 영상 재생부

Claims (18)

  1. 영상을 디스플레이하는 디스플레이부;
    상기 디스플레이부에 설치되어 사용자 영상을 획득하는 카메라;
    상기 사용자의 머리 회전 방향 및 눈동자 방향을 측정하는 HMD;
    상기 카메라를 통해 획득된 상기 사용자 영상과 상기 HMD를 통해 측정된 상기 머리 회전 방향 및 눈동자 방향을 이용하여 상기 사용자의 시선을 인식하고, 인식된 상기 사용자의 시선에 맞추어 상기 디스플레이부의 자세를 제어하는 제어부;
    상기 제어부의 제어에 따라 상기 디스플레이부를 이동시키는 구동부를 포함하는 이동 가능한 디스플레이 장치.
  2. 제1항에 있어서,
    상기 카메라를 통해 획득된 상기 사용자 영상으로부터 상기 사용자의 얼굴 방향을 추출하는 카메라 영상 처리부를 더 포함하고,
    상기 제어부는 상기 추출된 상기 사용자의 얼굴 방향과 상기 측정된 상기 머리 회전 방향을 이용하여 상기 사용자의 시선 인식을 위한 머리 회전 방향을 추정하는 이동 가능한 디스플레이 장치.
  3. 제1항에 있어서,
    상기 카메라를 통해 획득된 상기 사용자 영상으로부터 상기 사용자의 눈동자 방향을 추출하는 카메라 영상 처리부를 더 포함하고,
    상기 제어부는 상기 추출된 상기 사용자의 눈동자 방향과 상기 측정된 상기 눈동자 방향을 이용하여 상기 사용자의 시선 인식을 위한 눈동자 방향을 추정하는 이동 가능한 디스플레이 장치.
  4. 제2항 또는 제3항에 있어서,
    상기 제어부는 상기 추정된 머리 회전 방향과 눈동자 방향을 이용하여 상기 사용자의 시선 방향을 인식하고, 인식된 상기 사용자의 시선 방향에 따라 상기 디스플레이부의 자세를 제어하여 디스플레이되는 영상을 상기 사용자 시선에 맞추어 제공하는 이동 가능한 디스플레이 장치.
  5. 제1항에 있어서,
    상기 제어부는 상기 디스플레이부의 이동에 따른 무게 중심이 상기 디스플레이 장치의 중심에 위치하도록 상기 디스플레이부의 자세를 결정하는 이동 가능한 디스플레이 장치.
  6. 머니퓰레이터에 이동 가능하게 설치되어 영상을 디스플레이하는 디스플레이부;
    상기 디스플레이부에 설치되어 사용자 영상을 획득하는 카메라;
    상기 사용자의 머리 회전 방향 및 눈동자 방향을 측정하는 HMD;
    상기 카메라를 통해 획득된 상기 사용자 영상과 상기 HMD를 통해 측정된 상기 머리 회전 방향 및 눈동자 방향을 이용하여 상기 사용자의 시선을 인식하고, 인식된 상기 사용자의 시선에 맞추어 상기 디스플레이부의 자세를 제어하는 제어부;
    상기 제어부의 제어에 따라 상기 머니퓰레이터를 이동시켜 상기 디스플레이부의 자세를 변화시키는 구동부를 포함하는 로봇.
  7. 제6항에 있어서,
    상기 카메라를 통해 획득된 상기 사용자 영상으로부터 상기 사용자의 얼굴 방향을 추출하는 카메라 영상 처리부를 더 포함하고,
    상기 제어부는 상기 추출된 상기 사용자의 얼굴 방향과 상기 측정된 상기 머리 회전 방향을 이용하여 상기 사용자의 시선 인식을 위한 머리 회전 방향을 추정하는 로봇.
  8. 제6항에 있어서,
    상기 카메라를 통해 획득된 상기 사용자 영상으로부터 상기 사용자의 눈동자 방향을 추출하는 카메라 영상 처리부를 더 포함하고,
    상기 제어부는 상기 추출된 상기 사용자의 눈동자 방향과 상기 측정된 상기 눈동자 방향을 이용하여 상기 사용자의 시선 인식을 위한 눈동자 방향을 추정하는 로봇.
  9. 제8항 또는 제9항에 있어서,
    상기 제어부는 상기 추정된 상기 머리 회전 방향과 눈동자 방향을 이용하여 상기 사용자의 시선 위치를 인식하고, 상기 사용자의 시선 위치와 상기 디스플레이부의 현재 위치 차이를 계산하여 상기 머니퓰레이터의 이동 경로를 생성하는 로봇.
  10. 제9항에 있어서,
    상기 제어부는 상기 사용자의 시선 위치로 상기 디스플레이부를 위치시켰을 때의 무게 중심의 변화를 체크하여 상기 로봇 본체를 이동시키는 로봇.
  11. 제6항에 있어서,
    상기 제어부는 상기 사용자의 시선 변화에 따라 상기 디스플레이부에서 디스플레이되는 영상을 변화시키는 로봇.
  12. 로봇 머니퓰레이터에 이동 가능하게 설치된 디스플레이부를 통해 영상 서비스를 제공하고;
    상기 영상 서비스를 제공받는 사용자 영상을 획득하고;
    상기 사용자의 머리 회전 방향 및 눈동자 방향을 측정하고;
    상기 획득된 사용자 영상과 상기 HMD를 통해 측정된 상기 사용자의 머리 회전 방향 및 눈동자 방향을 이용하여 상기 사용자의 시선을 인식하고, 인식된 상기 사용자의 시선에 따라 상기 디스플레이부의 자세를 제어하여 상기 사용자의 시선을 추적하는 로봇의 디스플레이 방법.
  13. 제12항에 있어서,
    상기 획득된 사용자 영상으로부터 상기 사용자의 얼굴 방향을 추출하는 것을 더 포함하고,
    상기 사용자의 시선을 인식하는 것은,
    상기 추출된 상기 사용자의 얼굴 방향과 상기 측정된 상기 머리 회전 방향을 이용하여 상기 사용자의 머리 회전 방향을 추정하는 로봇의 디스플레이 방법.
  14. 제12항에 있어서,
    상기 획득된 사용자 영상으로부터 상기 사용자의 눈동자 방향을 추출하는 것을 더 포함하고,
    상기 사용자의 시선을 인식하는 것은,
    상기 추출된 상기 사용자의 눈동자 방향과 상기 측정된 상기 눈동자 방향을 이용하여 상기 사용자의 눈동자 방향을 추정하는 로봇의 디스플레이 방법.
  15. 제13항 또는 제14항에 있어서,
    상기 사용자의 시선을 인식하는 것은,
    상기 추정된 상기 머리 회전 방향과 눈동자 방향을 이용하여 상기 사용자의 시선 위치를 인식하는 로봇의 디스플레이 방법.
  16. 제15항에 있어서,
    상기 사용자의 시선을 추적하는 것은,
    상기 사용자의 시선 위치와 상기 디스플레이부의 현재 위치 차이를 계산하여 상기 머니퓰레이터의 이동 경로를 생성하는 로봇의 디스플레이 방법.
  17. 제15항에 있어서,
    상기 사용자의 시선을 추적하는 것은,
    상기 사용자의 시선 위치로 상기 디스플레이부를 위치시켰을 때 상기 로봇의 무게 중심의 변화를 체크하여 상기 로봇 본체를 이동시키는 로봇의 디스플레이 방법.
  18. 제12항에 있어서,
    상기 사용자의 시선을 추적하는 것은,
    상기 사용자의 시선 변화에 따라 상기 디스플레이부에서 디스플레이되는 영상을 변화시키는 로봇의 디스플레이 방법.
KR1020090004493A 2009-01-20 2009-01-20 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법 KR101590331B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090004493A KR101590331B1 (ko) 2009-01-20 2009-01-20 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
US12/654,536 US9298254B2 (en) 2009-01-20 2009-12-22 Movable display apparatus, robot having movable display apparatus and display method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090004493A KR101590331B1 (ko) 2009-01-20 2009-01-20 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20100085297A true KR20100085297A (ko) 2010-07-29
KR101590331B1 KR101590331B1 (ko) 2016-02-01

Family

ID=42337965

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090004493A KR101590331B1 (ko) 2009-01-20 2009-01-20 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법

Country Status (2)

Country Link
US (1) US9298254B2 (ko)
KR (1) KR101590331B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026898A (ko) * 2013-06-28 2016-03-09 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 경험을 위한 재투영 oled 디스플레이
KR20160033763A (ko) * 2013-07-25 2016-03-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 후기 단계 재투사
WO2016190679A1 (ko) * 2015-05-27 2016-12-01 한국과학기술정보연구원 재난안전정보를 표시하는 방법 및 포터블 디바이스
WO2020141625A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 이동 로봇
US10905508B2 (en) 2015-08-25 2021-02-02 Kawasaki Jukogyo Kabushiki Kaisha Remote control robot system
US11077546B2 (en) 2019-01-02 2021-08-03 Lg Electronics Inc. Robot
US11590646B2 (en) 2019-01-02 2023-02-28 Lg Electronics Inc. Robot

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201123032A (en) * 2009-12-30 2011-07-01 Hon Hai Prec Ind Co Ltd Monitor adjusting system and the method use the same
US9277812B2 (en) 2010-07-08 2016-03-08 Southco, Inc. Display support with first and second arms and mechanism for maintaining constant orientation of the plane bisecting the range of rotation of the second arm relative to a support base
US8760493B2 (en) 2010-12-06 2014-06-24 Electronics And Telecommunications Research Institute Video displaying apparatus and controlling method thereof
KR101799294B1 (ko) * 2013-05-10 2017-11-20 삼성전자주식회사 디스플레이 장치 및 이의 제어 방법
KR20150041482A (ko) * 2013-10-08 2015-04-16 삼성전자주식회사 디스플레이 장치 및 이를 이용한 디스플레이 방법
CN104765380B (zh) * 2014-01-03 2017-04-19 科沃斯商用机器人有限公司 光点指示机器人及其光点指示方法
JP2016163150A (ja) * 2015-02-27 2016-09-05 株式会社リコー 通信端末、面談システム、通信方法及びプログラム
JP2016163166A (ja) * 2015-03-02 2016-09-05 株式会社リコー 通信端末、面談システム、表示方法及びプログラム
JP2016189556A (ja) * 2015-03-30 2016-11-04 株式会社リコー 面談管理システム、面談システム、面談管理方法及びプログラム
DE102015014119A1 (de) * 2015-11-04 2017-05-18 Thomas Tennagels Adaptives Visualisierungssystem und Visualisierungsverfahren
WO2017155987A1 (en) 2016-03-07 2017-09-14 Southco, Inc. A display support arm assembly for mounting a display
CN105892647B (zh) * 2016-03-23 2018-09-25 京东方科技集团股份有限公司 一种显示屏调整方法、其装置及显示装置
KR102614487B1 (ko) * 2016-07-29 2023-12-15 엘지전자 주식회사 사용자의 신체정보를 디스플레이에 출력하는 전자 장치 및 그 제어 방법
CN106791681A (zh) * 2016-12-31 2017-05-31 深圳市优必选科技有限公司 视频监控和人脸识别方法、装置及系统
CN106911891A (zh) * 2017-02-15 2017-06-30 惠州Tcl移动通信有限公司 一种vr辅助航拍的方法及系统
CN107219889A (zh) * 2017-05-25 2017-09-29 京东方科技集团股份有限公司 护眼显示装置和显示屏调整方法
CN107908008A (zh) * 2017-12-28 2018-04-13 许峰 一种自移动ar显示屏
US11029759B2 (en) 2018-09-19 2021-06-08 International Business Machines Corporation Haptic movable display for spatial correlation
WO2022131413A1 (ko) * 2020-12-18 2022-06-23 주식회사 다성기술 다관절 암을 이용하는 돌봄용 서비스 로봇

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223455A (ja) * 1995-02-14 1996-08-30 Olympus Optical Co Ltd 作業ロボットの映像制御装置
KR200441761Y1 (ko) * 2008-01-24 2008-09-05 (주)다사로봇 회전 가능한 디스플레이 장치가 장착된 로봇

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998026905A1 (fr) * 1996-12-19 1998-06-25 Honda Giken Kogyo Kabushiki Kaisha Controleur d'attitude de robot mobile sur jambes
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
SE0203908D0 (sv) * 2002-12-30 2002-12-30 Abb Research Ltd An augmented reality system and method
US7593546B2 (en) * 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
US7626569B2 (en) * 2004-10-25 2009-12-01 Graphics Properties Holdings, Inc. Movable audio/video communication interface system
US7643051B2 (en) * 2005-09-09 2010-01-05 Roy Benjamin Sandberg Mobile video teleconferencing system and control method
US8587514B2 (en) * 2005-09-27 2013-11-19 Penny Ab Device for controlling an external unit
ATE524784T1 (de) * 2005-09-30 2011-09-15 Irobot Corp Begleitroboter für persönliche interaktion
US20070233318A1 (en) * 2006-03-29 2007-10-04 Tianmo Lei Follow Robot
JP2007265367A (ja) * 2006-03-30 2007-10-11 Fujifilm Corp 視線検出方法および装置ならびにプログラム
JP5216306B2 (ja) * 2007-11-15 2013-06-19 現代自動車株式会社 可動式表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08223455A (ja) * 1995-02-14 1996-08-30 Olympus Optical Co Ltd 作業ロボットの映像制御装置
KR200441761Y1 (ko) * 2008-01-24 2008-09-05 (주)다사로봇 회전 가능한 디스플레이 장치가 장착된 로봇

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160026898A (ko) * 2013-06-28 2016-03-09 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 경험을 위한 재투영 oled 디스플레이
KR20210029851A (ko) * 2013-06-28 2021-03-16 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 경험을 위한 재투영 oled 디스플레이
KR20160033763A (ko) * 2013-07-25 2016-03-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 후기 단계 재투사
KR20210036424A (ko) * 2013-07-25 2021-04-02 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 후기 단계 재투사
WO2016190679A1 (ko) * 2015-05-27 2016-12-01 한국과학기술정보연구원 재난안전정보를 표시하는 방법 및 포터블 디바이스
AU2016267916B2 (en) * 2015-05-27 2018-10-25 Korea Institute Of Science & Technology Information Method for displaying disaster and safety information, and portable device
US10234563B2 (en) 2015-05-27 2019-03-19 Korea Institute Of Science & Technology Information Method for displaying disaster and safety information, and portable device
US10905508B2 (en) 2015-08-25 2021-02-02 Kawasaki Jukogyo Kabushiki Kaisha Remote control robot system
WO2020141625A1 (ko) * 2019-01-02 2020-07-09 엘지전자 주식회사 이동 로봇
US11077546B2 (en) 2019-01-02 2021-08-03 Lg Electronics Inc. Robot
US11554484B2 (en) 2019-01-02 2023-01-17 Lg Electronics Inc. Robot
US11590646B2 (en) 2019-01-02 2023-02-28 Lg Electronics Inc. Robot

Also Published As

Publication number Publication date
KR101590331B1 (ko) 2016-02-01
US9298254B2 (en) 2016-03-29
US20100185990A1 (en) 2010-07-22

Similar Documents

Publication Publication Date Title
KR20100085297A (ko) 이동 가능한 디스플레이 장치와 이를 구비한 로봇 및 그 디스플레이 방법
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6339239B2 (ja) 頭部装着型表示装置、及び映像表示システム
JP5318623B2 (ja) 遠隔操作装置および遠隔操作プログラム
KR20090113084A (ko) 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법
KR20220116237A (ko) 스마트 트레드밀
US11422625B2 (en) Proxy controller suit with optional dual range kinematics
JPWO2017213070A1 (ja) 情報処理装置および方法、並びに記録媒体
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
EP3404623A1 (en) Image display device
US11458618B2 (en) Collaborative operation support device
US20210303258A1 (en) Information processing device, information processing method, and recording medium
Tsetserukou et al. Belt tactile interface for communication with mobile robot allowing intelligent obstacle detection
CN105828021A (zh) 基于增强现实技术的特种机器人图像采集控制方法及系统
WO2021073733A1 (en) Method for controlling a device by a human
KR20190091870A (ko) 모션센서와 vr을 활용한 로봇 제어 시스템
CN116848495A (zh) 用于选择虚拟对象以进行扩展现实交互的设备、方法、系统和介质
JP7269617B2 (ja) 顔画像処理装置、画像観察システム、及び瞳孔検出システム
Lee et al. System improvements in mobile haptic interface
JP2020173326A (ja) 現場作業教育システム
TWI826189B (zh) 具六自由度之控制器追蹤系統及方法
WO2022201736A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020059112A (ja) ロボット制御装置
US20220049947A1 (en) Information processing apparatus, information processing method, and recording medium
JP2024032409A (ja) 情報処理装置およびｈｍｄ

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 5