KR101687017B1 - 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 - Google Patents

머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 Download PDF

Info

Publication number
KR101687017B1
KR101687017B1 KR1020150090346A KR20150090346A KR101687017B1 KR 101687017 B1 KR101687017 B1 KR 101687017B1 KR 1020150090346 A KR1020150090346 A KR 1020150090346A KR 20150090346 A KR20150090346 A KR 20150090346A KR 101687017 B1 KR101687017 B1 KR 101687017B1
Authority
KR
South Korea
Prior art keywords
hand
user
camera
unit
virtual
Prior art date
Application number
KR1020150090346A
Other languages
English (en)
Other versions
KR20160000873A (ko
Inventor
우운택
하태진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to PCT/KR2015/006508 priority Critical patent/WO2015199470A1/ko
Priority to US15/321,984 priority patent/US20170140552A1/en
Publication of KR20160000873A publication Critical patent/KR20160000873A/ko
Application granted granted Critical
Publication of KR101687017B1 publication Critical patent/KR101687017B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor
    • G06T7/004—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자가 착용형 증강 현실 (wearable AR) 환경에서 맨 손 (Bare Hand)으로 가상 3D 객체를 조작할 수 기술에 관한 것으로, 특히 공간(환경)에 설치된 별도의 손, 카메라 추적 장치 없이도, RGB-D 카메라의 거리 입력 데이터를 이용하여, 공간에서 착용형 디스플레이착용형 디스플레이리 카메라 쌍의 3차원 위치와 사용자의 손의 3차원 위치를 알아내고 이를 기반으로 사용자의 맨 손 상호작용이 가능하도록 하는 기술이다.

Description

머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템{Hand localization system and the method using head worn RGB-D camera, user interaction system}
본 발명은 사용자가 착용형 증강 현실 (wearable AR) 환경에서 맨 손 (Bare Hand)으로 가상 3D 객체를 조작할 수 기술에 관한 것으로, 특히 공간(환경)에 설치된 별도의 손, 카메라 추적 장치 없이도, RGB-D 카메라의 거리 입력 데이터를 이용하여, 공간에서 안경형 디스플레이에 장착된 근/원거리 카메라 쌍의 3차원 위치와 사용자의 손의 3차원 위치를 알아낼 수 있는 기술(Localization).이며 착용형 AR 환경에서 손을 사용자 인터페이스로 사용하는 다양한 3D 상호 작용 시나리오에 적용할 수 있는 기술이다.
또한 본 발명은 이러한 손 위치 추정을 기반으로 증강현실 환경에서 맨 손 상호작용 시 사용자의 시각적 거리 인지를 향상시킬 수 있는 기술에 관한 것이다.
최근 소형화, 경량화된, 착용형 머리 장착 디스플레이(HWD: Head-Worn Display)와 RGB-깊이(RGB-Depth) 카메라가 개발됨에 따라 착용형 증강 현실(Wearable AR) 의 발전이 가속화되고 있다. 이동형 (Mobile) 사용자는 현장에서 관심 객체, 환경, 작업 등에 대한 유용한 디지털 정보를 즉각적으로 안경을 통해 볼 수 있으며 조작할 수 있다. 착용형 AR의 상호 작용을 위한 다양한 사용자 인터페이스가 있지만, 손에 근거한 상호 작용은 가장 직관적이며 자연스러운, 그리고 쉽게 사용할 수 있는 사용자 입력 방법으로 간주된다.
일반적으로 가상 현실연구에서 가상 객체와 상호 작용을 하기 위해서는, 사용자의 머리와 손 위치를 인식하기 위한 별도의 추적(Tracking) 인프라를 사용하였다. 환경(천장, 테이블, 또는 벽 등)에 설치된 추적기(Tracker)를 통해 머리와 손의 정확한 위치를 알 수 있다.
그러나 이러한 환경에 설치된 추적 장치가 없는 착용형 AR 환경은 새로운 기술적 과제를 제기한다. 우선 공간으로부터 사용자의 머리와 손의 위치를 아는 것이 어렵기 때문에, 3차원 상호 작용이 매우 어렵다. 일부 연구는 3차원 공간 상에서 손의 위치를 알아내지 않고, 2차원 영상 입력을 기반으로 한 상호 작용을 지원한다. 또는 손 자세를 감지하기 위해 손이나 손가락에 트래킹 마커 또는 센서를 부착, 또는 손목에 있는 작은 카메라를 장착하여 손의 자세를 인식하기도 한다. 또 다른 시스템은 3차원 공간에서 손의 상대적인 위치를 알아내지만, 공간에 고정된 카메라를 기준으로 작동이 되기 때문에, 모바일 사용자를 지원할 수 없다.
이러한 문제를 해결하기 위해, RGB-D 카메라의 깊이 맵 이미지에서 손 객체를 인식하고 위치를 추정하여 카메라 좌표계를 기준으로 맨손의 3차원 위치를 추적한다. 그리고 3차원 공간 상에 손의 위치는 SLAM(동시 지역화 및 매핑) 기반의 카메라 위치 추적 방법을 이용한다. 이때 SLAM 기반 공간의 임의 스케일 단위를 깊이 맵 정보를 이용하여 mm 스케일 단위로 일치시킨다. 이러한 방법을 통해 SLAM 기반 3차원 공간에 증강된 가상객체를 손으로 조작할 수 있다.
사용자의 실제 손의 위치와 회전에 가상의 손의 위치 및 회전을 매핑하기 위해 다양한 6 자유도(DOF) 추적 장치들이 사용되었다. 예를 들면, Go-Go 손 기술은 사용자의 몸체로부터 손의 위치를 알기 위해 2 개의 전자 추적 시스템을 사용했다.
착용형 AR에서, 손을 이용한 상호 작용은 손의 위치 추정(Localization) 기술의 성능에 의해 방법이 결정된다. WearTrack 시스템은 착용형 컴퓨터, 휴대용 VR를 위한 머리와 손 트래커를 제안하였지만, 전자기 추적기가 손에 장착되어야 있어야 했다.
가상 터치 스크린 시스템, AR 메모 및 SixthSense는 2 차원 이미지 좌표계를 기준으로 손인식을 가능하게 하였다. 하지만, 3 차원 손의 위치 추정을 하지 않았기 때문에, 착용형 AR에서의 3D 상호 작용을 지원할 수 없었다.
종래 Tinmith과 FingARtips은 3D 공간에서 사용자의 손을 인식하기 위해 장갑에 부착하는 마커(Marker)를 사용하였다 하지만, 장갑을 착용하는 것은 불편하며, 마커의 크기와 방향에 따라 손 인식의 성능이 달라진다. HandyAR은 맨손의 손가락을 추적하여 가상 객체의 3 차원 조작을 가능하게 한다. 하지만, 미리 정의된 손가락 모양만 인식하며, 초기에 손과 가상 세계 사이의 스케일 매핑을 설정해야 한다.
최근 3 차원 핸드 상호 작용은 깊이 데이터에서 거리 정보를 이용하여, 손 영역을 분리/인식하는 연구들이 있다. 또한 깊이 카메라들을 이용하여 실시간으로 손의 골격를 추적하기도 한다(예 Gestigon leap motion SoftKinetic 3Gear 시스템). 그러나 이러한 방법은 일반적으로 환경에 고정된 카메라를 기반으로 한, 데스크톱 기반 컴퓨팅 환경에 적합하다.
AR의 경우, 기존 연구들에서, 기준 마커와 고정형 카메라를 이용하여 주위 배경을 학습한 후, 손 인식을 가능하게 한다. 그러나, 카메라가 이동하는 경우에는 환경 정보가 변경하게 되고, 배경 학습 기반의 손 분리 및 인식 방법이 실패할 수 있다.
한편, 가상 현실연구에서 손을 이용한 상호 작용은 사전에 주어진 가상 공간 모델을 이용하여 그림자와 가림 효과 (Occlusion effect)을 생성하였는데, 이는 조작하고자하는 대상 객체의 위치를 인지하는데 도움이 된다.
착용형 AR은 일반적으로 (HWD: Head-Worn Display)를 기반으로 한 1인칭 시점을 사용하고 있는데, 공간에 증강된 가상객체가 디스플레이되는 영상을 렌더링하기 때문에 사용자의 손 등을 가리는 경우가 자주 발생한다. 이러한 경우 사용자는 가상 객체를 효과적으로 조작하는데 어려움을 겪는다.
VR(Virtual Reality)에서는 모델링된 환경에서 월드 좌표계 기준 머리, 손 및 가상 물체의 정확한 위치를 알고 있다. 따라서 깊이 인식을 위한 가림 모델과 그림자를 렌더링하는 것이 쉽다.
그러나 AR에서는 가상 객체가 손 앞에 또는 뒤에 있는지 여부를 아는 것이 어렵다. 착용형 AR의 1인칭 시점에서는 이 문제가 더욱 중요하고 복잡하다. 공간에 증강된 가상 물체가 수시로 사용자의 손을 가리기 때문에, 조작할 때 필요한 깊이 인식을 할 수 없다.
가상 객체를 가리기 위해서, 손을 3D 점군 (Point cloud)을 복셀 (Voxel) 렌더링을 통해 투명하게 만들 수 있다. 하지만, 가상 객체가 손에 의해 가려지기 때문에, 가상 객체의 존재 및 위치를 확인하는 것이 어려울 수 있다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위하여 제안된 것으로, 본 발명은 사용자가 착용형 증강 현실 (wearable AR) 환경에서 맨 손 (Bare Hand)으로 가상 3D 객체를 조작할 수 시스템 및 방법을 제공하는데 기술적 목적이 있다.
또한, 본 발명은 손 뒤의 대상 객체를 보여주기 위해 사용자의 손을 반 투명한 복셀로 렌더링하는 방법, 환경의 자연스러운 가림을 위한 투명한 복셀 렌더링, 그리고 그림자 효과를 위한 회색의 복셀 렌더링을 제안하고자 한다.
본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치는 사용자는 사용자의 머리에 착용되어, 전방을 영상 촬영하는 컬러-깊이 카메라를 장착하고, 공간 정합된 증강현실 영상을 사용자에 제공하는 착용형 디스플레이, 컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 손 객체 분리부 및 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 손 위치 획득부를 포함하는 것을 특징으로 한다.
또한 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 방법은(a) 컬러-깊이 카메라를 통해 사용자 전방을 영상 촬영하는 단계, (b) 손 객체 분리부를 이용하여 컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 단계, (c) 손 위치 획득부를 이용하여 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 단계, (d) 착용형 디스플레이를 통해 정합된 영상을 제공하는 단계 및 (e) 객체 조작부를 이용하여, 사용자의 손의 동작에 따라 가상 3D 객체를 선택하고 조작하는 단계를 포함하는 것을 특징으로 한다.
또한, 머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템은 컬러-깊이 카메라를 통해 촬영된 영상에서 카메라 좌표계를 기준으로 손의 3D 특징을 추출하고 AR 공간의 로컬 참조 좌표계를 기준으로 가상 손 모델을 사용자의 손 위치에 정합하여 제공하는 손 위치 추정 장치부 및 상기 손 위치 추정 장치부와 연결되어, 사용자의 시각적 거리를 인지하여 상호작용 피드백을 제공하는 거리 인지 피드백부를 포함하는 것을 특징으로 한다.
본 발명은 공간(환경)에 설치된 별도의 손, 카메라 추적 장치 없이도, RGB-D 카메라의 거리 입력 데이터를 이용함으로써, 공간에서 착용형 디스플레이에 장착된 근/원거리 카메라 쌍의 3차원 위치와 사용자의 손의 3차원 위치를 알아낼 수 있는 효과가 있다.
본 발명은 손 뒤의 대상 객체를 보여주기 위해 사용자의 손을 반 투명한 복셀로 렌더링하고, 환경의 자연스러운 가림을 위한 투명한 복셀 렌더링, 그림자 효과를 위한 회색의 복셀 렌더링을 통해 증강현실 환경에서 손을 이용한 상호작용 시 거리 인지 향상을 위한 시각적 거리를 인지하는데 효과가 있다.
도 1은 본 발명에 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치의 전체 구성을 나타내는 구성도.
도 2는 본 발명에 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치의 기술적 특징을 설명하는 개념도.
도 3은 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 방법의 전체 흐름을 나타내는 흐름도.
도 4는 본 발명에 있어서, 깊이 카메라의 구성을 나타내는 일실시예 도면.
도 5는 본 발명에 있어서, 머리 장착 근거리 RGB-D 카메라에서의 손 객체 인식 개념을 나타내는 도면.
도 6은 본 발명에 있어서, 이미지, 카메라 및 월드 좌표계 간의 관계를 나타내는 도면.
도 7은 본 발명에 있어서, 가상 카메라의 거리 개념을 나타내는 도면.
도 8은 본 발명에 있어서, 가상손을 이용한 3D 조작 모습을 나타내는 도면.
도 9는 본 발명을 응용한 다양한 실시예를 나타내는 도면.
도 10은 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템에 있어서, 사용자의 시각적 거리 인지 향상 방법이 적용된 화면 예시도.
도 11은 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템에 있어서, 거리 인지 피드백부의 상세 구성을 나타내는 도면.
도 12는 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템에 있어서, 깊이 인지 향상을 위한 시각적 피드백 관련 화면 예시도.
도 13은 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템에 있어서, 반 투명 회색 그림자 및 가이드 라인 관련 화면 예시도.
도 14는 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템에 있어서, 환경 가림 효과 관련 반투명한 손 렌더링에 관한 예시도.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치는 도 1에 도시된 바와 같이, 사용자의 머리에 착용되어, 전방을 영상 촬영하는 컬러-깊이 카메라를 장착하고, 공간 정합된 증강현실 영상을 사용자에 제공하는 착용형 디스플레이(10), 컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 손 객체 분리부(20), 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 손 위치 획득부(30) 및 사용자의 손의 동작에 따라 가상 3D 객체를 선택하고 조작하는 객체 조작부(40)를 포함한다.
도 2는 사용자 착용형 카메라 이외에 별도의 추가적인 센서 장치 없이, 손 위치를 추적하여, 착용형 AR 환경에서 맨손으로 가상 3D 개체를 선택하고 조작할 수 있도록 하는 본 발명에 따른 손 위치 추정 장치의 주요 특징을 나타내는 도면으로, (a) 사용자는 근/원거리의 컬러-깊이 카메라 (RGB-Depth camera) 가 장착된 착용형 디스플레이(10)를 착용하고 있다. (b) 카메라 좌표계를 기준으로 손의 3D 특징을 추출한다. (C) 가상 손이 AR 공간의 기준 좌표계를 기준으로 렌더링한다. (d) 손으로 가상 3D 객체를 선택하고 조작할 수 있다.
도 3은 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치를 이용한 손 위치 추정 방법의 흐름을 나타내는 것으로 착용형 디스플레이(10)에 장착된 RGB-D 카메라(11, 12)의 쌍이 색상 및 깊이 맵 이미지를 획득한 후, 카메라 좌표계를 기준으로 손 객체를 분리한다. 그리고 AR 공간의 로컬 참조 좌표계 (Local reference coordinates) 를 기준으로 가상 손 모델을 사용자의 손 위치에 정합한다. 주먹을 쥐거나 펴는 제스처를 인식하여 가상 객체를 선택하고 해제하는 등의 이벤트를 발생시킨다.
도 4에 도시된 일실시예와 같이, 상기 착용형 디스플레이(10)에는 근거리 깊이 카메라(11) 및 장거리 깊이 카메라(12)가 결합되어 있으며, 상기 근거리 깊이 카메라(11)는 손을 감지하고, 장거리 카메라는 환경으로부터 카메라 쌍의 위치를 알아내고, 물리적인 세계와 가상세계 사이의 스케일 정보를 보정하는데 사용된다. 다양한 거리로 깊이 측정이 가능한 카메라가 개발된다면, 본 발명에서 사용하는 2개의 카메라 시스템은 1개로 단일화될 수 있다.
상기 근거리 깊이 카메라(11)는 손 트래킹에 사용되며, 상기 원거리 깊이카메라(12)는 환경으로부터 카메라 쌍의 위치를 획득하고, 현실과-가상 공간내의 스케일 파라미터를 보정하기 위해서 사용된다.
상기 손 객체 분리부(20)는 도 5에 도시된 바와 같이, 상기 컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터 손 객체를 분리하며, 분리된 손 객체 영상의 노이즈를 제거하고, 최대 크기의 윤곽 (Contour)을 획득하는 윤곽 획득부 및 거리 변환 (Distance transform)를 수행하여, 가장 높은 강도를 가지는 화소의 픽셀 좌표를 손바닥의 중심 위치로 정의하는 거리 변환부를 포함한다.
즉, 상기 손 객체 분리부(20)는 도 6에 도시된 개념도와 같이, 상기 컬러-깊이 카메라(11, 12)에서 획득한 깊이맵 영상으로부터, 손 객체를 분리할 때, 영상의 노이즈 (Jitter)를 감소시키기 위한 이미지 침식 등을 작업을 수행한 후, 최대 크기의 윤곽 (Contour)을 얻는다. 그리고 거리 변환 (Distance transform)를 수행 하여, 가장 높은 강도를 가지는 화소의 픽셀 좌표를 손바닥의 중심 위치로 정의한다.
그 다음, 상기 손 위치 획득부(30)으로 사용자 손의 위치를 획득하며, 본 발명에 따른 손 위치 획득부(30)는 이미지 좌표계로부터 카메라 좌표계로 손의 픽셀 좌표를 역투영(Back projection)하여 카메라 좌표계를 기준으로 손의 3차원 위치를 계산하고, SLAM 기반의 카메라 추적 방법으로 손 위치를 추적하는 손 좌표 획득부 및 로컬 좌표계에 대한, SLAM(Scanning Laser Acoustic Microscope) 기반의 가상 카메라의 거리와 깊이 카메라의 거리의 비율을 계산하여 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하는 손 정합부를 포함한다.
이를 보다 자세히 설명하면 도 6에 도시된 바와 같이, 카메라 좌표계를 기준으로 손의 3차원 위치 Pc=[Xc, Yc, Zc]를 계산한다. 이를 위해서 이미지 좌표계로부터 카메라 좌표계로 손의 픽셀 좌표를 역투영 (Back projection) 한다 ( 수학식 1 및 수학식 2 ). 여기서, K는 카메라 보정 (Camera calibration)를 통해 사전에 알고 있다. 그리고 이미지 좌표계에서의 손의 픽셀 좌표는 앞서 수행했던 손 객체 인식으로부터 알 수 있다. 깊이 정보인 Zc는 깊이 맵 이미지의 픽셀 값으로 알 수 있다.
Figure 112015061589830-pat00001
Figure 112016061951452-pat00002
그 다음 수학식 3 과 같이, Pc을 SLAM 기반의 카메라 추적 방법으로 얻은 카메라 자세 행렬을 역으로 곱하여, 환경의 로컬 참조 좌표계로 손의 좌표를 이동시킬 수 있다. 그러나 그 좌표의 스케일은 SLAM의 스케일에 의존하고 있어, 깊이 카메라를 기준으로 획득한 손 좌표의 스케일(mm 단위)과는 다르다.
Figure 112015061589830-pat00003
따라서 두 공간의 스케일을 일치시키기 위해서 스케일 비율 λ를 계산한다. 도 7에 도시된 바와 같이 로컬 좌표계 (TOrigin)에 대한, SLAM 기반의 가상 카메라의 거리와 깊이 카메라의 거리 (mm 단위)의 비율을 다음 수학식 4로 계산한다.
Figure 112015061589830-pat00004
그 결과 환경(현실 공간)에서 손 위치 Pw를 계산할 수 있고, 도 8 및 도 9에 도시된 바와 같이, 환경에 정합된 가상 객체들을 손으로 조작할 수 있다. 그리고 사용자의 손은 수학식 5와 같이 다양한 가상 손 맵핑 방법에 의해 다양한 위치 Pv로 확장될 수 있다.
Figure 112015061589830-pat00005
이러한 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치를 이용한 맨 손 상호작용 시스템을 설명하면 다음과 같다.
머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템은 컬러-깊이 카메라를 통해 촬영된 영상에서 카메라 좌표계를 기준으로 손의 3D 특징을 추출하고 AR 공간의 로컬 참조 좌표계를 기준으로 가상 손 모델을 사용자의 손 위치에 정합하여 제공하는 손 위치 추정 장치부 및 상기 손 위치 추정 장치부와 연결되어, 사용자의 시각적 거리를 인지하여 상호작용 피드백을 제공하는 거리 인지 피드백부를 포함한다.
상기 손 위치 추정 장치부의 구성은 상기에서 설명하였으므로 추가적인 설명은 생략하도록 한다.
다만 본 발명에 따른 맨 손 상호 작용 시스템에 있어서, 상기 착용형 디스플레이(10)에 장착된 컬러-깊이 카메라(11, 12) 중 상기 근거리 카메라(11)는 손의 3D 점 군들을 획득하여, 가림효과나 반투명 렌더링을 하는데 사용되며, 상기 원거리 깊이 카메라(12)는 환경의 3D 점 군들을 획득하여, 그림자나 가림 효과를 생성하는데 사용된다.
본 발명에 따른 맨 손 상호 작용 시스템에 있어서, 시각적 피드백은 단일 시점 (monocular) 디스플레이에서 정확한 깊이 인식을 하는데 중요하다, 예를 들어, 도 10의 왼쪽처럼 아무런 시각 피드백을 제공하지 않으면, 손 뒤에 있는 가상 객체가 손 위에 있는 것처럼 보이기 때문에 깊이 인식에 어려움이 있다. 이러한 문제를 해결하기 위해서 손 깊이 맵으로부터 획득한 3D 점군들을 투명하게 렌더링하여 손 뒤에 있는 가상 객체를 가릴 수 있다. 하지만, 도 10의 오른쪽처럼 가상 객체들이 가려져서 위치를 확인하기 어렵다.
따라서, 본 발명은 상기 거리 인지 피드백부(60)를 통해 깊이 인식을 향상하기 위해서 손의 시각적 표현을 개선하고, 환경에 대한 시각적 피드백을 추가하였다.
상기 거리 인지 피드백부(60)는 도 11에 도시된 바와 같이, 사용자의 손 뒤의 대상 객체를 표시하는 반투명 복셀 렌더링부(61), 투명한 복셀 렌더링을 통해, 벽 또는 물리 객체 뒤에 가상 물체를 가리는 투명 복셀 렌더링부(62) 및 회색의 복셀 렌더링을 통해 그림자 효과를 제공하는 회색 복셀 렌더링부(63)를 포함한다.
즉, 손 시각화와 관련하여, 가상 객체가 손의 위치 근처에 있다면, 깊이 테스트에 따라 손 가림 효과가 자연스럽게 이뤄지도록 하였다.
그러나 가상 객체가 원거리에 있는 경우, 사용자가 가상객체를 선택하였을 때, 상기 반투명 복셀 렌더링부(61)을 통해 손을 반투명하게 시각화하여 손에 의해 가려지는 객체의 영역이 약간 어둡게 보일 수 있도록 하였다. 이렇게 하면 가상 객체가 손 뒤에 있는지 앞에 있는지 알 수 있으며, 손에 의해 가려지는 객체의 위치도 확인할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 기반 증강현실 환경에서 맨 손 상호작용 시 사용자의 시각적 거리 인지 향상 방법에 있어서, 깊이 인지 향상을 위한 시각적 피드백 관련 화면 예시도이다.
도 12에 도시된 바와 같이, 상기 투명 복셀 렌더링부(62)는 환경의 가림효과를 생성하기 위해 원거리 깊이 카메라에서 얻은 3 차원 점 군을 이용한다. 환경에 투명한 복셀 렌더링을 통해, 벽 또는 물리 객체 뒤에 가상 물체를 자연스럽게 가릴 수 있다.
본 발명에 있어서, 상기 회색 복셀 렌더링부(63)의 환경의 그림자 효과는 앞선 투명 복셀의 색상을 변경하는 방법으로 생성하며, 이것은 조작 객체의 형태를 5 개의 면 (정면, 위, 아래, 왼쪽, 오른쪽) 에 투영하여 실시간으로 생성한다.
또한 정밀한 조작을 위해 가상의 가이드라인 선들이 조작 객체의 위치를 기준으로 렌더링한다. 가이드 라인들 역시 착용형 AR 공간의 5개의 면에 수평 방향과 수직 방향으로 연결한다.
도 13은 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 기반 증강현실 환경에서 맨 손 상호작용 시 사용자의 시각적 거리 인지 향상 방법에 있어서, 반 투명 회색 그림자 및 가이드 라인 관련 화면 예시도이다.
본 발명은 사용자가 가상 객체를 선택하였을 때, 손을 반투명하게 시각화하여 손에 의해 가려지는 객체의 영역의 색상을 변화시킨다.
이로 인해, 가상 객체가 손 뒤에 있는지 앞에 있는지 알 수 있으며, 손에 의해 가려지는 객체의 위치도 확인할 수 있다.
도 14은 본 발명의 일 실시 예에 따른 머리 착용형 디스플레이 기반 증강현실 환경에서 맨 손 상호작용 시 사용자의 시각적 거리 인지 향상 방법에 있어서, 환경 가림 효과 관련 반투명한 손 렌더링에 관한 예시도이다.
이처럼 본 발명은 사용자가 머리 착용형 디스플레이를 착용한 증강 현실 환경에서 맨손으로 가상 3D 객체를 조작할 때, 거리 인지 향상을 위한 시각적 피드백을 제안한다. 손 뒤의 대상 객체를 자연스럽게 보여주기 위해 사용자의 손을 반 투명한 복셀로 렌더링하는 방법, 환경의 자연스러운 가림효과를 위한 투명한 복셀 렌더링, 그리고 그림자 효과를 위한 회색의 복셀 렌더링을 제안한다.
상기와 같이 본 발명에 따른 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.
10 : 착용형 디스플레이
20 : 손 객체 분리부
30 : 손 위치 획득부
40 : 객체 조작부
50 : 손 위치 추정 장치부
60 : 거리 인지 피드백부
61 : 반투명 복셀 렌더링부
62 : 투명 복셀 렌더링부
63 : 회색 복셀 렌더링부

Claims (13)

  1. 삭제
  2. 삭제
  3. 사용자의 머리에 착용되어, 전방을 영상 촬영하는 컬러-깊이 카메라를 장착하고, 공간 정합된 증강현실 영상을 사용자에 제공하는 착용형 디스플레이;
    컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 손 객체 분리부; 및
    현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 손 위치 획득부를 포함하며,
    상기 손 객체 분리부는
    영상의 노이즈를 제거하고, 최대 크기의 윤곽 (Contour)을 획득하는 윤곽 획득부; 및
    거리 변환 (Distance transform)를 수행하여, 가장 높은 강도를 가지는 화소의 픽셀 좌표를 손바닥의 중심 위치로 정의하는 거리 변환부를 포함하는 것을 특징으로 하는 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치.
  4. 사용자의 머리에 착용되어, 전방을 영상 촬영하는 컬러-깊이 카메라를 장착하고, 공간 정합된 증강현실 영상을 사용자에 제공하는 착용형 디스플레이;
    컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 손 객체 분리부; 및
    현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 손 위치 획득부를 포함하며,
    상기 손 위치 획득부는
    이미지 좌표계로부터 카메라 좌표계로 손의 픽셀 좌표를 역투영(Back projection)하여 카메라 좌표계를 기준으로 손의 3차원 위치를 계산하고, SLAM 기반의 카메라 추적 방법으로 손 위치를 추적하는 손 좌표 획득부; 및
    로컬 좌표계에 대한, SLAM(Scanning Laser Acoustic Microscope) 기반의 가상 카메라의 거리와 깊이 카메라의 거리의 비율을 계산하여 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하는 손 정합부를 포함하는 것을 특징으로 하는 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 손 위치 획득부와 연결되어, 사용자의 손의 동작에 따라 가상 3D 객체를 선택하고 조작하는 객체 조작부를 더 포함하는 것을 특징으로 하는 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치.
  6. 삭제
  7. 삭제
  8. (a) 컬러-깊이 카메라를 통해 사용자 전방을 영상 촬영하는 단계;
    (b) 손 객체 분리부를 이용하여 컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 단계;
    (c) 손 위치 획득부를 이용하여 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 단계;
    (d) 착용형 디스플레이를 통해 정합된 영상을 제공하는 단계 및
    (e) 객체 조작부를 이용하여, 사용자의 손의 동작에 따라 가상 3D 객체를 선택하고 조작하는 단계를 포함하며,
    상기 (b) 단계는
    (b-1) 윤곽 획득부를 이용하여 분리된 손 객체 영상의 노이즈를 제거하고, 최대 크기의 윤곽 (Contour)을 획득하는 단계; 및
    (b-2) 거리 변환부를 이용하여 거리 변환 를 수행하여, 가장 높은 강도를 가지는 화소의 픽셀 좌표를 손바닥의 중심 위치로 정의하는 단계를 포함하는 것을 특징으로 하는 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 방법.
  9. (a) 컬러-깊이 카메라를 통해 사용자 전방을 영상 촬영하는 단계;
    (b) 손 객체 분리부를 이용하여 컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 단계;
    (c) 손 위치 획득부를 이용하여 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 단계;
    (d) 착용형 디스플레이를 통해 정합된 영상을 제공하는 단계; 및
    (e) 객체 조작부를 이용하여, 사용자의 손의 동작에 따라 가상 3D 객체를 선택하고 조작하는 단계를 포함하며,
    상기 (c) 단계는,
    (c-1) 손 좌표 획득부를 이용하여 이미지 좌표계로부터 카메라 좌표계로 손의 픽셀 좌표를 역투영(Back projection)하여 카메라 좌표계를 기준으로 손의 3차원 위치를 계산하고, SLAM(Scanning Laser Acoustic Microscope) 기반의 카메라 추적 방법으로 손 위치를 추적하는 단계; 및
    (c-1) 손 정합부를 이용하여 로컬 좌표계에 대한, SLAM 기반의 가상 카메라의 거리와 깊이 카메라의 거리의 비율을 계산하여 현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하는 단계를 포함하는 것을 특징으로 하는 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 방법.
  10. 삭제
  11. 삭제
  12. 컬러-깊이 카메라를 통해 촬영된 영상에서 카메라 좌표계를 기준으로 손의 3D 특징을 추출하고 AR 공간의 로컬 참조 좌표계를 기준으로 가상 손 모델을 사용자의 손 위치에 정합하여 제공하는 손 위치 추정 장치부; 및
    상기 손 위치 추정 장치부와 연결되어, 사용자의 시각적 거리를 인지하여 상호작용 피드백을 제공하는 거리 인지 피드백부를 포함하며,
    상기 손 위치 추정 장치부는
    사용자의 머리에 착용되어, 전방을 영상 촬영하는 컬러-깊이 카메라를 장착하고, 공간 정합된 증강현실 영상을 사용자에 제공하는 착용형 디스플레이;
    컬러-깊이 카메라에서 획득한 깊이맵 영상으로부터, 손 객체를 분리하는 손 객체 분리부; 및
    현실 공간에서의 손 위치를 계산하여 가상 손 모델을 사용자 손 위치에 정합하여 손 위치를 획득하는 손 위치 획득부를 포함하며,
    상기 거리 인지 피드백부는
    사용자의 손 뒤의 대상 객체를 표시하는 반투명 복셀 렌더링부;
    투명한 복셀 렌더링을 통해, 벽 또는 물리 객체 뒤에 가상 물체를 가리는 투명 복셀 렌더링부; 및
    회색의 복셀 렌더링을 통해 그림자 효과를 제공하는 회색 복셀 렌더링부를 포함하는 것을 특징으로 하는 머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템.
  13. 제12항에 있어서,
    상기 회색 복셀 렌더링부는
    상기 투명 복셀 렌더링부에서 생성된 투명 복셀의 색상을 변경하여 그림자효과를 생성하며 조작 객체의 형태를 구성하는 다수 개의 면 중 적어도 어느 하나 이상의 면에 투영하는 것을 특징으로 하는 머리 착용형 컬러 깊이 카메라를 활용한 맨 손 상호작용 시스템.
KR1020150090346A 2014-06-25 2015-06-25 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템 KR101687017B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2015/006508 WO2015199470A1 (ko) 2014-06-25 2015-06-25 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
US15/321,984 US20170140552A1 (en) 2014-06-25 2015-06-25 Apparatus and method for estimating hand position utilizing head mounted color depth camera, and bare hand interaction system using same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140078154 2014-06-25
KR20140077827 2014-06-25
KR1020140078154 2014-06-25
KR1020140077827 2014-06-25

Publications (2)

Publication Number Publication Date
KR20160000873A KR20160000873A (ko) 2016-01-05
KR101687017B1 true KR101687017B1 (ko) 2016-12-16

Family

ID=55164763

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150090346A KR101687017B1 (ko) 2014-06-25 2015-06-25 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템

Country Status (2)

Country Link
US (1) US20170140552A1 (ko)
KR (1) KR101687017B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514650B2 (en) 2019-12-03 2022-11-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Families Citing this family (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
GB2530036A (en) 2014-09-09 2016-03-16 Ultrahaptics Ltd Method and apparatus for modulating haptic feedback
ES2908299T3 (es) 2015-02-20 2022-04-28 Ultrahaptics Ip Ltd Mejoras del algoritmo en un sistema háptico
EP3916525A1 (en) 2015-02-20 2021-12-01 Ultrahaptics IP Limited Perceptions in a haptic system
US20160328887A1 (en) * 2015-05-04 2016-11-10 The Trustees Of Columbia University In The City Of New York Systems and methods for providing assistance for manipulating objects using virtual proxies and virtual replicas
US10818162B2 (en) 2015-07-16 2020-10-27 Ultrahaptics Ip Ltd Calibration techniques in haptic systems
US10037085B2 (en) * 2015-12-21 2018-07-31 Intel Corporation Techniques for real object and hand representation in virtual reality content
US11189140B2 (en) 2016-01-05 2021-11-30 Ultrahaptics Ip Ltd Calibration and detection techniques in haptic systems
US10019131B2 (en) * 2016-05-10 2018-07-10 Google Llc Two-handed object manipulations in virtual reality
US10311746B2 (en) * 2016-06-14 2019-06-04 Orcam Technologies Ltd. Wearable apparatus and method for monitoring posture
KR101724360B1 (ko) * 2016-06-30 2017-04-07 재단법인 실감교류인체감응솔루션연구단 혼합현실 디스플레이 장치
US10268275B2 (en) 2016-08-03 2019-04-23 Ultrahaptics Ip Ltd Three-dimensional perceptions in haptic systems
US11050758B2 (en) 2016-08-23 2021-06-29 Reavire, Inc. Controlling access to a computer network using measured device location
US11269480B2 (en) 2016-08-23 2022-03-08 Reavire, Inc. Controlling objects using virtual rays
WO2018048000A1 (ko) * 2016-09-12 2018-03-15 주식회사 딥픽셀 단일 카메라 기반의 3차원 영상 해석 장치 및 방법, 3차원 영상 해석을 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 매체
US10444320B2 (en) 2016-10-06 2019-10-15 Reavire, Inc. Locating devices based on antenna coordinates
US10176655B2 (en) 2016-10-26 2019-01-08 Reavire, Inc. Controlling lockable devices using electronic key
JP6763434B2 (ja) * 2016-10-27 2020-09-30 日本電気株式会社 情報入力装置および情報入力方法
US10943578B2 (en) 2016-12-13 2021-03-09 Ultrahaptics Ip Ltd Driving techniques for phased-array systems
KR101907181B1 (ko) * 2016-12-30 2018-10-12 서울대학교산학협력단 가상 모델을 이용하는 시각 자극 생성 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
US10621773B2 (en) * 2016-12-30 2020-04-14 Google Llc Rendering content in a 3D environment
KR102647351B1 (ko) 2017-01-26 2024-03-13 삼성전자주식회사 3차원의 포인트 클라우드를 이용한 모델링 방법 및 모델링 장치
US10831332B2 (en) * 2017-02-23 2020-11-10 The Florida International University Board Of Trustees User interface element for building interior previewing and navigation
US10614591B2 (en) * 2017-05-31 2020-04-07 Google Llc Hand tracking based on articulated distance field
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US10515484B1 (en) * 2017-10-20 2019-12-24 Meta View, Inc. Systems and methods to facilitate interactions with virtual content in an interactive space using visual indicators
US11531395B2 (en) 2017-11-26 2022-12-20 Ultrahaptics Ip Ltd Haptic effects from focused acoustic fields
US10809900B2 (en) * 2017-12-21 2020-10-20 Tangible Play, Inc. Detection of pointing object and activity object
US11360546B2 (en) 2017-12-22 2022-06-14 Ultrahaptics Ip Ltd Tracking in haptic systems
EP3729418A1 (en) 2017-12-22 2020-10-28 Ultrahaptics Ip Ltd Minimizing unwanted responses in haptic systems
KR102056681B1 (ko) 2018-04-27 2019-12-17 주식회사 딥픽셀 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치
SG11202010752VA (en) 2018-05-02 2020-11-27 Ultrahaptics Ip Ltd Blocking plate structure for improved acoustic transmission efficiency
US11086124B2 (en) 2018-06-13 2021-08-10 Reavire, Inc. Detecting velocity state of a device
US11098951B2 (en) 2018-09-09 2021-08-24 Ultrahaptics Ip Ltd Ultrasonic-assisted liquid manipulation
FR3086423B1 (fr) 2018-09-21 2021-09-10 Diotasoft Procede et systeme de visualisation en realite augmentee
US11378997B2 (en) 2018-10-12 2022-07-05 Ultrahaptics Ip Ltd Variable phase and frequency pulse-width modulation technique
KR102333768B1 (ko) * 2018-11-16 2021-12-01 주식회사 알체라 딥러닝 기반 손 인식 증강현실 상호 작용 장치 및 방법
US11410398B2 (en) 2018-11-21 2022-08-09 Hewlett-Packard Development Company, L.P. Augmenting live images of a scene for occlusion
WO2020141330A2 (en) 2019-01-04 2020-07-09 Ultrahaptics Ip Ltd Mid-air haptic textures
US11520409B2 (en) 2019-04-11 2022-12-06 Samsung Electronics Co., Ltd. Head mounted display device and operating method thereof
US11842517B2 (en) 2019-04-12 2023-12-12 Ultrahaptics Ip Ltd Using iterative 3D-model fitting for domain adaptation of a hand-pose-estimation neural network
CN110047126B (zh) * 2019-04-25 2023-11-24 北京字节跳动网络技术有限公司 渲染图像的方法、装置、电子设备和计算机可读存储介质
CN110221690B (zh) * 2019-05-13 2022-01-04 Oppo广东移动通信有限公司 基于ar场景的手势交互方法及装置、存储介质、通信终端
CN111949111B (zh) * 2019-05-14 2022-04-26 Oppo广东移动通信有限公司 交互控制方法、装置、电子设备及存储介质
JP2021002288A (ja) * 2019-06-24 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理システム、および画像処理方法
CN110554774B (zh) * 2019-07-22 2022-11-04 济南大学 一种面向ar的导航式交互范式系统
WO2021042374A1 (zh) * 2019-09-06 2021-03-11 罗伯特·博世有限公司 用于工业机器人的三维环境建模方法及设备、计算机存储介质以及工业机器人操作平台
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
CA3154040A1 (en) 2019-10-13 2021-04-22 Benjamin John Oliver LONG Dynamic capping with virtual microphones
US11374586B2 (en) 2019-10-13 2022-06-28 Ultraleap Limited Reducing harmonic distortion by dithering
US11169610B2 (en) 2019-11-08 2021-11-09 Ultraleap Limited Tracking techniques in haptic systems
US11715453B2 (en) 2019-12-25 2023-08-01 Ultraleap Limited Acoustic transducer structures
CN111240468B (zh) * 2019-12-31 2023-04-25 北京诺亦腾科技有限公司 手部动作捕捉的校准方法、装置、电子设备及存储介质
CN111273773B (zh) * 2020-01-17 2022-08-16 合肥工业大学 一种头戴式vr环境的人机交互方法及系统
US11090873B1 (en) * 2020-02-02 2021-08-17 Robert Edwin Douglas Optimizing analysis of a 3D printed object through integration of geo-registered virtual objects
US11107280B1 (en) * 2020-02-28 2021-08-31 Facebook Technologies, Llc Occlusion of virtual objects in augmented reality by physical objects
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
EP4097641A4 (en) * 2020-04-02 2023-06-28 Samsung Electronics Co., Ltd. Electronic device and method for object identification utilizing paired electronic device
US11348320B2 (en) 2020-04-02 2022-05-31 Samsung Electronics Company, Ltd. Object identification utilizing paired electronic devices
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
CN111708429A (zh) * 2020-05-06 2020-09-25 福建师范大学 一种基于手掌实现ar的方法和系统
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11816267B2 (en) 2020-06-23 2023-11-14 Ultraleap Limited Features of airborne ultrasonic fields
US11494153B2 (en) 2020-07-27 2022-11-08 Shopify Inc. Systems and methods for modifying multi-user augmented reality
US11908159B2 (en) * 2020-07-27 2024-02-20 Shopify Inc. Systems and methods for representing user interactions in multi-user augmented reality
US11527045B2 (en) 2020-07-27 2022-12-13 Shopify Inc. Systems and methods for generating multi-user augmented reality content
KR102443515B1 (ko) * 2020-08-28 2022-09-15 김병걸 혼합현실 기반 콘텐츠서비스장치 및 그 장치의 구동방법, 그리고 컴퓨터 판독가능 기록매체
WO2022058738A1 (en) 2020-09-17 2022-03-24 Ultraleap Limited Ultrahapticons
US11925863B2 (en) 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11546505B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
EP4272064A1 (en) * 2020-12-29 2023-11-08 Snap, Inc. Micro hand gestures for controlling virtual and graphical elements
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
KR20220096115A (ko) * 2020-12-30 2022-07-07 삼성전자주식회사 전자 장치 및 그의 제어 방법
JP2022123692A (ja) * 2021-02-12 2022-08-24 ソニーグループ株式会社 画像処理装置、画像処理方法、画像処理システム
CN112927290A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于传感器的裸手数据标注方法及系统
CN112927259A (zh) * 2021-02-18 2021-06-08 青岛小鸟看看科技有限公司 基于多相机的裸手追踪显示方法、装置及系统
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
CN117178247A (zh) 2021-04-19 2023-12-05 斯纳普公司 用于动画化及控制虚拟和图形元素的手势
WO2023276216A1 (ja) * 2021-06-29 2023-01-05 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
US11887267B2 (en) 2021-07-07 2024-01-30 Meta Platforms Technologies, Llc Generating and modifying representations of hands in an artificial reality environment
CN113608619A (zh) * 2021-08-12 2021-11-05 青岛小鸟看看科技有限公司 增强现实中的裸手操作方法、系统
KR102483387B1 (ko) * 2021-09-29 2022-12-30 한국기술교육대학교 산학협력단 손가락 재활 훈련을 위한 증강현실 콘텐츠 제공 방법 및 손가락 재활 훈련 시스템
US11676311B1 (en) * 2021-11-29 2023-06-13 International Business Machines Corporation Augmented reality replica of missing device interface
CN116821409B (zh) * 2023-08-31 2023-12-12 北京海冬青机电设备有限公司 基于图像数据处理的生产安全管理方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
JP4933406B2 (ja) * 2007-11-15 2012-05-16 キヤノン株式会社 画像処理装置、画像処理方法
KR101002785B1 (ko) * 2009-02-06 2010-12-21 광주과학기술원 증강 현실 환경에서의 공간 상호 작용 방법 및 시스템
KR20130136566A (ko) * 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP6215057B2 (ja) * 2014-01-09 2017-10-18 富士通株式会社 可視化装置、可視化プログラムおよび可視化方法
US20150268728A1 (en) * 2014-03-18 2015-09-24 Fuji Xerox Co., Ltd. Systems and methods for notifying users of mismatches between intended and actual captured content during heads-up recording of video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
증강현실 기반 제품 디자인의 몰입감 향상 기법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11514650B2 (en) 2019-12-03 2022-11-29 Samsung Electronics Co., Ltd. Electronic apparatus and method for controlling thereof

Also Published As

Publication number Publication date
US20170140552A1 (en) 2017-05-18
KR20160000873A (ko) 2016-01-05

Similar Documents

Publication Publication Date Title
KR101687017B1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
JP7273880B2 (ja) 仮想オブジェクト駆動方法、装置、電子機器及び可読記憶媒体
KR101865655B1 (ko) 증강현실 상호 작용 서비스 제공 장치 및 방법
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
Ha et al. WeARHand: Head-worn, RGB-D camera-based, bare-hand user interface with visually enhanced depth perception
JP5936155B2 (ja) ３次元ユーザインタフェース装置及び３次元操作方法
JP5422735B2 (ja) 可変姿勢を含む画像シーケンスのリアルタイム利用可能なコンピュータ支援分析方法
US10591988B2 (en) Method for displaying user interface of head-mounted display device
Shah et al. Occlusion in augmented reality
Kulshreshth et al. Poster: Real-time markerless kinect based finger tracking and hand gesture recognition for HCI
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
Bellarbi et al. Hand gesture interaction using color-based method for tabletop interfaces
JP2013521544A (ja) 拡張現実のポインティング装置
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
WO2015199470A1 (ko) 머리 착용형 컬러 깊이 카메라를 활용한 손 위치 추정 장치 및 방법, 이를 이용한 맨 손 상호작용 시스템
JP2009003813A (ja) 手指形状推定装置及び手指形状推定方法、並びにプログラム
KR20210087075A (ko) 패스 스루 시각화
Zou et al. Automatic reconstruction of 3D human motion pose from uncalibrated monocular video sequences based on markerless human motion tracking
Hernoux et al. A seamless solution for 3D real-time interaction: design and evaluation
JP5518677B2 (ja) 仮想情報付与装置及び仮想情報付与プログラム
Park et al. Hand tracking with a near-range depth camera for virtual object manipulation in an wearable augmented reality
KR20180059171A (ko) 3차원 상호작용을 위한 증강현실 제공 장치 및 방법
Usabiaga et al. Global hand pose estimation by multiple camera ellipse tracking
Rasool et al. Image-driven haptic rendering
Suganya et al. Augmented reality-landmark estimation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 4