KR101666561B1 - 증강 공간 내 부분 공간 획득 시스템 및 방법 - Google Patents

증강 공간 내 부분 공간 획득 시스템 및 방법 Download PDF

Info

Publication number
KR101666561B1
KR101666561B1 KR1020150099124A KR20150099124A KR101666561B1 KR 101666561 B1 KR101666561 B1 KR 101666561B1 KR 1020150099124 A KR1020150099124 A KR 1020150099124A KR 20150099124 A KR20150099124 A KR 20150099124A KR 101666561 B1 KR101666561 B1 KR 101666561B1
Authority
KR
South Korea
Prior art keywords
subspace
unit
user
space
tunnel
Prior art date
Application number
KR1020150099124A
Other languages
English (en)
Inventor
우운택
이형묵
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150099124A priority Critical patent/KR101666561B1/ko
Priority to PCT/KR2015/009396 priority patent/WO2017010614A1/ko
Priority to US15/744,717 priority patent/US10409447B2/en
Application granted granted Critical
Publication of KR101666561B1 publication Critical patent/KR101666561B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Abstract

본 발명은 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득하는 타겟팅(Targeting)부 및 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득하는 개선부를 포함한다.

Description

증강 공간 내 부분 공간 획득 시스템 및 방법{System and Method for obtaining Subspace in Augmented Space}
본 발명은 증강 공간 내 부분 공간 획득 시스템 및 방법에 관한 것으로, 보다 상세하게는 사용자 의한 이벤트가 발생되면, 상기 이벤트에 대응하는 제1 부분 공간을 획득하고, 상기 획득한 제1 부분 공간의 범위 내에서 위치와 스케일을 조절된 제2 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템 및 방법에 관한 것이다.
증강현실(Augmented Reality;AR)이란 용어는 1990년대 초 미국 보잉사에서 항공기를 조립할 때 부품의 위치를 HMD(Head Mounted Display)의 화면을 통해 항공기의 적정한 위치에 실시간으로 보여주는 장치를 개발하고 이 연구를 발표한 논문에서 처음으로 증강현실(AR:Augmented Reality) 용어가 유래되었으며, 이때부터 증강현실에 대한 연구가 본격적으로 시작되었다고 볼 수 있으며, 현재 증강현실은 활발하게 연구가 진행되고 있는 분야이다.
증강현실(Augmented Reality;AR)은 실세계 영상(또는 실사 영상) 위에 3차원 가상물체를 겹쳐 보여주는 것으로 현실에 기반을 두고 실세계 환경과 그래픽 형태의 가상현실을 실시간으로 합성하여 실세계에 대한 이해를 높여주는 기술로써, 증강현실의 목적은 실제 관찰하고 있는 사물이나 장소에 대한 부가적인 정보나 의미를 함께 제공하는 것이며, 가상현실 기술에 비하여 여러 가지 센서, 디스플레이 장치(시각, 청각, 촉각/역감 등), 그리고 어떤 현상을 (사실 혹은 허구) 상호작용과 함께 시뮬레이션할 수 있는 컴퓨터를 이용하여, 이를 재현하여 가상경험을 창출하는 기술이다.
3차원 물체 추적과 장면 복원을 위한 기술들은 사용자가 실제 공간에 어떤 기하학적인 변형이 가해진 3차원 가상 물체를 등록시키는 것을 허용한다.
증강 공간은 서비스 공급자에 의해 저작된 의미 있는 물리적 공간상에서 가상물체들을 증가시킨다(예를 들면, 박물관, 관광, 모델하우스, 인테리어, 게임 등등). 그러므로 그것의 물리적 물체들은 일반적으로 미리 견본이 만들어지고 그것들은 추적 할 수 있다. 이렇게 하여 사용자가 더 넓은 3차원 공간에서 가상과 실제의 상황의 다양한 조합에 의해서 더 자연스럽고 풍부하게 상호작용하는 것이 가능해진다. 이러한 맥락으로, 그것은 현장에서 사용자가 입고 있는 머리에 입혀진 디스플레이에 의해 특정한 순간에 집중되어진 부분적인 3차원 공간의 중요성이 증가되었다.
웨어러블 증강 현실 상황에서 사용자를 고려하면 그 다음 자기 시점의 메타포어(egocentric metaphor), 기존의 볼륨(volumetric) 선택 기술들을 가상공간에서 직접적으로 증강공간에 적용하기 어렵다. 가장 큰 문제는 현실 물체들로부터 물리적 경계조건들이다. 어떤 장소에서 관심 물체(object of interest (OoI))를 얻기 위하여 장애물을 만나는 사용자와, 자유 변환과 함께 가상 공간 안의 사용자는 다르다. 예를 들면, 목표 물체는 사용자에 의해 손상되는 것이 가능하고, 주위 환경에 의해 방해 받을 수 있고, 직접 만지는 것에 관하여 너무 작거나 거리가 멀거나 또는 이들의 조합으로 부적절 할 수 있다.
이런 것들을 해결하기 위하여 멀리 있는 목표물 선택, 간접적인 포인팅 테크닉, 은 보이는 목표(viewing target)에 대한 대안이 된다.
그러나 기존의 간적접인 접근들은 관심 물체 및 그것의 주변을 포함하는 사용자가 원하는 3D 볼륨(volume)을 정교하게 선택하는 것을 맞춰주지 못하는 문제가 있다.
대한민국 공개특허공보 제10-2013-0053466호(2013.05.24.공개)
본 발명은 상기한 문제점을 해결하기 위해 발명된 것으로, 그 목적은 증강 공간에 관하여 맨손 핀치들을 이용하여 정교하게 3D 부분 공간을 획득할 수 있는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명의 다른 목적은 사용자 의한 이벤트가 발생되면, 상기 이벤트에 대응하는 제1 부분 공간을 획득하고, 상기 획득한 제1 부분 공간의 범위 내에서 위치와 스케일을 조절된 제2 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공하는 것을 다른 목적으로 한다.
또한, 본 발명의 또 다른 목적은 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공하는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 바와 같은 과제를 해결하기 위하여 본 발명은, 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득하는 타겟팅(Targeting)부 및 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득하는 개선부를 포함한다.
또한, 상기 타겟팅부는 상기 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정하는 이벤트 감지부, 상기 이벤트 감지부에서 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영(projection)하여 터널을 형성하는 투영부, 상기 투영부에 의해 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅(forward casting) 및 백워드 캐스팅을 수행하는 터널 캐스팅 수행부 및 상기 터널 캐스팅 수행부에서 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득하는 제1변환부를 포함할 수 있다.
또한, 상기 개선부는 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성하는 조절부, 상기 타겟팅부가 획득한 제1 부분 공간의 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부가 부분공간을 형성하는 것을 돕는 탑뷰제공부 및 상기 조절부에 의해 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득하는 제2변환부를 포함할 수 있다.
또한, 상기 이벤트 감지부는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 이벤트 동작을 사용자의 동작에 의한 이벤트 발생으로 결정할 수 있다.
또한, 상기 투영부는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작으로 형성된 2D 프레임을 3D 공간으로 투영하여 터널을 형성할 수 있다.
또한, 상기 터널 캐스팅 수행부는 사용자의 눈으로부터 투사된 광선 그룹이 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 가까운 최초 충돌 지점을 찾는 포워드 캐스팅 및 상기 포워드 캐스팅과 동일한 광선 그룹을 반대 방향으로부터 투사하여 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 먼 최초 충돌 지점을 찾는 백워드 캐스팅을 수행할 수 있다.
또한, 상기 제1변환부는 상기 눈으로부터 가장 가까운 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제1평면과 상기 눈으로부터 가장 먼 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제2평면으로 구성되는 절두체(frustum)의 중간을 기준으로 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제1 입체형상으로 변환하여 제1 부분 공간을 획득할 수 있다.
또한, 상기 조절부는상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 직접 변경하여 새로운 부분 공간을 형성할 수 있다.
또한, 상기 탑뷰제공부는 상기 타겟팅부가 획득한 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부가 부분공간을 형성하는 것을 도울 수 있다.
또한, 상기 제2변환부는 상기 조절부에 의해 새롭게 형성된 부분공간을 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제2 입체형상으로 변환하여 제2 부분 공간을 획득할 수 있다.
또한, 상기 제1 및 제2 입체형상은 직육면체일 수 있다.
본 발명의 다른 측면에 의하면, 이벤트 감지부가 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정하는 제1 단계, 투영부가 상기 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영하여 터널을 형성하는 제2 단계, 터널 캐스팅 수행부가 상기 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅 및 백워드 캐스팅을 수행하는 제3 단계, 제1변환부가 상기 포워드 캐스팅 및 백워드 캐스팅을 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득하는 제4 단계, 조절부가 상기 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성하는 제5 단계 및 제2변환부가 상기 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득하는 제6 단계를 포함한다.
또한, 상기 제1 단계의 사용자의 동작은 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작일 수 있다.
본 발명에 의하면, 증강 공간에 관하여 맨손 핀치들을 이용하여 정교하게 3D 부분 공간을 획득할 수 있는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공할 수 있는 효과가 있다.
또한, 사용자 의한 이벤트가 발생되면, 상기 이벤트에 대응하는 제1 부분 공간을 획득하고, 상기 획득한 제1 부분 공간의 범위 내에서 위치와 스케일을 조절된 제2 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공할 수 있는 효과가 있다.
또한, 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공할 수 있는 증강 공간 내 부분 공간 획득 시스템 및 방법을 제공할 수 있는 효과가 있다.
도 1은 자기 시점 부분공간 획득(egocentric subspace acquisition)을 평면화해서 나타낸 도면이다.
도 2는 모든 구성요소들과 좌표계가 있는 자기시점 상호작용 공간의 탑 뷰(top view)이다.
도 3은 본 발명의 일실시예에 의한 증강 공간 내 부분 공간 획득 시스템의 구성을 나타낸 도면이다.
도 4는 3D 핀치-팁(pinch-tip) 입력을 구현하는 방법을 나타낸 도면이다.
도 5는 타겟팅부의 내부 구성을 나타낸 도면이다.
도 6은 타겟팅부의 동작을 평면화해서 나타낸 도면이다.
도 7은 개선부의 내부 구성을 나타낸 도면이다.
도 8은 개선부의 동작을 평면화해서 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 의한 증강 공간 내 부분 공간 획득 방법을 나타낸 흐름도이다.
본 발명을 충분히 이해하기 위해서 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 설명한다. 본 발명의 실시예는 여러 가지 형태로 변형될 수 있으며, 본 발명의 범위가 아래에서 상세히 설명하는 실시예로 한정되는 것으로 해석되어서는 안 된다. 본 실시예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공 되는 것이다. 따라서 도면에서의 요소의 형상 등은 보다 명확한 설명을 강조하기 위해서 과장되어 표현될 수 있다. 각 도면에서 동일한 부재는 동일한 참조부호로 도시한 경우가 있음을 유의하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 기술은 생략된다.
이하, 첨부된 도면을 참조하여 본 발명에 의한 실시예를 상세하게 설명한다.
도 1은 자기 시점 부분공간 획득(egocentric subspace acquisition)을 평면화해서 나타낸 도면이고, 도 2는 모든 구성요소들과 좌표계가 있는 자기시점 상호작용 공간의 탑 뷰(top view)이다.
도 1 및 도 2를 참조하면, 자기 시점 메타포어(egocentric metaphor)에서 부분 공간 획득을 이용하기 위해서, 본 발명은 사전에 외부요인들을 디자인해야 한다. 왜냐하면 그것은 멀리 떨어진 지역, 사용자 및 입력 장치에 대한 명확한 상호작용 공간들의 고려를 위해서 요구된다. 실제 공간 상에서 가상의 관심 물체(object of interest (OoIs))들이 등록된 증강 공간은 세계 좌표 시스템(world coordinate system)을 가진다. 이 공간의 모든 물체는 세계 좌표와 결합되어 있으나 또한 자신의 변환과 함께 지역의 좌표계를 가진다. 카메라가 달린 HWD(head-worn display, 이하 HWD 라 한다)를 쓰고 있는 사용자는 이 공간에서 개별적인 물체이다. 본 발명은 원근 투영 가상 카메라의 원점으로 사용자의 좌표 시스템을 설정한다. 그러므로 그것은 모든 추적 가능한 물체들의 상대적인 변환으로 계산된다. 이러한 맥락으로, 카메라의 뷰잉 절두체(viewing frustum)에 기반한 큰 체적은 이상적인 자기시점(egocentric) 상호작용 공간들로 정의된다.
자기시점(egocentric) 상호작용 공간들은 도 2에 도시한 바와 같이 주된(primary) 상호작용 기준들에 의존하는 두 부분으로 분리된다. 탐지 범위 내의 자기시점 공간(Egocentric Space within Detection(ESD), 이하 ESD라 한다)은 사용자의 관측시야(field of view(fov), 이하 fov라 한다)에 의해 필터된 더 큰 절두체(frustum)이다. 멀리 떨어져 있는 모든 현실 및 가상의 물체들은 여기에 상주하고 사용자 좌표와 관련 있는 그것의 변환을 가진다. 선택된 부분 공간의 변환도 이 공간에서 생성된다. 절두체(frustum)의 크기는 가상 카메라의 클리핑 디스턴스(clipping distance)에 의해 결정된다. 사실은 이것은 사용가능한 트래커(tracker) 및 목표 증강 공간을 위한 그것의 성능과 단단하게 연결되어있다. IsoScale 평면은, 자신만의 기하학적 변환을 가지며 사용하는 디스플레이 스크린의 픽셀 크기와 폭과 높이가 같은, 모든 간접 제어에서 크기가 조절된 매핑(mapping)을 위하여 유용하다. 본 발명은 다음의 두 가지 조건들로부터 IsoScale 평면의 변환을 얻을 수 있다. 첫 번째 IsoScale 평면의 위치는 ESD의 센터라인 상이다. 두 번째 IsoScale 평면의 z 거리는 ESD의 클리핑(clipping) 평면에 비례한다.
반면에, 터치 범위 내의 자기시점(egocentric) 공간(Egocentric Space within Touch(EST), 이하 EST라 한다)은 실시간 3차원 핀치-팁(pinch-tip) 탐지에 의한 프리핸드 포인터들을 위하여 뷰잉 절두체보다 작다. EST의 크기는 모터 공간과 ESD 사이에 겹쳐진 공간에 맞먹는다. 그러므로 이것은 양 손들을 사용하는 사용자의 동작을 위하여 3차원 지역에서 도달 가능하고 볼 수 있다.
Figure 112015067532306-pat00001
은 너무 가깝기 때문에 프리핸드 포인터들과 함께 불편한 영역이다. 한편,
Figure 112015067532306-pat00002
는 어떤 위치에 있는 양 손들에 의해 포인터들의 편안한 범위로 예정되어 있다. 이 아이디어는 개인 공간의 근접 영역(intimate zone)으로부터 왔다.
Figure 112015067532306-pat00003
와
Figure 112015067532306-pat00004
사이의 차이는 간접적인 1차원 컨트롤을 위하여 만질 수 있는 거리를 위하여 이용된다.
부분 공간은 인접한 관심 물체(object of interest)들(OoIs)의 상황 정보 및 그것의 환경들을 포함하는 기하학적 변환을 이용하여 3차원 물체로 새롭게 생성된다.
본 발명을 통해 풀고자 하는 문제는 기존의 단일 객체 선택이나 레퍼런싱(referencing)을 돕기 위한 여러 볼륨 선택(volumetric selection)과 달리, 정교하게 원거리의 관심 삼차원 영역을 얻기 위한 자기시점 선택(egocentric selection)을 제시하는 것이다.
단안 비디오 투과(monocular video see-through) HWD를 사용하는 환경에 집중하므로 부분 공간 선택은 하나의 시각 절두체(view frustum) 내에서 이루어진다. 이 절두체(view frustum)를 상호작용 대상에 따라 두 자기시점 공간(egocentric space)으로 구분하면 다음과 같다. 먼저 ESD는 검출과 추적 기술(detection and tracking)이 동작하는 시각 절두체 내 큰 절두체로 손에 닿지 않는 거리의 실제와 가상의 객체들이 주로 상주하는 공간이다. 그러므로 객체들을 포함하는 선택된 부분 공간은 ESD에 존재한다. 반면, EST는 운동 공간(motor space)과 ESD의 교집합으로 이루어지는 작은 절두체(smaller frustum)이다. EST는 부분 공간(subspace) 선택을 위해 양손에 의한 삼차원 손 입력(3D hand input)이 동작하는 공간이다.
본 발명은 ESD 내 관심 객체들과 그 주변 영역을 포함하는 임의의 크기와 형태를 갖는 부분 공간(subspace)을 새롭게 정의한다. 부분 공간(subspace)은 다음의 고려사항들을 만족하는 직육면체(cuboid)로 정한다.
1. 적어도 하나 이상의 객체를 포함하는 공간이다. 객체가 영향을 미치지 않는 비어있는 공간은 사용자에 의해 선택되더라도 활용될 가능성이 거의 없기 때문이다.
2. 전역 좌표 시스템(global coordinate system)을 기준으로 하는 위치(position), 회전(rotation), 스케일(scale) 값을 포함하는 삼차원 기하정보를 반드시 가진다.
3. 정형화된 기하 형태로 표현이 가능해야 한다. 착용형 증강현실 시스템의 관점에서 원거리 삼차원 부분 공간을 기술하고 조작하기 위한 계산 비용(computational cost)을 줄이는 것이 중요하다. 시간과 장소의 구애를 덜 받는 맨손 입력을 이용하는 착용형 컴퓨팅 시스템이니 만큼, 부분 공간 기술에 필요한 데이터와 계산이 적을수록 좋은 시스템 퍼포먼스를 유지할 수 있다. 규칙이 없는 비정형의 기하 부분 공간은 계산 부담(computational load)를 가중시키고 사용자의 조작을 복잡하게 만든다.
4. 비균일 스케일(non-uniform scale)의 공간도 커버 할 수 있는 형태이어야 한다. 구체나 큐브와 같은 균일 스케일 형태는 길쭉하거나(longish) 넓고 평평한(wide and flat) 관심 삼차원 영역을 기술하기에 적합하지 않다. 특히, 구체는 사용자가 추가적인 정보 없이 회전을 판단하기가 어렵다.
위의 고려사항을 토대로, 본 발명은 증강 공간에서의 부분 공간 획득을 EST에서 삼차원 맨손 입력을 이용하여 ESD상의 관심 객체를 포함하는 임의의 원거리 직육면체의 위치, 회전, 스케일을 효과적으로 결정하는 문제로 단순화한다.
인지(Perception)는 증강 장면(augmented scene) 내 사용자가 원하는 부분 공간에 대응하는 예상 부분 공간(imaginary subspace)을 얻는 단계이다. 이는 사용자의 맨손 상호작용에 의한 부분 공간 구체화를 위해 필수적인 정신적 선택 과정(mental selection process)이다. 먼저 사용자는 사용자의 위치와 증강 객체들의 시각(perspective)을 고려한 fov를 찾는다. 이 때의 시점(viewport)은 추후 공간 단위의 상호작용 의도를 충분히 반영한다. 특히, 공간 상에서의 사용자가 바라보는 fov는 부분 공간 선택시 회전 정보를 시스템에게 제공하는 중요한 단서이다. 사용자가 머무른 fov에서, 관심 영역을 한정 짓기 위한 시각 인지 과정(human visual recognition process)에 의해 예상 공간 그리기(imaginary subspace drawing)를 매우 빠르게 수행한다. 사람의 눈은 시야 내 관심도에 따라 중심시각(central vision)에 의해 집중되는 영역과 중심외시각(peripheral vision)에 의해 집중되지 않는 영역으로 구분된다. 따라서, 중심시각의 자취(trace)에 의한 연속적인 포커스 영역(focused area)은 곧 사용자 시선에서의 관심 영역이라 할 수 있다. 이와 같이 자기시점에서의 인지 단계는 비정형화된 삼차원 관심 부분 영역을 기억하고 타겟팅(targeting)과 개선(refinement) 단계를 통해 자연스럽게 이를 정형화된 영역으로 재현한다.
도 3은 본 발명의 일실시예에 의한 증강 공간 내 부분 공간 획득 시스템의 구성을 나타낸 도면이다.
도 3을 참조하면, 본 발명의 일실시예에 의한 증강 공간 내 부분 공간 획득 시스템은 깊이 영상 획득 장치(300), 디스플레이 장치(310), 타겟팅부(320) 및 개선부(330)을 포함한다.
깊이 영상 획득 장치(300)는 마이크로소프트(Microsoft)사에서 출시된 키넥트가 사용될 수 있으나 이에 한정되는 것은 아니고, 깊이 정보를 제공할 수 있는 장치라면 모두 사용 가능하다.
깊이 영상 획득 장치(300)는 RGB Color 카메라, 3D Depth 센서, 4개의 마이크로폰 어레이 및 센서를 상하로 움직일 수 있는 틸트 모터를 주요하게 포함하여 구성된다. 따라서 깊이 영상 획득 장치(300)는 상기 3D Depth 센서로부터 3D 이미지를 획득하는 것이 가능하다.
디스플레이 장치(310)는 단안 비디오 투과(monocular video see-through) HWD 일 수 있으나 이에 한정되는 것은 아니고 상기 깊이 영상 획득 장치(300)로부터 획득된 3D 이미지를 디스플레이 가능한 것이면 모두 가능하다.
타겟팅부(320)는 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득한다.
개선부(330)는 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득한다.
도 4는 3D 핀치-팁(pinch-tip) 입력을 구현하는 방법을 나타낸 도면이다.
본 발명은 직접 도달하기 어려운 증강 공간 내 부분 공간을 원거리에서 선택하기 위한 실시간 맨손 입력을 직접 구현하였다. HWD(Head worn display)에 부착된 RGBD 카메라에 의해 추가 장치의 도움 없이 EST(Egocentric Space within Touch)에서 3D 핀치 위치와 동작을 인식한다.
윌슨(Wilson)과 하(Ha)의 방식으로부터 빠르고 강건한 착용형 AR 환경에서의 삼차원 핀치 입력 도구로의 영감을 얻었다. 복잡한 손 특징 검출이나 학습 알고리즘과 달리, 윌슨은 고정된 RGB 입력에서의 차영상(image subtraction)을 통해 간단하고 강건한 핀칭 홀 검출 방법을 제안하였다. 또한, 하는 1인칭 시점(egocentric metaphor)에서 HWD에 부착된 RGB-D 카메라로부터 검출된 팜의 좌표를 통합한 착용형 AR 좌표 시스템을 제안하였다.
본 발명은 HWD에 부착된 깊이 센서(깊이 영상 획득 장치)로부터 핀치 홀에 의한 핀치 팁 위치를 보다 빠르게 검출하고 이를 HWD를 기준으로 하는 삼차원 좌표 시스템에 결합하였다.
도 4는 양손 구분이 가능한 positional 3DoF 핀치팁 입력의 구현 결과이다. 1인칭 시점 환경에서 운동학적으로 팔이 화면 가장자리(boundary)와 만나는 조건과 홀 중심으로부터의 픽셀 두께 검사를 통해 일반적인 상황에서 양손을 빠르고 강건하게 구별하도록 구현하였다.
검출된 3D 위치는 EST 내 가상 손 메타포로 사용이 가능하다. 하지만 본 발명에서는 2차원 RGB화면에 매핑되어 타겟팅부(320)에서 2D 커서로 활용하고 개선부(330)에서 cuboid의 깊이 조절을 위한 1D 컨트롤러로 분리하여 활용한다. 핀치 입력 도구의 상태는 유휴(idle), 핀칭(pinch), 그리고 해제(release)로 구분되며 선택(selection trigger)은 하이젠버그 효과(Heisenberg effect)를 줄이기 위한 선택하기 위해 해재(release to select) 방식을 적용하였다.
도 4를 참조하면, (1) HWD에 부착된 깊이 영상으로부터 얻은 이진 이미지와 구멍을 채운 이미지를 얻고, (2) 이 두 이미지 간의 차영상으로부터 핀치 홀에 해당하는 영상을 획득한다.
(3) 타원 피팅에 의한 중심점 계산 및 손 구별 조건을 통해 해당 핀치의 손을 구별한다. 이를 자세히 살펴보면, (a)1인칭 시점에 정상적으로 손이 들어온다는 가정하에 검출 타원의 중심점으로부터 x축(수평 방향)으로 두께 검사(픽셀개수를 비교)를 수행한다(예를 들면, 왼쪽이 두꺼울 경우 왼 손). (b)1차검사 시 왼쪽 또는 오른쪽의 바운더리와 만날 시에는 해당 손의 이미지 바운더리 접촉 검사 추가 수행한다.
(4) 손 구별 후 convex점들 중 가장 먼 거리의 핀치 팁을 선택한다.
(5) 사전에 주어진 캘리브레이션에 따라 2D 포인트를 RGB 영상의3D (2D 위치+깊이)로 프로젝션한다.
도 5는 타겟팅부의 내부 구성을 나타낸 도면이고, 도 6은 타겟팅부의 동작을 평면화해서 나타낸 도면이다.
타겟팅부(320)는 fov에 등장하는 객체들의 공간 맥락(spatial context)을 고려하여 예상 부분 공간(imaginary subspace)을 포함하는 최대 스케일의 초기 부분 공간을 구하는 부분이다.
사용자에 의해 그려지는 2D 관심 영역(Region of Interest(RoI),이하 RoI라 한다)를 지나는 터널 내 객체 충돌 정보를 활용하여 초기 부분 공간에 해당하는 큰 직육면체를 얻는다. 이렇게 얻어낸 공간은 반드시 예상 부분 공간을 포함한다.
도 5 및 도 6을 참조하면, 타겟팅부(320)는 이벤트 감지부(321), 투영부(322), 터널 캐스팅 수행부(323) 및 제1변환부(324)를 포함한다.
이벤트 감지부(321)는 상기 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정한다.
즉, 이벤트 감지부(321)는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 이벤트 동작을 사용자의 동작에 의한 이벤트 발생으로 결정한다.
구체적으로 이벤트 감지부(321)는 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작을 이용하여 HWD 화면 상에 관심 삼차원 영역이 포함되는 RoI 프레임을 그린다. 이 때의 프레임 크기는 이후 설명될 사용자의 눈으로부터 생성되는 터널의 너비와 높이를 결정하는 핵심 정보이다.
투영부(322)는 상기 이벤트 감지부(321)에서 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영(projection)하여 터널을 형성한다.
즉, 투영부(322)는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작으로 형성된 2D 프레임을 3D 공간으로 투영하여 터널을 형성한다.
구체적으로, 투영부(322)는 상기 이벤트 감지부(321)에서 관심 삼차원 영역이 포함되어 그려진 RoI 프레임을 터널로 확장하기 위해 먼저 화면에 그려진 2D 프레임을 3D 공간으로 프로젝션(projection)한다. 이는 HWD의 픽셀 해상도(pixel resolution)와 같은 스케일(isomorphic scale)을 가지는 동일 스케일 평면(IsoScale plane)을 이용하여 해결한다. 이 때의 동일 스케일 평면은 z 값을 제외하고, 카메라 좌표계의 원점과 동일한 이동(translation)과 회전(rotation)을 가지는 삼차원 상의 이차원 평면이다. 동일 스케일 평면의 z값은 카메라 절두체를 구성하는 가까운(near) 또는 먼 평면(far plane)과의 비례식을 이용하여 쉽게 계산할 수 있다. 이처럼 동일 스케일 평면은 스크린 좌표를 사용하는 여러 가림 선택(occlusion selection)에 효과적으로 활용 가능하다. 이렇게 RoI를 지나는 터널에서의 유효 영역은 이후 설명될 양방향 터널 캐스팅(Two-way tunnel-casting)을 통해 결정한다.
터널 캐스팅 수행부(323)는 상기 투영부(322)에 의해 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅(forward casting) 및 백워드 캐스팅을 수행한다.
즉, 터널 캐스팅 수행부(323)는 사용자의 눈으로부터 투사된 광선 그룹이 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 가까운 최초 충돌 지점을 찾는 포워드 캐스팅 및 상기 포워드 캐스팅과 동일한 광선 그룹을 반대 방향으로부터 투사하여 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 먼 최초 충돌 지점을 찾는 백워드 캐스팅을 수행한다.
구체적으로, 터널 캐스팅 수행부(323)의 양방향 터널 캐스팅은 시각 절두체의 끝까지 뻗어나가는 터널에서 객체들이 존재하는 유효 영역만을 한정하는 자동 선별 방법이다. 기본적으로 부분 공간은 객체들을 중심으로 이루어지므로, 전체 터널에서 맨 앞과 맨 뒤 빈(void) 영역을 제외한다. 본 발명에서는 이를 포함 절두체(inclusive frustum)라고 부른다. 양방향 터널 캐스팅에서는 터널 캐스팅을 수행하는 광선 그룹(set of rays)과 충돌하는 증강 객체들의 맥락을 충분히 활용한다. 먼저, 눈으로부터 가장 가까운, 최초 충돌지점을 찾는 포워드 캐스팅(forward casting)을 수행한다. 이 때, 최단거리 충돌점을 포함하는 터널과 평행한 슬라이스 평면을 포함 절두체의 가까운 평면(near-plane)(제1평면)으로 정한다. 포함 절두체의 먼 평면(far-plane)을 정하기 위해서는 백워드 캐스팅을 수행한다. 이는 눈에서 가장 먼 충돌점을 찾기 위한 과정으로, 포워드 캐스팅과 동일한 광선 그룹을 반대 방향에서 발사하여 최초 충돌지점을 찾는다. 이렇게 얻은 충돌지점을 포함하는 터널과 평행한 슬라이스 평면은 포함 절두체의 먼 평면(far-plane)(제2평면)으로 정한다. 터널 내 슬라이스 된 제1 및 제2평면으로 포함 절두체의 크기가 결정된다.
제1변환부(324)는 터널 캐스팅 수행부에서 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득한다.
즉, 제1변환부(324)는 상기 터널 캐스팅 수행부(323)에서 설명한 바와 같이 상기 눈으로부터 가장 가까운 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제1평면과 상기 눈으로부터 가장 먼 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제2평면으로 구성되는 절두체(frustum)의 중간을 기준으로 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제 1입체형상으로 변환하여 제1 부분 공간을 획득한다.
제1변환부(324)에서 변환한 제1 입체형상은 직육면체인 것이 적합하나 입체형상의 모양이 이에 한정되는 것은 아니다.
도 7은 개선부의 내부 구성을 나타낸 도면이고, 도 8은 개선부의 동작을 평면화해서 나타낸 도면이다.
개선부(330)는 유사한 핀치 인터랙션을 통해 초기 부분 공간 범위 내에서 위치와 스케일을 조절하여 최종 부분 공간인 제2 입체형상의 제2 부분 공간을 결정한다. 상기 타겟팅부(320)에서 앞과 뒤 쪽의 빈 공간이 제외되었지만, 여전히 자기시점에서 가림이나 깊이 인지 등에 의해 원치 않는 객체들이 포함되는 경우가 있기 때문이다. 따라서 사용자 슬라이싱에 의하여 앞과 뒤쪽에 포함된 불필요한 공간을 다시 제거한다. 사용자는 포함 절두체의 가까운 그리고 먼 평면의 위치를 직접 변경하여 원하는 부분 공간에 근접한 결과를 얻을 수 있다.
도 7 및 도 8을 참조하면, 개선부(330)는 조절부(331), 탑뷰 제공부(332) 및 제2변환부(333)을 포함한다.
조절부(331)는 상기 타겟팅부(320)가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성한다.
즉, 조절부(331)는 상기 타겟팅부(320)가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 직접 변경하여 새로운 부분 공간을 형성한다.
구체적으로 조절부(331)는 포함 절두체의 두 평면은 양 손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 수행한다. 이는 정해진 운동 공간에서 가변 깊이를 가지는 포함 절두체를 효과적으로 슬라이스하기 위함이다. 따라서 타겟팅부(320)에서 포함 절두체의 물리적인 거리가 결정될 때, 핀치 입력의 깊이 측정 허용 범위에 맞게 스캐일 매핑 비(scale mapping ratio)가 조금씩 변할 수 있다. 이는 아주 세밀한 깊이 조절에는 적합하지 않지만, 빈번한 클러칭(clutching)을 없이 처음과 끝을 탐색하기에 효과적이다. 본 발명은 주사용(dominant)과 아닌(nondominant) 손을 각각 가까운 그리고 먼 평면에 각각 대응한다. 각 손에 대응된 면의 이동은 포함 절두체를 내에서 독립적으로 동작하며 먼 평면은 가까운 평면을 넘어가지 못하도록 설계한다. 해당 면의 이동이 이루어질 때마다, 새로운 직육면체 변환이 수행된 결과가 사용자에게 제공된다.
탑뷰 제공부(332)는 상기 타겟팅부(320)가 획득한 제1 부분 공간의 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부(331)가 부분공간을 형성하는 것을 돕는다.
즉, 탑뷰 제공부(332)는 상기 타겟팅부(320)가 획득한 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부(331)가 부분공간을 형성하는 것을 돕는다.
구체적으로, 탑뷰 제공부(332)는 사용자의 깊이 조절을 돕기 위해 가상 카메라인 즉시적인 맵(instant map)을 추가로 제공한다. 초기 부분 공간에의 고정된 회전이 사용자의 이동에 따른 뷰포트 전환에도 깊이 조절을 가능하게 하지만, 매번 가림을 피하고 깊이를 확인하는 작업은 매우 불편하다. 이를 해결하기 위해 즉시적인 맵은 게임이나 네비게이션과 같이 사용자가 자기시점에서 볼 수 없는 관심 영역의 탑 뷰를 제공해준다. 구글글래스 디스플레이와 유사한 우측상단에 포함 절두체의 위치에서 그 스케일을 고려한 직교 투영(orthogonal projection)에 의한 가상 탑뷰 카메라를 제공한다. 따라서 사용자는 보다 쉽고 빠르게 양 면의 깊이 이동과 그에 따른 부분 공간 변환 결과를 눈으로 확인할 수 있다.
제2변환부(333)는 상기 조절부(331)에 의해 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득한다.
제2변환부(333)는 상기 조절부에 의해 새롭게 형성된 부분공간을 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제2 입체형상으로 변환하여 제2 부분 공간을 획득한다.
제2변환부(333)에서 변환한 제2 입체형상은 직육면체인 것이 적합하나 입체형상의 모양이 이에 한정되는 것은 아니다.
도 9는 본 발명의 일 실시예에 의한 증강 공간 내 부분 공간 획득 방법을 나타낸 흐름도이다.
도 9를 참조하면, 이벤트 감지부(321)가 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정한다(S900). 즉, 상기 이벤트 감지부(321)는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 이벤트 동작을 사용자의 동작에 의한 이벤트 발생으로 결정한다.
투영부(322)가 상기 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영하여 터널을 형성한다(S910). 즉, 상기 투영부(322)는 상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작으로 형성된 2D 프레임을 3D 공간으로 투영하여 터널을 형성한다.
터널 캐스팅 수행부(323)가 상기 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅 및 백워드 캐스팅을 수행한다(S920). 즉, 상기 터널 캐스팅 수행부(323)는 사용자의 눈으로부터 투사된 광선 그룹이 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 가까운 최초 충돌 지점을 찾는 포워드 캐스팅 및 상기 포워드 캐스팅과 동일한 광선 그룹을 반대 방향으로부터 투사하여 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 먼 최초 충돌 지점을 찾는 백워드 캐스팅을 수행한다.
제1변환부(324)가 상기 포워드 캐스팅 및 백워드 캐스팅을 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득한다(S930). 즉, 상기 제1변환부(324)는 상기 눈으로부터 가장 가까운 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제1평면과 상기 눈으로부터 가장 먼 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제2평면으로 구성되는 절두체(frustum)의 중간을 기준으로 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제 1입체형상으로 변환하여 제1 부분 공간을 획득한다.
조절부(331)가 상기 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성한다(S940). 즉, 상기 조절부(331)는 상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 직접 변경하여 새로운 부분 공간을 형성한다.
제2변환부(333)가 상기 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득한다(S950). 즉, 상기 제2변환부(333)는 상기 조절부에 의해 새롭게 형성된 부분공간을 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제2 입체형상으로 변환하여 제2 부분 공간을 획득한다.
도 6은 타겟팅부의 동작을 평면화해서 나타낸 도면이고, 도 8은 개선부의 동작을 평면화해서 나타낸 도면이다.
도 6 및 도 8을 참조하면, 본 발명의 타겟팅부(320) 및 개선부(330)에 의하여 획득된 제2 입체형상의 제2 부분 공간의 중심을
Figure 112015067532306-pat00005
라 하면,
회전(
Figure 112015067532306-pat00006
)은
Figure 112015067532306-pat00007
이다. 즉, 사용자가 바라보는 방향과 같다.
위치(
Figure 112015067532306-pat00008
)는 [수학식 1]로 표현된다.
[수학식 1]
Figure 112015067532306-pat00009
여기에서, 새로운 평면의 중심 위치
Figure 112015067532306-pat00010
및
Figure 112015067532306-pat00011
의 중간이 새로운 제2 부분 공간의 중심이다.
또한,
Figure 112015067532306-pat00012
는 오른손, 즉 가까운 평면과 연관된 계수이고,
Figure 112015067532306-pat00013
는 왼손, 즉 면 평면과 연관된 계수이다.
Figure 112015067532306-pat00014
값은 오른손이 z 축으로 움직인 거리와 연관되고,
Figure 112015067532306-pat00015
는 왼손이 z 축으로 움직인 거리와 연관된다.
스케일(
Figure 112015067532306-pat00016
)은 [수학식 2]로 표현된다.
[수학식 2]
Figure 112015067532306-pat00017
여기에서,
Figure 112015067532306-pat00018
는 벡터를 스칼라로 변환하기 위한 기호이고,
Figure 112015067532306-pat00019
는 가까운 평면의 x 축 상의 extent 값이고,
Figure 112015067532306-pat00020
는 먼 평면의 x 축상의 extent 값이다.
본 발명은 교육, 비즈니스, 원격진료 및 다자간 학습 등에 이용 가능하고, 부분 공간을 획득하여 부분 공간 안에 존재하는 객체들과의 상호작용이 필요한 분야라면 어떤 분야에도 적용 가능하다.
이상에서 본 발명에 의한 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 청구의 범위에 기재된 본 발명의 사상 및 영역의 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
300.....깊이 영상 획득 장치 310.....디스플레이 장치
320.....타겟팅부 330.....개선부

Claims (13)

  1. 삭제
  2. 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득하는 타겟팅(Targeting)부; 및
    상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득하는 개선부(Refinement)를 포함하며,
    상기 타겟팅부는
    상기 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정하는 이벤트 감지부;
    상기 이벤트 감지부에서 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영(projection)하여 터널을 형성하는 투영부;
    상기 투영부에 의해 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅(forward casting) 및 백워드 캐스팅을 수행하는 터널 캐스팅 수행부; 및
    상기 터널 캐스팅 수행부에서 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득하는 제1변환부
    를 포함하는 증강 공간 내 부분 공간 획득 시스템.
  3. 디스플레이 장치에서 표시되는 3D 이미지에서 사용자의 동작에 의한 이벤트가 발생되면, 상기 사용자의 동작에 대응하는 제1 입체형상의 제1 부분 공간을 획득하는 타겟팅(Targeting)부; 및
    상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 제스쳐에 따라 위치와 스케일이 조절되는 제2 입체형상의 제2 부분 공간을 획득하는 개선부(Refinement)를 포함하는
    상기 개선부는
    상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성하는 조절부;
    상기 타겟팅부가 획득한 제1 부분 공간의 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부가 부분공간을 형성하는 것을 돕는 탑뷰제공부; 및
    상기 조절부에 의해 새롭게 형성된 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득하는 제2변환부
    를 포함하는 증강 공간 내 부분 공간 획득 시스템.
  4. 제2항에 있어서,
    상기 이벤트 감지부는
    상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 이벤트 동작을 사용자의 동작에 의한 이벤트 발생으로 결정하는 증강 공간 내 부분 공간 획득 시스템.
  5. 제2항에 있어서,
    상기 투영부는
    상기 3D 이미지에서 사용자의 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작으로 형성된 2D 프레임을 3D 공간으로 투영하여 터널을 형성하는 증강 공간 내 부분 공간 획득 시스템.
  6. 제2항에 있어서,
    상기 터널 캐스팅 수행부는
    사용자의 눈으로부터 투사된 광선 그룹이 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 가까운 최초 충돌 지점을 찾는 포워드 캐스팅 및 상기 포워드 캐스팅과 동일한 광선 그룹을 반대 방향으로부터 투사하여 상기 터널에 존재하는 증강 객체들과 최초로 충돌하는 눈으로부터 가장 먼 최초 충돌 지점을 찾는 백워드 캐스팅을 수행하는 증강 공간 내 부분 공간 획득 시스템.
  7. 제2항에 있어서,
    상기 제1변환부는
    눈으로부터 가장 가까운 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제1평면과 상기 눈으로부터 가장 먼 최초 충돌 지점을 포함하는 상기 터널과 평행 슬라이스 평면인 제2평면으로 구성되는 절두체(frustum)의 중간을 기준으로 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제 1입체형상으로 변환하여 제1 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템.
  8. 제3항에 있어서,
    상기 조절부는
    상기 타겟팅부가 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐에 따른 상대 스케일 매핑(relative scale mapping)을 통해 직접 변경하여 새로운 부분 공간을 형성하는 증강 공간 내 부분 공간 획득 시스템.
  9. 제3항에 있어서,
    상기 탑뷰제공부는
    상기 타겟팅부가 획득한 제1 부분 공간의 스케일을 고려한 직교 투영(orthogonal projection)에 의한 탑뷰를 제공하여 사용자의 양손 핀치 제스쳐를 통해 상기 조절부가 부분공간을 형성하는 것을 돕는 증강 공간 내 부분 공간 획득 시스템.
  10. 제3항에 있어서,
    상기 제2변환부는
    상기 조절부에 의해 새롭게 형성된 부분공간을 미리 정해진 부분 공간의 정의에 맞게 동일한 위치, 회전 및 부피를 가지는 제2 입체형상으로 변환하여 제2 부분 공간을 획득하는 증강 공간 내 부분 공간 획득 시스템.
  11. 제2항 또는 제3항에 있어서,
    상기 제1 및 제2 입체형상은 직육면체인 증강 공간 내 부분 공간 획득 시스템.
  12. 이벤트 감지부가 3D 이미지에서 사용자의 동작을 이벤트 발생으로 결정하는 제1 단계;
    투영부가 상기 결정된 사용자의 동작으로 형성된 2D 프레임을 3D공간으로 투영하여 터널을 형성하는 제2 단계;
    터널 캐스팅 수행부가 상기 형성된 터널에 광선 그룹을 투사하여 포워드 캐스팅 및 백워드 캐스팅을 수행하는 제3 단계;
    제1변환부가 상기 포워드 캐스팅 및 백워드 캐스팅을 수행하여 획득된 절두체(frustum)를 변환하여 제1 입체형상의 제1 부분 공간을 획득하는 제4 단계;
    조절부가 상기 획득한 제1 부분 공간의 범위 내에서 사용자의 양손 핀치 제스쳐를 통해 새로운 부분 공간을 형성하는 제5 단계; 및
    제2변환부가 상기 새로운 부분공간을 변환하여 제2 입체형상의 제2 부분 공간을 획득하는 제6 단계
    를 포함하는 증강 공간 내 부분 공간 획득 방법
  13. 제12항에 있어서,
    상기 제1 단계의 사용자의 동작은 양손 핀치팁 포인터에 의한 핀치/릴리즈(pinch and release) 동작인 증강 공간 내 부분 공간 획득 방법.
KR1020150099124A 2015-07-13 2015-07-13 증강 공간 내 부분 공간 획득 시스템 및 방법 KR101666561B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020150099124A KR101666561B1 (ko) 2015-07-13 2015-07-13 증강 공간 내 부분 공간 획득 시스템 및 방법
PCT/KR2015/009396 WO2017010614A1 (ko) 2015-07-13 2015-09-07 증강 공간 내 부분 공간 획득 시스템 및 방법
US15/744,717 US10409447B2 (en) 2015-07-13 2015-09-07 System and method for acquiring partial space in augmented space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150099124A KR101666561B1 (ko) 2015-07-13 2015-07-13 증강 공간 내 부분 공간 획득 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101666561B1 true KR101666561B1 (ko) 2016-10-24

Family

ID=57256701

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150099124A KR101666561B1 (ko) 2015-07-13 2015-07-13 증강 공간 내 부분 공간 획득 시스템 및 방법

Country Status (3)

Country Link
US (1) US10409447B2 (ko)
KR (1) KR101666561B1 (ko)
WO (1) WO2017010614A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078473A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR20200025395A (ko) * 2018-08-30 2020-03-10 삼성중공업 주식회사 3d 클리핑 기능을 가진 3d 뷰어

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036953A1 (en) * 2015-09-02 2017-03-09 Thomson Licensing Method, apparatus and system for facilitating navigation in an extended scene
CA3015164A1 (en) * 2016-02-18 2017-08-24 Edx Technologies, Inc. Systems and methods for augmented reality representations of networks
US10347037B2 (en) * 2017-05-31 2019-07-09 Verizon Patent And Licensing Inc. Methods and systems for generating and providing virtual reality data that accounts for level of detail
US10311630B2 (en) 2017-05-31 2019-06-04 Verizon Patent And Licensing Inc. Methods and systems for rendering frames of a virtual scene from different vantage points based on a virtual entity description frame of the virtual scene
US10586377B2 (en) * 2017-05-31 2020-03-10 Verizon Patent And Licensing Inc. Methods and systems for generating virtual reality data that accounts for level of detail
US10445947B2 (en) * 2017-08-01 2019-10-15 Google Llc Methods and apparatus for interacting with a distant object within a virtual reality environment
CN110249626B (zh) * 2017-10-26 2020-07-31 腾讯科技（深圳）有限公司 增强现实图像的实现方法、装置、终端设备和存储介质
FR3075985B1 (fr) * 2017-12-21 2019-11-15 Thales Procede et systeme d'harmonisation duale d'un systeme d'affichage tete haute porte pour rendre conforme l'affichage d'informations de pilotage d'un aeronef avec le monde reel exterieur
USD884018S1 (en) * 2018-04-10 2020-05-12 Spatial Systems Inc. Display screen or portion thereof with animated graphical user interface with augmented reality
TWI701575B (zh) * 2019-03-07 2020-08-11 緯創資通股份有限公司 手勢辨識方法以及手勢辨識裝置
WO2023049111A1 (en) * 2021-09-22 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083929A2 (ko) * 2010-01-11 2011-07-14 (주)올라웍스 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20130053466A (ko) 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
KR101470757B1 (ko) * 2013-09-30 2014-12-08 세종대학교산학협력단 증강현실 서비스 제공 방법 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090083669A1 (en) * 2007-09-26 2009-03-26 Autodesk, Inc. Navigation system for a 3d virtual scene
KR101833253B1 (ko) 2011-01-25 2018-02-28 광주과학기술원 증강현실 환경에서의 가상객체 조작방법 및 이를 구현하는 증강현실 장치
US8587583B2 (en) 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8872854B1 (en) * 2011-03-24 2014-10-28 David A. Levitt Methods for real-time navigation and display of virtual worlds
EP2600316A1 (en) 2011-11-29 2013-06-05 Inria Institut National de Recherche en Informatique et en Automatique Method, system and software program for shooting and editing a film comprising at least one image of a 3D computer-generated animation
US20150212647A1 (en) * 2012-10-10 2015-07-30 Samsung Electronics Co., Ltd. Head mounted display apparatus and method for displaying a content
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011083929A2 (ko) * 2010-01-11 2011-07-14 (주)올라웍스 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
KR20130053466A (ko) 2011-11-14 2013-05-24 한국전자통신연구원 인터랙티브 증강공간 제공을 위한 콘텐츠 재생 장치 및 방법
KR101470757B1 (ko) * 2013-09-30 2014-12-08 세종대학교산학협력단 증강현실 서비스 제공 방법 및 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190078473A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR20190078472A (ko) * 2017-12-26 2019-07-04 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR102085441B1 (ko) * 2017-12-26 2020-03-05 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
KR102085440B1 (ko) * 2017-12-26 2020-03-05 (주)스코넥엔터테인먼트 가상 현실 제어 시스템
US11517821B2 (en) 2017-12-26 2022-12-06 Skonec Entertainment Co., Ltd. Virtual reality control system
US11648478B2 (en) 2017-12-26 2023-05-16 Skonec Entertainment Co., Ltd. Virtual reality control system
KR20200025395A (ko) * 2018-08-30 2020-03-10 삼성중공업 주식회사 3d 클리핑 기능을 가진 3d 뷰어
KR102528240B1 (ko) * 2018-08-30 2023-05-02 삼성중공업 주식회사 3d 클리핑 기능을 가진 3d 뷰어

Also Published As

Publication number Publication date
US10409447B2 (en) 2019-09-10
US20180210627A1 (en) 2018-07-26
WO2017010614A1 (ko) 2017-01-19

Similar Documents

Publication Publication Date Title
KR101666561B1 (ko) 증강 공간 내 부분 공간 획득 시스템 및 방법
CN107683497B (zh) 信息处理设备、信息处理方法及程序
EP3311249B1 (en) Three-dimensional user input
JP6057396B2 (ja) ３次元ユーザインタフェース装置及び３次元操作処理方法
US10884576B2 (en) Mediated reality
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
JP6611501B2 (ja) 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
US20240037880A1 (en) Artificial Reality System with Varifocal Display of Artificial Reality Content
US10999412B2 (en) Sharing mediated reality content
JP2015114757A (ja) 情報処理装置、情報処理方法及びプログラム
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
EP3118722B1 (en) Mediated reality
JP2017142569A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
CN111226187A (zh) 通过镜子与用户交互的系统和方法
WO2017169273A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2019142560A1 (ja) 視線を誘導する情報処理装置
US9760180B2 (en) User interface device and user interface method
WO2020036114A1 (ja) 画像処理装置、画像処理方法、およびプログラム
JP6613099B2 (ja) 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム
JP2017142769A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP2023172180A (ja) 画像処理装置、画像処理方法、及びプログラム
CN117242770A (zh) 信息处理装置、信息处理方法和记录介质
KR20210102210A (ko) 상호 작용을 위한 물리적 인터페이스로서의 모바일 플랫폼

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 4