KR20190005222A - 가상 환경의 표현에서의 시선 방향을 조정하는 방법 - Google Patents

가상 환경의 표현에서의 시선 방향을 조정하는 방법 Download PDF

Info

Publication number
KR20190005222A
KR20190005222A KR1020187035912A KR20187035912A KR20190005222A KR 20190005222 A KR20190005222 A KR 20190005222A KR 1020187035912 A KR1020187035912 A KR 1020187035912A KR 20187035912 A KR20187035912 A KR 20187035912A KR 20190005222 A KR20190005222 A KR 20190005222A
Authority
KR
South Korea
Prior art keywords
representation
virtual environment
recording
user
environment
Prior art date
Application number
KR1020187035912A
Other languages
English (en)
Other versions
KR102184619B1 (ko
Inventor
크리스토퍼 무트쉴러
토비아스 파이글
크리스티안 다세르
스테판 오토
베르체아 코스민-아이오누트
Original Assignee
프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. filed Critical 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우.
Publication of KR20190005222A publication Critical patent/KR20190005222A/ko
Application granted granted Critical
Publication of KR102184619B1 publication Critical patent/KR102184619B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Position Input By Displaying (AREA)

Abstract

가상 환경의 표현에서의 시선 방향을 조정하는 방법이 개시된다. 상기 방법은 실제 환경에서의 알려진 물체를 녹화 장치로 녹화하는 단계를 포함한다. 또한 상기 방법은 물체의 녹화물, 실제 환경에서의 녹화 장치의 알려진 위치 및 가상 환경의 표현에서의 현재 시선 방향에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계를 포함한다. 상기 방법은 가상 환경의 표현에서의 시선 방향을 상기 회전 변위만큼 회전하는 단계를 더 포함한다.

Description

가상 환경의 표현에서의 시선 방향을 조정하는 방법
실시예들은 가상 환경의 표현(representation)에 관한 것이다. 특히, 실시예들은 가상 환경의 표현에서의 시선 방향을 조정하는 방법에 관한 것이다.
가상현실(virtual reality, VR)이란, 컴퓨터로 생성된, 상호작용적인 가상 환경과 이 가상 환경의 물리적인 특성을 표현하고 동시에 이를 감지하는 것을 말한다. 몰입감을 형성하기 위하여 가상 환경은 예를 들어 사용자의 머리에 고정된 디스플레이 장치에 의해 사용자에게 표현될 수 있다. 이러한 장치는 헤드 마운트 디스플레이(head mounted display, HMD), 헤드 마운트 디스플레이 유닛(head-mounted display unit) 또는 헤드 마운트 유닛(head-mounted unit, HMU)으로 알려져 있다. 디스플레이 장치는 예를 들면 눈에 아주 가까운 화면 또는 사용자의 망막에 바로 가상 환경을 투사한다. 가상 환경의 표현(representation)에서의 지향(orientation), 즉 시선 방향은 가상 환경의 표현을 횡축(피치축(pitch axis))으로 회전하거나, 가상 환경의 표현을 종축(롤축(roll axis))으로 회전하거나 그리고/또는 가상 환경의 표현을 요우축(yaw axis, 수직축(vertical axis))으로 회전함으로써 조정된다. 여기서 횡축, 종축 및 요우축은 서로 수직이다.
사용자의 움직임에 맞게 가상 환경의 표현을 조정하기 위하여, 즉, 사용자의 움직임에 따라 가상 환경에서 방향을 찾기 위하여, 사용자의 머리의 위치가 검출될 수 있다. 예를 들어 실제 환경, 즉, 현실 세계에서의 사용자 머리의 위치 및 지향을 파악하여 가상 환경의 표현을 조정할 수 있다. 이에 상응하여 실제 환경에서의 개인의 개별적 감지가 감소되고 가상 환경과의 동일시가 증가될 수 있다. 사용자의 머리 위치를 검출하기 위하여, 예를 들어 전파 신호가 사용자의 머리에 구비된 개별 송신기로부터 멀리 떨어진 다수의 수신기까지 전파되는 시간이 사용될 수 있다. 이에 예를 들면 도착 시간 차이(Time-Difference-of-Arrival, TDoA) 방법으로 송신기에 의한 전파 신호의 송신과 개별 수신기에 의한 전파 신호의 수신 사이의 서로 다른 시간차로부터 사용자 머리의 위치가 정확하게 한 자리 수의 센티미터 범위에서 파악될 수 있다. 이때 송신기는 예를 들어 사용자의 머리에 고정된 디스플레이 장치에 일체로 형성되거나 사용자의 머리에 고정된 디스플레이 장치와 별개로 장착될 수 있다. 이에 따라 사용자는 예를 들어 현실의 환경을 자유롭게 움직이면서 가상 환경 상의 표현된 위치를 변경할 수 있다. 또는 카메라에 기반한 방법, 비행 시간법(time of flight (ToF) method), 왕복 시간법(round trop time (RTT) method) 및 관성 측정 장치(inertial measurement unit, IMU) 등에 의해 사용자의 머리의 위치가 검출될 수 있다.
사용자의 머리의 지향은 예를 들어 사용자의 머리에 고정된 디스플레이 장치의 적절한 센서 장치(예: 자이로스코프, 자력계, 가속도계)로 파악될 수 있다. 사용자의 머리에 고정된 디스플레이 장치가 예를 들어 스마트폰 등의 모바일 통신 장치를 포함하거나 사용자의 머리에 모바일 통신 장치를 고정하기 위한 고정 장치를 포함하는 경우, 상기 모바일 통신 장치에 이미 구비된 센서 장치가 사용자 머리의 지향을 파악하는데 사용될 수 있다. 이에 따라 사용자는 예를 들어 실제 환경에서 머리를 회전하거나 기울임으로써 가상 환경에서의 시선 방향을 변경할 수 있다. 실제 환경에서 머리를 회전할 때 예를 들어 가상 환경에서의 시선 방향은 가상 환경의 표현의 요우축을 중심으로 회전함으로써 변경된다. 예를 들어, 자력계를 사용하여 실제 환경에서의 지향을 충분히 안정적으로 파악할 수 있다. 실제 환경에서의 폐쇄된 영역의 경우 예를 들어 자기장 지도가 생성되어 그에 따라 적절하게 보정된 자력계에 의해 실제 환경에서의 사용자 머리의 지향이 파악될 수 있다.
그러나 상기에서 언급한 센서 장치로 사용자의 머리의 지향을 파악할 시 지향 오류가 발생할 수 있다. 자력계는 특히 측정값 오류가 발생할 때가 있으므로, 측정된 머리의 지향이 실제 환경에서의 머리의 실제 지향과 일치하지 않게 된다. 또한 자이로스코프와 가속도계의 측정값을 결합하여 대략적인 머리의 지향을 파악하는 것 역시 각 센서 소자의 측정 오류로 인해 측정되거나 파악된 머리의 지향과 실제 환경에서의 머리의 실제 지향 간에 차이가 발생할 수 있다. 예를 들면, 장기간 동안 오류가 있는 측정값들이 결합 및 통합되면, 파악된 머리의 지향과 실제 환경에서의 머리의 실제 지향 간의 편차로 이어질 수 있다. 또한, 센서 장치의 회전 속도를 자주 그리고 높은 강도로 변경할 경우(머리의 회전 움직임을 느린 속도와 빠른 속도 사이에서 바꾸는 것) 파악된 머리의 지향과 실제 환경에서의 머리의 실제 지향 간의 편차로 이어지는 경우가 있을 수 있으며, 오류는 회전 속도 변경의 정도에 따라 증가한다. 이에 상응하여 측정값에 기초하는 가상 환경의 표현의 지향도 왜곡된다.
이때 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위는 일반적으로 약 15°까지는 사용자에 의해 인지되지 않는다. 사용자가 예를 들어 실제 환경에서 똑바로 걷고 있는데, 가상 환경의 표현에서의 시선 방향이 최대 약 15°까지 차이가 날 경우(즉, 시선 방향이 요우축을 중심으로 최대 약 15°까지 왼쪽이나 오른쪽으로 회전될 경우) 사용자가 이를 감지하지 못할 때가 있다. 다시 말해서, 사용자는 일정한 각도까지는 실제 환경과 다르게 가상 환경에서 똑바로 걷는 것이 아니라 비스듬하게 움직이고 있다는 사실을 감지하지 못한다. 편차가 더 커지면 사용자가 감지하게 되지만 몰입감이 줄어들게 된다. 센서 장치의 측정 오류로 인해 가상 환경의 표현에서의 시선 방향에 이러한 바람직하지 않은 큰 회전 변위가 발생하는 경우가 있을 수 있다. 특히 가상 환경의 표현의 사용 시 사용자에 의해서 장기간 오류가 있는 측정값의 통합으로 인해 가상 환경의 표현에서 시선 방향에 현저한 변위가 발생할 수 있다. 가상 환경의 표현에서의 시선 방향의 감지 가능한 편차로 인해 사용자가 불편함을 느끼는 경우가 있을 수도 있다.
이에 따라 가상 환경의 표현에서의 시선 방향을 수정할 수 있는 방법을 마련할 필요가 있다.
가상 환경의 표현에서의 시선 방향을 조정하는 방법의 실시예들이 이를 가능하게 한다. 상기 방법은 녹화 장치로 실제 환경에서의 알려진 물체를 녹화하는 단계(예를 들어, 이미지, 동영상, 또는 녹음)를 포함한다. 또한 상기 방법은 물체의 녹화물, 실제 환경에서의 녹화 장치의 알려진 위치 및 가상 환경의 표현에서의 현재 시선 방향에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계를 포함한다. 또한 상기 방법은 가상 환경의 표현에서의 시선 방향을 상기 회전 변위만큼 회전하는 단계를 포함한다.
상기 녹화 장치는 공간적으로 사용자의 바로 가까이에 배치될 수 있다. 예를 들어, 녹화 장치는 사용자의 신체에(예를 들어 머리에) 고정될 수 있다. 물체의 녹화물과 실제 환경에서의 녹화 장치의 알려진 위치로부터 실제 환경에서의 녹화 장치의 지향이 파악될 수 있고, 이는 이에 따라 실제 환경에서의 사용자의 머리의 지향으로 간주될 수 있다. 이로부터 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 가상 환경의 표현에서의 현재 시선 방향에 대한 정보를 이용하여 파악되고 가상 환경의 표현이 그에 따라 수정될 수 있다. 가상 환경의 표현은 실제 환경에서의 사용자의 머리의 실제 위치 및 지향에 맞게 조정될 수 있다. 따라서, 상기 방법의 실시예들에 따르면 가상 환경의 표현에서의 시선 방향을 보정할 수 있다. 이에 따라 사용자에게 몰입감이 개선되어 형성될 수 있다.
가상 환경의 표현에서의 시선 방향을 조정하는 제2 방법의 실시예들이 제공된다. 상기 방법은 녹화 장치로 실제 환경에서의 알려진 물체를 녹화하는 단계(예를 들어, 이미지, 동영상, 또는 녹음)를 포함한다. 또한 상기 방법은 물체의 녹화물과 가상 환경의 표현에서의 현재 시선 방향에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계를 포함한다. 또한 상기 방법은 가상 환경의 표현에서의 시선 방향을 상기 회전 변위만큼 회전하는 단계를 포함한다.
물체의 녹화물로부터 실제 환경에서의 녹화 장치의 지향이 파악될 수 있다. 상기 녹화 장치는 공간적으로 사용자의 바로 가까이에 배치될 수 있다. 예를 들어, 녹화 장치는 사용자의 신체에(예를 들어 머리에) 고정될 수 있다. 물체의 녹화물과 실제 환경에서의 녹화 장치의 알려진 위치로부터 실제 환경에서의 녹화 장치의 지향이 파악될 수 있고, 이는 이에 따라 실제 환경에서의 사용자의 머리의 지향으로 간주될 수 있다. 이로부터 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 가상 환경의 표현에서의 현재 시선 방향에 대한 정보를 이용하여 파악되고 가상 환경의 표현이 그에 따라 수정될 수 있다. 가상 환경의 표현은 실제 환경에서의 사용자의 머리의 실제 위치 및 지향에 맞게 조정될 수 있다. 따라서, 상기 방법의 실시예들에 따르면 가상 환경의 표현에서의 시선 방향을 보정할 수 있다. 이에 따라 사용자에게 몰입감이 개선되어 형성될 수 있다.
가상 환경의 표현에서의 시선 방향을 조정하는 제3 방법의 실시예들이 제공된다. 상기 방법은 제1 시점 및 이보다 이후의 제2 시점에서 사용자의 머리에 배치된 녹화 장치로 실제 환경에서 사용자의 신체에 배치된 물체를 녹화하는 단계(예를 들어, 이미지, 동영상, 또는 녹음)를 포함한다. 또한 상기 방법은 상기 제1 시점 및 상기 제2 시점의 물체의 녹화물 및 사용자의 머리에 고정된 적어도 하나의 또다른 센서의 측정값에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계. 또한 상기 방법은 가상 환경의 표현에서의 시선 방향을 상기 회전 변위만큼 회전하는 단계를 포함한다.
상기 제1 시점 및 상기 제2 시점의 물체의 녹화물 및 사용자의 머리에 고정된 적어도 하나의 또다른 센서의 측정값으로부터 각각 상기 제1 시점과 제2 시점 사이에서의, 사용자의 머리의 요우축에 대한 녹화 장치의 유효한 회전이 파악될 수 있다. 상기 녹화 장치는 공간적으로 사용자의 바로 가까이에 배치될 수 있다. 사용자의 머리의 요우축에 대한 녹화 장치의 녹화 장치의 회전에 대하여, 파악된 두 수치 사이의 차이는 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위로 간주될 수 있다. 이에 따라 가상 환경의 표현이 그에 맞게 수정될 수 있다. 이에 따라, 가상 환경의 표현은 실제 환경에서의 사용자의 머리의 실제 위치 및 지향에 맞게 조정될 수 있다. 따라서, 상기 방법의 실시예들에 따르면 가상 환경의 표현에서의 시선 방향을 보정할 수 있다. 이에 따라 사용자에게 몰입감이 개선되어 형성될 수 있다.
또 다른 측면에 따르면 실시예들은, 컴퓨터, 프로세서, 또는 프로그램 가능한 하드웨어 부품 상에서 실행될 때 상기한 방법 중 하나를 수행하기 위한 프로그램 코드를 포함하는 프로그램을 포함한다.
이하, 첨부된 도면을 참조하여 실시예들을 상세히 설명한다. 도면은 다음과 같다:
도 1은 가상 환경의 표현에서 시선 방향을 조정하는 방법의 일 예이다.
도 2는 실제 환경에서의 물체와 물체의 녹화물(recording) 사이의 관계를 나타내는 일 예이다.
도 3a 는 물체의 제1 예이다;
도 3b 는 물체의 제2 예이다;
도 3c 는 물체의 제3 예이다;
도 3d 는 물체의 제4 예이다;
도 4는 물체에서의 예시적인 특징들을 도시한다;
도 5는 실제 환경에서의 물체의 특징들의 위치들을 물체의 녹화물에서의 각각의 특징들의 위치에 할당하는 예시이다;
도 6은 실제 환경에서의 녹화 장치의 파악된 지향의 히스토그램이다;
도 7은 동일한 물체의 서로 회전된 녹화물의 연속 배열이다;
도 8은 가상 환경의 표현에서 시선 방향을 조정하는 또다른 방법의 일 예이다;
도 9a는 물체의 제5 예의 녹화물을 도시한다;
도 9b는 도 9a에 도시된 녹화물에 대응하는 2진 녹화물(binary recording)이다;
도 9c는 물체의 제6 예의 녹화물을 도시한다;
도 9d는 도 9b에 도시된 녹화물에 대응하는 2진 녹화물이다;
도 10은 가상 환경의 표현에서 시선 방향을 조정하는 또다른 방법의 일 예이다;
도 11a는 사용자의 이동 벡터, 사용자의 실제 시선 방향 및 제1 시점에 사용자의 머리에 배치된 적어도 또 하나의 센서의 측정값들로부터 파악된 가상 환경의 표현에서의 시선 방향 간의 관계의 예시를 도시한다;
도 11b는 사용자의 이동 벡터, 사용자의 실제 시선 방향 및 제2 시점에 사용자의 머리에 배치된 적어도 또 하나의 센서의 측정값들로부터 파악된 가상 환경의 표현에서의 시선 방향 간의 관계의 예시를 도시한다.
이하, 일부 실시예들이 도시된 도면들을 참조하여 다양한 실시예를 설명한다. 도면에서 각 선, 층 및/또는 영역의 두께 수치는 명확성을 위하여 과장되어 도시될 수 있다.
단지 몇몇 예시적인 실시예를 나타내는 첨부된 도면의 다음의 설명에서, 동일한 참조번호는 동일하거나 유사한 구성요소를 나타낼 수 있다. 또한, 일 실시예 또는 도면에서 여러 번 나오는 구성요소 및 객체에 대하여 요약적인 하나의 참조번호가 사용될 수 있지만, 하나 또는 다수의 특징에 대하여 공동으로 설명될 수 있다. 동일하거나 요약하는 참조번호로 기술된 구성요소 또는 객체는 개별적, 다수 또는 모든 특징, 예를 들어 그의 치수와 관련하여 동일할 수 있지만, 설명에서 기타 다른 내용이 명시적 또는 암시적으로 나와 있지 않은 경우, 경우에 따라 다른 것으로 기술될 수도 있다.
실시예들이 다양하게 수정되고 변경될 수 있지만, 실시예들은 도면들에서 예시적으로 도시한 것이며 상세한 설명에서 상세하게 설명한다. 그러나 이는 본 발명을 개시된 특정한 형태로 실시예를 한정하려는 것이 아니며, 본 발명의 범위에 포함되는 모든 기능적 및/또는 구조적 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면 전체에서 동일한 도면부호는 동일하거나 유사한 요소를 나타낸다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 또는 "결합되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 결합되어 있을 수도 있거나, 또는 중간에 다른 구성요소가 존재할 수 있음에 유의해야 한다. 반면에, 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 결합되어" 있다고 언급되는 경우, 중간에 다른 구성요소가 존재하지 않는 것이다. 구성요소들 간의 관계를 설명하기 위해 사용된 다른 용어는 유사한 방식으로 해석되어야 한다(예를 들어, "직접적으로 그 사이에" 대비 "사이에", "직접적으로 인접한" 대비 "인접한").
본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위한 것이며, 실시예를 제한하고자 하는 것은 아니다. 본 명세서에 사용된 단수 형태는 문맥상 다르게 제시하지 않는 한 복수 형태를 포함하는 의미이다. 또한, 예를 들어, 본 명세서에서 사용된 "포함하다" 및/또는 "갖는다" 등의 표현은 기술된 특징, 정수(integer), 단계, 동작, 요소, 및/또는 구성요소의 존재를 나타내지만, 하나 이상의 특징, 정수, 단계, 동작, 요소, 구성요소, 및/또는 이들의 그룹의 존재 또는 부가를 배제하지 않는다는 것으로 이해되어야 한다.
다른 정의가 없다면, 본 명세서에서 사용된 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 당업자에게 통상적으로 부여되는 의미를 가진다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 본 명세서에서 명백하게 다르게 정의되지 않는 한, 관련 기술의 맥락에 따른 의미와 일치하는 의미를 가지는 것으로 해석되어야 한다.
도 1은 가상 환경의 표현에서 시선 방향을 조정하는 방법(100)을 도시한다. 가상 환경이란 컴퓨터로 생성된 상호작용적인 세계를 말하며, 이 세계는 소정의 물리적인 특성을 가지며 예를 들어 사용자에게 출력될 수 있다. 여기서 가상 환경의 표현에서의 시선 방향은 가상 환경의 표현에서 나타난 가상 환경의 일부분의 가상 환경에서의 지향(정렬)에 해당한다. 가상 환경의 표현은 예를 들어 에고 관점 또는 나 관점에서 가상 환경을 표현할 수 있는데, 즉, 가상 환경은 사용자가 실제로 가상 환경에서 움직인다면 보게 될 모습으로 표현된다. 이에 상응하여, 가상 환경의 표현에서의 시선 방향은 사용자가 실제로 가상 환경에서 움직인다면 형성되었을 사용자의 시선 방향에 상응하게 된다. 이때 가상 환경의 표현에서의 시선 방향은 가상 환경의 표현을 횡축으로 회전하거나, 가상 환경의 표현을 종축으로 회전하거나, 그리고/또는 가상 환경의 표현을 요우축으로 회전함으로써 조정된다.
상기 방법(100)은 실제 환경(즉, 실제, 현실 세계)에서의 알려진 물체를 녹화 장치로 녹화하는 단계(102)를 포함한다. 알려진 물체란 제시된 본 방법을 위해 실제 환경에 특별히 배치된 물체일 수도 있고, 실제 환경에 이미 존재하는 물체일 수도 있다. 예를 들어 상기 물체는 사용자가 움직이는 실제 환경의 일 영역에 배치되거나 또는 상기 영역에 이미 존재하는 요소일 수 있다. 상기 물체는 실질적으로 2차원적(평면적) 물체, 즉 실질적으로 두 개의 공간 방향으로만 연장되는 물체는 물론 3차원적 물체, 즉 세 개의 공간 방향 모두에서 유사한 치수로 연장되는 물체일 수 있다. 사용자가 실제 환경에서 예를 들어 일정한 공간 또는 홀(hall) 내부에서 움직인다고 할 때, 상기 알려진 물체는 예를 들어 창문, 조명 장치, 문, 기둥, 들보, 가구 또는 공간 또는 홀의 기타 구성요소 등, 공간 또는 홀의 물체일 수 있다. 또는 상기 물체는 제시된 방법을 위하여 공간 또는 홀에 특별히 배치된 포스터, 돌출부 또는 음원 또는 기타 다른 요소일 수 있다.
녹화물이란, 예를 들어 스틸 이미지(즉, 개별 촬영), 동영상(즉, 이미지의 연속 배열) 또는 음향 녹화, 즉, 소리의 녹음(예를 들어, 소리, 음향, 음악 또는 언어)일 수 있다. 이에 상응하여 녹화 장치는 스틸 카메라, 비디오 카메라, (스테레오-) 음향 녹음 장치 또는 이들의 조합일 수 있다.
또한, 상기 방법(100)은 물체의 녹화물, 실제 환경에서의 녹화 장치의 알려진 위치 및 가상 환경의 표현에서의 현재 시선 방향에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(104)를 포함한다. 상기 녹화 장치는 공간적으로 사용자의 바로 가까이에 배치될 수 있다. 이 경우 녹화 장치의 위치로서 예를 들어 VR 시스템의 일반적인 작동 시 측정된, 실제 환경에서의 사용자의 위치가 사용될 수 있다. 사용자의 위치가 위에서 설명한 바와 같이 비행시간(flight time) 측정에 의해 파악되는 경우, 사용자의 머리 등에 위치한 송신기와 녹화 장치가 공간적으로 가깝게 배치될 수 있어, 실제 환경에서의 녹화 장치의 위치를 최대한 정확하게 알 수 있다. 가상 환경의 표현에서의 현재 시선 방향은 예를 들어 가상 환경의 표현을 사용자에게 출력하는(그리고 선택적으로 계산하기도 하는) 디스플레이 장치(예: HMD, HMU) 또는 가상 환경을 계산하는 컴퓨터(예: VR 시스템의 백엔드)에 의해 수신될 수 있다.
물체의 녹화물과 실제 환경에서의 녹화 장치의 알려진 위치로부터 실제 환경에서의 녹화 장치의 지향이 파악될 수 있고, 이 지향은 거의 실제 환경에서의 사용자의 지향 내지 사용자의 머리의 지향으로 간주될 수 있다. 이로부터 가상 환경의 표현에서의 현재 시선 방향에 대한 정보들을 참조하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 파악될 수 있다. 이하, 실제 환경에서의 녹화 장치의 지향의 파악 및 가상 환경의 표현에서의 시선 방향의 회전 변위의 파악에 대한 일부 실시예를 상세히 설명한다.
상기 방법(100)은 또한 가상 환경의 표현에서의 시선 방향을 상기 회전 변위만큼 회전시키는 단계(106)를 포함한다. 다시 말해서, 가상 환경의 표현에서의 시선 방향은 가상 환경의 표현의 요우축에 대한 회전에 의해서 수정되며, 회전의 방향과 크기는 회전 변위에 의해 결정된다. 이에 따라 가상 환경의 표현은 회전 변위만큼 수정된다. 따라서, 가상 환경의 표현은 실제 환경에서의 사용자의 머리의 실제 위치와 지향에 맞게 조정될 수 있다. 이에 따라 상기 방법(100)에 따르면 가상 환경의 표현에서의 시선 방향을 보정할 수 있다. 특히, 방법(100)에 따르면 실제 환경에서 틀리게 파악된 지향이나 사용자의 (머리의) 위치와 정렬의 파악에 일반적으로 사용되는 센서 장치의 측정 오류로 인해 발생하는 가상 환경의 표현에서의 시선 방향의 이동이 수정될 수 있다.
이미 상술한 바와 같이, 일부 실시예에 따르면 상기 방법(100)은 사용자에게 가상 환경의 표현을 출력하는 단계를 포함할 수 있다. 사용자에게 가상 환경의 표현을 출력하는 단계는 예를 들어 사용자의 머리에 고정되고, 녹화 장치를 더 포함하는 디스플레이 장치에 의해 수행될 수 있다. 이러한 구성의 경우 실제 환경에서의 녹화 장치의 지향이 대략 실제 환경에서의 사용자의 머리의 지향으로 간주될 수 있다.
일부 실시예에서, 사용자의 머리에 고정되는 디스플레이 장치는 모바일 통신 장치(예: 스마트폰)를 포함한다. 상기한 바와 같이, VR 시스템의 일반적인 작동 시 모바일 통신 장치에 이미 구비된 센서 장치(예: 자이로스코프, 자력계, 가속도계)가 실제 환경에서의 사용자의 머리의 지향을 파악하는데 사용될 수 있다. 모바일 통신 장치의 카메라를 녹화 장치로 사용함으로써 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 모바일 통신 장치의 센서 장치의 측정 오류에 기초하여 수정될 수 있다. 이에 따라 가상 환경의 표현의 보정을 위해서 상기 모바일 통신 장치에 의해 이미 제공되는 자원을 이용할 수 있다. 다시 말해서, 상기 방법(100)은 직접적으로 (즉, 온라인으로) 모바일 통신 장치 상에서 수행될 수 있다. 이에 따라 상기 방법(100)은 추가적인 하드웨어 구성요소 없이 가상 환경의 표현을 보정할 수 있다. 또는, 예를 들어 방법(100)의 일부가 모바일 통신 장치에 의해서 수행되고, 상기 방법(100)의 또 다른 일부, 예를 들어 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(104)가 사용자가 사용하는, 이미 존재하는 VR 시스템의 백엔드에 의해서(즉, 오프라인으로) 수행될 수 있다. 파악된 회전 변위는 예를 들어 백엔드로부터 모바일 통신 장치로 전송되어 상기 장치가 가상 환경의 실제 표현에서의 시선 방향을 회전 변위만큼 회전시킬 수 있다. 상기한 기능은 예를 들어 VR 시스템의 이미 존재하는 하나 이상의 소프트웨어 구성요소(예를 들어 모바일 통신 장치용 소프트웨어 또는 백엔드용 소프트웨어)에 대한 업데이트를 통해서 구현될 수 있다.
일부 실시예에서, 상기 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(104)는 물체의 녹화물과 실제 환경에서의 녹화 장치의 알려진 위치에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 단계를 포함할 수 있다(이와 관련된 예시적인 방법은 추후 설명한다). 또한, 상기 회전 변위를 파악하는 단계(104)는 실제 환경에서의 녹화 장치의 지향에 기초하여 가상 환경의 표현에서의 설정 시선 방향을 파악하는 단계를 포함할 수 있다. 예를 들어, 파악된 실제 환경에서의 녹화 장치의 지향은 가상 환경의 표현을 계산하기 위한 알고리즘에 제공될 수 있으며, 알고리즘은 이에 기초하여 가상 환경의 표현을 계산한다. 특히 녹화 장치가 사용자의 머리에 배치된 경우 가상 환경에서의 설정 시선 방향은, 실제 환경에서의 사용자의 머리의 실제 위치와 지향에 대응되는 가상 환경의 시선 방향일 수 있다. 예를 들어 상기 녹화 장치는 실제 환경에서 사용자의 시선 방향에 똑바르게 또는 이에 수직으로 정렬될 수 있다. 따라서, 계산된 가상 환경의 표현에서의 시선 방향은 설정 시선 방향으로 간주할 수 있다.
실시예들에 따르면, 가상 환경의 표현에서의 설정 시선 방향 및 가상 환경의 표현에서의 현재 시선 방향으로부터, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 파악된다. 이는 예를 들어 가상 환경의 표현에서의 설정 시선 방향과 현재 시선 방향을 비교함으로써 수행될 수 있다. 다시 말해서, 가상 환경의 표현에서의 설정 시선 방향 대비 가상 환경의 표현에서의 현재 시선 방향이 가상 환경의 표현의 요우축으로 얼마나 많이 회전되었는지 파악될 수 있다.
가상 환경의 표현은 예를 들면 사용자의 머리에 고정된 디스플레이 장치(예를 들어 모바일 통신 장치를 포함)에 의해서 렌더링될 수 있다. 시점(t0)에 대한 설정 시선 방향을 파악하는 것은 예를 들어 VR 시스템의 백엔드에 의해서 수행될 수 있고, 그 후 사용자의 머리에 고정된 모바일 통신 장치로 전송될 수 있다. 그러면 상기 모바일 통신 장치는 시점(t0)에 대한 가상 환경의 표현에서의 설정 시선 방향 및 시점(t0)에 대한 가상 환경의 표현에서의 현재 시선 방향으로부터 시점(t0)에 대한 가상 환경의 표현의 요우축에 대한 시선 방향의 회전 변위를 파악할 수 있다. 시점(t0)와 이후의 시점(t1) 사이의 가상 환경의 표현에서의 시선 방향의 또 다른 이동을 고려하지 않아도 된다는 가정하에, 상기 모바일 통신 장치는 예를 들어 시점(t1)에 대한 가상 환경의 표현에서의 시선 방향을 시점(t0)에 대한 시선 방향의 회전 변위만큼 회전시킬 수 있는데, 즉, 다시 말해서, 수정할 수 있다. 이에 상응하여, 수정된 시선 방향을 포함하는 가상 환경의 표현이 사용자에게 출력될 수 있다.
상기에서 설명한 방법은 VR 시스템의 사용 중 반복해서 수행될 수 있다. 이에 따라 예를 들어 시점(t0)과 이후의 시점(t1) 사이에서 가상 환경의 표현에서의 시선 방향의 추가적인 이동이 수정될 수 있다. 또한 상기 방법은 수정이 수행된 후 적어도 부분적으로 다시 수행되어 이전에 행해진 수정이 정확한지 확인할 수 있다.
도 2는 알려진 물체(220)의 녹화물(210) 및 실제 환경에서의 녹화 장치의 알려진 위치(C)에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 방법을 예시적으로 도시한다. 상기 물체(220)는 다수의 세계점(world point)(M)이라고 이해할 수 있다. 상기 녹화물(210)은 다수의 상점(image point)(m)이라고 이해할 수 있다.
녹화 장치의 지향 및 그에 따른 녹화물(210)에서의 시선 각도는 일반적으로 물체(220)의 세계점(M)을 상응하는 녹화물(210)의 상점(m)으로 변환하는 변환(transformation)으로부터 파악될 수 있다. 상기 변환은 일반적으로 다음과 같이 표현될 수 있다:
Figure pct00001
(1),
I 은 단위 행렬을 나타내고 K 및 R은 녹화 장치의 카메라 행렬의 분해를 나타내며, 이때 K는 초점 길이, 카메라의 중심점 및 추정 직교성(축 스큐)에 대한 이미지 좌표계의 축들의 편차를 기술하는 내재적 행렬이고, R은 일반적인 회전 행렬을 나타낸다. 여기서 R은 서로 직교하는 단위 방향(X, Y, 및 Z)에 대한 세 개의 회전 행렬 (
Figure pct00002
,
Figure pct00003
및
Figure pct00004
)의 곱으로서 표현될 수 있다. 실제 환경에서의 정의된 원점으로부터 예를 들어 X는 오른쪽 방향을 나타내고, Y는 상방(즉, 하늘 방향)을 나타내고, Z는 깊이로의 방향(즉, 전방)을 나타낼 수 있다. 이에 따라 단위 방향(Y)은 요우축(수직축)에 대응할 수 있는데, 즉, 요우축에 대한 회전은 녹화물을 수평 방향으로 이동시킨다. 가상 환경의 좌표계의 축들은 서로 직교하는 단위 방향(X, Y, Z)에 대하여 서로 다르게 선택될 수 있다. 이 경우 실제 환경에서의 위치는 좌표 변환을 통해서 가상 환경에서의 위치로 옮겨질(translate)될 수 있다. 이에 따라 방정식(1)은 다음과 같이 변형될 수 있다:
Figure pct00005
(2)
Figure pct00006
(3)
상기 세 개의 회전 행렬 (
Figure pct00007
,
Figure pct00008
및
Figure pct00009
)은 실제 환경에서의 녹화 장치의 목표한 수평 정렬을 나타내는 각도(α)에 따라 달라질 수 있다. 다시 말해서: 각도(α)는 X와 Z로 연장되는 평면에서의 녹화 장치의 지향(정렬)을 정의한다. 상기 회전 행렬 (
Figure pct00010
,
Figure pct00011
및
Figure pct00012
)은 일반적으로 정의된다:
Figure pct00013
(4)
Figure pct00014
(5)
Figure pct00015
(6)
Figure pct00016
,
Figure pct00017
, K 및 C를 알고 있다고 가정할 때,
Figure pct00018
는 대응되는 M ↔ m 쌍으로부터 파악될 수 있다.
Figure pct00019
와
Figure pct00020
는 예를 들어 모바일 통신 장치에 이미 구비된 센서 장치에 의해서(중력 벡터 등에 의해서) 파악될 수 있다. 이때 방정식(3)의 계수들은 다음과 같이 요약될 수 있다:
Figure pct00021
(7)
Figure pct00022
(8)
이에 따라 방정식(3)은 다음과 같이 표현될 수 있다:
Figure pct00023
(9)
내지
Figure pct00024
(10),
여기서
Figure pct00025
이고
Figure pct00026
이다.
이에 따라 방정식(10)은 다음과 같이 바꾸어 표현될 수 있다.
Figure pct00027
(11)
방정식 (11)의 전개를 통해서 다음과 같은 연립방정식이 나온다:
Figure pct00028
(12)
Figure pct00029
(13)
Figure pct00030
(14)
상기 연립방정식은 다음과 같이 각도(α)에 따라 풀 수 있다:
Figure pct00031
(15)
Figure pct00032
(16)
Figure pct00033
(17)
Figure pct00034
(18)
Figure pct00035
(19)
Figure pct00036
및
Figure pct00037
에 의해서 다음과 같은 값이 나온다:
Figure pct00038
(20)
Figure pct00039
(21)
방정식(21)으로부터 다음이 도출된다:
Figure pct00040
(22)
Figure pct00041
(23)
Figure pct00042
(24)
Figure pct00043
(25)
Figure pct00044
(26)
Figure pct00045
(27)
Figure pct00046
(28)
Figure pct00047
(29)
u' 및 u 는 각각의 대응되는 M ↔ m 쌍에 대하여 파악될 수 있고, 그에 따라 각각의 쌍에 대한 각도(α)가 결정될 수 있다.
이하 도 3a 내지 3d 에서는 사용될 수 있는 물체의 몇 가지 예가 도시된다. 이때 도 3a는 다양한 그레이스케일을 가지는 비정형 패턴(310)을 나타내고, 도 3b는 다양한 크기와 그레이스케일을 가지는 원들을 포함하는 패턴(320)을 도시하고, 도 3c는 나무의 이미지(330)를 도시하고, 도 3d는 문자열(예를 들어, 단어 또는 숫자)의 콜라주(340)를 도시한다. 도 3a 내지 3d에 도시된 것처럼 물체는 다양할 수 있다. 도 3a 내지 도 3d에 도시된 패턴들은 예를 들어 실제 환경에서 수직 평면에 배치될 수 있다(예를 들어 포스터에 의해 또는 투사에 의해). 예를 들어, 도 3a 내지 도 3d에 도시된 패턴들은 포스터 또는 투사의 형태로 공간 또는 홀의 측벽에 표시될 수 있다. 그러나 상기 물체는 도 3a 내지 도 3d의 예시로 한정되지 않는다. 이하 설명에서는 가능한 물체의 예를 더 도시한다.
실시예들에 따르면 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는 알려진 물체의 녹화물의 적어도 일부를 비교 녹화물의 적어도 일부와 일치시키는 변환을 파악하는 단계를 포함한다. 비교 녹화물은 실제 환경에서의 알려진 물체의 위치에 대한 정보를 제공할 수 있다. 예를 들어 다양한 물체 내지 다양한 관점에 따른 하나의 물체를 나타내는 비교 녹화물을 포함하는 데이터베이스가 제공될 수 있다. 이때 각각의 비교 녹화물에 대해서 그 위에 나타나 있는 실제 세계에서의 물체의 위치에 대한 정보가 추가적으로 저장(제공)될 수 있다. 도 2의 예시의 세계점(M)에 대응하는 이러한 정보는 도 2의 예시에서 도시된 기본 원리에 따라 실제 환경에서의 녹화 장치의 지향을 파악하는데 사용될 수 있다. 이하 도 4 내지 도 7을 참조하여, 알려진 물체의 녹화물의 적어도 일부를 비교 녹화물의 적어도 일부와 일치시키는 변환을 파악하는 것에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 단계의 두 가지 서로 다른 접근의 예시를 설명한다.
제1 접근의 설명과 관련하여 도 4에는 물체의 예로서, 실제 환경의 벽에 배치된 포스터(400)의 형태인, 크기와 그레이스케일이 서로 다른 다양한 원들을 포함하는 패턴이 도시된다. 상기 패턴은 다수의 특징(410-1, 410-2, ..., 410-n)을 포함한다. 상기 특징(410-1, 410-2, ..., 410-n)은 특징 추출 방법에 의해서 파악될 수 있다. 특징 추출 방법의 예로는 Scale-Invariant Feature Transform (SIFT) 알고리즘, Speeded Up Robust Features (SURF) 알고리즘, 또는 Binary Robust Independent Elementary Features (BRIEF) 알고리즘 등이 있다. 이러한 특징들은 비교 특징으로서 데이터베이스에 저장될 수 있는데, 즉, 데이터베이스의 다수의 비교 특징은 물체의 다양한 특징을 포함할 수 있다. 마찬가지로 데이터베이스 내 비교 특징들은 하나의 동일한 물체의 여러 가지 녹화물로부터 비롯된 것일 수 있다. 왜냐하면 비교 녹화물 내 시선 방향에 따라 특징이 다를 수 있기 때문이다. 때때로 녹화물의 소정의 시선 각도에서만 특징들이 특징 추출 방법에 의해서 인식된다. 패턴을 가진 예시적인 포스터(400)에서, 포스터(400)의 네 개의 코너(401, 402, 403, 404)의 실제 환경에서의 위치가 알려져 있을 경우, 데이터베이스의 각각의 비교 특징들에도 실제 환경에서의 위치가 할당될 수 있다. 도 4에서 포스터(400)의 코너(401, 402, 403, 404) 각각에는, 실제 환경에 대한 예시적인 3차원 좌표가 각각 할당되어 있고(예: 코너(401)의 경우, X=16.58, Y=3.19, Z=30.35), 이에 따라 특징들(410-1, 410-2, ..., 410-n) 각각에 대해서도 실제 환경에서의 위치가 파악될 수 있다. 이에 상응하여 각각의 비교 특징은 자신의 할당된 위치로 데이터베이스에 저장될 수 있다.
이러한 비교 특징들은, 물체의 녹화물 및 실제 환경에서의 녹화 장치의 알려진 위치에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는데 사용될 수 있다. 우선, 알려진 위치에 기반하여 녹화 장치에 의해 물체의 녹화물이 생성된다. 즉, 도 4의 예시의 경우 패턴이 있는 포스터(400)의 녹화물이 생성된다. 상기 녹화 장치는 예를 들어 가상 환경의 표현의 출력하는, 사용자의 머리에 고정된 디스플레이 장치의 구성요소이고, VR 시스템의 작동 시 사용자의 머리의 위치를 측정함으로써 녹화 장치의 위치도 대략 (실질적으로) 알게 된다.
녹화물에서 물체의 적어도 하나의 특징이 인식된다. 이를 위하여 특징 추출 방법(예를 들어 상기한 알고리즘 중 하나)이 녹화물에 적용된다. 물체의 녹화물 자체에는 특징의 위치가 더 파악된다. 즉, 녹화물의 좌표계 내 특징의 좌표가 파악된다. 또한, 녹화물에서의 물체의 특징에 대응되는 비교 특징이 데이터베이스의 다수의 비교 특징들로부터 확인된다. 상기한 바와 같이, 다수의 비교 특징 각각에는 실제 환경에서의 위치가 할당된다. 확인을 위하여 예를 들어 알려진 이미지 레지스트레이션 방법이 사용될 수 있다. 가능한 한 신속하고 효율적으로 데이터베이스의 다수의 비교 특징으로부터 비교 특징을 확인할 수 있기 위하여, 예를 들어, 물체의 녹화물에서의 특징의 위치, 다수의 비교 특징들의 실제 환경에서의 위치들, 및 실제 환경에서의 녹화 장치의 알려진 위치를 입력 크기로서 획득하는 가장 가까운 이웃(Nearest Neighbor) 방법이 사용될 수 있다.
실제 환경에서의 녹화 장치의 알려진 위치, 녹화물에서의 특징의 위치, 및 확인된 비교 특징에 할당된 실제 환경에서의 위치로부터, 도 2에 도시된 기본 원리에 따라 실제 환경에서의 녹화 장치의 지향이 파악될 수 있다. 실제 환경에서의 녹화 장치의 지향을 파악하는, 도 2에 도시된 방법과 관련하여, 포스터(400)가 녹화된 상기 알려진 위치는 실제 환경에서의 녹화 장치의 알려진 위치(C)에 대응된다. 녹화물에서의 특징의 위치는 상점(m)에 대응되고, 확인된 비교 특징에 할당된 실제 환경에서의 위치는 세계점(M)에 대응된다. 이에 따라 도 2에 도시된 기본 원리에 따라 녹화물에서의 특징의 위치를 확인된 비교 특징에 할당된 실제 환경에서의 위치에 일치시키는 변환이 파악될 수 있다. 이에 따라 실제 환경에서의 녹화 장치의 지향이 파악될 수 있다.
이미 도 4에 나타난 바와 같이, 물체의 녹화물에서는 다수의 특징이 인식될 수 있다. 다시 말하면, 실제 환경에서의 녹화 장치의 지향을 파악할 때, 물체의 특징이 다수 인식될 수 있다. 이에 상응하여 물체에 대하여 인식된 다수의 특징들에 대하여 데이터베이스로부터의 다수의 비교 특징이 확인될 수 있다. 물체에 대해 인식된 다수의 특징들 각각에 대하여 실제 환경에서의 녹화 장치의 지향이 파악될 수 있다.
도 5에는 녹화물의 물체의 특징을 비교 특징에 할당하는 단계(500)의 예시가 도시된다. 도 5에는 물체의 녹화물에서 인식된 물체의 특징(상점)의 위치 및 각각의 확인된 비교 특징에 할당된 실제 환경에서의 위치(세계점)가 도시된다. 이때 위치들은 각각 임의의 단위(arbitrary units)로 주어진다. 대응되는 상점과 세계점은 도 5에서 직선으로 연결되어 있다. 도 5에 도시된 바와 같이, 각 직선의 기울기-직선(501) 내지 (507)은 예외- 는 대략 유사하다. 세계점에 상점을 할당하는 데는 예를 들어 Brute Force 또는 Fast Library for Approximate Nearest Neighbors (FLANN)에 기반한 알고리즘이 사용될 수 있다. 따라서, 도 5에 도시된 실질적으로 평행한 직선들로부터 이미 알 수 있듯이, 물체에 대하여 인식된 다수의 특징에 대하여 실질적으로 동일하거나 유사한, 실제 환경에서의 녹화 장치의 지향이 파악되었다.
이는 인식된 다수의 특징들에 대하여 파악된 실제 환경에서의 녹화 장치의 지향의 빈도를 나타내는 도 6의 히스토그램(600)에서 더 잘 알 수 있다. 상기한 지향은 녹화물의 수직축에 대한 회전을 나타내는 각도(α) 형태로 적용된다. 이에 따라, 공간상의 방향(X, Y, Z)을 가지는 상기한 예시와 관련하여 상기 각도(α)는 X와 Z로 연장된 평면에서의 녹화 장치의 지향(정렬), 즉, Y에 대한 회전에 대응된다. 빈도는 대수적으로 적용된다.
도 6을 참조하면, 물체에 대하여 인식된 몇몇 특징에 대해서는 각도(α)가 대략 -65°까지, 인식된 몇몇 특징에 대해서는 대략 60°까지, 인식된 몇몇 특징에 대해서는 대략 64°까지, 그리고 상당히 많은 수의 특징에 대해서는 대략 90°까지, 그리고 이보다 더 많은 수의 인식된 특징에 대해서는 대략 91°까지 파악되었다.
실시예들에 따르면, 인식된 다수의 특징에 대하여 파악된 실제 환경에서의 녹화 장치의 지향들 중 품질 기준을 충족하는 지향이 실제 환경에서의 녹화 장치의 지향으로서 파악된다. 도 6의 예시와 관련하여, 예를 들어 히스토그램의 간격(bin)이 1도이고 입력이 최대인 히스토그램이 선택될 수 있다. 따라서, 상기한 품질 기준은 예를 들어 실제 환경에서의 녹화 장치의 지향이 가장 많은 빈도로 파악된 지향일 수 있다. 또한, 기타 다른 품질 기준이 사용될 수도 있다. 예를 들면 선택된 간격이 최소의 입력을 포함하거나 또는 선택된 빈이 물체에 대해 인식된 다수의 특징 중 사전에 결정된 비율을 나타내야 할 것이 요구될 수도 있다(즉, 상기한 빈은 물체에 대하여 인식된 다수의 특징 중 사전 결정된 비율에 대하여 파악된 각각의 지향을 나타내야 한다).
도 6의 예시에서는 유사한 범위에서 90°와 91°의 빈도가 지배적이고 절대적이어서, 이 두 개의 지향은 선택된 품질 기준을 만족할 수 있다. 이에 상응하여, 이웃하거나 내지는 유사한 지향들의 경우(즉, 이웃한 빈들 또는 사이에 있는 빈의 수가 적은 빈들의 경우), 두 지향의 평균값이 실제 환경에서의 녹화 장치의 지향으로서 파악될 수 있다. 선택적으로, 이웃하거나 유사한 지향들의 가중 부여가 (예를 들어, 지향들의 빈도에 따라서) 수행될 수도 있다.
이하에서는, 도 7의 설명의 범위에서 알려진 물체의 녹화물의 적어도 일부를 비교 녹화물의 적어도 일부에 일치시키는 변환의 결정에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 제2 접근을 설명한다.
제2 접근에 따르면 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는 데이터베이스의 다수의 비교 녹화물로부터 비교 녹화물을 파악하는 단계를 포함한다. 데이터베이스의 다수의 비교 녹화물로부터 비교 녹화물을 파악하는 단계는 실제 환경에서의 녹화 장치의 알려진 위치에 기초하여 수행된다. 다시 말해, 녹화 장치의 위치에 기초하여 물체 자체를 나타내거나 상기 물체를 유사하거나 동일한 관점에서 나타낼 확률이 높은 비교 녹화물이 데이터베이스로부터 선택된다. 이때, 적어도 선택된 비교 녹화물의 실제 환경에서의 지향은 알려져 있다. 물론 데이터베이스에도 다수의 비교 녹화물 각각에 대하여 실제 환경에서의 지향이 각각 저장될 수 있다.
또한, 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는 비교 녹화물에 대한 물체의 녹화물의 회전을 파악하는 단계를 포함한다. 즉, 비교 녹화물에 대하여 물체의 녹화물의 영상 정합(image registration)이 수행된다. 이를 위하여 공지의 영상 정합 방법, 예를 들어 인핸스드 상관 계수(enhanced correlation coefficient, ECC) 알고리즘이 사용될 수 있다. 이를 위하여 비교 녹화물에 대하여 물체의 녹화물이 예를 들어 단계별로 회전될 수 있으며, 이는 도 7의 녹화물 (701) 내지 (710)의 연속 배열로 나타낸 바와 같다. 녹화물 (701) 내지 (710) 각각에는 사용자가 그 안에서 움직이는 실제 환경에서의 물체에 대한 예시로 지붕창이 도시되어 있다. 상기 녹화물들은 왼쪽에서 오른쪽 방향으로 시계반대 방향으로 서로에 대해 1°씩 회전된다. 상기 ECC 알고리즘은 각각의 회전마다 비교 이미지와의 상관관계를 파악한다. 이어서 가장 우수한 상관관계가 선택되어 해당하는 변환 행렬이 파악된다. 변환 행렬로부터 다시 비교 녹화물에 대한 물체의 녹화물의 지향, 즉, 회전이 파악될 수 있다.
또한, 실제 환경에서의 비교 녹화물의 지향 및 비교 녹화물에 대한 물체의 녹화물의 회전으로부터 실제 환경에서의 녹화 장치의 지향이 파악될 수 있다(두 정보의 결합에 의해 파악됨).
도 7에 나타난 바와 같이, 제2 접근은 예를 들어 사용자의 상부에서만 수직으로 신장하는 물체에 대하여 사용될 수 있다. 예를 들어, 가상 환경의 표현이 사용자에게 출력되는 동안, 녹화 장치는 실제 환경에서의 사용자의 시선 방향에 수직으로 똑바르게 정렬될 수 있다. 다시 말해서, 녹화 장치는 사용자가 움직이는 실제 환경에서 하늘 방향 내지 공간 또는 홀의 천장 방향으로 정렬될 수 있다. 상기 물체는 이에 상응하여 예를 들어 조명 장치, (지붕) 창문, 공간 또는 홀의 천장의 대들보일 수 있다. 이에 상응하여, 데이터베이스 내 다수의 비교 녹화물은 예를 들어 공간 또는 홀의 천장의 다양한 녹화물을 포함할 수 있다. 또는, 상기 녹화 장치는 실제 환경에서 사용자가 움직이는 공간 또는 홀의 바닥 방향으로 정렬될 수도 있다. 상기 물체는 이 경우 예를 들어 바닥에 수용된 광원(레이저, LED) 또는 화살표(예: 불이 들어오는 화살표)와 같은 표지(예를 들어 비상구 표시)일 수 있다. 일반적으로 본 개시에 따른 물체는 특수하게 표시된 물체, 예를 들어 특수하게 착색 처리가 된 물체(chroma keying)일 수 있다.
사용자에게 가상 환경의 표현을 출력하는 단계가 사용자의 머리에 고정된 디스플레이 장치에 의해 수행되는 경우, 상기 디스플레이 장치는 녹화 장치를 더 포함할 수 있다. 상기 디스플레이 장치는 사용자의 머리에 모바일 통신 장치를 고정하기 위한 고정 장치와 함께 모바일 통신 장치를 더 포함할 수 있다. 이에 따라 모바일 통신 장치의 카메라가 녹화 장치로서 사용될 수 있다. 이에 따라, 추가적인 하드웨어 부품 없이 가상 환경의 표현의 보정이 가능하게 된다. 모바일 통신 장치의 카메라로 공간 내지 홀의 천장 또는 바닥을 녹화할 수 있기 위하여 예를 들어, 잠망경 형태의 장치가 사용될 수 있는데 이 장치의 개구부는 천장 또는 바닥 쪽을 향해 정렬되고 또 다른 개구는 모바일 통신 장치의 카메라의 렌즈 쪽으로 정렬된다. 상기한 잠망경 형태의 장치 내부의 거울 내지 프리즘을 통해서 입사광선이 원래 입사 방향(제1 개구에 수직 방향)에서 원하는 출광 방향(제2 개구에 수직 방향)으로 굴절될 수 있다.
영상 정합을 단순화함으로써 요구되는 연산량을 줄이기 위하여 다수의 비교 녹화물은 2진 녹화물(binary recording)일 수 있다. 이에 상응하여, 비교 녹화물에 대한 물체의 녹화물의 회전을 파악하는 단계는, 물체의 녹화물을 물체의 2진 녹화물로 변환하는 단계 및 비교 녹화물에 대한 물체의 2진 녹화물의 회전을 파악하는 단계를 포함할 수 있다. 비교 녹화물에 대한 물체의 2진 녹화물의 회전을 파악하기 위하여 다시금 상기한 영상 정합 방법이 사용될 수 있다.
또한 비교 녹화물의 다수의 해상도는 연산량 절감을 위하여 제한될 수 있다(예를 들어, 320x240 픽셀로 제한). 이에 상응하여 방법은 물체의 녹화물의 크기를 조정하는 단계를 포함할 수 있는데, 즉, 원래 해상도가 목표 해상도로 조정된다(예를 들어, 1920x1080 픽셀은 320x240 픽셀로 조정된다). 예시한 바와 같이 목표 해상도는 원래 해상도보다 낮을 수 있다. 물체의 녹화물의 픽셀 수의 감소를 통해서 연산 시간이 절감될 수 있다.
녹화물 전체를 기준 녹화물과 비교하는 대신, 녹화물에서의 물체의 지향을 파악하고 기준 방향과 비교할 수도 있고(예를 들어, 도 9a 내지 9d를 참조하여 기재된 방법에 따라), 이를 통해 실제 환경에서의 녹화 장치의 지향을 파악할 수 있다.
이하 도 8은 본 개시의 제2 측면에 따른 가상 환경의 표현에서의 시선 방향을 조정하는 방법(800)을 도시한다.
상기 방법(800)은 상기한 바와 같이, 실제 환경에서의 알려진 물체를 녹화 장치로 녹화하는 단계(802)를 포함한다. 즉, 녹화물은 예를 들어 스틸 이미지, 동영상 또는 녹음일 수 있다. 이에 상응하여, 상기 녹화 장치는 스틸 카메라, 비디오 카메라, 녹음 장치 또는 이들의 조합을 포함할 수 있다.
상기 방법(800)은 또한 물체의 녹화물 및 가상 환경의 표현에서의 현재 시선 방향에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(804)를 포함할 수 있다. 가상 환경의 표현에서의 현재 시선 방향은 예를 들어 사용자에게 가상 환경의 표현을 출력하는 디스플레이 장치(예를 들어, HMD, HMU) 또는 가상 환경을 계산하는 컴퓨터(예를 들어 VR 시스템의 백엔드)로부터 수신될 수 있다.
이때 상기 녹화 장치는, 상기한 바와 같이, 공간적으로 사용자의 바로 가까이에 배치될 수 있다(예를 들어, 사용자의 머리에 배치된다). 물체의 녹화물로부터 실제 환경에서의 녹화 장치의 지향이 파악될 수 있고, 이는 대략 실제 환경에서의 사용자의 머리의 지향으로 간주될 수 있다. 이로부터, 가상 환경의 표현에서의 현재 시선 방향에 대한 정보를 참조하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 결정될 수 있다. 이하, 실제 환경에서의 녹화 장치의 지향을 파악하는 단계 및 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계의 몇 가지 예시를 상세히 설명한다.
상기 방법(800)은 가상 환경의 표현에서의 시선 방향을 회전 변위만큼 회전하는 단계(806)를 더 포함한다. 다시 말해서, 가상 환경의 표현에서의 시선 방향은 가상 환경의 표현의 요우축에 대한 회전에 의해서 수정되고, 회전의 방향 및 크기는 회전 변위에 의해 결정된다. 이에 따라, 가상 환경의 표현은 회전 변위만큼 수정된다. 이에 따라, 가상 환경의 표현은 실제 환경에서의 사용자의 머리의 실제 위치 및 지향에 맞게 조정될 수 있다. 따라서, 상기 방법(800)에서도 가상 환경의 표현에서의 시선 방향을 보정할 수 있다. 특히, 상기 방법(800)에서도 잘못 파악된 실제 환경에서의 지향 내지 사용자(머리)의 위치와 정렬을 파악하는데 사용되는 일반적인 센서 장치의 측정 오류에 기인하는 가상 환경의 표현에서의 시선 방향의 이동이 수정될 수 있다.
방법(100)과 마찬가지로, 일부 실시예에서 상기 방법(800)은 사용자에게 가상 환경의 표현을 출력하는 단계를 더 포함할 수 있다. 사용자에게 가상 환경의 표현을 출력하는 단계는 예를 들어 사용자의 머리에 고정되고 녹화 장치를 더 포함하는 디스플레이 장치에 의해 수행될 수 있다. 이러한 구성에서 실제 환경에서의 녹화 장치의 지향은 대략 실제 환경에서의 사용자의 머리의 지향으로 간주될 수 있다.
일부 실시예에서, 상기한 사용자의 머리에 고정된 디스플레이 장치는 모바일 통신 장치(예: 스마트폰)를 포함한다. 상기한 바와 같이, VR 시스템의 일반적인 작동 시 모바일 통신 장치에 이미 구비된 센서 장치(예를 들어, 자이로스코프, 자력계, 가속도계)가 실제 환경에서의 사용자의 머리의 지향을 파악하는데 사용될 수 있다. 모바일 통신 장치의 카메라를 녹화 장치로 사용함으로써, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 모바일 통신 장치의 센서 장치의 측정 오류에 기초하여 수정될 수 있다. 이에 따라 가상 환경의 표현의 보정을 위해서, 모바일 통신 장치에 의해 이미 구비되는 자원이 사용될 수 있다. 다시 말해서, 상기 방법(800)은 직접적으로(즉, 온라인으로) 모바일 통신 장치 상에서 수행될 수 있다. 또한, 상기 방법(800)에서도, 추가적인 하드웨어 부품 없이 가상 환경의 표현을 보정할 수 있다. 또는 예를 들어 상기 방법(800)의 일부는 모바일 통신 장치에 의해 수행되고, 방법(800)의 다른 일부, 예를 들어, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(804)는 사용자가 사용하는 VR 시스템에 이미 구비된 백엔드에 의해서 수행될 수 있다(즉, 오프라인으로). 이후, 파악된 회전 변위는 예를 들어 백엔드로부터 상기 모바일 통신 장치로 전송되어, 모바일 통신 장치가 가상 환경의 실제 표현에서의 시선 방향을 회전 변위만큼 회전시킬 수 있다. 상기한 기능성은 예를 들어 VR 시스템에 이미 존재하는 하나 이상의 소프트웨어 구성요소(예를 들어, 모바일 통신 장치용 소프트웨어 또는 백엔드용 소프트웨어)의 업데이트를 통해서 구현될 수 있다.
일부 실시예에서, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(804)는 물체의 녹화물과 기준 방향에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 단계를 포함할 수 있다(이에 대한 예시적인 방법은 뒤에서 상세히 설명한다). 기준 방향이란, 물체의 지향에 대한 지향이 알려져 있는 실제 환경에서의 방향일 수 있다. 다시 말해서, 기준 방향에 대하여 알고 있는 물체의 지향을, 실제 환경에서의 녹화 장치의 지향을 파악하는데 사용한다. 또한, 상기한 회전 변위를 파악하는 단계(804)는 실제 환경에서의 녹화 장치의 지향에 기초하여 가상 환경의 표현에서의 설정 시선 방향을 파악하는 단계를 포함할 수 있다. 예를 들어 상기 실제 환경에서의 녹화 장치의 파악된 지향은 가상 환경의 표현을 계산하는 알고리즘에 제공되어, 상기 알고리즘이 위 파악된 지향에 기초하여 가상 환경의 표현을 계산할 수 있다. 특히, 녹화 장치가 사용자의 머리에 배치된 경우, 가상 환경에서의 설정 시선 방향은 실제 환경에서의 사용자의 머리의 실제 위치 및 지향에 대응되는 가상 환경에서의 시선 방향일 수 있다. 예를 들어, 녹화 장치는 실제 환경에서의 사용자의 시선 방향에 대하여 수직으로 똑바르게 정렬될 수 있다. 이에 따라 계산된 가상 환경의 표현에서의 시선 방향은 설정 시선 방향으로 간주될 수 있다.
일부 실시예에 따르면 가상 환경의 표현에서의 설정 시선 방향 및 가상 환경의 표현에서의 현재 시선 방향으로부터, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 파악된다. 이는 예를 들어 가상 환경의 표현에서의 설정 시선 방향과 현재 시선 방향을 비교함으로써 수행될 수 있다. 다시 말해서, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 설정 시선 방향에 대하여 가상 환경의 표현에서의 현재 시선 방향이 얼마만큼 회전되었는지가 파악된다.
이하 도 9a 내지 9d에서는 예시적으로 녹화물에서의 물체의 지향 및 기준 방향에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 단계의 서로 다른 두 가지 접근에 대해 설명한다.
제1 접근을 설명하기 위하여, 도 9a에는 사용자가 움직이는 실제 환경에서의 홀의 지붕의 녹화물(900)이 도시된다. 상기 녹화물(900)은 물체의 일 예인 긴 형태의 조명 장치(910)의 일부를 나타낸다. 그러나 물체는 긴 형태의 조명장치에 한정되지 않는다. 상기 물체는 예를 들어 사용자가 움직이는, 실제 환경에서의 홀 또는 일반적으로 공간의 창문, 들보 또는 패턴일 수 있다. 상기 물체는 일반적으로 사용자의 상부에서만 수직으로 신장하는 물체일 수 있다. 이에 상응하여 상기 녹화 장치는 실제 환경에서의 사용자의 시선 방향에 대하여 수직으로 똑바르게 정렬될 수 있다. 즉, 상기 녹화 장치는 하늘 방향 내지 천장 방향으로 정렬될 수 있다. 또는, 상기 녹화 장치는 사용자가 움직이는 실제 환경에서 공간 또는 홀의 바닥 방향으로 정렬될 수도 있다. 상기 물체는 이 경우 예를 들어 바닥에 수용된 광원(레이저, LED) 또는 화살표(불이 들어오는 화살표) 등의 표지(예를 들어 비상구 표시)일 수 있다. 사용자에게 가상 환경의 표현을 출력하는 단계가 사용자의 머리에 모바일 통신 장치를 고정하는 고정 장치 외에 모바일 통신 장치를 포함하고 사용자의 머리에 고정되는 디스플레이 장치에 의해서 수행될 경우, 모바일 통신 장치의 카메라가 녹화 장치로 사용될 수 있다. 이에 따라, 추가적인 하드웨어 부품 없이 가상 환경의 표현의 보정이 가능하게 된다. 모바일 통신 장치의 카메라로 공간 내지 홀의 천장 또는 바닥을 녹화할 수 있기 위하여, 예를 들어, 잠망경 형태의 장치가 사용될 수 있는데, 상기 장치의 개구부는 천장 또는 바닥 쪽을 향해 정렬되고 또 다른 개구는 모바일 통신 장치의 카메라의 렌즈 쪽으로 정렬된다.
제1 접근에 따르면, 상기한 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는 물체의 녹화물을 물체의 2진 녹화물로 변환하는 단계를 포함한다. 녹화물(900)에 대응되는 2진 녹화물 (900')은 도 9b에 도시된다. 2진 녹화물을 생성하기 위하여, 선택적으로 예를 들어, 2진 녹화물에서의 두 가지 가능한 상태 사이의 분리에 관한 값이면서 환경에 따라 달라지는 문턱값이 파악되거나 정의될 수 있다. 또한 상기 방법은 물체의 2진 녹화물에서 물체의 후보를 인식하는 단계를 포함한다. 이는 상기 2진 녹화물(900')에서 긴 형태의 조명 장치(910)에 대응하는 영역(910')이다. 도 9b에 도시된 2진 녹화물(900')에는 물체에 대한 후보(910')가 하나만 도시되어 있지만, 생성된 녹화물에 따라 녹화물 또는 대응되는 2진 녹화물에는 두 개, 세 개, 네 개 또는 그 이상의 물체의 후보가 인식될 수 있다. 이를 위해 선택적으로 우선 후보의 크고 작은 메인축 및 초점이 각각 파악될 수 있다.
상기 방법은 물체에 대한 후보의 각각의 (선형) 편심(ｅ)을 파악하는 단계를 더 포함한다. 즉, 인식된 후보마다 편심이 파악된다. 파악된 선형 편심을 통해서, 가능한 후보가 원형에 가까운 물체인지(ｅ
Figure pct00048
0) 또는 긴 형태의 물체인지(e
Figure pct00049
1) 추정할 수 있다. 이에 따라 2진 녹화물(900')에 대해서는, 이미지에서 유일한 후보인 영역(910')의 편심이 파악된다. 상기 영역(910')이 길이가 긴 형태이기 때문에 이에 대한 편심값은 대략 1로 파악될 수 있다.
상기 방법은, 문턱값을 초과하는 편심을 가지면서, 문턱값을 초과하는 편심을 가진 물체에 대한 기타 다른 후보들의 메인축들보다 메인축의 길이가 긴 후보의 메인축의 지향을 녹화물에서의 물체의 지향으로서 파악하는 단계를 더 포함할 수 있다. 이에 따라 모든 후보에 대하여 파악된 편심을 문턱값과 비교하여, 긴 형태의 물체를 나타내는 후보를 파악한다. 이에 따라 예를 들어 상기 문턱값은 0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85 또는 0.9일 수 있다. 물체의 남은 후보 중에서 메인축 길이가 가장 긴 후보가 선택된다. 녹화물에서의 이러한 후보들의 지향은 녹화물에서의 물체의 지향으로서 파악된다.
녹화물에서의 후보의 지향은 예를 들어 보조 벡터(920)에 기초하여 파악될 수 있고, 상기 보조 벡터(920)는 사용자의 시선 방향을 똑바르게 나타낸다. 보조 벡터(920)를 사용자의 시선 방향에 똑바르게 정의함으로써, 녹화 장치의 지향을 실제 환경에서의 사용자의 지향과 실질적으로 동일한 것으로 간주할 수 있다. 이에 따라, 파악된 녹화 장치의 지향으로부터, 실제 환경에서의 사용자의 머리의 실제 위치와 지향에 대응하는 가상 환경에서의 시선 방향이 가상 환경의 표현에서의 설정 시선 방향으로서 파악될 수 있다. 이에 따라, 영역(910')에 대하여 상기 영역의 메인축의 지향(930)이 보조 벡터(920)에 대하여 89° 각도로 신장하는 것으로 파악될 수 있다. 즉, 영역(910')의 메인축은 보조 벡터(920)에 대하여 89° 회전된다. 이에 따라 영역(910')의 메인축의 지향(930)은 녹화물에서의 물체의 지향으로서 파악된다.
기준 방향에 대한 정보와 함께 녹화물에서의 물체의 지향에 기초하여 녹화 장치의 지향이 파악될 수 있다. 위에서 설명한 바와 같이, 기준 방향은, 물체의 지향에 대하여 지향이 알려진 실제 환경에서의 방향이다. 다시 말해서, 물체의 지향(정렬)은 기준 방향에 대하여 알려져 있다. 상기 기준 방향은 예를 들어 알려진 환경에 대하여 파악될 수도 있고, 또는 기준 녹화물로부터 파악될 수도 있다. 사용자가 실제 환경에서 예를 들어 바닥면이 실질적으로 직사각형 형태인 홀 내부에서 움직이는 경우 바닥면의 일 코너가 원점으로 정의될 수 있다. 원점을 기준으로 (도 2의 예시와 유사하게) 직교하는 세 개의 공간축(X, Y, 및 Z)이 정의될 수 있다. 상기한 바닥면의 코너의 원점으로부터, 예를 들어 X는 오른쪽 방향(즉, 바닥면의 제1 경계를 따라 연장됨)을 나타내고, Y는 위쪽 방향(하늘 방향)(즉, 바닥면에서 수직 위치)을 나타내고, Z는 깊이 방향(즉, 전방)을 가리킬 수 있다(즉, 실질적으로, 바닥면의 제1 경계에 직교하는 바닥면의 제2 경계를 따라 신장함). 이에 따라 단위 방향(Y)는 요우축, 즉, 요우축에 대한 회전을 통해 녹화물이 수평으로 이동된다. 기준 방향으로서 예를 들어 실질적으로 바닥면의 제2 경계를 따라 연장되는 공간축(Z)이 선택될 수 있다. 따라서, 물체의 지향, 즉, 도 9a의 경우 긴 형태의 조명 장치(910)의 지향은 기준 방향에 대하여 알려져 있다. 예를 들어 상기 긴 형태의 조명 장치(910)는 기준 방향(Z)에 직교할 수 있는데, 즉, 다르게 표현하면, 공간 방향(X)에 대하여 평행할 수 있다.
파악된 녹화물에서의 물체의 지향 및 기준 방향에 대해 알려진 녹화물의 지향으로부터 녹화 장치의 지향이 파악될 수 있다. 이에 따라 상기 예시에서는 실제 환경에서의 보조 벡터(920)의 지향이 파악된다. 이에 따라, 녹화 장치의 지향은 공간 방향(X) 및 (Z)으로부터 연장되는 평면에서 파악될 수 있다.
연산량을 절감하기 위하여, 평가 대상인 녹화물의 해상도가 제한될 수 있다(예를 들어, 320x240 픽셀로 제한된다). 이에 상응하여 상기 방법은 물체의 녹화물의 크기를 조정하는 단계를 포함하는데, 즉, 원래 해상도가 목표 해상도로 조정된다(예를 들어, 1920x1080 픽셀이 320x240 픽셀로 조정된다). 예시한 바와 같이 목표 해상도는 기존 해상도보다 낮을 수 있다. 물체의 녹화물의 픽셀 수 감소를 통해 연산 시간을 줄일 수 있다.
이하, 도 9c 및 9d에 관한 설명에서는 제2 접근에 따른, 녹화물에서의 물체의 지향 및 기준 방향에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 단계를 설명한다.
제2 접근을 설명하기 위하여, 도 9c에는 사용자가 움직이는 실제 환경에서의 홀의 지붕의 녹화물(940)이 도시된다. 상기 녹화물(900)은 물체의 일 예를 나타내는, 원형의 조명 장치(951, 952, 953)의 (선형) 배열을 나타낸다. 그러나 물체는 원형 조명장치 배열에 제한되지 않는다. 상기 물체는 예를 들어 사용자가 움직이는 실제 환경에서의 홀 또는 일반적으로 공간의 천장에 배치된 원형 조명 장치의 모든 배열일 수 있다. 상기 물체는 일반적으로 사용자의 상부에서만 수직으로 신장하는 물체일 수 있다. 또는, 녹화 장치는 실제 환경에서 사용자가 움직이는 공간 또는 홀의 바닥 방향으로 정렬될 수 있다. 즉, 상기 녹화 장치는 하늘 방향 내지 천장 방향으로 정렬될 수 있다. 이때 상기 물체는 예를 들어 바닥에 수용된 광원(레이저, LED) 또는 화살표 등의 표지일 수 있다. 이에 상응하여 상기 녹화 장치는 실제 환경에서의 사용자의 시선 방향에 똑바르게 정렬될 수 있는데, 즉, 녹화 장치는 하늘 방향(즉, 천장 방향) 또는 바닥 방향으로 정렬될 수 있다. 사용자에게 가상 환경의 표현을 출력하는 단계가 사용자의 머리에 고정된, 사용자의 머리에 모바일 통신 장치를 고정하는 고정 장치 외에 모바일 통신 장치를 포함하는 디스플레이 장치에 의해서 수행될 경우, 모바일 통신 장치의 카메라가 녹화 장치로 사용될 수 있다. 이에 따라, 추가적인 하드웨어 부품 없이 가상 환경의 표현의 보정이 가능하게 된다. 모바일 통신 장치의 카메라로 공간 내지 홀의 천장 또는 바닥을 녹화할 수 있기 위하여, 예를 들어, 잠망경 형태의 장치가 사용될 수 있는데 상기 장치의 개구부는 천장 또는 바닥 쪽을 향해 정렬되고 또 다른 개구는 모바일 통신 장치의 카메라의 렌즈 쪽으로 정렬된다.
제2 접근에 따르면, 상기한 실제 환경에서의 녹화 장치의 지향을 파악하는 단계도 물체의 녹화물을 물체의 2진 녹화물로 변환하는 단계를 포함한다. 녹화물(940)에 대응되는 2진 녹화물(940')은 도 9d에 도시된다. 2진 녹화물을 생성하기 위하여, 선택적으로 예를 들어 2진 녹화물에서의 가능한 두 가지 상태 사이의 분리에 대한 값이면서 환경에 따라 달라지는 문턱값이 결정되거나 정의될 수 있다.
또한 상기 방법은 물체의 2진 녹화물에서 원형 물체를 인식하는 단계를 포함한다. 원형 물체 각각의 반지름은 소정의 수치 범위에 포함된다. 다시 말해서, 반지름값이 제1 문턱값보다 크고 제2 문턱값보다 작은 원형 물체만 인식된다. 상기 문턱값은 사용자가 움직이는 실제 환경에 대한 정보에 기초하여 선택될 수 있다(예를 들어, 지붕의 높이, 조명 장치와 바닥 사이의 거리, 조명 장치의 치수 등). 2진 녹화물에서 원형 물체를 인식하는데 Circular Hough Transform (CHT) 기반 알고리즘 등이 사용될 수 있다. 이에 상응하여 2진 녹화물에서 녹화물(940)에서 원형 조명 장치(951, 952, 953)의 배열 구조에 대응하는 원형 물체(951', 952' 및 953')가 인식된다. 반면, 2진 녹화물(940')에서 (952') 및 (953')에 이웃하는 밝기가 밝은 영역들(952'') 및 (953'')은 원형 물체로 인식되지 않는데, 왜냐하면 이 영역들은 반지름 기준을 충족하지 않기 때문이다. 2진 녹화물(940')에서 (952') 및 (953')에 이웃한, 밝기가 밝은 영역들(952'') 및 (953'')은 녹화물(940)에서의 광학 효과(954, 955)에 대응되어 실제 환경에서의 물체를 나타내지 않는다. 따라서, 반지름 기준에 의해서 광학적 간섭 효과가 이후의 녹화 장치의 지향을 파악하는 방법에서 효과적으로 방지될 수 있다.
또한 상기 방법은 원형 물체 사이의 거리를 파악하는 단계를 포함한다. 이를 위하여 예를 들어 상기 원형 물체(951', 952', 및 953')의 중심점이 파악될 수 있고 중심점들 사이의 거리가 파악될 수 있다. 거리를 파악할 때 원형 물체 각각의 반지름이 함께 고려될 수 있다.
또한, 제2 접근에 따른 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는 원형 물체 사이의 거리에 기초하여 녹화물에서의 물체의 지향을 파악하는 단계를 포함할 수 있다. 원형 물체 사이의 거리로부터 개별적인 원형 물체 간의 사이의 관계가 파악될 수 있다. 여기서도 사용자가 움직이는 실제 환경에 대한 정보가 사용될 수 있다. 도 9c 및 9d에 도시된 예시에는 예를 들어 실제 환경에서의 원형 조명 장치(951, 952, 953)의 선형 배열 구조의 개별 조명 장치 사이의 거리 및 원형 조명 장치(951, 952, 953)의 선형 배열 구조와 원형 조명 장치의 또 다른 배열 구조(도 9c에 미도시) 사이의 거리가 사용될 수 있다. 녹화 장치에 의해 검출 가능한 실제 환경에서의 영역(예: 공간 또는 홀의 천장)의 기하학적 구조 및 구성에 대한 정보가 각각의 물체의 관계를 파악하는데 일반적으로 함께 고려될 수 있다.
도 9d에서는 원형 물체(951', 952' 및 953')의 서로에 대한 거리에 대하여, 상기 거리가 실제 환경에서의 조명 장치의 선형 배열 구조의 거리에 대응되고 원형 물체(951', 952' 및 953') 및 그에 따라 실제 환경에서의 알려진 물체를 나타내는 것으로 파악된다. 이에 상응하여, 2진 녹화물에서의 원형 물체(951', 952' 및 953')의 각각의 위치로부터 원형 물체(951', 952' 및 953')에 의해 나타나는 녹화물의 물체의 방향 벡터(970)가 파악된다. 또한, 예를 들어, 원형 물체(951', 952' 및 953')의 중심점에 맞게 직선이 조정(피팅)될 수 있다.
녹화물에서의 방향 벡터(970)의 지향(즉, 물체의 지향)도 예를 들어 사용자의 시선 방향을 똑바르게 나타내는 보조 벡터(960)에 기초하여 파악될 수 있다. 이에 따라, 방향 벡터(970)에 대하여, 물체의 지향이 보조 벡터(960)에 대해 35° 각도로 연장하는 것으로 파악될 수 있다. 즉, 방향 벡터(970)가 나타내는 원형 조명 장치(951, 952, 953)의 선형 배열구조는 보조 벡터(960)에 대하여 35°로 회전된다. 이에 따라, 방향 벡터(970)의 지향이 녹화물에서의 물체의 지향으로서 파악된다.
기준 방향에 대한 정보와 함께 녹화물에서의 물체의 지향에 기초하여 녹화 장치의 지향이 파악될 수 있다. 위에서 설명한 바와 같이, 기준 방향은, 물체의 지향에 대하여 지향이 알려진 실제 환경에서의 방향이다. 도 9b의 설명에서 예시적으로 사용된 좌표계(XYZ)를 참조하면, 기준 방향으로서 예를 들어 실질적으로 바닥면의 제2 경계를 따라 연장되는 공간축(Z)이 다시 선택될 수 있다. 물체의 지향, 즉, 이에 따라 도 9c의 예시에서 원형 조명 장치(951, 952, 953)의 선형 배열구조의 지향은 기준 방향에 대하여 알려져 있다. 예를 들어 상기 원형 조명 장치(951, 952, 953)의 선형 배열 구조는 기준 방향(Z)에 직교할 수 있는데, 즉, 달리 말하면 공간 방향(X)에 대하여 평행할 수 있다.
파악된 녹화물에서의 물체의 지향 및 기준 방향에 대해 알려진 녹화물의 지향으로부터 녹화 장치의 지향이 파악될 수 있다. 이에 따라 상기 예시에서는 실제 환경에서의 보조 벡터(960)의 지향이 파악된다. 이에 따라, 녹화 장치의 지향은 공간 방향(X) 및 (Z)으로부터 연장되는 평면에서 파악될 수 있다.
연산량을 절감하기 위하여, 평가 대상인 녹화물의 해상도가 제한될 수 있다(예를 들어, 320x240 픽셀로 제한된다). 이에 상응하여 상기 방법은 물체의 녹화물의 크기를 조정하는 단계를 포함하는데, 즉, 원래 해상도는 목표 해상도로 조정된다(예를 들어, 1920x1080 픽셀은 320x240 픽셀로 조정된다). 예시한 바와 같이 목표 해상도는 기존 해상도보다 낮을 수 있다. 물체의 녹화물의 픽셀 수 감소를 통해서 연산 시간이 줄일 수 있다.
도 9c 및 9d를 참조하여 설명한 접근에서는 녹화 장치가 사용자가 움직이는 평면에 실질적으로 직교하는 평면에서 녹화물을 생성한다는 것에 전제를 두었다. 예를 들어, 방문자가 홀에서 움직이고 녹화 장치가 홀의 천장에 대하여 실질적으로 90°보다 작은 각도에서 녹화물을 생성하는 경우를 전제로 하였다. 그러나 상기 녹화 장치는 천장에 대해 기울어져 있을 수도 있다(예를 들어, 녹화 장치가 사용자의 머리에 고정되고 이 장치가 고개를 끄덕이거나 기울이는 동작을 수행하는 경우). 이러한 경우에도 2진 녹화물에서의 원형 물체의 거리가 정확하게 파악될 수 있도록, 실제 환경에서의 녹화 장치의 알려진 위치(예를 들어 VR 시스템으로 파악한 실제 환경에서의 사용자의 위치) 외에 추가적으로 현재 측정값, 예를 들어, 가상 환경용 디스플레이 장치 및 녹화 장치로 사용되는 모바일 통신 장치의 자이로스코프 및/또는 가속도계 등이 사용될 수도 있다.
또한, 가상 환경용 디스플레이 장치 및 녹화 장치로 사용되는 모바일 통신 장치의 자이로스코프 및/또는 가속도계 등의 현재 측정값은 녹화물을 생성하기에 적절한 시점이 존재하는지 파악하는데 아주 전반적으로(즉, 본 개시의 모든 실시예에서) 사용될 수 있다. 예를 들어, 녹화장치가 측정값의 소정의 수치 범위에서만 녹화물을 생성한다는 것이 파악될 수 있다. 이를 통해 실제 환경에서의 녹화 장치의 지향으로 인해 블러 또는 기타 이미지 왜곡을 가지는 녹화물이 평가되는 것이 방지될 수 있다. 이에 따라 실제 환경에서의 녹화 장치의 지향이 틀리게 파악되고 그에 따라 가상 환경에서의 시선 방향이 틀린 회전 변위로 회전되는 것이 방지될 수 있다.
일부 실시예에서는, 녹화 장치를 포함하고 사용자의 머리에 고정된 디스플레이 장치에 의해서 사용자의 신체(예: 배, 바지의 허리 밴드)에 고정된 광원의 녹화물이 생성될 수 있다. 예를 들어, 사용자의 몸통에, 사용자의 직선 이동 방향으로(즉, 실질적으로 사용자의 시선 방향으로 똑바르게) 광선을 발광하는 레이저가 배치될 수 있다. 이에 따라 상기 광원 내지 레이저 광선이 녹화 장치에 의해 녹화되는 알려진 물체가 된다. 녹화 장치의 현재 위치 및 적어도 하나의 이전 시점의 녹화 장치의 알려진 위치로부터 실제 환경에서의 신체의 지향이 파악된다(즉, 녹화물의 시점에 대한 이동 벡터가 신체의 지향으로 간주된다). 다시 말해서, 실제 환경에서의 신체의 지향이 기준 방향의 역할을 한다. 녹화물에서의 레이저 광선의 지향으로부터 레이저 광선에 대한 녹화 장치의 지향이 파악된다. 녹화물에서의 레이저 광선의 지향은 예를 들어 도 9a 및 9b을 참조하여 설명한 방법에 따라 파악될 수 있다. 레이저 광선의 방향이 기준 방향에 대응되므로 실제 환경에서의 녹화 장치의 절대적 지향은 레이저 광선의 녹화물로부터 파악될 수 있다. 이에 상응하여 실제 환경에서의 절대적 지향으로부터 가상 환경의 표현에서의 설정 시선 방향이 파악될 수 있으므로, 이에 따라 가상 환경의 표현에서의 현재 시선 방향과의 비교를 통해서 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위가 또한 파악될 수 있다. 가상 환경의 표현에서의 시선 방향은 이후 회전 변위만큼 회전될 수 있는데, 즉, 수정될 수 있다.
도 10에는 가상 환경의 표현에서의 시선 방향을 조정하는 또 다른 방법(1000)이 도시된다.
상기 방법(1000)은 사용자의 머리에 배치된 녹화 장치로 제1 시점(t0) 및 이후의 제2 시점(t1)에 실제 환경에서 사용자의 신체에 배치된 물체를 녹화하는 단계(1002)를 포함한다. 상기 물체는 예를 들어 사용자의 신체(예를 들어 배 또는 바지 허리밴드)에 고정된 광원일 수 있다. 예를 들어, 사용자의 직선 이동 방향으로(즉, 실질적으로 사용자의 시선 방향으로 똑바르게) 레이저 광선을 발광하는 레이저가 사용자의 몸통에 배치될 수 있다.
사용자는, 머리의 횡축으로 회전하거나, 머리의 종축으로 회전하거나 그리고/또는 머리의 요우축에 대하여 회전하여 머리를 움직일 수 있다. 머리의 횡축, 종축 및 요우축은 서로 수직이다. 녹화 장치가 사용자 머리에 배치되기 때문에 녹화 장치도 머리의 횡축, 종축 및 요우축으로 움직일 수 있다.
위에서 설명한 바와 같이, 가상 환경의 표현은 사용자의 머리에 고정된 디스플레이 장치에 의해 사용자에게 출력될 수 있다. VR 시스템의 일반적인 작동 시 예를 들어 디스플레이 장치(HMD)에 구비된 센서 장치(예: 자이로스코프, 자력계, 가속도계)가 실제 환경에서의 사용자의 머리의 지향을 파악하는데 사용될 수 있다. 특히 이에 따라 머리의 요우축에 대한 머리의 회전 위치가 파악될 수 있다. 그러나 위에서 설명한 바와 같이, 구비된 센서 장치로 머리의 지향을 파악하는 경우 오류가 발생한다. 디스플레이 장치는 상기한 센서 장치 외에, 즉, 적어도 하나의 또 다른 센서 외에, 녹화 장치를 더 포함할 수 있다. 따라서, 상기한 방법(1000)은 제1 시점(t0) 및 제2 시점(t1)에 대한 물체의 녹화물 및 사용자의 머리에 고정된 적어도 하나의 또 다른 센서의 측정값에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(1004)를 더 포함한다.
가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위는 사용자의 머리의 요우축에 대한 녹화 장치의 회전 변위에 대응한다. 상기 변위는 사용자의 머리의 요우축에 대하여, 시점(t0) 및 (t1)에 대한 물체의 녹화물로부터 파악된 녹화 장치의 회전과 사용자의 머리의 요우축에 대하여, 사용자의 머리에 고정된 적어도 하나의 또다른 센서의, 시점(t0) 및 (t1) 사이의 측정값으로부터 파악된 녹화 장치의 회전을 비교함으로써 파악된다. 이에 따라, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위는, 녹화 장치의 절대 지향 또는 실제 환경에서의 사용자의 머리의 절대 지향을 파악할 필요 없이 파악될 수 있다. 그보다 머리의 요우축에 대한 녹화 장치 또는 HMD의 상대적 회전 변위를 파악하는 것으로 충분하다.
따라서, 상기 방법(1000)은 가상 환경의 표현에서의 시선 방향을 회전 변위만큼 회전하는 단계(1006)를 더 포함한다. 다시 말해서, 가상 환경의 표현에서의 시선 방향은 가상 환경의 표현의 요우축에 대한 회전에 의해 수정되고, 회전의 방향 및 크기는 회전 변위에 의해 파악된다. 이에 따라 가상 환경의 표현은 회전 변위만큼 수정된다. 이에 따라 가상 환경의 표현은 실제 환경에서의 사용자의 머리의 실제 위치 및 지향에 맞게 조정될 수 있다. 따라서, 상기 방법(1000)에 따르면, 가상 환경의 표현에서의 시선 방향을 보정할 수 있다. 특히, 상기 방법(1000)에 따르면, 틀리게 파악된 실제 환경에서의 지향 내지 사용자(머리)의 위치와 정렬을 파악하는데 일반적으로 사용되는 센서 장치의 측정 오류로부터 발생하는 가상 환경의 표현에서의 시선 방향의 이동이 수정될 수 있다.
일부 실시예에서, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(1004)는 제1 시점(t0)과 제2 시점(t1)에 대한 물체의 녹화물들에 기초하여 제1 시점(t0)과 제2 시점(t1) 사이에서의 사용자의 머리의 요우축에 대한 녹화 장치의 제1 회전을 파악하는 단계를 포함한다. 이때, 제1 시점(t0)에 대해서는 레이저 광선에 대한 녹화 장치의 지향이 제1 시점(t0)에 대한 레이저 광선의 녹화물로부터 파악된다. 예를 들어 상기 레이저광은 사용자의 직선 이동 방향으로 정렬될 수 있고 사용자가 똑바르게 바라봄으로써, 레이저 광선에 대하여 머리의 요우축에 대한 녹화 장치를 0° 돌리는 것이 레이저 광선에 대한 제1 지향으로 파악될 수 있다. 제2 시점(t1)에 대해서는 레이저 광선에 대한 녹화 장치의 지향이 제2 시점(t1)에 대한 레이저 광선의 녹화물로부터의 파악된다. 사용자가 시점(t1)에 고개를 예를 들어 측면으로 돌리면 제1 지향과 다른, 녹화물에서의 레이저광의 제2 지향, 즉, 레이저광에 대하여, 머리의 요우축에 대한 녹화 장치가 0°와 다른 각도로 돌려진다는 것이 파악된다. 녹화물에서의 레이저 광선의 지향은 예를 들어 도 9a 및 9b를 참조하여 설명한 방법에 따라 파악될 수 있다. 즉, 제1 시점(t0)에 대한 머리의 지향과 제2 시점(t1)에 대한 머리의 지향 사이의 머리의 요우축에 대한 상대적 회전 각도가 두 녹화물로부터 파악된다.
본 실시예들에서, 상기한 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(1004)는 사용자의 머리에 고정된 적어도 하나의 또 다른 센서의 측정값에 기초하여, 제1 시점(t0)과 제2 시점(t1) 사이에서의 사용자의 머리의 요우축에 대한 녹화 장치의 제2 회전을 파악하는 단계를 더 포함한다. 다시 말해서, 시점(t0) 및 (t1) 사이의 사용자의 머리에 고정된 적어도 하나의 또 다른 센서의 측정값으로부터 머리의 요우축에 대한 유효(즉, 전체) 회전이 비교값으로서 파악된다. 즉, 제1 시점(t0)의 머리의 지향과 제2 시점(t1)의 머리의 지향 사이의 머리의 요우축에 대한 상대 회전 각도가 측정값으로부터 파악된다. 그러나 디스플레이 장치의 센서 장치의 측정 오류로 인해 상기 측정값으로부터 파악된, 머리의 요우축에 대한 회전에 오류가 있을 수 있다. 상기 회전이 VR 시스템에서 가상 환경의 표현에서의 시선 방향을 파악하는데 사용되므로, 가상 환경의 표현에서의 시선 방향에도 오류가 있을 수 있는데, 즉, 가상 환경의 표현의 요우축에 대해 뒤틀어질 수 있다.
이에 따라, 본 실시예들에 따른, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(1004)는 제1 회전과 제2 회전 사이의 머리의 요우축에 대한 회전 변위를, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위로서 파악하는 단계를 더 포함한다. 다시 말해서, 제1 회전과 제2 회전 사이의 머리의 요우축에 대한 회전 변위는, 물체의 녹화물로부터 파악되는 제1 회전과 적어도 하나의 또다른 센서의 측정값으로부터 파악되는 제2 회전 사이의 차(즉, 차이)을 나타낸다. 즉, 이에 따라 디스플레이 장치(즉, HMD)의 센서 장치의 측정 오류에 기초한 사용자의 머리의 요우축에 대한 최종 회전 변위는 사용자의 신체에 배치된 물체에 대하여(예를 들어, 레이저 광선에 대하여) 디스플레이 장치의 회전을 정확하게 파악함으로써 파악된다. 따라서, 머리의 요우축에 대한 녹화 장치 또는 HMD의 상대적 회전 변위는 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위로 간주될 수 있고, 이에 따라 이는 상응하여 머리의 요우축에 대하여 녹화 장치 또는 HMD의 회전 변위만큼 수정될 수 있다.
이하, 도 11a 및 11b에는 실제 환경에서의 사용자(1000)의 이동 벡터, 실제 환경에서의 사용자(1100)의 실제 시선 방향(Vreal) 및 가상 환경의 표현에서 사용자(1100)의 머리(1102)에 배치된 적어도 하나의 또 다른 센서의 측정값으로부터 파악된 시선 방향(Vvr) 간의 관계가 예시적으로 도시된다. 도 11a 및 11b에서 사용자(1100)는 제1 시점(t0)과 이후의 제2 시점(t1) 사이에서, 두 시점(t0) 및 (t1)에 대한 위치 측정값(m(t0)) 및 (m(t1))에 의해 파악될 수 있는 이동 벡터(p)를 따라 움직인다.
도 11a는 제1 시점(t0)에 대한 상황을 나타낸다. 이 시점에서 사용자(1100)는 똑바르게 바라보는데, 다시 말해, 사용자의 이동 벡터(p) 방향으로 바라본다. 제1 시점(t0)에 대하여 사용자의 머리의 실제 지향은 사용자(1100)의 머리(1102)에 배치된 HMD(1104)에 포함된 녹화 장치에 의해 파악된다. 위에서 설명한 바와 같이, 상기 녹화 장치로 사용자(1100)의 신체(1106)에 배치된 물체(예를 들어, 광원, 레이저광을 발광하는 레이저 광원 등)의 제1 녹화물이 생성되고 그로부터 제1 시점(t0)의 물체에 대한 머리의 상대적 지향이 파악된다. 이때 사용자(1100)의 신체(1106)(예를 들어 몸통)에 대한 물체의 정렬은 알려져 있다. 예를 들어, 레이저 광선이 사용자(1100)의 직선 이동 방향을 향함으로써 레이저 광선에 대하여, 머리의 요우축에 대한 녹화 장치의 0°의 회전이 제1 지향으로 파악된다. 레이저 광선이 사용자(1100)의 직선 이동 방향으로 향해 있기 때문에, 레이저 광선의 방향이 실질적으로 사용자(1100)의 이동 벡터(p)에 대응되어, 사용자(1100)의 이동 벡터(p)에 대하여 머리의 요우축에 대한 녹화 장치의 회전(θ) 역시 알 수 있는데, 즉, 여기서는 0°의 회전이다. 이동 벡터를 알고 있으므로, 녹화 장치의 절대 지향 및 그에 따라 실제 환경에서의 사용자(1100)의 머리(1102)의 지향 역시 알 수 있다.
VR 시스템의 일반적인 작동 시 HMD(1104)에 포함되는 적어도 하나의 또다른 센서(예: 자이로스코프, 자력계, 가속도계)에 의해서 실제 환경에서의 사용자(1100)의 머리(1102)의 지향도 파악되고, 그로부터 가상 환경에서의 표현에서의 시선 방향(Vvr) 도 파악된다. 제1 시점(t0)에서는 사용자(1100)의 머리(1102)에 배치된 적어도 하나의 또 다른 센서의 측정값으로부터 파악된 실제 환경에서의 사용자(1100)의 시선 방향이 녹화물로부터 파악된 실제 환경에서의 사용자(1100)의 실제 시선 방향(Vreal)에 동일하게 된다. 이에 따라, 가상 환경의 표현에서의 시선 방향(Vvr)도 실질적으로 사용자(1100)의 이동 벡터(p)에 대응되어, 실제 환경에서의 사용자(1100)의 실제 시선 방향(Vreal)과 가상 환경의 표현에서의 시선 방향(Vvr) 사이에서 회전(
Figure pct00050
)이 실질적으로 0°로 간주될 수 있다. 다시 말해서, 가상 환경의 표현의 요우축에 대한 상기 회전 변위는 실질적으로 0°이다.
도 11b에는 제2 시점(t1)에 대한 상황이 도시된다. 제2 시점(t1)에도 사용자(1100)는 똑바로 바라보는데, 즉, 실질적으로 사용자의 이동 벡터(p) 방향으로 바라본다. 따라서, 제2 시점(t1)에 대한, 사용자의 신체(1106)에 배치된 물체(예: 레이저)의 제2 녹화물로부터 예를 들어 레이저 광선에 대하여, 머리의 요우축에 대한 녹화 장치의 0°의 회전이 제2 지향으로 다시금 파악되는데, 즉, 사용자(1100)의 이동 벡터에 대한 머리의 요우축에 대한 녹화 장치의 회전(θ)도 0°이다. 제2 시점(t1)에서, 사용자(1100)의 머리(1102)에 배치된 적어도 하나의 또 다른 센서의 측정값으로부터 파악된, 실제 환경에서의 사용자(1100)의 시선 방향이 측정 오류로 인해 제2 녹화물로부터 파악된, 실제 환경에서의 사용자(1100)의 실제 시선 방향(Vreal)과 동일하지 않다. 이에 따라 가상 환경의 표현에서의 시선 방향(Vvr)도 틀려서 실질적으로 사용자(1100)의 이동 벡터(p)에 대응되지 않으며, 이에 따라, 실제 환경에서의 사용자(1100)의 실제 시선 방향(Vreal)과 가상 환경의 표현에서의 시선 방향(Vvr) 사이에서 0°와 다른 각도의 회전(
Figure pct00051
)이 발생한다. 다시 말해서, 가상 환경의 표현의 요우축에 대한 회전 변위는 0°와 상이하다. 그 결과, 가상 환경의 표현의 요우축에 대한 0°와 상이한 회전 변위로 인하여 가상 환경에서 사용자가 실질적으로 상기 이동 벡터(p)를 따라 움직이는 것이 아니라 이에 비스듬하게 움직이게 된다. 예를 들어 사용자가 실제 환경에서 앞쪽으로 똑바르게 걷는다면, 실제 환경에서는 앞쪽으로 비스듬하게 움직이는 것이다.
가상 환경의 표현에서의 시선 방향을 수정하기 위하여 위에서 설명한 바와 같이(도 11의 설명 참조) 두 녹화물로부터 파악된 회전과 적어도 하나의 또 다른 센서의 측정값으로부터 파악된 회전 사이의, 사용자(1100)의 머리(1102)의 요우축에 대한 상대적 회전 변위가 사용될 수 있다. 또는, 이동 벡터에 대한 녹화 장치의 상대적 정렬에 대하여 알고 있는 정보에 기초하여 파악될 수 있는, 실제 환경에서의 녹화 장치(및 그에 따라 머리(1102))의 절대 지향을 사용하여 가상 환경의 표현에서의 설정 시선 방향을 파악하고, 가상 환경의 표현에서의 설정 시선 방향과 현재 시선 방향 사이의 회전 변위만큼 가상 환경의 표현에서의 시선 방향을 수정할 수 있다(즉, 가상 환경의 표현의 요우축에 대하여 회전시킨다). 이에 따라 가상 환경의 표현에서의 시선 방향을 보정할 수 있다.
전술한 설명, 이하의 청구 범위 및 첨부된 도면에 개시된 특징은 다양한 형태의 실시예에서 실시예의 실현을 위해 개별적으로는 물론 모든 조합에 있어서 의미를 가지며 개별적으로 및 조합으로서 구현될 수 있다.
몇 가지 양태가 장치와 연관되어 설명되었지만, 이들 양태들은 또한 대응하는 방법의 설명을 나타내기도 하며, 장치의 블록 또는 구성요소가 대응되는 방법 단계 또는 단계의 특징으로 이해되어야 한다는 것을 알 수 있을 것이다. 유사하게, 방법 단계와 관련하여 또는 방법 단계로서 기술된 양태들은 대응하는 장치의 블록 또는 세부사항 또는 특징의 설명을 나타낸다.
특정 구현 요건에 따라, 본 발명의 실시예들은 하드웨어 또는 소프트웨어로 구현될 수있다. 상기 구현은 플로피 디스크, DVD, Blu-Ray 디스크, CD, ROM, PROM, EPROM, EEPROM 또는 플래쉬 메모리, 하드 디스크 또는 기타 자기적 또는 광학적 메모리 등의 디지털 저장 매체를 사용하여 수행될 수 있고, 상기한 디지털 저장 매체에는, 프로그램 가능한 하드웨어 구성요소와 협력하거나 또는 각각의 방법이 수행되도록 협력할 수 있는 전자 판독 가능한 제어 신호이 저장된다.
프로그램 가능한 하드웨어 구성요소는 프로세서, 컴퓨터 프로세서(CPU = 중앙 처리 장치), 그래픽 프로세서(GPU = 그래픽 처리 장치), 컴퓨터, 컴퓨터 시스템, 주문형 집적 회로(ASIC = application-specific integrated circuit), 집적 회로(IC = integrated circuit), 원 칩 시스템(SOC = system on chip), 프로그램 가능한 논리 요소 또는 마이크로프로세서가 장착된 필드 프로그래머블 게이트 어레이(FPGA = field programmable gate array)에 의해 형성될 수 있다.
따라서, 디지털 저장 매체는 기계 판독 가능하거나 컴퓨터 판독 가능한 매체일 수 있다. 따라서, 일부 실시예는 본 명세서에 설명된 방법 중 하나가 수행되도록 프로그램 가능한 컴퓨터 시스템 또는 프로그램 가능한 하드웨어 컴포넌트와 상호 작용할 수 있는 전자 판독 가능한 제어 신호를 포함하는 데이터 캐리어를 포함한다. 따라서, 일 실시예는 여기서 설명된 방법들 중 하나를 수행하기 위한 프로그램이 기록되는 데이터 캐리어(또는 디지털 저장 매체 또는 컴퓨터 판독 가능 매체)이다.
일반적으로, 본 발명의 실시예들은 프로그램 코드를 갖는 프로그램, 펌웨어, 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품으로서 또는 데이터로서 구현될 수 있으며, 상기 프로그램코드 또는 데이터는 프로그램이 프로세서 또는 프로그램 가능한 하드웨어 구성요소 상에서 구동될 때 방법 중 하나를 수행하도록 작동한다. 프로그램 코드 또는 데이터는 또한 예를 들어 기계 판독 가능한 캐리어 또는 데이터 캐리어에 저장될 수 있다. 프로그램 코드 또는 데이터는 특히 소스 코드, 기계 코드 또는 바이트 코드뿐만 아니라 다른 중간 코드로서 이용 가능할 수 있다.
또 다른 실시예는 여기에 설명된 방법들 중 하나를 수행하기 위한 프로그램(들)을 나타내는 데이터 스트림, 신호 시퀀스 또는 신호들의 시퀀스 배열이다. 데이터 스트림, 신호 시퀀스 또는 신호들의 시퀀스 배열은 예를 들어 데이터 통신 접속을 통해, 예를 들어 인터넷 또는 기타 네트워크를 통해 전송되도록 구성될 수 있다. 따라서, 실시예들은 네트워크를 통한 전송 또는 데이터 통신 접속에 의한 전송에 적합한, 데이터를 나타내는 신호 시퀀스이며, 상기 데이터는 프로그램을 나타낸다.
예를 들어, 일 실시예에 따른 프로그램은 자신의 실행 중 저장 위치를 판독하거나 하나 이상의 데이터를 기록함으로써 방법 중 하나를 실행할 수 있으며, 이를 통해 경우에 따라 회로 단계 또는 트랜지스터 구조, 증폭기 구조, 또는 기타 전기적, 광학적, 자기적 또는 기타 다른 작동 원리에 따라 작동하는 부품에서의 기타 단계를 일으킬 수 있다. 따라서, 저장 위치를 판독함으로써 데이터, 값, 센서값 또는 기타 정보가 프로그램에 의해 검출, 파악 또는 측정될 수 있다. 따라서 프로그램은 하나 이상의 저장 위치를 판독함으로써 사이즈, 값, 측정 크기 및 기타 정보를 획득, 결정 또는 측정할 수 있고, 하나 이상의 저장 위치에 기록함으로써 특정 행위를 발생시키거나, 유도하거나 수행하고 기타 장치, 기계 및 구성요소를 제어할 수 있다.
전술한 실시예는 본 발명의 원리를 설명하기 위한 것일 뿐이다. 본 명세서에 기재된 구성 및 세부 사항의 변경 및 변형은 당업자에게 명백할 것이라는 것을 이해할 것이다. 따라서, 본 발명은 첨부된 청구항들의 범위에 의해서만 한정되고 본 명세서의 실시예들의 설명 및 설명에서 제시된 특정 세부 사항에 의해서만 한정되는 것은 아니다.

Claims (25)

  1. 가상 환경의 표현에서의 시선 방향을 조정하는 방법(100)에 있어서,
    녹화 장치로 실제 환경에서의 알려진 물체를 녹화하는 단계(102);
    물체의 녹화물, 실제 환경에서의 녹화 장치의 알려진 위치 및 가상 환경의 표현에서의 현재 시선 방향에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(104); 및
    가상 환경의 표현에서의 시선 방향을 상기 회전 변위만큼 회전하는 단계(106)를 포함하는 방법.
  2. 제1항에 있어서, 상기 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(104)는:
    물체의 녹화물과 실제 환경에서의 녹화 장치의 알려진 위치에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 단계;
    실제 환경에서의 녹화 장치의 지향에 기초하여 가상 환경의 표현에서의 설정 시선 방향을 파악하는 단계; 및
    가상 환경의 표현에서의 설정 시선 방향과 가상 환경의 표현에서의 현재 시선 방향으로부터, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계를 포함하는, 방법.
  3. 제2항에 있어서, 상기 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는 물체의 녹화물의 적어도 일부를 비교 녹화물의 적어도 일부와 일치시키는 변환을 파악하는 단계를 포함하는, 방법.
  4. 제2항에 있어서, 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는:
    녹화물에서 물체의 특징을 인식하는 단계;
    녹화물에서 특징의 위치를 파악하는 단계;
    녹화물에서의 물체의 특징에 대응되는 데이터베이스의 다수의 비교 특징들로부터 비교 특징을 확인하는 단계로서, 상기 다수의 비교 특징들에는 각각 실제 환경에서의 위치가 할당되는, 단계; 및
    실제 환경에서의 알려진 녹화 장치의 위치, 녹화물에서의 특징의 위치 및 확인된 비교 특징에 할당된 실제 환경에서의 위치에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 단계;를 포함하는 방법.
  5. 제4항에 있어서, 실제 환경에서의 녹화 장치의 지향을 파악하는 단계에서 물체의 다수의 특징이 인식되고, 상기 물체에 대하여 인식된 다수의 특징들 각각에 대해서 실제 환경에서의 녹화 장치의 지향이 파악되고, 물체에 대하여 인식된 다수의 특징들에 대하여 파악된 실제 환경에서의 녹화 장치의 지향들 중에서 품질 기준을 충족하는 지향이 실제 환경에서의 녹화 장치의 지향으로서 파악되는, 방법.
  6. 제4항 또는 제5항에 있어서, 다수의 비교 특징들은 물체의 다양한 특징들을 포함하는, 방법.
  7. 상기한 항들 중 어느 한 항에 있어서, 상기 물체는 수직 평면에 배치되는 패턴인, 방법.
  8. 상기한 항들 중 어느 한 항에 있어서, 상기 방법은 사용자에게 가상 환경의 표현을 출력하는 단계를 더 포함하고, 상기 녹화 장치는 실제 환경에서 사용자의 시선 방향에 똑바르게 정렬되는, 방법.
  9. 제2항에 있어서, 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는:
    실제 환경에서의 녹화 장치의 알려진 위치에 기초하여, 데이터베이스의 다수의 비교 녹화물 중 하나의 비교 녹화물을 파악하는 단계로서, 이때 실제 환경에서의 비교 녹화물의 지향이 알려진, 단계;
    비교 녹화물에 대한 물체의 녹화물의 회전을 파악하는 단계;
    실제 환경에서의 비교 녹화물의 지향 및 비교 녹화물에 대한 물체의 녹화물의 회전에 기초하여 실제 환경에서의 녹화 장치의 지향을 파악하는 단계;를 포함하는 방법.
  10. 제9항에 있어서, 비교 녹화물 다수는 2진(binary) 녹화물이고, 비교 녹화물에 대한 물체의 녹화물의 회전을 파악하는 단계는:
    물체의 녹화물을 물체의 2진 녹화물로 변환하는 단계; 및
    비교 녹화물에 대한 물체의 2진 녹화물의 회전을 파악하는 단계를 포함하는, 방법.
  11. 제9항 또는 제10항에 있어서, 상기 방법은 사용자에게 가상 환경의 표현을 출력하는 단계를 더 포함하고, 상기 녹화 장치는 실제 환경에서 사용자의 시선 방향에 똑바르게 수직으로 정렬되는, 방법.
  12. 제11항에 있어서, 상기 물체는 사용자의 상부에서만 또는 하부에서만 수직으로 신장하는, 방법.
  13. 제8항, 제11항 또는 제12항에 있어서, 사용자에게 가상 환경의 표현을 출력하는 단계는 사용자의 머리에 고정된 디스플레이 장치에 의해서 수행되고, 상기 디스플레이 장치는 녹화 장치를 더 포함하는, 방법.
  14. 제13항에 있어서, 상기 디스플레이 장치는 모바일 통신 장치를 포함하고, 상기 녹화 장치는 모바일 통신 장치의 카메라인, 방법.
  15. 가상 환경의 표현에서의 시선 방향을 조정하는 방법(800)에 있어서,
    녹화 장치로 실제 환경에서의 알려진 물체를 녹화하는 단계(802);
    물체의 녹화물과 가상 환경의 표현에서의 현재 시선 방향에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(804); 및
    가상 환경의 표현에서의 시선 방향을 상기 회전 변위만큼 회전하는 단계(806);를 포함하는, 방법.
  16. 제15항에 있어서, 상기 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(804)는:
    녹화물에서의 물체의 지향과 기준 방향에 기초하여, 실제 환경에서의 녹화 장치의 지향을 파악하는 단계;
    실제 환경에서의 녹화 장치의 지향에 기초하여 가상 환경의 표현에서의 설정 시선 방향을 파악하는 단계; 및
    가상 환경의 표현에서의 설정 시선 방향과 가상 환경의 표현에서의 현재 시선 방향으로부터 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계를 포함하는, 방법.
  17. 제16항에 있어서, 상기 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는:
    물체의 녹화물을 물체의 2진 녹화물(900')로 변환하는 단계;
    물체의 2진 녹화물(900')에서 물체에 대한 후보(910')를 인식하는 단계;
    물체에 대한 후보(910') 각각의 편심을 파악하는 단계; 및
    문턱값을 초과하는 편심을 가지면서, 문턱값을 초과하는 편심을 가진 물체에 대한 기타 다른 후보들의 메인축들보다 메인축의 길이가 긴 후보의 메인축의 지향을 녹화물에서의 물체의 지향으로서 파악하는 단계;를 포함하는 방법.
  18. 제16항에 있어서, 상기 실제 환경에서의 녹화 장치의 지향을 파악하는 단계는:
    물체의 녹화물을 물체의 2진 녹화물(940')로 변환하는 단계;
    물체의 2진 녹화물(900')에서 원형 물체(951', 952', 953')를 인식하는 단계로, 원형 물체 각각의 반지름은 소정의 범위에 포함되는, 단계;
    원형 물체(951', 952', 953') 간의 거리를 파악하는 단계;
    원형 물체(951', 952', 953')간의 거리에 기초하여 녹화물에서의 물체의 지향을 파악하는 단계;를 포함하는 방법.
  19. 제15항 내지 제18항 중 어느 한 항에 있어서, 상기 방법은 사용자에게 가상 환경의 표현을 출력하는 단계를 더 포함하고, 상기 녹화 장치는 실제 환경에서 사용자의 시선 방향에 똑바르게 수직으로 정렬되는, 방법.
  20. 제19항에 있어서, 상기 물체는 사용자의 상부에서만 또는 사용자의 하부에서만 수직으로 신장하는, 방법.
  21. 제19항 또는 제20항에 있어서, 상기 사용자에게 가상 환경의 표현을 출력하는 단계는 사용자의 머리에 고정된 디스플레이 장치에 의해서 수행되고, 상기 디스플레이 장치는 녹화 장치를 더 포함하는, 방법.
  22. 제21항에 있어서, 상기 디스플레이 장치는 모바일 통신 장치를 포함하고, 상기 녹화 장치는 모바일 통신 장치의 카메라인, 방법.
  23. 가상 환경의 표현에서의 시선 방향을 조정하는 방법(1000)에 있어서,
    제1 시점 및 이보다 이후의 제2 시점에서 사용자의 머리에 배치된 녹화 장치로 실제 환경에서 사용자의 신체에 배치된 물체를 녹화하는 단계(1002);
    상기 제1 시점 및 상기 제2 시점의 물체의 녹화물 및 사용자의 머리에 고정된 적어도 하나의 또다른 센서의 측정값에 기초하여, 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(1004); 및
    가상 환경의 표현에서의 시선 방향을 상기 회전 변위만큼 회전하는 단계(1006);를 포함하는 방법.
  24. 제23항에 있어서, 상기 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위를 파악하는 단계(1004)는:
    상기 제1 시점 및 제2 시점의 물체의 녹화물에 기초하여, 상기 제1 시점 및 제2 시점 사이에서의 사용자의 머리의 요우축에 대한 녹화 장치의 제1 회전을 파악하는 단계;
    사용자의 머리에 고정된 적어도 하나의 또 다른 센서의 측정값에 기초하여, 상기 제1 시점 및 제2 시점 사이에서의 사용자의 머리의 요우축에 대한 녹화 장치의 제2 회전을 파악하는 단계;
    상기 제1 회전과 제2 회전 사이의 회전 변위를 가상 환경의 표현의 요우축에 대한 가상 환경의 표현에서의 시선 방향의 회전 변위로 파악하는 단계;를 포함하는 방법.
  25. 제23항 또는 제24항에 있어서, 상기 방법은 사용자의 머리에 고정된 디스플레이 장치에 의해 사용자에게 가상 환경의 표현을 출력하는 단계를 더 포함하고, 상기 디스플레이 장치는 상기 적어도 하나의 또 다른 센서로서 녹화 장치를 더 포함하는, 방법.
KR1020187035912A 2016-05-18 2017-04-27 가상 환경의 표현에서의 시선 방향을 조정하는 방법 KR102184619B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016109153.7 2016-05-18
DE102016109153.7A DE102016109153A1 (de) 2016-05-18 2016-05-18 Verfahren zum einstellen einer blickrichtung in einer darstellung einer virtuellen umgebung
PCT/EP2017/060088 WO2017198441A1 (de) 2016-05-18 2017-04-27 Verfahren zum einstellen einer blickrichtung in einer darstellung einer virtuellen umgebung

Publications (2)

Publication Number Publication Date
KR20190005222A true KR20190005222A (ko) 2019-01-15
KR102184619B1 KR102184619B1 (ko) 2020-11-30

Family

ID=58692475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187035912A KR102184619B1 (ko) 2016-05-18 2017-04-27 가상 환경의 표현에서의 시선 방향을 조정하는 방법

Country Status (8)

Country Link
US (1) US10885663B2 (ko)
EP (1) EP3458935A1 (ko)
JP (1) JP6676785B2 (ko)
KR (1) KR102184619B1 (ko)
CN (1) CN109313488A (ko)
CA (1) CA3022914A1 (ko)
DE (1) DE102016109153A1 (ko)
WO (1) WO2017198441A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6944863B2 (ja) * 2017-12-12 2021-10-06 株式会社ソニー・インタラクティブエンタテインメント 画像補正装置、画像補正方法およびプログラム
US11054638B2 (en) * 2018-06-13 2021-07-06 Reavire, Inc. Tracking pointing direction of device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344018A (ja) * 2003-04-04 2003-12-03 Canon Inc 画像処理装置およびその方法並びにプログラム、記憶媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005050189A (ja) * 2003-07-30 2005-02-24 Canon Inc 画像処理装置およびその方法並びにプログラムコード、記憶媒体
CN100410622C (zh) * 2004-05-14 2008-08-13 佳能株式会社 用于获得目标物体的位置和方位的信息处理方法和设备
JP2008033837A (ja) * 2006-07-31 2008-02-14 Sanyo Electric Co Ltd 点検システム及び誤差補正プログラム
FR2915568B1 (fr) * 2007-04-25 2009-07-31 Commissariat Energie Atomique Procede et dispositif de detection d'un axe de rotation sensiblement invariant
US9013617B2 (en) * 2012-10-12 2015-04-21 Qualcomm Incorporated Gyroscope conditioning and gyro-camera alignment
US9677840B2 (en) * 2014-03-14 2017-06-13 Lineweight Llc Augmented reality simulator
CN105023294B (zh) * 2015-07-13 2018-01-19 中国传媒大学 结合传感器与Unity3D的定点移动增强现实方法
CN105044915A (zh) * 2015-09-02 2015-11-11 大连麒美数字科技有限公司 一种利用头戴显示器实现影片互动的控制方法
US10723022B2 (en) * 2016-09-16 2020-07-28 Carbon Robotics, Inc. System and calibration, registration, and training methods

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003344018A (ja) * 2003-04-04 2003-12-03 Canon Inc 画像処理装置およびその方法並びにプログラム、記憶媒体

Also Published As

Publication number Publication date
US10885663B2 (en) 2021-01-05
CN109313488A (zh) 2019-02-05
EP3458935A1 (de) 2019-03-27
KR102184619B1 (ko) 2020-11-30
JP6676785B2 (ja) 2020-04-08
JP2019519842A (ja) 2019-07-11
DE102016109153A1 (de) 2017-11-23
WO2017198441A1 (de) 2017-11-23
CA3022914A1 (en) 2017-11-23
US20190180471A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
US10650546B2 (en) Method of providing a descriptor for at least one feature of an image and method of matching features
US10380763B2 (en) Hybrid corner and edge-based tracking
KR101725478B1 (ko) 3d 점군 인식 기반의 증강 현실 출력 방법과 이를 수행하기 위한 장치 및 시스템
US9947098B2 (en) Augmenting a depth map representation with a reflectivity map representation
US9491441B2 (en) Method to extend laser depth map range
US11100719B2 (en) Method and apparatus for overlaying a reproduction of a real scene with virtual image and audio data, and a mobile device
US20140253679A1 (en) Depth measurement quality enhancement
US10634918B2 (en) Internal edge verification
CN110363061B (zh) 计算机可读介质、训练对象检测算法的方法及显示装置
US20120219177A1 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US10621787B2 (en) Method and apparatus for overlaying a picture of a real scene with a virtual image, and mobile device
KR102184619B1 (ko) 가상 환경의 표현에서의 시선 방향을 조정하는 방법
EP3910451A1 (en) Display systems and methods for aligning different tracking means
US20210343040A1 (en) Object tracking

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant