KR20190006553A - 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 - Google Patents
사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 Download PDFInfo
- Publication number
- KR20190006553A KR20190006553A KR1020187036375A KR20187036375A KR20190006553A KR 20190006553 A KR20190006553 A KR 20190006553A KR 1020187036375 A KR1020187036375 A KR 1020187036375A KR 20187036375 A KR20187036375 A KR 20187036375A KR 20190006553 A KR20190006553 A KR 20190006553A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- user behavior
- data
- vrs
- reference object
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000004590 computer program Methods 0.000 title description 9
- 230000006399 behavior Effects 0.000 claims description 220
- 230000003993 interaction Effects 0.000 claims description 26
- 210000003128 head Anatomy 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 14
- 230000000007 visual effect Effects 0.000 claims description 13
- 230000008929 regeneration Effects 0.000 claims description 11
- 238000011069 regeneration method Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 11
- 239000011521 glass Substances 0.000 claims description 9
- 210000000744 eyelid Anatomy 0.000 claims description 7
- 210000001747 pupil Anatomy 0.000 claims description 7
- 230000003542 behavioural effect Effects 0.000 claims description 6
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000008921 facial expression Effects 0.000 claims description 5
- 230000001149 cognitive effect Effects 0.000 claims description 3
- 230000002996 emotional effect Effects 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 2
- 230000003862 health status Effects 0.000 claims 1
- 238000012545 processing Methods 0.000 description 13
- 238000011160 research Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000012549 training Methods 0.000 description 5
- 238000012546 transfer Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 2
- 230000008676 import Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000037007 arousal Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Abstract
적어도 하나의 기준 객체(VRS)에 관한 사용자의 사용자 거동에 관한 정보를 네트워크(12)를 통해 제1 디바이스(14)로부터 제2 디바이스(16)로 제공하기 위한 시스템 및 방법으로서, 제1 디바이스(14)는 사용자와 연관되고, 제1 디바이스(14) 및 제2 디바이스(16)는 각각 적어도 하나의 기준 객체(VRS)를 기술하는 기준 데이터(VRD)를 포함한다. 제1 디바이스(14)는 적어도 하나의 기준 객체(VRS)에 대한 적어도 하나의 사용자 거동 특성을 캡처하는 눈 추적 디바이스(20a, 20b)를 포함하고, 캡처된 적어도 하나의 사용자 거동 특성은 사용자 거동 데이터(UD)의 형태로 제공되고, 이는 네트워크(12)를 통해 제1 디바이스(14)로부터 제2 디바이스(16)로 전송된다. 제2 디바이스(16)는 전송된 사용자 거동 데이터(UD)를 제2 디바이스(16)에 의해 포함된 기준 데이터(VRD)와 조합하고, 그럼으로써 적어도 하나의 기준 객체(VRS)에 대한 사용자 거동에 관한 정보를 제2 디바이스(16) 상에 제공한다.
Description
본 발명은 제1 디바이스로부터 제2 디바이스로 네트워크를 통해 적어도 하나의 기준 객체, 특히 가상 기준 객체에 관해 사용자의 사용자 거동에 관한 정보를 제공하기 위한 방법에 관한 것이며, 여기서 제1 디바이스는 사용자와 연관된다. 본 발명은 또한 사용자 거동에 관한 정보를 제공하기 위한 시스템뿐만 아니라 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품에 관한 것이다.
본 발명은 특히 가상 현실 및 눈 추적 시스템의 분야에서 적용된다. 가상 현실은 유리하게는 매우 다양한 상이한 응용에 사용될 수 있다. 게임 및 엔터테인먼트 이외에, 특히 눈 추적과 조합된 가상 현실은 또한 시장 조사, 과학 연구, 사람의 훈련 등에 사용될 수 있다. 예를 들어, 눈 추적 데이터는 유리하게는 현재 가상 환경을 경험하고 있는 사용자가 이 가상 환경 내에서 어디를 보고 있는지에 관한 정보를 제공할 수 있다. 따라서, 예를 들어 시장 조사를 위해 눈 추적과 조합된 가상 환경을 사용하여 가상 환경, 예컨대 가상 슈퍼마켓 내의 가상 객체들로서 제시되는, 예를 들어, 어떤 객체들이 사용자의 주의를 더 많이 또는 더 적게 끄는지 분석할 수 있다. 또한, 가상 환경과 눈 추적의 조합은, 예를 들어, 비행 시뮬레이터 또는 차량 시뮬레이터의 형태로, 예를 들어, 가상 훈련 상황을 시뮬레이션함으로써, 그리고 사용자가 정확한 객체들 또는 중요한 기구들을 보았는지, 또는 주의를 기울였는지 또는 피로한지 등을 분석하기 위해 캡처된 눈 추적 데이터를 사용함으로써 훈련 목적으로 사용될 수 있다. 특히 그러한 상황에서, 사용자의 거동 및 가상 환경과의 사용자 상호작용을 관찰하거나 분석하기를 원하는, 관찰자, 교사 또는 상사 등과 같은 제3자와 그러한 가상 현실 사용자 경험을 공유하거나, 현재 가상 환경을 경험하고 있는 사용자에 대한 지시, 충고 또는 추천들을 제공하는 것이 매우 바람직할 수 있지만, 이는 사용자에게 제시되는 각각의 가상 장면 이미지의 장면 데이터를 사용자들이 가상 환경을 경험하고 있는 제1 디바이스로부터 각각의 가상 장면 이미지에 대한 연관된 시선 데이터와 함께 교사 또는 관찰자와 연관되는 제2 디바이스로 전송할 것을 요구할 것이다. 그러나, 그것에 대한 문제점은 그러한 가상 현실 장면과 연관된 다량의 데이터이다. 따라서, 이 사용자에게 연관된 디바이스에 의해 제시되는 가상 현실을 이용한 사용자의 경험이나 인식이 제3자뿐만 아니라, 예컨대, 관련 원격 장치 상에서, 예를 들어, 인터넷을 통해, 이용하게 될 경우, 다량의 데이터가 전달되어야 할 것이고, 이는 큰 대역폭 및/또는 많은 시간을 필요로 할 것이다. 특히 제한된 이용가능 대역폭들로 인해, 가상 장면에 대한 사용자의 실시간 관찰 또는 사용자의 그러한 가상 현실 세션을 실시간으로 원격 제3자와 공유하는 것은 완전히 불가능할 것이다.
따라서, 본 발명의 목적은 이는 제1 디바이스로부터 제2 디바이스로 네트워크를 통해, 적어도 하나의 기준 객체, 특히 가상 기준 객체에 관한 사용자의 사용자 거동에 관한 정보를 더 효과적이거나 유연한 방식으로 제공할 수 있게 하는, 방법, 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품을 제공하는 것이다.
이러한 목적은 각각의 독립 청구항들의 특징들을 갖는 방법, 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품에 의해 해결된다. 본 발명의 유리한 실시예들이 종속항들, 바람직한 실시예들의 설명뿐만 아니라 도면들에 제시된다.
본 발명에 따른 방법에 따르면, 네트워크를 통해 제1 디바이스로부터 제2 디바이스로 적어도 하나의 기준 객체, 특히 가상 기준 객체에 관해 사용자의 사용자 거동에 관한 정보를 제공하기 위하여 - 상기 제1 디바이스는 상기 사용자와 연관됨 -, 제1 디바이스 및 상기 제2 디바이스는 각각 적어도 하나의 기준 객체를 기술하는 기준 데이터를 포함한다. 또한, 제1 디바이스는 적어도 하나의 기준 객체에 대해 적어도 하나의 사용자 거동 특성을 캡처하는 눈 추적 디바이스를 포함하는 캡처 디바이스를 포함하고, 캡처된 적어도 하나의 사용자 거동 특성은 제1 디바이스에 의해 사용자 거동 데이터의 형태로 제공된다. 또한, 제공된 사용자 거동 데이터는 네트워크를 통해 제1 디바이스로부터 제2 디바이스로 전송되고, 제2 디바이스는 전송된 사용자 거동 데이터를 제2 디바이스에 의해 포함된 기준 데이터와 조합하고, 그럼으로써 제2 디바이스 상의 적어도 하나의 기준 객체에 대한 사용자 거동에 관한 정보를 제공한다.
본 발명의 주요 이점은 사용자의 관점 또는 시선 지점과 같은 사용자 거동 특성이 적어도 객체에 대해 캡처된다는 것이다. 이는 사용자 거동 데이터와 대응하는 기준 데이터 사이의 정확한 매칭을 허용하여, 사용자 거동 데이터가 기준 데이터에 독립적으로 제2 디바이스로 전송될 수 있게 한다. 따라서, 사용자 거동 특성이 적어도 하나의 객체에 대해 캡처됨에 따라, 사용자 거동 데이터는 캡처된 사용자 거동 특성과 적어도 하나의 객체 사이의 관계를 기술하는 참조 사항을 암시적으로 또는 명시적으로 포함한다. 이러한 참조는 유리하게는 전송된 사용자 거동 데이터와 제2 디바이스 상의 적어도 하나의 객체를 기술하는 기준 데이터 사이의 정확한 관계를 재생성하는 데 사용될 수 있다. 그러한 참조는 예를 들어, 공통 기준 좌표계에 의해 제공될 수 있는데, 여기서 예컨대 3D 디지털 가상 장면이 특히 제1 디바이스 뿐만 아니라 제2 디바이스 상에서 각자의 기준 데이터의 형태로 정의된다. 가상 장면의 이미지가 제1 디바이스에 의해 사용자에게 제시될 때, 사용자의 시점 및/또는 그의 시선 지점 또는 다른 사용자 특성들은 이러한 디스플레이된 가상 장면 이미지와 관련하여 캡처될 수 있고 정의된 공통 기준 좌표계에 대해 정의될 수 있다. 시선 데이터, 예컨대 이 기준 좌표계에서 정의되는 사용자의 시점 및/또는 시선 지점이 이어서 제2 디바이스로 전송될 수 있다. 이어서, 제2 디바이스는 제2 디바이스에 의해 포함되는 기준 데이터에 기초하여 3D 가상 장면 내의 사용자의 시점 및/또는 시선 지점을 정확하게 재구성할 수 있고, 이는 동일한 기준 좌표계에 기초하여 이러한 3D 가상 장면을 기술한다. 따라서, 전송된 사용자 거동 데이터는 암묵적으로 사용자 거동 특성이 이러한 공통 기준 좌표계에 기초하여 캡처된다는 사실로 인해 참조를 포함하며, 공통 기준 좌표계에서 제1 디바이스뿐만 아니라 제2 디바이스에 의해 포함된 기준 데이터에 의해 기술된 가상 장면 - 또는 일반적으로 적어도 하나의 객체 -이 정의된다. 사용자 거동 데이터에는 또한, 예를 들어, 명시적 공간 및/또는 시간적 마킹 형태의 명시적 참조가 제공될 수 있다. 예를 들어, 비디오 스트림이 제1 디바이스에 의해 사용자에게 디스플레이되는 경우, 비디오 스트림을 디스플레이하는 동안, 시선 지점들 및/또는 시점들과 같은 사용자 거동 특성들이 캡처되고 대응하는 타임 스탬프들을 제공받는데, 이는 각각의 캡처된 사용자 특성을 비디오 스트림의 소정 이미지와 일시적으로 상관시킨다. 이어서, 사용자 거동 특성들 및 대응하는 타임 스탬프들은 사용자 거동 데이터의 형태로 제2 디바이스로 전송될 수 있고,
이는 또한 도시된 비디오를 기준 데이터의 형태로 포함하고, 제2 디바이스는, 전송된 사용자 거동 데이터를 대응하는 기준 데이터, 즉 비디오의 대응하는 이미지들과, 타임 스탬프들에 기초하여 조합할 수 있다.
유리하게는, 가상 현실 장면 또는 시나리오와 같은, 적어도 하나의 기준 객체를 기술하는 기준 데이터는 사용자 거동 데이터의 전송에 독립적으로 제2 디바이스 상에 제공될 수 있고, 여전히 사용자 거동 데이터와 기준 데이터 사이의 정확한 매칭은 적어도 하나의 객체에 관해 사용자 거동을 재구성하는 것이 가능하다. 결과적으로, 기준 데이터는, 적어도 동시는 아니지만, 예컨대 사전적 또는 사후적으로, 제1 디바이스로부터 제2 디바이스로 사용자 거동 데이터와 함께 전송될 필요가 없거나 또는 심지어 제1 디바이스와는 상이한 데이터 소스로부터 도출될 필요가 없다. 따라서, 제2 디바이스 상의 적어도 하나의 기준 객체에 관한 사용자 거동에 관한 정보를 제공할 때, 적어도 하나의 기준 객체에 대한 적어도 하나의 사용자 거동 특성을 기술하는 사용자 거동 데이터만이 제1 디바이스로부터 제2 디바이스로 전송될 필요가 있고, 따라서 제1 디바이스로부터 제2 디바이스로 전송될 데이터의 양은 최소로 감소될 수 있다. 따라서, 적어도 하나의 기준 객체에 대한 사용자 거동에 관한 정보를 제공할 때, 제1 디바이스로부터 제2 디바이스로의 데이터 전송은 알려진 선험이 아닌 데이터, 즉, 사용자 거동을 기술하는 데이터에 제한될 수 있는 반면, 알려진 컴포넌트는 가상 환경 자체이므로 제2 디바이스 상에 별도로 제공될 수 있고, 따라서 그러한 가상 환경에 관련된 데이터의 전송이 회피될 수 있다.
따라서, 제2 디바이스에는 기준 데이터 및 사용자 거동 데이터가 별도로 그리고 독립적으로 제공될 수 있는데, 예컨대, 기준 데이터는 제1 디바이스로부터 제2 디바이스로의 사용자 거동 데이터의 캡처 또는 전송의 시작 전에 제2 디바이스 상에 제공될 수 있다. 이는 매우 유리한데, 그 이유는 이것이 제2 디바이스 상의 적어도 하나의 객체에 관한 사용자 거동의 실시간 또는 가까운 시간의 재구성을 가능하게 하기 때문이며, 사용자 거동 데이터만이 전송되어야 하기 때문인데, 이는 실시간으로 또는 가까운 시간에 제2 디바이스 상의 데이터를 제공하기 위해 큰 대역폭을 필요로 하지 않는다. 또한, 제1 및 제2 디바이스에는, 예컨대 브로드캐스트의 형태와 같이, 예컨대 콘텐츠 제공자로부터 독립적으로 그리고 개별적으로 기준 데이터가 제공될 수 있다. 따라서, 예를 들어, 제2 디바이스에는 이들 기준 데이터를 제1 디바이스로부터 제2 디바이스로 직접 또는 간접적으로 전송할 필요 없이, 기준 데이터가 제공될 수 있다. 한편, 이들 기준 데이터를 제1 디바이스로부터 제2 디바이스로, 특히 피어 투 피어(peer to peer)로 전송하기 위해 제2 디바이스 상의 기준 데이터를 제공하는 것이 또한 가능하다. 이러한 경우에 여전히 많은 양의 데이터가 전송되어야 하지만, 이점은 기준 데이터의 전송이 여전히 사용자 거동 데이터의 전송과는 독립적으로 제공될 수 있고, 그럼으로써 훨씬 더 많은 유연성을 제공한다는 점이다. 예를 들어, 이미 위에서 설명된 바와 같이, 제1 디바이스와 연관된 사용자가 가상 현실 세션을 시작하기 전에 기준 데이터가 제1 디바이스로부터 제2 디바이스로 전송되는 경우, 제2 디바이스 상의 이러한 가상 현실 세션의 재구성은 여전히 실시간으로 또는 가까운 시간에 수행될 수 있는데, 그 이유는 그러한 세션의 스탯의 그 순간에, 기준 데이터는 이미 제2 디바이스에 존재하고 제2 디바이스에 저장되어 있으며, 단지 사용자 거동 데이터만이 실시간으로 또는 가까운 시간 내에 전송되면 되기 때문이다.
캡처된 사용자 거동 특성은 예를 들어 적어도 하나의 기준 객체에 대한 사용자의 시선 방향 또는 시선 지점일 수 있다. 추가적으로 또는 대안적으로, 캡처가능한 사용자 거동 특성들은 나중에 더 상세히 설명된다. 그러나, 적어도 하나의 사용자 거동 특성으로서 사용자의 시선 방향 및/또는 시선 지점을 캡처하는 것은 몇 가지 큰 이점들을 갖는다. 우선, 사용자의 그러한 시선 데이터로부터, 사용자의 현재 상태에 관한 추가 정보가 도출될 수 있는데, 예를 들어 사용자가 주의하고 있는지 아닌지 여부가 도출될 수 있다. 더욱이, 시선 방향 및 시선 지점들은 가상 훈련 애플리케이션들 또는 연구들의 경우에 특히 이점들이다. 예를 들어, 적어도 하나의 객체로서, 가상 비행 시뮬레이터 또는 운전 시뮬레이터와 같은 가상 훈련 환경은 사용자에게 제시될 수 있고, 가상 훈련 환경에 대한 사용자의 시선 방향 및/또는 시선 지점들을 캡처하는 것에 의해, 사용자가 훈련 환경 내의 소정의 중요한 객체들 또는 기구들에 충분한 주의를 기울이고 있는지 여부를 관찰하고 분석할 수 있다. 또한, 예컨대 소비자 연구의 경우에, 어떤 사람이 관심을 갖는지, 예컨대, 가상 슈퍼마켓 내에서, 어떤 객체들이 사용자의 주의를 더 많이 또는 더 적게 끄는지에 따라, 그러한 가상 객체들에 대한 사용자의 시선 방향 및/또는 시선 지점들을 캡처함으로써, 사용자가 다른 것들보다 더 자주 본 가상 환경의 객체들이 무엇인지 결정할 수 있다. 본 발명에 의해, 이제 원격 위치로부터 그러한 사용자 거동 관찰 및 분석을 수행할 수 있는데, 이는 본 발명이 유리하게는 매우 효과적인 방식으로 제2 디바이스 상의 적어도 하나의 객체에 대한 사용자 거동에 관한 정보를 제공하는 것을 가능하게 하고, 그럼으로써, 데이터 전송에 대한 요구되는 대역폭을 감소시키기 때문이고, 유리하게는 단지 사용자 거동 데이터만이 제1 디바이스로부터 제2 디바이스로 전송되어야 하지만, 제2 디바이스 상에 이미 선험적으로 제공될 수 있는 적어도 하나의 객체를 기술하는 기준 데이터는 전송될 필요가 없기 때문이다.
바람직하게는, 제1 디바이스와 제2 디바이스 사이의 데이터 전송은 무선으로 수행된다. 또한, 네트워크는 바람직하게는 인터넷이다. 제1 디바이스는, 예를 들어, 적어도 하나의 객체 또는 또한 가상 현실 장면을 사용자에게 디스플레이하기 위한 바람직하게는 디스플레이 디바이스를 포함하는 임의의 종류의 컴퓨팅 디바이스일 수 있다. 예를 들어, 제1 디바이스는, 디스플레이된 가상 현실과 같이, 적어도 하나의 객체에 대한 사용자의 머리 움직임들 및/또는 시선 방향들 및/또는 시선 지점들과 같은 사용자 거동 특성들을 캡처하기 위한 통합형 캡처 디바이스를 구비한 모바일 헤드 마운트 디스플레이일 수 있다.
또한, 제2 디바이스는 일반적으로 임의의 종류의 컴퓨팅 디바이스일 수 있다. 특히, 제2 디바이스는 또한 제2 사용자와 연관될 수 있고, 예를 들어 모바일 통신 디바이스 또는 특히 모니터 같은 디스플레이 디바이스를 포함하는 일반적인 컴퓨터로서, 전송된 사용자 거동 데이터와 기준 데이터의 조합의 결과를 표시하도록 제공될 수 있다. 제2 디바이스는 또한 인터넷 서버 또는 클라우드 서버로서 제공될 수 있으며, 이는 전송된 사용자 거동 데이터를 기준 데이터와 조합하고, 이어서 제3 디바이스에 의한 검색에 대한 결과를 네트워크를 통해 제공하며, 여기서 제3 디바이스는 예를 들어 또한 제2 사용자와 연관될 수 있다. 이 경우에, 제2 디바이스는 디스플레이 디바이스를 포함할 필요는 없고, 전송된 사용자 거동 데이터와 기준 데이터의 조합을 수행하고 특히 적어도 하나의 객체에 관해 사용자 거동의 재구성을 수행하기 위한 프로세싱 유닛과 같은 계산 수단만을 포함한다. 대신에, 제3 디바이스는 이어서 제2 디바이스로부터 검색된 결과들을 표시하기 위한 디스플레이 디바이스를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 적어도 하나의 기준 객체는 일반적으로 기준 시스템, 특히 기준 좌표계, 디지털 가상 객체 또는 비디오 시퀀스 중 적어도 하나이다. 바람직하게는, 적어도 하나의 기준 객체는 적어도 하나의 디지털 장면, 특히 제1 디바이스에 의해 사용자에게 디스플레이되는 디지털 가상 장면 이미지들의 스트림이다. 이 경우에, 기준 데이터는 바람직하게는 가상 장면의 장면 모델을 기술한다. 장면 이미지는 소정 시야 또는 가상 시점으로부터 장면을 제시한다. 또한, 가상 장면은 바람직하게는 제1 디바이스에 의해 3D 이미지, 특히 3D 이미지들의 연속 스트림으로서 디스플레이된다.
따라서, 예를 들어, 공통 기준 좌표계는 제1 디바이스 상의 기준 데이터뿐만 아니라 제2 디바이스 상의 기준 데이터에 의해 정의될 수 있고, 이어서 사용자 거동 특성은 제1 디바이스에 의해 이러한 정의된 기준 좌표계에 대해 캡처될 수 있고 제2 디바이스로 전송될 수 있다. 이들 전송된 사용자 거동 데이터를 기준 데이터와 조합함으로써, 제2 디바이스는 동일한 정의된 기초 기준 좌표계에 대해 사용자 거동 특성을 재구성할 수 있다. 또한, 유사하게, 가상 장면의 장면 모델이 제1 디바이스뿐만 아니라 제2 디바이스 상에 제공될 수 있다. 그러한 장면 모델은 복수의 가상 객체들, 특히 가상 공간 내의 그것들의 외양 및 위치, 객체들의 색상 및/또는 표면 특성, 표면의 반사 특성, 텍스처, 및 애니메이션을 기술할 수 있으며, 애니메이션은 예컨대 그것들의 위치 및/또는 외관에 관한 가상 객체들의 시간적 변화와 같은, 가상 장면 또는 그의 부분들의 시간적 변화를 의미한다. 이와 같은 가상 장면 모델을 기술하는 기준 데이터는 이어서 제1 디바이스뿐만 아니라 제2 디바이스 상에 제공될 수 있다. 이어서, 제1 디바이스는, 특히 가상 장면 모델이 정의되는 기본 좌표계에 관하여, 제1 디바이스에 의해 디스플레이되는 이와 같은 가상 장면에 관하여 사용자 거동을 캡처할 수 있고, 캡처된 데이터는 제2 디바이스로 전송될 수 있고, 이는 이어서 장면 모델을 기술하는 기준 데이터에 기초하여, 또한, 특히 가상 장면 데이터를 제1 디바이스로부터 제2 디바이스로 동시에 전달할 필요없이 동일한 기본 기준 좌표계에 기초하여 가상 장면에 대해 사용자 거동을 용이하게 재구성할 수 있다.
또한, 적어도 하나의 사용자 거동 특성이 눈 추적 디바이스에 의해 캡처되지만, 제1 디바이스의 캡처 디바이스는 또한 사용자의 눈과 관련되지 않은 사용자 거동 특성들을 캡처하기 위한 추가 캡처 수단을 포함할 수 있다. 따라서, 캡처된 사용자 거동 특성들은 일반적으로 사용자의 적어도 하나의 신체 부분의 위치 및/또는 배향일 수 있다. 사용자 거동 특성으로서, 예를 들어 사용자의 자세 또는 그의/그녀의 신체 부분들 중 하나의 자세뿐만 아니라 사용자의 머리 및/또는 사용자의 눈들의 위치 및 배향이 캡처될 수 있다. 바람직하게는 사용자 거동 특성으로서 또한 적어도 하나의 객체에 대한 사용자의 시선 방향 및/또는 시선 지점이 캡처된다. 따라서, 예컨대, 캡처 디바이스는, 예컨대 가상 현실 또는 가상 장면이 정의되는 기준 좌표계에 대해 사용자의 눈들의 위치 및 배향을 결정함으로써, 가상 장면 상의 사용자의 현재 가상 관점을 캡처할 수 있다. 사용자에 의해 인지되는 가상 장면 상의 관점은, 예를 들어 제1 디바이스가 헤드 마운트 디스플레이로서 구성될 때, 사용자의 머리의 이동에 의해 또한 알려질 수 있다. 머리 이동 또는 모리의 위치 및 배향은 다른 캡처된 사용자 거동 특성일 수 있다.
예컨대, 상기 기준 시스템에 대한, 사용자의 눈 및/또는 머리의 위치 및 배향을 정의하는 데이터를 제2 디바이스로 전송함으로써, 제2 디바이스는 전송된 사용자 거동 데이터를 가상 장면의 모델을 기술하는 기준 데이터와 조합함으로써 가상 장면의 현재 사용자 관점을 재구성할 수 있다. 이는 제1 디바이스에 의해 사용자에게 디스플레이되는 가상 장면의 임의의 데이터를 전송할 필요 없이, 예컨대 제1 디바이스와 연관된 사용자가 현재 가상 현실을 경험하는 것과 동일한 관점에서 제2 디바이스 상에 가상 장면을 제공하는 것을 가능하게 한다.
또한, 사용자 거동 특성은 제1 디바이스에 의해 사용자에게 제시되는 비디오 시퀀스에 대해 캡처될 수 있다. 예를 들어, 비디오 시퀀스의 각자의 이미지들에 대한 사용자의 시선 지점들은 제1 디바이스에 의해 캡처될 수 있다. 동일한 비디오 시퀀스가 또한 제2 디바이스에 이용가능하게 되는, 즉 제2 디바이스 상에 제공될 수 있다. 이어서, 사용자의 시선 지점들의 시간적 시퀀스를 기술하는 사용자 거동 데이터는 제2 디바이스로 전송될 수 있고, 이어서, 이는 유리하게는 전송된 사용자 거동 데이터를 비디오 시퀀스와 조합할 수 있고, 그 결과, 제1 디바이스와 연관된 사용자의 시선 지점들을 포함하는 비디오 시퀀스가 디스플레이될 수 있는데, 특히 이 결과는 제2 디바이스 또는 위에서 명명된 제3 디바이스에 의해 디스플레이된다. 따라서, 비디오 시퀀스에 대한 시선 지점들은 제1 디바이스로부터 제2 디바이스로 비디오 시퀀스 데이터 자체를 전달할 필요 없이 제2 디바이스 또는 제3 디바이스 상에 제공될 수 있다. 각자의 캡처된 시선 지점들은, 예컨대 비디오 시퀀스의 시작 시간에 대해, 대응하는 타임 스탬프들과 연관되거나 제공될 수 있다. 따라서, 각자의 시선 지점들 및 대응하는 타임 스탬프들을 전송함으로써, 시선 지점들은 비디오 시퀀스 이미지들과 조합되어 각각의 시선 지점이 대응하는 타임 스탬프들에 따라 비디오 시퀀스의 이미지들 중 정확한 하나에 할당될 수 있도록 한다.
본 발명의 다른 유리한 실시예에 따르면, 적어도 하나의 사용자 거동 특성과 연관된 사용자 거동 데이터를 송신할 때, 제1 디바이스는 또한 동기화 데이터를 송신하며, 동기화 데이터는 적어도 하나의 사용자 특성이 캡처된 시점의 적어도 하나의 캡처된 사용자 거동 특성과 현재 가상 장면 사이의 시간적 상관관계를 특징짓는다. 따라서, 유리하게는, 제2 디바이스는, 예컨대 앞서 명명된 타임 스탬프들의 형태로 제공될 수 있는 동기화 데이터에 기초하여 각자의 사용자 거동 데이터를 대응하는 기준 데이터에 용이하게 할당할 수 있다. 이는, 일시적으로 가상 장면을 변경하는 경우, 특히 장면 콘텐츠가 미리 정의된 시간적 방법으로 변화하는 경우에 특히 유리하다.
또한, 본 발명의 다른 이점들에 따르면, 기준 데이터는 가상 장면이 어떻게 변화하는지를 기술한다. 유리하게는, 본 발명에 따른 방법 및 그의 실시예들은 결정론적 또는 정적 가상 장면의 경우뿐만 아니라, 비결정론적 및/또는 비정적 및 일시적으로 변화하는 장면의 경우에도 적용될 수 있다. 이 경우, 사용자 데이터를 가상 객체들과 연관시키고 가상 객체들의 위치를 연관된 사용자 데이터와 함께 전송하기 전에, 가상 장면이 어떻게 변경되는지에 관한 정보를 기준 데이터의 형태로 제2 디바이스 상에 제공하는 것이 매우 유리하다.
또한, 본 발명의 다른 이로운 실시예들에 따르면, 기준 데이터는 가상 장면의 미리 정의된 시간적 변화를 정의하고/하거나 가상 장면이 적어도 하나의 상호작용 이벤트, 특히 제1 디바이스에 의해 수신되는 사용자의 입력, 또는 제2 디바이스로부터 제1 디바이스로 전송되는 제어 신호에 종속하여 어떻게 변화하는지를 기술한다.
이에 의해, 가상 장면은, 예컨대 전술된 비디오 시퀀스의 경우와 같이, 미리 정의된 그리고 그에 따른 결정론적 방식으로 일시적으로 변경될 수 있다. 이러한 경우에, 전송된 사용자 거동 데이터와 대응하는 기준 데이터의 정확한 조합은 전술된 바와 같이 타임 스탬프들에 기초하여 수행될 수 있다. 그러나, 다른 한편으로, 가상 장면은 또한 비결정론적 방식으로 변경될 수 있는데, 예컨대 가상 장면은 소정 사용자 상호작용에 응답하여 변화할 수 있다. 또한, 이러한 정보, 즉 어느 것 또는 어떤 종류의 사용자 상호작용이 가상 장면을 어떤 방식으로 변경되게 하는지가 제2 디바이스 상의 기준 데이터의 일부로서 제공될 수 있다. 따라서, 또한 장면 상태는 제2 디바이스 상에서 시간적 또는 지역적 마킹 방식으로 제공될 수 있다.
예를 들어, 가상 환경과의 사용자의 소정의 사용자 상호작용이 가상 장면의 변경으로 이어지는 경우, 사용자가 버튼을 누르고 있는 것과 같은 상호작용 이벤트, 또는 가상 장면의 새로운 상태에 관한 정보가 장면 데이터 자체를 전송할 필요 없이 제2 디바이스로 또한 전송될 수 있다. 그러한 장면의 변화 또는 장면의 상태는 사용자에 의해 수행되는 소정 상호작용 이벤트에 의해서 야기될 수 있을 뿐만 아니라, 제2 디바이스로부터 제1 디바이스로 전송되는 제어 신호에 의해서도 야기될 수 있다. 이는 관찰자 또는 교사와 같은 제2 사용자가 제1 디바이스와 연관된 제1 사용자에게 보여지는 가상 장면의 장면 콘텐츠를 제어함으로써 제1 사용자와 상호작용하도록 허용한다. 예를 들어, 제2 사용자는 제1 디바이스의 눈 추적기의 교정 절차를 개시하여, 제1 디바이스로 하여금 제1 사용자에게 교정 지점들을 보여주게 할 수 있다. 따라서, 유리하게는, 가상 현실 장면이 - 특히 또한 가상 현실 장면 상의 상호작용 이벤트들 또는 제어 신호에 종속하여 - 변할 수 있는 방식이 또한 정의될 수 있고 기준 데이터의 일부로서 제2 디바이스 상에 제공될 수 있다. 따라서, 사용자 거동 데이터가 제1 디바이스로부터 제2 디바이스로 전송될 때마다, 이러한 사용자 거동 데이터는 정확한 기준 데이터, 즉, 사용자 거동 특성이 캡처된 시점의 가상 장면의 정확한 상태에 관한 이들 기준 데이터와 조합될 수 있다.
본 발명의 다른 유리한 실시예에 따르면, 캡처 디바이스는 적어도 하나의 기준 객체와의 사용자의 상호작용을 캡처하고, 캡처된 상호작용을 상호작용 데이터의 형태로 제공하며, 상호작용 데이터는 제1 디바이스로부터 제2 디바이스로 전송된다. 전술된 바와 같이, 그러한 상호작용 이벤트들의 정보는 유리하게는 가상 장면의 상태의 변화를 인식하기 위해 제2 디바이스에 의해 사용될 수 있다. 장면의 상태의 변화는 가상 장면의 콘텐츠의 변화로서 이해될 수 있다. 따라서, 또한 가상 장면의 상이한 상태들뿐만 아니라 가상 장면의 상태의 변화를 야기하거나 트리거하는 상호작용 이벤트들이 또한 기준 데이터의 일부로서 정의될 수 있고, 유리하게는 적어도 하나의 기준 객체에 대한 사용자 거동의 재구성, 즉 대응하는 가상 장면을 위해 제2 디바이스에 의해 사용될 수 있다. 한편으로, 사용자의 그러한 상호작용은, 예컨대 소정의 사용자 거동이 가상 장면의 소정의 가상 객체를 바라보는 것, 소정의 상호작용 제스처 등을 수행하는 것 등과 같은, 그러한 상호작용 이벤트로서 정의되는 경우에, 사용자 거동 데이터 자체로부터 도출될 수 있다. 다른 한편으로, 그러한 상호작용은 또한, 예를 들어 사용자가 버튼을 누르거나 또는 제1 디바이스의 터치스크린을 터치함으로써 입력을 행함으로써 그러한 상호작용을 수행할 때, 또는 다른 경우에, 별개로 캡처될 수 있다. 따라서, 유리하게는, 가상 장면의 상태가 변경되게 하는 상호작용들은 제2 디바이스로 전송되고, 제2 디바이스의 기준 데이터에 의해 제공되는 정확한 대응하는 가상 장면 콘텐츠에 수신된 사용자 거동 데이터를 정확하게 할당하기 위해 제2 디바이스에 의해 사용될 수 있다.
또한, 사용자 거동 특성을 캡처하기 위해, 눈 추적 디바이스는 바람직하게는 사용자의 시선 지점 및/또는 사용자의 시선 방향 및/또는 적어도 하나의 기준 객체(VRS)에 대한 사용자의 눈의 속성 또는 눈 특징부를 캡처한다. 따라서, 유리하게는 사용자에 의한 가상 현실의 인식은 사용자의 시선 데이터 또는 눈 데이터를 제1 디바이스로부터 제2 디바이스로 전송함으로써 대응하는 방식으로 제2 디바이스 상에 제공될 수 있다. 이는 사용자가 제1 디바이스 상의 가상 현실을 인식하는 것과 동일한 방식으로 제3자에 의해 가상 현실을 인식하는 것을 가능하게 한다. 또한, 그러한 시선 데이터는 시장 조사, 연구 또는 사용자들의 트레이닝과 같은 애플리케이션에 특히 유익하며, 시선 데이터 또는 눈 데이터에 기초하여, 예를 들어, 사용자가 가상 현실에 제시되는 소정 가상 객체들에 대해 충분한 주의를 기울이고 있는지 여부, 또는 가상 장면 내의 가상 객체들 중 어느 것이 더 많이 또는 더 적게 주의를 끄는지 결정될 수 있다.
또한, 또한 많은 더 유리한 눈 관련 데이터 또는 다른 사용자 거동 특성들이 캡처되어 제2 디바이스로 전송될 수 있다. 특히, 사용자 거동 특성을 캡처하기 위해, 눈 추적 디바이스는 또한 눈꺼풀 닫힘의 백분율(또한 페르클로스(PERCLOS)로도 불림), 눈꺼풀 자세, 및 사용자의 한쪽 또는 양쪽 눈의 위치, 사용자의 머리의 머리 배향, 사용자의 머리 위치, 사용자의 얼굴의 얼굴 표정, 사용자의 동공의 동공 크기, 눈 움직임 특성, 특히 눈 고정(eye fixation) 중 적어도 하나를 캡처할 수 있다.
따라서, 사용자의 시선 지점 및/또는 시선 방향을 캡처함으로써, 자신의 가상 환경에 대한 사용자의 현재 관심 지점들이 정의되고 결정될 수 있다. 눈 위치 및/또는 사용자의 머리의 머리 위치 및 배향에 의해, 가상 장면 상의 사용자의 현재 관점에 관한 정보가 제공될 수 있다. 또한, 위에서 언급된 사용자의 추가 눈 관련 특성들에 의해, 감정 상태 또는 주의 상태와 같은 사용자의 현재 상태에 관한 정보가, 예를 들어, 눈꺼풀 닫힘의 백분율 및/또는 열림, 완전 닫힘 또는 일부만 닫힘과 같은 눈꺼풀 자세를 분석함으로써 제공될 수 있으며, 사용자가 피곤한지 여부가 결정될 수 있다. 동공 크기 또는 동공 크기의 변화는 사용자의 흥분 상태를 결정하는 데 사용될 수 있고, 사용자의 얼굴의 얼굴 표정은 행복 또는 슬픔 또는 화남과 같은 현재 기분을 결정하는 데 사용될 수 있고, 소정의 눈 움직임 특성, 특히 눈 고정은 주의 상태를 결정하는 데 사용될 수 있다. 사용자 거동 특성에 의해, 사용자 거동, 사용자의 현재 상태 및 가상 환경과의 경험은 제2 디바이스에 의해 매우 자세하게 기술되고 재구성될 수 있다.
또한, 사용자 거동 특성 또는 제2 사용자 거동 특성을 캡처하기 위해, 캡처 디바이스는 또한 사용자의 위치 및/또는 사용자의 자세 및/또는 사용자의 배향 및/또는 사용자의 제스처를 캡처할 수 있다. 그러한 거동 특성들은, 예컨대 제1 디바이스의 카메라에 의해 용이하게 캡처될 수 있다. 제1 디바이스의 구성에 따라, 또한 눈 추적 디바이스의 일부로서 카메라가 그 목적을 위해 사용될 수 있거나 또는 대안예에서 별개의 카메라가 캡처 디바이스의 추가 캡처 수단을 구성할 수 있다. 이러한 거동 특성들에 의해, 가상 장면에 대한 사용자 거동이 유리하게 더 상세히 설명될 수 있다.
본 발명의 다른 유리한 실시예에 따르면, 제2 디바이스는 수신된 사용자 거동 데이터 및 제2 디바이스에 의해 포함된 기준 데이터에 종속하여 적어도 하나의 기준 객체에 대한 사용자 거동 특성을 분석하고, 분석에 종속하여 사용자 상태가 결정되고, 특히, 사용자 상태는 깨어있는 상태, 및 감정 상태, 인지 부하의 상태, 성능 상태, 각성 상태, 건강 상태, 심리 상태 또는 사용자 의도 중 적어도 하나이다. 유리하게는, 사용자의 상태들은 전술된 사용자 거동 데이터로부터 쉽게 도출될 수 있다. 목적을 위해, 각각의 상기 상태들은 적어도 2 개의 카테고리들로 분할될 수 있는데, 예컨대, 깨어있는 상태는 깨어있는 카테고리와 깨어있지 않은 카테고리를 포함할 수 있고, 주의 상태는 주의를 기울이고 있는 카테고리와 주의를 기울이고 있지 않은 카테고리를 포함할 수 있고, 성능 상태, 건강 상태 또는 인지 부하의 상태는 각각 높거나 또는 낮은 카테고리들을 포함할 수 있다. 사용자의 현재 상태를 이들 상태들 중 하나에 할당하는 것은, 캡처된 사용자 거동 특성들 중 하나 이상 또는 그것들의 소정 조합들을 하나 이상의 각자의 미리 정의된 임계치들과 비교함으로써 수행될 수 있다.
대안적으로 또는 또한 추가적으로, 사용자 거동 특성들은 또한 제1 디바이스 자체에 의해 대응하는 방식으로 분석될 수 있고, 이러한 분석, 특히 결정된 사용자 상태는 다른 사용자 거동 특성으로서 제공될 수 있고 제2 디바이스로 전송될 수 있다.
본 발명의 다른 유리한 실시예에 따르면, 적어도 하나의 제2 디바이스는 전송된 사용자 거동 데이터를 제2 디바이스에 의해 포함된 기준 데이터와 조합하여, 적어도 하나의 기준 객체에 대한 사용자 거동이 제2 디바이스에 의해 재생성되도록 한다. 특히, 제2 디바이스 또는 제3 디바이스는 적어도 하나의 기준 객체에 대한 재생성된 사용자 거동 특성의 시각적 표현을 제공할 수 있다. 예를 들어, 가상 장면의 사용자의 관점이 사용자 거동 특성으로서 재구성되는 경우, 제2 디바이스 또는 제3 디바이스는 제1 디바이스의 캡처 디바이스에 의해 캡처된 바와 같이 사용자의 관점으로부터 가상 장면의 시각적 표현을 제공할 수 있다. 또한, 예를 들어 가상 장면에 대한 사용자의 시선 또는 시선 지점들이 사용자 거동 특성으로서 재구성되는 경우, 제2 디바이스 또는 제3 디바이스는 마킹들 또는 마킹점들을 갖는 가상 장면의 시각적 표현을 제공할 수 있으며, 이는 제1 디바이스에 의해 사용자에게 제시되는 바와 같이 가상 장면에 대해 제1 디바이스의 캡처 디바이스에 의해 캡처된 바와 같은 사용자의 시선 지점들에 대응한다. 그럼으로써, 가상 장면은 제1 디바이스에 의해 사용자에 의해 인지되는 것과 동일한 관점으로부터 제2 또는 제3 디바이스에 의해 제시될 수 있지만, 반드시 그러한 것은 아니다. 또한, 적어도 하나의 객체에 대한 사용자 거동 특성의 재생성은 또한 적어도 하나의 객체에 대한 캡처된 사용자 특성과 비교하여 의도적으로 변경, 예를 들어, 제2 또는 제3 디바이스 상의 재생성의 시각적 표현의 해상도를 상향 스케일링하거나 하향스케일링할 수 있다. 제스처들 또는 사용자의 자세와 같은 사용자 거동 특성을 시각화하기 위해, 시각적 표현은 또한, 예를 들어 제2 디바이스 또는 제3 디바이스 상의 가상 장면 내에 제시된 아바타의 형태로 사용자 자신에 대한 표현을 포함할 수 있다. 일반적으로, 시각적 표현이 반드시 제2 디바이스 자체에 의해 수행되어야 하는 것은 아니다. 제2 디바이스는 또한 수신된 사용자 거동 데이터 및 저장된 기준 데이터에 기초하여 적어도 하나의 기준 객체에 대한 사용자 거동의 재구성을 수행하는 인터넷 서버일 수 있으며, 이러한 재구성의 결과는 사용자 단말기와 같은 제3 디바이스에 의해 검색될 수 있고, 이어서 이 제3 디바이스에 의해 표시될 수 있다.
특히, 재생성된 사용자 거동의 시각적 표현을 제공할 때, 제2 디바이스 또는 제3 디바이스는 또한 적어도 하나의 사용자 거동 특성에 종속하여 적어도 하나의 기준 객체의 시각적 표현을 제공하여, 기준 객체가 적어도 하나의 사용자 거동 특성이 캡처되었던 시점의 제1 디바이스에 의해 기준 객체(VRS)가 사용자에게 디스플레이되었던 방식과 동일하게 표시되도록 한다. 따라서, 사용자의 관점, 현재 시선 지점, 배향 및 자세와 같은 사용자 거동 특성은 제1 디바이스에 의해 사용자가 경험하는 것과 정확히 동일한 가상 장면의 모델로 제2 디바이스에서 표현될 수 있다. 따라서, 예를 들어, 제2 디바이스 또는 제3 디바이스 상의 가상 장면의 디스플레이된 뷰는 사용자에 의해 인지되는 바와 같이 제1 디바이스 상의 디스플레이된 가상 장면의 뷰와 동일한 방식으로 이동할 수 있다. 또한, 가상 장면이 변경되게 하는 소정의 사용자 행동들에 의해 트리거되는 이벤트들은 제2 디바이스 또는 제3 디바이스 상에서 유사하게 디스플레이될 수 있다.
또한, 특히, 제1 디바이스는 장면 이미지들의 스트림을 연속적으로 디스플레이하고, 사용자 거동 특성을 계속해서 캡처하고, 사용자 거동 데이터는 특히 실시간으로 제2 디바이스로 연속적으로 전송된다. 따라서, 사용자가 가상 현실 세션을 유지하고 있는 경우, 사용자의 인지, 그의 거동 및 그의 경험은 제2 또는 제3 디바이스에 의해, 특히 실시간으로, 제3자에게 시각화될 수 있다. 대안예에서, 그러한 사용자 세션의 재구성은 또한 오프라인, 즉 임의의 시간 후에 수행될 수 있다. 적어도 하나의 기준 객체에 대한 사용자 거동 특성의 실시간 재구성은, 제2 디바이스 또는 제3 디바이스와 연관된 제2 사용자와 제1 디바이스와 연관된 제1 사용자 사이의 상호작용을 가능하게 한다는 이점을 갖는다. 따라서, 예를 들어, 제2 사용자는 가상 현실 세션 동안 제1 사용자를 관찰하고 그의/그녀의 가상 현실 경험을 공유하고, 예컨대, 네트워크를 통해 제1 사용자에게 지시 또는 코멘트 또는 추천들을 제공하고, 제1 디바이스의 눈 추적 디바이스의 교정 절차의 개시와 같은 소정 가상 이벤트들을 트리거 하거나, 또는 일반적으로 또한 가상 장면이 변경되게 하거나 또는 변경하게 하여, 예컨대 그의/그녀의 반응을 검사하거나 연구하기 위하여 제1 사용자에게 제시되는 가상 장면의 상태를 변경하는 이벤트들을 트리거할 수 있다. 따라서, 유리하게는, 본 발명의 이러한 실시예에 따르면, 재생성 및/또는 시각적 표현 및/또는 분석은 실시간으로 또는 적어도 가까운 시간에 수행된다.
한편, 사용자 거동의 오프라인 재생성은 여러 상이한 사용자들의 사용자 거동 데이터의 취합을 가능하게 한다는 이점을 갖는다. 따라서, 본 발명의 다른 유리한 실시예에 따르면, 다수의 사용자 거동 데이터세트들의 형태로, 각각 각자의 제1 디바이스와 연관된 다수의 각자의 사용자들의 여러 사용자 거동 특성은 각자의 제1 디바이스로부터 제2 디바이스로 전송되고, 특히 제2 디바이스 또는 제3 디바이스에 의해 취합된다.
한편으로는, 이러한 방식으로 상이한 사용자들의 사용자 거동 특성들이 쉽게 서로 비교될 수 있고, 다른 한편으로는, 상이한 사용자들의 사용자 거동 특성들의 집합이 통계 분석을 위해 사용될 수 있다.
그럼으로써, 본 발명의 다른 바람직한 실시예에 따르면, 각각의 사용자의 사용자 거동은 취합된 사용자 거동 데이터세트들에 종속하여 제2 디바이스에 의해 적어도 하나의 기준 객체에 대해, 특히 오프라인에서 재생성된다.
예를 들어, 모든 상이한 사용자들의 시선 지점들이 가상 장면에 대해 취합되고 표현될 수 있다. 또한, 그러한 취합은 상이한 사용자들에 대해 수행될 뿐만 아니라, 시간 경과에 따라 수행될 수 있다. 또한, 각각의 사용자들이 상이한 시간들에 그들 각자의 가상 현실 세션들을 유지하는 경우에도, 동일한 가상 현실 모델 또는 가상 현실 시나리오와 대한 것이라면, 오프라인 재구성은 각자의 사용자 거동 데이터세트들을 기준 데이터와 조합하여, 상이한 사용자들의 사용자 거동이 동시에 동일한 가상 장면에 대해 재구성될 수 있게 한다.
본 발명은 또한 본 발명에 따른 방법 또는 그것의 실시예들 중 하나를 실행하도록 구성된 시스템에 관한 것이다.
또한, 본 발명은 시스템에 관한 것으로, 시스템은 적어도 하나의 기준 객체에 대한 사용자의 사용자 거동에 관한 정보를 시스템의 네트워크를 통해 제1 디바이스로부터 시스템의 제2 디바이스로 제공하며, 제1 디바이스는 사용자와 연관된다. 또한, 제1 디바이스 및 제2 디바이스는 각각 적어도 하나의 기준 객체를 기술하는 기준 데이터를 포함한다. 또한, 제1 디바이스는 적어도 하나의 기준 객체와 관련하여 적어도 하나의 사용자 거동 특성을 캡처하고 적어도 하나의 캡처된 사용자 특성을 사용자 거동 데이터의 형태로 제공하도록 구성되는 눈 추적 디바이스를 포함하는 캡처 디바이스를 포함한다. 시스템은 사용자 거동 데이터를 네트워크를 통해 제1 디바이스로부터 제2 디바이스로 전송하도록 추가로 구성되고, 제2 디바이스는 전송된 사용자 거동 데이터를 제2 디바이스에 의해 포함된 기준 데이터와 조합하고, 그럼으로써 적어도 하나의 기준 객체에 대한 사용자 거동에 관한 정보를 제2 디바이스 상에 제공하도록 구성된다.
본 발명은 또한 본 발명 또는 그의 실시예들에 따른 방법과 관련하여 기술된 제1 디바이스와 같은, 시스템에 사용하기 위한 클라이언트 디바이스에 관한 것으로. 클라이언트 디바이스는 적어도 하나의 기준 객체에 대한 사용자의 사용자 거동에 관한 정보를 네트워크를 통해 시스템의 클라이언트 디바이스로부터 시스템의 제2 디바이스로 제공한다. 클라이언트 디바이스는 적어도 하나의 기준 객체를 기술하는 기준 데이터를 포함한다. 또한, 클라이언트 디바이스는 적어도 하나의 기준 객체에 관련하여 적어도 하나의 사용자 거동 특성을 캡처하고 적어도 하나의 캡처된 사용자 특성을 사용자 거동 데이터의 형태로 제공하도록 구성된 눈 추적 디바이스를 포함하는 캡처 디바이스를 포함하고, 클라이언트 디바이스는 사용자 거동 데이터를 네트워크를 통해 제2 디바이스로 전송하도록 구성된다.
바람직하게는, 클라이언트 디바이스는 모바일 디바이스, 특히 헤드 마운트 디스플레이를 포함하는 헤드 마운트 디바이스, 특히 안경, 가상 현실 안경, 증강 현실 안경, 또는 모바일 폰 또는 스마트폰, 또는 모니터 또는 스크린을 포함하는 컴퓨터로서 구성된다.
본 발명은 또한 본 발명 또는 그의 실시예들에 따른 방법과 관련하여 기술된 바와 같은 제2 디바이스와 같은, 시스템에 사용하기 위한 서버에 관한 것으로, 서버는 적어도 하나의 기준 객체에 대한 사용자의 사용자 거동에 관한 정보를 네트워크를 통해 제1 디바이스로부터 서버로 제공한다. 서버는 적어도 하나의 기준 객체를 기술하는 기준 데이터를 포함하고, 사용자 거동 데이터를 수신하도록 구성되고, 사용자의 사용자 거동 특성은 사용자 거동 데이터의 형태로 서버에 전송된다. 또한, 서버는 수신된 사용자 거동 데이터를 기준 데이터와 조합하여, 적어도 하나의 기준 객체에 대한 사용자 거동에 관한 정보가 재생성되도록 구성된다.
특히, 서버는 웹서버, 클라우드 서버, 또는 헤드 마운트 디바이스, 특히 안경, 가상 현실 안경, 증강 현실 안경, 헤드 마운트 디스플레이, 또는 모니터 또는 스크린을 포함하는 컴퓨터로서 구성된다.
클라이언트 디바이스 및 서버는 각각, 본 발명 또는 그의 실시예들에 따른 방법에 관해 기술된 바와 같은 각자의 방법 단계들을 실행하도록 구성된 대응하는 프로세싱 유닛을 포함한다. 또한, 각자의 프로세싱 유닛들은 하나 이상의 마이크로프로세서들 및/또는 하나 이상의 마이크로제어기들을 각각 포함할 수 있다. 또한, 프로세싱 유닛들 각각은, 각자의 프로세싱 유닛에 의해 실행될 때, 본 발명 또는 그의 실시예들에 따른 방법에 관해 기술된 바와 같은 대응하는 방법 단계들을 수행하도록 설계된 프로그램 코드를 포함할 수 있다. 각자의 프로그램 코드는 각자의 프로세싱 유닛의 데이터 저장소에 저장될 수 있다.
본 발명은 또한 프로그램 코드를 포함하는 컴퓨터 프로그램 제품에 관한 것으로, 프로그램 코드는 본 발명 또는 그의 실시예들에 따른 방법과 관련하여 기술된 바와 같이, 컴퓨터, 예를 들어 제2 디바이스에 의해 실행될 때, 컴퓨터로 하여금, 적어도 하나의 객체에 대한 사용자 거동 특성을 기술하는 수신된 사용자 거동 데이터를, 적어도 하나의 기준 객체를 기술하는 저장된 기준 데이터와 조합하게 하여, 적어도 하나의 기준 객체에 대한 사용자 거동에 관한 정보가 재생성되게 한다.
컴퓨터 프로그램 제품은 프로그램 그 자체일 수 있거나 또는 컴퓨터 프로그램이 기록된, 컴퓨터 판독가능 매체일 수 있다.
본 발명에 따른 방법 및 그의 실시예들에 관하여 기술된 이점들은 유사하게 본 발명에 따른 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품에 적용된다. 또한, 본 발명에 따른 방법의 실시예들은 본 발명에 따른 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품의 추가 실시예들을 구성한다.
본 발명의 추가 특징들은 청구범위, 도면 및 도면의 설명으로부터 명백하다. 본 설명에서 상기에 언급된 특징 및 특징 조합뿐만 아니라 도면 설명에 언급되고/되거나 도면에 도시된 특징 및 특징 조합들은, 각각 특정된 조합에서만 아니라, 본 발명의 범주로부터 벗어남이 없이 다른 조합에서도 사용될 수 있다. 따라서, 구현예들은 또한 본 발명에 의해 포괄되고 개시된 것으로 간주되며, 이들은 도면들에 명시적으로 도시되지 않고 설명되지 않지만, 설명된 구현예들로부터 비롯되고 설명된 구현예들과는 별개의 특징부 조합들에 의해 생성될 수 있다. 구현예들 및 특징 조합들은 또한 개시된 것으로 간주되며, 따라서 이들은 원래 공식화된 독립항의 모든 특징들을 갖는 것은 아니다. 또한, 구현예들 및 특징 조합들은 특히 전술된 구현예들에 의해 개시된 것으로 간주되며, 이들은 청구범위와 관련하여 전술된 특징 조합들을 넘어 확장되거나 그로부터 도출된다.
본 발명의 다음과 같은 바람직한 실시예들에서, 도면과 관련하여 설명된다. 여기서:
도 1은 본 발명의 제1 실시예에 따른, 기준 객체에 대한 사용자 거동에 관한 정보를 네트워크를 통해 제1 디바이스로부터 제2 디바이스로 제공하기 위한 시스템의 개략도이다.
도 2는 본 발명의 제2 실시예에 따른, 기준 객체에 대한 사용자 거동에 관한 정보를 네트워크를 통해 제1 디바이스로부터 제2 디바이스로 제공하기 위한 시스템의 개략도이다.
도 3은 본 발명의 실시예에 따른, 참조 객체에 대한 사용자 거동에 관한 정보를 네트워크를 통해 제공하기 위한 방법을 도시하는 흐름도이다.
도 4는 본 발명의 다른 실시예에 따른, 참조 객체에 대한 사용자 거동에 관한 정보를 네트워크를 통해 제공하기 위한 방법을 도시하는 흐름도이다.
도면에서, 동일한 기능을 제공하는 구성요소들은 동일한 도면 부호로 표시된다.
도 1은 본 발명의 일 실시예에 따른, 적어도 하나의 기준 객체에 대한 사용자의 사용자 거동에 관한 정보를 네트워크(12)를 통해 모바일 클라이언트 - 이 경우에는 헤드 마운트 디스플레이로서 구성됨 -와 같은 제1 디바이스(14) 로부터 제2 디바이스(16)로 제공하기 위한 시스템(10a)의 개략도를 도시한다.
본 발명은 특히 가상 현실 시스템 분야에 적용된다. 가상 현실은 유리하게는 매우 다양한 상이한 응용에 사용될 수 있다. 예를 들어, 가상 장면은 디스플레이 디바이스에 의해 사용자에게 제시될 수 있고, 사용자는 이 가상 장면 내에서 가상으로 활보할 수 있고, 예컨대 머리 이동 통해 가상 장면 상의 시야의 관점을 변경할 수 있다. 또한, 그러한 가상 현실 사용자 경험을 공유할 수 있는 것이 바람직할 수 있는 많은 상황들이 있으며, 이 예에서 가상 현실 사용자 경험은 제1 디바이스(14)에 의해 사용자에게 제공되며, 또한 제2 디바이스(16)와 연관된 관찰자, 교사 또는 상사와 같은 제3자에게도 제공된다.
그러나, 많은 양의 데이터는 그러한 가상 현실 장면들과 연관되어 있으며, 따라서 종래 기술의 시스템들은 그러한 가상 현실 경험을 만족스러운 방식으로 공유할 수 없다. 특히, 모바일 증강 현실 및 가상 현실 사용자에 기초한 현장 테스트에 대한 현재 장애물은 3D 장면을 프로세싱하고 큰 데이터 양(시선 및 기준 콘텐츠 데이터)을 전송할 때 모바일 클라이언트의 리소스 과부하이다. 모바일 클라이언트 프로세싱 전력은 가상 현실 장면을 제3자와 공유하는 것을 제한하거나 심지어 금지한다. 추가적으로, 무선 네트워크들에 대한 이용가능한 대역폭은 장면 데이터의 고해상도 전달을 제한한다.
그러나, 본 발명 및/또는 그의 실시예들은, 가상 현실에 대한 사용자 경험의 완전한 재생성을 허용하면서 필요한 대역폭을 최소한으로 감소시키는 것을 가능하게 한다. 사용자를 관찰하기 위해 실시간으로 또는 가까운 시간에 재생성이 실현될 수 있거나, 오프라인(시간적으로 분리된) 재생성(recreation)을 위해 저장/전송될 수 있다.
도 1에 제시된 바와 같은 실시예에 따르면, 이러한 목적을 위해, 시스템(10a)은 제1 디바이스(14) 및 제2 디바이스(16)를 포함하고, 각각은 적어도 하나의 객체로서 가상 장면(VRS)의 장면 모델을 기술하는 기준 데이터(VRD)를 포함한다. 또한, 제1 디바이스(14) 및 제2 디바이스(16)는 네트워크(12)를 통해 서로 통신가능하게 결합될 수 있으며, 이 목적을 위해 제1 디바이스 및 제2 디바이스(16)는 각자의 네트워크 인터페이스(17 a, 17 b)를 포함한다. 이 예에서, 제1 디바이스(14)는 2 개의 스테레오 디스플레이들의 형태의 디스플레이 수단(18)을 포함하는 헤드 마운트 디스플레이로서 구성되어, 제1 디바이스(14)는 가상 장면(VRS)을 기술하는 기준 데이터에 기초하여 가상 장면(VRS)을 디스플레이할 수 있게 한다. 특히, 제1 디바이스(14)에서, 디스플레이 수단(18)에 의해 3D 장면의 형태로 가상 장면(VRS)을 사용자에게 디스플레이하도록 구성된다. 대안예에서, 제1 디바이스(14)는 또한 모바일 폰 또는 스마트폰, 태블릿 PC, 디스플레이를 갖는 전자 모바일 디바이스, 또는 모니터를 갖는 일반 컴퓨터 등으로서 구성될 수 있다.
또한, 디스플레이된 가상 장면(VRS)에 대한 사용자 거동을 캡처하기 위해, 제1 디바이스(14)는 또한 캡처 수단을 포함하며, 이 경우에 캡처 수단은 디스플레이된 가상 장면(VRS)에 대한 사용자의 시선 방향 및/또는 시선 지점 및 선택적으로 추가의 눈 특징부들 또는 눈 관련 특징부들을 결정하도록 구성된 눈 추적 디바이스(20a, 20b)를 포함한다. 이 경우에, 눈 추적 디바이스(20a, 20b)는 사용자의 눈의 이미지들을 연속적으로 캡처하기 위한 2 개의 눈 카메라들(20b)뿐만 아니라, 이 경우에 헤드 마운트 디스플레이(14)의 프로세싱 유닛(21)의 일부인 눈 추적 모듈(20a)을 포함한다.
눈 추적 모듈(20a)은, 눈 카메라들(20b)에 의해 캡처된 이미지들을 처리 및 분석하고, 캡처된 이미지들에 기초하여 사용자의 시선 방향 및/또는 시선 지점 및 또는 동공 크기, 눈꺼풀 닫힘의 빈도 등과 같은 추가의 눈 속성들 또는 눈 특징부들을 결정하도록 구성된다. 또한, 제1 디바이스(14)는 또한 상이한 또는 추가적인 사용자 거동 특성들을 캡처하기 위한 눈 추적 디바이스와 상이한, 자이로스코프 또는 사용자의 환경의 이미지들을 캡처하기 위한 장면 카메라와 같은 추가 캡처 수단(22)을 포함할 수 있으며, 이에 기초하여 사용자의 머리의 머리 배향 또는 머리 이동이 결정될 수 있다. 캡처 수단(22)은 또한 사용자의 스피치를 캡처하기 위한 마이크로폰을 포함할 수 있다. 제1 디바이스는 또한 사용자 입력을 수신하기 위한 핸드헬드 제어기와 같은 제어기(도시되지 않음)를 포함할 수 있다. 그러한 제어기는 별개의 물리적 엔티티로서 구성될 수 있고, 제1 디바이스(14)의 헤드 장착부에 통신가능하게 결합될 수 있다. 제1 디바이스(14)는 또한 사용자의 제스처 또는 자세를 캡처하기 위한 카메라와 같은 머리에 착용하지 않는 캡처 수단을 포함할 수 있다. 따라서, 일반적으로, 캡처된 사용자 데이터, 즉 캡처된 사용자 거동 특성은 특히 다음 중 임의의 서브세트를 포함할 수 있다:
-
사용자의 자세;
-
관심 지점, 시선 방향, 시각적 초점, 초점과 같은 눈 추적 데이터,
-
눈 주의, 눈 고정과 같은 눈 추적 이벤트들,
-
눈깜박임, 미소같은 얼굴 표정,
-
좋아함, 싫어함, 화남과 같은 사용자 감정들,
-
스피치, 사용자 이벤트들, 제어기 입력과 같은 사용자 상호작용들,
-
사용자의 위치, 사용자의 한쪽 또는 양쪽 눈의 위치와 같은 위치.
캡처된 사용자 거동 특성들에 기초하여, 예를 들어 사용자가 디스플레이된 가상 장면(VRS)에 대해 어디를 보고 있는지 또는 사용자가 현재 디스플레이된 가상 장면(VRS)을 어떤 가상 시점 또는 관점으로부터 보고 있는지 결정될 수 있다. 이러한 사용자 거동 특성들은 이제 유리하게도 사용자 거동 데이터(UD)의 형태로 제2 디바이스(16)에 전송될 수 있고, 예를 들어, 제2 디바이스(16) 상에 이미 존재하는 기준 데이터와 조합될 수 있다. 따라서, 가상 장면(VRS)에 관련된 이들 데이터, 즉 기준 데이터는 네트워크(12)를 통해 사용자 거동 데이터(UD)와 함께 제1 디바이스(14)로부터 제2 디바이스(16)로 전송될 필요가 없어서 전송될 데이터는 최소로 감소될 수 있고, 동시에 가상 장면(VRS)에 대한 사용자 거동의 완전한 재생성을 허용할 수 있다.
따라서, 예를 들어, 제1 디바이스(14)와 연관된 사용자가 이동하고 가상 장면(VRS)의 형태로 디스플레이되는 알려진 가상 환경과 상호작용할 때, 예컨대 게임을 하거나 가상 수퍼마켓을 활보할 때, 제2 디바이스(16) 상에서 사용자 경험을 재생성하기 위해 제2 디바이스(16) 상에서 이용가능한 사용자의 현재 상태에 관한 정보를 만드는 것만이 필요하다. 재생성은 또한 의도적으로 변경될 수 있는데, 예를 들어 사용자의 현재 시선 지점을 포함하는 가상 장면(VRS)의 영역에서, 예컨대, 해상도를 상향 스케일링 또는 하향 스케일링할 수 있다. 정적 및 상호작용 가상 환경 둘 모두에서, 알려지지 않은 컴포넌트는 사용자가 움직이고 그것과 상호작용하는 방식이며, 알려진 컴포넌트는 가상 환경 그 자체이다. 따라서, 유리하게는, 예컨대, 가상 장면(VRS)과 연관되고 가상 장면(VRS)에 대해 고정되는 정의된 좌표계에 대하여 정의된 가상 환경에 대한 사용자 거동 특성들만이 캡처되어 제1 디바이스(14)로부터 제2 디바이스(16)로 전송될 수 있는 반면, 제2 디바이스(16)에는 이미 가상 장면(VRS)을 기술하는 데이터, 즉 기준 데이터(VRD)가 제공되고, 따라서 제2 디바이스(16)는 유리하게는 이들 기준 데이터(VRD)를 전송된 사용자 거동 데이터(UD)와 조합하여 가상 장면(VRS)에 대한 사용자 거동을 재구성할 수 있다. 이러한 목적을 위해, 즉 사용자 거동의 조합 및 재생성을 위해, 제2 디바이스(16)는 기준 데이터(VRD)가 저장될 수 있는 데이터 저장장치를 갖는 프로세싱 유닛(24)을 포함할 수 있다. 또한, 제2 디바이스(16)는 또한 가상 장면(VRS)에 대한 사용자 거동의 재생성의 결과를 표시하기 위해 모니터와 같은 디스플레이 디바이스(26)를 포함할 수 있다. 예를 들어, 가상 장면(VRS)은 제1 디바이스(14)와 연관된 사용자가 제1 디바이스(14)에 의해 디스플레이되는 가상 장면(VRS)을 보고 있는 것과 동일한 관점에서 디스플레이 디바이스(26) 상에 디스플레이될 수 있다.
또한, 환경의 반응은 결정론적 또는 비결정론적일 수 있다. 결정론적 가상 장면(VRS)의 경우, 사용자 경험을 재생성하기 위하여, 사용자 데이터, 즉 전술된 바와 같은 사용자 거동 특성들은 캡처되어 제2 디바이스(16)와 같은 제3자 또는 그의 기술적 디바이스에, 특히 제3자의 적어도 하나의 컴퓨터, 호스트, 또는 서버에 이용가능하게 된다. 제2 디바이스(16)와 같은 제3자 또는 그의 기술적 디바이스는 특히 제2 디바이스(16) 상의 기준 데이터(VRD) 및 사용자 거동 데이터(UD)의 형태로 전송된 시간적 및/또는 지역적 마킹된 캡처된 사용자 데이터의 제공에 의해 가상 장면(VRS)에 액세스하여 사용자 경험을 재생성하고 이를 이용가능하게 한다.
비결정론적 장면의 경우에, 예를 들어 가상 장면(VRS), 특히 장면 콘텐츠가 소정 사용자 행동에 응답하여 변경되는 경우, 사용자 상태를 사용자 거동 특성의 형태로 캡처하는 것뿐만 아니라 시간적 또는 지역적 마킹된 방식으로 장면 상태를 캡처하는 것도 유용할 수 있다. 이어서, 특히 기준 데이터(VRD)의 형태로 제공되는 캡처된 장면 데이터는 다음의 서브세트를 포함할 수 있다:
-
장면 이벤트들 및 상태 변경들,
-
동적 장면 데이터,
-
랜덤 장면 콘텐츠.
또한, 이러한 프로세스 또는 절차는 제2 디바이스(16) 상에서 세션을 재생하기 위한 데이터를 네트워크(12)를 통해 전송되는 데 필요한 데이터의 최소로 감소시키는데, 그 이유는 예컨대 단지 소정 이벤트 또는 장면 상태의 변경에 관한 정보만 전송되면 되고, 장면 콘텐츠 자체가 전송될 필요가 없기 때문이다. 또한, 데이터는 실시간으로 스트리밍되거나 향후 사용을 위해 저장될 수 있다. 또한, 가상 장면(VRS)의 상태는 소정 사용자 행동에 응답하여 변할 수 있을 뿐만 아니라, 그러한 변화는 또한 제2 디바이스(16)와 연관된 상사 또는 관찰자와 같은 제2 사용자에 의해 제어되거나 개시될 수 있다. 예를 들어, 제2 디바이스(16)와 연관된 제2 사용자는 제2 디바이스(16)에 의해 제1 디바이스(14)의 눈 추적기(20a, 20b)의 교정을 개시할 수 있으며, 이는 디스플레이들(18)이 교정 지점들을 갖는 가상 장면(VRS)을 보여주게 한다. 그러한 제어 커맨드들은 또한 네트워크(12)를 통해 제어 데이터(CD)의 형태로 제2 디바이스(16)로부터 제1 디바이스(14)로 전송될 수 있다. 이는 유리하게는 각각 제1 디바이스(14)와 제2 디바이스(16)의 사용자들 간의 실시간 상호작용을 허용한다.
또한, 본 발명은 CPU에 의한 장면의 전송이 GPU 메모리 액세스를 필요로 하는 현재의 CPU/GPU 아키텍처에 유익하다.
이러한 시스템(10a)은 제1 디바이스(14)와 연관된 사용자와 같은 하나의 참여자의 제2 디바이스(16)와 같은 하나의 클라이언트(PC)로의 라이브 스트리밍, 제1 디바이스(14)와 연관된 사용자가 무엇을 하고 있는지 다른 사용자가 지켜보도록 하는 라이브 스트리밍 또는 제1 디바이스(14)와 같은 모바일 상의 기록, 및 제2 디바이스(16)에 의한 임포트와 같은 많은 유리한 애플리케이션들을 허용한다.
하나의 참여자의 하나의 클라이언트 PC로의 라이브 스트리밍의 경우, 본 발명 또는 그의 실시예들에 따른 방법 및 시스템은 제1 디바이스(14)와 연관된 사용자 또는 또한 모바일 사용자 그룹 - 그룹의 각자의 사용자는 각자의 제1 디바이스(14)와 연관됨 -과 같은, 모바일 사용자의 눈 추적 데이터를 전송하기 위한 대역폭 요건들을 감소시키는 것을 허용하여, 동일한 증강 현실/가상 현실 애플리케이션을 공유한다. 이러한 목적을 위해, 사용자는 제1 디바이스(14)와 같은 가상 현실 헤드 마운트 디스플레이를 착용하고 있고, 그것이 가상 콘텐츠와 상호작용하는 반면, 눈 추적기(20a, 20b)는 사용자의 시선을 추적한다. 위치, 배향, 사용자 동작 및 시선의 정보는 제2 디바이스(16)와 같은 관찰자 스테이션으로 전송되어, 기준 데이터(VRD)에 의해 제공되는 동일한 가상 현실 모델을 사용하여, 사용자 시선 거동을 포함하는 장면을 다시 렌더링하거나 새롭게 렌더링하게 된다. 따라서, 관찰자는 사용자의 거동들을 제어, 인도 및 또는 모니터링하기 위해 사용자의 상호작용들, 지각들 및 성능을 볼 수 있다.
하나의 가능한 구현예에 따르면, 셋업이 사용될 수 있는데, 여기서 동일한 애플리케이션이 제1 디바이스(14)와 같은 HMD(헤드 마운트 디스플레이) 디바이스에 대해 그리고 제2 디바이스(16)와 같은 PC에 대해 컴파일된다. 두 애플리케이션들은 렌더링될 장면에 대해 알고 있다. 또한, 애플리케이션, 특히 애플리케이션에 의해 제공되는 가상 장면(VRS)은 사용자 시스템, 즉 제1 디바이스(14) 상에서 생생하게 렌더링된다. 이러한 시스템, 즉 제1 디바이스(14)는 애플리케이션을 실행하기 위한 모바일 디바이스, 데이터를 전달하기 위한 네트워크 인터페이스(17 a)와 같은 네트워크 연결, 또는 그것들을 저장하기 위한 로컬 메모리를 포함할 수 있고, 가상 현실 경험을 생성할 수 있는 헤드 마운트 디스플레이, 및 애플리케이션과 상호작용하기 위한 제어기를 포함할 수 있다. 이어서, 세션은 제2 디바이스(16)와 같은 데스크톱 PC 상에서 생성된 데이터를 사용하여 재생될 수 있다. 따라서, 제2 디바이스(16) 상의 관찰 애플리케이션은 장면을 재렌더링하거나 또는 새로 렌더링하거나 다시 렌더링하고, 제1 디바이스(14)의 HMD 상에 도시된 것과 동일한 뷰를 생성한다. 이는 제1 디바이스(14)와 연관된 사용자를 인도 및 관찰하고, 시선 지각 데이터를 분석 및/또는 다른 사용자 데이터와 종합하는 데 사용될 수 있다. 사용자 시스템, 즉 제1 디바이스(14)와 관찰 시스템, 즉 제2 디바이스(16) 사이의 라이브 접속이 또한, 예를 들어 전술된 제어 데이터(CD)에 의해 사용자 시스템 상의 이벤트들을 원격으로 트리거하는 데 사용될 수 있다.
두 애플리케이션들, 제1 디바이스(14) 상의 가상 현실 애플리케이션 및 제2 디바이스(16) 상의 관찰 애플리케이션은 도시된 장면, 즉 기준 데이터(VRD)를 기술하는 데이터에 대해 알고 있다. 이들은 3D 가상 현실 모델, 입력 이벤트에 대한 반응 및 애니메이션 또는 시각화를 포함할 수 있다. 따라서, 사용자의 자세, 눈 추적 데이터 및 하나의 참여자의 이벤트들을 제2 디바이스(16)와 같은 하나의 클라이언트 PC로 스트리밍하고, 클라이언트 PC의 이벤트들을 제1 디바이스(14)와 같은 하나의 참여자에 스트리밍하기 위한 시스템 및 방법이 제공되며. 제2 디바이스(14)와 같은 제어기 클라이언트, 및 제1 디바이스(14)와 같은 모바일 클라이언트 디바이스들의 그룹을 포함한다. 제1 디바이스(14)와 같은 사용자의 시스템은 제2 디바이스(16)와 같은 클라이언트의 PC에 연결되고, 자세 데이터, 눈 추적 데이터 및 트리거된 이벤트들을 연속적으로 스트리밍할 것이다. 클라이언트 PC는 예컨대, 보정을 시작하는 트리거된 이벤트들을 제1 디바이스(14)와 연관된 사용자에게 전송할 것이다. 이 예에서 네트워크(12)는 로컬 영역 네트워크 또는 피어-투-피어 네트워크, 무선 또는 케이블일 수 있다.
제1 디바이스(14)와 연관된 사용자가 하고 있는 것을 다른 사용자들이 보게 하는 라이브 스트리밍과 같은 애플리케이션의 경우, 시스템(10a)의 유사한 구현이 전술된 바와 같이 사용될 수 있지만, 이제 사용자 데이터, 즉, 사용자 거동 데이터(UD)는 네트워크(12)와 같은 인터넷(또는 인트라넷)을 통해 전송되고, 제2 디바이스(16)와 같은 클라우드 서비스 또는 수신자 프로세싱 유닛 중 어느 하나가 사용자 뷰를 재생성하게 된다.
모바일 상의 기록 및 향후 임포트를 위한 다른 예에 따르면, 시스템(10a)은 디바이스, 즉 제1 디바이스(14) 자체에 사용자의 자세, 눈 추적 데이터 및 이벤트들을 저장하도록 구성될 수 있고, 제2 디바이스(16)와 같은 시스템(PC)은 기록된 파일을 임포트하고 장면을 실행할 수 있다. 기록된 데이터를 사용하여, 사용자가 이동했던 것과 동일한 방식으로 이동할 것이고, 이벤트들이 트리거될 것이다.
본 발명의 다른 예에 따르면, 또한 사용자의 자세, 눈 추적 데이터 및 이벤트들이 클라우드로 스트리밍되고, 그곳에서 수집되고 렌더링될 수 있으며, 이는 도 2에 개략적으로 도시되어 있다. 도 2는 본 발명의 다른 실시예에 따른, 시스템(10b)의 본체 개략도를 도시한다. 이 경우에, 시스템(10b)은 도 1에 관하여 이미 설명된 바와 같이 제1 디바이스(14)로서 구성될 수 있는 제1 디바이스(14)를 포함한다. 그러나, 이 경우에, 제2 디바이스(16)는 도 1에 대해 설명된 바와 같은 클라이언트 PC 가 아니고, 대신 클라우드 서버이다. 따라서, 캡처된 사용자들 자세, 눈 추적 데이터 및 이벤트들과 같은 사용자 거동 데이터(UD)는 네트워크(12)를 통해 클라우드 서버(16)로 스트리밍되며, 이는 전송된 사용자 거동 데이터(UD)를 저장된 기준 데이터(VRD)와 조합하여 사용자 거동을 재생성한다. 클라우드 기반 시스템, 즉 제2 디바이스(16)는 그럼으로써 데이터, 즉 사용자 거동 데이터(UD), 및 기준 데이터(VRD)에 의해 제공되는 장면 모델을 사용하여, 제1 디바이스(14)와 연관된 사용자와 같이 뷰를 렌더링한다. 이어서, 취합된 사용자 데이터는 온라인 포탈(portal)을 통해, 예컨대, 각자의 제3 디바이스(28)와 연관된 제3자에게 이용가능하게 될 수 있으며, 제1 디바이스(14)와 연관된 사용자의 시야가 전통적인 2D 비디오 비동기성으로 렌더링되고 이어서 평가에 이용가능하게 된다. 각자의 제1 디바이스들(14)에 의해 동일한 시나리오를 경험하는 다수의 사용자들로부터의 명시적인(그러나 필수적이지는 않은) 데이터가 이와 같이 이용가능하게 될 수 있다.
도 3은 본 발명의 일 실시예에 따른, 적어도 하나의 기준 객체에 대한 사용자의 사용자 거동에 관한 정보를 네트워크(12)를 통해 제1 디바이스(14)로부터 제2 디바이스(16)로 제공하기 위한 방법을 도시하는 흐름도를 도시한다. 이러한 실시예에 따르면, 단계(S10)에서, 가상 장면(VRS)의 제1 이미지가 제1 디바이스(14)의 디스플레이 디바이스(18) 상에 제1 디바이스(14)와 연관된 제1 사용자에게 디스플레이되고, 제1 이미지를 디스플레이하는 동안, 단계(S12)에서 제1 디바이스(14)의 캡처 디바이스(20a, 20b)가 디스플레이된 가상 장면(VRS)에 대한 사용자의 적어도 하나의 사용자 거동 특성을 캡처한다. 그 후에, 적어도 하나의 캡처된 사용자 거동 특성은 단계(S14)에서 사용자 거동 데이터(UD)의 형태로 제2 디바이스(16)로 전송되고, 이는 전송된 사용자 거동 데이터(UD)를 단계(S10)에서 제시된 가상 장면(VRS)을 기술하는 기준 데이터(VRD)와 조합하는데, 이들 기준 데이터(VRD)는 제2 디바이스(16) 상에 먼저 저장되어 있다. 이러한 조합에 의해, 제2 디바이스(16)는 가상 장면(VRS)에 대한 사용자 거동을 재구성하고, 단계(S18)에서의 결과를 제2 디바이스(16)의 디스플레이 디바이스 상에 디스플레이한다.
이러한 예에서, 가상 장면(VRS)의 디스플레이, 대응하는 사용자 거동 특성들의 캡처, 사용자 거동 데이터(UD)의 전송, 및 제2 디바이스(16) 상의 사용자 거동의 재구성 및 디스플레이는 라이브 스트리밍의 형태로 실시간으로 연속적으로 수행된다.
도 4는 본 발명의 다른 실시예에 따른, 적어도 하나의 기준 객체에 대한 사용자의 사용자 거동에 관한 정보를 네트워크(12)를 통해 제1 디바이스(14)로부터 제2 디바이스(16)로 제공하기 위한 방법을 도시하기 위한 흐름도를 도시한다. 이러한 실시예에 따르면, 단계(S20)에서, 제1 디바이스(14)와 연관된 사용자에게 가상 장면(VRS)을 제시하는 이미지들의 스트림이 디스플레이되고, 이미지들의 스트림의 디스플레이 동안, 사용자의 사용자 거동 특성들이 단계(S22)에서 캡처되는데, 이는 단계(S24)에서 제1 디바이스(14) 상에 저장된다. 이미지들의 스트림의 디스플레이가 종료된 후, 저장된 사용자 거동 데이터(UD)는 단계(S26)에서 네트워크(12)를 통해 제2 디바이스(16)로 전송되고, 단계(S28)에서 가상 장면(VRS)을 기술하는 저장된 기준 데이터(VRD)와 조합되어 - 이는 제1 디바이스(14)에 의해 사용자에게 디스플레이되었음 -, 그럼으로써 가상 장면(VRS)에 대한 사용자의 거동을 재구성한다. 단계(S30)에서, 재구성의 결과는 제2 디바이스(16) 자체에 의해 또는 제2 디바이스(16)로부터의 재구성의 결과를 검색한 제3 디바이스(28)에 의해 디스플레이된다.
본 발명 및 그의 실시 형태가, 특히 시장 조사, 과학 연구, 모바일 참여자를 이용한 사용자 거동의 훈련, 온라인 방송을 위한 게임/경험 스트리밍, 또는 SDK(소프트웨어 개발 키트)사용자의 배열에서 복수의 유리한 애플리케이션들을 허용하도록, 구성된 앱을 서버에 제공하고, 상사가 앱을 제어하고, 참여자들의 클라이언트들과 상호작용하고, 특히 참여자들의 집단 거동을 모니터링하는 것 뿐만 아니라, 모바일 눈 추적 참여자들의 그룹이 구성된 애플리케이션을 실행하도록 허용한다.
큰 이점이 본 발명 또는 그의 실시예들에 의해 달성될 수 있는데, 그 이유는 사용자 세션을 기록, 분석, 스트리밍 또는 공유하기 위한 목적으로 사용자 세션 동안 전송될 필수 데이터가 사용자의 자세, 사용자의 행동, 눈 추적, 감정 상태 및 얼굴 표정 데이터를 포함하는 (그러나 이들로 제한되지 않음)사용자의 현재 상태로 감소될 수 있기 때문이다.
본 발명 또는 그의 실시예들은 최소의 프로세싱 및 대역폭 오버헤드를 갖는, 모바일 가상 환경과 같은 가상 현실 환경에서 사용자 거동을 전송, 스트리밍 및 기록하게 한다. 사용자 거동은 사용자의 가상 환경과의 상호작용에 병렬로 인코딩 및 전송된다. 인코딩된 데이터는 독립적인 프로세싱 유닛에 의해 해석되어 사용자의 거동을 재생성할 수 있다.
따라서, 본 발명 또는 그의 실시예들은 사용자 장면을 전송하는 데 필요한 대역폭을 감소시키기 위해, 사용자의 디스플레이 또는 상호작용 디바이스에 독립적으로 사용자 세션을 기록하기 위해, 그리고 중앙 데이터 위치에서, 전송에 필요한 대역폭 요구를 감소시키기 위해 그리고 결과적으로 사용자 인지의 분석을 가능하게 하기 위한 실시간 HMD 사용자들의 현장 테스트들을 가능하게 한다.
도면 부호 목록:
Claims (27)
- 적어도 하나의 기준 객체(VRS)에 대한 사용자의 사용자 거동에 관한 정보를 네트워크(12)를 통해 제1 디바이스(14)로부터 제2 디바이스(16)로 제공하기 위한 방법으로서, 상기 제1 디바이스(14)는 상기 사용자와 연관되고,
- 상기 제1 디바이스(14) 및 상기 제2 디바이스(16) 각각은 상기 적어도 하나의 기준 객체(VRS)를 기술하는 기준 데이터(VRD)를 포함하고;
- 상기 제1 디바이스(14)는, 상기 적어도 하나의 기준 객체(VRS)에 대한 적어도 하나의 사용자 거동 특성을 캡처하는 눈 추적 디바이스(20a, 20b)를 포함하는 캡처 디바이스(20a, 20b; 22)를 포함하고 - 상기 캡처된 적어도 하나의 사용자 거동 특성은 상기 제1 디바이스(14)에 의해 사용자 거동 데이터(UD)의 형태로 제공됨 -;
- 상기 사용자 거동 데이터(UD)는 상기 네트워크(12)를 통해 상기 제1 디바이스(14)로부터 상기 제2 디바이스(16)로 전송되고; 및
- 상기 제2 디바이스(16)는 상기 전송된 사용자 거동 데이터(UD)를 상기 제2 디바이스(16)에 의해 포함된 기준 데이터(VRD)와 조합하고, 그럼으로써 상기 적어도 하나의 기준 객체(VRS)에 대한 상기 사용자 거동에 관한 상기 정보를 상기 제2 디바이스(16) 상에 제공하는 것을 특징으로 하는, 방법. - 제1항에 있어서,
상기 적어도 하나의 기준 객체(VRS)는:
- 기준 시스템, 특히 기준 좌표계;
- 디지털 가상 객체(VRS);
- 비디오 시퀀스 중 적어도 하나인 것을 특징으로 하는, 방법. - 제1항 또는 제2항에 있어서,
상기 적어도 하나의 기준 객체(VRS)는, 상기 제1 디바이스(14)에 의해 상기 사용자에게 디스플레이되는 적어도 하나의 디지털 가상 장면(VRS), 특히 디지털 가상 장면 이미지들(VRS)의 스트림인 것을 특징으로 하는, 방법. - 제3항에 있어서,
상기 기준 데이터(VRD)는 가상 장면(VRS)의 장면 모델을 기술하는 것을 특징으로 하는, 방법. - 제3항 또는 제4항에 있어서,
상기 적어도 하나의 사용자 거동 특성과 연관된 상기 사용자 거동 데이터(UD)를 전송할 때, 상기 제1 디바이스(14)는 또한 상기 적어도 하나의 사용자 특성이 캡처되었던 시점의 상기 적어도 하나의 캡처된 사용자 거동 특성과 상기 현재 가상 장면(VRS) 사이의 시간적 상관관계를 특징짓는 동기화 데이터를 전송하는 것을 특징으로 하는, 방법. - 제3항 내지 제5항 중 어느 한 항에 있어서,
상기 기준 데이터(VRD)는 상기 가상 장면(VRS)이 어떻게 변화하는지를 기술하는 것을 특징으로 하는, 방법. - 제3항 내지 제6항 중 어느 한 항에 있어서,
상기 기준 데이터(VRD)는 상기 가상 장면(VRS)의 미리 정의된 시간적 변화를 정의하고/하거나 상기 가상 장면(VRS)이 적어도 하나의 상호작용 이벤트, 특히 상기 제1 디바이스(14)에 의해 수신되는 상기 사용자의 입력, 또는 상기 제2 디바이스(16)로부터 상기 제1 디바이스(14)로 전송되는 제어 신호(CD)에 종속하여 어떻게 변화하는지 기술하는 것을 특징으로 하는, 방법. - 제1항 내지 제7항 중 어느 한 항에 있어서,
상기 캡처 디바이스(20a, 20b; 22)는 상기 적어도 하나의 기준 객체(VRS)와 상기 사용자의 상호작용을 캡처하고, 상기 캡처된 상호작용을 상호작용 데이터의 형태로 제공하며, 상기 상호작용 데이터는 상기 제1 디바이스(14)로부터 상기 제2 디바이스(16)로 전송되는 것을 특징으로 하는, 방법. - 제1항 내지 제8항 중 어느 한 항에 있어서,
상기 사용자 거동 특성을 캡처하기 위해, 상기 눈 추적 디바이스(20a, 20b)는 상기 사용자의 시선 지점 및/또는 상기 사용자의 시선 방향 및/또는 상기 적어도 하나의 기준 객체(VRS)에 대한 상기 사용자의 눈의 속성 또는 눈 특징부를 캡처하는 것을 특징으로 하는, 방법. - 제1항 내지 제9항 중 어느 한 항에 있어서,
상기 사용자 거동 특성을 캡처하기 위해, 상기 눈 추적 디바이스(20a, 20b)는
- 눈꺼풀 닫힘의 백분율;
- 눈꺼풀 자세;
- 상기 사용자의 한쪽 또는 양쪽 눈의 눈 위치;
- 상기 사용자의 머리의 머리 배향;
- 상기 사용자의 머리의 머리 위치;
- 상기 사용자의 얼굴의 얼굴 표정;
- 상기 사용자의 동공의 동공 크기;
- 눈 움직임 특성, 특히 눈 고정(eye fixation) 중 적어도 하나를 캡처하는 것을 특징으로 하는, 방법. - 제1항 내지 제10항 중 어느 한 항에 있어서,
상기 사용자 거동 특성 또는 제2 사용자 거동 특성을 캡처하기 위해, 상기 캡처 디바이스(20a, 20b; 22)는,
- 상기 사용자의 위치;
- 상기 사용자의 자세;
- 상기 사용자의 배향;
- 상기 사용자의 제스처 중 적어도 하나를 캡처하는 것을 특징으로 하는, 방법. - 제1항 내지 제11항 중 어느 한 항에 있어서,
상기 제2 디바이스(16)는 상기 수신된 사용자 거동 데이터(UD) 및 상기 제2 디바이스(16)에 의해 포함된 상기 기준 데이터(VRD)에 종속하여 상기 적어도 하나의 기준 객체(VRS)에 대한 상기 사용자 거동 특성을 분석하고, 상기 분석에 종속하여 사용자 상태가 결정되며, 특히 상기 사용자 상태는:
- 깨어있는 상태;
- 감정 상태;
- 인지 부하의 상태;
- 성능 상태;
- 각성 상태;
- 건강 상태;
- 심리 상태; 또는
- 상기 사용자의 의도 중 적어도 하나인 것을 특징으로 하는, 방법. - 제1항 내지 제12항 중 어느 한 항에 있어서,
상기 적어도 하나의 제2 디바이스(16)는 상기 전송된 사용자 거동 데이터(UD)를 상기 제2 디바이스(16)에 의해 포함된 상기 기준 데이터(VRD)와 조합하여, 상기 적어도 하나의 기준 객체(VRS)에 대한 상기 사용자 거동이 상기 제2 디바이스(16)에 의해 재생성되도록 하는 것을 특징으로 하는, 방법. - 제13항에 있어서,
상기 제2 디바이스(16) 또는 제3 디바이스(28)는 상기 적어도 하나의 기준 객체(VRS)에 대한 상기 재생성된 사용자 거동 특성의 시각적 표현을 제공하는 것을 특징으로 하는, 방법. - 제14항에 있어서,
상기 재생성된 사용자 거동의 상기 시각적 표현을 제공할 때, 상기 제2 디바이스(16) 또는 상기 제3 디바이스(28)는 또한 상기 적어도 하나의 사용자 거동 특성에 종속하여 상기 적어도 하나의 기준 객체(VRS)의 시각적 표현을 제공하여, 상기 기준 객체(VRS)가 상기 적어도 하나의 사용자 거동 특성이 캡처되었던 시점의 상기 제1 디바이스(14)에 의해 상기 기준 객체(VRS)가 상기 사용자에게 디스플레이되었던 방식과 동일하게 표현되도록 하는 것을 특징으로 하는, 방법. - 제3항 내지 제15항 중 어느 한 항에 있어서,
상기 제1 디바이스(14)는 장면 이미지들(VRS)의 스트림을 연속적으로 디스플레이하고, 상기 사용자 거동 특성을 연속적으로 캡처하고, 상기 사용자 거동 데이터(UD)는 특히 실시간으로 상기 제2 디바이스(16)로 연속적으로 전송되는 것을 특징으로 하는, 방법. - 제13항 내지 제16항 중 어느 한 항에 있어서,
상기 재생성 및/또는 시각적 표현 및/또는 분석은 실시간으로 또는 적어도 가까운 시간에 수행되는 것을 특징으로 하는, 방법. - 제1항 내지 제17항 중 어느 한 항에 있어서,
각각 각자의 제1 디바이스(14)와 연관된 다수의 사용자들의 다수의 사용자 거동 특성들이 다수의 사용자 거동 데이터세트들(UD)의 형태로 상기 각자의 제1 디바이스들(14)로부터 상기 제2 디바이스(16)로 전송되고, 상기 제2 디바이스(16)는 상기 전송된 사용자 거동 데이터세트들(UD)을 취합하는 것을 특징으로 하는, 방법. - 제18항에 있어서,
각각의 사용자의 상기 사용자 거동은 상기 취합된 사용자 거동 데이터세트들(UD)에 종속하여 상기 제2 디바이스(16)에 의해 상기 적어도 하나의 기준 객체(VRS)에 대해, 특히 오프라인에서 재생성되는 것을 특징으로 하는, 방법. - 제1항 내지 제19항 중 어느 한 항에 있어서,
상기 제2 디바이스(16)는 제3 디바이스(28)에 의한 검색을 위해 상기 전송된 사용자 거동 데이터(UD)와 상기 기준 데이터(VRD)의 조합의 결과를 상기 네트워크(12)를 통해 제공하는 것을 특징으로 하는, 방법. - 제1항 내지 제20항 중 어느 한 항에 따른 방법을 실행하도록 구성된 시스템(10a, 10b).
- 시스템(10a, 10b)으로서, 적어도 하나의 기준 객체(VRS)에 대한 사용자의 사용자 거동에 관한 정보를 네트워크(12)를 통해 상기 시스템의 제1 디바이스(14)로부터 상기 시스템의 제2 디바이스(16)로 제공하고, 상기 제1 디바이스(14)는 상기 사용자와 연관되고,
- 상기 제1 디바이스(14) 및 상기 제2 디바이스(16) 각각은 상기 적어도 하나의 기준 객체(VRS)를 기술하는 기준 데이터(VRD)를 포함하고;
- 상기 제1 디바이스(14)는 상기 적어도 하나의 기준 객체(VRS)와 관련하여 적어도 하나의 사용자 거동 특성을 캡처하고 상기 적어도 하나의 캡처된 사용자 특성을 사용자 거동 데이터(UD)의 형태로 제공하도록 구성되는 눈 추적 디바이스(20a, 20b)를 포함하는 캡처 디바이스(20a, 20b; 22)를 포함하고;
- 상기 시스템은 상기 사용자 거동 데이터(UD)를 상기 네트워크(12)를 통해 상기 제1 디바이스(14)로부터 상기 제2 디바이스(16)로 전송하도록 구성되고;
- 상기 제2 디바이스(16)는 상기 전송된 사용자 거동 데이터(UD)를 상기 제2 디바이스(16)에 의해 포함된 상기 기준 데이터(VRD)와 조합하고, 그럼으로써, 상기 적어도 하나의 기준 객체(VRS)에 대한 상기 사용자 거동에 관한 상기 정보를 상기 제2 디바이스(16) 상에 제공하도록 구성되는 것을 특징으로 하는, 시스템. - 시스템(10a, 10b)에 사용하기 위한 클라이언트 디바이스(14)로서, 적어도 하나의 기준 객체(VRS)에 대한 사용자의 사용자 거동에 관한 정보를 네트워크(12)를 통해 상기 시스템의 상기 클라이언트 디바이스(14)로부터 상기 시스템의 제2 디바이스(16)로 제공하고,
- 상기 클라이언트 디바이스(14)는 상기 적어도 하나의 기준 객체(VRS)를 기술하는 기준 데이터(VRD)를 포함하고;
- 상기 클라이언트 디바이스(14)는 상기 적어도 하나의 기준 객체(VRS)와 관련하여 적어도 하나의 사용자 거동 특성을 캡처하고 상기 적어도 하나의 캡처된 사용자 특성을 사용자 거동 데이터(UD)의 형태로 제공하도록 구성되는 눈 추적 디바이스(20a, 20b)를 포함하는 캡처 디바이스(20a, 20b; 22)를 포함하고;
- 상기 클라이언트 디바이스(14)는 상기 제1 사용자 거동 데이터(UD)를 상기 네트워크(12)를 통해 상기 제2 디바이스(16)로 전송하도록 구성하는 것을 특징으로 하는, 클라이언트 디바이스. - 제24항에 있어서,
상기 클라이언트 디바이스(14)는 모바일 디바이스, 특히 헤드 마운트 디스플레이를 포함하는 헤드 마운트 디바이스 또는 모바일 폰 또는 스마트폰으로서 구성되는 것을 특징으로 하는, 클라이언트 디바이스(14). - 시스템에 사용하기 위한 서버(16)로서, 적어도 하나의 기준 객체(VRS)에 대한 사용자의 사용자 거동에 관한 정보를 네트워크(12)를 통해 제1 디바이스(14)로부터 상기 서버(16)로 제공하고,
- 상기 서버(16)는 상기 적어도 하나의 기준 객체(VRS)를 기술하는 기준 데이터(VRD)를 포함하고;
- 상기 서버(16)는 사용자 거동 데이터(UD)를 수신하도록 구성되고 - 상기 사용자 거동 데이터(UD)의 형태로 상기 사용자의 사용자 거동 특성이 상기 서버(16)로 전송됨 -;
- 상기 서버(16)는 상기 수신된 데이터를 상기 기준 데이터(VRD)와 조합하도록 구성되어, 상기 적어도 하나의 기준 객체(VRS)에 대한 상기 사용자 거동에 관한 상기 정보가 재생성되도록 하는 것을 특징으로 하는, 서버. - 제26항에 있어서,
상기 서버(16)는 웹 서버 또는 헤드 마운트 디바이스, 특히 안경, 가상 현실 안경, 증강 현실 안경, 헤드 마운트 디스플레이, 또는 모니터 또는 스크린을 포함하는 컴퓨터로서 구성되는 것을 특징으로 하는, 서버(16). - 컴퓨터(16)에 의해 실행될 때, 상기 컴퓨터(16)로 하여금 적어도 하나의 객체에 대한 사용자 거동 특성을 기술하는 수신된 사용자 거동 데이터(UD)를 상기 적어도 하나의 객체를 기술하는 저장된 기준 데이터(VRD)와 조합하여, 상기 적어도 하나의 기준 객체(VRS)에 대한 상기 사용자 거동에 관한 정보가 재생성되게 하는 프로그램 코드를 포함하는 컴퓨터 프로그램 제품.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020217007839A KR102362001B1 (ko) | 2016-06-16 | 2017-06-14 | 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP16174814 | 2016-06-16 | ||
| EP16174814.0 | 2016-06-16 | ||
| PCT/EP2017/064639 WO2017216273A1 (en) | 2016-06-16 | 2017-06-14 | Method and system for providing eye tracking based information about a user behavior, client device, server and computer program product |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217007839A Division KR102362001B1 (ko) | 2016-06-16 | 2017-06-14 | 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20190006553A true KR20190006553A (ko) | 2019-01-18 |
Family
ID=56203166
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187036375A KR20190006553A (ko) | 2016-06-16 | 2017-06-14 | 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 |
| KR1020217007839A KR102362001B1 (ko) | 2016-06-16 | 2017-06-14 | 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217007839A KR102362001B1 (ko) | 2016-06-16 | 2017-06-14 | 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US20190179423A1 (ko) |
| EP (2) | EP3455702B1 (ko) |
| KR (2) | KR20190006553A (ko) |
| CN (1) | CN109478097B (ko) |
| WO (1) | WO2017216273A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020231215A1 (ko) * | 2019-05-16 | 2020-11-19 | 주식회사 삼십구도씨 | 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| WO2020241944A1 (ko) * | 2019-05-31 | 2020-12-03 | 엘지전자 주식회사 | 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스 |
| US20220254116A1 (en) | 2021-02-09 | 2022-08-11 | Beijing Zitiao Network Technology Co., Ltd. | Display method based on augmented reality, device, storage medium and program product |
| US11829527B2 (en) | 2020-11-30 | 2023-11-28 | Samsung Electronics Co., Ltd. | Augmented reality device, electronic device interacting with augmented reality device, and controlling method thereof |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10055892B2 (en) | 2014-11-16 | 2018-08-21 | Eonite Perception Inc. | Active region determination for head mounted displays |
| US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
| US9928660B1 (en) * | 2016-09-12 | 2018-03-27 | Intel Corporation | Hybrid rendering for a wearable display attached to a tethered computer |
| US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
| US10643373B2 (en) | 2017-06-19 | 2020-05-05 | Apple Inc. | Augmented reality interface for interacting with displayed maps |
| US11145124B2 (en) | 2017-08-30 | 2021-10-12 | Ronald H. Winston | System and method for rendering virtual reality interactions |
| JP6953247B2 (ja) * | 2017-09-08 | 2021-10-27 | ラピスセミコンダクタ株式会社 | ゴーグル型表示装置、視線検出方法及び視線検出システム |
| US10777007B2 (en) | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
| WO2019194434A1 (ko) * | 2018-04-05 | 2019-10-10 | 엘지전자 주식회사 | 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치 |
| CN110545363B (zh) * | 2018-05-28 | 2022-04-26 | 中国电信股份有限公司 | 实现多终端联网同步的方法、系统和云端服务器 |
| US10863812B2 (en) | 2018-07-18 | 2020-12-15 | L'oreal | Makeup compact with eye tracking for guidance of makeup application |
| US10809760B1 (en) * | 2018-10-29 | 2020-10-20 | Facebook, Inc. | Headset clock synchronization |
| US10558261B1 (en) * | 2018-10-29 | 2020-02-11 | Facebook Technologies, Llc | Sensor data compression |
| TWI726445B (zh) * | 2019-04-08 | 2021-05-01 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置 |
| CN110727352A (zh) * | 2019-10-31 | 2020-01-24 | 哈雷医用(广州)智能技术有限公司 | 一种对抑郁症具有改善作用的电子产品及其控制方法 |
| US11644902B2 (en) * | 2020-11-30 | 2023-05-09 | Google Llc | Gesture-based content transfer |
| CN112631429B (zh) * | 2020-12-28 | 2022-06-21 | 天翼阅读文化传播有限公司 | 一种虚拟现实场景下的注视点语音交互装置及方法 |
| US11748958B2 (en) * | 2021-12-07 | 2023-09-05 | Snap Inc. | Augmented reality unboxing experience |
| US11960784B2 (en) | 2021-12-07 | 2024-04-16 | Snap Inc. | Shared augmented reality unboxing experience |
| US20240070300A1 (en) * | 2022-08-31 | 2024-02-29 | Youjean Cho | Selective collaborative object access based on timestamp |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2499964B1 (en) * | 2011-03-18 | 2015-04-15 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Optical measuring device and system |
| US9897805B2 (en) * | 2013-06-07 | 2018-02-20 | Sony Interactive Entertainment Inc. | Image rendering responsive to user actions in head mounted display |
| EP3666352B1 (en) * | 2011-10-28 | 2021-12-01 | Magic Leap, Inc. | Method and device for augmented and virtual reality |
| US20130335405A1 (en) * | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
| EP2709060B1 (en) * | 2012-09-17 | 2020-02-26 | Apple Inc. | Method and an apparatus for determining a gaze point on a three-dimensional object |
| US9342929B2 (en) * | 2013-01-22 | 2016-05-17 | Microsoft Technology Licensing, Llc | Mixed reality experience sharing |
| AU2015297035B2 (en) * | 2014-05-09 | 2018-06-28 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| US20160027218A1 (en) * | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
| WO2016017997A1 (en) * | 2014-07-31 | 2016-02-04 | Samsung Electronics Co., Ltd. | Wearable glasses and method of providing content using the same |
| CN105446474B (zh) * | 2014-09-26 | 2018-08-10 | 中芯国际集成电路制造(上海)有限公司 | 可穿戴智能设备及其交互的方法、可穿戴智能设备系统 |
| EP3307407B1 (en) * | 2015-06-14 | 2020-09-09 | Sony Interactive Entertainment Inc. | Expanded field of view re-rendering for vr spectating |
| US20170246544A1 (en) * | 2016-02-26 | 2017-08-31 | Microsoft Technology Licensing, Llc | Video game streaming for spectating |
| US10112111B2 (en) * | 2016-03-18 | 2018-10-30 | Sony Interactive Entertainment Inc. | Spectator view perspectives in VR environments |
-
2017
- 2017-06-14 KR KR1020187036375A patent/KR20190006553A/ko active Application Filing
- 2017-06-14 CN CN201780044554.3A patent/CN109478097B/zh active Active
- 2017-06-14 US US16/308,810 patent/US20190179423A1/en not_active Abandoned
- 2017-06-14 EP EP17729163.0A patent/EP3455702B1/en active Active
- 2017-06-14 WO PCT/EP2017/064639 patent/WO2017216273A1/en unknown
- 2017-06-14 EP EP20189234.6A patent/EP3751396A1/en active Pending
- 2017-06-14 KR KR1020217007839A patent/KR102362001B1/ko active IP Right Grant
-
2022
- 2022-08-23 US US17/893,493 patent/US20220404916A1/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020231215A1 (ko) * | 2019-05-16 | 2020-11-19 | 주식회사 삼십구도씨 | 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| KR20200132241A (ko) * | 2019-05-16 | 2020-11-25 | 주식회사 삼십구도씨 | 복수의 디바이스를 이용하여 증강 현실 객체가 포함된 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| WO2020241944A1 (ko) * | 2019-05-31 | 2020-12-03 | 엘지전자 주식회사 | 차량 제어 방법 및 차량을 제어하는 지능형 컴퓨팅 디바이스 |
| US11383720B2 (en) | 2019-05-31 | 2022-07-12 | Lg Electronics Inc. | Vehicle control method and intelligent computing device for controlling vehicle |
| US11829527B2 (en) | 2020-11-30 | 2023-11-28 | Samsung Electronics Co., Ltd. | Augmented reality device, electronic device interacting with augmented reality device, and controlling method thereof |
| US20220254116A1 (en) | 2021-02-09 | 2022-08-11 | Beijing Zitiao Network Technology Co., Ltd. | Display method based on augmented reality, device, storage medium and program product |
| KR20220116440A (ko) * | 2021-02-09 | 2022-08-23 | 베이징 지티아오 네트워크 테크놀로지 컴퍼니, 리미티드 | 증강 현실 기반 디스플레이 방법, 기기, 저장매체 및 프로그램 제품 |
| US11763533B2 (en) | 2021-02-09 | 2023-09-19 | Beijing Zitiao Network Technology Co., Ltd. | Display method based on augmented reality, device, storage medium and program product |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3455702B1 (en) | 2020-08-05 |
| CN109478097A (zh) | 2019-03-15 |
| KR102362001B1 (ko) | 2022-02-14 |
| US20220404916A1 (en) | 2022-12-22 |
| KR20210032553A (ko) | 2021-03-24 |
| EP3455702A1 (en) | 2019-03-20 |
| CN109478097B (zh) | 2022-02-22 |
| EP3751396A1 (en) | 2020-12-16 |
| WO2017216273A1 (en) | 2017-12-21 |
| US20190179423A1 (en) | 2019-06-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102362001B1 (ko) | 사용자 거동에 관한 눈 추적 기반 정보를 제공하기 위한 방법 및 시스템, 클라이언트 디바이스, 서버 및 컴퓨터 프로그램 제품 | |
| US11238568B2 (en) | Method and system for reconstructing obstructed face portions for virtual reality environment | |
| Duchowski | Gaze-based interaction: A 30 year retrospective | |
| US11178456B2 (en) | Video distribution system, video distribution method, and storage medium storing video distribution program | |
| US10088896B2 (en) | Queasiness management for virtual reality systems | |
| US20160188585A1 (en) | Technologies for shared augmented reality presentations | |
| US20080231686A1 (en) | Generation of constructed model for client runtime player using motion points sent over a network | |
| US10832483B2 (en) | Apparatus and method of monitoring VR sickness prediction model for virtual reality content | |
| JP7416903B2 (ja) | 動画配信システム、動画配信方法、及び動画配信プログラム | |
| Castillo et al. | The semantic space for motion‐captured facial expressions | |
| Duchowski | Serious gaze | |
| Duchowski | Eye-based interaction in graphical systems: 20 years later gaze applications, analytics, & interaction | |
| Becker-Asano et al. | On the effect of operator modality on social and spatial presence during teleoperation of a human-like robot | |
| Suguitan et al. | What is it like to be a bot? Variable perspective embodied telepresence for crowdsourcing robot movements | |
| JP7442107B2 (ja) | 動画再生装置、動画再生方法、及び動画配信システム | |
| JP6731532B1 (ja) | 動画再生装置、動画再生方法、及び動画配信システム | |
| US20240054816A1 (en) | Automated eye tracking assessment solution for skill development | |
| Schiavo et al. | Engagement recognition using easily detectable behavioral cues | |
| Sasikumar et al. | A User Study on Sharing Physiological Cues in VR Assembly Tasks | |
| CN114967931A (zh) | 一种虚拟对象的运动控制方法、装置及可读存储介质 | |
| Mancini et al. | Effects of gender mapping on the perception of emotion from upper body movement in virtual characters | |
| Nakagawa et al. | Model-Based Analysis of the Differences in Sensory Perception between Real and Virtual Space: Toward “Adaptive Virtual Reality” | |
| Zheleva et al. | An Integrative Literature Review of Quality of Experience in Virtual Reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X601 | Decision of rejection after re-examination | ||
| A107 | Divisional application of patent |