KR20200123833A - 헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법 - Google Patents

헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법 Download PDF

Info

Publication number
KR20200123833A
KR20200123833A KR1020207028002A KR20207028002A KR20200123833A KR 20200123833 A KR20200123833 A KR 20200123833A KR 1020207028002 A KR1020207028002 A KR 1020207028002A KR 20207028002 A KR20207028002 A KR 20207028002A KR 20200123833 A KR20200123833 A KR 20200123833A
Authority
KR
South Korea
Prior art keywords
motion
camera
hmd
video
display device
Prior art date
Application number
KR1020207028002A
Other languages
English (en)
Other versions
KR102456332B1 (ko
Inventor
조세 아라우조
볼로디아 그란차로브
구닐라 번트손
알빈 주드 하리 하란
Original Assignee
텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘) filed Critical 텔레호낙티에볼라게트 엘엠 에릭슨(피유비엘)
Publication of KR20200123833A publication Critical patent/KR20200123833A/ko
Application granted granted Critical
Publication of KR102456332B1 publication Critical patent/KR102456332B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/04—Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

제1 시야(FoV)(111)를 이용하여 실세계 장면의 비디오를 캡처하도록 구성된 카메라(101), 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 구성된 네트워크 인터페이스 회로(102), 및 처리 수단(103)을 포함하고, 처리 수단(103)은, 실세계 장면의 3D 모델을 생성하고, 제1 FoV(111)보다 넓은 제2 FoV를 이용하여 3D 모델로부터 비디오를 생성하도록 동작가능한, 헤드 장착형 디스플레이(HMD)(100)가 제공된다. 처리 수단(103)은 카메라(101)의 모션을 추정하고, 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는 경우, 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하고, 그렇지 않은 경우, 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 더 동작가능하다. 또한, HMD에 의해 수행되는 방법, 대응하는 컴퓨터 프로그램, 및 대응하는 컴퓨터 판독가능 저장 매체가 제공된다.

Description

헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법
본 발명은 헤드 장착형 디스플레이(Head-Mounted Display)(HMD), HMD에 의해 수행되는 방법, 대응하는 컴퓨터 프로그램, 및 대응하는 컴퓨터 판독가능 저장 매체에 관한 것이다.
헤드 장착형 디스플레이(HMD)들 또는 유사한 디바이스들이 시각적 원격 안내 응용들(visual remote-guidance applications)에서 이용될 수 있다. 예를 들어, 무선 기지국(radio base station)을 서빙하기 위한 장소(site)를 방문하는 지원 엔지니어(support engineer)는 무선 기지국 캐비닛(radio base station cabinet)과 같은, 지원 엔지니어가 보고 있는 물리적 실세계 장면(physical real-world scene)의 비디오를 캡처하는 전방 카메라(front-facing camera)를 포함하는 HMD를 착용할 수 있다. HMD는 지원 엔지니어에게 관련 문서를 디스플레이함과 동시에, 캡처된 비디오를 원격 위치, 예를 들어, 네트워크 운영 센터(Network Operations Center)(NOC)에 스트리밍하는데 이용될 수 있고, NOC에서, 지원 엔지니어를 안내 및/또는 보조하는 전문가가 캡처된 비디오를 본다.
HMD에 포함된 카메라의 제한된 시야(Field-of-View)(FoV)로 인해, HMD 카메라에 의해 캡처된 비디오를 보는 사람은 지원 엔지니어에 의해 방문된 장소의 제한된 FoV만을 갖는다. 특히, 이것은 서비스될 장비의 클로즈업 뷰(close-up view)를 제공하기 위해 HMD 카메라가 줌인(zoomed-in)되는 경우에 그러하다.
캡처된 비디오의 제한된 FoV의 결과로서, 캡처된 비디오를 주시(watching)하는 사람은 시각적으로 유도된 멀미(Visually Induced Motion Sickness)(VIMS)를 겪을 수 있다. 특히, 이것은 HMD 카메라가 빠르게 이동하고 있는 경우, 예를 들어, 지원 엔지니어가 자신의 머리를 회전시키거나 위치를 빠르게 변경하는 경우에 그러하다. 일반적으로, VIMS는 보여지지만 느껴지지 않는 모션(motion)에 의해 야기된다. 제한된 FoV로 인해, 실세계 장면에서의 시각적 기준점들(visual reference points)의 서브세트만이 비디오에 의해 캡처된다.
본 발명의 목적은 상기의 기술들 및 종래 기술에 대한 개선된 대안을 제공하는 것이다.
보다 구체적으로, 본 발명의 목적은 시각적 원격 안내 응용들을 위한 개선된 솔루션들을 제공하는 것이다. 특히, 본 발명의 목적은 VIMS의 위험을 완화시키는 시각적 원격 협력(visual remote collaboration)을 위한 솔루션들을 제공하는 것이다.
본 발명의 이들 및 다른 목적들은 독립 청구항들에 의해 정의된 바와 같은 본 발명의 상이한 양태들에 의해 달성된다. 본 발명의 실시예들은 종속 청구항들에 의해 특징화된다.
본 발명의 제1 양태에 따르면, HMD가 제공된다. HMD는 제1 FoV를 이용하여 실세계 장면의 비디오를 캡처하도록 구성된 카메라, 비디오를 수신 디스플레이 디바이스(receiving display device)에 스트리밍하도록 구성된 네트워크 인터페이스 회로, 및 처리 수단을 포함한다. 처리 수단은 실세계 장면의 3D 모델을 생성하고, 제1 FoV보다 넓은 제2 FoV를 이용하여 3D 모델로부터 비디오를 생성하도록 동작가능하다. 처리 수단은 카메라의 모션을 추정하고, 카메라의 추정된 모션이 빠른 모션(rapid motion)을 나타내는 하나 이상의 조건을 충족하는 경우, 생성된 비디오를 수신 디스플레이 디바이스에 스트리밍하고, 그렇지 않은 경우, 캡처된 비디오를 수신 디스플레이 디바이스에 스트리밍하도록 더 동작가능하다.
본 발명의 제2 양태에 따르면, HMD에 의해 수행되는 방법이 제공된다. 방법은 HMD에 포함된 카메라를 이용하여 제1 FoV를 이용하여 실세계 장면의 비디오를 캡처하는 단계, 실세계 장면의 3D 모델을 생성하는 단계, 및 제1 FoV보다 넓은 제2 FoV를 이용하여 3D 모델로부터 비디오를 생성하는 단계를 포함한다. 방법은 카메라의 모션을 추정하는 단계, 및 카메라의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는 경우, HMD에 포함된 네트워크 인터페이스 회로를 이용하여, 생성된 비디오를 수신 디스플레이 디바이스에 스트리밍하는 단계, 그렇지 않은 경우, 네트워크 인터페이스 회로를 이용하여, 캡처된 비디오를 수신 디스플레이 디바이스에 스트리밍하는 단계를 더 포함한다.
본 발명의 제3 양태에 따르면, 컴퓨터 프로그램이 제공된다. 컴퓨터 프로그램은 컴퓨터 실행가능 명령어들을 포함하고, 컴퓨터 실행가능 명령어들은, 컴퓨터 실행가능 명령어들이 HMD에 포함된 처리 유닛 상에서 실행될 때, HMD로 하여금 본 발명의 제2 양태의 실시예에 따른 방법을 수행하게 한다.
본 발명의 제4 양태에 따르면, 컴퓨터 판독가능 저장 매체가 제공된다. 컴퓨터 판독가능 저장 매체는 본 발명의 제3 양태에 따른 컴퓨터 프로그램을 저장한다.
본 발명은, 카메라가 빠르게 이동하는 경우, HMD의 실시예에 의해 스트리밍되는 비디오의 뷰어에 대한 VIMS를 겪을 위험이, 캡처된 비디오가 아닌 줌아웃 생성된 비디오(zoomed-out generated video)를 스트리밍함으로써 완화된다는 이해를 이용한다.
본 발명의 이점들이 일부 경우들에서는 본 발명의 제1 양태의 실시예들을 참조하여 설명되었지만, 대응하는 추론이 본 발명의 다른 양태들의 실시예들에도 적용된다.
본 발명의 다른 목적들, 특징들 및 이점들은 이하의 상세한 개시내용, 도면들 및 첨부된 청구항들에 의해 명백해질 것이다. 본 기술분야의 통상의 기술자는 본 발명의 상이한 특징들이 결합되어, 이하에서 설명되는 것 이외의 실시예들을 생성할 수 있다는 것을 인식한다.
본 발명의 상기한 목적들, 특징들 및 이점들 뿐만 아니라, 추가적인 목적들, 특징들 및 이점들은, 첨부된 도면들을 참조한 본 발명의 실시예들에 대한 이하의 예시적이고 비제한적인 상세한 설명을 통해 더 잘 이해될 것이다.
도 1은 본 발명의 실시예들에 따른, 원격 협력 시나리오(remote collaboration scenario)에서의 HMD를 도시한다.
도 2는 본 발명의 실시예들에 따른, HMD에 의한 스트리밍 비디오를 도시한다.
도 3은 HMD에 포함된 처리 수단의 실시예를 도시한다.
도 4는 HMD에 포함된 처리 수단의 다른 실시예를 도시한다.
도 5는 본 발명의 실시예들에 따른, HMD에 의해 수행되는 방법을 도시한다.
모든 도면들은 개략적이며, 반드시 실제 축척일 필요는 없고, 일반적으로, 본 발명을 설명하기 위해 필요한 부분들만을 도시하며, 다른 부분들은 생략되거나 단순히 제안되기만 할 수 있다.
본 발명은 이제, 본 발명의 특정 실시예들이 도시되는 첨부 도면들을 참조하여 이하에서 보다 완전하게 설명될 것이다. 그러나, 본 발명은 많은 상이한 형태들로 구현될 수 있으며, 본 명세서에서 개시된 실시예들로 제한되는 것으로 간주되지 않아야 한다. 오히려, 이들 실시예들은, 본 개시가 철저하고 완전하게 되고, 본 기술분야의 통상의 기술자에게 본 발명의 범위를 충분히 전달하도록, 예로써 제공된다.
본 발명은 시각적 원격 안내에 관한 것으로서, 본 문맥에서, 제1 사람, 예를 들어, 헤드 장착형 디스플레이(HMD)를 착용하고 있는 지원 엔지니어에 의해 착용된 헤드 장착 카메라를 이용하여 비디오를 캡처하는 것, 및 캡처된 비디오를 (예를 들어, 스트리밍에 의해) 상이한, 그리고 잠재적으로는 원격인 위치에서, 캡처된 비디오를 보고 있는 제2 사람과 공유하는 것을 포함한다. 제2 사람은, 예를 들어, 서빙될 필요가 있는 장소, 예를 들어, 전기 통신 네트워크(telecommunications network)의 무선 기지국 또는 다른 장비를 방문하고 있는 지원 엔지니어를 안내 및/또는 지원하는 전문가일 수 있다. 본 발명의 실시예들은 주로 전기 통신 네트워크의 장비를 서빙하는 것과 관련하여 설명되지만, 본 발명의 실시예들은 차량들(vehicles)(예를 들어, 자동차들, 화물차(lorry)들, 열차들, 및 비행기들)을 서빙하는 것, 가전 제품들(household appliances)(예를 들어, 식기 세척기들, 세탁기들, 냉장고들, 및 열 펌프들(heat pumps))을 서빙하는 것, 데이터 센터들에서의 컴퓨터들 및 네트워크 장비를 서빙하는 것, 건설 공사를 모니터링하는 것, (예를 들어, 보안 요원들(security guards) 또는 법 집행 요원(law enforcement personnel)에 의한) 감시 등과 같은 많은 상이한 타입들의 시각적 원격 안내 응용들에서 이용될 수 있음을 이해할 것이다.
도 1에서, 본 발명의 실시예들에 따른 HMD(100)가 도시된다. HMD(100)는 제1 시야(FoV)(111)를 이용하여 실세계 장면의 비디오를 캡처하도록 구성되는 카메라(101)를 포함한다. 카메라(101)는, 예를 들어, HMD(100)를 착용하고 있는 사용자(151) 앞에서의 장면을 캡처하는 전방 카메라일 수 있다. HMD(100)는 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 구성되는 네트워크 인터페이스 회로(102)를 더 포함하고, 여기서 비디오는 뷰어(152)에게 렌더링되고 디스플레이될 수 있다. 도 1에 도시된 바와 같이, HMD(100)를 착용하고 있는 사람(151)(본 명세서에서 "사용자"라고 지칭됨) 및 뷰어(152)는 상이한, 잠재적으로는 원격인 위치들에 있을 수 있다. 상기시킴에 있어서, 사용자(151) 및 뷰어(152)는 원격으로 협력하고 있다고 가정된다. 예를 들어, 사용자(151)는 무선 기지국 캐비닛(121)이 배치되는 전기 통신 네트워크의 무선 기지국 장소를 방문하는 지원 엔지니어일 수 있다. 수신 디스플레이 디바이스(140)를 이용하여, 카메라(101)에 의해 캡처된 라이브 비디오 스트림을 보는 뷰어(152)는, 지원 엔지니어(뷰어)(151)를 안내 및/또는 보조하는 전문가일 수 있다.
네트워크 인터페이스 회로(102)는, 예를 들어, 임의의 알려진 유선 또는 무선 통신 기술에 기초할 수 있다. 예를 들어, 네트워크 인터페이스 회로(102)는 WLAN(Wireless Local Arena Network)/Wi-Fi 또는 블루투스와 같은 단거리 무선 기술(short-range radio technology), 또는 GSM(Global System for Mobile communications), UMTS(Universal Mobile Telecommunications System), LTE(Long Term Evolution), 또는 NR/NX에 기초한 5G 기술과 같은 셀룰러 무선 기술(cellular radio technology)에 기초할 수 있다. HMD(100)와 수신 디스플레이 디바이스(140) 사이의 통신들, 즉, 데이터의 교환, 특히, 비디오의 스트리밍은 임의의 적절한 프로토콜, 예를 들어, HTTP(HyperText Transfer Protocol), CoAP(Constrained Application Protocol), RTSP(Real-time Streaming Protocol), RTP(Real-time Transport Protocol), RTCP(Real-time Transport Control Protocol), DASH(Dynamic Adaptive Streaming over HTTP) 등을 이용하여 개시될 수 있다. 도 1에 예시된 바와 같이, HMD(100)와 수신 디스플레이 디바이스(140) 사이의 통신들은 유선 또는 무선 접속들(131 및 132) 및 하나 이상의 통신 네트워크(130), 예를 들어, 인터넷을 통해 전송될 수 있다.
HMD(100)는, HMD(100)로 하여금 본 명세서에 개시된 본 발명의 실시예들에 따라 수행하게 하도록 동작가능한 처리 수단(103)을 더 포함한다. 보다 구체적으로, HMD(100)는 실세계 장면의 3D 모델을 생성하고, 제1 FoV(111)보다 넓은 제2 FoV, 즉, 실세계 장면의 "줌아웃" 뷰를 이용하여 3D 모델로부터 비디오를 생성하도록 동작가능하다. 3D 모델은, 예를 들어, 카메라(101)에 의해 캡처된 비디오로부터 생성(이 목적을 위해, 카메라(101)는 줌아웃, 즉, 그의 FoV(111)를 증가시킬 필요가 있음)되고/되거나, 예를 들어, 입체 카메라(stereoscopic camera)를 형성하는 HMD(100)에 포함된 추가적인 카메라로부터 생성될 수 있다. 대안으로서, 또는 추가로, 3D 모델은, 예를 들어, LIDAR 또는 유사한 레이더 기술들(radar technologies), 또는 다른 타입들의 3D 스캐너들을 이용하여, 하나 이상의 심도 센서(depth sensor)로부터 생성될 수 있다. LIDAR는 펄스 레이저 광(pulsed laser light)으로 물체를 조명하고, 반사된 펄스들을 센서로 검출함으로써, 타겟 물체까지의 거리를 측정한다. 레이저 복귀 시간들(laser return times) 및 파장들에서의 차이들은 이후, 물체의 3D 표현, 즉, 3D 모델, 및 그에 따라, 복수의 물체들을 포함하는 실세계 장면의 모델을 생성하기 위해 이용될 수 있다.
3D 모델은, 예를 들어, 포인트 클라우드(point cloud)로서 생성, 저장 및 처리될 수 있다. 일반적으로, 포인트 클라우드는 일부 좌표계에서의 데이터 포인트들의 세트이다. 포인트 클라우드에 기초하여, 컴퓨터 그래픽 분야에 알려진 다수의 방법들을 이용하여 3D 표면이 생성될 수 있다. 포인트 클라우드들로부터 표면들을 재구성하기 위한 방법들에 대한 개요는, M. Berger, A. Tagliasacchi, L. M. Seversky, P. Alliez, G. Guennebaud, J. A. Levine, A. Sharf 및 C. T. Silva에 의한, "A Survey of Surface Reconstruction from Point Clouds", Computer Graphics Forum, Volume36, pages301-329, Wiley, 2017의 문헌에 의해 주어졌다. 예로서, 이동하는 저비용 심도 카메라(마이크로소프트 키넥트 센서(Microsoft Kinect sensor))를 이용하는 실내 장면들의 실시간 매핑은, R. A. Newcombe, S. Izadi, O. Hilliges, D. Molyneaux, D. Kim, A. J. Davison, P. Kohi, J. Shotton, S. Hodges 및 A. Fitzgibbon에 의한, "KinectFusion: Real-time dense surface mapping and tracking", 10th IEEE International Symposium on Mixed and Augmented Reality(ISMAR), pages127-136, IEEE, 2012의 문헌에 의해 보고되었다. 추가적인 예로서, 스테레오 심도 카메라들(stereo depth cameras)을 이용하여 사람들, 가구, 및 물체들을 포함하는 공간의 실시간 3D 재구성이, S. Orts-Escolano 등에 의한, "Holoportation: Virtual 3D Teleportation in Real-time", Proceedings of the 29th Annual Symposium on User Interface Software and Technology(UIST '16), pages741-754, ACM, 2016의 문헌에 의해 입증되었다.
비디오는 컴퓨터 그래픽 분야에서 알려진 바와 같이, 예를 들어, 포인트 클라우드에 의해 표현되는 것으로서, 3D 모델로부터 후속하여 생성될 수 있다. 이것은, 예를 들어, 포인트 클라우드 라이브러리(Point Cloud Library)(PCL)(http://pointclouds.org/), 2D/3D 이미지 및 포인트 클라우드 처리를 위한 프레임워크, 오픈 그래픽 라이브러리(Open Graphics Library)(OpenGL)(https://www.opengl.org/), 2D 및 3D 벡터 그래픽을 렌더링하기 위한 라이브러리, 또는 유니티(Unity) 3D(https://unity3d.com/), 2D 및 3D 비디오를 렌더링하기 위한 게임 엔진과 같은 용이하게 이용가능한 소프트웨어를 이용함으로써 달성될 수 있다.
HMD(100)는 카메라(101)의 모션을 추정하도록 더 동작가능하다. 예를 들어, HMD(100)는 가속도계들, 자이로스코프들, 자력계들(magnetometers), GPS(Global Positioning System) 센서들 등과 같은, HMD(100)의 모션을 감지하도록 구성된 적어도 하나의 모션 센서(104)를 더 포함할 수 있다. HMD(100)는, 모션 센서(들)(104)로부터 수신된 측정 데이터 및/또는 신호들을 분석함으로써 HMD(100)의 감지된 모션에 기초하여, 그리고, HMD(100)의 기하구조(geometry), 특히, 카메라(101)와 모션 센서(들)(104) 사이의 거리에 기초하여, 카메라(101)의 모션을 추정하도록 동작가능하다. 보다 구체적으로, HMD(100)는 HMD(100)를 착용하고 있는 사용자(151)의 머리의 대응하는 모션에 의해 야기되는, 카메라(101)의 회전 모션(rotational motion), 틸팅 모션(tilting motion) 또는 병진 모션(translational motion) 중 적어도 하나를 추정하도록 동작가능할 수 있다.
대안으로서, HMD(100)는 카메라(101)에 의해 캡처된 비디오의 후속 프레임들을 분석하는 것에 기초하여 카메라(101)의 모션을 추정하도록 동작가능할 수 있다. 이것은, 예를 들어, 비디오 코딩/압축으로부터 알려지는 (글로벌) 모션 추정에 의해 달성될 수 있다. 모션 추정은, 통상적으로 카메라(101)에 의해 캡처된 비디오와 같은 비디오 시퀀스에서의 인접한 프레임들 사이에서, 하나의 이미지로부터 다른 이미지로의 변환을 기술하는 모션 벡터들을 결정하는 프로세스이다. 이것은, 예를 들어, 본 기술분야에 알려진 바와 같이, 비디오 프레임들의 시퀀스에서 매칭하는 매크로블록들(macroblocks)을 위치시키기 위한 블록 매칭 알고리즘(block matching algorithm)을 이용함으로써 달성될 수 있다.
HMD(100)는 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는지를 결정하고, 만약 그렇다면, 생성된 비디오, 즉, 제1 FoV(111)보다 넓은 제2 FoV를 이용하여 3D 모델로부터 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 더 동작가능하다. HMD(100)는, 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하지 않는 경우, 캡처된 비디오, 즉, 제1 FoV(111)를 이용하여 카메라(101)에 의해 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 더 동작가능하다. 빠른 모션을 나타내는 하나 이상의 조건은 바람직하게, 캡처된 비디오의 뷰어들이 VIMS를 겪을 가능성이 있는 모션 체제(motion regime)를 나타낸다.
하나 이상의 조건은, 예를 들어, 병진 속력(speed) 또는 속도(velocity), 병진 가속도, 회전 속력 또는 속도, 및 회전 가속도 중 어느 하나 또는 이들의 조합에 대한 임계값들일 수 있다. 이 점에 있어서, HMD(100)는 카메라(101)의 추정된 모션을 하나 이상의 임계값과 비교함으로써, 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는지를 결정하도록 동작가능할 수 있다. 예를 들어, HMD(100)는 추정된 모션이 하나 이상의 임계값을 초과하는 경우, 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족한다고 결정하도록 동작가능할 수 있다. 이것은, 예를 들어, HMD(100)를 착용하고 있는 사용자(151)가 자신의 머리를 병진(전방/후방/좌측/우측 이동), 회전(좌측/우측 회전)함으로써, 또는 틸팅(전방/후방/좌측/우측)함으로써 자신의 머리를 빠르게 이동하는 경우일 수 있다.
예로서, HMD(100)는 특정 시간 기간에 걸쳐, 예를 들어, 십 분의 수 초(a few tenths of a second)와 수 초(a few seconds) 사이에, 카메라(101)의 수 개의 추정된 모션 값들을 평균화(averaging)하고, 잠재적으로는 가중화(weighting)함으로써 카메라(101)의 모션을 추적(keep track)하도록 동작가능할 수 있다. 바람직하게, 카메라(101)의 평균화된 추정된 모션에 대한 현재 값 Vave는, 예를 들어, 카메라(101)에 의해 캡처된 각각의 비디오 프레임에 대해, 즉, 캡처된 비디오의 프레임 레이트에서, 정기적으로 계산된다. 대안적으로, 카메라(101)의 평균화된 추정된 모션에 대한 현재 값은 매 n번째 프레임에 대해(즉, 프레임 레이트의 1/n에서) 계산될 수 있고, 여기서 n은 양의 정수이다. 예를 들어, 현재 시간 t0에서, 카메라(101)의 현재 평균화된 추정된 모션은 다음과 같이 계산될 수 있다:
Figure pct00001
여기서, V(t)는 시간 t에서의 카메라(101)의 추정된 모션이고, 가중 함수 w(t)는 다음과 같이 선택된다.
Figure pct00002
이러한 특정 예에서, 카메라(101)의 추정된 모션 V(t)는 병진 또는 회전 속도 성분, 병진 또는 회전 속도의 절대값, 또는 이들의 조합과 같은 임의의 속도 성분일 수 있다.
하나 이상의 임계값은, 예를 들어, HMD(100)의 제조자, 원격 협력에 이용된 소프트웨어―소프트웨어는 처리 수단(103)에 의해 실행됨―의 제공자에 의해, 또는 사용자(151)에 의해 구성될 수 있다. 임계값들은 절대값 또는 상대값으로서 표현될 수 있다. 상기의 예를 참조하면, 빠른 모션을 나타내는 조건은, 예를 들어, 카메라(101)의 현재 추정된 모션 V(t0)이 카메라(101)의 현재 평균화된 추정된 모션 Vave(t0)을 특정 양만큼 초과하는 경우에, 즉, 다음과 같은 경우에 충족되는 것으로 간주될 수 있다.
V(t0) > a· Vave(t0)
여기서, a > 1이다. 예를 들어, a = 1.5이면, 카메라(101)의 현재 추정된 모션이 그의 현재 평균화된 모션을 적어도 50% 만큼 초과하는 경우, 빠른 모션을 나타내는 조건이 충족된다.
선택적으로, 하나 이상의 임계값은 정상 동작 동안 학습되고 조정될 수 있다. 예를 들어, 수신 디스플레이 디바이스(140)는 뷰어(152)가 VIMS를 겪는지를 검출하고, 그에 따라 HMD(100)에 통지하도록 동작가능할 수 있다. 대응하여, HMD(100)는, 그러한 통지를 수신시에, VIMS를 트리거하는, 병진/회전 속력/속도 또는 가속도와 같은, 추정된 모션 값들을 기록(record)하도록 동작가능할 수 있다. 그러한 기록된 추정된 모션 값들에 기초하여, HMD(100)는 뷰어(152)가 VIMS를 겪을 위험을 최소화하도록 선택되는 하나 이상의 임계값을 결정하도록 동작가능할 수 있다. 예를 들어, 기록된 추정된 모션 값들에 기초하여, 임계값들은 VIMS를 트리거하는 기록된 추정된 모션 값들의 하한(lower bound) 또는 하한 바로 아래로 설정될 수 있다.
본 발명의 실시예들은 (뷰어(152)와 같은) 사람이 (사용자(151)에 의해 착용된 HMD(100)에 포함된 카메라(101)와 같은) 비정지(non-stationary) 카메라로부터 수신 및 그에 의해 캡처되는 비디오 스트림을 보는 위험이 감소된다는 점에서 유리하다. 이것은, 수신 디스플레이 디바이스(140)에 대해, HMD(100)가 빠르게 이동하지 않는 경우, 즉, 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하지 않는 경우, 카메라(101)에 의해 캡처된 비디오를 스트리밍하는 것과, HMD(100)가 빠르게 이동하는 경우, 카메라(101)의 제1 FoV(111)보다 넓은 제2 FoV를 이용하여 실세계 장면의 3D 모델로부터 생성되는 비디오를 스트리밍하는 것 사이에서 스위칭함으로써 달성된다. 카메라(101)의 제1 FoV(111)로부터, 생성된 비디오에 대한 더 큰 제2 FoV로 줌아웃함으로써, 도 1에 도시된 도어(door)(122)와 같은, 실세계 장면으로부터의 추가적인 기준점들이 뷰어(152)에게 디스플레이되는 스트리밍된(생성된) 비디오에서 보이게 된다. 따라서, VIMS를 겪을 뷰어(152)에 대한 위험이 감소되거나 심지어 완화된다.
선택적으로, HMD(100)는 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는 경우에만 실세계 장면의 3D 모델을 생성하도록 동작가능할 수 있다. 이에 의해, 캡처된 비디오로부터 3D 모델을 생성하기 위해 요구되는 처리의 양, 및/또는 추가적인 카메라들 및/또는 심도 센서들로부터 수신된 데이터가 감소되며, 이는 유리하게 HMD(100)의 배터리 수명이 증가되도록 한다.
선택적으로, HMD(100)는 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는 경우에만 제1 FoV보다 넓은 제2 FoV를 이용하여 3D 모델로부터 비디오를 생성하도록 동작가능할 수 있다. 이에 의해, 3D 모델로부터 비디오를 생성하기 위해 요구되는 처리의 양이 감소되고, 이는 유리하게 HMD(100)의 배터리 수명이 증가되도록 한다.
본 발명의 실시예들에 따른, 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는지의 여부에 따라, HMD(100)에 의한 상이한 비디오 표현들 사이, 즉, 캡처된 비디오와 생성된 비디오 사이에서의 스위칭이 도 2에 더 도시되어 있다. 보다 구체적으로, 도 2a는, 도 1에 도시된 바와 같이, HMD(100)를 착용하고 있는 사용자(151)가 무선 기지국 캐비닛(121)에 대면할 때 카메라(101)에 의해 캡처된 비디오의 프레임(210)을 예시하며, 여기서, 캡처된 비디오 프레임(210)은 수신 디스플레이 디바이스(140) 상에 디스플레이된다.
도 2b에서, 사용자(151)가 관찰하고 있는 실세계 장면의 3D 모델로부터 생성되는 비디오 프레임(220)이 예시된다. 도 2b에 도시된 프레임(220)은 실세계 장면의 3D 모델로부터 생성되고, 전형적으로 카메라(101)에 의해 캡처되는 도 2a에 도시된 프레임(210)보다 덜 상세하다는 것을 이해할 것이다. 특히 상세들, 표면 텍스처(surface texture) 등에 대한 상세의 레벨은, 전형적으로 3D 모델로부터 비디오를 생성하기 위해 이용가능한 처리 자원들에 의존한다. 프레임(220)은 캡처된 프레임(210)과 실질적으로 동일한 FoV, 즉, 카메라(101)의 제1 FoV(111)로 생성된다는 점에 유의한다. 대조적으로, 도 2c는 프레임(210)을 캡처하기 위해 이용된 카메라(101)의 제1 FoV(111)보다 넓은 FoV를 이용하여 실세계 장면의 3D 모델로부터 생성되는 프레임(230)을 도시한다. 즉, 프레임(230)은 실세계 장면의 3D 모델로부터 생성된, HMD(100)를 착용하고 있는 사용자(151)의 전방에 있는 실세계 장면의 줌아웃 뷰(zoomed-out view)를 제공한다. 유리하게, 프레임(220)과 비교하여, 프레임(230)의 줌아웃 뷰는 실세계 장면에서의 추가적인 기준점, 즉, 도어(122)를 포함한다. 이러한 추가적인 기준점으로 인해, 원격 뷰어(152)가 VIMS를 겪을 위험이 감소되거나, 심지어는 완화된다.
또한, 도 1을 참조하면, HMD(100)는 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하고, 제1 FoV(111)가 사람 FoV를 나타내는 임계값보다 작은 경우, 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 동작가능할 수 있다. 그렇지 않은 경우, HMD(100)는 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 동작가능하다. 사람 FoV를 나타내는 임계값은, 예를 들어, HMD(100)의 제조자, 원격 협력에 이용된 소프트웨어―소프트웨어는 처리 수단(103)에 의해 실행됨―의 제공자에 의해, 또는 사용자(151)에 의해 구성될 수 있고, 사람 FoV에 대한 일반 값(generic value) 또는 뷰어(152)의 FoV를 나타내는 특정 값을 제시할 수 있다.
HMD(100)는 제1 FoV(111) 및 카메라(101)의 추정된 모션에 기초하여 제2 FoV를 결정하도록 더 동작가능할 수 있다. 예를 들어, 제2 FoV는 적어도 하나의 추가적인 기준점이 생성된 비디오에서 보이도록 선택될 수 있다. 추가적인 기준점들의 존재, 및 카메라(101)의 현재 제1 FoV(111)에 대한 그들 각각의 위치는, 실세계 장면의 생성된 3D 모델 및 카메라(101)의 추정된 모션에 기초하여 결정될 수 있다. 후자는 실세계 장면에서의 기준점을 생성된 비디오에서 볼 수 있게 하기 위해 FoV가 확장될 필요가 있는 것을 결정하기 위해 이용될 수 있다. 특히, 이것은 카메라(101)의 모션 및 제1 FoV(111)의 연관된 모션으로 인해, 생성된 비디오에서 볼 수 있게 되려고 하는 기준점들에 대해 그러하다. 수신 디스플레이 디바이스(140)에 스트리밍되는 생성된 비디오에서의 추가적인 기준점들의 존재는, 뷰어(152)가 VIMS를 겪을 위험을 감소시킨다. 대안적으로, 제2 FoV는 HMD(100)의 제조자, 원격 협력에 이용된 소프트웨어―소프트웨어는 처리 수단(103)에 의해 실행됨―의 제공자에 의해, 사용자(151)에 의해, 또는 뷰어(152)에 의해 미리 구성될 수 있다. 예를 들어, 수신 디스플레이 디바이스(140)는 뷰어(152)가 수신 디스플레이 디바이스(140)에 대한 설정을 변경함으로써 제2 FoV를 조정하게 할 수 있도록 동작가능할 수 있고, 그 설정은 HMD(100)에 시그널링된다.
HMD(100)는, 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하는 것에 후속하여, 생성된 비디오를 미리 결정된 시간 기간 동안 스트리밍하는 것, 및 카메라(101)의 추정된 모션이 안정화된 모션을 나타내는 하나 이상의 조건을 충족한다고 결정하는 것 중 적어도 하나에 응답하여, 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 더 동작가능할 수 있다. 즉, HMD(100)는, 예를 들어, 카메라(101)의 추정된 모션이 5초와 같은 특정 시간 기간 동안 빠른 모션을 나타내는 하나 이상의 조건을 충족하는 경우, 캡처된 비디오를 스트리밍하는 것으로 다시 스위칭하도록 동작가능하다. 이러한 시간 기간은, 예를 들어, 줌아웃 생성된 비디오에서 보이는 추가적인 기준점들로 인해, 뷰어(152)의 뇌가 빠른 모션에 적응하게 허용하도록 선택된다. HMD(100)는 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는지를 결정하는 것을 참조하여 이전에 설명된 것과 유사하게, 카메라(101)의 추정된 모션이 하나 이상의 임계값에 기초하여 안정화된 모션을 나타내는 하나 이상의 조건을 충족한다고 결정하도록 동작가능할 수 있다. 예를 들어, 빠른 모션을 나타내는 하나 이상의 조건이, HMD(100) 또는 카메라(101)의, 병진 또는 회전 중 어느 하나인, 측정된 가속도에 대한 임계값을 초과하는 것으로 표현되는 경우, 안정화된 모션을 나타내는 하나 이상의 조건은 측정된 가속도에 대한 대응하는 임계값을 초과하지 않는, 즉, 그보다 작은 카메라(101)의 추정된 모션의 관점에서 표현될 수 있다. 각각 빠른 모션 및 안정화된 모션을 검출하기 위한 하나 이상의 임계값의 세트들은 동일할 수 있거나 그렇지 않을 수 있다. 유리하게, 히스테리시스 효과(hysteresis effect)를 제공하고, 캡처된 비디오를 스트리밍하는 것과 줌아웃 생성된 비디오를 스트리밍하는 것 사이의 빠른 백 앤드 포스(back-and-forth) 스위칭을 방지하기 위해 상이한 값들이 이용된다. 대안적으로, HMD(100)가 줌아웃 생성된 비디오를 스트리밍하는 것으로 스위칭하기 전에, 캡처된 비디오가 특정 시간 기간 동안 스트리밍되는 것, 또는 그 반대로 되는 것을 보장하기 위해 타이머가 이용될 수 있다.
본 발명의 실시예들은 주로 HMD(100)를 참조하여 설명되었지만, 본 발명의 실시예들은 HMD들 이외의 카메라 디바이스들에 기초할 수 있다는 것이 이해될 것이다. 예를 들어, 본 발명의 실시예들은 사용자(151)의 손에 보유될 수 있거나 사용자(151)의 신체 부분에 부착될 수 있는 모바일 폰, 스마트폰, 태블릿, 디지털 카메라 등에서 구현될 수 있다. 일례로서, 본 발명의 실시예들은 사용자(151)의 머리 또는 사용자(151)에 의해 착용된 헬멧에 부착되는 헤드 장착형 카메라, 예를 들어, 고프로(GoPro) 카메라에서 구현될 수 있다.
이하에서, HMD(100)와 같은 HMD의 실시예들에 포함된 처리 수단(103)의 실시예들이 도 3 및 도 4를 참조하여 설명된다.
처리 수단(103)의 제1 실시예(300)가 도 3에 도시된다. 처리 수단(300)은 범용 프로세서와 같은 처리 유닛(302), 및 RAM(Random-Access Memory), 플래시 메모리 등과 같은 컴퓨터 판독가능 저장 매체(303)를 포함한다. 또한, 처리 수단(300)은, 카메라(101), 네트워크 인터페이스 회로(102), 및 모션 센서(들)(104)와 같은, HMD에 포함된 다른 컴포넌트들로부터의 정보를 제어 및/또는 수신하기 위한 하나 이상의 인터페이스(301)(도 3에서의 "I/O")를 포함한다. 메모리(303)는 컴퓨터 실행가능 명령어들(304), 즉, 컴퓨터 프로그램 또는 소프트웨어를 포함하여, HMD로 하여금, 컴퓨터 실행가능 명령어들(304)이 처리 유닛(302) 상에서 실행될 때, 본 명세서에 설명된 바와 같은 본 발명의 실시예들에 따라 수행하도록 동작가능해지게 한다.
처리 수단(103)의 대안적인 실시예(400)가 도 4에 도시된다. 처리 수단(300)과 유사하게, 처리 수단(400)은, 카메라(101), 네트워크 인터페이스 회로(102), 및 모션 센서(들)(104)와 같은, HMD에 포함된 다른 컴포넌트들로부터의 정보를 제어 및/또는 수신하기 위한 하나 이상의 인터페이스(401)(도 4에서의 "I/O")를 포함한다. 처리 수단(400)은, HMD로 하여금, 본 명세서에 설명된 바와 같은 본 발명의 실시예들에 따라 수행하게 하도록 구성되는 모델 모듈(402), 비디오 모듈(403), 모션 모듈(404), 및 스트리밍 모듈(405)을 더 포함한다.
특히, 모델 모듈(402)은 실세계 장면의 3D 모델을 생성하도록 구성되고, 비디오 모듈(403)은 제1 FoV(111)보다 넓은 제2 FoV를 이용하여 3D 모델로부터 비디오를 생성하도록 구성된다. 모션 모듈(404)은 카메라(101)의 모션을 추정하도록 구성된다. 스트리밍 모듈(405)은, 카메라의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는 경우, 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하고, 그렇지 않은 경우, 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 구성된다. 바람직하게, 빠른 모션을 나타내는 하나 이상의 조건은 캡처된 비디오의 뷰어들이 VIMS를 겪는 모션 체제를 나타낸다.
선택적으로, 스트리밍 모듈(405)은 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하고, 제1 FoV(111)가 사람 FoV를 나타내는 임계값보다 작은 경우, 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하고, 그렇지 않은 경우, 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 구성될 수 있다.
선택적으로, 모션 모듈(404)은 HMD(100)의 감지된 모션에 기초하여 카메라(101)의 모션을 추정하도록 구성될 수 있다. 대안적으로, 모션 모듈(404)은 캡처된 비디오의 후속 프레임들을 분석하는 것에 기초하여 카메라(101)의 모션을 추정하도록 구성될 수 있다.
선택적으로, 비디오 모듈(403)은 제1 FoV(111) 및 카메라(101)의 추정된 모션에 기초하여 제2 FoV를 결정하도록 구성될 수 있다.
선택적으로, 스트리밍 모듈(405)은, 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하는 것에 후속하여, 그리고 미리 결정된 시간 기간 동안 생성된 비디오를 스트리밍하는 것 및 카메라(101)의 추정된 모션이 안정화된 모션을 나타내는 하나 이상의 조건을 충족한다고 결정하는 것 중 적어도 하나에 응답하여, 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 더 구성될 수 있다.
처리 수단(400)에 포함된 모듈들(402-405)은 본 명세서에 설명된 바와 같이, 본 발명의 실시예들에 따른 추가적인 또는 대안적인 동작들을 수행하도록 더 구성될 수 있다.
인터페이스들(301 및 401), 및 모듈들(402-405) 뿐만 아니라, 처리 수단(400)에 포함된 임의의 추가적인 모듈들은 임의의 종류의 전자 회로, 예를 들어, 아날로그 전자 회로, 디지털 전자 회로, 및 적절한 컴퓨터 프로그램, 즉, 소프트웨어를 실행하는 처리 수단 중 임의의 하나 또는 이들의 조합에 의해 구현될 수 있다.
이하에서, HMD(100)와 같은 HMD에 의해 수행되는 방법의 실시예들(500)이 도 5를 참조하여 설명된다.
방법(500)은 HMD(100)에 포함된 카메라(101)를 이용하여 제1 FoV를 이용하여 실세계 장면의 비디오를 캡처하는 단계(501), 실세계 장면의 3D 모델을 생성하는 단계(503/513), 및 제1 FoV(111)보다 넓은 제2 FoV를 이용하여 3D 모델로부터 비디오를 생성하는 단계(504/514)를 포함한다. 방법(500)은 카메라(101)의 모션을 추정하는 단계(505), 및 카메라(101)의 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는 경우(506), HMD(100)에 포함된 네트워크 인터페이스 회로(102)를 이용하여, 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하는 단계(515), 그렇지 않은 경우, 네트워크 인터페이스 회로(102)를 이용하여, 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하는 단계(525)를 더 포함한다. 바람직하게, 빠른 모션을 나타내는 하나 이상의 조건은 캡처된 비디오의 뷰어들이 VIMS를 겪는 모션 체제를 나타낸다.
선택적으로, 카메라(101)의 추정된(505) 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하고(506), 제1 FoV(111)가 사람 FoV를 나타내는 임계값보다 작은 경우, 생성된(504) 비디오가 수신 디스플레이 디바이스(140)에 스트리밍되고(515), 그렇지 않은 경우, 캡처된 비디오가 수신 디스플레이 디바이스(140)에 스트리밍된다(525).
선택적으로, 카메라(101)의 모션은 HMD(100)에 포함된 적어도 하나의 모션 센서(104)를 이용하여 HMD(100)의 감지된 모션에 기초하여 추정된다(505). 대안적으로, 캡처된(501) 비디오의 후속 프레임들을 분석하는 것에 기초하여 카메라(101)의 모션이 추정된다(505).
선택적으로, 방법(500)은 제1 FoV(111) 및 카메라(101)의 추정된(505) 모션에 기초하여 제2 FoV를 결정하는 단계(512)를 더 포함할 수 있다.
선택적으로, 방법(500)은 생성된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하는 단계(515)에 후속하여, 그리고 미리 결정된 시간 기간 동안 생성된 비디오를 스트리밍하는 것(516) 및 카메라의 추정된 모션이 안정화된 모션을 나타내는 하나 이상의 조건을 충족(517)한다고 결정하는 것 중 적어도 하나에 응답하여, 캡처된 비디오를 수신 디스플레이 디바이스(140)에 스트리밍하는 단계(525)를 더 포함한다.
방법(500)은 본 개시 전체를 통해 설명된 것에 따라 추가적인 또는 수정된 단계들을 포함할 수 있다는 것이 이해될 것이다. 방법(500)의 실시예는 HMD에 포함된 처리 유닛에 의해 실행될 컴퓨터 프로그램(304)과 같은 소프트웨어로서 구현될 수 있고, 이에 의해 HMD는 본 명세서에 설명된 본 발명의 실시예들에 따라 수행하도록 동작가능하게 된다.
본 기술분야의 통상의 기술자는 본 발명이 결코, 위에서 설명된 실시예들로 제한되지 않는다는 것을 인식한다. 반대로, 첨부된 청구항들의 범위 내에서 많은 수정들 및 변형들이 가능하다.

Claims (16)

  1. 헤드 장착형 디스플레이(Head-Mounted Display)(HMD)(100)로서,
    제1 시야(111)를 이용하여 실세계 장면의 비디오를 캡처하도록 구성된 카메라(101),
    비디오를 수신 디스플레이 디바이스(140)에 스트리밍하도록 구성된 네트워크 인터페이스 회로(102), 및
    처리 수단(103)을 포함하고, 상기 처리 수단(103)은,
    상기 실세계 장면의 3D 모델을 생성하고,
    상기 제1 시야(111)보다 넓은 제2 시야를 이용하여 상기 3D 모델로부터 비디오를 생성하고,
    상기 카메라(101)의 모션을 추정하고,
    상기 카메라(101)의 상기 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하는 경우,
    상기 생성된 비디오를 상기 수신 디스플레이 디바이스(140)에 스트리밍하고, 그렇지 않은 경우,
    상기 캡처된 비디오를 상기 수신 디스플레이 디바이스(140)에 스트리밍하도록 동작가능한, HMD.
  2. 제1항에 있어서,
    상기 처리 수단(103)은, 상기 카메라(101)의 상기 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하고, 상기 제1 시야(111)가 사람 시야를 나타내는 임계값보다 작은 경우, 상기 생성된 비디오를 상기 수신 디스플레이 디바이스(140)에 스트리밍하고, 그렇지 않은 경우, 상기 캡처된 비디오를 상기 수신 디스플레이 디바이스(140)에 스트리밍하도록 동작가능한, HMD.
  3. 제1항 또는 제2항에 있어서,
    상기 HMD(100)의 모션을 감지하도록 구성된 적어도 하나의 모션 센서(104)를 더 포함하고, 상기 처리 수단(103)은 상기 HMD(100)의 상기 감지된 모션에 기초하여 상기 카메라(101)의 상기 모션을 추정하도록 동작가능한, HMD.
  4. 제1항 또는 제2항에 있어서,
    상기 처리 수단(103)은 상기 캡처된 비디오의 후속 프레임들을 분석하는 것에 기초하여 상기 카메라(101)의 상기 모션을 추정하도록 동작가능한, HMD.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 처리 수단(103)은 상기 제1 시야(111) 및 상기 카메라(101)의 상기 추정된 모션에 기초하여 상기 제2 시야를 결정하도록 더 동작가능한, HMD.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    빠른 모션을 나타내는 상기 하나 이상의 조건은, 상기 캡처된 비디오의 뷰어들(152)이 시각적으로 유도된 멀미(Visually Induced Motion Sickness)(VIMS)를 겪는 모션 체제를 나타내는, HMD.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 처리 수단(103)은, 상기 생성된 비디오를 상기 수신 디스플레이 디바이스(140)에 스트리밍하는 것에 후속하여,
    미리 결정된 시간 기간 동안 상기 생성된 비디오를 스트리밍하는 것, 및
    상기 카메라(101)의 상기 추정된 모션이 안정화된 모션을 나타내는 하나 이상의 조건을 충족한다고 결정하는 것
    중 적어도 하나에 응답하여, 상기 캡처된 비디오를 상기 수신 디스플레이 디바이스(140)에 스트리밍하도록 더 동작가능한, HMD.
  8. 헤드 장착형 디스플레이(HMD)에 의해 수행되는 방법(500)으로서,
    상기 HMD에 포함된 카메라를 이용하여 제1 시야를 이용하여 실세계 장면의 비디오를 캡처하는 단계(501),
    상기 실세계 장면의 3D 모델을 생성하는 단계(503, 513),
    상기 제1 시야보다 넓은 제2 시야를 이용하여 상기 3D 모델로부터 비디오를 생성하는 단계(504, 514),
    상기 카메라의 모션을 추정하는 단계(505), 및
    상기 카메라의 상기 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족(506)하는 경우,
    상기 HMD에 포함된 네트워크 인터페이스 회로를 이용하여, 상기 생성된 비디오를 수신 디스플레이 디바이스에 스트리밍하는 단계(515), 그렇지 않은 경우,
    상기 네트워크 인터페이스 회로를 이용하여, 상기 캡처된 비디오를 상기 수신 디스플레이 디바이스에 스트리밍하는 단계(525)를 포함하는, 방법.
  9. 제8항에 있어서,
    상기 카메라의 상기 추정된 모션이 빠른 모션을 나타내는 하나 이상의 조건을 충족하고(506), 상기 제1 시야가 사람 시야를 나타내는 임계값보다 작은 경우, 상기 생성된 비디오가 상기 수신 디스플레이 디바이스에 스트리밍되고(515), 그렇지 않은 경우, 상기 캡처된 비디오가 상기 수신 디스플레이 디바이스에 스트리밍(525)되는, 방법.
  10. 제8항 또는 제9항에 있어서,
    상기 카메라의 상기 모션은 상기 HMD에 포함된 적어도 하나의 모션 센서를 이용하여 상기 HMD의 감지된 모션에 기초하여 추정(505)되는, 방법.
  11. 제8항 또는 제9항에 있어서,
    상기 카메라의 상기 모션은 상기 캡처된 비디오의 후속 프레임들을 분석하는 것에 기초하여 추정(505)되는, 방법.
  12. 제8항 내지 제11항 중 어느 한 항에 있어서,
    상기 제1 시야 및 상기 카메라의 상기 추정된(505) 모션에 기초하여 상기 제2 시야를 결정하는 단계(512)를 더 포함하는, 방법.
  13. 제8항 내지 제12항 중 어느 한 항에 있어서,
    빠른 모션을 나타내는 상기 하나 이상의 조건은, 상기 캡처된 비디오의 뷰어들이 시각적으로 유도된 멀미(VIMS)를 겪는 모션 체제를 나타내는, 방법.
  14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    상기 생성된 비디오를 상기 수신 디스플레이 디바이스에 스트리밍하는 단계(515)에 후속하여,
    미리 결정된 시간 기간 동안 상기 생성된 비디오를 스트리밍하는 단계(516), 및
    상기 카메라의 상기 추정된 모션이 안정화된 모션을 나타내는 하나 이상의 조건을 충족(517)한다고 결정하는 단계
    중 적어도 하나에 응답하여, 상기 캡처된 비디오를 상기 수신 디스플레이 디바이스에 스트리밍하는 단계(525)를 더 포함하는, 방법.
  15. 컴퓨터 프로그램(304)으로서,
    컴퓨터 실행가능 명령어들을 포함하고, 상기 컴퓨터 실행가능 명령어들은, 상기 컴퓨터 실행가능 명령어들이 헤드 장착형 디스플레이(HMD)에 포함된 처리 유닛(302) 상에서 실행될 때, 상기 HMD로 하여금 제8항 내지 제14항 중 어느 한 항에 따른 방법을 수행하게 하는, 컴퓨터 프로그램.
  16. 제15항에 따른 컴퓨터 프로그램(304)을 저장하는 컴퓨터 판독가능 저장 매체(303).
KR1020207028002A 2018-03-28 2018-06-04 헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법 KR102456332B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862649106P 2018-03-28 2018-03-28
US62/649,106 2018-03-28
PCT/EP2018/064592 WO2019185173A1 (en) 2018-03-28 2018-06-04 Head-mounted display and method to reduce visually induced motion sickness in a connected remote display

Publications (2)

Publication Number Publication Date
KR20200123833A true KR20200123833A (ko) 2020-10-30
KR102456332B1 KR102456332B1 (ko) 2022-10-20

Family

ID=62631050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207028002A KR102456332B1 (ko) 2018-03-28 2018-06-04 헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법

Country Status (16)

Country Link
US (1) US11587285B2 (ko)
EP (1) EP3776143B1 (ko)
JP (1) JP6993516B2 (ko)
KR (1) KR102456332B1 (ko)
CN (1) CN111788538B (ko)
AR (1) AR114718A1 (ko)
AU (1) AU2018416431B2 (ko)
BR (1) BR112020014077B1 (ko)
CA (1) CA3093180C (ko)
CO (1) CO2020008872A2 (ko)
ES (1) ES2898216T3 (ko)
MX (1) MX2020009804A (ko)
RU (1) RU2751981C1 (ko)
SG (1) SG11202006241XA (ko)
WO (1) WO2019185173A1 (ko)
ZA (1) ZA202003994B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2592397A (en) * 2020-02-27 2021-09-01 Daimler Ag Method and system for mitigating motion sickness of users in a moving vehicle
AU2021263437A1 (en) * 2020-04-30 2022-12-15 Marsupial Holdings, Inc. Extended field-of-view near-to-eye wearable display
WO2022060518A1 (en) * 2020-09-15 2022-03-24 Carnelian Laboratories Llc Head-mountable device and connector
US11816231B2 (en) 2021-11-22 2023-11-14 Bank Of America Corporation Using machine-learning models to determine graduated levels of access to secured data for remote devices

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130002813A1 (en) * 2011-06-29 2013-01-03 Vaught Benjamin I Viewing windows for video streams
JP2017034494A (ja) * 2015-08-03 2017-02-09 セイコーエプソン株式会社 表示システム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4364002B2 (ja) 2004-02-06 2009-11-11 オリンパス株式会社 頭部装着型カメラ及び頭部装着型カメラによる撮影方法
US9648907B2 (en) 2005-05-31 2017-05-16 Philip Morris Usa Inc. Virtual reality smoking system
US8792005B2 (en) * 2006-11-29 2014-07-29 Honeywell International Inc. Method and system for automatically determining the camera field of view in a camera network
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
KR101591579B1 (ko) * 2011-03-29 2016-02-18 퀄컴 인코포레이티드 증강 현실 시스템들에서 실세계 표면들에의 가상 이미지들의 앵커링
US10127722B2 (en) * 2015-06-30 2018-11-13 Matterport, Inc. Mobile capture visualization incorporating three-dimensional and two-dimensional imagery
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
US20150003819A1 (en) 2013-06-28 2015-01-01 Nathan Ackerman Camera auto-focus based on eye gaze
US9390344B2 (en) 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
KR102243656B1 (ko) * 2014-09-26 2021-04-23 엘지전자 주식회사 모바일 디바이스, hmd 및 시스템
JP6511893B2 (ja) * 2015-03-23 2019-05-15 日本電気株式会社 画像処理装置、画像処理方法、及び、プログラム
KR20170044319A (ko) * 2015-10-15 2017-04-25 한국과학기술원 헤드 마운트 디스플레이의 시야 확장 방법
JP2018014579A (ja) * 2016-07-20 2018-01-25 株式会社日立製作所 カメラトラッキング装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130002813A1 (en) * 2011-06-29 2013-01-03 Vaught Benjamin I Viewing windows for video streams
JP2017034494A (ja) * 2015-08-03 2017-02-09 セイコーエプソン株式会社 表示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A.S.Fernandes et.al., "Computing VR sickness through subtle dynamic field-of-view modification," In the Proc. of the IEEE Symp. on 3DUI, 2016.03.01. *

Also Published As

Publication number Publication date
ES2898216T3 (es) 2022-03-04
AU2018416431B2 (en) 2021-07-29
EP3776143B1 (en) 2021-09-29
JP2021520668A (ja) 2021-08-19
AU2018416431A1 (en) 2020-08-13
US11587285B2 (en) 2023-02-21
AR114718A1 (es) 2020-10-07
CA3093180C (en) 2023-02-28
CA3093180A1 (en) 2019-10-03
JP6993516B2 (ja) 2022-01-13
CO2020008872A2 (es) 2020-07-31
KR102456332B1 (ko) 2022-10-20
BR112020014077B1 (pt) 2022-10-04
WO2019185173A1 (en) 2019-10-03
CN111788538A (zh) 2020-10-16
RU2751981C1 (ru) 2021-07-21
US20210335032A1 (en) 2021-10-28
SG11202006241XA (en) 2020-07-29
BR112020014077A2 (pt) 2020-12-01
CN111788538B (zh) 2023-08-25
ZA202003994B (en) 2022-09-28
EP3776143A1 (en) 2021-02-17
MX2020009804A (es) 2020-10-14

Similar Documents

Publication Publication Date Title
KR102456332B1 (ko) 헤드 장착형 디스플레이 및 접속된 원격 디스플레이에서 시각적으로 유도된 멀미를 감소시키는 방법
US10754423B2 (en) Providing virtual reality experience service
US10586395B2 (en) Remote object detection and local tracking using visual odometry
CN112954295B (zh) 多视点摄像系统、三维空间重构系统及三维空间识别系统
JP6961612B2 (ja) 三次元モデル配信方法及び三次元モデル配信装置
US10250789B2 (en) Electronic device with modulated light flash operation for rolling shutter image sensor
CN111316650B (zh) 三维模型编码装置、三维模型解码装置、三维模型编码方法、以及三维模型解码方法
JP6983837B2 (ja) 複数のカメラからのビューを組み合わせる方法及びカメラシステム
US9390344B2 (en) Sensor-based camera motion detection for unconstrained slam
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
CN111627116A (zh) 图像渲染控制方法、装置及服务器
US20170357873A1 (en) Method for determining the position of a portable device
CN107852447B (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US20170078646A1 (en) Image processing method and image processing system
US20170201689A1 (en) Remotely controlled communicated image resolution
KR20180038175A (ko) 가상 현실 서비스를 제공하는 서버, 디바이스 및 방법
JP2016048467A (ja) 運動視差再現方法、装置およびプログラム
CN107426522B (zh) 基于虚拟现实设备的视频方法和系统
CN106375646B (zh) 一种信息处理方法及终端
CN113747113A (zh) 图像显示方法及装置、电子设备、计算机可读存储介质
JP2021184115A (ja) 情報処理装置、情報処理方法、及び、プログラム
KR101156753B1 (ko) 휴대용 단말 장치 및 이를 이용한 피사체 모션 검출 방법
JP2015099483A (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
KR101258839B1 (ko) 영상 표시 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right