KR20180013892A - 가상 현실을 위한 반응성 애니메이션 - Google Patents

가상 현실을 위한 반응성 애니메이션 Download PDF

Info

Publication number
KR20180013892A
KR20180013892A KR1020177033462A KR20177033462A KR20180013892A KR 20180013892 A KR20180013892 A KR 20180013892A KR 1020177033462 A KR1020177033462 A KR 1020177033462A KR 20177033462 A KR20177033462 A KR 20177033462A KR 20180013892 A KR20180013892 A KR 20180013892A
Authority
KR
South Korea
Prior art keywords
housing
display
processor
animation
head
Prior art date
Application number
KR1020177033462A
Other languages
English (en)
Inventor
아담 발레스트
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20180013892A publication Critical patent/KR20180013892A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5255—Changing parameters of virtual cameras according to dedicated instructions from a player, e.g. using a secondary joystick to rotate the camera around a player's character
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Cardiology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Optics & Photonics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

가상 현실 헤드-마운티드 디스플레이를 위한 광학 시스템 및 방법이 제공된다. 일 실시예에서, 이러한 시스템은 사용자의 머리 상에 장착하기 위한 하우징을 포함하고, 여기서 하우징은 디스플레이와 결합되고, 그리고 하우징은 디스플레이 상의 초점을 조망할 수 있게 하며, 시스템은 또한 상기 하우징과 동작가능하게 결합되는 센서를 포함하고, 여기서 센서는, 제 1 위치로부터 제 2 위치로의 상기 하우징의 제 1 위치 변화를 검출하고 그리고 상기 제 1 위치 변화보다 더 큰 상기 하우징의 제 2 위치 변화를 검출하도록 구성된다. 프로세서가 디스플레이에 결합되고, 여기서 프로세서는, 상기 디스플레이 상에서의 출력을 위해 제 1 애니메이션을 렌더링하는 것, 센서가 제 1 위치 변화를 검출할 때 제 2 애니메이션을 미리-로딩하는 것, 그리고 센서가 제 2 위치 변화를 검출함에 근거하여 디스플레이에 출력하기 위해 제 2 애니메이션을 렌더링하는 것을 수행하도록 구성된다.

Description

가상 현실을 위한 반응성 애니메이션
본 발명은 일반적으로, 가상 현실(Virtual Reality)에 관한 것으로, 특히 애니메이션이 증진된 가상 현실(animation enhanced Virtual Reality)에 관한 것이다.
본 섹션은 아래에서 설명 및/또는 청구되는 본 발명의 다양한 실시형태와 관련될 수 있는 그러한 다양한 양상의 기술에 대해 독자에게 소개하려는 것이다. 이러한 논의는 독자에게 본 발명의 다양한 실시형태를 더 잘 이해할 수 있도록 배경 정보를 제공하는데 도움을 줄 것으로 믿어진다. 따라서, 이와 같은 기재는 이러한 관점에서 읽혀져야 하며 종래 기술의 승인으로서 읽혀져서는 안 됨을 이해해야 한다.
최근 몇 년간, 가상 현실(Virtual Reality, VR)은 점점 더 주목받는 대상이 되었다. 이것은 VR이 실제로 모든 분야에서 사용될 수 있어 테스트, 오락, 및 교육을 포함하는 다양한 기능을 수행할 수 있기 때문이다. 예를 들어, 공학자 및 건축가는 새로운 설계를 모델링 및 테스트할 때 VR를 사용할 수 있다. 의사는 VR를 사용하여 어려운 수술을 미리 완벽하게 연습해 볼 수 있고, 군사 전문가는 전투지 작전을 시뮬레이션함으로써 전략을 개발할 수 있다. VR은 또한 게임 및 오락 산업에서 광범위하게 사용되어 상호작용적 경험을 제공하고 참가자의 즐거움을 증진시킨다. VR은 실제처럼 느껴지는 시뮬레이션 환경을 생성할 수 있고, 실제 혹은 가상 세계에서 현실 경험을 정밀하게 복제할 수 있다. 더욱이, VR은 원격현장감(telepresence) 및 원격존재감(telexistence) 혹은 가상 인공물(Virtual Artifact, VA)의 개념을 사용자들의 가상 존재에 제공하는 원격 통신 환경을 가능하게 한다.
대부분의 가상 현실 시스템은, 상호작용적 가상 세계를 생성하기 위해 다른 다중감각 입력 및 출력 장치와의 통신을 처리하는 것에 관여할 수 있고 이러한 처리를 할 수 있는 정교한 컴퓨터를 이용한다. 사람이 가상 환경과 상호작용하는 것을 정밀하게 시뮬레이션하기 위해, VR 시스템은 사람의 감각을 나타내는 정보의 입력 및 출력을 용이하게 하는 것을 목표로 한다. 이 경우 이러한 정교한 컴퓨팅 시스템은 가상의 맛, 시각, 냄새, 소리, 및 촉감을 포함할 수 있는 그러한 감각적 경험을 재생성하기 위해 입체 디스플레이(stereoscopic displays) 및 다른 장치와 같은 몰입형 멀티미디어 장치(immersive multimedia devices)와 페어링(paring)되게 된다. 하지만, 많은 상황에서, 사람의 모든 감각 중에서도 시각이 평가 도구로서 아마 가장 유용하다. 따라서, 시각화를 위한 광학 시스템은 대부분의 가상 현실 시스템의 중요한 부분이다.
가상 현실 헤드-마운티드 디스플레이(virtual reality head-mounted display)를 위한 광학 시스템(optical system) 및 방법이 제공된다. 일 실시예에서, 이러한 시스템은, 사용자의 머리 상에 장착하기 위한 하우징(housing)을 포함하고, 여기서 하우징은 디스플레이와 결합되고, 그리고 하우징은 디스플레이 상의 초점(focus)을 조망(viewing)할 수 있게 하며, 시스템은 또한 상기 하우징과 동작가능하게 결합되는 센서(sensor)를 포함하고, 여기서 센서는, 제 1 위치로부터 제 2 위치로의 상기 하우징의 제 1 위치 변화를 검출하고 그리고 상기 제 1 위치 변화보다 더 큰 상기 하우징의 제 2 위치 변화를 검출하도록 구성된다. 프로세서(processor)가 디스플레이에 결합되고, 여기서 프로세서는, 상기 디스플레이 상에서의 출력을 위해 제 1 애니메이션(animation)을 렌더링(rendering)하는 것, 센서가 제 1 위치 변화를 검출할 때 제 2 애니메이션을 미리-로딩(pre-loading)하는 것, 그리고 센서가 제 2 위치 변화를 검출함에 근거하여 디스플레이에 출력하기 위해 제 2 애니메이션을 렌더링하는 것을 수행하도록 구성된다.
또 하나의 다른 실시예에서, 앞서의 가상 현실 헤드-마운티드 디스플레이를 위한 방법은, 헤드-마운티드 하우징(head-mounted housing)을 통해 사용자에게 가상 현실 경험을 제공하며, 하우징을 통한 사용자에 의한 조망을 위해서 이미지(image)를 프로세서를 사용해 렌더링하는 것을 포함한다. 본 방법은 또한, 상기 하우징의 제 1 위치 변화를 프로세서를 사용해 검출하는 것, 그리고 상기 제 1 위치 변화보다 더 큰 변화를 정의하는 상기 하우징의 제 2 위치 변화를 프로세서를 사용해 검출하는 것, 그리고 상기 디스플레이에 출력하기 위해서 제 1 애니메이션을 프로세서를 사용해 렌더링하는 것을 포함한다. 그 다음에, 프로세서가 상기 제 1 위치 변화를 검출한 상태에서 프로세서를 포함하는 컴퓨팅 시스템(computing system)으로 제 2 애니메이션이 미리-로딩되고, 그리고 프로세서가 상기 제 2 위치 변화를 검출한 상태에서 상기 디스플레이에 출력하기 위해서 제 2 애니메이션이 프로세서를 사용해 렌더링된다.
추가적인 특징 및 장점이 본 발명의 기법을 통해 실현된다. 본 발명의 다른 실시예 및 실시형태가 본 명세서에서 상세하게 설명되며, 이것은 청구되는 본 발명의 일부인 것으로 고려된다. 장점 및 특징을 갖는 본 발명을 더 잘 이해하기 위해 본 명세서의 설명 및 도면을 참조하기 바란다.
본 발명은 첨부되는 도면을 참조하여 비한정적 방식으로 다음의 실시예 및 실행 예를 통해 예시될 것이고 더 잘 이해될 것이며, 이러한 도면에서,
도 1은 본 발명의 일 실시예에 따른, 반응성 애니메이션(reactive animation)을 위해 구성된 VR 헤드 마운티드 광학 시스템(head mounted optical system)을 이용하는 사용자/플레이어(player)를 도시하고; 그리고
도 2는 본 발명의 일 실시예에 따른, 도 1의 예에서 사용된 것과 같은 광학 시스템을 동작시키기 위한 방법을 예시하는 흐름도이다.
도 2에서, 그 표현된 블록(block)들은 순수하게 기능적인 개체들(functional entities)이며, 이들이 반드시 물리적으로 개별적인 개체들에 대응할 필요는 없다. 즉, 이들은 소프트웨어의 형태로 개발될 수 있거나, 또는 하드웨어의 형태로 개발될 수 있거나, 또는 하나 이상의 프로세서들을 포함하는 하나 혹은 수 개의 집적 회로들로 구현될 수 있다.
가능한 경우, 동일한 참조 번호들이 동일 혹은 유사한 부분들을 참조하기 위해 도면들 전체에 걸쳐 사용될 것이다.
본 발명의 도면 및 설명은 본 발명의 명확한 이해를 위해 관련된 요소들을 예시하도록 간략화되었다는 점, 아울러 전형적인 디지털 멀티미디어 콘텐츠(digital multimedia content) 전달 방법들 및 시스템들에서 발견되는 다수의 다른 요소들은 명료한 설명을 위해 생략되었다는 점을 이해해야 한다. 하지만, 이러한 요소들은 본 발명의 기술분야에서 잘 알려져 있기 때문에, 이러한 요소들의 상세한 논의는 본 명세서에서 제공되지 않는다. 본 명세서의 개시내용은 본 발명의 기술분야에서 숙련된 자들에게 알려진 그러한 모든 변형들 및 수정들에 관한 것이다.
도 1은 반응성 애니메이션 능력들 및 특징들을 갖는 가상 현실(VR) 시스템(110)의 예를 보여준다. 이러한 실시예에서, VR 시스템(110)은 적어도 하나의 프로세서 혹은 컴퓨터(125)를 갖거나 혹은 이에 연결되는 헤드 마운티드 광학 시스템이다(여기서, 적어도 하나의 프로세서 혹은 컴퓨터(125)는 하우징 유닛(housing unit)의 안쪽 혹은 바깥쪽에 배치될 수 있음을 표시하기 위해 파선(broken dashed line)들로 제시되어 있음). 프로세서(125)는 컴퓨팅 환경(computing environment) 혹은 네트워크에서 다른 프로세서들 및 컴퓨터들과의 통신을 처리하는 것을 개시하도록 구성될 수 있다. 추가적으로, VR 시스템(110)은 데이터의 저장을 위해 저장소 위치(storage location)들에 액세스(access)하거나 이러한 저장소 위치들을 포함한다. 시스템은 유선 시스템 혹은 무선 시스템일 수 있다.
도면들에서 제시되는 것과 같은 일 실시예에서, VR 시스템(110)은 하우징(120)으로 구성되는 광학 시스템을 포함한다. 본 발명의 기술분야에서 숙련된 자들에게 알려진 바와 같은 다양한 설계들이 사용될 수 있다. 도 1의 실시예에서, 하우징은 사용자(이러한 사용자는 또한 플레이어로 지칭됨)의 머리 주변 둘레에서 방사상으로(radially) 연장되도록 구성된 조정가능 스트랩(adjustable strap)들(135)을 포함한다. 하우징(120)을 제자리에 단단히 유지시키는 것을 돕기 위해 아울러 구조적 견고성을 높이기 위해 추가적인 스트랩(138)이 부가될 수 있다. 일 실시예에서, 스트랩들(135)은 길이에 있어 조정가능할 수 있고, 그리고 조임장치(fastener)를 포함할 수 있으며, 또는 이들은 탄성 물질(elasticized material)로 제조될 수 있다. 다른 실시예들에서는, 본 발명의 기술분야에서 숙련된 자들에게 인식될 수 있는 바와 같이, 스트랩들은 조임장치들과 같은 추가적인 구성요소들을 가질 수 있다. 하우징(120)은 또한 대안적으로 덜 구조적으로 만들어질 수 있는데, 예를 들어, 선글라스(sunglasses)와 같이 착용될 수 있는 구조로 만들어질 수 있고, 또는 머리 혹은 얼굴을 부분적으로 덮거나 전체적으로 덮는 마스크(mask)와 같이 더 정밀하게(rigorously) 만들어질 수 있으며, 또는 필요한 정밀성(rigor) 혹은 응용분야에 따라 적절한 위치에 설계될 수 있다.
일 실시예에서, 하우징(110)은 디스플레이에 결합되도록 구성되고, 디스플레이는 눈(eye)들을 덮는 조망 부분(viewing section)(122)을 적어도 포함한다. 일 실시예에서, 조망 부분(122)은 양쪽 눈들 위로 뻗어있는 하나의 렌즈(lens)를 가지며 적어도 하나의 디스플레이의 조망을 가능하게 한다. 또 하나의 다른 실시예에서, 도 1에서 제시되는 바와 같이, 시각적 평면(visual plane)을 정의하는 두 개의 렌즈들(123)이, 제 1 렌즈는 제 1 디스플레이와 사람의 눈들 중 제 1 눈 사이에 배치되도록 그리고 제 2 렌즈는 디스플레이와 사람의 눈들 중 제 2 눈 사이에 배치되도록 제공된다. 또 하나의 다른 실시예에서, 단일의 통합형 렌즈(single unitary lens)가 양쪽 눈들 위에 제공될 수 있다. 통합형 조망 영역 및 단일 렌즈가 제공되는 경우, 이러한 단일 렌즈는 디스플레이와 사람의 눈 사이에 배치될 것이다. 일 실시예에서, 눈들은 각각 별개의 프레임(frame)(123)으로 덮일 수 있다. 도시된 실시예에서, 하우징(110)은 단일의 디스플레이에 결합되도록 구성되지만, 대안적 실시예에서는, 둘 이상의 디스플레이들이 사용될 수 있는데, 특히 좌측 눈 렌즈 및 우측 눈 렌즈가 좌측 눈 디스플레이 및 우측 눈 디스플레이에 결합되도록 별개의 렌즈들이 제공되는 경우에 그러하다. 추가적인 경우가 있을 수 있다.
디스플레이(미도시)는 다양한 방식으로 제공될 수 있다. 일 실시예에서, 디스플레이, 프로세서, 및 다른 구성요소들을 구비한 스마트폰과 같은 모바일 장치(mobile device)를 수용하기 위해 조망 부분(122) 내에 수용 영역(receiving area)이 제공된다. 하나의 예는 무선 통신 인터페이스(wireless communication interface), 그리고 사용자의 머리의 움직임, 위치, 혹은 자세 또는 앞서의 파라미터들 중 어느 하나에서의 변화 혹은 변화율(rate of change)을 감지하기 위한 하나 이상의 센서들(가속도계들)일 수 있다.
일 실시예에서, 디스플레이 및 프로세서는 하우징(120) 및 조망 부분(122)에 결합될 수 있고, 또는 이들은 로컬(local) 혹은 원격(remote) 장치들(게임 유닛들(gaming units), 모바일 태블릿들(mobile tablets), 셀 폰들(cell phones), 데스크탑들(desktops), 서버들(servers) 혹은 이들에 결합되는 다른 컴퓨팅 수단들(computing means), 등)에 대한 통신을 처리할 수 있다. 일 실시예에서, 조망 부분(122)은 스마트폰 혹은 본 발명의 기술분야에서 숙련된 자들에 의해 인식될 수 있는 바와 같은 다른 장치들에 연결되는 디스플레이를 수용하기에 충분히 큰 수용 영역(미도시)을 포함할 수도 있다.
또 하나의 다른 실시예에서, VR 시스템(110)은 디스플레이(미도시)와 결합되도록 구성된 하우징(120)을 포함하는 가상 현실 헤드-마운티드 디스플레이를 구비한 광학 시스템이다. 하우징(120)은 디스플레이의 제 1 부분 및 제 2 부분 상에 사용자의 제 1 눈 및 제 2 눈에 의한 초점을 각각 제공하기 위해서 제 1 광 경로(optical path) 및 제 2 광 경로를 각각 정의한다. 언급된 바와 같이, 하우징과 동작가능하게 결합되는 센서가 제공될 수 있고, 이러한 센서는, 제 1 위치로부터 제 2 위치로의 하우징의 제 1 위치 변화를 검출하고 그리고 제 1 위치 변화보다 더 큰 변화를 정의하는 하우징의 제 2 위치 변화를 검출하도록 구성되어, 디스플레이에 결합된 프로세서가, 디스플레이 상에서의 출력을 위해 제 1 애니메이션을 렌더링하는 것, 센서가 제 1 위치 변화를 검출할 때 제 2 애니메이션을 미리-로딩하는 것, 그리고 센서가 제 2 위치 변화를 검출할 때 디스플레이에 출력하기 위해 제 2 애니메이션을 렌더링하는 것을 수행하도록 구성된다.
이해를 용이하게 하기 위해 이제 예시적 사례가 제공될 것이다. 도 1에서, 사용자는 사용자가 똑바로 서 있는 상태에서 전방을 바라볼 때인 평형상태(equilibrium)에서 수평 축 및 수직 축을 갖는 중심 위치에 서 있다. 사용자는 헤드 마운티드 VR 시스템(110)을 착용하고 있다. 머리가 기울어지는 형태로 위치 변화가 일어나는 경우, 프로세서(125)는 도 2와 연계되어 또한 논의되는 바와 같이 애니메이션 모드(animation mode)로 이동할 것이다. 이러한 실시예에서, 각도 편차(angle deviation)에 대한 값은 10도로 설정된다. 이것은, 0도와 10도 사이에서의 머리의 기울어짐은 위치 변화로서 인식될 것이지만 미리선택된 값(여기서는 10 퍼센트(percent))을 충족시키거나 초과할 때까지는 반응성 애니메이션 모드(reactive animation mode)는 관여되지 않을 것임을 의미한다.
이러한 예에서, 반응성 애니메이션이 관여(로딩)되는 경우, 이후 후속하는 머리 혹은 신체 움직임은 만약 그 변화가 특정 값보다 다시 더 크게 된다면 추가적인 반응성 애니메이션을 개시시킬 것이다. 본 예에서, 이러한 값은 14.7도로 설정된다. 이러한 값을 초과한 이후, 임의의 후속 위치 변화들은 반응성 애니메이션 단계(reactive animation phase)를 개시시키고 이미지들을 디스플레이(들) 상에 투사(project)시키는 데, 이에 따라 그 투사되는 이미지들은 아래에서 논의되는 바와 같이 추가적인 위치 변화들에 대한 응답이 되게 된다. 도 1에 제시된 예에서, 논의된 바와 같이 편차 값(deviation value)은 10도에 도달하고, 그 다음에 14.7도에 도달하는데, 하지만 이러한 값들은 단지 예시적 목적으로 사용된 것이고, 다른 값들이 선택될 수 있다. 14.7도의 편차 값을 초과하고 반응성 애니메이션 모드가 완전히 관여되는 경우, 모든 추가적인 머리 이동 움직임(head tracking movement)들은 추가적인 애니메이션들을 개시시킬 것이고, 이것은 시선(line of sight)이 사용자 인터페이스(User Interface, UI) 내의 다른 그래픽 사용자 인터페이스(Graphical User Interface, GUI) 요소들을 터치(touch)함에 따라 (머리 움직임을 통해) 지속적으로 활성화되는 피드백 경험(feedback experience)을 생성하고 업데이트(updating)를 행함에 유의해야 한다.
일 실시예에서, 콘텐츠(예를 들어, 제 1 애니메이션)를 바라보면서 체류(station)하고 있는 사용자에게 적용되는 "시선(line of sight)"에 대한 결정이 이루어진다. 시선이 X도만큼 증가하는 경우, 제 2 애니메이션이 미리로딩되고, 시선이 Y도(X < Y)를 벗어나는 경우 애니메이션이 활성화된다. 예를 들어, 사용자가 게임 H를 하고 있는 예시적인 경우가 사용될 수 있다. 게임 H는 모바일 장치에 다운로드(download)될 수 있거나 혹은 다른 수단들을 통해 재생될 수 있는 장르(genre)가 공포인 게임이다. 사용자/플레이어는 머리를 (X도) 기울어지게 함으로써 반응성 애니메이션을 개시 및 관여시킨다. 이 경우 사용자의 머리는 해당 지점으로부터 계속되는 UI로서 거의 사용되며, 이에 따라 사용자는 단지 머리를 기울어지게 함으로써 특정 동작들을 선택하게 된다. 일 실시예에서는, 자발적 행동 혹은 비자발적 행동이 모두 사용될 수 있다. 예를 들어, 플레이어가 이러한 VR 세계에 들어감에 따라, 플레이어에게는 플레이어가 자발적으로 선택한 다양한 공포 장면들 및 선택사항들이 제시된다. 하지만, 하나의 사례에서, 사용자는 특히 섬뜩한 장면을 볼 수 있고, 사용자는 비자발적으로 특정 방향으로 사용자의 머리를 움직이는데, 이것은 다른 장면들이 사용자에게 디스플레이되게 한다. 일 실시예에서, 이러한 비자발적 동작은 예를 들어, 사용자/플레이어가 게임에서 위치하고 있는 VR 가상 공간의 다른 영역에서 다른 미리로딩된 이미지들을 제공할 수 있다. 일 실시예에서, 사용자/플레이어는 이용가능한 기술, 예컨대, M-GO 어드밴스드(M-GO Advanced), 오귤러스 리프트(Oculus Rift) 혹은 기어 VR(Gear VR)과 같은 그러한 시스템들을 이용할 수 있다.
일 실시예에서, VR 시스템은 심지어, 이미지의 유형(type), 그리고 사용자/플레이어가 그 디스플레이되는 콘텐츠에 강하게 반응하는 사례를 포착(capture)할 수 있고, 이러한 지식을 이후 해당 게임에서 혹은 다른 게임들에서 사용하여 그 특정 사용자에 대해 더 구체적으로 설계된 경험들을 제공할 수 있다.
반응성 애니메이션은 본 발명의 기술분야에서 숙련된 자들에게 알려진 바와 같은 다수의 방식으로 프로세서(125)에 의해 제공될 수 있다. 예를 들어, 일 실시예에서, 이것은 행위(behavior)들 및 이벤트(event)들의 개념(notion)들에 대부분 근거할 풍부하게 상호작용적인 멀티미디어 애니메이션들을 구성하기 위한 데이터 유형들 및 기능들의 집합체(collection)로서 제공될 수 있다. 행위들은 시간에 따라 변하는 반응성 값들이고, 반면 이벤트들은 임의적으로 복합적인 상태들의 집합(set)들이며, 이것은 가능하게는 풍부한 정보를 전달한다. 대부분의 종래 값들은 행위들로서 처리될 수 있고, 따라서, 이미지들이 처리되는 경우, 이들은 애니메이션들이 된다.
다른 실시예에서, 또한 도 1에서 예시되는 바와 같이, 사용자는 똑바로 서 있는 상태에서 신체 중심 위치에 있고 VR 시스템(110) 상의 콘텐츠를 조망하는 것에 관여하고 있다. 이러한 실시예에서, 사용자가 사용자의 시선을 중앙 중심선(central median) 아래로 낮추는 임의의 시간에, 장치는 미리로딩되는 것 대신에 동적 경험(dynamic experience)을 개시시킨다. 이것은 이전의 위치에 저장된 것을 갖는 대신에 동적으로 경험이 생성됨을 의미할 수 있다. 이것은 클라우드(Cloud)와 같은 네트워크들 혹은 다른 장치들과 통신하고 있는 프로세서(125)를 통해 현재 생생하게 투사되고 있는 실제 위치에서 카메라들 혹은 다른 장치들의 사용을 포함할 수 있는 동적인 실제 생생한 경험에 대한 액세스를 가능하게 한다.
또 하나의 다른 실시예에서, VR 시스템(110)은 추가적인 감각적 자극을 제공할 수 있는 다른 구성요소들을 포함할 수 있다. 예를 들어, 시각적 구성요소가 사용자로 하여금 중력, 속도, 가속도, 등을 경험할 수 있도록 하는 동안, 시스템(110)은, 사용자의 시각적 경험을 증진시키기 위해 시각적 구성요소에 연결되어 있는 바람, 습기, 냄새와 같은 다른 물리적 자극을 제공할 수 있다.
본 발명의 일 실시예에서, VR 시스템(110)을 통해 사용자에게 제공되는 콘텐츠는 또한 증강 현실(augmented reality)의 형태로 제시될 수 있다. 최근 몇 년간, 증강 현실은 오락 분야를 포함하는 다양한 분야에서 사용될 수 있는 독특한 경험을 제공하기 위해 확장되고 있다. 증강 현실은 종종 감각적 입력을 사용하고, 컴퓨터에 의해 발생되는 감각적 입력을 통해서, 예컨대, (빠르게 멀티미디어 콘텐츠 배포를 위한 주요 기술이 되고 있는) HTTP를 통한 적응성 스트리밍(adaptive streaming over HTTP)(이것은 또한 멀티-비트레이트 스위칭(multi-bitrate switching)으로 지칭됨)을 통해서, 실제 작업 요소(real worked element)를 생성한다. 이미 사용되고 있는 HTTP 적응성 스트리밍 프로토콜들 중에서, 가장 유명한 것으로는, 애플(Apple)에서 나온 HTTP 라이브 스트리밍(HTTP Live Streaming, HLS), 마이크로소프트(Microsoft)에서 나온 실버라이트 스무스 스트리밍(Silverlight Smooth Streaming, SSS), 어도비(Adobe)에서 나온 어도비 다이나믹 스트리밍(Adobe Dynamic Streaming, ADS), 그리고 SA4 그룹(SA4 group) 내의 3 GPP에 의해 개발된 HTTP를 통한 동적 적응성 스트리밍(Dynamic Adaptive Streaming over HTTP, DASH)이 있다. 증강 현실을 위한 기술은 본 발명의 기술분야에서 숙련된 자들에게 알려져 있고 더 이상 논의되지 않을 것이다.
도 2는 도 1의 실시예에서 논의된 바와 같은 헤드-마운티드 디스플레이를 통해 사용자에게 가상 현실 경험을 사용하는 일 실시예를 설명하는 흐름도를 나타낸 것이다. 단계(210)는 편차 각도(deviation angle)들이 미리선택되고 시선에 대한 기준선(baseline)이 확립되는 개시 단계이다. 단계(220)는 사용자의 제 1 위치 변화를 프로세서(125)를 사용해 검출한다. 단계(230)에서 제시되는 바와 같이, 만약 위치 변화가 있었고 그 위치 변화가, 미리선택된 편차 값을 초과한다면, 반응성 애니메이션이 관여된다(단계(240)). 만약 제 2 위치가 있었고 제 2 값을 초과했다면, 반응성 애니메이션이 완전히 관여되게 된다(단계(250)). 별개의 실시예에서, 임의의 수평 및 수직 값 변화가 시스템에 완전히 관여할 수 있다.
반응 애니메이션(reaction animation)이 완전히 관여되는 경우, 단계(260)에서 제시되는 바와 같이 임의의 추가적인 머리 움직임에 따라 대응하는 장면들이 제공될 것이다. 달리 말하면, 앞서 논의된 바와 같이, 반응성 애니메이션 모드에 있는 경우, 모든 추가적인 머리 이동 움직임들은 추가적인 애니메이션들을 개시시킬 것이고, 이것은 해당하는 시선이 다른 그래픽 사용자 인터페이스 장치들, 그리고 이러한 다른 사용자 인터페이스들을 통해 가상으로 조망될 수 있는 구성요소들을 터치함에 따라 지속적으로 활성화되는 피드백 경험을 생성하고 업데이트를 행한다.
일부 실시예들이 설명되었지만, 본 발명의 기술분야에서 숙련된 자들은 후속하는 청구항들의 범위 내에 있는 다양한 개선들 및 향상들을 현재 그리고 장래에 모두 만들 수 있음이 이해될 것이다. 이러한 청구항들은 처음 설명되는 본 발명에 대한 적합한 보호범위가 유지되도록 해석돼야 한다.

Claims (8)

  1. 가상 현실 헤드-마운티드 디스플레이(virtual reality head-mounted display)를 위한 광학 시스템(optical system)으로서, 상기 광학 시스템은,
    상기 디스플레이와의 결합을 위해 사용자의 머리 상에 장착하기 위한 하우징(housing)으로서, 상기 하우징은 상기 디스플레이 상의 초점(focus)을 조망(viewing)할 수 있게 하는, 상기 하우징과; 그리고
    상기 하우징과 동작가능하게 결합되고, 제 1 위치로부터 제 2 위치로의 상기 하우징의 제 1 위치 변화를 검출하고 그리고 상기 제 1 위치 변화보다 더 큰 상기 하우징의 제 2 위치 변화를 검출하도록 되어 있는 센서(sensor)를 포함하며,
    상기 디스플레이에 결합된 프로세서(processor)가, 상기 디스플레이 상에서의 출력을 위해 제 1 애니메이션(animation)을 렌더링(rendering)하는 것, 상기 센서가 상기 제 1 위치 변화를 검출할 때 제 2 애니메이션을 미리-로딩(pre-loading)하는 것, 그리고 상기 센서가 상기 제 2 위치 변화를 검출함에 근거하여 상기 디스플레이에 출력하기 위해 상기 제 2 애니메이션을 렌더링하는 것을 수행하도록 되어 있는 것을 특징으로 하는 가상 현실 헤드-마운티드 디스플레이를 위한 광학 시스템.
  2. 제1항에 있어서,
    상기 하우징은 상기 디스플레이를 또한 포함하는 제 1 하우징인 것을 특징으로 하는 가상 현실 헤드-마운티드 디스플레이를 위한 광학 시스템.
  3. 제2항에 있어서,
    상기 디스플레이, 상기 센서, 및 상기 프로세서는, 상기 제 1 하우징과 결합되는 제 2 하우징 내에 통합되는 것을 특징으로 하는 가상 현실 헤드-마운티드 디스플레이를 위한 광학 시스템.
  4. 제1항에 있어서,
    상기 제 1 위치 변화는 상기 제 1 위치로부터의 제 1 각도(angle)를 정의하고, 상기 제 2 위치 변화는 상기 제 1 위치로부터의 제 2 각도를 정의하고, 상기 제 2 각도는 상기 제 1 각도보다 더 큰 것을 특징으로 하는 가상 현실 헤드-마운티드 디스플레이를 위한 광학 시스템.
  5. 제4항에 있어서,
    상기 제 1 각도는 10도를 초과하는 것을 특징으로 하는 가상 현실 헤드-마운티드 디스플레이를 위한 광학 시스템.
  6. 제5항에 있어서,
    상기 제 2 각도는 14.7도인 것을 특징으로 하는 가상 현실 헤드-마운티드 디스플레이를 위한 광학 시스템.
  7. 헤드-마운티드 하우징(head-mounted housing)을 통해 사용자에게 가상 현실 경험을 제공하는 방법으로서,
    상기 하우징을 통한 사용자에 의한 조망을 위해서 이미지(image)를 프로세서를 사용해 렌더링하는 단계와, 상기 하우징은 디스플레이에 결합되고;
    상기 하우징의 제 1 위치 변화를 상기 프로세서를 사용해 검출하고, 상기 제 1 위치 변화보다 더 큰 변화를 정의하는 상기 하우징의 제 2 위치 변화를 상기 프로세서를 사용해 검출하는 단계와;
    상기 디스플레이에 출력하기 위해서 제 1 애니메이션을 상기 프로세서를 사용해 렌더링하는 단계와;
    상기 프로세서가 상기 제 1 위치 변화를 검출한 상태에서 상기 프로세서를 포함하는 컴퓨팅 시스템(computing system)으로 제 2 애니메이션을 미리-로딩하는 단계와; 그리고
    상기 프로세서가 상기 제 2 위치 변화를 검출한 상태에서 상기 디스플레이에 출력하기 위해서 상기 제 2 애니메이션을 상기 프로세서를 사용해 렌더링하는 단계를 포함하는 것을 특징으로 하는 헤드-마운티드 하우징을 통해 사용자에게 가상 현실 경험을 제공하는 방법.
  8. 제7항에 있어서,
    제 1 광 경로(optical path) 및 제 2 광 경로를 통한 사용자의 제 1 눈(eye) 및 제 2 눈에 의한 조망을 위해서 상기 디스플레이의 각각의 부분들에 의해 제 1 이미지 및 제 2 이미지가 제공되게 되는 것을 특징으로 하는 헤드-마운티드 하우징을 통해 사용자에게 가상 현실 경험을 제공하는 방법.
KR1020177033462A 2015-06-01 2015-09-14 가상 현실을 위한 반응성 애니메이션 KR20180013892A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562169137P 2015-06-01 2015-06-01
US62/169,137 2015-06-01
PCT/US2015/049897 WO2016195733A1 (en) 2015-06-01 2015-09-14 Reactive animation for virtual reality

Publications (1)

Publication Number Publication Date
KR20180013892A true KR20180013892A (ko) 2018-02-07

Family

ID=54197110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177033462A KR20180013892A (ko) 2015-06-01 2015-09-14 가상 현실을 위한 반응성 애니메이션

Country Status (6)

Country Link
US (1) US20180169517A1 (ko)
EP (1) EP3302740A1 (ko)
JP (1) JP2018524673A (ko)
KR (1) KR20180013892A (ko)
CN (1) CN107708819A (ko)
WO (1) WO2016195733A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10551993B1 (en) * 2016-05-15 2020-02-04 Google Llc Virtual reality content development environment
US10868848B2 (en) * 2016-07-25 2020-12-15 Peraso Technologies Inc. Wireless multimedia communications system and method
CN107229333B (zh) * 2017-05-25 2018-08-14 福州市极化律网络科技有限公司 基于视野变换的最佳参照物选取方法及装置
CN107203267B (zh) * 2017-05-25 2018-10-02 福州市极化律网络科技有限公司 基于视野判断的虚拟世界探索方法及装置
US11537264B2 (en) * 2018-02-09 2022-12-27 Sony Interactive Entertainment LLC Methods and systems for providing shortcuts for fast load when moving between scenes in virtual reality
US11048483B2 (en) 2019-09-24 2021-06-29 Rockwell Automation Technologies, Inc. Industrial programming development with an extensible integrated development environment (IDE) platform
US11392112B2 (en) * 2019-09-26 2022-07-19 Rockwell Automation Technologies, Inc. Virtual design environment
US11042362B2 (en) 2019-09-26 2021-06-22 Rockwell Automation Technologies, Inc. Industrial programming development with a trained analytic model
US11163536B2 (en) 2019-09-26 2021-11-02 Rockwell Automation Technologies, Inc. Maintenance and commissioning
CN110958325B (zh) * 2019-12-11 2021-08-17 联想(北京)有限公司 一种控制方法、装置、服务器及终端

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090013263A1 (en) * 2007-06-21 2009-01-08 Matthew Jonathan Fortnow Method and apparatus for selecting events to be displayed at virtual venues and social networking
US9348141B2 (en) * 2010-10-27 2016-05-24 Microsoft Technology Licensing, Llc Low-latency fusing of virtual and real content
US20150316766A1 (en) * 2012-03-23 2015-11-05 Google Inc. Enhancing Readability on Head-Mounted Display
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
CN104246864B (zh) * 2013-02-22 2016-06-29 索尼公司 头戴式显示器和图像显示装置
WO2014200779A2 (en) * 2013-06-09 2014-12-18 Sony Computer Entertainment Inc. Head mounted display
US20150097719A1 (en) * 2013-10-03 2015-04-09 Sulon Technologies Inc. System and method for active reference positioning in an augmented reality environment
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
US9910505B2 (en) * 2014-06-17 2018-03-06 Amazon Technologies, Inc. Motion control for managing content
CN106415447B (zh) * 2014-06-30 2019-08-06 索尼公司 信息处理装置、信息处理方法和图像处理系统
JP5767386B1 (ja) * 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP5952931B1 (ja) * 2015-03-23 2016-07-13 株式会社コロプラ コンピュータ・プログラム

Also Published As

Publication number Publication date
US20180169517A1 (en) 2018-06-21
WO2016195733A1 (en) 2016-12-08
EP3302740A1 (en) 2018-04-11
CN107708819A (zh) 2018-02-16
JP2018524673A (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
KR20180013892A (ko) 가상 현실을 위한 반응성 애니메이션
US10255715B2 (en) Field of view (FOV) throttling of virtual reality (VR) content in a head mounted display
CN107683166B (zh) 用于限制头戴式显示器上的视觉活动的过滤和父母控制方法
Anthes et al. State of the art of virtual reality technology
CN109246463B (zh) 用于显示弹幕的方法和装置
US20180356893A1 (en) Systems and methods for virtual training with haptic feedback
WO2017053625A1 (en) Mapping of user interaction within a virtual-reality environment
CN106445157B (zh) 一种画面显示方向调整的方法以及装置
KR20220012990A (ko) 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅
US10984571B2 (en) Preventing transition shocks during transitions between realities
KR20220018561A (ko) 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
WO2018000606A1 (zh) 一种虚拟现实交互界面的切换方法和电子设备
EP3346375B1 (en) Program, recording medium, content provision device, and control method
CN115150555B (zh) 视频录制方法、装置、设备及介质
CN113194329B (zh) 直播互动方法、装置、终端及存储介质
Benton et al. Oculus Rift in Action
CN112262373B (zh) 基于视图的断点
Seligmann Creating a mobile VR interactive tour guide
Quek et al. Obscura: A mobile game with camera based mechanics
Chifor et al. Immersive Virtual Reality application using Google Cardboard and Leap Motion technologies.
US20240198230A1 (en) Reconstruction of occluded regions of a face using machine learning
US20240177359A1 (en) Training a machine learning model for reconstructing occluded regions of a face
CN106484114B (zh) 基于虚拟现实的交互控制方法及装置
EP3553629B1 (en) Rendering a message within a volumetric data

Legal Events

Date Code Title Description
WITB Written withdrawal of application