KR20170012312A - 가상 환경 내에 양방향성을 제공하는 방법 및 시스템 - Google Patents

가상 환경 내에 양방향성을 제공하는 방법 및 시스템 Download PDF

Info

Publication number
KR20170012312A
KR20170012312A KR1020167034767A KR20167034767A KR20170012312A KR 20170012312 A KR20170012312 A KR 20170012312A KR 1020167034767 A KR1020167034767 A KR 1020167034767A KR 20167034767 A KR20167034767 A KR 20167034767A KR 20170012312 A KR20170012312 A KR 20170012312A
Authority
KR
South Korea
Prior art keywords
virtual
virtual environment
objects
tagged
virtual camera
Prior art date
Application number
KR1020167034767A
Other languages
English (en)
Inventor
에밀리 졸리
실뱅 졸리
Original Assignee
에이펠랩 에스에이알엘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이펠랩 에스에이알엘 filed Critical 에이펠랩 에스에이알엘
Publication of KR20170012312A publication Critical patent/KR20170012312A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 디바이스 상에 표시되는 가상 환경 내에 양방향성을 제공하는 방법에 관한 것이다. 방법은 가상 환경 내에서 가상 카메라를 배향시키도록 사용자로부터 입력을 수신하는 단계로서, 가상 환경은 복수의 대상을 포함하고 대상들 중 적어도 일부는 태깅되는 단계; 및 태깅된 대상들이 가상 카메라의 한정된 시각 범위 내에 있을 때, 태깅된 대상들과 연관된 하나 이상의 작동을 트리거하는 단계를 포함한다. 시스템 및 컴퓨터 프로그램 코드가 또한 개시된다.

Description

가상 환경 내에 양방향성을 제공하는 방법 및 시스템{A METHOD AND SYSTEM FOR PROVIDING INTERACTIVITY WITHIN A VIRTUAL ENVIRONMENT}
본 발명은 가상 환경의 분야에 있다. 배타적이지는 않지만 보다 상세하게는, 본 발명은 가상 환경 내의 양방향성에 관한 것이다.
컴퓨팅 시스템은 상이한 타입의 시각화 시스템을 제공한다. 사용되는 하나의 시각화 시스템은 가상 환경이다. 가상 환경은 가상 환경 내에 배향되는 가상 카메라로부터의 시계를 사용자에게 표시한다. 입력은 가상 카메라의 배향을 변경하기 위해 사용자로부터 수신된다.
가상 환경은 오락, 교육, 의료 및 과학을 포함하는 다수의 분야에 사용된다.
가상 환경을 표시하는 기술은 데스크탑/랩탑 컴퓨터, 태블릿 및 스마트폰과 같은 휴대용 디바이스, 및 Oculus Rift™와 같은 가상 현실 헤드셋을 포함할 수 있다.
내부 자이로스코프를 갖는 일부 휴대용 디바이스의 경우, 사용자는 휴대용 디바이스를 움직임으로써 가상 카메라를 배향시킬 수 있고 휴대용 디바이스는 가상 카메라를 가상 환경 내에 위치시키기 위해 휴대용 디바이스의 자이로스코프로부터 유도되는 휴대용 디바이스의 배향을 사용한다.
사용자는 사용자의 머리를 돌리고 기울임으로써 가상 현실 헤드셋에서의 가상 카메라를 배향시킨다.
하나의 그러한 가상 환경이 Google Spotlight Stories™에 의해 제공된다. Spotlight Stories™는 스마트폰에 대해 제공되는 360 도 애니메이션화된 필름들이다. 사용자는 사용자의 스마트폰을 움직임으로써 가상 환경 내에 가상 카메라를 배향시킬 수 있다. 내부 자이로스코프를 통하여, 스마트폰은 스마트폰의 배향을 가상 카메라의 배향으로 변환한다. 사용자는 그 다음 사용자가 선택하는 관점에서 연속적인 애니메이션을 볼 수 있고 애니메이션 동안 관점을 변경할 수 있다.
일부 응용의 경우, 가상 환경 내에 양방향성을 가능하게 하는 것이 바람직할 것이다. 양방향성은 데스크탑/랩탑 컴퓨터에 대한 터치패드 또는 포인팅 디바이스(예를 들어, 마우스)를 통하여, 핸드헬드 디바이스에 대한 터치 스크린을 통하여, 그리고 가상 현실 헤드셋 상의 버튼을 통하여 전형적으로 제공된다.
종래 기술에 의해 제공되는 양방향성의 본질 및 응용은 가상 환경의 사용을 통하여 제공될 수 있는 상이한 타입 양방향 체험에서 제한될 수 있다. 예를 들어, 사용자는 특정 입력을 제공함으로써 상호 작용을 의식적으로 트리거해야 하고 핸드헬드 디바이스 및 가상 현실 헤드셋에 대한 입력을 수신하는 사용자 인터페이스는 번거로울 수 있으며 - 터치 스크린 상의 손가락이 핸드헬드 디바이스에 대한 디스플레이의 일부를 차단하고 사용자는 사용자가 가상 현실 헤드셋에서 눌러야 하는 버튼을 볼 수 없다.
그러므로, 가상 환경 내에 양방향성을 제공하는 개선된 방법 및 시스템에 대한 바램이 있다.
종래 기술의 단점을 극복하거나, 적어도 유용한 대안을 제공하는 가상 환경 내에 양방향성을 제공하는 방법 및 시스템을 제공하는 것이 본 발명의 목적이다.
본 발명의 제1 양태에 따르면, 디바이스 상에 표시되는 가상 환경 내에 양방향성을 제공하는 방법으로서:
가상 환경 내에서 가상 카메라를 배향시키도록 사용자로부터 입력을 수신하는 단계로서, 가상 환경은 복수의 대상을 포함하고 대상들 중 적어도 일부는 태깅되는 단계; 및
태깅된 대상들이 가상 카메라의 한정된 시각 범위 내에 있을 때, 태깅된 대상들과 연관된 하나 이상의 작동을 트리거하는 단계를 포함하는 방법이 제공된다.
본 발명의 추가의 양태에 따르면, 가상 환경 내에 양방향성을 제공하는 시스템으로서:
복수의 대상을 포함하는 가상 환경을 한정하는 데이터를 저장하도록 구성되는 메모리로서, 대상들 중 적어도 일부는 태깅되는 메모리;
가상 환경 내에 가상 카메라를 배향시키도록 사용자로부터 입력을 수신하도록 구성되는 입력 수단;
가상 카메라로부터 사용자로의 시계를 표시하도록 구성되는 디스플레이; 및
입력에 따라 가상 카메라를 배향시키고 가상 카메라의 시각 범위 내의 태깅된 대상들과 연관된 하나 이상의 작동을 트리거하도록 구성되는 프로세서를 포함하는 시스템이 제공된다.
본 발명의 추가의 양태에 따르면, 가상 환경 내에 양방향성을 제공하는 컴퓨터 프로그램 코드로서:
실행될 때, 가상 환경 내에 복수의 태깅된 대상을 생성하고 하나 이상의 작동을 각각의 태깅된 대상과 연관시키도록 구성되는 생성 모듈; 및
실행될 때, 가상 카메라로부터 가상 환경으로의 투영을 생성하고, 투영과 가시적 태깅된 대상들 사이의 교차점들을 검출하고, 교차된 태깅된 대상들과 연관된 작동들을 트리거하도록 구성되는 트리거 모듈을 포함하는 컴퓨터 프로그램 코드가 제공된다.
본 발명의 추가의 양태에 따르면, 가상 환경 내에 양방향성을 제공하는 시스템으로서:
생성 모듈, 트리거 모듈 및 복수의 대상을 포함하는 가상 환경을 한정하는 데이터를 저장하도록 구성되는 메모리;
가상 환경 내에 복수의 태깅된 대상 및 각각의 태깅된 대상과 연관된 하나 이상의 작동을 생성하기 위해 애플리케이션 개발자로부터의 입력을 수신하도록 구성되는 사용자 입력 장치; 및
가상 환경 내에 복수의 태깅된 대상 및 각각의 태깅된 대상과 연관된 하나 이상의 작동을 생성하기 위해 생성 모듈을 실행시키고 트리거 모듈을 포함하는 애플리케이션 프로그램을 컴파일하도록 구성되는 프로세서를 포함하는 시스템이 제공된다.
본 발명의 다른 양태들을 청구항들 내에서 설명한다.
본 발명의 실시예들을 이제 첨부 도면들을 참조하여 예로서만 설명할 것이다:
도 1은 본 발명의 일 실시예에 따른 시스템을 도시하는 블록도를 도시한다.
도 2는 본 발명의 일 실시예에 따른 방법을 도시하는 흐름도를 도시한다.
도 3은 본 발명의 일 실시예에 따른 컴퓨터 프로그램 코드를 도시하는 블록도를 도시한다.
도 4는 본 발명의 일 실시예에 따른 시스템을 도시하는 블록도를 도시한다.
도 5a 내지 도 5c는 본 발명의 상이한 실시예들에 따른 방법을 도시하는 블록도들을 도시한다.
도 6은 본 발명의 일 실시예에 따른 방법을 도시하는 흐름도를 도시한다.
도 7a는 본 발명의 일 실시예에 따른 가상 환경에 대하여 물리적 디바이스를 배향시키는 것을 도시하는 도면을 도시한다.
도 7b는 본 발명의 일 실시예에 따른 가상 장면 내에서 가상 카메라를 배향시키는 것을 도시하는 도면을 도시한다.
도 7c는 본 발명의 일 실시예에 따른 태블릿 디바이스를 배향시키는 사용자를 도시하는 도면을 도시한다.
도 7d는 본 발명의 일 실시예에 따른 가상 현실 헤드셋 디바이스를 배향시키는 사용자를 도시하는 도면을 도시한다.
도 8a는 본 발명의 일 실시예에 따른 "응시 대상들"에서 이벤트들의 트리거링을 도시하는 도면을 도시한다.
도 8b 내지 도 8d는 본 발명의 일 실시예에 따른 근접 구역 내의 "응시 대상들"에서 이벤트들의 트리거링을 도시하는 도면들을 도시한다.
도 9는 본 발명의 일 실시예에 따른 트리거 방법을 도시하는 흐름도를 도시한다.
도 10a는 본 발명의 일 실시예에 따른 트리거되는 상이한 이벤트들을 도시하는 도면을 도시한다.
도 10b는 본 발명의 일 실시예에 따른 가상 장면의 다른 곳에서 이벤트들을 트리거하는 "응시된" 대상을 도시하는 도면을 도시한다.
도 11은 본 발명의 일 실시예에 따른 공간화된 음향을 도시하는 도면을 도시한다.
도 12는 본 발명의 일 실시예와의 사용을 위한 태블릿 및 헤드폰들을 도시한다.
본 발명은 가상 환경 내에 양방향성을 제공하는 방법 및 시스템을 제공한다.
발명자들은 가상 3D 환경 내에 사용자에 의한 가상 카메라의 배향이 사용자의 응시, 그리고 그러므로, 그러한 가상 공간 내의 사용자의 관심과 비슷하다는 것을 발견하였다. 이것에 기반하여, 발명자들은 이러한 "응시"만이 가상 환경 내의 "응시된" 대상들과 관련 있는 작동들을 트리거하는데 사용될 수 있다는 것을 인식하였다. 이러한 "응시" 가능 환경은 양방향성을 제공하거나 증대시킨다. 발명자들은 체험이 스크립트화되지만 사용자에 의해 트리거될 수 있으므로, 그것이 3D 가상 세계들에서 상호 작용 서술 체험들을 전달하는데 특히 유용할 수 있다는 것을 발견하였다.
도 1에서, 본 발명의 일 실시예에 따른 시스템(100)이 도시된다.
시스템(100)은 디스플레이(101), 입력 장치(102), 프로세서(103) 및 메모리(104)를 포함한다.
시스템(100)은 음성 출력 장치(105)를 포함할 수도 있다. 음성 출력 장치(105)는 그러한 스테레오 스피커 또는 헤드폰의 다중 채널 음성 출력 장치, 또는 서라운드 음향 시스템일 수 있다.
디스플레이(101)는 가상 카메라의 관점에서 가상 환경을 표시하도록 구성될 수 있다. 디스플레이(101)는 예를 들어, LED/LCD 디스플레이, 휴대용 디바이스 상의 터치 스크린, 또는 가상 현실 헤드셋에 대한 이중 좌측 눈-우측 눈 디스플레이일 수 있다.
입력 장치(102)는 가상 환경 내에서 가상 카메라를 배향시키기 위해 사용자로부터 입력을 수신하도록 구성될 수 있다. 입력 장치(102)는 예를 들어, 자이로스코프, 콤파스 및/또는 가속도계 중 하나 이상일 수 있다.
가상 환경은 복수의 대상을 포함할 수 있다. 대상들 중 일부는 태깅되고 하나 이상의 작동과 연관될 수 있다.
프로세서(103)는 사용자에 대한 디스플레이를 위해 가상 카메라에 대한 시계를 생성하고, 가상 환경 내에서 가상 카메라를 배향시키도록 입력을 수신하고 처리하고, 가상 카메라에 대한 시각 범위 내에 있는 태깅된 대상들과 연관된 하나 이상의 작동을 트리거하도록 구성될 수 있다.
작동들은 가상 환경 내의 시각 또는 음성 변화들, 디스플레이(101), 음성 출력 장치(105) 또는 임의의 다른 타입의 사용자 출력 장치를 통한 다른 사용자 출력들(예를 들어, 진동 모터를 통한 진동); 다른 디바이스에서의 활동; 또는 네트워크 활동일 수 있다.
작동들은 태깅된 대상과 관련되거나, 가상 환경 내의 다른 대상들과 관련되거나, 어떤 대상들과도 관련되지 않을 수 있다.
시각 범위는 가상 카메라의 전체 시계 또는 가상 카메라로부터의 투영에 의해 생성되는 시계일 수 있다. 투영은 광선 또는 다른 타입의 투영(예를 들어, 콘(cone))일 수 있다. 투영은 가상 카메라의 중심 밖으로 그리고 가상 환경으로 향해질 수 있다.
메모리(104)는 복수의 대상을 포함하는 가상 환경을 한정하는 데이터, 대상들 중 어느 것이 태깅되는지를 식별하는 데이터, 태깅된 대상들로 작동들을 매핑하는 데이터, 그리고 작동들을 한정하는 데이터를 저장하도록 구성될 수 있다.
디스플레이(101), 입력 장치(102), 메모리(104) 및 음성 출력 장치(105)는 독립적으로, 조합으로 또는 통신 버스를 통하여 프로세서(103)에 연결될 수 있다.
시스템(100)은 바람직하게는 데스크탑/랩탑 컴퓨터와 같은 개인 사용자 디바이스, 태블릿, 스마트폰 또는 스마트워치와 같은 휴대용 컴퓨팅 디바이스, 가상 현실 헤드셋, 또는 맞춤형 디바이스이다. 시스템(100)이 하나 이상의 통신 시스템을 통하여 링크되는 복수의 장치에 걸쳐 분포될 수 있다는 점이 이해될 것이다. 예를 들어, 디스플레이(101) 및 입력 장치(102)는 통신 네트워크(예를 들어, 와이파이 또는 블루투스)를 통하여 태블릿 또는 스마트폰과 같은 컴퓨팅 장치 내의 프로세서(103) 및 메모리(104)로 링크되는 가상 현실 헤드셋의 일부일 수 있다.
일 실시예에서, 휴대용 컴퓨팅 디바이스는 Google Cardboard™, Samsung Gear™ 또는 HTC Vive™와 같은 헤드셋을 통하여 사용자에 대하여 제 위치에 유지될 수 있다.
입력 장치(102) 및 디스플레이(101)가 휴대용 컴퓨팅 디바이스의 일부를 형성하고 입력 장치(102)가 자이로스코프, 콤파스 및/또는 가속도계 중 하나 이상인 경우, 전체 디바이스의 움직임은 따라서, 가상 환경 내에서 가상 카메라를 배향시킬 수 있다. 입력 장치(102)는 디바이스의 배향이 가상 카메라의 배향과 1 대 1로 상응하도록 가상 카메라의 배향과 직접 관련될 수 있다.
도 2를 참조하여, 본 발명의 일 실시예에 따른 방법(200)을 설명할 것이다.
방법(200)은 예를 들어, Unity와 같은 가상 환경 개발 플랫폼을 사용하여 하나 이상의 애플리케이션 개발자에 의해 적어도 부분적으로 한정되거나 생성되는 가상 환경을 활용할 수 있다. 가상 환경의 생성 동안, 애플리케이션 개발자는 태깅된 대상들을 생성하거나 한정하고, 하나 이상의 작동을 이러한 태깅된 대상들 각각과 연관시킬 수 있다.
일부 실시예들에서, 태깅된 대상들 및/또는 연관된 작동들은 프로그램에 따라 그리고 애플리케이션 개발자로부터의 입력에 응하여 전체적으로 또는 부분적으로, 또는 일 실시예에서, 사용자에 의한 가상 환경과의 상호 작용 동안 동적으로, 또는 다른 실시예에서, 다른 사용자의 하나 이상의 파티로부터의 입력에 응하여 생성될 수 있다.
가상 환경은 하나 이상의 장면으로 구성될 수 있다. 장면들은 3D 공간 내에 배열되는 복수의 대상으로 구성될 수 있다. 장면들은 초기 가상 카메라 배향으로 한정될 수 있고 가상 카메라의 재배향 상의 제한들(예를 들어, 회전 움직임만, 또는 수평 움직임만 등)을 포함할 수 있다. 장면 내의 대상들은 정적(즉, 대상의 상태 또는 위치가 변경되지 않음)이거나 동적(예를 들어, 대상이 3D 공간 내에서 애니메이션 또는 변환을 겪을 수 있음)일 수 있다. 스크립트들 또는 규칙들이 대상들에 대한 변경들을 한정할 수 있다.
단계(201)에서, 가상 카메라로부터 가상 환경으로의 시계가 (예를 들어, 디스플레이(101) 상에서) 사용자에게 표시된다. 시계는 가상 카메라에 "가시적"인 하나 이상의 대상의 적어도 일부의 디스플레이를 포함할 수 있다. 대상은 경계선들에 의해 가상 환경 내에서 범위가 정해질 수 있다. 경계선들은 가상 환경 내에서 3D 대상을 한정할 수 있다. 경계선들은 정적이거나 동적일 수 있다. "가시적" 대상은 가상 카메라로부터 가상 환경으로의 투영들과 교차하는 대상일 수 있다.
단계(202)에서, 사용자는 가상 환경 내에서 가상 카메라를 배향시키도록 (예를 들어, 입력 장치(102)를 통하여) 입력을 제공한다. 가상 카메라를 재배향시키는 것은 단계(203)에 의해 나타낸 바와 같이 사용자에게 표시되는 시계를 변경할 수 있다.
단계(204)에서, 가상 카메라의 한정된 시각 범위 내의 태깅된 대상들과 연관된 하나 이상의 작동이(예를 들어, 프로세서(103)에 의해) 트리거된다. 시각 범위는 가상 카메라로부터의 투영들에 의해 형성되는 복수의 시계들 중 하나로서 한정될 수 있다. 상이한 투영들의 예들이 도 5a 내지 도 5c에 도시되고 가상 카메라로부터 가상 환경으로 투영되는 광선; 가상 카메라로부터 상기 환경으로 투영되는 콘; 또는 가상 카메라의 전체 시계(예를 들어, 가상 환경으로 투영되는 사용자에게 표시되는 시계의 치수들의 직사각형 투영)를 포함할 수 있다. 추가 입력이 그 다음 단계(205)에 의해 나타낸 바와 같이 사용자로부터 수신될 수 있다.
한정된 트리거 기간이 작동들과, 태깅된 대상들과, 또는 전반적으로 연관될 수 있다. 하나 이상의 작동이 태깅된 대상들이 한정된 기간의 전체 동안 한정된 시각 범위 내에 있을 때, 트리거될 수 있다. 트리거 기간 동안의 대안적인 구현들이 가능하다는 점이 이해될 것이다. 예를 들어, 태깅된 대상은 트리거 기간을 재설정하는 것 내에서 시각 범위 외의 임계치 하에서의 기간들이 가능해질 수 있거나, 태깅된 대상은 시각 범위 내에서의 되풀이되는 출현들에 의해 트리거 기간을 누적시킬 수 있다.
작동들은 이하의 출현들:
a) 대상들의 애니메이션(예를 들어, 스프라이트 애니메이션, 골격 애니메이션, 3D 애니메이션, 입자 애니메이션), (기후 애니메이션과 같은) 시각 환경 내의 애니메이션, 또는 (시계를 밝게 하는 것/어둡게 하는 것, 또는 사용자 인터페이스 요소들의 외관을 변경하는 것과 같은) 다른 시각 변경들과 같은 시각 변화들;
b) 특정/모든 음성 트랙들의 플레이백 또는 중지, 특정 음성 트랙들의 덕킹(ducking) 및 특정/모든 음성 트랙들에 대한 다른 음량 변화들 등과 같은 음성 변화들;
c) 사용자 인터페이스 기능성을 추가하거나, 제거하거나, 변경하는 것과 같은 프로그램에 따른 변화들;
d) 진동과 같은 임의의 다른 사용자 출력;
e) 네트워크 메시지들(예를 들어, 국부적으로 연결된 디바이스들로의 와이파이 또는 블루투스 메시지들 또는 서버들로의 인터넷 메시지들);
f) 디바이스 상에서 실행되는 다른 애플리케이션들로의 메시지들;
g) 디바이스에서 데이터의 변경;
h) 관점 변화(예를 들어, 가상 카메라가 장면 내에서 다른 위치 및 배향으로 뛰어넘을 수 있거나, 전체 장면이 변경될 수 있음); 및
i) 장면에 대해 한정되는 스크립트 내의 분기의 선택 또는 장면에 대해 한정되는 스크립트의 변경(예를 들어, 분기하는 서술이 가상 환경에 대해 한정되었던 경우, 하나의 분기는 다른 분기(들)을 통해 활성화되거나 선택될 수 있음) 중 하나 이상을 나타낼 수 있다.
출현들은 작동과 연관된 태깅된 대상, 장면 내의 다른 대상들 또는 다른 장면 내의 대상들에 관한 것일 수 있다.
일부 실시예들에서, 작동들이 음성 변화들을 나타낼 때, 음성 변화들 중 적어도 일부는 3D 공간 내에 국부화될 수 있어, 사용자가 음성이 가상 환경 내의 특정 대상에서 비롯되는 것으로 나타나는 것을 식별할 수 있다. 특정 대상들은 태깅된 대상일 수 있다. 음성은 태깅된 대상이 한정된 시각 범위 내에 있는지 여부에 기반하여 음량이 변화될 수 있다(예를 들어, 음량은 태깅된 대상이 한정된 시각 범위 외에 있을 때, 감소할 수 있다).
일부 실시예들에서, 태깅된 대상들과 연관된 작동들은 시각 범위에 포함되지 않고 다른 요인들에 의해 예를 들어, 장면의 시작에 의해 개시되는 카운트 다운 타이머, 다른 작동의 트리거링, 네트워크 신호의 수신, 다른 입력의 수신, 그리고/또는 가상 환경과 관련되는 이벤트의 출현(예를 들어, 특정 음성 플레이백 조건들, 디스플레이 조건들 등)에 의해 트리거될 수도 있다.
한정된 지연 기간이 작동들과, 태깅된 대상들과, 또는 전반적으로 연관될 수 있다. 하나 이상의 작동은 트리거되면, 출현들을 나타내기 전에, 한정된 지연 기간이 경과할 때까지, 대기할 수 있다.
일부 실시예들에서, 하나 이상의 작동은 연관된 태깅된 대상이 더 이상 한정된 시각 범위 내에 있지 않을 때, 정지하거나 변경되도록 트리거될 수 있다.
일부 실시예들에서, 작동들 중 적어도 일부는 한번만 트리거될 수 있다.
일부 실시예들에서, 작동들 중 적어도 일부는 작동을 트리거하기 위해 충족되어야 할 부가 조건들을 포함한다. 부가 조건들은: 투영으로부터 태깅된 대상으로의 입사각, 태깅된 대상에 관한 투영의 움직임, 카메라, 습도 센서 등과 같은 다른 디바이스 입력 장치들, 시각, 일기 예보 등 중 하나 이상을 포함할 수 있다.
일 실시예에서, 특정 작동들은 각각의 태깅된 대상과 직접 연관된다. 대안적인 실시예에서, 태깅된 대상들은 (예를 들어, 계층들로) 분류될 수 있고, 계층들은 그러한 계층의 모든 태깅된 대상이 태깅된 대상들의 계층의 연관된 작동들과 연관되도록 특정 작동들과 연관될 수 있다.
일부 실시예들에서, 대상들과 연관된 작동들은 가상 카메라가 또한 대상에 근접할 때만, 트리거된다. 근접은 전반적 기반 또는 대상/대상 타입 특정 기반 상에 한정될 수 있다. 대상에 대한 근접 임계치는 가상 카메라가 대상에 대한 지정된 거리 내에 있을 때 또는 가상 카메라가 대상을 둘러싸는 한정된 주변 내에 있을 때, 충족되도록 한정될 수 있다.
도 3을 참조하여, 본 발명의 일 실시예에 따른 컴퓨터 프로그램 코드(300)를 설명할 것이다.
생성 모듈(301)이 도시된다. 생성 모듈(301)은 프로세서 상에서 실행될 때, 가상 환경에서의 사용을 위해 복수의 태깅된 대상의 애플리케이션 개발자에 의한 생성, 그리고 각각의 태깅된 대상의 하나 이상의 작동과의 연관을 가능하게 하는 코드를 포함한다.
트리거 모듈(302)이 도시된다. 트리거 모듈(302)은 프로세서 상에서 실행될 때, 가상 카메라로부터 가상 환경으로의 투영과 교차하는 태깅된 대상들과 연관된 하나 이상의 작동을 트리거하는 코드를 포함한다.
컴퓨터 프로그램 코드(300)는 (예를 들어, 디바이스 또는 서버 내의) 플래시 메모리 또는 하드 드라이브들과 같은 비일시적 컴퓨터 판독 가능 매체, 또는 동적 메모리와 같은 일시적 컴퓨터 판독 가능 매체 상에 저장되고, (예를 들어, 서버로부터 네트워크에 걸쳐 디바이스로의) 통신 신호들과 같은 일시적 컴퓨터 판독 가능 매체를 통하여 송신될 수 있다.
컴퓨터 프로그램 코드(300)의 적어도 일부는 복수의 사용자 디바이스에의 배치를 위해 실행 가능 형태로 컴파일될 수 있다. 예를 들어, 트리거 모듈(302)은 가상 환경 생성 코드 및 다른 애플리케이션 코드와 함께 사용자 디바이스 상의 사용을 위해 실행 가능 애플리케이션으로 컴파일될 수 있다.
도 4에서, 본 발명의 일 실시예에 따른 시스템(400)이 도시된다.
시스템(400)은 메모리(401), 프로세서(402) 및 사용자 입력 장치(403)를 포함한다.
메모리(401)는 도 3에 관하여 설명하는 컴퓨터 프로그램 코드 그리고 Unity와 같은 가상 환경 개발 소프트웨어 플랫폼을 저장하도록 구성된다. 가상 환경 개발 플랫폼은 가상 환경 내에 복수의 대상을 생성하는 능력을 포함한다. 이러한 대상들은 정적 대상들, 가상 환경 내에서 움직이는 대상들, 또는 애니메이션화하는 대상들일 수 있다. 대상들은 표시될 때, 입체 형상을 형성하는 폐쇄된 다각형들로 구성될 수 있거나, 하나 이상의 투명/반투명 다각형을 포함할 수 있거나, 체적 측정 연기 또는 안개, 불, 플라즈마, 물 등과 같은 시각 효과들일 수 있거나, 임의의 다른 타입의 대상일 수 있다.
애플리케이션 개발자는 가상 환경 개발 소프트웨어 플랫폼을 사용하여 양방향 가상 환경을 생성하도록 사용자 입력 장치(403)를 통하여 입력을 제공할 수 있다.
애플리케이션 개발자는 복수의 태깅된 대상을 생성하고 하나 이상의 작동을 태깅된 대상들과 연관시키도록 생성 모듈에 정보를 제공하기 위해 사용자 입력 장치(403)를 통하여 입력을 제공할 수 있다.
프로세서(402)는 디바이스 상에 가상 환경을 표시하고, 가상 카메라를 배향시키도록 사용자 입력을 수신하고, 가상 카메라로부터의 투영과 교차하는 태깅된 대상들과 연관된 하나 이상의 작동을 트리거하는 명령어들을 포함하는 컴퓨터 프로그램 코드를 생성하도록 구성될 수 있다.
도 5a 내지 도 5c는 본 발명의 실시예들에 따른 투영들에 의해 형성되는 상이한 시각 범위들을 도시한다.
도 5a는 가상 카메라로부터 가상 환경으로 투영되는 광선에 의해 한정되는 시각 범위를 도시한다. 가상 환경은 복수의 대상(A, B, C, D, E, F 및 G)을 포함한다. 대상들 중 일부는 태깅된다(A, C, F 및 G). 광선이 대상(A)과 교차하므로, 대상(A)이 광선의 투영에 의해 한정되는 시각 범위에 포함된다는 점을 알 수 있다. 대상이 불투명이고 무반사성이면, 투영은 끝날 수 있다. 그러므로, 대상(B)은 시각 범위 내에 있지 않다. A와 연관된 작동들이 그 때 트리거될 수 있다.
도 5b는 가상 카메라로부터 가상 환경으로 투영되는 콘에 의해 한정되는 시각 범위를 도시한다. 대상(A, C 및 D)이 광선의 투영에 의해 한정되는 시각 범위에 포함된다는 점을 알 수 있다. 그러므로, A 및 C와 연관된 작동들은 트리거될 수 있다.
도 5c는 가상 카메라의 전체 시계에 의해 한정되는 시각 범위를 도시한다. 전체 시계를 형성하는 투영이 A, C, D, E 및 F와 교차한다는 점을 알 수 있다. 그러므로, A, C 및 F와 연관된 작동들은 트리거될 수 있다.
본 발명의 일부 실시예들을 도 6 내지 도 12를 참조하여 이제 설명할 것이다. 본 발명의 이러한 실시예들은 "응시"로 지칭될 것이다.
응시 실시예들은 모바일 디바이스들, 가상 현실 헬멧들 및 깊이 태블릿들과 같은 임의의 자이로스코프 가능 디바이스를 사용하여 양방향 체험들에 대한 생성 시스템을 제공한다. 응시는 사용자들과 가상 환경 사이의 복합 트리거된 기반 양방향 콘텐츠의 개발 및 생성을 단순화할 수도 있다.
응시 실시예들은 가상 카메라로 그것들을 바라봄으로써 단순히 도 6에 도시된 바와 같이 가상 환경에서 수개의 상이한 작동을 사용자들이 트리거하는 것을 가능하게 한다. 양방향 요소들은 시간, 다른 양방향 요소들의 트리거들 및 대상 충돌들 같은 다수의 요인에 기반하여 트리거될 수 있다. 응시 실시예들은 대상이 트리거될 때, 대상이 다른 대상들도 트리거할 수 있도록 연쇄 반응들이 설정되는 것을 가능하게 할 수도 있다.
응시 실시예들 중 일부는 Unity 3D 소프트웨어 환경의 내부 라이브러리들 및 그래픽 사용자 인터페이스(GUI) 기능성들 중 일부를 사용하여 Unity 3D 소프트웨어 환경 내에 배치될 수 있다. 대안적인 3D 소프트웨어 개발 환경들이 사용될 수 있다는 점이 이해될 것이다.
응시 실시예들의 요소들 중 대부분은 체크박스들, 텍스트 필드들 또는 버튼들을 포함하는 구성 요소 특성들을 통해 표준 Unity 편집 프로그램에서 직접 설정될 수 있다.
카메라
Unity에서 이용 가능한 표준 카메라는 후술하는 코드의 2개의 스크립트의 부가로 강화된다:
1. 자이로스코프 스크립트는 애플리케이션을 실행하는 물리적 디바이스의 움직임들과 부응하여 카메라가 움직이는 것을 가능하게 한다. 일 예가 태블릿 디바이스가 가상 환경에 대하여 회전되고 있는 도 7a에 도시된다. 이는 가상 카메라와 물리적 디바이스 사이에서 3차원 축 상의 공간적 움직임들을 1 대 1로 변환한다. 가상 장면 내의 가상 카메라의 3차원 움직임이 도 7b에 도시된다.
디바이스들은 (헬멧을 착용하는 사용자의 머리의 움직임이 도 7b에 도시된 움직임으로 변환되는 도 7c에 도시된) 고글 헬멧들, (물리적 세계에서의 태블릿의 배향이 도 7b에 도시된 움직임으로 변환되는 도 7d에 도시된) 태블릿들 같은 배향 센서들(예를 들어 자이로스코프, 콤파스)을 갖는 모바일 디바이스들 또는 배향 센서들을 갖는 스마트폰들 또는 임의의 다른 시스템을 포함할 수 있다.
2. 광선 캐스터 스크립트는 카메라가 무엇을 바라보고 있는지를 카메라가 인지하는 것을 가능하게 한다. 이는 카메라로부터 카메라의 바라보는 각도 쪽으로 똑바로 광선을 발사한다. 그러한 것에 의해, 이는 어느 대상이 카메라 앞에 있고 직접 바라보아지는지를 스크립트가 아는 것을 가능하게 한다. 그 다음, 스크립트는 그러한 정보를 아는 것에 관심 있는 구성 요소들에 통지한다. 실행 광선 스크립트의 일 예가 가상 카메라로부터 발해지는 광선이 "응시 대상"과 충돌하는 도 8a에 도시된다. 충돌은 동일하고 상이한 가상 장면들에서 응시 대상에서의 이벤트들 그리고 다른 응시 대상들에서의 이벤트들을 트리거한다.
스크립트는 광선이 발해지고 있기 전의 초의 시간을 나타내는, Unity 편집 프로그램 윈도우의 텍스트 필드에서의 번호를 입력함으로써 상술한 프로세스들의 활성화를 지연시키는 옵션을 갖는다.
광선은 무한한 거리에서 발해지고 광선이 임의의 수의 응시 가능 대상과 교차하고 상호 작용하는 임의의 수의 응시 가능 대상을 검출하는 것이 가능할 수 있다.
응시 가능 대상들
Unity의 모든 게임 대상은 "응시된 대상"으로 불릴 것으로 바뀔 수 있다. 그것은 Unity의 장면 시계의 모든 대상이 잠재적으로 응시 상호 작용 시스템의 일부일 수 있다는 것을 의미한다. 응시된 대상을 생성하기 위해, Unity 프리페브(prefab)가 생성된다. 이러한 대상은 장면 시계에 들어가질 수 있고 이하의 3개의 별개의 부분을 포함한다:
루트 - 응시된 대상의 계층의 상단 요소. 장면 시계에서 전체 응시된 대상 프리페브를 움직이는 애니메이터를 포함함.
'트리거' 차일드 - 응시된 대상과 연관된 모든 트리거를 포함함(트리거를 추가로 설명할 것임). 이는 또한 응시된 대상이 카메라에 의해 응시되고 있을 때, 통지하는 것에 책임이 있는 충돌자를 포함한다.
'슬롯' 차일드 - 응시된 대상과 연관된 모든 게임 대상(스프라이트, 3D 모델, 음성…)을 포함함. '슬롯' 페어런트에 추가되는 각각의 슬롯은 전체 게임 대상의 하나의 또는 다수의 부분을 나타낸다. 예를 들어, 사람의 응시된 대상의 슬롯 구성 요소는 신체에 대해 하나, 각각의 팔에 대해 하나, 각각의 다리에 대해 하나 그리고 머리에 대해 하나인, 6개의 차일드를 포함할 수 있다. 슬롯 차일드는 또한 그것이 포함하는 차일드 구성 요소들을 애니메이션화하는데 책임이 있는 애니메이터를 갖는다.
트리거들
응시된 대상 프리페브에서 '트리거들'이라는 명칭의 차일드는 하나 이상의 차일드를 포함한다. 각각의 차일드는 트리거 그 자체이다. 트리거는 이하의 이벤트 중 하나에 의해 발해질 수 있다:
● 2개의 게임 대상(Unity의 충돌자 대상) 사이의 충돌.
● (응시 기술을 통해) 카메라에 의해 응시되는 게임 대상.
● 장면의 로딩으로부터 또는 응시된 대상에 포함되는 다른 트리거에 대하여 시작되는 초의 지속 기간.
트리거 게임 대상은 4개의 구성 요소; 표준 Unity의 일부로서의 '음성원' 구성 요소, '트리거 액티베이터' 스크립트, '오디오 플레이어' 스크립트 및 사용자 지정 스크립트를 포함한다. 각각의 스크립트의 설명이 뒤따른다:
'트리거 액티베이터'는 트리거 차일드 게임 대상이 활성일 시간, 그리고 다른 트리거들과의 트리거 차일드 게임 대상의 잠재적 의존들을 지정하는 스크립트이다. 그것은 그러한 상이한 값들을 설정하도록 사용자에게 이하의 그래픽 필드들을 표시한다:
'자율적'은 트리거가 다른 응시된 대상의 트리거에 의존하는지 여부 또는 트리거가 자율적인지 여부를 지정하는 편집 가능한 체크박스이다. 체크박스가 체크되면, '활성화 지속 기간' 및 '대기 시간'이 Unity 장면의 시작에 의해 설정되는 시간으로부터 관련될 것이다. 그렇지 않으면, 그것들은 다른 응시된 대상의 트리거의 시작 시간에 의존할 것이다.
'대기 시간'은 (추가로 설명하는) 사용자 지정 스크립트의 트리거가 활성화되었던 시간으로부터 사용자 지정 스크립트에서 지정되는 작동들을 발하기 전의 원하는 양의 초의 시간을 설정하는데 사용되는 편집 가능한 텍스트 필드이다.
'자동 트리거'는 어떤 트리거(충돌, 응시 또는 관련된 시간)도 일어나지 않았다면, 이벤트를 체크했다면, 트리거가 한정되는 '대기 시간'에 추가되는 '활성화 지속 기간' 시간의 종료에 도달한다면, 트리거가 발해져야 하는지 여부를 지정하는 선택 박스이다. 체크되지 않으면, 어떤 트리거도 이러한 시간 윈도우 동안 일어나지 않았다면, 어떤 작동들도 취해지지 않을 것이다.
'재로딩'은 트리거가 재트리거될 수 있도록 트리거된 후에 트리거가 재설정되는 것을 가능하게 하는 선택 박스이다.
'무한'은 활성화의 지속 기간이 무한한지 여부를 지정하는데 사용되는 옵션이다.
'근접'은 작동을 트리거할 수 있기 위해 카메라가 지정된 거리에 더 근접해야 하는지 여부를 지정하는 옵션이다. 거리는 (도 8b, 도 8c 및 도 8d에 도시된 바와 같이) 카메라가 충분히 근접한 것으로 고려되도록 들어가야 하는 충돌자(보이지 않는 큐브)에 의해 한정된다.
응시 대상들에서 이벤트들의 트리거링을 도시하는 흐름도가 도 9에 도시된다.
사용자가 가상 카메라를 제어하는 능력을 갖는 완전히 몰입형의(3차원 축 x/y/z 상에서 360ㅀ) 가상 환경에서의 양방향 체험들은 이전에 결코 행해지지 않았다.
음향은 바라보아질 때, 환경의 음성원을 우선시키는 것을 돕도록 응시 시스템에 의해 제공될 수도 있다.
응시 실시예들은 종래 기술을 넘는 이하의 개선을 제공한다: 사용자는 트리거들을 알지 못할 수 있고 이러한 트리거들은 상기 환경에서 사용자의 집중에 의해서만 활성화될 수 있다. 그러므로, 어떤 물리적이거나 가상의 조이스틱도 필요하지 않다.
사용자 디바이스들은 스마트폰들, 디지털 태블릿, 모바일 게이밍 콘솔, 또는 가상 현실 헤드셋 또는 가상 카메라의 배향에 의해 상이한 이벤트들을 트리거할 수 있는 다른 디바이스들과 같은 디바이스들을 포함할 수 있다. 게다가, 공간적 애플리케이션은 iOS, Mac, Android 및 Windows를 포함하는 다양한 운영 체제 상에서 액세스될 수 있다.
하나 이상의 실시예들에서, 시스템은 자이로스코프 가능 디바이스(예를 들어: 스마트폰들, 디지털 태블릿, 모바일 게이밍 콘솔 또는 가상 현실 헤드셋)를 사용하여 3D 환경 내에서 가상 카메라로 사용자가 내비게이팅하고 사용자에 의해 의도적으로 또는 의도하지 않게 가상 카메라의 배향에 의해 상이한 이벤트들을 트리거하는 것을 가능하게 한다. 예로서, 디바이스의 스크린은 가상 세계의 이미지를 포함할 수 있다. 더욱이, 가상 카메라는 광선을 발할 수 있으며, 광선은 가상 세계에서의 모든 요소에 대한 가능한 트리거로서의 역할을 한다. 일 실시예에서, 이러한 광선이 가상 세계에서의 요소에 부딪치면, 도 10a에 도시된 바와 같은 상이한 타입의 이벤트들, 예를 들어: 애니메이션들(이는 가상 세계에서 기존 요소(1000)의 임의의 종류의 변환 또는 임의의 새로운 요소를 포함함), 음향들(1001), 영상, 장면들, 입자 시스템들(1002), 스프라이트들 애니메이션, 배향의 변경(1003) 또는 임의의 다른 트리거 가능 요소가 활성화될 수 있다.
보다 상세하게는, 이러한 이벤트들은 광선의 필드에서뿐만 아니라, 광선의 필드의 장면들의 임의의 다른 각도 또는 도 10b에 도시된 바와 같은 다른 것에서도 위치될 수 있다. 특히, 각각의 이벤트는 이하의 조건들: 광선의 각도, 이벤트가 활성화될 수 있는 시간 윈도우, 광선의 특정 각도인 조건의 지속 기간, 광선의 움직임들, 디바이스의 다양한 입력 장치(예를 들어: 카메라, 습도 센서, 물리적 정보(시각, 일기 예보, 다른 데이터 또는 이들의 임의의 조합)) 중 임의의 것의 조합에 의해 트리거될 수 있다.
보다 상세하게는, 이러한 새로운 양방향 시청각 기법은 360ㅀ 환경이 필요한 임의의 종류의 애플리케이션: 음성 기반 이야기, 양방향 필름, 양방향 그래픽 소설, 게임, 교육 계획, 또는 임의의 시뮬레이션 환경(즉, 차량 시뮬레이터, 항공기 시뮬레이터, 보트 시뮬레이터, 의료 또는 건강 관리 시뮬레이터, 전투 시뮬레이터, 위기 시뮬레이터 같은 환경 시뮬레이터 또는 다른 것들)을 생성하는데 사용될 수 있다.
응시 실시예들 중 일부는 응시 기술이 실시간으로의 사용자의 배향 그리고 사용자에 의해 보게 되는 3D 장면들에서의 요소에 적응함에 따라, 음향이 보다 동적일 수 있으므로, 서라운드 3D 음향의 개선을 제공한다. 공간화된 음향의 예시가 도 11에 도시되고 도 12에 도시된 바와 같이 스테레오 헤드폰들(1201)을 갖는 태블릿(1200)과 같은 사용자 디바이스를 통하여 전달될 수 있다.
위의 실시예들이 하드웨어, 소프트웨어 또는 둘 다의 조합으로 배치될 수 있다는 점이 이해될 것이다. 소프트웨어는 하나 이상의 프로세서에 의한 실행을 위해, 플래시 메모리와 같은 비일시적 컴퓨터 판독 가능 매체 상에 저장되거나, 네트워크 신호들과 같은 일시적 컴퓨터 판독 가능 매체를 통하여 송신될 수 있다.
본 발명의 일부 실시예들의 잠재적 이점들은 더 단순한 디바이스들이 양방향 가상 환경들을 제공하는데 사용될 수 있고, 양방향성을 제공하는 메커니즘이 종래 기술 시스템들보다 사용하기에 더 용이하고, 애플리케이션 개발자들이 가상 환경을 갖는 애플리케이션들 내에서 달라지는 양방향성을 더 용이하게 배치할 수 있고, (예를 들어, 사용자가 상호 작용하는 것을 자각하지 않는) 새로운 양방향 체험들이 가능하다는 것이다.
본 발명이 본 발명의 실시예들의 설명에 의해 예시되었고, 실시예들이 고려해야 할 상세로 설명되었지만, 첨부된 청구항들의 범위를 그러한 상세로 한정하거나 임의의 방식으로 제한하는 것은 출원인의 의도가 아니다. 부가 이점들 및 변경들이 당업자에게 손쉽게 상기될 것이다. 그러므로, 본 발명의 더 넓은 양태들에서의 본 발명은 나타내어지고 설명된 구체적 상세들, 전형적인 장치 및 방법, 및 예시적인 예들에 제한되지 않는다. 따라서, 변경들은 출원인의 일반적 본 발명 개념의 사상 또는 범위로부터 벗어나지 않는 범위 내에서 그러한 상세들로부터 행해질 수 있다.

Claims (41)

  1. 디바이스 상에 표시되는 가상 환경 내에 양방향성을 제공하는 방법으로서:
    상기 가상 환경 내에서 가상 카메라를 배향시키도록 사용자로부터 입력을 수신하는 단계로서, 상기 가상 환경은 복수의 대상을 포함하고 상기 대상들 중 적어도 일부는 태깅되는 단계; 및
    상기 태깅된 대상들이 상기 가상 카메라의 한정된 시각 범위 내에 있을 때, 상기 태깅된 대상들과 연관된 하나 이상의 작동을 트리거하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 디바이스 상에서 상기 가상 카메라로부터 상기 사용자로의 시계를 표시하는 단계를 더 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 작동들 중 적어도 하나는 상기 대상과 관련되는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 작동들 중 적어도 하나는 상기 가상 환경 내의 시각 변화인, 방법.
  5. 제4항에 있어서,
    상기 시각 변화는 애니메이션인, 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 작동들 중 적어도 하나는 상기 가상 환경 내의 음성 변화인, 방법.
  7. 제6항에 있어서,
    상기 음성 변화는 음성 샘플의 플레이백인, 방법.
  8. 제6항에 있어서,
    상기 음성 변화는 현재 재생하는 음성 샘플의 변경인, 방법.
  9. 제8항에 있어서,
    상기 변경은 상기 현재 재생하는 음성 샘플의 음량을 감소시키는 것인, 방법.
  10. 제6항 내지 제9항 중 어느 한 항에 있어서,
    상기 음성 변화는 3D 공간 내에 국부화되어, 음성이 상기 가상 환경 내의 특정 위치에서 비롯되는 것으로 상기 사용자에게 나타나는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 작동들 중 적어도 하나는 상기 가상 카메라의 배향을 변화시키는, 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    상기 작동들 중 적어도 하나는 사용자 출력을 생성하는, 방법.
  13. 제12항에 있어서,
    상기 사용자 출력은 음성, 시각 및 터치의 세트로부터 선택되는 것인, 방법.
  14. 제13항에 있어서,
    상기 사용자 출력은 진동인, 방법.
  15. 제1항 내지 제14항 중 어느 한 항에 있어서,
    상기 작동들 중 적어도 하나는 상기 디바이스 외부에서 일어나는, 방법.
  16. 제1항 내지 제15항 중 어느 한 항에 있어서,
    상기 가상 환경은 양방향 서술 오락과 관련되는, 방법.
  17. 제16항에 있어서,
    상기 양방향 서술 오락은 분기하는 서술로 구성되고 분기들은 상기 하나 이상의 작동 중 적어도 하나를 트리거하는 상기 사용자에 의해 선택되는, 방법.
  18. 제1항 내지 제17항 중 어느 한 항에 있어서,
    상기 시각 범위는 상기 가상 카메라로부터 상기 가상 환경으로 투영되는 광선에 의해 형성되는 시계로서 한정되는, 방법.
  19. 제18항에 있어서,
    상기 태깅된 대상들은 상기 광선이 상기 태깅된 대상과 교차할 때, 상기 시각 범위 내에 있는, 방법.
  20. 제1항 내지 제19항 중 어느 한 항에 있어서,
    상기 시각 범위는 상기 가상 카메라로부터 상기 가상 환경으로 투영되는 콘에 의해 형성되는 시계로서 한정되는, 방법.
  21. 제1항 내지 제20항 중 어느 한 항에 있어서,
    상기 시각 범위는 상기 가상 카메라의 전체 시계로서 한정되는, 방법.
  22. 제1항 내지 제21항 중 어느 한 항에 있어서,
    상기 디바이스는 가상 현실 헤드셋인, 방법.
  23. 제1항 내지 제22항 중 어느 한 항에 있어서,
    상기 디바이스는 휴대용 디바이스인, 방법.
  24. 제23항에 있어서,
    상기 휴대용 디바이스는 스마트폰, 태블릿 또는 스마트워치인, 방법.
  25. 제1항 내지 제24항 중 어느 한 항에 있어서,
    상기 사용자는 상기 디바이스 내의 가속도계들 및/또는 자이로스코프들을 사용하여 상기 가상 카메라를 배향시키는, 방법.
  26. 제25항에 있어서,
    상기 디바이스의 배향은 상기 가상 카메라의 배향에 상응하는, 방법.
  27. 제1항 내지 제26항 중 어느 한 항에 있어서,
    상기 하나 이상의 작동은 상기 태깅된 대상들이 트리거하는 미리 정해진 기간 동안 상기 가상 카메라의 시각 범위 내에 있을 때, 트리거되는, 방법.
  28. 제27항에 있어서,
    상기 트리거하는 미리 정해진 기간은 각각의 태깅된 대상에 대해 한정되는, 방법.
  29. 제1항 내지 제28항 중 어느 한 항에 있어서,
    적어도 하나의 작동은 활성화의 미리 정해진 기간과 연관되고, 트리거되면, 상기 적어도 하나의 작동은 상기 활성화의 기간의 경과 후에 활성화되는, 방법.
  30. 제1항 내지 제29항 중 어느 한 항에 있어서,
    상기 하나 이상의 작동 중 적어도 하나의 트리거링은 결국 다른 작동을 트리거하는, 방법.
  31. 제1항 내지 제30항 중 어느 한 항에 있어서,
    상기 태깅된 대상들 중 적어도 일부와 연관된 상기 하나 이상의 작동은 상기 가상 카메라가 상기 태깅된 대상에 관하여 근접 임계치 내에 있을 때만 트리거되는, 방법.
  32. 가상 환경 내에 양방향성을 제공하는 시스템으로서:
    복수의 대상을 포함하는 상기 가상 환경을 한정하는 데이터를 저장하도록 구성되는 메모리로서, 상기 대상들 중 적어도 일부는 태깅되는 메모리;
    상기 가상 환경 내에 가상 카메라를 배향시키도록 사용자로부터 입력을 수신하도록 구성되는 입력 수단;
    상기 가상 카메라로부터 상기 사용자로의 시계를 표시하도록 구성되는 디스플레이; 및
    상기 입력에 따라 상기 가상 카메라를 배향시키고 상기 가상 카메라의 시각 범위 내의 태깅된 대상들과 연관된 하나 이상의 작동을 트리거하도록 구성되는 프로세서를 포함하는, 시스템.
  33. 제32항에 있어서,
    상기 입력 수단은 가속도계 및/또는 자이로스코프인, 시스템.
  34. 제32항 또는 제33항에 있어서,
    상기 시스템은 상기 디스플레이 및 입력 수단을 포함하는 장치를 포함하는, 시스템.
  35. 제34항에 있어서,
    상기 장치는 가상 현실 헤드셋인, 시스템.
  36. 제34항에 있어서,
    상기 장치는 휴대용 디바이스인, 시스템.
  37. 가상 환경 내에 양방향성을 제공하는 컴퓨터 프로그램 코드로서:
    실행될 때, 가상 환경 내에 복수의 태깅된 대상을 생성하고 하나 이상의 작동을 각각의 태깅된 대상과 연관시키도록 구성되는 생성 모듈; 및
    실행될 때, 가상 카메라로부터 상기 가상 환경으로의 투영을 생성하고, 상기 투영과 가시적 태깅된 대상들 사이의 교차점들을 검출하고, 상기 교차된 태깅된 대상들과 연관된 작동들을 트리거하도록 구성되는 트리거 모듈을 포함하는, 컴퓨터 프로그램 코드.
  38. 제37항의 컴퓨터 프로그램 코드를 저장하도록 구성되는 컴퓨터 판독 가능 매체.
  39. 가상 환경 내에 양방향성을 제공하는 시스템으로서:
    생성 모듈, 트리거 모듈 및 복수의 대상을 포함하는 가상 환경을 한정하는 데이터를 저장하도록 구성되는 메모리;
    상기 가상 환경 내에 복수의 태깅된 대상 및 각각의 태깅된 대상과 연관된 하나 이상의 작동을 생성하기 위해 애플리케이션 개발자로부터의 입력을 수신하도록 구성되는 사용자 입력 장치; 및
    상기 가상 환경 내에 복수의 태깅된 대상 및 각각의 태깅된 대상과 연관된 하나 이상의 작동을 생성하기 위해 상기 생성 모듈을 실행시키고 상기 트리거 모듈을 포함하는 애플리케이션 프로그램을 컴파일하도록 구성되는 프로세서를 포함하는, 시스템.
  40. 디스플레이 및 입력 장치를 갖는 디바이스의 프로세서에 의해 실행될 때, 상기 디바이스가 제1항 내지 제31항 중 어느 한 항에 청구된 방법의 단계들을 수행하게 하는 내부에 저장된 명령어들을 갖는 컴퓨터 판독 가능 저장 매체.
  41. 도면들을 참조하여 본원에 설명하는 가상 환경 내에 양방향성을 제공하는 방법 또는 시스템.
KR1020167034767A 2014-06-02 2015-06-02 가상 환경 내에 양방향성을 제공하는 방법 및 시스템 KR20170012312A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462006727P 2014-06-02 2014-06-02
US62/006,727 2014-06-02
PCT/EP2015/062307 WO2015185579A1 (en) 2014-06-02 2015-06-02 A method and system for providing interactivity within a virtual environment

Publications (1)

Publication Number Publication Date
KR20170012312A true KR20170012312A (ko) 2017-02-02

Family

ID=53489927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167034767A KR20170012312A (ko) 2014-06-02 2015-06-02 가상 환경 내에 양방향성을 제공하는 방법 및 시스템

Country Status (8)

Country Link
US (1) US20170220225A1 (ko)
EP (1) EP3149565A1 (ko)
JP (1) JP2017526030A (ko)
KR (1) KR20170012312A (ko)
CN (1) CN106462324A (ko)
AU (1) AU2015270559A1 (ko)
CA (1) CA2948732A1 (ko)
WO (1) WO2015185579A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
CN109078324B (zh) * 2015-08-24 2022-05-03 鲸彩在线科技（大连）有限公司 一种游戏数据下载、重构方法及装置
US10249091B2 (en) * 2015-10-09 2019-04-02 Warner Bros. Entertainment Inc. Production and packaging of entertainment data for virtual reality
CN114995594A (zh) * 2016-03-31 2022-09-02 奇跃公司 使用姿势和多dof控制器与3d虚拟对象的交互
CN108227520A (zh) * 2016-12-12 2018-06-29 李涛 一种基于全景界面的智能设备的控制系统及控制方法
CN107016898B (zh) * 2017-03-16 2020-08-04 北京航空航天大学 一种增强人机交互体验的触屏模拟顶板装置
US11436811B2 (en) * 2017-04-25 2022-09-06 Microsoft Technology Licensing, Llc Container-based virtual camera rotation
JP6297739B1 (ja) * 2017-10-23 2018-03-20 東建コーポレーション株式会社 物件情報提供サーバ
JP6513241B1 (ja) * 2018-01-30 2019-05-15 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
US20190253700A1 (en) * 2018-02-15 2019-08-15 Tobii Ab Systems and methods for calibrating image sensors in wearable apparatuses
JP6898878B2 (ja) * 2018-03-16 2021-07-07 株式会社スクウェア・エニックス 映像表示システム、映像表示方法及び映像表示プログラム
CN108786112B (zh) * 2018-04-26 2024-03-12 腾讯科技（上海）有限公司 一种应用场景配置方法、装置和存储介质
WO2020065129A1 (en) * 2018-09-28 2020-04-02 Nokia Technologies Oy Method and apparatus for enabling multiple timeline support for omnidirectional content playback
CN111258520B (zh) * 2018-12-03 2021-09-14 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN109901833B (zh) * 2019-01-24 2022-06-07 福建天晴数码有限公司 一种限制物体移动的方法及终端
US11943565B2 (en) * 2021-07-12 2024-03-26 Milestone Systems A/S Computer implemented method and apparatus for operating a video management system
US20240020851A1 (en) * 2022-07-18 2024-01-18 Nant Holdings Ip, Llc Virtual production based on display assembly pose and pose error correction

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6081271A (en) * 1997-05-23 2000-06-27 International Business Machines Corporation Determining view point on objects automatically in three-dimensional workspace from other environmental objects in a three-dimensional workspace
US8277316B2 (en) * 2006-09-14 2012-10-02 Nintendo Co., Ltd. Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting
US8239775B2 (en) * 2007-12-14 2012-08-07 International Business Machines Corporation Method and apparatus for a computer simulated environment
WO2010022386A2 (en) * 2008-08-22 2010-02-25 Google Inc. Navigation in a three dimensional environment on a mobile device
US9118970B2 (en) * 2011-03-02 2015-08-25 Aria Glassworks, Inc. System and method for embedding and viewing media files within a virtual and augmented reality scene
US20140002580A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player

Also Published As

Publication number Publication date
WO2015185579A9 (en) 2016-01-21
WO2015185579A1 (en) 2015-12-10
CN106462324A (zh) 2017-02-22
AU2015270559A1 (en) 2016-11-24
JP2017526030A (ja) 2017-09-07
EP3149565A1 (en) 2017-04-05
CA2948732A1 (en) 2015-12-10
US20170220225A1 (en) 2017-08-03

Similar Documents

Publication Publication Date Title
KR20170012312A (ko) 가상 환경 내에 양방향성을 제공하는 방법 및 시스템
US11830151B2 (en) Methods and system for managing and displaying virtual content in a mixed reality system
RU2677593C2 (ru) Привлечение взгляда зрителей устройств отображения
JP6546603B2 (ja) 注視トラッキングの方法およびデバイスにおける視覚的な変更の非視覚的なフィードバック
ES2633016T3 (es) Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
US11887258B2 (en) Dynamic integration of a virtual environment with a physical environment
Linowes Unity virtual reality projects
CN110456626B (zh) 全息键盘显示
US11508116B2 (en) Method and system for automated camera collision and composition preservation
US20210191523A1 (en) Artificial reality notification triggers
CN110536665A (zh) 使用虚拟回声定位来仿真空间感知
CN105892651B (zh) 一种虚拟对象的显示方法和电子设备
ONG. et al. Beginning windows mixed reality programming
JP2018514836A (ja) バーチャル及びオーグメンテッドリアリティ環境におけるコントローラ可視化
KR102177734B1 (ko) 가상 현실에서의 홀드된 객체 안정화
Seligmann Creating a mobile VR interactive tour guide
US20240177435A1 (en) Virtual interaction methods, devices, and storage media
Ivanický Gamification Techniques for Augmented Reality Dancing
WO2024037559A1 (zh) 信息交互方法、人机交互方法、装置、电子设备和存储介质
Kucherenko Webvr api description and a-frame application implementation
Kharal Game Development for International Red Cross Virtual Reality
Montero Montes et al. Designing and implementing interactive and realistic augmented reality experiences
Matveinen The Design and Implementation of a Virtual Reality Toolkit