KR20120080647A - 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들 - Google Patents

오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들 Download PDF

Info

Publication number
KR20120080647A
KR20120080647A KR1020127014156A KR20127014156A KR20120080647A KR 20120080647 A KR20120080647 A KR 20120080647A KR 1020127014156 A KR1020127014156 A KR 1020127014156A KR 20127014156 A KR20127014156 A KR 20127014156A KR 20120080647 A KR20120080647 A KR 20120080647A
Authority
KR
South Korea
Prior art keywords
avatars
virtual environment
audio scene
avatar
audio
Prior art date
Application number
KR1020127014156A
Other languages
English (en)
Other versions
KR101225475B1 (ko
Inventor
폴 보스테드
파자드 사파에이
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39364104&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR20120080647(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Priority claimed from AU2006906213A external-priority patent/AU2006906213A0/en
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20120080647A publication Critical patent/KR20120080647A/ko
Application granted granted Critical
Publication of KR101225475B1 publication Critical patent/KR101225475B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/34—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using peer-to-peer connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/54—Controlling the output signals based on the game progress involving acoustic signals, e.g. for simulating revolutions per minute [RPM] dependent engine sounds in a driving game or reverberation against a virtual wall
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/408—Peer to peer connection
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/53—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing
    • A63F2300/538—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers details of basic data processing for performing operations on behalf of the game client, e.g. rendering
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6072—Methods for processing data by generating or executing the game program for sound processing of an input signal, e.g. pitch and rhythm extraction, voice recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6063—Methods for processing data by generating or executing the game program for sound processing
    • A63F2300/6081—Methods for processing data by generating or executing the game program for sound processing generating an output signal, e.g. under timing constraints, for spatialization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Tourism & Hospitality (AREA)
  • General Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Processing Or Creating Images (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 신(scene)은 복수의 아바타들(avatars)의 가상 환경에서 아바타를 위해 생성된다. 링크 구조는 아바타들 사이에서 생성된다. 오디오 신은 다른 링크된 아바타들과의 아바타 연계들(associations)을 기초로 각각의 아바타에 대해 생성된다.

Description

오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들{APPARATUSES AND METHODS FOR USE IN CREATING AN AUDIO SCENE}
본 발명은 일반적으로 몰입형(immersive) 오디오 통신들 분야 및 특히 배타적이지 않게 피어 투 피어(peer-to-peer) 환경에서 몰입형 오디오 장면(scene)을 생성하는 것에 관한 것이다.
최근에 시각적 몰입형 가상 환경들을 생성하는데 상당한 진보가 있었다. 이들 진보들은 대량 멀티-플레이어 롤-플레잉 게임들(massively multi-player role-playing games)의 폭넓은 이해를 유발하고, 이들 게임들에서 참가자들은 공통 가상 환경(전장터(battlefield) 같은)에 진입하여 통상적으로 가상 환경에서 동작형(animated) 캐릭터 형태의 아바타(avatar)에 의해 표현된다.
시각적 몰입형 가상 환경들의 폭넓은 이해는 부분적으로 가상 환경에서 생성될 매우 상세하고 실감나는 그래픽들을 인에이블링하는 이미지 처리 기술 및 고속 처리 유니트들을 이용하는 3차원 사운드 카드들의 개발 모두에서의 상당한 진보들로 인한 것이다. 그러나 이들 환경들이 가진 주요 단점은 현재 플레이어간 통신 메카니즘들이 일반적으로 텍스트 채팅 또는 워키 토키(walkie-talkie) 음성 통신들을 포함하는 원시적이라는 것이다. 음성들이 플레이어에 대응하는 가상 세계의 아바타들로부터 발생하는 보다 자연스러운 통신 환경을 구현하는 것은 구현하기에 복잡하고 전달하기에 값비싸다. 가상 환경에 참가하는 각각의 플레이어에 의해 발생된 오디오는 가청 범위 내에서 각각 및 모든 다른 플레이어에게 전송되어야 한다. 대량 다중 플레이어 게임들에서, 상기 오디오 교환을 용이하게 하기 위한 업스트림 및 다운스트림 대역폭 요구조건들 모두는 특히 높을 수 있다.
게다가, 수신된 오디오 스트림들 모두를 렌더링하기 위하여 요구된 CPU 비용은 높고, 가상 환경에 참여하기 위한 최소 하드웨어 요구조건들에 부합하기 위하여 특히 강력한 처리 유니트들이 사용되는 것을 요구한다.
다음은 이 명세서를 통하여 사용된 다양한 용어들에 대한 정의들을 제공한다:
- 오디오 장면 - 사운드 소스 및 수신자 사이의 거리에 따라 공간적으로 배치되고 선택적으로 감쇠되는 결합된 사운드들(예를 들어, 가상 환경 내에서 사운드의 다른 실시간 소스들 및 다른 아바타들에 속하는 음성들)을 포함하는 오디오 정보. 오디오 장면은 또한 환경의 음향 특성들을 나타내는 사운드 효과들을 포함할 수 있다.
본 발명의 제 1 양태에서 복수의 아바타들을 포함하는 가상 환경에서 아바타에 대한 오디오 장면을 생성하는 방법이 제공되고, 상기 방법은 복수의 아바타들 사이의 링크 구조를 생성하는 단계; 및 다른 링크된 아바타들과의 연계(association)를 기초로 각각의 아바타에 대한 오디오 장면을 렌더링하는 단계를 포함한다.
바람직하게, 본 발명의 양태들은 링크된, 피어 투 피어 유형 구조를 사용함으로써 몰입형 오디오 장면들을 전달하기 위한 저대역폭 기술을 제공한다. 상기 방식으로 서비스를 전달하는 것은 중앙 서버를 통하여 실시간 트래픽을 전송하기 위한 요구조건을 제거한다. 이것은 큰 서버 팜들(farms) 및 대역폭 비용들이 상기 서비스를 전달하기 위하여 본래 요구되기 때문에 상당한 비용을 절약시킨다. 대신, 본 발명의 양태들에 따라, 상기 서비스는 상기 서비스를 사용하는 CPU 리소스들 및 피어들(또는 링크된 아바타들)의 대역폭을 사용하여 전달될 수 있다. 게다가, 서비스 전달은 각각 새롭게 링크된 아바타가 서비스를 지원하기 위하여 리소스들을 추가하기 때문에 가상 환경에서 아바타들의 수가 증가할 때 쉽게 스케일될 수 있다.
제 2 양태에 따라, 본 발명의 제 1 양태에 따른 방법을 구현하기 위하여 컴퓨터를 제어하기 위한 적어도 하나의 명령을 포함하는 컴퓨터 프로그램이 제공된다.
제 3 양태에 따라, 본 발명의 제 2 양태에 따른 컴퓨터 프로그램을 제공하는 컴퓨터 판독 가능 매체가 제공된다.
제 4 양태에 따라, 본 발명의 제 1 양태에 따른 방법 단계들을 수행하기 위해 배치된 사용자 컴퓨팅 장치가 제공된다.
제 5 양태에 따라, 가상 환경에 대한 오디오 장면을 생성하기 위해 배열된 시스템이 제공되고, 상기 시스템은 복수의 컴퓨팅 디바이스들을 포함하고, 각각의 컴퓨팅 디바이스는 가상 환경에서 적어도 하나의 아바타를 제어할 수 있고, 각각의 컴퓨팅 디바이스는 적어도 하나의 아바타에 대한 출력 오디오 장면을 렌더링하고 적어도 하나의 다른 컴퓨팅 디바이스에 출력 오디오 장면을 통신하도록 배치된다.
본 발명의 범위 내에 속할 수 있는 임의의 다른 형태들에도 불구하고, 본 발명의 실시예는 첨부 도면들을 참조하여 예시적으로만 이하 기술될 것이다.
본 발명은 예를 들어 오디오 전용 회의 시스템으로서 사용하기 위한 몰입형 오디오 시스템을 제공하기 위하여 사용될 수 있다.
도 1은 본 발명의 한 실시예를 수행하기 위하여 배열된 시스템의 블록도이다.
도 2는 가상 환경에서 아바타들의 레이아웃의 한 실시예를 도시한다.
도 3은 도 2의 가상 환경의 아바타에 의해 수신된 각각의 오디오 스트림들을 렌더링하기 위해 요구된 각도들 및 감쇠 레벨들을 도시한다.
도 4는 도 2의 가상 환경에서 아바타들을 링크하는 메쉬(mesh) 접속의 한 실시예를 도시한다.
도 5는 도 2의 아바타들 사이의 가장 짧은 연결들을 결정하기 위한 최소 스패닝 트리(minimum spanning tree:MST)의 응용을 도시한다.
도 6은 본 발명의 한 실시예에 따른 최소 스패닝 트리에 추가된 에지를 도시한다.
도 1을 참조하면, 시스템(100)은 가상 환경 서버(102); 제어 서버(103); 사용자 컴퓨팅 디바이스들(104); 및 통신 시스템(106)을 포함한다.
가상 환경 서버(102)의 일차 기능은 가상 환경에 대한 상태 정보를 유지하는 것이다. 본 발명의 현재 실시예에서, 가상 환경은 멀티-플레이어 온라인 게임의 전장터이고 아바타들은 가상 환경의 참가자들(즉, 사용자 컴퓨팅 디바이스들(104)의 사용자들)을 표현하고 동작형 군인들 형태이다. 가상 환경 서버(102)에 의해 유지된 상태 정보는 예를 들어 가상 환경의 아바타들 위치, 즉, 전장터의 군인들 위치를 포함한다.
상기 실시예가 멀티-플레이어 온라인 게임들에 대한 가상 환경들 및 아바타들에 제한되지 않는 것이 주의된다. 상기 실시예는 예를 들어 비지니스 콘텍스트(가상 스태프 모임 같은) 또는 교육 콘텍스트(가상 강의 같은)의 가상 환경들을 포함하는 가상 환경들의 범위에 대한 애플리케이션을 가진다.
상태 정보를 유지하는 일차 기능들을 수행하기 위하여, 가상 환경 서버(102)는 마더보드(motherboard), 중앙 처리 유니트들, 랜덤 액세스 메모리, 하드 디스크들, 네트워킹 하드웨어 및 전력 공급부를 포함하는 컴퓨터 하드웨어를 포함한다. 하드웨어에 추가하여, 가상 환경 서버(102)는 하드 디스크상에 상주하고 소프트웨어 애플리케이션들이 실행되는 환경을 제공하기 위하여 하드웨어와 공동 작동하는 운영 시스템(URL http://www.redhat.com)의 인터넷의 웹사이트로부터 얻어질 수 있는 Linux 같은)을 포함한다. 이것과 관련하여, 가상 환경 서버(102)의 하드 디스크에는 상태 정보를 유지하기 위하여 가상 환경 서버 애플리케이션(URL http://www.idsoftware.com의 인터넷 웹사이트로부터 얻어질 수 있는 Quake engine 같은)이 로딩된다.
제어 서버(103)는 고속 링크(105)를 통하여 가상 환경 서버(102)에 접속된다. 제어 서버(103)는 가상 환경 서버와 동일한 하드웨어를 통합하고 가상 환경에 제공된 다양한 아바타들, 및 가상 환경내 아바타들의 위치를 식별하는 정보를 얻기 위하여 가상 환경 서버(102)와 상호작용하도록 배열된 제어 서버 애플리케이션이 로딩된다. 이 정보는 또한 아바타들의 상태 세부항목들(예를 들어, 활성 또는 비활성) 및 임의의 동적 사운드 배리어들(barriers)의 세부항목들을 포함할 수 있다. 제어 서버 애플리케이션 내에 내장된 알고리듬들을 사용하여, 제어 서버(103)는 사용자 컴퓨팅 디바이스들의 각각에 통신되는 몰입형 오디오 렌더링 정보를 생성한다. 도 1에 도시된 바와 같이, 제어 서버(103)는 링크(114)를 통하여 사용자 컴퓨팅 디바이스들과 통신하도록 또한 배열된다.
사용자 컴퓨팅 디바이스들(104)은 랩톱 또는 데스크톱 컴퓨터들 형태이다. 그러나, 상기 실시예가 랩톱 또는 데스크톱 통신 디바이스들로 제한되지 않는 것이 쉽게 이해될 것이다. 본 발명의 다른 실시예들에서, 사용자 컴퓨팅 디바이스들(104)(예를 들어 도시된 바와 같이 디바이스들(04a-h) 같은)이 노키아 N-Gage 같은 휴대용 무선 통신 디바이스들 및 휴대용 플레이스테이션일 수 있다. 각각의 사용자 컴퓨팅 디바이스(104)는 마더보드, 중앙 처리 유니트, 랜덤 액세스 메모리, 하드 디스크 또는 유사한 저장 디바이스, 전력 공급기, 모니터 및 사용자 정보 입력부(예를 들어, 키보드) 같은 컴퓨터 하드웨어를 포함한다. 상기 하드웨어에 추가하여, 각각의 사용자 컴퓨팅 디바이스(104)의 하드 디스크는 소프트웨어 애플리케이션들이 실행될 수 있는 환경을 제공하기 위하여 컴퓨팅 디바이스(104)의 하드웨어와 상호 작용할 수 있는 운영 시스템이 로딩된다. 이것과 관련하여, 각각의 사용자 컴퓨팅 디바이스(104)의 하드 디스크는 가상 환경 클라이언트 애플리케이션 및 몰입형 오디오 통신 클라이언트 애플리케이션이 로딩된다.
가상 환경 클라이언트 애플리케이션은 가상 환경 서버(102)상에 로딩된 가상 환경 서버 애플리케이션으로 및 상기 애플리케이션으로부터 가상 환경에 대한 상태 정보를 전송 및 수신하기 위하여 배치된다. 몰입형 오디오 통신 클라이언트 애플리케이션은 다른 몰입형 오디오 통신 클라이언트들로 및 상기 클라이언트들로부터 오디오 정보를 전송 및 수신하기 위하여 배치된다. 각각의 사용자 컴퓨팅 디바이스(104)에 운영 시스템이 로딩되는 것이 이전에 기술되었다. 상기 실시예는 예를 들어 마이크로소프트 윈도우즈 XP 또는 리눅스(상기 모두는 컴퓨팅 디바이스들(104)이 데스크톱 컴퓨터의 형태일 때 통상적으로 사용됨)를 포함하는 사용자 컴퓨팅 디바이스들(104) 상에 로딩된 임의의 다른 운영 시스템들을 동작시키기 위하여 쉽게 배치될 수 있다.
통신 시스템(106)은 각각의 사용자 컴퓨팅 디바이스들(104)의 가상 환경 클라이언트 애플리케이션과 가상 환경 시스템(102)의 가상 환경 서버 애플리케이션이 데이터를 서로 교환하게 한다(특히, 상태 정보). 통신 시스템(106)은 또한 각각의 사용자 컴퓨팅 디바이스들(104)의 이머시브 오디오 통신 클라이언트 애플리케이션과 제어 서버(103)가 서로 데이터를 교환하게 한다(특히, 피어 투 피어 그래프 형태의 링크 구조 세부항목들).
데이터 교환을 지원하기 위하여, 통신 시스템(106)은 사용자 컴퓨팅 디바이스들(104)로부터 데이터를 전송 및 수신하기 위한 인터넷 형태의 데이터 네트워크(110)를 포함한다. 본 발명은 인터넷에 사용되는 것에 제한되지 않고 본 발명의 다른 실시예는 예를 들어 802.11 기초한 무선 네트워크 또는 등등을 이용할 수 있다. 가상 환경 시스템(102) 및 사용자 컴퓨팅 디바이스들(104)이 통신 시스템(106)을 통하여 데이터를 교환하게 하기 위하여, 가상 환경 서버(102)는 고속 데이터 링크 형태로 통신 링크(114)를 통하여 인터넷(110)에 접속된다.
본 발명의 실시예는 가상 환경에 참가하는 사용자 컴퓨팅 디바이스들(104)의 사용자들에게 몰입형 오디오를 제공하기 위한 낮은 대역폭 피어 투 피어 기술들과 주로 관련된다. 이와 같이, 다음 상세한 설명은 특히 제어 서버(103)상에 로딩된 제어 서버 애플리케이션 및 사용자 컴퓨팅 디바이스들(104) 각각에 로딩된 몰입형 오디오 통신 클라이언트 애플리케이션의 기능에 집중한다.
이전에 논의된 바와 같이, 제어 서버(103)상에 상주하는 제어 서버 애플리케이션은 가상 환경 서버 애플리케이션으로부터의 가상 환경에서 동작하는 아바타들의 위치에 관련된 정보를 얻기 위하여 배치된다. 본 명세서에 기술된 실시예에 따라, 위치 정보는 3차원 좌표들(x,y,z) 형태이다. 제어 서버 애플리케이션은 가상 환경내의 사운드들의 전파를 할 수 있는 임의의 정적 및 동적 사운드 배리어들(이후 '배리어 정보')의 세부항목들을 얻기 위하여 추가적으로 구성된다. 일단 위치 정보 및 배리어 정보가 얻어지면, 제어 서버 애플리케이션은 다음 작용들을 수행한다:
(1) 가상 환경에서 아바타들의 위치 (x,y,z)를 기초로 트리(tree), 또는 일련의 트리들(만약 서로의 가청 범위내에 있지 않은 아바타들의 다수의 분리 그룹들이 있다면)을 계산한다. 이들 트리들은 스피킹(speaking) 아바타들을 리스닝(listening) 아바타들에 접속한다. 제어 서버 애플리케이션은 트리가 구성되는 방법을 결정하기 위하여 노드들(즉, 사용자 컴퓨팅 디바이스들 각각에 대응하는)의 신뢰성 및 이용 가능한 대역폭 같은 인자들을 고려할 수 있다. 예를 들어, 만약 트리의 노드가 높은 이용 가능한 대역폭을 가지지 않으면, 애플리케이션은 접속할 수 있는 트리의 다른 노드들의 수를 제한할 수 있다. 만약 노드가 신뢰할 수 없으면(예를 들어, 만약 노드가 높은 지연 히스토리 또는 패킷 손실을 가지면), 제어 서버 애플리케이션은 상기 애플리케이션이 트리의 리프(leaf)인 것을 확실히 하도록 원할 수 있다.
(2) 피어 투 피어 그래프를 형성하기 위하여 각각의 스피커 및 리스너 사이의 경로 길이를 줄이기 위한 루프들을 트리에 도입한다. 제어 서버 애플리케이션은 양의 피드백이나 주목할만한 에코들(echoes)이 사용자 컴퓨팅 디바이스들에 의해 결국 출력되는 오디오 스트림에 존재하지 않는 것을 보장하기 위하여 지정된 길이보다 짧은 루프들을 도입하지 않을 것이다.
(3) 피어 투 피어 그래프와 연관된 다음 세부항목들을 그래프에서 식별된 사용자 컴퓨팅 디바이스들(104)에 통신한다:
(a) 사용자 컴퓨터 디바이스('A')가 접속하여야 하는 아바타들의 세트;
(b) A가 이들 접속 각각에서 전송할 오디오 스트림들에 적용하기 위한 감쇠 값(α)(α는 그래프 링크의 길이에 대응); 및
(c) 수신된 오디오 스트림들이 렌더링되는 각도(θ)(θ는 그래프 링크 각도에 대응).
트리 구조들(상기 포인트 1 참조)을 생성하는 기능과 관련하여, 임의의 적당한 트리 구조가 사용될 수 있다. 그러나, 본 실시예의 경우, 최소 스패닝 트리(MST)가 사용된다. (이것은 가상 환경에서 아바타들 사이의 거리에 비례하는 트리의 링크들의 길이와 연관된 비용 메트릭(metric)과 관련하여 최소이다).
사용자 컴퓨팅 디바이스들(104) 각각에 상주하는 몰입형 오디오 클라이언트 애플리케이션에 의해 수행되는 두 개의 주 기능들이 있다. 제 1 기능은 사용자 컴퓨팅 디바이스(104) 사용자에게 재생을 위한 몰입형 오디오 장면을 생성하기 위해 수신된 오디오 스트림들을 렌더링하는 것이다. 이런 처리는 기본적으로 {E1,E2...En}에 접속된 그래프의 에지들 각각 상에서 오디오 스트림을 수신하고 몰입형 오디오 렌더링 정보에 의해 지정된 각도(θ)에서 오디오 스트림을 렌더링하는 사용자 컴퓨팅 디바이스(104)와 관련된다. 제 2 기능은 모든 다른 에지 접속된 사용자 컴퓨팅 디바이스들/아바타들에 사용자 컴퓨팅 디바이스(104)에 의해 생성된 혼합된 오디오 스트림을 전송하는 것과 관련된다. 혼합된 오디오 스트림은 사용자 컴퓨터 디바이스(즉, 클라이언트의 음성)에 의해 캡쳐된 오디오 스트림 및 모든 다른 에지들(물론 혼합된 오디오 스트림이 전송되는 에지를 배제하여)상에 수신된 오디오 스트림들 모두의 혼합을 포함한다. 혼합된 오디오 스트림을 전송하기 전에, 상기 스트림은 몰입형 오디오 렌더링 정보에 의해 지정된 특정 에지에 대해 감쇠 값(α)을 사용하여 감쇠된다.
도 1 내지 도 6을 참조하여, 사용자 컴퓨팅 디바이스에 의한 몰입형 오디오 장면들을 렌더링하기 위한 방법의 한 실시예가 이하 기술될 것이다.
제 1 단계에서, 가상 환경 서버(102)는 추후 처리를 위해 클라이언트 서버(103)의 클라이언트 서버 애플리케이션에 가상 환경의 상태 정보를 전달한다. N 아바타들(A1,A2,...An)을 가진 가상 세계가 제공되면, 각각은 클라이언트들(C1,C2,...CN)에 의해 제어된다. 오디오 샘플들(Vi)은 이들 N 클라이언트들 각각에 의해 생성된다. F 에지들(E1, E2,...,EF)을 갖는 그래프가 구성된다. 각각의 이들 에지들은 연관된 각도(θj) 및 감쇠 인자(αj)를 가지며, 여기서 0<j<=F.
(단계 1) 도 2에 도시된 가상 환경에서 모든 아바타들을 이들의 (x,y) 좌표들에 대응하는 (x,y) 좌표들을 가진 평면에 배치한다.
(단계 2) 그래프의 모든 노드들 사이에 메쉬 접속을 생성한다; 만약 벽들이 존재하면 벽들의 반대 편들에 있는 아바타들 사이의 임의의 링크들을 제거한다.
(단계 3) Kruskal's 알고리듬 같은 임의의 적당한 알고리듬을 사용하여 모든 노드들에 접속하기 위한 최소 스패닝 트리(MST)를 계산한다.
(단계 4) 최소 스패닝 트리의 일추가 아닌 그래프의 모든 링크들을 제거한다.
(단계 5) 루프들이 노드들에서 초과하는 전송 제한들 없이 추가될 수 있고 임계값(예를 들어, 가청 범위의 두 배)을 초과하는 가능한 루프들이 있으면,
(a) min_edge_length=무한으로 설정
(b) 서로 청취할 수 있는 노드들(i,j)의 모든 쌍에 대해,
(ⅰ) 두 개의 노드들 사이의 최소 루프 거리 계산한다: min_loopij = SPij+VDij. 여기서 SPij는 i,j 사이의 트리상 가장 짧은 경로이고, VDij = i 및 j 사이의 직접적인 링크 길이인 경우, 만약 존재하면, 이다.
(ⅱ) 만약 min_loopij>루프 임계값(2 x 가청_범위) 및 Dij<min_edge_length이면,
(1) min_edge_length = VDij
(2) min_edge = {i, j}
(c) min_edge에 의해 참조된 에지를 그래프에 추가한다. 이것은 허용 가능한 루프를 도입하는 가장 작은 에지이다.
지금 7 플레이어들이 가상 환경에 접속된다고 하자. 각각의 플레이어들은 인터넷에 연결된 다른 PC를 사용한다. 각각의 플레이어들은 별도의 아바타를 제어한다 - 이들 아바타들은 A1 내지 A7이라 한다. 가상 세계에서 이들 아바타들의 x,y(공간) 위치는 표 1에 도시된 바와 같다.
표 1: 아바타들의 X, Y 위치
[표 1]
Figure pat00001
각각의 아바타들은 노드인 것으로 고려될 수 있다. 각각의 노드들이 4개의 스트림들을 전송할 수 있고, 각각의 노드의 가청 범위가 115인 것이 가정된다.
단계 1은 아바타들이 가상 세계에서 차지하는 것과 동일한 x,y 좌표들을 가진 평면에 아바타들을 배치한다.
단계 2는 노드들 사이의 메쉬 접속(즉, 모든 노드가 모든 다른 노드에 접속됨)을 생성한다. 이 단계는 최소 스패닝 트리 알고리듬에 의해 사용하기 위하여 기반되는 노드 토포로지(node topology)를 제공한다. 이런 실시예를 위한 메쉬 네트워크는 도 4에 도시된다.
각각의 아바타들 사이의 거리는 알고리듬에서 추후에 사용되고 표 2에 도시된 바와 같이 값(매트릭스)VDij와 같이 계산된다:
표 2: VD ij 계산 값들
[표 2]
Figure pat00002
단계 3에서, Kruskal의 알고리듬은 최소 스패닝 트리를 계산하기 위하여 사용되었다. Kruskal의 알고리듬은 최소 스패닝 트리들을 계산하는 일반적인 알고리듬이고 원격 통신 엔지니어들 및 그래프 이론 전문가들에게 잘 공지되었다.
단계 4에서, 최소 스패닝 트리의 일추가 아닌 링크는 그래프로부터 제거된다. 이런 스테이지의 출력은 도 5에 도시된다.
서로 "들을 수" 있는 노드들의 세트는 단계 5에서 계산된다:
H =
Figure pat00003
및 각각의 그래프 링크의 거리는 또한 표 3에 도시된 바와 같이 계산된다:
표 3: 각각의 그래프 링크 사이의 거리
Figure pat00004
마지막으로, H의 모든 실시예들에 대한 가장 짧은 경로가 계산된다:
Figure pat00005
Figure pat00006
Figure pat00007
그 다음, min_edge_length=무한을 설정하고, min_loop(3,7) > 2 x 가청_범위(230) 및 VD(3,7)<min_edge_length이 발견되고;
따라서 min_edge_length=VD(3,7) = 105 및 min_edge = {3,7}이다.
게다가, min_loop(i,j)>2 x 가청_범위가 존재하지 않는다.
그 다음 에지 {3,7}은 도 6에 도시된 바와 같이 그래프에 추가된다.
단계 5는 추가하기 위하여 남겨진 루프들이 없을 때까지 업데이트된 그래프를 사용하여 반복된다(단계 5의 이전 반복들에 의해 추가된 링크들).
단계 5의 다음 반복은 추가할 수용 가능한 루프들이 없고 따라서 알고리듬이 링크(7,3)의 추가만으로 멈추는 것을 발견한다.
도 3을 참조하여, 아바타(3)의 관점으로부터 인입 오디오 스트림들을 렌더링하기 위하여 요구된 렌더링 각도들 및 감쇠 레벨들을 나타내는 그래프가 도시된다. 이전 도면들에 도시된 바와 같이, 아바타(3)는 아바타들(1, 7 및 4)로부터 오디오 스트림들을 수신할 것이다. 아바타(3)를 제어하는 사용자 컴퓨팅 디바이스상에 상주하는 가상 환경 클라이언트 애플리케이션은 다음과 같이 오디오 장면을 렌더링할 것이다: 아바타 1로부터 도달하는 오디오는 아바타 3의 좌측에 대해 각도(θ31)에서 렌더링될 것이다. 아바타 7로부터 수신된 오디오는 리스너의 좌측에 대해 θ37도로 렌더링될 것이다; 반면 아바타 4로부터 수신된 오디오는 도 6에 도시된 바와 같이 리스너의 우측에 대해 θ34로 렌더링될 것이다.
아바타들(1, 7 및 4)로부터 수신된 오디오 스트림들은 모든 업스트림 노드들의 감소된 혼합이다. 예를 들어, 아바타 1로부터 아바타 3으로 전송된 오디오 스트림은 사용자 컴퓨팅 디바이스에 의해 국부적으로 레코드된 아바타 1의 음성과 혼합된 인입 스트림들(링크 3,1을 제외)에서 수신된 모든 오디오의 혼합이다. 이들 음성들은 오디오가 수신된 링크의 길이에 따라 감쇠된다. 그러므로, 링크(3,1)에서 전송된 오디오 스트림은 아바타 1의 국부적으로 생성된 음성과 혼합된 α15에 의해 감쇠된 아바타 5에 의해 전송된 오디오와 혼합된 α12 에 의해 감쇠된 아바타 2에 전송된 오디오 스트림과 동일하다.
각각의 아바타로부터의 오디오가 모든 인입 링크들상에서 수신된 오디오의 감쇠 버젼과 혼합되기 때문에, 아바타 3은 다른 감쇠 레벨들로 인해 가변 거리들을 가지는 아바타 1의 방향으로 나오는 아바타들 1 및 5를 효과적으로 청취할 것이다. 아바타 6의 음성은 양쪽 아바타들 1 및 7의 방향으로부터 아바타 3에 의해 들리는 오디오에 영향을 줄 것이다. 그러나, 만약 감쇠 레벨들이 올바르게 설정되면, 아바타 6의 볼륨은 무시할 수 있을 것이다. 또한 이 실시예에서 만약 도입된 루프들이 없다면, 아바타 3은 5 및 1을 통한 경로상 감쇠가 너무 크기 때문에 아바타 7을 듣지 못할 것이다.
비록 본 발명의 실시예가 가상 환경을 지원하기 위하여 사용되는 상황에서 기술되었지만, 본 발명이 가상 환경에 사용되는 것으로 제한되지 않는 것이 쉽게 이해될 것이다. 이와 같이, 본 발명은 예를 들어 오디오 전용 회의 시스템으로서 사용하기 위한 몰입형 오디오 시스템을 제공하기 위하여 사용될 수 있다.
본 발명이 본 실시예를 참조하여 기술되었지만, 대안들, 변화들 및 개선들이 이루어질 수 있고 등가물들이 본 발명의 범위에서 벗어나지 않고 요소들 및 단계들을 대체할 수 있는 것이 이해될 것이다. 게다가, 많은 변형들은 중심 범위로부터 벗어나지 않고 본 발명의 지침들에 대한 특정 상황 또는 재료에 본 발명을 적합화하도록 만들어질 수 있다. 상기 대안들, 변화들, 변형들 및 개선들은 상기에 명시적이지 않지만, 본 발명의 범위 및 사상 내에 의도 및 내포된다. 그러므로, 본 발명이 본 명세서에 기술된 특정 실시예로 제한되지 않고 독립항들의 범위내에 속하는 모든 실시예들을 포함하고자 의도된다.

Claims (14)

  1. 적어도 하나의 서버와 적어도 하나의 클라이언트 컴퓨팅 디바이스를 포함하는 컴퓨터 시스템에 의해, 복수의 아바타들(avatars)을 포함하는 가상 환경에서 아바타에 대한 오디오 장면(scene)을 생성하는 방법으로서,
    상기 서버에 의해, 상기 복수의 아바타들 사이에 상기 가상 환경 내 링크 구조를 생성하는 단계; 및
    상기 서버에 의해, 링크된 다른 아바타들과의 연계(association)를 기초로 각각의 아바타에 대한 오디오 장면을 렌더링하는 단계를 포함하며;
    상기 생성된 링크 구조는 상기 오디오 장면을 렌더링하기 위한 각도 및 인입 링크들(incoming links) 상의 오디오 스트림들에 적용하기 위한 감쇠 인자(attenuation factor) 중 적어도 하나를 정의하도록 동작가능하고, 상기 렌더링하기 위한 각도는 상기 각각의 아바타와 상기 링크된 다른 아바타들 간의 링크들의 각도들에 대응하고, 상기 가상 환경은 다중 플레이어 온라인 게임, 가상 비지니스 미팅, 또는 가상 교육 기능 중 하나 이상을 포함하고, 아바타들 각각은 상기 가상 환경의 참가자를 포함하는, 오디오 장면 생성 방법.
  2. 제 1 항에 있어서, 상기 링크 구조는 최소 스패닝 트리(minimum spanning tree)를 포함하는, 오디오 장면 생성 방법.
  3. 제 1 항에 있어서, 상기 최소 스패닝 트리 링크 구조는 상기 트리 내 링크들의 길이에 연관된 비용 메트릭에 관하여 최소이고, 상기 트리 내 링크들의 길이는 상기 가상 환경 내 두 개의 아바타들 사이의 거리에 비례하는, 오디오 장면 생성 방법.
  4. 제 3 항에 있어서, 상기 감쇠 인자는 상기 링크 구조 내 한 링크의 길이에 대응하는 값을 포함하는, 오디오 장면 생성 방법.
  5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 링크 구조 내에서 두 개의 아바타들 사이의 링크의 각도는 상기 렌더링 각도를 정의하는, 오디오 장면 생성 방법.
  6. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 링크 구조는 상기 복수의 아바타들을 접속하는 트리 구조인, 오디오 장면 생성 방법.
  7. 제 6 항에 있어서, 상기 트리 구조는 최소 스패닝 트리(minimum spanning tree:MST)인, 오디오 장면 생성 방법.
  8. 제 7 항에 있어서, 상기 최소 스패닝 트리에 루프들을 도입하는 단계를 더 포함하며, 상기 렌더링 오디오 장면들에서 에코들(echoes)을 회피하기 위하여 상기 루프들의 최소 길이가 미리 결정된 값 보다 작게 되도록 하는, 오디오 장면 생성 방법.
  9. 제 8 항에 있어서, 상기 미리 결정된 값은 아바타의 가청 범위의 두 배인, 오디오 장면 생성 방법.
  10. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 복수의 아바타들 중 적어도 하나에 의해 생성된 오디오 스트림과 상기 렌더링된 오디오 장면을 혼합하는 단계를 더 포함하는, 오디오 장면 생성 방법.
  11. 제 10 항에 있어서, 혼합된 오디오 장면을 링크된 다른 아바타에 전송하는 단계를 더 포함하는, 오디오 장면 생성 방법.
  12. 복수의 아바타들을 포함하는 가상 환경에서 아바타를 위한 오디오 장면을 생성하기 위한 시스템에 있어서,
    상기 복수의 아바타들 사이에 가상 환경 내 링크 구조를 생성하는 수단과;
    링크된 다른 아바타들과의 연계에 기초하여 각각의 아바타를 위한 오디오 장면을 렌더링하는 수단을 포함하며;
    상기 생성된 링크 구조는 상기 오디오 장면을 렌더링하기 위한 각도와 인입 링크들의 오디오 스트림들에 적용하기 위한 감쇠 인자 중 적어도 하나를 정의하도록 동작가능하고, 상기 오디오 장면을 렌더링하기 위한 각도는 상기 각각의 아바타와 링크된 다른 아바타들 사이의 링크들의 각도들에 대응하고, 상기 가상 환경은 다중 플레이어 온라인 게임, 가상 비지니스 미팅, 또는 가상 교육 기능 중 하나 이상을 포함하고, 아바타들 각각은 상기 가상 환경의 참가자를 포함하는, 시스템.
  13. 복수의 아바타들을 포함하는 가상 환경에 대한 오디오 장면을 생성하기 위하여 배치된 시스템으로서, 상기 복수의 아바타들 사이에는 상기 가상 환경 내 링크 구조가 있는, 상기 시스템에 있어서,
    상기 가상 환경 내에서 각각의 컴퓨팅 디바이스가 적어도 하나의 아바타를 제어할 수 있는 복수의 컴퓨팅 디바이스들을 포함하고, 상기 각각의 컴퓨팅 디바이스는 상기 적어도 하나의 아바타와 링크된 다른 아바타들과의 연계에 기초하여 상기 적어도 하나의 아바타에 대한 출력 오디오 장면을 렌더링하고 상기 출력 오디오 장면을 적어도 하나의 다른 컴퓨팅 디바이스에 통신하기 위해 배치되고, 상기 생성된 링크 구조는 상기 오디오 장면을 렌더링하기 위한 각도와 인입 링크들 상의 오디오 스트림들에 적용하기 위한 감쇠 인자를 정의하도록 동작 가능하고, 상기 오디오 장면을 렌더링하기 위한 각도는 상기 각각의 아바타와 링크된 다른 아바타들 사이의 링크들의 각도들에 대응하고, 상기 가상 환경은 다중 플레이어 온라인 게임, 가상 비지니스 미팅, 또는 가상 교육 기능 중 하나 이상을 포함하고, 아바타들 각각은 상기 가상 환경의 참가자를 포함하는, 시스템.
  14. 제 13 항에 있어서, 각각의 컴퓨팅 디바이스는 적어도 하나의 다른 컴퓨팅 디바이스로부터 입력 오디오 장면을 수신하고 상기 출력 오디오 장면과 상기 입력 오디오 장면을 렌더링하기 위하여 더 배치되는, 시스템.
KR1020127014156A 2006-11-08 2007-11-08 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들 KR101225475B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
AU2006906213A AU2006906213A0 (en) 2006-11-08 Apparatuses and methods for use in creating an audio scene
AU2006906213 2006-11-08
PCT/AU2007/001712 WO2008055305A1 (en) 2006-11-08 2007-11-08 Apparatuses and methods for use in creating an audio scene

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020097011764A Division KR101201695B1 (ko) 2006-11-08 2007-11-08 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들

Publications (2)

Publication Number Publication Date
KR20120080647A true KR20120080647A (ko) 2012-07-17
KR101225475B1 KR101225475B1 (ko) 2013-01-23

Family

ID=39364104

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020097011764A KR101201695B1 (ko) 2006-11-08 2007-11-08 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들
KR1020127014156A KR101225475B1 (ko) 2006-11-08 2007-11-08 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020097011764A KR101201695B1 (ko) 2006-11-08 2007-11-08 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들

Country Status (11)

Country Link
US (1) US8403751B2 (ko)
EP (1) EP2095679B1 (ko)
JP (2) JP4997291B2 (ko)
KR (2) KR101201695B1 (ko)
CN (2) CN101573991B (ko)
AU (1) AU2007317195A1 (ko)
BR (1) BRPI0718711B1 (ko)
CA (1) CA2667110C (ko)
HK (1) HK1135269A1 (ko)
RU (2) RU2495538C2 (ko)
WO (1) WO2008055305A1 (ko)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101201695B1 (ko) * 2006-11-08 2012-11-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들
GB0703974D0 (en) * 2007-03-01 2007-04-11 Sony Comp Entertainment Europe Entertainment device
CN102017402B (zh) 2007-12-21 2015-01-07 Dts有限责任公司 用于调节音频信号的感知响度的系统
US20090235191A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Method for Accessing a Secondary Virtual Environment from Within a Primary Virtual Environment
US20090234948A1 (en) * 2008-03-11 2009-09-17 Garbow Zachary A Using Multiple Servers to Divide a Virtual World
US8875026B2 (en) 2008-05-01 2014-10-28 International Business Machines Corporation Directed communication in a virtual environment
US8315409B2 (en) * 2008-09-16 2012-11-20 International Business Machines Corporation Modifications of audio communications in an online environment
US8577060B2 (en) * 2009-07-02 2013-11-05 Avaya Inc. Method and apparatus for dynamically determining mix sets in an audio processor
US8538042B2 (en) * 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
EP2537287A4 (en) * 2010-02-18 2012-12-26 Smart Services Crc Pty Ltd SYSTEM, METHOD AND SOFTWARE APPLICATION FOR DISTRIBUTING DATA OVER A VARIETY OF COMPUTER SYSTEMS
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
CN104801043B (zh) * 2014-01-23 2019-12-13 腾讯科技（深圳）有限公司 场景音效控制的方法及装置
US9466278B2 (en) * 2014-05-08 2016-10-11 High Fidelity, Inc. Systems and methods for providing immersive audio experiences in computer-generated virtual environments
JP6205071B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
EP3287867A1 (en) * 2016-08-26 2018-02-28 Nokia Technologies Oy Audio processing
GB201719854D0 (en) * 2017-11-29 2018-01-10 Univ London Queen Mary Sound effect synthesis
US10735882B2 (en) * 2018-05-31 2020-08-04 At&T Intellectual Property I, L.P. Method of audio-assisted field of view prediction for spherical video streaming
US20200228911A1 (en) * 2019-01-16 2020-07-16 Roblox Corporation Audio spatialization
US10785563B1 (en) * 2019-03-15 2020-09-22 Hitachi, Ltd. Omni-directional audible noise source localization apparatus
US10952006B1 (en) 2020-10-20 2021-03-16 Katmai Tech Holdings LLC Adjusting relative left-right sound to provide sense of an avatar's position in a virtual space, and applications thereof
US11457178B2 (en) 2020-10-20 2022-09-27 Katmai Tech Inc. Three-dimensional modeling inside a virtual video conferencing environment with a navigable avatar, and applications thereof
US11076128B1 (en) 2020-10-20 2021-07-27 Katmai Tech Holdings LLC Determining video stream quality based on relative position in a virtual space, and applications thereof
US11070768B1 (en) 2020-10-20 2021-07-20 Katmai Tech Holdings LLC Volume areas in a three-dimensional virtual conference space, and applications thereof
US10979672B1 (en) 2020-10-20 2021-04-13 Katmai Tech Holdings LLC Web-based videoconference virtual environment with navigable avatars, and applications thereof
US11095857B1 (en) 2020-10-20 2021-08-17 Katmai Tech Holdings LLC Presenter mode in a three-dimensional virtual conference space, and applications thereof
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11743430B2 (en) 2021-05-06 2023-08-29 Katmai Tech Inc. Providing awareness of who can hear audio in a virtual conference, and applications thereof
US11184362B1 (en) 2021-05-06 2021-11-23 Katmai Tech Holdings LLC Securing private audio in a virtual conference, and applications thereof
US11928774B2 (en) 2022-07-20 2024-03-12 Katmai Tech Inc. Multi-screen presentation in a virtual videoconferencing environment
US11651108B1 (en) 2022-07-20 2023-05-16 Katmai Tech Inc. Time access control in virtual environment application
US11876630B1 (en) 2022-07-20 2024-01-16 Katmai Tech Inc. Architecture to control zones
US11700354B1 (en) 2022-07-21 2023-07-11 Katmai Tech Inc. Resituating avatars in a virtual environment
US11741664B1 (en) 2022-07-21 2023-08-29 Katmai Tech Inc. Resituating virtual cameras and avatars in a virtual environment
US11562531B1 (en) 2022-07-28 2023-01-24 Katmai Tech Inc. Cascading shadow maps in areas of a three-dimensional environment
US11682164B1 (en) 2022-07-28 2023-06-20 Katmai Tech Inc. Sampling shadow maps at an offset
US11704864B1 (en) 2022-07-28 2023-07-18 Katmai Tech Inc. Static rendering for a combination of background and foreground objects
US11956571B2 (en) 2022-07-28 2024-04-09 Katmai Tech Inc. Scene freezing and unfreezing
US11593989B1 (en) 2022-07-28 2023-02-28 Katmai Tech Inc. Efficient shadows for alpha-mapped models
US11776203B1 (en) 2022-07-28 2023-10-03 Katmai Tech Inc. Volumetric scattering effect in a three-dimensional virtual environment with navigable video avatars
US11711494B1 (en) 2022-07-28 2023-07-25 Katmai Tech Inc. Automatic instancing for efficient rendering of three-dimensional virtual environment
US11748939B1 (en) 2022-09-13 2023-09-05 Katmai Tech Inc. Selecting a point to navigate video avatars in a three-dimensional environment

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0389700A (ja) 1989-08-31 1991-04-15 Matsushita Electric Ind Co Ltd 音像定位方法
CN1248504C (zh) * 1997-01-29 2006-03-29 数字广告及销售有限公司 通过通信网络传送媒体文件的方法
US6175842B1 (en) 1997-07-03 2001-01-16 At&T Corp. System and method for providing dynamic three-dimensional multi-user virtual spaces in synchrony with hypertext browsing
JP3560282B2 (ja) * 1999-02-08 2004-09-02 日本電信電話株式会社 マルチユーザ仮想空間における音源の定位制御方法、その装置及びそのプログラムを記録した記録媒体
US6931370B1 (en) * 1999-11-02 2005-08-16 Digital Theater Systems, Inc. System and method for providing interactive audio in a multi-channel audio environment
JP3534345B1 (ja) * 2002-10-22 2004-06-07 コナミ株式会社 ゲームプログラム及びゲーム装置
US20040085259A1 (en) * 2002-11-04 2004-05-06 Mark Tarlton Avatar control using a communication device
JP2004267433A (ja) * 2003-03-07 2004-09-30 Namco Ltd 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体
JP3772328B2 (ja) * 2003-03-31 2006-05-10 株式会社光栄 ネットワークゲームサーバ、制御方法、プログラム及び記憶媒体
US7503006B2 (en) * 2003-09-25 2009-03-10 Microsoft Corporation Visual indication of current voice speaker
JP4848362B2 (ja) * 2004-04-16 2011-12-28 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ・シーンを生成する際に使用する装置及び方法
US7491123B2 (en) * 2004-07-29 2009-02-17 Nintendo Co., Ltd. Video game voice chat with amplitude-based virtual ranging
JP2006094315A (ja) * 2004-09-27 2006-04-06 Hitachi Ltd 立体音響再生システム
US7577110B2 (en) * 2005-08-12 2009-08-18 University Of Southern California Audio chat system based on peer-to-peer architecture
KR101201695B1 (ko) * 2006-11-08 2012-11-15 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들

Also Published As

Publication number Publication date
EP2095679B1 (en) 2013-07-10
CN101573991B (zh) 2011-08-03
CA2667110A1 (en) 2008-05-15
JP2012196465A (ja) 2012-10-18
US8403751B2 (en) 2013-03-26
JP2010509810A (ja) 2010-03-25
HK1135269A1 (en) 2010-05-28
EP2095679A4 (en) 2011-10-19
KR20090086585A (ko) 2009-08-13
US20100049346A1 (en) 2010-02-25
EP2095679A1 (en) 2009-09-02
CN101573991A (zh) 2009-11-04
BRPI0718711B1 (pt) 2019-09-24
CA2667110C (en) 2014-01-14
RU2009121548A (ru) 2010-12-20
RU2012100228A (ru) 2013-07-20
RU2449496C2 (ru) 2012-04-27
KR101225475B1 (ko) 2013-01-23
RU2495538C2 (ru) 2013-10-10
BRPI0718711A2 (pt) 2014-01-14
AU2007317195A1 (en) 2008-05-15
JP4997291B2 (ja) 2012-08-08
CN102325299A (zh) 2012-01-18
JP5563014B2 (ja) 2014-07-30
WO2008055305A1 (en) 2008-05-15
KR101201695B1 (ko) 2012-11-15
CN102325299B (zh) 2014-03-12

Similar Documents

Publication Publication Date Title
KR101225475B1 (ko) 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들
JP4854736B2 (ja) 没入型オーディオ通信
US8152639B2 (en) Method and system for enhanced audio communications in an interactive environment
Zimmermann et al. Spatialized audio streaming for networked virtual environments
AU2012200463B2 (en) Apparatus and Methods for use in Creating an Audio Scene
Jiang et al. Peer-to-peer aoi voice chatting for massively multiplayer online games
AU2006261594B2 (en) Immersive audio communication
AU2012202422B2 (en) Immersive Audio Communication
Que et al. Minimising the computational cost of providing a mobile immersive communication environment (MICE)
Liu Scalable peer-to-peer streaming for interactive applications

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160108

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170111

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180105

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 8