KR20210027473A - 가상 환경에서 공간 오디오 전송을 지원하기 위한 로컬 링크의 사용 - Google Patents

가상 환경에서 공간 오디오 전송을 지원하기 위한 로컬 링크의 사용 Download PDF

Info

Publication number
KR20210027473A
KR20210027473A KR1020217003697A KR20217003697A KR20210027473A KR 20210027473 A KR20210027473 A KR 20210027473A KR 1020217003697 A KR1020217003697 A KR 1020217003697A KR 20217003697 A KR20217003697 A KR 20217003697A KR 20210027473 A KR20210027473 A KR 20210027473A
Authority
KR
South Korea
Prior art keywords
user
virtual space
users
user device
communicate
Prior art date
Application number
KR1020217003697A
Other languages
English (en)
Other versions
KR102453851B1 (ko
Inventor
안티 이로넨
아르토 레티니에미
주시 레파넨
미코-빌레 라이티넨
Original Assignee
노키아 테크놀로지스 오와이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 테크놀로지스 오와이 filed Critical 노키아 테크놀로지스 오와이
Publication of KR20210027473A publication Critical patent/KR20210027473A/ko
Application granted granted Critical
Publication of KR102453851B1 publication Critical patent/KR102453851B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W40/00—Communication routing or communication path finding
    • H04W40/02—Communication route or path selection, e.g. power-based or shortest path routing
    • H04W40/20—Communication route or path selection, e.g. power-based or shortest path routing based on geographic position or location
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00—Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07—Applications of wireless loudspeakers or wireless microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

제 1 사용자 디바이스를 갖는 제 1 사용자로 하여금 네트워크를 통해 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자와 통신할 수 있게 하는 것 ― 가상 공간 내의 각 사용자에 대해 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 가상 공간 내의 공간 위치를 가짐 ― 과, 각 사용자가 다른 사용자의 각각의 상대적 공간 위치에 있는 다른 사용자로부터 오디오를 제공받도록, 제 1 사용자 디바이스로부터 하나 이상의 제 2 사용자 디바이스로 공간 오디오 데이터를 제공하고 하나 이상의 제 2 사용자 디바이스로부터 제 1 사용자 디바이스에서 공간 오디오 데이터를 수신하는 것과, 제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 제 1 사용자 디바이스를 통해 제 1 사용자 및 하나 이상의 제 2 사용자와 통신할 수 있게 하는 것 ― 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이의 로컬 링크를 포함함 ― 을 포함하는 방법, 장치 및 컴퓨터 프로그램이 설명된다.

Description

가상 환경에서 공간 오디오 전송을 지원하기 위한 로컬 링크의 사용
본 명세서는 다중 사용자 통신, 예를 들어, 제 1 사용자 디바이스를 갖는 제 1 사용자와 제 2 사용자 디바이스를 갖는 제 2 사용자 간의 통신에 관한 것이다.
제 1 사용자 디바이스를 갖는 제 1 사용자로 하여금 네트워크(예컨대, 모바일 통신 네트워크 및/또는 인터넷)를 통해 제 2 사용자 디바이스를 갖는 제 2 사용자와 통신할 수 있게 하는 시스템은 공지되어 있다. 더욱이, 이러한 시스템은 가상 공간 내의 다른 사용자들의 상대적 공간 위치에 있는 다른 시스템으로부터의 오디오가 각 사용자에게 제공되도록 오디오 출력을 제공할 수 있다.
제 1 측면에서, 제 1 사용자 디바이스를 갖는 제 1 사용자로 하여금 네트워크(예컨대, 모바일 통신 네트워크 및/또는 인터넷)를 통해 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자와 통신할 수 있게 하는 수단 ― 가상 공간 내의 각 사용자에 대해 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 가상 공간 내의 공간 위치를 가짐 ― 과, 각 사용자가 다른 사용자의 각각의 상대적 공간 위치에 있는 다른 사용자로부터 오디오를 제공받도록, 제 1 사용자 디바이스로부터 하나 이상의 제 2 사용자 디바이스로 공간 오디오 데이터를 제공하고 제 1 사용자 디바이스에서 하나 이상의 제 2 사용자 디바이스로부터 공간 오디오 데이터를 수신하는 수단과, 제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 제 1 사용자 디바이스를 통해 제 1 사용자 및 하나 이상의 제 2 사용자와 통신할 수 있게 하는 수단 ― 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이의 로컬 링크(예컨대, 블루투스®)를 포함함 ― 을 포함하는 장치가 제공된다.
제 1 사용자 디바이스는 네트워크를 통해 제 1 사용자 및 제 3 사용자와 연관된 개별 공간 오디오 데이터를 전송할 수 있다.
제 3 사용자 디바이스로 하여금 통신할 수 있게 하는 수단은 로컬 링크를 개시하기 위해 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이에 제 1 핸드셰이킹 프로토콜(handshaking protocol)을 포함할 수 있다. 핸드셰이킹 프로토콜은 제 1 사용자 및/또는 제 3 사용자에 의해 개시될 수 있다.
장치는 제 3 사용자가 가상 공간 내에서 상대적 공간 위치를 가질 수 있도록 제 3 사용자로 하여금 가상 공간에 진입할 수 있게 하는 수단을 더 포함할 수 있다. 제 3 사용자로 하여금 가상 공간에 진입할 수 있게 하는 수단은 가상 공간의 가상 현실, 증강 현실 또는 혼합 현실 시각화를 제 3 사용자에게 제공하는 수단을 포함할 수 있다(유사한 제공 수단이 제 1 사용자 및 제 2 사용자에게 제공될 수 있음).
장치는 제 3 사용자가 다른 사용자의 각각의 상대적 공간 위치에 있는 다른 사용자로부터 오디오를 제공받고 다른 사용자가 제 3 사용자의 상대적 공간 위치로부터 제 3 사용자로부터의 오디오를 제공받도록 공간 오디오 데이터를 제 3 사용자 디바이스에 제공하는 수단을 더 포함할 수 있다.
일부 실시예에서, 제 3 사용자의 오디오는 제 1 사용자 디바이스에 의해 캡처되어 다른 사용자에게 전송된다.
제 1 사용자 디바이스에서 공간 오디오를 수신하는 수단은 제 3 사용자의 오디오를 감쇠하는 수단을 포함할 수 있다.
장치는 상기 사용자들 중 적어도 일부의 위치 및/또는 방향(예컨대, 3 DoF 또는 6DoF 위치/방향)을 추적하는 수단(예컨대, 헤드셋을 포함함)과, 그에 따라 가상 공간 내에서 사용자의 상대적 공간 위치를 조정하는 수단을 더 포함할 수 있다.
장치는 제 3 사용자로 하여금 네트워크를 통해 제 1 사용자 및 하나 이상의 제 2 사용자와 통신할 수 있게 하는 수단을 더 포함할 수 있다. 일부 실시예에서, 제 3 사용자 디바이스로 하여금 네트워크를 통해 제 1 사용자 디바이스 및 하나 이상의 제 2 사용자 디바이스와 통신할 수 있게 하는 수단은 네트워크에 대한 링크를 개시하고/하거나 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이의 로컬 링크를 비활성화하기 위해 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이에 제 2 핸드셰이킹 프로토콜을 포함할 수 있다.
장치는 가상 공간 내의 추가 공간 위치로부터 상기 사용자들 중 일부 또는 전부에게 추가 오디오 콘텐츠(예컨대, 음악)를 제공하는 수단을 포함할 수 있다.
제 2 측면에서, 본 명세서는 제 1 사용자 디바이스를 갖는 제 1 사용자로 하여금 네트워크(예컨대, 모바일 통신 네트워크 및/또는 인터넷)를 통해 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자와 통신할 수 있게 하는 단계 ― 가상 공간 내의 각 사용자에 대해 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 가상 공간 내의 공간 위치를 가짐 ― 와, 각 사용자가 다른 사용자의 각각의 상대적 공간 위치에 있는 다른 사용자로부터 오디오를 제공받도록, 제 1 사용자 디바이스로부터 하나 이상의 제 2 사용자 디바이스로 공간 오디오 데이터를 제공하고 제 1 사용자 디바이스에서 하나 이상의 제 2 사용자 디바이스로부터 공간 오디오 데이터를 수신하는 단계와, 제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 제 1 사용자 디바이스를 통해 제 1 사용자 및 하나 이상의 제 2 사용자와 통신할 수 있게 하는 단계 ― 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이의 로컬 링크(예컨대, 블루투스®)를 포함함 ― 를 포함하는 방법을 설명한다. 로컬 링크를 개시하기 위해 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이에는 제 1 핸드셰이킹 프로토콜이 제공된다.
제 1 사용자 디바이스는 네트워크를 통해 제 1 사용자 및 제 3 사용자와 연관된 개별 공간 오디오 데이터를 전송할 수 있다.
방법은 제 3 사용자가 가상 공간 내에서 상대적 공간 위치를 가질 수 있도록 (예를 들어, 가상 공간의 가상 현실, 증강 현실 또는 혼합 현실 시각화를 제 3 사용자에게 제공함으로써) 제 3 사용자로 하여금 가상 공간에 진입할 수 있게 하는 단계를 더 포함할 수 있다.
방법은 상기 사용자들 중 적어도 일부 사용자의 위치 및/또는 방향을 추적하는 단계와, 그에 따라 가상 공간 내에서 사용자들의 상대적 공간 위치를 조정하는 단계를 포함할 수 있다.
방법은 제 3 사용자로 하여금 네트워크를 통해 제 1 사용자 및 하나 이상의 제 2 사용자와 통신할 수 있게 하는 단계를 포함할 수 있다. 예를 들어, 네트워크에 대한 링크를 개시하고/하거나 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이의 로컬 링크를 비활성화하기 위해 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이에 제 2 핸드셰이킹 프로토콜이 제공될 수 있다.
제 3 측면에서, 본 명세서는 제 2 측면을 참조하여 설명된 임의의 방법을 수행하도록 구성된 장치를 설명한다.
제 4 측면에서, 본 명세서는 컴퓨팅 장치에 의해 실행될 때 장치로 하여금 제 2 측면을 참조하여 설명된 방법을 수행하게 하는 컴퓨터 판독가능 명령어를 설명한다.
제 5 측면에서, 본 명세서는 명령어를 포함하는 컴퓨터 프로그램으로서, 명령어는 장치로 하여금 적어도, 적어도 제 1 사용자 디바이스를 갖는 제 1 사용자 및 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자로 하여금 네트워크를 통해 통신할 수 있게 하는 것 ― 가상 공간 내의 각 사용자에 대해 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 가상 공간 내의 공간 위치를 가짐 ― 과, 각 사용자가 다른 사용자의 각각의 상대적 공간 위치에 있는 다른 사용자로부터 오디오를 제공받도록, 제 1 사용자 및 하나 이상의 제 2 사용자에게 공간 오디오 데이터를 제공하는 것과, 제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 제 1 사용자 디바이스를 통해 제 1 사용자 및 하나 이상의 제 2 사용자와 통신할 수 있게 하는 것 ― 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이의 로컬 링크(예컨대, 블루투스®)를 포함함 ― 을 수행하게 하는, 컴퓨터 프로그램을 설명한다.
제 6 측면에서, 본 명세서는 저장된 프로그램 명령어를 포함하는 비일시적 컴퓨터 판독가능 매체로서, 프로그램 명령어는 적어도, 적어도 제 1 사용자 디바이스를 갖는 제 1 사용자 및 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자로 하여금 네트워크를 통해 통신할 수 있게 하는 것 ― 가상 공간 내의 각 사용자에 대해 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 가상 공간 내의 공간 위치를 가짐 ― 과, 각 사용자가 다른 사용자의 각각의 상대적 공간 위치에 있는 다른 사용자로부터 오디오를 제공받도록, 제 1 사용자 및 하나 이상의 제 2 사용자에게 공간 오디오 데이터를 제공하는 것과, 제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 제 1 사용자 디바이스를 통해 제 1 사용자 및 하나 이상의 제 2 사용자와 통신할 수 있게 하는 것 ― 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이의 로컬 링크(예컨대, 블루투스®)를 포함함 ― 을 수행하는, 비일시적 컴퓨터 판독가능 매체를 설명한다.
제 7 측면에서, 본 명세서는 적어도 하나의 프로세서와, 컴퓨터 프로그램 코드를 포함하는 적어도 하나의 메모리를 포함하는 장치로서, 컴퓨터 프로그램 코드는 적어도 하나의 프로세서에 의해 실행될 때 장치로 하여금, 적어도 제 1 사용자 디바이스를 갖는 제 1 사용자 및 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자로 하여금 네트워크를 통해 통신할 수 있게 하는 것 ― 가상 공간 내의 각 사용자에 대해 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 가상 공간 내의 공간 위치를 가짐 ― 과, 각 사용자가 다른 사용자의 각각의 상대적 공간 위치에 있는 다른 사용자로부터 오디오를 제공받도록, 제 1 사용자 및 하나 이상의 제 2 사용자에게 공간 오디오 데이터를 제공하는 것과, 제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 제 1 사용자 디바이스를 통해 제 1 사용자 및 하나 이상의 제 2 사용자와 통신할 수 있게 하는 것 ― 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 제 1 사용자 디바이스와 제 3 사용자 디바이스 사이의 로컬 링크(예컨대, 블루투스®)를 포함함 ― 을 수행하는, 장치를 설명한다.
이제, 다음의 개략적 도면을 참조하여 비제한적인 예로서 예시적 실시예가 설명될 것이다.
도 1은 예시적 실시예에 따른 시스템의 블록도이다.
도 2는 예시적 실시예에 따른 시스템의 블록도이다.
도 3은 예시적 실시예에 따른 알고리즘을 도시하는 흐름도이다.
도 4는 예시적 실시예에 따른 가상 공간의 블록도이다.
도 5는 예시적 실시예에 따른 시스템의 블록도이다.
도 6은 예시적 실시예에 따른 알고리즘을 도시하는 흐름도이다.
도 7은 예시적 실시예에 따른 시스템의 블록도이다.
도 8은 예시적 실시예에 따른 가상 공간의 블록도이다.
도 9 및 도 10은 예시적 실시예에 따른 시스템의 블록도이다.
도 11은 예시적 실시예에 따른 알고리즘을 도시하는 흐름도이다.
도 12는 예시적 실시예에 따른 시스템의 블록도이다.
도 13a 내지 도 13c는 예시적 실시예에 따른 시스템의 블록도이다.
도 14는 예시적 실시예에 따른 시스템의 블록도이다.
도 15는 예시적 실시예에 따른 시스템의 블록도이다.
도 16은 예시적 실시예에 따른 프로세싱 시스템의 구성요소들의 블록도이다.
도 17a 및 도 17b는 컴퓨터에 의해 실행될 때 실시예에 따른 동작을 수행하는 컴퓨터 판독가능 코드를 저장하는, 각각 착탈식 메모리 유닛과 콤팩트 디스크(CD)인 유형의 매체를 도시한다.
도 1은 예시적 실시예에 따른, 일반적으로 참조 번호 10으로 표시되는 시스템의 블록도이다. 시스템(10)은 제 1 사용자(12)를 포함한다. 제 1 사용자(12)는 네트워크(18)를 통해 제 1 사용자에게 공간 오디오 데이터(16)를 제공하기 위해 사용되는 헤드폰을 (예컨대, 헤드셋의 일부로서) 착용하고 있다. 공간 오디오 데이터(16)는 제 2 사용자(예컨대, 후술되는 사용자(22))로부터의 오디오 데이터(14)를 포함한다. 제 1 사용자(12)는 네트워크(18)를 사용하여 통신하기 위해 모바일 폰(또는 유사한 모바일 통신 디바이스)을 사용할 수 있고, 오디오를 캡처하기 위해 헤드셋에 통합된 마이크로폰을 사용할 수 있다. 이하에서 상세히 설명되는 바와 같이, 공간 오디오 데이터는 제 2 사용자(14)로부터의 오디오 데이터가 가상 공간 내의 공간 위치에서 제 1 사용자(12)에게 제공되게 하는 것이다.
도 2는 예시적 실시예에 따른, 일반적으로 참조 번호 20으로 표시되는 시스템의 블록도이다. 시스템(20)은 제 2 사용자(22)를 포함한다. 제 2 사용자(22)는 네트워크(28)를 통해 제 2 사용자에게 공간 오디오 데이터(26)(제 1 사용자(12)로부터의 공간 오디오 데이터(24)를 포함함)를 제공하기 위해 사용되는 헤드폰을 착용하고 있다. 제 2 사용자(22)는 네트워크(28)를 사용하여 통신하기 위해 모바일 폰(또는 유사한 모바일 통신 디바이스)을 사용할 수 있고, 오디오를 캡처하기 위해 헤드셋에 통합된 마이크로폰을 사용할 수 있다. 공간 오디오 데이터는 제 1 사용자로부터의 오디오 데이터(24)가 가상 공간 내의 공간 위치에서 제 2 사용자(22)에게 제공되게 하는 것이다.
도 1 및 도 2(및 아래에서 설명되는 다른 구성)는 헤드폰을 착용하는 사용자를 포함하지만 이는 모든 실시예에 필수적인 것은 아님에 유의해야 한다. 예를 들어, 공간 오디오를 렌더링하는 하나 이상의 확성기가 제공될 수 있다.
도 3은 예시적 실시예에 따른, 일반적으로 참조 번호 30으로 표시되는 알고리즘을 도시하는 흐름도이다. 알고리즘(30)은 전술한 시스템(10 및 20)의 예시적인 사용을 도시한다.
알고리즘(30)은 제 1 사용자(12)와 제 2 사용자(22) 사이의 통신이 활성화되는 동작 32에서 시작한다. 통신은 몰입형 음성 및 오디오 서비스(immersive voice and audio services: IVAS) 코덱을 사용하여 수행될 수 있다. 따라서, 도 1 및 도 2에 각각 도시된 네트워크(18 및 28)는 IVAS 통신 네트워크일 수 있다. 물론, IVAS는 예시로만 제공되며, 대안적 실시예에서는 다른 통신 시스템이 사용될 수 있다.
알고리즘(30)은 공간 오디오 데이터(16, 26)가 제 1 사용자(12) 및 제 2 사용자(22)에게 각각 제공되는 동작 34로 이동한다.
도 4는 예시적 실시예에 따른 가상 공간(35)의 블록도이다. 제 1 사용자(12)는 가상 공간(35)의 중심에 있고, 가상 공간 내의 다양한 데이터 소스로부터 오디오 데이터를 수신한다. 예를 들어, 제 2 사용자(22)로부터의 오디오(36)는 제 1 사용자(12)에게 제공될 수 있고, 가상 공간(35) 내의 제 2 사용자의 공간 위치에 포지셔닝될 수 있다. 또한, 다른 오디오 콘텐츠(38)(예컨대, 음악)가 가상 공간(35) 내의 다른 공간 위치에서 제공된다.
제 1 사용자(12)에게 제공되는 오디오는 3DoF(three-degrees-of-freedom) 오디오일 수 있다. 이 맥락에서, 3DoF는 사용자 머리의 방향을 추적하고 그에 따라 오디오를 처리하는 것을 의미한다. 이는 사용자가 머리를 움직일 때 오디오 객체가 세계 좌표계(world-coordinate system)의 제자리에 유지될 수 있는 바이노럴 재생(binaural reproduction)을 가능하게 하여 몰입형 경험을 향상시킨다. 이는 오디오 객체가 머리 움직임에 따라 비현실적으로 움직이는 전통적인 비-추적형 헤드폰 청취와 대조적이다. 6DoF는 또한 사용자 위치의 추적을 추가한다. 6DoF는 가상 공간에서 가상 청각 객체의 포지셔닝을 가능하게 하는데, 여기서는 사용자가 움직이더라도 정확한 가상 위치가 제공될 수 있다. 이는 예를 들어 사용자가 가상 공간 내에 위치한 객체 주위를 이동할 수 있게 한다.
예를 들어, 제 2 사용자(22)의 오디오(예컨대, 음성)는 특정 방향을 가진 객체로서 IVAS 인코더에 공급될 수 있고, 제 1 사용자(12)의 IVAS 디코더는 제 2 사용자(22)의 오디오를 그 방향으로 바이노럴화한다. 유사하게, 제 1 사용자(12)의 오디오는 특정 방향을 가진 객체로서 IVAS 인코더에 공급될 수 있고, 제 2 사용자(22)의 IVAS 디코더는 제 1 사용자(12)의 오디오를 그 방향으로 바이노럴화한다. 이러한 방식으로, 오디오 객체가 실세계 좌표계의 제자리에서 제공되는 바이노럴 재생이 가능하다. 제공된 오디오의 포지셔닝은 예를 들어 오디오 콘텐츠를 캡처 및/또는 출력하는 모바일 디바이스 및/또는 헤드폰의 성능에 따라 비-추적형, 3DoF 또는 6DoF일 수 있다.
예를 들어, 사용자(예를 들어, 위에서 설명된 사용자(12 및 22) 또는 아래에서 설명되는 임의의 사용자)는 사용자 머리의 방향을 추적하고 그에 따라 오디오를 처리하기 위해 헤드셋(또는 다른 디바이스)을 제공받을 수 있다.
도 5는 예시적 실시예에 따른, 일반적으로 참조 번호 40으로 표시되는 시스템의 블록도이다.
시스템(40)은 제 1 사용자(42) 및 제 2 사용자(44)(위에서 설명된 제 1 사용자(12) 및 제 2 사용자(22)와 유사함)를 포함한다. 시스템(30)은 또한 제 3 사용자(46)를 포함한다.
제 1 사용자(42)는 제 1 네트워크(50)를 통해 공간 오디오 데이터(48)를 제공받는다. 공간 오디오 데이터(48)는 제 2 사용자(44)로부터의 오디오 데이터(49)를 포함한다. 유사하게, 제 2 사용자(44)는 제 2 네트워크(54)를 통해 공간 오디오 데이터(52)를 제공받는다. 공간 오디오 데이터(52)는 제 1 사용자(42)로부터의 오디오 데이터(53)를 포함한다. 물론, 제 1 네트워크(52) 및 제 2 네트워크(54)는 전술한 바와 같이 IVAS 네트워크와 같은 단일 네트워크일 수 있다.
공간 오디오 데이터(48, 52)는 제 2 사용자(44)로부터의 오디오 데이터가 가상 공간 내의 공간 위치에서 제 1 사용자(42)에게 제공되고, 제 1 사용자(42)로부터의 오디오 데이터가 가상 공간 내의 공간 위치에서 제 2 사용자(44)에게 제공되게 하는 것이다.
제 3 사용자(46)는 제 1 사용자(42) 근처에 있고 제 1 사용자(42)와 제 2 사용자(44) 사이의 진행중인 호출에 참여하기를 원한다고 가정하자.
도 6은 예시적 실시예에 따른 알고리즘을 도시하는, 일반적으로 참조 번호 60으로 표시되는 흐름도이다.
도 6에 도시된 바와 같이, 알고리즘(60)은 제 3 사용자(46)가 (제 1 사용자(42)에 의해) 호출에 참여하도록 초대되는 동작 62에서 시작한다. 그 후, 제 3 사용자(46)는 그 초대를 수락한다(동작 64).
동작 66에서, 제 1 사용자(42)와 제 3 사용자(46) 사이에 로컬 링크가 생성된다. 아래에서 설명되는 바와 같이, 로컬 링크는 블루투스® 링크일 수 있지만, 이것이 모든 실시예에 필수적인 것은 아니다. 다음으로, 동작 68에서, 제 3 사용자(46)에게 그리고 그로부터 공간 오디오가 제공된다. 동작 68의 추가 세부사항은 아래에 제공된다.
동작 62 및 64는 다양한 방식으로 구현될 수 있다. 가능한 구성이 아래에 설명되지만, 당업자에게는 상이한 방법이 명백할 것이다.
알고리즘(60)은 제 1 사용자(42)가 제 3 사용자(46)에게 요청을 전송하는 것에 의해 개시된다는 점에 유의해야 한다. 이것은 모든 실시예에 필수적인 것은 아니다. 예를 들어, 제 3 사용자(46)는 제 1 사용자에 의해 초대되는 것을 기다리지 않고 통신에 대한 액세스를 요청할 수 있다.
동작 62는 제 1 사용자(42)가 (예컨대, 제 2 사용자와의 호출를 구현하는 데 사용되고 있는 모바일 디바이스를 사용하여) 모바일 디바이스 카메라를 제 3 사용자(46) 쪽으로 향하게 하는 것에 의해 구현될 수 있다. 증강 현실(AR) 시각화를 사용하여, 제 1 사용자(42)의 모바일 디바이스는 제 3 사용자(46)의 모바일 디바이스가 블루투스®를 통해 로컬 IVAS 호출과 호환 가능하다고 결정할 수 있다. 이는 제 3 사용자의 모바일 디바이스 위에 적절한 아이콘을 표시함으로써 실현될 수 있다. 제 1 사용자(42)의 모바일 디바이스는 (예컨대, 블루투스®를 통해) 제 3 사용자의 디바이스로부터 이용가능한 정보를 수신한다. 제 1 사용자(42)는 아이콘을 클릭하고, 제 1 사용자의 모바일 디바이스는 제 3 사용자의 모바일 디바이스에 요청을 전송한다(이로써 알고리즘(60)의 동작 62를 완료한다). 일부 실시예에서, 이들 특징 중 적어도 일부는 반전될 수 있다. 예를 들어, 동작은 제 3 사용자(46)가 (예컨대, 제 2 사용자와의 호출을 구현하는 데 사용되고 있는 모바일 디바이스를 사용하여) 모바일 디바이스 카메라를 제 1 사용자(42) 쪽으로 향하게 하는 것에 의해 구현될 수 있다. 제 3 사용자(46)의 모바일 디바이스는 (예를 들어, 제 1 사용자의 모바일 디바이스 위에 적절한 아이콘을 표시함으로써) 제 1 사용자(42)의 모바일 디바이스가 블루투스®를 통해 로컬 IVAS 호출과 호환 가능하다고 결정할 수 있다. 제 3 사용자(46)의 모바일 디바이스는 (예컨대, 블루투스®를 통해) 제 1 사용자의 디바이스로부터 이용가능한 정보를 수신할 수 있다. 제 3 사용자(46)는 아이콘을 클릭할 수 있고 제 3 사용자의 모바일 디바이스는 제 1 사용자의 모바일 디바이스에 요청을 전송할 수 있다.
제 1 사용자로부터의 요청을 수신하는 것에 응답하여, 제 3 사용자(46)는 제 1 사용자(42)의 호출 콘텐츠의 시각화(예컨대, 증강 현실 시각화)를 제공받을 수 있다.
도 7은 예시적 실시예에 따른, 일반적으로 참조 번호 70으로 표시되는 시스템의 블록도이다. 시스템(70)은 제 1 사용자(42)의 호출 콘텐츠를 형성하는 가상 공간(72a)을 포함한다. 가상 공간(72a)은 제 1 사용자(42), 제 2 사용자(44)로부터의 오디오(74) 및 기타 오디오 콘텐츠(예컨대, 음악)(76)를 포함한다.
시스템(70)은 또한 가상 공간(72a)의 시각화(예컨대, 증강 현실 시각화)를 제 3 사용자(46)에게 제공하는 스크린(78)을 포함한다. 제 3 사용자(46)는 가상 공간 외부에서 상이한 방향들로부터의 시각화를 검사할 수 있다. 제 3 사용자(46)는 미리보기 모드에서 오디오 장면을 들을 수 있다. 그 후, 제 3 사용자(46)는 가상 공간에 진입할지 여부(및 어디로 진입할지)를 결정할 수 있다. 알고리즘(60)의 동작 64는 가상 공간에 진입함으로써 완료될 수 있다.
도 8은 예시적 실시예에 따른, 일반적으로 참조 번호 72b로 표시되는 시스템의 블록도이다. 시스템(72b)은 제 1 사용자(42), 제 2 사용자(44)로부터의 오디오(74) 및 기타 오디오 콘텐츠(예컨대, 음악)(76)를 포함한다. 시스템(72b)은 또한 제 3 사용자(46)로부터의 오디오(75)를 포함한다. 오디오(75)는 (제 1 사용자(42)에게) 제 3 사용자(46)가 가상 공간(72a)에 진입한 공간 방향으로부터 나오는 것으로 들린다.
도 9는 예시적 실시예에 따른, 일반적으로 참조 번호 80으로 표시되는 시스템의 블록도이다.
시스템(80)은 전술한 제 1 사용자(42) 및 제 3 사용자(46)를 포함한다. 제 1 사용자(42)는 제 2 사용자(44)에 대한 공간 오디오 데이터(84)를 포함하는 공간 오디오 데이터(82)를 제공받는다. 공간 오디오 데이터(82)는 제 1 통신 시스템(86)(예컨대, IVAS 통신)을 사용하여 제 1 사용자(42)에게 제공된다. 공간 오디오 데이터(82)는 (블루투스® 링크와 같은) 로컬 링크(88)를 통해 제 1 사용자(42)로부터 제 3 사용자(46)로 제공된다.
공간 오디오 데이터(82)는 제 2 사용자(44)로부터의 오디오 데이터(84)가 가상 공간 내의 공간 위치에서 제 1 사용자(42)에게 제공되게 하는 것이다. 또한, 로컬 링크(88)에 의해, 공간 오디오 데이터(82)는 제 3 사용자(46)에게도 제공된다.
전술한 바와 같이, 초대를 수락하면(알고리즘(60)의 동작 64), 블루투스® 링크(88)가 제 1 사용자(42)와 제 3 사용자(46) 사이에 수립된다. 제 1 사용자 및 제 2 사용자와 마찬가지로, 제 3 사용자(46)는 (예컨대, 헤드폰을 사용하여) 오디오를 재생하고, (예컨대, 휴대폰 마이크로폰과 같은 마이크로폰을 사용하여) 오디오를 캡처한다. 제 3 사용자(46)의 오디오(예컨대, 음성)는 블루투스® 링크(88)를 통해 제 1 사용자에게 전송된다. 제 1 사용자(42)는 제 3 사용자의 오디오를 제 3 사용자 방향의 다른 객체로서 IVAS 인코더에 공급한다. 2개의 데이터 객체(하나는 제 1 사용자(42)로부터의 오디오에 대한 것이고 다른 하나는 제 3 사용자(46)로부터의 오디오에 대한 것임)를 갖는 단일 IVAS 스트림이 사용될 수 있다는 점에 유의해야 한다. 상기 데이터 객체들은, 방향 정보를 포함하고 경우에 따라서는 어쩌면 거리 정보도 포함하는 오디오 데이터일 수 있다.
제 1 사용자(42) 및 제 3 사용자(46)의 오디오 객체를 제 2 사용자(44)에게 공급하기 전에, (예를 들어, 제 1 사용자의 모바일 디바이스를 사용하여) 오디오 처리가 구현될 수 있다. 오디오 처리는 제 3 사용자(46)로부터 들어오는 오디오의 양을 완화하기 위해 제공될 수 있으며, 그 반대의 경우도 마찬가지이다. 예를 들어, 제 1 사용자의 사용자 디바이스는 (오디오가 로컬 링크를 통해 제 3 사용자로부터 수신되고 있기 때문에) 제 3 사용자로부터의 오디오를 감쇠할 수 있다. 이는 제 2 사용자로 하여금 원하는 신호를 포함하는 오디오 객체를 수신할 수 있게 한다. 그 결과, 제 1 사용자(42) 및 제 3 사용자(46)는 그들 각자의 방향으로 명확하게 포지셔닝된다. 또한, 누화로 인한 가능한 에코가 완화된다.
도 10은 예시적 실시예에 따른, 일반적으로 참조 번호 90으로 표시되는 시스템의 블록도이다.
시스템(90)은 제 2 사용자(44)를 포함한다. 제 2 사용자(44)는 제 1 사용자(42)에 대한 공간 오디오 데이터(94) 및 제 3 사용자(46)에 대한 공간 오디오 데이터(96)를 포함하는 공간 오디오 데이터(92)를 제공받는다. 공간 오디오 데이터(92)는 (IVAS 통신과 같은) 통신 시스템(98)을 사용하여 제 2 사용자(44)에게 제공된다. 제 3 사용자(46)에 대한 공간 오디오 데이터(96)는 제 1 사용자(42)에 의해 제 2 사용자(44)에게 제공된다는 점에 유의한다(제 1 사용자(42)는 제 3 사용자(46)로부터 그 데이터를 수신함). 전술한 바와 같이, 2개의 데이터 객체(하나는 제 1 사용자(42)의 오디오에 대한 것이고 다른 하나는 제 3 사용자(46)의 오디오에 대한 것임)를 갖는 단일 IVAS 스트림이 사용될 수 있다. 제 2 사용자(44)의 IVAS 디코더는 제 1 사용자(42)의 오디오를 제 1 사용자의 방향으로 바이노럴화하고 제 3 사용자(46)의 오디오를 제 3 사용자의 방향으로 바이노럴화한다.
제 3 사용자(46)가 (제 1 사용자와의 로컬 링크에 의존하기보다는) 제 1 사용자 및 제 2 사용자에 대한 독립적 접속을 요구하는 것도 가능하다. 이는 예를 들어 제 1 사용자와 제 2 사용자 중 하나 또는 둘 다가 이동하여 로컬 링크가 유지될 수 없는 경우에 필요할 수 있다.
도 11은 예시적 실시예에 따른, 일반적으로 참조 번호 110으로 표시되는 알고리즘을 도시하는 흐름도이다.
알고리즘(110)은 네트워크에 대한 액세스가 요청되는 동작 112에서 시작한다. 예를 들어, 제 3 사용자(46)는 IVAS 호출에 직접 참여하기를 원한다고 표시할 수 있다. 이는 예를 들어 IVAS 호출 애플리케이션에서 버튼을 클릭함으로써 수행될 수 있다. 이는 제 1 사용자 및 제 2 사용자(42, 44)의 모바일 디바이스로 요청을 전송되게 할 수 있다. 이들 사용자 중 어느 하나가 요청을 수락할 수 있다(또는 둘 다 요청을 수락하는 것이 필요할 수 있다).
일단 제 3 사용자(46)가 네트워크에 참여하도록 수락되면, 알고리즘(110)은 제 1 사용자 및 제 2 사용자가 통신하고 있는 네트워크(예컨대, IVAS 네트워크)의 세부사항이 제 3 사용자에게 제공되는 동작 114로 이동한다. 이 정보는 예를 들어 기본 식별 정보 및 임의의 관련 암호를 포함할 수 있다.
마지막으로, 동작 116에서, 별도의 호출(예컨대, 별도의 IVAS 호출)을 시작하기 위해 제 3 사용자와 네트워크 사이에 링크가 생성된다. 제 1 사용자의 모바일 디바이스는 이전과 같이 호출을 계속하지만 (제 3 사용자 디바이스로부터의) 제 2 오디오 객체를 IVAS 인코더로 공급하는 것을 중지한다. 제 2 사용자(44)의 모바일 디바이스는 이전과 동일하지만 이제는 제 1 사용자의 오디오 객체만을 포함하는 IVAS 스트림을 제 1 사용자로부터 수신하고, 이전과 같이 오디오 스트림을 바이노럴화한다. 또한, 제 3 사용자(46)의 모바일 디바이스는 제 3 사용자의 오디오를 전송한다. 따라서, 제 2 사용자는 별도의 IVAS 스트림에서 제 3 사용자에 대한 오디오를 수신하고, 그 오디오 스트림을 제 2 사용자에게 출력하기 위해 바이노럴화한다.
도 12는 예시적 실시예에 따른, 일반적으로 참조 번호 120으로 표시되는 시스템의 블록도이다. 시스템(120)은 전술한 알고리즘(110)의 동작 114를 구현한다.
시스템(120)은 전술한 바와 같이 제 1 사용자(42) 및 제 3 사용자(46)를 포함한다. 제 1 사용자와 제 3 사용자는 둘 다 제 2 사용자(44)에 대한 공간 오디오 데이터(128)를 포함하는 공간 오디오 데이터(126)를 수신한다. 공간 오디오 데이터는 (IVAS 통신과 같은) 제 1 통신 시스템(130)을 사용하여 제 1 사용자(42)에게 제공된다. 공간 오디오 데이터는 (블루투스® 링크와 같은) 로컬 링크(132)를 통해 제 1 사용자(42)로부터 제 3 사용자(46)에게로 제공된다.
전술한 바와 같이, 네트워크 세부사항은 알고리즘(110)의 동작 114에서 제 3 사용자(46)에게 제공된다. 이는 도 12에서 제 1 사용자(42)로부터 제 3 사용자(46)에게로 전송된 IVAS 호출 정보(134)에 의해 표시된다.
도 13a 내지 도 13c는 예시적 실시예에 따라 일반적으로 참조 번호 140, 150 및 160으로 각각 표시되는 시스템의 블록도이다.
시스템(140)(도 13a에 도시됨)은 제 1 사용자(42)를 포함한다. 제 1 사용자(42)는 제 2 사용자(44)에 대한 공간 오디오 데이터(146) 및 제 3 사용자(46)에 대한 공간 오디오 데이터(148)를 포함하는 공간 오디오 데이터(144)를 제공받는다.
시스템(150)(도 13b에 도시됨)은 제 2 사용자(44)를 포함한다. 제 2 사용자(44)는 제 1 사용자(42)에 대한 공간 오디오 데이터(156) 및 제 3 사용자(46)에 대한 공간 오디오 데이터(158)를 포함하는 공간 오디오 데이터(154)를 제공받는다.
시스템(160)(도 13c에 도시됨)은 제 3 사용자(46)를 포함한다. 제 3 사용자(46)는 제 1 사용자(42)에 대한 공간 오디오 데이터(166) 및 제 2 사용자(44)에 대한 공간 오디오 데이터(168)를 포함하는 공간 오디오 데이터(164)를 제공 받는다.
도 14는 예시적 실시예에 따른, 일반적으로 참조 번호 170으로 표시되는 시스템의 블록도이다. 시스템(170)은 제 1 사용자(42)가 제 2 사용자(44)와 통신하고 제 3 사용자(46)가 통신 세션에 참여하는 도 1 내지 도 6을 참조하여 위에서 설명된 시나리오를 도시한다. 도 14에 도시된 바와 같이, 제 1 사용자(42)는 제 1 통신 디바이스(172)를 사용하여 제 2 사용자(44)의 제 2 통신 디바이스(173)와 통신한다. 제 1 통신 디바이스와 제 2 통신 디바이스 간의 통신은 네트워크(176)(예를 들어, 모바일 통신 네트워크 및/또는 인터넷일 수 있음)를 통해 수행된다. 제 3 사용자(46)는 로컬 링크를 사용하여 제 1 통신 디바이스(172)와 통신하기 위해 제 3 통신 디바이스(174)를 사용한다.
도 15는 예시적 실시예에 따른, 일반적으로 참조 번호 180으로 표시되는 시스템의 블록도이다. 시스템(180)은 제 1 사용자(42)가 제 2 사용자(44)와 통신하고 제 3 사용자(46)가 통신 세션에 참여하는 도 1 내지 도 6을 참조하여 위에서 설명된 시나리오를 도시한다. 도 15에 도시된 바와 같이, 제 1 사용자(42)는 제 1 통신 디바이스(182)를 사용하여 제 2 사용자(44)의 제 2 통신 디바이스(183)와 통신한다. 제 1 통신 디바이스와 제 2 통신 디바이스 간의 통신은 네트워크(186)(예를 들어, 모바일 통신 네트워크 및/또는 인터넷일 수 있음)를 통해 수행된다. 제 3 사용자(46)는 네트워크(186)를 사용하여 제 1 통신 디바이스(182) 및 제 2 통신 디바이스(183)와 통신하기 위해 제 3 통신 디바이스(184)를 사용한다.
완전성을 위해, 도 16은 이전에 설명된 예시적 실시예 중 하나 이상의 실시예의 구성요소의 개략도인데, 이는 이후 일반적으로 처리 시스템(300)으로 지칭된다. 처리 시스템(300)은 프로세서(302) 및 메모리(304)(메모리(304)는 프로세서에 밀접하게 연결되고, RAM(314) 및 ROM(312)으로 구성됨)를 가질 수 있으며, 선택적으로는 사용자 입력(310) 및 디스플레이(318)를 가질 수 있다. 처리 시스템(300)은 네트워크에 접속하기 위한 하나 이상의 네트워크 인터페이스(308), 예컨대, 유선 또는 무선일 수 있는 모뎀을 포함할 수 있다.
프로세서(302)는 다른 구성요소들 각각에 접속되어 그 동작을 제어한다.
메모리(304)는 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)와 같은 비휘발성 메모리를 포함할 수 있다. 메모리(314)의 ROM(312)은 무엇보다도 운영 체제(315)를 저장하고 소프트웨어 애플리케이션(316)을 저장할 수 있다. 메모리(304)의 RAM(314)은 데이터의 임시 저장을 위해 프로세서(302)에 의해 사용된다. 운영 체제(315)는 프로세서에 의해 실행될 때 전술한 알고리즘(30, 60 또는 110)의 측면들을 구현하는 코드를 포함할 수 있다.
프로세서(302)는 임의의 적절한 형태를 취할 수 있다. 예를 들어, 이것은 하나의 마이크로제어기, 복수의 마이크로제어기, 하나의 프로세서 또는 복수의 프로세서일 수 있다.
처리 시스템(300)은 독립형 컴퓨터, 서버, 콘솔, 또는 그 네트워크일 수 있다.
일부 예시적 실시예에서, 처리 시스템(300)은 또한 외부 소프트웨어 애플리케이션들과 연관될 수 있다. 이들은 원격 서버 디바이스에 저장된 응용 프로그램일 수 있으며, 원격 서버 디바이스 상에서 부분적으로 또는 독점적으로 실행될 수 있다. 이들 애플리케이션은 클라우드-호스팅 애플리케이션이라고 할 수 있다. 처리 시스템(300)은 원격 서버 디바이스와 통신하여 거기에 저장된 소프트웨어 애플리케이션을 활용할 수 있다.
도 17a 및 도 17b는 컴퓨터에 의해 실행될 때 전술한 예시적 실시예에 따른 방법을 수행할 수 있는 컴퓨터 판독가능 코드를 저장하는, 각각 각각 착탈식 메모리 유닛(365)과 콤팩트 디스크(CD)(368)인 유형의(tangible) 매체를 도시한다. 착탈식 메모리 유닛(365)은 컴퓨터 판독가능 코드를 저장하는 내부 메모리(366)를 갖는 메모리 스틱, 예컨대 USB 메모리 스틱일 수 있다. 메모리(366)는 커넥터(367)를 통해 컴퓨터 시스템에 의해 액세스될 수 있다. CD(368)는 CD-ROM 또는 DVD 또는 이와 유사한 것일 수 있다. 다른 형태의 유형의 저장 매체가 사용될 수 있다.
본 발명의 실시예는 소프트웨어, 하드웨어, 애플리케이션 로직, 또는 소프트웨어, 하드웨어 및 애플리케이션 로직의 조합으로 구현될 수 있다. 소프트웨어, 애플리케이션 로직 및/또는 하드웨어는 메모리 또는 임의의 컴퓨터 매체에 상주할 수 있다. 예시적 실시예에서, 애플리케이션 로직, 소프트웨어 또는 명령어 세트는 다양한 종래의 컴퓨터 판독가능 매체 중 임의의 한 매체 상에 유지된다. 이 문서의 맥락에서, "메모리" 또는 "컴퓨터 판독가능 매체"는, 컴퓨터와 같은 명령어 실행 시스템, 장치 또는 디바이스에 의해 또는 이와 관련하여 사용하기 위한 명령어를 포함, 저장, 통신, 전파 또는 전송할 수 있는 임의의 비일시적 매체 또는 수단일 수 있다.
관련된 곳에서 "컴퓨터 판독가능 저장 매체", "컴퓨터 프로그램 제품", "유형적으로 구현된 컴퓨터 프로그램" 등, 또는 "프로세서"또는 "처리 회로" 등에 대한 언급은, 단일/다중 프로세서 아키텍처 및 시퀀서/병렬 아키텍처와 같은 다양한 아키텍처를 갖는 컴퓨터뿐만 아니라, FPGA(field programmable gate arrays), ASIC(application specify circuits), 신호 처리 디바이스 및 다른 디바이스와 같은 특수 회로를 망라하는 것으로 이해되어야 한다. 컴퓨터 프로그램, 명령어, 코드 등에 대한 언급은, 하드웨어 디바이스의 프로그래밍 가능 콘텐츠와 같은 프로그래밍 가능 프로세서 펌웨어를 위한 소프트웨어를, 프로세서에 대한 명령어나 고정 기능 디바이스, 게이트 어레이, 프로그래밍 가능 로직 디바이스 등에 대한 구성된 설정 또는 구성 설정으로서 표현하는 것으로 이해되어야 한다.
본 출원에서 사용될 때, "회로"라는 용어는 다음의 것 모두를 지칭한다: (a) 하드웨어 전용 회로 구현(예컨대, 전용 아날로그 및/또는 디지털 회로 구현) 및 (b) (적용가능할 때) (i) 프로세서(들)의 조합 또는 (ii) 함께 작동하여 서버와 같은 장치로 하여금 다양한 기능을 수행하게 하는 프로세서(들)/소프트웨어(디지털 신호 프로세서(들)를 포함함), 소프트웨어, 및 메모리(들)의 일부와 같은 회로와 소프트웨어의 조합(및/또는 펌웨어), (c) 소프트웨어 또는 펌웨어가 물리적으로 존재하지 않더라도 동작을 위해 소프트웨어 또는 펌웨어를 필요로 하는 마이크로프로세서(들) 또는 마이크로프로세서(들)의 일부와 같은 회로.
원한다면, 본 명세서에 논의된 상이한 기능들은 서로 상이한 순서로 및/또는 동시에 수행될 수 있다. 또한, 원한다면, 전술한 기능들 중 하나 이상은 선택 사항이거나 결합될 수 있다. 유사하게, 도 3, 도 6 및 도 11의 흐름도는 단지 예일 뿐이고 거기에 도시된 다양한 동작은 생략, 재정렬 및/또는 결합될 수 있다는 것이 또한 인식될 것이다.
전술한 예시적 실시예는 순전히 예시적인 것이며 본 발명의 범위를 제한하지 않는다는 것이 이해될 것이다. 본 명세서를 읽을 때 당업자에게는 다른 변형 및 수정이 명백할 것이다.
더욱이, 본 출원의 개시는 본 명세서에 명시적으로 또는 묵시적으로 개시된 임의의 신규한 특징 또는 임의의 신규한 특징의 조합 또는 이들의 임의의 일반화를 포함하는 것으로 이해되어야 하며, 본 출원 또는 그로부터 파생된 임의의 출원의 추진 중에, 이러한 특징 및/또는 이러한 특징의 조합을 포함하도록 새로운 청구범위가 형성될 수 있다.
본 발명의 다양한 측면이 독립 청구항에 제시되어 있지만, 본 발명의 다른 측면은 설명된 예시적 실시예 및/또는 독립 청구항의 특징을 갖는 종속 청구항으로부터의 특징들의 다른 조합을 포함하며, 청구항에 명시적으로 제시된 조합만을 포함하는 것은 아니다.
본 명세서에서는 지금까지 다양한 예를 설명했지만, 이러한 설명은 제한적인 의미로 간주되어서는 안된다는 점에 유의한다. 오히려, 첨부된 청구범위에 정의되는 본 발명의 범위를 벗어나지 않고 이루어질 수 있는 여러 변형 및 수정이 존재한다.

Claims (15)

  1. 장치로서,
    제 1 사용자 디바이스를 갖는 제 1 사용자로 하여금 네트워크를 통해 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자와 통신할 수 있게 하는 수단 ― 가상 공간 내의 각 사용자에 대해 상기 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 상기 가상 공간 내의 공간 위치를 가짐 ― 과,
    각 사용자가 상기 다른 사용자의 각각의 상대적 공간 위치에 있는 상기 다른 사용자로부터 오디오를 제공받도록, 상기 제 1 사용자 디바이스로부터 상기 하나 이상의 제 2 사용자 디바이스로 공간 오디오 데이터를 제공하고 상기 하나 이상의 제 2 사용자 디바이스로부터 상기 제 1 사용자 디바이스에서 공간 오디오 데이터를 수신하는 수단과,
    제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 상기 제 1 사용자 디바이스를 통해 상기 제 1 사용자 및 상기 하나 이상의 제 2 사용자와 통신할 수 있게 하는 수단 ― 상기 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 상기 제 1 사용자 디바이스와 상기 제 3 사용자 디바이스 사이의 로컬 링크를 포함함 ― 을 포함하는
    장치.
  2. 제 1 항에 있어서,
    상기 제 1 사용자 디바이스는 상기 네트워크를 통해 상기 제 1 사용자 및 상기 제 3 사용자와 연관된 개별 공간 오디오 데이터를 전송하는,
    장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 제 3 사용자 디바이스로 하여금 통신할 수 있게 하는 수단은 상기 로컬 링크를 개시하기 위해 상기 제 1 사용자 디바이스와 상기 제 3 사용자 디바이스 사이에 제 1 핸드셰이킹 프로토콜(handshaking protocol)을 포함하는,
    장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 제 3 사용자가 상기 가상 공간 내에서 상대적 공간 위치를 가질 수 있도록 상기 제 3 사용자로 하여금 상기 가상 공간에 진입할 수 있게 하는 수단을 더 포함하는
    장치.
  5. 제 4 항에 있어서,
    상기 제 3 사용자로 하여금 상기 가상 공간에 진입할 수 있게 하는 수단은 상기 가상 공간의 가상 현실, 증강 현실 또는 혼합 현실 시각화를 상기 제 3 사용자에게 제공하는 수단을 포함하는,
    장치.
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 제 3 사용자가 상기 다른 사용자의 각각의 상대적 공간 위치에 있는 상기 다른 사용자로부터 오디오를 제공받고 상기 다른 사용자가 상기 제 3 사용자의 상대적 공간 위치로부터 상기 제 3 사용자로부터의 오디오를 제공받도록 공간 오디오 데이터를 상기 제 3 사용자 디바이스에 제공하는 수단을 더 포함하는,
    장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 제 3 사용자의 오디오는 상기 제 1 사용자 디바이스에 의해 캡처되어 상기 다른 사용자에게 전송되는,
    장치.
  8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 제 1 사용자 디바이스에서 공간 오디오를 수신하는 수단은 상기 제 3 사용자의 오디오를 감쇠하는 수단을 포함하는,
    장치.
  9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 사용자들 중 적어도 일부 사용자의 위치와 방향 중 적어도 하나를 추적하는 수단과,
    그에 따라 상기 가상 공간 내에서 상기 사용자들의 상대적 공간 위치를 조정하는 수단을 더 포함하는
    장치.
  10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,
    상기 제 3 사용자로 하여금 상기 네트워크를 통해 상기 제 1 사용자 및 상기 하나 이상의 제 2 사용자와 통신할 수 있게 하는 수단을 더 포함하는
    장치.
  11. 제 10 항에 있어서,
    상기 제 3 사용자 디바이스로 하여금 상기 네트워크를 통해 상기 제 1 사용자 디바이스 및 상기 하나 이상의 제 2 사용자 디바이스와 통신할 수 있게 하는 수단은, 상기 네트워크에 대한 링크를 개시하는 것과 상기 제 1 사용자 디바이스와 상기 제 3 사용자 디바이스 사이의 상기 로컬 링크를 비활성화하는 것 중 적어도 하나를 위해 상기 제 1 사용자 디바이스와 상기 제 3 사용자 디바이스 사이에 제 2 핸드셰이킹 프로토콜을 포함하는,
    장치.
  12. 제 1 항 내지 제 11 항 중 어느 한 항에 있어서,
    상기 가상 공간 내의 추가 공간 위치로부터 상기 사용자들 중 일부 또는 전부에게 추가 오디오 콘텐츠를 제공하는 수단을 더 포함하는
    장치.
  13. 제 1 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 네트워크는 모바일 통신 네트워크와 인터넷 중 적어도 하나인,
    장치.
  14. 명령어를 포함하는 컴퓨터 프로그램으로서,
    상기 명령어는 장치로 하여금 적어도,
    적어도 제 1 사용자 디바이스를 갖는 제 1 사용자 및 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자로 하여금 네트워크를 통해 통신할 수 있게 하는 것 ― 가상 공간 내의 각 사용자에 대해 상기 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 상기 가상 공간 내의 공간 위치를 가짐 ― 과,
    각 사용자가 상기 다른 사용자의 각각의 상대적 공간 위치에 있는 상기 다른 사용자로부터 오디오를 제공받도록, 상기 제 1 사용자 및 상기 하나 이상의 제 2 사용자에게 공간 오디오 데이터를 제공하는 것과,
    제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 상기 제 1 사용자 디바이스를 통해 상기 제 1 사용자 및 상기 하나 이상의 제 2 사용자와 통신할 수 있게 하는 것 ― 상기 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 상기 제 1 사용자 디바이스와 상기 제 3 사용자 디바이스 사이의 로컬 링크를 포함함 ― 을 수행하게 하는,
    컴퓨터 프로그램.
  15. 방법으로서,
    제 1 사용자 디바이스를 갖는 제 1 사용자로 하여금 네트워크를 통해 하나 이상의 제 2 사용자 디바이스를 갖는 하나 이상의 제 2 사용자와 통신할 수 있게 하는 단계 ― 가상 공간 내의 각 사용자에 대해 상기 가상 공간 내의 모든 다른 사용자가 상대적 공간 위치를 갖도록 각 사용자는 상기 가상 공간 내의 공간 위치를 가짐 ― 와,
    각 사용자가 상기 다른 사용자의 각각의 상대적 공간 위치에 있는 상기 다른 사용자로부터 오디오를 제공받도록, 상기 제 1 사용자 디바이스로부터 상기 하나 이상의 제 2 사용자 디바이스로 공간 오디오 데이터를 제공하고 상기 하나 이상의 제 2 사용자 디바이스로부터 상기 제 1 사용자 디바이스에서 공간 오디오 데이터를 수신하는 단계와,
    제 3 사용자 디바이스를 갖는 제 3 사용자로 하여금 상기 제 1 사용자 디바이스를 통해 상기 제 1 사용자 및 상기 하나 이상의 제 2 사용자와 통신할 수 있게 하는 단계 ― 상기 제 3 사용자로 하여금 통신할 수 있게 하는 수단은 상기 제 1 사용자 디바이스와 상기 제 3 사용자 디바이스 사이의 로컬 링크를 포함함 ― 를 포함하는
    방법.
KR1020217003697A 2018-07-09 2019-06-25 가상 환경에서 공간 오디오 전송을 지원하기 위한 로컬 링크의 사용 KR102453851B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18182332.9 2018-07-09
EP18182332.9A EP3595361B1 (en) 2018-07-09 2018-07-09 Use of local link to support transmission of spatial audio in a virtual environment
PCT/IB2019/055352 WO2020012275A1 (en) 2018-07-09 2019-06-25 Use of local link to support transmission of spatial audio in a virtual environment

Publications (2)

Publication Number Publication Date
KR20210027473A true KR20210027473A (ko) 2021-03-10
KR102453851B1 KR102453851B1 (ko) 2022-10-12

Family

ID=62985885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217003697A KR102453851B1 (ko) 2018-07-09 2019-06-25 가상 환경에서 공간 오디오 전송을 지원하기 위한 로컬 링크의 사용

Country Status (4)

Country Link
US (1) US11546718B2 (ko)
EP (1) EP3595361B1 (ko)
KR (1) KR102453851B1 (ko)
WO (1) WO2020012275A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2020320270A1 (en) * 2019-08-01 2022-03-24 Dolby Laboratories Licensing Corporation Encoding and decoding IVAS bitstreams
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160085305A1 (en) * 2014-09-18 2016-03-24 Mary A. Spio Audio computer system for interacting within a virtual reality environment
US20170295531A1 (en) * 2016-04-12 2017-10-12 Industrial Technology Research Institute Device to device mobility management method, user equipment and network entity using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110239136A1 (en) * 2010-03-10 2011-09-29 Oddmobb, Inc. Instantiating widgets into a virtual social venue

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160085305A1 (en) * 2014-09-18 2016-03-24 Mary A. Spio Audio computer system for interacting within a virtual reality environment
US20170295531A1 (en) * 2016-04-12 2017-10-12 Industrial Technology Research Institute Device to device mobility management method, user equipment and network entity using the same

Also Published As

Publication number Publication date
WO2020012275A1 (en) 2020-01-16
EP3595361B1 (en) 2024-01-24
KR102453851B1 (ko) 2022-10-12
US11546718B2 (en) 2023-01-03
US20210274305A1 (en) 2021-09-02
EP3595361A1 (en) 2020-01-15

Similar Documents

Publication Publication Date Title
US11991315B2 (en) Audio conferencing using a distributed array of smartphones
US9565316B2 (en) Multidimensional virtual learning audio programming system and method
US9693170B2 (en) Multidimensional virtual learning system and method
US11477598B2 (en) Apparatuses and associated methods for spatial presentation of audio
JP2011505105A (ja) インテリジェント音声ミキシング技術を利用する処理エンジンへのインターフェースを提供するための方法および装置
US11399254B2 (en) Apparatus and associated methods for telecommunications
KR102453851B1 (ko) 가상 환경에서 공간 오디오 전송을 지원하기 위한 로컬 링크의 사용
US11563855B1 (en) Customized audio mixing for users in virtual conference calls
CN111492342A (zh) 音频场景处理
EP2876905A1 (en) System and method for enhancing comprehensibility through spatialization
JP2014175944A (ja) テレビ会議装置、テレビ会議装置の制御方法、及びプログラム
WO2021122076A1 (en) Rendering audio
US10856097B2 (en) Generating personalized end user head-related transfer function (HRTV) using panoramic images of ear
US10993064B2 (en) Apparatus and associated methods for presentation of audio content
EP4152770A1 (en) A method and apparatus for communication audio handling in immersive audio scene rendering
EP3588986A1 (en) An apparatus and associated methods for presentation of audio
Madsen et al. Setup for demonstrating interactive binaural synthesis for telepresence applications

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant