KR20220111715A - 데이터 생성 방법 및 장치 - Google Patents

데이터 생성 방법 및 장치 Download PDF

Info

Publication number
KR20220111715A
KR20220111715A KR1020227024388A KR20227024388A KR20220111715A KR 20220111715 A KR20220111715 A KR 20220111715A KR 1020227024388 A KR1020227024388 A KR 1020227024388A KR 20227024388 A KR20227024388 A KR 20227024388A KR 20220111715 A KR20220111715 A KR 20220111715A
Authority
KR
South Korea
Prior art keywords
spatial
information
spatial object
data
data generating
Prior art date
Application number
KR1020227024388A
Other languages
English (en)
Inventor
팅츄 위안
리빈 장
후이민 장
창 류
Original Assignee
후아웨이 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후아웨이 테크놀러지 컴퍼니 리미티드 filed Critical 후아웨이 테크놀러지 컴퍼니 리미티드
Publication of KR20220111715A publication Critical patent/KR20220111715A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/687Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18Methods or devices for transmitting, conducting or directing sound
    • G10K11/26Sound-focusing or directing, e.g. scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)

Abstract

보다 직관적이고 효율적인 공간 객체 표현 방식을 제공하기 위해, 지능형 단말 기술 분야에 적용되는 데이터 생성 방법 및 장치가 제공된다. 데이터 생성 장치는 공간 객체 정보를 획득하고; 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하며 - 방위 정보는 공간 객체 정보에서 지시된 공간 객체의 데이터 생성 장치에 대한 방위 정보임 -; 그리고 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하며, 여기서 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되고, 공간 사운드의 음원의 위치는 방위 정보에 대응한다.

Description

데이터 생성 방법 및 장치
본 출원의 실시예는 지능형 단말 기술 분야에 관한 것으로, 특히 데이터 생성 방법 및 장치에 관한 것이다.
모바일 인터넷 기술의 발달로, 내비게이션 기능을 가지는 지능형 전자 디바이스, 예를 들어, 모바일폰(mobile phone)이 사람들의 생활에 큰 편의를 제공하고 있다. 지능형 전자 디바이스는 내비게이션 서비스를 제공할 때 일반적으로 사용자가 입력한 시작점(start point)과 목적지에 기반하여 경로 계획을 수행하고 음성을 재생하여 경로 계획 결과를 출력한다.
그러나, 음성을 재생하여 프롬프트(prompt)를 보내는 이러한 방식은 직관적이지 않다. 결과적으로, 사용자가 지역 환경에 익숙하지 않을 때, 사용자는 사용자의 위치를 지도상의 경로와 정확하게 매칭할 수 없다. 또한, 내비게이션 시스템은 위치 정확도에 의해 제한을 받으며, 사용자가 일정 시간 동안 잘못 이동한 후에만 경로 이탈을 감지하고 경로 이탈 프롬프트를 보낼 수 있다. 특히, 비교적 복잡한 계획 경로의 내비게이션 데이터를 사용할 때, 사용자는 사용자의 이동(traveling) 방향이 정확한지 확인하기 위해 지도를 자주 열어야 한다. 조작이 복잡하고 사용자 경험이 크게 저하된다.
내비게이션 시나리오 외에도 기술적인 문제가 있으며, 다른 애플리케이션 시나리오에서는 대응하는 정보가 직관적으로 지시되지 않는다.
전술한 기술적 문제를 해결하기 위해, 본 출원의 실시예는 공간 객체 정보가 사용자에게 지시될 때, 사용자가 공간 객체의 방위 정보를 보다 직관적이고 효율적으로 알 수 있어 사용자 경험을 크게 향상시킬 수 있도록, 데이터 생성 방법 및 장치를 제공한다.
제1 측면에 따르면, 본 출원의 실시예는 지능형 단말 기술 분야에 적용될 수 있는 데이터 생성 방법을 제공한다. 데이터 생성 장치는 공간 객체 정보(spatial object information)를 획득한다. 공간 객체 정보는 데이터 생성 장치에 대한 공간 객체의 방위 정보(azimuth information)를 획득하는 데 사용된다. 예를 들어, 공간 객체 정보는 텍스트 형태이면서 또한 데이터 생성 장치로부터 내비게이션 목적지까지의 이동(traveling)을 위해 사용되는 내비게이션 데이터를 포함할 수 있고, 오디오 스트림 형태이면서 또한 데이터 생성 장치로부터 내비게이션 목적지까지의 이동을 위해 사용되는 내비게이션 데이터를 포함할 수 있으며, 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠 및 절대 좌표를 포함할 수 있으며, 또는 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠 및 상대 좌표를 포함할 수 있다. 데이터 생성 장치는 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성한다. 방위 정보는 공간 객체 정보에서 지시되는 공간 객체의 데이터 생성 장치에 대한 방위(azimuth)를 지시하는 데 사용된다. 콘텐츠 정보는 공간 객체를 설명하는 데 사용된다. 방위 정보는 위치(position) 정보 및 방향(direction) 정보 중 적어도 하나를 포함한다. 공간 객체는 내비게이션 목적지, 공간에서 발생하는 이벤트, 또는 공간에 존재하는 사람, 동물 또는 객체를 포함하나 이에 제한되지 않는다. 공간 객체가 내비게이션 목적지일 때, 콘텐츠 정보는 데이터 생성 장치에서 내비게이션 목적지까지의 이동에 사용되는 경로 계획을 설명하는 데 사용된다. 공간 객체가 공간에서 발생하는 이벤트이거나 공간에 존재하는 사람, 동물 또는 객체일 때, 콘텐츠 정보는 데이터 생성 장치에 대한 공간 객체의 방향 및 공간 객체의 객체 콘텐츠를 설명하는 데 사용된다. 데이터 생성 장치는 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드(spatial sound) 데이터를 생성한다. 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되며, 공간 사운드의 음원 위치는 방위 정보에 대응한다. 본 출원의 실시예를 내비게이션 시나리오에 적용할 때, 데이터 생성 장치에 대한 내비게이션 목적지의 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성한다. 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되고, 공간 사운드에 대응하는 음원의 방위는 데이터 생성 장치에 대한 내비게이션 목적지의 방위와 일치하고, 공간 사운드에 대응하는 사운드 콘텐츠는 데이터 생성 장치에서 내비게이션 목적지까지의 이동에 사용되는 경로 계획과 일치한다. 사용자는 들리는 공간 사운드의 음원의 방위에 기반하여 공간 객체의 방위를 결정한다. 이러한 방식으로, 공간 객체 정보를 사용자에게 보다 직관적으로 지시함으로써 사용자 경험을 향상시킬 수 있다.
가능한 구현에서, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보를 포함하거나, 또는 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉(monophonic) 신호를 포함하고, 적어도 2개의 모노포닉 신호는 2개의 모노포닉 신호에 대응하는 음향-전기 에너지(acoustic-to-electric energy) 변환 모듈에 의해 동시에 재생되어 공간 사운드를 생성한다.
가능한 구현에서, 데이터 생성 장치가 공간 객체 정보에 기반하여 방위 정보를 생성하는 것은, 데이터 생성 장치의 위치 또는 자세 중 적어도 하나 및 공간 객체 정보에 기반하여 방위 정보를 생성하는 단계를 포함한다. 방위 정보는 위치 정보 및 방향 정보를 포함한다. 구체적으로, 공간 객체 정보가 객체 콘텐츠 및 데이터 생성 장치를 둘러싸는 공간 객체의 공간 위치를 포함할 때, 데이터 생성 장치는 데이터 생성 장치의 공간 위치 및 데이터 생성 장치를 둘러싸는 공간 객체의 공간 위치에 기반하여 데이터 생성 장치에 대한 공간 객체의 방향 정보를 생성할 수 있다. 데이터 생성 장치는 자이로스코프, 관성 센서 또는 다른 엘리먼트를 사용하여 데이터 생성 장치의 자세를 측정할 수 있다. 예를 들어, 데이터 생성 장치가 차량일 때 자세는 차량의 헤드 방향(orientation of a head)이고; 데이터 생성 장치가 모바일폰 또는 내비게이터(navigator)일 때 자세는 모바일폰 또는 내비게이터의 화면 방향(orientation of a screen)이며; 데이터 생성 장치가 듀얼 채널 헤드셋(dual-channel headset)일 때 자세는 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향(facial orientation)이고; 데이터 생성 장치가 차량 및 차량에 위치된 모바일폰을 모두 포함하는 개별 장치일 때, 자세는 차량의 헤드 방향 또는 차량에 위치된 모바일폰의 화면 방향이며; 또는 데이터 생성 장치가 차량 및 차량에 위치된 듀얼 채널 헤드셋을 모두 포함하는 개별 장치일 때, 자세는 차량의 헤드 방향 또는 듀얼 채널 헤드셋을 착용한 차량 사용자의 얼굴 방향이다. 데이터 생성 장치는 데이터 생성 장치의 자세 및 데이터 생성 장치를 둘러싸는 공간 객체의 공간 위치에 기반하여, 데이터 생성 장치에 대한 공간 객체의 방위 정보를 생성한다. 본 출원의 이 실시예에서는 자세 및 공간 객체 정보에 기반하여 방위 정보를 생성하므로, 사용자가 최종적으로 들리는 공간 사운드의 음원 위치가 데이터 생성 장치에 대한 공간 객체의 방위 정보와 일치하여, 사용자의 직관적인 느낌의 정확성을 향상시킨다.
가능한 구현에서, 데이터 생성 장치가 공간 객체 정보를 획득하는 것은: 공간 객체 정보를 수신하는 단계; 또는 센서를 사용하여 공간 객체 정보를 수집하는 단계를 포함한다. 수신 방식은 셀룰러 통신, 무선 근거리 통신망, 마이크로파 액세스를 위한 전세계적 상호 운용성, 블루투스 통신 기술, 지그비 통신 기술, 광 통신, 위성 통신, 적외선 통신, 전송 라인 통신, 하드웨어 인터페이스 또는 하드웨어 회로 기판의 트레이스(trace)를 사용하여 정보를 수신하는 방식, 소프트웨어 모듈로부터 정보를 획득하는 방식, 또는 저장 디바이스로부터 정보를 판독하는 방식 중 적어도 하나를 포함한다. 상기 센서는 감광(photosensitive) 센서, 사운드 센서, 이미지 센서, 적외선 센서, 열감지(heat-sensitive) 센서, 압력 센서 또는 관성(inertial) 센서 중 적어도 하나를 포함한다. 데이터 생성 장치는 수신된 공간 객체 정보에 기반하여 공간 사운드 데이터를 생성하거나, 센서를 사용하여 수집된 공간 객체 정보에 기반하여 공간 사운드 데이터를 생성할 수 있다. 달리 말하면, 이 솔루션에서 제공하는 데이터 프레젠테이션(data presentation) 방식은 복수의 애플리케이션 시나리오에 적용될 수 있으며, 이 솔루션의 애플리케이션 시나리오는 확장된다. 이는 이 솔루션의 구현 유연성을 향상시킨다.
가능한 구현에서, 데이터 생성 장치가 공간 객체 정보를 수신하는 것은, 다음 세 가지 방식 중 적어도 하나로 공간 객체 정보를 수신하는 것을 포함한다: 데이터 생성 장치는 애플리케이션 프로그램에 의해 생성된 오디오 스트림 데이터를 수신하고, 오디오 스트림 데이터를 수신된 공간 객체 정보로 결정한다. 오디오 스트림 데이터는 오디오 스트림 형태의 내비게이션 데이터일 수 있다. 이 경우, 오디오 스트림 형태의 내비게이션 데이터에 대해 음성 인식(speech recognition)을 수행하여 방위 정보 및 콘텐츠 정보를 획득한다. 다르게는, 데이터 생성 장치는 애플리케이션 프로그램에 의해 생성된 인터페이스 데이터를 수신하고, 인터페이스 데이터를 수신된 공간 객체 정보로 결정한다. 인터페이스 데이터는 텍스트 형태의 내비게이션 데이터일 수 있다. 이 경우, 데이터 생성 장치는 텍스트 형태의 네비게이션 데이터에 포함된 콘텐츠 필드의 필드 값 및 위치 필드의 필드 값에 기반하여 방위 정보 및 콘텐츠 정보를 생성한다. 다르게는, 데이터 생성 장치는 네트워크 측 또는 단말 측에 저장된 지도 데이터를 수신하고, 인터페이스 데이터를 수신된 공간 객체 정보로 결정한다. 지도 데이터는 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠 및 좌표를 포함하며, 좌표는 절대 좌표 또는 상대 좌표일 수 있다. 이 경우, 데이터 생성 장치는 데이터 생성 장치를 둘러싸는 공간 객체의 좌표에 기반하여 방위 정보를 생성하고, 방위 정보 및 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠에 기반하여 콘텐츠 정보를 생성한다.
가능한 구현에서, 상기 센서는 감광 센서, 사운드 센서, 이미지 센서, 적외선 센서, 열감지 센서, 압력 센서, 또는 관성 센서 중 적어도 하나를 포함한다.
가능한 구현에서, 데이터 생성 장치가 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하는 것은: 데이터 생성 장치가 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정할 때, 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하는 것을 포함한다. 구체적으로, 데이터 생성 장치는 방위 정보에서 지시된 공간 위치가 미리 설정된 공간 위치 영역에 있는지를 판정하고, 또는 데이터 생성 장치는 방위 정보에서 지시된 공간 위치가 미리 설정된 공간 방향에 있는지를 판정하며, 또는 데이터 생성 장치는 콘텐츠 정보에서 지시된 객체 콘텐츠가 미리 설정된 객체 콘텐츠인지를 판정한다. 전술한 경우들 중 어느 하나 이상의 경우에 대한 판정 결과가 예일 때, 데이터 생성 장치는 공간 객체 정보가 미리 설정된 조건을 만족하는 것으로 결정한다. 본 출원의 이 실시예에서는, 공간 사운드 데이터를 생성하기 전에, 공간 객체 정보가 미리 설정된 조건을 만족하는지를 판정하고, 판정 결과가 미리 설정된 조건이 만족되는 것일 때에만 공간 객체 정보에 기반하여 공간 사운드 데이터를 생성하며, 다시 말해서, 공간 객체 정보가 필터링된다. 이러한 방식으로, 미리 설정된 조건을 만족하지 않는 공간 객체 정보로 인한 컴퓨터 리소스 낭비를 방지하고, 사용자에 대한 과도한 방해를 방지하여 이 솔루션의 사용자 점도(user viscosity)를 향상시킨다.
가능한 구현에서, 상기 방법은: 데이터 생성 장치가 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정할 때 볼륨 증가 지시 정보(volume increase indication information)를 생성하는 것을 더 포함한다. 볼륨 증가 지시 정보는 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 증가시키도록 지시하는 데 사용되며, 볼륨 증가 지시 정보는 볼륨을 증가시켜야 하는 볼륨 값을 운반할(carry) 수 있다. 본 출원의 이 실시예에서, 사용자의 관심을 끌기 위해, 미리 설정된 객체 콘텐츠를 갖는 공간 객체에 대해 재생 볼륨이 증가될 수 있고, 사용자가 미리 설정된 객체 콘텐츠를 갖는 공간 객체를 놓치는 것을 방지할 수 있다. 이러한 방식으로, 내비게이션 프로세스의 보안이 향상되고 사용자가 관심 있는 공간 객체를 놓치는 것을 방지할 수 있으므로, 이 솔루션의 사용자 점도가 향상된다.
가능한 구현에서, 상기 방법은: 데이터 생성 장치가 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정할 때 볼륨 감소 지시 정보(volume decrease indication information)를 생성하는 것을 더 포함한다. 볼륨 감소 지시 정보는 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 감소시키도록 지시하는 데 사용되며, 볼륨 감소 지시 정보는 볼륨을 증가시켜야 하는 볼륨 값을 운반할 수 있다.
가능한 구현에서, 미리 설정된 조건을 만족하는 공간 객체 정보는 미리 설정된 공간 위치 영역, 미리 설정된 공간 방향 또는 미리 설정된 객체 콘텐츠를 포함하는 공간 객체 정보이다. 미리 설정된 공간 위치 영역은 데이터 생성 장치 또는 오디오 재생 장치의 공간 위치에 대한 공간 위치 영역이고, 미리 설정된 공간 방향은 데이터 생성 장치 또는 오디오 재생 장치에 대한 상대적인 방향일 수 있다. 예를 들어, 오디오 재생 장치가 듀얼 채널 헤드셋일 때, 미리 설정된 공간 방향은 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향이고; 데이터 생성 장치가 모바일폰 또는 내비게이터일 때, 미리 설정된 공간 방향은 모바일폰 또는 내비게이터의 움직이는 방향(moving direction)이며; 또는 데이터 생성 장치가 차량일 때, 미리 설정된 공간 방향은 차량의 헤드 방향이거나, 미리 설정된 공간 방향이 절대 공간 위치 방향일 수 있다. 미리 설정된 객체 콘텐츠는 사용자가 미리 입력한 것일 수도 있고, 데이터 생성 장치에 의해 독립적으로 결정될 수도 있다.
가능한 구현에서, 오디오 재생 장치가 듀얼 채널 헤드셋일 때, 미리 설정된 공간 방향은 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향이고, 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향은 듀얼 채널 헤드셋에 배치된 자이로스코프, 관성 센서 또는 다른 엘리먼트에 기반하여 측정될 수 있다.
가능한 구현에서, 데이터 생성 장치가 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하는 것은: 데이터 생성 장치가 방위 정보, 콘텐츠 정보 및 데이터 생성 장치의 자세에 기반하여 콘텐츠 정보에 대응하는 오디오 스트림 데이터에 대해 렌더링 작동(rendering operation)을 수행하여 공간 사운드 데이터를 생성하거나; 또는 데이터 생성 장치가 방위 정보, 콘텐츠 정보 및 오디오 재생 장치의 자세에 기반하여 콘텐츠 정보에 대응하는 오디오 스트림 데이터에 대해 렌더링 작동을 수행하여 공간 사운드 데이터를 생성하는 것을 포함한다. 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호를 포함한다. 렌더링 작동은 구체적으로, 특정 알고리즘 또는 데이터 처리 작동을 사용하여 공간 방위 정보를 오디오 스트림 데이터에 통합하여 최종적으로 적어도 2개의 모노포닉 신호를 생성하는 것이다. 적어도 2개의 모노포닉 신호는 2개의 모노포닉 신호에 대응하는 음향-전기 에너지 변환 모듈에 의해 동시에 재생되어 공간 사운드를 생성한다.
제2 측면에 따르면, 본 출원의 실시예는 데이터 생성 장치를 제공한다. 상기 데이터 생성 장치는 획득 모듈 및 생성 모듈을 포함한다. 획득 모듈은 공간 객체 정보를 획득하도록 구성된다. 공간 객체 정보는 데이터 생성 장치에 대한 공간 객체의 방위 정보를 획득하는 데 사용된다. 생성 모듈은 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하도록 구성된다. 방위 정보는 공간 객체 정보에서 지시되는, 공간 객체의 데이터 생성 장치에 대한 방위를 지시하는 데 사용된다. 콘텐츠 정보는 공간 객체를 설명하는 데 사용된다. 생성 모듈은 추가로, 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하도록 구성된다. 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되며, 공간 사운드의 음원 위치는 방위 정보에 대응한다.
일 구현에서, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보를 포함하거나, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호를 포함하고, 적어도 2개의 모노포닉 신호는 2개의 모노포닉 신호에 대응하는 음향-전기 에너지 변환 모듈에 의해 동시에 재생되어, 공간 사운드를 생성한다.
가능한 구현에서, 생성 모듈은 구체적으로, 데이터 생성 장치의 위치 또는 자세 중 적어도 하나 및 공간 객체 정보에 기반하여 방위 정보를 생성하도록 구성된다.
가능한 구현에서, 획득 모듈은 구체적으로, 공간 객체 정보를 수신하고; 또는 센서를 사용하여 공간 객체 정보를 수집한다.
가능한 구현에서, 획득 모듈은 구체적으로 다음 세 가지 방식: 애플리케이션 프로그램에 의해 생성된 오디오 스트림 데이터를 수신하는 방식, 또는 애플리케이션 프로그램에 의해 생성된 인터페이스 데이터를 수신하는 방식, 또는 네트워크 측 또는 단말 측에 저장된 지도 데이터를 수신하는 방식 중 적어도 하나로 공간 객체 정보를 수신하도록 구성된다.
가능한 구현에서, 상기 센서는 감광 센서, 사운드 센서, 이미지 센서, 적외선 센서, 열감지 센서, 압력 센서, 또는 관성 센서 중 적어도 하나를 포함한다.
가능한 구현에서, 생성 모듈은 구체적으로, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하도록 구성된다.
가능한 구현에서, 생성 모듈은 추가로, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때 볼륨 증가 지시 정보를 생성하도록 구성된다. 볼륨 증가 지시 정보는 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 증가시키도록 지시하는 데 사용된다.
가능한 구현에서, 생성 모듈은 추가로, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때 볼륨 감소 지시 정보를 생성하도록 구성된다. 볼륨 감소 지시 정보는 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 감소시키도록 지시하는 데 사용된다.
가능한 구현에서, 미리 설정된 조건을 만족하는 공간 객체 정보는 미리 설정된 공간 위치 영역, 미리 설정된 공간 방향 또는 미리 설정된 객체 콘텐츠를 포함하는 공간 객체 정보이다.
가능한 구현에서, 생성 모듈은 구체적으로, 방위 정보, 콘텐츠 정보 및 오디오 재생 장치의 자세에 기반하여 콘텐츠 정보에 대응하는 오디오 스트림 데이터에 대해 렌더링 작동을 수행하여 공간 사운드 데이터를 생성하도록 구성된다. 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호를 포함한다.
가능한 구현에서, 데이터 생성 장치는 헤드셋, 모바일폰, 휴대용 컴퓨터, 내비게이터 또는 차량 중 적어도 하나를 포함한다. 데이터 생성 장치는 독립적으로 동작하는(work) 하나의 디바이스를 포함하는 통합 장치일 수 있고, 또는 협력하여 동작하는 복수의 서로 다른 디바이스를 포함하는 개별 장치일 수도 있다.
가능한 구현에서, 오디오 재생 장치가 듀얼 채널 헤드셋일 때, 미리 설정된 공간 방향은 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향이고, 오디오 재생 장치는 공간 사운드를 재생하도록 구성된다.
본 출원의 실시예들의 제2 측면에 제공된 데이터 생성 장치의 구성 모듈에 의해 제2 측면을 수행하는 특정 구현 단계 및 제2 측면의 가능한 구현에 대해서는, 제1 측면 및 제1 측면의 가능한 구현의 설명을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
제3 측면에 따르면, 본 출원의 실시예는 메모리 및 프로세서를 포함하는 데이터 생성 장치를 제공한다. 메모리는 컴퓨터 프로그램 명령을 저장하고, 프로세서는 컴퓨터 프로그램 명령을 실행하여 제1 측면에 따른 데이터 처리/생성 방법을 수행한다.
가능한 구현에서, 데이터 생성 장치는 공간 객체 정보를 수신하도록 구성된 송수신기(transceiver)를 더 포함한다.
가능한 구현에서, 데이터 생성 장치는 공간 객체 정보를 수집하도록 구성된 센서를 더 포함한다.
가능한 구현에서, 데이터 생성 장치는 헤드셋, 모바일폰, 휴대용 컴퓨터, 내비게이터 또는 차량 중 적어도 하나를 포함한다.
본 출원의 실시예들의 제3 측면에서, 프로세서는 추가로, 제1 측면의 가능한 구현에서 데이터 생성 장치에 의해 수행되는 단계를 수행하도록 구성될 수 있다. 자세한 내용은 제1 측면을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
제4 측면에 따르면, 본 출원의 실시예는 컴퓨터가 판독 가능한 저장 매체를 제공한다. 컴퓨터 판독 가능한 저장 매체는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 컴퓨터는 제1 측면에 따른 데이터 처리/생성 방법을 수행하도록 인에이블된다(enabled).
제5 측면에 따르면, 본 출원의 실시예는 컴퓨터 프로그램을 제공한다. 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 컴퓨터는 제1 측면에 따른 데이터 처리/생성 방법을 수행할 수 있다.
제6 측면에 따르면, 본 출원의 실시예는 칩 시스템을 제공한다. 칩 시스템은 예를 들어, 데이터 및/또는 전술한 방법에서의 데이터를 송신하거나 처리하는 것과 같은 전술한 측면의 기능을 구현하는 데 있어서 서버 또는 데이터 처리/생성 장치를 지원하도록 구성된 프로세서를 포함한다. 가능한 설계에서 칩 시스템은 메모리를 더 포함한다. 메모리는 서버 또는 통신 디바이스에 필요한 프로그램 명령 및 데이터를 저장하도록 구성된다. 칩 시스템은 칩을 포함할 수 있거나 또는 칩과 다른 개별 디바이스를 포함할 수 있다.
본 출원의 실시예들의 제4 측면 내지 제6 측면의 유익한 효과에 대해서는, 제1 측면을 참조한다.
본 발명의 실시예 또는 종래 기술에서의 기술적 솔루션을 보다 명확하게 설명하기 위하여, 이하에서는 실시예 또는 종래 기술을 설명하는데 필요한 첨부 도면을 간략히 설명한다. 다음 설명에서 첨부된 도면은 본 발명의 일부 실시예를 도시하고, 당업자는 창의적인 노력 없이도 이러한 첨부된 도면으로부터 다른 도면을 여전히 도출할 수 있음이 명백하다.
도 1은 본 출원의 실시예 1에 따른 데이터 생성 방법의 개략도이다.
도 2는 본 출원의 실시예 2에 따른 데이터 생성 방법의 개략도이다.
도 3은 본 출원의 실시예 3에 따른 데이터 생성 방법의 개략도이다.
도 4는 본 출원의 실시예에 따른 데이터 생성 방법의 다른 구현의 개략도이다.
도 5는 본 출원의 실시예에 따른 데이터 생성 방법의 또 다른 구현의 개략도이다.
도 6은 본 출원의 실시예에 따른 데이터 생성 방법의 또 다른 구현의 개략도이다.
도 7은 본 출원의 실시예에 따른 데이터 생성 방법의 또 다른 구현의 개략도이다.
도 8은 본 출원의 실시예에 따른 데이터 생성 방법의 구현의 개략도이다.
도 9는 본 출원의 실시예에 따른 데이터 생성 방법의 다른 구현의 개략도이다.
도 10은 본 출원의 실시예에 따른 데이터 생성 장치의 구조의 개략도이다. 그리고
도 11은 본 출원의 실시예에 따른 데이터 생성 장치의 구조의 다른 개략도이다.
본 출원의 실시예는 내비게이션 데이터에서 방위 정보에 대응하는 공간 사운드를 재생하여 사용자가 들리는 공간 사운드의 음원의 재생 위치에 기반하여 정확한 이동 방향을 결정할 수 있도록 하는 데이터 생성 방법 및 관련 디바이스를 제공한다. 이러한 방식으로, 보다 직관적인 프롬프트 방식을 제공하고 내비게이션 프로세스의 효율성을 향상시킨다. 공간 객체가 다른 유형의 객체일 때, 보다 직관적이고 효율적인 데이터 프레젠테이션 방식이 제공된다.
본 출원의 실시예의 본 명세서, 특허 청구 범위 및 첨부 도면에서 "제1" 및 "제2"와 같은 용어는 유사한 객체를 구별하기 위한 것으로, 반드시 특정한 순서 또는 시퀀스를 지시하는 것은 아니다. 그러한 방식으로 사용된 용어는 적절한 경우에 상호 교환될 수 있음을 이해해야 한다. 이것은 단지 동일한 속성을 갖는 객체가 본 출원의 실시예에서 설명될 때 사용되는 구별 방식이다. 또한, 용어 "포함하다", "갖다" 및 이들의 다른 변형은 비배타적인 포함을 포함하기 위한 것이므로, 일련의 유닛을 포함하는 프로세스, 방법, 시스템, 제품 또는 디바이스는 이러한 유닛에 제한되지 않으며, 프로세스, 방법, 제품 또는 디바이스에 명시적으로 나열되지 않았거나 고유한 다른 유닛을 포함할 수 있다.
다음은 첨부된 도면을 참조하여 본 출원의 실시예를 설명한다. 당업자는 기술 개발 및 새로운 시나리오의 출현으로 인해 본 출원의 실시예에서 제공되는 기술적 솔루션이 유사한 기술적 문제에 적용될 수 있음을 알 수 있을 것이다.
본 출원의 실시예는 공간 객체 정보가 재생되는 다양한 시나리오에 적용될 수 있다. 공간 객체 정보는 공간 객체에 대한 설명 정보(description information)를 포함한다. 공간 객체는 3차원(3-dimensional, 3D) 공간에 위치되는 객체로서, 3차원 공간에서의 공간 위치에 대응하며, 3차원 공간에서의 물리적 객체와 비물리적 객체를 포함할 수 있다. 공간 객체는 내비게이션 목적지, 공간에서 발생하는 이벤트, 공간에 존재하는 사람, 공간에 존재하는 동물 또는 공간에 존재하는 정적 객체를 포함하지만 이에 제한되지 않는다. 구체적으로, 본 출원의 실시예의 애플리케이션 시나리오는 보행(walk navigation), 차량 내 내비게이션(in-vehicle navigation), 네트워크 측 또는 단말 측 상에 저장된 지도 데이터를 사용하여 주변 공간 객체(surrounding spatial object)를 설명하는 시나리오, 또는 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오를 포함하지만 이에 제한되지 않는다(실제 상황은 네 가지 일반적인 애플리케이션 시나리오에 제한되지 않음). 네 가지 일반적인 애플리케이션 시나리오는 각각 아래에 설명되어 있다.
본 출원의 실시예에서 제공되는 데이터 생성 방법의 세 가지 구현은 먼저 보행 내비게이션 시나리오를 예로 사용하여 아래에서 설명된다.
제1 구현: 도 1은 본 출원의 실시예 1에 따른 데이터 생성 방법의 개략도이다. 데이터 생성 방법은 도 1의 데이터 생성 장치(10)에 의해 수행된다. 도 1은 데이터 생성 장치(10)의 헤드셋 형태를 도시한다. 데이터 생성 장치(10)로서 헤드셋을 사용하는 것은 예일 뿐이며, 데이터 생성 장치(10)는 다른 유형의 디바이스를 더 포함할 수 있음을 이해해야 한다. 이 애플리케이션 시나리오의 특정 구현 프로세스는 아래에서 자세히 설명된다.
내비게이션 애플리케이션 프로그램이 헤드셋에 설정될 수 있다. 헤드셋은 내비게이션 시작점과 내비게이션 목적지를 획득하고, 내비게이션 애플리케이션 프로그램을 사용하여 내비게이션 시작점과 내비게이션 목적지를 내비게이션 서버(11)로 송신한다. 내비게이션 서버(11)는 내비게이션 서버(11)에 저장된 지도 데이터를 사용하여, 내비게이션 시작점에서 내비게이션 목적지까지의 이동에 사용되는 내비게이션 데이터를 결정한다. 헤드셋은 내비게이션 애플리케이션 프로그램을 사용하여 내비게이션 서버(11)에 의해 송신된 내비게이션 데이터를 수신한다. 네비게이션 데이터를 획득한 후, 헤드셋은 네비게이션 데이터에 기반하여 콘텐츠 정보 및 방위 정보를 생성한다. 방위 정보는 헤드셋에 대한 내비게이션 목적지의 방위 정보이다. 선택적으로, 헤드셋은 추가로, 헤드셋의 자세를 획득하고, 헤드셋의 자세 및 내비게이션 데이터에 기반하여 방위 정보를 생성할 수 있다.
방위 정보와 콘텐츠 정보를 생성한 후, 헤드셋은 공간 사운드 데이터를 생성한다. 선택적으로, 헤드셋은 공간 사운드 데이터를 생성하기 전에, 추가로 콘텐츠 정보에서 지시된 객체 콘텐츠가 미리 설정된 객체 콘텐츠인지를 판정할 수 있다. 콘텐츠 정보에서 지시된 객체 콘텐츠가 미리 설정된 객체 콘텐츠일 때, 헤드셋은 볼륨 증가 지시 정보를 생성하고, 헤드셋은 방위 정보, 콘텐츠 정보 및 볼륨 증가 지시 정보에 기반하여 공간 사운드 데이터를 생성할 수 있다. 공간 사운드 데이터는 방위 정보와 콘텐츠 정보를 포함한다. 다르게는, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 2개의 모노포닉 신호를 포함하고, 2개의 모노포닉 신호는 2개의 모노포닉 신호에 대응하는 음향-전기 에너지 변환 모듈에서 동시에 재생되어 공간 사운드를 생성한다. 선택적으로, 콘텐츠 정보에서 지시된 객체 콘텐츠가 미리 설정된 객체 콘텐츠가 아닐 때, 헤드셋은 볼륨 감소 지시 정보를 생성하고, 헤드셋은 방위 정보, 콘텐츠 정보 및 볼륨 감소 지시 정보에 기반하여 공간 사운드 데이터를 생성할 수 있다.
선택적으로, 공간 사운드 재생 프로세스에서, 헤드셋은 추가로, 공간 사운드 데이터에 기반하여 공간 사운드의 재생 볼륨을 조절할 수 있다. 구체적으로, 헤드셋이 볼륨 증가 지시 정보를 생성하면, 공간 사운드의 재생 볼륨이 증가되고; 또는 헤드셋이 볼륨 감소 지시 정보를 생성하면, 공간 사운드의 재생 볼륨이 감소된다.
선택적으로, 공간 사운드 데이터에 기반하여 2개의 모노포닉 신호를 생성하기 전에, 헤드셋은 추가로 헤드셋의 실시간 자세를 획득한 다음, 헤드셋의 실시간 자세에 기반하여 오디오 스트림의 형태로 콘텐츠 정보를 재렌더링하며(re-rendering), 재렌더링된 후 획득된 2개의 모노포닉 신호를 헤드셋의 2개의 음향-전기 에너지 변환 모듈로 전송하여, 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생하므로, 사용자가 듣는 공간 사운드의 음원 위치가 헤드셋에 대한 공간 객체의 실시간 방위 정보와 일치한다.
본 출원의 실시예 1에서는, 내비게이션 목적지의 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하고, 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되며, 공간 사운드의 음원의 방위가 헤드셋에 대한 내비게이션 목적지의 방위와 일치하고, 공간 사운드의 재생 콘텐츠가 데이터 생성 장치에서 내비게이션 목적지까지 이동하는 데 사용되는 경로 계획과 일치하므로, 사용자가 들리는 공간 사운드의 음원의 방위에 기반하여 정확한 이동 방향(correct traveling direction)을 결정할 수 있다. 이러한 방식으로, 보다 직관적인 정보 프레젠테이션 방식이 제공되며, 사용자는 사용자의 이동 방향이 정확한지 확인하기 위해 자주 지도를 열 필요가 없다. 조작이 간단하여 내비게이션의 편의성과 보안성 및 사용자 경험이 향상된다.
도 1의 데이터 생성 장치(10)가 구체적으로 헤드셋 형태로 표현된 것은 예일 뿐임을 유의한다. 실제 애플리케이션에서, 데이터 생성 장치(10)는 다르게는 차량, 모바일폰, 휴대용 컴퓨터, 내비게이터, 또는 다른 휴대용 단말 디바이스일 수 있다.
제2 구현: 구체적으로, 도 2는 본 출원의 실시예 2에 따른 데이터 생성 방법의 개략도이다. 데이터 생성 방법은 도 2의 데이터 생성 장치(20)에 의해 수행된다. 도 2에서 데이터 생성 장치(20)는 모바일폰이고, 오디오 재생 장치(21)는 헤드셋이며, 모바일폰과 헤드셋은 서로 독립된 디바이스이다. 도 2는 예일 뿐임을 이해해야 한다. 이 애플리케이션 시나리오의 특정 구현 프로세스는 아래에서 자세히 설명된다.
모바일폰(즉, 데이터 생성 장치(20)의 일 예)은 내비게이션 서버(22)에 의해 송신된 내비게이션 데이터를 수신한다. 내비게이션 데이터를 수신한 후, 모바일폰은 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하고, 그런 다음 공간 사운드 데이터를 생성한다. 특정 구현은 데이터 생성 장치(10)가 도 1에 대응하는 실시예에서 전술한 단계들을 수행하는 특정 구현과 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
선택적으로, 이 실시예의 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보를 포함한다. 공간 사운드 데이터를 생성한 후, 모바일폰은 공간 사운드 데이터를 헤드셋(즉, 오디오 재생 장치(20)의 일 예)으로 송신한다. 헤드셋은 공간 사운드 데이터에 기반하여 렌더링 작동을 수행하여 2개의 모노포닉 신호를 생성하고, 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여 헤드셋의 2개의 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생한다. 선택적으로, 2개의 모노포닉 신호를 생성하는 프로세스에서, 헤드셋은 추가로, 공간 사운드 데이터에 기반하여 공간 사운드의 재생 볼륨을 조정할 수 있다. 구체적으로, 볼륨 증가 지시 정보가 생성되면, 공간 사운드의 재생 볼륨이 증가되고; 또는 볼륨 감소 지시 정보가 생성되면, 공간 사운드의 재생 볼륨이 감소된다.
선택적으로, 공간 사운드 데이터에 기반하여 2개의 모노포닉 신호를 생성하기 전에, 헤드셋은 추가로, 헤드셋의 자세를 획득하고, 헤드셋의 자세에 기반하여 오디오 스트림의 형태로 콘텐츠 정보를 재렌더링하며, 재렌더링 작동이 수행된 후 획득된 2개의 모노포닉 신호를 헤드셋의 2개의 음향-전기 에너지 변환 모듈로 전송하여, 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생하므로, 사용자가 듣는 공간 사운드의 음원은 공간 객체의 방위 정보와 일치한다.
도 2의 데이터 생성 장치(20)가 구체적으로 모바일폰 형태로 표현된 것은 예일 뿐이다. 실제 애플리케이션에서, 데이터 생성 장치(20)는 다르게는 휴대용 컴퓨터, 내비게이터, 다른 휴대용 단말 디바이스 등의 형태로 표현될 수 있다.
제3 구현: 구체적으로, 도 3은 본 출원의 실시예에 따른 데이터 생성 방법의 구현의 개략도이다. 도 3에서 데이터 생성 장치(30)는 모바일폰이고, 오디오 재생 장치(31)는 헤드셋이며, 모바일폰과 헤드셋은 서로 독립된 디바이스이다. 도 3은 예일 뿐임을 이해해야 한다 이 애플리케이션 시나리오의 특정 구현 프로세스는 아래에서 자세히 설명된다.
모바일폰(즉, 데이터 생성 장치(30)의 일 예)은 내비게이션 서버(32)에 의해 송신된 내비게이션 데이터를 수신한다. 공간 객체 정보를 수신한 후, 모바일폰은 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하고, 그런 다음 콘텐츠 정보 및 방위 정보에 기반하여 렌더링 작동을 수행하여 공간 사운드 데이터를 생성한다. 본 실시예에서 공간 사운드 데이터는 적어도 2개의 모노포닉 신호를 의미한다. 특정 구현은 데이터 생성 장치(10)가 도 1에 대응하는 실시예에서 전술한 단계들을 수행하는 특정 구현과 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
선택적으로, 모바일폰은 2개의 모노포닉 신호를 헤드셋(즉, 오디오 재생 장치(31)의 예)으로 송신하고, 헤드셋은 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈에 입력하여 공간 사운드를 재생한다. 선택적으로, 헤드셋은 헤드셋의 자세를 획득하고, 헤드셋의 자세를 모바일폰으로 송신할 수 있다. 모바일폰은 헤드셋의 자세에 기반하여 오디오 스트림 형태로 콘텐츠 정보를 재렌더링하고, 모바일폰은 재렌더링 작동이 수행된 후 획득된 2개의 모노포닉 신호를 헤드셋으로 송신한다. 헤드셋은 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈에 입력하여 공간 사운드를 재생한다.
도 3의 데이터 생성 장치(30)가 구체적으로 모바일폰 형태로 표현된 것은 예일 뿐이다. 실제 애플리케이션에서, 데이터 생성 장치(30)는 다르게는 휴대용 컴퓨터, 내비게이터, 다른 휴대용 단말 디바이스 등의 형태로 표현될 수 있다.
본 출원의 실시예에서 제공되는 데이터 생성 방법의 세 가지 구현은 차량 내 내비게이션을 예로 사용하여 아래에서 설명된다. 차량 내 내비게이션 시나리오의 세 가지 구현은 보행 내비게이션 시나리오의 세 가지 구현과 유사하다. 차량 내 내비게이션 시나리오에서 데이터 생성 장치, 오디오 재생 장치 및 내비게이션 서버의 구체적인 구현에 대해서는 전술한 실시예를 참조한다. 자세한 내용은 여기에서 설명하지 않는다. 차이점은 보행 내비게이션과 비교하여, 데이터 생성 장치와 오디오 재생 장치가 동일한 단말 디바이스에 통합될 때, 데이터 생성 장치의 특정 디스플레이 형태가 도 1에 대응하는 실시예의 일 예 이외에서 차량일 수 있으며, 오디오 재생 장치는 전술한 복수의 데이터 생성 장치에서 음향-전기 에너지 변환 모듈을 의미한다는 점이다. 데이터 생성 장치와 오디오 재생 장치가 2개의 독립된 디바이스일 때, 데이터 생성 장치의 구체적인 디스플레이 형태는 도 1에 대응하는 실시예의 예에 이외에 차량일 수 있다. 단말 디바이스 또는 데이터 생성 장치의 특정 디스플레이 형태가 차량일 때, 자세는 구체적으로 차량의 헤드의 자세, 차량의 바퀴의 자세, 다른 엘리먼트의 자세 등일 수 있다.
이 솔루션을 더 자세히 이해하기 위해, 도 4를 참조한다. 도 4는 본 출원의 실시예에 따른 데이터 생성 방법의 시나리오의 개략도이다. 차량 내 내비게이션 시나리오에서 사람이 차량에서 헤드셋을 착용하고 운전하며, 데이터 생성 장치가 모바일폰이고, 오디오 재생 장치가 헤드셋이며, 그리고 데이터 생성 장치 및 오디오 재생 장치는 서로 독립적인 디바이스인 예가 사용되는 것이 도 4에 도시된다. 도 4에서 데이터 생성 장치(40), 오디오 재생 장치(41) 및 내비게이션 서버(42)의 구체적인 구현은, 도 2에 대응하는 실시예의 데이터 생성 장치(20), 오디오 재생 장치(21) 및 내비게이션 서버(22)와 유사하다. 자세한 내용은 여기에서 설명하지 않는다. 도 4의 예는 이 솔루션의 이해를 돕기 위한 것일 뿐 솔루션을 제한하는 데 사용되지 않는다.
본 출원의 실시예에서 제공되는 데이터 생성 방법의 네 가지 구현은 네트워크 측 또는 단말 측 상에 저장된 지도 데이터를 사용하여 주변 공간 객체가 설명되는 예를 사용하여 아래에 설명된다.
제1 구현: 도 5는 본 출원의 실시예에 따른 데이터 생성 방법의 구현의 개략도이다. 데이터 생성 방법은 도 5의 데이터 생성 장치(50)에 의해 수행된다. 도 5는 데이터 생성 장치(50)의 헤드셋 형태를 도시한다. 도 5는 예일 뿐임을 이해해야 한다. 이 애플리케이션 시나리오에서 구체적인 구현 프로세스는 데이터 생성 장치(50)가 구체적으로 헤드셋으로 표현되는 예를 사용하여 아래에서 상세히 설명된다.
헤드셋은 헤드셋의 공간 위치에 대응하는 절대 좌표(경도 및 위도 좌표라고도 함)를 획득하고, 헤드셋의 공간 위치에 대응하는 절대 좌표를 데이터 서버(51)에 송신하며, 헤드셋은 데이터 서버(51)에 의해 송신된 공간 객체 정보를 수신한다. 공간 객체 정보는 헤드셋을 둘러싸는 공간 객체의 객체 콘텐츠와 헤드셋을 둘러싸는 공간 객체의 공간 위치를 포함한다. 헤드셋을 둘러싸는 공간 객체의 공간 위치는 공간 객체의 절대 좌표일 수 있거나, 헤드셋에 대한 공간 객체의 상대 좌표일 수 있다.
공간 객체 정보를 수신한 후, 헤드셋은 헤드셋을 둘러싸는 공간 객체의 공간 위치에 기반하여 방위 정보를 생성한다. 선택적으로, 헤드셋은 추가로 자세를 획득하고, 자세 및 공간 객체 정보에 기반하여 데이터 생성 장치(50)에 대한 공간 객체의 방위 정보를 생성할 수 있다. 헤드셋은 방위 정보와 헤드셋을 둘러싸는 공간 객체의 객체 콘텐츠에 기반하여 콘텐츠 정보를 생성한다.
방위 정보 및 콘텐츠 정보를 획득한 후, 헤드셋은 공간 사운드 데이터를 생성해야 한다. 구체적인 구현은 데이터 생성 장치(10)가 도 1에 대응하는 실시예에서 전술한 단계들을 수행하는 방식과 유사하다. 자세한 내용은 여기에서 설명하지 않는다. 선택적으로, 공간 사운드 데이터를 생성하기 전에, 헤드셋은 추가로, 방위 정보에서 지시된 공간 위치가 미리 설정된 공간 위치 영역에 위치되는지를 판정하고, 방위 정보에서 지시된 공간 위치가 미리 설정된 공간 방향에 위치되는지를 판정하며, 또는 콘텐츠 정보에서 지시된 객체 콘텐츠가 미리 설정된 객체 콘텐츠인지를 판정하고, 전술한 경우 중 어느 하나 이상에 대한 판정 결과가 예일 때 공간 객체 정보가 미리 설정된 조건을 만족하는 것으로 결정한다.
일 경우에, 공간 객체 정보가 미리 설정된 조건을 만족할 때, 헤드셋은 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성한다. 공간 객체 정보가 미리 설정된 조건을 만족하지 않을 때, 헤드셋은 더 이상 공간 객체 정보에 기반하여 공간 사운드 데이터를 생성하지 않고, 다음 공간 객체 정보를 처리할 수 있다. 헤드셋은 미리 설정된 조건을 만족하지 않는 공간 객체 정보를 재생하지 않으며, 다시 말해서, 공간 객체 정보를 미리 필터링하여 사용자에 대한 간섭을 줄이고 이 솔루션의 사용자 점도를 향상시킨다.
다른 경우에, 공간 객체 정보가 미리 설정된 조건을 만족할 때, 헤드셋은 볼륨 증가 지시 정보를 생성하고, 방위 정보, 콘텐츠 정보 및 볼륨 증가 지시 정보에 기반하여 공간 사운드 데이터를 생성한다. 공간 객체 정보가 미리 설정된 조건을 만족하지 않을 때, 헤드셋은 더 이상 공간 객체 정보에 기반하여 공간 사운드 데이터를 생성하지 않고, 다음 공간 객체 정보를 처리할 수 있다.
다른 경우에, 공간 객체 정보가 미리 설정된 조건을 만족할 때, 헤드셋은 볼륨 증가 지시 정보를 생성하고, 방위 정보, 콘텐츠 정보 및 볼륨 증가 지시 정보에 기반하여 공간 사운드 데이터를 생성한다. 공간 객체 정보가 미리 설정된 조건을 만족하지 않을 때, 헤드셋은 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성한다.
다른 경우에, 공간 객체 정보가 미리 설정된 조건을 만족할 때, 헤드셋은 볼륨 증가 지시 정보를 생성하고, 방위 정보, 콘텐츠 정보 및 볼륨 증가 지시 정보에 기반하여 공간 사운드 데이터를 생성한다. 공간 객체 정보가 미리 설정된 조건을 만족하지 않을 때, 헤드셋은 볼륨 감소 지시 정보를 생성하고, 방위 정보, 콘텐츠 정보 및 볼륨 감소 지시 정보에 기반하여 공간 사운드 데이터를 생성한다.
선택적으로, 공간 사운드 데이터를 생성한 후, 헤드셋은 공간 사운드 데이터에 기반하여 공간 사운드를 생성하고, 공간 사운드를 재생한다. 구체적인 구현에 대해서는 도 1에 대응하는 실시예에서 데이터 생성 장치(10)에 의해 전술한 단계들을 수행하는 프로세스를 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
도 5의 데이터 생성 장치(50)가 구체적으로 헤드셋 형태로 표현된 것은 예일 뿐임에 유의해야 한다. 실제 애플리케이션에서, 데이터 생성 장치(50)는 다르게는 모바일폰, 휴대용 컴퓨터, 내비게이터 또는 차량과 같은 형태로 표현될 수 있다.
제2 구현: 본 구현에서는 데이터 생성 장치가 모바일폰이고, 오디오 재생 장치가 헤드셋이며, 모바일폰과 헤드셋이 서로 독립된 디바이스인 예를 사용하여 설명한다.
모바일폰은 모바일폰의 공간 위치에 대응하는 절대 좌표를 데이터 서버로 송신하고, 데이터 서버에 의해 송신된 공간 객체 정보를 수신하며, 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성한다. 구체적인 구현에 대해서는 도 5에 대응하는 실시예에서 데이터 생성 장치(50)가 전술한 단계들을 수행하는 특정 구현을 참조한다. 선택적으로, 모바일폰은 추가로, 헤드셋의 자세를 획득하고, 헤드셋의 자세 및 공간 객체 정보에 기반하여 방위 정보를 생성할 수 있다. 구체적으로, 헤드셋은 헤드셋의 자세를 측정하고, 헤드셋의 자세를 모바일폰으로 송신한다.
콘텐츠 정보 및 방위 정보를 획득한 후, 모바일폰은 공간 사운드 데이터를 생성한다. 이 실시예에서, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보를 포함한다. 특정 구현은 데이터 생성 장치(50)가 도 5에 대응하는 실시예에서 전술한 단계들을 수행하는 특정 구현과 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
선택적으로, 공간 사운드 데이터를 생성한 후, 모바일폰은 공간 사운드 데이터를 헤드셋으로 송신한다. 헤드셋은 공간 사운드 데이터에 기반하여 렌더링 작동을 수행하여 적어도 2개의 모노포닉 신호를 획득하고, 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생한다. 전술한 단계들의 구체적인 구현에 대해서는 도 2에 대응하는 실시예에서 데이터 생성 장치(20) 및 오디오 재생 장치(21)가 전술한 단계들을 수행하는 특정 구현을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
제3 구현: 본 구현에서는 데이터 생성 장치가 모바일폰이고, 오디오 재생 장치가 헤드셋이며, 모바일폰과 헤드셋이 서로 독립된 디바이스인 예를 사용하여 설명한다.
모바일폰은 모바일폰의 공간 위치에 대응하는 절대 좌표를 데이터 서버로 송신하고, 데이터 서버에 의해 송신된 공간 객체 정보를 수신하고, 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성한다. 전술한 단계의 구체적인 구현에 대해서는 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오에서 제2 구현의 설명을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
방위 정보 및 콘텐츠 정보에 기반하여 렌더링 작동을 수행하여 공간 사운드 데이터를 생성한다. 본 실시예에서 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호를 의미한다. 적어도 2개의 모노포닉 신호가 헤드셋으로 송신된다. 헤드셋은 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여 공간 사운드를 재생한다. 전술한 단계들의 구체적인 구현에 대해서는, 도 3에 대응하는 실시예에서 데이터 생성 장치(30) 및 오디오 재생 장치(31)가 전술한 단계들을 수행하는 특정 구현을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
네트워크 측 또는 단말 측에서 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오의 제2 및 제3 구현에서, 데이터 생성 장치는 다르게는 모바일폰, 휴대용 컴퓨터 또는 내비게이터와 같은 형태로 표현될 수 있으며, 센서가 구성된 단말 측 전자 디바이스는 다르게는 헤드셋, 휴대용 컴퓨터, 내비게이터 또는 스마트 가전과 같은 다른 단말 측 디바이스로 표현될 수 있음을 유의해야 한다.
제4 구현: 이 구현은 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오의 제1 구현과 유사하다. 차이점은 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오의 제1 구현에서의 데이터 서버(51)가 단말 측 전자 디바이스로 대체되고, 단말 측 데이터 생성 장치와 오디오 재생 장치가 통합된 단말 디바이스와 단말 측 전자 디바이스는 서로 다른 디바이스라는 것이다. 이 구현에서, 데이터 생성 장치 및 오디오 재생 장치에 의해 수행되는 특정 단계는 도 5에 대응하는 실시예에서 데이터 생성 장치(50) 및 오디오 재생 장치에 의해 수행되는 특정 단계와 유사하며, 단말 측 전자 디바이스에 의해 수행되는 특정 단계는 도 5에 대응하는 실시예에서 데이터 서버(51)에 의해 수행되는 특정 단계와 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
본 출원의 실시예들에서 제공되는 데이터 생성 방법의 여섯 가지 구현은 주변 공간 객체가 센서를 사용하여 감지되고 설명되는 예를 사용하여 아래에서 설명된다.
제1 구현: 도 6은 본 출원의 실시예에 따른 데이터 생성 방법의 구현의 개략도이다. 데이터 생성 방법은 도 6의 데이터 생성 장치(60)에 의해 수행된다. 도 6은 데이터 생성 장치(60)의 헤드셋 형태를 도시한다. 도 6은 예일 뿐임을 이해해야 한다. 데이터 생성 장치(60)가 구체적으로 헤드셋으로 표현되고 감광 센서가 헤드셋에 배치된 예를 사용하여, 이 애플리케이션 시나리오의 구체적인 구현 프로세스가 아래에서 상세히 설명된다.
헤드셋은 감광 센서를 사용하여 공간 객체 정보를 수집한다. 구체적으로, 적어도 2개의 감광 센서가 헤드셋에 배치되고, 헤드셋은 감광 센서에 의해 수집된 데이터를 사용하여 광원(즉, 도 6에서 헤드셋을 둘러싸는 공간 객체)의 공간 위치를 파악하여 헤드셋에 대한 광원의 상대 좌표를 생성하고, 감광 센서에 의해 수집된 데이터에 기반하여 광원의 유형을 결정한다. 이 솔루션을 추가로 이해하기 위해, 다른 예에서 적어도 2개의 이미지 센서가 헤드셋에 배치될 수 있고, 헤드셋은 양안 비전 알고리즘(binocular vision algorithm)을 사용하여 헤드셋을 둘러싸는 공간 객체의 위치를 파악하여, 헤드셋에 대한, 헤드셋을 둘러싸는 공간 객체의 상대 좌표를 생성하며, 이미지 센서를 사용하여 헤드셋을 둘러싸는 공간 객체의 이미지를 획득한 후, 공간 객체의 이미지를 인식하여 공간 객체의 객체 콘텐츠를 획득할 수 있다. 여기의 예는 단지 이 솔루션의 구현 가능성을 증명하는 데 사용되며 이 솔루션을 제한하는 데 사용되지 않는다.
헤드셋은 헤드셋에 대한, 헤드셋을 둘러싸는 공간 객체의 상대 좌표에 기반하여 방위 정보를 생성한다. 선택적으로, 헤드셋은 추가로, 헤드셋의 자세를 획득하고, 헤드셋의 자세 및 공간 객체 정보에 기반하여 헤드셋에 대한 공간 객체의 방위 정보를 생성할 수 있다. 헤드셋은 방위 정보 및 헤드셋을 둘러싸는 공간 객체의 유형에 기반하여 콘텐츠 정보를 생성한다. 방위 정보 및 콘텐츠 정보를 획득한 후, 헤드셋은 공간 사운드 데이터를 생성하고, 공간 사운드 데이터에 기반하여 공간 사운드를 재생한다. 헤드셋이 전술한 단계를 수행하는 구체적인 구현에 대해서는, 도 5에 대응하는 실시예에서 데이터 생성 장치(50)에 의해 전술한 단계를 수행하는 방식의 설명을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
도 6의 데이터 생성 장치(60)는 구체적으로, 헤드셋 형태로 표현된 것은 예일 뿐임을 이해해야 한다. 실제 애플리케이션에서, 데이터 생성 장치(60)는 다르게는 모바일폰, 휴대용 컴퓨터, 내비게이터 또는 차량과 같은 형태로 표현될 수 있다.
제2 구현: 도 7은 본 출원의 실시예에 따른 데이터 생성 방법의 구현의 개략도이다. 이 애플리케이션 시나리오의 특정 구현 프로세스는 데이터 생성 장치(70)가 구체적으로 모바일폰으로 표현되고, 오디오 재생 장치(71)가 구체적으로 헤드셋으로 표현되며, 사운드 센서가 모바일폰에서 배치되는 예를 사용하여 아래에 자세히 설명된다. 도 7은 예일 뿐임을 이해해야 한다.
모바일폰(즉, 데이터 생성 장치(70)의 일 예)은 사운드 센서를 사용하여 헤드셋을 둘러싸는 공간 객체에 대응하는 공간 객체 정보를 수집한다. 구체적으로, 적어도 2개의 사운드 센서가 모바일 폰에 배치되고, 도 7의 공간 위치가 센서에 의해 수집된 데이터에 기반하여 지연 추정 측위(delay estimation positioning) 방법을 사용하여 위치되어, 모바일폰에 대한, 모바일폰을 둘러싸는 공간 객체의 상대 좌표를 획득할 수 있다. 이 애플리케이션 시나리오에서, 상대 좌표는 높이 정보를 포함할 수 있다. 또한, 공간 객체의 유형, 예를 들어, 박쥐, 새, 또는 고양이가 센서에 의해 수집된 데이터에 기반하여 결정된다. 서로 다른 유형의 공간 객체는 서로 다른 주파수에서 사운드를 방출한다.
모바일폰은 모바일폰에 대한, 모바일폰을 둘러싸는 공간 객체의 상대 좌표에 기반하여 방위 정보를 생성한다. 선택적으로, 모바일폰은 추가로, 헤드셋의 자세를 획득하고, 헤드셋의 자세 및 공간 객체 정보에 기반하여 모바일폰에 대한 공간 객체의 방위 정보를 생성할 수 있다. 모바일폰은 방위 정보 및 모바일폰을 둘러싸는 공간 객체의 객체 콘텐츠에 기반하여 콘텐츠 정보를 생성한다. 방위 정보와 콘텐츠 정보를 획득한 후, 모바일폰은 공간 사운드 데이터를 생성한다. 이 구현에서, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보를 포함한다. 모바일폰이 전술한 단계를 수행하는 구체적인 구현에 대해서는 도 2에 대응하는 실시예에서 데이터 생성 장치(20) 및 오디오 재생 장치(21)가 전술한 단계를 수행하는 방식에 대한 설명을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
선택적으로, 공간 사운드 데이터를 생성한 후, 모바일폰은 공간 사운드 데이터를 헤드셋(즉, 오디오 재생 장치(71)의 일 예)으로 송신하고, 헤드셋은 음향- 전기 에너지 변환 모듈을 사용하여 공간 사운드 데이터에 기반하여 공간 사운드를 재생하한다. 헤드셋이 공간 사운드 데이터에 기반하여 공간 사운드를 재생하는 구체적인 구현에 대해서는, 도 2에 대응하는 실시예에서 데이터 생성 장치(20) 및 오디오 재생 장치(21)의 구체적인 구현을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
제3 구현: 본 구현에서는 데이터 생성 장치와 센서가 통합된 전자 디바이스가 모바일폰이고, 오디오 재생 장치가 헤드셋인 예를 사용하여 설명한다.
모바일폰은 센서를 사용하여 모바일폰을 둘러싸는 공간 객체에 대응하는 공간 객체 정보를 수집하고, 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성한다. 전술한 단계의 특정 구현은 도 7에 대응하는 실시예에서 데이터 생성 장치(70)의 특정 구현과 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
선택적으로, 데이터 생성 장치는 콘텐츠 정보 및 방위 정보에 기반하여 렌더링 작동을 수행하여 공간 사운드 데이터를 획득할 수 있다. 이 실시예에서, 공간 사운드 데이터는 적어도 2개의 모노포닉 신호를 포함한다. 적어도 2개의 모노포닉 신호는 오디오 재생 장치로 송신된다. 오디오 재생 장치는 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여 공간 사운드를 재생한다. 전술한 단계의 구체적인 구현에 대해서는 도 3에 대응하는 실시예에서 데이터 생성 장치(30) 및 오디오 재생 장치(31)의 특정 구현을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제2 및 제3 구현에서 데이터 생성 장치가 구체적으로 모바일폰 형태로 표현되는 것은 단지 예일 뿐임에 유의해야 한다. 실제 애플리케이션에서, 데이터 생성 장치는 다르게는 휴대용 컴퓨터, 내비게이터 또는 차량과 같은 형태로 표현될 수 있다.
제4 구현: 본 구현에서는 데이터 생성 장치와 오디오 재생 장치가 통합된 단말 디바이스가 헤드셋이고, 센서가 구성되는 단말 측 전자 디바이스가 차량인 것을 예로 들어 설명한다. 이 구현에서, 데이터 생성 장치는 독립적인 디바이스, 즉 헤드셋으로 간주될 수 있거나, 차량과 차량에 위치된 듀얼 채널 헤드셋을 모두 포함하는 개별 디바이스로 간주될 수 있다.
헤드셋은 센서를 사용하여 차량 내 센서를 둘러싸는 공간 객체 정보를 획득한다. 공간 객체 정보는 센서에 대한 공간 객체의 상대 좌표 및 센서를 둘러싸는 공간 객체의 객체 콘텐츠를 포함한다. 구체적으로, 일 경우에, 차량이 센서를 사용하여 주변 공간 객체에 대응하는 데이터를 수집하고, 헤드셋은 센서에 의해 수집되면서 또한 차량에 의해 송신되는 데이터를 수신하고, 센서에 의해 수집된 데이터에 기반하여 공간 객체 정보를 생성한다. 다른 경우에, 차량은 센서를 사용하여 주변 공간 객체에 대응하는 데이터를 수집하고, 센서에 의해 수집된 데이터에 기반하여 공간 객체 정보를 생성하며, 헤드셋은 차량에 의해 송신된 공간 객체 정보를 수신한다.
헤드셋은 센서에 대한, 센서를 둘러싸는 공간 객체의 상대 좌표에 기반하여 방위 정보를 생성한다. 선택적으로, 헤드셋은 추가로, 헤드셋의 자세를 획득하고, 헤드셋의 자세 및 공간 객체 정보에 기반하여 헤드셋에 대한 공간 객체의 방위 정보를 생성할 수 있다. 헤드셋은 방위 정보 및 헤드셋을 둘러싸는 공간 객체의 유형에 기반하여 콘텐츠 정보를 생성한다. 콘텐츠 정보 및 방위 정보를 생성한 후, 헤드셋은 공간 사운드 데이터를 생성하여 공간 사운드를 재생한다. 헤드셋이 전술한 단계를 수행하는 특정 구현은 도 5에 대응하는 실시예에서 데이터 생성 장치(60)의 특정 구현과 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
헤드셋은 다르게는 모바일폰, 휴대용 컴퓨터, 내비게이터 등의 형태로 대체될 수 있으며, 센서가 구성된 단말 측 전자 디바이스는 다르게는 헤드셋, 휴대용 컴퓨터, 내비게이터 또는 스마트 가전 제품과 같은 다른 단말 측 전자 디바이스로 표현될 수 있음을 유의해야 한다.
제5 구현: 본 구현에서는 데이터 생성 장치가 모바일폰이고, 오디오 재생 장치가 헤드셋이며, 센서가 구성된 단말 측 전자 디바이스가 차량이고, 모바일폰과 헤드셋은 서로 독립적인 디바이스인 예를 사용하여 설명한다.
모바일폰은 센서를 사용하여 차량 내 센서를 둘러싸는 공간 객체 정보를 획득하고, 공간 객체 정보에 기반하여 방위 정보 및 콘텐츠 정보를 생성하여 공간 사운드 데이터를 생성한다. 이 실시예에서, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보를 포함한다. 모바일폰이 전술한 단계를 수행하는 구체적인 구현은 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제4 구현과 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
공간 사운드 데이터를 생성한 후, 모바일폰은 공간 사운드 데이터를 헤드셋으로 송신할 수 있다. 헤드셋은 공간 사운드 데이터에 기반하여 렌더링 작동을 수행하여 적어도 2개의 모노포닉 신호를 생성하고, 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생한다. 전술한 단계들의 구체적인 구현에 대해서는 도 2에 대응하는 실시예에서 데이터 생성 장치(20) 및 오디오 재생 장치(21)가 전술한 단계들을 수행하는 특정 구현을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
제6 구현: 본 구현에서는 데이터 생성 장치가 모바일폰이고, 오디오 재생 장치가 헤드셋이며, 센서가 구성된 단말 측 전자 디바이스가 차량이고, 모바일폰과 헤드셋은 서로 독립적인 디바이스인 예를 사용하여 설명한다.
모바일폰은 센서를 사용하여 차량 내 센서를 둘러싸는 공간 객체 정보를 획득하고, 공간 객체 정보에 기반하여 방위 정보 및 콘텐츠 정보를 생성한다. 모바일폰이 전술한 단계를 수행하는 구체적인 구현은 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제4 구현과 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
방위 정보 및 콘텐츠 정보를 생성한 후, 모바일폰은 렌더링 작동을 수행하여 공간 사운드 데이터를 획득한다. 이 실시예에서, 공간 사운드 데이터는 적어도 2개의 모노포닉 신호를 포함한다. 적어도 2개의 모노포닉 신호가 헤드셋으로 송신된다. 헤드셋은 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여 공간 사운드를 재생한다. 전술한 단계의 구체적인 구현에 대해서는 도 3에 대응하는 실시예에서 데이터 생성 장치(30) 및 헤드셋(31)의 특정 구현을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제5 구현 및 제6 구현에서, 데이터 생성 장치는 독립된 디바이스, 즉 모바일폰으로 간주되거나, 차량과 차량에 위치된 모바일폰을 모두 포함하는 개별 디바이스로 간주될 수 있음을 유의해야 한다. 또한, 모바일폰은 다르게는 휴대용 컴퓨터나 내비게이터와 같은 형태로 대체될 수 있으며, 센서가 구성된 단말 측 전자 디바이스는 다르게는 헤드셋, 휴대용 컴퓨터, 내비게이터 또는 스마트 가전 제품으로 표현될 수 있다.
본 발명의 일 실시예는 데이터 생성 방법을 제공하며, 상기 방법은 데이터 생성 장치(도 1 내지 도 7에 대응하는 각 실시예의 데이터 생성 장치를 포함하나 이에 제한되지 않음)에 의해 수행된다. 공간 객체 정보를 수신한 후, 데이터 생성 장치는 수신된 공간 객체 정보를 필터링하지 않고, 공간 객체 정보에 기반하여 공간 객체 데이터를 직접 생성하거나, 수신된 공간 객체 정보를 필터링하여 미리 설정된 조건을 만족하는 공간 객체 정보에 기반하여 공간 객체 데이터를 생성할 수 있다. 두 구현에는 서로 다른 특정 구현 절차가 있으므로 구현 절차는 별도로 설명된다.
(1) 공간 객체 정보가 필터링되지 않는다.
본 출원의 실시예에서, 도 8은 본 출원의 이 실시예에 따른 데이터 생성 방법의 개략적인 흐름도이다. 본 출원의 이 실시예에서 제공되는 데이터 생성 방법은 다음 단계를 포함할 수 있다.
단계(801): 데이터 생성 장치가 공간 객체 정보를 획득한다.
본 출원의 이 실시예에서, 데이터 생성 장치는 다음과 같은 방식으로 공간 객체를 획득할 수 있다: 데이터 생성 장치가 공간 객체 정보를 수신하거나, 데이터 생성 장치는 센서를 사용하여 공간 객체 정보를 수집한다. 데이터 생성 장치는 수신된 공간 객체 정보에 기반하여 공간 사운드 데이터를 생성하거나, 센서를 사용하여 수집된 공간 객체 정보에 기반하여 공간 사운드 데이터를 생성할 수 있다. 달리 말하면, 이 솔루션에서 제공하는 데이터 프레젠테이션 방식은 복수의 애플리케이션 시나리오에 적용할 수 있으며, 이 솔루션의 애플리케이션 시나리오는 확장된다. 이는 이 솔루션의 구현 유연성을 향상시킨다.
공간 객체 정보는 공간 객체의 설명 정보(description information)로서, 데이터 생성 장치에 대한 공간 객체의 방위 정보를 획득하는 데 사용되며, 적어도, 공간 객체의 방위에 대한 설명 정보를 포함한다. 공간 객체는 3차원 공간에 위치된 객체이다. 예를 들어, 공간 객체 정보는 텍스트 형태이면서 또한 데이터 생성 장치에서 내비게이션 목적지까지 이동하는 데 사용되는 내비게이션 데이터를 포함할 수 있고, 오디오 스트림 형태이면서 또한 데이터 생성 장치에서 내비게이션 목적지까지 이동하는 데 사용되는 내비게이션 데이터를 포함할 수 있으며, 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠 및 절대 좌표를 포함할 수 있고, 또는 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠 및 상대 좌표를 포함할 수 있다. 본 출원의 이 실시예에서 수신 방식은 셀룰러 통신을 사용하여 정보를 수신하는 방식은, 무선 근거리 통신망(Wireless Fidelity, Wi-Fi), 마이크로웨이브 액세스를 위한 전세계적 상호 운용성(Worldwide Interoperability for Microwave Access, WiMAX), 블루투스 통신 기술(Bluetooth), 지그비 통신 기술(ZigBee), 광통신, 위성 통신, 적외선 통신, 송신선 통신, 하드웨어 인터페이스 또는 하드웨어 회로 기판의 트레이스를 사용하여 정보를 수신하는 방식, 소프트웨어 모듈로부터 정보를 획득하는 방식, 또는 저장 디바이스로부터 정보를 판독하는 방식 중 적어도 하나를 포함하지만 이에 제한되지 않는다. 센서는 감광 센서, 사운드 센서, 이미지 센서, 적외선 센서, 열감지 센서, 압력 센서 또는 관성 센서 중 적어도 하나를 포함한다. 전술한 방식으로, 이 솔루션의 구현 유연성을 개선하기 위해 센서의 복수의 특정 구현이 제공된다.
보행 내비게이션 시나리오의 세 가지 구현 및 차량 내 내비게이션 시나리오의 세 가지 구현에서, 데이터 생성 장치가 공간 객체 정보를 수신하는 것은: 내비게이션 애플리케이션 프로그램이 데이터 생성 장치에 설정되어 내비게이션 시작점 및 내비게이션 목적지를 획득하고, 데이터 생성 장치가 내비게이션 애플리케이션 프로그램을 사용하여 내비게이션 시작점과 내비게이션 목적지를 내비게이션 서버로 송신하며, 텍스트 형태이면서 또한 내비게이션 서버에 의해 송신된 공간 객체 정보를 수신하고, 다시 말해서, 데이터 생성 장치가 내비게이션 애플리케이션 프로그램을 사용하여 인터페이스 데이터를 수신하는 것을 포함할 수 있다. 텍스트 형태의 공간 객체 정보는 내비게이션 시작점에서 내비게이션 목적지까지의 이동에 사용되는 내비게이션 데이터를 운반한다.
데이터 생성 장치는 내비게이션 시작점과 내비게이션 목적지의 명칭, 내비게이션 시작점과 내비게이션 목적지의 경도 및 위도 좌표, 또는 내비게이션 시작점 및 내비게이션 목적지의 공간 위치를 지시하는 데 사용되는 기타 정보를 내비게이션 서버로 송신할 수 있다. 공간 객체 정보에 대응하는 공간 객체는 공간 위치를 가지는 내비게이션 목적지, 교통 표지판, 모니터, 다른 내비게이션 관련 공간 객체 등일 수 있다. 내비게이션 시작점에서 내비게이션 목적지까지의 이동에 사용되는 내비게이션 데이터는 적어도 하나의 도로 구간(road segment)을 포함할 수 있고, 텍스트 형태의 공간 객체 정보는 적어도 하나의 도로 구간에 대한 설명 정보를 포함할 수 있다. 각 도로 구간의 설명 정보는 복수의 필드와 각 필드의 필드 값을 포함한다. 복수의 필드는 콘텐츠 필드의 필드 값을 포함할 수 있다. 예를 들어, 콘텐츠 필드는 도로 구간 설명(instruction) 필드일 수 있다. 복수의 필드는 위치 필드를 더 포함할 수 있다. 예를 들어, 위치 필드는 구체적으로 거리(distance) 필드 및 회전(turn) 필드일 수 있다. 위치 필드는 다른 필드를 더 포함할 수 있다. 다르게는, 복수의 필드는 콘텐츠 필드만을 포함하고, 위치 필드 등을 포함하지 않을 수 있다. 이것은 여기에서 제한되지 않는다. 여기서는 공간 객체 정보가 테이블 형태로 디스플레이되는 예를 사용한다. 표 1을 참조한다.
Figure pct00001
표 1을 참조한다. 표 1은 공간 객체 정보에서 도로 구간의 설명 정보를 나타낸다. 표 1의 예는 이 솔루션의 이해를 돕기 위한 것일 뿐 솔루션을 제한하는 데 사용되지 않는다.
구체적으로, 내비게이션 시작점을 획득하는 방식에 대해, 일 경우에, 측위 시스템, 예를 들어 글로벌 측위 시스템(global positioning system, GPS)이 추가로 데이터 생성 장치에 구성될 수 있으며, 데이터 생성 장치는 측위 시스템을 사용하여 데이터 생성 장치의 공간 위치를 획득하고, 공간 위치를 내비게이션 시작점으로 결정한다. 다른 경우에, 데이터 생성 장치는 사용자에 의해 입력된 내비게이션 시작점을 수신한다. 보다 구체적으로, 데이터 생성 장치가 디스플레이 인터페이스를 포함하면서 또한 프로젝션 기능을 갖는 디바이스, 예를 들어 헤드셋, 모바일폰, 휴대용 컴퓨터, 내비게이터 또는 차량일 때, 데이터 생성 장치는 내비게이션 애플리케이션 프로그램의 디스플레이 인터페이스를 사용하여 사용자가 입력한 내비게이션 시작점을 수신한다. 데이터 생성 장치가 프로젝션 기능이 없는 헤드셋 또는 디스플레이 인터페이스를 포함하지 않는 다른 디바이스일 때, 마이크로폰(microphone)이 추가로 데이터 생성 장치에 구성될 수 있고, 데이터 생성 장치는 마이크로폰을 사용하여, 음성 형태이면서 또한 사용자에 의해 입력되는 내비게이션 시작점을 수신한다. 선택적으로, 데이터 생성 장치가 디스플레이 인터페이스를 포함할 때, 마이크로폰이 추가로 데이터 생성 장치에 구성될 수 있고, 데이터 생성 장치는 마이크로폰을 사용하여, 음성 형태이면서 또한 사용자에 의해 입력되는 내비게이션 시작점을 수신한다. 내비게이션 목적지를 획득하는 방식으로, 데이터 생성 장치는 사용자에 의해 입력된 내비게이션 목적지를 수신한다. 구체적인 구현에 대해서는 데이터 생성 장치가 사용자가 입력한 내비게이션 시작점을 수신하는 방식을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
선택적으로, 데이터 생성 장치는 내비게이션 애플리케이션 프로그램을 사용하여, 텍스트 형태이면서 또한 내비게이션 서버에 의해 송신된 공간 객체 정보를 수신한 후, 데이터 생성 장치의 내비게이션 애플리케이션 프로그램은 텍스트 형태의 공간 객체 정보를 오디오 스트림 형태의 공간 객체 정보로 변환하고, 데이터 생성 장치는 내비게이션 애플리케이션 프로그램으로부터 오디오 스트림 형태의 공간 객체 정보를 획득하며, 다시 말해서, 데이터 생성 장치는 내비게이션 애플리케이션 프로그램을 사용하여 오디오 스트림 형태의 공간 객체 정보(오디오 스트림 데이터라고도 함)를 수신한다. 예를 들어, 오디오 스트림 데이터는 펄스 코드 변조(pulse code modulation, PCM) 오디오 스트림 데이터일 수 있거나, 다른 포맷의 오디오 스트림 데이터일 수 있다. 구체적으로, 데이터 생성 장치의 운영체제는 AudioPolicyManagerBase::getOutput 함수(즉, 오디오 정책 구현 계층의 함수)를 사용하여, 오디오 스트림 형태이면서 또한 내비게이션 애플리케이션 프로그램에 의해 출력되는 공간 객체 정보를 획득할 수 있다.
네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오의 처음 세 가지 구현에서, 데이터 생성 장치가 공간 객체 정보를 수신하는 것은: 데이터 생성 장치가 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표를 획득하고, 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표를 데이터 서버에 송신하며, 데이터 서버에 의해 송신된 공간 객체 정보를 수신하는 것을 포함한다. 공간 객체 정보는 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠 및 제2 좌표를 포함한다. 제1 좌표는 데이터 생성 장치의 경도 및 위도 좌표(절대 좌표라고도 함)일 수 있다. 제2 좌표는 공간 객체의 공간 위치에 대응하는 절대 좌표일 수 있거나, 데이터 생성 장치의 공간 위치에 대한 공간 객체의 공간 위치의 상대 좌표일 수 있다. 제2 좌표가 공간 객체의 절대 좌표일 때, 공간 객체 정보는 공간 객체에 대응하는 지도 데이터를 의미하며, 다시 말해서, 데이터 생성 장치는 네트워크 측에 저장된 지도 데이터를 수신한다. 공간 객체 정보에 포함되는 공간 객체는 도 5의 도서관, 피자 가게, 건설 현장, 3차원 공간에 위치된 다른 물리적 객체 등이 될 수 있다.
구체적으로, 측위 시스템이 데이터 생성 장치에 구성되고, 데이터 생성 장치는 측위 시스템을 사용하여 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표를 획득하고, 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표를 데이터 서버로 송신한다. 데이터 서버는 데이터 생성 장치를 둘러싸는 지도 데이터를 미리 저장할 수 있다. 지도 데이터는 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠와 데이터 생성 장치를 둘러싸는 공간 객체의 공간 위치에 대응하는 절대 좌표를 포함한다. 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표를 수신한 후, 데이터 서버는 제1 좌표를 둘러싸는 공간 객체의 객체 콘텐츠 및 제2 좌표를 획득하여 공간 객체 정보를 생성하고, 제1 좌표를 둘러싸는 공간 객체의 객체 콘텐츠 및 제2 좌표를 포함하는 공간 객체 정보를 데이터 생성 장치로 송신한다. 이에 대응하여, 데이터 생성 장치는 데이터 서버로부터 송신된 공간 객체 정보를 수신한다.
보다 구체적으로, 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표를 수신한 후, 데이터 서버는 제1 좌표를 둘러싸는 공간 객체의 객체 콘텐츠 및 절대 좌표를 획득하여 공간 객체 정보를 생성한다. 공간 객체 정보에 포함된 제2 좌표는 절대 좌표이다. 선택적으로, 제1 좌표를 수신하고 제1 좌표를 둘러싸는 공간 객체의 절대 좌표를 획득한 후, 데이터 서버는 추가로, 제1 좌표를 원점으로 사용하고 제1 좌표 및 제1 좌표를 둘러싸는 공간 객체의 절대 좌표에 기반하여, 제1 좌표를 둘러싸는 공간 객체의 상대 좌표를 생성하며, 상대 좌표를 제2 좌표로 결정하고, 제1 좌표를 둘러싸는 공간 객체의 객체 콘텐츠 및 제2 좌표에 기반하여 공간 객체 정보를 생성한다. 공간 객체 정보에서 운반된 제2 좌표는 상대 좌표이다.
네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오의 제4 구현에서, 데이터 생성 장치가 공간 객체 정보를 수신하는 것은: 데이터 생성 장치가 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표를 획득하고, 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표를 단말 측 전자 디바이스에 송신하며, 단말 측 전자 디바이스에 의해 송신된 공간 객체 정보를 수신하는 것을 포함할 수 있다. 공간 객체 정보는 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠 및 제2 좌표를 포함한다. 이 실시예에서, 데이터 생성 장치에 의해 수행되는 특정 단계에 대해서는 전술한 실시예에서 네트워크 측 또는 단말 측에서 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오에서 처음 세 가지 구현의 특정 구현에 대한 설명을 참조한다. 차이점은 전술한 실시예의 데이터 서버가 단말 측 전자 디바이스로 대체되었다는 점뿐이다. 자세한 내용은 여기에서 설명하지 않는다.
센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 처음 세 가지 구현에서, 데이터 생성 장치가 센서를 사용하여 공간 객체 정보를 수집하는 것은: 데이터 생성 장치가 내부 인터페이스를 사용하여 신호 수집 명령을 센서에 송신하여, 데이터를 수집하도록 센서에게 지시하고, 데이터 생성 장치가 센서에 의해 수집된 데이터를 수신하고, 센서에 의해 수집된 데이터에 기반하여 공간 객체 정보를 생성하는 것을 포함할 수 있다. 구체적으로, 데이터 생성 장치는 수집된 데이터에 기반하여 데이터 생성 장치를 둘러싸는 공간 객체의 위치를 파악하여, 데이터 생성 장치를 둘러싸는 공간 객체의 상대 좌표를 생성하며, 센서에 의해 수집된 데이터에 기반하여 데이터 생성 장치를 둘러싸는 공간 객체의 객체 콘텐츠를 결정한다. 구체적인 구현에 대해서는 도 6 및 도 7에 대응하는 실시예의 설명을 참조한다.
센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오에서 후자의 세 가지 구현에서, 데이터 생성 장치가 센서를 사용하여 공간 객체 정보를 수집하는 것은: 일 경우에, 센서가 구성된 단말 측 전자 디바이스가 센서를 사용하여 주변 공간 객체에 대응하는 데이터를 수집하고, 데이터 생성 장치는 센서에 의해 수집되면서 또한 센서가 구성된 단말 측 전자 디바이스에 의해 송신되는 데이터를 수신하며, 센서에 의해 수집된 데이터에 기반하여 공간 객체 정보를 생성하는 것을 포함할 수 있다. 다른 경우에, 센서가 구성된 단말 측 전자 디바이스는 센서를 사용하여 주변 공간 객체에 대응하는 데이터를 수집하고, 센서에 의해 수집된 데이터에 기반하여 공간 객체 정보를 생성하며, 데이터 생성 장치가 센서가 구성된 단말 측 전자 디바이스에 의해 송신된 공간 객체 정보를 수신한다.
구체적으로, 일 경우에, 데이터 생성 장치가 센서 데이터 획득 요청을 센서가 구성된 단말 측 전자 디바이스로 송신하고, 센서 데이터 획득 요청에 응답하여, 센서가 구성된 단말 측 전자 디바이스가 센서를 사용하여 주변 공간 객체에 대응하는 데이터를 수집하며, 그런 다음 센서에 의해 수집된 데이터 또는 공간 객체 정보를 데이터 생성 장치로 송신한다. 다른 경우에, 센서가 구성된 단말 측 전자 디바이스는 센서에 의해 수집된 데이터 또는 공간 객체 정보를 데이터 생성 장치로 능동적으로 송신할 수 있다. 보다 구체적으로, 송신 방식은 실시간 송신, 미리 설정된 지정 기간 간격으로 송신, 고정된 시점에 송신, 다른 송신 방식 등일 수 있다. 이것은 여기에서 제한되지 않는다.
공간 객체 정보를 수신하는 시간의 경우: 보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오에서, 사용자가 데이터 생성 장치에서 내비게이션 애플리케이션 프로그램을 사용하여 내비게이션 기능을 수행할 때, 데이터 생성 장치는 공간 객체 정보를 수신한다. 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오 및 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오에서, 구체적으로 일 구현에서, 데이터 생성 장치는 항상 공간 객체 정보를 수신하는 상태에 있을 수 있으므로, 수신된 공간 객체 정보를 적시에 공간 사운드 데이터로 변환하여 적시에 공간 사운드를 재생한다. 선택적으로, 사용자로부터 활성화 조작(enabling operation) 및 비활성화 조작(disabling operation)을 수신하기 위한 스위치 버튼이 데이터 생성 장치에 배치될 수 있다. 사용자가 스위치 버튼을 사용하여 활성화 조작에 들어갈 때, 데이터 생성 장치는 공간 객체 정보를 수신하는 상태에 있다. 사용자가 스위치 버튼을 사용하여 비활성화 조작에 들어갈 때, 데이터 생성 장치는 공간 객체 정보를 수신하는 기능을 비활성화하고 더 이상 공간 객체 정보를 수신하지 않는다. 구체적으로, 일 경우에, 데이터 생성 장치가 사용자에게 디스플레이 인터페이스를 제공할 수 있는 전자 디바이스이며, 따라서, 디스플레이 인터페이스를 사용하여 사용자에게 스위치 제어를 디스플레이하여, 스위치 제어를 사용하여 사용자가 입력한 활성화 조작 또는 비활성화 조작을 수신할 수 있다. 다른 경우에, 데이터 생성 장치가 디스플레이 인터페이스를 제공할 수 없는 전자 디바이스일 때, 스위치 버튼이 데이터 생성 장치의 외부에 배치되므로, 스위치 버튼을 사용하여 활성화 조작 및 비활성화 조작이 입력될 수 있다.
단계(802): 데이터 생성 장치가 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성한다.
본 출원의 이 실시예에서, 데이터 생성 장치는 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성할 수 있다. 콘텐츠 정보는 공간 사운드에 대한 재생 콘텐츠를 결정하는데 사용되며, 콘텐츠 정보는 방위 정보를 포함한다. 공간 객체가 내비게이션 목적지일 때, 콘텐츠 정보는 데이터 생성 장치에서 내비게이션 목적지까지의 이동에 사용되는 경로 계획을 설명하는 데 사용된다. 공간 객체가 공간에서 발생하는 이벤트이거나 공간에 존재하는 사람, 동물 또는 객체일 때, 콘텐츠 정보는 데이터 생성 장치에 대한 공간 객체의 방향과 공간 객체의 콘텐츠를 설명하는 데 사용된다. 예를 들어, 콘텐츠 정보는 "100미터 직진 후 우회전" 또는 "좌측의 50미터 전방에 커피숍이 있다"일 수 있다. 여기의 예는 단지 이 솔루션의 이해를 돕기 위해 사용되었으며 이 솔루션을 제한하는 데 사용되지 않는다. 방위 정보는 위치 정보 및 방향 정보를 포함할 수 있으며, 단말 디바이스에 대한 공간 객체의 방위를 지시하는 데 사용된다. 방위 정보는 높이 정보를 운반하거나 높이 정보를 운반하지 않을 수 있으며, 구체적으로 데카르트 좌표(Cartesian coordinates)로 표현될 수 있거나, 또는 다른 포맷의 방위 정보일 수 있다. 단말 디바이스는 데이터 생성 장치, 오디오 재생 장치 또는 센서가 구성된 단말 측 전자 디바이스일 수 있다. 또한, 센서가 구성된 단말 측 전자 디바이스와 데이터 생성 장치가 동일한 디바이스일 수 있거나, 센서가 구성된 단말 측 전자 디바이스와 오디오 재생 장치가 동일한 디바이스일 수 있거나, 또는 센서가 구성된 단말 측 전자 디바이스는 데이터 생성 장치 및 오디오 재생 장치와 독립적인 독립 디바이스일 수 있다.
보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오에서, 공간 객체 정보는 텍스트 형태의 내비게이션 데이터를 포함할 수 있고, 텍스트 형태의 내비게이션 데이터는 콘텐츠 필드의 필드 값을 포함할 수 있다. 이 경우, 단계(802)는: 데이터 생성 장치가 공간 객체 정보에 포함된 콘텐츠 필드의 필드 값에 기반하여 방위 정보 및 콘텐츠 정보를 생성하는 것을 포함할 수 있다. 선택적으로, 텍스트 형태의 내비게이션 데이터가 콘텐츠 필드의 필드 값 및 위치 필드의 필드 값을 포함하면, 단계(802)는: 데이터 생성 장치가 콘텐츠 필드의 필드 값에 기반하여 콘텐츠 정보를 생성하고, 위치 필드의 필드 값에 기반하여 방위 정보를 생성하는 것을 포함할 수 있다. 예를 들어, 표 1을 참조하는 예를 사용한다. 방위 정보는 공간 객체의 상대 좌표이다. 여기서, 방위 정보가 높이 정보를 운반할 수 있는 예를 사용한다. 이 경우, x축, y축, z축을 사용하여 설명해야 한다. 표 1의 회전 필드에 기반하여, 공간 객체가 단말 디바이스의 우측에 있음을 알 수 있다. 방위 "우측"에 대한 특정 거리 값이 없으므로 거리 값은 기본값(default value)으로 설정될 수 있으며, 예를 들어 기본적으로 10미터로 설정되고, x축의 값은 10이다. 거리 필드에 기반하여, 공간 객체가 단말 디바이스보다 100미터 전방에 있고, y축의 값은 100인 것이 획득된다. 높이 정보가 없으므로 z축의 값은 0으로 설정될 수 있다. 이러한 방식으로, 공간 객체의 방위 정보(10, 100, 0)가 획득된다. 명령 필드에 기반하여, 콘텐츠 정보는 "100미터 직진 후 우회전"인 것이 획득된다. x축의 값은 다르게는 -10, 다른 값 등일 수 있음을 이해해야 한다. 이 예는 이 솔루션의 이해를 돕기 위한 것일 뿐 솔루션을 제한하는 데 사용되지 않는다.
선택적으로, 공간 객체 정보는 오디오 스트림 형태의 내비게이션 데이터를 포함하고, 오디오 스트림 형태의 내비게이션 데이터는 콘텐츠 정보를 포함하고, 콘텐츠 정보는 방위 정보를 포함한다. 이 경우, 단계(802)는: 데이터 생성 장치가 오디오 스트림 형태의 내비게이션 데이터에 대해 음성 인식을 수행하여 방위 정보 및 콘텐츠 정보를 획득하는 것을 포함할 수 있다. 표 1을 참조하여 예를 사용한다. 방위 정보는 공간 객체의 상대 좌표이다. 여기서, 방위 정보가 높이 정보를 운반할 수 있는 예를 사용한다. 이 경우, x축, y축, z축을 사용하여 설명해야 한다. 오디오 스트림 형태의 내비게이션 데이터가 "100미터 직진 후 우회전"이며, 오디오 스트림 형태의 내비게이션 데이터에 대해 음성 인식을 수행한 후 "우측"이라는 키워드가 추출된다. 내비게이션 데이터에서 방위 "우측"에 대한 특정 거리 값은 없으므로 거리 값은 기본값으로 설정될 수 있으며, 예를 들어, 기본적으로 10미터로 설정되고, -x 축의 값은 10이다. '직진(go ahead)' 및 '100미터'라는 키워드가 추출되므로, 직진의 방위에 대한 거리는 100미터이며, 다시 말해서, y축의 값이 100이다. 높이 정보가 없으므로, z축의 값은 0으로 설정될 수 있다. 이러한 방식으로, 공간 객체의 방위 정보(10, 100, 0)가 획득된다. 음성 스트림 형태의 내비게이션 데이터에 대해 음성 인식을 수행하는 것에 의해, 콘텐츠 정보가 "100미터 직진 후 우회전"인 것이 획득된다. 이 예는 이 솔루션의 이해를 돕기 위한 것일 뿐 이 솔루션을 제한하는 데 사용되지 않는다는 점을 이해해야 한다.
네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하는 시나리오에서, 일 경우에, 공간 객체 정보는 데이터 처리 장치를 둘러싸는 공간 객체의 객체 콘텐츠 및 절대 좌표를 포함한다. 이 경우, 단계(802)는: 데이터 생성 장치가 데이터 생성 장치의 공간 위치 및 공간 객체 정보에 기반하여 방위 정보를 생성하는 것을 포함할 수 있다. 구체적으로, 데이터 생성 장치는 데이터 생성 장치의 공간 위치에 대응하는 제1 좌표(즉, 데이터 생성 장치의 공간 위치의 절대 좌표)를 좌표 원점으로 사용하고 그리고 데이터 생성 장치의 자이로스코프 또는 측위 시스템 등을 사용하여 사용자의 이동 방향을 결정하고, 사용자의 이동 방향을 y축의 양의 방향으로 사용하여 좌표계를 구축하며, 데이터 생성 장치의 공간 위치를 둘러싸는 공간 객체의 절대 좌표이면서 또한 공간 객체 정보에 포함된 절대 좌표(즉, 제2 좌표의 예)에 기반하여 좌표계에서 공간 객체의 위치를 결정하여 방위 정보를 생성하고, 방위 정보 및 공간 객체 정보에 포함된 객체 콘텐츠에 기반하여 콘텐츠 정보를 생성한다. 콘텐츠 정보는 방위에 대한 설명과 공간 객체의 유형을 포함한다. 예를 들어, 공간 객체의 유형이 서점이고, 데이터 생성 장치의 공간 위치의 절대 좌표와 서점의 절대 좌표에 기반하여 방위 정보(0, 50, 0)가 획득되면, 콘텐츠 정보는 50미터 전방에 서점이 있다는 것이다. 다른 경우에, 공간 객체 정보는 공간 객체의 객체 콘텐츠 및 상대 좌표를 포함한다. 이 경우, 데이터 생성 장치는 공간 객체 정보로부터 상대 좌표를 추출하여 방위 정보를 획득하고, 방위 정보 및 공간 객체 정보에 포함된 객체 콘텐츠에 기반하여 콘텐츠 정보를 생성할 수 있다. 다른 경우에, 공간 객체 정보는 공간 객체의 객체 콘텐츠 및 데이터 생성 장치에 대한 공간 객체의 상대 좌표를 포함한다. 이 경우, 단계(802)는: 데이터 생성 장치가 공간 객체 정보에 포함된 공간 객체의 상대 좌표에 기반하여 방위 정보를 생성하고, 방위 정보 및 공간 객체 정보에 포함된 객체 콘텐츠에 기반하여 콘텐츠 정보를 생성하는 것을 포함할 수 있다
센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오에서, 공간 객체 정보는 센서가 구성된 단말 측 전자 디바이스를 둘러싸는 공간 객체의 객체 콘텐츠 및 상대 좌표를 포함한다. 이 경우, 단계(802)는: 데이터 생성 장치가 공간 객체의 상대 좌표에 기반하여 방위 정보를 생성하고, 방위 정보 및 공간 객체 정보에 포함된 객체 콘텐츠에 기반하여 콘텐츠 정보를 생성하는 것을 포함할 수 있다.
선택적으로, 데이터 생성 장치는 단말 디바이스의 자세 및 공간 객체 정보에 기반하여 방위 정보를 생성한다. 예를 들어, 자세는 우측으로 30도 회전(turning), 좌측으로 20도 회전, 15도 상승(rising) 또는 다른 자세일 수 있다. 또한, 예를 들어, 데이터 생성 장치가 차량일 때, 자세는 차량의 헤드 방향이고; 데이터 생성 장치가 모바일폰 또는 내비게이터일 때, 자세는 모바일폰 또는 내비게이터의 화면 방향이며; 데이터 생성 장치가 듀얼 채널 헤드셋일 때, 자세는 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향이고; 데이터 생성 장치가 차량 및 차량에 위치된 모바일폰을 모두 포함하는 개별 디바이스일 때, 자세는 차량의 헤드 방향 또는 차량에 위치된 모바일폰의 화면 방향이며; 또는 데이터 생성 장치가 차량과 차량에 위치된 듀얼 채널 헤드셋을 모두 포함하는 개별 디바이스일 때, 자세는 차량의 헤드 방향 또는 듀얼 채널 헤드셋을 착용한 차량 사용자의 얼굴 방향이다.
구체적으로, 보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오의 제1 구현에서, 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하는 시나리오의 제1 구현 및 제4 구현에서, 그리고 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제1 구현 및 제4 구현에서, 데이터 생성 장치와 오디오 처리 장치가 동일한 단말 디바이스에 구성되고 단말 디바이스의 자세를 측정한 후, 데이터 생성 장치가 자세 및 공간 객체 정보에 기반하여 방위 정보를 생성하므로, 사용자가 최종적으로 들은 공간 사운드의 음원 위치가 단말 디바이스에 대한 공간 객체의 방위 정보와 일치하여 공간 사운드의 정확도를 향상시킨다.
보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오의 제2 구현 및 제3 구현에서, 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하는 시나리오의 제2 구현 및 제3 구현에서, 그리고 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제2 구현, 제3 구현 및 제6 구현에서, 데이터 생성 장치와 오디오 처리 장치는 2개의 독립적인 디바이스이며, 따라서 데이터 생성 장치는 오디오 재생 장치에 의해 송신된 자세를 수신하고, 자세 및 공간 객체 정보에 기반하여 방위 정보를 생성한다. 구체적으로, 오디오 재생 장치는 오디오 재생 장치의 자세를 실시간으로 데이터 생성 장치로 송신하거나, 오디오 재생 장치의 자세를 미리 설정된 지속 기간 간격으로 데이터 생성 장치로 송신할 수 있다. 예를 들어, 미리 설정된 지속 기간은 2초, 5초, 10초 또는 기타 지속 기간일 수 있다.
보다 구체적으로, 전술한 시나리오에서, 데이터 생성 장치 또는 오디오 재생 장치가 헤드셋, 모바일폰, 휴대용 컴퓨터 또는 내비게이터와 같은 휴대용 디바이스일 때, 자이로스코프 또는 자세 측정 기능을 갖는 다른 엘리먼트가 데이터 생성 장치 또는 오디오 재생 장치에 배치되고, 데이터 생성 장치 또는 오디오 재생 장치는 자이로스코프 또는 자세 측정 기능을 갖는 다른 엘리먼트를 사용하여 단말 디바이스의 자세를 획득한다. 자세는 헤드셋, 모바일폰, 휴대용 컴퓨터 또는 내비게이터의 자세일 수 있다. 데이터 생성 장치 또는 오디오 재생 장치가 차량일 때, 데이터 생성 장치 또는 오디오 재생 장치는 자이로스코프, 핸들의 회전 방향 또는 차량에 구성된 다른 엘리먼트를 사용하여 자세를 측정할 수 있다. 차량의 자세는 차량의 헤드 자세, 차량의 바퀴 자세, 차체 자세, 다른 자세 등이 될 수 있다. 차량은 자동차, 트럭, 오토바이, 버스, 보트, 비행기, 헬리콥터, 잔디 깎는 기계, 레저용 차량, 놀이터 차량, 건설 장비, 트롤리(trolley,), 골프 카트, 기차, 손수레 등일 수 있다. 이것은 본 출원의 이 실시예에서 특별히 제한되지 않는다.
선택적으로, 본 발명의 이 실시예는 단계(803)를 포함할 수 있다: 데이터 생성 장치는 공간 객체 정보가 미리 설정된 조건을 만족하는지를 판정한다. 공간 객체 정보가 미리 설정된 조건을 만족할 때, 단계(804)가 수행된다. 공간 객체 정보가 미리 설정된 조건을 만족하지 않으면, 단계(805)가 수행된다.
본 출원의 이 실시예에서, 데이터 생성 장치는 공간 객체 정보가 미리 설정된 조건을 만족하는지를 판정한다. 미리 설정된 조건을 만족하는 공간 객체 정보는 미리 설정된 공간 위치 영역, 미리 설정된 공간 방향 또는 미리 설정된 객체 콘텐츠를 포함하는 공간 객체 정보이다. 또한, 미리 설정된 공간 위치 영역은 데이터 생성 장치 또는 오디오 처리 장치의 공간 위치에 대한 미리 설정된 공간 위치 영역이다. 예를 들어, 미리 설정된 공간 위치 영역은 데이터 생성 장치 또는 오디오 처리 장치의 공간 위치로부터 10미터 전방의 영역일 수 있다. 다른 예로, 미리 설정된 공간 위치 영역은 데이터 생성 장치 또는 오디오 처리 장치의 공간 위치를 원점으로 하고 반경이 10미터인 영역일 수 있다. 이것은 여기에서 제한되지 않는다. 미리 설정된 공간 방향은 데이터 생성 장치 또는 오디오 처리 장치의 공간 위치에 대한 위치 방향일 수 있다. 예를 들어, 오디오 재생 장치가 듀얼 채널 헤드셋일 때, 미리 설정된 공간 방향은 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향일 수 있다. 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향은 듀얼 채널 헤드셋에 구성된 자이로스코프, 관성 센서 또는 다른 엘리먼트에 기반하여 측정될 수 있다. 사용자는 일반적으로 사용자가 보기를 기대하는 객체를 본다. 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향이 미리 설정된 공간 방향으로 설정된다. 이것은 관심있는 공간 객체를 결정하는 프로세스의 정확도를 향상시키는 데 도움이 된다. 데이터 생성 장치가 모바일폰 또는 내비게이터일 때, 미리 설정된 공간 방향은 모바일폰 또는 내비게이터 상의 움직이는 방향일 수 있다. 데이터 생성 장치가 차량일 때, 미리 설정된 공간 방향은 차량의 헤드 방향일 수 있다. 또한, 미리 설정된 공간 방향은 데이터 생성 장치 또는 오디오 처리 장치의 전방, 후방, 좌측, 우측 또는 다른 방향일 수 있거나, 절대 공간 위치 방향일 수 있다. 예를 들어, 미리 설정된 공간 방향은 동쪽, 서쪽, 남쪽 또는 북쪽일 수 있다. 이것은 여기에서 제한되지 않는다. 미리 설정된 객체 콘텐츠는 사용자에 의해 미리 입력될 수 있다. 예를 들어, 사용자는 커피숍, 서점, 또는 다른 유형의 공간 객체를 사용자가 관심 있는 객체로 미리 입력할 수 있다. 다르게는, 데이터 생성 장치는 미리 설정된 객체 콘텐츠를 독립적으로 결정할 수 있다. 예를 들어, 건설 현장과 같이 상대적으로 위험 계수(danger coefficient)가 큰 객체 콘텐츠가 미리 설정된 객체 콘텐츠로 설정될 수 있다. 다른 예로, 전환점(turning point)이나 교차점(intersection)과 같이 하이라이트가 필요한 객체 콘텐츠를 미리 설정된 객체 콘텐츠로 설정할 수 있다. 여기의 예는 단지 이 솔루션의 이해를 돕기 위해 사용된 것임을 이해해야 한다. 구체적으로, 미리 설정된 공간 위치 영역, 미리 설정된 공간 방향 및/또는 미리 설정된 객체 콘텐츠의 구체적인 의미는 실제 제품 형태를 참조하여 당업자에 의해 결정될 수 있다. 이것은 여기에서 제한되지 않는다. 구체적으로, 데이터 생성 장치는 결정을 수행한다.
구체적으로, 보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오에서, 단계(803)는: 데이터 생성 장치가 콘텐츠 정보에서 지시된 객체 콘텐츠가 미리 설정된 객체 콘텐츠인지를 판정하는 것을 포함할 수 있다. 판정 결과 예(yes)이면, 데이터 생성 장치는 공간 객체 정보가 미리 설정된 조건을 만족하는 것으로 결정한다. 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하는 시나리오 및 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오에서, 단계(803)는: 데이터 생성 장치가 방위 정보에서 지시된 공간 위치가 미리 설정된 공간 위치 영역에 위치되는지를 판정하는 경우, 데이터 생성 장치가 방위 정보에서 지시된 공간 위치가 미리 설정된 공간 방향에 있는지를 판정하는 경우, 또는 데이터 생성 장치가 콘텐츠 정보에서 지시된 객체 콘텐츠가 미리 설정된 객체 콘텐츠인지를 판정하는 경우 중 하나 이상의 경우를 포함한다. 전술한 경우 중 어느 하나 이상의 경우에 대한 판정 결과가 예일 때, 데이터 생성 장치는 공간 객체 정보가 미리 설정된 조건을 만족하는 것으로 결정한다.
선택적으로, 본 발명의 이 실시예는 단계(804)를 포함할 수 있다: 데이터 생성 장치가 볼륨 증가 지시 정보를 생성한다.
본 출원의 이 실시예의 일부 실시예에서, 공간 객체 정보가 미리 설정된 조건을 만족한다고 결정한 후, 데이터 생성 장치는 볼륨 증가 지시 정보를 생성한다. 볼륨 증가 지시 정보는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 증가시키도록 지시하는 데 사용된다. 볼륨 증가 지시 정보는 볼륨을 증가시켜야 하는 볼륨 값을 가질 수 있고, 볼륨 증가 지시 정보에서 운반되는 볼륨 값은 양의 값, 예를 들어 3dB, 8dB, 10dB 또는 15dB일 수 있다. 다르게는, 볼륨 증가 지시 정보는 볼륨을 증가시켜야 하는 볼륨 값을 운반하지 않을 수 있다. 이것은 여기에서 제한되지 않는다.
선택적으로, 본 발명의 이 실시예는 단계(805)를 포함할 수 있다: 데이터 생성 장치가 볼륨 감소 지시 정보를 생성한다.
본 출원의 이 실시예의 일부 실시예에서, 공간 객체 정보가 미리 설정된 조건을 만족하지 않는다고 결정한 후, 데이터 생성 장치는 볼륨 감소 지시 정보를 생성한다. 볼륨 감소 지시 정보는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 감소시키도록 지시하는 데 사용된다. 볼륨 감소 지시 정보는 볼륨이 감소되어야 하는 볼륨 값을 가질 수 있으며, 볼륨 감소 지시 정보에 포함된 볼륨 값은 음의 값 또는 양의 값, 예를 들어 -3dB, -8dB, -10dB 또는 -15dB일 수 있다. 다르게는, 볼륨 감소 지시 정보는 볼륨이 감소되어야 하는 볼륨 값을 운반하지 않을 수 있다. 이것은 여기에서 제한되지 않는다.
단계(806): 데이터 생성 장치가 공간 사운드 데이터를 생성한다.
본 출원의 이 실시예에서, 방위 정보 및 콘텐츠 정보를 획득한 후, 데이터 생성 장치는 공간 사운드 데이터를 생성한다. 공간 사운드 데이터는 공간 사운드를 생성하도록 지시하는 데 사용된다. 구체적으로, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보를 포함하거나, 또는 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호를 포함하고, 적어도 2개의 모노포닉 신호는 2개의 모노포닉 신호에 대응하는 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 생성한다.
공간 사운드 데이터가 방위 정보 및 콘텐츠 정보를 포함할 때, 공간 사운드 데이터는 볼륨 정보 등을 더 포함할 수 있다. ETSI TS 103 223 표준에서, 공간 사운드 데이터는 구체적으로 공간 오디오 객체로 표현되고, 공간 오디오 객체에 포함된 다양한 유형의 정보는 구체적으로 어레이(array) 필드로 표현된다. 또한, ETSI TS 103 223 표준은 "객체 기반 오디오 몰입형 사운드 메타데이터 및 비트스트림"에 대한 표준을 제공한다. 이 표준은 다음 경우: 음원과 듣는 사용자의 위치 사이의 거리와 방위를 반영할 수 있는 몰입형 사운드 메타데이터 및 비트스트림이 사용자의 위치 좌표와 음원의 위치 좌표에 기반하여 계산되는 경우를 지원한다. ETSI TS 103 223 표준은 단지 공간 사운드 데이터에 대한 참조 표준이라는 점에 유의해야 한다. 실제 구현에서는 다른 표준을 참조하거나 ETSI TS 103 223 표준에 기반하여 수정이 이루어질 수 있다. 본 출원의 이 실시예에서, ETSI TS 103 223 표준은 단지 설명을 위한 예로서 사용된다. ETSI TS 103 223 표준을 참조하면, 공간 사운드 데이터에서의 위치 정보는 구체적으로 위치(position) 필드로 표현되고, 콘텐츠 정보는 구체적으로 콘텐츠(contentkind) 필드로 표현되고, 볼륨 정보는 구체적으로 볼륨 이득(gain) 필드로 표현될 수 있다. 예는 여기에서 완전히 나열되어 있지 않다.
본 출원의 이 실시예에서, 단계(803 내지 805)는 선택적 단계이다. 단계(803) 내지 단계(805) 중 어느 것도 수행하지 않으면, 또는 단계(803) 및 단계(804)를 수행하고 단계(805)를 수행하지 않으며, 단계(803)의 실행 결과가 공간 객체 정보가 미리 설정된 조건을 만족하지 않는 것이면, 또는 단계(803) 및 단계(803) 및 단계(805)가 수행되고, 단계(804)가 수행되지 않으며, 단계(803)의 실행 결과가 공간 객체 정보가 미리 설정된 조건을 만족하는 것이면, 단계(806)는: 데이터 생성 장치가 방위 정보 및 콘텐츠 정보에 기반하여 공간 데이터를 생성하는 것을 포함할 수 있다. 구체적으로, ETSI TS 103 223 표준에서는 좌표 형태의 방위 정보 및 콘텐츠 정보를 획득한 후, 데이터 생성 장치는 방위 정보를 위치 필드의 필드 값으로 결정하고, 콘텐츠 정보를 콘텐츠 필드의 필드 값으로 결정하며, 공간 오디오 객체의 다른 필드에 대한 기본값을 사용하여 공간 오디오 객체를 획득한다.
단계(803) 내지 단계(805)를 모두 수행하고 단계(803)의 실행 결과가 공간 객체 정보가 미리 설정된 조건을 만족하는 것이면, 또는 단계(803) 및 단계(804)를 수행하고, 단계(805)를 수행하지 않으며, 단계(803)의 실행 결과가 공간 객체 정보가 미리 설정된 조건을 만족하는 것이면, 단계(806)는: 데이터 생성 장치가 방위 정보, 콘텐츠 정보 및 볼륨 증가 지시 정보에 기반하여 공간 사운드 데이터를 생성하는 것을 포함한다. 구체적으로, ETSI TS 103 223 표준에서, 데이터 생성 장치는 좌표 형태의 방위 정보 및 콘텐츠 정보를 획득한 후, 방위 정보를 위치 필드의 필드 값으로 결정하고, 콘텐츠 정보를 콘텐츠 필드의 필드 값으로 결정할 수 있다. 볼륨 증가 지시 정보가 볼륨을 증가시켜야 하는 볼륨 값을 운반하면, 볼륨을 증가시켜야 하는 볼륨 값은 볼륨 이득 필드의 필드 값으로 결정될 수 있다. 볼륨 증가 지시 정보가 볼륨을 증가시켜야 하는 볼륨 값을 운반하지 않으면, 볼륨 이득 필드의 필드 값은 미리 설정된 값만큼 증가될 수 있다. 예를 들어, 볼륨 이득 필드의 필드 값은 3dB, 8dB, 10dB 또는 15dB일 수 있다. 본 출원의 실시예에서, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보일 때, 볼륨 증가 지시 정보가 생성되고, 볼륨 증가 지시 정보는 공간 객체에 대응하는 공간 사운드의 볼륨을 증가시키는 것을 지시하며, 다시 말해서, 미리 설정된 객체 콘텐츠를 갖는 공간 객체에 대한 재생 볼륨이 증가되어, 사용자의 관심을 끌 수 있고, 사용자가 미리 설정된 객체 콘텐츠를 갖는 공간 객체를 놓치는 것을 방지할 수 있다. 이러한 방식으로, 내비게이션 프로세스의 보안이 향상되고 사용자가 관심 공간 객체를 놓치는 것을 방지할 수 있으므로, 이 솔루션의 사용자 점도가 향상된다.
단계(803) 내지 단계(805)를 모두 수행하고, 단계(803)의 실행 결과가 공간 객체 정보가 미리 설정된 조건을 만족하지 않는 것이면, 또는 단계(803) 및 단계(805)를 수행하고, 단계(804)를 수행하지 않으며, 단계(803)의 실행 결과가 공간 객체 정보가 미리 설정된 조건을 만족하지 않는 것이면, 단계(806)는: 데이터 생성 장치가 방위 정보, 콘텐츠 정보 및 볼륨 감소 지시 정보에 기반하여 공간 사운드 데이터를 생성하는 것을 포함한다. 구체적으로, ETSI TS 103 223 표준에서 헤드셋은 좌표 형태의 방위 정보 및 콘텐츠 정보를 획득한 후, 방위 정보를 위치 필드의 필드 값으로 결정하고, 콘텐츠 정보를 콘텐츠 필드의 필드 값으로 결정할 수 있다. 볼륨 감소 지시 정보가 볼륨을 감소시켜야 하는 볼륨 값을 운반하면, 볼륨 이득 필드의 필드 값은 볼륨을 감소시켜야 하는 볼륨 값에 기반하여 결정될 수 있으며, 볼륨 이득 필드의 필드 값은 음의 값이다. 볼륨 감소 지시 정보가 볼륨을 감소시켜야 하는 볼륨 값을 운반하지 않으면, 볼륨 이득 필드의 필드 값은 미리 설정된 값만큼 감소될 수 있다. 예를 들어, 볼륨 이득 필드의 필드 값은 -3dB, -8dB, -10dB 또는 -15dB일 수 있다.
또한, 전술한 세 가지 경우에 있어서, 공간 사운드 데이터가 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호이면, 보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오에서의 제3 구현, 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하는 시나리오의 제3 구현, 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제3 구현 및 제6 구현에서, 또는 보행 내비게이션 및 차량 내 내비게이션 시나리오의 제1 구현, 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하는 시나리오의 제1 구현 및 제4 구현, 그리고 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제1 구현 및 제4 구현에서, 방위 정보 및 콘텐츠 정보가 생성된 후, 단계(806)는: 데이터 생성 장치가 콘텐츠 정보 및 방위 정보에 기반하여 렌더링 작동을 수행하여 적어도 2개의 모노포닉 신호를 생성하는 것을 포함할 수 있다. 적어도 2개의 모노포닉 신호는 2개의 모노포닉 신호에 대응하는 음향-전기 에너지 변환 모듈에 의해 동시에 재생되어 공간 사운드를 생성한다.
구체적으로, 공간 사운드 데이터에 기반하여 렌더링 작동을 수행하는 프로세스에서, 렌더링 작동은 구체적으로 특정 알고리즘 또는 데이터 처리 작동을 사용하여 공간 방위 정보를 오디오 스트림 데이터에 통합하여, 최종적으로 적어도 2개의 모노포닉 신호를 생성한다. 적어도 2개의 모노포닉 신호는 2개의 모노포닉 신호에 대응하는 음향-전기 에너지 변환 모듈에 의해 동시에 재생되어 공간 사운드를 생성한다. 렌더링 함수 라이브러리는 데이터 생성 장치 또는 오디오 재생 장치에 미리 구성될 수 있다. 공간 사운드 데이터를 획득한 후, 공간 사운드 데이터의 방위 정보에 대응하는 좌측 귀 렌더링 함수(left-ear rendering function) 및 우측 귀 렌더링 함수(right-ear rendering function)를 획득하고, 공간 사운드 데이터 내의 콘텐츠 정보에 대응하는 오디오 스트림 데이터를 획득하며, 콘텐츠 정보에 대응하는 오디오 스트림 데이터는 좌측 귀 렌더링 함수를 사용하여 렌더링되어 좌측 채널 신호(left-channel signal)를 획득하고, 콘텐츠 정보에 대응하는 오디오 스트림 데이터는 우측 귀 렌더링 함수를 사용하여 렌더링되어 우측 채널 신호(right-channel signal)를 획득한다. 좌측 채널 신호와 우측 채널 신호는 2개의 모노포닉 신호이다. 보다 구체적으로, 공간 객체 정보가 오디오 스트림 형태의 내비게이션 데이터를 포함하면, 오디오 스트림 형태의 콘텐츠 정보가 공간 객체 정보로부터 추출될 수 있다. 공간 객체 정보가 텍스트 형태의 내비게이션 데이터를 포함하면, 공간 사운드 데이터의 콘텐츠 정보는 오디오 스트림 형태의 콘텐츠 정보로 변환되어야 한다.
또한, 여기에서는 오디오 재생 장치가 헤드셋인 예를 사용하여, 공간 사운드 데이터에 기반하여 공간 사운드를 생성하는 구체적인 구현을 설명한다. 일 구현에서, 좌측 귀 렌더링 함수 및 우측 귀 렌더링 함수 각각은 헤드 관련 임펄스 응답(head related impulse response, HRIR) 함수이다. 이 경우, 공간 사운드 데이터의 콘텐츠 정보에 대응하는 PCM 데이터가 획득되어야 하고, 공간 사운드 데이터의 위치 정보에 대응하는 좌측 귀 HRIR 함수와 우측 귀 HRIR 함수가 획득되며, 컨볼루션 처리가 PCM 데이터 그리고 좌측 귀 HRIR 함수 및 우측 귀 HRIR 함수 각각에 대해 수행되어 좌측 채널 신호 및 우측 채널 신호를 획득하며, 그런 다음 오디오 재생 장치의 좌우 음향-전기 에너지 변환 모듈을 사용하여 좌측 채널 신호 및 우측 채널 신호를 재생할 수 있다. 다른 구현에서, 좌측 귀 렌더링 함수 및 우측 귀 렌더링 함수 각각은 헤드 관련 전달 함수(head related transfer function, HRTF)이다. 이 경우, 공간 사운드 데이터에서 콘텐츠 정보에 대응하는 PCM 데이터를 획득해야 하고, 공간 데이터에서 위치 정보에 대응하는 좌측 귀 HRTF 함수와 우측 귀 HRTF 함수를 획득하며, PCM 데이터는 주파수 도메인으로 변환되어 변환된 오디오 스트림 데이터를 획득하고, 변환된 오디오 스트림 데이터에 좌측 귀 HRTF 함수와 우측 귀 HRTF 함수 각각을 곱하며, 곱한 후 획득되는 신호를 시간 도메인으로 변환하여 좌측 채널 신호 및 우측 채널 신호를 획득하고, 그런 다음 오디오 재생 장치의 좌우 음향-전기 에너지 변환 모듈을 사용하여 좌측 채널 신호와 우측 채널 신호를 재생할 수 있다. 여기서, 오디오 재생 장치가 헤드셋의 음향-전기 에너지 변환 모듈인 예를 사용하는 것은 이 솔루션의 구현 가능성을 증명하기 위한 것일 뿐이다. 오디오 재생 장치가 다른 형태일 때, 이 솔루션이 적용 가능함을 유추를 통해 학습할 수 있다. 공간 사운드를 생성하는 방식은 여기에서 제한되지 않는다.
선택적으로, 본 발명의 이 실시예는 단계(807)를 포함할 수 있다: 데이터 생성 장치 또는 오디오 재생 장치가 공간 사운드 데이터에 기반하여 공간 사운드를 재생한다.
본 출원의 이 실시예에서, 공간 사운드 데이터를 생성한 후, 데이터 생성 장치는 공간 사운드 데이터에 기반하여 공간 사운드를 재생할 수 있다. 공간 사운드는 사운드이다. 공간 사운드의 음원 위치는 방위 정보에 대응하고, 공간 사운드에 대한 재생 콘텐츠는 콘텐츠 정보이다.
공간 사운드 데이터가 콘텐츠 정보 및 방위 정보를 포함하면, 보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오의 제2 구현에서, 네트워크 측 또는 단말에 저장된 지도 데이터를 사용하는 시나리오의 제2 구현 시나리오 및 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제2 구현 및 제5 구현에서, 데이터 생성 장치와 오디오 재생 장치가 서로 다른 독립 디바이스에 위치되므로, 콘텐츠 정보 및 방위 정보를 포함하는 공간 사운드 데이터를 생성한 후, 데이터 생성 장치는 콘텐츠 정보 및 방위 정보를 포함하는 공간 사운드 데이터를 오디오 재생 장치로 송신하고, 오디오 재생 장치는 콘텐츠 정보 및 방위 정보에 기반하여 렌더링 작동을 수행하여 적어도 2개의 모노포닉 신호를 생성하고, 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈에 전송하여, 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생한다. 선택적으로, 오디오 재생 장치는 공간 사운드 데이터에 기반하여 적어도 2개의 모노포닉 신호를 생성한 후, 실시간으로 오디오 재생 장치의 자세를 추가로 획득하고, 오디오 재생 장치의 자세 및 공간 사운드 데이터에 기반하여 변환된 공간 방위 정보를 획득하며, 공간 사운드 데이터를 오디오 스트림 형태로 재렌더링하고, 재렌더링 작동이 수행된 후 획득된 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여, 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생한다. 재렌더링은 특정 알고리즘 또는 데이터 처리 연산을 사용하여, 변환된 공간 방위 정보를 오디오 스트림 데이터에 통합하여 최종적으로 적어도 2개의 모노포닉 신호를 생성하는 수단을 의미한다. 본 출원의 이 실시예에서, 적어도 2개의 모노포닉 신호에 포함되는 모노포닉 신호의 수량은 오디오 재생 장치에 포함된 음향-전기 에너지 변환 모듈의 수량과 일치한다.
다르게는, 보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오의 제1 구현, 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하는 시나리오의 제1 구현 및 제4 구현, 그리고 센서를 사용하여 주변의 공간 객체를 감지하고 설명하는 시나리오의 제1 구현 및 제4 구현에서, 데이터 생성 장치와 오디오 재생 장치는 동일한 디바이스로 통합되며, 공간 사운드 데이터가 콘텐츠 정보 및 방위 정보를 포함하면, 데이터 생성 장치는 먼저 콘텐츠 정보 및 방위 정보에 기반하여 적어도 2개의 모노포닉 신호를 생성하고, 내부 인터페이스를 사용하여 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여, 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생한다. 내부 인터페이스는 특히 하드웨어 회로 기판의 트레이스로 표현될 수 있다. 선택적으로, 데이터 생성 장치와 오디오 재생 장치는 동일한 디바이스로 통합되므로, 데이터 생성 장치는 자이로스코프 또는 차량의 핸들과 같은 자세 측정 엘리먼트를 사용하여 오디오 재생 장치의 자세를 직접 획득할 수 있으며, 오디오 재생 장치의 자세에 기반하여 오디오 스트림 형태의 콘텐츠 정보를 재렌더링하여, 재렌더링 작동이 수행된 후 획득된 적어도 2개의 모노포닉 신호를 획득하고, 그런 다음, 내부 인터페이스를 사용하여 적어도 2개의 모노포닉 신호를 오디오 재생 장치로 전송하여 공간 사운드를 재생한다.
공간 사운드 데이터가 콘텐츠 정보 및 방위 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호를 포함하면, 보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오의 제3 구현, 네트워크 측 또는 단말 측에 저장되는 지도 데이터를 사용하는 시나리오의 제3 구현, 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제3 및 제6 구현에서, 데이터 생성 장치는 적어도 2개의 모노포닉 신호를 오디오 재생 장치에 송신하고, 오디오 재생 장치는 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈에 입력하여 공간 사운드를 재생한다. 선택적으로, 오디오 재생 장치는 오디오 재생 장치의 자세를 획득하고, 오디오 재생 장치의 자세를 데이터 생성 장치에 송신할 수 있으며, 데이터 생성 장치는 오디오 재생 장치의 자세에 기반하여 오디오 스트림의 형태로 콘텐츠 정보를 재렌더링하고, 데이터 생성 장치는 재렌더링 작동이 수행된 후 획득된 적어도 2개의 모노포닉 신호를 오디오 재생 장치로 송신하며, 오디오 재생 장치는 재렌더링 작동이 수행된 후에 획득된 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈에 입력하여 공간 사운드를 재생한다.
다르게는, 보행 내비게이션 시나리오 및 차량 내 내비게이션 시나리오의 제1 구현, 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하는 시나리오의 제1 구현 및 제4 구현, 그리고 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오의 제1 구현 및 제4 구현에서, 공간 사운드 데이터가 적어도 2개의 모노포닉 신호를 포함하면, 데이터 생성 장치는 내부 인터페이스를 사용하여 적어도 2개의 모노포닉 신호를 음향-전기 에너지 변환 모듈로 전송하여, 음향-전기 에너지 변환 모듈을 사용하여 공간 사운드를 재생한다.
선택적으로, 공간 사운드 데이터에 기반하여 렌더링 작동을 수행하는 프로세스에서, 공간 사운드를 재생하기 위해, 공간 사운드 데이터의 볼륨 정보에 기반하여 좌측 채널 신호 및 우측 채널 신호의 재생 볼륨을 추가로 조정할 수 있다. 구체적으로, 데이터 생성 장치가 볼륨 증가 지시 정보를 생성하면, 좌측 채널 신호 및 우측 채널 신호의 재생 볼륨이 증가한다. 다르게는, 데이터 생성 장치가 볼륨 감소 지시 정보를 생성하면, 좌측 채널 신호 및 우측 채널 신호의 재생 볼륨이 감소된다.
본 출원의 이 실시예에서, 내비게이션 데이터가 재생될 때, 내비게이션 목적지의 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터가 생성되고, 생성된 공간 사운드 데이터는 공간 사운드가 재생됨을 지시하며, 공간 사운드에 대응하는 음원의 재생 위치가 내비게이션 목적지의 방위 정보와 일치하며, 다시 말해서, 사용자는 들리는 공간 사운드 음원의 재생 위치에 기반하여 정확한 이동 방향을 결정할 수 있다. 이러한 방식으로, 보다 직관적인 재생 방식이 제공되며, 사용자는 사용자의 이동 방향이 정확한지 확인하기 위해 지도를 자주 열 필요가 없다. 조작이 간단하여 내비게이션 프로세스의 효율성이 향상된다. 또한, 공간 객체가 다른 형태의 객체일 때 보다 직관적이고 효율적인 데이터 프레젠테이션 방식을 제공한다.
(2) 공간 객체 정보가 필터링된다.
본 출원의 실시예에서, 도 9는 본 출원의 이 실시예에 따른 데이터 생성 방법의 개략적인 흐름도이다. 본 출원의 이 실시예에서 제공되는 데이터 생성 방법은 다음 단계를 포함할 수 있다.
단계(901): 데이터 생성 장치가 공간 객체 정보를 획득한다.
단계(902): 데이터 생성 장치가 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성한다.
선택적으로, 본 발명의 이 실시예는 단계(903): 데이터 생성 장치가 공간 객체 정보가 미리 설정된 조건을 만족하는지를 판정하는 것을 포함할 수 있다. 공간 객체 정보가 미리 설정된 조건을 만족하면, 단계(904)가 수행된다. 공간 객체 정보가 미리 설정된 조건을 만족하지 않으면 실행이 종료된다.
본 출원의 이 실시예의 일부 실시예에서, 데이터 생성 장치는 공간 객체 정보가 미리 설정된 조건을 만족하는지를 판정한다. 공간 객체 정보가 미리 설정된 조건을 만족하면, 단계(904)가 수행될 수 있다. 공간 객체 정보가 미리 설정된 조건을 만족하지 않으면, 공간 객체 정보에 기반하여 더 이상 공간 사운드 데이터를 생성하지 않고, 이후 단계(901)를 다시 수행하여 다음 공간 객체 정보를 처리할 수 있다.
선택적으로, 본 발명의 이 실시예는 단계(904): 데이터 생성 장치가 볼륨 증가 지시 정보를 생성하는 것을 포함할 수 있다.
본 출원의 이 실시예에서, 데이터 생성 장치가 단계(901 내지 904)를 수행하는 특정 구현은 도 8에 대응하는 실시예에서 단계(801 내지 804)의 특정 구현과 유사하다. 자세한 내용은 여기에서 설명하지 않는다.
단계(905): 데이터 생성 장치가 공간 사운드 데이터를 생성한다.
본 출원의 이 실시예의 일부 실시예에서, 단계(903 및 904)는 선택적 단계이다. 단계(903) 또는 단계(904)가 수행되지 않으면, 또는 단계(903)가 수행되고 단계(904)가 수행되지 않으며, 단계(903)의 실행 결과가 공간 객체 정보가 미리 설정된 조건을 만족하는 것이면, 단계(905)는: 데이터 생성 장치가 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하는 것을 포함한다.
단계(903) 및 단계(904)가 모두 수행되고 단계(903)의 실행 결과가 공간 객체 정보가 미리 설정된 조건을 만족하는 것이면, 단계(806)는: 데이터 생성 장치가 방위 정보, 콘텐츠 정보, 볼륨 증가 지시 정보에 기반하여 공간 사운드 데이터를 생성하는 것을 포함한다.
본 출원의 이 실시예에서, 전술한 방식으로, 공간 사운드 데이터가 생성되기 전에, 공간 객체 정보가 미리 설정된 조건을 만족하는지를 판정하고, 판정 결과가 미리 설정된 조건이 만족되는 경우에만 공간 사운드 데이터가 공간 객체 정보에 기반하여 생성되며, 다시 말해서, 공간 객체 정보가 필터링된다. 이러한 방식으로, 미리 설정된 조건을 만족하지 않는 공간 객체 정보로 인한 컴퓨터 리소스 낭비를 방지하고 사용자에 대한 과도한 방해를 방지함으로써, 이 솔루션의 사용자 점도를 향상시킨다.
선택적으로, 본 발명의 이 실시예는 단계(906): 오디오 재생 장치 또는 데이터 생성 장치가 공간 사운드 데이터에 기반하여 공간 사운드를 재생하는 것을 포함할 수 있다.
본 출원의 이 실시예에서, 데이터 생성 장치가 단계(905 및 906)를 수행하는 특정 구현에 대해서는, 도 8 대응하는 실시예에서 단계(806 및 807)의 특정 구현에 대한 설명을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
도 1 내지 도 9에 대응하는 실시예에 기반하여, 본 출원의 실시예에서 솔루션을 더 잘 구현하기 위해, 솔루션을 구현하기 위한 관련 장치가 아래에 추가로 제공된다. 구체적으로, 도 10은 본 출원의 실시예에 따른 데이터 생성 장치의 구조의 개략도이다. 데이터 생성 장치(100)는 획득 모듈(1001) 및 생성 모듈(1002)을 포함한다. 획득 모듈(1001)은 공간 객체 정보를 획득하도록 구성된다. 공간 객체 정보는 데이터 생성 장치에 대한 공간 객체의 방위 정보를 획득하는 데 사용된다. 구체적인 구현에 대해서는 도 8에 대응하는 실시예의 단계(801)의 설명을 참조한다. 생성 모듈(1002)은 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하도록 구성된다. 방위 정보는 공간 객체 정보에서 지시되는 공간 객체의 데이터 생성 장치에 대한 방위를 지시하는 데 사용된다. 콘텐츠 정보는 공간 객체를 설명하는 데 사용된다. 특정 구현에 대해서는, 도 8에 대응하는 실시예에서 단계(802)의 설명을 참조한다. 생성 모듈(1002)은 추가로, 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하도록 구성된다. 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되며, 공간 사운드의 음원 위치는 방위 정보에 대응한다. 특정 구현에 대해서는, 도 8에 대응하는 실시예에서 단계(802) 및 도 9에 대응하는 실시예의 단계(905)의 설명을 참조한다. 구체적인 내용은 본 출원의 실시예에 도시된 전술한 방법 실시예의 설명을 참조한다. 자세한 내용은 여기에서 설명하지 않는다.
본 출원의 이 실시예에서, 내비게이션 데이터가 재생될 때, 생성 모듈(1002)은 내비게이션 목적지의 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하고, 생성된 공간 사운드 데이터는 공간 사운드가 재생됨을 지시하며, 공간 사운드에 대응하는 음원의 재생 위치가 내비게이션 목적지의 방위 정보와 일치하며, 다시 말해서, 사용자는 들리는 공간 사운드 음원의 재생 위치에 기반하여 정확한 이동 방향을 결정할 수 있다. 이와 같이 보다 직관적인 재생 방식이 제공되며, 사용자는 사용자의 이동 방향이 정확한지 확인하기 위해 지도를 자주 열 필요가 없다. 조작이 간단하여 내비게이션 프로세스의 효율성이 향상된다. 또한, 공간 객체가 다른 형태의 객체일 때 보다 직관적이고 효율적인 데이터 프레젠테이션 방식을 제공한다.
일 구현에서, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보를 포함하거나, 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호를 포함하고, 적어도 2개의 모노포닉 신호는 2개의 모노포닉 신호에 대응하는 음향-전기 에너지 변환 모듈을 사용하여 동시에 재생되어 공간 사운드를 생성한다.
가능한 설계에서, 생성 모듈(1002)은 구체적으로, 데이터 생성 장치의 위치 또는 자세 중 적어도 하나 및 공간 객체 정보에 기반하여 방위 정보를 생성하도록 구성된다. 특정 구현에 대해서는, 도 8에 대응하는 실시예에서 단계(802)의 설명을 참조한다.
본 출원의 실시예에서, 생성 모듈(1002)은 자세 및 공간 객체 정보에 기반하여 방위 정보를 생성하므로, 사용자가 최종적으로 들은 공간 사운드의 음원의 위치가 단말 디바이스에 대한 공간 객체의 방위 정보와 일치하여, 공간 사운드의 정확도를 향상시킨다.
가능한 설계에서, 획득 모듈(1001)은 구체적으로, 공간 객체 정보를 수신하도록 구성된다. 구체적인 구현에 대해서는 도 8에 대응하는 실시예의 단계(801)의 설명을 참조하거나, 보행 내비게이션 시나리오, 차량 내 내비게이션 시나리오 및 네트워크 측 또는 단말 측에 저장된 지도 데이터를 사용하여 주변 공간 객체를 설명하는 시나리오의 설명을 참조한다. 다르게는, 획득 모듈(1001)은 구체적으로, 센서를 사용하여 공간 객체 정보를 수집하도록 구성된다. 구체적인 구현에 대해서는 도 8에 대응하는 실시예의 단계(801)의 설명을 참조하거나, 센서를 사용하여 주변 공간 객체를 감지하고 설명하는 시나리오에 대한 설명을 참조한다.
본 출원의 이 실시예에서, 생성 모듈(1002)은 이 솔루션에서 제공되는 데이터 프레젠테이션 방식을 복수의 애플리케이션 시나리오에 적용할 수 있고, 이 솔루션의 애플리케이션 시나리오는 확장된다. 이는 이 솔루션의 구현 유연성을 향상시킨다.
가능한 설계에서, 획득 모듈(1001)은 구체적으로 다음 세 가지 방식: 애플리케이션 프로그램에 의해 생성된 오디오 스트림 데이터를 수신하는 방식; 애플리케이션 프로그램에 의해 생성된 인터페이스 데이터를 수신하는 방식; 또는 네트워크 측 또는 단말 측에 저장된 지도 데이터를 수신하는 방식 중 적어도 하나로 공간 객체 정보를 수신하도록 구성된다. 구체적인 구현에 대해서는 도 8에 대응하는 실시예의 단계(801)의 설명을 참조한다.
가능한 설계에서, 센서는 감광 센서, 사운드 센서, 이미지 센서, 적외선 센서, 열감지 센서, 압력 센서, 또는 관성 센서 중 적어도 하나를 포함한다.
가능한 설계에서, 생성 모듈(1002)은 구체적으로, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때, 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하도록 구성된다. 구체적인 구현에 대해서는 도 8에 대응하는 실시예의 단계(903 내지 905)의 설명을 참조한다.
본 출원의 이 실시예에서, 생성 모듈(1002)이 공간 사운드 데이터를 생성하기 전에, 공간 객체 정보가 미리 설정된 조건을 만족하는지가 판정되고, 판정 결과가 미리 설정된 조건이 만족되는 경우에만 공간 사운드 데이터는 공간 객체 정보에 기반하여 생성되며, 다시 말해서, 공간 객체 정보가 필터링된다. 이러한 방식으로, 미리 설정된 조건을 만족하지 않는 공간 객체 정보로 인한 컴퓨터 리소스 낭비를 방지하고, 사용자에 대한 과도한 방해를 방지하여 이 솔루션의 사용자 점도를 향상시킨다.
가능한 설계에서, 생성 모듈(1002)은 추가로, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때 볼륨 증가 지시 정보를 생성하도록 구성된다. 볼륨 증가 지시 정보는 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 증가시키도록 지시하는 데 사용된다. 특정 구현을 위해, 도 8에 대응하는 실시예의 단계(803 및 804)의 설명을 참조한다.
본 출원의 이 실시예에서, 생성 모듈(1002)은 미리 설정된 객체 콘텐츠를 갖는 공간 객체에 대한 재생 볼륨을 증가시켜 사용자의 주의를 끌 수 있고, 사용자가 미리 설정된 객체 콘텐츠를 갖는 공간 객체를 놓치는 것을 방지할 수 있다. 이러한 방식으로, 내비게이션 프로세스의 보안이 향상되고 사용자가 관심 공간 객체를 놓치는 것을 방지할 수 있으므로 이 솔루션의 사용자 점도가 향상된다.
가능한 설계에서, 생성 모듈(1002)은 추가로, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때 볼륨 감소 지시 정보를 생성하도록 구성된다. 볼륨 감소 지시 정보는 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 감소시키도록 지시하는 데 사용된다. 특정 구현에 대해서는, 도 8에 대응하는 실시예의 단계(803 및 805)의 설명을 참조한다.
가능한 설계에서, 미리 설정된 조건을 만족하는 공간 객체 정보는 미리 설정된 공간 위치 영역, 미리 설정된 공간 방향 또는 미리 설정된 객체 콘텐츠를 포함하는 공간 객체 정보이다.
가능한 설계에서, 생성 모듈(1002)은 구체적으로, 방위 정보, 콘텐츠 정보, 및 오디오 재생 장치의 자세에 기반하여 콘텐츠 정보에 대응하는 오디오 스트림 데이터에 대한 렌더링 작동을 수행하여 공간 사운드 데이터를 생성하도록 구성된다. 공간 사운드 데이터는 방위 정보 및 콘텐츠 정보에 기반하여 생성된 적어도 2개의 모노포닉 신호를 포함한다. 특정 구현에 대해서는, 도 8에 대응하는 실시예의 단계(806)의 설명을 참조한다.
가능한 설계에서, 데이터 생성 장치(100)는 헤드셋, 모바일폰, 휴대용 컴퓨터, 내비게이터 또는 차량 중 적어도 하나를 포함한다.
가능한 설계에서, 오디오 재생 장치가 듀얼 채널 헤드셋일 때, 미리 설정된 공간 방향은 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향이고, 오디오 재생 장치는 공간 사운드를 재생하도록 구성된다.
본 출원의 이 실시예에서, 데이터 생성 장치(100)는 구체적으로 도 1, 도 5, 또는 도 6에 대응하는 실시예의 단말 디바이스, 도 2 내지 도 4 및 도 7의 데이터 생성 장치 등일 수 있다. 이것은 여기에서 제한되지 않는다. 또한, 데이터 생성 장치(100) 내의 모듈/유닛 간의 정보 교환 및 실행 프로세스 등의 내용은 본 출원의 실시예에서 도 1 내지 도 9에 대응하는 방법 실시예와 동일한 개념에 기반함을 유의하여야 한다. 구체적인 내용은 본 출원의 실시예에 도시된 방법 실시예의 설명을 참조한다. 자세한 내용은 여기에서 설명하지 않는다. 또한, 데이터 생성 장치(100)는 하나의 장치일 수도 있고 2개의 서로 다른 장치일 수도 있다. 콘텐츠 정보 및 방위 정보를 생성하는 단계는 하나의 장치에서 수행되고, 콘텐츠 정보 및 방위 정보에 기반하여 공간 사운드 데이터를 생성하는 단계는 다른 장치에서 수행된다.
본 출원의 실시예에서 제공되는 데이터 생성 장치가 아래에서 설명된다. 도 11은 본 출원의 실시예에 따른 데이터 생성 장치의 구조의 개략도이다. 데이터 생성 장치(1100)는 구체적으로 가상 현실(virtual reality, VR) 디바이스, 모바일폰, 태블릿, 노트북 컴퓨터, 지능형 웨어러블 디바이스, 모니터링 데이터 처리 디바이스, 레이더(radar) 데이터 처리 디바이스 등으로 표현될 수 있다. 이것은 여기에서 제한되지 않는다. 도 10에 대응하는 실시예에서 설명한 데이터 생성 장치(100)는 도 1 내지 도 9에 대응하는 실시예에서 데이터 생성 장치의 기능을 구현하기 위해 데이터 생성 장치(1100)에 배치될 수 있다. 구체적으로, 데이터 생성 장치(1100)는 수신기(1101), 송신기(1102), 프로세서(1103), 및 메모리(1104)를 포함한다(데이터 생성 장치(1100)는 하나 이상의 프로세서(1103)를 포함할 수 있고, 하나의 프로세서가 도 11에서 예로 사용된다). 프로세서(1103)는 애플리케이션 프로세서(11031) 및 통신 프로세서(11032)를 포함할 수 있다. 본 출원의 이 실시예의 일부 실시예에서, 수신기(1101), 송신기(1102), 프로세서(1103), 및 메모리(1104)는 버스 또는 다른 방식을 사용하여 연결될 수 있다.
메모리(1104)는 읽기 전용 메모리 및 랜덤 액세스 메모리를 포함할 수 있고, 명령 및 데이터를 프로세서(1103)에 제공할 수 있다. 메모리(1104)의 일부는 비휘발성 랜덤 액세스 메모리(non-volatile random access memory, NVRAM)를 더 포함할 수 있다. 메모리(1104)는 프로세서 및 작동 명령, 실행 가능한 모듈, 데이터 구조, 이들의 서브세트, 또는 이들의 확장 세트를 저장한다. 작동 명령은 다양한 작동을 구현하기 위한 다양한 작동 명령을 포함할 수 있다.
프로세서(1103)는 데이터 생성 장치의 작동을 제어한다. 특정 애플리케이션에서, 데이터 생성 장치의 컴포넌트는 버스 시스템을 사용하여 함께 결합된다. 버스 시스템에는 데이터 버스 외에도 전원 버스, 제어 버스 및 상태 신호 버스가 포함된다. 그러나, 명확한 설명을 위해, 도면의 다양한 유형의 버스를 버스 시스템이라고 한다.
본 출원의 전술한 실시예에서 개시된 방법은 프로세서(1103)에 적용되거나 프로세서(1103)에 의해 구현될 수 있다. 프로세서(1103)는 집적 회로 칩일 수 있고 신호 처리 능력을 갖는다. 구현 프로세스에서, 전술한 방법의 각 단계는 프로세서(1103)의 하드웨어 집적 논리 회로 또는 소프트웨어 형태의 명령을 사용하여 완료될 수 있다. 프로세서(1103)는 범용 프로세서, 디지털 신호 프로세서(digital signal processing, DSP), 마이크로프로세서, 또는 마이크로컨트롤러일 수 있고; 또는 주문형 집적 회로(application-specific integrated circuit, ASIC), 필드 프로그램 가능 게이트 어레이(field-programmable gate array, FPGA) 또는 다른 프로그램 가능 논리 디바이스, 이산 게이트 또는 트랜지스터 논리 디바이스, 개별 하드웨어 컴포넌트를 더 포함할 수 있다. 프로세서(1103)는 본 출원의 실시예에 개시된 방법, 단계, 및 논리 블록도를 구현하거나 수행할 수 있다. 범용 프로세서는 마이크로프로세서일 수 있거나, 또는 프로세서는 임의의 통상적인 프로세서 등일 수 있다. 본 출원의 실시예들을 참조하여 개시된 방법들의 단계들은 하드웨어 디코딩 프로세서를 사용하여 직접 수행 및 완료될 수 있거나, 또는 디코딩 프로세서에서 하드웨어 및 소프트웨어 모듈의 조합을 사용하여 수행 및 완료될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 읽기 전용 메모리, 프로그램 가능한 읽기 전용 메모리, 전기적으로 소거 가능한 프로그램 가능한 메모리, 또는 레지스터와 같은 당업계의 성숙한 저장 매체에 위치할 수 있다. 저장 매체는 메모리(1104)에 위치되고, 프로세서(1103)는 메모리(1104)의 정보를 읽고 프로세서의 하드웨어와 결합하여 전술한 방법의 단계를 완료한다.
수신기(1101)는 입력된 디지털 또는 문자 정보를 수신하고, 데이터 생성 장치의 관련 설정 및 기능 제어와 관련된 신호 입력을 생성하도록 구성될 수 있다. 송신기(1102)는 제1 인터페이스를 사용하여 디지털 또는 문자 정보를 출력하도록 구성될 수 있다. 송신기(1102)는 추가로, 디스크 그룹의 데이터를 수정하기 위해 제1 인터페이스를 사용하여 디스크 그룹에 명령을 송신하도록 구성될 수 있다. 송신기(1102)는 디스플레이와 같은 디스플레이 디바이스를 더 포함할 수 있다.
본 출원의 이 실시예에서, 프로세서(1103)는 도 1 내지 도 9에 대응하는 실시예에서 데이터 생성 장치에 의해 수행되는 데이터 생성 방법을 수행하도록 구성된다. 구체적으로, 애플리케이션 프로세서(11031)는 공간 객체 정보를 획득하고 - 공간 객체 정보는 데이터 생성 장치에 대한 공간 객체의 방위 정보를 획득하는 데 사용됨 -; 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하고 - 방위 정보는 공간 객체 정보에서 지시된 공간 객체의 데이터 생성 장치에 대한 방위를 지시하는 데 사용되며, 콘텐츠 정보는 공간 객체를 설명하는 데 사용됨 -, 그리고 방위 정보 및 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하도록 구성되며, 여기서 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되며, 공간 사운드의 음원의 위치는 방위 정보에 대응한다.
가능한 설계에서, 애플리케이션 프로세서(11031)는 구체적으로, 데이터 생성 장치/단말 디바이스의 위치 또는 자세 중 적어도 하나 및 공간 객체 정보에 기반하여 방위 정보를 생성하도록 구성된다.
가능한 설계에서, 애플리케이션 프로세서(11031)는 구체적으로: 공간 객체 정보를 수신하거나; 또는 센서를 사용하여 공간 객체 정보를 수집하도록 구성된다.
가능한 설계에서, 애플리케이션 프로세서(11031)는 구체적으로, 다음 세 가지 방식: 애플리케이션 프로그램에 의해 생성된 오디오 스트림 데이터를 수신하는 방식; 애플리케이션 프로그램에 의해 생성된 인터페이스 데이터를 수신하는 방식; 또는 네트워크 측 또는 단말 측에 저장된 지도 데이터를 수신하는 방식 중 적어도 하나로 공간 객체 정보를 수신하도록 구성된다.
가능한 설계에서, 센서는 감광 센서, 사운드 센서, 이미지 센서, 적외선 센서, 열감지 센서, 압력 센서, 또는 관성 센서 중 적어도 하나를 포함한다.
가능한 설계에서, 애플리케이션 프로세서(11031)는 구체적으로, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때, 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하도록 구성된다.
가능한 설계에서, 애플리케이션 프로세서(11031)는 추가로, 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때 볼륨 증가 지시 정보를 생성하도록 구성된다. 볼륨 증가 지시 정보는 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 증가시키도록 지시하는 데 사용된다.
가능한 설계에서, 미리 설정된 조건을 만족하는 공간 객체 정보는 미리 설정된 공간 위치 영역, 미리 설정된 공간 방향 또는 미리 설정된 객체 콘텐츠를 포함하는 공간 객체 정보이다.
가능한 설계에서, 오디오 재생 장치가 듀얼 채널 헤드셋일 때, 미리 설정된 공간 방향은 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향이고, 오디오 재생 장치는 공간 사운드를 재생하도록 구성된다.
애플리케이션 프로세서(11031)가 전술한 단계들을 수행하는 구체적인 방식은 도 1 내지 도 9에 대응하는 방법 실시예와 동일한 개념에 기반하며, 본 출원의 이 실시예에서 가져오는 기술적 효과는 본 출원의 실시 예에서 도 1 내지 도 9에 대응하는 방법 실시예에서의 기술적 효과와 동일하다는 것에 유의해야 한다. 구체적인 내용은 본 출원의 실시예에 나타난 방법 실시예의 설명을 참조한다. 자세한 내용은 여기에서 설명하지 않는다. 데이터 생성 장치(1100)는 하나의 장치일 수도 있고 2개의 서로 다른 장치일 수도 있다. 콘텐츠 정보 및 방위 정보를 생성하는 단계는 하나의 장치에서 수행되고, 콘텐츠 정보 및 방위 정보에 기반하여 공간 사운드 데이터를 생성하는 단계는 다른 장치에서 수행된다.
본 출원의 실시예는 컴퓨터 판독 가능한 저장 매체를 더 제공한다. 컴퓨터가 판독 가능한 저장 매체는 컴퓨터 프로그램을 저장한다. 컴퓨터 프로그램이 컴퓨터 상에서 실행될 때, 컴퓨터는 도 1 내지 도 9에 도시된 실시예에서 설명된 방법에서 데이터 생성 장치에 의해 수행되는 단계를 수행하도록 인에이블된다.
본 출원의 실시예는 컴퓨터 프로그램 제품을 더 제공한다. 컴퓨터 프로그램 제품이 컴퓨터 상에서 실행될 때, 컴퓨터는 도 1 내지 도 9에 도시된 실시예에서 설명된 방법에서 데이터 생성 장치에 의해 수행되는 단계를 수행하도록 인에이블된다.
본 출원의 실시예는 칩 시스템을 더 제공한다. 칩 시스템은, 예를 들어, 데이터 및/또는 전술한 방법에서의 데이터를 송신하거나 처리하는 것과 같은 전술한 측면에서의 기능을 구현하기 위해 네트워크 디바이스를 지원하도록 구성된 프로세서를 포함한다. 가능한 설계에서, 칩 시스템은 메모리를 더 포함한다. 메모리는 네트워크 디바이스에 필요한 프로그램 명령 및 데이터를 저장하도록 구성된다. 칩 시스템은 칩을 더 포함할 수 있거나, 또는 칩과 다른 개별 디바이스를 포함할 수 있다.
당업자는 전술한 시스템, 장치 및 유닛의 상세한 작동 프로세스에 대해서는 편리하고 간략한 설명을 위해 전술한 방법 실시예의 대응하는 프로세스를 참조함을 명확하게 이해할 수 있으며, 여기서 자세한 내용은 다시 설명하지 않는다.
본 출원에 제공된 여러 실시예에서, 개시된 시스템, 장치 및 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 예를 들어, 설명된 장치 실시예는 단지 예일 뿐이다. 예를 들어 유닛 분할은 논리적 기능 분할에 불과하며 실제 구현 시 다른 분할이 될 수 있다. 예를 들어, 복수의 유닛 또는 컴포넌트가 다른 시스템에 결합되거나 통합될 수 있거나, 일부 기능이 무시되거나 수행되지 않을 수 있다. 또한, 디스플레이 또는 논의된 상호 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통해 구현될 수 있다. 장치 또는 유닛 간의 간접 결합 또는 통신 연결은 전자, 기계 또는 다른 형태로 구현될 수 있다.
별도의 부분으로 설명된 유닛은 물리적으로 분리되거나 분리되지 않을 수 있으며, 유닛으로 디스플레이된 부분은 물리적인 유닛일 수도 있고 아닐 수도 있으며, 즉, 한 위치에 위치하거나 복수의 네트워크 유닛에 분산될 수 있다. 유닛의 일부 또는 전부는 실시예에서 솔루션의 목적을 달성하기 위한 실제 요건에 기반하여 선택될 수 있다.
또한, 본 출원의 실시예에서 기능 유닛은 하나의 처리 유닛으로 통합될 수 있거나, 각각의 유닛이 물리적으로 단독으로 존재할 수 있거나, 또는 둘 이상의 유닛이 하나의 유닛으로 통합될 수 있다. 통합 유닛은 하드웨어의 형태로 구현될 수도 있고, 또는 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
통합 유닛이 소프트웨어 기능 유닛의 형태로 구현되어 독립적인 제품으로 판매 또는 사용되는 경우, 통합 유닛은 컴퓨터가 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해를 바탕으로 본 출원의 기술 솔루션은 본질적으로 기존 기술에 기여하는 부분 또는 일부 기술 솔루션은 소프트웨어 제품의 형태로 구현될 수 있다. 소프트웨어 제품은 저장 매체에 저장되며, 본 출원의 실시예에서 설명된 방법의 모든 또는 일부 단계를 수행하도록 컴퓨터 디바이스(개인용 컴퓨터, 서버 또는 네트워크 디바이스일 수 있음)에 명령하기 위한 여러 개의 명령을 포함한다. 전술한 저장 매체는 USB 플래시 드라이브, 이동식 하드 디스크, 읽기 전용 메모리(ROM, Read-Only Memory), 랜덤 액세스 메모리(RAM, Random Access Memory), 자기 디스크 또는 광 디스크와 같이 프로그램 코드를 저장할 수 있는 모든 매체를 포함한다.
마지막으로, 전술한 실시예들은 단지 본 출원의 기술적 솔루션을 설명하기 위한 것일 뿐, 본 출원을 제한하기 위한 것이 아니라는 점에 유의해야 한다. 본 출원이 전술한 실시예를 참조하여 상세하게 설명되었지만, 당업자는 본 출원의 실시예들의 기술적 솔루션의 정신 및 범위를 벗어나지 않고, 그들이 여전히 전술한 실시예에서 설명된 기술적 솔루션을 수정하거나 일부 기술적 특징에 대해 동등하게 대체할 수 있다는 것을 이해해야 한다.

Claims (24)

  1. 데이터 생성 방법으로서,
    상기 데이터 생성 방법은 데이터 생성 장치에 적용되고,
    상기 데이터 생성 방법은:
    공간 객체 정보를 획득하는 단계 - 상기 공간 객체 정보는 상기 데이터 생성 장치에 대한 공간 객체의 방위 정보를 획득하는 데 사용됨 -;
    상기 공간 객체 정보에 기반하여 콘텐츠 정보 및 상기 방위 정보를 생성하는 단계 - 상기 방위 정보는 상기 공간 객체 정보에서 지시된, 상기 공간 객체의 상기 데이터 생성 장치에 대한 방위를 지시하는 데 사용되며, 상기 콘텐츠 정보는 상기 공간 객체를 설명하는 데 사용됨 -; 및
    상기 방위 정보 및 상기 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하는 단계 - 상기 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되며, 상기 공간 사운드의 음원 위치는 상기 방위 정보에 대응됨 -
    를 포함하는 데이터 생성 방법.
  2. 제1항에 있어서,
    상기 공간 객체 정보에 기반하여 방위 정보를 생성하는 것은,
    상기 데이터 생성 장치의 위치 또는 자세 중 적어도 하나 그리고 상기 공간 객체 정보에 기반하여 상기 방위 정보를 생성하는 단계
    를 포함하는, 데이터 생성 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 공간 객체 정보를 획득하는 단계는,
    상기 공간 객체 정보를 수신하는 단계; 또는
    센서를 사용하여 상기 공간 객체 정보를 수집하는 단계
    를 포함하는, 데이터 생성 방법.
  4. 제3항에 있어서,
    상기 공간 객체 정보를 수신하는 단계는,
    다음 세 가지 방식:
    애플리케이션 프로그램에 의해 생성된 오디오 스트림 데이터를 수신하는 방식, 또는
    애플리케이션 프로그램에 의해 생성된 인터페이스 데이터를 수신하는 방식, 또는
    네트워크 측 또는 단말 측에 저장된 지도 데이터를 수신하는 방식
    중 적어도 하나로 상기 공간 객체 정보를 수신하는 단계
    를 포함하는, 데이터 생성 방법.
  5. 제3항에 있어서,
    상기 센서는 감광 센서, 사운드 센서, 이미지 센서, 적외선 센서, 열감지 센서, 압력 센서 또는 관성 센서 중 적어도 하나를 포함하는, 데이터 생성 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 공간 객체 정보에 기반하여 콘텐츠 정보 및 방위 정보를 생성하는 단계는,
    상기 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때, 상기 공간 객체 정보에 기반하여 상기 콘텐츠 정보 및 상기 방위 정보를 생성하는 단계
    를 포함하는, 데이터 생성 방법.
  7. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 데이터 생성 방법은,
    상기 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정할 때 볼륨 증가 지시 정보를 생성하는 단계
    를 더 포함하고,
    상기 볼륨 증가 지시 정보는 상기 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 증가시키도록 지시하는 데 사용되는, 데이터 생성 방법.
  8. 제6항 또는 제7항에 있어서,
    상기 미리 설정된 조건을 만족하는 공간 객체 정보는 미리 설정된 공간 위치 영역, 미리 설정된 공간 방향 또는 미리 설정된 객체 콘텐츠를 포함하는 공간 객체 정보인, 데이터 생성 방법.
  9. 제8항에 있어서,
    오디오 재생 장치가 듀얼 채널 헤드셋일 때, 상기 미리 설정된 공간 방향은 상기 듀얼 채널 헤드셋을 착용한 사용자의 얼굴 방향이고, 상기 오디오 재생 장치는 상기 공간 사운드를 재생하도록 구성되는, 데이터 생성 방법.
  10. 데이터 생성 장치로서,
    공간 객체 정보를 획득하도록 - 상기 공간 객체 정보는 상기 데이터 생성 장치에 대한 공간 객체의 방위 정보를 획득하는 데 사용됨 - 구성된 획득 모듈; 및
    상기 공간 객체 정보에 기반하여 콘텐츠 정보 및 상기 방위 정보를 생성하도록 - 상기 방위 정보는 상기 공간 객체 정보에서 지시된, 상기 공간 객체의 상기 데이터 생성 장치에 대한 방위를 지시하는 데 사용되며, 상기 콘텐츠 정보는 상기 공간 객체를 설명하는 데 사용됨 - 구성된 생성 모듈
    을 포함하고,
    상기 생성 모듈은 추가로, 상기 방위 정보 및 상기 콘텐츠 정보에 기반하여 공간 사운드 데이터를 생성하도록 구성되며, 상기 공간 사운드 데이터는 공간 사운드를 재생하는 데 사용되며, 상기 공간 사운드의 음원 위치는 상기 방위 정보에 대응되는, 데이터 생성 장치.
  11. 제10항에 있어서,
    상기 생성 모듈은 구체적으로,
    상기 단말 디바이스의 위치 또는 자세 중 적어도 하나 그리고 상기 공간 객체 정보에 기반하여 상기 방위 정보를 생성하도록 구성되는, 데이터 생성 장치.
  12. 제10항 또는 제11항에 있어서,
    상기 획득 모듈은 구체적으로,
    상기 공간 객체 정보를 수신하거나, 또는 센서를 사용하여 상기 공간 객체 정보를 수집하도록 구성되는, 데이터 생성 장치.
  13. 제12항에 있어서,
    상기 획득 모듈은 구체적으로,
    다음 세 가지 방식:
    애플리케이션 프로그램에 의해 생성된 오디오 스트림 데이터를 수신하는 방식, 또는
    애플리케이션 프로그램에 의해 생성된 인터페이스 데이터를 수신하는 방식, 또는
    네트워크 측 또는 단말 측에 저장된 지도 데이터를 수신하는 방식
    중 적어도 하나로 상기 공간 객체 정보를 수신하도록 구성되는, 데이터 생성 장치.
  14. 제15항에 있어서,
    상기 센서는 감광 센서, 사운드 센서, 이미지 센서, 적외선 센서, 열감지 센서, 압력 센서 또는 관성 센서 중 적어도 하나를 포함하는, 데이터 생성 장치.
  15. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 생성 모듈은 구체적으로,
    상기 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때, 상기 공간 객체 정보에 기반하여 상기 콘텐츠 정보 및 상기 방위 정보를 생성하도록 구성되는, 데이터 생성 장치.
  16. 제10항 내지 제14항 중 어느 한 항에 있어서,
    상기 생성 모듈은 추가로,
    상기 공간 객체 정보가 미리 설정된 조건을 만족하는 공간 객체 정보인 것으로 결정될 때 볼륨 증가 지시 정보를 생성하도록 구성되고,
    상기 볼륨 증가 지시 정보는 상기 미리 설정된 조건을 만족하는 공간 객체 정보에 대응하는 공간 사운드의 볼륨을 증가시키도록 지시하는 데 사용되는, 데이터 생성 장치.
  17. 제15항 또는 제16항에 있어서,
    상기 미리 설정된 조건을 만족하는 공간 객체 정보는 미리 설정된 공간 위치 영역, 미리 설정된 공간 방향 또는 미리 설정된 객체 콘텐츠를 포함하는 공간 객체 정보인, 데이터 생성 장치.
  18. 제10항 내지 제17항 중 어느 한 항에 있어서,
    상기 데이터 생성 장치는 헤드셋, 모바일폰, 휴대용 컴퓨터, 내비게이터 또는 차량 중 적어도 하나를 포함하는, 데이터 생성 장치.
  19. 데이터 생성 장치로서,
    메모리 및 프로세서
    를 포함하고,
    상기 메모리는 컴퓨터 프로그램 명령을 저장하고, 상기 프로세서는 상기 컴퓨터 프로그램 명령을 실행하여 제1항 내지 제9항 중 어느 한 항에 따른 작동을 수행하는, 데이터 생성 장치.
  20. 제19항에 있어서,
    상기 데이터 생성 장치는
    공간 객체 정보를 수신하도록 구성된 송수신기
    를 더 포함하는 데이터 생성 장치.
  21. 제19항에 있어서,
    상기 데이터 생성 장치는
    공간 객체 정보를 수집하도록 구성된 센서
    를 더 포함하는 데이터 생성 장치.
  22. 제19항 내지 제21항 중 어느 한 항에 있어서,
    상기 데이터 생성 장치는 헤드셋, 모바일폰, 휴대용 컴퓨터, 내비게이터 또는 차량 중 적어도 하나를 포함하는, 데이터 생성 장치.
  23. 컴퓨터 명령을 포함하는, 컴퓨터가 판독 가능한 저장 매체로서,
    상기 컴퓨터 명령이 프로세서에 의해 실행될 때, 데이터 생성 장치가 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하도록 인에이블되는, 컴퓨터가 판독 가능한 저장 매체.
  24. 컴퓨터 프로그램 제품으로서,
    상기 컴퓨터 프로그램 제품이 프로세서 상에서 실행될 때, 데이터 생성 장치가 제1항 내지 제9항 중 어느 한 항에 따른 방법을 수행하도록 인에이블되는, 컴퓨터 프로그램 제품.
KR1020227024388A 2019-12-27 2019-12-27 데이터 생성 방법 및 장치 KR20220111715A (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/129214 WO2021128287A1 (zh) 2019-12-27 2019-12-27 一种数据生成方法及装置

Publications (1)

Publication Number Publication Date
KR20220111715A true KR20220111715A (ko) 2022-08-09

Family

ID=76573503

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227024388A KR20220111715A (ko) 2019-12-27 2019-12-27 데이터 생성 방법 및 장치

Country Status (6)

Country Link
US (1) US20220322009A1 (ko)
EP (1) EP4060522A4 (ko)
JP (1) JP2023508418A (ko)
KR (1) KR20220111715A (ko)
CN (1) CN114787799A (ko)
WO (1) WO2021128287A1 (ko)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003521202A (ja) * 2000-01-28 2003-07-08 レイク テクノロジー リミティド 地理的な環境で使用される空間オーディオシステム。
GB2415071B (en) * 2002-08-06 2006-05-17 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
KR101384528B1 (ko) * 2007-03-02 2014-04-11 삼성전자주식회사 입체 음향을 이용한 방향 안내 처리 방법 및 그를 적용한네비게이션 시스템
US8170222B2 (en) * 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
JP2013013042A (ja) * 2011-06-02 2013-01-17 Denso Corp 立体音響装置
EP2669634A1 (en) * 2012-05-30 2013-12-04 GN Store Nord A/S A personal navigation system with a hearing device
US20140270182A1 (en) * 2013-03-14 2014-09-18 Nokia Corporation Sound For Map Display
JP7053855B2 (ja) * 2017-09-27 2022-04-12 アップル インコーポレイテッド 空間オーディオナビゲーション
CN110139205B (zh) * 2018-02-09 2021-11-02 驭势(上海)汽车科技有限公司 用于辅助信息呈现的方法及装置
CN110134824B (zh) * 2018-02-09 2021-11-02 驭势(上海)汽车科技有限公司 呈现地理位置信息的方法、装置及系统
US11378956B2 (en) * 2018-04-03 2022-07-05 Baidu Usa Llc Perception and planning collaboration framework for autonomous driving
CN109960764A (zh) * 2019-04-01 2019-07-02 星觅(上海)科技有限公司 行车信息提示方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN114787799A (zh) 2022-07-22
US20220322009A1 (en) 2022-10-06
EP4060522A1 (en) 2022-09-21
EP4060522A4 (en) 2022-12-14
JP2023508418A (ja) 2023-03-02
WO2021128287A1 (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
US11240624B2 (en) Information processing apparatus, information processing method, and program
JP6944970B2 (ja) 位置更新方法、位置及びナビゲーション経路の表示方法、車両並びにシステム
KR102369560B1 (ko) 전자 지도 데이터를 이용한 경로들 재구축
US10554801B2 (en) Message transfer system including display device and mobile device and message transfer method thereof
CN107111473B (zh) 用于促进用户与其环境之间的交互的用户界面功能
KR101766036B1 (ko) 내비게이션 시스템에서 관심 집적점을 위한 장치, 시스템 및 방법
US10225392B2 (en) Allocation of head unit resources to a portable device in an automotive environment
US20170176209A1 (en) Systems, apparatus and methods for delivery of location-oriented information
US9464912B1 (en) Binaural navigation cues
US20140219485A1 (en) Personal communications unit for observing from a point of view and team communications system comprising multiple personal communications units for observing from a point of view
US20150155009A1 (en) Method and apparatus for media capture device position estimate- assisted splicing of media
US20240223692A1 (en) Voice call method and apparatus, electronic device, and computer-readable storage medium
JP2017138277A (ja) 音声ナビゲーションシステム
CN110134824B (zh) 呈现地理位置信息的方法、装置及系统
KR20220111715A (ko) 데이터 생성 방법 및 장치
Villegas et al. GABRIEL: Geo-Aware Broadcasting For In-Vehicle Entertainment And Localizability
US10477338B1 (en) Method, apparatus and computer program product for spatial auditory cues
CN115035239B (zh) 用于构建虚拟环境的方法、装置、计算机设备及车辆
US20220377448A1 (en) Audio operating systems for portable electronic accessory systems and related systems, methods, and devices
CN116017265A (zh) 音频处理方法、电子设备、可穿戴设备、车辆及存储介质
JP2006153755A (ja) ナビゲーション装置、音声案内方法、音声案内システム及び入出力装置
Cohen et al. “GABRIEL”: Geo-Aware BRoadcasting for In-Vehicle Entertainment and Localizability