JP2023508418A - 情報生成方法及び装置 - Google Patents

情報生成方法及び装置 Download PDF

Info

Publication number
JP2023508418A
JP2023508418A JP2022539102A JP2022539102A JP2023508418A JP 2023508418 A JP2023508418 A JP 2023508418A JP 2022539102 A JP2022539102 A JP 2022539102A JP 2022539102 A JP2022539102 A JP 2022539102A JP 2023508418 A JP2023508418 A JP 2023508418A
Authority
JP
Japan
Prior art keywords
spatial
information
data
spatial object
object information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022539102A
Other languages
English (en)
Inventor
ユアン,ティンチィウ
ジャン,リビン
ジャン,ホォイミン
リィウ,チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023508418A publication Critical patent/JP2023508418A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/687Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18Methods or devices for transmitting, conducting or directing sound
    • G10K11/26Sound-focusing or directing, e.g. scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Library & Information Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Telephone Function (AREA)
  • Stereophonic System (AREA)

Abstract

データ生成方法及び装置が提供され、インテリジェント端末技術の分野に適用され、空間オブジェクトを提示するより直感的かつ効率的な方式を提供する。データ生成装置は、空間オブジェクト情報を取得することと、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成することであって、方位角情報は、空間オブジェクト情報に示された空間オブジェクトのデータ生成装置に対する方位角情報である、生成することと、方位角情報及びコンテンツ情報に基づいて、空間音データを生成することであって、空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する、生成することと、を行う。

Description

本出願の実施形態は、インテリジェント端末技術の分野、特に、データ生成方法及び装置に関係する。
モバイル・インターネット技術の発展に伴い、ナビゲーション機能を伴うインテリジェント電子デバイス、例えば携帯電話は、人々の生活に大きな利便性をもたらしている。ナビゲーション・サービスを提供するときに、インテリジェント電子デバイスは、通常、ユーザによって入力されたスタート地点及び目的地に基づいて、経路計画を実行し、音声を再生することによって経路計画結果を出力する。
しかしながら、音声を再生することによってプロンプトを送信するこの方式は、直感的には十分ではない。その結果、ユーザがローカル環境に精通していないときに、ユーザは、マップ上の経路とユーザの位置を正確に合致させることができない。追加的に、ナビゲーション・システムは、位置決め精度によって制限され、ユーザがある期間、間違って進行した後にのみ、経路ずれを検知し、経路ずれプロンプトを送信することができる。特に、計画経路の比較的複雑なナビゲーション・データを使用するときに、ユーザは、ユーザの進行方向が正しいかどうかを確認するために、マップを頻繁に開く必要がある。動作が複雑で、ユーザ体験は非常に低下する。
ナビゲーション・シナリオに加えて、別のアプリケーション・シナリオでは、情報が直感的には示されないという技術的な問題もある。
上述の技術的問題を解決するために、本出願の実施形態は、データ生成方法及び装置を提供し、空間オブジェクト情報がユーザに示されるときに、ユーザは、空間オブジェクトの方位角情報をより直感的かつ効率的に知ることができ、ユーザ体験を大幅に改善するようにする。
第1の態様によれば、本出願の一実施形態は、インテリジェント端末技術の分野に適用され得るデータ生成方法を提供する。データ生成装置は、空間オブジェクト情報を取得する。空間オブジェクト情報は、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される。例えば、空間オブジェクト情報は、テキスト形式であり、かつデータ生成装置からナビゲーション目的地へ進行するために使用されるナビゲーション・データを含んでもよいし、オーディオ・ストリーム形式であり、かつデータ生成装置からナビゲーション目的地へ進行するために使用されるナビゲーション・データを含んでもよいし、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び絶対座標を含んでもよいし、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び相対座標を含んでもよい。データ生成装置は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。方位角情報は、空間オブジェクト情報に示される空間オブジェクトのデータ生成装置に対する方位角を示すために使用される。コンテンツ情報は、空間オブジェクトを記述するために使用される。方位角情報は、位置情報及び方向情報のうちの少なくとも1つを含む。空間オブジェクトは、ナビゲーション目的地、空間内発生イベント、又は人、動物、若しくは空間内存在オブジェクトを含むが、これらに限定されない。空間オブジェクトがナビゲーション目的地であるときに、コンテンツ情報は、データ生成装置からナビゲーション目的地へ進行するために使用される経路計画を記述するために使用される。空間オブジェクトが、空間内発生イベント、又は人、動物、若しくは空間内存在オブジェクトであるときに、コンテンツ情報は、空間オブジェクトのデータ生成装置に対する空間オブジェクトの方向及び空間オブジェクトのオブジェクト・コンテンツを記述するために使用される。データ生成装置は、方位角情報及びコンテンツ情報に基づいて空間音データを生成する。空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する。本出願の本実施形態がナビゲーション・シナリオに適用されるときに、空間音データは、データ生成装置に対するナビゲーション目的地の方位角情報及びコンテンツ情報に基づいて生成される。空間音データは、空間音を再生するために使用され、空間音に対応する音源の方位角は、データ生成装置に対するナビゲーション目的地の方位角と合致し、空間音に対応する音声コンテンツは、データ生成装置からナビゲーション目的地へ進行するために使用される経路計画と合致する。ユーザは、聞こえる空間音の音源の方位角に基づいて、空間オブジェクトの方位角を決定する。このようにして、空間オブジェクト情報は、ユーザにより直感的に示され、それによって、ユーザ体験を改善する。
可能な実装では、空間音データは、方位角情報及びコンテンツ情報を含むか、又は空間音データは、方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号を含み、少なくとも2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。
可能な実装では、データ生成装置が、空間オブジェクト情報に基づいて方位角情報を生成することは、空間オブジェクト情報及びデータ生成装置の位置又は姿勢のうちの少なくとも1つに基づいて、方位角情報を生成することを含む。方位角情報は、位置情報及び方向情報のうちの少なくとも1つを含む。具体的には、空間オブジェクト情報が、データ生成装置を取り囲む空間オブジェクトの空間位置及びオブジェクト・コンテンツを含むときに、データ生成装置は、データ生成装置の空間位置及びデータ生成装置を取り囲む空間オブジェクトの空間位置に基づいて、データ生成装置に対する空間オブジェクトの方向情報を生成し得る。データ生成装置は、ジャイロスコープ、慣性センサ、又は他の要素を使用することによって、データ生成装置の姿勢を測定し得る。例えば、データ生成装置が車両であるときに、姿勢は、車両のヘッドの方向であり、データ生成装置が携帯電話又はナビゲータであるときに、姿勢は、携帯電話又はナビゲータの画面の向きであり、データ生成装置がデュアルチャネル・ヘッドセットであるときに、姿勢は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、データ生成装置が車両及び車両内に位置する携帯電話の両方を含む個別装置であるときに、姿勢は、車両のヘッドの向き、又は車両内に位置する携帯電話の画面の向きであり、あるいはデータ生成装置が、車両及び車両内に位置するデュアルチャネル・ヘッドセットの両方を含む個別装置であるときに、姿勢は、車両のヘッドの向き、又はデュアルチャネル・ヘッドセットを装着している車両内ユーザの顔の向きである。データ生成装置は、データ生成装置の姿勢及びデータ生成装置を取り囲む空間オブジェクトの空間位置に基づいて、データ生成装置に対する空間オブジェクトの方位角情報を生成する。本出願の本実施形態では、姿勢情報は、姿勢情報及び空間オブジェクト情報に基づいて生成され、ユーザが最終的に聞いた空間音の音源の位置が、データ生成装置に対する空間オブジェクトの方位角情報と合致し、ユーザの直感的な感覚の精度を改善する。
可能な実装では、データ生成装置が空間オブジェクト情報を取得することは、空間オブジェクト情報を受信すること、又はセンサを使用することによって空間オブジェクト情報を収集することを含む。受信方式は、セルラ通信、無線ローカル・エリア・ネットワーク、マイクロ波アクセスのための世界的相互運用性、Bluetooth通信技術、ZigBee通信技術、光通信、衛星通信、赤外線通信、伝送線通信、ハードウェア・インターフェース、又はハードウェア回路基板上のトレースを使用することによって情報を受信すること、ソフトウェア・モジュールから情報を取得すること、又は記憶デバイスから情報を読み出すことの方式のうちの少なくとも1つを含む。センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。データ生成装置は、受信した空間オブジェクト情報に基づいて、空間音データを生成してもよいし、センサを使用することによって収集された空間オブジェクト情報に基づいて、空間音データを生成してもよい。言い換えれば、本解決策において提供されるデータ提示方式は、複数のアプリケーション・シナリオに適用可能であり、本解決策のアプリケーション・シナリオは拡張される。これにより、本解決策の実装の柔軟性が改善される。
可能な実装では、データ生成装置が、空間オブジェクト情報を受信することは、以下の3つの方式のうちの少なくとも1つにおいて空間オブジェクト情報を受信することを含む。すなわち、データ生成装置が、アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信し、オーディオ・ストリーム・データを受信した空間オブジェクト情報として決定する。オーディオ・ストリーム・データは、オーディオ・ストリームの形式のナビゲーション・データであり得る。このケースでは、音声認識がオーディオ・ストリーム形式でナビゲーション・データに対して実行されて、方位角情報及びコンテンツ情報を取得する。代替的には、データ生成装置は、アプリケーション・プログラムによって生成されたインターフェース・データを受信し、インターフェース・データを受信した空間オブジェクト情報として決定する。インターフェース・データは、テキスト形式のナビゲーション・データであり得る。このケースでは、データ生成装置は、コンテンツ・フィールドのフィールド値とナビゲーション・データに含まれる位置フィールドのフィールド値に基づいて、テキスト形式で方位角情報及びコンテンツ情報を生成する。代替的には、データ生成装置は、ネットワーク側や端末側に記憶された地図データを受信し、インターフェース・データを、受信した空間オブジェクト情報として決定する。地図データは、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び座標を含み、座標は、絶対座標又は相対座標であり得る。このケースでは、データ生成装置は、データ生成装置を取り囲む空間オブジェクトの座標に基づいて、方位角情報を生成し、データ生成装置を取り囲む空間オブジェクトの方位角情報とオブジェクト・コンテンツに基づいて、コンテンツ情報を生成する。
可能な実装では、センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。
可能な実装では、データ生成装置が、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成することは、データ生成装置が、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定するときに、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成することを含む。具体的には、データ生成装置が、方位角情報に示された空間位置が予めセットされた空間位置領域に位置するかどうかを決定するか、データ生成装置が、方位角情報に示された空間位置が予めセットされた空間方向に位置するかどうかを決定するか、又はデータ生成装置が、コンテンツ情報に示されたオブジェクト・コンテンツが予めセットされたオブジェクト・コンテンツであるかどうかを決定する。データ生成装置は、前述のケースのうちのいずれか1つ以上の決定結果が「はい」であるときに、空間オブジェクト情報が予めセットされた条件を満たすと決定する。本出願の本実施形態では、空間音データが生成される前に、空間オブジェクト情報が予めセットされた条件を満たすかどうかが決定され、決定結果が予めセットされた条件が満たされることであるときにのみ、空間オブジェクト情報に基づいて、空間音データが生成される、すなわち、空間オブジェクト情報がフィルタリングされる。このように、予めセットされた条件を満たさない空間オブジェクト情報によって生じるコンピュータ・リソースの浪費が回避され、ユーザへの過度の妨害が回避されて、それによって、本解決策のユーザ粘度を改善する。
可能な実装では、本方法は、データ生成装置が、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定するときに、ボリューム上げ指示情報を生成することをさらに含む。ボリューム上げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを上げるために使用され、ボリューム上げ指示情報は、ボリュームを上げる必要があるボリューム値を搬送し得る。本出願の本実施形態では、再生ボリュームは、予めセットされたオブジェクト・コンテンツを有する空間オブジェクトに対して上げられて、ユーザの注意を引き付け、ユーザが予めセットされたオブジェクト・コンテンツを有する空間オブジェクトを見失うことを防ぐ。このようにして、ナビゲーション・プロセスにおけるセキュリティが改善され、ユーザが関心のある空間オブジェクトを見失うことを防止することができ、それによって、本解決策のユーザ粘度を改善する。
可能な実装では、本方法は、データ生成装置が、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定するときに、ボリューム下げ指示情報を生成することをさらに含む。ボリューム下げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを下げるために使用され、ボリューム下げ指示情報は、ボリュームを上げる必要があるボリューム値を搬送し得る。
可能な実装では、予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。予めセットされた空間位置領域は、データ生成装置又はオーディオ再生装置の空間位置に対する空間位置領域であり、予めセットされた空間方向は、データ生成装置又はオーディオ再生装置に対する相対方向であり得る。例えば、オーディオ再生装置が、デュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであるか、データ生成装置が、携帯電話若しくはナビゲータであるときに、予めセットされた空間方向は、携帯電話若しくはナビゲータの移動方向であるか、又はデータ生成装置が、車両であるときに、予めセットされた空間方向は、車両のヘッドの向きであるか、あるいは予めセットされた空間方向は、絶対空間位置方向であり得る。予めセットされたオブジェクト・コンテンツは、ユーザによって予め入力されてもよいし、データ生成装置によって独立して決定されてもよい。
可能な実装では、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きは、デュアルチャネル・ヘッドセットに配設されたジャイロスコープ、慣性センサ、又は別の要素に基づいて測定され得る。
可能な実装では、データ生成装置が、方位角情報及びコンテンツ情報に基づいて、空間音データを生成することは、データ生成装置が、方位角情報、コンテンツ情報、データ生成装置の姿勢に基づいて、コンテンツ情報に対応するオーディオ・ストリーム・データに対してレンダリング動作を実行して、空間音データを生成することか、又はデータ生成装置が、方位角情報、コンテンツ情報、オーディオ再生装置の姿勢に基づいて、コンテンツ情報に対応するオーディオ・ストリーム・データに対してレンダリング動作を実行して、空間音データを生成することを含む。空間音データは、方位角情報及びコンテンツ情報に基づいて生成される少なくとも2つのモノフォニック信号を含む。レンダリング動作は、具体的には、特定のアルゴリズム又はデータ処理動作を使用することによって空間方位角情報をオーディオ・ストリーム・データに組み込んで、最終的に少なくとも2つのモノフォニック信号を生成することである。少なくとも2つのモノフォニック信号は、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生されて、空間音を生成する。
第2の態様によれば、本出願の一実施形態は、電子デバイスを提供する。装置は、取得モジュール及び生成モジュールを含む。取得モジュールは、空間オブジェクト情報を取得するように構成されている。空間オブジェクト情報は、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される。生成モジュールは、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。方位角情報は、空間オブジェクト情報に示される空間オブジェクトのデータ生成装置に対する方位角を示すために使用される。コンテンツ情報は、空間オブジェクトを記述するために使用される。生成モジュールは、方位角情報及びコンテンツ情報に基づいて、空間音データを生成するようにさらに構成されている。空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する。
実装では、空間音データは、方位角情報及びコンテンツ情報を含むか、又は空間音データは、方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号を含み、少なくとも2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。
可能な実装では、生成モジュールは、具体的には、空間オブジェクト情報及びデータ生成装置の位置又は姿勢のうちの少なくとも1つに基づいて、方位角情報を生成するように構成されている。
可能な実装では、取得モジュールは、具体的には、空間オブジェクト情報を受信すること、又はセンサを使用することによって空間オブジェクト情報を収集することと、を行うように構成されている。
可能な実装では、取得モジュールは、具体的には、アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信すること、アプリケーション・プログラムによって生成されたインターフェース・データを受信すること、又はネットワーク側若しくは端末側に記憶された地図データの受信することの3つの方式のうちの少なくとも1つで空間オブジェクト情報を受信するように構成されている。
可能な実装では、センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。
可能な実装では、生成モジュールは、具体的には、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。
可能な実装では、生成モジュールは、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム上げ指示情報を生成するようにさらに構成されている。ボリューム上げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを上げることを示すために使用される。
可能な実装では、生成モジュールは、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム下げ指示情報を生成するようにさらに構成されている。ボリューム下げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを下げることを示すために使用される。
可能な実装では、予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。
可能な実装では、生成モジュールは、具体的には、方位角情報、コンテンツ情報、及びオーディオ再生装置の姿勢に基づいて、コンテンツ情報に対応するオーディオ・ストリーム・データに対してレンダリング動作を実行して、空間音データを生成するように構成されている。空間音データは、方位角情報及びコンテンツ情報に基づいて生成される少なくとも2つのモノフォニック信号を含む。
可能な実装では、データ生成装置は、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両のうちの少なくとも1つを含む。データ生成装置は、独立して作動する1つのデバイスを含む一体化された装置であってもよいし、協働して作動する複数の異なるデバイスを含む個別装置であってもよい。
可能な実装では、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、オーディオ再生装置は、空間音を再生するように構成されている。
本出願の実施形態の第2の態様において提供されるデータ生成装置の構成モジュールによって、第2の態様及び第2の態様の可能な実装を実行する具体的な実装ステップについては、第1の態様及び第1の態様の可能な実装における説明を参照のこと。詳細は、ここでは記載されない。
第3の態様によれば、本出願の一実施形態は、メモリ及びプロセッサを含むデータ生成装置を提供する。メモリは、コンピュータ・プログラム命令を記憶し、プロセッサは、コンピュータ・プログラム命令を動作させて、第1の態様によるデータ処理/生成方法を実行する。
可能な実装では、データ生成装置は、空間オブジェクト情報を受信するように構成されているトランシーバをさらに含む。
可能な実装では、データ生成装置は、空間オブジェクト情報を収集するように構成されているセンサをさらに含む。
可能な実装では、データ生成装置は、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両のうちの少なくとも1つを含む。
本出願の実施形態の第3の態様では、プロセッサは、第1の態様の可能な実装においてデータ生成装置によって実行されるステップを実行するようにさらに構成され得る。詳細については、第1の態様を参照のこと。詳細は、ここでは記載されない。
第4の態様によれば、本出願の一実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、コンピュータ・プログラムを記憶し、コンピュータ・プログラムがコンピュータ上で動作されるときに、コンピュータは、第1の態様によるデータ処理/生成方法を実行することが可能となる。
第5の態様によれば、本出願の一実施形態は、コンピュータ・プログラムを提供する。コンピュータ・プログラムがコンピュータ上で動作されるときに、コンピュータは、第1の態様によるデータ処理/生成方法を実行することが可能となる。
第6の態様によれば、本出願の一実施形態は、チップ・システムを提供する。チップ・システムは、前述の態様における機能、例えば、前述の方法におけるデータ及び/又はデータを送信又は処理することを実装する際に、サーバ又はデータ処理/生成装置をサポートするように構成されているプロセッサを含む。可能な設計では、チップ・システムは、メモリをさらに含む。メモリは、サーバ又は通信デバイスに必要なプログラム命令及びデータを記憶するように構成されている。チップ・システムは、チップを含んでもよいし、チップ及び別の個別デバイスを含んでもよい。
本出願の実施形態の第4の態様~第6の態様の有益な効果については、第1の態様を参照のこと。
本発明の実施形態又は従来技術における技術的解決策をより明確に記載するために、以下、実施形態又は従来技術を記載するために必要な添付の図面を簡単に説明する。以下の説明における添付の図面は、単に本発明のいくつかの実施形態を示しているに過ぎず、当業者であれば、創造的努力なしに、これらの添付の図面から他の図面を依然として導出し得ることが明らかである。
本出願の実施形態1によるデータ生成方法の概略図である。
本出願の実施形態2によるデータ生成方法の概略図である。
本出願の実施形態3によるデータ生成方法の概略図である。
本出願の一実施形態によるデータ生成方法のさらに別の実装の概略図である。
本出願の一実施形態によるデータ生成方法のさらに別の実装の概略図である。
本出願の一実施形態によるデータ生成方法さらに別の実装の概略図である。
本出願の一実施形態によるデータ生成方法のさらに別の実装の概略図である。
本出願の一実施形態によるデータ生成方法の実装の概略図である。
本出願の一実施形態によるデータ生成方法の別の実装の概略図である。
本出願の一実施形態によるデータ生成装置の構造の概略図である。
本出願の一実施形態によるデータ生成装置の構造の別の概略図である。
本出願の実施形態は、ナビゲーション・データにおける方位角情報に対応する空間音を再生するためのデータ生成方法及び関連デバイスを提供し、ユーザは、聞こえる空間音の音源の再生位置に基づいて、正しい進行方向を決定し得るようにする。このようにして、より直感的でプロンプト方式が提供され、ナビゲーション・プロセスの効率が改善される。空間オブジェクトが別のタイプのオブジェクトである場合、より直感的で効率的なデータ提示方式が提供される。
明細書、特許請求の範囲及び本出願の実施形態の添付の図面では、「第1」、及び「第2」などの用語は、類似のオブジェクトを区別することを意図しており、必ずしも特定の順序又はシーケンスを示すものではない。このような方法で使用される用語は、適切なケースにおいては互換性があると理解されたい。これは、同じ属性を有するオブジェクトが本出願の実施形態において記載されるときに使用される、単なる識別方式である。追加的に、「含む」、「有する」、及びそれらの他の変形の用語は、非排他的な包含をカバーすることを意図しており、一連のユニットを含むプロセス、方法、システム、製品、又はデバイスが、それらのユニットに限定されるのではなく、そのようなプロセス、方法、製品、又はデバイスに明示的に列挙されていないか、又は固有ではない他のユニットを含み得るようにする。
以下、添付の図面を参照して、本出願の実施形態を記載する。当業者は、技術開発及び新たなシナリオの出現に伴い、本出願の実施形態において提供される技術的解決策が同様の技術的課題にも適用可能であると知り得る。
本出願の実施形態は、空間オブジェクト情報が再生される様々なシナリオに適用され得る。空間オブジェクト情報は、空間オブジェクトの記述情報を含む。空間オブジェクトは、三次元(3-dimensional、3D)空間に位置するオブジェクトであり、三次元空間における空間位置に対応し、三次元空間における物理オブジェクト及び非物理オブジェクトを含み得る。空間オブジェクトは、ナビゲーション目的地、空間内発生イベント、空間存在人、空間内部存在動物、又は空間内存在静的オブジェクトを含むが、これらに限定されない。具体的には、本出願の実施形態のアプリケーション・シナリオは、歩行ナビゲーション、車内ナビゲーション、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオ、又はセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオ(実際の状況は、4つの典型的なアプリケーション・シナリオに限定されない)を含むが、これらに限定されない。4つの典型的なアプリケーション・シナリオの各々が以下に記載される。
本出願の実施形態において提供されるデータ生成方法の3つの実装は、最初に、例として歩行ナビゲーション・シナリオを使用することによって記載される。
第1の実装:図1は、本出願の実施形態1によるデータ生成方法の概略図である。データ生成方法は、図1のデータ生成装置10によって実行される。図1は、データ生成装置10のヘッドセット形式を示す。データ生成装置10としてヘッドセットを使用することは単なる一例に過ぎず、データ生成装置10は別のタイプのデバイスをさらに含んでもよいと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスについて、以下に詳細に記載される。
ナビゲーション・アプリケーション・プログラムは、ヘッドセットにセットされ得る。ヘッドセットは、ナビゲーション・スタート地点及びナビゲーション目的地を取得し、ナビゲーション・アプリケーション・プログラムを使用することによって、ナビゲーション・サーバ11にナビゲーション・スタート地点及びナビゲーション目的地を送信する。ナビゲーション・サーバ11は、ナビゲーション・サーバ11に記憶された地図データを使用することによって、ナビゲーション・スタート地点からナビゲーション目的地までの進行のために使用されるナビゲーション・データを決定する。ヘッドセットは、ナビゲーション・アプリケーション・プログラムを使用することによって、ナビゲーション・サーバ11によって送信されたナビゲーション・データを受信する。ナビゲーション・データを取得した後に、ヘッドセットは、ナビゲーション・データに基づいてコンテンツ情報及び方位角情報を生成する。方位角情報は、ヘッドセットに対するナビゲーション目的地の方位角情報である。任意選択で、ヘッドセットはさらにヘッドセットの姿勢を取得し、ヘッドセットの姿勢及びナビゲーション・データに基づいて方位角情報を生成し得る。
方位角情報及びコンテンツ情報を生成した後に、ヘッドセットは空間音データを生成する。任意選択で、空間音データを生成する前に、ヘッドセットは、コンテンツ情報に示されたオブジェクト・コンテンツが予めセットオブジェクト・コンテンツであるかどうかをさらに決定し得る。コンテンツ情報に示されるコンテンツが予めセットされたオブジェクト・コンテンツであるときに、ヘッドセットは、ボリューム上げ指示情報を生成し、ヘッドセットは、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成し得る。空間音データは、方位角情報及びコンテンツ情報を含む。代替的には、空間音データは、方位角情報及びコンテンツ情報に基づいて生成された2つのモノフォニック信号を含み、2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。任意選択で、コンテンツ情報に示されるコンテンツが予めセットされたオブジェクト・コンテンツではないときに、ヘッドセットは、ボリューム下げ指示情報を生成し、ヘッドセットは、方位角情報、コンテンツ情報、及びボリューム下げ指示情報に基づいて、空間音データを生成し得る。
任意選択で、空間音を再生するプロセスにおいて、ヘッドセットは、空間音データに基づいて、空間音の再生ボリュームをさらに調整し得る。具体的には、ヘッドセットがボリューム上げ指示情報を生成する場合、空間音の再生ボリュームが上げられ、ヘッドセットがボリューム下げ指示情報を生成する場合、空間音の再生ボリュームが下げられる。
任意選択で、空間音データに基づいて2つのモノフォニック信号を生成する前に、ヘッドセットは、さらに、ヘッドセットのリアルタイムの姿勢を取得し、次いで、ヘッドセットのリアルタイムの姿勢に基づいて、オーディオ・ストリームの形式でコンテンツ情報を再レンダリングし、再レンダリング後に取得された2つのモノフォニック信号をヘッドセット内の2つの音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生し得、ユーザによって聞こえる空間音の音源の位置が、ヘッドセットに対する空間オブジェクトのリアルタイムの方位角情報と合致するようにする。
本出願の実施形態1では、空間音データは、ナビゲーション目的地の方位角情報及びコンテンツ情報に基づいて生成され、空間音データは、空間音を再生するために使用され、空間音の音源の方位角は、ヘッドセットに対するナビゲーション目的地の方位角と合致し、空間音の再生コンテンツは、データ生成装置からナビゲーション目的地まで進行するために使用される経路計画と合致して、ユーザは、聞こえる空間音の音源の方位角に基づいて正しい進行方向を決定し得るようにする。このようにして、より直感的な情報提示方式が提供され、ユーザは、ユーザの進行方向が正しいかどうかを確認するために、マップを頻繁に開く必要がない。動作が簡単で、したがって、ナビゲーションの利便性、セキュリティ、及びユーザ体験が改善される。
図1のデータ生成装置10が、具体的には、ヘッドセット形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置10は、代替的には、車両、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は別のポータブル端末デバイスであり得る。
第2の実装:具体的には、図2は、本出願の実施形態2によるデータ生成方法の概略図である。データ生成方法は、図2のデータ生成装置20によって実行される。図2では、データ生成装置20は携帯電話であり、オーディオ再生装置21はヘッドセットであり、携帯電話及びヘッドセットは互いに独立したデバイスである。図2は、単に一例に過ぎないと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスについて、以下に詳細に記載される。
携帯電話(つまり、データ生成装置20の一例)は、ナビゲーション・サーバ22によって送信されたナビゲーション・データを受信する。携帯電話は、ナビゲーション・データを受信した後に、空間オブジェクト情報に基づいてコンテンツ情報及び方位角情報を生成し、空間音データを生成する。具体的な実装は、図1に対応する実施形態において、データ生成装置10が前述のステップを実行する具体的な実装と同様である。詳細は、ここでは記載されない。
任意選択で、本実施形態における空間音データは、方位角情報及びコンテンツ情報を含む。携帯電話は、空間音データを生成した後に、空間音データをヘッドセット(すなわち、オーディオ再生装置20の一例)に送信する。ヘッドセットは、空間音データに基づいてレンダリング動作を実行して、2つのモノフォニック信号を生成し、2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、ヘッドセット内の2つの音電気エネルギー変換モジュールを使用することによって空間音を再生する。任意選択で、2つのモノフォニック信号を生成するプロセスにおいて、ヘッドセットは、空間音データに基づいて、空間音の再生ボリュームをさらに調整し得る。具体的には、ボリューム上げ指示情報が生成された場合、空間音の再生ボリュームが上げられ、ボリューム下げ指示情報が生成された場合、空間音の再生ボリュームが下げられる。
任意選択で、空間音データに基づいて2つのモノフォニック信号を生成する前に、ヘッドセットは、さらに、ヘッドセットの姿勢を取得し、次いで、ヘッドセットの姿勢に基づいて、オーディオ・ストリームの形式でコンテンツ情報を再レンダリングし、再レンダリング動作が実行された後に取得された2つのモノフォニック信号をヘッドセット内の2つの音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生し得、ユーザによって聞こえる空間音の音源の位置が、空間オブジェクトの方位角情報と合致するようにする。
図2のデータ生成装置20が、具体的には、携帯電話形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置20は、代替的には、ポータブル・コンピュータ、ナビゲータ、又は別のポータブル端末デバイスの形式として表され得る。
第3の実装:具体的には、図3は、本出願の一実施形態によるデータ生成方法の実装の概略図である。図3では、データ生成装置30は携帯電話であり、オーディオ再生装置31はヘッドセットであり、携帯電話及びヘッドセットは互いに独立したデバイスである。図3は、単に一例に過ぎないと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスについて、以下に詳細に記載される。
携帯電話(つまり、データ生成装置30の一例)は、ナビゲーション・サーバ32によって送信されたナビゲーション・データを受信する。携帯電話は、空間オブジェクト情報を受信した後に、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成し、次いで、コンテンツ情報及び方位角情報に基づいて、レンダリング動作を実行して、空間音データを生成する。本実施形態における空間音データは、少なくとも2つのモノフォニック信号を指す。具体的な実装は、図1に対応する実施形態において、データ生成装置10が前述のステップを実行する具体的な実装と同様である。詳細は、ここでは記載されない。
任意選択で、携帯電話は、2つのモノフォニック信号をヘッドセット(すなわち、オーディオ再生装置31の一例)に送信し、ヘッドセットは、2つのモノフォニック信号を音電気エネルギー変換モジュールに入力して、空間音を再生する。任意選択で、ヘッドセットは、ヘッドセットの姿勢を取得し、ヘッドセットの姿勢を携帯電話に送信し得る。携帯電話は、ヘッドセットの姿勢に基づいて、オーディオ・ストリームの形式でコンテンツ情報を再レンダリングし、携帯電話は、再レンダリング動作が実行された後に取得された2つのモノフォニック信号をヘッドセットに送信する。ヘッドセットは、2つのモノフォニック信号を音電気エネルギー変換モジュールに入力して、空間音を再生する。
図3のデータ生成装置30が、具体的には、携帯電話形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置30は、代替的には、ポータブル・コンピュータ、ナビゲータ、又は別のポータブル端末デバイスの形式として表され得る。
本出願の実施形態において提供されるデータ生成方法の3つの実装は、例として車内ナビゲーション・シナリオを使用することによって記載される。車内ナビゲーション・シナリオにおける3つの実装は、歩行ナビゲーション・シナリオにおける3つの実装と同様である。車内ナビゲーション・シナリオにおけるデータ生成装置、オーディオ再生装置、及びナビゲーション・サーバの具体的な実装については、前述の実施形態を参照のこと。詳細は、ここでは記載されない。歩行ナビゲーションと比較して、データ生成装置及びオーディオ再生装置が同一の端末デバイスに一体化されているときに、図1に対応した実施形態における例に加えて、データ生成装置の特定の表示形式が車両であり得、オーディオ再生装置は、前述の複数のデータ生成装置における音電気エネルギー変換モジュールを指すという違いがある。データ生成装置及びオーディオ再生装置が2つの独立したデバイスであるときに、図1に対応する実施形態の例に加えて、データ生成装置の特定の表示形式が車両であり得る。端末デバイス又はデータ生成装置の特定の表示形式が車両であるときに、姿勢は、具体的には、車両のヘッドの姿勢、車両の車輪の姿勢、別の要素の姿勢などであり得る。
本解決策をさらに理解するために、図4を参照のこと。図4は、本出願の一実施形態によるデータ生成方法の実装の概略図である。車内ナビゲーション・シナリオにおいては、人が車両内でヘッドセットを装着して運転することが図4に示されており、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、データ生成装置及びオーディオ再生装置が互いに独立したデバイスである例が使用される。図4におけるデータ生成装置40、オーディオ再生装置41、及びナビゲーション・サーバ42の具体的な実装は、図2に対応する実施形態におけるデータ生成装置20、オーディオ再生装置21、及びナビゲーション・サーバ22の実装と同様である。詳細は、ここでは記載されない。図4の例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されない。
本出願の実施形態において提供されるデータ生成方法の4つの実装について、ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトが記述される例を使用することによって以下に記載される。
第1の実装:図5は、本出願の一実施形態によるデータ生成方法の実装の概略図である。データ生成方法は、図5のデータ生成装置50によって実行される。図5は、データ生成装置50のヘッドセット形式を示す。図5は、単に一例に過ぎないと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスは、データ生成装置50が具体的にはヘッドセットとして表される例を使用することによって、以下に詳細に記載される。
ヘッドセットは、ヘッドセットの空間位置に対応する絶対座標(経度及び緯度座標とも呼ばれ得る)を取得し、ヘッドセットの空間位置に対応する絶対座標をデータ・サーバ51に送信し、ヘッドセットは、データ・サーバ51によって送信された空間オブジェクト情報を受信する。空間オブジェクト情報は、ヘッドセットを取り囲む空間オブジェクトのオブジェクト・コンテンツ及びヘッドセットを取り囲む空間オブジェクトの空間位置を含む。ヘッドセットを取り囲む空間オブジェクトの空間位置は、空間オブジェクトの絶対座標であってもよいし、ヘッドセットに対する空間オブジェクトの相対座標であってもよい。
ヘッドセットは、空間オブジェクト情報を受信した後に、ヘッドセットを取り囲む空間オブジェクトの空間位置に基づいて方位角情報を生成する。任意選択で、ヘッドセットは、さらに、姿勢を取得し、姿勢及び空間オブジェクト情報に基づいて、データ生成装置50に対する空間オブジェクトの方位角情報を生成し得る。ヘッドセットは、ヘッドセットを取り囲む空間オブジェクトの方位角情報及びオブジェクト・コンテンツに基づいて、コンテンツ情報を生成する。
ヘッドセットは、方位角情報及びコンテンツ情報を取得した後に、空間音データを生成する必要がある。具体的な実装は、図1に対応する実施形態において、データ生成装置10が前述のステップを実行する具体的な実装と同様である。詳細は、ここでは記載されない。任意選択で、ヘッドセットは、空間音データを生成する前に、さらに、方位角情報に示された空間位置が予めセットされた空間位置領域に位置するかどうかを決定するか、方位角情報に示された空間位置が予めセットされた空間方向に位置するかどうかを決定するか、又はコンテンツ情報に示されたオブジェクト・コンテンツが予めセットされたオブジェクト・コンテンツであるかどうかを決定し、前述のケースのうちのいずれか1つ以上の決定結果が「はい」であるときに、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定し得る。
あるケースでは、空間オブジェクト情報が予めセットされた条件を満たすときに、ヘッドセットは、方位角情報及びコンテンツ情報に基づいて、空間音データを生成する。空間オブジェクト情報が予めセットされた条件を満たさない場合、ヘッドセットは、空間オブジェクト情報に基づいて空間音データをもはや生成せず、次いで、次の空間オブジェクト情報を処理し得る。ヘッドセットは、予めセットされた条件を満たさない空間オブジェクト情報を再生しない、言い換えれば、空間オブジェクト情報を事前にフィルタリングして、ユーザへの干渉を低減し、本解決策のユーザ粘度を改善する。
別のケースでは、空間オブジェクト情報が予めセットされた条件を満たすときに、ヘッドセットは、ボリューム上げ指示情報を生成し、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成する。空間オブジェクト情報が予めセットされた条件を満たさない場合、ヘッドセットは、空間オブジェクト情報に基づいて空間音データをもはや生成せず、次いで、次の空間オブジェクト情報を処理し得る。
別のケースでは、空間オブジェクト情報が予めセットされた条件を満たすときに、ヘッドセットは、ボリューム上げ指示情報を生成し、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成する。空間オブジェクト情報が予めセットされた条件を満たさないときに、ヘッドセットは、方位角情報及びコンテンツ情報に基づいて、空間音データを生成する。
別のケースでは、空間オブジェクト情報が予めセットされた条件を満たすときに、ヘッドセットは、ボリューム上げ指示情報を生成し、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成する。空間オブジェクト情報が予めセットされた条件を満たさないときに、ヘッドセットは、ボリューム下げ指示情報を生成し、方位角情報、コンテンツ情報、ボリューム下げ指示情報に基づいて、空間音データを生成する。
任意選択で、ヘッドセットは、空間音データを生成した後に、空間音データに基づいて、空間音を生成し、空間音を再生する。具体的な実装については、図1に対応する実施形態におけるデータ生成装置10による前述のステップを実行するプロセスを参照のこと。詳細は、ここでは記載されない。
図5のデータ生成装置50が、具体的には、ヘッドセット形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置50は、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両などの形式として代替的に表され得る。
第2の実装:本実装では、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、携帯電話及びヘッドセットが互いに独立したデバイスである例を使用することによって説明が提供される。
携帯電話は、携帯電話の空間位置に対応する絶対座標をデータ・サーバに送信し、データ・サーバによって送信された空間オブジェクト情報を受信し、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。具体的な実装については、図5に対応する実施形態において、データ生成装置50が前述のステップを実行する具体的な実装を参照のこと。任意選択で、携帯電話はさらにヘッドセットの姿勢を取得し、ヘッドセットの姿勢及び空間オブジェクト情報に基づいて方位角情報を生成し得る。具体的には、ヘッドセットは、ヘッドセットの姿勢を測定し、ヘッドセットの姿勢を携帯電話に送信する。
携帯電話は、コンテンツ情報及び方位角情報を取得した後に、空間音データを生成する。本実施形態では、空間音データは、方位角情報及びコンテンツ情報を含む。具体的な実装は、図5に対応する実施形態において、データ生成装置50が前述のステップを実行する具体的な実装と同様である。詳細は、ここでは記載されない。
任意選択で、携帯電話は、空間音データを生成した後に、空間音データをヘッドセットに送信する。ヘッドセットは、空間音データに基づいてレンダリング動作を実行して、少なくとも2つのモノフォニック信号を取得し、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生する。前述のステップの具体的な実装については、図2に対応する実施形態において、データ生成装置20及びオーディオ再生装置21が前述のステップを実行する具体的な実装を参照のこと。詳細は、ここでは記載されない。
第3の実装:本実装では、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、携帯電話及びヘッドセットが互いに独立したデバイスである例を使用することによって説明が提供される。
携帯電話は、携帯電話の空間位置に対応する絶対座標をデータ・サーバに送信し、データ・サーバによって送信された空間オブジェクト情報を受信し、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。前述のステップの具体的な実装については、ネットワーク側や端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオの第2の実装における説明を参照のこと。詳細は、ここでは記載されない。
レンダリング動作は、方位角情報及びコンテンツ情報に基づいて実行されて、空間音データを生成する。本実施形態における空間音データは、方位角情報及びコンテンツ情報に基づいて生成される少なくとも2つのモノフォニック信号を指す。少なくとも2つのモノフォニック信号がヘッドセットに送信される。ヘッドセットは、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、空間音を再生する。前述のステップの具体的な実装については、図3に対応する実施形態において、データ生成装置30及びオーディオ再生装置31が前述のステップを実行する具体的な実装を参照のこと。詳細は、ここでは記載されない。
ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける第2及び第3の実装では、データ生成装置は、代替的には、携帯電話、ポータブル・コンピュータ、又はナビゲータのような形式として表わされてもよいし、センサが構成されている端末側電子デバイスは、代替的には、ヘッドセット、ポータブル・コンピュータ、ナビゲータ、又はスマート家電のような別の端末側デバイスとして表されてもよいと留意されたい。
第4の実装:本実装は、ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける第1の実装と同様である。ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける第1の実装におけるデータ・サーバ51は、端末側の電子デバイスに置き換えられ、データ生成装置及びオーディオ再生装置が一体化された端末側電子デバイス及び端末デバイスは、異なるデバイスであるという違いがある。本実装では、データ生成装置及びオーディオ再生装置によって実行される特定のステップは、図5に対応する実施形態におけるデータ生成装置50及びオーディオ再生装置によって実行される特定のステップと同様であり、端末側電子デバイスによって実行される特定のステップは、図5に対応する実施形態におけるデータ・サーバ51によって実行される特定のステップと同様である。詳細は、ここでは記載されない。
本出願の実施形態において提供されるデータ生成方法の6つの実装は、周囲の空間オブジェクトがセンサを使用することによって検知及び記載される例を使用することによって以下に記載される。
第1の実装:図6は、本出願の一実施形態によるデータ生成方法の実装の概略図である。データ生成方法は、図6のデータ生成装置60によって実行される。図6は、データ生成装置60のヘッドセット形式を示す。図6は、単に一例に過ぎないと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスは、データ生成装置60がヘッドセットとして具体的に表わされ、感光センサがヘッドセットに配設された例を使用することによって、以下に詳細に記載される。
ヘッドセットは、感光センサを使用することによって空間オブジェクト情報を収集する。具体的には、少なくとも2つの感光センサがヘッドセット内に展開され、ヘッドセットは、感光センサによって収集されたデータを使用することによって、光源(すなわち、図6のヘッドセットを取り囲む空間オブジェクト)の空間位置を特定して、ヘッドセットに対する光源の相対座標を生成し、感光センサによって収集されたデータに基づいて、光源のタイプを決定する。本解決策をさらに理解するために、別の例では、少なくとも2つの画像センサがヘッドセットに展開され得、ヘッドセットは、両眼視アルゴリズムを使用することによってヘッドセットを取り囲む空間オブジェクトを特定して、ヘッドセットに対してヘッドセットを取り囲む空間オブジェクトの相対座標を生成し、イメージ・センサを使用することによってヘッドセットを取り囲む空間オブジェクトの画像を取得した後に、空間オブジェクトの画像を認識して、空間オブジェクトのオブジェクト・コンテンツを取得し得る。本明細書における例は、単に本解決策の実装性を証明にするために使用されるに過ぎず、本解決策を限定するために使用されない。
ヘッドセットは、ヘッドセットに対するヘッドセットを取り囲む空間オブジェクトの相対座標に基づいて、方位角情報を生成する。任意選択で、ヘッドセットは、さらに、ヘッドセットの姿勢を取得し、ヘッドセットの姿勢及び空間オブジェクト情報に基づいて、ヘッドセットに対する空間オブジェクトの方位角情報を生成し得る。ヘッドセットは、ヘッドセットを取り囲む空間オブジェクトの方位角情報及びタイプに基づいて、コンテンツ情報を生成する。ヘッドセットは、方位角情報及びコンテンツ情報を取得した後に、空間音データを生成し、空間音データに基づいて空間音を再生する。ヘッドセットが前述のステップを実行する具体的な実装については、図5に対応する実施形態におけるデータ生成装置50による前述のステップを実行する方式の説明を参照のこと。詳細は、ここでは記載されない。
図6のデータ生成装置60が、具体的には、ヘッドセット形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置60は、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両などの形式として代替的に表され得る。
第2の実装:図7は、本出願の一実施形態によるデータ生成方法の実装の概略図である。このアプリケーション・シナリオにおける具体的な実装プロセスは、データ生成装置70が具体的には携帯電話として表わされ、オーディオ再生装置71が具体的にはヘッドセットとして表され、音センサが携帯電話に配設された例を使用することによって、以下に詳細に記載される。図7は、単に一例に過ぎないと理解されたい。
携帯電話(すなわち、データ生成装置70の一例)は、音センサを使用することによって、ヘッドセットを取り囲む空間オブジェクトに対応する空間オブジェクト情報を収集する。具体的には、携帯電話には少なくとも2つの音センサが配設されており、図7における空間位置は、センサによって収集されたデータに基づいて遅延推定位置決め方法を使用することによって特定され、携帯電話に対する携帯電話を虜囲む空間オブジェクトの相対座標を取得し得る。このアプリケーション・シナリオでは、相対座標は高さ情報を含み得る。追加的に、空間オブジェクトのタイプ、例えば、コウモリ、鳥、又はネコは、センサによって収集されたデータに基づいて決定される。空間オブジェクトのタイプが異なれば、異なる周波数で音が放出される。
携帯電話は、携帯電話に対する携帯電話を取り囲む空間オブジェクトの相対座標に基づいて、方位角情報を生成する。任意選択で、携帯電話は、さらに、ヘッドセットの姿勢を取得し、ヘッドセットの姿勢及び空間オブジェクト情報に基づいて、携帯電話に対する空間オブジェクトの方位角情報を生成し得る。携帯電話は、携帯電話を取り囲む空間オブジェクトの方位角情報及びオブジェクト・コンテンツに基づいて、コンテンツ情報を生成する。携帯電話は、コンテンツ情報及び方位角情報を取得した後に、空間音データを生成する。本実施形態では、空間音データは、方位角情報及びコンテンツ情報を含む。携帯電話が前述のステップを実行する特定の実装については、図2に対応する実施形態において、データ生成装置20及びオーディオ再生装置21が前述のステップを実行する方式の説明を参照のこと。詳細は、ここでは記載されない。
任意選択で、携帯電話は、空間音データを生成した後に、空間音データをヘッドセット(すなわち、オーディオ再生装置71の一例)に送信し、ヘッドセットは、音電気エネルギー変換モジュールを使用することにより、空間音データに基づいて、空間音を再生する。空間音データに基づいて、ヘッドセットが空間音を再生する具体的な実装については、図2に対応する実施形態におけるデータ生成装置20及びオーディオ再生装置21の具体的な実装を参照のこと。詳細は、ここでは記載されない。
第3の実装:本実装では、データ生成装置及びセンサが一体化された電子デバイスが携帯電話であり、オーディオ再生装置をヘッドセットである例を使用することによって説明が提供される。
携帯電話は、センサを使用することによって携帯電話を取り囲む空間オブジェクトに対応する空間オブジェクト情報を収集し、空間オブジェクト情報に基づいてコンテンツ情報及び方位角情報を生成する。前述のステップの具体的な実装は、図7に対応する実施形態におけるデータ生成装置70の具体的な実装と同様である。詳細は、ここでは記載されない。
任意選択で、データ生成装置は、コンテンツ情報及び方位角情報に基づいて、レンダリング動作を実行して、空間音データを取得する。本実施形態では、空間音データは、少なくとも2つのモノフォニック信号を含む。少なくとも2つのモノフォニック信号がオーディオ再生装置に送信される。オーディオ再生装置は、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、空間音を再生する。前述のステップの具体的な実装については、図3に対応する実施形態におけるデータ生成装置30及びオーディオ再生装置31の具体的な実装を参照のこと。詳細は、ここでは記載されない。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第2及び第3の実装においては、データ生成装置が携帯電話の形式として具体的に表されていることは単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置は、ポータブル・コンピュータ、ナビゲータ、又は車両などの形式として代替的に表され得る。
第4の実装:本実装では、データ生成装置及びオーディオ再生装置が一体化された端末デバイスがヘッドセットであり、センサが構成されている端末側電子デバイスが車両である例を使用することによって説明が提供される。本実装では、データ生成装置は、独立したデバイス、すなわちヘッドセットとみなされてもよいし、車両と車両内に位置するデュアルチャネル・ヘッドセットの両方を含む個別デバイスとしてみなされてもよい。
ヘッドセットは、センサを使用することにより、車両内のセンサを取り囲む空間オブジェクト情報を取得する。空間オブジェクト情報は、センサに対する空間オブジェクトの相対座標及びセンサを取り囲む空間オブジェクトのオブジェクト・コンテンツを含む。具体的には、あるケースでは、車両は、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、ヘッドセットは、センサによって収集され、かつ車両によって送信されたデータを受信し、センサによって収集されたデータに基づいて、空間オブジェクト情報を生成する。別のケースでは、車両は、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、センサによって収集されたデータに基づいて、空間オブジェクト情報を生成し、ヘッドセットは、車両によって送信された空間オブジェクト情報を受信する。
ヘッドセットは、センサに対するセンサを取り囲む空間オブジェクトの相対座標に基づいて、方位角情報を生成する。任意選択で、ヘッドセットは、さらに、ヘッドセットの姿勢を取得し、ヘッドセットの姿勢及び空間オブジェクト情報に基づいて、ヘッドセットに対する空間オブジェクトの方位角情報を生成し得る。ヘッドセットは、ヘッドセットを取り囲む空間オブジェクトの方位角情報及びタイプに基づいて、コンテンツ情報を生成する。ヘッドセットは、コンテンツ情報及び方位角情報を生成した後に、空間音データを生成し、空間音を再生する。ヘッドセットが前述のステップを実行する具体的な実装は、図6に対応する実施形態におけるデータ生成装置60の具体的な実装と同様である。詳細は、ここでは記載されない。
ヘッドセットは、代替的には、携帯電話、ポータブル・コンピュータ、又はナビゲータのような形式と置き換えられてもよいし、センサが構成されている端末側電子デバイスは、代替的には、ヘッドセット、ポータブル・コンピュータ、ナビゲータ、又はスマート家電のような別の端末側デバイスとして表されてもよいと留意されたい。
第5の実装:本実装では、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、センサが構成されている端末側電子デバイスが車両であり、携帯電話及びヘッドセットが互いに独立したデバイスである例を使用することによって説明が提供される。
携帯電話は、センサを使用することによって車両内のセンサを取り囲む空間オブジェクト情報を取得し、空間オブジェクト情報に基づいて、方位角情報及びコンテンツ情報を生成し、空間音データを生成する。本実施形態では、空間音データは、方位角情報及びコンテンツ情報を含む。携帯電話が前述のステップを実行する具体的な実装は、センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第4の実装と同様である。詳細は、ここでは記載されない。
任意選択で、携帯電話は、空間音データを生成した後に、空間音データをヘッドセットに送信し得る。ヘッドセットは、空間音データに基づいてレンダリング動作を実行して、少なくとも2つのモノフォニック信号を取得し、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生する。前述のステップの具体的な実装については、図2に対応する実施形態において、データ生成装置20及びオーディオ再生装置21が前述のステップを実行する具体的な実装を参照のこと。詳細は、ここでは記載されない。
第6の実装:本実装では、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、センサが構成されている端末側電子デバイスが車両であり、携帯電話及びヘッドセットが互いに独立したデバイスである例を使用することによって説明が提供される。
携帯電話は、センサを使用することによって車両内のセンサを取り囲む空間オブジェクト情報を取得し、空間オブジェクト情報に基づいて、方位角情報及びコンテンツ情報を生成する。携帯電話が前述のステップを実行する具体的な実装は、センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第4の実装と同様である。詳細は、ここでは記載されない。
携帯電話は、方位角情報及びコンテンツ情報を生成した後に、レンダリング動作を実行して、空間音データを取得する。本実施形態では、空間音データは、少なくとも2つのモノフォニック信号を含む。少なくとも2つのモノフォニック信号がヘッドセットに送信される。ヘッドセットは、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、空間音を再生する。前述のステップの具体的な実装については、図3に対応する実施形態におけるデータ生成装置30及びヘッドセット31の具体的な実装を参照のこと。詳細は、ここでは記載されない。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第5及び第6の実施形態において、データ生成装置は、独立したデバイス、すなわち、携帯電話とみなされてもよいし、車両及び車両内に位置する携帯電話の両方を含む個別デバイスとみなされ得ると留意されたい。追加的に、形態電話は、代替的には、ポータブル・コンピュータ、又はナビゲータのような形式と置き換えられてもよいし、センサが構成されている端末側電子デバイスは、代替的には、ヘッドセット、ポータブル・コンピュータ、ナビゲータ、又はスマート家電のような別の端末側デバイスとして表されてもよいと留意されたい。
本発明の一実施形態は、データ生成方法を提供し、方法は、データ生成装置(図1~図7に対応する実施形態の各々におけるデータ生成装置を含むが、これらに限定されない)によって実行される。データ生成装置は、空間オブジェクト情報を受信した後に、受信した空間オブジェクト情報をフィルタリングせず、空間オブジェクト情報に基づいて空間オブジェクト・データを直接生成してもよいし、受信した空間オブジェクト情報をフィルタリングし、予めセットされた条件を満たす空間オブジェクト情報のみに基づいて、空間オブジェクト・データを生成してもよい。2つの実装において、異なる具体的な実装手順があり、したがって、実装手順は別々に記載される。
(1)空間オブジェクト情報は、フィルタリングされない。
本出願の一実施形態では、図8は、本出願の本実施形態によるデータ生成方法の概略フローチャートである。本出願の本実施形態において提供されるデータ生成方法は、以下のステップを含み得る。
ステップ801:データ生成装置は、空間オブジェクト情報を取得する。
本願の本実施形態では、データ生成装置は、以下の方式で空間オブジェクトを取得し得る。すなわち、データ生成装置が、空間オブジェクト情報を受信するか、又はデータ生成装置が、センサを使用することによって空間オブジェクト情報を収集する。データ生成装置は、受信した空間オブジェクト情報に基づいて、空間音データを生成してもよいし、センサを使用することによって収集された空間オブジェクト情報に基づいて、空間音データを生成してもよい。言い換えれば、本解決策において提供されるデータ提示方式は、複数のアプリケーション・シナリオに適用可能であり、本解決策のアプリケーション・シナリオは拡張される。これにより、本解決策の実装の柔軟性が改善される。
空間オブジェクト情報は、空間オブジェクトの記述情報であり、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用され、空間オブジェクトの方位角の少なくとも記述情報を含む。空間オブジェクトは、三次元空間に位置するオブジェクトである。例えば、空間オブジェクト情報は、テキスト形式であり、かつデータ生成装置からナビゲーション目的地へ進行するために使用されるナビゲーション・データを含んでもよいし、オーディオ・ストリーム形式であり、かつデータ生成装置からナビゲーション目的地へ進行するために使用されるナビゲーション・データを含んでもよいし、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び絶対座標を含んでもよいし、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び相対座標を含んでもよい。本出願の本実施形態における受信方式は、セルラ通信、無線ローカル・エリア・ネットワーク(Wireless Fidelity、Wi-Fi)、マイクロ波アクセスのための世界的相互運用性(Worldwide Interoperability for Microwave Access、WiMAX)、Bluetooth通信技術(Bluetooth)、ZigBee通信技術(ZigBee)、光通信、衛星通信、赤外線通信、伝送線通信、ハードウェア・インターフェース、又はハードウェア回路基板上のトレースを使用することによって情報を受信すること、ソフトウェア・モジュールから情報を取得すること、又は記憶デバイスから情報を読み出すことの方式を含むが、これらに限定されない。センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。前述の方式では、本解決策の実装の柔軟性を改善するために、センサの複数の具体的な実装が提供される。
歩行ナビゲーション・シナリオにおける3つの実装及び車内ナビゲーション・シナリオにおける3つの実装では、データ生成装置が空間オブジェクト情報を受信することは、ナビゲーションアプリケーション・プログラムが、データ生成装置にセットされて、ナビゲーション・スタート地点及びナビゲーション目的地を取得し、データ生成装置が、ナビゲーション・アプリケーション・プログラムを使用することによって、ナビゲーション・サーバにナビゲーション・スタート地点及びナビゲーション目的地を送信し、テキスト形式であり、かつナビゲーション・サーバによって送信された空間オブジェクト情報を受信する、言い換えれば、データ生成装置が、ナビゲーション・アプリケーション・プログラムを使用することによって、インターフェース・データを受信することを含み得る。テキスト形式での空間オブジェクト情報は、ナビゲーション・スタート地点からナビゲーション目的地まで進行するために使用されるナビゲーション・データを搬送する。
データ生成装置は、ナビゲーション・サーバに、ナビゲーション・スタート地点及びナビゲーション目的地の名称、ナビゲーション・スタート地点及びナビゲーション目的地の経度及び緯度座標、又はナビゲーション・スタート地点及びナビゲーション目的地の空間位置を示すために使用される他の情報を送信し得る。空間オブジェクト情報に対応する空間オブジェクトは、空間位置を有するナビゲーション目的地、交通標識ポスト、モニタ、別のナビゲーション関係空間オブジェクトなどであり得る。ナビゲーション・スタート地点からナビゲーション目的地まで進行するために使用されるナビゲーション・データは、少なくとも1つの道路セグメントを含んでもよいし、テキスト形式での空間オブジェクト情報は、少なくとも1つの道路セグメントの説明情報を含んでもよい。各道路セグメントの記述情報は、複数のフィールドと各フィールドのフィールド値を含む。複数のフィールドは、コンテンツ・フィールドのフィールド値を含み得る。例えば、コンテンツ・フィールドは、道路セグメント記述(命令)フィールドであり得る。複数のフィールドは、位置フィールドをさらに含み得る。例えば、位置フィールドは、具体的には、距離(distance)フィールド及び右左折(turn)フィールドであってもよい。位置フィールドはさらに別のフィールドを含み得る。代替的には、複数のフィールドは、コンテンツ・フィールドのみを含み得、位置フィールドなどを含まない。これは、本明細書において限定されるものではない。ここでは、空間オブジェクト情報がテーブル形式で表示される例が使用される。図1を参照のこと。
Figure 2023508418000002
図1を参照表1は、空間オブジェクト情報における道路セグメントの記述情報を示す。表1の例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されない。
具体的には、ナビゲーション・スタート地点を取得する方式については、あるケースでは、位置決めシステム、例えば、全地球測位システム(global positioning system、GPS)がデータ生成装置にさらに構成され得、データ生成装置は、位置決めシステムを使用することによってデータ生成装置の空間位置を取得し、空間位置をナビゲーション・スタート地点として決定する。別のケースでは、データ生成装置は、ユーザによって入力されたナビゲーション・スタート地点を受信する。より具体的には、データ生成装置が、例えば、表示インターフェースを含み、投影機能を有するデバイス、例えば、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両であるときに、データ生成装置は、ナビゲーション・アプリケーション・プログラムの表示インターフェースを使用することによって、ユーザによって入力されたナビゲーション・スタート地点を受信し得る。データ生成装置が投影機能を持たないヘッドセット又は表示インターフェースを持たない別のデバイスであるときに、マイクロホンがデータ生成装置内にさらに構成され得、データ生成装置は、マイクロホンを使用することによって、音声形式であり、かつユーザによって入力されたナビゲーション・スタート地点を受信する。任意選択で、データ生成装置が表示インターフェースを含むときに、マイクロホンがデータ生成装置内にさらに構成され得、データ生成装置は、マイクロホンを使用することによって、音声形式であり、かつユーザによって入力されたナビゲーション・スタート地点を受信する。ナビゲーション目的地を取得する方式については、データ生成装置がユーザによって入力されたナビゲーション目的地を受信する。具体的な実装については、データ生成装置がユーザによって入力されたナビゲーション・スタート地点を受信する方式を参照する。詳細は、ここでは記載されない。
任意選択で、データ生成装置が、ナビゲーション・アプリケーション・プログラムを使用することによって、テキスト形式であり、かつナビゲーション・サーバによって送信された空間オブジェクト情報を受信した後に、データ生成装置内のナビゲーション・アプリケーション・プログラムは、テキスト形式での空間オブジェクト情報をオーディオ・ストリーム形式の空間オブジェクト情報に変換し得、データ生成装置は、ナビゲーション・アプリケーション・プログラムからオーディオ・ストリーム形式で空間オブジェクト情報を取得する、言い換えれば、データ生成装置は、ナビゲーション・アプリケーション・プログラムを使用することによって、オーディオ・ストリーム形式で空間オブジェクト情報(オーディオ・ストリーム・データとも呼ばれ得る)を受信する。例えば、オーディオ・ストリーム・データは、パルス符号変調(pulse code modulation、PCM)オーディオ・ストリーム・データであってもよいし、別のフォーマットでのオーディオ・ストリーム・データであってもよい。具体的には、データ生成装置のオペレーティング・システムは、機能AudioPolicyManagerBase::getOutput(すなわち、オーディオ・ポリシー実装層の機能)を使用することによって、オーディオ・ストリーム形式であり、かつナビゲーション・アプリケーション・プログラムによって出力された空間オブジェクト情報を取得し得る。
ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける最初の3つの実装では、データ生成装置が、空間オブジェクト情報を受信することは、データ生成装置が、データ生成装置の空間位置に対応する第1の座標を取得し、データ生成装置の空間位置に対応する第1の座標をデータ・サーバに送信し、データ・サーバによって送信された空間オブジェクト情報を受信することを含み得る。空間オブジェクト情報は、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標を含む。第1の座標は、データ生成装置の経度及び緯度座標(絶対座標とも呼ばれ得る)であり得る。第2の座標は、空間オブジェクトの空間位置に対応する絶対座標であってもよいし、データ生成装置の空間位置に対する空間オブジェクトの空間位置の相対座標であってもよい。第2の座標が空間オブジェクトの絶対座標であるときに、空間オブジェクト情報は、空間オブジェクトに対応する地図データを参照する、言い換えれば、データ生成装置は、ネットワーク側に記憶された地図データを受信する。空間オブジェクト情報に含まれる空間オブジェクトは、図書館、ピザ屋、又は図5における構造物サイト、三次元空間に位置する別の物理オブジェクトなどであってもよい。
具体的には、位置決めシステムがデータ生成装置において構成されており、データ生成装置は、位置決めシステムを使用することによって、データ生成装置の空間位置に対応する第1の座標を取得し、データ生成装置の空間位置に対応する第1の座標をデータ・サーバに送信し得る。データ・サーバは、データ生成装置を取り囲む地図データを予め記憶し得る。地図データは、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ、及びデータ生成装置を取り囲む空間オブジェクトの空間位置に対応する絶対座標を含む。データ・サーバは、データ生成装置の空間位置に対応する第1の座標を受信した後に、第1の座標を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標を取得して、空間オブジェクト情報を生成し、第1の座標を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標を含む空間オブジェクト情報をデータ生成装置に送信する。これに対応して、データ生成装置は、データ・サーバによって送信された空間オブジェクト情報を受信する。
具体的には、データ・サーバは、データ生成装置の空間位置に対応する第1の座標を受信した後に、第1の座標を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び絶対座標を取得して、空間オブジェクト情報を生成する。空間オブジェクト情報において搬送される第2の座標は、絶対座標である。任意選択で、データ・サーバは、第1の座標を受信し、第1の座標を取り囲む空間オブジェクトの絶対座標を取得した後に、さらに、第1の座標を原点として使用することによって、かつ第1の座標及び第1の座標を取り囲む空間オブジェクトの絶対座標に基づいて、第1の座標を取り囲む空間オブジェクトの相対座標を生成し、相対座標を第2の座標として決定し、第1の座標を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標に基づいて空間オブジェクト情報を生成し得る。空間オブジェクト情報において搬送される第2の座標は、絶対座標である。
ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける第4の実装では、データ生成装置が、空間オブジェクト情報を受信することは、データ生成装置が、データ生成装置の空間位置に対応する第1の座標を取得し、データ生成装置の空間位置に対応する第1の座標を端末側電子デバイスに送信し、端末側電子デバイスによって送信された空間オブジェクト情報を受信することを含み得る。空間オブジェクト情報は、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標を含む。本実施形態では、データ生成装置によって実行される特定のステップについては、前述の実施形態におけるネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける最初の3つの実装における具体的な実装の説明を参照のこと。前述の実施形態におけるデータ・サーバが端末側電子デバイスに置き換えられたという違いがある。詳細は、ここでは記載されない。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける最初の3つの実装では、データ生成装置が、センサを使用することによって、空間オブジェクト情報を収集することは、データ生成装置が、内部インターフェースを使用することによって、センサに信号収集命令を送信して、センサがデータを収集することを示し、データ生成装置が、センサによって収集したデータを受信し、センサによって収集されたデータに基づいて空間オブジェクト情報を生成する。具体的には、データ生成装置は、収集されたデータに基づいてデータ生成装置を取り囲む空間オブジェクトを特定して、データ生成装置を取り囲む空間オブジェクトの相対座標を生成し、センサによって収集されたデータに基づいてデータ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツを決定する。特定の実施形態については、図6及び図7に対応する実施形態における説明を参照のこと。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける後者の3つの実装では、データ生成装置が、センサを使用することによって、空間オブジェクト情報を収集することは、あるケースでは、センサが構成されている端末側電子デバイスが、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、データ生成装置が、センサによって収集され、かつセンサが構成されている端末側電子デバイスによって送信されたデータを受信し、センサによって収集されたデータに基づいて、空間オブジェクト情報を生成することを含み得る。別のケースでは、センサが構成されている端末側電子デバイスは、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、センサによって収集されたデータに基づいて、空間オブジェクト情報を生成し、データ生成装置は、センサが構成されている端末側電子デバイスによって送信された空間オブジェクト情報を受信する。
具体的には、あるケースでは、データ生成装置は、センサが構成されている端末側電子デバイスにセンサ・データ取得要求を送信し、センサ・データ取得要求に応答して、センサが構成されている端末側電子デバイスは、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、次いで、センサによって収集されたデータ又は空間オブジェクト情報をデータ生成装置に送信する。別のケースでは、センサが構成されている端末側電子デバイスは、センサによって収集されたデータ又は空間オブジェクト情報をデータ生成装置に能動的に送信し得る。より具体的には、送信方式は、リアルタイム送信、予めセットされた継続時間の間隔での送信、固定された時点での送信、別の送信方法などであり得る。これは、本明細書において限定されるものではない。
空間オブジェクト情報が受信される時間について、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオでは、ユーザがデータ生成装置内のナビゲーション・アプリケーション・プログラムを使用することによってナビゲーション機能を実行するときに、データ生成装置は空間オブジェクト情報を受信する。ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオ、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオでは、具体的には、実装において、データ生成装置は、常に、空間オブジェクト情報を受信する状態であり得、受信した空間オブジェクト情報が適時に空間音データに変換され、適時に空間音を再生するようにする。任意選択で、ユーザから有効化動作及び無効化動作を受信するためのスイッチ・ボタンがデータ生成装置に配設され得る。ユーザがスイッチ・ボタンを使用することによって、有効化動作を入力するときに、データ生成装置は、空間オブジェクト情報を受信する状態にある。ユーザがスイッチ・ボタンを使用することによって、無効化動作を入力するときに、データ生成装置は、空間オブジェクト情報を受信する機能を無効化し、もはや空間オブジェクト情報を受信しない。具体的には、あるケースでは、データ生成装置は、ユーザのために表示インターフェースを提供することができる電子デバイスであり、したがって、ユーザによって入力されたスイッチ制御、有効化動作又は無効化動作使用することによって受信するために、表示インターフェースを使用することによって、ユーザにスイッチ制御を表示し得る。別のケースでは、データ生成装置が表示インターフェースを提供できない電子デバイスであるときに、スイッチ・ボタンはデータ生成装置の外側に配設されて、スイッチ・ボタンを使用することによって、有効化動作及び無効化動作が入力されるようにする。
ステップ802:データ生成装置は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。
本出願の本実施形態では、データ生成装置は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成し得る。コンテンツ情報は空間音に対する再生コンテンツを決定するために使用され、コンテンツ情報は方位角情報を含む。空間オブジェクトがナビゲーション目的地であるときに、コンテンツ情報は、データ生成装置からナビゲーション目的地へ進行するために使用される経路計画を記述するために使用される。空間オブジェクトが、空間内発生イベント、又は人、動物、若しくは空間内存在オブジェクトであるときに、コンテンツ情報は、空間オブジェクトのデータ生成装置に対する空間オブジェクトの方向及び空間オブジェクトのオブジェクト・コンテンツを記述するために使用される。例えば、コンテンツ情報は、「100m直進し、次いで右折する」か、又は「50m先の左側に喫茶店がある」かである。本明細書における例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されない。方位角情報は、位置情報及び方向情報を含み得、端末デバイスに対する空間オブジェクトの方位角を示すために使用される。方位角情報は、高さ情報を搬送してもよいし、高さ情報を搬送しなくてもよく、具体的には、デカルト座標として具体的に表わされてもよいし、別の形式での方位角情報であってもよい。端末デバイスは、データ生成装置、オーディオ再生装置、又はセンサが構成されている端末側電子デバイスであり得る。さらに、センサが構成されている端末側電子デバイス、及びデータ生成装置が同じ端末側電子デバイス、センサが構成されており、かつオーディオ再生装置が同じであり得る端末側電子デバイス、又はセンサが構成されている端末側電子デバイスは、データ生成装置とオーディオ再生装置とは独立したデバイスであってもよい。
歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオでは、空間オブジェクト情報はテキスト形式のナビゲーション・データを含んでもよく、テキスト形式のナビゲーション・データはコンテンツ・フィールドのフィールド値を含み得る。このケースでは、ステップ802は、データ生成装置が、空間オブジェクト情報に含まれる内容フィールドのフィールド値に基づいて、方位角情報及びコンテンツ情報を生成することを含み得る。任意に、テキストの形式のナビゲーション・データがコンテンツ・フィールドのフィールド値と位置フィールドのフィールド値を含む場合、ステップ802は以下を含むことができる。データ生成装置は、コンテンツ・フィールドのフィールド値に基づいてコンテンツ情報を生成し、位置フィールドのフィールド値に基づいて方位角情報を生成する。例えば、表1を参照して例を使用する。方位角情報は、空間オブジェクトの相対座標である。ここでは、方位角情報が高さ情報を搬送し得る例が使用される。このケースでは、x軸、y軸、z軸を使用することによって説明が提供される必要がある。表1の右左折フィールドに基づき、空間オブジェクトが端末デバイスの右側にあることが取得される。方位角「右」には具体的な距離値がなく、したがって距離値はデフォルト値、例えばデフォルトで10メートルにセットされ得、X軸上の値は10である。距離フィールドに基づいて、空間オブジェクトは端末デバイスの100m先にあり、y軸上の値は100であることが取得される。高さ情報がなく、したがってz軸上の値が0にセットされ得る。このようにして、空間オブジェクトの方位角情報(10,100,0)が取得される。命令フィールドに基づいて、コンテンツ情報が「100m直進し、次いで右折する」ことが取得される。X軸上の値は、代替的には、-10、別の値などであり得ると理解されたい。本例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されない。
任意選択で、空間オブジェクト情報は、オーディオ・ストリームの形式でのナビゲーション・データを含み、オーディオ・ストリームの形式でのナビゲーション・データは、コンテンツ情報を含み、コンテンツ情報は、方位角情報を含む。このケースでは、ステップ802は、データ生成装置が、オーディオ・ストリームの形態でのナビゲーション・データに対して音声認識を実行し、方位角情報及びコンテンツ情報を取得することを含み得る。例えば、表1を参照した例が使用される。方位角情報は、空間オブジェクトの相対座標である。ここでは、方位角情報が高さ情報を搬送し得る例が使用される。このケースでは、x軸、y軸、z軸を使用することによって説明が提供される必要がある。オーディオ・ストリームの形式でのナビゲーション・データは、「100メートル直進し、次いで右折する」であり、オーディオ・ストリームの形式でのナビゲーション・データに対して音声認識が実行された後に、キーワード「右」が抽出される。ナビゲーション・データにおいて方位角「右」に対して具体的な距離値がなく、したがって距離値はデフォルト値にセット、例えばデフォルトで10メートルにセットされ得、X軸上の値は10である。「直進」及び「100メートル」というキーワードが抽出され、したがって直進の方位角の距離は100メートル、言い換えれば、y軸の値は100である。高さ情報がなく、したがってz軸上の値が0にセットされ得る。このようにして、空間オブジェクトの方位角情報(10,100,0)が取得される。オーディオ・ストリーム形式でのナビゲーション・データに対して音声認識を実行することによって、,コンテンツ情報が「100m直進し、次いで右折する」ことが取得される。本例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されないと理解されたい。
ネットワーク側又は端末側に記憶された地図データを使用するシナリオでは、空間オブジェクト情報には、データ処理装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び絶対座標を含む。このケースでは、ステップ802は、データ生成装置が、データ生成装置の空間位置及び空間オブジェクト情報に基づいて、方位角情報を生成することを含み得る。具体的には、データ生成装置は、データ生成装置の空間位置に対応する第1の座標(すなわち、データ生成装置の空間位置の絶対座標)を座標原点として使用し、ジャイロスコープ又はデータ生成装置における位置決めシステムなどを使用することによって、ユーザの進行方向を決定し、ユーザの進行方向をy軸の正の方向として使用することによって座標系を確立し、データ生成装置の空間位置を取り囲む空間オブジェクトのものであり、かつ空間オブジェクト情報に含まれる絶対座標(すなわち、第2の座標の一例)に基づいて座標系における空間オブジェクトの位置を決定して、方位角情報を生成し、方位角情報及び空間オブジェクト情報に含まれるオブジェクト・コンテンツに基づいて、コンテンツ情報を生成する。コンテンツ情報は、方位角の記述と空間オブジェクトのタイプを含む。例えば、空間オブジェクトのタイプが書店であり、データ生成装置の空間位置の絶対座標及び書店の絶対座標に基づいて方位角情報(0,50,0)が取得される場合、コンテンツ情報は、50m先の右側に書店があるということである。別のケースでは、空間オブジェクト情報は、空間オブジェクトのオブジェクト・コンテンツ及び相対座標を含む。本ケースでは、データ生成装置は、空間オブジェクト情報から相対座標を抽出して、方位角情報を取得し、方位角情報及び空間オブジェクト情報に含まれるオブジェクト・コンテンツに基づいて、コンテンツ情報を生成し得る。別のケースでは、空間オブジェクト情報は、空間オブジェクトのオブジェクト・コンテンツ、及びデータ生成装置に対する空間オブジェクトの相対座標を含む。本ケースでは、ステップ802は、データ生成装置が、空間オブジェクト情報に含まれる空間オブジェクトの相対座標に基づいて方位角情報を生成し、方位角情報及び空間オブジェクト情報に含まれるオブジェクト・コンテンツに基づいて、コンテンツ情報を生成することを含み得る。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオでは、空間オブジェクト情報は、センサが構成されている端末側電子デバイスを取り囲む空間オブジェクトのオブジェクト・コンテンツ及び相対座標を含む。本ケースでは、ステップ802は、データ生成装置が、空間オブジェクトの相対座標に基づいて方位角情報を生成し、方位角情報及び空間オブジェクト情報に含まれるオブジェクト・コンテンツに基づいて、コンテンツ情報を生成することを含み得る。
任意選択で、データ生成装置は、端末デバイスの姿勢及び空間オブジェクト情報に基づいて方位角情報を生成する。例えば、姿勢は、右に30度回転する、左に20度回転する、15度上昇する、又は別の姿勢である。さらに、例えば、データ生成装置が車両であるときに、姿勢は、車両のヘッドの方向であり、データ生成装置が携帯電話又はナビゲータであるときに、姿勢は、携帯電話又はナビゲータの画面の向きであり、データ生成装置がデュアルチャネル・ヘッドセットであるときに、姿勢は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、データ生成装置が車両及び車両内に位置する携帯電話の両方を含む個別装置であるときに、姿勢は、車両のヘッドの向き、又は車両内に位置する携帯電話の画面の向きであり、あるいはデータ生成装置が、車両及び車両内に位置するデュアルチャネル・ヘッドセットの両方を含む個別装置であるときに、姿勢は、車両のヘッドの向き、又はデュアルチャネル・ヘッドセットを装着している車両内ユーザの顔の向きである。
具体的には、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第1の実装、ネットワーク側又は端末側に記憶された地図データを使用するシナリオにおける第1及び第4の実装、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第1及び第4の実装では、データ生成装置及びオーディオ処理装置が同じ端末デバイス内に構成されており、したがって端末デバイスの姿勢を測定した後に、データ生成装置は、姿勢及び空間オブジェクト情報に基づいて方位角情報を生成し、最終的にユーザによって聞こえる空間音の音源の位置が、端末デバイスに対する空間オブジェクトの方位角情報と合致するようにして、空間音の精度を改善する。
歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第2及び第3の実装、ネットワーク側又は端末側に記憶された地図データを使用するシナリオにおける第2及び第3の実装、並びにセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第2、第3、第5及び第6の実装では、データ生成装置及びオーディオ処理装置は、2つの独立したデバイスであり、したがってデータ生成装置は、オーディオ再生装置によって送信された姿勢を受信し、姿勢及び空間オブジェクト情報に基づいて方位角情報を生成する。より具体的には、オーディオ再生装置は、オーディオ再生装置の姿勢をリアルタイムでデータ生成装置に送信してもよいし、オーディオ再生装置の姿勢を予めセットされた継続時間の間隔でデータ生成装置に送信してもよい。例えば、予めセットされた持続時間は、2秒、5秒、10秒、又は他の持続時間であり得る。
より具体的には、前述のシナリオでは、データ生成装置又はオーディオ再生装置がヘッドセット、携帯電話、ポータブル・コンピュータ、又はナビゲータなどであるときに、ジャイロスコープ、又は姿勢測定機能を有する別の要素がデータ生成装置又はオーディオ再生装置に配設され、データ生成装置又はオーディオ再生装置は、ジャイロスコープ又は姿勢測定機能を有する別の要素を使用することによって、端末デバイスの姿勢を取得する。姿勢は、ヘッドセット、携帯電話、ポータブル・コンピュータ、又はナビゲータの姿勢であり得る。データ生成装置又はオーディオ再生装置が車両であるときに、データ生成装置又はオーディオ再生装置は、ジャイロスコープ、ハンドルの回転方向、又は車両に構成されている別の要素を使用することによって姿勢を測定し得る。車両の姿勢は、車両のヘッドの姿勢、車輪の姿勢、車体の姿勢、別の姿勢などであり得る。車両は、自動車、トラック、オートバイ、バス、ボート、航空機、ヘリコプタ、芝刈り機、レクリエーション用車両、遊び場用車両、建設デバイス、トロリー、ゴルフ・カート、列車、手押し車などであり得る。これは、本出願の本実施形態において具体的に限定されない。
任意選択で、本発明の本実施形態は、ステップ803を含んでもよい。すなわち、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定する。空間オブジェクト情報が予めセットされた条件を満たす場合、ステップ804が実行される。空間オブジェクト情報が予めセットされた条件を満たさない場合、ステップ805が実行される。
本出願の本実施形態では、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定する。予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。予めセットされた空間位置領域は、データ生成装置又はオーディオ処理装置の空間位置に対する予めセットされた空間位置領域である。例えば、予めセットされた空間位置領域は、データ生成装置又はオーディオ処理装置の空間位置の10メートル先の右側の領域であり得る。別の例では、予めセットされた空間位置領域は、データ生成装置又はオーディオ処理装置の空間位置が原点として使用され、半径が10メートルである領域であり得る。これは、本明細書において限定されるものではない。予めセットされた空間方向は、データ生成装置又はオーディオ処理装置の空間位置に対する位置方向であり得る。例えば、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり得る。デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きは、ジャイロスコープ、慣性センサ、又はデュアルチャネル・ヘッドセット内に構成されている別の要素に基づいて測定され得る。ユーザは、通常、ユーザが視認することを期待するオブジェクトを視認する。デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きの方向は、予めセットされた空間方向にセットされる。これは、関心のある空間オブジェクトを決定するプロセスの精度を改善するのに役立つ。データ生成装置が携帯電話又はナビゲータであるときに、予めセットされた空間方向は、携帯電話又はナビゲータ上の移動方向であり得る。データ生成装置が車両であるときに、予めセットされた空間方向は、車両のヘッドの向きであり得る。さらに、予めセットされた空間方向は、データ生成装置又はオーディオ処理装置の前方、後方、左方、右方、又は別の方向であってもよいし、絶対空間位置方向であってもよい。例えば、予めセットされた空間方向は、東、西、南又は北であり得る。これは、本明細書において限定されるものではない。予めセットされたオブジェクト・コンテンツは、ユーザによって予め入力され得る。例えば、ユーザは、喫茶店、書店、又は他のタイプの空間オブジェクトを、ユーザが関心を持つオブジェクトとして予め入力し得る。代替的には、データ生成装置は、予めセットされたオブジェクト・コンテンツを独自に決定し得る。例えば、比較的大きな危険係数を有するオブジェクト・コンテンツ、例えば、建設現場が、予めセットされたオブジェクト・コンテンツとしてセットされ得る。別の例として、ハイライトする必要のあるオブジェクト・コンテンツ、例えば、右左折地点又は交差点が、予めセットされたオブジェクト・コンテンツとしてセットされ得る。本例は、単に本解決策の理解を容易にするために使用されるに過ぎないと理解されたい。具体的には、予めセットされた空間位置領域、予めセットされた空間方向、及び/又は予めセットされたオブジェクト・コンテンツの具体的な意味は、当業者が実際の製品形式を参照して決定され得る。これは、本明細書において限定されるものではない。具体的には、データ生成装置は、決定を実行する。
具体的には、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおいて、ステップ803は、データ生成装置が、コンテンツ情報に示されているオブジェクト・コンテンツが予めセットされたオブジェクト・コンテンツであるかどうかを決定することを含み得る。決定結果が「はい」である場合、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすと決定する。ネットワーク側又は端末側に記憶された地図データを使用するシナリオ、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオでは、ステップ803は、以下のケースのうちの1つ以上を含む。すなわち、データ生成装置が、方位角情報に示された空間位置が予めセットされた空間位置領域に位置するかどうかを決定すること、データ生成装置が、方位角情報に示された空間位置が予めセットされた空間方向に位置するかどうかを決定すること、又はデータ生成装置が、コンテンツ情報に示されたオブジェクト・コンテンツが予めセットされたオブジェクト・コンテンツであるかどうかを決定することである。データ生成装置は、前述のケースのうちのいずれか1つ以上の決定結果が「はい」であるときに、空間オブジェクト情報が予めセットされた条件を満たすと決定する。
任意選択で、本発明の本実施形態は、ステップ804を含んでもよい。すなわち、データ生成装置は、ボリューム上げ指示情報を生成する。
本出願の本実施形態のいくつかの実施形態では、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすことを決定した後に、ボリューム上げ指示情報を生成する。ボリューム上げ指示情報は、空間オブジェクト情報に対応する空間音のボリュームを上げることを示すために使用される。ボリューム上げ指示情報は、ボリュームを上げる必要があるボリューム値を搬送してもよく、ボリューム上げ指示情報において搬送されるボリューム値は、正の値、例えば、3dB、8dB、10dB、又は15dBであってもよい。代替的には、ボリューム上げ指示情報は、ボリュームを上げる必要があるボリューム値を搬送しなくてもよい。これは、本明細書において限定されるものではない。
任意選択で、本発明の本実施形態は、ステップ805を含んでもよい。すなわち、データ生成装置がボリューム下げ指示情報を生成する。
本出願の本実施形態のいくつかの実施形態では、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たさないことを決定した後に、ボリューム下げ指示情報を生成する。ボリューム下げ指示情報は、空間オブジェクト情報に対応する空間音のボリュームを下げることを示すために使用される。ボリューム下げ指示情報は、ボリュームを下げる必要があるボリューム値を搬送してもよく、ボリューム下げ指示情報において搬送されるボリューム値は、負の値、例えば、-3 dB、-8dB、-10dB、又は-15dBであり得る。代替的には、ボリューム下げ指示情報は、ボリュームを下げる必要があるボリューム値を搬送しなくてもよい。これは、本明細書において限定されるものではない。
ステップ806:データ生成装置は、空間音データを生成する。
本出願の本実施形態では、データ生成装置は、方位角情報及びコンテンツ情報を取得した後に、空間音データを生成する。空間音データは、空間音を生成することを指示するために使用される。具体的には、空間音データは、方位角情報及びコンテンツ情報を含むか、又は空間音データは、方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号を含み、少なくとも2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。
空間音データが方位角情報及びコンテンツ情報を含む場合、空間音データは、ボリューム情報などをさらに含み得る。ETSI TS 103 223規格では、空間音データは、具体的には、空間オーディオ・オブジェクトとして表され、空間オーディオ・オブジェクトに含まれる様々なタイプの情報が、具体的には、アレイ・フィールドとして表される。さらに、ETSI TS 103 223規格は、「オブジェクト・ベースのオーディオ・イマーシブ音メタデータ及びビットストリーム」のための規格を提供する。本規格は、以下のケースをサポートする。すなわち、音源の位置と聞いているユーザとの間の距離を反映することができるイマーシブ音メタデータ及びビットストリーム並びに方位角が、ユーザの位置座標及び音源の位置座標に基づいて計算される。ETSI TS 103 223規格は、単に空間音データの参照規格に過ぎないことに留意されたい。実際の実装では、別の規格に対する参照が行われてもよいし、ETSI TS 103 223規格に基づいて修正が行われてもよい。本出願の本実施形態では、ETSI TS 103 223規格は、単に説明のための例として使用されるに過ぎない。ETSI TS 103 223規格を参照すると、空間音データにおける位置情報は、具体的には、位置(position)フィールドとして表され、コンテンツ情報は、具体的にはコンテンツ(contentkind)フィールドとして表され、ボリューム情報は、具体的には、ボリュームゲイン(gain)フィールドとして表される。例は、本明細書に網羅的に列挙されていない。
本出願の本実施形態では、ステップ803~805は、任意選択のステップである。ステップ803~805のいずれも実行されない場合、又はステップ803及び804が実行されて、ステップ805は実行されない場合、ステップ803の実行結果は、空間オブジェクト情報が予めセットされた条件を満たさないことである、あるいはステップ803、805が実行され、ステップ804は実行されない場合、ステップ803の実行結果は、空間オブジェクト情報が予めセットされた条件を満たすことであり、ステップ806は、データ生成装置が方位角情報及びコンテンツ情報に基づいて空間データを生成することを含み得る。具体的には、ETSI TS 103 223規格では、データ生成装置は、座標の形式での方位角情報及びコンテンツ情報を取得した後に、位置フィールドのフィールド値として方位角情報を決定し、コンテンツ・フィールドのフィールド値としてコンテンツ情報を決定し、空間オーディオ・オブジェクトにおける別のフィールドに対するデフォルト値を使用して、空間オーディオ・オブジェクトを取得し得る。
ステップ803~805のすべてが実行され、ステップ803の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすものである場合、又はステップ803~804が実行され、ステップ805が実行されず、ステップ803の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすものである場合、ステップ806は、データ生成装置が、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成することを含む。具体的には、ETSI TS 103 223規格では、データ生成装置は、座標の形式での方位角情報及びコンテンツ情報を取得した後に、位置フィールドのフィールド値として方位角情報を決定し、コンテンツ・フィールドのフィールド値としてコンテンツ情報を決定し得る。ボリューム上げ指示情報が、ボリュームを上げる必要があるボリューム値を搬送する場合、ボリュームを上げる必要があるボリューム値は、ボリューム・ゲイン・フィールドのフィールド値として決定され得る。ボリューム上げ指示情報が、ボリュームを上げる必要があるボリューム値を搬送しない場合、ボリューム・ゲイン・フィールドのフィールド値は、予めセットされた値だけ上げられ得る。例えば、ボリューム・ゲイン・フィールドのフィールド値は、3dB、8dB、10dB、又は15dBであり得る。本出願の本実施形態では、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であるときに、ボリューム上げ指示情報が生成され、ボリューム上げ指示情報は、空間オブジェクト情報に対応する空間音のボリュームを上げることを示す、言い換えれば、再生ボリュームが予めセットされたオブジェクト・コンテンツを有する空間オブジェクトに対して上げられて、ユーザの注意を引き付け、ユーザが予めセットオブジェクト・コンテンツを有する空間オブジェクトを見失うことを防ぐ。このようにして、ナビゲーション・プロセスにおけるセキュリティが改善され、ユーザが関心のある空間オブジェクトを見失うことを防止することができ、それによって、本解決策のユーザ粘度を改善する。
ステップ803~805のすべてが実行され、ステップ803の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすものである場合、又はステップ803~805が実行され、ステップ804が実行されず、ステップ803の実行結果が、空間オブジェクト情報が予めセットされた条件を満たさないものである場合、ステップ806は、データ生成装置が、方位角情報、コンテンツ情報、及びボリューム下げ指示情報に基づいて、空間音データを生成することを含む。具体的には、ETSI TS 103 223規格では、ヘッドセットは、座標の形式での方位角情報及びコンテンツ情報を取得した後に、位置フィールドのフィールド値として方位角情報を決定し、コンテンツ・フィールドのフィールド値としてコンテンツ情報を決定し得る。ボリューム下げ指示情報が、ボリュームを下げる必要があるボリューム値を搬送する場合、ボリューム・ゲイン・フィールドのフィールド値は、ボリュームを下げる必要があるボリューム値に基づいて決定されてもよく、ボリューム・ゲイン・フィールドのフィールド値は、負の値である。ボリューム下げ指示情報が、ボリュームを下げる必要があるボリューム値を搬送しない場合、ボリューム・ゲイン・フィールドのフィールド値は、予めセットされた値だけ下げられ得る。例えば、ボリューム・ゲイン・フィールドのフィールド値は、-3dB、-8dB、-10dB、又は-15dBであり得る。
さらに、前述の3つのケースでは、空間音データが方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号である場合、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第3の実装、ネットワーク側又は端末側に記憶された地図データを使用するシナリオにおける第3の実装、並びにセンサを使用することによって、周囲の空間オブジェクトを検知及び記述するシナリオにおける第3及び第6の実装、あるいは歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第1の実装、ネットワーク側又は端末側に記憶された地図データを使用するシナリオにおける第1及び第4の実装、並びにセンサを使用することによって、周囲の空間オブジェクトを検知及び記述するシナリオにおける第1及び第4の実装では、方位角情報及びコンテンツ情報が生成された後に、ステップ806は、データ生成装置が、コンテンツ情報及び方位角情報に基づいてレンダリング動作を実行して、少なくとも2つのモノフォニック信号を生成することをさらに含み得る。少なくとも2つのモノフォニック信号は、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生されて、空間音を生成する。
具体的には、空間音データに基づいてレンダリング動作を実行するプロセスでは、レンダリング動作は、具体的には、特定のアルゴリズム又はデータ処理動作を使用することによって、空間方位角情報をオーディオ・ストリーム・データに組み込んで、最終的に少なくとも2つのモノフォニック信号を生成することである。少なくとも2つのモノフォニック信号は、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生されて、空間音を生成する。レンダリング機能ライブラリは、データ生成装置又はオーディオ再生装置において予め構成されていてもよい。空間音データが取得された後に、空間音データにおける方位角情報に対応する左耳レンダリング機能及び右耳レンダリング機能が取得され、空間音データにおけるコンテンツ情報に対応するオーディオ・ストリーム・データが取得され、左耳レンダリング機能を使用することによって、コンテンツ情報に対応するオーディオ・ストリーム・データがレンダリングされて、左チャネル信号を取得し、右耳レンダリング機能を使用することによって、コンテンツ情報に対応するオーディオ・ストリーム・データがレンダリングされて、右チャネル信号を取得する。左チャネル信号及び右チャネル信号は2つのモノフォニック信号である。より具体的には、空間オブジェクト情報がオーディオ・ストリーム形式でのナビゲーション・データを含む場合、オーディオ・ストリーム形式のコンテンツ情報は、空間オブジェクト情報から抽出され得る。空間オブジェクト情報がテキスト形式でのナビゲーション・データを含む場合、空間音データにおけるコンテンツ情報は、オーディオ・ストリーム形式でのコンテンツ情報に変換される必要がある。
さらに、空間音データに基づいて空間音が生成される具体的な実装は、オーディオ再生装置がヘッドセットである例を使用することによって本明細書において詳細に記載されている。実装では、左耳レンダリング機能及び右耳レンダリング機能の各々は、頭部関係インパルス応答(head related impulse response、HRIR)機能である。このケースでは、空間音データにおけるコンテンツ情報に対応するPCMデータが取得される必要があり、空間音データにおける位置情報に対応する左耳HRIR機能及び右耳HRIR機能が取得され、PCMデータ並びに左耳HRIR機能及び右耳HRIR機能の各々について畳み込み処理が実行されて、左チャネル信号及び右チャネル信号を取得し、次いで、オーディオ再生装置における左右の音電気エネルギー変換モジュールを使用することによって左チャネル信号及び右チャネル信号が再生され得る。別の実装では、左耳レンダリング機能及び右耳レンダリング機能の各々は、頭部関係トランスファー応答((head related transfer function、HRTF)機能である。このケースでは、空間音データにおけるコンテンツ情報に対応するPCMデータが取得される必要があり、空間データにおける位置情報に対応する左耳HRTF機能及び右耳HRTF機能が取得され、PCMデータが周波数領域に変換されて、変換されたオーディオ・ストリーム・データを取得し、変換されたオーディオ・ストリーム・データは、左耳HRTF機能及び右耳HRTF機能の各々によって乗算され、乗算後に取得された信号は、時間領域に変換されて、左チャネル信号及び右チャネル信号を取得し、左チャネル信号及び右チャネル信号は、オーディオ再生装置における左右の音電気エネルギー変換モジュールを使用することによって再生され得る。本明細書では、本解決策の実装可能性を証明するためだけに、オーディオ再生装置がヘッドセットにおける音電気エネルギー変換モジュールである例が使用されている。オーディオ再生装置が別の形式であるときに、本解決策が適用可能であることを、アナロジーを介して分かり得る。空間音を生成する方式は、本明細書においては限定されない。
任意選択で、本発明の本実施形態は、ステップ807を含み得る。すなわち、データ生成装置又はオーディオ再生装置は、空間的音データに基づいて、空間音を再生する。
本出願の本実施形態では、データ生成装置は、空間音データを生成した後に、空間音データに基づいて、空間音を再生し得る。空間音は音である。空間音の音源の位置は方位角情報に対応し、空間音に対する再生コンテンツは、コンテンツ情報である。
空間音データがコンテンツ情報及び方位角情報を含む場合、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第2の実装シナリオ、ネットワーク側又は端末側に記憶された地図データを使用するシナリオにおける第2の実装シナリオ、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第2及び第5の実装において、データ生成装置及びオーディオ再生装置は、異なる独立したデバイスにおいて位置し、したがって、データ生成装置は、コンテンツ情報及び方位角情報を含む空間音データを生成した後に、コンテンツ情報及び方位角情報を含む空間音データをオーディオ再生装置に送信し、オーディオ再生装置は、コンテンツ情報及び方位角情報に基づいてレンダリング動作を実行して、少なくとも2つのモノフォニック信号を生成し、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって、空間音を再生する。任意選択で、オーディオ再生装置は、空間音データに基づいて少なくとも2つのモノフォニック信号を生成した後に、さらに、リアルタイムでオーディオ再生装置の姿勢を取得し、オーディオ再生装置の姿勢及び空間音データに基づいて、変換された空間方位角情報を取得し、オーディオ・ストリーム形式でコンテンツ情報を再レンダリングし、再レンダリング動作が実行された後に取得された少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって、空間音を再生し得る。再レンダリングは、特定のアルゴリズム又はデータ処理動作を使用することによって、変換された空間方位角情報をオーディオ・ストリーム・データに組み込んで、最終的に少なくとも2つのモノフォニック信号を生成することを意味する。本出願の本実施形態では、少なくとも2つのモノフォニック信号に含まれるモノフォニック信号の数は、オーディオ再生装置に含まれる音電気エネルギー変換モジュールの数と合致する。
代替的には、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第1の実装、ネットワーク側又は端末側に記憶された地図データを使用するシナリオにおける第1及び第4の実装、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第1及び第4の実装では、データ生成装置及びオーディオ再生装置は、同じデバイスに一体化され、空間音データがコンテンツ情報及び方位角情報を含む場合、データ生成装置は、コンテンツ情報及び方位角情報に基づいて少なくとも2つのモノフォニック信号を最初に生成し、少なくとも2つのモノフォニック信号を、内部インターフェースを使用することによって、音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生する必要がある。内部インターフェースは、具体的には、ハードウェア回路基板上のトレースとして表わされ得る。任意選択で、データ生成装置とオーディオ再生装置は同じデバイスに一体化され、したがって、データ生成装置は、車両のジャイロスコープ又はハンドルなどの姿勢測定要素を使用することによってオーディオ再生装置の姿勢を直接取得し、オーディオ再生装置の姿勢に基づいてオーディオ・ストリームの形式でコンテンツ情報を再レンダリングして、再レンダリング動作が実行された後に取得される少なくとも2つのモノフォニック信号を取得し、次いで、内部インターフェースを使用することによって少なくとも2つのモノフォニック信号をオーディオ再生装置に伝送して、空間音を再生し得る。
空間音データが、コンテンツ情報及び方位角情報に基づいて生成された少なくとも2つのモノフォニック信号を含む場合、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第3の実装、ネットワーク側又は端末側に記憶された地図データを使用するシナリオにおける第3の実装、及びセンサを使用することによって、周囲の空間オブジェクトを検知及び記述するシナリオにおける第3及び第6の実装では、データ生成装置は、少なくとも2つのモノフォニック信号をオーディオ再生装置に送信し、オーディオ再生装置は、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに入力して、空間音を再生する。任意選択で、オーディオ再生装置は、オーディオ再生装置の姿勢を取得し、オーディオ再生装置の姿勢をデータ生成装置に送信し得、データ生成装置は、オーディオ再生装置の姿勢に基づいて、オーディオ・ストリーム形式でコンテンツ情報を再レンダリングし、データ生成装置は、再レンダリングし、データ生成装置は、再レンダリング動作が実行された後に取得された少なくとも2つのモノフォニック信号をオーディオ再生装置に送信し、オーディオ再生装置は、再レンダリング動作が実行された後に取得された少なくとも2つのモノフォニック信号を音電気変換モジュールに入力して、空間音を再生する。
代替的には、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第1の実装、ネットワーク側又は端末側に記憶された地図データを使用するシナリオにおける第1及び第4の実装、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第1及び第4の実装では、空間音データが少なくとも2つのモノフォニック信号を含む場合、データ生成装置は、少なくとも2つのモノフォニック信号を、内部インターフェースを使用することによって、音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生する。
任意選択で、空間音データに基づいてレンダリング動作を実行するプロセスにおいて、空間音を再生するために、左チャネル信号及び右チャネル信号の再生ボリュームが、空間音データ内のボリューム情報に基づいてさらに調整され得る。具体的には、データ生成装置がボリューム上げ指示情報を生成する場合、左チャネル信号及び右チャネル信号の再生ボリュームが上げられる。代替的には、データ生成装置がボリューム下げ指示情報を生成する場合、左チャネル信号及び右チャネル信号の再生ボリュームが下げられる。
本出願の本実施形態では、ナビゲーション・データが再生されるときに、ナビゲーション目的地の方位角情報及びコンテンツ情報に基づいて、空間音データが生成され、生成された空間音データは、空間音が再生されることを示し、空間音に対応する音源の再生位置は、ナビゲーション目的地の方位角情報と合致しており、言い換えれば、ユーザは、聞こえる空間音の音源の再生位置に基づいて、正しい進行方向を決定し得る。このようにして、より直感的な再生方式が提供され、ユーザは、ユーザの進行方向が正しいかどうかを確認するために、マップを頻繁に開く必要がない。動作が簡単であり、したがって、ナビゲーション・プロセスの効率が改善される。空間オブジェクトが別のタイプのオブジェクトであるときに、より直感的で効率的なデータ提示方式が提供される。
(2)空間オブジェクト情報は、フィルタリングされる。
本出願の一実施形態において、図9は、本出願の本実施形態によるデータ生成方法の概略フローチャートである。本出願の本実施形態において提供されるデータ生成方法は、以下のステップを含み得る。
ステップ901:データ生成装置は、空間オブジェクト情報を取得する。
ステップ902:データ生成装置は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。
任意選択で、本発明の本実施形態は、ステップ903を含んでもよい。すなわち、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定する。空間オブジェクト情報が予めセットされた条件を満たす場合、ステップ904が実行される。空間オブジェクト情報が予めセットされた条件に合致しない場合は、実行は終了する。
本出願の本実施形態のいくつかの実施形態では、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定する。空間オブジェクト情報が予めセットされた条件を満たす場合、ステップ904が実行され得る。空間オブジェクト情報が予めセットされた条件を満たさない場合、空間音データは、空間オブジェクト情報に基づいてもはや生成されず、ステップ901が、次の空間オブジェクト情報を処理するために再度実行され得る。
任意選択で、本発明の本実施形態は、ステップ904を含んでもよい。すなわち、データ生成装置は、ボリューム上げ指示情報を生成する。
本出願の本実施形態では、データ生成装置がステップ901~904を実行する具体的な実装は、図8に対応する実施形態におけるステップ801~804の具体的な実装と同様である。詳細は、ここでは記載されない。
ステップ905:データ生成装置は、空間音データを生成する。
本出願の本実施形態のうちのいくつかの実施形態では、ステップ903~904は、任意選択のステップである。ステップ903及びステップ904のいずれも実行されない場合、又はステップ903が実行され、ステップ904は実行されず、ステップ903の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすことである場合、ステップ905は、データ生成装置が方位角情報及びコンテンツ情報に基づいて、空間音データを生成することを含む。
ステップ903及び904の両方が実行され、ステップ903の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすことである場合、ステップ806は、データ生成装置が、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成することを含む。
本出願の本実施形態では、前述の方式において、空間音データが生成される前に、空間オブジェクト情報が予めセットされた条件を満たすかどうかが決定され、決定結果が予めセットされた条件が満たされることであるときにのみ、空間オブジェクト情報に基づいて、空間音データが生成される、すなわち、空間オブジェクト情報がフィルタリングされる。このように、予めセットされた条件を満たさない空間オブジェクト情報によって生じるコンピュータ・リソースの浪費が回避され、ユーザへの過度の妨害が回避されて、それによって、本解決策のユーザ粘度を改善する。
任意選択で、本発明の本実施形態は、ステップ906:オーディオ再生装置又はデータ生成装置が、空間音データに基づいて空間音を再生することを含み得る。
本出願の本実施形態では、データ生成装置がステップ905及び906を実行する具体的な実装については、図8に対応する実施形態におけるステップ806及び807の具体的な実装の説明を参照のこと。詳細は、ここでは記載されない。
図1~図9に対応する実施形態に基づいて、本出願の実施形態における解決策をより良く実装するために、解決策を実装するための関係装置が、さらに以下に提供される。具体的には、図10は、本出願の一実施形態によるデータ生成装置の構造の別の概略図である。データ生成装置100は、取得モジュール1001及び生成モジュール1002を含む。取得モジュール1001は、空間オブジェクト情報を取得するように構成されている。空間オブジェクト情報は、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される。具体的な実装については、図8に対応する実施形態におけるステップ801の説明を参照のこと。生成モジュール1002は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。方位角情報は、空間オブジェクト情報に示される空間オブジェクトのデータ生成装置に対する方位角を示すために使用される。コンテンツ情報は、空間オブジェクトを記述するために使用される。具体的な実装については、図8に対応する実施形態におけるステップ802の説明を参照のこと。生成モジュール1002は、方位角情報及びコンテンツ情報に基づいて、空間音データを生成するようにさらに構成されている。空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する。具体的な実装については、図8に対応する実施形態におけるステップ802及び図9に対応する実施形態におけるステップ905の説明を参照のこと。特定のコンテンツについては、本出願の実施態様に示された前述の方法の実施態様の説明を参照のこと。詳細は、ここでは記載されない。
本出願の本実施形態では、ナビゲーション・データが再生されるときに、生成モジュール1002は、ナビゲーション目的地の方位角情報及びコンテンツ情報に基づいて、空間音データを生成し、生成された空間音データは、空間音が再生されることを示し、空間音に対応する音源の再生位置は、ナビゲーション目的地の方位角情報と合致しており、言い換えれば、ユーザは、聞こえる空間音の音源の再生位置に基づいて、正しい進行方向を決定し得る。このようにして、より直感的な再生方式が提供され、ユーザは、ユーザの進行方向が正しいかどうかを確認するために、マップを頻繁に開く必要がない。動作が簡単であり、したがって、ナビゲーション・プロセスの効率が改善される。追加的に、空間オブジェクトが別のタイプのオブジェクトである場合、より直感的で効率的なデータ提示方式が提供される。
実装では、空間音データは、方位角情報及びコンテンツ情報を含むか、又は空間音データは、方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号を含み、少なくとも2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。
可能な設計では、生成モジュール1002は、具体的には、空間オブジェクト情報及びデータ生成装置の位置又は姿勢のうちの少なくとも1つに基づいて、方位角情報を生成するように構成されている。具体的な実装については、図8に対応する実施形態におけるステップ802の説明を参照のこと。
本出願の本実施形態では、生成モジュール1002は、姿勢及び空間オブジェクト情報に基づいて、方位角情報を生成し、最終的にユーザによって聞こえた空間音の音源の位置が、端末デバイスに対する空間オブジェクトの方位角情報と合致し、空間音の精度を改善するようにする。
可能な設計では、取得モジュール1001は、具体的には、空間オブジェクト情報を受信するように構成されている。具体的な実施形態については、図8に対応する実施形態のステップ801の説明を参照するか、ネットワーク側又は端末側に記憶された地図データを使用することによって、歩行ナビゲーション・シナリオ、車内ナビゲーション・シナリオ、及び周囲の空間オブジェクトを説明するシナリオの説明を参照のこと。代替的には、取得モジュール1001は、具体的には、センサを使用することによって空間オブジェクト情報を収集するように構成されている。具体的な実装については、図8に対応する実施形態におけるステップ801の説明を参照するか、又はセンサを使用することによって周囲の空間オブジェクトを検知及び記載するシナリオの説明を参照のこと。
本出願の本実施形態では、生成モジュール1002は、本解決策において提供されるデータ提示方式を複数のアプリケーション・シナリオに適用し得、本解決策のアプリケーション・シナリオが拡張される。これにより、本解決策の実装の柔軟性が改善される。
可能な設計では、取得モジュール1001は、具体的には、アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信すること、アプリケーション・プログラムによって生成されたインターフェース・データを受信すること、又はネットワーク側若しくは端末側に記憶された地図データの受信することの3つの方式のうちの少なくとも1つで空間オブジェクト情報を受信するように構成されている。具体的な実装については、図8に対応する実施形態におけるステップ801の説明を参照のこと。
可能な設計では、センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。
可能な設計では、生成モジュール1002は、具体的には、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。具体的な実装については、図8に対応する実施形態におけるステップ903~905の説明を参照のこと。
本出願の本実施形態では、生成モジュール1002が空間音データを生成する前に、空間オブジェクト情報が予めセットされた条件を満たすかどうかが決定され、決定結果が予めセットされた条件が満たされることであるときにのみ、空間オブジェクト情報に基づいて、空間音データが生成される、すなわち、空間オブジェクト情報がフィルタリングされる。このように、予めセットされた条件を満たさない空間オブジェクト情報によって生じるコンピュータ・リソースの浪費が回避され、ユーザへの過度の妨害が回避されて、それによって、本解決策のユーザ粘度を改善する。
可能な設計では、生成モジュール1002は、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム上げ指示情報を生成するようにさらに構成されている。ボリューム上げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを上げることを示すために使用される。具体的な実装については、図8に対応する実施形態におけるステップ803及び804の説明を参照のこと。
本出願の本実施形態では、生成モジュール1002は、予めセットされたオブジェクト・コンテンツを有する空間オブジェクトに対して再生ボリュームを上げて、ユーザの注意を引き付け、ユーザが予めセットされたオブジェクト・コンテンツを有する空間オブジェクトを見失うことを防ぎ得る。このようにして、ナビゲーション・プロセスにおけるセキュリティが改善され、ユーザが関心のある空間オブジェクトを見失うことを防止することができ、それによって、本解決策のユーザ粘度を改善する。
可能な設計では、生成モジュール1002は、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム下げ指示情報を生成するようにさらに構成されている。ボリューム下げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを下げることを示すために使用される。具体的な実装については、図8に対応する実施形態におけるステップ803及び805の説明を参照のこと。
可能な設計では、予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。
可能な設計では、生成モジュール1002は、具体的には、方位角情報、コンテンツ情報、及びオーディオ再生装置の姿勢に基づいて、コンテンツ情報に対応するオーディオ・ストリーム・データに対してレンダリング動作を実行して、空間音データを生成するように構成されている。空間音データは、方位角情報及びコンテンツ情報に基づいて生成される少なくとも2つのモノフォニック信号を含む。具体的な実装については、図8に対応する実施形態におけるステップ806の説明を参照のこと。
可能な設計では、データ生成装置100は、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両のうちの少なくとも1つを含む。
可能な設計では、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、オーディオ再生装置は、空間音を再生するように構成されている。
本出願の本実施形態では、データ生成装置100は、具体的には、図1、図5又は図6に対応する実施形態における端末デバイス、図2~図4及び図7におけるデータ生成装置などであり得る。これは、本明細書において限定されるものではない。データ生成装置100内のモジュール/ユニットと実行プロセスとの間の情報交換等のコンテンツは、本願の実施形態における図1~図9に対応する方法の実施形態と同じ概念に基づくと留意されたい。特定のコンテンツについては、本出願の実施態様に示された前述の方法の実施態様の説明を参照のこと。詳細は、ここでは記載されない。データ生成装置100は、1つの装置又は2つの異なる装置であり得る。コンテンツ情報及び方位角情報を生成するステップが、一方の装置によって実行され、コンテンツ情報及び方位角情報に基づいて空間音データを生成するステップが、他方の装置で実行される。
本出願の実施形態において提供されるデータ生成装置は、以下に記載される。図11は、本出願の一実施形態によるデータ生成装置の構造の別の概略図である。データ生成装置1100は、具体的には、仮想現実VRデバイス、携帯電話、タブレット、ノートブック・コンピュータ、インテリジェント・ウェアラブル・デバイス、モニタリング・データ処理デバイス、レーダ・データ処理デバイスなどとして表され得る。これは、本明細書において限定されるものではない。図10に対応する実施形態に記載のデータ生成装置100は、図1~図9に対応する実施形態におけるデータ生成装置の機能を実装するために、データ生成装置1100上に展開され得る。具体的には、データ生成装置1100は、受信機1101と、送信機1102と、プロセッサ1103と、メモリ1104とを含む(データ生成装置1100は、1つ以上のプロセッサ1103を含み得、1つのプロセッサが、図11において例として使用されている)。プロセッサ1103は、アプリケーション・プロセッサ11031及び通信プロセッサ11032を含み得る。本出願の本実施形態のいくつかの実施形態では、受信機1101、送信機1102、プロセッサ1103、及びメモリ1104は、バスを使用することによってか、又は別の方式で接続され得る。
メモリ1104は、読み出し専用メモリ及びランダム・アクセス・メモリを含み、命令及びデータをプロセッサ1103に提供し得る。メモリ1104の一部は、不揮発性ランダム・アクセス・メモリ(non-volatile random access memory、NVRAM)をさらに含み得る。メモリ1104は、プロセッサ及び動作命令、実行可能モジュール、データ構造、それらのサブセット、又はそれらの拡張セットを記憶する。動作命令は、様々な動作を実装するための様々な動作命令を含み得る。
プロセッサ1103は、データ生成装置によって実行される動作を制御する。特定の用途では、データ生成装置の構成要素は、バス・システムを使用することによって互いに結合される。バス・システムは、データ・バスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかしながら、明確な説明のために、図中の様々なタイプのバスは、バス・システムと呼ばれる。
本出願の前述の実施形態において開示された方法は、プロセッサ1103に適用されてもよいし、プロセッサ1103によって実装されてもよい。プロセッサ1103は、集積回路チップであり得、信号処理能力を有する。実装プロセスでは、前述の方法の各ステップは、プロセッサ1103内のハードウェアの集積論理回路又はソフトウェアの形式の命令を使用することによって完了され得る。プロセッサ1103は、汎用プロセッサ、デジタル信号プロセッサ(digital signal processing、DSP)、マイクロプロセッサ、又はマイクロコントローラであってもよいし、さらに、特定用途向け集積回路(application-specific integrated circuit、ASIC)、フィールド・プログラマブル・ゲート・アレイ(field-programmable gate array、FPGA)又は別のプログラマブル論理デバイス、個別ゲート若しくはトランジスタ論理デバイス、又は個別ハードウェア構成要素を含んでもよい。プロセッサ1103は、本出願の実施形態において開示される方法、ステップ、及び論理ブロック図を実装又は実行し得る。汎用プロセッサは、マイクロプロセッサであってもよいし、プロセッサは、任意の従来のプロセッサなどであってもよい。本出願の実施形態を参照して開示された方法のステップは、ハードウェア復号プロセッサを使用することによって直接的に実行及び完了されてもよいし、復号化プロセッサ内のハードウェア及びソフトウェア・モジュールの組み合わせを使用することによって実行及び完了されてもよい。ソフトウェア・モジュールは、ランダム・アクセス・メモリ、フラッシュ・メモリ、リード・オンリー・メモリ、プログラマブル読み出し専用メモリ、電気的に消去可能なプログラマブル・メモリ、又はレジスタなど、当該技術分野における成熟した記憶媒体内に位置し得る。記憶媒体は、メモリ1104内に位置し、プロセッサ1103は、メモリ1104内の情報を読み出し、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
受信機1101は、入力されたデジタル又は文字情報を受信し、データ生成装置の関係セッティング及び機能制御に関係する信号入力を生成するように構成され得る。送信機1102は、第1のインターフェースを使用することによって、デジタル又は文字情報を出力するように構成され得る。送信機1102は、ディスク・グループ内のデータを修正するために、第1のインターフェースを使用することによって、ディスク・グループに命令を送信するようにさらに構成され得る。送信機1102は、ディスプレイなどのディスプレイ・デバイスをさらに含み得る。
本出願の本実施形態では、あるケースでは、プロセッサ1103は、図1~図9に対応する実施形態において、データ生成装置によって実行されるデータ生成方法を実行するように構成されている。具体的には、アプリケーション・プロセッサ11031は、空間オブジェクト情報を取得することであって、空間オブジェクト情報は、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される、取得することと、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成することであって、方位角情報は、空間オブジェクト情報に示された空間オブジェクト情報のデータ生成装置に対する方位角を示すために使用され、コンテンツ情報は、空間オブジェクトを記述するために使用される、生成することと、方位角情報及びコンテンツ情報に基づいて、空間音データを生成することであって、空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する、生成することと、を行うように構成されている。
可能な設計では、アプリケーション・プロセッサ11031は、具体的には、空間オブジェクト情報及びデータ生成装置/端末デバイスの位置又は姿勢のうちの少なくとも1つに基づいて、方位角情報を生成するように構成されている。
可能な設計では、アプリケーション・プロセッサ11031は、具体的には、空間オブジェクト情報を受信すること、又はセンサを使用することによって空間オブジェクト情報を収集することと、を行うように構成されている。
可能な設計では、アプリケーション・プロセッサ11031は、具体的には、アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信すること、アプリケーション・プログラムによって生成されたインターフェース・データを受信すること、又はネットワーク側若しくは端末側に記憶された地図データの受信することの3つの方式のうちの少なくとも1つで空間オブジェクト情報を受信するように構成されている。
可能な設計では、センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。
可能な設計では、アプリケーション・プロセッサ11031は、具体的には、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。
可能な設計では、アプリケーション・プロセッサ11031は、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム上げ指示情報を生成するようにさらに構成されている。ボリューム上げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを上げることを示すために使用される。
可能な設計では、予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。
可能な設計では、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、オーディオ再生装置は、空間音を再生するように構成されている。
アプリケーション・プロセッサ11031が戦術のステップを実行する具体的な方式は、本出願の実施形態における図1~図9に対応する方法の実施形態と同じ概念に基づいており、本出願の本実施形態においてもたらされる技術的効果は、本出願の実施形態における図1~図9に対応する方法の実施形態における技術的効果と同じであることに留意されたい。特定のコンテンツについては、本出願の実施態様に示された前述の方法の実施態様の説明を参照のこと。詳細は、ここでは記載されない。データ生成装置1100は、1つの装置又は2つの異なる装置であり得る。コンテンツ情報及び方位角情報を生成するステップが、一方の装置によって実行され、コンテンツ情報及び方位角情報に基づいて空間音データを生成するステップが、他方の装置で実行される。
本出願の一実施形態は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、コンピュータ・プログラムを記憶する。コンピュータ・プログラムがコンピュータ上で動作するときに、コンピュータは、図1~図9に示す実施形態に記載の方法におけるデータ生成装置によって実行されるステップを実行することが可能となる。
本出願の一実施形態は、コンピュータ・プログラム製品をさらに提供する。コンピュータ・プログラム製品がコンピュータ上で動作するときに、コンピュータは、図1~図9に示す実施形態に記載の方法におけるデータ生成装置によって実行されるステップを実行することが可能となる。
本出願の一実施形態は、チップ・システムをさらに提供する。チップ・システムは、例えば、前述の方法におけるデータ及び/又はデータの送信又は処理など、前述の態様における機能を実装するようにネットワーク・デバイスをサポートするように構成されているプロセッサを含む。可能な設計では、チップ・システムは、メモリをさらに含む。メモリは、ネットワーク・デバイスに必要なプログラム命令及びデータを記憶するように構成されている。チップ・システムは、チップをさらに含んでもよいし、チップ及び別の個別デバイスを含んでもよい。
便利で簡単な説明のために、前述のシステム、装置、及びユニットの詳細な作業プロセスについては、前述の方法の実施形態における対応するプロセスを参照し、詳細は、ここでは再度記載されないことが当業者によって明らかに理解されよう。
本出願において提供されるいくつかの実施形態では、開示されたシステム、装置、及び方法は、他の方式で実装され得ると理解されたい。例えば、記載の装置の実施形態は単なる例に過ぎない。例えば、ユニットへの分割は、単に論理機能分割であり、実際の実装の際には他の分割であってもよい。例えば、複数のユニット又は構成要素を別のシステムに組み合わせたり、一体化したりしてもよいし、いくつかの特徴を無視したり、実行しなかったりしてもよい。追加的に、表示又は議論された相互結合、直接結合、又は通信接続は、いくつかのインターフェースを介して実装されてもよい。装置又はユニット間の間接的結合又は通信接続は、電子式、機械式、又は別の形式で実装され得る。
別個の部分として記載されるユニットは、物理に分離されていても、されていなくてもよく、ユニットとして表示される部分は、物理ユニットであっても、なくてもよく、すなわち、1つの位置に位置していてもよいし、複数のネットワーク・ユニットに分散されていてもよい。ユニットの一部又は全部は、実施形態における解決策の目的を達成するために実際の要件に基づいて選択され得る。
追加的に、本出願の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよいし、ユニットの各々は、物理的に単独で存在してもよいし、又は2つ以上のユニットが1つのユニットに一体化される。一体化されたユニットは、ハードウェアの形態で実装されてもよいし、ソフトウェア機能ユニットの形態で実装されてもよい。
一体化されたユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売又は使用されるときに、一体化されたユニットは、コンピュータ可読記憶媒体に記憶され得る。このような理解に基づいて、本出願の技術的解決策が、本質的にソフトウェア製品の形式で実装されてもよいし、従来技術に寄与する部分が、ソフトウェア製品の形式で実装されてもよいし、技術的解決策の一部が、ソフトウェア製品の形式で実装されてもよい。ソフトウェア製品は、記憶媒体に記憶され、コンピュータ・デバイス(パーソナル・コンピュータ、サーバ、又はネットワーク・デバイスであってもよい)に、本出願の実施形態で説明された方法のステップの全部又は一部を実行させるように指示するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュ・ドライブ、リムーバブル・ハード・ディスク、読み出し専用メモリ(ROM、Read-Only Memory)、ランダム・アクセス・メモリ(RAM、Random Access Memory)、磁気ディスク、又は光ディスクなど、プログラム・コードを記憶することができる任意の媒体を含む。
最後に、前述の実施形態は、本出願を限定するのではなく、本出願の技術的解決策を記載することを単に意図しているに過ぎないと留意されたい。本出願は、前述の実施形態を参照して詳細に記載されているが、当業者であれば、本出願の実施形態の技術的解決策の精神及び範囲から逸脱することなく、前述の実施形態に記載の技術的解決策に修正することか、又はその技術的特徴のいくつかを同等のものに置換することを依然として行ってもよいと理解すべきである。
本出願の実施形態は、インテリジェント端末技術の分野、特に、データ生成方法及び装置に関係する。
モバイル・インターネット技術の発展に伴い、ナビゲーション機能を伴うインテリジェント電子デバイス、例えば携帯電話は、人々の生活に大きな利便性をもたらしている。ナビゲーション・サービスを提供するときに、インテリジェント電子デバイスは、通常、ユーザによって入力されたスタート地点及び目的地に基づいて、経路計画を実行し、音声を再生することによって経路計画結果を出力する。
しかしながら、音声を再生することによってプロンプトを送信するこの方式は、直感的には十分ではない。その結果、ユーザがローカル環境に精通していないときに、ユーザは、マップ上の経路とユーザの位置を正確に合致させることができない。追加的に、ナビゲーション・システムは、位置決め精度によって制限され、ユーザがある期間、間違って進行した後にのみ、経路ずれを検知し、経路ずれプロンプトを送信することができる。特に、計画経路の比較的複雑なナビゲーション・データを使用するときに、ユーザは、ユーザの進行方向が正しいかどうかを確認するために、マップを頻繁に開く必要がある。動作が複雑で、ユーザ体験は非常に低下する。
ナビゲーション・シナリオに加えて、別のアプリケーション・シナリオでは、情報が直感的には示されないという技術的な問題もある。
上述の技術的問題を解決するために、本出願の実施形態は、データ生成方法及び装置を提供し、空間オブジェクト情報がユーザに示されるときに、ユーザは、空間オブジェクトの方位角情報をより直感的かつ効率的に知ることができ、ユーザ体験を大幅に改善するようにする。
第1の態様によれば、本出願の一実施形態は、インテリジェント端末技術の分野に適用され得るデータ生成方法を提供する。データ生成装置は、空間オブジェクト情報を取得する。空間オブジェクト情報は、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される。例えば、空間オブジェクト情報は、テキスト形式であり、かつデータ生成装置からナビゲーション目的地へ進行するために使用されるナビゲーション・データを含んでもよいし、オーディオ・ストリーム形式であり、かつデータ生成装置からナビゲーション目的地へ進行するために使用されるナビゲーション・データを含んでもよいし、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び絶対座標を含んでもよいし、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び相対座標を含んでもよい。データ生成装置は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。方位角情報は、空間オブジェクト情報に示される空間オブジェクトのデータ生成装置に対する方位角を示すために使用される。コンテンツ情報は、空間オブジェクトを記述するために使用される。方位角情報は、位置情報及び方向情報のうちの少なくとも1つを含む。空間オブジェクトは、ナビゲーション目的地、空間内発生イベント、又は人、動物、若しくは空間内存在オブジェクトを含むが、これらに限定されない。空間オブジェクトがナビゲーション目的地であるときに、コンテンツ情報は、データ生成装置からナビゲーション目的地へ進行するために使用される経路計画を記述するために使用される。空間オブジェクトが、空間内発生イベント、又は人、動物、若しくは空間内存在オブジェクトであるときに、コンテンツ情報は、空間オブジェクトのデータ生成装置に対する空間オブジェクトの方向及び空間オブジェクトのオブジェクト・コンテンツを記述するために使用される。データ生成装置は、方位角情報及びコンテンツ情報に基づいて空間音データを生成する。空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する。本出願の本実施形態がナビゲーション・シナリオに適用されるときに、空間音データは、データ生成装置に対するナビゲーション目的地の方位角情報及びコンテンツ情報に基づいて生成される。空間音データは、空間音を再生するために使用され、空間音に対応する音源の方位角は、データ生成装置に対するナビゲーション目的地の方位角と合致し、空間音に対応する音声コンテンツは、データ生成装置からナビゲーション目的地へ進行するために使用される経路計画と合致する。ユーザは、聞こえる空間音の音源の方位角に基づいて、空間オブジェクトの方位角を決定する。このようにして、空間オブジェクト情報は、ユーザにより直感的に示され、それによって、ユーザ体験を改善する。
可能な実装では、空間音データは、方位角情報及びコンテンツ情報を含むか、又は空間音データは、方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号を含み、少なくとも2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。
可能な実装では、データ生成装置が、空間オブジェクト情報に基づいて方位角情報を生成することは、空間オブジェクト情報及びデータ生成装置の位置又は姿勢のうちの少なくとも1つに基づいて、方位角情報を生成することを含む。方位角情報は、位置情報及び方向情報のうちの少なくとも1つを含む。具体的には、空間オブジェクト情報が、データ生成装置を取り囲む空間オブジェクトの空間位置及びオブジェクト・コンテンツを含むときに、データ生成装置は、データ生成装置の空間位置及びデータ生成装置を取り囲む空間オブジェクトの空間位置に基づいて、データ生成装置に対する空間オブジェクトの方向情報を生成し得る。データ生成装置は、ジャイロスコープ、慣性センサ、又は他の要素を使用することによって、データ生成装置の姿勢を測定し得る。例えば、データ生成装置が車両であるときに、姿勢は、車両のヘッドの方向であり、データ生成装置が携帯電話又はナビゲータであるときに、姿勢は、携帯電話又はナビゲータの画面の向きであり、データ生成装置がデュアルチャネル・ヘッドセットであるときに、姿勢は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、データ生成装置が車両及び車両内に位置する携帯電話の両方を含む個別装置であるときに、姿勢は、車両のヘッドの向き、又は車両内に位置する携帯電話の画面の向きであり、あるいはデータ生成装置が、車両及び車両内に位置するデュアルチャネル・ヘッドセットの両方を含む個別装置であるときに、姿勢は、車両のヘッドの向き、又はデュアルチャネル・ヘッドセットを装着している車両内ユーザの顔の向きである。データ生成装置は、データ生成装置の姿勢及びデータ生成装置を取り囲む空間オブジェクトの空間位置に基づいて、データ生成装置に対する空間オブジェクトの方位角情報を生成する。本出願の本実施形態では、姿勢情報は、姿勢情報及び空間オブジェクト情報に基づいて生成され、ユーザが最終的に聞いた空間音の音源の位置が、データ生成装置に対する空間オブジェクトの方位角情報と合致し、ユーザの直感的な感覚の精度を改善する。
可能な実装では、データ生成装置が空間オブジェクト情報を取得することは、空間オブジェクト情報を受信すること、又はセンサを使用することによって空間オブジェクト情報を収集することを含む。受信方式は、セルラ通信、無線ローカル・エリア・ネットワーク、マイクロ波アクセスのための世界的相互運用性、Bluetooth通信技術、ZigBee通信技術、光通信、衛星通信、赤外線通信、伝送線通信、ハードウェア・インターフェース、又はハードウェア回路基板上のトレースを使用することによって情報を受信すること、ソフトウェア・モジュールから情報を取得すること、又は記憶デバイスから情報を読み出すことの方式のうちの少なくとも1つを含む。センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。データ生成装置は、受信した空間オブジェクト情報に基づいて、空間音データを生成してもよいし、センサを使用することによって収集された空間オブジェクト情報に基づいて、空間音データを生成してもよい。言い換えれば、本解決策において提供されるデータ提示方式は、複数のアプリケーション・シナリオに適用可能であり、本解決策のアプリケーション・シナリオは拡張される。これにより、本解決策の実装の柔軟性が改善される。
可能な実装では、データ生成装置が、空間オブジェクト情報を受信することは、以下の3つの方式のうちの少なくとも1つにおいて空間オブジェクト情報を受信することを含む。すなわち、データ生成装置が、アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信し、オーディオ・ストリーム・データを受信した空間オブジェクト情報として決定する。オーディオ・ストリーム・データは、オーディオ・ストリームの形式のナビゲーション・データであり得る。このケースでは、音声認識がオーディオ・ストリーム形式でナビゲーション・データに対して実行されて、方位角情報及びコンテンツ情報を取得する。代替的には、データ生成装置は、アプリケーション・プログラムによって生成されたインターフェース・データを受信し、インターフェース・データを受信した空間オブジェクト情報として決定する。インターフェース・データは、テキスト形式のナビゲーション・データであり得る。このケースでは、データ生成装置は、コンテンツ・フィールドのフィールド値とナビゲーション・データに含まれる位置フィールドのフィールド値に基づいて、テキスト形式で方位角情報及びコンテンツ情報を生成する。代替的には、データ生成装置は、ネットワーク側や端末側に記憶された地図データを受信し、地図データを、受信した空間オブジェクト情報として決定する。地図データは、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び座標を含み、座標は、絶対座標又は相対座標であり得る。このケースでは、データ生成装置は、データ生成装置を取り囲む空間オブジェクトの座標に基づいて、方位角情報を生成し、データ生成装置を取り囲む空間オブジェクトの方位角情報とオブジェクト・コンテンツに基づいて、コンテンツ情報を生成する。
可能な実装では、センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。
可能な実装では、データ生成装置が、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成することは、データ生成装置が、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定するときに、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成することを含む。具体的には、データ生成装置が、方位角情報に示された空間位置が予めセットされた空間位置領域に位置するかどうかを決定するか、データ生成装置が、方位角情報に示された空間位置が予めセットされた空間方向に位置するかどうかを決定するか、又はデータ生成装置が、コンテンツ情報に示されたオブジェクト・コンテンツが予めセットされたオブジェクト・コンテンツであるかどうかを決定する。データ生成装置は、前述のケースのうちのいずれか1つ以上の決定結果が「はい」であるときに、空間オブジェクト情報が予めセットされた条件を満たすと決定する。本出願の本実施形態では、空間音データが生成される前に、空間オブジェクト情報が予めセットされた条件を満たすかどうかが決定され、決定結果が予めセットされた条件が満たされることであるときにのみ、空間オブジェクト情報に基づいて、空間音データが生成される、すなわち、空間オブジェクト情報がフィルタリングされる。このように、予めセットされた条件を満たさない空間オブジェクト情報によって生じるコンピュータ・リソースの浪費が回避され、ユーザへの過度の妨害が回避されて、それによって、本解決策のユーザ粘度を改善する。
可能な実装では、本方法は、データ生成装置が、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定するときに、ボリューム上げ指示情報を生成することをさらに含む。ボリューム上げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを上げるために使用され、ボリューム上げ指示情報は、ボリュームを上げる必要があるボリューム値を搬送し得る。本出願の本実施形態では、再生ボリュームは、予めセットされたオブジェクト・コンテンツを有する空間オブジェクトに対して上げられて、ユーザの注意を引き付け、ユーザが予めセットされたオブジェクト・コンテンツを有する空間オブジェクトを見失うことを防ぐ。このようにして、ナビゲーション・プロセスにおけるセキュリティが改善され、ユーザが関心のある空間オブジェクトを見失うことを防止することができ、それによって、本解決策のユーザ粘度を改善する。
可能な実装では、本方法は、データ生成装置が、空間オブジェクト情報が予めセットされた条件を満たさない空間オブジェクト情報であると決定するときに、ボリューム下げ指示情報を生成することをさらに含む。ボリューム下げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを下げるために使用され、ボリューム下げ指示情報は、ボリュームを下げる必要があるボリューム値を搬送し得る。
可能な実装では、予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。予めセットされた空間位置領域は、データ生成装置又はオーディオ再生装置の空間位置に対する空間位置領域であり、予めセットされた空間方向は、データ生成装置又はオーディオ再生装置に対する相対方向であり得る。例えば、オーディオ再生装置が、デュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであるか、データ生成装置が、携帯電話若しくはナビゲータであるときに、予めセットされた空間方向は、携帯電話若しくはナビゲータの移動方向であるか、又はデータ生成装置が、車両であるときに、予めセットされた空間方向は、車両のヘッドの向きであるか、あるいは予めセットされた空間方向は、絶対空間位置方向であり得る。予めセットされたオブジェクト・コンテンツは、ユーザによって予め入力されてもよいし、データ生成装置によって独立して決定されてもよい。
可能な実装では、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きは、デュアルチャネル・ヘッドセットに配設されたジャイロスコープ、慣性センサ、又は別の要素に基づいて測定され得る。
可能な実装では、データ生成装置が、方位角情報及びコンテンツ情報に基づいて、空間音データを生成することは、データ生成装置が、方位角情報、コンテンツ情報、データ生成装置の姿勢に基づいて、コンテンツ情報に対応するオーディオ・ストリーム・データに対してレンダリング動作を実行して、空間音データを生成することか、又はデータ生成装置が、方位角情報、コンテンツ情報、オーディオ再生装置の姿勢に基づいて、コンテンツ情報に対応するオーディオ・ストリーム・データに対してレンダリング動作を実行して、空間音データを生成することを含む。空間音データは、方位角情報及びコンテンツ情報に基づいて生成される少なくとも2つのモノフォニック信号を含む。レンダリング動作は、具体的には、特定のアルゴリズム又はデータ処理動作を使用することによって空間方位角情報をオーディオ・ストリーム・データに組み込んで、最終的に少なくとも2つのモノフォニック信号を生成することである。少なくとも2つのモノフォニック信号は、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生されて、空間音を生成する。
第2の態様によれば、本出願の一実施形態は、電子デバイスを提供する。装置は、取得モジュール及び生成モジュールを含む。取得モジュールは、空間オブジェクト情報を取得するように構成されている。空間オブジェクト情報は、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される。生成モジュールは、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。方位角情報は、空間オブジェクト情報に示される空間オブジェクトのデータ生成装置に対する方位角を示すために使用される。コンテンツ情報は、空間オブジェクトを記述するために使用される。生成モジュールは、方位角情報及びコンテンツ情報に基づいて、空間音データを生成するようにさらに構成されている。空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する。
実装では、空間音データは、方位角情報及びコンテンツ情報を含むか、又は空間音データは、方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号を含み、少なくとも2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。
可能な実装では、生成モジュールは、具体的には、空間オブジェクト情報及びデータ生成装置の位置又は姿勢のうちの少なくとも1つに基づいて、方位角情報を生成するように構成されている。
可能な実装では、取得モジュールは、具体的には、空間オブジェクト情報を受信すること、又はセンサを使用することによって空間オブジェクト情報を収集することと、を行うように構成されている。
可能な実装では、取得モジュールは、具体的には、アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信すること、アプリケーション・プログラムによって生成されたインターフェース・データを受信すること、又はネットワーク側若しくは端末側に記憶された地図データの受信することの3つの方式のうちの少なくとも1つで空間オブジェクト情報を受信するように構成されている。
可能な実装では、センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。
可能な実装では、生成モジュールは、具体的には、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。
可能な実装では、生成モジュールは、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム上げ指示情報を生成するようにさらに構成されている。ボリューム上げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを上げることを示すために使用される。
可能な実装では、生成モジュールは、空間オブジェクト情報が予めセットされた条件を満たさない空間オブジェクト情報であると決定されるときに、ボリューム下げ指示情報を生成するようにさらに構成されている。ボリューム下げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを下げることを示すために使用される。
可能な実装では、予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。
可能な実装では、生成モジュールは、具体的には、方位角情報、コンテンツ情報、及びオーディオ再生装置の姿勢に基づいて、コンテンツ情報に対応するオーディオ・ストリーム・データに対してレンダリング動作を実行して、空間音データを生成するように構成されている。空間音データは、方位角情報及びコンテンツ情報に基づいて生成される少なくとも2つのモノフォニック信号を含む。
可能な実装では、データ生成装置は、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両のうちの少なくとも1つを含む。データ生成装置は、独立して作動する1つのデバイスを含む一体化された装置であってもよいし、協働して作動する複数の異なるデバイスを含む個別装置であってもよい。
可能な実装では、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、オーディオ再生装置は、空間音を再生するように構成されている。
本出願の実施形態の第2の態様において提供されるデータ生成装置の構成モジュールによって、第2の態様及び第2の態様の可能な実装を実行する具体的な実装ステップについては、第1の態様及び第1の態様の可能な実装における説明を参照のこと。詳細は、ここでは記載されない。
第3の態様によれば、本出願の一実施形態は、メモリ及びプロセッサを含むデータ生成装置を提供する。メモリは、コンピュータ・プログラム命令を記憶し、プロセッサは、コンピュータ・プログラム命令を動作させて、第1の態様によるデータ生成方法を実行する。
可能な実装では、データ生成装置は、空間オブジェクト情報を受信するように構成されているトランシーバをさらに含む。
可能な実装では、データ生成装置は、空間オブジェクト情報を収集するように構成されているセンサをさらに含む。
可能な実装では、データ生成装置は、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両のうちの少なくとも1つを含む。
本出願の実施形態の第3の態様では、プロセッサは、第1の態様の可能な実装においてデータ生成装置によって実行されるステップを実行するようにさらに構成され得る。詳細については、第1の態様を参照のこと。詳細は、ここでは記載されない。
第4の態様によれば、本出願の一実施形態は、コンピュータ可読記憶媒体を提供する。コンピュータ可読記憶媒体は、コンピュータ・プログラムを記憶し、コンピュータ・プログラムがコンピュータ上で動作されるときに、コンピュータは、第1の態様によるデータ生成方法を実行することが可能となる。
第5の態様によれば、本出願の一実施形態は、コンピュータ・プログラムを提供する。コンピュータ・プログラムがコンピュータ上で動作されるときに、コンピュータは、第1の態様によるデータ生成方法を実行することが可能となる。
第6の態様によれば、本出願の一実施形態は、チップ・システムを提供する。チップ・システムは、前述の態様における機能、例えば、前述の方法におけるデータ送信又は処理することを実装する際に、サーバ又はデータ生成装置をサポートするように構成されているプロセッサを含む。可能な設計では、チップ・システムは、メモリをさらに含む。メモリは、サーバ又は通信デバイスに必要なプログラム命令及びデータを記憶するように構成されている。チップ・システムは、チップを含んでもよいし、チップ及び別の個別デバイスを含んでもよい。
本出願の実施形態の第4の態様~第6の態様の有益な効果については、第1の態様を参照のこと。
本発明の実施形態における技術的解決策をより明確に記載するために、以下、実施形態を記載するために必要な添付の図面を簡単に説明する。以下の説明における添付の図面は、単に本発明のいくつかの実施形態を示しているに過ぎず、当業者であれば、創造的努力なしに、これらの添付の図面から他の図面を依然として導出し得ることが明らかである。
本出願の実施形態1によるデータ生成方法の概略図である。
本出願の実施形態2によるデータ生成方法の概略図である。
本出願の実施形態3によるデータ生成方法の概略図である。
本出願の一実施形態によるデータ生成方法のさらに別の実装の概略図である。
本出願の一実施形態によるデータ生成方法のさらに別の実装の概略図である。
本出願の一実施形態によるデータ生成方法さらに別の実装の概略図である。
本出願の一実施形態によるデータ生成方法のさらに別の実装の概略図である。
本出願の一実施形態によるデータ生成方法の実装の概略図である。
本出願の一実施形態によるデータ生成方法の別の実装の概略図である。
本出願の一実施形態によるデータ生成装置の構造の概略図である。
本出願の一実施形態によるデータ生成装置の構造の別の概略図である。
本出願の実施形態は、ナビゲーション・データにおける方位角情報に対応する空間音を再生するためのデータ生成方法及び関連デバイスを提供し、ユーザは、聞こえる空間音の音源の再生位置に基づいて、正しい進行方向を決定し得るようにする。このようにして、より直感的でプロンプト方式が提供され、ナビゲーション・プロセスの効率が改善される。空間オブジェクトが別のタイプのオブジェクトである場合、より直感的で効率的なデータ提示方式が提供される。
明細書、特許請求の範囲及び本出願の実施形態の添付の図面では、「第1」、及び「第2」などの用語は、類似のオブジェクトを区別することを意図しており、必ずしも特定の順序又はシーケンスを示すものではない。このような方法で使用される用語は、適切なケースにおいては互換性があると理解されたい。これは、同じ属性を有するオブジェクトが本出願の実施形態において記載されるときに使用される、単なる識別方式である。追加的に、「含む」、「有する」、及びそれらの他の変形の用語は、非排他的な包含をカバーすることを意図しており、一連のユニットを含むプロセス、方法、システム、製品、又はデバイスが、それらのユニットに限定されるのではなく、そのようなプロセス、方法、製品、又はデバイスに明示的に列挙されていないか、又は固有ではない他のユニットを含み得るようにする。
以下、添付の図面を参照して、本出願の実施形態を記載する。当業者は、技術開発及び新たなシナリオの出現に伴い、本出願の実施形態において提供される技術的解決策が同様の技術的課題にも適用可能であると知り得る。
本出願の実施形態は、空間オブジェクト情報が再生される様々なシナリオに適用され得る。空間オブジェクト情報は、空間オブジェクトの記述情報を含む。空間オブジェクトは、三次元(3-dimensional、3D)空間に位置するオブジェクトであり、三次元空間における空間位置に対応し、三次元空間における物理オブジェクト及び非物理オブジェクトを含み得る。空間オブジェクトは、ナビゲーション目的地、空間内発生イベント、空間存在人、空間内部存在動物、又は空間内存在静的オブジェクトを含むが、これらに限定されない。具体的には、本出願の実施形態のアプリケーション・シナリオは、歩行ナビゲーション、車内ナビゲーション、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオ、又はセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオ(実際の状況は、4つの典型的なアプリケーション・シナリオに限定されない)を含むが、これらに限定されない。4つの典型的なアプリケーション・シナリオの各々が以下に記載される。
本出願の実施形態において提供されるデータ生成方法の3つの実装は、最初に、例として歩行ナビゲーション・シナリオを使用することによって記載される。
第1の実装:図1は、本出願の実施形態1によるデータ生成方法の概略図である。データ生成方法は、図1のデータ生成装置10によって実行される。図1は、データ生成装置10のヘッドセット形式を示す。データ生成装置10としてヘッドセットを使用することは単なる一例に過ぎず、データ生成装置10は別のタイプのデバイスをさらに含んでもよいと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスについて、以下に詳細に記載される。
ナビゲーション・アプリケーション・プログラムは、ヘッドセットにセットされ得る。ヘッドセットは、ナビゲーション・スタート地点及びナビゲーション目的地を取得し、ナビゲーション・アプリケーション・プログラムを使用することによって、ナビゲーション・サーバ11にナビゲーション・スタート地点及びナビゲーション目的地を送信する。ナビゲーション・サーバ11は、ナビゲーション・サーバ11に記憶された地図データを使用することによって、ナビゲーション・スタート地点からナビゲーション目的地までの進行のために使用されるナビゲーション・データを決定する。ヘッドセットは、ナビゲーション・アプリケーション・プログラムを使用することによって、ナビゲーション・サーバ11によって送信されたナビゲーション・データを受信する。ナビゲーション・データを取得した後に、ヘッドセットは、ナビゲーション・データに基づいてコンテンツ情報及び方位角情報を生成する。方位角情報は、ヘッドセットに対するナビゲーション目的地の方位角情報である。任意選択で、ヘッドセットはさらにヘッドセットの姿勢を取得し、ヘッドセットの姿勢及びナビゲーション・データに基づいて方位角情報を生成し得る。
方位角情報及びコンテンツ情報を生成した後に、ヘッドセットは空間音データを生成する。任意選択で、空間音データを生成する前に、ヘッドセットは、コンテンツ情報に示されたオブジェクト・コンテンツが予めセットオブジェクト・コンテンツであるかどうかをさらに決定し得る。コンテンツ情報に示されるコンテンツが予めセットされたオブジェクト・コンテンツであるときに、ヘッドセットは、ボリューム上げ指示情報を生成し、ヘッドセットは、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成し得る。空間音データは、方位角情報及びコンテンツ情報を含む。代替的には、空間音データは、方位角情報及びコンテンツ情報に基づいて生成された2つのモノフォニック信号を含み、2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。任意選択で、コンテンツ情報に示されるコンテンツが予めセットされたオブジェクト・コンテンツではないときに、ヘッドセットは、ボリューム下げ指示情報を生成し、ヘッドセットは、方位角情報、コンテンツ情報、及びボリューム下げ指示情報に基づいて、空間音データを生成し得る。
任意選択で、空間音を再生するプロセスにおいて、ヘッドセットは、空間音データに基づいて、空間音の再生ボリュームをさらに調整し得る。具体的には、ヘッドセットがボリューム上げ指示情報を生成する場合、空間音の再生ボリュームが上げられ、ヘッドセットがボリューム下げ指示情報を生成する場合、空間音の再生ボリュームが下げられる。
任意選択で、空間音データに基づいて2つのモノフォニック信号を生成する前に、ヘッドセットは、さらに、ヘッドセットのリアルタイムの姿勢を取得し、次いで、ヘッドセットのリアルタイムの姿勢に基づいて、オーディオ・ストリームの形式でコンテンツ情報を再レンダリングし、再レンダリング後に取得された2つのモノフォニック信号をヘッドセット内の2つの音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生し得、ユーザによって聞こえる空間音の音源の位置が、ヘッドセットに対する空間オブジェクトのリアルタイムの方位角情報と合致するようにする。
本出願の実施形態1では、空間音データは、ナビゲーション目的地の方位角情報及びコンテンツ情報に基づいて生成され、空間音データは、空間音を再生するために使用され、空間音の音源の方位角は、ヘッドセットに対するナビゲーション目的地の方位角と合致し、空間音の再生コンテンツは、データ生成装置からナビゲーション目的地まで進行するために使用される経路計画と合致して、ユーザは、聞こえる空間音の音源の方位角に基づいて正しい進行方向を決定し得るようにする。このようにして、より直感的な情報提示方式が提供され、ユーザは、ユーザの進行方向が正しいかどうかを確認するために、マップを頻繁に開く必要がない。動作が簡単で、したがって、ナビゲーションの利便性、セキュリティ、及びユーザ体験が改善される。
図1のデータ生成装置10が、具体的には、ヘッドセット形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置10は、代替的には、車両、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は別のポータブル端末デバイスであり得る。
第2の実装:具体的には、図2は、本出願の実施形態2によるデータ生成方法の概略図である。データ生成方法は、図2のデータ生成装置20によって実行される。図2では、データ生成装置20は携帯電話であり、オーディオ再生装置21はヘッドセットであり、携帯電話及びヘッドセットは互いに独立したデバイスである。図2は、単に一例に過ぎないと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスについて、以下に詳細に記載される。
携帯電話(つまり、データ生成装置20の一例)は、ナビゲーション・サーバ22によって送信されたナビゲーション・データを受信する。携帯電話は、ナビゲーション・データを受信した後に、空間オブジェクト情報に基づいてコンテンツ情報及び方位角情報を生成し、空間音データを生成する。具体的な実装は、図1に対応する実施形態において、データ生成装置10が前述のステップを実行する具体的な実装と同様である。詳細は、ここでは記載されない。
任意選択で、本実施形態における空間音データは、方位角情報及びコンテンツ情報を含む。携帯電話は、空間音データを生成した後に、空間音データをヘッドセット(すなわち、オーディオ再生装置21の一例)に送信する。ヘッドセットは、空間音データに基づいてレンダリング動作を実行して、2つのモノフォニック信号を生成し、2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、ヘッドセット内の2つの音電気エネルギー変換モジュールを使用することによって空間音を再生する。任意選択で、2つのモノフォニック信号を生成するプロセスにおいて、ヘッドセットは、空間音データに基づいて、空間音の再生ボリュームをさらに調整し得る。具体的には、ボリューム上げ指示情報が生成された場合、空間音の再生ボリュームが上げられ、ボリューム下げ指示情報が生成された場合、空間音の再生ボリュームが下げられる。
任意選択で、空間音データに基づいて2つのモノフォニック信号を生成する前に、ヘッドセットは、さらに、ヘッドセットの姿勢を取得し、次いで、ヘッドセットの姿勢に基づいて、オーディオ・ストリームの形式でコンテンツ情報を再レンダリングし、再レンダリング動作が実行された後に取得された2つのモノフォニック信号をヘッドセット内の2つの音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生し得、ユーザによって聞こえる空間音の音源の位置が、空間オブジェクトの方位角情報と合致するようにする。
図2のデータ生成装置20が、具体的には、携帯電話形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置20は、代替的には、ポータブル・コンピュータ、ナビゲータ、又は別のポータブル端末デバイスの形式として表され得る。
第3の実装:具体的には、図3は、本出願の一実施形態によるデータ生成方法の実装の概略図である。図3では、データ生成装置30は携帯電話であり、オーディオ再生装置31はヘッドセットであり、携帯電話及びヘッドセットは互いに独立したデバイスである。図3は、単に一例に過ぎないと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスについて、以下に詳細に記載される。
携帯電話(つまり、データ生成装置30の一例)は、ナビゲーション・サーバ32によって送信されたナビゲーション・データを受信する。携帯電話は、空間オブジェクト情報を受信した後に、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成し、次いで、コンテンツ情報及び方位角情報に基づいて、レンダリング動作を実行して、空間音データを生成する。本実施形態における空間音データは、少なくとも2つのモノフォニック信号を指す。具体的な実装は、図1に対応する実施形態において、データ生成装置10が前述のステップを実行する具体的な実装と同様である。詳細は、ここでは記載されない。
任意選択で、携帯電話は、2つのモノフォニック信号をヘッドセット(すなわち、オーディオ再生装置31の一例)に送信し、ヘッドセットは、2つのモノフォニック信号を音電気エネルギー変換モジュールに入力して、空間音を再生する。任意選択で、ヘッドセットは、ヘッドセットの姿勢を取得し、ヘッドセットの姿勢を携帯電話に送信し得る。携帯電話は、ヘッドセットの姿勢に基づいて、オーディオ・ストリームの形式でコンテンツ情報を再レンダリングし、携帯電話は、再レンダリング動作が実行された後に取得された2つのモノフォニック信号をヘッドセットに送信する。ヘッドセットは、2つのモノフォニック信号を音電気エネルギー変換モジュールに入力して、空間音を再生する。
図3のデータ生成装置30が、具体的には、携帯電話形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置30は、代替的には、ポータブル・コンピュータ、ナビゲータ、又は別のポータブル端末デバイスの形式として表され得る。
本出願の実施形態において提供されるデータ生成方法の3つの実装は、例として車内ナビゲーション・シナリオを使用することによって記載される。車内ナビゲーション・シナリオにおける3つの実装は、歩行ナビゲーション・シナリオにおける3つの実装と同様である。車内ナビゲーション・シナリオにおけるデータ生成装置、オーディオ再生装置、及びナビゲーション・サーバの具体的な実装については、前述の実施形態を参照のこと。詳細は、ここでは記載されない。歩行ナビゲーションと比較して、データ生成装置及びオーディオ再生装置が同一の端末デバイスに一体化されているときに、図1に対応した実施形態における例に加えて、データ生成装置の特定の表示形式が車両であり得、オーディオ再生装置は、前述の複数のデータ生成装置における音電気エネルギー変換モジュールを指すという違いがある。データ生成装置及びオーディオ再生装置が2つの独立したデバイスであるときに、図1に対応する実施形態の例に加えて、データ生成装置の特定の表示形式が車両であり得る。端末デバイス又はデータ生成装置の特定の表示形式が車両であるときに、姿勢は、具体的には、車両のヘッドの姿勢、車両の車輪の姿勢、別の要素の姿勢などであり得る。
本解決策をさらに理解するために、図4を参照のこと。図4は、本出願の一実施形態によるデータ生成方法の実装の概略図である。車内ナビゲーション・シナリオにおいては、人が車両内でヘッドセットを装着して運転することが図4に示されており、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、データ生成装置及びオーディオ再生装置が互いに独立したデバイスである例が使用される。図4におけるデータ生成装置40、オーディオ再生装置41、及びナビゲーション・サーバ42の具体的な実装は、図2に対応する実施形態におけるデータ生成装置20、オーディオ再生装置21、及びナビゲーション・サーバ22の実装と同様である。詳細は、ここでは記載されない。図4の例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されない。
本出願の実施形態において提供されるデータ生成方法の4つの実装について、ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトが記述される例を使用することによって以下に記載される。
第1の実装:図5は、本出願の一実施形態によるデータ生成方法の実装の概略図である。データ生成方法は、図5のデータ生成装置50によって実行される。図5は、データ生成装置50のヘッドセット形式を示す。図5は、単に一例に過ぎないと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスは、データ生成装置50が具体的にはヘッドセットとして表される例を使用することによって、以下に詳細に記載される。
ヘッドセットは、ヘッドセットの空間位置に対応する絶対座標(経度及び緯度座標とも呼ばれ得る)を取得し、ヘッドセットの空間位置に対応する絶対座標をデータ・サーバ51に送信し、ヘッドセットは、データ・サーバ51によって送信された空間オブジェクト情報を受信する。空間オブジェクト情報は、ヘッドセットを取り囲む空間オブジェクトのオブジェクト・コンテンツ及びヘッドセットを取り囲む空間オブジェクトの空間位置を含む。ヘッドセットを取り囲む空間オブジェクトの空間位置は、空間オブジェクトの絶対座標であってもよいし、ヘッドセットに対する空間オブジェクトの相対座標であってもよい。
ヘッドセットは、空間オブジェクト情報を受信した後に、ヘッドセットを取り囲む空間オブジェクトの空間位置に基づいて方位角情報を生成する。任意選択で、ヘッドセットは、さらに、姿勢を取得し、姿勢及び空間オブジェクト情報に基づいて、データ生成装置50に対する空間オブジェクトの方位角情報を生成し得る。ヘッドセットは、ヘッドセットを取り囲む空間オブジェクトの方位角情報及びオブジェクト・コンテンツに基づいて、コンテンツ情報を生成する。
ヘッドセットは、方位角情報及びコンテンツ情報を取得した後に、空間音データを生成する必要がある。具体的な実装は、図1に対応する実施形態において、データ生成装置10が前述のステップを実行する具体的な実装と同様である。詳細は、ここでは記載されない。任意選択で、ヘッドセットは、空間音データを生成する前に、さらに、方位角情報に示された空間位置が予めセットされた空間位置領域に位置するかどうかを決定するか、方位角情報に示された空間位置が予めセットされた空間方向に位置するかどうかを決定するか、又はコンテンツ情報に示されたオブジェクト・コンテンツが予めセットされたオブジェクト・コンテンツであるかどうかを決定し、前述のケースのうちのいずれか1つ以上の決定結果が「はい」であるときに、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定し得る。
あるケースでは、空間オブジェクト情報が予めセットされた条件を満たすときに、ヘッドセットは、方位角情報及びコンテンツ情報に基づいて、空間音データを生成する。空間オブジェクト情報が予めセットされた条件を満たさない場合、ヘッドセットは、空間オブジェクト情報に基づいて空間音データをもはや生成せず、次いで、次の空間オブジェクト情報を処理し得る。ヘッドセットは、予めセットされた条件を満たさない空間オブジェクト情報を再生しない、言い換えれば、空間オブジェクト情報を事前にフィルタリングして、ユーザへの干渉を低減し、本解決策のユーザ粘度を改善する。
別のケースでは、空間オブジェクト情報が予めセットされた条件を満たすときに、ヘッドセットは、ボリューム上げ指示情報を生成し、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成する。空間オブジェクト情報が予めセットされた条件を満たさない場合、ヘッドセットは、空間オブジェクト情報に基づいて空間音データをもはや生成せず、次いで、次の空間オブジェクト情報を処理し得る。
別のケースでは、空間オブジェクト情報が予めセットされた条件を満たすときに、ヘッドセットは、ボリューム上げ指示情報を生成し、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成する。空間オブジェクト情報が予めセットされた条件を満たさないときに、ヘッドセットは、方位角情報及びコンテンツ情報に基づいて、空間音データを生成する。
別のケースでは、空間オブジェクト情報が予めセットされた条件を満たすときに、ヘッドセットは、ボリューム上げ指示情報を生成し、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成する。空間オブジェクト情報が予めセットされた条件を満たさないときに、ヘッドセットは、ボリューム下げ指示情報を生成し、方位角情報、コンテンツ情報、ボリューム下げ指示情報に基づいて、空間音データを生成する。
任意選択で、ヘッドセットは、空間音データを生成した後に、空間音データに基づいて、空間音を生成し、空間音を再生する。具体的な実装については、図1に対応する実施形態におけるデータ生成装置10による前述のステップを実行するプロセスを参照のこと。詳細は、ここでは記載されない。
図5のデータ生成装置50が、具体的には、ヘッドセット形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置50は、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両などの形式として代替的に表され得る。
第2の実装:本実装では、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、携帯電話及びヘッドセットが互いに独立したデバイスである例を使用することによって説明が提供される。
携帯電話は、携帯電話の空間位置に対応する絶対座標をデータ・サーバに送信し、データ・サーバによって送信された空間オブジェクト情報を受信し、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。具体的な実装については、図5に対応する実施形態において、データ生成装置50が前述のステップを実行する具体的な実装を参照のこと。任意選択で、携帯電話はさらにヘッドセットの姿勢を取得し、ヘッドセットの姿勢及び空間オブジェクト情報に基づいて方位角情報を生成し得る。具体的には、ヘッドセットは、ヘッドセットの姿勢を測定し、ヘッドセットの姿勢を携帯電話に送信する。
携帯電話は、コンテンツ情報及び方位角情報を取得した後に、空間音データを生成する。本実施形態では、空間音データは、方位角情報及びコンテンツ情報を含む。具体的な実装は、図5に対応する実施形態において、データ生成装置50が前述のステップを実行する具体的な実装と同様である。詳細は、ここでは記載されない。
任意選択で、携帯電話は、空間音データを生成した後に、空間音データをヘッドセットに送信する。ヘッドセットは、空間音データに基づいてレンダリング動作を実行して、少なくとも2つのモノフォニック信号を取得し、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生する。前述のステップの具体的な実装については、図2に対応する実施形態において、データ生成装置20及びオーディオ再生装置21が前述のステップを実行する具体的な実装を参照のこと。詳細は、ここでは記載されない。
第3の実装:本実装では、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、携帯電話及びヘッドセットが互いに独立したデバイスである例を使用することによって説明が提供される。
携帯電話は、携帯電話の空間位置に対応する絶対座標をデータ・サーバに送信し、データ・サーバによって送信された空間オブジェクト情報を受信し、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。前述のステップの具体的な実装については、ネットワーク側や端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオの第2の実装における説明を参照のこと。詳細は、ここでは記載されない。
レンダリング動作は、方位角情報及びコンテンツ情報に基づいて実行されて、空間音データを生成する。本実施形態における空間音データは、方位角情報及びコンテンツ情報に基づいて生成される少なくとも2つのモノフォニック信号を指す。少なくとも2つのモノフォニック信号がヘッドセットに送信される。ヘッドセットは、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、空間音を再生する。前述のステップの具体的な実装については、図3に対応する実施形態において、データ生成装置30及びオーディオ再生装置31が前述のステップを実行する具体的な実装を参照のこと。詳細は、ここでは記載されない。
ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける第2及び第3の実装では、データ生成装置は、代替的には、携帯電話、ポータブル・コンピュータ、又はナビゲータのような形式として表わされてもよいし、センサが構成されている端末側電子デバイスは、代替的には、ヘッドセット、ポータブル・コンピュータ、ナビゲータ、又はスマート家電のような別の端末側デバイスとして表されてもよいと留意されたい。
第4の実装:本実装は、ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける第1の実装と同様である。ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける第1の実装におけるデータ・サーバ51は、端末側の電子デバイスに置き換えられ、データ生成装置及びオーディオ再生装置が一体化された端末側電子デバイス及び端末デバイスは、異なるデバイスであるという違いがある。本実装では、データ生成装置及びオーディオ再生装置によって実行される特定のステップは、図5に対応する実施形態におけるデータ生成装置50及びオーディオ再生装置によって実行される特定のステップと同様であり、端末側電子デバイスによって実行される特定のステップは、図5に対応する実施形態におけるデータ・サーバ51によって実行される特定のステップと同様である。詳細は、ここでは記載されない。
本出願の実施形態において提供されるデータ生成方法の6つの実装は、周囲の空間オブジェクトがセンサを使用することによって検知及び記載される例を使用することによって以下に記載される。
第1の実装:図6は、本出願の一実施形態によるデータ生成方法の実装の概略図である。データ生成方法は、図6のデータ生成装置60によって実行される。図6は、データ生成装置60のヘッドセット形式を示す。図6は、単に一例に過ぎないと理解されたい。このアプリケーション・シナリオにおける具体的な実装プロセスは、データ生成装置60がヘッドセットとして具体的に表わされ、感光センサがヘッドセットに配設された例を使用することによって、以下に詳細に記載される。
ヘッドセットは、感光センサを使用することによって空間オブジェクト情報を収集する。具体的には、少なくとも2つの感光センサがヘッドセット内に展開され、ヘッドセットは、感光センサによって収集されたデータを使用することによって、光源(すなわち、図6のヘッドセットを取り囲む空間オブジェクト)の空間位置を特定して、ヘッドセットに対する光源の相対座標を生成し、感光センサによって収集されたデータに基づいて、光源のタイプを決定する。本解決策をさらに理解するために、別の例では、少なくとも2つの画像センサがヘッドセットに展開され得、ヘッドセットは、両眼視アルゴリズムを使用することによってヘッドセットを取り囲む空間オブジェクトを特定して、ヘッドセットに対してヘッドセットを取り囲む空間オブジェクトの相対座標を生成し、イメージ・センサを使用することによってヘッドセットを取り囲む空間オブジェクトの画像を取得した後に、空間オブジェクトの画像を認識して、空間オブジェクトのオブジェクト・コンテンツを取得し得る。本明細書における例は、単に本解決策の実装性を証明にするために使用されるに過ぎず、本解決策を限定するために使用されない。
ヘッドセットは、ヘッドセットに対するヘッドセットを取り囲む空間オブジェクトの相対座標に基づいて、方位角情報を生成する。任意選択で、ヘッドセットは、さらに、ヘッドセットの姿勢を取得し、ヘッドセットの姿勢及び空間オブジェクト情報に基づいて、ヘッドセットに対する空間オブジェクトの方位角情報を生成し得る。ヘッドセットは、ヘッドセットを取り囲む空間オブジェクトの方位角情報及びタイプに基づいて、コンテンツ情報を生成する。ヘッドセットは、方位角情報及びコンテンツ情報を取得した後に、空間音データを生成し、空間音データに基づいて空間音を再生する。ヘッドセットが前述のステップを実行する具体的な実装については、図5に対応する実施形態におけるデータ生成装置50による前述のステップを実行する方式の説明を参照のこと。詳細は、ここでは記載されない。
図6のデータ生成装置60が、具体的には、ヘッドセット形式として表されていることは、単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置60は、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両などの形式として代替的に表され得る。
第2の実装:図7は、本出願の一実施形態によるデータ生成方法の実装の概略図である。このアプリケーション・シナリオにおける具体的な実装プロセスは、データ生成装置70が具体的には携帯電話として表わされ、オーディオ再生装置71が具体的にはヘッドセットとして表され、音センサが携帯電話に配設された例を使用することによって、以下に詳細に記載される。図7は、単に一例に過ぎないと理解されたい。
携帯電話(すなわち、データ生成装置70の一例)は、音センサを使用することによって、携帯電話を取り囲む空間オブジェクトに対応する空間オブジェクト情報を収集する。具体的には、携帯電話には少なくとも2つの音センサが配設されており、図7における空間位置は、センサによって収集されたデータに基づいて遅延推定位置決め方法を使用することによって特定され、携帯電話に対する携帯電話を虜囲む空間オブジェクトの相対座標を取得し得る。このアプリケーション・シナリオでは、相対座標は高さ情報を含み得る。追加的に、空間オブジェクトのタイプ、例えば、コウモリ、鳥、又はネコは、センサによって収集されたデータに基づいて決定される。空間オブジェクトのタイプが異なれば、異なる周波数で音が放出される。
携帯電話は、携帯電話に対する携帯電話を取り囲む空間オブジェクトの相対座標に基づいて、方位角情報を生成する。任意選択で、携帯電話は、さらに、ヘッドセットの姿勢を取得し、ヘッドセットの姿勢及び空間オブジェクト情報に基づいて、携帯電話に対する空間オブジェクトの方位角情報を生成し得る。携帯電話は、携帯電話を取り囲む空間オブジェクトの方位角情報及びオブジェクト・コンテンツに基づいて、コンテンツ情報を生成する。携帯電話は、コンテンツ情報及び方位角情報を取得した後に、空間音データを生成する。本実施形態では、空間音データは、方位角情報及びコンテンツ情報を含む。携帯電話が前述のステップを実行する特定の実装については、図2に対応する実施形態において、データ生成装置20及びオーディオ再生装置21が前述のステップを実行する方式の説明を参照のこと。詳細は、ここでは記載されない。
任意選択で、携帯電話は、空間音データを生成した後に、空間音データをヘッドセット(すなわち、オーディオ再生装置71の一例)に送信し、ヘッドセットは、音電気エネルギー変換モジュールを使用することにより、空間音データに基づいて、空間音を再生する。空間音データに基づいて、ヘッドセットが空間音を再生する具体的な実装については、図2に対応する実施形態において、データ生成装置20及びオーディオ再生装置21が前述のステップを実行する具体的な実装を参照のこと。詳細は、ここでは記載されない。
第3の実装:本実装では、データ生成装置及びセンサが一体化された電子デバイスが携帯電話であり、オーディオ再生装置をヘッドセットである例を使用することによって説明が提供される。
携帯電話は、センサを使用することによって携帯電話を取り囲む空間オブジェクトに対応する空間オブジェクト情報を収集し、空間オブジェクト情報に基づいてコンテンツ情報及び方位角情報を生成する。前述のステップの具体的な実装は、図7に対応する実施形態におけるデータ生成装置70の具体的な実装と同様である。詳細は、ここでは記載されない。
任意選択で、データ生成装置は、コンテンツ情報及び方位角情報に基づいて、レンダリング動作を実行して、空間音データを取得する。本実施形態では、空間音データは、少なくとも2つのモノフォニック信号を含む。少なくとも2つのモノフォニック信号がオーディオ再生装置に送信される。オーディオ再生装置は、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、空間音を再生する。前述のステップの具体的な実装については、図3に対応する実施形態におけるデータ生成装置30及びオーディオ再生装置31の具体的な実装を参照のこと。詳細は、ここでは記載されない。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第2及び第3の実装においては、データ生成装置が携帯電話の形式として具体的に表されていることは単に一例に過ぎないと留意されたい。実際のアプリケーションでは、データ生成装置は、ポータブル・コンピュータ、ナビゲータ、又は車両などの形式として代替的に表され得る。
第4の実装:本実装では、データ生成装置及びオーディオ再生装置が一体化された端末デバイスがヘッドセットであり、センサが構成されている端末側電子デバイスが車両である例を使用することによって説明が提供される。本実装では、データ生成装置は、独立したデバイス、すなわちヘッドセットとみなされてもよいし、車両と車両内に位置するデュアルチャネル・ヘッドセットの両方を含む個別デバイスとしてみなされてもよい。
ヘッドセットは、センサを使用することにより、車両内のセンサを取り囲む空間オブジェクトの空間オブジェクト情報を取得する。空間オブジェクト情報は、センサに対する空間オブジェクトの相対座標及びセンサを取り囲む空間オブジェクトのオブジェクト・コンテンツを含む。具体的には、あるケースでは、車両は、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、ヘッドセットは、センサによって収集され、かつ車両によって送信されたデータを受信し、センサによって収集されたデータに基づいて、空間オブジェクト情報を生成する。別のケースでは、車両は、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、センサによって収集されたデータに基づいて、空間オブジェクト情報を生成し、ヘッドセットは、車両によって送信された空間オブジェクト情報を受信する。
ヘッドセットは、センサに対するセンサを取り囲む空間オブジェクトの相対座標に基づいて、方位角情報を生成する。任意選択で、ヘッドセットは、さらに、ヘッドセットの姿勢を取得し、ヘッドセットの姿勢及び空間オブジェクト情報に基づいて、ヘッドセットに対する空間オブジェクトの方位角情報を生成し得る。ヘッドセットは、ヘッドセットを取り囲む空間オブジェクトの方位角情報及びタイプに基づいて、コンテンツ情報を生成する。ヘッドセットは、コンテンツ情報及び方位角情報を生成した後に、空間音データを生成し、空間音を再生する。ヘッドセットが前述のステップを実行する具体的な実装は、図6に対応する実施形態におけるデータ生成装置60の具体的な実装と同様である。詳細は、ここでは記載されない。
ヘッドセットは、代替的には、携帯電話、ポータブル・コンピュータ、又はナビゲータのような形式と置き換えられてもよいし、センサが構成されている端末側電子デバイスは、代替的には、ヘッドセット、ポータブル・コンピュータ、ナビゲータ、又はスマート家電のような別の端末側デバイスとして表されてもよいと留意されたい。
第5の実装:本実装では、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、センサが構成されている端末側電子デバイスが車両であり、携帯電話及びヘッドセットが互いに独立したデバイスである例を使用することによって説明が提供される。
携帯電話は、センサを使用することによって車両内のセンサを取り囲む空間オブジェクトの空間オブジェクト情報を取得し、空間オブジェクト情報に基づいて、方位角情報及びコンテンツ情報を生成し、空間音データを生成する。本実施形態では、空間音データは、方位角情報及びコンテンツ情報を含む。携帯電話が前述のステップを実行する具体的な実装は、センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第4の実装と同様である。詳細は、ここでは記載されない。
任意選択で、携帯電話は、空間音データを生成した後に、空間音データをヘッドセットに送信し得る。ヘッドセットは、空間音データに基づいてレンダリング動作を実行して、少なくとも2つのモノフォニック信号を取得し、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生する。前述のステップの具体的な実装については、図2に対応する実施形態において、データ生成装置20及びオーディオ再生装置21が前述のステップを実行する具体的な実装を参照のこと。詳細は、ここでは記載されない。
第6の実装:本実装では、データ生成装置が携帯電話であり、オーディオ再生装置がヘッドセットであり、センサが構成されている端末側電子デバイスが車両であり、携帯電話及びヘッドセットが互いに独立したデバイスである例を使用することによって説明が提供される。
携帯電話は、センサを使用することによって車両内のセンサを取り囲む空間オブジェクトの空間オブジェクト情報を取得し、空間オブジェクト情報に基づいて、方位角情報及びコンテンツ情報を生成する。携帯電話が前述のステップを実行する具体的な実装は、センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第4の実装と同様である。詳細は、ここでは記載されない。
携帯電話は、方位角情報及びコンテンツ情報を生成した後に、レンダリング動作を実行して、空間音データを取得する。本実施形態では、空間音データは、少なくとも2つのモノフォニック信号を含む。少なくとも2つのモノフォニック信号がヘッドセットに送信される。ヘッドセットは、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、空間音を再生する。前述のステップの具体的な実装については、図3に対応する実施形態におけるデータ生成装置30及びヘッドセット31の具体的な実装を参照のこと。詳細は、ここでは記載されない。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第5及び第6の実施形態において、データ生成装置は、独立したデバイス、すなわち、携帯電話とみなされてもよいし、車両及び車両内に位置する携帯電話の両方を含む個別デバイスとみなされ得ると留意されたい。追加的に、形態電話は、代替的には、ポータブル・コンピュータ、又はナビゲータのような形式と置き換えられてもよいし、センサが構成されている端末側電子デバイスは、代替的には、ヘッドセット、ポータブル・コンピュータ、ナビゲータ、又はスマート家電のような別の端末側デバイスとして表されてもよいと留意されたい。
本発明の一実施形態は、データ生成方法を提供し、方法は、データ生成装置(図1~図7に対応する実施形態の各々におけるデータ生成装置を含むが、これらに限定されない)によって実行される。データ生成装置は、空間オブジェクト情報を受信した後に、受信した空間オブジェクト情報をフィルタリングせず、空間オブジェクト情報に基づいて空間オブジェクト・データを直接生成してもよいし、受信した空間オブジェクト情報をフィルタリングし、予めセットされた条件を満たす空間オブジェクト情報のみに基づいて、空間オブジェクト・データを生成してもよい。2つの実装において、異なる具体的な実装手順があり、したがって、実装手順は別々に記載される。
(1)空間オブジェクト情報は、フィルタリングされない。
本出願の一実施形態では、図8は、本出願の本実施形態によるデータ生成方法の概略フローチャートである。本出願の本実施形態において提供されるデータ生成方法は、以下のステップを含み得る。
ステップ801:データ生成装置は、空間オブジェクト情報を取得する。
本願の本実施形態では、データ生成装置は、以下の方式で空間オブジェクト情報を取得し得る。すなわち、データ生成装置が、空間オブジェクト情報を受信するか、又はデータ生成装置が、センサを使用することによって空間オブジェクト情報を収集する。データ生成装置は、受信した空間オブジェクト情報に基づいて、空間音データを生成してもよいし、センサを使用することによって収集された空間オブジェクト情報に基づいて、空間音データを生成してもよい。言い換えれば、本解決策において提供されるデータ提示方式は、複数のアプリケーション・シナリオに適用可能であり、本解決策のアプリケーション・シナリオは拡張される。これにより、本解決策の実装の柔軟性が改善される。
空間オブジェクト情報は、空間オブジェクトの記述情報であり、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用され、空間オブジェクトの方位角の少なくとも記述情報を含む。空間オブジェクトは、三次元空間に位置するオブジェクトである。例えば、空間オブジェクト情報は、テキスト形式であり、かつデータ生成装置からナビゲーション目的地へ進行するために使用されるナビゲーション・データを含んでもよいし、オーディオ・ストリーム形式であり、かつデータ生成装置からナビゲーション目的地へ進行するために使用されるナビゲーション・データを含んでもよいし、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び絶対座標を含んでもよいし、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び相対座標を含んでもよい。本出願の本実施形態における受信方式は、セルラ通信、無線ローカル・エリア・ネットワーク(Wireless Fidelity、Wi-Fi)、マイクロ波アクセスのための世界的相互運用性(Worldwide Interoperability for Microwave Access、WiMAX)、Bluetooth通信技術(Bluetooth)、ZigBee通信技術(ZigBee)、光通信、衛星通信、赤外線通信、伝送線通信、ハードウェア・インターフェース、又はハードウェア回路基板上のトレースを使用することによって情報を受信すること、ソフトウェア・モジュールから情報を取得すること、又は記憶デバイスから情報を読み出すことの方式を含むが、これらに限定されない。センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。前述の方式では、本解決策の実装の柔軟性を改善するために、センサの複数の具体的な実装が提供される。
歩行ナビゲーション・シナリオにおける3つの実装及び車内ナビゲーション・シナリオにおける3つの実装では、データ生成装置が空間オブジェクト情報を受信することは、ナビゲーションアプリケーション・プログラムが、データ生成装置にセットされて、ナビゲーション・スタート地点及びナビゲーション目的地を取得し、データ生成装置が、ナビゲーション・アプリケーション・プログラムを使用することによって、ナビゲーション・サーバにナビゲーション・スタート地点及びナビゲーション目的地を送信し、テキスト形式であり、かつナビゲーション・サーバによって送信された空間オブジェクト情報を受信する、言い換えれば、データ生成装置が、ナビゲーション・アプリケーション・プログラムを使用することによって、インターフェース・データを受信することを含み得る。テキスト形式での空間オブジェクト情報は、ナビゲーション・スタート地点からナビゲーション目的地まで進行するために使用されるナビゲーション・データを搬送する。
データ生成装置は、ナビゲーション・サーバに、ナビゲーション・スタート地点及びナビゲーション目的地の名称、ナビゲーション・スタート地点及びナビゲーション目的地の経度及び緯度座標、又はナビゲーション・スタート地点及びナビゲーション目的地の空間位置を示すために使用される他の情報を送信し得る。空間オブジェクト情報に対応する空間オブジェクトは、空間位置を有するナビゲーション目的地、交通標識ポスト、モニタ、別のナビゲーション関係空間オブジェクトなどであり得る。ナビゲーション・スタート地点からナビゲーション目的地まで進行するために使用されるナビゲーション・データは、少なくとも1つの道路セグメントを含んでもよいし、テキスト形式での空間オブジェクト情報は、少なくとも1つの道路セグメントの説明情報を含んでもよい。各道路セグメントの記述情報は、複数のフィールドと各フィールドのフィールド値を含む。複数のフィールドは、コンテンツ・フィールドのフィールド値を含み得る。例えば、コンテンツ・フィールドは、道路セグメント記述(命令)フィールドであり得る。複数のフィールドは、位置フィールドをさらに含み得る。例えば、位置フィールドは、具体的には、距離(distance)フィールド及び右左折(turn)フィールドであってもよい。位置フィールドはさらに別のフィールドを含み得る。代替的には、複数のフィールドは、コンテンツ・フィールドのみを含み得、位置フィールドなどを含まない。これは、本明細書において限定されるものではない。ここでは、空間オブジェクト情報がテーブル形式で表示される例が使用される。図1を参照のこと。
Figure 2023508418000014
図1を参照表1は、空間オブジェクト情報における道路セグメントの記述情報を示す。表1の例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されない。
具体的には、ナビゲーション・スタート地点を取得する方式については、あるケースでは、位置決めシステム、例えば、全地球測位システム(global positioning system、GPS)がデータ生成装置にさらに構成され得、データ生成装置は、位置決めシステムを使用することによってデータ生成装置の空間位置を取得し、空間位置をナビゲーション・スタート地点として決定する。別のケースでは、データ生成装置は、ユーザによって入力されたナビゲーション・スタート地点を受信する。より具体的には、データ生成装置が、例えば、表示インターフェースを含み、投影機能を有するデバイス、例えば、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両であるときに、データ生成装置は、ナビゲーション・アプリケーション・プログラムの表示インターフェースを使用することによって、ユーザによって入力されたナビゲーション・スタート地点を受信し得る。データ生成装置が投影機能を持たないヘッドセット又は表示インターフェースを持たない別のデバイスであるときに、マイクロホンがデータ生成装置内にさらに構成され得、データ生成装置は、マイクロホンを使用することによって、音声形式であり、かつユーザによって入力されたナビゲーション・スタート地点を受信する。任意選択で、データ生成装置が表示インターフェースを含むときに、マイクロホンがデータ生成装置内にさらに構成され得、データ生成装置は、マイクロホンを使用することによって、音声形式であり、かつユーザによって入力されたナビゲーション・スタート地点を受信する。ナビゲーション目的地を取得する方式については、データ生成装置がユーザによって入力されたナビゲーション目的地を受信する。具体的な実装については、データ生成装置がユーザによって入力されたナビゲーション・スタート地点を受信する方式を参照する。詳細は、ここでは記載されない。
任意選択で、データ生成装置が、ナビゲーション・アプリケーション・プログラムを使用することによって、テキスト形式であり、かつナビゲーション・サーバによって送信された空間オブジェクト情報を受信した後に、データ生成装置内のナビゲーション・アプリケーション・プログラムは、テキスト形式での空間オブジェクト情報をオーディオ・ストリーム形式の空間オブジェクト情報に変換し得、データ生成装置は、ナビゲーション・アプリケーション・プログラムからオーディオ・ストリーム形式で空間オブジェクト情報を取得する、言い換えれば、データ生成装置は、ナビゲーション・アプリケーション・プログラムを使用することによって、オーディオ・ストリーム形式で空間オブジェクト情報(オーディオ・ストリーム・データとも呼ばれ得る)を受信する。例えば、オーディオ・ストリーム・データは、パルス符号変調(pulse code modulation、PCM)オーディオ・ストリーム・データであってもよいし、別のフォーマットでのオーディオ・ストリーム・データであってもよい。具体的には、データ生成装置のオペレーティング・システムは、機能AudioPolicyManagerBase::getOutput(すなわち、オーディオ・ポリシー実装層の機能)を使用することによって、オーディオ・ストリーム形式であり、かつナビゲーション・アプリケーション・プログラムによって出力された空間オブジェクト情報を取得し得る。
ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける最初の3つの実装では、データ生成装置が、空間オブジェクト情報を受信することは、データ生成装置が、データ生成装置の空間位置に対応する第1の座標を取得し、データ生成装置の空間位置に対応する第1の座標をデータ・サーバに送信し、データ・サーバによって送信された空間オブジェクト情報を受信することを含み得る。空間オブジェクト情報は、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標を含む。第1の座標は、データ生成装置の経度及び緯度座標(絶対座標とも呼ばれ得る)であり得る。第2の座標は、空間オブジェクトの空間位置に対応する絶対座標であってもよいし、データ生成装置の空間位置に対する空間オブジェクトの空間位置の相対座標であってもよい。第2の座標が空間オブジェクトの絶対座標であるときに、空間オブジェクト情報は、空間オブジェクトに対応する地図データを参照する、言い換えれば、データ生成装置は、ネットワーク側に記憶された地図データを受信する。空間オブジェクト情報に含まれる空間オブジェクトは、図書館、ピザ屋、又は図5における構造物サイト、三次元空間に位置する別の物理オブジェクトなどであってもよい。
具体的には、位置決めシステムがデータ生成装置において構成されており、データ生成装置は、位置決めシステムを使用することによって、データ生成装置の空間位置に対応する第1の座標を取得し、データ生成装置の空間位置に対応する第1の座標をデータ・サーバに送信し得る。データ・サーバは、データ生成装置を取り囲む空間オブジェクトの地図データを予め記憶し得る。地図データは、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ、及びデータ生成装置を取り囲む空間オブジェクトの空間位置に対応する絶対座標を含む。データ・サーバは、データ生成装置の空間位置に対応する第1の座標を受信した後に、第1の座標を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標を取得して、空間オブジェクト情報を生成し、第1の座標を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標を含む空間オブジェクト情報をデータ生成装置に送信する。これに対応して、データ生成装置は、データ・サーバによって送信された空間オブジェクト情報を受信する。
具体的には、データ・サーバは、データ生成装置の空間位置に対応する第1の座標を受信した後に、第1の座標を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び絶対座標を取得して、空間オブジェクト情報を生成する。空間オブジェクト情報において搬送される第2の座標は、絶対座標である。任意選択で、データ・サーバは、第1の座標を受信し、第1の座標を取り囲む空間オブジェクトの絶対座標を取得した後に、さらに、第1の座標を原点として使用することによって、かつ第1の座標及び第1の座標を取り囲む空間オブジェクトの絶対座標に基づいて、第1の座標を取り囲む空間オブジェクトの相対座標を生成し、相対座標を第2の座標として決定し、第1の座標を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標に基づいて空間オブジェクト情報を生成し得る。空間オブジェクト情報において搬送される第2の座標は、絶対座標である。
ネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける第4の実装では、データ生成装置が、空間オブジェクト情報を受信することは、データ生成装置が、データ生成装置の空間位置に対応する第1の座標を取得し、データ生成装置の空間位置に対応する第1の座標を端末側電子デバイスに送信し、端末側電子デバイスによって送信された空間オブジェクト情報を受信することを含み得る。空間オブジェクト情報は、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び第2の座標を含む。本実施形態では、データ生成装置によって実行される特定のステップについては、前述の実施形態におけるネットワーク側又は端末側に記憶された地図データを使用することによって、周囲の空間オブジェクトを記述するシナリオにおける最初の3つの実装における具体的な実装の説明を参照のこと。前述の実施形態におけるデータ・サーバが端末側電子デバイスに置き換えられたという違いがある。詳細は、ここでは記載されない。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける最初の3つの実装では、データ生成装置が、センサを使用することによって、空間オブジェクト情報を収集することは、データ生成装置が、内部インターフェースを使用することによって、センサに信号収集命令を送信して、センサがデータを収集することを示し、データ生成装置が、センサによって収集したデータを受信し、センサによって収集されたデータに基づいて空間オブジェクト情報を生成する。具体的には、データ生成装置は、収集されたデータに基づいてデータ生成装置を取り囲む空間オブジェクトを特定して、データ生成装置を取り囲む空間オブジェクトの相対座標を生成し、センサによって収集されたデータに基づいてデータ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツを決定する。特定の実施形態については、図6及び図7に対応する実施形態における説明を参照のこと。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける後者の3つの実装では、データ生成装置が、センサを使用することによって、空間オブジェクト情報を収集することは、あるケースでは、センサが構成されている端末側電子デバイスが、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、データ生成装置が、センサによって収集され、かつセンサが構成されている端末側電子デバイスによって送信されたデータを受信し、センサによって収集されたデータに基づいて、空間オブジェクト情報を生成することを含み得る。別のケースでは、センサが構成されている端末側電子デバイスは、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、センサによって収集されたデータに基づいて、空間オブジェクト情報を生成し、データ生成装置は、センサが構成されている端末側電子デバイスによって送信された空間オブジェクト情報を受信する。
具体的には、あるケースでは、データ生成装置は、センサが構成されている端末側電子デバイスにセンサ・データ取得要求を送信し、センサ・データ取得要求に応答して、センサが構成されている端末側電子デバイスは、センサを使用することによって周囲の空間オブジェクトに対応するデータを収集し、次いで、センサによって収集されたデータ又は空間オブジェクト情報をデータ生成装置に送信する。別のケースでは、センサが構成されている端末側電子デバイスは、センサによって収集されたデータ又は空間オブジェクト情報をデータ生成装置に能動的に送信し得る。より具体的には、送信方式は、リアルタイム送信、予めセットされた継続時間の間隔での送信、固定された時点での送信、別の送信方法などであり得る。これは、本明細書において限定されるものではない。
空間オブジェクト情報が受信される時間について、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオでは、ユーザがデータ生成装置内のナビゲーション・アプリケーション・プログラムを使用することによってナビゲーション機能を実行するときに、データ生成装置は空間オブジェクト情報を受信する。ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオ、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオでは、具体的には、実装において、データ生成装置は、常に、空間オブジェクト情報を受信する状態であり得、受信した空間オブジェクト情報が適時に空間音データに変換され、適時に空間音を再生するようにする。任意選択で、ユーザから有効化動作及び無効化動作を受信するためのスイッチ・ボタンがデータ生成装置に配設され得る。ユーザがスイッチ・ボタンを使用することによって、有効化動作を入力するときに、データ生成装置は、空間オブジェクト情報を受信する状態にある。ユーザがスイッチ・ボタンを使用することによって、無効化動作を入力するときに、データ生成装置は、空間オブジェクト情報を受信する機能を無効化し、もはや空間オブジェクト情報を受信しない。具体的には、あるケースでは、データ生成装置は、ユーザのために表示インターフェースを提供することができる電子デバイスであり、したがって、ユーザによって入力されたスイッチ制御、有効化動作又は無効化動作使用することによって受信するために、表示インターフェースを使用することによって、ユーザにスイッチ制御を表示し得る。別のケースでは、データ生成装置が表示インターフェースを提供できない電子デバイスであるときに、スイッチ・ボタンはデータ生成装置の外側に配設されて、スイッチ・ボタンを使用することによって、有効化動作及び無効化動作が入力されるようにする。
ステップ802:データ生成装置は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。
本出願の本実施形態では、データ生成装置は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成し得る。コンテンツ情報は空間音に対する再生コンテンツを決定するために使用され、コンテンツ情報は方位角情報を含む。空間オブジェクトがナビゲーション目的地であるときに、コンテンツ情報は、データ生成装置からナビゲーション目的地へ進行するために使用される経路計画を記述するために使用される。空間オブジェクトが、空間内発生イベント、又は人、動物、若しくは空間内存在オブジェクトであるときに、コンテンツ情報は、空間オブジェクトのデータ生成装置に対する空間オブジェクトの方向及び空間オブジェクトのオブジェクト・コンテンツを記述するために使用される。例えば、コンテンツ情報は、「100m直進し、次いで右折する」か、又は「50m先の左側に喫茶店がある」かである。本明細書における例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されない。方位角情報は、位置情報及び方向情報を含み得、端末デバイスに対する空間オブジェクトの方位角を示すために使用される。方位角情報は、高さ情報を搬送してもよいし、高さ情報を搬送しなくてもよく、具体的には、デカルト座標として具体的に表わされてもよいし、別の形式での方位角情報であってもよい。端末デバイスは、データ生成装置、オーディオ再生装置、又はセンサが構成されている端末側電子デバイスであり得る。さらに、センサが構成されている端末側電子デバイス、及びデータ生成装置が同じ端末側電子デバイス、センサが構成されており、かつオーディオ再生装置が同じであり得る端末側電子デバイス、又はセンサが構成されている端末側電子デバイスは、データ生成装置とオーディオ再生装置とは独立したデバイスであってもよい。
歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオでは、空間オブジェクト情報はテキスト形式のナビゲーション・データを含んでもよく、テキスト形式のナビゲーション・データはコンテンツ・フィールドのフィールド値を含み得る。このケースでは、ステップ802は、データ生成装置が、空間オブジェクト情報に含まれる内容フィールドのフィールド値に基づいて、方位角情報及びコンテンツ情報を生成することを含み得る。任意に、テキストの形式のナビゲーション・データがコンテンツ・フィールドのフィールド値と位置フィールドのフィールド値を含む場合、ステップ802は以下を含むことができる。データ生成装置は、コンテンツ・フィールドのフィールド値に基づいてコンテンツ情報を生成し、位置フィールドのフィールド値に基づいて方位角情報を生成する。例えば、表1を参照して例を使用する。方位角情報は、空間オブジェクトの相対座標である。ここでは、方位角情報が高さ情報を搬送し得る例が使用される。このケースでは、x軸、y軸、z軸を使用することによって説明が提供される必要がある。表1の右左折フィールドに基づき、空間オブジェクトが端末デバイスの右側にあることが取得される。方位角「右」には具体的な距離値がなく、したがって距離値はデフォルト値、例えばデフォルトで10メートルにセットされ得、X軸上の値は10である。距離フィールドに基づいて、空間オブジェクトは端末デバイスの100m先にあり、y軸上の値は100であることが取得される。高さ情報がなく、したがってz軸上の値が0にセットされ得る。このようにして、空間オブジェクトの方位角情報(10,100,0)が取得される。命令フィールドに基づいて、コンテンツ情報が「100m直進し、次いで右折する」ことが取得される。X軸上の値は、代替的には、-10、別の値などであり得ると理解されたい。本例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されない。
任意選択で、空間オブジェクト情報は、オーディオ・ストリームの形式でのナビゲーション・データを含み、オーディオ・ストリームの形式でのナビゲーション・データは、コンテンツ情報を含み、コンテンツ情報は、方位角情報を含む。このケースでは、ステップ802は、データ生成装置が、オーディオ・ストリームの形態でのナビゲーション・データに対して音声認識を実行し、方位角情報及びコンテンツ情報を取得することを含み得る。例えば、表1を参照した例が使用される。方位角情報は、空間オブジェクトの相対座標である。ここでは、方位角情報が高さ情報を搬送し得る例が使用される。このケースでは、x軸、y軸、z軸を使用することによって説明が提供される必要がある。オーディオ・ストリームの形式でのナビゲーション・データは、「100メートル直進し、次いで右折する」であり、オーディオ・ストリームの形式でのナビゲーション・データに対して音声認識が実行された後に、キーワード「右」が抽出される。ナビゲーション・データにおいて方位角「右」に対して具体的な距離値がなく、したがって距離値はデフォルト値にセット、例えばデフォルトで10メートルにセットされ得、X軸上の値は10である。「直進」及び「100メートル」というキーワードが抽出され、したがって直進の方位角の距離は100メートル、言い換えれば、y軸の値は100である。高さ情報がなく、したがってz軸上の値が0にセットされ得る。このようにして、空間オブジェクトの方位角情報(10,100,0)が取得される。オーディオ・ストリーム形式でのナビゲーション・データに対して音声認識を実行することによって、,コンテンツ情報が「100m直進し、次いで右折する」ことが取得される。本例は、単に本解決策の理解を容易にするために使用されるに過ぎず、本解決策を限定するために使用されないと理解されたい。
ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオでは、空間オブジェクト情報には、データ生成装置を取り囲む空間オブジェクトのオブジェクト・コンテンツ及び絶対座標を含む。このケースでは、ステップ802は、データ生成装置が、データ生成装置の空間位置及び空間オブジェクト情報に基づいて、方位角情報を生成することを含み得る。具体的には、データ生成装置は、データ生成装置の空間位置に対応する第1の座標(すなわち、データ生成装置の空間位置の絶対座標)を座標原点として使用し、ジャイロスコープ又はデータ生成装置における位置決めシステムなどを使用することによって、ユーザの進行方向を決定し、ユーザの進行方向をy軸の正の方向として使用することによって座標系を確立し、データ生成装置の空間位置を取り囲む空間オブジェクトのものであり、かつ空間オブジェクト情報に含まれる絶対座標(すなわち、第2の座標の一例)に基づいて座標系における空間オブジェクトの位置を決定して、方位角情報を生成し、方位角情報及び空間オブジェクト情報に含まれるオブジェクト・コンテンツに基づいて、コンテンツ情報を生成する。コンテンツ情報は、方位角の記述と空間オブジェクトのタイプを含む。例えば、空間オブジェクトのタイプが書店であり、データ生成装置の空間位置の絶対座標及び書店の絶対座標に基づいて方位角情報(0,50,0)が取得される場合、コンテンツ情報は、50m先の右側に書店があるということである。別のケースでは、空間オブジェクト情報は、空間オブジェクトのオブジェクト・コンテンツ及び相対座標を含む。本ケースでは、データ生成装置は、空間オブジェクト情報から相対座標を抽出して、方位角情報を取得し、方位角情報及び空間オブジェクト情報に含まれるオブジェクト・コンテンツに基づいて、コンテンツ情報を生成し得る。別のケースでは、空間オブジェクト情報は、空間オブジェクトのオブジェクト・コンテンツ、及びデータ生成装置に対する空間オブジェクトの相対座標を含む。本ケースでは、ステップ802は、データ生成装置が、空間オブジェクト情報に含まれる空間オブジェクトの相対座標に基づいて方位角情報を生成し、方位角情報及び空間オブジェクト情報に含まれるオブジェクト・コンテンツに基づいて、コンテンツ情報を生成することを含み得る。
センサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオでは、空間オブジェクト情報は、センサが構成されている端末側電子デバイスを取り囲む空間オブジェクトのオブジェクト・コンテンツ及び相対座標を含む。本ケースでは、ステップ802は、データ生成装置が、空間オブジェクトの相対座標に基づいて方位角情報を生成し、方位角情報及び空間オブジェクト情報に含まれるオブジェクト・コンテンツに基づいて、コンテンツ情報を生成することを含み得る。
任意選択で、データ生成装置は、データ生成装置の姿勢及び空間オブジェクト情報に基づいて方位角情報を生成する。例えば、姿勢は、右に30度回転する、左に20度回転する、15度上昇する、又は別の姿勢である。さらに、例えば、データ生成装置が車両であるときに、姿勢は、車両のヘッドの方向であり、データ生成装置が携帯電話又はナビゲータであるときに、姿勢は、携帯電話又はナビゲータの画面の向きであり、データ生成装置がデュアルチャネル・ヘッドセットであるときに、姿勢は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、データ生成装置が車両及び車両内に位置する携帯電話の両方を含む個別装置であるときに、姿勢は、車両のヘッドの向き、又は車両内に位置する携帯電話の画面の向きであり、あるいはデータ生成装置が、車両及び車両内に位置するデュアルチャネル・ヘッドセットの両方を含む個別装置であるときに、姿勢は、車両のヘッドの向き、又はデュアルチャネル・ヘッドセットを装着している車両内ユーザの顔の向きである。
具体的には、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第1の実装、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオにおける第1及び第4の実装、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第1及び第4の実装では、データ生成装置及びオーディオ再生装置が同じ端末デバイス内に構成されており、したがってデータ生成装置の姿勢を測定した後に、データ生成装置は、姿勢及び空間オブジェクト情報に基づいて方位角情報を生成し、最終的にユーザによって聞こえる空間音の音源の位置が、端末デバイスに対する空間オブジェクトの方位角情報と合致するようにして、空間音の精度を改善する。
歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第2及び第3の実装、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述シナリオにおける第2及び第3の実装、並びにセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第2、第3、第5及び第6の実装では、データ生成装置及びオーディオ処理装置は、2つの独立したデバイスであり、したがってデータ生成装置は、オーディオ再生装置によって送信された姿勢を受信し、姿勢及び空間オブジェクト情報に基づいて方位角情報を生成する。より具体的には、オーディオ再生装置は、オーディオ再生装置の姿勢をリアルタイムでデータ生成装置に送信してもよいし、オーディオ再生装置の姿勢を予めセットされた継続時間の間隔でデータ生成装置に送信してもよい。例えば、予めセットされた持続時間は、2秒、5秒、10秒、又は他の持続時間であり得る。
より具体的には、前述のシナリオでは、データ生成装置又はオーディオ再生装置がヘッドセット、携帯電話、ポータブル・コンピュータ、又はナビゲータなどであるときに、ジャイロスコープ、又は姿勢測定機能を有する別の要素がデータ生成装置又はオーディオ再生装置に配設され、データ生成装置又はオーディオ再生装置は、ジャイロスコープ又は姿勢測定機能を有する別の要素を使用することによって、データ生成装置の姿勢を取得する。姿勢は、ヘッドセット、携帯電話、ポータブル・コンピュータ、又はナビゲータの姿勢であり得る。データ生成装置又はオーディオ再生装置が車両であるときに、データ生成装置又はオーディオ再生装置は、ジャイロスコープ、ハンドルの回転方向、又は車両に構成されている別の要素を使用することによって姿勢を測定し得る。車両の姿勢は、車両のヘッドの姿勢、車輪の姿勢、車体の姿勢、別の姿勢などであり得る。車両は、自動車、トラック、オートバイ、バス、ボート、航空機、ヘリコプタ、芝刈り機、レクリエーション用車両、遊び場用車両、建設デバイス、トロリー、ゴルフ・カート、列車、手押し車などであり得る。これは、本出願の本実施形態において具体的に限定されない。
任意選択で、本発明の本実施形態は、ステップ803を含んでもよい。すなわち、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定する。空間オブジェクト情報が予めセットされた条件を満たす場合、ステップ804が実行される。空間オブジェクト情報が予めセットされた条件を満たさない場合、ステップ805が実行される。
本出願の本実施形態では、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定する。予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。予めセットされた空間位置領域は、データ生成装置又はオーディオ処理装置の空間位置に対する予めセットされた空間位置領域である。例えば、予めセットされた空間位置領域は、データ生成装置又はオーディオ処理装置の空間位置の10メートル先の右側の領域であり得る。別の例では、予めセットされた空間位置領域は、データ生成装置又はオーディオ処理装置の空間位置が原点として使用され、半径が10メートルである領域であり得る。これは、本明細書において限定されるものではない。予めセットされた空間方向は、データ生成装置又はオーディオ処理装置の空間位置に対する位置方向であり得る。例えば、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり得る。デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きは、ジャイロスコープ、慣性センサ、又はデュアルチャネル・ヘッドセット内に構成されている別の要素に基づいて測定され得る。ユーザは、通常、ユーザが視認することを期待するオブジェクトを視認する。デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きの方向は、予めセットされた空間方向にセットされる。これは、関心のある空間オブジェクトを決定するプロセスの精度を改善するのに役立つ。データ生成装置が携帯電話又はナビゲータであるときに、予めセットされた空間方向は、携帯電話又はナビゲータ上の移動方向であり得る。データ生成装置が車両であるときに、予めセットされた空間方向は、車両のヘッドの向きであり得る。さらに、予めセットされた空間方向は、データ生成装置又はオーディオ処理装置の前方、後方、左方、右方、又は別の方向であってもよいし、絶対空間位置方向であってもよい。例えば、予めセットされた空間方向は、東、西、南又は北であり得る。これは、本明細書において限定されるものではない。予めセットされたオブジェクト・コンテンツは、ユーザによって予め入力され得る。例えば、ユーザは、喫茶店、書店、又は他のタイプの空間オブジェクトを、ユーザが関心を持つオブジェクトとして予め入力し得る。代替的には、データ生成装置は、予めセットされたオブジェクト・コンテンツを独自に決定し得る。例えば、比較的大きな危険係数を有するオブジェクト・コンテンツ、例えば、建設現場が、予めセットされたオブジェクト・コンテンツとしてセットされ得る。別の例として、ハイライトする必要のあるオブジェクト・コンテンツ、例えば、右左折地点又は交差点が、予めセットされたオブジェクト・コンテンツとしてセットされ得る。本例は、単に本解決策の理解を容易にするために使用されるに過ぎないと理解されたい。具体的には、予めセットされた空間位置領域、予めセットされた空間方向、及び/又は予めセットされたオブジェクト・コンテンツの具体的な意味は、当業者が実際の製品形式を参照して決定され得る。これは、本明細書において限定されるものではない
具体的には、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおいて、ステップ803は、データ生成装置が、コンテンツ情報に示されているオブジェクト・コンテンツが予めセットされたオブジェクト・コンテンツであるかどうかを決定することを含み得る。決定結果が「はい」である場合、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすと決定する。ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオ、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオでは、ステップ803は、以下のケースのうちの1つ以上を含む。すなわち、データ生成装置が、方位角情報に示された空間位置が予めセットされた空間位置領域に位置するかどうかを決定すること、データ生成装置が、方位角情報に示された空間位置が予めセットされた空間方向に位置するかどうかを決定すること、又はデータ生成装置が、コンテンツ情報に示されたオブジェクト・コンテンツが予めセットされたオブジェクト・コンテンツであるかどうかを決定することである。データ生成装置は、前述のケースのうちのいずれか1つ以上の決定結果が「はい」であるときに、空間オブジェクト情報が予めセットされた条件を満たすと決定する。
任意選択で、本発明の本実施形態は、ステップ804を含んでもよい。すなわち、データ生成装置は、ボリューム上げ指示情報を生成する。
本出願の本実施形態のいくつかの実施形態では、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすことを決定した後に、ボリューム上げ指示情報を生成する。ボリューム上げ指示情報は、空間オブジェクト情報に対応する空間音のボリュームを上げることを示すために使用される。ボリューム上げ指示情報は、ボリュームを上げる必要があるボリューム値を搬送してもよく、ボリューム上げ指示情報において搬送されるボリューム値は、正の値、例えば、3dB、8dB、10dB、又は15dBであってもよい。代替的には、ボリューム上げ指示情報は、ボリュームを上げる必要があるボリューム値を搬送しなくてもよい。これは、本明細書において限定されるものではない。
任意選択で、本発明の本実施形態は、ステップ805を含んでもよい。すなわち、データ生成装置がボリューム下げ指示情報を生成する。
本出願の本実施形態のいくつかの実施形態では、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たさないことを決定した後に、ボリューム下げ指示情報を生成する。ボリューム下げ指示情報は、空間オブジェクト情報に対応する空間音のボリュームを下げることを示すために使用される。ボリューム下げ指示情報は、ボリュームを下げる必要があるボリューム値を搬送してもよく、ボリューム下げ指示情報において搬送されるボリューム値は、負の値、例えば、-3 dB、-8dB、-10dB、又は-15dBであり得る。代替的には、ボリューム下げ指示情報は、ボリュームを下げる必要があるボリューム値を搬送しなくてもよい。これは、本明細書において限定されるものではない。
ステップ806:データ生成装置は、空間音データを生成する。
本出願の本実施形態では、データ生成装置は、方位角情報及びコンテンツ情報を取得した後に、空間音データを生成する。空間音データは、空間音を生成することを指示するために使用される。具体的には、空間音データは、方位角情報及びコンテンツ情報を含むか、又は空間音データは、方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号を含み、少なくとも2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。
空間音データが方位角情報及びコンテンツ情報を含む場合、空間音データは、ボリューム情報などをさらに含み得る。ETSI TS 103 223規格では、空間音データは、具体的には、空間オーディオ・オブジェクトとして表され、空間オーディオ・オブジェクトに含まれる様々なタイプの情報が、具体的には、アレイ・フィールドとして表される。さらに、ETSI TS 103 223規格は、「オブジェクト・ベースのオーディオ・イマーシブ音メタデータ及びビットストリーム」のための規格を提供する。本規格は、以下のケースをサポートする。すなわち、音源の位置と聞いているユーザとの間の距離を反映することができるイマーシブ音メタデータ及びビットストリーム並びに方位角が、ユーザの位置座標及び音源の位置座標に基づいて計算される。ETSI TS 103 223規格は、単に空間音データの参照規格に過ぎないことに留意されたい。実際の実装では、別の規格に対する参照が行われてもよいし、ETSI TS 103 223規格に基づいて修正が行われてもよい。本出願の本実施形態では、ETSI TS 103 223規格は、単に説明のための例として使用されるに過ぎない。ETSI TS 103 223規格を参照すると、空間音データにおける位置情報は、具体的には、位置(position)フィールドとして表され、コンテンツ情報は、具体的にはコンテンツ(contentkind)フィールドとして表され、ボリューム情報は、具体的には、ボリュームゲイン(gain)フィールドとして表される。例は、本明細書に網羅的に列挙されていない。
本出願の本実施形態では、ステップ803~805は、任意選択のステップである。ステップ803~805のいずれも実行されない場合、又はステップ803及び804が実行されて、ステップ805は実行されない場合、ステップ803の実行結果は、空間オブジェクト情報が予めセットされた条件を満たさないことである、あるいはステップ803、805が実行され、ステップ804は実行されない場合、ステップ803の実行結果は、空間オブジェクト情報が予めセットされた条件を満たすことであり、ステップ806は、データ生成装置が方位角情報及びコンテンツ情報に基づいて空間データを生成することを含み得る。具体的には、ETSI TS 103 223規格では、データ生成装置は、座標の形式での方位角情報及びコンテンツ情報を取得した後に、位置フィールドのフィールド値として方位角情報を決定し、コンテンツ・フィールドのフィールド値としてコンテンツ情報を決定し、空間オーディオ・オブジェクトにおける別のフィールドに対するデフォルト値を使用して、空間オーディオ・オブジェクトを取得し得る。
ステップ803~805のすべてが実行され、ステップ803の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすものである場合、又はステップ803~804が実行され、ステップ805が実行されず、ステップ803の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすものである場合、ステップ806は、データ生成装置が、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成することを含む。具体的には、ETSI TS 103 223規格では、データ生成装置は、座標の形式での方位角情報及びコンテンツ情報を取得した後に、位置フィールドのフィールド値として方位角情報を決定し、コンテンツ・フィールドのフィールド値としてコンテンツ情報を決定し得る。ボリューム上げ指示情報が、ボリュームを上げる必要があるボリューム値を搬送する場合、ボリュームを上げる必要があるボリューム値は、ボリューム・ゲイン・フィールドのフィールド値として決定され得る。ボリューム上げ指示情報が、ボリュームを上げる必要があるボリューム値を搬送しない場合、ボリューム・ゲイン・フィールドのフィールド値は、予めセットされた値だけ上げられ得る。例えば、ボリューム・ゲイン・フィールドのフィールド値は、3dB、8dB、10dB、又は15dBであり得る。本出願の本実施形態では、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であるときに、ボリューム上げ指示情報が生成され、ボリューム上げ指示情報は、空間オブジェクト情報に対応する空間音のボリュームを上げることを示す、言い換えれば、再生ボリュームが予めセットされたオブジェクト・コンテンツを有する空間オブジェクトに対して上げられて、ユーザの注意を引き付け、ユーザが予めセットオブジェクト・コンテンツを有する空間オブジェクトを見失うことを防ぐ。このようにして、ナビゲーション・プロセスにおけるセキュリティが改善され、ユーザが関心のある空間オブジェクトを見失うことを防止することができ、それによって、本解決策のユーザ粘度を改善する。
ステップ803~805のすべてが実行され、ステップ803の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすものである場合、又はステップ803~805が実行され、ステップ804が実行されず、ステップ803の実行結果が、空間オブジェクト情報が予めセットされた条件を満たさないものである場合、ステップ806は、データ生成装置が、方位角情報、コンテンツ情報、及びボリューム下げ指示情報に基づいて、空間音データを生成することを含む。具体的には、ETSI TS 103 223規格では、ヘッドセットは、座標の形式での方位角情報及びコンテンツ情報を取得した後に、位置フィールドのフィールド値として方位角情報を決定し、コンテンツ・フィールドのフィールド値としてコンテンツ情報を決定し得る。ボリューム下げ指示情報が、ボリュームを下げる必要があるボリューム値を搬送する場合、ボリューム・ゲイン・フィールドのフィールド値は、ボリュームを下げる必要があるボリューム値に基づいて決定されてもよく、ボリューム・ゲイン・フィールドのフィールド値は、負の値である。ボリューム下げ指示情報が、ボリュームを下げる必要があるボリューム値を搬送しない場合、ボリューム・ゲイン・フィールドのフィールド値は、予めセットされた値だけ下げられ得る。例えば、ボリューム・ゲイン・フィールドのフィールド値は、-3dB、-8dB、-10dB、又は-15dBであり得る。
さらに、前述の3つのケースでは、空間音データが方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号である場合、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第3の実装、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオにおける第3の実装、並びにセンサを使用することによって、周囲の空間オブジェクトを検知及び記述するシナリオにおける第3及び第6の実装、あるいは歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第1の実装、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオにおける第1及び第4の実装、並びにセンサを使用することによって、周囲の空間オブジェクトを検知及び記述するシナリオにおける第1及び第4の実装では、方位角情報及びコンテンツ情報が生成された後に、ステップ806は、データ生成装置が、コンテンツ情報及び方位角情報に基づいてレンダリング動作を実行して、少なくとも2つのモノフォニック信号を生成することをさらに含み得る。少なくとも2つのモノフォニック信号は、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生されて、空間音を生成する。
具体的には、空間音データに基づいてレンダリング動作を実行するプロセスでは、レンダリング動作は、具体的には、特定のアルゴリズム又はデータ処理動作を使用することによって、空間方位角情報をオーディオ・ストリーム・データに組み込んで、最終的に少なくとも2つのモノフォニック信号を生成することである。少なくとも2つのモノフォニック信号は、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生されて、空間音を生成する。レンダリング機能ライブラリは、データ生成装置又はオーディオ再生装置において予め構成されていてもよい。空間音データが取得された後に、空間音データにおける方位角情報に対応する左耳レンダリング機能及び右耳レンダリング機能が取得され、空間音データにおけるコンテンツ情報に対応するオーディオ・ストリーム・データが取得され、左耳レンダリング機能を使用することによって、コンテンツ情報に対応するオーディオ・ストリーム・データがレンダリングされて、左チャネル信号を取得し、右耳レンダリング機能を使用することによって、コンテンツ情報に対応するオーディオ・ストリーム・データがレンダリングされて、右チャネル信号を取得する。左チャネル信号及び右チャネル信号は2つのモノフォニック信号である。より具体的には、空間オブジェクト情報がオーディオ・ストリーム形式でのナビゲーション・データを含む場合、オーディオ・ストリーム形式のコンテンツ情報は、空間オブジェクト情報から抽出され得る。空間オブジェクト情報がテキスト形式でのナビゲーション・データを含む場合、空間音データにおけるコンテンツ情報は、オーディオ・ストリーム形式でのコンテンツ情報に変換される必要がある。
さらに、空間音データに基づいて空間音が生成される具体的な実装は、オーディオ再生装置がヘッドセットである例を使用することによって本明細書において詳細に記載されている。実装では、左耳レンダリング機能及び右耳レンダリング機能の各々は、頭部関係インパルス応答(head related impulse response、HRIR)機能である。このケースでは、空間音データにおけるコンテンツ情報に対応するPCMデータが取得される必要があり、空間音データにおける位置情報に対応する左耳HRIR機能及び右耳HRIR機能が取得され、PCMデータ並びに左耳HRIR機能及び右耳HRIR機能の各々について畳み込み処理が実行されて、左チャネル信号及び右チャネル信号を取得し、次いで、オーディオ再生装置における左右の音電気エネルギー変換モジュールを使用することによって左チャネル信号及び右チャネル信号が再生され得る。別の実装では、左耳レンダリング機能及び右耳レンダリング機能の各々は、頭部関係トランスファー応答((head related transfer function、HRTF)機能である。このケースでは、空間音データにおけるコンテンツ情報に対応するPCMデータが取得される必要があり、空間データにおける位置情報に対応する左耳HRTF機能及び右耳HRTF機能が取得され、PCMデータが周波数領域に変換されて、変換されたオーディオ・ストリーム・データを取得し、変換されたオーディオ・ストリーム・データは、左耳HRTF機能及び右耳HRTF機能の各々によって乗算され、乗算後に取得された信号は、時間領域に変換されて、左チャネル信号及び右チャネル信号を取得し、左チャネル信号及び右チャネル信号は、オーディオ再生装置における左右の音電気エネルギー変換モジュールを使用することによって再生され得る。本明細書では、本解決策の実装可能性を証明するためだけに、オーディオ再生装置がヘッドセットにおける音電気エネルギー変換モジュールである例が使用されている。オーディオ再生装置が別の形式であるときに、本解決策が適用可能であることを、アナロジーを介して分かり得る。空間音を生成する方式は、本明細書においては限定されない。
任意選択で、本発明の本実施形態は、ステップ807を含み得る。すなわち、データ生成装置又はオーディオ再生装置は、空間的音データに基づいて、空間音を再生する。
本出願の本実施形態では、データ生成装置は、空間音データを生成した後に、空間音データに基づいて、空間音を再生し得る。空間音は音である。空間音の音源の位置は方位角情報に対応し、空間音に対する再生コンテンツは、コンテンツ情報である。
空間音データがコンテンツ情報及び方位角情報を含む場合、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第2の実装シナリオ、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオにおける第2の実装シナリオ、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第2及び第5の実装において、データ生成装置及びオーディオ再生装置は、異なる独立したデバイスにおいて位置し、したがって、データ生成装置は、コンテンツ情報及び方位角情報を含む空間音データを生成した後に、コンテンツ情報及び方位角情報を含む空間音データをオーディオ再生装置に送信し、オーディオ再生装置は、コンテンツ情報及び方位角情報に基づいてレンダリング動作を実行して、少なくとも2つのモノフォニック信号を生成し、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって、空間音を再生する。任意選択で、オーディオ再生装置は、空間音データに基づいて少なくとも2つのモノフォニック信号を生成した後に、さらに、リアルタイムでオーディオ再生装置の姿勢を取得し、オーディオ再生装置の姿勢及び空間音データに基づいて、変換された空間方位角情報を取得し、オーディオ・ストリーム形式でコンテンツ情報を再レンダリングし、再レンダリング動作が実行された後に取得された少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって、空間音を再生し得る。再レンダリングは、特定のアルゴリズム又はデータ処理動作を使用することによって、変換された空間方位角情報をオーディオ・ストリーム・データに組み込んで、最終的に少なくとも2つのモノフォニック信号を生成することを意味する。本出願の本実施形態では、少なくとも2つのモノフォニック信号に含まれるモノフォニック信号の数は、オーディオ再生装置に含まれる音電気エネルギー変換モジュールの数と合致する。
代替的には、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第1の実装、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオにおける第1及び第4の実装、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第1及び第4の実装では、データ生成装置及びオーディオ再生装置は、同じデバイスに一体化され、空間音データがコンテンツ情報及び方位角情報を含む場合、データ生成装置は、コンテンツ情報及び方位角情報に基づいて少なくとも2つのモノフォニック信号を最初に生成し、少なくとも2つのモノフォニック信号を、内部インターフェースを使用することによって、音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生する必要がある。内部インターフェースは、具体的には、ハードウェア回路基板上のトレースとして表わされ得る。任意選択で、データ生成装置とオーディオ再生装置は同じデバイスに一体化され、したがって、データ生成装置は、車両のジャイロスコープ又はハンドルなどの姿勢測定要素を使用することによってオーディオ再生装置の姿勢を直接取得し、オーディオ再生装置の姿勢に基づいてオーディオ・ストリームの形式でコンテンツ情報を再レンダリングして、再レンダリング動作が実行された後に取得される少なくとも2つのモノフォニック信号を取得し、次いで、内部インターフェースを使用することによって少なくとも2つのモノフォニック信号をオーディオ再生装置に伝送して、空間音を再生し得る。
空間音データが、コンテンツ情報及び方位角情報に基づいて生成された少なくとも2つのモノフォニック信号を含む場合、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第3の実装、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間オブジェクトを記述するシナリオにおける第3の実装、及びセンサを使用することによって、周囲の空間オブジェクトを検知及び記述するシナリオにおける第3及び第6の実装では、データ生成装置は、少なくとも2つのモノフォニック信号をオーディオ再生装置に送信し、オーディオ再生装置は、少なくとも2つのモノフォニック信号を音電気エネルギー変換モジュールに入力して、空間音を再生する。任意選択で、オーディオ再生装置は、オーディオ再生装置の姿勢を取得し、オーディオ再生装置の姿勢をデータ生成装置に送信し得、データ生成装置は、オーディオ再生装置の姿勢に基づいて、オーディオ・ストリーム形式でコンテンツ情報を再レンダリングし、データ生成装置は、再レンダリングし、データ生成装置は、再レンダリング動作が実行された後に取得された少なくとも2つのモノフォニック信号をオーディオ再生装置に送信し、オーディオ再生装置は、再レンダリング動作が実行された後に取得された少なくとも2つのモノフォニック信号を音電気変換モジュールに入力して、空間音を再生する。
代替的には、歩行ナビゲーション・シナリオ及び車内ナビゲーション・シナリオにおける第1の実装、ネットワーク側又は端末側に記憶された地図データを使用することによって周囲の空間おジェクトを記述するシナリオにおける第1及び第4の実装、及びセンサを使用することによって周囲の空間オブジェクトを検知及び記述するシナリオにおける第1及び第4の実装では、空間音データが少なくとも2つのモノフォニック信号を含む場合、データ生成装置は、少なくとも2つのモノフォニック信号を、内部インターフェースを使用することによって、音電気エネルギー変換モジュールに伝送して、音電気エネルギー変換モジュールを使用することによって空間音を再生する。
任意選択で、空間音データに基づいてレンダリング動作を実行するプロセスにおいて、空間音を再生するために、左チャネル信号及び右チャネル信号の再生ボリュームが、空間音データ内のボリューム情報に基づいてさらに調整され得る。具体的には、データ生成装置がボリューム上げ指示情報を生成する場合、左チャネル信号及び右チャネル信号の再生ボリュームが上げられる。代替的には、データ生成装置がボリューム下げ指示情報を生成する場合、左チャネル信号及び右チャネル信号の再生ボリュームが下げられる。
本出願の本実施形態では、ナビゲーション・データが再生されるときに、ナビゲーション目的地の方位角情報及びコンテンツ情報に基づいて、空間音データが生成され、生成された空間音データは、空間音が再生されることを示し、空間音に対応する音源の再生位置は、ナビゲーション目的地の方位角情報と合致しており、言い換えれば、ユーザは、聞こえる空間音の音源の再生位置に基づいて、正しい進行方向を決定し得る。このようにして、より直感的な再生方式が提供され、ユーザは、ユーザの進行方向が正しいかどうかを確認するために、マップを頻繁に開く必要がない。動作が簡単であり、したがって、ナビゲーション・プロセスの効率が改善される。空間オブジェクトが別のタイプのオブジェクトであるときに、より直感的で効率的なデータ提示方式が提供される。
(2)空間オブジェクト情報は、フィルタリングされる。
本出願の一実施形態において、図9は、本出願の本実施形態によるデータ生成方法の概略フローチャートである。本出願の本実施形態において提供されるデータ生成方法は、以下のステップを含み得る。
ステップ901:データ生成装置は、空間オブジェクト情報を取得する。
ステップ902:データ生成装置は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成する。
任意選択で、本発明の本実施形態は、ステップ903を含んでもよい。すなわち、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定する。空間オブジェクト情報が予めセットされた条件を満たす場合、ステップ904が実行される。空間オブジェクト情報が予めセットされた条件に合致しない場合は、実行は終了する。
本出願の本実施形態のいくつかの実施形態では、データ生成装置は、空間オブジェクト情報が予めセットされた条件を満たすかどうかを決定する。空間オブジェクト情報が予めセットされた条件を満たす場合、ステップ904が実行され得る。空間オブジェクト情報が予めセットされた条件を満たさない場合、空間音データは、空間オブジェクト情報に基づいてもはや生成されず、ステップ901が、次の空間オブジェクト情報を処理するために再度実行され得る。
任意選択で、本発明の本実施形態は、ステップ904を含んでもよい。すなわち、データ生成装置は、ボリューム上げ指示情報を生成する。
本出願の本実施形態では、データ生成装置がステップ901~904を実行する具体的な実装は、図8に対応する実施形態におけるステップ801~804の具体的な実装と同様である。詳細は、ここでは記載されない。
ステップ905:データ生成装置は、空間音データを生成する。
本出願の本実施形態のうちのいくつかの実施形態では、ステップ903~904は、任意選択のステップである。ステップ903及びステップ904のいずれも実行されない場合、又はステップ903が実行され、ステップ904は実行されず、ステップ903の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすことである場合、ステップ905は、データ生成装置が方位角情報及びコンテンツ情報に基づいて、空間音データを生成することを含む。
ステップ903及び904の両方が実行され、ステップ903の実行結果が、空間オブジェクト情報が予めセットされた条件を満たすことである場合、ステップ905は、データ生成装置が、方位角情報、コンテンツ情報、及びボリューム上げ指示情報に基づいて、空間音データを生成することを含む。
本出願の本実施形態では、前述の方式において、空間音データが生成される前に、空間オブジェクト情報が予めセットされた条件を満たすかどうかが決定され、決定結果が予めセットされた条件が満たされることであるときにのみ、空間オブジェクト情報に基づいて、空間音データが生成される、すなわち、空間オブジェクト情報がフィルタリングされる。このように、予めセットされた条件を満たさない空間オブジェクト情報によって生じるコンピュータ・リソースの浪費が回避され、ユーザへの過度の妨害が回避されて、それによって、本解決策のユーザ粘度を改善する。
任意選択で、本発明の本実施形態は、ステップ906:オーディオ再生装置又はデータ生成装置が、空間音データに基づいて空間音を再生することを含み得る。
本出願の本実施形態では、データ生成装置がステップ905及び906を実行する具体的な実装については、図8に対応する実施形態におけるステップ806及び807の具体的な実装の説明を参照のこと。詳細は、ここでは記載されない。
図1~図9に対応する実施形態に基づいて、本出願の実施形態における解決策をより良く実装するために、解決策を実装するための関係装置が、さらに以下に提供される。具体的には、図10は、本出願の一実施形態によるデータ生成装置の構造の別の概略図である。データ生成装置100は、取得モジュール1001及び生成モジュール1002を含む。取得モジュール1001は、空間オブジェクト情報を取得するように構成されている。空間オブジェクト情報は、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される。具体的な実装については、図8に対応する実施形態におけるステップ801の説明を参照のこと。生成モジュール1002は、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。方位角情報は、空間オブジェクト情報に示される空間オブジェクトのデータ生成装置に対する方位角を示すために使用される。コンテンツ情報は、空間オブジェクトを記述するために使用される。具体的な実装については、図8に対応する実施形態におけるステップ802の説明を参照のこと。生成モジュール1002は、方位角情報及びコンテンツ情報に基づいて、空間音データを生成するようにさらに構成されている。空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する。具体的な実装については、図8に対応する実施形態におけるステップ802及び図9に対応する実施形態におけるステップ905の説明を参照のこと。特定のコンテンツについては、本出願の実施態様に示された前述の方法の実施態様の説明を参照のこと。詳細は、ここでは記載されない。
本出願の本実施形態では、ナビゲーション・データが再生されるときに、生成モジュール1002は、ナビゲーション目的地の方位角情報及びコンテンツ情報に基づいて、空間音データを生成し、生成された空間音データは、空間音が再生されることを示し、空間音に対応する音源の再生位置は、ナビゲーション目的地の方位角情報と合致しており、言い換えれば、ユーザは、聞こえる空間音の音源の再生位置に基づいて、正しい進行方向を決定し得る。このようにして、より直感的な再生方式が提供され、ユーザは、ユーザの進行方向が正しいかどうかを確認するために、マップを頻繁に開く必要がない。動作が簡単であり、したがって、ナビゲーション・プロセスの効率が改善される。追加的に、空間オブジェクトが別のタイプのオブジェクトである場合、より直感的で効率的なデータ提示方式が提供される。
実装では、空間音データは、方位角情報及びコンテンツ情報を含むか、又は空間音データは、方位角情報及びコンテンツ情報に基づいて生成された少なくとも2つのモノフォニック信号を含み、少なくとも2つのモノフォニック信号は、空間音を生成するために、2つのモノフォニック信号に対応する音電気エネルギー変換モジュールによって同時に再生される。
可能な設計では、生成モジュール1002は、具体的には、空間オブジェクト情報及びデータ生成装置の位置又は姿勢のうちの少なくとも1つに基づいて、方位角情報を生成するように構成されている。具体的な実装については、図8に対応する実施形態におけるステップ802の説明を参照のこと。
本出願の本実施形態では、生成モジュール1002は、姿勢及び空間オブジェクト情報に基づいて、方位角情報を生成し、最終的にユーザによって聞こえた空間音の音源の位置が、端末デバイスに対する空間オブジェクトの方位角情報と合致し、空間音の精度を改善するようにする。
可能な設計では、取得モジュール1001は、具体的には、空間オブジェクト情報を受信するように構成されている。具体的な実施形態については、図8に対応する実施形態のステップ801の説明を参照するか、ネットワーク側又は端末側に記憶された地図データを使用することによって、歩行ナビゲーション・シナリオ、車内ナビゲーション・シナリオ、及び周囲の空間オブジェクトを説明するシナリオの説明を参照のこと。代替的には、取得モジュール1001は、具体的には、センサを使用することによって空間オブジェクト情報を収集するように構成されている。具体的な実装については、図8に対応する実施形態におけるステップ801の説明を参照するか、又はセンサを使用することによって周囲の空間オブジェクトを検知及び記載するシナリオの説明を参照のこと。
本出願の本実施形態では、生成モジュール1002は、本解決策において提供されるデータ提示方式を複数のアプリケーション・シナリオに適用し得、本解決策のアプリケーション・シナリオが拡張される。これにより、本解決策の実装の柔軟性が改善される。
可能な設計では、取得モジュール1001は、具体的には、アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信すること、アプリケーション・プログラムによって生成されたインターフェース・データを受信すること、又はネットワーク側若しくは端末側に記憶された地図データの受信することの3つの方式のうちの少なくとも1つで空間オブジェクト情報を受信するように構成されている。具体的な実装については、図8に対応する実施形態におけるステップ801の説明を参照のこと。
可能な設計では、センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。
可能な設計では、生成モジュール1002は、具体的には、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。具体的な実装については、図8に対応する実施形態におけるステップ03~05の説明を参照のこと。
本出願の本実施形態では、生成モジュール1002が空間音データを生成する前に、空間オブジェクト情報が予めセットされた条件を満たすかどうかが決定され、決定結果が予めセットされた条件が満たされることであるときにのみ、空間オブジェクト情報に基づいて、空間音データが生成される、すなわち、空間オブジェクト情報がフィルタリングされる。このように、予めセットされた条件を満たさない空間オブジェクト情報によって生じるコンピュータ・リソースの浪費が回避され、ユーザへの過度の妨害が回避されて、それによって、本解決策のユーザ粘度を改善する。
可能な設計では、生成モジュール1002は、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム上げ指示情報を生成するようにさらに構成されている。ボリューム上げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを上げることを示すために使用される。具体的な実装については、図8に対応する実施形態におけるステップ803及び804の説明を参照のこと。
本出願の本実施形態では、生成モジュール1002は、予めセットされたオブジェクト・コンテンツを有する空間オブジェクトに対して再生ボリュームを上げて、ユーザの注意を引き付け、ユーザが予めセットされたオブジェクト・コンテンツを有する空間オブジェクトを見失うことを防ぎ得る。このようにして、ナビゲーション・プロセスにおけるセキュリティが改善され、ユーザが関心のある空間オブジェクトを見失うことを防止することができ、それによって、本解決策のユーザ粘度を改善する。
可能な設計では、生成モジュール1002は、空間オブジェクト情報が予めセットされた条件を満たさない空間オブジェクト情報であると決定されるときに、ボリューム下げ指示情報を生成するようにさらに構成されている。ボリューム下げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを下げることを示すために使用される。具体的な実装については、図8に対応する実施形態におけるステップ803及び805の説明を参照のこと。
可能な設計では、予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。
可能な設計では、生成モジュール1002は、具体的には、方位角情報、コンテンツ情報、及びオーディオ再生装置の姿勢に基づいて、コンテンツ情報に対応するオーディオ・ストリーム・データに対してレンダリング動作を実行して、空間音データを生成するように構成されている。空間音データは、方位角情報及びコンテンツ情報に基づいて生成される少なくとも2つのモノフォニック信号を含む。具体的な実装については、図8に対応する実施形態におけるステップ806の説明を参照のこと。
可能な設計では、データ生成装置100は、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両のうちの少なくとも1つを含む。
可能な設計では、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、オーディオ再生装置は、空間音を再生するように構成されている。
本出願の本実施形態では、データ生成装置100は、具体的には、図1、図5又は図6に対応する実施形態における端末デバイス、図2~図4及び図7におけるデータ生成装置などであり得る。これは、本明細書において限定されるものではない。データ生成装置100内のモジュール/ユニットと実行プロセスとの間の情報交換等のコンテンツは、本願の実施形態における図1~図9に対応する方法の実施形態と同じ概念に基づくと留意されたい。特定のコンテンツについては、本出願の実施態様に示された前述の方法の実施態様の説明を参照のこと。詳細は、ここでは記載されない。データ生成装置100は、1つの装置又は2つの異なる装置であり得る。コンテンツ情報及び方位角情報を生成するステップが、一方の装置によって実行され、コンテンツ情報及び方位角情報に基づいて空間音データを生成するステップが、他方の装置で実行される。
本出願の実施形態において提供されるデータ生成装置は、以下に記載される。図11は、本出願の一実施形態によるデータ生成装置の構造の別の概略図である。データ生成装置1100は、具体的には、仮想現実VRデバイス、携帯電話、タブレット、ノートブック・コンピュータ、インテリジェント・ウェアラブル・デバイス、モニタリング・データ処理デバイス、レーダ・データ処理デバイスなどとして表され得る。これは、本明細書において限定されるものではない。図10に対応する実施形態に記載のデータ生成装置100は、図1~図9に対応する実施形態におけるデータ生成装置の機能を実装するために、データ生成装置1100上に展開され得る。具体的には、データ生成装置1100は、受信機1101と、送信機1102と、プロセッサ1103と、メモリ1104とを含む(データ生成装置1100は、1つ以上のプロセッサ1103を含み得、1つのプロセッサが、図11において例として使用されている)。プロセッサ1103は、アプリケーション・プロセッサ11031及び通信プロセッサ11032を含み得る。本出願の本実施形態のいくつかの実施形態では、受信機1101、送信機1102、プロセッサ1103、及びメモリ1104は、バスを使用することによってか、又は別の方式で接続され得る。
メモリ1104は、読み出し専用メモリ及びランダム・アクセス・メモリを含み、命令及びデータをプロセッサ1103に提供し得る。メモリ1104の一部は、不揮発性ランダム・アクセス・メモリ(non-volatile random access memory、NVRAM)をさらに含み得る。メモリ1104は、プロセッサ及び動作命令、実行可能モジュール、データ構造、それらのサブセット、又はそれらの拡張セットを記憶する。動作命令は、様々な動作を実装するための様々な動作命令を含み得る。
プロセッサ1103は、データ生成装置によって実行される動作を制御する。特定の用途では、データ生成装置の構成要素は、バス・システムを使用することによって互いに結合される。バス・システムは、データ・バスに加えて、電力バス、制御バス、及びステータス信号バスを含む。しかしながら、明確な説明のために、図中の様々なタイプのバスは、バス・システムと呼ばれる。
本出願の前述の実施形態において開示された方法は、プロセッサ1103に適用されてもよいし、プロセッサ1103によって実装されてもよい。プロセッサ1103は、集積回路チップであり得、信号処理能力を有する。実装プロセスでは、前述の方法の各ステップは、プロセッサ1103内のハードウェアの集積論理回路又はソフトウェアの形式の命令を使用することによって完了され得る。プロセッサ1103は、汎用プロセッサ、デジタル信号プロセッサ(digital signal processing、DSP)、マイクロプロセッサ、又はマイクロコントローラであってもよいし、さらに、特定用途向け集積回路(application-specific integrated circuit、ASIC)、フィールド・プログラマブル・ゲート・アレイ(field-programmable gate array、FPGA)又は別のプログラマブル論理デバイス、個別ゲート若しくはトランジスタ論理デバイス、又は個別ハードウェア構成要素を含んでもよい。プロセッサ1103は、本出願の実施形態において開示される方法、ステップ、及び論理ブロック図を実装又は実行し得る。汎用プロセッサは、マイクロプロセッサであってもよいし、プロセッサは、任意の従来のプロセッサなどであってもよい。本出願の実施形態を参照して開示された方法のステップは、ハードウェア復号プロセッサを使用することによって直接的に実行及び完了されてもよいし、復号化プロセッサ内のハードウェア及びソフトウェア・モジュールの組み合わせを使用することによって実行及び完了されてもよい。ソフトウェア・モジュールは、ランダム・アクセス・メモリ、フラッシュ・メモリ、リード・オンリー・メモリ、プログラマブル読み出し専用メモリ、電気的に消去可能なプログラマブル・メモリ、又はレジスタなど、当該技術分野における成熟した記憶媒体内に位置し得る。記憶媒体は、メモリ1104内に位置し、プロセッサ1103は、メモリ1104内の情報を読み出し、プロセッサのハードウェアと組み合わせて前述の方法のステップを完了する。
受信機1101は、入力されたデジタル又は文字情報を受信し、データ生成装置の関係セッティング及び機能制御に関係する信号入力を生成するように構成され得る。送信機1102は、第1のインターフェースを使用することによって、デジタル又は文字情報を出力するように構成され得る。送信機1102は、ディスク・グループ内のデータを修正するために、第1のインターフェースを使用することによって、ディスク・グループに命令を送信するようにさらに構成され得る。送信機1102は、ディスプレイなどのディスプレイ・デバイスをさらに含み得る。
本出願の本実施形態では、あるケースでは、プロセッサ1103は、図1~図9に対応する実施形態において、データ生成装置によって実行されるデータ生成方法を実行するように構成されている。具体的には、アプリケーション・プロセッサ11031は、空間オブジェクト情報を取得することであって、空間オブジェクト情報は、データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される、取得することと、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成することであって、方位角情報は、空間オブジェクト情報に示された空間オブジェクト情報のデータ生成装置に対する方位角を示すために使用され、コンテンツ情報は、空間オブジェクトを記述するために使用される、生成することと、方位角情報及びコンテンツ情報に基づいて、空間音データを生成することであって、空間音データは、空間音を再生するために使用され、空間音の音源の位置は、方位角情報に対応する、生成することと、を行うように構成されている。
可能な設計では、アプリケーション・プロセッサ11031は、具体的には、空間オブジェクト情報及びデータ生成装置の位置又は姿勢のうちの少なくとも1つに基づいて、方位角情報を生成するように構成されている。
可能な設計では、アプリケーション・プロセッサ11031は、具体的には、空間オブジェクト情報を受信すること、又はセンサを使用することによって空間オブジェクト情報を収集することと、を行うように構成されている。
可能な設計では、アプリケーション・プロセッサ11031は、具体的には、アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信すること、アプリケーション・プログラムによって生成されたインターフェース・データを受信すること、又はネットワーク側若しくは端末側に記憶された地図データの受信することの3つの方式のうちの少なくとも1つで空間オブジェクト情報を受信するように構成されている。
可能な設計では、センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む。
可能な設計では、アプリケーション・プロセッサ11031は、具体的には、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、空間オブジェクト情報に基づいて、コンテンツ情報及び方位角情報を生成するように構成されている。
可能な設計では、アプリケーション・プロセッサ11031は、空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム上げ指示情報を生成するようにさらに構成されている。ボリューム上げ指示情報は、予めセットされた条件を満たす空間オブジェクト情報に対応する空間音のボリュームを上げることを示すために使用される。
可能な設計では、予めセットされた条件を満たす空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である。
可能な設計では、オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、オーディオ再生装置は、空間音を再生するように構成されている。
アプリケーション・プロセッサ11031が戦術のステップを実行する具体的な方式は、本出願の実施形態における図1~図9に対応する方法の実施形態と同じ概念に基づいており、本出願の本実施形態においてもたらされる技術的効果は、本出願の実施形態における図1~図9に対応する方法の実施形態における技術的効果と同じであることに留意されたい。特定のコンテンツについては、本出願の実施態様に示された前述の方法の実施態様の説明を参照のこと。詳細は、ここでは記載されない。データ生成装置1100は、1つの装置又は2つの異なる装置であり得る。コンテンツ情報及び方位角情報を生成するステップが、一方の装置によって実行され、コンテンツ情報及び方位角情報に基づいて空間音データを生成するステップが、他方の装置で実行される。
本出願の一実施形態は、コンピュータ可読記憶媒体をさらに提供する。コンピュータ可読記憶媒体は、コンピュータ・プログラムを記憶する。コンピュータ・プログラムがコンピュータ上で動作するときに、コンピュータは、図1~図9に示す実施形態に記載の方法におけるデータ生成装置によって実行されるステップを実行することが可能となる。
本出願の一実施形態は、コンピュータ・プログラム製品をさらに提供する。コンピュータ・プログラム製品がコンピュータ上で動作するときに、コンピュータは、図1~図9に示す実施形態に記載の方法におけるデータ生成装置によって実行されるステップを実行することが可能となる。
本出願の一実施形態は、チップ・システムをさらに提供する。チップ・システムは、例えば、前述の方法におけるデータ及び/又はデータの送信又は処理など、前述の態様における機能を実装するようにネットワーク・デバイスをサポートするように構成されているプロセッサを含む。可能な設計では、チップ・システムは、メモリをさらに含む。メモリは、ネットワーク・デバイスに必要なプログラム命令及びデータを記憶するように構成されている。チップ・システムは、チップをさらに含んでもよいし、チップ及び別の個別デバイスを含んでもよい。
便利で簡単な説明のために、前述のシステム、装置、及びユニットの詳細な作業プロセスについては、前述の方法の実施形態における対応するプロセスを参照し、詳細は、ここでは再度記載されないことが当業者によって明らかに理解されよう。
本出願において提供されるいくつかの実施形態では、開示されたシステム、装置、及び方法は、他の方式で実装され得ると理解されたい。例えば、記載の装置の実施形態は単なる例に過ぎない。例えば、ユニットへの分割は、単に論理機能分割であり、実際の実装の際には他の分割であってもよい。例えば、複数のユニット又は構成要素を別のシステムに組み合わせたり、一体化したりしてもよいし、いくつかの特徴を無視したり、実行しなかったりしてもよい。追加的に、表示又は議論された相互結合、直接結合、又は通信接続は、いくつかのインターフェースを介して実装されてもよい。装置又はユニット間の間接的結合又は通信接続は、電子式、機械式、又は別の形式で実装され得る。
別個の部分として記載されるユニットは、物理に分離されていても、されていなくてもよく、ユニットとして表示される部分は、物理ユニットであっても、なくてもよく、すなわち、1つの位置に位置していてもよいし、複数のネットワーク・ユニットに分散されていてもよい。ユニットの一部又は全部は、実施形態における解決策の目的を達成するために実際の要件に基づいて選択され得る。
追加的に、本出願の実施形態における機能ユニットは、1つの処理ユニットに統合されてもよいし、ユニットの各々は、物理的に単独で存在してもよいし、又は2つ以上のユニットが1つのユニットに一体化される。一体化されたユニットは、ハードウェアの形態で実装されてもよいし、ソフトウェア機能ユニットの形態で実装されてもよい。
一体化されたユニットがソフトウェア機能ユニットの形態で実装され、独立した製品として販売又は使用されるときに、一体化されたユニットは、コンピュータ可読記憶媒体に記憶され得る。このような理解に基づいて、本出願の技術的解決策が、本質的にソフトウェア製品の形式で実装されてもよいし、従来技術に寄与する部分が、ソフトウェア製品の形式で実装されてもよいし、技術的解決策の一部が、ソフトウェア製品の形式で実装されてもよい。ソフトウェア製品は、記憶媒体に記憶され、コンピュータ・デバイス(パーソナル・コンピュータ、サーバ、又はネットワーク・デバイスであってもよい)に、本出願の実施形態で説明された方法のステップの全部又は一部を実行させるように指示するためのいくつかの命令を含む。前述の記憶媒体は、USBフラッシュ・ドライブ、リムーバブル・ハード・ディスク、読み出し専用メモリ(ROM、Read-Only Memory)、ランダム・アクセス・メモリ(RAM、Random Access Memory)、磁気ディスク、又は光ディスクなど、プログラム・コードを記憶することができる任意の媒体を含む。
最後に、前述の実施形態は、本出願を限定するのではなく、本出願の技術的解決策を記載することを単に意図しているに過ぎないと留意されたい。本出願は、前述の実施形態を参照して詳細に記載されているが、当業者であれば、本出願の実施形態の技術的解決策の範囲から逸脱することなく、前述の実施形態に記載の技術的解決策に修正することか、又はその技術的特徴のいくつかを同等のものに置換することを依然として行ってもよいと理解すべきである。

Claims (24)

  1. データ生成方法であって、前記方法は、データ生成装置に適用され、前記方法は、
    空間オブジェクト情報を取得することであって、前記空間オブジェクト情報は、前記データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される、取得することと、
    前記空間オブジェクト情報に基づいて、コンテンツ情報及び前記方位角情報を生成することであって、前記方位角情報は、前記空間オブジェクト情報に示された前記空間オブジェクトの前記データ生成装置に対する方位角を示すために使用され、前記コンテンツ情報は、前記空間オブジェクトを記述するために使用される、生成することと、
    前記方位角情報及び前記コンテンツ情報に基づいて、空間音データを生成することであって、前記空間音データは、空間音を再生するために使用され、前記空間音の音源の位置が前記方位角情報に対応する、生成することと、を含む、方法。
  2. 前記空間オブジェクト情報に基づいて、前記方位角情報を生成することは、
    前記空間オブジェクト情報及び前記データ生成装置の位置又は姿勢のうちの少なくとも1つに基づいて、前記方位角情報を生成することを含む、請求項1に記載の方法。
  3. 前記空間オブジェクト情報を取得することは、
    前記空間オブジェクト情報を受信すること、又はセンサを使用することによって前記空間オブジェクト情報を収集することを含む、請求項1又は2に記載の方法。
  4. 前記空間オブジェクト情報を受信することは、
    アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信すること、
    アプリケーション・プログラムによって生成されたインターフェース・データを受信すること、又は
    ネットワーク側若しくは端末側に記憶された地図データの受信することの3つの方式のうちの少なくとも1つで前記空間オブジェクト情報を受信することを含む、請求項3に記載の方法。
  5. 前記センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む、請求項3に記載の方法。
  6. 前記空間オブジェクト情報に基づいて、コンテンツ情報及び前記方位角情報を生成することは、
    前記空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定するときに、前記空間オブジェクト情報に基づいて、前記コンテンツ情報及び前記方位角情報を生成することを含む、請求項1~5のいずれか一項に記載の方法。
  7. 前記方法は、
    前記空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定するときに、ボリューム上げ表示情報を生成することであって、前記ボリューム上げ指示情報は、前記予めセットされた条件を満たす前記空間オブジェクト情報に対応する空間音のボリュームを上げるために使用される、生成することをさらに含む、請求項1~5のいずれか一項に記載の方法。
  8. 前記予めセットされた条件を満たす前記空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である、請求項6又は7に記載の方法。
  9. オーディオ再生装置がデュアルチャネル・ヘッドセットであるときに、前記予めセットされた空間方向は、デュアルチャネル・ヘッドセットを装着しているユーザの顔の向きであり、前記オーディオ再生装置は、前記空間音を再生するように構成されている、請求項8に記載の方法。
  10. データ生成装置であって、
    空間オブジェクト情報を取得するように構成されている取得モジュールであって、前記空間オブジェクト情報は、前記データ生成装置に対する空間オブジェクトの方位角情報を取得するために使用される、取得モジュールと、
    前記空間オブジェクト情報に基づいて、コンテンツ情報及び前記方位角情報を生成するように構成されている生成モジュールであって、前記方位角情報は、前記空間オブジェクト情報に示された前記空間オブジェクトの前記データ生成装置に対する方位角を示すために使用され、前記コンテンツ情報は、前記空間オブジェクトを記述するために使用される、生成モジュールと、を含み、
    前記生成モジュールは、前記方位角情報及び前記コンテンツ情報に基づいて、空間音データを生成するようにさらに構成されており、前記空間音データは、空間音を再生するために使用され、前記空間音の音源の位置が前記方位角情報に対応する、装置。
  11. 前記生成モジュールは、具体的には、前記空間オブジェクト情報及び前記端末デバイスの位置又は姿勢のうちの少なくとも1つに基づいて、前記方位角情報を生成するように構成されている、請求項10に記載の装置。
  12. 前記取得モジュールは、具体的には、前記空間オブジェクト情報を受信すること、又はセンサを使用することによって前記空間オブジェクト情報を収集することを行うように構成されている、請求項10又は11に記載の装置。
  13. 前記取得モジュールは、具体的には、
    アプリケーション・プログラムによって生成されたオーディオ・ストリーム・データを受信すること、
    アプリケーション・プログラムによって生成されたインターフェース・データを受信すること、又は
    ネットワーク側若しくは端末側に記憶された地図データの受信することの3つの方式のうちの少なくとも1つで前記空間オブジェクト情報を受信するように構成されている、請求項12に記載の装置。
  14. 前記センサは、感光センサ、音センサ、イメージ・センサ、赤外線センサ、感熱センサ、圧力センサ、又は慣性センサのうちの少なくとも1つを含む、請求項12に記載の装置。
  15. 前記生成モジュールは、具体的には、前記空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、前記空間オブジェクト情報に基づいて、前記コンテンツ情報及び前記方位角情報を生成するように構成されている、請求項10~14のいずれか一項に記載の装置。
  16. 前記生成モジュールは、前記空間オブジェクト情報が予めセットされた条件を満たす空間オブジェクト情報であると決定されるときに、ボリューム上げ表示情報を生成することであって、前記ボリューム上げ指示情報は、前記予めセットされた条件を満たす前記空間オブジェクト情報に対応する空間音のボリュームを上げるために使用される、生成することをさらに行うように構成されている、請求項10~14のいずれか一項に記載の装置。
  17. 前記予めセットされた条件を満たす前記空間オブジェクト情報は、予めセットされた空間位置領域、予めセットされた空間方向、又は予めセットされたオブジェクト・コンテンツを含む空間オブジェクト情報である、請求項15又は16に記載の装置。
  18. 前記データ生成装置は、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両のうちの少なくとも1つを含む、請求項10~17のいずれか一項に記載の装置。
  19. メモリと、プロセッサと、を含むデータ生成装置であって、前記メモリは、コンピュータ・プログラム命令を記憶し、前記プロセッサは、請求項1~9のいずれか一項に記載の動作を実行するために前記コンピュータ・プログラム命令を動作させる、装置。
  20. 前記装置は、空間オブジェクト情報を受信するように構成されているトランシーバをさらに含む、請求項19に記載の装置。
  21. 前記装置は、空間オブジェクト情報を収集するように構成されているセンサをさらに含む、請求項19に記載の装置。
  22. 前記データ生成装置は、ヘッドセット、携帯電話、ポータブル・コンピュータ、ナビゲータ、又は車両のうちの少なくとも1つを含む、請求項19~21のいずれか一項に記載の装置。
  23. コンピュータ命令を記憶するコンピュータ可読記憶媒体であって、前記コンピュータ命令がプロセッサによって動作されるときに、データ生成装置が、請求項1~9のいずれか一項に記載の方法を実行することが可能となる、コンピュータ可読記憶媒体。
  24. コンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品がコンピュータ上で動作されるときに、データ生成装置が、請求項1~9のいずれか一項に記載の方法を実行することが可能となる、コンピュータ・プログラム製品。
JP2022539102A 2019-12-27 2019-12-27 情報生成方法及び装置 Pending JP2023508418A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/129214 WO2021128287A1 (zh) 2019-12-27 2019-12-27 一种数据生成方法及装置

Publications (1)

Publication Number Publication Date
JP2023508418A true JP2023508418A (ja) 2023-03-02

Family

ID=76573503

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022539102A Pending JP2023508418A (ja) 2019-12-27 2019-12-27 情報生成方法及び装置

Country Status (6)

Country Link
US (1) US20220322009A1 (ja)
EP (1) EP4060522A4 (ja)
JP (1) JP2023508418A (ja)
KR (1) KR20220111715A (ja)
CN (1) CN114787799A (ja)
WO (1) WO2021128287A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8170222B2 (en) * 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
JP2013013042A (ja) * 2011-06-02 2013-01-17 Denso Corp 立体音響装置
EP2669634A1 (en) * 2012-05-30 2013-12-04 GN Store Nord A/S A personal navigation system with a hearing device
CN111148969B (zh) * 2017-09-27 2023-09-29 苹果公司 空间音频导航
CN110134824B (zh) * 2018-02-09 2021-11-02 驭势(上海)汽车科技有限公司 呈现地理位置信息的方法、装置及系统
CN110139205B (zh) * 2018-02-09 2021-11-02 驭势(上海)汽车科技有限公司 用于辅助信息呈现的方法及装置
CN109960764A (zh) * 2019-04-01 2019-07-02 星觅(上海)科技有限公司 行车信息提示方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN114787799A (zh) 2022-07-22
KR20220111715A (ko) 2022-08-09
US20220322009A1 (en) 2022-10-06
EP4060522A1 (en) 2022-09-21
WO2021128287A1 (zh) 2021-07-01
EP4060522A4 (en) 2022-12-14

Similar Documents

Publication Publication Date Title
US11240624B2 (en) Information processing apparatus, information processing method, and program
CN107111473B (zh) 用于促进用户与其环境之间的交互的用户界面功能
JP6944970B2 (ja) 位置更新方法、位置及びナビゲーション経路の表示方法、車両並びにシステム
JP6923441B2 (ja) 注目点情報を提供する方法および装置
JP6782236B2 (ja) 注目点情報を提供する方法および装置
KR101766036B1 (ko) 내비게이션 시스템에서 관심 집적점을 위한 장치, 시스템 및 방법
US9464912B1 (en) Binaural navigation cues
US11343613B2 (en) Prioritizing delivery of location-based personal audio
US10225392B2 (en) Allocation of head unit resources to a portable device in an automotive environment
US9847024B2 (en) Methods and systems for providing a traffic congestion warning
KR20160132075A (ko) 전자 지도 데이터를 이용한 경로들 재구축
US20140221017A1 (en) Geographical point of interest filtering and selecting method; and system
JP6475337B2 (ja) 音声ナビゲーション装置および音声ナビゲーションプログラム
EP4113961A1 (en) Voice call method and apparatus, electronic device, and computer readable storage medium
JP2017138277A (ja) 音声ナビゲーションシステム
US20220322009A1 (en) Data generation method and apparatus
CN110134824B (zh) 呈现地理位置信息的方法、装置及系统
EP2735845A1 (en) Personal guide system providing spoken information on an address based on a line of interest of a user
CN116017265A (zh) 音频处理方法、电子设备、可穿戴设备、车辆及存储介质
CN115373625A (zh) 便携式电子配件系统的音频操作系统及相关系统、方法和设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240319