JP6795611B2 - 音声提供装置、音声再生装置、音声提供方法及び音声再生方法 - Google Patents

音声提供装置、音声再生装置、音声提供方法及び音声再生方法 Download PDF

Info

Publication number
JP6795611B2
JP6795611B2 JP2018550237A JP2018550237A JP6795611B2 JP 6795611 B2 JP6795611 B2 JP 6795611B2 JP 2018550237 A JP2018550237 A JP 2018550237A JP 2018550237 A JP2018550237 A JP 2018550237A JP 6795611 B2 JP6795611 B2 JP 6795611B2
Authority
JP
Japan
Prior art keywords
user
voice
providing
facing
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018550237A
Other languages
English (en)
Other versions
JPWO2018088450A1 (ja
Inventor
旬 臼井
旬 臼井
多田 幸生
幸生 多田
貴裕 浅野
貴裕 浅野
徹 上和田
徹 上和田
弘樹 内田
弘樹 内田
幸実 横山
幸実 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Yamaha Corp
Original Assignee
Fujitsu Ltd
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd, Yamaha Corp filed Critical Fujitsu Ltd
Publication of JPWO2018088450A1 publication Critical patent/JPWO2018088450A1/ja
Application granted granted Critical
Publication of JP6795611B2 publication Critical patent/JP6795611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09FDISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F25/00Audible advertising
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/02Synthesis of acoustic waves
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/487Arrangements for providing information services, e.g. recorded voice services or time announcements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/003Digital PA systems using, e.g. LAN or internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2227/00Details of public address [PA] systems covered by H04R27/00 but not provided for in any of its subgroups
    • H04R2227/005Audio distribution systems for home, i.e. multi-room use
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Circuit For Audible Band Transducer (AREA)

Description

本発明は、ユーザに音声を提供する技術に関する。
ユーザに対してそのユーザの位置に応じた情報を提供する技術が知られている。例えば特許文献1には、施設や商店の広告を移動端末に配信する際に、その施設や商店と移動端末との距離に応じて、配信する情報を切り替えることが開示されている。
日本国特開2001−238266号公報
これに対し、本発明は、ユーザの位置及び方向と音声とを関連付けた情報提供の仕組みを実現することを目的とする。
上記課題を解決するため、本発明は、ユーザの位置と当該ユーザが向いている方向とを取得する取得手段と、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声を前記ユーザに提供する提供手段と、を備えた音声提供装置を提供する。
また、本発明は、ユーザの位置と当該ユーザが向いている方向とを検出する検出手段と、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声データを取得する取得手段と、前記音声データを再生する再生手段と、を備えた音声再生装置を提供する。
また、本発明は、ユーザの位置と当該ユーザが向いている方向とを取得するステップと、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声を前記ユーザに提供するステップと、を備えた音声提供方法を提供する。
また、本発明は、ユーザの位置と当該ユーザが向いている方向とを検出するステップと、検出されたユーザの位置を基準として検出された方向に存在するエリアに応じた音声データを取得するステップと、取得された音声データを再生するステップとを備えた音声再生方法を提供する。
本発明によれば、ユーザの位置及び方向と音声とを関連付けた情報提供の仕組みを実現することができる。
図1は、本発明の一実施形態に係る音声提供システムの全体構成を示す図である。 図2は、音声提供システムにおけるユーザ端末のハードウェア構成を示すブロック図である。 図3は、音声提供システムにおけるサーバ装置のハードウェア構成を示すブロック図である。 図4は、サーバ装置が記憶しているユーザ管理テーブルの一例を示す図である。 図5は、サーバ装置が記憶しているエリア管理テーブルの一例を示す図である。 図6は、音声提供システムにおける各装置の機能構成を示すブロック図である。 図7は、音声提供システムの動作の一例を示すシーケンス図である。 図8は、ユーザの位置及び方向と、音声が対応付けられたエリアとの関係を示す模式図である。
図1は、本発明の一実施形態である音声提供システムの全体構成を示す図である。この音声提供システムにおいては、例えば商業店舗、遊戯施設、アミューズメント施設、公共施設又はイベント会場などの人工的な施設があるエリアや、例えば海、川、山などの自然環境があるエリアなど、予め決められた複数のエリアのそれぞれに対し、そのエリアに特徴的な音声が対応付けられている。エリアに特徴的な音声とは、例えば商業店舗であればその商業店舗のバックグラウンドミュージックやコマーシャルソングであり、映画館であれば上映中の映画の音声やその映画の説明ナレーションであり、遊園地であれば園内の利用客の歓声やその遊園地のテーマソングであり、海であれば波の音や海をイメージさせるような楽曲であり、川であればせせらぎや滝の音であり、山であれば鳥のさえずりや虫の鳴き声である。そして、この音声提供システムにおいて、ユーザの位置を基準としてそのユーザの顔が向いている方向(つまりユーザの視線方向)に存在するエリアに対応する音声がそのユーザに提供される。ユーザは提供される音声を聴くことで、自身の向いている方向にどのようなエリアがあるかを音声のイメージ(印象)で把握することができる。
図1に示すように、音声提供システムは、ユーザに音声を提供するサーバ装置100と、ユーザが使用するユーザ端末200とを備える。サーバ装置100及びユーザ端末200はネットワーク900を介して通信可能に接続されている。ネットワーク900は、単独の通信ネットワークに限らず、通信方式が異なる複数の通信ネットワークを相互接続したものであってもよく、例えばインターネットや移動通信網等の有線又は無線の通信ネットワークである。図1には、サーバ装置100及びユーザ端末200を1つずつ示しているが、これらはそれぞれ複数であってもよい。
図2は、ユーザ端末200のハードウェア構成を示すブロック図である。ユーザ端末200は、例えばスマートホンやタブレット或いは各種のウェアラブル端末などの通信可能なコンピュータである。ユーザ端末200は、例えばCPU(Central Processing Unit)などの演算処理装置とROM(Read Only Memory)及びRAM(Random Access Memory)などの記憶装置とを備えた制御部21と、例えばアンテナや通信回路を含みネットワーク900を介して通信を行う通信部22と、例えばEEPROM(Electronically Erasable and Programmable ROM)やフラッシュメモリなどの記憶部23と、例えばスピーカ又はイヤホン用端子やアンプなどを含み音声データを再生して音声出力を行う再生部24と、例えば方位センサやジャイロセンサなどを含みユーザ端末200が向いている方向(ここではユーザ端末200の向きをユーザが向いている方向とみなす)を検出する方向検出部25と、例えばGPS(Global Positioning System)によって測位を行う測位部26と、例えばキーやタッチセンサなどの操作子が設けられた操作部及び例えば液晶パネルや液晶駆動回路などの表示部を含むUI(User Interface)部27とを備えている。
図3は、サーバ装置100のハードウェア構成を示すブロック図である。サーバ装置100は例えばサーバマシンなどのコンピュータであり、制御部11と、通信部12と、記憶部13とを備えている。制御部11は、CPU等の演算装置と、ROM及びRAMなどの記憶装置とを備えている。CPUは、RAMをワークエリアとして用いてROMや記憶部13に記憶されたプログラムを実行することによって、サーバ装置100の各部の動作を制御する。通信部12はネットワーク900に接続されており、ネットワーク900を介して通信を行う。記憶部13は、例えばハードディスク等の記憶装置であり、制御部11が用いるデータ群やプログラム群を記憶している。具体的には、記憶部13は、様々な音声を示す音声データを含む音声データベース(以下、データベースをDBと称す)と、ユーザに関する情報が記述されたユーザ管理テーブルと、エリアに関する情報が記述されたエリア管理テーブルとを記憶している。
図4に示すように、ユーザ管理テーブルにおいては、各ユーザを識別する識別情報であるユーザIDと、そのユーザの属性群(例えばユーザの性別、年齢、興味など)とが対応付けられている。ユーザの属性群はそのユーザによって事前に登録又は申告されたものである。
図5に示すように、エリア管理テーブルにおいては、各エリアを識別する識別情報であるエリアIDと、そのエリアの位置を示す位置情報と、そのエリアの属性と、そのエリアに対応する音声データを識別する識別情報である音声IDとが対応付けられている。各エリアには或る程度の広がりがあるため、エリアの位置はそのエリア全体の範囲を示している。エリアの属性は、そのエリアを特徴づける情報であり、エリアに対応する音声とユーザとのマッチングに用いられる。音声IDは、例えば、音声データベースに含まれる各音声データのファイル名である。
図6は、ユーザ端末200及びサーバ装置100の機能構成を示す図である。ユーザ端末200の検出部201は、ユーザの位置とそのユーザが向いている方向とを検出する。ユーザ端末200の通知部202は、検出部201によって検出されたユーザの位置とそのユーザが向いている方向とをサーバ装置100に通知する。
サーバ装置100の取得部101は、ユーザ端末200の通知部202から通知された、ユーザの位置とそのユーザが向いている方向とを取得する。サーバ装置100の記憶部102は、音声を示す音声データとエリアとを対応付けて記憶している。サーバ装置100の提供部103は、取得部101により取得されたユーザの位置を基準として、取得部101により取得された方向に存在するエリアに応じた音声データをユーザに提供する。より具体的には、提供部103は、複数のエリアのうちユーザの位置を基準としてユーザが向いている方向に存在するエリアを抽出し、そのエリアに対応付けられた音声データを記憶部102から読み出してユーザ端末200に提供する。さらに、提供部103は、ユーザの属性を取得し、抽出したエリア群に応じた各音声データのうち、取得した属性に応じた音声データをユーザ端末200に提供する。このとき、提供部103は、ユーザの位置と上記エリアとの距離に応じた音量の制御された音声データをユーザ端末200に提供する。
ユーザ端末200の再生部203は、サーバ装置100から提供された音声データを再生して音声を出力する。ユーザはユーザ端末200から再生される音声を聴く。
上述したユーザ端末200の検出部201は図2に示した方向検出部25及び測位部26によって実現され、通知部202は図2に示した通信部22によって実現され、再生部203は図2に示した再生部24によって実現される。サーバ装置100の取得部101は図3に示した通信部12によって実現され、記憶部102は図3に示した記憶部13によって実現され、提供部103は図3に示した制御部11及び通信部12によって実現される。
[動作]
次に、図7を参照して本実施形態の動作を説明する。まずユーザは或る方向に対してユーザ端末200を向けて、その方向にあるエリアの音声を取得することを指示する操作を行う。ここで、或る方向とは、例えばユーザから直接見える商業店舗などのエリアがある方向であってもよいし、また、ユーザからは具体的なエリアが直接見えない状態で、ユーザが方向を意識せずにユーザ端末200を向けた方向であってもよい。ユーザ端末200の検出部201はこの取得操作を受け付けると(ステップS11)、ユーザの位置と当該ユーザが向いている方向とを検出する(ステップS12)。前述したように、ここでいうユーザの位置はユーザ端末200の位置であり、ユーザが向いている方向はユーザ端末200が向いている方向である。そして、通知部202は、ユーザの位置及び当該ユーザが向いている方向を、ユーザIDとともにサーバ装置100に通知する(ステップS13)。このユーザIDは記憶部23に予め記憶されたものであってもよいし、ユーザがこの音声提供サービスにログインするときにユーザ端末200に入力したものであってもよい。
サーバ装置100の取得部101は、ユーザ端末200の通知部202から通知された、ユーザの位置、ユーザが向いている方向及びユーザIDを取得する。提供部103は、エリア管理テーブルにおける各エリアの位置を参照し、取得されたユーザの位置を基準として取得された方向に存在するエリアを、候補エリア群として抽出する(ステップS14)。具体的には、図8に例示するように、ユーザが位置Pにおいて方向Dを向いているとき、その方向Dを示す半直線を中心として所定の角度の範囲(図においては半直線D1及び半直線D2に挟まれた範囲)と少なくとも一部が重なるエリア、ここではエリアAR010、AR014、AR016が抽出される。
次に、提供部103は、エリアの属性及びユーザの属性に基づいて、抽出した候補エリア群のうちのいずれかのエリアに対応する音声を選択する(ステップS15)。具体的には、まず、提供部103は、エリア管理テーブルを参照し、抽出した候補エリア群の各エリアIDに対応付けられた属性を読み出す。次に、提供部103は、エリア管理テーブルを参照し、ステップS13にて取得したユーザIDに対応付けられたユーザの属性群を読み出す。そして、提供部103は、候補エリア群の各属性とユーザの属性とを比較して相互の関連度を算出し、ユーザの属性と最も高い関連度の属性を備えたエリアを特定する。例えば図4,5の例では、ユーザIDU0001のユーザはロックミュージックに興味があるので、候補エリア群に、ロックコンサートという属性のエリアIDA000003のエリアが含まれていれば、このエリアが特定されることになる。ここで用いる関連度の算出アルゴリズムは周知のものを用いればよい。そして、提供部103は、エリア管理テーブルを参照し、特定したエリアのエリアIDに対応する音声IDの音声データを選択する。
さらに、提供部103は、エリアの位置及びユーザの位置の間の距離を算出し、音声データをその距離に応じた音量に設定する(ステップS16)。例えば、提供部103は、音声データに含まれる音量パラメータについて、エリアの位置及びユーザの位置の間の距離が大きいと音量を小さくし、エリアの位置及びユーザの位置の間の距離が小さいと音量を大きくするという設定を行う。
提供部103は、音量パラメータを設定した音声データを記憶部102から読み出してユーザ端末200に対してネットワーク900を介して送信する(ステップS17)。
ユーザ端末200の再生部203は、提供部103から送信されてくる音声データを取得し、この音声データに設定されている音量パラメータに従い音声再生を行う(ステップS18)。これにより、ユーザは自身が向いている方向にどのようなものがあるかを音声のイメージで知ることができ、さらに、音量の大小でそのエリアまでの距離を感覚的に知ることができる。
以上説明した実施形態によれば、ユーザの位置及び方向と音声とを関連付けた新たな情報提供の仕組みを実現することができる。また、ユーザは、自身が向いた方向に存在するエリアに特徴的な音声を聴くことによって、そのエリアのイメージを把握することができる。一方、エリアの音声を用意する側(例えば商業店舗の運営者)にとっては、ユーザに提供する音声によってそのユーザを商業店舗等に呼び込むという集客効果を期待することができる。
[変形例]
上述した実施形態は次のような変形が可能である。また、以下の変形例を互いに組み合わせて実施してもよい。
[変形例1]
実施形態においては、個々のユーザが使用するユーザ端末200に音声データを送信することでそのユーザに音声を提供していたが、例えば各エリア内又はその近傍に設置されたスピーカ等の放音手段によってユーザに音声を提供してもよい。具体的には、各エリアにおいて、音声提供システムは、ユーザの位置とそのユーザが向いている方向とを検出することでこれらを取得する取得部と、取得されたユーザの位置を基準として検出された方向にあるエリアに応じた音声をユーザに提供する提供部という機能を実装する。取得部は、例えば撮像装置と画像処理装置とで実現される。画像処理装置は、撮像装置によって撮像されたユーザの画像を解析し、その画像処理装置自身とユーザとの位置関係からユーザの位置を推定し、さらに、ユーザの顔の向きを画像認識により推定して、ユーザが該当するエリアのほうを向いているか否かを判断する。提供部は、該当するエリア又はその近傍に設置されたスピーカ等の放音手段によって実現され、ユーザが該当するエリアの方向を向いていると判断されると音声を放音する。この場合、提供部を実現する放音手段として指向性スピーカ等を用いることで、主に対象とするユーザに対してのみ音声を提供することが望ましい。
これにより、例えば音声提供装置が店舗の商業店頭に設置され、店外のユーザがその商業店舗が存在する方向を見たときに、音声提供装置はそのユーザに対して商業店舗に関する音声を放音することが可能となる。ユーザは、自身が向いた方向に存在する商業店舗に関する特徴的な音声を聴くことによって、その商業店舗の特徴を把握することができ、商業店舗の運営者は集客効果を期待することができる。
[変形例2]
ユーザに提供される音声は記憶部102に予め記憶されているものに限らず、各エリアにおいて放音又は収音されている音声であってもよい。例えば、商業店舗であればその商業店舗で放音されているバックグラウンドミュージックであってもよいし、映画館であれば実際に上映中の映画の音声が放音されてもよいし、遊園地であればリアルタイムに収音した利用客の歓声や園内のアナウンスであってもよいし、川であればリアルタイムに収音したせせらぎ音などであってもよい。
[変形例3]
実施形態において、提供部103は、エリアの属性及びユーザの属性に基づいて、抽出した候補エリア群のうちのいずれかのエリアに対応する音声を選択していたが、音声を選択する方法はこれに限らない。例えば提供部103は、ユーザによって指定された位置の範囲を取得し、ユーザの位置を基準としたユーザが向いている方向に存在するエリアに応じた音声群のうち、取得した位置の範囲にあるエリアに応じた音声を選択してもよい。具体的には、ユーザは図7のステップS11において又は予め、自身の位置とエリアとの位置との間の距離を所定の範囲、例えば0m〜200mに指定しておく。提供部103は、ステップS15において、抽出した候補エリア群のうち、上記の範囲に収まるエリアを特定し、そのエリアのエリアIDに対応する音声IDの音声データを選択する。なお、ユーザが指定する内容は、上記のようなユーザの位置とエリアの位置との間の距離の範囲に限らず、例えば、公共交通機関の駅・停留所からエリアまでの距離の範囲を指定するものなど、何らかの基準となる位置とエリアの位置との間の距離の範囲であってもよい。さらに、ユーザが指定する内容は、エリアの属性を指定するものであってもよいし、エリアの位置を直接指定するものであってもよい。なお、上記のようなユーザの指定は、例えば各種の指定内容をリスト化したメニュー或いは地図上で指定するものであってもよい。
また、提供部103は、候補エリア群のうちのいずれかのエリアに対応する音声を選択するときに1つの音声を選択するのではなく、複数のエリアに対応する音声を選択してもよい。この場合、例えば、ユーザの位置と各エリアの位置との間の距離に応じてそれぞれの音声の音量を制御してもよい。例えば、提供部103は、音声データに含まれる音量パラメータについて、エリアの位置及びユーザの位置の間の距離が大きいと音量を小さくし、エリアの位置及びユーザの位置の間の距離が小さいと音量を大きくするという設定を行う。
[変形例4]
実施形態において、提供部103は、エリアの位置及びユーザの位置の間の距離に基づいて音声データの音量を制御していたが、音量を制御する方法はこれに限らない。例えば提供部103は、ユーザの位置を基準としたユーザの向いている方向とエリアとの一致度に応じた音量の音声を前記ユーザに提供するようにしてもよい。具体的には、図8の例の場合、ユーザの向いている方向Dを示す半直線を中心とした所定の角度の範囲(図においては半直線D1及び半直線D2に挟まれた範囲)と、各エリアとが重なる領域の大きさに基づいて音声データの音量を制御する。例えば、提供部103は、音声データに含まれる音量パラメータについて、重なる領域が大きいと音量を大きくし、重なる領域が小さいと音量を小さくするという設定を行う。ここでいう、重なる領域の大きさは、その領域の面積の絶対値であってもよいし、そのエリア全体の面積を分母とし重なる領域の面積を分子とした分数の値であってもよい。
以上のように、提供部103は、ユーザとエリアとの位置関係(両者の位置間の距離や、両者の位置に基づく一致度)に応じた音量の音声をユーザに提供する。
さらに、音声データの音量のみならず、音声データの音色やエフェクトなど、エリア及びユーザの位置関係に基づいて、音声データにおける音響的なパラメータを変化させる音響処理を施すというものでもよい。例えばエリア及びユーザ間の距離に応じてイコライザで低音域を低減させたり(例えば距離が遠いと低い音の成分のみ小さくするなど)とか、エリア及びユーザ間の距離に応じてディレイやリバーブといったエフェクトの強度を異ならせる(例えば距離が遠いとリバーブの強度を高くするなど)ようにしてもよい。
また、例えば提供部103は、ユーザの属性とエリアの属性との関連度に応じた音量の音声をユーザに提供するようにしてもよい。具体的には、提供部103は、エリア管理テーブルを参照し、抽出した候補エリア群の各エリアIDに対応付けられた属性を読み出す。次に、提供部103は、エリア管理テーブルを参照し、ステップS13にて取得したユーザIDに対応付けられたユーザの属性群を読み出す。そして、提供部103は、候補エリア群の各属性とユーザの属性とを比較して相互の関連度を算出し、その関連度の大きさに基づいて音声データの音量を制御する。例えば、提供部103は、音声データに含まれる音量パラメータについて、関連度が大きいと音量を大きくし、関連度が小さいと音量を小さくするという設定を行う。
ここにおいても、ユーザとエリアとの位置関係に応じて音響処理を施したのと同様に、提供部103は、ユーザの属性とエリアの属性との関連度に応じた音響処理を施した音声をユーザに提供するようにしてもよい。つまり、例えばユーザの属性とエリアの属性との関連度に応じてイコライザで低音域を低減させたり(例えば関連度が小さいと低い音の成分のみ小さくするなど)とか、ユーザの属性とエリアの属性との関連度に応じてディレイやリバーブといったエフェクトの強度を異ならせる(例えば関連度が小さいとリバーブの強度を高くするなど)ようにしてもよい。
[変形例5]
提供部103は、ユーザの向いている方向が変化すると、その変化に応じて連続的に音声を変えながら提供するようにしてもよい。例えばユーザが首を回して自身が向いている方向を変えると、それぞれの方向に応じた音声が連続的に変化しながら放音される。また、ユーザの向いている方向の変化率に応じて音声を提供するようにしてもよい。これにより、例えば、音声提供装置が商業店舗の店頭に設置され、店外のユーザがその商業店舗の方を見たあとにそのほかの商業店舗を見るなどユーザの向いている方向が変わったタイミングや、歩き始めて向く方向が変化したユーザに対して音声を提供するようにしてもよい。また、提供部103は、ユーザの位置が変化すると、その位置に応じて連続的に音声を変えながら提供するようにしてもよい。例えばユーザが移動すると、その移動中のユーザの位置変化に応じた音声が連続的に変化しながら聞こえるようになる。また、ユーザの向いている位置の変化率や速度に応じて音声を提供するようにしてもよい。
[変形例6]
本発明の音声提供の仕組みを用いて、ユーザを音声によって或るエリアへと誘導してもよい。例えば、ユーザが向いた方向にあるエリアに応じた音声に対してそのエリアにユーザを誘導する役割を持たせることで、ユーザから見えるエリアへの誘導を複数回繰り返すなどして、最初はユーザからは直接見えなかったエリアへとそのユーザを誘導することが可能となる。
[変形例7]
提供部103は、音声データに加えて、エリアに関する音声以外のデータ(例えばエリアに関する情報を記述したテキストデータやそのエリアに関連する画像を表す画像データ)を提供してもよい。
[変形例8]
上記実施形態の説明に用いた図6のブロック図は機能単位のブロックを示している。これらの各機能ブロックは、ハードウェア及び/又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び/又は論理的に結合した1つの装置により実現されてもよいし、物理的及び/又は論理的に分離した2つ以上の装置を直接的及び/又は間接的に(例えば、有線及び/又は無線)で接続し、これら複数の装置により実現されてもよい。従って、本発明に係る音声提供装置又は音声再生装置は、実施形態で説明したようにそれぞれの機能の全てを一体に備えた装置によっても実現可能であるし、それぞれの装置の機能を、さらに複数の装置に分散して実装したシステムであってもよい。また、上記実施形態で説明した処理の手順は、矛盾の無い限り、順序を入れ替えてもよい。実施形態で説明した方法については、例示的な順序で各ステップの要素を提示しており、提示した特定の順序に限定されない。
本発明は、音声提供装置又は音声再生装置が行う情報処理方法といった形態でも実施が可能である。つまり、本発明は、ユーザの位置と当該ユーザが向いている方向とを取得するステップと、取得されたユーザの位置を基準として取得された方向に存在するエリアに応じた音声を前記ユーザに提供するステップとを備えることを特徴とする音声提供方法を提供する。また、本発明は、ユーザの位置と当該ユーザが向いている方向とを検出するステップと、検出されたユーザの位置を基準として検出された方向に存在するエリアに応じた音声データを取得するステップと、取得された音声データを再生するステップとを備えることを特徴とする音声再生方法を提供する。
また、本発明は、音声提供装置又は音声再生装置としてコンピュータを機能させるためのプログラムといった形態でも実施が可能である。かかるプログラムは、光ディスク等の記録媒体に記録した形態で提供されたり、インターネット等の通信網を介して、コンピュータにダウンロードさせ、これをインストールして利用可能にするなどの形態で提供されたりすることが可能である。
ここで、本開示の実施形態を以下のようにまとめる。
(1)ユーザの位置と当該ユーザが向いている方向とを取得する取得手段と、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声を前記ユーザに提供する提供手段と、を備えた音声提供装置を提供する。
(2)上記(1)に記載の音声提供装置において、前記取得手段は、前記ユーザによって使用されるユーザ端末から、前記ユーザの位置と前記ユーザが向いている方向とを取得し、前記提供手段は、前記音声を示す音声データを前記ユーザ端末に提供する。
(3)上記(1)又は(2)に記載の音声提供装置において、前記提供手段は、前記ユーザの属性を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、前記ユーザの属性に応じた音声を前記ユーザに提供する。
(4)上記(1)〜(3)のいずれかに記載の音声提供装置において、前記提供手段は、前記ユーザによって指定された内容を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、取得した内容に対応するエリアに応じた音声を前記ユーザに提供する。
(5)上記(1)〜(4)のいずれかに記載の音声提供装置において、前記提供手段は、前記ユーザと前記エリアとの位置関係に応じた音響処理が施された音声を前記ユーザに提供する。
(6)上記(1)〜(5)のいずれかに記載の音声提供装置において、前記提供手段は、前記ユーザの属性と前記エリアの属性との関連度に応じた音響処理が施された音声を前記ユーザに提供する。
(7)上記(1)〜(6)のいずれかに記載の音声提供装置において、前記提供手段は、前記ユーザの位置の変化又は前記ユーザが向いている方向の変化に応じて音声を提供する。
(8)上記(7)に記載の音声提供装置において、前記提供手段は、前記ユーザの位置の変化又は前記ユーザが向いている方向の変化に応じて、音量が変更された音声を前記ユーザに提供する。
(9)上記(7)又は(8)に記載の音声提供装置において、前記提供手段は、前記ユーザが向いている方向の変化に応じて、前記ユーザが向いている方向に存在するエリアに応じた音声から変更された音声を前記ユーザに提供する。
(10)上記(1)〜(9)のいずれかに記載の音声提供装置、前記音声を示す音声データと前記エリアとを対応付けて記憶する記憶手段をさらに備え、前記提供手段は、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに対応付けられた音声データを前記記憶手段から読み出して前記ユーザに提供する。
(11)上記(1)〜(10)のいずれかに記載の音声提供装置において、前記音声は、前記エリアにおいて放音又は収音されている音声である。
(12)ユーザの位置と当該ユーザが向いている方向とを検出する検出手段と、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声データを取得する取得手段と、前記音声データを再生する再生手段と、を備えた音声再生装置を提供する。
(13)ユーザの位置と当該ユーザが向いている方向とを取得するステップと、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声を前記ユーザに提供するステップと、を備えた音声提供方法を提供する。
(14)上記(13)に記載の音声提供方法において、前記取得ステップは、前記ユーザによって使用されるユーザ端末から、前記ユーザの位置と前記ユーザが向いている方向とを取得し、前記提供ステップは、前記音声を示す音声データを前記ユーザ端末に提供する。
(15)上記(13)又は(14)に記載の音声提供方法において、前記提供ステップは、前記ユーザの属性を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、前記ユーザの属性に応じた音声を前記ユーザに提供する。
(16)上記(13)〜(15)のいずれかに記載の音声提供方法において、前記提供ステップは、前記ユーザによって指定された内容を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、取得した内容に対応するエリアに応じた音声を前記ユーザに提供する。
(17)上記(13)〜(16)のいずれかに記載の音声提供方法において、前記提供ステップは、前記ユーザと前記エリアとの位置関係に応じた音響処理が施された音声を前記ユーザに提供する。
(18)上記(13)〜(17)のいずれかに記載の音声提供方法において、前記提供ステップは、前記ユーザの属性と前記エリアの属性との関連度に応じた音響処理が施された音声を前記ユーザに提供する。
(19)上記(13)〜(18)のいずれかに記載の音声提供方法において、前記提供ステップは、前記ユーザの位置の変化又は前記ユーザが向いている方向の変化に応じて音声を提供する。
(20)上記(19)に記載の音声提供方法において、前記提供ステップは、前記ユーザの位置の変化又は前記ユーザが向いている方向の変化に応じて、音量が変更された音声を前記ユーザに提供する。
(21)上記(19)又は(20)に記載の音声提供方法において、前記提供ステップは、前記ユーザが向いている方向の変化に応じて、前記ユーザが向いている方向に存在するエリアに応じた音声から変更された音声を前記ユーザに提供する。
(22)上記(13)〜(21)のいずれかに記載の音声提供方法において、前記提供ステップは、前記音声を示す音声データと前記エリアとが対応付けて記憶される記憶手段から、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに対応付けられた音声データを読み出して前記ユーザに提供する。
(23)上記(13)〜(22)のいずれかに記載の音声提供方法において、前記音声は、前記エリアにおいて放音又は収音されている音声である。
(24)ユーザの位置と当該ユーザが向いている方向とを検出するステップと、検出されたユーザの位置を基準として検出された方向に存在するエリアに応じた音声データを取得するステップと、取得された音声データを再生するステップとを備えた音声再生方法を提供する。
本出願は、2016年11月8日に出願された日本特許出願(特願2016−218242)に基づくものであり、ここに参照として取り込まれる。
本発明によれば、ユーザは提供される音声を聴くことで、ユーザの向いている方向にどのようなエリアがあるかを音声に起因するイメージで知ることができ、ユーザの位置及び方向と音声とを関連付けた情報提供の仕組みを実現できるため有用である。
100 サーバ装置
11 制御部
12 通信部
13 記憶部
101 取得部
102 記憶部
103 提供部
200 ユーザ端末
21 制御部
22 通信部
23 記憶部
24 再生部
25 方向検出部
26 測位部
27 UI部
201 検出部
202 通知部
203 再生部
900 ネットワーク

Claims (26)

  1. ユーザの位置と当該ユーザが向いている方向とを取得する取得手段と、
    前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声を前記ユーザに提供する提供手段と、
    を備え
    前記提供手段は、前記ユーザの属性を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、前記ユーザの属性に応じた音声を前記ユーザに提供する
    ことを特徴とする音声提供装置。
  2. ユーザの位置と当該ユーザが向いている方向とを取得する取得手段と、
    前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声を前記ユーザに提供する提供手段と、
    を備え、
    前記提供手段は、前記ユーザの属性と前記エリアの属性との関連度に応じた音響処理が施された音声を前記ユーザに提供する
    ことを特徴とする音声提供装置。
  3. 前記取得手段は、前記ユーザによって使用されるユーザ端末から、前記ユーザの位置と前記ユーザが向いている方向とを取得し、
    前記提供手段は、前記音声を示す音声データを前記ユーザ端末に提供する
    ことを特徴とする請求項1又は2に記載の音声提供装置。
  4. 前記提供手段は、前記ユーザによって指定された内容を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、取得した内容に対応するエリアに応じた音声を前記ユーザに提供する
    ことを特徴とする請求項1〜3のいずれか1項に記載の音声提供装置。
  5. 前記提供手段は、前記ユーザと前記エリアとの位置関係に応じた音響処理が施された音声を前記ユーザに提供する
    ことを特徴とする請求項1〜4のいずれか1項に記載の音声提供装置。
  6. 前記提供手段は、前記ユーザの属性と前記エリアの属性との関連度に応じた音響処理が施された音声を前記ユーザに提供する
    ことを特徴とする請求項1,3,4又は5に記載の音声提供装置。
  7. 前記提供手段は、前記ユーザの位置の変化又は前記ユーザが向いている方向の変化に応じて音声を提供する
    ことを特徴とする請求項1〜6のいずれか1項に記載の音声提供装置。
  8. 前記提供手段は、前記ユーザの位置の変化又は前記ユーザが向いている方向の変化に応じて、音量が変更された音声を前記ユーザに提供する
    ことを特徴とする請求項7に記載の音声提供装置。
  9. 前記提供手段は、前記ユーザが向いている方向の変化に応じて、前記ユーザが向いている方向に存在するエリアに応じた音声から変更された音声を前記ユーザに提供する
    ことを特徴とする請求項7又は8に記載の音声提供装置。
  10. 前記音声を示す音声データと前記エリアとを対応付けて記憶する記憶手段をさらに備え、
    前記提供手段は、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに対応付けられた音声データを前記記憶手段から読み出して前記ユーザに提供する
    ことを特徴とする請求項1〜9のいずれか1項に記載の音声提供装置。
  11. 前記音声は、前記エリアにおいて放音又は収音されている音声である
    ことを特徴とする請求項1〜10のいずれか1項に記載の音声提供装置。
  12. ユーザの位置と当該ユーザが向いている方向とを検出する検出手段と、
    前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声データを取得する取得手段と、
    前記音声データを再生する再生手段と、
    を備え
    前記取得手段は、前記ユーザの属性を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、前記ユーザの属性に応じた音声データを取得する
    ことを特徴とする音声再生装置。
  13. ユーザの位置と当該ユーザが向いている方向とを検出する検出手段と、
    前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声データを取得する取得手段と、
    前記音声データを再生する再生手段と、
    を備え、
    前記取得手段は、前記ユーザの属性と前記エリアの属性との関連度に応じた音響処理が施された音声データを取得する
    ことを特徴とする音声再生装置。
  14. ユーザの位置と当該ユーザが向いている方向とを取得する取得ステップと、
    前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声を前記ユーザに提供する提供ステップと、
    を備え
    前記提供ステップは、前記ユーザの属性を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、前記ユーザの属性に応じた音声を前記ユーザに提供する
    ことを特徴とする音声提供方法。
  15. ユーザの位置と当該ユーザが向いている方向とを取得する取得ステップと、
    前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声を前記ユーザに提供する提供ステップと、
    を備え、
    前記提供ステップは、前記ユーザの属性と前記エリアの属性との関連度に応じた音響処理が施された音声を前記ユーザに提供する
    ことを特徴とする音声提供方法。
  16. 前記取得ステップは、前記ユーザによって使用されるユーザ端末から、前記ユーザの位置と前記ユーザが向いている方向とを取得し、
    前記提供ステップは、前記音声を示す音声データを前記ユーザ端末に提供する
    ことを特徴とする請求項14又は15に記載の音声提供方法。
  17. 前記提供ステップは、前記ユーザによって指定された内容を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、取得した内容に対応するエリアに応じた音声を前記ユーザに提供する
    ことを特徴とする請求項14〜16のいずれか1項に記載の音声提供方法。
  18. 前記提供ステップは、前記ユーザと前記エリアとの位置関係に応じた音響処理が施された音声を前記ユーザに提供する
    ことを特徴とする請求項14〜17のいずれか1項に記載の音声提供方法。
  19. 前記提供ステップは、前記ユーザの属性と前記エリアの属性との関連度に応じた音響処理が施された音声を前記ユーザに提供する
    ことを特徴とする請求項14,16,17又は18に記載の音声提供方法。
  20. 前記提供ステップは、前記ユーザの位置の変化又は前記ユーザが向いている方向の変化に応じて音声を提供する
    ことを特徴とする請求項14〜19のいずれか1項に記載の音声提供方法。
  21. 前記提供ステップは、前記ユーザの位置の変化又は前記ユーザが向いている方向の変化に応じて、音量が変更された音声を前記ユーザに提供する
    ことを特徴とする請求項20に記載の音声提供方法。
  22. 前記提供ステップは、前記ユーザが向いている方向の変化に応じて、前記ユーザが向いている方向に存在するエリアに応じた音声から変更された音声を前記ユーザに提供する
    ことを特徴とする請求項20又は21に記載の音声提供方法。
  23. 前記提供ステップは、前記音声を示す音声データと前記エリアとが対応付けて記憶される記憶手段から、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに対応付けられた音声データを読み出して前記ユーザに提供する
    ことを特徴とする請求項14〜22のいずれか1項に記載の音声提供方法。
  24. 前記音声は、前記エリアにおいて放音又は収音されている音声である
    ことを特徴とする請求項14〜23のいずれか1項に記載の音声提供方法。
  25. ユーザの位置と当該ユーザが向いている方向とを検出するステップと、
    検出されたユーザの位置を基準として検出された方向に存在するエリアに応じた音声データを取得するステップと、
    取得された音声データを再生するステップと
    を備え
    前音声データを取得するステップは、前記ユーザの属性を取得し、前記ユーザの位置を基準として前記ユーザが向いている方向に存在するエリアに応じた音声群のうち、前記ユーザの属性に応じた音声データを取得する
    ことを特徴とする音声再生方法。
  26. ユーザの位置と当該ユーザが向いている方向とを検出するステップと、
    検出されたユーザの位置を基準として検出された方向に存在するエリアに応じた音声データを取得するステップと、
    取得された音声データを再生するステップと
    を備え
    前記音声データを取得するステップは、前記ユーザの属性と前記エリアの属性との関連度に応じた音響処理が施された音声を前記ユーザに提供する
    ことを特徴とする音声再生方法。
JP2018550237A 2016-11-08 2017-11-08 音声提供装置、音声再生装置、音声提供方法及び音声再生方法 Active JP6795611B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016218242 2016-11-08
JP2016218242 2016-11-08
PCT/JP2017/040336 WO2018088450A1 (ja) 2016-11-08 2017-11-08 音声提供装置、音声再生装置、音声提供方法及び音声再生方法

Publications (2)

Publication Number Publication Date
JPWO2018088450A1 JPWO2018088450A1 (ja) 2019-10-03
JP6795611B2 true JP6795611B2 (ja) 2020-12-02

Family

ID=62109825

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018550237A Active JP6795611B2 (ja) 2016-11-08 2017-11-08 音声提供装置、音声再生装置、音声提供方法及び音声再生方法

Country Status (3)

Country Link
US (1) US11134356B2 (ja)
JP (1) JP6795611B2 (ja)
WO (1) WO2018088450A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999677B2 (en) 2019-05-29 2021-05-04 Asahi Kasei Kabushiki Kaisha Sound reproducing apparatus having multiple directional speakers and sound reproducing method

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3697568B2 (ja) 2000-02-24 2005-09-21 株式会社日立製作所 情報配信システム
GB2376123B (en) * 2001-01-29 2004-06-30 Hewlett Packard Co Facilitation of speech recognition in user interface
US8422693B1 (en) * 2003-09-29 2013-04-16 Hrl Laboratories, Llc Geo-coded spatialized audio in vehicles
US7492915B2 (en) * 2004-02-13 2009-02-17 Texas Instruments Incorporated Dynamic sound source and listener position based audio rendering
US8718301B1 (en) * 2004-10-25 2014-05-06 Hewlett-Packard Development Company, L.P. Telescopic spatial radio system
US7876903B2 (en) * 2006-07-07 2011-01-25 Harris Corporation Method and apparatus for creating a multi-dimensional communication space for use in a binaural audio system
US20100292917A1 (en) * 2009-05-13 2010-11-18 International Business Machines Corporation System and method for guiding a user through a surrounding environment
US20110288860A1 (en) * 2010-05-20 2011-11-24 Qualcomm Incorporated Systems, methods, apparatus, and computer-readable media for processing of speech signals using head-mounted microphone pair
EP2590432B1 (en) * 2010-06-30 2020-04-08 Panasonic Intellectual Property Management Co., Ltd. Conversation detection device, hearing aid and conversation detection method
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US8996296B2 (en) * 2011-12-15 2015-03-31 Qualcomm Incorporated Navigational soundscaping
US20130275873A1 (en) * 2012-04-13 2013-10-17 Qualcomm Incorporated Systems and methods for displaying a user interface
US9746916B2 (en) * 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
EP2669634A1 (en) * 2012-05-30 2013-12-04 GN Store Nord A/S A personal navigation system with a hearing device
JP5949234B2 (ja) 2012-07-06 2016-07-06 ソニー株式会社 サーバ、クライアント端末、およびプログラム
EP2736276A1 (en) * 2012-11-27 2014-05-28 GN Store Nord A/S Personal communications unit for observing from a point of view and team communications system comprising multiple personal communications units for observing from a point of view
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
US20140270182A1 (en) * 2013-03-14 2014-09-18 Nokia Corporation Sound For Map Display
US10262462B2 (en) * 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9629774B2 (en) * 2014-01-14 2017-04-25 Toyota Motor Engineering & Manufacturing North America, Inc. Smart necklace with stereo vision and onboard processing
US10529359B2 (en) * 2014-04-17 2020-01-07 Microsoft Technology Licensing, Llc Conversation detection
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing
WO2018081609A1 (en) * 2016-10-27 2018-05-03 Livelike Inc. Spatial audio based advertising in virtual or augmented reality video streams
US10224033B1 (en) * 2017-09-05 2019-03-05 Motorola Solutions, Inc. Associating a user voice query with head direction

Also Published As

Publication number Publication date
US11134356B2 (en) 2021-09-28
JPWO2018088450A1 (ja) 2019-10-03
WO2018088450A1 (ja) 2018-05-17
US20190261123A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
CN105163241B (zh) 音频播放方法及装置、电子设备
KR102037412B1 (ko) 이동 단말기와 연결된 보청기를 피팅(fitting) 하는 방법 및 이를 수행하는 이동 단말기
US11582281B2 (en) Location-based tagging and retrieving of media content
US20170199934A1 (en) Method and apparatus for audio summarization
US9288594B1 (en) Auditory environment recognition
CN103503503A (zh) 使用音频信号编码和识别进行的音频定位
WO2019173577A1 (en) Audio content engine for audio augmented reality
EP3989083A1 (en) Information processing system, information processing method, and recording medium
US9594148B2 (en) Estimation device and estimation method using sound image localization processing
JP6795611B2 (ja) 音声提供装置、音声再生装置、音声提供方法及び音声再生方法
US20140333786A1 (en) System and method for remotely creating and processing media files
WO2019142926A1 (ja) 音声情報提供システム、音声情報提供装置、及びプログラム
US20130332837A1 (en) Methods and apparatus for sound management
JP7037654B2 (ja) キャプチャされた空間オーディオコンテンツの提示用の装置および関連する方法
US10140083B1 (en) Platform for tailoring media to environment factors and user preferences
US10820132B2 (en) Voice providing device and voice providing method
JP2015023534A (ja) 情報提供装置、情報提供システム、及び情報提供プログラム
JP6990042B2 (ja) 音声提供装置及び音声提供方法
JP6674557B2 (ja) 音声再生装置及び音声再生方法
JP7501652B2 (ja) 情報処理装置、制御方法、制御プログラム、及び情報処理システム
US20170024184A1 (en) Control method and control device
US20230305631A1 (en) Information processing apparatus, information processing system, information processing method, and program
JP2015216647A (ja) 表示制御装置及び表示制御装置の制御方法
CN107111789B (zh) 用户设备确定标识数据的方法和用户设备
EP2919442A1 (en) Using audio intervention for creating context awareness

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200918

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201112

R150 Certificate of patent or registration of utility model

Ref document number: 6795611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350