JP7384222B2 - 情報処理装置、制御方法及びプログラム - Google Patents

情報処理装置、制御方法及びプログラム Download PDF

Info

Publication number
JP7384222B2
JP7384222B2 JP2021565548A JP2021565548A JP7384222B2 JP 7384222 B2 JP7384222 B2 JP 7384222B2 JP 2021565548 A JP2021565548 A JP 2021565548A JP 2021565548 A JP2021565548 A JP 2021565548A JP 7384222 B2 JP7384222 B2 JP 7384222B2
Authority
JP
Japan
Prior art keywords
information
sound image
image localization
position information
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021565548A
Other languages
English (en)
Other versions
JPWO2021125081A5 (ja
JPWO2021125081A1 (ja
Inventor
俊一 丸山
紫水子 鐘ヶ江
いづみ 遠藤
一成 染谷
郷 柴田
清 森崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021125081A1 publication Critical patent/JPWO2021125081A1/ja
Publication of JPWO2021125081A5 publication Critical patent/JPWO2021125081A5/ja
Application granted granted Critical
Publication of JP7384222B2 publication Critical patent/JP7384222B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • H04S7/304For headphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Description

本開示は、情報処理装置、制御方法及び制御プログラムに関する。
擬人化されたオブジェクトから発せられた音をユーザに提供するために、擬人化されたオブジェクトに音像を定位させた音を生成する技術が知られている。特許文献1は、ウェアラブル情報表示装置が取得したセンサデータに基づいて、擬人化されたオブジェクトの音声データが、拡張現実(AR:Augmented Reality)で表示された当該オブジェクトの位置に応じた音量でスピーカーから出力される技術を開示する。
特開2018-097437号公報
特許文献1に開示された技術では、ユーザの視線、移動方向及び動きに関するセンサデータに基づいて、オブジェクトの音声データを処理する。換言すると、特許文献1に開示された関連技術では、音像を定位させるオブジェクトの位置が固定であることを前提として、ユーザ情報のみに基づいて音声データを処理する。
近年、情報サービスの多様化及び高度化に伴い、現実空間では味わうことができない新体感サービスが検討されている。例えば、擬人化されたオブジェクトを仮想的に同伴するサービス等が検討されている。特許文献1に開示された技術は、音像を定位させる対象が移動しないことを前提としている。そのため、特許文献1に開示された技術を用いた場合、ユーザが現実空間における体感を味わうサービスが提供できない。すなわち、特許文献1に開示された技術を用いた場合、現実空間に近い体感を提供できない可能性があり得る。
本開示の目的の1つは、上述した課題を鑑み、現実空間に近い体感をユーザに提供可能な情報処理装置、制御方法及び制御プログラムを提供することにある。
本開示にかかる情報処理装置は、
通信端末の端末位置情報を取得する取得部と、
所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持する保持部と、
前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成する生成部と、
前記音像定位用情報を出力する出力部と、を備える。
本開示にかかる制御方法は、
通信端末の端末位置情報を取得することと、
所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
前記音像定位用情報を出力することと、を含む制御方法である。
本開示にかかる制御プログラムは、
通信端末の端末位置情報を取得することと、
所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
前記音像定位用情報を出力することと、をコンピュータに実行させる制御プログラムである。
本開示によれば、現実空間に近い体感をユーザに提供可能な情報処理装置、制御方法及び制御プログラムを提供できる。
実施の形態1にかかる情報処理装置の構成例を示す図である。 実施の形態1にかかる情報処理装置の動作例を示すフローチャートである。 実施の形態2にかかる情報処理システムの概要を説明するための図である。 実施の形態2にかかる情報処理システムの構成例を示す図である。 音像定位関連テーブルの一例を示す図である。 実施の形態2にかかるサーバ装置の動作例を示すフローチャートである。 実施の形態3にかかる情報処理システムの構成例を示す図である。 実施の形態4にかかるサーバ装置の構成例を示す図である。 実施の形態4における音像定位用情報の生成処理の詳細動作を説明するフローチャートである。 実施の形態5にかかる情報システムの構成例を示す図である。 実施の形態5にかかる音像定位関連テーブルの一例を示す図である。 実施の形態5にかかる情報処理システムの動作例を示すフローチャートである。 本開示の各実施の形態にかかる情報処理装置等のハードウェア構成を例示するブロック図である。
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一の要素には、同一の符号を付し、重複する説明は省略される。
(実施の形態1)
図1を用いて、実施の形態1にかかる情報処理装置1の構成例について説明する。図1は、実施の形態1にかかる情報処理装置の構成例を示す図である。情報処理装置1は、取得部2と、保持部3と、生成部4と、出力部5とを備える。
取得部2は、通信端末(不図示)から通信端末の端末位置情報を取得する。
保持部3は、所定領域と、通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持する。
保持部3は、所定領域を特定する位置情報と、通信端末に出力する音声コンテンツと、当該音声コンテンツの音像定位位置情報とが対応付けられたテーブルを予め保持してもよい。もしくは、保持部3は、上記テーブルを他の通信装置から取得して、取得した上記テーブルを保持してもよい。所定領域は、ジオフェンスと称される予め設定されるエリアであってもよい。
音声コンテンツは、仮想的な物体に関連する音声コンテンツであってもよく、音声認識サービスを用いる場合には、音声認識結果に対応する音声コンテンツであってもよい。音声コンテンツは、音像定位処理が実行される前の音声コンテンツであって、情報処理装置1が予め記憶する音声コンテンツであってもよい。換言すると、音声コンテンツは、音像定位処理を実行するためのパラメータが付加される前の音声コンテンツであってもよい。
仮想的な物体は、例えば、仮想的な友人、恋人、案内人等の仮想的なキャラクタであってもよく、アニメのキャラクタであってもよいし、ドラマに出演する俳優であってもよく、店舗、看板、草履等の仮想の物体であってもよい。
音像定位位置情報は、端末位置情報を基準としたときの相対位置に関する位置情報である。そのため、以降の説明では、音像定位位置情報又は音像定位置が変更又は調整されることは、通信端末の端末位置情報を基準とする音像定位位置情報又は音像定位置の相対位置が変わることを意味する。
生成部4は、端末位置情報が所定領域に含まれる場合、音像定位位置情報、端末位置情報等に基づいて、音像定位用情報を生成する。音像定位用情報は、所定領域に対応付けられた音声コンテンツに対して音像定位処理を行うために用いられるパラメータである。換言すると、音像定位用情報は、所定領域に対応付けられた音声コンテンツが、音像定位位置からの音として聴取できるように補正するためのパラメータである。そのため、音像定位用情報には、端末位置情報、さらには、目標物である物体の位置情報、端末位置情報と音像定位位置情報、端末位置情報と物体の位置情報との相対角度を含む場合がある。また、音像定位用情報は生成する場合もあれば、予め定められた所定の音像定位用情報に対し音像定位位置を変更する処理を行うことであってもよい。
出力部5は、音像定位用情報を出力する。出力部5は、音像定位用情報を、情報処理装置1が備える制御部(不図示)、及び通信端末の少なくとも一方に出力する。出力部5が制御部に音像定位用情報を出力する場合、制御部は、所定領域に対応付けられた音声コンテンツを、音像定位用情報に基づいて補正し、補正した音声コンテンツを、通信端末を所有するユーザの左右の耳に出力してもよい。もしくは、出力部5が通信端末に音像定位用情報を出力する場合、出力部5は、所定領域に対応付けられた音声コンテンツ及び音像定位用情報を通信端末に送信してもよい。そして、出力部5は、通信端末が音声コンテンツを音像定位用情報に基づいて補正し、補正した音声コンテンツを、通信端末を所有するユーザの左右の耳に出力する制御情報を送信してもよい。また、通信端末が予め音声コンテンツを保持している場合には、出力部5は、音像定位用情報のみを出力してもよい。
次に、図2を用いて、実施の形態1にかかる情報処理装置1の動作例について説明する。図2は、実施の形態1にかかる情報処理装置の動作例を示すフローチャートである。なお、保持部3は、所定領域を特定する位置情報と、通信端末に出力する音声コンテンツと、当該音声コンテンツの音像定位位置情報とが対応付けられたテーブルを保持していることを前提として説明を行う。また、情報処理装置1は、端末位置情報を取得するたびに、図2の動作例を実行する。
取得部2は、図示しない通信端末から端末位置情報を取得する(ステップS1)。
生成部4は、端末位置情報が所定領域に含まれるか否かを判定する(ステップS2)。生成部4は、端末位置情報と、上記テーブルにおいて所定領域を特定する位置情報とを比較して、端末位置情報が所定領域に含まれるか否かを判定する。
なお、生成部4は、端末位置情報に基づいて、通信端末の所定領域に対する進入角度を算出し、当該進入角度をさらに用いて端末位置情報が所定領域に含まれるか否かを判定してもよい。具体的には、取得部2及び生成部4は、通信端末の端末位置情報を逐次取得する。生成部4は、取得した複数の端末位置情報により構成される端末位置情報群に基づいて、通信端末の移動経路を算出する。生成部4は、算出した移動経路に基づいて、通信端末が所定領域に対してどのような角度で進入したかを判定する。生成部4は、移動経路から所定領域の中心点に対する進入角度を算出し、進入角度が所定の角度の範囲に含まれるか否かを判定する。生成部4は、端末位置情報が所定領域に含まれ、かつ、進入角度が所定の角度範囲内である場合、端末位置情報が所定領域に含まれると判定してもよい。
端末位置情報が所定領域に含まれる場合(ステップS2のYES)、生成部4は、所定領域に対応付けられた音像定位位置情報と端末位置情報とに基づいて、音像定位用情報を生成する(ステップS3)。
一方、端末位置情報が所定領域に含まれない場合(ステップS2のNO)、ステップS1に戻り、ステップS1の動作を実行する。
出力部5は、音像定位用情報を、情報処理装置1が備える制御部、及び通信端末の少なくとも一方に出力する(ステップS4)。
以上説明したように、情報処理装置1は、端末位置情報が所定領域に含まれる場合、所定領域に対応付けられた音像定位位置情報と、端末位置情報とに基づいて音像定位用情報を生成する。情報処理装置1は、生成した音像定位用情報を、自装置の制御部及び通信端末の少なくとも一方に出力する。自装置の制御部及び通信端末は、音像定位用情報に基づいて、ユーザに出力する音声コンテンツを補正して、補正された音声コンテンツをユーザに出力可能となる。すなわち、実施の形態1にかかる情報処理装置1によれば、仮想な物体が動いているかのような音をユーザに聴取させられる音像定位用情報を生成できるので、現実空間に近い体感をユーザに提供可能となる。
(実施の形態2)
続いて、実施の形態2について説明する。実施の形態2は、実施の形態1を具体的にした実施の形態である。まず、実施の形態2の具体的な構成例を説明する前に、実施の形態2の概要を説明する。
<概要>
近年、AR技術を用いたサービスが検討されている。AR技術を用いたサービスとして、例えば、アニメのキャラクタ、ドラマの俳優等、仮想的なキャラクタと仮想的に同伴しているかのようなサービスが検討されている。このようなサービスでは、ユーザが、仮想的なキャラクタを仮想的に同伴していることを体感できるように、当該キャラクタがいる仮想位置から上記キャラクタが話しかけることも検討されている。上記キャラクタは、仮想的なキャラクタであるため、当該サービスは現実世界を拡張するARサービスといえ、音響ARサービスと称されてもよい。なお、仮想的なキャラクタは、例えば、店舗、看板、草履等の仮想の物体であってもよい。
実施の形態2は、上記した、いわゆる音響ARサービスを実現する情報処理システムに関する。なお、上記のように当該情報処理システムは、音響ARサービスを実現するシステムであるため、音響ARシステムと称されてもよい。
ここで、図3を用いて、実施の形態2にかかる情報システムの概要を説明する。図3は、実施の形態2にかかる情報処理システムの概要を説明するための図である。実施の形態2にかかる情報処理システムは、一例として、例えば、仮想的な友人又は恋人等の仮想的なキャラクタを仮想的に同伴しているかのような音響ARサービスを提供するシステムであるとして説明する。
図3は、ユーザUがいるエリアを鉛直上方から下方に見たときの状況を模式した模式図であり、ユーザUが仮想的なキャラクタCを同伴して、例えば、観光スポットにある建物Oに向かうことを模式している。実施の形態2にかかる情報処理システムは、通信端末40を装着したユーザUの周囲にいるキャラクタCが、任意のタイミングであたかも話しかけてくるような音声コンテンツをユーザUに出力する。
なお、図3において、建物Oは、ユーザUが向かう目標物の一例であり、目標物は、例えば、施設、店舗であってもよく、標識、看板、マネキン、マスコット人形、動物、花火等、種々の物体であってもよい。また、キャラクタCは実際には現実空間には存在しないが、説明を行うために図示している。図3において、実線の矢印は、ユーザUの前後左右方向を示している。キャラクタCの仮想位置は、ユーザUの位置を基準とする相対位置で設定され、図3に示す一例では、キャラクタCの仮想位置は、ユーザUの右側の位置としている。なお、キャラクタCの仮想位置は、任意に設定することができる。
ここで、図3に示すように、実施の形態2にかかる情報処理システムが、ユーザUの右側にキャラクタCが常にいる音響ARサービスを提供すると仮定する。現実世界では、例えば、友人又は恋人は、任意のタイミングで、自身の興味のある店舗Shに向かうように移動したり、ユーザUの周りを移動したりする。そのため、実施の形態2にかかる情報処理システムが、キャラクタCがユーザUの右側に常にいる音響ARサービスを提供すると、ユーザに対して、現実空間に近い体感を提供できない。そこで、実施の形態2にかかる情報処理システムは、キャラクタCが、点線L1のように店舗Shに近づくように移動したり、点線L2のようにユーザUの右側から左側に移動しているかのような音声コンテンツをユーザに提供する。
また、実施の形態2にかかる情報処理システムは、現実空間に近い体感又は現実空間では味わうことができない体感をユーザUに提供するため、例えば、ユーザUが店舗Shに近づいたときに、店舗Shが仮想的に話しかけてくることを実現する。
なお、本開示では、通信端末40は、ユーザUの左耳に装着される左ユニット40Lと、右耳に装着される右ユニット40Rとを含む通信端末であることとして説明する。また、ユーザUに対して出力する音声コンテンツは、左ユニット40Lに対応する左耳音声コンテンツと、右ユニット40Rに対応する右耳音声コンテンツとを含むこととして説明する。
<情報処理システムの構成例>
次に、図4を用いて、情報処理システム100の構成例について説明する。図4は、実施の形態2にかかる情報処理システムの構成例を示す図である。情報処理システム100は、通信端末40及び50と、サーバ装置60とを備える。
通信端末40は、図3に示した通信端末40であり、ユーザUが所有し、ユーザUに装着される通信端末である。上述したように、通信端末40は、ユーザの両耳の各々に装着される通信端末であり、ユーザの左耳に装着される左ユニット40Lと、ユーザの右耳に装着される右ユニット40Rとを含む。通信端末40は、ユーザの両耳に装着されるデバイスであるため、ヒアラブルデバイスと称されてもよい。なお、通信端末40は、左ユニット40L及び右ユニット40Rが一体型となった通信端末であってもよい。
通信端末40は、例えば、通信事業者が提供する無線通信が可能な通信端末であり、通信事業者が提供するネットワークを介してサーバ装置60と通信を行う。通信端末40は、通信端末40の方向情報として取得し、取得した方向情報をサーバ装置60に送信する。通信端末40は、音像定位処理が実行された音声コンテンツを、ユーザの両耳の各々に出力する。なお、通信端末40(左ユニット40L及び右ユニット40R)は、サーバ装置60と直接通信を行うこととして説明するが、通信端末50を介してサーバ装置60と通信を行う構成であってもよい。
通信端末50は、例えば、スマートフォン端末、タブレット端末、携帯電話、パーソナルコンピュータ装置であってもよい。通信端末50も、図3に示したユーザUが所有する通信端末である。通信端末50は、例えば、Bluetooth(登録商標)、WiFi等の無線通信により、通信端末40と接続及び通信を行う。また、通信端末50は、例えば、通信事業者が提供するネットワークを介してサーバ装置60と通信を行う。通信端末50は、通信端末40(左ユニット40L及び右ユニット40R)の端末位置情報を取得し、取得した端末位置情報をサーバ装置60に送信する。なお、本開示では、通信端末50は、通信端末40(左ユニット40L及び右ユニット40R)の端末位置情報を取得することするが、通信端末50の位置情報を、左ユニット40L及び右ユニット40Rの端末位置情報としてもよい。
なお、図4において、情報処理システム100は、2つの通信端末(通信端末40及び50)を含む構成としているが、通信端末40及び50は、例えば、ヘッドマウントディスプレイ等のように、1つの通信端末により構成されてもよい。また、通信端末40が通信端末40の方向情報だけでなく端末位置情報を取得する構成であってもよい。つまり、情報処理システム100は、少なくとも1つの通信端末を有する構成であればよい。
サーバ装置60は、実施の形態1における情報処理装置1に対応する。サーバ装置60は、例えば、通信事業者が提供するネットワークを介して、通信端末40及び50と通信を行う。サーバ装置60は、通信端末40及び50のそれぞれから、通信端末40の方向情報及び端末位置情報を取得する。
サーバ装置60は、端末位置情報が所定領域に含まれる場合、図3に示したキャラクタC等の音像定位位置を変更する。サーバ装置60は、変更後の音像定位位置に応じた音像定位用情報に基づいて補正された音声コンテンツをユーザに対して出力する。
<通信端末の構成例>
次に、通信端末40の構成例について説明する。通信端末40は、方向情報取得部41と、出力部42とを備える。なお、通信端末40は、左ユニット40Lと、右ユニット40Rとを含むため、左ユニット40L及び右ユニット40Rの両方が、方向情報取得部41、及び出力部42を有する構成であってもよい。
方向情報取得部41は、例えば、9軸センサ(3軸加速度センサ、3軸ジャイロセンサ、3軸コンパスセンサ)等を含むように構成される。方向情報取得部41は、9軸センサにより、通信端末40の方向情報を取得する。方向情報取得部41は、周期的に又は非周期的に方向情報を取得する。
方向情報取得部41は、9軸センサにより取得した、通信端末40が向いている方位と、通信端末40の移動方向とを含む方向情報として取得する。方向情報取得部41は、取得した方向情報を通信端末50に送信する。なお、方向情報取得部41は、取得した方向情報をサーバ装置60に送信してもよい。
方向情報取得部41は、9軸センサを含むため、通信端末40の方位及び移動方向だけでなく、ユーザの姿勢についても取得できる。そのため、方向情報は、ユーザの姿勢も含むように構成され、姿勢情報と称されてもよい。また、方向情報は、9軸センサにより取得されたデータであるため、センシングデータと称されてもよい。
出力部42は、例えば、ステレオスピーカ等を含むように構成される。出力部42は、通信部としても機能し、サーバ装置60により音像定位処理が実行された音声コンテンツを受信し、受信した音声コンテンツをユーザの耳に出力する。サーバ装置60により音像定位処理が実行された音声コンテンツは、左ユニット40Lのための左耳用音声コンテンツと、右ユニット40Rのための右耳用音声コンテンツとを含む。左ユニット40Lの出力部42は、左耳用音声コンテンツを出力し、右ユニット40Rの出力部42は、右耳用音声コンテンツを出力する。
次に、通信端末50の構成例について説明する。通信端末50は、端末位置情報取得部51を備える。
端末位置情報取得部51は、例えば、GPS(Global Positioning System)受信機、高度センサ等を含むように構成される。端末位置情報取得部51は、GPS信号を受信し、GPS信号に基づいて通信端末50の緯度経度情報を取得する。端末位置情報取得部51は、高度センサにより通信端末50の高度情報を取得する。
端末位置情報取得部51は、通信端末40の左ユニット40L及び右ユニット40Rのそれぞれの端末位置情報を取得する。上述したように、通信端末50は、例えば、Bluetooth、WiFi等の無線通信により、左ユニット40L及び右ユニット40Rと通信する。端末位置情報取得部51は、左ユニット40L及び右ユニット40Rの方向情報取得部41が取得した方向情報(センシングデータ)を用いて、左ユニット40L及び右ユニット40Rの各々の緯度経度情報及び高度情報を算出する。端末位置情報取得部51は、左ユニット40L及び右ユニット40Rの各々の緯度経度情報及び高度情報を端末位置情報として取得する。端末位置情報取得部51は、周期的に、左ユニット40L及び右ユニット40Rのそれぞれの位置を取得する。端末位置情報取得部51は、左ユニット40L及び右ユニット40Rの各々の端末位置情報をサーバ装置60に送信する。
なお、端末位置情報取得部51は、左ユニット40L及び右ユニット40Rとの通信に用いられる無線信号の信号強度及び到来方向に基づいて、左ユニット40L及び右ユニット40Rの各々の緯度経度情報及び高度情報を取得する。そして、端末位置情報取得部51は、緯度経度情報及び高度情報を含めて端末位置情報としてもよい。
<サーバ装置の構成例>
次に、サーバ装置60の構成例について説明する。サーバ装置60は、端末情報取得部61と、記憶部62と、生成部63と、出力部64と、制御部65とを備える。
端末情報取得部61は、実施の形態1における取得部2に対応する。端末情報取得部61は、通信端末40の端末位置情報を取得する。端末情報取得部61は、通信部としても機能し、端末位置情報を通信端末50から受信することにより、端末位置情報を取得する。端末情報取得部61は、端末位置情報を生成部63に出力する。
記憶部62は、実施の形態1における保持部3に対応する。記憶部62は、音像定位関連テーブルT1を記憶する。記憶部62は、音像定位関連テーブルT1を予め記憶してもよく、音像定位関連テーブルT1を他の通信装置から受信して保持してもよい。
ここで、図5を用いて、音像定位関連テーブルT1の一例について説明する。図5は、音像定位関連テーブルの一例を示す図である。音像定位関連テーブルT1は、音像定位位置を変更する対象エリアと、端末位置情報が対象エリアに含まれる場合に出力する音声コンテンツと、音像定位置に関連する情報とを対応付けるテーブルである。
図5に示すように、音像定位関連テーブルT1には、左から、対象エリア、エリア情報、物体情報、音声コンテンツ情報、変更前位置、及び変更情報が設定される。また、音像定位関連テーブルT1は、例えば、1行目に、各列がどの項目を表しているかのラベルが設定され、2行目以降にサーバ装置60又は情報処理システム100の管理者による設定内容が設定される。
対象エリアには、音像定位位置を変更する対象エリアのエリア番号が設定される。
エリア情報には、対象エリアに設定されたエリアに関する情報が設定される。エリア情報には、音像定位位置を変更する対象エリアを特定する情報が設定され、緯度、経度、範囲及び大きさを含むことができる。
また、エリア情報は、例えば、「18時から24時は夜景の綺麗なエリア」、「11時から17時は人混みエリア」等の対象エリアの特性を示す特性情報を含むことができる。特性情報は、例えば、時間帯と、対象エリアの特性とを対応付けて設定されてもよい。
さらに、エリア情報は、端末位置情報が対象エリアに進入したときの進入角度に関する角度情報を含んでもよい。エリア情報に角度情報が含まれる場合、特性情報と角度情報とが紐付けられてもよい。例えば、「18時から24時は夜景の綺麗なエリア」という特性情報と、角度情報θ1とを紐付け、「11時から17時は人混みエリア」という特性情報と、角度情報θ2とを対応付けておく。これにより、「18時から24時は夜景の綺麗なエリア」に、15時に、進入角度がθ1以内で進入した通信端末を有するユーザには音声サービスを提供せず、18時以降に進入角度がθ1以内で進入したユーザには夜景を案内する音声コンテンツを提供できる。したがって、このようにすれば、より現実空間に近いサービス展開が可能となる。
物体情報には、ユーザに出力される音声コンテンツに関連する物体名が設定される。例えば、エリア1に端末位置情報が含まれたときに、図3の店舗Sh又はキャラクタCの音声コンテンツが出力される場合、物体情報には、店舗Sh又はキャラクタCが設定される。
音声コンテンツ情報には、エリア情報に端末位置情報が含まれる場合、ユーザに出力される音声コンテンツ情報が設定される。音声コンテンツ情報には、記憶部62に予め記憶された音声コンテンツ名が設定されてもよい。もしくは、音声コンテンツ情報には、記憶部62に記憶された音声コンテンツの一部が、後述する制御部65により加工されて生成される音声コンテンツを用いることが設定されてもよい。もしくは、音声コンテンツ情報には、例えば、ユーザが発言した内容に対する応答内容のように、後述する制御部65が新たに生成する音声コンテンツを用いることが設定されてもよい。なお、以降の説明において、制御部65が生成する音声コンテンツを総称して生成コンテンツとして記載することがある。
変更前位置には、音声コンテンツ毎の変更前の音像定位置が設定される。変更前位置には、端末位置情報を基準とする相対的な位置が設定される。図5に示すように、変更前位置には、通信端末40を基準とした方向と、通信端末40を基準とした距離が設定される。図3のキャラクタCのようにユーザUに仮想的に同伴する仮想物体については、変更前位置には、キャラクタCの仮想位置が設定される。図3の店舗Shのように位置が固定されたものについては、変更前位置には何も設定されなくてもよい。また、図3のキャラクタCとは異なる、例えば、案内人のような特定のエリアにしか登場しないキャラクタについても、変更前位置には何も設定されなくてもよい。
なお、図5では、変更前位置には、通信端末40を基準とした方向として、「右前」、「右」が設定されるものとして記載しているが、通信端末40の方向情報が示す方向と、通信端末40の位置を基準とする音像定位位置の方向との間の角度で設定されてもよい。換言すると、変更前位置には、通信端末40の前方方向と、通信端末40の位置を基準とする音像定位置の方向との間の角度、及び通信端末40の位置を基準とする音像定位位置までの距離の組み合わせで設定されてもよい。なお、実際には、ある実在する種々の物体の近辺から仮想人物が話をするような場面等、実在する種々の物体の位置に応じて音像定位位置が定まることもある。そのため、通信端末40の方向情報が示す方向と、通信端末40の位置を基準とする特定の物体である目標物の位置の方向との間の角度で設定されてもよい。
変更情報には、音声コンテンツ毎に、変更後の音像定位置を特定する情報が設定される。変更情報には、端末位置情報を基準としたときの音像定位位置の相対位置が設定されてもよい。もしくは、変更情報には、変更前の音像定位置からの変更距離が設定されてもよい。もしくは、音像定位位置情報には、変更前の音像定位置から変更する高さ情報が設定されてもよい。
図5では1つの位置又は高さの変化のみが設定されているように記載されているが、変更情報には、複数の位置及び高さの変化が時系列的に設定されてもよい。変更情報には、例えば、高さの変化が所定期間繰り返すことが設定されてもよいし、キャラクタCの動きを表すような設定がされてもよい。
なお、音像定位関連テーブルT1は、変更後の音像定位位置に関する情報が含まれていないが、記憶部62は、後述する生成部63が決定した、変更後の音像定位位置に関する音像定位位置情報を関連する他の情報と対応付けて保持する。また、本開示では、音像定位関連テーブルT1は、変更情報を保持することとして説明するが、変更情報に加えて、又は変更情報に替えて、変更後の音像定位位置を保持する構成としてもよい。
図4に戻り説明を続ける。記憶部62は、音像定位関連テーブルT1の音声コンテンツに設定された、1つ又は複数の音声コンテンツを記憶する。1つ又は複数の音声コンテンツは、音像定位処理が実行される前の音声コンテンツである。つまり、記憶部62は、音像定位処理を実行するためのパラメータが付加される前の1つ又は複数の音声コンテンツを記憶する。
生成部63は、実施の形態1における生成部4に対応する。生成部63は、端末位置情報が、音像定位関連テーブルT1のいずれかの対象エリアに含まれる場合、音像定位位置情報と端末位置情報とに基づいて、音像定位用情報を生成する。音像定位位置情報は、変更後の音像定位置に関する情報である。音像定位用情報は、端末位置情報が含まれる対象エリアに対応付けられた音声コンテンツに対して音像定位処理を行うために用いられるパラメータである。音像定位用情報は、端末情報が含まれる対象エリアに対応付けられた音声コンテンツが、変更後の音像定位位置(音像定位位置情報)からの音として聴取できるように補正するためのパラメータである。
生成部63は、音像定位関連テーブルT1のエリア情報と、端末位置情報とを比較して、端末位置情報が、音像定位関連テーブルT1の対象エリアの各々に含まれるか否かを判定する。
なお、生成部63は、端末位置情報に基づいて、通信端末40の各対象エリアに対する進入角度を算出し、当該進入角度をさらに用いて、端末位置情報がいずれかの対象エリアに含まれるか否かを判定してもよい。この場合、生成部63は、取得した複数の端末位置情報により構成される端末位置情報群に基づいて、通信端末40の移動経路を算出する。生成部63は、算出した移動経路に基づいて、各対象エリアに対する通信端末40の進入角度を算出する。生成部63は、算出した移動経路に基づいて、各対象エリアのエリア情報から求まる各対象エリアの中心点に対する通信端末40の進入角度を算出する。生成部63は、各対象エリアに対する進入角度が所定の角度範囲内であるかを判定する。生成部63は、端末位置情報がエリア情報に含まれ、かつ、当該エリア情報に対応する対象エリアに対する進入角度が所定の角度範囲内である対象エリアを判定する。
音像定位関連テーブルT1のいずれかのエリア情報が端末位置情報を含む場合、生成部63は、音像定位関連テーブルT1において、端末位置情報を含むエリア情報に対応付けられた変更前位置と、変更情報と、音声コンテンツ情報を取得する。生成部63は、取得した音声コンテンツ情報を制御部65に出力する。
生成部63は、取得した変更前位置及び変更情報に基づいて、変更後の音像定位位置を決定し、変更後の音像定位置を音像定位位置情報として保持する。なお、生成部63は、端末位置情報である変更前位置及び変更情報に加えて、対象エリアと関連付けられた、実在する物体の位置情報と、及び当該対象エリアへの進入角度を用いて変更後の音像定位位置を設定してもよい。進入角度は、好ましくは、対象エリアの中心点(中心位置)に対する端末の進入角度等であってもよい。具体的には、生成部63は、取得した変更前位置及び変更情報と、対象エリアに対する進入角度とに基づいて、端末位置情報により特定されるユーザの対象エリアに対する進入角度が所定の角度以内である場合に限り、音像定位位置を変更するものとしてもよい。一方、生成部63は、対象エリアに対する進入角度が所定の角度以内ではない場合、音像定位位置を変更しなくてもよい。
生成部63は、決定した変更後の音像定位位置を、記憶部62に記憶する。生成部63は、音像定位関連テーブルT1において、更新しようとする変更前位置に対応付けられた物体情報がキャラクタCのように、複数の情報(レコード)に関連がある場合、物体情報がキャラクタCである全ての情報(レコード)の変更前位置を更新する。
生成部63は、音像定位位置情報と、端末位置情報とに基づいて、音像定位用情報を生成する。なお、音像定位関連テーブルT1の変更情報に、複数の位置の変化、及び/又は複数の高さの変化が時系列的に設定されている場合、生成部63は、各時刻及び各音像定位位置に対応する複数の音像定位位置情報を生成する。
上述したように、端末位置情報は、左ユニット40L及び右ユニット40Rの各々の端末位置情報を含む。生成部63は、左ユニット40Lの端末位置情報と、変更後の音像定位位置情報とに基づいて、左ユニット40L用の左耳用音像定位用情報を生成する。生成部63は、右ユニット40Rの端末位置情報と、変更後の音像定位位置情報とに基づいて、右耳用音像定位用情報を生成する。生成部63は、左耳用音像定位用情報と、右耳用音像定位用情報とを含む音像定位用情報を出力部64に出力する。
出力部64は、実施の形態1における出力部5に対応する。出力部64は、生成部63が生成した、左耳用音像定位用情報と、右耳用音像定位用情報とを含む音像定位用情報を制御部65に出力する。
制御部65は、生成部63から出力された音声コンテンツ情報に対応する音声コンテンツを記憶部62から取得する。制御部65は、生成部63から出力された音声コンテンツ情報が、図5の生成コンテンツ4のように、制御部65により生成される音声コンテンツである場合、当該音声コンテンツを生成する。例えば、制御部65がユーザの音声信号に基づき音声コンテンツを生成する場合、端末情報取得部61が通信端末40を所有するユーザの音声信号を受信する。そして、制御部65は、当該音声信号を音声認識するとともに、音声認識された情報に対して形態素解析を行い、ユーザの音声信号に対応する音声コンテンツを生成する。
制御部65は、取得又は生成した音声コンテンツを、生成部63が生成した音像定位用情報に基づいて、音像定位処理を実行する。換言すると、制御部65は、取得又は生成した音声コンテンツを、音像定位用情報に基づいて補正する。制御部65は、左耳用音像定位用情報に基づいて、音声コンテンツを補正して、左耳用音声コンテンツを生成する。制御部65は、右耳用音像定位用情報に基づいて、音声コンテンツを補正して、右耳用音声コンテンツを生成する。
制御部65は、通信部としても機能し、左耳用音声コンテンツ及び右耳用音声コンテンツを、それぞれ通信端末40の左ユニット40L及び右ユニット40Rに送信する。制御部65は、生成部63が音像定位用情報を生成するごとに、最新の音像定位用情報に基づいて、左耳用音声コンテンツ及び右耳用音声コンテンツを生成し、左ユニット40L及び右ユニット40Rに送信する。そして、制御部65は、通信端末40の左ユニット40L及び右ユニット40Rの出力部42に、左耳用音声コンテンツ及び右耳用音声コンテンツを出力するように制御する。
<サーバ装置の動作例>
次に、図6を用いて、実施の形態2にかかるサーバ装置60の動作例を説明する。図6は、実施の形態2にかかるサーバ装置の動作例を示すフローチャートである。サーバ装置60は、端末位置情報を取得するたびに、図6の動作例を実行する。なお、記憶部62は、音像定位関連テーブルT1を予め記憶しており、音像定位関連テーブルT1には、n(nは自然数)個の対象エリアが設定され、図6において、変数iは、エリア番号であることとして説明する。
端末情報取得部61は、端末位置情報を取得する(ステップS11)。端末情報取得部61は、通信端末50から端末位置情報を受信して、端末位置情報を取得する。
サーバ装置60はステップS12~S15を対象エリア数分繰り返し実行する。
生成部63は、端末位置情報がエリアiに含まれているか否かを判定する(ステップS12)。生成部63は、端末位置情報と、音像定位関連テーブルT1の対象エリアがエリアiである行(レコード)のエリア情報とを比較して、端末位置情報がエリアiのエリア情報に含まれるか否かを判定する。
端末位置情報がエリアiのエリア情報に含まれている場合(ステップS12のYES)、生成部63は、音像定位用情報を生成する(ステップS13)。生成部63は、音像定位関連テーブルT1の対象エリアがエリアiである行(レコード)の変更前位置と、変更情報とを取得する。生成部63は、取得した変更前位置及び変更情報に基づいて、変更後の音像定位位置を決定し、変更後の音像定位置を音像定位位置情報として保持する。生成部63は、音像定位位置情報を、エリアiと対応付けて記憶部62に記憶する。生成部63は、音像定位位置情報と、端末位置情報とに基づいて、音像定位用情報を生成する。
出力部64は、音像定位用情報を制御部65に出力する(ステップS14)。
制御部65は、音声コンテンツを補正し、補正された音声コンテンツを通信端末40の出力部42に送信する(ステップS15)。
制御部65は、音像定位関連テーブルT1の対象エリアがエリアiである行(レコード)の音声コンテンツ情報に対応する音声コンテンツを記憶部62から取得する。制御部65は、音像定位関連テーブルT1の対象エリアがエリアiである行(レコード)の音声コンテンツが、生成される音声コンテンツである場合、当該音声コンテンツを生成する。制御部65は、取得又は生成した音声コンテンツを、音像定位用情報に基づいて補正し、補正された音声コンテンツを通信端末40に送信する。
通信端末40は、左ユニット40L及び右ユニット40Rを含むため、制御部65は、左耳用音声コンテンツ及び右耳用音声コンテンツを生成し、それぞれ通信端末40の左ユニット40L及び右ユニット40Rに送信する。制御部65は、生成部63が音像定位用情報を生成するごとに、最新の音像定位用情報に基づいて、左耳用音声コンテンツ及び右耳用音声コンテンツを生成し、左ユニット40L及び右ユニット40Rに送信する。
ステップS15が終了すると、エリア番号を示す変数iをインクリメントして、次のエリアに対するループ処理を実行する。
ステップS12において、端末位置情報がエリアiのエリア情報に含まれていない場合(ステップS12のNO)、サーバ装置60は、ステップS13~S15の処理をせず、変数iをインクリメントして、次のエリアに対するループ処理を実行する。
以上説明したように、サーバ装置60は、音像定位関連テーブルT1に基づいて、端末情報が含まれるエリアを特定し、当該エリアに対応付けられた変更情報を用いて決定された音像定位位置情報と、端末位置情報とに基づいて、音像定位用情報を生成する。サーバ装置60は、当該エリアに対応付けられた音声コンテンツを音像定位用情報に基づいて補正し、ユーザの左右の耳に補正された音声コンテンツを出力する。このようにして、サーバ装置60は、例えば、図3のキャラクタCが移動しているかのような音声コンテンツをユーザに提供する。したがって、実施の形態2にかかるサーバ装置60によれば、現実空間に近い体感をユーザに提供できる。
また、サーバ装置60は、音像定位関連テーブルT1を図5のエリア1のように設定することにより、図3の店舗Shが、店舗Shの位置から仮想的に話しかけてくるような音声コンテンツをユーザに提供できる。したがって、実施の形態2にかかるサーバ装置60によれば、現実空間では味わうことができない仮想体験をユーザに提供できる。
(実施の形態3)
続いて、実施の形態3について説明する。実施の形態3は、実施の形態2の変形例である。実施の形態2では、サーバ装置60が、音声コンテンツに対する音像定位処理を実行していたが、実施の形態3では、通信端末が、音声コンテンツに対する音像定位処理を実行する。なお、実施の形態3は、実施の形態2と同様の構成及び動作を含むため、同様の構成及び動作については適宜説明を割愛する。
<情報処理システムの構成例>
図7を用いて、実施の形態3にかかる情報処理システム200について説明する。図7は、実施の形態3にかかる情報処理システムの構成例を示す図である。情報処理システム200は、通信端末40と、通信端末70と、サーバ装置80とを備える。情報処理システム200は、実施の形態2にかかる通信端末50が通信端末70に置き換わり、サーバ装置60がサーバ装置80に置き換わった構成である。通信端末40の構成例及び動作例については、実施の形態2と同様であるため、適宜説明を割愛する。
<通信端末の構成例>
次に、通信端末70の構成例について説明する。通信端末70は、端末位置情報取得部51と、制御部71とを備える。通信端末70は、実施の形態2にかかる通信端末50の構成に、制御部71が追加された構成である。端末位置情報取得部51の構成は、実施の形態2と同様であるため、適宜説明を割愛する。なお、本実施の形態では、通信端末70が制御部71を備える構成として説明するが、通信端末40が制御部71を備え、通信端末70が制御部71を備えない構成としてもよい。
制御部71は、通信端末40及びサーバ装置80と通信を行う。制御部71は、サーバ装置80の出力部81から音声コンテンツ及び音像定位用情報を受信する。制御部71は、音像定位用情報に基づいて、音声コンテンツに対して音像定位処理を実行する。換言すると、制御部71は、音像定位用情報に基づいて、音声コンテンツを補正する。
音像定位用情報は、実施の形態2と同様に、左耳用音像定位用情報と、右耳用音像定位用情報とを含む。制御部71は、左耳用音像定位用情報に基づいて、音声コンテンツを補正して、左耳用音声コンテンツを生成する。制御部71は、右耳用音像定位用情報に基づいて、音声コンテンツを補正して、右耳用音声コンテンツを生成する。
制御部71は、左耳用音声コンテンツ及び右耳用音声コンテンツを、それぞれ通信端末40の左ユニット40L及び右ユニット40Rに送信する。制御部71は、出力部81から音像定位用情報を生成するごとに、最新の音像定位用情報に基づいて、左耳用音声コンテンツ及び右耳用音声コンテンツを生成し、左ユニット40L及び右ユニット40Rに送信する。制御部71は、通信端末40の左ユニット40L及び右ユニット40Rの出力部42に、左耳用音声コンテンツ及び右耳用音声コンテンツを出力するように制御する。
<サーバ装置の構成例>
次に、サーバ装置80の構成例について説明する。サーバ装置80は、端末情報取得部61と、記憶部62と、生成部63と、出力部81とを備える。サーバ装置80は、実施の形態2にかかる制御部65を備えず、出力部64が出力部81に置き換わった構成である。端末情報取得部61、記憶部62、及び生成部63の構成は、実施の形態2と同様であるため、適宜説明を割愛する。
生成部63は、音像定位関連テーブルT1において、端末位置情報を含むエリア情報に対応付けられた音声コンテンツ情報を取得して、取得した音声コンテンツ情報を出力部81に出力する。
出力部81は、通信部としても機能し、生成部63が生成した、左耳用音像定位用情報と、右耳用音像定位用情報とを含む音像定位用情報を制御部71に送信(出力)する。出力部81は、音像定位用情報を生成部63が生成するごとに音像定位用情報を制御部71に送信する。出力部81は、制御部71が、最新の音像定位用情報で音像定位処理を行うように制御する。
出力部81は、生成部63から出力された音声コンテンツ情報に対応する音声コンテンツを記憶部62から取得する。出力部81は、生成部63から出力された音声コンテンツ情報が、図5の生成コンテンツ4のように、生成コンテンツである場合、音声コンテンツを生成する。出力部81は、取得又は生成した音声コンテンツを制御部71に送信する。なお、制御部71に最後に送信した音声コンテンツ情報と、生成部63から出力された音声コンテンツ情報とが同一である場合、出力部81は、音声コンテンツ情報に対応する音声コンテンツを制御部71に送信しなくてもよい。
<情報処理システムの動作例>
次に、実施の形態3にかかる情報処理システム200の動作例について説明する。情報処理システム200の動作例については、図6に示した動作例と基本的に同様であるため、図6を参照して説明を行う。
ステップS11~S13までの動作は、図6と同様であるため、説明を割愛する。
出力部81は、音像定位用情報を制御部71に出力(送信)する(ステップS14)。出力部81は、生成部63が生成した音像定位用情報を制御部71に送信する。出力部81は、音像定位関連テーブルT1の対象エリアがエリアiである行(レコード)の音声コンテンツ情報に対応する音声コンテンツを記憶部62から取得する。出力部81は、音像定位関連テーブルT1の対象エリアがエリアiである行(レコード)の音声コンテンツ情報が、生成コンテンツ(生成される音声コンテンツ)である場合、音声コンテンツを生成する。出力部81は、取得又は生成した音声コンテンツを制御部71に送信する。
制御部71は、音声コンテンツを補正し、補正された音声コンテンツを通信端末40の出力部42に送信する(ステップS15)。制御部71は、音声コンテンツ及び音像定位用情報を出力部81から受信する。制御部71は、音声コンテンツを、音像定位用情報に基づいて補正し、補正された音声コンテンツを通信端末40に送信する。
制御部71は、左耳用音声コンテンツ及び右耳用音声コンテンツを生成し、それぞれ通信端末40の左ユニット40L及び右ユニット40Rに送信する。制御部71は、出力部81から音像定位用情報を受信するごとに、最新の音像定位用情報に基づいて、左耳用音声コンテンツ及び右耳用音声コンテンツを生成し、左ユニット40L及び右ユニット40Rに送信する。
以上説明したように、実施の形態2の構成を実施の形態3のように構成しても、実施の形態2と同様の効果を有することができる。
実施の形態3は、音声コンテンツに対する音像定位処理を通信端末70が実行する構成である。実施の形態2のようにサーバ装置80が、全ての通信端末に出力する音声コンテンツに対して音像定位処理を行うと、通信端末の数が増えるにつれて、サーバ装置80の処理負荷が増大してしまう。そのため、通信端末の数に応じて、サーバ装置を増設する必要性が生じる。これに対して、実施の形態3では、サーバ装置80は、音声コンテンツに対する音像定位処理を実行せず、通信端末70が実行するため、サーバ装置80の処理負荷を軽減させることができ、サーバ増設に伴う設備費用を抑制することができる。
さらに、実施の形態3のように構成すれば、ネットワーク負荷を抑制することができる。具体的には、図5に示した音像定位関連テーブルT1のエリア2及びエリア3のように、複数のエリアにおいて同一の音声コンテンツが用いられ、通信端末70がエリア2とエリア3との間を移動した場合等、音像定位位置だけが変更されることも想定される。また、音像定位関連テーブルT1の変更情報に、時系列的な変化が設定される場合、音像定位位置だけが時系列的に変化し、音声コンテンツは同一である。この場合、実施の形態2では、サーバ装置60は、音像定位用情報だけが更新されたとしても、音像定位処理がされた音声コンテンツを通信端末40に送信しなければならない。これに対して、実施の形態3では、サーバ装置80は、音像定位用情報だけを送信すればよい。したがって、実施の形態3のように構成すれば、ネットワーク負荷を抑制することができる。
(実施の形態4)
続いて、実施の形態4について説明する。実施の形態4は、実施の形態2及び3の改良例である。そのため、実施の形態4の説明を、実施の形態3を用いて、実施の形態3との差分を説明する。実施の形態4は、実施の形態3にかかるサーバ装置80がサーバ装置90に置き換わった構成である。なお、実施の形態4にかかる情報処理システム、通信端末40及び70の構成例は、実施の形態3と基本的に同様である。そのため、情報処理システムの構成例、通信端末40及び70の構成例については説明を適宜割愛する。
<通信端末の構成例>
通信端末40の構成例については、実施の形態3と基本的に同様であるが、方向情報取得部41は、取得した方向情報をサーバ装置60にも送信する。
<サーバ装置の構成例>
図8を用いて、サーバ装置90の構成例について説明する。図8は、実施の形態4にかかるサーバ装置の構成例を示す図である。サーバ装置90は、端末情報取得部91と、記憶部62と、生成部92と、出力部81とを備える。記憶部62及び出力部81は、実施の形態3と同様であるため説明を割愛する。
端末情報取得部91は、通信端末40から方向情報を受信する。
生成部92は、実施の形態3の構成に加えて、音像定位位置情報の調整を行う。具体的には、生成部92は、音像定位関連テーブルT1のエリア情報と、端末位置情報とに基づいて、エリア情報に端末位置情報が含まれるかを判定する。生成部92は、エリア情報に端末位置情報が含まれる場合、音像定位関連テーブルT1の当該エリア情報に対応付けられた変更前位置及び変更情報に基づいて、変更後の音像定位位置を決定し、決定された音像定位置を音像定位位置情報として保持する。なお、生成部92は、音像定位位置情報を端末位置情報が含まれるエリア情報(対象エリア)と対応付けて、記憶部62に記憶する。
生成部92は、変更後の音像定位位置(音像定位位置情報)の調整が必要であるか否かを判定する。生成部92は、音像定位位置情報の調整が必要であると判定した場合、音像定位位置情報を調整する。生成部92は、変更後の音像定位位置を調整した場合、調整後の音像定位位置を、音像定位位置情報として保持する。生成部92は、音像定位位置情報を端末位置情報が含まれるエリア情報(対象エリア)と対応付けて、記憶部62に記憶する。そして、生成部92は、音像定位位置情報と、端末位置情報とに基づいて、音像定位用情報を生成する。
生成部92は、通信端末位置情報と、音像定位位置情報との距離に応じて音像定位位置情報の調整要否を判定し、音像定位位置情報を調整してもよい。生成部92は、音像定位関連テーブルT1の変更情報に基づいて、変更後の音像定位位置を決定するが、音像定位関連テーブルT1の変更情報には、変更前の音像定位置からの変更距離が設定され得る。そのため、変更前の音像定位置が端末位置情報から遠い場合、生成部92は、変更後の音像定位位置を、通信端末40の位置から遠い位置に設定してしまう可能性がある。したがって、生成部92は、端末位置情報と、音像定位位置情報との距離が所定値以上である場合、音像定位位置情報の調整が必要であると判定し、端末位置情報と、音像定位位置情報との距離が所定値となるように、音像定位位置情報を調整してもよい。
また、生成部92は、音像定位関連テーブルT1のエリア情報に、対象エリアの特性情報が設定されている場合、端末位置情報を含む対象エリアの特性情報と、現在時刻とに基づいて、音像定位位置情報の調整要否を判定し、音像定位位置情報を調整してもよい。
生成部92は、現在時刻が、端末位置情報を含む対象エリアの特性情報に含まれる時間帯に含まれ、端末位置情報と、音像定位位置情報との距離が所定値以上である場合、音像定位位置情報の調整が必要であると判定してもよい。そして、生成部92は、変更後の音像定位置が通信端末に近づくように、音像定位位置情報を調整してもよい。もしくは、生成部92は、現在時刻が、特性情報に含まれる時間帯に含まれ、端末位置情報と、音像定位位置情報との距離が所定値未満である場合、音像定位位置情報の調整が必要であると判定してもよい。そして、生成部92は、変更後の音像定位位置が通信端末から遠くになるように、音像定位位置情報を調整してもよい。
このようにすれば、例えば、端末位置情報を含む対象エリアが夜景の綺麗なエリアで、仮想キャラクタが仮想的な恋人である場合、生成部92は、恋人が近くに寄り添ってくるように音像定位位置情報を調整でき、より現実空間に近い体感をユーザに提供できる。また、例えば、端末位置情報を含む対象エリアが昼間は混雑している場合、生成部92は、仮想的なキャラクタが話す内容を聞き易くしているかのように音像定位位置情報を調整でき、より現実空間に近い体感をユーザに提供できる。もしくは、例えば、端末位置情報を含む対象エリアが、ある時間帯は閑散としている場合、生成部92は、仮想的なキャラクタが混雑状況を考慮した位置に立ち位置を変更するかのように音像定位位置情報を調整でき、より現実空間に近い体感をユーザに提供できる。
また、生成部92は、端末位置情報に含まれる高度情報に基づいて、音像定位位置情報の調整要否を判定し、音像定位位置情報を調整してもよい。具体的には、生成部92は、高度情報に基づいて、通信端末の水平面との高さが変化する場合、音像定位位置情報の調整が必要であると判定し、音像定位位置情報を調整してもよい。
例えば、端末位置情報を含む対象エリアが、段差があるエリアであることも想定される。生成部92は、高度情報に基づいて、通信端末が水平面との高さが高くなる場合、変更後の音像定位位置が通信端末の位置よりも低くなるように音像定位位置情報を調整してもよい。もしくは、生成部92は、高度情報に基づいて、通信端末が水平面との高さが低くなる場合、変更後の音像定位位置が通信端末の位置よりも高くなるように音像定位位置情報を調整してもよい。このようにすれば、例えば、端末位置情報を含む対象エリアが、段差が多いエリアである場合、生成部63は、段差に合わせて音像定位位置情報を調整でき、より現実空間に近い体感をユーザに提供できる。
また、生成部92は、方向情報に基づいて、音像定位位置情報の調整要否を判定し、音像定位位置情報を調整してもよい。生成部92は、端末位置情報及び方向情報の少なくとも1つに基づいて、通信端末40が目標物から遠ざかる方向に移動している場合、音像定位位置情報の調整が必要であると判定し、端末位置情報を基準とする目標物の方向に音像定位位置情報を調整してもよい。目標物は、例えば、図3で示した建物Oである。このようにすれば、通信端末40を所有するユーザが、建物Oを通り過ぎてしまっている場合に、建物Oを通り過ぎていることを当該ユーザに気づかせることができる。この場合、例えば、生成部92は、例えば、「建物Oは、こっちの方だよ」等の専用の音声コンテンツが出力されるように調整してもよい。
また、生成部92は、端末位置情報と目標物の位置情報(目標物位置情報)との距離、及び通信端末40と目標物の方向(目標物方向)とに基づいて、音像定位位置情報の調整要否を判定し、音像定位位置情報を調整してもよい。生成部92は、端末位置情報と目標物位置情報とが所定距離となり、方向情報により特定される方向が、通信端末40を基準とする目標物方向である場合、目標物方向に、変更後の音像定位位置が設定されないように音像定位位置情報を調整してもよい。換言すると、生成部92は、端末位置情報と目標物位置情報とが所定距離となり、方向情報が示す方向が、通信端末40を基準とする目標物方向である場合、目標物方向と異なる位置に、変更後の音像定位位置が設定されるように音像定位位置情報を調整してもよい。
なお、この場合、生成部92は、端末位置情報が含む方向情報の変化を検出するように構成し、方向情報により特定される方向が目標物方向となったタイミングで、目標物方向に音像定位位置情報が設定されないように音像定位位置情報を調整してもよい。もしくは、生成部92は、端末位置情報が所定時間変化しないタイミングで、目標物方向に音像定位位置情報が設定されないように音像定位位置情報を調整してもよい。
このようにすれば、通信端末40を所有するユーザが、建物Oを視認可能な位置にいる場合、生成部92は、当該ユーザが建物Oを視認している方向から音声コンテンツが聴取されないように調整できる。すなわち、生成部92は、上記ユーザが建物O等の目標物を観賞することを阻害することを抑制できる。
<情報処理システムの動作例>
次に、図6及び図9を用いて、実施の形態4にかかる情報処理システムの動作例について説明する。まず、実施の形態4にかかる情報処理システムは、図6で示した動作例を実行するが、図6のステップS13の詳細動作が異なる。図9を用いて、図6のステップS13の詳細動作を説明する。図9は、実施の形態4における音像定位用情報の生成処理の詳細動作を説明するフローチャートである。図9に示す動作は、生成部92が実行する動作である。
ステップS12において、生成部92が、端末位置情報がエリアiに含まれると判定する場合(ステップS12のYES)、生成部92は、音像定位関連テーブルT1から、エリアiに対応付けられた変更前位置及び変更情報を取得する(ステップS131)。
生成部92は、取得した変更前位置及び変更情報に基づいて、変更後の音像定位位置を決定し、音像定位位置情報として保持する(ステップS132)。
生成部92は、変更後の音像定位位置の調整が必要であるか否かを判定する(ステップS133)。
生成部92は、通信端末位置情報と、音像定位位置情報との距離に応じて音像定位位置情報の調整要否を判定してもよい。もしくは、生成部92は、音像定位関連テーブルT1のエリア情報に、対象エリアの特性情報が設定されている場合、端末位置情報を含む対象エリアの特性情報と、現在時刻とに基づいて、音像定位位置情報の調整要否を判定してもよい。もしくは、生成部92は、端末位置情報に含まれる高度情報に基づいて、音像定位位置情報の調整要否を判定してもよい。もしくは、生成部92は、方向情報に基づいて、音像定位位置情報の調整要否を判定してもよい。もしくは、生成部92は、端末位置情報と目標物位置情報との距離、及び通信端末40と目標物方向とに基づいて、音像定位位置情報の調整要否を判定し、音像定位位置情報を調整してもよい。
生成部92は、変更後の音像定位位置の調整が必要であると判定した場合(ステップS133のYES)、変更後の音像定位位置を調整し、調整後の音像定位位置を調整後の音像定位位置情報として保持する(ステップS134)。
一方、生成部92は、変更後の音像定位位置の調整が必要ではないと判定した場合(ステップS133のNO)、ステップS134の処理をスキップして、ステップS135を実行する。
生成部92は、音像定位位置情報と、端末位置情報とに基づいて、音像定位用情報を生成する(ステップS135)。生成部92は、音像定位用情報を生成すると、生成した音像定位用情報を出力部81に出力する。
以上説明したように、生成部92は、音像定位関連テーブルT1の変更前位置及び変更情報に基づいて、変更後の音像定位位置を決定することに加えて、変更後の音像定位位置の調整を行う。上述したように、生成部92が変更後の音像定位位置を調整することにより、実施の形態3よりも、より現実空間に近い体感をユーザに提供できる。
また、上述したように、生成部92は、建物O等の目標物を通り過ぎたことをユーザに気づかせるように変更後の音像位置を調整したり、ユーザが建物O等の目標物を観賞することを阻害することを抑制するように変更後の音像位置を調整する。したがって、すなわち、実施の形態4にかかるサーバ装置90によれば、実施の形態3よりも、より現実空間に近い体感をユーザに提供でき、ユーザフレンドリーなサービスを提供できる。
(変形例)
実施の形態4にかかる生成部92が、通信端末40を所有するユーザに出力される音声コンテンツに関連する関連情報に基づいて、音像定位位置情報を調整するように変形を施してもよい。
生成部92は、音声コンテンツの長さに応じて音像定位位置情報を調整してもよい。音声コンテンツが生成される音声コンテンツである場合、音声コンテンツの長さが長い場合、又は短い場合も想定される。そのため、生成部92は、生成した音声コンテンツを取得して、音声コンテンツの長さを確認する。そして、生成部92は、音声コンテンツの長さが所定時間よりも長い場合、音像定位位置情報を、端末位置情報に近づけるように調整してもよい。もしくは、生成部92は、音声コンテンツの長さが所定時間よりも短い場合、音像定位位置情報を、端末位置情報から遠ざけるように調整してもよい。このようにすれば、音声コンテンツが長い場合、生成部92は、ユーザにより注意して音声コンテンツを聞いてもらうように調整できる。
また、ユーザに出力される音声コンテンツが仮想的なキャラクタに関連する音声コンテンツである場合、通信端末40を所有するユーザと、当該キャラクタとの親密度に応じて、音像定位位置情報を調整してもよい。親密度は、上記ユーザが、上記キャラクタを使用している時間に応じて設定されてもよい。生成部92は、上記ユーザが、上記キャラクタを使用している時間が増えるにつれて親密度が高くなるように親密度を設定する。そして、生成部92は、親密度が高いほど、音像定位位置が通信端末40の位置に近づくように音像定位位置情報を調整してもよい。
(実施の形態5)
続いて、実施の形態5について説明する。実施の形態5は、上述した実施の形態2~4の改良例である。実施の形態2~4では、サーバ装置は、ユーザに音声コンテンツを出力する構成であったが、本実施の形態では、ユーザに表示情報も出力する。以降の説明では、実施の形態3を用いて、実施の形態3との差分内容を説明する。
<情報処理システムの構成例>
図10を用いて、実施の形態5にかかる情報処理システム300の構成例について説明する。図10は、実施の形態5にかかる情報処理システムの構成例を示す図である。情報処理システム300は、実施の形態3にかかる通信端末70及びサーバ装置80が、それぞれ通信端末110及びサーバ装置120に置き換わった構成である。なお、通信端末40の構成例については、実施の形態3と同様であるため、説明を適宜割愛する。
<通信端末の構成例>
次に、通信端末110の構成例を説明する。通信端末110は、実施の形態3における通信端末70の構成に、撮像部112及び表示部113が追加され、端末位置情報取得部51が端末位置情報取得部111に置き換わった構成である。なお、制御部71の構成については、実施の形態3と同様であるため、説明を適宜割愛する。
端末位置情報取得部111は、実施の形態3にかかる端末位置情報取得部51の構成に加えて、通信端末110の方向情報を取得する。端末位置情報取得部111は、例えば、通信端末40と同様に9軸センサを備えるように構成され、通信端末110の方向情報を取得する。端末位置情報取得部111は、通信端末110の方向情報もサーバ装置120に送信する。また、端末位置情報取得部111は、通信端末110の端末位置情報も端末位置情報に含めてサーバ装置120に送信する。なお、通信端末110の方向情報は、撮像部112の撮像方向と一致するため、通信端末110の方向情報を撮像方向情報と称して記載する。
撮像部112は、例えば、カメラ等を含むように構成される。撮像部112は、所定の範囲を撮像して撮像画像を生成する。撮像部112は、生成した撮像画像を表示部113に出力する。撮像部112は、端末位置情報取得部111又は制御部71を介して、生成した撮像画像を、サーバ装置120の端末情報取得部121に送信する。なお、撮像画像は、静止画像であってもよく、動画像であってもよい。
表示部113は、例えば、ディスプレイ等を含むように構成される。表示部113は、撮像部112により撮像された撮像画像をディスプレイに表示する。また、表示部113は、サーバ装置120が生成する表示情報を受信し、受信した表示情報をディスプレイに表示する。表示情報は、撮像画像に設けられた基準座標に基づく座標と、映像AR情報とが対応付けられている。表示部113は、撮像部112が生成した撮像画像の上記座標に映像AR情報を重畳してディスプレイに表示する。
<サーバ装置の構成例>
次に、サーバ装置120の構成例について説明する。サーバ装置120は、端末情報取得部121と、記憶部122と、生成部123と、出力部124とを備える。端末情報取得部121、記憶部122、生成部123、及び出力部124は、実施の形態3にかかる端末情報取得部61、記憶部62、生成部63、及び出力部81がそれぞれ置き換わった構成である。
端末情報取得部121は、実施の形態3における端末情報取得部61の構成を有しており、撮像画像、及び撮像方向情報を通信端末110からさらに取得する。端末情報取得部121は、取得した撮像画像、及び撮像方向情報を生成部123に出力する。
記憶部122は、音像定位関連テーブルT2を記憶する。音像定位関連テーブルT2は、実施の形態3にかかる音像定位関連テーブルT1が置き換わったテーブルである。
ここで、図11を用いて、音像定位関連テーブルT2の一例を説明する。図11は、実施の形態5にかかる音像定位関連テーブルの一例を示す図である。図11に示すように、音像定位関連テーブルT2は、実施の形態3にかかる音像定位関連テーブルT1に、映像AR情報が追加されたテーブルである。映像AR情報には、対象エリアに対応付けられた映像AR情報が設定される。
図10に戻り、生成部123について説明する。生成部123は、実施の形態3にかかる生成部63の構成に、表示情報を生成する機能が追加された構成である。生成部123は、端末位置情報を含む対象エリアが存在する場合、当該対象エリアに対応付けられた変更位置及び変更情報に基づき決定される変更後の音像定位置が撮像画像に含まれるかを判定する。生成部123は、端末位置情報を含む対象エリアが存在する場合、通信端末110の端末位置情報及び撮像方向情報に基づいて、当該対象エリアに対応付けられた変更位置及び変更情報に基づき決定される変更後の音像定位置が撮像画像に含まれるかを判定する。
生成部123は、撮像画像に、変更後の音像定位位置が含まれている場合、音像定位関連テーブルT2の映像AR情報を取得する。生成部123は、撮像画像に基準座標を設け、変更後の音像定位位置に対応する座標を基準座標に基づいて決定する。生成部123は、決定した座標と、取得した映像AR情報とを対応付けて表示情報として生成する。生成部123は、表示情報を出力部124に出力する。
出力部124は、実施の形態3にかかる生成部63の構成に、表示情報を出力する機能が追加された構成である。出力部124は、生成部123が生成した表示情報を、制御部71に出力(送信)する。
<情報処理システムの動作例>
次に、図12を用いて、実施の形態5にかかる情報処理システム300の動作例を説明する。図12は、実施の形態5にかかる情報処理システムの動作例を示すフローチャートである。図12は、実施の形態3にかかる情報処理システムの動作例に、ステップS31~S34が追加されたフローチャートである。ステップS11~S15については、実施の形態3と同様であるため、説明を適宜割愛して説明する。
ステップS31において、端末情報取得部121は、撮像部112が生成した撮像画像、及び撮像方向情報を通信端末110から取得する(ステップS31)。端末情報取得部121は、撮像部112が生成した撮像画像、及び撮像方向情報を生成部123に出力する。
ステップS32において、生成部123は、撮像画像に、変更後の音像定位位置が含まれるか否かを判定する(ステップS32)。生成部123は、ステップS13において、音像定位関連テーブルT2の対象エリアがエリアiであるレコードの変更前位置及び変更情報に基づいて、変更後の音像定位位置を決定する。生成部123は、通信端末110の端末位置情報と、撮像画像と、撮像方向情報と、変更後の音像定位位置とを用いて、撮像画像に、変更後の音像定位位置が含まれるか否かを判定する。
撮像画像に、変更後の音像定位位置が含まれる場合(ステップS32のYES)、生成部123は、表示情報を生成する(ステップS33)。生成部123は、撮像画像に、変更後の音像定位位置が含まれている場合、音像定位関連テーブルT2のエリアiのレコードの映像AR情報を取得する。生成部123は、撮像画像に基準座標を設け、変更後の音像定位置に対応する座標を基準座標に基づいて決定する。生成部123は、決定した座標と、映像AR情報とを対応付けて表示情報として生成する。生成部123は、表示情報を出力部124に出力する。
出力部124は、生成部123が生成した表示情報を、制御部71に出力(送信)し(ステップS34)、変数iをインクリメントする。
一方、ステップS32において、撮像画像に、変更後の音像定位位置が含まれない場合(ステップS32のNO)、ステップS33及びS34を実行せず、変数iをインクリメントする。
以上説明したように、本実施の形態では、サーバ装置120は、音声コンテンツだけでなく、表示情報を生成し、音像定位位置が撮像画像に含まれる場合、音像定位置に映像AR情報を表示する。したがって、実施の形態5にかかる情報処理システム300によれば、音声コンテンツだけでなく、映像AR情報も表示するため、現実空間に近い体感をユーザに提供することに加えて、現実空間では味わうことができない新体感をユーザに提供できる。
(変形例)
上述した実施の形態5では、サーバ装置120は、通信端末110の方向情報に基づいて、撮像画像に、変更後の音像定位位置が含まれるか否かを判定するが、ARマーカーを用いて、撮像画像に、変更後の音像定位位置が含まれるか否かを判定してもよい。この場合、ARマーカーは、変更後の音像定位位置に対応する位置に配置される。生成部123は、撮像画像にARマーカーが含まれている場合、撮像画像に、変更後の音像定位位置が含まれると判定する。そして、生成部123は、ARマーカーが配置されている位置に基づく所定の位置に対応する撮像画像中の座標に、上記変更後の音像定位位置に対応付けられた映像AR情報を関連付けて表示情報を生成する。所定の位置は、ARマーカーが配置されている位置と同じであってもよく、ユーザに注目させたい位置であってもよく、任意に設定することができる。
また、通信端末110の撮像部112が、撮像画像にARマーカーが含まれるか否かを判定してもよい。撮像部112が、撮像画像にARマーカーが含まれていると判定する場合、表示部113は、ディスプレイのARマーカーの位置に基づく所定の位置にARマーカーに記憶された映像AR情報を表示してもよい。
もしくは、撮像部112が、撮像画像にARマーカーが含まれていると判定する場合、撮像画像及び撮像画像中のARマーカーの位置を端末情報取得部121に送信する。そして、生成部123が、ARマーカーが配置されている位置に基づく所定の位置に対応する撮像画像中の座標に、上記変更後の音像定位位置に対応付けられた映像AR情報を関連付けて表示情報を生成してもよい。
(他の実施の形態)
<1>上述した実施の形態では、生成部が音像定位位置情報を生成するものとして説明したが、生成部は、予め保持された音像定位位置情報の中から、対応する音像定位位置情報を選択する処理に替えてもよい。例えば、ユーザの移動方向が限定的である場合などでは、必要とする音像定位位置情報も限られてくる。そのため、保持部又は記憶部が、予め用いられる可能性のある音像定位位置情報を保持する。そして、生成部が、端末位置情報に基づいて、対応する音像定位位置情報を選択する処理を行う。このようにすれば、情報処理装置又はサーバ装置の処理負荷を軽減することもできる。
<2>上述した実施の形態において説明した情報処理装置1、通信端末40、50、70、110及びサーバ装置60、80、90、120(以下、情報処理装置1等と称する)は、次のようなハードウェア構成を有していてもよい。図13は、本開示の各実施の形態にかかる情報処理装置等のハードウェア構成を例示するブロック図である。
図13を参照すると、情報処理装置1等は、ネットワーク・インターフェース1201、プロセッサ1202及びメモリ1203を含む。ネットワーク・インターフェース1201は、通信機能を有する他の通信装置と通信するために使用される。ネットワーク・インターフェース1201は、例えば、IEEE(Institute of Electrical and Electronics Engineers) 802.11 series、IEEE 802.3 series等を含む通信方式に準拠したネットワークインターフェースカード(NIC)を含んでもよい。
プロセッサ1202は、メモリ1203からソフトウェア(コンピュータプログラム)を読み出して実行することで、上述の実施形態においてフローチャートを用いて説明された情報処理装置1等の処理を行う。プロセッサ1202は、例えば、マイクロプロセッサ、MPU(Micro Processing Unit)、又はCPU(Central Processing Unit)であってもよい。プロセッサ1202は、複数のプロセッサを含んでもよい。
メモリ1203は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ1203は、プロセッサ1202から離れて配置されたストレージを含んでもよい。この場合、プロセッサ1202は、図示されていないI/Oインターフェースを介してメモリ1203にアクセスしてもよい。
図13の例では、メモリ1203は、ソフトウェアモジュール群を格納するために使用される。プロセッサ1202は、これらのソフトウェアモジュール群をメモリ1203から読み出して実行することで、上述の実施形態において説明された情報処理装置1等の処理を行うことができる。
図13を用いて説明したように、情報処理装置1等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む1または複数のプログラムを実行する。
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)を含む。さらに、非一時的なコンピュータ可読媒体の例は、CD-ROM(Read Only Memory)、CD-R、CD-R/Wを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
通信端末の端末位置情報を取得する取得部と、
所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持する保持部と、
前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成する生成部と、
前記音像定位用情報を出力する出力部と、を備える情報処理装置。
(付記2)
前記生成部は、前記端末位置情報と、前記音像定位位置情報との距離に応じて前記音像定位位置情報を調整する、付記1に記載の情報処理装置。
(付記3)
前記生成部は、前記端末位置情報と、目標物の位置情報とに基づいて、前記通信端末が前記目標物から遠ざかる方向に移動している場合、前記端末位置情報を基準とする前記目標物の方向に前記音像定位位置情報を調整する、付記1又は2に記載の情報処理装置。
(付記4)
前記取得部は、前記通信端末の方向情報を取得し、
前記生成部は、前記端末位置情報と目標物の位置情報とが所定距離となり、前記方向情報が示す方向が、前記端末位置情報を基準とする前記目標物の方向を示す目標物方向である場合、前記目標物方向に前記音像定位位置情報が設定されないように前記音像定位位置情報を調整する、付記1~3のいずれか1項に記載の情報処理装置。
(付記5)
前記生成部は、前記方向情報が変化し、前記方向情報が示す方向が、前記目標物方向にとなるタイミングで、前記前記音像定位位置情報を調整する、付記4に記載の情報処理装置。
(付記6)
前記生成部は、前記位置情報が所定時間変化しないタイミングで、前記音像定位位置情報を調整する、付記4又は5に記載の情報処理装置。
(付記7)
前記端末位置情報は、高度情報を含み、
前記生成部は、前記高度情報の変化に応じて前記音像定位位置情報を調整する、付記1~6のいずれか1項に記載の情報処理装置。
(付記8)
前記生成部は、前記音声コンテンツの長さに応じて前記音像定位位置情報を調整する、付記1~7のいずれか1項に記載の情報処理装置。
(付記9)
前記音声コンテンツは、仮想物体に関連する音声コンテンツを含み、
前記生成部は、前記仮想物体に関連する音声コンテンツが前記通信端末に出力される場合、前記通信端末を所有するユーザと、前記仮想物体との親密度に応じて前記音像定位位置情報を調整する、付記1~8のいずれか1項に記載の情報処理装置。
(付記10)
前記取得部は、前記通信端末が撮像した撮像画像を取得し、
前記生成部は、前記撮像画像に前記音像定位位置情報に対応する位置が含まれる場合、前記音声コンテンツに関連する表示情報を生成し、
前記出力部は、前記表示情報を前記通信端末に出力する、付記1~9のいずれか1項に記載の情報処理装置。
(付記11)
通信端末の端末位置情報を取得することと、
所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
前記音像定位用情報を出力することと、を含む制御方法。
(付記12)
通信端末の端末位置情報を取得することと、
所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
前記音像定位用情報を出力することと、をコンピュータに実行させる制御プログラム。
この出願は、2019年12月19日に出願された日本出願特願2019-229636を基礎とする優先権を主張し、その開示の全てをここに取り込む。
1 情報処理装置
2 取得部
3 保持部
4、63、92、123 生成部
5、42、64、81、124 出力部
40、50、70、110 通信端末
41 方向情報取得部
51、111 端末位置情報取得部
60、80、90、120 サーバ装置
61、91、121 端末情報取得部
62、122 記憶部
65、71 制御部
100、200、300 情報処理システム
112 撮像部
113 表示部

Claims (20)

  1. 通信端末の端末位置情報を取得する取得手段と、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持する保持手段と、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成する生成手段と、
    前記音像定位用情報を出力する出力手段と、を備え
    前記取得手段は、前記通信端末の方向情報を取得し、
    前記生成手段は、前記端末位置情報と目標物の位置情報とが所定距離となり、前記方向情報が示す方向が、前記端末位置情報を基準とする前記目標物の方向を示す目標物方向である場合、前記目標物方向に前記音像定位位置情報が設定されないように前記音像定位位置情報を調整する、情報処理装置。
  2. 前記生成手段は、前記端末位置情報と、前記音像定位位置情報との距離に応じて前記音像定位位置情報を調整する、請求項1に記載の情報処理装置。
  3. 前記生成手段は、前記端末位置情報と、目標物の位置情報とに基づいて、前記通信端末が前記目標物から遠ざかる方向に移動している場合、前記端末位置情報を基準とする前記目標物の方向に前記音像定位位置情報を調整する、請求項1又は2に記載の情報処理装置。
  4. 前記生成手段は、前記方向情報が変化し、前記方向情報が示す方向が、前記目標物方向にとなるタイミングで、前記音像定位位置情報を調整する、請求項1~3のいずれか1項に記載の情報処理装置。
  5. 前記生成手段は、前記位置情報が所定時間変化しないタイミングで、前記音像定位位置情報を調整する、請求項1~4のいずれか1項に記載の情報処理装置。
  6. 前記端末位置情報は、高度情報を含み、
    前記生成手段は、前記高度情報の変化に応じて前記音像定位位置情報を調整する、請求項1~のいずれか1項に記載の情報処理装置。
  7. 前記生成手段は、前記音声コンテンツの長さに応じて前記音像定位位置情報を調整する、請求項1~のいずれか1項に記載の情報処理装置。
  8. 前記音声コンテンツは、仮想物体に関連する音声コンテンツを含み、
    前記生成手段は、前記仮想物体に関連する音声コンテンツが前記通信端末に出力される場合、前記通信端末を所有するユーザと、前記仮想物体との親密度に応じて前記音像定位位置情報を調整する、請求項1~のいずれか1項に記載の情報処理装置。
  9. 前記取得手段は、前記通信端末が撮像した撮像画像を取得し、
    前記生成手段は、前記撮像画像に前記音像定位位置情報に対応する位置が含まれる場合、前記音声コンテンツに関連する表示情報を生成し、
    前記出力手段は、前記表示情報を前記通信端末に出力する、請求項1~のいずれか1項に記載の情報処理装置。
  10. 通信端末の端末位置情報を取得する取得手段と、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持する保持手段と、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成する生成手段と、
    前記音像定位用情報を出力する出力手段と、を備え、
    前記生成手段は、前記音声コンテンツの長さに応じて前記音像定位位置情報を調整する、情報処理装置。
  11. 通信端末の端末位置情報を取得する取得手段と、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持する保持手段と、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成する生成手段と、
    前記音像定位用情報を出力する出力手段と、を備え、
    前記音声コンテンツは、仮想物体に関連する音声コンテンツを含み、
    前記生成手段は、前記仮想物体に関連する音声コンテンツが前記通信端末に出力される場合、前記通信端末を所有するユーザと、前記仮想物体との親密度に応じて前記音像定位位置情報を調整する、情報処理装置。
  12. 通信端末の端末位置情報を取得する取得手段と、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持する保持手段と、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成する生成手段と、
    前記音像定位用情報を出力する出力手段と、を備え、
    前記取得手段は、前記通信端末が撮像した撮像画像を取得し、
    前記生成手段は、前記撮像画像に前記音像定位位置情報に対応する位置が含まれる場合、前記音声コンテンツに関連する表示情報を生成し、
    前記出力手段は、前記表示情報を前記通信端末に出力する、情報処理装置。
  13. 通信端末の端末位置情報を取得することと、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
    前記音像定位用情報を出力することと、を含み、
    前記通信端末の方向情報を取得することと、
    前記端末位置情報と目標物の位置情報とが所定距離となり、前記方向情報が示す方向が、前記端末位置情報を基準とする前記目標物の方向を示す目標物方向である場合、前記目標物方向に前記音像定位位置情報が設定されないように前記音像定位位置情報を調整することと、をさらに含む制御方法。
  14. 通信端末の端末位置情報を取得することと、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
    前記音像定位用情報を出力することと、を含み、
    前記音声コンテンツの長さに応じて前記音像定位位置情報を調整することをさらに含む、制御方法。
  15. 通信端末の端末位置情報を取得することと、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
    前記音像定位用情報を出力することと、を含み、
    前記音声コンテンツは、仮想物体に関連する音声コンテンツを含み、
    前記仮想物体に関連する音声コンテンツが前記通信端末に出力される場合、前記通信端末を所有するユーザと、前記仮想物体との親密度に応じて前記音像定位位置情報を調整することをさらに含む、制御方法。
  16. 通信端末の端末位置情報を取得することと、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
    前記音像定位用情報を出力することと、を含み、
    前記通信端末が撮像した撮像画像を取得することと、
    前記撮像画像に前記音像定位位置情報に対応する位置が含まれる場合、前記音声コンテンツに関連する表示情報を生成することと、
    前記表示情報を前記通信端末に出力することと、をさらに含む制御方法。
  17. 通信端末の端末位置情報を取得することと、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
    前記音像定位用情報を出力することと、をコンピュータに実行させ
    前記通信端末の方向情報を取得することと、
    前記端末位置情報と目標物の位置情報とが所定距離となり、前記方向情報が示す方向が、前記端末位置情報を基準とする前記目標物の方向を示す目標物方向である場合、前記目標物方向に前記音像定位位置情報が設定されないように前記音像定位位置情報を調整することと、をさらにコンピュータに実行させる制御プログラム。
  18. 通信端末の端末位置情報を取得することと、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
    前記音像定位用情報を出力することと、をコンピュータに実行させ、
    前記音声コンテンツの長さに応じて前記音像定位位置情報を調整することをさらにコンピュータに実行させる制御プログラム。
  19. 通信端末の端末位置情報を取得することと、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
    前記音像定位用情報を出力することと、をコンピュータに実行させ、
    前記音声コンテンツは、仮想物体に関連する音声コンテンツを含み、
    前記仮想物体に関連する音声コンテンツが前記通信端末に出力される場合、前記通信端末を所有するユーザと、前記仮想物体との親密度に応じて前記音像定位位置情報を調整することをさらにコンピュータに実行させる制御プログラム。
  20. 通信端末の端末位置情報を取得することと、
    所定領域と、前記通信端末に出力する音声コンテンツの音像定位位置情報とを対応付けて保持することと、
    前記端末位置情報が前記所定領域に含まれる場合、前記音像定位位置情報と前記端末位置情報とに基づいて、音像定位用情報を生成することと、
    前記音像定位用情報を出力することと、をコンピュータに実行させ、
    前記通信端末が撮像した撮像画像を取得することと、
    前記撮像画像に前記音像定位位置情報に対応する位置が含まれる場合、前記音声コンテンツに関連する表示情報を生成することと、
    前記表示情報を前記通信端末に出力することと、をさらにコンピュータに実行させる制御プログラム。
JP2021565548A 2019-12-19 2020-12-11 情報処理装置、制御方法及びプログラム Active JP7384222B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019229636 2019-12-19
JP2019229636 2019-12-19
PCT/JP2020/046283 WO2021125081A1 (ja) 2019-12-19 2020-12-11 情報処理装置、制御方法及び非一時的なコンピュータ可読媒体

Publications (3)

Publication Number Publication Date
JPWO2021125081A1 JPWO2021125081A1 (ja) 2021-06-24
JPWO2021125081A5 JPWO2021125081A5 (ja) 2022-08-09
JP7384222B2 true JP7384222B2 (ja) 2023-11-21

Family

ID=76478780

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021565548A Active JP7384222B2 (ja) 2019-12-19 2020-12-11 情報処理装置、制御方法及びプログラム

Country Status (3)

Country Link
US (1) US20230007428A1 (ja)
JP (1) JP7384222B2 (ja)
WO (1) WO2021125081A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017103598A (ja) 2015-12-01 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019026597A1 (ja) 2017-07-31 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8718930B2 (en) * 2012-08-24 2014-05-06 Sony Corporation Acoustic navigation method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017103598A (ja) 2015-12-01 2017-06-08 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019026597A1 (ja) 2017-07-31 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、並びにプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
日本電気株式会社,「NEC、独自の音響定位技術を用いた空間演出プラットフォームの提供を開始」,NECプレスリリース [online] [video],日本電気株式会社,2019年11月21日,<URL:https://jpn.nec.com/press/201911/20191121_01.html>,動画(特に1:50~2:04),[令和5年7月11日検索]

Also Published As

Publication number Publication date
US20230007428A1 (en) 2023-01-05
WO2021125081A1 (ja) 2021-06-24
JPWO2021125081A1 (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
US11068227B2 (en) Information processing device and information processing method for indicating a position outside a display region
US10880670B2 (en) Systems and methods for determining estimated head orientation and position with ear pieces
CN108141696B (zh) 用于空间音频调节的系统和方法
KR102197544B1 (ko) 공간화 오디오를 가진 혼합 현실 시스템
US10257637B2 (en) Shoulder-mounted robotic speakers
US9774978B2 (en) Position determination apparatus, audio apparatus, position determination method, and program
JP7100824B2 (ja) データ処理装置、データ処理方法及びプログラム
JP2016201817A (ja) 情報処理システム、その制御方法、及びプログラム、並びに情報処理装置、その制御方法、及びプログラム
US10674259B2 (en) Virtual microphone
CN116601514A (zh) 用于使用声信标来确定设备的位置和取向的方法和系统
JP7384222B2 (ja) 情報処理装置、制御方法及びプログラム
WO2020026548A1 (ja) 情報処理装置及び情報処理方法、並びに音響システム
JP7428189B2 (ja) 情報処理装置、制御方法及び制御プログラム
US10820132B2 (en) Voice providing device and voice providing method
US10638249B2 (en) Reproducing apparatus
WO2022070337A1 (ja) 情報処理装置、ユーザ端末、制御方法、非一時的なコンピュータ可読媒体、及び情報処理システム
US20230370798A1 (en) Information processing device, control method, non-transitory computer-readable medium, and information processing system
US20230101693A1 (en) Sound processing apparatus, sound processing system, sound processing method, and non-transitory computer readable medium storing program
WO2014060598A2 (en) Sensing systems, associated methods and apparatus

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231010

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231023

R151 Written notification of patent or utility model registration

Ref document number: 7384222

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151