JP6326573B2 - 多機能イヤホンによる自律型アシスタントシステム - Google Patents

多機能イヤホンによる自律型アシスタントシステム Download PDF

Info

Publication number
JP6326573B2
JP6326573B2 JP2016217686A JP2016217686A JP6326573B2 JP 6326573 B2 JP6326573 B2 JP 6326573B2 JP 2016217686 A JP2016217686 A JP 2016217686A JP 2016217686 A JP2016217686 A JP 2016217686A JP 6326573 B2 JP6326573 B2 JP 6326573B2
Authority
JP
Japan
Prior art keywords
earphone
information
user
head
navigation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016217686A
Other languages
English (en)
Other versions
JP2018078398A (ja
Inventor
山本 健太郎
健太郎 山本
勇介 高野
勇介 高野
太史 熊谷
太史 熊谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nain Inc
Original Assignee
Nain Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nain Inc filed Critical Nain Inc
Priority to JP2016217686A priority Critical patent/JP6326573B2/ja
Publication of JP2018078398A publication Critical patent/JP2018078398A/ja
Application granted granted Critical
Publication of JP6326573B2 publication Critical patent/JP6326573B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Headphones And Earphones (AREA)

Description

本願発明は、利用者の状況に応じて最適な情報を提供できるイヤホン、特に、各種センサー情報を活用し、再生コンテンツの最適化を可能にするイヤホンにより提供される自律型アシスタントシステムに関する。
ウェアラブル機器の中でも特に音声によるイヤホンやヘッドホンによる音声を中心にしたユーザーインターフェースに基づく俗に「ヒアラブル」と呼ばれる分野に注目が集まっている。今日の技術環境・社会環境において「ヒアラブル」は様々な利点を有する。
眼鏡型のウェアラブル機器であるスマートグラスは、現時点でまだ社会的に受容されているとは言いがたく日常的に使用するには心理的抵抗が大きい。加えて、視角が狭く使用者に提供できる情報量に限りがあるという問題がある。また、腕時計型のウェアラブル機器であるスマートウォッチも、画面の小ささから使用者に提供できる情報量に限りがあるという問題がある。
これに対して、イヤホンやヘッドホンを使用した「ヒアラブル」では、音声による多量の情報を継続的に利用者に提供できる点で利点がある。また、イヤホンは常時着用している機器であることから、スマートフォンを取り出す、あるいは、スマートウォッチを見るなどの余分な動作なしに、利用者に対して瞬時に必要な情報を提供することが可能である。加えて、音楽鑑賞のために外出中にイヤホンを着用することは、多くの場合に社会的に許容されており、本人にとっても周囲の者にとっても使用の心理的抵抗感が少ない。さらに、イヤホンは画面サイズの影響を受けず本体をきわめて小型にすることも可能であり、いっそう自然に使用することが可能である。
しかし、今までのヒアラブル機器は音声による情報提供が中心であり、使用者の状態のフィードバックを得るという点では不十分であった。小型のセンサーにより血流や脈波の測定を行なうこと(たとえば、非特許文献1)、および、脈波波形から心理状態を推定すること(たとえば、非特許文献2)が技術的に可能になっているが、これらを十分に活かして、使用者の状況に応じたアシスタント機能を提供できるヒアラブル機器は存在しなかった。
「小型レーザー血流センサーの開発」(PIONEER R&D (Vol.21, No.1/2012))(http://pioneer.jp/corp/crdl_design/crdl/rd/pdf/21-1-5.pdf) 「脈波信号に基づく身体的・心理的状態の推定およびその可視化」(堀尾 恵一, 李 影1)https://www.jstage.jst.go.jp/article/fss/25/0/25_0_116/_article/-char/ja/
利用者の状況に応じて、提供されるコンテンツをカスタマイズできるイヤホン機器を提供する。
本願発明は、ナビゲーション情報提供手段を備えた携帯情報機器と共に使用される、情報入力手段と携帯情報機器接続手段と方位測定手段とを備えたイヤホンであって、前記情報入力手段を介して入力された情報と前記方位測定手段により得られたイヤホン使用者の頭の方向とに基づいて、前記携帯情報機器接続手段を介して前記ナビゲーション情報提供手段に提供するナビゲーション情報の補正を行なわせるイヤホンを提供することで上記課題を解決する。
また、本願発明は、前記ナビゲーション情報の補正は、前記ナビゲーション情報提供手段が把握していた前記イヤホン使用者が位置する道路を前記イヤホン使用者が実際に位置する道路へと修正する補正を含むイヤホンを提供することで上記課題を解決する。
また、本願発明は、情報提供機器と共に使用される、情報入力手段と情報機器接続手段と方位測定手段とを備えたイヤホンであって、前記方位測定手段により得られたイヤホン使用者の頭の方向とに基づいて、前記情報提供機器が前記携帯情報機器接続手段を介して前記情報提供機器に情報を提供し、前記情報に基づいて情報提供機器に前記イヤホンに提供する情報を調整させるイヤホンを提供することで上記課題を解決する。
また、本願発明は、前記イヤホンは前記イヤホン使用者の両耳のそれぞれに対する二機のスピーカーをさらに備え、前記イヤホンに提供する情報の調整は、前記スピーカーのうち情報の対象物に近い側にあるスピーカーの音量を前記対象物から遠い側にあるスピーカーの音量よりも大きくすることを含むイヤホンを提供することで上記課題を解決する。
また、本願発明は、ナビゲーション情報提供手段を備えた携帯情報機器と共に使用される、情報入力手段と携帯情報機器接続手段と方位測定手段とを備えたイヤホンを制御するプログラムであって、前記情報入力手段を介して情報を取り込む命令と、前記方位測定手段によりイヤホン使用者の頭の方向を取得する命令と、前記携帯情報機器接続手段を介して前記ナビゲーション情報提供手段が提供するナビゲーション情報を補正する命令とを含むプログラムを提供することで前記課題を解決する。
また、本願発明は、前記ナビゲーション情報を補正する命令は、前記ナビゲーション情報提供手段が把握していた前記イヤホン使用者が位置する道路を前記イヤホン使用者が実際に位置する道路へと修正する命令を含むプログラムを提供することで前記課題を解決する。
また、本願発明は、情報提供機器と共に使用される、情報入力手段と携帯情報機器接続手段と方位測定手段とを備えたイヤホンを制御するプログラムであって、前記方位測定手段によりイヤホン使用者の頭の方向を取得する命令と、前記取得された頭の方向に基づいて、前記情報提供機器が前記携帯情報機器接続手段を介して前記イヤホンに提供する情報を調整する命令とを含むプログラムを提供することで前記課題を解決する。
また、本願発明は、前記イヤホンは前記イヤホン使用者の両耳のそれぞれに対する二機のスピーカーを備え、前記情報の調整を行なう命令は、前記イヤホンの両耳用のスピーカーのうち情報の対象物に近い側にあるスピーカーの音量を前記対象物から遠い側にあるスピーカーの音量よりも大きくする命令を含むプログラムを提供することで前記課題を解決する。
利用者の状況に応じて、提供されるコンテンツや情報をカスタマイズできるイヤホン機器が提供される。
本願発明に係るイヤホンの実施例を含む情報提供システムの例の全体図である。 本願発明に係るイヤホンの実施例の機能構成の例である。 本願発明に係るイヤホンの実施例と共に使用される携帯情報機器の機能構成の例である。 本願発明に係るイヤホンの実施例と共に使用されるサーバの機能構成の例である。 本願発明に係るイヤホンを使用した第一の実施例を表わした図である。 本願発明に係るイヤホンを使用した第一の実施例において保存されるデータの内容を表わした図である。 本願発明に係るイヤホンを使用した第二の実施例を表わした図である。 本願発明に係るイヤホンを使用した第三の実施例を表わした図である。 本願発明に係るイヤホンを使用した第四の実施例を表わした図である。 本願発明に係るイヤホンを使用した第五の実施例に係るフローチャートである。
以下に図を参照しながら本願発明の実施例について説明する。
図1に本願発明に係るイヤホンの実施例の共通の情報提供システムの一例の全体図を示す。イヤホン(101)は典型的にはBluetooth(登録商標)等の近距離無線通信技術または通常のケーブルを介してスマートフォン等の携帯情報機器(102)と通信を行なう。なお、一般には、左右が分離している形状のものをイヤホン、左右が結合された形状のものをヘッドホンと呼ぶことが多いが、本願明細書では両者を合わせてイヤホンと総称する。イヤホン(101)は、インターネット等のネットワークを介して、典型的にはクラウド上に置かれたサーバ(103)と通信を行なう。本願出願時点での技術水準では、各機能をイヤホン(101)と携帯情報機器(102)、および、サーバ(103)間で分散することが好ましいが、将来的には、技術進化に伴う構成要素の小型化・高性能化に伴い、イヤホン(101)側に機能を集約してもよい。また、イヤホン(101)は、携帯情報機器(102)を使用せず、事前に設置された情報提供機器(104)と直接(典型的には無線で)接続され、音声による情報を受け取る形態で使用されてもよい。
図2に本願発明に係るイヤホン(101)の実施例の機能構成を示す。本願発明に係るイヤホン(101)は、イヤホン本来の機能である音を発生するためのスピーカー(201)に加えて、使用者による電話通話またはコマンド入力等のためのマイクロフォン(202)を備えていることが望ましい。また、使用者が指令を与えるためのコントロールボタン(203)を備えていることが望ましい。マイクロフォンとコントロールボタンはイヤホン本体と一体化していても、イヤホン(101)本体とは別の筐体であって、イヤホン(101)本体と有線または無線で通信を行なう設計であってもよい。イヤホン(101)は、携帯情報機器(102)または情報提供機器(104)との接続のための無線接続機能(204)を備えていることが望ましい。無線接続機能(204)はBluetooth(登録商標)またはBLE(Bluetooth Low-Energy)技術を使用してよい。代替の構成としてイヤホン(101)は携帯情報機器(102)と有線で接続されてもよい。イヤホン(101)は脈波を測定するための血流センサー(205)を備えていることが望ましい。血流センサーはイヤホン(101)の耳穴または耳朶等に圧着される部位に設けられている、あるいは、クリップ等で使用者の耳朶に圧着固定できることが望ましい。このようにすることで、ノイズに妨害されにくく正確な脈波の測定が可能となる。加えて、イヤホンは使用者の頭の向きを測定するためのジャイロセンサー(206)、並びに、地磁気センサー(コンパス)(207)、および、使用者の動きを測定するための加速度センサー(208)を備えていることが望ましい。これらのセンサーはイヤホン(101)本体内に固定されていることが望ましい。このようにすることで、イヤホンの使用者の頭の位置と方向を正確に測定することが可能となる。代替の構成として、眼鏡や帽子等、使用者の頭の向きとの位置関係が固定的である物に上記センサーを設け、あるいは、クリップ等で固定し、有線または無線接続により、イヤホン(101)、携帯情報機器(102)、または、情報提供機器(104)にセンサー情報を提供できるようにしてもよい。また、イヤホン(101)は、イヤホン(101)が使用者に着用されているかどうかを検知するための近接センサー(209)を備えていてよい。さらに、脳波センサー、GPS等の他のタイプのセンサーを備えていてもよい。
図3に本願発明に係るイヤホン(101)の実施例と共に使用される携帯情報機器(102)の例の機能構成を示す。携帯情報機器はイヤホンに音楽などの音によるコンテンツや電話の通話を提供する、または、地図情報によるナビゲーションサービスを提供する等のためのアプリケーションプログラム(301)を稼働する。アプリケーションプログラム(301)は、使用者のマイクロフォン(202)による音声入力、コントロールボタン(203)の操作、サーバ(103)からの指令、または、プログラム内部のロジックにより、再生するコンテンツを切り替えることができる。また、アプリケーションプログラム(301)は、イヤホン(101)のセンサー情報により把握したイヤホン使用者の頭の位置と音声等による指令に基づいて、コンテンツの再生方法を調整したり、ナビゲーションサービスにおける位置を調整したりする等の機能を提供する。また、携帯情報機器(301)は、イヤホン(101)のセンサー情報を無線または有線経由で得るためのセンサー情報取得機能(302)を備える。さらに、イヤホン(101)に音声を伝えるためのイヤホン通信機能(303)、および、サーバ(103)との間で、(典型的にはインターネットを介して)情報をやり取りするためのサーバ通信機能(304)を備える。
図4に本願発明に係るイヤホンの実施例と共に使用されるサーバ(103)の機能構成の例を示す。サーバ(103)は典型的にはクラウド上で管理される。サーバは、イヤホン(101)のセンサー情報の分析を行ない、イヤホン使用者の現在の状況に最も合致するコンテンツを提供する(あるいは、そのようなコンテンツの提供を携帯情報機器に命じる)等の機能を提供するサーバプログラム(401)を稼働する。加えて、イヤホン使用者の過去のセンサー情報と再生されたコンテンツを対応付けてデータベース(402)上に保存し、分析に使用することが望ましい。また、他のイヤホン使用者のセンサー情報の履歴を維持し、分析に利用してもよい。また、サーバ(103)は、携帯情報機器(102)からセンサー情報等を受信し、音声コンテンツそのもの、または、特定コンテンツの再生指令を送信するための携帯情報機器通信機能(403)を備える。
上記に示したイヤホン(101)、携帯情報端末(102)、および、サーバ(103)間の機能分散形態は、今日の技術水準に合わせて最適化されたものであり、将来的にはより多くの機能をイヤホン(101)側に集約してもよい。たとえば、上記で携帯情報端末(102)上で実現されると例示された機能をすべてイヤホン(101)上で実現し、イヤホン(101)とサーバ(103)が直接やり取りする構成としてもよい。同様に、イヤホン搭載のセンサーを除くより多くの機能をサーバ(103)側に集約してもよい。また、上記ではイヤホン(101)上に設けるとしたセンサー類のすべてまたは一部を使用者が着用する他のウェアラブル端末に設け、携帯情報端末(102)で、センサー情報を統合する構成としてもよい。
以降では、本願発明の第一の実施例について説明する。本実施例はイヤホン(101)に内蔵された血流センサー(205)を活用する点に特徴がある。今日使用される血流センサーは心拍数だけではなく、脈波の波形をより詳細に測定することが可能であり、脈波の波形に基づいて使用者の心理的状態を推定することが技術的に可能である。スマートウォッチや時計型形状のフィットネス向けウェアラブル機器には、血流センサーを備えているものもあるが、本実施例では、イヤホン(101)に血流センサー(205)を設けることでノイズに強い測定が可能である点に優位性がある(イヤホンは本来的に耳穴または耳朶に密着させて使用するものであるため)。また、音声コンテンツの再生時にはいずれにせよイヤホンが必要となるため、血流センサーのデータを利用した音声コンテンツの調整において、別の機器を使用する必要がない点でも本実施例は優位性を有する。
図5に音声コンテンツ(典型的には音楽)と使用者の脈波の相関を分析する方法の概要を示す。一定間隔で、再生されるコンテンツとその時点での使用者の脈波情報を対応付けて保存する。脈波情報は特徴点を抽出した上で保存することが望ましい。再生されるコンテンツの楽曲の識別子を保存・分析の対象としてもよいし、音の波形の特徴点を抽出して保存・分析の対象としてもよい。こうすることで、たとえば、特定の楽曲(あるいは特定の特徴を持った楽曲)を流した時に使用者が特定の心理状態になること等の相関を分析することができる。このデータの保存と相関分析処理は携帯情報機器(102)上で行なってもよいが、大量データの分析能力、使用者が別の携帯情報機器(102)を使用した場合のデータ流用、使用者以外の者のデータも活用した横断的分析の実現という点からサーバ(103)上にデータを集約した上で行なうことが望ましい。
図6にサーバ(103)上のデータベース(402)上等に保存される使用者の心理状態と楽曲の識別子(曲ID)の相関データの保存形式を示す。たとえば、特定の楽曲を聴いたときに使用者が落ち着いたときには、使用者が落ち着きたいという希望をイヤホン(101)のマイクロフォン(202)を介した音声入力または携帯情報機器の操作により指示すると、使用者の心理を落ち着かせることが分析により判明している楽曲(または、それと類似の楽曲)を再生するようにすることができる。
コンテンツ再生中の使用者の心理的状態を血流センサー(205)で把握して、再生されるコンテンツの選択、および、再生音量・音質を調整するようにしてもよい。たとえば、特定の楽曲を流した時に、使用者の精神が集中状態になることがこの履歴情報より明らかな場合には、使用者が落ち着きたい音楽を要求した時にその楽曲を自動的に再生、または、再生を推奨するようにしてもよい。
加えて、イヤホン(101)に脳波センサーを設け、脳波の特徴量と心理状態の相関を分析して保存し、脳波の波形に応じて最適な楽曲を自動的に再生、または、再生を推奨するようにしてもよい。
また、他のセンサー情報を活用して、たとえば、使用者の心拍数が高く、人が走る速度で移動している時には、特定の楽曲が流されている可能性が高いとすると、その楽曲は使用者がランニングをしている時のお気に入りの楽曲であると推定することができる。いったんそのような学習を行なえば、次回以降、同じような心拍数と速度の状態の時に使用者がランニングをしているものと推定し、その楽曲を自動的に再生、あるいは、使用者に対して推奨することが可能である。あるいは、使用者がランニングを行なうことを携帯情報端末(102)の操作等により指示した時に、自動的にランニングでその利用者がよく再生する楽曲を自動的に再生、または、再生を推奨するようにしてもよい。
他の例としては、心拍数が一定であり、時速数10キロメートル以上で移動している時には、電車で移動していると判定し、音楽ではなく、音声によるニュース情報を提供してもよい。どのような状況でどのようなコンテンツを提供するかは使用者によってカスタマイズ可能になっていることが望ましい。使用者の脈波と移動速度に加えて、時刻、曜日、天気、気温、加速度センサーで得た振動等をコンテンツ選択のアルゴリズムの入力としてもよい。分析においては、従来型の統計的手法による相関分析に加えて、ニューラルネットによる機械学習を使用してもよい。
特定の使用者の履歴に基づいたコンテンツの選択に加えて、他の使用者の情報を含めてサーバで統合することにより、アフィニティ分析等の統計的な分析を行なってもよい。たとえば、多くの人がランニング中に聴いていることが多いコンテンツを別の使用者のランニング中に推奨してもよい。また、使用者SNS上で友人になっているユーザーがランニング中に聴いていることが多いコンテンツをランニング中に推奨してもよい。ユーザーの嗜好情報をデータベース化してサーバ上で管理し、自分と好みが似ているユーザーに推奨されたコンテンツが自分にも推奨されるようにしてもよい。
コンテンツの選択に加えて、コンテンツの再生音量や音質を自動的に調整してもよい。たとえば、脈拍と移動速度のからイヤホン使用者がランニングをしていると推定された時には再生音量を高めるようにし、電車内にいると推定された場合には、音漏れを防ぐために高音をカットするようにしてもよい。
なお、上記の第一の実施例においては、血流センサー(205)をスマートウォッチまたはスマートグラス等の別のデバイスに設けてもよい。
図7に本願発明に係るイヤホンの第二の実施例を示す。本願発明の実施例に係るイヤホン(101)はジャイロセンサー(206)と地磁気センサー(207)を備えるため、使用者の頭の向きを把握することが可能であり、使用者の頭の向きに応じたコンテンツを再生する、または、コンテンツの再生方法を調整することができる。たとえば、美術館の音声ガイドにおいて、使用者が顔を向けている絵画に関する音声コンテンツを大音量で再生し、顔を向けていない海外の音声コンテンツを再生しない、あるいは、小音量で再生することが可能である。小音量で再生することで、使用者に対して今直接見ていない絵画に対しても注意を惹きつけられるという効果がある。たとえば、使用者の右側にある絵画に関する音声情報は右耳側を大きく再生することにより、使用者にとって目的とする作品に自然に注意を振り向けるようにすることができる。この実施例では、施設に設置済の情報提供装置(104)からイヤホン(101)に対して直接音声コンテンツを提供してもよい。これは一例であり、何らかの対象物に関する音声コンテンツを提供する際に、本願発明に係るイヤホンは使用者の位置と頭の方向を把握することで、あたかもその対象物の場所から音声が発生しているかのようなイメージで音声コンテンツを提供することができ、使用者にとって自然な使用感を提供できる。今日のスマートフォンの多くはジャイロセンサーと地磁気センサーを備えているが、スマートフォンの向きが使用者の頭の向きと一致するとは限らないため、本願発明に係るイヤホンはスマートフォンの向きを気にすることなく音声コンテンツの調整が行なえる点で優位性を有する。
図8に本願発明に係るイヤホン(101)の第三の実施例を示す。同じく美術館における例として、使用者の情報提供機器(104)からの距離を把握することで、絵画との距離に応じて、情報提供機器(104)で再生される音声コンテンツを切替えることができる例である。たとえば、使用者と絵画の距離が離れている時には「あちらの絵画」、使用者と絵画の距離が近い時には「こちらの絵画」と内容を切替えることでより自然なコミュニケーションを提供できる。たとえば、イヤホン(101)と情報提供機器(104)の間でBLEベースの通信技術が使用されていれば、両者の間の距離を大まかに知ることが技術的に可能である。美術館において、音声ガイドとして、事前に情報提供機器(104)との接続設定が行なわれているイヤホン(101)を貸与するようなケース(ユーザー所有のスマートホンを使用しないケース)ではこの実施例が特に有効である。
図9に本願発明に係るイヤホン(101)の第四の実施例を示す。この実施例では、携帯情報機器(102)のアプリケーションプログラム(301)がナビゲーション情報を提供する。ナビゲーションは音声により行なうことが望ましい。スマートホン等にGPSを備え、現在位置を把握して、ナビゲーション情報を画面表示すること、および、音声による道案内を行なうことは周知技術であるが、屋内等のGPS電場が弱い場所では十分な精度が出せないという問題がある。事前に保存された地図情報に基づいて現在位置情報を補正する場合でも、道や通路が入り組んでいる場合には、別の道に補正されてしまうこともある。本実施例に係るイヤホンでは、このような場合に、使用者が外界の様子を音声で伝えることにより、GPSの位置情報を適切に補正し、正確な位置を把握できるようにすることができる。スマートホンを取り出して、指による補正操作を行なう場合と比較して、余分な手順が不要である点、および、利用者の頭の方向がセンサーにより把握されているため正確な補正が可能である点に本願発明の優位性がある。
図9の例において、ナビゲーションアプリケーション使用者は実際には細街路B上にいるにもかかわらず、GPSの誤差によりナビゲーションアプリケーションは使用者が細街路C上にいるものと誤認識している。ここで、使用者がマイクロフォン(202)を通じて、音声により「右前方に牛丼店」と伝えると、ナビゲーションアプリケーションは音声認識によりその内容を把握し、地図情報と照らし合わせて、使用者の実際の位置に補正を行なうことができる。この場合において、イヤホン(101)は使用者の頭に固定されているため、地磁気センサー(207)により使用者の頭の方向が正確にわかることから、使用者が細街路B上であって、かつ、細街路Dとの交差点近くにいることをナビゲーションアプリケーションが正確に検知できる。
加えて、目の前の施設との相対関係でナビゲーションを行なうことも可能である。たとえば、「目の前にコンビニがあるが映画館はどこ?」という使用者の問いかけに対して、ナビゲーションアプリケーションが「右前方500m先です」と使用者の位置から相対的に答えるといったことが可能となる。この場合においても、地磁気センサー(207)により使用者の頭の方向が正確にわかることから、使用者に対して正確な方向を提供できる。さらに、右前方という方向を指し示す際に、第二の実施例のように、立体音響を用いて右側から案内音を鳴らすことにより、説明されている方向をよりわかりやすく表現することができる。スマートホンをカバン等に入れて音声のみで道案内を行なっている場合には、本実施例が特に有効である。
図10に本願発明に係るイヤホン(101)の第五の実施例におけるアプリケーション・プログラム(301)の通知機能に係るフローチャートを示す。「ヒアラブル」の環境では、携帯情報機器(102)が発する様々な通知(たとえば、メール受信等の様々なアプリケーション・プログラム(301)からのリアルタイム情報)を画面に表示するだけでなく音声で伝えることが望ましい。この場合において、使用者が音声による通知を聞いたことをアプリケーション・プログラム(301)が確認できてから、その通知を消去することが望ましい。そうしないと重要な通知が伝えられないままになってしまう可能性があるからである。音声による通知が使用者により聞かれたことが確認できない場合には、一定期間経過後に、再度当該音声による通知、または、画面表示などの他の手段による通知を行なうことが望ましい。音声による通知が使用者に聞かれたどうかは、近接センサー(209)によって、イヤホン(101)が使用者により着用されていたこと、かつ、携帯情報機器(102)の音量調整がゼロになっていないことを条件に判断することができる。音声による通知を確実に行なったことを確認できる本実施例により、使用者が画面を見る頻度を減らし、ヒアラブルならでは使い心地を享受できるようになるという顕著な効果が提供される。

Claims (8)

  1. ナビゲーション情報提供手段を備えた携帯情報機器と共に使用される、情報入力手段と携帯情報機器接続手段と方位測定手段とを備えたイヤホンであって、
    前記情報入力手段を介して入力された情報と前記方位測定手段により得られたイヤホン使用者の頭の方向とに基づいて、前記携帯情報機器接続手段を介して前記ナビゲーション情報提供手段に提供するナビゲーション情報の補正を行なわせるイヤホン。
  2. 前記ナビゲーション情報の補正は、前記ナビゲーション情報提供手段が把握していた前記イヤホン使用者が位置する道路を前記イヤホン使用者が実際に位置する道路へと修正する補正を含む請求項1に記載のイヤホン。
  3. 情報提供機器と共に使用される、情報入力手段と情報機器接続手段と位置測定手段とを備えたイヤホンであって、
    前記位置測定手段により得られたイヤホン使用者の頭の位置と前記情報提供機器との間の距離に基づいて、前記情報提供機器が前記情報機器接続手段を介して提供する情報を調整させるイヤホン。
  4. さらに、方位測定手段を備え、
    前記方位測定手段により得られたイヤホン使用者の頭の方向に基づいて、
    前記情報提供機器が前記情報機器接続手段を介して提供する情報を調整させる
    請求項3に記載のイヤホン。
  5. 請求項1、または、請求項2に記載のイヤホンを含むシステム上で実行されるプログラムであって、
    前記情報入力手段を介して情報を取り込む命令と、
    前記方位測定手段によりイヤホン使用者の頭の方向を取得する命令と、
    前記取得された頭の方向に基づいて、前記ナビゲーション情報提供手段が前記携帯情報機器接続手段を介して提供するナビゲーション情報を補正する命令とを含むプログラム。
  6. 前記ナビゲーション情報を補正する命令は、前記ナビゲーション情報提供手段が把握していた前記イヤホン使用者が位置する道路を前記イヤホン使用者が実際に位置する道路へと修正する命令を含む請求項5に記載のプログラム。
  7. 請求項3、または、請求項4に記載のイヤホンを含むシステム上で実行されるプログラムであって、
    前記位置測定手段によりイヤホン使用者の頭の位置を取得する命令と、
    前記取得されたイヤホン使用者の頭の位置に基づいて、前記情報提供機器が前記情報機器接続手段を介して前記イヤホンに提供する情報を調整する命令とを含むプログラム。
  8. 請求項4に記載のイヤホンを含むシステム上で実行されるプログラムであって、
    前記方位測定手段によりイヤホン使用者の頭の方向を取得する命令と、
    前記取得されたイヤホン使用者の頭の方向に基づいて、
    前記情報提供機器が前記情報機器接続手段を介して前記イヤホンに提供する情報を調整する命令とを含むプログラム。
JP2016217686A 2016-11-07 2016-11-07 多機能イヤホンによる自律型アシスタントシステム Active JP6326573B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016217686A JP6326573B2 (ja) 2016-11-07 2016-11-07 多機能イヤホンによる自律型アシスタントシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016217686A JP6326573B2 (ja) 2016-11-07 2016-11-07 多機能イヤホンによる自律型アシスタントシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018001545A Division JP2018093503A (ja) 2018-01-09 2018-01-09 音声コンテンツ再生イヤホン、方法、および、プログラム

Publications (2)

Publication Number Publication Date
JP2018078398A JP2018078398A (ja) 2018-05-17
JP6326573B2 true JP6326573B2 (ja) 2018-05-23

Family

ID=62149284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016217686A Active JP6326573B2 (ja) 2016-11-07 2016-11-07 多機能イヤホンによる自律型アシスタントシステム

Country Status (1)

Country Link
JP (1) JP6326573B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7291476B2 (ja) * 2018-12-13 2023-06-15 日産自動車株式会社 座席案内装置、座席案内方法、及び座席案内システム
JP6559921B1 (ja) 2019-03-06 2019-08-14 株式会社ネイン 音声情報提供システム、情報処理端末の制御方法、情報処理端末の制御プログラム、音声出力装置の制御方法、及び、音声出力装置の制御プログラム
US20220386919A1 (en) * 2019-10-08 2022-12-08 Vie Style, Inc. Earphone, information processing device, and information processing method
WO2022208906A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022209000A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022209474A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
WO2022210113A1 (ja) * 2021-03-30 2022-10-06 ソニーグループ株式会社 コンテンツ再生システム、情報処理装置及びコンテンツ再生制御アプリケーション
JP2023025724A (ja) * 2021-08-11 2023-02-24 株式会社ジェイテクト 情報提供システム、方法、及びプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000124983A (ja) * 1998-10-13 2000-04-28 Nec Mobile Commun Ltd スイッチ付きイヤホンマイクを備えた携帯端末
JP4735993B2 (ja) * 2008-08-26 2011-07-27 ソニー株式会社 音声処理装置、音像定位位置調整方法、映像処理装置及び映像処理方法
JP5732863B2 (ja) * 2011-01-17 2015-06-10 ソニー株式会社 位置推定装置、位置推定方法、プログラム、および位置推定システム
JP2013175929A (ja) * 2012-02-24 2013-09-05 Nikon Corp 情報出力装置、及び情報出力方法
US20150276391A1 (en) * 2012-10-15 2015-10-01 Fujitsu Limited Direction discrimination device, direction discrimination method, and recording medium storing direction discrimination control program
JP6417584B2 (ja) * 2014-06-23 2018-11-07 セイコーエプソン株式会社 表示装置、および表示装置の制御方法

Also Published As

Publication number Publication date
JP2018078398A (ja) 2018-05-17

Similar Documents

Publication Publication Date Title
JP6326573B2 (ja) 多機能イヤホンによる自律型アシスタントシステム
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
US11153674B2 (en) Sound reproduction device
CN108141696A (zh) 用于空间音频调节的系统和方法
EP2669634A1 (en) A personal navigation system with a hearing device
US20140107916A1 (en) Navigation system with a hearing device
JP7167910B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20230045237A1 (en) Wearable apparatus for active substitution
CN115175086A (zh) 在运动和通勤期间实现安全的耳机使用的空间音频
US20140219485A1 (en) Personal communications unit for observing from a point of view and team communications system comprising multiple personal communications units for observing from a point of view
TW201820315A (zh) 改良型音訊耳機裝置及其聲音播放方法、電腦程式
US20220312128A1 (en) Hearing aid system with differential gain
US11016723B2 (en) Multi-application control of augmented reality audio
US20210350823A1 (en) Systems and methods for processing audio and video using a voice print
US11893997B2 (en) Audio signal processing for automatic transcription using ear-wearable device
US11929087B2 (en) Systems and methods for selectively attenuating a voice
CN104735599A (zh) 具有声源的可选择感知空间定位的听力装置
JP2018093503A (ja) 音声コンテンツ再生イヤホン、方法、および、プログラム
US20180324532A1 (en) Hearing system and hearing apparatus
JP6857024B2 (ja) 再生制御方法、システム、及び情報処理装置
JPWO2018088319A1 (ja) 再生端末及び再生方法
CN108827338B (zh) 语音导航方法及相关产品
US20240078991A1 (en) Acoustic devices and methods for determining transfer functions thereof
US20220261587A1 (en) Sound data processing systems and methods
US10805710B2 (en) Acoustic device and acoustic processing method

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170904

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170904

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170904

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180109

R150 Certificate of patent or registration of utility model

Ref document number: 6326573

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250