JP6973400B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6973400B2
JP6973400B2 JP2018541971A JP2018541971A JP6973400B2 JP 6973400 B2 JP6973400 B2 JP 6973400B2 JP 2018541971 A JP2018541971 A JP 2018541971A JP 2018541971 A JP2018541971 A JP 2018541971A JP 6973400 B2 JP6973400 B2 JP 6973400B2
Authority
JP
Japan
Prior art keywords
user
state
information processing
output
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018541971A
Other languages
English (en)
Other versions
JPWO2018061491A1 (ja
Inventor
健一 生出
崇行 水内
治 西田
宏久 渋谷
多恵子 臼井
泰輔 中園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018061491A1 publication Critical patent/JPWO2018061491A1/ja
Application granted granted Critical
Publication of JP6973400B2 publication Critical patent/JP6973400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/3005Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/32Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041Mechanical or electronic switches, or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/10Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1083Reduction of ambient noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01Aspects of volume control, not necessarily automatic, in sound systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/01Hearing devices using active noise cancellation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/033Headphones for stereophonic communication
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00Stereophonic arrangements
    • H04R5/04Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Otolaryngology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Headphones And Earphones (AREA)

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。
近年では、イヤホンやヘッドホンのようにユーザが頭部に装着して使用する音響デバイス(以降では、「頭部装着型音響デバイス」と称する場合がある)として、単に音響情報を出力するのみのものに限らず、利用シーンを想定した機能が付加されたものも普及してきている。具体的な一例として、所謂ノイズ低減技術(ノイズキャンセリング技術)を利用することで、外部環境からの環境音(所謂ノイズ)を抑制し遮音効果を高めることが可能な頭部装着型音響デバイスが挙げられる。特許文献1には、このようなノイズ低減技術を利用した音響デバイスの一例が開示されている。
また、近年では、マイクロフォン等の集音部により外部環境の音響を集音し、頭部装着型音響デバイスを介して当該音響を出力することで、ユーザが頭部装着型音響デバイスを装着した状態においても外部環境の音響を聴取可能とする技術も提案されている。なお、以降の説明では、外部環境の音響を聴取可能とする機能を「アンビエント(Ambient)機能」とも称する。
特許第5194434号公報
ところで、上述したノイズ低減機能やアンビエント機能のように、音響出力の制御に係る機能は、ユーザが所望する再生音場空間を実現するために、ユーザの状態や状況に応じて選択的に使用される場合が少なくない。その一方で、ユーザの状態や状況が逐次変化するような場合も想定され得る。このような状況下では、例えば、ユーザは、その時々の状態や状況に応じて、上述したノイズ低減やアンビエント等の機能を有効化または無効化したり、必要に応じて頭部装着型音響デバイスを一時的に外すといった煩雑な操作が必要となる場合がある。
そこで、本開示では、ユーザの状態や状況が逐次変化するような状況下においても、煩雑な操作を伴わずに、より好適な態様で音響を聴取することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。
本開示によれば、所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、コンピュータが、所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、を含む、情報処理方法が提供される。
また、本開示によれば、コンピュータに、所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、を実行させる、プログラムが提供される。
以上説明したように本開示によれば、ユーザの状態や状況が逐次変化するような状況下においても、煩雑な操作を伴わずに、より好適な態様で音響を聴取することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。 同実施形態に係る音響デバイスの構成の一例について説明するための説明図である。 同実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの概要について説明するための説明図である。 本開示の第1の実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 ユーザの状態の認識に係る処理の概要について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。 同実施形態の変形例1−1に係る機能マップの一例について説明するための説明図である。 本開示の第2の実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。 通勤時におけるユーザの行動を想定した行動シナリオの一例について説明するための説明図である。 通勤時におけるユーザの行動を想定した行動シナリオの一例について説明するための説明図である。 通勤時におけるユーザの行動を想定した行動シナリオの他の一例について説明するための説明図である。 通勤時におけるユーザの行動を想定した行動シナリオの他の一例について説明するための説明図である。 休日におけるユーザの行動を想定した行動シナリオの一例について説明するための説明図である。 休日におけるユーザの行動を想定した行動シナリオの一例について説明するための説明図である。 同実施形態に係る情報処理装置10の一連の処理の流れの一例について示したフローチャートである。 変形例2−2に係る情報処理システムの概要について説明するための説明図である。 変形例2−3に係る情報処理システムの動作について説明するための説明図である。 変形例2−3に係る情報処理システムの動作について説明するための説明図である。 変形例2−3に係る情報処理システムの動作について説明するための説明図である。 変形例2−3に係る情報処理システムの動作について説明するための説明図である。 変形例2−3に係る情報処理システムの動作について説明するための説明図である。 本開示の一実施形態に係る情報処理装置のハードウェア構成の一例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.はじめに
1.1.システムの構成例
1.2.音響デバイスの構成例
1.3.音響出力の制御に関する検討
2.第1の実施形態
2.1.概要
2.2.機能構成
2.3.処理
2.4.変形例
2.5.評価
3.第2の実施形態
3.1.概要
3.2.機能構成
3.3.行動シナリオ
3.4.処理
3.5.変形例
3.6.評価
4.ハードウェア構成
5.むすび
<<1.はじめに>>
<1.1.システムの構成例>
まず、図1を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図1は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。
図1に示すように、本実施形態に係る情報処理システム1は、情報処理装置10と、音響デバイス30とを含む。
音響デバイス30は、例えば、オーバーヘッド型のヘッドホンや、イヤホン等のような頭部装着型音響デバイスとして構成され得る。また、音響デバイス30は、ノイズ低減機能やアンビエント機能等のような、音響出力の制御に係る機能を実現するための各種デバイスを備えてもよい。なお、ノイズ低減機能やアンビエント機能を実現するための音響デバイス30の構成の一例については、詳細を別途後述する。
情報処理装置10は、例えば、スマートフォン、タブレット端末、携帯型オーディオプレイヤー等として構成され得る。情報処理装置10と音響デバイス30とは、有線または無線のネットワークを介して接続されることで、当該ネットワークを介して互いに各種情報を送受信することが可能である。
以上のような構成に基づき、情報処理装置10は、ネットワークを介して音響デバイス30の動作を制御する。具体的な一例として、情報処理装置10は、所望の動作を実行させるための制御コマンドを、当該ネットワークを介して音響デバイス30に送信することで、当該音響デバイス30の動作(特に、音響出力に関する動作)を制御してもよい。より具体的な一例として、情報処理装置10は、音響デバイス30に対して制御コマンドを送信することで、ノイズ低減機能やアンビエント機能等のような音響出力の制御に係る機能のオン/オフを切り替えてもよい。また、他の一例として、情報処理装置10は、音響デバイス30に対して制御コマンドを送信することで、当該音響デバイス30から出力される音響(例えば、オーディオコンテンツ等)のボリュームを制御してもよい。また、情報処理装置10は、音響デバイス30に関する情報(例えば、動作状態に関する情報等)を、ネットワークを介して当該音響デバイス30から取得してもよい。この場合には、情報処理装置10は、所定の出力部を介して取得した情報をユーザに提示してもよい。また、他の一例として、情報処理装置10は、取得した情報に応じて、音響デバイス30の動作を制御してもよい。
なお、情報処理装置10がネットワークを介して音響デバイス30の動作を制御する機能は、例えば、情報処理装置10に対して所定のアプリケーションがインストールされることで実現されてもよい。また、他の一例として、当該機能を実現するためのアプリケーションが、情報処理装置10にあらかじめインストールされていてもよい。
なお、上記に説明した例はあくまで一例であり、情報処理システムの構成は、必ずしも図1に示す例には限定されない。具体的な一例として、情報処理装置10と音響デバイス30とが一体的に構成されていてもよい。また、他の一例として、情報処理装置10と音響デバイス30とが、他の装置(例えば、サーバ等)を介して接続されていてもよい。
以上、図1を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明した。
<1.2.音響デバイスの構成例>
続いて、図2を参照して、音響デバイス30の構成の一例について説明する。図2は、本開示の一実施形態に係る音響デバイスの構成の一例について説明するための説明図である。なお、本説明では、音響デバイス30の構成の一例について、特に、ノイズ低減機能やアンビエント機能を実現するための構成に着目して説明する。
図2に示すように、音響デバイス30は、所謂ヘッドホンとして構成されている。例えば、音響デバイス30は、筐体311と、ヘッドバンド312と、発音体341と、マイクロフォン321及び322と、信号処理回路331と、イコライザ(EQ)332と、加算器333と、パワーアンプ334とを含む。
筐体311は、ヘッドバンド312によってユーザUaの耳部の近傍に位置するように支持されることで、当該耳部を覆うように装着される。また、筐体311は、ヘッドバンド312によって、ユーザUaの反対側の耳部を覆うように装着される他の筐体(図示を省略する)と連結されている。
マイクロフォン321は、筐体311の外側の外部空間を伝搬する音響(例えば、環境音)を直接的に集音するための集音デバイスである。マイクロフォン321は、例えば、MEMS(Micro Electro Mechanical Systems)技術に基づき形成された、所謂MEMSマイクロフォンとして構成され得る。なお、マイクロフォン321は、当該外部空間を伝搬する音響を集音可能であれば、その設置場所は特に限定されない。具体的な一例として、マイクロフォン321は、音響デバイス30の筐体311に設けられていてもよいし、当該筐体311とは異なる位置に設けられていてもよい。
マイクロフォン322は、筐体311の内側の内部空間(即ち、ユーザUaの外耳道に連接する空間)に伝搬する音響を集音するための集音デバイスである。マイクロフォン322は、マイクロフォン321と同様に、例えば、MEMS技術に基づき形成された、所謂MEMSマイクロフォンとして構成され得る。マイクロフォン322は、例えば、筐体311の内側に、ユーザUaの外耳道の方向を向くように設置される。もちろん、マイクロフォン322は、当該内部空間に伝搬する音響を集音可能であれば、その設置場所は特に限定されないことは言うまでもない。
信号処理回路331は、前述したノイズ低減機能やアンビエント機能を実現するための各種信号処理を実行するための構成である。
例えば、信号処理回路331は、マイクロフォン321により集音された筐体311の外側の外部空間を伝搬する音響の集音結果を利用して、所謂フィードフォワード方式に基づきノイズ低減機能を実現してもよい。この場合には、信号処理回路331は、マイクロフォン321による音響の集音結果に基づきノイズ低減信号を生成し、生成した当該ノイズ低減信号を後段に位置する加算器333に出力する。
また、信号処理回路331は、マイクロフォン322により集音された筐体311の内側の内部空間を伝搬する音響の集音結果を利用して、所謂フィードバック方式に基づきノイズ低減機能を実現してもよい。この場合には、信号処理回路331は、マイクロフォン322による音響の集音結果に基づきノイズ低減信号を生成し、生成した当該ノイズ低減信号を後段に位置する加算器333に出力する。
なお、信号処理回路331は、フィードフォワード方式とフィードバック方式とを組み合わせることでノイズ低減機能を実現してもよい。この場合には、信号処理回路331は、マイクロフォン321及び322それぞれによる音響の集音結果に基づきノイズ低減信号を生成する。そして、信号処理回路331は、生成したノイズ低減信号の各々を合成することで合成ノイズ低減信号を生成し、生成した当該合成ノイズ低減信号を後段に位置する加算器333に出力すればよい。
また、他の一例として、信号処理回路331は、マイクロフォン321により集音された筐体311の外側の外部空間を伝搬する音響(即ち、環境音)の集音結果を利用することで、アンビエント機能を実現してもよい。この場合には、例えば、信号処理回路331は、マイクロフォン321による音響の集音結果に基づく音響信号を後段位置する加算器333に出力する。
イコライザ332は、オーディオコンテンツや音声電話における受話信号のように、音響デバイス30に入力される音響信号(以降では、「音響入力」と称する場合がある)に対して、所謂イコライジング処理を施す。イコライザ332によりイコライジング処理が施された音響入力は、加算器333により信号処理回路331から出力される音響信号(即ち、ノイズ低減信号、または、環境音の集音結果)と加算された後、パワーアンプ334により増幅され、発音体341により音響に変換される。
発音体341は、所謂スピーカに相当し、入力された音響信号に基づき駆動することで、当該音響信号を音響に変換する。
以上のような構成により、例えば、ノイズ低減機能が有効になっている場合には、音響入力とノイズ低減信号とが加算された音響信号が発音体341により音響に変換されて、当該音響がユーザUaに聴取される。そのため、この場合には、ユーザUaは、環境音の影響が緩和された音響入力を聴取することが可能となる。また、他の一例として、アンビエント機能が有効になっている場合には、音響入力と環境音の集音結果とが加算された音響信号が発音体341により音響に変換されて、当該音響がユーザUaに聴取される。そのため、この場合には、ユーザUaは、音響デバイス30を装着した状態においても、外部環境を伝搬する環境音を聴取することが可能となる。
以上、図2を参照して、音響デバイス30の構成の一例について説明した。
<1.3.音響出力の制御に関する検討>
続いて、本開示の一実施形態に係る情報処理システムの利用形態として、特に、音響出力の制御に係る機能(例えば、ノイズ低減機能やアンビエント機能等)の利用形態の一例について説明したうえで、本実施形態に係る情報処理システムの技術的課題についてまとめる。
例えば、上述したノイズ低減機能やアンビエント機能のように音響出力の制御に係る機能は、ユーザが所望する再生音場空間を実現するために、ユーザの状態や状況に応じて選択的に使用される場合が少なくない。具体的な一例として、屋外を移動中の場合等のようにユーザが周囲の状況を把握する必要があるような状況下では、外部環境の音響が聴取可能なるように、アンビエント機能が有効化される場合が想定される。また、他の一例として、ユーザが落ち着いた状態で楽曲等のオーディオコンテンツを聴取しているような状況下では、外部環境からの環境音を抑制し遮音効果を高めることで当該オーディオコンテンツをより好適な環境で聴取可能となるように、ノイズ低減機能を有効化される場合が想定される。
その一方で、ユーザの状態や状況が逐次変化するような場合も想定され得る。例えば、ユーザが電車に乗るシーンを想定した場合に、電車に乗る前においては、周囲の状況を把握しやすくするために、ノイズ低減機能が無効化され、アンビエント機能が有効化されるといった状況が想定され得る。これに対して、電車に乗った後においては、目的の駅に着くまでの間はオーディオコンテンツを聴取しやすくするために、ノイズ低減機能が有効化され、アンビエント機能が無効化されるといった状況が想定され得る。このような場合には、例えば、ユーザは、その時々の状態や状況に応じて、上述したノイズキャンセリングやアンビエント等の機能を有効化または無効化(即ち、ONまたはOFF)したり、必要に応じて頭部装着型音響デバイスを一時的に外すといった煩雑な操作が必要となる場合がある。
このような状況を鑑み、本開示では、ユーザの状態や状況が逐次変化するような状況下においても、煩雑な操作を伴わずとも、より好適な態様で音響を聴取することを可能とする(即ち、より好適な再生音場空間を提供する)技術について提案する。なお、以降では、本開示の一実施形態に係る情報処理システムについてより詳しく説明する。
<<2.第1の実施形態>>
<2.1.概要>
まず、本開示の第1の実施形態に係る情報処理システムについて説明する。例えば、図3〜図5は、本実施形態に係る情報処理システムの概要について説明するための説明図である。
本実施形態に係る情報処理システムでは、ユーザの状態(特に、ユーザの行動に関連する状態)を認識し、当該認識結果に応じて、音響デバイス30の動作(特に、音響の出力に係る動作)を制御する。例えば、図3は、本実施形態に係る情報処理システムを実現するための概略的な構成の一例を示している。図3に示すように、本実施形態に係る情報処理システムでは、例えば、音響デバイス30の動作を制御するためのアプリケーションにユーザの状態(行動)を認識するための認識エンジンが取り込まれている。
図3に示す認識エンジンは、例えば、情報処理装置10に設けられた各種センサによる検出結果に基づき、当該情報処理装置10を保持するユーザの状態(行動)を認識する。より具体的な一例として、認識エンジンは、情報処理装置10に設けられた加速度センサ(例えば、3軸の加速度センサ)による、情報処理装置10の位置や向きの変化や、情報処理装置10の振動等の検出結果を解析することで、当該情報処理装置10を保持するユーザの状態を認識する。
例えば、図4は、認識エンジンにより認識されるユーザの状態の候補の一例を示している。図4において、「Stay」は、ユーザが停止している状態(換言すると、歩行や走行を行っていない状態)を示している。また、「Walk」は、ユーザが歩いている状態を示しており、「Run」は、ユーザが走っている状態を示している。また、「Vehicle」は、ユーザがバスや電車等の乗り物に乗って移動している状態を示している。また、「Bicycle」は、ユーザが自転車を運転して移動している状態を示している。
また、認識エンジンを基盤としたアプリケーションレイヤ上では、音響デバイス30の動作を制御するための制御プロセスが動作している。即ち、当該制御プロセスは、認識エンジンによるユーザの状態の認識結果に応じて、音響デバイス30による音響出力の制御に関する設定を決定し、決定した設定に応じて制御コマンドを生成する。そして、制御プロセスは、生成した制御コマンドを、ネットワークを介して音響デバイス30に送信することで、当該音響デバイス30による音響出力に関する動作を制御する。
例えば、図5は、ユーザの状態に応じた音響出力に関する動作の設定の一例を示している。具体的には、図5に示す例では、図4を参照して説明したユーザの状態の候補それぞれに対して、ノイズ低減機能のON/OFFと、アンビエント機能のON/OFFと、楽曲(例えば、オーディコンテンツ)の再生のON/OFFと、楽曲の再生に係るボリュームの制御内容と、それぞれの設定が示されている。なお、以降の説明では、図5に示すように、想定されるユーザの状態の候補ごとに、音響出力に関する動作の設定が規定された制御データを、「機能マップ」とも称する。
具体的には、図5に示す機能マップでは、「Stay」を示す状態には、ノイズ低減機能を有効化し、アンビエント機能については無効化したうえで、楽曲の再生を有効化し、当該楽曲のボリュームを下げられるように各種設定が関連付けられている。このような設定により、外部環境からの環境音(所謂、ノイズ)を抑制し遮音効果が高められるため、ユーザは、ノイズの影響が低減された状態で楽曲(オーディオコンテンツ)を聴取することが可能となる。
また、「Vehicle」を示す状態には、ノイズ低減機能を有効化し、アンビエント機能については無効化したうえで、楽曲の再生を有効化し、当該楽曲のボリュームが基準としてあらかじめ設定された値となるように各種設定が関連付けられている。そのため、このような場合においても、ユーザは、ノイズの影響が低減された状態で楽曲(オーディオコンテンツ)を聴取することが可能となる。
また、「Walk」及び「Run」を示す状態には、ノイズ低減機能を無効化し、アンビエント機能については有効化したうえで、楽曲の再生を有効化し、当該楽曲のボリュームが基準としてあらかじめ設定された値となるように各種設定が関連付けられている。このような設定により、ユーザは、外部環境からの環境音を聴取することが可能となるため、音響デバイス30を装着した状態で周囲の状況を把握することが可能となる。また、楽曲のボリュームが比較的高い値に設定されていたとしても、当該ボリュームが基準として設定された値に調整されるため、ユーザは、アンビエント機能により取り込まれた外部環境からの環境音を聴取しやすくなる。
また、各ユーザの状態の候補のうち少なくとも一部おいて、前述した音響出力に関する一連の動作それぞれの設定のうち一部の設定のみが制御の対象となっていてもよい。例えば、図5に示す機能マップでは、「Bicycle」を示す状態には、ノイズ低減機能の制御に関する設定のみが関連付けられており、当該ノイズ低減機能が無効化されるように設定されている。
なお、図5に示す機能マップはあくまで一例であり、ユーザの状態の候補それぞれに対して関連付けられる、音響出力の制御に関する設定は必ずしも図5に示した例には限定されない。即ち、本実施形態に係る機能マップにおいては、ユーザの状態の候補それぞれに対して、図5に示す例のように複数種類の制御それぞれに関する設定の組み合わせが関連付けられていてもよいし、1種類の制御についてのみ設定が関連付けられていてもよい。また、制御対象となる、音響出力に関する動作の種別についても限定されない。具体的な一例として、ノイズ低減機能及びアンビエント機能のみが制御の対象として設定されていてもよい。また、他の一例として、音響出力に関する動作として、図5に示した例以外の他の動作が制御の対象として設定されていてもよい。また、上述したユーザの候補の状態はあくまで一例であり、認識エンジンが認識可能な状態であれば、当該状態は必ずしも上述した例のみには限定されない。具体的な一例として、ユーザの状態の候補である「Vehicle」について、ユーザがバスや電車等の乗り物に乗って移動している状態として説明したが、当該バスや電車に限らず、例えば、バイク、船、飛行機等の他の移動体に乗って移動している状態が認識されてもよい。なお、これらの移動体に乗って移動している状態については、例えば、機械学習等の技術を利用することで、認識エンジンに認識させることが可能である。
以上のような構成に基づき、本実施形態に係る情報処理装置10は、例えば、所定のタイミングごと(例えば、数秒ごと)にユーザの状態を認識し、その時々におけるユーザの状態の認識結果に応じて、音響デバイス30の動作を制御する。これによりユーザは、自身の状態や状況が逐次変化するような状況下においても、ノイズキャンセリングやアンビエント等の機能をONまたはOFFしたり、音響デバイス30を一時的に外すといった煩雑な操作を伴わずとも、より好適な態様で音響(例えば、再生中の楽曲や周囲の環境音等)を聴取することが可能となる。
以上、図3〜図5を参照して、本実施形態に係る情報処理システムの概要について説明した。なお、以降では、本実施形態に係る情報処理システムについてより詳しく説明する。
<2.2.機能構成>
続いて、図6を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図6は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。なお、本説明では、本実施形態に係る情報処理システムが、図1に示すように、情報処理装置10と音響デバイス30とがネットワークを介して接続されて構成されるものとして説明する。
(音響デバイス30)
まず、音響デバイス30の構成に着目して説明する。図6に示すように、音響デバイス30は、通信部301と、制御部305と、音響出力部303とを含む。
通信部301は、音響デバイス30が、所定のネットワークを介して他の外部装置(例えば、情報処理装置10)との間で各種情報の送受信を行うための構成である。通信部301は、例えば、無線のネットワークを介して外部装置との間で各種情報の送受信を行う場合には、通信アンテナ、RF(Radio Frequency)回路、ベースバンドプロセッサ等を含み得る。なお、以降の説明では、音響デバイス30の各構成が、他の外部装置との間で情報の送受信を行う場合には、特に説明が無い場合には、当該通信部301を介して当該情報の送受信が行われるものとする。
音響出力部303は、スピーカ等のような発音体(例えば、図2に示す発音体341)を含み、入力された駆動信号(音響信号)を音響に変換して出力する。
制御部305は、音響出力部303の動作を制御するための構成である。制御部305は、例えば、所定のネットワークを介して情報処理装置10から送信された音響信号(即ち、音響入力)に対して所定の音響処理を施し、音響出力部303に当該音響信号を音響に変換して出力させる。
また、制御部305は、音響入力に対して各種信号処理を施す信号処理部307を備えてもよい。例えば、信号処理部307は、音響入力に対して、ノイズ低減機能を実現するための各種信号処理を施してもよい。この場合には、例えば、信号処理部307は、所定のマイクロフォン(図示を省略する)による外部環境の音響(即ち、環境音)の集音結果に基づきノイズ低減信号を生成し、音響入力に対して生成した当該ノイズ低減信号を加算すればよい。
また、他の一例として、信号処理部307は、音響入力に対して、アンビエント機能を実現するための各種信号処理を施してもよい。この場合には、例えば、信号処理部307は、音響入力に対して、所定のマイクロフォン(図示を省略する)による外部環境の音響(即ち、環境音)の集音結果を加算すればよい。
なお、上述した制御部305及び信号処理部307の処理はあくまで一例であり、入力された音響信号に基づく音響の出力に係る処理であれば、その種別は上述した例のみには限定されない。また、制御部305や信号処理部307による各種処理は、情報処理装置10によりネットワークを介して制御されてもよい。この場合には、例えば、制御部305や信号処理部307は、ネットワークを介して情報処理装置10から送信される制御コマンドに基づき、各種処理を実行すればよい。
(情報処理装置10)
次いで、情報処理装置10の構成に着目して説明する。図6に示すように、情報処理装置10は、通信部101と、検出部103と、認識処理部105と、出力制御部107と、出力部109と、記憶部111とを含む。
通信部101は、情報処理装置10が、所定のネットワークを介して他の外部装置(例えば、音響デバイス30)との間で各種情報の送受信を行うための構成である。通信部101は、例えば、無線のネットワークを介して外部装置との間で各種情報の送受信を行う場合には、通信アンテナ、RF回路、ベースバンドプロセッサ等を含み得る。なお、以降の説明では、情報処理装置10の各構成が、他の外部装置との間で情報の送受信を行う場合には、特に説明が無い場合には、当該通信部101を介して当該情報の送受信が行われるものとする。
出力部109は、情報処理装置10がユーザに対して各種情報を提示するための出力インタフェースである。出力部109は、例えば、所謂ディスプレイ等のように、静止画像や動画像のような画像を出力する表示デバイスを含んでもよい。また、出力部109は、例えば、スピーカ等のように音響を出力する音響デバイスを含んでもよい。また、出力部109は、所謂バイブレータ等のように、提示対象となる情報に対応したパターンで振動することで、当該情報をユーザに提示する振動デバイスを含んでもよい。
記憶部111は、各種データを一時的または恒常的に記憶するための記憶領域である。例えば、記憶部111には、情報処理装置10が各種機能を実行するためのデータが記憶されていてもよい。具体的な一例として、記憶部111には、各種アプリケーションを実行するためのデータ(例えば、ライブラリ)や各種設定等を管理するための管理データ等が記憶されていてもよい。また、記憶部111には、各種コンテンツ(例えば、楽曲等のオーディオコンテンツ)のデータが記憶されていてもよい。
検出部103は、各種状態や状況を検出するための構成である。具体的な一例として、検出部103は、加速度センサや角速度センサ等の各種センサを含み、所定のオブジェクト(例えば、情報処理装置10)の位置や向きの変化を検出する。このようにして検出された情報により、例えば、当該オブジェクトの動きを検出し、ひいては当該オブジェクトを保持するユーザの状態(特に、歩行や走行といったユーザの行動に関する状態)を認識(推定)することが可能となる。
また、他の一例として、検出部103は、GPS(Global Positioning System)等のように、情報処理装置10(ひいては、情報処理装置10を保持するユーザ)の位置を検出するための構成を含んでもよい。
また、他の一例として、検出部103は、情報処理装置10(ひいては、情報処理装置10を保持するユーザ)の外部環境の状態や状況を認識または推定するための情報を取得するための構成を含んでもよい。例えば、検出部103は、所謂カメラ等のような撮像部を備え、当該撮像部による外部環境の映像(例えば、静止画像や動画像)の撮像結果を取得してもよい。このようにして撮像された映像を解析することで、例えば、情報処理装置10を保持するユーザの周囲の状況を認識または推定することが可能となる。また、検出部103は、所謂マイクロフォン等のような集音部を備え、当該集音部による外部環境の音響(例えば、環境音)の集音結果を取得してもよい。このようにして集音された音響を解析することで、情報処理装置10を保持するユーザの周囲の状況を認識または推定することも可能である。
以上のようにして、検出部103は、各種状態や状況を所定のタイミングごとに検出し、当該検出結果を示す情報を後述する認識処理部105に逐次出力する。
認識処理部105は、検出部103から各種状態や状況の検出結果を示す情報を逐次取得し、取得した当該情報に基づき、情報処理装置10を保持するユーザの状態(特に、ユーザの行動に関する状態)を認識(または推定)する。
具体的には、認識処理部105は、図3を参照して説明した認識エンジンに相当する構成を含み、検出部103から取得した情報を入力として、所定のタイミングごとに、ユーザの状態が、図4を参照して説明したユーザの状態の候補のうちのいずれに該当するかを判定する。ここで、図7を参照して、認識処理部105がユーザの状態を認識する処理の一例について、特に認識エンジンの処理に着目して説明する。図7は、ユーザの状態の認識に係る処理の概要について説明するための説明図である。なお、本説明では、認識エンジンが、加速度センサによる情報処理装置10の位置や向きの変化の検出結果に基づき、ユーザの状態を認識する場合に着目して説明する。
具体的には、認識エンジンは、所定の期間(例えば、5秒)を1フレームとして、加速度センサから逐次出力される検出結果を集計する。次いで、認識エンジンは、所謂機械学習によりあらかじめ生成された教師データに基づき、フレームごとに集計された検出結果を、当該学習時に設定したクラス(例えば、図4に示したユーザの状態の候補)に分類する。以上のようにして、認識処理部105は、各クラス(即ち、ユーザの状態の候補)それぞれについて尤度(即ち、当該クラスに該当することの確からしさ)を算出し、当該尤度の算出結果を一時出力値として出力する。例えば、認識エンジンは、「Stay」、「Walk」、「Run」、「Vehicle」、及び「Bicycle」それぞれのクラスの尤度を、各クラス間における合計が1.0となるように相対値として算出してもよい。もちろん、これはあくまで一例であり、各クラスの尤度の算出結果として出力される値を必ずしも限定するものではない。具体的な一例として、各クラスの尤度が、他のクラスとは独立して個別に算出されてもよい。
このような構成に基づき、認識処理部105は、認識エンジンから出力された各クラスの尤度を示す情報に基づき、ユーザの状態を認識する。例えば、図4に示したユーザの状態の候補それぞれを示すクラスのうち、「Walk」の尤度が最も高く、「Vehicle」の尤度が最も低いものとする。この場合には、認識処理部105は、ユーザの状態が「Walk」であるものと認識する。
以上のようにして、認識処理部105は、フレームごとにユーザの状態を認識し、認識結果を示す情報を後述する出力制御部107に出力する。
出力制御部107は、情報処理装置10に対してネットワークを介して接続された音響デバイス30の動作を制御する。例えば、出力制御部107は、所定の記憶領域(例えば、記憶部111)からオーディオコンテンツを読み出して再生し、再生結果に基づく音響信号を音響デバイス30に送信することで、当該音響信号に応じた音響を当該音響デバイス30に出力させてもよい。
また、出力制御部107は、音響デバイス30に対して制御コマンドを送信することで、当該音響デバイス30の動作を制御する。例えば、出力制御部107は、所定の入力部(図示を省略する)を介したユーザ入力に基づき制御コマンドを生成してもよい。これにより、出力制御部107は、ユーザが所望する態様で、音響デバイス30の動作を制御することが可能となる。
また、他の一例として、出力制御部107は、認識処理部105からユーザの状態の認識結果を示す情報を取得し、取得した当該情報に応じた制御コマンドを音響デバイス30に送信することで、当該音響デバイス30の動作を制御してもよい。具体的には、出力制御部107は、取得したユーザの状態の認識結果を示す情報と、図5を参照して説明した機能マップとを比較することで、当該ユーザの状態に応じた音響出力の制御に関する設定を特定する。なお、機能マップについては、例えば、あらかじめ生成したものを、出力制御部107が参照可能な所定の記憶領域(例えば、記憶部111)にあらかじめ記憶させておけばよい。そして、出力制御部107は、特定した設定に応じた制御コマンドを音響デバイス30に送信することで、当該音響デバイス30の動作を制御する。このような構成により、例えば、ノイズ低減機能、アンビエント機能、及び楽曲の再生それぞれのON/OFFや、楽曲の再生に係るボリューム等のような、音響出力に関する音響デバイス30の動作が、その時々のユーザの状態に応じて動的に制御される。
なお、出力制御部107が、認識処理部105から取得したユーザの状態の認識結果を示す情報に応じて音響デバイス30の動作を制御するタイミングは特に限定されない。具体的な一例として、出力制御部107は、ユーザの状態が変化したことを認識した場合に、変化後のユーザの状態に応じた制御コマンドを音響デバイス30に送信することで、当該音響デバイス30の動作を制御してもよい。また、出力制御部107は、ユーザの状態が変化したことを認識した場合に、変化後のユーザの状態に応じた設定のうち、ユーザの状態の変化に応じて更新された設定のみを制御の対象としてもよい。この場合には、出力制御部107は、更新された設定についてのみ制御コマンドを音響デバイス30に送信することで、当該音響デバイス30の動作を制御してもよい。また、他の一例として、出力制御部107は、所定のタイミングごとに、当該タイミングにおけるユーザの状態の認識結果に応じた制御コマンドを音響デバイス30に送信することで、当該音響デバイス30の動作を定期的に制御してもよい。もちろん、上記に説明した例はあくまで一例であり、出力制御部107がユーザの状態の認識結果に応じて音響デバイス30の動作を制御するタイミングは、本実施形態に係る情報処理システム1の利用形態に応じて適宜変更してもよい。
また、出力制御部107は、出力部109に各種情報を出力させることで、ユーザに対して当該情報を提示してもよい。具体的な一例として、出力制御部107は、音響デバイス30の動作の制御結果に応じた情報を出力部109に出力させることで、当該制御結果をユーザにフィードバックしてもよい。また、他の一例として、出力制御部107は、音響デバイス30から、当該音響デバイス30に関する各種情報(例えば、動作状態を示す情報等)を取得し、取得した当該情報を出力部109に出力させてもよい。これにより、ユーザは、情報処理装置10に対してネットワークを介して接続された音響デバイス30の状態を認識することが可能となる。
なお、上述した情報処理システム1の機能構成はあくまで一例であり、情報処理装置10及び音響デバイス30それぞれの機能を実現することが可能であれば、当該情報処理システム1の機能構成は必ずしも図6に示す例には限定されない。具体的な一例として、情報処理装置10と音響デバイス30とが一体的に構成されていてもよい。また、他の一例として、情報処理装置10の各構成のうち一部の構成が、当該情報処理装置10とは異なる他の装置(例えば、サーバ等)に設けられていてもよい。
以上、図6を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。
<2.3.処理>
続いて、図8を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10がユーザの状態を認識し、当該認識結果に応じて音響デバイス30の動作を制御する処理に着目して説明する。図8は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
図8に示すように、情報処理装置10(認識処理部105)は、検出部103により逐次取得される各種状態や状況の検出結果を示す情報に基づき、当該情報処理装置10を保持するユーザの状態(特に、ユーザの行動に関する状態)を認識する(S101)。
次いで、情報処理装置10(出力制御部107)は、ユーザの状態の認識結果と、所定の機能マップとを比較することで、当該ユーザの状態に応じた音響出力の制御に関する設定(例えば、ノイズ低減機能やアンビエント機能の設定等)を特定する(S103)。
そして、情報処理装置10(出力制御部107)は、特定した設定に応じた制御コマンドを、ネットワークを介して音響デバイス30に送信することで、当該音響デバイス30の動作を制御する(S105)。なお、このとき情報処理装置10は、ユーザの状態が変化したことを認識した場合に、変化後のユーザの状態に応じて音響デバイス30の動作を制御してもよい。
以上のような処理により、例えば、ノイズ低減機能、アンビエント機能、及び楽曲の再生それぞれのON/OFFや、楽曲の再生に係るボリューム等のような、音響出力に関する音響デバイス30の動作が、その時々のユーザの状態に応じて動的に制御される。
なお、図8に示す一連の処理が実行されるタイミングは特に限定されない。具体的な一例として、情報処理装置10は、図8に示した一連の処理を所定のタイミングごとに定期的に実行してもよい。また、他の一例として、情報処理装置10は、所定のイベントをトリガとして、図8に示した一連の処理を実行してもよい。もちろん、上述した例はあくまで一例であり、図8に示す一連の処理が実行されるタイミングは、情報処理システム1の利用形態に応じて適宜変更されてもよい。
以上、図8を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10がユーザの状態を認識し、当該認識結果に応じて音響デバイス30の動作を制御する処理に着目して説明した。
<2.4.変形例>
続いて、本実施形態に係る情報処理システムの変形例について説明する。
(変形例1−1:機能マップの一例)
まず、変形例1−1として、機能マップの他の一例について説明する。図5を参照して説明した機能マップでは、ユーザの状態の候補それぞれに対して、音響出力に関する制御の設定が1対1で関連付けられていた。そのため、例えば、ユーザの状態が「Stay」として認識された場合には、ノイズ低減機能を有効化し、アンビエント機能については無効化したうえで、楽曲の再生を有効化し、当該楽曲のボリュームを下げられるように、音響デバイス30の動作が一意的に制御されていた。
一方で、ユーザの状態が「Stay」に遷移したとしても、音響出力に関する制御の設定として、ユーザが所望する設定がその時々の状況に応じて異なる場合がある。例えば、ユーザの状態が「Walk」から「Stay」に遷移した場合には、屋外を歩行しているユーザが、当該歩行するのをやめて一時的に停止した場合が想定され得る。このような場合には、例えば、ユーザの状態が「Stay」に遷移したとしても、ユーザが周囲の状況を把握できるように、ユーザの状態が「Walk」の場合の設定と同様に、ノイズ低減機能が無効化され、アンビエント機能が有効化されている方が望ましい場合がある。
これに対して、ユーザの状態が「Vehicle」から「Stay」に遷移した場合には、ユーザが電車に乗って移動している状況下において、電車の停止に伴いユーザも停止した状態となった場合が想定され得る。このような場合には、例えば、電車の停止及び発進に応じて音響出力に関する制御の設定が逐次変更されることは望ましくなく、ユーザの状態が「Stay」に遷移したとしても、ユーザの状態が「Vehicle」の場合と同様の設定が適用される方が望ましい場合がある。
このような状況を鑑み、例えば、ユーザの状態の候補のうち一部の候補については、前の状態(設定)を引き継ぐように機能マップが設定されていてもよい。例えば、図9は、本実施形態の変形例1−1に係る機能マップの一例について説明するための説明図である。図9に示す機能マップでは、ユーザの状態が「Stay」及び「Bicycle」の場合には、ノイズ低減機能のON/OFFと、アンビエント機能のON/OFFと、楽曲の再生のON/OFFと、楽曲の再生に係るボリュームの制御内容と、について前の状態を引き継ぐような設定が成されている。このような構成により、例えば、ユーザの状態が「Stay」に遷移した場合においても、「Walk」や「Run」から「Stay」に遷移した場合と、「Vehicle」から「Stay」に遷移した場合とで、音響出力に関する制御の設定として、より好適な設定を適用することが可能となる。
なお、上記に説明した例はあくまで一例であり、必ずしも図9に示した例のみには限定されない。具体的な一例として、音響出力に関する制御の一連の設定のうち、一部の設定についてのみ(例えば、ノイズ低減機能及びアンビエント機能についてのみ)、前の状態を引き継ぐ設定が成されていてもよい。
また、他の一例として、遷移前後の状態の組み合わせごとに、音響出力に関する制御の設定が関連付けられていてもよい。具体的な一例として、「Walk」から「Stay」に遷移した場合と、「Vehicle」から「Stay」に遷移した場合とで、音響出力に関する制御の設定が個別に関連付けられていてもよい。
以上、変形例1−1として、図9を参照して、機能マップの他の一例について説明した。
(変形例1−2:機能マップの更新)
続いて、変形例1−2として、機能マップを更新する場合の一例について説明する。前述した実施形態では、適用される機能マップが固定的に設定されている場合について説明した。一方で、ユーザの状態それぞれにおいて、ユーザが所望する音響出力に関する制御の設定がユーザごとに異なる場合が想定され得る。このような状況を鑑み、情報処理装置10に対して、当該情報処理装置10が適用する機能マップを更新するための機能が設けられていてもよい。
具体的な一例として、変形例1−2に係る情報処理装置10は、自身が保持する機能マップを更新するためのユーザインタフェースをユーザに対して提示してもよい。より具体的には、情報処理装置10は、自身が保持する機能マップの設定内容、即ち、ユーザの状態の候補それぞれに関連付けられた音響出力の制御に関する設定を、所定の出力部を介してユーザに提示してもよい。また、情報処理装置10は、所定の入力部を介したユーザ入力に基づき、ユーザの状態の候補それぞれに関連付けられた音響出力の制御に関する設定のうち、少なくとも一部の設定を更新してもよい。このような構成により、ユーザの状態の認識結果に応じた音響出力の制御に関する設定を、ユーザごとにカスタマイズすることが可能となる。
以上、変形例1−2として、機能マップを更新する場合の一例について説明した。
(変形例1−3:ユーザの状態の認識に係る制御の一例)
続いて、変形例1−3として、情報処理装置10によるユーザの状態の認識に係る制御の一例として、機械学習により教師データを更新する場合の一例について説明する。前述したように、情報処理装置10は、例えば、各種センサ等の検出部による検出結果をフレームごとに集計し、機械学習によりあらかじめ生成された教師データに基づき、集計結果を当該学習時に設定したクラスに分類することで、ユーザの状態を認識する。
ところで、教師データをあらかじめ生成する場合には、個々のユーザを想定して生成することは困難であり、より一般的な傾向に基づき生成されることとなる。これに対して、ユーザの行動と、当該行動に伴い検出部に検出される状態と、の間の関連性は、例えば、ユーザ個人に特有の情報(例えば、癖等のようなユーザに固有の動作)により、ユーザごとに異なる場合も想定され得る。
このような状況を鑑み、変形例1−3に係る情報処理装置10は、検出部による検出結果に基づくユーザの状態の認識結果を利用した機械学習により、当該ユーザの状態の認識に利用する教師データを更新可能に構成されている。具体的な一例として、情報処理装置10は、検出部による過去の検出結果と、当該検出結果に応じたユーザの状態の認識結果と、を対応付けることでサンプルを生成し、当該サンプルに基づきユーザの状態の認識に利用する教師データを更新してもよい。このような構成により、情報処理装置10は、ユーザの状態の認識結果に基づき教師データを動的に更新することが可能となるため、例えば、癖等のようなユーザごとに固有の動作の影響があるような状況下においても、当該ユーザの状態をより精度良く認識することが可能となる。
以上、変形例1−3として、情報処理装置10によるユーザの状態の認識に係る制御の一例として、機械学習により教師データを更新する場合の一例について説明した。
<2.5.評価>
以上説明したように、本実施形態に係る情報処理システムにおいて、情報処理装置10は、所定の状態または状況の検出結果に応じてユーザの状態を認識し、当該ユーザの状態の認識結果に応じて、音響デバイス30の動作(特に、音響出力の制御に関する設定)を制御する。このような構成により、ユーザの状態や状況が逐次変化するような状況下においても、当該ユーザは、煩雑な操作を伴わずとも、所謂オーディオコンテンツや周囲の環境音等のような各種音響を、より好適な態様で聴取することが可能となる。
<<3.第2の実施形態>>
<3.1.概要>
続いて、本開示の第2の実施形態に係る情報処理システムについて説明する。前述した第1の実施形態では、ユーザの状態に応じて、音響デバイス30の動作(特に、音響出力の制御に関する設定)を制御するための技術の一例について説明した。一方で、例えば、平日の出勤時における利用を想定したユースケースと、休日にエクササイズを行いながらの利用を想定したユースケースとでは、ユーザの状態それぞれにおける、音響出力の制御に関するより好適な設定が異なる場合がある。このような状況を鑑み、本実施形態では、ユーザの行動を想定したシナリオ(以降では、「行動シナリオ」とも称する)に応じて機能マップを適宜切り替えることで、その時々の状況に応じたより好適な態様で、音響デバイス30の動作を制御するための技術の一例について説明する。
<3.2.機能構成>
まず、図10を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図10は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。なお、本説明では、本実施形態に係る情報処理システムを、前述した第1の実施形態に係る情報処理システム1と区別する場合には、「情報処理システム1a」と称する場合がある。
図10に示すように、本実施形態に係る情報処理システム1aは、情報処理装置10aと、音響デバイス30とを含む。なお、音響デバイス30は、前述した第1の実施形態に係る情報処理システム1(図6参照)における音響デバイス30と同様である。そのため、音響デバイス30の構成については詳細な説明は省略する。
また、情報処理装置10aは、前述した第1の実施形態に係る情報処理システム1における情報処理装置10に相当する構成であり、特にシナリオ選択部113を含む点が前述した情報処理装置10と異なる。そこで、本説明では、情報処理装置10aの構成について、特に、前述した第1の実施形態に係る情報処理装置10と異なる部分に着目して説明し、当該情報処理装置10と同様の構成については詳細な説明は省略する。
入力部115は、ユーザが情報処理装置10aに対して各種情報を入力するための入力インタフェースである。入力部115は、例えば、ボタン、レバー、及びタッチパネル等のような入力デバイスを含んでもよい。
認識処理部105は、検出部103から各種状態や状況の検出結果を示す情報を逐次取得し、取得した当該情報に基づき、情報処理装置10を保持するユーザの状態(特に、ユーザの行動に関する状態)を認識(または推定)し、認識結果を出力制御部107に出力する。本動作については、前述した第1の実施形態係る情報処理装置10と同様である。
また、認識処理部105は、各種状態や状況を示す情報を、後述するシナリオ選択部113が行動シナリオを選択するための選択条件に関連する情報として取得してもよい。行動シナリオ(詳細は後述する)の選択条件に関する情報としては、例えば、日付、曜日、及び時間帯を示す情報や、ユーザの位置情報等が挙げられる。例えば、認識処理部105は、カレンダー等の情報を参照することで、その日の日付や曜日を示す情報を取得してもよい。また、他の一例として、認識処理部105は、計時部による計時結果に基づき、その時点における時間帯を認識してもよい。また、他の一例として、認識処理部105は、検出部103(例えば、GPS等)により取得された位置情報に基づき、情報処理装置10を保持するユーザの位置を示す情報を取得してもよい。
また、認識処理部105は、ユーザの年齢や性別等のような、ユーザの属性に関する情報を、行動シナリオの選択条件に関連する情報として取得してもよい。例えば、認識処理部105は、情報処理装置10にあらかじめ登録されたユーザ情報を参照することで、ユーザの年齢や性別等のような、当該ユーザの属性に関する情報を取得してもよい。また、他の一例として、認識処理部105は、SNS等のようなネットワークサービスにアクセスすることで、ユーザの属性に関する情報を取得してもよい。
以上のようにして、認識処理部105は、各種状態や状況を示す情報やユーザの属性に関する情報を行動シナリオの選択条件に関連する情報として取得し、取得した当該情報をシナリオ選択部113に出力する。
シナリオ選択部113は、認識処理部105から行動シナリオの選択条件に関連する情報を取得し、取得した当該情報に基づきユーザの行動(換言すると、ユーザの状態の遷移)を推定し、推定結果に対応する行動シナリオを選択する。
具体的な一例として、シナリオ選択部113は、日付や曜日を示す情報と、時間帯を示す情報とに応じて、平日の通勤時間であることを認識し、平日の通勤時間におけるユーザの行動に対応する行動シナリオを選択してもよい。また、このときシナリオ選択部113は、ユーザの位置情報に応じて、当該ユーザが自宅の近くにいることを認識し、平日の通勤時間においてユーザが自宅から最寄り駅まで移動する場合を想定した行動シナリオを選択してもよい。また、他の一例として、シナリオ選択部113は、日付や曜日を示す情報に応じて、休日におけるユーザの行動に対応する行動シナリオを選択してもよい。また、このときシナリオ選択部は、時間帯を示す情報と、ユーザの位置情報とに応じて、休日にユーザが運動等のエクササイズを行う場合の行動に対応する行動シナリオ等を選択してもよい。また、他の一例として、シナリオ選択部113は、あらかじめ登録されたユーザのスケジュールに関する情報等を参照し、当該参照結果に基づきユーザの行動を推測することで行動シナリオを選択してもよい。例えば、シナリオ選択部113は、スケジュールとして登録されたユーザの行き先となる場所の情報に基づき、当該場所までの移動手段を特定し、特定した移動手段に応じて行動シナリオを特定してもよい。なお、行動シナリオのより詳細については、具体的な例を挙げて別途後述する。
また、他の一例として、シナリオ選択部113は、入力部115を介したユーザ入力に基づき行動シナリオを選択してもよい。なお、この場合には、情報処理装置10は、行動シナリオを選択するためのユーザインタフェース(例えば、GUI)を、出力部109を介してユーザに提示してもよい。このような構成により、例えば、ユーザは、提示されたユーザインタフェースに応じた操作に基づき所望の行動シナリオを選択することで、適用される行動シナリオを選択的に切り替えることが可能となる。
次いで、シナリオ選択部113は、選択した行動シナリオに対応する機能マップを抽出する。なお、機能マップについては、例えば、想定され得る行動シナリオごとにあらかじめ生成され、シナリオ選択部113が参照可能な記憶領域(例えば、記憶部111)にあらかじめ記憶されているとよい。また、各行動シナリオに対応する機能マップは、当該行動シナリオで想定されるユースケースに応じて、ユーザの状態の候補それぞれに対して、音響出力の制御に関するより好適な設定が関連付けられるように生成されているとよい。そして、シナリオ選択部113は、抽出した機能マップを出力制御部107に出力する。
出力制御部107は、シナリオ選択部113から行動シナリオの選択結果に応じて抽出された機能マップを取得する。また、出力制御部107は、認識処理部105からユーザの状態の認識結果を示す情報を取得する。出力制御部107は、シナリオ選択部113から取得した機能マップと、認識処理部105から取得したユーザの状態の認識結果を示す情報と、を比較することで、選択された行動シナリオと、認識されたユーザの状態と、に応じた音響出力の制御に関する設定を特定する。そして、出力制御部107は、特定した設定に応じた制御コマンドを音響デバイス30に送信することで、当該音響デバイス30の動作を制御する。
以上のような制御により、情報処理装置10は、ユーザの行動を想定した行動シナリオ(換言すると、ユースケース)に応じて機能マップを適宜切り替える(例えば、動的に切り替える)ことで、その時々の状況に応じたより好適な態様で、音響デバイス30の動作を制御することが可能となる。
以上、図10を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明した。
<3.3.行動シナリオ>
続いて、機能マップの切り替えに係る行動シナリオの一例と、当該行動シナリオの選択に係る制御の一例とについて、より詳細に説明する。
(通勤時の行動を想定した行動シナリオ1:時間に余裕がある場合)
まず、通勤時におけるユーザの行動を想定した行動シナリオの一例として、ユーザが予定通りに通勤を行う場合等のように比較的時間に余裕がある場合に着目して、ユーザの行動の遷移と、そのとき情報処理装置10により認識されるユーザの状態の一例について説明する。例えば、図11及び図12は、通勤時におけるユーザの行動を想定した行動シナリオの一例について説明するための説明図である。
まず、図11を参照して、平日の通勤時において、ユーザが自宅を出発して最寄りの駅まで歩いて向かうような状況を想定した、ユーザの状態(行動)の遷移の一例について具体的な例を挙げて説明する。
例えば、ユーザは、情報処理装置10(例えば、スマートフォン)を携帯し、音響デバイス30(例えば、ヘッドホン)を装着したうえで、自宅を出発して最寄りの駅に向かって歩行を開始したとする。この場合には、ユーザの状態は、まず「Stay」として認識され、歩行の開始に伴い「Walk」に遷移する。次いで、ユーザは、駅に向かうまでの道のりにおいて信号が赤を示していたため横断歩道の前で一時停止し、信号が青に変わるのを確認して再び駅に向かって歩き出したものとする。この場合には、ユーザの状態は、ユーザが横断歩道の前で停止したことで「Stay」に遷移し、その後、信号が青に変わりユーザが歩行を再開したことで再度「Walk」に遷移する。
次いで、駅に到着したユーザは、改札を通過した後にエスカレータを使用してホームに移動したものとする。この場合には、ユーザの状態は、エスカレータまでの移動時においては「Walk」として認識され、エスカレータに乗った後はユーザ自体が停止しているため「Stay」に遷移する。また、ホームへの移動後、ユーザは、エスカレータを降りて、普段利用している乗車待ちの場所まで移動し、その場所で電車の到着を待っていたものとする。この場合には、ユーザの状態は、エスカレータを降りてユーザが歩き出すことで「Stay」から「Walk」に遷移し、乗車待ちの場所への到着に伴い「Walk」から「Stay」に遷移する。その後、ユーザの状態は、電車の到着までは「Stay」の状態が継続することとなる。
このように、図11を参照して説明した例では、ユーザが通勤時に自宅を出てから最寄りの駅まで歩いて移動し、駅に到着後、ホームに移動して乗車予定の電車を待つといった一連の動作において、ユーザの状態(行動)は、「Stay」と「Walk」との間を遷移していることが分かる。
ここで、図11を参照して説明した例では、ユーザが屋外や駅構内を移動中であることが想定される。そのため、例えば、歩行しているユーザが信号待ち等のために一時的に停止をしたとしても、歩行している場合と同様に周囲の状況を把握できるようにアンビエント機能が有効化されていることが望ましい場合もある。このような状況を鑑み、図11を参照して上述したシナリオを想定した場合には、例えば、ユーザの状態として「Stay」が認識された場合に、音響出力の制御に関する設定として前の状態(例えば、「Walk」における設定)を引き継ぐように規定された機能マップが選択されるとよい。また、他の一例として、ユーザの状態として「Stay」が認識された場合に、ノイズ低減機能が無効化され(OFFとなり)、アンビエント機能が有効化される(ONとなる)ように規定された機能マップが選択されてもよい。
続いて、図12を参照して、平日の通勤時において、駅のホームに到着したユーザが、電車を利用して会社の近くの駅まで移動する場合を想定した、ユーザの状態(行動)の遷移の一例について具体的な例を挙げて説明する。
例えば、電車待ちをしていたユーザは、到着した電車に乗り込み、車両中程の位置まで移動して吊革に掴まり、その後、電車が発車したものとする。この場合には、ユーザの状態は、ユーザの移動に伴い「Walk」に遷移し、電車内でユーザが停止することで「Stay」に遷移した後、電車の発車に伴い「Vehicle」に遷移する。また、ユーザが乗車した電車は、ユーザの会社の近くの駅に到着するまでに、いくつかの駅で停車したものとする。この場合には、ユーザの状態は、電車の停車に伴い「Vehicle」から「Stay」に遷移し、電車が再度発車することで「Stay」から「Vehicle」に遷移することとなる。その後、電車がユーザの会社の近くの駅に到着すると、ユーザは、当該電車を降りたものとする。この場合には、ユーザの状態は、電車の停車に伴い「Vehicle」から「Stay」に遷移し、ユーザが電車を歩いて降りることで「Stay」から「Walk」に遷移することとなる。
このように、図12を参照して説明した例では、ユーザが電車に乗降する動作や、電車が発車と停止とを繰り返す動作に伴い、ユーザの状態(行動)は、「Walk」と「Stay」との間や、「Stay」と「Vehicle」との間を遷移していることが分かる。
ここで、図12を参照して説明した例では、電車の発車及び停止に伴い、ユーザの状態が「Stay」と「Vehicle」との間を遷移するが、ユーザ自体は停止している状態であり、歩行しているユーザが意図的に停止した場合とは異なることが想定される。このような状況を鑑み、図12を参照して上述したシナリオを想定した場合には、例えば、ユーザの状態として「Stay」が認識された場合に、音響出力の制御に関する設定として前の状態(例えば、「Vehicle」における設定)を引き継ぐように規定された機能マップが選択されるとよい。
なお、電車を降りたユーザは、改札を通過して駅から会社に向けて歩いて移動を開始し、会社への道のりの途中でコンビニエンスストアに立ち寄り買い物をした後に、会社に到着したものする。この場合には、ユーザの状態は、例えば、図11に示す例と同様に、ユーザの移動に伴い「Walk」に遷移し、コンビニエンスストアへの到着に伴い一時的に「Stay」に遷移し、その後、ユーザが再度移動を開始することで「Walk」に遷移することとなる。そのため、この場合についても、例えば、図11を参照して前述した例と同様の機能マップが選択されるとよい。
以上、図11及び図12を参照して、通勤時におけるユーザの行動を想定したシナリオの一例として、ユーザが予定通りに通勤を行う場合等のように比較的時間に余裕がある場合に着目して、ユーザの状態(行動)の変化と、そのとき情報処理装置により認識される状態の遷移の一例について説明した。
(通勤時の行動を想定した行動シナリオ2:時間に余裕がない場合)
続いて、通勤時におけるユーザの行動を想定した行動シナリオの他の一例として、遅刻しそうな状況等のように時間に余裕がない場合に着目して、ユーザの行動の遷移と、そのとき情報処理装置10により認識されるユーザの状態の一例について説明する。例えば、図13及び図14は、通勤時におけるユーザの行動を想定した行動シナリオの他の一例について説明するための説明図である。
まず、図13を参照して、平日の通勤時において、ユーザが自宅を出発して最寄りの駅まで自転車を利用して急いで向かうような状況を想定した、ユーザの状態(行動)の遷移の一例について具体的な例を挙げて説明する。
例えば、ユーザは、情報処理装置10を鞄に入れて、音響デバイス30を装着したうえで、自宅の駐輪場に走って向かい、止めてある自転車に乗り、自宅を出発して最寄りの駅に向けて移動を開始したとする。この場合には、ユーザの状態は、まず「Stay」として認識され、走行の開始に伴い「Run」に遷移し、駐輪場中の自転車が止められた位置への到着に伴い「Stay」に遷移する。その後、ユーザが自転車に乗って移動を開始すると、ユーザの状態は、「Stay」から「Run」または「Walk」を経て「Bicycle」に遷移する。
次いで、ユーザは、駅に向かうまでの道のりにおいて信号が赤を示していたため横断歩道の前で一時停止し、信号が青に変わるのを確認して再び駅に向かったものとする。この場合には、ユーザの状態は、ユーザが横断歩道の前で停止したことで「Bicycle」から「Stay」に遷移し、その後、信号が青に変わりユーザが自転車での移動を再開したことで再度「Bicycle」に遷移する。
ここで、図13を参照して説明した例では、ユーザが屋外を自転車で移動している状態であることが想定される。そのため、例えば、自転車で移動しているユーザが信号待ち等のために一時的に停止をしたとしても、自転車での走行時と同様に周囲の状況を把握できるように、例えば、ノイズ低減機能が無効化されていたり、アンビエント機能が有効化されていることが望ましい場合もある。このような状況を鑑み、図13を参照して上述したシナリオを想定した場合には、例えば、ユーザの状態として「Stay」が認識された場合に、音響出力の制御に関する設定として前の状態(例えば、「Bicycle」における設定)を引き継ぐように規定された機能マップが選択されるとよい。また、他の一例として、ユーザの状態として「Stay」が認識された場合に、ノイズ低減機能が無効化され(OFFとなり)、アンビエント機能が有効化される(ONとなる)ように規定された機能マップが選択されてもよい。
続いて、図14を参照して、平日の通勤時において、駅に到着したユーザがホームに到着していた電車に駆け込み、当該電車を利用して会社の近くの駅まで移動した後に、走って会社まで移動する場合を想定した、ユーザの状態(行動)の遷移の一例について具体的な例を挙げて説明する。
例えば、駅に到着したユーザは、駅前の駐輪場に自転車を止めて改札に向けて走り出し、改札を走り抜けて階段を駆け上がった後に、ホームに到着していた電車の車内に駆け込んだものとする。この場合には、ユーザの状態は、ユーザが走り出すことで「Run」に遷移し、電車の車内に駆け込んだユーザが停止することで「Stay」に遷移した後、電車の発車に伴い「Vehicle」に遷移する。
次いで、ユーザは、電車を降りた後に改札へと移動する際の時間を短縮するために、途中駅で何度か電車を一時的に降りることで車両間を移動し、会社の近くの駅の改札により近いドアの付近に移動したものとする。この場合には、ユーザの状態は、電車の停止に伴い「Vehicle」から「Stay」に遷移し、ユーザの移動に伴い「Walk」または「Run」に遷移する。また、ユーザの状態は、ユーザの移動が完了すると再度「Stay」に遷移し、電車の発車に伴い再度「Vehicle」に遷移する。
次いで、電車が会社の近くの駅に到着すると、ユーザは、改札に向けて走り出し、改札前が混雑していたため改札を歩いて通り抜けた後に、会社に向けて走り出したものとする。この場合には、ユーザの状態は、電車の停止に伴い「Vehicle」から「Stay」に遷移し、ユーザが改札に向けて走り出すと「Run」に遷移する。また、ユーザの状態は、ユーザが改札を歩いて通り抜ける際に「Walk」に遷移し、ユーザが改札を抜けて再び走り出すと「Run」に遷移する。
ここで、図14を参照して説明した例では、ユーザは、電車に乗った後も途中駅で車両間を移動しているため、ユーザの状態が、「Vehicle」と、「Stay」と、「Walk」または「Run」との間を遷移したとしても、この間にユーザは周囲の状況を把握できることが望ましい場合がある。このような状況を鑑み、図14を参照して上述したシナリオを想定した場合には、例えば、ユーザの状態として、「Vehicle」、「Stay」、「Walk」、及び「Run」のそれぞれが認識された場合に、ノイズ低減機能が無効化され、アンビエント機能が有効化される機能マップが選択されてもよい。
以上、図13及び図14を参照して、通勤時におけるユーザの行動を想定した行動シナリオの他の一例として、遅刻しそうな状況等のように時間に余裕がない場合に着目して、ユーザの行動の遷移と、そのとき情報処理装置により認識されるユーザの状態の一例について説明した。
(休日の行動を想定した行動シナリオ)
続いて、図15及び図16を参照して、休日におけるユーザの行動を想定した行動シナリオの一例について、具体的な例を挙げて説明する。図15及び図16は、休日におけるユーザの行動を想定した行動シナリオの一例について説明するための説明図である。
まず、図15を参照して、ユーザが休日にジョギング等のエクササイズを行う場合に着目して、ユーザの行動の遷移と、そのとき情報処理装置10により認識されるユーザの状態の一例について説明する。
例えば、ユーザは、情報処理装置10をアームバンド等により自身の腕に固定した状態でまずストレッチを行い、ウォーキングによりウォームアップを行ったうえでジョギングを開始したものとする。この場合には、ユーザの状態は、ストレッチ中は「Stay」として認識され、ウォーキングの開始に伴い「Walk」に遷移し、その後、ジョギングの開始に伴い「Run」に遷移する。
次いで、ユーザは、信号の手前でジョギングのスピードをダウンし、信号待ち中においても足踏みをして、信号が青に変わるのを確認してジョギングのスピードを徐々に上げたものとする。この場合には、ユーザの状態は、「Run」が継続しているものとして認識される。
その後、ユーザは、ある程度の距離を走った後に、ウォーキングによりクールダウンを行ったうえで、最後にストレッチを行って一連のエクササイズを終了したものとする。この場合には、ユーザの状態は、ジョギングをやめてウォーキングよるクールダウンが開始されると「Run」から「Walk」に遷移し、その後、ウォーキングをやめてストレッチが開始されると「Walk」から「Stay」に遷移する。
ここで、図15を参照して説明した例では、例えば、ユーザがウォーキング及びジョギング中に屋外を移動している場合もある。このような場合には、例えば、ユーザが周囲の状況を把握できるように、ノイズ低減機能が無効化されていたり、アンビエント機能が有効化されるように設定された機能マップが選択されてもよい。一方で、ユーザが運動場などの様に車両等の侵入が制限された場所でエクササイズを行う場合もある。このような場合においては、ユーザがオーディオコンテンツ等を楽しみながらエクササイズを行えるように、例えば、ノイズ低減機能が有効化されたうえで、アンビエント機能が無効化されるように設定された機能マップが選択されてもよい。
続いて、図16を参照して、ユーザが休日に電車やバスを利用して移動する場合に着目して、ユーザの行動の遷移と、そのとき情報処理装置により認識されるユーザの状態の一例について説明する。
まず、ユーザが休日に電車を利用して移動する場合の一例について具体的な例を挙げて説明する。例えば、ユーザが、情報処理装置10を携帯した状態で、ホームに到着していた電車の車内に駆け込み、空いている座席を探して移動している最中に電車が発車したものとする。この場合には、ユーザの状態は、まず「Run」に遷移し、電車の発車前にユーザが車内を移動している最中には「Walk」に遷移し、その後、電車の発車に伴い「Vehicle」に遷移する。次いで、ユーザは、空いている座席が無かったため、電車が途中駅で停車している間に、空いている座席を探すために車両間を歩いて移動したものとする。この場合には、ユーザの状態は、電車の停止に伴い「Vehicle」から「Walk」に遷移し、電車の発車に伴い再度「Vehicle」に遷移する。
次いで、ユーザが、電車が途中駅で停車している間に車両間を移動し、空いている座席を見つけたためその座席に座った直後に、老人が車内に乗ってきたため再び立ち上がりその老人に席を譲り、少し移動したところで電車が再び発車したものとする。この場合には、ユーザの状態は、電車の停止に伴い「Vehicle」から「Walk」に遷移し、ユーザが座席に座ると「Stay」に遷移する。また、ユーザの状態は、ユーザが老人に席を譲った後に移動を開始したことで「Stay」から「Walk」に遷移した後に、電車の発車に伴い再度「Vehicle」に遷移する。
また、到着駅のホームが混雑しているため、電車が一時的に速度を緩めたものとする。この場合には、ユーザの状態として、「Vehicle」が継続しているものと認識される。
その後、目的地となる駅に電車が到着し、ユーザは、約束の時間に遅れそうになったため電車が駅に停止すると同時にドアの付近に移動し、ドアが開くと走り出したものとする。この場合には、ユーザの状態は、電車の停止に伴い「Vehicle」から「Walk」に遷移し、ドアが開いてユーザが走り出すと「Run」に遷移する。
続いて、ユーザが休日にバスを利用して移動する場合の一例について具体的な例を挙げて説明する。例えば、ユーザが、情報処理装置10を携帯した状態で、停留所に到着していたバスの車内に駆け込み、車内を移動中にバスが発車したものとする。この場合には、ユーザの状態は、まず「Run」に遷移し、バスの発車前にユーザが車内を移動している最中には「Walk」に遷移し、その後、バスの発車に伴い「Vehicle」に遷移する。
次いで、バスの車内が混雑してきたため、ユーザが、バスが低速走行になったタイミングを見計らって空いている位置に移動したものとする。この場合には、ユーザの状態は、バスが低速走行に遷移することで「Vehicle」から「Walk」に遷移し、ユーザの移動後にバスが速度を上げると再度「Vehicle」に遷移する。
また、ユーザが、両替を行うために、バスが信号待ちで停止しているタイミングを見計らい、両替機が設置されている位置まで移動したものとする。この場合には、ユーザの状態は、バスの停止に伴い「Vehicle」から「Walk」に遷移し、ユーザが両替機の前で立ち止まると「Stay」に遷移する。また、両替後にユーザが元の位置に向けて移動を開始し、移動中にバスが発車したものとする。この場合には、ユーザの状態は、ユーザが移動を開始することで「Stay」から「Walk」に遷移し、その後、バスの発車に伴い再度「Vehicle」に遷移する。
また、バスが目的地に向けて移動している間に、道が渋滞しているため一時的に速度を緩めたものとする。この場合には、ユーザの状態として、「Vehicle」が継続しているものと認識される。
以上、図16を参照して、ユーザが休日に電車やバスを利用して移動する場合に着目して、ユーザの行動の遷移と、そのとき情報処理装置により認識されるユーザの状態の一例について説明した。ここで、図16を参照して説明した例では、電車やバスの発車及び停止に伴い、ユーザの状態は「Stay」、「Walk」、及び「Vehicle」の間を遷移するが、このような場合には、「Stay」及び「Walk」の状態においても、ユーザは電車やバスの車内にいる場合が想定される。このような状況を鑑み、図16を参照して上述したシナリオを想定した場合には、例えば、ユーザの状態として「Stay」や「Walk」が認識された場合に、音響出力の制御に関する設定として前の状態(例えば、「Vehicle」における設定)を引き継ぐように規定された機能マップが選択されるとよい。
以上、図15及び図16を参照して、休日におけるユーザの行動を想定したシナリオの一例について、具体的な例を挙げて説明した。
(行動シナリオの選択に対する機械学習の適用)
続いて、行動シナリオの選択に係る処理に対して、所謂機械学習の技術を適用する場合の一例について説明する。
前述したように、本実施形態に係る情報処理装置10は、取得した行動シナリオの選択条件に関連する情報(例えば、各種状態や状況の検出結果やユーザの属性情報等)に応じて行動シナリオを動的に選択してもよく、この場合には、その時々の状況により即した行動シナリオが選択されることが望ましい。このような状況を鑑み、情報処理装置10は、行動シナリオの選択に係る処理に対して、機械学習の技術を適用してもよい。
具体的には、情報処理装置10は、取得した行動シナリオの選択条件に関連する情報を、機械学習によりあらかじめ生成された教師データと比較することで、当該情報を、当該学習時に各行動シナリオに対応付けて設定したクラスに分類する。以上のようにして、情報処理装置10は、各クラス(即ち、行動シナリオ)それぞれについて尤度を算出し、当該尤度の算出結果に基づき行動シナリオ(ひいては、当該行動シナリオに対応する機能マップ)を選択すればよい。
また、情報処理装置10は、機械学習により教師データを更新してもよい。この場合には、情報処理装置10は、過去に判定された行動シナリオの選択条件と、当該条件に応じた行動シナリオ(ひいては、当該行動シナリオに対応する機能マップ)の選択結果と、を対応付けることでサンプルを生成し、当該サンプルに基づき行動シナリオの選択に利用する教師データを更新すればよい。
以上のような構成により、本実施形態に係る情報処理装置10は、その時々の状況により即した行動シナリオをより精度良く選択することが可能となる。また、機械学習により教師データを動的に更新することで、情報処理装置10は、例えば、ユーザごとに行動パターンが異なるような状況下においても、当該ユーザの行動パターンに応じて、その時々の状況により即した行動シナリオを選択することが可能となる。
以上、行動シナリオの選択に係る処理に対して、所謂機械学習の技術を適用する場合の一例について説明した。
なお、図11〜図16を参照して上述した行動シナリオはあくまで一例であり、必ずしも上述した例のみには限定されない。また、行動シナリオが適用される単位についても特に限定されない。具体的な一例として、日ごとに1つの行動シナリオが適用されてもよいし、1日を複数の時間帯に分けて当該時間帯ごとに異なる行動シナリオが適用されてもよい。また、その時々の状況に応じて、適用される行動シナリオが動的に切り替えられてもよい。具体的な一例として、ユーザの現在位置や、ユーザの移動先に応じて異なる行動シナリオが適用されてもよい。
<3.4.処理>
続いて、図17を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10がユーザの状態を認識し、当該認識結果に応じて音響デバイス30の動作を制御する処理に着目して説明する。図17は、本実施形態に係る情報処理装置10の一連の処理の流れの一例について示したフローチャートである。
図17に示すように、情報処理装置10(認識処理部105)は、行動シナリオの選択条件に関連する情報として、各種状態や状況を示す情報やユーザの属性に関する情報を取得する。そして、情報処理装置10(シナリオ選択部113)は、取得した行動シナリオの選択条件に関連する情報に基づきユーザの行動(換言すると、ユーザの状態の遷移)を推定し、推定結果に対応する行動シナリオを選択する(S201)。
また、情報処理装置10(認識処理部105)は、検出部103により逐次取得される各種状態や状況の検出結果を示す情報に基づき、当該情報処理装置10を保持するユーザの状態(特に、ユーザの行動に関する状態)を認識する(S203)。
次いで、情報処理装置10(出力制御部107)は、行動シナリオに応じて選択した機能マップと、ユーザの状態の認識結果とを比較することで、当該ユーザの状態に応じた音響出力の制御に関する設定(例えば、ノイズ低減機能やアンビエント機能の設定等)を特定する(S205)。
そして、情報処理装置10(出力制御部107)は、特定した設定に応じた制御コマンドを、ネットワークを介して音響デバイス30に送信することで、当該音響デバイス30の動作を制御する(S207)。なお、このとき情報処理装置10は、ユーザの状態が変化したことを認識した場合に、変化後のユーザの状態に応じて音響デバイス30の動作を制御してもよい。
以上のような制御により、例えば、ノイズ低減機能、アンビエント機能、及び楽曲の再生それぞれのON/OFFや、楽曲の再生に係るボリューム等のような、音響出力に関する音響デバイス30の動作が、その時々のユーザの状態に応じて動的に制御される。
なお、図17に示す一連の処理が実行されるタイミングは特に限定されない。具体的な一例として、情報処理装置10は、図17に示した一連の処理を所定のタイミングごとに定期的に実行してもよい。また、他の一例として、情報処理装置10は、所定のイベントをトリガとして、図17に示した一連の処理を実行してもよい。もちろん、上述した例はあくまで一例であり、図17に示す一連の処理が実行されるタイミングは、情報処理システム1aの利用形態に応じて適宜変更されてもよい。
以上、図17を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10がユーザの状態を認識し、当該認識結果に応じて音響デバイス30の動作を制御する処理に着目して説明した。
<3.5.変形例>
続いて、本実施形態に係る情報処理システムの変形例について説明する。
(変形例2−1:「Long Stay」の設定)
まず、変形例2−1として、ユーザの状態の候補として「Long Stay」を設ける場合の一例について説明する。
前述したように、図4を参照して前述したユーザの状態の候補の一例のうち、「Stay」は、ユーザが停止している状態を示している。一方で、ユーザが停止している状態としては、例えば、ユーザが信号待ち等のために一時的に停止している状態と、ユーザが休憩や何らかの作業(例えば、デスクワーク等)のために長時間停止している状態(換言すると、恒常的に停止している状態)と、が想定され得る。このような状況を鑑みると、例えば、利用シーンによっては、一時的に停止した状態と、恒常的に停止している状態と、のそれぞれにおいて異なる制御が行われた方が望ましい場合もある。
そこで、変形例2−1に係る情報処理システムでは、情報処理装置10は、ユーザが一時的に停止した状態を「Stay」として認識し、ユーザが恒常的に停止している状態については、「Stay」とは異なる「Long Stay」として認識する。具体的には、情報処理装置10は、「Stay」の状態が一定期間以上継続した場合には、ユーザの状態を「Long Stay」に遷移させる。このような構成により、変形例2−1に係る情報処理システムは、ユーザの状態が「Stay」の場合と、「Long Stay」の場合と、のそれぞれについて互いに異なる制御を適用することが可能となる。
より具体的な一例として、情報処理装置10は、「Stay」を示す状態が認識された場合には音響デバイス30の動作の制御は行わず、「Long Stay」を示す状態が認識された場合に当該音響デバイス30の動作の制御を行ってもよい。このような制御により、例えば、信号待ち等でユーザが一時的に停止した場合に、音響デバイス30の動作が一時的に変更されるといった動作の発生を抑制することも可能となる。
以上、変形例2−1として、ユーザの状態の候補として「Long Stay」を設ける場合の一例について説明した。
(変形例2−2:判定対象からの除外)
続いて、変形例2−2として、あらかじめ設定されたユーザの状態の候補のうち、所定の条件に応じて一部の候補を、音響出力の制御に関する判定の対象から除外する場合の一例について説明する。
前述した、ユーザの状態に関する一連の候補のうち一部の候補については、システムが利用される条件に応じて、音響出力の制御に関する判定の対象とならない方が望ましい場合がある。具体的な一例として、自転車の運転中にイヤホンやヘッドホン等の音響デバイス30を使用する行為が、法規制等により制限されるような場合や、運転時の安全を考慮すると望ましくない場合等が想定され得る。
また、他の一例として、ユーザの状態に関する一連の候補のうち一部の候補については、複数設定された行動シナリオのうち一部の行動シナリオにおいて、音響出力の制御に関する判定の対象とならない方が望ましい場合がある。具体的な一例として、ユーザがデスクワークを行っている状況を想定した場合には、ユーザの状態として、「Run」、「Vehicle」、及び「Bicycle」を示す状態が認識される可能性は低い。
このような状況を鑑み、例えば、少なくとも一部の行動シナリオにおいて、あらかじめ設定されたユーザの状態に関する一連の候補のうち、一部の候補が、音響出力の制御に関する判定の対象から除外されるように機能マップが設定されてもよい。
例えば、図18は、変形例2−2に係る情報処理システムの概要について説明するための説明図であり、複数の行動シナリオを想定した機能マップのプリセットの一例を示している。図18に示すプリセットでは、複数の行動シナリオA〜Dを想定し、当該行動シナリオそれぞれに対応した機能マップが設定されている。具体的には、行動シナリオAは、通勤時や通学時における利用を想定した行動シナリオの一例を示している。また、行動シナリオBは、ウォーキング等のようなエクササイズを行う際の利用を想定した行動シナリオの一例を示している。また、行動シナリオCは、デスクワーク等のような仕事中の利用を想定した行動シナリオの一例を示している。また、行動シナリオDは、ユーザが趣味に没頭している際の利用を想定した行動シナリオの一例を示している。なお、図18に示す各機能マップおいて、一連のユーザの状態の候補のうち、音音響出力の制御に関する判定の対象から除外されている候補については、対応する制御の項目にハッチングが施されている。
具体的な一例として、図18に示す例では、自転車の運転時の安全を考慮して、行動シナリオA〜Dそれぞれに対応する機能マップのいずれにおいても、「Bicycle」を示す状態が、音響出力の制御に関する判定の対象から除外されている。
次いで、行動シナリオAについて説明する。行動シナリオAにおいては、通勤時や通学時の利用を想定しているため、休憩等により恒常的に停止している状態が認識される可能性は低い。そのため、行動シナリオAに対応する機能マップでは、「Long Stay」を示す状態が、音響出力の制御に関する判定の対象から除外されている。
次いで、行動シナリオBについて説明する。行動シナリオBにおいては、ウォーキング等のエクササイズを行う際における利用を想定しているため、ユーザがバスや電車等の乗り物に乗って移動するような状態が認識される可能性は低い。そのため、行動シナリオBに対応する機能マップでは、「Vehicle」を示す状態が、音響出力の制御に関する判定の対象から除外されている。また、ウォーキング等においては、信号待ち等で一時的に停止している状態と、休憩等により恒常的に停止している状態と、のそれぞれにおいて、より望ましい設定の内容が異なる場合がある。そのため、行動シナリオBに対応する機能マップでは、「Stay」と「Long Stay」とを明示的に区別し、それぞれに対して異なる設定が適用されている。より具体的には、「Stay」を示す状態が認識されたとしても前の状態の設定が引き継がれるが、「Long Stay」を示す状態が認識された場合にはノイズ低減機能及びアンビエント機能が明示的に制御される。
次いで、行動シナリオCについて説明する。行動シナリオCにおいては、デスクワーク等の仕事中の利用を想定しているため、ユーザがバスや電車等の乗り物に乗って移動するような状態や、走って移動するような状態が認識される可能性は低い。そのため、行動シナリオCに対応する機能マップでは、「Run」及び「Vehicle」それぞれを示す状態が、音響出力の制御に関する判定の対象から除外されている。また、行動シナリオCにおいても、一時的に停止している状態と、恒常的に停止している状態と、のそれぞれを明示的に区別している。即ち、行動シナリオCに対応する機能マップでは、「Stay」と「Long Stay」とを明示的に区別し、それぞれに対して異なる設定が適用されている。
次いで、行動シナリオDについて説明する。行動シナリオDにおいては、ユーザが趣味に没頭しているような状況を想定しているため、行動シナリオCと同様に、ユーザがバスや電車等の乗り物に乗って移動するような状態や、走って移動するような状態が認識される可能性は低い。そのため、行動シナリオDに対応する機能マップでは、「Run」及び「Vehicle」それぞれを示す状態が、音響出力の制御に関する判定の対象から除外されている。また、行動シナリオDにおいては、1つの作業に没頭しているような状況を想定しているため、「Stay」と「Long Stay」とを明示的に区別せずに「Stay」として認識している。また、行動シナリオDに対応する機能マップおいては、当該「Stay」を示す状態が認識された場合には、ユーザがオーディオコンテンツ等をより楽しめるように、ノイズ低減機能が有効化されたうえで、アンビエント機能が無効化されるように設定が成されている。
なお、少なくとも一部の候補について、音響出力の制御に関する判定の対象から除外するか否かの設定については、例えば、図18に示すようなプリセットとしてあらかじめ設定されていてもよい。また、他の一例として、所定の入力部を介したユーザ入力に基づき、少なくとも一部の候補について、上記判定の対象から除外するか否かの設定が変更されてもよい。また、他の一例として、所定の条件に基づき、上記判定の対象から除外されるように設定が動的に変更されてもよい。より具体的な一例として、情報処理装置10は、GPS等により取得された位置情報に基づきユーザの位置する国を特定し、特定した国の法規制に応じて、一部の候補が上記判定の対象から除外されるように設定を更新してもよい。
なお、情報処理装置10は、認識したユーザの状態が、行動シナリオに応じて選択された機能マップにおいて音響出力の制御に関する判定の対象から除外されている場合には、音響出力の制御に関する設定として前の状態を引き継ぐように制御すればよい。
以上、変形例2−2として、図18を参照して、あらかじめ設定されたユーザの状態の候補のうち、所定の条件に応じて一部の候補を、音響出力の制御に関する判定の対象から除外する場合の一例について説明する。
(変形例2−3:複数種類の状態や状況の検出結果を利用した制御)
続いて、変形例2−3として、図19〜図23を参照して、複数種類の状態や状況の検出結果を利用することで、ユーザの状態の認識精度を向上させるための仕組みの一例について説明する。図19〜図23は、変形例2−3に係る情報処理システムの動作について説明するための説明図である。
前述したように、ユーザの状態を認識するために、各種センサ(例えば、加速度センサ、角速度センサ(ジャイロ))やGPS等のような多様な種類の検出部103による検出結果を利用することが可能である。このような構成に基づき、変形例2−3に係る情報処理システムでは、多様な種類の検出部103による各種状態や状況の検出結果を選択的に組み合わせて利用することで、ユーザの状態の認識精度を向上させる。
例えば、図19及び図20は、変形例2−3に係る情報処理システムによる、ユーザの状態の認識に係る処理の概要について示している。
例えば、図19に示すように、変形例2−3に係る情報処理システムでは、情報処理装置10は、3軸の加速度センサによる、当該情報処理装置10に加わる加速度の検出結果に基づき、ユーザの状態(特に、ユーザの行動に係る状態)を認識する。そして、情報処理装置10は、当該認識結果に基づき、ユーザの状態を示す行動情報と、当該ユーザの状態の尤度を示す情報とを取得する。
また、変形例2−3に係る情報処理システムでは、情報処理装置10は、加速度センサによる検出結果に加えて、他の検出部による検出結果を利用することで、各種状態や状況を示す情報を取得する。例えば、図19に示す例では、情報処理装置10は、3軸の角速度センサ(ジャイロ)、GPS、地磁気センサ等の検出結果を利用している。また、図19に示す例では、情報処理装置10は、OS(Operation System)等のシステムコールを利用することで、画面のon/off(即ち、表示/非表示)や、情報の入出力を制限するためのロックのon/off等の状態を示す情報を取得してもよい。
なお、各検出部の検出頻度(例えば、サンプリングレート)は、検出部ごとに個別に設定されていてもよい。具体的な一例として、加速度センサや角速度センサのサンプリングレートと、GPSのサンプリングレートとが異なっていてもよい。また、各検出部が検出対象とする状態や状況の特性に応じて、当該状態や状況の検出頻度が設定されていてもよい。例えば、画面のon/offやロックのon/off等のように、変化する頻度が比較的低い状態については、当該状態の検出頻度(換言すると、サンプリングレート)が、他の状態の検出頻度に比べて低く設定されていてもよい。
また、複数の検出部うち少なくとも一部の検出部の検出頻度が他の検出部の検出頻度と異なる場合には、情報処理装置10は、各検出部による検出結果に基づき各種状態や状況を認識するタイミングが同期するように、各状態や状況を認識する頻度(換言すると、タイミング)を制御してもよい。具体的な一例として、情報処理装置10は、複数の検出部それぞれの検出頻度のうち、最も低い検出頻度にあわせて、当該複数の検出部それぞれによる検出結果に基づき、各種状態や状況を認識する頻度を設定してもよい。なお、この場合には、検出頻度の高い検出部による検出結果については、検出頻度の低い検出部による検出結果が取得されるまでの間に、複数のでサンプルが取得される場合がある。このような場合には、情報処理装置10は、検出頻度の高い検出部により取得された複数のサンプルに基づき、当該検出部による検出結果として取得する情報を算出してもよい。具体的な一例として、情報処理装置10は、検出頻度の高い検出部により取得された複数のサンプル複数のサンプルの平均値を算出し、算出した平均値を当該検出部による検出結果として取得してもよい。
そして、情報処理装置10は、取得した各種情報に基づき、例えば、ユーザが情報処理装置10を手で持っている状態か否か、ユーザの移動速度を示す情報、及びユーザが画面を見ているか否か等のような各種状態や状況を認識する。
具体的な一例として、加速度センサや角速度センサによる情報処理装置10の位置や向きの変化の検出結果に基づき、ユーザが当該情報処理装置10を手で持っている状態(即ち、手持ちの状態)か否かを判別することが可能である。また、GPSによる位置情報の検出結果を監視することで、ユーザの移動速度を検出することが可能である。また、画面のon/offの検出結果と、ロックのon/offの検出結果と、を利用することで、ユーザが画面を見ているか否かを推測することも可能である。具体的には、画面がonの状態であり、かつロックがロックのoffの状態の場合には、ユーザが画面を見ている状態であると推測することが可能である。
そして、情報処理装置10は、加速度センサによる検出結果に基づき取得した行動情報及び尤度と、複数の検出部による検出結果に基づき取得した各種状態や状況の認識結果と、に基づき、ユーザの状態を確定する。例えば、図19に示す例では、情報処理装置10は、取得した行動情報、尤度、手持ちの状態か否かを示す情報、移動速度、及び画面を見ている状態か否かを示す情報と、あらかじめ選択された行動シナリオと、を入力として所定の判定ロジックに基づき、ユーザの状態を確定している。具体的な一例として、情報処理装置10は、行動情報が示すユーザの状態を、複数の検出部による検出結果に基づき取得した各種状態や状況の認識結果に基づき補正することで、ユーザの状態の認識結果を確定してもよい。
なお、図19及び図20に示す例において、情報処理装置10は、加速度センサの検出結果に基づき取得した行動情報が、ユーザの状態の一連の候補のうちの所定の候補を示す場合においてのみ、加速度センサ以外の他の検出部による検出結果を利用してもよい。この場合には、例えば、情報処理装置10は、取得した行動情報が所定の候補を示す場合に、その他の検出部を起動し、当該検出部による検出結果に応じた各種状態や状況の認識結果に基づき、行動情報が示すユーザの状態の認識結果を補正してもよい。
ここで、図21を参照して、情報処理装置10が、複数の検出部による検出結果に基づき取得した各種状態や状況の認識結果に応じて、ユーザの状態(特に、ユーザの行動に関する状態)を認識する処理の流れの一例について説明する。図21は、変形例2−3に係る情報処理装置10の一連の処理の流れの一例を示したフローチャートである。
例えば、情報処理装置10は、加速度センサによる情報処理装置10に加わる3軸の加速度の検出結果に基づき、ユーザの状態を認識する(S301)。
次いで、情報処理装置10は、ユーザの状態の認識結果が、ユーザの状態の一連の候補のうちの所定の候補を示すか否かを判定する(S303)。ユーザの状態の認識結果が所定の候補を示す場合(即ち、所定の状態が認識された場合)には(S303、YES)、情報処理装置10は、加速度センサとは異なる他の検出部(例えば、角速度センサ、GPS等)を起動し、当該他の検出部による検出結果を取得する(S305)。情報処理装置10は、他の検出部による検出結果に応じた所定の状態や状況の認識結果が所定の条件を満たす場合には(S307、YES)、加速度センサの検出結果に基づくユーザの状態の認識結果を、当該所定の状態や状況の認識結果に基づき補正する(S309)。そして、情報処理装置10は、補正後のユーザの状態の認識結果を、最終的なユーザの状態の認識結果として確定する(S311)。
一方で、情報処理装置10は、他の検出部による検出結果に応じた所定の状態や状況の認識結果が所定の条件を満たさない場合には(S307、NO)、加速度センサの検出結果に基づくユーザの状態の認識結果を、最終的なユーザの状態の認識結果として確定する(S311)。また、情報処理装置10は、加速度センサの検出結果に基づくユーザの状態の認識結果が所定の候補を示さない場合には(S303、NO)、当該ユーザの状態の認識結果を、最終的なユーザの状態の認識結果として確定する(S311)。
以上のように、変形例2−3に係る情報処理装置10は、例えば、加速度センサの検出結果に基づくユーザの状態の認識結果を、他の検出部による検出結果に応じた各種状態や状況の認識結果に基づき補正することで、ユーザの状態の認識精度を向上させることが可能となる。
より具体的な一例として、情報処理装置10は、加速度センサの検出結果に基づきユーザの状態として「Vehicle」が認識された場合に、GPSによる検出結果に基づきユーザの移動速度を認識してもよい。この場合には、情報処理装置10は、例えば、ユーザの移動速度の認識結果が所定の速度を超える場合に、ユーザの状態を「Vehicle」として確定してもよい。また、他の一例として、情報処理装置10は、加速度センサの検出結果に基づきユーザの状態として「Vehicle」が認識された場合に、角速度センサを起動し、加速度センサ及び角速度センサそれぞれの検出結果に基づき、手持ちの状態かを判別してもよい。この場合には、情報処理装置10は、例えば、手持ちの状態ではないと判定した場合に、ユーザの状態を「Vehicle」として確定してもよい。
続いて、図22及び図23を参照して、情報処理装置10が、所定の検出部の検出結果に基づくユーザの状態の認識結果が所定の候補を示す場合に、他の検出部を起動し、当該他の検出部の検出結果に基づき、最終的なユーザの状態の認識結果を確定する場合の動作の一例について説明する。
例えば、図22は、情報処理装置10が、所定の検出部による検出結果が「Vehicle」を示す場合に、他の検出部を起動することで他の状態を認識し、当該認識結果に応じて、最終的なユーザの状態を確定する場合の一例を示している。なお、図22において、横軸は時間tを示している。また、図22に示す例では、情報処理装置10は、所定の単位時間ごとに、所定の検出部の検出結果に基づくユーザの状態の認識や、他の検出部による検出結果に基づく他の状態の認識を行っている。より具体的な一例として、情報処理装置10は、所定の検出部として加速度センサを適用し、当該加速度センサの検出結果に基づきユーザの状態を認識してもよい。また、情報処理装置10は、当該他の検出部として角速度センサを適用し、上記加速度センサ及び当該角速度センサそれぞれの検出結果に基づき、手持ちの状態かを判別してもよい。例えば、図22において、「L」は手持ちの状態であることを意味している。
具体的には、図22に示す例では、情報処理装置10が、参照符号t13で示されたタイミングにおいて、ユーザの状態が「Vehicle」を示す状態に遷移したことを認識しており、当該タイミングt13以降は、「Vehicle」を示す状態が継続している。この場合には、情報処理装置10は、タイミングt13において他の検出部を起動し、当該他の検出部に、他の状態を認識するための情報の取得を開始させている。より具体的には、図22に示す例では、情報処理装置10は、タイミングt13において角速度センサを起動し、上記加速度センサと起動した当該角速度センサとのそれぞれの検出結果に基づき、手持ちの状態か否かの判別を開始する。
なお、タイミングt13において他の検出部が起動するため、当該他の検出部による検出結果に基づく他の状態の認識結果は、タイミングt13から少なくとも単位時間が経過した後のタイミングt15以降に取得可能となる。即ち、タイミングt13においては、情報処理装置10は、他の検出部による検出結果に基づく他の状態の認識結果に基づき、ユーザの状態を確定させることが困難である。そのため、図22に示す例では、情報処理装置10は、タイミングt13におけるユーザの状態として、当該タイミングt13よりも前のタイミングt11におけるユーザの状態の認識結果を引き継いでいる。即ち、図22に示す例では、情報処理装置10は、タイミングt13におけるユーザの状態を、タイミングt11において認識された「Walk」を示す状態として確定している。
また、タイミングt15以降は、情報処理装置10は、他の検出部による検出結果に基づき他の状態を認識し、当該認識結果に基づき、最終的なユーザの状態を確定している。例えば、図22に示す例では、情報処理装置10は、他の検出部による検出結果に基づき他の状態の認識結果に応じて、最終的なユーザの状態を、所定の検出部による検出結果に基づき認識された「Vehicle」を示す状態として確定している。より具体的な一例として、情報処理装置10は、当該他の検出部として起動した角速度センサによる検出結果に基づき、手持ちの状態であると認識した場合に、最終的なユーザの状態を、加速度センサによる検出結果に基づき認識された「Vehicle」を示す状態として確定している。
続いて、図23を参照して、情報処理装置10が、図22に示す例のように他の検出部を起動した後に、当該他の検出部を停止させる動作の一例について説明する。なお、図22に示す例と同様に、図23において、横軸は時間tを示している。また、図23に示す例では、情報処理装置10は、所定の単位時間ごとに、所定の検出部の検出結果に基づくユーザの状態の認識や、他の検出部による検出結果に基づく他の状態の認識を行っている。
図23に示す例では、情報処理装置10は、参照符号t23で示されたタイミングにおいて、ユーザの状態が「Vehicle」を示す状態に遷移したことを認識している。即ち、情報処理装置10は、タイミングt23において他の検出部を起動し、当該他の検出部に、他の状態を認識するための情報の取得を開始させている。
なお、図22に示す例と同様に、タイミングt23においては、情報処理装置10は、他の検出部による検出結果に基づく他の状態の認識結果に基づき、ユーザの状態を確定させることが困難である。そのため、情報処理装置10は、タイミングt23におけるユーザの状態として、当該タイミングt23よりも前のタイミングt12におけるユーザの状態の認識結果(即ち、「Walk」を示す状態)を引き継いでいる。
一方で、図23に示す例では、情報処理装置10が、タイミングt23よりも後のタイミングt25において、ユーザの状態が「Run」を示す状態に遷移したことを認識し、当該タイミングt25以降は、「Run」を示す状態が継続している。この場合には、情報処理装置10は、所定の検出部による検出結果に基づくユーザの状態の認識結果が、「Vehicle」以外の他の状態に遷移したタイミングt25を基点として、当該タイミングt25よりも後のタイミングt27において、起動中の他の検出部(例えば、角速度センサ)を停止している。即ち、他の検出部が停止するタイミングt27以降については、情報処理装置10は、所定の検出部(例えば、加速度センサ)によるユーザの状態の認識結果を、最終的なユーザの状態の認識結果として確定している。
以上説明したように、変形例2−3に係る情報処理装置10は、所定の検出部による検出結果に基づくユーザの状態の認識結果と、他の検出部による検出結果に基づく所定の状態や状況の認識結果と、を組み合わせることで、最終的なユーザの状態の認識結果を確定する。このような構成により、変形例2−3に係る情報処理装置10は、ユーザの状態の認識精度を向上させることが可能となる。
また、変形例2−3に係る情報処理装置10は、所定の検出部の検出結果に基づくユーザの状態の認識結果が所定の候補を示す場合に、他の検出部を起動し、当該他の検出部の検出結果に基づき、最終的なユーザの状態の認識結果を確定してもよい。このような構成により、情報処理装置10は、所定の状態が検出された場合においてのみ、当該状態の認識精度を向上させるために他の検出部を起動させることが可能となる。そのため、変形例2−3に係る情報処理システムにおいては、一部の検出部を常時起動させておく必要がなくなるため、消費電力を低減することが可能となる。
以上、変形例2−3として、図19〜図23を参照して、複数種類の状態や状況の検出結果を利用することで、ユーザの状態の認識精度を向上させるための仕組みの一例について説明した。
<3.6.評価>
以上、説明したように、本実施形態に係る情報処理システムにおいて、情報処理装置10は、所定の条件に応じて行動シナリオを選択する。例えば、情報処理装置10は、各種状態や状況の検出結果やユーザの属性情報等のような行動シナリオの選択条件に関連する情報に応じて、その時々の状況により即した行動シナリオを選択する。また、他の一例として、情報処理装置10は、所定の入力部を介したユーザ入力に基づき行動シナリオを選択してもよい。また、情報処理装置10は、所定の状態または状況の検出結果に応じてユーザの状態を認識する。そして、情報処理装置10は、選択した行動シナリオに対応する機能マップと、ユーザの状態の認識結果と、に応じて、音響デバイス30の動作(特に、音響出力の制御に関する設定)を制御する。このような構成により、情報処理装置10は、ユーザの行動を想定した行動シナリオ(換言すると、ユースケース)に応じて機能マップを適宜切り替えることで、その時々の状況に応じたより好適な態様で、音響デバイス30の動作を制御することが可能となる。
なお、第1の実施形態で説明した構成や制御の一例については、本実施形態に係る情報処理システムにおいても同様に適用することが可能である。具体的な一例として、第1の実施形態において変形例1−1〜1−3として説明した構成や制御の一例は、本実施形態に係る情報処理システムに対しても同様に適用することが可能である。
<<4.ハードウェア構成>>
次に、図24を参照しながら、前述した情報処理装置10及び10aのように、本開示の各実施形態に係る情報処理システムを構成する情報処理装置900のハードウェア構成について、詳細に説明する。図24は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。
本実施形態に係る情報処理システムを構成する情報処理装置900は、主に、CPU901と、ROM903と、RAM905と、を備える。また、情報処理装置900は、更に、ホストバス907と、ブリッジ909と、外部バス911と、インタフェース913と、入力装置915と、出力装置917と、ストレージ装置919と、ドライブ921と、接続ポート923と、通信装置925とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置919又はリムーバブル記録媒体927に記録された各種プログラムに従って、情報処理装置900内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるホストバス907により相互に接続されている。なお、図5を参照して前述した認識処理部105及び出力制御部107や、図8を参照して前述したシナリオ選択部113は、例えば、CPU901により実現され得る。
ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。また、外部バス911には、インタフェース913を介して、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923及び通信装置925が接続される。
入力装置915は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器929であってもよい。さらに、入力装置915は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置900のユーザは、この入力装置915を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。なお、図8を参照して前述した入力部115は、例えば、入力装置915により実現され得る。
出力装置917は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置917は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図5を参照して前述した出力部109は、例えば、出力装置917により実現され得る。
ストレージ装置919は、情報処理装置900の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ等を格納する。なお、図5を参照して前述した記憶部111は、例えば、RAM905及びストレージ装置919の少なくともいずれかにより実現され得る。
ドライブ921は、記録媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体927に記録を書き込むことも可能である。リムーバブル記録媒体927は、例えば、DVDメディア、HD−DVDメディア又はBlu−ray(登録商標)メディア等である。また、リムーバブル記録媒体927は、コンパクトフラッシュ(登録商標)(CF:CompactFlash)、フラッシュメモリ又はSDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体927は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート923は、情報処理装置900に直接接続するためのポートである。接続ポート923の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート等がある。接続ポート923の別の例として、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート923に外部接続機器929を接続することで、情報処理装置900は、外部接続機器929から直接各種のデータを取得したり、外部接続機器929に各種のデータを提供したりする。
通信装置925は、例えば、通信網(ネットワーク)931に接続するための通信デバイス等で構成された通信インタフェースである。通信装置925は、例えば、有線若しくは無線LAN(Local Area Network)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置925は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置925に接続される通信網931は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。なお、図5を参照して前述した通信部101は、例えば、通信装置925により実現され得る。
以上、本開示の実施形態に係る情報処理システムを構成する情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図24では図示しないが、本実施形態に係る情報処理システムを構成する情報処理装置900に対応する各種の構成を当然備える。
なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ(例えば、複数のサーバ等)が互いに連携して実行してもよい。なお、単数のコンピュータ、または、複数のコンピュータが連携するものを、「コンピュータシステム」とも称する。
<<5.むすび>>
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、
を備える、情報処理装置。
(2)
前記機能マップは、複数の前記ユーザの状態の候補それぞれに対して、前記音響の出力の制御に関する設定として、複数種類の制御それぞれに関する設定の組み合わせが関連付けられている、前記(1)に記載の情報処理装置。
(3)
前記複数種類の制御に関する設定のうち、少なくとも一部の設定は、前記音響の出力の制御に関連する機能の設定である、前記(2)に記載の情報処理装置。
(4)
前記ユーザの状態は、ユーザの行動に関する状態である、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記出力制御部は、前記ユーザの状態として所定の状態が認識された場合に、当該所定の状態への遷移前の他の状態における前記音響の出力の制御に関する設定のうち、少なくとも一部の設定を引き継ぐ、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記所定の状態は、ユーザが停止している状態である、前記(5)に記載の情報処理装置。
(7)
前記所定の状態は、ユーザが自転車に乗っている状態である、前記(5)に記載の情報処理装置。
(8)
前記出力制御部は、前記ユーザの状態が遷移した場合に、当該遷移前後の状態に応じて、前記音響の出力を制御する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(9)
前記認識処理部は、前記検出結果に基づく1以上の前記ユーザの状態の候補それぞれの尤度に応じて、前記ユーザの状態を認識する、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記認識処理部は、前記ユーザの状態を、過去に取得された前記検出結果と、当該検出結果に応じた前記ユーザの状態の認識結果と、を対応付けたサンプルに基づく機械学習の結果に応じて認識する、前記(1)〜(9)のいずれか一項に記載の情報処理装置。
(11)
所定の状態または状況の検出結果と、所定の対象の属性情報と、のうち少なくともいずれかを前記条件として、複数の前記機能マップから当該条件に応じた前記機能マップを選択する選択部を備える、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記選択部は、前記機能マップを、過去に判定された前記条件と、当該条件に応じた前記機能マップの選択結果と、を対応付けたサンプルに基づく機械学習の結果に応じて選択する、前記(11)に記載の情報処理装置。
(13)
前記出力制御部は、ユーザにより選択された前記機能マップに基づき、認識された前記ユーザの状態に応じて前記音響の出力を制御する、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(14)
複数の前記機能マップのうち少なくとも一部の前記機能マップは、ユーザ入力に基づき更新される、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記認識処理部は、第1の検出部による所定の状態または状況の第1の検出結果に基づく前記ユーザの状態の認識結果を、前記第1の検出部とは異なる第2の検出部による所定の状態または状況の第2の検出結果に応じて補正する、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記認識処理部は、前記第1の検出結果に基づく前記ユーザの状態の認識結果に応じて、前記第2の検出部を起動する、前記(15)に記載の情報処理装置。
(17)
前記認識処理部は、
前記第1の検出結果に基づく前記ユーザの状態の認識結果が所定の状態を示す場合に、前記第2の検出部を起動し、
前記第2の検出部の起動後において、前記第1の検出結果に基づく前記ユーザの状態が前記所定の状態以外の他の状態を示す場合には、当該第2の検出部を停止する、
前記(16)に記載の情報処理装置。
(18)
前記認識処理部は、前記第2の検出部を起動したタイミングよりも後のタイミングにおける当該第2の検出部による前記第2の検出結果に応じて、前記第1の検出結果に基づく前記ユーザの状態の認識結果を補正する、前記(16)または(17)に記載の情報処理装置。
(19)
コンピュータが、
所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、
を含む、情報処理方法。
(20)
コンピュータに、
所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、
を実行させる、プログラム。
1、1a 情報処理システム
10、10a 情報処理装置
101 通信部
103 検出部
105 認識処理部
107 出力制御部
109 出力部
111 記憶部
113 シナリオ選択部
115 入力部
30 音響デバイス
301 通信部
303 音響出力部
305 制御部
307 信号処理部
311 筐体
312 ヘッドバンド
321 マイクロフォン
322 マイクロフォン
331 信号処理回路
332 イコライザ
333 加算器
334 パワーアンプ
341 発音体

Claims (17)

  1. 所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、
    所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、
    を備え、
    前記出力制御部は、前記ユーザの状態として所定の状態が認識された場合に、当該所定の状態への遷移前の他の状態における前記音響の出力の制御に関する設定のうち、少なくとも一部の設定を引き継ぐ、
    情報処理装置。
  2. 前記機能マップは、複数の前記ユーザの状態の候補それぞれに対して、前記音響の出力の制御に関する設定として、複数種類の制御それぞれに関する設定の組み合わせが関連付けられている、請求項1に記載の情報処理装置。
  3. 前記複数種類の制御に関する設定のうち、少なくとも一部の設定は、前記音響の出力の制御に関連する機能の設定である、請求項2に記載の情報処理装置。
  4. 前記ユーザの状態は、ユーザの行動に関する状態である、請求項1〜3のいずれか1項に記載の情報処理装置。
  5. 前記所定の状態は、ユーザが停止している状態である、請求項1〜4のいずれか1項に記載の情報処理装置。
  6. 前記所定の状態は、ユーザが自転車に乗っている状態である、請求項1〜4のいずれか1項に記載の情報処理装置。
  7. 所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、
    所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、
    を備え、
    前記出力制御部は、前記ユーザの状態が遷移した場合に、当該遷移前後の状態に応じて、前記音響の出力を制御する、情報処理装置。
  8. 前記認識処理部は、前記検出結果に基づく1以上の前記ユーザの状態の候補それぞれの尤度に応じて、前記ユーザの状態を認識する、請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記認識処理部は、前記ユーザの状態を、過去に取得された前記検出結果と、当該検出結果に応じた前記ユーザの状態の認識結果と、を対応付けたサンプルに基づく機械学習の結果に応じて認識する、請求項1〜8のいずれか1項に記載の情報処理装置。
  10. 所定の状態または状況の検出結果と、所定の対象の属性情報と、のうち少なくともいずれかを前記条件として、複数の前記機能マップから当該条件に応じた前記機能マップを選択する選択部を備える、請求項1〜9のいずれか1項に記載の情報処理装置。
  11. 前記選択部は、前記機能マップを、過去に判定された前記条件と、当該条件に応じた前記機能マップの選択結果と、を対応付けたサンプルに基づく機械学習の結果に応じて選択する、請求項10に記載の情報処理装置。
  12. 前記出力制御部は、ユーザにより選択された前記機能マップに基づき、認識された前記ユーザの状態に応じて前記音響の出力を制御する、請求項1〜9のいずれか1項に記載の情報処理装置。
  13. 複数の前記機能マップのうち少なくとも一部の前記機能マップは、ユーザ入力に基づき
    更新される、請求項1〜12のいずれか1項に記載の情報処理装置。
  14. 所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、
    所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識され
    た前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、
    を備え、
    前記認識処理部は、
    第1の検出部による所定の状態または状況の第1の検出結果に基づく前記ユーザの状態の認識結果を、前記第1の検出部とは異なる第2の検出部による所定の状態または状況の第2の検出結果に応じて補正し、
    前記第1の検出結果に基づく前記ユーザの状態の認識結果が所定の状態を示す場合に、前記第2の検出部を起動し、
    前記第2の検出部の起動後において、前記第1の検出結果に基づく前記ユーザの状態が前記所定の状態以外の他の状態を示す場合には、当該第2の検出部を停止する、
    報処理装置。
  15. 前記認識処理部は、前記第2の検出部を起動したタイミングよりも後のタイミングにおける当該第2の検出部による前記第2の検出結果に応じて、前記第1の検出結果に基づく前記ユーザの状態の認識結果を補正する、請求項14に記載の情報処理装置。
  16. コンピュータが、
    所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、
    所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、
    を含み、
    前記音響の出力を制御することには、前記ユーザの状態として所定の状態が認識された場合に、当該所定の状態への遷移前の他の状態における前記音響の出力の制御に関する設定のうち、少なくとも一部の設定を引き継ぐことが含まれる、
    情報処理方法。
  17. コンピュータに、
    所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、
    所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、
    を実行させる、プログラムであって、
    前記音響の出力を制御することには、前記ユーザの状態として所定の状態が認識された場合に、当該所定の状態への遷移前の他の状態における前記音響の出力の制御に関する設定のうち、少なくとも一部の設定を引き継ぐことが含まれる、
    プログラム。
JP2018541971A 2016-09-27 2017-08-09 情報処理装置、情報処理方法、及びプログラム Active JP6973400B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016187824 2016-09-27
JP2016187824 2016-09-27
JP2016238205 2016-12-08
JP2016238205 2016-12-08
PCT/JP2017/028896 WO2018061491A1 (ja) 2016-09-27 2017-08-09 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2018061491A1 JPWO2018061491A1 (ja) 2019-07-11
JP6973400B2 true JP6973400B2 (ja) 2021-11-24

Family

ID=61763433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018541971A Active JP6973400B2 (ja) 2016-09-27 2017-08-09 情報処理装置、情報処理方法、及びプログラム

Country Status (5)

Country Link
US (2) US10809972B2 (ja)
EP (1) EP3522566B1 (ja)
JP (1) JP6973400B2 (ja)
CN (1) CN109792577B (ja)
WO (1) WO2018061491A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909847B1 (en) * 2018-09-19 2021-02-02 All Turtles Corporation Building urban area noise pollution maps and mitigating noise from emergency vehicles
US10983752B2 (en) * 2019-02-15 2021-04-20 Bose Corporation Methods and systems for generating customized audio experiences
US11172298B2 (en) 2019-07-08 2021-11-09 Apple Inc. Systems, methods, and user interfaces for headphone fit adjustment and audio output control
JP2021052262A (ja) * 2019-09-24 2021-04-01 カシオ計算機株式会社 音出力制御装置、音量制御方法及びプログラム
WO2021157304A1 (ja) * 2020-02-05 2021-08-12 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
JP7424156B2 (ja) 2020-03-25 2024-01-30 株式会社Jvcケンウッド コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラム
JP7443877B2 (ja) 2020-03-25 2024-03-06 株式会社Jvcケンウッド 音声出力制御装置、音声出力システム、音声出力制御方法およびプログラム
JP7447602B2 (ja) 2020-03-25 2024-03-12 株式会社Jvcケンウッド コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラム
US11200876B2 (en) * 2020-05-14 2021-12-14 Bose Corporation Activity-based smart transparency
US11652510B2 (en) 2020-06-01 2023-05-16 Apple Inc. Systems, methods, and graphical user interfaces for automatic audio routing
CN113873379B (zh) * 2020-06-30 2023-05-02 华为技术有限公司 一种模式控制方法、装置及终端设备
US11375314B2 (en) 2020-07-20 2022-06-28 Apple Inc. Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices
US11941319B2 (en) * 2020-07-20 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices
US11523243B2 (en) 2020-09-25 2022-12-06 Apple Inc. Systems, methods, and graphical user interfaces for using spatialized audio during communication sessions
CN112383856A (zh) * 2020-11-06 2021-02-19 刘智矫 一种用于智能耳机的声场检测、音频过滤方法及系统
WO2022249586A1 (ja) * 2021-05-26 2022-12-01 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970547B2 (en) * 2003-05-12 2005-11-29 Onstate Communications Corporation Universal state-aware communications
JP2006251376A (ja) 2005-03-10 2006-09-21 Yamaha Corp 楽音制御装置
US20080153537A1 (en) 2006-12-21 2008-06-26 Charbel Khawand Dynamically learning a user's response via user-preferred audio settings in response to different noise environments
WO2009001559A1 (ja) 2007-06-28 2008-12-31 Panasonic Corporation 環境適応型補聴器
US8285344B2 (en) 2008-05-21 2012-10-09 DP Technlogies, Inc. Method and apparatus for adjusting audio for a user environment
KR20100099922A (ko) 2009-03-04 2010-09-15 삼성전자주식회사 휴대용 단말기의 음량 조절 장치 및 방법
CN102484660B (zh) * 2010-01-07 2014-06-11 株式会社东芝 移动状态推测装置、方法及程序
CN101789998A (zh) * 2010-01-13 2010-07-28 北京百纳威尔科技有限公司 移动终端情景桌面的显示方法和移动终端
CN102523556B (zh) * 2011-12-15 2015-02-18 百度在线网络技术(北京)有限公司 移动终端的配对方法及系统、移动终端及服务器
US9082389B2 (en) * 2012-03-30 2015-07-14 Apple Inc. Pre-shaping series filter for active noise cancellation adaptive filter
JP6017858B2 (ja) 2012-06-26 2016-11-02 京セラ株式会社 電子機器及び音出力方法
WO2014153727A1 (en) * 2013-03-26 2014-10-02 Google Inc. Signal processing to extract a pedestrian's moving direction
EP3036916B1 (en) 2013-08-20 2020-03-11 Widex A/S Hearing aid having a classifier
JP6190351B2 (ja) * 2013-12-13 2017-08-30 ジーエヌ ヒアリング エー/エスGN Hearing A/S 学習型補聴器
US9648430B2 (en) 2013-12-13 2017-05-09 Gn Hearing A/S Learning hearing aid
US9576588B2 (en) * 2014-02-10 2017-02-21 Apple Inc. Close-talk detector for personal listening device with adaptive active noise control
US20170083282A1 (en) 2014-06-03 2017-03-23 Sony Corporation Information processing device, control method, and program
US20160149547A1 (en) 2014-11-20 2016-05-26 Intel Corporation Automated audio adjustment
CN104822103B (zh) * 2015-03-26 2018-10-30 北京国承万通信息科技有限公司 耳机
CN105187603B (zh) * 2015-09-10 2019-04-26 联想(北京)有限公司 一种信息处理方法及电子设备

Also Published As

Publication number Publication date
US20210004203A1 (en) 2021-01-07
CN109792577B (zh) 2021-11-09
EP3522566A4 (en) 2019-10-16
US20190361666A1 (en) 2019-11-28
WO2018061491A1 (ja) 2018-04-05
JPWO2018061491A1 (ja) 2019-07-11
EP3522566B1 (en) 2023-09-27
US11256473B2 (en) 2022-02-22
CN109792577A (zh) 2019-05-21
EP3522566A1 (en) 2019-08-07
US10809972B2 (en) 2020-10-20

Similar Documents

Publication Publication Date Title
JP6973400B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US20220377467A1 (en) Hearing aid systems and mehods
US9620116B2 (en) Performing automated voice operations based on sensor data reflecting sound vibration conditions and motion conditions
US20160149547A1 (en) Automated audio adjustment
US9288594B1 (en) Auditory environment recognition
JP2023542968A (ja) 定位されたフィードバックによる聴力増強及びウェアラブルシステム
CN112004174B (zh) 一种降噪控制方法、设备及计算机可读存储介质
JP6582514B2 (ja) コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法
JPWO2018180024A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6404709B2 (ja) 音出力装置および音出力装置における音の再生方法
JPWO2018034077A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20210266655A1 (en) Headset configuration management
US11895474B2 (en) Activity detection on devices with multi-modal sensing
CN115605944A (zh) 基于活动的智能透明度
US20230036986A1 (en) Processing of audio signals from multiple microphones
US11997445B2 (en) Systems and methods for live conversation using hearing devices
JP2007125621A (ja) 行動計画装置、行動計画方法および行動計画プログラム
JP2021182174A (ja) 情報処理装置、情報処理方法およびプログラム
US20230229383A1 (en) Hearing augmentation and wearable system with localized feedback
US20240087597A1 (en) Source speech modification based on an input speech characteristic
WO2023010012A1 (en) Audio event data processing
EP4378173A1 (en) Processing of audio signals from multiple microphones
CN118020314A (zh) 音频事件数据处理

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211018

R151 Written notification of patent or utility model registration

Ref document number: 6973400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151