JP6973400B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents
情報処理装置、情報処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6973400B2 JP6973400B2 JP2018541971A JP2018541971A JP6973400B2 JP 6973400 B2 JP6973400 B2 JP 6973400B2 JP 2018541971 A JP2018541971 A JP 2018541971A JP 2018541971 A JP2018541971 A JP 2018541971A JP 6973400 B2 JP6973400 B2 JP 6973400B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- state
- information processing
- output
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 329
- 238000003672 processing method Methods 0.000 title claims description 6
- 238000001514 detection method Methods 0.000 claims description 225
- 230000006870 function Effects 0.000 claims description 182
- 238000012545 processing Methods 0.000 claims description 93
- 230000006399 behavior Effects 0.000 claims description 80
- 230000007704 transition Effects 0.000 claims description 64
- 238000010801 machine learning Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 2
- 230000004044 response Effects 0.000 claims 1
- 230000009471 action Effects 0.000 description 90
- 230000009467 reduction Effects 0.000 description 55
- 238000000034 method Methods 0.000 description 43
- 230000004048 modification Effects 0.000 description 38
- 238000012986 modification Methods 0.000 description 38
- 238000004891 communication Methods 0.000 description 32
- 230000001133 acceleration Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 15
- 230000008859 change Effects 0.000 description 14
- 230000007613 environmental effect Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 8
- 230000001902 propagating effect Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 210000003128 head Anatomy 0.000 description 3
- 238000009413 insulation Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical class N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- NIPNSKYNPDTRPC-UHFFFAOYSA-N N-[2-oxo-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical class O=C(CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 NIPNSKYNPDTRPC-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/3005—Automatic control in amplifiers having semiconductor devices in amplifiers suitable for low-frequencies, e.g. audio amplifiers
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03G—CONTROL OF AMPLIFICATION
- H03G3/00—Gain control in amplifiers or frequency changers
- H03G3/20—Automatic control
- H03G3/30—Automatic control in amplifiers having semiconductor devices
- H03G3/32—Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1041—Mechanical or electronic switches, or control elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R29/00—Monitoring arrangements; Testing arrangements
- H04R29/001—Monitoring arrangements; Testing arrangements for loudspeakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R1/00—Details of transducers, loudspeakers or microphones
- H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
- H04R1/1083—Reduction of ambient noise
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2430/00—Signal processing covered by H04R, not provided for in its groups
- H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/01—Hearing devices using active noise cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
- H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
- H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Acoustics & Sound (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Otolaryngology (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Circuit For Audible Band Transducer (AREA)
- Headphones And Earphones (AREA)
Description
1.はじめに
1.1.システムの構成例
1.2.音響デバイスの構成例
1.3.音響出力の制御に関する検討
2.第1の実施形態
2.1.概要
2.2.機能構成
2.3.処理
2.4.変形例
2.5.評価
3.第2の実施形態
3.1.概要
3.2.機能構成
3.3.行動シナリオ
3.4.処理
3.5.変形例
3.6.評価
4.ハードウェア構成
5.むすび
<1.1.システムの構成例>
まず、図1を参照して、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明する。図1は、本開示の一実施形態に係る情報処理システムの概略的な構成の一例について説明するための説明図である。
続いて、図2を参照して、音響デバイス30の構成の一例について説明する。図2は、本開示の一実施形態に係る音響デバイスの構成の一例について説明するための説明図である。なお、本説明では、音響デバイス30の構成の一例について、特に、ノイズ低減機能やアンビエント機能を実現するための構成に着目して説明する。
続いて、本開示の一実施形態に係る情報処理システムの利用形態として、特に、音響出力の制御に係る機能(例えば、ノイズ低減機能やアンビエント機能等)の利用形態の一例について説明したうえで、本実施形態に係る情報処理システムの技術的課題についてまとめる。
<2.1.概要>
まず、本開示の第1の実施形態に係る情報処理システムについて説明する。例えば、図3〜図5は、本実施形態に係る情報処理システムの概要について説明するための説明図である。
続いて、図6を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図6は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。なお、本説明では、本実施形態に係る情報処理システムが、図1に示すように、情報処理装置10と音響デバイス30とがネットワークを介して接続されて構成されるものとして説明する。
まず、音響デバイス30の構成に着目して説明する。図6に示すように、音響デバイス30は、通信部301と、制御部305と、音響出力部303とを含む。
次いで、情報処理装置10の構成に着目して説明する。図6に示すように、情報処理装置10は、通信部101と、検出部103と、認識処理部105と、出力制御部107と、出力部109と、記憶部111とを含む。
続いて、図8を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10がユーザの状態を認識し、当該認識結果に応じて音響デバイス30の動作を制御する処理に着目して説明する。図8は、本実施形態に係る情報処理システムの一連の処理の流れの一例について示したフローチャートである。
続いて、本実施形態に係る情報処理システムの変形例について説明する。
まず、変形例1−1として、機能マップの他の一例について説明する。図5を参照して説明した機能マップでは、ユーザの状態の候補それぞれに対して、音響出力に関する制御の設定が1対1で関連付けられていた。そのため、例えば、ユーザの状態が「Stay」として認識された場合には、ノイズ低減機能を有効化し、アンビエント機能については無効化したうえで、楽曲の再生を有効化し、当該楽曲のボリュームを下げられるように、音響デバイス30の動作が一意的に制御されていた。
続いて、変形例1−2として、機能マップを更新する場合の一例について説明する。前述した実施形態では、適用される機能マップが固定的に設定されている場合について説明した。一方で、ユーザの状態それぞれにおいて、ユーザが所望する音響出力に関する制御の設定がユーザごとに異なる場合が想定され得る。このような状況を鑑み、情報処理装置10に対して、当該情報処理装置10が適用する機能マップを更新するための機能が設けられていてもよい。
続いて、変形例1−3として、情報処理装置10によるユーザの状態の認識に係る制御の一例として、機械学習により教師データを更新する場合の一例について説明する。前述したように、情報処理装置10は、例えば、各種センサ等の検出部による検出結果をフレームごとに集計し、機械学習によりあらかじめ生成された教師データに基づき、集計結果を当該学習時に設定したクラスに分類することで、ユーザの状態を認識する。
以上説明したように、本実施形態に係る情報処理システムにおいて、情報処理装置10は、所定の状態または状況の検出結果に応じてユーザの状態を認識し、当該ユーザの状態の認識結果に応じて、音響デバイス30の動作(特に、音響出力の制御に関する設定)を制御する。このような構成により、ユーザの状態や状況が逐次変化するような状況下においても、当該ユーザは、煩雑な操作を伴わずとも、所謂オーディオコンテンツや周囲の環境音等のような各種音響を、より好適な態様で聴取することが可能となる。
<3.1.概要>
続いて、本開示の第2の実施形態に係る情報処理システムについて説明する。前述した第1の実施形態では、ユーザの状態に応じて、音響デバイス30の動作(特に、音響出力の制御に関する設定)を制御するための技術の一例について説明した。一方で、例えば、平日の出勤時における利用を想定したユースケースと、休日にエクササイズを行いながらの利用を想定したユースケースとでは、ユーザの状態それぞれにおける、音響出力の制御に関するより好適な設定が異なる場合がある。このような状況を鑑み、本実施形態では、ユーザの行動を想定したシナリオ(以降では、「行動シナリオ」とも称する)に応じて機能マップを適宜切り替えることで、その時々の状況に応じたより好適な態様で、音響デバイス30の動作を制御するための技術の一例について説明する。
まず、図10を参照して、本実施形態に係る情報処理システムの機能構成の一例について説明する。図10は、本実施形態に係る情報処理システムの機能構成の一例を示したブロック図である。なお、本説明では、本実施形態に係る情報処理システムを、前述した第1の実施形態に係る情報処理システム1と区別する場合には、「情報処理システム1a」と称する場合がある。
続いて、機能マップの切り替えに係る行動シナリオの一例と、当該行動シナリオの選択に係る制御の一例とについて、より詳細に説明する。
まず、通勤時におけるユーザの行動を想定した行動シナリオの一例として、ユーザが予定通りに通勤を行う場合等のように比較的時間に余裕がある場合に着目して、ユーザの行動の遷移と、そのとき情報処理装置10により認識されるユーザの状態の一例について説明する。例えば、図11及び図12は、通勤時におけるユーザの行動を想定した行動シナリオの一例について説明するための説明図である。
続いて、通勤時におけるユーザの行動を想定した行動シナリオの他の一例として、遅刻しそうな状況等のように時間に余裕がない場合に着目して、ユーザの行動の遷移と、そのとき情報処理装置10により認識されるユーザの状態の一例について説明する。例えば、図13及び図14は、通勤時におけるユーザの行動を想定した行動シナリオの他の一例について説明するための説明図である。
続いて、図15及び図16を参照して、休日におけるユーザの行動を想定した行動シナリオの一例について、具体的な例を挙げて説明する。図15及び図16は、休日におけるユーザの行動を想定した行動シナリオの一例について説明するための説明図である。
続いて、行動シナリオの選択に係る処理に対して、所謂機械学習の技術を適用する場合の一例について説明する。
続いて、図17を参照して、本実施形態に係る情報処理システムの一連の処理の流れの一例について、特に、情報処理装置10がユーザの状態を認識し、当該認識結果に応じて音響デバイス30の動作を制御する処理に着目して説明する。図17は、本実施形態に係る情報処理装置10の一連の処理の流れの一例について示したフローチャートである。
続いて、本実施形態に係る情報処理システムの変形例について説明する。
まず、変形例2−1として、ユーザの状態の候補として「Long Stay」を設ける場合の一例について説明する。
続いて、変形例2−2として、あらかじめ設定されたユーザの状態の候補のうち、所定の条件に応じて一部の候補を、音響出力の制御に関する判定の対象から除外する場合の一例について説明する。
続いて、変形例2−3として、図19〜図23を参照して、複数種類の状態や状況の検出結果を利用することで、ユーザの状態の認識精度を向上させるための仕組みの一例について説明する。図19〜図23は、変形例2−3に係る情報処理システムの動作について説明するための説明図である。
以上、説明したように、本実施形態に係る情報処理システムにおいて、情報処理装置10は、所定の条件に応じて行動シナリオを選択する。例えば、情報処理装置10は、各種状態や状況の検出結果やユーザの属性情報等のような行動シナリオの選択条件に関連する情報に応じて、その時々の状況により即した行動シナリオを選択する。また、他の一例として、情報処理装置10は、所定の入力部を介したユーザ入力に基づき行動シナリオを選択してもよい。また、情報処理装置10は、所定の状態または状況の検出結果に応じてユーザの状態を認識する。そして、情報処理装置10は、選択した行動シナリオに対応する機能マップと、ユーザの状態の認識結果と、に応じて、音響デバイス30の動作(特に、音響出力の制御に関する設定)を制御する。このような構成により、情報処理装置10は、ユーザの行動を想定した行動シナリオ(換言すると、ユースケース)に応じて機能マップを適宜切り替えることで、その時々の状況に応じたより好適な態様で、音響デバイス30の動作を制御することが可能となる。
次に、図24を参照しながら、前述した情報処理装置10及び10aのように、本開示の各実施形態に係る情報処理システムを構成する情報処理装置900のハードウェア構成について、詳細に説明する。図24は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示す機能ブロック図である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
(1)
所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、
を備える、情報処理装置。
(2)
前記機能マップは、複数の前記ユーザの状態の候補それぞれに対して、前記音響の出力の制御に関する設定として、複数種類の制御それぞれに関する設定の組み合わせが関連付けられている、前記(1)に記載の情報処理装置。
(3)
前記複数種類の制御に関する設定のうち、少なくとも一部の設定は、前記音響の出力の制御に関連する機能の設定である、前記(2)に記載の情報処理装置。
(4)
前記ユーザの状態は、ユーザの行動に関する状態である、前記(1)〜(3)のいずれか一項に記載の情報処理装置。
(5)
前記出力制御部は、前記ユーザの状態として所定の状態が認識された場合に、当該所定の状態への遷移前の他の状態における前記音響の出力の制御に関する設定のうち、少なくとも一部の設定を引き継ぐ、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(6)
前記所定の状態は、ユーザが停止している状態である、前記(5)に記載の情報処理装置。
(7)
前記所定の状態は、ユーザが自転車に乗っている状態である、前記(5)に記載の情報処理装置。
(8)
前記出力制御部は、前記ユーザの状態が遷移した場合に、当該遷移前後の状態に応じて、前記音響の出力を制御する、前記(1)〜(4)のいずれか一項に記載の情報処理装置。
(9)
前記認識処理部は、前記検出結果に基づく1以上の前記ユーザの状態の候補それぞれの尤度に応じて、前記ユーザの状態を認識する、前記(1)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記認識処理部は、前記ユーザの状態を、過去に取得された前記検出結果と、当該検出結果に応じた前記ユーザの状態の認識結果と、を対応付けたサンプルに基づく機械学習の結果に応じて認識する、前記(1)〜(9)のいずれか一項に記載の情報処理装置。
(11)
所定の状態または状況の検出結果と、所定の対象の属性情報と、のうち少なくともいずれかを前記条件として、複数の前記機能マップから当該条件に応じた前記機能マップを選択する選択部を備える、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記選択部は、前記機能マップを、過去に判定された前記条件と、当該条件に応じた前記機能マップの選択結果と、を対応付けたサンプルに基づく機械学習の結果に応じて選択する、前記(11)に記載の情報処理装置。
(13)
前記出力制御部は、ユーザにより選択された前記機能マップに基づき、認識された前記ユーザの状態に応じて前記音響の出力を制御する、前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(14)
複数の前記機能マップのうち少なくとも一部の前記機能マップは、ユーザ入力に基づき更新される、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記認識処理部は、第1の検出部による所定の状態または状況の第1の検出結果に基づく前記ユーザの状態の認識結果を、前記第1の検出部とは異なる第2の検出部による所定の状態または状況の第2の検出結果に応じて補正する、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記認識処理部は、前記第1の検出結果に基づく前記ユーザの状態の認識結果に応じて、前記第2の検出部を起動する、前記(15)に記載の情報処理装置。
(17)
前記認識処理部は、
前記第1の検出結果に基づく前記ユーザの状態の認識結果が所定の状態を示す場合に、前記第2の検出部を起動し、
前記第2の検出部の起動後において、前記第1の検出結果に基づく前記ユーザの状態が前記所定の状態以外の他の状態を示す場合には、当該第2の検出部を停止する、
前記(16)に記載の情報処理装置。
(18)
前記認識処理部は、前記第2の検出部を起動したタイミングよりも後のタイミングにおける当該第2の検出部による前記第2の検出結果に応じて、前記第1の検出結果に基づく前記ユーザの状態の認識結果を補正する、前記(16)または(17)に記載の情報処理装置。
(19)
コンピュータが、
所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、
を含む、情報処理方法。
(20)
コンピュータに、
所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、
を実行させる、プログラム。
10、10a 情報処理装置
101 通信部
103 検出部
105 認識処理部
107 出力制御部
109 出力部
111 記憶部
113 シナリオ選択部
115 入力部
30 音響デバイス
301 通信部
303 音響出力部
305 制御部
307 信号処理部
311 筐体
312 ヘッドバンド
321 マイクロフォン
322 マイクロフォン
331 信号処理回路
332 イコライザ
333 加算器
334 パワーアンプ
341 発音体
Claims (17)
- 所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、
を備え、
前記出力制御部は、前記ユーザの状態として所定の状態が認識された場合に、当該所定の状態への遷移前の他の状態における前記音響の出力の制御に関する設定のうち、少なくとも一部の設定を引き継ぐ、
情報処理装置。 - 前記機能マップは、複数の前記ユーザの状態の候補それぞれに対して、前記音響の出力の制御に関する設定として、複数種類の制御それぞれに関する設定の組み合わせが関連付けられている、請求項1に記載の情報処理装置。
- 前記複数種類の制御に関する設定のうち、少なくとも一部の設定は、前記音響の出力の制御に関連する機能の設定である、請求項2に記載の情報処理装置。
- 前記ユーザの状態は、ユーザの行動に関する状態である、請求項1〜3のいずれか1項に記載の情報処理装置。
- 前記所定の状態は、ユーザが停止している状態である、請求項1〜4のいずれか1項に記載の情報処理装置。
- 前記所定の状態は、ユーザが自転車に乗っている状態である、請求項1〜4のいずれか1項に記載の情報処理装置。
- 所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、
を備え、
前記出力制御部は、前記ユーザの状態が遷移した場合に、当該遷移前後の状態に応じて、前記音響の出力を制御する、情報処理装置。 - 前記認識処理部は、前記検出結果に基づく1以上の前記ユーザの状態の候補それぞれの尤度に応じて、前記ユーザの状態を認識する、請求項1〜7のいずれか1項に記載の情報処理装置。
- 前記認識処理部は、前記ユーザの状態を、過去に取得された前記検出結果と、当該検出結果に応じた前記ユーザの状態の認識結果と、を対応付けたサンプルに基づく機械学習の結果に応じて認識する、請求項1〜8のいずれか1項に記載の情報処理装置。
- 所定の状態または状況の検出結果と、所定の対象の属性情報と、のうち少なくともいずれかを前記条件として、複数の前記機能マップから当該条件に応じた前記機能マップを選択する選択部を備える、請求項1〜9のいずれか1項に記載の情報処理装置。
- 前記選択部は、前記機能マップを、過去に判定された前記条件と、当該条件に応じた前記機能マップの選択結果と、を対応付けたサンプルに基づく機械学習の結果に応じて選択する、請求項10に記載の情報処理装置。
- 前記出力制御部は、ユーザにより選択された前記機能マップに基づき、認識された前記ユーザの状態に応じて前記音響の出力を制御する、請求項1〜9のいずれか1項に記載の情報処理装置。
- 複数の前記機能マップのうち少なくとも一部の前記機能マップは、ユーザ入力に基づき
更新される、請求項1〜12のいずれか1項に記載の情報処理装置。 - 所定の状態または状況の検出結果に応じて、ユーザの状態を認識する認識処理部と、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識され
た前記ユーザの状態と、に基づき前記音響の出力を制御する出力制御部と、
を備え、
前記認識処理部は、
第1の検出部による所定の状態または状況の第1の検出結果に基づく前記ユーザの状態の認識結果を、前記第1の検出部とは異なる第2の検出部による所定の状態または状況の第2の検出結果に応じて補正し、
前記第1の検出結果に基づく前記ユーザの状態の認識結果が所定の状態を示す場合に、前記第2の検出部を起動し、
前記第2の検出部の起動後において、前記第1の検出結果に基づく前記ユーザの状態が前記所定の状態以外の他の状態を示す場合には、当該第2の検出部を停止する、
情報処理装置。 - 前記認識処理部は、前記第2の検出部を起動したタイミングよりも後のタイミングにおける当該第2の検出部による前記第2の検出結果に応じて、前記第1の検出結果に基づく前記ユーザの状態の認識結果を補正する、請求項14に記載の情報処理装置。
- コンピュータが、
所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、
を含み、
前記音響の出力を制御することには、前記ユーザの状態として所定の状態が認識された場合に、当該所定の状態への遷移前の他の状態における前記音響の出力の制御に関する設定のうち、少なくとも一部の設定を引き継ぐことが含まれる、
情報処理方法。 - コンピュータに、
所定の状態または状況の検出結果に応じて、ユーザの状態を認識することと、
所定の条件に応じて選択された、複数の前記ユーザの状態の候補それぞれに対して所定の出力部からの音響の出力の制御に関する設定が関連付けられた機能マップと、認識された前記ユーザの状態と、に基づき前記音響の出力を制御することと、
を実行させる、プログラムであって、
前記音響の出力を制御することには、前記ユーザの状態として所定の状態が認識された場合に、当該所定の状態への遷移前の他の状態における前記音響の出力の制御に関する設定のうち、少なくとも一部の設定を引き継ぐことが含まれる、
プログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016187824 | 2016-09-27 | ||
JP2016187824 | 2016-09-27 | ||
JP2016238205 | 2016-12-08 | ||
JP2016238205 | 2016-12-08 | ||
PCT/JP2017/028896 WO2018061491A1 (ja) | 2016-09-27 | 2017-08-09 | 情報処理装置、情報処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018061491A1 JPWO2018061491A1 (ja) | 2019-07-11 |
JP6973400B2 true JP6973400B2 (ja) | 2021-11-24 |
Family
ID=61763433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018541971A Active JP6973400B2 (ja) | 2016-09-27 | 2017-08-09 | 情報処理装置、情報処理方法、及びプログラム |
Country Status (5)
Country | Link |
---|---|
US (2) | US10809972B2 (ja) |
EP (1) | EP3522566B1 (ja) |
JP (1) | JP6973400B2 (ja) |
CN (1) | CN109792577B (ja) |
WO (1) | WO2018061491A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10909847B1 (en) * | 2018-09-19 | 2021-02-02 | All Turtles Corporation | Building urban area noise pollution maps and mitigating noise from emergency vehicles |
US10983752B2 (en) * | 2019-02-15 | 2021-04-20 | Bose Corporation | Methods and systems for generating customized audio experiences |
US11172298B2 (en) | 2019-07-08 | 2021-11-09 | Apple Inc. | Systems, methods, and user interfaces for headphone fit adjustment and audio output control |
JP2021052262A (ja) * | 2019-09-24 | 2021-04-01 | カシオ計算機株式会社 | 音出力制御装置、音量制御方法及びプログラム |
WO2021157304A1 (ja) * | 2020-02-05 | 2021-08-12 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7424156B2 (ja) | 2020-03-25 | 2024-01-30 | 株式会社Jvcケンウッド | コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラム |
JP7443877B2 (ja) | 2020-03-25 | 2024-03-06 | 株式会社Jvcケンウッド | 音声出力制御装置、音声出力システム、音声出力制御方法およびプログラム |
JP7447602B2 (ja) | 2020-03-25 | 2024-03-12 | 株式会社Jvcケンウッド | コンテンツ出力制御装置、コンテンツ出力システム、コンテンツ出力制御方法およびプログラム |
US11200876B2 (en) * | 2020-05-14 | 2021-12-14 | Bose Corporation | Activity-based smart transparency |
US11652510B2 (en) | 2020-06-01 | 2023-05-16 | Apple Inc. | Systems, methods, and graphical user interfaces for automatic audio routing |
CN113873379B (zh) * | 2020-06-30 | 2023-05-02 | 华为技术有限公司 | 一种模式控制方法、装置及终端设备 |
US11375314B2 (en) | 2020-07-20 | 2022-06-28 | Apple Inc. | Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices |
US11941319B2 (en) * | 2020-07-20 | 2024-03-26 | Apple Inc. | Systems, methods, and graphical user interfaces for selecting audio output modes of wearable audio output devices |
US11523243B2 (en) | 2020-09-25 | 2022-12-06 | Apple Inc. | Systems, methods, and graphical user interfaces for using spatialized audio during communication sessions |
CN112383856A (zh) * | 2020-11-06 | 2021-02-19 | 刘智矫 | 一种用于智能耳机的声场检测、音频过滤方法及系统 |
WO2022249586A1 (ja) * | 2021-05-26 | 2022-12-01 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6970547B2 (en) * | 2003-05-12 | 2005-11-29 | Onstate Communications Corporation | Universal state-aware communications |
JP2006251376A (ja) | 2005-03-10 | 2006-09-21 | Yamaha Corp | 楽音制御装置 |
US20080153537A1 (en) | 2006-12-21 | 2008-06-26 | Charbel Khawand | Dynamically learning a user's response via user-preferred audio settings in response to different noise environments |
WO2009001559A1 (ja) | 2007-06-28 | 2008-12-31 | Panasonic Corporation | 環境適応型補聴器 |
US8285344B2 (en) | 2008-05-21 | 2012-10-09 | DP Technlogies, Inc. | Method and apparatus for adjusting audio for a user environment |
KR20100099922A (ko) | 2009-03-04 | 2010-09-15 | 삼성전자주식회사 | 휴대용 단말기의 음량 조절 장치 및 방법 |
CN102484660B (zh) * | 2010-01-07 | 2014-06-11 | 株式会社东芝 | 移动状态推测装置、方法及程序 |
CN101789998A (zh) * | 2010-01-13 | 2010-07-28 | 北京百纳威尔科技有限公司 | 移动终端情景桌面的显示方法和移动终端 |
CN102523556B (zh) * | 2011-12-15 | 2015-02-18 | 百度在线网络技术(北京)有限公司 | 移动终端的配对方法及系统、移动终端及服务器 |
US9082389B2 (en) * | 2012-03-30 | 2015-07-14 | Apple Inc. | Pre-shaping series filter for active noise cancellation adaptive filter |
JP6017858B2 (ja) | 2012-06-26 | 2016-11-02 | 京セラ株式会社 | 電子機器及び音出力方法 |
WO2014153727A1 (en) * | 2013-03-26 | 2014-10-02 | Google Inc. | Signal processing to extract a pedestrian's moving direction |
EP3036916B1 (en) | 2013-08-20 | 2020-03-11 | Widex A/S | Hearing aid having a classifier |
JP6190351B2 (ja) * | 2013-12-13 | 2017-08-30 | ジーエヌ ヒアリング エー/エスGN Hearing A/S | 学習型補聴器 |
US9648430B2 (en) | 2013-12-13 | 2017-05-09 | Gn Hearing A/S | Learning hearing aid |
US9576588B2 (en) * | 2014-02-10 | 2017-02-21 | Apple Inc. | Close-talk detector for personal listening device with adaptive active noise control |
US20170083282A1 (en) | 2014-06-03 | 2017-03-23 | Sony Corporation | Information processing device, control method, and program |
US20160149547A1 (en) | 2014-11-20 | 2016-05-26 | Intel Corporation | Automated audio adjustment |
CN104822103B (zh) * | 2015-03-26 | 2018-10-30 | 北京国承万通信息科技有限公司 | 耳机 |
CN105187603B (zh) * | 2015-09-10 | 2019-04-26 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
-
2017
- 2017-08-09 WO PCT/JP2017/028896 patent/WO2018061491A1/ja unknown
- 2017-08-09 US US16/333,742 patent/US10809972B2/en active Active
- 2017-08-09 JP JP2018541971A patent/JP6973400B2/ja active Active
- 2017-08-09 CN CN201780057764.6A patent/CN109792577B/zh active Active
- 2017-08-09 EP EP17855449.9A patent/EP3522566B1/en active Active
-
2020
- 2020-09-22 US US17/028,236 patent/US11256473B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210004203A1 (en) | 2021-01-07 |
CN109792577B (zh) | 2021-11-09 |
EP3522566A4 (en) | 2019-10-16 |
US20190361666A1 (en) | 2019-11-28 |
WO2018061491A1 (ja) | 2018-04-05 |
JPWO2018061491A1 (ja) | 2019-07-11 |
EP3522566B1 (en) | 2023-09-27 |
US11256473B2 (en) | 2022-02-22 |
CN109792577A (zh) | 2019-05-21 |
EP3522566A1 (en) | 2019-08-07 |
US10809972B2 (en) | 2020-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6973400B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20220377467A1 (en) | Hearing aid systems and mehods | |
US9620116B2 (en) | Performing automated voice operations based on sensor data reflecting sound vibration conditions and motion conditions | |
US20160149547A1 (en) | Automated audio adjustment | |
US9288594B1 (en) | Auditory environment recognition | |
JP2023542968A (ja) | 定位されたフィードバックによる聴力増強及びウェアラブルシステム | |
CN112004174B (zh) | 一种降噪控制方法、设备及计算机可读存储介质 | |
JP6582514B2 (ja) | コンテンツ再生装置、コンテンツ再生プログラム及びコンテンツ再生方法 | |
JPWO2018180024A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6404709B2 (ja) | 音出力装置および音出力装置における音の再生方法 | |
JPWO2018034077A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20210266655A1 (en) | Headset configuration management | |
US11895474B2 (en) | Activity detection on devices with multi-modal sensing | |
CN115605944A (zh) | 基于活动的智能透明度 | |
US20230036986A1 (en) | Processing of audio signals from multiple microphones | |
US11997445B2 (en) | Systems and methods for live conversation using hearing devices | |
JP2007125621A (ja) | 行動計画装置、行動計画方法および行動計画プログラム | |
JP2021182174A (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20230229383A1 (en) | Hearing augmentation and wearable system with localized feedback | |
US20240087597A1 (en) | Source speech modification based on an input speech characteristic | |
WO2023010012A1 (en) | Audio event data processing | |
EP4378173A1 (en) | Processing of audio signals from multiple microphones | |
CN118020314A (zh) | 音频事件数据处理 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190515 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190522 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200629 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210727 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210921 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211018 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6973400 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |