JPWO2018088319A1 - 再生端末及び再生方法 - Google Patents

再生端末及び再生方法 Download PDF

Info

Publication number
JPWO2018088319A1
JPWO2018088319A1 JP2018550173A JP2018550173A JPWO2018088319A1 JP WO2018088319 A1 JPWO2018088319 A1 JP WO2018088319A1 JP 2018550173 A JP2018550173 A JP 2018550173A JP 2018550173 A JP2018550173 A JP 2018550173A JP WO2018088319 A1 JPWO2018088319 A1 JP WO2018088319A1
Authority
JP
Japan
Prior art keywords
information
distribution
distributor
user
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018550173A
Other languages
English (en)
Inventor
真朗 江里口
真朗 江里口
轟 兼郎
兼郎 轟
山野 郁男
郁男 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Sony Mobile Communications Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Mobile Communications Inc filed Critical Sony Corp
Publication of JPWO2018088319A1 publication Critical patent/JPWO2018088319A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A61B5/02427Details of sensor
    • A61B5/02433Details of sensor for infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/486Bio-feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14Handling requests for interconnection or transfer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33Arrangements for monitoring the users' behaviour or opinions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

【課題】配信情報への応答の付与を簡易な操作で行うことが可能な再生装置及び再生方法を提供する。【解決手段】配信された配信情報を再生する再生部と、ユーザの身体動作を検出するセンサ部と、前記センサ部にて検出された前記身体動作に基づいて、前記配信情報への応答の付与に関する操作を処理する制御部と、を備える、再生端末。【選択図】図1

Description

本開示は、再生端末及び再生方法に関する。
近年、インターネット、または移動体通信網等のネットワークを介して、不特定多数の対象者に情報を配信するサービスが広く実施されている。また、このようなサービスでは、対象者から、配信された情報に対する反応等を返すことも可能となっている。
例えば、下記の特許文献1には、放送局から視聴者にコマーシャルメッセージを配信し、配信されたコマーシャルメッセージに対する反応の程度を、データ放送用コンテンツ等を介して視聴者から回収する反応調査方法が開示されている。
特開2001−357191号公報
しかし、上記の特許文献1に開示された方法では、配信される情報は、編集された映像情報等のコマーシャルメッセージであり、視聴者の感性またはイメージを強く刺激するものではなかった。そこで、インターネット等が有する双方向性、および即時性を効果的に利用するために、配信された配信情報の応答を効率的に得ることが求められていた。
本開示では、配信された配信情報に対して、応答を付与する操作をより簡易に行うことが可能な再生端末及び再生方法を提案する。
本開示によれば、配信された配信情報を再生する再生部と、ユーザの身体動作を検出するセンサ部と、前記センサ部にて検出された前記身体動作に基づいて、前記配信情報への応答の付与に関する操作を処理する制御部と、を備える、再生端末が提供される。
また、本開示によれば、配信された配信情報を再生することと、ユーザの身体動作を検出することと、演算処理装置によって、検出された前記身体動作に基づいて、前記配信情報への応答の付与に関する操作を処理することと、を含む、再生方法が提供される。
本開示によれば、ユーザは、身体動作によって配信情報への応答の付与に関する操作を行うことが可能である。
以上説明したように本開示によれば、ユーザは、配信された配信情報に対して、応答を付与する操作をより簡易に行うことが可能である。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の第1の実施形態に係る情報処理システムの概要を説明する説明図である。 同実施形態に係る情報処理システムのうち、情報処理サーバ、情報処理装置、および配信端末の具体的な構成を説明するブロック図である。 同実施形態に係る情報処理システムのうち、情報処理サーバ、情報処理装置、および再生端末の具体的な構成を説明するブロック図である。 同実施形態に係る情報処理システムの再生端末側の動作を説明するフローチャート図である。 図3における「評価の付与処理」の具体的な動作を説明するフローチャート図である。 図3における「コメントの付与処理」の具体的な動作を説明するフローチャート図である。 情報処理サーバにおいて、ユーザからのコメントに対してエラーワード処理を行う構成を抜き出して示したブロック図である。 一度聴取した配信情報を再度聴取する場合の再生端末側の動作を説明するフローチャート図である。 ユーザに再生端末の装着を促す表示の一例を示す説明図である。 一度聴取された配信情報の一覧表示の一例を示す説明図である。 同実施形態に係る情報処理システムの配信端末側の動作を説明するフローチャート図である。 配信情報に対するユーザからのコメントを確認する場合の配信端末側の動作を説明するフローチャート図である。 配信情報と、該配信情報に対するコメントとを関連付けた表示の一例を示す説明図である。 コメントまたは評価などの応答と、ユーザの位置情報とを関連付けた表示の一例を示す説明図である。 本開示の第2の実施形態に係る情報処理システムの概要を説明する説明図である。 同実施形態に係る配信端末の構成の具体例を示す模式図である。 同実施形態に係る再生端末の構成の具体例を示す模式図である。 同実施形態に係る情報処理システムの具体的な構成を説明するブロック図である。 心臓の拍動の波形を模式的に示すグラフ図である。 図17で示したΔtおよびaと、心拍数との関係を模式的に示すグラフ図である。 再生される心拍数の振動を変更する場合の判断を説明するフローチャート図である。 音声の周波数帯域と、振動の周波数帯域とを模式的に示すグラフ図である。 ユーザによる特定のジェスチャ動作の一例を示す模式図である。 同実施形態に係る情報処理システムの第1の動作例を示すシーケンス図である。 同実施形態に係る情報処理システムの第2の動作例を示すシーケンス図である。 、本開示の各実施形態に係る情報処理サーバのハードウェア構成の一例を示したブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.第1の実施形態
1.1.情報処理システムの概要
1.2.情報処理システムの構成
1.3.情報処理システムの動作
1.4.変形例
2.第2の実施形態
2.1.情報処理システムの概要
2.2.情報処理システムの構成
2.3.情報処理システムの動作
2.4.変形例
3.情報処理サーバのハードウェア構成
4.まとめ
<1.第1の実施形態>
[1.1.情報処理システムの概要]
まず、図1を参照して、本開示の第1の実施形態に係る情報処理システムの概要について説明する。図1は、本開示の第1の実施形態に係る情報処理システムの概要を説明する説明図である。
本実施形態に係る情報処理システムは、配信者から配信情報を受信し、ユーザに該配信情報を送信する情報配信システムである。また、本実施形態に係る情報処理システムでは、配信情報に対するコメントまたは評価などの応答をユーザから配信者に対してフィードバックすることも可能である。なお、配信者とは、例えば、アイドル、著名人、またはオピニオンリーダーなどであり、ユーザとは、例えば、配信者のファン、またはフォロワーなどである。
本実施形態において、配信情報とは、例えば、配信者の身体性に依存する配信情報であってもよく、配信者が発話した音声情報であってもよい。音声情報は、発話した配信者の声帯等に依存して周波数スペクトルが異なるため、配信者に特徴的であり、かつ具体性がより強い情報である。したがって、本実施形態に係る情報処理システムでは、配信者が発話した音声を配信情報として配信することで、配信情報が配信されたユーザにより強い感情を誘起することが可能である。
図1に示すように、本実施形態に係る情報処理システムは、配信者が所持する配信端末30A、および情報処理装置20Aと、配信情報を受け取るユーザが所持する再生端末30B、および情報処理装置20Bと、ネットワーク40を介して情報処理装置20A、20Bと接続する情報処理サーバ10とを備える。
配信端末30A、および再生端末30Bは、例えば、配信者またはユーザの身体のいずれかの部位に装着される情報処理装置である。配信端末30Aは、少なくとも収音機能を有し、再生端末30Bは、少なくとも音声再生機能を有する。
具体的には、配信端末30Aは、配信者が発話した音声を収音機能によって取得する。収音機能は、例えば、周囲の音声を収音するマイクロホンなどの収音装置、およびDSP(Digital Signal Processor)などの信号処理回路にて構成されてもよい。また、再生端末30Bは、配信された配信情報に含まれる音声情報を音声再生機能によって再生する。音声再生機能は、スピーカーまたはヘッドホンなどの音声出力装置、およびアンプ等の信号処理回路にて構成されてもよい。
本実施形態に係る情報処理システムでは、配信者が発話した音声を配信端末30Aにて配信情報として収音し、ネットワーク40を介して、該配信情報を再生端末30Bに配信する。これにより、ユーザは、再生端末30Bにて配信情報を再生し、配信者が発話した音声を聴取することが可能である。
配信端末30A、および再生端末30Bの形態は、いかなる形態であってもよく、例えば、ユーザの顔面に装着されるメガネ型、ユーザの手首等に装着される腕時計型、ユーザの頭部に装着されるヘッドセット型、またはユーザの耳に挿入されるイヤホン型の形態などであってもよい。ただし、本実施形態で配信される配信情報は、音声情報であるため、配信端末30A、および再生端末30Bは、図1で例示するように、イヤホン型であってもよい。
なお、配信端末30A、および再生端末30Bは、情報処理装置20A、20Bを介して、情報処理サーバ10と配信情報を送受信する。ただし、配信端末30A、および再生端末30Bは、情報処理装置20A、20Bを介さずに、直接、情報処理サーバ10と配信情報を送受信してもよい。
情報処理装置20A、および情報処理装置20Bは、配信者またはユーザによって所持される通信装置であり、配信端末30Aまたは再生端末30Bとの通信機能、およびネットワーク40への接続機能を備える。情報処理装置20A、および情報処理装置20Bは、例えば、スマートフォン、携帯電話、タブレット端末、またはPDA(Personal Didital Assistant)などであってもよい。
具体的には、情報処理装置20Aは、配信端末30Aとの通信機能によって、配信端末30Aにて収音した音声情報(すなわち、配信情報)を受信し、ネットワーク40への接続機能によって、該音声情報を情報処理サーバ10に送信する。一方、情報処理装置20Bは、ネットワーク40への接続機能によって、音声情報(すなわち、配信情報)を情報処理サーバ10から受信し、再生端末30Bとの通信機能によって、該音声情報を再生端末30Bに送信する。
情報処理装置20Aおよび情報処理装置20Bと、配信端末30Aおよび再生端末30Bとの通信機能は、例えば、数m〜100m程度の距離で情報を無線通信するアンテナおよび通信回路にて構成されてもよく、具体的には、Bluetooth(登録商標)などに対応したアンテナおよび通信回路にて構成されてもよい。また、情報処理装置20Aおよび情報処理装置20Bと、ネットワーク40との接続機能は、無線LAN、公衆回線網、移動体通信網、またはインターネットへの接続に対応したアンテナおよび通信回路にて構成されてもよい。
ネットワーク40は、情報の送受信が行われる通信網である。ネットワーク40は、例えば、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、衛星通信網、電話回線網、移動体通信網(例えば、3Gまたは4G回線網など)、またはIP−VPN(Internet Protocol−Virtual Private Network)などであってもよい。
情報処理サーバ10は、配信端末30Aから配信情報を受信し、ユーザの再生端末30Bの装着状態に基づいて、配信情報の再生端末30Bへの送信を制御する。
具体的には、情報処理サーバ10は、配信情報を受信した時にユーザが再生端末30Bを装着している場合、再生端末30Bに配信情報を送信する。一方、配信情報を受信した時にユーザが再生端末30Bを装着していない場合、情報処理サーバ10は、再生端末30Bに配信情報を送信せず、その後、ユーザが再生端末30Bを装着した時に再生端末30Bに配信情報を送信する。なお、ユーザによる再生端末30Bの装着状態は、例えば、再生端末30Bに備えられる各種センサによって検出することが可能である。具体的には、再生端末30Bには、物体との接近を検出する近接センサ、物体との接触を検出するタッチセンサ、または再生端末30Bの姿勢および向きを検出する加速度センサなどが備えられ、再生端末30Bは、これらのセンサからの情報に基づいて、ユーザに装着されたか否かを判断してもよい。
配信情報は、配信者の身体性に依存する情報であり、配信者に特徴的かつ具体性の強い情報である。したがって、情報処理サーバ10は、ユーザが再生端末30Bを装着している状態で配信情報が再生されるように配信情報の送信を制御することで、配信情報をユーザに直接聴取させるようにする。これにより、情報処理サーバ10は、ユーザにより強い感情を誘起させることができる。
また、情報処理サーバ10は、配信情報に対するユーザからのコメントまたは評価等の応答を該配信情報と関連付けて記憶してもよい。また、情報処理サーバ10は、配信情報を配信した配信者にこれらの配信情報に対するユーザからの応答を伝達してもよい。これによれば、情報処理サーバ10は、配信者とユーザとの間で、配信情報を介した双方向的なコミュニケーションを発生させることができるため、配信者とユーザとの交流を活発化させることができる。特に、本実施形態に係る情報処理システムでは、配信情報が配信者の身体性に依存する情報であるため、より活発な交流の発生を期待することができる。
したがって、本実施形態に係る情報処理システムによれば、配信者の身体性に依存する音声情報等の配信情報をより効果的にユーザに配信することが可能である。
なお、図1では、情報処理システムが、配信端末30A、情報処理装置20A、情報処理サーバ10、情報処理装置20B、および再生端末30Bからなる構成を例示して説明したが、本開示に係る技術は、かかる例示に限定されない。例えば、配信端末30Aと、情報処理装置20Aとは、一体化した1つの情報処理装置であってもよく、再生端末30Bと、情報処理装置20Bとは、一体化した1つの情報処理装置であってもよい。また、情報処理サーバ10の機能の一部または全部は、情報処理装置20A、または情報処理装置20Bのいずれかが実行してもよい。さらに、例えば、後述する情報処理サーバ10の配信情報記憶部130にて記憶される情報の一部または全部は、情報処理装置20A又は情報処理装置20Bの少なくともいずれかに記憶されてもよい。
[1.2.情報処理システムの構成]
次に、図2Aおよび図2Bを参照して、本実施形態に係る情報処理システムの構成について説明する。図2Aは、本実施形態に係る情報処理システムのうち、情報処理サーバ10、情報処理装置20A、および配信端末30Aの具体的な構成を説明するブロック図であり、図2Bは、本実施形態に係る情報処理システムのうち、情報処理サーバ10、情報処理装置20B、および再生端末30Bの具体的な構成を説明するブロック図である。
図2Aおよび図2Bに示すように、配信端末30Aは、マイク部315と、音声再生部313と、制御部312と、通信部311とを備え、情報処理装置20Aは、入力部212と、通信部211と、制御部213と、表示生成部214と、表示部215と、ネットワーク接続部216とを備える。
また、情報処理サーバ10は、ネットワーク接続部110と、配信情報受信部120と、配信情報記憶部130と、配信制御部140と、配信情報送信部150と、応答付与部160と、応答伝達部170とを備える。
さらに、再生端末30Bは、センサ部325と、制御部322と、通信部321と、ガイド音声制御部324と、音声再生部323とを備え、情報処理装置20Bは、入力部222と、通信部221と、制御部223と、表示生成部224と、表示部225と、ネットワーク接続部226とを備える。
(配信端末30A)
マイク部315は、例えば、マイクロホン等の収音装置、およびDSPなどの信号処理回路で構成され、配信端末30Aの周囲の音声を収音する。具体的には、マイク部315は、配信端末30Aを装着している配信者が発話した音声を収音し、配信情報として用いられる音声情報を生成してもよい。
音声再生部313は、例えば、スピーカーまたはヘッドホンなどの音声出力装置、およびアンプ等の信号処理回路にて構成され、音声情報を音声として再生する。具体的には、音声再生部313は、自身が発話した音声を配信者に確認させるために、マイク部315が収音した音声情報を再生してもよく、配信情報に対してユーザが付与したコメント等の応答を音声情報として再生してもよい。
制御部312は、例えば、演算処理装置であるMPU(Micro Processing Unit)と、制御プログラムおよび制御パラメータ等を記憶するメモリとから構成され、配信端末30Aの各構成を制御する。具体的には、制御部312は、マイク部315が収音した音声情報を配信情報として情報処理装置20Aに送信するように各構成を制御する。また、制御部312は、ユーザから配信情報に付与されたコメント等の応答を情報処理装置20Aから受信するように各構成を制御してもよい。
通信部311は、例えば、アンテナおよび通信回路にて構成され、情報処理装置20Aとの間で情報の送受信を行う。具体的には、通信部311は、情報処理装置20Aの通信部211との間で、配信情報、および該配信情報に対するユーザからの応答に関する情報等を送受信してもよい。
通信部311が行う通信の方式は、例えば、数m〜100m程度の半径の通信可能範囲を有する近距離通信方式であってもよく、具体的には、Wi−Fi(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)、Bluetooth Low Energy(登録商標)、ANT(登録商標)、またはANT+(登録商標)などであってもよい。ただし、通信部311が行う通信の方式は、上記に限定されず、例えば、3G、4GまたはLTE(Long Term Evolution)などの移動体通信であってもよい。
(情報処理装置20A)
通信部211は、例えば、上述した配信端末30Aの通信部311と同じ通信方式のアンテナおよび通信回路にて構成され、配信端末30Aとの間で情報の送受信を行う。具体的には、通信部211は、配信端末30Aの通信部311との間で、配信情報、および該配信情報に対するユーザからの応答に関する情報などを送受信してもよい。
通信部211の通信方式は、上述した配信端末30Aの通信部311と同じであり、例えば、Wi−Fi(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)、Bluetooth Low Energy(登録商標)、ANT(登録商標)、またはANT+(登録商標)などであってもよく、3G、4GまたはLTEなどの移動体通信であってもよい。
入力部212は、タッチパネル、キーボード、ボタン、マイクロホン、スイッチおよびレバーなどの情報が入力される入力装置、およびユーザの入力に基づいて入力信号を生成し、制御部213に出力するための入力制御回路などから構成されてもよい。
制御部213は、演算処理装置であるCPU(Central Processing Unit)と、制御プログラムおよび制御パラメータ等を記憶するROM(Read Only Memory)と、動作時に使用するプログラムおよび適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)とから構成され、情報処理装置20Aの各構成を制御する。
表示生成部214は、表示部215にて配信者に示される表示を生成する。例えば、表示生成部214は、配信端末30Aにて生成された配信情報を一覧にして配信者に示す表示を生成してもよい。また、表示生成部214は、配信情報の各々について、配信情報と、該配信情報に対する応答とを関連付けて示す表示を生成してもよい。
表示部215は、表示生成部214によって生成された表示に基づいて、配信者に画像等を示す。表示部215は、LCD(liquid crystal display)装置、OLED(organic electroluminescence display)装置もしくはランプなどの表示装置で構成されてもよい。
ネットワーク接続部216は、例えば、ネットワーク40に接続するためのインターフェースおよび通信回路にて構成され、ネットワーク40を介して、情報処理サーバ10との間で情報の送受信を行う。具体的には、ネットワーク接続部216は、配信端末30Aにて収音した音声情報を配信情報として情報処理サーバ10に送信する。また、ネットワーク接続部216は、送信した配信情報に対するユーザからのコメントまたは評価などの応答を情報処理サーバ10から受信してもよい。
ネットワーク接続部216は、例えば、LAN、WAN、インターネット、衛星通信網、電話回線網、移動体通信網、またはIP−VPN等に接続可能なインターフェースおよび通信回路にて構成されてもよく、3G、4GまたはLTEなどの移動体通信網に接続可能なインターフェースおよび通信回路にて構成されてもよい。
(情報処理サーバ10)
ネットワーク接続部110は、ネットワーク40に接続するためのインターフェースおよび通信回路にて構成され、ネットワーク40を介して、情報処理装置20Aおよび情報処理装置20Bとの間で情報の送受信を行う。例えば、ネットワーク接続部110は、ネットワーク接続部216、226と同様に、LAN、WAN、インターネット、衛星通信網、電話回線網、移動体通信網、またはIP−VPN等に接続可能なインターフェースおよび通信回路にて構成されてもよい。
配信情報受信部120は、情報処理装置20Aを介して、配信端末30Aにて生成された配信情報を受信する。配信情報とは、配信者の身体性に依存する情報であり、配信端末30Aのマイク部315等を用いることで生成される音声情報である。情報処理サーバ10は、配信者から配信された配信情報をユーザに配信することにより、配信者と、ユーザとの交流を活発化させることができる。
配信情報記憶部130は、配信者から配信された配信情報を記憶する。具体的には、配信情報受信部120によって配信情報が受信された時にユーザが再生端末30Bを装着していない場合、配信情報記憶部130は、再生端末30Bに配信されていない配信情報を一時記憶する。また、配信情報記憶部130は、再生端末30Bに送信された配信情報の各々を記憶してもよい。このような場合、配信情報記憶部130は、配信情報の各々と、該配信情報へのユーザからの応答とを関連付けて記憶することができる。
配信制御部140は、ユーザにおける再生端末30Bの装着状態に基づいて、再生端末30Bへの配信情報の送信を制御する。具体的には、配信制御部140は、ユーザが再生端末30Bを装着している時に、再生端末30Bにて配信情報が再生されるように、配信情報の送信のタイミングを制御する。したがって、配信制御部140は、ユーザが再生端末30Bを装着していない場合、再生端末30Bへの配信情報の送信を保留し、再生端末30Bの装着が確認された時点で再生端末30Bへ配信情報を送信する。これにより、配信制御部140は、配信情報をユーザに直接聴取されるようにすることができるため、配信者が発話した音声を配信情報として聴取したユーザに強い感情を誘起させることが容易になる。
配信情報送信部150は、配信制御部140の制御に基づいて、再生端末30Bに配信情報を送信する。具体的には、ユーザが再生端末30Bを装着している場合、配信情報送信部150は、配信情報受信部120にて受信した配信情報を再生端末30Bに即時的に送信する。これにより、配信情報送信部150は、配信者から受信した配信情報をリアルタイムでユーザに聴取させることができるため、配信者とユーザとの間で、時間を共有している特別感を強めることができる。また、配信情報送信部150は、ユーザが再生端末30Bを装着していない時に配信者から配信された配信情報については、ユーザが再生端末30Bを装着したことを確認できた時に、該配信情報を再生端末30Bに送信する。これにより、配信情報送信部150は、配信情報を確実に再生端末30Bにてユーザに聴取させることができる。
応答付与部160は、配信情報に対するユーザからのコメントおよび評価などを該配信情報と関連付ける。具体的には、応答付与部160は、配信情報を聴取したユーザから該配信情報に付与されたコメントまたは感想を受信し、これらのコメントまたは感想と、配信情報とを関連付ける。また、応答付与部160は、配信情報に対して各ユーザから付与された評価、賛同、またはお気に入りなどを表すポイントの数を集計し、集計したポイントの数と、配信情報とを関連付ける。これにより、応答付与部160は、配信情報に対するユーザからの反応の内容、および大きさを配信情報ごとに関連付けることができる。
応答伝達部170は、配信情報に対するユーザからのコメント、および反応などの応答を配信者に伝達する。具体的には、応答伝達部170は、応答付与部160によって配信情報と関連付けられたコメントまたは評価などの応答を、該配信情報を配信した配信者に伝達する。例えば、応答伝達部170は、配信情報に対して付与されたコメントまたは感想を、該配信情報を送信した配信者の情報処理装置20Aまたは配信端末30Aに送信する。また、応答伝達部170は、配信情報に対して各ユーザから付与されたポイントの数を、該配信情報を送信した配信者の情報処理装置20Aまたは配信端末30Aに送信する。これにより、配信者は、自らの配信情報に対するユーザの反応を手元の情報処理装置20Aまたは配信端末30Aで手軽に確認することができる。
(情報処理装置20B)
ネットワーク接続部226は、例えば、ネットワーク40に接続するためのインターフェースおよび通信回路にて構成され、ネットワーク40を介して、情報処理サーバ10との間で情報の送受信を行う。具体的には、ネットワーク接続部226は、情報処理サーバ10から再生端末30Bにて再生される音声情報を配信情報として受信する。また、ネットワーク接続部226は、配信情報に対するユーザからのコメントおよび評価などの応答を情報処理サーバ10に送信してもよい。
ネットワーク接続部226は、例えば、LAN、WAN、インターネット、衛星通信網、電話回線網、移動体通信網、またはIP−VPN等に接続可能なインターフェースおよび通信回路にて構成されてもよく、3G、4GまたはLTEなどの移動体通信網に接続可能なインターフェースおよび通信回路にて構成されてもよい。
入力部222は、タッチパネル、キーボード、ボタン、マイクロホン、スイッチおよびレバーなどの情報が入力される入力装置、およびユーザの入力に基づいて入力信号を生成し、制御部223に出力するための入力制御回路などから構成されてもよい。
制御部223は、演算処理装置であるCPUと、制御プログラムおよび制御パラメータ等を記憶するROMと、動作時に使用するプログラムおよび適宜変化するパラメータ等を一時記憶するRAMとから構成され、情報処理装置20Bの各構成を制御する。
表示生成部224は、表示部225にてユーザに示される表示を生成する。例えば、表示生成部224は、再生端末30Bで再生した配信情報を一覧にしてユーザに示す表示を生成してもよい。
表示部225は、表示生成部224によって生成された表示に基づいて、ユーザに画像等を示す。表示部225は、LCD装置、OLED装置もしくはランプなどの表示装置で構成されてもよい。
通信部221は、例えば、再生端末30Bの通信部321と同じ通信方式のアンテナおよび通信回路にて構成され、再生端末30Bとの間で情報の送受信を行う。具体的には、通信部221は、再生端末30Bの通信部321との間で、配信情報、および該配信情報に対するユーザからの応答に関する情報などを送受信してもよい。
通信部221の通信方式は、再生端末30Bの通信部321と同じであり、例えば、Wi−Fi(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)、Bluetooth Low Energy(登録商標)、ANT(登録商標)、またはANT+(登録商標)などであってもよく、3G、4GまたはLTEなどの移動体通信であってもよい。
(再生端末30B)
通信部321は、例えば、アンテナおよび通信回路にて構成され、情報処理装置20Bとの間で情報の送受信を行う。具体的には、通信部321は、情報処理装置20Bの通信部221との間で、配信情報、および該配信情報に対するユーザからの応答に関する情報等を送受信してもよい。
通信部321が行う通信の方式は、例えば、数m〜100m程度の半径の通信可能範囲を有する近距離通信方式であってもよく、具体的には、Wi−Fi(登録商標)、ZigBee(登録商標)、Bluetooth(登録商標)、Bluetooth Low Energy(登録商標)、ANT(登録商標)、またはANT+(登録商標)などであってもよい。ただし、通信部321が行う通信の方式は、上記に限定されず、例えば、3G、4GまたはLTEなどの移動体通信であってもよい。
センサ部325は、再生端末30Bに搭載された各種センサである。センサ部325は、再生端末30Bがユーザに装着されたか否かを判断する際に用いられる情報を取得するセンサを少なくとも含む。例えば、センサ部325は、再生端末30Bと物体との接近を検出する近接センサ、再生端末30Bと物体との接触を検出するタッチセンサ、または再生端末30Bの姿勢および向きを検出する加速度センサなどを含み、これらのセンサからの情報によって再生端末30Bがユーザに装着されたか否かを判断してもよい。
また、センサ部325は、ユーザの音声を収音するマイクロホンを含んでもよく、ユーザのジェスチャを検出する加速度センサ、ジャイロセンサまたは振動センサを含んでもよい。このようなセンサ部325によれば、ユーザは、タッチパネル、キーボード、ボタン、マイクロホン、スイッチおよびレバーなどの入力装置を介さずに、直感的に再生端末30Bへの入力を行うことが可能である。
制御部322は、例えば、演算処理装置であるMPUと、制御プログラムおよび制御パラメータ等を記憶するメモリとから構成され、再生端末30Bの各構成を制御する。具体的には、制御部322は、情報処理装置20Bから受信した配信情報を再生するように各構成を制御する。また、制御部322は、センサ部325から入力されたユーザからのコメント等の音声情報を情報処理装置20Bに送信するように各構成を制御してもよい。
ガイド音声制御部324は、ユーザに対して、再生端末30Bの操作を誘導する音声情報の出力を制御する。例えば、再生端末30Bが表示部を有しないヘッドセット型端末、またはイヤホン型端末である場合、再生端末30Bは、画像等でユーザに操作方法を指示することができない。そのため、再生端末30Bでは、ガイド音声制御部324によって音声情報を音声再生部323で再生させ、ユーザに音声にて再生端末30Bの操作方法を指示する。これにより、再生端末30Bでは、ユーザに対する操作性を向上させることができる。
また、再生端末30Bの操作を誘導する音声情報は、配信者が発話した音声を収音した音声情報であってもよい。これらの音声は、あらかじめ配信者の発話を収音することで用意されていてもよい。また、配信者が複数人である場合、いずれの配信者が発話した音声を再生端末30Bの操作を誘導する音声として用いるかは、ユーザが任意に指定可能となっていてもよい。
音声再生部323は、例えば、スピーカーまたはヘッドホンなどの音声出力装置、およびアンプ等の信号処理回路にて構成され、音声情報を音声として再生する。具体的には、音声再生部323は、情報処理サーバ10から送信された音声情報である配信情報を再生してもよい。また、音声再生部323は、ガイド音声制御部324からの制御に基づいて、音声情報を再生することで、ユーザによる再生端末30Bの操作を誘導してもよい。
[1.3.情報処理システムの動作]
続いて、図3〜図13を参照して、本実施形態に係る情報処理システムの動作について具体例を示しながら説明する。
(再生端末側の動作)
まず、図3〜図5を参照して、本実施形態に係る情報処理システムの再生端末30B側の動作について説明する。図3は、本実施形態に係る情報処理システムの再生端末30B側の動作を説明するフローチャート図である。図4は、図3における「評価の付与処理」の具体的な動作を説明するフローチャート図であり、図5は、図3における「コメントの付与処理」の具体的な動作を説明するフローチャート図である。
図3に示すように、本実施形態に係る情報処理システムにおいて、ユーザが配信情報を聴取する場合、まず、センサ部325によって再生端末30Bがユーザに装着されていることが検出される(S101)。次に、ユーザが未聴取の配信情報が存在するか否かが確認される(S102)。未聴取の配信情報が存在しない場合(S102/No)、装着時に再生される所定の装着メッセージが再生される(S106)。なお、未聴取の配信情報が存在するか否かは、例えば、再生端末30Bの制御部322又は情報処理装置20Bの制御部223から、ネットワーク40を介して、情報処理サーバ10の配信制御部140に未聴取の配信情報の存在の有無を問い合わせることによって確認することが可能である。
所定の装着メッセージは、あらかじめ再生端末30B等に記憶された音声情報である。所定の装着メッセージは、あらかじめ配信者にて発話された音声を収音した音声情報であってもよく、例えば、配信者による挨拶、配信者による時刻または日付の読み上げ、または配信者による所定のメッセージ(例えば、配信者の決め台詞)などであってもよい。また、所定の装着メッセージは、適宜、変更されてもよい。具体的には、所定の装着メッセージは、再生端末30Bが装着された時間帯、日付、および曜日に応じて変更されてもよく、再生端末30Bの装着の履歴(例えば、前回、再生端末30Bを装着した日時からの経過時間など)によって変更されてもよく、ランダムに変更されてもよい。例えば、所定の装着メッセージの内容は、通常は、再生端末30Bを装着した時間帯および曜日に応じた配信者からの挨拶となり、低確率で配信者の決め台詞となるように制御されてもよい。
未聴取の配信情報が存在する場合(S102/Yes)、配信情報の存在を通知するメッセージが再生される(S103)。配信情報の存在を通知するメッセージは、所定の装着メッセージと同様に、あらかじめ再生端末30B等に記憶された音声情報であり、配信者が発話した音声情報であってもよい。また、配信情報の存在を通知するメッセージは、未聴取の配信情報の数によって変更されてもよい。
ここで、上記の所定の装着メッセージ、および配信情報の存在を通知するメッセージに限らず、再生端末30Bの状態または操作などを誘導するために再生される音声(ガイド音声ともいう)は、配信者の音声であってもよい。また、配信者が複数人である場合、ガイド音声は、例えば、複数人の配信者のうちからランダムで選択された配信者の音声であってもよく、ユーザが指定した配信者(例えば、ユーザのお気に入りの配信者)の音声であってもよい。
配信者が複数人であり、ユーザによって指定された配信者の音声がガイド音声となっている場合、ガイド音声を発話する配信者は、配信情報を発話した配信者と異なるように、一時的に変更されてもよい。このような場合、ある配信者から配信情報が配信された旨を別の配信者から紹介するような自然な内容のガイド音声にて、再生端末30Bは、配信情報の存在をユーザに通知することができる。なお、配信情報の存在を通知するガイド音声を発話する配信者は、配信情報を発話した配信者と同じとなってもよいが、このような場合、再生端末30Bは、配信者が自ら通知するような内容のガイド音声にて、配信情報の存在をユーザに通知してもよい。
なお、所定の装着メッセージは、例えば、情報処理サーバ10に記憶されていてもよい。例えば、センサ部325によって再生端末30Bがユーザに装着されたことが検出された場合、再生端末30Bは、ネットワーク40を介して、再生端末30Bがユーザに装着された旨を情報処理サーバ10に通知する情報を送信してもよい。これにより、該情報を受信した情報処理サーバ10が所定の装着メッセージを再生端末30Bに送信することで、再生端末30Bは、所定の装着メッセージを再生することができる。さらに、上述した配信情報の存在を通知するメッセージ及びガイド音声についても、同様に、情報処理サーバ10に記憶されていてもよい。例えば、再生端末30Bは、これらのメッセージ又はガイド音声を再生するタイミングで、ネットワーク40を介して、これらのメッセージ又はガイド音声を情報処理サーバ10に要求し、情報処理サーバ10からこれらのメッセージ又はガイド音声を受信してもよい。これによれば、再生端末30Bは、情報処理サーバ10から受信した配信情報の存在を通知するメッセージ及びガイド音声を再生することができる。
次に、送信された配信情報が再生される(S104)。これにより、配信情報がユーザに聴取されることになる。
続いて、聴取された配信情報に対する評価の付与処理が行われる(S110)。図4を参照して、配信情報に対する評価の付与処理について説明する。具体的には、図4に示すように、まず、聴取した配信情報に対して、評価を付与するか否かを確認するガイド音声が再生される(S111)。
なお、評価を付与するか否かを確認するガイド音声には、評価を付与する場合、および評価を付与しない場合の各々を選択するための入力操作に関する説明が含まれてもよい。また、これらのガイド音声は、再生の途中に、評価を付与するか否かに関する入力操作がユーザから行われた場合、ガイド音声の残りの再生が省略されてもよい。
ここで、評価とは、配信情報に対する同意、評価、賛同、お気に入り、または好意などを表すものであり、配信情報の各々に対して、各ユーザから付与され得る。したがって、配信者は、配信情報に対して付与された評価の数を確認することで、どのような配信情報の方が高い評価を得ることができるのかを知ることができる。
次に、聴取した配信情報に対して、評価を付与する入力操作が行われたか否かが判断される(S112)。例えば、再生端末30Bがウェアラブル端末である場合、配信情報に評価を付与するか否かは、ユーザのジェスチャ動作によって入力されてもよい。具体的には、再生端末30Bがイヤホン型端末である場合、評価を付与することは、ユーザのうなずく動作によって入力されてもよく、評価を付与しないことは、首を横に振る動作によって入力されてもよい。なお、再生端末30Bへの入力操作は、他の入力においても上記のようなジェスチャ動作によって行われてもよい。これらの再生端末30Bへの入力操作は、例えば、再生端末30Bが備える近接センサ、加速度センサ、またはジャイロセンサなどの各種センサで検出することが可能である。
聴取した配信情報に対して、ユーザから評価を付与しない入力が行われた場合(S112/No)、再生端末30Bは、配信情報に対する評価の付与処理(S110)を終了し、聴取された配信情報に対するコメントの付与処理(S120)に遷移する。一方、聴取した配信情報に対して、ユーザから評価を付与する入力が行われた場合(S112/Yes)、再生端末30Bは、配信情報に対して評価が付与された旨を情報処理サーバ10に送信する(S113)。
なお、配信情報に対してユーザから評価が付与された場合、再生端末30Bは、該配信情報の配信者からユーザにお礼等を告げる音声情報を再生してもよい。一方、配信情報に対してユーザから評価が付与されない場合、再生端末30Bは、該配信情報の配信者からユーザに落胆等を告げる音声情報を再生してもよい。また、これらの音声情報の内容は、ユーザによる評価の付与の履歴に基づいて、変更されてもよい。例えば、ユーザが複数の配信情報に対して評価を付与している場合、これらの音声情報は、「いつもありがとう」などの内容に変更されてもよい。また、ユーザが配信情報に対してほとんど評価を付与していない場合、これらの音声情報は、評価を付与することを要望する内容に変更されてもよい。
次に、聴取された配信情報に対するコメントの付与処理が行われる(S120)。図5を参照して、配信情報に対するコメントの付与処理について説明する。具体的には、図5に示すように、まず、聴取した配信情報に対して、コメントを付与するか否かを確認するガイド音声が再生される(S121)。
コメントを付与するか否かを確認するガイド音声には、評価の付与処理の時と同様に、コメントを付与する場合、およびコメントを付与しない場合の各々を選択するための入力操作に関する説明が含まれてもよい。これらのガイド音声の再生は、ユーザから入力操作が行われた場合、中止されてもよい。
次に、聴取した配信情報に対して、コメントを付与する入力操作が行われたか否かが判断される(S122)。例えば、上述したように、再生端末30Bがイヤホン型端末である場合、評価の付与処理の時と同様に、コメントを付与することは、ユーザのうなずく動作によって入力されてもよく、コメントを付与しないことは、首を横に振る動作によって入力されてもよい。
聴取した配信情報に対して、ユーザからコメントを付与しない入力が行われた場合(S122/No)、再生端末30Bは、配信情報に対するコメントの付与処理(S120)を終了し、未聴取の配信情報がさらに存在するか否かを確認する(S105)。未聴取の配信情報がさらに存在する場合(S105/Yes)、再生端末30Bは、S103に戻って、未聴取の配信情報を再生する。一方、未聴取の配信情報が存在しない場合(S105/No)、再生端末30Bは、配信情報の再生を終了する。
聴取した配信情報に対して、ユーザからコメントが付与される場合(S122/Yes)、再生端末30Bは、配信情報に対するユーザからのコメントを音声情報として収音する(S123)。
続いて、収音されたコメントの音声情報を聞くか否かを確認するガイド音声が再生され(S124)、配信情報に付与した自身のコメントの音声情報を聞くことを望む入力操作が行われたか否かが判断される(S125)。例えば、上述したように、再生端末30Bがイヤホン型端末である場合、コメントの音声情報を聞くことは、ユーザのうなずく動作によって入力されてもよく、コメントの音声情報を聞かないことは、首を横に振る動作によって入力されてもよい。
ユーザがコメントの音声情報を聞くことを望む場合(S125/Yes)、再生端末30Bは、配信情報に対してユーザが付与したコメントの音声情報を再生する(S126)。その後、再生端末30Bは、再度、ユーザが付与したコメントの音声情報を聞くことを望むか否かを確認するガイド音声を再生する(S124)。
一方、ユーザがコメントの音声情報を聞くことを望まない場合(S125/No)、ユーザが付与したコメントの音声情報を送信するか否かを確認するガイド音声が再生され(S127)、その後、付与したコメントの音声情報を送信する入力操作が行われたか否かが判断される(S128)。例えば、上述したように、再生端末30Bがイヤホン型端末である場合、配信情報に付与したコメントを送信することは、ユーザのうなずく動作によって入力されてもよく、配信情報に付与したコメントを送信しないことは、首を横に振る動作によって入力されてもよい。
なお、配信情報に対するコメントが送信された場合、再生端末30Bは、該配信情報の配信者からユーザにお礼等を告げる音声情報を再生してもよい。一方、配信情報に対するコメントが送信されなかった場合、再生端末30Bは、該配信情報の配信者からユーザに落胆等を告げる音声情報を再生してもよい。また、これらの音声情報の内容は、ユーザによる配信情報へのコメント付与の履歴に基づいて、変更されてもよい。例えば、ユーザが複数の配信情報に対してコメントを付与している場合、これらの音声情報は、「いつもありがとう」などの内容に変更されてもよい。また、ユーザが配信情報に対してほとんどコメントを付与していない場合、これらの音声情報は、コメントの付与を要望する内容に変更されてもよい。
配信情報に対するコメントを送信する入力操作が行われた場合(S128/Yes)、配信情報に対してユーザが付与したコメントの音声情報が情報処理サーバ10に送信される(S129)。一方、配信情報に対するコメントを送信しない入力操作が行われた場合(S128/No)、配信情報に対するコメントの付与処理(S120)は終了し、未聴取の配信情報がさらに存在するか否かが確認される(S105)。未聴取の配信情報がさらに存在する場合(S105/Yes)、再生端末30Bは、S103に戻って、未聴取の配信情報の再生を続ける。また、未聴取の配信情報が存在しない場合(S105/No)、再生端末30Bは、配信情報の再生を終了する。
以上のような動作によって、本実施形態に係る情報処理システムでは、ユーザが再生端末30Bを装着した時に、配信者からの配信情報を確認し、ユーザに配信情報を聴取させることができる。
ここで、配信情報に対するユーザからのコメントには、配信者に伝達するには、不適切な内容が含まれる可能性がある。そこで、情報処理サーバ10は、ユーザからのコメントの各々に対して、音声認識処理を施し、不適切な単語(以下、エラーワードともいう)を含むコメントを抽出してもよい。エラーワードを含むとして抽出されたコメントは、配信者に伝達されないように、例えば、削除等されてもよい。
図6を参照して、このようなエラーワードを抽出する構成について説明する。図6は、情報処理サーバ10において、ユーザからのコメントに対してエラーワード処理を行う構成を抜き出して示したブロック図である。図6では、簡略化のため、図2Aおよび図2Bで示したいくつかの構成の図示は省略している。
図6に示すように、ユーザからのコメントに対してエラーワード処理を行う場合、情報処理サーバ10は、端末管理部181と、機能制限部182とをさらに備え、かつ応答付与部160の中に音声認識部161と、エラーワード処理部162と、エラーワード記憶部163とを備える。
音声認識部161は、配信情報に付与されたユーザのコメントを音声情報からテキスト情報に変換する。具体的には、音声認識部161は、テキストデータと音声データとを対応させた音響モデルと、単語同士の並びの情報を統計処理によって集積した言語モデルとを用いて、音声情報の波形スペクトルに対応するテキスト情報を生成する。なお、音声認識部161で用いられる音声認識技術は、公知の技術を利用することが可能であり、上述した音響モデル、および言語モデルについても任意のデータベースを用いることが可能である。
エラーワード処理部162は、音声認識部161によって変換されたコメントのテキスト情報に基づいて、エラーワード記憶部163に記憶された所定の単語がコメントに含まれているか否かを判断する。また、エラーワード処理部162は、所定の単語が含まれていると判断されたコメントを抽出する。これにより、エラーワード処理部162は、所定の不適切な単語が含まれたコメントが配信者に伝達されないように、このようなコメントを機械的に抽出することができる。
所定の単語(すなわち、エラーワード)とは、配信者に伝達するには不適切な単語であり、これらの所定の単語は、エラーワード記憶部163に記憶される。エラーワード記憶部163に記憶される単語は、例えば、公序良俗に反する単語、および他者を罵倒または誹謗中傷等する単語等であってもよい。また、エラーワード記憶部163には、これらの単語に加えて、配信者にとって慎重に取り扱うべき単語が個別に記憶されていてもよい。エラーワード記憶部163に記憶される単語は、例えば、会話で用いるには不適切な一般的な単語をエラーワードとして設定されてもよく、配信者等によって個別に設定されてもよい。
端末管理部181は、配信情報を受け取るユーザの各々を管理する。具体的には、端末管理部181は、エラーワード処理部162によってエラーワードを含むコメントが抽出された場合、該コメントを付与したユーザの識別情報を取得し、エラーワードを含むコメントを付与したユーザを他のユーザと区別して管理する。これによれば、端末管理部181は、エラーワードを含むコメントを付与したユーザに対して、例えば、個別に機能制限等のペナルティを科すことが可能になる。
機能制限部182は、端末管理部181によって管理されるユーザが実行可能な機能を制限する。具体的には、端末管理部181は、本実施形態に係る情報処理システムにおいて、エラーワードを含むコメントを付与したユーザが実行可能な機能を制限する。例えば、機能制限部182は、エラーワードを含むコメントを付与したユーザの再生端末30Bへの配信情報の送信を停止したり、配信情報へのコメントの付加を制限したりしてもよい。
なお、音声認識部161が実行する音声認識の精度によっては、エラーワードを含まないコメントを、エラーワードを含むコメントとして抽出してしまったり、エラーワードを含むコメントをすべて抽出しきれなかったりする可能性があり得る。
そこで、例えば、エラーワード処理部162によって、コメントがエラーワードを含むと判断された場合、該コメントの音声情報を実際に第三者によって聴取させ、第三者によってもエラーワードを含むと判断された場合のみに、ユーザの識別情報を端末管理部181で管理するようにしてもよい。
また、エラーワードを含むコメントを付与したと判断されたユーザからの不服申し立てを受け付け、実際のコメントの音声情報を第三者に聴取させ、誤抽出と判断された場合は、該ユーザを端末管理部181の管理から外すようにしてもよい。さらに、エラーワードを含むコメントが抽出漏れによって配信者に伝達された場合、エラーワードを含むコメントを配信者から通報してもらい、エラーワードを含むコメントを付与したユーザを端末管理部181によって管理するようにしてもよい。
上記では、配信情報に対して付与されるコメントについて、エラーワードが含まれるコメントを抽出する構成を説明したが、これらの構成は配信情報に対して適用することも可能である。すなわち、配信者からの配信情報についても音声認識を行った後、エラーワード処理部162によってエラーワードが含まれているか否かを判断してもよい。このような場合、エラーワードを含む配信情報がユーザに送信されることを防止することができる。
また、本実施形態に係る情報処理システムでは、配信者からの配信情報は、配信情報記憶部130に記憶されるため、ユーザは、一度聴取した配信情報を再度、聴取することも可能である。図7〜図9を参照して、このような場合の情報処理システムの動作について説明する。図7は、一度聴取した配信情報を再度聴取する場合の再生端末30B側の動作を説明するフローチャート図である。また、図8は、ユーザに再生端末30Bの装着を促す表示の一例を示す説明図であり、図9は、一度聴取された配信情報の一覧表示の一例を示す説明図である。
図7に示すように、まず、ユーザから情報処理装置20Bに対して、一度聴取した配信情報を確認する旨が入力される(S131)。このとき、情報処理装置20Bは、再生端末30Bがユーザに装着されているか否かを確認し(S132)、再生端末30Bがユーザに装着されていない場合(S132/No)、ユーザに再生端末30Bを装着することを促す表示を生成する(S135)。
ユーザに再生端末30Bを装着することを促す表示は、例えば、図8に示すような表示であってもよい。具体的には、ユーザに再生端末30Bを装着することを促す表示は、再生端末30Bの形態と、再生端末30Bを装着する身体の部位とを示す画像およびテキストであってもよい。例えば、再生端末30Bがイヤホン型端末である場合、ユーザに再生端末30Bを装着することを促す表示は、イヤホン型の再生端末30Bを耳に装着することを指示する表示であってもよい。
情報処理装置20Bは、再生端末30Bがユーザに装着されていることが確認されるまで図8で示す表示にて待機し、再生端末30Bがユーザに装着された場合(S132/Yes)、聴取された配信情報を一覧にて示す表示を生成する(S133)。
聴取された配信情報を一覧にて示す表示は、例えば、図9に示すような表示であってもよい。具体的には、聴取された配信情報を一覧にて示す表示は、再生端末30Bに配信された配信情報の各々が、配信者から送信された日時、ならびに送信した配信者の名前およびアイコンなどを見出しとして一覧で示す表示であってもよい。また、現在再生されている配信情報は、図9に示すように、背景色の変更又はハイライト表示等を用いることで強調されて表示されてもよい。さらに、一覧表示の下部には、現在再生されている配信情報の見出しと、配信情報の再生中の箇所を示す表示(いわゆる、シークバー)が設けられてもよい。また、配信情報の一覧表示では、配信情報の各々について、該配信情報に評価またはコメントを付与したか否かを示すチェックボックス等の表示が配置されていてもよい。このような表示を視認することによって、ユーザは、聴取したい配信情報を選択することができる。
配信情報の一覧表示から、再生する配信情報が選択された場合、情報処理装置20Bは、再生端末30Bに選択された配信情報を再生させる(S134)。ここで、再生した配信情報にユーザからの評価またはコメントが付与されていない場合、図4を参照して説明した評価の付与処理(S110)、および図5を参照して説明したコメントの付与処理(S120)が行われてもよい。これにより、ユーザは、再生された配信情報への評価またはコメントを付与することが可能になる。
選択された配信情報の再生(S134)が終了した場合、情報処理装置20Bは、配信情報の一覧表示(S133)を再度示す。これにより、ユーザは、続いて再生する配信情報を選択することができる。なお、上記では、図7〜図9を参照して、一度聴取した配信情報を再度、聴取する場合の再生端末30Bの動作を説明したが、上記の再生端末30Bの動作は、かかる場合に限定されない。上記の再生端末30Bの動作は、初めて聴取する配信情報を再生する場合に適用されてもよい。
(配信端末側の動作)
続いて、図10〜図12を参照して、本実施形態に係る情報処理システムの配信端末30A側の動作について説明する。図10は、本実施形態に係る情報処理システムの配信端末30A側の動作を説明するフローチャート図である。
図10に示すように、本実施形態に係る情報処理システムにおいて、配信者が配信情報を送信する場合、まず、配信端末30Aが配信者に装着されていることが検出される(S201)。次に、配信者からの操作等によって、マイク部315から音声情報である配信情報の収音が開始される(S202)。配信情報の収音の終了のタイミングは、例えば、収音の開始から所定の時間後であってもよく、配信者が配信端末30Aに収音終了の操作を行ったタイミングであってもよい。
配信情報の収音が終了した後、収音された配信情報の音声を聞くか否かを確認するガイド音声が再生される(S203)。ここで、配信端末30Aにて再生されるガイド音声は、あらかじめ配信端末30A等に記憶された音声情報である。配信端末30Aで再生されるガイド音声は、配信者が発話した音声であってもよいが、第三者が発話した音声、または合成音声であってもよい。また、収音された配信情報の音声を聞くか否かを確認する上記のガイド音声に限らず、配信端末30Aの状態または操作などを誘導するために再生される音声(いわゆる、ガイド音声)についても同様に、配信者が発話した音声であってもよく、第三者が発話した音声、または合成音声であってもよい。
その後、配信者が配信情報の音声情報を聞く入力操作が行われたか否かが判断される(S204)。例えば、配信端末30Aがイヤホン型端末である場合、配信情報の音声情報を聞くことは、ユーザのうなずく動作によって入力されてもよく、配信情報の音声情報を聞かないことは、首を横に振る動作によって入力されてもよい。
配信情報の音声情報を聞く入力操作が行われた場合(S204/Yes)、収音した配信情報の音声が再生される(S205)。その後、収音された配信情報の音声情報を再度、聞くことを望むか否かを配信者に確認するガイド音声が再生される(S203)。
一方、配信情報を聞かない入力操作が行われた場合(S204/No)、収音した配信情報を送信するか否かを確認するガイド音声が再生される(S206)。その後、配信者から配信情報を送信することを望む入力操作が行われたか否かが判断される(S207)。例えば、上述したように、再生端末30Bがイヤホン型端末である場合、配信情報を送信することは、ユーザのうなずく動作によって入力されてもよく、配信情報を送信しないことは、首を横に振る動作によって入力されてもよい。
配信情報を送信する入力操作が行われた場合(S207/Yes)、配信者が発話した配信情報が情報処理サーバ10に送信された(S208)後、配信端末30Aは、動作を終了する。配信情報を送信しない入力操作が行われた場合、配信情報は情報処理サーバ10に送信されず(S207/No)、配信端末30Aは、動作を終了する。
なお、配信者と、配信端末30Aとは、あらかじめ関連付けられている。これにより、情報処理サーバ10では、受信した配信情報がどの配信者から送信された配信情報であるかを判断することが可能である。
また、配信者の音声は、配信端末30Aではなく、他の装置を用いて収音されてもよい。例えば、情報処理装置20Aにマイク部が備えられている場合、情報処理装置20Aは、配信者の音声を収音し、配信情報を生成することも可能である。
以上のような動作によって、本実施形態に係る情報処理システムでは、配信者が発話した音声を収音して配信情報を生成することが可能である。
また、本実施形態に係る情報処理システムでは、ユーザからのコメントなどの応答が配信情報と関連付けられて配信情報記憶部130に記憶されるため、配信者は、配信情報に対するユーザからの応答を確認することも可能である。図11を参照して、このような場合の情報処理システムの動作について説明する。図11は、配信情報に対するユーザからのコメントを確認する場合の配信端末30A側の動作を説明するフローチャート図である。
図11に示すように、例えば、配信端末30Aが配信者に装着されていることが検出される(S211)。次に、配信端末30Aを装着した配信者から送信された直近の配信情報にユーザからのコメントが付与されているか否かが確認される(S212)。直近の配信情報にユーザからのコメントが付与されていない場合(S212/No)、配信端末30Aは、動作を終了し、待機状態となる。なお、配信情報にユーザからのコメントが付与されているか否かは、例えば、例えば、配信端末30Aの制御部312又は情報処理装置20Aの制御部213から、ネットワーク40を介して、情報処理サーバ10の応答伝達部170に配信情報へのコメントの有無を問い合わせることによって確認することが可能である。
一方、直近の配信情報にユーザからのコメントが付与されている場合(S212/Yes)、配信情報に付与されたコメントを再生するか否かを確認するガイド音声が再生される(S213)。その後、配信者がコメントを再生することを望む入力操作が行われたか否かが確認される(S214)。例えば、上述したように、配信端末30Aがイヤホン型端末である場合、コメントを再生することは、ユーザのうなずく動作によって入力されてもよく、コメントを再生しないことは、首を横に振る動作によって入力されてもよい。
コメントを再生しないことを望む入力操作が行われた場合(S214/No)、配信端末30Aは、動作を終了し、待機状態となる。一方、コメントを再生することを望む入力操作が行われた場合(S214/Yes)、配信端末30Aは、直近の配信情報に付与されたユーザからのコメントを含む音声情報を再生する(S215)。
その後、配信情報に複数のコメントが付与されているか否かが確認される(S216)。配信情報に複数のコメントが付与されていない場合(S216/No)、配信端末30Aは、動作を終了し、待機状態となる。一方、配信情報に複数のコメントが付与されている場合、S213に戻って、次のコメントを再生するか否かを確認するガイド音声が再生され、上述したように、配信情報に付与されたコメントを含む音声情報が再生される。配信端末30Aは、該配信情報に付与された全てのコメントの再生が終了するまで、上記のコメントの再生動作を繰り返す。
なお、配信情報に付与された複数のコメントの再生は、コメントが付与された日時がより古いものから順に行ってもよく、コメントが付与された日時がより新しいものから順に行ってもよい。
また、情報処理装置20Aは、配信情報に対して付与されたユーザからのコメント、および評価を表示によって配信者に確認させることも可能である。図12を参照して、このような場合に、情報処理装置20Aにて示される表示について説明する。図12は、配信情報と、該配信情報に対するコメントとを関連付けた表示の一例を示す説明図である。
例えば、図12に示す表示では、配信端末30Aから送信した配信情報の各々が、送信した日時、ならびに送信した配信者の名前およびアイコンなどを見出しとして一覧で示されている。また、配信情報の各々には、付与された評価の数、および付与されたコメントの数を示す画像が関連付けられて表示される。例えば、付与された評価を示す画像は、親指を立てた画像であってもよく、付与されたコメントを示す画像は、吹き出しの画像であってもよい。付与された評価およびメントの数は、例えば、これらの画像の隣に数字等にて表示されてもよい。
なお、配信者が複数人である場合、各配信者は、自身の配信情報と、自身の配信情報に付与されたコメントのみを確認できるようになっていてもよく、他の配信者の配信情報をさらに確認できるようになっていてもよく、他の配信者の配信情報と、該配信情報に付与されたコメントをさらに確認できるようになっていてもよい。
また、配信情報の各々が選択された場合、選択された配信情報の詳細を示す表示に遷移する。配信情報の詳細を示す表示では、該配信情報に対して付与されたコメントが一覧になって示される。例えば、付与されたコメントの各々は、コメントが付与された日時、ならびに付与したユーザの識別情報およびアイコンなどを見出しとして一覧表示されてもよい。配信者は、表示されたコメントの各々を選択することで、選択したコメントの音声情報を聴取することができる。
なお、音声認識技術を施すことでコメントの音声情報をテキスト情報に変換している場合、配信情報の詳細を示す表示では、変換されたテキスト情報をコメントの各々の見出しとして用いてもよい。
[1.4.変形例]
以上にて、本実施形態に係る情報処理システムについて説明したが、本実施形態に係る情報処理システムは、他にも以下のように種々の変形例を取ることが可能である。
(他のアプリケーションとの連動)
本実施形態に係る情報処理システムは、外部の情報処理サーバ、または外部のアプリケーションプログラム(例えば、ソーシャルネットワーキングサービスなど)と連動して動作することも可能である。
例えば、音声情報である配信情報に音声認識技術を適用することで、配信情報をテキスト情報に変換し、本実施形態に係る情報処理システムでの配信情報の配信と同時に、変換したテキスト情報を外部のソーシャルネットワーキングサービス(SNS)などに配信してもよい。また、本実施形態に係る情報処理システムでの配信情報の送信と同時に、配信情報を送信した旨を外部のSNSなどで告知してもよい。また、外部のSNSなどに投稿された配信者のテキストメッセージを配信者の読み上げ音声に変換し、本実施形態に係る情報処理システムにて配信情報として送信してもよい。なお、外部のSNSとしては、例えば、短文投稿サービス等を例示することができる。
(位置情報との連動)
また、本実施形態に係る情報処理システムは、情報処理装置20Bまたは再生端末30Bが取得した位置情報と連動させて動作することも可能である。
なお、位置情報は、例えば、GNSS(Global Navigation Satellite System)センサなどを用いることで取得することが可能である。また、位置情報は、移動体通信網の各基地局からの信号強度などを用いて算出することも可能であり、Wi−Fi(登録商標)の各アクセスポイントからの信号強度などを用いて算出することも可能である。
これによれば、例えば、情報処理装置20Bまたは再生端末30Bが所定の場所に入った場合に、所定の配信情報が再生されるように情報処理システムを制御することが可能である。
例えば、配信者がアイドル等である場合、所定の場所とは、直近もしくは過去のコンサート会場、直近もしくは過去のイベント会場、または配信者に関連する場所(例えば、出身地、または思い出の場所など)等であってもよい。このとき再生される配信情報は、例えば、配信者による所定の場所の解説、周辺の案内、または思い出の説明などであってもよい。
また、情報処理装置20B、または再生端末30Bが複数の所定の場所を通過した場合に、所定の配信情報が再生されるように情報処理システムを制御することも可能である。例えば、複数の所定の場所を通過した場合に、特典または褒賞として、所定の配信情報が再生端末30Bにて再生されるようになってもよい。
また、情報処理システムは、位置情報に加えて、情報処理装置20Bまたは再生端末30Bが取得したユーザの行動ログ等と連動させて動作することも可能である。このような場合、例えば、ユーザが所定の場所で、所定の行動を行った場合、所定の配信情報が再生されるように情報処理システムを制御することが可能である。
さらに、本実施形態に係る情報処理システムは、ユーザからのコメントまたは評価などの応答を、該ユーザの位置情報と対応させて配信者に示すことも可能である。例えば、本実施形態に係る情報処理システムは、図13に示すように、配信情報に対してコメントまたは評価を付与したユーザの位置を地図500の上にドット501等で配置した表示を配信者に示すことも可能である。これによれば、情報処理システムは、コメントまたは評価を付与したユーザの具体的な位置を示すことで、配信者とユーザとの親近感をより高めることができる。
(フィルタリング機能としての使用)
さらに、本実施形態に係る情報処理システムは、離れた場所にいる配信者と、ユーザとの間で配信情報を配信するだけでなく、コンサート会場等の同じ場所にいる配信者と、ユーザとの間で配信情報を配信することも可能である。
例えば、配信者が複数人であり、かつアイドル等である場合、配信者のコンサート会場において、特定の配信者の音声のみが配信情報として再生端末30Bにて再生されるようにすることも可能である。すなわち、このような場合、本実施形態に係る情報処理システムは、複数人の配信者のうちの特定の配信者の音声を抽出して、配信情報としてユーザに送信するフィルタリング機能を実行することができる。
(配信情報の変形例)
上記では、本実施形態に係る情報処理システムにて配信される配信情報は、音声情報などの配信者の身体性に依存する情報であるとしたが、本開示に係る技術は、上記例示に限定されない。例えば、本実施形態に係る情報処理システムにて配信される配信情報は、音楽、画像、動画又は文章などの各種コンテンツを含むコンテンツ情報であってもよい。
<2.第2の実施形態>
[2.1.情報処理システムの概要]
次に、図14を参照して、本開示の第2の実施形態に係る情報処理システムの概要について説明する。図14は、本開示の第2の実施形態に係る情報処理システムの概要を説明する説明図である。
本実施形態に係る情報処理システムは、第1の実施形態と同様に、配信者から配信情報を受信し、ユーザに該配信情報を送信する情報配信システムである。なお、配信者とは、例えば、アイドル、著名人、またはオピニオンリーダーなどであり、ユーザとは、例えば、配信者のファン、またはフォロワーなどである。
本実施形態において、配信情報は、例えば、配信者の身体性に依存する配信情報であってもよく、配信者の触覚または心拍を伝達する振動情報であってもよい。配信者の触覚は、配信者が実際に触れた物体に依存する情報であり、配信者の心拍は、配信者の感情等に依存する情報であるため、いずれも具体性が強い情報である。したがって、本実施形態に係る情報処理システムでは、これらの情報を配信情報として配信することで、ユーザに対して、配信者と空間を共有しているような感覚を誘起することが可能である。
図14に示すように、本実施形態に係る情報処理システムは、配信者が所持する配信端末32A、および情報処理装置20Aと、配信情報を受け取るユーザが所持する再生端末32B、および情報処理装置20Bと、ネットワーク40を介して情報処理装置20A、20Bと接続する情報処理サーバ12とを備える。
なお、情報処理装置20A、情報処理装置20B、およびネットワーク40については、第1の実施形態で説明した構成と実質的に同様であるため、ここでの説明は省略する。
配信端末32A、および再生端末32Bは、例えば、配信者またはユーザの身体のいずれかの部位に装着される情報処理装置である。配信端末32Aは、少なくとも心拍数の測定機能、または触覚検出機能を有し、再生端末32Bは、少なくとも振動再生機能を有する。
ここで、図15Aおよび図15Bを参照して、配信端末32A、および再生端末32Bについてより具体的に説明する。図15Aは、配信端末32Aの構成の具体例を示す模式図であり、図15Bは、再生端末32Bの構成の具体例を示す模式図である。
図15Aに示すように、配信端末32Aは、配信者の腕等に装着される腕時計型端末であり、バンド部340と、脈拍センサ343と、触覚センサ341とを備える。
バンド部340は、配信者の腕等に巻き付けられることで、配信端末32Aを配信者の身体に固定させる。バンド部340は、配信者の腕等に巻き付けられることが可能であれば、いかなる材質で形成されてもよく、皮革、布地、樹脂、金属、またはこれらの組み合わせのいずれで形成されてもよい。
触覚センサ341は、配信者の触覚を検出するセンサであり、配信者の腕等が装着される面と対向する面(すなわち、バンド部340の外側)のバンド部340に設けられる。例えば、触覚センサ341は、マイクロホン等で構成されてもよい。マイクロホン等で構成された触覚センサ341は、配信者が物体等に触れた触感を空気の振動として取得することができる。
脈拍センサ343は、配信者の心拍数を測定するセンサであり、配信者の腕等が装着される面(すなわち、バンド部340の内側)のバンド部340に設けられる。例えば、脈拍センサ343は、配信者の腕等に赤外光を照射し、血流の変化を赤外線の吸収特性の変化として測定することで心拍数を計測してもよく、血管の脈動を圧力センサ等により検出することで心拍数を計測してもよい。
図15Bに示すように、再生端末32Bは、ユーザの腕等に装着される腕時計型端末であり、バンド部340と、振動再生部345とを備える。
バンド部340は、配信端末32Aと同様に、ユーザの腕等に巻き付けられることで、再生端末32Bをユーザの身体に固定させる。バンド部340は、ユーザの腕等に巻き付けられることが可能であれば、いかなる材質で形成されてもよく、皮革、布地、樹脂、金属、またはこれらの組み合わせのいずれで形成されてもよい。
振動再生部345は、配信された配信情報を振動として再生するアクチュエータであり、バンド部340のユーザの腕等が装着される面(すなわち、バンド部340の内側)に設けられる。振動再生部345は、例えば、偏心モータ、ボイスコイルモータ、またはピエゾアクチュエータなどで構成されてもよい。
本実施形態に係る情報処理システムでは、配信者の触覚または心拍を伝達する振動情報が配信端末32Aによって配信情報として取得され、ネットワーク40を介して、再生端末32Bに配信される。再生端末32Bにて配信情報が再生されることで、ユーザは、配信者が触れた物体の触覚、または配信者の心拍を擬似的に体感することが可能である。
なお、配信端末32A、および再生端末32Bの形態は、上述した腕時計型に限定されず、いかなる形態であってもよい。例えば、配信端末32A、および再生端末32Bの形態は、メガネ型、指輪型、ヘッドセット型、またはイヤホン型などであってもよい。ただし、振動情報を効率的に配信者から取得し、取得した振動情報を効率的にユーザに伝達するには、配信端末32A、および再生端末32Bの形態は、上述した腕時計型であってもよい。
配信端末32A、および再生端末32Bは、情報処理装置20A、20Bを介して、情報処理サーバ12と配信情報を送受信する。ただし、配信端末32A、および再生端末32Bは、情報処理装置20A、20Bを介さずに、直接、情報処理サーバ12と配信情報を送受信してもよい。
情報処理サーバ12は、配信端末32Aから配信情報を受信し、ユーザの再生端末32Bの装着状態に基づいて、配信情報の再生端末32Bへの送信を制御する。
具体的には、情報処理サーバ12は、配信情報を受信した時にユーザが再生端末32Bを装着している場合、再生端末32Bに配信情報を送信する。一方、配信情報を受信した時にユーザが再生端末32Bを装着していない場合、情報処理サーバ12は、再生端末32Bに配信情報を送信しない。ただし、再生端末32Bにおいて、ユーザが配信情報の受信の可否を制御する操作をしていた場合、情報処理サーバ12は、ユーザによる配信情報の受信の可否に基づいて、再生端末32Bへの配信情報の送信を制御してもよい。これによれば、ユーザが再生端末32Bを常時装着する場合、ユーザは、配信情報の受信の可否を再生端末32Bにて制御することが可能である。
本実施形態において配信情報は、配信者の触覚または心拍を伝達する振動情報である。情報処理サーバ12は、ユーザが再生端末32Bを装着している状態で配信情報が再生されるように配信情報の送信を制御することで、配信情報がユーザの身体に直接伝達されるようにすることができる。これにより、情報処理サーバ12は、配信者の感覚または感情をユーザに疑似体験させることを可能にする。
したがって、本実施形態に係る情報処理システムによれば、配信者の身体性に依存する触覚または心拍を伝達する振動情報を、より効果的にユーザに配信することが可能である。
なお、図14では、情報処理システムが、配信端末32A、情報処理装置20A、情報処理サーバ12、情報処理装置20B、および再生端末30Bからなる構成を例示して説明したが、本開示に係る技術は、かかる例示に限定されない。例えば、配信端末32Aと、情報処理装置20Aとは、一体化した1つの情報処理装置であってもよく、再生端末32Bと、情報処理装置20Bとは、一体化した1つの情報処理装置であってもよい。また、情報処理サーバ12の機能の一部または全部は、情報処理装置20A、または情報処理装置20Bのいずれかが実行してもよい。
[2.2.情報処理システムの構成]
次に、図16を参照して、本実施形態に係る情報処理システムの構成について説明する。図16は、本実施形態に係る情報処理システムの具体的な構成を説明するブロック図である。
図16に示すように、配信端末32Aは、配信情報取得部314と、制御部312と、通信部311とを備え、情報処理サーバ12は、ネットワーク接続部110と、配信情報受信部120と、配信制御部140と、配信情報送信部150とを備え、再生端末32Bは、センサ部325と、再生制御部326と、通信部321と、再生部327とを備える。
なお、情報処理装置20A、情報処理装置20B、ネットワーク40、通信部311、ネットワーク接続部110、および通信部321については、第1の実施形態で説明した構成と実質的に同様であるため、ここでの説明は省略する。
(配信端末32A)
配信情報取得部314は、例えば、触覚センサ341、または脈拍センサ343で構成され、配信端末32Aを装着した配信者の触覚または心拍数に関する情報を取得する。具体的には、配信情報取得部314は、触覚センサ341にて配信者の触覚を振動として取得し、配信者の触覚を伝達する振動情報を生成してもよい。また、配信情報取得部314は、脈拍センサ343にて配信者の心拍数を取得し、配信者の心拍を伝達する振動情報を生成してもよい。例えば、振動情報とは、配信者が物体に触れた際の振動に関する情報、または配信者の心拍数に関する情報などである。
例えば、配信情報として配信者の心拍数に関する情報を配信する場合、配信端末32Aは、配信者の心拍数に加えて、配信者の心臓が拍動するタイミングを配信情報として配信してもよい。このような場合、再生端末32Bは、配信者の心臓が拍動するタイミングと同期させて振動の再生を行うことができるため、ユーザに対して、より具体的に配信者の感情等を擬似体験させることが可能である。このような場合、配信端末32Aは、5秒毎などの所定の周期で配信情報を送信してもよい。
制御部312は、例えば、演算処理装置であるMPUと、制御プログラムおよび制御パラメータ等を記憶するメモリとから構成され、配信端末32Aの各構成を制御する。具体的には、制御部312は、配信情報取得部314が取得した振動情報を配信情報として情報処理装置20Aに送信するように各構成を制御する。
(情報処理サーバ12)
配信情報受信部120は、情報処理装置20Aを介して、配信端末32Aから送信された配信情報を受信する。配信情報とは、配信者の身体性に依存する情報であり、配信端末32Aの配信情報取得部314にて生成された振動情報である。情報処理サーバ12は、配信者から送信された配信情報をユーザに伝達することにより、配信者の体験または感情をユーザに擬似体験させることができる。
配信制御部140は、ユーザにおける再生端末32Bの装着状態に基づいて、再生端末32Bへの配信情報の送信を制御する。具体的には、配信制御部140は、ユーザが再生端末32Bを装着している時に、再生端末32Bにて配信情報が再生されるように、配信情報の送信のタイミングを制御する。したがって、配信制御部140は、ユーザが再生端末32Bを装着していない場合、再生端末32Bに配信情報を送信しない。これにより、配信制御部140は、配信情報が再生端末32Bを介して、ユーザに直接伝達されるようにすることができる。また、ユーザが再生端末32Bを装着していない場合に、再生端末32Bが振動等し、電力を消耗してしまうことを防止することができる。
配信情報送信部150は、配信制御部140の制御に基づいて、再生端末32Bに配信情報を送信する。具体的には、ユーザが再生端末32Bを装着している場合、配信情報送信部150は、配信情報受信部120にて受信した配信情報を再生端末32Bに即時的に送信する。これにより、配信情報送信部150は、配信者の触覚または心拍を配信情報としてリアルタイムでユーザに体感させることができるため、配信者とユーザとの間で、体験又は空間を共有している特別感を強めることができる。また、配信情報送信部150は、ユーザが再生端末32Bを装着していない時に配信者から配信された配信情報については、該配信情報を再生端末32Bに送信しない。
(再生端末32B)
センサ部325は、再生端末32Bに搭載された各種センサである。センサ部325は、再生端末32Bがユーザに装着されたか否かを判断する際に用いられる情報を取得するセンサを少なくとも含む。例えば、センサ部325は、再生端末32Bがユーザに装着されたか否かを判断する近接センサ、または再生端末32Bと物体との接触を検出するタッチセンサなどを含み、これらのセンサが取得した情報に基づいて再生端末32Bがユーザに装着されたか否かを判断してもよい。
また、センサ部325は、ユーザの音声を収音するマイクロホンを含んでもよく、ユーザのジェスチャを検出する加速度センサ、ジャイロセンサまたは振動センサを含んでもよい。センサ部325がこのようなセンサを含む場合、ユーザは、タッチパネル、キーボード、ボタン、マイクロホン、スイッチおよびレバーなどの入力装置を介さずに、直感的に再生端末32Bへの入力を行うことが可能である。
再生部327は、例えば、振動を発生させるアクチュエータ、および信号処理回路にて構成され、配信情報を再生する。具体的には、再生部327は、情報処理サーバ12から送信された配信情報を振動として再生する。
なお、再生部327は、LED(Light Emitting Diode)等の光源を備えていてもよい。再生部327は、振動に同期させて光源を明滅させてもよい。これによれば、再生部327は、振動していることをユーザにわかりやすく明示することができる。
再生制御部326は、例えば、演算処理装置であるMPUと、制御プログラムおよび制御パラメータ等を記憶するメモリとから構成され、情報処理装置20Bから受信した配信情報の再生を制御する。具体的には、再生制御部326は、配信者が物体に触れた際の振動に関する情報に基づいて、配信者の触感を伝達する振動を再生部327に再生させてもよい。また、再生制御部326は、配信者の心拍数に関する情報に基づいて、配信者の心拍と同期した振動を再生部327に再生させてもよい。なお、再生制御部326は、情報処理装置20Bに備えられ、通信等を介して再生部327の振動を制御してもよい。
例えば、再生制御部326が配信者の心拍数に関する情報に基づいて、配信者の心拍と同期した振動を再生部327に再生させる場合、再生制御部326は、心臓の拍動により近い振動を再生部327に再生させてもよい。このような場合、再生制御部326は、配信者の心拍をより違和感がなく、現実味を有する振動にてユーザに伝達することができる。
ここで、心臓の拍動の様態について、図17および図18を参照して、より具体的に説明する。図17は、心臓の拍動の波形を模式的に示すグラフ図であり、図18は、図17で示したΔtおよびaと、心拍数との関係を模式的に示すグラフ図である。
図17に示すように、心臓は、1回の拍動で収縮し、その後拡張する。したがって、心臓の1回の拍動の波形は、主に2つの波形から構成される。具体的には、心臓の1回の拍動の波形は、鋭いピークを有し、心臓の収縮に対応する波形Rと、幅広のピークを有し、心臓の拡張に対応する波形Tとから構成される。なお、波形Rの間隔nが心拍の間隔に対応し、1分間を心拍の間隔で除算した値が1分間の心拍数に対応する。
ここで、心臓の拍動は、心拍数の増加に伴い、より大きく、より早くなる。そのため、図17において、波形Rと波形Tとのピークの時間間隔をΔt、波形Rと波形Tとのピークの高さの差をaとすると、心拍数と、Δtおよびaとの間には、図18で示すグラフ図の関係があると考えられる。具体的には、図18に示すように、心拍数が増加した場合、心臓の拍動が大きくなるため、aがより大きくなり、1回の拍動にかかる時間が短くなるため、Δtがより小さくなる。
したがって、再生制御部326は、図18に示した心拍数と、心臓の拍動におけるΔtおよびaとの関係に基づいて、再生部327を振動させることで、配信者の心拍をより違和感がなく、現実味を有する様態にてユーザに伝達することができる。
また、例えば、配信情報に振動のタイミングに関する情報が含まれる場合、再生制御部326は、該振動のタイミングに基づいて、再生部327による振動の再生を制御してもよい。ただし、再生制御部326は、配信情報に含まれる振動のタイミングで再生部327を振動させると、心臓の拍動として不自然となる場合、再生部327の振動がより自然になるように、振動のタイミングを調整してもよい。
例えば、配信者の心拍数の変化に伴って、再生制御部326が再生部327の振動の周期を変更する場合、周期を変更した後の振動と、周期を変更する直前の振動との間隔が極めて短くなってしまうことがある。しかし、心臓の拍動の間隔が1箇所だけ短いことは不自然であり、このような場合、ユーザは違和感を持つことになる。そこで、再生制御部326は、配信情報に基づいて再生部327の振動の周期を変更する場合、振動の周期の変化が緩やかになるように、再生部327の振動のタイミングを調整してもよい。
図19を参照して、上述した再生制御部326の判断の詳細について説明する。図19は、再生部327で再生する心拍数の振動を変更する場合の判断を説明するフローチャート図である。
ここで、配信情報は、配信者の心拍数に基づいて、再生部327による振動の周期を、心拍数x(拍動の間隔は、m)から心拍数y(拍動の間隔は、n)に変更するものであるとする。また、tは、配信情報に含まれる振動のタイミングを指示する時刻である。
図19に示すように、まず、再生制御部326は、変更前の心拍数xと、変更後の心拍数yとの大小関係を判断する(S10)。
例えば、変更前の心拍数xのほうが、変更後の心拍数yよりも大きい(すなわち、変更後の心拍のほうが遅い)場合(x>y)、再生制御部326は、指示された振動タイミングtと直前の拍動時刻との差Δと、変更前の心拍数xの拍動の間隔mとの関係を判断する(S11)。
振動タイミングtと直前の拍動時刻との差Δが、変更前の拍動の間隔m以上となる(すなわち、心拍数の変更によって、拍動の間隔が縮まらない)場合(Δ≧m)、再生制御部326は、指示された振動タイミングtで再生部327を振動させる(S21)。一方、振動タイミングtと直前の拍動時刻との差Δが、変更前の拍動の間隔m未満となる(すなわち、心拍数の変更によって、拍動の間隔が縮まる)場合(Δ<m)、再生制御部326は、指示された振動タイミングtから遅れて再生部327を振動させる。その後、再生制御部326は、所定の回数(3回程度)を経て、徐々に心拍数をxからyに変更する(S22)。
また、S10において、変更前の心拍数xと変更後の心拍数yとが同じである(すなわち、変更前後で心拍が変わらない)場合(x=y)、再生制御部326は、指示された振動タイミングtと直前の拍動時刻との差Δと、変更後の心拍数yの拍動の間隔nとの関係を判断する(S12)。
振動タイミングtと直前の拍動時刻との差Δが、変更後の拍動の間隔nと同じではない(すなわち、心拍の同期が崩れている)場合(Δ≠m)、再生制御部326は、指示された振動タイミングtからずらして再生部327を振動させる。その後、再生制御部326は、所定の回数(3回程度)を経て、徐々に心拍数をyに戻す(S23)。一方、振動タイミングtと直前の拍動時刻との差Δが、変更後の拍動の間隔nと同じである(すなわち、心拍数の同期が崩れていない)場合(Δ=m)、再生制御部326は、指示された振動タイミングtで再生部327を振動させる。(S24)。
さらに、S10において、変更前の心拍数xのほうが、変更後の心拍数yよりも小さい(すなわち、変更後の心拍のほうが速い)場合(x<y)、再生制御部326は、指示された振動タイミングtと直前の拍動時刻との差Δと、変更後の心拍数yの拍動の間隔nとの関係を判断する(S13)。
振動タイミングtと直前の拍動時刻との差Δが、変更後の拍動の間隔n以上となる(すなわち、心拍数の変更によって、拍動の間隔が縮まらない)場合(Δ≧n)、再生制御部326は、指示された振動タイミングtで再生部327を振動させる(S25)。一方、振動タイミングtと直前の拍動時刻との差Δが、変更後の拍動の間隔n未満となる(すなわち、心拍数の変更によって、拍動の間隔が縮まる)場合(Δ<n)、再生制御部326は、指示された振動タイミングtから遅れて再生部327を振動させる。その後、再生制御部326は、所定の回数(3回程度)を経て、徐々に心拍数をxからyに変更する(S26)。
再生制御部326は、このような判断によって、再生部327の振動を制御することで、配信者の心拍をより違和感がない自然な様態にてユーザに伝達することができる。
ここで、本実施形態に係る情報処理システムでは、振動情報に加えて、配信端末32Aで収音された配信者の音声情報が配信情報に含まれていてもよい。
このような場合、再生部327は、さらにスピーカーまたはヘッドホンなどの音声出力装置を含んで構成されてもよい。このような場合、再生端末32Bは、振動情報に加えて、音声情報を再生することができる。
また、再生部327は、振動および音声の両方を再生可能なアクチュエータで構成されてもよい。かかる点について、図20を参照して説明する。図20は、音声の周波数帯域と、振動の周波数帯域とを模式的に示すグラフ図である。
音声は、空気の振動であるため、振動を発生させるアクチュエータは、空気を振動させることで音声を再生させることも可能である。ただし、図20に示すように、音声の周波数帯域は、約200Hz〜40000Hzである一方、振動の周波数帯域は、約0.1Hz〜500Hzであり、大きく異なる。そのため、再生部327が単一のアクチュエータで振動および音声の両方を再生する場合、再生部327は、再生可能な周波数帯域が広く、音声および振動の周波数帯域のいずれも再生可能な振動アクチュエータで構成されることになる。
ここで、配信情報に含まれる音声情報は、スピーカー等で再生した場合、再生した音声を周囲の人などに聴取される可能性がある。一方、配信情報に含まれる振動情報は、振動アクチュエータで再生した場合、再生された振動は、再生端末32Bを装着したユーザにしか伝達されない。そのため、例えば、音声情報を再生端末32Bで再生できない環境では、再生制御部326は、配信情報に含まれる振動情報のみを再生し、音声情報を再生しないように再生部327を制御してもよい。
具体的には、再生端末32Bが消音状態(いわゆる、マナーモード、またはサイレントモード)に設定された場合、再生制御部326は、配信情報に含まれる振動情報のみを再生し、音声情報を再生しないように再生部327を制御してもよい。このような場合、ユーザは、周囲の他者に知られることなく、配信情報を知覚することができる。
また、再生部327が単一のアクチュエータで振動および音声の両方を再生する場合、再生制御部326は、所定の閾値(例えば、300Hzなど)以上の周波数が再生されないように再生部327を制御してもよい。音声の周波数は、おおよそ300Hz以上であり、振動の周波数は300Hz未満であるため、このような閾値で再生される配信情報の周波数帯域を限定することで、再生部327は、音声情報を除いた振動情報のみを再生することができる。
このような制御により、例えば、ランニング中に配信者が配信情報を送信した場合、再生端末32Bでは、「今、ランニングしています」などの配信者の発言は再生されず、配信者の心拍、およびランニングによる振動のみが再生されることになる。
また、再生制御部326は、特定のジェスチャ動作に基づいて、音声情報の再生、および再生音量の大きさ等を制御してもよい。かかる点について、図21を参照して説明する。図21は、ユーザによる特定のジェスチャ動作の一例を示す模式図である。
具体的には、図21に示すように、再生制御部326は、ユーザ50が再生端末32Bを自身の耳に近づけるジェスチャ動作を行った場合、通常よりも小さな音量で、音声情報を再生してもよい。このような場合、ユーザは、周囲の他者に知られることなく、配信情報に含まれる音声情報および振動情報のいずれも知覚することができる。
例えば、消音状態に設定されている再生端末32Bでは、再生制御部326は、ユーザ50が再生端末32Bを自身の耳に近づけるジェスチャ動作を行った場合にのみ、通常よりも小さな音量で音声情報を再生してもよい。また、再生制御部326は、ユーザ50が再生端末32Bを自身の耳に近づけるジェスチャ動作を行った場合に通常よりも小さな音量で音声情報を再生し、その他の場合では通常の音量で音声情報を再生してもよい。なお、再生制御部326は、図21で示した再生端末32Bの形態、およびジェスチャ動作に関わらず、再生端末32Bがユーザの耳に近づいたことを検出した場合に、上述した制御を行ってもよい。
なお、ユーザによるジェスチャ動作は、再生端末32Bが備える近接センサ、加速度センサ、またはジャイロセンサなどのセンサで検出することが可能である。また、これらの再生制御される音声情報に対して、振動情報では、上記のような再生制御は行われない。例えば、振動情報は、消音状態等の再生端末32Bの設定、およびジェスチャ動作などに関わらず、同じ強度で再生されてもよい。
[2.3.情報処理システムの動作]
次に、図22および図23を参照して、本実施形態に係る情報処理システムの動作について具体例を示しながら説明する。以下で説明する本実施形態に係る情報処理システムの動作例は、例えば、アイドル等の配信者による実演(例えば、コンサートなど)と連動して、配信者の心拍を再生端末32Bに配信する動作例である。
(第1の動作例)
まず、図22を参照して、本実施形態に係る情報処理システムの第1の動作例について説明する。図22は、本実施形態に係る情報処理システムの第1の動作例を示すシーケンス図である。なお、第1の動作例は、実演の音声情報が再生端末32Bに配信されない場合の動作例である。
図22に示すように、まず、配信端末32Aにて楽曲の開始が検出された(S301)場合、配信端末32Aは、情報処理サーバ12に楽曲の開始を通知する(S302)。ここで、楽曲の開始は、配信端末32Aまたは情報処理装置20Aにて自動的に検出されてもよく、配信者等の入力によって検出されてもよい。次に、情報処理サーバ12は、情報処理装置20Bに楽曲の開始を通知し(S303)、情報処理装置20Bは、開始を通知された楽曲の再生を開始する(S304)。なお、情報処理装置20Bが再生する楽曲の音声情報は、情報処理装置20Bに記憶されていてもよく、情報処理サーバ12、または外部のサーバ等に記憶されていてもよい。
一方、配信端末32Aは、配信者の心拍数に関する情報を取得し(S401)、取得した心拍数に関する情報を情報処理サーバ12に送信する(S402)。次に、情報処理サーバ12は、再生する心拍数の変更を情報処理装置20Bに指示する(S403)。情報処理装置20Bは、再生端末32Bで再生する心拍数を変更し(S404)、変更した心拍数に基づいて、再生端末32Bに振動を指示する(S405)。これにより、再生端末32Bは、情報処理装置20Bからの振動指示に基づいて振動する(S406)。したがって、情報処理システムは、上記のS401〜S406の動作を所定の間隔(例えば、5秒毎など)で繰り返すことで、配信者の心拍をユーザに伝達することができる。
また、配信端末32Aにて楽曲の終了が検出された(S305)場合、配信端末32Aは、情報処理サーバ12に楽曲の終了を通知する(S306)。なお、楽曲の終了は、配信端末32Aまたは情報処理装置20Aにて自動的に検出されてもよく、配信者等の入力によって検出されてもよい。次に、情報処理サーバ12は、情報処理装置20Bに楽曲の終了を通知し(S307)、情報処理装置20Bは、通知された楽曲の再生を終了する(S308)。このとき、楽曲の途中で再生を終了する場合、情報処理装置20Bは、音量をフェードアウトさせることで、楽曲の再生を終了してもよい。
ここで、配信端末32Aにて次の楽曲の開始が検出された場合、情報処理システムは、S301に戻って上述したシーケンスを繰り返すことで、配信者による実演と連動して、配信者の心拍を再生端末32Bに配信することができる。本実施形態に係る情報処理システムによれば、会場にいないユーザに、配信者による実演を疑似体験させることができる。
(第2の動作例)
次に、図23を参照して、本実施形態に係る情報処理システムの第2の動作例について説明する。図23は、本実施形態に係る情報処理システムの第2の動作例を示すシーケンス図である。なお、第2の動作例は、実演の音声情報が再生端末32Bに配信される場合の動作例である。
図23に示すように、まず、情報処理サーバ12から配信者の実演であるライブ音声の配信が開始され(S311)、情報処理装置20Bは、配信されたライブ音声の再生を開始する(S312)。ライブ音声は、配信端末32Aにて収音された音声であってもよく、実演が行われた会場に設置されたマイクロホン等にて収音された音声であってもよい。
一方、配信端末32Aは、配信者の心拍数に関する情報を取得し(S401)、取得した心拍数に関する情報を情報処理サーバ12に送信する(S402)。次に、情報処理サーバ12は、再生する心拍数の変更を情報処理装置20Bに指示する(S403)。情報処理装置20Bは、再生端末32Bで再生する心拍数を変更し(S404)、変更した心拍数に基づいて、再生端末32Bに振動を指示する(S405)。これにより、再生端末32Bは、情報処理装置20Bからの振動指示に基づいて振動する(S406)。したがって、情報処理システムは、上記のS401〜S406の動作を所定の間隔(例えば、5秒毎など)で繰り返すことで、配信者の心拍をユーザに伝達することができる。
また、情報処理サーバ12からのライブ音声の配信が終了した(S314)場合、情報処理装置20Bは、ライブ音声の再生を終了する(S315)。ここで、情報処理装置20Bは、ライブ音声を再生している際に、受信した配信者の心拍数に基づいた制御を行ってもよい(S313)。例えば、情報処理装置20Bは、配信者の心拍数が大きくなるほど、再生される楽曲の音量が大きくなるような制御を行ってもよい。
なお、上記の第1の動作例、および第2の動作例のいずれでも、情報処理サーバ12は、配信情報に加えて、アイドル等の配信者が実演を行っている会場(例えば、コンサート会場など)の画像を所定の間隔(例えば、30秒など)で情報処理装置20B、または再生端末32Bに送信してもよい。これによれば、本実施形態に係る情報処理システムは、実演の会場にいないユーザに、配信者による実演をより深く疑似体験させることができる。
また、情報処理サーバ12は、配信者の心拍に替えて、配信者による音声を振動情報として再生端末32Bに配信してもよい。例えば、実演における配信者の歌唱の音声を再生端末32Bに配信し、再生端末32Bにて振動として再生してもよい。これによれば、本実施形態に係る情報処理システムは、実演の会場にいないユーザに、配信者による実演をより深く疑似体験させることができる。
[2.4.変形例]
以上にて、本実施形態に係る情報処理システムについて説明したが、本実施形態に係る情報処理システムは、他にも以下のように種々の変形例を取ることが可能である。
(振動情報の媒体への記憶)
本実施形態に係る情報処理システムにて配信された配信情報は、記憶媒体等に記憶させることも可能である。このような場合、振動情報は、音声情報とは別に設けたチャンネルに記憶されることになる。
例えば、5.1chフォーマットなどの音声を記憶可能なチャンネルのうちの1つを、振動情報を記憶するチャンネルに変更したフォーマットを作成し、該フォーマットを用いて、記憶媒体に配信情報を記憶させてもよい。このような構成によれば、配信情報を記憶させた記憶媒体を再生することで、配信者の実演の映像および音声と共に、配信者の心拍または触覚を体感することができる。
また、配信者が複数人である場合、配信者らの実演の音声情報および映像情報と共に、配信者の各々の心拍または触覚に関する情報が記憶媒体に記憶されてもよい。このような記憶媒体が再生される場合、例えば、映像情報と共に、映像情報に映っている配信者の心拍または触覚に関する情報が再生されてもよく、ユーザが指定した配信者の心拍または触覚に関する情報が再生されてもよい。
(他のアプリケーションとの連動)
本実施形態に係る情報処理システムは、外部の情報処理サーバ、または外部のアプリケーションプログラム(例えば、SNSなど)と連動して動作することも可能である。
例えば、本実施形態に係る情報処理システムでは、外部のSNSなどに投稿された配信者のテキストメッセージに応じた振動情報が再生端末32Bに送信されてもよい。具体的には、オノマトペデータベースを用いて、配信者のテキストメッセージに含まれる擬音語を抽出し、抽出した擬音語に対応する振動情報を再生端末32Bに送信してもよい。また、配信者のテキストメッセージをテキスト解析することで、該テキストメッセージから感情属性(例えば、喜び、怒り、哀しみ、楽しい、ポジティブ、またはネガティブなど)を判定し、判定した感情属性に対応する振動情報を再生端末32Bに送信してもよい。さらに、SNSなどに投稿された配信者のテキストメッセージに対する反響の大きさに応じた振動情報を再生端末32Bに送信してもよい。これによれば、情報処理システムは、配信者と、ユーザとの交流をより活発化させることができる。
(配信情報の利用)
また、本実施形態に係る情報処理システムは、情報処理装置20Bまたは再生端末32Bに送信された振動情報を用いたサービスを行うことも可能である。
例えば、本実施形態に係る情報処理システムでは、情報処理装置20Bでの楽曲の再生と連動して、再生中の楽曲に対応する振動情報を再生端末32Bで再生してもよい。また、情報処理装置20Bは、再生中の楽曲の音声情報を振動情報に変換し、変換した振動情報を再生端末32Bで再生してもよい。また、再生端末32Bまたは情報処理装置20Bに時計としての機能が備えられている場合、再生端末32Bは、送信された配信情報を時刻通知のアラームとして再生してもよい。さらに、情報処理装置20Bがメール、通知、または着信などを受信する場合、再生端末32Bは、送信された配信情報をこれらメール、通知、または着信の受信通知のアラームとして再生してもよい。この場合、再生端末32Bは、メール、通知、または着信などの種類ごとに再生される配信情報を変更してもよい。これによれば、ユーザは、送信された配信情報を様々に活用することができる。
(実演での利用)
また、本実施形態に係る情報処理システムは、コンサートまたはライブ等の実演等の際に、配信者(アイドル、またはアーティスト)と、ユーザ(ファン)との交流に用いることも可能である。これによれば、情報処理システムは、配信者と、ユーザとの交流をより活発化させることが可能である。
具体的には、再生端末32Bがジェスチャ動作を認識可能である場合、再生端末32Bでは、特定のジェスチャ動作が行われたか否かに基づいて、音声情報または振動情報の再生が制御されてもよい。例えば、再生端末32Bは、頭を振る動作(ヘッドバンキングともいう)をしている場合にのみ、音声情報または振動情報が再生されるように制御されてもよい。また、再生端末32Bは、頭を振る動作の程度(頭を振る動作の頻度、または大きさなど)が大きくなるほど、音声情報の再生音量が大きくなるように制御されてもよい。さらに、実演の会場において、再生端末32Bは、頭を振る動作の程度を測定し、測定した程度の積算値に基づいて、配信情報または実演の内容(アンコールの曲数など)を変更するように制御されてもよい。
また、実演の会場において、会場内の各領域によって、再生端末32Bに特定の振動または音声などの配信情報が送信されてもよい。例えば、本実施形態に係る情報処理システムでは、実演の会場にて配信者が指差した領域に存在する再生端末32Bに、特定の振動を含む配信情報が送信されるように制御されてもよい。なお、配信者による指差し動作は、例えば、配信端末32Aで検出してもよいが、画像認識等など他の方法で検出してもよい。
さらに、本実施形態に係る情報処理システムでは、実演前の所定の期間に限定して、再生端末32Bに特別な配信情報が送信されるように制御されてもよい。例えば、情報処理システムは、所定の期間に限り、配信者の普段の生活の音声情報または振動情報が再生端末32Bに送信されるように制御されてもよい。
(配信情報の変形例)
上記では、本実施形態に係る情報処理システムにて配信される配信情報は、触覚若しくは心拍を伝達する振動情報などの配信者の身体性に依存する情報であるとしたが、本開示に係る技術は、上記例示に限定されない。例えば、本実施形態に係る情報処理システムにて配信される配信情報は、音楽、画像、動画又は文章などの各種コンテンツを含むコンテンツ情報であってもよい。
<3.情報処理サーバのハードウェア構成>
続いて、図24を参照して、本開示の各実施形態に係る情報処理サーバ10のハードウェア構成について説明する。図24は、本開示の各実施形態に係る情報処理サーバ10のハードウェア構成の一例を示したブロック図である。なお、情報処理サーバ10が実行する情報処理は、ソフトウェアとハードウェアとの協働によって実現される。
図24に示すように、情報処理サーバ10は、例えば、CPU(Central Processing Unit)601と、ROM(Read Only Memory)603と、RAM(Random Access Memory)605と、ブリッジ611と、内部バス607および609と、インターフェース613と、入力装置615と、出力装置617と、ストレージ装置619と、ドライブ621と、接続ポート623と、通信装置625と、を備える。
CPU601は、演算処理装置および制御装置として機能し、ROM603等に記憶されたプログラムに従って、情報処理サーバ10の動作全般を制御する。ROM603は、CPU601が使用するプログラムや演算パラメータを記憶し、RAM605は、CPU601の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU601は、例えば、配信情報受信部120、配信制御部140、配信情報送信部150、応答付与部160、および応答伝達部170として機能してもよい。
これらCPU601、ROM603およびRAM605は、ブリッジ611、内部バス607および609等により相互に接続されている。また、CPU601、ROM603およびRAM605は、インターフェース613を介して入力装置615、出力装置617、ストレージ装置619、ドライブ621、接続ポート623、および通信装置625とも接続されている。
入力装置615は、タッチパネル、キーボード、ボタン、マイクロホン、スイッチおよびレバーなどの情報が入力される入力装置と、ユーザの入力に基づいて入力信号を生成し、CPU601に出力するための入力制御回路などから構成される。
出力装置617は、例えば、LCD(liquid crystal display)装置、OLED(organic electroluminescence display)装置およびランプなどの表示装置、ならびにスピーカーおよびヘッドホンなどの音声出力装置を含む。例えば、表示装置は、生成された画像を表示し、音声出力装置は、音声データ等を音声に変換して出力する。
ストレージ装置619は、情報処理サーバ10の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置619は、記憶媒体、記憶媒体にデータを記憶する記憶装置、記憶媒体からデータを読み出す読み出し装置、および記憶されたデータを削除する削除装置を含んでもよい。ストレージ装置619は、例えば、配信情報記憶部130として機能してよい。
ドライブ621は、記憶媒体用リードライタである。ドライブ621は、ドライブ621に挿入された各種光学ディスク、または半導体メモリ等のリムーバブル記憶媒体に記憶されている情報を読み出して、RAM605に出力する。また、ドライブ621は、リムーバブル記憶媒体に情報を書き込むことも可能である。
接続ポート623は、例えば、USB(Universal Serial Bus)ポート、光オーディオ端子等のような外部接続機器を接続するための接続ポートで構成された接続インターフェースである。
通信装置625は、例えば、ネットワーク40に接続するための通信デバイス等で構成された通信インターフェースである。また、通信装置625は、有線または無線LAN対応通信装置であっても、有線によるケーブル通信を行うケーブル通信装置であってもよい。通信装置625は、ネットワーク接続部110として機能してもよい。
<4.まとめ>
以上にて説明したように、本開示の各実施形態に係る情報処理システムによれば、配信情報をユーザに配信し、該配信情報に対してユーザから応答を付与してもらうシステムを提供することができる。これによれば、情報処理システムは、配信情報が配信されたユーザにより強い感情を誘起することが可能であり、かつ配信者とユーザとの心理的な距離を縮めることが可能である。
また、CPU、ROMおよびRAMなどのハードウェアにおいて、上述した本開示の第1または第2の実施形態に係る情報処理サーバを構成する各構成と同等の機能を他の情報処理サーバに発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
配信された配信情報を再生する再生部と、
ユーザの身体動作を検出するセンサ部と、
前記センサ部にて検出された前記身体動作に基づいて、前記配信情報への応答の付与に関する操作を処理する制御部と、
を備える、再生端末。
(2)
前記配信情報は、配信者が発話した音声情報である、前記(1)に記載の再生端末。
(3)
前記応答は、前記配信情報に対する評価を含む、前記(1)又は(2)に記載の再生端末。
(4)
前記応答は、前記配信情報に対して前記ユーザが発話した音声情報を含む、前記(1)〜(3)のいずれか一項に記載の再生端末。
(5)
前記応答は、前記再生端末の位置に関する情報をさらに含む、前記(3)又は(4)に記載の再生端末。
(6)
前記配信情報が配信されたことを前記ユーザに告知するガイド音声情報の出力を制御するガイド音声制御部をさらに備える、前記(1)〜(5)のいずれか一項に記載の再生端末。
(7)
前記配信情報は、複数の配信者から配信され、
前記ガイド音声情報は、前記複数の配信者の中から前記ユーザが指定した配信者によって発話された音声情報である、前記(6)に記載の再生端末。
(8)
前記ガイド音声制御部は、前記配信情報を配信した配信者と、前記ガイド音声情報を発話した配信者とが異なるように、前記ガイド音声情報を制御する、前記(7)に記載の再生端末。
(9)
前記再生端末は、ユーザの身体に装着され、
前記再生部は、前記再生端末の装着状態に基づいて、前記配信情報の再生を制御する、前記(1)〜(8)のいずれか一項に記載の再生端末。
(10)
前記センサ部は、前記再生端末の装着状態を検出する、前記(9)に記載の再生端末。
(11)
前記再生端末は、前記ユーザの頭部に装着され、
前記センサ部は、前記ユーザの頭部の動きを検出する、前記(10)に記載の再生端末。
(12)
前記配信情報は、配信者の触覚または心拍を伝達する振動情報である、前記(1)に記載の再生端末。
(13)
前記振動情報は、前記配信者の心拍数に関する情報、および該心拍数で振動を開始するタイミングに関する情報を含む、前記(12)に記載の再生端末。
(14)
前記振動情報は、所定の周期で配信される、前記(13)に記載の再生端末。
(15)
前記配信情報は、前記振動情報に加えて、前記配信者が発話した音声情報をさらに含む、前記(12)〜(14)のいずれか一項に記載の再生端末。
(16)
前記再生端末が消音状態に設定されている場合、前記再生部は、前記振動情報のみを再生させる、前記(15)に記載の再生端末。
(17)
前記センサ部によって前記再生端末が前記ユーザの耳に近接したことが検出された場合、
前記再生部は、前記音声情報を再生させる、前記(16)に記載の再生端末。
(18)
前記振動情報及び前記音声情報は、同一のアクチュエータによって再生される、前記(15)〜(17)のいずれか一項に記載の再生端末。
(19)
前記配信者が実演中である場合、前記配信情報は、実演中の前記配信者の前記音声情報、又は前記実演に対応する前記配信者の前記音声情報と、前記音声情報と同期した前記配信者の前記振動情報と、を含む、前記(15)〜(18)のいずれか一項に記載の再生端末。
(20)
配信された配信情報を再生することと、
ユーザの身体動作を検出することと、
演算処理装置によって、検出された前記身体動作に基づいて、前記配信情報への応答の付与に関する操作を処理することと、
を含む、再生方法。
10、12 情報処理サーバ
20A 情報処理装置
20B 情報処理装置
30A、32A 配信端末
30B、32B 再生端末
40 ネットワーク
110 ネットワーク接続部
120 配信情報受信部
130 配信情報記憶部
140 配信制御部
150 配信情報送信部
160 応答付与部
161 音声認識部
162 エラーワード処理部
163 エラーワード記憶部
170 応答伝達部
181 端末管理部
182 機能制限部
311 通信部
312 制御部
313 音声再生部
314 配信情報取得部
315 マイク部
321 通信部
322 制御部
323 音声再生部
324 ガイド音声制御部
325 センサ部
326 再生制御部
327 再生部

Claims (20)

  1. 配信された配信情報を再生する再生部と、
    ユーザの身体動作を検出するセンサ部と、
    前記センサ部にて検出された前記身体動作に基づいて、前記配信情報への応答の付与に関する操作を処理する制御部と、
    を備える、再生端末。
  2. 前記配信情報は、配信者が発話した音声情報である、請求項1に記載の再生端末。
  3. 前記応答は、前記配信情報に対する評価を含む、請求項1に記載の再生端末。
  4. 前記応答は、前記配信情報に対して前記ユーザが発話した音声情報を含む、請求項1に記載の再生端末。
  5. 前記応答は、前記再生端末の位置に関する情報をさらに含む、請求項3に記載の再生端末。
  6. 前記配信情報が配信されたことを前記ユーザに告知するガイド音声情報の出力を制御するガイド音声制御部をさらに備える、請求項1に記載の再生端末。
  7. 前記配信情報は、複数の配信者から配信され、
    前記ガイド音声情報は、前記複数の配信者の中から前記ユーザが指定した配信者によって発話された音声情報である、請求項6に記載の再生端末。
  8. 前記ガイド音声制御部は、前記配信情報を配信した配信者と、前記ガイド音声情報を発話した配信者とが異なるように、前記ガイド音声情報を制御する、請求項7に記載の再生端末。
  9. 前記再生端末は、ユーザの身体に装着され、
    前記再生部は、前記再生端末の装着状態に基づいて、前記配信情報の再生を制御する、請求項1に記載の再生端末。
  10. 前記センサ部は、前記再生端末の装着状態を検出する、請求項9に記載の再生端末。
  11. 前記再生端末は、前記ユーザの頭部に装着され、
    前記センサ部は、前記ユーザの頭部の動きを検出する、請求項10に記載の再生端末。
  12. 前記配信情報は、配信者の触覚または心拍を伝達する振動情報である、請求項1に記載の再生端末。
  13. 前記振動情報は、前記配信者の心拍数に関する情報、および該心拍数で振動を開始するタイミングに関する情報を含む、請求項12に記載の再生端末。
  14. 前記振動情報は、所定の周期で配信される、請求項13に記載の再生端末。
  15. 前記配信情報は、前記振動情報に加えて、前記配信者が発話した音声情報をさらに含む、請求項12に記載の再生端末。
  16. 前記再生端末が消音状態に設定されている場合、前記再生部は、前記振動情報のみを再生させる、請求項15に記載の再生端末。
  17. 前記センサ部によって前記再生端末が前記ユーザの耳に近接したことが検出された場合、
    前記再生部は、前記音声情報を再生させる、請求項16に記載の再生端末。
  18. 前記振動情報及び前記音声情報は、同一のアクチュエータによって再生される、請求項15に記載の再生端末。
  19. 前記配信者が実演中である場合、前記配信情報は、実演中の前記配信者の前記音声情報、又は前記実演に対応する前記配信者の前記音声情報と、前記音声情報と同期した前記配信者の前記振動情報と、を含む、請求項15に記載の再生端末。
  20. 配信された配信情報を再生することと、
    ユーザの身体動作を検出することと、
    演算処理装置によって、検出された前記身体動作に基づいて、前記配信情報への応答の付与に関する操作を処理することと、
    を含む、再生方法。
JP2018550173A 2016-11-11 2017-11-02 再生端末及び再生方法 Pending JPWO2018088319A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016220425 2016-11-11
JP2016220425 2016-11-11
PCT/JP2017/039684 WO2018088319A1 (ja) 2016-11-11 2017-11-02 再生端末及び再生方法

Publications (1)

Publication Number Publication Date
JPWO2018088319A1 true JPWO2018088319A1 (ja) 2019-10-03

Family

ID=62109739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018550173A Pending JPWO2018088319A1 (ja) 2016-11-11 2017-11-02 再生端末及び再生方法

Country Status (5)

Country Link
US (1) US11298080B2 (ja)
EP (1) EP3540603B1 (ja)
JP (1) JPWO2018088319A1 (ja)
CN (1) CN109804358B (ja)
WO (1) WO2018088319A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7131077B2 (ja) * 2018-05-24 2022-09-06 カシオ計算機株式会社 会話装置、ロボット、会話装置制御方法及びプログラム
JP7189434B2 (ja) * 2019-01-11 2022-12-14 ダイキン工業株式会社 空間制御システム
JP6871964B2 (ja) * 2019-03-29 2021-05-19 株式会社コロプラ 配信プログラム、配信方法、および情報端末装置
WO2022264203A1 (ja) * 2021-06-14 2022-12-22 三菱電機株式会社 信号生成装置、信号処理システムおよび信号生成方法
CN117897971A (zh) 2021-09-03 2024-04-16 索尼集团公司 信息处理装置、信息处理方法和程序

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003240582A (ja) * 2002-02-15 2003-08-27 Mitsubishi Electric Corp 車両位置表示装置および音声情報取得方法
JP2006154087A (ja) * 2004-11-26 2006-06-15 Yamaha Corp 楽曲データ交換フォーマットおよび携帯端末装置
JP2007122501A (ja) * 2005-10-28 2007-05-17 Sony Corp 電子機器
JP2007148884A (ja) * 2005-11-29 2007-06-14 Mitsubishi Electric Corp 携帯型コンテンツデータ再生装置及びその制限解除方法
JP2010044808A (ja) * 2008-08-08 2010-02-25 Olympus Corp データ再生装置
JP2014006076A (ja) * 2012-06-21 2014-01-16 Navitime Japan Co Ltd ナビゲーション装置、ナビゲーションシステム、端末装置、サーバ装置、ナビゲーション方法、および、プログラム
JP2014147030A (ja) * 2013-01-30 2014-08-14 Dwango Co Ltd 音声配信システム及び録音方法
WO2015029573A1 (ja) * 2013-08-29 2015-03-05 ソニー株式会社 リストバンド型情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015106223A (ja) * 2013-11-29 2015-06-08 マチオリ株式会社 コンテンツの評価装置、システム、サーバ装置及び端末装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6415257B1 (en) * 1999-08-26 2002-07-02 Matsushita Electric Industrial Co., Ltd. System for identifying and adapting a TV-user profile by means of speech technology
US6893396B2 (en) * 2000-03-01 2005-05-17 I-Medik, Inc. Wireless internet bio-telemetry monitoring system and interface
JP2001357191A (ja) 2000-06-12 2001-12-26 Toshiba Corp コマーシャルメッセージ反応調査方法およびシステム、ならびにプログラムを記憶した記憶媒体
US20030159567A1 (en) * 2002-10-18 2003-08-28 Morton Subotnick Interactive music playback system utilizing gestures
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
CN101601292B (zh) * 2007-01-22 2011-11-16 索尼株式会社 信息处理装置、信息处理方法和程序
US8428053B2 (en) * 2009-02-26 2013-04-23 Plantronics, Inc. Presence based telephony call signaling
US20130033971A1 (en) 2011-08-05 2013-02-07 Jeffrey Stier System and Method for Managing and Distributing Audio Recordings
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US8868598B2 (en) * 2012-08-15 2014-10-21 Microsoft Corporation Smart user-centric information aggregation
US10146316B2 (en) * 2012-10-31 2018-12-04 Nokia Technologies Oy Method and apparatus for disambiguating a plurality of targets
CN105027206A (zh) * 2012-11-29 2015-11-04 斯蒂芬·蔡斯 视频耳机、系统、平台、方法、设备和媒体
ITMI20132171A1 (it) * 2013-12-20 2015-06-21 Davide Macagnano Rilevatore indossabile per il rilevamento di parametri legati ad una attività motoria
WO2015166573A1 (ja) * 2014-05-01 2015-11-05 貴弘 市橋 ライブ放送システム
US11076763B2 (en) * 2014-10-15 2021-08-03 Atlasense Biomed Ltd. Remote physiological monitor
US20160330258A1 (en) * 2015-05-08 2016-11-10 Charanjit Singh Sandhu Broadcasts among electronic devices of registered users via internet protocol
JP6226020B2 (ja) * 2016-04-28 2017-11-08 ソニー株式会社 車載装置、情報処理方法および情報処理システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003240582A (ja) * 2002-02-15 2003-08-27 Mitsubishi Electric Corp 車両位置表示装置および音声情報取得方法
JP2006154087A (ja) * 2004-11-26 2006-06-15 Yamaha Corp 楽曲データ交換フォーマットおよび携帯端末装置
JP2007122501A (ja) * 2005-10-28 2007-05-17 Sony Corp 電子機器
JP2007148884A (ja) * 2005-11-29 2007-06-14 Mitsubishi Electric Corp 携帯型コンテンツデータ再生装置及びその制限解除方法
JP2010044808A (ja) * 2008-08-08 2010-02-25 Olympus Corp データ再生装置
JP2014006076A (ja) * 2012-06-21 2014-01-16 Navitime Japan Co Ltd ナビゲーション装置、ナビゲーションシステム、端末装置、サーバ装置、ナビゲーション方法、および、プログラム
JP2014147030A (ja) * 2013-01-30 2014-08-14 Dwango Co Ltd 音声配信システム及び録音方法
WO2015029573A1 (ja) * 2013-08-29 2015-03-05 ソニー株式会社 リストバンド型情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2015106223A (ja) * 2013-11-29 2015-06-08 マチオリ株式会社 コンテンツの評価装置、システム、サーバ装置及び端末装置

Also Published As

Publication number Publication date
US20190223798A1 (en) 2019-07-25
EP3540603A4 (en) 2019-09-25
EP3540603A1 (en) 2019-09-18
CN109804358B (zh) 2023-06-20
US11298080B2 (en) 2022-04-12
WO2018088319A1 (ja) 2018-05-17
CN109804358A (zh) 2019-05-24
EP3540603B1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
WO2018088319A1 (ja) 再生端末及び再生方法
US10817251B2 (en) Dynamic capability demonstration in wearable audio device
US10070213B2 (en) Methods of generating tactile user feedback utilizing headphone devices and related systems
CN106162413B (zh) 具体环境声音提醒模式的耳机装置
US20180014117A1 (en) Wearable headset with self-contained vocal feedback and vocal command
TW201820315A (zh) 改良型音訊耳機裝置及其聲音播放方法、電腦程式
US10205814B2 (en) Wireless earpiece with walkie-talkie functionality
JP6326573B2 (ja) 多機能イヤホンによる自律型アシスタントシステム
CN109429132A (zh) 耳机系统
JP7167910B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20180126474A (ko) 시스템, 단말 장치, 방법 및 기록 매체
JP2017021737A (ja) 筋電信号を用いてアプリケーションに感情識別子を付与するプログラム、端末及びシステム
US11264035B2 (en) Audio signal processing for automatic transcription using ear-wearable device
US11275554B2 (en) Information processing apparatus, information processing method, and program
JP2012060235A (ja) 動作条件設定システム、ユーザ装置、設定サーバ、及び動作条件設定方法
JP2018093503A (ja) 音声コンテンツ再生イヤホン、方法、および、プログラム
EP3924961B1 (en) Methods and systems for generating customized audio experiences
KR102083466B1 (ko) 음악을 추천하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
CN110493681A (zh) 具有全自然用户界面的耳机装置及其控制方法
US11252497B2 (en) Headphones providing fully natural interfaces
JP7099534B2 (ja) 音声メッセージシステム、サーバ装置、サーバ装置の情報処理方法、および、プログラム
JP2015023534A (ja) 情報提供装置、情報提供システム、及び情報提供プログラム
WO2018190099A1 (ja) 音声提供装置、音声提供方法及びプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190426

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201026

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221025