JPWO2018216339A1 - 情報処理装置及びその制御方法、並びに記録媒体 - Google Patents

情報処理装置及びその制御方法、並びに記録媒体 Download PDF

Info

Publication number
JPWO2018216339A1
JPWO2018216339A1 JP2019519493A JP2019519493A JPWO2018216339A1 JP WO2018216339 A1 JPWO2018216339 A1 JP WO2018216339A1 JP 2019519493 A JP2019519493 A JP 2019519493A JP 2019519493 A JP2019519493 A JP 2019519493A JP WO2018216339 A1 JPWO2018216339 A1 JP WO2018216339A1
Authority
JP
Japan
Prior art keywords
information processing
sensor
unit
user
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019519493A
Other languages
English (en)
Other versions
JP7095692B2 (ja
Inventor
剛 五十嵐
剛 五十嵐
一馬 吉井
一馬 吉井
淳也 鈴木
淳也 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018216339A1 publication Critical patent/JPWO2018216339A1/ja
Application granted granted Critical
Publication of JP7095692B2 publication Critical patent/JP7095692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531Measuring skin impedance
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4803Speech analysis specially adapted for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • A61B5/6815Ear
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/683Means for maintaining contact with the body
    • A61B5/6832Means for maintaining contact with the body using adhesives
    • A61B5/6833Adhesive patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6844Monitoring or controlling distance between sensor and tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/003Detecting lung or respiration noise
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B7/00Instruments for auscultation
    • A61B7/02Stethoscopes
    • A61B7/04Electric stethoscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/04Structural association of microphone with electric circuitry therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/14Throat mountings for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/30Monitoring or testing of hearing aids, e.g. functioning, settings, battery power
    • H04R25/305Self-monitoring or self-testing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/55Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired
    • H04R25/554Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception using an external connection, either wireless or wired using a wireless connection, e.g. between microphone and amplifier or using Tcoils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/60Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles
    • H04R25/603Mounting or interconnection of hearing aid parts, e.g. inside tips, housings or to ossicles of mechanical or electronic switches or control elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/001Monitoring arrangements; Testing arrangements for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00Monitoring arrangements; Testing arrangements
    • H04R29/004Monitoring arrangements; Testing arrangements for microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0204Operational features of power management
    • A61B2560/0214Operational features of power management of power generation or supply
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204Acoustic sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/18Shielding or protection of sensors from environmental influences, e.g. protection from mechanical damage
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/369Electroencephalography [EEG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/42Detecting, measuring or recording for evaluating the gastrointestinal, the endocrine or the exocrine systems
    • A61B5/4261Evaluating exocrine secretion production
    • A61B5/4266Evaluating exocrine secretion production sweat secretion
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4836Diagnosis combined with treatment in closed-loop systems or methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/46Special adaptations for use as contact microphones, e.g. on musical instrument, on stethoscope
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2420/00Details of connection covered by H04R, not provided for in its groups
    • H04R2420/07Applications of wireless loudspeakers or wireless microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/13Hearing devices using bone conduction transducers

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Dermatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Endocrinology (AREA)
  • Neurology (AREA)
  • Pulmonology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

ユーザの身体に装着して用いられる情報処理装置を提供する。情報処理装置は、収音機能を有する収音センサと、前記収音センサにより検出されたオーディオ・データを外部に無線送信する通信部と、前記収音センサ及び前記通信部を制御する制御部と、前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部を具備する。前記収音部は、例えば肉伝導若しくは骨伝導を用いて前記ユーザの音声を収音する。

Description

本明細書で開示する技術は、ユーザの身体に装着して用いられる情報処理装置及びその制御方法、並びに記録媒体に関する。
近年、腕や頭部などユーザの身体のさまざまな場所に装着して用いられるウェアラブル・デバイスが普及しつつある。ウェアラブル・デバイスは、生体情報や位置情報、その他のユーザの状態を検出したり、ユーザの周囲の様子を撮像又は録音などの記録を行なったり、音声などで多様な情報をユーザに提示したりする用途がある。ウェアラブル・デバイスは、例えば、ライフログの分野やスポーツ支援の分野など、多岐にわたる分野で利用されている。
例えば、ユーザの首の左右両側から後ろ側(背中側)にかけて半周回するような装着ユニットで、ユーザの首に掛けるようにして装着される、ネックバンド型のウェアラブル・デバイスについて提案がなされている(例えば、特許文献1を参照のこと)。
ウェアラブル・デバイスは、ユーザが入力操作を行なうタッチ操作やスライド操作が可能な操作部や、音声認識機能などを備えている。ユーザは、操作部を介した入力操作や音声入力を介して、ウェアラブル・デバイスに対して、撮像、録画の開始又は停止、音声再生の開始又は停止、情報の提示要求又は提示の停止など、さまざまな指示を行なうことができる。
WO2016/063587 特表2004−523289号公報 特開2006−345269号公報
本明細書で開示する技術の目的は、ユーザの身体に装着して用いられる情報処理装置及びその制御方法、並びに記録媒体を提供することにある。
本明細書で開示する技術の第1の側面は、
収音機能を有する収音センサと、
前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、
前記収音センサ及び前記通信部を制御する制御部と、
前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、
前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、
前記筐体部をユーザに固定する貼着部と、
を具備する情報処理装置である。
前記収音センサは、前記ユーザの肉伝導により収音可能である。また、情報処理装置は、前記ユーザの生体情報を検出する生体センサをさらに備え、前記制御部は、前記生体センサにより検出された生体情報に基づいて、前記収音センサにより収音されたオーディオ・データに対する処理を制御するようにしてもよい。
また、本明細書で開示する技術の第2の側面は、収音機能を有する収音センサと、前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部を具備する情報処理装置の制御方法であって、
前記収音センサにより収音したオーディオ・データを処理するステップと、
前記通信部を介した送受信処理を制御するステップと、
を有する情報処理装置の制御方法である。
また、本明細書で開示する技術の第3の側面は、収音機能を有する収音センサと、前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部を具備する情報処理装置を制御するためのコンピュータ・プログラムを記録する記録媒体であって、前記コンピュータ・プログラムは、
前記収音センサにより収音したオーディオ・データを処理するステップと、
前記通信部を介した送受信処理を制御するステップと、
をコンピュータに実行させるようにコンピュータ可読形式で記述される、記録媒体である。
本明細書で開示する技術によれば、ユーザの身体に装着して用いられる情報処理装置及びその制御方法、並びに記録媒体を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、情報処理装置100がユーザの顎の下に貼着されている様子と、情報処理装置100の分解図を示した図である。 図2は、本明細書で提案する情報処理装置を貼着可能な場所を例示した図である。 図3は、ユーザの身体表面に貼着して用いられる情報処理装置100の入出力機能の構成例を模式的に示した図である。 図4は、基板400への電気部101の実装イメージを例示した図である。 図5は、ユーザの身体表面に貼着した状態の情報処理装置100の断面構成を例示した図である。 図6は、収音センサ401がユーザの声を収音する様子を例示した図である。 図7は、貼着場所に応じたセンサ素子並びにアクチュエータ素子の適否を示した図である。 図8は、情報処理装置100において、収音センサで収音されたオーディオ・データを、生体情報に関連付けて記録又は外部に送信するための処理手順を示したフローチャートである。 図9は、ユーザの身体への貼着状態に応じて情報処理装置100を動作させるための処理手順を示したフローチャートである。 図10は、情報処理装置100−1と情報処理装置100−2が連携する際の通信シーケンス例を示した図である。 図11は、情報処理装置100の貼着場所に応じた処理手順を示したフローチャートである。 図12は、情報処理装置100の振動センサで検出される振動データの処理を他の情報端末側で実施する際の通信シーケンス例示した図である。 図13は、情報処理装置とユーザが所持する情報端末との接続手順を例示した図である。 図14は、情報処理装置100とクラウドが、ユーザが所持する情報端末を経由して接続するための処理手順を例示した図である。 図15は、情報処理装置100とクラウドが接続するための処理手順を例示した図である。 図16は、情報処理装置100とクラウドが接続するための処理手順を例示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
腕時計型情報端末、メガネ型情報端末といった、腕や頭部などに装着して用いられるウェアラブル・デバイスは広く知られている。例えば、腕時計型情報端末は、腕時計のようにユーザの手首付近に巻いて使用され、腕時計の基本機能に加え、メールなどの文字コミュニケーション、歩数計などの活動量測定及び測定結果の表示、音楽再生などの多くの機能を提供する。また、メガネ型情報端末は、装着したユーザの視界の一部に情報を提示することで、ユーザがナビゲーションや最新のニュースなどの情報を常に受け取ることができる。
従来のウェアラブル・デバイスの多くは、ユーザが装着していることが外見上明らかである。例えば、メガネ型情報端末は、一般的な視力矯正用のメガネに比べて形状が大きく異なる。このため、周囲の人に違和感を与えることがあり、ウェアラブル・デバイスの普及の妨げになることが懸念される。ウェアラブル・デバイスの装置本体の意匠を工夫することで、ユーザ本人や周囲に違和感なく受け入れられるようにする方法も考えられる。また、ユーザに新しい形態の装置を利用することに対する心理的違和感を排除することは容易ではない。
そこで、本明細書では、ユーザの身体の表面(若しくは、皮膚)に直接貼着して用いられる情報処理装置について、以下で提案する。ユーザの身体表面に貼着された情報処理装置は、外見上の変化が最小限であることから、周囲の人に違和感を与えずに済むとともに、ユーザ本人にとっても可能な限り装着感を感じさせない。
情報処理装置は、基本的には、物理的に単一の装置として構成され、上述したユーザの身体上のいずれか1つの部位に貼着して用いられる。変形例として、情報処理装置は、物理的に分離した2以上の分割装置の集合体として構成され、上述した2以上に部位に各分割装置が貼着される。後者の場合、各分割装置は、無線通信や生体通信などを利用して相互接続され、各分割装置が協働的に動作して1つの情報処理装置として機能するように構成される。但し、以下では、情報処理装置が物理的に単一の装置として構成される場合に限定して説明する。
情報処理装置は、収音機能を有する収音センサと、収音センサにより検出されたオーディオ・データを外部に無線送信する通信部と、収音センサ及び通信部を制御する制御部と、収音センサ、通信部、及び制御部を少なくとも含む電気部に対して電源を供給する電源部と、これら電気部及び電源部を収納する筐体部と、筐体部をユーザの身体の表面に貼着してユーザの身体に固定する貼着部を基本的な構成要素とする。
IoT(Internet of Things)デバイスにはマウスやキーボードといった従来の入力装置が不在であり、文字情報よりも音声情報を用いたユーザ・インターフェース(UI)が有力である。したがって、収音センサは、情報処理装置に必須の構成要素の1つということができる。収音センサは、例えば小型のマイクロフォンなどで構成される。
情報処理装置本体を、こめかみや耳裏、顎の下、首、首元、咽喉部など、ユーザの声帯の近傍に貼着して使用する場合、口からの空気伝導や頭部の肉伝導又は骨伝導を含めて、ユーザの肉声を効果的に集音することができる。したがって、情報処理装置は、ライフログ用の音声センシング機能を提供し易くなる。また、顎の下などを貼着場所にすると、情報処理装置は目立たず周囲の人に違和感を与えずに済む。
図1には、一例として、情報処理装置100がユーザの顎の下に貼着されている様子と、情報処理装置100の分解図を示している。但し、便宜上、情報処理装置100の分解図は、ユーザの顎の下に貼着している状態とは天地を逆にして示している。
情報処理装置100本体は、ユーザの顎の下に隠れるので、外見上の変化がほとんどなく、周囲の人に違和感を与えずに済む。
図示の情報処理装置100は、収音センサや通信部、制御部、電源部などの回路コンポーネントを搭載した基板からなる電気部101と、電気部101を収納する筐体部102と、筐体部102をユーザの身体の表面に貼着してユーザの身体に固定する貼着部103を備えている。また、図示の情報処理装置100は、貼着部103の上に体液処理部104が積層されている。
筐体部102は、情報処理装置100本体を貼着した部位以外のユーザの身体と接触したり、周囲の人の身体と接触したりした際に、損傷を与えないことを考慮して、柔軟性を有することが好ましい。筐体部102は、金属又は非金属の素材を用いて構成されるが、通信部を収納することから、電波透過性を備えている必要がある。
また、情報処理装置100本体を貼着した部位における外見上の変化が最小限となるように、筐体部102の表面(若しくは体裁面)は、肌色に調色されていることが好ましい。あるいは、筐体部102の表面を透明色にしたり、ファッション性のある色に塗装したりしてもよい。また、筐体部102の表面に、タトゥシールのような模様を形成して、ユーザの個性の表現するようにしてもよい。
但し、情報処理装置100本体は、ユーザの顎の下だけでなく、ユーザの身体表面のさまざまな場所に貼着して用いられることを想定している。そこで、貼着場所毎に筐体部102若しくは情報処理装置100本体の外観形状を変更してもよいし、すべての貼着場所で共通の外観形状としてもよい。
また、筐体部102は、撥水性の素材を用いる、あるいは表面に撥水加工を施すなどして、撥水性を備えていることが好ましい。筐体部102の表面に撥水性がないと、ユーザの皮膚から分泌又は排出される体液(汗など)や降雨などが、筐体部102の内部に浸み込んで、電気部101を構成する回路コンポーネントにダメージを与えたり、さらにその下層の貼着部103の貼着性が劣化したりするおそれがある。
電気部101は、収音センサや通信部、制御部、電源部などと、これらの回路コンポーネントを搭載した基板からなる(前述)。情報処理装置100本体が貼着されたユーザの身体表面(自由曲面)の変化に倣うように、電気部101を構成する基板は、柔軟性や伸縮性を備えていることが好ましい。例えば、フレキシブル基板を用いるとともに、フレキシブル基板に2軸以上の方向に切れ込みを形成することで、柔軟性や伸縮性が増し、自由曲面に倣い易くなる。逆に、基盤が柔軟性や伸縮性を備えていないと、情報処理装置100本体は、貼着されたユーザの身体表面から剥離し易くなる。
粘着部103は、シート状で、且つ、表面が粘着性能を持つ糊面となっており、ユーザの身体の表面に貼着して、情報処理装置100本体をユーザの身体に固定することができる。また、ユーザの皮膚から相当量の体液(汗など)が分泌又は排出されることを考慮して、粘着部103は、透湿性(若しくは、透水性、透液性)を備えていることが好ましい。例えば、1以上の開口を有する多孔性の素材を用いて粘着部103を構成する。
粘着部103の糊面は、皮膚に適用可能(例えば、皮膚に刺激を与えることがなく、アレルギーなどを発生し難い)な接着材で形成されていることが好ましい。また、未使用の状態では、糊面にゴミなどが付着せず粘着性能を維持できるよう、粘着部103の糊面は剥離紙(図示しない)で保護されていることが好ましい。付言すれば、剥離紙を粘着部103から剥離することによって、使用状態に移行して、情報処理装置100の電源が投入されるように構成してもよい。
体液処理部104は、粘着部103の開口を介して浸み込んでくるユーザの体液を処理して、電気部101に到達しないように体液を遮る。体液処理部104は、例えば高分子ポリマー吸湿材のようなメッシュ材を用いて構成される。体液処理部104は、毛細管現象により体液を誘導して、環境(情報処理装置100の外部)に放出する。体液処理部104は、交換部品として構成されることが好ましい。
なお、図1には、ユーザの顎の下に貼着されている情報処理装置100について例示したが、情報処理装置100本体は、ユーザの身体表面のさまざまな場所に貼着して用いられることが想定される。図2には、本明細書で提案する情報処理装置を貼着することが想定される、ユーザの身体上の部位を例示している。図示のように、情報処理装置は、こめかみ、眉間、耳裏、顎の下、首、首元、咽喉部、上腕、前腕、手首、手の甲、腹部などの部位に貼着して、いわゆるウェアラブル・デバイスとして用いられることを想定している。なお、図示を省略するが、同様の情報処理装置を、人体ではなくさまざまな機械類やモノに貼着して、IoTデバイスとしても活用することができる。
図4には、基板への電気部101の実装イメージを例示している。柔軟性や伸縮性を備えた基板400上には、収音センサ401と、通信処理部を兼用する制御部402と、チップ・アンテナ403などの回路部品とともに、コイン・バッテリーで構成される電源部404が搭載されている。
図3には、ユーザの身体表面に貼着して用いられる情報処理装置100の入出力機能の構成例を模式的に示している。図示の情報処理装置100は、センサ部310と、アクチュエータ部320と、通信部330を備えている。
情報処理装置100本体がユーザの身体表面に接触しているという特徴を活かして、センサ部310は、ユーザ(人体)の情報を検出する第1のセンサ部311と、ユーザの外(外界)の情報を検出する第2のセンサ部312を備えている。また、アクチュエータ部320は、ユーザ(人体)に対して情報を出力する第1のアクチュエータ部321と、ユーザの外(外界や、周囲の人)に対して情報を出力する第2のアクチュエータ部322を備えている。
情報処理装置100の基本機能として、制御部(図3では図示しない)は、収音センサ、第1のセンサ部311、又は第2のセンサ部312のうち少なくとも1つのセンサによる検出結果に基づいて、第1のアクチュエータ部321又は第2のアクチュエータ部322のうち少なくとも一方を駆動する。第1のアクチュエータ部321を駆動することで、センサによる検出結果(例えば、ユーザ自身の生体情報、又は周囲の環境情報)を、ユーザに通知することができる。また、第2のアクチュエータ322を駆動することで、センサによる検出結果を、ユーザの周囲に伝達することができる。
また、情報処理装置100が備える機能として、制御部は、センサ部310による検出結果を通信部330から外部に送出し、又はセンサ部310による検出結果に基づいてアクチュエータ部320を駆動する。
また、情報処理装置100が備えるさらに他の機能として、制御部は、通信部330を介して外部から受信した情報に基づいて、アクチュエータ320の駆動を制御したり、センサ部310における検出処理を制御したりする。
なお、制御部は、情報処理装置100(又はユーザ)を識別する個体識別番号や、外部との情報交換の際に盗聴防止などのために使用する暗号鍵などを保存するためのメモリを含んでいてもよい。
上述した収音センサは、情報処理装置100本体を貼着したユーザが発声する音声を収音するという観点から、第1のセンサ部311に含めることができる。もちろん、収音センサを、第1のセンサ部311には含まれない、情報処理装置100の必須の構成要素として捉えてもよい。収音センサは、口からの空気伝導や、頭部の肉伝導又は骨伝導により、ユーザが発声する音声を収音する。筐体102には、空気電動される音声を収音するための収音孔を穿設していることが好ましい。また、収音孔には防水処理が施されていることが好ましい。
また、脳波センサや静脈センサ、筋電センサ、体温センサ、発汗センサ、心拍又は脈拍センサ、視線センサなど、生体情報を検出することができるさまざまなタイプの生体センサを、第1のセンサ部311に含めることができる。
例えば、情報処理装置100が顎の下、首、首元、咽喉部など口や声帯から近い場所に貼着して用いられる場合には、収音センサは、口からの空気伝導や頭部の肉伝導又は骨伝導を含めて、微小な音声情報を拾うことができる。また、雑音がある環境下でも、肉伝導や骨伝導を利用して、ユーザの声を分離して収音することができる。
図5には、ユーザの身体表面に貼着した状態の情報処理装置100の断面構成を例示している。図4を参照しながら既に説明したように、柔軟性や伸縮性を備えた基板400上には、収音センサ401と、通信処理部を兼用する制御部402などの回路部品と、コイン・バッテリーで構成される電源部404が搭載されている。また、図6には、収音センサ401がユーザの声を収音する様子を例示している。但し、同図では、情報処理装置100がユーザの咽喉部に貼着されていることを想定している。ユーザが発した声は、肉体や皮膚を伝わって、情報処理装置100本体まで到達すると、図6中の矢印で示すようにさらに空中を伝搬し、収音センサ401の前面空間の空気を振動させる。この空気振動により収音センサ内の振動板(図示しない)が振動することにより、ユーザの声を効率的に収音することができる。
情報処理装置100は、収音センサにより収音された音響データをオーディオ・ログとして記録し、さらには通信部330を介してオーディオ・ログを外部装置に送信するようにしてもよい。また、情報処理装置100が第1のセンサ311として生体センサを含む場合には、収音センサで収音されたオーディオ・データと生体センサで検出された生体情報とを時間方向に同期させて記録したり外部装置に送信したりするようにしてもよい。
但し、オーディオ・ログを常時記録しているとデータ量が膨大になってしまうので、制御部は、生体センサ(上述)から得られる生体情報に基づいてオーディオ・ログのフィルタリング(若しくは、間欠的なオーディオ・データの記録)を実施するようにしてもよい。再生時に、オーディオ・ログと時間方向に同期がとられた生体情報に基づいてフィルタすることにより、オーディオ・ログを間欠的に再生するようにしてもよい。例えば、精度良く検出された心拍数によってオーディオ・ログをフィルタすることにより、ユーザの過去の体験を効率的、効果的に視聴することが可能になる。また、脳波データなどに基づいてユーザが覚醒状態と推定される期間やユーザが興味を示している期間に限定してオーディオ・ログの記録や外部出力を行なうようにしてもよい。
付言すれば、第1のセンサ部311に含まれる収音センサと、第1のアクチュエータ部321に含まれるスピーカ(後述)との協働的動作により収音⇒増幅⇒再生を行ない、情報処理装置100を集音器若しくは補聴器として活用することもできる。
また、情報処理装置100がこめかみや眉間などの頭部に貼着して用いられる場合には、脳波センサを用いて脳波を高い精度で検出することができる。制御部は、脳波センサの検出結果を解析して、ユーザの意思や感情を認識することによって、BrainInterfaceを実現することができる。また、制御部は、脳波センサの検出結果に基づいてユーザの眠気を感知したときには、例えば第1のアクチュエータ部321を駆動させて、電撃などにより眠気を撃退するといった動作も可能である。
また、振動センサを、第1のセンサ部311に含めることができる。振動センサは、例えば加速度センサ、ジャイロ・センサ、又は地磁気センサ、あるいはこれらのうち2以上のセンサ素子の組み合わせで構成される。制御部は、振動センサによる検出結果に基づいて、情報処理装置100を身体に貼着したユーザの姿勢や体動(衝撃、振動、傾斜、転倒、落下、移動、その他)を検知することができる。また、情報処理装置100がユーザの手の甲や指に貼着して用いられる場合などには、制御部は、振動センサの検出結果を解析して、ユーザが行なったジェスチャーを検出することができる。
さらに制御部は、振動センサで検出した振動データから特徴データを抽出するとともに、所定量だけ蓄積した特徴データの時系列に基づいて、ユーザの行動を認識することができる(例えば、特許文献3を参照のこと)。また、制御部は、特徴データの時系列情報を逐次学習していくようにしてもよい。振動センサから得られる振動データは、情報処理装置100本体が貼着された場所毎に特徴が相違する。そこで、制御部は、振動センサから得られる振動データ(若しくは、振動データから抽出された特徴データの時系列)に基づいて、情報処理装置100本体が貼着された場所をさらに推定することもできる。
また、情報処理装置100本体がユーザの身体に貼着されている貼着状態かどうかを検出する貼着センサも、第1のセンサ部311に含めることができる。貼着センサは、例えば、人体が接近してきたことに伴う静電容量の変化を検出する静電容量センサや、人体の表面(皮膚)に照射した赤外線の反射光を検出する赤外線反射センサなどを用いて、貼着センサを構成することができる。制御部は、貼着状態に応じて、情報処理装置100の起動(待機状態からの復帰)や、認証などの所定の処理の起動を制御するようにしてもよい。
但し、情報処理装置100本体を貼着した場所に応じて生体情報の検出の適否があり、また、情報処理装置100自体の用途に応じて生体情報の要否が異なる。したがって、貼着場所と生体情報の要否に応じて適宜必要な生体センサを第1のセンサ部311に組み込むようにすればよい。
第2のセンサ部312として、(ユーザの肉声ではなく)外界の音響又は騒音を収音する収音センサ(マイクなど)や、周囲の風景を撮像するイメージ・センサ、温度、湿度、照度、気圧などの外部環境情報を検出する環境センサを挙げることができる。また、チップ・アンテナ403(前述)は、電波(無線信号)を検出するという観点から、広義で、第2のセンサ部312に含めることもできる。
また、GPS(Global Positioning System)センサのような位置情報センサを、第2のセンサ部312に含めることができる。但し、情報処理装置100は、位置情報センサ以外の手段により位置検出機能を装備することも可能である。例えば、第2のセンサ部312としてイメージ・センサを備えている場合には、SLAM(Simultaneous Localization and Mapping)技術を利用して、自己位置推定を実現することができる。また、PlaceEngine技術を利用して、チップ・アンテナ403で受信する周辺の複数のアクセスポイントからの電波強度のバランスに基づいて、現在地を算出することができる。
第2のセンサ部312として位置情報センサを装備し、又は、情報処理装置100が位置検出機能を有している場合、制御部は、ユーザの位置情報の時系列すなわち経路情報に基づいて、ユーザの行動を認識することができる。
但し、情報処理装置100本体を貼着した場所に応じて外部環境情報の検出の適否がある。例えば、図1に示したように情報処理装置100本体がユーザの眉間に貼着されている場合には周囲の風景を撮像するのに適しているが、顎の下に貼着される場合には周囲の風景を撮像するには適していない。したがって、貼着場所と生体情報の要否に応じて適宜必要な環境センサを第2のセンサ部312に組み込むようにすればよい。
第1のアクチュエータ部321は、基本的には、ユーザの身体に対して直接出力する。例えば、第1のアクチュエータ部321として、小型スピーカや、肉伝導により音声を出力する肉伝導スピーカ、ハプティック出力可能なハプティック・デバイス、振動による刺激を印加する振動アクチュエータ、軽い電気刺激を与えるアクチュエータ(若しくは、微弱電流を出力するデバイス)などを挙げることができる。但し、情報処理装置100本体を貼着した場所に応じて出力の適否があり、また、情報処理装置100自体の用途に応じて出力の要否が異なる。したがって、貼着場所と情報出力の要否に応じて適宜必要なアクチュエータ素子を第1のアクチュエータ部321に組み込むようにすればよい。
第2のアクチュエータ部322は、基本的には、情報処理装置100を装着するユーザやその周囲の人に対して情報を出力する。第2のアクチュエータ部322から出力される情報として、通信部330を介して受信した、外部から提供される情報を挙げることができる。また、第1のセンサ部311や第2のセンサ部312による検出結果や、その検出データを制御部で解析又は認識した結果を、第2のアクチュエータ部322から出力することもできる。
例えば、第2のアクチュエータ部322として、光や画像を出力する表示部や、音声を出力するスピーカなどを挙げることができる。表示部は、例えば柔軟性の高い有機EL(Electro Luminescence)ディスプレイを用いて構成することができる。表示部は、筐体102内には収納されず、筐体102の表面に配設される。また、第2のアクチュエータ部322としてスピーカが備えられ場合には、筐体102の表面には、音響出力孔や排気孔が形成されることもある。
但し、情報処理装置100本体を貼着した場所に応じて出力の適否があり、また、情報処理装置100自体の用途に応じて出力の要否が異なる。したがって、貼着場所と情報出力の要否に応じて適宜必要なアクチュエータ素子を第2のアクチュエータ部322に組み込むようにすればよい。
通信部330は、外部と情報通信を行なう。例えば、通信部330は、制御部で処理されたセンサ部310の検出結果を外部に出力する。また、通信部330は、制御部やアクチュエータ部320に対する指示を外部から入力する。
通信部330は、例えばWi−Fiなどの無線通信を経由してインターネット上の装置(クラウドなど)と通信を行なう。あるいは、通信部330は、Bluetooth(登録商標)やその他の近距離通信機能を用いて、スマートフォンなどユーザが所持する他の情報端末と通信を行なう。通信部330が無線を利用して外部装置と情報通信を行なう際には、盗聴防止のために暗号鍵(前述)を用いた秘密通信を行なうことが好ましい。
また、通信部330は、NFC(Near Field Communication)のような近接無線通信技術を利用して、至近距離の情報端末と通信や認証処理を行なうようにしてもよい。また、通信部300は、人体通信機能を備え、同じユーザの別の身体部位に貼着された他の情報処理装置や同じユーザが所持する情報端末と人体通信を介して情報通信を行なうようにしてもよい。
第1のセンサ部311、第2のセンサ部312に適用可能なセンサ素子や、第1のアクチュエータ部321、第2のアクチュエータ322に適用可能なアクチュエータ素子は、情報処理装置100本体を貼着した場所にも依存する。貼着場所に応じたセンサ素子並びにアクチュエータ素子の適否を、図7にまとめた。
貼着する場所を限定して、最小限のセンサ素子及びアクチュエータ素子のみを装備するという情報処理装置100の構成方法と、多くの貼着場所に適用することを想定して、可能な限り多種類のセンサ素子及びアクチュエータ素子を装備するというハイスペックな情報処理装置100の構成方法が考えられる。
前者の方法によれば、1台の情報処理装置100を比較的安価に製作することが可能になるので、使い捨てタイプの情報処理装置100とすることもできる。
また、後者の構成方法によれば、現実に貼着した場所によっては、稼働させる必要がないセンサ素子及びアクチュエータ素子が生じる。そこで、各センサ素子及びアクチュエータ素子のオン/オフを手動で切り替えられるようにしてもよいし、制御部が振動センサから得られる振動データ(ユーザの体動)や生体センサなどのセンサ・データに基づいて貼着場所を推定して自動でオン/オフ切り替え制御を行なうようにしてよい。また、各センサ素子及びアクチュエータ素子の完全なオン/オフの切り替えを制御するのではなく、貼着した場所から推定される使用目的などに応じて、センサ感度を段階的に切り替える、アクチュエータの出力レベルを段階的に切り替える、といった制御を実施するようにしてもよい。
なお、温度センサを内蔵し、人などの検体の皮膚に貼付して用いられる皮膚用パッチ材について、既に提案されている(例えば、特許文献2を参照のこと)。この皮膚用パッチ材は、温度センサの他にマイクロプロセッサや送信機などの電気部とボタン型電池も内蔵するが、収音センサを装備していない。すなわち、この皮膚用パッチ材は、音声情報をUIに用いることができない、オーディオ・ログを扱うことができない、という観点などから、本明細書で開示する情報処理装置とは本質的に相違する。
第1の実施例では、ユーザの顎の下(若しくは咽喉部)に貼着される情報処理装置100(図1を参照のこと)を想定している。
情報処理装置100は、口や声帯から近い場所に貼着して用いられるので、収音センサは、微小な音声情報をライフログ情報として収音することができる。また、雑音がある環境下でも、肉伝導や骨伝導を利用して、ユーザの声を雑音から分離して効率的に収音することができる(図6を参照のこと)。また、情報処理装置100は顎の下に貼着されていて目立たないので、ユーザ本人やユーザの対話者に気づかれることなく、オーディオ・ログを記録することができる。
第2の実施例でも、ユーザの顎の下や咽喉部に貼着される情報処理装置100(図1を参照のこと)を想定している。また、情報処理装置100は、第1のセンサ311として、収音センサの他に、少なくとも1つの生体センサを装備していることを想定している。
生体センサは、脳波センサや静脈センサ、筋電センサ、体温センサ、発汗センサ、心拍又は脈拍センサ、振動センサなどのうち少なくとも1つ、又は2以上の組み合わせで構成される。生体センサは、情報処理装置100本体を身体表面に貼着したユーザの生体情報を検出する。
第1の実施例と同様に、本実施例においても、情報処理装置100は顎の下に貼着されていて目立たないので、ユーザ本人やユーザの対話者に気づかれることなく、オーディオ・ログを記録する。また、記録した又はライブのオーディオ・ロデータを、通信部330を介して外部装置に送信するようにしてもよい。
また、本実施例では、情報処理装置100は第1のセンサ311として生体センサを含むので、収音センサで収音されたオーディオ・データと生体センサで検出された生体情報とを時間方向に同期させて記録し、又は、生体情報と時間方向に同期をとりながらオーディオ・データを外部装置に送信するようにしてもよい。この場合、オーディオ・データと生体情報を併せて、ユーザのライフログとして管理することができる。
但し、オーディオ・ログを常時記録しているとデータ量が膨大になってしまうという問題がある。そこで、制御部は、生体センサ(上述)から得られる生体情報に基づいて、オーディオ・ログのフィルタリングを実施する。
例えば、情報処理装置100は、オーディオ・データの再生時に、オーディオ・ログと時間方向に同期がとられた生体情報に基づいてフィルタすることにより、オーディオ・ログを間欠的に再生するようにしてもよい。例えば、心拍数によってユーザの緊張度などを推定することができる。したがって、精度良く検出された心拍数によってオーディオ・ログをフィルタすることにより、ユーザの過去の体験を効率的、効果的に視聴することが可能になる。
また、顎の下ではなく頭部など低ノイズで脳波を検出できる部位に情報処理装置100本体が貼着されている場合には、脳波データに基づいてユーザが覚醒状態と推定される期間に限定して、オーディオ・ログの記録や外部出力を行なうようにしてもよい。
なお、オーディオ・ログと生体情報の時間方向に同期をとる方法は任意である。例えば、同期化されたオーディオ・データと生体情報を統合するようにしてもよいし、個別に扱われるオーディオ・データと生体情報の各々にタイムスタンプを付けるようにしてもよい。
図8には、情報処理装置100において、収音センサで収音されたオーディオ・データを、生体情報に関連付けて記録又は外部に送信するための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば情報処理装置100内の制御部が主導して実施されるものとする。
制御部は、収音センサに音声の入力があった場合には(ステップS801のYes)、続いて、生体センサで生体情報が検出されたかどうかをさらにチェックする(ステップS802)。
ここで、生体センサで生体情報が検出されない場合には(ステップS802のNo)、制御部は、生体情報以外の送信条件又は記録条件に従って、収音センサで収音されたオーディオ・データの、第2のアクチュエータ部322からの再生出力、外部への送信、又は記録を実施する(ステップS808)。
また、生体センサで生体情報が検出された場合には(ステップS802のYes)、制御部は、オーディオ・データと生体情報を時間方向に同期させるかどうかをチェックする(ステップS803)。そして、オーディオ・データと生体情報を時間方向に同期させる場合には(ステップS803のYes)、制御部は、生体情報をオーディオ・データと時間方向に同期させる(ステップS804)。
次いで、制御部は、収音したオーディオ・データを生体情報でフィルタすべきかどうかをチェックする(ステップS805)。
そして、制御部は、収音したオーディオ・データを生体情報でフィルタすべきと判断した場合には(ステップS805のYes)、収音したオーディオ・データを生体情報に基づいてフィルタする(ステップS806)。
次いで、制御部は、収音したオーディオ・データ(生体情報と時間方向に同期された場合や、生体情報に基づいてフィルタされた場合がある)を、第2のアクチュエータ部322で再生出力し、通信部330を介して外部に送信し、又はオーディオ・ログとして記録すべきかどうかをチェックする(ステップS807)。
ステップS807では、制御部は、ユーザからの音声指示や、生体情報の認識結果、通信部330を介して受信する外部からの指示などに基づいて、オーディオ・データの再生出力、外部出力、記録の要否を判定する。
そして、ステップS807における判定結果が肯定的であった場合には、制御部は、収音センサで収音されたオーディオ・データの、第2のアクチュエータ部322からの再生出力、外部への送信、又は記録を実施する(ステップS808)。
第3の実施例では、情報処理装置100本体を貼着する場所は特に限定されないが、情報処理装置100本体がユーザの身体に貼着されている貼着状態であるかどうかを検出する貼着センサを装備していることを想定している。
貼着センサは、例えば、人体が接近してきたことに伴う静電容量の変化を検出する静電容量センサや、人体の表面(皮膚)に照射した赤外線の反射光を検出する赤外線反射センサなどを用いて、貼着センサを構成することができる。貼着センサを、情報処理装置100本体を貼着する場所に適応した構成とすることが好ましい。なお、生体センサで生体信号(心拍など)を検出できる状態になったかどうかを以って、貼着状態を推定することもできる。また、後述する第6の実施例とも関連するが、振動センサから得られる振動データに基づいて、情報処理装置100本体のユーザの身体への貼着状態とともに貼着された場所も併せて推定することができる。
制御部は、貼着状態に応じて、情報処理装置100の動作を制御する。基本的に、情報処理装置100本体がユーザの身体表面に貼着されていない状態は、情報処理装置100が使用されていない状態とみなすことができる。したがって、貼着センサにより未貼着状態が検出されたときには、制御部は、貼着センサを含む一部の機能を除いて、回路を待機状態又は停止状態に移行させて、低消費電力化を図るようにしてもよい。
一方、貼着センサによりユーザの身体への貼着状態が検出されたときには、制御部は、待機状態又は停止状態の回路を起動させる。また、制御部は、貼着センサによりユーザの身体への貼着状態が検出されたことに応答して、認証処理など所定の処理を起動するようにしてもよい。
ここで言う認証は、情報処理装置100本体を貼着したユーザの本人認証と、他の機器との認証のいずれか一方又は両方の処理を含むものとする。また、制御部は、認証処理の中で、他の機器とのペアリングも行なうようにしてもよい。前者のユーザ認証には、例えば生体センサで検出される生体情報を用いるようにしてもよい。また、不正なしに認証処理を実現するために、電気部101は、ICチップのような耐タンパ性のある回路部品を備えていてもよい。
図9には、ユーザの身体への貼着状態に応じて情報処理装置100を動作させるための処理手順をフローチャートの形式で示している。図示の処理手順は、例えば情報処理装置100内の制御部が主導して実施されるものとする。なお、以下では、便宜上、貼着センサは状態が変化したときに(貼着状態から非貼着状態に変わったとき、又は、非貼着状態から貼着状態に変わったとき)、検出信号を出力するものとして説明する。
まず、制御部は、貼着センサからの入力があったかどうかをチェックする(ステップS901)。
貼着センサからの入力があったときには(ステップS901のYes)、制御部は、情報処理装置100が貼着状態に移行したかどうかをさらにチェックする(ステップS902)。
また、貼着センサからの入力がないときには(ステップS901のNo)、制御部は、貼着センサ以外のセンサ(例えば、生体センサや振動センサなど)の検出結果に基づいて、貼着状態の判別を試みる(ステップS904)。
そして、情報処理装置100本体がユーザの身体に貼着された状態であることが分かったとき(ステップS902のYes)、又は、貼着状態であることが推定されたときには(ステップS905のYes)、制御部は、待機状態又は停止状態の回路を起動させ、又は認証処理を起動して(ステップS903)、本処理を終了する。
一方、情報処理装置100本体がユーザの身体に貼着された状態でないことが分かったとき(ステップS902のNo)、又は、貼着状態でないことが推定されたときには(ステップS905のNo)、制御部は、回路の起動や認証処理の起動をスキップして、本処理を終了する。
第4の実施例では、情報処理装置100本体は耳裏などの耳に近い部位に貼着されるとともに、情報処理装置100が第2のアクチュエータとしてスピーカを備えていることを想定している。そして、情報処理装置100は、スピーカを利用して、ユーザに音声エージェント機能を提供することができる。
情報処理装置100が、第2のセンサ部312として振動センサを装備している場合、制御部は、検出された振動データの時系列に基づいて、ユーザの行動を認識することができる。また、情報処理装置100が、第2のセンサ部312として位置情報センサを装備し、又は、位置検出機能を有している場合には、ユーザの経路情報に基づいて、ユーザの行動を認識することができる。そして、制御部は、行動の認識結果に基づいて、ユーザが置かれている状況に適合した音声エージェントを提供することができる。
制御部は、収音センサで収音されたユーザの音声認識結果や、時々刻々と変化するユーザの位置情報、行動認識結果に基づいて、音声エージェントの駆動を制御する。あるいは、ユーザの現在位置に基づいて推定されるPOI(Point of Interest)の情報を、通信部330を介して外部装置(クラウドなど)から取得して、音声エージェントを通じてユーザに提示するようにしてもよい。
また、制御部は、通信部330を介して外部装置(スマートフォンなどの情報端末や、クラウドなど)から受信するデータに基づいて、音声エージェントの駆動を制御するようにしてもよい。音声エージェントのための情報を取得する際に、制御部は、通信部330を介して外部装置に対して、ユーザの位置情報や行動認識結果などの情報を送信するようにしてもよい。
また、情報処理装置100本体は手の甲などユーザの目に触れ易い部位に貼着されるとともに、情報処理装置100が第2のアクチュエータとして表示部を備えていてもよい。表示部は、筐体102内には収納されず、筐体102の表面に配設することで、ユーザは表示画面を視聴することができる。表示部を柔軟性の高い有機ELディスプレイを用いて構成することで、手の甲などの曲面に倣って情報処理装置100本体を良好なフィット感で貼着することができる。
情報処理装置100が、第2のセンサ部312として振動センサを装備している場合、制御部は、検出された振動データの時系列に基づいて、ユーザの行動を認識することができる。また、情報処理装置100が、第2のセンサ部312として位置情報センサを装備し、又は、位置検出機能を有している場合には、ユーザの経路情報に基づいて、ユーザの行動を認識することができる。そして、制御部は、収音センサで収音されたユーザの音声認識結果や、ユーザの行動の認識結果に基づいて、ユーザが置かれている状況に適合した視覚的な案内情報を表示部に提示することができる。
また、制御部は、ユーザの音声認識結果やユーザの行動の認識結果の情報を、通信部330を介して外部装置に送信し、外部装置から所得される関連情報を表示部に表示するようにしてもよい。もちろん、情報処理装置100は、外部装置から、ユーザの音声コマンドや行動とは無関係の情報を受信して、表示部に表示することもできる。
また、第4の実施例に係る情報処理装置100は、スピーカと表示部の両方を備え、通信部330を介して外部装置から受信する映像及び音声情報を再生出力するようにしてもよい。
第5の実施例では、同じユーザの身体に同時に貼着されている2台の情報処理装置100−1と情報処理装置100−2が連携して動作することを想定している。一方の情報処理装置100−1はカメラ(若しくは、イメージ・センサ)などの撮像機能を装備し、他方の情報処理装置100−2は表示部若しくはディスプレイ機能を装備し、情報処理装置100−1で撮像された映像を例えばリアルタイムで表示出力する。
撮像機能を備えた情報処理装置100−1を貼着する場所は任意である。但し、ユーザの死角の方向にカメラの視線方向が向くような場所に情報処理装置100−1を貼着すると、他方の情報処理装置100−2側ではユーザにとって死角となっている場所を表示することになり、ユーザの視界を補うことができるという効果を得易くなる。例えば、ユーザのこめかみ付近に、カメラが横方向を向くように、情報処理装置100−1を貼着することが好ましい。
また、ディスプレイ機能を備えた情報処理装置100−2を貼着する場所は、ユーザ本人が表示画像を観察できる場所、例えば手の甲を挙げることができる。ユーザが右手若しくは利き腕で作業中に表示画像を目視したいときには、左手若しくは利き腕以外の腕の手の甲に情報処理装置100−2を貼着していることが好ましい。
また、情報処理装置100−1は、カメラ若しくは撮像機能とともに、周囲音を収音するマイクロフォンを併せて装備してもよい。この場合、情報処理装置100−2側では、情報処理装置100−1で撮像された映像とオーディオを併せて出力するようにしてもよい。
情報処理装置100−1と情報処理装置100−2は、生体通信又は近距離無線通信を利用して直接通信を行なうことにより、連携して動作する。あるいは、スマートフォンのようなユーザが所持する他の情報端末を経由して情報処理装置100−1と情報処理装置100−2が通信して、連携動作を実現することもできる。
図10には、2台の情報処理装置100−1と情報処理装置100−2が連携する際の通信シーケンス例を示している。他の情報端末を経由して連携することも想定されるが、図10では図面の簡素化のため、情報処理装置100−1と情報処理装置100−2が直接通信し、又は、他の情報端末の図示を省略している。
例えば、情報処理装置100−1と情報処理装置100−2が同じユーザの身体に同時に貼着された状態となったときに、自動的に、あるいはユーザの手動操作(音声による指示を含む)により、情報処理装置100−1と情報処理装置100−2間で認証処理並びにペアリングのための処理が起動し、これらの処理を経て、情報処理装置100−1と情報処理装置100−2が連携する状態に入る。
連携している状態では、情報処理装置100−1から情報処理装置100−2へ、画像とオーディオ・データを常時送信し続け、情報処理装置100−2も受信した画像とオーディオ・データを再生出力し続けるようにしてもよい。但し、画像とオーディオ・データを常時送信し続けると、装置の処理負荷が高く、バッテリの消耗が懸念される。とりわけ画像データの処理負荷は高い。通信帯域を使用し続けることも懸念される。そこで、ユーザの生体情報を利用して画像及びオーディオ・データのフィルタを行なうようにしてもよい。
情報処理装置100−2側で受信データのフィルタを行なうようにすることもできるが、情報処理装置100−1から送信する前にフィルタを行なうようにすることがシステム全体としては効率的である。また、ユーザの生体情報を、情報処理装置100−1又は情報処理装置100−2のいずれに装備された生体センサで検出するようにしてもよい。あるいは、同じユーザに同時に貼着されているその他の情報処理装置で検出された生体情報を利用してフィルタを行なうようにすることも可能である。
なお、上記では説明の簡素化のため、2台の情報処理装置100−1、100−2が連携する実施例を取り上げたが、もちろん同じユーザに同時に貼着される3台以上の情報処理装置が連携するという実施例も想定される。
多くの貼着場所に適用することを想定して、可能な限り多種類のセンサ素子及びアクチュエータ素子を装備するという、ハイスペックな情報処理装置100の構成方法が考えられる(前述)。このような構成方法を採用する場合、現実に貼着した場所に応じて、稼働させることが必須若しくは好ましいセンサ素子及びアクチュエータ素子と、逆に稼働させる必要がないセンサ素子及びアクチュエータ素子が生じる。
稼働させることが好ましいセンサ素子及びアクチュエータ素子を稼働させていないと、ユーザは情報処理装置100を自分の身体に貼着したことによる十分な恩恵を享受できなくなる。また、稼働させる必要がないセンサ素子及びアクチュエータ素子を稼働し続けると、バッテリを浪費してしまう。
そこで、ハイスペックな情報処理装置100においては、ユーザの身体に貼着された場所を自動認識又は手動認識(ユーザからの音声による指示を含む)して、各センサ素子及びアクチュエータ素子のオン/オフを切り替え制御するようにする。また、各センサ素子及びアクチュエータ素子の完全なオン/オフの切り替えを制御するのではなく、貼着した場所から推定される使用目的などに応じて、センサ感度を段階的に切り替える、アクチュエータの出力レベルを段階的に切り替える、といった制御を実施するようにしてもよい。
例えば、情報処理装置100の起動処理として、特定の(若しくは、所定数以上の生体センサを起動させて、制御部は、検出された生体情報(若しくは、検出された複数の生体情報の組み合わせ)に基づいて、貼着場所を推定する。そして、制御部は、推定された貼着場所に基づいて、必要なセンサ素子及びアクチュエータ素子をオンにするとともに、不要なセンサ素子及びアクチュエータ素子をオフにする。
あるいは、制御部は、振動センサで検出した振動データに基づいて情報処理装置100本体の貼着場所を推定するとともに、推定された貼着場所に基づいて、必要なセンサ素子及びアクチュエータ素子をオンにするとともに、不要なセンサ素子及びアクチュエータ素子をオフにする。
情報処理装置100本体が貼着された場所毎に、振動データの特徴が相違し、必然的に振動データに基づく行動認識アルゴリズムも相違する。そこで、制御部は、自ら推定した貼着場所に応じた認識アルゴリズムを適用して、振動データに基づくユーザの行動認識を実施するようにし、さらに振動データに基づく行動認識の学習を実施するようにしてもよい。
また、制御部は、貼着場所に応じて起動したアクチュエータ素子を用いて、行動認識結果に応じた駆動制御を実施して、ユーザに対して行動認識結果をフィードバックし、若しくは行動認識結果に基づく情報提供などのサービスを実施するようにしてもよい。
図11には、情報処理装置100の貼着場所に応じた処理手順をフローチャートの形式で示している。図示の処理手順は、例えば情報処理装置100内の制御部が主導して実施されるものとする。
まず、制御部は、自動認識又は手動認識により、情報処理装置100本体の貼着場所の認識処理を実施する(ステップS1101)。
ステップS1101では、制御部は、特定の(若しくは、所定数以上の生体センサを起動させて、制御部は、検出された生体情報(若しくは、検出された複数の生体情報の組み合わせ)に基づいて、情報処理装置100本体の貼着場所を推定する。あるいは、制御部は、手動認識(ユーザからの音声による指示を含む)に基づいて、情報処理装置100本体の貼着場所を推定する。あるいは、制御部は、振動センサで検出した振動データに基づいて、情報処理装置100本体の貼着場所を推定する。
ここで、制御部は、情報処理装置100本体の貼着場所を推定できたかどうかをチェックする(ステップS1102)。貼着場所を推定できなかった場合には(ステップS1102のNo)、貼着場所の推定が不能かどうかをさらにチェックする(ステップS1106)。
推定不能でなければ(ステップS1106のNo)、ステップS1101に戻り、貼着場所の推定処理を継続する。また、貼着場所の推定が不能な場合には(ステップS1106のYes)、本処理を停止(ABORT)する。例えば、所定時間以内若しくは所定の試行回数以内で貼着場所を推定することができなかった場合には、推定不能と判定する。あるいは、貼着場所を推定不能な場合には、推定結果に基づかず、あらかじめ決められたセンサ素子及びアクチュエータ素子の組み合わせをオンにするようにしてもよい。
一方、情報処理装置100本体の貼着場所を推定することができた場合には(ステップS1102のYes)、制御部は、推定された貼着場所に基づいて、必要なセンサ素子及びアクチュエータ素子をオンにするとともに、不要なセンサ素子及びアクチュエータ素子をオフにする(ステップ1103)。
その後、制御部は、ステップS1101で推定した貼着場所に応じた認識アルゴリズムを適用して、振動データに基づくユーザの行動認識を実施する(ステップS1104)。
そして、制御部は、ステップS1103で貼着場所に応じて起動したアクチュエータ素子を用いて、行動認識結果に応じた駆動制御を実施して、ユーザに対して行動認識結果をフィードバックし、若しくは行動認識結果に基づく情報提供などのサービスを実施する(ステップS1105)。
なお、行動認識処理やその学習処理は計算負荷が大きいことから、比較的安価で小型に構成される情報処理装置100ではなく、スマートフォンなどユーザが所持する他の情報端末で実施するようにしてもよい。
図12には、情報処理装置100の振動センサで検出される振動データの処理を他の情報端末側で実施する際の通信シーケンス例を示している。但し、情報処理装置100は、Wi−Fi若しくはその他の近距離無線通信を利用して相互接続されるものとする。
一連の処理に先駆けて、情報処理装置100と情報端末は認証処理を実施する。
この認証処理に成功すると、情報処理装置100は、所定期間だけ、自身の振動センサで検出される振動データを情報端末に送信し続ける。
情報端末は、情報処理装置100から受信した振動データから特徴データを抽出し、特徴データの時系列情報に基づいて情報処理装置100が貼着されている場所を推定すると、推定結果を情報処理装置100に返信する。
情報処理装置100は、情報端末が推定した貼着場所に従って、必要なセンサ素子及びアクチュエータ素子をオンにするとともに、不要なセンサ素子及びアクチュエータ素子をオフにする。
その後も、情報処理装置100は、自身の振動センサで検出される振動データを情報端末に送信し続ける。
情報端末は、先に自身で推定した情報処理装置100の貼着場所に応じて、振動データに基づくユーザの行動認識を実施し、さらに振動データに基づく行動認識の学習を実施する。そして、情報端末は、行動認識の結果や学習結果を、ユーザの行動履歴に関する情報として端末内に保存する。また、情報端末は、行動認識の結果や学習結果を、情報処理装置100にフィードバックする。
情報処理装置100側では、情報端末からフィードバックされた行動認識結果に応じてアクチュエータ素子の駆動制御を実施して、ユーザに対して行動認識結果をフィードバックし、若しくは行動認識結果に基づく情報提供などのサービスを実施する。
情報処理装置100は、ユーザの身体表面に貼着して、スタンドアロンのライフログ記録装置として利用に供される一方、ユーザが所持するスマートフォンなどの他の情報端末や、クラウド(インターネット上に設置されたサーバなど)などとも接続して利用することも可能である。情報処理装置100は、他の情報端末やクラウドに接続することで、これらの計算リソースを活用して、スタンドアロンでは困難な処理を実現可能にして、多種多様なサービスをユーザに提供することが可能になる。
以下では、第7の実施例として、情報処理装置100と外部装置との接続手順について説明する。
図13には、情報処理装置100と、ユーザが所持する情報端末(スマートフォンなど)が接続するための処理手順を例示している。但し、同図では、情報処理装置100と情報端末はNFCなどの近接無線通信技術を利用して接続されるものとする。
情報処理装置100は、粘着部103の糊面から剥離紙(前述)を剥離したことなどに応答して電源がオンになると(S1301)、粘着部103にてユーザの身体表面に貼着されたことを検出する貼着検出待ち状態に入る(S1302)。
そして、情報処理装置100は、粘着部103がユーザの身体表面に貼着されたことを検出すると(S1303のYes)、続いて、スマートフォンなど、同じユーザが所持する情報端末からの近接無線通信による接続要求を待機する(ステップS1304)。
ユーザは、情報端末本体を、自分の皮膚に貼着された情報処理装置100本体にかざすなどして近接させる(S1311)。そして、情報端末は、近接無線通信を利用して、情報処理装置100に対して接続要求を発行する(S1312)。
情報処理装置100は、情報端末から接続要求を受信すると(S1304のYes)、情報処理装置100自身の情報を含む端末情報を、情報端末に対して発行する(S1305)。端末情報の構成は任意である。例えば情報処理装置100を識別する装置識別情報や、情報処理装置100本体が貼着されたユーザを特定するユーザ固有情報などを端末情報に含めるようにしてもよい。
情報端末は、接続要求先の情報処理装置100から端末情報を受信することができたなら(S1313のYes)、情報処理装置100に接続完了通知を送信することで(S1314)、情報処理装置100との接続を完了する。なお、情報端末は、情報処理装置100から受信した端末情報の検証若しくは認証処理を行なってから、接続完了通知を送信するようにしてもよい。
また、情報処理装置100は、接続要求元の情報端末から接続完了通知を受信したことにより(S1306のYes)、情報端末との接続を完了する。
図14には、情報処理装置100とクラウドが、ユーザが所持する情報端末(スマートフォンなど)を経由して接続するための処理手順を例示している。但し、同図では、情報処理装置100と情報端末間はNFCなどの近接無線通信技術を利用して接続され、情報端末とクラウド間はインターネットなどの広域ネットワーク経由で接続されることを想定している。
情報処理装置100は、粘着部103の糊面から剥離紙(前述)を剥離したことなどに応答して電源がオンになると(S1401)、粘着部103にてユーザの身体表面に貼着されたことを検出する貼着検出待ち状態に入る(S1402)。
そして、情報処理装置100は、粘着部103がユーザの身体表面に貼着されたことを検出すると(S1403のYes)、続いて、スマートフォンなど、同じユーザが所持する情報端末からの近接無線通信による接続要求を待機する(ステップS1404)。
ユーザは、情報端末本体を、自分の皮膚に貼着された情報処理装置100本体にかざすなどして近接させる(S1411)。そして、情報端末は、近接無線通信を利用して、情報処理装置100に対して接続要求を発行する(S1412)。
情報処理装置100は、情報端末から接続要求を受信すると(S1404のYes)、情報処理装置100自身の情報を含む端末情報を、情報端末に対して発行する(S1405)。
情報端末は、接続要求先の情報処理装置100から端末情報を受信することができたなら(S1413のYes)、続いてクラウドに対して接続要求を発行する(S1414)。
クラウドは、情報端末から接続要求を受信すると(S1421のYes)、情報端末に接続完了通知を送信することで(S1422)、情報端末(若しくは、情報端末越しの情報処理装置100)との接続を完了する。なお、クラウドは、情報端末や情報処理装置100の検証若しくは認証処理を行なってから、接続完了通知を送信するようにしてもよい。
情報端末は、接続要求先のクラウドから接続完了通知を受信すると(S1415のYes)、情報処理装置100に接続完了通知を送信することで(S1416)、情報処理装置100との接続を完了する。
また、情報処理装置100は、接続要求元の情報端末から接続完了通知を受信したことにより(S1406のYes)、情報端末との接続を完了する。
図15には、情報処理装置100とクラウドが接続するための処理手順を例示している。但し、同図では、情報処理装置100がユーザ認証用の生体センサを搭載していることを想定している。なお、図14に示した接続手順と同様に、情報処理装置100とクラウドは、ユーザが所持する情報端末などの中継装置を介して接続を行なってもよいが、図15では説明の簡素化のため中継装置については図示を省略する。
情報処理装置100は、粘着部103の糊面から剥離紙(前述)を剥離したことなどに応答して電源がオンになると(S1501)、粘着部103にてユーザの身体表面に貼着されたことを検出する貼着検出待ち状態に入る(S1502)。
情報処理装置100は、粘着部103がユーザの身体表面に貼着されたことを検出すると(S1503のYes)、続いて、生体センサを用いて、ユーザ認証用、すなわちユーザ固有情報となる生体情報を、生体センサを用いてユーザの身体から取得する(ステップS1504)。そして、情報処理装置100は、クラウドに対して、ユーザ固有情報を含んだ接続要求を発行する(S1505)。
クラウドは、情報処理装置100から接続要求を受信すると(S1511のYes)、接続要求元の情報処理装置100に接続完了通知を送信することで(S1512)、情報処理装置100との接続を完了する。このとき、クラウドは、情報処理装置100が貼着されたユーザのユーザ固有情報の検証若しくは認証処理を行なってから、接続完了通知を送信するようにしてもよい。
また、情報処理装置100は、接続要求先のクラウド接続完了通知を受信したことにより(S1506のYes)、情報端末との接続を完了する。
図16には、情報処理装置100とクラウドが接続するための処理手順を例示している。但し、同図に示す接続手順では、情報処理装置100の使用開始時(若しくは、購入時)に、情報処理装置100とこれを身体に貼着したユーザのアカウントとを対応付けるという点で、図15に示した接続手順とは相違する。なお、図14に示した接続手順と同様に、情報処理装置100とクラウドは、ユーザが所持する情報端末などの中継装置を介して接続を行なってもよいが、図16では説明の簡素化のため中継装置については図示を省略する。
情報処理装置100は、粘着部103の糊面から剥離紙(前述)を剥離したことなどに応答して電源がオンになると(S1601)、粘着部103にてユーザの身体表面に貼着されたことを検出する貼着検出待ち状態に入る(S1602)。
情報処理装置100は、粘着部103がユーザの身体表面に貼着されたことを検出すると(S1603のYes)、続いて、情報処理装置100を一意に識別する装置識別情報を、制御部内のメモリなどからから取得する(ステップS1604)。そして、情報処理装置100は、クラウドに対して、装置識別情報とユーザ・アカウントの情報を含んだ接続要求を発行する(S1605)。
クラウドは、情報処理装置100から接続要求を受信すると(S1611のYes)、受け取った装置識別情報とユーザ・アカウントを確認して、これらの対応付け処理を実施する(S1612)。そして、クラウドは、接続要求元の情報処理装置100に接続完了通知を送信することで(S1613)、情報処理装置100との接続を完了する。
また、情報処理装置100は、接続要求先のクラウド接続完了通知を受信したことにより(S1606のYes)、情報端末との接続を完了する。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する情報処理装置は、身体の表面(皮膚)に貼着して用いられるウェアラブル・デバイスであり、例えばユーザのこめかみ、眉間、耳裏、顎の下、首、首元、咽喉部、上腕、前腕、手首、手の甲、腹部などの部位に貼着して用いられる。また、同様の情報処理装置を、人体ではなくさまざまな機械類やモノに貼着して、IoTデバイスとしても活用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)収音機能を有する収音センサと、
前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、
前記収音センサ及び前記通信部を制御する制御部と、
前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、
前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、
前記筐体部をユーザに固定する貼着部と、
を具備する情報処理装置。
(2)前記収音センサは、前記ユーザの肉伝導により収音可能である、
上記(1)に記載の情報処理装置。
(3)前記ユーザの生体情報を検出する生体センサをさらに備え、
前記制御部は、前記生体センサにより検出された生体情報に基づいて、前記収音センサにより収音されたオーディオ・データに対する処理を制御する、
上記(1)又は(2)のいずれかに記載の情報処理装置。
(4)前記制御部は、前記生体センサにより検出された生体情報に基づいて、前記オーディオ・データの間欠再生を制御する、
上記(3)に記載の情報処理装置。
(5)前記制御部は、前記オーディオ・データと前記生体情報とを時間方向に同期させた統合信号を生成して、前記通信部を介して出力するように制御する、
上記(3)又は(4)のいずれかに記載の情報処理装置。
(6)前記貼着部における前記ユーザとの貼着状態を検出する貼着センサをさらに備え、
前記制御部は、前記貼着センサにより検出された貼着状態に応じて、前記情報処理装置の動作を制御する、
上記(1)乃至(5)のいずれかに記載の情報処理装置。
(7)さらにアクチュエータを備える、
上記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)前記アクチュエータとしてスピーカを備え、
前記筐体部は、前記貼着部により前記ユーザの耳裏に固定される、
上記(7)に記載の情報処理装置。
(9)前記アクチュエータとして表示部を備える、
上記(7)又は(8)のいずれかに記載の情報処理装置。
(10)撮像センサをさらに備える、
上記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)さらに複数種類のセンサと複数種類のアクチュエータを備え、
前記制御部は、前記の複数種類のセンサと複数種類のアクチュエータを制御する、
上記(1)乃至(10)のいずれかに記載の情報処理装置。
(12)前記制御部は、前記貼着部で前記筐体部を前記ユーザに固定した場所に応じて、各センサ及び各アクチュエータの少なくともオン/オフを制御する、
上記(11)に記載の情報処理装置。
(13)振動センサをさらに備え、
前記制御部は、前記振動センサが検出する前記ユーザの身体の振動データに基づいて認識される固定場所に応じて、各センサ及び各アクチュエータの少なくともオン/オフを制御する、
上記(11)に記載の情報処理装置。
(14)前記筐体部は、柔軟性を有する、
上記(1)乃至(13)のいずれかに記載の情報処理装置。
(14−1)前記筐体部は、撥水性を有する、
上記(1)乃至(14)のいずれかに記載の情報処理装置。
(14−2)前記筐体部の表面は肌色である、
上記(1)乃至(14)のいずれかに記載の情報処理装置。
(15)前記収音センサ、前記通信部、及び前記制御部を含む回路部品を搭載する基板部をさらに備え、
前記筐体部は、前記基板部を収納する、
上記(1)乃至(14)のいずれかに記載の情報処理装置。
(16)前記基板部は、少なくとも2方向の切り込みを有し、柔軟性又は伸縮性を備える、
上記(15)に記載の情報処理装置。
(17)前記貼着部は、1以上の開口を有する、
上記(1)乃至(16)のいずれかに記載の情報処理装置。
(18)前記貼着部に積層された体液処理部をさらに備える、
上記(1)乃至(17)のいずれかに記載の情報処理装置。
(18−1)前記体液処理部は、吸湿性又は透湿性を有する、
上記(18)に記載の情報処理装置。
(18−2)前記体液処理部は、毛細管現象により体液を誘導するメッシュ材からなる、
上記(18)に記載の情報処理装置。
(18−3)前記体液処理部は、高分子ポリマー吸湿材からなる、
上記(18)に記載の情報処理装置。
(19)収音機能を有する収音センサと、前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部を具備する情報処理装置の制御方法であって、
前記収音センサにより収音したオーディオ・データを処理するステップと、
前記通信部を介した送受信処理を制御するステップと、
を有する情報処理装置の制御方法。
(20)収音機能を有する収音センサと、前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部を具備する情報処理装置を制御するためのコンピュータ・プログラムを記録する記録媒体であって、前記コンピュータ・プログラムは、
前記収音センサにより収音したオーディオ・データを処理するステップと、
前記通信部を介した送受信処理を制御するステップと、
をコンピュータに実行させるようにコンピュータ可読形式で記述される、記録媒体。
100…情報処理装置
101…電気部、102…筐体部
103…貼着部、104…体液処理部
310…センサ部
311…第1のセンサ部、312…第2のセンサ部
320…アクチュエータ部
321…第1のアクチュエータ部、322…第2のアクチュエータ部
330…通信部
400…基板、401…収音センサ、402…制御部
403…チップ・アンテナ、404…電源部

Claims (20)

  1. 収音機能を有する収音センサと、
    前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、
    前記収音センサ及び前記通信部を制御する制御部と、
    前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、
    前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、
    前記筐体部をユーザに固定する貼着部と、
    を具備する情報処理装置。
  2. 前記収音センサは、前記ユーザの肉伝導により収音可能である、
    請求項1に記載の情報処理装置。
  3. 前記ユーザの生体情報を検出する生体センサをさらに備え、
    前記制御部は、前記生体センサにより検出された生体情報に基づいて、前記収音センサにより収音されたオーディオ・データに対する処理を制御する、
    請求項1に記載の情報処理装置。
  4. 前記制御部は、前記生体センサにより検出された生体情報に基づいて、前記オーディオ・データの間欠再生を制御する、
    請求項3に記載の情報処理装置。
  5. 前記制御部は、前記オーディオ・データと前記生体情報とを時間方向に同期させた統合信号を生成して、前記通信部を介して出力するように制御する、
    請求項3に記載の情報処理装置。
  6. 前記貼着部における前記ユーザとの貼着状態を検出する貼着センサをさらに備え、
    前記制御部は、前記貼着センサにより検出された貼着状態に応じて、前記情報処理装置の動作を制御する、
    請求項1に記載の情報処理装置。
  7. さらにアクチュエータを備える、
    請求項1に記載の情報処理装置。
  8. 前記アクチュエータとしてスピーカを備え、
    前記筐体部は、前記貼着部により前記ユーザの耳裏に固定される、
    請求項7に記載の情報処理装置。
  9. 前記アクチュエータとして表示部を備える、
    請求項7に記載の情報処理装置。
  10. 撮像センサをさらに備える、
    請求項1に記載の情報処理装置。
  11. さらに複数種類のセンサと複数種類のアクチュエータを備え、
    前記制御部は、前記の複数種類のセンサと複数種類のアクチュエータを制御する、
    請求項1に記載の情報処理装置。
  12. 前記制御部は、前記貼着部で前記筐体部を前記ユーザに固定した場所に応じて、各センサ及び各アクチュエータの少なくともオン/オフを制御する、
    請求項11に記載の情報処理装置。
  13. 振動センサをさらに備え、
    前記制御部は、前記振動センサが検出する前記ユーザの身体の振動データに基づいて認識される固定場所に応じて、各センサ及び各アクチュエータの少なくともオン/オフを制御する、
    請求項11に記載の情報処理装置。
  14. 前記筐体部は、柔軟性を有する、
    請求項1に記載の情報処理装置。
  15. 前記収音センサ、前記通信部、及び前記制御部を含む回路部品を搭載する基板部をさらに備え、
    前記筐体部は、前記基板部を収納する、
    請求項1に記載の情報処理装置。
  16. 前記基板部は、少なくとも2方向の切り込みを有し、柔軟性又は伸縮性を備える、
    請求項15に記載の情報処理装置。
  17. 前記貼着部は、1以上の開口を有する、
    請求項1に記載の情報処理装置。
  18. 前記貼着部に積層された体液処理部をさらに備える、
    請求項1に記載の情報処理装置。
  19. 収音機能を有する収音センサと、前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部を具備する情報処理装置の制御方法であって、
    前記収音センサにより収音したオーディオ・データを処理するステップと、
    前記通信部を介した送受信処理を制御するステップと、
    を有する情報処理装置の制御方法。
  20. 収音機能を有する収音センサと、前記収音センサにより収音されたオーディオ・データを外部に無線送信する通信部と、前記収音センサ、前記通信部、及び前記制御部のうち少なくとも1つに対して電源を供給する電源部と、前記収音センサ、前記通信部、前記制御部、及び前記電源部のうち少なくとも1つを収納する筐体部と、前記筐体部をユーザに固定する貼着部を具備する情報処理装置を制御するためのコンピュータ・プログラムを記録する記録媒体であって、前記コンピュータ・プログラムは、
    前記収音センサにより収音したオーディオ・データを処理するステップと、
    前記通信部を介した送受信処理を制御するステップと、
    をコンピュータに実行させるようにコンピュータ可読形式で記述される、記録媒体。
JP2019519493A 2017-05-23 2018-03-23 情報処理装置及びその制御方法、並びに記録媒体 Active JP7095692B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017101968 2017-05-23
JP2017101968 2017-05-23
PCT/JP2018/011745 WO2018216339A1 (ja) 2017-05-23 2018-03-23 情報処理装置及びその制御方法、並びに記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018216339A1 true JPWO2018216339A1 (ja) 2020-03-26
JP7095692B2 JP7095692B2 (ja) 2022-07-05

Family

ID=64396646

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019519493A Active JP7095692B2 (ja) 2017-05-23 2018-03-23 情報処理装置及びその制御方法、並びに記録媒体

Country Status (4)

Country Link
US (1) US10869124B2 (ja)
EP (1) EP3633496B1 (ja)
JP (1) JP7095692B2 (ja)
WO (1) WO2018216339A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110367934B (zh) * 2019-07-25 2023-02-03 深圳大学 一种基于非语音身体声音的健康监测方法及监测系统
FR3109649B1 (fr) * 2020-04-27 2024-08-16 Actronika Dispositif haptique auto-adhésif
EP4153032A1 (en) * 2020-05-22 2023-03-29 Given Imaging Ltd. Adhesion detection for a medical patch

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3760173B2 (ja) * 2002-08-30 2006-03-29 淑貴 中島 マイクロフォン、コミュニケーションインタフェースシステム
JP2007117268A (ja) * 2005-10-26 2007-05-17 Seiko Epson Corp 生体情報機器
JP2013103040A (ja) * 2011-11-16 2013-05-30 Sony Corp 電子機器
JP2015217045A (ja) * 2014-05-15 2015-12-07 パナソニックIpマネジメント株式会社 生体音センサおよび生体音診断装置
JP2016202347A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 生体情報処理システム、生体情報処理装置及び解析結果情報の生成方法
JP2016214731A (ja) * 2015-05-25 2016-12-22 ローム株式会社 バイタルセンサモジュールおよびその動作方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6356639B1 (en) * 1997-04-11 2002-03-12 Matsushita Electric Industrial Co., Ltd. Audio decoding apparatus, signal processing device, sound image localization device, sound image control method, audio signal processing device, and audio signal high-rate reproduction method used for audio visual equipment
WO2002063260A2 (en) 2001-02-08 2002-08-15 Mini-Mitter Company, Inc. Skin patch including a temperature sensor
WO2005067340A1 (ja) * 2004-01-09 2005-07-21 Asahi Kasei Kabushiki Kaisha 体内伝導音マイクロフォン、信号処理装置、コミュニケーションインタフェースシステム、採音方法
JP4507992B2 (ja) 2005-06-09 2010-07-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP5256119B2 (ja) * 2008-05-27 2013-08-07 パナソニック株式会社 補聴器並びに補聴器に用いられる補聴処理方法及び集積回路
US20150173672A1 (en) * 2013-11-08 2015-06-25 David Brian Goldstein Device to detect, assess and treat Snoring, Sleep Apneas and Hypopneas
JP6503559B2 (ja) 2014-10-20 2019-04-24 ソニー株式会社 音声処理システム
EP3081157A1 (en) 2015-04-17 2016-10-19 Seiko Epson Corporation Biological information processing system, biological information processing device, terminal device, method for generating analysis result information, and biological information processing method
US20160367190A1 (en) * 2015-06-16 2016-12-22 Mondevices Inc. Method and system of continuous monitoring of body sounds via wearable wireless body sound monitor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3760173B2 (ja) * 2002-08-30 2006-03-29 淑貴 中島 マイクロフォン、コミュニケーションインタフェースシステム
JP2007117268A (ja) * 2005-10-26 2007-05-17 Seiko Epson Corp 生体情報機器
JP2013103040A (ja) * 2011-11-16 2013-05-30 Sony Corp 電子機器
JP2015217045A (ja) * 2014-05-15 2015-12-07 パナソニックIpマネジメント株式会社 生体音センサおよび生体音診断装置
JP2016202347A (ja) * 2015-04-17 2016-12-08 セイコーエプソン株式会社 生体情報処理システム、生体情報処理装置及び解析結果情報の生成方法
JP2016214731A (ja) * 2015-05-25 2016-12-22 ローム株式会社 バイタルセンサモジュールおよびその動作方法

Also Published As

Publication number Publication date
US10869124B2 (en) 2020-12-15
JP7095692B2 (ja) 2022-07-05
EP3633496A1 (en) 2020-04-08
US20200077183A1 (en) 2020-03-05
EP3633496B1 (en) 2022-07-20
WO2018216339A1 (ja) 2018-11-29
EP3633496A4 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
US11642431B2 (en) Information processing apparatus, control method of the same, and recording medium
US11871197B2 (en) Multifunctional earphone system for sports activities
US20240121548A1 (en) Stand-alone multifunctional earphone for sports activities
CN105392094B (zh) 包括位置识别单元的助听装置
JP7095692B2 (ja) 情報処理装置及びその制御方法、並びに記録媒体
CN105577924B (zh) 可穿戴设备控制终端设备的方法、可穿戴设备和终端设备
US20140270218A1 (en) Wireless electronic stethoscope
KR102314644B1 (ko) 주변 디바이스의 정보를 제공하는 시스템 및 방법
KR20160074408A (ko) 이동 단말을 이용한 스케줄 알림 방법 및 그 이동 단말
KR20130007117A (ko) 이동 단말기 및 이동 단말기의 생체신호 측정 방법
US20230051613A1 (en) Systems and methods for locating mobile electronic devices with ear-worn devices
CN109040462A (zh) 行程提醒方法、装置、存储介质及穿戴式设备
CN106714105A (zh) 一种穿戴设备的播放模式控制方法及穿戴设备
KR20170111450A (ko) 보청장치, 휴대장치 및 그 제어방법
JP2017038911A (ja) 耳装着型装置
CN109257490A (zh) 音频处理方法、装置、穿戴式设备及存储介质
CN109241900B (zh) 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
WO2019039591A4 (ja) 読み上げシステム及び読み上げ方法
WO2021095832A1 (ja) 首掛け型装置
US20230292064A1 (en) Audio processing using ear-wearable device and wearable vision device
US9704414B2 (en) Blind aid device
WO2016148180A1 (ja) 耳装着型装置および充電装置
KR20230024871A (ko) 단말기 제어를 위한 시스템 및 방법
KR20170024436A (ko) 웨어러블 디바이스 및 그 제어 방법
RU2806269C1 (ru) Системы и способы управления оконечным устройством

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151