JP7254346B2 - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP7254346B2
JP7254346B2 JP2019153631A JP2019153631A JP7254346B2 JP 7254346 B2 JP7254346 B2 JP 7254346B2 JP 2019153631 A JP2019153631 A JP 2019153631A JP 2019153631 A JP2019153631 A JP 2019153631A JP 7254346 B2 JP7254346 B2 JP 7254346B2
Authority
JP
Japan
Prior art keywords
user
information
processor
information processing
coping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019153631A
Other languages
English (en)
Other versions
JP2021033678A (ja
Inventor
雅弘 佐藤
賢吾 得地
Original Assignee
株式会社Agama-X
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Agama-X filed Critical 株式会社Agama-X
Priority to JP2019153631A priority Critical patent/JP7254346B2/ja
Priority to CN202010034674.9A priority patent/CN112433601A/zh
Priority to US16/741,748 priority patent/US20210063977A1/en
Publication of JP2021033678A publication Critical patent/JP2021033678A/ja
Application granted granted Critical
Publication of JP7254346B2 publication Critical patent/JP7254346B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/021—Measuring pressure in heart or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1112—Global tracking of patients, e.g. by using GPS
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/242—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents
    • A61B5/245—Detecting biomagnetic fields, e.g. magnetic fields produced by bioelectric currents specially adapted for magnetoencephalographic [MEG] signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/318—Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2614—HVAC, heating, ventillation, climate control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/26—Pc applications
    • G05B2219/2642—Domotique, domestic, home control, automation, smart house
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Databases & Information Systems (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、情報処理装置及びプログラムに関する。
脳波等の生体情報を用いて機器を操作することが考えられる。
引用文献１には、使用者の脳波から脳波生体信号を検出し、使用者の表面筋電位から表面筋電位生体信号を検出し、両生体信号に基づいて制御信号を演算する装置が記載されている。
引用文献２には、使用者の脳波を取得し、その脳波を分析することで得られた分析結果に従って複数の被操作装置を選択的に操作する装置が記載されている。
特開２０１５－２１１７０５号公報 特開２０１６－６７９２２号公報
ところで、ユーザの状態に対処することができる手段が複数ある場合、その手段を実現するためにどの機器に操作指示を与えるべきなのか分かり難いことがある。
本発明の目的は、ユーザの状態に対処することができる機器に操作指示を出力することにある。
請求項１に係る発明は、プロセッサを有し、前記プロセッサは、ユーザの脳の活動を示す情報を含む生体情報を受け付け、前記生体情報から把握される前記ユーザの状態に対処するための手段を実現するため実際に操作される機器を、前記ユーザの状態と、前記ユーザから発生すると想定される基準生体情報と、前記ユーザの状態に対処するための手段と、複数の機器を識別するための機器情報と、前記機器を選択するための選択条件とが紐付けられた情報、及び前記生体情報を用いて、前記複数の機器の中から選択し、選択された前記機器に、前記生体情報に基づく操作指示を出力する、情報処理装置である。
請求項２に係る発明は、前記プロセッサは、更に、前記機器からの情報を受け付けて前記機器を識別する、ことを特徴とする請求項１に記載の情報処理装置である。
請求項３に係る発明は、前記機器は、前記ユーザ自身又は前記ユーザの周囲に作用する、ことを特徴とする請求項１又は請求項２に記載の情報処理装置である。
請求項４に係る発明は、前記プロセッサは、前記生体情報が測定されたときの前記ユーザの会話内容に応じた機器に前記操作指示を出力する、ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置である。
請求項５に係る発明は、前記プロセッサは、前記生体情報が測定されたときの前記ユーザの作業内容に応じた機器に前記操作指示を出力する、ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置である。
請求項６に係る発明は、前記ユーザの状態は、前記ユーザの感情であり、前記プロセッサは、前記ユーザの感情に応じた機器に前記操作指示を出力する、ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置である。
請求項７に係る発明は、前記プロセッサは、前記ユーザの位置と機器の位置との関係に応じた機器に前記操作指示を出力する、ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置である。
請求項８に係る発明は、前記プロセッサは、前記手段を実現するための機器であって前記ユーザの位置に最も近い位置に設置されている機器に前記操作指示を出力する、ことを特徴とする請求項７に記載の情報処理装置である。
請求項９に係る発明は、前記プロセッサは、前記ユーザの状態への作用が最も大きい機器に前記操作指示を出力する、ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置である。
請求項１０に係る発明は、前記プロセッサは、前記ユーザの会話相手に応じた機器に前記操作指示を出力する、ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置である。
請求項１１に係る発明は、コンピュータに、ユーザの脳の活動を示す情報を含む生体情報を受け付けさせ、前記生体情報から把握される前記ユーザの状態に対処するための手段を実現するため実際に操作される機器を、前記ユーザの状態と、前記ユーザから発生すると想定される基準生体情報と、前記ユーザの状態に対処するための手段と、複数の機器を識別するための機器情報と、前記機器を選択するための選択条件とが紐付けられた情報、及び前記生体情報を用いて、前記複数の機器の中から選択させ、選択された前記機器に、前記生体情報に基づく操作指示を出力させる、プログラムである。
請求項１，１１に係る発明によれば、ユーザの状態に対処することができる機器に操作指示を出力することができる。
請求項２に係る発明によれば、機器を識別することができる。
請求項３に係る発明よれば、ユーザの状態に効果的に対処することができる。
請求項４に係る発明によれば、ユーザの会話内容に応じた対処を行うことができる。
請求項５に係る発明によれば、ユーザの作業状態に応じた対処を行うことができる。
請求項６に係る発明によれば、ユーザの感情に応じた対処を行うことができる。
請求項７に係る発明によれば、ユーザの位置と機器の位置との関係を考慮に入れて選択された機器に操作指示を出力することができる。
請求項８，９に係る発明によれば、ユーザの状態に効果的に対処することができる機器に操作指示を出力することができる。
請求項１０に係る発明によれば、ユーザの会話相手に応じた対処を行うことができる。
本実施形態に係る情報処理システムの構成を示すブロック図である。 本実施形態に係る情報処理装置の構成を示すブロック図である。 本実施形態に係る情報処理装置による処理を示すフローチャートを示す図である。 管理テーブルを示す図である。 管理テーブルを示す図である。 管理テーブルを示す図である。
図１を参照して、本実施形態に係る情報処理システムについて説明する。図１には、本実施形態に係る情報処理システムの構成の一例が示されている。
本実施形態に係る情報処理システムは、情報処理装置１０と、１又は複数の生体情報測定装置１２と、１又は複数のカメラ１４と、１又は複数のマイク１６と、１又は複数の機器とを含む。図１に示す例では、情報処理システムは機器１８Ａ，１８Ｂを含むが、これは一例に過ぎない。以下では、機器１８Ａ，１８Ｂを区別する必要がない場合には、機器１８Ａ，１８Ｂを「機器１８」と称することとする。なお、図１に示されている各装置及び各センサの数は一例に過ぎず、各装置及び各センサの数が、図１に示されている各装置及び各センサの数に限定されるものではない。また、情報処理システムは、図１に示されている装置以外の他の装置（例えばサーバ等の外部装置）を含んでもよい。
情報処理装置１０、生体情報測定装置１２、カメラ１４、マイク１６、及び、機器１８は、他の装置や他のセンサ等と通信するように構成されている。その通信は、ケーブルを利用する有線通信であってもよいし、無線通信であってもよい。つまり、各装置及び各センサは、他の装置や他のセンサ等とケーブルによって物理的に接続されて、情報を互いに送受信してもよいし、無線通信によって互いに情報を送受信してもよい。無線通信として、例えば、近距離無線通信やＷｉ－Ｆｉ（登録商標）等が用いられる。これら以外の規格の無線通信が用いられてもよい。近距離無線通信は、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＲＦＩＤ（Radio Frequency Identifier）やＮＦＣ等である。各装置は、ＬＡＮ（Local Area Network）やインターネット等の通信経路を介して他の装置や他のセンサ等と通信してもよい。
情報処理装置１０は、例えば、パーソナルコンピュータ（以下、「ＰＣ」と称する）、タブレットＰＣ、スマートフォン、携帯電話、又は、その他の装置である。情報処理装置１０は、ユーザが携帯することが可能な端末装置（例えば、タブレットＰＣやスマートフォンや携帯電話等）であってもよいし、テーブル等に設置されて使用される装置であってもよい。情報処理装置１０は、通信機能とマイクとスピーカとを有するスマートスピーカであってもよい。情報処理装置１０は、屋内（例えば、部屋の床、天井、テーブル等）に設置されてもよいし、屋外に設置されてもよい。また、情報処理装置１０は、移動可能な装置（例えば自走式の装置）でもよい。
生体情報測定装置１２は、センサや電極等を有し、ユーザの生体情報を測定するように構成されている。複数の生体情報測定装置１２が情報処理システムに含まれている場合、各生体情報測定装置１２は、異なる種類の生体情報を測定してもよい。もちろん、すべての生体情報測定装置１２の中の一部又は全部は、同じ種類の生体情報を測定するように構成されてもよい。また、各生体情報測定装置１２は、１つの種類の生体情報を測定するように構成されてもよいし、複数の種類の生体情報を測定するように構成されてもよい。
生体情報測定装置１２は、自装置で測定した生体情報を情報処理装置１０に送信する。生体情報測定装置１２は、生体情報を測定する度に生体情報を情報処理装置１０に送信してもよいし、生体情報を記憶し、予め定められた時間間隔毎に生体情報を情報処理装置１０に送信してもよいし、ユーザが指定したタイミングで生体情報を情報処理装置１０に送信してもよい。また、生体情報測定装置１２は、他の生体情報測定装置１２が測定した生体情報を当該他の生体情報測定装置１２から受信し、自装置が測定した生体情報と当該他の生体情報測定装置１２が測定した生体情報とを情報処理装置１０に送信してもよい。
生体情報測定装置１２は、自装置又は他の生体情報測定装置が測定した生体情報を分析し、その分析結果を示す情報を情報処理装置１０に送信してもよい。例えば、生体情報測定装置１２はプロセッサを含み、当該プロセッサが生体情報を分析してもよい。もちろん、その分析は情報処理装置１０にて行われてもよい。
生体情報測定装置１２は、バッテリを含み、当該バッテリから供給される電力によって駆動してもよいし、情報処理装置１０から電力の供給を受けて駆動してもよい。
生体情報測定装置１２は、生体情報測定装置１２全体がユーザに装着されて生体情報を測定するウェアラブル装置であってもよい。例えば、生体情報測定装置１２は、ユーザの頭部に装着される装置であってもよいし、ユーザの耳に装着されるヒアラブル装置であってもよいし、ユーザの腕や手や手首や指等に装着される装置（例えば腕時計型の装置等）であってもよいし、ユーザの首に掛けられる装置であってもよいし、ユーザの胴体や足等に装着される装置であってもよい。
生体情報は、生体であるユーザから発する様々な生理学的情報や解剖学的情報である。生体情報の概念の範疇には、例えば、脳の活動を示す情報（例えば、脳波、脳の血流量、脳磁場信号等）、脈拍数、血圧、心拍数、心電波形、筋電波形、眼球運動、体温、発汗量、視線、音声、及び、ユーザの動き等が含まれる。これら生体情報の一例に過ぎず、他の生理学的情報や解剖学的情報が生体情報として用いられてもよい。生体情報測定装置１２は、これらの生体情報の中の１つの生体情報を測定してもよいし、複数の生体情報を測定してもよい。
情報処理装置１０は、生体情報測定装置１２から生体情報を受け付けて、生体情報の分析、生体情報の記憶、生体情報の出力、生体情報の分析結果を示す情報の記憶、及び、生体情報の分析結果を示す情報の出力等を行う。もちろん、生体情報の分析は生体情報測定装置１２によって行われてもよい。生体情報を出力することは、例えば、生体情報を表示することや、生体情報を音声情報として出力すること等である。生体情報の分析結果を示す情報を出力することは、例えば、分析結果を示す情報を表示することや、分析結果を音声情報として出力すること等である。情報処理装置１０は、生体情報や分析結果を示す情報を他の装置に送信してよい。
情報処理装置１０は、１又は複数の生体情報測定装置１２を含んでもよい。つまり、１又は複数の生体情報測定装置１２は、情報処理装置１０に組み込まれて、１つの装置が構成されてもよい。１又は複数の生体情報測定装置１２を含む情報処理装置１０全体が、ユーザに装着されて生体情報を測定してもよい。つまり、情報処理装置１０はウェアラブル装置であってもよい。例えば、情報処理装置１０は、ユーザの頭部に装着される装置であってもよいし、ユーザの耳に装着されるヒアラブル装置であってもよいし、ユーザの腕や手や手首や指等に装着される装置（例えば腕時計型の装置）であってもよいし、ユーザの首に掛けられる装置であってもよいし、ユーザの胴体や足等に装着される装置であってもよい。
もちろん、情報処理装置１０と生体情報測定装置１２は、別々の装置であってもよい。例えば、情報処理装置１０はスマートスピーカであり、生体情報測定装置１２は、ユーザに装着されるウェアラブル装置であってもよい。
カメラ１４は、撮影装置である。情報処理装置１０の周囲やその他の場所がカメラ１４によって撮影されて、当該周囲を表す画像データやその他の場所を表す画像データが生成される。当該画像データは、動画像データであってもよいし、静止画像データであってもよい。カメラ１４によって撮影された画像データは、カメラ１４の撮影範囲に含まれている環境を示す環境情報の一例に相当する。その意味で、カメラ１４は、環境情報測定装置の一例に相当する。また、カメラ１４によってユーザが撮影されることで生成された、当該ユーザを表す画像データは、当該ユーザの生体情報の一例に相当する。例えば、当該画像データから検知される当該ユーザの動きや当該ユーザの体型等は、当該ユーザの生体情報の一例に相当する。その意味で、カメラ１４は、当該ユーザの生体情報を測定する生体情報測定装置の一例に相当する。
マイク１６は、音波を集める装置である。マイク１６の周囲の音（例えば、人の音声やその他の音）がマイク１６に入力されて、マイク１６によって音データが生成される。マイク１６に入力された音を表す音データは、マイク１６の周囲の環境を示す環境情報の一例に相当する。その意味で、マイク１６は、環境情報測定装置の一例に相当する。また、マイク１６に入力されたユーザの音声を表す音データは、当該ユーザの生体情報の一例に相当する。その意味で、マイク１６は、当該ユーザの生体情報を測定する生体情報測定装置の一例に相当する。
なお、カメラ１４及びマイク１６は、情報処理システムに含まれなくてもよいし、これらの中の少なくとも１つが情報処理システムに含まれてもよい。これら以外の環境情報測定装置が、情報処理システムに含まれてもよい。例えば、温度を測定する温度センサ、湿度を測定する湿度センサ、匂いを測定する臭気センサ、明るさを測定する照度センサ、及び、赤外線センサ等が、情報処理システムに含まれてもよい。これらのセンサによって測定されたデータは、環境情報の一例に相当する。１又は複数の環境情報測定装置が、情報処理装置１０に含まれてもよい。例えば、カメラ１４が情報処理装置１０に含まれてもよい。また、マイク１６が情報処理装置１０に含まれてもよい。
機器１８は、例えば、ＰＣ、タブレットＰＣ、スマートフォン、携帯電話、ロボット（例えば、人型ロボット、人以外の動物型ロボット、掃除ロボット、及び、それら以外のロボット等）、プロジェクタ、液晶ディスプレイ等の表示装置、記録装置、再生装置、カメラ等の撮像装置、冷蔵庫、炊飯器、電子レンジ、コーヒーメーカー、掃除機、洗濯機、空調機、照明機器、時計、監視カメラ、自動車、二輪車、航空機（例えば無人航空機（例えばドローン））、ゲーム機、ガスレンジ、温水洗浄便座、換気扇、呼び鈴、玄関モニタ、エレベータ、ドア、窓、又は、各種のセンシング機器（例えば温度センサ、湿度センサ、電圧センサ、電流センサ等）等の装置である。機器１８の概念の範疇には機器全般が含まれてもよい。例えば、情報機器、映像機器、音響機器、その他の機器も、本実施形態に係る機器１８の範疇に含まれてもよい。
機器１８は、通信インターフェースである通信装置、データを記憶する記憶装置、及び、当該機器１８の動作を制御するプロセッサを有する。機器１８は、ユーザインターフェースを有してもよい。機器１８は、自装置である機器１８を識別するための機器識別情報を情報処理装置１０に送信してもよい。機器識別情報は、例えば、機器１８のＩＤ、名称、型番、又は、アドレス（例えばＭＡＣアドレスやＩＰアドレス等）等である。
以下、情報処理装置１０の構成について詳しく説明する。
情報処理装置１０は、例えば、通信装置２０と、ＵＩ２２と、記憶装置２４と、プロセッサ２６とを含む。情報処理装置１０は、これら以外の構成を含んでもよい。
通信装置２０は通信インターフェースであり、他の装置にデータを送信する機能、及び、他の装置から送信されてきたデータを受信する機能を有する。通信装置２０は、無線通信機能を有してもよいし、有線通信機能を有してもよい。通信装置２０は、例えば近距離無線通信を利用することで他の装置と通信してもよいし、ＬＡＮやインターネット等の通信経路を介して他の装置と通信してもよい。例えば、通信装置２０は、生体情報測定装置１２から送信されてきた生体情報を受信する。通信装置２０は、生体情報測定装置１２の動作を制御するための制御情報を生体情報測定装置１２に送信してもよい。また、通信装置２０は、環境情報測定装置から送信されてきた環境情報を受信する。通信装置２０は、環境情報測定装置の動作を制御するための制御情報を環境情報測定装置に送信してもよい。また、通信装置２０は、機器１８の動作を制御するための制御情報を機器１８に送信する。通信装置２０は、機器１８から送信されてきた情報を受信してもよい。
ＵＩ２２はユーザインターフェースであり、表示装置と操作装置とを含む。表示装置は、液晶ディスプレイやＥＬディスプレイ等である。操作装置は、キーボードや入力キーや操作パネル等である。ＵＩ２２は、表示装置と操作装置とを兼ね備えたタッチパネル等のＵＩであってもよい。また、マイクがＵＩ２２に含まれてもよいし、音を発するスピーカがＵＩ２２に含まれてもよい。
記憶装置２４は、各種のデータを記憶する１又は複数の記憶領域を構成する装置である。記憶装置２４は、例えば、ハードディスクドライブ、各種のメモリ（例えばＲＡＭやＤＲＡＭやＲＯＭ等）、その他の記憶装置（例えば光ディスク等）、又は、それらの組み合わせである。１又は複数の記憶装置２４が情報処理装置１０に含まれている。
記憶装置２４には、管理情報が記憶されている。管理情報は、ユーザの状態に対処するための手段を実現するための機器を操作するための情報を管理するための情報である。
ユーザの状態の概念の範疇には、例えば、ユーザの感情、精神状態、心理状態、欲求、生理的状態、及び、身体に関する状態（例えば体の機能や組織に関する状態）等が含まれる。ユーザの状態は、当該ユーザから測定された生体情報に基づいて把握される。
ユーザの状態に対処するための手段は、例えば、ユーザの状態を良好にする手段、ユーザの欲求を満たすために手段、又は、ユーザが有する問題を解決するための手段等であり、予め定められている。以下、ユーザの状態に対処するための手段を「対処手段」と称することとする。
例えば、ユーザの状態を示すユーザ状態情報と、当該状態を有するユーザから発生すると想定される基準生体情報と、当該状態に対処するための対処手段を示す対処手段情報と、当該対処手段を実現するための機器を識別するための機器情報とが、予め紐付けられて管理情報に登録されている。ユーザ毎に、ユーザ状態情報と、基準生体情報と、対処手段情報と、機器情報とが紐付けられて管理情報に登録されてもよい。
プロセッサ２６は、ユーザの生体情報に基づいて機器１８を操作するように構成されている。例えば、プロセッサ２６は、ユーザの生体情報を受け付け、当該生体情報から把握される当該ユーザの状態に対処するための対処手段を実現するための機器１８に、当該対処手段を実現するための操作指示を出力する。
例えば、脳の活動を測定する生体情報測定装置１２と情報処理装置１０とによって、ブレイン・マシン・インターフェースが構築されてもよい。ブレイン・マシン・インターフェースの方式は、侵襲式であってもよいし、非侵襲式であってもよい。この場合、プロセッサ２６は、ユーザの脳の活動（例えば脳波等）に基づいて機器１８を操作する。プロセッサ２６は、機器１８を操作するために、脳波から特徴的な成分を抽出し、その抽出された成分に基づいて機器１８を操作してもよい。脳波から特徴的な成分を抽出するために、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）や、ウェーブレット変換（ＷＴ：Wavelet Transform）、ＴＦＤ（Time Frequency Distribution）、ＥＭ（Eigenvector Methods）、自己回帰モデル（ＡＲＭ：Auto Regressive Method）等が用いられてもよい。また、特徴の抽出によって得られた特徴ベクトルを用いて、脳波と機器１８の操作とを結び付ける方法として、例えば、独立成分分析（ＩＣＡ：Independent Component Analysis）、ｋ平均法、サポートベクターマシン（ＳＶＭ：Support Vector Machine）、畳み込みニューラルネットワーク等が用いられてもよい。
また、プロセッサ２６は、機器１８から送信されてきた機器識別情報を受け付けて当該機器１８を識別するように構成されている。例えば、プロセッサ２６は、機器識別情報の取得要求を機器１８に送信し、その取得要求に応じて当該機器１８から送信されてきた機器識別情報を取得する。また、情報処理装置１０と接続される等して情報処理装置１０と通信することが可能になった機器１８から機器識別情報が情報処理装置１０に送信され、プロセッサ２６は、そのようにして送信されてきた機器識別情報を受け付けてもよい。
また、プロセッサ２６は、情報処理装置１０の各部の動作を制御するように構成されている。プロセッサ２６は、メモリを含んでもよい。
以下、図３を参照して、情報処理装置１０による処理について詳しく説明する。
１又は複数の生体情報測定装置１２によってユーザの生体情報が測定される（Ｓ０１）。測定された生体情報は、情報処理装置１０に送信される。
プロセッサ２６は、ユーザから測定された生体情報を受け付け、当該生体情報に基づいて当該ユーザの状態を把握する（Ｓ０２）。
例えば、プロセッサ２６は、ユーザから測定された生体情報と、上述した管理情報に登録されている各基準生体情報とを比較し、ユーザから測定された生体情報との差異が許容範囲内に含まれる基準生体情報を検索する。プロセッサ２６は、その検索された基準生体情報に紐付けられているユーザ状態情報が示す状態が、生体情報が測定された当該ユーザの状態であると推測する。ユーザから測定された生体情報との差異が許容範囲に含まれる複数の基準生体情報が検索された場合、プロセッサ２６は、当該複数の基準生体情報の中で、ユーザから測定された生体情報との差異が最小となる基準生体情報を特定する。プロセッサ２６は、その特定された基準生体情報に紐付けられているユーザ状態情報が示す状態が、生体情報が測定された当該ユーザの状態であると推測する。許容範囲は、予め定められている。許容範囲は、ユーザによって変更されてもよい。
基準生体情報は、生体情報の特徴的な成分を示す情報であってもよい。この場合、プロセッサ２６は、ユーザから測定された生体情報から特徴的な成分を抽出し、その抽出された成分との差異が許容範囲内に含まれる基準生体情報を検索してもよい。プロセッサ２６は、その検索された基準生体情報に紐付けられているユーザ状態情報が示す状態が、生体情報が測定された当該ユーザの状態であると推測する。
例えば、生体情報として脳波が用いられる場合、プロセッサ２６は、測定された脳波から特徴的な成分を抽出し、当該成分を解析することで、当該脳波が測定されたユーザの状態を推測してもよい。
次に、プロセッサ２６は、生体情報が測定されたユーザ自身、又は、当該ユーザの周囲に作用することが可能な１又は複数の機器１８を検知する（Ｓ０３）。例えば、プロセッサ２６は、生体情報が測定されたユーザの位置と各機器１８の位置との関係に基づいて、ユーザ自身又はユーザの周囲に作用する機器１８を検知する。ユーザの周囲は、ユーザの位置を含み、ユーザの位置を基準として予め定められた範囲である。
次に、プロセッサ２６は、ユーザの状態に対処するための対処手段を選択する（Ｓ０４）。例えば、プロセッサ２６は、上述した管理情報において、ステップＳ０２にて特定された状態を示すユーザ状態情報に紐付けられている対処手段情報を検索し、その検索された対処手段情報が示す対処手段を、ユーザの状態を対処するための対処手段として選択する。
次に、プロセッサ２６は、ステップＳ０４にて選択された対処手段を実現するための機器１８を選択する（Ｓ０５）。プロセッサ２６は、ステップＳ０３にて検知された、ユーザ自身又はユーザの周囲に作用することが可能な１又は複数の機器１８の中から、ステップＳ０４にて選択された対処手段を実現するための機器１８を選択する。例えば、プロセッサ２６は、上述した管理情報において、ステップＳ０４にて選択された対処手段を示す対処手段情報に紐付けられた機器情報が示す機器１８であって、ユーザ自身又はユーザの周囲に作用することが可能な機器１８を選択する。
次に、プロセッサ２６は、ステップＳ０５にて選択された機器１８に、ステップＳ０４にて選択された対処手段を実現するための操作指示を示す制御情報を送信することで、当該機器１８を操作する（Ｓ０６）。制御情報を受信した機器１８は、当該制御情報に従って動作することで、ステップＳ０４にて選択された対処手段を実現する。このように、ユーザの状態に対処するための対処手段を実現するための機器１８が選択され、その機器に操作指示を出力することができる。
以下、具体例を挙げて、本実施形態に係る情報処理システムについて詳しく説明する。
図４には、管理情報の一例である管理テーブルの一例が示されている。管理テーブルのデータは、記憶装置２４に記憶されている。管理テーブルのデータは、記憶装置２４に記憶されずに、サーバ等の外部装置に記憶されてもよい。
管理テーブルにおいては、ＩＤと、ユーザの状態を示すユーザ状態情報と、当該状態を有するユーザから発生すると想定される基準脳波と、当該状態を対処するための対処手段を示す対処手段情報と、当該対処手段を実現するための機器を識別するための機器情報と、機器を選択するための選択条件を示す選択条件情報とが、予め紐付けられている。基準脳波は、基準生体情報の一例である。ここでは、生体情報の一例として脳波が用いられているが、脳波以外の生体情報が用いられてもよい。
ＩＤは、管理テーブルに登録されている情報を管理するための情報である。基準脳波は、例えば、統計的な処理によって定められ、当該基準脳波に紐付けられている状態を有するユーザから一般的に発生すると想定される脳波である。機器情報は、例えば、機器１８の名称、機器ＩＤ又は型番等である。
以下、ＩＤ「１」に紐付けられている各情報について詳しく説明する
ＩＤ「１」に紐付けられているユーザ状態情報が示す状態は、ユーザが「暑い」と感じている状態である。ＩＤ「１」に紐付けられている基準脳波は、ユーザが「暑い」と感じているときに当該ユーザから発生すると想定される脳波である。つまり、ＩＤ「１」に紐付けられている基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、当該ユーザは「暑い」と感じていると推測される。ＩＤ「１」に紐付けられている対処手段情報は、「暑い」と感じているユーザの状態に対処するために、ユーザの周囲を涼しくするという対処手段を示す情報である。「涼しくする」という対処手段は、「暑い」と感じているユーザの状態を良好にするための手段である。具体的には、「涼しくする」という対処手段は、「暑い」と感じているユーザが、「暑い」と感じないようにするための手段である。「涼しくする」という対処手段を実現するための機器１８として、「エアコン」と「扇風機」が、「涼しくする」という対処手段に紐付けられている。つまり、「涼しくする」という対処手段を実際に実現するための機器１８として、「エアコン」と「扇風機」が、管理テーブルに登録されている。なお、図４に示す例では、対処手段に２つの機器１８が紐付けられているが、当該対処手段を実現するための１又は複数の機器１８が当該対処手段に紐付けられていればよい。ＩＤ「１」に紐付けられている選択条件情報は、機器１８である「エアコン」及び「扇風機」の中から、実際に操作される機器１８を選択するための条件を示す情報である。選択条件は、例えば、ユーザや機器１８の周囲の環境、ユーザの位置、機器１８の位置、ユーザの状態、機器１８の性能、又は、機器１８がユーザやユーザの周囲に作用する程度等に関する条件である。
例えば、ＩＤ「１」に紐付けられている基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２６は、ユーザが「暑い」と感じていると推測する。例えば、プロセッサ２６は、ユーザから測定された脳波と基準脳波のそれぞれから、脳波の形状、ピーク、周期及び振幅等の特徴を抽出し、各波形の特徴を比較し、両波形の特徴の差異が許容範囲内に含まれるか否かを判断する。
また、プロセッサ２６は、ユーザから測定された脳波と基準脳波との間の類似度を算出し、その類似度が閾値以上であるか否かを判断してもよい。閾値は、許容範囲に対応する値である。両波形の間の類似度が閾値以上である場合、プロセッサ２６は、両波形は類似していると判断し、ユーザから測定された波形と基準脳波との差異が許容範囲内に含まれると判断する。つまり、ＩＤ「１」に紐付けられている基準脳波との間の類似度が閾値以上となる脳波がユーザから測定された場合、プロセッサ２６は、ユーザが「暑い」と感じていると推測する。
なお、ユーザ状態情報と複数の異なる基準生体情報とが紐付けられていてもよい。例えば、「暑い」というユーザの状態を示すユーザ状態情報に、「暑い」と感じているユーザから測定されると想定される基準脳波と、そのときに当該ユーザが有すると想定される基準体温とが、基準生体情報として、紐付けられていてもよい。この場合、ユーザから測定された脳波と基準脳波との差異が許容範囲内に含まれ、かつ、そのときに測定されたユーザの体温と基準体温との差異が許容範囲内に含まれる場合、プロセッサ２６は、ユーザが「暑い」と感じていると推測してもよい。
プロセッサ２６は、選択条件に従って、対処手段を実際に実現する機器１８を選択し、当該機器１８に操作指示を示す制御情報を送信することで、当該機器１８を操作する。例えば、プロセッサ２６は、選択条件に従って「エアコン」を選択し、対処手段「涼しくする」を実現するために、当該「エアコン」の冷房をオンするという操作指示を示す制御情報を当該「エアコン」に送信することで、当該「エアコン」の冷房をオンする。
なお、ユーザの状態に応じた、機器１８の出力レベルが、対処手段及び機器１８に紐付けられて管理テーブルに登録されてもよい。例えば、機器１８である「エアコン」の冷房の設定温度や風量が、対処手段及び当該「エアコン」に紐付けられてもよい。設定温度や風量は、ユーザの状態に応じて定められる。この場合、プロセッサ２６は、設定温度や風量を含む制御情報を「エアコン」に送信することで、当該「エアコン」の設定温度や風量を当該「エアコン」に設定する。
ユーザ毎に、ユーザ状態情報と、基準生体情報と、対処手段情報と、機器情報と、選択条件情報とが紐付けられて管理テーブルに登録されてもよい。例えば、ユーザから測定された生体情報が、当該ユーザの基準生体情報として管理テーブルに登録されてもよい。
図５には、個々のユーザの具体的な基準生体情報が登録されている管理テーブルが示されている。図５に示されている管理テーブルにおいては、ＩＤと、ユーザ状態情報と、基準生体情報の一例である基準脳波と、対処手段情報と、機器情報と、選択条件情報と、ユーザ情報とが紐付けられている。ユーザ情報は、ユーザを識別するための情報（例えば、ユーザ名やユーザＩＤ等）である。
ユーザ情報に紐付けられている基準脳波は、当該ユーザ情報が示すユーザが、当該基準脳波に紐付けられているユーザ状態情報が示す状態を有しているときに、当該ユーザから測定された脳波である。各ユーザの各状態を表す基準脳波は、予め測定されて管理テーブルに登録されている。
例えば、ユーザＡが「暑い」と感じたときのユーザＡの脳波が生体情報測定装置１２によって測定され、その測定された脳波が、ユーザＡが「暑い」と感じたときに発生する基準脳波として、「暑い」という状態を示すユーザ状態情報に紐付けられて管理テーブルに登録される。また、対処手段情報、機器情報、選択条件情報、及び、ユーザＡを示すユーザ情報が、そのユーザ状態情報と基準脳波とに紐付けられて管理テーブルに登録される。この登録の作業は、情報処理装置１０を用いて行われてもよいし、他の装置を用いて行われてもよい。図５に示す例では、これらの情報はＩＤ「１」の情報として登録されている。他の状態や他のユーザについても同様に、各情報が管理テーブルに登録される。
なお、登録の作業を複数回行い、これによって測定された複数の脳波の平均を、基準脳波として登録してもよい。例えば、ユーザＡが「暑い」と感じたときのユーザＡの脳波を生体情報測定装置１２によって測定するという作業を、複数回行い、これによって測定された複数の脳波の平均を、基準脳波として管理テーブルに登録してもよい。
例えば、ユーザＡのみが情報処理装置１０にログインしている状態で、ユーザＡから、ＩＤ「１」に紐付けられている基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ２６は、ユーザＡが「暑い」と感じていると推測する。そして、プロセッサ２６は、ユーザＡの状態に対処するための対処手段として、「涼しくする」という対処手段を選択し、その対処手段を実現するための機器１８を特定する。プロセッサ２６は、選択条件に従って、「涼しくする」という対処手段を実際に実現するための機器１８を選択し、その選択した機器１８を操作する。
別の例として、機器１８を操作するユーザが「ユーザＡ」であることが情報処理装置１０に設定されている状態で、ユーザＡから、ＩＤ「１」に紐付けられている基準脳波との差異が許容範囲内に含まれる脳波が測定された場合、プロセッサ２６は、ユーザＡが「暑い」と感じていると推測してもよい。
ユーザＡ以外の他のユーザについても、ユーザＡと同様に、各情報が管理テーブルに登録される。例えば、ＩＤ「２」に紐付けられている各情報は、ユーザＢが「暑い」と感じたときの対処手段等を示す情報である。
１つの機器１８によって対処手段が実現されてもよいし、複数の機器１８の組み合わせによって対処手段が実現されてもよい。例えば、図６に示すように、管理テーブルには、対処手段を実現するための複数の機器１８の組み合わせが登録されてもよい。具体例を挙げて説明すると、ＩＤ「１」の対処手段には、単体の機器１８である「エアコン」、単体の機器１８である「扇風機」、及び、機器１８の組み合わせである「エアコン＋扇風機」が紐付けられている。つまり、「涼しくする」という対処手段は、単体の機器１８である「エアコン」又は「扇風機」によって実現されてもよいし、「エアコン」と「扇風機」との組み合わせによって実現されてもよい。プロセッサ２６は、選択条件に従って、「エアコン」、「扇風機」、又は、「エアコン＋扇風機」の中から、対処手段を実際に実現する機器１８を選択する。他の対処手段についても、当該他の対処手段を実現するための単体の機器１８や機器１８の組み合わせが紐付けられている。
以下、選択条件に従って、対処手段を実際に実現する機器１８を選択する処理について説明する。
例えば、プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、ユーザ自身又はユーザの周囲に作用する機器１８を、当該対処手段を実際に実現する機器１８として選択してもよい。プロセッサ２６は、その選択した機器１８に操作指示を示す制御情報を送信することで、当該機器１８を操作する。例えば、プロセッサ２６は、ユーザの位置と、対処手段に紐付けられている各機器１８の位置とを特定し、ユーザの位置と各機器１８の位置との関係に基づいて、ユーザ自身、又は、ユーザの周囲に作用することが可能な機器１８を、当該対処手段を実際に実現する機器１８として選択する。例えば、対処手段が「涼しくする」ことである場合、プロセッサ２６は、ユーザ自身又はユーザの周囲に風を送ることができる機器１８を、当該対処手段を実際に実現する機器１８として選択する。「エアコン」が、ユーザ自身又はユーザの周囲に風を送ることができる機器１８であり、「扇風機」が、ユーザ自身又はユーザの周囲に風を送ることができない機器１８である場合、プロセッサ２６は、「エアコン」を、当該対処手段を実際に実現する機器１８として選択し、「エアコン」に制御情報を送信することで、「エアコン」の冷房をオンする。つまり、「エアコン」から送出された風がユーザ自身又はユーザの周囲に届く位置に、「エアコン」が設置されており、「扇風機」から送出された風がユーザ自身又はユーザの周囲に届かない位置に、「扇風機」が設置されている場合、プロセッサ２６は、「エアコン」の冷房をオンにする。なお、プロセッサ２６は、ＧＰＳ（Global Positioning System）を利用することで、ユーザの位置及び機器１８の位置を特定する。なお、ユーザの位置は、例えば、ユーザが携帯している端末装置（例えばスマートフォンや携帯電話等）の位置である。カメラ１４によってユーザ及び各機器１８が撮影され、プロセッサ２６は、その撮影によって生成された画像データを解析することで、ユーザと各機器１８との位置関係を認識してもよい。
プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、ユーザの状態に対処する作用が最も大きい機器１８を、当該対処手段を実際に実現する機器１８として選択してもよい。上記の例を用いて説明すると、プロセッサ２６は、複数のエアコンの中で、ユーザ自身又はユーザの周囲に対して最も強い風を送ることが可能なエアコンを、対処手段を実際に実現する機器１８として選択する。
プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、管理テーブルに登録されているユーザ状態を表す生体情報が測定されたときの当該ユーザの会話内容に応じた機器１８を、当該対処手段を実際に実現する機器１８として選択してもよい。例えば、ユーザ及び会話相手の会話が、マイク１６によって測定され、プロセッサ２６は、その会話内容を解析することで、当該ユーザが置かれている環境を把握し、その環境に適合する機器１８を、対処手段を実際に実現する機器１８として選択する。例えば、プロセッサ２６は、会話内容から会話している人の数をカウントし、その人数に応じた機器１８を、対処手段を実際に実現する機器１８として選択する。
プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、ユーザの会話相手に応じた機器１８を、当該対処手段を実際に実現する機器１８として選択してもよい。
プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、管理テーブルに登録されているユーザ状態を表す生体情報が測定されたときのユーザの作業内容に応じた機器１８を、当該対処手段を実際に実現する機器１８として選択してもよい。例えば、ユーザの動作がカメラ１４によって撮影され、プロセッサ２６は、その撮影によって生成された画像データを解析することで、当該ユーザの作業内容を把握し、その作業内容に適合する機器１８を、対処手段を実際に実現する機器１８として選択する。
プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、ユーザの位置と各機器１８の位置との関係に応じた機器１８を、当該対処手段を実際に実現する機器１８として選択してもよい。例えば、プロセッサ２６は、当該対処手段に紐付けられている１又は複数の機器１８の中から、ユーザの位置に最も近い位置に設置されている機器１８を、当該対処手段を実際に実現する機器１８として選択する。
プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、インターネット上での検索ランキングがより高い機器１８を、当該対処手段を実際に実現する機器１８として選択してもよい。
プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、最も新しい機器１８を、当該対処手段を実際に実現する機器１８として選択してもよい。最も新しい機器１８は、例えば、製造年月日が最も新しい機器１８であってもよいし、設置された日時が最も新しい機器１８であってもよい。
以下、具体的な実施例について詳しく説明する。
（実施例１）
実施例１では、プロセッサ２６は、ユーザの位置と各機器１８の位置との関係に基づいて、対処手段を実際に実現する機器１８を選択する。
例えば、「テレビを見たい」というユーザ状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２６は、管理テーブルにおいて「テレビを見たい」というユーザ状態に紐付けられている１又は複数の機器１８を特定する。例えば、「テレビを見たい」というユーザ状態に対処するための機器１８として、「テレビ」が管理テーブルに登録されている。この場合、プロセッサ２６は、ユーザの位置から最も近い位置に設置されている「テレビ」に、当該「テレビ」の電源をオンするという操作指示を示す制御情報を送信することで、当該「テレビ」の電源をオンする。
（実施例２）
実施例２では、プロセッサ２６は、ユーザ自身又はユーザの周囲に最も作用する機器１８を、対処手段を実際に実現する機器１８として選択する。最も作用する機器１８は、例えば、ユーザ自身又はユーザの周囲に対して最も効果的な位置に設置されている機器１８である。
例えば、「蒸し暑い」というユーザ状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２６は、管理テーブルにおいて「蒸し暑い」というユーザ状態に紐付けられている１又は複数の機器１８を特定する。例えば、「蒸し暑い」というユーザ状態に対処するための機器１８として、「エアコン」と「除湿機」が管理テーブルに登録されている。この場合、プロセッサ２６は、「エアコン」及び「除湿機」の中から、ユーザ自身又はユーザの周囲に対して最も効果的な位置に設置されている機器１８を選択する。例えば、「エアコン」から送出される風が、ユーザ自身又はユーザの周囲に届き、ユーザ自身又はユーザの周囲が、「除湿機」による除湿効果が得られる領域に含まれていない場合、プロセッサ２６は、最も効果的な位置に設置されている機器１８として「エアコン」を選択し、当該「エアコン」に除湿の操作指示を示す制御情報を送信することで、当該「エアコン」の除湿機能をオンする。
（実施例３）
実施例３では、プロセッサ２６は、対処手段を実現するための複数の機器１８の組み合わせを選択し、当該複数の機器１８に制御情報を送信することで、当該複数の機器１８を操作する。
例えば、「寒い」というユーザ状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２６は、管理テーブルにおいて「寒い」というユーザ状態に紐付けられている複数の機器１８の組み合わせを特定する。例えば、「寒い」というユーザ状態に対処するための複数の機器１８の組み合わせとして、「床暖房」、「エアコン」及び「温風ヒータ」の組み合わせが管理テーブルに登録されている。また、「床暖房」、「エアコン」及び「温風ヒータ」のそれぞれが、「寒い」というユーザ状態に対処するための単体の機器１８として管理テーブルに登録されていてもよい。例えば、「床暖房」、「エアコン」及び「温風ヒータ」の組み合わせを用いることで、ユーザ自身又はユーザの周囲を最も早く暖めることができる場合、プロセッサ２６は、その組み合わせを、対処手段を実際に実現する機器１８の組み合わせとして選択する。そして、プロセッサ２６は、「床暖房」、「エアコン」及び「温風ヒータ」のそれぞれに、暖房の操作指示を示す制御情報を送信することで、「床暖房」、「エアコン」及び「温風ヒータ」のそれぞれの暖房機能をオンする。
（実施例４）
実施例４では、プロセッサ２６は、対処手段に紐付けられている１又は複数の機器１８の中から、管理テーブルに登録されているユーザ状態を表す生体情報が測定されたときのユーザの作業内容に応じた機器１８を、当該対処手段を実際に実現する機器１８として選択する。
例えば、ユーザが机に座って作業をしている場合、その作業の様子がカメラ１４によって撮影される。プロセッサ２６は、その撮影によって生成された画像データを解析することで、ユーザの作業内容を把握する。例えば、ユーザが文献を読んでいる場合、プロセッサ２６は、ユーザの手元を照らす照明装置に、照明をオンする操作指示を示す制御情報を送信する。これにより、当該照明装置によってユーザの手元が照らされる。別の例として、ユーザが机に座っているときに、「文献を読む」という視覚情報処理の心理状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２６は、ユーザの手元を照らす照明装置に、照明をオンする操作指示を示す制御情報を送信する。これにより、当該照明装置によってユーザの手元が照らされる。また、ユーザがＰＣを用いて資料を作成している場合、プロセッサ２６は、ユーザの手元を照らす照明装置に、照明をオフする操作指示を示す制御情報を送信し、天井に設置されている照明装置に、照明をオンする操作指示を示す制御情報を送信する。これにより、天井に設置されている照明装置によって、部屋全体が照らされる。別の例として、ユーザが机に座っているときに、「ＰＣを用いて資料を作成する」という創造的な心理状態を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２６は、ユーザの手元を照らす照明装置に、照明をオフする操作指示を示す制御情報を送信し、天井に設置されている照明装置に、照明をオンする操作指示を示す制御情報を送信してもよい。
（実施例５）
実施例５では、プロセッサ２６は、ユーザの会話内容に応じた機器１８を、対処手段を実際に実現する機器１８として選択する。より具体的には、プロセッサ２６は、ユーザの会話相手に応じた機器１８を、対処手段を実際に実現する機器１８として選択する。
例えば、「照明を操作したい」という要求を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２６は、管理テーブルにおいて「照明を操作したい」というユーザ状態に紐付けられている１又は複数の機器１８を特定する。例えば、「照明を操作したい」というユーザ状態に対処するための機器１８として、「天井に設置されている照明装置」及び「間接照明装置」が管理テーブルに登録されている。この場合、プロセッサ２６は、「天井に設置されている照明装置」及び「間接照明装置」の中から、ユーザの会話相手に応じた照明装置を選択する。例えば、ユーザを含む家族が会話している場合や、ユーザが友人と会話している場合、プロセッサ２６は、「天井に設置されている照明装置」に、照明をオンする操作指示を示す制御情報を送信する。これにより、「天井に設置されている照明装置」によって部屋が照らされる。また、ユーザが恋人と会話している場合、プロセッサ２６は、「間接照明装置」に、照明をオンする操作指示を示す制御情報を送信する。
（実施例６）
実施例６では、プロセッサ２６は、ユーザの会話内容に応じた機器１８を、対処手段を実際に実現する機器１８として選択する。
例えば、ユーザを含む複数の人が会議をしており、その様子がカメラ１４によって撮影される。プロセッサ２６は、その撮影によって生成された画像データを解析することで、複数の人によって会議が行われていることを把握する。また、「プレゼンテーション用の資料を表示したい」という要求を表す基準脳波との差異が許容範囲内に含まれる脳波がユーザから測定された場合、プロセッサ２６は、管理テーブルにおいて「プレゼンテーション用の資料を表示したい」というユーザ状態に紐付けられている１又は複数の機器１８を特定する。例えば、「プレゼンテーション用の資料を表示したい」というユーザ状態に対処するための機器１８として、「液晶ディスプレイ」及び「プロジェクタ」が管理テーブルに登録されている。対処手段を実際に実現するための機器１８として「液晶ディスプレイ」が選択される条件は、会議の参加者の人数が、閾値以下（例えば３人以下）であるということである。対処手段を実際に実現するための機器１８として「プロジェクタ」が選択される条件は、会議の参加者の人数が閾値を越えることである。これらの条件は、選択条件として管理テーブルに登録されている。プロセッサ２６は、カメラ１４による撮影によって生成された画像データを解析することで、会議の参加者の人数を推測してもよいし、マイク１６による測定によって生成された音声データを解析することで、会議の参加者の人数を推測してもよい。
会議の参加者の人数が閾値以下である場合、プロセッサ２６は、「液晶ディスプレイ」に、「液晶ディスプレイ」の電源をオンする操作指示を示す制御情報を送信することで、「液晶ディスプレイ」の電源をオンする。会議の参加者の人数が閾値を越える場合、プロセッサ２６は、「プロジェクタ」に、「プロジェクタ」の電源をオンする操作指示を示す制御情報を送信することで、「プロジェクタ」の電源をオンする。
上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばCPU： Central Processing Unit、等）や、専用のプロセッサ（例えばGPU： Graphics Processing Unit、ASIC： Application Specific Integrated Circuit、FPGA： Field Programmable Gate Array、プログラマブル論理デバイス、等）を含むものである。また上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
１０ 情報処理装置、１２ 生体情報測定装置、１８ 機器、２６ プロセッサ。

Claims (11)

  1. プロセッサを有し、
    前記プロセッサは、
    ユーザの脳の活動を示す情報を含む生体情報を受け付け、
    前記生体情報から把握される前記ユーザの状態に対処するための手段を実現するため実際に操作される機器を、前記ユーザの状態と、前記ユーザから発生すると想定される基準生体情報と、前記ユーザの状態に対処するための手段と、複数の機器を識別するための機器情報と、前記機器を選択するための選択条件とが紐付けられた情報、及び前記生体情報を用いて、前記複数の機器の中から選択し、
    選択された前記機器に、前記生体情報に基づく操作指示を出力する、
    情報処理装置。
  2. 前記プロセッサは、
    更に、前記機器からの情報を受け付けて前記機器を識別する、
    ことを特徴とする請求項１に記載の情報処理装置。
  3. 前記機器は、前記ユーザ自身又は前記ユーザの周囲に作用する、
    ことを特徴とする請求項１又は請求項２に記載の情報処理装置。
  4. 前記プロセッサは、
    前記生体情報が測定されたときの前記ユーザの会話内容に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
  5. 前記プロセッサは、
    前記生体情報が測定されたときの前記ユーザの作業内容に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
  6. 前記ユーザの状態は、前記ユーザの感情であり、
    前記プロセッサは、
    前記ユーザの感情に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
  7. 前記プロセッサは、
    前記ユーザの位置と機器の位置との関係に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
  8. 前記プロセッサは、
    前記手段を実現するための機器であって前記ユーザの位置に最も近い位置に設置されている機器に前記操作指示を出力する、
    ことを特徴とする請求項７に記載の情報処理装置。
  9. 前記プロセッサは、
    前記ユーザの状態への作用が最も大きい機器に前記操作指示を出力する、
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
  10. 前記プロセッサは、
    前記ユーザの会話相手に応じた機器に前記操作指示を出力する、
    ことを特徴とする請求項１から請求項３のいずれか一項に記載の情報処理装置。
  11. コンピュータに、
    ユーザの脳の活動を示す情報を含む生体情報を受け付けさせ、
    前記生体情報から把握される前記ユーザの状態に対処するための手段を実現するため実際に操作される機器を、前記ユーザの状態と、前記ユーザから発生すると想定される基準生体情報と、前記ユーザの状態に対処するための手段と、複数の機器を識別するための機器情報と、前記機器を選択するための選択条件とが紐付けられた情報、及び前記生体情報を用いて、前記複数の機器の中から選択させ、
    選択された前記機器に、前記生体情報に基づく操作指示を出力させる、
    プログラム。
JP2019153631A 2019-08-26 2019-08-26 情報処理装置及びプログラム Active JP7254346B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019153631A JP7254346B2 (ja) 2019-08-26 2019-08-26 情報処理装置及びプログラム
CN202010034674.9A CN112433601A (zh) 2019-08-26 2020-01-14 信息处理装置、存储介质及信息处理方法
US16/741,748 US20210063977A1 (en) 2019-08-26 2020-01-14 Information processing apparatus and non-transitory computer readable medium storing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019153631A JP7254346B2 (ja) 2019-08-26 2019-08-26 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2021033678A JP2021033678A (ja) 2021-03-01
JP7254346B2 true JP7254346B2 (ja) 2023-04-10

Family

ID=74675921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019153631A Active JP7254346B2 (ja) 2019-08-26 2019-08-26 情報処理装置及びプログラム

Country Status (3)

Country Link
US (1) US20210063977A1 (ja)
JP (1) JP7254346B2 (ja)
CN (1) CN112433601A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113325728A (zh) * 2021-05-27 2021-08-31 西安慧脑智能科技有限公司 基于脑电的智能家居控制方法、系统及控制设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066734A1 (ja) 2010-11-15 2012-05-24 パナソニック株式会社 音声コミュニケーション装置および音声コミュニケーション方法
JP2017009867A (ja) 2015-06-24 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、その方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6520506B2 (ja) * 2014-09-03 2019-05-29 株式会社デンソー 車両の走行制御システム
JP6391386B2 (ja) * 2014-09-22 2018-09-19 シャープ株式会社 サーバ、サーバの制御方法およびサーバ制御プログラム
JP2016177422A (ja) * 2015-03-19 2016-10-06 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
KR102354943B1 (ko) * 2015-05-20 2022-01-25 삼성전자주식회사 전자 장치가 외부 기기를 제어하는 방법 및 상기 전자 장치
US11194405B2 (en) * 2015-10-08 2021-12-07 Panasonic Intellectual Property Corporation Of America Method for controlling information display apparatus, and information display apparatus
CN105446492A (zh) * 2015-12-29 2016-03-30 武汉华星光电技术有限公司 基于脑电波感应耳机和智能穿戴设备的信息交互系统
US11368664B2 (en) * 2017-01-20 2022-06-21 Sony Corporation Information processing apparatus, information processing method, and program
KR101955941B1 (ko) * 2017-02-07 2019-03-11 남서울대학교 산학협력단 뇌파를 이용한 IoT 기반의 멘탈 케어 제공 시스템 및 그 방법
CN107048661B (zh) * 2017-05-04 2021-01-29 京东方科技集团股份有限公司 加热设备及其控制方法
US20200019373A1 (en) * 2018-02-14 2020-01-16 Cellepathy Inc. Multi-device personal assistants
KR20190108727A (ko) * 2018-03-15 2019-09-25 민상규 접이식 가상현실 장비
CN108594991A (zh) * 2018-03-28 2018-09-28 努比亚技术有限公司 一种帮助用户调节情绪的方法、装置和计算机存储介质
WO2019207896A1 (ja) * 2018-04-25 2019-10-31 ソニー株式会社 情報処理システム、情報処理方法、および記録媒体
CN108875047A (zh) * 2018-06-28 2018-11-23 清华大学 一种信息处理方法及系统
US20200007411A1 (en) * 2018-06-28 2020-01-02 International Business Machines Corporation Cognitive role-based policy assignment and user interface modification for mobile electronic devices
JP6661174B1 (ja) * 2018-09-20 2020-03-11 アールシーソリューション株式会社 長周期地震動関連情報通知システム、長周期地震動関連情報通知サーバー、携帯端末および長周期地震動関連情報通知方法
US11635814B2 (en) * 2019-07-25 2023-04-25 International Business Machines Corporation Preventing access to potentially hazardous environments

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012066734A1 (ja) 2010-11-15 2012-05-24 パナソニック株式会社 音声コミュニケーション装置および音声コミュニケーション方法
JP2017009867A (ja) 2015-06-24 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 制御装置、その方法及びプログラム

Also Published As

Publication number Publication date
CN112433601A (zh) 2021-03-02
JP2021033678A (ja) 2021-03-01
US20210063977A1 (en) 2021-03-04

Similar Documents

Publication Publication Date Title
JP2023129585A (ja) 情報処理方法、情報処理装置、及び情報処理プログラム
JP2024045281A (ja) 情報処理方法
JP7359437B2 (ja) 情報処理装置、プログラム、及び、方法
JP7303544B2 (ja) 情報処理装置、プログラム、及び方法
JP7296626B2 (ja) 情報処理装置及びプログラム
JP7254346B2 (ja) 情報処理装置及びプログラム
JP7330507B2 (ja) 情報処理装置、プログラム、及び、方法
US11636392B2 (en) Information processing device and non-transitory computer readable medium
US11687049B2 (en) Information processing apparatus and non-transitory computer readable medium storing program
JP7343168B2 (ja) 情報処理装置、プログラム、及び、方法
US20210165488A1 (en) Information processing apparatus and non-transitory computer readable medium
JP7411209B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20210322

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20210416

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210507

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230131

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230221

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230322

R150 Certificate of patent or registration of utility model

Ref document number: 7254346

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150