JP6755461B2 - 計測システム、頭部装着装置、プログラム、およびサービス提供方法 - Google Patents

計測システム、頭部装着装置、プログラム、およびサービス提供方法 Download PDF

Info

Publication number
JP6755461B2
JP6755461B2 JP2016561906A JP2016561906A JP6755461B2 JP 6755461 B2 JP6755461 B2 JP 6755461B2 JP 2016561906 A JP2016561906 A JP 2016561906A JP 2016561906 A JP2016561906 A JP 2016561906A JP 6755461 B2 JP6755461 B2 JP 6755461B2
Authority
JP
Japan
Prior art keywords
user
head
service
information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016561906A
Other languages
English (en)
Other versions
JPWO2016084834A1 (ja
Inventor
長谷川 清
清 長谷川
清 那須
清 那須
成弥 田中
成弥 田中
利博 石塚
利博 石塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NeU Corp
Original Assignee
NeU Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NeU Corp filed Critical NeU Corp
Publication of JPWO2016084834A1 publication Critical patent/JPWO2016084834A1/ja
Application granted granted Critical
Publication of JP6755461B2 publication Critical patent/JP6755461B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026Measuring blood flow
    • A61B5/0261Measuring blood flow using optical means, e.g. infrared light
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813Specially adapted to be attached to a specific body part
    • A61B5/6814Head
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684Indicating the position of the sensor on the body
    • A61B5/6841Indicating the position of the sensor on the body by using templates
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • A61B5/741Details of notification to user or communication with user or patient ; user input means using sound using synthesised speech
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/085Payment architectures involving remote charge determination or related payment systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A61B2560/0252Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value using ambient temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A61B2560/0257Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value using atmospheric pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • A61B2560/0261Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value using hydrostatic pressure
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/029Humidity sensors

Description

本発明は、計測システム、頭部装着装置、プログラム、およびサービス提供方法に関する。
従来から、ヘッドセットと呼ばれる頭部装着装置に、近赤外線照射部と近赤外線検出部を設け、脳表面の血流量の変化を検出し、検出されたデータをデータ処理装置で処理することで、脳の活動状態を示す情報を取得する計測システムが提供されている。
特開2006−320735号公報
"脳科学のいま、ここ 特集 脳機能の可視化技術が可能にしたソリューションビジネスの最前線"、[online]、日本経済新聞、[平成26年11月17日検索]、インターネット <http://ps.nikkei.co.jp/hightech/v9−01.html> "光トポグラフィ技術の活用"、[online]、株式会社日立ハイテクノロジーズ、[平成26年11月17日検索]、インターネット <http://www.hitachi.co.jp/products/ot/hardware/wot.html>
しかし、従来の計測システムは、検出されたデータを処理する専用のデータ処理装置を含む構成であり、提供されるデータ処理機能と、処理されたデータの応用とが限定されたものであった。このため、一般の利用者が計測システムを簡易に使用することには課題があった。結果として、従来の計測システムが多数の利用者に利用され、あるいは、社会の様々な局面で幅広く有効活用されるには至っていない。
そこで、本発明は、頭部の血流量の変化を簡易に取得して幅広く有効活用できるようにすることを目的とする。
本発明の一側面は、以下の計測システムによって例示される。本計測システムは、頭部装着装置と情報処理装置とを備える。本頭部装着装置は、利用者の頭部に装着され、頭部の血流量の変化を検出する検出手段と、検出手段による検出値を所定の転送先に転送する転送手段と、を有する。また、本情報処理装置は、転送手段から転送された検出値を受信する受信手段と、受信した検出値を基に利用者にサービスを提供するサービス提供手段と、を有する。
本発明の第2の側面は、利用者の頭部に装着されたときに頭部の基準位置との位置合わせに用いるマークを付した装着手段と、基準位置との位置合わせがなされた状態で頭部の血流量の変化を検出する検出手段と、検出部による検出値を所定の転送先に転送する転送手段と、を有する頭部装着装置として例示できる。
また、本発明の第3の側面は、コンピュータに、利用者の頭部に装着され、頭部の血流量の変化を検出する頭部装着装置から転送された検出値を受信する受信ステップと、受信した検出値を基に利用者にサービスを提供するサービス提供ステップと、を実行させるためのプログラムとして例示できる。
また、本発明の第4の側面は、利用者の頭部に装着された頭部装着装置によって検出された頭部の血流量の変化の検出値を基にした有料サービスの提供要求を受け付けるステップと、有料サービスの提供要求を受け付けたときに、有料サービスに対する課金処理の実行をネットワーク上のサーバに指示するステップと、課金処理の完了後に、有料サービスを利用者に提供するサービス提供ステップと、を実行させるためのプログラムとして例示できる。
また、本発明の第5の側面は、コンピュータが、利用者の情報処理装置から、利用者の頭部に装着された頭部装着装置によって検出された頭部の血流量の変化の検出値を基にした有料サービスの提供要求を受け付けるステップと、有料サービスの提供要求を情報処理装置から受け付けたときに、サービスに対する課金処理の実行をネットワーク上の課金サーバに指示するステップと、情報処理装置から検出値を取得するステップと、有料サービスを提供するサービス提供ステップと、を実行するサービス提供方法として例示できる。
さらに、本発明の他の側面は、コンピュータが、利用者の頭部に装着された頭部装着装置によって検出された頭部の血流量の変化の検出値を処理するアプリケーションプログラムの有料ダウンロード要求を利用者の情報処理装置から受け付けるステップと、有料ダウンロード要求を情報処理装置から受け付けたときに、アプリケーションプログラムに対する課金処理の実行をネットワーク上の課金サーバに送信するステップと、アプリケーションプログラムを情報処理装置に送信するステップと、を実行するサービス提供方法として例示できる。
本発明によれば、頭部の血流量の変化を簡易に取得して幅広く有効活用できる。
一実施形態に係る計測システムの情報処理に関与する構成を例示する図である。 頭部装着装置の外観を例示する斜視図である。 頭部装着装置を上方から見た平面図である。 頭部装着装置を前方から見た正面図である。 初回キャリブレーション時に、利用者端末が表示する画面例である。 2回目以降のキャリブレーションの処理を例示する図である。 実施例1における利用者のモデル座標系を例示する図である。 計測位置管理テーブルの例である。 構造管理表の例である。 センサスライダ設定値管理表の例である。 利用者端末がメモリ22保持するデータの例である。 初回位置合わせの処理手順を例示するフローチャートである。 画像処理部の処理の詳細を例示するフローチャートである。 位置算出部の処理の詳細を例示するフローチャートである。 画像合成部の処理の詳細を例示するフローチャートである。 2回目以降のキャリブレーションの処理を例示する構成図である。 2回目以降のキャリブレーションの処理を例示するフローチャートである。 実施例2の計測システムの構成を例示する図である。 実施例3の計測システムの構成を例示する図である。 利用者端末の操作例を示す図である。 利用者端末の操作例を示す図である。
以下、図面を参照して一実施形態に係る計測システムについて説明する。図1は、本発明の一実施形態に係る計測システムの情報処理に関与する構成を例示する図である。本計測システムは、利用者の頭部から血流量の変化を示す計測データ(検出値ともいう)を検出し、利用者の脳の活動状態を示す脳活動情報を取得する。また、本計測システムは、取得した脳活動情報を基に、利用者に様々なサービスを提供する。
<システム構成例>
図1のように、本計測システムは、頭部装着装置1と利用者端末2とを有する。頭部装着装置1は、情報処理の側面としては、制御部11と、無線通信部13と、一対のセンサ115、125とを有する。制御部11は、頭部装着装置1の計測と通信を制御する。制御部11は、例えば、CPU(Central Processing Unit)、あるいはDSP(Digital Signal Processor)等のプロセッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュータプログラム、ファームウェア等により処理を実行する。ただし、制御部11は、無線通信部13とセンサ115、125を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、FPGA(Field Programmable Gate Array)等であってもよい。また、制御部11は、CPU、DSP、専用のハードウェア回路等が混在したものであってもよい。
無線通信部13は、所定のインターフェースによって、制御部11およびセンサ115、125と接続される。ただし、無線通信部13は、制御部11を介して、センサ115、125からデータを取得する構成であってもよい。無線通信部13は、ネットワークN1を介して、利用者端末2と通信する。ネットワークN1は、例えば、Bluetooth(登録商標)、無線LAN(Local Area Network)、ZigBee等の規格にしたがったネットワークワークである。無線通信部13が転送手段の一例である。ただし、本計測システムにおいて、無線通信部13の無線インターフェースの規格に限定がある訳ではない。
また、本計測システムにおいて、無線通信部13に代えて、あるいは、無線通信部13とともに有線で通信を行う通信部を設けてもよい。すなわち、頭部装着装置1と利用者端末2とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定がある訳ではなく、計測システムの用途に応じてUSB(Universal Serial Bus)、PCI Express等の各種インターフェースを使用できる。
センサ115、125は、いずれも近赤外線を頭部に照射し、脳の大脳皮質付近で一部吸収されて散乱された近赤外線を受光し、電気信号に変換する。脳の大脳皮質は、例えば、脳の活動状態に応じて、血流量が異なる。その結果、大脳皮質の各部において、血液中の酸素と結合したヘモグロビンの量と、酸素と結合していないヘモグロビンの量が変化する。ヘモグロビンの量の変化、酸素量の変化等に起因して、大脳皮質付近での近赤外線の吸収特性、あるいは、散乱特性が変化する。センサ115、125は、このような大脳皮質付近の血流の状態に応じた近赤外線吸収率の変化あるいは透過率の変化により光量が変化する近赤外線を電気信号に変換して出力する。センサ115、125が、検出手段の一例である。
センサ115、125は、例えば、近赤外線を照射する近赤外線光源と、近赤外線を受光する受光部を含む。近赤外線光源は、例えば、LED(Light Emitting Diodes)、赤外線ランプ等である。また、受光部は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、AD(Analog Digital)コンバータとを含む。なお、近赤外線光源と受光部とが対にして設けられなくてもよい。例えば、1つの近赤外線光源に対して、複数の受光部を設けてもよい。
利用者端末2は、例えば、携帯電話、携帯情報端末、PHS(Personal Handy Phone System)、可搬型パーソナルコンピュータ等である。ただし、アプリケーションの機能によっては、利用者端末2は、据え置き型のデスクトップパーソナルコンピュータ、テレビジョン受信機、ゲーム機、健康管理専用の端末、マッサージ器、車載器等であってもよい。
利用者端末2は、頭部装着装置1から、利用者の大脳皮質付近での近赤外線の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。
利用者端末2は、CPU21と、メモリ22と、無線通信部23と、公衆回線通信部24と、表示部25と、操作部26と、出力部27と、撮像部28と、測位部29と、物理センサ部2Aを有する。CPU21は、メモリ22に実行可能に展開されたコンピュータプログラムにより、利用者端末2としての処理を実行する。利用者端末2としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。このようなコンピュータプログラムを実行するCPU21がサービス提供手段の一例である。
メモリ22は、CPU21で実行されるコンピュータプログラム、あるいは、CPU21が処理するデータを記憶する。メモリ22は、揮発性メモリと不揮発性メモリを含んでよい。無線通信部23は、頭部装着装置1の無線通信部13と同様である。無線通信部23が受信手段の一例である。また、利用者端末2は、無線通信部13に代えて、あるいは、無線通信部13とともに有線で通信を行う通信部を有してもよい。
公衆回線通信部24は、ネットワークN2を介して、ネットワークN2上のサーバ、例えば、業者サーバ3等と通信する。ネットワークN2は、公衆回線網であり、例えば、携帯電話網である。ネットワークN2が携帯電話網の場合には、公衆回線通信部24は、携帯電話網の基地局を介してネットワークN2に接続する。ただし、ネットワークN2は、インターネット接続業者の通信装置へのアクセス網とインターネットを含むネットワークであってもよい。インターネット接続業者の通信装置へのアクセス網は、例えば、通信事業者が提供する光ネットワーク、ADSL(Asymmetric Digital Subscriber Line)等である。ネットワークN2が公衆無線ネットワークの一例である。また、公衆回線通信部24が公衆無線通信手段の一例である。ただし、本計測システムにおいて、ネットワークN2が公衆回線網に限定される訳ではなく、例えば、LAN(Local Area Network)等の構内ネットワーク、企業、事業者、役所、学校、研究機関等の専用回線、VPN(Virtual Private Network)等の広域ネットワークであってもよい。以下、企業、事業者、役所、学校、研究機関等を企業等ともいう。
表示部25は、例えば、液晶ディスプレイ、EL(Electro-Luminescence)パネル等であり、CPU21からの出力情報を表示する。操作部26は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部27は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。撮像部28は、例えば、固体撮像素子を含むカメラである。固体撮像素子としては、CCD(Charge-coupled device)イメージセンサ、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等を利用できる。測位部29は、例えば、GPS(Global Positioning System)受信機であり、GPS衛星からの電波を受信し、現在位置(緯度、経度等)、時刻等を算出する。ただし、測位部29としては、GPS受信機を有するものに限定される訳ではない。例えば、公衆回線通信部24が携帯電話網である場合には、測位部29は、携帯電話基地局からの距離を基に測位を実行してもよい。物理センサ部2Aは、例えば、加速度センサ、あるいは角加速度センサ等である。ただし、物理センサ部2Aは、温度センサ、湿度センサ、気圧センサ、または水圧センサであってもよい。
業者サーバ3と課金サーバ4とは、ネットワークN2または専用ネットワークN3で接続される。専用ネットワークN3は、例えば、金融機関のコンピュータと接続されるネットワーク、企業等の専用ネットワーク、VPN等である。
<頭部装着装置の構造例>
図2は、頭部装着装置1を下後方から見た外観を例示する斜視図である。図3は、頭部装着装置1を上方から見た平面図である。また、図4は、頭部装着装置1を前方から見た正面図である。ただし、図3、図4では、図2に例示する固定用部材101が省略されている。ここで、下後方とは、利用者が頭部装着装置1を装着したときの利用者の背後かつ、利用者の頭部を下から見上げる位置をいう。また、前方とは、例えば、利用者が頭部装着装置1を装着したときの利用者(装着者)の前方をいう。さらに、上方とは、例えば、利用者の上方をいう。なお、以下、頭部装着装置1を装着した利用者に向かって右側に位置する頭部装着装置1の部分を右側部分、あるいは右側という。また、頭部装着装置1を装着した利用者に向かって左側に位置する頭部装着装置1の部分を左側部分、あるいは左側という。また、利用者に接触する頭部装着装置1の面を裏面という。裏面の反対面を表面という。表面は、利用者が頭部装着装置1を装着したときに、利用者の周囲から見える面である。
図2に例示するように、頭部装着装置1は、鉢巻き状に利用者の頭部に巻き付けて装着し、固定用部材101を締めつけることで利用者の頭部に固定される構造を有する。そのため、頭部装着装置1は、人の頭部よりやや大きい空間で湾曲するベルト状の基材100と、基材100の両端に固定される固定用部材101を有する。固定部材101は、基材100の両端から延伸する線材110、120と、線材110、120を対にして引き込んで固定する留め具を有する。基材100は、利用者の頭部表面から離れた外側面を形成する。すなわち、頭部装着装置1は、頭部から離れた外側面に形状を保つ部材である基材100を配する構造となっている。基材100は例えば樹脂製である。ただし、基材100の材質に限定がある訳ではない。
なお、本実施の形態において、固定用部材101の構造、形状、材質に限定がある訳ではない。例えば、図2では、固定部材101は、線材110、120を有するが、線材の代わりに帯状の部材を用いてもよい。また、留め具はどのような構造のものでもよい。
図2のように、頭部装着装置1の基材100の右側端部に電池ボックス102が設けられている。電池ボックス102は、扁平な略六面体であり、表面の面積と裏面の面積がいずれも4つの側面の面積よりも大きくなっている。電池ボックス102の裏面には、図示しない溝が設けられている。この溝には、基材100の右側端部から延伸する線材120の途中部分がはめ込まれている。したがって、電池ボックス102は、基材100の右側端部で固定されるとともに、線材120が溝にはめ込まれることで、頭部装着装置1に固定される。
頭部装着装置1の基材100の表側両端近傍には、丸みを帯びた2つのハウジング111、121が設けられている。ハウジング111、121には、信号処理回路、および通信回路を有する制御基板等が収納される。図4のように、頭部装着装置1を正面から見ると、頭部装着装置1の両脇に2つのハウジング111、121が位置して見える。
図4のように、基材100の表側正面付近には、3つのマーカ113、103、123が、マーカ103を中心にして左右対称に、基材100の下縁に沿った位置に直線上に設けられている。マーカ113、103、123は、撮像部28で撮影されたときに画像上で、マーカ113、103、123の位置が識別できる構造のものであればどのような構造でもよい。ただし、マーカ113、103、123は、撮像部28で撮影されたときに画像上で、それらの面積が認識できるものが望ましい。例えば、マーカ113、103、123は、基材100に設けた円形あるいは多角形状の底面を有する凹部でもよい。また、例えば、マーカ113、103、123は、基材100に設けた円形あるいは多角形状の断面を有する凸部でもよい。また、マーカ113、103、123は、基材100に塗料で形成してもよい。さらに、マーカ113、103、123は、上記凹部、あるいは凸部に塗料を塗布したものでもよい。
基材100の表側正面付近で、マーカ113、123の上部には、帯状の開口114、124が形成され、開口114、124にはそれぞれ、つまみ112、122が挿入されている。つまみ112、122は、基材100の裏面に沿って設けられる図示しない、左右のスライダとそれぞれ連結されている。一方、図2に例示するように、基材100の裏面では、センサ115、125がスライダに固定されている。したがって、基材100に対して、つまみ112、あるいは、つまみ122を帯状の開口114、あるいは、開口124に沿って相対移動することで、裏面側でセンサ115、あるいは125をそれぞれ移動することが可能である。さらに、つまみ112、122と同軸でねじが形成されており、センサの位置は、ねじ式にて固定することができる。つまみ112、122、およびマーカ113、103、123が位置決めする手段の一例である。
図2では、つまみは背の低い円筒形状であるが、つまみの形状に限定がある訳ではない。また、図2では、帯状の開口114、開口124の長手方向に沿って目盛りが刻まれている。目盛りは、中心位置が分かるように、中心位置の目盛りと中心位置以外の目盛りが異なる形状となっている。図2では、中心位置の目盛りは、開口114、124に頂点を向けた三角形の形状であり、一方、中心位置以外の目盛りは、円形状、あるいは点状で形成されている。目盛りの形成の仕方は、マーカ113、103、123の形成の仕方と同様であるが、特に限定がある訳でない。
図2に例示するように、センサ115、125は、平板に、3つの窓部を設けた形状となっている。センサ115、125それぞれの1つの窓部には、近赤外線光源として近赤外線LEDが設けられている。また、センサ115、125それぞれの残り2つの窓部には、受光部として、フォトダイオードあるいはフォトトランジスタが設けられている。
なお、センサ115、125の受光部の数がそれぞれ2個に限定される訳ではない。例えば、受光部はセンサ115、125にそれぞれ1個ずつ設けてもよいし、3個以上設けてもよい。例えば、センサ115、125にそれぞれ受光部を2個設け、それぞれの受光部を異なるセンサとして区別する場合には、センサ115−1、115−2、125−1、125−2のように呼ぶことにする。ただし、本明細書においては、近赤外線光源および受光部を一体としてセンサ115、125のように呼ぶ。
また、基材100の上下の縁には、遮光部104、105が設けられる。したがって、センサ115、125は、基材100の裏面で、上下の縁の遮光部104、105に挟まれた空間に設置されている。そして、遮光部104、105は、頭部装着装置1の裏面で額と触れる部分で緩衝材としても作用する。遮光部104、105の材質に限定がある訳ではないが、利用者の頭部に接触するために、軽く柔らかい部材が望ましい。遮光部104、105は、例えば,ウレタン等の樹脂、ゴム等である。
さらに、基材100の裏面では、電池ボックス102、センサ115、125、ハウジング111、121内の基板を接続する配線が敷設されている。ただし、基材100の裏面のセンサ115、125が設けられた部分以外は、カバー106で被覆されている。カバー106は、頭部側に接触する頭部装着装置1の裏面側で、基板・配線等が直接利用者の皮膚に触れないようする遮蔽版として作用する。したがって、配線は、基材100とカバー106との間の空間に敷設されている。
<センサの位置合わせ支援>
本計測システムでは、利用者端末2のCPU21がメモリ22に実行可能に展開された位置合わせ用アプリケーションプログラム(以下、合わせアプリ)にしたがって、利用者によるセンサ115、125の位置合わせを支援する。利用者端末2が利用者によるセンサ115、125の位置合わせを支援する処理をキャリブレーションとも呼ぶ。キャリブレーションによって、利用者端末2はセンサ115、125が利用者の頭部の望ましい位置に配置されるように利用者をガイドする。適切なキャリブレーションが行われた場合には、センサ115、125が利用者頭部の望ましい位置で血流量の変化を検出することになる。
ただし、キャリブレーションの目標となる利用者頭部の望ましい位置は、本計測システムで利用される様々なサービス、機能、応用によって異なる。例えば、利用者端末2は、アプリケーションプログラム(以下、脳アプリ)を実行することで、頭部装着装置1から送信された計測データを用いて、様々なサービス、あるいは、機能を提供する。そこで、脳アプリ実行前に脳アプリごとの計測部位にセンサ115、125を配置することが望ましい。
キャリブレーションでは、利用者端末2は、撮像部28により利用者の頭部画像を撮影し、表示部25に表示する。一例では、利用者端末2は、利用者の頭部画像と重畳して、センサ115、125の現在位置、および目標位置を示すオブジェクトを表示する。そして、利用者端末2は、センサ115、125の現在位置が目標位置に近づくように利用者を支援する。また、他の例としては、利用者端末2は、利用者の頭部画像に対して、頭部装着装置1の特徴点、例えば、マーカ103、113、123、あるいは、つまみ112、122等の位置が望ましい位置に配置されるように利用者をガイドしてもよい。
(1)初回キャリブレーション
利用者がある脳アプリを初めて利用する場合には、初回キャリブレーションが実行される。初回キャリブレーションは、利用者がある脳アプリを初めて利用するときに、当該脳アプリで定められた利用者頭部の目標位置にセンサ115、125を位置づける作業を支援する処理である。ただし、初回のキャリブレーションは、2回目以降のキャリブレーションで利用される基準画像を生成する処理ということも言える。
図5に、初回キャリブレーション時に、利用者端末2が表示する画面を例示する。図5の画面には、利用者の頭部画像と重畳して、頭部枠ガイドライン、脳血流計測位置ガイド枠、目位置ガイドライン、鼻、中央位置ガイドライン等が表示される。頭部枠ガイドラインは、例えば、人の頭部を模擬した所定の寸法の領域を囲む輪郭線である。頭部枠ガイドラインの寸法は、表示部25で表示できる大きさで、かつ、利用者による位置合わせの支援に支障のない十分な画像寸法を有することが望ましい。目位置ガイドラインは、例えば、左右の目のそれぞれの中心を通る線分である。鼻、中央位置ガイドラインは、例えば、鼻の中心線を結ぶ上下方向の線分である。脳血流計測位置ガイド枠は、センサ115、125を位置づける目標位置である。
初回キャリブレーションでは、利用者端末2は、まず、利用者の頭部画像が望ましい姿勢となるように、利用者を誘導する。利用者は、例えば、まず、利用者端末2の撮像部28との距離を調整することで、自身の頭部の輪郭を頭部枠ガイドラインに一致させる。さらに、利用者は、例えば、自身の目、鼻等がそれぞれ、目位置ガイドライン、鼻、中央位置ガイドラインと一致するように頭部位置を修正する。
次に、利用者は、頭部装着装置1の位置合わせを行う。利用者端末2は、利用者の頭部画像中の現在の頭部装着装置1の形状、寸法、およびつまみ112、122等の位置から、センサ115、125の現在位置を示すマークを利用者の頭部画像に重畳して表示する。そして、利用者は、現在のセンサ115、125の位置が、脳血流計測位置ガイド枠で示される目標位置に重畳するように、頭部装着装置1の装着状態を調整する。なお、つまみ112、122の位置は、利用者が実行する脳アプリ毎に、事前に所定のつまみ位置(デフォルト位置)とするように、表示部25へのメッセージ等で利用者に指示しておいてもよい。
脳血流計測位置ガイド枠(目標位置)と、センサ115、125との位置合わせは、3次元空間上で行ってもよい。より具体的には、利用者端末2は、目、鼻、口等の特徴部分の配置を基準に、頭部前面部に装着された頭部装着装置1上のマーカ103、113、123の位置より座標系を計測する。利用者端末2は、マーク103、113、123の位置だけでなく、マーク面積、基材100の幅(縦方向の高さ)、及び、開口114、124、開口114、124の目盛り(ゲージ部ともいう)の位置情報も使用し、距離計測を行うようにしてもよい。例えば、ある位置計測L1、L2における計測対象の面積が、S1、S2である場合は、
L2/L1 =(S1)1/2 /(S2)1/2
の関係から距離を求めればよい。例えば、L1、S1、S2が既知の場合に、利用者端末2は、上記逆比例の式にしたがって、距離L2を求めることができる。また、マーカ103、113、123等の面積を基に、撮像部28から対象のマーカ103、113、123等までの距離を算出すればよい。
また、利用者端末2は、利用者の左右の目を結ぶ水平線、顔の中心線、顔の幅、頭部の上下の長さ等を基に、利用者の頭部の各部位の三次元位置座標を特定すればよい。なお、人の頭部を想定した複数の3次元モデルを作成しておき、利用者の左右の目を結ぶ水平線、顔の中心線、顔の幅、頭部の上下の長さ等の寸法に適合する3次元モデルを選択することで、各部位の三次元座標を特定してもよい。
さらに、頭部装着装置1の各部の三次元座標と、利用者の頭部の三次元座標とは、原点を一致させることで、同一の三次元空間で定義された座標となる。例えば、利用者の左右の目の中心間を結ぶ線分の中点を三次元空間の原点とすればよい。一方、頭部装着装置1の各部は、例えば、中央のマーカ103を基準にして三次元座標を求めればよい。そして、利用者端末2は、中央のマーカ103の位置と利用者の左右の目の中心間を結ぶ線分の中点との相対距離をシフトすることで、利用者の頭部の座標系と頭部装着装置1の座標系を一致させればよい。
このようにして、利用者頭部の目標位置と、センサ115、125の現在位置とは、利用者等の基準点、例えば、目、鼻、口、頭部の輪郭等で決定される原点を有する三次元座標系で算出される。そして、三次元座標系の目標位置と、センサ115、125の現在位置とが、二次元座標系に変換され、利用者の頭部の画像に重畳して表示される。
以上の手順では、利用者端末2は、頭部装着装置1のセンサ115、125の現在位置を頭部の画像に重畳表示し、脳血流計測位置ガイド枠に合致するように、利用者をガイドする。しかし、キャリブレーションがこのような処理に限定される訳ではない。例えば、利用者の頭部画像の目標位置に、頭部装着装置1の特徴点、例えば、基材100の上下の縁、マーカ103、113、123、つまみ112、122等を位置づけるように、利用者端末2が利用者をガイドしてもよい。つまり、単純に、利用者の頭部画像(二次元座標)上で、脳アプリごとに頭部装着装置1の特徴点の位置を目標位置として規定しておいてもよい。この場合も、つまみ112、122の開口114、124内の相対位置は、利用者が実行する脳アプリ毎に、事前に所定のつまみ位置(デフォルト位置)となるように、利用者に指示しておけばよい。そして、利用者は、開口114、124内でのつまみ112、122の相対位置を移動しないように、頭部装着装置1の特徴点を利用者端末2が表示する目標位置に移動し、調整すればよい。
(2)2回目以降のキャリブレーション
図6に、2回目以降のキャリブレーションの処理を例示する。利用者がすでに利用した脳アプリを再度利用する場合には、過去に行ったキャリブレーション時の利用者頭部の画像が利用される。本計測システムでは、例えば、初回キャリブレーションで得られた望ましい配置位置に頭部装着装置1が装着された利用者の頭部画像(基準画像という)は、利用者端末2のメモリ22(不揮発性の記憶装置)に保存されている。そこで、利用者端末2は、基準画像(PH1)を表示部25に配置するとともに、利用者の現在の頭部画像(PH2)を重畳表示する。利用者は、例えば、まず、利用者端末2の撮像部28との距離を調整することで、基準画像(PH1)と現在の頭部画像(PH2)の寸法を合わせる。そして、基準画像(PH1)中の頭部と現在の頭部画像(PH2)の頭部とが一致するように、自身の頭部の状態、姿勢を修正する。例えば、現在の頭部画像(PH2)の目、鼻、口、輪郭等が基準画像(PH1)と重畳するように自身の姿勢等を修正すればよい。さらに、現在の頭部画像(PH2)での頭部装着装置1の配置が、基準画像(PH1)と一致するように、利用者は頭部装着装置1の装着状態を修正すればよい。例えば、現在の頭部画像(PH2)のマーカ103、113、123、つまみ112、122等が、基準画像(PH1)のそれぞれの部分と重畳するように調整すればよい。
以上のような利用者によるセンサ115、125の位置合わせを支援するため、例えば、利用者端末2が合わせアプリを実行する。合わせアプリ実行後、利用者端末2は、脳アプリを実行し、利用者の脳測定対象部位での血流量の変化を基に、利用者に、あるいは利用者にサービスを提供するサービス提供者等に様々な情報を提供する。
<提供されるサービス、機能の例>
以上の計測システムが提供するサービス、あるいは機能として以下のものが例示できる。本計測システムでは、利用者端末2が脳アプリを実行することで、利用者端末2が単体で利用者にサービス、あるいは機能を提供してもよい。また、利用者端末2の脳アプリあるいはブラウザ等のプログラムがネットワークN2を介して業者サーバ3にアクセスし、業者サーバ3が利用者端末2にサービス、あるいは機能を提供してもよい。
(a)利用者の脳の活動状態に関連する情報の利用者への提供
例えば、利用者端末2、あるいは業者サーバ3(以下、利用者端末2等)は、脳の活動状態を示す情報をグラフ、表等として利用者に提示できる。
(b)画像の表示、
また、利用者端末2等は、脳の活動状態を示す情報を様々な画像で利用者に提示できる。画像は、画面の色の変化や明るさ(輝度)の変化も含む。
(c)音響、音声、振動および光の少なくとも1つを含む物理的効果の利用者へ提供
さらに、利用者端末2等は、計測された脳の活動状態を基に、音響、音声、振動および光の少なくとも1つを含む物理的効果を利用者に提供してもよい。ここで、物理的効果は、例えば、利用者の脳の活動状態に適合する音楽、楽曲等の提供、マッサージ器における振動の制御、室内照明の制御等である。
(d)利用者の現在の活動に関与する関与者(学校、塾、スポーツクラブなど)への情報提供
また、利用者端末2等は、利用者の現在の活動に関与する関与者、例えば、学校、塾、スポーツクラブの講師、教師、インストラクタ、コーチ等に上記グラフ、表、画像等で、利用者の脳の活動状態に関連する情報を提供してもよい。学校、塾、スポーツクラブは、利用者の脳の活動状態に応じた指導を行うことが可能となる。
(e)利用者が現在使用中の装置(児童の学習用アプリケーションを搭載したパーソナルコンピュータ、タブレット型コンピュータ、車の車載器等)または設備(学校、塾、スポーツクラブなどの設備)の制御
また、例えば、利用者の脳が不活性な状態となっている場合等を基に、例えば、学習用アプリケーションを搭載したパーソナルコンピュータ、車の車載器等の装置、あるいは学校、塾、スポーツクラブなどの設備は、利用者の脳を活性化する刺激を利用者に提供してもよい。このような刺激は、ディスプレイ上の表示、音声、音、物理的振動、光等による刺激である。また、例えば、車載器は、利用者の脳が不活性な状態となっていることを頭部装着装置1の血流変化の計測データから判定した場合に、眠気防止の物理的刺激(表示等の視覚的刺激、音声、音響等の聴覚的刺激等)を運転者に与えてもよい。また、車載器は、血流変化の計測データを判定し運転者に休憩するように誘導してもよい。また、学校、塾、スポーツクラブなどの設備のコンピュータが、参加者である利用者の脳が不活性な状態となっていることを頭部装着装置1の血流変化の計測データから判定した場合に、ディスプレイに脳が不活性となっている参加者を識別する情報、あるいは各参加者の脳の状態を表示し、各参加者に見られているという刺激を与えるようにしてもよい。これらのコンピュータは、利用者端末2を介して、頭部装着装置1で計測された血流量の変化のデータを取得してもよいし、図1に例示したネットワークN1を介して頭部装着装置1から直接血流量の変化のデータを取得してもよい。
(f)利用者が現在使用中の装置と連携する装置(他のスマートフォン、PC等)または設備(テレビの放送局など)への情報の送信
利用者端末2は、利用者の脳の活動状態を他のスマートフォン、PC等またはテレビの放送局などの設備に送信してもよい。例えば、テレビの放送局のコンピュータは、放送する番組、広告等と関連づけて、視聴者の脳の活動状態を示す計測値を取得し、番組への視聴者の感度、広告に対する反応を示す脳活動を脳機能部位の血流量の変化に基づいて出力することが可能となる。この場合に、広告は、動画によるものでもよく、静止画によるものでもよい。
(g)利用者の脳の活動状態に関連する情報
利用者端末2あるいは業者サーバ3は、頭部装着装置1で計測された、頭部の血流量の変化の計測データを基に利用者の脳の活動状態についての情報を利用者、あるいは、利用者にサービスを提供する事業者等に様々な形式、あるいは態様で提供する。例えば、利用者端末2あるいは業者サーバ3は、利用者の脳の活動状態についての過去に蓄積された評価値と現在の評価値との比較よって現在の状況を示す情報を提供してもよい。また、利用者端末2あるいは業者サーバ3は、利用者の脳の活動状態についての評価値と利用者の他の人体情報との相関を示す情報を提供してもよい。また、利用者端末2あるいは業者サーバ3は、利用者の脳の活動状態についての評価値と利用者の体調との相関を示す情報を提供してもよい。また、利用者端末2あるいは業者サーバ3は、利用者の脳の活動状態についての評価値と利用者の精神状態との相関を示す情報を提供してもよい。また、利用者端末2あるいは業者サーバ3は、利用者の脳の活動状態についての評価値とインターネット上で提供される情報との相関を提供してもよい。
(h)フィードバックトレーニングへの応用
スポーツ選手はセルフコントロールを重視するため、心拍のフィードバックトレーニングなどを行う。例えば、米国では脳波を使ったフィードバックトレーニングも実施されている。利用者が頭部装着装置1を装着し、利用者端末2上で脳アプリを実行し、利用者自身の血流量の変化の測定データを用いて、フィードバックトレーニングをすることができる。
以下、図7から図17を参照して、実施例1の計測システムを説明する。実施例1の計測システムのシステム構成、頭部装着装置1の構造は、図1、図2−4に例示したものと同様である。実施例1では、利用者端末2が撮像部28で撮影された利用者の頭部画像を基に、脳アプリごとのキャリブレーションを実行する処理例を説明する。
<標準サイズの三次元モデル>
実施例1では、ユーザによるセンサ115、125の位置合わせをガイドする合わせアプリによる利用者端末2の処理例を説明する。図7は、実施例1における利用者のモデル座標系を例示する図である。実施例1の利用者端末2は、撮像部28で撮影した利用者の頭部画像上で、左右の目を結ぶ直線上にX軸を設定する。向きは、利用者に向かって右方向を正方向と定義される。また、利用者端末2は、利用者の鼻の中心を上下に通る直線上で、上向きを正とするY軸を設定する。したがって、左右の目の中心間を結ぶ線分の中点で、X軸とY軸が交差し、原点となる。さらに、利用者端末2は、上記原点において、図7の紙面に垂直に紙面から上方を正方向として、Z軸を設定する。以上のようにして、利用者端末2は、人の頭部の3次元座標系を設定する。
さらに、利用者端末2は、利用者の頭部の実際のサイズを標準サイズに変更したモデルを有する。標準サイズは、例えば、顔の横幅で規定され、典型的な人のサイズを用いればよい。利用者端末2は、標準サイズのモデル上で、それぞれの脳アプリに対応するセンサ115、125の配置位置を上記三次元座標系のデータで有している。そのため、利用者端末2は、利用者の頭部を撮像部28で撮影した頭部画像を標準サイズのモデルに変換し、頭部画像上の二次元座標系での頭部装着装置1の装着位置から、標準サイズのモデルの三次元座標系での装着位置に換算する。そして、利用者端末2は、標準サイズのモデルでセンサ115、125が脳アプリごとの目標位置に配置されるように、表示部25に二次元座標系で表示された頭部画像にガイドとなるオブジェクトを表示し、利用者によるセンサ115、125の位置合わせを支援する。
<データ構造>
図8は、標準サイズの三次元モデルにおいて、計測対象部位と、モデルでセンサ115、125を配置する目標位置の関係を定義した計測位置管理テーブルの例である。実施例1では、人の脳を複数領域に区分して、区分した各領域での血流量の変化を精度よく計測するために、センサ115、125を配置する目標位置を定義する。図8の計測位置管理テーブルは、利用者端末2のメモリ22に保持される。ただし、図8の表で、1行目は、説明行であり、メモリ22に実際に保持されるのは、図8の表の第2行目以降の行である。表の1行目が実際にメモリ22に保持されるデータではなく、説明行であるという点については、図9、図10等も同様である。
図8の計測位置管理テーブルの各行は、No、計測部位名称、オフセット座標(x)、オフセット座標(y)、オフセット座標(z)、および計測範囲(r)の各要素を有している。Noの要素は、計測位置管理テーブルの行を識別する情報である。ただし、計測位置管理テーブルにおいて、Noの要素は省略してもよい。計測位置管理テーブルの各行は、計測部位名称によって識別できるからである。
計測部位名称の要素は、人の脳の計測対象部位を指定する情報である。人の脳の区分としては、様々な区分方法が提案されている。例えば、脳の構造にしたがって、大脳、間脳、小脳、脳幹等に区分し、さらに、大脳を前頭葉、頭頂葉、後頭葉、側頭葉等に区分する方法がある。また、例えば、コルビニアン・ブロードマンは、大脳皮質中で、組織構造が均一である部分をひとまとまりに区分して1から52までの番号を付与し、脳地図を提案した。実施例1では、ブロードマンの脳地図と同様に、大脳皮質の各部に番号を付与して、計測部位名称として採用する。図8では、計測部位名称は、1野、・・・、59野等で例示される。すなわち、本計測システムにおいて、大脳皮質を区分して測定する場合に、区分がブロードマンの脳地図と同一の区分に限定される訳ではない。本計測システムは、ブロードマンの脳地図相当の標準的な脳地図、あるいは、メーカが独自に定義した脳地図、標準的な脳座標での脳の区分等を用いて、測定データの用途、あるいは応用に適合した各区分の血流量の変化を測定すればよい。
例えば、ブロードマンの脳地図を用いて計測位置管理テーブルを定義する場合で、かつ、前頭葉に限定する場合には、図8の表は、9野、10野、11野、45野、46野、47野を含む6行のテーブル構成とすればよい。
オフセット座標(x)、オフセット座標(y)、オフセット座標(z)は、計測部位名称で識別される各部位を計測するためにセンサ115、125を配置する目標位置であり、三次元座標系での座標値である。ここで、三次元座標系は、図7に例示した座標系である。また、各部位の位置は、図7に例示した標準サイズのモデルにおける位置である。計測範囲(r)は、上記目標位置からの許容誤差であり、例えば、オフセット座標(x)、オフセット座標(y)、オフセット座標(z)からの半径である。
このように、利用者端末2は、計測位置管理テーブルを保持することで、脳アプリごとの計測対象位置が決定されると、三次元座標系で標準サイズのモデルの目標位置にセンサ115、125を配置する。そして、利用者端末2は、三次元座標系での位置を二次元座標系に換算してセンサ115、125を配置する目標位置を求める。そして、利用者端末2は、求めた二次元座標系での目標位置等を基に利用者の頭部画像に各種のガイドを表示し、利用者によるセンサ115、125の配置を支援すればよい。
図9は、頭部装着装置1(図9では、ヘッドセットとして例示)の構造管理表の例である。構造管理表は、頭部装着装置1の各部の寸法、あるいは、位置を定義する。ただし、実施例1では、頭部装着装置1が湾曲した状態ではなく、平面上に引き延ばされた状態での寸法、および位置を有する。図9では、ヘッドセット横長、ヘッドセット縦長、マーカL1、M1、R1、スライダL1、L2、センサスライダ可動範囲L1、R1、センサL11、L12、R11、R12等の位置が例示されている。ただし、構造管理表が、図9の各部の定義に限定される訳でない。
なお、マーカL1、M1、R1がそれぞれ、図4のマーカ113、103、および123に対応する。また、スライダL1、L2がつまみ112、122に対応する。さらに、例えば、センサL11、L12がセンサ115の2つの受光部に対応し、センサR11、R12がセンサ125の2つの受光部に対応する。なお、図9では、合計4つのセンサが定義されているが、実施例1において、センサの数が4つに限定される訳ではない。
図9の各行は、サイズ、オフセット座標(x)、オフセット座標(y)、オフセット座標(z)、および可動範囲の各要素を有している。このうち、サイズの要素は、各部の寸法を保持する。また、オフセット座標(x)、オフセット座標(y)、オフセット座標(z)は、頭部装着装置1の各部基準点が配置される位置座標である。オフセット座標は、例えば、マーカM1を原点とする頭部装着装置1内の座標系の座標である。頭部装着装置1内の座標系は、例えば、マーカL1、M1、R1を通り、頭部装着装置1を装着した利用者に向かって右方向を正とするX軸と、マーカM1(原点)を通り、X軸に垂直なY軸(右手座標系)で定義される。ただし、実施例1では、頭部装着装置1を平面に引き延ばしたときの形状を定義する。そのため、オフセット座標(z)は、通常0である。可動範囲は、センサスライダ可動範囲L1、R1に対して設定される要素である。
利用者端末2がメモリ22に構造管理表を有することにより、例えば、利用者の頭部画像で得られた頭部装着装置1の形状(例えば、ヘッドセット横長と縦長の比等)、部品の配置(マーカ103に対するマーカ113、123の位置等)、部品の面積等を基に、頭部装着装置1の湾曲の程度、および頭部装着装置1から撮像部28までの距離等を認識できる。すなわち、利用者端末2は、構造管理表のサイズ、オフセット位置等と、画像上の各部の面積、位置を基に、三次元座標系でのセンサ115、125の位置を算出する。そして、利用者端末2は、図7に例示したように、利用者の頭部画像の特徴点(目、鼻等)から、得られる頭部画像での原点に対して、センサ115、125の現在位置を求める。そして、利用者端末2は、画像から得られた三次元座標系での現在位置を標準サイズのモデルの位置に換算する。したがって、利用者端末2は、標準サイズのモデルにおいて、センサ115、125の現在位置を求めることができる。また、利用者端末2は、標準サイズのモデルにおいて、センサ115、125の目標位置を求める。さらに、利用者端末2は、センサ115、125の現在位置および目標位置を撮像部28で撮影した二次元座標系の画像上の位置に変換する。このようにして、利用者端末2は、撮像部28で撮影した利用者の頭部画像にセンサ115、125の現在位置、およびセンサ115、125が配置される目標位置を表示し、利用者をガイドできる。
図10は、センサスライダ設定値管理表の例である。センサスライダ設定値管理表は、アプリケーション(脳アプリ)の種類毎に、計測部位を規定する。すでに、図8で説明したように、各計測部位を測定するためのセンサの配置位置は、計測位置管理テーブルに設定される。したがって、利用者端末2は、実行する脳アプリが決定されると、センサスライダ設定値管理表から、該当する脳アプリを検索し、各センサに指定された計測部位を読み出す。そして、利用者端末2は、各計測部位を計測するためのセンサの配置位置を計測位置管理テーブルから読み出し、利用者の頭部画像上の該当位置にセンサを配置する目標位置となるオブジェクト(ガイドともいう)を表示するのである。
図10のセンサスライダ設定値管理表の各行は、アプリケーションの種類、右センサ、左センサの各要素を有している。
アプリケーションの種類という要素には、利用者端末2が実行する脳アプリの名称あるいは、脳アプリの識別情報、識別コード等が指定される。図10の例では、英語辞書トレーニング、音読トレーニング、認知トレーニング、抑制トレーニング、協調トレーニング等が脳アプリとして例示されている。このうち、認知トレーニングは脳トレーニングとも呼ばれるものである。また、協調トレーニングは、例えば、チームワークを強化するトレーニングである。右センサ、左センサは、それぞれのセンサを識別する情報であり、対応する各行の要素には、各センサの計測対象部位が指定される。図8の計測位置管理テーブルですでに説明したように、脳の部位は、ブロードマンの脳地図相当の標準的な脳地図、あるいは、メーカが独自に定義した脳地図、標準的な脳座標での脳の区分等を用いて定義すればよい。
なお、図2から4に例示のように、頭部装着装置1は、つまみ112、122を有し、つまみ112によってセンサ115がスライド可能あり、つまみ122によってセンサ215がスライド可能ある。そして、センサ115は、左センサに相当する。また、センサ125は、右センサに対応する。したがって、つまみ112によって、左センサが移動可能であり、つまみ122によって右センサが移動可能である。
図11は、利用者端末2がメモリ22に保持するデータの例である。図11では、各データがメモリ22での領域名によって例示されている。例えば、入力画像メモリとは、メモリ22のうち、撮像部28で撮影されたデータが保持されるバッファ領域をいう。バッファ領域である入力画像メモリには、撮像部28から所定のフレーム間隔(周期)で画像が書き込まれる。
顔画像メモリは、入力画像メモリに書き込まれた利用者の頭部の画像データのうち、利用者端末2(合わせアプリ)が認識した利用者の顔の部分の画像データを保持する。目画像メモリ、鼻画像メモリ、口画像メモリは、入力画像メモリに書き込まれた利用者の頭部の画像データのうち、利用者端末2(合わせアプリ)が認識した利用者の目、鼻、口の各部の画像データを保持する。また、ヘッドセット画像メモリ、マーカ画像メモリは、入力画像メモリに書き込まれた利用者の頭部の画像データのうち、利用者端末2(合わせアプリ)が認識した頭部装着装置1の画像データ、マーカの画像データを保持する。センサ画像メモリは、センサを配置する目標位置を示すマークの画像データが保持される。
目2D座標メモリは、利用者端末2が認識した頭部画像中での目の位置を示す2次元座標系の座標値を保持する。なお、二次元座標系は、すでに述べたように、利用者の左右の目のそれぞれの中心点を結ぶ線分の中点を原点として設定される(図7のX軸、Y軸参照)。
鼻2D座標メモリ、口2D座標メモリも同様である。ヘッドセット2D座標メモリは、上記二次元座標系での現在の頭部装着装置1の基準点の位置を示す座標値を保持する。マーカ2D座標メモリ、センサ2Dメモリは、それぞれマーカ、およびセンサの位置を示す2次元座標系の座標値を保持する。目位置メモリ、鼻位置メモリ、口位置メモリ、ヘッドセット位置メモリ、マーカ位置メモリ、センサ位置メモリは、それぞれ目、鼻、口、頭部装着装置1の基準点、マーカ、センサの三次元座標系での座標値を保持する。
<位置合わせ処理例>
図12は、初回位置合わせの処理手順を例示するフローチャートである。CPU21は、メモリ22上のコンピュータプログラムである合わせアプリにしたがって図12の処理を実行する。また、利用者が所望の脳アプリの実行を利用者端末2に指示すると、CPU21が脳アプリ実行前に図12の処理を実行する。
この処理では、まず、CPU21が画像入力部として処理を実行し、撮像部28で撮影された画像を取得する(S1)。そして、CPU21は画像処理部として処理を実行する(S2)。S2の処理では、CPU21は、例えば、S1で取得した画像から利用者の頭部画像中の特徴点を認識する。次に、CPU21は、位置算出部として処理を実行する(S3)。S3の処理では、CPU21は、例えば、S2で認識したそれぞれの特徴点の座標値を算出する。
次に、CPU21は、センサ取り付け位置データ管理部として処理を実行する(S4)。S4の処理では、CPU21は、図10に例示した頭部装着装置1の構造管理表から、頭部装着装置1の各部のサイズ、オフセット位置(x、y、z)、可動範囲等を取得する。
そして、CPU21は、センサ位置判定部として処理を実行する(S5)。S5の処理では、CPU21は、頭部装着装置1の各部のサイズ、オフセット位置(x、y、z)と、S2の特徴点の位置から、センサの現在位置(三次元座標系)を算出する。また、CPU21は、図10に例示したセンサスライダ設定値管理表から、脳アプリごと、利用者の頭部サイズ別の各センサの計測部位を取得する。さらに、CPU21は、各センサの計測部位に対応するセンサのオフセット位置を図8に例示した計測位置管理テーブルから取得する。そして、三次元空間上で、利用者の頭部のサイズを標準サイズに換算したモデル上でセンサのオフセット位置を配置する。このオフセット位置は、脳アプリに対応してセンサを配置する目標位置である。さらに、CPU21は、センサの現在位置および目標位置を配置したモデル画像を二次元に変換する。2次元画像は、利用者の左右の目のそれぞれの中点を結ぶ線分の中点を原点とする座標系である。CPU21は、モデル画像を二次元に変換するとき、モデルの頭部のサイズを標準サイズから利用者の頭部のサイズに換算して、2次元座標系でのセンサの現在位置および目標位置を求める。そして、CPU21は、2次元座標系でのセンサの現在位置および目標位置にガイドとなるオブジェクトを描画する。
次に、CPU21は、画像合成部として処理を実行する(S6)。S6の処理では、CPU21は、撮像部21から取得した利用者の頭部画像に、S5の処理でモデルにセンサを配置して生成した二次元画像を重畳する。
次に、CPU21は、位置合わせが十分になされたか否かを判定する(S7)。位置合わせが十分になされた場合とは、例えば、標準サイズのモデルにおいて、センサの位置がアプリ毎に規定された計測部位に許容誤差の範囲で収まっている場合をいう。S7の判定が否の場合、CPU21は、利用者に対して、センサの現在位置が目標位置に近づくように修正を促し、S8の画像入力部としての処理およびS5のセンサ位置判定部としての処理を実行する。すなわち、CPU21は、再度利用者の頭部画像を撮像部28から取得し、2次元座標系でのセンサの現在位置および目標位置にガイドとなるオブジェクトを描画する。S1からS8の実行するCPU21が位置決め手段による調整を支援する手段の一例である。
一方、S7の判定で位置合わせが十分になされた場合、CPU21は、位置情報保存部として処理を実行する(S9)。S9の処理では、CPU21は、例えば、現在の目、鼻等の位置、マーカ103、113、123の位置等をメモリ22に保存する。
さらに、CPU21は、画像情報保存部として処理を実行する(SA)。SAの処理では、CPU21は、S6で合成した二次元画像を基準画像としてメモリ22に保存する。さらに、CPU21は、出力部として処理を実行し、位置合わせが成功したことを示す情報を出力する。例えば、CPU21は、メッセージの表示部25への出力、音響あるいは振動等の出力部27への出力のいずれか、またその組み合わせを実行する(SB)。
図13は、画像処理部の処理(図12のS2)の詳細を例示するフローチャートである。この処理では、CPU21は、画像読み込み手段として処理を実行する(S21)。例えば、CPU21は、フレームバッファ等に保持された画像を取得する。CPU21は、取得した画像を例えば、メモリ22内の画像メモリに格納する。
次に、CPU21は、顔検出手段として処理を実行する(S22)。この処理では、CPU21は、画像から顔の部分を識別する。CPU21は、取得した顔の部分の画像を例えば、メモリ22内の顔画像メモリに格納する。次に、CPU21は、目検出手段として処理を実行する(S23)。この処理では、CPU21は、画像から目の部分を識別する。CPU21は、取得した目の部分の画像を例えば、メモリ22内の画像メモリに格納する。次に、CPU21は、鼻検出手段として処理を実行する(S24)。この処理では、CPU21は、画像から鼻の部分を識別する。CPU21は、取得した鼻の部分の画像を例えば、メモリ22内の画像メモリに格納する。次に、CPU21は、口検出手段として処理を実行する(S25)。この処理では、CPU21は、画像から口の部分を識別する。CPU21は、取得した口の部分の画像を例えば、メモリ22内の画像メモリに格納する。S22からS25の処理は、例えば、一般的なデジタルカメラ等で行われている顔認識処理中の顔、目、鼻、口の検出と同様である。
次に、CPU21は、ヘッドセット検出手段として処理を実行する(S26)。S26の処理では、CPU21は、例えば、頭部装着装置1(ヘッドセット)のテンプレート画像を用いて、S21で取得した画像とのテンプレートマッチングを行えばよい。CPU21は、取得した頭部装着装置1の画像を例えば、メモリ22内のヘッドセット画像メモリに格納する。次に、CPU21は、マーカ検出手段として処理を実行する(S27)。S27の処理も、S26と同様である。CPU21は、取得したマーカ103、113、123を含む画像を例えば、メモリ22内のマーカ画像メモリに格納する。
さらに、CPU21は、センサ検出手段として処理を実行する(S28)。S28の処理では、CPU21は、頭部装着装置1のマーカ103、113、123の位置、寸法、機材100の画像中の寸法等および、つまみ112、122の位置から、頭部装着装置1裏面側でのセンサ115、125の現在位置を算出する。すでに説明したように、センサ115、125の現在位置は、例えば、標準モデルの位置に換算して、三次元座標系で求められる。ただし、S28の処理では、センサ115、125の現在位置は、頭部装着装置1の座標系(原点はマーカM1(マーカ103))で求められる。まだ、利用者の顔、目、鼻等の特徴点の位置が求められていないからである。
図14は、位置算出部の処理(図12のS3)の詳細を例示するフローチャートである。この処理では、CPU21は、マーカ座標情報及びマーカ画像メモリからマーカの画素数を抽出し、頭部装着装置1の構造を定義したヘッドセット構造図(物理サイズ及び、配置関係を定義した電子ファイル内の図面若しくは各部の寸法を定義するパラメータ群、又は、図面とパラメータ群の両方)におけるマーカの物理サイズ、マーカ相互の配置関係の情報に基づき、マーカ画像1画素に対応する頭部装着装置1上の物理サイズ(mm/pixcel)及び曲率を求め画像上の二次座標系から三次元座標系でのマーカの実位置を算出する(S31)。より具体的には、メモリ22が、ヘッドセットの構造図のサイズ、配置を情報として保有していることから、例えば、CPU21は、メモリ22内のマーカ画像から取得したマーカ103、113、123のサイズ(特に中央のマーカ103のサイズ)と頭部装着装置1の既知の3つのマーカ(特に中央のマーカのサイズ)のサイズの比較で、相対距離を算出する。そして、例えば、CPU21は、ヘッドセット構造図の左右に備えられたマーカの既知の配置情報と、メモリ22内のマーカ画像(特に頭部装着装置1の左右に備えられたマーカ113、123)の情報の対比に基づき、頭部装着装置1の構造の歪み、具体的には頭部装着装置1が人間の顔に沿ってどの程度歪んでいるかの曲率、を算出することができる。これらの情報から、CPU21は三次元座標系でのマーカ103、113、123の実位置を算出することができる。同様の手続きにより、CPU21は、画像の二次元座標系でのマーカ座標、目座標及び、三次元座標系でのマーカ位置に対する目位置を算出する(S32)。ここで、目の位置は、頭部装着装置1の構造における中央のマーカ103の位置の下方に位置づけられる。なお、一般的な頭部装着装置1の位置に対応する目の中央の位置及び両目の距離は統計データなどを利用することができる。そこで、例えば、CPU21は、頭部装着装置1の位置(マーカ103、113、123の位置)と目の高さ(左右の目のそれぞれの中心を結ぶ線分のY軸方向の位置)の間の距離及び両目の間の距離(左右の目のそれぞれの中心を結ぶ線分の長さ、目尻間の長さ、または目頭間の長さ等)の統計データを備えたメモリ22の情報を用いて、マーカ座標から目の位置を算出してもよい。なお、これらの統計データを用いることに代えて、CPU21は、メモリ22に備えられた目の画像パターンのデータベースを用いて、画像内の目の位置をパターンマッチングによって特定してもよい。この場合、例えば、画像内の目の位置とマーカの位置の対応関係と、画像内のマーカ103、113、123の位置とマーカ103、113、123の三次元座標系での実位置の対応関係並びに上記で導かれた曲率から、実際の目の位置を特定してもよい。このような対応関係は、メモリ22に保持されるデータベースのテーブルに保持してもよい。また、CPU21がこのような対応関係を実験式のパラメータをメモリ22に保持することによって、関数関係を計算できるようにしてもよい。
次に、CPU21は、画像の二次元座標系でのマーカ座標、鼻座標及び、三次元座標系でのマーカ位置に対する鼻位置を算出する(S33)。鼻位置も目の座標の特定と同様に、統計データ若しくは鼻のパターンマッチング等を用いて、特定することができる。次に、CPU21は、画像の二次元座標系でのマーカ座標、口座標及び、三次元座標系でのマーカ位置に対する口位置を算出する(S34)。口位置も目と鼻の位置と同様に特定することができる。次に、CPU21は、画像の二次元座標系でのマーカ座標、センサスライダ座標及び、三次元座標系でのマーカ位置にてセンサスライダ位置を算出する(S35)。センサスライダ位置も上記と同様である。なお、センサスライダ位置とは、図4に例示したつまみ112、122の位置である。最後に、CPU21は、上記同様に、センサスライダ位置及び、ヘッドセット構造管理表のセンサ可動範囲からセンサ位置を算出する。
図15は、画像合成部の処理(図12のS6)の詳細を例示するフローチャートである。この処理では、CPU21は、入力画像を取得し、出力画像に複写し、現在のセンサ位置情報(現在位置のセンサのオブジェクト)及び、アプリケーション毎の脳血流計測センサ位置情報(目標位置のオブジェクト)を重畳表示する(S61)。
図16は、利用者が利用実績のある脳アプリを再度利用するときに、実行される2回目のキャリブレーションの処理を例示する構成図である。利用実績のある脳アプリについては、すでに、当該脳アプリを初めて実行したときに、センサの位置合わせが行われている。そして、初回脳アプリ実行時のキャリブレーションによるセンサの位置合わせ結果は、利用者の頭部に頭部装着装置1が装着された状態での初回調整時撮影画像としてメモリ22の初回調整情報記憶域に保存されている。また、2回目以降の頭部装着装置1を装着した利用者の画像は、頭部装着位置情報記憶域に例えば、所定のフレーム間隔(周期)で取得される。
したがって、利用者が利用実績のある脳アプリを再度利用するときには、利用者端末2は、初回利用時のように、図12から図15に例示される処理を再度実行しなくてもよい。利用者端末2は、例えば、ユーザに撮像部28から初回時と同様の距離の位置で、初回調整時撮影画像と同様の頭部装着装置1の装着状態をとるようにガイドすればよい。このガイドは、利用者端末2が頭部装着位置調整アプリケーション(合わせアプリ)にしたがって実施する。
すなわち、利用者端末2は、表示部25に、現在の利用者の頭部画像を表示するとともに、初回調整時撮影画像を重畳表示する。そして、利用者端末2は、現在の利用者の頭部画像が、初回調整時撮影画像の画像となるように、利用者に、撮像部28からの距離、利用者の姿勢、頭部装着装置1の装着状態、つまみ112、122の位置を修正するように促せばよい。
図17は、2回目以降のキャリブレーションの処理を例示するフローチャートである。利用者端末2は、利用者端末2が脳アプリを実行したときに、当該脳アプリに対応する初回調整時撮影画像が保存されているか否かを確認することによって、2回目以降のキャリブレーションの実行か否かを判定できる。利用者端末2は、2回目以降のキャリブレーションであると判断した場合、図17の処理を起動する。この処理では、例えば、利用者端末2は、利用者に頭部装着装置1の装着を指示する(S71)。そして、利用者端末2のCPU21は、ヘッドセット装着位置調整アプリケーション(合わせアプリ)を起動する(S72)。以下の処理は、頭部装着位置調整アプリケーションによるCPU21の処理である。この処理では、利用者は、利用者端末2の撮像部28を自身に向ける。これにより、撮像部28は、利用者自身の頭部を撮影する(S73)。
そして、CPU21は、記憶域(メモリ22)より、初回調整時撮影画像を取得する(S74)。初回調整時撮影画像が保存頭部画像の一例である。また、S74の処理を実行するCPU21が利用者の保存頭部画像を取得する手段の一例である。次に、CPU21は、フレームバッファより撮像部28が撮影した現在の利用者自身の画像(以下「カメラ画像」)を取得する(S75)。カメラ画像が利用者の現在の頭部画像の一例である。また、S75の処理を実行するCPU21が利用者の現在の頭部画像を取得する手段の一例である。そして、CPU21は、カメラ画像および初回調整時撮影画像を表示部25に表示する(S76)。さらに、CPU21は、カメラ画像および初回調整時撮影画像の差分画像を抽出する(S77)。そして、CPU21は、差分画像領域サイズを算出し、差分画像領域サイズが閾値以内かどうか判定する(S78)。差分画像領域サイズは、例えば、差分画像の面積、あるいは、画像の最長寸法等である。CPU21は、例えば、差分画像内の画素数を積算することで、差分画像の面積を算出できる。また、CPU21は、例えば、差分画像内で、画素が連続する箇所の画素数を数えることで、画像の最長寸法等を求めてもよい。また、閾値は、実験値、経験値から利用者端末2のシステムパラメータとして設定できる。S78の判定で、差分画像領域サイズが閾値以内でない場合、CPU21は、利用者に装着位置調整を指示する(S79)。S79の指示は、例えば、表示部25へのメッセージ、出力部27からの音響、音声、あるいは、振動等による。そして、CPU21は、S77に制御を戻す。なお、S77に制御を戻すときに、カメラ画像は所定のフレーム間隔(周期)で更新されている。S76−S79の処理を実行するCPU21が位置決め手段による調整を支援する手段の一例である。
一方、S78の判定で、差分画像領域サイズが閾値以内である場合、CPU21は、ヘッドセット装着位置情報をヘッドセット位置情報記憶域に記録する(S80)。そして、CPU21は、キャリブレーション完了を各部に指示する(S81)。各部への指示とは、例えば、表示部25、出力部27等への出力、脳アプリの実行指示等である。
以上述べたように、実施例1の計測システムによれば、利用者の頭部の血流量の変化を検出した検出データの転送を受けた利用者端末2が利用者に様々なサービスを提供できる。本計測システムは、利用者端末2がマーカ103、113、123、基材100の寸法、利用者の目、鼻等の特徴点によって定められる座標系に対して、センサ115、125等の現在位置および目標位置のオブジェクトを用いたガイドを行い、利用者による位置決めを支援する。したがって、利用者は、自身の姿勢、頭部の位置、撮像部28から自身の頭部までの距離、および自身の頭部上での頭部装着装置1の装着位置等をガイドに従って調整できる。さらに、利用者は、つまみ112、122によってセンサ115、125の位置を利用者の頭部の特定部位に微調整することが可能となる。
特に、特定部位が前頭葉の場合には、本計測システムは、利用者の内面の反応あるいは反応、例えば、言語、行為、知覚、記憶、注意、判断、特に、思考、創造、意思、計画に関連する計測データを取得し、利用者の内面の反応、あるいは状態に応じたサービスを利用者自身に、あるいは利用者の内面の反応、あるいは状態を利用する事業者等に提供できる。
このような計測データの転送が無線通信路を介して行われる場合、計測データを簡易に様々なサービス、用途に活用できる。また、上記位置決め支援が、利用者に提供されるサービス、利用者が使用するアプリケーションプログラムごとに設定される適正な特定部位に対してなされると、利用者の内面の反応、あるいは状態に合致したサービス、アプリケーションプログラムの機能を提供できる。
さらに、実施例1では、利用者を撮影した画像を用いて、適正な特定部位に対してセンサが位置決めされるように、合わせアプリによるガイドがなされるので、利用者は利用目的に応じた望ましい部位に、より精度よく位置決めすることが容易となる。
より具体的には、実施例1では、利用者端末2は、頭部装着装置1の各部の寸法を基に、利用者の頭部と撮像部28との距離の算出、および、撮像部28で得られる二次元座標系から三次元座標系への変換を実施する。したがって、利用者端末2は、撮像部28の画像を精度よく三次元座標系に変換できる。
また、実施例1では、利用者端末2は、標準サイズのモデル上で、センサの配置位置を有する。そして、利用者端末2は、撮像部28で得られる二次元座標系の画像を基にしたセンサの現在位置と、図10に例示したセンサスライダ設定値管理表で特定される脳アプリごとの目標位置とを一旦求め、撮像部28で得られる二次元座標系の画像に変換して、センサの現在位置と目標位置のオブジェクトを表示する。したがって、利用者端末2は、精度よく、利用者をガイドできる。
また、2回目以降のサービスあるいはアプリケーションプログラムの利用時には、過去に実施済みのセンサ位置決め時の頭部画像に、現在の頭部画像を重畳して、利用者端末2が利用者をガイドする。したがって、利用者は、過去に実績のある適正な位置決め状態を目標として、現在のセンサの位置決めを実施でき、利用者による調整が容易となる。
<変形例>
上記実施例1では撮像部28で得られる二次元座標系から三次元座標系への変換を行い、標準サイズのモデルで、センサの現在位置と目標位置を求めた。しかし、本計測システムは、このような処理に限定される訳ではない。例えば、撮像部28で得られる二次元座標系(XY座標系)において、利用者の頭部画像とモデルとの位置合わせを行ってもよい。その場合に、脳アプリごとの測定位置は、例えば、モデルの大脳皮質の三次元座標での測定位置を画面の二次元座標系に変換しておけばよい。このような二次元座標系の画像上での位置合わせは、実施例1の場合よりも精度が低下する可能性があるが、利用者端末2における処理が簡素となる。
以下、図18を参照して、実施例2に係る計測システムについて説明する。実施例2では、実施例1に例示した頭部装着装置1が、ネットワークN1を介して複数の利用者端末2−1、2−2、2−N等と接続される。利用者端末2−1、2−2、2−N等が同一のタイミングまたは同一の期間に、ネットワークN1を介して同一の頭部装着装置1に接続される点を除いて、実施例2の構成要素および作用は、実施例1と同様である。
さらに、実施例2の計測システムでは、利用者端末2−1から2−Nのいずれかが、ネットワークN2を介して、さらに複数の利用者端末2−N1、2−N2、2−NK等と接続される構成でもよい。ここで、ネットワークN1は、図1と同様、例えば、無線通信部13が接続されるネットワークである。また、ネットワークN2は、図1と同様、例えば、公衆回線網である。
なお、利用者端末2−1、2−2、2−NK等が必ずしも同一種類のコンピュータでなくてもよい。また、実施例2において、利用者端末2−1、2−2、2−NK等を総称する場合には、利用者端末2という。以下、実施例2では、頭部装着装置1を装着した利用者を被験者と呼ぶことにする。
図18のような構成の計測システム、すなわち、一人の被験者からの血流変化の計測データを複数のメンバが共有する環境としては、例えば、商品、サービス等の企画、開発、あるいは評価等を行う場合に、被験者の商品、サービス等に対する反応を複数のメンバの利用者端末2−1、2−2、2−NK等に転送するものがある。これらの商品、サービスに対する反応としては、被験者が個人向けの機器を操作したときの反応、被験者がファッション品、デザインを見たときの反応、被験者が食品、飲み物等を飲食したときの反応、被験者が健康機器、マッサージ器等を利用したときの反応、被験者が薬品等を施されたときの反応、被験者がテレビ番組、音楽、広告、映画、演劇等を見たときの反応、被験者が書物を読んだときの反応、被験者が電子機器のゲーム等を行ったときの反応、被験者がテーマパーク、ゲームセンタ等でアトラクション等を利用者したときの反応、被験者がパチンコ、パチスロ等を利用したときの反応、被験者が特定の運動を行い、特定の行動をとり、あるいは特定の作業をしたときの反応等を例示できる。
なお、実施例2において、後述する実施例3と同様に、複数の被験者にそれぞれ装着された頭部装着装置1がネットワークN1、N2等を介して、利用者端末2−1、2−2、2−NK等に接続されてもよい。例えば、利用者端末2−1、2−2、2−N等の複数の利用者が同じタイミング、同じ期間に複数の被験者からの反応を取得したい場合もあるからである。
以下、図19を参照して、実施例3に係る計測システムについて説明する。実施例3では、実施例1に例示した頭部装着装置1と同一構成の複数の頭部装着装置1−1、1−2、1−N等が、ネットワークN1を介して利用者端末2−1と接続される。複数の頭部装着装置1−1、1−2、1−N等が、ネットワークN1を介して利用者端末2に接続される点を除いて、実施例3の構成要素および作用は、実施例1と同様である。
さらに、実施例3の計測システムでは、利用者端末2−1がネットワークN2を介してさらに利用者端末2−2と接続される構成でもよい。ネットワークN1、N2は、実施例1、2と同様である。実施例3において、頭部装着装置1−1、1−2、1−N等を総称する場合には、頭部装着装置1という。
図19のような構成の計測システム、すなわち、複数の被験者からの血流変化の計測データを収集する環境としては、例えば、商品、サービス等を複数人に提供したときの反応等を利用者端末2−1、2−2等に転送するものがある。これらの商品、サービスに対する反応としては、例えば、各種学校、学習塾における学習、各種セミナー等における被験者の反応あるいは効果、被験者が特定の作業を行う場合の反応あるいは効果、フィットネスクラブその他でのサービス、運動等に対する反応等、イベント会場での複数の被験者の反応、テレビジョン放送、インターネット等のマスメディアを通じたサービス提供時の被験者の反応等を例示できる。
また、例えば、公共輸送機関、飛行機、船舶、列車、あるいはバスの運転手、乗員、操縦者、操舵者等に頭部装着装置1を装着することで、公共輸送機関、飛行機、船舶、列車の運行者の体調、脳の血流量の変化をモニタできる。また、例えば、タクシー運転手、トラックの運転手に頭部装着装置1を装着することで、これらの運転手の体調、脳の血流量の変化をモニタできる。
また、本実施例の計測システムは、例えば、複数人による協調作業のトレーニング(チームづくり)などにおいて、トレーニングの効果、ハーモナイズしたときに活動が盛んになっているか否か、チーム内で共感した活動が行われているか否か等をモニタできる。
なお、実施例2と同様、複数の利用者端末2−1、2−2、2−NK等が同一のタイミングまたは同一の期間に、ネットワークN1、N2を介して複数の頭部装着装置1−1、1−2、1−N等に接続されてもよい。例えば、複数の利用者端末2−1、2−2、2−N等の利用者が同じタイミング、同じ期間に複数の被験者からの反応を取得したい場合もあるからである。
本実施例において、図1に例示したネットワークN1での通信時、通信データのヘッダ部、あるいは、通信データ中の利用者データ部分(ペイロード部分)に、頭部装着装置1−1、1−2、1−N等を識別するIDを埋め込んで、利用者端末2−1が被験者である利用者を識別するようにすればよい。また、ネットワークN2での通信時、通信データ中の利用者データ部分(ペイロード部分)に頭部装着装置1−1、1−2、1−N等を識別するIDを埋め込んで、利用者端末2−2が被験者である利用者を識別するようにしてもよい。
(データのID、ベンダ識別情報)
本実施形態において、例えば、図1に例示したネットワークN1での通信時、通信データのヘッダ部、あるいは、通信データ中の利用者データ部分(ペイロード部分)に、複数の頭部装着装置1を識別するID、あるいは、頭部装着装置1が正規のメーカから製造されたことを示すメーカID、正規の販売元から販売されたことを示すベンダID等を埋め込んでおいてもよい。通信の汎用性の観点では、以上のようなIDは、ペイロードに格納することが望ましい。また、このようなIDを血流変化の計測データとともに、ネットワークN2を通じて転送してもよい。
頭部装着装置1を識別するIDを識別するIDを通信データに埋め込むことで、複数の頭部装着装置1からの計測データを計測対象ごとに分類することが容易となる。また、メーカID,ベンダID等を通信データに埋め込むことで、位置合わせアプリあるいは脳アプリ等の実行時に、利用者端末2は、非正規に製造または販売された頭部装着装置1を排除することが可能となる。
このようなIDは、例えば、頭部装着装置1から利用者端末2への計測データの送信前に送信されるようにしてもよい。また、例えば、利用者が利用者端末2で、頭部装着装置1からの血流変化の計測データに基づくサービスの提供、または機能の提供の要求を受けるときに、頭部装着装置1からIDを取得するようにしてもよい。また、利用者端末2が頭部装着装置1からIDを取得するときに、利用者に利用者個人を認証する認証情報の入力を要求してもよい。
(ビジネスモデル、都度課金、スマホアプリ)
図1に例示したように、利用者端末2は、ネットワークN2を介して、業者サーバ3に接続される。また、業者サーバ3は、ネットワークN2あるいは事業者のコンピュータを接続する専用ネットワークN3によって課金サーバ4と接続される。
業者サーバ3は、例えば、頭部装着装置1のメーカ、あるいは脳アプリを提供するベンダ等のコンピュータである。業者サーバ3は、例えば、利用者に脳アプリを提供し、脳アプリ利用時の課金管理を行う。
例えば、利用者端末2は、利用者の頭部に装着された頭部装着装置1によって検出された頭部の血流量の変化の計測データを基にした有料サービスの提供要求を受け付けるようにしてもよい。例えば、利用者端末2が実施例1から4で説明した脳アプリの実行要求を受け付けたときに、利用者に脳アプリの実行に伴う課金を承諾するか否かの問い合わせを表示部25へ表示してもよい。そして、利用者が課金を承諾した場合に、利用者端末2は、業者サーバ3に課金の承諾を通知し、その後、上記実施例で説明したサービスあるいは機能を提供すればよい。
課金の承諾にあたっては、利用者端末2は、利用者に所定のパスワード等のセキュリティ情報の入力を求めればよい。業者サーバ3は、利用者からのセキュリティ情報によって、利用者を承認した後、利用者端末2からの課金の承諾を受け付ければよい。業者サーバ3は、課金の承諾を受け付けた後、ネットワークN2あるいは専用ネットワークN3によって接続された課金サーバ4に課金処理の実行を依頼すればよい。
課金サーバ4は、例えば、利用者が加入する公衆回線網(例えば、ネットワークN2)の通信事業者で利用者の通信料金を管理するコンピュータである。ただし、課金サーバ4は、利用者が予め、業者サーバ3上の課金管理ウェブページを通じて同意したクレジットカード会社で、利用者のクレジットカード使用料金を管理するコンピュータであってもよい。この場合に、利用者は予め当該クレジットカード会社が発行したクレジットカードのカード番号を業者サーバ3に提供している。ただし、利用者端末2からの課金の承諾ごとに、利用者は利用者端末2を介して、クレジットカード会社が発行したクレジットカードのカード番号を業者サーバ3に提供してもよい。このような構成により、本計測システムは、利用者の頭部の血流変化の計測データに基づいて様々なサービス、あるいは機能を利用者に提供できるととともに、利用者のニーズと整合のとれた課金を行うことができる。
課金サーバ4は、課金処理が完了すると、業者サーバ3に課金処理完了(決済済み)の通知を送信する。業者サーバ3は、課金処理完了(決済済み)の通知を課金サーバ4から受け付けると、利用者端末2に課金処理完了(決済済み)を通知すればよい。利用者端末は課金処理の完了後に、実施例1から4で説明した様々なサービスを利用者に提供すればよい。
(ビジネスモデル、都度課金、ウェブサイト)
実施例5では、利用者端末2が、利用者からの有料サービスの提供要求を受け付け、業務サーバ3に課金処理を依頼し、利用者にサービスを提供した。このような処理を業者サーバ3が例えば、ウェブサイトによって利用者に提供してもよい。
実施例6では、利用者の操作にしたがって、利用者端末2にインストールされた専用の脳アプリあるいはブラウザがウェブサイトにアクセスする。ウェブサイトを提供する業者サーバ3は、利用者の頭部に装着された頭部装着装置1によって検出された頭部の血流量の変化の計測データを基にした有料サービスの提供要求を受け付ける。
業者サーバ3が有料サービスの提供要求を受け付けたときも、利用者端末2の脳アプリあるいはブラウザを通じて、課金を承諾するか否かの問い合わせを表示部25へ表示してもよい。そして、利用者が課金を承諾した場合に、業者サーバ3は、上記実施例1から4で説明したサービスあるいは機能を提供すればよい。
課金の承諾にあたっては、業者サーバ3は、利用者に所定のパスワード等のセキュリティ情報の入力を求めればよい。業者サーバ3は、利用者からのセキュリティ情報によって、利用者を承認した後、利用者端末2からの課金の承諾を受け付ければよい。業者サーバ3は、課金の承諾を受け付けた後、ネットワークN2あるいは専用ネットワークN3によって接続された課金サーバ4に課金処理の実行を依頼すればよい。
そして、業者サーバ3が、課金サーバ4から、課金処理の完了の通知を受け取ると、利用者端末2に計測データの送信を要求し、利用者から検出された頭部の血流量の変化の計測データを取得する。そして、業者サーバ3は、この計測データに基づく、様々なサービスをウェブサイト等において利用者に提供すればよい。
実施例5、6では、利用者からの有料サービスの提供要求の度に、業者サーバ3が課金処理の実行を課金サーバ4に依頼した。このような処理に代えて、例えば、業者サーバ3が、利用者端末に脳アプリをダウンロードするときに、課金処理を行い、その後は、利用者が無償で脳アプリを利用者端末2で実行できるようにしてもよい。
実施例7では、業者サーバ3は、ウェブサイト等で利用者の頭部に装着され、頭部の血流量の変化を検出する頭部装着装置1から転送された計測データを処理するアプリケーションプログラムの有料ダウンロード要求を利用者端末2から受け付ける。
業者サーバ3は、有料ダウンロード要求を利用者端末2から受け付けたときに、有料サービスに対する課金処理の実行をネットワーク上の課金サーバ4に送信する。この場合も、業者サーバ3は、ウェブサイト上で、利用者から利用者に所定のパスワード等のセキュリティ情報の入力を求めればよい。業者サーバ3は、利用者からのセキュリティ情報によって、利用者を承認した後、利用者端末2からの課金の承諾を受け付ければよい。業者サーバ3は、課金の承諾を受け付けた後、ネットワークN2あるいは専用ネットワークN3によって接続された課金サーバ4に課金処理の実行を依頼すればよい。そして、業者サーバ3が、課金サーバ4から、課金処理の完了の通知を受け取ると、アプリケーションプログラムを利用者端末2に送信すればよい。
[変形例]
なお、実施例7(及び以下の実施例8)では、業者サーバ3は、本件脳アプリのインストールの後の利用時、又はダウンロード時に課金処理を行った。しかし、本計測システムが実施例7あるいは8の上記処理に限定される訳ではない。これに代えて、業者サーバ3は、脳アプリの利用、又はダウンロードに対する対価として、既に利用者が保有している何らかの金銭的価値を減少させる処理を実行してもよい。具体的には、事前に利用者が金銭的価値を有するポイントを保有しており、利用者が本件脳アプリをインストール後に利用する、若しくはダウンロードするときに、このポイントを消費するという方式でもよい。ここで、金銭的価値を有するポイントとは、事前に利用者が金品と交換に取得するポイントであってもよいし、利用者端末2を長期間利用すること、他のアプリなどを利用すること等によって溜まる金銭的代替価値を有するポイントでもよい。図1に例示した業者サーバ3がこのような金銭的代替価値を蓄積し、管理してもよい。また、業者サーバ3と連携する課金サーバ4その他のポイント管理用のサーバがこのような金銭的代替価値を蓄積し、管理してもよい。
(行動データ、環境情報)
実施例1から7に例示した計測システムにおいて、利用者端末2は、頭部装着装置1で計測された利用者の血流変化の計測データとともに、他の物理量を取得し、血流量の変化と他の物理量の組み合わせを基にサービスを提供してもよい。また、血流変化の計測データに基づくサービスを業者サーバ3等のサーバが提供する場合には、業者サーバ3等がこのような物理量を利用者端末2から取得し、血流量の変化と他の物理量との組み合わせを基にサービスを提供してもよい。また、利用者端末2あるいは業者サーバ3(以下、利用者端末2等)は、血流量の変化と利用者の行動履歴等に関する履歴情報、例えば、インターネット上の情報提供元へのアクセス履歴等との組み合わせを基にサービスを提供してもよい。
このような他の物理量、履歴情報等を取得するため、利用者端末2は、利用者の視線を検出する手段、音声を検出する手段、情報入力操作検出手段、利用者端末2を手持ちしたときの位置の移動、速度、加速度、または角速度を検出する手段、測位手段、天候、騒音、気温、湿度、気圧、および水圧の少なくとも1つを含む環境情報取得手段、およびインターネット上の情報提供元へのアクセス履歴の取得手段の少なくとも1つを有するようにしてもよい。業者サーバ3は、これらの物理量あるいは履歴情報等を利用者端末2から取得すればよい。
例えば、利用者端末2は、利用者の血流量の変化と、視線の方向に存在する表示部25上のオブジェクト、あるいは、視線の変化等との組み合わせによって、さらに的確に、利用者の脳の活動状態、意思、行為に関連する内面の状態等を判断できる。なお、利用者端末2は、利用者の顔画像中の目の位置、および目の中の黒目部分と白目部分の配置から視線の方向を判定すればよい。利用者の音声の変化、音声の大きさ、音声認識から得られる利用者が発する言葉等を利用者の血流量の変化と組み合わせた場合も同様である。利用者端末2は、利用者の音声の変化、音声の大きさを例えば、利用者端末2に設けたマイクロホンから取得すればよい。また、利用者端末2は、マイクロホンから取得した利用者の音声を基に音声認識を実行すればよい。
利用者端末2は、利用者が入力する情報、利用者がタッチパネル、タッチパッド等に入力するときの指の震え、ぶれ、利用者端末2を手持ちしたときの位置の移動、速度、加速度、または角速度等を取得し、利用者の血流量の変化と組み合わせればよい。さらに、利用者端末2は、GPSその他の測位手段による位置情報、天候、騒音、気温、湿度、気圧、および水圧の少なくとも1つを含む環境情報を取得し、利用者の血流量の変化と組み合わせればよい。さらにまた、利用者端末2は、利用者によるインターネット上の情報提供元へのアクセスを実行したときに、頭部装着装置1から利用者の血流量の変化を取得してもよい。そして、利用者端末2は、インターネット上の情報提供元へのアクセス履歴と利用者の血流量の変化とを組み合わせればよい。
(興味対象内容の自動ピックアップ)
次に、実施例1の計測システムを利用して、利用者が興味を持った内容をピックアップするシステムへの応用例を説明する。すなわち、この実施例は、実施例1の計測システムに加えて、頭部装着装置1で計測された利用者の血流量に変化が生じたときに、利用者端末2が利用者の視線の方向若しくは利用者の指等のポインタに基づく利用者端末2内の位置を取得し、利用者端末2は前記位置に対応する内容を表示するシステムである。このシステムにより、利用者端末2が、利用者の血液量の変化に基づいて判断された利用者の興味対象を自動的にピックアップできるため、興味対象の能動的な選択が不要になる。
ここで、血液量に変化が生じたとは、時間当たりの血液量の変化若しくは血液量の変化の微分値が、経験則等により設定された一定の閾値よりも大きく変化した場合を意味し、状況に応じて血液量の変化が微小に変更した場合も含む。利用者端末2内の情報処理装置(例えば、図1に例示したCPU21とメモリ22を含む)は、利用者の血液量の変化が生じたときの利用者の顔画像中の目の位置、目の中の黒目部分及び白目部分の配置から視線の方向を判定し、利用者端末2の位置と利用者の目の相対位置から、利用者端末2内で表示されている記事、情報の中から視線の対象部分を特定する。
また、利用者端末2の情報処理装置は、上記視線の方向の情報に代えて、視線の方向の情報によって、前記利用者の血液流に変化が生じた時の、利用者の指等の位置を示すポインタの位置を特定してもよい。これらは、血液量の変化が生じた時の利用者の指が示している位置であるから、利用者が興味を持つ部分と擬制できるためである。ここで、利用者の指等の位置を示すポインタの位置とは、例えば、図1に例示した利用者端末2の操作部26がタッチパネル、タッチパッド等を有する場合の指等のタッチパネルへの接触位置、タッチパッドによる表示部25の画面上のポインタの位置等をいう。
利用者が興味を持つ部分として、上記では、利用者の視線、利用者の指等の画面への接触位置、あるいは画面上のポインタの位置のいずれかを利用したが、これらを合わせて総合的に判断してもよい。具体的には、利用者の視線を基礎として得られた利用者端末2の表示範囲内の座標と、利用者の指等の画面への接触位置、あるいは画面上ポインタの位置を基礎として得られた利用者端末2の表示範囲内の座標を、それぞれの重要度に応じて重みづけを行うことで、最終的な座標を特定する。例えば、利用者の視線の方向が、利用者端末2の相対位置との関係で、不明瞭な場合がある。具体的には、利用者の視線の方向と利用者端末2の相対位置の関係から、利用者の視線の対象部分が、利用者端末2の表示装置の範囲の外と判断される場合等がある。このように利用者の視線が指し示す位置が、不明瞭あるいは他の情報を含めて信用できないと情報処理装置によって判断される場合、情報処理装置は、利用者の視線の方向に基づく座標の重みづけを低くするあるいは0とする。特にこの時、利用者の血液量の変化が生じた時の直前まで利用者端末2内のポインタが移動しているのであれば、利用者の視線の方向に基づく座標の重みづけは0として、ポインタのみから利用者の興味のある部分を特定してもよい。これは、利用者が意識的に指等によってポインタの位置を変更している可能性があるためである。他方、利用者の血液量の変化が生じる直前にポインタの位置の変更がない場合、利用者は意識的にポインタを動かしていない可能性が高いため、ポインタの位置に基づく座標の重みづけは低くする若しくは0として、利用者の視線を重視する。
利用者端末2は、このようにして特定された利用者端末2内の情報を、例えば、利用者端末2内に別途表示することにより、利用者が特に興味を持った部分を、手で自らコピーペーストする等必要なく、興味部分を特定できる。
また、この計測システムを、さらに検索システムに応用すると、上記計測システムで得られた興味部分に関連する内容を次の検索時の補助的な情報として利用することにより、利用者がより興味をもつ内容に近づく検索が可能となる。
(緊急通報システム)
次に、緊急通報を自動的に行うシステムを説明する。実施例10は、実施例1のシステムにおいて、利用者端末2が更に、頭部装着装置1で計測された利用者の血流量の変化が人間の生命に危険が生じたと判断する手段と、前記危険が生じた時に所定の端末若しくはコンピュータ(以下、端末等という)へ情報を転送する手段とを備える。ここで、人間の生命に危険が生じたと判断する手段とは、具体的には、情報処理装置(図1に例示したCPU21とメモリ22を含む)が、人間の生命に必要な脳内の所定の部位の血液量を所定の部位ごとに測定されたデータと、頭部装着装置1で計測された利用者の血液量の変化に基づく必要な血液量を比較して、前記利用者の血液量が前記データの値よりも低下した場合をいう。
利用者端末2から端末に転送される情報は、危険であるという情報のみを転送してもよいし、現在の血液量の変化若しくは現在の血液量の情報を転送してもよいし、あるいは危険であること及び現在の血液量の変化若しくは現在の血液量の情報を転送してもよい。
端末等とは、緊急対応が可能な救急医療機関内に備えられた端末等若しくはこれら機関に接続できる端末等である。すなわち、人間の生命に危険が生じた時にしかるべき対応が取れることのできる機関に所属される端末等に情報が伝達されればよい。
人間の生命に必要な脳内の所定の部位の血液量を所定の部位ごとに測定された前記データは、情報処理装置内にデータとして保有していてもよいし、必要に応じて、ネットワーク上に繋がれた他のコンピュータ、例えば、業者サーバ3その他、医療機関、公的機関、研究機関、大学等のコンピュータからネットワークN2を通じて取得してもよい。
この実施例により、利用者の生命に危険が生じた時、利用者端末2を通じて、その危険であるという情報等が緊急対応用の緊急医療機関等に伝達され、これによって、しかるべき適切な対応、例えば、利用者の自宅へ緊急医療機関のスタッフが行く、又は利用者端末2への電話がかけられ、状況を問う、等の措置が可能となる。
(GPS)
実施例11は、実施例10の利用者端末2がさらにGPSを備え、所定のときにGPSにより得られた場所の情報を実施例10の端末等に伝達することができる計測システムである。所定のときとは、利用者の生命に危険が生じた時のほか、脳血液量の変化が特定の状態で生じたときも含む。これにより、生命の危険が生じる前であっても、事前に設定した血液量の変化が生じた時点で、実施例10の端末等に情報を伝達することができる。
また、端末等に伝達される情報は、危険であること、脳血液量の変化若しくは場所情報のいずれか又はこれらの組合せのいずれでもよい。
実施例10及び11は、利用者が、高齢者、病人のほか、危険な個所で活動を行う人、例えば登山家、スキーヤー、探検家、軍隊等の利用者であっても、利用できる。
(利用者視点の利用者端末操作 脳トレ)
実施例1から8に例示した計測システムにおいて、図20、21を参照して利用者端末2の操作例を示す。この図は、図1の利用者端末2、その表示部25、頭部装着装置1、ネットワークN1、公衆回線通信用ネットワークN2を抽象化して示したものである。また、Step1から順番に利用者の操作手順例を示したものである。
本実施例においては、実施例1から8で既に説明した部分は同様であるのでその説明を省略する。また、本実施例においては、既に脳アプリが利用者端末2にダウンロードされており、かつ、頭部装着装置1のキャリブレーションは完了しているところから説明する。以下、利用者端末2が、利用者の操作にしたがって、脳アプリの1つである脳トレ−ニング用のアプリケーションプログラム(以下、脳トレ)を実行する。
Step1:利用者の操作にしたがって利用者端末2が脳トレのアプリを起動すると問題選択が表示される。利用者は、希望のジャンル(例えば計算、漢字、図形、パズルなど)、レベル(初級、中級、上級など)、問題番号、脳活動取得を選択することで、脳トレは開始され、頭部装着装置1からネットワークN1を介して利用者端末2に利用者の血流量の変化を示す計測データの取り込みが開始される。
Step2:上記問題選択で選ばれた問題Q1が表示され、利用者は表示された問題の指示に沿った操作を行う。通常の脳トレーニング用プログラムはこのときに利用者が脳トレーニングで達成した得点を行動スコアとして保存する。一方、実施例12の脳トレのアプリは、利用者による脳トレーニングの実施と並行して、ネットワークN1を介して取り込まれた血流量の変化のデータから、利用者端末2にて脳活動のスコアに変換し保存する。血流量の変化から脳活動をスコア化するアルゴリズムは既存事例を適用すればよい(例えば、上記非特許文献1、2参照)。ただし、このアルゴリズムは、今後とも改善されていく。つまり、今後も、脳アプリの提供者は、最新アルゴリズムを脳アプリに組み込んでいく。継続して問題Q2,Q3と予定された問題を同様に繰り返し実行し、予定された問題がすべて完了したところで、脳トレの評価が完了する。このとき、頭部装着装置1からネットワークN1を介した利用者端末2への利用者の血流量の変化を示す計測データの取り込みも終了する。
Step3:脳トレの結果が表示される。通常は、脳トレの結果は、問題ごとの行動スコアとして表示される。一方、本実施例では、脳トレの結果は、問題ごとの脳活動のスコアとして表示できる。これは、利用者端末2上で脳トレ アプリが実行されるとともに、利用者端末2上で、頭部の血流量の変化を簡易に脳活動のスコアとして表示して示すことができる本計測システムの特徴である。
Step4:利用者自身の脳活動のスコアを判り易く理解する方法の一つに、ネットワークN2上のデータベースに格納された統計データを使った比較方法がある。利用者は、脳トレ アプリの統計比較選択画面により、男/女、年齢、ジャンル、レベルを入力することで、利用者自身のスコアと統計データとを比較することができる。
利用者は、脳アプリの画面からデータベースにアクセスできる。利用者は、例えば、40歳女性、ジャンル:計算、レベル:初心者と選択することで、この条件の統計データを、ネットワークN2を介して取得することができる。なお、本データベースの提供元としては、当面、脳トレの事業提供者のサーバ、あるいは図1に例示した業者サーバ3が想定される。ただし、本計測システムが幅広く有効活用できるようになると、本データベースの提供元は、様々なプロバイダ等に多様化する可能性がある。
Step5:脳トレ アプリ(利用者端末2)は、利用者の脳活動のスコアと統計比較選択した統計データの比較表示を示す。表示される情報は、あくまでも相対的な比較であるが、簡便にその価値を理解しやすい。
Step6:利用者は、自分の脳活動のスコアを保存しておき、後から呼び出すことも簡単にできる。利用者は、過去データ選択の画面により、脳トレの問題番号、期間、行動スコア、所要時間、能活動スコアを選択することができる。
Step7:利用者は、過去データ選択の指示に従った過去集計結果を表示できる。従来、利用者は自己の行動スコアを基にしたトレーニングをしていたが、本計測システムを使えば、利用者は、自分の脳活動をスコア化(血流量の変化値をスコア化)し、脳活動スコアを基にしたトレーニングをすることもできるようになる。利用者は、脳活動の目標設定値を設定し、それをグラフに表示することもできる。
Step8:利用者が脳活動の目標設定値を達成したら、当該脳アプリは、他の脳アプリの中から脳トレのレベルを上げたものに挑戦するように促すように表示を出すこともできる。
本実施例では脳トレを例にしたが、動画(アクション、アニメ、SF、コメディ、音楽など)に対する脳活動のスコア化に展開することもできるし、認知トレーニング、抑制トレーニングに展開することもできる。脳活動の目標値設定を行い、それに向かって自分の血流量変化を使ったフィードバックトレーニングをすることも出来る(図21参照)。
図21は、利用者が動画視聴時に、脳の活動状況をモニタできる脳アプリの処理を例示する図である。図20の場合と同様、脳アプリが利用者端末2にダウンロードされており、かつ、頭部装着装置1のキャリブレーションは完了しているものとする。
Step1:利用者は、例えば、脳アプリの動画選択画面から動画を選択する。図21の例では、アクション、アニメ、SF、コメディ、音楽等のジャンルが例示されている。
Step2:利用者は、Step1で選択した動画を利用者端末2の表示部25、出力部27を通じて視聴しつつ、脳アプリの実行により頭部装着装置1からの血流量の変化のデータを記録する。
Step3:利用者は、記録された血流量の変化のデータを表示する。
Step4:利用者は、図20のStep4の場合と同様、脳アプリの画面から統計データのデータベースにアクセスできる。利用者は、男/女、年齢、趣味、性格、余暇時間等を入力することで、利用者自身のスコアと統計データとを比較することができる。
Step5:脳トレ アプリ(利用者端末2)は、利用者の脳活動のスコアと統計比較選択した統計データの比較表示を示す。
以上、利用者視点の利用者端末操作の一例を示したが、本明細書に記載した計測システムおよびサービスのすべてにおいて、同様に利用者端末表示および操作を実施することは、当業者にとって容易類推できるものであり、すべて本発明のそれぞれの側面として、本実施形態の開示の範囲に含まれるものである。
[その他]
本実施の形態に開示した計測システムは、それぞれの側面で特徴を有し、様々なカテゴリの構成、作用、効果を把握することが可能である。例えば、このカテゴリは、例えば、以下のように例示される。
(a)図1に例示した計測システム全体として把握してもよい。
(b)頭部装着装置1単体と把握してもよい。
(c)利用者端末2単体として把握してもよい。
(d)利用者端末2で実行されるアプリケーションプログラム、例えば、合わせアプリ、脳アプリ等して把握してもよい。
(e)利用者端末2が実行する方法として把握してもよい。
(f)業者サーバ3単体として把握してもよい。
(g)業者サーバ3で実行されるアプリケーションプログラム、例えば、合わせアプリ、脳アプリ等して把握してもよい。
(h)業者サーバ3が実行する方法として把握してもよい。
(i)頭部装着装置1、利用者端末2、業者サーバ3、課金サーバ4の少なくとも1つを含むシステム、システムが実行する方法として把握してもよい。
[記録媒体]
上記実施形態で説明したプログラムをコンピュータ等が読み取り可能な記録媒体に記録し、記録媒体のプログラムをコンピュータに読み込ませて実行させることができる。
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって記憶し、コンピュータ等から読み取ることができる媒体をいう。このような記録媒体には、例えばフレキシブルディスク、光磁気ディスク、CD−ROM、CD−R/W、DVD、ブルーレイディスク、DAT、8mmテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ROM(リードオンリーメモリ)等がある。さらに、SSD(Solid State Drive)は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ等に固定された記録媒体としても利用可能である。
1 頭部装着装置
2 利用者端末
3 業者サーバ
4 課金サーバ
11 制御部
13 無線通信部
21 CPU
22 メモリ
23 無線通信部
24 公衆回線通信部
25 表示部
26 操作部
27 出力部
28 撮像部
29 測位部
2A 物理センサ
100 基材
102 電池ボックス
111、112 ハウジング
112、122 つまみ
103、113、123 マーカ
114、124 開口
115、125 センサ

Claims (17)

  1. 利用者の頭部に装着され、前記頭部の血流量の変化を検出する検出手段と、
    前記検出手段による検出値を所定の転送先に転送する転送手段と、
    前記検出手段を頭部の特定部位に位置決めする位置決め手段と、を有する頭部装着装置、および
    前記転送手段から転送された検出値を受信する受信手段と、
    前記受信した検出値を基に前記利用者にサービスを提供するサービス提供手段と、
    前記サービス提供手段が提供するサービスまたはサービスの分類に応じて特定部位に前記検出手段が位置決めされるように、前記利用者の前記位置決め手段による調整を支援する手段と、を有する情報処理装置を備える計測システム。
  2. 前記特定部位は、前頭葉に対応する頭部表面である請求項に記載の計測システム。
  3. 前記転送手段は、無線通信路を介して前記検出値を前記転送先に転送する請求項1または2に記載の計測システム。
  4. 前記情報処理装置は、公衆無線ネットワークにアクセスする公衆無線通信手段を有する携帯端末である請求項1からのいずれか1項に記載の計測システム。
  5. 前記情報処理装置は、前記頭部装着装置を装着した利用者の現在の頭部画像を取得する手段と、
    前記利用者が過去にサービスの提供を受けたときの前記利用者の保存頭部画像を取得する手段と、
    前記現在の頭部画像と前記保存頭部画像とを基に、前記サービスまたはサービスの分類に応じて特定部位に前記検出手段が位置決めされるように、前記利用者の前記位置決め手段による調整を支援する手段と、をさらに有する請求項に記載の計測システム。
  6. 前記転送手段は、前記検出値を複数の情報処理装置に転送する請求項1からのいずれか1項に記載の計測システム。
  7. 前記受信手段は、複数の前記頭部装着装置から転送された検出値をそれぞれ受信し、
    前記サービス提供手段は、前記頭部装着装置を装着した複数の利用者にサービスを提供する請求項1からのいずれか1項に記載の計測システム。
  8. 前記頭部装着装置は、
    前記情報処理装置が複数の頭部装着装置を識別するための識別情報を保持する手段と、
    前記転送手段による検出値の転送時に前記識別情報を前記情報処理装置に引き渡す手段と、をさらに有する請求項1からのいずれか1項に記載の計測システム。
  9. 前記情報処理装置は、前記識別情報の引き渡しとともに、前記識別情報で識別される頭部装着装置の利用者を認証するための認証情報の入力を受け付ける手段をさらに有する請求項に記載の計測システム。
  10. 前記頭部装着装置は、自身の製造元または販売元が正当か否かを判定する正当性情報を前記情報処理装置に引き渡す手段を有し、
    前記情報処理装置は、前記頭部装着装置から取得した正当性情報に基づいて前記頭部装着装置の製造元または販売元が正当か否かを判定する手段を有し、
    前記サービス提供手段は、前記判定結果に応じて、前記サービスの提供を制限する請求項1からのいずれか1項に記載の計測システム。
  11. 前記情報処理装置は、
    (a)前記利用者の視線を検出する手段、
    (b)音声を検出する手段、
    (c)情報入力操作検出手段、
    (d)前記情報処理装置を手持ちしたときの位置の移動、速度、加速度、または角速度を検出する手段、
    (e)測位手段、
    (f)(イ)天候、(ロ)騒音、(ハ)気温、(ニ)湿度、(ホ)気圧、(ヘ)水圧の(イ)から(ヘ)の少なくとも1つを含む環境情報取得手段、
    (g)インターネット上の情報提供元へのアクセス履歴の取得手段、
    の(a)から(g)の少なくとも1つを有する請求項1から10のいずれか1項に記載の計測システム。
  12. 前記サービスは、
    (a)前記利用者の脳の活動状態に関連する情報の利用者への提供、
    (b)画像の表示、
    (c)(イ)音響、(ロ)音声、(ハ)振動、(ニ)光の(イ)から(ニ)の少なくとも1つを含む物理的効果の利用者へ提供、
    (d)利用者の現在の活動に関与する関与者への情報提供、
    (e)利用者が現在使用中の装置または設備の制御、
    (f)利用者が現在使用中の装置と連携する装置または設備への情報の送信、
    の(a)から(f)の少なくとも1つを含む請求項1から11のいずれか1項に記載の計測システム。
  13. 前記利用者の脳の活動状態に関連する情報は、
    (a)前記利用者の過去に蓄積された評価との比較に基づく現在の状況を示す情報、
    (b)前記利用者の他の人体情報との相関と比較との少なくても一つを含む情報、
    (c)前記利用者の他の人体情報の判断と指示との少なくても一つを含む情報、
    (d)前記利用者の体調との相関と比較との少なくても一つを含む情報、
    (e)前記利用者の体調の判断と指示との少なくても一つを含む情報、
    (f)前記利用者の精神状態との相関と比較との少なくても一つを含む情報、
    (g)前記利用者の精神状態の判断と指示との少なくても一つを含む情報、
    (h)インターネット上で提供される情報、
    の(a)から(h)の少なくとも1つを含む請求項12に記載の計測システム。
  14. コンピュータに、
    利用者の頭部に装着され、前記頭部の血流量の変化を検出する検出手段と、前記検出手段による検出値を所定の転送先に転送する転送手段と、前記検出手段を頭部の特定部位に位置決めする位置決め手段を備える頭部装着装置から転送された検出値を受信する受信ステップと、
    受信した検出値を基に前記利用者にサービスを提供するサービス提供ステップと、
    前記サービスまたは前記サービスの分類に応じて特定部位に前記検出手段が位置決めされるように、前記利用者の前記位置決め手段による調整を支援するステップと、
    を実行させるためのプログラム。
  15. コンピュータに、
    利用者の頭部に装着され、前記頭部の血流量の変化を検出する検出手段と、前記検出手段による検出値を所定の転送先に転送する転送手段と、前記検出手段を頭部の特定部位に位置決めする位置決め手段を備える頭部装着装置によって検出された前記頭部の血流量の変化の検出値を基にした有料サービスの提供要求を受け付けるステップと、
    前記有料サービスの提供要求を受け付けたときに、前記有料サービスに対する課金処理の実行をネットワーク上のサーバに指示するステップと、
    前記課金処理の完了後に、前記有料サービスを前記利用者に提供するサービス提供ステップと、
    前記有料サービスまたは前記有料サービスの分類に応じて特定部位に前記検出手段が位置決めされるように、前記利用者の前記位置決め手段による調整を支援するステップと、を実行させるためのプログラム。
  16. コンピュータが、
    利用者の情報処理装置から、前記利用者の頭部に装着され、前記頭部の血流量の変化を検出する検出手段と、前記検出手段による検出値を所定の転送先に転送する転送手段と、前記検出手段を頭部の特定部位に位置決めする位置決め手段を備える頭部装着装置によって検出された前記頭部の血流量の変化の検出値を基にした有料サービスの提供要求を受け付けるステップと、
    前記有料サービスの提供要求を前記情報処理装置から受け付けたときに、前記サービスに対する課金処理の実行をネットワーク上の課金サーバに指示するステップと、
    前記情報処理装置から検出値を取得するステップと、
    前記有料サービスを提供するサービス提供ステップと、
    前記有料サービスまたは前記有料サービスの分類に応じて特定部位に前記検出手段が位置決めされるように、前記利用者の前記位置決め手段による調整を支援するステップと、を実行するサービス提供方法。
  17. コンピュータが、
    利用者の頭部に装着され、前記頭部の血流量の変化を検出する検出手段と、前記検出手段による検出値を所定の転送先に転送する転送手段と、前記検出手段を頭部の特定部位に位置決めする位置決め手段を備える頭部装着装置によって検出された前記頭部の血流量の変化の検出値を処理するアプリケーションプログラムの有料ダウンロード要求を利用者の情報処理装置から受け付けるステップと、
    前記有料ダウンロード要求を前記情報処理装置から受け付けたときに、前記アプリケーションプログラムに対する課金処理の実行をネットワーク上の課金サーバに送信するステ
    ップと、
    前記アプリケーションプログラムを前記情報処理装置に送信するステップと、
    前記アプリケーションプログラムまたは前記アプリケーションプログラムの分類に応じて特定部位に前記検出手段が位置決めされるように、前記利用者の前記位置決め手段による調整を支援するステップと、
    を実行するサービス提供方法。
JP2016561906A 2014-11-25 2015-11-25 計測システム、頭部装着装置、プログラム、およびサービス提供方法 Active JP6755461B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014238283 2014-11-25
JP2014238283 2014-11-25
PCT/JP2015/083035 WO2016084834A1 (ja) 2014-11-25 2015-11-25 計測システム、頭部装着装置、プログラム、およびサービス提供方法

Publications (2)

Publication Number Publication Date
JPWO2016084834A1 JPWO2016084834A1 (ja) 2017-11-16
JP6755461B2 true JP6755461B2 (ja) 2020-09-16

Family

ID=56074386

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016561906A Active JP6755461B2 (ja) 2014-11-25 2015-11-25 計測システム、頭部装着装置、プログラム、およびサービス提供方法

Country Status (5)

Country Link
US (1) US20170332965A1 (ja)
EP (1) EP3226200A4 (ja)
JP (1) JP6755461B2 (ja)
CN (1) CN107004240A (ja)
WO (1) WO2016084834A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107088071B (zh) * 2016-02-17 2021-10-15 松下知识产权经营株式会社 生物体信息检测装置
JP6885568B2 (ja) * 2016-09-28 2021-06-16 株式会社NeU 選択システム、選択方法、及び、選択プログラム
JP6826342B2 (ja) * 2016-11-29 2021-02-03 東日本旅客鉄道株式会社 鉄道快適性評価方法及び鉄道快適性評価装置
JP7142237B2 (ja) 2017-06-21 2022-09-27 パナソニックIpマネジメント株式会社 アトラクション装置の制御方法およびアトラクションシステム
WO2018235466A1 (ja) * 2017-06-23 2018-12-27 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム
JP7178614B2 (ja) * 2017-06-23 2022-11-28 パナソニックIpマネジメント株式会社 情報処理方法、情報処理装置、および情報処理システム
WO2019039104A1 (ja) 2017-08-24 2019-02-28 パナソニックIpマネジメント株式会社 生体計測装置およびヘッドマウントディスプレイ装置
US10535809B1 (en) * 2017-08-30 2020-01-14 Rigetti & Co, Inc. Substrate materials for quantum processors
JP7121937B2 (ja) * 2018-02-28 2022-08-19 株式会社NeU 動画生成装置、動画生成再生システム、動画生成方法、動画生成プログラム
JP2020025627A (ja) * 2018-08-09 2020-02-20 ソニー株式会社 生体情報取得装置、頭部装着型情報提示装置、及び生体情報取得方法
US11314090B2 (en) * 2018-08-29 2022-04-26 Elbit Systems Of America, Llc Covert target acquisition with coded short-wave infrared glasses
US11775164B2 (en) * 2018-10-03 2023-10-03 Sony Corporation Information processing device, information processing method, and program
CN109938698A (zh) * 2019-03-29 2019-06-28 南京所由所以信息科技有限公司 一种基于人工智能的全方位面部皮肤病检测装置及检测方法
CN111310504B (zh) * 2020-02-06 2023-09-01 京东科技信息技术有限公司 位置校准系统及方法、计算机可存储介质
US11730373B2 (en) 2020-04-20 2023-08-22 Covidien Lp Sensor with variable depth interrogation
CN111821025B (zh) * 2020-07-21 2022-05-13 腾讯科技(深圳)有限公司 空间定位方法、装置、设备、存储介质以及导航棒
WO2022182496A1 (en) * 2021-02-26 2022-09-01 Hi Llc Optimizing autonomous self using non-invasive measurement systems and methods

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006305334A (ja) * 2005-03-30 2006-11-09 Advanced Telecommunication Research Institute International 回答獲得装置及び評価解析装置
KR100786279B1 (ko) * 2006-04-20 2007-12-18 삼성전자주식회사 생체신호 측정이 가능한 헤드셋 장치 및 헤드셋 장치를이용한 생체신호 측정방법
JP4501912B2 (ja) * 2006-08-17 2010-07-14 コニカミノルタビジネステクノロジーズ株式会社 画像形成認証システム
JP2008284165A (ja) * 2007-05-17 2008-11-27 Auto Network Gijutsu Kenkyusho:Kk 生体情報取得装置
JP4991431B2 (ja) * 2007-07-31 2012-08-01 株式会社日立製作所 脳機能計測による外部環境制御装置
WO2011065237A1 (ja) * 2009-11-27 2011-06-03 株式会社日立製作所 生体光計測装置
US20120203121A1 (en) * 2011-02-09 2012-08-09 Opher Kinrot Devices and methods for monitoring cerebral hemodynamic characteristics
JP5624512B2 (ja) * 2011-05-02 2014-11-12 パナソニック株式会社 コンテンツ評価装置、方法、及びそのプログラム
JP5789735B2 (ja) * 2011-05-18 2015-10-07 パナソニックIpマネジメント株式会社 コンテンツ評価装置、方法、及びそのプログラム
JP5811674B2 (ja) * 2011-08-08 2015-11-11 大日本印刷株式会社 アンケートシステム
JP2013054447A (ja) * 2011-09-01 2013-03-21 Hitachi Ltd 気分改善システムおよび気分改善方法
US9474891B2 (en) * 2014-05-25 2016-10-25 Thync Global, Inc. Transdermal neurostimulator adapted to reduce capacitive build-up
EP2959665B1 (en) * 2013-02-22 2020-07-15 Cerevast Medical, Inc. Apparatuses for networking neuromodulation of a group of individuals
US20160008632A1 (en) * 2013-02-22 2016-01-14 Thync, Inc. Methods and apparatuses for networking neuromodulation of a group of individuals
WO2015017563A1 (en) * 2013-07-30 2015-02-05 Emotiv Lifesciences, Inc. Wearable system for detecting and measuring biosignals
CN103793593B (zh) * 2013-11-15 2018-02-13 吴一兵 一种获取大脑状态客观定量指标的方法

Also Published As

Publication number Publication date
CN107004240A (zh) 2017-08-01
WO2016084834A1 (ja) 2016-06-02
US20170332965A1 (en) 2017-11-23
EP3226200A1 (en) 2017-10-04
EP3226200A4 (en) 2018-04-11
JPWO2016084834A1 (ja) 2017-11-16

Similar Documents

Publication Publication Date Title
JP6755461B2 (ja) 計測システム、頭部装着装置、プログラム、およびサービス提供方法
US11630311B1 (en) Enhanced optical and perceptual digital eyewear
US20220365351A1 (en) Systems and methods for augmented reality
US20230266590A1 (en) Enhanced Optical and Perceptual Digital Eyewear
CN105142498B (zh) 增强光学和感知数字护目镜
US9658473B2 (en) Enhanced optical and perceptual digital eyewear
KR101988110B1 (ko) 생체신호연동 가상현실 교육 시스템 및 방법
CN103181180B (zh) 提示控制装置以及提示控制方法
CN112204640B (zh) 针对视觉受损者的辅助设备
US8733928B1 (en) Enhanced optical and perceptual digital eyewear
US20170221379A1 (en) Information terminal, motion evaluating system, motion evaluating method, and recording medium
US20180124497A1 (en) Augmented Reality Sharing for Wearable Devices
US20170042439A1 (en) System, device and methods for brainwave-based technologies
CN104796806A (zh) 生产个性化耳机的系统和方法
CN103869468A (zh) 信息处理设备和记录介质
KR20160016263A (ko) 미러 디스플레이 장치 및 그의 동작 방법
US20120194648A1 (en) Video/ audio controller
JP6917947B2 (ja) 生体情報処理装置、生体情報処理方法、コンピュータプログラム及びマインドフルネス支援装置
CN109525806A (zh) 便携式显示装置、图像供给装置、显示系统
CN106618610B (zh) 一种面向害羞儿童社会技能训练的头戴终端系统
CN110446996A (zh) 一种控制方法、终端及系统
CN109844797A (zh) 选择系统、选择方法以及选择程序
Zhu et al. An investigation into the effectiveness of using acoustic touch to assist people who are blind
Lu The Multiscale Essence of Multimediated Reality
Chacin Visuospatial assistive device art: expanding human echolocation ability

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170608

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181122

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20181122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181213

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200715

R150 Certificate of patent or registration of utility model

Ref document number: 6755461

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150