JP6801858B2 - Information processing equipment, information processing methods and information processing programs - Google Patents

Information processing equipment, information processing methods and information processing programs Download PDF

Info

Publication number
JP6801858B2
JP6801858B2 JP2016140863A JP2016140863A JP6801858B2 JP 6801858 B2 JP6801858 B2 JP 6801858B2 JP 2016140863 A JP2016140863 A JP 2016140863A JP 2016140863 A JP2016140863 A JP 2016140863A JP 6801858 B2 JP6801858 B2 JP 6801858B2
Authority
JP
Japan
Prior art keywords
data
user
head
acquired
music
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016140863A
Other languages
Japanese (ja)
Other versions
JP2018010261A (en
Inventor
卓成 桂
卓成 桂
長谷川　清
清 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NeU Corp
Original Assignee
NeU Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NeU Corp filed Critical NeU Corp
Priority to JP2016140863A priority Critical patent/JP6801858B2/en
Priority to CN201710575417.4A priority patent/CN107622802A/en
Publication of JP2018010261A publication Critical patent/JP2018010261A/en
Application granted granted Critical
Publication of JP6801858B2 publication Critical patent/JP6801858B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Description

本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。 The present invention relates to an information processing device, an information processing method, and an information processing program.

従来から、高齢者の介護予防や健康増進を目的とするレクリエーションを提供する機器が実用に供されている（特許文献１）。当該機器を使用する目的として、認知症の改善が挙げられる。また、当該機器にはカラオケ装置が搭載されているものもあり、ユーザが歌唱時に発した声に基づく歌唱の評価結果とユーザの神経心理検査の結果とから、ユーザが次に歌唱するユーザが選択した楽曲が提供される。さらに、被験者が発する声から心的状態を判断する技術も提案されている（特許文献２）。 Conventionally, devices that provide recreation for the purpose of preventing long-term care and improving health of the elderly have been put into practical use (Patent Document 1). The purpose of using the device is to improve dementia. In addition, some of the devices are equipped with a karaoke device, and the user who sings next is selected from the evaluation result of singing based on the voice uttered by the user and the result of the user's neuropsychological test. The song is provided. Further, a technique for determining a mental state from a voice uttered by a subject has also been proposed (Patent Document 2).

特開２０１５−５１１２４号公報JP 2015-51124 特開２００７−２９６１６９号公報Japanese Unexamined Patent Publication No. 2007-296169

一般に、人間の脳の血の巡りが良くなること（血流量が多くなること、血流の状態が変化すること）、すなわち脳活動が活発になることが、健康のために重要であるとされている。例えば、健康の維持と脳活動とは密接な関係があると考えられる。しかしながら、上記の従来技術を用いても、歌唱中のユーザの脳活動に基づく評価を基にユーザの健康の維持あるいは改善を図ることについての提案はなされてこなかった。 In general, it is said that improving the circulation of blood in the human brain (increasing blood flow, changing the state of blood flow), that is, activating brain activity is important for health. ing. For example, maintenance of health and brain activity are considered to be closely related. However, even if the above-mentioned prior art is used, no proposal has been made to maintain or improve the health of the user based on the evaluation based on the brain activity of the user during singing.

本発明は、ユーザの歌唱中の脳活動に基づく評価を行うことができる情報処理装置を提供することを目的とする。 An object of the present invention is to provide an information processing device capable of performing evaluation based on brain activity during singing by a user.

本発明の一側面は、以下の情報処理装置によって例示される。本情報処理装置は、楽曲を再生する再生部と、再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から血流状態の変化に関するデータを取得するデータ取得部と、楽曲の再生終了時に取得したデータを所定の形式で表示する表示部とを備える。 One aspect of the present invention is exemplified by the following information processing apparatus. This information processing device acquires data on changes in blood flow status from a playback unit that plays music and a head-mounted device that measures changes in blood flow status in the head of a user who sings along with the music to be played. It includes a data acquisition unit and a display unit that displays the data acquired at the end of music reproduction in a predetermined format.

本発明の第２の側面は、コンピュータが、楽曲を再生し、再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から血流状態の変化に関するデータを取得し、楽曲の再生終了時に取得したデータを所定の形式で表示することを実行する情報処理方法として例示できる。 The second aspect of the present invention is data on changes in the blood flow state from a head-mounted device in which a computer plays a musical piece and measures a change in the blood flow state of the head of a user who sings along with the played music. Can be exemplified as an information processing method for executing the acquisition of data and displaying the acquired data in a predetermined format at the end of playback of the music.

また、本発明の第３の側面は、コンピュータに、楽曲を再生すると、再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から血流状態の変化に関するデータを取得するステップと、楽曲の再生終了時に取得したデータを所定の形式で表示するステップを実行させる情報処理プログラムとして例示できる。 Further, the third aspect of the present invention is a change in the blood flow state from a head-mounted device that measures a change in the blood flow state of the head of a user who sings along with the played music when the music is played on a computer. It can be exemplified as an information processing program that executes a step of acquiring data related to music and a step of displaying the acquired data at the end of music playback in a predetermined format.

本発明によれば、ユーザの歌唱中の脳活動に基づく評価を行うことができる情報処理装置を提供することができる。 According to the present invention, it is possible to provide an information processing device capable of performing evaluation based on brain activity during singing by a user.

図１は、本発明の一実施形態に係る計測システムの概略構成を例示する図である。FIG. 1 is a diagram illustrating a schematic configuration of a measurement system according to an embodiment of the present invention. 図２は、頭部装着装置を下後方から見た外観を例示する斜視図である。FIG. 2 is a perspective view illustrating the appearance of the head-mounted device as viewed from below and rearward. 図３は、頭部装着装置を上方から見た平面図である。FIG. 3 is a plan view of the head mounting device as viewed from above. 図４は、頭部装着装置を前方から見た正面図である。FIG. 4 is a front view of the head mounting device as viewed from the front. 図５は、カラオケ装置の動作フローの例を示す図である。FIG. 5 is a diagram showing an example of an operation flow of the karaoke device. 図６は、カラオケ装置の動作フローの例を示す図である。FIG. 6 is a diagram showing an example of an operation flow of the karaoke device. 図７は、脳の血流量の変化を示すグラフの例を示す図である。FIG. 7 is a diagram showing an example of a graph showing changes in cerebral blood flow. 図８は、脳の血流量の変化と体動との関係を示すグラフの例を示す図である。FIG. 8 is a diagram showing an example of a graph showing the relationship between changes in cerebral blood flow and body movement. 図９は、カラオケ装置の表示部の表示例を示す図である。FIG. 9 is a diagram showing a display example of the display unit of the karaoke device. 図１０は、カラオケ装置の表示部に表示されるグラフの例を示す図である。FIG. 10 is a diagram showing an example of a graph displayed on the display unit of the karaoke device. 図１１は、カラオケ装置の動作フローの例を示す図である。FIG. 11 is a diagram showing an example of an operation flow of the karaoke device.

以下、図面を参照して一実施形態に係る計測システムについて説明する。図１は、本発明の一実施形態に係る計測システムの概略構成を例示する図である。本計測システムは、利用者の頭部から血流量の変化を示す計測データ（検出値ともいう）を検出し、利用者の脳の活動状態を示す脳活動情報を取得する。なお、血流量が血流状態の一例に相当する。図１に示すように、本計測システムは、頭部装着装置１と利用者端末２とカラオケ装置３を有する。頭部装着装置１は、情報処理の側面としては、制御部１１と、無線通信部１３と、一対のセンサ１１５、１２５とを有する。制御部１１は、頭部装着装置１の計測と通信を制御する。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、あるいは
ＤＳＰ（Digital Signal Processor）等のプロセッサとメモリとを有し、メモリ上に実行可能に展開されたコンピュータプログラム、ファームウェア等により処理を実行する。ただし、制御部１１は、無線通信部１３とセンサ１１５、１２５を起動し、各構成要素との連携処理を実行する専用のハードウェア回路、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい。また、制御部１１は、ＣＰＵ、ＤＳＰ、専用のハードウェア回路
等が混在したものであってもよい。 Hereinafter, the measurement system according to the embodiment will be described with reference to the drawings. FIG. 1 is a diagram illustrating a schematic configuration of a measurement system according to an embodiment of the present invention. This measurement system detects measurement data (also referred to as a detected value) indicating a change in blood flow from the user's head, and acquires brain activity information indicating the activity state of the user's brain. The blood flow rate corresponds to an example of the blood flow state. As shown in FIG. 1, this measurement system includes a head-mounted device 1, a user terminal 2, and a karaoke device 3. The head-mounted device 1 has a control unit 11, a wireless communication unit 13, and a pair of sensors 115 and 125 as aspects of information processing. The control unit 11 controls the measurement and communication of the head-mounted device 1. The control unit 11 has, for example, a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) and a memory, and executes processing by a computer program, firmware, or the like executably deployed on the memory. .. However, the control unit 11 may be an FPGA (Field Programmable Gate Array) or the like, which is a dedicated hardware circuit that activates the wireless communication unit 13 and the sensors 115 and 125 and executes the cooperation processing with each component. Further, the control unit 11 may be a mixture of a CPU, a DSP, a dedicated hardware circuit, and the like.

無線通信部１３は、所定のインターフェースによって、制御部１１およびセンサ１１５、１２５と接続される。ただし、無線通信部１３は、制御部１１を介して、センサ１１５、１２５からデータを取得する構成であってもよい。無線通信部１３は、ネットワークＮ１を介して、利用者端末２と通信する。ネットワークＮ１は、例えば、Bluetooth（登録
商標）、無線ＬＡＮ（Local Area Network）、ZigBee等の規格に従ったネットワークである。ただし、本計測システムにおいて、無線通信部１３の無線インターフェースの規格に限定がある訳ではない。また、ネットワークＮ１は有線ネットワークでもよい。 The wireless communication unit 13 is connected to the control unit 11 and the sensors 115 and 125 by a predetermined interface. However, the wireless communication unit 13 may be configured to acquire data from the sensors 115 and 125 via the control unit 11. The wireless communication unit 13 communicates with the user terminal 2 via the network N1. The network N1 is, for example, a network according to standards such as Bluetooth (registered trademark), wireless LAN (Local Area Network), and ZigBee. However, in this measurement system, the standard of the wireless interface of the wireless communication unit 13 is not limited. Further, the network N1 may be a wired network.

また、本計測システムにおいて、無線通信部１３に代えて、あるいは、無線通信部１３とともに有線で通信を行う通信部を設けてもよい。すなわち、頭部装着装置１と利用者端末２とが有線通信のインターフェースで接続されてもよい。この場合の有線通信のインターフェースに限定がある訳ではなく、計測システムの用途に応じてＵＳＢ（Universal Serial Bus）、PCI Express等の各種インターフェースを使用することができる。 Further, in this measurement system, a communication unit that performs wired communication with the wireless communication unit 13 may be provided instead of the wireless communication unit 13. That is, the head-mounted device 1 and the user terminal 2 may be connected by a wired communication interface. The interface for wired communication in this case is not limited, and various interfaces such as USB (Universal Serial Bus) and PCI Express can be used depending on the application of the measurement system.

センサ１１５、１２５は、いずれも近赤外光を頭部に照射し、大脳皮質付近で一部吸収されて散乱された近赤外光を受光し、電気信号に変換する。大脳皮質は、例えば、脳の活動状態に応じて、血流量が変化し、その変化に起因して、大脳皮質付近での近赤外光の吸収特性、あるいは、散乱特性が変化する。センサ１１５、１２５は、このような大脳皮質
付近の血流の状態に応じた近赤外光吸収率の変化あるいは透過率の変化により光量が変化する近赤外光を電気信号に変換して出力する。 Both the sensors 115 and 125 irradiate the head with near-infrared light, receive the near-infrared light partially absorbed and scattered near the cerebral cortex, and convert it into an electric signal. In the cerebral cortex, for example, the blood flow changes according to the activity state of the brain, and due to the change, the absorption characteristic or the scattering characteristic of near-infrared light in the vicinity of the cerebral cortex changes. The sensors 115 and 125 convert near-infrared light whose amount of light changes due to a change in the near-infrared light absorption rate or a change in the transmittance according to the state of blood flow near the cerebral cortex into an electric signal and output it. To do.

本計測システムでは、センサ１１５、１２５は、０．１秒などの所定の時間間隔で近赤外光の照射および受光した近赤外光の電気信号への変換を行う。これにより、頭部装着装置１を装着したユーザの脳内の血流量の変化に関するデータが当該時間間隔で得られる。さらに、センサ１１５、１２５は、一方が右前額部の血流量の変化に関するデータを出力し、他方が左前額部の血流量の変化に関するデータを出力する。 In this measurement system, the sensors 115 and 125 irradiate near-infrared light and convert the received near-infrared light into an electric signal at predetermined time intervals such as 0.1 seconds. As a result, data on changes in blood flow in the brain of the user wearing the head wearing device 1 can be obtained at the time interval. Further, the sensors 115 and 125 output data on a change in blood flow in the right forehead and the other output data on a change in blood flow in the left forehead.

また、センサ１１５、１２５は、例えば、近赤外光を照射する近赤外光光源と、近赤外光を受光する受光部を含む。近赤外光光源は、例えば、ＬＥＤ（Light Emitting Diodes
）、赤外光ランプ等である。また、受光部は、フォトダイオード、フォトトランジスタ等の光電素子と、増幅器と、ＡＤ（Analog Digital）コンバータとを含む。なお、近赤外光光源と受光部とが対にして設けられなくてもよい。例えば、１つの近赤外光光源に対して、複数の受光部を設けてもよい。 Further, the sensors 115 and 125 include, for example, a near-infrared light source that irradiates near-infrared light and a light receiving unit that receives near-infrared light. Near-infrared light sources include, for example, LEDs (Light Emitting Diodes).
), Infrared light lamp, etc. Further, the light receiving unit includes a photoelectric element such as a photodiode and a phototransistor, an amplifier, and an AD (Analog Digital) converter. The near-infrared light source and the light receiving portion may not be provided as a pair. For example, a plurality of light receiving units may be provided for one near infrared light source.

利用者端末２は、例えば、スマートフォン、携帯電話、携帯情報端末、ＰＨＳ（Personal Handyphone System）、可搬型パーソナルコンピュータ等である。ただし、アプリケーションの機能によっては、利用者端末２は、据え置き型のデスクトップパーソナルコンピュータ、テレビジョン受信機、ゲーム機、健康管理専用の端末、マッサージ器、車載器等であってもよい。 The user terminal 2 is, for example, a smartphone, a mobile phone, a mobile information terminal, a PHS (Personal Handyphone System), a portable personal computer, or the like. However, depending on the function of the application, the user terminal 2 may be a stationary desktop personal computer, a television receiver, a game machine, a terminal dedicated to health management, a massager, an in-vehicle device, or the like.

利用者端末２は、頭部装着装置１から、利用者の大脳皮質付近での近赤外光の吸収率または透過率の変化データを取得し、利用者の脳の活動状態に関連する様々な情報処理を含むサービスを提供する。 The user terminal 2 acquires change data of the absorption rate or transmittance of near-infrared light near the user's cerebral cortex from the head-mounted device 1, and various data related to the activity state of the user's brain. Provide services including information processing.

利用者端末２は、ＣＰＵ２１と、メモリ２２と、無線通信部２３と、表示部２４と、操作部２５と、出力部２６とを有する。ＣＰＵ２１は、メモリ２２に実行可能に展開されたコンピュータプログラムにより、利用者端末２としての処理を実行する。利用者端末２としての処理とは、例えば、上記利用者の脳の活動状態に関連する様々な情報処理を含むサービスである。 The user terminal 2 has a CPU 21, a memory 22, a wireless communication unit 23, a display unit 24, an operation unit 25, and an output unit 26. The CPU 21 executes the process as the user terminal 2 by the computer program executably expanded in the memory 22. The processing as the user terminal 2 is, for example, a service including various information processing related to the activity state of the user's brain.

メモリ２２は、ＣＰＵ２１で実行されるコンピュータプログラム、あるいは、ＣＰＵ２１が処理するデータを記憶する。メモリ２２は、揮発性メモリと不揮発性メモリを含んでよい。無線通信部２３は、頭部装着装置１の無線通信部１３と同様である。また、利用者端末２は、無線通信部２３に代えて、あるいは、無線通信部２３とともに有線で通信を行う通信部を有してもよい。 The memory 22 stores a computer program executed by the CPU 21 or data processed by the CPU 21. The memory 22 may include a volatile memory and a non-volatile memory. The wireless communication unit 23 is the same as the wireless communication unit 13 of the head-mounted device 1. Further, the user terminal 2 may have a communication unit that communicates by wire with the wireless communication unit 23 or instead of the wireless communication unit 23.

無線通信部２３は、ネットワークＮ２を介して、カラオケ装置３と通信する。ネットワークＮ２は、ネットワークＮ１と同様、例えば、Bluetooth（登録商標）、無線ＬＡＮ（Local Area Network）、ZigBee（登録商標）等の規格に従ったネットワークである。ただ
し、本計測システムにおいて、無線通信部２３の無線インターフェースの規格に限定がある訳ではない。また、ネットワークＮ２は有線ネットワークでもよい。 The wireless communication unit 23 communicates with the karaoke device 3 via the network N2. Similar to network N1, network N2 is a network according to standards such as Bluetooth (registered trademark), wireless LAN (Local Area Network), and ZigBee (registered trademark). However, in this measurement system, the standard of the wireless interface of the wireless communication unit 23 is not limited. Further, the network N2 may be a wired network.

表示部２４は、例えば、液晶ディスプレイ、ＥＬ（Electro-Luminescence）パネル等であり、ＣＰＵ２１からの出力情報を表示する。操作部２５は、例えば、押しボタン、タッチパネル等であり、利用者の操作を受け付ける。出力部２６は、例えば、振動を出力するバイブレータ、音響あるいは音声を出力するスピーカ等である。 The display unit 24 is, for example, a liquid crystal display, an EL (Electro-Luminescence) panel, or the like, and displays output information from the CPU 21. The operation unit 25 is, for example, a push button, a touch panel, or the like, and accepts a user's operation. The output unit 26 is, for example, a vibrator that outputs vibration, a speaker that outputs sound or voice, and the like.

カラオケ装置３は、例えばＭＩＤＩ形式の音楽生成データを処理するタイプの音楽再生
装置である。カラオケ装置３が情報処理装置の一例に相当する。カラオケ装置３は、ＣＰＵ３１、メモリ３２、無線通信部３３、表示部３４、入力部３５を有する。ＣＰＵ３１は、メモリ３２に実行可能に展開されたコンピュータプログラムにより、カラオケ装置３としての処理を実行する。カラオケ装置３としての処理とは、楽曲の再生、再生する楽曲に関する情報の表示、楽曲の歌唱に対する評価、評価の表示などが挙げられる。 The karaoke device 3 is, for example, a music playback device of a type that processes music generation data in MIDI format. The karaoke device 3 corresponds to an example of an information processing device. The karaoke device 3 includes a CPU 31, a memory 32, a wireless communication unit 33, a display unit 34, and an input unit 35. The CPU 31 executes the process as the karaoke device 3 by the computer program executably expanded in the memory 32. Examples of the processing as the karaoke device 3 include reproduction of a musical piece, display of information on the musical piece to be played, evaluation of the singing of the musical piece, and display of the evaluation.

メモリ３２には、カラオケ装置３において再生可能な楽曲のデータが記憶されている。ＣＰＵ３１は、ユーザのカラオケ装置３の操作に従ってメモリ３２から楽曲のデータを取得して当該楽曲を再生する。無線通信部３３は、ネットワークＮ２を介して、利用者端末２と通信する。また、表示部３４は、再生する楽曲の歌詞や画像、楽曲の歌唱に対する評価などを表示する。入力部３５には、カラオケ装置３が再生する楽曲を歌唱するユーザの声が入力される。ここで、楽曲を歌唱するとは、カラオケ装置３によって再生される曲および歌詞に合わせて歌うことを含む。入力部３５としてはマイクなどが例示される。カラオケ装置３は、入力部３５に入力されるユーザの声から楽曲の歌唱に対する評価を行う。 The memory 32 stores music data that can be played by the karaoke device 3. The CPU 31 acquires music data from the memory 32 and reproduces the music according to the operation of the user's karaoke device 3. The wireless communication unit 33 communicates with the user terminal 2 via the network N2. In addition, the display unit 34 displays the lyrics and images of the music to be played, the evaluation of the singing of the music, and the like. The voice of the user who sings the music played by the karaoke device 3 is input to the input unit 35. Here, singing a song includes singing along with the song and lyrics played by the karaoke device 3. An example of the input unit 35 is a microphone. The karaoke device 3 evaluates the singing of the music from the user's voice input to the input unit 35.

図２は、頭部装着装置１を下後方から見た外観を例示する斜視図である。図３は、頭部装着装置１を上方から見た平面図である。また、図４は、頭部装着装置１を前方から見た正面図である。ただし、図３、図４では、図２に例示する固定用部材１０１が省略されている。ここで、下後方とは、利用者が頭部装着装置１を装着したときの利用者の背後かつ、利用者の頭部を下から見上げる位置をいう。また、前方とは、例えば、利用者が頭部装着装置１を装着したときの利用者（装着者）の前方をいう。さらに、上方とは、例えば、利用者の上方をいう。なお、以下、頭部装着装置１を装着した利用者に向かって右側に位置する頭部装着装置１の部分を右側部分、あるいは右側という。また、頭部装着装置１を装着した利用者に向かって左側に位置する頭部装着装置１の部分を左側部分、あるいは左側という。また、利用者に接触する頭部装着装置１の面を裏面という。裏面の反対面を表面という。表面は、利用者が頭部装着装置１を装着したときに、利用者の周囲から見える面である。 FIG. 2 is a perspective view illustrating the appearance of the head mounting device 1 as viewed from below and rearward. FIG. 3 is a plan view of the head mounting device 1 as viewed from above. Further, FIG. 4 is a front view of the head mounting device 1 as viewed from the front. However, in FIGS. 3 and 4, the fixing member 101 illustrated in FIG. 2 is omitted. Here, the lower rear refers to a position behind the user when the user wears the head mounting device 1 and looking up at the user's head from below. Further, the front means, for example, the front of the user (wearer) when the user wears the head wearing device 1. Further, the upper part means, for example, the upper part of the user. Hereinafter, the portion of the head mounting device 1 located on the right side of the user wearing the head mounting device 1 is referred to as a right side portion or a right side. Further, the portion of the head mounting device 1 located on the left side of the user wearing the head mounting device 1 is referred to as a left side portion or a left side. Further, the surface of the head mounting device 1 that comes into contact with the user is referred to as the back surface. The opposite side of the back side is called the front side. The surface is a surface that can be seen from the surroundings of the user when the user wears the head wearing device 1.

図２に例示するように、頭部装着装置１は、鉢巻き状に利用者の頭部に巻き付けて装着し、固定用部材１０１を締めつけることで利用者の頭部に固定される構造を有する。そのため、頭部装着装置１は、人の頭部よりやや大きい空間で湾曲するベルト状の基材１００と、基材１００の両端に固定される固定用部材１０１を有する。固定部材１０１は、基材１００の両端から延伸する線材１１０、１２０と、線材１１０、１２０を対にして引き込んで固定する留め具を有する。基材１００は、利用者の頭部表面から離れた外側面を形成する。すなわち、頭部装着装置１は、頭部から離れた外側面に形状を保つ部材である基材１００を配する構造となっている。基材１００は例えば樹脂製である。ただし、基材１００の材質に限定がある訳ではない。 As illustrated in FIG. 2, the head mounting device 1 has a structure in which the head mounting device 1 is wrapped around the user's head in a headband shape and mounted, and is fixed to the user's head by tightening the fixing member 101. Therefore, the head mounting device 1 has a belt-shaped base material 100 that is curved in a space slightly larger than the human head, and fixing members 101 that are fixed to both ends of the base material 100. The fixing member 101 has a wire rod 110, 120 extending from both ends of the base material 100 and a fastener for pulling in and fixing the wire rod 110, 120 in pairs. The base material 100 forms an outer surface away from the surface of the user's head. That is, the head mounting device 1 has a structure in which the base material 100, which is a member that maintains the shape, is arranged on the outer surface away from the head. The base material 100 is made of resin, for example. However, the material of the base material 100 is not limited.

なお、本実施の形態において、固定用部材１０１の構造、形状、材質に限定がある訳ではない。例えば、図２では、固定部材１０１は、線材１１０、１２０を有するが、線材の代わりに帯状の部材を用いてもよい。また、留め具はどのような構造のものでもよい。 In the present embodiment, the structure, shape, and material of the fixing member 101 are not limited. For example, in FIG. 2, the fixing member 101 has wire rods 110 and 120, but a strip-shaped member may be used instead of the wire rod. Further, the fastener may have any structure.

図２のように、頭部装着装置１の基材１００の右側端部に電池ボックス１０２が設けられている。電池ボックス１０２は、扁平な略六面体であり、表面の面積と裏面の面積がいずれも４つの側面の面積よりも大きくなっている。電池ボックス１０２の裏面には、図示しない溝が設けられている。この溝には、基材１００の右側端部から延伸する線材１２０の途中部分がはめ込まれている。したがって、電池ボックス１０２は、基材１００の右側端部で固定されるとともに、線材１２０が溝にはめ込まれることで、頭部装着装置１に固定される。 As shown in FIG. 2, the battery box 102 is provided at the right end of the base material 100 of the head mounting device 1. The battery box 102 is a flat, substantially hexahedron, and both the front surface area and the back surface area are larger than the four side surface areas. A groove (not shown) is provided on the back surface of the battery box 102. An intermediate portion of the wire rod 120 extending from the right end portion of the base material 100 is fitted in this groove. Therefore, the battery box 102 is fixed at the right end of the base material 100, and the wire rod 120 is fitted into the groove to be fixed to the head mounting device 1.

頭部装着装置１の基材１００の表側両端近傍には、丸みを帯びた２つのハウジング１１１、１２１が設けられている。ハウジング１１１、１２１には、信号処理回路、および通信回路を有する制御基板等が収納される。図４のように、頭部装着装置１を正面から見ると、頭部装着装置１の両脇に２つのハウジング１１１、１２１が位置して見える。 Two rounded housings 111 and 121 are provided near both ends of the front surface of the base material 100 of the head mounting device 1. The housings 111 and 121 contain a signal processing circuit, a control board having a communication circuit, and the like. When the head mounting device 1 is viewed from the front as shown in FIG. 4, two housings 111 and 121 appear to be located on both sides of the head mounting device 1.

図４のように、基材１００の表側正面付近には、３つのマーカ１１３、１０３、１２３が、マーカ１０３を中心にして左右対称に、基材１００の下縁に沿った位置に直線上に設けられている。マーカ１１３、１０３、１２３は、利用者端末２によって撮影されたときに画像上で、マーカ１１３、１０３、１２３の位置が識別できる構造のものであればどのような構造でもよい。 As shown in FIG. 4, three markers 113, 103, and 123 are symmetrically arranged around the marker 103 in a straight line at a position along the lower edge of the base material 100 near the front surface of the base material 100. It is provided. The markers 113, 103, 123 may have any structure as long as the positions of the markers 113, 103, 123 can be identified on the image when the image is taken by the user terminal 2.

基材１００の表側正面付近で、マーカ１１３、１２３の上部には、帯状の開口１１４、１２４が形成され、開口１１４、１２４にはそれぞれ、つまみ１１２、１２２が挿入されている。つまみ１１２、１２２は、基材１００の裏面に沿って設けられる図示しない、左右のスライダとそれぞれ連結されている。一方、図２に例示するように、基材１００の裏面では、センサ１１５、１２５がスライダに固定されている。したがって、基材１００に対して、つまみ１１２、あるいは、つまみ１２２を帯状の開口１１４、あるいは、開口１２４に沿って相対移動することで、裏面側でセンサ１１５、あるいは１２５をそれぞれ移動することが可能である。さらに、つまみ１１２、１２２と同軸でねじが形成されており、センサの位置は、ねじ式にて固定することができる。 In the vicinity of the front surface of the base material 100, band-shaped openings 114 and 124 are formed above the markers 113 and 123, and knobs 112 and 122 are inserted into the openings 114 and 124, respectively. The knobs 112 and 122 are connected to left and right sliders (not shown) provided along the back surface of the base material 100, respectively. On the other hand, as illustrated in FIG. 2, the sensors 115 and 125 are fixed to the slider on the back surface of the base material 100. Therefore, by moving the knob 112 or the knob 122 relative to the base material 100 along the strip-shaped opening 114 or the opening 124, the sensor 115 or 125 can be moved on the back surface side, respectively. Is. Further, a screw is formed coaxially with the knobs 112 and 122, and the position of the sensor can be fixed by a screw type.

図４では、つまみは背の低い円筒形状であるが、つまみの形状に限定がある訳ではない。また、図４では、帯状の開口１１４、開口１２４の長手方向に沿って目盛りが刻まれている。目盛りは、中心位置が分かるように、中心位置の目盛りと中心位置以外の目盛りが異なる形状となっている。図４では、中心位置の目盛りは、開口１１４、１２４に頂点を向けた三角形の形状であり、一方、中心位置以外の目盛りは、円形状、あるいは点状で形成されている。目盛りの形成の仕方は、マーカ１１３、１０３、１２３の形成の仕方と同様であるが、特に限定がある訳でない。 In FIG. 4, the knob has a short cylindrical shape, but the shape of the knob is not limited. Further, in FIG. 4, a scale is engraved along the longitudinal direction of the strip-shaped opening 114 and the opening 124. The scale has a shape in which the scale at the center position and the scale other than the center position are different so that the center position can be known. In FIG. 4, the scale at the center position has a triangular shape with the vertices directed to the openings 114 and 124, while the scales other than the center position are formed in a circular shape or a dot shape. The method of forming the scale is the same as the method of forming the markers 113, 103, 123, but there is no particular limitation.

図２に例示するように、センサ１１５、１２５は、平板に、３つの窓部を設けた形状となっている。センサ１１５、１２５それぞれの１つの窓部には、近赤外光光源として近ＬＥＤが設けられている。また、センサ１１５、１２５それぞれの残り２つの窓部には、受光部として、フォトダイオードあるいはフォトトランジスタが設けられている。なお、センサ１１５、１２５の受光部の数がそれぞれ２個に限定される訳ではない。例えば、受光部はセンサ１１５、１２５にそれぞれ１個ずつ設けてもよいし、３個以上設けてもよい。 As illustrated in FIG. 2, the sensors 115 and 125 have a shape in which three windows are provided on a flat plate. A near LED is provided as a near infrared light source in each window of the sensors 115 and 125. Further, a photodiode or a phototransistor is provided as a light receiving portion in the remaining two windows of each of the sensors 115 and 125. The number of light receiving units of the sensors 115 and 125 is not limited to two, respectively. For example, one light receiving unit may be provided for each of the sensors 115 and 125, or three or more light receiving units may be provided.

また、基材１００の上下の縁には、遮光部１０４、１０５が設けられる。したがって、センサ１１５、１２５は、基材１００の裏面で、上下の縁の遮光部１０４、１０５に挟まれた空間に設置されている。そして、遮光部１０４、１０５は、頭部装着装置１の裏面で額と触れる部分で緩衝材としても作用する。遮光部１０４、１０５の材質に限定がある訳ではないが、利用者の頭部に接触するために、軽く柔らかい部材が望ましい。遮光部１０４、１０５は、例えば、ウレタン等の樹脂、ゴム等である。 Further, light-shielding portions 104 and 105 are provided on the upper and lower edges of the base material 100. Therefore, the sensors 115 and 125 are installed on the back surface of the base material 100 in a space sandwiched between the light-shielding portions 104 and 105 on the upper and lower edges. The light-shielding portions 104 and 105 also act as cushioning materials at the portion of the head mounting device 1 that comes into contact with the forehead. The materials of the light-shielding portions 104 and 105 are not limited, but a light and soft member is desirable in order to come into contact with the user's head. The light-shielding portions 104 and 105 are, for example, a resin such as urethane, rubber, or the like.

さらに、基材１００の裏面では、電池ボックス１０２、センサ１１５、１２５、ハウジング１１１、１２１内の基板を接続する配線が敷設されている。ただし、基材１００の裏面のセンサ１１５、１２５が設けられた部分以外は、カバー１０６で被覆されている。カバー１０６は、頭部側に接触する頭部装着装置１の裏面側で、基板・配線等が直接利用者の皮膚に触れないようする遮蔽版として作用する。したがって、配線は、基材１００とカバー１０６との間の空間に敷設されている。 Further, on the back surface of the base material 100, wiring for connecting the substrates in the battery box 102, the sensors 115, 125, and the housings 111, 121 is laid. However, the cover 106 is covered except for the portion of the base material 100 on which the sensors 115 and 125 are provided. The cover 106 acts as a shielding plate on the back surface side of the head mounting device 1 that comes into contact with the head side so that the substrate, wiring, and the like do not come into direct contact with the user's skin. Therefore, the wiring is laid in the space between the base material 100 and the cover 106.

（動作例）
図５に、本実施形態において、カラオケ装置３において実行される処理のフローチャートの一例を示す。カラオケ装置３のＣＰＵ３１は、電源がオンになると本フローチャートの処理を実行する。なお、カラオケ装置３において本フローチャートの処理が実行される前に、カラオケ装置３が再生する楽曲を歌唱するユーザは、頭部装着装置１を頭部に装着し、センサ１１５、１２５とユーザの頭部との相対的な位置決めを完了しているものとする。 (Operation example)
FIG. 5 shows an example of a flowchart of processing executed by the karaoke device 3 in the present embodiment. The CPU 31 of the karaoke device 3 executes the process of this flowchart when the power is turned on. Before the processing of this flowchart is executed in the karaoke device 3, the user who sings the music played by the karaoke device 3 wears the head wearing device 1 on the head, and the sensors 115 and 125 and the user's head. It is assumed that the relative positioning with the unit has been completed.

ＯＰ１０１では、ＣＰＵ３１は、再生部として機能し、ユーザがカラオケ装置３を操作して指定された楽曲の再生を開始する。ＣＰＵ３１は、楽曲の再生開始を、無線通信部３３からネットワークＮ２を介して利用者端末２に通知する。利用者端末２のＣＰＵ２１は、カラオケ装置３から再生開始の通知を受信すると、再生開始を無線通信部２３からネットワークＮ１を介して頭部装着装置１に通知する。頭部装着装置１の制御部１１は、利用者端末２から再生開始の通知を受信すると、センサ１１５、１２５の動作を開始する（ＯＰ１０２）。また、ユーザは、マイクなどを用いてカラオケ装置３が再生する楽曲に合わせて歌唱し、ユーザの声は入力部３５を介してカラオケ装置３に入力される。ＣＰＵ３１は、受付部として機能し、ユーザの声の入力を受け付ける。ＣＰＵ３１は、入力されるユーザの声の音量の時間変化のデータをメモリ３２に記憶する。 In OP101, the CPU 31 functions as a playback unit, and the user operates the karaoke device 3 to start playing the designated music. The CPU 31 notifies the user terminal 2 of the start of music reproduction from the wireless communication unit 33 via the network N2. When the CPU 21 of the user terminal 2 receives the notification of the start of playback from the karaoke device 3, the wireless communication unit 23 notifies the head-mounted device 1 via the network N1 of the start of playback. When the control unit 11 of the head-mounted device 1 receives the notification of the start of reproduction from the user terminal 2, the control unit 11 starts the operations of the sensors 115 and 125 (OP102). Further, the user sings along with the music played by the karaoke device 3 using a microphone or the like, and the user's voice is input to the karaoke device 3 via the input unit 35. The CPU 31 functions as a reception unit and receives input of a user's voice. The CPU 31 stores in the memory 32 the data of the time change of the volume of the input user's voice.

制御部１１は、センサ１１５、１２５によって所定の時間間隔で計測される脳の血流量のデータを無線通信部１３からネットワークＮ１および利用者端末２を介してカラオケ装置３に送信する。制御部１１は、センサ１１５、１２５から血流量のデータが生成されるたびにデータをカラオケ装置３に送信する。カラオケ装置３のＣＰＵ３１は、取得部として機能し、脳の血流量のデータを受信し、受信したデータをメモリ３２に記憶する。 The control unit 11 transmits the cerebral blood flow data measured by the sensors 115 and 125 at predetermined time intervals from the wireless communication unit 13 to the karaoke device 3 via the network N1 and the user terminal 2. The control unit 11 transmits the data to the karaoke device 3 each time the blood flow rate data is generated from the sensors 115 and 125. The CPU 31 of the karaoke device 3 functions as an acquisition unit, receives data on the blood flow rate of the brain, and stores the received data in the memory 32.

ＯＰ１０３では、ＣＰＵ３１は、ＯＰ１０１において開始した楽曲の再生を完了する。さらに、ＣＰＵ３１は、楽曲の再生完了を、無線通信部３３からネットワークＮ２を介して利用者端末２に通知する。利用者端末２のＣＰＵ２１は、カラオケ装置３から再生完了の通知を受信すると、再生完了を無線通支部２３からネットワークＮ１を介して頭部装着装置１に通知する。頭部装着装置１の制御部１１は、利用者端末２から再生完了の通知を受信すると、センサ１１５、１２５の動作およびセンサ１１５、１２５によって計測される脳の血流量変化のデータの送信を終了する。ＯＰ１０１、ＯＰ１０２の処理によって、ユーザがカラオケ装置３によって再生される楽曲を歌唱しているときの脳内の血流量の変化が所定の時間間隔で頭部装着装置１によって計測される。頭部装着装置１は、計測したデータを出力し、楽曲の頭出しから終了までの期間の血流データを利用者端末２が区切って保存してもよい。 In OP103, the CPU 31 completes the reproduction of the music started in OP101. Further, the CPU 31 notifies the user terminal 2 from the wireless communication unit 33 via the network N2 that the reproduction of the music is completed. When the CPU 21 of the user terminal 2 receives the notification of the completion of reproduction from the karaoke device 3, the CPU 21 of the user terminal 2 notifies the head-mounted device 1 of the completion of reproduction from the wireless communication branch 23 via the network N1. When the control unit 11 of the head-mounted device 1 receives the notification of the completion of reproduction from the user terminal 2, the control unit 11 ends the transmission of the operation of the sensors 115 and 125 and the data of the change in cerebral blood flow measured by the sensors 115 and 125. To do. By the processing of OP101 and OP102, the change in the blood flow rate in the brain when the user is singing the music played by the karaoke device 3 is measured by the head wearing device 1 at predetermined time intervals. The head-mounted device 1 may output the measured data, and the user terminal 2 may separate and store the blood flow data during the period from the beginning to the end of the music.

ＯＰ１０４では、ＣＰＵ３１は、メモリ３２に記憶したユーザの脳の血流量の変化のデータの解析処理を実行する。図６に、ＯＰ１０４において実行される処理のフローチャートの一例を示す。ＣＰＵ３１は、メモリ３２に記憶されているデータを用いて、図６に示す各処理を実行する。ＯＰ１０４の処理によって、右前額部と左前額部それぞれの血流量の変化のデータからさまざまな値を算出することで、ユーザが楽曲を歌唱しているときの脳の状態に対する多面的な評価に役立てることができる。なお、ＯＰ１０４の処理によって得られる各データが、頭部装着装置１から取得された時系列データを所定の手順で加工したデータの一例に相当する。 In OP104, the CPU 31 executes an analysis process of data on changes in the blood flow rate of the user's brain stored in the memory 32. FIG. 6 shows an example of a flowchart of processing executed in OP 104. The CPU 31 executes each process shown in FIG. 6 using the data stored in the memory 32. By processing OP104, various values are calculated from the data of changes in blood flow in the right forehead and the left forehead, which is useful for multifaceted evaluation of the state of the brain when the user is singing a song. be able to. It should be noted that each data obtained by the processing of OP104 corresponds to an example of data obtained by processing the time series data acquired from the head wearing device 1 by a predetermined procedure.

ＯＰ２０１では、ＣＰＵ３１は、脳の血流量の変化の絶対値の積分値を算出する。図７は、脳の血流量の時間変化の一例を模式的に示すグラフである。図７には、頭部装着装置１のセンサ１１５、１２５から出力される脳の血流量の変化のうち、右前額部と左前額部のいずれか一方の変化のグラフの例を示す。すなわち、本実施形態では、センサ１１５、
１２５から、右前額部と左前額部のそれぞれについて図７に示す血流量の変化のデータが得られる。ＣＰＵ３１は、右前額部と左前額部のそれぞれの血流量の変化のデータにおいて、所定の時間帯における絶対値の積分値を算出する。 In OP201, the CPU 31 calculates an integral value of the absolute value of the change in cerebral blood flow. FIG. 7 is a graph schematically showing an example of time-dependent changes in cerebral blood flow. FIG. 7 shows an example of a graph of changes in either the right forehead or the left forehead among the changes in cerebral blood flow output from the sensors 115 and 125 of the head-mounted device 1. That is, in the present embodiment, the sensor 115,
From 125, data on changes in blood flow shown in FIG. 7 can be obtained for each of the right forehead and the left forehead. The CPU 31 calculates an integrated value of absolute values in a predetermined time zone in the data of changes in blood flow in each of the right forehead and the left forehead.

ここで、所定の時間帯の一例として、カラオケ装置３によって再生される楽曲中の盛り上がりの部分、いわゆるサビと呼ばれる部分の時間帯が挙げられる。他に、所定の時間帯としては、再生開始から歌い出しまでの時間帯でもよいし、間奏部分の時間帯でもよい。さらに、楽曲の特定の時間帯ではなく、楽曲全体を所定の時間帯とみなしてもよい。このように、所定の時間帯は任意に決めることができる。図７の場合、ＣＰＵ３１は、時間Ｔ１からＴ２までの時間帯を上記の所定の時間帯として、この時間帯における絶対値の積分値（図中、斜線部の面積）を算出する。 Here, as an example of a predetermined time zone, a time zone of a swelling portion in a musical piece reproduced by the karaoke device 3, a so-called chorus, can be mentioned. In addition, the predetermined time zone may be a time zone from the start of playback to the start of singing, or a time zone of the interlude portion. Further, the entire music may be regarded as a predetermined time zone instead of a specific time zone of the music. In this way, a predetermined time zone can be arbitrarily determined. In the case of FIG. 7, the CPU 31 sets the time zone from time T1 to T2 as the above-mentioned predetermined time zone, and calculates the integrated value of the absolute value (area of the shaded portion in the figure) in this time zone.

さらに、ＯＰ２０１では、ＣＰＵ３１は、同じ時間帯における右前額部と左前額部それぞれの血流量の変化の絶対値の積分値の差も求める。ＣＰＵ３１は、算出した積分値やその差の値をメモリ３２に記憶する。次いで、ＣＰＵ３１は処理をＯＰ２０２に進める。 Further, in OP201, the CPU 31 also obtains the difference between the integrated values of the absolute values of the changes in the blood flow rate of the right forehead and the left forehead in the same time zone. The CPU 31 stores the calculated integrated value and the value of the difference in the memory 32. Next, the CPU 31 advances the process to OP202.

ＯＰ２０２では、ＣＰＵ３１は、右前額部と左前額部のそれぞれの血流量の変化のデータにおいて、所定の時間帯における血流量の変動幅を算出する。図７の場合、ＣＰＵ３１は、時間Ｔ１からＴ２までの時間帯を上記の所定の時間帯として、この時間帯における血流量の変動幅（図中、Ｖ２−Ｖ１の値）を算出する。さらに、ＣＰＵ３１は、同じ時間帯における右前額部と左前額部それぞれの血流量の変化の変動幅の差も求める。ＣＰＵ３１は、算出した変動幅やその差の値をメモリ３２に記憶する。次いで、ＣＰＵ３１は処理をＯＰ２０３に進める。 In OP202, the CPU 31 calculates the fluctuation range of the blood flow rate in a predetermined time zone in the data of the change in the blood flow rate of the right forehead portion and the left forehead portion, respectively. In the case of FIG. 7, the CPU 31 sets the time zone from time T1 to T2 as the above-mentioned predetermined time zone, and calculates the fluctuation range of the blood flow rate (value of V2-V1 in the figure) in this time zone. Further, the CPU 31 also obtains the difference in the fluctuation range of the change in blood flow between the right forehead and the left forehead in the same time zone. The CPU 31 stores the calculated fluctuation range and the value of the difference in the memory 32. Next, the CPU 31 advances the process to OP203.

ＯＰ２０３では、ＣＰＵ３１は、右前額部と左前額部のそれぞれの血流量の変化のデータにおいて、所定の時間帯における血流量の変化の情報エントロピーを算出する。なお、情報エントロピーは、シャノンの平均情報量と呼ばれるものであり、周知のものであるため、ここでは詳細な説明は省略する。血流量の変化の情報エントロピーは、脳血流の変化が緩やかか激しいかを示す１つの指標として用いることができる。さらに、ＣＰＵ３１は、同じ時間帯における右前額部と左前額部それぞれの血流量の変化の情報エントロピーの差も求める。ＣＰＵ３１は、算出した情報エントロピーやその差の値をメモリ３２に記憶する。次いで、ＣＰＵ３１は処理をＯＰ２０４に進める。 In OP203, the CPU 31 calculates the information entropy of the change in blood flow in a predetermined time zone from the data on the change in blood flow in each of the right forehead and the left forehead. The information entropy is called the average amount of information of Shannon and is well known, so detailed description thereof will be omitted here. The information entropy of changes in blood flow can be used as an index indicating whether changes in cerebral blood flow are gradual or severe. Further, the CPU 31 also obtains the difference in information entropy of the change in blood flow between the right forehead and the left forehead in the same time zone. The CPU 31 stores the calculated information entropy and the value of the difference in the memory 32. Next, the CPU 31 advances the process to OP204.

ＯＰ２０４では、ＣＰＵ３１は、右前額部と左前額部のそれぞれの血流量の変化のデータにおいて、所定の時間帯における血流量の変化の呼吸周波数帯域のパワーを算出する。ここで、血流量の変化からユーザの呼吸周波数の変動域（帯域）がわかることが知られている。血流量の変化と呼吸周波数の変動域との関係は周知であるため、ここでは詳細な説明は省略する。そして、呼吸周波数帯域のパワーとは、呼吸周波数の変動域の幅を意味する。呼吸周波数帯域のパワーは、ユーザの歌唱中における息継ぎのタイミングや呼吸の深さを示す１つの指標として用いることができる。さらに、ＣＰＵ３１は、同じ時間帯における右前額部と左前額部それぞれの血流量の変化における呼吸周波数帯域のパワーの差も求める。ＣＰＵ３１は、算出した呼吸周波数帯域のパワーやその差の値をメモリ３２に記憶する。次いで、ＣＰＵ３１は処理をＯＰ２０５に進める。 In OP204, the CPU 31 calculates the power of the respiratory frequency band of the change in blood flow in a predetermined time zone in the data of the change in blood flow in each of the right forehead and the left forehead. Here, it is known that the fluctuation range (band) of the user's respiratory frequency can be known from the change in blood flow rate. Since the relationship between the change in blood flow and the fluctuation range of the respiratory frequency is well known, detailed description thereof will be omitted here. The power of the respiratory frequency band means the width of the fluctuation range of the respiratory frequency. The power of the breathing frequency band can be used as an index indicating the timing of breathing and the depth of breathing during the user's singing. Further, the CPU 31 also obtains the difference in power in the respiratory frequency band in the change in blood flow between the right forehead and the left forehead in the same time zone. The CPU 31 stores the calculated power of the respiratory frequency band and the value of the difference thereof in the memory 32. Next, the CPU 31 advances the process to OP205.

ＯＰ２０５では、ＣＰＵ３１は、右前額部と左前額部のそれぞれの血流量の変化のデータにおいて、体動の発生率を算出する。図８に、頭部装着装置１のセンサ１１５、１２５から出力される脳の血流量の変化のうち、右前額部と左前額部のいずれか一方の変化のグラフの例を示す。図８に示すグラフでは、時間Ｔ３からＴ４までの時間帯と時間Ｔ５からＴ６までの時間帯において、血流量が落ち込んでいる。このように血流量が一時的に急峻に落ち込む又は上昇する場合に、ユーザの体動が発生したとみなすことができる。そして
、血流量の変化のデータにおける体動の発生率は、ユーザが歌唱に集中できたか否かを示す１つの指標として、あるいは逆の意味では体を動かす程に楽しんで歌っていたことを示す１つの指標として用いることができる。さらに、ＣＰＵ３１は、同じ時間帯における右前額部と左前額部それぞれの血流量の変化における体動の発生率の差も求める。ＣＰＵ３１は、算出した体動の発生率やその差の値をメモリ３２に記憶する。次いで、ＣＰＵ３１は処理をＯＰ２０６に進める。 In OP205, the CPU 31 calculates the incidence of body movement in the data of changes in blood flow in the right forehead and the left forehead. FIG. 8 shows an example of a graph of changes in either the right forehead or the left forehead among the changes in cerebral blood flow output from the sensors 115 and 125 of the head-mounted device 1. In the graph shown in FIG. 8, the blood flow rate drops in the time zone from time T3 to T4 and the time zone from time T5 to T6. When the blood flow rate temporarily suddenly drops or rises in this way, it can be considered that the user's body movement has occurred. The incidence of body movements in the blood flow change data indicates that the user enjoyed singing as an indicator of whether or not he / she was able to concentrate on singing, or in the opposite sense, as much as he / she moved. It can be used as an index. Further, the CPU 31 also obtains a difference in the incidence of body movement due to a change in blood flow between the right forehead and the left forehead in the same time zone. The CPU 31 stores the calculated occurrence rate of body movement and the value of the difference in the memory 32. Next, the CPU 31 advances the process to OP206.

ＯＰ２０６では、ＣＰＵ３１は、右前額部と左前額部のそれぞれの血流量の変化のデータにおいて、心拍数の変動幅を算出する。心拍数が高いほど血流量は多くなることが知られている。ＣＰＵ３１は、所定の時間帯における血流量の値から心拍数の値を算出する。そして、ＣＰＵ３１は、当該時間帯における心拍数の最大値および最小値から心拍数の変動幅を算出する。ＣＰＵ３１は、算出した心拍数の変動幅の値をメモリ３２に記憶する。次いで、ＣＰＵ３１は処理をＯＰ２０７に進める。 In OP206, the CPU 31 calculates the fluctuation range of the heart rate in the data of the change in blood flow in each of the right forehead and the left forehead. It is known that the higher the heart rate, the higher the blood flow. The CPU 31 calculates the value of the heart rate from the value of the blood flow rate in a predetermined time zone. Then, the CPU 31 calculates the fluctuation range of the heart rate from the maximum value and the minimum value of the heart rate in the time zone. The CPU 31 stores the calculated value of the fluctuation range of the heart rate in the memory 32. Next, the CPU 31 advances the process to OP207.

ＯＰ２０７では、ＣＰＵ３１は、ＯＰ２０６において算出した心拍数の値から心拍数の変動の情報エントロピーを算出する。なお、情報エントロピーは、ＯＰ２０３と同様であるためここでは詳細な説明は省略する。心拍数の変動の情報エントロピーは、ユーザが落ち着いて歌唱することができたか否かを示す１つの指標として用いることができる。ＣＰＵ３１は、算出した心拍数の変動の情報エントロピーの値をメモリ３２に記憶する。次いで、ＣＰＵ３１は処理をＯＰ２０８に進める。 In OP207, the CPU 31 calculates the information entropy of the fluctuation of the heart rate from the value of the heart rate calculated in OP206. Since the information entropy is the same as OP203, detailed description thereof will be omitted here. The information entropy of the fluctuation of the heart rate can be used as one index indicating whether or not the user was able to sing calmly. The CPU 31 stores the calculated information entropy value of the fluctuation of the heart rate in the memory 32. Next, the CPU 31 advances the process to OP208.

ＯＰ２０８では、ＣＰＵ３１は、ＯＰ２０１〜ＯＰ２０７で算出した各値とメモリ３２に記憶したユーザの声の音量の時間変化のデータから、平均相関係数あるいは時間窓相関係数の時間変化のデータを生成する。ここで、平均相関係数および時間窓相関係数は周知であるため、詳細な説明は省略する。本実施形態では、これら平均相関係数および時間窓相関係数を算出することにより、ユーザがカラオケ装置３を使用して歌唱するときの声の音量と脳の血流量との相関関係を示すデータを得ることができる。ＣＰＵ３１は、ＯＰ２０８の処理を終了すると、処理をＯＰ１０５に進める。 In OP208, the CPU 31 generates time change data of the average correlation coefficient or the time window correlation coefficient from each value calculated in OP201 to OP207 and the time change data of the volume of the user's voice stored in the memory 32. .. Here, since the average correlation coefficient and the time window correlation coefficient are well known, detailed description thereof will be omitted. In the present embodiment, by calculating these average correlation coefficient and time window correlation coefficient, data showing the correlation between the volume of voice when the user sings using the karaoke device 3 and the blood flow rate in the brain is obtained. be able to. When the CPU 31 finishes the processing of OP208, the CPU 31 advances the processing to OP105.

ＯＰ１０５では、ＣＰＵ３１は、評価部として機能し、ＯＰ２０１〜ＯＰ２０８の処理によって得られるデータからユーザの歌唱の評価に関する情報を生成する。例えば、カラオケ装置３のメモリ３２に、ＯＰ２０１〜ＯＰ２０８で算出される各値の組合せと楽曲との対応付けを示すデータを記憶しておく。そして、ＣＰＵ３１は、推奨部として機能し、ＯＰ２０１〜ＯＰ２０８の処理によって得られた各値の組合せとメモリ３２に記憶されている値の組合せを比較し、互いの値の一致の度合いが所定の高さである場合に、メモリ３２に記憶されている値の組合せと対応付けられている楽曲を次の再生曲として表示部３４に表示する。これにより、カラオケ装置３によれば、ユーザの歌唱中の脳活動に基づく楽曲をリコメンドすることができる。図９にカラオケ装置３の表示部３４に表示されるリコメンド対象の楽曲に関するメッセージの一例を示す。図９に示すように、カラオケ装置３の表示部３４には、ユーザにリコメンドする楽曲の情報やユーザの歌唱に対する評価のメッセージなどを表示することができる。 In OP105, the CPU 31 functions as an evaluation unit and generates information regarding the evaluation of the user's singing from the data obtained by the processing of OP201 to OP208. For example, in the memory 32 of the karaoke device 3, data indicating the association between the combination of each value calculated by OP201 to OP208 and the music is stored. Then, the CPU 31 functions as a recommended unit, compares the combination of each value obtained by the processing of OP201 to OP208 with the combination of the values stored in the memory 32, and the degree of agreement between the values is a predetermined high. In this case, the music associated with the combination of values stored in the memory 32 is displayed on the display unit 34 as the next reproduced music. As a result, according to the karaoke device 3, it is possible to recommend a musical piece based on the brain activity during singing by the user. FIG. 9 shows an example of a message related to the recommended music displayed on the display unit 34 of the karaoke device 3. As shown in FIG. 9, the display unit 34 of the karaoke device 3 can display information on a song recommended to the user, an evaluation message for the user's singing, and the like.

ＯＰ１０５では、上記の楽曲のリコメンドの他に、以下の処理を行うこともできる。図１０に示すように、カラオケ装置３の表示部３４には、ユーザが楽曲を歌唱しているときに取得された血流量の変化（実測値）を示すグラフＬ１と、当該楽曲を歌唱する場合の血流量の目標値を示すグラフＬ２と、当該楽曲と同一の楽曲を歌唱する歌唱者からサンプルとして取得された血流量の変化を示すグラフＬ３が表示される。一例として、グラフＬ２により示される目標値は、いわゆる健康な人の脳の血流量を示すものであり、当該楽曲を歌唱する複数の歌唱者から取得した血流量の変化における移動平均や重み付けなどによって求められる値である。なお、目標値は、ユーザ自身が同じ歌を歌ったときに取得した数
回の血流量の変化を移動平均や重み付けなどによって求められる値であってもよい。また、グラフＬ３により示されるサンプルの血流量は、サンプルとして取得された血流量のうち最大の血流量（最高値）を示すものである。この他にも、同一の楽曲を歌唱する他のユーザの血流量との比較結果や過去に同一ユーザが同一の楽曲を歌唱した際に取得された血流量との比較結果が表示部３４に表示されてもよい。 In OP105, in addition to the above-mentioned music recommendation, the following processing can also be performed. As shown in FIG. 10, the display unit 34 of the karaoke device 3 has a graph L1 showing a change in blood flow rate (actual measurement value) acquired when the user is singing a song, and a case where the song is sung. A graph L2 showing the target value of the blood flow rate and a graph L3 showing the change in the blood flow rate obtained as a sample from a singer who sings the same song as the song are displayed. As an example, the target value shown by the graph L2 indicates the blood flow rate in the brain of a so-called healthy person, and is based on a moving average or weighting in a change in blood flow rate obtained from a plurality of singers who sing the song. This is the required value. The target value may be a value obtained by moving average, weighting, or the like for several changes in blood flow acquired when the user himself sings the same song. The blood flow rate of the sample shown by the graph L3 indicates the maximum blood flow rate (maximum value) among the blood flow rates obtained as the sample. In addition to this, the comparison result with the blood flow rate of another user who sings the same song and the comparison result with the blood flow rate acquired when the same user sang the same song in the past are displayed on the display unit 34. May be done.

また、例えば、あらかじめ、カラオケ装置３のメモリ３２に、カラオケ装置３において再生される楽曲をプロの歌手が歌唱した場合の脳の血流量の時間変化のデータや当該データに対してＯＰ２０１〜ＯＰ２０８の処理を実行したときに得られるデータが記憶されているとする。そして、ＣＰＵ３１は、ユーザが歌唱したときにＯＰ２０１〜ＯＰ２０８の処理によって得られるデータとメモリ３２に記憶されているプロの歌手が歌唱した場合のデータとの比較から、ユーザの歌唱に対する評価に関する情報を表示部３４に表示する。例えば、ＣＰＵ３１は、楽曲中のサビの部分ではプロの歌手の脳の方がより活動していることを伝えるメッセージなどを表示部３４に表示する。これにより、カラオケ装置３によれば、よりプロの歌手に近い歌唱ができるようにユーザを支援する情報を提供することができる。 Further, for example, when a professional singer sings a song to be played in the karaoke device 3 in the memory 32 of the karaoke device 3 in advance, the data of the time change of the blood flow in the brain and the data of OP201 to OP208 are obtained. It is assumed that the data obtained when the process is executed is stored. Then, the CPU 31 compares the data obtained by the processing of OP201 to OP208 when the user sings with the data when the professional singer stored in the memory 32 sings, and obtains information on the evaluation of the user's singing. It is displayed on the display unit 34. For example, the CPU 31 displays a message or the like indicating that the brain of a professional singer is more active in the chorus portion of the music on the display unit 34. As a result, according to the karaoke device 3, it is possible to provide information that assists the user so that the singing can be performed closer to that of a professional singer.

また、ＣＰＵ３１は、ＯＰ２０１〜ＯＰ２０８の処理によって得られるデータから、歌唱中の脳活動の活発さを示す評価値を生成して表示部３４に表示する。例えば、あらかじめ、カラオケ装置３のメモリ３２に、ＯＰ２０１〜ＯＰ２０８の処理によって算出される値から所定の指数を算出するための数式や値などのデータが記憶されているとする。ここで、所定の指数とは、ユーザが歌唱をどれだけ楽しんだかを示すことを目的として定められる値である。ＣＰＵ３１は、ＯＰ２０１〜ＯＰ２０８の処理によって得られるデータとメモリ３２に記憶されているデータとを用いて所定の指数を算出し、算出した指数を表示部３４に表示する。これにより、カラオケ装置３によれば、ユーザの脳活動の観点からユーザが楽曲の歌唱をどれだけ楽しんだかを示す情報を提供することができる。 Further, the CPU 31 generates an evaluation value indicating the activity of the brain activity during singing from the data obtained by the processing of OP201 to OP208 and displays it on the display unit 34. For example, it is assumed that data such as a mathematical formula or a value for calculating a predetermined index from the values calculated by the processes of OP201 to OP208 is stored in the memory 32 of the karaoke device 3 in advance. Here, the predetermined index is a value determined for the purpose of indicating how much the user enjoyed singing. The CPU 31 calculates a predetermined index using the data obtained by the processes of OP201 to OP208 and the data stored in the memory 32, and displays the calculated index on the display unit 34. Thereby, according to the karaoke device 3, it is possible to provide information indicating how much the user enjoyed singing the music from the viewpoint of the user's brain activity.

また、ＣＰＵ３１は、ＯＰ２０４において算出した呼吸周波数帯域のパワーからユーザの歌唱中の呼吸の変化や息継ぎの回数およびタイミングなどを特定し、特定した呼吸に対する評価を生成して表示部３４に表示する。例えば、あらかじめ、カラオケ装置３のメモリ３２に、各楽曲に対して最適とみなされる呼吸に関するデータが記憶されているとする。ＣＰＵ３１は、ＯＰ２０４において得られるユーザの歌唱中の呼吸に関するデータと、メモリ３２に記憶されている呼吸に関するデータとを比較し、比較結果を表示部３４に表示する。例えば、ＣＰＵ３１は、比較の結果、ユーザの歌唱中の呼吸の変化が激しいと特定した場合は、落ち着いて歌唱するようアドバイスするメッセージを表示部３４に表示する。これにより、カラオケ装置３によれば、より上手に歌唱するための息継ぎや呼吸に関するアドバイスをユーザに提供することができる。 Further, the CPU 31 specifies a change in breathing during singing by the user, the number and timing of breathing, and the like from the power of the breathing frequency band calculated in OP204, generates an evaluation for the specified breathing, and displays it on the display unit 34. For example, it is assumed that the memory 32 of the karaoke device 3 stores in advance data related to respiration that is considered to be optimal for each musical piece. The CPU 31 compares the data related to respiration during singing by the user obtained in OP204 with the data related to respiration stored in the memory 32, and displays the comparison result on the display unit 34. For example, when the CPU 31 determines as a result of comparison that the change in breathing during singing by the user is drastic, the CPU 31 displays a message on the display unit 34 to advise calmly singing. As a result, according to the karaoke device 3, it is possible to provide the user with advice on breathing and breathing for better singing.

脳の前頭葉が担う実行機能（注意、集中、判断、計画、行動などの脳機能を調節する高次認知機能）が、ストレッチ運動などのいわゆる軽い運動でも向上するというエビデンスが存在する。カラオケ装置３によれば、ユーザの脳活動に適切な楽曲や歌唱のアドバイスなどが提供される。したがって、ユーザがカラオケ装置３を使用して継続的に歌を歌唱することで、ユーザの前頭葉の活動が活発になり、いわゆる認知症の予防につながる効果が期待される。 There is evidence that executive functions (higher cognitive functions that regulate brain functions such as attention, concentration, judgment, planning, and behavior) of the frontal lobe of the brain are improved by so-called light exercise such as stretching exercise. According to the karaoke device 3, music and singing advice suitable for the user's brain activity are provided. Therefore, when the user continuously sings a song using the karaoke device 3, the activity of the frontal lobe of the user becomes active, which is expected to have an effect of preventing so-called dementia.

以上が本実施形態に関する説明であるが、上記の計測システムの構成は、上記の実施形態に限定されるものではなく、本発明の技術的思想と同一性を失わない範囲内において種々の変更が可能である。以下に上記の楽曲のリコメンドの処理の変形例について説明する。図１１に、カラオケ装置３のＣＰＵ３１が実行する処理のフローチャートの例を示す。なお、以下の説明において、上記の実施形態と同一の処理については同一の符号を付し、
詳細な説明は省略する。 The above is the description of the present embodiment, but the configuration of the above measurement system is not limited to the above embodiment, and various changes can be made within the range that does not lose the identity with the technical idea of the present invention. It is possible. A modified example of the above-mentioned music recommendation processing will be described below. FIG. 11 shows an example of a flowchart of processing executed by the CPU 31 of the karaoke device 3. In the following description, the same processing as in the above embodiment is designated by the same reference numerals.
Detailed description will be omitted.

本変形例では、ユーザ以外の歌唱者がカラオケ装置３によって再生される楽曲を歌唱したときに、当該楽曲の識別情報と頭部装着装置１から取得された血流量の変化のデータ（ＯＰ２０１〜ＯＰ２０８の処理によって得られるデータを含む）とを対応付けたデータベースがカラオケ装置３のメモリ３２上に作成されていると想定する。なお、当該データベースは、例えばネットワーク上のクラウドなど、カラオケ装置３の外部に設けられたデータベースとしてもよい。 In this modification, when a singer other than the user sings a song to be played by the karaoke device 3, the identification information of the song and the data of the change in blood flow acquired from the head-mounted device 1 (OP201 to OP208). It is assumed that a database associated with (including the data obtained by the above processing) is created on the memory 32 of the karaoke device 3. The database may be a database provided outside the karaoke device 3, such as a cloud on a network.

ＣＰＵ３１は、上記と同様にＯＰ１０１〜ＯＰ１０４の処理を実行する。そして、ＣＰＵ３１は、ＯＰ１０４の処理を終了すると、処理をＯＰ３０５の処理を実行する。ＯＰ３０５では、歌唱した楽曲についてユーザからの評価を受け付ける。この評価としては、歌唱した後の現在の気分や心理状態（気持ちよい、気持ち悪い、明るくなれた、暗くなった、など）を示す評価が例示される。ユーザからの評価は、ユーザが利用者端末２を操作することで受け付けてもよいし、ユーザがカラオケ装置３を操作することで受け付けてもよい。次いで、ＣＰＵ３１は、処理をＯＰ３０６に進める。 The CPU 31 executes the processes of OP101 to OP104 in the same manner as described above. Then, when the CPU 31 finishes the processing of OP104, the CPU 31 executes the processing of OP305. OP305 accepts the evaluation from the user about the sung music. Examples of this evaluation include an evaluation showing the current mood and psychological state (comfortable, unpleasant, brightened, darkened, etc.) after singing. The evaluation from the user may be accepted by the user operating the user terminal 2, or may be accepted by the user operating the karaoke device 3. Next, the CPU 31 advances the process to OP306.

ＯＰ３０６では、ＣＰＵ３１は、ＯＰ３０５において受け付けた評価が所定の基準以上であるか否かを判定する。ここで所定の基準とは、ＯＰ３０５において受け付けた評価が、例えばユーザが当該楽曲を歌唱するのが好きであることを示す基準である。ＣＰＵ３１は、評価が所定の基準以上である場合は（ＯＰ３０６：Ｙｅｓ）、処理をＯＰ３０７に進める。一方、ＣＰＵ３１は、評価が所定の基準未満である場合は（ＯＰ３０６：Ｎｏ）、本フローチャートの処理を終了する。 In OP306, the CPU 31 determines whether or not the evaluation received in OP305 is equal to or higher than a predetermined standard. Here, the predetermined standard is a standard indicating that the evaluation received in OP305 indicates that, for example, the user likes to sing the music. If the evaluation is equal to or higher than a predetermined standard (OP306: Yes), the CPU 31 advances the process to OP307. On the other hand, if the evaluation is less than the predetermined standard (OP306: No), the CPU 31 ends the process of this flowchart.

ＯＰ３０７では、ＣＰＵ３１は、メモリ３２に作成された上記のデータベースを参照し、ＯＰ２０１〜ＯＰ２０８によって得られるデータの組合せと類似するとみなせるデータを特定する。ここで、ＣＰＵ３１は、データの類似を、頭部装着装置１から取得された時系列データを所定の手順で加工したデータによって判断すればよい。ＣＰＵ３１は、例えば、時系列データを移動平均して高周波成分を除去したデータ、図６で求めた積分値、血流の変動幅、情報エントロピー、呼吸周波数帯域のパワー、体動の発生率、心拍数の変動幅、心拍数の変動の情報エントロピー、平均相関係数、時間窓相関係数の少なくとも１つを基に、データの類似を判断すればよい。 In OP307, the CPU 31 refers to the above database created in the memory 32 and identifies data that can be considered to be similar to the combination of data obtained by OP201-OP208. Here, the CPU 31 may determine the similarity of the data based on the time-series data acquired from the head-mounted device 1 processed by a predetermined procedure. For example, the CPU 31 moves and averages time-series data to remove high-frequency components, the integrated value obtained in FIG. 6, the fluctuation range of blood flow, information entropy, the power of the respiratory frequency band, the occurrence rate of body movement, and the heartbeat. The similarity of data may be judged based on at least one of the fluctuation range of the number, the information entropy of the fluctuation of the heart rate, the average correlation coefficient, and the time window correlation coefficient.

そして、ＣＰＵ３１は、特定したデータが示す楽曲の識別情報を取得する。次いで、ＣＰＵ３１は、処理をＯＰ３０８に進める。ＯＰ３０８では、ＣＰＵ３１は、ＯＰ３０７で取得した識別情報から楽曲を特定し、特定した楽曲をユーザにリコメンドする。例えば、ＣＰＵ３１は、図９に示すように特定した楽曲をリコメンドするメッセージをカラオケ装置３の表示部３４に表示してもよいし、当該メッセージを利用者端末２の表示部２４に表示させてもよい。 Then, the CPU 31 acquires the identification information of the music indicated by the specified data. Next, the CPU 31 advances the process to OP308. In OP308, the CPU 31 identifies a musical piece from the identification information acquired in OP307 and recommends the specified song to the user. For example, the CPU 31 may display a message recommending the specified music as shown in FIG. 9 on the display unit 34 of the karaoke device 3, or may display the message on the display unit 24 of the user terminal 2. Good.

したがって、本変形例によれば、ユーザが楽曲を歌唱したときに気分や心理状態が良くなった場合に、歌唱すると同じように脳の血流量が変化するとみなせる別の楽曲を特定してユーザにリコメンドすることができる。 Therefore, according to this modified example, when the user feels better when singing a song, another song that can be regarded as changing the blood flow in the brain in the same way as singing is specified to the user. Can be recommended.

さらに他の変形例として、例えば、上記では、ＯＰ１０５のユーザの歌唱の評価に関する情報がカラオケ装置３の表示部３４に表示されるが、ＣＰＵ３１が通信部として機能して当該情報を利用者端末２に送信し、当該情報が利用者端末２の表示部２４に表示されてもよい。また、ＯＰ１０５のユーザの歌唱の評価に関する情報がメモリ３２に記憶され、任意のタイミングでユーザの履歴情報としてカラオケ装置３の表示部３４あるいは利用者端末２の表示部２４されてもよい。さらに、カラオケ装置３がＣＰＵ３１とメモリ３２で
演算していた歌唱の評価に関する情報を、利用者端末２のＣＰＵ２１とメモリ２２を用いて演算し、この結果を表示部２４に表示するようにしてもよい。 As yet another modification, for example, in the above, information regarding the evaluation of the user's singing of OP105 is displayed on the display unit 34 of the karaoke device 3, but the CPU 31 functions as a communication unit and uses the information as the user terminal 2. The information may be displayed on the display unit 24 of the user terminal 2. Further, information regarding the evaluation of the user's singing of the OP 105 may be stored in the memory 32, and may be displayed as the user's history information in the display unit 34 of the karaoke device 3 or the display unit 24 of the user terminal 2 at any timing. Further, the information regarding the evaluation of the singing calculated by the karaoke device 3 by the CPU 31 and the memory 32 may be calculated by using the CPU 21 and the memory 22 of the user terminal 2, and the result may be displayed on the display unit 24. Good.

また、ユーザが頭部装着装置１を装着して頭部装着装置１のユーザの頭部に対する位置決めが完了したときに、カラオケ装置３による楽曲の再生および頭部装着装置１のセンサ１１５、１２５の動作を開始してもよい。一例として、ユーザがカラオケ装置３を操作して再生する楽曲を決定したときに、ユーザに頭部装着装置１の装着を促すメッセージがカラオケ装置３の表示部３４に表示される。そして、ユーザが頭部装着装置１を装着すると、そのことが利用者端末２を経由してカラオケ装置３に通知され、カラオケ装置３は当該通知を受信すると楽曲の再生を開始する。このように、ＣＰＵ３１が同期部として機能し、ユーザが頭部装着装置１を装着するとカラオケ装置３の楽曲の再生が自動的に開始されてもよい。 Further, when the user wears the head wearing device 1 and the positioning of the head wearing device 1 with respect to the user's head is completed, the karaoke device 3 plays the music and the sensors 115 and 125 of the head wearing device 1 The operation may be started. As an example, when the user operates the karaoke device 3 to determine the music to be played, a message prompting the user to wear the head wearing device 1 is displayed on the display unit 34 of the karaoke device 3. Then, when the user wears the head wearing device 1, this is notified to the karaoke device 3 via the user terminal 2, and when the karaoke device 3 receives the notification, the music playback starts. In this way, the CPU 31 may function as a synchronization unit, and when the user wears the head-mounted device 1, the reproduction of the music of the karaoke device 3 may be automatically started.

また、上記では、カラオケ装置３および利用者端末２が別体である場合を想定しているが、上記のカラオケ装置３および利用者端末２の機能を備える家庭用テレビとしても、上記の発明を実現することができる。あるいは、カラオケ装置３および／または利用者端末２の機能を備える専用の機器を周知の家庭用テレビと接続するように構成してもよい。そして、上記の頭部装着装置１のセンサ１１５、１２５によって取得される血流量のデータが当該家庭用テレビに送信されるようにすればよい。 Further, in the above, it is assumed that the karaoke device 3 and the user terminal 2 are separate bodies, but the above invention can also be used as a home television having the functions of the karaoke device 3 and the user terminal 2. It can be realized. Alternatively, a dedicated device having the functions of the karaoke device 3 and / or the user terminal 2 may be configured to be connected to a well-known home television. Then, the blood flow rate data acquired by the sensors 115 and 125 of the head-mounted device 1 may be transmitted to the home television.

また、上記では、カラオケ装置３による楽曲の再生が完了した後に、上記のＯＰ２０１〜ＯＰ２０８の処理によって得られるデータの解析結果が表示部３４に表示されるが、カラオケ装置３による楽曲の再生中に、それまでのユーザの歌唱について得られる脳の血流量のデータに対して上記の解析結果が実行されて評価情報が表示部３４に表示されてもよい。例えば、現在から３０秒前などの所定時間内に得られる脳の血流量のデータに対する評価が表示部３４に表示されることで、ユーザの歌唱中に、もっと落ち着いて歌うよう促すメッセージやもっと声を出して歌うよう促すメッセージなど、ユーザの歌唱に役立つ情報をフィードバックすることができる。 Further, in the above, after the reproduction of the music by the karaoke device 3 is completed, the analysis result of the data obtained by the above processing of OP201 to OP208 is displayed on the display unit 34, but during the reproduction of the music by the karaoke device 3. The above analysis result may be executed on the data of the blood flow in the brain obtained for the user's singing so far, and the evaluation information may be displayed on the display unit 34. For example, by displaying the evaluation of the cerebral blood flow data obtained within a predetermined time such as 30 seconds before the present on the display unit 34, a message or a voice prompting the user to sing more calmly while singing is displayed. It is possible to feed back information useful for the user's singing, such as a message prompting the user to sing.

また、上記では、カラオケ装置３を使用して歌唱するユーザは１人である場合を想定したが、複数人のユーザが歌唱した場合でも上記の発明を適用することができる。この場合、各ユーザが頭部装着装置１を装着し、カラオケ装置３が各頭部装着装置１から出力される脳の血流量のデータを各ユーザと対応付けて記憶する。 Further, in the above, it is assumed that one user sings using the karaoke device 3, but the above invention can be applied even when a plurality of users sing. In this case, each user wears the head wearing device 1, and the karaoke device 3 stores the data of the cerebral blood flow output from each head wearing device 1 in association with each user.

また、上記では、カラオケ装置３のメモリ３２に楽曲のデータが記憶されているが、カラオケ装置３は、いわゆる通信カラオケのように、外部からインターネットやテレビ放送網などを利用して楽曲のデータを受信してもよい。また、カラオケ装置３の表示部３４には、再生中の楽曲の歌詞や画像などの歌情報とともに上記の処理によって得られる脳の血流量のデータに対する評価に関する情報を表示してもよい。 Further, in the above, the music data is stored in the memory 32 of the karaoke device 3, but the karaoke device 3 stores the music data from the outside using the Internet, a television broadcasting network, or the like like so-called online karaoke. You may receive it. In addition, the display unit 34 of the karaoke device 3 may display song information such as lyrics and images of the music being played, as well as information on evaluation of the cerebral blood flow data obtained by the above processing.

１ 頭部装着装置
２ 利用者端末
３ カラオケ装置
２１、３１ ＣＰＵ
３２ メモリ
３３ 無線通信部
３４ 表示部
３５ 入力部 1 Head-mounted device 2 User terminal 3 Karaoke device 21, 31 CPU
32 Memory 33 Wireless communication unit 34 Display unit 35 Input unit

Claims (21)

楽曲を再生する再生部と、
前記再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から前記血流状態の変化に関するデータを取得するデータ取得部と、
前記楽曲の再生終了時に前記取得したデータを所定の形式で表示する表示部と
を備え、
前記所定の形式は、前記取得したデータと前記取得したデータの目標値との比較、前記取得したデータと前記楽曲と同一の楽曲を歌唱する歌唱者から取得された取得済みサンプルの統計値との比較、前記取得したデータと前記楽曲と同一の楽曲を歌唱する他の利用者の頭部の血流状態の変化に関するデータとの比較、および前記取得したデータと前記楽曲と同一の楽曲を歌唱する前記利用者から過去に取得した取得済みデータとの比較の少なくとも１つを含む情報処理装置。 A playback unit that plays music and
A data acquisition unit that acquires data on changes in the blood flow state from a head-mounted device that measures changes in the blood flow state of the user's head singing along with the reproduced music.
With a display unit that displays the acquired data in a predetermined format at the end of playback of the music
With
The predetermined format is a comparison between the acquired data and a target value of the acquired data, and a statistical value of the acquired data and an acquired sample acquired from a singer who sings the same song as the song. Comparison, comparison between the acquired data and data on changes in the blood flow state of the head of another user who sings the same song as the song, and singing the same song as the song with the acquired data. At least Tsuo含no information processing apparatus comparison with acquired data acquired in the past from the user. 前記利用者が使用する端末と通信を行う通信部をさらに備え、
前記通信部は、前記取得したデータを前記所定の形式で表示するためのデータを前記端末に送信する
請求項１に記載の情報処理装置。 Further equipped with a communication unit that communicates with the terminal used by the user,
The information processing device according to claim 1, wherein the communication unit transmits data for displaying the acquired data in the predetermined format to the terminal. 前記頭部装着装置による前記利用者の頭部の血流状態の変化の計測の開始および終了と、前記再生される楽曲の再生の開始および終了とを同期させる同期部をさらに備える、請求項１または請求項２に記載の情報処理装置。 Claim 1 further includes a synchronization unit that synchronizes the start and end of measurement of a change in the blood flow state of the user's head by the head-mounted device with the start and end of reproduction of the reproduced music. Alternatively, the information processing device according to claim 2 . 楽曲を再生する再生部と、
前記再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から前記血流状態の変化に関する第１のデータを取得するデータ取得部と、
前記利用者または前記利用者以外の歌唱者が過去に歌唱したときに前記頭部装着装置から取得された第２のデータと前記第２のデータの取得時に再生された楽曲の識別情報とを対応付けて記憶するデータベースにアクセスするデータベースアクセス部と、
前記楽曲の再生終了時に前記利用者の気分または心理状態を含む前記利用者からの評価を受け付ける評価受付部と、
前記受け付けた評価が所定の基準以上の場合に、前記第２のデータのうち前記第１のデ
ータに類似するデータと対応付けて記憶された楽曲の識別情報を前記データベースから取得する識別情報取得部と、
前記識別情報によって特定される楽曲の再生を推奨する推奨部と
を備える情報処理装置。 A playback unit that plays music and
A data acquisition unit that acquires the first data regarding the change in the blood flow state from the head-mounted device that measures the change in the blood flow state of the user's head singing together with the reproduced music.
Corresponds to the second data acquired from the head-worn device when the user or a singer other than the user sang in the past and the identification information of the music played when the second data was acquired. The database access unit that accesses the database to be attached and stored,
An evaluation reception unit that receives evaluations from the user, including the mood or psychological state of the user, at the end of playback of the music.
When the received evaluation is equal to or higher than a predetermined standard, the identification information acquisition unit that acquires the identification information of the music stored in association with the data similar to the first data among the second data from the database. When,
An information processing device including a recommendation unit that recommends playback of a musical piece specified by the identification information. 前記第１のデータおよび前記第２のデータは、前記楽曲の開始から終了までの間に前記頭部装着装置から取得された時系列データを所定の手順で加工したデータである、請求項４に記載の情報処理装置。 The first data and the second data are processed data time-series data obtained from the head mounted device until terminated in a predetermined procedure from the start of the song, to claim 4 The information processing device described. 前記利用者が使用する端末と通信を行う通信部をさらに備え、
前記通信部は、前記識別情報によって特定される楽曲の再生を推奨するためのデータを前記端末に送信する
請求項４または請求項５に記載の情報処理装置。 Further equipped with a communication unit that communicates with the terminal used by the user,
The information processing device according to claim 4 or 5 , wherein the communication unit transmits data for recommending the reproduction of the music specified by the identification information to the terminal. 前記頭部装着装置による前記利用者の頭部の血流状態の変化の計測の開始および終了と、前記再生される楽曲の再生の開始および終了とを同期させる同期部をさらに備える、請求項４から６のいずれか１項に記載の情報処理装置。 4. The fourth aspect of the present invention further includes a synchronization unit that synchronizes the start and end of measurement of a change in the blood flow state of the user's head by the head-mounted device with the start and end of reproduction of the reproduced music. The information processing apparatus according to any one of 1 to 6 . コンピュータが、
楽曲を再生し、
前記再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から前記血流状態の変化に関するデータを取得し、
前記楽曲の再生終了時に前記取得したデータを所定の形式で表示する
ことを実行し、
前記所定の形式は、前記取得したデータと前記取得したデータの目標値との比較、前記取得したデータと前記楽曲と同一の楽曲を歌唱する歌唱者から取得された取得済みサンプルの統計値との比較、前記取得したデータと前記楽曲と同一の楽曲を歌唱する他の利用者の頭部の血流状態の変化に関するデータとの比較、および前記取得したデータと前記楽曲と同一の楽曲を歌唱する前記利用者から過去に取得した取得済みデータとの比較の少なくとも１つを含む情報処理方法。 The computer
Play the song,
Data on the change in the blood flow state is acquired from the head-mounted device that measures the change in the blood flow state of the user's head singing together with the reproduced music.
The acquired data is displayed in a predetermined format at the end of playback of the music.
Do that
The predetermined format is a comparison between the acquired data and a target value of the acquired data, and a statistical value of the acquired data and an acquired sample acquired from a singer who sings the same song as the song. Comparison, comparison between the acquired data and data on changes in the blood flow state of the head of another user who sings the same song as the song, and singing the same song as the song with the acquired data. At least Tsuo含no information processing method of comparison with acquired data acquired in the past from the user. 前記コンピュータがさらに、
前記取得したデータを前記所定の形式で表示するためのデータを前記利用者が使用する端末に送信する
請求項８に記載の情報処理方法。 The computer further
The information processing method according to claim 8 , wherein the data for displaying the acquired data in the predetermined format is transmitted to the terminal used by the user. 前記コンピュータがさらに、
前記頭部装着装置による前記利用者の頭部の血流状態の変化の計測の開始および終了と、前記再生される楽曲の再生の開始および終了とを同期させる
請求項８または請求項９に記載の情報処理方法。 The computer further
The 8th or 9th claim which synchronizes the start and the end of the measurement of the change in the blood flow state of the user's head by the head wearing device with the start and the end of the reproduction of the reproduced music. Information processing method. コンピュータが、
楽曲を再生し、
前記再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から前記血流状態の変化に関する第１のデータを取得し、
前記利用者または前記利用者以外の歌唱者が過去に歌唱したときに前記頭部装着装置から取得された第２のデータと前記第２のデータの取得時に再生された楽曲の識別情報とを対応付けて記憶するデータベースにアクセスし、
前記楽曲の再生終了時に前記利用者の気分または心理状態を含む前記利用者からの評価を受け付け、
前記受け付けた評価が所定の基準以上の場合に、前記第２のデータのうち前記第１のデータに類似するデータと対応付けて記憶された楽曲の識別情報を前記データベースから取得し、
前記識別情報によって特定される楽曲の再生を推奨する
ことを実行する情報処理方法。 The computer
Play the song,
The first data regarding the change in the blood flow state is acquired from the head-mounted device that measures the change in the blood flow state of the user's head singing together with the reproduced music.
Corresponds to the second data acquired from the head-worn device when the user or a singer other than the user sang in the past and the identification information of the music played when the second data was acquired. Access the database to be attached and stored,
At the end of playback of the music, the evaluation from the user including the mood or psychological state of the user is accepted.
When the received evaluation is equal to or higher than a predetermined standard, the identification information of the music stored in association with the data similar to the first data among the second data is acquired from the database.
An information processing method for recommending the reproduction of a musical piece specified by the identification information. 前記第１のデータおよび前記第２のデータは、前記楽曲の開始から終了までの間に前記頭部装着装置から取得された時系列データを所定の手順で加工したデータである、請求項１１に記載の情報処理方法。 The eleventh claim, wherein the first data and the second data are data obtained by processing time-series data acquired from the head-mounted device from the start to the end of the music by a predetermined procedure. The information processing method described. 前記コンピュータがさらに、
前記識別情報によって特定される楽曲の再生を推奨するためのデータを前記利用者が使用する端末に送信する
請求項１１または請求項１２に記載の情報処理方法。 The computer further
The information processing method according to claim 11 or 12 , wherein the data for recommending the reproduction of the music specified by the identification information is transmitted to the terminal used by the user. 前記コンピュータがさらに、
前記頭部装着装置による前記利用者の頭部の血流状態の変化の計測の開始および終了と、前記再生される楽曲の再生の開始および終了とを同期させる
請求項１１から１３のいずれか１項に記載の情報処理方法。 The computer further
Any one of claims 11 to 13 that synchronizes the start and end of the measurement of the change in the blood flow state of the user's head by the head wearing device with the start and end of the reproduction of the reproduced music. The information processing method described in the section. コンピュータに、
楽曲を再生すると、前記再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から前記血流状態の変化に関するデータを取得するステップと、
前記楽曲の再生終了時に前記取得したデータを所定の形式で表示するステップ
を実行させるための情報処理プログラムであって、
前記所定の形式は、前記取得したデータと前記取得したデータの目標値との比較、前記取得したデータと前記楽曲と同一の楽曲を歌唱する歌唱者から取得された取得済みサンプルの統計値との比較、前記取得したデータと前記楽曲と同一の楽曲を歌唱する他の利用者の頭部の血流状態の変化に関するデータとの比較、および前記取得したデータと前記楽曲と同一の楽曲を歌唱する前記利用者から過去に取得した取得済みデータとの比較の少なくとも１つを含む情報処理プログラム。 On the computer
When the music is played, the step of acquiring data on the change in the blood flow state from the head-mounted device that measures the change in the blood flow state of the head of the user who sings with the played music, and
A step of displaying the acquired data in a predetermined format at the end of playing the music.
It is an information processing program for executing
The predetermined format is a comparison between the acquired data and a target value of the acquired data, and a statistical value of the acquired data and an acquired sample acquired from a singer who sings the same song as the song. Comparison, comparison between the acquired data and data on changes in the blood flow state of the head of another user who sings the same song as the song, and singing the same song as the song with the acquired data. At least Tsuo含no information processing program of the comparison between the acquired data acquired in the past from the user. 前記コンピュータにさらに、
前記取得したデータを前記所定の形式で表示するためのデータを前記利用者が使用する端末に送信するステップ
を実行させるための請求項１５に記載の情報処理プログラム。 In addition to the computer
The information processing program according to claim 15 , wherein the step of transmitting the data for displaying the acquired data in the predetermined format to the terminal used by the user is executed. 前記コンピュータにさらに、
前記頭部装着装置による前記利用者の頭部の血流状態の変化の計測の開始および終了と、前記再生される楽曲の再生の開始および終了とを同期させるステップ
を実行させるための請求項１５または請求項１６に記載の情報処理プログラム。 In addition to the computer
15. Claim 15 for executing a step of synchronizing the start and end of measurement of a change in the blood flow state of the user's head by the head-mounted device with the start and end of reproduction of the reproduced music. Alternatively, the information processing program according to claim 16 . コンピュータに、
楽曲を再生すると、前記再生される楽曲とともに歌唱する利用者の頭部の血流状態の変化を計測する頭部装着装置から前記血流状態の変化に関する第１のデータを取得するステップと、
前記利用者または前記利用者以外の歌唱者が過去に歌唱したときに前記頭部装着装置から取得された第２のデータと前記第２のデータの取得時に再生された楽曲の識別情報とを対応付けて記憶するデータベースにアクセスするステップと、
前記楽曲の再生終了時に前記利用者の気分または心理状態を含む前記利用者からの評価を受け付けるステップと、
前記受け付けた評価が所定の基準以上の場合に、前記第２のデータのうち前記第１のデータに類似するデータと対応付けて記憶された楽曲の識別情報を前記データベースから取得するステップと、
前記識別情報によって特定される楽曲の再生を推奨するステップ
を実行させるための情報処理プログラム。 On the computer
When the music is played, the step of acquiring the first data regarding the change in the blood flow state from the head-mounted device that measures the change in the blood flow state of the head of the user who sings with the played music, and
Corresponds to the second data acquired from the head-worn device when the user or a singer other than the user sang in the past and the identification information of the music played when the second data was acquired. Steps to access the database to be attached and stored,
A step of accepting an evaluation from the user including the mood or psychological state of the user at the end of playing the music, and
When the received evaluation is equal to or higher than a predetermined criterion, the step of acquiring the identification information of the music stored in association with the data similar to the first data among the second data from the database.
An information processing program for executing a step of recommending playback of a musical piece specified by the identification information. 前記第１のデータおよび前記第２のデータは、前記楽曲の開始から終了までの間に前記頭部装着装置から取得された時系列データを所定の手順で加工したデータである、請求項１８に記載の情報処理プログラム。 The first data and the second data are data obtained by processing time series data acquired from the head-mounted device from the start to the end of the music by a predetermined procedure, according to claim 18 . The information processing program described. 前記コンピュータにさらに、
前記識別情報によって特定される楽曲の再生を推奨するためのデータを前記利用者が使用する端末に送信するステップ
を実行させるための請求項１８または請求項１９に記載の情報処理プログラム。 In addition to the computer
The information processing program according to claim 18 or 19 , wherein the step of transmitting data for recommending the reproduction of the music specified by the identification information to the terminal used by the user is executed. 前記コンピュータにさらに、
前記頭部装着装置による前記利用者の頭部の血流状態の変化の計測の開始および終了と、前記再生される楽曲の再生の開始および終了とを同期させるステップ
を実行させるための請求項１８から２０のいずれか１項に記載の情報処理プログラム。 In addition to the computer
18. Claim 18 for executing a step of synchronizing the start and end of measurement of a change in the blood flow state of the user's head by the head-mounted device with the start and end of reproduction of the reproduced music. The information processing program according to any one of 20 to 20 .
JP2016140863A 2016-07-15 2016-07-15 Information processing equipment, information processing methods and information processing programs Active JP6801858B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016140863A JP6801858B2 (en) 2016-07-15 2016-07-15 Information processing equipment, information processing methods and information processing programs
CN201710575417.4A CN107622802A (en) 2016-07-15 2017-07-14 Information processor, information processing method and computer readable recording medium storing program for performing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016140863A JP6801858B2 (en) 2016-07-15 2016-07-15 Information processing equipment, information processing methods and information processing programs

Publications (2)

Publication Number Publication Date
JP2018010261A JP2018010261A (en) 2018-01-18
JP6801858B2 true JP6801858B2 (en) 2020-12-16

Family

ID=60995586

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016140863A Active JP6801858B2 (en) 2016-07-15 2016-07-15 Information processing equipment, information processing methods and information processing programs

Country Status (2)

Country Link
JP (1) JP6801858B2 (en)
CN (1) CN107622802A (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005134599A (en) * 2003-10-30 2005-05-26 Daiichikosho Co Ltd Karaoke system having vital detection function
US20080214903A1 (en) * 2005-02-22 2008-09-04 Tuvi Orbach Methods and Systems for Physiological and Psycho-Physiological Monitoring and Uses Thereof
CN101467875B (en) * 2007-12-28 2012-10-10 周常安 Ear-wearing type physiology feedback device
WO2015177908A1 (en) * 2014-05-22 2015-11-26 株式会社日立製作所 Training system

Also Published As

Publication number Publication date
JP2018010261A (en) 2018-01-18
CN107622802A (en) 2018-01-23

Similar Documents

Publication Publication Date Title
US11786163B2 (en) System and method for associating music with brain-state data
US20190387998A1 (en) System and method for associating music with brain-state data
US9993610B2 (en) Brain-wave based closed-loop sensory stimulation to induce sleep
US11185281B2 (en) System and method for delivering sensory stimulation to a user based on a sleep architecture model
TWI557563B (en) Emotion regulation system and regulation method thereof
US20190310707A1 (en) Sound outputting apparatus, electronic apparatus, and control method thereof
US20080214903A1 (en) Methods and Systems for Physiological and Psycho-Physiological Monitoring and Uses Thereof
CN101969841A (en) Modifying a psychophysiological state of a subject
US10939866B2 (en) System and method for determining sleep onset latency
US20160051185A1 (en) System and method for creating a dynamic activity profile using earphones with biometric sensors
Zelechowska et al. Headphones or speakers? An exploratory study of their effects on spontaneous body movement to rhythmic music
KR20150137453A (en) Mobile device and control method using brainwave
JP7018640B2 (en) Information processing equipment, information processing methods and information processing programs
KR20150019351A (en) Apparatus and method for estimating user fatigue degree of video content
JP2005198828A (en) Biological data analyzer, biological data analyzing method, control program and recording medium
WO2012143834A1 (en) Emotion guidance device and method
JP6801858B2 (en) Information processing equipment, information processing methods and information processing programs
JP2004537343A (en) Personal information distribution system
CN116868277A (en) Emotion adjustment method and system based on subject real-time biosensor signals
JP2018161246A (en) Information processing device, information processing method, and information processing program
Postmes Visualizing the physiological synchronization of musicians

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190711

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190711

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201118

R150 Certificate of patent or registration of utility model

Ref document number: 6801858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250