JP6686576B2 - 関心度推定装置、関心度推定方法、プログラムおよび記録媒体 - Google Patents

関心度推定装置、関心度推定方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP6686576B2
JP6686576B2 JP2016051481A JP2016051481A JP6686576B2 JP 6686576 B2 JP6686576 B2 JP 6686576B2 JP 2016051481 A JP2016051481 A JP 2016051481A JP 2016051481 A JP2016051481 A JP 2016051481A JP 6686576 B2 JP6686576 B2 JP 6686576B2
Authority
JP
Japan
Prior art keywords
pulse
crowd
interest
person
processed value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016051481A
Other languages
English (en)
Other versions
JP2017164215A (ja
JP2017164215A5 (ja
Inventor
晴香 谷口
晴香 谷口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2016051481A priority Critical patent/JP6686576B2/ja
Priority to DE112017000075.0T priority patent/DE112017000075T5/de
Priority to PCT/JP2017/000048 priority patent/WO2017158999A1/ja
Priority to US15/753,203 priority patent/US20180368748A1/en
Priority to CN201780002665.8A priority patent/CN107847195B/zh
Publication of JP2017164215A publication Critical patent/JP2017164215A/ja
Publication of JP2017164215A5 publication Critical patent/JP2017164215A5/ja
Application granted granted Critical
Publication of JP6686576B2 publication Critical patent/JP6686576B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032—Determining colour for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0201—Market modelling; Market analysis; Collecting market data
    • G06Q30/0203—Market surveys; Market polls
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Business, Economics & Management (AREA)
  • Cardiology (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Development Economics (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Dentistry (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)

Description

この発明は関心度推定装置に関し、より詳しくは、イベントなどの対象に対する群衆の関心度を評価する関心度推定装置および関心度推定方法に関する。また、この発明は、そのような関心度推定方法をコンピュータに実行させるためのプログラムに関する。また、この発明は、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
従来、この種の関心度推定装置としては、例えば特許文献１（特開２００９−２４７７５号公報）に開示されているように、人間の視線速度と皮膚電位とに基づいて、対象に対する人間の関心度を推定する装置および方法が知られている。
特開２００９−２４７７５号公報
近年、イベントなどの対象に対する群衆の関心度を評価するニーズが生じている。
しかしながら、本出願人が知る限り、これまで、対象に対する群衆の関心度を評価する技術は無かった。例えば、特許文献１における関心度推定装置では、人間の皮膚に電極を装着する必要があるため、群衆の関心度をまとめて評価するのには適さない。また、仮に各人の測定結果をそのまま統計処理して統計処理値（平均値など）を求めると、得られた統計処理値には平常時（対象から刺激を受けていない時）における個人差ばらつきが含まれることになり、推定の精度が良くない、と考えられる。
そこで、この発明の課題は、対象に対する群衆の関心度を適切に評価することができる関心度推定装置および関心度推定方法を提供することにある。また、この発明の課題は、そのような関心度推定方法をコンピュータに実行させるためのプログラムを提供することにある。また、この発明の課題は、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体を提供することにある。
上記課題を解決するため、この発明の関心度推定装置は、
対象に対する群衆の関心度を評価する関心度推定装置であって、
上記対象から刺激を受けている群衆が撮影された動画を入力する動画入力部と、
上記動画に基づいて上記群衆を構成する各人の存在を認識する人認識部と、
上記動画中の上記各人の肌の輝度変化に基づいて、上記各人の脈拍を求める脈拍取得部と、
上記動画中の上記各人の属性を認識する属性認識部と、
上記属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正する第１の脈拍補正部と、
上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求める統計処理部と、
上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力する関心度出力部と
を備える。
本明細書で、「対象」とは、イベントなどの、群衆が関心をもつ対象を指す。
対象から「刺激を受けている」とは、五感のうち少なくとも一つ、すなわち、視覚、聴覚、嗅覚、味覚、触覚のうち少なくとも一つを通して刺激を受けていることを指す。
「動画入力部」は、例えば、動画を入力する入力インタフェースを意味する。
また、「脈拍」とは、単位時間当たりの脈拍数、例えば１分間当たりの脈拍数、すなわち、［拍／分］（または［ｂｐｍ］とも表記される。）を意味する。
「統計処理」とは、平均値、分散などを求める処理を指す。
この発明の関心度推定装置では、動画入力部が、対象から刺激を受けている群衆が撮影された動画を入力する。人認識部が、上記動画に基づいて上記群衆を構成する各人の存在を認識する。続いて、脈拍取得部が、上記動画中の上記各人の肌の輝度変化に基づいて、上記各人の脈拍を求める。また、属性認識部が、上記動画中の上記各人の属性を認識する。次に、第１の脈拍補正部が、上記属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正する。これにより、上記補正された上記各人の脈拍は、属性によるばらつきを解消した状態で、上記各人の平常時（上記対象から刺激を受けていない時）の脈拍に対して上記対象から刺激を受けている時の脈拍の変化分を表すものとなる。次に、統計処理部が、上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求める。この結果、群衆の脈拍の上記統計処理値は、属性によるばらつきを解消した状態で、上記群衆の平常時の脈拍に対して上記対象から刺激を受けている時の脈拍の変化分を表すものとなる。この後、関心度出力部が、上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力する。このようにして、この関心度推定装置によれば、対象に対する群衆の関心度を適切に評価することができる。
例えば、第１の局面の関心度推定装置では、上記統計処理部は、或る時点での、第１の群衆の脈拍の統計処理値と、上記第１の群衆とは別の第２の群衆の脈拍の統計処理値とを求め、上記関心度出力部は、上記第１の群衆の脈拍の統計処理値と上記第２の群衆の脈拍の統計処理値との差分に応じた数値指標を上記関心度として出力する。
ここで、上記統計処理部は、上記第１の群衆の脈拍の上記統計処理値として脈拍平均値と脈拍分布を求めるとともに、上記第２の群衆の脈拍の上記統計処理値として脈拍平均値と脈拍分布を求め、上記関心度出力部は、上記第１の群衆の上記脈拍平均値と上記第２の群衆の上記脈拍平均値との差分に応じた数値指標を上記関心度として出力するのに加えて、上記第１の群衆の上記脈拍分布と上記第２の群衆の上記脈拍分布との比に応じた上記関心度のばらつきの評価を出力する、のが望ましい。
または、第２の局面の関心度推定装置では、上記統計処理部は、或る群衆について、第１の時点の脈拍の統計処理値と、上記第１の時点よりも後の第２の時点の脈拍の統計処理値とを求め、上記関心度出力部は、上記第１の時点の脈拍の統計処理値と上記第２の時点の脈拍の統計処理値との差分に応じた数値指標を上記関心度として出力する。
ここで、上記統計処理部は、或る群衆について、上記第１の時点の脈拍の統計処理値と上記第２の時点の脈拍の統計処理値に加えて、上記第２の時点よりも後の第３の時点の脈拍の統計処理値を求め、上記関心度出力部は、上記第１の時点の脈拍の統計処理値と上記第２の時点の脈拍の統計処理値との差分に応じた第１の関心度に加えて、上記第２の時点の脈拍の統計処理値と上記第３の時点の脈拍の統計処理値との差分に応じた第２の関心度を求め、上記第１および第２の関心度に基づいて、上記関心度の変化傾向を求めて出力する、のが望ましい。
一実施形態の関心度推定装置では、
上記撮影された上記群衆の周りの環境を表す環境情報を入力する環境情報入力部と、
上記環境情報入力部によって求められた環境情報に基づいて、上記環境に依存した脈拍の差を無くすように、上記群衆の脈拍の上記統計処理値を補正する第２の脈拍補正部を備えたことを特徴とする。
ここで、「環境情報」とは、例えば上記群衆の周りの気温を指す。
この一実施形態の関心度推定装置では、環境情報入力部が、上記撮影された上記群衆の周りの環境を表す環境情報を入力する。第２の脈拍補正部が、上記環境情報入力部によって求められた環境情報に基づいて、上記環境に依存した脈拍の差を無くすように、上記群衆の脈拍の上記統計処理値を補正する。この補正された統計処理値は、環境に依存したばらつきを解消したものとなる。この後、関心度出力部が、上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力する。したがって、この関心度推定装置によれば、対象に対する群衆の関心度をさらに適切に評価することができる。
一実施形態の関心度推定装置では、上記各人の属性は年齢または性別の少なくとも一つであることを特徴とする。
この一実施形態の関心度推定装置では、上記第１の脈拍補正部によって補正された上記各人の脈拍は、年齢または性別の少なくとも一つによるばらつきを解消した状態となる。この結果、対象に対する群衆の関心度を適切に評価することができる。
一実施形態の関心度推定装置では、上記第１の脈拍補正部は、上記脈拍取得部によって求められた上記各人の脈拍に対して、上記属性認識部によって認識された上記各人の年齢および性別に応じて、予め定められた年齢による脈拍補正係数と性別による脈拍補正係数とを乗算して補正することを特徴とする。
この一実施形態の関心度推定装置では、上記第１の脈拍補正部は、上記脈拍取得部によって求められた上記各人の脈拍に対して、上記属性認識部によって認識された上記各人の年齢および性別に応じて、予め定められた年齢による脈拍補正係数と性別による脈拍補正係数とを乗算して補正する。したがって、脈拍の補正を簡単に行うことができる。
一実施形態の関心度推定装置では、上記対象から刺激を受けている群衆を撮影して動画を取得する撮像部を備えたことを特徴とする。
この一実施形態の関心度推定装置では、撮像部が、上記対象から刺激を受けている群衆を撮影して動画を取得する。
別の局面では、この発明の関心度推定方法は、
対象に対する群衆の関心度を評価する関心度推定方法であって、
上記対象から刺激を受けている群衆が撮影された動画を入力するステップと、
上記動画に基づいて上記群衆を構成する各人の存在を認識するステップと、
上記動画中の上記各人の肌の輝度変化に基づいて、上記各人の脈拍を求めるステップと、
上記動画中の上記各人の属性を認識するステップと、
上記属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正するステップと、
上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求めるステップと、
上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力するステップとを有する。
この発明の関心度推定方法では、「上記属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正する」ステップによって、上記補正された上記各人の脈拍は、属性によるばらつきを解消した状態で、上記各人の平常時（上記対象から刺激を受けていない時）の脈拍に対して上記対象から刺激を受けている時の脈拍の変化分を表すものとなる。この結果、「上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求める」ステップによって得られた群衆の脈拍の統計処理値は、属性によるばらつきを解消した状態で、上記群衆の平常時の脈拍に対して上記対象から刺激を受けている時の脈拍の変化分を表すものとなる。この後、上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力する。このようにして、この関心度推定方法によれば、対象に対する群衆の関心度を適切に評価することができる。
例えば、第３の局面の関心度推定方法では、「上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求める」ステップでは、或る時点での、第１の群衆の脈拍の統計処理値と、上記第１の群衆とは別の第２の群衆の脈拍の統計処理値とを求める。「上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力する」ステップでは、上記第１の群衆の脈拍の統計処理値と上記第２の群衆の脈拍の統計処理値との差分に応じた数値指標を上記関心度として出力する。
または、第４の局面の関心度推定方法では、「上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求める」ステップでは、或る群衆について、第１の時点の脈拍の統計処理値と、上記第１の時点よりも後の第２の時点の脈拍の統計処理値とを求める。「上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力する」ステップでは、上記第１の時点の脈拍の統計処理値と上記第２の時点の脈拍の統計処理値との差分に応じた数値指標を上記関心度として出力する。
なお、「上記動画中の上記各人の肌の輝度変化に基づいて、上記各人の脈拍を求め」る処理と、「上記動画中の上記各人の属性を認識」する処理とは、いずれの処理を先に実行しても良いし、両処理を並行して実行しても良い。
さらに別の局面では、この発明のプログラムは、上記第３または第４の局面の関心度推定方法をコンピュータに実行させるプログラムである。
この発明のプログラムによれば、上記発明の関心度推定方法をコンピュータに実行させることができる。
さらに別の局面では、この発明の記録媒体は、上記発明のプログラムを記録したコンピュータ読み取り可能な記録媒体である。
この発明の記録媒体に記録されたプログラムをコンピュータにインストールすれば、上記発明の関心度推定方法をコンピュータに実行させることができる。
以上より明らかなように、この発明の関心度推定装置および関心度推定方法によれば、対象に対する群衆の関心度を適切に評価することができる。また、この発明のプログラムによれば、上記発明の関心度推定方法をコンピュータに実行させることができる。また、この発明の記録媒体に記録されたプログラムによれば、上記発明の関心度推定方法をコンピュータに実行させることができる。
この発明の一実施形態の関心度推定装置のブロック構成を示す図である。 上記関心度推定装置が実行する関心度推定方法の全体的な処理フローを示す図である。 図２における群衆の脈拍平均値を比較するステップＳ９の１つの例を示す図である。 或る時点ｔ１での、第１の群衆Ｂ１の脈拍平均値Ｂ１１、第２の群衆Ｂ２の脈拍平均値Ｂ２１を示す図である。 図２における群衆の脈拍平均値を比較するステップＳ９の別の例を示す図である。 群衆Ｃ１、Ｃ２についての脈拍平均値の時間経過をそれぞれ示す図である。 図２中のステップＳ９〜Ｓ１０についての変形例のフローを示す図である。 図８（Ａ）は、群衆Ｄ１、Ｄ２についての脈拍分布をそれぞれ示す図である。図８（Ｂ）は、群衆Ｄ１、Ｄ２’についての脈拍分布をそれぞれ示す図である。 図２中のステップＳ９〜Ｓ１０についての別の変形例のフローを示す図である。
以下、この発明の実施の形態を、図面を参照しながら詳細に説明する。
（装置の概略構成）
図１は、この発明の一実施形態の関心度推定装置のブロック構成を示している。
この関心度推定装置は、制御部１１と、データ入力部１２と、操作部１３と、記憶部１４と、出力部１８とを備えている。この例では、データ入力部１２に、撮像部３０が接続されている。
撮像部３０は、対象から刺激を受けている群衆を撮影して動画を取得する。この例では、撮像部３０は、市販の撮影カメラからなるが、これに限られるものではない。
制御部１１は、ソフトウェアによって動作するＣＰＵ（中央演算処理ユニット）を含み、後述の各種処理を実行する。
データ入力部１２は、公知の入力インタフェースからなり、撮像部３０が取得した動画データを、この例ではリアルタイムで順次入力する。
操作部１３は、公知のキーボードおよびマウスを含み、ユーザからのコマンド、各種情報を入力するために働く。コマンドとしては、処理の開始を指示するコマンド、演算結果の記録を指示するコマンドなどが含まれる。入力される情報としては、動画が撮影された時期（年月日および時刻）、入力された複数の動画データをそれぞれ識別するための情報などが含まれる。
記憶部１４は、この例では、非一時的にデータを記憶し得るハードディスクドライブまたはＥＥＰＲＯＭ（電気的に書き換え可能な不揮発性メモリ）からなり、補正係数記憶部１５と、動画データ記憶部１６と、演算結果記憶部１７とを含んでいる。
補正係数記憶部１５は、群衆を構成する各人の属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正するための脈拍補正係数を記憶している。この例では、次の表１に示す「年齢による脈拍補正係数テーブル」と、表２に示す「性別による脈拍補正係数テーブル」とを記憶している。これらの脈拍補正係数は、子どもの平常時（対象から刺激を受けていない時）の脈拍平均値は、成人の平常時の脈拍平均値よりも高い傾向があること、女性は男性より脈拍平均値が高い傾向があること、高齢者は最大脈拍数が低いことなどの一般的知見に基づいて、それらの脈拍平均値間のばらつきを無くすように設定されている。具体的には、表１中の年齢による脈拍補正係数αは、成人（１９〜５９歳）の脈拍平均値を基準とし、成人以外の人（０〜６歳の乳幼児、７〜１２歳の子供・小学生、１３〜１８歳の中学・高校生、および、６０歳以上の高齢者を含む。）の脈拍平均値を成人の脈拍平均値に揃えるための因子に相当する。また、表２中の性別による脈拍補正係数βは、男性の脈拍平均値を基準とし、女性の脈拍平均値を男性の脈拍平均値に揃えるための因子に相当する。
Figure 0006686576

Figure 0006686576
図１中の動画データ記憶部１６は、動画ごとに、その動画の識別番号に対応付けて、データ入力部１２を介して入力された動画データを記憶する。
演算結果記憶部１７は、動画ごとに、その動画の識別番号に対応付けて、後述の処理によって得られた対象に対する群衆の関心度を表す数値指標を記憶する。
出力部１８は、この例ではＬＣＤ（液晶表示素子）からなり、制御部１１による演算結果などの各種情報を表示する。なお、出力部１８は、プリンタ（ドライバ）を備え、紙にプリントアウトして演算結果を出力してもよい。
温度センサ３１は、必須でない任意の付加的要素であり、撮影された群衆の周りの環境を表す環境情報として気温［℃］を検出する。検出された気温［℃］は、データ入力部１２が環境情報入力部として働いて、制御部１１へ入力する。
（関心度推定方法）
この関心度推定装置は、制御部１１による制御によって、全体として図２に示す処理フローに従って動作する。
（１） 動画の入力
まず、図２中のステップＳ１に示すように、撮像部３０によって撮影された動画のデータを、制御部１１がデータ入力部１２を介して入力する。
動画には、対象から刺激を受けている群衆が撮影されているものとする。この例では、展示会・講演会などのイベントを見ている群衆が撮影されているものとする。
この例では、撮像部３０によって撮影された動画のデータは、データ入力部１２を介してリアルタイムで順次入力され、制御部１１の制御によって、動画の識別番号に対応付けて、動画データ記憶部１６に記憶される。
なお、この例では、動画のデータは、撮像部３０によって順次撮影されるが、これに限られるものではない。この関心度推定装置の外部で予め取得された動画のデータを、例えばインターネットなどの図示しないネットワークを介して、データ入力部１２が順次または略同時に受け取って入力しても良い。
（２） 各人の存在の認識
次に、制御部１１が人認識部として働いて、図２中のステップＳ２に示すように、動画に基づいて群衆を構成する各人の存在を認識する。この各人の存在の認識は、動画を構成する各画像中で、例えばＰａｕｌ Ｖｉｏｌａ ｅｔ ａｌ． “Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ， ２００１． ＣＶＰＲ ２００１． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２００１ ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ２００１， Ｐ．Ｉ−５１１ − Ｉ−５１８ ｖｏｌ．１ に開示されているような公知の手法により行う。
この例では、後掲の表３中の左端欄に示すように、或る群衆について、Ｎｏ．１〜６までの人が認識されたものとする。
（３） 脈拍の取得
次に、制御部１１が脈拍取得部として働いて、図２中のステップＳ３に示すように、動画中の各人の肌の輝度変化に基づいて、各人の脈拍を求める。具体的には、例えばＸｉａｏｂａｉ Ｌｉ ｅｔ ａｌ． “Ｒｅｍｏｔｅ Ｈｅａｒｔ Ｒａｔｅ Ｍｅａｓｕｒｅｍｅｎｔ Ｆｒｏｍ Ｆａｃｅ Ｖｉｄｅｏｓ Ｕｎｄｅｒ Ｒｅａｌｉｓｔｉｃ Ｓｉｔｕａｔｉｏｎｓ” Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， ２０１４ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ ２３−２８ Ｊｕｎｅ ２０１４， Ｐ．４２６４−４２７１ に開示されているような公知の手法により、各人の肌の緑色成分の輝度変化に基づいて、各人の脈拍を求める。
この例では、後掲の表３中の「元の脈拍」欄に示すように、或る時点でのＮｏ．１〜６までの各人の脈拍は、それぞれ１１０［ｂｐｍ］、９０［ｂｐｍ］、７５［ｂｐｍ］、６３［ｂｐｍ］、７５［ｂｐｍ］、７０［ｂｐｍ］であったものとする。
（４） 各人の年齢の認識
次に、制御部１１が属性認識部として働いて、図２中のステップＳ４に示すように、属性の一つとして、例えば特開２００５−１４８８８０号公報に開示されているような公知の手法により、動画中の各人の年齢を認識する。
この例では、後掲の表３中の「年齢」欄に示すように、Ｎｏ．１〜６までの各人の年齢は、それぞれ５[歳]、１０[歳]、１５[歳]、２０[歳]、３０[歳]、７０[歳]であったものとする。このことは、Ｎｏ．１の人は先に掲げた表１中の乳幼児（０〜６歳）のグループに属し、Ｎｏ．２の人は子供・小学生（７〜１２歳）のグループに属し、Ｎｏ．３の人は中学・高校生（１３〜１８歳）のグループに属し、Ｎｏ．４の人およびＮｏ．５の人は成人（１９〜５９歳）のグループに属し、Ｎｏ．６の人は高齢者（６０歳以上）のグループに属することを意味する。
（５） 各人の性別の認識
次に、制御部１１が属性認識部として働いて、図２中のステップＳ５に示すように、属性のもう一つとして、例えば特開２０１０−３３４７４号公報に開示されているような公知の手法により、動画中の各人の年齢を認識する。
この例では、後掲の表３中の「性別」欄に示すように、Ｎｏ．１〜６までの各人の性別は、それぞれ男性、女性、女性、男性、女性、男性であったものとする。
なお、上記（３）〜（５）の処理については、いずれを先に実施してもよいし、互いに並行に実施してもよい。
（６） 各人の脈拍の補正
次に、制御部１１が第１の脈拍補正部として働いて、図２中のステップＳ６に示すように、上記（３）の処理で求められた各人の脈拍をそれぞれ補正する。具体的には、属性としての年齢、性別に依存した脈拍の差を無くすように、次に示す式ＥＱ１を用いて、各人の脈拍をそれぞれ補正する。
すなわち、上記（３）の処理で求められた各人の脈拍（これを「元の脈拍」と呼ぶ。）をｎ０［ｂｐｍ］とし、補正された各人の脈拍をｎ１［ｂｐｍ］として、
ｎ１＝ｎ０×α×β ・・・（ＥＱ１）
によって、各人の脈拍をそれぞれ補正する。ここで、αは、表１中に示した年齢による脈拍補正係数を示している。βは、表２中に示した性別による脈拍補正係数を示している。
この例では、Ｎｏ．１の人については、先に掲げた表１中の乳幼児（０〜６歳）のグループに属することから、年齢による脈拍補正係数α＝０．５８３３３３３３３となる。Ｎｏ．２の人については、子供・小学生（７〜１２歳）のグループに属することから、年齢による脈拍補正係数α＝０．７７７７７７７７８となる。Ｎｏ．３の人については、中学・高校生（１３〜１８歳）のグループに属することから、年齢による脈拍補正係数α＝０．８７５となる。Ｎｏ．４の人およびＮｏ．５の人については、成人（１９〜５９歳）のグループに属することから、年齢による脈拍補正係数α＝１となる。Ｎｏ．６の人については、高齢者（６０歳以上）のグループに属することから、年齢による脈拍補正係数α＝１となる。
また、この例では、Ｎｏ．１〜６までの各人の性別は、それぞれ男性、女性、女性、男性、女性、男性になっている。これにより、Ｎｏ．１の人、Ｎｏ．４の人、Ｎｏ．６の人については、性別による脈拍補正係数β＝１となる。Ｎｏ．２の人、Ｎｏ．３の人、Ｎｏ．５の人については、性別による脈拍補正係数β＝０．９２８５７１４２９となる。
したがって、式ＥＱ１の通りに補正を行えば、補正された各人の脈拍ｎ１は、次の表３中に示すように、Ｎｏ．１の人についてｎ１＝６４．１６６６６６６３となる。Ｎｏ．２の人についてｎ１＝６５．０００００００５となる。Ｎｏ．３の人についてｎ１＝６０．９３７５０００３となる。Ｎｏ．４の人についてｎ１＝６３となる。Ｎｏ．５の人についてｎ１＝６９．６４２８５７１７となる。また、Ｎｏ．６の人についてｎ１＝７０となる。
Figure 0006686576
既述のように、表１中の年齢による脈拍補正係数αは、成人（１９〜５９歳）の脈拍平均値を基準とし、成人以外の人（０〜６歳の乳幼児、７〜１２歳の子供・小学生、１３〜１８歳の中学・高校生、および、６０歳以上の高齢者を含む。）の脈拍平均値を成人の脈拍平均値に揃えるための因子に相当する。また、表２中の性別による脈拍補正係数βは、男性の脈拍平均値を基準とし、女性の脈拍平均値を男性の脈拍平均値に揃えるための因子に相当する。したがって、式ＥＱ１の通りに、元の脈拍ｎ０に対して年齢による脈拍補正係数αと性別による脈拍補正係数βとを乗算することによって、補正された各人の脈拍ｎ１は、年齢と性別によるばらつきを解消した状態で、各人の平常時（上記対象から刺激を受けていない時）の脈拍に対して上記対象から刺激を受けている時の脈拍の変化分を表すものとなる。これにより、脈拍の補正を簡単に行うことができる。
なお、各人の元の脈拍について、年齢と性別の両方ではなく、年齢または性別のいずれか一方のみについて補正を行ってもよい。
また、各人の脈拍の補正の仕方は、年齢による補正係数α、性別による補正係数βを乗算するのではなく、予め定められた補正用の脈拍数を加算または減算する仕方であってもよい。
（７） 群衆の脈拍平均値の算出
次に、制御部１１が統計処理部として働いて、図２中のステップＳ７に示すように、上記（６）の処理で求められた、補正された各人の脈拍ｎ１を統計処理して、上記群衆の脈拍の統計処理値を求める。この例では、統計処理値として平均値を求める。求められた平均値を「群衆の脈拍平均値」（符号Ｎ１で表す。単位は［ｂｐｍ］とする。）と呼ぶ。
この例では、Ｎｏ．１〜６までの人を含む群衆の或る時点での脈拍平均値Ｎ１は、
Ｎ１＝（６４．１６６６６６６３＋６５．０００００００５＋６０．９３７５０００３
＋６３＋６９．６４２８５７１７＋７０）／６
＝６５．４５７８３７３１［ｂｐｍ］
となる。
なお、求められる群衆の脈拍の統計処理値として、平均値に代えて、中央値、分散などの他の統計処理値を採用してもよい。
（８） 群衆の脈拍平均値の補正
次に、制御部１１が第２の脈拍補正部として働いて、図２中のステップＳ８に示すように、上記（７）の処理で求められた群衆の脈拍平均値Ｎ１を補正する。なお、ステップＳ８は、必須でない任意の付加的ステップであり、そのことを示すためにステップＳ８の枠を破線で記載している。
具体的には、制御部１１は、温度センサ３１が検出した群衆の周りの環境を表す環境情報としての気温［℃］を、データ入力部１２を介して受け取る。そして、制御部１１は第２の脈拍補正部として働いて、例えば特開平８−０８０２８７号公報（脈拍数の温度変化による影響分を補正し、一定条件下での脈拍数を表示する）に開示されているような公知の手法により、上記気温［℃］に依存した脈拍の差を無くすように、上記群衆の脈拍平均値Ｎ１を補正する。
なお、群衆の周りの環境を表す環境情報として、気温に代えて、または、気温に加えて、酸素濃度を採用してもよい。その場合、上記酸素濃度に依存した脈拍の差を無くすように、上記群衆の脈拍平均値Ｎ１を補正する。
以下では、このステップＳ８の処理で補正された群衆の脈拍平均値を符号Ｎ２で表すものとする。ステップＳ８が省略された場合は、当然ながら、補正された群衆の脈拍平均値Ｎ２は、補正無しの群衆の脈拍平均値Ｎ１と等しい。
（９） 群衆の脈拍平均値の比較
次に、図２中のステップＳ９に示すように、制御部１１が、上記（８）の処理で求められた群衆の脈拍平均値Ｎ２を比較する。
１つの例として、図４中に示すように、或る時点ｔ１で、第１の群衆Ｂ１の脈拍平均値Ｎ２、第２の群衆Ｂ２の脈拍平均値Ｎ２が、それぞれＢ１１、Ｂ２１であったとする。この場合、制御部１１は、図３中のステップＳ１１に示すように、まず、その時点ｔ１での第１の群衆の脈拍平均値Ｂ１１と第２の群衆の脈拍平均値Ｂ２１とを求める。次に、ステップＳ１２に示すように、それらの脈拍平均値同士の差分（これを符号ΔＮで表す。）を求める。この場合、脈拍平均値同士の差分ΔＮは、
ΔＮ＝｜Ｂ１１−Ｂ２１｜
となる。なお、ΔＮの符号がプラスとなるように、減算の向きが設定される。
別の例として、図６中に示すように、或る群衆Ｃ１について、第１の時点ｔ１の脈拍平均値Ｎ２、第２の時点ｔ２の脈拍平均値Ｎ２が、それぞれＣ１１、Ｃ１２であったとする。この場合、制御部１１は、図５中のステップＳ２１に示すように、まず、その群衆Ｃ１について、第１の時点ｔ１の脈拍平均値Ｃ１１、第２の時点ｔ２の脈拍平均値Ｃ１２を求める。次に、ステップＳ２２に示すように、それらの脈拍平均値同士の差分ΔＮを求める。この場合、脈拍平均値同士の差分ΔＮは、
ΔＮ＝｜Ｃ１１−Ｃ１２｜
となる。
（１０） 関心度の算出・出力
次に、制御部１１および出力部１８が関心度出力部として働いて、図２中のステップＳ１０に示すように、上記（９）の処理で求められた脈拍平均値同士の差分ΔＮに応じた数値指標を、対象に対する群衆の関心度（これを符号Ｘで表す。）として出力する。
この例では、次の表４に示すように、脈拍平均値同士の差分ΔＮと、関心度Ｘとを対応付けた対応テーブルを、予め用意しておく（例えば、図１中の記憶部１４に記憶させておく。）。この対応テーブルは、脈拍平均値同士の差分ΔＮが大きいほど、段階的に関心度Ｘが高くなることを表している。具体的には、差分ΔＮが５未満であれば、関心度Ｘ＝１とされる。差分ΔＮが５以上、１５未満であれば、関心度Ｘ＝２とされる。差分ΔＮが１５以上、２５未満であれば、関心度Ｘ＝３とされる。差分ΔＮが２５以上、３５未満であれば、関心度Ｘ＝４とされる。差分ΔＮが３５以上であれば、関心度Ｘ＝５とされる。
Figure 0006686576
例えば、図４に示した例では、或る時点ｔ１で、第１の群衆Ｂ１の脈拍平均値Ｎ２、第２の群衆Ｂ２の脈拍平均値Ｎ２が、それぞれＢ１１、Ｂ２１であった。図４の縦軸を参照すると、脈拍平均値同士の差分ΔＮは、
ΔＮ＝Ｂ１１−Ｂ２１≒２０［ｂｐｍ］
となっている。このとき、その時点ｔ１で、表４の対応テーブルに応じて、第１の群衆Ｂ１の関心度Ｘは、第２の群衆Ｂ２の関心度よりも３だけ高かったと評価される。
また、図６に示した例では、或る群衆Ｃ１について、第１の時点ｔ１の脈拍平均値Ｎ２、第２の時点ｔ２の脈拍平均値Ｎ２が、それぞれＣ１１、Ｃ１２であった。図６の縦軸を参照すると、脈拍平均値同士の差分ΔＮは、
ΔＮ＝Ｃ１１−Ｃ１２≒２０［ｂｐｍ］
となっている。このとき、その群衆Ｃ１について、表４の対応テーブルに応じて、第１の時点ｔ１の関心度Ｘは、第２の時点ｔ２の関心度よりも３だけ高かったと評価される。
このようにして、この関心度推定装置によれば、対象に対する群衆の関心度を適切に評価することができる。
（変形例１）
図７は、図２中のステップＳ９〜Ｓ１０についての変形例のフローを示している。この変形例のフローでは、制御部１１は、図７中のステップＳ３１に示すように、まず、或る群衆について、第１の時点の脈拍平均値と後の時点の脈拍平均値とを求める。次に、ステップＳ３２に示すように、それらの脈拍平均値同士の差分ΔＮを求める。ステップＳ３３に示すように、その群衆について、脈拍平均値同士の差分ΔＮの時系列の情報を蓄積する。そして、ステップＳ３４に示すように、その群衆について、関心度Ｘとその変化傾向を求め、出力する。
図６に示した例では、或る群衆Ｃ１については、第１の時点ｔ１の脈拍平均値Ｎ２、第２の時点ｔ２の脈拍平均値Ｎ２、第３の時点ｔ３の脈拍平均値Ｎ２が、それぞれＣ１１、Ｃ１２、Ｃ１３であった。既述のように、第１の時点ｔ１と第２の時点ｔ２との間では、脈拍平均値同士の差分ΔＮは、
ΔＮ＝Ｃ１１−Ｃ１２≒２０［ｂｐｍ］
となっている。このとき、その群衆Ｃ１について、表４の対応テーブルに応じて、第１の時点ｔ１の関心度Ｘは、第２の時点ｔ２の関心度よりも３だけ高かったと評価される。逆に言えば、第２の時点ｔ２の関心度Ｘは、第１の時点ｔ１の関心度よりも３だけ低くなったと言える。次に、第２の時点ｔ２と第３の時点ｔ３との間では、脈拍平均値同士の差分ΔＮは、
ΔＮ＝Ｃ１２−Ｃ１３≒２０［ｂｐｍ］
となっている。このとき、その群衆Ｃ１について、表４の対応テーブルに応じて、第２の時点ｔ２の関心度Ｘは、第３の時点ｔ３の関心度よりも３だけ高かったと評価される。逆に言えば、第３の時点ｔ３の関心度Ｘは、第２の時点ｔ２の関心度よりも３だけ低くなったと言える。この結果、群衆Ｃ１については、時間の経過とともに、関心度が低下する傾向にある（飽きてきている）ことが分かる。
なお、図６中のもう１つの群衆Ｃ２については、第１の時点ｔ１の脈拍平均値Ｎ２、第２の時点ｔ２の脈拍平均値Ｎ２、第３の時点ｔ３の脈拍平均値Ｎ２が、それぞれＣ２１、Ｃ２２、Ｃ２３であり、低いままで殆ど変化していない（Ｃ２１＝Ｃ２２＝Ｃ２３＝６０［ｂｐｍ］）。この場合、その群衆Ｃ２については、関心度が無いことが分かる。
この例では、制御部１１がこのようにして求めた関心度Ｘとその変化傾向を出力する。したがって、対象に対する群衆の関心度をさらに適切に評価することができる。
（変形例２）
図９は、図２中のステップＳ９〜Ｓ１０についての別の変形例のフローを示している。なお、図２中のステップＳ７において、群衆の脈拍の統計処理値として、脈拍平均値だけでなく、脈拍分布を求めておくものとする。
ここで、脈拍分布とは、例えば、図８（Ａ）中に示す群衆Ｄ１、Ｄ２について、横軸を各人の脈拍［拍／分］、縦軸を度数［人］としたときの分布を意味している。この例では、群衆Ｄ１、Ｄ２のサイズ（人数）が十分大きく、それぞれの脈拍分布が正規分布とみなされる場合を想定している。その場合、それぞれの脈拍分布の形状は、脈拍平均値Ｄ１ａｖｅ、Ｄ２ａｖｅと、脈拍分布の正規化された広がり（半値幅／度数）によって特定される。図８（Ａ）中に示す群衆Ｄ１、Ｄ２については、それらの脈拍平均値Ｄ１ａｖｅ、Ｄ２ａｖｅ同士は互いに等しく、Ｄ１ａｖｅ＝Ｄ２ａｖｅになっている。群衆Ｄ１、Ｄ２についての脈拍分布の正規化された広がり（Ｄ１ｗ／ｆ１）、（Ｄ２ｗ／ｆ２）は、互いに異なっており、（Ｄ１ｗ／ｆ１）＜（Ｄ２ｗ／ｆ２）になっている。このような場合、脈拍平均値Ｄ１ａｖｅ、Ｄ２ａｖｅに基づいて関心度Ｘを求めるだけでは、群衆を構成する各人の関心度のばらつきが評価されない。
そこで、この変形例のフローでは、制御部１１は、図９中のステップＳ４１に示すように、まず、或る時点での第１の群衆の脈拍分布と第２の群衆の脈拍分布とを求める。次に、ステップＳ４２に示すように、それらの脈拍平均値同士の差分ΔＮを求める。それとともに、ステップＳ４３に示すように、脈拍分布の正規化された広がり同士の比を求める。そして、ステップＳ４４に示すように、関心度Ｘを算出するとともに、関心度のばらつきを示すメッセージを選択し、出力する。
例えば、図８（Ａ）中に示す群衆Ｄ２については、群衆Ｄ１に対して、関心度Ｘの差は無いが、「関心度のばらつきが大きいです」というメッセージを出力する。
また、図８（Ｂ）中に示す群衆Ｄ２´については、図８（Ａ）中の群衆Ｄ２に対して、脈拍平均値Ｄ２ａｖｅ´が大きく、脈拍分布の正規化された広がり（Ｄ２ｗ´／ｆ２´）が等しい例になっている。この場合、群衆Ｄ２´については、群衆Ｄ１に対して、関心度Ｘを示すとともに、「関心度のばらつきが大きいです」というメッセージを出力する。
なお、「関心度のばらつきが大きいです」、「関心度のばらつきが小さいです」というような様々なメッセージを予め用意しておき（図１中の記憶部１４に記憶させておき）、制御部１１が、脈拍分布の正規化された広がり同士の比に応じて、それらのメッセージを選択するのが望ましい。
本実施形態では、属性としての年齢、性別に依存した脈拍の差を無くすように、年齢による脈拍補正係数αと性別による脈拍補正係数βとを互いに独立に設定したが、これに限られるものではない。例えば、行方向に年齢をとり、列方向に性別をとり、年齢と性別とを組み合わせた行列の要素として脈拍補正係数を設定してもよい。そのようにした場合、例えば５０歳以上の女性は脈拍が上がり易いというような、年齢と性別とを組み合わせた特定の傾向を補正することができる。すなわち、５０歳以上の女性については、脈拍の上がり幅を少なくするように補正すれば、属性としての年齢、性別に依存した脈拍の差を無くすことができる。
また、本実施形態では、動画を撮影して取得したが、これに限られるものではない。撮影された動画を、例えばインターネットやローカルエリアネットワークなどのネットワークなどを介して、入力して取得しても良い。
上述の関心度推定方法は、アプリケーションソフトウェア（コンピュータプログラム）として、ＣＤ（コンパクトディスク）、ＤＶＤ（デジタル万能ディスク）、フラッシュメモリなどの非一時的にデータを記憶可能な記録媒体に記録され得る。このような記録媒体に記録されたアプリケーションソフトウェアを、パーソナルコンピュータ、ＰＤＡ（パーソナル・デジタル・アシスタンツ）、スマートフォンなどの実質的なコンピュータ装置にインストールすることによって、それらのコンピュータ装置に、上述の関心度推定方法を実行させることができる。
以上の実施形態は例示であり、この発明の範囲から離れることなく様々な変形が可能である。上述した複数の実施の形態は、それぞれ単独で成立し得るものであるが、実施の形態同士の組みあわせも可能である。また、異なる実施の形態の中の種々の特徴も、それぞれ単独で成立し得るものであるが、異なる実施の形態の中の特徴同士の組みあわせも可能である。
１１ 制御部
１２ データ入力部
１３ 操作部
１４ 記憶部
１８ 出力部
３０ 撮像部
３１ 温度センサ

Claims (12)

  1. 対象に対する群衆の関心度を評価する関心度推定装置であって、
    上記対象から刺激を受けている群衆が撮影された動画を入力する動画入力部と、
    上記動画に基づいて上記群衆を構成する各人の存在を認識する人認識部と、
    上記動画中の上記各人の肌の輝度変化に基づいて、上記各人の脈拍を求める脈拍取得部と、
    上記動画中の上記各人の属性を認識する属性認識部と、
    上記属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正する第１の脈拍補正部と、
    上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求める統計処理部と、
    上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力する関心度出力部と
    を備え、
    上記統計処理部は、或る時点での、第１の群衆の脈拍の統計処理値と、上記第１の群衆とは別の第２の群衆の脈拍の統計処理値とを求め、
    上記関心度出力部は、上記第１の群衆の脈拍の統計処理値と上記第２の群衆の脈拍の統計処理値との差分に応じた数値指標を上記関心度として出力する
    ことを特徴とする関心度推定装置。
  2. 請求項１に記載の関心度推定装置において、
    上記統計処理部は、上記第１の群衆の脈拍の上記統計処理値として脈拍平均値と脈拍分布を求めるとともに、上記第２の群衆の脈拍の上記統計処理値として脈拍平均値と脈拍分布を求め、
    上記関心度出力部は、上記第１の群衆の上記脈拍平均値と上記第２の群衆の上記脈拍平均値との差分に応じた数値指標を上記関心度として出力するのに加えて、上記第１の群衆の上記脈拍分布と上記第２の群衆の上記脈拍分布との比に応じた上記関心度のばらつきの評価を出力する
    ことを特徴とする関心度推定装置。
  3. 対象に対する群衆の関心度を評価する関心度推定装置であって、
    上記対象から刺激を受けている群衆が撮影された動画を入力する動画入力部と、
    上記動画に基づいて上記群衆を構成する各人の存在を認識する人認識部と、
    上記動画中の上記各人の肌の輝度変化に基づいて、上記各人の脈拍を求める脈拍取得部と、
    上記動画中の上記各人の属性を認識する属性認識部と、
    上記属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正する第１の脈拍補正部と、
    上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求める統計処理部と、
    上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力する関心度出力部と
    を備え、
    上記統計処理部は、或る群衆について、第１の時点の脈拍の統計処理値と、上記第１の時点よりも後の第２の時点の脈拍の統計処理値とを求め、
    上記関心度出力部は、上記第１の時点の脈拍の統計処理値と上記第２の時点の脈拍の統計処理値との差分に応じた数値指標を上記関心度として出力する
    ことを特徴とする関心度推定装置。
  4. 請求項３に記載の関心度推定装置において、
    上記統計処理部は、或る群衆について、上記第１の時点の脈拍の統計処理値と上記第２の時点の脈拍の統計処理値に加えて、上記第２の時点よりも後の第３の時点の脈拍の統計処理値を求め、
    上記関心度出力部は、上記第１の時点の脈拍の統計処理値と上記第２の時点の脈拍の統計処理値との差分に応じた第１の関心度に加えて、上記第２の時点の脈拍の統計処理値と上記第３の時点の脈拍の統計処理値との差分に応じた第２の関心度を求め、上記第１および第２の関心度に基づいて、上記関心度の変化傾向を求めて出力する
    ことを特徴とする関心度推定装置。
  5. 請求項１から４までのいずれか一つに記載の関心度推定装置において、
    上記撮影された上記群衆の周りの環境を表す環境情報を入力する環境情報入力部と、
    上記環境情報入力部によって求められた環境情報に基づいて、上記環境に依存した脈拍の差を無くすように、上記群衆の脈拍の上記統計処理値を補正する第２の脈拍補正部を備えたことを特徴とする関心度推定装置。
  6. 請求項１から５までのいずれか一つに記載の関心度推定装置において、
    上記各人の属性は年齢または性別の少なくとも一つであることを特徴とする関心度推定装置。
  7. 請求項６に記載の関心度推定装置において、
    上記第１の脈拍補正部は、上記脈拍取得部によって求められた上記各人の脈拍に対して、上記属性認識部によって認識された上記各人の年齢および性別に応じて、予め定められた年齢による脈拍補正係数と性別による脈拍補正係数とを乗算して補正することを特徴とする関心度推定装置。
  8. 請求項１から７までのいずれか一つに記載の関心度推定装置において、
    上記対象から刺激を受けている群衆を撮影して動画を取得する撮像部を備えたことを特徴とする関心度推定装置。
  9. 対象に対する群衆の関心度を評価する関心度推定方法であって、
    上記対象から刺激を受けている群衆が撮影された動画を入力するステップと、
    上記動画に基づいて上記群衆を構成する各人の存在を認識するステップと、
    上記動画中の上記各人の肌の輝度変化に基づいて、上記各人の脈拍を求めるステップと、
    上記動画中の上記各人の属性を認識するステップと、
    上記属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正するステップと、
    上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求めるステップとを有し、このステップでは、或る時点での、第１の群衆の脈拍の統計処理値と、上記第１の群衆とは別の第２の群衆の脈拍の統計処理値とを求め、
    上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力するステップを有し、このステップでは、上記第１の群衆の脈拍の統計処理値と上記第２の群衆の脈拍の統計処理値との差分に応じた数値指標を上記関心度として出力する
    ことを特徴とする関心度推定方法。
  10. 対象に対する群衆の関心度を評価する関心度推定方法であって、
    上記対象から刺激を受けている群衆が撮影された動画を入力するステップと、
    上記動画に基づいて上記群衆を構成する各人の存在を認識するステップと、
    上記動画中の上記各人の肌の輝度変化に基づいて、上記各人の脈拍を求めるステップと、
    上記動画中の上記各人の属性を認識するステップと、
    上記属性に依存した脈拍の差を無くすように、上記各人の脈拍をそれぞれ補正するステップと、
    上記補正された上記各人の脈拍を統計処理して、上記群衆の脈拍の統計処理値を求めるステップとを有し、このステップでは、或る群衆について、第１の時点の脈拍の統計処理値と、上記第１の時点よりも後の第２の時点の脈拍の統計処理値とを求め、
    上記群衆の脈拍の上記統計処理値に応じた数値指標を関心度として出力するステップを有し、このステップでは、上記第１の時点の脈拍の統計処理値と上記第２の時点の脈拍の統計処理値との差分に応じた数値指標を上記関心度として出力する
    ことを特徴とする関心度推定方法。
  11. 請求項９または１０に記載の関心度推定方法をコンピュータに実行させるプログラム。
  12. 請求項１１に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2016051481A 2016-03-15 2016-03-15 関心度推定装置、関心度推定方法、プログラムおよび記録媒体 Active JP6686576B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2016051481A JP6686576B2 (ja) 2016-03-15 2016-03-15 関心度推定装置、関心度推定方法、プログラムおよび記録媒体
DE112017000075.0T DE112017000075T5 (de) 2016-03-15 2017-01-04 Vorrichtung zur Schätzung des Grads des Interesses, Verfahren zur Schätzung des Grads des Interesses, Programm und Speichermedium
PCT/JP2017/000048 WO2017158999A1 (ja) 2016-03-15 2017-01-04 関心度推定装置、関心度推定方法、プログラムおよび記録媒体
US15/753,203 US20180368748A1 (en) 2016-03-15 2017-01-04 Degree-of-interest estimation device, degree-of-interest estimation method, program, and storage medium
CN201780002665.8A CN107847195B (zh) 2016-03-15 2017-01-04 关心度估计装置、关心度估计方法以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016051481A JP6686576B2 (ja) 2016-03-15 2016-03-15 関心度推定装置、関心度推定方法、プログラムおよび記録媒体

Publications (3)

Publication Number Publication Date
JP2017164215A JP2017164215A (ja) 2017-09-21
JP2017164215A5 JP2017164215A5 (ja) 2019-02-28
JP6686576B2 true JP6686576B2 (ja) 2020-04-22

Family

ID=59850450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016051481A Active JP6686576B2 (ja) 2016-03-15 2016-03-15 関心度推定装置、関心度推定方法、プログラムおよび記録媒体

Country Status (5)

Country Link
US (1) US20180368748A1 (ja)
JP (1) JP6686576B2 (ja)
CN (1) CN107847195B (ja)
DE (1) DE112017000075T5 (ja)
WO (1) WO2017158999A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109828662A (zh) * 2019-01-04 2019-05-31 杭州赛鲁班网络科技有限公司 一种心仪商品的感知和计算系统
JP2022169244A (ja) 2021-04-27 2022-11-09 オムロン株式会社 脈波検出装置および脈波検出方法、脈波検出プログラム
JP2023137776A (ja) * 2022-03-18 2023-09-29 パナソニックＩｐマネジメント株式会社 検出システム、検出方法、及び、検出プログラム
JP2023137778A (ja) * 2022-03-18 2023-09-29 パナソニックＩｐマネジメント株式会社 検出システム、検出方法、及び、検出プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SU1171010A1 (ru) * 1984-02-27 1985-08-07 Донецкий Научно-Исследовательский Институт Гигиены Труда И Профессиональных Заболеваний Устройство дл психологических исследований
JP3053455B2 (ja) * 1991-05-17 2000-06-19 三菱電機株式会社 快適性評価システム及び快適性評価・制御システム
JPH0880287A (ja) * 1994-09-13 1996-03-26 Seiko Epson Corp 携帯用小型電子機器
JP3613278B2 (ja) * 2003-08-06 2005-01-26 松下電器産業株式会社 在席装置
JP4303092B2 (ja) * 2003-11-12 2009-07-29 株式会社国際電気通信基礎技術研究所 年齢推定装置、年齢推定方法および年齢推定プログラム
JP4604494B2 (ja) * 2004-01-15 2011-01-05 セイコーエプソン株式会社 生体情報解析システム
JP2006085440A (ja) * 2004-09-16 2006-03-30 Fuji Xerox Co Ltd 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
WO2007091199A2 (en) * 2006-02-09 2007-08-16 Koninklijke Philips Electronics, N.V. Assessment of attention span or lapse thereof
JP4367663B2 (ja) * 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JP5233159B2 (ja) * 2007-04-25 2013-07-10 沖電気工業株式会社 集団感情認識支援システム
JP4930786B2 (ja) 2007-07-19 2012-05-16 日本精工株式会社 クラッチレリーズ軸受装置
JP2010033474A (ja) 2008-07-31 2010-02-12 Omron Corp 属性別人数集計装置、属性別人数集計方法、および属性別人数集計システム
WO2010106435A1 (en) * 2009-03-20 2010-09-23 Pub Company S.R.L. Video game hardware systems and software methods using electroencephalography
CN101658425B (zh) * 2009-09-11 2011-06-01 西安电子科技大学 基于心率变异分析的注意力集中程度的检测装置及方法
JP2014012072A (ja) * 2012-07-04 2014-01-23 Sony Corp 計測装置、計測方法、プログラム、記憶媒体及び計測システム
JP2014036801A (ja) * 2012-08-20 2014-02-27 Olympus Corp 生体状態観察システム、生体状態観察方法、およびプログラム
US9640218B2 (en) * 2012-12-07 2017-05-02 Intel Corporation Physiological cue processing
KR101534809B1 (ko) * 2013-01-30 2015-07-08 한국표준과학연구원 다차원 생체신호 측정기반 집중력 향상용 시청각콘텐츠의 효능 평가 방법
US10052038B2 (en) * 2013-03-14 2018-08-21 Koninklijke Philips N.V. Device and method for determining vital signs of a subject
US20140330132A1 (en) * 2013-05-02 2014-11-06 Aza Raskin Physiological characteristic detection based on reflected components of light
CN204049620U (zh) * 2014-07-29 2014-12-31 衢州亿龙信息技术有限公司 一种反射式光电脉搏测量装置
CN104688199B (zh) * 2015-03-20 2017-03-08 杭州师范大学 一种基于皮肤色素浓度差分的非接触式脉搏测量方法

Also Published As

Publication number Publication date
CN107847195A (zh) 2018-03-27
DE112017000075T5 (de) 2018-04-19
JP2017164215A (ja) 2017-09-21
WO2017158999A1 (ja) 2017-09-21
CN107847195B (zh) 2020-06-12
US20180368748A1 (en) 2018-12-27

Similar Documents

Publication Publication Date Title
JP6686576B2 (ja) 関心度推定装置、関心度推定方法、プログラムおよび記録媒体
WO2016129193A1 (ja) 健康管理補助装置及び健康管理補助方法
CN105046708B (zh) 一种与主观感知相一致的颜色校正客观评估方法
US9875408B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
JP4742192B2 (ja) 年齢推定装置及び方法並びにプログラム
US20130102854A1 (en) Mental state evaluation learning for advertising
JP4732849B2 (ja) 自動計数装置、プログラムおよび方法
CN110464367B (zh) 基于多通道协同的心理异常检测方法和系统
JP2020102012A (ja) 画像処理装置、画像処理方法およびプログラム
JP2018509847A (ja) 非同期信号を処理するための方法
CN113691721B (zh) 一种缩时摄影视频的合成方法、装置、计算机设备和介质
JPWO2018179150A1 (ja) 心拍推定装置
Booth et al. A novel method for human bias correction of continuous-time annotations
JP7176616B2 (ja) 画像処理システム、画像処理装置、画像処理方法、及び画像処理プログラム
Frowd et al. Understanding the multiframe caricature advantage for recognizing facial composites
WO2017168260A1 (ja) 情報処理装置、プログラム及び情報処理システム
JP6318451B2 (ja) 顕著度画像生成装置、方法、及びプログラム
US20220284718A1 (en) Driving analysis device and driving analysis method
JP2020107216A (ja) 情報処理装置、その制御方法およびプログラム
JP7084962B2 (ja) 推定プログラム、推定装置、推定方法、生成プログラム、生成装置及び生成方法
CN114913573A (zh) 一种表情识别方法、装置、存储介质及设备
CN109697413B (zh) 基于头部姿态的人格分析方法、系统和存储介质
JP7400832B2 (ja) 情報処理装置、制御方法及びプログラム
WO2021235355A1 (ja) 画像データ処理装置及び画像データ処理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200303

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200316

R150 Certificate of patent or registration of utility model

Ref document number: 6686576

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250