JP6075983B2 - 不快度推定システム及び不快度推定方法 - Google Patents
不快度推定システム及び不快度推定方法 Download PDFInfo
- Publication number
- JP6075983B2 JP6075983B2 JP2012149854A JP2012149854A JP6075983B2 JP 6075983 B2 JP6075983 B2 JP 6075983B2 JP 2012149854 A JP2012149854 A JP 2012149854A JP 2012149854 A JP2012149854 A JP 2012149854A JP 6075983 B2 JP6075983 B2 JP 6075983B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- facial expression
- unpleasant
- information
- indoor space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
すなわち、この場合、照度が当該所望の照度となったときに、人が快適に感じているものと推定している。
制御装置35は天井照明32に接続され、当該天井照明32による照度が任意の照度となるように制御することができる。
制御装置35は窓照明33に接続され、当該窓照明33の輝度が任意の輝度となるように制御することができる。
制御装置35は不快度測定ダイヤル34に接続され、当該不快度測定ダイヤル34が指し示す数値(目盛)を検出することができる。
本実施形態に係る不快表情検出手段は、主としてカメラ31及び制御装置35により構成される。
本実施形態に係る顔しかめ検出手段(顔しかめ検出システム)は、主としてカメラ31(撮像手段)及び制御装置35(後述する顔しかめ判断手段)により構成される。
前記顔しかめ検出手段(顔しかめ検出システム)による人20の顔しかめの検出方法については、後述する。
本実施形態に係るまばたき検出手段は、主としてカメラ31及び制御装置35により構成される。
前記まばたき検出手段による人20のまばたきの検出方法については、後述する。
本実施形態に係る環境情報検出手段は、主として天井照明32、窓照明33及び制御装置35により構成される。
本実施形態に係る照度検出手段は、主として天井照明32及び制御装置35により構成される。
制御装置35は、天井照明32から人20に照射される光の照度が任意の照度となるように自ら制御しているため、別途センサ等を用いるまでもなく当該天井照明32による照度を検出することができる。
本実施形態に係る輝度検出手段は、主として窓照明33及び制御装置35により構成される。
制御装置35は、窓照明33の輝度が任意の輝度となるように自ら制御しているため、別途センサ等を用いるまでもなく当該窓照明33の輝度を検出することができる。
本実施形態に係る不快度判断手段は、主として制御装置35により構成される。
前記不快度判断手段による人20の不快度の推定方法については、後述する。
ここで、前記学習実験においては、例えば図3に示すように、顔をしかめていない状態の表情(図3(a))に対して、目Eを細めたり(図3(b))、眉Bを寄せて目Eを細めたり(図3(c))、眉Bを寄せて目Eを細め、かつ口Mを横にひいたり(図3(d))した場合に、人20が顔をしかめたと判断される。
算出された実際の顔しかめの頻度は複数の数値範囲に分類され、顔しかめ認識頻度ノードN101を原因とする当該実際の顔しかめの頻度が各数値範囲に含まれる確率(条件付き確率)が、制御装置35に記憶される。
この工程を、以下では環境情報検出工程と記す。
この工程を、以下では不快表情検出工程と記す。
この工程を、以下では不快度判断工程と記す。
この工程(図4のステップS101からステップS106まで)を、以下では学習工程と記す。
当該学習工程は、人20が顔をしかめたか否か(表出があるか否か)を判断する前に(事前に)行われる。
具体的には、制御装置35は、天井照明32による照度及び窓照明33の輝度を複数パターンに変化させる。この際、制御装置35は、人20が不快(まぶしい)と申告したときの表情の画像データ、及び人20が不快(まぶしい)と申告しないとき(通常時)の表情の画像データをそれぞれ複数取得する。
なお、人20の不快(まぶしい)である旨の申告の有無は、不快度測定ダイヤル34やその他のスイッチ等を用いて判断することが可能である。
ステップS101の処理を行った後、制御装置35はステップS102に移行する。
具体的には、ステップS101で取得された人20の表情の複数の画像データを、(A)人20が不快であると申告し、かつ目視で顔をしかめていると確認される画像、(B)人20が不快であると申告し、かつ目視で顔をしかめていないと確認される画像、又は人20が不快であると申告していないときの画像、の2種類(上記(A)又は(B))に分類する。
人20が顔をしかめているか否かは実験者の目視により確認され、上記(A)又は(B)への分類に関するデータが当該実験者により制御装置35に入力(記憶)される。
ここで、顔をしかめているか否かの判断は、前述と同様に図3に示すような表情の変化に基づいてなされる。
なお、当該分類において、人20がまばたきする際の表情の画像データは省かれる。また、上記(A)及び(B)には同じ数の画像データが分類され、かつできるだけ多くの画像データが分類される。
ステップS102の処理を行った後、制御装置35はステップS103に移行する。
具体的には、図5に示すように、取得した各画像データに現された人20の顔のうち、右目の最も内側に位置する端部の点を点P1と、右目の上まぶた上に位置する点(より詳細には、上まぶたのうち最も上に位置する端部の点)を点P2と、右目の下まぶた上に位置する点(より詳細には、下まぶたのうち最も下に位置する端部の点)を点P3と、右眉の最も内側に位置する端部の点を点P4と、左目の最も内側に位置する端部の点を点P5と、左目の上まぶた上に位置する点(より詳細には、上まぶたのうち最も上に位置する端部の点)を点P6と、左目の下まぶた上に位置する点(より詳細には、下まぶたのうち最も下に位置する端部の点)を点P7と、左眉の最も内側に位置する端部の点を点P8と、鼻の最も下に位置する端部の点を点P9と、それぞれ決定する。
当該座標化(点P1から点P9までの決定)は、制御装置35に予め記憶されたプログラムによって実行される。
ステップS103の処理を行った後、制御装置35はステップS104に移行する。
具体的には、まず取得した複数の画像データのうち、最も理想的な正面視の顔の画像データを基準となる画像データとして選択する。次に、図6に示すように、両目の内側と鼻の下端の座標(点P1、点P5及び点P9)の合計3点を基準となる座標として選択する。そして、当該3点(基準となる座標)と、他の画像データにおける上記3点(点P1、点P5及び点P9)と、を比較し、当該他の画像データの座標を正規化する。すなわち、アフィン変換等を用いて、当該他の画像データにおける人20の顔の向きや角度の違いが座標(点P1から点P9)に与える影響(測定誤差)を打ち消す。
ステップS104の処理を行った後、制御装置35はステップS105に移行する。
具体的には、図7に示すように、制御装置35は、各画像データの正規化された座標を、5つの距離情報、すなわち(1)点P1から点P4までの距離、(2)点P5から点P8までの距離、(3)点P4から点P8までの距離、(4)点P2から点P3までの距離、及び(5)点P6から点P7までの距離、に変換する。
ステップS105の処理を行った後、制御装置35はステップS106に移行する。
具体的には、制御装置35は、まずステップS105において変換された5次元の距離情報を、ステップS102における分類(上記(A)又は(B))に従ってそれぞれデータベース化する。次に、当該データベースを訓練データとして、人20が顔をしかめたか否かを識別する識別機能を作成する。当該識別機能としては、サポートベクターマシンの多項式カーネル法等を用いることができる。
このステップS201の工程を、以下では撮像工程と記す。
ステップS201の処理(撮像工程)を行った後、制御装置35はステップS202に移行する。
当該座標化の方法は、図4のステップS103と同様であるため、説明を省略する。
ステップS202の処理を行った後、制御装置35はステップS203に移行する。
当該正規化の方法は、図4のステップS104と同様であるため、説明を省略する。
ステップS203の処理を行った後、制御装置35はステップS204に移行する。
当該距離情報への変換の方法は、図4のステップS105と同様であるため、説明を省略する。
ステップS204の処理を行った後、制御装置35はステップS205に移行する。
具体的には、制御装置35は、ステップS204において変換された5次元の距離情報を、図4のステップS106において作成された識別機能にかけ、人20が顔をしかめたか否か(表出があるか否か)を識別する。
このステップS205の工程を、以下では顔しかめ判断工程と記す。
当該座標化の方法は、図8のステップS202と同様であるため、説明を省略する。
当該正規化の方法は、図8のステップS203と同様であるため、説明を省略する。
このように、環境変化に関する情報に加えて人が発する不快な表情の頻度を用いることにより、人の不快度を精度良く推定することができる。
このように構成することにより、特に周囲が明るく(まぶしく)なった際に人20が発すると考えられる顔しかめを、不快な表情として検出することができる。
このように構成することにより、光の照度の変化による人20の不快度を検出することができる。
このように構成することにより、特に周囲が明るく(まぶしく)なった際、又は暗くなった際に人20が発すると考えられるまばたきを、不快な表情として検出することができる。
このように、環境変化に関する情報に加えて人が発する不快な表情の頻度を用いることにより、人の不快度を精度良く推定することができる。
このように構成することにより、5つの距離のみを顔の器官の位置情報として用いるため、人20が顔をしかめているか否かを短時間で検出することができる。
このように構成することにより、撮像した人20の顔の向きの違いによる当該顔の器官の位置情報の誤差を低減することができる。
このように、当該人20自身のデータに基づいて作成された識別機能を用いるため、人20が顔をしかめているか否かをより精度良く検出することができる。
このように構成することにより、5つの距離のみを顔の器官の位置情報として用いるため、人20が顔をしかめているか否かを短時間で検出することができる。
また、本実施形態においては、撮像手段としてカメラ31を用いたが、本発明はこれに限るものではない。例えば、人20が作業しているパソコンに内臓されたカメラ等を撮像手段として用いることも可能である。
また、本実施形態においては窓照明33を用いたが、本発明はこれに限るものではなく、通常の窓(部屋10の外部の光が入ってくる窓)と当該窓の輝度を検出するセンサを用いて上述の顔しかめの検出や不快度の推定を行うことも可能である。
また、本実施形態において、不快表情検出手段は、人20が発する不快な表情として顔しかめ及びまばたきを検出するものとしたが、本発明はこれに限るものではない。すなわち、その他の不快な表情(例えば、目を長時間閉じる、涙を流す等)を検出する構成とすることも可能である。
また、本実施形態において、環境情報検出手段は、部屋10の室内空間の環境変化に関する情報として、天井照明32人20に照射される光の照度及び窓照明33の輝度を検出するものとしたが、本発明はこれに限るものではない。すなわち、その他の環境変化(例えば、温度の変化、湿度の変化等)を検出する構成とすることも可能である。
20 人
30 不快度推定システム
31 カメラ
32 天井照明
33 窓照明
34 不快度測定ダイヤル
35 制御装置
Claims (5)
- 室内空間の環境変化に関する情報を検出する環境情報検出手段と、
前記室内空間に存在する人が前記室内空間の環境変化の際に発する不快な表情を検出する不快表情検出手段と、
前記室内空間の環境変化の際に、前記不快表情検出手段により検出された前記人が発する不快な表情の頻度及び観察者により検出された前記人が発する不快な表情の頻度、並びにその際当該人が実際にどの程度不快であるかの情報を予め蓄積することによりベイジアンネットワークを構築した不快度判断手段と、
を具備し、
前記不快度判断手段は、
前記環境情報検出手段により検出された前記室内空間の環境変化に関する情報、及び当該環境変化の際に前記不快表情検出手段により検出された前記人が発する不快な表情の頻度を用いて、前記ベイジアンネットワークから前記人がどの程度不快であるかを推定することを特徴とする、
不快度推定システム。 - 前記不快表情検出手段は、
前記人が顔をしかめたか否かを検出する顔しかめ検出手段を含むことを特徴とする、
請求項1に記載の不快度推定システム。 - 前記環境情報検出手段は、
前記人に照射される光の照度を検出する照度検出手段を含むことを特徴とする、
請求項1又は請求項2に記載の不快度推定システム。 - 前記不快表情検出手段は、
前記人がまばたきをしたか否かを検出するまばたき検出手段を含むことを特徴とする、
請求項1から請求項3までのいずれか一項に記載の不快度推定システム。 - 室内空間の環境変化に関する情報を検出する環境情報検出工程と、
前記室内空間に存在する人が前記室内空間の環境変化の際に発する不快な表情を検出する不快表情検出工程と、
前記環境情報検出工程により検出された前記室内空間の環境変化に関する情報、及び当該環境変化の際に前記不快表情検出工程により検出された前記人が発する不快な表情の頻度を用いて、
前記室内空間の環境変化の際に、前記不快表情検出工程により検出された前記人が発する不快な表情の頻度及び観察者により検出された前記人が発する不快な表情の頻度、並びにその際当該人が実際にどの程度不快であるかの情報を予め蓄積することにより構築されたベイジアンネットワークから前記人がどの程度不快であるかを推定する不快度判断工程と、
を具備する不快度推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012149854A JP6075983B2 (ja) | 2012-07-03 | 2012-07-03 | 不快度推定システム及び不快度推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012149854A JP6075983B2 (ja) | 2012-07-03 | 2012-07-03 | 不快度推定システム及び不快度推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014013448A JP2014013448A (ja) | 2014-01-23 |
JP6075983B2 true JP6075983B2 (ja) | 2017-02-08 |
Family
ID=50109110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012149854A Active JP6075983B2 (ja) | 2012-07-03 | 2012-07-03 | 不快度推定システム及び不快度推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6075983B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111881843B (zh) * | 2020-07-30 | 2023-12-29 | 河南天迈科技有限公司 | 一种基于人脸检测的出租车载客人数统计方法 |
JP7403729B2 (ja) | 2021-11-25 | 2023-12-22 | 三菱電機株式会社 | 覚醒度推定装置および覚醒度推定方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4569134B2 (ja) * | 2004-03-11 | 2010-10-27 | トヨタ自動車株式会社 | 感情誘導装置及び感情誘導方法 |
JP4535274B2 (ja) * | 2005-04-04 | 2010-09-01 | 株式会社デンソー | 自動車用ユーザーもてなしシステム |
JP2009046115A (ja) * | 2007-07-20 | 2009-03-05 | Denso It Laboratory Inc | 車両用空調装置及び車両用空調装置の制御方法 |
-
2012
- 2012-07-03 JP JP2012149854A patent/JP6075983B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014013448A (ja) | 2014-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102640420B1 (ko) | 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치 | |
JP4991317B2 (ja) | 顔特徴点検出装置及びその方法 | |
JP6570786B2 (ja) | 動作学習装置、技能判別装置および技能判別システム | |
JP5106459B2 (ja) | 立体物判定装置、立体物判定方法及び立体物判定プログラム | |
US11298050B2 (en) | Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method | |
JP5801237B2 (ja) | 部位推定装置、部位推定方法、および部位推定プログラム | |
US20210059569A1 (en) | Fall risk evaluation method, fall risk evaluation device, and non-transitory computer-readable recording medium in which fall risk evaluation program is recorded | |
JP2014199584A (ja) | 画像処理装置および画像処理方法 | |
Roussel et al. | A computational model for C. elegans locomotory behavior: application to multiworm tracking | |
JP2008192100A (ja) | 瞼検出装置及びプログラム | |
JP4677060B1 (ja) | 位置校正情報収集装置、位置校正情報収集方法、及び位置校正情報収集プログラム | |
JP6840697B2 (ja) | 視線方向推定装置、視線方向推定方法、及び視線方向推定プログラム | |
WO2017073520A1 (ja) | 対象認識システム、対象認識方法、プログラム及びコンピュータ記憶媒体 | |
JP2010123019A (ja) | 動作認識装置及び方法 | |
JP6981277B2 (ja) | 検出装置、及び検出プログラム | |
CN104951055B (zh) | 设置设备的操作模式的方法和装置、以及空调设备 | |
JP6651086B1 (ja) | 画像分析プログラム、情報処理端末、及び画像分析システム | |
JP6075983B2 (ja) | 不快度推定システム及び不快度推定方法 | |
JP6075982B2 (ja) | 顔しかめ検出システム及び顔しかめ検出方法 | |
JP2012118927A (ja) | 画像処理プログラムおよび画像処理装置 | |
CN113591722A (zh) | 一种移动机器人的目标人员跟随控制方法及系统 | |
KR102187238B1 (ko) | 사용자 참여형 인체 3차원 모델링 장치 및 방법 | |
KR20090113746A (ko) | 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법 | |
JP5482412B2 (ja) | ロボット、位置推定方法及びプログラム | |
JP2021033359A (ja) | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150629 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6075983 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |