JP6075982B2 - 顔しかめ検出システム及び顔しかめ検出方法 - Google Patents

Description

本発明は、人が顔をしかめているか否かを検出することが可能な顔しかめ検出システム及び顔しかめ検出方法の技術に関する。

従来、人の顔の特定の表情を検出することが可能なシステムに関する技術は公知となっている。例えば、特許文献１に記載の如くである。

特許文献１に記載の技術では、被写体（人）の表情を検出した後に評価し、当該評価が高いときに当該被写体を撮影することができる。当該技術においては、特に被写体が笑顔である場合に評価が高くなる。これによって、当該被写体の良い表情（笑顔の表情）を撮影することができる。

しかしながら、特許文献１に記載の技術では、表情の評価のために用いられる要素及びその評価段階の数が多く、また複雑であるため、短時間（瞬時）における表情の評価が困難であると考えられる。

特開２００６−２３７８０３号公報

本発明は以上の如き状況に鑑みてなされたものであり、その解決しようとする課題は、人の特定の表情、特に、顔をしかめているか否かを短時間で検出することができる顔しかめ検出システム及び顔しかめ検出方法を提供するものである。

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

即ち、請求項１においては、顔をしかめたか否かを判断する対象となる人の顔を撮像する撮像手段と、照度の変化により人が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習することで顔をしかめたか否かを識別する識別機能を予め作成し、当該予め作成した識別機能及び前記撮像手段により撮像された人の顔の器官の位置情報から、当該撮像手段により撮像された人が顔をしかめたか否かを判断する顔しかめ判断手段と、を具備し、前記顔しかめ判断手段は、前記顔の器官の位置情報として、右眉の内側端部から右目の内側端部までの距離、左眉の内側端部から左目の内側端部までの距離、眉間の距離、右目の上まぶたから下まぶたまでの距離及び左目の上まぶたから下まぶたまでの距離を用い、目を細めた時、眉を寄せて目を細めた時、又は眉を寄せて目を細め、かつ口を横にひいた時の前記顔の器官の位置情報に基づいて、前記顔をしかめた時の顔の器官の位置情報を学習するものである。

請求項２においては、前記顔しかめ判断手段は、前記顔の器官の位置情報を取得した後、右目の内側端部、左目の内側端部及び鼻の下端部を基準として当該顔の器官の位置情報を正規化するものである。

請求項３においては、前記顔しかめ判断手段は、前記撮像手段により撮像された人が顔をしかめたか否かを判断する際、当該人と同一人物の顔の器官の位置情報から作成された識別機能を用いるものである。

請求項４においては、照度の変化により人が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習することで顔をしかめたか否かを識別する識別機能を予め作成する学習工程と、顔をしかめたか否かを判断する対象となる人の顔を撮像する撮像工程と、予め作成した識別機能及び前記撮像工程において撮像された人の顔の器官の位置情報から、当該撮像工程において撮像された人が顔をしかめたか否かを判断する顔しかめ判断工程と、を具備し、前記顔の器官の位置情報として、右眉の内側端部から右目の内側端部までの距離、左眉の内側端部から左目の内側端部までの距離、眉間の距離、右目の上まぶたから下まぶたまでの距離及び左目の上まぶたから下まぶたまでの距離を用い、前記学習工程は、目を細めた時、眉を寄せて目を細めた時、又は眉を寄せて目を細め、かつ口を横にひいた時の前記顔の器官の位置情報に基づいて、前記顔をしかめた時の顔の器官の位置情報を学習するものである。

本発明の効果として、以下に示すような効果を奏する。

請求項１においては、５つの距離のみを顔の器官の位置情報として用いるため、人が顔をしかめているか否かを短時間で検出することができる。

請求項２においては、撮像した人の顔の向きの違いによる当該顔の器官の位置情報の誤差を低減することができる。

請求項３においては、人が顔をしかめているか否かをより精度良く検出することができる。

請求項４においては、５つの距離のみを顔の器官の位置情報として用いるため、人が顔をしかめているか否かを短時間で検出することができる。

不快度推定システムの構成をしめした模式図。 本実施形態に係るベイジアンネットワークの構成を示した図。 目視による顔しかめの判断基準を示した図。 学習工程を示したフローチャート。 顔の器官を座標に変換する様子を示した図。 正規化する際に基準となる座標を示した図。 座標を５次元の距離情報に変換する様子を示した図。 撮像工程及び顔しかめ判断工程を示したフローチャート。 座標を２次元の距離情報に変換する様子を示した図。

以下では、図１を用いて、本実施形態に係る不快度推定システム３０の構成について説明する。

不快度推定システム３０は、実験設備として設置された部屋１０内に存在する人２０がどの程度不快であるか（不快度）を推定するものである。不快度推定システム３０は、主としてカメラ３１、天井照明３２、窓照明３３、不快度測定ダイヤル３４及び制御装置３５を具備する。

撮像手段としてのカメラ３１は、人２０の顔を撮像するものである。カメラ３１は、着席して所定の作業を行っている人２０の正面に配置され、当該人の顔を常時撮像することができる。

天井照明３２は、部屋１０の室内空間の照明器具である。天井照明３２は、部屋１０の天井であって、人２０の上方に配置される。天井照明３２による照度は変更可能となるように構成される。

窓照明３３は、部屋１０に設けられた窓を擬似的に再現するための照明器具である。窓照明３３は、部屋１０の側壁面であって、人２０の正面に配置される。窓照明３３の輝度は変更可能となるように構成される。窓照明３３を発光させることにより、部屋１０に設けられた窓から太陽光が差し込む状態を擬似的に再現することができる。

不快度測定ダイヤル３４は、人２０がどの程度不快であるか（不快度）を測定するためのものである。不快度測定ダイヤル３４はダイヤル式のスイッチにより構成され、人２０の手が届く範囲に配置される。不快度測定ダイヤル３４には所定の数値範囲で不快度を表す目盛が付されている。人２０は、不快度測定ダイヤル３４が指し示す数値（目盛）が、自らが感じた不快の程度に応じた値となるように当該不快度測定ダイヤル３４を操作する。

制御装置３５は、種々の情報に基づいて天井照明３２や窓照明３３の照度及び輝度を制御したり、所定の演算処理や記憶等を行うものである。制御装置３５は、ＲＡＭやＲＯＭ等の記憶部、ＣＰＵ等の演算処理部等により構成される。

制御装置３５はカメラ３１に接続され、当該カメラ３１が撮像した画像データを取得することができる。
制御装置３５は天井照明３２に接続され、当該天井照明３２による照度が任意の照度となるように制御することができる。
制御装置３５は窓照明３３に接続され、当該窓照明３３の輝度が任意の輝度となるように制御することができる。
制御装置３５は不快度測定ダイヤル３４に接続され、当該不快度測定ダイヤル３４が指し示す数値（目盛）を検出することができる。

上述の如く構成された不快度推定システム３０は、不快表情検出手段、環境情報検出手段及び不快度判断手段を具備する。以下では上記各手段について説明する。

前記不快表情検出手段は、部屋１０の室内空間に存在する人２０が当該室内空間の環境変化の際に発する不快な表情（本実施形態においては、顔しかめ及びまばたき）を検出するものである。
本実施形態に係る不快表情検出手段は、主としてカメラ３１及び制御装置３５により構成される。

さらに、前記不快表情検出手段は、顔しかめ検出手段（顔しかめ検出システム）及びまばたき検出手段を含むものである。

前記顔しかめ検出手段（顔しかめ検出システム）は、人２０が顔をしかめたか否かを検出するものである。
本実施形態に係る顔しかめ検出手段（顔しかめ検出システム）は、主としてカメラ３１（撮像手段）及び制御装置３５（後述する顔しかめ判断手段）により構成される。
前記顔しかめ検出手段（顔しかめ検出システム）による人２０の顔しかめの検出方法については、後述する。

前記まばたき検出手段は、人２０がまばたきをしたか否かを検出するものである。
本実施形態に係るまばたき検出手段は、主としてカメラ３１及び制御装置３５により構成される。
前記まばたき検出手段による人２０のまばたきの検出方法については、後述する。

前記環境情報検出手段は、部屋１０の室内空間の環境変化に関する情報（本実施形態においては、天井照明３２から人２０に照射される光の照度及び窓照明３３の輝度の変化）を検出するものである。
本実施形態に係る環境情報検出手段は、主として天井照明３２、窓照明３３及び制御装置３５により構成される。

さらに、前記環境情報検出手段は、照度検出手段及び輝度検出手段を含むものである。

前記照度検出手段は、天井照明３２から人２０に照射される光の照度を検出するものである。
本実施形態に係る照度検出手段は、主として天井照明３２及び制御装置３５により構成される。
制御装置３５は、天井照明３２から人２０に照射される光の照度が任意の照度となるように自ら制御しているため、別途センサ等を用いるまでもなく当該天井照明３２による照度を検出することができる。

前記輝度検出手段は、窓照明３３の輝度を検出するものである。
本実施形態に係る輝度検出手段は、主として窓照明３３及び制御装置３５により構成される。
制御装置３５は、窓照明３３の輝度が任意の輝度となるように自ら制御しているため、別途センサ等を用いるまでもなく当該窓照明３３の輝度を検出することができる。

前記不快度判断手段は、人２０がどの程度不快であるか（不快度）を推定するものである。
本実施形態に係る不快度判断手段は、主として制御装置３５により構成される。
前記不快度判断手段による人２０の不快度の推定方法については、後述する。

以下では、図２及び図３を用いて、不快度推定システム３０による人２０の不快度を推定する方法について説明する。

不快度推定システム３０が具備する前記不快度判断手段（すなわち、制御装置３５）には、図２に示すように構築されたベイジアンネットワーク（Ｂａｙｅｓｉａｎ Ｎｅｔｗｏｒｋ）が予め記憶され、当該ベイジアンネットワークを利用して人２０の不快度が推定される。ベイジアンネットワークとは、複数の変数間の因果関係を非循環有向グラフで表すと共に、個々の変数の関係を条件付き確率で表す確率推論のモデルである。図中の矢印の始点側のノードが原因を、終点側のノードが結果を、それぞれ表している。また、原因が結果に及ぼす影響の度合いは、条件付き確率で定量化される。

図２に示すように、本実施形態に係るベイジアンネットワークは、顔しかめ認識頻度ノードＮ１０１と、顔しかめ表出頻度ノードＮ１０２と、まばたき認識頻度ノードＮ２０１と、まばたき表出頻度ノードＮ２０２と、照度（天井）変化前ノードＮ３０１と、輝度（窓）変化前ノードＮ４０１と、照度（天井）変化後ノードＮ５０１と、輝度（窓）変化後ノードＮ６０１と、不快度ノードＮ７０１と、により構築される。

本実施形態に係るベイジアンネットワークは、制御装置３５によって天井照明３２及び窓照明３３を制御することで人２０に対して複数パターンの照明変化（天井照明３２による照度、及び窓照明３３の輝度の大きな変化）を与える学習実験の結果に基づいて構築され、当該制御装置３５に記憶される。具体的には、当該学習実験に基づいて上記各ノードの確率（事前確率又は条件付き確率）が求められ、制御装置３５に記憶される。

以下では、本実施形態に係るベイジアンネットワークの各ノードについて説明する。

顔しかめ認識頻度ノードＮ１０１は、人２０の顔しかめの頻度を表すノードである。当該人２０の顔しかめ（顔をしかめたか否か）は、前記顔しかめ検出手段（顔しかめ検出システム）により検出される。前記学習実験において、人２０が顔をしかめたか否かが前記顔しかめ検出手段により検出されると共に、制御装置３５によって当該人２０の顔しかめの頻度（顔しかめの周波数）が算出される。当該顔しかめの頻度は複数の数値範囲に分類され、顔しかめの頻度が各数値範囲に含まれる確率（事前確率）が制御装置３５に記憶される。

顔しかめ表出頻度ノードＮ１０２は、実際の人２０の顔しかめの頻度を表すノードである。前記学習実験において、実際に人２０が顔をしかめたか否かが目視等により確認されると共に、当該実際の人２０の顔しかめの頻度（顔しかめの周波数）が算出される。
ここで、前記学習実験においては、例えば図３に示すように、顔をしかめていない状態の表情（図３（ａ））に対して、目Ｅを細めたり（図３（ｂ））、眉Ｂを寄せて目Ｅを細めたり（図３（ｃ））、眉Ｂを寄せて目Ｅを細め、かつ口Ｍを横にひいたり（図３（ｄ））した場合に、人２０が顔をしかめたと判断される。
算出された実際の顔しかめの頻度は複数の数値範囲に分類され、顔しかめ認識頻度ノードＮ１０１を原因とする当該実際の顔しかめの頻度が各数値範囲に含まれる確率（条件付き確率）が、制御装置３５に記憶される。

まばたき認識頻度ノードＮ２０１は、人２０のまばたきの頻度を表すノードである。当該人２０のまばたきは、前記まばたき検出手段により検出される。前記学習実験において、人２０がまばたきをしたか否かが前記まばたき検出手段により検出されると共に、制御装置３５によって当該人２０のまばたきの頻度（まばたきの周波数）が算出される。当該まばたきの頻度は複数の数値範囲に分類され、まばたきの頻度が各数値範囲に含まれる確率（事前確率）が制御装置３５に記憶される。

まばたき表出頻度ノードＮ２０２は、実際の人２０のまばたきの頻度を表すノードである。前記学習実験において、実際に人２０がまばたきをしたか否かが目視等により確認されると共に、当該実際の人２０のまばたきの頻度（まばたきの周波数）が算出される。当該実際のまばたきの頻度は複数の数値範囲に分類され、まばたき認識頻度ノードＮ２０１を原因とする当該実際のまばたきの頻度が各数値範囲に含まれる確率（条件付き確率）が、制御装置３５に記憶される。

照度（天井）変化前ノードＮ３０１は、天井照明３２による照度が大きく変化する前の照度を表すノードである。当該照度は、前記照度検出手段により検出される。前記学習実験において、天井照明３２による照度が大きく変化する前の照度は複数の数値範囲に分類され、当該大きく変化する前の照度が各数値範囲に含まれる確率（事前確率）が制御装置３５に記憶される。

輝度（窓）変化前ノードＮ４０１は、窓照明３３の輝度が大きく変化する前の輝度を表すノードである。当該輝度は、前記輝度検出手段により検出される。前記学習実験において、窓照明３３の輝度が大きく変化する前の輝度は複数の数値範囲に分類され、当該大きく変化する前の輝度が各数値範囲に含まれる確率（事前確率）が制御装置３５に記憶される。

照度（天井）変化後ノードＮ５０１は、天井照明３２による照度が大きく変化した後の照度を表すノードである。当該照度は、前記照度検出手段により検出される。前記学習実験において、天井照明３２による照度が大きく変化した後の照度は複数の数値範囲に分類され、当該大きく変化した後の照度が各数値範囲に含まれる確率（事前確率）が制御装置３５に記憶される。

輝度（窓）変化後ノードＮ６０１は、窓照明３３の輝度が大きく変化した後の輝度を表すノードである。当該輝度は、前記輝度検出手段により検出される。前記学習実験において、窓照明３３の輝度が大きく変化した後の輝度は複数の数値範囲に分類され、当該大きく変化した後の輝度が各数値範囲に含まれる確率（事前確率）が制御装置３５に記憶される。

不快度ノードＮ７０１は、人２０がどの程度不快であるか（不快度）を表すノードである。前記学習実験において、実際に人２０がどの程度不快であるか（不快度）が測定される。具体的には、前記学習実験において、天井照明３２による照度及び窓照明３３の輝度が大きく変化した際に、人２０が操作した不快度測定ダイヤル３４の数値（目盛）を制御装置３５が検出することにより、当該人２０がどの程度不快であるか（不快度）を測定することができる。当該測定された不快度は複数の数値範囲に分類され、顔しかめ表出頻度ノードＮ１０２、まばたき表出頻度ノードＮ２０２、照度（天井）変化前ノードＮ３０１、輝度（窓）変化前ノードＮ４０１、照度（天井）変化後ノードＮ５０１及び輝度（窓）変化後ノードＮ６０１を原因とする当該測定された不快度が各数値範囲に含まれる確率（条件付き確率）が、制御装置３５に記憶される。

以上の如く、前記学習実験によって事前に構築されたベイジアンネットワークを用いて、部屋１０の室内空間の環境が変化した（具体的には、天井照明３２による照度及び窓照明３３の輝度が大きく変化した）際の人２０の不快度を、確率論として推定することができる。

具体的には、まず、部屋１０の天井照明３２による照度及び窓照明３３の輝度が変化した際に、前記環境情報検出手段によって当該変化に関する情報を検出する。すなわち、前記環境情報検出手段（前記照度検出手段及び前記輝度検出手段）は、天井照明３２による照度が大きく変化する前の照度（照度（天井）変化前ノードＮ３０１）、窓照明３３の輝度が大きく変化する前の輝度（輝度（窓）変化前ノードＮ４０１）、天井照明３２による照度が大きく変化した後の照度（照度（天井）変化後ノードＮ５０１）及び窓照明３３の輝度が大きく変化した後の輝度（輝度（窓）変化後ノードＮ６０１）を検出する。
この工程を、以下では環境情報検出工程と記す。

また、部屋１０の室内空間の環境（天井照明３２による照度及び窓照明３３の輝度）が変化した際に人２０が発する不快な表情を前記不快表情検出手段によって検出する。すなわち、前記不快表情検出手段（前記顔しかめ検出手段及び前記まばたき検出手段）は、部屋１０の室内空間の環境が変化した際の人２０の顔しかめ及びまばたきを検出する。
この工程を、以下では不快表情検出工程と記す。

次に、前記不快度判断手段によって、前記不快表情検出手段によって検出された人２０が発する不快な表情の頻度（周波数）を算出する。すなわち、前記不快度判断手段（制御装置３５）は、前記顔しかめ検出手段によって検出された人２０の顔しかめの頻度（顔しかめ認識頻度ノードＮ１０１）、及び前記まばたき検出手段によって検出された人２０のまばたきの頻度（まばたき認識頻度ノードＮ２０１）を算出する。

そして、前記不快度判断手段（制御装置３５）は、上記各ノード（顔しかめ認識頻度ノードＮ１０１、まばたき認識頻度ノードＮ２０１、照度（天井）変化前ノードＮ３０１、輝度（窓）変化前ノードＮ４０１、照度（天井）変化後ノードＮ５０１及び輝度（窓）変化後ノードＮ６０１）の条件を用いて、顔しかめ表出頻度ノードＮ１０２、まばたき表出頻度ノードＮ２０２及び不快度ノードＮ７０１の条件付き確率から人２０の不快度がとり得る複数の値（数値範囲）及びそれぞれの確率を算出する。前記不快度判断手段（制御装置３５）は、人２０の不快度がとり得る複数の値それぞれに、当該値となる確率を掛け合わせ、さらにそれらを合算した数値を、人２０の不快度として推定する。
この工程を、以下では不快度判断工程と記す。

このように、本実施形態に係る不快度推定システム３０は、環境変化に関する情報に加えて人２０が発する不快な表情の頻度を用いるため、当該人２０の不快度を精度良く推定することができる。

以下では、図３から図８までを用いて、前述の不快表情検出工程で用いた顔しかめ検出手段（顔しかめ検出システム）による人２０の顔しかめの検出方法について説明する。

前述の如く、前記顔しかめ検出手段（顔しかめ検出システム）は、人２０が顔をしかめたか否か（表出があるか否か）を検出するものである。本実施形態に係る顔しかめ検出手段（顔しかめ検出システム）は、主として撮像手段（カメラ３１）及び顔しかめ判断手段（制御装置３５）により構成される。

顔しかめ判断手段（制御装置３５）は、人２０が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習することで顔をしかめたか否かを識別する識別機能を予め作成し、当該予め作成した識別機能及び前記撮像手段（カメラ３１）により撮像された人２０の顔の器官の位置情報から、当該カメラ３１により撮像された人２０が顔をしかめたか否か（表出があるか否か）を判断するものである。

まず、図３から図７までを用いて、制御装置３５が、人２０が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習することで顔をしかめたか否かを識別する識別機能を作成する工程について説明する。
この工程（図４のステップＳ１０１からステップＳ１０６まで）を、以下では学習工程と記す。
当該学習工程は、人２０が顔をしかめたか否か（表出があるか否か）を判断する前に（事前に）行われる。

図４のステップＳ１０１において、制御装置３５は、上記学習のためにカメラ３１により撮像された人２０の顔（表情）の画像データを複数取得する。
具体的には、制御装置３５は、天井照明３２による照度及び窓照明３３の輝度を複数パターンに変化させる。この際、制御装置３５は、人２０が不快（まぶしい）と申告したときの表情の画像データ、及び人２０が不快（まぶしい）と申告しないとき（通常時）の表情の画像データをそれぞれ複数取得する。
なお、人２０の不快（まぶしい）である旨の申告の有無は、不快度測定ダイヤル３４やその他のスイッチ等を用いて判断することが可能である。
ステップＳ１０１の処理を行った後、制御装置３５はステップＳ１０２に移行する。

ステップＳ１０２において、制御装置３５が取得した人２０の表情の複数の画像データを、２種類に分類する。
具体的には、ステップＳ１０１で取得された人２０の表情の複数の画像データを、（Ａ）人２０が不快であると申告し、かつ目視で顔をしかめていると確認される画像、（Ｂ）人２０が不快であると申告し、かつ目視で顔をしかめていないと確認される画像、又は人２０が不快であると申告していないときの画像、の２種類（上記（Ａ）又は（Ｂ））に分類する。
人２０が顔をしかめているか否かは実験者の目視により確認され、上記（Ａ）又は（Ｂ）への分類に関するデータが当該実験者により制御装置３５に入力（記憶）される。
ここで、顔をしかめているか否かの判断は、前述と同様に図３に示すような表情の変化に基づいてなされる。
なお、当該分類において、人２０がまばたきする際の表情の画像データは省かれる。また、上記（Ａ）及び（Ｂ）には同じ数の画像データが分類され、かつできるだけ多くの画像データが分類される。
ステップＳ１０２の処理を行った後、制御装置３５はステップＳ１０３に移行する。

ステップＳ１０３において、制御装置３５は、取得した各画像データに現された人２０の顔の器官（目、眉、鼻）を、位置情報としての座標に変換する。
具体的には、図５に示すように、取得した各画像データに現された人２０の顔のうち、右目の最も内側に位置する端部の点を点Ｐ１と、右目の上まぶた上に位置する点（より詳細には、上まぶたのうち最も上に位置する端部の点）を点Ｐ２と、右目の下まぶた上に位置する点（より詳細には、下まぶたのうち最も下に位置する端部の点）を点Ｐ３と、右眉の最も内側に位置する端部の点を点Ｐ４と、左目の最も内側に位置する端部の点を点Ｐ５と、左目の上まぶた上に位置する点（より詳細には、上まぶたのうち最も上に位置する端部の点）を点Ｐ６と、左目の下まぶた上に位置する点（より詳細には、下まぶたのうち最も下に位置する端部の点）を点Ｐ７と、左眉の最も内側に位置する端部の点を点Ｐ８と、鼻の最も下に位置する端部の点を点Ｐ９と、それぞれ決定する。
当該座標化（点Ｐ１から点Ｐ９までの決定）は、制御装置３５に予め記憶されたプログラムによって実行される。
ステップＳ１０３の処理を行った後、制御装置３５はステップＳ１０４に移行する。

ステップＳ１０４において、制御装置３５は、取得した各画像データに現された人２０の顔の器官の座標を正規化する。
具体的には、まず取得した複数の画像データのうち、最も理想的な正面視の顔の画像データを基準となる画像データとして選択する。次に、図６に示すように、両目の内側と鼻の下端の座標（点Ｐ１、点Ｐ５及び点Ｐ９）の合計３点を基準となる座標として選択する。そして、当該３点（基準となる座標）と、他の画像データにおける上記３点（点Ｐ１、点Ｐ５及び点Ｐ９）と、を比較し、当該他の画像データの座標を正規化する。すなわち、アフィン変換等を用いて、当該他の画像データにおける人２０の顔の向きや角度の違いが座標（点Ｐ１から点Ｐ９）に与える影響（測定誤差）を打ち消す。
ステップＳ１０４の処理を行った後、制御装置３５はステップＳ１０５に移行する。

ステップＳ１０５において、制御装置３５は、取得した各画像データを５次元の位置情報（距離情報）に変換する。
具体的には、図７に示すように、制御装置３５は、各画像データの正規化された座標を、５つの距離情報、すなわち（１）点Ｐ１から点Ｐ４までの距離、（２）点Ｐ５から点Ｐ８までの距離、（３）点Ｐ４から点Ｐ８までの距離、（４）点Ｐ２から点Ｐ３までの距離、及び（５）点Ｐ６から点Ｐ７までの距離、に変換する。
ステップＳ１０５の処理を行った後、制御装置３５はステップＳ１０６に移行する。

ステップＳ１０６において、制御装置３５は、人２０が顔をしかめたか否か（表出があるか否か）を識別するための識別機能を作成する。
具体的には、制御装置３５は、まずステップＳ１０５において変換された５次元の距離情報を、ステップＳ１０２における分類（上記（Ａ）又は（Ｂ））に従ってそれぞれデータベース化する。次に、当該データベースを訓練データとして、人２０が顔をしかめたか否かを識別する識別機能を作成する。当該識別機能としては、サポートベクターマシンの多項式カーネル法等を用いることができる。

このようにして、制御装置３５は人２０が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習し、人２０が顔をしかめたか否か（表出があるか否か）を識別するための識別機能を作成する（ステップＳ１０１からステップＳ１０６まで）。

次に、図４及び図８を用いて、制御装置３５が、予め学習した人２０の顔の器官の位置情報と、カメラ３１により撮像された人２０の顔の器官の位置情報と、を比較し、当該カメラ３１により撮像された人２０が顔をしかめたか否か（表出があるか否か）を判断する様子について説明する。

図８のステップＳ２０１において、制御装置３５は、カメラ３１により撮像された顔をしかめたか否か（表出があるか否か）を判断する対象となる人２０の顔（表情）の画像データを取得する。
このステップＳ２０１の工程を、以下では撮像工程と記す。
ステップＳ２０１の処理（撮像工程）を行った後、制御装置３５はステップＳ２０２に移行する。

ステップＳ２０２において、制御装置３５は、取得した画像データに現された人２０の顔の器官（目、眉、鼻）を座標化する。
当該座標化の方法は、図４のステップＳ１０３と同様であるため、説明を省略する。
ステップＳ２０２の処理を行った後、制御装置３５はステップＳ２０３に移行する。

ステップＳ２０３において、制御装置３５は、取得した画像データに現された人２０の顔の器官の座標を正規化する。
当該正規化の方法は、図４のステップＳ１０４と同様であるため、説明を省略する。
ステップＳ２０３の処理を行った後、制御装置３５はステップＳ２０４に移行する。

ステップＳ２０４において、制御装置３５は、取得した画像データを５次元の距離情報に変換する。
当該距離情報への変換の方法は、図４のステップＳ１０５と同様であるため、説明を省略する。
ステップＳ２０４の処理を行った後、制御装置３５はステップＳ２０５に移行する。

ステップＳ２０５において、制御装置３５は、人２０が顔をしかめたか否か（表出があるか否か）を判断する。
具体的には、制御装置３５は、ステップＳ２０４において変換された５次元の距離情報を、図４のステップＳ１０６において作成された識別機能にかけ、人２０が顔をしかめたか否か（表出があるか否か）を識別する。
このステップＳ２０５の工程を、以下では顔しかめ判断工程と記す。

このようにして、制御装置３５は、予め作成した識別機能及びカメラ３１により撮像された人の顔の器官の位置情報から、当該カメラ３１により撮像された人が顔をしかめたか否かを判断する（ステップＳ２０１からステップＳ２０５まで）。

以下では、図４、図８及び図９を用いて、前述の不快表情検出工程で用いたまばたき検出手段による人２０のまばたきの検出方法について説明する。

前述の如く、前記まばたき検出手段は、人２０がまばたきをしたか否かを検出するものである。本実施形態に係るまばたき検出手段は、主としてカメラ３１及び制御装置３５により構成される。

まず、制御装置３５は、カメラ３１により撮像されたまばたきをしたか否かを判断する対象となる人２０の顔（表情）の画像データを取得する。

次に、制御装置３５は、取得した画像データに現された人２０の顔の器官（目、眉、鼻）を、位置情報としての座標に変換する。
当該座標化の方法は、図８のステップＳ２０２と同様であるため、説明を省略する。

次に、制御装置３５は、取得した画像データに現された人２０の顔の器官の座標を正規化する。当該正規化には、図４のステップＳ１０４で選択された基準となる座標を用いることができる。
当該正規化の方法は、図８のステップＳ２０３と同様であるため、説明を省略する。

次に、制御装置３５は、取得した画像データを２次元の位置情報（距離情報）に変換する。具体的には、図９に示すように、制御装置３５は、画像データの正規化された座標を、２つの距離情報、すなわち（１）点Ｐ２から点Ｐ３までの距離及び（２）点Ｐ６から点Ｐ７までの距離に変換する。

最後に、制御装置３５は、変換した２次元の距離情報がそれぞれゼロ（又は、ゼロに近い値）であるか否かを識別する。当該２次元の距離情報がゼロ（又は、ゼロに近い値）であれば人２０がまばたきをしていると判断できる。

このようにして、制御装置３５は２次元の距離情報から人２０がまばたきをしたか否かを検出することができる。

以上の如く、本実施形態に係る不快度推定システムは、部屋１０の室内空間の環境変化に関する情報を検出する環境情報検出手段と、前記室内空間に存在する人２０が前記室内空間の環境変化の際に発する不快な表情（顔しかめ及びまばたき）を検出する不快表情検出手段と、前記室内空間の環境変化の際に人２０が発する不快な表情の頻度及びその際当該人２０が実際にどの程度不快であるかの情報を予め蓄積することによりベイジアンネットワークを構築した不快度判断手段と、を具備し、前記不快度判断手段は、前記環境情報検出手段により検出された前記室内空間の環境変化に関する情報、及び当該環境変化の際に前記不快表情検出手段により検出された人２０が発する不快な表情の頻度を用いて、前記ベイジアンネットワークから人２０がどの程度不快であるかを推定するものである。
このように、環境変化に関する情報に加えて人が発する不快な表情の頻度を用いることにより、人の不快度を精度良く推定することができる。

また、前記不快表情検出手段は、人２０が顔をしかめたか否かを検出する顔しかめ検出手段を含むものである。
このように構成することにより、特に周囲が明るく（まぶしく）なった際に人２０が発すると考えられる顔しかめを、不快な表情として検出することができる。

また、前記環境情報検出手段は、人２０に照射される光の照度を検出する照度検出手段を含むものである。
このように構成することにより、光の照度の変化による人２０の不快度を検出することができる。

また、前記不快表情検出手段は、前記人がまばたきをしたか否かを検出するまばたき検出手段を含むものである。
このように構成することにより、特に周囲が明るく（まぶしく）なった際、又は暗くなった際に人２０が発すると考えられるまばたきを、不快な表情として検出することができる。

また、本実施形態に係る不快度推定方法は、室内空間の環境変化に関する情報を検出する環境情報検出工程と、前記室内空間に存在する人が前記室内空間の環境変化の際に発する不快な表情を検出する不快表情検出工程と、前記環境情報検出手段により検出された前記室内空間の環境変化に関する情報、及び当該環境変化の際に前記不快表情検出手段により検出された前記人が発する不快な表情の頻度を用いて、前記室内空間の環境変化の際に前記人が発する不快な表情の頻度及びその際当該人が実際にどの程度不快であるかの情報を予め蓄積することにより構築されたベイジアンネットワークから前記人がどの程度不快であるかを推定する不快度判断工程と、を具備するものである。
このように、環境変化に関する情報に加えて人が発する不快な表情の頻度を用いることにより、人の不快度を精度良く推定することができる。

また、以上の如く、本実施形態に係る顔しかめ検出手段（顔しかめ検出システム）は、顔をしかめたか否かを判断する対象となる人２０の顔を撮像するカメラ３１（撮像手段）と、人２０が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習することで顔をしかめたか否かを識別する識別機能を予め作成し、当該予め作成した識別機能及びカメラ３１により撮像された人２０の顔の器官の位置情報から、当該カメラ３１により撮像された人２０が顔をしかめたか否かを判断する顔しかめ判断手段（制御装置３５）と、を具備し、前記顔しかめ判断手段は、前記顔の器官の位置情報として、右眉の内側端部から右目の内側端部まで（点Ｐ１から点Ｐ４まで）の距離、左眉の内側端部から左目の内側端部まで（点Ｐ５から点Ｐ８まで）の距離、眉間（点Ｐ４から点Ｐ８まで）の距離、右目の上まぶたから下まぶたまで（点Ｐ２から点Ｐ３まで）の距離及び左目の上まぶたから下まぶたまで（点Ｐ６から点Ｐ７まで）の距離を用いるものである。
このように構成することにより、５つの距離のみを顔の器官の位置情報として用いるため、人２０が顔をしかめているか否かを短時間で検出することができる。

また、前記顔しかめ判断手段は、前記顔の器官の位置情報を取得した後、右目の内側端部（点Ｐ１）、左目の内側端部（点Ｐ５）及び鼻の下端部（点Ｐ９）を基準として当該顔の器官の位置情報を正規化するものである。
このように構成することにより、撮像した人２０の顔の向きの違いによる当該顔の器官の位置情報の誤差を低減することができる。

また、前記顔しかめ判断手段は、カメラ３１により撮像された人２０が顔をしかめたか否かを判断する際、当該人２０と同一人物の顔の器官の位置情報から作成された識別機能を用いるものである。
このように、当該人２０自身のデータに基づいて作成された識別機能を用いるため、人２０が顔をしかめているか否かをより精度良く検出することができる。

また、本実施形態に係る顔しかめ検出方法は、人２０が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習することで顔をしかめたか否かを識別する識別機能を予め作成する学習工程と、顔をしかめたか否かを判断する対象となる人２０の顔を撮像する撮像工程と、予め作成した識別機能及び前記撮像工程において撮像された人２０の顔の器官の位置情報から、当該撮像工程において撮像された人２０が顔をしかめたか否かを判断する顔しかめ判断工程と、を具備し、前記顔の器官の位置情報として、右眉の内側端部から右目の内側端部まで（点Ｐ１から点Ｐ４まで）の距離、左眉の内側端部から左目の内側端部まで（点Ｐ５から点Ｐ８まで）の距離、眉間（点Ｐ４から点Ｐ８まで）の距離、右目の上まぶたから下まぶたまで（点Ｐ２から点Ｐ３まで）の距離及び左目の上まぶたから下まぶたまで（点Ｐ６から点Ｐ７まで）の距離を用いるものである。
このように構成することにより、５つの距離のみを顔の器官の位置情報として用いるため、人２０が顔をしかめているか否かを短時間で検出することができる。

なお、本実施形態においては、実験設備として設置された部屋１０を例にして説明したが、本発明はこれに限るものではなく、日常生活において使用している部屋を用いて上述の顔しかめの検出や不快度の推定を行うことも可能である。
また、本実施形態においては、撮像手段としてカメラ３１を用いたが、本発明はこれに限るものではない。例えば、人２０が作業しているパソコンに内臓されたカメラ等を撮像手段として用いることも可能である。
また、本実施形態においては窓照明３３を用いたが、本発明はこれに限るものではなく、通常の窓（部屋１０の外部の光が入ってくる窓）と当該窓の輝度を検出するセンサを用いて上述の顔しかめの検出や不快度の推定を行うことも可能である。
また、本実施形態において、不快表情検出手段は、人２０が発する不快な表情として顔しかめ及びまばたきを検出するものとしたが、本発明はこれに限るものではない。すなわち、その他の不快な表情（例えば、目を長時間閉じる、涙を流す等）を検出する構成とすることも可能である。
また、本実施形態において、環境情報検出手段は、部屋１０の室内空間の環境変化に関する情報として、天井照明３２人２０に照射される光の照度及び窓照明３３の輝度を検出するものとしたが、本発明はこれに限るものではない。すなわち、その他の環境変化（例えば、温度の変化、湿度の変化等）を検出する構成とすることも可能である。

１０ 部屋
２０ 人
３０ 不快度推定システム
３１ カメラ
３２ 天井照明
３３ 窓照明
３４ 不快度測定ダイヤル
３５ 制御装置

Claims (4)

1. 顔をしかめたか否かを判断する対象となる人の顔を撮像する撮像手段と、
   照度の変化により人が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習することで顔をしかめたか否かを識別する識別機能を予め作成し、当該予め作成した識別機能及び前記撮像手段により撮像された人の顔の器官の位置情報から、当該撮像手段により撮像された人が顔をしかめたか否かを判断する顔しかめ判断手段と、
   を具備し、
   前記顔しかめ判断手段は、
   前記顔の器官の位置情報として、右眉の内側端部から右目の内側端部までの距離、左眉の内側端部から左目の内側端部までの距離、眉間の距離、右目の上まぶたから下まぶたまでの距離及び左目の上まぶたから下まぶたまでの距離を用い、
   目を細めた時、眉を寄せて目を細めた時、又は眉を寄せて目を細め、かつ口を横にひいた時の前記顔の器官の位置情報に基づいて、前記顔をしかめた時の顔の器官の位置情報を学習することを特徴とする、
   顔しかめ検出システム。
2. 前記顔しかめ判断手段は、
   前記顔の器官の位置情報を取得した後、
   右目の内側端部、左目の内側端部及び鼻の下端部を基準として当該顔の器官の位置情報を正規化することを特徴とする、
   請求項１に記載の顔しかめ検出システム。
3. 前記顔しかめ判断手段は、
   前記撮像手段により撮像された人が顔をしかめたか否かを判断する際、当該人と同一人物の顔の器官の位置情報から作成された識別機能を用いることを特徴とする、
   請求項１又は請求項２に記載の顔しかめ検出システム。
4. 照度の変化により人が顔をしかめた時及び顔をしかめていない時の当該顔の器官の位置情報を学習することで顔をしかめたか否かを識別する識別機能を予め作成する学習工程と、
   顔をしかめたか否かを判断する対象となる人の顔を撮像する撮像工程と、
   予め作成した識別機能及び前記撮像工程において撮像された人の顔の器官の位置情報から、当該撮像工程において撮像された人が顔をしかめたか否かを判断する顔しかめ判断工程と、
   を具備し、
   前記顔の器官の位置情報として、右眉の内側端部から右目の内側端部までの距離、左眉の内側端部から左目の内側端部までの距離、眉間の距離、右目の上まぶたから下まぶたまでの距離及び左目の上まぶたから下まぶたまでの距離を用い、
   前記学習工程は、目を細めた時、眉を寄せて目を細めた時、又は眉を寄せて目を細め、かつ口を横にひいた時の前記顔の器官の位置情報に基づいて、前記顔をしかめた時の顔の器官の位置情報を学習することを特徴とする、
   顔しかめ検出方法。

Images