JP4999908B2

JP4999908B2 - マスク着用判定装置

Info

Publication number: JP4999908B2
Application number: JP2009274458A
Authority: JP
Inventors: 信介植田; 昭夫高橋
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2009-12-02
Filing date: 2009-12-02
Publication date: 2012-08-15
Anticipated expiration: 2029-12-02
Also published as: JP2011118588A

Description

本発明は、マスク着用判定装置に関する。

従来、例えばひとの顔を撮影した撮影画像上において、顔の上部領域と下部領域とに対して、輝度、色、エッジ部の量などを比較して、比較結果に基づきひとがマスクを着用しているか否かを判定するマスク着用判定装置が知られている（例えば、特許文献１参照）。

特許第４３２２５３７号公報

ところで、上記従来技術に係るマスク着用判定装置によれば、顔の上部領域と下部領域とにおいて光の照射状態が異なる場合、例えば顔の上部領域のみに光が当たって下部領域よりも明るい場合や、人が帽子を着用していることで顔の上部領域が下部領域よりも暗い場合などにおいては、上部領域と下部領域とに対する比較結果からマスク着用の有無を精度良く判定することは困難であるという問題が生じる。

本発明は上記事情に鑑みてなされたもので、ひとがマスクを着用しているか否かを精度良く判定することが可能なマスク着用判定装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、本発明の請求項１に係るマスク着用判定装置は、ひとの顔を撮像して顔画像を出力する撮像手段（例えば、実施の形態での乗員カメラ１１）と、該撮像手段から出力された前記顔画像に基づき前記ひとがマスクを着用しているか否かを判定して判定結果を出力するマスク着用判定手段（例えば、実施の形態でのマスク着用判定部２４）とを備えるマスク着用判定装置であって、前記撮像手段から出力された前記顔画像において水平エッジを抽出して抽出結果を出力する水平エッジ抽出手段（例えば、実施の形態での水平エッジ抽出部２１）と、前記撮像手段から出力された前記顔画像において輝度値を判定して判定結果を出力する輝度値判定手段（例えば、実施の形態での輝度値判定部２２）と、前記水平エッジ抽出手段から出力された前記水平エッジの抽出結果のうちから、前記輝度値判定手段から出力された前記輝度値の判定結果において前記水平エッジの前記輝度値が第１輝度値以上であり、かつ、前記水平エッジの水平方向長さが所定値以上または前記水平エッジの鉛直方向高さと水平方向幅との比が所定比以下である前記水平エッジを選択して選択結果を出力する水平エッジ選択手段（例えば、実施の形態での水平エッジ選択部２３）とを備え、前記マスク着用判定手段は、前記輝度値判定手段から出力された前記輝度値の判定結果において、前記撮像手段から出力された前記顔画像のうち前記水平エッジ選択手段から出力された前記選択結果の前記水平エッジよりも上下方向下方の所定領域の輝度値が第２輝度値以上である場合に、前記ひとがマスクを着用していると判定するとともに、前記上下方向下方の所定領域の輝度値が前記第２輝度以上となる前記水平エッジのうち最も上方の水平エッジの上下方向上方に向かう頂点を前記顔の中心として検出する。
さらに、本発明の請求項２に係るマスク着用判定装置は、前記顔画像に基づき前記ひとの視線を検出する視線検出手段と、前記マスク着用判定手段により前記ひとがマスクを着用していると判定された場合に、前記撮像手段から出力される前記顔画像の露出を補正する露出補正手段と、を備え、前記視線検出手段は、前記露出補正手段により補正された前記顔画像に基づいて前記ひとの視線を検出する。

本発明の請求項１に係るマスク着用判定装置によれば、ひとがマスクを着用しているときに、このマスクの端部において抽出される水平エッジの有無と、この水平エッジよりも上下方向下方の所定領域（つまり、マスクが存在する領域）の輝度値が所定の第２輝度値以上であるか否かの判定結果とにより、マスク着用の有無を精度良くかつ容易に判定することができる。
さらに、例えばひとの顔の口や鼻がマスクによって覆われていることで、これらの部位の位置を顔画像から直接的に検出することが出来ない場合であっても、マスク上の水平エッジから鼻の位置を検知して、顔の中心を容易に検出することができる。そして、この検出結果を用いて顔向きの検出などを行なうことができる。

本発明の実施の形態に係るマスク着用判定装置の構成図である。本発明の実施の形態に係る顔画像と顔画像から抽出された水平エッジと複数の水平エッジから選択された水平エッジと水平エッジの下方の所定領域との例を示す図である。本発明の実施の形態に係るマスク着用判定装置の動作を示すフローチャートである。図３に示すマスク上の水平エッジ選択の処理を示すフローチャートである。本発明の実施の形態の変形例に係る鼻を覆うマスクの領域と水平エッジの頂点との例を示す図である。本発明の実施の形態の変形例に係るマスク着用判定装置の動作を示すフローチャートである。

以下、本発明のマスク着用判定装置の一実施形態について添付図面を参照しながら説明する。
本実施の形態によるマスク着用判定装置１０は、例えば図１に示すように、乗員カメラ１１と、処理装置１２とを備えて構成され、さらに、処理装置１２は、水平エッジ抽出部２１と、輝度値判定部２２と、水平エッジ選択部２３と、マスク着用判定部２４と、露出補正部２５と、視線検出部２６とを備えて構成されている。

乗員カメラ１１は、少なくとも車両の運転席に着座した運転者の顔を、撮像対象として、例えば可視光領域または赤外線領域にて撮像可能であって、運転者の顔を含む顔画像を出力する。

処理装置１２の水平エッジ抽出部２１は、乗員カメラ１１から出力された顔画像（例えば図２（Ａ）に示す顔画像Ｐ）に基づき、例えば、顔画像のグレースケール画像に対してソーベルフィルタなどの微分フィルタによる所定のフィルタ処理を行ない、さらに、このフィルタ処理によって得られる処理結果に２値化処理を行なうことによって、水平エッジ（例えば、図２（Ｂ）に示す水平エッジＨＥ）を抽出し、抽出結果を出力する。

輝度値判定部２２は、先ず、水平エッジ抽出部２１により抽出された水平エッジの輝度値が所定の第１輝度値以上であるか否かを判定し、判定結果を出力する。
また、輝度値判定部２２は、後述する水平エッジ選択部２３により選択された水平エッジ（例えば図２（Ｃ）に示す水平エッジＨＥａ，ＨＥｂ）よりも上下方向下方（例えば、顔の下方）の所定領域（例えば、ひとが着用する平均的なマスクの少なくとも一部を含む領域などであって、例えば図２（Ｄ）に示す所定領域Ａ，Ｂ）の輝度値（例えば、所定領域内の輝度値のヒストグラムにおいて輝度値の累積分布が全体の２５％となる輝度値など）が所定の第２輝度値以上であるか否かを判定し、判定結果を出力する。
なお、所定の第１輝度値は、例えば乗員カメラ１１から出力された顔画像全体の輝度値のヒストグラムにおいて、輝度値の累積分布が全体の８０％となる輝度値である。
また、所定の第２輝度値は、例えばひとの顔画像において、白色などにより輝度値が高いマスクを含む領域と、この領域よりも相対的に輝度値が低い他の領域とを区別するための輝度値の閾値である。

水平エッジ選択部２３は、水平エッジ抽出部２１により抽出された水平エッジ（例えば、図２（Ｂ）に示す水平エッジＨＥ）のうちから、輝度値判定部２２において水平エッジの輝度値が第１輝度値以上であると判定され、かつ、水平エッジの水平方向長さが所定値（例えば、乗員カメラ１１から出力された顔画像の画面幅の１／４の長さなど）以上または水平エッジの鉛直方向高さと水平方向幅との比が所定比（例えば、１／３など）以下である水平エッジ（例えば図２（Ｃ）に示す水平エッジＨＥａ，ＨＥｂ）を選択して選択結果を出力する。

マスク着用判定部２４は、輝度値判定部２２から出力された判定結果において、水平エッジ選択部２３により選択された水平エッジよりも上下方向下方の所定領域の輝度値が所定の第２輝度値以上である場合に、この水平エッジは運転者が着用しているマスク上の水平エッジであると判定して、運転者がマスクを着用していると判定する。
一方、輝度値判定部２２から出力された判定結果において、水平エッジ選択部２３により選択された水平エッジよりも上下方向下方の所定領域の輝度値が所定の第２輝度値以上ではない場合に、この水平エッジはマスク上の水平エッジではないと判定して、運転者がマスクを着用していないと判定する。

例えば、図２（Ｄ）に示すように、運転者が着用している白色のマスクの上端部で抽出された水平エッジＨＥａに対しては、この水平エッジＨＥａよりも下方の所定領域として、水平エッジＨＥａの下端からマスク内での所定幅の矩形状の所定領域Ａが設定されることで、所定領域Ａの輝度値が所定の第２輝度値以上となる。
一方、マスクの下端部で抽出された水平エッジＨＥｂに対しては、この水平エッジＨＥｂよりも下方の所定領域として、水平エッジＨＥｂの下端からマスクよりも下方のひとの首などが含まれる矩形状の所定領域Ｂが設定されることで、所定領域Ｂの輝度値が所定の第２輝度値未満となる。

露出補正部２５は、マスク着用判定部２４において運転者がマスクを着用していると判定された場合には、乗員カメラ１１から出力される顔画像の露出を補正する。
例えば、露出補正部２５は、運転者が着用している白色のマスクによって顔画像の露出調整が過剰となってしまうことを抑制することで、他の部位（例えば、眼など）に対する露出が不適切になることを防止する。
視線検出部２６は、乗員カメラ１１から出力された顔画像に基づき、必要に応じて露出補正部２５により顔画像の露出が補正された後に、例えば運転者の眼を検知対象とした所定の認識処理などを行ない、この認識処理の処理結果に基づき、運転者の視線を検出して検出結果を出力する。

この実施の形態によるマスク着用判定装置１０は上記構成を備えており、次に、このマスク着用判定装置１０の動作について説明する。

先ず、例えば図３に示すステップＳ０１においては、車両の運転席に着座した運転者の顔画像を取得する。
次に、ステップＳ０２においては、顔画像から水平エッジを抽出する。
次に、ステップＳ０３においては、後述するマスク上の水平エッジ選択の処理を行なう。
次に、ステップＳ０４においては、マスク上の水平エッジが存在したか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進み、運転者はマスクを着用している判定して、エンドに進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０６に進み、運転者はマスクを着用していないと判定して、エンドに進む。

以下に、上述したステップＳ０３でのマスク上の水平エッジ選択の処理について説明する。
先ず、例えば図４に示すステップＳ１１においては、顔画像から抽出された水平エッジのうちから、水平エッジの鉛直方向高さと水平方向幅との比が所定比よりも大きい水平エッジを除外する。
次に、ステップＳ１２においては、顔画像から抽出された水平エッジのうちから、さらに、水平エッジの水平方向長さが所定値未満の水平エッジを除外する。
次に、ステップＳ１３においては、顔画像から抽出された水平エッジのうちから、さらに、水平エッジの輝度値が第１輝度値未満である水平エッジを除外する。
次に、ステップＳ１４においては、顔画像から抽出された水平エッジのうちから、さらに、水平エッジの下方の所定領域の輝度値が第２輝度値未満である水平エッジを除外し、リターンに進む。

上述したように、本実施の形態によるマスク着用判定装置１０によれば、ひとがマスクを着用しているときに、このマスクの上端において抽出される水平エッジの有無と、この水平エッジよりも上下方向下方のマスクが存在する所定領域の輝度値が所定の第２輝度値以上であるか否かの判定結果とにより、マスク着用の有無を精度良くかつ容易に判定することができる。

なお、上述した実施の形態において、運転者がマスクを着用しているときに、水平エッジよりも下方の所定領域の輝度値が所定の第２輝度値以上となる水平エッジのうち最も上方の水平エッジ（例えば、例えば図５に示すマスクの上端で抽出された水平エッジＨＥａ）は、鼻を覆うマスクの領域（例えば、図５に示す領域ＰＥ）を含む場合がある。そして、鼻を覆うマスクの領域では、水平エッジの形状が上下方向上方に向かう凸形状となり、鼻の位置で頂点（例えば、図５に示す頂点ｐｅａｋ）を有する形状となる。これにより、水平エッジの頂点を顔の中心として検出してもよい。

この変形例によるマスク着用判定装置１０の動作では、例えば図６に示すように、ステップＳ０５において、運転者がマスクを着用していると判定すると、ステップＳ２１に進む。
そして、ステップＳ２１においては、水平エッジよりも下方の所定領域の輝度値が所定の第２輝度値以上となる水平エッジのうち最も上方の水平エッジ（例えば、例えば図５に示すマスクの上端で抽出された水平エッジＨＥａ）の頂点を検出する。
そして、ステップＳ２２においては、水平エッジの頂点が水平方向端部付近に存在するか否かを判定する。
この判定結果が「ＹＥＳ」の場合、例えば通常の装着状態では鼻を覆うように装着されるマスクが、鼻を露出するように鼻の下方にずらされて不適切に装着されている場合などにおいて、水平エッジの水平方向中央部が上下方向下方に凹むことで、水平方向端部付近が上下方向上方に突出する頂点となる場合には、エンドに進む。
一方、この判定結果が「ＮＯ」の場合、つまりマスクが適切に装着されることでマスクの水平方向の中央部が鼻を覆い、水平エッジの形状が上下方向上方に向かう凸形状となり、鼻の位置で頂点が形成される場合には、ステップＳ２３に進み、このステップＳ２３においては、水平エッジの頂点を顔の中心として設定し、エンドに進む。
この変形例によれば、例えばひとの顔の口や鼻がマスクによって覆われていることで、これらの部位の位置を顔画像から直接的に検出することが出来ない場合であっても、マスク上の水平エッジから鼻の位置を検知して、顔の中心を容易に検出することができる。そして、この検出結果を用いて顔向きの検出などを行なうことができる。

１０マスク着用判定装置
１１乗員カメラ（撮像手段）
２１水平エッジ抽出部（水平エッジ抽出手段）
２２輝度値判定部（輝度値判定手段）
２３水平エッジ選択部（水平エッジ選択手段）
２４マスク着用判定部（マスク着用判定手段）

Claims

ひとの顔を撮像して顔画像を出力する撮像手段と、該撮像手段から出力された前記顔画像に基づき前記ひとがマスクを着用しているか否かを判定して判定結果を出力するマスク着用判定手段とを備えるマスク着用判定装置であって、
前記撮像手段から出力された前記顔画像において水平エッジを抽出して抽出結果を出力する水平エッジ抽出手段と、
前記撮像手段から出力された前記顔画像において輝度値を判定して判定結果を出力する輝度値判定手段と、
前記水平エッジ抽出手段から出力された前記水平エッジの抽出結果のうちから、前記輝度値判定手段から出力された前記輝度値の判定結果において前記水平エッジの前記輝度値が第１輝度値以上であり、かつ、前記水平エッジの水平方向長さが所定値以上または前記水平エッジの鉛直方向高さと水平方向幅との比が所定比以下である前記水平エッジを選択して選択結果を出力する水平エッジ選択手段とを備え、
前記マスク着用判定手段は、前記輝度値判定手段から出力された前記輝度値の判定結果において、前記撮像手段から出力された前記顔画像のうち前記水平エッジ選択手段から出力された前記選択結果の前記水平エッジよりも上下方向下方の所定領域の輝度値が第２輝度値以上である場合に、前記ひとがマスクを着用していると判定するとともに、前記上下方向下方の所定領域の輝度値が前記第２輝度以上となる前記水平エッジのうち最も上方の水平エッジの上下方向上方に向かう頂点を前記顔の中心として検出することを特徴とするマスク着用判定装置。
前記顔画像に基づき前記ひとの視線を検出する視線検出手段と、
前記マスク着用判定手段により前記ひとがマスクを着用していると判定された場合に、前記撮像手段から出力される前記顔画像の露出を補正する露出補正手段と、を備え、
前記視線検出手段は、前記露出補正手段により補正された前記顔画像に基づいて前記ひとの視線を検出することを特徴とする請求項１に記載のマスク着用判定装置。