JP7276013B2 - 画像解析装置、画像解析方法、及びプログラム - Google Patents

Description

本開示は、画像解析装置、画像解析方法、及びプログラムに関する。

所望の対象物を撮像画像から検出するテンプレートマッチング等の画像処理技術が知られている。従来技術によれば、例えば、撮像画像から人の顔を検出することができる。しかしながら、人の顔がマスク等によって遮蔽されている場合、顔検出の精度が悪化する。このような問題を解決する技術として、例えば、特許文献１は、マスク等の遮蔽物を装着した状態の、遮蔽された人物の顔を精度良く検出する画像解析装置を開示する。

特開２０１８－１５１９１９号公報

しかしながら、従来技術は、対象物と遮蔽物とが予め定められた位置関係にある場合に、対象物の検出精度を高めるものである。例えば、従来技術は、鼻及び口が遮蔽された通常のマスク顔の検出精度を高める。息苦しさを解消する等の理由のために、マスクが下方にずらされ、鼻がマスクに覆われない状態でマスクが着用される場合もあるが、従来技術は、このような場合に精度良く顔を検出することができない。

本開示の目的は、遮蔽物により対象物が遮蔽されている場合において、従来技術よりも多様な遮蔽の態様に応じて対象物を検出できる画像解析技術を提供することにある。

本開示の一態様に係る画像解析装置は、
撮像画像を取得する画像取得部と、
前記撮像画像内で、一部が遮蔽物により遮蔽された対象物を示す第１領域を検出する第１検出器と、
前記撮像画像内で、前記遮蔽物により遮蔽されていない前記対象物を示す第２領域を検出する第２検出器と、
前記撮像画像内で前記対象物が映った領域を示す対象物領域を特定する解析部とを備え、
前記解析部は、
前記第１検出器によって前記第１領域が検出されたと判断する一方で、前記第２検出器によって前記第２領域が検出されなかったと判断した場合は、前記第１領域を前記対象物領域として特定し、
前記第１検出器によって前記第１領域が検出されたと判断し、かつ前記第２検出器によって前記第２領域が検出されたと判断した場合は、前記第１領域と前記第２領域とを包含する領域を前記対象物領域として特定する。

本開示の一態様に係る画像解析方法は、
制御部が、撮像画像を取得するステップと、
前記撮像画像内で、一部が遮蔽物により遮蔽された対象物を示す第１領域を検出する第１領域検出ステップと、
前記撮像画像内で、前記遮蔽物により遮蔽されていない前記対象物を示す第２領域を検出する第２領域検出ステップと、
前記撮像画像内で前記対象物が映った領域を示す対象物領域を特定する解析ステップとを含み、
前記解析ステップにおいて、制御部は、
前記第１領域検出ステップにおいて前記第１領域が検出されたと判断する一方で、前記第２領域検出ステップにおいて前記第２領域が検出されなかったと判断した場合は、前記第１領域を前記対象物領域として特定し、
前記第１領域検出ステップにおいて前記第１領域が検出されたと判断し、かつ前記第２領域検出ステップにおいて前記第２領域が検出されたと判断した場合は、前記第１領域と前記第２領域とを包含する領域を前記対象物領域として特定する。

本開示によれば、遮蔽物により対象物が遮蔽されている場合において、従来技術よりも多様な遮蔽の態様に応じて対象物を検出する画像解析技術を得ることができる。

本開示に係る顔検出装置の適用例を説明するための図である。 図１の顔検出装置のハードウェア構成の一例を示すブロック図である。 図２に示した顔検出装置の制御部の機能構成例を示すブロック図である。 制御部によって実行される顔検出処理の一例を示すフローチャートである。 図４の顔候補矩形検出処理の一例を示すフローチャートである。 図３のマスク有り顔検出器の一例を示す模式図である。 マスク有り顔候補矩形Ｒ１及びマスク無し顔候補矩形Ｒ２を含む撮像画像を例示する模式図である。 中間顔矩形Ａを例示する模式図である。 マージ対象矩形を例示する模式図である。 最終顔矩形Ｂを例示する模式図である。

以下、添付の図面を参照して本開示に係る顔検出装置の実施の形態を説明する。なお、以下の各実施形態において、同様の構成要素については同一の符号を付している。

１．適用例
まず、図１を用いて、実施形態に係る顔検出装置１００が適用される場面の一例について説明する。図１は、顔検出装置１００の適用場面の一例である顔検出システム１を模式的に例示する。顔検出装置１００は、本開示の「画像解析装置」の一例である。

顔検出システム１は、顔検出装置１００を備える。顔検出システム１は、例えば、カメラ３、目開閉検出装置５０、視線検出装置６０、及び顔向き検出装置７０を更に備えてもよい。顔検出装置１００は、カメラ３によって撮像された撮像画像を取得し、撮像画像内で人の顔が映った領域（以下、「顔領域」という。）Ｂを抽出する情報処理装置である。人の顔は、本開示の「対象物」の一例であり、顔領域Ｂは、撮像画像内で対象物が映った領域を示す「対象物領域」の一例である。

顔検出装置１００は、例えば工場において製品の組立てや梱包等の作業を行なう作業者の顔を検出する顔検出システム１に利用される。顔検出装置１００によって検出された作業者の顔領域Ｂに対して、例えば、後続の目開閉検出装置５０、視線検出装置６０、及び顔向き検出装置７０等による検出処理が実行されてもよい。目開閉検出装置５０は、例えば、顔領域Ｂを画像解析して、目、上眼瞼、下眼瞼等の位置を検出し、その開閉の回数、頻度等を測定する。視線検出装置６０は、例えば、顔領域Ｂを画像解析して瞳孔の位置を検出し、これにより瞳孔又は視線の位置及び移動速度等を測定する。顔向き検出装置７０は、顔領域Ｂを画像解析し、例えば公知のテンプレートマッチングの手法によって顔が向いている方向を検出する。

目開閉検出装置５０及び視線検出装置６０の結果は、例えば作業者の覚醒度を検出するために利用される。例えば、覚醒度が低い眠気状態に陥ると、作業者の瞳孔の位置の移動範囲が狭くなり、又はその移動若しくはサッカードの速さが小さくなることが知られている。また、眠気状態に陥ると、例えば作業者の上眼瞼と下眼瞼との距離が小さくなる。すなわち、瞼が閉じかかった状態になる。このような場合、顔検出システム１は、例えば作業者の覚醒度が低いと判断する。また、例えば作業者の目が閉じたままである場合、作業者が眠っていると判断されてもよい。

また、顔向き検出装置７０によって、作業者の顔の向きが頻繁に変わっていることが検出された場合、作業者の注意が散漫になっている可能性がある。

上記のような場合、顔検出システム１は、図示しないスピーカから作業者に休憩を促すアナウンスを流す等の制御をしてもよい。顔検出システム１は、工場の作業ラインを制御する制御部を備えてもよい。これにより、例えば、顔検出システム１は、作業者の覚醒度が低下した場合、工場の作業ラインを止めることにより、ミス及び事故の発生を防止することができる。また、顔検出システム１は、作業者の覚醒度が低下した場合、工場管理者、共同作業者、並びに産業医及び看護師等の医療従事者等に通知してもよい。これにより、これらの者が作業計画の見直しをする、といった対応を採ることができる。このようにして、覚醒度の低下に起因する事故、ミス等の発生を防止することができる。

上記のような目開閉検出装置５０、視線検出装置６０、及び顔向き検出装置７０による検出は、顔領域の中に目等の顔の器官が含まれていることが前提となる。カメラ３によって撮像される作業者は、マスクを着用している可能性がある。すなわち、作業者の顔はマスクにより遮蔽されている可能性がある。マスクは、本開示の「遮蔽物」の一例である。

マスク等の遮蔽物により遮蔽されていない人の顔（以下、「マスク無し顔」という。）を含む撮像画像２ａから顔領域Ｂを正確に検出することは、従来のマスク無し顔検出器１２３により実行可能である。また、マスク等の遮蔽物により遮蔽された人の顔（以下、「マスク有り顔」という。）であって、鼻及び口が遮蔽されたものを含む撮像画像２ｂから顔領域Ｂを検出することも、従来のマスク有り顔検出器１２２により実行可能である。

このように、鼻及び口を覆うようにマスクを着用した人の顔から顔領域Ｂを検出することは従来のマスク有り顔検出器１２２により実行可能である。しかしながら、マスク有り顔のうち、鼻が遮蔽されていないもの（以下、「鼻出しマスク顔」という。）を含む撮像画像２ｃから顔領域Ｂを検出することは、従来のマスク無し顔検出器１２３又はマスク有り顔検出器１２２では実行できない。例えば、従来のマスク有り顔検出器１２２では、目が含まれていない領域を誤って顔領域Ｂとして検出してしまう問題があった。

この問題を解決するために、例えば畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）等のモデルに鼻出しマスク顔の画像を大量に学習させることによって構築した学習済みモデルを利用し、鼻出しマスク顔検出器を構成することが考えられる。しかしながら、「鼻出しマスク顔」といってもどの程度鼻を露出するかなどマスクのかけ方には様々な態様があり得るため、すべての態様を把握することは困難である。また、これらの各態様について鼻出しマスク顔の画像を大量に得ることは困難である。さらに、マスク無し顔検出器１２３及びマスク有り顔検出器１２２に加えて、３つめの鼻出しマスク顔検出器を搭載すると、顔検出装置による演算処理の量が多くなり、負荷及び処理時間が増加する。

そこで、本開示は、マスク無し顔検出器１２３及びマスク有り顔検出器１２２の検出結果を利用して、鼻出しマスク顔を検出できる顔検出装置１００を提供する。顔検出装置１００は、負荷及び処理時間の増加を抑えつつ、鼻出しマスク顔を検出できる。

２．構成例
［ハードウェア構成］
図２は、本実施形態に係る顔検出装置１００のハードウェア構成の一例を示すブロック図である。顔検出装置１００は、入力部１１と、制御部１２と、記憶部１３と、通信インタフェース（Ｉ／Ｆ）１４とを備える。

入力部１１は、顔検出装置１００とカメラ３等の外部機器とを接続するインタフェース回路である。

制御部１２は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて顔検出装置１００の各構成要素の制御を行う情報処理装置である。

記憶部１３は、コンピュータその他の装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶部１３は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部１２で実行される画像処理プログラム、顔検出プログラム等を記憶する。

通信Ｉ／Ｆ１４は、顔検出装置１００と外部機器との通信接続を可能とするためのインタフェース回路を含む。通信Ｉ／Ｆ１４は、例えば、ＩＥＥＥ８０２．３、ＩＥＥＥ８０２．１１又はＷｉ－Ｆｉ、ＬＴＥ、３Ｇ、４Ｇ、５Ｇ等の規格に従って通信を行う。通信Ｉ／Ｆ１４は、ＵＳＢ(Universal Serial Bus)、ＨＤＭＩ(High Definition Multimedia Interface)、ＩＥＥＥ１３９４、Ｂｌｕｅｔｏｏｔｈ等の規格に従って通信を行うインタフェース回路であってもよい。

顔検出装置１００には、入力部１１を介してカメラ３が接続される。カメラ３は、例えば、赤外線に対して感度を有する赤外線カメラである。この場合、顔検出装置１００には、カメラ３の撮像範囲に向けて赤外線を照射する赤外線照射器が取り付けられてもよい。カメラ３は、可視光に対して感度を有する可視光カメラであってもよい。

カメラ３は、例えば、顔検出装置１００が工場内の作業者の顔を検出するために利用される場合には、工場内の作業者を撮影可能な場所に配置される。あるいは、カメラ３は、作業者の頭部に装着される眼鏡型のカメラ、ヘッドマウント型のカメラ等のウェアラブルなカメラであってもよい。カメラ３は、ネットワーク及び通信Ｉ／Ｆ１４を介して、顔検出装置１００に接続されてもよい。

［機能構成］
図３は、図２に示した顔検出装置１００の制御部１２の機能構成例を示すブロック図である。制御部１２は、画像取得部１２１と、マスク有り顔検出器１２２と、マスク無し顔検出器１２３と、マスク有無判定部１２４と、第１マージ処理部１２５と、マージ対象探索部１２６と、第２マージ処理部１２７とを含む。

画像取得部１２１は、入力部１１を介して、カメラ３によって撮像された撮像画像を取得する。マスク有り顔検出器１２２は、取得された撮像画像内でマスク有り顔を検出する。マスク無し顔検出器１２３は、取得された撮像画像内でマスク無し顔を検出する。マスク有無判定部１２４は、マスク有り顔検出器１２２及びマスク無し顔検出器１２３の検出結果に基づいて、撮像画像中の顔がマスク有り顔であるか否かを判定する。マスク有り顔検出器１２２は、本開示の「第１検出器」の一例であり、マスク無し顔検出器１２３は、本開示の「第２検出器」の一例である。

第１マージ処理部１２５は、マスク有無判定部１２４において撮像画像中の顔がマスク有り顔であると判定された場合、検出されたマスク有り顔候補矩形Ｒ１（図７参照）を結合（マージ）して、中間顔矩形Ａを生成する（図８参照）。マスク有り顔候補矩形Ｒ１で囲まれた領域は、本開示の「第１領域」の一例である。以下、第１マージ処理部１２５によって実行されるマージ処理を「第１マージ処理」という。

マージ対象探索部１２６は、マスク無し顔候補矩形Ｒ２（図７参照）の中から、後述の条件を満たすマージ対象矩形を探索する。マスク無し顔候補矩形Ｒ２で囲まれた領域は、本開示の「第２領域」の一例である。マージ対象矩形が検出された場合、第２マージ処理部１２７は、中間顔矩形Ａ（図９参照）を被マージ矩形とし、マージ対象矩形と中間顔矩形Ａとを包含する矩形を最終顔矩形Ｂ（図１０参照）とする。最終顔矩形Ｂで囲まれた領域は、本開示の「対象物領域」の一例である。

マスク有無判定部１２４、第１マージ処理部１２５、マージ対象探索部１２６、及び第２マージ処理部１２７を含む機能ブロックは、本開示の「解析部」の一例である。第１マージ処理部１２５、マージ対象探索部１２６、及び第２マージ処理部１２７を含む機能ブロックは、本開示の「領域特定部」の一例である。

制御部１２の詳細な動作例については後述する。

画像取得部１２１、マスク有り顔検出器１２２、マスク無し顔検出器１２３、マスク有無判定部１２４、第１マージ処理部１２５、マージ対象探索部１２６、及び第２マージ処理部１２７による各処理は、制御部１２が必要なプログラムを実行することによって実行されてもよい。当該プログラムは、記憶部１３に記憶されていてもよい。制御部１２は、必要なプログラムを実行する際、記憶部１３に記憶された当該プログラムをＲＡＭに展開する。そして、制御部１２は、ＲＡＭに展開された当該プログラムをＣＰＵにより解釈及び実行して、顔検出装置１００の各構成要素を制御する。

本実施形態では、制御部１２の各機能がいずれもＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部は、１又は複数の専用のプロセッサにより実現されてもよい。また、制御部１２の構成要素に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。制御部１２は、ＣＰＵ、ＭＰＵ、ＧＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ、ＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。

３．動作例
図４は、顔検出装置１００の制御部１２によって実行される顔検出処理の一例を示すフローチャートである。以下で説明する処理手順は一例に過ぎず、処理手順及び各処理は可能な限り変更されてよい。

（ステップＳ１０１）
まず、制御部１２は、画像取得部１２１として動作し、入力部１１を介して、カメラ３によって撮像された撮像画像を取得する（Ｓ１０１）。例えば、カメラ３は、一定のフレームレートで撮像を行う。ステップＳ１０１においては、制御部１２は、複数の撮像画像を取得してもよい。以下では、制御部１２が、１つの撮像画像を取得した後に次のステップＳ１０２に進む処理例について説明する。しかしながら、本開示はこれに限定されない。例えば、ステップＳ１０１において、制御部１２は、複数フレームで構成される動画を取得してもよいし、複数枚の静止画像を取得してもよい。

（ステップＳ１０２）
次に、制御部１２は、マスク無し顔候補矩形と、マスク有り顔候補矩形とを検出する顔候補矩形検出処理を実行する（Ｓ１０２）。図５を用いて、ステップＳ１０２の顔候補矩形検出処理を詳細に説明する。

図５は、ステップＳ１０２の顔候補矩形検出処理の一例を示すフローチャートである。例えば、制御部１２は、検出顔サイズｉＳｉｚｅ、検出顔回転角度ｉＡｎｇｌｅ、及び検出顔位置ｉＰｏｓの条件で、マスク有り顔検出器１２２によってマスク有り顔候補矩形を検出し（Ｓ１０２ａ）、次に、マスク無し顔検出器１２３によってマスク無し顔候補矩形を検出する（Ｓ１０２ｂ）。図５と異なり、ステップＳ１０２ｂの後にステップＳ１０２ａが実行されてもよい。

ステップＳ１０２ａ及びステップＳ１０２ｂにおいて、制御部１２は、ステップＳ１０１で取得した撮像画像の一部を、検出顔サイズｉＳｉｚｅ、検出顔回転角度ｉＡｎｇｌｅ、及び検出顔位置ｉＰｏｓの条件で切り出す。検出顔サイズｉＳｉｚｅは、撮像画像から切り出される画像のサイズを示し、例えば縦及び横のピクセルによって指定される。図５の検出顔サイズｉＳｉｚｅのループでは、ループの度に撮像画像から切り出される画像のサイズが変更される。

検出顔回転角度ｉＡｎｇｌｅは、撮像画像から切り出される画像の角度を示し、例えば０°以上３６０°未満の角度で表される。検出顔位置ｉＰｏｓは、撮像画像から切り出される画像の位置を示す。制御部１２は、切り出された撮像画像の一部が予め記憶部１３に格納されたテンプレート画像に一致しているか否かを検出する。

制御部１２は、切り出された撮像画像の一部の信頼度を示すスコアが所定の閾値以上である場合、撮像画像の一部とテンプレート画像とが一致すると判断する。スコアは、本開示の「信頼度」の一例である。スコアは、例えば、切り出された撮像画像の一部とテンプレート画像との類似度を示す指標である。スコアは、例えば０～１の範囲の値を取り、値が大きいほど切り出された撮像画像の一部とテンプレート画像との類似度が高いことを意味する。

制御部１２は、例えば、当該撮像画像の一部の縁をマスク有り顔候補矩形又はマスク無し顔候補矩形として記憶部１３に格納するとともに、当該顔候補矩形に対応するスコアを記憶部１３に格納する。

制御部１２は、ｉをインクリメントする等して変化させながら、多数の検出顔サイズｉＳｉｚｅ、検出顔回転角度ｉＡｎｇｌｅ、及び検出顔位置ｉＰｏｓの条件で、ステップＳ１０２ａ及びステップＳ１０２ｂの検出処理を行う。

顔候補矩形を検出する方法は、上記の例に限定されない。例えば、制御部１２は、公知のテンプレートマッチングの方法によって顔候補矩形を検出してもよい。また、例えば、アダブースト（AdaBoost）等の機械学習アルゴリズム、又は畳み込みニューラルネットワーク（Convolutional Neural Network、ＣＮＮ）等のモデルに対する機械学習によって構築された検出器によって顔候補矩形が検出されてもよい。

図６は、このようにして構築された図３のマスク有り顔検出器１２２の一例を示す模式図である。マスク有り顔検出器１２２は、例えば公知のカスケード方式を利用する検出器であり、第１～第Ｎの識別器２－１～２－Ｎを備える。

各識別器は、以下のようにして入力された対象画像がマスク有り顔の画像であるか否かを識別する。対象画像は、例えば上記のような検出顔サイズｉＳｉｚｅ、検出顔回転角度ｉＡｎｇｌｅ、及び検出顔位置ｉＰｏｓの条件で切り出された撮像画像の一部である。

まず、第１識別器２－１は、対象画像がマスク有り顔であるか否かを識別する。マスク有り顔であると識別した場合、第１識別器２－１は、対象画像を第２識別器２－２に対して出力する。第１識別器２－１は、対象画像がマスク有り顔でないと識別した場合、対象画像を削除する等して廃棄する。後続の第２～第Ｎの識別器２－２～２－Ｎも、第１識別器２－１と同様にして、入力された対象画像がマスク有り顔であるか否かを識別する。最終段の第Ｎ識別器２－Ｎは、入力された対象画像がマスク有り顔であると識別した場合、対象画像を出力する。出力された対象画像は、マスク有り顔検出器１２２によってマスク有り顔であると識別されたことになる。すなわち、第１～第Ｎの識別器２－１～２－Ｎのすべてにおいて一貫して「マスク有り顔である」と識別された場合にのみ、対象画像がマスク有り顔を示していると判断される。

マスク有り顔検出器１２２は、例えば、第Ｎ識別器２－Ｎから出力された対象画像の縁をマスク有り顔候補矩形に決定する。このようにして、ステップ１０２ａのマスク有り顔候補矩形検出処理が完了する。

第１～第Ｎの識別器２－１～２－Ｎは、それぞれ、対象画像がマスク有り顔であるか否かを識別するための識別条件を有する。第１～第Ｎの識別器２－１～２－Ｎのそれぞれの識別条件は、異なる厳格度を有する。第１識別器２－１の識別条件は最も緩やかであり、第２識別器２－２の識別条件は、第１識別器２－１の識別条件の次に緩やかである。このように、後段の識別器ほど厳格な識別条件を有し、最終段の第Ｎ識別器２－Ｎの識別条件は最も厳格である。緩やかな条件による識別は、少ない特徴の数でも行えるため、演算量が少ない。したがって、上記のように緩やかな識別器から始めて段階的に厳格な識別器を並べることにより、マスク有り顔でない対象画像を手前の識別器で、したがって、少ない演算量で排除することができる。これにより、マスク有り顔検出器１２２の処理量を低減することができ、処理速度が増加する。

図３のマスク無し顔検出器１２３も、マスク有り顔検出器１２２と同様の構成を有し、マスク無し顔候補矩形を検出する。

（ステップＳ１０３）
制御部１２は、ステップＳ１０２においてマスク有り顔候補矩形及びマスク無し顔候補矩形のいずれも検出しなかった場合、図４の処理を終了する（Ｓ１０３）。例えば、撮像画像内に人の顔が含まれていない場合、ステップＳ１０２においてマスク有り顔候補矩形及びマスク無し顔候補矩形のいずれも検出されない。

（ステップＳ１０４）
次に、制御部１２は、マスク有無判定部１２４として動作し、ステップＳ１０２において検出されたマスク有り顔候補矩形及びマスク無し顔候補矩形に基づいて、撮像画像中の顔がマスク有り顔であるか否かを判定する（Ｓ１０４）。ステップＳ１０４のマスク有り顔判定処理の一例について図７を用いて説明する。

図７は、ステップＳ１０２において検出されたマスク有り顔候補矩形Ｒ１及びマスク無し顔候補矩形Ｒ２を含む撮像画像を例示する模式図である。図７において、マスク有り顔候補矩形Ｒ１は二重線で、マスク無し顔候補矩形Ｒ２は破線で示されている。ステップＳ１０４では、ステップＳ１０２において検出された１つ以上のマスク有り顔候補矩形Ｒ１又は１つ以上のマスク無し顔候補矩形Ｒ２に基づいて、撮像画像中の顔がマスク有り顔であるか否かを判定する。図７に示した例では、３つのマスク有り顔候補矩形Ｒ１と、２つのマスク無し顔候補矩形Ｒ２とが示されている。

図５を参照してステップＳ１０２において説明したように、各マスク有り顔候補矩形Ｒ１及びマスク無し顔候補矩形Ｒ２は、それぞれスコアを有する。ステップＳ１０４では、制御部１２は、マスク有り顔候補矩形Ｒ１及びマスク無し顔候補矩形Ｒ２のそれぞれの重み付き個数を計数する。例えば、制御部１２は、マスク有り顔候補矩形Ｒ１及びマスク無し顔候補矩形Ｒ２のスコアをそれぞれ合算することによって重み付き個数を算出する。図７に示した例では、３つのマスク有り顔候補矩形Ｒ１のそれぞれのスコアが例えば０．７，０．８，及び０．７５であった場合、マスク有り顔候補矩形Ｒ１についてのスコアの合算値は０．７＋０．８＋０．７５＝２．２５となる。他方、２つのマスク無し顔候補矩形Ｒ２のそれぞれのスコアが例えば０．２及び０．１であった場合、マスク無し顔候補矩形Ｒ２についてのスコアの合算値は０．２＋０．１＝０．３となる。

そして、制御部１２は、例えば、マスク有り顔候補矩形Ｒ１についてのスコアの合算値がマスク無し顔候補矩形Ｒ２についてのスコアの合算値以上である場合、撮像画像中の顔がマスク有り顔であると判定する。他方、制御部１２は、マスク有り顔候補矩形Ｒ１についてのスコアの合算値がマスク無し顔候補矩形Ｒ２についてのスコアの合算値未満である場合、撮像画像中の顔がマスク無し顔であると判定する。上記の例では、マスク有り顔候補矩形Ｒ１についてのスコアの合算値２．２５＞マスク無し顔候補矩形Ｒ２についてのスコアの合算値０．３であるため、制御部１２は、撮像画像中の顔がマスク有り顔であると判定する。

（ステップＳ１０５）
ステップＳ１０４において撮像画像中の顔がマスク有り顔であると判定された場合、制御部１２は、マスク有り顔候補矩形Ｒ１をマージして、中間顔矩形Ａを生成する（Ｓ１０５）。制御部１２が撮像画像中の顔がマスク有り顔であると判定した場合（Ｓ１０４でＹｅｓの場合）は、本開示の「解析部が、第１検出器によって第１領域が検出されたと判断した場合」の一例である。図８は、ステップＳ１０５における第１マージ処理によって生成された中間顔矩形Ａを例示する模式図である。図８は、図７の３つのマスク有り顔候補矩形Ｒ１に第１マージ処理を実行することによって生成された中間顔矩形Ａを模式的に例示している。

ステップＳ１０５において実行される第１マージ処理には、公知の方法が用いられてもよい。例えば、第１マージ処理部１２５として動作する制御部１２は、図７の３つのマスク有り顔候補矩形Ｒ１のそれぞれの重心の位置とそれぞれのスコアとに基づいて、中間顔矩形Ａの重心の位置を算出し、算出された重心の位置を重心とする所定の形状の矩形を中間顔矩形Ａとする。

（ステップＳ１０６，Ｓ１０７）
次に、制御部１２は、マージ対象探索部１２６として動作し、マスク無し顔候補矩形Ｒ２（図７参照）の中から、所定の条件を満たすマージ対象矩形を探索する（Ｓ１０６）。マージ対象矩形を検出した場合、ステップＳ１０８に進み、それ以外の場合、ステップＳ１１０に進む（Ｓ１０７）。ステップＳ１０７においてマージ対象矩形を検出した場合（Ｓ１０７でＹｅｓの場合）は、本開示の「解析部が、第１検出器によって第１領域が検出されたと判断し、かつ第２検出器によって第２領域が検出されたと判断した場合」の一例であり、マージ対象矩形を検出しなかった場合（Ｓ１０７でＮｏの場合）は、「第１検出器によって第１領域が検出されたと判断する一方で、第２検出器によって第２領域が検出されなかったと判断した場合」の一例である。ステップＳ１０７では、例えば、撮像画像が鼻出しマスク顔である場合にＹｅｓに進み、マスク有り顔のうち鼻及び口が遮蔽された通常のマスク顔である場合にＮｏに進む。

ステップＳ１０６における所定の条件について、図９を用いて説明する。図９は、マージ対象矩形を例示する模式図である。制御部１２は、マスク無し顔候補矩形Ｒ２の中から、以下の４つの条件を満たすものを選択し、マージ対象矩形とする。言い換えれば、マージ対象矩形は、下記の条件をすべて満たす。
（条件１）
マスク無し顔候補矩形Ｒ２の上端が、中間顔矩形Ａの上端より上方に位置する。
（条件２）
マスク無し顔候補矩形Ｒ２の上端と中間顔矩形Ａの上端との距離が、所定の閾値Ｈ以下である。
（条件３）
マスク無し顔候補矩形Ｒ２の左端と中間顔矩形Ａの左端との距離、及びマスク無し顔候補矩形Ｒ２の右端と中間顔矩形Ａの右端との距離が、所定の閾値Ｗ以下である。
（条件４）
マスク無し顔候補矩形Ｒ２のスコアが所定の閾値以上である。

条件４に関して、マスク無し顔候補矩形Ｒ２のスコアは、例えば、マスク無し顔候補矩形Ｒ２内に映っている画像がマスク無し顔である確率を示す。

（ステップＳ１０８）
制御部１２は、ステップＳ１０６においてマージ対象矩形を検出した場合、マージ対象矩形を中間顔矩形Ａにマージして、最終顔矩形Ｂを決定する（Ｓ１０８）。以下、ステップＳ１０８において実行されるマージ処理を「第２マージ処理」という。図１０は、ステップＳ１０８における第２マージ処理によって生成された最終顔矩形Ｂを例示する模式図である。

第２マージ処理は、マージ対象矩形と、被マージ矩形と、を包含する矩形を出力する処理である。ステップＳ１０８において、第２マージ処理部１２７として動作する制御部１２は、中間顔矩形Ａ（図９参照）を被マージ矩形とし、マージ対象矩形と中間顔矩形Ａとを包含する矩形を最終顔矩形Ｂとする。

このように、ステップＳ１０８では、制御部１２は、マスク無し顔検出器１２３によってマスク無し顔候補矩形が検出され、かつマスク有り顔検出器１２２によってマスク有り顔候補矩形が検出されたと判断すると、マージ対象矩形と中間顔矩形Ａとを結合するように最終顔矩形Ｂを特定する。

（ステップＳ１１０）
制御部１２は、ステップＳ１０６においてマージ対象矩形を検出しなかった場合、第２マージ処理等の処理を行わず、中間顔矩形Ａを最終顔矩形Ｂとして特定する（Ｓ１１０）。

（ステップＳ１０９）
また、ステップＳ１０４に戻り、撮像画像中の顔がマスク有り顔でないと判定された場合、制御部１２は、すべてのマスク無し顔候補矩形Ｒ２を対象として第１マージ処理を実行して、最終顔矩形Ｂを決定する（Ｓ１０９）。

４．作用・効果
以上のように、画像解析装置の一例である顔検出装置１００は、撮像画像を取得する画像取得部１２１と、第１検出器の一例であるマスク有り顔検出器１２２と、第２検出器の一例であるマスク無し顔検出器１２３と、解析部として動作する制御部１２とを備える。マスク有り顔検出器１２２は、撮像画像内で、一部が遮蔽物の一例であるマスクにより遮蔽された、対象物の一例である顔を示す第１領域を検出する。マスク無し顔検出器１２３は、撮像画像内で、マスクにより遮蔽されていない顔を示す第２領域を検出する。制御部１２は、撮像画像内で顔が映った領域を示す顔領域を特定する。制御部１２は、マスク有り顔検出器１２２によって第１領域が検出されたと判断する（Ｓ１０４でＹｅｓ）一方で、マスク無し顔検出器１２３によって第２領域が検出されなかったと判断した場合（Ｓ１０７でＮｏ）は、第１領域を顔領域として特定する（Ｓ１１０）。制御部１２は、マスク有り顔検出器１２２によって第１領域が検出されたと判断し（Ｓ１０４でＹｅｓ）、かつマスク無し顔検出器１２３によって第２領域が検出されたと判断した場合（Ｓ１０７でＹｅｓ）は、第１領域と第２領域とを包含する領域を顔領域として特定する（Ｓ１０８）。第１領域と第２領域とを包含する領域を顔領域として特定することは、本開示の第２マージ処理の一例である。

以上の顔検出装置１００によると、鼻及び口を覆うようにマスクを着用した人の顔の撮像画像については、第１領域、すなわちマスク有り顔検出器１２２単独の検出結果を顔領域として特定することができる。これに加えて、鼻を遮蔽しないようにマスクを着用した人の顔（鼻出しマスク顔）の撮像画像については、マスク有り顔検出器１２２とマスク無し顔検出器１２３の双方の検出結果を用いて、第１領域と第２領域とを包含する領域を顔領域として特定することができる。鼻出しマスク顔の中には、様々な鼻出しの程度のもの、口がマスクに覆われているもの、口もマスクに覆われていないもの等の多様なマスクの着用態様があり得るが、顔検出装置１００は、これらの多様なマスクの着用態様の顔の撮像画像についても、顔領域を検出することができる。このように、顔検出装置１００は、マスクにより顔が遮蔽されている場合において、従来技術よりも多様な遮蔽の態様に応じて顔領域を検出することができる。

また、顔検出装置１００には鼻出しマスク顔を検出するための検出器を設ける必要がないため、負荷及び処理時間の増加を抑えつつ、鼻出しマスク顔を検出することができる。例えば作業者の眠気等の覚醒度を測定するために顔検出装置１００を利用する場合、作業者の顔の撮像後に即時に顔検出処理を行うリアルタイム処理が要求されるところ、本開示の顔検出装置１００は負荷及び処理時間の増加を抑えることができるため有利である。

なお、顔検出装置１００の解析部は、第１検出器によって第１領域が検出されなかったと判断する一方で、第２検出器によって第２領域が検出されたと判断した場合は、第２領域を対象物領域として特定してもよい。このように、顔検出装置１００は、マスクを着用していない人の顔の撮像画像について、顔領域を検出することができる。

５．変形例
以上、本開示の実施形態を詳細に説明したが、前述までの説明はあらゆる点において本開示の例示に過ぎない。本開示の範囲を逸脱することなく種々の改良や変形を行うことができる。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略する。以下の変形例は適宜組み合わせることができる。

［５－１．第１変形例］
上記の実施形態では、工場用途に適用される顔検出システム１について説明した。しかしながら、本開示はこれに限定されない。例えば、顔検出システム１は、オフィス等において利用されてもよい。例えば、オフィスにおいてデスクワークを行なうデスク作業者、及び在宅でデスクワークを行うデスク作業者等の、同じ場所で作業を続けるような作業者の覚醒度が低下した場合、顔検出システム１は、スピーカから作業者に休憩を促すアナウンスを流す等の制御をしてもよい。これにより、デスクワークにおけるミス等が生じるリスクを低減することができる。

顔検出システム１は、車載用途に適用されてもよい。例えば、顔検出装置１００が車両を運転する運転者の顔を検出するために利用される場合、カメラ３は、ステアリングコラムカバー、ダッシュボード、及びルームミラー付近等の運転者の前方に取り付けられる。カメラ３の位置はこれに限定されず、運転者の顔を撮像できる位置であればよい。

運転者が眠気を感じる等、運転者の覚醒度が低下した場合、顔検出システム１は、座席に取り付けられた振動装置を振動させ、及び／又は、警告音や休憩を促すアナウンスをスピーカに出力させる制御を実行してもよい。また、例えば、顔検出システム１は、運転者の覚醒度が低下した場合、車両のステアリング及びブレーキ等を制御して、自動運転制御及び自動ブレーキ制御を行ってもよい。これにより、運転者の覚醒度の低下に起因する事故を防止することができる。

顔検出システム１は、医療用途に適用されてもよい。例えば、レビー小体型認知症やアルツハイマー型認知症の患者等の認知症患者、及び軽度認知障害を有する人においては、サッカードの頻度が増加することが知られている。そこで、顔検出システム１は、視線検出装置６０によってサッカードの頻度を検出することによって、認知症及び軽度認知障害等の診断に用いられてもよい。

また、顔検出装置１００は、デジタルカメラの自動的な顔検出機能にも適用できる。さらに、顔検出装置１００は、例えばセキュリティ用途のため、道路上、及び駅構内等の建物の中等における歩行者の顔を検出するために利用できる。この場合、カメラ３は、道路上、及び駅構内等の建物の中を撮影するように配置されてもよい。

［５－２．第２変形例］
上記の実施形態では、矩形であるマスク有り顔候補矩形Ｒ１、マスク無し顔候補矩形Ｒ２、中間顔矩形Ａ、及び最終顔矩形Ｂ等の顔領域について説明した。しかしながら、これらの顔領域の形状は矩形に限定されない。例えば、これらの顔領域の形状は、矩形以外の四角形、多角形、円、及び楕円であってもよい。上記の実施形態では、第２マージ処理は、マージ対象矩形と、被マージ矩形と、を包含する矩形を出力する処理と説明したが、顔領域の形状が矩形でない場合、第２マージ処理は、複数のマージ対象領域を包含する結果領域を生成する処理である。例えば、第２マージ処理は、２つのマージ対象領域を包含する結果領域であって、当該２つのマージ対象領域のそれぞれと少なくとも１点で接するものを生成する処理である。

（付記）
以下、本開示に係る各種態様を付記する。

本開示の一態様に係る画像解析装置（１００）は、
撮像画像を取得する画像取得部（１２１）と、
前記撮像画像内で、一部が遮蔽物により遮蔽された対象物を示す第１領域を検出する第１検出器（１２２）と、
前記撮像画像内で、前記遮蔽物により遮蔽されていない前記対象物を示す第２領域を検出する第２検出器（１２３）と、
前記撮像画像内で前記対象物が映った領域を示す対象物領域（Ｂ）を特定する解析部とを備える。
前記解析部は、
前記第１検出器（１２２）によって前記第１領域が検出されたと判断する一方で、前記第２検出器（１２３）によって前記第２領域が検出されなかったと判断した場合は、前記第１領域を前記対象物領域（Ｂ）として特定し、
前記第１検出器（１２２）によって前記第１領域が検出されたと判断し、かつ前記第２検出器（１２３）によって前記第２領域が検出されたと判断した場合は、前記第１領域と前記第２領域とを包含する領域を前記対象物領域（Ｂ）として特定する。

前記画像解析装置（１００）は、
前記撮像画像において、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定部（１２４）を更に備え、
前記解析部は、前記判定部（１２４）によって前記対象物が前記遮蔽物により遮蔽されていると判定された場合、前記第２領域の中から所定の条件を満たす結合対象領域を検出し、前記第１領域と前記結合対象領域とを包含する領域を前記対象物領域（Ｂ）として特定してもよい。

前記条件は、前記結合対象領域が前記第１領域と所定の位置関係にあることを含んでもよい。

前記解析部は、複数の前記第１領域を結合することによって中間領域（Ａ）を決定し、
前記中間領域（Ａ）と前記結合対象領域とを包含する領域を前記対象物領域（Ｂ）として特定してもよい。

前記条件は、前記結合対象領域が前記中間領域（Ａ）と所定の位置関係にあることを含んでもよい。

前記条件は、前記結合対象領域の信頼度が所定の閾値以上であることを含んでもよい。

前記対象物は、人の顔であってもよい。

前記遮蔽物は、マスクであってもよい。

本開示の一態様に係る画像解析方法は、
制御部（１２）が、撮像画像を取得するステップ（Ｓ１０１）と、
前記撮像画像内で、一部が遮蔽物により遮蔽された対象物を示す第１領域を検出する第１領域検出ステップ（Ｓ１０２ａ）と、
前記撮像画像内で、前記遮蔽物により遮蔽されていない前記対象物を示す第２領域を検出する第２領域検出ステップ（Ｓ１０２ｂ）と、
前記撮像画像内で前記対象物が映った領域を示す対象物領域（Ｂ）を特定する解析ステップとを含む。
前記解析ステップにおいて、制御部（１２）は、
前記第１領域検出ステップ（Ｓ１０２ａ）において前記第１領域が検出されたと判断する一方で、前記第２領域検出ステップ（Ｓ１０２ｂ）において前記第２領域が検出されなかったと判断した場合は、前記第１領域を前記対象物領域（Ｂ）として特定し（Ｓ１１０）、
前記第１領域検出ステップ（Ｓ１０２ａ）において前記第１領域が検出され、かつ前記第２領域検出ステップ（Ｓ１０２ｂ）において前記第２領域が検出されたと判断した場合は、前記第１領域と前記第２領域とを包含する領域を前記対象物領域（Ｂ）として特定する（Ｓ１０８）。

本開示の一態様に係るプログラムは、上記の態様の画像解析方法を制御部に実行させる。

１ 顔検出システム
３ カメラ
１１ 入力部
１２ 制御部
１３ 記憶部
１４ 通信Ｉ／Ｆ
５０ 目開閉検出装置
６０ 視線検出装置
７０ 顔向き検出装置
１００ 顔検出装置（画像解析装置）
１２１ 画像取得部
１２２ マスク有り顔検出器（第１検出器）
１２３ マスク無し顔検出器（第２検出器）
１２４ マスク有無判定部
１２５ 第１マージ処理部
１２６ マージ対象探索部
１２７ 第２マージ処理部

Claims (9)

1. 撮像画像を取得する画像取得部と、
   前記撮像画像内で、一部が遮蔽物により遮蔽された対象物を示す第１領域を検出する第１検出器と、
   前記撮像画像内で、前記遮蔽物により遮蔽されていない前記対象物を示す第２領域を検出する第２検出器と、
   前記撮像画像内で前記対象物が映った領域を示す対象物領域を特定する解析部と、
   前記撮像画像において、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定部と、を備え、
   前記解析部は、
   前記第１検出器によって前記第１領域が検出されたと判断する一方で、前記第２検出器によって前記第２領域が検出されなかったと判断した場合は、前記第１領域を前記対象物領域として特定し、
   前記第１検出器によって前記第１領域が検出されたと判断し、かつ前記第２検出器によって前記第２領域が検出されたと判断した場合は、前記第１領域と前記第２領域とを包含する領域を前記対象物領域として特定し、
   前記解析部は、前記判定部によって前記対象物が前記遮蔽物により遮蔽されていると判定された場合、前記第２領域の中から所定の条件を満たす結合対象領域を検出し、前記第１領域と前記結合対象領域とを包含する領域を前記対象物領域として特定する、
   画像解析装置。
2. 前記条件は、前記結合対象領域が前記第１領域と所定の位置関係にあることを含む、請求項１に記載の画像解析装置。
3. 前記解析部は、複数の前記第１領域を結合することによって中間領域を決定し、
   前記中間領域と前記結合対象領域とを包含する領域を前記対象物領域として特定する、請求項１又は２に記載の画像解析装置。
4. 前記条件は、前記結合対象領域が前記中間領域と所定の位置関係にあることを含む、請求項３に記載の画像解析装置。
5. 前記条件は、前記結合対象領域の信頼度が所定の閾値以上であることを含む、請求項１～４のいずれかに記載の画像解析装置。
6. 前記対象物は、人の顔である、請求項１～５のいずれかに記載の画像解析装置。
7. 前記遮蔽物は、マスクである、請求項６に記載の画像解析装置。
8. 制御部が、撮像画像を取得するステップと、
   前記撮像画像内で、一部が遮蔽物により遮蔽された対象物を示す第１領域を検出する第１領域検出ステップと、
   前記撮像画像内で、前記遮蔽物により遮蔽されていない前記対象物を示す第２領域を検出する第２領域検出ステップと、
   前記撮像画像において、前記対象物が前記遮蔽物により遮蔽されているか否かを判定する判定ステップと、
   前記撮像画像内で前記対象物が映った領域を示す対象物領域を特定する解析ステップとを含み、
   前記解析ステップにおいて、制御部は、
   前記第１領域検出ステップにおいて前記第１領域が検出されたと判断する一方で、前記第２領域検出ステップにおいて前記第２領域が検出されなかったと判断した場合は、前記第１領域を前記対象物領域として特定し、
   前記第１領域検出ステップにおいて前記第１領域が検出されたと判断し、かつ前記第２領域検出ステップにおいて前記第２領域が検出されたと判断した場合は、前記第１領域と前記第２領域とを包含する領域を前記対象物領域として特定し、
   前記判定ステップにおいて前記対象物が前記遮蔽物により遮蔽されていると判定された場合、前記第２領域の中から所定の条件を満たす結合対象領域を検出し、前記第１領域と前記結合対象領域とを包含する領域を前記対象物領域として特定する、画像解析方法。
9. 請求項８に記載の画像解析方法を制御部に実行させるためのプログラム。

Images