JP6725121B1 - 視線検出方法、視線検出装置、及び制御プログラム - Google Patents

Abstract

【課題】視線の検出精度のさらなる向上を図る。【解決手段】人の顔の画像データを取得し、顔の画像データから人の左目を含む左目領域及び人の右目を含む右目領域を検出し、右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから人の耳を含む耳領域及び人の髪を含む髪領域の少なくとも一方を検出し、一方の目領域に含まれる一方の目の位置を示す情報と耳領域に含まれる耳の位置及び髪領域に含まれる髪の位置の少なくとも一方の位置を示す情報とに基づいて、顔の向きを示す情報を検出し、一方の目の位置を示す情報と顔の向きを示す情報とに基づいて、人の視線を示す情報を検出する。【選択図】図２

Description

本開示は、人の視線を検出する技術に関するものである。

視線検出技術は、人物の興味対象の推定、眠気等の人物の状態の推定、及び視線による機器への入力を行うユーザインターフェースといった種々の用途で用いられている。視線検出技術は、頭部装着型と非接触型とに大別される。頭部装着型の視線検出技術は、ヘッドマウントディスプレイ等の装置を人物の頭部に装着して視線を検出する技術である。非接触型の視線検出技術は人物に装置を装着することなく視線を検出する技術である。非接触型の視線検出技術は、頭部装着型の視線検出技術のように頭部に装置を装着する必要がないため、人物に煩わしさを与えない、人物の視界を遮らないといった利点がある。そこで、本開示では、非接触型の視線検出技術に着目している。

ここで、非接触型の視線検出技術は、瞳孔角膜反射法と三次元眼球モデルによる方法との２つに大別される。瞳孔角膜反射法とは、例えば特許文献１に記載のように、発光素子によって人間の目に光を照射し、目に投影された反射像の位置と、光の照射角度と、反射像の位置の移動量等によって視線を検出する方法である。

三次元眼球モデルによる方法とは、顔画像を解析することにより得られた眼球に関する情報に基づき、視線方向を推定する方法である。例えば、特許文献２には、顔画像を解析することにより得られた眼球の回転角及び顔の向きから視線方向を推定する方法が開示されている。また、顔画像を解析することにより得られた眼球中心位置と虹彩中心位置とを結ぶ三次元ベクトルを視線方向と推定したり、瞳孔中心位置の接平面に対する法線を視線方向と推定したりする方法も知られている。

特開昭６１−１７２５５２号公報 特開２００３−２７１９３２号公報

しかし、非接触型の視線検出技術においては、顔の片側を示す顔画像を用いた場合、言い換えると、顔画像から片方の目しか検出できない場合には、視線方向を精度良く検出することが困難となる。そのため、例えば、歩行者の進行方向に対して側方に設置した対象物に対して、歩行者の視線情報に基づき注視度やわき見の有無を判定するといったことが困難になるという課題がある。上記特許文献１及び２に開示の非接触型の視線検出技術では、このような片方の目しか検出できない場合の視線の検出方法について具体的に考慮されていない。

本開示は、このような課題を解決するためになされたものであり、顔画像から片方の目しか検出できない場合における視線の検出精度のさらなる向上を図ることを目的とする。

本開示の第一の態様は、視線検出装置における視線検出方法であって、人の顔の画像データを取得し、前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出し、前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記顔の画像データから前記人の耳を含む耳領域及び前記人の髪を含む髪領域の少なくとも一方を検出し、前記一方の目領域に含まれる一方の目の位置を示す情報と前記耳領域に含まれる耳の位置及び前記髪領域に含まれる髪の位置の少なくとも一方の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出し、前記一方の目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出する。

本開示の第二の態様は、視線検出装置における視線検出方法であって、人の顔の画像データを取得し、前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出し、前記右目領域及び前記左目領域を検出した場合、前記顔の画像データから前記顔の向きを示す情報を検出し、前記右目領域に含まれる右目の位置を示す情報及び前記左目領域に含まれる左目の位置を示す情報と前記顔の向きを示す情報とを用いた第一の処理により前記人の視線を示す情報を検出し、前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記一方の目領域に含まれる一方の目の位置を示す情報と前記顔における目と異なる部位の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出し、前記一方の目の位置を示す情報と前記顔の向きを示す情報とを用いた第二の処理により前記人の視線を示す情報を検出する。

本開示によれば、顔画像から片方の目しか検出できない場合における視線の検出精度のさらなる向上を図ることができる。

本開示の実施の形態１に係る画像処理システムの全体構成の一例を示す図である。 実施の形態１に係る画像処理システムの詳細な構成の一例を示すブロック図である。 右目領域及び左目領域の一例を示す図である。 片目視線検出部の詳細な構成の一例を示すブロック図である。 耳領域の一例を示す図である。 顔領域の一例を示す図である。 二値化された顔領域の一例を示す図である。 二値化された顔領域の他の一例を示す図である。 上方からみた人物の顔向き度合の一例を示す模式図である。 人物の視野角を示す図である。 視線方向の検出方法の説明図である。 実施の形態１に係る画像処理装置の動作の一例を示すフローチャートである。 実施の形態１に係る片目視線検出部の動作の一例を示すフローチャートである。 実施の形態２に係る画像処理システムの詳細な構成の一例を示すブロック図である。

（本開示の基礎となる知見）
従来の三次元眼球モデルによる視線の検出方法においては、顔画像を解析することによって、両目の眼球に関する情報を検出し、当該検出した情報に基づいて視線方向が推定される。しかし、検出対象の人がわき見していることで、片方の目しか含まれていない顔画像が視線検出に用いられる場合がある。この場合、顔画像から検出可能な片目と、顔画像から検出できない片目とが共に略同じ方向を向いている等と推定する他なかった。

このように、従来の三次元眼球モデルによる視線の検出方法は、顔の片側を示す顔画像しか検出できない場合において、視線方向を精度良く検出することが困難であった。視線方向を精度良く検出できなければ、例えば、歩行者の進行方向に対して側方に設置した対象物に対して、歩行者の視線情報に基づき注視度やわき見の有無を判定することが困難になる。

本発明者は、このような課題に対して詳細な検討を行った結果、顔画像から片目しか検出できない場合、目とは異なる部位に関する情報を用いることにより、視線検出の精度を向上できるとの知見を得て、下記に示す各態様を想到するに至った。

本開示の第一の態様に係る視線検出方法は、視線検出装置における視線検出方法であって、人の顔の画像データを取得し、前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出し、前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記顔の画像データから前記人の耳を含む耳領域及び前記人の髪を含む髪領域の少なくとも一方を検出し、前記一方の目領域に含まれる一方の目の位置を示す情報と前記耳領域に含まれる耳の位置及び前記髪領域に含まれる髪の位置の少なくとも一方の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出し、前記一方の目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出する。

本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから耳領域及び髪領域の少なくとも一方が検出される。そして、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された耳領域及び髪領域の少なくとも一方に含まれる耳又は髪の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。そして、当該検出された顔の向きを示す情報と前記一方の目の位置を示す情報とに基づいて、人の視線を示す情報が検出される。

これにより、本構成は、右目又は左目だけを含む顔の画像データしか取得できない場合でも、両目の位置関係に代えて、検出された片目と耳又は髪との位置関係に基づいて、顔の向きを精度よく検出することができる。その結果、本構成は、顔画像から片方の目しか検出できない場合であっても、顔の向きを精度よく特定でき、ひいては視線の検出精度を向上させることができる。

上記態様において、前記一方の目領域のみを検出した場合、前記顔の画像データから前記耳領域を検出し、前記耳領域を検出できた場合、前記一方の目の位置を示す情報と前記耳の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出してもよい。

本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから耳領域が検出され、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された耳領域に含まれる耳の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、両目の位置関係に代えて、片目と耳の位置関係に基づいて、顔の向きを精度よく検出することができる。

上記態様において、前記耳領域を検出できなかった場合、前記顔の画像データから前記髪領域を検出し、前記一方の目の位置を示す情報と前記髪の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出してもよい。

本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから髪領域が検出され、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された髪領域に含まれる髪の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、両目の位置関係に代えて、片目と髪の位置関係に基づいて、顔の向きを精度よく検出することができる。

上記態様において、前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から前記耳の位置までの第二距離と、に基づいて、前記顔の向きを示す情報を検出してもよい。

本構成によれば、前記一方の目の位置から、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する顔の輪郭線上の点を示す輪郭点までの第一距離と、前記一方の目の位置から耳の位置までの第二距離とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、第一距離が示す、検出された片目よりも目頭側の顔の幅と、第二距離が示す、検出された片目よりも耳側、すなわち、目尻側の顔の幅とに基づいて、顔の向きを精度よく検出することができる。

上記態様において、前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から、前記一方の目の目頭の位置よりも目尻側に位置する前記髪領域内の点までの第三距離と、に基づいて、前記顔の向きを示す情報を検出してもよい。

本構成によれば、前記一方の目の位置から、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する顔の輪郭線上の点を示す輪郭点までの第一距離と、前記一方の目の位置から、前記一方の目の目頭の位置よりも目尻側に位置する髪領域内の点までの第三距離と、に基づいて、顔の向きを示す情報が検出される。これにより、本構成は、第一距離が示す、検出された片目よりも目頭側の顔の幅と、第三距離が示す、検出された片目よりも目尻側の顔の幅とに基づいて、顔の向きを精度よく検出することができる。

上記態様において、前記右目領域及び前記左目領域を検出した場合、前記顔の画像データから前記顔の向きを示す情報を検出し、前記右目領域に含まれる右目の位置及び前記左目領域に含まれる左目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出してもよい。

本構成によれば、顔の画像データから右目領域及び左目領域を検出した場合、顔の画像データから顔の向きを示す情報が検出される。そして、当該検出された顔の向きを示す情報と両目の位置を示す情報とに基づいて、人の視線を示す情報が検出される。これにより、本構成は、顔画像から両目を検出できる場合には、顔の画像データから得られる両目の位置と顔の向きとから、視線を検出することができる。

本開示の第二の態様に係る視線検出方法は、視線検出装置における視線検出方法であって、人の顔の画像データを取得し、前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出し、前記右目領域及び前記左目領域を検出した場合、前記顔の画像データから前記顔の向きを示す情報を検出し、前記右目領域に含まれる右目の位置を示す情報及び前記左目領域に含まれる左目の位置を示す情報と前記顔の向きを示す情報とを用いた第一の処理により前記人の視線を示す情報を検出し、前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記一方の目領域に含まれる一方の目の位置を示す情報と前記顔における目と異なる部位の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出し、前記一方の目の位置を示す情報と前記顔の向きを示す情報とを用いた第二の処理により前記人の視線を示す情報を検出する。

本構成によれば、顔の画像データから右目領域及び左目領域を検出した場合、顔の画像データから顔の向きを示す情報が検出される。そして、当該検出された顔の向きを示す情報と両目の位置を示す情報とを用いた第一の処理により、人の視線を示す情報が検出される。これにより、本構成は、顔画像から両目を検出できる場合には、第一の処理を行うことで、両目の位置と顔の向きとから、視線を検出することができる。

一方、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、前記一方の目領域に含まれる一方の目の位置を示す情報と、顔における目とは異なる部位の位置を示す情報と、に基づいて、顔の向きを示す情報が検出される。そして、当該検出された顔の向きを示す情報と前記一方の目の位置を示す情報とを用いた第二の処理により、人の視線を示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合には、目とは異なる部位と検出された片目との位置関係に基づいて顔の向きを検出し、第二の処理を行うことで、検出された片目の位置と当該検出された顔の向きとから、視線を検出することができる。

このように、本構成は、顔画像から検出される目の数に応じて処理を切り替えて、適切に視線を検出することができる。

上記態様において、前記異なる部位は、耳又は髪であってもよい。

本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、前記一方の目領域に含まれる一方の目の位置を示す情報と、耳又は髪の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、検出された片目と耳又は髪との位置関係に基づいて、顔の向きを精度よく検出することができる。

上記態様において、前記一方の目領域のみを検出した場合、前記顔の画像データから前記人の耳を含む耳領域を検出し、前記耳領域を検出できた場合、前記一方の目の位置を示す情報と前記耳領域に含まれる耳の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出してもよい。

本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから耳領域が検出され、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された耳領域に含まれる耳の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、両目の位置関係に代えて、片目と耳の位置関係に基づいて、顔の向きを精度よく検出することができる。

上記態様において、前記耳領域を検出できなかった場合、前記顔の画像データから前記人の髪を含む髪領域を検出し、前記一方の目の位置を示す情報と前記髪領域に含まれる髪の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出してもよい。

本構成によれば、顔の画像データから右目領域又は左目領域の一方の目領域のみを検出した場合、顔の画像データから髪領域が検出され、前記一方の目領域に含まれる一方の目の位置を示す情報と、当該検出された髪領域に含まれる髪の位置を示す情報とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、顔画像から片方の目しか検出できない場合であっても、両目の位置関係に代えて、片目と髪の位置関係に基づいて、顔の向きを精度よく検出することができる。

上記態様において、前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と前記一方の目の位置から前記耳の位置までの第二距離とに基づいて、前記顔の向きを示す情報を検出してもよい。

本構成によれば、前記一方の目の位置から、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する顔の輪郭線上の点を示す輪郭点までの第一距離と、前記一方の目の位置から耳の位置までの第二距離とに基づいて、顔の向きを示す情報が検出される。これにより、本構成は、第一距離が示す、検出された片目よりも目頭側の顔の幅と、第二距離が示す、検出された片目よりも耳側、すなわち、目尻側の顔の幅とに基づいて、顔の向きを精度よく検出することができる。

上記態様において、前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から、前記一方の目の目頭の位置よりも目尻側に位置する前記髪領域内の点までの第三距離と、に基づいて、前記顔の向きを示す情報を検出してもよい。

本構成によれば、前記一方の目の位置から、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する顔の輪郭線上の点を示す輪郭点までの第一距離と、前記一方の目の位置から、前記一方の目の目頭の位置よりも目尻側に位置する髪領域内の点までの第三距離と、に基づいて、顔の向きを示す情報が検出される。これにより、本構成は、第一距離が示す、検出された片目よりも目頭側の顔の幅と、第三距離が示す、検出された片目よりも目尻側の顔の幅とに基づいて、顔の向きを精度よく検出することができる。

本開示は、このような視線検出方法に含まれる特徴的な各構成をコンピュータに実行させる制御プログラム、或いはこの制御プログラムによって動作する視線検出装置として実現することもできる。また、このような制御プログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

尚、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。

（実施の形態１）
図１は、本開示の実施の形態１に係る画像処理システム１の全体構成の一例を示す図である。画像処理システム１は、人物４００を撮影し、得られた人物４００の画像データから人物４００の視線を示す視線情報を検出するシステムである。図１の例では、画像処理システム１は、表示装置３００に表示された複数のオブジェクト３０１のうち、どのオブジェクト３０１を人物４００が注視しているかを特定している。但し、これは一例であり、画像処理システム１は、表示装置３００の表示画面上に表示されたオブジェクト３０１のみならず、実空間内において人物４００が注視するオブジェクト３０１を特定してもよい。

図１の例では、画像処理システム１はデジタルサイネージシステムに適用されている。したがって、表示装置３００に表示されるオブジェクト３０１は、広告等のサイネージの画像となる。

画像処理システム１は、画像処理装置１００、カメラ２００、及び表示装置３００を含む。画像処理装置１００は、カメラ２００及び表示装置３００と所定の通信路を介して接続されている。所定の通信路は、例えば、有線ＬＡＮ等の有線の通信路、又は無線ＬＡＮ及びブルートゥース（登録商標）等の無線の通信路である。画像処理装置１００は、例えば表示装置３００の周囲に設置されたコンピュータで構成されている。但し、これは一例であり、画像処理装置１００は、クラウドサーバで構成されてもよい。この場合、画像処理装置１００は、カメラ２００及び表示装置３００とインターネットを介して接続される。画像処理装置１００は、カメラ２００で撮像された人物４００の画像データから、人物４００の視線情報を検出し、表示装置３００に出力する。また、画像処理装置１００は、カメラ２００又は表示装置３００にハードウェアとして組み込まれてもよい。また、カメラ２００又は表示装置３００がプロセッサを備え、画像処理装置１００がソフトウェアとして組み込まれていてもよい。

カメラ２００は、例えば所定のフレームレートで表示装置３００の周囲の環境を撮影することにより、表示装置３００の周囲に位置する人物４００の画像データを取得する。カメラ２００は、取得した画像データを所定のフレームレートで順次に画像処理装置１００に出力する。カメラ２００は、可視光カメラであってもよいし、赤外光カメラであってもよい。また、カメラ２００は、例えば、表示装置３００又はスマートフォン等の電子機器が機能的に備える可視光カメラ又は赤外光カメラであってもよい。

表示装置３００は、例えば液晶パネル又は有機ＥＬパネル等の表示装置で構成されている。図１の例では、表示装置３００は、サイネージディスプレイである。尚、図１の例では、画像処理システム１は、表示装置３００を含むとして説明したが、これは一例であり、表示装置３００に代えて、別の機器が採用されてもよい。例えば、画像処理システム１が視線により機器への入力を受け付けるユーザインターフェースとして利用されるのであれば、画像処理システム１は例えば表示装置３００に代えて、冷蔵庫、テレビ、及び洗濯機等の家電機器が採用されてもよい。例えば、画像処理システム１が車両に搭載されるのであれば、表示装置３００に代えて、自動車等の車両が採用されてもよい。この場合、カメラ２００は、家電機器又は車両等が機能的に備える可視光カメラ又は赤外光カメラであってもよい。更に、表示装置３００に代えてハードディスクドライブ、ソリッドステートドライブ等の記憶装置が採用されてもよい。

図２は、実施の形態１に係る画像処理システム１の詳細な構成の一例を示すブロック図である。画像処理装置１００は、プロセッサ１１０を含む。プロセッサ１１０は、ＣＰＵ、ＦＰＧＡ等の電気回路である。プロセッサ１１０は、視線検出装置１２０及び出力部１３０を含む。

視線検出装置１２０は、画像取得部１２１、目検出部１２２、両目視線検出部１２３、及び片目視線検出部１２４を含む。尚、プロセッサ１１０が備える各ブロックは、プロセッサ１１０がコンピュータを画像処理装置として機能させる制御プログラムを実行することで実現されてもよいし、専用の電気回路で構成されてもよい。

画像取得部１２１は、カメラ２００が撮像した画像データを取得する。ここで、取得される画像データには、表示装置３００の周囲の人物４００（人の一例）の顔が含まれる。尚、画像取得部１２１が取得する画像データは、例えばウェブサイトに掲載された画像データであってもよいし、外部の記憶装置が記憶する画像データであってもよい。

目検出部１２２は、画像取得部１２１が取得した画像データから人物４００の左目を含む左目領域及び人物４００の右目を含む右目領域を検出する。以降、左目領域及び右目領域を総称する場合、目領域と記載する。詳細には、目検出部１２２は、目領域を検出するために予め作成された分類器を用いて目領域を検出すればよい。ここで用いられる分類器は、例えばオープンソースによる画像処理ライブラリにおいて目領域を検出するために予め作成されたハール（Ｈａａｒ）状のカスケード分類器である。

目領域は、目の大きさに所定のマージンを加えた程度のサイズを持つ矩形状の領域である。但し、これは一例であり、目領域の形状は矩形以外の、例えば、３角形、５角形、６角形、又は８角形等であってもよい。また、目領域の境界を目に対してどの位置に設定するのかは分類器の性能に依存する。

図３は、右目領域５０Ｒ及び左目領域５０Ｌの一例を示す図である。図３に示すように、本実施の形態において、目とは、上瞼の境界５３と下瞼の境界５４とによって取り囲まれる、白目と、黒目等の有色の部分とを含む領域を指す。瞳とは、図３に示すように、瞳孔５５と、瞳孔５５を取り囲むドーナツ状の虹彩５６とを含む有色の部分を指す。また、本実施の形態では、説明の便宜上、右目とは人物４００を正面から見て右側にある目のことを指し、左目とは人物４００を正面から見て左側にある目のことを指す。図３は、目検出部１２２が、右目を含む右目領域５０Ｒ及び左目を含む左目領域５０Ｌを検出した例を示している。但し、これは一例であり、人物４００から見て右側にある目を右目、人物４００から見て左側にある目を左目としてもよい。また、本実施の形態では、紙面の右側の方向を右方、紙面の左側の方向を左方とする。

両目視線検出部１２３は、目検出部１２２が右目領域５０Ｒ及び左目領域５０Ｌを検出した場合、画像取得部１２１が取得した画像データから、人物４００の顔の向きを示す情報（以降、顔向き情報）を検出する。そして、両目視線検出部１２３は、右目領域５０Ｒに含まれる右目の位置を示す情報及び左目領域５０Ｌに含まれる左目の位置を示す情報と、検出した顔向き情報とを用いた第一の処理により、人物４００の視線を示す情報（以降、視線情報）を検出する。

具体的には、両目視線検出部１２３が行う顔向き情報の検出及び第一の処理には、３次元眼球モデルにより視線を検出する公知の視線検出処理を適用すればよい。両目視線検出部１２３は、顔向き情報の検出に適用する公知の視線検出処理に応じて、画像取得部１２１が取得した画像データから、顔向き情報を検出すればよい。顔向き情報には、例えば、カメラ２００の光軸に対する顔の正面方向を示す角度等が含まれる。また、両目視線検出部１２３は、第一の処理として適用する公知の視線検出処理に応じて、目検出部１２２が検出した右目領域５０Ｒ及び左目領域５０Ｌから、右目及び左目の位置を示す情報を取得すればよい。右目の位置を示す情報には、例えば、右目の瞳、右目の瞳孔、右目の目頭、右目の目尻及び右目の重心の位置等が含まれる。同様に、左目の位置を示す情報には、例えば、左目の瞳、左目の瞳孔、左目の目頭、左目の目尻及び左目の重心の位置等が含まれる。

視線情報には、人物４００の視線の方向を３次元的に示すベクトルが含まれてもよいし、所定の対象面（例えば表示装置３００）における注視点の座標データが含まれてもよい。注視点は、例えば対象面と視線を示すベクトルとが交差する位置である。

片目視線検出部１２４は、目検出部１２２が右目領域５０Ｒ又は左目領域５０Ｌの一方の目領域５０のみを検出した場合、前記一方の目領域５０に含まれる一方の目の位置を示す情報と人物４００の顔における目と異なる部位の位置を示す情報とに基づいて、顔向き情報を検出する。そして、片目視線検出部１２４は、前記一方の目の位置を示す情報と、検出した顔向き情報とを用いた第二の処理により、視線情報を検出する。尚、目と異なる部位には、例えば、耳又は髪等が含まれる。片目視線検出部１２４の詳細は、後述する。

出力部１３０は、両目視線検出部１２３及び片目視線検出部１２４によって検出された視線情報を表示装置３００に出力する。出力部１３０は、表示装置３００で表示されているオブジェクト３０１の情報を取得し、取得した情報と注視点の座標データとから人物４００が注視するオブジェクト３０１（以降、注視オブジェクト）を特定し、特定結果を表示装置３００に出力してもよい。

カメラ２００は、図１で説明したため、ここでは説明を省略する。

表示装置３００は、例えば出力部１３０から出力された視線情報を示すマーカーを表示する。表示装置３００は、例えば出力部１３０から出力された人物４００が注視するオブジェクト３０１を示すマーカーを表示してもよい。

例えば、表示装置３００に対して、視線情報として注視点の座標データが出力されたとする。この場合、表示装置３００は、座標データに対応する位置に、視線位置を示すマーカーを表示中の画像に重畳して表示させるといった処理を行う。例えば、表示装置３００に対して、注視オブジェクトの特定結果が出力されたとする。この場合、表示装置３００は、注視オブジェクトを示すマーカーを表示中の画面に重畳して表示させるといった処理を行ってもよい。

尚、画像処理システム１が、表示装置３００に代えて家電機器で構成される場合、家電機器は視線情報から人物４００の入力を受け付ける。また、画像処理システム１が、表示装置３００に代えて記憶装置で構成される場合、記憶装置は、視線情報を記憶する。この場合、記憶装置は視線情報にタイムスタンプを対応付けて記憶してもよい。

次に、片目視線検出部１２４の詳細について説明する。図４は、片目視線検出部１２４の詳細な構成の一例を示すブロック図である。図４に示すように、片目視線検出部１２４は、耳検出部４１（部位検出部の一例）、髪検出部４２（部位検出部の一例）、顔向き検出部４３、及び片側顔視線検出部４４（視線検出部の一例）を含む。

耳検出部４１は、画像取得部１２１が取得した画像データから、人物４００の右耳を含む右耳領域及び人物４００の左耳を含む左耳領域を検出する。詳細には、耳検出部４１は、人物４００の右耳を含む領域を検出するために予め作成された右耳用分類器を用いて右耳領域を検出し、人物４００の左耳を含む領域を検出するために予め作成された左耳用分類器を用いて左耳領域を検出すればよい。ここで用いられる右耳用分類器及び左耳用分類器は、例えばオープンソースによる画像処理ライブラリにおいて右耳領域及び左耳領域のそれぞれを検出するために予め作成されたハール状のカスケード分類器である。以降、右耳領域及び左耳領域を総称する場合、耳領域と記載する。

耳領域は、耳の大きさ程度のサイズを持つ矩形状の領域である。但し、これは一例であり、耳領域の形状は矩形以外の、例えば、３角形、５角形、６角形、又は８角形等であってもよい。また、耳領域の境界を耳に対してどの位置に設定するのかは分類器の性能に依存する。

図５は、耳領域３０の一例を示す図である。図５に示すように、本実施の形態において、耳とは、破線３１で取り込まれた耳介を示す領域を指す。また、本実施の形態では、説明の便宜上、右耳とは人物４００を正面から見て右側にある耳のことを指し、左耳とは人物４００を正面から見て左側にある耳のことを指す。図５は、耳検出部４１が、右耳用分類器を用いて右耳領域３０Ｒ（不図示）を検出せずに、左耳用分類器を用いて左耳領域３０Ｌだけを検出した例を示している。但し、これは一例であり、人物４００から見て右側にある耳を右耳、人物４００から見て左側にある耳を左耳としてもよい。

髪検出部４２は、画像取得部１２１が取得した画像データから、人物４００の髪を含む髪領域を検出する。以下、髪領域が検出される処理の詳細について説明する。

まず、髪検出部４２は、画像取得部１２１が取得した画像データから、人物４００の顔の少なくとも一部を含む顔領域を検出する。詳細には、髪検出部４２は、顔領域を検出するために予め作成された分類器を用いて顔領域を検出すればよい。ここで用いられる分類器は、例えばオープンソースによる画像処理ライブラリにおいて顔領域を検出するために予め作成されたハール状のカスケード分類器である。

図６は、顔領域６０の一例を示す図である。図６に示すように、顔領域６０は、例えば顔の全体を含む程度のサイズを持つ矩形状の領域である。但し、これは一例であり、顔領域６０の形状は矩形以外の例えば、３角形、５角形、６角形、又は８角形などであってもよい。また、髪検出部４２は、例えば、パターンマッチングにより顔領域６０を検出してもよい。

次に、髪検出部４２は、検出した顔領域６０を二値化する。図７は、二値化された顔領域６０の一例を示す図である。ここでは、例えば大津の二値化と呼ばれる手法が採用されている。また、輝度が閾値より低い箇所が白、輝度が閾値以上の箇所が黒で表されている。

次に、髪検出部４２は、二値化された顔領域６０に現れる白の島にラベリング番号を付与するラベリング処理を行う。図７の例では、髪が１つの島７１とみなされ、島７１に「１」のラベリング番号が付与されている。また、左目が１つの島７２とみなされ、島７２に「２」のラベリング番号が付与されている。また、鼻の左孔が１つの島７３とみなされ、島７３に「３」のラベリング番号が付与されている。また、唇が一つの島７４とみなされ、島７４に「４」のラベリング番号が付与されている。

そして、髪検出部４２は、ラベリングした島のうち、最も大きな面積を有する島を髪領域として検出する。図７の例では、島７１が髪領域として検出される。

顔向き検出部４３は、目検出部１２２によって検出された右目領域５０Ｒ又は左目領域５０Ｌの一方の目領域５０に含まれる一方の目の位置を示す情報と、耳検出部４１によって検出された耳領域３０に含まれる耳の位置を示す情報又は髪検出部４２によって検出された髪領域に含まれる髪の位置を示す情報と、に基づいて、顔向き情報を検出する。顔向き情報には、人物４００の顔が右向きであるのか左向きであるのかを示す情報、及び、人物４００がカメラ２００の光軸に対して左右方向に顔の向きを傾けている度合（以降、顔向き度合）等が含まれる。以下、顔向き情報を検出する処理の詳細について説明する。

顔向き検出部４３は、まず、人物４００の顔が右向きであるのか、左向きであるのかを判断する。具体的には、耳検出部４１によって左耳領域３０Ｌが検出された場合、顔向き検出部４３は、人物４００が右方を向いていると判断し、顔の向きが右向きであると判断する。一方、耳検出部４１によって右耳領域３０Ｒが検出された場合、顔向き検出部４３は、人物４００が左方を向いていると判断し、顔の向きが左向きであると判断する。図５の例では、耳検出部４１が左耳領域３０Ｌを検出したので、顔の向きが右向きであると判定される。

尚、耳検出部４１が右耳領域３０Ｒと左耳領域３０Ｌとを誤検出する虞がある。当該誤検出を考慮して、顔向き検出部４３を以下のように構成してもよい。つまり、耳検出部４１による耳領域３０の検出後、顔向き検出部４３が、髪検出部４２と同様に、画像取得部１２１が取得した画像データから顔領域６０を検出するようにしてもよい。そして、顔向き検出部４３が、当該検出した顔領域６０において、目検出部１２２によって検出された目領域５０の位置が、耳検出部４１が検出した耳領域３０よりも右側にある場合に、顔の向きが右向きであると判定し、当該目領域５０の位置が当該耳領域３０よりも左側にある場合に、顔の向きが左向きであると判定するようにしてもよい。

また、顔向き検出部４３は、髪検出部４２によって髪領域として検出された島の重心の位置が、顔領域６０における左半分の領域に存在する場合、人物４００が右方を向いていると判断し、顔の向きが右向きであると判断する。一方、髪検出部４２によって髪領域として検出された島の重心の位置が、顔領域６０における右半分の領域に存在する場合、顔向き検出部４３は、人物４００が左方を向いていると判断し、顔の向きが左向きであると判断する。図７の例では、髪検出部４２によって髪領域として検出された島７１の重心の位置Ｐ７１が、顔領域６０における左半分の領域に存在するので、顔の向きが右向きであると判断される。

次に、顔向き検出部４３は、画像取得部１２１が取得した画像データと、目検出部１２２が検出した一方の目領域５０に含まれる目の位置を示す情報と、に基づいて、当該目の目尻の位置よりも当該目の目頭側に存在する人物４００の顔の輪郭線上の点を示す輪郭点を検出する。以下、顔の向きが右向きであると判断された場合に、輪郭点が検出される処理の詳細について説明する。尚、顔の向きが左向きであると判断された場合に、輪郭点が検出される処理は、顔の向きが右向きであると判断された場合と同様であるので説明を省略する。

まず、顔向き検出部４３は、髪検出部４２と同様にして、画像取得部１２１が取得した画像データから顔領域６０を検出して二値化する。次に、顔向き検出部４３は、二値化した顔領域６０に現れる白の島にラベリング番号を付与するラベリング処理を行う。図８は、二値化された顔領域６０の他の一例を示す図である。

図８の例では、髪が１つの島８１とみなされ、島８１に「１」のラベリング番号が付与されている。左目が１つの島８２とみなされ、島８２に「２」のラベリング番号が付与されている。鼻の左孔が１つの島８３とみなされ、島８３に「３」のラベリング番号が付与されている。唇が一つの島８４とみなされ、島８４に「４」のラベリング番号が付与されている。左眉毛が一つの島８５とみなされ、島８５に「５」のラベリング番号が付与されている。右目の一部が一つの島８６とみなされ、島８６に「６」のラベリング番号が付与されている。

次に、顔向き検出部４３は、ラベリングした島のうち、所定面積以下の面積を有する島であって、目検出部１２２が検出した一方の目領域５０から、当該一方の目領域５０に含まれる目の目頭側に最も離れている島を検出する。所定面積は、例えば目検出部１２２が検出した一方の目領域５０の面積程度の面積に定められている。図８の例では、顔向き検出部４３は、顔の向きが右向きであると判断している。そのため、顔向き検出部４３は、目検出部１２２が検出した目領域５０は、左目領域５０Ｌであり、当該左目領域５０Ｌに含まれる島８２が左目を示していると判断する。次に、顔向き検出部４３は、所定面積以下の面積を有し、且つ、左目領域５０Ｌから、左目の目頭側である右方に最も離れている島８６を検出する。

次に、顔向き検出部４３は、検出した島に前記輪郭点があるとみなし、その輪郭点を検出する。図８の例では、顔向き検出部４３は、検出した島８６における、左目の目頭側、つまり、右方の端部Ｐ８１を、輪郭点６１として検出する。

次に、顔向き検出部４３は、目検出部１２２が検出した目領域５０から、当該目領域５０に含まれる目の位置を示す情報として、当該目の重心及び目頭の位置を検出する。図８の例では、顔向き検出部４３は、顔の向きが右向きであると判断したため、目検出部１２２が検出した目領域５０は、左目領域５０Ｌであり、当該左目領域５０Ｌに含まれる島８２が左目を示していると判断する。そこで、顔向き検出部４３は、島８２の重心の位置Ｐ８２を、左目の重心の位置６２として検出する。また、顔向き検出部４３は、当該島８２における、左目の目頭側、つまり、右方の端部Ｐ８３を、左目の目頭の位置６３として検出する。

次に、顔向き検出部４３は、耳検出部４１によって耳領域３０が検出された場合、目検出部１２２によって検出された一方の目領域５０に含まれる目の目頭の位置から輪郭点６１までの第一距離を算出し、当該目頭の位置から耳検出部４１によって検出された耳領域３０に含まれる耳の位置までの第二距離を算出する。そして、顔向き検出部４３は、第一距離と第二距離とに基づいて顔向き情報を検出する。

図８の例では、顔向き検出部４３は、左目領域５０Ｌに含まれる左目の目頭の位置６３から輪郭点６１までの水平方向の距離Ｌ１を第一距離（以降、第一距離Ｌ１）として算出する。顔向き検出部４３は、耳検出部４１によって検出された左耳領域３０Ｌにおける、左目の目頭側、つまり、右方の端部を、当該耳領域３０に含まれる耳の位置とする。そして、顔向き検出部４３は、左目の目頭の位置６３から当該耳の位置までの水平方向の距離Ｌ２を第二距離（以降、第二距離Ｌ２）として算出する。

図９は、上方からみた人物４００の顔向き度合の一例を示す模式図である。人物４００がカメラ２００に向かって左右方向に顔の向きを傾ける度合が大きくなるほど、図９に示すように、カメラ２００の光軸９１に対する人物４００の顔の正面方向９２を示す角度（以降、姿勢角度）９３は大きくなる。また、顔向き度合が大きくなるほど、カメラ２００によって撮像される片目の目頭の位置から輪郭点までの第一距離Ｌ１は短くなり、当該目頭の位置から耳の位置までの第二距離Ｌ２は長くなる。したがって、顔向き度合を示す姿勢角度９３と、第一距離Ｌ１に対する第二距離Ｌ２の比率（＝Ｌ２／Ｌ１）又は第二距離Ｌ２に対する第一距離Ｌ１の比率（＝Ｌ１／Ｌ２）と、の関係を示す関数（以降、第一関数）は、実験値等に基づいて予め定めることができる。

そこで、顔向き検出部４３は、第一距離Ｌ１に対する第二距離Ｌ２の比率、又は、第二距離Ｌ２に対する第一距離Ｌ１の比率を算出する。そして、顔向き検出部４３は、当該算出した比率を第一関数に入力することによって、当該入力した比率に対応する姿勢角度９３を、顔向き度合として取得する。顔向き検出部４３は、このようにして得られた顔向き度合を、顔向き情報として検出する。尚、顔向き度合の取得方法は、これに限らない。例えば、第一距離Ｌ１と第二距離Ｌ２との差分と、姿勢角度９３と、の関係を示す関数を予め定め、当該関数を用いて顔向き度合が取得されてもよい。

耳が髪で覆われている人物４００の顔の画像データから、耳領域３０を検出することはできない。そこで、この場合、顔向き検出部４３は、髪検出部４２を用いて人物４００の顔の画像データから髪領域を検出する。次に、顔向き検出部４３は、第一距離Ｌ１を算出し、目検出部１２２によって検出された一方の目領域５０に含まれる目の位置から、当該目の目頭の位置よりも目尻側に位置する前記髪領域内の点までの第三距離を算出する。そして、顔向き検出部４３は、第一距離Ｌ１と第三距離とに基づいて顔向き情報を検出する。

以下、図７を用いて、髪領域から顔向き情報を検出する処理について説明する。図７の例では、顔向き検出部４３は、図８の例と同様、左目領域５０Ｌに含まれる島７２が左目を示していると判断する。そして、顔向き検出部４３は、所定面積以下の面積を有し、且つ、左目領域５０Ｌから、左目の目頭側である右方に最も離れている島７３における左目の目頭側の端部Ｐ７５を、輪郭点６１として検出する。また、顔向き検出部４３は、左目を示す島７２の重心の位置Ｐ７２を左目の重心の位置６２として検出し、当該島７２における左目の目頭側の端部Ｐ７３を左目の目頭の位置６３として検出する。そして、顔向き検出部４３は、検出した左目の目頭の位置６３から、検出した輪郭点６１までの水平方向の距離である第一距離Ｌ１を算出する。

また、顔向き検出部４３は、髪検出部４２によって検出された髪領域の重心の位置Ｐ７１を前記髪領域内の点６４として検出する。尚、前記髪領域内の点６４は、これに限らず、髪領域を示す島７１の輪郭線上において、左目領域５０Ｌに含まれる左目の目頭の位置６３から、左目の目尻側である左方に最も離れている点Ｐ７４であってもよい。顔向き検出部４３は、左目の目頭の位置６３から前記髪領域内の点６４までの水平方向の距離Ｌ３を、第三距離（以降、第三距離Ｌ３）として算出する。

そして、顔向き検出部４３は、図８の例と同様にして、第一距離Ｌ１に対する第三距離Ｌ３の比率、又は、第三距離Ｌ３に対する第一距離Ｌ１の比率を算出する。そして、顔向き検出部４３は、当該算出した比率を、第一関数と同様の第二関数に入力することによって、当該入力した比率に対応する姿勢角度９３を、顔向き度合として取得する。第二関数は、姿勢角度９３（図９）と、第一距離Ｌ１に対する第三距離Ｌ３の比率、又は、第三距離Ｌ３に対する第一距離Ｌ１の比率と、の関係を示す関数であり、実験値等に基づいて予め定められている。顔向き検出部４３は、このようにして得られた顔向き度合を、顔向き情報として検出する。尚、顔向き度合の取得方法は、これに限らない。例えば、第一距離Ｌ１と第三距離Ｌ３との差分と、姿勢角度９３と、の関係を示す関数を予め定め、当該関数を用いて顔向き度合が取得されてもよい。

片側顔視線検出部４４は、目検出部１２２によって検出された一方の目領域５０に含まれる目の位置を示す情報と、顔向き検出部４３によって検出された顔向き情報と、に基づいて、視線情報を検出する第二の処理を行う。以下、第二の処理の詳細について説明する。

図１０は、人物４００の視野角９４を示す図である。一般的に、人物４００の目の視野角９４は、人物４００の顔の正面方向９２に対して、左方及び右方に０度以上６０度以下の範囲に収まるといわれている。そこで、本実施の形態では、視野角９４が６０度に予め定められているものとする。

片側顔視線検出部４４は、第二の処理において、まず、目検出部１２２が検出した一方の目領域５０から、当該一方の目領域５０に含まれる目の目尻の位置を検出する。

図１１は、視線方向の検出方法の説明図である。図１１には、図８に示した左目領域５０Ｌを拡大した図が示されている。図１１の例では、片側顔視線検出部４４は、顔向き検出部４３によって左目を示していると判断された島８２の左方の端部Ｐ８５を、左目の目尻の位置６５として検出する。

片側顔視線検出部４４は、目検出部１２２によって検出された一方の目領域５０に含まれる目の重心の位置６２から、当該目の目尻の位置６５までの水平方向の距離（以降、重心目尻間距離）を取得する。また、片側顔視線検出部４４は、前記検出された一方の目領域５０に含まれる目の重心の位置６２から、当該目の目頭の位置６３までの水平方向の距離（以降、重心目頭間距離）を取得する。そして、片側顔視線検出部４４は、取得した重心目尻間距離及び重心目頭間距離と、予め定められた視野角９４と、に基づき、顔の正面方向９２に対する視線の方向を示す角度（以降、視線方向角度）を算出する。

具体的には、目検出部１２２によって検出された一方の目領域５０に含まれる目の重心の位置６２が当該目の目頭の位置６３に近いほど、人物４００の視線は、顔の正面方向９２に近い方向を向いていると考えられる。一方、当該目の重心の位置６２が当該目の目尻の位置６５に近いほど、人物４００の視線は、顔の正面方向９２から離れた方向、つまり、顔の正面方向９２に対して前記視野角９４の分だけ左方又は右方に離れた方向に近い方向を向いていると考えられる。

そこで、図１１の例では、片側顔視線検出部４４は、目検出部１２２によって検出された左目領域５０Ｌに含まれる左目の重心の位置６２から、当該左目の目尻の位置６５までの水平方向の距離である重心目尻間距離Ｋ１を取得する。また、片側顔視線検出部４４は、左目の重心の位置６２から左目の目頭の位置６３までの水平方向の距離である重心目頭間距離Ｋ２を取得する。そして、片側顔視線検出部４４は、当該取得した重心目尻間距離Ｋ１及び重心目頭間距離Ｋ２と、予め定められた視野角９４の値α（＝６０°）と、を用いた以下の式によって、視線方向角度βを算出する。β＝α×（Ｋ２／Ｋ１）。

片側顔視線検出部４４は、当該算出した視線方向角度βを、顔向き検出部４３によって検出された顔向き度合に加算した値を、カメラ２００の光軸９１に対する視線の方向を示す角度として算出する。片側顔視線検出部４４は、当該算出したカメラ２００の光軸９１に対する視線の方向を示す角度を、視線情報として検出する。

次に、画像処理装置１００の動作について説明する。図１２は、実施の形態１に係る画像処理装置１００の動作の一例を示すフローチャートである。

画像取得部１２１は、カメラ２００から人物４００の顔の画像データを取得する（ステップＳ１）。次に、目検出部１２２は、目領域５０を検出するための分類器にステップＳ１で取得した画像データを入力することにより、当該画像データから右目領域５０Ｒ及び左目領域５０Ｌを検出する（ステップＳ２）。

ステップＳ２において、図３の例のように、右目領域５０Ｒ及び左目領域５０Ｌが検出されたとする（ステップＳ３でＹＥＳ）。この場合、両目視線検出部１２３は、右目領域５０Ｒに含まれる右目の位置を示す情報及び左目領域５０Ｌに含まれる左目の位置を示す情報と、ステップＳ１で取得した画像データから検出した顔向き情報と、を用いた第一の処理により、視線情報を検出する（ステップＳ４）。

一方、図５及び図６の例のように、ステップＳ２において、右目領域５０Ｒ又は左目領域５０Ｌの一方の目領域５０のみが検出されたとする（ステップＳ３でＮＯ）。この場合、片目視線検出部１２４は、当該一方の目領域５０に含まれる目の位置を示す情報と人物４００の顔における目と異なる部位の位置を示す情報とに基づいて、顔向き情報を検出する。そして、片目視線検出部１２４は、当該一方の目の位置を示す情報と、検出した顔向き情報とを用いた第二の処理により、視線情報を検出する（ステップＳ５）。ステップＳ５における片目視線検出部１２４の動作の詳細については、後述する。

ステップＳ４又はステップＳ５の後、出力部１３０は、ステップＳ４又はステップＳ５で検出された視線情報を表示装置３００に出力する（ステップＳ６）。

次に、ステップＳ５における片目視線検出部１２４の動作について説明する。図１３は、実施の形態１に係る片目視線検出部１２４の動作の一例を示すフローチャートである。

ステップＳ５が開始されると、耳検出部４１は、ステップＳ１で取得された画像データを右耳領域及び左耳領域を検出するための分類器に入力することにより、当該画像データから耳領域３０を検出する（ステップＳ５１）。例えば、ステップＳ５１において、耳検出部４１は、図５に示すように、ステップＳ１で取得された画像データから、左耳領域３０Ｌを検出する。

ステップＳ５１で耳領域３０が検出された場合（ステップＳ５２でＹＥＳ）、顔向き検出部４３は、ステップＳ２で検出された一方の目領域５０に含まれる目の位置を示す情報と、ステップＳ５１で検出された耳領域３０に含まれる耳の位置を示す情報と、に基づいて、顔向き情報を検出する（ステップＳ５３）。

例えば、ステップＳ５１において、図５に示すように、左耳領域３０Ｌが検出されたとする。この場合、ステップＳ５３において、顔向き検出部４３は、ステップＳ５１で左耳領域３０Ｌが検出されたので、顔の向きが右向きであると判断する。

この場合、顔向き検出部４３は、図８に示すように、ステップＳ１で取得された画像データと、ステップＳ２で検出された左目領域５０Ｌに含まれる左目の目頭の位置６３と、に基づいて、左目の目頭の位置６３から輪郭点６１までの水平方向の距離である第一距離Ｌ１を算出する。顔向き検出部４３は、更に、ステップＳ５１で検出された左耳領域３０Ｌにおける左目の目頭側の端部を当該耳領域３０に含まれる耳の位置とし、左目の目頭の位置６３から当該耳の位置までの水平方向の距離である第二距離Ｌ２を算出する。

そして、顔向き検出部４３は、第一距離Ｌ１に対する第二距離Ｌ２の比率又は第二距離Ｌ２に対する第一距離Ｌ１の比率を算出し、当該算出した比率を第一関数に入力する。これにより、顔向き検出部４３は、入力した比率に対応する姿勢角度９３（図９）を、顔向き度合として取得する。顔向き検出部４３は、このようにして得られた顔向き度合を、顔向き情報として検出する。

一方、ステップＳ５１で耳領域３０が検出されなかった場合（ステップＳ５２でＮＯ）、顔向き検出部４３は、髪検出部４２を用いて、ステップＳ１で取得された画像データから髪領域を検出する（ステップＳ５４）。例えば、図７に示すように、ステップＳ５４では、髪検出部４２によって、ステップＳ１で取得された画像データから顔領域６０が検出され、当該顔領域６０を二値化した領域において最も大きな面積を有する島７１が髪領域として検出される。

そして、顔向き検出部４３は、ステップＳ２で検出された一方の目領域５０に含まれる目の位置を示す情報と、ステップＳ５４で検出された髪領域に含まれる髪の位置を示す情報と、に基づいて、顔向き情報を検出する（ステップＳ５５）。

例えば、ステップＳ５４において、図７に示すように、島７１が髪領域として検出されたとする。この場合、ステップＳ５５において、顔向き検出部４３は、上述のように、髪領域として検出された島７１の重心の位置Ｐ７１が、顔領域６０における左半分の領域に存在するので、顔の向きが右向きであると判断する。

この場合、顔向き検出部４３は、図７に示すように、ステップＳ１で取得された画像データと、ステップＳ２で検出された左目領域５０Ｌに含まれる左目の目頭の位置６３と、に基づいて、左目の目頭の位置６３から輪郭点６１までの水平方向の距離である第一距離Ｌ１を算出する。また、顔向き検出部４３は、更に、ステップＳ５４で検出された髪領域の重心の位置Ｐ７１を前記髪領域内の点６４とし、左目の目頭の位置６３から当該髪領域内の点６４までの水平方向の距離である第三距離Ｌ３を算出する。

そして、顔向き検出部４３は、第一距離Ｌ１に対する第三距離Ｌ３の比率又は第三距離Ｌ３に対する第一距離Ｌ１の比率を算出し、当該算出した比率を第二関数に入力する。これにより、顔向き検出部４３は、入力した比率に対応する姿勢角度９３（図９）を、顔向き度合として取得する。顔向き検出部４３は、このようにして得られた顔向き度合を、顔向き情報として検出する。

ステップＳ５３又はステップＳ５５の後、片側顔視線検出部４４は、ステップＳ２で検出された一方の目領域５０に含まれる目の位置を示す情報と、ステップＳ５３又はステップＳ５５で検出された顔向き情報と、を用いた第二の処理によって、視線情報を検出する（ステップＳ５６）。

例えば、ステップＳ５６において、片側顔視線検出部４４は、図１１に示すように、ステップＳ２で検出された左目領域５０Ｌに含まれる左目の重心の位置６２から、当該左目の目尻の位置６５までの水平方向の距離である重心目尻間距離Ｋ１を取得する。また、片側顔視線検出部４４は、左目の重心の位置６２から左目の目頭の位置６３までの水平方向の距離である重心目頭間距離Ｋ２を取得する。そして、片側顔視線検出部４４は、当該取得した重心目尻間距離Ｋ１及び重心目頭間距離Ｋ２と、予め定められた視野角９４の値α（＝６０°）と、を用いた上記式（β＝α×（Ｋ２／Ｋ１））によって、視線方向角度βを算出する。片側顔視線検出部４４は、当該算出した視線方向角度βを、ステップＳ５３又はステップＳ５５で顔向き情報として検出された顔向き度合に加算した値を、視線情報として検出する。

以上説明したように、本実施の形態によれば、顔の画像データから、右目領域５０Ｒ又は左目領域５０Ｌの一方の目領域５０のみを検出した場合、顔の画像データから耳領域３０及び髪領域の少なくとも一方が検出される。そして、当該一方の目領域５０に含まれる目の位置を示す情報と、当該検出された耳領域３０及び髪領域の少なくとも一方に含まれる耳又は髪の位置を示す情報とに基づいて、顔向き情報が検出される。そして、当該検出された顔向き情報と前記目の位置を示す情報とに基づいて、視線情報が検出される。

これにより、本構成は、右目又は左目だけを含む顔の画像データしか取得できない場合でも、両目の位置関係に代えて、耳又は髪と検出された片目との位置関係に基づいて、顔向き情報を精度よく検出することができる。その結果、本構成は、顔画像から片方の目しか検出できない場合であっても、顔の向きを精度よく特定でき、ひいては視線の検出精度を向上させることができる。

尚、ステップＳ５４において、髪領域が検出できない場合も考えられる。この場合、出力部１３０が、視線情報の検出ができない旨のエラーメッセージを表示装置３００に出力するようにしてもよい。または、顔画像から検出可能な片目と、顔画像から検出できない片目とが共に略同じ方向を向いていると仮定して、ステップＳ４（図１２）以降の処理が行われるようにしてもよい。

（実施の形態２）
実施の形態２は、人物４００の関心度を推定するものである。図１４は、実施の形態２に係る画像処理システム１Ａの詳細な構成の一例を示すブロック図である。尚、本実施の形態において実施の形態１と同一の構成要素には同一の符号を付し、説明を省略する。また、図１４において、図２と名称が同一であるが機能が異なるブロックには末尾にＡの符号が付されている。

視線検出装置１２０Ａは、更に、特徴点検出部１４０及び関心度推定部１５０を含む。

特徴点検出部１４０は、髪検出部４２（図３）と同様、画像取得部１２１が取得した画像データから、顔領域を検出するために予め作成された分類器を用いて、人物４００の顔の少なくとも一部を含む顔領域６０を検出する。そして、特徴点検出部１４０は、当該検出した顔領域６０から顔の特徴点を検出する。顔の特徴点とは、例えば目尻、目頭、顔の輪郭、鼻筋、口角、及び眉毛などの顔を構成する複数の部品のそれぞれにおいて、特徴的な位置にある１又は複数の点である。特徴点はランドマークとも呼ばれる。特徴点検出部１４０は、例えば機械学習のフレームワークのモデルファイルを利用したランドマーク検出処理を実行することで顔の特徴点を検出すればよい。

関心度推定部１５０は、以下の処理により人物４００の関心度を推定する。まず、関心度推定部１５０は、特徴点検出部１４０により検出された顔の特徴点を用いて、顔領域６０からまゆげ及び口角を検出する。ここで、関心度推定部１５０は、特徴点検出部１４０により検出された顔の特徴点において、まゆげ及び口角のそれぞれに対応するランドマーク点番号が付された特徴点を特定することで、まゆげ及び口角を検出すればよい。

次に、関心度推定部１５０は、両目視線検出部１２３又は片目視線検出部１２４により検出された視線情報と、検出したまゆげの位置及び口角の位置とに基づいて人物４００の関心度を推定し、表示装置３００に出力する。具体的には、関心度推定部１５０は、例えば、人が喜び、驚き、怒り、悲しみ、及び無表情等の各種表情をしている際のまゆげ及び口角の標準的な位置が予め記述されたパターンデータを例えばメモリ（図略）から取得する。そして、関心度推定部１５０は、検出した人物４００のまゆげ及び口角の位置と、パターンデータとを照合し、人物４００の表情を推定する。そして、関心度推定部１５０は、推定した人物４００の表情と視線情報が示す視線とを用いて、人物４００の視線がどの方向にある、又は人物４００の注視点がどの位置にあるときに人物４００がどのような表情を行ったかを特定する。すなわち、関心度推定部１５０は、視線情報と人物４００の表情とを対応付けたデータを人物４００の関心度として特定する。尚、ここでは、関心度推定部１５０は、まゆげ及び口角に基づいて関心度を推定するとして説明したが、これは一例であり、まゆげ及び口角の一方に基づいて関心度を推定してもよい。

以上説明したように、本実施の形態によれば、視線情報に加えてまゆげ及び口角を更に用いて人物４００の関心度が推定されているため、視線情報のみに基づく関心度推定に比べてより高精度に関心度を推定できる。

（変形例）
（１）カメラ２００として赤外光カメラが採用された場合、赤外光カメラは、太陽光のスペクトル強度が所定の第一波長よりも減衰した所定の第二波長の帯域の赤外光を用いる赤外光カメラで構成すればよい。所定の第一波長は、例えば８５０ｎｍである。所定の第二波長は、例えば９４０ｎｍである。第二波長の帯域は、例えば８５０ｎｍを含まず、且つ９４０ｎｍを基準（例えば中心）とする所定幅の帯域である。近赤外光を撮影する赤外光カメラとして、８５０ｎｍの赤外光を用いるものが知られている。しかし、８５０ｎｍでは太陽光のスペクトル強度が十分に減衰していないため、太陽光のスペクトル強度が強い屋外において高精度な視線情報の検出ができない可能性がある。そこで、本開示は、赤外光カメラとして例えば９４０ｎｍの帯域の赤外光を用いるカメラを採用する。これにより、太陽光のスペクトル強度が強い屋外においても高精度な視線情報の検出を行うことができる。ここでは、所定の第二波長は９４０ｎｍとしたが、これは一例であり、９４０ｎｍから多少ずれた波長であってもよい。尚、第二波長の赤外光を用いる赤外光カメラは、例えば第二波長の赤外光を照射する投光器を備えるカメラである。

（２）上記実施の形態では、視線情報は注視点を示す座標データを含むとして説明したが、本開示はこれに限定されない。例えば、視線情報は、注視点を基準（例えば中心）とする所定サイズの所定形状（例えば円、四角形等）の領域である注視面を示す座標データを含んでいてもよい。これにより、人物４００及び注視対象物間の距離又は注視対象物の大きさに依存することなく注視対象物を適切に判定できる。

本開示は、視線情報を高精度に検出できるため、視線情報を用いた人物の興味対象の推定、人物の状態推定、及び視線を用いたユーザインターフェース等において有用である。

３０ ：耳領域
３０Ｌ ：左耳領域（耳領域）
３０Ｒ ：右耳領域（耳領域）
４１ ：耳検出部（部位検出部）
４２ ：髪検出部（部位検出部）
４３ ：顔向き検出部
４４ ：片側顔視線検出部（視線検出部）
５０ ：目領域
５０Ｌ ：左目領域
５０Ｒ ：右目領域
６１ ：輪郭点
１２０、１２０Ａ ：視線検出装置
１２１ ：画像取得部
１２２ ：目検出部
１２３ ：両目視線検出部
１２４ ：片目視線検出部
４００ ：人物（人）
Ｌ１ ：第一距離
Ｌ２ ：第二距離
Ｌ３ ：第三距離

Claims (7)

1. 視線検出装置における視線検出方法であって、
   人の顔の画像データを取得し、
   前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出し、
   前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記顔の画像データから、前記一方の目の目頭の位置よりも前記一方の目の目尻側に存在する前記顔の所定部位を検出し、
   前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、
   前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から前記所定部位の位置までの第二距離と、に基づいて、前記顔の向きを示す情報を検出し、
   前記一方の目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出する、
   視線検出方法。
2. 前記所定部位は、前記人の耳を含む耳領域であり、
   前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から前記耳の位置までの第二距離と、に基づいて、前記顔の向きを示す情報を検出する、
   請求項１に記載の視線検出方法。
3. 前記耳領域を検出できなかった場合、前記顔の画像データから前記人の髪を含む髪領域を検出し、
   前記一方の目の位置を示す情報と前記髪の位置を示す情報とに基づいて、前記顔の向きを示す情報を検出する、
   請求項２に記載の視線検出方法。
4. 前記所定部位は、前記人の髪を含む髪領域であり、
   前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から、前記髪領域内の点までの第二距離と、に基づいて、前記顔の向きを示す情報を検出する、
   請求項１に記載の視線検出方法。
5. 前記右目領域及び前記左目領域を検出した場合、前記顔の画像データから前記顔の向きを示す情報を検出し、
   前記右目領域に含まれる右目の位置及び前記左目領域に含まれる左目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出する、
   請求項１に記載の視線検出方法。
6. 人の顔の画像データを取得する画像取得部と、
   前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出する目検出部と、
   前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記顔の画像データから、前記一方の目の目頭の位置よりも前記一方の目の目尻側に存在する前記顔の所定部位を検出する部位検出部と、
   前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から前記所定部位の位置までの第二距離と、に基づいて、前記顔の向きを示す情報を検出する顔向き検出部と、
   前記一方の目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出する視線検出部と、を備える、
   視線検出装置。
7. 視線検出装置の制御プログラムであって、
   前記視線検出装置が備えるコンピュータを、
   人の顔の画像データを取得する画像取得部と、
   前記顔の画像データから前記人の左目を含む左目領域及び前記人の右目を含む右目領域を検出する目検出部と、
   前記右目領域又は前記左目領域の一方の目領域のみを検出した場合、前記顔の画像データから、前記一方の目の目頭の位置よりも前記一方の目の目尻側に存在する前記顔の所定部位を検出する部位検出部と、
   前記顔の画像データと前記一方の目の位置を示す情報とに基づいて、前記一方の目の目尻の位置よりも前記一方の目の目頭側に存在する前記顔の輪郭線上の点を示す輪郭点を検出し、前記一方の目の位置から前記輪郭点までの第一距離と、前記一方の目の位置から前記所定部位の位置までの第二距離と、に基づいて、前記顔の向きを示す情報を検出する顔向き検出部と、
   前記一方の目の位置を示す情報と前記顔の向きを示す情報とに基づいて、前記人の視線を示す情報を検出する視線検出部として機能させる、
   制御プログラム。

Images