JP6802549B1 - 情報処理方法、情報処理装置、及び制御プログラム - Google Patents

Abstract

【課題】視線情報と人に関する情報とを対応付けた情報をより簡易な構成で精度良く生成する。【解決手段】一以上のユーザのそれぞれについて、各ユーザの目を含む画像データを取得し、画像データに含まれる各ユーザの目を示す情報に基づき各ユーザの視線を示す視線情報を検出し、画像データに含まれる各ユーザの目を示す情報に基づき各ユーザを個人認証し、個人認証された各ユーザを特定する個人情報を取得し、一以上のユーザの個人情報と一以上のユーザの視線情報とを対応付けた管理情報を生成し、管理情報を出力する。【選択図】図２

Description

本開示は、ユーザの個人情報とユーザの視線を示す情報とを対応付けた情報を生成する技術に関するものである。

視線検出技術は、人物の興味対象の推定、眠気等の人物の状態の推定、及び視線による機器への入力を行うユーザインターフェースといった種々の用途で用いられている。視線情報に基づき人物の状態及び行動を推定する際には、視線情報と人に関する情報とを対応付けた情報を用いることが有用である。このような例として、特許文献１には、店内の顧客の行動を推定する際に、店内の顧客の視線情報と、年代、性別等の顧客の属性情報及び顧客が購入した商品に関する情報（ＰＯＳ（ＰｏｉｎｔＯｆ Ｓａｌｅｓ）情報）とを対応付けた情報を用いる技術が開示されている。

特開２０１７−１０２５６４号公報

しかしながら、特許文献１に開示の技術では、設備が大規模化し、視線情報と人に関する情報とを精度良く対応付けることが困難であるため、更なる改善が必要であった。

本開示は、このような課題を解決するためになされたものであり、視線情報と人に関する情報とを対応付けた情報をより簡易な構成で精度良く生成することを目的とする。

本開示の一態様は、情報処理装置における情報処理方法であって、一以上のユーザのそれぞれについて、各ユーザの目を含む画像データを取得し、前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザの視線を示す視線情報を検出し、前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザを個人認証し、前記個人認証された前記各ユーザを特定する個人情報を取得し、前記一以上のユーザの前記個人情報と前記一以上のユーザの前記視線情報とを対応付けた管理情報を生成し、前記管理情報を出力する。

本開示によれば、視線情報と人に関する情報とを対応付けた情報をより簡易な構成で精度良く生成することができる。

本開示の実施の形態１に係る画像処理システムの全体構成の一例を示す図である。 実施の形態１に係る画像処理システムの詳細な構成の一例を示すブロック図である。 目領域の一例を示す図である。 認証情報テーブルの一例を示す図である。 ユーザ情報テーブルの一例を示す図である。 実施の形態１に係る画像処理装置の動作の一例を示すフローチャートである。 管理情報テーブルの一例を示す図である。 管理情報テーブルの他の一例を示す図である。 実施の形態５に係る画像処理装置の動作の一例を示すフローチャートである。 実施の形態５に係る画像処理装置の動作の一例を示すフローチャートである。 仮管理情報テーブルの一例を示す図である。 実施の形態６に係る画像処理システムの詳細な構成の一例を示すブロック図である。

（本開示の基礎となる知見）
上述した特許文献１に開示の技術では、商品に対する顧客の注目度合いを示すヒートマップを生成するために、店内を複数のエリアに分割し、顧客の属性と顧客の動線（立ち寄ったエリア等）とを対応付けた情報と、各エリアに配置された商品と顧客の視線が向けられた位置とを対応付けた情報等が用いられる。顧客の属性と動線に関する情報の取得のためには、店舗の天井及び壁面に設置された無線センサーカメラが用いられる。顧客の視線を示す情報の取得のためには、商品の陳列棚に取り付けられた視線センサーが用いられる。

したがって、特許文献１に開示の技術では、顧客の視線情報と顧客の行動情報とを対応付けた情報を生成するためには、顧客の視線情報及び顧客の行動情報の取得に用いる設備が大規模になるという課題があった。また、特許文献１に開示の技術では、複数の設備で異なるタイミングで取得された情報を段階的に組み合わせて、視線情報と行動情報とを対応付けた情報を得ている。このため、情報を組み合わせる処理が複雑になり、結果として、視線情報と行動情報との時間的な対応関係の精度が低下しうるという問題があった。

そこで、本発明者は、このような課題に対して詳細な検討を行った結果、ユーザの目を含む画像を、視線情報の検出だけでなく、個人認証にも利用することによって、視線情報と人に関する情報とを対応付けた情報をより簡易な構成で精度よく生成できるとの知見を得て、下記に示す各態様を想到するに至った。

本開示の一態様に係る情報処理方法は、情報処理装置における情報処理方法であって、一以上のユーザのそれぞれについて、各ユーザの目を含む画像データを取得し、前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザの視線を示す視線情報を検出し、前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザを個人認証し、前記個人認証された前記各ユーザを特定する個人情報を取得し、前記一以上のユーザの前記個人情報と前記一以上のユーザの前記視線情報とを対応付けた管理情報を生成し、前記管理情報を出力する。

本構成では、一以上のユーザのそれぞれについて、各ユーザの目を含む画像データに含まれる各ユーザの目を示す情報に基づき、視線情報の検出及び個人認証が行われ、各ユーザの個人情報が取得される。そして、本構成では、このように取得された一以上のユーザの個人情報と一以上のユーザの視線情報とを対応付けた管理情報が生成され、出力される。

このため、本構成では、各ユーザの視線情報と個人情報とを対応付けた管理情報の生成に用いる画像データを、各ユーザの目を含む画像データのみに制限することができる。これにより、本構成は、各ユーザの視線情報と各ユーザの個人情報とを対応付けた情報をより簡易な構成で生成することができる。

また、本構成は、各ユーザの視線情報及び個人認証に用いる画像データが同一であるので、同一時点における各ユーザの目を示す情報に基づき、視線情報の検出及び個人認証を行うことができる。これにより、当該個人認証されたユーザについての時間的に差異のない視線情報及び個人情報を取得して、これらを対応付けた情報を生成することができる。したがって、本構成は、互いに異なる時点の各ユーザの目を示す情報に基づき、視線情報の検出及び個人認証を行う場合よりも精度良く、各ユーザの視線情報と個人情報とを対応付けた情報を生成することができる。

上記態様において、前記個人情報は、前記各ユーザの性質または特徴を示す一以上の属性を含み、前記管理情報の出力では、更に、前記管理情報に基づいて、前記視線情報が前記一以上の属性毎に分類された視線利用情報を生成し、前記視線利用情報を出力してもよい。

本構成によれば、更に、管理情報に基づいて視線情報が一以上の属性毎に分類された視線利用情報が生成され、出力される。このため、当該出力された視線利用情報の視認者は、同一の一以上の属性を有するユーザの視線の傾向を容易に把握することができる。

上記態様において、前記一以上の属性は、年齢、性別、勤務先及び職種のうちの一以上を含んでもよい。

本構成によれば、視線情報が、年齢、性別、勤務先及び職種のうちの一以上によって分類された視線利用情報が生成され、出力される。このため、当該出力された視線利用情報の視認者は、年齢、性別、勤務先及び職種のうちの一以上の属性が同じユーザの視線の傾向を容易に把握することができる。

上記態様において、前記視線情報は、前記各ユーザの視線が向けられた位置を示す視線位置情報を含み、前記視線利用情報は、前記視線位置情報が示す位置と、前記視線位置情報が示す位置にユーザの視線が向けられた頻度と、の関係を表すヒートマップであってもよい。

本構成によれば、視線利用情報として、視線位置情報が示す位置と、視線位置情報が示す位置にユーザの視線が向けられた頻度と、の関係を表すヒートマップが出力される。このため、当該出力されたヒートマップの視認者は、同一の属性を有するユーザの視線がどの位置に向けられている頻度が高いのかを容易に把握することができる。

上記態様において、前記視線情報は、前記各ユーザの視線が向けられた位置を示す視線位置情報を含み、前記視線利用情報は、前記視線位置情報が示す位置と、前記視線位置情報が示す位置にユーザの視線が向けられた回数と、前記視線位置情報が示す位置へのユーザの視線の移動経路と、の関係を表すゲイズプロットであってもよい。

本構成によれば、視線利用情報として、視線位置情報が示す位置と、視線位置情報が示す位置にユーザの視線が向けられた回数と、視線位置情報が示す位置へのユーザの視線の移動経路と、の関係を表すゲイズプロットが出力される。このため、当該出力されたゲイズプロットの視認者は、同一の属性を有するユーザの視線がどのような移動経路でどの位置に向けられている回数が多いのかを容易に把握することができる。

上記態様において、前記視線情報の検出では、前記画像データから前記各ユーザの目を示す情報及び前記各ユーザの顔の向きを示す情報を検出し、検出した前記各ユーザの目を示す情報及び前記各ユーザの顔の向きを示す情報に基づき前記視線情報を検出してもよい。

本構成によれば、各ユーザの目を含む画像データから、各ユーザの目を示す情報及び各ユーザの顔の向きを示す情報が検出され、当該検出された情報に基づき視線情報が検出される。これにより、本構成は、画像データから得られる目と顔の向きとを示す情報から、各ユーザの視線を精度良く検出することができる。

上記態様において、前記各ユーザの個人認証では、前記画像データから前記各ユーザの目の虹彩を示す虹彩情報を検出し、検出した前記虹彩情報に基づき前記各ユーザを個人認証してもよい。

本構成によれば、各ユーザの目を含む画像データから、各ユーザの目の虹彩を示す虹彩情報が検出され、当該検出された虹彩情報に基づき各ユーザが個人認証される。これにより、本構成は、各ユーザ特有の虹彩に基づき、各ユーザを精度良く個人認証することができる。

上記態様において、前記一以上のユーザは、展示会の参加者であり、前記一以上の属性は、前記参加者の勤務先を含み、前記視線情報は、前記各ユーザの視線が向けられた位置に存在する前記展示会の展示物を示す展示物情報を含み、前記視線利用情報は、前記展示物情報が示す前記展示会の展示物と、当該展示会の展示物にユーザの視線が向けられた頻度と、の関係を表すヒートマップであってもよい。

本構成では、一以上のユーザは、展示会の参加者であり、各ユーザの属性には、参加者の勤務先が含まれる。また、視線利用情報として、展示物情報が示す展示会の展示物と、当該展示会の展示物にユーザの視線が向けられた頻度と、の関係を表すヒートマップが出力される。このため、当該出力されたヒートマップの視認者は、例えば、展示会において、どの勤務先の参加者が、どの展示物に視線を向けている頻度が高いのかを容易に把握することができる。

上記態様において、前記一以上のユーザは、製造現場の作業員であり、前記一以上の属性は、前記作業員の作業の熟練度を含み、前記視線情報は、前記各ユーザの視線が向けられた位置に存在する作業対象物を示す作業対象物情報を含み、前記視線利用情報は、前記作業対象物情報が示す前記作業対象物と、当該作業対象物にユーザの視線が向けられた頻度と、の関係を表すヒートマップであってもよい。

本構成では、一以上のユーザは、製造現場の作業員であり、各ユーザの属性には、作業員の作業の熟練度が含まれる。また、視線利用情報として、作業対象物情報が示す作業対象物と、当該作業対象物にユーザの視線が向けられた頻度と、の関係を表すヒートマップが出力される。このため、当該出力されたヒートマップの視認者は、例えば、製造現場において、熟練度の高い作業者が、どの作業対象物に視線を向けている頻度が高いのかを容易に把握することができる。

上記態様において、前記画像データは、赤外光カメラによって撮影されたものであってもよい。

赤外光カメラで撮影された画像データにおいては、瞳孔及び虹彩のそれぞれの外縁の輝度変化が明確に表れる傾向がある。また、本構成では、赤外光カメラによって撮影された画像データに含まれる各ユーザの目を示す情報に基づき、各ユーザが個人認証される。したがって、本構成によれば、画像データから、個人認証に用いる各ユーザの目を示す情報として、各ユーザの目の虹彩を示す虹彩情報を正確に検出することができる。その結果、本構成では、各ユーザの個人認証を正確に行うことができる。

本開示は、このような情報処理方法に含まれる特徴的な各構成をコンピュータに実行させる制御プログラム、或いはこの制御プログラムによって動作する情報処理装置として実現することもできる。また、このような制御プログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。

尚、以下で説明する実施の形態は、何れも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、全ての実施の形態において、各々の内容を組み合わせることもできる。

（実施の形態１）
図１は、本開示の実施の形態１に係る画像処理システム１の全体構成の一例を示す図である。画像処理システム１は、人物４００を撮影し、得られた人物４００の画像データから人物４００の視線を示す視線情報を検出するシステムである。図１の例では、画像処理システム１は、表示装置３００に表示された複数のオブジェクト３０１のうち、どのオブジェクト３０１を人物４００が注視しているかを特定している。但し、これは一例であり、画像処理システム１は、表示装置３００の表示画面上に表示されたオブジェクト３０１のみならず、実空間内において人物４００が注視するオブジェクト３０１を特定してもよい。

図１の例では、画像処理システム１はデジタルサイネージシステムに適用されている。したがって、表示装置３００に表示されるオブジェクト３０１は、広告等のサイネージの画像となる。また、画像処理システム１は、人物４００の画像データに基づき得られた、当該人物４００の視線を示す情報と当該人物４００の個人情報とを対応付けた情報を生成して出力する。

画像処理システム１は、画像処理装置１００（情報処理装置の一例）、カメラ２００、及び表示装置３００を含む。画像処理装置１００は、カメラ２００及び表示装置３００と所定の通信路を介して接続されている。所定の通信路は、例えば、有線ＬＡＮ等の有線の通信路、又は無線ＬＡＮ及びブルートゥース（登録商標）等の無線の通信路である。画像処理装置１００は、例えば表示装置３００の周囲に設置されたコンピュータで構成されている。但し、これは一例であり、画像処理装置１００は、クラウドサーバで構成されてもよい。この場合、画像処理装置１００は、カメラ２００及び表示装置３００とインターネットを介して接続される。画像処理装置１００は、カメラ２００で撮像された人物４００の画像データから、人物４００の視線情報を検出し、表示装置３００に出力する。また、画像処理装置１００は、カメラ２００又は表示装置３００にハードウェアとして組み込まれてもよい。また、カメラ２００又は表示装置３００がプロセッサを備え、画像処理装置１００がソフトウェアとして組み込まれていてもよい。

カメラ２００は、例えば所定のフレームレートで表示装置３００の周囲の環境を撮影することにより、表示装置３００の周囲に位置する人物４００の画像データを取得する。カメラ２００は、取得した画像データを所定のフレームレートで順次に画像処理装置１００に出力する。カメラ２００は、可視光カメラであってもよいし、赤外光カメラであってもよい。

表示装置３００は、例えば液晶パネル又は有機ＥＬパネル等の表示装置で構成されている。図１の例では、表示装置３００は、サイネージディスプレイである。尚、図１の例では、画像処理システム１は、表示装置３００を含むとして説明したが、これは一例であり、表示装置３００に代えて、別の機器が採用されてもよい。例えば、画像処理システム１が視線により機器への入力を受け付けるユーザインターフェースとして利用されるのであれば、画像処理システム１は例えば表示装置３００に代えて、冷蔵庫、テレビ、及び洗濯機等の家電機器が採用されてもよい。例えば、画像処理システム１が車両に搭載されるのであれば、表示装置３００に代えて、自動車等の車両が採用されてもよい。更に、表示装置３００に代えてハードディスクドライブ、ソリッドステートドライブ等の記憶装置が採用されてもよい。

図２は、実施の形態１に係る画像処理システム１の詳細な構成の一例を示すブロック図である。画像処理装置１００は、プロセッサ１２０、及びメモリ１４０を含む。

プロセッサ１２０は、ＣＰＵ、ＦＰＧＡ等の電気回路である。プロセッサ１２０は、画像取得部１２１、目検出部１２２、虹彩認証部１２３（認証部の一例）、顔特徴検出部１２４、視線検出部１２５、管理情報生成部１２６（個人情報取得部の一部）、及び出力部１２７を含む。尚、プロセッサ１２０が備える各ブロックは、プロセッサ１２０がコンピュータを画像処理装置として機能させる制御プログラムを実行することで実現されてもよいし、専用の電気回路で構成されてもよい。

画像取得部１２１は、カメラ２００が撮像した画像データを取得する。ここで、取得される画像データには、表示装置３００の周囲の人物４００（ユーザの一例）の顔が含まれる。尚、画像取得部１２１が取得する画像データは、例えばウェブサイトに掲載された画像データであってもよいし、外部の記憶装置が記憶する画像データであってもよい。

目検出部１２２は、画像取得部１２１が取得した画像データから人物４００の目を含む目領域を検出する。詳細には、目検出部１２２は、目領域を検出するために予め作成された分類器を用いて目領域を検出すればよい。ここで用いられる分類器は、例えばオープンソースによる画像処理ライブラリにおいて目領域を検出するために予め作成されたハール（Ｈａａｒ）状のカスケード分類器である。

目領域は、目の大きさに所定のマージンを加えた程度のサイズを持つ矩形状の領域である。但し、これは一例であり、目領域の形状は矩形以外の、例えば、３角形、５角形、６角形、又は８角形等であってもよい。また、目領域の境界を目に対してどの位置に設定するのかは分類器の性能に依存する。

図３は、目領域５０の一例を示す図である。図３に示すように、本実施の形態において、目とは、上瞼の境界５３と下瞼の境界５４とによって取り囲まれる、白目と、黒目等の有色の部分とを含む領域を指す。瞳とは、図３に示すように、瞳孔５５と、瞳孔５５を取り囲むドーナツ状の虹彩５６とを含む有色の部分を指す。本実施の形態では、説明の便宜上、右目とは人物４００を正面から見て右側にある目のことを指し、左目とは人物４００を正面から見て左側にある目のことを指す。図３は、目検出部１２２が、右目を含む目領域５０と左目を含む目領域５０とを検出した例を示している。但し、これは一例であり、人物４００から見て右側にある目を右目、人物４００から見て左側にある目を左目としてもよい。また、本実施の形態では、紙面の右側の方向を右方、紙面の左側の方向を左方とする。

虹彩認証部１２３は、目検出部１２２により検出された目領域５０において、人物４００の目の虹彩５６を示す虹彩情報を検出し、検出した虹彩情報及び認証情報記憶部１４１を用いて人物４００の個人認証を行う。

虹彩情報には、例えば、虹彩５６の外縁を示す座標データ又は虹彩５６の外縁の半径若しくは直径等の長さ（例えばピクセル）を示す情報と、虹彩５６の中心の座標データとが含まれる。ここで、座標データとは、画像取得部１２１が取得した画像データにおける２次元の座標データを指す。虹彩情報には、例えばドーグマンアルゴリズム等の所定のアルゴリズムで虹彩５６の画像をコード化して得られた虹彩データが含まれる。ドーグマンアルゴリズムは、「Ｈｉｇｈ Ｃｏｎｆｉｄｅｎｃｅ Ｖｉｓｕａｌ Ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ Ｐｅｒｓｏｎｓ ｂｙ ａ Ｔｅｓｔ ｏｆ Ｓｔａｔｉｓｔｉｃａｌ Ｉｎｄｅｐｅｎｄｅｎｃｅ： Ｊｏｈｎ Ｇ． Ｄａｕｇｍａｎ（１９９３）」の文献にて開示されている。尚、虹彩データは、これに限らず、虹彩５６の画像を所定のファイル形式（例えばＰＮＧ）で表した画像データ（バイナリデータ）であってもよい。

カメラ２００として赤外光カメラが採用された場合、瞳孔５５と虹彩５６との輝度変化が明確に表れる。このため、虹彩認証部１２３は、カメラ２００として赤外光カメラが採用された場合、更に、例えば瞳孔５５の外縁を示す座標データ又は瞳孔５５の外縁の半径若しくは直径等の長さ（例えば、ピクセル）示す情報と、瞳孔５５の中心の座標データと、を虹彩情報として検出してもよい。一方、カメラ２００として可視光カメラが採用された場合、瞳孔５５と虹彩５６との輝度変化が明確に表れない場合もあるため、瞳孔５５と虹彩５６とを区別することが困難となる。したがって、カメラ２００として可視光カメラが採用された場合、虹彩認証部１２３は、上述した瞳孔５５に関する座標データ及び情報を検出しなくてもよい。虹彩情報及び認証情報記憶部１４１を用いた人物４００の個人認証の詳細については後述する。

顔特徴検出部１２４は、画像取得部１２１が取得した画像データから人物４００の顔の特徴点を検出する。顔の特徴点とは、例えば目尻、目頭、顔の輪郭、鼻筋、口角、及び眉毛等の顔を構成する複数の部品のそれぞれにおいて、特徴的な位置にある１又は複数の点である。

具体的には、顔特徴検出部１２４は、まず、画像取得部１２１が取得した画像データから人物４００の顔を示す顔領域を検出する。例えば、顔特徴検出部１２４は、顔領域を検出するために予め作成された分類器を用いて顔領域を検出すればよい。ここで用いられる分類器は、例えばオープンソースによる画像処理ライブラリにおいて顔領域を検出するために予め作成されたハール（Ｈａａｒ）状のカスケード分類器である。顔領域は、例えば顔の全体を含む程度のサイズを持つ矩形状の領域である。但し、これは一例であり、顔領域の形状は矩形以外の例えば、３角形、５角形、６角形、又は８角形等であってもよい。尚、顔特徴検出部１２４は、パターンマッチングにより顔領域を検出してもよい。

次に、顔特徴検出部１２４は、検出した顔領域から顔の特徴点を検出する。特徴点はランドマークとも呼ばれる。顔特徴検出部１２４は、例えば機械学習のフレームワークのモデルファイルを利用したランドマーク検出処理を実行することで顔の特徴点を検出すればよい。

視線検出部１２５は、顔特徴検出部１２４が検出した顔の特徴点と、目検出部１２２により検出された目領域５０に含まれる人物４００の目を示す情報と、に基づき、人物４００の視線を示す情報（以降、視線情報）を検出する。

具体的には、視線検出部１２５は、公知の顔向き検出処理を行うことで、顔特徴検出部１２４が検出した顔の特徴点の配置パターンから人物４００の顔の向きを示す顔向き情報を検出する。顔向き情報には、例えば、カメラ２００の光軸に対する顔の正面方向を示す角度等が含まれる。

次に、視線検出部１２５は、３次元眼球モデルにより視線を検出する公知の視線検出処理を行うことで、上述の検出した顔向き情報と、目検出部１２２により検出された目領域５０に含まれる人物４００の目を示す情報と、に基づき、視線情報を検出する。目を示す情報には、例えば、瞳、目頭、目尻及び目の重心の位置が含まれる。また、目を示す情報には、例えば、虹彩認証部１２３によって目領域５０から検出された虹彩情報等が含まれる。視線情報には、当該視線情報の検出に用いた画像データの撮影日時と、所定の対象面（例えば表示装置３００）における注視点の座標データが含まれる。注視点は、人物４００の視線が向けられた位置であり、例えば対象面と視線を示すベクトルとが交差する位置である。尚、視線情報には、注視点の座標データに代えて、又は、注視点の座標データに加えて、人物４００の視線の方向を示すベクトルが含まれてもよい。当該ベクトルは、例えば、カメラ２００の光軸方向等の基準方向に対する水平成分の角度と、当該基準方向に対する垂直方向の角度と、によって表せばよい。

管理情報生成部１２６は、カメラ２００によって画像処理システム１のユーザが撮影され、虹彩認証部１２３によって当該ユーザが個人認証される度に、当該個人認証されたユーザを特定する個人情報を、ユーザ情報記憶部１４２から取得する。また、視線検出部１２５によって当該個人認証されたユーザを撮影した画像データから視線情報が検出されると、管理情報生成部１２６は、当該検出された視線情報と、当該取得した個人情報と、を対応付けた情報（以降、視線管理情報）を生成する。ユーザ情報記憶部１４２を用いた個人情報の取得及び視線管理情報の生成の詳細については、後述する。

出力部１２７は、視線検出部１２５によって検出された視線情報を表示装置３００に出力する。出力部１２７は、表示装置３００で表示されているオブジェクト３０１の情報を取得し、取得した情報と注視点の座標データとから人物４００が注視するオブジェクト３０１（以降、注視オブジェクト）を特定し、特定結果を表示装置３００に出力してもよい。

また、出力部１２７は、管理情報生成部１２６によって生成された、一以上のユーザについての視線管理情報を、プロセッサ１２０が備えるメモリ（図略）又は画像処理装置１００が備えるハードディスクドライブ、ソリッドステートドライブ等の記憶装置（図略）に記憶する（出力するの一例）。尚、出力部１２７は、管理情報生成部１２６によって生成された、一以上のユーザについての視線管理情報を、表示装置３００に出力してもよい。

メモリ１４０は、ハードディスクドライブ、ソリッドステートドライブ等の記憶装置である。メモリ１４０は、認証情報記憶部１４１、及びユーザ情報記憶部１４２を含む。

認証情報記憶部１４１は、認証情報テーブルを予め記憶している。認証情報テーブルは、虹彩認証部１２３が画像処理システム１のユーザの個人認証に用いる認証情報を記憶するテーブルである。

図４は、認証情報テーブルＴ１の一例を示す図である。具体的には、図４に示すように、認証情報テーブルＴ１が記憶する認証情報には、「ユーザＩＤ」、「虹彩ＩＤ」、「虹彩データ」、「瞳孔径サイズ」及び「虹彩径サイズ」が含まれる。「ユーザＩＤ」は、画像処理システム１のユーザに対して一意的に割り付けられた識別子である。「虹彩ＩＤ」は、「虹彩データ」に対して一意的に割り付けられた識別子である。「虹彩データ」は、例えばドーグマンアルゴリズム等の所定のアルゴリズムで、画像処理システム１のユーザの虹彩５６の画像をコード化して得られるデータである。

「瞳孔径サイズ」は、画像処理システム１のユーザの瞳孔５５の外縁の直径である。「虹彩径サイズ」は、画像処理システム１のユーザの虹彩５６の外縁の直径である。尚、認証情報テーブルＴ１は、少なくとも「ユーザＩＤ」、「虹彩ＩＤ」及び「虹彩データ」を記憶する構成であればよく、「瞳孔径サイズ」及び「虹彩径サイズ」のうちの一以上を記憶しない構成であってもよい。

ユーザ情報記憶部１４２は、ユーザ情報テーブルを予め記憶している。ユーザ情報テーブルは、画像処理システム１のユーザの個人情報を記憶するテーブルである。

図５は、ユーザ情報テーブルＴ２の一例を示す図である。具体的には、図５に示すように、ユーザ情報テーブルＴ２が記憶する個人情報には、「ユーザＩＤ」、「プライバシー情報」、「属性情報」が含まれる。「ユーザＩＤ」は、画像処理システム１のユーザに対して一意的に割り付けられた識別子である。「プライバシー情報」は、画像処理システム１のユーザを一意に識別しうるプライバシーに関わる情報である。図５の例では、「プライバシー情報」には、「氏名」、「住所」、「電話番号」、「メールアドレス」が含まれる。「氏名」、「住所」、「電話番号」、「メールアドレス」は、それぞれ、画像処理システム１のユーザの氏名、住所、電話番号、メールアドレスである。「属性情報」は、画像処理システム１のユーザの性質または特徴を示す一以上の属性を示す情報である。図５の例では、「属性情報」には、「年齢」、「性別」、「勤務先」、「職種」等が含まれる。「年齢」、「性別」、「勤務先」、「職種」は、それぞれ、画像処理システム１のユーザの年齢、性別、勤務先、職種である。尚、「属性情報」は、これに限らず、「年齢」、「性別」、「勤務先」、「職種」のうちの一以上が含まれていればよい。

カメラ２００は、図１で説明したため、ここでは説明を省略する。

表示装置３００は、出力部１２７から出力された視線情報を示すマーカーを表示する。表示装置３００は、出力部１２７から出力された人物４００が注視するオブジェクト３０１を示すマーカーを表示してもよい。例えば、表示装置３００に対して、視線情報として注視点の座標データが出力されたとする。この場合、表示装置３００は、座標データに対応する位置に、視線位置を示すマーカーを表示中の画像に重畳して表示させるといった処理を行う。例えば、表示装置３００に対して、注視オブジェクトの特定結果が出力されたとする。この場合、表示装置３００は、注視オブジェクトを示すマーカーを表示中の画面に重畳して表示させるといった処理を行ってもよい。また、表示装置３００は、出力部１２７から出力された一以上のユーザについての視線管理情報を表示してもよい。

尚、画像処理システム１が、表示装置３００に代えて家電機器で構成される場合、家電機器は視線情報から人物４００の入力を受け付ける。また、画像処理システム１が、表示装置３００に代えて記憶装置で構成される場合、記憶装置は、視線情報を記憶する。この場合、記憶装置は視線情報にタイムスタンプを対応付けて記憶してもよい。

次に、画像処理装置１００の動作について説明する。図６は、実施の形態１に係る画像処理装置１００の動作の一例を示すフローチャートである。図６に示す画像処理装置１００の動作は、定期的（例えば、１秒毎）に開始される。画像処理装置１００の動作が開始され、画像取得部１２１によって、カメラ２００から人物４００の顔の画像データが取得されると（ステップＳ１）、目検出部１２２は、目領域５０を検出するための分類器にステップＳ１で取得した画像データを入力することにより、当該画像データから目領域５０を検出する（ステップＳ２）。

次に、虹彩認証部１２３は、ステップＳ２で検出された目領域５０において、人物４００の目の虹彩５６を示す虹彩情報を検出し、検出した虹彩情報及び認証情報記憶部１４１を用いて人物４００の個人認証を行う（ステップＳ３）。

具体的には、虹彩認証部１２３は、ステップＳ３において、認証情報記憶部１４１が記憶する認証情報テーブルＴ１（図４）を１レコードずつ参照する。次に、虹彩認証部１２３は、検出された虹彩情報に含まれる瞳孔５５の外縁の直径の長さと、検出された虹彩情報に含まれる虹彩５６の外縁の直径の長さと、の比率（以降、第一比率）を算出する。また、虹彩認証部１２３は、参照したレコードに含まれる「瞳孔径サイズ」と参照したレコードに含まれる「虹彩径サイズ」との比率（以降、第二比率）を算出する。

そして、虹彩認証部１２３は、第一比率と第二比率との差異が所定の第一閾値以下であるか否かを判定する。虹彩認証部１２３は、第一比率と第二比率との差異が第一閾値以下であると判定した場合、検出された虹彩情報に含まれる虹彩データと、参照したレコードの「虹彩データ」と、の類似度が所定の第二閾値以上であるか否かを判定する。虹彩認証部１２３は、前記類似度が第二閾値以上であると判定した場合、人物４００が、当該参照したレコードに含まれる「ユーザＩＤ」によって識別される、画像処理システム１のユーザであると個人認証する。そして、虹彩認証部１２３は、当該参照したレコードの「ユーザＩＤ」を、当該個人認証したユーザのユーザＩＤとして出力する。

次に、管理情報生成部１２６は、ステップＳ３で個人認証された人物４００の個人情報を取得する（ステップＳ４）。具体的には、ステップＳ４では、管理情報生成部１２６は、ユーザ情報記憶部１４２が予め記憶しているユーザ情報テーブルＴ２（図５）において、ステップＳ３で虹彩認証部１２３が出力した、個人認証されたユーザのユーザＩＤと一致する「ユーザＩＤ」を含むレコードを、当該人物４００の個人情報として取得する。図５の例では、個人認証された人物４００のユーザＩＤが「Ｕ００１」の場合、管理情報生成部１２６は、当該ユーザＩＤと一致するユーザＩＤ「Ｕ００１」を含み、「氏名」が「ａ山ｂ太」である「プライバシー情報」と、「年齢」が「４５」である「属性情報」と、を含む一行目のレコードを、当該人物４００の個人情報として取得する。

次に、顔特徴検出部１２４は、ステップＳ１で画像取得部１２１が取得した画像データから人物４００の顔の特徴点を検出する（ステップＳ５）。次に、視線検出部１２５は、ステップＳ５で検出された顔の特徴点と、ステップＳ２で検出された目領域５０に含まれる人物４００の目を示す情報と、に基づき、視線情報を検出する（ステップＳ６）。

具体的には、ステップＳ６では、視線検出部１２５は、ステップＳ５において顔特徴検出部１２４が公知の顔向き検出処理を行うことで検出した顔の特徴点の配置パターンから人物４００の顔の向きを示す顔向き情報を検出する。次に、視線検出部１２５は、３次元眼球モデルにより視線を検出する公知の視線検出処理を行うことで、検出した顔向き情報と、ステップＳ２で検出された目領域５０に含まれる人物４００の目を示す情報と、に基づき、視線情報を検出する。本実施の形態では、ステップＳ６で検出される視線情報には、表示装置３００における注視点の位置を示す座標データと、表示装置３００において当該注視点の位置に表示されているオブジェクト３０１を識別する情報と、が含まれているものとする。

次に、管理情報生成部１２６は、ステップＳ６で検出された視線情報と、ステップＳ５で取得した個人情報と、を対応付けた視線管理情報を生成する（ステップＳ７）。出力部１２７は、ステップＳ７で生成された視線管理情報を管理情報テーブル（管理情報の一例）に記憶する（ステップＳ８）。管理情報テーブルは、管理情報生成部１２６によって生成した一以上の人物４００についての視線管理情報を記憶するテーブルである。管理情報テーブルは、プロセッサ１２０が備えるメモリ（図略）又は画像処理装置１００が備えるハードディスクドライブ、ソリッドステートドライブ等の記憶装置（図略）に記憶される。

図７は、管理情報テーブルＴ３の一例を示す図である。例えば、ステップＳ７では、図７に示すように、管理情報生成部１２６は、ステップＳ６で検出された視線情報に含まれる「画像撮影日時」、「視線位置Ｘ座標」、「視線位置Ｙ座標」、「被注視体ＩＤ」と、ステップＳ５で取得した個人情報に含まれる「ユーザＩＤ」、「年齢」、「性別」、「勤務先」、「職種」と、を対応付けた視線管理情報を生成する。出力部１２７は、管理情報生成部１２６によって生成された視線管理情報を管理情報テーブルＴ３に記憶する。

「画像撮影日時」は、視線情報の検出に用いられた画像データの取得日時、つまり、ステップＳ１で画像データが取得された日時である。「視線位置Ｘ座標」は、表示装置３００における注視点の位置を示す座標データの水平方向成分であり、「視線位置Ｙ座標」は、当該注視点の位置を示す座標データの垂直方向成分である。「被注視体ＩＤ」は、表示装置３００において注視点の位置に表示されているオブジェクト３０１を識別する情報である。「年齢」、「性別」、「勤務先」、「職種」は、ユーザ情報テーブルＴ２（図５）において属性情報として予め記憶されていた情報である。このように、本具体例では、個人情報に含まれる「プライバシー情報」を視線情報と対応付けずに、個人情報に含まれる「属性情報」と視線情報とを対応付けた視線管理情報が生成される。これにより、プライバシーが保護された内容の視線管理情報を生成することができる。

図７の例では、ステップＳ１において、日時が「２０１９／５／１７ １３：３３：１３」のときに「ユーザＩＤ」が「Ｕ００１」であるユーザの顔の画像データが取得され、当該画像データから検出された「視線位置Ｘ座標」が「１０８０」である視線情報と、「ユーザＩＤ」が「Ｕ００１」である個人情報と、を対応付けた視線管理情報が生成され、管理情報テーブルＴ３に記憶されている。このようにして、図７の例では、管理情報テーブルＴ３に、同一の人物４００を含む、のべ１１人の人物４００についての視線管理情報が記憶されている。

尚、ステップＳ７で生成される視線管理情報は上記に限らない。図８は、管理情報テーブルＴ３の他の一例を示す図である。例えば、図８に示すように、管理情報生成部１２６は、ステップＳ６で検出された視線情報に含まれる「画像撮影日時」、「視線位置Ｘ座標」、「視線位置Ｙ座標」、「被注視体ＩＤ」と、ステップＳ５で取得した個人情報から「プライバシー情報」（図５）及び「属性情報」（図５）を除いた情報（「ユーザＩＤ」）と、を対応付けた視線管理情報を生成してもよい。又は、ステップＳ４を省略し、ステップＳ７では、ステップＳ３で個人認証されたユーザの「ユーザＩＤ」を個人情報として、ステップＳ６で検出された視線情報と対応付けてもよい。

このように、視線情報に対応付ける個人情報から「プライバシー情報」（図５）及び「属性情報」（図５）を除くことで、視線管理情報の生成に要する時間をより短縮してもよい。また、当該視線管理情報の生成後、任意のタイミングで、当該視線管理情報に含まれる「ユーザＩＤ」を用いてステップＳ４を行うようにしてもよい。そして、当該ステップＳ４で取得された個人情報を、当該ステップＳ４で用いた「ユーザＩＤ」を含む視線管理情報に追加するようにしてもよい。このようにして、認証されたユーザの個人情報の詳細を事後的に視線管理情報として追加するようにしてもよい。

また、管理情報生成部１２６は、上述のように、人物４００の視線の方向を示すベクトルを示す情報が視線情報に含まれている場合には、当該ベクトルを示す情報と個人情報とを対応付けた視線管理情報を生成してもよい。また、管理情報生成部１２６は、生成した視線管理情報に、当該視線管理情報を一意に特定するための識別子を含めるようにしてもよい。

以上説明したように、本実施の形態によれば、一以上の画像処理システム１のユーザのそれぞれについて、各ユーザの目を含む画像データに含まれる各ユーザの目を示す情報に基づき、視線情報の検出及び個人認証が行われ、各ユーザの個人情報が取得される。そして、本実施の形態では、このように取得された個人情報と視線情報とを対応付けた視線管理情報が生成される。このようにして、一以上のユーザについての視線管理情報が生成された結果が、管理情報テーブルＴ３に記憶される。

このため、本実施の形態では、各ユーザの視線情報と個人情報とを対応付けた視線管理情報の生成に用いる画像データを、各ユーザの目を含む画像データのみに制限することができる。これにより、本実施の形態では、各ユーザの視線情報と各ユーザの個人情報とを対応付けた情報をより簡易な構成で生成することができる。

また、本実施の形態では、各ユーザの視線情報及び個人情報の取得に用いる画像データが同一であるので、同一時点における各ユーザの目を示す情報に基づき、視線情報の検出及び個人認証を行うことができる。これにより、本構成は、当該個人認証されたユーザについての時間的に差異のない視線情報及び個人情報を取得して、これらを対応付けた視線管理情報を生成することができる。したがって、本構成は、互いに異なる時点における各ユーザの目を示す情報に基づき、視線情報の検出及び個人認証を行う場合よりも精度良く、各ユーザの視線情報と個人情報とを対応付けた情報を生成することができる。

（実施の形態２）
実施の形態２では、出力部１２７が、更に、管理情報生成部１２６によって生成された、一以上のユーザについての視線管理情報に基づいて、視線情報が一以上の属性毎に分類された視線利用情報を生成し、視線利用情報を出力する。

例えば、図７に示すように、管理情報テーブルＴ３に、ユーザＩＤが「Ｕ００１」、「Ｕ００２」、「Ｕ００３」のユーザについての１１個の視線管理情報が記憶されているものとする。この場合、出力部１２７は、例えば、当該１１個の視線管理情報を「性別」によって分類し、「性別」が「男」である、「ユーザＩＤ」が「Ｕ００１」及び「Ｕ００３」の６個の視線管理情報を視線利用情報として生成する。そして、出力部１２７は、「性別」が「男」であることを示す情報とともに、当該６個の視線管理情報を視線利用情報として表示装置３００に出力する。

これと同様にして、出力部１２７は、「性別」が「女」である、「ユーザＩＤ」が「Ｕ００２」の５個の視線管理情報を視線利用情報として生成し、「性別」が「女」であることを示す情報とともに、当該５個の視線管理情報を視線利用情報として表示する。この場合、出力部１２７が、「性別」が「女」であることを示す情報を、「性別」が「男」であることを示す情報とは異なる色で表示する等して、表示対象の視線利用情報に対応する属性に応じて、視線利用情報の表示態様を異ならせてもよい。本実施の形態によれば、視線利用情報の視認者は、同一の一以上の属性を有するユーザの視線の傾向を容易に把握することができる。

（実施の形態３）
実施の形態３では、実施の形態２において、例えば図７に示すように、視線管理情報に含まれる視線情報に注視点の座標データが含まれている場合、出力部１２７が、視線情報に含まれている座標データが示す注視点と、当該注視点にユーザの視線が向けられた頻度と、の関係を表すヒートマップを、視線利用情報として、表示装置３００に出力する。

以下、出力部１２７が上述のヒートマップを、視線利用情報として、表示装置３００に出力する方法について、図７を用いて説明する。まず、出力部１２７は、図７に示す１１個の視線管理情報を「性別」によって分類し、「性別」が「男」である「ユーザＩＤ」が「Ｕ００１」及び「Ｕ００３」の６個の視線管理情報を第一の視線利用情報として生成し、「性別」が「女」である「ユーザＩＤ」が「Ｕ００２」の５個の視線管理情報を第二の視線利用情報として生成する。

次に、出力部１２７は、第一の視線利用情報と第二の視線利用情報のそれぞれについて、各視線利用情報に含まれる各視線管理情報内の視線情報を参照し、当該参照した視線情報に含まれている座標データが示す注視点（以降、対象注視点）に、ユーザの視線が向けられた頻度を算出する。

具体的には、出力部１２７は、対象注視点を含むオブジェクト３０１（以降、対象オブジェクト）にユーザの視線が向けられた頻度を、当該対象注視点にユーザの視線が向けられた頻度として算出する。

例えば、第一の視線利用情報には、６個の視線管理情報が含まれ、「被注視体ＩＤ」が「Ｃ００１」の視線管理情報が４個あり、「被注視体ＩＤ」が「Ｃ００２」の視線管理情報が１個あり、「被注視体ＩＤ」が「Ｃ００３」の視線管理情報が１個存在する。この場合、出力部１２７は、「被注視体ＩＤ」が「Ｃ００１」の対象オブジェクトにユーザの視線が向けられた頻度を「４／６」と算出する。そして、出力部１２７は、当該算出した頻度「４／６」を、「被注視体ＩＤ」が「Ｃ００１」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：１３」〜「２０１９／５／１７ １３：３３：１６」の４個の各対象注視点にユーザの視線が向けられた頻度とする。

同様にして、出力部１２７は、「被注視体ＩＤ」が「Ｃ００２」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２０」の１個の対象注視点にユーザの視線が向けられた頻度を「１／６」と算出する。また、出力部１２７は、「被注視体ＩＤ」が「Ｃ００３」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２２」の１個の対象注視点にユーザの視線が向けられた頻度を「１／６」と算出する。

同様にして、出力部１２７は、第二の視線利用情報について、「被注視体ＩＤ」が「Ｃ００４」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：１７」〜「２０１９／５／１７ １３：３３：１９」の３個の対象注視点に、ユーザの視線が向けられた頻度を「３／５」と算出する。また、出力部１２７は、「被注視体ＩＤ」が「Ｃ００２」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２１」の１個の対象注視点にユーザの視線が向けられた頻度を「１／５」と算出する。また、出力部１２７は、「被注視体ＩＤ」が「Ｃ００３」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２３」の１個の対象注視点にユーザの視線が向けられた頻度を「１／５」と算出する。

次に、出力部１２７は、第一の視線利用情報に含まれる各対象注視点を、当該各対象注視点にユーザの視線が向けられた頻度が高いほど強調して表示装置３００に表示する。

例えば、出力部１２７は、前記頻度が「４／６」である、「画像撮影日時」が「２０１９／５／１７ １３：３３：１３」〜「２０１９／５／１７ １３：３３：１６」の４個の対象注視点を、前記頻度が「１／６」である、「画像撮影日時」が「２０１９／５／１７ １３：３３：２０」の１個の対象注視点及び「画像撮影日時」が「２０１９／５／１７ １３：３３：２２」の１個の対象注視点よりも強調して表示する。

これと同様にして、出力部１２７は、第二の視線利用情報に含まれる各対象注視点を、当該各対象注視点にユーザの視線が向けられた頻度が高いほど強調して表示装置３００に表示する。例えば、出力部１２７は、前記頻度が「３／５」である、「画像撮影日時」が「２０１９／５／１７ １３：３３：１７」〜「２０１９／５／１７ １３：３３：１９」の３個の対象注視点を、前記頻度が「１／５」である、「画像撮影日時」が「２０１９／５／１７ １３：３３：２１」の１個の対象注視点及び「画像撮影日時」が「２０１９／５／１７ １３：３３：２３」の１個の対象注視点よりも強調して表示する。

本構成によれば、当該表示装置３００の視認者は、同一の属性を有するユーザの視線がどの位置に向けられている頻度が高いのかを容易に把握することができる。

（実施の形態４）
実施の形態４では、実施の形態２において、例えば図７に示すように、視線管理情報に含まれる視線情報に注視点の座標データが含まれている場合、出力部１２７が、視線情報に含まれている座標データが示す注視点と、当該注視点にユーザの視線が向けられた回数と、当該注視点へのユーザの視線の移動経路と、の関係を表すゲイズプロットを、視線利用情報として、表示装置３００に出力する。

以下、出力部１２７が上述のゲイズプロットを、視線利用情報として、表示装置３００に出力する方法について、図７を用いて説明する。まず、出力部１２７は、実施の形態３と同様に、図７に示す１１個の視線管理情報を「性別」によって分類し、「性別」が「男」である６個の視線管理情報を第一の視線利用情報として生成し、「性別」が「女」である５個の視線管理情報を第二の視線利用情報として生成する。

次に、出力部１２７は、第一の視線利用情報と第二の視線利用情報のそれぞれについて、各視線利用情報に含まれる各視線管理情報内の視線情報を参照し、当該参照した視線情報に含まれている座標データが示す対象注視点にユーザの視線が向けられた回数を算出する。

具体的には、出力部１２７は、対象注視点を含む対象オブジェクトにユーザの視線が向けられた回数を、当該対象注視点にユーザの視線が向けられた回数として算出する。

例えば、第一の視線利用情報には、６個の視線管理情報が含まれ、「被注視体ＩＤ」が「Ｃ００１」の視線管理情報が４個あり、「被注視体ＩＤ」が「Ｃ００２」の視線管理情報が１個あり、「被注視体ＩＤ」が「Ｃ００３」の視線管理情報が１個存在する。この場合、出力部１２７は、「被注視体ＩＤ」が「Ｃ００１」の対象オブジェクトにユーザの視線が向けられた回数を「４」と算出する。そして、出力部１２７は、当該算出した回数「４」を、「被注視体ＩＤ」が「Ｃ００１」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：１３」〜「２０１９／５／１７ １３：３３：１６」の４個の各対象注視点にユーザの視線が向けられた回数とする。

同様にして、出力部１２７は、「被注視体ＩＤ」が「Ｃ００２」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２０」の１個の対象注視点にユーザの視線が向けられた回数を「１」と算出する。また、出力部１２７は、「被注視体ＩＤ」が「Ｃ００３」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２２」の１個の対象注視点にユーザの視線が向けられた回数を「１」と算出する。

同様にして、出力部１２７は、第二の視線利用情報について、「被注視体ＩＤ」が「Ｃ００４」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：１７」〜「２０１９／５／１７ １３：３３：１９」の３個の対象注視点に、ユーザの視線が向けられた回数を「３」と算出する。また、出力部１２７は、「被注視体ＩＤ」が「Ｃ００２」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２１」の１個の対象注視点にユーザの視線が向けられた回数を「１」と算出する。また、出力部１２７は、「被注視体ＩＤ」が「Ｃ００３」の対象オブジェクトに含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２３」の１個の対象注視点にユーザの視線が向けられた回数を「１」と算出する。

次に、出力部１２７は、第一の視線利用情報と第二の視線利用情報のそれぞれについて、表示装置３００において、各視線利用情報に含まれる各対象注視点を含む対象オブジェクトが表示されている領域に、当該各対象注視点にユーザの視線が向けられた回数を表示する。

例えば、出力部１２７は、表示装置３００において、第一の視線利用情報に含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：１３」〜「２０１９／５／１７ １３：３３：１６」の４個の対象注視点を含む、「被注視体ＩＤ」が「Ｃ００１」の対象オブジェクトが表示されている領域に、当該４個の各対象注視点にユーザの視線が向けられた回数である「４」を表示する。

同様にして、出力部１２７は、表示装置３００において、第一の視線利用情報に含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２０」の１個の対象注視点を含む、「被注視体ＩＤ」が「Ｃ００２」の対象オブジェクトが表示されている領域に、当該１個の対象注視点にユーザの視線が向けられた回数である「１」を表示する。また、出力部１２７は、表示装置３００において、第一の視線利用情報に含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２２」の１個の対象注視点を含む、「被注視体ＩＤ」が「Ｃ００３」の対象オブジェクトが表示されている領域に、当該１個の対象注視点にユーザの視線が向けられた回数である「１」を表示する。

同様にして、出力部１２７は、表示装置３００において、第二の視線利用情報に含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：１７」〜「２０１９／５／１７ １３：３３：１９」の３個の対象注視点を含む、「被注視体ＩＤ」が「Ｃ００４」の対象オブジェクトが表示されている領域に、当該３個の対象注視点にユーザの視線が向けられた回数である「３」を表示する。また、出力部１２７は、表示装置３００において、第二の視線利用情報に含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２１」の１個の対象注視点を含む、「被注視体ＩＤ」が「Ｃ００２」の対象オブジェクトが表示されている領域に、当該１個の対象注視点にユーザの視線が向けられた回数である「１」を表示する。また、出力部１２７は、表示装置３００において、第二の視線利用情報に含まれる、「画像撮影日時」が「２０１９／５／１７ １３：３３：２３」の１個の対象注視点を含む、「被注視体ＩＤ」が「Ｃ００３」の対象オブジェクトが表示されている領域に、当該１個の対象注視点にユーザの視線が向けられた回数である「１」を表示する。

次に、出力部１２７は、第一の視線利用情報及び第二の視線利用情報のそれぞれについて、各視線利用情報に含まれる各対象注視点を、当該各対象注視点に対応する「画像撮影日時」が古い順に参照する。そして、出力部１２７は、現在参照している対象注視点と、次に参照する対象注視点と、を接続する直線を、当該次に参照する対象注視点へのユーザの視線の移動経路として、表示装置３００に出力する。

例えば、出力部１２７は、第一の視線利用情報に含まれる対象注視点のうち、「画像撮影日時」が最も古い「２０１９／５／１７ １３：３３：１３」である対象注視点と、「画像撮影日時」が次に古い「２０１９／５／１７ １３：３３：１４」である対象注視点と、を接続する直線を、表示装置３００に出力する。同様にして、出力部１２７は、第一の視線利用情報に含まれる対象注視点のうち、「画像撮影日時」が「２０１９／５／１７ １３：３３：１４」である対象注視点と、「画像撮影日時」が次に古い「２０１９／５／１７ １３：３３：１５」である対象注視点と、を接続する直線を、表示装置３００に出力する。以降、同様にして、出力部１２７は、前記直線を表示装置３００に出力し、最後に、第一の視線利用情報に含まれる対象注視点のうち、「画像撮影日時」が最も新しい「２０１９／５／１７ １３：３３：２２」である対象注視点と、「画像撮影日時」が次に新しい「２０１９／５／１７ １３：３３：２０」である対象注視点と、を接続する直線を、表示装置３００に出力する。

同様にして、出力部１２７は、第二の視線利用情報に含まれる対象注視点のうち、「画像撮影日時」が最も古い「２０１９／５／１７ １３：３３：１７」である対象注視点と、「画像撮影日時」が次に古い「２０１９／５／１７ １３：３３：１８」である対象注視点と、を接続する直線を、表示装置３００に出力する。以降、同様にして、出力部１２７は、前記直線を表示装置３００に出力し、最後に、第二の視線利用情報に含まれる対象注視点のうち、「画像撮影日時」が最も新しい「２０１９／５／１７ １３：３３：２３」である対象注視点と、「画像撮影日時」が次に新しい「２０１９／５／１７ １３：３３：２１」である対象注視点と、を接続する直線を、表示装置３００に出力する。

本構成によれば、当該表示装置３００の視認者は、同一の属性を有するユーザの視線がどのような移動経路でどの位置に向けられている回数が多いのかを容易に把握することができる。

（実施の形態５）
画像処理システム１のユーザが、例えば数千人等の大人数になると、認証情報テーブルＴ１（図４）に記憶されている認証情報のレコード数が多くなる。この場合、ステップＳ３（図６）における、虹彩認証部１２３による虹彩情報及び認証情報テーブルＴ１（図４）を用いた個人認証の処理において参照するレコード数が多くなり、当該処理に要する時間が長くなる。その結果、ステップＳ４（図６）以降の処理の開始が遅くなり、視線管理情報を迅速に生成できない虞がある。

実施の形態５では、このような問題を回避するため、虹彩認証部１２３は、ステップＳ３（図６）において虹彩情報を検出した後に行う、当該検出した虹彩情報及び認証情報記憶部１４１を用いた人物４００の個人認証の処理を、視線情報の検出の処理とは別のタイミングで行う。そして、管理情報生成部１２６は、当該個人認証の処理後に個人認証された人物４００の個人情報を取得し、当該取得した個人情報と、別のタイミングで検出した視線情報とを対応付けて視線管理情報を生成する。以下、実施の形態５における視線管理情報の生成方法について、図９乃至図１１を用いて説明する。

図９及び図１０は、実施の形態５に係る画像処理装置１００の動作の一例を示すフローチャートである。具体的には、図９に示す画像処理装置１００の動作は、図６に示す画像処理装置１００の動作と同様、定期的（例えば、１秒毎）に開始される。画像処理装置１００の動作が開始されると、上述したステップＳ１及びステップＳ２が行われる。

次に、虹彩認証部１２３は、ステップＳ３（図６）と同様にして、ステップＳ２で検出された目領域５０から人物４００の目の虹彩５６を示す虹彩情報を検出する（ステップＳ３１）。ステップＳ３１の後、ステップＳ４（図６）を省略して、ステップＳ５及びステップＳ６が行われる。

次に、管理情報生成部１２６は、ステップＳ３１で検出された虹彩情報と、ステップＳ６で検出された視線情報とを対応付けた仮視線管理情報を生成する（ステップＳ７１）。出力部１２７は、ステップＳ７１で生成された仮視線管理情報を仮管理情報テーブルに記憶する（ステップＳ８１）。仮管理情報テーブルは、管理情報生成部１２６によって生成した一以上の人物４００についての仮視線管理情報を記憶するテーブルである。仮管理情報テーブルは、プロセッサ１２０が備えるメモリ（図略）又は画像処理装置１００が備えるハードディスクドライブ、ソリッドステートドライブ等の記憶装置（図略）に記憶される。

図１１は、仮管理情報テーブルＴ４の一例を示す図である。例えば、ステップＳ７１では、図１１に示すように、ステップＳ６で検出された視線情報に含まれる「画像撮影日時」、「視線位置Ｘ座標」、「視線位置Ｙ座標」、「被注視体ＩＤ」と、ステップＳ３１で検出された虹彩情報に含まれる「虹彩データ」、「瞳孔径サイズ」、「虹彩径サイズ」と、を対応付けた仮視線管理情報が仮管理情報テーブルＴ４に記憶される。「虹彩データ」は、ステップＳ３１で検出された虹彩情報に含まれる虹彩データである。「瞳孔径サイズ」は、ステップＳ３１で検出された虹彩情報に含まれる瞳孔５５の外縁の直径の長さである。「虹彩径サイズ」は、ステップＳ３１で検出された虹彩情報に含まれる虹彩５６の外縁の直径の長さである。

図１０に示す画像処理装置１００の動作は、仮管理情報テーブルＴ４に一以上の仮視線管理情報が記憶されている場合に、任意のタイミングで開始される。図１０に示す画像処理装置１００の動作が開始されると、虹彩認証部１２３は、仮管理情報テーブルＴ４に記憶されている一の仮視線管理情報を参照し、当該参照した仮視線管理情報に含まれる虹彩情報を用いて、ステップＳ３（図６）と同様に、人物４００の個人認証を行う（ステップＳ３２）。次に、管理情報生成部１２６は、ステップＳ４（図６）と同様にして、ステップＳ３２で個人認証された人物４００の個人情報を取得する（ステップＳ４２）。

次に、管理情報生成部１２６は、ステップＳ７（図６）と同様にして、ステップＳ３２で参照した一の仮視線管理情報に含まれる視線情報と、ステップＳ４２で取得した個人情報と、を対応付けた視線管理情報を生成する（ステップＳ７２）。次に、管理情報生成部１２６は、ステップＳ３２で参照した一の仮視線管理情報を、仮管理情報テーブルＴ４から削除する（ステップＳ７３）。次に、出力部１２７は、ステップＳ８（図６）と同様にして、ステップＳ７２で生成された視線管理情報を管理情報テーブルＴ３（図７）に記憶する（ステップＳ８２）。

本構成によれば、処理時間が長くなる虞がある個人認証の処理を、仮管理情報テーブルＴ４に一以上の仮視線管理情報が記憶されている場合の任意のタイミングで行うことができる。これにより、視線管理情報の生成に用いる視線情報の検出タイミングと、当該視線情報に対応付けられる個人情報の取得タイミングと、に大きな時間差が生じる虞を解消することができる。その結果、視線管理情報を迅速に生成することができる。

尚、ステップＳ４２における個人情報の取得日時と、ステップＳ７２で当該個人情報と対応付けられる視線情報に含まれる「画像撮影日時」と、の差が所定時間以上であるとする。この場合、当該取得した個人情報は、視線情報の検出に用いた画像データが取得されたときから、当該所定時間以上経過した時点でユーザ情報テーブルＴ２（図５）に記憶されていた個人情報である。このため、当該画像データが取得された時点におけるユーザの個人情報とは異なっている虞がある。そこで、ステップＳ４２における個人情報の取得日時と、ステップＳ７２で当該個人情報と対応付けられる視線情報に含まれる「画像撮影日時」との差が所定時間以上である場合には、当該ステップＳ７２で視線管理情報を生成しないようにしてもよい。

（実施の形態６）
実施の形態６は、人物４００の関心度を推定するものである。図１２は、実施の形態６に係る画像処理システム１Ａの詳細な構成の一例を示すブロック図である。尚、本実施の形態において上述の実施の形態と同一の構成要素には同一の符号を付し、説明を省略する。また、図１２において、図２と名称が同一であるが機能が異なるブロックには末尾にＡの符号が付されている。

プロセッサ１２０Ａは、更に、関心度推定部１２８を含む。

関心度推定部１２８は、以下の処理により人物４００の関心度を推定する。まず、関心度推定部１２８は、顔特徴検出部１２４により検出された顔の特徴点を用いて、顔領域からまゆげ及び口角を検出する。ここで、関心度推定部１２８は、顔特徴検出部１２４により検出された顔の特徴点において、まゆげ及び口角のそれぞれに対応するランドマーク点番号が付された特徴点を特定することで、まゆげ及び口角を検出すればよい。

次に、関心度推定部１２８は、視線検出部１２５により検出された視線情報と、検出したまゆげの位置及び口角の位置とに基づいて人物４００の関心度を推定し、表示装置３００に出力する。具体的には、関心度推定部１２８は、例えば、人が喜び、驚き、怒り、悲しみ、及び無表情等の各種表情をしている際のまゆげ及び口角の標準的な位置が予め記述されたパターンデータを例えばメモリ（図略）から取得する。そして、関心度推定部１２８は、検出した人物４００のまゆげ及び口角の位置と、パターンデータとを照合し、人物４００の表情を推定する。そして、関心度推定部１２８は、推定した人物４００の表情と視線情報が示す視線とを用いて、人物４００の視線がどの方向にある、又は人物４００の注視点がどの位置にあるときに人物４００がどのような表情を行ったかを特定する。すなわち、関心度推定部１２８は、視線情報と人物４００の表情とを対応付けたデータを人物４００の関心度として特定する。尚、ここでは、関心度推定部１２８は、まゆげ及び口角に基づいて関心度を推定するとして説明したが、これは一例であり、まゆげ及び口角の一方に基づいて関心度を推定してもよい。

以上説明したように、本実施の形態によれば、視線情報に加えてまゆげ及び口角を更に用いて人物４００の関心度が推定されているため、視線情報のみに基づく関心度推定に比べてより高精度に関心度を推定できる。

（変形例）
（１）上述の実施の形態では、図６及び図９に示す画像処理装置１００の動作が定期的（例えば、１秒毎）に開始される場合について説明した。しかし、これに代えて、カメラ２００によって人物４００の顔の画像データが撮影される度に、図６及び図９に示す画像処理装置１００の動作が開始されるようにしてもよい。又は、カメラ２００によって人物４００の顔の画像データが所定回数撮影される度に、図６及び図９に示す画像処理装置１００の動作が当該所定回数開始されるようにしてもよい。

（２）カメラ２００として赤外光カメラが採用された場合、赤外光カメラは、太陽光のスペクトル強度が所定の第一波長よりも減衰した所定の第二波長の帯域の赤外光を用いる赤外光カメラで構成すればよい。所定の第一波長は、例えば８５０ｎｍである。所定の第二波長は、例えば９４０ｎｍである。第二波長の帯域は、例えば８５０ｎｍを含まず、且つ９４０ｎｍを基準（例えば中心）とする所定幅の帯域である。近赤外光を撮影する赤外光カメラとして、８５０ｎｍの赤外光を用いるものが知られている。しかし、８５０ｎｍでは太陽光のスペクトル強度が十分に減衰していないため、太陽光のスペクトル強度が強い屋外において高精度な視線情報の検出ができない可能性がある。そこで、本開示は、赤外光カメラとして例えば９４０ｎｍの帯域の赤外光を用いるカメラを採用する。これにより、太陽光のスペクトル強度が強い屋外においても高精度な視線情報の検出を行うことができる。ここでは、所定の第二波長は９４０ｎｍとしたが、これは一例であり、９４０ｎｍから多少ずれた波長であってもよい。尚、第二波長の赤外光を用いる赤外光カメラは、例えば第二波長の赤外光を照射する投光器を備えるカメラである。

（３）上記実施の形態では、視線情報は注視点を示す座標データを含むとして説明したが、本開示はこれに限定されない。例えば、視線情報は、注視点を基準（例えば中心）とする所定サイズの所定形状（例えば円、四角形等）の領域である注視面を示す座標データを含んでいてもよい。これにより、人物４００及び注視対象物間の距離又は注視対象物の大きさに依存することなく注視対象物を適切に判定できる。

（４）上述の実施の形態では、画像処理システム１がデジタルサイネージシステムに適用される例について説明したが、画像処理システム１は、例えば、展示会にも適用可能である。この場合、展示会の参加者が、画像処理システム１のユーザであるものとして、ユーザ情報テーブルＴ２に記憶するユーザの属性情報に、参加者の勤務先を含めればよい。また、視線情報には、各ユーザの視線が向けられた位置に存在する展示会の展示物を示す展示物情報が含まれるようにすればよい。展示物情報には、例えば、展示物の名称及び／又は展示物の識別子を含めればよい。そして、上述の実施の形態３と同様にして、出力部１２７が、展示物情報が示す前記展示会の展示物と、当該展示会の展示物にユーザの視線が向けられた頻度と、の関係を表すヒートマップを、表示装置３００に表示するようにすればよい。この場合、当該出力されたヒートマップの視認者は、例えば、展示会において、どの勤務先の参加者が、どの展示物に視線を向けている頻度が高いのかを容易に把握することができる。

また、ユーザ情報テーブルＴ２に記憶するユーザの属性情報に、展示会の参加者の職種を含め、上述の実施の形態３と同様の処理を行うようにしてもよい。この場合、出力部１２７によって出力されたヒートマップの視認者は、展示会において、どの職種の参加者がどの展示物に視線を向けている頻度が高いのかを容易に把握することができる。

又は、画像処理システム１は、例えば、製造現場にも適用可能である。この場合、製造現場の作業員が、画像処理システム１のユーザであるものとして、ユーザ情報テーブルＴ２に記憶するユーザの属性情報に、作業員の作業の熟練度を含めてもよい。また、視線情報には、各ユーザの視線が向けられた位置に存在する作業対象物を示す作業対象物情報が含まれるようにすればよい。作業対象物情報には、例えば、作業対象物の名称及び／又は作業対象物の識別子を含めればよい。そして、上述の実施の形態３と同様にして、出力部１２７が、作業対象物情報が示す作業対象物と、当該作業対象物にユーザの視線が向けられた頻度と、の関係を表すヒートマップを、表示装置３００に表示するようにすればよい。この場合、当該出力されたヒートマップの視認者は、例えば、製造現場において、熟練度の高い作業者が、どの作業対象物に視線を向けている頻度が高いのかを容易に把握することができる。

本開示は、ユーザの個人情報とユーザの視線を示す情報とを対応付けた情報を簡易な構成で高精度に生成できるため、視線情報を用いた人物の興味対象の推定、人物の状態推定、及び視線を用いたユーザインターフェース等において有用である。

５６ ：虹彩
１００ ：画像処理装置（情報処理装置）
１２１ ：画像取得部
１２３ ：虹彩認証部（認証部）
１２５ ：視線検出部
１２６ ：管理情報生成部（個人情報取得部）
１２７ ：出力部
２００ ：カメラ

Claims (9)

1. 情報処理装置における情報処理方法であって、
   一以上のユーザのそれぞれについて、
   各ユーザの目を含む画像データを取得し、
   前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザの視線を示す視線情報を検出し、
   前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザを個人認証し、
   前記個人認証された前記各ユーザを特定する個人情報を取得し、
   前記一以上のユーザの前記個人情報と前記一以上のユーザの前記視線情報とを対応付けた管理情報を生成し、
   前記管理情報を出力し、
   前記個人情報は、前記各ユーザの性質または特徴を示す一以上の属性を含み、
   前記管理情報の出力では、
   更に、前記管理情報に基づいて、前記視線情報が前記一以上の属性毎に分類された視線利用情報を生成し、前記視線利用情報を出力し、
   前記一以上のユーザは、製造現場の作業員であり、
   前記一以上の属性は、前記作業員の作業の熟練度を含み、
   前記視線情報は、前記各ユーザの視線が向けられた位置に存在する作業対象物を示す作業対象物情報を含み、
   前記視線利用情報は、前記作業対象物情報が示す前記作業対象物と、当該作業対象物にユーザの視線が向けられた頻度と、の関係を表すヒートマップである、
   情報処理方法。
2. 前記一以上の属性は、年齢、性別、勤務先及び職種のうちの一以上を含む、
   請求項１に記載の情報処理方法。
3. 前記視線情報は、前記各ユーザの視線が向けられた位置を示す視線位置情報を含み、
   前記視線利用情報は、前記視線位置情報が示す位置と、前記視線位置情報が示す位置にユーザの視線が向けられた頻度と、の関係を表すヒートマップである、
   請求項１又は２に記載の情報処理方法。
4. 前記視線情報は、前記各ユーザの視線が向けられた位置を示す視線位置情報を含み、
   前記視線利用情報は、前記視線位置情報が示す位置と、前記視線位置情報が示す位置にユーザの視線が向けられた回数と、前記視線位置情報が示す位置へのユーザの視線の移動経路と、の関係を表すゲイズプロットである、
   請求項１又は２に記載の情報処理方法。
5. 前記視線情報の検出では、
   前記画像データから前記各ユーザの目を示す情報及び前記各ユーザの顔の向きを示す情報を検出し、検出した前記各ユーザの目を示す情報及び前記各ユーザの顔の向きを示す情報に基づき前記視線情報を検出する、
   請求項１から４の何れか一項に記載の情報処理方法。
6. 前記各ユーザの個人認証では、
   前記画像データから前記各ユーザの目の虹彩を示す虹彩情報を検出し、検出した前記虹彩情報に基づき前記各ユーザを個人認証する、
   請求項１から５の何れか一項に記載の情報処理方法。
7. 前記画像データは、赤外光カメラによって撮影されたものである、
   請求項６に記載の情報処理方法。
8. 一以上のユーザのそれぞれについて、各ユーザの目を含む画像データを取得する画像取得部と、
   前記一以上のユーザのそれぞれについて、前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザの視線を示す視線情報を検出する視線検出部と、
   前記一以上のユーザのそれぞれについて、前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザを個人認証する認証部と、
   前記一以上のユーザのそれぞれについて、前記個人認証された前記各ユーザを特定する個人情報を取得する個人情報取得部と、
   前記一以上のユーザの前記個人情報と前記一以上のユーザの前記視線情報とを対応付けた管理情報を生成する管理情報生成部と、
   前記管理情報を出力する出力部と、を備え、
   前記個人情報は、前記各ユーザの性質または特徴を示す一以上の属性を含み、
   前記出力部は、
   更に、前記管理情報に基づいて、前記視線情報が前記一以上の属性毎に分類された視線利用情報を生成し、前記視線利用情報を出力し、
   前記一以上のユーザは、製造現場の作業員であり、
   前記一以上の属性は、前記作業員の作業の熟練度を含み、
   前記視線情報は、前記各ユーザの視線が向けられた位置に存在する作業対象物を示す作業対象物情報を含み、
   前記視線利用情報は、前記作業対象物情報が示す前記作業対象物と、当該作業対象物にユーザの視線が向けられた頻度と、の関係を表すヒートマップである、
   情報処理装置。
9. 情報処理装置の制御プログラムであって、
   前記情報処理装置が備えるコンピュータを、
   一以上のユーザのそれぞれについて、各ユーザの目を含む画像データを取得する画像取得部と、
   前記一以上のユーザのそれぞれについて、前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザの視線を示す視線情報を検出する視線検出部と、
   前記一以上のユーザのそれぞれについて、前記画像データに含まれる前記各ユーザの目を示す情報に基づき前記各ユーザを個人認証する認証部と、
   前記一以上のユーザのそれぞれについて、前記個人認証された前記各ユーザを特定する個人情報を取得する個人情報取得部と、
   前記一以上のユーザの前記個人情報と前記一以上のユーザの前記視線情報とを対応付けた管理情報を生成する管理情報生成部と、
   前記管理情報を出力する出力部として機能させ、
   前記個人情報は、前記各ユーザの性質または特徴を示す一以上の属性を含み、
   前記出力部は、
   更に、前記管理情報に基づいて、前記視線情報が前記一以上の属性毎に分類された視線利用情報を生成し、前記視線利用情報を出力し、
   前記一以上のユーザは、製造現場の作業員であり、
   前記一以上の属性は、前記作業員の作業の熟練度を含み、
   前記視線情報は、前記各ユーザの視線が向けられた位置に存在する作業対象物を示す作業対象物情報を含み、
   前記視線利用情報は、前記作業対象物情報が示す前記作業対象物と、当該作業対象物にユーザの視線が向けられた頻度と、の関係を表すヒートマップである、
   制御プログラム。

Images