JP7265202B2 - 広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置 - Google Patents

Description

本発明は、広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置に関する。

従来、学習モデルを用いて、頭部画像から顔の向きを出力する技術が知られている（例えば非特許文献１等参照）。また、監視カメラ等を用いた人物の追跡を実現するため、動画のフレーム間で人物をトラッキングする技術についても知られている（例えば、非特許文献２、特許文献１等参照）。

特開２０１７－１５１５８２号公報

Nataniel Ruiz, Eunji Chong, James M. Rehg、" Fine-Grained Head Pose Estimation Without Keypoints "、[online]、2018年4月13日、arXiv.org、［令和1年8月20日検索］、インターネット(URL：https://arxiv.org/pdf/1710.00925.pdf) Michael Thoreau, Navinda Kottege、" Improving Online Multiple Object tracking with Deep Metric Learning "、[online]、2018年6月20日、arXiv.org、［令和1年8月20日検索］、インターネット(URL：https://arxiv.org/pdf/1806.07592.pdf)

例えば、監視カメラから取得した１フレームから人物の頭部を抽出し、頭部から推定される顔の向きと広告が設置された位置との関係を用いることで、フレーム内の人物が広告の方向を向いているかどうかを推定できると考えられる。また、所定時間内に得られた複数のフレームにおける推定結果を合算することで、所定時間内において広告の方向を向いていた人物の数や、人物が広告の方向を向いていた時間を得ることができると考えられる。

しかしながら、単に複数フレームにおける推定結果を合算しただけでは、広告の閲覧とは見做せないような場合（例えば人物が一瞬だけ広告の方向を向いた場合など）まで人数や時間としてカウントしてしまうおそれがある。

１つの側面では、本発明は、カメラから得られる映像情報から、広告の効果測定に資する正確な情報を出力することが可能な広告閲覧情報出力方法及び広告閲覧情報出力プログラム、並びに情報処理装置を提供することを目的とする。

一つの態様では、広告閲覧情報出力方法は、広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧有無を判定し、前記判定する処理の判定結果に基づいて、前記広告の閲覧人数に関する広告閲覧情報を生成し、前記広告閲覧情報を出力する、処理をコンピュータが実行し、前記判定する処理では、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす広告閲覧情報出力方法である。

カメラから得られる映像情報から、広告の効果測定に資する正確な情報を出力することができる。

第１の実施形態に係る広告効果測定システムの構成を概略的に示す図である。 広告とカメラの配置及びカメラの撮影範囲を概略的に示す図である。 図３（ａ）は、サーバのハードウェア構成を示す図であり、図３（ｂ）は、利用者端末のハードウェア構成を示す図である。 サーバの機能ブロック図を示す図である。 図５（ａ）～図５（ｄ）は、フレームにおける各人物の視認判定について説明するための図である。 図６（ａ）～図６（ｄ）は、人物追跡（トラッキング）について説明するための図である。 視認判定結果テーブルの一例を示す図である。 閲覧判定結果テーブルの一例を示す図である。 第１の実施形態に係る広告視認判定部の処理を示すフローチャートである。 第１の実施形態に係る広告閲覧判定部の処理を示すフローチャートである。 図１０の閲覧判定処理の詳細処理を示すフローチャートである。 出力情報生成部の処理を示すフローチャートである。 第１の実施形態における出力画面の例を示す図である。 第１の実施形態における閲覧判定処理の変形例１を示すフローチャートである。 第１の実施形態における閲覧判定処理の変形例２を示すフローチャートである。 第１の実施形態における出力の変形例１を示す図である。 第１の実施形態における出力の変形例１の別例を示す図である。 第１の実施形態における出力の変形例２を示す図である。 人物の属性を考慮する変形例における広告視認判定部の処理を示すフローチャートである。 図２０（ａ）は、人物の属性を考慮する変形例における視認判定結果テーブルの一例を示す図であり、図２０（ｂ）は、人物の属性を考慮する変形例における閲覧判定結果テーブルの一例を示す図である。 図２１（ａ）、図２１（ｂ）は、人物の属性を考慮する変形例における出力画面の例を示す図である。 第２の実施形態の広告閲覧判定部の処理を示すフローチャートである。 第２の実施形態の閲覧判定処理（図２２のステップＳ３４２）の詳細処理を示すフローチャートである。 第２の実施形態における閲覧判定結果テーブルを示す図である。 第２の実施形態における出力情報生成部の処理を示すフローチャートである。 第２の実施形態における出力画面の例を示す図である。 第２の実施形態における出力の変形例１を示す図である。 図２８（ａ）は、人物の属性を考慮する変形例における閲覧判定結果テーブルを示す図であり、図２９（ｂ）は、出力画面の例を示す図である。 広告効果測定システムの変形例を示す図である。

《第１の実施形態》
以下、第１の実施形態について、図１～図１３に基づいて詳細に説明する。

図１には、第１の実施形態に係る広告効果測定システム１００の構成が概略的に示されている。本第１の実施形態の広告効果測定システム１００は、街中や駅構内などに設置される広告（紙媒体、デジタルサイネージなど形式は問わない）を通行人がどの程度閲覧しているかを自動的に判定して、出力するシステムである。

図１に示すように、広告効果測定システム１００は、カメラ５０と、情報処理装置としてのサーバ１０と、利用者端末７０と、を備える。カメラ５０、サーバ１０、利用者端末７０は、インターネットなどのネットワーク８０に接続されている。

ここで、カメラ５０は、例えば駅に設置されるカメラ（監視カメラ）であり、図２に示すように、駅構内の柱に設けられた広告１１０の近傍に設置されているものとする。なお、カメラの設置場所は、広告を閲覧可能な領域を撮影可能な場所であればよい。例えば、広告１１０に対向して、設置されていてもよい。カメラ５０の撮影範囲（画角）は、例えば、図２において破線枠で示すような広告１１０近傍の領域を含む範囲であるものとする。

サーバ１０は、カメラ５０において撮影された映像情報（動画）を取得して、広告の方を向いている人物を特定するとともに、広告１１０を閲覧している人物を特定する。また、サーバ１０は、広告１１０を閲覧している人数に関する情報を生成して、利用者端末７０に対して出力する。なお、本第１の実施形態においては、人物が広告の方を向いている（頭の向きが広告の方を向いている）場合を、「視認」していると表現する。なお、頭の向きは、基準方向に対する角度のずれであらわされる。例えば、本第１の実施形態においては、基準方向は、首をひねったり上下に動かさずに、まっすぐカメラのレンズに顔を向けているときの方向である。この場合、首を動かさずに、カメラに対して顔が正対しているとき、頭の向きを示す３次元角度（Pitch（ピッチ）、Roll（ロール）、Yaw（ヨー））はいずれもゼロとなる。
このように、頭の向きに基づき、顔の向きを推定可能であって、さらには、顔の向きから視線方向を推定可能であるため、本第１の実施形態では、頭の向きと広告の設置位置とから、人物が広告を視認しているかを判定することができる。よって、本第１の実施形態には、ある時点における頭の向きが、広告の設置場所に向いていることは、人物が広告を「視認」しているとみなす。このように、頭部の向きを推定することは、視線方向を推定することに相当する。人物が広告を「視認」している場合、人物の視野内に広告が入っている可能性が高いことを意味する。また、本第１の実施形態では、人物が広告を「視認」している状態が一定時間以上（後述する閲覧最小時間以上）継続された場合、人物が広告を「閲覧」したものとする。人物が広告を「閲覧」した場合、広告の内容を確認できた可能性が高いこと、すなわち人物が広告を視聴したことを意味するものとする。

利用者端末７０は、例えば、広告１１０の掲示スペース（広告スペース）を提供する業者や、広告１１０の広告主が利用するＰＣ（Personal Computer）などの端末である。利用者端末７０は、利用者からの入力に応じて、サーバ１０に対して情報の出力を要求するとともに、サーバ１０から出力された情報を受信して、表示等する。

図３（ｂ）には、利用者端末７０のハードウェア構成が概略的に示されている。図３（ｂ）に示すように、利用者端末７０は、ＣＰＵ（Central Processing Unit）１９０、ＲＯＭ（Read Only Memory）１９２、ＲＡＭ（Random Access Memory）１９４、記憶部（ここではＨＤＤ（Hard Disk Drive））１９６、ネットワークインタフェース１９７、表示部１９３、入力部１９５、及び可搬型記憶媒体１９１からプログラムやデータ等を読み取り可能な可搬型記憶媒体用ドライブ１９９等を備えている。表示部１９３は、液晶ディスプレイ等を含み、入力部１９５は、キーボードやマウス、タッチパネル等を含む。これら利用者端末７０の構成各部は、バス１９８に接続されている。

（サーバ１０について）
以下、サーバ１０の詳細について説明する。

図３（ａ）には、サーバ１０のハードウェア構成が概略的に示されている。図３（ａ）に示すように、サーバ１０は、ＣＰＵ９０、ＲＯＭ９２、ＲＡＭ９４、記憶部（ＨＤＤ）９６、ネットワークインタフェース９７、及び可搬型記憶媒体用ドライブ９９等を備えている。これらサーバ１０の構成各部は、バス９８に接続されている。サーバ１０では、ＲＯＭ９２あるいはＨＤＤ９６に格納されているプログラム（広告閲覧情報出力プログラムを含む）、或いは可搬型記憶媒体用ドライブ９９が可搬型記憶媒体９１から読み取ったプログラム（広告閲覧情報出力プログラムを含む）をＣＰＵ９０が実行することにより、図４に示す各部の機能が実現される。なお、図４には、サーバ１０のＨＤＤ９６等に格納されている視認判定結果テーブル４０及び閲覧判定結果テーブル４２も図示されている。なお、図４の各部の機能は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されてもよい。

図４には、サーバ１０の機能ブロック図が示されている。図４に示すように、サーバ１０では、ＣＰＵ９０がプログラムを実行することにより、取得部としての動画取得部２０、広告視認判定部２２、判定部としての広告閲覧判定部２４、生成部としての出力情報生成部２６、出力処理部としての出力部２８、としての機能が実現されている。なお、ＣＰＵ９０は、動画取得部２０、広告視認判定部２２、広告閲覧判定部２４、出力情報生成部２６として機能する。ネットワークインタフェース１９７または表示部１９３は、出力部２８として機能する。

動画取得部２０は、カメラ５０が撮影した動画を所定時間ごとに取得し、動画ＤＢ３８に格納する。

広告視認判定部２２は、利用者端末７０からの指示に基づいて、動画ＤＢ３８に格納された動画から、必要な動画を取得し、取得した動画に写っている人物それぞれが広告を視認したか否かを判定する処理を実行する。たとえば、利用者から指定された時間帯の動画や、所定時間幅の動画が取得される。広告視認判定部２２は、判定結果を視認判定結果テーブル４０に格納する。

図５、図６には、広告視認判定部２２による処理の概要が示されている。広告視認判定部２２は、動画から切り出される各フレームにおいて、人物を検出し、図５（ａ）において破線枠にて示すように、各人物の頭部領域を抽出する。そして、各人物の頭部領域の画像から、基準方向に対する頭の向きとして、３次元での回転角（ピッチ、ロール、ヨー）を推定する。なお、以下においては、この回転角を「３次元角度」と呼ぶ。上述のとおり、頭の向きを示す３次元角度に基づき、視線方向を推定することができる。図５（ｂ）には、３次元角度が矢印にて示されている。この３次元角度の推定は、３次元ヘッドポーズ推定や、頭部姿勢推定（Head pose estimation）などと呼ばれ、上述した非特許文献１に開示されている技術を採用することができる。例えば、３次元ヘッドポーズ推定技術は、事前に、頭部領域の画像を入力として、基準方向に対する頭の向きを出力する学習モデルを準備する。そして、ヘッドポーズ推定時には、推定対象の人物の頭部領域の画像を学習モデルに入力することで、頭の向きを示す３次元角度を得る。

次に、頭部の３次元角度から推定される視線方向が、広告を向いているかを判定するための処理ついて説明する。例えば、本実施例に係るシステムの管理者は、カメラ５０の撮影領域に対しては、例えば図５（ｃ）に示すように、複数（例えば３つ）のエリアＡ、Ｂ、Ｃを設定する。そして、管理者は、各エリアＡ～Ｃに存在する人物が広告を視認している可能性の高い角度範囲α、β、γを設定する。

そして、広告視認判定部２２は、例えば、人物がエリアＡに存在する場合、人物の向いている方向（３次元角度）が角度範囲α内であれば、広告を視認していると判定する。具体的には、ピッチ、ロール、ヨー各々について、角度範囲の条件α１（ピッチ）、α２（ロール）、α３（ヨー）が、角度範囲αとして設定される。広告視認判定部２２は、頭部方向（３次元角度）を構成するピッチ角、ロール角、ヨー角すべてが、それぞれ指定された角度範囲内であれば、人物は広告を視認していると判断する。なお、広告視認判定部２２は、ピッチ角、ロール角、ヨー角のうち、ヨー角のみを使って、事前に指定された角度範囲α内であるかを判定してもよい。
また、広告視認判定部２２は、人物がエリアＢに存在する場合、人物の向いている方向（３次元角度）が角度範囲β内であれば、広告を視認していると判定する。この場合にも、エリアＡの場合と同様、３次元角度（ピッチ、ロール、ヨー）全てを用いて人物が広告を視認しているかを判断してもよいし、ヨー角のみを用いて人物が広告を視認しているかを判断してもよい。
更に、広告視認判定部２２は、人物がエリアＣに存在する場合、人物の向いている方向（３次元角度）が角度範囲γ内であれば、広告を視認していると判定する。この場合にも、エリアＡ、Ｂの場合と同様、３次元角度（ピッチ、ロール、ヨー）全てを用いて人物が広告を視認しているかを判断してもよいし、ヨー角のみを用いて人物が広告を視認しているかを判断してもよい。
図５（ｄ）においては、上記判定の結果、広告を視認している可能性が高いと判定した人物に「真」、そうでない人物に「偽」を付して示している。なお、撮影範囲内に設定されるエリアの数は、３つ以外であってもよい。また、各エリアは同一面積でなくてもよいし、撮影範囲は縦方向及び横方向に分割されてもよい。また、エリアや角度範囲は、システム管理者が手動で設定してもよいし、システム管理者が入力した広告の位置と撮影範囲との関係に基づいて、サーバ１０が自動的に設定することとしてもよい。

また、広告視認判定部２２は、各フレームの各人物の見た目の類似性を利用して人物追跡（トラッキング）を行い、各フレームにおいて同一人物を特定する。以下、トラッキングについて、図６（ａ）～図６（ｄ）に基づいて説明する。例えば、図６（ａ）に示すように時系列に沿って古い順にフレームｎ－２、ｎ－１，ｎが得られたとする。この場合、広告視認判定部２２は、既存の物体検出モデル（例えばFaster R-CNNやＳＳＤ（Single Shot MultiBox Detector））を利用して、人物を検出する（図６（ｂ）の破線枠参照）。また、広告視認判定部２２は、類似度学習モデルを利用して、人物の全身画像からＮ次元ベクトルを求め（図６（ｃ）参照）、求めたＮ次元ベクトルに基づいて時系列方向のグルーピングを実行することで、フレーム間における同一人物の特定を行う（図６（ｄ）参照）。なお、このようなトラッキング技術については、非特許文献２や特許文献１などに記載されている。

そして、広告視認判定部２２は、図５（ｄ）で得られた各人物の「真」、「偽」の情報と、トラッキングにより得られたフレーム間の同一人物の情報と、を視認判定結果テーブル４０にまとめる。

ここで、視認判定結果テーブル４０は、図７に示すような構造を有する。具体的には、視認判定結果テーブル４０には、「個人ＩＤ」、「タイムスタンプ」、「視認判定」が関連付けて格納される。「個人ＩＤ」は、各人物に対して割り当てられた識別情報である。複数フレーム間において同一人物と特定された人物には、同一の個人ＩＤが割り当てられる。「タイムスタンプ」は、動画から切り出したフレームに付帯するタイムスタンプであり、各人物の視認判定を行った際に用いたフレームに付帯するタイムスタンプが格納される。「視認判定」は、図５（ｄ）の視認判定によって得られた「真」、「偽」の情報が格納される。

図４に戻り、広告閲覧判定部２４は、視認判定結果テーブル４０を参照して、各人物が広告を閲覧したか否かを判定する。例えば、利用者が、デジタルサイネージを用いた３０秒間の広告を表示した広告主であるとする。この場合、利用者は、自己の広告を表示していた間に、広告をどれだけの人物が閲覧していたかを知りたい場合がある。このような場合に、利用者は、利用者端末７０から、当該３０秒間を特定して、閲覧人数に関する情報の出力をサーバ１０に要求する。広告視認判定部２２は、当該要求を受け付けると、視認判定結果テーブル４０のうち、特定された時間に対応するデータを参照して、各人物の閲覧判定処理を実行する。なお、複数の広告の表示に関するタイムスケジュールを、サーバ１０が記憶している場合、利用者は分析対象の広告を識別する情報をサーバ１０へ送信することで、サーバ１０は広告が表示されていた時間帯を特定する。そして、サーバ１０は、特定した時間帯において、広告閲覧情報を生成する。

具体的には、広告閲覧判定部２４は、視認判定結果テーブル４０から特定された時間内における同一人物の（個人ＩＤが共通する）視認判定結果を抽出し、抽出した視認判定結果が特定の条件を満たしていた場合に、当該人物が広告を閲覧していたと判定する。この場合の「特定の条件」とは、人物が広告を視認していた時間の合計値が所定時間（閲覧最小時間）以上であった場合であるものとする。

広告閲覧判定部２４は、上記のようにして実行した閲覧判定の結果を閲覧判定結果テーブル４２に格納する。ここで、閲覧判定結果テーブル４２は、図８に示すような構造を有する。具体的には、閲覧判定結果テーブル４２には、個人ＩＤに対応付けて閲覧判定結果（真／偽）が格納される。

出力情報生成部２６は、閲覧判定結果テーブル４２を参照して、利用者端末７０からの指示に対応する広告閲覧情報を生成し、出力部２８に受け渡す。例えば、広告閲覧情報として、広告の閲覧人数に関する情報が生成される。広告閲覧情報は、広告の効果測定に資する情報である。

出力部２８は、出力情報生成部２６から受け取った広告閲覧情報を利用者端末７０に対して送信（出力）する。

（サーバ１０の処理について）
以下、サーバ１０の処理について、フローチャートに沿って詳細に説明する。

（広告視認判定部２２の処理について）
まず、広告視認判定部２２の処理について、図９のフローチャートに沿って説明する。なお、図９の処理の前提として、動画取得部２０は、カメラ５０で撮影された動画を随時取得して、動画ＤＢ３８に格納しているものとする。また、図９の処理が開始されるのは、動画ＤＢ３８に新たな動画が格納されたタイミングであるものとする。

図９の処理が開始されると、まずステップＳ１０において、広告視認判定部２２が、動画ＤＢ３８に新たに格納された動画からタイムスタンプを保持しつつ１枚のフレームを切り出す。

次いで、ステップＳ１２では、広告視認判定部２２が、切り出したフレームにおいて、頭部領域を抽出する。その後は、広告視認判定部２２は、ステップＳ１４、Ｓ１６と、ステップＳ１８を同時並行的に実行する。

ステップＳ１４においては、広告視認判定部２２が、３次元ヘッドポーズ推定により３次元角度を推定する。すなわち、前述したように、頭の向きの３次元角度から、視線方向（図５（ｂ）において示す矢印の方向）を推定可能であるため、ステップＳ１４では、頭の向きの３次元角度を推定する。次いで、ステップＳ１６では、広告視認判定部２２が、３次元角度から視認判定を行う。この場合、広告視認判定部２２は、各人物の位置が、図５（ａ）のどのエリア内であるかを確認するとともに、各人物の３次元角度がエリアに設定された角度範囲に含まれていれば、広告を視認していると判定する。なお、基準方向を、「首をひねったり上下に動かさずに、まっすぐカメラのレンズを見ている場合の方向」としなかった場合、頭の向きを示す３次元角度を、視線方向相当の３次元角度に変換する処理を、ステップＳ１４とステップＳ１６の間で行う。

一方、ステップＳ１８においては、広告視認判定部２２が、トラッキングにより個人ＩＤを採番する。図９の処理を開始してからステップＳ１８を初めて実行する場合には、フレーム内の人物それぞれに対して、新たな個人ＩＤを採番する。一方、図９の処理を開始してからステップＳ１８を実行するのが２回目以降である場合には、それ以前のフレームに含まれていた人物と同一人物に対しては、同一の個人ＩＤを採番し、新たな人物に対しては新たな個人ＩＤを採番する。

ステップＳ１４、Ｓ１６の処理と、ステップＳ１８の処理の両方が終了すると、ステップＳ２０に移行し、広告視認判定部２２は、個人ＩＤに紐付けて、視認判定結果を視認判定結果テーブル４０に格納する。この場合、広告視認判定部２２は、切り出したフレームのタイムスタンプが「２０１９／７／２４ １４：３０：３０：００」であれば、図７の視認判定結果テーブル４０のタイムスタンプ「２０１９／７／２４ １４：３０：３０：００」に対応付けて、個人ＩＤ（Ｓ１８の結果）及び視認判定の結果（Ｓ１６の結果）を格納する。

次いで、ステップＳ２２では、広告視認判定部２２が、動画ＤＢ３８に格納された動画から、全フレームの切り出しが終了したか否かを判断する。このステップＳ２２の判断が否定された場合には、ステップＳ１０に戻る。一方、ステップＳ１０～Ｓ２２の繰り返しの結果、ステップＳ２２の判断が肯定された場合には、図９の全処理を終了する。図９の処理が終了した段階では、動画ＤＢ３８に新たに格納された動画の全フレームについての視聴判定が終了し、視認判定結果が図７の視認判定結果テーブル４０に格納された状態となる。

（広告閲覧判定部２４の処理について）
次に、広告閲覧判定部２４の処理について、図１０、図１１のフローチャートに沿って説明する。なお、図１０の処理は、利用者端末７０から、ある時間を指定した広告閲覧情報の出力要求を受け付けたタイミングである。ここでは、一例として、利用者が、利用者端末７０を介して、例えば２０１９年７月２４日１４時３０分３０秒から同日１４時３１分００秒までを特定して、広告の閲覧人数の情報を出力する要求を行ったものとする。

図１０の処理では、まず、ステップＳ３０において、広告閲覧判定部２４が、視認判定結果テーブル４０から指定されている時間帯（２０１９年７月２４日１４時３０分３０秒から１４時３１分００秒まで）のデータを抽出する。

次いで、ステップＳ３２では、広告閲覧判定部２４が、個人ＩＤを１つ選択する。例えば、広告閲覧判定部２４は、抽出したデータに含まれる個人ＩＤのうち最も小さい番号（例えば「００１」）を選択する。

次いで、ステップＳ３４では、広告閲覧判定部２４が、選択した個人ＩＤに紐付くデータから、古い順に「偽」又は欠落の時間を特定する。ここで、欠落の時間とは、選択した個人ＩＤの人物の視線方向を特定不能な時間を意味する。視線方向が特定不能となる場合は、例えば、人物が撮影されていない場合や、頭部領域の抽出ができなかった場合である。

次いで、ステップＳ３６では、広告閲覧判定部２４が、特定した時間が修正最大時間未満であるか否かを判断する。ここで、広告を視認していると判断された時間の間に少しだけ広告を視認していないと判断された時間がある場合（頭が一瞬ブレたような場合）、その少しの時間だけ広告を視認していなかったとするのは現実的でない。また、広告を視認していると判断された時間の間に少しだけ撮影されていなかった時間がある場合（撮影範囲外に出た場合）には、その少しの時間の間は広告を視認していたとみなすのが妥当と考えられる。このため、本第１の実施形態では、特定した時間がそのような少しの時間（修正最大時間未満）であった場合には、その時間の視認判定を「真」に変更することとしている。なお、修正最大時間は、システム管理者等が設定することができるものとし、例えば０．５ｓｅｃ等とすることができる。

したがって、ステップＳ３６の判断が肯定された場合には、ステップＳ３８に移行して、広告閲覧判定部２４が視認判定を「真」に修正する。すなわち、広告閲覧判定部２４は、「偽」又は欠落の時間を「真」であるとみなす。その後はステップＳ４０に移行する。一方、ステップＳ３６の判断が否定された場合には、広告閲覧判定部２４は、特定した時間における視認判定結果の修正を行うことなく、ステップＳ４０に移行する。

なお、ステップＳ３６の判断は、選択した個人ＩＤの視認判定結果のうち、「真」と判断されたフレーム間に存在する「偽」と判断されたフレームの数が所定数未満であるか否かを判断しているとも言える。また、ステップＳ３６の判断は、「真」と判断されたフレーム間において欠落しているフレームの数が所定数未満であるか否かを判断しているとも言える。

ステップＳ４０に移行すると、広告閲覧判定部２４は、全ての「偽」又は欠落の時間を特定済みであるか否かを判断する。このステップＳ４０の判断が否定された場合には、ステップＳ３４に戻り、次に古い「偽」又は欠落の時間を特定し、以降のステップＳ３６～Ｓ４０の処理、判断を実行する。そして、ステップＳ４０の判断が肯定された段階で、ステップＳ４２に移行する。

ステップＳ４２に移行すると、広告閲覧判定部２４は、閲覧判定処理のサブルーチンを実行する。具体的には、広告閲覧判定部２４は、図１１のフローチャートに沿った処理を実行する。

図１１の処理では、広告閲覧判定部２４は、まず、ステップＳ５０において、古い順に視認判定結果を確認し、「真」が連続している時間を算出する。

次いで、ステップＳ５２では、広告閲覧判定部２４が、算出した時間を累積する。

次いで、ステップＳ５４では、広告閲覧判定部２４が、全てのデータを確認済みか否かを判断する。このステップＳ５４の判断が否定された場合には、ステップＳ５０に戻り、ステップＳ５０、Ｓ５２の処理及びステップＳ５４の判断を繰り返す。そして、ステップＳ５４の判断が肯定された段階で、ステップＳ５６に移行する。なお、ステップＳ５４の判断が肯定された段階では、選択されている個人ＩＤの人物が広告を視認していた時間の累積値（積算値）が得られている。

次いで、ステップＳ５６では、広告閲覧判定部２４が、累積した時間が閲覧最小時間以上か否かを判断する。ここで、閲覧最小時間とは、累積した時間から閲覧有無を判定するための閾値であり、累積した時間が閲覧最小時間以上であれば、閲覧したと判定することとしている。なお、閲覧最小時間は、システム管理者が予め定めておくことができ、例えば０．６ｓｅｃなどとすることができる。ステップＳ５６の判断が肯定された場合には、ステップＳ５８に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物が広告を閲覧したと判定し、閲覧判定結果テーブル４２にその旨を格納する。

一方、ステップＳ５６の判断が否定された場合には、ステップＳ６０に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル４２にその旨を格納する。その後は、図１１の全処理を終了し、図１０のステップＳ４４に移行する。

ステップＳ４４に移行すると、広告閲覧判定部２４は、全ての個人ＩＤを選択済みであるか否かを判断する。このステップＳ４４の判断が否定された場合には、ステップＳ２２に戻る。そして、抽出したデータに含まれる全ての個人ＩＤに関する処理が終了した段階で、図１０の全処理が終了する。

以上のようにして、図１０の全処理が終了した段階では、指定されている時間帯において、どの人物が広告を閲覧していて、どの人物が広告を閲覧していなかったかが、閲覧判定結果テーブル４２（図８）に格納された状態となっている。

（出力情報生成部２６の処理について）
次に、出力情報生成部２６の処理について、図１２のフローチャートに沿って説明する。

図１２のフローチャートが開始されると、まずステップＳ７０において、出力情報生成部２６が、閲覧判定結果テーブル４２を参照し、閲覧判定結果が「真」である個人ＩＤの数を集計する。

次いで、ステップＳ７２では、出力情報生成部２６が、閲覧判定結果テーブル４２を参照して、閲覧判定結果が「偽」である個人ＩＤの数を集計する。

そして、ステップＳ７４では、出力情報生成部２６は、ステップＳ７０で集計した数と、ステップＳ７２で集計した数とを用いて、図１３に示すような出力画面を生成し、出力部２８に受け渡す。

出力部２８は、図１３の出力画面を出力情報生成部２６から受信すると、利用者端末７０に対して送信する。これにより、利用者端末７０の表示部９３には、図１３の出力画面が表示されるため、利用者は、自己の広告を閲覧していた人数を把握することができるとともに、広告の閲覧割合（広告近傍を通行していた人物のうち広告を閲覧していた人物の割合）を把握することができる。したがって、利用者は、図１３の出力画面から、広告の掲示を継続するか否かや、広告の費用対効果が適切か否かなどを判断することができる。なお、図１３の出力画面は一例である。例えば、広告閲覧人数と閲覧割合のいずれか一方のみを表示してもよい。また、広告閲覧人数と閲覧割合以外の情報を表示してもよい。

これまでの説明からわかるように、本第１の実施形態においては、広告視認判定部２２により、動画の各フレームにおいて、撮影された人物それぞれの頭部領域を抽出する抽出部、抽出した頭部領域から人物それぞれの視線方向（３次元角度）を推定する推定部、及び人物それぞれの視野内に広告が入っているかを特定する特定部としての機能が実現されている。

以上説明したように、本第１の実施形態によると、広告視認判定部２２が、動画の各フレームにおいて撮影された人物それぞれの頭部領域を抽出し（Ｓ１２）、抽出した頭部領域から人物それぞれの視線方向（３次元角度）を推定する（Ｓ１４）。また、広告視認判定部２２は、人物それぞれの位置と広告の設置場所との関係、及び人物それぞれの視線方向（３次元角度）に基づいて、人物それぞれが広告を視認しているかを判定する（Ｓ１６）。また、広告閲覧判定部２４は、複数フレームにおいて同一人物と判定される人物ごと（同一の個人ＩＤが採番された人物ごと）に、複数フレームにおける視認判定結果に基づいて広告の閲覧判定を行う（Ｓ４２）。更に、出力情報生成部２６は、広告を閲覧していた人物の数を集計し（Ｓ７０）、出力部２８を介して広告の閲覧人数に関する情報を利用者端末７０に対して出力する（Ｓ７４）。これにより、本第１の実施形態では、同一人物ごとに、複数フレームにおける視認判定結果に基づいて広告の閲覧有無を判定するので、広告の閲覧とは見做せないような場合（例えば人物が一瞬だけ広告の方向を向いた場合など）を閲覧と判定しないようにすることができる。したがって、本第１の実施形態によれば、広告の効果測定に資する正確な情報（閲覧人数や閲覧割合などの広告閲覧情報）を出力することができる。この場合、広告スペースの価値を数値として表すことができるので、広告スペースを管理する業者が広告スペースを広告主に提供する際の値段の決定や、広告スペースを利用した場合の効果のアピール等に用いることが可能である。

また、本第１の実施形態では、広告閲覧判定部２４は、広告を視認していると判定された時間の累積値が閲覧最小時間以上である場合（Ｓ５６：肯定）に、広告を閲覧していたと判定する（Ｓ５８）。これにより、人物が一瞬だけ広告の方向を向いたような場合に、広告の閲覧とは判定しないようにすることができる。

また、本第１の実施形態では、広告閲覧判定部２４は、「偽」又は欠落の時間を特定し（Ｓ３４）、特定した時間が修正最大時間未満である場合（Ｓ３６：肯定）に、視認判定結果を「真」に修正する（Ｓ３８）。これにより、人物の動きの特性を考慮して、視認判定において「偽」と判定されたものの、実際には「真」と見做すべき場合を修正することとしているため、広告の閲覧人数や閲覧割合を精度よく集計することができる。

また、本第１の実施形態では、広告視認判定部２２は、人物が位置しているフレーム内のエリアを特定し、人物の視線方向（３次元角度）が特定したエリアに対して予め定められている方向を向いている場合に、広告を視認していると判定する。これにより、カメラ５０と広告１１０とが離れているような場合であっても、人物が広告を視認しているか否かを簡易に判定することができる。なお、カメラ５０は、広告１１０の向かい側に設けられてもよい。

また、本第１の実施形態では、広告視認判定部２２は、各フレームから頭部領域を抽出して、視線方向が推定可能な頭の向きの３次元角度を推定する。画像から抽出した顔領域から、顔の特徴量を抽出する技術もある。しかし、顔の特徴量はプライバシーにかかわる情報である。よって、顔の特徴量を用いる視線方向の推定技術と比較して、本第１の実施形態は、頭部領域のみを利用するため、よりプライバシーに配慮した技術といえる。また、監視カメラのように、広告の設置場所とは、独立して設けられているカメラの映像を利用する場合、監視カメラに顔が映らない通行人も多く存在する。このような場合でも、本第１の実施形態は、視線方向を推定することが可能であって、顔が映っていることを条件とする技術と比較して、汎用性が高い。

（閲覧判定処理の変形例１）
上記第１の実施形態では、図１１の閲覧判定処理において、視認判定結果が「真」である時間の累積時間が閲覧最小時間以上である場合（Ｓ５６：肯定）に、広告を閲覧したと判定する（Ｓ５８）場合について説明したが、これに限られるものではない。例えば、図１１の閲覧判定処理に代えて、図１４に示すような処理を実行することができる。図１４の処理では、ステップＳ５０において、広告閲覧判定部２４が、「真」が連続している時間を算出すると、ステップＳ１５２において、算出した時間を保存する。そして、広告閲覧判定部２４は、ステップＳ５０、Ｓ１５２の処理を繰り返すことで、全てのデータの確認が終了すると（Ｓ５４：肯定）、ステップＳ１５５に移行して、保存した時間のうち、最長の時間（最大値）を抽出する。

次いで、ステップＳ１５６では、広告閲覧判定部２４は、ステップＳ１５５において抽出した時間が閲覧最小時間以上か否かを判断する。このステップＳ１５６の判断が肯定された場合には、ステップＳ５８に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物が広告を閲覧したと判定し、閲覧判定結果テーブル４２にその旨を格納する。一方、ステップＳ１５６の判断が否定された場合には、ステップＳ６０に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル４２にその旨を格納する。その後は、図１４の全処理を終了する。

以上のように、図１４の処理では、選択している個人ＩＤの視認判定結果において「真」が連続している時間のうち最長の時間を用いて、閲覧判定を行うこととしている。このようにしても、上記第１の実施形態と同様、精度よく広告を閲覧した人物を特定することができる。

（閲覧判定処理の変形例２）
また、例えば、図１１の閲覧判定処理に代えて、図１５に示すような処理を実行することもできる。図１５の処理では、ステップＳ２５０において、広告閲覧判定部２４が、古い順に視認判定結果を確認し、最初に「真」と判定された時刻を特定する。次いで、ステップＳ２５２では、広告閲覧判定部２４が、古い順に視認判定結果を確認し、最後に「真」と判定された時刻を特定する。次いで、ステップＳ２５４では、広告閲覧判定部２４が、特定された時刻間の時間を算出する。すなわち、広告閲覧判定部２４は、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間を算出する。

次いで、ステップＳ２５６では、広告閲覧判定部２４は、ステップＳ２５４において算出した時間が閲覧最小時間以上か否かを判断する。このステップＳ２５６の判断が肯定された場合には、ステップＳ５８に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物が広告を閲覧したと判定し、閲覧判定結果テーブル４２にその旨を格納する。一方、ステップＳ２５６の判断が否定された場合には、ステップＳ６０に移行し、広告閲覧判定部２４は、選択している個人ＩＤの人物は広告を閲覧していないと判定し、閲覧判定結果テーブル４２にその旨を格納する。その後は、図１５の全処理を終了する。

以上のように、図１５の処理では、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間を用いて、閲覧判定を行うこととしている。このようにしても、上記第１の実施形態や上記閲覧判定処理の変形例１と同様、精度よく広告を閲覧した人物を特定することができる。

なお、図１５の処理を行う場合には、図１０のステップＳ３４、Ｓ３６、Ｓ３８、Ｓ４０の処理は省略してもよい。

（出力の変形例１）
上記第１の実施形態では、利用者端末７０において、１つの広告を表示している間の時間帯を指定して、図１０の処理をサーバ１０に実行させる場合について説明したが、これに限られるものではない。例えば、ある１日を特定し、その１日における１時間ごとの広告閲覧人数を集計するように、利用者端末７０において指定することもできる。

この場合、特定された１日分のデータを視認判定結果テーブル４０から抽出し、そのうちの１時間分のデータを用いて図１０の処理を実行することで、１時間分の閲覧判定結果テーブル４２を得る。そして、次の１時間分のデータを用いた図１０の処理、更に、次の１時間分のデータを用いた図１０の処理、…というように図１０の処理を繰り返し実行することで、１時間ごとの閲覧判定結果テーブル４２を得ることができる。

この場合、出力情報生成部２６は、例えば、各時間において閲覧判定結果が「真」の個人ＩＤの数を集計し、グラフ化することで、図１６に示すような出力画面を生成することができる。これにより、利用者端末７０には、図１６に示すような画面が表示されるため、広告主等はどの時間帯において広告が閲覧されているかを把握することが可能となる。また、広告スペースを提供する業者は、時間ごとの閲覧人数に応じて広告スペースの価格（レンタル料）を適切に調整することができる。例えば、図１６において、閲覧人数が１５０人以上の時間帯のレンタル料を高くし、１５０人未満の時間帯のレンタル料を安くする、などすることができる。

なお、図１６のグラフにおいては、例えば所定期間（１週間や１カ月など）における各時間帯の閲覧人数の平均値を表示してもよい。また、複数の日の各時間帯の閲覧人数を別々に表示してもよい。この場合、図１７に示すように、平日における各時間帯の閲覧人数の平均値、土曜日における各時間帯の閲覧人数の平均値、日曜日における各時間帯の閲覧人数の平均値を別々に表示するなどすることもできる。

（出力の変形例２）
なお、出力情報生成部２６は、図１８に示すように、各時刻において広告を閲覧していると判定された人物の個人ＩＤを列挙したログを生成することとしてもよい。サーバ１０から利用者端末７０に対して図１８のログを出力した場合、利用者端末７０においてログを解析し、解析結果として図１３、図１６、図１７と同様の画面を表示部１９３上に表示することとしてもよい。

（人物の属性を考慮する変形例）
なお、本第１の実施形態では、視認判定の際に各人物の属性（性別や年齢）を推定し、広告閲覧情報を生成する際に、各人物の属性に基づいて広告閲覧情報を整理することとしてもよい。

具体的には、広告視認判定部２２は、図９の処理に代えて、図１９の処理を実行する。図１９の処理においては、広告視認判定部２２は、ステップＳ１４、Ｓ１６と、ステップＳ１８の処理と並行して、ステップＳ１９の処理を実行する。ステップＳ１９においては、広告視認判定部２２は、頭部領域から、人物の属性（性別、年齢）を推定する。ここで、人物の属性を推定する際には、機械学習等のＡＩ（Artificial Intelligence）技術を用いることができる。そして、ステップＳ１４、Ｓ１６と、ステップＳ１８と、ステップＳ１９の並行処理が終了すると、ステップＳ２０’において、広告視認判定部２２は、個人ＩＤに紐付けて、属性と、視認判定結果を視認判定結果テーブル４０に格納する。

この場合の視認判定結果テーブル４０としては、図２０（ａ）に示すようなテーブルを用いることができる。また、広告閲覧判定部２４による図１０の処理の結果得られる閲覧判定結果テーブル４２は、図２０（ｂ）に示すようなテーブルとなる。図２０（ａ）、図２０（ｂ）の各テーブルにおいては、個人ＩＤに対して、性別と年齢が紐付けられている。

出力情報生成部２６は、図２０（ｂ）の閲覧判定結果テーブル４２から、男女別、年代別に閲覧判定結果「真」、「偽」を集計することにより、図２１（ａ）に示すような画面を生成することができる。利用者端末７０に図２１（ａ）に示すような画面が表示されることにより、広告主等は、広告を閲覧している年齢層や性別を的確に把握することができる。

また、図２０（ｂ）の閲覧判定結果テーブル４２が１時間ごとに作成された場合には、出力情報生成部２６は、男女別、及び男女両方についての各時間における閲覧判定結果を集計することで、図２１（ｂ）に示すような出力画面を生成することができる。利用者端末７０に図２１（ｂ）に示すような画面が表示されることで、広告主等はどの時間帯に男女のどちらが広告を多く閲覧しているかを把握することが可能となる。これにより、広告主等は、どの時間帯にどのような広告を出すべきかなどを判断することができる。また、広告スペースを提供する業者は、閲覧人数や閲覧している人物の属性に合わせて、広告スペースの価格（レンタル料）を調整することができる。

《第２の実施形態》
次に、第２の実施形態について、図２２～図２６に基づいて詳細に説明する。本第２の実施形態の広告効果測定システム１００の構成は、第１の実施形態と同様であるが、広告閲覧判定部２４が各人物による広告の閲覧時間長を判定する点、及び出力情報生成部２６が広告の閲覧時間長に関する出力画面を生成する点が第１の実施形態と異なる。以下、第１の実施形態と異なる点について詳細に説明し、第１の実施形態と同一又は同等な点については、その説明を省略または簡略化するものとする。

（広告閲覧判定部２４の処理について）
図２２には、第２の実施形態に係る広告閲覧判定部２４の処理が示されている。なお、図２２の処理が行われる前提として、広告視認判定部２２による図９の処理が実行されており、図７に示すように視認判定結果テーブル４０にデータが格納されているものとする。

図２２の処理においては、図１０のステップＳ４２（閲覧判定処理）に代えて、閲覧時間算出処理（Ｓ３４２）が実行され、その他の処理については、図１０と同様となっている。

ステップＳ３４２においては、図２３のフローチャートに沿った処理が実行される。ここで、ステップＳ３４２の処理のうち、ステップＳ５０、Ｓ５２、Ｓ５４（広告閲覧判定部２４が視認判定結果「真」が連続している時間を累積する点）とステップＳ５６（累積した時間が閲覧最小時間以上であるか判断する点）については、第１の実施形態（図１１）と同様である。その一方で、ステップＳ５６の判断が肯定された場合にステップＳ３５８に移行し、否定された場合にステップＳ３６０に移行する点が第１の実施形態と異なっている。

ステップＳ３５８に移行した場合、広告閲覧判定部２４は、累積した時間を閲覧時間長として、閲覧判定結果テーブル４２に格納する。ここで、本第２の実施形態の閲覧判定結果テーブル４２には、図２４に示すように、「個人ＩＤ」に紐付けて各人物の「閲覧時間長」を格納できるようになっている。例えば、個人ＩＤ＝００１の人物の累積した時間が１０ｓｅｃであった場合には、図２４に示すように、閲覧判定結果テーブル４２の「閲覧時間長」の欄に「１０ｓｅｃ」と格納する。

一方、ステップＳ３６０に移行した場合、広告閲覧判定部２４は、閲覧時間長を「０」として、閲覧判定結果テーブル４２に格納する。例えば、個人ＩＤ＝００２の人物の累積した時間が０．４ｓｅｃであった場合には、図２４に示すように、閲覧判定結果テーブル４２の「閲覧時間長」の欄に「０ｓｅｃ」と格納する。その後は、図２２のステップＳ４４に戻る。

以上のように、広告閲覧判定部２４の処理（図２２、図２３）が行われることで、利用者端末７０において指定された時間帯（例えば広告を表示した時間帯）における、各人物の閲覧時間長が、閲覧判定結果テーブル４２（図２４）に格納されるようになっている。

（出力情報生成部２６の処理について）
次に、本第２の実施形態における出力情報生成部２６の処理について、図２５のフローチャートに沿って説明する。

図２５の処理では、まず、ステップＳ３７０において、出力情報生成部２６は、集計対象の閲覧時間長範囲を設定する。例えば、閲覧時間長範囲として、「０．６ｓｅｃ以上２ｓｅｃ未満」、「２ｓｅｃ以上７ｓｅｃ未満」、「７ｓｅｃ以上１５ｓｅｃ未満」…が選択可能であるとする。この場合、出力情報生成部２６は、例えば「０．６ｓｅｃ以上２ｓｅｃ未満」を集計対象の閲覧時間長範囲として設定する。

次いで、ステップＳ３７２では、出力情報生成部２６は、閲覧判定結果テーブル４２（図２４）から、集計対象の閲覧時間長範囲（０．６ｓｅｃ以上２ｓｅｃ未満）に含まれる閲覧時間長が対応付けられた個人IＤの数を集計する。

次いで、ステップＳ３７４では、出力情報生成部２６は、全ての閲覧時間長範囲を集計対象として設定済みか否かを判断する。このステップＳ３７４の判断が否定された場合には、ステップＳ３７０に戻る。その後は、出力情報生成部２６は、集計対象の閲覧時間長範囲を変更しつつ、ステップＳ３７２を繰り返し、ステップＳ３７４の判断が肯定された段階で、ステップＳ３７６に移行する。

ステップＳ３７６に移行すると、出力情報生成部２６は、集計した個人ＩＤの数を用いて出力画面を生成し、出力部２８に受け渡す。出力情報生成部２６は、例えば、図２６に示すような出力画面を生成する。出力部２８は、図２６の出力画面を利用者端末７０に対して出力するため、利用者端末７０に表示された出力画面を確認することにより、広告を閲覧していた人物がどのくらいの時間閲覧し続けたかを把握することができる。

以上説明したように、本第２の実施形態によると、広告視認判定部２２が、動画の各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し（Ｓ１２）、抽出した頭部領域から人物それぞれの視線方向（３次元角度）を推定する（Ｓ１４）。また、広告視認判定部２２は、人物それぞれの位置と広告の設置場所との関係、及び人物それぞれの視線方向（３次元角度）に基づいて、人物それぞれが広告を視認しているかを判定する（Ｓ１６）。そして、広告閲覧判定部２４は、複数フレームにおいて同一人物と判定される人物ごと（同の個人ＩＤが採番された人物ごと）に、複数フレームにおける視認判定結果に基づいて広告の閲覧時間長を特定する（Ｓ３５８、Ｓ３６０）。更に、出力情報生成部２６は、各人物の広告の閲覧時間長を集計し、出力部２８を介して広告の閲覧時間長に関する情報を利用者端末７０に対して出力する（図２５）。これにより、本第２の実施形態では、同一人物ごとに複数フレームにおける視認判定結果から閲覧時間長を特定するので、広告の閲覧とは見做せないような場合（例えば人物が一瞬だけ広告の方向を向いた場合など）を閲覧と判定しないようにすることができる。したがって、本第２の実施形態によれば、広告の効果測定に資する正確な情報（閲覧時間長に関する情報）を出力することができる。この場合、広告スペースの価値を数値として表すことができるので、広告スペースを管理する業者が広告スペースを広告主に提供する際の値段の決定や、広告スペースを利用した場合の効果のアピール等に用いることが可能である。

また、本第２の実施形態では、広告閲覧判定部２４は、広告を視認していると判定された時間の累積値が閲覧最小時間以上である場合（Ｓ５６：肯定）に、累積値を閲覧時間長とし（Ｓ３５８）、それ以外の場合に、閲覧時間長を０とする（Ｓ３６０）。これにより、人物が一瞬だけ広告の方向を向いたような場合に、広告の閲覧とは判定しないようにすることができる。

（閲覧判定処理の変形例１）
なお、上記第２の実施形態では、図２３の閲覧判定処理において、視認判定結果が「真」である時間の累積時間が閲覧最小時間以上である場合（Ｓ５６：肯定）に、累積時間を広告の閲覧時間長とする（Ｓ３５８）場合について説明した。しかしながら、これに限られるものではなく、上述した第１の実施形態の変形例（図１４）と同様、視認判定結果において「真」が連続している時間のうち最長の時間が閲覧最小時間以上である場合に、当該最長の時間を広告の閲覧時間長とすることとしてもよい。

（閲覧判定処理の変形例２）
また、上述した第１の実施形態の閲覧判定処理の変形例２（図１５）と同様、広告を最初に視認したと判定されてから、最後に視認したと判定されるまでの間の時間が閲覧最小時間以上である場合に、当該時間を広告の閲覧時間長とすることとしてもよい。

（出力の変形例１）
上記第２の実施形態では、１つの広告を表示している間の時間帯の閲覧時間長を集計した表を出力する例（図２６参照）について説明したが、これに限られるものではない。例えば、ある１日における１時間ごとの閲覧時間長を集計して、グラフを生成することとしてもよい。この場合、例えば、図２７に示すようなグラフを生成することができる。

これにより、利用者端末７０には、図２７に示すような画面が表示されるため、広告主等は各時間帯において広告を閲覧している人がどのくらいの人数いて、広告を閲覧している人が広告をどのくらいの時間見ているのかを把握することが可能となる。また、広告スペースを提供する業者は、時間帯ごとの閲覧時間長の傾向に応じて広告スペースの価格（レンタル料）を適切に調整することができる。

なお、図２７では、１日分の閲覧判定結果テーブル４２を集計したグラフを示しているが、例えば、複数日分の閲覧判定結果テーブル４２を時間帯ごとに集計してグラフを作成してもよいし、曜日ごとに各時間帯のデータを集計してグラフを作成してもよい。

（出力の変形例２）
なお、出力情報生成部２６は、各人物の閲覧時間長を列挙したログを生成してもよい。サーバ１０から利用者端末７０に対してログを出力した場合、利用者端末７０においてログを解析し、解析結果として図２６、図２７と同様の画面を表示部１９３上に表示することとしてもよい。

（人物の属性を考慮する変形例）
なお、本第２の実施形態においても、視認判定の際に各人物の属性（性別や年齢）を推定し、広告閲覧情報を生成する際に、各人物の属性に基づいて広告閲覧情報を整理することとしてもよい。この場合、広告視認判定部２２は、図１９と同様の処理を実行すればよい。これにより、閲覧判定結果テーブル４２としては、図２８（ａ）に示すようなテーブルを得ることができる。

この場合、出力情報生成部２６は、図２８（ａ）の閲覧判定結果テーブル４２から、性別及び年齢を考慮して、閲覧時間長を集計することにより、例えば、図２８（ｂ）に示すような出力画面を生成することができる。図２８（ｂ）の出力画面には、性別ごと及び年代ごとに、閲覧時間長幅ごとの人数を集計した結果が示されている。利用者端末７０に図２８（ｂ）に示すような画面が表示されることにより、広告主等は、広告を閲覧している年齢層や性別を的確に把握することができるとともに、各年齢層の人物が、広告をどの程度の時間閲覧するかを把握することもできる。

なお、上記第１、第２実施形態及び変形例で示した出力画面は、一例である。すなわち、閲覧判定結果テーブル４２から得られる種々の情報を、種々の態様で画面上に表示することができる。

なお、上記第１、第２の実施形態の広告効果測定システム１００は、カメラ５０において撮影された動画を取得したサーバ１０が各種処理を行う場合について説明したが、これに限られるものではない。例えば、図２９に示すような広告効果測定システム１００’を採用してもよい。図２９の広告効果測定システム１００’においては、カメラ５０がエッジゲートウェイなどの情報処理装置６０に接続（例えば有線接続）されているものとする。情報処理装置６０は、カメラ５０近傍に設けられているものとし、第１の実施形態で説明したサーバ１０の機能（図４に示す各機能）を有しているものとする。すなわち、情報処理装置６０は、カメラ５０から動画を受信して、第１、第２の実施形態のサーバ１０と同様の処理を実行する。情報処理装置６０において生成された情報（出力画面）は、サーバ１０に送信され、適宜、利用者端末７０に送信されるものとする。なお、情報処理装置６０は、図４の全ての機能を有していなくてもよい。例えば、出力情報生成部２６は、サーバ１０が有していてもよい。この場合、情報処理装置６０は、サーバ１０に対して、閲覧判定結果テーブル４２の情報を出力することとし、サーバ１０が、閲覧判定結果テーブル４２に基づいて出力画面を生成するようにしてもよい。このように情報処理装置６０を設けることにより、カメラ５０からサーバ１０に対して動画を送信しなくてもよくなるので、ネットワーク負荷を低減することができる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記憶媒体（ただし、搬送波は除く）に記録しておくことができる。

プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ（Digital Versatile Disc）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。

１０ サーバ（情報処理装置）
２０ 動画取得部（取得部）
２２ 広告視認判定部（抽出部、推定部、特定部）
２４ 広告閲覧判定部（判定部）
２６ 出力情報生成部（生成部）
２８ 出力部（出力処理部）
５０ カメラ

Claims (10)

1. 広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、
   前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、
   抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、
   前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、
   複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧有無を判定し、
   前記判定する処理の判定結果に基づいて、前記広告の閲覧人数に関する広告閲覧情報を生成し、
   前記広告閲覧情報を出力する、
   処理をコンピュータが実行し、
   前記判定する処理では、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす、
   ことを特徴とする広告閲覧情報出力方法。
2. 広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、
   前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、
   抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、
   前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、
   複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧時間長を判定し、
   前記判定する処理の判定結果に基づいて、前記広告の閲覧時間長に関する広告閲覧情報を生成し、
   前記広告閲覧情報を出力する、
   処理をコンピュータが実行し、
   前記判定する処理では、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす、
   ことを特徴とする広告閲覧情報出力方法。
3. 前記視線方向は、前記頭部領域から、基準方向に対する頭の向きを推定した結果に基づき、推定される、
   ことを特徴とする請求項１または２に記載の広告閲覧情報出力方法。
4. 前記判定する処理では、前記特定する処理の結果に基づいて、前記複数フレームが撮影された時間のうち、前記広告が前記人物の視野内に入っていた時間の累積値、前記広告が前記人物の視野内に入っていた時間の最大値、又は前記広告が前記人物の視野内に最初に入った時刻と最後に入った時刻の間の時間を特定し、特定した時間が閾値以上である場合に、前記人物が前記広告を閲覧していたと特定する、ことを特徴とする請求項１～３のいずれか一項に記載の広告閲覧情報出力方法。
5. 前記特定する処理では、前記人物それぞれが位置している前記フレーム内のエリアを特定し、前記人物それぞれの視線方向が特定したエリアに対して予め定められている方向を向いている場合に、前記視野内に前記広告が入っていると特定する、ことを特徴とする請求項１～４のいずれか一項に記載の広告閲覧情報出力方法。
6. 前記各フレームにおいて撮影された人物それぞれの属性を推定する処理を更に実行し、
   前記出力する処理では、前記人物それぞれの属性に基づいて前記広告閲覧情報を整理して出力する、ことを特徴とする請求項１～５のいずれか一項に記載の広告閲覧情報出力方法。
7. 広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、
   前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、
   抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、
   前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、
   複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧有無を判定し、
   前記判定する処理の判定結果に基づいて、前記広告の閲覧人数に関する広告閲覧情報を生成し、
   前記広告閲覧情報を出力する、
   処理をコンピュータに実行させ、
   前記判定する処理では、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす、
   ことを特徴とする広告閲覧情報出力プログラム。
8. 広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得し、
   前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出し、
   抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定し、
   前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定し、
   複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定した結果に基づいて前記広告の閲覧時間長を判定し、
   前記判定する処理の判定結果に基づいて、前記広告の閲覧時間長に関する広告閲覧情報を生成し、
   前記広告閲覧情報を出力する、
   処理をコンピュータに実行させ、
   前記判定する処理では、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす、
   ことを特徴とする広告閲覧情報出力プログラム。
9. 広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得する取得部と、
   前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出する抽出部と、
   抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定する推定部と、
   前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定する特定部と、
   複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定部の特定結果に基づいて前記広告の閲覧有無を判定する判定部と、
   前記判定部の判定結果に基づいて、前記広告の閲覧人数に関する広告閲覧情報を生成する生成部と、
   前記広告閲覧情報を出力する出力処理部と、
   を備え、
   前記判定部は、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす、
   ことを特徴とする情報処理装置。
10. 広告の設置場所近傍の領域を撮影するカメラが撮影した映像情報を取得する取得部と、
    前記映像情報における各フレームにおいて、撮影された人物それぞれの頭部領域を抽出する抽出部と、
    抽出した前記頭部領域に基づき前記人物それぞれの視線方向を推定する推定部と、
    前記人物それぞれの位置と前記広告の設置場所との関係、及び前記人物それぞれの視線方向に基づいて、前記人物それぞれの視野内に前記広告が入っているかを特定する特定部と、
    複数フレームにおいて同一人物と判定される人物ごとに、前記複数フレームにおける前記特定部の特定結果に基づいて前記広告の閲覧時間長を判定する判定部と、
    前記判定部の判定結果に基づいて、前記広告の閲覧時間長に関する広告閲覧情報を生成する生成部と、
    前記広告閲覧情報を出力する出力処理部と、
    を備え、
    前記判定部は、前記複数フレームにおいて、前記人物の視野内に前記広告が入っていたと特定された２つのフレームの間に、前記視野内に前記広告が入っていなかったと特定されたフレームが所定数未満存在していた場合、前記所定数未満のフレームにおいては、前記視野内に前記広告が入っていたとみなす、
    ことを特徴とする情報処理装置。
    

Images