TW201935925A - 吸引度測定系統 - Google Patents

Abstract

[課題]　本發明提供一種可及時測定及統計學生或聽眾對於上課或演講保持之興趣程度的吸引度測定系統（Engagement Test System）。
[解決手段]　本發明之吸引度測定裝置係使用單一或少數台攝像裝置拍攝多數個景物的學生，並測定顯示學生對上課保持之興趣程度的吸引度值。吸引度測定裝置將景物ID、日期時間資訊及吸引度值記錄於記錄表中。

Description

吸引度測定系統

本發明特別是關於一種適合用在補習班等的吸引度測定系統。

過去是使用「家庭收視率」作為顯示電視播放（以下稱「TV播放」）中所播放的影像內容有多少收視者收視的指標。計測TV播放中的家庭收視率時，是在抽樣對象之家庭中設置用於測定收視率的機器，該機器將關於電視接收機（以下稱「TV」）在開啟狀態下所顯示之頻道的資訊大致及時傳送至統計據點。亦即，所謂家庭收視率係統計關於收視時間與收視頻道之資訊的結果，而無法從所謂家庭收視率的資訊瞭解收視者是在何種狀態下收視節目（影像內容）。
例如，收視者對於TV節目並未注視畫面，而像收音機般充耳不聞之收視形態的情況下，該節目對於收視者而言並未在專心狀態下收視。此種收視形態對於在TV節目中穿插的商業廣告（以下稱「CM」）無法達到宣傳效果。

曾經檢討出幾種用於瞭解收視者收視TV節目之專心程度的技術。
專利文獻1中揭示有將收視者對於TV節目的專心程度定義為「專心度」，取得其專心度而加以利用的技術。
[先前技術文獻]
[專利文獻]

[專利文獻1]日本特開2003-111106號公報

（發明所欲解決之問題）

本案發明人等過去已開發出測定專心度的機器。在該機器之開發過程中，注意到人對於某個現象專心的狀態，除了主動的因素外，還有被動的因素。
例如，人面對某個問題，為了解決該問題而專心的行為屬於主動的因素。換言之，該行為是因為「必須對該現象專心」的情感而引起。另外人看到有趣或愉快等的現象而引起興趣的行為則在某種意義上屬於被動的因素。換言之，該行為是因為「並未想到該現象而引起」的情感。
本案發明人等認為如此將相反情感而引起的行動，用「專心度」的語詞來表達並不適切。因此，本案發明人等將某個對象人對某個現象，不論是因為主動或被動的因素而注視的狀態用「吸引度（Engagement)」的語詞來定義。而後，本案發明人等將過去所開發出之機器，並非定義為測定專心度的機器，而定義為測定吸引度的機器。
本說明書所說明之本案發明人等所開發的系統係測定該吸引度之系統。

吸引度的測定是假設適用於前述的TV播放，不過除此之外應該還可做各種應用。最近，本案發明人等考慮到將吸引度的測定適用於補習班等的教育現場。亦即，若是能及時測定及統計學生對於上課保持的興趣程度，則可有助於提高補習班的顧客滿意度及業績。
過去計測專心度之系統皆很昂貴，而且還存在對於需要採用多數台機器之補習班等普及困難的問題。

本發明係鑑於此種問題而形成者，本發明之目的為提供一種可及時測定及統計學生或聽眾對於上課或演講保持之興趣程度的吸引度測定系統。
（解決問題之手段）

為了解決上述問題，本發明之吸引度測定系統係由以下元件構成：攝像裝置，其係可拍攝複數個被拍攝者的臉部；及吸引度測定裝置，其係從攝像裝置接收動畫影像資料流，測定複數個被拍攝者的吸引度值。
吸引度測定裝置具備：顯示緩衝記憶體，其係從攝像裝置輸出之影像資料流存儲1個影像部分的影像資料；臉部檢測處理部，其係從存儲於顯示緩衝記憶體之影像資料檢測存在複數個被拍攝者的臉部，並輸出用於僅抽出複數個被拍攝者之臉部的臉部檢測位址資訊；及特徵點抽出部，其係從存儲於顯示緩衝記憶體之影像資料與臉部檢測位址資訊輸出具有複數個被拍攝者臉部之平面空間內的座標資訊之特徵點集合體的特徵點資料。進一步具備：向量分析部，其係從特徵點資料生成顯示被拍攝者之臉部方向的臉部方向向量；吸引度算出部，其係運算臉部方向向量，算出顯示被拍攝者注視立體空間內之何處的注視方向向量，判定注視方向向量是否朝向指定的現象，算出判定結果之移動平均並輸出吸引度值；及輸入輸出控制部，其係依據臉部檢測位址資訊使包含於影像資料之複數個被拍攝者每人須算出吸引度值的吸引度算出部工作，將影像資料之拍攝日期時間資訊或是現在日期時間資訊、與在影像資料內唯一識別複數個被拍攝者之ID資訊一起記錄於記錄表中。進一步具備：吸引度平均值算出部，其係算出吸引度值之平均值；及顯示部，其係顯示複數個被拍攝者之吸引度值的平均值。
（發明之效果）

採用本發明時，可提供一種可及時測定及統計學生或聽眾對於上課或演講保持之興趣程度的吸引度測定系統。
上述以外之課題、構成及效果藉由以下實施形態之說明即可明瞭。

申請人就以攝影機拍攝收視內容之使用者，從使用者之臉部方向及視線方向算出專心度的專心度處理系統，已經申請了專利（特願2016-124611，以下稱「第一申請專利」）。該第一申請專利中之專心度處理系統係以攝影機拍攝使用者的臉部，檢測使用者之臉部與視線方向，藉由測定此等方向朝向顯示內容之螢幕的程度，來算出使用者對內容的專心度。

此外，申請人改良揭示於第一申請專利之專心度處理系統，就針對補習班等應用而建構之吸引度測定系統及吸引度測定裝置申請專利（特願2016-227698，以下稱「第二申請專利」）。該第二申請專利中之吸引度測定系統係將內藏攝影機之吸引度測定裝置設置在學生附近，來測定學生的吸引度值，並統計其平均值。此外，吸引度測定裝置係測定被內藏攝影機所拍攝之一位學生的吸引度值。

本發明之實施形態的吸引度測定系統係進一步改良揭示於第二申請專利之吸引度測定系統，並為了實現更簡易之系統構成而建構者。亦即，並非對每一位學生或聽眾各配置一台攝影機，而是設置一台拍攝整個教室或講堂之高解析度攝影機，用一台攝影機測定多人的吸引度值。
[吸引度測定系統101：整體構成及設置使用例]

第一圖係顯示本發明實施形態之吸引度測定系統101的整體構成，以及顯示將吸引度測定系統101設置於指定之補習班使其工作狀態的概略圖。
吸引度測定系統101由攝像裝置102與吸引度測定裝置103構成。攝像裝置102與吸引度測定裝置103以USB或網路等之纜線104連接。
在補習班之教室105中，講師106對學生107進行授課。在教室105之天花板上設置有攝像裝置102。該攝像裝置102可依攝像裝置102之視角及解析度拍攝坐在教室105中之多位學生107的臉部。

後述之吸引度測定程式在吸引度測定裝置103中工作，及時測定多位學生107之吸引度值，並將所測定之吸引度值顯示於顯示部108。第一圖係以筆記型電腦構成吸引度測定裝置103。
[吸引度測定裝置103：硬體構成]

第二圖係顯示吸引度測定裝置103之硬體構成的方塊圖。
吸引度測定裝置103具備：連接於匯流排208之CPU201、ROM202、RAM203、顯示部108、操作部204、非揮發性存儲體205、輸出現在日期時間資訊之及時時鐘（以下稱「RTC」）206與NIC（網路介面卡）207。吸引度測定裝置103可利用如第一圖所示之筆記型電腦、或是無圖示之桌上型電腦等。
非揮發性存儲體205中存儲有：用於將吸引度測定裝置103連接於網路之包含TCP／IP協定堆疊的網路OS、及使吸引度測定裝置103工作之程式。
而後，吸引度測定裝置103中具有重要角色之攝像裝置102亦連接於匯流排208。

另外，攝像裝置102與吸引度測定裝置103之距離遠離時，習知之USB介面的纜線最大長度係5m，吸引度測定裝置103之設置場所極可能受到限制。此種情況下，係在攝像裝置102中配置單板電腦，並以網路連接吸引度測定裝置103與單板電腦。
而後，經由網路將攝像裝置102輸出之動態影像資料流傳送至吸引度測定裝置103。藉此，可實現延長纜線長度的狀態。
本發明之吸引度測定系統101的吸引度測定裝置103中未必需要網路功能，不過也有時是基於上述的理由而需要。
[吸引度測定裝置103：軟體功能]

第三圖係顯示本發明之實施形態的吸引度測定裝置103之軟體功能的方塊圖。
從攝像裝置102輸出之影像資料流，暫時將1個畫面部分之影像資料存儲於顯示緩衝記憶體301。
臉部檢測處理部302對存儲於顯示緩衝記憶體301之1個畫面部分的影像資料例如使用Viola-Jones法等習知的運算法，來檢測拍攝在1個畫面部分之影像資料中的全部存在之學生107臉部。而後，輸出僅用於抽出學生107臉部之臉部檢測位址資訊。

臉部檢測位址資訊供給至特徵點抽出部303與輸入輸出控制部304。
特徵點抽出部303依據從臉部檢測處理部302所獲得之臉部檢測位址資訊，讀取從顯示緩衝記憶體301僅抽出學生107臉部之臉部抽出影像資料。而後，對於臉部抽出影像資料中包含之學生107臉部的影像實施多邊形分析等處理。該多邊形分析處理係生成由學生107之整個臉部、眉毛、眼睛、鼻子、嘴巴等輪廓與顯示瞳孔之臉部特徵點構成的特徵點資料之處理。

特徵點抽出部303輸出之特徵點資料供給至向量分析部305。
向量分析部305從依據連續兩張臉部抽出影像資料之特徵點資料，生成顯示學生107之臉部方向的向量（以下稱「臉部方向向量」）、與學生107之臉部中顯示視線方向的向量（以下稱「視線方向向量」）。

如前述，特徵點抽出部303輸出之特徵點資料僅是平面（二次元）之座標資訊。因為單眼攝影機之攝像裝置102輸出的影像資料流僅是平面之影像資料，所以無法直接檢測屬於三次元之立體的學生107之臉部方向。
但是，假設拍攝在標準臉部之3D模型上繪製了特徵點者，而獲得拍攝了特徵點之平面影像資料時，則可估計藉由計算所拍攝之臉部方向及與攝影機的距離。
此種從平面影像估計三次元之立體的技術已知有PnP（透視n點）問題。而用於解決PnP問題之計算方法亦已知有DLT（直接線性轉移）法等。
藉由解決PnP問題可算出被拍攝者401之臉部方向。此即臉部方向向量。
此外，可從瞳孔對眼睛輪廓之位置算出對被拍攝者401臉部其視線的大致方向。此即視線方向向量。
向量分析部305藉由以上之處理，從特徵點資料生成臉部方向向量與視線方向向量。
[關於特徵點資料]

以下，說明臉部檢測處理部302、特徵點抽出部303、及向量分析部305之動作。
第四A圖係顯示從攝像裝置102輸出並存儲於顯示緩衝記憶體301之1個畫面部分的影像資料一例之概略圖。第四B圖係顯示臉部檢測處理部302輸出之臉部檢測位址資訊一例的概略圖。第四C圖係顯示特徵點抽出部303輸出之特徵點資料一例的概略圖。
首先，從攝像裝置102及時輸出包含被拍攝者401之影像資料流，並存儲於顯示緩衝記憶體301。此即第四A圖之影像資料P402。

其次，臉部檢測處理部302從存儲於顯示緩衝記憶體301之影像資料P402，例如使用Viola-Jones法等習知之運算法檢測存在之被拍攝者401的臉部。而後，輸出僅用於抽出被拍攝者401之臉部的臉部檢測位址資訊P403。
臉部檢測位址資訊P403係包圍被拍攝者401之臉部的長方形狀區域。起點位址P403a係長方形狀區域之左上方頂點的位址資訊，終點位址P403b係長方形狀區域之右下方頂點的位址資訊。
而後，特徵點抽出部303對臉部檢測位址資訊P403所特定之部分影像資料中包含的被拍攝者401臉部影像實施多邊形分析等處理。而後，生成被拍攝者401之整個臉部、眉毛、眼睛、鼻子、嘴巴等輪廓；與由顯示瞳孔之臉部特徵點形成的特徵點資料。此即第四C圖之特徵點資料P404。該特徵點資料P404由具有在平面空間內之座標資訊的特徵點之集合體構成。而該特徵點資料P404包含於臉部檢測位址資訊P403之範圍。
[關於臉部檢測位址資訊P403]

第五A圖係顯示對存儲於顯示緩衝記憶體301之影像資料，臉部檢測處理部302生成臉部檢測位址資訊P403之狀態的影像圖。
第五B圖係顯示對存儲於顯示緩衝記憶體301之影像資料，臉部檢測處理部302生成臉部檢測位址資訊P403後之狀態的影像圖。
臉部檢測處理部302檢測影像資料中包含之可能為人的臉部之影像區域的存在，並將其影像區域包圍成長方形狀。該長方形狀區域之長方形左上方頂點與右下方頂點的位址資訊變成臉部檢測位址資訊P403。

返回第三圖繼續說明方塊圖。
後述之吸引度算出部306係在吸引度值的算出處理中進行移動平均的運算處理。計算移動平均時，需要繼續以某個時間幅度繼續加上以從某個受測者算出之吸引度值為基礎的值。亦即，需要使用臉部檢測位址資訊P403或是另外的資訊來特定存儲於顯示緩衝記憶體301之影像資料中包含的複數個臉部之存在。因此，臉部檢測位址資訊P403供給至包含於輸入輸出控制部304之位址資訊處理部307。
位址資訊處理部307從臉部檢測處理部302所輸出之臉部檢測位址資訊P403算出資訊形狀區域的中心點，亦即算出臉部檢測位址資訊P403之中心點。以下將該中心點稱為臉部檢測中心點。該臉部檢測中心點係在上課、講授、演講等中顯示照在攝像裝置102之人臉部中心的點。
位址資訊處理部307輸出之臉部檢測中心點供給至輸入輸出控制部304所包含的吸引度算出部306。吸引度算出部306在後述之吸引度算出處理時，將臉部檢測中心點作為每個人的識別符來處理。
[關於吸引度值算出處理]

向量分析部305輸出之臉部方向向量與視線方向向量供給至輸入輸出控制部304所包含的吸引度算出部306。吸引度算出部306從臉部方向向量與視線方向向量算出吸引度值。第六圖係吸引度算出部306之功能方塊圖。
向量分析部305輸出之臉部方向向量與視線方向向量輸入向量加法部601。向量加法部601將臉部方向向量與視線方向向量相加而算出注視方向向量。該注視方向向量係表示學生107注視包含顯示內容之顯示部108與攝像裝置102的立體空間內之何處的向量。

向量加法部601所算出之注視方向向量輸入注視方向判定部602。注視方向判定部602判定指示學生107注視之對象的注視方向向量是否朝向顯示部108。並輸出2值之注視方向判定結果。另外，攝像裝置102設置於從顯示部108附近離開的場所時，則藉由記憶於非揮發性存儲體205之初期修正值603對注視方向判定部602之判定處理加以修正。初期修正值603中，為了檢測學生107臉部與視線是否正對顯示部108，而預先將學生107臉部與視線正對顯示部108時，從攝像裝置102觀看學生107臉部與視線方向的資訊記憶於非揮發性存儲體205中。

注視方向判定部602輸出之2值的注視方向判定結果輸入第一圓滑處理部604。注視方向判定部602輸出之注視方向判定結果往往會發生因為特徵點抽出部303生成之特徵點資料中包含的雜訊而造成之干擾。因而，藉由第一圓滑處理部604抑制雜訊的影響，而獲得顯示極為接近學生107之行動狀態的「真實吸引度(Live Engagement)值」。
第一圓滑處理部604例如算出包含現在注視方向判定結果之數個抽樣的移動平均，並輸出真實吸引度值。

第一圓滑處理部604輸出之真實吸引度值輸入至第二圓滑處理部605。
第二圓滑處理部605對所輸入之真實吸引度值依據預先指定之抽樣數606數量進行圓滑處理，並輸出「吸引度基礎值」。例如，抽樣數606記載為「5」時，係對5個真實吸引度值算出移動平均。此外，圓滑處理液可使用加權移動平均、指數加權移動平均等另外的運算法。該抽樣數606及圓滑處理之運算法係依適用本發明之實施形態的吸引度測定系統101之應用而適切設定。
第二圓滑處理部605輸出之吸引度基礎值輸入至吸引度運算處理部607。

另外，臉部方向向量也輸入旁視判定部608。旁視判定部608判定顯示學生107臉部方向之臉部方向向量是否朝向顯示部108，而生成2值之旁視判定結果。而後，按照向量分析部305輸出之臉部方向向量與視線方向向量的抽樣率，以內藏於旁視判定部608之無圖示的2個計數器統計該旁視判定結果。

亦即，第一計數器統計學生107旁視的判定結果，第二計數器統計學生107並未旁視的判定結果。第一計數器於第二計數器到達指定的統計值時重設。第二計數器在第一計數器到達指定的統計值時重設。第一計數器與第二計數器之邏輯值作為顯示學生107是否旁視的判定結果而輸出。
此外，依不同方向而具有複數個第一計數器，亦可依應用例如在寫筆記時不判定為旁視。

此外，視線方向向量也輸入閉眼判定部609。閉眼判定部609判定是否可檢測顯示學生107之視線方向的視線方向向量，並生成2值的閉眼判定結果。
視線方向向量僅在學生107睜眼的狀態時可檢測。換言之，學生107閉眼時無法檢測視線方向向量。因此，閉眼判定部609生成顯示學生107是否閉眼的2值之閉眼判定結果。
閉眼判定部609亦與旁視判定部608同樣地內藏有無圖示之2個計數器，並按照向量分析部305輸出之臉部方向向量與視線方向向量的抽樣率，以2個計數器統計該閉眼判定部609之閉眼判定結果。

第一計數器統計學生107閉眼的判定結果，第二計數器統計學生107睜眼（並未閉眼）的判定結果。第一計數器於第二計數器到達指定的統計值時重設。第二計數器在第一計數器到達指定的統計值時重設。第一計數器與第二計數器之邏輯值作為顯示學生107是否閉眼的判定結果而輸出。

將第二圓滑處理部605輸出之吸引度基礎值、旁視判定部608輸出之旁視判定結果、及閉眼判定部609輸出之閉眼判定結果輸入吸引度運算處理部607。
吸引度運算處理部607對吸引度基礎值、旁視判定結果、及閉眼判定結果，係乘上依應用之加權係數610後相加，而輸出最後之吸引度值。

藉由調整抽樣數606及加權係數610可將吸引度測定系統101對應於各種應用。例如將抽樣數606設定為「0」，對旁視判定部608及閉眼判定部609之加權係數610亦分別設定為「0」時，第一圓滑處理部604輸出之真實吸引度可直接作為吸引度值而從吸引度運算處理部607輸出。
特別是第二圓滑處理部605亦可藉由抽樣數606之設定而無效化。因此，第一圓滑處理部604與第二圓滑處理部605可以上級概念而視為單一之圓滑處理部。
[關於記錄表308]

本發明之實施形態的吸引度測定裝置103為了對複數個學生107或聽眾等各別地算出吸引度值，係輸入輸出控制部304使用臉部檢測位址資訊P403與記錄表308，維持景物之匿名性，並實現算出各別的吸引度值。
第七圖係顯示記錄表308之欄位構成表。
記錄表308具有：景物ID欄位、日期時間資訊欄位、臉部檢測位址資訊欄位、臉部檢測中心點欄位、特徵點資料欄位、臉部方向向量欄位、視線方向向量欄位、吸引度值欄位。

景物ID欄位中存儲在影像資料中唯一識別景物之人的ID資訊之景物ID。該景物ID係為了避免與算出吸引度值時混淆而僅使用照在影像資料內的人，而並非嚴密特定個人之目的者。
日期時間資訊欄中存儲拍攝存儲於顯示緩衝記憶體301之影像資料的日期時間。拍攝影像資料之日期時間可從RTC206輸出之現在日期時間資訊，考慮攝像裝置102與顯示緩衝記憶體301之間的資料傳輸速度等而算出。此外，攝像裝置102具有單板電腦時，可使用單板電腦內藏之RTC輸出的拍攝日期時間資訊。另外，即使取代拍攝影像資料的日期時間，而使用RTC206輸出之現在日期時間資訊，實際上並無問題。

在臉部檢測位址資訊欄位中存儲臉部檢測處理部302輸出之臉部檢測位址資訊P403。
在臉部檢測中心點欄位中存儲位址資訊處理部307依據臉部檢測位址資訊P403所算出之臉部檢測中心點。該臉部檢測中心點成為景物ID的根據。

在特徵點資料欄位中存儲特徵點抽出部303生成之特徵點資料。
在臉部方向向量欄位中存儲向量分析部305輸出之臉部方向向量。
在視線方向向量欄位中存儲向量分析部305輸出之視線方向向量。
在吸引度值欄位中存儲依據臉部方向向量與視線方向向量而由吸引度算出部306算出的吸引度值。

輸入輸出控制部304之位址資訊處理部307將依據臉部檢測位址資訊P403所算出之臉部檢測中心點與景物ID相關連。
在上課中或演講中，景物之學生107或聽講者就坐，臉部位置不太會大幅移動。因此，輸入輸出控制部304將景物在聽講中臉部檢測中心點移動之範圍作為臨限值而預先設定。而後，若臉部檢測中心點存在於該臨限值範圍內時，則輸入輸出控制部304判斷為該臉部檢測中心點屬於同一個景物ID。

將臉部檢測中心點與景物ID相關連後，由於成為臉部檢測中心點基礎之臉部檢測位址資訊P403、存在於臉部檢測位址資訊P403之範圍內的特徵點資料、依據該特徵點資料所算出之臉部方向向量及視線方向向量係被唯一相關連，因此將此等記錄於記錄表308的同一筆記錄中。
記錄於記錄表308之在某個景物ID中的臉部方向向量及視線方向向量由吸引度算出部306讀取而算出吸引度值，並記錄於記錄表308的同一筆記錄中。

吸引度平均值算出部309算出屬於記錄於記錄表308之日期時間資訊欄位的同一個日期時間資訊之複數個記錄的吸引度值平均值。
輸入輸出控制部304對吸引度平均值算出部309所輸出之吸引度值的平均值實施指定之加工處理，並顯示於顯示部108上。
[吸引度測定裝置103：顯示例]

第八圖係藉由吸引度測定裝置103之輸入輸出控制部304顯示於顯示部108的監控畫面之顯示例。
畫面下半部之顯示區域A801係每個人之吸引度值的條狀圖。條狀圖例如每1秒或每0.5秒更新，並以條狀圖顯示此時最新的吸引度值。當吸引度值大於66.6%時，用綠色顯示條狀圖（色P801a）吸引度值大於33.3%，且小於66.6%時則以橘色顯示條狀圖（色P801b），吸引度值小於33.3%時則以紅色顯示條狀圖（色P801c）。如此，藉由將吸引度值區分顏色來顯示，可瞬間掌握學生107之吸引度值的狀態。

顯示於條狀圖下方之數字係在影像資料中唯一識別學生107的編號。編號亦可為景物ID。數字也以與條狀圖相同的顏色顯示。當學生107在中途離開座位時，無法測定吸引度值之吸引度測定裝置103的編號則以灰色顯示（色P801d）。
例如，全部學生107對上課保持興趣時，除了缺席的吸引度測定裝置103欄位之外，全部的條狀圖一起染成綠色。
例如，許多學生107對上課不專心時，則許多條狀圖染成橘色或紅色。

畫面左上的顯示區域A802係全部吸引度值之平均值的數值顯示。該數值亦以與曲線圖同樣的顏色劃分進行顯示。
畫面右上之顯示區域A803係顯示全部吸引度值之平均值推移的曲線圖。橫軸是時間，縱軸是吸引度值。藉由設置曲線圖，除了吸引度值的現在值之外，亦可掌握吸引度值之推移，因此可掌握講師106現在的講課引起學生107們的興趣程度為何，學生107們對哪個話題感到興趣或是乏味。

由於記錄於吸引度測定裝置103之記錄表308的吸引度值中含有日期時間資訊，亦即絕對時間資訊，因此，以後亦可以吸引度測定裝置103或其他資訊處理裝置重現。此外，若以另外的動畫攝像裝置事先錄影上課情形，並在動畫資料上註記開始錄影的日期時間資訊時，亦可與記錄於記錄表308之吸引度值同步重現。

以上說明之本發明的實施形態亦可採用如下的變形例。
（1）使用於吸引度測定系統101之攝像裝置102拍攝複數個景物，並抽出臉部的特徵點資料。因而，攝像裝置102應儘可能為高解析度，此外，因為攝像裝置102與景物之距離而有時無法取得臉部的特徵點資料。因此，在設置吸引度測定系統101之教室或是講堂內，考慮攝像裝置102可拍攝之視角及範圍而配置複數個攝像裝置102。而後，將此等複數個攝像裝置102輸出之相同影像資料流適切合成或是實施修剪處理。然後，存儲合成於顯示緩衝記憶體301的影像資料時，可廣範圍測定複數個景物之吸引度值。

（2）藉由將存儲於顯示緩衝記憶體301之影像資料與臉部檢測位址資訊P403實施習知的臉部認識處理，可更精緻的特定個人。所謂可精緻特定個人，是指可期待也提高吸引度值的算出精度。

（3）將輸入輸出控制部304之吸引度平均值算出部309與顯示部108例如安裝於平板PC等另外裝置，彼此以無線LAN等網路連接，藉由通過網路傳送記錄於記錄表308之資料，即使遠距亦可進行吸引度測定裝置103之顯示。將資料傳送至複數個顯示裝置時，亦可進行複數個地點之顯示。此外，亦可先將傳送之資料記錄於伺服器，並在以後重現。藉由此等，即使與進行吸引度測定之教室105的場所及時間不同，例如在辦公式或是遠距離的本部以及在以後仍可確認吸引度測定結果。
（4）第八圖所示之吸引度測定值的平均值只是平均值。換言之，攝像裝置102並不需要拍攝坐在教室或講堂內的全體學生107或聽眾。只要以攝像裝置102之解析度可測定吸引度值之人數為算出平均值的足夠抽樣數即可。

本實施形態中揭示了吸引度測定系統101。
吸引度測定裝置103使用單一或少數攝像裝置102拍攝多數景物的學生107，來測定顯示學生107上課時保持之興趣程度的吸引度值。吸引度測定裝置103將景物ID、日期時間資訊及吸引度值記錄於記錄表308。吸引度測定裝置103將吸引度值之平均值及時顯示於圖形中。

以上，係說明本發明之實施形態，不過本發明並非限定於上述實施形態者，只要不脫離申請專利範圍所記載之本發明的要旨，還包含其他變形例、應用例。

101‧‧‧吸引度測定系統

102‧‧‧攝像裝置

103‧‧‧吸引度測定裝置

104‧‧‧纜線

105‧‧‧教室

106‧‧‧講師

107‧‧‧學生

108‧‧‧顯示部

201‧‧‧CPU

202‧‧‧ROM

203‧‧‧RAM

204‧‧‧操作部

205‧‧‧非揮發性存儲體

206‧‧‧RTC

207‧‧‧NIC

208‧‧‧匯流排

301‧‧‧顯示緩衝記憶體

302‧‧‧臉部檢測處理部

303‧‧‧特徵點抽出部

304‧‧‧輸入輸出控制部

305‧‧‧向量分析部

306‧‧‧吸引度算出部

307‧‧‧位址資訊處理部

308‧‧‧記錄表

309‧‧‧吸引度平均值算出部

401‧‧‧被拍攝者

601‧‧‧向量加法部

602‧‧‧注視方向判定部

603‧‧‧初期修正值

604‧‧‧第一圓滑處理部

605‧‧‧第二圓滑處理部

606‧‧‧抽樣數

607‧‧‧吸引度運算處理部

608‧‧‧旁視判定部

609‧‧‧閉眼判定部

610‧‧‧加權係數

第一圖係顯示本發明實施形態之吸引度測定系統的整體構成，以及顯示將吸引度測定系統設置於指定之補習班使其工作狀態的概略圖。

第二圖係顯示吸引度測定裝置之硬體構成的方塊圖。

第三圖係顯示本發明之實施形態的吸引度測定裝置之軟體功能的方塊圖。

第四圖係顯示從攝像裝置輸出並存儲於顯示緩衝記憶體之1個畫面部分的影像資料一例之概略圖、顯示臉部檢測處理部輸出之臉部檢測位址資訊一例的概略圖、與顯示特徵點抽出部輸出之特徵點資料一例的概略圖。

第五圖係顯示對存儲於顯示緩衝記憶體之影像資料，臉部檢測處理部生成臉部檢測位址資訊之狀態、與顯示臉部檢測處理部生成臉部檢測位址資訊後之狀態的影像圖。

第六圖係吸引度算出部之功能方塊圖。

第七圖係顯示記錄表之欄位構成表。

第八圖係藉由吸引度測定裝置之輸入輸出控制部顯示於顯示部的監控畫面之顯示例。

Claims (3)

1. 一種吸引度測定系統，包括： 攝像裝置，其係可拍攝複數個被拍攝者的臉部；及 吸引度測定裝置，其係從前述攝像裝置接收動畫影像資料流，測定前述複數個被拍攝者的吸引度值； 前述吸引度測定裝置具備： 顯示緩衝記憶體，其係從前述攝像裝置輸出之影像資料流存儲1個影像部分的影像資料； 臉部檢測處理部，其係從存儲於前述顯示緩衝記憶體之前述影像資料檢測存在前述複數個被拍攝者的臉部，並輸出用於僅抽出前述複數個被拍攝者之臉部的臉部檢測位址資訊；及 特徵點抽出部，其係從存儲於前述顯示緩衝記憶體之前述影像資料與前述臉部檢測位址資訊輸出具有前述複數個被拍攝者臉部之平面空間內的座標資訊之特徵點集合體的特徵點資料； 向量分析部，其係從前述特徵點資料生成顯示前述被拍攝者之臉部方向的臉部方向向量； 吸引度算出部，其係運算前述臉部方向向量，算出顯示前述被拍攝者注視立體空間內之何處的注視方向向量，判定前述注視方向向量是否朝向指定的現象，算出判定結果之移動平均並輸出吸引度值； 輸入輸出控制部，其係依據前述臉部檢測位址資訊使包含於前述影像資料之前述複數個被拍攝者每人須算出前述吸引度值的前述吸引度算出部工作，將前述影像資料之拍攝日期時間資訊或是現在日期時間資訊、與在影像資料內唯一識別前述複數個被拍攝者之ID資訊一起記錄於記錄表中； 吸引度平均值算出部，其係算出前述吸引度值之平均值；及 顯示部，其係顯示前述複數個被拍攝者之吸引度值的平均值。
2. 如申請專利範圍第1項之吸引度測定系統，其中前述向量分析部從前述特徵點資料除了生成顯示前述被拍攝者之臉部方向的臉部方向向量之外，還生成顯示前述被拍攝者之臉部中的視線方向之視線方向向量， 前述吸引度算出部除了前述臉部方向向量之外，還加上前述視線方向向量，來算出顯示前述被拍攝者注視立體空間內之何處的注視方向向量。
3. 如申請專利範圍第2項之吸引度測定系統，其中前述輸入輸出控制部係依據指定之臨限值劃分顏色顯示前述複數個被拍攝者之前述吸引度值及前述平均值。