TW201810128A - 吸引程度值處理系統及吸引程度值處理裝置 - Google Patents

吸引程度值處理系統及吸引程度值處理裝置 Download PDF

Info

Publication number
TW201810128A
TW201810128A TW106120932A TW106120932A TW201810128A TW 201810128 A TW201810128 A TW 201810128A TW 106120932 A TW106120932 A TW 106120932A TW 106120932 A TW106120932 A TW 106120932A TW 201810128 A TW201810128 A TW 201810128A
Authority
TW
Taiwan
Prior art keywords
user
face
unit
attraction
preface
Prior art date
Application number
TW106120932A
Other languages
English (en)
Inventor
平出隆一
村山正美
八谷祥一
西尾誠一
岡崎幹夫
Original Assignee
凱亞系統解決股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 凱亞系統解決股份有限公司 filed Critical 凱亞系統解決股份有限公司
Publication of TW201810128A publication Critical patent/TW201810128A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biomedical Technology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Neurosurgery (AREA)
  • Dermatology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Analytical Chemistry (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • Chemical & Material Sciences (AREA)
  • Neurology (AREA)
  • Computer Graphics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一種，只使用從攝像裝置所得之映像資料，而可同時取得專心度，以及脈搏等之生物資訊的專心度處理系統。攝像裝置所輸出之影像資料串流，係藉由特徵點抽出部而生成表示臉部特徵點的特徵點資料。從特徵點資料，將用來算出使用者對內容的吸引程度值所需的臉部方向向量與視線方向向量，予以算出。另一方面，特徵點資料係亦可利用於，脈搏偵測之際的，部分影像資料之切出、與使用者的情感之推定。因此，只需以攝像裝置拍攝使用者，就可同時取得收視內容的使用者對內容的吸引程度值、脈搏、情感。

Description

吸引程度值處理系統及吸引程度值處理裝置
本發明係有關於，對於由電腦或電子機器等提供給利用者之內容，將利用者對內容所展現之吸引程度值之相關資訊加以偵測並利用的，吸引程度值處理系統及吸引程度值處理裝置。
作為表示電視播送(以下簡稱「TV播送」)中所被播送的映像內容，究竟被多少收視者所收視的指標，先前以來是使用「每戶收視率」。TV播送的每戶收視率之計測，係在身為樣本之家庭內設置用來測定收視率所需之機器，該機器係將電視受像機(以下簡稱「TV」)電源開啟狀態下所顯示的頻道之相關資訊，幾乎即時地發送至統計據點。亦即所謂每戶收視率，係將收視時間與收視頻道之相關資訊加以統計的結果，無法從每戶收視率此一資訊了解收視者是在什麼樣的狀態下收視節目(映像內容)。
例如，收視者對於TV節目，沒有注視畫面而只是當成收音機般地聽過去就算了的收視形態的情況下，則該當節目對收視者而言係不是在專心的狀態下而被收視。在如 此的收視形態中，TV節目中所夾帶的廣告(以下簡稱「CM」)的宣傳效果就無法太過期待。
用來掌握收視者究竟專心到什麼程度來收視TV節目所需之技術，係有數種被研討。
專利文獻1中係揭露，將收視者對於TV節目專心到何種程度定義成「專心度」，將專心度加以習得而利用的技術。
專利文獻2中係揭露，從以攝影機所拍攝到的使用者之臉部的影像資料，使用短時間傅立葉轉換(short-time Fourier transform，short-term Fourier transform，STFT)以偵測脈搏的技術。
專利文獻3中係揭露，使用離散小波轉換(Discrete wavelet transform,DWT)來偵測脈搏的技術。
[先前技術文獻] [專利文獻]
[專利文獻1]日本特開2003-111106號公報
[專利文獻2]日本特開2015-116368號公報
[專利文獻3]日本特開平10-216096號公報
如前述的專利文獻3所揭露，與收視者的專心度有關連的，作為對象的內容(contents)，並不一定限 於TV節目。可以任何內容為對象。此處，所謂內容係指，以線上或離線，透過電腦或電子機器而被提供的字串、聲音、靜止影像、映像(動畫)、或這些所組合成的演示或遊戲等，以讓對象者可以理解的內容來享受的資訊的總稱。又此後，在本說明書中，將享受及/或利用內容的人，不稱為收視者而總稱為使用者。
發明人們一直以來都在開發測定專心度的機器。然後，在機器的開發過程中，發明人們係察覺到，人對於某個事象專心的此一狀態，係不只有主動的要因，還有被動的要因。
例如，人在面對某個課題，為了解決該課題而專心的如此行為，係為主動的要因。亦即，該當行為係起因於「必須要專心於該當事象才行」此一意識。相對於此，人在看到有趣或快樂等的事象，而產生興趣的如此行為，在某種意義上是被動的要因。亦即，該當行為係起因於「無意間被該當事象所吸引」此一情感。
發明人們認為，將如此相反的起因於意識或情感的行動，用「專心度」此一用語來表現，並不一定適切。於是發明人們，係將某個對象者，對某個事象，無論是主動的或被動的要因之哪一種，而呈現注目的狀態，都用「吸引程度(Engagement)」此一用語來加以定義。然後，發明人們係將目前為止所開發機器，不叫做測定專心度的機器，而是定義為測定吸引程度的機器。
尤其是娛樂性高的映像內容，通常都是具有 能夠讓使用者想起各式各樣之情感的效果。除了吸引程度值以外，若是能夠同時取用來偵測使用者之情感的生物資訊，就可利用於內容的評價或改良，會是有用的資訊。
又，使用者所瀏覽的內容係不一定限於以娛樂為對象的內容。補習班等中所被利用的，被使用於教育或學習等的內容也是存在的。被使用於教育或學習等之用途的內容中，吸引程度值會是重要的內容評價指標。使用者不注目的內容，就無法期待有效果的學習。
本發明係有鑑於所述課題而研發，其目的在於提供一種，只使用從攝像裝置所得之映像資料，而可同時取得吸引程度值，以及脈搏等之生物資訊的吸引程度值處理系統及吸引程度值處理裝置。
為了解決上述課題，本發明的吸引程度值處理系統，係具備：顯示部，係顯示內容；和攝像裝置，係被設置在，可拍攝觀看顯示部的使用者之臉部的方向上；和臉部偵測處理部，係從攝像裝置所輸出之影像資料串流，偵測出使用者的臉部之存在，輸出將使用者的臉部予以抽出而成的臉部抽出影像資料；和特徵點抽出部，係從臉部抽出影像資料，將含有使用者的臉部之輪廓的、具有二維空間內之座標資訊的特徵點之集合體也就是特徵點資料，予以輸出；和向量解析部，係從特徵點資料，以所定之取樣率來生成表示使用者的臉部之朝向的臉部方向向 量、與表示使用者的臉部之視線之朝向的視線方向向量；和吸引程度算出部，係從臉部方向向量與視線方向向量，算出使用者對內容的吸引程度值。
還具備：資料庫，係積存：將使用者做唯一識別的使用者ID、使用者收視內容的收視日期時間、將內容做唯一識別的內容ID、表示內容之再生位置的再生位置資訊、吸引程度算出部所輸出之使用者對內容的吸引程度值。
藉由本發明，就可只使用從攝像裝置所得之映像資料，同時取得吸引程度值，以及脈搏等之生物資訊。
上記以外之課題、構成及效果，係可藉由以下的實施形態的說明而明瞭。
101‧‧‧吸引程度值處理系統
102‧‧‧使用者
103‧‧‧客戶端
104‧‧‧顯示部
105‧‧‧內容
106‧‧‧攝像裝置
107‧‧‧網際網路
108‧‧‧伺服器
301‧‧‧LCD顯示器
302‧‧‧USB型web攝影機
303‧‧‧個人電腦
304‧‧‧LCD顯示器
305‧‧‧web攝影機
306‧‧‧攜帶型無線終端
307‧‧‧LCD顯示器
308‧‧‧自拍用內攝影機
501‧‧‧CPU
502‧‧‧ROM
503‧‧‧RAM
504‧‧‧非揮發性儲存體
505‧‧‧RTC
506‧‧‧操作部
507‧‧‧匯流排
508‧‧‧NIC
511‧‧‧CPU
512‧‧‧ROM
513‧‧‧RAM
514‧‧‧非揮發性儲存體
515‧‧‧NIC
516‧‧‧匯流排
601‧‧‧臉部偵測處理部
602‧‧‧特徵點抽出部
603‧‧‧向量解析部
604‧‧‧吸引程度算出部
605‧‧‧脈搏偵測領域抽出部
606‧‧‧脈搏算出部
607‧‧‧情感推定部
608‧‧‧輸出入控制部
609‧‧‧網路儲存體
610‧‧‧本地儲存體
611‧‧‧內容再生處理部
612‧‧‧使用者ID
613‧‧‧送訊資料
614‧‧‧資料庫
615‧‧‧叢集分析處理部
616‧‧‧特徵量
701‧‧‧向量加算部
702‧‧‧注視方向判定部
703‧‧‧初期補正值
704‧‧‧第一平滑化處理部
705‧‧‧第二平滑化處理部
706‧‧‧樣本數
707‧‧‧吸引程度演算處理部
708‧‧‧偏視判定部
709‧‧‧閉眼判定部
710‧‧‧加權係數
801‧‧‧吸引程度值處理系統
802‧‧‧伺服器
803‧‧‧亮度平均值算出部
804‧‧‧輸出入控制部
805‧‧‧送訊資料
806‧‧‧資料庫
1201‧‧‧吸引程度值處理裝置
1301‧‧‧輸出入控制部
1302‧‧‧再生控制部
1303‧‧‧內容再生處理部
[圖1]本發明的實施形態所述之吸引程度值處理系統的全體像的概略圖。
[圖2]說明本發明的實施形態所述之吸引程度值處理系統中的，使用者的吸引程度值之機制的概略圖。
[圖3]顯示器的種類與攝影機的變異的圖示。
[圖4]橫型與縱型的顯示器中的，攝影機的最佳配置 位置之領域的圖示。
[圖5]吸引程度值處理系統之硬體構成的區塊圖。
[圖6]本發明的第一實施形態所述之吸引程度值處理系統的軟體功能的區塊圖。
[圖7]吸引程度算出部的功能區塊圖。
[圖8]本發明的第二實施形態所述之吸引程度值處理系統的軟體功能的區塊圖。
[圖9]從攝像裝置所被輸出的影像資料串流之一例的概略圖，和臉部偵測處理部所輸出之臉部抽出影像資料之一例的概略圖，和特徵點抽出部所輸出之特徵點資料之一例的概略圖。
[圖10]脈搏偵測領域抽出部，從使用者的臉部之影像資料切出作為部分影像資料之領域的模式性圖示。
[圖11]說明情感推定部所實施的情感之分類的概略圖。
[圖12]本發明的第三實施形態所述之吸引程度值處理裝置的硬體構成的區塊圖。
[圖13]本發明的第三實施形態所述之吸引程度值處理裝置的軟體功能的區塊圖。
[圖14]藉由再生控制部對內容再生處理部所給予的控制資訊所產生的，吸引程度值與內容的再生速度之對應關係之一例的圖形。
本發明的實施形態所述之吸引程度值處理系統，係測定使用者對內容的吸引程度值，將其上傳至伺服器，利用於各式各樣的解析等。
一般而言，吸引程度值處理系統，係以攝影機拍攝使用者的臉部，偵測使用者的臉部與視線之朝向，測定這些朝向是以多少程度面朝顯示內容的顯示器，藉此以算出使用者對內容的吸引程度值。
另一方面，如專利文獻2所示，從以攝影機拍攝到的使用者的臉部之影像資料，來偵測脈搏的技術，已為人知。可是，為了從臉部的影像資料偵測出脈搏，係作為其前提，必須要在臉部的影像資料之中，抽出為了偵測脈搏而為適切之領域。本發明的實施形態所述之吸引程度值處理系統中，係基於為了測定吸引程度值而取得的表示使用者的臉部之輪廓的向量資料，而抽出為了偵測脈搏而為適切之領域。
此外，在本發明的實施形態中的吸引程度值處理系統中，係以利用視覺的內容為對象。因此，只有聲音的內容，係不在本發明的實施形態所述之吸引程度值處理系統中的吸引程度值的測定及利用的對象之內。
〔全體構成〕
圖1係本發明的實施形態所述之吸引程度值處理系統101的全體像的概略圖。
使用者102係收視具有內容再生功能的客戶端103的 顯示部104中所被顯示的內容105。在由液晶顯示器等所成的顯示部104之上部，係設有一種被稱為web攝影機的攝像裝置106。攝像裝置106係拍攝使用者102的臉部，輸出影像資料串流。
客戶端103，係在其內部具有吸引程度值處理功能。然後，包含使用者102對內容105的吸引程度值的各式各樣的資訊，係被客戶端103的吸引程度值處理功能所算出，透過網際網路107而被上傳至伺服器108。
〔關於吸引程度值〕
圖2A及圖2B係說明本發明的實施形態所述之吸引程度值處理系統101中的，使用者102的吸引程度值之機制的概略圖。
於圖2A中，使用者102係注視著內容105所被顯示的顯示部104。顯示部104正上方係裝著有攝像裝置106。攝像裝置106係朝向，可拍攝存在於顯示部104之前的使用者102之臉部的方向。對攝像裝置106係連接有，未圖示的資訊處理裝置也就是客戶端103(參照圖1)。客戶端103，係根據從攝像裝置106所得的影像資料，偵測出使用者102的臉部之朝向及/或視線是否正朝向顯示部104之方向，將使用者102是否正在注視內容105，以0至1、或是0至255、或是0至1023等，作為具有所定之範圍之值的資料而輸出。從該客戶端103所被輸出的值，係為吸引程度值。
於圖2B中，使用者102並沒有注視著正在顯示內容105的顯示部104。攝像裝置106上所被連接的客戶端103，係根據從攝像裝置106所得之影像資料，輸出比圖2A中的吸引程度值還低之值的吸引程度值。
如此，本實施形態所述之吸引程度值處理系統101，係可將使用者102的臉部之朝向及/或視線是否朝向正在顯示內容105的顯示部104，根據從攝像裝置106所得之影像資料而予以算出。
圖3A、圖3B及圖3C係為顯示部104的種類與攝像裝置106之變異的圖示。
圖4A及圖4B係顯示部104的種類與攝像裝置106所被裝著的配置關係的圖示。
圖3A係為，對桌上型的LCD顯示器301，裝著外接的USB型web攝影機302的例子。
圖3B係為，在個人電腦303的LCD顯示器304的邊框，埋設web攝影機305的例子。
圖3C係為，在智慧型手機等之攜帶型無線終端306的LCD顯示器307的邊框，埋設自拍用內攝影機308的例子。
這些圖3A、圖3B及圖3C的共通點係為，攝像裝置106是被設在顯示部104的中心線附近。
圖4A係對應於圖3A及圖3B的，橫型的顯示部104a中的，攝像裝置106的最佳配置位置之領域的圖示。
圖4B係對應於圖3C的，縱型的顯示部104b中的，攝像裝置106的最佳配置位置之領域的圖示。
圖4A的顯示部104a、及圖4B的顯示部104b，亦即無論顯示器為橫型、縱型之哪種情況，只要在顯示部104a及104b的上下邊的，通過中心線L402及L404的領域401a、401b、403a及403b配置攝像裝置106，則攝像裝置106係可無調整就能正確捕捉使用者102的臉部與視線。
此外，攝像裝置106是被配置在這些領域以外之位置的情況下，則為了偵測使用者102的臉部與視線是否正面朝向顯示部104，而預先在使用者102的臉部與視線是正面朝向顯示部104時，偵測從攝像裝置106所看到的使用者102的臉部與視線之朝向的資訊，記憶在非揮發性儲存體504(參照圖5)等，較為理想。
〔吸引程度值處理系統101：硬體構成〕
圖5係吸引程度值處理系統101的硬體構成的區塊圖。
客戶端103係為一般的電腦，係有：CPU501、ROM502、RAM503、非揮發性儲存體504、輸出現在日期時間資訊的即時時鐘(以下簡稱「RTC」)505、操作部506，是被連接至匯流排507。然後，於吸引程度值處理系統101中擔任重要角色的顯示部104與攝像裝置106也是被連接至匯流排507。
客戶端103係透過被連接至匯流排507的NIC(Network Interface Card)508，而透過網際網路107與伺服器108進行通訊。
伺服器108也是一般的電腦，係有：CPU511、ROM512、RAM513、非揮發性儲存體514、NIC515，是被連接至匯流排516。
〔第一實施形態：吸引程度值處理系統101的軟體功能〕
接著說明，吸引程度值處理系統101的軟體功能。吸引程度值處理系統101，其功能的大半是由軟體的功能所構成。軟體的功能之一部分，包含有需要高負荷的演算處理者，因此，隨著執行軟體的硬體的演算處理能力，客戶端103上所能處理的功能有時候會有不同。
以下說明的第一實施形態中，主要是想定個人電腦等，演算處理能力(資源)比較優渥的硬體，而想定吸引程度值處理系統101的軟體功能。相對於此，在後述的第二實施形態的吸引程度值處理系統101中則是想定，攜帶型無線終端或內嵌用途的微電腦等，被稱為低資源裝置，演算處理能力較為貧乏的硬體，來說明軟體功能。
圖6係本發明的第一實施形態所述之吸引程度值處理系統101的軟體功能的區塊圖。
攝像裝置106拍攝收視內容105之使用者102的臉部而成的影像資料串流，係被供給至臉部偵測處理部601。該影像資料串流亦可暫時地積存在非揮發性儲存體504 等，在內容105的再生後進行以後的處理。
臉部偵測處理部601，係將從攝像裝置106所輸出之影像資料串流視為在時間軸上呈連續的靜止影像，對該時間軸上呈連續的靜止影像的各影像資料，使用例如Viola-Jones法等之周知的演算法，來偵測使用者102的臉部之存在。然後，將只抽出使用者102的臉部而成的臉部抽出影像資料予以輸出。
臉部偵測處理部601所輸出之臉部抽出影像資料，係被供給至特徵點抽出部602。
特徵點抽出部602，係對臉部抽出影像資料中所含之使用者102的臉部之影像，實施多邊形解析等之處理。然後，生成由使用者102的臉部全體、眉、目、鼻、口等之輪廓、與表示瞳孔的臉部之特徵點所成的特徵點資料。關於特徵點資料的細節，在圖9中會後述。
特徵點抽出部602所輸出之特徵點資料，係隨著客戶端103的CPU501的演算處理能力，而以例如100msec等所定之時間間隔(取樣率)，而被輸出。
特徵點抽出部602所輸出之特徵點資料、和臉部偵測處理部601所輸出之臉部抽出影像資料，係被供給至向量解析部603。
向量解析部603，係從以連續的2張臉部抽出影像資料為基礎的特徵點資料，將表示使用者102的臉部之朝向的向量(以下簡稱「臉部方向向量」)，與特徵點抽出部602同樣地，以所定之取樣率而加以生成。
又，向量解析部603，係使用以連續的2張臉部抽出影像資料為基礎的特徵點資料、和從臉部抽出影像資料藉由特徵點資料而切出的使用者102的眼睛之部分的影像資料，將使用者102的臉部的，表示視線之朝向的向量(以下簡稱「視線方向向量」)，與特徵點抽出部602同樣地，以所定之取樣率而加以生成。
向量解析部603所輸出之臉部方向向量與視線方向向量，係被供給至吸引程度算出部604。吸引程度算出部604，係從臉部方向向量與視線方向向量，算出吸引程度值。
圖7係吸引程度算出部604的功能區塊圖。
向量解析部603所輸出之臉部方向向量與視線方向向量，係被輸入至向量加算部701。向量加算部701，係將臉部方向向量與視線方向向量予以加算，算出注視方向向量。該注視方向向量係為表示，使用者102正在注視包含顯示內容之顯示部104與攝像裝置106的3維空間內之何處的向量。
向量加算部701所算出的注視方向向量，係被輸入至注視方向判定部702。注視方向判定部702，係判定指向使用者102所注視之對象的注視方向向量是否正朝向顯示部104，將2值的注視方向判定結果予以輸出。此外，攝像裝置106被設置在遠離顯示部104之附近之場所的情況下，則藉由非揮發性儲存體504中所記憶初期補正值703，對注視方向判定部702的判定處理施加補正。 在初期補正值703中，為了偵測使用者102的臉部與視線是否正面朝向顯示部104，而預先將在使用者102的臉部與視線是正面朝向顯示部104時，從攝像裝置106所看到的使用者102的臉部與視線之朝向的資訊，記憶在非揮發性儲存體504。
注視方向判定部702所輸出之2值的注視方向判定結果，係被輸入至第一平滑化處理部704。注視方向判定部702所輸出之注視方向判定結果中，偶而會發生，因為特徵點抽出部602所生成的特徵點資料中所含之雜訊而導致的干擾。因此，藉由第一平滑化處理部704來抑制雜訊的影響，獲得表示極近似於使用者102之舉動之狀態的「現場吸引程度值」。
第一平滑化處理部704，係算出例如含有現在之注視方向判定結果的數樣本的移動平均，並輸出現場吸引程度值。
第一平滑化處理部704所輸出之現場吸引程度值，係被輸入至第二平滑化處理部705。第二平滑化處理部705，係對所被輸入之現場吸引程度值，基於預先指定的樣本數706之數量進行平滑化處理，輸出「吸引程度基礎值」。例如，若樣本數706中記作「5」，則對5個現場吸引程度值算出移動平均。又，在平滑化處理中，亦可使用加權移動平均、指數加權移動平均等之別的演算法。該樣本數706及平滑化處理的演算法，係隨著本發明的實施形態所述之吸引程度值處理系統101所被適用的應 用，而被適切地設定。
第二平滑化處理部705所輸出之吸引程度基礎值，係被輸入至吸引程度演算處理部707。
另一方面，臉部方向向量係也被輸入至偏視判定部708。偏視判定部708，係判定表示使用者102的臉部之朝向的臉部方向向量是否正朝向顯示部104，生成2值的偏視判定結果。然後，將該偏視判定結果，依照向量解析部603所輸出之臉部方向向量與視線方向向量的取樣率，以內建的2個計數器加以計數。
第一計數器，係計數使用者102做了偏視的判定結果，第二計數器，係計數使用者102沒有偏視的判定結果。第一計數器，係一旦第二計數器達到所定之計數值，就被重置。第二計數器，係一旦第一計數器達到所定之計數值，就被重置。第一計數器與第二計數器的邏輯值，係作為表示使用者102是否有偏視的判定結果，而被輸出。
又，藉由按照方向別而將第一計數器予以複數具有，就可隨著應用，可以在例如拿取手邊的筆記本時，不判定為偏視。
又，視線方向向量係也被輸入至閉眼判定部709。閉眼判定部709，係判定是否有偵測到使用者102的表示視線之朝向的視線方向向量，生成2值的閉眼判定結果。
雖然在圖9C中後述，但視線方向向量係可在使用者 102的眼睛張開的狀態下做偵測。亦即，一旦使用者102閉上眼睛，就無法偵測視線方向向量。於是，閉眼判定部709，係生成表示使用者102是否閉眼的2值的閉眼判定結果。然後，將該閉眼判定結果，依照向量解析部603所輸出之臉部方向向量與視線方向向量的取樣率，以內建的2個計數器加以計數。
第一計數器，係計數使用者102閉上眼睛的判定結果，第二計數器，係計數使用者102張開眼睛(沒有閉眼)的判定結果。第一計數器，係一旦第二計數器達到所定之計數值，就被重置。第二計數器，係一旦第一計數器達到所定之計數值，就被重置。第一計數器與第二計數器的邏輯值，係作為表示使用者102是否有閉眼的判定結果，而被輸出。
第二平滑化處理部705所輸出之吸引程度基礎值、與偏視判定部708所輸出之偏視判定結果、與閉眼判定部709所輸出之閉眼判定結果，係被輸入至吸引程度演算處理部707。
吸引程度演算處理部707，係對吸引程度基礎值、偏視判定結果、閉眼判定結果，乘上隨應於應用的加權係數710然後進行加算，輸出最終的吸引程度值。
藉由調整樣本數706及加權係數710，就可將吸引程度值處理系統101，對應於各式各樣的應用。例如，若將樣本數706設定成「0」，對偏視判定部708及閉眼判定部709的加權係數710也都是設定成「0」，則 第一平滑化處理部704所輸出之現場吸引程度本身就可直接當作是吸引程度值而從吸引程度演算處理部707輸出。
尤其是，第二平滑化處理部705，係可藉由樣本數706的設定而無效化。於是，第一平滑化處理部704與第二平滑化處理部705，係亦可視為單一的平滑化處理部而視作上位概念。
回到圖6，繼續吸引程度值處理系統101的軟體功能的說明。
臉部偵測處理部601所輸出之臉部抽出影像資料、和特徵點抽出部602所輸出之特徵點資料，係也被供給至脈搏偵測領域抽出部605。
脈搏偵測領域抽出部605，係基於從臉部偵測處理部601所輸出之臉部抽出影像資料、與特徵點抽出部602所輸出之特徵點資料，執行相當於使用者102的臉部之一部分的影像資料之切出，將所得到的部分影像資料，往脈搏算出部606輸出。細節會在圖10中後述，但脈搏偵測領域抽出部605，係在使用者102的臉部之中，將眼睛的正下方，相當於頰骨的領域，視為用來偵測脈搏所需的領域而進行影像資料的切出。作為用來偵測脈搏所需的領域，係可考慮嘴唇、眉間的稍微上方、頰骨附近等，但在本實施形態中係使用被鬍鬚或頭髮遮住而看不到皮膚之可能性較低的頰骨附近的情況來做說明。此外，決定脈搏偵測領域的手法，係可考慮各式各樣的應用。例如，亦可為嘴唇、或眉間的稍微上方。甚至，亦可設計成可以對嘴唇、 眉間的稍微上方、頰骨附近等之複數候補領域進行解析，若嘴唇被鬍鬚遮住則用下個候補(例如眉間正上)，若下個候補也被遮住就再用下個候補(頰骨附近)，如此依序縮減候補，決定適切的切出領域的方法。
脈搏算出部606，係從脈搏偵測領域抽出部605所生成之部分影像資料，將綠色的成分予以摘錄，獲得每一像素的亮度之平均值。然後，將該平均值的變動，使用例如專利文獻2等中所記載的短時間傅立葉轉換、或是專利文獻3等中所記載的離散小波轉換等，來偵測使用者102的脈搏。此外，本實施形態的脈搏算出部606，係獲得每一像素的亮度之平均值，但除了平均值以外亦可採用最眾值或中央值。
血液中所含的血紅素，係具有吸收綠光的特性，為人所知。周知的脈搏血氧偵測儀，係利用該血紅素的特性，對皮膚照射綠光，偵測反射光，基於其強度變化來偵測脈搏。脈搏算出部606也是，在利用該血紅素的特性這點上是相同的。但是，作為偵測之根據的資料是影像資料這點，是和脈搏血氧偵測儀不同。
特徵點抽出部602所輸出之特徵點資料，係也被供給至情感推定部607。情感推定部607，係將特徵點抽出部602所生成之特徵點資料，參照特徵量616，使用例如貝氏推論或支援向量機等之有教師的學習演算法，推定使用者102是否有從平常時的表情變化成什麼樣的表情，亦即使用者102的情感。
如圖6所示，對輸出入控制部608係供給，根據從攝像裝置106所得之影像資料串流所得之，使用者102的吸引程度值、表示使用者102之情感的情感資料、表示使用者102之脈搏的脈搏資料。
另一方面，使用者102係正在收視顯示部104中所被顯示的所定之內容105。內容105，係從網路儲存體609透過網際網路107，或是從本地儲存體610，被供給至內容再生處理部611。內容再生處理部611，係依照操作部506的操作資訊而將內容105予以再生並顯示在顯示部104。又，內容再生處理部611，係將用來唯一識別內容105的內容ID、和表示內容105之再生位置的再生位置資訊，輸出至輸出入控制部608。
此處，內容105的再生位置資訊，係隨著內容105的種類而其內容不同。例如，若內容105是動畫資料，則相當於再生時間資訊。又，若內容105是演示資料或遊戲等之資料或程式，則相當於「頁」、「場景號碼」、「章」、「節」等之，用來區分內容105的資訊。
對輸出入控制部608，係從內容再生處理部611，供給內容ID和再生位置資訊。甚至，除了這些資訊以外，對輸出入控制部608，係還供給有從RTC505所被輸出的，內容收視時點上的現在日期時間資訊、亦即收視日期時間資訊、和非揮發性儲存體504等中所被記憶的使用者ID612。此處，所謂使用者ID612，係用來唯一識別使用者102的資訊，但該使用者ID612係站在保護使用者 102個人資訊的觀點來看，係為被使用於周知的橫幅廣告等，基於亂數等而被製作的匿名ID，較為理想。
輸出入控制部608，係收取使用者ID612、收視日期時間、內容ID、再生位置資訊、脈搏資料、吸引程度值、情感資料，構成送訊資料613。該送訊資料613，係被使用者ID612所唯一識別，被積存在伺服器108的資料庫614中。此時，在資料庫614中係設置具有使用者ID欄位、收視日期時間欄位、內容ID欄位、再生位置資訊欄位、脈搏資料欄位、吸引程度值欄位、情感資料欄位的未圖示的表，送訊資料613係被積存在該表中。
此外，亦可將輸出入控制部608所輸出之送訊資料613，一度記憶在RAM503或非揮發性儲存體504，實施可逆的資料壓縮處理，然後往伺服器108發送。伺服器108中的叢集分析處理部615等之資料處理功能，係在大多數的情況下，不需要與內容105的再生同時。因此，亦可為，例如，使用者102結束內容105的收視後，才將送訊資料613予以壓縮成的資料上傳至伺服器108。
伺服器108，係除了多數匿名使用者102收視內容105之際的，再生位置資訊中的吸引程度值以外，還可取得脈搏、情感等等，積存在資料庫614中。使用者102的數量越是增加，或是內容105的數量越是增加，資料庫614的資料作為適合於叢集分析處理部615等之統計的解析處理的身為大數據的利用價值就越高。
〔第二實施形態：吸引程度值處理系統801的軟體功能〕
圖8係本發明的第二實施形態所述之吸引程度值處理系統801的軟體功能的區塊圖。
圖8中所示的，本發明的第二實施形態所述之吸引程度值處理系統801中，與圖6所示的本發明的第一實施形態所述之吸引程度值處理系統101的相異點，係為以下的4點。
(1)客戶端103中的向量解析部603、吸引程度算出部604、情感推定部607及脈搏算出部606，係存在於伺服器802上。
(2)脈搏算出部606係被置換成，從脈搏偵測領域抽出部605所生成之部分影像資料，摘錄出綠色的成分，算出每一像素的亮度之平均值的亮度平均值算出部803。
(3)由於上記(1)及(2)，作為輸出入控制部804所生成之送訊資料805，不是脈搏資料而是改為發送亮度平均值，不是吸引程度值及情感資料而改為發送特徵點資料。
(4)由於上記(3)，在伺服器802的資料庫806中，係作成具有使用者ID欄位、收視日期時間欄位、內容ID欄位、再生位置資訊欄位、亮度平均值欄位及特徵點欄位的未圖示的表，送訊資料805係被積存。
亦即，第二實施形態的吸引程度值處理系統801，係在第一實施形態中，在存在於客戶端103上的功能區塊之中，將演算處理負荷高的，吸引程度算出部 604、情感推定部607及脈搏算出部606，移設至伺服器802。
吸引程度算出部604係需要多數的矩陣演算處理，情感推定部607係需要學習演算法的演算處理，脈搏算出部606係需要短時間傅立葉轉換或離散小波轉換等，演算處理的負荷較高。於是，將這些功能區塊(軟體功能)，由演算資源優渥的伺服器802來持有，在伺服器802上執行這些演算處理，藉此即使客戶端103係為低資源裝置，仍可實現吸引程度值處理系統801。
此外，亮度平均值算出部803，係為了削減通過網路的資料量，而被設在客戶端103側。
然後，第二實施形態的伺服器802的資料庫806也是，最終是和第一實施形態的資料庫614同樣地，積存有使用者ID612、收視日期時間、內容ID、再生位置資訊、脈搏資料、吸引程度值、情感資料。
又，吸引程度算出部604在演算處理之際所參照的，客戶端103的顯示部104之大小、與攝像裝置106的設置位置等之資訊，係必須與使用者ID612建立關連，預先從客戶端103發送至伺服器802，保持在伺服器802的資料庫806中。
如以上說明，本發明的第二實施形態所述之吸引程度值處理系統801中，係在本發明的第一實施形態所述之吸引程度值處理系統101中，將位於客戶端103的吸引程度算出部604、情感推定部607及脈搏算出部 606，移設至伺服器802。因此，如圖8所示，從輸出入控制部804所輸出的送訊資料805，係由使用者ID612、收視日期時間、內容ID、再生位置資訊、亮度平均值、特徵點資料所構成。特徵點資料，係為吸引程度算出部604與情感推定部607所參照的資料。亮度平均值，係為脈搏算出部606所參照的資料。
〔關於特徵點資料〕
關於臉部偵測處理部601、特徵點抽出部602、以及向量解析部603的動作，以下加以說明。
圖9A係從攝像裝置106所輸出之影像資料串流之一例的概略圖。圖9B係臉部偵測處理部601所輸出之臉部抽出影像資料之一例的概略圖。圖9C係特徵點抽出部602所輸出之特徵點資料之一例的概略圖。
首先，從攝像裝置106即時輸出含有使用者102的影像資料串流。此係為圖9A的影像資料P901。
接著，臉部偵測處理部601，係根據從攝像裝置106所輸出之影像資料P901，使用例如Viola-Jones法等之周知的演算法，偵測使用者102的臉部之存在。然後，將只抽出使用者102的臉部而成的臉部抽出影像資料予以輸出。此係為圖9B的臉部抽出影像資料P902。
然後，特徵點抽出部602，係對臉部抽出影像資料P902中所含之使用者102的臉部之影像，實施多邊形解析等之處理。然後，生成由使用者102的臉部全體、眉、 目、鼻、口等之輪廓、與表示瞳孔的臉部之特徵點所成的特徵點資料。此係為圖9C的特徵點資料P903。該特徵點資料P903，係由具有二維空間內之座標資訊的特徵點的集合體所構成。
二維的特徵點資料，若在時間軸上的不同時序上取得2組，則藉由使用者102的臉部的些微運動，各個的特徵點資料中就會發生偏差。基於該偏差，就可算出使用者102的臉部之方向。此係為臉部方向向量。
又，瞳孔相對於眼睛輪廓的配置，係可算出使用者102的視線大略相對於臉部的方向。此係為視線方向向量。
向量解析部603，係藉由如以上的處理，從特徵點資料，生成臉部方向向量與視線方向向量。接著，向量解析部603係將這些臉部方向向量與視線方向向量予以加算。亦即，為了得知使用者102把臉部朝向何方，甚至視線朝向何方而將臉部方向向量與視線方向向量進行加算，最終算出表示使用者102正在注視包含顯示部104與攝像裝置106的3維空間內之何處的注視方向向量。然後，向量解析部603係也算出注視方向向量的，時間軸上的變動量也就是向量變動量。
如圖9C所示，在相當於使用者102的眼睛的地點，係存在有眼睛輪廓部分與表示瞳孔中心的點。向量解析部603，係根據表示瞳孔中心的點是位於輪廓之中，就可偵測視線方向向量。反之，一旦表示瞳孔中心的點不 在輪廓之中，則向量解析部603就無法偵測視線方向向量。亦即，一旦使用者102閉眼，則特徵點抽出部602就無法在眼睛的輪廓部分之中偵測表示瞳孔中心的點，因此向量解析部603就無法偵測視線方向向量。圖7的閉眼判定部709，係基於該視線方向向量之有無，來偵測使用者102的閉眼狀態。
閉眼的判定處理，係除了上述以外，還有直接辨識眼睛影像等之方法，可因應應用所要求的必要之精度而做適宜變更。
〔關於脈搏的偵測領域〕
圖10係脈搏偵測領域抽出部605，從使用者102的臉部之影像資料切出作為部分影像資料之領域的模式性圖示。
專利文獻2中也有記載，為了從臉部的皮膚顏色正確地偵測脈搏，係必須在臉部的影像資料之中，將目、鼻的孔、唇、頭髮或鬍鬚等之與膚色無關的要素，盡可能地排除。尤其是，眼睛劇烈運動、或是眼瞼閉起又打開，導致影像資料中瞳孔一會存在一會不存在，短時間內會發生劇烈的亮度變化，因此在亮度的平均值算出之際會造成不良影響。又，雖然有個體差異，但頭髮與鬍鬚之存在係對皮膚顏色的偵測造成很大的阻礙。
若考慮以上事情，如圖10所示，眼睛下方的領域1001a及1001b，是比較難以受到眼睛、頭髮、鬍鬚之存 在而影響，是可以比較穩定偵測皮膚顏色的領域之一例。
在本發明的實施形態所述之吸引程度值處理系統101中，係將使用者102的臉部向量化，具有辨識使用者102之臉部的功能，因此脈搏偵測領域抽出部605係可實現，從臉部特徵點算出眼睛下方之領域的座標資訊。
〔關於情感的推定〕
圖11係說明情感推定部607所實施的，情感之分類的概略圖。
根據保羅．艾克曼(Paul Ekman)，人類無論隸屬於哪種語言圈或文化圈，都具有共同的情感。又艾克曼所做的情感之分類，係亦被稱為「艾克曼的基本6情緒」。相對於平常時的無表情(F1101)，人類的表情會在驚訝(F1102)、恐懼(F1103)、厭惡(F1104)、憤怒(F1105)、快樂(F1106)、悲傷(F1107)的6情感中做變化。表情的變化，係變成臉部特徵點的變化而呈現。情感推定部607，係偵測時間軸上中的，臉部特徵點的相對變動，將其按照艾克曼的基本6情緒，推定內容105的再生位置資訊或收視日期時間中的使用者102的表情，是屬於哪種情感。
〔第三實施形態：吸引程度值處理裝置1201的硬體構成〕
吸引程度值，係作為控制內容的再生狀態的資訊，也是有用的。圖12係本發明的第三實施形態所述之吸引程 度值處理裝置1201的硬體構成的區塊圖。
圖12中所示的吸引程度值處理裝置1201的硬體構成，係和圖5所示的本發明的第一實施形態所述之吸引程度值處理系統101的客戶端103相同。因此，同一構成要素係標示同一符號，而省略其說明。
吸引程度值處理裝置1201，係與本發明的第一實施形態所述之吸引程度值處理系統101不同，是獨立單機的構成。可是，也不一定必須是獨立單機的構成，也可因應需要而與第一實施形態同樣地，將已算出之吸引程度值等上傳至伺服器108。
〔第三實施形態：吸引程度值處理裝置1201的軟體功能〕
圖13係本發明的第三實施形態所述之吸引程度值處理裝置1201的軟體功能的區塊圖。圖13中所示的吸引程度值處理裝置1201之中，和圖6所示的第一實施形態所述之吸引程度值處理系統101相同的功能區塊，係標示同一符號而省略說明。此外，圖13的吸引程度算出部604，係具有和第一實施形態所述之吸引程度值處理系統101的吸引程度算出部604相同功能，因此是以和圖7所示的吸引程度算出部604相同的功能區塊所構成。
圖13所示的吸引程度值處理裝置1201，與圖6所示的第一實施形態所述之吸引程度值處理系統101的相異點，係在輸出入控制部1301中含有再生控制部1302，還 有內容再生處理部1303會基於再生控制部1302的控制資訊，來執行內容的再生/停止/再生速度之變更這點。
亦即，將使用者102對內容的專心的程度，反映至內容的再生速度及再生狀態上。
使用者102對內容不專心(吸引程度值低)的狀態下則暫停再生，藉此可讓使用者102確實瀏覽內容。反之，使用者102對內容專心(吸引程度值高)的狀態下，藉由提高再生速度，可讓使用者102較快瀏覽內容。
該再生速度變更功能，係尤其是對學習用內容，特別有效。
圖14係藉由再生控制部1302對內容再生處理部1303所給予的控制資訊所產生的，吸引程度值與內容的再生速度之對應關係之一例的圖形。橫軸係為吸引程度值，縱軸係為內容再生速度。
再生控制部1302，係將從吸引程度算出部604所輸出的吸引程度值，與複數個所定之閾值進行比較，對內容再生處理部1303，指示內容的再生或暫停，而在再生內容時則進一步指示其再生速度。
在圖14中作為一例，‧若使用者102的吸引程度值未滿30%則暫停內容的再生，‧若使用者102的吸引程度值為30%以上未滿40%則以0.8倍速再生內容，‧若使用者102的吸引程度值為40%以上未滿50%則 以0.9倍速再生內容，‧若使用者102的吸引程度值為50%以上未滿60%則以1.0倍速再生內容，‧若使用者102的吸引程度值為60%以上未滿70%則以1.2倍速再生內容，‧若使用者102的吸引程度值為70%以上未滿80%則以1.3倍速再生內容，‧若使用者102的吸引程度值為80%以上未滿90%則以1.4倍速再生內容，‧若使用者102的吸引程度值為90%以上則以1.5倍速再生內容
如此般地進行內容再生處理部1303的控制。
此外，被再生控制部1302所設定的閾值或再生速度，係可讓使用者102使用所定之GUI(Graphical User Interface)來做任意變更，較為理想。
於本發明的實施形態中係揭露了吸引程度值處理系統101、吸引程度值處理系統801及吸引程度值處理裝置1201。
被配置在顯示部104附近的攝像裝置106，係拍攝收視內容105之使用者102的臉部，輸出影像資料串流。從該影像資料串流，藉由特徵點抽出部602而生成臉部特徵點的集合體也就是特徵點資料。然後，從該特徵點資料，算出注視方向向量與向量變動量。吸引程度算出部604，係從這些資料算出使用者102對內容105的吸引程度值。
另一方面，特徵點資料，係在脈搏偵測之際的，部分影像資料之切出中，也可做利用。甚至特徵點資料，係也可在使用者102的情感之推定中做利用。因此，只需以攝像裝置106拍攝使用者102，就可同時取得收視內容105之使用者102的，對內容105的吸引程度值、脈搏、情感，不只可掌握使用者102是以多少程度注意來朝向其，還可包含是抱有多少程度的興趣等而綜合地掌握使用者102的行動或情感。
又，藉由將吸引程度值利用於內容的再生與暫停、還有再生速度的控制，就可期待對使用者102的學習效果提升。
以上雖然說明了本發明的實施形態，但本發明係不限定於上記實施形態，只要不脫離申請專利範圍所記載的本發明之要旨，還可包含其他的變形例、應用例。
例如，上記的實施形態係為了容易理解本發明地做說明而將裝置及系統的構成做了詳細且具體的說明，但並不一定限定為必須具備所說明的全部構成。又，某實施形態的構成之一部分亦可置換成其他實施形態的構成，甚至可對某實施形態的構成加入其他實施形態的構成。又，關於各實施形態的構成之一部分，亦可做其他構成的追加、刪除、置換。
又，上記的各構成、功能、處理部等，係亦可將其部分或全部，例如以積體電路加以設計等而藉由硬體來實現。又，上記的各構成、功能等，係亦可由處理器 來解譯實現各個功能的程式，以執行所需的軟體來加以實現。實現各功能的程式、表、檔案等之資訊，係可保存在記憶體、硬碟、SSD(Solid State Drive)等之揮發性或是非揮發性的儲存體、或IC卡、光碟等之記錄媒體。
又，控制線或資訊線係考慮說明上的必要而標示，在產品上未必會標示所有的控制線或資訊線。實際上亦可想成全部的構成是被相互連接。
101‧‧‧吸引程度值處理系統
103‧‧‧客戶端
104‧‧‧顯示部
106‧‧‧攝像裝置
107‧‧‧網際網路
108‧‧‧伺服器
505‧‧‧RTC
506‧‧‧操作部
601‧‧‧臉部偵測處理部
602‧‧‧特徵點抽出部
603‧‧‧向量解析部
604‧‧‧吸引程度算出部
605‧‧‧脈搏偵測領域抽出部
606‧‧‧脈搏算出部
607‧‧‧情感推定部
608‧‧‧輸出入控制部
609‧‧‧網路儲存體
610‧‧‧本地儲存體
611‧‧‧內容再生處理部
612‧‧‧使用者ID
613‧‧‧送訊資料
614‧‧‧資料庫
615‧‧‧叢集分析處理部
616‧‧‧特徵量

Claims (8)

  1. 一種吸引程度值處理系統，係具備：顯示部，係顯示內容；和攝像裝置，係被設置在，可拍攝觀看前記顯示部的使用者之臉部的方向上；和臉部偵測處理部，係從前記攝像裝置所輸出之影像資料串流，偵測出前記使用者的臉部之存在，輸出將前記使用者的臉部予以抽出而成的臉部抽出影像資料；和特徵點抽出部，係從前記臉部抽出影像資料，將含有前記使用者的臉部之輪廓的、具有二維空間內之座標資訊的特徵點之集合體也就是特徵點資料，予以輸出；和向量解析部，係從前記特徵點資料，以所定之取樣率來生成表示前記使用者的臉部之朝向的臉部方向向量、與表示前記使用者的臉部之視線之朝向的視線方向向量；和吸引程度算出部，係從前記臉部方向向量與前記視線方向向量，算出前記使用者對前記內容的吸引程度值；和資料庫，係積存：將前記使用者做唯一識別的使用者ID、前記使用者收視前記內容的收視日期時間、將前記內容做唯一識別的內容ID、表示前記內容之再生位置的再生位置資訊、前記吸引程度算出部所輸出之前記使用者對前記內容的前記吸引程度值。
  2. 如請求項1所記載之吸引程度值處理系統，其中，前記吸引程度算出部係具備：向量加算部，係將前記臉部方向向量與前記視線方向 向量予以加算，算出表示前記使用者正在注視包含顯示內容之前記顯示部與前記攝像裝置的3維空間內之何處的注視方向向量；和注視方向判定部，係將判定前記注視方向向量是否朝向前記顯示部的注視方向判定結果予以輸出；和平滑化處理部，係對前記注視方向判定結果，以所定之樣本數進行平滑化。
  3. 如請求項2所記載之吸引程度值處理系統，其中，前記吸引程度算出部係還具備：偏視判定部，係判定前記臉部方向向量是否朝向前記顯示部；和閉眼判定部，係判定前記使用者是否正在閉眼；和吸引程度演算處理部，係將前記平滑化處理部所輸出之吸引程度基礎值、前記偏視判定部所輸出之偏視判定結果、前記閉眼判定部所輸出之閉眼判定結果，以所定之加權係數予以乘算然後加算。
  4. 如請求項3所記載之吸引程度值處理系統，其中，還具備：脈搏偵測領域抽出部，係基於前記特徵點資料，而執行前記臉部抽出影像資料中所含之相當於前記使用者的臉部之一部分的影像資料之切出，將所得到的部分影像資料予以輸出；和脈搏算出部，係從前記部分影像資料的特定之色彩成分之亮度在時間軸上的變動量，算出前記使用者的脈搏； 前記資料庫係還積存前記脈搏算出部所輸出之前記使用者的脈搏資料。
  5. 如請求項4所記載之吸引程度值處理系統，其中，還具備：情感推定部，係基於前記特徵點資料，來推定使用者的情感；前記資料庫係積存，前記情感推定部所推定的表示前記使用者之情感的情感資料。
  6. 一種吸引程度值處理裝置，係具備：內容再生處理部，係將內容予以再生；和顯示部，係顯示前記內容；和攝像裝置，係被設置在，可拍攝觀看前記顯示部的使用者之臉部的方向上；和臉部偵測處理部，係從前記攝像裝置所輸出之影像資料串流，偵測出前記使用者的臉部之存在，輸出將前記使用者的臉部予以抽出而成的臉部抽出影像資料；和特徵點抽出部，係從前記臉部抽出影像資料，將含有前記使用者的臉部之輪廓的、具有二維空間內之座標資訊的特徵點之集合體也就是特徵點資料，予以輸出；和向量解析部，係從前記特徵點資料，以所定之取樣率來生成表示前記使用者的臉部之朝向的臉部方向向量、與表示前記使用者的臉部之視線之朝向的視線方向向量；和吸引程度算出部，係從前記臉部方向向量與前記視線方向向量，算出前記使用者對前記內容的吸引程度值；和 再生控制部，係隨應於前記吸引程度值之大小，對前記內容再生處理部，指示前記內容的再生/暫停/再生速度之變更。
  7. 如請求項6所記載之吸引程度值處理裝置，其中，前記吸引程度算出部係具備：向量加算部，係將前記臉部方向向量與前記視線方向向量予以加算，算出表示前記使用者正在注視包含顯示內容之前記顯示部與前記攝像裝置的3維空間內之何處的注視方向向量；和注視方向判定部，係將判定前記注視方向向量是否朝向前記顯示部的注視方向判定結果予以輸出；和平滑化處理部，係對前記注視方向判定結果，以所定之樣本數進行平滑化。
  8. 如請求項7所記載之吸引程度值處理裝置，其中，前記吸引程度算出部係還具備：偏視判定部，係判定前記臉部方向向量是否朝向前記顯示部；和閉眼判定部，係判定前記使用者是否正在閉眼；和吸引程度演算處理部，係將前記平滑化處理部所輸出之吸引程度基礎值、前記偏視判定部所輸出之偏視判定結果、前記閉眼判定部所輸出之閉眼判定結果，以所定之加權係數予以乘算然後加算。
TW106120932A 2016-06-23 2017-06-22 吸引程度值處理系統及吸引程度值處理裝置 TW201810128A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016124611 2016-06-23
JP2016-124611 2016-06-23
JP2017091691A JP6282769B2 (ja) 2016-06-23 2017-05-02 エンゲージメント値処理システム及びエンゲージメント値処理装置
JP2017-091691 2017-05-02

Publications (1)

Publication Number Publication Date
TW201810128A true TW201810128A (zh) 2018-03-16

Family

ID=60783447

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106120932A TW201810128A (zh) 2016-06-23 2017-06-22 吸引程度值處理系統及吸引程度值處理裝置

Country Status (6)

Country Link
US (1) US20190340780A1 (zh)
JP (1) JP6282769B2 (zh)
KR (1) KR20190020779A (zh)
CN (1) CN109416834A (zh)
TW (1) TW201810128A (zh)
WO (1) WO2017221555A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP7075237B2 (ja) * 2018-02-23 2022-05-25 ラピスセミコンダクタ株式会社 操作判定装置及び操作判定方法
KR102479049B1 (ko) * 2018-05-10 2022-12-20 한국전자통신연구원 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
KR102073940B1 (ko) * 2018-10-31 2020-02-05 가천대학교 산학협력단 스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법
JP2020086921A (ja) * 2018-11-26 2020-06-04 アルパイン株式会社 画像処理装置
DE112020000892T5 (de) * 2019-02-22 2021-11-25 Semiconductor Energy Laboratory Co., Ltd. Brillenartiges elektronisches Gerät
KR102333976B1 (ko) * 2019-05-24 2021-12-02 연세대학교 산학협력단 사용자 인식 기반의 영상 제어 장치 및 그 동작방법
KR102204743B1 (ko) * 2019-07-24 2021-01-19 전남대학교산학협력단 시선 움직임 분석에 의한 감정 인식 장치 및 방법
JP6945693B2 (ja) * 2019-08-31 2021-10-06 グリー株式会社 動画再生装置、動画再生方法、及び動画配信システム
CN111597916A (zh) * 2020-04-24 2020-08-28 深圳奥比中光科技有限公司 一种专注度检测方法、终端设备及系统
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus
CN111726689B (zh) * 2020-06-30 2023-03-24 北京奇艺世纪科技有限公司 一种视频播放控制方法及装置
JP7138998B1 (ja) * 2021-08-31 2022-09-20 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
KR102621990B1 (ko) * 2021-11-12 2024-01-10 한국전자기술연구원 영상 기반의 생체 및 행태 데이터 통합 검출 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10216096A (ja) 1997-02-04 1998-08-18 Matsushita Electric Ind Co Ltd 生体信号解析装置
JP2003111106A (ja) 2001-09-28 2003-04-11 Toshiba Corp 集中度取得装置並びに集中度を利用した装置及びシステム
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
JP3797253B2 (ja) * 2002-03-14 2006-07-12 日産自動車株式会社 視線方向検出装置
JP2006277192A (ja) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International 映像表示システム
JP2007036846A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
US20110267374A1 (en) * 2009-02-05 2011-11-03 Kotaro Sakata Information display apparatus and information display method
US8830164B2 (en) * 2009-12-14 2014-09-09 Panasonic Intellectual Property Corporation Of America User interface device and input method
JP5755483B2 (ja) * 2011-04-05 2015-07-29 日立マクセル株式会社 自動録画機能を有する映像表示装置および録画装置並びに自動録画方法
JP2013070155A (ja) * 2011-09-21 2013-04-18 Nec Casio Mobile Communications Ltd 動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム
JP5771127B2 (ja) * 2011-11-15 2015-08-26 日本放送協会 注目度推定装置およびそのプログラム
US9100685B2 (en) * 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US20140078039A1 (en) * 2012-09-19 2014-03-20 United Video Properties, Inc. Systems and methods for recapturing attention of the user when content meeting a criterion is being presented
US20140258268A1 (en) * 2013-03-11 2014-09-11 United Video Properties, Inc. Systems and methods for browsing content stored in the viewer's video library
JP6236875B2 (ja) * 2013-05-24 2017-11-29 富士通株式会社 コンテンツ提供プログラム，コンテンツ提供方法及びコンテンツ提供装置
KR20150062647A (ko) * 2013-11-29 2015-06-08 삼성전자주식회사 영상처리장치 및 그 제어방법
JP6393984B2 (ja) * 2013-12-19 2018-09-26 富士通株式会社 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム
JP2016063525A (ja) * 2014-09-22 2016-04-25 シャープ株式会社 映像表示装置及び視聴制御装置
KR20170136160A (ko) * 2016-06-01 2017-12-11 주식회사 아이브이티 시청자 몰입도 평가 시스템

Also Published As

Publication number Publication date
CN109416834A (zh) 2019-03-01
JP6282769B2 (ja) 2018-02-21
WO2017221555A1 (ja) 2017-12-28
JP2018005892A (ja) 2018-01-11
KR20190020779A (ko) 2019-03-04
US20190340780A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
TW201810128A (zh) 吸引程度值處理系統及吸引程度值處理裝置
US11056225B2 (en) Analytics for livestreaming based on image analysis within a shared digital environment
US11887352B2 (en) Live streaming analytics within a shared digital environment
US11199899B2 (en) System and method for dynamic content delivery based on gaze analytics
US11430260B2 (en) Electronic display viewing verification
US10517521B2 (en) Mental state mood analysis using heart rate collection based on video imagery
US20170238859A1 (en) Mental state data tagging and mood analysis for data collected from multiple sources
US20160191995A1 (en) Image analysis for attendance query evaluation
JP6267861B2 (ja) 対話型広告のための使用測定技法およびシステム
US11073899B2 (en) Multidevice multimodal emotion services monitoring
KR101766347B1 (ko) 집중도 평가시스템
US20170095192A1 (en) Mental state analysis using web servers
CN109478097A (zh) 用于提供关于用户行为的基于眼睛追踪的信息的方法和系统、客户端设备、服务器和计算机程序产品
US20130151333A1 (en) Affect based evaluation of advertisement effectiveness
US20160379505A1 (en) Mental state event signature usage
US20150186912A1 (en) Analysis in response to mental state expression requests
JP6583996B2 (ja) 映像評価装置、及びプログラム
Zhang et al. Correlating speaker gestures in political debates with audience engagement measured via EEG
Soleymani et al. Behavioral and physiological responses to visual interest and appraisals: Multimodal analysis and automatic recognition
Schulc et al. Automatic measurement of visual attention to video content using deep learning
EP2685351A1 (en) Method for calibration free gaze tracking using low cost camera
Ma et al. Eye-2-I: Eye-tracking for just-in-time implicit user profiling
KR20200135431A (ko) 처리 장치, 처리 방법, 데이터 처리 장치, 데이터 처리 시스템, 데이터 처리 방법 및 프로그램
EP4213105A1 (en) Gaze estimation system and method thereof
US20230360079A1 (en) Gaze estimation system and method thereof