KR102244630B1 - Method, device and computer program for verifying of watching content - Google Patents

Method, device and computer program for verifying of watching content Download PDF

Info

Publication number
KR102244630B1
KR102244630B1 KR1020200164499A KR20200164499A KR102244630B1 KR 102244630 B1 KR102244630 B1 KR 102244630B1 KR 1020200164499 A KR1020200164499 A KR 1020200164499A KR 20200164499 A KR20200164499 A KR 20200164499A KR 102244630 B1 KR102244630 B1 KR 102244630B1
Authority
KR
South Korea
Prior art keywords
viewer
viewing
content
time
real
Prior art date
Application number
KR1020200164499A
Other languages
Korean (ko)
Inventor
이순형
이경훈
임성찬
박두현
한동욱
Original Assignee
라온화이트햇 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 라온화이트햇 주식회사 filed Critical 라온화이트햇 주식회사
Priority to KR1020200164499A priority Critical patent/KR102244630B1/en
Application granted granted Critical
Publication of KR102244630B1 publication Critical patent/KR102244630B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25816—Management of client data involving client authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

The present invention provides a content viewing confirmation method, a device thereof and a computer program thereof which authenticate a viewer through face recognition and check whether a viewer watching content is the authenticated viewer while monitoring whether the viewer watches real-time content.

Description

콘텐츠 시청 확인 방법과 장치 및 컴퓨터프로그램{Method, device and computer program for verifying of watching content}{Method, device and computer program for verifying of watching content}

본 발명은 콘텐츠 시청 확인 방법과 장치 및 컴퓨터프로그램에 관한 것으로서, 보다 상세하게는 안면 인식을 통해 시청자를 인증하고 실시간 콘텐츠에 대한 시청자의 시청 여부를 모니터링하면서 콘텐츠를 시청 중인 시청자가 인증된 시청자인지를 확인할 수 있는 방안에 대한 것이다. The present invention relates to a content viewing verification method, apparatus, and computer program, and more specifically, to authenticate a viewer through facial recognition and monitor whether a viewer is viewing real-time content while determining whether the viewer viewing the content is an authenticated viewer. It is about a method that can be checked.

IT 기술발달에 따라 강의나 회의 등을 온라인을 통한 비대면으로 수행하는 경우가 늘어남에 따라 참석 여부에 대한 인증 및 이와 관련된 콘텐츠 시청에 대한 모니터링이 필요한 실정이다. As the number of non-face-to-face lectures and meetings has increased with the development of IT technology, it is necessary to verify attendance and to monitor related content viewing.

또한 휴대용 통신 기기가 널리 보급됨에 따라 시간적으로나 장소적인 제약이 없이 다양한 콘텐츠의 이용이 가능해짐으로써 오프라인 광고보다는 온라인 광고가 더욱 활발해지고 있으며, 온라인 광고 시청에 따른 보상이 주어지고 있음에도 해당 광고를 적절하게 시청했는지에 대한 판단이 효과적으로 이루어지지 못하고 있다.In addition, as portable communication devices become widespread, various contents can be used without time or place restrictions, so online advertisements are becoming more active than offline advertisements. The judgment on whether or not they have watched is not being made effectively.

아울러 유상의 온라인 콘텐츠에 많은 시간과 비용이 투자되어 제작되고 있는데, 시청 권한이 없는 사람이 이를 불법적으로 시청함에 따라 양질의 콘텐츠 보급 의욕을 상실시키는 문제가 있기에 인증된 시청자만이 해당 콘텐츠를 시청할 수 있도록 하는 보다 강화된 보안책이 강구될 필요가 있다. In addition, a lot of time and money are being invested in the paid online content. As a person without permission to watch it illegally, there is a problem that it loses the will to distribute high-quality content, so only authorized viewers can watch the content. There is a need to devise more strengthened security measures to ensure that.

한국 특허등록번호 제10-2038413호Korean Patent Registration No. 10-2038413 한국 특허공개번호 제10-2020-0068771호Korean Patent Publication No. 10-2020-0068771

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하고자 하는 것으로서, 콘텐츠의 시청자가 시청 권한을 갖고 있는지를 인증하고 인증된 시청자가 적절하게 콘텐츠를 시청하고 있는지를 모니터링하여 시청 완료를 확인할 수 있는 방안을 제시하고자 한다.The present invention is to solve the problems of the prior art as described above, a method for verifying the completion of viewing by certifying whether the viewer of the content has the viewing authority and monitoring whether the authenticated viewer is properly viewing the content. I would like to present.

특히, 온라인 강의나 화상 회의 등의 참석자의 참석 권한을 인증한 후 해당 콘텐츠를 시현시킨 상태에서 시청에 집중하지 않거나 다른 사람이 대신 시청하는 상황임에도 시청 완료로 판단되는 문제를 해결하고자 한다.In particular, it is intended to solve the problem that the viewer is judged to be completed even though the viewer does not concentrate on viewing while displaying the content after authenticating the attendee's right to attend online lectures or video conferences.

나아가서 온라인 광고 등의 시청 완료시에 그에 따른 보상이 이루어지는 경우, 해당 콘텐츠에 대한 적절한 시청이 이루어지지 않았음에도 시청 완료로 판단되어 보상이 지급되고 그에 따른 광고 효과가 미미한 문제를 해결하고자 한다.Furthermore, when the compensation according to the completion of viewing of online advertisements or the like is made, it is determined that the viewing is completed even though the appropriate viewing of the corresponding content is not performed, and the compensation is paid, thereby solving the problem that the advertisement effect is insignificant.

상기 기술적 과제를 달성하고자 본 발명에 따른 콘텐츠 시청 확인 방법의 일실시예는, 디지털 신분증에 포함된 생체 정보를 기초로 시청자를 인증하는 시청자 인증 단계; 시청자 단말기로 제공된 콘텐츠의 시현에 따라 인증된 시청자의 콘텐츠 시청 여부를 실시간 모니터링하는 시청 모니터링 단계; 및 기설정된 조건 충족에 따라 상기 인증된 시청자의 콘텐츠 시청 완료를 확인하는 시청 완료 확인 단계를 포함할 수 있다.One embodiment of the content viewing verification method according to the present invention to achieve the above technical problem, a viewer authentication step of authenticating the viewer based on the biometric information included in the digital ID; A viewing monitoring step of real-time monitoring whether or not an authenticated viewer views the content according to the presentation of the content provided to the viewer terminal; And a viewing completion confirmation step of confirming that the authenticated viewer has finished viewing the content according to the satisfaction of a preset condition.

바람직하게는 상기 시청자 인증 단계는, 상기 시청자 단말기로부터 시청자의 안면이 포함된 실시간 시청자 영상을 전송받는 인증 영상 수신 단계; 및 상기 실시간 시청자 영상에 포함된 안면 영역을 추출하고 상기 디지털 신분증에 포함된 안면 정보와 대비하여 시청자를 인증하는 시청자 인증 단계를 포함할 수 있다.Preferably, the viewer authentication step includes: receiving an authentication image receiving a real-time viewer image including a viewer's face from the viewer terminal; And a viewer authentication step of extracting a facial region included in the real-time viewer image and authenticating the viewer against facial information included in the digital identification card.

또한 상기 시청 모니터링 단계는, 콘텐츠를 시현 중인 상기 시청자 단말기로부터 시청자의 안면이 포함된 실시간 시청자 영상을 전송받는 시청자 영상 수신 단계; 및 상기 실시간 시청자 영상에서 시청자의 동공 추적을 통해 시현 중인 콘텐츠의 시청 여부를 판단하는 시청 판단 단계를 포함할 수 있다.In addition, the viewing monitoring step may include receiving a viewer image receiving a real-time viewer image including a viewer's face from the viewer terminal displaying the content; And a viewing determination step of determining whether or not the content being displayed is viewed through the viewer's pupil tracking in the real-time viewer image.

나아가서 상기 시청 여부 판단 결과에 따라 상기 실시간 시청자 영상에 포함된 시청자의 행동 패턴을 기초로 이벤트 발생 여부를 판단하는 이벤트 판단 단계; 및 상기 이벤트에 대응되어 설정된 후속 조치를 수행하는 후속 조치 단계를 더 포함할 수 있다.Furthermore, an event determination step of determining whether an event has occurred based on a viewer's behavior pattern included in the real-time viewer image according to a result of determining whether or not an event has occurred; And a follow-up action step of performing a set follow-up action in response to the event.

일례로서, 상기 이벤트 판단 단계는, 상기 실시간 시청자 영상에서 시청자의 이동에 따른 사라짐과 재등장을 판단하며, 상기 후속 조치 단계는, 상기 시청자 인증 단계를 다시 수행하여 시청자의 변경 여부를 확인할 수 있다.As an example, in the event determination step, disappearance and re-appearance according to the movement of the viewer in the real-time viewer image may be determined, and in the follow-up step, the viewer authentication step may be performed again to determine whether the viewer changes.

다른 일례로서, 상기 이벤트 판단 단계는, 기설정된 시간 동안 지속하여 콘텐츠 불시청 여부를 판단하며, 상기 후속 조치 단계는, 상기 시청자 단말기로 알림 정보를 제공할 수 있다.As another example, in the event determination step, it is determined whether or not the content has not been viewed continuously for a predetermined time, and the follow-up step may provide notification information to the viewer terminal.

다른 일례로서, 상기 이벤트 판단 단계는, 시청자 인증에 대한 주기적인 시간 도달을 판단하며, 상기 후속 조치 단계는, 상기 시청자 인증 단계를 다시 수행하여 시청자의 변동 여부를 확인할 수 있다.As another example, in the event determination step, it is determined whether a periodic time for viewer authentication is reached, and in the follow-up step, the viewer authentication step may be performed again to check whether a viewer changes.

다른 일례로서, 상기 이벤트 판단 단계는, 상기 실시간 시청자 영상에 포함된 시청자 수를 파악하여 인증된 시청자 이외의 존재를 판단하며, 상기 후속 조치 단계는, 인증되지 않은 시청자에 대한 상기 시청자 인증 단계를 수행할 수 있다.As another example, in the event determination step, the existence of other than authenticated viewers is determined by grasping the number of viewers included in the real-time viewer video, and the follow-up step is to perform the viewer authentication step for unauthenticated viewers. can do.

나아가서 상기 시청 완료 확인 단계는, 인증된 시청자의 콘텐츠 시청이 기설정된 시간을 충족하는 판단하는 시청 조건 충족 판단 단계; 및 조건 충족된 시청자에 대한 시청 완료 확인 정보를 콘텐츠 제공 장치로 전송하는 확인 정보 전송 단계를 포함할 수 있다.Further, the step of confirming the completion of viewing may include: a determination step of satisfying a viewing condition for determining that the content viewing by an authenticated viewer satisfies a preset time; And it may include a confirmation information transmission step of transmitting the viewing completion confirmation information for the condition satisfied viewers to the content providing device.

또한 본 발명에 따른 콘텐츠 시청 확인 장치의 일실시예는, 디지털 신분증에 포함된 생체 정보를 기초로 시청자에 대한 인증을 수행하는 시청자 인증부; 시청자 단말기로 제공된 콘텐츠의 시현에 따라 인증된 시청자의 콘텐츠 시청 여부를 실시간 모니터링하는 시청 모니터링부; 상기 시청 모니터링부의 판단 결과에 따라 시청자의 행동 패턴을 기초로 이벤트 발생 여부를 판단하는 이벤트 판단부; 이벤트 발생에 대응되어 설정된 후속 조치를 수행하는 후속 조치 수행부; 및 기설정된 조건 충족에 따라 인증된 시청자의 콘텐츠 시청 완료를 확인하는 시청 완료 판단부를 포함할 수 있다.In addition, an embodiment of the content viewing verification apparatus according to the present invention includes: a viewer authentication unit that authenticates a viewer based on biometric information included in a digital identification card; A viewing monitoring unit for real-time monitoring whether or not an authenticated viewer has viewed the content according to the presentation of the content provided to the viewer terminal; An event determination unit determining whether an event occurs based on a behavior pattern of a viewer according to a determination result of the viewing monitoring unit; A follow-up action execution unit that performs a set follow-up action in response to the occurrence of an event; And a viewing completion determination unit that checks the completion of viewing of the content by the authenticated viewer according to the satisfaction of the preset condition.

바람직하게는 상기 시청자 인증부는, 시청자 단말기로부터 시청자의 안면이 포함된 실시간 시청자 영상을 전송받고, 상기 실시간 시청자 영상에 포함된 안면 영역을 상기 디지털 신분증에 포함된 안면 정보와 대비하여 시청자를 인증할 수 있다.Preferably, the viewer authentication unit receives a real-time viewer image including the viewer's face from the viewer terminal, and authenticates the viewer by comparing the facial area included in the real-time viewer image with the facial information included in the digital identification card. have.

또한 본 발명은 상기의 본 발명에 따른 콘텐츠 시청 확인 방법의 각 단계를 수행하기 위해 서버에 저장된 컴퓨터 프로그램을 제시한다.In addition, the present invention provides a computer program stored in a server to perform each step of the method for confirming content viewing according to the present invention.

이와 같은 본 발명에 의하면, 콘텐츠의 시청자가 시청 권한을 갖고 있는지를 인증하고 인증된 시청자가 적절하게 콘텐츠를 시청하고 있는지를 모니터링하여 시청 완료를 확인할 수 있게 된다.According to the present invention as described above, it is possible to verify completion of viewing by certifying whether a viewer of the content has viewing authority and monitoring whether the authenticated viewer is properly viewing the content.

특히, 본 발명의 일실시예에 의하면, 안면 인증을 통해 콘텐츠를 시청 중인 시청자에 대하여 실시간 지속적인 인증이 가능하며, 필요에 따라서는 인증 과정에 대한 시청자의 별다른 조치가 필요 없이 자동적인 인증을 수행할 수 있고, 또한 시청자가 콘텐츠를 시청 중인 상황에서 시청자의 집중을 방해하지 않도록 시청자가 인식하지 못하는 상황에서 인증이 수행될 수 있다.In particular, according to an embodiment of the present invention, real-time continuous authentication is possible for viewers who are watching content through facial authentication, and if necessary, automatic authentication can be performed without the need for any other action by the viewer for the authentication process. In addition, authentication may be performed in a situation where the viewer does not recognize the viewer so as not to disturb the viewer's concentration while the viewer is watching the content.

나아가서 본 발명에 따른 일실시예에 의하면, 다양한 이벤트 발생과 그에 따른 조치 결과를 콘텐츠 제공 장치로 전달함으로써, 콘텐츠 제공 장치는 해당 시청자의 시청 중 발생되는 다양한 상황을 파악할 수 있고, 그에 따른 적절한 대응이 가능하게 된다. Furthermore, according to an embodiment of the present invention, by transmitting the occurrence of various events and the result of the action corresponding thereto to the content providing device, the content providing device can grasp the various situations that occur during the viewer's viewing, and appropriate response accordingly It becomes possible.

도 1은 본 발명을 적용한 콘텐츠 시청 확인 시스템의 일실시예에 대한 구성도를 도시한다.
도 2는 본 발명에 적용되는 시청자 단말기의 일례를 도시한다.
도 3은 본 발명에 따른 콘텐츠 시청 확인 장치의 일실시예에 대한 구성도를 도시한다.
도 4는 본 발명에 따른 콘텐츠 시청 확인 방법의 일실시예에 대한 흐름도를 도시한다.
도 5는 본 발명에 따른 콘텐츠 시청 확인 방법의 일실시예에 대한 각 구성별 동작 흐름도를 도시한다.
도 6은 본 발명에서 안면 인식과 디지털 신분증 대비를 통한 시청자 인증의 일실시예를 도시한다.
도 7은 본 발명에서 시청자의 콘텐츠 시청을 모니터링하는 일실시예를 도시한다.
도 8은 본 발명에 따른 콘텐츠 시청 확인 방법의 다른 실시예에 대한 각 구성별 동작 흐름도를 도시한다.
도 9는 본 발명에 따른 콘텐츠 시청 확인 방법의 이벤트 판단과 후속 조치에 대한 일실시예의 흐름도를 도시한다.
도 10은 본 발명에서 시청자 변경 여부를 판단하는 일실시예를 도시한다.1 is a block diagram of an embodiment of a content viewing confirmation system to which the present invention is applied.
2 shows an example of a viewer terminal applied to the present invention.
3 shows a configuration diagram of an embodiment of an apparatus for confirming content viewing according to the present invention.
4 is a flowchart illustrating an embodiment of a method for confirming content viewing according to the present invention.
5 is a flowchart illustrating an operation for each component of an embodiment of a method for confirming content viewing according to the present invention.
6 shows an embodiment of viewer authentication through facial recognition and digital identification in the present invention.
7 shows an embodiment of monitoring a viewer's content viewing in the present invention.
8 is a flowchart illustrating an operation for each component of another embodiment of a method for confirming content viewing according to the present invention.
9 is a flowchart illustrating an exemplary embodiment of determining an event and performing a follow-up action in a method for confirming content viewing according to the present invention.
10 shows an embodiment of determining whether or not a viewer is changed in the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 설명하기 위하여 이하에서는 본 발명의 바람직한 실시예를 예시하고 이를 참조하여 살펴본다.In order to explain the present invention and the operational advantages of the present invention and the object achieved by the implementation of the present invention, the following describes a preferred embodiment of the present invention and looks at with reference thereto.

먼저, 본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로서, 본 발명을 한정하려는 의도가 아니며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 또한 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.First, terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention, and expressions in the singular may include a plurality of expressions unless clearly differently in context. In addition, in the present application, terms such as "comprise" or "have" are intended to designate the existence of features, numbers, steps, actions, components, parts, or a combination thereof described in the specification, but one or more other It is to be understood that the presence or addition of features, numbers, steps, actions, components, parts, or combinations thereof, does not preclude the possibility of preliminary exclusion.

본 발명을 설명함에 있어서, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.In describing the present invention, when it is determined that a detailed description of a related known configuration or function may obscure the subject matter of the present invention, a detailed description thereof will be omitted.

본 발명에서는 콘텐츠를 시청하고자 하는 시청자를 인증하고 실시간 콘텐츠에 대한 시청자의 시청 여부를 모니터링하면서 콘텐츠를 시청 중인 시청자가 인증된 시청자인지를 확인할 수 있는 방안을 개시한다.The present invention discloses a method of authenticating a viewer who wants to view content and monitoring whether a viewer is viewing a real-time content while confirming whether a viewer viewing the content is an authenticated viewer.

도 1은 본 발명을 적용한 콘텐츠 시청 확인 시스템의 일실시예에 대한 구성도를 도시한다.1 is a block diagram of an embodiment of a content viewing confirmation system to which the present invention is applied.

본 발명이 적용되는 콘텐츠 시청 확인 시스템은, 기본적으로 콘텐츠 제공 장치(10), 시청자 단말기(50), 콘텐츠 시청 확인 장치(100) 등을 포함하여 구성될 수 있다.The content viewing confirmation system to which the present invention is applied may basically include a content providing device 10, a viewer terminal 50, a content viewing verification device 100, and the like.

콘텐츠 제공 장치(10)는 온라인 상으로 영상 콘텐츠를 제공하는 서비스 장치로서, 광고 영상 제공 장치, 화상 회의 중계 장치, 동영상 강의 제공 장치 등 영상 시청에 대한 확인이 필요한 서비스를 제공하는 다양한 장치가 적용될 수 있다.The content providing device 10 is a service device that provides video content online, and various devices that provide services that require confirmation of video viewing, such as an advertisement video providing device, a video conference relay device, and a video lecture providing device, can be applied. have.

시청자 단말기(50)는 콘텐츠 제공 장치(10)로부터 영상 콘텐츠를 제공받아 이를 시현하여 시청이 가능한 장치로서, 노트북(50a), 스마트폰(50b), PC, 테블릿 등의 일반적으로 보급된 통신 단말기가 적용될 수 있다.The viewer terminal 50 is a device that can receive video content from the content providing device 10 and display it and view it, and is a generally popular communication terminal such as a notebook 50a, a smartphone 50b, a PC, and a tablet. Can be applied.

여기서 시청자 단말기(50)는 시현 중인 영상 콘텐츠를 시청하고 있는 시청자를 촬영하여 실시간 시청자 영상을 생성하고 이를 콘텐츠 시청 확인 장치(100)로 전달할 수 있어야 하는데, 가령 도 2에 도시된 본 발명에 적용되는 시청자 단말기의 일례와 같이 시청자 단말기(50) 상에는 영상 콘텐츠를 시현시킬 수 있는 디스플레이(55)와 이를 시청하고 있는 시청자를 실시간 촬영하기 위한 카메라(51)가 구비될 필요가 있다.Here, the viewer terminal 50 should be able to shoot a viewer watching the video content being displayed, generate a real-time viewer image, and transmit it to the content viewing confirmation device 100, for example, applied to the present invention shown in FIG. As an example of a viewer terminal, the viewer terminal 50 needs to be provided with a display 55 capable of displaying video content and a camera 51 for real-time photographing a viewer watching the same.

그리고 본 발명에 따른 콘텐츠 시청 확인 장치(100)는, 콘텐츠 제공 장치(10)로부터 제공되는 콘텐츠를 시청하는 시청자를 인증하며, 콘텐츠를 시현 중인 시청자 단말기(50)로부터 실시간 시청자 영상을 전송받아 시청자의 시청 여부를 모니터링하여 콘텐츠 시청 완료 여부를 판단하며, 나아가서 일정한 이벤트 발생 여부를 파악하고 그에 따른 후속 조치를 수행할 수 있다.In addition, the content viewing confirmation device 100 according to the present invention authenticates a viewer who views the content provided from the content providing device 10, and receives a real-time viewer image from the viewer terminal 50 who is displaying the content. It is possible to monitor whether or not to watch the content, and to determine whether or not a certain event has occurred, and to perform follow-up measures accordingly.

이러한 콘텐츠 시청 확인 장치(100)는 콘텐츠 제공 장치(10)의 일부 구성으로 포함될 수도 있고, 또는 콘텐츠 제공 장치(10)와는 별개의 개별 장치로 구성될 수도 있다.The content viewing confirmation device 100 may be included as a part of the content providing device 10 or may be configured as an individual device separate from the content providing device 10.

콘텐츠 제공 장치(10), 시청자 단말기(50) 및 콘텐츠 시청 확인 장치(100) 간은 유선 또는 무선 통신 네트워크로 연결될 수 있으며, 콘텐츠 제공 장치(10)와 시청자 단말기(50) 간은 스트리밍 방식의 콘텐츠 제공을 위한 채널이 형성될 수 있다. The content providing device 10, the viewer terminal 50, and the content viewing confirmation device 100 may be connected through a wired or wireless communication network, and the content providing device 10 and the viewer terminal 50 may be connected to a streaming type of content. Channels for providing may be formed.

아울러 시청자의 콘텐츠 시청 확인을 위해 콘텐츠 시청 확인 장치(100)를 경유하여 콘텐츠 제공 장치(10)와 시청자 단말기(50) 간의 채널이 형성됨으로써 콘텐츠를 시청하고 있는 시청자에 대한 실시간 시청자 영상을 콘텐츠 시청 확인 장치(100)가 전송받을 수도 있고, 또는 콘텐츠 제공 장치(10)와 시청자 단말기(50) 간의 채널과는 별개로 콘텐츠 제공 장치(10)와 콘텐츠 시청 확인 장치(100) 간의 채널이 형성되거나 시청자 단말기(50)와 콘텐츠 시청 확인 장치(100) 간의 채널이 형성되어 콘텐츠를 시청하고 있는 시청자에 대한 실시간 시청자 영상을 콘텐츠 시청 확인 장치(100)가 전송받을 수도 있다.In addition, a channel is formed between the content providing device 10 and the viewer terminal 50 via the content viewing confirmation device 100 to confirm the viewer's content viewing, so that a real-time viewer video of the viewer viewing the content is checked for content viewing. The device 100 may be transmitted, or a channel between the content providing device 10 and the content viewing confirmation device 100 is formed separately from the channel between the content providing device 10 and the viewer terminal 50, or a viewer terminal A channel between 50 and the content viewing verification device 100 may be formed so that the content viewing verification device 100 may receive a real-time viewer image of a viewer viewing the content.

본 발명에 따른 콘텐츠 시청 확인 장치(100)는 실시간 시청자 영상을 기초로 시청자에 대한 인증과 시청 여부를 확인할 수 있는데, 본 발명에 따른 콘텐츠 시청 확인 장치에 대하여 도 3에 도시된 일실시예에 대한 구성도를 참조하여 살펴보기로 한다.The content viewing confirmation device 100 according to the present invention can check whether a viewer is authenticated and viewed based on a real-time viewer image. It will be examined with reference to the configuration diagram.

콘텐츠 시청 확인 장치(100)는 기본적으로 시청자 인증부(110), 시청 모니터링부(130), 시청 완료 판단부(130)를 포함할 수 있으며, 추가적으로 이벤트 판단부(170), 후속 조치 수행부(190) 등을 포함할 수도 있다. The content viewing confirmation device 100 may basically include a viewer authentication unit 110, a viewing monitoring unit 130, and a viewing completion determination unit 130, and additionally, an event determination unit 170, a follow-up action execution unit ( 190) and the like.

나아가서 콘텐츠 시청 확인 장치(100)는 디지털 신분증 정보를 보유한 외부 장치로부터 해당 시청자에 대한 디지털 신분증 정보를 제공받을 수도 있고, 또는 콘텐츠 시청 확인 장치(100)가 시청자에 대한 디지털 신분증 정보를 보관한 데이터 베이스(200)를 포함할 수도 있다. Furthermore, the content viewing verification device 100 may receive digital identification information for the corresponding viewer from an external device having digital identification information, or a database in which the content viewing verification device 100 stores digital identification information about the viewer. It may also include (200).

콘텐츠 시청 확인 장치(100)의 각 구성을 살펴보면, 시청자 인증부(110)는 콘텐츠를 시청하고자 하거나 또는 이미 시청중인 시청자에 대하여 디지털 신분증에 포함된 생체 정보를 기초로 인증을 수행한다.Looking at each configuration of the content viewing verification device 100, the viewer authentication unit 110 performs authentication on the basis of biometric information included in a digital identification card for a viewer who wants to view or is already viewing the content.

시청자 인증부(110)는 디지털 신분증에 포함된 생체 정보를 토대로 시청자 단말기(50)를 통해 FIDO 방식으로 인증을 수행할 수 있으며, 보다 바람직하게는 시청자 단말기(50)로부터 전송되는 실시간 시청자 영상에서 시청자의 안면 영역을 추출하고 디지털 신분증에 포함된 안면 정보와 대비하여 시청자를 인증할 수 있다.The viewer authentication unit 110 may perform authentication in the FIDO method through the viewer terminal 50 based on the biometric information included in the digital identification card, and more preferably, the viewer in the real-time viewer image transmitted from the viewer terminal 50 The viewer can be authenticated against the facial information included in the digital identification card by extracting the facial area of.

이와 같은 안면 인증을 통해 콘텐츠를 시청 중인 시청자에 대하여 실시간 지속적인 인증이 가능하며, 필요에 따라서는 인증 과정에 대한 시청자의 별다른 조치가 필요 없이 자동적인 인증을 수행할 수 있고, 또한 시청자가 콘텐츠를 시청 중인 상황에서 시청자의 집중을 방해하지 않도록 시청자가 인식하지 못하는 상황으로 인증을 수행할 수 있다.Through such facial authentication, real-time continuous authentication is possible for viewers who are viewing the content, and if necessary, automatic authentication can be performed without the need for any other action by the viewer for the authentication process, and viewers can also watch the content. Authentication can be performed in a situation that the viewer does not recognize so as not to disturb the viewer's concentration in the current situation.

시청 모니터링부(130)는 시청자 단말기(50)로부터 제공된 콘텐츠의 시현에 따라 인증된 시청자의 콘텐츠 시청 여부를 실시간 모니터링한다. 시청자의 시청 여부 모니터링은 시청자 단말기(50)로부터 콘텐츠를 시청 중인 시청자에 대한 실시간 시청자 영상을 전송받고 해당 시청자 영상 속의 시청자 동공 추적을 통해 콘텐츠에 대한 적절한 시청이 이루어지고 있는지를 모니터링할 수 있다.The viewing monitoring unit 130 monitors whether or not an authenticated viewer has viewed the content in real time according to the presentation of the content provided from the viewer terminal 50. The viewer's viewing status monitoring may be performed by receiving a real-time viewer image of a viewer watching the content from the viewer terminal 50 and monitoring whether proper viewing of the content is being made through tracking the viewer's pupil in the viewer's image.

시청 완료 판단부(150)는 기설정된 조건 충족에 따라 인증된 시청자의 콘텐츠 시청 완료를 확인한다. 시청 완료 조건은 해당 콘텐츠의 특성에 따라 다양하게 설정될 수 있는데, 가령 동영상 강의 콘텐츠의 경우, 영상의 전체 시간 동안 적절한 시청 비율로 시청 완료 조건이 설정될 수도 있고, 또는 광고 영상 콘텐츠의 경우, 설정된 시간 동안 적절한 시청이 있었는지 여부로 시청 완료 조건이 설정될 수도 있으며, 또는 화상 회의의 경우, 특정 시점에 적절한 시청이 있었는지 여부로 시청 완료 조건이 설정될 수도 있다.The viewing completion determination unit 150 checks the completion of viewing of the content by the authenticated viewer according to the satisfaction of the preset condition. The viewing completion condition may be set in various ways according to the characteristics of the corresponding content. For example, in the case of video lecture content, the viewing completion condition may be set at an appropriate viewing rate for the entire time of the video, or in the case of advertisement video content, the set A viewing completion condition may be set based on whether or not there is adequate viewing during the time, or in the case of a video conference, a viewing completion condition may be set based on whether or not there is an appropriate viewing at a specific time.

시청 완료 판단부(150)의 시청 완료 확인 정보는 콘텐츠 제공 장치(10)로 전달되어 해당 시청자에게 그에 따른 보상이 이루어질 수 있다.The viewing completion confirmation information of the viewing completion determination unit 150 may be transmitted to the content providing device 10 so that the corresponding viewer may be compensated accordingly.

이벤트 판단부(170)는 시청 모니터링부(130)의 판단 결과에 따라 시청자의 행동 패턴을 기초로 이벤트 발생 여부를 판단한다. 가령 실시간 시청자 영상을 기초로 콘텐츠 시청 도중에 시청자가 이동하여 사라지는 경우가 발생되면 이를 이벤트 발생으로 판단할 수 있고, 또는 일정시간 동안 지속하여 시청자가 콘텐츠에 집중하지 않는 불시청이 발생되는 경우 이를 이벤트 발생으로 판단할 수도 있으며, 실시간 시청자 영상속의 시청자가 다수인 경우에 이를 이벤트 발생으로 판단할 수도 있으며, 주기적인 시청자 인증을 위해 주기적인 시간 도달을 이벤트 발생으로 판단할 수도 있다. 이러한 이벤트는 콘텐츠의 특성 등에 따라 다양하게 설정될 수 있다.The event determination unit 170 determines whether an event occurs based on a viewer's behavior pattern according to the determination result of the viewing monitoring unit 130. For example, if a viewer moves and disappears while viewing content based on a real-time viewer video, it can be determined as an event, or if a viewer does not focus on the content continuously for a certain period of time, the event occurs. If there are a large number of viewers in the real-time viewer video, this may be determined as an event occurrence, and periodic time arrival may be determined as an event occurrence for periodic viewer authentication. These events may be set in various ways according to the characteristics of the content.

후속 조치 수행부(190)는 이벤트 판단부(170)에서 이벤트 발생으로 판단하는 경우에 그에 따른 후속 조치를 수행한다.When the event determination unit 170 determines that an event has occurred, the follow-up action execution unit 190 performs a follow-up action accordingly.

가령, 해당 콘텐츠를 시청 중인 시청자가 변경되었는지를 판단하기 위해 다시 시청자 인증을 수행할 수도 있고, 시청자의 불시청에 대한 경고성 알림 정보를 제공할 수도 있고, 또는 실시간 시청자 영상 속에 포함된 각각의 시청자에 대한 인증을 수행할 수도 있으며, 주기적인 시간 도달에 따라 반복적으로 시청자 인증을 수행할 수도 있다. 이러한 후속 조치 수행은 시청자 인증부(110) 등과 연동하여 수행될 수 있다.For example, viewer authentication may be performed again to determine whether the viewer who is watching the corresponding content has changed, warning notification information for viewers' non-viewing may be provided, or each viewer included in the real-time viewer video It is possible to perform authentication on or repeatedly perform viewer authentication as the periodic time arrives. This follow-up action may be performed in conjunction with the viewer authentication unit 110 or the like.

이와 같은 본 발명에 따른 콘텐츠 시청 확인 장치(100)를 통해 콘텐츠 시청에 대한 확인이 이루어질 수 있는데, 이하에서는 본 발명에 따른 콘텐츠 시청 확인 방법에 대하여 실시예를 통해 살펴보기로 한다. Content viewing may be confirmed through the content viewing confirmation device 100 according to the present invention. Hereinafter, a method for viewing content viewing according to the present invention will be described through an embodiment.

도 4는 본 발명에 따른 콘텐츠 시청 확인 방법의 일실시예에 대한 흐름도를 도시한다.4 is a flowchart illustrating an embodiment of a method for confirming content viewing according to the present invention.

시청자 인증부(110)가 디지털 신분증에 포함된 생체 정보를 기초로 시청자를 인증(S110)하고, 시청자 단말기로 제공된 콘텐츠의 시현에 따라 시청 모니터링부(130)가 인증된 시청자의 콘텐츠 시청 여부를 실시간 모니터링(S120)하며, 시청 완료 판단부(150)가 기설정된 조건 충족(S150)에 따라 인증된 시청자의 콘텐츠 시청 완료를 확인(S160)하는 과정을 포함할 수 있다.The viewer authentication unit 110 authenticates the viewer based on the biometric information included in the digital ID (S110), and the viewing monitoring unit 130 determines whether the authenticated viewer views the content in real time according to the presentation of the content provided to the viewer terminal. Monitoring (S120), and the viewing completion determination unit 150 may include a process of confirming (S160) the content viewing completion of the authenticated viewer according to a predetermined condition fulfillment (S150).

여기에 추가적으로 시청 모니터링부(130)가 인증된 시청자의 콘텐츠 시청 여부를 실시간 모니터링하면서 시청 여부 판단 결과에 따라 이벤트 판단부(170)가 실시간 시청자 영상에 포함된 시청자의 행동 패턴을 기초로 이벤트 발생 여부를 판단(S130)하며, 이벤트 판단부(170)의 이벤트 발생 판단에 대응되어 후속 조치 수행부(190)가 후속 조치를 수행(S140)하는 과정을 더 포함할 수 있다.In addition, the viewing monitoring unit 130 monitors whether an authenticated viewer views content in real time, and the event determination unit 170 determines whether an event occurs based on the viewer's behavior pattern included in the real-time viewer image. In operation S130, a process of performing a follow-up action by the follow-up action unit 190 in response to the event occurrence determination by the event determination unit 170 (S140) may be further included.

본 발명에 따른 콘텐츠 시청 확인 방법에 대하여 도 5에 도시된 본 발명에 따른 콘텐츠 시청 확인 방법의 일실시예에 대한 각 구성별 동작 흐름도를 참조하여 보다 구체적으로 살펴보기로 한다.The content viewing confirmation method according to the present invention will be described in more detail with reference to an operation flow diagram for each component of an embodiment of the content viewing confirmation method according to the present invention shown in FIG. 5.

콘텐츠 제공 장치(10)가 시청자 단말기(50)로부터 콘텐츠 제공 요청(S210)을 받으면, 해당 콘텐츠 제공을 요청한 시청자에 대한 인증을 콘텐츠 시청 확인 장치(100)에 요청(S220)한다.When the content providing device 10 receives the content provision request (S210) from the viewer terminal 50, it requests the content viewing verification device 100 to authenticate the viewer who has requested the content provision (S220).

콘텐츠 제공 장치(10)로부터 시청자 인증 요청에 따라 콘텐츠 시청 확인 장치(100)는 시청자에 대한 인증(S240)을 수행하는데, 디지털 신분증에 포함된 생체 정보를 기초로 시청자에 대한 인증이 수행될 수 있다. 예를 들어 FIDO 방식으로 인증이 수행될 수도 있고, 보다 바람직하게는 디지털 신분증에 포함된 안면 정보를 기초로 해당 시청자에 대한 인증이 수행될 수 있다. In response to a viewer authentication request from the content providing device 10, the content viewing verification device 100 performs authentication (S240) for the viewer, and authentication for the viewer may be performed based on the biometric information included in the digital identification card. . For example, authentication may be performed in a FIDO method, and more preferably, authentication for a corresponding viewer may be performed based on facial information included in a digital identification card.

시청자의 안면 정보를 기초로 인증을 수행하는 과정과 관련하여 도 6은 본 발명에서 안면 인식과 디지털 신분증 대비를 통한 시청자 인증의 일실시예를 도시한다.Regarding the process of performing authentication based on the viewer's facial information, FIG. 6 shows an embodiment of viewer authentication through facial recognition and digital identification in the present invention.

디지털 신분증(210)에는 안면 사진 등의 정보가 포함되어 있으며, 이를 시청자 단말기(50)로부터 전송되는 시청자의 안면이 포함된 실시간 시청자 영상과 대비하여 시청자를 인증할 수 있다.The digital identification card 210 includes information such as a facial photo, and the viewer may be authenticated by comparing it with a real-time viewer image including the viewer's face transmitted from the viewer terminal 50.

먼저 시청자 단말기(50)로부터 전송되는 실시간 시청자 영상에서 시청자의 안면을 캡쳐(S241)하여 안면 이미지를 생성하고, 시청자 안면(30) 상에서 다수의 특징점(31)을 추출한다. 특징점 추출은 Harris corner 방식, Shi & Tomasi 방식, SIFT - DoG 방식, FAST 방식, AGAST 방식 등 다양한 방식이 상황에 따라 적절하게 적용될 수 있다. First, a facial image is generated by capturing the viewer's face from the real-time viewer image transmitted from the viewer terminal 50 (S241), and a plurality of feature points 31 are extracted from the viewer's face 30. For feature point extraction, various methods such as Harris corner method, Shi & Tomasi method, SIFT-DoG method, FAST method, and AGAST method can be appropriately applied according to the situation.

그리고 시청자 안면(30)의 다수 특징점(31)을 기초로 디지털 신분증(210)에 포함된 안면 정보와 대비(S245)하여 해당 시청자의 신원이 매칭(S247)되는지 여부로 시청자의 인증이 수행될 수 있다.And, based on the multiple feature points 31 of the viewer's face 30, the authentication of the viewer may be performed based on whether the identity of the corresponding viewer is matched (S247) by comparing (S245) with the facial information included in the digital identification card 210. have.

다시 상기 도 5로 회귀하여 이후 과정을 살펴보면, 콘텐츠 시청 확인 장치(100)는 해당 시청자의 인증 결과를 콘텐츠 제공 장치(10)로 제공(S245)하며, 인증 결과에 따라 콘텐츠 제공 장치(10)는 시청자 단말기(50)로 콘텐츠를 제공(S250)한다. 여기서 시청자 단말기로 제공되는 콘텐츠는 영상 콘텐츠를 포함한다.Returning back to FIG. 5 and looking at the subsequent process, the content viewing confirmation device 100 provides the authentication result of the corresponding viewer to the content providing device 10 (S245), and according to the authentication result, the content providing device 10 Contents are provided to the viewer terminal 50 (S250). Here, the content provided to the viewer terminal includes video content.

콘텐츠 제공 장치(10)로부터 제공되는 콘텐츠가 시청자 단말기(50)에서 시현(S260)되며, 시청자는 이를 시청(S270)하는데, 시청자 단말기(50)는 콘텐츠를 시현시키면서 이를 시청하는 시청자를 실시간 촬영하여 실시간 시청자 영상을 콘텐츠 시청 확인 장치(100)로 제공(S280)한다.The content provided from the content providing device 10 is displayed on the viewer terminal 50 (S260), and the viewer watches it (S270), and the viewer terminal 50 displays the content while photographing the viewer watching it in real time. The real-time viewer video is provided to the content viewing confirmation device 100 (S280).

콘텐츠 시청 확인 장치(100)는 실시간 시청자 영상을 기초로 해당 시청자의 적절한 시청 여부를 모니터링(S290)한다. 도 7은 본 발명에서 시청자의 콘텐츠 시청을 모니터링하는 일실시예를 도시한다.The content viewing confirmation device 100 monitors whether a corresponding viewer is properly viewed based on a real-time viewer image (S290). 7 shows an embodiment of monitoring a viewer's content viewing in the present invention.

콘텐츠 시청 확인 장치(100)는 실시간 시청자 영상에서 안면(30) 영역을 추출하고, 추출된 안면 영역 상에서 눈 부위 영역을 추출한 후 추출된 눈 부위 영역 상에서 동공(33a, 33b)을 판단한다. The content viewing confirmation apparatus 100 extracts the facial 30 region from the real-time viewer image, extracts the eye region from the extracted facial region, and then determines the pupils 33a and 33b on the extracted eye region.

그리면 안면 영역과 눈 부위 영역 상의 동공(33a, 33b)에 대한 상대적 위치를 기초로 적절한 시청이 이루어지는 판단할 수 있는데, 일반적인 시청자 단말기(50)의 경우 상기 도 2와 같이 콘텐츠를 시현시키는 디스플레이(55)와 시청자를 촬영할 수 있는 카메라(51)가 근접하여 장착되어 있으므로, 카메라(51)를 통해 촬영된 실시간 시청자 영상 상에서 카메라(51)를 정면으로 응시하는 동공 위치로부터 일정한 오차 거리를 설정하고, 여기에 추출된 안면 영역과 눈 부위 영역 상에 존재하는 한 쌍의 동공에 대한 상대적 위치를 기초로 콘텐츠가 시현되고 있는 디스플레이(55)를 응시하는 동공 위치를 판단할 수 있다. Then, appropriate viewing can be determined based on the relative positions of the pupils 33a and 33b on the facial area and the eye area. In the case of a general viewer terminal 50, a display 55 for displaying content as shown in FIG. ) And the camera 51 capable of photographing the viewer are mounted in close proximity, so on the real-time viewer image captured through the camera 51, a certain error distance is set from the position of the pupil staring at the camera 51 in front, and here Based on the relative positions of the pair of pupils present on the facial region and the eye region extracted in the image, a pupil position at which the content is displayed may be determined.

가령 상기 도 7의 (a)에서 보는 바와 같이 안면 영역과 눈 부위 영역 상의 동공(33a)의 위치가 정면을 응시하는 위치인 경우에는 시현중인 콘텐츠의 적절한 시청이 이루어지고 있는 것으로 판단할 수 있으나, 상기 도 7의 (b)에서 보는 바와 같이 안면 영역과 눈 부위 영역 상에서 동공(33b)의 위치가 한쪽 방향으로 치우쳐진 경우에는 시현중인 콘텐츠의 적절한 시청이 이루어지지 않고 있는 것으로 판단할 수 있다.For example, as shown in (a) of FIG. 7 above, if the position of the pupil 33a on the facial area and the eye area is the position to gaze at the front, it can be determined that the content being viewed is being properly viewed. As shown in (b) of FIG. 7, when the position of the pupil 33b is skewed in one direction on the facial area and the eye area, it may be determined that the content being viewed is not properly viewed.

이와 같이 콘텐츠 시청 확인 장치(100)는 콘텐츠가 시현 중인 상태에서 실시간 시청자 영상을 기초로 해당 시청자가 콘텐츠를 적절하게 시청하고 있는지를 모니터링하고 일정한 시청 조건을 충족하는 경우에 콘텐츠 시청 완료를 확인할 수 있다.In this way, the content viewing confirmation device 100 may monitor whether a corresponding viewer is properly viewing the content based on a real-time viewer image while the content is being viewed, and may confirm the completion of viewing the content when certain viewing conditions are satisfied. .

나아가서 본 발명에서는 인증된 시청자의 적절한 시청이 이루어지고 있는지 등의 여러 상황별 시청자의 시청 상태를 확인할 수 있는데, 이와 관련하여 도 8은 본 발명에 따른 콘텐츠 시청 확인 방법의 다른 실시예에 대한 각 구성별 동작 흐름도를 도시한다.Furthermore, in the present invention, it is possible to check the viewing status of the viewer in various situations, such as whether the authorized viewer is properly viewing. In this regard, FIG. 8 shows each configuration of another embodiment of the method for confirming content viewing according to the present invention. It shows the operation flow chart of the stars.

콘텐츠를 시청하고자 하는 시청자에 대한 인증 과정은 앞서 살펴본 상기 도 5의 실시예와 유사하므로 이에 대한 설명은 생략한다.Since the authentication process for the viewer who wants to view the content is similar to the embodiment of FIG. 5 described above, a description thereof will be omitted.

시청자의 인증 결과에 따라 콘텐츠 제공 장치(10)가 시청자 단말기(50)로 콘텐츠를 제공(S310)하여 시청자 단말기(50)에서 콘텐츠가 시현(S320)되면 이를 시청(S330)하는 시청자에 대한 실시간 시청자 영상을 콘텐츠 시청 확인 장치(100)가 전달(S340)받는다.When the content providing device 10 provides the content to the viewer terminal 50 (S310) according to the authentication result of the viewer, and the content is displayed (S320) in the viewer terminal 50, a real-time viewer for the viewer who watches it (S330). The content viewing confirmation device 100 receives the video (S340).

그리고 콘텐츠 시청 확인 장치(100)는 실시간 시청자 영상을 기초로 시청자의 적절한 시청 여부를 모니터링(S350)하는데, 시청자의 적절한 시청 여부에 대한 판단은 앞서 설명한 상기 도 7 등의 실시예 등을 통해 이루어질 수 있다.In addition, the content viewing confirmation device 100 monitors whether the viewer is appropriately viewing based on the real-time viewer image (S350), and the determination of whether the viewer is appropriately viewing may be made through the above-described embodiments such as FIG. 7. have.

콘텐츠 시청 확인 장치(100)가 시청자의 시청 여부 모니터링 중 시청자의 시청 여부 판단 결과에 따라 시청자가 적절한 시청을 하지 않는 것으로 판단되면, 콘텐츠 시청 확인 장치(100)는 시청자 단말기로(50)로 알림 정보를 제공(S360)할 수 있으며, 알림 정보를 통해 시청자의 주의를 환기시킬 수 있다.When the content viewing confirmation device 100 determines that the viewer is not properly viewing according to the result of determining whether the viewer is viewing while monitoring whether the viewer is viewing, the content viewing verification device 100 sends notification information to the viewer terminal 50 May be provided (S360), and a viewer's attention may be drawn through the notification information.

또한 콘텐츠 시청 확인 장치(100)는 시청자의 시청 여부 판단 결과에 따라 실시간 시청자 영상에 포함된 시청자의 행동 패턴을 기초로 이벤트 발생 여부를 판단(S410)하고, 해당 이벤트에 대응되어 설정된 후속 조치를 수행(S420)한다.In addition, the content viewing confirmation device 100 determines whether an event has occurred based on the behavior pattern of the viewer included in the real-time viewer image (S410) according to the determination result of the viewer's viewing, and performs a set follow-up action in response to the event. (S420).

콘텐츠 시청 확인 장치(100)가 판단하는 이벤트는 콘텐츠의 특성에 따라 다양하게 설정될 수 있는데, 이벤트에 대한 일례와 그에 따른 후속 조치의 일례를 도 9에 도시된 본 발명에 따른 콘텐츠 시청 확인 방법의 이벤트 판단과 후속 조치에 대한 일실시예의 흐름도를 참조하여 설명한다.The event determined by the content viewing confirmation device 100 may be variously set according to the characteristics of the content. An example of an event and an example of a follow-up action according to the event are described in the content viewing confirmation method according to the present invention shown in FIG. 9. It will be described with reference to the flow chart of an embodiment of the event determination and follow-up actions.

상기 도 9의 (a)는 시청자의 변동 여부를 판단하기 위한 것으로서, 콘텐츠 시청 확인 장치(100)는 실시간 시청자 영상에서 시청자의 이동에 따른 사라짐과 재등장 여부에 대한 이벤트 발생을 판단(S510)할 수 있다.9(a) is for determining whether a viewer changes, and the content viewing confirmation device 100 determines whether an event has occurred regarding disappearance and reappearance according to the movement of the viewer in the real-time viewer image (S510). I can.

가령 도 10과 같이 실시간 시청자 영상 상에서 시청자의 안면(30) 상에 특징점(35)을 설정하고 특징점(35)의 이동을 시청자의 이동으로 판단할 수 있다. 여기서 보다 정확한 시청자 이동 여부를 판단하기 위해 특징점은 복수개가 설정될 수도 있다. 상기 도 10의 (a)와 같이 시청자의 안면(30) 상의 특징점(35)이 일정 위치에 존재하는 상태에서 상기 도 10의 (b)와 같이 시청자의 안면(30) 상의 특징점(35)이 실시간 시청자 영상 상에서 이동하여 상기 도 10의 (c)와 같이 시청자의 안면(30) 상의 특징점(35)이 실시간 시청자 영상 상에서 사라지는 경우, 시청자의 이동에 따른 사라짐으로 판단할 수 있다. 그리고 이후에 다시 실시간 시청자 영상 상에 특징점이 나타나는 경우 이를 시청자의 재등장으로 판단할 수 있다.For example, as shown in FIG. 10, a feature point 35 may be set on the viewer's face 30 on a real-time viewer image, and the movement of the feature point 35 may be determined as the viewer's movement. Here, a plurality of feature points may be set in order to determine whether the viewer moves more accurately. In a state in which the feature points 35 on the viewer's face 30 exist at a certain position as shown in FIG. 10A, the feature points 35 on the viewer's face 30 are in real time as shown in FIG. 10B. When the feature point 35 on the viewer's face 30 disappears from the real-time viewer image by moving on the viewer image as shown in FIG. 10C, it may be determined that it disappears according to the viewer's movement. Then, if a feature point appears on the real-time viewer image again, it may be determined as the viewer's re-appearance.

나아가서 상기 도 7과 같은 동공 추적 방식으로 시청자의 이동 여부를 판단할 수도 있는데, 가령 시청자의 안면(30) 상의 동공 추적 중 동공이 사라져 추적을 실패하는 경우를 시청자의 이동으로 판단할 수도 있다.Furthermore, it is also possible to determine whether the viewer moves through the pupil tracking method as shown in FIG. 7. For example, a case in which the pupil disappears during the pupil tracing on the viewer's face 30 and thus the tracing fails may be determined as the viewer's movement.

실시간 시청자 영상에서 시청자의 이동에 따른 사라짐과 재등장에 대한 이벤트가 발생되는 경우, 콘텐츠 시청 확인 장치(100)는 후속 조치로서 실시간 시청자 영상에서 재등장한 시청자에 대한 인증을 수행(S520)하여 이전 시청자와 현재 시청자가 동일한지 판단함으로써 시청자의 변경 여부를 확인(S530)할 수 있다. When an event for disappearance and re-appearance according to the movement of the viewer occurs in the real-time viewer video, the content viewing verification device 100 performs authentication for the viewer re-appearing in the real-time viewer video as a follow-up measure (S520) to the previous viewer. By determining whether or not the current viewer is the same, it is possible to check whether the viewer has changed (S530).

바람직하게는 콘텐츠 시청 확인 장치(100)는 해당 시청자가 콘텐츠를 시청 중인 상황에서 시청자의 집중이 방해되지 않도록 시청자가 인식하지 못하는 상황에서 안면 인식과 디지털 신분증의 정보를 기초로 시청자에 대한 인증을 수행할 수 있다.Preferably, the content viewing verification device 100 performs authentication for the viewer based on facial recognition and digital identification information in a situation where the viewer is not aware so that the viewer's concentration is not disturbed while the viewer is watching the content. can do.

다른 이벤트 판단과 후속 조치의 일실시예로서, 상기 도 9의 (b)는 시청자의 불시청에 대한 이벤트 발생에 따라 시청 완료를 실패한 것으로 조치하는 경우에 대한 흐름도를 나타낸다.As an embodiment of determining another event and taking a follow-up action, FIG. 9B is a flowchart illustrating a case in which the completion of viewing is determined as failed according to the occurrence of an event for the viewer's non-viewing.

콘텐츠 시청 확인 장치(100)는 실시간 시청자 영상을 기초로 시청자의 시청 여부를 모니터링하면서, 시청 여부 판단 결과에 따라 시청자가 적절하게 시청하지 않는 불시청에 대한 이벤트가 발생(S550)되면, 시청자 단말기(50)로 이에 대한 알림 정보를 제공(S560)하며, 아울러 후속 조치로서 해당 시청자의 콘텐츠 시청이 불시청 조건을 충족(S570)하는 경우, 이를 시청 완료 실패로 판단(S580)할 수 있다.The content viewing confirmation device 100 monitors whether a viewer is viewing based on a real-time viewer image, and when an event for non-viewing that the viewer does not properly view according to the result of determining whether the viewer is viewing occurs (S550), the viewer terminal ( 50), notification information is provided (S560), and as a follow-up measure, if the viewer's content viewing satisfies the non-viewing condition (S570), it may be determined as a viewing completion failure (S580).

불시청 조건은, 불시청 시간이 일정 시간을 초과하거나 또는 불시청 횟수가 일정 수준을 초과하는 등의 콘텐츠 시청에 대한 필요한 사항을 고려하여 다양하게 설정될 수 있다.The non-viewing conditions may be set in various ways in consideration of necessary matters for content viewing, such as a non-viewing time exceeding a predetermined time or the number of non-viewing exceeding a predetermined level.

이외에도 콘텐츠의 특성에 따라 다양한 이벤트와 후속 조치가 설정될 수 있는데, 가령 콘텐츠 시청 확인 장치(100)는 실시간 시청자 영상에 포함된 시청자 수를 파악하여 인증된 시청자 이외의 존재를 판단하고, 인증된 시청자 이외의 시청자 존재를 이벤트 발생으로 판단할 수 있다. 그리고 이에 대한 후속 조치로서 콘텐츠 시청 확인 장치(100)는 인증되지 않은 시청자에 대한 시청자 인증 단계를 수행하여 해당 시청자에 대한 시청 권한 여부를 판단할 수 있다.In addition, various events and follow-up actions may be set according to the characteristics of the content. For example, the content viewing confirmation device 100 determines the existence of other than the authenticated viewer by determining the number of viewers included in the real-time viewer video, and The presence of other viewers can be determined as the occurrence of the event. In addition, as a follow-up measure to this, the content viewing verification device 100 may determine whether or not viewing authority for the corresponding viewer is performed by performing a viewer authentication step for an unauthenticated viewer.

또한 콘텐츠 시청 확인 장치(100)는 일정한 주기적인 시간 도달을 이벤트 발생으로 판단하고 주기적인 시간이 도달하면 콘텐츠 시청 확인 장치(100)는 후속 조치로서 시청자 인증을 다시 수행하여 시청자의 변동 여부를 확인할 수도 있다.In addition, the content viewing confirmation device 100 may determine whether a certain periodic time is reached as an event occurrence, and when the periodic time is reached, the content viewing confirmation device 100 may check whether the viewer changes by performing viewer authentication again as a follow-up measure. have.

이러한 시청자 인증은 앞서 설명한 바와 같이 해당 시청자가 콘텐츠를 시청 중인 상황에서 시청자의 집중이 방해되지 않도록 시청자가 인식하지 못하는 상황에서 안면 인식과 디지털 신분증의 정보를 기초로 시청자에 대한 인증을 수행할 수 있다.As described above, the viewer authentication can be performed on the basis of facial recognition and digital identification information in a situation where the viewer is not aware so that the viewer's concentration is not disturbed while the viewer is watching the content as described above. .

다시 상기 도 8로 회귀하여 이후 과정을 계속하여 살펴보면, 콘텐츠 시청 확인 장치(100)는 상기에서 설명한 바와 같은 다양한 이벤트 발생 판단(S410)과 그에 따른 후속 조치를 수행(S420)하고, 조치 결과를 콘텐츠 제공 장치(10)로 전달(S430)할 수 있다. Returning to FIG. 8 again and continuing the subsequent process, the content viewing confirmation device 100 determines the occurrence of various events as described above (S410) and performs follow-up actions (S420), and returns the result of the action to the content. It may be transmitted to the providing device 10 (S430).

가령, 시청자 이동에 대한 이벤트 발생에 따른 후속 조치로서 시청자에 대한 인증 결과가 다른 시청자인 것으로 판단되는 경우, 해당 콘텐츠를 시청중인 시청자와 관련하여 시청자 변경 정보를 조치 결과로서 콘텐츠 제공 장치(10)에 전달할 수 있고, 또는 해당 시청자의 불시청 조건 충족으로 시청 완료 실패로 판단되는 경우, 해당 콘텐츠에 대한 시청자의 시청 완료 실패 정보를 조치 결과로서 콘텐츠 제공 장치(10)에 전달할 수 있다. 또한 인증된 시청자 이외의 다른 시청자가 해당 콘텐츠를 시청 중인 경우, 권한 없는 시청자의 시청 정보를 조치 결과로서 콘텐츠 제공 장치(10)에 전달할 수도 있고, 주기적인 시청자 인증을 반복적으로 수행한 결과 시청자의 변경이 발생된 정보를 조치 결과로서 콘텐츠 제공 장치(10)에 전달할 수 있다.For example, when it is determined that the result of authentication for the viewer is another viewer as a follow-up measure according to the occurrence of an event for viewer movement, the viewer change information in relation to the viewer who is watching the corresponding content is sent to the content providing device 10 as a result of the action. Or, when it is determined that the viewing completion failure due to the viewer's non-viewing condition is satisfied, the viewing completion failure information of the viewer may be transmitted to the content providing device 10 as a result of the action. In addition, when other viewers other than the authenticated viewer are watching the content, the viewing information of unauthorized viewers may be delivered to the content providing device 10 as a result of the action, and as a result of repeatedly performing periodic viewer authentication, the viewer's change This generated information can be delivered to the content providing device 10 as a result of the action.

이러한 다양한 이벤트 발생과 그에 따른 조치 결과를 콘텐츠 제공 장치(10)로 전달함으로써, 콘텐츠 제공 장치(10)는 해당 시청자의 시청중 발생되는 다양한 상황을 파악할 수 있고, 그에 따른 적절한 대응이 가능하게 된다. By transmitting the occurrence of such various events and the result of the corresponding action to the content providing device 10, the content providing device 10 can grasp various situations occurring during the viewer's viewing, and appropriate response accordingly is possible.

이벤트 발생과 그에 대한 후속 조치 후 인증된 시청자가 콘텐츠를 계속 시청(S440) 중인 경우, 콘텐츠 시청 확인 장치(100)는 실시간 시청자 영상을 기초로 지속적인 시청 여부 모니터링을 수행하며, 그에 따라 해당 시청자에 대한 콘텐츠 시청이 완료된 것으로 확인(S460)되면, 해당 시청자의 콘텐츠에 대한 시청 완료 결과 정보를 콘텐츠 제공 장치(10)로 전달(S470)한다.When an authenticated viewer continues to watch the content after the occurrence of the event and follow-up measures thereon (S440), the content viewing confirmation device 100 performs continuous monitoring based on the real-time viewer video, and accordingly, When it is confirmed that the content viewing has been completed (S460), the viewing completion result information for the content of the corresponding viewer is transmitted to the content providing device 10 (S470).

여기서 콘텐츠의 시청 완료 확인은 해당 콘텐츠의 특성에 따라 다양하게 설정될 수 있는데, 가령 인증된 시청자의 콘텐츠 시청이 기설정된 시간을 충족하는지 판단하여 조건 충족된 시청자에 대한 시청 완료를 확인하고 시청 완료 결과 정보를 콘텐츠 제공 장치로 전달할 수도 있고, 인증된 시청자의 콘텐츠 시청이 특정 시점에 적절하게 이루어졌는지 또는 특정 시점에 시청자의 특정 패턴이 나타났는지 등의 다양한 조건 충족을 판단하여 이에 대한 시청 완료를 확인하고 그 결과 정보를 콘텐츠 제공 장치로 전달할 수도 있다.Here, the confirmation of completion of viewing of the content may be set in various ways according to the characteristics of the corresponding content. For example, by determining whether the content viewing by the authenticated viewer meets a preset time, confirming the completion of viewing for the viewers who have met the conditions, and the result of viewing completion. Information can be delivered to the content providing device, and the completion of viewing for this is confirmed by judging the satisfaction of various conditions, such as whether an authenticated viewer's content viewing has been properly performed at a specific point in time or whether a specific pattern of the viewer has appeared at a specific point in time. As a result, information can be delivered to the content providing device.

그리고 콘텐츠 제공 장치(10)가 이러한 시청 완료 결과 정보를 콘텐츠 시청 확인 장치(100)로부터 전달받으면, 그에 따라 해당 시청자의 콘텐츠 시청이 완료되었음으로 처리(S480)하고 그에 따른 보상을 시청자 단말기(50)로 제공할 수 있다.And when the content providing device 10 receives such information on the result of viewing completion from the content viewing confirmation device 100, it is processed as the completion of the viewing of the content of the corresponding viewer (S480), and the viewer terminal 50 is compensated accordingly. Can be provided as.

가령, 특정 강좌의 동영상 강의 콘텐츠에 대한 시청 완료가 이루어지는 경우, 그에 따라 해당 시청자가 특정 강좌를 이수했음을 보상으로 제공할 수 있고, 또는 광고 영상 콘텐츠에 대한 시청 완료가 이루어지는 경우, 그에 따라 해당 시청자에게 현금화 가능한 포인트나 코인이 지급되거나 유료 콘텐츠의 사용이 가능한 보상을 제공할 수도 있으며, 이러한 시청 완료 보상은 해당 콘텐츠의 특성에 따라 다양하게 이루어질 수 있다.For example, when viewing of video lecture content of a specific course is completed, the corresponding viewer may provide compensation for completing a specific course accordingly, or when viewing of advertisement video content is completed, the corresponding viewer may be provided accordingly. Cashable points or coins may be provided or rewards for using paid content may be provided, and such compensation for viewing completion may be variously performed depending on the characteristics of the corresponding content.

나아가서 상기에서 살펴본 본 발명에 따른 콘텐츠 시청 확인 방법을 콘텐츠 시청 확인 장치에서 수행되는 것으로 설명하였으나, 상황에 따라서는 일반적인 서버나 PC 등의 보급형 장치에 저장된 컴퓨터 프로그램의 동작으로 본 발명 따른 콘텐츠 시청 방법이 수행될 수도 있다.Furthermore, the content viewing verification method according to the present invention described above has been described as being performed in the content viewing verification device, but depending on the situation, the content viewing method according to the present invention is performed by the operation of a computer program stored in a general server or a popular device such as a PC. It can also be done.

이와 같은 본 발명을 통해 콘텐츠의 시청자가 시청 권한을 갖고 있는지를 인증하고 인증된 시청자가 적절하게 콘텐츠를 시청하고 있는지를 모니터링하여 시청 완료를 확인할 수 있게 된다.Through the present invention, it is possible to verify completion of viewing by certifying whether a viewer of the content has viewing rights and monitoring whether the authenticated viewer is properly viewing the content.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상이 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments described in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

10 : 콘텐츠 제공 장치,
30 : 시청자,
50, 50a, 50b : 시청자 단말기,
100 : 콘텐츠 시청 확인 장치,
110 : 시청자 인증부,
130 : 시청 모니터링부,
150 : 시청 완료 판단부,
170 : 이벤트 판단부,
190 : 후속 조치 수행부,
200 : 디지털 신분증.10: content providing device,
30: viewer,
50, 50a, 50b: viewer terminal,
100: content viewing confirmation device,
110: viewer authentication unit,
130: viewing monitoring unit,
150: viewing completion determination unit,
170: event determination unit,
190: follow-up action unit,
200: Digital identification card.

Claims (12)

시청자 단말기로부터 시청자의 안면이 포함된 실시간 시청자 영상을 전송받고, 상기 실시간 시청자 영상에 포함된 안면 영역을 추출하여 시청자의 디지털 신분증에 포함된 안면 정보와 대비를 통해 시청자의 신원이 매칭되는지 확인하여 인증하는 시청자 인증 단계;
시청자 단말기로 제공된 콘텐츠의 시현에 따라 인증된 시청자의 콘텐츠 시청 여부를 실시간 모니터링하는 시청 모니터링 단계;
상기 시청자 단말기를 통한 시청자의 콘텐츠 시청 중 상기 실시간 시청자 영상에 포함된 시청자의 행동 패턴에 따른 상기 실시간 시청자 영상에서 특징점의 이동을 기초로 시청자의 사라짐과 재등장에 대한 이벤트, 인증된 시청자를 확인하기 위해 주기적 시간 도달에 대한 이벤트 및 상기 실시간 시청자 영상에 포함된 시청자 수를 파악하여 인증된 시청자 이외의 존재 파악에 대한 이벤트의 발생 여부를 판단하는 이벤트 판단 단계;
상기 이벤트 발생에 대응되어 상기 시청자 인증 단계를 다시 수행하되, 시청자가 콘텐츠 시청 중 인증 과정을 인식하지 못하는 상황에서 시청자에 대한 재인증을 통한 시청자의 변경 여부를 확인 및 인증된 시청자 이외의 존재에 대하여 추가 인증하는 후속 조치 단계; 및
기설정된 조건 충족에 따라 상기 인증된 시청자의 콘텐츠 시청 완료를 확인하는 시청 완료 확인 단계를 포함하며,
콘텐츠를 시청 중인 시청자에 대하여 이벤트 발생에 따른 재인증 수행을 통해 실시간 지속적으로 인증된 시청자의 시청 완료를 확인할 수 있는 것을 특징으로 하는 콘텐츠 시청 확인 방법. Receives a real-time viewer image including the viewer's face from the viewer's terminal, extracts the facial area included in the real-time viewer image, and verifies that the viewer's identity matches the facial information included in the viewer's digital ID through contrast and authentication A step of authenticating a viewer;
A viewing monitoring step of real-time monitoring whether or not an authenticated viewer views the content according to the presentation of the content provided to the viewer terminal;
Confirming an event for disappearance and re-appearance of a viewer and an authenticated viewer based on the movement of a feature point in the real-time viewer image according to the viewer's behavior pattern included in the real-time viewer image while viewing the viewer's content through the viewer terminal. An event determination step of determining whether or not an event for determining presence other than an authenticated viewer occurs by determining an event for reaching a periodic time and the number of viewers included in the real-time viewer image;
In response to the occurrence of the event, the viewer authentication step is performed again, but in a situation where the viewer does not recognize the authentication process while viewing the content, check whether the viewer has changed through re-authentication for the viewer, and for the presence other than the authenticated viewer. A follow-up step of additional authentication; And
And a viewing completion confirmation step of confirming that the authenticated viewer has finished viewing the content according to meeting a preset condition,
A method for confirming content viewing, characterized in that it is possible to confirm the completion of the viewing of the authenticated viewer in real time by performing re-authentication according to the occurrence of the event for the viewer who is watching the content. 삭제delete 제 1 항에 있어서,
상기 시청 모니터링 단계는,
콘텐츠를 시현 중인 상기 시청자 단말기로부터 시청자의 안면이 포함된 실시간 시청자 영상을 전송받는 시청자 영상 수신 단계; 및
상기 실시간 시청자 영상에서 시청자의 동공 추적을 통해 시현 중인 콘텐츠의 시청 여부를 판단하는 시청 판단 단계를 포함하는 것을 특징으로 하는 콘텐츠 시청 확인 방법.The method of claim 1,
The viewing monitoring step,
A viewer image receiving step of receiving a real-time viewer image including a viewer's face from the viewer terminal displaying the content; And
And a viewing determination step of determining whether or not the content being viewed is viewed through the viewer's pupil tracking in the real-time viewer image. 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 시청 완료 확인 단계는,
인증된 시청자의 콘텐츠 시청이 기설정된 시간을 충족하는 판단하는 시청 조건 충족 판단 단계; 및
조건 충족된 시청자에 대한 시청 완료 확인 정보를 콘텐츠 제공 장치로 전송하는 확인 정보 전송 단계를 포함하는 것을 특징으로 하는 콘텐츠 시청 확인 방법. The method of claim 1,
The step of confirming completion of viewing
A viewing condition satisfaction determination step of determining that the content viewing by the authenticated viewer satisfies a predetermined time; And
And a confirmation information transmission step of transmitting viewing completion confirmation information for a viewer who has satisfied a condition to a content providing device. 시청자의 디지털 신분증에 포함된 안면 정보와 사용자 단말기로부터 전송되는 실시간 시청자 영상에 포함된 안면 영역을 기초로 시청자의 신원이 매칭되는지 확인하여 시청자에 대한 인증을 수행하는 시청자 인증부;
시청자 단말기로 제공된 콘텐츠의 시현에 따라 인증된 시청자의 콘텐츠 시청 여부를 실시간 모니터링하는 시청 모니터링부;
상기 시청 모니터링부의 판단 결과에 따라 상기 시청자 단말기를 통한 시청자의 콘텐츠 시청 중 상기 실시간 시청자 영상에 포함된 시청자의 행동 패턴에 따른 상기 실시간 시청자 영상에서 특징점의 이동을 기초로 시청자의 사라짐과 재등장에 대한 이벤트, 인증된 시청자를 확인하기 위해 주기적 시간 도달에 대한 이벤트 및 상기 실시간 시청자 영상에 포함된 시청자 수를 파악하여 인증된 시청자 이외의 존재 파악에 대한 이벤트 발생 여부를 판단하는 이벤트 판단부;
상기 이벤트 발생에 대응되어 상기 시청자 인증부를 통해 시청자 인증을 다시 수행하되, 시청자가 콘텐츠 시청 중 인증 과정을 인식하지 못하는 상황에서 시청자에 대한 재인증을 통한 시청자의 변경 여부를 확인 및 인증된 시청자 이외의 존재에 대하여 추가 인증하는 후속 조치를 수행하는 후속 조치 수행부; 및
기설정된 조건 충족에 따라 인증된 시청자의 콘텐츠 시청 완료를 확인하는 시청 완료 판단부를 포함하며,
콘텐츠를 시청 중인 시청자에 대하여 이벤트 발생에 따른 재인증 수행을 통해 실시간 지속적으로 인증된 시청자의 시청 완료를 확인할 수 있는 것을 특징으로 하는 콘텐츠 시청 확인 장치.A viewer authentication unit that authenticates the viewer by checking whether the viewer's identity is matched based on the facial information included in the viewer's digital identification card and the facial region included in the real-time viewer image transmitted from the user terminal;
A viewing monitoring unit for real-time monitoring whether or not an authenticated viewer has viewed the content according to the presentation of the content provided to the viewer terminal;
Based on the movement of feature points in the real-time viewer image according to the behavior pattern of the viewer included in the real-time viewer image while viewing the viewer's content through the viewer terminal according to the determination result of the viewing monitoring unit, the disappearance and re-appearance of the viewer An event determination unit configured to determine whether an event occurs for determining existence other than the authenticated viewer by determining an event, an event for the arrival of a periodic time to check an authenticated viewer, and the number of viewers included in the real-time viewer image;
In response to the occurrence of the event, viewer authentication is performed again through the viewer authentication unit, but in a situation where the viewer does not recognize the authentication process while viewing the content, check whether the viewer has changed through re-authentication for the viewer, and other than the authenticated viewer. A follow-up action performing unit that performs a follow-up action of additional authentication for existence; And
It includes a viewing completion determination unit for confirming the completion of viewing the content of the authenticated viewer according to the satisfaction of a preset condition,
Content viewing confirmation device, characterized in that it is possible to confirm the completion of viewing of the authenticated viewer in real time by performing re-authentication according to the occurrence of the event for the viewer who is watching the content. 삭제delete 삭제delete
KR1020200164499A 2020-11-30 2020-11-30 Method, device and computer program for verifying of watching content KR102244630B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200164499A KR102244630B1 (en) 2020-11-30 2020-11-30 Method, device and computer program for verifying of watching content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200164499A KR102244630B1 (en) 2020-11-30 2020-11-30 Method, device and computer program for verifying of watching content

Publications (1)

Publication Number Publication Date
KR102244630B1 true KR102244630B1 (en) 2021-04-27

Family

ID=75725602

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200164499A KR102244630B1 (en) 2020-11-30 2020-11-30 Method, device and computer program for verifying of watching content

Country Status (1)

Country Link
KR (1) KR102244630B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119914A (en) * 2009-05-04 2010-11-12 신중철 The method and system to achieve the reality of examinee in on-line test using a webcam
KR20140064412A (en) * 2012-11-20 2014-05-28 한국전자통신연구원 Apparatus and method for providing advertisements based on real-time viewer information
KR102038413B1 (en) 2018-05-28 2019-10-30 백석대학교산학협력단 Online lecture monitoring method using face verification and gaze tracking technology
KR20200012355A (en) * 2018-07-27 2020-02-05 백석대학교산학협력단 Online lecture monitoring method using constrained local model and Gabor wavelets-based face verification process
KR20200068771A (en) 2018-11-28 2020-06-16 동국대학교 산학협력단 An attendance check system using deep learning based face recognition

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100119914A (en) * 2009-05-04 2010-11-12 신중철 The method and system to achieve the reality of examinee in on-line test using a webcam
KR20140064412A (en) * 2012-11-20 2014-05-28 한국전자통신연구원 Apparatus and method for providing advertisements based on real-time viewer information
KR102038413B1 (en) 2018-05-28 2019-10-30 백석대학교산학협력단 Online lecture monitoring method using face verification and gaze tracking technology
KR20200012355A (en) * 2018-07-27 2020-02-05 백석대학교산학협력단 Online lecture monitoring method using constrained local model and Gabor wavelets-based face verification process
KR20200068771A (en) 2018-11-28 2020-06-16 동국대학교 산학협력단 An attendance check system using deep learning based face recognition

Similar Documents

Publication Publication Date Title
US11310230B2 (en) System for electronic authentication with live user determination
US10133943B2 (en) Online pseudonym verification and identity validation
EP3400551B1 (en) Authorizing transaction on a shared device using a personal device
EP3207715B1 (en) Authentication for over the top broadcast streaming using automated content recognition
WO2019184594A1 (en) Two-dimensional code display and identification method and device
US10387632B2 (en) System for provisioning and allowing secure access to a virtual credential
CA2886163C (en) Secure video conferencing to conduct financial transactions
GB2549371A (en) Access authentication method and system
JP2021068472A (en) Face authentication system, face authentication method, biometrics authentication system, biometrics authentication method, and storage medium
GB2542449A (en) Online pseudonym verification and identity validation
US11514142B2 (en) System and method for multi-modal continuous biometric authentication for messengers and virtual assistants
US10504119B2 (en) System and method for executing remote electronic authentication
KR102244630B1 (en) Method, device and computer program for verifying of watching content
KR101740574B1 (en) Certification method using autograph of confirmor and fintech system
US10447691B2 (en) Method for generating an authenticating document
CA2910929A1 (en) Systems and methods for authenticating user identity based on user-defined image data
US11962600B2 (en) Apparatus and methods for secure, distributed, augmented-reality (AR) communication systems
US11698955B1 (en) Input-triggered inmate verification
KR102248802B1 (en) Image captcha providing system
EP3706385A1 (en) Method for generating an authenticating document
KR20220116932A (en) Online class and evaluation system
CN114008616A (en) Method, server and communication system for authenticating a user for transportation purposes
Meeravali et al. A Third Generation Design for the Automation of Inter-Networked Banking and Teller Machine Operations Using Universal Subscriber Identification Modules

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant