KR102442268B1 - Interest part analyzing system and method in web page - Google Patents
Interest part analyzing system and method in web page Download PDFInfo
- Publication number
- KR102442268B1 KR102442268B1 KR1020220019473A KR20220019473A KR102442268B1 KR 102442268 B1 KR102442268 B1 KR 102442268B1 KR 1020220019473 A KR1020220019473 A KR 1020220019473A KR 20220019473 A KR20220019473 A KR 20220019473A KR 102442268 B1 KR102442268 B1 KR 102442268B1
- Authority
- KR
- South Korea
- Prior art keywords
- content
- information
- user
- web page
- terminal means
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
Abstract
Description
본 발명은 웹 페이지 내 관심영역 분석 시스템 및 그 방법에 관한 것으로, 웹 페이지를 통해서 제공되는 콘텐츠 중 이용자가 어느 영역을 관심 있게 보고 있는지 분석할 수 있는 웹 페이지 내 관심영역 분석 시스템 및 그 방법에 관한 것이다.The present invention relates to a system and method for analyzing a region of interest in a web page, and to a system and method for analyzing a region of interest in a web page that can analyze which region a user is interested in viewing among contents provided through the web page will be.
최근들어 온라인 교육, 동영상, TV 홈쇼핑 등의 콘텐츠에 대한 사용자의 집중도를 분석 및 판단하기 위하여, 콘텐츠를 제공받는 사용자의 안면을 인식하고 동공의 움직임을 특정하여 시선이 위치하는 곳의 좌표를 추적하는 기술이 개발되고 있다.Recently, in order to analyze and determine the user's concentration on content such as online education, video, TV home shopping, etc., it recognizes the face of the user receiving the content and specifies the movement of the pupil to track the coordinates of where the gaze is located. technology is being developed.
간단하게는 동영상 형태의 콘텐츠의 경우, 모니터를 기준으로 어느 한 영역에 고정된 채 동영상이 재생되는 것이기 때문에, 단말 수단을 이용한 조작 동작 없이 시간의 흐름에 따라 얼마나 콘텐츠 영역을 시선을 떨어트리지 않고 응시하고 있었는지를 분석하여, 이를 콘텐츠에 대한 집증도로 가늠하고 있다.Simply put, in the case of video content, the video is played while being fixed in one area based on the monitor. By analyzing whether or not they were doing it, it is measured by the intensity of the content.
즉, 동영상 형태의 콘텐츠가 제공되는 동안 단말 수단을 이용한 조작 동작이 발생될 경우, 오히려 집중도가 흐트러진 상태로 판단하게 된다.That is, when a manipulation operation using a terminal means occurs while video-type content is being provided, it is determined that the concentration is rather disturbed.
그렇지만, 웹 페이지 형태로 제공되는 콘텐츠의 경우, 사용자에게 상세한 정보를 제공하고자 한다면, 고정된 형태인 한 페이지로 제공되는 것이 거의 불가능하다.However, in the case of content provided in the form of a web page, if detailed information is to be provided to the user, it is almost impossible to provide it as a single page in a fixed form.
그렇기 때문에, 사용자는 단말 수단에 연계되어 있는 입력 수단(마우스, 키보드 등)의 스크롤 조작을 통해 전체 콘텐츠 기준으로 웹 페이지(한 페이지) 내 노출 콘텐츠를 상하좌우로 이동시키면서 원하는 콘텐츠를 제공받게 된다.Therefore, the user is provided with the desired content while moving the exposed content in the web page (one page) up, down, left and right on the basis of the entire content through the scroll operation of the input means (mouse, keyboard, etc.) linked to the terminal means.
이러한 웹 페이지를 통해 제공되는 콘텐츠에 대한 집중도를 분석 및 판단하기 위하여, 상술한 동영상 형태의 콘텐츠에 대한 집중도 분석 기술을 단순하게 적용할 경우, 사용자의 시선은 한 좌표를 응시하고 있지만 스크롤 조작을 통해 노출 콘텐츠가 변경됨에도 불구하고 사용자의 시선이 고정된 영역을 관심 있게 보고 있는 관심영역으로 분석하는 오류를 범하게 된다.In order to analyze and determine the degree of concentration on the content provided through such a web page, when the concentration analysis technology for video-type content is simply applied, the user's gaze is gazing at one coordinate, but through a scroll operation, Even though the exposed content is changed, an error is made in analyzing the area where the user's gaze is fixed as the area of interest that the user is looking at with interest.
또한, 노출 콘텐츠의 특정 영역을 응시하면서 동시에 스크롤 조작을 수행할 경우에는 스크롤 조작에 대응하여 응시 좌표가 달라지기 때문에, 특정 영역을 관심영역으로 분석할 수 없는 문제점을 포함하고 있다.In addition, when a scroll operation is performed while gazing at a specific region of the exposed content, since the gaze coordinates change in response to the scroll operation, the specific region cannot be analyzed as a region of interest.
이와 관련해서, 국내공개특허 제10-2008-0075584호("웹 문서 내의 관심영역 설정 및 분석방법과 이를 위한 시스템")에서는 이용자가 열람하는 웹 문서의 노출시간 및 이용자에 의해 조작되는 스크롤바의 위치와 마우스의 위치정보를 이용하여 이용자의 관심도를 분석하는 기술을 개시하고 있다.In this regard, in Korean Patent Application Laid-Open No. 10-2008-0075584 (“A method for setting and analyzing a region of interest in a web document and a system therefor”), the exposure time of the web document viewed by the user and the position of the scroll bar manipulated by the user Disclosed is a technology for analyzing user's level of interest using location information of a mouse and a mouse.
따라서 본 발명은 상기한 바와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 웹 페이지의 특성 상 제공되는 콘텐츠의 크기/양에 따라 웹 페이지의 스크롤링 동작이 적용되기 때문에, 단순히 웹 페이지의 특정 영역에 고정되어 있는 시선 분석만으로는 관심영역을 분석하는 것이 어려운 점을 고려하여, 스크롤링에 의한 제공 콘텐츠의 이동 좌표와 시선 좌표를 동시에 적용함으로써 이용자의 관심 영역을 분석할 수 있는 웹 페이지 내 관심영역 분석 시스템 및 그 방법을 제공함에 있다.Therefore, the present invention has been devised to solve the above problems, and an object of the present invention is to simply change the web page because the scrolling operation of the web page is applied according to the size/amount of content provided due to the nature of the web page. Considering that it is difficult to analyze the region of interest only with gaze analysis fixed in a specific region, the region of interest in a web page that can analyze the user’s region of interest by simultaneously applying the movement coordinates and gaze coordinates of the content provided by scrolling To provide an analysis system and a method therefor.
상기한 바와 같은 문제점을 해결하기 위한 본 발명의 일 실시예에 의한 웹 페이지 내 관심영역 분석 시스템은, 웹 페이지를 통해 콘텐츠를 제공하고, 이를 제공받는 사용자의 웹 페이지 내 관심영역을 분석하는 서비스를 이용하고자 하는 업체로부터, 웹 페이지를 통해 제공하고자 하는 콘텐츠를 입력받아, 각 콘텐츠를 이미지 파일 형식으로 저장하고 사이즈 정보를 도출하는 분석 준비부(100), 웹 페이지를 통해 콘텐츠를 제공받는 사용자 별로, 고유정보, 콘텐츠를 제공받기 위해 이용하는 단말 수단 정보 및 콘텐츠를 제공받는 동안 단말 수단을 통한 스크롤(scroll) 조작 정보를 입력받는 사용자 정보 입력부(200) 및 상기 분석 준비부(100)에 의한 정보들과 상기 사용자 정보 입력부(200)에 의한 정보들을 이용하여, 웹 페이지를 통해 사용자에게 제공되는 콘텐츠 중 관심영역을 분석하는 분석 처리부(300)를 포함하는 것이 바람직하다.In order to solve the above problems, the system for analyzing a region of interest in a web page according to an embodiment of the present invention provides a service for providing content through a web page and analyzing the region of interest in a web page of a user who receives the content. An
더 나아가, 상기 분석 처리부(300)는 상기 분석 준비부(100)에서 도출한 콘텐츠 별 사이즈 정보와 상기 사용자 정보 입력부(200)에 의해 입력받은 단말 수단 정보를 이용하여, 각 콘텐츠의 최초 제공시, 상기 단말 수단을 통해 노출되는 콘텐츠 영역을 분석하는 노출 콘텐츠 분석부(310)를 포함하는 것이 바람직하다.Furthermore, the
더 나아가, 상기 사용자 정보 입력부(200)는 상기 단말 수단 정보로, 단말 수단의 고유 정보를 포함하며, 상기 분석 처리부(300)는 상기 사용자 정보 입력부(200)로부터 상기 단말 수단의 고유 정보를 전달받아, 기저장되어 있는 스펙 데이터베이스를 기반으로 전달받은 상기 단말 수단의 고유 정보에 매칭되는 스펙을 추출하여, 카메라를 포함하고 있지 않은 단말 수단으로 분석될 경우, 상기 사용자 정보 입력부(200)로 상기 단말 수단에 연계되어 있는 카메라 관련 정보의 입력을 요청하는 것이 바람직하다.Furthermore, the user
더 나아가, 상기 분석 처리부(300)는 웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받아, 기저장된 딥러닝 학습 모델에 적용하여 시선 방향 정보를 출력받고, 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용하여, 상기 시선 방향 정보에 해당하는 시점 좌표 정보를 특정하는 사용자 시선 추적부(320)를 포함하는 것이 바람직하다.Furthermore, the
더 나아가, 상기 분석 처리부(300)는 상기 사용자 정보 입력부(200)로부터 상기 스크롤 조작 정보를 전달받아, 상기 스크롤 조작 정보에 의한 콘텐츠 스크롤링(scrolling) 정보를 분석하는 스크롤링 분석부(330)를 포함하는 것이 바람직하다.Furthermore, the
더 나아가, 상기 분석 처리부(300)는 웹 페이지에 제공되는 콘텐츠의 전체 사이즈 정보 기반으로 상기 노출되는 콘텐츠 영역에 상기 콘텐츠 스크롤링 정보를 적용하여, 단말 수단을 통해 노출되는 콘텐츠 영역을 재분석하고, 재분석한 콘텐츠 영역에 상기 시점 좌표 정보를 적용하여 해당하는 시점 영역을 판단하되. 판단한 상기 시점 영역이 소정 시간 동안 동일할 경우, 해당하는 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하는, 관심영역 분석부(340)를 포함하는 것이 바람직하다.Furthermore, the
더 나아가, 상기 관심영역 분석부(340)는 분석한 상기 콘텐츠 스크롤링 정보가 전달될 때마다 또는, 기설정된 시간 간격으로 상기 시점 영역의 판단 동작을 반복 수행하는 것이 바람직하다.Furthermore, it is preferable that the region of
본 발명의 일 실시예에 의한 웹 페이지 내 관심영역 분석 방법은, 컴퓨터로 구현되는 웹 페이지 내 관심영역 분석 시스템에 의해 각 단계가 수행되는 웹 페이지 내 관심영역 분석 방법에 있어서, 분석 준비부에서, 웹 페이지를 통해 콘텐츠를 제공하고, 이를 제공받는 사용자의 웹 페이지 내 관심영역을 분석하는 서비스를 이용하고자 하는 업체로부터, 웹 페이지를 통해 제공하고자 하는 콘텐츠를 입력받아, 각 콘텐츠를 이미지 파일 형식으로 저장하고 사이즈 정보를 도출하는 콘텐츠 정보 입력 단계(S100), 사용자 정보 입력부에서, 웹 페이지를 통해 콘텐츠를 제공받는 사용자 별로, 고유정보, 콘텐츠를 제공받기 위해 이용하는 단말 수단 정보 및 콘텐츠를 제공받는 동안 단말 수단을 통한 스크롤(scroll) 조작 정보를 입력받는 사용자 정보 입력 단계(S200), 분석 처리부에서, 상기 콘텐츠 정보 입력 단계(S100)에 의한 콘텐츠 별 사이즈 정보와 상기 사용자 정보 입력 단계(S200)에 의한 단말 수단 정보를 이용하여, 각 콘텐츠 별 최초 제공시, 상기 단말 수단을 통해 노출되는 콘텐츠 영역을 분석하는 최초 노출 콘텐츠 분석 단계(S300), 분석 처리부에서, 웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받아, 기저장된 딥러닝 학습 모델에 적용하여 시선 방향 정보를 출력받고, 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용하여, 상기 시선 방향 정보에 해당하는 시점 좌표 정보를 특정한 후, 상기 최초 노출 콘텐츠 분석 단계(S300)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 시점 좌표 정보를 적용하여 해당하는 시점 정보를 판단하는 제1 시점 판단 단계(S400) 및 분석 처리부에서, 판단한 시점 정보를 이용하여 사용자의 시선이 고정된 관심영역을 분석하는 관심영역 분석 단계(S500)를 포함하는 것이 바람직하다.The method for analyzing a region of interest in a web page according to an embodiment of the present invention is the method for analyzing a region of interest in a web page in which each step is performed by a computer-implemented region of interest analysis system in a web page, wherein the analysis preparation unit comprises: A company that provides content through a web page and wants to use a service that analyzes the area of interest in the web page of the user who receives it receives the content to be provided through the web page, and saves each content in the form of an image file and a content information input step (S100) for deriving size information, in the user information input unit, for each user who is provided with content through a web page, unique information, terminal means used to receive content, and terminal means while receiving the content In the user information input step (S200) of receiving scroll operation information through, in the analysis processing unit, the size information for each content by the content information input step (S100) and the terminal means by the user information input step (S200) The first exposure content analysis step (S300) of analyzing the content area exposed through the terminal means when initially providing each content using information, in the analysis processing unit, the user who is provided with the content through the web page Receives the user's face image information from the terminal means, applies it to a pre-stored deep learning learning model to output the gaze direction information, and applies the gaze direction information based on the content provided through the terminal means, the gaze direction information After specifying the viewpoint coordinate information corresponding to the first exposure content analysis step (S300), a first viewpoint determination step of determining the corresponding viewpoint information by applying the viewpoint coordinate information to the exposed content area analyzed by the first exposure content analysis step (S300) (S400) ) and the analysis processing unit, it is preferable to include a region of interest analysis step (S500) of analyzing the region of interest to which the user's gaze is fixed by using the determined viewpoint information.
더 나아가, 상기 관심영역 분석 단계(S500)는 기설정된 시간 간격마다 상기 제1 시점 판단 단계(S400)의 동작을 반복 수행하며, 수행 결과에 따라, 판단한 상기 시점 영역이 소정 시간 동안 동일할 경우, 해당하는 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하는 것이 바람직하다.Furthermore, in the ROI analysis step S500, the operation of the first time point determination step S400 is repeatedly performed at preset time intervals, and according to the execution result, when the determined view point area is the same for a predetermined time, It is preferable to analyze the corresponding viewpoint region as a region of interest in which the user's gaze is fixed.
더 나아가, 상기 웹 페이지 내 관심영역 분석 방법은 상기 최초 노출 콘텐츠 분석 단계(S300)를 수행하고 난 후, 분석 처리부에서, 상기 사용자 정보 입력 단계(S200)에 의해 상기 스크롤 조작 정보가 입력될 경우, 상기 스크롤 조작 정보에 의한 콘텐츠 스크롤링 정보를 분석하여, 웹 페이지에 제공되는 콘텐츠의 전체 사이즈 정보 기반으로 상기 최초 노출 콘텐츠 분석 단계(S300)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 콘텐츠 스크롤링 정보를 적용하여, 상기 단말 수단을 통해 노출되는 콘텐츠 영역을 재분석하는 노출 콘텐츠 재분석 단계(S310)를 더 포함하는 것이 바람직하다.Furthermore, in the method for analyzing the region of interest in the web page, after performing the first exposed content analysis step (S300), in the analysis processing unit, when the scroll operation information is input by the user information input step (S200), By analyzing the content scrolling information by the scroll operation information, the content scrolling information is applied to the exposed content area analyzed by the first exposure content analysis step ( S300 ) based on the total size information of the content provided on the web page Accordingly, it is preferable to further include the exposed content reanalysis step (S310) of reanalyzing the content area exposed through the terminal means.
더 나아가, 상기 웹 페이지 내 관심영역 분석 방법은 상기 노출 콘텐츠 재분석 단계(S310)를 수행하고 난 후, 분석 처리부에서, 웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받아, 기저장된 딥러닝 학습 모델에 적용하여 시선 방향 정보를 출력받고, 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용하여, 상기 시선 방향 정보에 해당하는 시점 좌표 정보를 특정한 후, 상기 노출 콘텐츠 재분석 단계(S310)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 시점 좌표 정보를 적용하여 해당하는 시점 정보를 판단하는 제2 시점 판단 단계(S410)를 더 포함하는 것이 바람직하다.Furthermore, in the method for analyzing the region of interest in the web page, after performing the exposed content re-analysis step (S310), in the analysis processing unit, the user's face image from the terminal means owned by the user who receives the content through the web page Receive information, apply it to a pre-stored deep learning learning model to output gaze direction information, apply the gaze direction information based on content provided through a terminal means, and obtain viewpoint coordinate information corresponding to the gaze direction information After specifying, it is preferable to further include a second viewpoint determination step (S410) of determining the corresponding viewpoint information by applying the viewpoint coordinate information to the exposed content area analyzed by the exposed content reanalysis step (S310) .
더 나아가, 상기 관심영역 분석 단계(S500)는 분석한 상기 콘텐츠 스크롤링 정보가 전달될 때마다 또는, 기설정된 시간 간격마다 상기 제2 시점 판단 단계(S420)의 동작을 반복 수행하며, 수행 결과에 따라, 판단한 상기 시점 영역이 소정 시간 동안 동일할 경우, 해당하는 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하는 것이 바람직하다.Furthermore, in the region of interest analysis step S500, the operation of the second time point determination step S420 is repeatedly performed whenever the analyzed content scrolling information is transmitted or at a preset time interval, and according to the result, , when the determined viewpoint region is the same for a predetermined time, it is preferable to analyze the corresponding viewpoint region as a region of interest in which the user's gaze is fixed.
본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템 및 그 방법은, 웹 페이지를 통해서 콘텐츠를 제공함에 따라, 웹 페이지의 상, 하, 좌, 우 스크롤 제어가 가능하여 콘텐츠의 제공 위치가 변화되는 와중에, 사용자가 어느 콘텐츠를 관심 있게 집중하여 보는지 분석할 수 있는 장점이 있다.The system and method for analyzing a region of interest in a web page according to an embodiment of the present invention, as the content is provided through the web page, it is possible to control the scrolling up, down, left, and right of the web page, so that the location of the content is provided. In the midst of changes, there is an advantage in being able to analyze which content the user is watching with interest.
이를 위해, 제어되는 스크롤 조작 정보를 토대로 웹 페이지를 통해서 제공(노출)되는 콘텐츠 영역을 분석하고, 사용자의 시선 좌표를 토대로 노출되는 콘텐츠 영역 중 어느 영역에 시점이 특정되는지 분석하여, 반복 분석을 통해 소정 시간 동안 고정 응시 또는 이동하면서 응시하는 콘텐츠 영역을 판단하여 관심 영역으로 분석할 수 있다.To this end, the content area provided (exposed) through the web page is analyzed based on the controlled scroll manipulation information, and which area of the content area exposed based on the user's gaze coordinates is analyzed, and the viewpoint is specified through repeated analysis. It is possible to determine a content area to gaze fixedly or to gaze while moving for a predetermined period of time and analyze it as an area of interest.
이러한 관심 영역 분석 결과를 이용하여, 업체의 경우, 다양한 홍보 전략에 적용할 수 있으며, 사용자의 경우, 맞춤형으로 관심을 가졌던 콘텐츠에 대한 지속적인 연계 정보를 제공받을 수 있는 장점이 있다.By using the result of the analysis of the region of interest, the company can apply it to various promotional strategies, and the user has the advantage of being able to receive customized and continuous linkage information on the content that they have been interested in.
도 1은 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템을 나타낸 구성 예시도이다.
도 2는 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템 및 그 방법에서, 단말 수단의 스펙을 고려하여 분석한 콘텐츠의 최초 제공시 노출되는 콘텐츠 영역과 스크롤 조작 정보에 의한 콘텐츠 스크롤링 정보를 적용한 후 재분석한 노출되는 콘텐츠 영역을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템 및 그 방법에서, 관심영역의 분석을 위해, 노출되는 콘텐츠 영역에서 시점 좌표 정보에 해당하는 시점 영역의 판단 동작을 반복 수행한 분석 결과 예시표이다.
도 4는 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 방법을 나타낸 순서 예시도이다.1 is an exemplary configuration diagram illustrating a system for analyzing a region of interest in a web page according to an embodiment of the present invention.
2 is a system for analyzing a region of interest in a web page and a method therefor, according to an embodiment of the present invention, showing a content region exposed when the content analyzed in consideration of the specification of a terminal device is initially provided and content scrolling information based on scroll operation information; FIG. It is an exemplary diagram showing the exposed content area re-analyzed after applying .
3 is a method for analyzing a region of interest in a web page in accordance with an embodiment of the present invention, in which an operation of determining a viewpoint region corresponding to viewpoint coordinate information in an exposed content region is repeatedly performed for analysis of the region of interest. This is an example table of analysis results.
4 is a flowchart illustrating a method for analyzing a region of interest in a web page according to an embodiment of the present invention.
이하 첨부한 도면들을 참조하여 본 발명의 웹 페이지 내 관심영역 분석 시스템 및 그 방법을 상세히 설명한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다.Hereinafter, a system and method for analyzing a region of interest in a web page of the present invention will be described in detail with reference to the accompanying drawings. The drawings introduced below are provided as examples in order to sufficiently convey the spirit of the present invention to those skilled in the art. Accordingly, the present invention is not limited to the drawings presented below and may be embodied in other forms. Also, like reference numerals refer to like elements throughout.
이 때, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.At this time, if there is no other definition in the technical terms and scientific terms used, it has the meaning commonly understood by those of ordinary skill in the art to which this invention belongs, and in the following description and accompanying drawings, the subject matter of the present invention Descriptions of known functions and configurations that may unnecessarily obscure will be omitted.
더불어, 시스템은 필요한 기능을 수행하기 위하여 조직화되고 규칙적으로 상호 작용하는 장치, 기구 및 수단 등을 포함하는 구성 요소들의 집합을 의미한다.In addition, the system refers to a set of components including devices, instruments, and means that are organized and regularly interact to perform necessary functions.
본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템 및 그 방법은 웹 페이지를 통해 콘텐츠를 제공하고 해당 콘텐츠를 제공받는 사용자의 웹 페이지 내 관심영역을 분석하여 제공하는 서비스를 제공하는 것으로, 해당 서비스를 제공받고자 하는 업체에서는 제공받은 사용자 별 관심영역 정보를 토대로 다양한 홍보 전략(관심영역에 해당하는 콘텐츠(제품 등)의 지속적인 노출, 특별 할인 제공, 유사 제품 제공, 연관 제품 제공 등)을 수립할 수 있으며, 사용자 입장에서도 일대일 맞춤형으로, 관심을 가졌던 콘텐츠에 대한 지속적인 연계 콘텐츠를 제공받을 수 있는 장점이 있다.A system and method for analyzing a region of interest in a web page according to an embodiment of the present invention provides a service that provides content through a web page and analyzes a region of interest in a web page of a user who receives the content, and provides the service, Companies that want to receive the service establish various promotional strategies (continuous exposure of content (products, etc.) corresponding to the area of interest, special discount provision, similar product provision, related product provision, etc.) based on the provided area of interest information for each user From the user's point of view, there is an advantage in that it can be customized one-to-one, and continuously linked content to the content that they were interested in can be provided.
웹 페이지의 특성 상 웹 페이지(한 페이지)를 통해서 노출되는 콘텐츠 영역 외에 하단으로 나머지 콘텐츠 영역이 이어지는 것이 일반적이다. 이러한 나머지 콘텐츠 영역을 확인하기 위해서, 사용자는 스크롤 조작을 통해 웹 페이지 탐색을 수행하게 된다. 이러한 과정을 통해서 사용자가 제공되는 전체 콘텐츠 중 관심이 가는 특정 콘텐츠가 있을 경우, 당연히 해당 콘텐츠에 시선이 유지되는 것이 당연하다.In addition to the content area exposed through the web page (one page) due to the nature of the web page, it is common that the remaining content area continues at the bottom. In order to check the remaining content area, the user performs web page navigation through a scroll operation. Through this process, if there is a specific content that the user is interested in among all the content provided, it is natural that the user's gaze is maintained on the content.
콘텐츠가 제공되는 단말수단의 디스플레이 영역에서의 영역 변화가 없는 동영상(온라인 교육, 홈쇼핑 등) 콘텐츠의 경우, 영역 변화가 없는 콘텐츠인 만큼 사용자의 시선이 움직이지 않는 영역 또는, 마우스의 포인터 위치나 클릭 정보가 입력되는 영역을 고려하여 관심영역을 쉽게 분석할 수 있다.In the case of video content (online education, home shopping, etc.) that does not change in the display area of the terminal means in which the content is provided, the user's gaze does not move as much as the content does not change in the area, or the mouse pointer position or click The region of interest can be easily analyzed in consideration of the region to which information is input.
그렇지만, 상술한 바와 같이, 대부분의 전체 콘텐츠를 확인하기 위해서는 스크롤 조작 정보가 입력되어야 하는, 다시 말하자면, 콘텐츠가 제공되는 단말수단의 디스플레이 영역에서의 영역 변화가 발생할 수 밖에 없는 웹 페이지를 통해 제공되는 콘텐츠의 경우, 스크롤 조작을 통해 웹 페이지의 노출 영역이 변화되기 때문에, 사용자의 시선이 움직이지 않는 영역 또는, 마우스의 포인터 위치나 클릭 정보가 입력되는 영역 만을 고려할 경우, 전혀 다른 관심영역이 분석되거나, 아예 분석이 어려운 문제점이 있다.However, as described above, in order to check most of the entire contents, scroll operation information must be input, that is, provided through a web page in which the area change in the display area of the terminal means from which the contents are provided is inevitable. In the case of content, since the exposed area of the web page is changed through scrolling manipulation, when considering only the area where the user's gaze does not move or the area where the mouse pointer position or click information is input, a completely different area of interest is analyzed or , which is difficult to analyze at all.
상세하게는, 사용자의 단말 수단 조작(사용) 습관에 따라 특정 콘텐츠를 확인하기 위해 스크롤 조작을 멈추고 응시하거나, 스크롤 조작을 지속하면서 제공되는 콘텐츠의 이동에 따라 시선을 이동시키며 콘텐츠를 확인할 수도 있으며, 드래그 입력 또는, 마우스 클릭을 통해 스크롤 조작을 수행하면서 콘텐츠를 확인할 수 있기 때문에, 상술한 콘텐츠가 제공되는 단말수단의 디스플레이 영역에서의 영역 변화가 없는 콘텐츠와는 다른 방법으로 관심영역 분석이 수행되어야 한다.In detail, according to the user's terminal means manipulation (use) habit, the user may stop and stare at the scroll operation to check the specific content, or check the content while continuing the scroll operation and move the gaze according to the movement of the provided content, Since the content can be checked while scrolling is performed through a drag input or a mouse click, the region of interest analysis must be performed in a different way from the content in which there is no region change in the display region of the terminal device to which the above-described content is provided. .
이러한 점을 고려하여, 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템은, 콘텐츠가 제공되는 단말수단의 디스플레이 영역에서의 사용자의 시간 별 시선 좌표와 스크롤 조작 정보(상하좌우)를 분석하여, 현재 웹 페이지를 통해서 노출되고 있는 콘텐츠 중 어디에 관심을 보이고 있는지, 다시 말하자면, 사용자의 시선 방향이 단말 수단을 기준으로 노출되는 콘텐츠의 어디를 향하고 있는지 분석하는 것이 바람직하다.In consideration of this, the system for analyzing a region of interest in a web page according to an embodiment of the present invention analyzes the user's gaze coordinates and scroll manipulation information (up, down, left and right) for each time in the display area of the terminal means where the content is provided. Therefore, it is desirable to analyze where interest is shown among the content currently exposed through the web page, that is, where the user's gaze direction is directed toward the content displayed based on the terminal means.
도 1은 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템의 구성을 나타낸 도면이다. 도 1을 참조로 하여 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템을 자세히 알아보도록 한다.1 is a diagram showing the configuration of a system for analyzing a region of interest in a web page according to an embodiment of the present invention. A system for analyzing a region of interest in a web page according to an embodiment of the present invention will be described in detail with reference to FIG. 1 .
본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템은 도 1에 도시된 바와 같이, 분석 준비부(100), 사용자 정보 입력부(200) 및 분석 처리부(300)를 포함하여 구성되는 것이 바람직하다. 각 구성들은 컴퓨터를 포함하는 적어도 하나 이상의 연산처리수단에 각각 또는 통합 포함되어 동작을 수행하는 것이 바람직하다. 물론, 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 시스템은 웹 페이지를 통해 콘텐츠를 제공하고 해당 콘텐츠를 제공받는 사용자의 웹 페이지 내 관심영역을 분석하여 제공하는 서비스를 제공하는 서버에서 동작을 수행하는 것이 가장 바람직하다.As shown in FIG. 1 , the system for analyzing a region of interest in a web page according to an embodiment of the present invention is preferably configured to include an
각 단계에 대해서 자세히 알아보자면,To learn more about each step,
상기 분석 준비부(100)는 웹 페이지를 통해 콘텐츠를 제공하고 해당 콘텐츠를 제공받는 사용자의 웹 페이지 내 관심영역을 분석하여 제공하는 서비스를 이용하고자 하는 업체로부터, 웹 페이지를 통해 제공하고자 하는 적어도 하나의 콘텐츠를 입력받는 것이 바람직하다.The
상기 분석 준비부(100)는 입력받은 각 콘텐츠 별로 이미지 파일 형식으로 저장하고, 각 콘텐츠의 사이즈 정보를 도출하는 것이 바람직하다.It is preferable that the
상기 사용자 정보 입력부(200)는 웹 페이지를 통해 콘텐츠를 제공받는 사용자 별로 고유정보, 콘텐츠를 제공받기 위해 이용하는 단말 수단 정보 및 콘텐츠를 제공받는 동안 단말 수단을 통한 스크롤(scroll) 조작 정보를 입력받는 것이 바람직하다.The user
상세하게는, 상기 사용자 정보 입력부(200)는 상기 고유정보로는, 사용자를 식별하기 위한 ID 등을 포함하며, 상기 단말 수단 정보로는 사용자가 소지하고 있는 단말 수단의 고유 식별 번호(상품코드 등) 등을 포함하여, 사용자에게 요청하여 입력받는 것이 바람직하다. 더불어, 상기 스크롤 조작 정보로는 키보드, 마우스 등 웹 페이지 내 노출 콘텐츠 영역을 이동시킬 수 있는 상기 단말 수단의 연결 장치를 통해서 입력받아 전달되는 정보인 것이 바람직하다.In detail, the user
상기 분석 처리부(300)는 상기 분석 준비부(100)에 의한 정보들과 상기 사용자 정보 입력부(200)에 의한 정보들을 이용하여, 웹 페이지를 통해 사용자에게 제공되는 콘텐츠 중 사용자의 관심도가 높다고 예측되는 관심영역을 분석하게 되며, 노출 콘텐츠 분석부(310), 사용자 시선 추적부(320), 스크롤링 분석부(330) 및 관심영역 분석부(340)를 포함하여 구성되는 것이 바람직하다.The
이 때, 상기 분석 처리부(300)는 사전에 웹 페이지를 통해 콘텐츠를 제공받을 수 있는 다양한 단말 수단들에 대한 스펙 정보들을 데이터베이스화하여 저장 및 관리하는 것이 바람직하다. 이를 통해서, 상기 분석 처리부(300)는 저장되어 있는 스펙 데이터베이스를 기반으로 상기 사용자 정보 입력부(200)를 통해서 사용자로부터 입력받은 상기 단말 수단의 고유 식별 번호 등을 검색하여, 매칭되는 스펙 정보를 추출하게 된다.In this case, it is preferable that the
추출 결과, 사용자가 웹 페이지를 통해 콘텐츠를 제공받고자 하는 단말 수단에 카메라가 포함되어 있다면, 이에 대한 세부 스펙 정보인 디스플레이 장치(모니터 등)의 크기, 카메라의 렌즈 크기, 디스플레이 장치를 기준으로 카메라 구비 위치 등을 파악하게 된다.As a result of the extraction, if a camera is included in the terminal means for which the user wants to receive content through the web page, the detailed specification information for this is the size of the display device (monitor, etc.), the lens size of the camera, and the camera based on the display device. location, etc.
또한, 추출 결과, 사용자가 웹 페이지를 통해 콘텐츠를 제공받고자 하는 단말 수단에 카메라가 포함되어 있지 않을 경우(카메라 관련 스펙이 존재하지 않을 경우), 상기 사용자 정보 입력부(200)로 상기 단말 수단에 연계(연결)되어 있는 카메라 관련 정보의 입력을 요청하는 것이 바람직하다.In addition, as a result of the extraction, when the camera is not included in the terminal means for which the user wants to receive content through the web page (when there is no camera-related specification), the user
상기 카메라 관련 정보로는 카메라의 스펙을 알 수 있는 고유 식별 번호 등의 고유 정보, 단말 수단의 디스플레이 장치를 기준으로 카메라 설치 위치 등을 포함하는 것이 바람직하다.The camera-related information preferably includes unique information such as a unique identification number that can know the specifications of the camera, and a camera installation position based on the display device of the terminal means.
상기 노출 콘텐츠 분석부(310)는 상기 분석 준비부(100)에서 도출한 각 콘텐츠 별 사이즈 정보와 상기 사용자 정보 입력부(200)에 의해 입력받은 단말 수단 정보를 이용하여, 사용자 별 단말 수단을 통해서 각 콘텐츠의 최초 제공 시, 상기 단말 수단을 통해서 노출되는 콘텐츠 영역을 분석하는 것이 바람직하다.The exposed
상세하게는, 상기 노출 콘텐츠 분석부(310)는 저장되어 있는 스펙 데이터베이스를 기반으로 상기 사용자 정보 입력부(200)를 통해서 사용자로부터 입력받은 상기 단말 수단의 고유 식별 번호 등을 검색하여, 매칭되는 스펙 정보를 추출함으로써, 단말 수단의 디스플레이 장치의 크기, 단말 수단에 기본 설정되어 있는 웹 페이지의 적용 픽셀 수 등을 알 수 있다.In detail, the exposed
이를 고려하여, 상기 노출 콘텐츠 분석부(310)는 도 2의 a)에 도시된 바와 같이, 상기 분석 준비부(100)를 통해서 업체로부터 입력받은 전체 콘텐츠 크기를 고려하여, 최초 제공 시, 노출되는 콘텐츠 영역을 분석하게 된다.In consideration of this, the exposed
상기 사용자 시선 추적부(320)는 웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받게 된다. 다시 말하자면, 단말 수단에 구비 또는, 설치되어 있는 카메라를 통해서 사용자의 안면 이미지 정보를 입력받게 된다. 입력받은 상기 안면 이미지 정보를 미리 저장되어 있는 딥러닝 학습 모델에 적용하여 상기 안면 이미지 정보를 토대로 시선 방향 정보를 분석하여 출력하게 된다.The user
상기 사용자 시선 추적부(320)는 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용(맵핑)하여, 상기 시선 방향 정보에 해당하는 시점(view point) 좌표 정보를 특정하게 된다.The user's
상세하게는, 상기 사용자 시선 추적부(320)는 미리 저장되어 있는 이미지 분석 알고리즘을 이용하여 상기 안면 이미지 정보에 포함되어 있는 특징점을 검출하여, 검출된 특징점을 토대로 눈(eye) 이미지만을 추출하게 된다.In detail, the user
추출한 눈 이미지를 상기 딥러닝 학습 모델에 입력하여 시선 방향 정보를 출력받게 된다. 이 때, 상기 딥러닝 학습 모델은 사전에 사람의 눈 이미지와 해당 눈 이미지의 시선 방향(벡터)을 학습 데이터로 입력받아 학습 처리된 결과 모델에 해당한다.The extracted eye image is input to the deep learning learning model to output gaze direction information. In this case, the deep learning learning model corresponds to a result model that has been trained by receiving a human eye image and a gaze direction (vector) of the corresponding eye image as learning data in advance.
또한, 상기 사용자 시선 추적부(320)는 파악한 단말 수단의 스펙 정보에 의한 디스플레이 장치의 크기, 사람 평균 홍채 크기, 카메라 매트릭스 등을 이용하여, 카메라 시점에서 사용자의 눈의 위치를 특정할 수 있다.In addition, the user's
이 후, 상기 사용자 시선 추적부(320)는 사용자의 눈의 가로, 세로 픽셀 길이와 평균 홍채 크기, 파악한 카메라의 스펙 정보에 의한 카메라의 렌즈 길이(Focal Length) 등을 고려하여, 사용자와 카메라 간의 거리(mm)를 연산하게 된다.Thereafter, the user
이를 통해서, 상기 사용자 시선 추적부(320)는 특정한 사용자의 눈의 위치에 연산한 사용자와 카메라 간의 거리를 고려한 상기 시선 방향 정보를 곱하여 상기 시점 좌표 정보를 특정하게 된다.Through this, the user's
상기 스크롤링 분석부(330)는 상기 사용자 정보 입력부(200)로부터 상기 스크롤 조작 정보를 전달받아, 상기 스크롤 조작 정보에 의한 콘텐츠 스크롤링(scrolling) 정보를 분석하는 것이 바람직하다.Preferably, the scrolling
즉, 도 2의 b)에 도시된 바와 같이, 상기 사용자 정보 입력부(200)로부터 상기 스크롤 조작 정보(상하좌우)를 전달받아, 상기 콘텐츠 스크롤링 정보를 분석하는 것으로, 파악한 단말 수단의 스펙 정보에 의한 디스플레이 장치의 크기와 단말 수단에 기본 설정되어 있는 웹 페이지의 적용 픽셀 수, 상기 스크롤 조작 정보(조작 시간 등) 등을 고려하여 상기 콘텐츠 스크롤링 정보를 분석하게 된다.That is, as shown in b) of FIG. 2 , by receiving the scroll operation information (up, down, left and right) from the user
분석한 상기 콘텐츠 스크롤링 정보로는 상, 하, 좌, 우 움직인 픽셀수를 분석하게 된다.As the analyzed content scrolling information, the number of pixels moving up, down, left, and right is analyzed.
상기 관심영역 분석부(340)는 상기 스크롤링 분석부(330)에 의한 상기 콘텐츠 스크롤링 정보의 분석 값이 없다면, 상기 노출 콘텐츠 분석부(310)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 사용자 시선 추적부(320)에 의해 특정한 상기 시점 좌표 정보를 적용하여 사용자의 시선이 머문 콘텐츠인 시점 영역을 판단하게 된다.If there is no analysis value of the content scrolling information by the scrolling
상기 관심영역 분석부(340)는 시점 영역의 판단 동작을 미리 설정된 시간 간격마다 반복 수행하여, 상기 시점 영역이 소정 시간 동안 움직이지 않을 경우, 사용자가 해당 콘텐츠를 소정 시간 동안 응시하고 있는 것으로 보고, 해당하는 상기 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하는 것이 바람직하다.The region of
그렇지만, 상술한 바와 같이, 웹 페이지를 통해서 제공되는 콘텐츠는 한 페이지에 일부 콘텐츠만 노출되기 때문에, 사용자의 스크롤 조작 정보가 입력될 수 밖에 없다.However, as described above, since only a part of the content provided through the web page is exposed on one page, the user's scroll operation information is inevitably input.
그렇기 때문에, 상기 관심영역 분석부(340)는 미리 설정된 시간 간격마다, 그리고 상기 스크롤링 분석부(330)에 의한 상기 콘텐츠 스크롤링 정보의 분석 값이 전달될 때마다, 시점 영역의 판단 동작을 반복 수행하는 것이 바람직하다.Therefore, the region of
상기 관심영역 분석부(340)는 상기 스크롤링 분석부(330)에 의한 상기 콘텐츠 스크롤링 정보의 분석 값이 전달될 경우, 웹 페이지에 제공되는 콘텐츠의 전체 사이즈 정보를 기반으로 상기 노출되는 콘텐츠 영역에 상기 콘텐츠 스크롤링 정보를 적용하여, 도 2의 b)에 도시된 바와 같이, 단말 수단을 통해 노출되는 콘텐츠 영역을 재분석하는 것이 바람직하다.When the analysis value of the content scrolling information by the scrolling
상기 관심영역 분석부(340)는 재분석한 콘텐츠 영역에 해당하는 상기 시점 좌표 정보를 적용하여 사용자의 시선이 머문 콘텐츠인 시점 영역을 판단하게 된다.The region of
판단한 상기 시점 영역이 소정 시간 동안 동일할 경우, 해당하는 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하게 된다.When the determined viewpoint region is the same for a predetermined time, the corresponding viewpoint region is analyzed as a region of interest in which the user's gaze is fixed.
여기서, 판단한 상기 시점 영역이 소정 시간 동안 동일하다는 것은, 상술한 바와 같이, 반복해서 노출되는 콘텐츠 영역을 재분석을 수행하기 때문에, 상기 시점 좌표 정보가 변화하더라도 시선이 콘텐츠를 따라서 움직이는지를 판단하게 된다.Here, the determination that the viewpoint area is the same for a predetermined period of time determines whether the gaze moves along the contents even if the viewpoint coordinate information changes because reanalysis of the repeatedly exposed contents area is performed as described above.
다시 말하자면, 도 3의 분석 결과 예시표에 나타난 바와 같이, 사용자 A의 경우, 반복 수행한 판단 동작에 의해 13:34:40-13:34:50에 동일한 394, 600을 고정 응시하고 있는 것을 알 수 있다. 이 경우, 한 번의 스크롤 조작에 의해 시점 좌표 정보 역시 변경되었으나, 이 후 스크롤 조작도 없고 시점 좌표 정보 역시 변경되지 않기 때문에, 시점 좌표 정보에 해당하는 시점 영역을 고정 응시하고 있는 것으로 판단하여, 관심영역으로 분석하게 된다.In other words, as shown in the example table of the analysis result of FIG. 3 , in the case of user A, it can be seen that the same 394 and 600 are fixedly gazed at 13:34:40-13:34:50 due to the repeated judgment action. have. In this case, the viewpoint coordinate information is also changed by one scroll operation, but there is no scroll operation thereafter and the viewpoint coordinate information is not changed. will be analyzed as
또한, 사용자 B의 경우, 반복 수행한 판단 동작에 의해 09:10:40 ?? 09:11:00까지 계속해서 스크롤 조작 동작이 입력되었으나, 시점 좌표 정보 역시 스크롤 조작 동작과 일치하면서 입력되었기 때문에, 동일한 영역을 이동 응시하고 있는 것을 알 수 있다. 이 경우, 지속적인 스크롤 조작에 따라 연계하여 동일한 시점 좌표 정보가 변경되었기 때문에, 분석해보면 동일한 시점 영역을 갖고 있게 된다. 이를 토대로 해당하는 시점 영역을 이동(스크롤 이동) 응시하고 있는 것으로 판단하여, 관심영역으로 분석하게 된다.In addition, in the case of user B, 09:10:40 ?? Although the scroll operation operation was continuously input until 09:11:00, since the viewpoint coordinate information was also input while matching the scroll operation operation, it can be seen that the user is moving and staring at the same area. In this case, since the same viewpoint coordinate information is changed in association with continuous scrolling operation, the analysis has the same viewpoint area. Based on this, it is determined that the subject is moving (scrolling) and staring at the corresponding viewpoint region, and the region of interest is analyzed.
도 4는 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 방법을 나타낸 순서 예시도이다. 도 4를 참조로 하여 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 방법을 자세히 알아보도록 한다.4 is a flowchart illustrating a method for analyzing a region of interest in a web page according to an embodiment of the present invention. A method of analyzing a region of interest in a web page according to an embodiment of the present invention will be described in detail with reference to FIG. 4 .
본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 방법은 도 4에 도시된 바와 같이, 콘텐츠 정보 입력 단계(S100), 사용자 정보 입력 단계(S200), 최초 노출 콘텐츠 분석 단계(S300), 제1 시점 판단 단계(S400) 및 관심영역 분석 단계(S500)를 포함하여 구성되는 것이 바람직하며, 각 단계들은 컴퓨터로 구현되는 웹 페이지 내 관심영역 분석 시스템에 의해 수행되게 된다.As shown in FIG. 4 , the method for analyzing a region of interest within a web page according to an embodiment of the present invention includes a content information input step (S100), a user information input step (S200), an initial exposure content analysis step (S300), and the second It is preferable to include a first point of view determination step (S400) and a region-of-interest analysis step (S500), and each step is performed by a computer-implemented region-of-interest analysis system in a web page.
각 단계에 대해서 자세히 알아보자면,To learn more about each step,
상기 콘텐츠 정보 입력 단계(S100)는 상기 분석 준비부(100)에서, 웹 페이지를 통해 콘텐츠를 제공하고 해당 콘텐츠를 제공받는 사용자의 웹 페이지 내 관심영역을 분석하여 제공하는 서비스를 이용하고자 하는 업체로부터, 웹 페이지를 통해 제공하고자 하는 적어도 하나의 콘텐츠를 입력받게 된다.In the content information input step (S100), the
상기 콘텐츠 정보 입력 단계(S100)는 입력받은 각 콘텐츠 별로 이미지 파일 형식으로 저장하고, 각 콘텐츠의 사이즈 정보를 도출하게 된다.In the content information input step (S100), each received content is stored in an image file format, and size information of each content is derived.
상기 사용자 정보 입력 단계(S200)는 상기 사용자 정보 입력부(200)에서, 웹 페이지를 통해 콘텐츠를 제공받는 사용자 별로 고유정보, 콘텐츠를 제공받기 위해 이용하는 단말 수단 정보 및 콘텐츠를 제공받는 동안 단말 수단을 통한 스크롤(scroll) 조작 정보를 입력받게 된다.The user information input step (S200) is, in the user
상세하게는, 상기 고유정보로는, 사용자를 식별하기 위한 ID 등을 포함하며, 상기 단말 수단 정보로는 사용자가 소지하고 있는 단말 수단의 고유 식별 번호(상품코드 등) 등을 포함하여, 사용자에게 요청하여 입력받는 것이 바람직하다. 더불어, 상기 스크롤 조작 정보로는 키보드, 마우스 등 웹 페이지 내 노출 콘텐츠 영역을 이동시킬 수 있는 상기 단말 수단의 연결 장치를 통해서 입력받아 전달되는 정보인 것이 바람직하다.In detail, the unique information includes an ID for identifying the user, and the terminal means information includes a unique identification number (product code, etc.) of the terminal means possessed by the user. It is preferable to request input. In addition, the scroll operation information is preferably information received and transmitted through a connection device of the terminal means capable of moving an exposed content area in a web page, such as a keyboard or a mouse.
상기 최초 노출 콘텐츠 분석 단계(S300)는 상기 분석 처리부(300)에서, 상기 콘텐츠 정보 입력 단계(S100)에 의한 콘텐츠 별 사이즈 정보와 상기 사용자 정보 입력 단계(S200)에 의한 단말 수단 정보를 이용하여, 각 콘텐츠 별 최초 제공 시, 상기 단말 수단을 통해 노출되는 콘텐츠 영역을 분석하게 된다.The first exposure content analysis step (S300) is, in the
상세하게는, 저장되어 있는 스펙 데이터베이스를 기반으로 상기 사용자 정보 입력 단계(S200)에 의해 용자로부터 입력받은 상기 단말 수단의 고유 식별 번호 등을 검색하여, 매칭되는 스펙 정보를 추출함으로써, 단말 수단의 디스플레이 장치의 크기, 단말 수단에 기본 설정되어 있는 웹 페이지의 적용 픽셀 수 등을 알 수 있다.In detail, by searching for a unique identification number of the terminal means received from the user by the user information input step (S200), etc., based on the stored specification database, and extracting matching specification information, the display of the terminal means It is possible to know the size of the device, the number of pixels applied to the web page that is set as a default in the terminal means, and the like.
이를 토대로, 도 2의 a)에 도시된 바와 같이, 상기 콘텐츠 정보 입력 단계(S100)에 의해 업체로부터 입력받은 전체 콘텐츠 크기를 고려하여, 최초 제공 시, 노출되는 콘텐츠 영역을 분석하게 된다.Based on this, as shown in a) of FIG. 2 , in consideration of the total content size received from the company by the content information input step ( S100 ), the content area exposed at the time of initial provision is analyzed.
상기 제1 시점 판단 단계(S400)는 상기 분석 처리부(300)에서, 웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받아, 미리 저장되어 있는 딥러닝 학습 모델에 적용하여 시선 방향 정보를 분석하여 출력받고, 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용(맵핑)하여, 상기 시선 방향 정보에 해당하는 시점(view point) 좌표 정보를 특정한 후, 상기 최초 노출 콘텐츠 분석 단계(S300)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 시점 좌표 정보를 적용하여 해당하는 시점 정보를 판단하게 된다.In the first time point determination step (S400), the
상세하게는, 상기 분석 처리부(300)는 사전에 웹 페이지를 통해 콘텐츠를 제공받을 수 있는 다양한 단말 수단들에 대한 스펙 정보들을 데이터베이스화하여 저장 및 관리하는 것이 바람직하다. 이를 통해서, 저장되어 있는 스펙 데이터베이스를 기반으로 사용자로부터 입력받은 상기 단말 수단의 고유 식별 번호 등을 검색하여, 매칭되는 스펙 정보를 추출하게 된다.In detail, it is preferable that the
추출 결과, 사용자가 웹 페이지를 통해 콘텐츠를 제공받고자 하는 단말 수단에 카메라가 포함되어 있다면, 이에 대한 세부 스펙 정보인 디스플레이 장치(모니터 등)의 크기, 카메라의 렌즈 크기, 디스플레이 장치를 기준으로 카메라 구비 위치 등을 파악하게 된다.As a result of the extraction, if a camera is included in the terminal means for which the user wants to receive content through the web page, the detailed specification information for this is the size of the display device (monitor, etc.), the lens size of the camera, and the camera based on the display device. location, etc.
또한, 추출 결과, 사용자가 웹 페이지를 통해 콘텐츠를 제공받고자 하는 단말 수단에 카메라가 포함되어 있지 않을 경우(카메라 관련 스펙이 존재하지 않을 경우), 상기 단말 수단에 연계(연결)되어 있는 카메라 관련 정보의 입력을 요청하게 된다. 요청하는 상기 카메라 관련 정보로는 카메라의 스펙을 알 수 있는 고유 식별 번호 등의 고유 정보, 단말 수단의 디스플레이 장치를 기준으로 카메라 설치 위치 등을 포함하는 것이 바람직하다.In addition, as a result of the extraction, when the camera is not included in the terminal means for which the user wants to receive content through the web page (when there is no camera-related specification), camera-related information linked (connected) to the terminal means will ask for input. The requested camera-related information preferably includes unique information such as a unique identification number that can know the specifications of the camera, and a camera installation location based on the display device of the terminal means.
이를 토대로 상기 분석 처리부(300)는 웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받게 된다. 다시 말하자면, 단말 수단에 구비 또는, 설치되어 있는 카메라를 통해서 사용자의 안면 이미지 정보를 입력받게 된다. 입력받은 상기 안면 이미지 정보를 미리 저장되어 있는 딥러닝 학습 모델에 적용하여 상기 안면 이미지 정보를 토대로 시선 방향 정보를 분석하여 출력하게 된다. 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용(맵핑)하여, 상기 시선 방향 정보에 해당하는 시점(view point) 좌표 정보를 특정하게 된다.Based on this, the
상세하게는, 미리 저장되어 있는 이미지 분석 알고리즘을 이용하여 상기 안면 이미지 정보에 포함되어 있는 특징점을 검출하여, 검출된 특징점을 토대로 눈(eye) 이미지만을 추출하게 된다.In detail, a feature point included in the facial image information is detected using a pre-stored image analysis algorithm, and only an eye image is extracted based on the detected feature point.
추출한 눈 이미지를 상기 딥러닝 학습 모델에 입력하여 시선 방향 정보를 출력받게 된다. 이 때, 상기 딥러닝 학습 모델은 사전에 사람의 눈 이미지와 해당 눈 이미지의 시선 방향(벡터)을 학습 데이터로 입력받아 학습 처리된 결과 모델에 해당한다.The extracted eye image is input to the deep learning learning model to output gaze direction information. In this case, the deep learning learning model corresponds to a result model that has been trained by receiving a human eye image and a gaze direction (vector) of the corresponding eye image as learning data in advance.
또한, 파악한 단말 수단의 스펙 정보에 의한 디스플레이 장치의 크기, 사람 평균 홍채 크기, 카메라 매트릭스 등을 이용하여, 카메라 시점에서 사용자의 눈의 위치를 특정할 수 있다.In addition, the position of the user's eyes from the camera point of view can be specified using the size of the display device, the average human iris size, the camera matrix, etc. according to the identified specification information of the terminal means.
이 후, 사용자의 눈의 가로, 세로 픽셀 길이와 평균 홍채 크기, 파악한 카메라의 스펙 정보에 의한 카메라의 렌즈 길이(Focal Length) 등을 고려하여, 사용자와 카메라 간의 거리(mm)를 연산하게 된다.Thereafter, the distance (mm) between the user and the camera is calculated in consideration of the horizontal and vertical pixel lengths of the user's eyes, the average iris size, and the lens length (focal length) of the camera based on the identified camera specification information.
이를 통해서, 특정한 사용자의 눈의 위치에 연산한 사용자와 카메라 간의 거리를 고려한 상기 시선 방향 정보를 곱하여 상기 시점 좌표 정보를 특정하게 된다.Through this, the viewpoint coordinate information is specified by multiplying the eye position of a specific user by the gaze direction information in consideration of the calculated distance between the user and the camera.
상기 최초 노출 콘텐츠 분석 단계(S300)에 의해 분석한 상기 노출되는 콘텐츠 영역에 특정한 상기 시점 좌표 정보를 적용하여 사용자의 시선이 머문 콘텐츠인 시점 영역을 판단하게 된다. 상기 제1 시점 판단 단계(S400)는 시점 영역의 판단 동작을 미리 설정된 시간 간격마다 반복 수행하게 된다.By applying the specific viewpoint coordinate information to the exposed content region analyzed by the first exposed content analysis step ( S300 ), a viewpoint region, which is the content in which the user's gaze rests, is determined. In the first time point determination step ( S400 ), the determination operation of the view point area is repeatedly performed at preset time intervals.
이러한 반복 수행 결과를 토대로, 상기 관심영역 분석 단계(S500)는 상기 분석 처리부(300)에서, 상기 시점 영역이 소정 시간 동안 움직이지 않을 경우, 사용자가 해당 콘텐츠를 소정 시간 동안 응시하고 있는 것으로 보고, 해당하는 상기 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하게 된다.Based on the repeated execution result, the analysis of the region of interest (S500) is performed by the
그렇지만, 상술한 바와 같이, 웹 페이지를 통해서 제공되는 콘텐츠는 한 페이지에 일부 콘텐츠만 노출되기 때문에, 사용자의 스크롤 조작 정보가 입력될 수 밖에 없다.However, as described above, since only a part of the content provided through the web page is exposed on one page, the user's scroll operation information is inevitably input.
그렇기 때문에, 본 발명의 일 실시예에 따른 웹 페이지 내 관심영역 분석 방법은 상기 최초 노출 콘텐츠 분석 단계(S300)를 수행하고 난 후, 도 4에 도시된 바와 같이, 노출 콘텐츠 재분석 단계(310)와 제2 시점 판단 단계(S410)를 더 포함하게 된다.Therefore, in the method for analyzing the region of interest in a web page according to an embodiment of the present invention, after performing the first exposure content analysis step ( S300 ), as shown in FIG. 4 , the exposure
상기 노출 콘텐츠 재분석 단계(310)는 상기 분석 처리부(300)에서, 상기 사용자 정보 입력 단계(S200)에 의해 상기 스크롤 조작 정보가 입력될 때마다, 상기 스크롤 조작 정보에 의한 콘텐츠 스크롤링 정보를 분석하게 된다.In the exposed
즉, 도 2의 b)에 도시된 바와 같이, 상기 스크롤 조작 정보(상하좌우)를 전달받아, 상기 콘텐츠 스크롤링 정보를 분석하는 것으로, 파악한 단말 수단의 스펙 정보에 의한 디스플레이 장치의 크기와 단말 수단에 기본 설정되어 있는 웹 페이지의 적용 픽셀 수, 상기 스크롤 조작 정보(조작 시간 등) 등을 고려하여 상기 콘텐츠 스크롤링 정보를 분석하게 된다.That is, as shown in b) of FIG. 2, by receiving the scroll operation information (up, down, left, right) and analyzing the content scrolling information, the size of the display device and the terminal means according to the identified specification information of the terminal means The content scrolling information is analyzed in consideration of the preset number of pixels applied to the web page, the scroll operation information (operation time, etc.).
분석한 상기 콘텐츠 스크롤링 정보로는 상, 하, 좌, 우 움직인 픽셀수를 분석하게 된다.As the analyzed content scrolling information, the number of pixels moving up, down, left, and right is analyzed.
상기 노출 콘텐츠 재분석 단계(S310)는 웹 페이지에 제공되는 콘텐츠의 전체 사이즈 정보를 기반으로 상기 최초 노출 콘텐츠 분석 단계(S300)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 콘텐츠 스크롤링 정보를 적용하여, 도 2의 b)에 도시된 바와 같이, 단말 수단을 통해 노출되는 콘텐츠 영역을 재분석하게 된다.The exposed content reanalysis step (S310) is performed by applying the content scrolling information to the exposed content area analyzed by the first exposure content analysis step (S300) based on the total size information of the content provided on the web page, As shown in b) of 2, the content area exposed through the terminal means is re-analyzed.
상기 제2 시점 판단 단계(S410)는 미리 설정된 시간 간격마다 그리고 상기 스크롤 조작 정보가 입력되어 상기 노출 콘텐츠 재분석 단계(S310)의 동작이 수행될 때마다, 시점 영역의 판단 동작을 반복 수행하게 된다.In the second time point determination step S410, the view point area determination operation is repeatedly performed at preset time intervals and whenever the scroll operation information is input and the operation of the exposed content reanalysis step S310 is performed.
상세하게는, 상기 제2 시점 판단 단계(S410)는 상기 노출 콘텐츠 재분석 단계(S310)에 의해 재분석한 콘텐츠 영역에 해당하는 상기 시점 좌표 정보를 적용하여 사용자의 시선이 머문 콘텐츠인 시점 영역을 판단하게 된다.In detail, the second viewpoint determination step (S410) determines the viewpoint area where the user's gaze is the content by applying the viewpoint coordinate information corresponding to the content area re-analyzed by the exposure content reanalysis step (S310). do.
상기 관심영역 분석 단계(S500)는 상기 분석 처리부(300)에서, 판단한 상기 시점 영역이 소정 시간 동안 동일할 경우, 해당하는 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하게 된다.In the analysis of the region of interest ( S500 ), when the determined viewpoint region is the same for a predetermined time in the
여기서, 판단한 상기 시점 영역이 소정 시간 동안 동일하다는 것은, 상술한 바와 같이, 반복해서 노출되는 콘텐츠 영역을 재분석을 수행하기 때문에, 상기 시점 좌표 정보가 변화하더라도 시선이 콘텐츠를 따라서 움직이는지를 판단하게 된다.Here, the determination that the viewpoint area is the same for a predetermined period of time determines whether the gaze moves along the contents even if the viewpoint coordinate information changes because reanalysis of the repeatedly exposed contents area is performed as described above.
다시 말하자면, 도 3의 분석 결과 예시표에 나타난 바와 같이, 사용자 A의 경우, 반복 수행한 판단 동작에 의해 13:34:40-13:34:50에 동일한 394, 600을 고정 응시하고 있는 것을 알 수 있다. 이 경우, 한 번의 스크롤 조작에 의해 시점 좌표 정보 역시 변경되었으나, 이 후 스크롤 조작도 없고 시점 좌표 정보 역시 변경되지 않기 때문에, 시점 좌표 정보에 해당하는 시점 영역을 고정 응시하고 있는 것으로 판단하여, 관심영역으로 분석하게 된다.In other words, as shown in the example table of the analysis result of FIG. 3 , in the case of user A, it can be seen that the same 394 and 600 are fixedly gazed at 13:34:40-13:34:50 due to the repeated judgment action. have. In this case, the viewpoint coordinate information is also changed by one scroll operation, but there is no scroll operation thereafter and the viewpoint coordinate information is not changed. will be analyzed as
또한, 사용자 B의 경우, 반복 수행한 판단 동작에 의해 09:10:40 ?? 09:11:00까지 계속해서 스크롤 조작 동작이 입력되었으나, 시점 좌표 정보 역시 스크롤 조작 동작과 일치하면서 입력되었기 때문에, 동일한 영역을 이동 응시하고 있는 것을 알 수 있다. 이 경우, 지속적인 스크롤 조작에 따라 연계하여 동일한 시점 좌표 정보가 변경되었기 때문에, 분석해보면 동일한 시점 영역을 갖고 있게 된다. 이를 토대로 해당하는 시점 영역을 이동(스크롤 이동) 응시하고 있는 것으로 판단하여, 관심영역으로 분석하게 된다.In addition, in the case of user B, 09:10:40 ?? Although the scroll operation operation was continuously input until 09:11:00, since the viewpoint coordinate information was also input while matching the scroll operation operation, it can be seen that the user is moving and staring at the same area. In this case, since the same viewpoint coordinate information is changed in association with continuous scrolling operation, the analysis has the same viewpoint area. Based on this, it is determined that the subject is moving (scrolling) and staring at the corresponding viewpoint region, and the region of interest is analyzed.
이상과 같이 본 발명에서는 구체적인 구성 소자 등과 같은 특정 사항들과 한정된 실시예 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것 일 뿐, 본 발명은 상기의 일 실시예에 한정되는 것이 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, in the present invention, specific matters such as specific components and the like and limited embodiment drawings have been described, but these are only provided to help a more general understanding of the present invention, and the present invention is not limited to the above one embodiment. No, various modifications and variations are possible from these descriptions by those of ordinary skill in the art to which the present invention pertains.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허 청구 범위뿐 아니라 이 특허 청구 범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and not only the claims to be described later, but also all those with equivalent or equivalent modifications to the claims will be said to belong to the scope of the spirit of the present invention. .
100 : 분석 준비부
200 : 사용자 정보 입력부
300 : 분석 처리부
310 : 노출 콘텐츠 분석부 320 : 사용자 시선 추적부
330 : 스크롤링 분석부 340 : 관심영역 분석부100: analysis preparation unit
200: user information input unit
300: analysis processing unit
310: exposure content analysis unit 320: user eye tracking unit
330: scrolling analysis unit 340: region of interest analysis unit
Claims (12)
웹 페이지를 통해 콘텐츠를 제공받는 사용자 별로, 사용자 고유정보, 콘텐츠를 제공받기 위해 이용하는 단말 수단 정보 및 콘텐츠를 제공받는 동안 단말 수단을 통한 스크롤(scroll) 조작 정보를 입력받는 사용자 정보 입력부(200); 및
상기 분석 준비부(100)에 의한 정보들과 상기 사용자 정보 입력부(200)에 의한 정보들을 이용하여, 웹 페이지를 통해 사용자에게 제공되는 콘텐츠 중 관심영역을 분석하는 분석 처리부(300);
를 포함하며,
상기 사용자 정보 입력부(200)는
상기 단말 수단 정보로, 단말 수단의 고유 정보를 포함하며,
상기 분석 처리부(300)는
상기 사용자 정보 입력부(200)로부터 상기 단말 수단의 고유 정보를 전달받아, 기저장되어 있는 스펙 데이터베이스를 기반으로 전달받은 상기 단말 수단의 고유 정보에 매칭되는 스펙 정보를 추출하고,
추출 결과, 카메라 관련 스펙이 존재하지 않아 카메라를 포함하고 있지 않은 단말 수단으로 분석될 경우, 상기 사용자 정보 입력부(200)로 상기 단말 수단에 연계되어 있는 카메라 관련 정보의 입력을 요청하되,
상기 분석 처리부(300)는
상기 분석 준비부(100)에서 도출한 콘텐츠 별 사이즈 정보와 상기 사용자 정보 입력부(200)에 의해 입력받은 단말 수단 정보를 통해서 추출한 스펙 정보를 이용하여, 각 콘텐츠의 최초 제공시, 상기 단말 수단을 통해 노출되는 콘텐츠 영역을 분석하는 노출 콘텐츠 분석부(310);
를 포함하는, 웹 페이지 내 관심영역 분석 시스템.
A company that provides content through a web page and wants to use a service that analyzes the area of interest in the web page of the user who receives it receives the content to be provided through the web page, and saves each content in the form of an image file and analysis preparation unit 100 for deriving size information;
A user information input unit 200 for receiving user-specific information, terminal means information used to receive content, and scroll operation information through a terminal means while receiving content, for each user who is provided with content through a web page; and
an analysis processing unit 300 for analyzing a region of interest among contents provided to a user through a web page by using the information by the analysis preparation unit 100 and the information by the user information input unit 200;
includes,
The user information input unit 200
The terminal means information includes unique information of the terminal means,
The analysis processing unit 300
Receive the unique information of the terminal means from the user information input unit 200, extract the specification information matching the received unique information of the terminal means based on the pre-stored specification database,
As a result of the extraction, if the camera-related specification does not exist and is analyzed as a terminal means that does not include a camera, the user information input unit 200 requests input of camera-related information linked to the terminal means,
The analysis processing unit 300
Using the size information for each content derived from the analysis preparation unit 100 and the specification information extracted through the terminal means information input by the user information input unit 200, when each content is first provided, through the terminal means an exposed content analysis unit 310 for analyzing an exposed content area;
Including, a region of interest analysis system within the web page.
상기 분석 처리부(300)는
웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받아, 기저장된 딥러닝 학습 모델에 적용하여 시선 방향 정보를 출력받고, 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용하여, 상기 시선 방향 정보에 해당하는 시점 좌표 정보를 특정하는 사용자 시선 추적부(320);
를 포함하는, 웹 페이지 내 관심영역 분석 시스템.
The method of claim 1,
The analysis processing unit 300
Receives the user's face image information from the terminal means owned by the user who receives the content through the web page, applies it to the pre-stored deep learning learning model, and outputs the gaze direction information, based on the content provided through the terminal means a user gaze tracking unit 320 for specifying viewpoint coordinate information corresponding to the gaze direction information by applying the gaze direction information;
Including, a region of interest analysis system within the web page.
상기 분석 처리부(300)는
상기 사용자 정보 입력부(200)로부터 상기 스크롤 조작 정보를 전달받아, 상기 스크롤 조작 정보에 의한 콘텐츠 스크롤링(scrolling) 정보를 분석하는 스크롤링 분석부(330);
를 포함하는, 웹 페이지 내 관심영역 분석 시스템.
5. The method of claim 4,
The analysis processing unit 300
a scrolling analysis unit 330 that receives the scroll operation information from the user information input unit 200 and analyzes content scrolling information based on the scroll operation information;
Including, a region of interest analysis system within the web page.
상기 분석 처리부(300)는
웹 페이지에 제공되는 콘텐츠의 전체 사이즈 정보 기반으로 상기 노출되는 콘텐츠 영역에 상기 콘텐츠 스크롤링 정보를 적용하여, 단말 수단을 통해 노출되는 콘텐츠 영역을 재분석하고, 재분석한 콘텐츠 영역에 상기 시점 좌표 정보를 적용하여 해당하는 시점 영역을 판단하되, 판단한 상기 시점 영역이 소정 시간 동안 동일할 경우, 해당하는 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하는, 관심영역 분석부(340);
를 포함하는, 웹 페이지 내 관심영역 분석 시스템.
6. The method of claim 5,
The analysis processing unit 300
By applying the content scrolling information to the exposed content area based on the total size information of the content provided on the web page, re-analyzing the content area exposed through the terminal means, and applying the viewpoint coordinate information to the re-analyzed content area a region of interest analyzer 340 that determines a corresponding viewpoint region, and analyzes the corresponding viewpoint region as a region of interest in which the user's gaze is fixed when the determined viewpoint region is the same for a predetermined time;
Including, a region of interest analysis system within the web page.
상기 관심영역 분석부(340)는
분석한 상기 콘텐츠 스크롤링 정보가 전달될 때마다 또는, 기설정된 시간 간격으로 상기 시점 영역의 판단 동작을 반복 수행하는, 웹 페이지 내 관심영역 분석 시스템.
7. The method of claim 6,
The region of interest analysis unit 340
Each time the analyzed content scrolling information is transmitted or at a preset time interval, the ROI analysis system in a web page repeatedly performs the determination operation of the viewpoint region.
분석 준비부에서, 웹 페이지를 통해 콘텐츠를 제공하고, 이를 제공받는 사용자의 웹 페이지 내 관심영역을 분석하는 서비스를 이용하고자 하는 업체로부터, 웹 페이지를 통해 제공하고자 하는 콘텐츠를 입력받아, 각 콘텐츠를 이미지 파일 형식으로 저장하고 사이즈 정보를 도출하는 콘텐츠 정보 입력 단계(S100);
사용자 정보 입력부에서, 웹 페이지를 통해 콘텐츠를 제공받는 사용자 별로, 사용자 고유정보, 콘텐츠를 제공받기 위해 이용하는 단말 수단 정보 및 콘텐츠를 제공받는 동안 단말 수단을 통한 스크롤(scroll) 조작 정보를 입력받는 사용자 정보 입력 단계(S200);
분석 처리부에서, 상기 콘텐츠 정보 입력 단계(S100)에 의한 콘텐츠 별 사이즈 정보와 상기 사용자 정보 입력 단계(S200)에 의한 단말 수단 정보를 이용하여, 각 콘텐츠 별 최초 제공시, 상기 단말 수단을 통해 노출되는 콘텐츠 영역을 분석하는 최초 노출 콘텐츠 분석 단계(S300);
분석 처리부에서, 웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받아, 기저장된 딥러닝 학습 모델에 적용하여 시선 방향 정보를 출력받고, 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용하여, 상기 시선 방향 정보에 해당하는 시점 좌표 정보를 특정한 후, 상기 최초 노출 콘텐츠 분석 단계(S300)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 시점 좌표 정보를 적용하여 해당하는 시점 영역을 판단하는 제1 시점 판단 단계(S400); 및
분석 처리부에서, 판단한 시점 영역을 이용하여 사용자의 시선이 고정된 관심영역을 분석하는 관심영역 분석 단계(S500);
를 포함하며,
상기 사용자 정보 입력 단계(S200)는
상기 단말 수단 정보로, 단말 수단의 고유 정보를 포함하며,
상기 최초 노출 콘텐츠 분석 단계(S300)는
분석 처리부에서, 상기 사용자 정보 입력 단계(S200)에 의한 상기 단말 수단의 고유 정보를 이용하여, 기저장되어 있는 스펙 데이터베이스를 기반으로 전달받은 상기 단말 수단의 고유 정보에 매칭되는 스펙 정보를 추출하고,
추출 결과, 카메라 관련 스펙이 존재하지 않아 카메라를 포함하고 있지 않은 단말 수단으로 분석될 경우, 상기 단말 수단에 연계되어 있는 카메라 관련 정보의 입력을 요청하며,
상기 최초 노출 콘텐츠 분석 단계(S300)는
상기 콘텐츠 정보 입력 단계(S100)에 의한 콘텐츠 별 사이즈 정보와 상기 사용자 정보 입력 단계(S200)에 의해 입력받은 단말 수단 정보를 통해서 추출한 스펙 정보를 이용하여, 각 콘텐츠 별 최초 제공 시, 상기 단말 수단을 통해 노출되는 콘텐츠 영역을 분석하는, 웹 페이지 내 관심영역 분석 방법.
A method for analyzing a region of interest in a web page in which each step is performed by a computer-implemented region of interest analysis system in a web page,
In the analysis preparation unit, the content to be provided through the web page is received from the company that provides the content through the web page and wants to use the service that analyzes the area of interest in the web page of the user who receives it, and receives each content A content information input step of storing the image file format and deriving size information (S100);
In the user information input unit, for each user who is provided with content through a web page, user information receiving user-specific information, terminal means information used to receive the content, and scroll operation information through the terminal means while receiving the content input step (S200);
In the analysis processing unit, by using the size information for each content by the content information input step ( S100 ) and the terminal means information by the user information input step ( S200 ), when each content is initially provided, exposed through the terminal means First exposure content analysis step of analyzing the content area (S300);
In the analysis processing unit, receiving the facial image information of the user from the terminal means possessed by the user who receives the content through the web page, applying it to the pre-stored deep learning learning model to output the gaze direction information, and providing it through the terminal means After specifying the viewpoint coordinate information corresponding to the gaze direction information by applying the gaze direction information based on the content being A first viewpoint determination step of determining a corresponding viewpoint area by applying (S400); and
an ROI analysis step (S500) in which the analysis processing unit analyzes the ROI on which the user's gaze is fixed using the determined viewpoint region;
includes,
The user information input step (S200) is
The terminal means information includes unique information of the terminal means,
The first exposure content analysis step (S300) is
In the analysis processing unit, by using the unique information of the terminal means by the user information input step (S200), the specification information is extracted based on the pre-stored specification database and matching the unique information of the terminal means,
As a result of the extraction, when the camera-related specification does not exist and is analyzed as a terminal means that does not include a camera, it requests input of camera-related information linked to the terminal means,
The first exposure content analysis step (S300) is
Using the size information for each content by the content information input step (S100) and the specification information extracted through the terminal means information input by the user information input step (S200), when each content is initially provided, the terminal means An area of interest analysis method in a web page that analyzes the content area exposed through.
상기 관심영역 분석 단계(S500)는
기설정된 시간 간격마다 상기 제1 시점 판단 단계(S400)의 동작을 반복 수행하며, 수행 결과에 따라, 판단한 상기 시점 영역이 소정 시간 동안 동일할 경우, 해당하는 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하는, 웹 페이지 내 관심영역 분석 방법.
9. The method of claim 8,
The region of interest analysis step (S500) is
The operation of the first time point determination step S400 is repeatedly performed at every preset time interval, and according to the execution result, when the determined view point area is the same for a predetermined time, the user's gaze is fixed on the corresponding view point area A method of analyzing a region of interest in a web page that analyzes it by region.
상기 웹 페이지 내 관심영역 분석 방법은
상기 최초 노출 콘텐츠 분석 단계(S300)를 수행하고 난 후,
분석 처리부에서, 상기 사용자 정보 입력 단계(S200)에 의해 상기 스크롤 조작 정보가 입력될 경우, 상기 스크롤 조작 정보에 의한 콘텐츠 스크롤링 정보를 분석하여, 웹 페이지에 제공되는 콘텐츠의 전체 사이즈 정보 기반으로 상기 최초 노출 콘텐츠 분석 단계(S300)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 콘텐츠 스크롤링 정보를 적용하여, 상기 단말 수단을 통해 노출되는 콘텐츠 영역을 재분석하는 노출 콘텐츠 재분석 단계(S310);
를 더 포함하는, 웹 페이지 내 관심영역 분석 방법.
9. The method of claim 8,
The method of analyzing the region of interest in the web page is
After performing the first exposure content analysis step (S300),
In the analysis processing unit, when the scroll operation information is input by the user information input step ( S200 ), the content scrolling information according to the scroll operation information is analyzed, and based on the total size information of the content provided to the web page, the first Exposure content reanalysis step (S310) of reanalyzing the content area exposed through the terminal means by applying the content scrolling information to the exposed content area analyzed by the exposed content analysis step (S300);
Further comprising, a method for analyzing a region of interest within a web page.
상기 웹 페이지 내 관심영역 분석 방법은
상기 노출 콘텐츠 재분석 단계(S310)를 수행하고 난 후,
분석 처리부에서, 웹 페이지를 통해 콘텐츠를 제공받는 사용자가 소지하고 있는 단말 수단으로부터 사용자의 안면 이미지 정보를 입력받아, 기저장된 딥러닝 학습 모델에 적용하여 시선 방향 정보를 출력받고, 단말 수단을 통해서 제공되는 콘텐츠를 기준으로 상기 시선 방향 정보를 적용하여, 상기 시선 방향 정보에 해당하는 시점 좌표 정보를 특정한 후, 상기 노출 콘텐츠 재분석 단계(S310)에 의해 분석한 상기 노출되는 콘텐츠 영역에 상기 시점 좌표 정보를 적용하여 해당하는 시점 영역을 판단하는 제2 시점 판단 단계(S410);
를 더 포함하는, 웹 페이지 내 관심영역 분석 방법.
11. The method of claim 10,
The method of analyzing the region of interest in the web page is
After performing the exposed content reanalysis step (S310),
In the analysis processing unit, receiving the facial image information of the user from the terminal means possessed by the user who receives the content through the web page, applying it to the pre-stored deep learning learning model to output the gaze direction information, and providing it through the terminal means After specifying the viewpoint coordinate information corresponding to the gaze direction information by applying the gaze direction information based on the content being a second viewpoint determination step of determining a corresponding viewpoint area by applying (S410);
Further comprising, a method for analyzing a region of interest within a web page.
상기 관심영역 분석 단계(S500)는
분석한 상기 콘텐츠 스크롤링 정보가 전달될 때마다 또는, 기설정된 시간 간격마다 상기 제2 시점 판단 단계(S420)의 동작을 반복 수행하며, 수행 결과에 따라, 판단한 상기 시점 영역이 소정 시간 동안 동일할 경우, 해당하는 시점 영역을 사용자의 시선이 고정된 관심영역으로 분석하는, 웹 페이지 내 관심영역 분석 방법.12. The method of claim 11,
The region of interest analysis step (S500) is
Each time the analyzed content scrolling information is transmitted or at a preset time interval, the operation of the second time point determination step S420 is repeatedly performed, and according to the execution result, when the determined view point area is the same for a predetermined time , an ROI analysis method in a web page that analyzes the corresponding viewpoint region as a region of interest in which the user's gaze is fixed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220019473A KR102442268B1 (en) | 2022-02-15 | 2022-02-15 | Interest part analyzing system and method in web page |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220019473A KR102442268B1 (en) | 2022-02-15 | 2022-02-15 | Interest part analyzing system and method in web page |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102442268B1 true KR102442268B1 (en) | 2022-09-15 |
Family
ID=83281627
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220019473A KR102442268B1 (en) | 2022-02-15 | 2022-02-15 | Interest part analyzing system and method in web page |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102442268B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080075584A (en) | 2007-02-13 | 2008-08-19 | 김일 | An analysis method for rate of interest and a system for the same |
| KR20150108575A (en) * | 2014-03-18 | 2015-09-30 | 에스케이플래닛 주식회사 | Apparatus identifying the object based on observation scope and method therefor, computer readable medium having computer program recorded therefor |
| KR20190074933A (en) * | 2017-12-20 | 2019-06-28 | 팜클라우드 주식회사 | System for measurement display of contents |
-
2022
- 2022-02-15 KR KR1020220019473A patent/KR102442268B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20080075584A (en) | 2007-02-13 | 2008-08-19 | 김일 | An analysis method for rate of interest and a system for the same |
| KR20150108575A (en) * | 2014-03-18 | 2015-09-30 | 에스케이플래닛 주식회사 | Apparatus identifying the object based on observation scope and method therefor, computer readable medium having computer program recorded therefor |
| KR20190074933A (en) * | 2017-12-20 | 2019-06-28 | 팜클라우드 주식회사 | System for measurement display of contents |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11650659B2 (en) | User input processing with eye tracking | |
| Papoutsaki | Scalable webcam eye tracking by learning from user interactions | |
| US9195345B2 (en) | Position aware gestures with visual feedback as input method | |
| CN116203731A (en) | Matching of content to a spatial 3D environment | |
| KR101925701B1 (en) | Determination of attention towards stimuli based on gaze information | |
| Toyama et al. | A mixed reality head-mounted text translation system using eye gaze input | |
| KR20080081193A (en) | Content development and distribution using cognitive sciences database | |
| JP2001125738A (en) | Presentation control system and method | |
| Xue et al. | RCEA-360VR: Real-time, continuous emotion annotation in 360 VR videos for collecting precise viewport-dependent ground truth labels | |
| CN106249982A (en) | Display control method, display control unit and control program | |
| Essig et al. | ADAMAAS: towards smart glasses for mobile and personalized action assistance | |
| Emerson et al. | Early prediction of visitor engagement in science museums with multimodal learning analytics | |
| Housholder et al. | Evaluating accuracy of the Tobii eye tracker 5 | |
| KR20190067433A (en) | Method for providing text-reading based reward advertisement service and user terminal for executing the same | |
| KR20230015272A (en) | Unmanned information terminal using artificial intelligence, order management server, and method for providing order information | |
| KR102442268B1 (en) | Interest part analyzing system and method in web page | |
| KR102123155B1 (en) | System for measurement display of contents | |
| Lin et al. | An eye-tracking and head-control system using movement increment-coordinate method | |
| JP6983731B2 (en) | Information processing program, information processing method, terminal device and analysis device | |
| US20190302884A1 (en) | Determination and usage of gaze tracking data | |
| Navalpakkam et al. | Eye tracking: a brief introduction | |
| GB2577711A (en) | Eye-tracking methods, apparatuses and systems | |
| Pinzon-Gonzalez et al. | Use of head position estimation for attention level detection in remote classrooms | |
| KR20220111383A (en) | Smart mirror apparatus for providing augmented reality service and operating method thereof | |
| Cruceat et al. | Extracting human features to enhance the user experience on a training station for manual operations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |