KR102400172B1 - 시선추적에 기초하여 상품을 추천하기 위한 방법 및 시스템 - Google Patents

Abstract

일 실시예에 따르면, 데이터베이스를 포함하는 장치에 의해 수행되는, 시선추적에 기초하여 상품을 추천하기 위한 방법에 있어서, 촬영 장치 및 디스플레이 장치를 포함하는 사용자 단말에서, 촬영 장치를 이용하여, 사용자가 디스플레이 장치에서 디스플레이되는 온라인 쇼핑몰에서 상품 페이지 내에서 사용자의 눈동자들의 위치 및 방향을 추출함으로써 사용자의 시선을 추적하는 단계; 사용자의 시선에 기초하여, 사용자의 눈동자들의 위치 및 방향을 포함하는 시선에 관한 데이터를 일정한 시간마다 샘플링하고, 시선에 관한 데이터를 데이터베이스에 저장하는 단계; 장치에서, 샘플링되는 시간마다 각각의 사용자 시선이 머무르는 지점에 대하여, 사용자의 시선이 머무르는 시간을 측정하는 단계; 장치에서, 사용자의 샘플링되는 시선에 관한 데이터 및 사용자의 시선이 머무르는 시간에 기초하여, 머신러닝을 통해 실시간으로 시선을 분석하는 단계; 사용자의 온라인 쇼핑에서 행동습관을 결정하기 위한 머신러닝의 모델에 입력하여 학습시키는 단계; 및 사용자의 행동습관 및 머신러닝을 통해 학습된 유사행동패턴을 보이는 다른 소비자들의 데이터에 기초하여, 사용자 단말에서 사용자에게 상품을 추천하는 단계를 포함하는, 시선추적에 기초하여 상품을 추천하기 위한 방법이 제공될 수 있다.

Description

시선추적에 기초하여 상품을 추천하기 위한 방법 및 시스템{METHOD AND SYSTEM FOR RECOMMENDING PRODUCTS BASED ON EYE TRACKING}

아래 실시예들은 시선추적에 기초하여 상품을 추천하기 위한 기술에 관한 것이다.

온라인 쇼핑은 점차 늘어나는 추세이지만, 중소상공인 쇼핑몰은 그 운영에 있어서 여전히 단순히 제품을 업로드하는 데에 그치고, 가격 경쟁력을 통한 마케팅 전략을 세우는 실정이다. 주로, 중소상공인 쇼핑몰은 검색 키워드, 상품페이지 탐색 및 체류시간, 장바구니 상품, 실제 구매내역 등을 분석하고 있는 실정이다.

온라인 쇼핑에서 고객들의 쇼핑 습관 분석은 중소기업형 쇼핑몰의 성패를 좌우하는 중요한 요소이지만, 이러한 점은 크게 고려되고 있지 못하고 있다.

현 시대의 기업들이 당면한 가장 큰 과제는 온라인 쇼핑에 익숙해진 소비자에게 얼마만큼의 편의를 제공할 수 있는가 하는 것이다. 더불어 최근 보건 이슈 등으로 인해 직접 백화점 등의 오프라인 매장을 방문하기 보다는 비대면 온라인 쇼핑이 더욱 가속화되는 상황에서, 온라인 쇼핑을 즐기는 소비자는 보다 신속·정확하게 자신의 취향이나 습관을 파악하고 알맞은 상품을 추천해 주기를 바라고 있다.

발명의 배경이 되는 기술을 기재하고 있는 선행기술문헌으로 한국 특허출원공개공보 제10-2010-0044304호 (2010. 04. 30) 등이 있다.

지금까지의 온라인 소비패턴 분석과 상품추천은, 검색 키워드, 상품 페이지 탐색 및 페이지 체류시간, 장바구니 상품, 그리고 실제 구매 내역 등과 같은 블록형 데이터에 기초하였다. 이런 블록형 데이터는 온라인 쇼핑의 초기시장에서는 킬러 솔루션으로 작용할 수 있으나, 성숙된 미래 시장에서는 좀 더 미시적인 세그먼트형 데이터에 기초하여 상품을 추천하기 위한 기술이 요구된다.

본 발명은 기존의 온라인 쇼핑패턴분석에서 벗어나 인공지능(머신러닝) 및 시선추적 솔루션을 통해 소비자들의 무의식적인 쇼핑 패턴을 좀 더 섬세하게 분석해 주는 것을 기술적 과제로 한다.

본 발명은 온라인 쇼핑의 소비자의 좋아하는 색깔, 상품구매 결정요소, 상품구매 결정시간 등 기존 쇼핑 습관분석으로는 찾을 수 없는 한 차원 높은 쇼핑 정보를 중소 쇼핑몰 사업자들에게 제공할 수 있는 솔루션을 제시한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

일 실시예에 따르면, 데이터베이스를 포함하는 장치에 의해 수행되는, 시선추적에 기초하여 상품을 추천하기 위한 방법에 있어서, 촬영 장치 및 디스플레이 장치를 포함하는 사용자 단말에서, 촬영 장치를 이용하여, 사용자가 디스플레이 장치에서 디스플레이되는 온라인 쇼핑몰에서 상품 페이지 내에서 사용자의 눈동자들의 위치 및 방향을 추출함으로써 사용자의 시선을 추적하는 단계; 사용자의 시선에 기초하여, 사용자의 눈동자들의 위치 및 방향을 포함하는 시선에 관한 데이터를 일정한 시간마다 샘플링하고, 시선에 관한 데이터를 데이터베이스에 저장하는 단계; 장치에서, 샘플링되는 시간마다 각각의 사용자 시선이 머무르는 지점에 대하여, 사용자의 시선이 머무르는 시간을 측정하는 단계; 장치에서, 사용자의 샘플링되는 시선에 관한 데이터 및 사용자의 시선이 머무르는 시간에 기초하여, 머신러닝(machine learning)을 통해 실시간으로 시선을 분석하는 단계; 사용자의 온라인 쇼핑에서 행동습관을 결정하기 위한 머신러닝의 모델에 입력하여 학습시키는 단계 - 행동습관은 하나 이상의 시간공을 포함하는 시공간 맵으로 표현되며, 시공간 맵에서 시간공 내의 숫자는 샘플링되는 시간마다 사용자가 머무르는 시선의 지점의 순서를 나타내고, 숫자가 기재된 시간공의 크기는 사용자의 시선이 머무르는 시간에 따라 시간공의 반지름의 크기가 비례함 -; 및 사용자의 행동습관 및 머신러닝을 통해 학습된 유사행동패턴을 보이는 다른 소비자들의 데이터에 기초하여, 사용자 단말에서 사용자에게 상품을 추천하는 단계 - 다른 소비자들의 유사행동패턴은 사용자와 다른 소비자들 각각의 시공간 맵에서 각각의 시선의 지점의 순서 및 각각의 원의 크기의 패턴의 유사도에 기초하고, 패턴의 유사도는 사용자와 다른 소비자들의 시선의 지점의 순서의 좌표들 사이의 절대값 및 지점의 순서에 해당하는 각각의 원의 크기의 차이값에 기초함 - 를 포함하는, 시선추적에 기초하여 상품을 추천하기 위한 방법이 제공된다.

일 실시예에 따르면, 사용자의 시선을 추적하는 단계는, 사용자 단말에 장착된 촬영 장치를 통해 획득된 사용자의 얼굴 영상에서 사용자의 좌측 및 우측 눈 영역을 촬영하는 단계; 촬영된 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계; 눈 영역 각각의 크기 및 눈동자들의 크기를 기초하여, 사용자와 사용자 단말 간의 이격 거리를 산출하는 단계; 눈 영역 각각의 동공의 응시각을 산출하는 단계; 눈동자들의 위치 및 이격 거리에 기초하여, 사용자의 시선이 화면 내에 위치하는지 여부를 확인하는 단계; 및 눈동자들의 위치, 이격 거리 및 동공의 응시각에 기초하여, 사용자의 시선이 화면 내에서 지점에 머무르고 있는 것으로 결정하는 단계를 포함할 수 있다.

일 실시예에 따르면, 사용자를 복수의 각도로 촬영하는 단계; 촬영된 사용자의 이미지를 8비트의 컬러로 계조 변환시키는 단계; 복수의 각도로 촬영된 이미지에 기초하여, 계조 변환된 이미지에서 얼굴의 특징점을 추출하는 단계; 특징점에 기초하여, 사용자의 얼굴을 3차원 특징점으로 변환하는 단계; 사용자의 얼굴을 3차원 특징점에 기초하여, 사용자를 인증하는 단계; 사용자가 인증되고 사용자가 온라인 쇼핑몰 상에서 결제를 진행하는 경우, 결제가 완료되는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 사용자의 온라인 쇼핑에서 행동습관을 결정하기 위한 머신러닝의 모델에 입력하여 학습시키는 단계는, 시선추적 동선에 반응하여 시선이 머무른 곳에 시간공을 표시하고, 시간공 내부에 시선의 체류순서 번호를 표기하는 단계; 동일한 시착점에 시선의 체류시간이 길어질 경우, 시간공의 크기가 점점 증가하는 단계; 시간공이 시착점의 위치를 따라다니며 동선을 표기하는 단계; 시간공과 시착점 및 동선정보를 화면에 활성화할지 여부를 선택하는 단계; 시착점에 표시된 정보를 판독하는 단계; 시착점의 사진 또는 그림에 표시된 글자가 있을 경우 OCR 기능을 작동시키는 단계; 시착점의 사진 또는 그림에서 상품과 텍스트를 구분하는 단계; 시착점의 사진 또는 그림에서 상품의 디자인 요소를 추출하는 단계; 및 시착점의 상품사진의 색상정보를 추출하는 단계를 포함할 수 있다.

일 실시예 따르면, 머신러닝을 통해 실시간으로 시선을 분석하는 단계는, 사용자별 시선추적을 통해 시선체류시간, 시선 동선, 선호 요소, 경쟁상품 고려여부, 찜한 상품 구매빈도, 재검색여부를 사용자별로 분석하는 단계; 및 사용자별 분석을 통해 상품의 요소 검색 순서, 상품 요소별 시선 체류시간에 따른 중시 요소, 및 구매 결정 요소를 추정하는 단계를 더 포함할 수 있다.

일 실시예에 따르면, 인공지능, 시선추적 솔루션을 통해 상품을 추천하는 애플리케이션을 제공하여 중소상인들의 수익구조를 극대화하게 할 수 있는 효과를 제공할 수 있다.

일 실시예 따르면, 시선 추적 기술을 이용하면 온라인 쇼핑에 있어서 기존의 데이터보다 훨씬 정교하고 정확하고 효과적인 데이터를 풍부하게 수집할 수 있다.

일 실시예 따르면, 인공지능 기술을 통해 소비자의 상품 선택 시 우선적으로 고려하는 요소가 무엇인지, 즉 가격, 상품평, 브랜드 등 소비자에 따른 다양한 우선 요소를 찾아냄으로써, 소비자가 상품을 선택함에 있어서 결정적 구매 요소가 무엇인지 알아낼 수 있다. 즉, 온라인 쇼핑몰에서 소비자의 결정적 구매 요소가 무엇인지 알아낼 수 있다. 상품 구매 시 얼마나 심사숙고하는지, 소비자가 어느 항목에 시선이 오래 머무는지 등 수많은 미시적 요소들을 찾아낼 수 있으므로, 소비자의 취향을 반영하는 상품을 정확하게 저격하는 추천이 가능할 수 있다.

한편, 실시예들에 따른 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 일 실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 시선추적에 기초하여 상품을 추천하기 위한 과정을 설명하기 위한 도면이다.
도 3은 시선추적에 기초하여 상품을 추천하기 위한 과정에서 시선추적 데이터로 고려되는 사항을 설명하기 위한 도면이다.
도 4는 소비자가 온라인 쇼핑을 진행할 때 시선 추적을 획득하는 과정을 설명하기 위한 도면이다.
도 5a는 소비자 맞춤형 습관분석을 위한 인공지능 알고리즘을 적용하는 과정을 설명하기 위한 도면이다.
도 5b는 소비자 맞춤형 습관분석을 위한 인공지능 알고리즘을 적용하는 과정을 설명하기 위한 도면이다.
도 5c는 시선추적 기술을 적용한 온라인 쇼핑몰에서의 분석을 설명하기 위한 일 실시예를 설명하기 위한 도면이다.
도 6은 시선추적시스템에서 제공되는 시선정보를 빠르게 분석하여 화면에 출력하고, 이를 분석하여 인공지능 학습 시스템과 연동하는 과정을 설명하기 위한 도면이다.
도 7은 시선추적시스템에서 분석에서 사용될 수 있는 CNN 인공지능 학습 알고리즘을 설명하기 위한 도면이다.
도 8은 소비자 행동 데이터로 보는 방식과 분석 가능 요소로 쇼핑몰을 접근하는 방식에 따른 시선추적기술 적용 쇼핑몰 분석의 요소를 보여주는 도면이다.
도 9는 시선추적에 기초하여 상품을 추천하기 위한 방법의 순서도이다.
도 10은 일 실시예에 따른 장치의 구성의 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 결정되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

도 1은 일 실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 일 실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 복수의 사용자 단말(100) 및 장치(200)를 포함할 수 있다. 복수의 사용자 단말(100)은 카메라 등의 촬영 장치 및 디스플레이 장치 등을 포함할 수 있다.

먼저, 통신망은 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.

복수의 사용자 단말(100) 각각은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰 등일 수 있다. 바람직하게, 도 1과 같이, 제1 사용자 단말(110), 제2 사용자 단말(120), 제3 사용자 단말(130) 등은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다. 복수의 사용자 단말(100) 각각은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 복수의 사용자 단말(100)은 장치(200)와 유무선으로 통신하도록 구성될 수 있다.

복수의 사용자 단말(100) 각각은 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 운영하는 웹 페이지에 접속되거나, 장치(200)를 이용하여 서비스를 제공하는 사람 내지 단체가 개발·배포한 애플리케이션이 설치될 수 있다. 복수의 사용자 단말(100) 각각은 웹 페이지 또는 애플리케이션을 통해 장치(200)와 연동될 수 있다.

복수의 사용자 단말(100) 각각은 장치(200)에서 제공하는 웹 페이지, 애플리케이션을 등을 통해 장치(200)로 접속할 수 있다.

장치(200)는 장치(200)를 이용하여 서비스 제공자 내지 서비스 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 P2P(peer-to-peer) 집합일 수도 있다. 장치(200)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(200)는 추론 기능을 수행하는 적어도 하나 이상의 인공 신경망을 구비할 수 있다. 장치(200)는 복수의 사용자 단말(100)과 유무선으로 통신하도록 구성될 수 있다.

한편, 설명의 편의를 위해 도 1에서는 복수의 사용자 단말(100) 중 제1 사용자 단말(110), 제2 사용자 단말(120) 및 제3 사용자 단말(130)만을 도시하였으나, 단말들의 수는 실시예에 따라 얼마든지 달라질 수 있다. 장치(200)의 처리 용량이 허용하는 한, 단말들의 수는 특별한 제한이 없다.

일 실시예에 따르면, 촬영 장치는 노트북 카메라, RGB 카메라 또는 스마트폰 카메라를 포함할 수 있다.

일 실시예에 따르면, 시스템은 시선 추적 기술을 활용하여, 사용자가 디스플레이 내에서 응시하는 시선의 위치를 추적할 수 있다. 예를 들어, 시스템은 소비자의 눈동자를 촬영하는 촬영 장치와 온라인 쇼핑몰에서 상품 페이지를 표시하는 단말의 화면, 촬영 장치의 카메라를 통해 촬영된 영상에서 상품 페이지에 대한 사용자 눈동자들의 위치 및 방향을 추출하여 상품 페이지 상에서 시선의 위치를 측정할 수 있으며, 이를 통해 사용자의 시선을 추적할 수 있다.

일 실시예에 따르면, 카메라는 사용자 단말의 기본 카메라 또는 별도의 촬영 장치일 수 있다. 예를 들어, 시선 추적 장치는 제1 사용자 단말(110)에 구비된 카메라로 구현될 수 있으며, 제1 사용자 단말(110)에 별도의 측정 장치를 추가하여 시선 추적의 정확도를 더 높일 수 있다. 별도의 시선 추적 장치는 3개의 카메라로 구성될 수 있으며, 중앙에 설치된 메인 카메라를 통해 시선을 추적하고, 양측에 설치된 보조 카메라를 통해 보정을 수행하여, 시선 추적의 정밀성을 높일 수 있다.

시선추적 기술을 활용하여 제1 사용자 단말(110)의 카메라 위치, 제1 사용자 단말(110)의 화면에 표시된 상품 페이지의 위치, 온라인 쇼핑을 수행하고 있는 사용자의 시선 위치를 파악하고, 3가지 위치를 측정 및 분석하여 사용자의 시선이 상품 페이지 상의 어느 지점에 머무르고, 해당 지점에 얼마 동안 머무르는지 시간을 측정하고, 시선의 이동을 벡터 분석하여 데이터를 획득할 수 있다.

제1 사용자 단말(110)의 카메라 위치는 고정된 상태이고, 장치(200)를 통해 제공되는 상품 페이지 상의 영상, 이미지, 텍스트 등도 미리 설정된 위치 포인트 값이 존재하므로, 사용자의 눈동자를 삼각측량법 등을 통해 추적하여 정확하게 측정할 수 있다. 사용자의 시선이 특정 포인트에 머무르는 시간, 이동 속도 등을 벡터값으로 하여 실시간 측정할 수 있다.

미세한 움직임으로 측정이 어려운 눈동자를 정확하게 추적하여 사용자가 온라인 쇼핑의 상세페이지에서 어떤 부분에 시선이 머무르는지를 실시간으로 정확하게 파악할 수 있어, 인공 지능 기반 시선 추적 기술을 이용하여 상품 추천이 가능하며, 3D 얼굴 인식용 빅데이터 수집 장치 및 알고리즘을 통해 생체 인식의 정확성을 높일 수 있어 시선 추적 시스템 적용 시 눈동자의 위치를 읽어 어느 부분을 주시하고 있는지를 결정할 수 있다. 특히, 한 지점에서 시선이 잠시 머무는 '고정(Fixation)'과 시선이 급격히 이동하는 '도약(Saccade)', 시선의 경로인 '주사경로(Scan path)', 세부 특징 탐지를 위해 시선이 특정지점으로 되돌아오는 '재방문(Revisit)' 4가지 분석 요소를 중점으로 시선 추적이 가능할 수 있다.

도 2는 시선추적에 기초하여 상품을 추천하기 위한 과정을 설명하기 위한 도면이다.

도 2에서 시선 데이터를 수집하는 단계(210)는 소비자의 시선을 추적하는 것을 포함한다. 소비자의 시선을 추적하는 기술은 전술한 시선 추적 기술을 참조하여 구현이 가능할 것이다.

도 2에서 실시간으로 시선을 분석하는 단계(220)는 시선 데이터를 수집하는 단계(210)에서 수집된 소비자의 시선을 포함하는 데이터를 인공지능을 통해 분석한다. 이러한 분석 단계에서, 소비자가 어느 항목에 관심을 가지는지, 구매의 최종 결정에서 가장 큰 영향을 미치는 요소가 어떤 것이지, 상품에서 선호하는 색상과 디자인이 무엇인지, 및 경쟁 제품과 어떤 요소를 비교하였는지를 판단할 수 있다. 또한, 예컨대 상품 선택 시 우선적으로 고려하는 요소가 무엇인지, 즉 가격, 상품평, 브랜드 등 소비자에 따른 다양한 우선 요소를 찾아낼 수 있다. 결정적 구매 요소가 무엇인지 알아낼 수 있다. 상품 구매 시 얼마나 심사숙고하는지, 소비자가 어느 항목에 시선이 오래 머무는지 등 수 많은 미시적 요소들을 찾아낼 수 있으므로, 소비자의 취향을 정확하게 저격하는 추천이 가능하다.

온라인 쇼핑에서 가장 중요한 구매와 관련한 이론으로서, 미국의 경제학자 롤랜드 홀이 발표한 구매행동 이론 'AIDMA'는 A-Attention(주의), I-Interest(흥미), D-Desire(욕구), M-Memory(기억), A-Action(구매)를 나타낸다. 소비자의 주의를 끌어 흥미를 자극하고 소유욕을 일으킴으로써 구매 행위로 옮아가게 한다는 구매행동 이론이다. 이러한 구매행동 이론은 시선 추적에 기술적으로 동일한 취지로 적용될 수 있다. 소비자가 상품에서 시선이 머무르게 되는 눈은 주의에 반사적으로 반응하고, 흥미가 있는 곳에 머무를 수밖에 없다.

본 발명은 소비자의 욕구에 부응하기 위해 다양한 소비 촉진 시스템들이 가동되고, 인공지능 알고리즘을 적용한 솔루션들이 출시되고 있으나, 눈에 띄는 효과를 거두지 못하는 경우가 많았던 기술적 한계점을 인식하고, 그에 대한 근원적인 해법을 '독서 교육이론'에서 찾아 적용하였다. 독서행위에 영향을 미치는 주요 요인은 텍스트, 독자, 맥락인데, 이 세 가지 중 어느 요인을 강조하는지에 따라 그 특성을 달리한다. 이러한 독서 교육이론에서의 주요 요인을 온라인 쇼핑에 적용해보면 상품, 소비자, 상품에 대한 소비자의 행동 패턴이다.

소비자의 욕구를 충족하기 위해서는 단순 소비패턴 분석이나, 미세하지 않은 블록형 데이터에 인공지능 알고리즘을 더하더라도 큰 효과는 없을 것이다.

따라서 소비자가 바라보는 행위와 시선이 머무는 지점과 체류시간을 분석하면, 즉 고기를 저미듯 세세하게 잘라 분석하고, 정밀한 분석데이터를 기반으로 고객 맞춤형으로 상품을 추천을 할 수 있다.

또한 인공지능 학습을 통해 다른 유사행동패턴을 보이는 소비자의 구매상품과 연관 지어 관련 상품 추천을 하는 등의 고도화된 서비스를 제공할 수 있게 된다.

본 발명은 기존의 단편적인 쇼핑 형태 분석이 아닌 다양한 소비 형태를 분석할 수 있는 것으로 세밀한 요소까지 정확하게 분석해 낼 수 있다. 본 발명에는 시선의 경로까지 빠르게 추적하여 소비자의 관심이 집중된 요소가 무엇인지를 찾아내는 알고리즘이 적용된다.

본 발명에서는, 인공지능을 통한 정량화되고 객관화된 소비자 선호도 분석기술이 이용되며, 이 경우 기존 쇼핑몰이 가진 구매 패턴 분석의 주요 요소는 검색 키워드, 상품 페이지 탐색 및 체류 시간, 장바구니 상품, 실제 구매 내역, 방문 횟수, 클릭 횟수 등이므로 정확도와 활용 가치가 비교적 낮다. 소비자의 관심을 정량적으로 측정할 수 있는 유일한 분석 기술·및 개발을 통해 소비자가 어느 항목에 관심을 갖는가, 최종 결정에 가장 큰 영향을 미친 요소는 결국 무엇이었는가, 선호하는 색상과 디자인이 무엇이었는가, 경쟁 제품과 어떤 요소를 비교하였는가 등을 인공지능을 통해 분석할 수 있다.

고객 맞춤형 마케팅을 제공하는 단계(230)는 인공지능을 통해 분석된 실시간으로 분석된 시선을 포함하는 데이터에 기초하여 고객 맞춤형 마케팅을 제공할 수 있다. 즉, 실시간으로 시선을 분석하고, 그 분석에 기초하여 상품을 추천할 수 있다.

고객 맞춤형 마케팅을 제공하는 단계(230)에서, 소비자의 쇼핑 행동을 다양한 감성적 요소들을 기반으로 분석하고, 구매 이력을 통한 상품과 소비자의 행동 분석 및 그에 의한 일정별, 성별, 연령별 맞춤형 상품을 자동으로 추천할 수 있다. 예를 들어, 해당 상품이 필수품(정기적 필수품)인지, 기간별 필수품(예컨대 3~6개월)인지, 평생 단 한 번 구매 등의 구매 주기를 분석한 결과를 고객에게 일정 주기에 맞춰 추천할 수도 있다. 또한, 남성/여성 전용물품 등(면도용품, 여성용 화장품 등)이 성별에 따라 추천될 수 있다. 또한, 연령대별(예컨대 30대 기혼자 대상 육아 용품 등) 별로 적절한 상품이 추천될 수 있다.

도 3은 시선추적에 기초하여 상품을 추천하기 위한 과정에서 시선추적 데이터로 고려되는 사항을 설명하기 위한 도면이다.

획득된 시선추적 데이터는 눈동자 위치, 눈동자 동작 거리, 눈동자 동작 속도, 눈동자 동공 크기, 및 눈동자 체류시간 등을 포함한다.

도 4는 소비자가 온라인 쇼핑을 진행할 때 시선 추적을 획득하는 과정을 설명하기 위한 도면이다.

소비자(410)가 컴퓨터 등에 별도로 장착된 하나 이상의 카메라(420)를 통해 온라인 쇼핑을 진행할 때 상품 페이지(430)에서 소비자(410)의 시선이 어느 영역에 머무는지, 머무는 시간은 얼마나 되는지가 측정될 수 있다.

도 5a는 소비자 맞춤형 습관분석을 위한 인공지능 알고리즘을 적용하는 과정을 설명하기 위한 도면이다.

인공지능 알고리즘은 특징부 학습 과정(510) 및 분류 과정(52)을 포함한다.

구체적으로, 기계학습(Machine learning) 알고리즘기반 ITS(Intelligent Tutoring System)는, ① 패턴을 찾고 특징을 분류하는데 높은 수준의 학습자 모델을 제공하는 시스템에 가장 적합한 인공지능 알고리즘이며, ② 각각의 대량의 입력 데이터가 필터(커널)을 통해 컨볼루션 층을 통과하면서(510) 특징, 즉 패턴을 추출하고 최종적으로 분류(525), 분석 결과 데이터를 제공한다. 빅데이터를 기반으로 학습능력 수준을 분석하고 정확한 정량화되고 객관화된 학습능력 분석 결과 데이터 제공할 수 있다.

도 5b는 소비자 맞춤형 습관분석을 위한 인공지능 알고리즘을 적용하는 과정을 설명하기 위한 도면이다.

소비자의 학습활동의 형태분석을 통해서 학습데이터 수집, 수집방법, 전처리, 모델개발, 모델학습, 모델검증, 학습결과의 추천 등에 대한 구체적인 알고리즘은 이하에서 설명된다.

즉 개인별 시선추적을 통해 개인별 시선체류시간, 시선 동선, 선호 요소, 경쟁상품 고려, 찜한 상품 구매빈도, 재검색여부 등 학습이 반복될수록 개개인에 대한 분석평가가 정확해지고, 다수공통의 분석평가에 적용될 수 있다.

이러한 학습된 결과 데이터는, ① 상품의 요소 검색 순서, ② 상품 요소별 시선 체류시간에 따른 중시 요소, 및 ③ 구매 결정 요소 등을 추정할 수 있다.

도 5c는 시선추적 기술을 적용한 온라인 쇼핑몰에서의 분석을 설명하기 위한 일 실시예를 설명하기 위한 도면이다.

구체적으로, 도 5c를 살펴보면, 소비자가 검색한 순서와 체류 시간, 즉 검색 요소별 체류 시간이 나타나 있다. 공의 크기는 시선 체류시간의 길이를 나타낸다. 즉 한곳을 보고 있으면 공의 크기가 점점 커진다. 공 안의 숫자는 시선의 순서이다.

도 5c에서 시선의 순서에 따라 살펴보면, 소비자는 첫 번째로 가격을 보았으며 가장 오랜 시간을 체류했고, 두 번째로 브랜드를 보았다. 세 번째로 화면을 움직여 별점, 즉 구매자들의 평가 점수를 보았고 마지막으로 상품평과 사진을 보았다. 상품평에 있는 공의 숫자와 크기를 보면 매우 세세하고 꼼꼼하게 상품평을 읽어 내려간 것을 확인할 수 있다.

예를 들어, 도 5c의 분석 결과에 기초하여, ① 상품의 요소 검색 순서, ② 상품 요소별 시선 체류시간에 따른 중시 요소, 및 ③ 구매 결정 요소를 추정할 수 있다.

① 상품의 요소 검색 순서

ⓐ 가격 → ⓑ 브랜드 → ⓒ 별점(평가 점수) → ⓓ 상품평 사진

② 상품 요소별 시선 체류시간에 따른 중시 요소

ⓐ 가격 → ⓑ 상품평 → ⓒ 별점 → ⓓ 브랜드

③ 구매 결정 요소

ⓐ 가격 → ⓑ 상품평 → ⓒ 브랜드 → ⓓ 별점

도 6은 시선추적시스템에서 제공되는 시선정보를 빠르게 분석하여 화면에 출력하고, 이를 분석하여 인공지능 학습시스템과 연동하는 과정을 설명하기 위한 도면이다.

시선추적을 분석하여 이용하는 것과 관련하여, 아래와 같은 지표들이 정의될 수 있다.

주요 성능지표	시료정의	측정방법(규격, 환경, 결과치 계산 등)
시선추적 반응시간	도착시선의 위치가 점으로 표현	시선추적시간: 정면(0°)을 기준으로 하여 시선멈춤에 의해 화면에서 도착시선의 위치가 점으로 표현되기까지의 시간
시선추출 정확도	시선 실도착 위치와 화면표시점간 차이	27인치 모니터(FHD)를 기준으로 하여, 실제 시선 도착위치와 화면에 표시된 시선 도착점간의 차이를 화소 단위로 표현
시선체류 반응시간	시간공 생성이후 커지기 까지 시간	시선이 멈추고 나서 체류하고 있는 상태의 반응시간, 즉 시간공이 만들어진 이후 체류시간에 따라 커지는 시간
시착지점 분해능	시착지점 분해능	시선도착 지점을 그리드 형태로 구성
최대시선 허용거리	얼굴과 모니터간 작동 허용 거리	동일크기의 모니터를 기준으로 하여, 얼굴과 모니터간의 최대 허용시선 추적거리
시착지점 인지반응	시착점 인지 반응	시선도착이후 시간공이 생성되기까지 시간
시선체류 시간공 크기 정확도	체류시간 만큼의 시간공 크기	시간공의 크기와 시선체류 시간 비례 비율
사용자 만족도, 추천정확도	설문조사 항목	협력업체를 통해서 쇼핑 소비자를 대상으로 랜덤 설문조사

도 7은 시선추적시스템에서 분석에서 사용될 수 있는 CNN 인공지능 학습 알고리즘을 설명하기 위한 도면이다. 본 발명에서 시선추적 데이터는 CNN 인공지능 학습 알고리즘이 적용될 수 있다. 합성곱신경망(CNN) 알고리즘을 이용한 머신러닝 학습 적용하고, 사진에서 상품을 추출할 경우 CNN 알고리즘을 사용할 수 있으며, 구매목록 분석 시 소비재, 필수재 등을 단위별로 묶어서 유사 상품을 그룹화할 수 있다.

소비자의 쇼핑활동의 형태분석을 통해서 학습데이터 수집, 수집방법, 전처리, CNN모델개발, CNN모델학습, 모델검증, 학습결과의 추천 등에 대한 구체적인 알고리즘은 딥러닝 방식을 이용할 수 있다.

또한, 머신러닝을 통해 눈이 멈추는 '표준시간'을 찾을 수 있다. 소비자가 온라인 쇼핑을 하면서 생기는 시간공에 대한 멈춤 현상에 대한 시간을 머신러닝을 통해서 표준 시간을 찾을 수 있다. 인간은 사물을 인식하는데 통상적으로 기존의 인식 시간이 0. 3초로 인식하고 있다. 하지만 이것이 컴퓨터를 사용할 때와 일반 사물을 인식할 때 그리고 움직이는 사물을 인식하는데 모두 다른 표준 시간을 가지고 있다. 즉, 움직이는 화면에서 쇼핑을 할 때의 연령별 표준 시간은 머신러닝을 통해 얻어지는 표준 시간을 이용한다면, 소비자들의 쇼핑 패턴을 보다 더 정교하게 찾아서 맞춤 컨설팅이 가능할 수 있다.

도 8은 소비자 행동 데이터로 보는 방식과 분석 가능 요소로 쇼핑몰을 접근하는 방식에 따른 시선추적기술 적용 쇼핑몰 분석의 요소를 보여주는 도면이다.

본 발명은 RGB 카메라를 활용하여 쇼핑패턴 분석할 수 있다. 한편, 안경형 카메라를 착용하고 동영상을 찍어서 동영상 자체를 분석하는 소비자 선호도 조사를 진행할 수도 있다. 진행 중이다

또한, 온라인 쇼핑몰의 사진은 OCR을 통해 텍스트로 변환될 수 있다.

도 9는 시선 추적에 따른 시공간 맵을 나타내는 도면이다. 도 9에서 숫자는 시선의 순서를 나타내고, 숫자가 기재된 원의 크기는 시선이 머무는 시간에 따라 반지름의 크기가 비례한다. 시선의 순서에 해당하는 시선은 일정한 주기를 가지고 샘플링될 수 있다.

시선추적을 이용하여 상품을 추천하기 위한 애플리케이션은 아래와 같은 시선추적결과에 대한 UI/UX가 제공될 수 있다.

- 시선추적동선에 반응하여 시선이 머무른 곳에 시간공을 표시하고, 시간공 내부에 시선의 체류순서 번호를 표기

- 동일한 시착점에 시선의 체류시간이 길어질 경우, 시간공의 크기가 점점 증가

- 시간공이 시착점의 위치를 따라다니며 동선을 표기

- 시간공과 시착점 및 동선정보를 화면에 활성화/비활성화 선택

- 시착점에 표시된 정보를 판독

- 시착점의 사진/그림에 표시된 글자가 있을 경우 OCR 기능을 작동

- 시착점의 사진/그림에서 상품과 텍스트를 구분

- 시착점의 사진/그림에서 상품의 디자인 요소를 추출

- 시착점의 상품사진의 색상정보를 추출

도 10은 일 실시예에 따른 장치의 구성의 예시도이다.

일 실시예에 따른 장치(200)는 프로세서(210) 및 메모리(220)를 포함한다. 프로세서(210)는 도 1 내지 도 9를 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 9를 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 장치(200)를 이용하는 자 또는 단체는 도 1 내지 도 9를 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.

메모리(220)는 전술된 방법들과 관련된 정보를 저장하거나 전술된 방법들을 구현하는 프로그램을 저장할 수 있다. 메모리(220)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(210)는 프로그램을 실행하고, 장치(200)를 제어할 수 있다. 프로세서(210)에 의하여 실행되는 프로그램의 코드는 메모리(220)에 저장될 수 있다. 장치(200)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.

다른 실시예에서, 소비자의 시선 추적 정보를 이용하는 개인정보 동의를 요청하는 것을 포함할 수 있다. 소비자의 시선 추적 정보를 이용하는 개인정보 동의를 소비자가 동의하는 경우, 소비자에게 인센티브(쇼핑몰을 중개하는 특정 사이트 또는 환급가능한 포인트 등)가 지급될 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 통상의 기술자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (10)

1. 데이터베이스를 포함하는 장치에 의해 수행되는, 시선추적에 기초하여 상품을 추천하기 위한 방법에 있어서,
   촬영 장치 및 디스플레이 장치를 포함하는 사용자 단말에서, 상기 촬영 장치를 이용하여, 사용자가 상기 디스플레이 장치에서 디스플레이되는 온라인 쇼핑몰에서 상품 페이지 내에서 사용자의 눈동자들의 위치 및 방향을 추출함으로써 상기 사용자의 시선을 추적하는 단계;
   상기 사용자의 시선에 기초하여, 상기 사용자의 눈동자들의 위치 및 방향을 포함하는 시선에 관한 데이터를 일정한 시간마다 샘플링하고, 상기 시선에 관한 데이터를 상기 데이터베이스에 저장하는 단계;
   상기 장치에서, 샘플링되는 시간마다 각각의 사용자 시선이 머무르는 지점에 대하여, 상기 사용자의 시선이 머무르는 시간을 측정하는 단계;
   상기 장치에서, 상기 사용자의 샘플링되는 시선에 관한 데이터 및 상기 사용자의 시선이 머무르는 시간에 기초하여, 머신러닝(machine learning)을 통해 실시간으로 시선을 분석하는 단계 - 상기 머신러닝을 통해 상기 시선을 분석하는 단계는, 한 지점에서 시선이 제1 시간 동안 머무는 고정(Fixation), 시선이 제2 시간 이내에 이동하는 도약(Saccade), 시선의 경로인 주사경로(Scan path) 및 세부 특징 탐지를 위해 시선이 특정지점으로 되돌아오는 재방문(Revisit)으로 구성되는 분석 요소들에 기초하여 상기 사용자의 시선을 분석하는 단계를 포함함 -;
   상기 사용자의 온라인 쇼핑에서 행동습관을 결정하기 위한 상기 머신러닝의 모델에 입력하여 학습시키는 단계 - 상기 행동습관은 하나 이상의 시간공을 포함하는 시공간 맵으로 표현되며, 상기 시공간 맵에서 상기 시간공 내의 숫자는 상기 샘플링되는 시간마다 상기 사용자가 머무르는 시선의 지점의 순서를 나타내고, 숫자가 기재된 시간공의 크기는 상기 사용자의 시선이 머무르는 시간에 따라 상기 시간공의 반지름의 크기가 비례함 -;
   상기 사용자의 행동습관 및 머신러닝을 통해 상기 사용자가 쇼핑을 진행하는 동안에 상기 사용자의 눈이 멈추는 상기 시간공에 대한 멈춤 현상에 대한 시간인 표준시간을 결정하여, 상기 사용자를 포함하는 소비자들의 쇼핑 패턴을 분석하는 단계 - 상기 표준 시간은 머신러닝을 통해 얻어지는 표준 시간을 이용하고, 상기 표준 시간은 연령별 표준 시간을 포함함 -; 및
   상기 사용자의 행동습관 및 머신러닝을 통해 학습된 유사행동패턴을 보이는 다른 소비자들의 데이터 및 상기 연령별 표준 시간에 기초하여, 사용자 단말에서 상기 사용자에게 상품을 추천하는 단계 - 상기 다른 소비자들의 상기 유사행동패턴은 상기 사용자와 상기 다른 소비자들 각각의 시공간 맵에서 각각의 시선의 지점의 순서 및 각각의 원의 크기의 패턴의 유사도에 기초하고, 상기 패턴의 유사도는 상기 사용자와 상기 다른 소비자들의 시선의 지점의 순서의 좌표들 사이의 절대값 및 상기 지점의 순서에 해당하는 각각의 원의 크기의 차이값에 기초함 -
   를 포함하고,
   상기 사용자의 시선을 추적하는 단계는,
   상기 사용자 단말에 장착된 상기 촬영 장치를 통해 획득된 사용자의 얼굴 영상에서 상기 사용자의 좌측 및 우측 눈 영역을 촬영하는 단계;
   촬영된 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계;
   상기 눈 영역 각각의 크기 및 상기 눈동자들의 크기를 기초하여, 상기 사용자와 상기 사용자 단말 간의 이격 거리를 산출하는 단계;
   상기 눈 영역 각각의 동공의 응시각을 산출하는 단계;
   상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 디스플레이 장치 내에 위치하는지 여부를 확인하는 단계; 및
   상기 눈동자들의 위치, 상기 이격 거리 및 상기 동공의 응시각에 기초하여, 상기 사용자의 시선이 상기 디스플레이 장치 내에서 지점에 머무르고 있는 것으로 결정하는 단계
   를 포함하고,
   상기 방법은,
   사용자를 복수의 각도로 촬영하는 단계;
   촬영된 사용자의 이미지를 8비트의 컬러로 계조 변환시키는 단계;
   상기 복수의 각도로 촬영된 이미지에 기초하여, 계조 변환된 이미지에서 얼굴의 특징점을 추출하는 단계;
   상기 특징점에 기초하여, 상기 사용자의 얼굴을 3차원 특징점으로 변환하는 단계;
   상기 사용자의 얼굴을 3차원 특징점에 기초하여, 상기 사용자를 인증하는 단계; 및
   상기 사용자가 인증되고 상기 사용자가 상기 온라인 쇼핑몰 상에서 결제를 진행하는 경우, 상기 결제가 완료되는 단계
   를 더 포함하고,
   상기 사용자의 온라인 쇼핑에서 행동습관을 결정하기 위한 상기 머신러닝의 모델에 입력하여 학습시키는 단계는,
   시선추적 동선에 반응하여 시선이 머무른 곳에 시간공을 표시하고, 시간공 내부에 시선의 체류순서 번호를 표기하는 단계;
   동일한 시착점에 시선의 체류시간이 길어질 경우, 시간공의 크기가 점점 증가하는 단계;
   시간공이 시착점의 위치를 따라다니며 동선을 표기하는 단계;
   시간공과 시착점 및 동선정보를 상기 디스플레이 장치에 활성화할지 여부를 선택하는 단계;
   시착점에 표시된 정보를 판독하는 단계;
   시착점의 사진 또는 그림에 표시된 글자가 있을 경우 OCR 기능을 작동시키는 단계;
   시착점의 사진 또는 그림에서 상품과 텍스트를 구분하는 단계;
   시착점의 사진 또는 그림에서 상품의 디자인 요소를 추출하는 단계; 및
   시착점의 상품사진의 색상정보를 추출하는 단계
   를 포함하고,
   상기 머신러닝을 통해 실시간으로 시선을 분석하는 단계는,
   사용자별 시선추적을 통해 시선체류시간, 시선 동선, 선호 요소, 경쟁상품 고려여부, 찜한 상품 구매빈도, 재검색여부를 사용자별로 분석하는 단계; 및
   사용자별 분석을 통해 상품의 요소 검색 순서, 상품 요소별 시선 체류시간에 따른 중시 요소, 및 구매 결정 요소를 추정하는 단계
   를 더 포함하고,
   상기 사진에서 상품을 추출할 경우 합성곱신경망(CNN) 학습 알고리즘이 적용되고, 상기 CNN 학습 알고리즘에 기초하여 구매목록 분석 시 소비재 및 필수재를 단위별로 묶어서 유사 상품이 그룹화되는, 시선추적에 기초하여 상품을 추천하기 위한 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제

Images