KR20170028302A - 시선 정보에 기초하는 자극들에 대한 주의의 결정 - Google Patents

Abstract

바이오메트릭 데이터와 자극들 사이의 관계를 결정하여 결론에 도달하는 방법이 개시된다. 이 방법은 표시된 자극들을 식별 라벨과 연관시키는 단계를 포함할 수 있다. 상기 방법은 또한 표시된 자극들에 대한 바이오메트릭 데이터를 수집하는 단계를 포함할 수 있다. 상기 방법은 상기 바이오메트릭 데이터에 기초하여 상기 표시된 자극들에 등급을 부여하는 단계를 추가로 포함할 수 있다. 상기 방법은 등급을 식별 라벨과 연관시키는 단계를 추가로 포함할 수 있다.

Description

시선 정보에 기초하는 자극들에 대한 주의의 결정{DETERMINATION OF ATTENTION TOWARDS STIMULI BASED ON GAZE INFORMATION}

관련 출원의 상호 참조

본원은 2014년 11월 17일자로 "DETERMINATION OF ATTENTION TOWARDS STIMULI BASED ON GAZE INFORMATION"이라는 명칭으로 출원된 미국 특허 가출원 제62/080,850호 및 2014년 4월 28일자로 "SYSTEMS AND METHODS FOR ONLINE INFORMATION ANALYSIS"라는 명칭으로 출원된 미국 특허 가출원 제61/985,212호에 대한 우선권을 주장한다. 이에 따라, 전술한 미국 특허 가출원들 양자의 전체 개시내용은 모든 목적을 위해 본 명세서에서 충분히 설명되는 것처럼 참고로 포함된다.

본 발명의 실시들은 일반적으로 시선 정보를 이용하여 자극들에 대한 주의를 결정하기 위한 시스템 및 방법에 관한 것이다.

자극들에 대한 관심 또는 주의를 결정하기 위해 사용자의 시선을 분석하는 많은 방법 및 시스템이 존재한다. 이들 시스템 및 방법은 눈 추적기와 같은 전용 시선 결정 디바이스, 웹캠 등과 같은 컴퓨팅 장비 및/또는 다른 카메라 및 센서를 이용할 수 있다.

이러한 방법 및 시스템은 많은 경우에 있어서 사용자에 의한 전용 설정을 필요로 하며, 사용자의 경험이 어떻게든 제한되지 않도록 매끄럽게 기능하지 않는다. 또한, 자극들의 소유자 또는 생성자는 현재 제공되는 것보다 더 자세한 정보와 더 나은 정보에 대한 액세스를 필요로 한다.

본 발명의 실시예는 공지된 시스템 및 방법에 대한 개선을 제공하여, 사용자에 대한 개선된 경험 및 자극들 소유자 또는 생성자에 대한 개선된 정보를 가능하게 한다.

본 발명은 첨부된 첨부 도면과 관련하여 설명된다.
도 1은 본 발명의 일부 실시예에 따른 메타데이터의 표현이다.
도 2는 본 발명의 일부 실시예에 따른 시스템 구조도이다.
도 3은 스터디용 템플릿의 예이다.
도 4는 템플릿에 기초한 스터디를 위한 생성 다이얼로그의 표현이다.
도 5는 스터디의 일부로서 사용될 수 있는 비디오 파일을 도시한다.
도 6은 예시적인 스터디의 결과를 분석하기 위한 대시보드를 도시한다.
도 7은 관련 시선 히트맵과 함께, 관찰에 이용 가능한 3개의 스터디를 보여주는 목록이다.
도 8은 미디어 파일 위에 오버레이된 관심 영역(AOI)의 표현이다.
도 9는 본 발명의 장치 또는 시스템의 적어도 일부분에서 사용될 수 있거나 본 발명의 방법의 적어도 일부분을 구현할 수 있는 예시적인 컴퓨터 시스템의 블록도이다.
첨부된 도면들에서, 유사한 컴포넌트 및/또는 특징은 동일한 수치 참조 라벨을 가질 수 있다. 또한, 동일한 타입의 다양한 컴포넌트는 유사한 컴포넌트 및/또는 특징 중에서 구별하는 문자에 의해 참조 라벨을 뒤따름으로써 구별될 수 있다. 첫 번째 숫자 참조 라벨만이 본 명세서에 사용되면, 설명은 글자의 접미사에 관계없이 동일한 첫 번째 숫자 참조 라벨을 갖는 유사한 컴포넌트 및/또는 특징 중 임의의 하나에 적용 가능하다.

다음의 설명은 예시적인 실시예만을 제공하고, 본 개시내용의 범위, 적용가능성 또는 구성을 제한하도록 의도되지 않는다. 오히려, 예시적인 실시예들의 다음의 설명은 하나 이상의 예시적인 실시예들을 구현하는 권능 설명을 본 기술분야의 통상의 기술자에게 제공할 것이다. 첨부된 청구범위에 개시된 바와 같은 본 발명의 기술사상 및 범주를 벗어나지 않고 요소들의 기능 및 배열에 있어서의 다양한 변경이 이루어질 수도 있다.

실시예의 완전한 이해를 제공하기 위해 특정 상세가 이하의 설명에 주어져 있다. 그러나, 이 분야의 통상의 기술자는 그러한 특정 상세 없이도 실시예들이 실시될 수 있다는 것을 이해할 것이다. 예를 들어, 본 발명 내의 회로들, 시스템들, 네트워크들, 프로세스들, 및 다른 요소들은 불필요한 상세에서 실시예들을 모호하게 하지 않도록 블록도 형태의 컴포넌트들로 도시될 수 있다. 다른 경우에, 널리 공지된 회로, 프로세스, 알고리즘, 구조 및 기법이 구성을 불명료하게 하는 것을 피하기 위해 불필요한 상세 없이 도시될 수 있다.

또한, 개개의 실시예가 흐름도, 흐름도, 데이터 흐름도, 구조도, 또는 블록도로서 나타내어지는 프로세스로서 기술될 수 있다는 것에 유의한다. 흐름도는 동작들을 순차적인 프로세스로서 설명할 수 있지만, 동작들의 많은 부분이 병렬적으로 또는 동시에 수행될 수 있다. 또한, 동작들의 순서는 재배열될 수 있다. 프로세스는 그것의 동작들이 완료될 때 종결될 수 있지만, 도면에서 논의되거나 포함되지 않은 부가 단계들을 가질 수 있다. 더욱이, 임의의 특별히 설명된 프로세스 내의 모든 동작들은 모든 실시예들에서 발생할 수 있는 것은 아니다. 프로세스는 메소드, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응하면, 그것의 종료는 호출 함수(calling function) 또는 메인 함수로의 그 함수의 반환에 대응한다.

용어 "머신 판독가능 매체"는 명령어(들) 및/또는 데이터를 저장, 포함 또는 운반할 수 있는 휴대용 또는 고정 저장 디바이스들, 광학 저장 디바이스들, 무선 채널들 및 여러가지 다른 매체들을 포함하지만, 이들에 제한되지 않는다. 코드 세그먼트 또는 머신 실행가능 명령어들은 절차, 기능, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 임의의 조합의 명령어들, 데이터 구조들, 또는 프로그램 문장들을 나타낼 수 있다. 코드 세그먼트는, 정보, 데이터, 인수, 매개변수 또는 메모리 내용을 전달 및/또는 수신함으로써, 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수 있다. 정보, 인수, 파라미터, 데이터 등이 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 등을 포함하는 임의의 적절한 수단을 통해 전송, 전달 또는 송신될 수 있다.

더욱이, 본 발명의 실시예들은 적어도 부분적으로 수동으로 또는 자동으로 구현될 수 있다. 수동 또는 자동 구현들은 머신들, 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어들, 또는 그것의 임의의 조합의 사용을 통해 실행되거나, 적어도 원조될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현될 때, 필요한 작업들을 수행하는 프로그램 코드 또는 코드 세그먼트들은 머신 판독가능 매체에 저장될 수 있다. 프로세서(들)가 필요한 작업들을 수행할 수 있다.

본 발명의 실시예는 표시된 자극들에 대한 관심 또는 주의를 결정하기 위한 효율적인 시스템 및 방법을 제공한다. 본 발명의 상기 및 다른 목적은 명세서, 청구 범위 및 첨부 도면으로부터 명백해질 것이다.

일 실시예에서, 표시된 미디어 또는 자극들에 관한 바이오메트릭 데이터를 결정하는 방법이 제공된다. 상기 방법은 컴퓨팅 디바이스 상에 미디어 또는 자극들을 표시하는 것으로 구성되는 스터디를 배열하는 단계; 컴퓨팅 디바이스 상에 미디어 또는 자극들을 표시하는 단계; 표시된 미디어 또는 자극들에 대한 바이오메트릭 데이터를 측정하는 단계; 상기 측정된 바이오메트릭 데이터를 처리하는 단계; 바이오메트릭 데이터의 측정으로부터 얻은 결론을 제시하는 단계를 포함할 수 있다.

또한, 상기 방법의 임의의 단계는 방법의 임의의 다른 단계와는 별도의 위치 또는 시간에 둘 이상의 컴퓨팅 디바이스에서 수행될 수 있다. 또한, 컴퓨팅 디바이스는 원격적이고, 지리적으로 분리될 수 있다. 마지막으로, 두 명 이상이 방법의 모든 단계에서 협력할 수 있다.

스터디는 적어도 한 사람을 포함되며, 국지적으로 또는 원격적으로 수행될 수 있다. 예를 들어 스터디는 웹 브라우저 또는 애플리케이션을 통한 상호 작용을 포함할 수 있다. 스터디는 도 3에 도시된 바와 같이 템플릿에 의해 정의되고, 도 4에 도시된 바와 같이 편집될 수 있다. 도 5는 스터디의 일부로 사용될 수 있는 비디오 파일을 나타낸다. 도 6은 예시적인 스터디의 결과를 분석하기 위한 대시보드를 보여준다. 도 7은 관련 시선 히트맵와 함께 관찰에 이용 가능한 세 가지 스터디를 보여주는 목록이다.

객체 마커

일 실시예에서, 콘텐츠 소스를 분석하고 키 메타데이터로 아이템을 마킹하는 방법이 제공된다. 상기 메타데이터는 이 분야의 기술자가 쉽게 이해할 수 있는 형태이며, 위치, 깊이, 유형, 비즈니스 속성(예를 들어, 회사, 필드, 제품), 광고 네트워크, 및/또는 비디오 게임 요소를 포함하지만 이에 한정되지 않는다. 아이템에는 이미지, 텍스트, 애니메이션, 컴퓨터 또는 전화 애플리케이션, 실제 상호 작용, 기타 상호 작용 또는 이들의 조합이 포함될 수 있다.

메타데이터로 아이템을 마킹하는 프로세스는 수동으로 수행되므로, 아이템의 깊이, x 및 y 위치가 기록되고 명명된다. 가시성, 컬러 및 콘텐츠를 포함하되 이에 제한되지 않는 아이템의 다른 속성도 기록되고 명명될 수 있다. 이름은 메타데이터 형식으로도 제공되며 데이터베이스에 연결된다. 바람직하게는, 메타데이터가 변경되면 메타데이터의 적어도 일부가 새로 고쳐진다. 설명하기 위해, 아이템은 지속적으로 폴링되고, 아이템이 변경되면 그에 따라 메타데이터가 변경된다. 예를 들어 이미지가 메타데이터로 태깅된 웹사이트의 경우 태깅된 아이템은 지속적으로 폴링된다. 태깅된 아이템의 x 또는 y 좌표가 변경되면 해당 아이템의 메타데이터가 그에 따라 업데이트된다. 이렇게 하면 객체의 크기, 모양 또는 위치가 변경되더라도 객체를 추적할 수 있다.

아이템을 마킹하는 프로세스는 예를 들어 웹사이트의 사전 결정된 레이아웃과 같은 템플릿을 활용하여 추가로 개선될 수 있다. 이렇게 하면 사전 결정된 위치에 있는 아이템, 즉 상단 배너 광고의 자동 마킹이 가능할 수 있다.

아이템들이 태깅되면, 이들은 본 발명의 일부 실시예에 따라 시선, 시간 및 다른 바이오메트릭 데이터와 대응될 수 있다. 이러한 다양한 유형의 정보는 여러 시스템에 의해 제공될 수 있다.

도 1은 본 발명의 일부 실시예에 따른 메타데이터의 예를 도시한다. 아이템 10은 x 및 y 좌표를 나타내고, 12는 태깅된 아이템에 대한 식별자를 나타내고, 14는 태깅된 아이템을 소유한 회사를 나타내고, 16은 아이템이 속한 광고 캠페인에 대한 식별자를 나타내고, 18은 외부 데이터베이스에 대한 식별자를 나타낸다. 도 2는 본 발명의 임의의 수의 가능한 실시예에 따른 시스템 구조도를 도시한다.

태그 또는 마커는 예를 들어 웹페이지 안에, 웹페이지의 요소에 가까운 위치에, 소프트웨어 안에 또는 비디오 게임 안에 삽입된 텍스트 문자열, 숫자 또는 임의의 다른 식별자일 수 있다. 컴퓨팅 디바이스에서 실행되는 소프트웨어는 관련 태그 및 그의 요소의 디스플레이 상의 정확한 위치에 대한 정보를 항상 수집하고, 이를 컴퓨팅 디바이스에서 수집한 시선 데이터 및 기타 데이터와 상관시킬 수 있다.

명확화를 위해, 본 발명의 이 양태는 예를 참조하여 더 설명될 것이다. 웹 서버에서 웹 브라우저로 다운로드한 하이퍼 텍스트 마크업 언어(HTML)로 정의된 웹페이지를 고려한다. 웹페이지는 코드 스니펫/자바스크립트 코드뿐만 아니라 일부 정보와 적어도 하나의 태킹된 광고 배너 요소를 포함하는 본문으로 구성된다. 태깅된 배너는 배너의 ID는 물론, 시선 데이터를 업로드해야 하는 웹 서비스로 연결되는 URL과 함께 웹페이지에 삽입된다. 자바스크립트 코드는 태그를 탐지하고 눈 추적기에 대한 연결을 요청하여 시선 방향 데이터를 획득한다. 눈 추적기에 성공적으로 연결되면 자바스크립트 코드는 시선 데이터를 업로드해야 하는 웹 서비스에 대한 연결을 생성한다. 웹 서비스에 성공적으로 연결되면 자바스크립트 스니펫은 디스플레이에서 배너의 위치를 지속적으로 모니터링하고 시선 데이터를 모니터링하고, 시선 방향이 배너를 향하면 관련 정보를 기록 서버에 업로드한다.

이 방법을 대규모로 구현함으로써, 소프트웨어는 제시된 정보가 본질적으로 매우 동적인 경우라 할지라도, 다양한 시선 정보를 갖는 다양한 웹사이트 및 소프트웨어 상의 다양한 광고로부터 정보를 신뢰성있게 수집할 수 있게 된다. 이 정보는 수집, 결합, 분석 및 보고되어 광고 효율에 대한 의미있는 지표를 제공할 수 있다.

외부 데이터베이스

본 발명의 일 양태에 따르면, 고유하게 식별 가능한 각각의 광고에 대한 단일 또는 복수의 특정 레이아웃을 갖는 광고 데이터베이스가 제공될 수 있으며, 바람직하게는 각각의 고유하게 식별 가능한 광고는 글로벌 광고 식별자와 연관된다. 컴퓨팅 디바이스의 사용 중, 특히 웹 브라우저와 같은 특정 소프트웨어가 사용되는 경우, 특정 광고를 특정 글로벌 광고 식별자를 갖는 것으로 식별하기 위해 사용자에게 보여지는 광고가 추출되고 그의 레이아웃/시각 디자인이 상기 언급된 데이터베이스와 매칭된다. 이 매치의 결정은 사용자의 컴퓨팅 디바이스에 기본적으로 설치되거나 온라인으로 호스팅되는 소프트웨어를 통해 수행될 수 있다. 소프트웨어는 웹페이지의 레이아웃을 분석하고 매치를 결정하기 위해 다양한 기술을 사용할 수 있으며, 이러한 기술에는 광학 문자 인식(OCR), 패턴 매칭 및 컴퓨터 비전 기술이 포함된다. 바람직하게는 매치는 정확한 매치 또는 근사 매치일 수 있다. 적절한 기술의 구현은 이 분야의 기술자에 의해 이해될 것이다.

더 명확히 하기 위해, 본 발명의 이 양태는 이제 웹사이트 상에 관심있는 요소를 표시하는 것에 관한 특정 예를 참조하여 설명될 것이다. 이 예에서 관심있는 요소는 광고이다.

일반적으로 웹사이트는 HTML(Hyper Text Markup Language)을 사용하여 작성된다. HTML은 웹사이트에 표시되는 모든 객체를 정의하며, 일반적으로 광고의 경우 HTML 코드는 위치 및 광고 제공자에 대한 참조를 간단히 정의할 수 있다. 광고 제공자 소프트웨어 또는 데이터베이스는 웹사이트 상에 표시될 특정 광고를 선택한다.

광고 제공자의 소프트웨어 또는 데이터베이스에 대한 액세스 없이 표시된 광고의 특정 식별자를 아는 것이 바람직하다. 따라서 광고의 이미지를 캡처하고 컴퓨터 알고리즘을 사용하여 이미지를 알려진 광고의 데이터베이스에 매칭시키는 등의 기술을 활용하는 것이 필요하다. 다른 매칭 방법은 비디오의 특정 프레임을 데이터베이스 내의 다른 비디오의 알려진 프레임과 매칭시키는 것이다.

광고가 매칭되면, 소프트웨어 또는 브라우저는 그 광고에 대한 사용자의 시선 방향에 관한 정보를 수집할 수 있다. 이 정보는 국지적으로 저장되거나 분석을 위해 다른 위치로 전송될 수 있다.

이제, 도 2를 참조하여, 본 발명의 이 양태가 설명될 것이다.

아이템 또는 아이템들이 디스플레이에 표시되며, 예를 들어 브라우저 또는 컴파일된 소프트웨어를 통해 표시될 수 있다. 표시된 아이템의 적어도 일부는 본 발명에 따른 소프트웨어에 의해 데이터베이스로 전송된다. 일부 예에서는, 표시된 아이템의 전체 사본이 데이터베이스로 전송될 수 있다. 상기 부분은 이전에 기술된 기술을 사용하여 캡처될 수 있거나, 임의의 공지된 기술을 사용하여 캡처될 수 있다.

표시된 아이템의 부분은 국지적 데이터베이스와 비교되거나 비교를 위해 온라인 데이터베이스로 전송된다. 부분과 데이터베이스 내의 엔트리 간에 매치가 발견되면, 그 엔트리와 관련된 정보가 본 발명에 따른 소프트웨어에 제공된다. 이 정보는 식별 정보 등일 수 있으며, 표시된 아이템에 대한 시선 데이터를 등록하기 위해 소프트웨어에 의해 사용될 수 있다.

표시된 아이템의 부분과 데이터베이스 사이에서 매치가 발견되지 않는 경우, 표시된 아이템의 일부 또는 전부는 추가 분석 및/또는 분류를 위해 데이터베이스에 입력될 수 있다.

사용자 브라우징 거동

사용자의 컴퓨팅 디바이스 상에 설치되거나 온라인 호스팅되는 소프트웨어는 사용자가 컴퓨팅 디바이스를 사용하는 동안 그의 시선 방향에 의해 표현되는 바와 같은 사용자의 주의를 계속 추적할 수 있다. 이 주의 정보는 데이터베이스로 전송될 수 있다. 정보에는 다음이 포함된다.

- 광고 식별 정보

- 원시 시선 데이터와 같은 시선 정보, 광고 상의 고정물과 같은 필터링된 시선 데이터, 광고에 고정하는 시간 등

- 광고를 보는 동안의 갈바니 피부 반응, 동공 확장, 심장 박동, EEG, 얼굴 표정 등과 같은 기타 데이터

바람직하게는, 사용자가 정상적인 활동을 수행하는 동안, 즉 사용자가 정보가 수집되어 데이터베이스로 전송된다는 사실을 기반으로 그의 거동을 변경하지 않는 동안, 이러한 정보가 수집되어 데이터베이스로 업로드될 수 있다.

수집된 정보는 결합되어 사용자의 브라우징 거동을 나타내는 메트릭을 구축할 수 있다. 메트릭은 사용자가 특정 정보(예를 들어, 특정 광고)를 보는 데 소비하는 시간의 비율, 특정 정보를 보는 데 걸린 시간, 사용자가 동일한 정보를 반복적으로 본 횟수와 같은 정보를 정의할 수 있다. 또한, 메트릭은 관심 있는 요소를 바라보는 동안의 사용자의 감정 상태와 같은 정보의 변화를 나타낼 수 있다.

사용자 동의

본 발명의 일 실시예에 따르면, 사용자의 컴퓨팅 디바이스에 설치되거나 온라인으로 호스팅되는 소프트웨어는 사용자가 소정의 웹사이트를 방문할 때 사용자가 웹사이트를 보는 동안 사용자가 자신의 시선 방향이 결정되기를 원하는지를 묻는 정보를 사용자에게 표시할 수 있다. 사용자가 이 작업을 수행하는 것에 동의하면 미리 정해진 기간 동안 시선 방향 정보가 수집된다.

이 동의는 여러 레벨로 요청 및 승인될 수 있는데, 예를 들어 사용자는 단일 웹사이트, 단일 브라우저 세션, 특정 도메인의 모든 것 또는 Google AdWords와 같은 특정 제공자 네트워크의 모든 것에 대해 발생하는 시선 방향 정보의 수집에 동의하도록 요청받을 수 있다.

표적화된 광고

본 발명에 따르면, 특정 정보를 특정 사용자에게 표시하기 위해 디스플레이에 대한 정보가 배열될 수 있다. 예를 들어, 사용자의 시선 방향이 알려지고 사용자의 식별자가 알려지면 특정 정보가 해당 사용자에게 표시될 수 있다.

이는 특정 사용자 및 인구 통계가 특정 유형의 광고를 수신하여, 예를 들어 비교 A/B 테스트를 수행하여, 관련 사용자의 일부에게 하나의 대안 광고 디자인을 표시하고 두 번째 대안 광고를 두 번째 부분에 표시하여, 두 가지 대안에 의해 유발된 반응의 차이를 측정하고 평가하는 것을 보증하는 데 사용될 수 있다.

본 발명의 또 다른 개선점은 사용자가 미리 결정된 기간 동안 광고를 응시하면 그 광고를 제거하는 것이다. 이것은 사용자에게 적은 광고로 이루어진 디스플레이를 제공하므로 유익하다.

본 발명의 또 다른 개선점은 비디오 또는 다른 이동 이미지가 사용자에 의해 미리 정해진 기간 동안 주시된 후에 그의 재생을 시작하는 것이다.

벤치마크 데이터

일부 실시예들에서, 벤치마크 데이터를 생성하는 방법이 제공된다. 표준 메타데이터의 컨텍스트로 데이터를 세그먼트화함으로써, 알고리즘 또는 머신 학습을 사용하여 집계될 수 있는 다양한 차원의 응답을 생성하여, 실제 세계에서의 미디어의 성공의 귀중한 예측자를 생성할 수 있다.

일부 실시예에서, 세그먼트화된 데이터를 비교하여 표시된 미디어의 성공을 예측하는 등급을 생성하는 시스템이 제공된다. 이러한 맥락에서 성공은 전문 지식에 의한 판단 또는 투자 수익과 같은 비즈니스 통계를 통한 판단으로 정의된다.

데이터의 세그먼트화는 공통 메타데이터로 태깅된 아이템을 수집하고 눈 추적과 같은 바이오메트릭 데이터와 함께 아이템을 분석하여 수행된다. 바이오메트릭 데이터와 태깅된 아이템을 결합하여 표준 데이터베이스를 구축할 수 있다.

표준 데이터베이스가 존재하면 수집된 데이터를 분석하여 등급 시스템을 정의할 수 있다. 이 등급 시스템은 최소 제곱, 지원 벡터 머신, 베이지안 확률 및 기타 수학적 기법과 같은 수학적 모델링을 활용할 수 있다.

웹 소켓

일부 실시예에서, 컴퓨팅 디바이스로부터의 바이오메트릭 데이터의 효율적인 수집 방법이 존재한다. 상기 방법은 눈 추적기 또는 웹캠과 같은 바이오메트릭 데이터 제공자와 인터페이스하기 위한 코드를 실행하기 위한 웹 소켓 또는 유사한 메커니즘의 이용을 포함한다. 이러한 방식으로, 웹 소켓은 웹사이트에서 이용될 수 있어서, 웹사이트로의 진입시에 사용자는 바이오메트릭 데이터 수집을 시작하는 옵션을 제공 받는다.

이 코드는 바이오메트릭 데이터 수집 디바이스의 존재 여부와 하드웨어 및 소프트웨어 눈 추적기에 쉽게 액세스할 수 있게 하는 자바스크립트 라이브러리의 사용을 자동으로 감지할 수 있다.

얼굴 추적

일부 실시예에서, 얼굴 식별 및 추적에 의해 사용자에 관한 정보를 결정하는 방법이 존재한다. 이 방법에 따르면, 나이 및 성별과 같은 정보는 얼굴 특징을 분류하기 위한 공지된 기술에 의해 추정될 수 있다. 이미지는 예를 들어 웹캠과 같은 컴퓨터에 제공되거나 컴퓨터에 부착된 임의의 형태의 이미징 디바이스에 의해 캡처될 수 있다. 사용자의 나이 및/또는 성별이 추정되면 표적 광고가 표시될 수 있으며, 이것은 수집된 모든 정보에 메타데이터로 나이 및/또는 성별을 삽입하여 규정할 수 있다.

머리 이동 보상

일부 실시예에서, 사용자의 머리 위치의 변화를 설명하기 위해, 자극들의 표시 이전 및 자극들의 표시 후에 교정 시퀀스를 수행하는 것이 가능하다. 자극들의 표시 전후에 눈 위치를 교정함으로써, 머리 위치의 변화를 보상하기 위해 수집된 시선 데이터를 조정할 수 있다.

품질의 다단계 보상, 확인 및 결정

일부 실시예에서, 눈 추적기 또는 웹캠과 같은 바이오메트릭 데이터 제공자는 제공자에 의해 획득된 데이터가 충분한 품질을 갖는지 여부를 결정하기 위해 다수의 포인트에서 교정되거나 확인된다.

이 다중 포인트 교정 또는 확인은 (눈 추적 디바이스의 경우) 다음 방식으로 수행된다.

1. 자극 또는 미디어 아이템이 사용자에게 표시되기 전에, 예상되는 시선 위치에 대해 사용자의 결정된 시선 위치를 교정하기 위해 교정이 수행된다.

2. 자극 또는 미디어 아이템의 표시 동안, 눈 추적 디바이스에 의해 획득된 눈 추적 데이터의 품질의 결정이 이루어진다.

3. 다수의 자극 또는 미디어 아이템의 표시 사이에, 사용자의 머리가 소정의 최적 영역의 범위 내에 있다는 확인이 이루어진다.

4. 모든 자극들 또는 미디어 아이템의 표시가 끝난 후, 사용자의 결정된 시선 위치가 충분한 정확도를 갖는다는 검증이 수행된다.

상기 교정 및 확인 단계 모두를 결합함으로써, 유효한 데이터를 나타내기 위해 자극들 또는 미디어 아이템의 관찰이 충분한 품질을 가졌는지 여부에 대한 결정이 이루어질 수 있다.

가치: 이 차원 중 어느 하나는 결과는 실제 세계에서 고품질 데이터를 산출하는 품질 평가를 수행하기에 충분하지 않을 수 있다.

Dom 트리 구조를 파싱하여 자동 AOI를 생성

일부 실시예에서, 관심 영역으로 정의하기 위해 홀더의 부분을 결정하기 위해 웹페이지와 같은 콘텐츠 홀더를 자동으로 검사하는 방법이 제공된다. 관심 영역은 예를 들어 시선 정보와 관련하여 바이오메트릭 데이터를 측정하는 것이 바람직한 영역이다. 관심 영역은 광고, 이미지, 비디오 또는 이와 유사한 것일 수 있다.

일부 실시예에서, 이 방법은 웹사이트의 DOM(Document Object Model) 구조를 분석함으로써 시작될 수 있다. 이러한 방식으로, DOM 트리 구조는 "광고" 등과 같은 사전 정의된 키워드들을 찾기 위해 분석되며, 본 발명의 일부 실시예들에 따른 소프트웨어는 사전 정의된 키워드를 찾으면 이들 키워드들과 연관된 아이템들을 관심 영역으로서 자동 태깅할 수 있다.

도 8은 정의되고 오버레이된 다수의 AOI를 갖는 미디어 파일을 도시한다.

관심 영역을 이용하기 위해서는, 다음과 같은 방법을 수행하는 것이 바람직하다.

1. 디스플레이에 표시되는 광고 또는 기타 아이템과 같은 관심 영역의 레이아웃 및 배치를 결정한다.

2. 디스플레이에 대한 사람의 시선 방향을 결정한다.

3. 사람의 시선 방향이 디스플레이 상의 관심 요소 쪽으로 향할 때를 결정한다.

4. 분석을 위해 단계 3에서 결정된 정보를 수집한다. 정보에는 시선 방향, 동공 확장, 눈의 위치, 눈 깜박임 빈도, 홍채의 색, 심박수, ECG, EEG 또는 기타 센서 데이터가 포함될 수 있다.

5. 수집된 정보를 온라인으로 서버에 업로드한다.

6. 광고의 분석, 제시, 과금 또는 표적화, 또는 광고의 동적 표시를 위해 종종 집계 형식으로 상기 정보를 사용한다.

디바이스 카메라를 통해 수집된 이미지를 사용하여 클라우드에서 처리되는 감정의 얼굴 코딩

일부 실시예에서, 캡처된 이미지들을 그들이 캡처된 위치로부터 먼 위치에서 그들을 처리하는 방법이 제공된다.

이미지는 컴퓨팅 디바이스 내에 위치하거나 그에 접속된 전용 이미지 캡처 디바이스를 통해 캡처될 수 있으며, 캡처된 이미지는 인터넷과 같은 통신 매체를 통해 원격 컴퓨팅 디바이스 또는 원격 컴퓨팅 디바이스들의 네트워크로 전송될 수 있다. 이미지를 처리하는 원격 컴퓨팅 디바이스는 이미지를 분석하여 얼굴 특징을 식별하고 이러한 얼굴 특징을 감정 결정으로 변환한다. 감정의 결정은 미디어 또는 자극들에 대한 사람의 감정 반응을 판단하기 위해 이미지를 캡처할 때 관찰된 미디어 또는 자극들과 매칭될 수 있다. 감정을 결정하기 위한 얼굴 특징 추출 및 분석을 위한 많은 방법이 존재하며, 이 분야의 기술자가 이해할 수 있는 바와 같이 본 발명의 실시예에 적합한 것이 존재한다.

본 발명의 일부 실시예에서, 캡처된 이미지의 일부 기본 분석은 감정을 결정할 수 있는 속도를 향상시키기 위해 캡처를 수행하는 컴퓨팅 디바이스에 의해 수행될 수 있다.

클라우드 기반 수집

일부 실시예에서, 작업을 위한 전용 소프트웨어를 설치할 필요없이 표시된 콘텐츠에 관련된 바이오메트릭 데이터의 수집을 수행하기 위한 방법이 제공된다.

일부 실시예에서, 시선 정보와 같은 바이오메트릭 데이터를 수집하기 위한 웹 기반 인터페이스가 제공되어, 데이터 수집의 설정이 원하는 결과의 컨텍스트에 기초하여 선택된다. 예를 들어 웹사이트에 대한 총 히트 수를 결정하는 것이 바람직한 경우 바이오메트릭 데이터 수집에 대한 설정은 투명 맵의 생성을 허용하도록 변경된다.

일부 실시예에서, 시선 정보와 같은 바이오메트릭 데이터를 수집하기 위한 웹 기반 인터페이스가 제공되어 사용자에게 질문을 제시하며, 여기서 응답은 사용자로부터의 바이오메트릭 데이터 수집의 설정을 지시한다. 즉, 사용자가 바이오메트릭 데이터 수집을 간소화하기 위해 고안된 질문에 "예" 또는 "아니오"로 대답할 수 있는 인터뷰 기반 기법이 사용된다.

일부 실시예들에서, 시선 정보와 같은 바이오메트릭 데이터를 수집하기 위해 웹 기반 인터페이스가 제공되며, 제3자 조사(third party surveys) 등과 통합될 수 있다. 이는 URL 재지향, 자바스크립트 스니펫, 또는 웹사이트 외부의 정보를 지향시키거나 로딩하는 임의의 다른 알려진 방법을 통해 구현될 수 있다. 이러한 방식으로, 제3자는 자신의 웹사이트 내의 바이오메트릭 데이터의 수집을 자동으로 포함할 수 있다.

일부 실시예들에서, 시선 정보와 같은 바이오메트릭 데이터를 수집하기 위한 웹 기반 인터페이스가 제공되어, 바이오메트릭 데이터가 수집되는 사용자의 양을 조절하는 것이 편리하다. 웹 기반 인터페이스를 이용함으로써, 바이오메트릭 데이터의 수집에 참여하는 사용자의 수는 간단한 방식으로 낮은 수에서 높은 수로 확장될 수 있다. 그런 다음 소프트웨어는 수집된 데이터의 품질을 분석하여 데이터 스터디에 포함될 충분한 품질의 데이터만 분리할 수 있다.

일부 실시예에서, 시선 정보와 같은 바이오메트릭 데이터를 수집하기 위한 웹 기반 인터페이스가 제공되어, 첫 번째 사람에 의해 생성된 후, 스터디 수행을 위해 두 번째 사람에게 전달되는 바이오메트릭 데이터의 스터디의 생성을 가능하게 한다. 웹 기반 인터페이스의 사용은 첫 번째 및 두 번째 사람이 특정 소프트웨어를 요구하지 않고 오히려 웹 브라우저가 장착되어 있고 인터넷에 연결된 모든 컴퓨팅 디바이스에서 스터디에 액세스할 수 있음을 의미한다.

보고 협력 도구

일부 실시예에서, 바이오메트릭 스터디로부터의 결론의 제시에 대한 협력 방법이 제공된다. 협력은 여러 사람이 동시에 액세스할 수 있는 바이오메트릭 데이터의 요약에 대한 동적으로 생성된 링크를 제공하여 수행할 수 있다. 설정에 따라 이 사람들은 바이오메트릭 데이터에 코멘트를 달거나 데이터에 주석을 달거나 데이터 전반에 시각화를 오버레이하거나 파워 포인트, pdf, 그래프, 스프레드 시트 등과 같은 미리 결정된 형식으로 데이터를 내보낼 수 있다.

시선 기반 패턴 또는 프로파일링

일부 실시예에서, 미디어 또는 자극들의 표시는 수신된 바이오메트릭 데이터에 기초하여 변경될 수 있다. 바이오메트릭 데이터로부터 결정될 수 있듯이, 사용자가 특정한 표시된 미디어 아이템 또는 자극에 주의를 기울이고, 이어서 표시된 미디어 또는 자극이 변경될 수 있다. 자극 또는 미디어 아이템의 변경은 미디어 아이템 또는 자극의 크기, 형상, 위치 또는 콘텐츠의 변경일 수 있다.

예를 들어, 표시된 미디어 또는 자극들이 광고이고, 바이오메트릭 데이터가 시선 정보인 경우, 광고는 초기에 플래싱이나 선명한 색의 표시 등으로 주의를 끌도록 설계된 모드로 표시될 수 있다. 바이오메트릭 데이터가 사용자가 광고를 보았음을 지시하면, 광고는 광고주가 사용자에게 표시하기를 원하는 메시지 또는 다른 아이템을 나타내도록 변할 수 있다.

데이터 정렬

일부 실시예에서, 인터넷과 같은 통신 매체를 통해 전송된 바이오메트릭 데이터는 바이오메트릭 데이터가 기록되었을 때 표시된 미디어와 정확하게 정렬되어야 한다. 이것은 바이오메트릭 데이터에 타임스탬핑하고 데이터를 태깅함으로써 달성될 수 있다. 일반적으로, 태깅된 데이터는 또한 클라우드 또는 기타 원격 저장 시스템을 통해 편리한 액세스 및 검토를 위해 함께 분류될 수 있다.

또한, 웹사이트 상에 표시된 광고는 시선 정보가 업로드되어야 하는 URL 또는 웹 위치를 갖는 보이거나 보이지 않는 태그를 포함할 수 있다. 사용자가 광고를 바라볼 때, 웹사이트 또는 소프트웨어는 사용자의 시선과 관련된 정보를 특정 URL 또는 웹 위치에 업로드할 것이다.

이러한 방식으로, 상이한 광고들이 상이한 URL 또는 웹 위치로 태깅될 수 있고, 관찰 정보의 분석이 개별 광고들 또는 광고들의 그룹들에 신속하고 효율적으로 링크될 수 있다.

예를 들어, 경쟁 제품에 대한 광고는 URL B로 태깅된 반면, 특정 광고 또는 광고 그룹이 URL A로 태깅된 것을 고려한다. 자신의 컴퓨팅 디바이스에 설치되거나 온라인으로 적절히 호스트되는 적절한 소프트웨어를 갖는 사용자가 참여 웹사이트를 방문할 때, 사용자가 광고를 볼 때마다 시선 위치, 시선 지속 시간 및 시선 정보와 관련된 타임스탬프와 같은 시선 정보가 URL A 또는 URL B에 업로드된다. URL A 또는 URL B를 방문하면 쉽게 얼마나 많은 사람들이 특정 광고를 보았는지를 쉽고 빠르게 알게 된다.

예시적인 컴퓨팅 디바이스

한정이 아닌 예로서, 도 9는 본 명세서에서 설명된 특정 실시예를 구현하기 위한 예시적인 컴퓨팅 디바이스(902)를 도시하는 블록도이다. 컴퓨팅 디바이스(902)는 메모리(906)에 통신 가능하게 결합되고 컴퓨터 실행 가능 프로그램 명령어를 실행하고/하거나 메모리(906)에 저장된 정보에 액세스하는 프로세서(904)를 포함할 수 있다. 프로세서(904)는 마이크로프로세서, 주문형 집적 회로("ASIC"), 상태 머신 또는 기타 처리 디바이스를 포함할 수 있다. 프로세서(904)는 하나를 포함하는 다수의 컴퓨터 처리 디바이스 중 임의의 것을 포함할 수 있다. 이러한 프로세서는 프로세서(904)에 의해 실행될 때, 프로세서로 하여금 여기에 설명된 단계들을 수행하게 하는 명령어들을 저장하는 컴퓨터 판독 가능 매체를 포함할 수 있거나, 그와 통신할 수 있다.

컴퓨팅 디바이스(902)는 또한 버스(908)를 포함할 수 있다. 버스(908)는 컴퓨팅 시스템(902)의 하나 이상의 컴포넌트를 통신 가능하게 연결할 수 있다. 컴퓨팅 디바이스(902)는 또한 다수의 외부 또는 내부 디바이스, 예로서 입력 또는 출력 디바이스를 포함하고/하거나 그에 통신 가능하게 결합될 수 있다. 예를 들어, 컴퓨팅 디바이스(902)는 입출력("I/O") 인터페이스(910), 디스플레이 디바이스(912), 입력 디바이스(들)(914) 및 출력 디바이스(들)(915)를 갖는 것으로 도시된다.

디스플레이 디바이스(912)의 비제한적인 예는 컴퓨팅 디바이스(902)와 통합된 스크린, 컴퓨팅 시스템 외부에서 연결된 모니터 등을 포함한다. 입력 디바이스(914)의 비제한적인 예는 시선 검출 디바이스, 터치 스크린, 터치 패드, 외부 마우스 디바이스, 마이크, 및/또는 여기에 언급된 다른 디바이스 등을 포함할 수 있다. 출력 디바이스(915)의 비제한적 예는 오디오 스피커이다. 일부 실시예에서, 디스플레이 디바이스(912), 입력 디바이스(914) 및 출력 디바이스(915)는 별개의 디바이스일 수 있다. 다른 실시예에서, 디스플레이 디바이스(912) 및 입력 디바이스(들)(914) 중 적어도 일부는 동일한 디바이스에 통합될 수 있다. 예를 들어, 디스플레이 디바이스(912)는 스크린일 수 있고 입력 디바이스(914)는 빛을 방출하는 이미터 및/또는 사용자의 눈(들) 및/또는 터치 영역 등을 이미징하기 위한 카메라와 같이 디스플레이 디바이스에 대한 눈 추적 및/또는 터치 스크린 기능을 제공하는 하나 이상의 컴포넌트일 수 있다. 스크린, 입력 디바이스 컴포넌트 및 임의의 출력 디바이스 컴포넌트는 동일한 하우징 내에 또는 다른 통합 구성에 통합될 수 있다.

컴퓨팅 디바이스(902)는 전자 콘텐츠를 수정, 액세스 또는 달리 사용할 수 있다. 전자 콘텐츠는 임의의 적합한 비일시적인 컴퓨터 판독 가능 매체에 상주할 수 있고 임의의 적합한 프로세서 상에서 실행될 수 있다. 일 실시예에서, 전자 콘텐츠는 컴퓨팅 시스템(902)에서 메모리(906)에 존재할 수 있다. 다른 실시예에서, 전자 콘텐츠는 데이터 네트워크를 통해 원격 콘텐츠 제공자로부터 컴퓨팅 시스템(902)에 의해 액세스될 수 있다.

메모리(906)는 임의의 적절한 비일시적인 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 프로세서에 컴퓨터 판독 가능 명령어 또는 다른 프로그램 코드를 제공할 수 있는 전자, 광학, 자기 또는 다른 저장 디바이스를 포함할 수 있지만, 이에 한정되는 것은 아니다. 다른 예들은 플로피 디스크, CD-ROM, DVD, 자기 디스크, 메모리 칩, ROM, RAM, ASIC, 구성되는 프로세서, 광학 저장소, 자기 테이프 또는 다른 자기 저장소, 또는 컴퓨터 프로세서가 명령어를 판독할 수 있는 임의의 다른 매체를 포함하지만 이에 한정되지 않는다. 명령어는 예를 들어 C, C++, C#, Visual Basic, Java, Python, Perl, 자바스크립트 및 액션스크립트 등을 포함하는 임의의 적합한 컴퓨터 프로그래밍 언어로 생성된 코드로부터 컴파일러 및/또는 인터프리터에 의해 생성된 프로세서 고유 명령어를 포함할 수 있다.

메모리(906)에 저장된 그래픽 모듈(916)은 그래픽 인터페이스에서의 렌더링을 위한 전자 콘텐츠를 준비하고/하거나 그래픽 인터페이스에서 전자 콘텐츠를 렌더링하도록 프로세서(904)를 구성할 수 있다. 일부 실시예에서, 그래픽 모듈(916)은 프로세서(904)에 의해 실행되는 독립 애플리케이션일 수 있다. 다른 실시예에서, 그래픽 모듈(916)은 전자 콘텐츠를 수정, 액세스 또는 사용하도록 구성되는 프로세서(904)에 의해 실행되는 개별 애플리케이션에 포함되거나 그에 의해 액세스될 수 있는 소프트웨어 모듈일 수 있다.

이제, 본 발명의 실시예들은 명확성 및 이해의 목적으로 상세하게 설명되었다. 그러나, 특정 변경 및 수정이 본 발명의 범위 내에서 실시될 수 있음을 이해할 것이다.

Claims (20)

1. 바이오메트릭 데이터와 자극들 사이의 관계를 결정하여 결론에 도달하기 위한 방법으로서,
   표시된 자극들을 식별 라벨과 연관시키는 단계;
   표시된 자극들에 대한 바이오메트릭 데이터를 수집하는 단계;
   상기 바이오메트릭 데이터에 기초하여 상기 표시된 자극들에 등급을 부여하는 단계; 및
   상기 등급을 상기 식별 라벨과 연관시키는 단계
   를 포함하는 방법.
2. 제1항에 있어서, 바이오메트릭 데이터의 상기 수집은 눈 추적 디바이스를 통해 이루어지는 방법.
3. 제1항에 있어서, 바이오메트릭 데이터의 상기 수집은 디스플레이 상의 다수의 위치에서 이루어지는 방법.
4. 제1항에 있어서, 상기 방법은 원격 위치로부터 상기 식별 라벨을 수신하는 단계를 추가로 포함하는 방법.
5. 제4항에 있어서, 상기 원격 위치는 인터넷을 통해 액세스 가능한 방법.
6. 제1항에 있어서, 상기 표시된 자극들은 적어도 하나의 광고를 포함하는 방법.
7. 제1항에 있어서, 상기 표시된 자극들은 웹 브라우저에 표시되는 방법.
8. 바이오메트릭 데이터와 자극들 사이의 관계를 결정하여 결론에 도달하기 위한 시스템으로서,
   컴퓨터를 포함하고,
   상기 컴퓨터는 적어도:
   표시된 자극들을 식별 라벨과 연관시키고;
   표시된 자극들에 대한 바이오메트릭 데이터를 수집하고;
   상기 바이오메트릭 데이터에 기초하여 상기 표시된 자극들에 등급을 부여하고;
   상기 등급을 상기 식별 라벨과 연관시키도록 구성되는 시스템.
9. 제8항에 있어서, 바이오메트릭 데이터의 상기 수집은 눈 추적 디바이스를 통해 이루어지는 시스템.
10. 제8항에 있어서, 바이오메트릭 데이터의 상기 수집은 디스플레이 상의 다수의 위치에서 이루어지는 시스템.
11. 제8항에 있어서, 상기 컴퓨터는 또한 적어도, 원격 위치로부터 상기 식별 라벨을 수신하기 위한 것인 시스템.
12. 제11항에 있어서, 상기 원격 위치는 인터넷을 통해 액세스 가능한 시스템.
13. 제8항에 있어서, 상기 표시된 자극들은 적어도 하나의 광고를 포함하는 시스템.
14. 제8항에 있어서, 상기 표시된 자극들은 웹 브라우저에 표시되는 시스템.
15. 바이오메트릭 데이터와 자극들 사이의 관계를 결정하여 결론에 도달하기 위한 명령어를 저장하는 비일시적 머신 판독 가능 매체로서,
    상기 명령어는 적어도:
    표시된 자극들을 식별 라벨과 연관시키고;
    표시된 자극들에 대한 바이오메트릭 데이터를 수집하고;
    상기 바이오메트릭 데이터에 기초하여 상기 표시된 자극들에 등급을 부여하고;
    상기 등급을 상기 식별 라벨과 연관시키기 위해 하나 이상의 프로세서에 의해 실행될 수 있는 비일시적 머신 판독 가능 매체.
16. 제15항에 있어서, 바이오메트릭 데이터의 상기 수집은 눈 추적 디바이스를 통해 이루어지는 비일시적 머신 판독 가능 매체.
17. 제15항에 있어서, 바이오메트릭 데이터의 상기 수집은 디스플레이 상의 다수의 위치에서 이루어지는 비일시적 머신 판독 가능 매체.
18. 제15항에 있어서, 상기 명령어는 또한 적어도, 원격 위치로부터 상기 식별 라벨을 수신하도록 실행될 수 있는 비일시적 머신 판독 가능 매체.
19. 제15항에 있어서, 상기 표시된 자극들은 적어도 하나의 광고를 포함하는 비일시적 머신 판독 가능 매체.
20. 제15항에 있어서, 상기 표시된 자극들은 웹 브라우저에 표시되는 비일시적 머신 판독 가능 매체.
    

Images