KR101887626B1

KR101887626B1 - 안면 데이터 기반 집중도 분석 시스템 및 그 방법

Info

Publication number: KR101887626B1
Application number: KR1020180016888A
Authority: KR
Inventors: 손부경; 이승훈
Original assignee: (주)포세듀
Priority date: 2018-02-12
Filing date: 2018-02-12
Publication date: 2018-08-10

Abstract

본 발명은 온라인 교육 등을 위한 글, 사진 또는 동영상을 시청하기 위해 단말기 화면을 바라보는 사용자의 영상(안면 데이터)을 처리하여 획득한 다수의 샘플 동공좌표를 캘리브레이션하여, 영상분석영역을 최대집중영역, 집중영역, 및 비집중영역으로 구분하고, 캘리브레이션단계 이후 획득한 다수의 동공좌표가 상기 다수의 영역 중 어느 영역에 속하는지 판단하여 집중도를 분석함으로써, 해당 사용자의 수강 태도 파악이 가능한 안면 데이터 기반 집중도 분석 시스템 및 그 방법을 제공한다.

Description

안면 데이터 기반 집중도 분석 시스템 및 그 방법{SYSTEM FOR ANALYZING CONCENTRATION BASED ON FACIAL DATA AND A METHOD THEREOF}

본 발명은 안면 데이터 기반 집중도 분석 시스템 및 그 방법에 관한 것으로서, 더욱 상세하게는, 온라인 교육 등을 위한 글, 사진 또는 동영상을 시청하기 위해 단말기 화면을 바라보는 사용자의 영상(안면 데이터)을 처리하여 획득한 다수의 샘플 동공좌표를 캘리브레이션하여, 영상분석영역을 최대집중영역, 집중영역, 및 비집중영역으로 구분하고, 캘리브레이션단계 이후 획득한 다수의 동공좌표가 상기 다수의 영역 중 어느 영역에 속하는지 판단하여 집중도를 분석함으로써, 해당 사용자의 수강 태도 파악이 가능한 안면 데이터 기반 집중도 분석 시스템 및 그 방법에 관한 것이다.

이러닝(e-Learning)은 컴퓨터 기반 학습과, 인터넷상의 각종 유료학습 사이트와 같은 웹 기반학습, 가상학습을 포함하는 온라인 학습의 총칭으로서 네트워크를 중심으로 학습내용을 전달하고 학습자와 상호작용하여 학습을 촉진시키는 일련의 과정으로 정의된다. 온라인 학습(교육)은, 전통적인 면대면 학습상황과는 다르게 PC나 스마트폰 등의 디스플레이 수단이 있으면 시간과 장소의 제한없이 편리하게 수강할 수 있는 장점이 있어 널리 이용되고 있다. 효과적인 온라인 학습을 위해서는 학습자가 스스로 학습에 몰입할 수 있는 환경이 매우 중요하다.

그러나, 오프라인 강의와 달리 강사 등의 직접적인 관리가 이루어지지 않아 수강자의 의지에 따라 학습효율이 저하될 수 있는 문제점이 있다.

즉, 현재 대부분의 온라인 학습사이트는 학습자의 학습태도와 무관하게 일방적으로 강의를 전달하는 방식으로 진행되어 학습효과가 떨어지는 문제점이 있다.

또한, 온라인 강의나 오프라인 강의의 경우 수강생의 학습태도를 평가하기 위해 강의내용에 대한 문제를 제시하고 이에 대한 정답여부에 따라 차등되는 평가점수를 책정할 수 있었으나, 이는 학습내용의 인지여부만을 평가하는 것이며 순전히 강의중의 학습태도만을 대상으로 평가하는 것과는 거리가 있었다.

한편, 강의, 영화나 드라마, 게임 등과 같은 영상컨텐츠의 경우 수강자 또는 시청자, 게이머 등의 사용자를 대상으로 해당 영상컨텐츠에 대한 정성적 가치를 판단하기 위해 컨텐츠 제공중에 얼마나 집중해서 수강 또는 시청(게임)했는지를 조사하여 컨텐츠 보완 및 개발에 필요한 데이터를 확보하려는 시도가 있으나, 종래의 컨텐츠 집중도에 대한 조사는 설문조사 형식을 취하기 때문에 영상컨텐츠의 전체적인 집중도에 대한 평가만이 이루어지게 되며 주관적인 의사가 반영되어 객관화된 결과를 얻지 못하는 문제점이 있었다.

더욱이, 이러한 조사를 위해서는 수강자 또는 시청자가 별도로 시간을 할애하여 설문조사에 응해야 하기 때문에 수강자나 시청자 전체에 대한 평가결과를 획득하기가 제한되며 일부 무성의한 응답자에 대한 조사데이터가 평가 결과에 반영되기 때문에 평가데이터의 신뢰도가 저하되는 문제점이 있었다.

한편, 대한민국 등록특허 10-1602665에는, 온라인 상의 학습 미션을 이용한 학습관리 방법 및 이에 사용되는 학습관리 서버에 대하여 개시하고 있다.

한편, 대한민국 공개특허 10-2017-0110350에는, 학습, 검사 등에서 카메라 영상을 이용한 측정 대상자의 집중도 측정 장치 및 방법에 관한 것으로서, 특히, 개인화 모델 기술을 활용하여 측정 대상자 개인의 데이터를 기반으로 개인화 특성을 고려해 정확한 측정 집중도 측정이 가능한, 집중도 측정 장치 및 방법을 개시하고 있다.

한편, 대한민국 공개특허 10-2017-0051385에는, 영상컨텐츠를 시청하는 피평가자의 시청모습을 촬영한 영상데이터의 영상분석을 통해 피평가자가 영상 컨텐츠를 시청하는 중에 얼마만큼 몰입했는지에 대한 집중도를 정량화하여 평가데이터로 산정할 수 있는 집중도 평가장치를 개시하고 있다.

한국등록특허[10-1602665](등록일자:2016. 03. 07) 한국공개특허[10-2017-0110350](공개일자:2017. 10. 11) 한국공개특허[10-2017-0051385](공개일자:2017. 06. 11)

따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 고안된 것으로, 본 발명의 목적은 온라인 교육 등을 위한 글, 사진 또는 동영상을 시청하기 위해 단말기 화면을 바라보는 사용자의 영상(안면 데이터)을 처리하여 획득한 다수의 샘플 동공좌표를 캘리브레이션하여, 영상분석영역을 최대집중영역, 집중영역, 및 비집중영역으로 구분하고, 캘리브레이션단계 이후 획득한 다수의 동공좌표가 상기 다수의 영역 중 어느 영역에 속하는지 판단하여 집중도를 분석함으로써, 해당 사용자의 수강 태도 파악이 가능한 안면 데이터 기반 집중도 분석 시스템 및 그 방법을 제공한다.

본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 시스템은, 사용자가 온라인 교육을 수강하기 위한 단말기(110); 상기 단말기에 부착되거나 스마트기기에 구비되어 해당 사용자의 정면을 촬영하기 위한 카메라(120); 및 상기 카메라로부터 사용자를 촬영한 영상정보를 프레임 단위로 전달받아 영상처리를 통해 획득한 다수의 동공좌표를 클러스터링 및 분석하여 해당 사용자의 집중도를 분석하는 집중도 분석 서버(100)를 포함하고, 상기 집중도 분석 서버(100)는, 상기 사용자의 영상정보로부터 얼굴 영역을 포함하는 사각형 영역을 정의하기 위한 얼굴 인식부(103); 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈에 대한 영상분석영역 및 동공좌표를 획득하는 동공좌표 획득부(104); 초기 기설정 시간 동안 획득한 샘플 동공좌표에 대한 클러스터링 및 클러스터링 품질평가를 통해 집중도 평가에 사용할 영역을 다수개의 영역으로 구분하는 캘리브레이션부(105); 및 상기 동공좌표 획득부에서 획득한 다수의 동공좌표가 상기 캘리브레이션부에서 구분한 다수의 각 영역 중 어느 영역에 속하는지 판단하여 각 영역의 집중도 인덱스를 증가시키거나 감소시켜 해당 사용자의 집중도를 계산하는 집중도 산출부(106)를 포함하는 것을 특징으로 한다.

상기 캘리브레이션부(105)는, 상기 영상분석영역을 기설정 개수의 그리드로 구분하고, 소정의 개수 미만의 샘플 동공좌표를 포함하는 그리드를 상기 영상분석영역에서 제외하는 비분석영역 소거부(501); 상기 영상분석영역에서 상기 비분석영역을 제외한 나머지 영역에 포함된 샘플 동공좌표에 대하여 K-평균 알고리즘을 이용하여 소정 횟수의 클러스터링을 수행하는 클러스터링부(502); 상기 소정 횟수의 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하여 적어도 2개 이상의 클러스터링 결과를 결정하는 내부평가부(503); 상기 결정된 클러스터링 결과 내 클러스터별 밀집도를 계산하여 각 클러스터를 재평가하는 클러스터 재평가부(504); 및 상기 비분석영역은 비집중영역으로 결정하고, 상기 비분석영역이 제외된 영상분석영역에서 상기 클러스터 재평가부에서 계산한 밀집도에 따라 기설정 개수 이상의 클러스터를 포함하는 최대집중영역을 결정하고, 그 외의 영역에 대해서는 집중영역으로 결정하는 집중도분석영역 결정부(505)를 포함하는 것을 특징으로 한다.

또한, 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 방법은, 카메라로부터 영상 데이터를 프레임 단위로 전달받는 영상획득단계(S710); 사용자의 영상정보로부터 얼굴 영역을 포함하는 사각형 영역을 정의하는 얼굴인식단계(S720); 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈에 대한 영상분석영역 및 동공좌표를 획득하는 동공좌표 획득단계(S730); 초기 기설정 시간 동안 획득한 샘플 동공좌표에 대한 클러스터링 및 클러스터링 품질평가를 통해 집중도 평가에 사용할 영역을 다수개의 영역으로 구분하는 캘리브레이션단계(S740); 및 상기 캘리브레이션단계 이후 획득한 다수의 동공좌표가 상기 구분한 다수의 각 영역 중 어느 영역에 속하는지 판단하여 각 영역의 집중도 인덱스를 증가시키거나 감소시켜 해당 사용자의 집중도를 계산하는 집중도 산출단계(S750)를 포함하는 것을 특징으로 한다.

상기 캘리브레이션단계는, 상기 영상분석영역을 기설정 개수의 그리드로 구분하고, 소정의 개수 미만의 샘플 동공좌표를 포함하는 그리드는 상기 영상분석영역에서 제외하는 비분석영역 소거단계(S741); 상기 영상분석영역에서 상기 비분석영역을 제외한 나머지 영역에 포함된 샘플 동공좌표에 대하여 K-평균 알고리즘을 이용하여 소정 횟수의 클러스터링을 수행하는 클러스터링단계(S742); 상기 소정 횟수의 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하여 적어도 2개 이상의 클러스터링 결과를 결정하는 내부평가단계(S743); 상기 결정된 클러스터링 결과 내 클러스터별 밀집도를 계산하여 각 클러스터를 재평가하는 클러스터재평가단계(S744); 및 상기 비분석영역은 비집중영역으로 결정하고, 상기 비분석영역이 제외된 영상분석영역에서 상기 클러스터 재평가단계에서 계산한 밀집도에 따라 기설정 개수 이상의 클러스터를 포함하는 최대집중영역을 결정하고, 그 외의 영역에 대해서는 집중영역으로 결정하는 집중도분석영역 결정단계(S745)

또한, 본 발명의 일 실시예에 따르면, 상기 안면 데이터 기반 집중도 분석 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 시스템 및 그 방법에 의하면, 온라인 시청각 교육 제공시, 사용자의 안면 데이터를 이용하여 사용자의 집중도를 분석함으로써, 교육 제공자 입장에서 사용자들의 수강 태도 파악이 가능한 효과가 있다.

또한, 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 시스템 및 그 방법에 의하면, 분석된 집중도를 사용자 또는 사용자의 관리자(학부모, 선생님)에게 피드백 해줄 수 있으므로, 사용자 본인 또는 관리자가 사용자의 수강 태도를 관리할 수 있으므로 학습효율이 높아질 수 있는 효과가 있다.

또한, 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 시스템 및 그 방법에 의하면, 해당 사용자의 샘플 동공좌표에 대하여 캘리브레이션을 수행함으로써, 사용자 맞춤형 집중도 분석이 가능한 효과가 있다.

도 1은 본 발명에 따른 안면 데이터 기반 집중도 분석 시스템을 포함하는 온라인 교육 시스템의 일 실시예 구성도.
도 2는 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 방법을 위한 사용자의 촬영 방법에 대한 설명도.
도 3은 본 발명의 일 실시예에 따른 영상분석영역 및 동공좌표 획득 방법에 대한 설명도.
도 4a 및 4b는 본 발명의 일 실시예에 따른 영상 처리에 따라 동공좌표 획득 방법에 대한 설명도.
도 5는 본 발명에 따른 안면 데이터 기반 집중도 분석 시스템의 캘리브레이션부의 일 실시예 상세 구성도.
도 6a 내지 도 6e는 본 발명에 따른 샘플 동공좌표의 캘리브레이션 과정을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 방법의 흐름도.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다. 다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.

도 1은 본 발명에 따른 안면 데이터 기반 집중도 분석 시스템을 포함하는 온라인 교육 시스템의 일 실시예 구성도이다.

도 1을 참조하면, 본 발명이 적용되는 온라인 교육 시스템은, 사용자가 온라인 교육을 수강하기 위한 사용자 단말기(110), 상기 사용자 단말기에 부착되거나 스마트기기에 구비되어 해당 사용자의 정면을 촬영하기 위한 카메라(120), 상기 카메라로부터 사용자를 촬영한 영상정보를 프레임 단위로 전달받아 영상처리를 통해 획득한 다수의 동공좌표를 클러스터링 및 분석하여 해당 사용자의 집중도를 분석하는 집중도 분석 서버(100), 및 상기 사용자가 수강하는 온라인 교육을 제공하기 위한 온라인 교육 서버(130)를 포함한다.

집중도 분석 서버(100)는, 상기 사용자의 영상정보를 통신망을 통해 수신하고, 해당 사용자에 대하여 분석한 집중도를 해당 사용자 또는 해당 사용자의 관리자(학부모, 선생님)에게 피드백하기 하기 위한 송수신부(101), 상기 송수신부(101)를 통해 수신한 사용자의 영상 정보 및 좌표 정보들을 저장하기 위한 저장부(102), 상기 수신한 사용자의 영상정보로부터 얼굴 영역을 포함하는 사각형 영역 및 상기 사각형 영역 내부의 영상분석영역을 정의하기 위한 얼굴 인식부(103), 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 동공좌표를 획득하는 동공좌표 획득부(104), 초기 기설정 시간 동안 획득한 샘플 동공좌표에 대한 클러스터링 및 클러스터링 품질평가를 통해 집중도 평가에 사용할 영역을 다수개의 영역으로 구분하는 캘리브레이션부(105), 및 상기 동공좌표 획득부(104)에서 획득한 다수의 동공좌표가 상기 캘리브레이션부(105)에서 구분한 다수의 각 영역 중 어느 영역에 속하는지 판단하여 각 영역의 집중도 인덱스를 증가시키거나 감소시켜 해당 사용자의 집중도를 계산하는 집중도 산출부(106) 등을 포함함다.

상기 저장부(102)는 상기 집중도 산출부(106)에서 계산한 해당 사용자의 집중도 정보를 저장하고, 기 저장된 사용자의 집중도 정보를 상기 집중도 산출부(106)

본 발명에서 설명하고 있는 얼굴 영역을 포함하는 사각형 영역은 논문 "Robust Real-Time Face Detection Using Face Certainty Map" (Volume 4642 of the series Lecture Notes in Computer Science pp. 29-38)에 개시된 내용에 근거하여 정의하였다.

상기 송수신부(101), 상기 저장부(102), 상기 얼굴 인식부(103), 상기 동공좌표 획득부(104), 상기 캘리브레이션부(105), 및 상기 집중도 산출부(106)는 그 중 적어도 일부가 집중도 분석 서버(100)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 집중도 분석 서버(100)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 집중도 분석 서버(100)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.

여기서, 통신 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 발명에서 말하는 통신 네트워크는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있다.

상기 집중도 분석 서버(100)는 통신 네트워크를 통하여 사용자 단말기(110) 또는 관리자 단말기(미도시)(예를 들어, 학부모 단말기, 선생님 단말기)와 통신하며, 사용자 단말기(110)로부터 해당 사용자의 집중도를 분석하는데 필요한 데이터를 전송/수신한다. 상기 집중도 분석 서버(100)는 온라인 교육 및 평가 서버의 운영 서버에 포함될 수 있다.

상기 사용자 단말기(110)는 온라인 교육을 수강하거나 집중도 분석 결과를 수신하기 위해서 사용자가 통신 네트워크를 통하여 온라인 교육 서버(130) 및 집중도 분석 서버(100)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 사용자 단말기(110)로서 채택될 수 있다.

또한, 상기 관리자 단말기는 상기 집중도 분석 서버(100)로부터 온라인 교육에 대한 해당 사용자의 집중도 분석 결과를 수신하는 단말기로서, 사용자 단말기(110)와 마찬가지의 속성을 갖는다.

상기 온라인 교육 서버(140)는, 상기 집중도 분석 서버(100)로부터 사용자의 캘리브레이션 과정이 진행된 이후, 온라인 교육 시작이 가능하다는 메시지(확인)를 받은 후에야, 온라인 교육을 플레이 할 수도 있다.

한편, 상기 카메라(120)가 부착된 상기 사용자 단말기(110) 또는 스마트기기는, 상기 카메라(120)로부터 전달받은 영상 정보를 1차 영상 처리하여, 1차 영상 처리된 영상 정보를 프레임 단위로 상기 집중도 분석 서버(100)로 전송할 수 있다. 이에 따라, 상기 집중도 분석 서버(100)의 연산 속도를 빠르게 하고, 시스템 부하를 줄일 수 있다. 상기 1차 영상 처리된 영상 정보는, 그레이 스케일의 영상 데이터, 양쪽 눈의 동공좌표 등을 포함할 수 있다.

도 2는 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 방법을 위한 사용자의 촬영 방법에 대한 설명도이다.

도 2를 참고하면, 사용자(200)는 사용자 단말기(110)를 통해 온라인 교육을 수강하고 있다.

사용자 단말기(110)에 부착된 카메라가 없을 경우, 스마트폰에 구비된 카메라(120)를 사용하여 온라인 교육을 수강하는 사용자(200)의 영상정보를 집중도 분석 서버(100)로 전송할 수 있다.

이를 위해, 카메라(120)를 구비하는 스마트폰은 상기 집중도 분석 서버(100)로 사용자를 촬영한 영상정보를 보내기 전, 상기 집중도 분석 서버(100)로 전송할 영상 정보의 크기 및 전송 주기 등을 제어할 수 있는 어플리케이션을 미리 설치할 수 있다.

사용자 단말기(110)에 부착된 카메라가 있는 경우에도, 사용자 단말기(110)는 상기 집중도 분석 서버(100)로 전송할 영상 정보의 크기 및 전송 주기 등을 제어할 수 있는 어플리케이션을 미리 설치할 수 있다.

한편, 본 발명이 요구하는 카메라(120)의 성능은, 초당 프레임수는(frame per second) 20~30 fps 정도이고, 해상도는 640*480 정도이다.

한편, 사용자(200)와 카메라 (120) 사이의 거리(d)는 45cm ㅁ 5cm 정도를 권장한다. 또한, 초기 캘리브레이션을 위해 화면의 특정 지점을 봐야만 하는 상황을 유도하는 컨텐츠를 출력한다. 예를 들어, 본인 확인 질문 또는 유의사항/약관 동의 될 수 있다. 또한, 해당 컨텐츠가 출력되는 영역은 온라인 교육시 제공되는 컨텐츠가 출력되는 영역의 위치 및 크기가 유사하거나 같게 디스플레이되는 것이 바람직하다. 또한, 캘리브레이션을 위한 충분한 샘플 데이터를 가지기 위하여 약 1분 이상 응시 할 수 있도록 준비되어야 한다.

도 3은 본 발명의 일 실시예에 따른 영상분석영역 및 동공좌표 획득 방법에 대한 설명도이다.

도 3을 참조하면, 카메라(120)로부터 얻은 프레임 단위 영상 정보에서 얼굴 영역의 사각형 영역을 정의한 이후, 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 양 끝점(310, 320)을 인식하고 그 사이에 위치한 검은색 영역(330, 340)의 중심점(350, 360)을 양쪽 눈의 동공좌표로 설정한다.

한편, 상기 설명한 방법 이외에도, 다른 여러 가지 영상 처리 방법을 사용하여 양쪽 눈의 동공좌표를 획득할 수도 있다. 또한, 상기 사각형 영역 내에 포함되는 영상분석영역(370)을 정의할 수 있다. 상기 영상분석영역(370)은 양쪽 눈 영역을 기준으로 영역이 설정될 수 있다.

또한, 사각형 영역 또는 영상분석영역(370)에 대한 정의에 따라 지속적으로 변하는 동공좌표의 상대적 좌표값을 알 수 있다.

도 4a 및 4b는 본 발명의 일 실시예에 따른 영상 처리에 따라 동공좌표 획득 방법에 대한 설명도이다.

도 4a 및 4b를 참고하면, 사용자가 촬영된 프레임 단위의 영상 정보(410)는 일정 시간 간격으로 집중도 분석 서버(100)로 전달되며, 컬러 영상(410)은 그레이 스케일의 영상(420)으로 변환되고, 사용자의 얼굴 영역을 포함하는 사각형 영역(430)이 정의된다. 또한, 상기 사각형 영역 내에 포함되는 영상분석영역(431)을 정의할 수 있다. 사각형 영역(430)을 기준으로 한 좌표 시스템에서 도 3에서 설명한 방법을 참고하여, 양쪽 눈의 동공좌표(440)를 획득할 수 있다.

예를 들어, 획득된 왼쪽 동공좌표는 (57, 64)이고, 오른쪽 동공좌표는 (123, 66)이다.

한편, 상기 컬러 영상(410)에서 얼굴 영역을 포함하는 사각형 영역(430)을 먼저 정의하고, 얼굴 영역에 대해서만 그레이 스케일로 변환시켜, 동공좌표를 획득할 수도 있다.

한편, 상기 사용자 단말기(110) 또는 카메라(120)를 구비한 스마트기기는 상기 사용자가 촬영된 프레임 단위의 영상 정보(410)를 일정 시간 단위(예: 0.5초 간격)로 상기 집중도 분석 서버(100)로 전달할 수 있으며, 0.5초 동안에 촬영된 프레임들(약 10~15개)로부터 얻어지는 동공좌표값의 평균값을 함께 전달할 수도 있다.

도 5는 본 발명에 따른 안면 데이터 기반 집중도 분석 시스템의 캘리브레이션부의 일 실시예 상세 구성도이다.

도 5에 도시된 바와 같이, 본 발명에 따른 안면 데이터 기반 집중도 분석 시스템의 캘리브레이션부(105)는 비분석영역 소거부(501), 클러스터링부(502), 내부평가부(503), 클러스터 재평가부(504), 및 집중도분석영역 결정부(505)를 포함한다.

상기 비분석영역 소거부(501)는 양쪽 눈 각각에 대하여 해당 영상분석영역을 기설정 개수의 그리드로 구분하고, 소정의 개수 미만의 샘플 동공좌표를 포함하는 그리드를 상기 영상분석영역에서 제외한다.

상기 클러스터링부(502)는 상기 영상분석영역에서 상기 비분석영역을 제외한 나머지 영역에 포함된 샘플 동공좌표에 대하여 K-평균 알고리즘을 이용하여 소정 횟수의 클러스터링을 수행한다.

K-평균 알고리즘(K-means algorithm)은 주어진 데이터를 k개의 클러스터로 묶는 알고리즘으로, 각 클러스터와 거리 차이의 분산을 최소화하는 방식으로 동작한다.

K-평균 알고리즘은 클러스터링 방법 중 분할법에 속한다. 분할법은 주어진 데이터를 여러 파티션(그룹)으로 나누는 방법이다. 예를 들어 n개의 데이터 오브젝트(샘플 동공좌표)를 입력받았다고 가정하자. 이 때 분할법은 입력 데이터를 n보다 작거나 같은 k개의 그룹으로 나누는데, 이 때 각 군집은 클러스터를 형성하게 된다. 다시 말해, 데이터를 한 개 이상의 데이터 오브젝트로 구성된 k개의 그룹으로 나누는 것이다. 이 때 그룹을 나누는 과정은 거리 기반의 그룹간 비유사도 (dissimilarity) 와 같은 비용 함수 (cost function) 을 최소화하는 방식으로 이루어지며, 이 과정에서 같은 그룹 내 데이터 오브젝트 끼리의 유사도는 증가하고, 다른 그룹에 있는 데이터 오브젝트와의 유사도는 감소하게 된다. K-평균 알고리즘은 각 그룹의 중심 (centroid)과 그룹 내의 데이터 오브젝트와의 거리의 제곱합을 비용 함수로 정하고, 이 함수값을 최소화하는 방향으로 각 데이터 오브젝트의 소속 그룹을 업데이트 해 줌으로써 클러스터링을 수행하게 된다.

즉, n개의 데이터 오브젝트 x들의 집합이 주어졌을 때, K-평균 알고리즘은 n개의 데이터 오브젝트들을 각 집합 내 오브젝트 간 응집도를 최대로 하는 k(<=n) 개의 집합 S = {S₁, S₂, …, S_k} 으로 분할한다. 다시 말해, μi는 i번째 클러스터의 중심이고, S_i는 i번째 클러스터에 속하는 점의 집합이라 할 때, 각 집합별 중심점~집합 내 오브젝트간 거리의 제곱합을 최소로 하는 집합 S를 찾는 것이 이 알고리즘의 목표가 된다.

즉, 하기 <수학식 1>을 만족하는 K-평균 알고리즘을 이용하여 다수의 샘플 동공좌표를 클러스터링한다.

<수학식 1>

n은 샘플 동공좌표의 개수, k는 군집(클러스터)의 개수, x는 각 샘플 동공좌표의 특징 벡터이고, μ_i는 i번째 클러스터의 중심, S_i는 i번째 클러스터에 속하는 점의 집합이다.

상기 클러스터링부(502)는, 상기 클러스터의 개수 k가 다수의 값을 가지는 다수의 경우에 대하여 적어도 2회 이상씩 클러스터링하는 것을 특징으로 한다. 예를 들어, k 값을 12, 16, 20일 때 각각 3회식 클러스트링을 수행하면, 총 9가지의 클러스터링 결과를 얻을 수 있다.

상기 내부평가부(503)는 상기 소정 횟수의 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하여 적어도 2개 이상의 클러스터링 결과를 결정한다.

상기 내부평가부(503)는 하기 <수학식 2>를 이용하여 데이비스-보들린 인덱스(Davies-Boudlin Index)를 계산하여 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가한다.

<수학식 2>

여기서, DB는 데이비스-보들린 인덱스, k는 클러스터의 개수, c_p는 p번째 클러스터의 중심점, σ_p는 p번째 클러스터 내의 모든 요소들과 c_p 까지의 평균 거리, d(c_p, c_q)는 c_p 와 c_q 간의 거리이다.

클러스터간 거리가 가깝고 즉, 높은 클러스터간 유사성을 가지고, 클러스터 내의 거리가 멀은, 즉, 낮은 클러스터내 유사성을 가지는, 클러스터들은 높은 DB 수치를 가진다. 따라서, 가장 낮은 DB 수치를 가진 클러스터 결과가 가장 군집이 잘된 클러스터링으로 평가된다.

상기 내부평가부(503)는 상기 소정 횟수의 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하여 적어도 2개 이상의 클러스터링 결과를 결정한다. 예를 들어, 상기 9가지 클러스터링 결과로부터 평가가 좋은 3가지의 클러스터링 결과를 선택한다.

상기 클러스터 재평가부(504)는 상기 결정된 클러스터링 결과 내 클러스터별 밀집도를 계산하여 각 클러스터를 재평가한다.

클러스터별 밀집도는 하기 <수학식 3>을 이용하여 계산한다.

<수학식 3>

밀집도 = 해당 클러스터에 포함된 샘플 동공좌표의 개수 × (1/ 해당 클러스터의 중심점과 각 샘플 동공좌표 간의 거리의 평균)

선택된 클러스터링 결과 3가지에 대하여 밀집도를 모두 평가하되, 예를들어, 클러스터 개수가 12개에 대하여 밀집도를 평가할 경우, 12개의 클러스터에 대하여 밀집도를 모두 계산하고, 추후 집중도분석영역 결정부(505)에서 가장 높은 값을 가지는 소정의 개수를 선택하여 최대집중영역으로 결정된다. 한편, 3가지 경우에 대하여 모두 밀집도를 평가하여, 가장 높은 밀집도를 가지는 소정의 개수의 영역을 모두 합하여 최대집중영역으로 결정할 수도 있다. 밀집도에 따라 최대집중역역으로 결정하는데 여러 가지 다양한 방법이 사용될 수 있다.

상기 집중도분석영역 결정부(505)는 상기 비분석영역은 비집중영역으로 결정하고, 상기 비분석영역이 제외된 영상분석영역에서 상기 클러스터 재평가부(504)에서 계산한 밀집도에 따라 기설정 개수 이상의 클러스터를 포함하는 최대집중영역을 결정하고, 그 외의 영역에 대해서는 집중영역으로 결정한다.

상기 집중도분석영역 결정부(505)는 상기 비분석영역이 제외된 영상분석영역을 빈틈없이 k개의 클러스터 영역으로 구분되도록 주성분 분석법, 최근접 보간법 및, 보로노이 다이어그램을 이용할 수 있다.

여기서, 주성분 분석법(PCA, Principal Component Analysis)는 높은 차원의 특징벡터를 낮은 차원의 특징 벡터로 축소하는 특징 벡터의 차원축소와 데이터 시각화와 특징 추출에도 유용하게 사용되는 데이터 처리 기법 중 하나이다. 한편, 고차원의 데이터의 분포를 2차원 혹은 3차원 공간에 데이터의 분포를 시각화(data visualization)하고자 할 때 PCA가 사용된다. 차원을 축소하기 위해 PCA를 사용하여 두 축을 구하고 이 두 축으로 차원을 축소하고 이 두축을 기준으로 추정된 데이터의 분포를 나타낼 수 있다.

한편, 보로노이 다이어그램이란 평면을 특정 점까지의 거리가 가장 가까운 점의 집합으로 분할한 그림이다. 평면 위에 여러 개의 점이 존재할 때, 가장 인접한 두 개의 점을 선택해 수직이등분선을 그리면 평면은 수직이등분선에 의해 여러 개의 다각형으로 분할된다. 이렇게 그려진 그림을 보로노이 다이어그램이라고 하고, 이때 생기는 다각형을 보로노이 다각형이라고 한다. 보로노이 다각형은 특정 점을 기준으로 가장 가까운 점들을 모은 집합이 된다. 이것이 보로노이 다이어그램이 갖는 가장 중요한 성질이다.

한편, 집중도 산출부(106)는 새로 획득한 동공좌표를 전달받아 k-NN (k-최근접 이웃) 알고리즘을 사용하여 해당 동공좌표가 어떤 클러스터에 해당되는지 결정하여 집중도를 산출할 수도 있다.

상기 k-NN (k-최근접 이웃) 알고리즘에서, 일예로, 유클리드 거리를 사용할 수 있다.

각 클러스터에 포함된 중심점(중심)과 새로 획득한 동공좌표 간의 유클리드 거리를 계산할 수 있다.

각 동공좌표는 2차원의 특징 벡터를 가지고 있으므로, 2-차원의 두 벡터 p=(p₁, p₂) 와 q=(q₁, q₂) 사이의 유클리드 거리(L_u)는 하기 <수학식 4>를 이용하여 계산한다.

<수학식 4>

여기서, p는 각 클러스터의 중심이고, q는 새로 획득한 동공좌표의 2차원 특징 벡터이다. p와 q는 서로 바뀌어도 무방하다.

따라서, i개의 클러스터 각각에 대하여 i개의 유클리드 거리를 연산한 이후, 가장 거리가 가까운 클러스터(군집)를 새로 획득한 동공좌표의 군집으로 정할 수 있다.

한편, 각 클러스터에 포함된 특징 벡터들(동공좌표들)과 새로 획득한 동공좌표의 특징 벡터 간의 유클리드 거리를 연산한 이후, 그 평균값을 계산하여, 평균값이 가장 작은 클러스터(군집)를 새로 획득한 동공좌표의 군집으로 정할 수도 있다.

각 클러스터의 유클리드 거리의 평균값(m_Lu)은 하기 <수학식 5>로 나타낼 수 있다.

<수학식 5>

여기서, a는 임의의 클러스터에 포함된 동공좌표의 개수, r_t은 임의의 클러스터에 포함된 2-차원 특징 벡터들, q는 새로 획득한 동공좌표의 2-차원 특징 벡터이다. 따라서, k 개의 클러스터 각각에 대하여 상기 <수학식 5>의 연산으로 유클리드 거리의 평균값을 계산한 이후, 평균값이 가장 작은 클러스터(군집)를 새로 획득한 동공좌표의 클러스터로 정할 수도 있다.

한편, 집중도 산출부(106)는 새로 획득하는 동공좌표가 상기 캘리브레이션부(105)에서 구분한 다수의 각 영역 중 어느 영역에 속하는지 판단하여 각 영역의 집중도 인덱스를 증가시키거나 감소시켜 해당 사용자의 집중도를 계산하여, 해당 사용자의 집중도를 산출할 수 있으며, 저장부(102)에 기정장된 해당 사용자의 집중도와도 비교하여 분석 결과를 제공할 수 있다.

도 6a 내지 도 6e는 본 발명에 따른 샘플 동공좌표의 캘리브레이션 과정을 설명하기 위한 도면이다. 도 6a 내지 6e에서는, 설명의 편의를 위해 한쪽 눈에 대해서만 샘플 동공좌표를 캘리브레이션 하는 과정을 설명하기로 한다. 양쪽 눈에 대하여 각각 수행해야 한다.

도 6a에 도시된 바와 같이, 영상분석영역(601) 상에, 다수의 샘플 동공좌표를 모두 표시한다.

도 6b에 도시된 바와 같이, 상기 영상분석영역(601)을 사각형 형태의 다수의 그리드(602)로 분할한다. 소정의 개수의 행과 열을 가지도록 분할한다. 일 예로, 도면에서는, 9열 및 11행으로 구분하였다.

이후, 도 6c에 도시된 바와 같이, 각 그리드 내부에, 기설정 개수의 샘플 동공좌표가 존재하지 않는 그리드를 제외하며, 추후 비집중영역(603)으로 정의된다.

이후, 클러스터링부(502)에서의 클러스터링과정, 내부평가부(503)에서의 내부평가과정 및 클러스터 재평가부(504)에서의 클러스터 재평가 과정을 통해 최대집중영역(604)이 정의된다.

이후, 도 6e에 도시된 바와 같이,

영상분석영역(601)에서, 비집중영역(603) 및 최대집중영역(604)을 제외한 나머지 영역이 집중영역(605)으로 정의된다.

도 7은 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 방법의 흐름도이다.

먼저, 카메라(120)로부터 영상 데이터(영상 정보)를 프레임 단위로 전달받는다(S710). 상기 프레임 단위의 영상 데이터로부터 얼굴 영역을 포함하는 사각형 영역을 정의한다(S720). 상기 사각형 영역 내에 포함되는 영상분석영역을 미리 정의할 수도 있다.

한편, 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈에 대한 영상분석영역 및 동공좌표를 획득한다(S730).

초기 기설정 시간 동안 획득한 샘플 동공좌표에 대한 클러스터링 및 클러스터링 품질평가를 통해 집중도 평가에 사용할 영역을 다수개의 영역으로 구분한다.(S740)

상기 "S740"단계(캘리브레이션단계)는 하기 상세 단계를 포함한다.

먼저, 영상분석영역을 기설정 개수의 그리드로 구분하고, 소정의 개수 미만의 샘플 동공좌표를 포함하는 그리드는 상기 영상분석영역에서 제외한다(S741).

이후, 상기 영상분석영역에서 상기 비분석영역을 제외한 나머지 영역에 포함된 샘플 동공좌표에 대하여 하기 <수학식 6>을 만족하는 K-평균 알고리즘을 이용하여 다수의 샘플 동공좌표를 클러스터링한다(S742).

<수학식 6>

여기서, 상기 클러스터의 개수 k가 다수의 값을 가지는 다수의 경우에 대하여 적어도 2회 이상씩 클러스터링하는 것을 특징으로 한다. 예를 들어, k 값을 12, 16, 20일 때 각각 3회식 클러스트링을 수행하면, 총 9가지의 클러스터링 결과를 얻을 수 있다.

이후, 상기 소정 횟수의 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하여 적어도 2개 이상의 클러스터링 결과를 결정한다(S743).

여기서, 하기 <수학식 7>를 이용하여 데이비스-보들린 인덱스(Davies-Boudlin Index)를 계산하여 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가한다.

<수학식 7>

상기 소정 횟수의 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하여 적어도 2개 이상의 클러스터링 결과를 결정한다. 예를 들어, 상기 9가지 클러스터링 결과로부터 평가가 좋은 3가지의 클러스터링 결과를 선택한다.

이후, 상기 결정된 클러스터링 결과 내 클러스터별 밀집도를 계산하여 각 클러스터를 재평가한다(S744).

클러스터별 밀집도는 하기 <수학식 8>을 이용하여 계산한다.

<수학식 8>

선택된 클러스터링 결과 3가지에 대하여 밀집도를 모두 평가하되, 예를들어, 클러스터 개수가 12개에 대하여 밀집도를 평가할 경우, 12개의 클러스터에 대하여 밀집도를 모두 계산하고, 추후 집중도분석영역 결정단계(S745)에서 가장 높은 값을 가지는 소정의 개수를 선택하여 최대집중영역으로 결정될 수도 있다. 한편, 3가지 경우에 대하여 모두 밀집도를 평가하여, 가장 높은 밀집도를 가지는 소정의 개수의 영역을 모두 합하여 최대집중영역으로 결정할 수도 있다. 밀집도에 따라 최대집중역역으로 결정하는데 여러 가지 다양한 방법이 사용될 수도 있다.

이후, 상기 비분석영역은 비집중영역으로 결정하고, 상기 비분석영역이 제외된 영상분석영역에서 상기 클러스터 재평가단계(S744)에서 계산한 밀집도에 따라 기설정 개수 이상의 클러스터를 포함하는 최대집중영역을 결정하고, 그 외의 영역에 대해서는 집중영역으로 결정한다(S745).

한편, 집중도분석영역 결정단계(S745)에서는, 상기 비분석영역이 제외된 영상분석영역을 빈틈없이 k개의 클러스터 영역으로 구분되도록 주성분 분석법, 최근접 보간법 및, 보로노이 다이어그램을 이용할 수 있다.

상기 캘리브레이션단계(S740) 이후 획득한 다수의 동공좌표가 상기 구분한 다수의 각 영역 중 어느 영역에 속하는지 판단하여 각 영역의 집중도 인덱스를 증가시키거나 감소시켜 해당 사용자의 집중도를 계산한다(S750).

한편, 집중도 산출단계(S750)에서는 새로 획득한 동공좌표를 전달받아 k-NN (k-최근접 이웃) 알고리즘을 사용하여 해당 동공좌표가 어떤 클러스터에 해당되는지 결정하여 집중도를 산출할 수도 있다.

각 동공좌표는 2차원의 특징 벡터를 가지고 있으므로, 2-차원의 두 벡터 p=(p₁, p₂) 와 q=(q₁, q₂) 사이의 유클리드 거리(L_u)는 하기 <수학식 9>를 이용하여 계산한다.

<수학식 9>

각 클러스터의 유클리드 거리의 평균값(m_Lu)은 하기 <수학식 10>으로 나타낼 수 있다.

<수학식 10>

여기서, a는 임의의 클러스터에 포함된 동공좌표의 개수, r_t은 임의의 클러스터에 포함된 2-차원 특징 벡터들, q는 새로 획득한 동공좌표의 2-차원 특징 벡터이다. 따라서, k 개의 클러스터 각각에 대하여 상기 <수학식 10>의 연산으로 유클리드 거리의 평균값을 계산한 이후, 평균값이 가장 작은 클러스터(군집)를 새로 획득한 동공좌표의 클러스터로 정할 수도 있다.

이상에서 본 발명의 일 실시예에 따른 안면 데이터 기반 집중도 분석 방법에 대하여 설명하였지만, 안면 데이터 기반 집중도 분석 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 안면 데이터 기반 집중도 분석 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.

즉, 상술한 안면 데이터 기반 집중도 분석 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수도 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.

100: 집중도 분석 서버
110: 시청자 단말기
120: 카메라
130: 온라인 교육 서버
501: 비분석영역 소거부
502: 클러스터링부
503: 내부평가부
504: 클러스터 재평가부
505: 집중도분석영역 결정부

Claims

안면 데이터 기반 집중도 분석 시스템에 있어서,
사용자가 온라인 교육을 수강하기 위한 단말기(110);
상기 단말기에 부착되거나 스마트기기에 구비되어 해당 사용자의 정면을 촬영하기 위한 카메라(120); 및
상기 카메라로부터 사용자를 촬영한 영상정보를 프레임 단위로 전달받아 영상처리를 통해 획득한 다수의 동공좌표를 클러스터링 및 분석하여 해당 사용자의 집중도를 분석하는 집중도 분석 서버(100)
를 포함하고,
상기 집중도 분석 서버(100)는,
상기 사용자의 영상정보로부터 얼굴 영역을 포함하는 사각형 영역을 정의하기 위한 얼굴 인식부(103);
상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈에 대한 영상분석영역 및 동공좌표를 획득하는 동공좌표 획득부(104);
초기 기설정 시간 동안 획득한 샘플 동공좌표에 대한 클러스터링 및 클러스터링 품질평가를 통해 집중도 평가에 사용할 영역을 다수개의 영역으로 구분하는 캘리브레이션부(105); 및
상기 동공좌표 획득부에서 획득한 다수의 동공좌표가 상기 캘리브레이션부에서 구분한 다수의 각 영역 중 어느 영역에 속하는지 판단하여 각 영역의 집중도 인덱스를 증가시키거나 감소시켜 해당 사용자의 집중도를 계산하는 집중도 산출부(106)
를 포함하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 시스템.
제 1항에 있어서,
상기 캘리브레이션부(105)는,
상기 영상분석영역을 기설정 개수의 그리드로 구분하고, 소정의 개수 미만의 샘플 동공좌표를 포함하는 그리드를 상기 영상분석영역에서 제외하는 비분석영역 소거부(501);
상기 영상분석영역에서 상기 비분석영역을 제외한 나머지 영역에 포함된 샘플 동공좌표에 대하여 K-평균 알고리즘을 이용하여 소정 횟수의 클러스터링을 수행하는 클러스터링부(502);
상기 소정 횟수의 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하여 적어도 2개 이상의 클러스터링 결과를 결정하는 내부평가부(503);
상기 결정된 클러스터링 결과 내 클러스터별 밀집도를 계산하여 각 클러스터를 재평가하는 클러스터 재평가부(504); 및
상기 비분석영역은 비집중영역으로 결정하고, 상기 비분석영역이 제외된 영상분석영역에서 상기 클러스터 재평가부에서 계산한 밀집도에 따라 기설정 개수 이상의 클러스터를 포함하는 최대집중영역을 결정하고, 그 외의 영역에 대해서는 집중영역으로 결정하는 집중도분석영역 결정부(505)
를 포함하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 시스템.
제 2항에 있어서,
상기 클러스터링부(502)는,
하기 <수학식 11>을 만족하는 K-평균 알고리즘을 이용하는 것을 특징으로 하고,
<수학식 11>

(여기서, n개의 샘플 동공좌표 오브젝트 x들의 집합이 주어졌을 때, K-평균 알고리즘은 n개의 동공좌표 오브젝트들을 각 집합 내 오브젝트 간 응집도를 최대로 하는 k(<=n) 개의 집합 S = {S₁, S₂, …, S_k} 으로 분할하는 것으로, n은 샘플 동공좌표의 개수, k는 클러스터의 개수, x는 각 동공좌표이고, μ_i는 i번째 클러스터의 중심, S_i는 i번째 클러스터에 속하는 점의 집합)
상기 클러스터링부(502)는,
상기 클러스터의 개수 k가 다수의 값을 가지는 다수의 경우에 대하여 적어도 2회 이상씩 클러스터링하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 시스템.
제 3항에 있어서,
상기 내부평가부(503)는,
하기 <수학식 12>를 이용하여 데이비스-보들린 인덱스(Davies-Boudlin Index)를 계산하여 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 시스템.
<수학식 12>

(여기서, DB는 데이비스-보들린 인덱스, k는 클러스터의 개수, c_p는 p번째 클러스터의 중심점, σ_p는 p번째 클러스터 내의 모든 요소들과 c_p 까지의 평균 거리, d(c_p, c_q)는 c_p 와 c_q 간의 거리)
제 4항에 있어서,
상기 클러스터 재평가부(504)는,
하기 <수학식 13>을 이용하여
해당 클러스터의 밀집도를 계산하는 것을 특징으로 하고,
<수학식 13>
밀집도 = 해당 클러스터에 포함된 샘플 동공좌표의 개수 × (1/ 해당 클러스터의 중심점과 각 샘플 동공좌표 간의 거리의 평균)
상기 집중도분석영역 결정부(505)는,
상기 비분석영역이 제외된 영상분석영역을 빈틈없이 k개의 클러스터 영역으로 구분되도록 주성분 분석법, 최근접 보간법 및, 보로노이 다이어그램 방법을 이용하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 시스템.
제 3항에 있어서,
상기 집중도 산출부(106)는,
k개의 클러스터의 중심과 새로 입력되는 동공좌표의 특징 벡터에 대하여, k 개의 유클리드 거리를 연산한 이후, 가장 거리가 가까운 클러스터(군집)를 상기 새로 입력되는 동공좌표의 클러스터로 결정하는 것을 특징으로 하고,
각 동공좌표는 2-차원의 특징 벡터를 가지고 있으므로, 2-차원의 두 벡터 p=(p₁, p₂) 와 q=(q₁, q₂) 사이의 유클리드 거리(L_u)는 하기 <수학식 14>를 이용하여 계산하는 것을 특징으로 하고,
<수학식 14>

(여기서, p는 각 클러스터의 중심좌표이고, q는 새로 획득한 동공좌표의 특징 벡터)
상기 집중도 산출부(106)는,
k개의 각 클러스터에 포함된 특징 벡터들과 새로 획득한 동공좌표의 특징 벡터 간의 유클리드 거리를 연산한 이후, 그 평균값을 계산하여, 평균값이 가장 작은 클러스터를 새로 획득한 동공좌표의 클러스터로 정하는 것을 더 포함하는 것을 특징으로 하고,
각 클러스터의 유클리드 거리의 평균값(m_Lu)은 하기 <수학식 15>를 이용하여 계산하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 시스템.
<수학식 15>

(여기서, a는 임의의 클러스터에 포함된 동공좌표의 개수, r은 임의의 클러스터에 포함된 2-차원 특징 벡터들, q는 새로 획득한 동공좌표의 2-차원 특징 벡터)
안면 데이터 기반 집중도 분석 방법에 있어서,
카메라로부터 영상 데이터를 프레임 단위로 전달받는 영상획득단계(S710);
사용자의 영상정보로부터 얼굴 영역을 포함하는 사각형 영역을 정의하는 얼굴인식단계(S720);
상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈에 대한 영상분석영역 및 동공좌표를 획득하는 동공좌표 획득단계(S730);
초기 기설정 시간 동안 획득한 샘플 동공좌표에 대한 클러스터링 및 클러스터링 품질평가를 통해 집중도 평가에 사용할 영역을 다수개의 영역으로 구분하는 캘리브레이션단계(S740); 및
상기 캘리브레이션단계 이후 획득한 다수의 동공좌표가 상기 구분한 다수의 각 영역 중 어느 영역에 속하는지 판단하여 각 영역의 집중도 인덱스를 증가시키거나 감소시켜 해당 사용자의 집중도를 계산하는 집중도 산출단계(S750)
를 포함하는 안면 데이터 기반 집중도 분석 방법.
제 7항에 있어서,
상기 캘리브레이션단계(S740)는,
상기 영상분석영역을 기설정 개수의 그리드로 구분하고, 소정의 개수 미만의 샘플 동공좌표를 포함하는 그리드는 상기 영상분석영역에서 제외하는 비분석영역 소거단계(S741);
상기 영상분석영역에서 상기 비분석영역을 제외한 나머지 영역에 포함된 샘플 동공좌표에 대하여 K-평균 알고리즘을 이용하여 소정 횟수의 클러스터링을 수행하는 클러스터링단계(S742);
상기 소정 횟수의 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하여 적어도 2개 이상의 클러스터링 결과를 결정하는 내부평가단계(S743);
상기 결정된 클러스터링 결과 내 클러스터별 밀집도를 계산하여 각 클러스터를 재평가하는 클러스터재평가단계(S744); 및
상기 비분석영역은 비집중영역으로 결정하고, 상기 비분석영역이 제외된 영상분석영역에서 상기 클러스터 재평가단계에서 계산한 밀집도에 따라 기설정 개수 이상의 클러스터를 포함하는 최대집중영역을 결정하고, 그 외의 영역에 대해서는 집중영역으로 결정하는 집중도분석영역 결정단계(S745)
를 포함하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 방법.
제 8항에 있어서,
상기 클러스터링단계(S742)는,
하기 <수학식 16>을 만족하는 K-평균 알고리즘을 이용하는 것을 특징으로 하고,
<수학식 16>

(여기서, n개의 샘플 동공좌표 오브젝트 x들의 집합이 주어졌을 때, K-평균 알고리즘은 n개의 동공좌표 오브젝트들을 각 집합 내 오브젝트 간 응집도를 최대로 하는 k(<=n) 개의 집합 S = {S₁, S₂, …, S_k} 으로 분할하는 것으로, n은 샘플 동공좌표의 개수, k는 클러스터의 개수, x는 각 동공좌표이고, μ_i는 i번째 클러스터의 중심, S_i는 i번째 클러스터에 속하는 점의 집합)
상기 클러스터링단계(S742)는,
상기 클러스터의 개수 k가 다수의 값을 가지는 다수의 경우에 대하여 적어도 2회 이상씩 클러스터링하는 것을 특징으로 하고,
상기 내부평가단계(S743)는,
하기 <수학식 17>를 이용하여 데이비스-보들린 인덱스(Davies-Boudlin Index)를 계산하여 각 클러스터링 결과에 따른 상기 샘플 동공좌표의 군집정도를 평가하는 것을 특징으로 하고,
<수학식 17>

(여기서, DB는 데이비스-보들린 인덱스, k는 클러스터의 개수, c_p는 p번째 클러스터의 중심점, σ_p는 p번째 클러스터 내의 모든 요소들과 c_p 까지의 평균 거리, d(c_p, c_q)는 c_p 와 c_q 간의 거리)
상기 클러스터재평가단계(S744)는,
하기 <수학식 18>을 이용하여
해당 클러스터의 밀집도를 계산하는 것을 특징으로 하고,
<수학식 18>
밀집도 = 해당 클러스터에 포함된 샘플 동공좌표의 개수 × (1/ 해당 클러스터의 중심점과 각 샘플 동공좌표 간의 거리의 평균)
상기 집중도분석영역 결정단계(S745)는,
상기 비분석영역이 제외된 영상분석영역을 빈틈없이 k개의 클러스터 영역으로 구분되도록 주성분 분석법, 최근접 보간법 및, 보로노이 다이어그램 방법을 이용하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 방법.
제 9항에 있어서,
상기 집중도 산출단계(S750)는,
k개의 클러스터의 중심과 새로 입력되는 동공좌표의 특징 벡터에 대하여, k 개의 유클리드 거리를 연산한 이후, 가장 거리가 가까운 클러스터(군집)를 상기 새로 입력되는 동공좌표의 클러스터로 결정하는 것을 특징으로 하고,
각 동공좌표는 2-차원의 특징 벡터를 가지고 있으므로, 2-차원의 두 벡터 p=(p₁, p₂) 와 q=(q₁, q₂) 사이의 유클리드 거리(L_u)는 하기 <수학식 19>를 이용하여 계산하는 것을 특징으로 하고,
<수학식 19>

(여기서, p는 각 클러스터의 중심좌표이고, q는 새로 획득한 동공좌표의 특징 벡터)
상기 집중도 산출단계(S750)는,
k개의 각 클러스터에 포함된 특징 벡터들과 새로 획득한 동공좌표의 특징 벡터 간의 유클리드 거리를 연산한 이후, 그 평균값을 계산하여, 평균값이 가장 작은 클러스터를 새로 획득한 동공좌표의 클러스터로 정하는 것을 더 포함하는 것을 특징으로 하고,
각 클러스터의 유클리드 거리의 평균값(m_Lu)은 하기 <수학식 20>을 이용하여 계산하는 것을 특징으로 하는 안면 데이터 기반 집중도 분석 방법.
<수학식 20>

(여기서, a는 임의의 클러스터에 포함된 동공좌표의 개수, r은 임의의 클러스터에 포함된 2-차원 특징 벡터들, q는 새로 획득한 동공좌표의 2-차원 특징 벡터)