KR101766347B1 - 집중도 평가시스템 - Google Patents

집중도 평가시스템 Download PDF

Info

Publication number
KR101766347B1
KR101766347B1 KR1020150073736A KR20150073736A KR101766347B1 KR 101766347 B1 KR101766347 B1 KR 101766347B1 KR 1020150073736 A KR1020150073736 A KR 1020150073736A KR 20150073736 A KR20150073736 A KR 20150073736A KR 101766347 B1 KR101766347 B1 KR 101766347B1
Authority
KR
South Korea
Prior art keywords
motion
concentration
value
image
unit
Prior art date
Application number
KR1020150073736A
Other languages
English (en)
Other versions
KR20160139221A (ko
Inventor
노성렬
Original Assignee
노성렬
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노성렬 filed Critical 노성렬
Priority to KR1020150073736A priority Critical patent/KR101766347B1/ko
Publication of KR20160139221A publication Critical patent/KR20160139221A/ko
Application granted granted Critical
Publication of KR101766347B1 publication Critical patent/KR101766347B1/ko

Links

Images

Classifications

    • G06K9/00221—
    • G06K9/00597—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 특징에 따르면, 영상컨텐츠를 시청하는 피평가자(A)의 집중도를 평가하기 위한 집중도 평가시스템에 있어서, 피평가자(A)의 시청모습을 촬영한 영상데이터를 수신하는 영상입력부(110)와, 상기 영상데이터를 영상분석하여 영상내에서 피평가자(A)의 신체를 대상으로 하는 객체를 추출하는 객체추출부(120)와, 상기 객체의 신체 움직임을 추적하여 움직임값을 산출하는 신체추적부(131), 상기 객체상에서 얼굴부위를 추출하고 얼굴의 움직임을 추적하여 얼굴의 움직임값을 산출하는 얼굴추적부(132) 또는, 상기 객체상에서 얼굴의 동공부위를 추출하고 동공의 움직임을 추적하여 움직임값을 산출하는 동공추적부(133) 중 어느 하나의 추적부를 포함하는 집중판단요소 산출부(130) 및, 신체의 움직임값, 얼굴의 움직임값 또는 동공의 움직임값 중 어느 하나 이상의 움직임값과 기설정된 기준데이터간의 비교를 통해 단위시간당 변화하는 움직임대비 집중도에 대한 평가점수를 측정하여 상기 피평가자(A)에 대한 집중도 평가데이터를 산정하는 집중도평가부(140)를 포함하는 집중도 평가장치(100);를 포함하는 집중도 평가시스템이 제공된다.

Description

집중도 평가시스템{CONCENTRATIVENESS EVALUATING SYSTEM}
본 발명은 집중도 평가시스템에 관한 것으로, 보다 상세하게는 영상컨텐츠를 시청하는 피평가자의 시청모습을 촬영한 영상데이터를 이용하여 해당 영상컨텐츠에 대한 피평가자의 집중도를 평가하는 집중도 평가시스템에 관한 것이다.
일반적으로 온라인 강의는 PC나 스마트폰 등의 디스플레이 수단이 있으면 시간과 장소의 제한없이 편리하게 수강할 수 있는 장점이 있어 널리 이용되고 있다. 그러나, 오프라인 강의와 달리 강사 등의 직접적인 관리가 이루어지지 않아 수강자의 의지에 따라 학습효율이 저하될 수 있는 문제점이 있다.
또한, 온라인 강의나 오프라인 강의의 경우 수강생의 학습태도를 평가하기 위해 강의내용에 대한 문제를 제시하고 이에 대한 정답여부에 따라 차등되는 평가점수를 책정할 수 있었으나, 이는 학습내용의 인지여부만을 평가하는 것이며 순전히 강의중의 학습태도만을 대상으로 평가하는 것과는 거리가 있었다.
한편, 강의, 영화나 드라마, 게임 등과 같은 영상컨텐츠의 경우 수강자 또는 시청자, 게이머 등의 사용자를 대상으로 해당 영상컨텐츠에 대한 정성적 가치를 판단하기 위해 컨텐츠 제공중에 얼마나 집중해서 수강 또는 시청(게임)했는지를 조사하여 컨텐츠 보완 및 개발에 필요한 데이터를 확보하려는 시도가 있으나, 종래의 컨텐츠 집중도에 대한 조사는 설문조사 형식을 취하기 때문에 영상컨텐츠의 전체적인 집중도에 대한 평가만이 이루어지게 되며 주관적인 의사가 반영되어 객관화된 결과를 얻지 못하는 문제점이 있었다.
더욱이, 이러한 조사를 위해서는 수강자 또는 시청자가 별도로 시간을 할애하여 설문조사에 응해야 하기 때문에 수강자나 시청자 전체에 대한 평가결과를 획득하기가 제한되며 일부 무성의한 응답자에 대한 조사데이터가 평가결과에 반영되기 때문에 평가데이터의 신뢰도가 저하되는 문제점이 있었다.
공개특허공보 제10-2015-0037056호2015.04.08), 온라인 상의 학습 미션을 이용한 학습관리 방법 및 이에 사용되는 학습관리 서버
본 발명은 상술한 문제점을 해결하기 위하여 창출된 것으로, 본 발명의 목적은 영상컨텐츠를 시청하는 피평가자의 시청모습을 촬영한 영상데이터의 영상분석을 통해 피평가자가 영상컨텐츠를 시청하는 중에 얼마만큼 몰입했는지에 대한 집중도를 정량화하여 평가데이터로 산정할 수 있는 집중도 평가시스템을 제공하는 것에 있다.
본 발명의 다른 목적은, 주관적인 의사가 반영되고 전체적인 평가결과만이 반영되는 종래의 설문조사 방식과 달리 피평가자가 영상컨텐츠를 시청하는 중에 취하는 움직임에 따라 실제로 영상컨텐츠에 몰입하여 집중하는지 여부를 판단하고 이에 따라 평가결과를 차등하여 산정할 수 있어 상대적으로 객관화되고 신뢰성있는 평가데이터를 제공할 수 있으며 영상컨텐츠에 대한 부분적인 평가데이터를 획득할 수 있는 집중도 평가시스템을 제공하는 것에 있다.
본 발명의 특징에 따르면, 영상컨텐츠를 시청하는 피평가자(A)의 집중도를 평가하기 위한 집중도 평가시스템에 있어서, 피평가자(A)의 시청모습을 촬영한 영상데이터를 수신하는 영상입력부(110)와, 상기 영상데이터를 영상분석하여 영상내에서 피평가자(A)의 신체를 대상으로 하는 객체를 추출하는 객체추출부(120)와, 상기 객체의 신체 움직임을 추적하여 움직임값을 산출하는 신체추적부(131), 상기 객체상에서 얼굴부위를 추출하고 얼굴의 움직임을 추적하여 얼굴의 움직임값을 산출하는 얼굴추적부(132) 또는, 상기 객체상에서 얼굴의 동공부위를 추출하고 동공의 움직임을 추적하여 움직임값을 산출하는 동공추적부(133) 중 어느 하나의 추적부를 포함하는 집중판단요소 산출부(130) 및, 신체의 움직임값, 얼굴의 움직임값 또는 동공의 움직임값 중 어느 하나 이상의 움직임값과 기설정된 기준데이터간의 비교를 통해 단위시간당 변화하는 움직임대비 집중도에 대한 평가점수를 측정하여 상기 피평가자(A)에 대한 집중도 평가데이터를 산정하는 집중도평가부(140)를 포함하는 집중도 평가장치(100);를 포함하는 집중도 평가시스템이 제공된다.
본 발명의 다른 특징에 따르면, 상기 집중도평가부(140)는, 상기 신체 또는 얼굴의 움직임값과 기설정된 기준데이터를 비교하여 집중도 평가데이터를 산정하되, 상기 영상컨텐츠에 대한 동적호응구간(DS)과 정적호응구간(SS)으로 구분되게 기설정된 구간정보를 기초로 하여 상기 동적호응구간(DS)에서 움직임값이 높은 경우 또는 상기 정적호응구간(SS)에서 움직임값이 낮은 경우 가중치를 부가하여 상대적으로 높은 평가점수로 측정하는 것을 특징으로 하는 집중도 평가시스템이 제공된다.
본 발명의 또 다른 특징에 따르면, 상기 집중도 평가장치(100)는, 다수의 피평가자(A)에 대한 신체 또는 얼굴의 움직임값의 공통적인 변화구간을 추출하여 상기 영상컨텐츠에 대한 동적호응구간(DS)과 정적호응구간(SS)으로 구분되는 구간정보를 생성하는 구간정보 생성부(150)를 더 포함하며, 상기 집중도평가부(140)는, 신체의 움직임값 또는 얼굴의 움직임값과 기설정된 기준데이터를 비교하여 집중도 평가데이터를 산정하되, 상기 구간정보 생성부(150)에 의해 생성된 구간정보를 기초로 하여 상기 동적호응구간(DS)에서 움직임값이 높은 경우 또는 상기 정적호응구간(SS)에서 움직임값이 낮은 경우 가중치를 부가하여 상대적으로 높은 평가점수로 측정하는 것을 특징으로 하는 집중도 평가시스템이 제공된다.
본 발명의 또 다른 특징에 따르면, 상기 영상컨텐츠는 다수의 피평가자(A)가 집결된 오프라인공간(OS)에서 영상 또는 육성으로 제공되는 컨텐츠이고, 상기 오프라인공간(OS) 내에 배치되어 각 피평가자(A)의 시청모습을 동시에 촬영하여 영상데이터를 획득하는 카메라부(300);를 더 포함하며, 상기 집중도 평가장치(100)는, 상기 카메라부(300)로부터 수신된 영상데이터를 이용하여 각 피평가자(A)에 대한 집중도 평가데이터를 산정하는 것을 특징으로 하는 집중도 평가시스템이 제공된다.
이상에서와 같이 본 발명에 의하면,
첫째, 영상컨텐츠를 시청하는 피평가자(A)의 시청모습을 촬영한 영상데이터의 영상분석을 통해 피평가자(A)가 영상컨텐츠를 시청하는 중에 얼마만큼 몰입했는지에 대한 집중도를 정량화하여 평가데이터로 산정할수 있으므로, 학습태도가 불량한 피평가자(A)를 관리하거나 영상컨텐츠의 품질평가를 위한 기초데이터로 이용할 수 있다.
둘째, 상기 영상데이터를 영상분석하여 영상내에서 피평가자(A)의 신체를 객체로 추출하고, 추출된 객체 내에서 신체의 움직임값, 얼굴의 움직임값 및 동공의 움직임값 등의 집중판단요소를 이용하여 단위시간당 변화하는 움직임대비 집중도에 대한 평가점수를 측정함으로써, 영상컨텐츠를 시청하는 피평가자(A)의 신체움직임으로 자리이탈 및 신체 흔들림을 감지하여 산만한 정도를 측정하거나, 시선의 방향을 감지하여 영상컨텐츠의 시청여부를 측정하거나, 동공의 움직임값으로 졸음여부를 측정하는 등 다각적으로 객관적인 평가데이터를 산출할 수 있다.
셋째, 피평가자(A)에 대한 신체 또는 얼굴의 움직임값과 기설정된 기준데이터를 비교하여 집중도 평가데이터를 산정하되, 상기 영상컨텐츠에 대한 동적호응구간(DS)과 정적호응구간(SS)으로 구분되게 기설정된 구간정보를 기초로 하여 상기 동적호응구간(DS)에서 움직임값이 높은 경우 또는 상기 정적호응구간(SS)에서 움직임값이 낮은 경우 가중치를 부가하여 상대적으로 높은 평가점수로 측정함으로써, 피평가자(A)가 조는 경우 움직임값이 낮아 높은 평가점수로 측정되고 영상컨텐츠에 대한 호응에 따른 움직임으로 낮은 평가점수로 측정되는 문제점을 해결할 수 있다.
넷째, 다수의 피평가자(A)에 대한 신체 또는 얼굴의 움직임값의 공통적인 변화구간을 추출하여 상기 영상컨텐츠에 대한 동적호응구간(DS)과 정적호응구간(SS)으로 구분되는 구간정보를 생성하며, 생성된 구간정보를 기초로 하여 동적호응구간(DS)과 정적호응구간(SS)으로 구분하여 피평가자(A)의 움직임에 따른 집중도를 평가할 수 있으므로, 관리자가 상기 구간정보를 추출하기 위해 영상컨텐츠를 일일이 살펴보며 구간별로 동적호응과 정적호응으로 구분하거나, 피평가자 전체의 움직임값을 취합하여 분석할 필요가 없으므로 구간정보를 산출하기 위한 시간과 노력을 대폭 절감할 수 있으며 보다 객관적인 기준을 갖는 구간정보를 적용할 수 있다.
다섯째, 상기 영상컨텐츠는 다수의 피평가자(A)가 집결된 오프라인공간(OS)에서 영상 또는 육성으로 제공되는 컨텐츠일 경우, 상기 오프라인공간(OS) 내에 배치되어 각 피평가자(A)의 시청모습을 동시에 촬영하는 카메라부(300)를 이용하여 각 피평가자(A)의 개별적인 영상데이터를 획득하며, 상기 카메라부(300)로부터 수신된 영상데이터를 이용하여 각 피평가자(A)에 대한 개별적인 집중도 평가데이터를 산정할 수 있으므로, 오프라인 강의, 영화 등과 같은 영상컨텐츠에 대한 집중도를 평가하거나 영상컨텐츠에 대한 품질평가를 수행할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 집중도 평가시스템의 구성을 나타낸 개략도,
도 2는 본 발명의 바람직한 실시예에 따른 집중도 평가장치의 기능적 구성을 나타낸 블럭도,
도 3은 본 발명의 바람직한 실시예에 따른 피평가자단말을 통해 영상컨텐츠를 시청하는 피평가자를 촬영하는 상태를 나타낸 측면도,
도 4는 본 발명의 바람직한 실시예에 따른 집중도 평가장치를 통해 산출된 피평가자의 움직임곡선과 평가데이터를 산출하기 위한 기준치의 예시를 나타낸 그래프,
도 5는 본 발명의 바람직한 실시예에 따른 집중도 평가장치를 통해 산출된 피평가자의 움직임곡선과 동적호응구간과 정적호응구간를 구분하기 위한 기준치의 예시를 나타낸 그래프,
도 6은 본 발명의 바람직한 실시예에 따른 집중도 평가장치의 집중도 평가 알고리즘에 따른 집중도 평가 함수 그래프,
도 7 내지 도 10은 본 발명의 바람직한 실시예에 따른 구간 가중치 및 컨텐츠 가중치를 반영함에 따라 변화되는 집중도 평가 함수 그래프,
도 11 내지 도 14는 본 발명의 바람직한 실시예에 따른 집중도 평가 함수 그래프에 근거하여 집중도 평가 데이터를 산출하는 동작원리를 설명하기 위한 집중도 평가 함수 그래프,
도 15는 본 발명의 바람직한 실시예에 따른 오프라인공간 내에 설치된 카메라부의 구성을 나타낸 사시도,
도 16은 본 발명의 바람직한 실시예에 따른 집중도 평가장치에 의해 각 피평가자의 얼굴을 객체로 인식하고 움직임을 추적하는 상태를 나타낸 화면예시도,
도 17 및 도 18은 본 발명의 바람직한 실시예에 따른 집중도 평가장치의 집중도 평가 어플리케이션이 구동된 화면을 나타낸 화면예시도,
상술한 본 발명의 목적, 특징들 및 장점은 다음의 상세한 설명을 통하여 보다 분명해질 것이다. 이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거하여 설명하면 다음과 같다.
본 발명의 실시예에 대하여 설명하기에 앞서, 이하에서 설명되는 몇가지 용어들을 정의한다. 이하에서 언급되는 '피평가자(Appraisee,A)'는 영상컨텐츠를 시청하는 평가대상이거나 상기 영상컨텐츠에 대한 품질평가를 위해 시청하는 대상이며, '관리자'는 집중도 평가시스템을 운용하는 주체를 의미한다.
또한, 이하에서 언급되는 '영상컨텐츠'는 피평가자(A)의 집중도를 평가하거나 해당 컨텐츠의 품질을 평가하기 위해 피평가자(A)가 시청하는 대상컨텐츠로서 동영상강의, 오프라인강의, 영화, 드라마, 게임 등의 시청각 컨텐츠를 의미한다.
본 발명의 바람직한 실시예에 따른 집중도 평가시스템은, 영상컨텐츠를 시청하는 피평가자(A)의 시청모습을 촬영한 영상데이터의 영상분석을 통해 피평가자(A)가 영상컨텐츠를 시청하는 중에 얼마만큼 몰입했는지에 대한 집중도를 정량화하여 평가데이터로 산정할 수 있는 시스템으로서, 도 1에 도시된 바와 같이 집중도 평가장치(100)를 포함하여 구비된다.
먼저, 상기 집중도 평가장치(100)는, 촬영된 영상데이터를 이용하여 피평가자(A)를 대상으로 하는 집중도 평가데이터를 산정하는 장치로서, PC나 서버상에 설치되는 어플리케이션의 형태로 구현될 수 있으며 입력되는 영상데이터를 영상분석하여 기설정된 집중도 평가 알고리즘에 의해 각 피평가자(A)에 대한 집중도 평가를 수행한다.
따라서, 상기 집중도 평가장치(100)는 집중도 평가 어플리케이션이 설치되는 대상에 따라 관리자가 운용하는 관리자단말(100)이거나, 피평가자(A)가 운용하는 피평가자단말(10)일 수 있다. 여기서, 상기 집중도 평가장치(100)가 관리자단말(100)인 경우 피평가자단말(10)에 설치된 카메라모듈(12)에서 촬영된 영상데이터를 통신망(20)을 통해 직접 또는 메인서버(200)를 거쳐 수신하여 영상분석을 통해 집중도 평가데이터를 산정하며, 상기 집중도 평가장치(100)가 피평가자단말(10)인 경우 상기 카메라모듈(12)에서 촬영된 영상데이터를 자체적으로 영상분석을 수행하고 산정된 집중도 평가데이터를 상기 관리자단말(100) 또는 메인서버(200)로 전송하여 통합적으로 관리될 수 있도록 한다.
이하에서는, 상기 집중도 평가장치(100)는 집중도 평가 어플리케이션이 설치된 관리자단말(100)이고, 피평가자단말(10)에서 촬영된 영상데이터는 메인서버(200)에 취합되며 저장된 임의의 영상데이터를 상기 관리자단말(100)이 취출하여 영상분석을 수행하는 것을 예를 들어 실시예를 설명하기로 한다.
도 2는 본 발명의 바람직한 실시예에 따른 집중도 평가장치(100)의 기능적 구성이 개시되어 있다. 도 2를 참고하면 집중도 평가장치(100)는 영상입력부(110), 객체추출부(120), 집중판단요소 산출부(130) 및 집중도평가부(140)를 포함하여 구비된다.
여기서, 피평가자단말(10)은 피평가자(A)가 운용하는 단말로서, 도 1 및 도 3에 도시된 바와 같이 스마트폰 또는 PC 등과 같이 일측에는 디스플레이(11)가 장착되고 내부에 설치된 어플리케이션의 구동에 따라 영상컨텐츠를 재생하여 디스플레이(11)를 통해 이미지를 표출하는 통신단말로서, 타측에는 디스플레이(11)를 통해 재생되는 영상컨텐츠를 시청하는 피평가자(A)의 시청모습을 촬영하기 위한 카메라모듈(12)이 장착된다.
또한, 상기 피평가자단말(10)은 통신망(20)을 통해 촬영된 영상데이터를 실시간으로 메인서버(200)에 전송하여 메인서버(200)를 통해 영상데이터가 통합관리되도록 한다.
상기 집중도 평가장치(100)의 영상입력부(110)는, 피평가자(A)의 시청모습을 촬영한 영상데이터를 수신하는 입력수단으로서, 유,무선 통신방식의 통신망(20)을 통해 메인서버(200)에 취합된 임의의 영상데이터를 취출하여 피평가자(A)의 시청모습을 촬영한 영상데이터를 수신한다.
상기 객체추출부(120)는 수신된 영상데이터를 영상분석하여 영상내에서 피평가자(A)의 신체를 대상으로 하는 객체를 추출한다. 여기서, 상기 객체를 추출함에 있어서 상기 영상데이터의 각 프레임을 비교 분석하여 변화되는 대상을 객체로 추출하는 방식을 이용할 수 있으며 이 밖에 본 발명이 속하는 기술분야에서 영상내에서 원하는 객체를 추출하기 위한 영상분석방식이 이용될 수 있다.
상기 집중판단요소 산출부(130)는, 피평가자(A)의 집중도를 판단하기 위한 집중판단요소를 산출하는 수단으로서, 상기 객체의 신체 움직임을 추적하여 움직임값을 산출하는 신체추적부(131), 상기 객체상에서 얼굴부위를 추출하고 얼굴의 움직임을 추적하여 얼굴의 움직임값을 산출하는 얼굴추적부(132) 또는, 상기 객체상에서 얼굴의 동공부위를 추출하고 동공의 움직임을 추적하여 움직임값을 산출하는 동공추적부(133) 중 어느 하나 이상의 추적부를 포함하여 구비될 수 있다.
여기서, 상기 집중판단요소는 피평가자(A)의 집중도를 판단하기 위해 움직임을 추적하는 추적대상으로서, 상기 신체, 얼굴, 동공 이외에 얼굴표정, 손놀림 등과 같이 다양한 신체의 일부를 대상으로 적용할 수 있다.
상기 집중도평가부(140)는, 상기 집중판단요소 산출부(130)에 의해 산출된 신체의 움직임값, 얼굴의 움직임값 또는 동공의 움직임값 중 어느 하나 이상의 움직임값과 기설정된 기준데이터를 비교하여 단위시간당 변화하는 움직임대비 집중도에 대한 평가점수를 측정하여 상기 피평가자(A)에 대한 집중도 평가데이터를 산정한다.
여기서, 상기 집중도평가부(140)는 산출된 신체의 움직임값을 이용하여 피평가자(A)에 대한 신체 및 얼굴의 움직임을 감지하여 기준치를 초과하는 움직임에 대해서는 영상컨텐츠의 시청에 집중하지 못하고 산만한 것으로 판단하여 감점을 부여하거나 상대적으로 낮은 평가점수를 책정하며, 상기 얼굴의 움직임을 감지하여 피평가자(A)가 디스플레이(11)를 바라보았을 때의 움직임값과 현재의 움직임값을 비교하여 피평가자(A)의 시선을 판단함으로써 디스플레이(11)를 응시하는지 여부에 따라 감점 또는 낮은 평가점수를 책정할 수 있다.
또한, 상기 동공의 움직임을 감지하여 눈을 뜬 상태와 감은 상태를 구분하고 일정시간 이상 눈을 감고 있는 것으로 확인된 경우 피평가자(A)가 졸고 있는 것으로 판단하여 감점 또는 낮은 평가점수를 책정할 수 있다.
여기서, 도 4에는 단위시간당 변화하는 신체 또는 얼굴에 대한 움직임곡선을 나타낸 그래프가 도시되어 있다. 여기서, Y축은 움직임값의 크기, X축은 단위시간, L1은 기설정된 기준치를 각각 나타낸다.
도 4에 도시된 바와 같이 상기 집중도평가부(140)는 단위시간당 변화하는 움직임값을 모니터링하여 기설정된 기준치(L1)를 초과하는 구간(S1)이 발생되면 피평가자(A)가 해당 구간(S1)에서는 영상컨텐츠에 대해 집중하지 못하고 산만한 모습을 보이는 것으로 판단하여 구간(S1)의 길이 및 횟수에 상응하는 정도의 감점을 부여하거나 상대적으로 낮은 평가점수를 책정하여 영상컨텐츠에 집중함에 따라 움직임이 없이 안정된 모습을 취하는 피평가자(A)와 구별되는 평가점수가 산출되도록 한다.
이와 같이, 영상컨텐츠를 시청하는 피평가자(A)의 시청모습을 촬영한 영상데이터의 영상분석을 통해 피평가자(A)가 영상컨텐츠를 시청하는 중에 얼마만큼 몰입했는지에 대한 집중도를 정량화하여 평가데이터로 산정할수 있으므로, 학습태도가 불량한 피평가자(A)를 관리하거나 영상컨텐츠의 품질평가를 위한 기초데이터로 이용할 수 있다.
또한, 상기 영상데이터를 영상분석하여 영상내에서 피평가자(A)의 신체를 객체로 추출하고, 추출된 객체 내에서 신체의 움직임값, 얼굴의 움직임값 및 동공의 움직임값 등의 집중판단요소를 이용하여 단위시간당 변화하는 움직임대비 집중도에 대한 평가점수를 측정함으로써, 영상컨텐츠를 시청하는 피평가자(A)의 신체움직임으로 자리이탈 및 신체 흔들림을 감지하여 산만한 정도를 측정하거나, 시선의 방향을 감지하여 영상컨텐츠의 시청여부를 측정하거나, 동공의 움직임값으로 졸음여부를 측정하는 등 다각적으로 객관적인 평가데이터를 산출할 수 있다.
한편, 상기와 같이 신체나 얼굴의 움직임 여부만을 기준으로 집중도를 판단하면, 피평가자(A)가 조는 경우 움직임이 낮게 감지되어 영상컨텐츠에 집중하지 못함에도 불구하고 평가데이터가 높게 산출되거나, 영상컨텐츠에 호응하여 박수를 치거나 크게 웃거나 강사의 특정행동의 요구에 대한 행위를 수행한 경우 움직임이 높게 감지되어 영상컨텐츠에 집중함에도 불구하고 평가데이터가 낮게 산출될 수 있다.
이에 본 발명의 바람직한 실시예에 따른 집중도평가부(140)는, 상기 신체의 움직임값 또는 얼굴의 움직임값과 기설정된 기준데이터를 비교하여 집중도 평가데이터를 산정하되, 상기 영상컨텐츠에 대한 동적호응구간(DS)과 정적호응구간(SS)으로 구분되게 기설정된 구간정보를 이용하여 상기 동적호응구간(DS)에서 움직임값이 높은 경우 또는 상기 정적호응구간(SS)에서 움직임값이 낮은 경우 가충치를 부가하여 상대적으로 높은 평가점수로 측정하도록 동작한다.
상기 동적호응구간(Dynamic Section,DS)은 영상컨텐츠의 내용에 따라 박수를 치거나 크게 웃거나 강사의 특정행동의 요구에 대한 행위를 취하는 등과 같이 피평가자(A)가 활발한 움직임을 보이는 경우 영상컨텐츠에 집중하는 것으로 판단하기 위해 설정된 구간이며, 정적호응구간(Static Section,SS)은 특별한 움직임이 없이 피평가자(A)가 고정적인 움직임을 보이는 경우 영상컨텐츠에 집중하는 것으로 판단하기 위한 설정된 구간을 의미한다.
여기서, 도 5에는 단위시간당 변화하는 신체 또는 얼굴에 대한 움직임곡선을 나타낸 그래프가 도시되어 있다. Y축은 움직임값의 크기, X축은 단위시간, L2는 상기 동적호응구간(DS)을 판단하기 위한 상한 기준치이고 L3는 상기 정적호응구간(SS)을 판단하기 위한 하한 기준치를 나타낸다.
도 5에 도시된 바와 같이 상기 집중도평가부(140)는 단위시간당 변화하는 움직임값을 모니터링하여 설정된 동적호응구간(DS)에서 상한 기준치(L2)를 초과하는 움직임값이 감지되면 피평가자(A)가 영상컨텐츠에 대해 적극적인 호응으로 집중하는 것으로 판단하여 가중치를 부가하여 상대적으로 높은 평가점수를 측정하며, 정적호응구간(SS)에서 하한 기준치(L3)를 미달하는 움직임값이 감지되면 피평가자(A)가 움직임없이 안정된 모습으로 집중하는 것으로 판단하고 가중치를 부가하여 상대적으로 높은 평가점수를 측정한다.
반면에, 상기 동적호응구간(DS)에서 상한 기준치(L2)에 미달하는 움직임이 감지되면 피평가자(A)가 영상컨텐츠에 대해 호응을 하지 않거나 소극적인 호응으로 집중하지 않는 것으로 판단하여 감점을 부여하거나 상대적으로 낮은 평가점수를 책정하며, 정적호응구간(SS)에서 하한 기준치(L3)를 초과하는 움직임이 감지되면 영상컨텐츠와 무관하게 산만한 움직임을 보이는 것으로 판단하여 감점을 부여하거나 상대적으로 낮은 평가점수를 책정한다.
한편, 도 6에는 상기 동적호응구간(DS)과 정적호응구간(SS)을 적용한 집중도 평가 알고리즘에 따라 집중도 평가 데이터(CEI)를 산출하기 위한 집중도 평가 함수 그래프가 도시되어 있다.
도 6을 참고하면 상기 집중도 평가 알고리즘이 적용된 집중도 평가 어플리케이션에는 영상컨텐츠에 대한 구간별 가중치(1.0 내지 5.0)를 적용하여 동적호응구간(DS) 및 정적호응구간(SS)를 구분하거나, 그룹 전체의 움직임량 및 개별 객체의 움직임량 분석을 통해 동적호응구간(DS)와 정적호응구간(SS)을 구분할 수 있다. 또한, 정적집중도는 움직임량에 반비례(정적집중도 ∝ 1/움직임량＾2)하므로 그래프에서 중앙을 정점으로 정적호응구간(SS)일 경우에는 왼쪽 부분의 그래프 함수값을 이용하고, 동적집중도는 움직량에 비례(동적집중도 ∝ 움직임량＾2)하므로 동적호응구간(DS)일 경우에는 중앙정점을 중심으로 오른쪽 부분의 그래프 함수값을 이용한다.
또한, 상기 집중도 평가 알고리즘에는 동적호응구간(DS) 및 정적호응구간(SS) 등의 구간정보에 따른 구간가중치를 부가하는 것이외에, 영상컨텐츠의 분야나 종류에 따른 컨텐츠 가중치, 해당 영상컨텐츠를 시청하는 장소나 시간대 또는 피평가자(A)의 성별이나 연령대 등의 환경변수를 고려한 환경가중치 등을 반영하여 시청대상에 부합되는 집중도 평가가 이루어질 수 있다.
이하에서는 상기 집중도 평가 함수 그래프를 산출하기 위한 집중도 평가 알고리즘을 설명하기로 한다.
먼저, 움직임량(φ)은 하기의 [수학식 1]에서와 같이 환경변수(R)의 영향에 따라 재생성되며, 상기 환경변수(R)은 시청 환경계수(CS) 및 객체 환경계수(CM)를 포함하여 이루어진다.
Figure 112015050746529-pat00001
Figure 112015050746529-pat00002
여기서, 상기 CS는 시청 환경계수(장소/시간), CM은 객체 환경계수(성별/연령대)를 각각 의미한다.
그리고, 집중도 평가 데이터(CEI)는 하기의 [수학식 2]와 같이 순간집중도(FEI)의 누적값으로 계산되며, 이때 컨텐츠가중치(WCEI)가 적용된다.
Figure 112015050746529-pat00003
더불어, 순간집중도(FEI)는 하기의 [수학식 3]과 같이 node에 구간가중치(WSEI)가 적용되며, ∫action(j) 정보값이 더해진다. 여기서, 상기 ∫action(j) 정보값으로는 위치정보, 시선, 고개각도 등의 변수가 있다.
Figure 112015050746529-pat00004
여기서, 상기 node는 하기의 [수학식 4]와 같이 신체(몸)/얼굴,눈상태(감은 상태, 뜬 상태)의 mesh 함수로 되어 있으며, 위치가중치(WPOS)가 적용된다.
Figure 112015050746529-pat00005
여기서, 상기 WPOS는 다수의 피평가자(A)가 존재하는 경우 각 피평가자(A)별로 배치된 위치에 따른 위치가중치를 의미하며, 상기 mesh는 연산을 위한 객체의 최소인식 단위를 의미한다.
한편, 집중도 평가 데이터(CEI)를 산출하기 위한 절차로는, 영상컨텐츠 시작 → 기본변수 선언 → 대표 순간집중도값 계산(FEI) → 자동생성변수 생성 → 집중도함수 생성(Y) → 움직임 변화에 따른 집중도값 계산(FEI) → 순간집중도 누적에 따른 집중도 평가 데이터(CEI) 생성, 과 같다.
여기서, 상기 대표 순간집중도값(FEI)은 하기의 [수학식 5]를 통해 산출할 수 있다.
Figure 112015050746529-pat00006
여기서, Wi는 구간가중치(1.0 내지 10.0), CS는 시청 환경계수(장소/시간), CM은 객체 환경계수(성별/연령대), QM은 움직임량(얼굴/신체), PM은 컨텐츠 가중치(1.0 내지 1.5)를 각각 의미힌다.
또한, 상기 [수학식 5]를 집중도 함수로 적용하기 위해 하기와 같은 [수학식 6]을 적용하여 2차 방정식 (Y = a×(x + b)2 + C)의 형태로 변환한다.
Figure 112015050746529-pat00007
여기서, 상기 A 및 B는 변환계수를 의미한다.
또한, 상술한 자동생성변수는 하기의 [수학식 7]을 통해 산출할 수 있다.
Figure 112015050746529-pat00008
Figure 112015050746529-pat00009
Figure 112015050746529-pat00010
여기서, CEI.max는 컨텐츠 CEI 최대치, Wmax는 움직임량 최대치, Wmin는 움직임량 최소치, C.blnc는 컨텐츠 CEI.max값에 따라 변하는 연산계수, Pmax는 컨텐츠 가중치 최대, Pmin는 컨텐츠 가중치 최소, CEI.best는 컨텐츠 CEI 최적값을 각각 의미한다.
이러한 자동생성변수를 산출한 후, 하기의 [수학식 8]에 적용하여 집중도 함수(Y)를 산출할 수 있으며, 집중도 함수(Y)가 만들어지면 집중도 변화요소(움직임 등) x에 대해서 순간집중도(Y=FEI)가 결정된다. 이를 토대로 하여 도 6과 같은 집중도 평가 함수 그래프를 도출할 수 있게 된다.
Figure 112015050746529-pat00011
따라서, 도 6에 도시된 집중도 평가 함수 그래프는 임의 구간 가중치 5가 반영된 기준 함수 그래프이며, 임의의 움직임량(5)에 대한 집중도 평가 데이터(CEI)가 118이라 할때, 도 7에 도시된 바와 같이 구간 가중치를 5에서 8로 증가하면 그래프의 중앙 정점은 중앙부분에서 좌측부분으로 이동하며 동시에 함수 그래프 곡선이 급격한 감소 및 증가를 보이는 형태로 변화되면서 집중도 평가 데이터(CEI)는 129로 상대적인 증가세를 나타낸다.
또한, 도 8에 도시된 바와 같이 구간 가중치를 5에서 2로 감소하면 그래프의 중앙 정점은 중앙부분에서 우측부분으로 이동하며 동시에 함수 그래프 곡선이 급격한 감소 및 증가를 보이는 형태로 변화되면서 집중도 평가 데이터(CEI)는 126으로 다소 증가한 형상을 나타낸다.
더불어, 도 9에 도시된 바와 같이 컨텐츠 가중치를 1.2에서 1.5로 증가시키면 그래프의 중앙 정점은 중앙부분을 유지한 상태에서 함수 그래프 곡선이 다소 급격한 감소 및 증가하는 형태로 변화되면서 집중도 평가 데이터(CEI)는 127로 다소 증가한 형상을 나타낸다.
그리고, 도 10에 도시된 바와 같이 컨텐츠 가중치를 1.2에서 1.0으로 감소시키면 그래프의 중앙 정점이 중앙부분을 유지한 상태에서 함수 그래프 곡선이 다소 완만한 감소 및 증가하는 형태로 변화되면서 집중도 평가 데이터(CEI)는 113으로 다소 감소된 형상을 나타낸다.
이와 같이 영상컨텐츠난 피평가자(A)에 대한 각 가중치 항목을 변경하거나 새롭게 설정함으로써 집중도 평가 함수그래프의 곡선형태를 변경할 수 있다.
여기서, 도 11 내지 도 14에 함수 그래프 곡선 상에서 측정된 움직임량에 따라 집중도 평가 데이터(CEI)를 산출하는 동작원리가 도시되어 있다.
도 11을 참고하면 기준상황에서 움직임이 5(x=5)로 측정된 경우 집중도 평가 데이터(CEI)는 168이 측정되면서 정적 고도집중 상태로 평가할 수 있으며, 도 12에서와 같이 기준상황에서 움직임이 44(x=44)로 측정된 경우 집중도 평가 데이터(CEI)는 119로 측정되면서 정적 단순집중 상태로 평가할 수 있다.
더불어, 도 13에서와 같이 기준상황에서 움직임이 60(x=66)인 경우 집중도 평가 데이터(CEI)는 121로 측정되면서 동적 단순집중 상태로 평가할 수 있으며, 도 14에서와 같이 기준상황에서 움직임이 96(x=96)인 경우 집중도 평가 데이터(CEI)는 170로 측정되면서 동적 고도집중 상태로 평가할 수 있는 것이다.
그리고, 영상컨텐츠의 대상이 변경되거나 평가 구간(DS,SS)이 변동된 경우, 집중도 평가 데이터(CEI)를 산출하기 위한 절차로는, 영상컨텐츠 시작 → 기본변수 재선언 → 대표 순간집중도값 재계산(FEI) → 자동생성변수 재생성 → 집중도함수 재생성(Y) → 움직임 변화에 따른 집중도값 계산(FEI) → 순간집중도 누적에 따른 집중도 평가 데이터(CEI) 생성, 과 같다.
한편, 본 발명의 바람직한 실시예에 따른 집중도 평가장치(100)는, 상기 동적호응구간(DS) 및 정적호응구간(SS)로 구분하기 위한 구간정보를 자동으로 생성할 수 있도록 구간정보 생성부(150)를 더 포함하여 구비된다.
상기 구간정보 생성부(150)는 다수의 피평가자(A)에 대한 신체의 움직임값 또는 얼굴의 움직임값의 공통적인 변화구간을 추출하여 상기 영상컨텐츠에 대한 동적호응구간(DS)과 정적호응구간(SS)으로 구분되는 구간정보를 생성한다.
또한, 상기 집중도평가부(140)는 신체 또는 얼굴의 움직임값과 기설정된 기준데이터를 비교하여 집중도 평가데이터를 산정하되, 상기 구간정보 생성부(150)에 의해 생성된 구간정보를 기초로 하여 상기 동적호응구간(DS)에서 움직임값이 높은 경우 또는 정적호응구간(SS)에서 움직임값이 낮은 경우 가중치를 부가하여 상대적으로 높은 평가점수로 측정하도록 동작한다.
이러한 구간정보 생성부(150)의 구성을 통해 관리자가 상기 구간정보를 추출하기 위해 영상컨텐츠를 일일이 살펴보며 구간별로 동적호응과 정적호응으로 구분하거나, 피평가자 전체의 움직임값을 취합하여 분석할 필요가 없으므로 구간정보를 산출하기 위한 시간과 노력을 대폭 절감할 수 있으며 보다 객관적인 기준을 갖는 구간정보를 적용할 수 있다.
한편, 본 발명의 바람직한 실시예에 따른 집중도 평가시스템은 PC나 스마트폰 등의 피평가자단말(10)에서 촬영된 영상데이터 이외에, 극장이나 강의장과 같이 다수의 피평가자(A)가 집결된 오프라인공간(OS)에서 영상 또는 육성으로 제공되는 컨텐츠에 대한 피평가자(A)의 집중도를 평가할 수 있다.
이를 위해 도 15에 도시된 바와 같이 상기 오프라인공간(OS) 내에는 각 피평가자(A)의 시청모습을 동시에 촬영하여 영상데이터를 획득하는 카메라부(300)가 구비되며, 상기 집중도 평가장치(100)는 카메라부(300)로부터 수신된 영상데이터를 이용하여 각 피평가자(A)에 대한 집중도 평가데이터를 산정할 수 있다.
여기서, 각 피평가자(A)에 대한 집중도 평가데이터를 산정하는 방식은 상술한 피평가자단말(10)에서 획득한 영상데이터를 이용하여 평가데이터를 산정하는 방식과 비교하여 각 피평가자(A)의 집중도 평가가 동시에 이루어지는 것을 제외하고는 동일 유사하므로 중복되는 설명은 생략하기로 한다.
또한, 상기 카메라부(300)는 오프라인공간(OS)에 함께 설치된 집중도 평가장치(100)와 유,무선방식으로 신호연결되어 촬영되는 영상데이터를 실시간으로 전송할 수 있으며, 이 밖에 중계기 등의 통신수단을 이용하여 통신망(20)을 통해 원격지에 배치된 메인서버(200) 또는 집중도 평가장치(100)로 영상데이터를 전송할 수 있다.
이와 같이, 상기 영상컨텐츠는 다수의 피평가자(A)가 집결된 오프라인공간(OS)에서 영상 또는 육성으로 제공되는 컨텐츠일 경우, 상기 오프라인공간(OS) 내에 배치되어 각 피평가자(A)의 시청모습을 동시에 촬영하는 카메라부(300)를 이용하여 각 피평가자(A)의 개별적인 영상데이터를 획득하며, 상기 카메라부(300)로부터 수신된 영상데이터를 이용하여 각 피평가자(A)에 대한 개별적인 집중도 평가데이터를 산정할 수 있으므로, 오프라인 강의, 영화 등과 같은 영상컨텐츠에 대한 집중도를 평가하거나 영상컨텐츠에 대한 품질평가를 수행할 수 있다.
더불어, 도 16에 도시된 바와 같이 집중도 평가장치(100)의 집중도 평가 어플리케이션을 구동시킴으로써 디스플레이에 표시되는 화면을 통해, 집중도 평가장치(100)의 조작부(170)를 조작하여 집중도 평가를 위한 각 기준치(L1,L2,L3)에 대한 설정치를 조절하거나 영상분석을 위한 각종 설정값 및 임계치를 조절할 수 있다. 또한, 도 17 및 도 18에 도시된 바와 같이 어플리케이션의 구동화면을 통해 실시간으로 영상분석되는 상황을 모니터링하여 영상분석 또는 평가측정간에 발생되는 오류를 즉각적으로 시정할 수 있는 것이 바람직하다.
이와 같이, 피평가자(A)에 대한 신체의 움직임값 또는 얼굴의 움직임값과 기설정된 기준데이터를 비교하여 집중도 평가데이터를 산정하되, 상기 영상컨텐츠에 대한 동적호응구간과 정적호응구간(SS)으로 구분되게 기설정된 구간정보를 기초로 하여 상기 동적호응구간에서 움직임값이 높은 경우 또는 상기 정적호응구간(SS)에서 움직임값이 낮은 경우 가중치를 부가하여 상대적으로 높은 평가점수로 측정함으로써, 피평가자(A)가 조는 경우 움직임값이 낮아 높은 평가점수로 측정되고 영상컨텐츠에 대한 호응에 따른 움직임으로 낮은 평가점수로 측정되는 문제점을 해결할 수 있다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러가지 치환, 변형 및 변경이 가능함은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명백할 것이다.
10...피평가자단말 20...통신망
100...집중도 평가장치 110...영상입력부
120...객체추출부 130...집중판단요소 산출부
140...집중도평가부 150...구간정보 생성부
200...메인서버 300...카메라부

Claims (4)

  1. 영상컨텐츠를 시청하는 피평가자(A)의 집중도를 평가하기 위한 집중도 평가시스템에 있어서, 피평가자(A)의 시청모습을 촬영한 영상데이터를 수신하는 영상입력부(110)와, 상기 영상데이터를 영상분석하여 영상내에서 피평가자(A)의 신체를 대상으로 하는 객체를 추출하는 객체추출부(120)와, 상기 객체의 신체 움직임을 추적하여 움직임값을 산출하는 신체추적부(131)와 상기 객체상에서 얼굴부위를 추출하고 얼굴의 움직임을 추적하여 얼굴의 움직임값을 산출하는 얼굴추적부(132) 및 상기 객체상에서 얼굴의 동공부위를 추출하고 동공의 움직임을 추적하여 움직임값을 산출하는 동공추적부(133)를 포함하는 집중판단요소 산출부(130) 및, 신체의 움직임값, 얼굴의 움직임값 및 동공의 움직임값과 기설정된 기준데이터간의 비교를 통해 단위시간당 변화하는 움직임대비 집중도에 대한 평가점수를 측정하여 상기 피평가자(A)에 대한 집중도 평가데이터를 산정하는 집중도평가부(140) 및, 복수의 피평가자(A)에 대한 신체의 움직임값 및 얼굴의 움직임값의 공통적인 변화구간을 추출하여 상기 영상컨텐츠에 대한 동적호응구간(DS)과 정적호응구간(SS)으로 구분되는 구간정보를 생성하는 구간정보 생성부(150)를 포함하는 집중도 평가장치(100);를 포함하며,
    상기 집중도평가부(140)는, 상기 구간정보 생성부(150)에 의해 생성된 구간정보에 따라, 상기 동적호응구간(DS)에서 동적호응구간(DS)을 판단하기 위해 설정된 상한 기준치(L2)를 초과하는 움직임값이 산출되면 가중치를 부가하여 상한 기준치(L2)에 미달하는 움직임값이 산출된 경우보다 상대적으로 높은 평가점수를 측정하며, 상기 정적호응구간(SS)에서 정적호응구간(SS)을 판단하기 위해 설정된 하한 기준치(L3)에 미달하는 움직임값이 산출되면 가중치를 부가하여 하한 기준치(L3)를 초과하는 움직임값이 산출된 경우보다 상대적으로 높은 평가점수를 측정하는 것을 특징으로 하는 집중도 평가시스템.
  2. 제 1항에 있어서,
    상기 영상컨텐츠는,
    상기 피평가자(A)의 집중도를 평가하거나 해당 영상컨텐츠의 품질을 평가하기 위해 피평가자(A)가 시청하는 동영상강의, 오프라인강의, 영화, 드라마, 게임 중 어느 하나의 시청각 컨텐츠인 것을 특징으로 하는 집중도 평가시스템.
  3. 제 2항에 있어서,
    상기 영상컨텐츠는 복수의 피평가자(A)가 집결된 오프라인공간(OS)에서 영상 또는 육성으로 제공되는 컨텐츠인 것을 특징으로 하는 집중도 평가시스템.
  4. 제 3항에 있어서,
    상기 오프라인공간(OS) 내에 배치되어 각 피평가자(A)의 시청모습을 동시에 촬영하여 영상데이터를 획득하는 카메라부(300);를 더 포함하며,
    상기 집중도 평가장치(100)는, 상기 카메라부(300)로부터 수신된 영상데이터를 이용하여 각 피평가자(A)에 대한 집중도 평가데이터를 산정하는 것을 특징으로 하는 집중도 평가시스템.
KR1020150073736A 2015-05-27 2015-05-27 집중도 평가시스템 KR101766347B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150073736A KR101766347B1 (ko) 2015-05-27 2015-05-27 집중도 평가시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150073736A KR101766347B1 (ko) 2015-05-27 2015-05-27 집중도 평가시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020170050342A Division KR101835578B1 (ko) 2017-04-19 2017-04-19 집중도 평가시스템

Publications (2)

Publication Number Publication Date
KR20160139221A KR20160139221A (ko) 2016-12-07
KR101766347B1 true KR101766347B1 (ko) 2017-08-08

Family

ID=57573667

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150073736A KR101766347B1 (ko) 2015-05-27 2015-05-27 집중도 평가시스템

Country Status (1)

Country Link
KR (1) KR101766347B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102004188B1 (ko) * 2018-10-24 2019-07-26 행복한성공컨설팅 주식회사 빅데이터를 이용한 강의서비스 제공장치
KR102330159B1 (ko) 2020-12-09 2021-11-23 주식회사 아이즈솔 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법
KR20220142682A (ko) 2021-04-15 2022-10-24 이준석 인공감성지능을 통해 사용자의 학업 효율을 증진시키는 자율 티칭장치 및 이를 이용한 학업 효율 증진 시스템
KR20230078547A (ko) 2021-11-26 2023-06-02 재단법인대구경북과학기술원 얼굴 검출 기술을 이용한 학습 관리 방법 및 장치

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887626B1 (ko) * 2018-02-12 2018-08-10 (주)포세듀 안면 데이터 기반 집중도 분석 시스템 및 그 방법
KR102020036B1 (ko) * 2018-07-05 2019-09-24 주식회사딜루션 사용자들의 감정 정보를 기반으로 하는 관람 평가 정보를 제공하는 어플리케이션을 운용하는 장치 및 그 방법
KR102189334B1 (ko) * 2018-07-24 2020-12-09 주식회사 라이너스 의료용 학습 관리 시스템 및 방법
CN113271852B (zh) * 2019-01-21 2024-07-02 三菱电机株式会社 注意力判定装置、注意力判定系统、注意力判定方法和计算机能读取的存储介质
KR102248706B1 (ko) * 2019-08-28 2021-05-10 구인혁 지능형 영상 분석 기술에 기반한 통합 교육 관리 시스템 및 그 방법
CN111367258B (zh) * 2020-03-09 2021-05-14 上海柏楚数控科技有限公司 运动控制卡自动测试的测试主板与测试系统
KR102245319B1 (ko) 2020-11-17 2021-04-28 주식회사 서경산업 원격지 학습자의 집중도를 분석하는 시스템
KR102410315B1 (ko) * 2020-11-27 2022-06-16 동의대학교 산학협력단 다자간 회의 검증 시스템 및 방법
KR102439446B1 (ko) * 2021-05-07 2022-09-02 샘랩 주식회사 인공지능 기반 학습 관리 시스템
KR102544246B1 (ko) * 2021-11-08 2023-06-16 김성태 학습자 맞춤형 수학 교육 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065447A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
JP5146315B2 (ja) * 2006-05-15 2013-02-20 日本電気株式会社 映像再生装置、映像再生方法、および映像再生用プログラム
JP2013239991A (ja) * 2012-05-17 2013-11-28 Nippon Telegr & Teleph Corp <Ntt> テレビ制御装置、テレビ制御方法及びテレビ制御プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101602665B1 (ko) 2013-09-30 2016-03-11 김민철 온라인 상의 학습 미션을 이용한 학습관리 방법 및 이에 사용되는 학습관리 서버

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006065447A (ja) * 2004-08-25 2006-03-09 Nippon Telegr & Teleph Corp <Ntt> 識別器設定装置、注目度計測装置、識別器設定方法、注目度計測方法、およびプログラム
JP5146315B2 (ja) * 2006-05-15 2013-02-20 日本電気株式会社 映像再生装置、映像再生方法、および映像再生用プログラム
JP2013239991A (ja) * 2012-05-17 2013-11-28 Nippon Telegr & Teleph Corp <Ntt> テレビ制御装置、テレビ制御方法及びテレビ制御プログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102004188B1 (ko) * 2018-10-24 2019-07-26 행복한성공컨설팅 주식회사 빅데이터를 이용한 강의서비스 제공장치
KR102330159B1 (ko) 2020-12-09 2021-11-23 주식회사 아이즈솔 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법
KR20220142682A (ko) 2021-04-15 2022-10-24 이준석 인공감성지능을 통해 사용자의 학업 효율을 증진시키는 자율 티칭장치 및 이를 이용한 학업 효율 증진 시스템
KR20230078547A (ko) 2021-11-26 2023-06-02 재단법인대구경북과학기술원 얼굴 검출 기술을 이용한 학습 관리 방법 및 장치

Also Published As

Publication number Publication date
KR20160139221A (ko) 2016-12-07

Similar Documents

Publication Publication Date Title
KR101766347B1 (ko) 집중도 평가시스템
KR101835578B1 (ko) 집중도 평가시스템
US20190340780A1 (en) Engagement value processing system and engagement value processing apparatus
US20180308114A1 (en) Method, device and system for evaluating product recommendation degree
JP6424357B2 (ja) 視認対象効果度測定装置
US20160086023A1 (en) Apparatus and method for controlling presentation of information toward human object
US20140270483A1 (en) Methods and systems for measuring group behavior
JP2007310454A (ja) 画像評価装置および被験者集中度算出装置、並びに、画像評価プログラムおよび被験者集中度算出プログラム
WO2018097177A1 (ja) エンゲージメント測定システム
US9361705B2 (en) Methods and systems for measuring group behavior
CN105763829A (zh) 一种图像处理方法及电子设备
KR20170136160A (ko) 시청자 몰입도 평가 시스템
CN113762107B (zh) 对象状态评估方法、装置、电子设备及可读存储介质
CN109923529A (zh) 信息处理装置、信息处理方法和程序
US10235690B2 (en) Method and system for dynamically adjusting displayed content based on analysis of viewer attributes
JP2017028402A (ja) 映像評価装置、及びプログラム
EP4080388A1 (en) Multimodal, dynamic, privacy preserving age and attribute estimation and learning methods and systems
JP5829590B2 (ja) 疲労感評価装置、疲労感評価方法、及びプログラム
KR101838792B1 (ko) 콘텐츠에 대한 사용자의 감정을 공유하는 방법 및 장치
JP2015082247A (ja) 電子機器、判定方法及びプログラム
Akash et al. Monitoring and Analysis of Students’ Live Behaviour using Machine Learning
EP4213105A1 (en) Gaze estimation system and method thereof
EP3548996B1 (en) Eye gaze angle feedback in a remote meeting
Egorova et al. Methodology of Researching Perception Identity of Regions of Users' Interests While Viewing Streaming Video Containing Various Content and Compression Artefacts
WO2022024272A1 (ja) 情報処理システム、データ蓄積装置、データ生成装置、情報処理方法、データ蓄積方法、データ生成方法及び記録媒体、並びに、データベース

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20150527

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20160715

Patent event code: PE09021S01D

PG1501 Laying open of application
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20170331

PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20170419

Patent event code: PA01071R01D

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20170802

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20170803

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20200731

Start annual number: 4

End annual number: 4

PC1903 Unpaid annual fee
PR0401 Registration of restoration

Patent event code: PR04011E01D

Patent event date: 20220429

Comment text: Registration of Restoration

PR1001 Payment of annual fee

Payment date: 20220502

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20220511

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20230727

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20240725

Start annual number: 8

End annual number: 8