KR102191337B1 - 감정인식을 위한 비디오 데이터 구축 방법 및 시스템 - Google Patents

감정인식을 위한 비디오 데이터 구축 방법 및 시스템 Download PDF

Info

Publication number
KR102191337B1
KR102191337B1 KR1020190055464A KR20190055464A KR102191337B1 KR 102191337 B1 KR102191337 B1 KR 102191337B1 KR 1020190055464 A KR1020190055464 A KR 1020190055464A KR 20190055464 A KR20190055464 A KR 20190055464A KR 102191337 B1 KR102191337 B1 KR 102191337B1
Authority
KR
South Korea
Prior art keywords
video image
emotion
image
frame
face
Prior art date
Application number
KR1020190055464A
Other languages
English (en)
Other versions
KR20200131367A (ko
Inventor
양형정
김수형
이귀상
르바칸트린
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020190055464A priority Critical patent/KR102191337B1/ko
Publication of KR20200131367A publication Critical patent/KR20200131367A/ko
Application granted granted Critical
Publication of KR102191337B1 publication Critical patent/KR102191337B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06K9/00221—
    • G06K9/00711—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비디오 영상으로부터 얼굴 이미지를 추출하여 이를 기준으로 비디오클립을 생성하고, 이에 대한 비디오 영상의 감정 레이블을 표시함으로써 감정을 인식하기 위한 비디오 데이터를 구축할 수 있도록 하는 감정인식을 위한 비디오 데이터 구축 방법 및 시스템에 관한 것이다. 본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 방법은 원본 비디오(Original Video) 영상을 수집하는 단계(S10), 얼굴 영상 정보를 기반으로 상기 원본 비디오 영상을 하위 비디오(Sub video) 영상으로 분할하는 단계(S20) 및 상기 하위 비디오(Sub video) 영상의 각 프레임(frame)에서 주 얼굴 정보를 추출하는 단계(S40)를 포함할 수 있다. 또한, 추출된 주 얼굴 정보를 이용하여 해당 프레임의 감정을 인식하는 단계(S50)와 감정 인식 결과를 이용하여 하위 비디오 영상의 감정 레이블을 예측하는 단계(S60)를 포함할 수 있다.

Description

감정인식을 위한 비디오 데이터 구축 방법 및 시스템{Video data construction method and system for emotion recognition}
본 발명은 감정인식을 위한 비디오 데이터 구축 방법 및 시스템에 관한 것으로서, 비디오 영상으로부터 얼굴 이미지를 추출하여 이를 기준으로 비디오클립을 생성하고, 이에 대한 비디오 영상의 감정 레이블을 표시함으로써 감정을 인식하기 위한 비디오 데이터를 구축할 수 있도록 하는 감정인식을 위한 비디오 데이터 구축 방법 및 시스템에 관한 것이다.
인간의 상호 작용 동안 표현된 가장 흥미로운 메시지 중 하나는 대상의 감정 상태이고, 이러한 대상의 감정을 인식하는 기술이 도전적이지만 중요한 과제로 부각되고 있다.
감정 인식 기술이란 인간의 감정을 측정하여 이를 분석함으로써 제품 개발이나 환경 설계에 적용하여 인간의 삶에 대한 질적 향상을 도모하는 기술이다. 이는 개인의 경험을 통해 얻어지는 외부의 물리적 자극에 대한 쾌적함, 불쾌함, 안락함 및 불편함 등의 복합적인 감정을 과학적으로 측정 및 분석하고, 이를 공학적으로 적용시켜 제품이나 환경을 변경시키는 기술 분야이다.
또한, 감정 인식 기술은 인간의 특성을 파악하려는 생체 측정 기술, 인간의 오감 센서 및 감정 처리 기술, 감정 디자인 기술, 마이크로 가공 기술 및 사용성 평가나 가상현실 기술 등의 분야로 나눌 수 있다. 감정 인식 기술은 인간의 생체적 및 심리적 적합성을 고려한 전자 제품 및 소프트웨어 인터페이스 개발에 이용되기도 한다.
또한, 감정 인식 기술은 사용자의 감정을 정확히 인식하여 이에 관련된 서비스를 제공하는데 이용되고 있다. 예를 들어 감정 인식 기술은 오락분야, 교육분야 및 의료분야 등에 있어서 사용자의 감정을 이용하여 사용자에게 감정 기반 서비스를 제공할 수 있고, 서비스 이용시에 사용자의 즉각적인 반응을 확인하여 그 반응에 따른 피드백을 제공함으로써 서비스의 질적 향상을 도모할 수 있다.
이와 같은 감정 인식 기술에서 사용자의 생체 반응을 측정하는 방법으로는 자율신경계(ANS, Autonomic Nervous System) 측정 방법, 중추신경계(CNS, Central Nervous System) 측정을 위한 뇌파 측정 방법 및 얼굴 영상 촬영 방법 등이 있다.
이러한 방법 중에서 얼굴 감정 인식은 컴퓨터 비전(Computer vision)에서 매우 어려운 작업에 속한다. 특히, 얼굴 감정 인식을 위한 감정 표현 연구의 주요 한계 중 하나는 얼굴 감정에 관한 데이터베이스가 부족하다는 것이다.
대한민국 등록특허 제10-1027406호(2011년 04월 11일 공고)
따라서, 본 발명이 이루고자 하는 기술적 과제는 종래의 단점을 해결한 것으로서, 얼굴 감정 인식을 위한 감정 데이터베이스를 용이하게 생성할 수 있도록 하는데 그 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 일 측면에 따른 감정인식을 위한 비디오 데이터 구축 방법은 원본 비디오(Original Video) 영상을 수집하는 단계(S10)와 얼굴 영상 정보를 기반으로 상기 원본 비디오 영상을 하위 비디오(Sub video) 영상으로 분할하는 단계(S20) 및 상기 원본 비디오 영상을 하위 비디오(Sub video) 영상으로 분할하는 단계(S20)를 반복적으로 수행하여 하위 비디오 영상 리스트를 추출하는 단계(S30)를 포함할 수 있다.
또한, 상기 하위 비디오(Sub video) 영상의 각 프레임에서 주 얼굴(biggest face) 정보를 추출하는 단계(S40)와 추출된 주 얼굴 정보를 이용하여 해당 프레임의 감정을 인식하는 단계(S50) 및 감정 인식 결과를 이용하여 하위 비디오 영상의 감정 레이블을 예측하는 단계(S60)를 포함할 수 있다. 또한, 상기 하위 비디오 영상의 감정 레이블을 재지정(Re-assign)하는 단계(S70)와 상기 하위 비디오(Sub video) 영상을 토대로 각 사용자가 입력한 감정 레이블을 통합하여 감정 데이터베이스를 구축하는 단계(S80)를 포함할 수 있다.
또한, 본 발명의 다른 측면에 따른 감정인식을 위한 비디오 데이터 구축 시스템은 영상 입력부, 영상 커팅부, 감정 인식부, 판단부, 디스플레이부 및 저장부를 포함할 수 있다. 상기 영상 입력부는 원본 비디오(Original Video) 영상을 입력받는다. 상기 영상 커팅부는 얼굴 이미지 정보를 기반으로 상기 원본 비디오(Original Video) 영상을 분할하여 하위 비디오(Sub video) 영상을 추출한다.
또한, 상기 감정 인식부는 하위 비디오(Sub video) 영상의 각 프레임(frame)에서 얼굴 영상 정보를 검출하고, 검출된 얼굴 영상 정보에 대한 이미지 기반의 감정 인식을 수행한다. 또한, 상기 판단부는 감정 인식부의 감정 인식 결과를 토대로 각 프레임의 얼굴 영상 정보에 대한 감정 점수를 판단하고, 판단 결과를 토대로 하위 비디오 영상의 메인 프레임들에 대한 감정 점수를 합산하여 하위 비디오 영상의 감정 레이블을 예측한다.
또한, 상기 디스플레이부는 하위 비디오 영상의 메인 프레임과, 상기 감정 인식부에서 수행된 비디오 영상의 감정 인식 결과와, 상기 판단부에서 수행된 하위 비디오 영상의 감정 레이블 예측 결과를 디스플레이한다. 또한, 상기 저장부는 원본 비디오(Original Video) 영상과 하위 비디오(Sub video) 영상 및 감정 레이블 정보를 저장한다.
이상에서 설명한 바와 같이, 본 발명에 따른 감정인식을 위한 비디오 데이터 구축 시스템은 얼굴 감정 인식을 위한 감정 레이블의 동영상을 용이하게 제작할 수 있도록 하는 효과가 있다.
도 1은 본 발명의 실시 예에 따른 비디오 데이터 구축 방법을 나타내는 개념도이다.
도 2는 본 발명의 실시 예에 따른 비디오 데이터 구축 방법을 나타내는 순서도이다.
도 3은 본 발명의 실시 예에 따른 비디오 커팅 알고리즘을 나타내는 도면이다.
도 4는 본 발명의 실시 예에 따른 하위 비디오(Sub video) 영상으로 분할하는 단계를 세부적으로 나타내는 순서도이다.
도 5는 본 발명의 실시 예에 따른 비디오 데이터 구축 시스템을 나타내는 구성도이다.
도 6은 본 발명의 실시 예에 따른 비디오 데이터 구축 시스템을 나타내는 블록도이다.
도 7은 본 발명의 실시 예에 따른 하위 비디오 영상의 메인 프레임을 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 또는 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 실시 예에 따른 비디오 데이터 구축 방법을 나타내는 개념도이고, 도 2는 본 발명의 실시 예에 따른 비디오 데이터 구축 방법을 나타내는 순서도이다. 본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 방법은 원본 비디오(Original Video) 영상을 수집하는 단계(S10)와 얼굴 영상 정보를 기반으로 상기 원본 비디오 영상을 하위 비디오(Sub video) 영상으로 분할하는 단계(S20)를 포함할 수 있다.
본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 방법은 원본 비디오(Original Video) 영상에서 얼굴 정보를 검출한 후, 검출된 얼굴 정보를 기반으로 원본 비디오(Original Video) 영상을 소정 단위의 하위 비디오(Sub video) 영상으로 분할한다.
이때, 원본 비디오(Original Video) 영상을 하위 비디오(Sub video) 영상 리스트로 분할하기 위해서는 하위 비디오(Sub video) 영상의 각 프레임(frame)에 주 얼굴이 포함되도록 정의하는 것이 바람직하다.
여기에서, 주 얼굴(biggest face)은 하위 비디오(Sub video) 영상의 각 프레임에 대하여 감정을 인식하기 위한 감정 인식 대상의 얼굴 영상 정보이다. 상기 주 얼굴(biggest face)은 미리 설정된 판단 기준에 따라서 결정될 수 있다. 예를 들어, 원본 비디오(Original Video) 영상에서 미리 설정된 크기 이상의 얼굴 영상이 소정의 프레임 수 이상 나타나는 경우 주 얼굴(biggest face)로 설정할 수 있다.
도 3은 본 발명의 실시 예에 따른 비디오 커팅 알고리즘을 나타내는 도면이고, 도 4는 본 발명의 실시 예에 따른 하위 비디오(Sub video) 영상으로 분할하는 단계를 세부적으로 나타내는 순서도이다. 즉, 도 4는 도 3의 비디오 커팅 알고리즘을 토대로 상기 하위 비디오(Sub video) 영상으로 분할하는 단계(S20)를 세부적으로 나타내는 도면이다.
본 발명의 실시 예에 따른 비디오 커팅 알고리즘은 원본 비디오(Original Video) 영상을 이용하여 하위 비디오(Sub video) 영상 리스트로 분할할 수 있다. 즉, 본 발명의 실시 예에 따른 하위 비디오(Sub video) 영상으로 분할하는 단계(S20)는 원본 비디오(Original Video) 영상을 입력받는 단계(S21)와 하위 비디오(Sub video) 영상의 단위 길이를 결정하기 위한 커팅 프레임(Cutting frame) 수를 설정하는 단계(S22)를 포함할 수 있다.
또한, 원본 비디오 영상에서 주 얼굴(biggest face)을 설정하는 단계(S23), 원본 비디오의 각 프레임에서 주 얼굴이 존재하는 지의 여부를 판단하는 단계(S24) 및 현재 프레임(Current frame)에 주얼굴이 존재하는 경우 현재 프레임을 메인 프레임으로 결정하고, 첫 번째 메인 프레임의 위치를 스타트 포지션(Start position)으로 설정하는 단계(S25)를 포함할 수 있다.
또한, 원본 비디오 영상의 각 프레임에 대하여 주 얼굴이 존재하는 지의 여부를 판단하는 과정을 반복적으로 수행하고, 현재 프레임에 주 얼굴이 존재하는 경우 상기 메인 프레임의 수를 업데이트(update)하여 카운트하는 단계(S26), 상기 메인 프레임의 수가 미리 설정된 커팅 프레임(Cutting frame) 수에 도달하면, 현재 프레임의 위치를 엔드 포지션(End position)으로 설정하는 단계(S27) 및 원본 비디오 영상에서 상기 스타트 포지션(Start position)으로부터 엔드 포지션(End position)까지의 영상을 커팅(cutting)하여 하위 비디오(Sub video) 영상을 추출하는 단계(S28)를 포함할 수 있다.
다시 설명하면, 도 3에 도시된 바와 같이 비디오 커팅 알고리즘은 원본 비디오(Original Video) 영상을 입력받고(S21), 하위 비디오(Sub video) 영상 리스트를 출력한다. 이때, 사용자는 하위 비디오(Sub video)의 단위 길이를 설정할 수 있다.
즉, 사용자는 하위 비디오(Sub video)의 커팅(Cutting) 프레임 수(number frame)를 설정하여 분할하고자 하는 각 하위 비디오(Sub video) 영상의 단위 길이를 결정할 수 있다(S22).
먼저, 비디오 커팅 알고리즘은 입력받은 원본 비디오(Original Video) 영상에서 주 얼굴(biggest face)을 설정하고(S23), 설정된 주 얼굴(biggest face)을 기반으로 메인 프레임을 결정한다. 여기에서, 주 얼굴(biggest face)은 비디오 영상을 이용하여 감정을 인식하기 위한 감정 인식 대상 얼굴이다.
[Step 1]
비디오 커팅 알고리즘은 입력받은 원본 비디오(Original Video) 영상의 각 프레임에서 주 얼굴(biggest face)이 존재하는 지의 여부를 판단하고(S24), 만약 주 얼굴이 나타나는 경우 현재 프레임(current frame)을 메인 프레임으로 결정한다. 또한, 주 얼굴이 나타나는 첫 번째 메인 프레임의 위치를 스타트 포지션(Start position, s)으로 설정(update)하여 하위 비디오(Sub video) 영상의 시작점을 결정할 수 있다(S25).
[Step 2]
다음으로, 원본 비디오(Original Video) 영상의 각 프레임에 대하여 반복적으로 주 얼굴(biggest face)이 존재하는 지의 여부를 판단하고, 주 얼굴이 나타나는 메인 프레임의 수를 업데이트(update)하여 카운트한다(S26).
[Step 3]
또한, 상기 메인 프레임의 수가 사용자에 의해 미리 설정된 커팅(Cutting) 프레임 수(number frame)에 도달하면, 현재 프레임의 위치를 엔드 포지션(End position)으로 설정하여 하위 비디오(Sub video) 영상의 분할 위치를 결정할 수 있다(S27).
[Step 4]
다음으로, 원본 비디오(Original Video) 영상에서 스타트 포지션(Start position, s)으로부터 엔드 포지션(End position)까지의 영상을 커팅(Cutting)하여 하위 비디오(Sub video) 영상을 추출한다(S28).
또한, 본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 방법은 상기 (S23) 내지 (S28)까지의 과정을 반복적으로 수행하여 하위 비디오(Sub video) 영상 리스트를 추출할 수 있다.(S30)
또한, 본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 방법은 상기 하위 비디오(Sub video) 영상의 각 프레임에서 주 얼굴(biggest face) 정보를 추출하는 단계(S40)와 추출된 주 얼굴 정보를 이용하여 해당 프레임의 감정을 인식하는 단계(S50) 및 감정 인식 결과를 이용하여 하위 비디오 영상의 감정 레이블을 예측하는 단계(S60)를 포함할 수 있다.
하위 비디오 영상의 감정 레이블을 예측하기 위해 하위 비디오 영상의 주 얼굴에 대한 이미지 기반의 감정 인식을 수행하고, 감정 인식 결과에 대한 감정 점수를 이용하여 감정 레이블을 예측할 수 있다.
상기 감정을 인식하는 단계(S50)는 주 얼굴(biggest face) 정보를 추출하는 단계(S40)에서 추출된 주 얼굴 정보를 이용하여 각 프레임의 얼굴 영상으로부터 감정을 인식하기 위한 특징점을 추출할 수 있다. 즉, 상기 얼굴 영상에서 눈, 눈썹 및 입의 위치와 크기를 검출하고, 눈, 눈썹 및 입의 위치와 크기 변화를 이용하여 얼굴 영상으로부터 감정을 인식하기 위한 특징점을 추출할 수 있다.
또한, 상기 감정을 인식하는 단계(S50)는 추출된 얼굴의 특징점에 대응되는 감정 상태 정보를 이용하여 얼굴 영상에 대한 감정을 인식하거나, 추출된 얼굴 영상의 특징점을 미리 저장된 기준 감정 영상의 특징점과 비교 분석하여 얼굴 영상에 대한 감정을 인식할 수 있다.
여기에서, 상기 기준 얼굴 영상은 미리 추출된 얼굴 영상에서 감정 상태에 따른 특징점을 추출하여 생성될 수 있다. 또한, 상기 기준 얼굴 영상에는 특징점에 대응되도록 감정 상태를 나타내는 감정 레이블이 포함될 수 있다.
또한, 상기 감정 레이블을 예측하는 단계(S60)는 감정을 인식하는 단계(S50)에서 추출된 감정 인식 결과를 토대로 하위 비디오 영상의 감정 레이블을 예측할 수 있다. 또한, 상기 감정 레이블을 예측하는 단계(S60)는 하위 비디오 영상에서 각 프레임의 모든 주 얼굴 영상에 대한 감정 점수를 합계하여 합산 감정 점수를 추출하고, 추출된 합산 감정 점수를 토대로 감정 레이블을 예측할 수 있다.
또한, 본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 방법은 하위 비디오 영상의 감정 레이블을 재지정(Re-assign)하는 단계(S70)를 포함할 수 있다. 즉, 사용자는 미리 설정된 디폴트 감정 정보를 기반으로 자신이 판단한 감정 레이블을 상기 하위 비디오(Sub video) 영상에 입력하여 (S60) 단계에서 예측된 감정 레이블을 재지정(Re-assign)할 수 있다. 또한, 사용자는 (S60) 단계에서 예측된 감정 레이블에 사용자의 추가적인 감정을 입력할 수도 있다.
여기에서, 디폴트 감정 정보는 일반적으로 사람이 느낄 수 있는 기쁨, 분노, 슬픔, 즐거움의 감정과, 외부의 물리적 자극에 의해 복합적으로 느낄 수 있는 쾌적함, 불쾌함, 안락함 및 불편함 등의 감정 정보가 될 수 있다.
또한, 본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 방법은 상기 하위 비디오(Sub video) 영상을 토대로 각 사용자가 입력한 감정 레이블을 통합하여 감정 데이터베이스를 구축하는 단계(S80)를 더 포함할 수 있다. 상기 감정 데이터베이스는 감정인식 모델의 훈련데이터로 사용될 수 있다.
이와 같이 본 발명의 실시 예에 따른 비디오 데이터 구축 방법은 빠른 시간 내에 용이하게 얼굴 감정을 인식하기 위한 비디오 영상을 생성하고, 감정 레이블을 표시할 수 있는 효과가 있다. 또한, 사용자에게 감정 인식을 위한 비디오 영상의 기준 정보를 제공하여 사용자가 비디오 영상의 감정 레이블을 용이하고 정확하게 지정하고 분석할 수 있도록 하는 효과가 있다.
도 5는 본 발명의 실시 예에 따른 비디오 데이터 구축 시스템을 나타내는 구성도이고, 도 6은 본 발명의 실시 예에 따른 비디오 데이터 구축 시스템을 나타내는 블록도이며, 도 7은 본 발명의 실시 예에 따른 하위 비디오 영상의 메인 프레임을 나타내는 도면이다. 본 발명의 실시 예에 따른 비디오 데이터 구축 시스템(10)은 비디오 영상의 얼굴 정보를 감지하고, 이를 기반으로 하위 비디오 영상을 생성한 후 생성된 하위 비디오 영상의 감정 레이블을 수행할 수 있다.
본 발명의 실시 예에 따른 비디오 데이터 구축 시스템(10)은 영상 입력부(100), 영상 커팅부(200), 감정 인식부(300), 판단부(400), 디스플레이부(500) 및 저장부(600)를 포함할 수 있다.
영상 입력부(100)는 원본 비디오(Original Video) 영상을 입력받는다. 영상 커팅부(200)는 얼굴 이미지 정보를 기반으로 상기 원본 비디오(Original Video) 영상을 분할하여 하위 비디오(Sub video) 영상을 추출한다. 즉, 영상 커팅부(200)는 상기 비디오 커팅 알고리즘을 이용하여 원본 비디오(Original Video) 영상을 하위 비디오(Sub video) 영상으로 분할한다.
감정 인식부(300)는 하위 비디오 영상의 감정 레이블을 예측하기 위해 하위 비디오 영상의 얼굴 영상 정보에 대한 이미지 기반의 감정 인식을 수행한다. 또한, 감정 인식부(300)는 얼굴 검출 모듈(310), 특징점 추출 모듈(320) 및 감정 인식 모듈(330)을 포함할 수 있다.
얼굴 검출 모듈(310)은 상기 하위 비디오(Sub video) 영상의 각 프레임(frame)에서 얼굴 영상 정보를 검출한다. 또한, 얼굴 검출 모듈(310)은 상기 하위 비디오(Sub video) 영상 내의 각 프레임에 대한 얼굴 영상 정보를 검출하기 위한 얼굴 검출 알고리즘을 포함할 수 있다. 특징점 추출 모듈(320)은 검출된 얼굴 영상 정보에서 감정 인식을 위한 얼굴의 특징점을 추출한다. 감정 인식 모듈(330)은 추출된 얼굴의 특징점을 이용하여 얼굴 영상의 감정을 인식한다.
이때, 감정 인식 모듈(330)은 추출된 얼굴의 특징점에 대응되는 감정 상태 정보를 이용하여 얼굴 영상에 대한 감정을 인식하거나, 추출된 얼굴의 특징점을 미리 저장된 기준 감정 영상의 특징점과 비교 분석하여 얼굴 영상에 대한 감정을 인식할 수 있다. 또한, 감정 인식 모듈(330)은 상기 얼굴 영상 정보를 이용하여 감정을 인식하는 감정인식 알고리즘을 포함할 수 있다.
판단부(400)는 감정 인식부(300)의 감정 인식 결과를 토대로 각 프레임의 얼굴 영상 정보에 대한 감정 점수를 판단하고, 판단 결과를 토대로 하위 비디오 영상의 메인 프레임들에 대한 감정 점수를 합산하여 하위 비디오 영상의 감정 레이블을 예측한다. 여기에서, 상기 메인 프레임은 비디오 영상에서 미리 설정된 주 얼굴이 존재하는 프레임이다.
디스플레이부(500)는 하위 비디오 영상의 메인 프레임과, 감정 인식부(300)에서 수행된 비디오 영상의 감정 인식 결과를 디스플레이한다. 또한, 디스플레이부(500)는 판단부(400)에서 수행된 하위 비디오 영상의 감정 레이블 예측 결과를 디스플레이한다.
저장부(600)는 원본 비디오(Original Video) 영상과 하위 비디오(Sub video) 영상 및 감정 레이블 정보를 저장한다. 저장부(600)는 비디오 저장 모듈(610), 디폴트 감정 모듈(620), 기준 영상 모듈(630), 특징점 정보 저장 모듈(640) 및 감정레이블 저장 모듈(650)을 포함할 수 있다.
비디오 저장 모듈(610)은 영상 입력부(100)를 통해 입력된 원본 비디오(Original Video) 영상 데이터와, 영상 커팅부(200)를 통해 분할된 하위 비디오(Sub video) 영상 데이터를 저장한다. 디폴트 감정 모듈(620)은 사용자가 얼굴 영상 정보에 대한 감정 레이블을 표시하기 용이하도록 비디오 데이터 구축 시스템(10)이 사용자에게 제공하는 디폴트 감정 정보를 저장한다.
상기 디폴트 감정 정보에는 일반적으로 사람이 느낄 수 있는 기쁨, 분노, 슬픔, 즐거움의 감정과, 외부의 물리적 자극에 의해 복합적으로 느낄 수 있는 쾌적함, 불쾌함, 안락함 및 불편함 등의 감정 정보가 포함될 수 있다.
기준 영상 모듈(630)은 미리 추출된 얼굴 영상의 특징점을 토대로 대응되는 감정 상태 정보를 포함하는 기준 얼굴 영상이 저장될 수 있다. 감정 인식 모듈(330)은 기준 영상 모듈(630)에 저장된 기준 얼굴 영상을 이용하여 얼굴 영상에 대한 감정을 인식할 수 있다.
특징점 정보 저장 모듈(640)은 얼굴 영상으로부터 감정을 인식하기 위한 특징점 정보를 저장할 수 있다. 예를 들어, 상기 특징점은 얼굴 영상에서 눈, 눈썹 및 입의 위치와 크기, 눈, 눈썹 및 입의 크기 변화에 따른 감정 상태 정보를 포함할 수 있다. 감정레이블 저장 모듈(650)은 하위 비디오(Sub video) 영상의 감정 레이블 예측 결과를 저장할 수 있다.
이와 같이, 본 발명의 실시 예에 따른 감정인식을 위한 비디오 데이터 구축 시스템은 사용자가 감정 비디오를 생성하고, 감정 레이블을 용이하게 표시할 수 있는 효과가 있다. 즉, 사용자는 비디오 데이터 구축 시스템(10)을 이용하여 동영상의 감정 레이블을 쉽게 생성할 수 있다.
이상으로 본 발명에 관한 바람직한 실시 예를 설명하였으나, 본 발명은 상기 실시 예에 한정되지 아니하며, 본 발명의 실시 예로부터 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의한 용이하게 변경되어 균등하다고 인정되는 범위의 모든 변경을 포함한다.
10 : 비디오 데이터 구축 시스템
100 : 영상 입력부 200 : 영상 커팅부
300 : 감정 인식부 310 : 얼굴 검출 모듈
320 : 특징점 추출 모듈 330 : 감정 인식 모듈
400 : 판단부 500 : 디스플레이부
600 : 저장부 610 : 비디오 저장 모듈
620 : 디폴트 감정 모듈 630 : 기준 영상 모듈
640 : 특징점 정보 저장 모듈 650 : 감정레이블 저장 모듈

Claims (6)

  1. 원본 비디오(Original Video) 영상을 수집하는 단계(S10);
    얼굴 영상 정보를 기반으로 상기 원본 비디오 영상을 하위 비디오(Sub video) 영상으로 분할하는 단계(S20);
    상기 하위 비디오(Sub video) 영상의 각 프레임(frame)에서 주 얼굴 정보를 추출하는 단계(S40);
    추출된 주 얼굴 정보를 이용하여 해당 프레임의 감정을 인식하는 단계(S50); 및
    감정 인식 결과를 이용하여 하위 비디오 영상의 감정 레이블을 예측하는 단계(S60)를 포함하고,
    상기 하위 비디오(Sub video) 영상으로 분할하는 단계(S20)는
    상기 원본 비디오(Original Video) 영상을 입력받는 단계(S21),
    상기 하위 비디오(Sub video) 영상의 단위 길이를 결정하기 위한 커팅 프레임(Cutting frame) 수를 설정하는 단계(S22),
    상기 원본 비디오(Original Video) 영상에서 주 얼굴(biggest face)을 설정하는 단계(S23),
    원본 비디오(Original Video) 영상의 각 프레임에서 주 얼굴이 존재하는 지의 여부를 판단하는 단계(S24),
    원본 비디오(Original Video) 영상의 현재 프레임(Current frame)에 주 얼굴이 존재하는 경우 상기 현재 프레임을 메인 프레임으로 결정하고, 하위 비디오 영상의 시작점을 나타내기 위해 첫 번째 메인 프레임의 위치를 스타트 포지션(Start position)으로 설정하는 단계(S25),
    원본 비디오(Original Video) 영상의 각 프레임에 대하여 주 얼굴이 존재하는 지의 여부를 판단하는 과정을 반복적으로 수행하고, 현재 프레임에 주 얼굴이 존재하는 경우 상기 메인 프레임의 수를 업데이트(update)하여 카운트하는 단계(S26),
    상기 메인 프레임의 수가 미리 설정된 커팅 프레임(Cutting frame) 수에 도달하면, 하위 비디오 영상의 커팅 위치를 결정하기 위해 현재 프레임의 위치를 엔드 포지션(End position)으로 설정하는 단계(S27), 및
    원본 비디오 영상에서 상기 스타트 포지션(Start position)으로부터 엔드 포지션(End position)까지의 영상을 커팅(cutting)하여 하위 비디오(Sub video) 영상을 추출하는 단계(S28)를 포함하는 것을 특징으로 하는 감정인식을 위한 비디오 데이터 구축 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 하위 비디오(Sub video) 영상으로 분할하는 단계(S20) 이후에
    상기 원본 비디오 영상을 하위 비디오(Sub video) 영상으로 분할하는 단계(S20)를 반복적으로 수행하여 하위 비디오 영상 리스트를 추출하는 단계(S30)를 더 포함하는 것을 특징으로 하는 감정인식을 위한 비디오 데이터 구축 방법.
  4. 제1항에 있어서,
    상기 감정 레이블을 예측하는 단계(S60) 이후에
    상기 하위 비디오 영상의 감정 레이블 예측 결과를 통합하여 감정 데이터베이스를 구축하는 단계(S80)를 더 포함하는 것을 특징으로 하는 감정인식을 위한 비디오 데이터 구축 방법.
  5. 원본 비디오(Original Video) 영상을 입력받는 영상 입력부;
    비디오 커팅 알고리즘을 이용하여 얼굴 이미지 정보를 기반으로 상기 원본 비디오(Original Video) 영상을 분할하여 하위 비디오(Sub video) 영상을 추출하는 영상 커팅부;
    상기 하위 비디오(Sub video) 영상의 각 프레임(frame)에서 얼굴 영상 정보를 검출하고, 검출된 얼굴 영상 정보에 대한 이미지 기반의 감정 인식을 수행하는 감정 인식부;
    상기 감정 인식부의 감정 인식 결과를 토대로 각 프레임의 얼굴 영상 정보에 대한 감정 점수를 판단하고, 판단 결과를 토대로 하위 비디오 영상의 메인 프레임들에 대한 감정 점수를 합산하여 하위 비디오 영상의 감정 레이블을 예측하는 판단부; 및
    상기 하위 비디오 영상의 메인 프레임과, 상기 감정 인식부에서 수행된 비디오 영상의 감정 인식 결과와, 상기 판단부에서 수행된 하위 비디오 영상의 감정 레이블 예측 결과를 디스플레이하는 디스플레이부를 포함하고,
    상기 비디오 커팅 알고리즘은,
    상기 원본 비디오(Original Video) 영상을 입력받는 단계와,
    상기 하위 비디오(Sub video) 영상의 단위 길이를 결정하기 위한 커팅 프레임(Cutting frame) 수를 설정하는 단계와,
    상기 원본 비디오(Original Video) 영상에서 주 얼굴(biggest face)을 설정하는 단계와,
    원본 비디오(Original Video) 영상의 각 프레임에서 주 얼굴이 존재하는 지의 여부를 판단하는 단계와,
    원본 비디오(Original Video) 영상의 현재 프레임(Current frame)에 주 얼굴이 존재하는 경우 상기 현재 프레임을 메인 프레임으로 결정하고, 하위 비디오 영상의 시작점을 나타내기 위해 첫 번째 메인 프레임의 위치를 스타트 포지션(Start position)으로 설정하는 단계와,
    원본 비디오(Original Video) 영상의 각 프레임에 대하여 주 얼굴이 존재하는 지의 여부를 판단하는 과정을 반복적으로 수행하고, 현재 프레임에 주 얼굴이 존재하는 경우 상기 메인 프레임의 수를 업데이트(update)하여 카운트하는 단계와,
    상기 메인 프레임의 수가 미리 설정된 커팅 프레임(Cutting frame) 수에 도달하면, 하위 비디오 영상의 커팅 위치를 결정하기 위해 현재 프레임의 위치를 엔드 포지션(End position)으로 설정하는 단계 및
    원본 비디오 영상에서 상기 스타트 포지션(Start position)으로부터 엔드 포지션(End position)까지의 영상을 커팅(cutting)하여 하위 비디오(Sub video) 영상을 추출하는 단계를 포함하는 것을 특징으로 하는 감정인식을 위한 비디오 데이터 구축 시스템.




  6. 삭제
KR1020190055464A 2019-05-13 2019-05-13 감정인식을 위한 비디오 데이터 구축 방법 및 시스템 KR102191337B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190055464A KR102191337B1 (ko) 2019-05-13 2019-05-13 감정인식을 위한 비디오 데이터 구축 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190055464A KR102191337B1 (ko) 2019-05-13 2019-05-13 감정인식을 위한 비디오 데이터 구축 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20200131367A KR20200131367A (ko) 2020-11-24
KR102191337B1 true KR102191337B1 (ko) 2020-12-16

Family

ID=73679731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190055464A KR102191337B1 (ko) 2019-05-13 2019-05-13 감정인식을 위한 비디오 데이터 구축 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102191337B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017037417A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 画像処理装置および方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101027406B1 (ko) 2008-04-07 2011-04-11 가부시키가이샤 엔.티.티.도코모 감정 인식 메시지 시스템과, 이 시스템의 모바일 통신 단말및 메시지 기억 서버
ES2964705T3 (es) * 2016-05-06 2024-04-09 Univ Leland Stanford Junior Plataformas móviles y portátiles de captura y retroalimentación de vídeo para la terapia de trastornos mentales

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017037417A (ja) * 2015-08-07 2017-02-16 キヤノン株式会社 画像処理装置および方法およびプログラム

Also Published As

Publication number Publication date
KR20200131367A (ko) 2020-11-24

Similar Documents

Publication Publication Date Title
US8903176B2 (en) Systems and methods using observed emotional data
CN110291478A (zh) 驾驶员监视和响应系统
EP2793167B1 (en) Expression estimation device, control method, control program, and recording medium
US10725534B2 (en) Apparatus and method of generating machine learning-based cyber sickness prediction model for virtual reality content
US10832483B2 (en) Apparatus and method of monitoring VR sickness prediction model for virtual reality content
JP5225870B2 (ja) 情動分析装置
JP2002042115A (ja) 疲労緩和システム、疲労緩和方法及び記録媒体
CN112632349B (zh) 展区指示方法、装置、电子设备及存储介质
JP3027521B2 (ja) 無人端末装置
CN106601217B (zh) 一种交互式乐器演奏方法及装置
JP2017156978A (ja) 作業動作認識システム
KR102191337B1 (ko) 감정인식을 위한 비디오 데이터 구축 방법 및 시스템
KR101314686B1 (ko) 학습 모니터링 장치 및 학습 모니터링 방법
KR101567154B1 (ko) 다중 사용자 기반의 대화 처리 방법 및 이를 수행하는 장치
EP3866161A1 (en) Information processing device, information processing method, and program
CN112912925A (zh) 程序、信息处理装置、定量化方法以及信息处理系统
JP6794740B2 (ja) プレゼンテーション資料生成装置、プレゼンテーション資料生成システム、コンピュータプログラム及びプレゼンテーション資料生成方法
JP7339604B2 (ja) 動作認識装置、動作認識方法、動作認識プログラム及び動作認識システム
Byrne et al. Health monitoring using gait phase effects
CN113642374B (zh) 动作评价系统、动作评价装置及动作评价方法
WO2022024355A1 (ja) 感情解析システム
JP2021092883A (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019144822A (ja) 形式知化システムおよびその方法
JP6867701B2 (ja) モニタリング装置、モニタリングシステム、モニタリング方法及びモニタリングプログラム
JP2019125305A (ja) 教師データ作成支援装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant