KR101571888B1 - 표정 인식을 이용한 영상 추출 장치 및 방법 - Google Patents

표정 인식을 이용한 영상 추출 장치 및 방법 Download PDF

Info

Publication number
KR101571888B1
KR101571888B1 KR1020140014312A KR20140014312A KR101571888B1 KR 101571888 B1 KR101571888 B1 KR 101571888B1 KR 1020140014312 A KR1020140014312 A KR 1020140014312A KR 20140014312 A KR20140014312 A KR 20140014312A KR 101571888 B1 KR101571888 B1 KR 101571888B1
Authority
KR
South Korea
Prior art keywords
image
facial expression
extracting
unit
scene
Prior art date
Application number
KR1020140014312A
Other languages
English (en)
Other versions
KR20150093480A (ko
Inventor
김경중
김현태
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020140014312A priority Critical patent/KR101571888B1/ko
Publication of KR20150093480A publication Critical patent/KR20150093480A/ko
Application granted granted Critical
Publication of KR101571888B1 publication Critical patent/KR101571888B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/22—Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people in connection with sports or games

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 사용자 감정 기반의 극적 영상 기록 장치는 영상 재생 시, 사용자의 감정 상태의 변화를 감지하는 감정 인식부; 및 상기 감정 상태의 변화가 감지되는 감정 인식 구간의 영상을 기록하는 영상 기록부를 포함한다.

Description

표정 인식을 이용한 영상 추출 장치 및 방법{DEVICE AND METHOD FOR EXTRACTING VIDEO USING REALIZATION OF FACIAL EXPRESSION}
본 발명의 실시예들은 영상 추출 장치 및 방법에 관한 것으로, 더욱 상세하게는 표정 인식을 이용하여 관심 구간(예컨대, 재미있는 구간)의 영상을 추출하는 장치 및 방법에 관한 것이다.
사람들은 스포츠를 시청하거나 게임을 하면서 마음에 드는 장면을 다시 보고 싶어하는 경향이 있다. 이를 위해, 최근 TV에서는 다시 볼 수 있는 장치를 제공하거나 게임의 경우 리플레이를 제공하거나 버튼을 누름으로써 일정 구간을 기록하여 다시 보여줄 수 있는 기능을 제공하고 있다.
예를 들어, 출시 예정 게임기인 PS4와 XBOX ONE의 경우, 이를 고려해 각각 15분과 5분간의 마지막 플레이 영상을 제공한다. 그러나, 이런 방법의 문제점으로는 전구간을 기록한 뒤에 마음에 드는 구간을 직접 찾아야 하거나 수작업을 통해 기록을 수행하여야 한다는 문제가 있다.
관련 선행기술로는 국내 공개특허공보 제2008-0004679호(발명의 명칭: 영상 녹화 장치의 영상 정보 기록 방법, 공개일자: 2008년 1월 10일)가 있다.
본 발명의 일 실시예는 사용자의 표정을 인식하여 재생되는 영상에서 관심 장면의 구간을 추출하여 기록함으로써, 사용자로 하여금 자신이 느꼈던 재미있는 순간의 장면들을 아무런 조작 없이 놓치지 않고 기록할 수 있도록 하는 표정 인식을 이용한 영상 추출 장치 및 방법을 제공한다.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 장치는 영상의 재생 시, 사용자의 촬영 영상을 분석하여 얼굴 표정을 인식하는 표정 인식부; 및 상기 얼굴 표정의 인식 결과에 기초하여 상기 영상으로부터 관심 장면을 추출하는 영상 추출부를 포함한다.
상기 표정 인식부는 상기 촬영 영상을 카메라로부터 획득하여 얼굴 영역을 검출하는 검출부; 상기 얼굴 영역으로부터 입술 영역을 검출하여 상기 촬영 영상에서 상기 입술 영역만을 추적하는 추적부; 상기 추적된 입술 영역의 크기 및 상기 촬영 영상의 조명을 정규화하는 정규화 처리부; 및 상기 정규화된 촬영 영상에서 상기 입술 영역의 특징 벡터를 추출하고, 상기 추출된 특징 벡터를 기반으로 표정 학습 데이터베이스를 이용하여 상기 사용자의 얼굴 표정을 식별하는 식별부를 포함할 수 있다.
상기 영상 추출부는 상기 표정 인식부에 의해 상기 얼굴 표정이 웃는 표정, 놀란 표정 및 기쁜 표정 중 어느 하나의 표정으로 인식된 경우, 상기 영상의 해당 순간의 시간 값을 구한 후 저장하고, 상기 해당 순간의 앞뒤 장면을 고려하여 상기 시간 값의 앞뒤로 시간 간격을 조정하여 상기 시간 간격을 포함하는 구간에 해당하는 영상을 상기 관심 장면으로서 추출할 수 있다.
상기 영상 추출부는 카메라를 통하여 수신되는 상기 촬영 영상의 한 프레임에 해당하는 시간보다 큰 값으로 상기 시간 간격을 조정할 수 있다. 상기 시간 간격은 상기 사용자 또는 상기 영상 추출 장치의 개발자에 의해 입력된 값으로 임의로 조정 가능하다.
상기 영상 추출부는 상기 관심 장면의 구간이 겹치는 경우, 겹치는 구간을 병합하여 하나의 관심 장면으로 추출할 수 있다.
상기 영상 추출부는 상기 관심 장면의 추출 시, 상기 관심 장면의 구간이 겹치는 정도를 고려하여 상기 관심 장면의 구간에 대한 레벨(level)을 결정할 수 있다.
본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 장치는 상기 결정된 레벨에 기초하여 상기 추출된 관심 장면을 레벨별로 분류하여 저장하는 영상 기록부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 장치는 상기 영상 기록부에 의해 저장된 관심 장면의 영상을 선택적으로 추출하여 하이라이트로 제공하는 영상 제공부를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 방법은 영상 추출 장치의 표정 인식부에서, 영상의 재생 시, 사용자의 촬영 영상을 분석하여 얼굴 표정을 인식하는 단계; 및 상기 영상 추출 장치의 영상 추출부에서, 상기 얼굴 표정의 인식 결과에 기초하여 상기 영상으로부터 관심 장면을 추출하는 단계를 포함한다.
상기 얼굴 표정을 인식하는 단계는 상기 표정 인식부의 검출부에서, 상기 촬영 영상을 카메라로부터 획득하여 얼굴 영역을 검출하는 단계; 상기 표정 인식부의 추적부에서, 상기 얼굴 영역으로부터 입술 영역을 검출하여 상기 촬영 영상에서 상기 입술 영역만을 추적하는 단계; 상기 표정 인식부의 정규화 처리부에서, 상기 추적된 입술 영역의 크기 및 상기 촬영 영상의 조명을 정규화하는 단계; 및 상기 표정 인식부의 식별부에서, 상기 정규화된 촬영 영상에서 상기 입술 영역의 특징 벡터를 추출하고, 상기 추출된 특징 벡터를 기반으로 표정 학습 데이터베이스를 이용하여 상기 사용자의 얼굴 표정을 식별하는 단계를 포함할 수 있다.
상기 표정 인식부에 의해 상기 얼굴 표정이 웃는 표정으로 인식된 경우, 상기 관심 장면을 추출하는 단계는 상기 영상의 해당 순간의 시간 값을 구한 후 저장하는 단계; 상기 해당 순간의 앞뒤 장면을 고려하여 상기 시간 값의 앞뒤로 시간 간격을 조정하는 단계; 및 상기 시간 간격을 포함하는 구간에 해당하는 영상을 상기 관심 장면으로서 추출하는 단계를 포함할 수 있다.
상기 시간 간격을 조정하는 단계는 카메라를 통하여 수신되는 상기 촬영 영상의 한 프레임에 해당하는 시간보다 큰 값으로 상기 시간 간격을 조정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 방법은 상기 관심 장면의 구간이 겹치는 경우, 상기 영상 추출부에서, 겹치는 구간을 병합하여 하나의 관심 장면으로 추출하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 방법은 상기 영상 추출부에서, 상기 관심 장면의 추출 시, 상기 관심 장면의 구간이 겹치는 정도를 고려하여 상기 관심 장면의 구간에 대한 레벨(level)을 결정하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 방법은 상기 영상 추출 장치의 영상 기록부에서, 상기 결정된 레벨에 기초하여 상기 추출된 관심 장면을 레벨별로 분류하여 저장하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 방법은 상기 영상 추출 장치의 영상 제공부에서, 상기 영상 기록부에 의해 저장된 관심 장면의 영상을 선택적으로 추출하여 하이라이트로 제공하는 단계를 더 포함할 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 첨부 도면들에 포함되어 있다.
본 발명의 일 실시예에 따르면, 사용자의 표정을 인식하여 재생되는 영상에서 관심 장면의 구간을 추출하여 기록함으로써, 사용자로 하여금 자신이 느꼈던 재미있는 순간의 장면들을 아무런 조작 없이 놓치지 않고 골라서 기록할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 장치를 설명하기 위해 도시한 블록도이다.
도 2는 도 1의 표정 인식부의 상세 구성을 설명하기 위해 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따라 사용자의 웃는 표정 인식 순간의 시간 값을 표현한 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 사용자의 웃는 표정 인식 순간의 앞뒤 장면을 고려하여 시간 간격을 조정하는 일례를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따라 서로 겹치는 관심 장면의 구간을 병합하는 일례를 도시한 도면이다.
도 6 내지 도 9는 본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 방법을 설명하기 위해 도시한 흐름도이다.
본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다.
이하에서는 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 장치를 설명하기 위해 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 장치(100)는 표정 인식부(110), 영상 추출부(120), 영상 기록부(130), 영상 제공부(140), 및 제어부(150)를 포함할 수 있다.
상기 표정 인식부(110)는 영상의 재생 시, 사용자의 촬영 영상을 분석하여 얼굴 표정을 인식한다. 구체적으로, TV 등의 영상 재생 장치에 의해 영상이 재생될 때, 카메라 등의 촬상 장치는 영상을 시청하고 있는 시청자(사용자)를 촬영하여 상기 사용자에 대한 촬영 영상을 획득할 수 있다. 상기 표정 인식부(110)는 상기 촬상 장치로부터 획득된 촬영 영상을 분석하여 상기 사용자의 얼굴 표정을 인식할 수 있다.
이를 위해, 상기 표정 인식부(110)는 도 2에 도시된 바와 같이 검출부(210), 추적부(220), 정규화 처리부(230), 및 식별부(240)를 포함할 수 있다. 참고로, 도 2는 도 1의 표정 인식부(110)의 상세 구성을 설명하기 위해 도시한 블록도이다.
상기 검출부(210)는 상기 사용자의 촬영 영상을 상기 촬상 장치(카메라)로부터 획득하여 얼굴 영역을 검출할 수 있다.
상기 추적부(220)는 상기 검출된 얼굴 영역으로부터 입술 영역을 검출하여 상기 촬영 영상에서 상기 입술 영역만을 추적할 수 있다.
상기 정규화 처리부(230)는 상기 추적된 입술 영역의 크기 및 상기 촬영 영상의 조명을 정규화 처리할 수 있다.
상기 식별부(240)는 상기 정규화 처리된 촬영 영상에서 상기 입술 영역의 특징 벡터를 추출하고, 상기 추출된 특징 벡터를 기반으로 표정 학습 데이터베이스를 이용하여 상기 사용자의 얼굴 표정을 식별할 수 있다.
여기서, 상기 표정 학습 데이터베이스는 얼굴 표정에 대해 학습한 정보를 데이터베이스화하여 기록한 저장 장치를 말하며, 상기 영상 추출 장치(100)의 내부에 탑재되거나 별도의 데이터베이스 서버로 구현되어 상기 영상 추출 장치(100)와 연계하여 동작할 수 있다.
상기 영상 추출부(120)는 상기 얼굴 표정의 인식 결과에 기초하여 상기 영상으로부터 관심 장면을 추출한다.
여기서, 상기 관심 장면이란 사용자의 얼굴이 평이하지 않은 표정을 갖는 경우(예컨대, 웃는 표정, 놀란 표정 및 기쁜 표정 중 어느 하나의 표정), 상기 평이하지 않는 표정이 지속되는 시간에 에 대응되는 영상일 수 있다.
보다 상세하게는, 상기 영상 추출부(120)는 상기 얼굴 표정이 웃는 표정, 놀란 표정 및 기쁜 표정 중 어느 하나의 표정으로 인식된 경우, 상기 영상의 해당 순간의 시간 값을 구한 후 저장하고, 상기 해당 순간의 앞뒤 장면을 고려하여 상기 시간 값의 앞뒤로 시간 간격을 조정하여 상기 시간 간격을 포함하는 구간에 해당하는 영상을 상기 관심 장면으로서 추출할 수 있다. 예컨대, 상기 영상 추출부(120)는 상기 표정 인식부(110)에 의해 상기 얼굴 표정이 웃는 표정으로 인식된 경우, 도 3에 도시된 바와 같이 상기 영상의 해당 순간의 시간 값(t1, t2,..., t9)을 구한 후 저장할 수 있다. 그리고, 상기 영상 추출부(120)는 도 4에 도시된 바와 같이, 상기 해당 순간의 앞뒤 장면을 고려하여 상기 시간 값의 앞뒤로 시간 간격(p)을 조정하여 상기 시간 간격을 포함하는 구간에 해당하는 영상을 상기 관심 장면으로서 추출할 수 있다.
이때, 상기 영상 추출부(120)는 카메라를 통하여 수신되는 상기 촬영 영상의 한 프레임에 해당하는 시간보다 큰 값으로 상기 시간 간격을 조정할 수 있다.
한편, 상기 관심 영상의 추출대상이 되는 영상의 프레임과 상기 카메라를 통하여 수신되는 상기 촬영 영상의 프레임은 동일할 수 있으며, 이 경우 영상 추출부(120)는 상기 영상의 한 프레임에 해당하는 시간보다 큰 값으로 상기 시간 간격을 조정할 수 있다. 상기 시간 간격은 상기 사용자 또는 상기 영상 추출 장치(100)의 개발자에 의해 입력된 값으로 임의로 조정 가능하다.
또한, 상기 영상 추출부(120)는 도 4에 도시된 바와 같이 상기 관심 장면의 구간이 겹치는 경우, 도 5에 도시된 바와 같이 겹치는 구간을 병합(P3)하여 하나의 관심 장면으로 추출할 수 있다. 또한, 상기 영상 추출부(120)는 상기 관심 장면의 추출 시, 상기 관심 장면의 구간이 겹치는 정도를 고려하여 상기 관심 장면의 구간에 대한 레벨(level)을 결정할 수도 있다.
상기 영상 기록부(130)는 상기 결정된 레벨에 기초하여 상기 추출된 관심 장면을 레벨별로 분류하여 저장할 수 있다. 이때, 상기 영상 기록부(130)는 상기 결정된 레벨에 따라 해당 관심 장면들에 우선순위를 부여하고, 상기 우선순위에 따라 더 선호하거나 관심 장면의 영상을 구분하여 저장할 수 있다. 또한, 상기 영상 기록부(130)는 상기 관심 장면의 구간의 레벨별로 저장 리스트를 생성하고, 해당 저장 리스트에 해당 관심 장면의 영상을 저장함으로써 상기 관심 장면을 레벨별로 분류하여 저장할 수 있다.
상기 영상 제공부(140)는 상기 영상 기록부(130)에 의해 저장된 관심 장면의 영상을 선택적으로 추출하여 하이라이트로 제공할 수 있다. 이때, 상기 영상 제공부(140)는 상기 우선순위 또는 상기 저장 리스트를 참고하여 더 선호하거나 관심 장면의 영상을 선택적으로 추출할 수 있으며, 이렇게 추출된 영상을 상기 사용자에게 하이라이트로 제공할 수 있다.
상기 제어부(150)는 본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 장치(100), 즉 상기 표정 인식부(110), 상기 영상 추출부(120), 상기 영상 기록부(130), 상기 영상 제공부(140) 등의 동작을 전반적으로 제어할 수 있다.
도 6 내지 도 9는 본 발명의 일 실시예에 따른 표정 인식을 이용한 영상 추출 방법을 설명하기 위해 도시한 흐름도이다.
먼저 도 1 및 도 6을 참조하면, 단계(610)에서 영상이 재생되면, 단계(620)에서 상기 영상 추출 장치(100)의 표정 인식부(110)는 사용자의 촬영 영상을 분석하여 얼굴 표정을 인식한다. 이하에서는 도 7을 참조하여 상기 단계(620)에 대해 상세히 설명하기로 한다.
도 1 및 도 7을 참조하면, 단계(710)에서 상기 표정 인식부(110)의 검출부(210)는 상기 사용자의 촬영 영상을 카메라로부터 획득하여 얼굴 영역을 검출한다.
이후, 단계(720)에서 상기 표정 인식부(110)의 추적부(220)는 상기 얼굴 영역으로부터 입술 영역을 검출하여 상기 촬영 영상에서 상기 입술 영역만을 추적한다.
이후, 단계(730)에서 상기 표정 인식부(110)의 정규화 처리부(230)는 상기 추적된 입술 영역의 크기 및 상기 촬영 영상의 조명을 정규화 처리한다.
이후, 단계(740)에서 상기 표정 인식부(110)의 식별부(240)는 상기 정규화 처리된 촬영 영상에서 상기 입술 영역의 특징 벡터를 추출한다.
이후, 단계(750)에서 상기 표정 인식부(110)의 식별부(240)는 상기 추출된 특징 벡터를 기반으로 표정 학습 데이터베이스를 이용하여 상기 사용자의 얼굴 표정을 식별한다.
다시 도 1 및 도 6을 참조하면, 단계(630)에서 상기 영상 추출 장치(100)의 영상 추출부(120)는 상기 얼굴 표정의 인식 결과에 기초하여 상기 영상으로부터 관심 장면을 추출한다. 이하에서는 상기 단계(630)에 대해 도 8을 참조하여 상세히 설명하기로 한다.
도 1 및 도 8을 참조하면, 단계(810)에서 상기 사용자의 얼굴 표정을 인식한 결과, 웃는 표정으로 인식한 경우(810의 "예" 방향), 단계(820)에서 상기 영상 추출 장치(100)의 영상 추출부(120)는 상기 영상의 해당 순간(웃는 표정으로 인식한 순간에 해당하는 영상 장면)의 시간 값을 구한 후 저장한다. 한편, 후술하는 본 실시 예에서는 영상추출의 기준이 되는 얼굴 표정을 웃는 표정에 한정해서 설명하고 있지만, 상기 얼굴 표정은 웃는 표정, 놀란 표정 및 기쁜 표정 중 어느 하나의 표정일 수 있음은 물론이다.
이후, 단계(830)에서 상기 영상 추출 장치(100)의 영상 추출부(120)는 상기 해당 순간의 앞뒤 장면을 고려하여 상기 시간 값의 앞뒤로 시간 간격을 조정한다.
이후, 단계(840)에서 상기 영상 추출 장치(100)의 영상 추출부(120)는 상기 시간 간격을 포함하는 구간에 해당하는 영상을 상기 관심 장면으로서 추출한다. 이하에서는 상기 단계(840)에 대해 도 9를 참조하여 상세히 설명하기로 한다.
도 1 및 도 9를 참조하면, 단계(910)에서 상기 영상 추출 장치(100)의 영상 추출부(120)는 상기 관심 장면의 구간이 겹치는지 여부를 판단한다.
상기 단계(910)의 판단 결과, 겹치는 구간이 존재하는 경우(910의 "예" 방향), 단계(920)에서 상기 영상 추출 장치(100)의 영상 추출부(120)는 상기 겹치는 구간을 병합하여 하나의 관심 장면으로 추출한다.
이어서, 단계(930)에서 상기 영상 추출 장치(100)의 영상 추출부(120)는 상기 관심 장면의 구간이 겹치는 정도를 고려하여 상기 관심 장면의 구간에 대한 레벨(level)을 결정한다.
이어서, 단계(940)에서 상기 영상 추출 장치(100)의 영상 기록부(130)는 상기 결정된 레벨에 기초하여 상기 추출된 관심 장면을 레벨별로 분류하여 저장한다.
다시 도 1 및 도 8을 참조하면, 단계(850)에서 상기 영상 추출 장치(100)의 영상 제공부(140)는 상기 추출된 관심 장면의 영상을 선택적으로 추출하여 하이라이트로 제공한다.
이와 같이, 본 발명의 일 실시예에서는 사용자의 표정을 인식하여 재생되는 영상에서 관심 장면의 구간을 추출하여 기록함으로써, 사용자로 하여금 자신이 느꼈던 재미있는 순간의 장면들을 아무런 조작 없이 놓치지 않고 기록할 수 있도록 한다.
다시 말해, 본 발명의 일 실시예에서는 시청자(사용자)의 추가적인 입력 없이 얼굴 표정의 인식을 통해 TV나 게임 등의 영상 재생 장치의 리플레이 영상을 재미있는 부분만 추려서 기록하여 사용자에게 제공할 수 있으며, 이를 통해 사용자는 편리하게 영상의 기록을 할 수 있을 뿐만 아니라 수동 녹화로는 놓칠 수 있었던 관심 장면까지 놓치지 않고 기록을 남길 수 있게 된다.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
110: 표정 인식부
120: 영상 추출부
130: 영상 기록부
140: 영상 제공부
150: 제어부
210: 검출부
220: 추적부
230: 정규화 처리부
240: 식별부

Claims (17)

  1. 영상의 재생 시, 사용자의 촬영 영상을 분석하여 얼굴 표정을 인식하는 표정 인식부; 및
    상기 얼굴 표정의 인식 결과에 기초하여 상기 영상으로부터 관심 장면을 추출하는 영상 추출부
    를 포함하고,
    상기 영상 추출부는
    상기 표정 인식부에 의해 상기 얼굴 표정이 웃는 표정, 놀란 표정 및 기쁜 표정 중 어느 하나의 표정으로 인식된 경우, 상기 영상의 해당 순간의 시간 값을 구한 후 저장하고, 상기 해당 순간의 앞뒤 장면을 고려하여 상기 시간 값의 앞뒤로 시간 간격을 조정하여 상기 시간 간격을 포함하는 구간에 해당하는 영상을 상기 관심 장면으로서 추출하며,
    상기 관심 장면의 구간이 겹치는 경우, 겹치는 구간을 병합하여 하나의 관심 장면으로 추출하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 장치.
  2. 제1항에 있어서,
    상기 표정 인식부는
    상기 촬영 영상을 카메라로부터 획득하여 얼굴 영역을 검출하는 검출부;
    상기 얼굴 영역으로부터 입술 영역을 검출하여 상기 촬영 영상에서 상기 입술 영역만을 추적하는 추적부;
    상기 추적된 입술 영역의 크기 및 상기 촬영 영상의 조명을 정규화하는 정규화 처리부; 및
    상기 정규화된 촬영 영상에서 상기 입술 영역의 특징 벡터를 추출하고, 상기 추출된 특징 벡터를 기반으로 표정 학습 데이터베이스를 이용하여 상기 사용자의 얼굴 표정을 식별하는 식별부
    를 포함하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 영상 추출부는
    카메라를 통하여 수신되는 상기 촬영 영상의 한 프레임에 해당하는 시간보다 큰 값으로 상기 시간 간격을 조정하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 장치.
  5. 제1항에 있어서,
    상기 시간 간격은
    상기 사용자 또는 상기 영상 추출 장치의 개발자에 의해 입력된 값으로 임의로 조정 가능한 것을 특징으로 하는 표정 인식을 이용한 영상 추출 장치.
  6. 삭제
  7. 제1항에 있어서,
    상기 영상 추출부는
    상기 관심 장면의 추출 시, 상기 관심 장면의 구간이 겹치는 정도를 고려하여 상기 관심 장면의 구간에 대한 레벨(level)을 결정하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 장치.
  8. 제7항에 있어서,
    상기 결정된 레벨에 기초하여 상기 추출된 관심 장면을 레벨별로 분류하여 저장하는 영상 기록부
    를 더 포함하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 장치.
  9. 제8항에 있어서,
    상기 영상 기록부에 의해 저장된 장면의 영상을 선택적으로 추출하여 하이라이트로 제공하는 영상 제공부
    를 더 포함하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 장치.
  10. 영상 추출 장치의 표정 인식부에서, 영상의 재생 시, 사용자의 촬영 영상을 분석하여 얼굴 표정을 인식하는 단계; 및
    상기 영상 추출 장치의 영상 추출부에서, 상기 얼굴 표정의 인식 결과에 기초하여 상기 영상으로부터 관심 장면을 추출하는 단계
    를 포함하고,
    상기 표정 인식부에 의해 상기 얼굴 표정이 웃는 표정, 놀란 표정 및 기쁜 표정 중 어느 하나의 표정으로 인식된 경우,
    상기 관심 장면을 추출하는 단계는
    상기 영상의 해당 순간의 시간 값을 구한 후 저장하는 단계;
    상기 해당 순간의 앞뒤 장면을 고려하여 상기 시간 값의 앞뒤로 시간 간격을 조정하는 단계;
    상기 시간 간격을 포함하는 구간에 해당하는 영상을 상기 관심 장면으로서 추출하는 단계; 및
    상기 관심 장면의 구간이 겹치는 경우, 상기 겹치는 구간을 병합하여 하나의 관심 장면으로 추출하는 단계
    를 포함하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 방법.
  11. 제10항에 있어서,
    상기 얼굴 표정을 인식하는 단계는
    상기 표정 인식부의 검출부에서, 상기 촬영 영상을 카메라로부터 획득하여 얼굴 영역을 검출하는 단계;
    상기 표정 인식부의 추적부에서, 상기 얼굴 영역으로부터 입술 영역을 검출하여 상기 촬영 영상에서 상기 입술 영역만을 추적하는 단계;
    상기 표정 인식부의 정규화 처리부에서, 상기 추적된 입술 영역의 크기 및 상기 촬영 영상의 조명을 정규화하는 단계; 및
    상기 표정 인식부의 식별부에서, 상기 정규화된 촬영 영상에서 상기 입술 영역의 특징 벡터를 추출하고, 상기 추출된 특징 벡터를 기반으로 표정 학습 데이터베이스를 이용하여 상기 사용자의 얼굴 표정을 식별하는 단계
    를 포함하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 방법.
  12. 삭제
  13. 제10항에 있어서,
    상기 시간 간격을 조정하는 단계는
    카메라를 통하여 수신되는 상기 촬영 영상의 한 프레임에 해당하는 시간보다 큰 값으로 상기 시간 간격을 조정하는 표정 인식을 이용한 영상 추출 방법.
  14. 삭제
  15. 제10항에 있어서,
    상기 영상 추출부에서, 상기 관심 장면의 추출 시, 상기 관심 장면의 구간이 겹치는 정도를 고려하여 상기 관심 장면의 구간에 대한 레벨(level)을 결정하는 단계
    를 더 포함하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 방법.
  16. 제15항에 있어서,
    상기 영상 추출 장치의 영상 기록부에서, 상기 결정된 레벨에 기초하여 상기 추출된 관심 장면을 레벨별로 분류하여 저장하는 단계
    를 더 포함하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 방법.
  17. 제16항에 있어서,
    상기 영상 추출 장치의 영상 제공부에서, 상기 영상 기록부에 의해 저장된 관심 장면의 영상을 선택적으로 추출하여 하이라이트로 제공하는 단계
    를 더 포함하는 것을 특징으로 하는 표정 인식을 이용한 영상 추출 방법.
KR1020140014312A 2014-02-07 2014-02-07 표정 인식을 이용한 영상 추출 장치 및 방법 KR101571888B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140014312A KR101571888B1 (ko) 2014-02-07 2014-02-07 표정 인식을 이용한 영상 추출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140014312A KR101571888B1 (ko) 2014-02-07 2014-02-07 표정 인식을 이용한 영상 추출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150093480A KR20150093480A (ko) 2015-08-18
KR101571888B1 true KR101571888B1 (ko) 2015-11-25

Family

ID=54057368

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140014312A KR101571888B1 (ko) 2014-02-07 2014-02-07 표정 인식을 이용한 영상 추출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101571888B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564182B1 (ko) 2023-04-12 2023-08-07 이가람 인공지능 모델을 활용하여 영상 데이터 기반 얼굴 표정 영상 추출 및 이를 활용한 콘텐츠 생성 방법, 장치 및 시스템

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564855B1 (ko) 2018-01-08 2023-08-08 삼성전자주식회사 표정 변화에 강인한 객체 및 표정 인식 장치 및 방법, 객체 및 표정 트레이닝 장치 및 방법
KR102020036B1 (ko) * 2018-07-05 2019-09-24 주식회사딜루션 사용자들의 감정 정보를 기반으로 하는 관람 평가 정보를 제공하는 어플리케이션을 운용하는 장치 및 그 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141484A (ja) 2006-12-01 2008-06-19 Sanyo Electric Co Ltd 画像再生システム及び映像信号供給装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008141484A (ja) 2006-12-01 2008-06-19 Sanyo Electric Co Ltd 画像再生システム及び映像信号供給装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
얼굴표정의 자동인식을 통한 PDA 상에서의 3차원 얼굴 애니메이션

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102564182B1 (ko) 2023-04-12 2023-08-07 이가람 인공지능 모델을 활용하여 영상 데이터 기반 얼굴 표정 영상 추출 및 이를 활용한 콘텐츠 생성 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR20150093480A (ko) 2015-08-18

Similar Documents

Publication Publication Date Title
KR100827846B1 (ko) 동영상에 포함된 특정 인물을 검색하여 원하는 시점부터재생하기 위한 방법 및 시스템
KR102290419B1 (ko) 디지털 컨텐츠의 시각적 내용 분석을 통해 포토 스토리를 생성하는 방법 및 장치
JP5106271B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN108292364A (zh) 在全向视频中的跟踪感兴趣对象
JP4697106B2 (ja) 画像処理装置および方法、並びにプログラム
JP4797761B2 (ja) 動画表示装置
US20110304774A1 (en) Contextual tagging of recorded data
JP5391144B2 (ja) 顔表情変化度測定装置およびそのプログラム並びに番組興味度測定装置
US20070201817A1 (en) Method and system for playing back videos at speeds adapted to content
CN103200463A (zh) 一种视频摘要生成方法和装置
KR20050057586A (ko) 비디오 및 오디오 시그너처들의 제휴를 통한 향상된 광고검출
JP5635859B2 (ja) 編集装置、制御方法及びプログラム
JP2007097047A (ja) コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
US11503375B2 (en) Systems and methods for displaying subjects of a video portion of content
JP2012238232A (ja) 興味区間検出装置、視聴者興味情報提示装置、および興味区間検出プログラム
US20180144479A1 (en) Retrieval device, retrieval method, and computer program product
US10146870B2 (en) Video playback method and surveillance system using the same
WO2014103673A1 (ja) 情報処理システム、情報処理方法及びプログラム
KR101571888B1 (ko) 표정 인식을 이용한 영상 추출 장치 및 방법
US20110235859A1 (en) Signal processor
Bano et al. ViComp: composition of user-generated videos
US20220335246A1 (en) System And Method For Video Processing
JPWO2015178234A1 (ja) 画像検索システム、検索画面表示方法
KR102221792B1 (ko) 동영상 컨텐츠의 스토리 기반의 장면 추출 장치 및 방법
KR101869905B1 (ko) 영상 재생 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181023

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 5