KR20200072237A - 동영상 내 등장인물 갈등정보 추출 장치 - Google Patents

동영상 내 등장인물 갈등정보 추출 장치 Download PDF

Info

Publication number
KR20200072237A
KR20200072237A KR1020180160193A KR20180160193A KR20200072237A KR 20200072237 A KR20200072237 A KR 20200072237A KR 1020180160193 A KR1020180160193 A KR 1020180160193A KR 20180160193 A KR20180160193 A KR 20180160193A KR 20200072237 A KR20200072237 A KR 20200072237A
Authority
KR
South Korea
Prior art keywords
video
graph
character
characters
conflict
Prior art date
Application number
KR1020180160193A
Other languages
English (en)
Other versions
KR102179590B1 (ko
Inventor
박승보
유은순
강수환
김영훈
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020180160193A priority Critical patent/KR102179590B1/ko
Publication of KR20200072237A publication Critical patent/KR20200072237A/ko
Application granted granted Critical
Publication of KR102179590B1 publication Critical patent/KR102179590B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 동영상 내 등장인물 갈등정보 추출장치에 관한 것으로, 동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프에서 피크점을 추출하는 그래프 피크 추출부와, 두 등장인물에 대한 상기 장면별 인물 면적 크기 그래프를 차감하여 두 등장인물간 인물 면적 크기 비교 그래프를 생성하는 비교 그래프 생성부를 포함하는 인물 면적 그래프 처리부, 그리고, 상기 인물 면적 그래프 처리부에서 추출한 피크점과 비교 그래프로부터 상기 동영상에 출연하는 등장인물들의 갈등 발생, 갈등 상승 및 갈등 주도 방향 전환 중 적어도 어느 하나를 판단하는 갈등정보 판단부를 포함하여, 상기 동영상의 등장인물의 인물면적 크기 그래프로부터 등장인물간 갈등정보를 추출한다. 이로 인해, 영화 또는 드라마와 같은 동영상에서 등장인물의 갈등정보를 정확하게 분석할 수 있는 효과가 있다.

Description

동영상 내 등장인물 갈등정보 추출 장치{EXTRACTION APPARATUS OF CHARACTER CONFLICT INFORMATION IN VIDEO}
본 발명은 동영상 내 등장인물 갈등정보 추출 장치에 관한 것으로, 좀더 자세하게는 영화 또는 드라마와 같은 동영상에 출연하는 등장인물들간 갈등정보를 추출하는 장치에 관한 것이다.
영화나 드라마와 같이 다수의 등장인물이 출연하는 동영상 미디어에서 등장인물을 자동으로 추출하고, 주연 등장인물 또는 조연 등장인물을 구분하는 기술 및 등장인물의 대사를 기반으로 등장인물간 갈등상황을 판단하는 기술이 연구 및 개발되고 있다.
그러나, 등장인물들의 대사를 이용하여 등장인물간 갈등정보를 추출하는 기술은, 등장인물이 실제로 동영상에서 보여지는 면적, 즉, 해당 등장인물의 중요도와 관계 없이 대사를 이용하는 것으로, 대사만을 이용하여 갈등정보를 추출하는 경우 등장인물간의 실제 갈등정보와는 상이하게 갈등정보가 추출될 수 있어, 동영상에서 등장인물이 차지하는 인물 면적을 반영하여 동영상의 등장인물 간 갈등정보를 추출할 수 있는 처리장치의 연구개발이 필요한 실정이다.
대한민국 등록특허공보 제10-1658413(동영상에서의 인물 정보 추출방법 및 그 장치)
본 발명이 이루고자 하는 기술적 과제는 등장인물의 동영상 내 출연 크기를 반영하여 동영상 내 등장인물 간 갈등정보를 자동으로 추출함으로써, 정확성 및 처리 효율이 향상된 동영상 처리장치를 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치는 동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프에서 피크점을 추출하는 그래프 피크 추출부와, 두 등장인물에 대한 상기 장면별 인물 면적 크기 그래프를 차감하여 두 등장인물간 인물 면적 크기 비교 그래프를 생성하는 비교 그래프 생성부를 포함하는 인물 면적 그래프 처리부, 그리고, 상기 인물 면적 그래프 처리부에서 추출한 피크점과 비교 그래프로부터 상기 동영상에 출연하는 등장인물들의 갈등 발생, 갈등 상승 및 갈등 주도 방향 전환 중 적어도 어느 하나를 판단하는 갈등정보 판단부를 포함하여, 상기 동영상의 등장인물의 인물면적 크기 그래프로부터 등장인물간 갈등정보를 추출하는 것을 특징으로 한다.
상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 추출한 피크점을 포함하는 장면에서의 클로즈업 발생 빈도를 제1 임계값과 비교하고, 상기 피크점을 포함하는 장면의 대화량을 제2 임계값과 비교하여, 상기 동영상에 출연하는 등장인물의 갈등발생으로 판단하는 것을 특징으로 한다.
상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 생성한 비교 그래프가 인물 면적 크기 차이 값이 음의 값과 양의 값 사이에서 교차점을 갖는 경우, 상기 교차점을 기준으로 상기 두 등장인물간 갈등 주도 방향이 전환되는 것으로 판단하는 것을 특징으로 한다.
상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 생성한 장면별 인물 면적 크기 그래프에서 적어도 두 등장인물이 동반 상승하는 경우, 상기 구간의 대화량을 제3 임계값과 비교하여, 해당 구간을 상기 두 등장인물의 갈등상승으로 판단하는 것을 특징으로 한다.
동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프를 생성하는 인물 면적 그래프 생성부를 더 포함하는 것을 특징으로 한다.
상기 인물 면적 그래프 생성부, 상기 인물 면적 그래프 처리부 및 상기 갈등정보 판단부가 갈등정보 추출부로 형성되고, 동영상 내 인물면적을 추출하여 상기 갈등정보 추출부에 전달하는 동영상 내 인물면적 추출부를 더 포함하는 것을 특징으로 한다.
상기 동영상 내 인물면적 추출부는, 동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 영상 전처리부, 그리고 상기 영상 전처리부에서 추출된 영상에 포함된 등장인물의 인물 면적 크기를 산출하고 이를 누적하는 인물 면적 처리부를 포함하는 것을 특징으로 한다.
상기 인물 면적 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 면적 크기를 산출하고 이를 프레임 수로 평균내며, 상기 인물 면적 그래프 생성부는 샷에 대한 등장인물의 인물 면적 크기 평균 값을 인물 면적 그래프로 생성하는 것을 특징으로 한다.
상기 인물 면적 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 면적 크기를 누적하여 산출하며, 상기 인물 면적 그래프 생성부는 샷에 대한 등장인물의 인물 면적 크기 누적값을 인물 면적 그래프로 생성하는 것을 특징으로 한다.
이러한 특징에 따르면, 본원 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치는 동영상에 등장하는 인물이 동영상에서 차지하는 면적을 기반으로 그래프를 생성하고 이를 참조하여 동영상 내 등장인물들의 갈등정보를 추출할 수 있게 되어, 영화 또는 드라마와 같은 동영상에서 등장인물의 갈등정보를 정확하게 분석할 수 있는 효과가 있다.
도 1은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 개략적인 구조를 나타낸 블록도이다.
도 2는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치 중 동영상 내 인물면적 추출부의 개략적인 구조를 나타낸 블록도이다.
도 3은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 처리부가 프레임의 등장 인물에 대한 인물 면적을 추출하는 예시를 나타낸 도면이다.
도 4는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치가 등장인물별 인물 면적 크기를 장면별 숏에 대해 생성한 그래프이다.
도 5는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치가 장면별 등장인물의 인물 면적 크기를 하나의 그래프 상에 나타낸 도면이다.
도 6은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 그래프 처리부의 개략적인 구조를 나타낸 블록도이다.
도 7은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 그래프 처리부가 생성하는 등장인물간 인물 면적 크기 비교 그래프이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 개략적인 구조를 나타낸 블록도이고, 도 2는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치 중 동영상 내 인물면적 추출부의 개략적인 구조를 나타낸 블록도이고, 도 3은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 처리부가 프레임의 등장 인물에 대한 인물 면적을 추출하는 예시를 나타낸 도면이고, 도 4는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치가 등장인물별 인물 면적 크기를 장면별 숏에 대해 생성한 그래프이고, 도 5는 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치가 장면별 등장인물의 인물 면적 크기를 하나의 그래프 상에 나타낸 도면이고, 도 6은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 그래프 처리부의 개략적인 구조를 나타낸 블록도이고, 도 7은 본 발명의 한 실시예에 따른 동영상 내 등장인물 갈등정보 추출 장치의 인물 면적 그래프 처리부가 생성하는 등장인물간 인물 면적 크기 비교 그래프이다.
본 실시예에서, 동영상 내 등장인물 갈등정보 추출 장치(S)는 동영상 내 인물면적 추출부(100)와 갈등정보 추출부(200)를 포함하는 처리장치로서, 컴퓨터에 장착될 수 있는 프로세서 형태로 구현될 수 있다.
동영상 내 인물면적 추출부(100)는 동영상에 출연하는 등장인물에 대한 인물 면적을 추출하는 부분으로서, 도 2에 도시한 것처럼, 영상 전처리부(110)와 인물 면적 처리부(120)를 포함한다.
이때, 영상 전처리부(110)는 프레임 추출부(111)와 샷 추출부(112), 그리고 장면 추출부(113)를 포함한다. 영상 전처리부(110)는 동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 부분으로서, 외부로부터 동영상을 처리 대상 동영상으로서 입력받을 수 있다.
프레임 추출부(111)는 처리 대상 동영상을 프레임 단위로 추출하여 이미지를 생성한다. 한 예에서, 영상 전처리부(110)에 입력된 처리 대상 동영상이 60프레임의 동영상인 경우, 프레임 추출부(111)는 처리 대상 동영상의 1초 구간을 60개의 프레임으로 각각 추출하도록 처리한다.
샷 추출부(112)는 처리 대상 동영상에서 샷(Shot)을 추출하는데, 이때, 프레임 추출부(111)에서 추출된 연속하는 프레임들로부터 페이드 인/페이드 아웃과 같이 구분되는 부분을 통해 샷이 구분된다.
예로써, 1초 내지 10분의 동영상에서 3분 시점에서 페이드 인/페이드 아웃을 통한 샷 전환이 있을 때, 샷 추출부(112)는 프레임 추출부(111)에서 3분 시점에 형성된 복수 개의 프레임을 참고하여 해당 시점에 샷 전환이 발생한 것을 감지하여, 3분 이전과 3분 이후를 서로 다른 샷으로 추출한다.
이때, 샷 추출부(112)는 추출된 샷들에 일련번호를 부여할 수 있다.
장면 추출부(113)는 샷 추출부(112)에서 추출한 일련의 샷들을 바탕으로, 서로 다른 장면(Scene)을 추출한다. 한 예에서, 한 샷에서 제1 등장인물이 출연하고, 연속하는 다른 샷에서 제2 등장인물이 출연하나 두 샷에서 나타나는 배경은 동일한 경우, 장면 추출부(113)는 해당 두 샷을 하나의 장면으로 추출한다.
장면 추출부(113)는 연속하는 샷 간의 배경 유사도를 판단하여 장면을 추출할 수 있고, 추출된 장면들에 일련번호를 부여할 수 있다.
한 예에서, 장면 추출부(113)는 샷들 간 장면으로 구분되는 지점을 선택신호 또는 입력신호로서 입력받을 수 있고, 선택신호 또는 입력신호의 구분지점을 기준으로 장면을 추출하여 일련번호를 부여할 수 있다.
인물 면적 처리부(120)는 인물 추출부(121)와 인물 면적 크기 산출부(122)를 포함하는데, 인물 추출부(121)는 처리 대상 동영상에서 인물을 추출한다. 이때, 인물 추출부(121)는 영상 전처리부(110)에서 장면, 샷 및 프레임으로 추출된 영상에서 인물을 추출하며, 이미지에서 인물을 자동으로 감지 및 추출하는 내용은 공지기술이므로 본 명세서에서는 이를 자세하게 설명하지 않으며, 당업자의 수준에서 이해되어야 할 것이다.
이때, 인물추출부(121)는 추출된 인물들을 구분하고, 구분된 인물들에 대해 일련번호를 부여할 수 있다.
인물 면적 크기 산출부(122)는 인물 추출부(121)에서 인물이 추출된 프레임에서 인물 면적의 크기를 산출한다. 인물 면적 크기 산출부(122)는 도 3의 (a)에 도시한 것처럼, 하나의 프레임에 등장한 인물의 면적을 등장인물의 얼굴 윤곽선을 따라 추출하거나 또는 등장인물의 눈, 코, 입, 눈썹을 포함하는 사각형태로 추출할 수 있다.
인물 면적 크기 산출부(122)는 도 3의 (b)에 도시한 것처럼, 하나의 프레임에 등장한 복수의 인물의 면적을 각각 추출한다.
인물 면적 크기 산출부(122)는 도 3과 같이 추출된 인물 면적의 크기를 산출하는 부분으로서, 다음의 식 1을 이용하여 시간, 즉, 프레임에 대한 인물 면적의 크기를 산출한다.
[식 1]
Figure pat00001
위의 식 1에서, Ci는 i번째 등장인물, t는 시간(프레임)이고, Area()는 크기를 산출하는 함수로서, Area(Ci, t)는 t번째 시간(프레임)에서 Ci 등장인물의 인물 면적 크기이다.
인물 면적 크기 산출부(122)는 다음의 식 2를 이용하여 샷에 대한 인물 면적의 크기를 산출하는데, 이때, 한 샷에 포함되는 프레임들에서 각각 산출되는 인물 면적 크기를 참조하여 샷에 대한 인물 면적 크기를 산출한다.
한 예에서, 인물 면적 크기 산출부(122)는 샷에 포함된 프레임에서 산출된 인물 면적 크기를 누적, 즉, 합산하여 샷에 포함된 특정 등장인물에 대한 인물 면적 크기를 산출한다.
다른 한 예에서, 인물 면적 크기 산출부(122)는 샷에 포함된 프레임에서 산출된 인물 면적 크기를 샷을 구성하는 프레임 수로 나누어, 즉, 평균내여 샷에 포함된 특정 등장인물에 대한 인물 면적 크기를 산출한다.
[식 2]
Figure pat00002
위의 식 2에서, SHj는 j번째 샷이고, Area(Ci, SHj)는 j번째 샷에서 Ci 등장인물의 인물 면적 크기의 누적값 또는 평균값이다.
인물 면적 크기 산출부(122)는 다음의 식 3을 이용하여 장면에 대한 인물 면적의 크기를 산출하는데, 이때, 한 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 면적 크기를 참조하여 장면에 대한 인물 면적 크기를 산출한다.
한 예에서, 인물 면적 크기 산출부(122)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 면적 크기를 누적, 즉, 합산하여 장면에 포함된 특정 등장인물에 대한 인물 면적 크기를 산출한다.
다른 한 예에서, 인물 면적 크기 산출부(122)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 면적 크기를 장면을 구성하는 샷 수로 나누어, 즉, 평균내여 장면에 포함된 특정 등장인물에 대한 인물 면적 크기를 산출한다.
[식 3]
Figure pat00003
위의 식 3에서, SCk는 k번째 장면이고, Area(Ci, SCk)는 k번째 장면에서 Ci 등장인물의 인물 면적 크기의 누적값 또는 평균값이다.
이처럼, 인물 면적 크기 산출부(122)가 등장인물의 인물 면적 크기를 프레임, 샷, 장면 단위로 산출하므로, 프레임, 샷, 장면에서 등장인물의 인물 면적 크기를 비교하여, 이를 등장인물의 중요도를 판단하는 데 이용할 수 있다.
한 예에서, 인물 면적 크기 산출부(122)는 동영상에 대해 산출된 등장인물별 인물 면적 크기를 갈등정보 추출부(200)로 전달한다.
다시 도 1을 참조하여 갈등정보 추출부(200)의 구조를 자세히 설명하면, 갈등정보 추출부(200)는 동영상 내 인물면적 추출부(100)로부터 등장인물별 인물 면적 크기를 전달받아, 동영상에 등장하는 주요 등장인물별 갈등정보를 추출하는 부분으로서, 인물 면적 그래프 생성부(210), 인물 면적 그래프 처리부(220) 및 갈등정보 판단부(230)를 포함한다.
인물 면적 그래프 생성부(210)는 동영상 내 인물면적 추출부(100)에서 샷 단위로 생성한 인물 면적 크기를 각 등장인물에 대해 도 4와 같이 그래프로 도시한다.
인물 면적 크기 그래프 생성부(210)는 도 4의 (a)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 면적 누적 크기의 그래프를 생성한다.
이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 면적 크기를 누적한 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 프레임에서 얼굴 면적 크기가 작게 등장하지만 복수의 프레임에 자주 등장하는 경우 해당 등장인물이 영화 또는 드라마 내에서 높은 중요도를 갖는 것을 그래프 상에 도시할 수 있고, 그래프 결과를 참조하여 등장인물의 중요도 판단에 해석할 수 있는 효과가 있다.
또는, 인물 면적 크기 그래프 생성부(210)는 도 4의 (b)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 면적 평균 크기의 그래프를 생성한다.
이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 면적 크기를 프레임 개수로 평균낸 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 단 1회의 샷 또는 프레임에서 큰 얼굴 면적 크기를 갖도록 등장하였지만 다른 프레임 또는 샷에서는 전혀 등장하지 않는 1회성 등장인 등장인물인 경우, 인물 면적 크기를 프레임 수로 나누어 해당 등장인물의 인물 면적 크기가 극중 중요도와는 달리, 크게 나타날 수 있는 노이즈를 상쇄할 수 있는 효과가 있다.
그리고, 인물 면적 크기 그래프 생성부(210)는 여러 등장인물들의 인물 면적 크기를 도 5에 도시한 것처럼 하나의 장면에 따른 인물 면적 크기 그래프로 도시하고, 이때 그래프에 도시하는 인물 면적 크기는 샷 평균 인물 면적 크기 또는 샷 누적 인물 면적 크기일 수 있으며 이를 한정하지는 않는다.
도 5의 그래프에서, Gi(n)은 i번째 등장인물 Ci의 장면 n에 따른 인물 면적 크기 변화 그래프로 Area(Ci,n)로 나타나고, 장면 흐름에 따른 Area(Ci,n)는 Area(Ci)로 도시된다.
인물 면적 크기 그래프 생성부(210)가 도 5에 도시한 것처럼 여러 등장인물들의 장면별 인물 면적 크기를 하나의 그래프에 도시함에 따라, 등장인물들 중 동영상에서 중요도를 갖는 등장인물을 용이하게 구분할 수 있는 효과가 있다.
또한, 도 5의 그래프를 생성함에 따라, 특정 장면에서 중요도가 큰 등장인물을 용이하게 구분할 수 있다.
인물 면적 크기 그래프 처리부(220)는 도 6에 도시한 것처럼, 그래프 피크 추출부(221)와 비교 그래프 생성부(222)를 포함하여 인물 면적 크기 그래프 생성부(210)에서 생성한 그래프를 처리하는데, 그래프 피크 추출부(221)는 인물 면적 크기 그래프 생성부(210)에서 생성한 그래프에서 피크를 추출한다.
한 예에서, 그래프 피크 추출부(221)는 도 5의 그래프에서 등장인물 C1, C2, C3의 그래프에서 피크점을 각각 추출한다.
비교 그래프 생성부(222)는 인물 면적 크기 그래프 생성부(210)에서 생성한 적어도 두 등장인물에 대한 인물 면적 크기 그래프 중, 하나의 등장인물에 대한 인물 면적 크기 그래프에서 다른 하나의 등장인물에 대한 인물 면적 크기 그래프를 차감하여 도 7과 같이 두 등장인물간 인물 면적 크기 비교 그래프로서 생성한다.
이때, 도 7에서, G'(n)은 두 개의 G(n)을 차감하여 생성한 그래프로서, 다음의 식 4로 표현될 수 있다.
[식 4]
Figure pat00004
위의 식 4에서, Gi(n)은 i번째 등장인물 Ci의 장면 n에 따른 인물 면적 크기 변화 그래프이고, Gj(n)은 j번째 등장인물 Ci가 장면 n에 따른 인물 면적 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 면적 크기의 차 그래프이다.
비교 그래프 생성부(220)가 도 7과 같이 등장인물들의 인물 면적 크기 그래프의 차 그래프를 생성함에 따라, 해당 그래프를 참조하여 장면의 흐름에 따라 어떤 등장인물의 인물 면적 크기가 큰지 직관적으로 확인할 수 있는 효과 있다.
그리고, 갈등정보 판단부(230)는 인물 면적 그래프 처리부(220)에서 생성한 장면 흐름에 따른 등장인물별 피크점과 비교 그래프를 이용하여 등장인물간 갈등정보를 판단한다.
갈등정보 판단부(230)는 Gi(n)의 피크점에서, 피크점에 해당하는 장면의 클로즈업 발생 빈도가 제1 임계값 이상이고, 피크점에 해당하는 샷에서의 대화량이 해당 샷을 포함하는 장면의 대화량 대비 제2 임계값 이상인 경우 갈등이 발생하여 심화되는 것으로 판단한다.
한 예에서, 제1 임계값은 5이고, 제2 임계값은 70%일 수 있으나, 제1 및 제2 임계값은 실시 변경될 수 있으며 이를 한정하지는 않는다.
이처럼, 갈등정보 판단부(230)는 도 5의 Gi(n)의 피크점에서 클로즈업 발생 빈도와, 피크점 샷에서의 대화량과 피크점을 포함하는 장면의 대화량 대비 비율의 임계값 비교결과에 따라 해당 피크점에서 갈등발생 및 심화여부를 판단하므로, 동영상에 등장하는 등장인물의 갈등정보를 자동으로 추출할 수 있는 효과가 있다.
그리고, 갈등정보 판단부(230)는 비교 그래프 생성부(222)에서 생성한 도 7의 비교 그래프를 참조하여 갈등 주도 방향을 판단판다. 한 예에서, 갈등정보 판단부(230)는 비교 그래프에서 나타나는 두 등장인물의 인물 면적 크기 차이 값이 0이 되는 지점, 즉, 장면 축(가로 축)에 교차하는 지점을 극중 흐름이 어느 한 등장인물에서 다른 등장인물로 전환되는 것으로 판단한다.
한 예에서, 도 7의 그래프의 장면 초반에서는 등장인물 C1이 등장인물 C2가 갖는 인물 면적 크기보다 작은 값을 가지므로 면적 값 차이가 음의 값을 가지지만, 장면 중반에서는 그 값이 0이 되고, 그 이후에는 등장인물 C1이 등장인물 C2가 갖는 인물 면적 크기보다 큰 값을 가지므로 면적 값 차이가 양의 값을 갖는다. 이에 따라, 갈등정보 판단부(230)는 도 7의 그래프로부터 장면 중반에서 갈등 상황 주도 등장인물이 C1에서 C2로 그 주도권이 전환된 것으로 판단한다.
이처럼, 갈등정보 판단부(230)가 비교 그래프를 이용하여 갈등 상황을 주도하는 등장인물을 자동으로 판단하므로, 동영상에 등장하는 등장인물들 간 갈등정보를 자동으로 추출할 수 있는 효과가 있다.
또한, 갈등정보 판단부(230)는 도 5의 그래프를 참조하여, 등장인물들의 인물 면적 그래프가 동반 상승하는 구간을 판단하고, 동반상승 구간의 대화량이 해당 구간을 포함하는 장면들의 대화량 대비 제3 임계값 이상인 경우 갈등이 상승하는 것으로 판단한다.
한 예에서, 제3 임계값은 50%일 수 있으나, 제3 임계값은 실시 변경될 수 있으며 이를 한정하지는 않는다.
이처럼, 갈등정보 판단부(230)가 도 5의 Gi(n)에서 등장인물별 그래프의 동반상승여부와, 동반상승 구간에서의 대화량과 해당 구간을 포함하는 장면들의 대화량 대비 비율의 임계값 비교결과에 따라 갈등 상승 여부를 판단하므로, 동영상에 등장하는 등장인물들 간의 갈등정보를 자동으로 추출할 수 있는 효과가 있다.
이와 같이, 영화 또는 드라마와 같은 동영상에서 등장인물의 인물 면적 크기에 따라 동영상의 등장인물들 간 갈등정보를 자동으로 판단할 수 있어, 동영상의 등장인물간 갈등정보를 신속하고 정확하게 자동 수집할 수 있는 효과가 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
S : 동영상 내 등장인물 갈등정보 추출 장치
100 : 동영상 내 인물면적 추출부 110 : 영상 전처리부
111 : 프레임 추출부 112 : 샷 추출부
113 : 장면 추출부 120 : 인물 면적 처리부
121 : 인물 추출부 122 : 인물 면적 크기 산출부
200 : 갈등정보 추출부 210 : 인물 면적 그래프 생성부
220 : 인물 면적 그래프 처리부 221 : 그래프 피크 추출부
222 : 비교 그래프 생성부 230 : 갈등정보 판단부

Claims (9)

  1. 동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프에서 피크점을 추출하는 그래프 피크 추출부와, 두 등장인물에 대한 상기 장면별 인물 면적 크기 그래프를 차감하여 두 등장인물간 인물 면적 크기 비교 그래프를 생성하는 비교 그래프 생성부를 포함하는 인물 면적 그래프 처리부, 그리고,
    상기 인물 면적 그래프 처리부에서 추출한 피크점과 비교 그래프로부터 상기 동영상에 출연하는 등장인물들의 갈등 발생, 갈등 상승 및 갈등 주도 방향 전환 중 적어도 어느 하나를 판단하는 갈등정보 판단부
    를 포함하여, 상기 동영상의 등장인물의 인물면적 크기 그래프로부터 등장인물간 갈등정보를 추출하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  2. 제1항에 있어서,
    상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 추출한 피크점을 포함하는 장면에서의 클로즈업 발생 빈도를 제1 임계값과 비교하고, 상기 피크점을 포함하는 장면의 대화량을 제2 임계값과 비교하여, 상기 동영상에 출연하는 등장인물의 갈등발생으로 판단하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  3. 제1항에 있어서,
    상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 생성한 비교 그래프가 인물 면적 크기 차이 값이 음의 값과 양의 값 사이에서 교차점을 갖는 경우, 상기 교차점을 기준으로 상기 두 등장인물간 갈등 주도 방향이 전환되는 것으로 판단하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  4. 제1항에 있어서,
    상기 갈등정보 판단부는, 상기 인물 면적 그래프 처리부에서 생성한 장면별 인물 면적 크기 그래프에서 적어도 두 등장인물이 동반 상승하는 경우, 상기 구간의 대화량을 제3 임계값과 비교하여, 해당 구간을 상기 두 등장인물의 갈등상승으로 판단하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  5. 제1항에 있어서,
    동영상에 출연하는 등장인물에 대한 장면별 인물 면적 크기 그래프를 생성하는 인물 면적 그래프 생성부를 더 포함하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  6. 제5항에 있어서,
    상기 인물 면적 그래프 생성부, 상기 인물 면적 그래프 처리부 및 상기 갈등정보 판단부가 갈등정보 추출부로 형성되고,
    동영상 내 인물면적을 추출하여 상기 갈등정보 추출부에 전달하는 동영상 내 인물면적 추출부
    를 더 포함하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  7. 제6항에 있어서,
    상기 동영상 내 인물면적 추출부는,
    동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 영상 전처리부, 그리고
    상기 영상 전처리부에서 추출된 영상에 포함된 등장인물의 인물 면적 크기를 산출하고 이를 누적하는 인물 면적 처리부
    를 포함하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  8. 제7항에 있어서,
    상기 인물 면적 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 면적 크기를 산출하고 이를 프레임 수로 평균내며,
    상기 인물 면적 그래프 생성부는 샷에 대한 등장인물의 인물 면적 크기 평균 값을 인물 면적 그래프로 생성하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.
  9. 제7항에 있어서,
    상기 인물 면적 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 면적 크기를 누적하여 산출하며,
    상기 인물 면적 그래프 생성부는 샷에 대한 등장인물의 인물 면적 크기 누적값을 인물 면적 그래프로 생성하는 것을 특징으로 하는 동영상 내 등장인물 갈등정보 추출 장치.

KR1020180160193A 2018-12-12 2018-12-12 동영상 내 등장인물 갈등정보 추출 장치 KR102179590B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160193A KR102179590B1 (ko) 2018-12-12 2018-12-12 동영상 내 등장인물 갈등정보 추출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160193A KR102179590B1 (ko) 2018-12-12 2018-12-12 동영상 내 등장인물 갈등정보 추출 장치

Publications (2)

Publication Number Publication Date
KR20200072237A true KR20200072237A (ko) 2020-06-22
KR102179590B1 KR102179590B1 (ko) 2020-11-17

Family

ID=71142418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160193A KR102179590B1 (ko) 2018-12-12 2018-12-12 동영상 내 등장인물 갈등정보 추출 장치

Country Status (1)

Country Link
KR (1) KR102179590B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230126391A (ko) * 2022-02-23 2023-08-30 인천대학교 산학협력단 전기 피부 반응을 이용한 드라마와 영화 시청자의 몰입도를 평가하는 몰입 수준 평가 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053889A (ja) * 2010-02-10 2012-03-15 Panasonic Corp 画像評価装置、画像評価方法、プログラム、集積回路
JP2014187687A (ja) * 2013-02-21 2014-10-02 Mitsubishi Electric Corp 動画像のハイライトシーン抽出装置及び方法
KR20150122510A (ko) * 2014-04-23 2015-11-02 엘지전자 주식회사 영상 표시 장치 및 그것의 제어방법
KR20160091672A (ko) * 2015-01-26 2016-08-03 한국기술교육대학교 산학협력단 드라마 등장 인물의 관계 분석 장치
KR101658413B1 (ko) 2009-09-22 2016-09-22 삼성전자주식회사 동영상에서의 인물 정보 추출방법 및 그 장치
KR101898648B1 (ko) * 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658413B1 (ko) 2009-09-22 2016-09-22 삼성전자주식회사 동영상에서의 인물 정보 추출방법 및 그 장치
JP2012053889A (ja) * 2010-02-10 2012-03-15 Panasonic Corp 画像評価装置、画像評価方法、プログラム、集積回路
JP2014187687A (ja) * 2013-02-21 2014-10-02 Mitsubishi Electric Corp 動画像のハイライトシーン抽出装置及び方法
KR20150122510A (ko) * 2014-04-23 2015-11-02 엘지전자 주식회사 영상 표시 장치 및 그것의 제어방법
KR20160091672A (ko) * 2015-01-26 2016-08-03 한국기술교육대학교 산학협력단 드라마 등장 인물의 관계 분석 장치
KR101898648B1 (ko) * 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230126391A (ko) * 2022-02-23 2023-08-30 인천대학교 산학협력단 전기 피부 반응을 이용한 드라마와 영화 시청자의 몰입도를 평가하는 몰입 수준 평가 시스템

Also Published As

Publication number Publication date
KR102179590B1 (ko) 2020-11-17

Similar Documents

Publication Publication Date Title
US10872243B2 (en) Foreground detector for video analytics system
US10373340B2 (en) Background foreground model with dynamic absorption window and incremental update for background model thresholds
CN105809144B (zh) 一种采用动作切分的手势识别系统和方法
JP5675229B2 (ja) 画像処理装置及び画像処理方法
Wang et al. Action recognition with improved trajectories
CN104298982B (zh) 一种文字识别方法及装置
US20090290791A1 (en) Automatic tracking of people and bodies in video
Wimmer et al. Low-level fusion of audio and video feature for multi-modal emotion recognition
JP2011134114A (ja) パターン認識方法およびパターン認識装置
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
CN104794446B (zh) 基于合成描述子的人体动作识别方法及系统
GB2605723A (en) Video segmentation based on weighted knowledge graph
CN108898042B (zh) 一种应用于atm机舱内用户异常行为的检测方法
US9508010B2 (en) Apparatus for video to text conversion using video analysis
Putro et al. Adult image classifiers based on face detection using Viola-Jones method
CN112818728B (zh) 年龄识别的方法及相关产品
KR20200072237A (ko) 동영상 내 등장인물 갈등정보 추출 장치
KR102179591B1 (ko) 동영상 내 인물 영역 추출 장치
KR20140134549A (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
Chang et al. Multi-level smile intensity measuring based on mouth-corner features for happiness detection
Dong et al. Image-based fraud detection in automatic teller machine
Paul et al. Extraction of facial feature points using cumulative distribution function by varying single threshold group
JPH08153187A (ja) 画像認識方法
JP2002008042A (ja) 動作認識処理装置及び移動物体の動作分析システム
Zhang et al. You Talkin'to Me? Recognizing Complex Human Interactions in Unconstrained Videos

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181212

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191031

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200429

PG1501 Laying open of application
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20201110

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20201111

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230921

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee