KR102179591B1 - 동영상 내 인물 영역 추출 장치 - Google Patents

동영상 내 인물 영역 추출 장치 Download PDF

Info

Publication number
KR102179591B1
KR102179591B1 KR1020180160194A KR20180160194A KR102179591B1 KR 102179591 B1 KR102179591 B1 KR 102179591B1 KR 1020180160194 A KR1020180160194 A KR 1020180160194A KR 20180160194 A KR20180160194 A KR 20180160194A KR 102179591 B1 KR102179591 B1 KR 102179591B1
Authority
KR
South Korea
Prior art keywords
person
size
graph
person region
character
Prior art date
Application number
KR1020180160194A
Other languages
English (en)
Other versions
KR20200072238A (ko
Inventor
박승보
유은순
강수환
김영훈
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020180160194A priority Critical patent/KR102179591B1/ko
Publication of KR20200072238A publication Critical patent/KR20200072238A/ko
Application granted granted Critical
Publication of KR102179591B1 publication Critical patent/KR102179591B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 동영상 내 인물 영역 추출 장치에 관한 것으로, 동영상에 출연하는 등장인물의 인물 영역 크기를 추출하는 인물 영역 크기 산출부, 상기 인물 영역 크기 산출부에서 추출한 등장인물별 인물 영역 크기를 동영상의 샷들에 대한 인물 영역 크기 그래프로 생성하는 인물 영역 크기 그래프 생성부를 포함하여, 상기 인물 영역 크기 그래프를 동영상에서 비중 있는 등장인물을 판단하는 정보로 제공한다. 이로 인해, 동영상에 등장하는 인물이 동영상에서 차지하는 면적을 인물 영역으로서 추출하고, 이를 그래프로 생성하여 동영상 내 등장인물의 중요도를 자동으로 판단할 수 있게 되어, 영화 또는 드라마와 같은 동영상을 신속 정확하게 분석할 수 있는 효과가 있다.

Description

동영상 내 인물 영역 추출 장치{APPARATUS OF CHARACTER AREA EXTRACTION IN VIDEO}
본 발명은 동영상 내 인물 영역 추출 장치에 관한 것으로, 좀더 자세하게는 영화 또는 드라마와 같은 동영상에 출연하는 등장인물이 차지하는 영상 내 면적을 추출하는 장치에 관한 것이다.
영화나 드라마와 같이 다수의 등장인물이 출연하는 동영상 미디어에서 등장인물을 자동으로 추출하고, 주연 등장인물 또는 조연 등장인물을 구분하는 기술이 연구 및 개발되고 있다.
그러나, 단순히 인물의 등장횟수 등을 이용하여 등장인물로 판단하고 주연 또는 조연 등장인물 등으로 추출하는 것은, 동영상 내에서 등장인물이 차지하는 면적의 크기와 관계없이 수행되고 있어, 실질적으로 등장인물이 동영상 내 차지하는 중요도를 판단하는 데 직접적인 요소인 인물 영역을 이용하여 동영상 내에서 등장인물을 추출하는 방법의 개발이 필요한 실정이다.
대한민국 등록특허공보 제10-1658413(동영상에서의 인물 정보 추출방법 및 그 장치)
본 발명이 이루고자 하는 기술적 과제는 동영상 내 등장인물이 갖는 크기를 인물 영역으로 추출하고, 이를 각 등장인물별로 구분하여 등장인물들의 중요도 등을 자동으로 판단함으로써 동영상의 처리 효율 및 정확성을 향상하기 위한 것이다.
본 발명의 일 실시예에 따른 동영상 내 인물 영역 추출 장치는 동영상에 출연하는 등장인물의 인물 영역 크기를 추출하는 인물 영역 크기 산출부, 그리고, 상기 인물 영역 크기 산출부에서 추출한 등장인물별 인물 영역 크기를 동영상의 샷들에 대한 인물 영역 크기 그래프로 생성하는 인물 영역 크기 그래프 생성부를 포함하여, 상기 인물 영역 크기 그래프를 동영상에서 비중 있는 등장인물을 판단하는 정보로 제공한다.
상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 누적하며, 상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 누적 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 한다.
상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 프레임 수로 평균내며, 상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 평균 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 한다.
상기 인물 영역 크기 그래프 생성부가 적어도 두 등장인물에 대해 생성한 인물 영역 크기 그래프 중 하나의 그래프에서 다른 하나의 그래프를 차감하여 인물 영역 크기 비교 그래프로서 생성하는 인물 영역 크기 그래프 비교부를 더 포함하는 것을 특징으로 한다.
상기 인물 영역 크기 그래프 비교부는 하기의 식으로부터 상기 인물 영역 크기 비교 그래프를 생성하는 것을 특징으로 한다.
[식]
Figure 112018124847188-pat00001
(Gi(n)은 i번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프이고, Gj(n)은 j번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프임.)
상기 인물 영역 크기 그래프 비교부에서 생성한 인물 영역 크기 비교 그래프에서 인물 영역 크기의 차이 값이 0이 되는 장면을 등장인물의 중요도가 전환되는 것으로 판단하는 인물 영역 크기 그래프 판단부를 더 포함하는 것을 특징으로 한다.
상기 인물 영역 크기 그래프 판단부는 상기 인물 영역 크기 그래프 생성부에서 생성한 인물 영역 크기 그래프로부터 인물 영역이 큰 등장인물을 동영상에서 비중 있는 등장인물로 판단하는 것을 특징으로 한다.
상기 동영상을 프레임, 적어도 하나의 상기 프레임이 모인 샷, 적어도 하나의 상기 샷이 모인 장면으로 각각 추출하는 영상 전처리부를 더 포함하고, 상기 인물 영역 크기 산출부에 상기 영상 전처리부로부터 상기 프레임을 전달받아 등장인물의 인물 영역 크기를 추출하는 것을 특징으로 한다.
이러한 특징에 따르면, 본원 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치는 동영상에 등장하는 인물이 동영상에서 차지하는 면적을 인물 영역으로서 추출하고, 이를 그래프로 생성하여 동영상 내 등장인물의 중요도를 자동으로 판단할 수 있게 되어, 영화 또는 드라마와 같은 동영상을 신속 정확하게 분석할 수 있는 효과가 있다.
도 1은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치의 개략적인 구조를 나타낸 블록도이다.
도 2는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 프레임의 등장 인물에 대한 인물 영역을 추출하는 예시를 나타낸 도면이다.
도 3은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 등장인물별 인물 영역 크기를 장면별 숏에 대해 생성한 그래프이다.
도 4는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 장면별 등장인물별 인물 영역 크기를 하나의 그래프 상에 나타낸 도면이다.
도 5는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 생성하는 두 등장인물간 인물 영역 크기 비교 그래프이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치의 개략적인 구조를 나타낸 블록도이고, 도 2는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 프레임의 등장 인물에 대한 인물 영역을 추출하는 예시를 나타낸 도면이고, 도 3은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 등장인물별 인물 영역 크기를 장면별 숏에 대해 생성한 그래프이고, 도 4는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 장면별 등장인물별 인물 영역 크기를 하나의 그래프 상에 나타낸 도면이고, 도 5는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 생성하는 두 등장인물간 인물 영역 크기 비교 그래프이다.
본 실시예에서, 동영상 내 인물 영역 추출 장치(S)는 영상 전처리부(100), 인물 영역 처리부(200) 및 인물 영역 크기 그래프 처리부(300)를 포함하는 처리장치로서, 컴퓨터에 장착될 수 있는 프로세서 형태로 구현될 수 있다.
영상 전처리부(100)는 동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 부분으로서, 외부로부터 동영상을 처리 대상 동영상으로서 입력받을 수 있다.
프레임 추출부(110)는 처리 대상 동영상을 프레임 단위로 추출하여 이미지를 생성한다. 한 예에서, 영상 전처리부(100)에 입력된 처리 대상 동영상이 60프레임의 동영상인 경우, 프레임 추출부(110)는 처리 대상 동영상의 1초 구간을 60개의 프레임으로 각각 추출하도록 처리한다.
샷 추출부(120)는 처리 대상 동영상에서 샷(Shot)을 추출하는데, 이때, 프레임 추출부(110)에서 추출된 연속하는 프레임들로부터 페이드 인/페이드 아웃과 같이 구분되는 부분을 통해 샷이 구분된다.
예로써, 1초 내지 10분의 동영상에서 3분 시점에서 페이드 인/페이드 아웃을 통한 샷 전환이 있을 때, 샷 추출부(120)는 프레임 추출부(110)에서 3분 시점에 형성된 복수 개의 프레임을 참고하여 해당 시점에 샷 전환이 발생한 것을 감지하여, 3분 이전과 3분 이후를 서로 다른 샷으로 추출한다.
이때, 샷 추출부(120)는 추출된 샷들에 일련번호를 부여할 수 있다.
장면 추출부(130)는 샷 추출부(120)에서 추출한 일련의 샷들을 바탕으로, 서로 다른 장면(Scene)을 추출한다. 한 예에서, 한 샷에서 제1 등장인물이 출연하고, 연속하는 다른 샷에서 제2 등장인물이 출연하나 두 샷에서 나타나는 배경은 동일한 경우, 장면 추출부(130)는 해당 두 샷을 하나의 장면으로 추출한다.
장면 추출부(130)는 연속하는 샷 간의 배경 유사도를 판단하여 장면을 추출할 수 있고, 추출된 장면들에 일련번호를 부여할 수 있다.
한 예에서, 장면 추출부(130)는 샷들 간 장면으로 구분되는 지점을 선택신호 또는 입력신호로서 입력받을 수 있고, 선택신호 또는 입력신호의 구분지점을 기준으로 장면을 추출하여 일련번호를 부여할 수 있다.
인물 영역 처리부(200)는 인물 추출부(210)와 인물 영역 크기 산출부(220)를 포함하는데, 인물 추출부(210)는 처리 대상 동영상에서 인물을 추출한다. 이때, 인물 추출부(210)는 영상 전처리부(100)에서 장면, 샷 및 프레임으로 추출된 영상에서 인물을 추출하며, 이미지에서 인물을 자동으로 감지 및 추출하는 내용은 공지기술이므로 본 명세서에서는 이를 자세하게 설명하지 않으며, 당업자의 수준에서 이해되어야 할 것이다.
이때, 인물추출부(210)는 추출된 인물들을 구분하고, 구분된 인물들에 대해 일련번호를 부여할 수 있다.
인물 영역 크기 산출부(220)는 인물 추출부(210)에서 인물이 추출된 프레임에서 인물 영역 크기를 산출한다. 인물 영역 크기 산출부(220)는 도 2의 (a)에 도시한 것처럼, 하나의 프레임에 등장한 인물의 영역을 등장인물의 얼굴 윤곽선을 따라 추출하거나 또는 등장인물의 눈, 코, 입, 눈썹을 포함하는 사각형태로 추출할 수 있다.
인물 영역 크기 산출부(220)는 도 2의 (b)에 도시한 것처럼, 하나의 프레임에 등장한 복수의 인물의 영역을 각각 추출한다.
인물 영역 크기 산출부(220)는 도 2와 같이 추출된 인물 영역의 크기를 산출하는 부분으로서, 다음의 식 1을 이용하여 시간, 즉, 프레임에 대한 인물 영역의 크기를 산출한다.
[식 1]
Figure 112018124847188-pat00002
위의 식 1에서, Ci는 i번째 등장인물, t는 시간(프레임)이고, Area()는 크기를 산출하는 함수로서, Area(Ci, t)는 t번째 시간(프레임)에서 Ci 등장인물의 인물 영역 크기이다.
인물 영역 크기 산출부(220)는 다음의 식 2를 이용하여 샷에 대한 인물 영역의 크기를 산출하는데, 이때, 한 샷에 포함되는 프레임들에서 각각 산출되는 인물 영역 크기를 참조하여 샷에 대한 인물 영역 크기를 산출한다.
한 예에서, 인물 영역 크기 산출부(220)는 샷에 포함된 프레임에서 산출된 인물 영역 크기를 누적, 즉, 합산하여 샷에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.
다른 한 예에서, 인물 영역 크기 산출부(220)는 샷에 포함된 프레임에서 산출된 인물 영역 크기를 샷을 구성하는 프레임 수로 나누어, 즉, 평균내여 샷에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.
[식 2]
Figure 112018124847188-pat00003
위의 식 2에서, SHj는 j번째 샷이고, Area(Ci, SHj)는 j번째 샷에서 Ci 등장인물의 인물 영역 크기의 누적값 또는 평균값이다.
인물 영역 크기 산출부(220)는 다음의 식 3을 이용하여 장면에 대한 인물 영역의 크기를 산출하는데, 이때, 한 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 참조하여 장면에 대한 인물 영역 크기를 산출한다.
한 예에서, 인물 영역 크기 산출부(220)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 누적, 즉, 합산하여 장면에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.
다른 한 예에서, 인물 영역 크기 산출부(220)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 장면을 구성하는 샷 수로 나누어, 즉, 평균내여 장면에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.
[식 3]
Figure 112018124847188-pat00004
위의 식 3에서, SCk는 k번째 장면이고, Area(Ci, SCk)는 k번째 장면에서 Ci 등장인물의 인물 영역 크기의 누적값 또는 평균값이다.
이처럼, 인물 영역 크기 산출부(220)가 등장인물의 인물 영역 크기를 프레임, 샷, 장면 단위로 산출하므로, 프레임, 샷, 장면에서 등장인물의 인물 영역 크기를 비교하여 등장인물의 중요도를 판단하는 데 이를 이용할 수 있다.
인물 영역 크기 그래프 처리부(300)는 인물 영역 크기 그래프 생성부(310), 인물 영역 크기 그래프 비교부(320) 및 인물 영역 크기 그래프 판단부(330)를 포함하여 구성되는데, 인물 영역 크기 그래프 생성부(310)는 인물 영역 처리부(200)의 인물 영역 크기 산출부(220)에서 샷 단위로 생성한 인물 영역 크기를 각 등장인물에 대해 도 3과 같이 그래프로 도시한다.
인물 영역 크기 그래프 생성부(310)는 도 3의 (a)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 영역 누적 크기의 그래프를 생성한다.
이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 영역 크기를 누적한 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 프레임에서 얼굴 영역 크기가 작게 등장하지만 복수의 프레임에 자주 등장하는 경우 해당 등장인물이 영화 또는 드라마 내에서 높은 중요도를 갖는 것을 그래프 상에 도시할 수 있고, 그래프 결과를 참조하여 등장인물의 중요도 판단에 해석할 수 있는 효과가 있다.
또는, 인물 영역 크기 그래프 생성부(310)는 도 3의 (b)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 영역 평균 크기의 그래프를 생성한다.
이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 영역 크기를 프레임 개수로 평균낸 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 단 1회의 샷 또는 프레임에서 큰 얼굴 영역 크기를 갖도록 등장하였지만 다른 프레임 또는 샷에서는 전혀 등장하지 않는 1회성 등장인 등장인물인 경우, 인물 영역 크기를 프레임 수로 나누어 해당 등장인물의 인물 영역 크기가 극중 중요도와는 다르게 크게 나타날 수 있는 노이즈를 상쇄할 수 있는 효과가 있다.
그리고 이때, 인물 영역 크기 그래프 생성부(310)는 여러 등장인물들의 인물 영역 크기를 도 4에 도시한 것처럼 하나의 장면에 따른 인물 영역 크기 그래프로 도시하고, 샷 평균 또는 샷 누적 인물 영역 크기일 수 있으며 이를 한정하지는 않는다.
도 4의 그래프에서, G(n)은 Area(Ci,n)으로, 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프이다.
인물 영역 크기 그래프 생성부(310)가 도 4에 도시한 것처럼 여러 등장인물들의 장면별 인물 영역 크기를 하나의 그래프에 도시함에 따라, 등장인물들 중 동영상에서 중요도를 갖는 등장인물을 용이하게 구분할 수 있는 효과가 있다.
인물 영역 크기 그래프 비교부(320)는 인물 영역 크기 그래프 생성부(310)에서 생성한 적어도 두 등장인물에 대한 인물 영역 크기 그래프 중, 하나의 등장인물에 대한 인물 영역 크기 그래프에서 다른 하나의 등장인물에 대한 인물 영역 크기 그래프를 차감하여 도 5와 같이 두 등장인물간 인물 영역 크기 비교 그래프로서 생성한다.
이때, 도 5에서, G'(n)은 두 개의 G(n)을 차감하여 생성한 그래프로서, 다음의 식 4로 표현될 수 있다.
[식 4]
Figure 112018124847188-pat00005
위의 식 4에서, Gi(n)은 i번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프이고, Gj(n)은 j번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프이다.
인물 영역 크기 그래프 비교부(320)가 도 5와 같이 등장인물들의 인물 영역 크기 그래프의 차 그래프를 생성함에 따라, 해당 그래프를 참조하여 장면의 흐름에 따라 어떤 등장인물의 인물 영역 크기가 큰지 직관적으로 확인할 수 있는 효과 있다.
인물 영역 크기 그래프 판단부(330)는 인물 영역 크기 그래프 비교부(320)에서 생성한 도 4의 그래프로부터, 동영상에서 출연하는 등장인물을 높은 비중을 갖는 순서대로 판단할 수 있고, 도 5의 그래프에서 두 등장인물의 인물 영역 크기 차이 값이 0이 되는 지점을 극중 흐름이 어느 한 등장인물에서 다른 등장인물로 전환되는 것으로 판단한다.
한 예에서, 도 5의 그래프의 장면 초반에서는 등장인물 C1이 등장인물 C2가 갖는 인물 영역 크기보다 작은 값을 가지므로 면적 값의 차이가 음의 값을 가지지만, 장면 중반에서는 그 값이 0이 되고, 그 이후에는 등장인물 C1이 등장인물 C2가 갖는 인물 영역 크기보다 큰 값을 가지므로 면적 값이 양의 값을 갖는다. 이에 따라, 인물 영역 크기 그래프 판단부(330)는 도 5의 그래프로부터 장면 초반에는 등장인물 C2가 극중 중요도가 높으나 중반부터는 등장인물 C1의 중요도가 높아지는 것으로 판단한다.
또는, 인물 영역 크기 그래프 판단부(330)는 인물 영역 크기 그래프 생성부(310)에서 생성한 도 4의 그래프로부터 큰 면적 값을 갖는 등장인물을 동영상에서 비중이 큰 것으로 판단한다.
이와 같이, 영화 또는 드라마와 같은 동영상에서 등장인물의 인물 영역 크기를 판단함으로부터 동영상의 등장인물의 중요도를 자동으로 판단할 수 있어, 동영상의 등장인물 상세정보를 신속하고 정확하게 자동 수집할 수 있는 효과가 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
S : 동영상 내 인물 영역 추출 장치 100 : 영상 전처리부
110 : 프레임 추출부 120 : 샷 추출부
130 : 장면 추출부 200 : 인물 영역 처리부
210 : 인물 추출부 220 : 인물 영역 크기 산출부
300 : 인물 영역 크기 그래프 처리부
310 : 인물 영역 크기 그래프 생성부
320 : 인물 영역 크기 그래프 비교부
330 : 인물 영역 크기 그래프 판단부

Claims (8)

  1. 동영상에 출연하는 등장인물의 인물 영역 크기를 추출하는 인물 영역 크기 산출부; 및
    상기 인물 영역 크기 산출부에서 추출한 등장인물별 인물 영역 크기를 동영상의 샷들에 대한 인물 영역 크기 그래프로 생성하는 인물 영역 크기 그래프 생성부를
    포함하여 상기 인물 영역 크기 그래프를 동영상에서 비중 있는 등장인물을 판단하는 정보로 제공하되,
    상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 누적하며,
    상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 누적 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 프레임 수로 평균내며,
    상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 평균 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
  4. 제1항에 있어서,
    상기 인물 영역 크기 그래프 생성부가 적어도 두 등장인물에 대해 생성한 인물 영역 크기 그래프 중 하나의 그래프에서 다른 하나의 그래프를 차감하여 인물 영역 크기 비교 그래프로서 생성하는 인물 영역 크기 그래프 비교부를 더 포함하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
  5. 제4항에 있어서,
    상기 인물 영역 크기 그래프 비교부는 하기의 식으로부터 상기 인물 영역 크기 비교 그래프를 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
    [식]
    Figure 112018124847188-pat00006

    (Gi(n)은 i번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프이고, Gj(n)은 j번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프임.)
  6. 제1항에 있어서,
    상기 인물 영역 크기 그래프 비교부에서 생성한 인물 영역 크기 비교 그래프에서 인물 영역 크기의 차이 값이 0이 되는 장면을 등장인물의 중요도가 전환되는 것으로 판단하는 인물 영역 크기 그래프 판단부를 더 포함하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
  7. 제6항에 있어서,
    상기 인물 영역 크기 그래프 판단부는 상기 인물 영역 크기 그래프 생성부에서 생성한 인물 영역 크기 그래프로부터 인물 영역이 큰 등장인물을 동영상에서 비중 있는 등장인물로 판단하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
  8. 제1항에 있어서,
    상기 동영상을 프레임, 적어도 하나의 상기 프레임이 모인 샷, 적어도 하나의 상기 샷이 모인 장면으로 각각 추출하는 영상 전처리부를 더 포함하고,
    상기 인물 영역 크기 산출부에 상기 영상 전처리부로부터 상기 프레임을 전달받아 등장인물의 인물 영역 크기를 추출하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.

KR1020180160194A 2018-12-12 2018-12-12 동영상 내 인물 영역 추출 장치 KR102179591B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160194A KR102179591B1 (ko) 2018-12-12 2018-12-12 동영상 내 인물 영역 추출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160194A KR102179591B1 (ko) 2018-12-12 2018-12-12 동영상 내 인물 영역 추출 장치

Publications (2)

Publication Number Publication Date
KR20200072238A KR20200072238A (ko) 2020-06-22
KR102179591B1 true KR102179591B1 (ko) 2020-11-17

Family

ID=71142515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160194A KR102179591B1 (ko) 2018-12-12 2018-12-12 동영상 내 인물 영역 추출 장치

Country Status (1)

Country Link
KR (1) KR102179591B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476815B1 (ko) 2022-09-21 2022-12-12 (주)슬레이트미디어 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053889A (ja) * 2010-02-10 2012-03-15 Panasonic Corp 画像評価装置、画像評価方法、プログラム、集積回路
WO2012111275A1 (ja) 2011-02-17 2012-08-23 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
JP2014139734A (ja) 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
JP2014187687A (ja) 2013-02-21 2014-10-02 Mitsubishi Electric Corp 動画像のハイライトシーン抽出装置及び方法
JP2015172795A (ja) 2014-03-11 2015-10-01 富士フイルム株式会社 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
KR101898648B1 (ko) 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658413B1 (ko) 2009-09-22 2016-09-22 삼성전자주식회사 동영상에서의 인물 정보 추출방법 및 그 장치
KR20150122510A (ko) * 2014-04-23 2015-11-02 엘지전자 주식회사 영상 표시 장치 및 그것의 제어방법
KR20160091672A (ko) * 2015-01-26 2016-08-03 한국기술교육대학교 산학협력단 드라마 등장 인물의 관계 분석 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053889A (ja) * 2010-02-10 2012-03-15 Panasonic Corp 画像評価装置、画像評価方法、プログラム、集積回路
WO2012111275A1 (ja) 2011-02-17 2012-08-23 パナソニック株式会社 画像評価装置、画像評価方法、プログラム、集積回路
JP2014139734A (ja) 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム
JP2014187687A (ja) 2013-02-21 2014-10-02 Mitsubishi Electric Corp 動画像のハイライトシーン抽出装置及び方法
JP2015172795A (ja) 2014-03-11 2015-10-01 富士フイルム株式会社 画像処理装置、重要人物判定方法、画像レイアウト方法ならびにプログラムおよび記録媒体
KR101898648B1 (ko) 2018-01-02 2018-09-13 단국대학교 산학협력단 영상 등장 인물들 사이의 상호 작용 그룹 탐지를 위한 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476815B1 (ko) 2022-09-21 2022-12-12 (주)슬레이트미디어 인공지능 기반 스톡 이미지 자동 추출 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR20200072238A (ko) 2020-06-22

Similar Documents

Publication Publication Date Title
AU2022252799B2 (en) System and method for appearance search
US20210020171A1 (en) Digital Video Fingerprinting Using Motion Segmentation
Wang et al. Action recognition with improved trajectories
KR101731771B1 (ko) 버스트 포토 캡처된 세트로부터 키퍼 이미지의 자동 선택
KR100804678B1 (ko) 비디오 인물별 신 분류 방법 및 그 시스템
EP3189469B1 (en) A method for selecting frames from video sequences based on incremental improvement
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
KR100717402B1 (ko) 멀티미디어 데이터의 장르를 판단하는 장치 및 방법
Wang et al. Affection arousal based highlight extraction for soccer video
Khorrami et al. Multiple animal species detection using robust principal component analysis and large displacement optical flow
GB2605723A (en) Video segmentation based on weighted knowledge graph
KR102179591B1 (ko) 동영상 내 인물 영역 추출 장치
EP3324308A1 (en) Retrieving apparatus, display device and retrieiving method
Carbonneau et al. Real-time visual play-break detection in sport events using a context descriptor
KR102277929B1 (ko) 얼굴 인식에 기반한 실시간 얼굴 마스킹 시스템 및 이를 이용한 실시간 얼굴 마스킹 방법
KR102179590B1 (ko) 동영상 내 등장인물 갈등정보 추출 장치
Tang et al. Fast background subtraction using improved GMM and graph cut
Zhang et al. You Talkin'to Me? Recognizing Complex Human Interactions in Unconstrained Videos
Edison et al. Hsga: A novel acceleration descriptor for human action recognition
JP5546419B2 (ja) 対象領域抽出装置
Strat et al. Bags of Trajectory Words for video indexing
KR20150057475A (ko) 유해 동영상 검출 장치 및 방법
KR20190072875A (ko) 동영상에서의 장소 추출 방법 및 장소 추출 시스템
Tănase et al. Introducing motion information in dense feature classifiers
KR101068674B1 (ko) 오류 시드 제거 방법, 전경 물체 구분 방법과 이를 이용하는 시스템 및 기록 매체

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant