KR20190005651A - 장면전환 검출 장치 및 방법 - Google Patents

장면전환 검출 장치 및 방법 Download PDF

Info

Publication number
KR20190005651A
KR20190005651A KR1020170086646A KR20170086646A KR20190005651A KR 20190005651 A KR20190005651 A KR 20190005651A KR 1020170086646 A KR1020170086646 A KR 1020170086646A KR 20170086646 A KR20170086646 A KR 20170086646A KR 20190005651 A KR20190005651 A KR 20190005651A
Authority
KR
South Korea
Prior art keywords
frame
scene change
psnr
selecting
frames
Prior art date
Application number
KR1020170086646A
Other languages
English (en)
Other versions
KR102235386B1 (ko
Inventor
김명훈
박시명
장현주
조민범
박경호
임진욱
임재령
한송이
김동혁
Original Assignee
삼성에스디에스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성에스디에스 주식회사 filed Critical 삼성에스디에스 주식회사
Priority to KR1020170086646A priority Critical patent/KR102235386B1/ko
Publication of KR20190005651A publication Critical patent/KR20190005651A/ko
Application granted granted Critical
Publication of KR102235386B1 publication Critical patent/KR102235386B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

장면전환 검출 장치 및 방법이 제공된다. 본 발명의 일 실시예에 따른 장면전환 검출 장치는, 복수의 프레임으로 구성되는 영상의 장면전환 프레임을 검출하는 장치에 있어서, n번째 프레임(여기서, n은 2 이상의 자연수)과 (n-1)번째 프레임을 비교하여, 상기 n번째 프레임에 대한 PSNR(Peak Signal to Noise Ratio) 값을 측정하는 PSNR 측정부, 상기 PSNR 값이 설정된 PSNR 기준치 미만인 경우, 상기 n번째 프레임을 장면전환 후보 프레임으로 선정하는 장면전환 후보 프레임 선정부, 및 상기 장면전환 후보 프레임 중 적어도 하나의 프레임을 상기 장면전환 프레임으로 선정하는 장면전환 프레임 선정부를 포함한다.

Description

장면전환 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING SCENE CHANGE}
본 발명의 실시예들은 장면전환 검출 장치 및 방법과 관련된다.
일반적으로 장면전환이란 연속되는 영상의 한 장면이 끝난 후, 다른 장면으로 영상이 다시 시작되는 것을 의미한다. 이러한 장면전환 시점은, 영상 분할, 중간 광고 삽입, 영상 압축 등 여러 관점에서 중요한 의미를 가지고 있다.
종래에는, 전체 영상을 N등분하거나, 사운드 분석을 이용하여 음성이 존재하지 않는 부분을 장면전환 시점으로 검출하거나, 사용자에 의해 수동으로 장면전환 시점을 검출하는 방법들이 사용되었다. 그러나, 이러한 방법들은, 영상의 내용과 관계없는 장면전환 시점이 검출되거나, 많은 양의 영상에 적용하는 데 한계가 있다.
한국등록특허공보 제10-1667011호 (2016.10.11.)
본 발명의 실시예들은 장면전환 검출 장치 및 방법을 제공하기 위한 것이다.
본 발명의 일 실시예에 따른 장면전환 검출 장치는 복수의 프레임으로 구성되는 영상의 장면전환 프레임을 검출하는 장치에 있어서, n번째 프레임(여기서, n은 2 이상의 자연수)과 (n-1)번째 프레임을 비교하여, 상기 n번째 프레임에 대한 PSNR(Peak Signal to Noise Ratio) 값을 측정하는 PSNR 측정부, 상기 PSNR 값이 설정된 PSNR 기준치 미만인 경우, 상기 n번째 프레임을 장면전환 후보 프레임으로 선정하는 장면전환 후보 프레임 선정부, 및 상기 장면전환 후보 프레임 중 적어도 하나의 프레임을 상기 장면전환 프레임으로 선정하는 장면전환 프레임 선정부를 포함한다.
본 발명의 일 실시예에 따른 장면전환 검출 장치는 상기 복수의 프레임 각각에 포함되는 설정된 에지 검출 영역 내의 에지의 개수를 측정하는 에지 개수 측정부, 및 상기 n번째 프레임에서 측정된 에지의 개수와 상기 (n-1)번째 프레임에서 측정된 에지의 개수를 비교하여, 상기 복수의 프레임 중 적어도 하나의 프레임을 에지 개수 변경 프레임으로 선정하는 에지 개수 변경 프레임 선정부를 더 포함하고, 상기 장면전환 프레임 선정부는, 상기 후보 프레임 중 상기 에지 개수 변경 프레임과 가장 인접한 프레임을 상기 장면전환 프레임으로 선정할 수 있다.
상기 에지 개수 변경 프레임 선정부는, 상기 (n-1)번째 프레임에서 측정된 에지의 개수와 상기 n번째 프레임에서 측정된 에지의 개수에 대한 비율이 설정된 기준치를 초과하는 경우, 상기 n번째 프레임을 상기 에지 개수 변경 프레임으로 선정할 수 있다.
본 발명의 일 실시예에 따른 장면전환 검출 장치는 상기 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각에 포함되는 설정된 문자 판독 영역 내의 문자를 판독하는 문자 판독부, 및 상기 m번째 프레임에서 판독된 문자와 상기 (m-1)번째 프레임에서 판독된 문자 사이의 유사도를 판단하는 문자 유사도 판단부를 더 포함하고, 상기 장면전환 프레임 선정부는, 상기 유사도에 기반하여 상기 장면전환 프레임을 선정할 수 있다.
본 발명의 일 실시예에 따른 장면전환 검출 장치는 상기 영상에 포함된 사운드에 기반하여 상기 PSNR 값을 측정할 PSNR 측정 구간을 판단하는 PSNR 측정 구간 판단부를 더 포함하고, 상기 n번째 프레임은, 상기 PSNR 측정 구간에 포함되는 프레임 중 어느 하나일 수 있다.
상기 PSNR 측정 구간 판단부는, 상기 사운드의 크기가 기준 범위 내에서 설정된 시간 이상으로 지속되는 경우, 상기 사운드의 크기가 상기 기준 범위 내에서 지속되는 구간을 상기 PSNR 측정 구간으로 판단할 수 있다.
상기 PSNR 측정 구간 판단부는, 상기 PSNR 측정 구간의 개수에 따라 상기 기준 범위를 조절할 수 있다.
상기 PSNR 측정 구간 판단부는, 상기 사운드에 관한 스펙트럼 데이터를 생성하고, 상기 스펙트럼 데이터의 패턴을 분석하여 상기 패턴이 반복되는 구간을 상기 PSNR 측정 구간으로 판단할 수 있다.
본 발명의 일 실시예에 따른 장면전환 검출 장치는 상기 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각의 색상, 명도 및 채도 데이터를 추출하여 상기 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출하는 히스토그램 추출부 및 상기 m번째 프레임에서 추출된 히스토그램과 상기 (m-1)번째 프레임에서 추출된 히스토그램 사이의 유사도를 판단하는 히스토그램 유사도 판단부를 더 포함하고, 상기 장면전환 프레임 선정부는, 상기 유사도에 기반하여 상기 장면전환 프레임을 선정할 수 있다.
본 발명의 일 실시예에 따른 장면전환 검출 장치는 상기 장면전환 후보 프레임 각각에 대해 얼굴 영역이 존재하는지의 여부를 판단하는 얼굴 존부 판단부를 더 포함하고, 상기 장면전환 프레임 선정부는, 상기 얼굴 영역의 존재 여부에 따라 상기 장면전환 프레임을 선정할 수 있다.
본 발명의 일 실시예에 따른 장면전환 검출 장치는 상기 장면전환 후보 프레임 각각에 포함된 픽셀의 색상 정보를 이용하여 피부 영역을 검출하는 피부 검출부, 및 상기 장면전환 후보 프레임 각각에 대해 상기 장면전환 후보 프레임의 전체 영역에 대한 상기 피부 영역의 비율을 산출하는 피부 비율 산출부를 더 포함하고, 상기 장면전환 프레임 선정부는, 상기 비율에 기반하여 상기 장면전환 프레임을 선정할 수 있다.
본 발명의 일 실시예 따른 장면전환 검출 방법은 복수의 프레임으로 구성되는 영상의 장면전환 프레임을 검출하는 방법에 있어서, n번째 프레임(여기서, n은 2 이상의 자연수)과 (n-1)번째 프레임을 비교하여, 상기 n번째 프레임에 대한 PSNR(Peak Signal to Noise Ratio) 값을 측정하는 단계, 상기 PSNR 값이 설정된 PSNR 기준치 미만인 경우, 상기 n번째 프레임을 장면전환 후보 프레임으로 선정하는 단계, 및 상기 장면전환 후보 프레임 중 적어도 하나의 프레임을 상기 장면전환 프레임으로 선정하는 단계를 포함한다.
본 발명의 일 실시예 따른 장면전환 검출 방법은 상기 장면전환 프레임으로 선정하는 단계 전에, 상기 복수의 프레임 각각에 포함되는 설정된 에지 검출 영역 내의 에지의 개수를 측정하는 단계, 및 상기 n번째 프레임에서 측정된 에지의 개수와 상기 (n-1)번째 프레임에서 측정된 에지의 개수를 비교하여, 상기 복수의 프레임 중 적어도 하나의 프레임을 에지 개수 변경 프레임으로 선정하는 단계를 더 포함하고, 상기 장면전환 프레임으로 선정하는 단계는, 상기 후보 프레임 중 상기 에지 개수 변경 프레임과 가장 인접한 프레임을 상기 장면전환 프레임으로 선정할 수 있다.
상기 에지 개수 변경 프레임으로 선정하는 단계는, 상기 (n-1)번째 프레임에서 측정된 에지의 개수와 상기 n번째 프레임에서 측정된 에지의 개수에 대한 비율이 설정된 기준치를 초과하는 경우, 상기 n번째 프레임을 상기 에지 개수 변경 프레임으로 선정할 수 있다.
본 발명의 일 실시예 따른 장면전환 검출 방법은 상기 장면전환 프레임으로 선정하는 단계 전에, 상기 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각에 포함되는 설정된 문자 판독 영역 내의 문자를 판독하는 단계 및 상기 m번째 프레임에서 판독된 문자와 상기 (m-1)번째 프레임에서 판독된 문자 사이의 유사도를 판단하는 단계를 더 포함하고, 상기 장면전환 프레임으로 선정하는 단계는, 상기 유사도에 기반하여 상기 장면전환 프레임을 선정할 수 있다.
본 발명의 일 실시예 따른 장면전환 검출 방법은 상기 PSNR 값을 측정하는 단계 전에, 상기 영상에 포함된 사운드에 기반하여 상기 PSNR 값을 측정할 PSNR 측정 구간을 판단하는 단계를 더 포함하고, 상기 n번째 프레임은, 상기 PSNR 측정 구간에 포함되는 프레임 중 어느 하나일 수 있다.
상기 PSNR 측정 구간을 판단하는 단계는, 상기 사운드의 크기가 기준 범위 내에서 설정된 시간 이상으로 지속되는 경우, 상기 사운드의 크기가 상기 기준 범위 내에서 지속되는 구간을 상기 PSNR 측정 구간으로 판단할 수 있다.
상기 PSNR 측정 구간을 판단하는 단계는, 상기 PSNR 측정 구간의 개수에 따라 상기 기준 범위를 조절할 수 있다.
상기 PSNR 측정 구간을 판단하는 단계는, 상기 사운드에 관한 스펙트럼 데이터를 생성하고, 상기 스펙트럼 데이터의 패턴을 분석하여 상기 패턴이 반복되는 구간을 상기 PSNR 측정 구간으로 판단할 수 있다.
본 발명의 일 실시예 따른 장면전환 검출 방법은 상기 장면전환 프레임으로 선정하는 단계 전에, 상기 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각의 색상, 명도 및 채도 데이터를 추출하여 상기 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출하는 단계, 및 상기 m번째 프레임에서 추출된 히스토그램과 상기 (m-1)번째 프레임에서 추출된 히스토그램 사이의 유사도를 판단하는 단계를 더 포함하고, 상기 장면전환 프레임으로 선정하는 단계는, 상기 유사도에 기반하여 상기 장면전환 프레임을 선정할 수 있다.
본 발명의 일 실시예 따른 장면전환 검출 방법은 상기 장면전환 프레임으로 선정하는 단계 전에, 상기 장면전환 후보 프레임 각각에 대해 얼굴 영역이 존재하는지의 여부를 판단하는 단계를 더 포함하고, 상기 장면전환 프레임으로 선정하는 단계는, 상기 얼굴 영역의 존재 여부에 따라 상기 장면전환 프레임을 선정할 수 있다.
본 발명의 일 실시예 따른 장면전환 검출 방법은 상기 장면전환 프레임으로 선정하는 단계 전에, 상기 장면전환 후보 프레임 각각에 포함된 픽셀의 색상 정보를 이용하여 피부 영역을 검출하는 단계, 및 상기 장면전환 후보 프레임 각각에 대해 상기 장면전환 후보 프레임의 전체 영역에 대한 상기 피부 영역의 비율을 산출하는 단계를 더 포함하고, 상기 장면전환 프레임으로 선정하는 단계는, 상기 비율에 기반하여 상기 장면전환 프레임을 선정할 수 있다.
본 발명의 실시예들에 따르면, 영상의 PSNR, 에지(Edge), 히스토그램 등을 분석하여 영상의 장면전환 시점을 검출함으로써, 영상의 내용에 적합한 장면전환 시점을 검출할 수 있다.
또한, 본 발명의 실시예들에 따르면, 사운드의 크기 또는 사운드에 관한 스펙트럼 데이터를 이용하여 장면전환 시점을 검출함으로써, 영상의 내용에 적합한 장면전환 시점을 검출할 수 있다.
도 1은 본 발명의 일 실시예에 따른 장면전환 검출 장치의 블록도
도 2는 본 발명의 추가적인 실시예에 따른 장면전환 검출 장치의 블록도
도 3은 본 발명의 다른 추가적인 실시예에 따른 장면전환 검출 장치의 블록도
도 4는 본 발명의 일 실시예에 따른 장면전환 검출 장치에 의해 수행되는 장면전환 검출 방법의 흐름도
도 5 내지 도 7은 본 발명의 일 실시예에 따른 장면전환 검출 장치에 의해 수행되는 장면전환 검출 방법의 예시도
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.
본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.
도 1은 본 발명의 일 실시예에 따른 장면전환 검출 장치(100)의 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 장면전환 검출 장치(100)는 복수의 프레임으로 구성되는 영상의 장면전환 프레임을 검출하는 장치로서, PSNR(Peak Signal to Noise Ratio) 측정부(101), 장면전환 후보 프레임 선정부(102) 및 장면전환 프레임 선정부(103)를 포함한다.
본 실시예들에 있어서, 장면전환(Scene Change)이란 연속되는 영상의 장면에서 한 장면이 끝난 후, 다른 장면으로 영상이 다시 시작되는 것을 의미할 수 있다. 또한, 장면전환은 통상적으로 임의의 장면이 점차적으로 사라지다가 다시 다른 장면이 서서히 나타나는 페이드-아웃(fade out) 및 페이드-인(fade in), 임의의 두 장면이 서로 다른 방향에서 시간을 두고 천천히 겹치는 오버랩(overlap), 단순 장면전환 등으로 구분되기도 한다.
또한, 본 실시예들에 있어서, 장면전환 프레임이란 상기 장면전환이 이루어지는 프레임을 의미할 수 있다. 영상의 한 장면이 끝난 후 다른 장면으로 영상이 다시 시작되는 경우, 장면전환 프레임이란 상기 다시 시작되는 영상의 첫 번째 프레임일 수 있다.
또한, 본 실시예들에 있어서, 장면전환 후보 프레임이란 장면전환 프레임의 후보를 의미할 수 있다. 즉, 장면전환 프레임은 장면전환 후보 프레임 중에서 선정될 수 있다.
PSNR 측정부(101)는 n번째 프레임(여기서, n은 2 이상의 자연수)과 (n-1)번째 프레임을 비교하여, n번째 프레임에 대한 PSNR 값을 측정한다. 구체적으로, PSNR 측정부(101)는 영상의 두 번째 내지 마지막 프레임 각각에 대해, 하기 수학식 1을 이용하여 PSNR 값을 측정할 수 있다.
Figure pat00001
이때, MAXI는 영상 내 픽셀의 최대값으로서, 예를 들어, 영상이 8bit 그레이스케일 영상인 경우에는 255일 수 있다. 또한, MSE는 각 프레임과 직전 프레임의 평균 제곱 오차(Mean Square Error)일 수 있다.
장면전환 후보 프레임 선정부(102)는 PSNR 측정부(101)를 통해 측정된 PSNR 값이 설정된 PSNR 기준치 미만인 경우, n번째 프레임을 장면전환 후보 프레임으로 선정한다. 구체적으로, 장면전환 후보 프레임 선정부(102)는 PSNR 측정부(101)를 통해 측정된 PSNR 값을 기반으로, 영상의 두 번째 내지 마지막 프레임 중에서 장면전환 후보 프레임을 선정한다. 이때, 설정된 PSNR 기준치란, 사용자에 의해 미리 설정된 상수일 수 있으며, 예를 들어, 12dB일 수 있다.
장면전환 프레임 선정부(103)는 장면전환 후보 프레임 선정부(102)를 통해 선정된 장면전환 후보 프레임 중 적어도 하나의 프레임을 장면전환 프레임으로 선정한다.
도 2는 본 발명의 추가적인 실시예에 따른 장면전환 검출 장치(200)의 블록도이다.
도 2를 참조하면, 본 발명의 추가적인 실시예에 따른 장면전환 검출 장치(200)는 에지(Edge) 개수 측정부(104), 에지 개수 변경 프레임 선정부(105), 문자 판독부(106), 문자 유사도 판단부(107) 및 PSNR 측정 구간 판단부(108)를 더 포함한다.
에지 개수 측정부(104)는 복수의 프레임 각각에 포함되는 설정된 에지 검출 영역 내의 에지의 개수를 측정할 수 있다. 이때, 에지 검출 영역이란 각 프레임의 전체 영역 중 에지 개수 측정부(104)에서 에지 검출을 수행할 대상 영역을 의미할 수 있으며, 에지 검출 영역은 사용자에 의해 미리 설정될 수 있다. 예를 들어, 각 프레임이 각 프레임의 좌측 상단에 일부 문자(예를 들어, 좌상단 제목)를 포함하는 경우, 에지 검출 영역은 각 프레임의 좌측 상단에 포함된 일부 문자를 포함하도록 설정될 수 있다.
구체적으로, 에지 개수 측정부(104)는 각 프레임에 포함되는 설정된 에지 검출 영역에 대해 예를 들어, 소벨(Sobel) 기법, 캐니(Canny) 기법, 라플라시안(Laplacian) 기법, 프리윗(Prewitt) 기법 등과 같은 다양한 에지 검출 기법을 이용하여 에지를 검출하고, 에지의 개수를 측정할 수 있다.
에지 개수 변경 프레임 선정부(105)는 n번째 프레임에서 측정된 에지의 개수와 (n-1)번째 프레임에서 측정된 에지의 개수를 비교하여, 복수의 프레임 중 적어도 하나의 프레임을 에지 개수 변경 프레임으로 선정할 수 있다. 이때, 에지 개수 변경 프레임이란 직전 프레임과 비교하여 에지의 개수가 급격히 증가된 프레임을 의미할 수 있다.
구체적으로, 에지 개수 변경 프레임 선정부(105)는 (n-1)번째 프레임에서 측정된 에지의 개수와 n번째 프레임에서 측정된 에지의 개수에 대한 비율이 설정된 기준치를 초과하는 경우, n번째 프레임을 에지 개수 변경 프레임으로 선정할 수 있다. 이때, 설정된 기준치란, 사용자에 의해 미리 설정된 상수일 수 있으며, 예를 들어, 0.6일 수 있다.
예를 들어, (n-1)번째 프레임에 포함되는 설정된 에지 검출 영역 내의 에지의 개수가 10이고 n번째 프레임에 포함되는 설정된 에지 검출 영역 내의 에지의 개수가 20인 경우, (n-1)번째 프레임에서 측정된 에지의 개수와 n번째 프레임에서 측정된 에지의 개수에 대한 비율은 2이며, 에지 개수 변경 프레임 선정부(105)는 n번째 프레임을 에지 개수 변경 프레임으로 선정할 수 있다.
한편, 장면전환 프레임 선정부(103)는 장면전환 후보 프레임 선정부(102)를 통해 선정된 장면전환 후보 프레임 중 에지 개수 변경 프레임 선정부(105)를 통해 선정된 에지 개수 변경 프레임과 가장 인접한 프레임을 장면전환 프레임으로 선정할 수 있다. 구체적으로, 장면전환 프레임 선정부(103)는 에지 개수 변경 프레임의 이후 프레임 중 가장 빠른 장면전환 후보 프레임을 장면전환 프레임으로 선정할 수 있다.
문자 판독부(106)는 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각에 포함되는 설정된 문자 판독 영역 내의 문자를 판독할 수 있다. 이때, 문자 판독 영역이란 각 프레임의 전체 영역 중 문자 판독부(106)에서 문자 판독을 수행할 대상 영역을 의미할 수 있으며, 문자 판독 영역은 사용자에 의해 미리 설정될 수 있다. 예를 들어, 문자 판독 영역은 상술한 에지 검출 영역과 동일한 영역으로 설정될 수 있다.
구체적으로, 문자 판독부(106)는 각 프레임에 포함되는 설정된 문자 판독 영역에 대해 예를 들어, 광학 문자 인식(Optical Character Recognition, OCR), 지능형 문자 인식(Intelligent Character Recognition, ICR) 등과 같은 문자 인식 기법을 이용하여 문자를 판독할 수 있다.
문자 유사도 판단부(107)는 문자 판독부(106)를 통해 m번째 프레임에서 판독된 문자와 (m-1)번째 프레임에서 판독된 문자 사이의 유사도를 판단할 수 있다. 구체적으로, 문자 유사도 판단부(107)는 m번째 프레임에서 판독된 문자와 (m-1)번째 프레임에서 판독된 문자에 대해 예를 들어, 레벤슈타인 거리(Levenshtein Distance) 알고리즘을 이용하여 유사도를 판단할 수 있다.
한편, 장면전환 프레임 선정부(103)는 문자 유사도 판단부(107)를 통해 판단된 유사도에 기반하여 장면전환 프레임을 선정할 수 있다. 구체적으로, 장면전환 프레임 선정부(103)는 m번째 프레임에서 판독된 문자와 (m-1)번째 프레임에서 판독된 문자가 비유사한 경우, m번째 프레임을 장면전환 프레임으로 선정할 수 있다. 예를 들어, 문자 유사도 판단부(107)를 통해 판단된 레벤슈타인 거리가 미리 설정된 값(예를 들어, 3)을 초과하는 경우, 장면전환 프레임 선정부(103)는 m번째 프레임에서 판독된 문자와 (m-1)번째 프레임에서 판독된 문자가 비유사한 것으로 판단하고 m번째 프레임을 장면전환 프레임으로 선정할 수 있다.
PSNR 측정 구간 판단부(108)는 영상에 포함된 사운드에 기반하여 PSNR 값을 측정할 PSNR 측정 구간을 판단할 수 있다.
구체적으로, PSNR 측정 구간 판단부(108)는 영상에 포함된 사운드의 크기가 기준 범위 내에서 설정된 시간 이상으로 지속되는 경우, 사운드의 크기가 기준 범위 내에서 지속되는 구간을 PSNR 측정 구간으로 판단할 수 있다. 이때, 기준 범위는 사용자에 의해 미리 설정된 범위일 수 있으며, 예를 들어, -15dB 이하, 10dB 이상 등의 범위일 수 있다. 또한, 설정된 시간은 사용자에 의해 미리 설정될 수 있으며, 예를 들어, 1초일 수 있다.
또한, PSNR 측정 구간 판단부(108)는 PSNR 측정 구간의 개수에 따라 기준 범위를 조절할 수 있다. 구체적으로, PSNR 측정 구간 판단부(108)는 PSNR 측정 구간의 개수가 설정된 기준치(예를 들어, 50개) 이상인 경우, PSNR 측정 구간의 개수를 감소시키기 위해 기준 범위를 조절하고 PSNR 측정 구간을 다시 판단할 수 있다. 예를 들어, 만약 -15dB 이하의 기준 범위를 만족하는 PSNR 측정 구간의 개수가 설정된 기준치(예를 들어, 50개)를 넘는 60개로 판단된 경우, PSNR 측정 구간 판단부(108)는 기준 범위를 -20dB 이하로 조절할 수 있다. 다른 예로, 만약 10dB 이상의 기준 범위를 만족하는 PSNR 측정 구간의 개수가 설정된 기준치(예를 들어, 50개)를 넘는 70개로 판단된 경우, PSNR 측정 구간 판단부(108)는 기준 범위를 15dB 이상으로 조절할 수 있다.
또한, PSNR 측정 구간 판단부(108)는 영상에 포함된 사운드에 관한 스펙트럼 데이터를 생성하고, 스펙트럼 데이터의 패턴을 분석하여 패턴이 반복되는 구간을 PSNR 측정 구간으로 판단할 수 있다. 예를 들어, PSNR 측정 구간 판단부(108)는 스펙트럼 데이터의 크기, 주기 등에 기반하여 유사한 패턴이 반복되는 구간을 PSNR 측정 구간으로 판단할 수 있다.
한편, PSNR 측정부(101)는 PSNR 측정 구간 판단부(108)를 통해 판단된 PSNR 측정 구간에 대해 PSNR 값을 측정할 수 있다. 즉, PSNR 측정부(101)에서 PSNR 값을 측정하는 n번째 프레임은 PSNR 측정 구간에 포함될 수 있다.
도 3은 본 발명의 다른 추가적인 실시예에 따른 장면전환 검출 장치(300)의 블록도이다.
도 3을 참조하면, 본 발명의 다른 추가적인 실시예에 따른 장면전환 검출 장치(300)는 히스토그램 추출부(109), 히스토그램 유사도 판단부(110), 얼굴 존부 판단부(111), 피부 검출부(112) 및 피부 비율 산출부(113)을 더 포함한다.
히스토그램 추출부(109)는 장면전환 후보 프레임 선정부(102)에서 선정된 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각의 색상(Hue), 명도(Lightness) 및 채도(Saturation) 데이터를 추출하여 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출할 수 있다. 구체적으로, 히스토그램 추출부(109)는 장면전환 후보 프레임의 컬러 모델을 HLS(Hue-Lightness-Saturation) 컬러 모델로 변환하여 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출할 수 있다.
히스토그램 유사도 판단부(110)는 히스토그램 추출부(109)를 통해 m번째 프레임에서 추출된 히스토그램과 (m-1)번째 프레임에서 추출된 히스토그램 사이의 유사도를 판단할 수 있다. 예를 들어, 히스토그램 유사도 판단부(110)는 m번째 프레임에서 추출된 히스토그램과 (m-1)번째 프레임에서 추출된 히스토그램 간의 바타차야 거리(Bhattacharyya Distance)를 산출하여 유사도를 판단할 수 있다.
한편, 장면전환 프레임 선정부(103)는 히스토그램 유사도 판단부(110)를 통해 판단된 유사도에 기반하여 장면전환 프레임을 선정할 수 있다. 구체적으로, 장면전환 프레임 선정부(103)는 m번째 프레임에서 추출된 히스토그램과 (m-1)번째 프레임에서 추출된 히스토그램이 서로 비유사한 것으로 판단되는 경우, m번째 프레임을 장면전환 프레임으로 선정할 수 있다. 예를 들어, 장면전환 프레임 선정부(103)는 히스토그램 유사도 판단부(110)에서 산출된 바타차야 거리가 미리 설정된 기준치(예를 들어, 0.7)를 초과하는 경우, 상기 m번째 프레임을 장면전환 프레임으로 선정할 수 있다.
얼굴 존부 판단부(111)는 장면전환 후보 프레임 선정부(102)에서 선정된 장면전환 후보 프레임 각각에 대해 얼굴 영역이 존재하는지의 여부를 판단할 수 있다. 구체적으로, 얼굴 존부 판단부(111)는 예를 들어, NN(Neural Network), SVM(Support Vector Machine), 아다부스트(adaboost) 등과 같은 얼굴 검출 알고리즘을 이용하여 각 프레임 내에 얼굴 영역이 존재하는지의 여부를 판단할 수 있다.
한편, 장면전환 프레임 선정부(103)는 얼굴 존부 판단부(111)를 통해 판단된 얼굴 영역의 존재 여부에 따라 장면전환 프레임을 선정할 수 있다. 구체적으로, 장면전환 프레임 선정부(103)는 얼굴 존부 판단부(111)에서 프레임 내에 얼굴 영역이 존재하지 않는 것으로 판단된 경우 해당 프레임을 장면전환 프레임으로 선정할 수 있다.
피부 검출부(112)는 장면전환 후보 프레임 선정부(102)에서 선정된 장면전환 후보 프레임 각각에 포함된 픽셀의 색상 정보를 이용하여 피부 영역을 검출할 수 있다. 구체적으로, 피부 검출부(112)는 예를 들어, Peer 알고리즘과 같은 피부 검출 알고리즘을 이용하여 피부 영역을 검출할 수 있다.
피부 비율 산출부(113)는 장면전환 후보 프레임 선정부(102)에서 선정된 장면전환 후보 프레임 각각에 대해 장면전환 후보 프레임의 전체 영역에 대한 피부 영역의 비율을 산출할 수 있다.
한편, 장면전환 프레임 선정부(103)는 피부 비율 산출부(113)에서 산출된 비율에 기반하여 장면전환 프레임을 선정할 수 있다. 구체적으로, 장면전환 프레임 선정부(103)는 피부 비율 산출부(113)에서 산출된 비율이 미리 설정된 기준치(예를 들어, 0.05) 미만인 경우, 해당 프레임을 장면전환 프레임으로 선정할 수 있다.
도 4는 본 발명의 일 실시예에 따른 장면전환 검출 장치(100)에 의해 수행되는 장면전환 검출 방법의 흐름도이다.
도 4를 참조하면, 장면전환 검출 장치(100)는 n번째 프레임(여기서, n은 2 이상의 자연수)과 (n-1)번째 프레임을 비교하여, n번째 프레임에 대한 PSNR(Peak Signal to Noise Ratio) 값을 측정한다(S401).
이때, 장면전환 검출 장치(100)는 영상에 포함된 사운드에 기반하여 PSNR 값을 측정할 PSNR 측정 구간을 판단할 수 있으며, n번째 프레임은 PSNR 측정 구간에 포함되는 프레임 중 어느 하나일 수 있다. 또한, 장면전환 검출 장치(100)는 사운드의 크기가 기준 범위 내에서 설정된 시간 이상으로 지속되는 경우, 사운드의 크기가 기준 범위 내에서 지속되는 구간을 PSNR 측정 구간으로 판단할 수 있다. 또한, 장면전환 검출 장치(100)는 PSNR 측정 구간의 개수에 따라 기준 범위를 조절할 수 있다. 또한, 장면전환 검출 장치(100)는 사운드에 관한 스펙트럼 데이터를 생성하고, 스펙트럼 데이터의 패턴을 분석하여 패턴이 반복되는 구간을 PSNR 측정 구간으로 판단할 수 있다.
장면전환 검출 장치(100)는 PSNR 값이 설정된 PSNR 기준치 미만인 경우, n번째 프레임을 장면전환 후보 프레임으로 선정한다(S402).
이때, 장면전환 검출 장치(100)는 복수의 프레임 각각에 포함되는 설정된 에지 검출 영역 내의 에지의 개수를 측정할 수 있다. 또한, 장면전환 검출 장치(100)는 n번째 프레임에서 측정된 에지의 개수와 (n-1)번째 프레임에서 측정된 에지의 개수를 비교하여, 복수의 프레임 중 적어도 하나의 프레임을 에지 개수 변경 프레임으로 선정할 수 있다. 이때, 장면전환 검출 장치(100)는 (n-1)번째 프레임에서 측정된 에지의 개수와 n번째 프레임에서 측정된 에지의 개수에 대한 비율이 설정된 기준치를 초과하는 경우, n번째 프레임을 에지 개수 변경 프레임으로 선정할 수 있다.
또한, 장면전환 검출 장치(100)는 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각에 포함되는 설정된 문자 판독 영역 내의 문자를 판독할 수 있다. 또한, 장면전환 검출 장치(100)는 m번째 프레임에서 판독된 문자와 (m-1)번째 프레임에서 판독된 문자 사이의 유사도를 판단할 수 있다.
또한, 장면전환 검출 장치(100)는 장면전환 후보 프레임 중 m번째 프레임과 (m-1)번째 프레임 각각의 색상, 명도 및 채도 데이터를 추출하여 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출할 수 있다. 또한, 장면전환 검출 장치(100)는 m번째 프레임에서 추출된 히스토그램과 (m-1)번째 프레임에서 추출된 히스토그램 사이의 유사도를 판단할 수 있다.
또한, 장면전환 검출 장치(100)는 장면전환 후보 프레임 각각에 대해 얼굴 영역이 존재하는지의 여부를 판단할 수 있다.
또한, 장면전환 검출 장치(100)는 장면전환 후보 프레임 각각에 포함된 픽셀의 색상 정보를 이용하여 피부 영역을 검출할 수 있다. 또한, 장면전환 검출 장치(100)는 장면전환 후보 프레임 각각에 대해 장면전환 후보 프레임의 전체 영역에 대한 피부 영역의 비율을 산출할 수 있다.
장면전환 검출 장치(100)는 장면전환 후보 프레임 중 적어도 하나의 프레임을 장면전환 프레임으로 선정한다(S403). 이때, 장면전환 검출 장치(100)는 후보 프레임 중 에지 개수 변경 프레임과 가장 인접한 프레임을 장면전환 프레임으로 선정할 수 있다. 또한, 장면전환 검출 장치(100)는 유사도에 기반하여 장면전환 프레임을 선정할 수 있다. 또한, 장면전환 검출 장치(100)는 얼굴 영역의 존재 여부에 따라 장면전환 프레임을 선정할 수 있다. 또한, 장면전환 검출 장치(100)는 피부 영역의 비율에 기반하여 장면전환 프레임을 선정할 수 있다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 장면전환 검출 장치(100)에 의해 수행되는 장면전환 검출 방법의 예시도이다.
도 5를 참조하면, 본 발명의 일 실시에에 따른 장면전환 검출 장치(100)는 예능 영상의 장면전환 프레임을 검출할 수 있다.
먼저, 장면전환 검출 장치(100)는 사운드를 이용하여 장면전환 프레임을 검출할 것인지를 판단할 수 있다(S501).
만약, 장면전환 검출 장치(100)가 사운드를 이용하지 않고 장면전환 프레임을 검출하는 경우, 장면전환 검출 장치(100)는 각 프레임에 대해 에지를 검출하여 에지의 개수를 측정할 수 있다(S502). 그 후, 장면전환 검출 장치(100)는 각 프레임에서 추출된 에지의 개수와 직전 프레임에서 추출된 에지의 개수에 대한 비율(Edge Ratio)이 설정된 기준치(예를 들어, 0.6)를 초과하는지 여부를 판단할 수 있다(S503).
또한, 장면전환 검출 장치(100)는 각 프레임에 대해 PSNR 값을 측정하고(S504), 측정된 PSNR 값이 설정된 PSNR 기준치(예를 들어, 12) 미만인지 여부를 판단할 수 있다(S505).
그 후, 장면전환 검출 장치(100) 측정된 PSNR 값이 설정된 PSNR 기준치 미만인 프레임 중, Edge Ratio가 설정된 기준치를 초과하는 프레임과 가장 인접한 프레임을 장면전환 후보 프레임으로 선정할 수 있다(S506).
그 후, 장면전환 검출 장치(100)는 장면전환 후보 프레임들 각각에 대해, 설정된 문자 판독 영역 내의 문자를 판독할 수 있다(S507).
그 후, 장면전환 검출 장치(100)는 각 프레임에서 판독된 문자와 직전 프레임에서 판독된 문자 사이의 레벤슈타인 거리를 측정하여 레벤슈타인 거리가 설정된 기준치(예를 들어, 3)를 넘는지 판단하고(S508), 레벤슈타인 거리가 설정된 기준치를 넘는 프레임을 장면전환 프레임으로 선정할 수 있다(S509).
한편, 장면전환 검출 장치(100)가 사운드를 이용하여 장면전환 프레임을 검출하는 경우, 장면전환 검출 장치(100)는 사운드의 크기, 사운드에 관한 스펙트럼 데이터의 패턴 등을 이용하여 PSNR 측정 구간을 판단할 수 있다(S510).
그 후, 장면전환 검출 장치(100)는 PSNR 측정 구간 내 프레임들에 대해 PSNR 값을 측정하고(S511), 측정된 PSNR 값이 설정된 PSNR 기준치(예를 들어, 12) 미만인 경우 해당 프레임을 장면전환 프레임으로 선정할 수 있다(S512, S509).
도 6을 참조하면, 본 발명의 일 실시예에 따른 장면전환 검출 장치(100)는 스포츠 영상의 장면전환 프레임을 검출할 수 있다.
먼저, 장면전환 검출 장치(100)는 스포츠 영상에서 특수효과가 발생하며 장면이 전환되는 프레임을 검출할 것인지를 판단할 수 있다(S601).
만약, 장면전환 검출 장치(100)가 특수효과가 발생하며 장면이 전환되는 프레임을 검출하고자 하는 경우, 장면전환 검출 장치(100)는 각 프레임의 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출하고(S602), 히스토그램의 바타차야 거리(Bhattachayya Distance)가 설정된 기준치(예를 들어, 0.9)를 넘는지 판단할 수 있다(S603). 이때, 바타차야 거리가 설정된 기준치를 넘는 경우, 장면전환 검출 장치(100)는 해당 프레임을 장면전환 프레임(예를 들어, 특수효과가 발생하며 장면이 전환되는 프레임)으로 선정할 수 있다(S608).
만약, 장면전환 검출 장치(100)가 특수효과가 발생하며 장면이 전환되는 프레임을 검출하고자 하는 경우가 아니라면, 장면전환 검출 장치(100)는 사운드의 크기, 사운드에 관한 스펙트럼 데이터 패턴 등을 이용하여 PSNR 측정 구간을 판단할 수 있다(S604).
이때 만약, 장면전환 검출 장치(100)가 사운드의 크기를 이용하여 PSNR 측정 구간을 판단한 경우, 장면전환 검출 장치(100)는 각 프레임에 대한 PSNR 값을 측정할 수 있다(S605, S606). 이때, PSNR 값이 설정된 기준치(예를 들어, 12) 미만인 경우, 장면전환 검출 장치(100)는 해당 프레임을 장면전환 프레임(예를 들어, 득점이 발생하며 장면이 전환되는 프레임)으로 선정할 수 있다(S607, S608).
한편, 장면전환 검출 장치(100)가 사운드에 관한 스펙트럼 데이터 패턴 등을 이용하여 PSNR 측정 구간을 판단한 경우, 장면전환 검출 장치(100)는 각 프레임에 대한 PSNR 값이 설정된 기준치(예를 들어, 12) 미만인지 판단할 수 있다(S605, S609, S610).
그 후, 장면전환 검출 장치(100)는 사용자로부터 입력된 데이터를 통해 입력된 영상이 농구, 배구에 관한 영상인지 판단할 수 있다(S611).
이때 만약, 입력된 영상이 농구, 배구에 관한 영상인 경우, 장면전환 검출 장치(100)는 프레임 내 얼굴 영역의 존재 여부 및 얼굴 영역의 크기를 판단할 수 있다. 또한 만약, 얼굴 영역이 설정된 기준치(예를 들어, 200px)를 초과하는 경우, 장면전환 검출 장치(100)는 해당 프레임을 장면전환 프레임(예를 들어, 작전타임이 시작되며 장면이 전환되는 프레임)으로 선정할 수 있다(S608). 또한 만약, 얼굴 영역이 설정된 기준치를 초과하지 않는 경우, 장면전환 검출 장치(100)는 해당 프레임을 장면전환 프레임(예를 들어, 세트 또는 쿼터가 전환되며 장면이 전환되는 프레임)으로 선정할 수 있다(S608).
만약, 입력된 영상이 축구, 테니스 등에 관한 영상인 경우, 장면전환 검출 장치(100) 사운드의 크기가 설정된 범위(예를 들어, 100dB 이상 및 120dB 이하) 내인지 판단하여, 해당 프레임을 장면전환 프레임(예를 들어, 심판 판정에 따라 장면이 전환되는 프레임)으로 선정할 수 있다(S612, S608).
도 7을 참조하면, 본 발명의 일 실시예에 따른 장면전환 검출 장치(100)는 드라마, 영화, 에니메이션 등의 영상의 장면전환 프레임을 검출할 수 있다.
먼저, 장면전환 검출 장치(100)는 사운드를 이용하여 장면전환 프레임을 검출할 것인지를 판단할 수 있다(S701).
만약, 장면전환 검출 장치(100)가 사운드를 이용하지 않고 장면전환 프레임을 검출하는 경우, 장면전환 검출 장치(100)는 각 프레임에 대해 PSNR 값을 측정하고(S702), 측정된 PSNR 값이 설정된 PSNR 기준치(예를 들어, 12.5) 미만인지 여부를 판단할 수 있다(S703)
그 후, 장면전환 검출 장치(100)는 각 프레임에 대해 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출하고(S704), 히스토그램의 바타차야 거리(Bhattachayya Distance)가 설정된 기준치(예를 들어, 0.7)를 넘는지 판단할 수 있다(S705).
그 후, 장면전환 검출 장치(100)는 각 프레임에 대해 얼굴 영역이 존재하는지 여부를 판단할 수 있다(S706, S707).
그 후, 장면전환 검출 장치(100)는 각 프레임에 대해 피부 영역을 검출하고(S708), 프레임의 전체 영역에 대한 피부 영역의 비율이 설정된 기준치(예를 들어, 0.05) 미만인지 판단할 수 있다(S709). 만약, 프레임 전체 영역에 대한 피부 영역의 비율이 설정된 기준치 미만인 경우, 장면전환 검출 장치(100)는 해당 프레임을 장면전환 프레임으로 선정할 수 있다(S710).
한편, 장면전환 검출 장치(100)가 사운드를 이용하여 장면전환 프레임을 검출하는 경우, 장면전환 검출 장치(100)는 사운드의 크기, 사운드에 관한 스펙트럼 데이터의 패턴 등을 이용하여 PSNR 측정 구간을 판단할 수 있다(S711).
그 후, 장면전환 검출 장치(100)는 PSNR 측정 구간 내 프레임들에 대해 PSNR 값을 측정하고(S712), 측정된 PSNR 값이 설정된 PSNR 기준치(예를 들어, 12) 미만인 경우 해당 프레임을 장면전환 프레임으로 선정할 수 있다(S713, S710).
도 8은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 장면전환 검출 장치(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 전술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100, 200, 300: 장면전환 검출 장치
101: PSNR 측정부
102: 장면전환 후보 프레임 선정부
103: 장면전환 프레임 선정부
104: 에지 개수 측정부
105: 에지 개수 변경 프레임 선정부
106: 문자 판독부
107: 문자 유사도 판단부
108: PSNR 측정 구간 판단부
109: 히스토그램 추출부
110: 히스토그램 유사도 판단부
111: 얼굴 존부 판단부
112: 피부 검출부
113: 피부 비율 산출부

Claims (22)

  1. 복수의 프레임으로 구성되는 영상의 장면전환 프레임을 검출하는 장치에 있어서,
    n번째 프레임(여기서, n은 2 이상의 자연수)과 (n-1)번째 프레임을 비교하여, 상기 n번째 프레임에 대한 PSNR(Peak Signal to Noise Ratio) 값을 측정하는 PSNR 측정부;
    상기 PSNR 값이 설정된 PSNR 기준치 미만인 경우, 상기 n번째 프레임을 장면전환 후보 프레임으로 선정하는 장면전환 후보 프레임 선정부; 및
    상기 장면전환 후보 프레임 중 적어도 하나의 프레임을 상기 장면전환 프레임으로 선정하는 장면전환 프레임 선정부를 포함하는 장치.
  2. 청구항 1에 있어서,
    상기 복수의 프레임 각각에 포함되는 설정된 에지 검출 영역 내의 에지의 개수를 측정하는 에지 개수 측정부; 및
    상기 n번째 프레임에서 측정된 에지의 개수와 상기 (n-1)번째 프레임에서 측정된 에지의 개수를 비교하여, 상기 복수의 프레임 중 적어도 하나의 프레임을 에지 개수 변경 프레임으로 선정하는 에지 개수 변경 프레임 선정부를 더 포함하고,
    상기 장면전환 프레임 선정부는, 상기 후보 프레임 중 상기 에지 개수 변경 프레임과 가장 인접한 프레임을 상기 장면전환 프레임으로 선정하는 장치.
  3. 청구항 2에 있어서,
    상기 에지 개수 변경 프레임 선정부는, 상기 (n-1)번째 프레임에서 측정된 에지의 개수와 상기 n번째 프레임에서 측정된 에지의 개수에 대한 비율이 설정된 기준치를 초과하는 경우, 상기 n번째 프레임을 상기 에지 개수 변경 프레임으로 선정하는 장치.
  4. 청구항 1에 있어서,
    상기 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각에 포함되는 설정된 문자 판독 영역 내의 문자를 판독하는 문자 판독부; 및
    상기 m번째 프레임에서 판독된 문자와 상기 (m-1)번째 프레임에서 판독된 문자 사이의 유사도를 판단하는 문자 유사도 판단부를 더 포함하고,
    상기 장면전환 프레임 선정부는, 상기 유사도에 기반하여 상기 장면전환 프레임을 선정하는 장치.
  5. 청구항 1에 있어서,
    상기 영상에 포함된 사운드에 기반하여 상기 PSNR 값을 측정할 PSNR 측정 구간을 판단하는 PSNR 측정 구간 판단부를 더 포함하고,
    상기 n번째 프레임은, 상기 PSNR 측정 구간에 포함되는 프레임 중 어느 하나인 장치.
  6. 청구항 5에 있어서,
    상기 PSNR 측정 구간 판단부는, 상기 사운드의 크기가 기준 범위 내에서 설정된 시간 이상으로 지속되는 경우, 상기 사운드의 크기가 상기 기준 범위 내에서 지속되는 구간을 상기 PSNR 측정 구간으로 판단하는 장치.
  7. 청구항 5에 있어서,
    상기 PSNR 측정 구간 판단부는, 상기 PSNR 측정 구간의 개수에 따라 상기 기준 범위를 조절하는 장치.
  8. 청구항 5에 있어서,
    상기 PSNR 측정 구간 판단부는, 상기 사운드에 관한 스펙트럼 데이터를 생성하고, 상기 스펙트럼 데이터의 패턴을 분석하여 상기 패턴이 반복되는 구간을 상기 PSNR 측정 구간으로 판단하는 장치.
  9. 청구항 1에 있어서,
    상기 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각의 색상, 명도 및 채도 데이터를 추출하여 상기 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출하는 히스토그램 추출부; 및
    상기 m번째 프레임에서 추출된 히스토그램과 상기 (m-1)번째 프레임에서 추출된 히스토그램 사이의 유사도를 판단하는 히스토그램 유사도 판단부를 더 포함하고,
    상기 장면전환 프레임 선정부는, 상기 유사도에 기반하여 상기 장면전환 프레임을 선정하는 장치.
  10. 청구항 1에 있어서,
    상기 장면전환 후보 프레임 각각에 대해 얼굴 영역이 존재하는지의 여부를 판단하는 얼굴 존부 판단부를 더 포함하고,
    상기 장면전환 프레임 선정부는, 상기 얼굴 영역의 존재 여부에 따라 상기 장면전환 프레임을 선정하는 장치.
  11. 청구항 1에 있어서,
    상기 장면전환 후보 프레임 각각에 포함된 픽셀의 색상 정보를 이용하여 피부 영역을 검출하는 피부 검출부; 및
    상기 장면전환 후보 프레임 각각에 대해 상기 장면전환 후보 프레임의 전체 영역에 대한 상기 피부 영역의 비율을 산출하는 피부 비율 산출부를 더 포함하고,
    상기 장면전환 프레임 선정부는, 상기 비율에 기반하여 상기 장면전환 프레임을 선정하는 장치.
  12. 복수의 프레임으로 구성되는 영상의 장면전환 프레임을 검출하는 방법에 있어서,
    n번째 프레임(여기서, n은 2 이상의 자연수)과 (n-1)번째 프레임을 비교하여, 상기 n번째 프레임에 대한 PSNR(Peak Signal to Noise Ratio) 값을 측정하는 단계;
    상기 PSNR 값이 설정된 PSNR 기준치 미만인 경우, 상기 n번째 프레임을 장면전환 후보 프레임으로 선정하는 단계; 및
    상기 장면전환 후보 프레임 중 적어도 하나의 프레임을 상기 장면전환 프레임으로 선정하는 단계를 포함하는 방법.
  13. 청구항 12에 있어서,
    상기 장면전환 프레임으로 선정하는 단계 전에,
    상기 복수의 프레임 각각에 포함되는 설정된 에지 검출 영역 내의 에지의 개수를 측정하는 단계; 및
    상기 n번째 프레임에서 측정된 에지의 개수와 상기 (n-1)번째 프레임에서 측정된 에지의 개수를 비교하여, 상기 복수의 프레임 중 적어도 하나의 프레임을 에지 개수 변경 프레임으로 선정하는 단계를 더 포함하고,
    상기 장면전환 프레임으로 선정하는 단계는, 상기 후보 프레임 중 상기 에지 개수 변경 프레임과 가장 인접한 프레임을 상기 장면전환 프레임으로 선정하는 방법.
  14. 청구항 13에 있어서,
    상기 에지 개수 변경 프레임으로 선정하는 단계는, 상기 (n-1)번째 프레임에서 측정된 에지의 개수와 상기 n번째 프레임에서 측정된 에지의 개수에 대한 비율이 설정된 기준치를 초과하는 경우, 상기 n번째 프레임을 상기 에지 개수 변경 프레임으로 선정하는 방법.
  15. 청구항 12에 있어서,
    상기 장면전환 프레임으로 선정하는 단계 전에,
    상기 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각에 포함되는 설정된 문자 판독 영역 내의 문자를 판독하는 단계; 및
    상기 m번째 프레임에서 판독된 문자와 상기 (m-1)번째 프레임에서 판독된 문자 사이의 유사도를 판단하는 단계를 더 포함하고,
    상기 장면전환 프레임으로 선정하는 단계는, 상기 유사도에 기반하여 상기 장면전환 프레임을 선정하는 방법.
  16. 청구항 12에 있어서,
    상기 PSNR 값을 측정하는 단계 전에, 상기 영상에 포함된 사운드에 기반하여 상기 PSNR 값을 측정할 PSNR 측정 구간을 판단하는 단계를 더 포함하고,
    상기 n번째 프레임은, 상기 PSNR 측정 구간에 포함되는 프레임 중 어느 하나인 방법.
  17. 청구항 16에 있어서,
    상기 PSNR 측정 구간을 판단하는 단계는, 상기 사운드의 크기가 기준 범위 내에서 설정된 시간 이상으로 지속되는 경우, 상기 사운드의 크기가 상기 기준 범위 내에서 지속되는 구간을 상기 PSNR 측정 구간으로 판단하는 방법.
  18. 청구항 16에 있어서,
    상기 PSNR 측정 구간을 판단하는 단계는, 상기 PSNR 측정 구간의 개수에 따라 상기 기준 범위를 조절하는 방법.
  19. 청구항 16에 있어서,
    상기 PSNR 측정 구간을 판단하는 단계는, 상기 사운드에 관한 스펙트럼 데이터를 생성하고, 상기 스펙트럼 데이터의 패턴을 분석하여 상기 패턴이 반복되는 구간을 상기 PSNR 측정 구간으로 판단하는 방법.
  20. 청구항 12에 있어서,
    상기 장면전환 프레임으로 선정하는 단계 전에,
    상기 장면전환 후보 프레임 중 m번째 프레임(여기서, m은 1 이상의 자연수)과 (m-1)번째 프레임 각각의 색상, 명도 및 채도 데이터를 추출하여 상기 색상, 명도 및 채도 데이터에 대한 히스토그램을 추출하는 단계; 및
    상기 m번째 프레임에서 추출된 히스토그램과 상기 (m-1)번째 프레임에서 추출된 히스토그램 사이의 유사도를 판단하는 단계를 더 포함하고,
    상기 장면전환 프레임으로 선정하는 단계는, 상기 유사도에 기반하여 상기 장면전환 프레임을 선정하는 방법.
  21. 청구항 12에 있어서,
    상기 장면전환 프레임으로 선정하는 단계 전에, 상기 장면전환 후보 프레임 각각에 대해 얼굴 영역이 존재하는지의 여부를 판단하는 단계를 더 포함하고,
    상기 장면전환 프레임으로 선정하는 단계는, 상기 얼굴 영역의 존재 여부에 따라 상기 장면전환 프레임을 선정하는 방법.
  22. 청구항 12에 있어서,
    상기 장면전환 프레임으로 선정하는 단계 전에,
    상기 장면전환 후보 프레임 각각에 포함된 픽셀의 색상 정보를 이용하여 피부 영역을 검출하는 단계; 및
    상기 장면전환 후보 프레임 각각에 대해 상기 장면전환 후보 프레임의 전체 영역에 대한 상기 피부 영역의 비율을 산출하는 단계를 더 포함하고,
    상기 장면전환 프레임으로 선정하는 단계는, 상기 비율에 기반하여 상기 장면전환 프레임을 선정하는 방법.
KR1020170086646A 2017-07-07 2017-07-07 장면전환 검출 장치 및 방법 KR102235386B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170086646A KR102235386B1 (ko) 2017-07-07 2017-07-07 장면전환 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170086646A KR102235386B1 (ko) 2017-07-07 2017-07-07 장면전환 검출 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190005651A true KR20190005651A (ko) 2019-01-16
KR102235386B1 KR102235386B1 (ko) 2021-04-01

Family

ID=65280933

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170086646A KR102235386B1 (ko) 2017-07-07 2017-07-07 장면전환 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102235386B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401463A (zh) * 2020-03-25 2020-07-10 维沃移动通信有限公司 检测结果输出的方法、电子设备及介质
WO2022169038A1 (ko) * 2021-02-08 2022-08-11 삼성전자주식회사 전자 장치 및 그 제어 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049682A (ja) * 1996-08-02 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> 文字出現フレーム抽出装置
JP2002140712A (ja) * 2000-07-14 2002-05-17 Sony Corp Ａｖ信号処理装置および方法、プログラム、並びに記録媒体
KR20020040503A (ko) * 2000-11-24 2002-05-30 구자홍 동영상 비디오 스트림의 장면전환 검출방법
JP2006155491A (ja) * 2004-12-01 2006-06-15 Samsung Yokohama Research Institute Co Ltd シーンチェンジ検出方法
KR20070017068A (ko) * 2005-08-04 2007-02-08 삼성전자주식회사 동영상의 주제별 분할장치 및 방법
KR20080010610A (ko) * 2006-07-27 2008-01-31 삼성전자주식회사 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법
KR100816013B1 (ko) * 2007-01-23 2008-03-21 (주)엑스퍼넷 압축영상의 장면전환 검출장치 및 방법
JP2014033355A (ja) * 2012-08-03 2014-02-20 Nippon Hoso Kyokai <Nhk> 画像処理装置、画像処理方法及びプログラム
KR101667011B1 (ko) 2011-11-24 2016-10-18 에스케이플래닛 주식회사 입체 영상의 장면 전환 검출 장치 및 방법

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1049682A (ja) * 1996-08-02 1998-02-20 Nippon Telegr & Teleph Corp <Ntt> 文字出現フレーム抽出装置
JP2002140712A (ja) * 2000-07-14 2002-05-17 Sony Corp Ａｖ信号処理装置および方法、プログラム、並びに記録媒体
KR20020040503A (ko) * 2000-11-24 2002-05-30 구자홍 동영상 비디오 스트림의 장면전환 검출방법
JP2006155491A (ja) * 2004-12-01 2006-06-15 Samsung Yokohama Research Institute Co Ltd シーンチェンジ検出方法
KR20070017068A (ko) * 2005-08-04 2007-02-08 삼성전자주식회사 동영상의 주제별 분할장치 및 방법
KR20080010610A (ko) * 2006-07-27 2008-01-31 삼성전자주식회사 비디오 인코딩 데이터율 제어를 위한 실시간 장면 전환검출 방법
KR100816013B1 (ko) * 2007-01-23 2008-03-21 (주)엑스퍼넷 압축영상의 장면전환 검출장치 및 방법
KR101667011B1 (ko) 2011-11-24 2016-10-18 에스케이플래닛 주식회사 입체 영상의 장면 전환 검출 장치 및 방법
JP2014033355A (ja) * 2012-08-03 2014-02-20 Nippon Hoso Kyokai <Nhk> 画像処理装置、画像処理方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401463A (zh) * 2020-03-25 2020-07-10 维沃移动通信有限公司 检测结果输出的方法、电子设备及介质
CN111401463B (zh) * 2020-03-25 2024-04-30 维沃移动通信有限公司 检测结果输出的方法、电子设备及介质
WO2022169038A1 (ko) * 2021-02-08 2022-08-11 삼성전자주식회사 전자 장치 및 그 제어 방법
US11893980B2 (en) 2021-02-08 2024-02-06 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
KR102235386B1 (ko) 2021-04-01

Similar Documents

Publication Publication Date Title
CN111327945B (zh) 用于分割视频的方法和装置
CN109076198B (zh) 基于视频的对象跟踪遮挡检测系统、方法和设备
US9619708B2 (en) Method of detecting a main subject in an image
US9483835B2 (en) Depth value restoration method and system
KR100804678B1 (ko) 비디오 인물별 신 분류 방법 및 그 시스템
US9449370B2 (en) Detecting exposure quality in images
US20150071530A1 (en) Image processing apparatus and method, and program
KR101993001B1 (ko) 영상 하이라이트 제작 장치 및 방법
KR102094506B1 (ko) 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
US20150110364A1 (en) Image processing device and image processing method
US8155396B2 (en) Method, apparatus, and program for detecting faces
KR20190060774A (ko) 블록의 모션 벡터에 기초한 이미지의 블록의 분산 결정
CN109510946B (zh) Hdr场景检测方法及系统
EP2977932B1 (en) Image processing apparatus, image processing method and image processing program
JP6557592B2 (ja) 映像シーン分割装置及び映像シーン分割プログラム
Lee et al. Video saliency detection based on spatiotemporal feature learning
KR102235386B1 (ko) 장면전환 검출 장치 및 방법
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
KR102413043B1 (ko) 영상 컨텐츠의 샷 분할 방법 및 장치
KR102121534B1 (ko) 시퀀스 간의 유사성을 결정하는 방법 및 디바이스
KR20140134549A (ko) 연속 촬영 이미지에서의 고조점 이미지 추출 장치 및 방법
US20150287209A1 (en) Image Segmentation Using Blur And Color
KR20180050460A (ko) 적응적 임계치를 이용한 비디오 콘텐츠의 샷 분할 방법 및 그 장치
KR101449533B1 (ko) 지역적 정보를 이용한 장면 전환 검출방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant