KR20120010790A - 장면 전환 검출 방법 및 장치 - Google Patents

장면 전환 검출 방법 및 장치 Download PDF

Info

Publication number
KR20120010790A
KR20120010790A KR1020100072361A KR20100072361A KR20120010790A KR 20120010790 A KR20120010790 A KR 20120010790A KR 1020100072361 A KR1020100072361 A KR 1020100072361A KR 20100072361 A KR20100072361 A KR 20100072361A KR 20120010790 A KR20120010790 A KR 20120010790A
Authority
KR
South Korea
Prior art keywords
histogram
brightness
scene change
pixel
frame
Prior art date
Application number
KR1020100072361A
Other languages
English (en)
Other versions
KR101167645B1 (ko
Inventor
백준현
이강희
유재욱
박대현
이두희
윤 김
Original Assignee
(주)자람테크놀로지
강원대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)자람테크놀로지, 강원대학교산학협력단 filed Critical (주)자람테크놀로지
Priority to KR1020100072361A priority Critical patent/KR101167645B1/ko
Publication of KR20120010790A publication Critical patent/KR20120010790A/ko
Application granted granted Critical
Publication of KR101167645B1 publication Critical patent/KR101167645B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 동영상 내 프레임 간의 장면 전환이 발생할 때 이를 효과적으로 검출할 수 있는 장면 전환 검출 방법 및 장치에 관한 것으로, 더욱 상세하게는 동영상 내 프레임 간의 명도 값의 차영상을 이용하여 장면 전환을 판단함으로써 동영상 내 객체의 움직임에 강인(Robust)하게 검출하도록 하여 장면 전환 검출의 정확성을 향상시키고, 동영상 내 프레임 간의 히스토그램의 차를 이용하여 장면 전환을 판단함으로써 동영상 내 색상 값의 변화에 강인하게 검출하도록 하여 장면 전환 검출의 효율성을 증대시키며, 프레임 특징값을 비교, 판단하는 데 있어 다양한 검출 제한 조건을 설정하여 검출함으로써 불필요한 비교, 판단에 자원을 소모하지 않도록 하여 실시간으로 장면 전환의 검출시 처리 속도를 높이고 부하를 감소하는 효과가 있다.

Description

장면 전환 검출 방법 및 장치{METHOD FOR DETECTING SCENE CHANGE AND APPARATUS THEROF}
본 발명은 장면 전환 검출 방법 및 장치에 관한 것으로, 특히 동영상 내 프레임 간의 장면 전환이 발생할 때 이를 효과적으로 검출할 수 있는 장면 전환 검출 방법 및 장치에 관한 것이다.
일반적으로 장면전환(Secene Change)이란 연속되는 동영상의 장면에서 한 장면이 끝난 후, 다른 장면으로 동영상이 다시 시작되는 현상을 말한다. 장면 전환은, 통상 임의의 장면이 점차 사라지다가 다시 다른 장면이 서서히 나타나는 페이드-아웃(fade out) 및 페이드-인(fade in), 임의의 두 장면이 서로 다른 방향에서 시간을 두고 천천히 겹치는 오버랩(overlap)과, 단순장면전환 등으로 구분하기도 한다.
장면전환 검출장치란 이와 같이 동영상의 장면 간에 장면전환이 발생한 경우, 이를 검출할 수 있는 장치를 말하며, 디지털 TV, 컴퓨터 기반의 이미지 프로세싱(Image Processing), 엠펙(MPEG) 부호화 과정, 영상 크기 조절 등 여러 분야에서 응용이 가능하다.
예컨대, 디지털 TV 등에서 영상 신호의 콘트라스트(Contrast) 개선시, 장면전환을 검출하여 이를 반영함으로써, 콘트라스트 개선시 나타날 수 있는 Flickering 현상이나 Panning 현상에 대해 적응적으로 대응할 수 있다.
또한, 엠펙(MPEG) 부호화 과정에서는, 시간축 상에서 상관관계가 깊은 데이터를 압축하기 위하여 움직임 예측 및 보상을 통한 프레임간 부호화 기술을 채택하고 있는데, 동영상의 장면 간에 장면전환이 일어나면 중복된 동일 영상 데이터의 빈도가 낮아 데이터량이 많아지게 된다. 따라서, 장면전환과 같은 특수한 영상을 반영하지 않고 엠펙 부호화를 행하면 비트의 이용률이 떨어지고, 화질이 나빠지므로 부호화 이전에 장면전환을 미리 감지하는 것이 필요하다.
전술한 문제점을 개선하기 위한 본 발명 실시 예들의 목적은 동영상 내 프레임 간의 명도 값의 차영상을 이용하여 장면 전환을 판단함으로써 동영상 내 객체의 움직임에 강인(Robust)하게 검출하도록 한 장면 전환 검출 방법 및 장치를 제공하는 것이다.
전술한 문제점을 개선하기 위한 본 발명 실시 예들의 다른 목적은 동영상 내 프레임 간의 히스토그램의 차를 이용하여 장면 전환을 판단함으로써 동영상 내 색상 값의 변화에 강인하게 검출하도록 한 장면 전환 검출 방법 및 장치를 제공하는 것이다.
전술한 문제점을 개선하기 위한 본 발명 실시 예들의 또 다른 목적은 프레임 특징값을 비교, 판단하는 데 있어 다양한 검출 제한 조건을 설정하여 검출함으로써 불필요한 비교, 판단에 자원을 소모하지 않도록 한 장면 전환 검출 방법 및 장치를 제공하는 것이다.
상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 장면 전환 검출 방법은 a) 입력되는 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 단계; b) 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 단계; c) 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 단계; 및 d) 상기 비교의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 단계를 포함한다.
상기 a)단계는 상기 현재 프레임의 픽셀별 명도 데이터와 상기 이전 프레임의 픽셀별 명도 데이터의 차이를 픽셀별로 각각 계산한 후, 상기 픽셀별 차이의 절댓값의 총합을 상기 명도 특징값으로 추출한다.
상기 b)단계는 상기 현재 프레임의 픽셀별 명도 데이터의 히스토그램과 상기 이전 프레임의 픽셀별 명도 데이터의 히스토그램의 차이를 빈별로 각각 계산한 후, 상기 빈별 차이의 절댓값의 총합을 상기 히스토그램 특징값으로 추출한다.
상기 c)단계는 상기 프레임들의 명도 특징값 및 히스토그램 특징값을 종류별로 각각 비교하여 그 중 최댓값인 명도 제1 최댓값 및 히스토그램 제1 최댓값과 최댓값보다 작은 특징값들 중 최댓값인 명도 제2 최댓값 및 히스토그램 제2 최댓값을 추출한다.
상기 d)단계는 상기 명도 제1 최댓값이 상기 명도 제2 최댓값의 소정배수 이상이고 상기 히스토그램 제1 최댓값이 상기 히스토그램 제2 최댓값의 소정배수 이상이면 해당 프레임을 장면 전환 프레임으로 판단하고 검출한다.
상기 장면 전환 검출 방법은 e) 상기 입력 영상의 시간적 해상도인 기 설정된 시간당 프레임 개수를 계산하거나 획득하는 단계를 더 포함하고, 상기 c)단계는 상기 명도 특징값 및 상기 히스토그램 특징값을 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 비교하는 검출제한조건을 갖는다.
상기 e)단계는 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 장면 전환 프레임이 기 발생했던 경우, 해당 장면 전환 프레임이 비교 대상이 아닐 때까지 상기 c) 단계 내지 d) 단계를 생략하는 검출제한조건을 갖는다.
상기 장면 전환 검출 방법은 입력되는 현재 프레임의 명도 특징값이 입력 영상 전체 픽셀 수의 소정배수 이하일 때는 상기 c) 단계 내지 d) 단계를 생략하는 검출제한조건을 갖는다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시 예에 따른 장면 전환 검출 장치는 입력되는 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 명도 연산부; 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 히스토그램 연산부; 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 비교부; 및 상기 비교부의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 장면전환 판단부를 포함한다.
본 발명의 실시 예에 따른 장면 전환 검출 방법 및 장치는 동영상 내 프레임 간의 명도 값의 차영상을 이용하여 장면 전환을 판단함으로써 동영상 내 객체의 움직임에 강인(Robust)하게 검출하도록 하여 장면 전환 검출의 정확성을 향상시키는 효과가 있다.
본 발명의 실시 예에 따른 장면 전환 검출 방법 및 장치는 동영상 내 프레임 간의 히스토그램의 차를 이용하여 장면 전환을 판단함으로써 동영상 내 색상 값의 변화에 강인하게 검출하도록 하여 장면 전환 검출의 효율성을 증대시키는 효과가 있다.
본 발명의 실시 예에 따른 장면 전환 검출 방법 및 장치는 프레임 특징값을 비교, 판단하는 데 있어 다양한 검출 제한 조건을 설정하여 검출함으로써 불필요한 비교, 판단에 자원을 소모하지 않도록 하여 실시간으로 장면 전환의 검출시 처리 속도를 높이고 부하를 감소하는 효과가 있다.
도 1은 장면 전환 검출의 예시도.
도 2는 본 발명의 실시 예에 따른 장면 전환 검출 방법의 순서도.
도 3은 본 발명의 실시 예에 따른 명도 연산 단계 및 히스토그램 연산 단계의 제 1 예시도.
도 4는 본 발명의 실시 예에 따른 명도 연산 단계 및 히스토그램 연산 단계의 제 2 예시도.
도 5는 본 발명의 실시 예에 따른 임시저장 단계, 스킵 검사 단계, 비교 단계 및 장면 전환 판단 단계의 예시도.
도 6은 본 발명의 실시 예에 따른 스킵 검사 단계의 예시도.
도 7은 본 발명의 실시 예에 따른 장면 전환 검출 장치의 구성도.
상기한 바와 같은 본 발명을 첨부된 도면들과 실시 예들을 통해 상세히 설명하도록 한다.
장면(Scene)이란 하나의 카메라가 연속적으로 촬영한 영상을 말하는 것으로, 일반적으로 장면 내의 모든 프레임(Frame)은 비슷한 영상 특징이 있기 때문에 하나의 장면은 유사한 처리가 가능하다. 따라서 정확한 장면 전환 프레임의 검출이 가능하다면, 장면별 분리를 통하여 효율적으로 동영상을 처리할 수 있다. 도 1은 장면 전환 검출의 예시도로서, N 번째의 프레임(15)에서 장면전환이 되었고, 이를 장면 전환 검출(Scene Change Detection) 방법을 통하여 검출할 수 있다.
도 2는 본 발명의 실시 예에 따른 장면 전환 검출 방법의 순서도로서, 입력되는 영상의 장면 전환 프레임을 검출하기 위한 장면 전환 검출 장치의 장면 전환 검출 방법을 도시한 것이다.
상기 본 발명의 실시 예에 따른 장면 전환 검출 방법은 입력되는 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 명도 연산 단계(S22), 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 히스토그램 연산 단계(S23), 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 비교 단계(S26) 및 상기 비교의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 장면 전환 판단 단계(S27)를 포함한다.
본 발명의 실시 예에 따른 장면 전환 검출 방법은 영상이 입력되는 단계(S21)를 더 포함할 수 있다.
상기 명도 연산 단계(S22)는 상기 현재 프레임의 픽셀별 명도 데이터와 상기 이전 프레임의 픽셀별 명도 데이터의 차이를 픽셀별로 각각 계산한 후, 상기 픽셀별 차이의 절댓값의 총합을 상기 명도 특징값으로 추출한다.
이처럼, 상기 명도 연산 단계(S22)는 동영상 내 프레임 간의 명도 값의 차영상을 이용하여 장면 전환을 판단하므로 동영상 내 객체의 움직임에 강인(Robust)하게 검출할 수 있어 장면 전환 검출의 정확성을 향상시킬 수 있다.
상기 히스토그램 연산 단계(S23)는 상기 현재 프레임의 픽셀별 명도 데이터의 히스토그램과 상기 이전 프레임의 픽셀별 명도 데이터의 히스토그램의 차이를 빈(Bin)별로 각각 계산한 후, 상기 빈별 차이의 절댓값의 총합을 상기 히스토그램 특징값으로 추출한다.
상기 히스토그램 연산 단계(S23)에서 동영상 내 프레임 간의 히스토그램의 차를 이용하여 장면 전환을 판단하여 동영상 내 색상 값의 변화에 강인하게 검출할 수 있으므로 장면 전환 검출의 효율성을 증대시킬 수 있다.
상기 명도 연산 단계(S22) 및 히스토그램 연산 단계(S23)는 도 3 및 도 4에서 다시 자세히 설명하기로 한다.
상기 단계 이후, 상기 단계(S22,S23)에서 계산된 데이터를 버퍼(Buffer)와 같은 임시 저장소를 이용하여 저장하는 임시 저장 단계(S24)를 더 포함할 수도 있다.
도시하지는 않았지만, 본 발명의 실시 예에 따른 장면 전환 검출 방법은 상기 입력 영상의 시간적 해상도인 기 설정된 시간당 프레임 개수를 계산하거나 획득하는 해상도 획득 단계를 더 포함할 수 있으며, 상기 비교 단계(S26)는 상기 명도 특징값 및 상기 히스토그램 특징값을 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 비교하는 검출제한조건을 가질 수 있다.
또한, 상기 해상도 획득 단계에서 획득한 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 장면 전환 프레임이 기 발생했던 경우, 해당 장면 전환 프레임이 비교 대상이 아닐 때까지 상기 비교 단계(S26) 내지 장면 전환 판단 단계(S27)를 생략하는 검출제한조건을 가질 수 있다.
더불어, 입력되는 현재 프레임의 명도 특징값이 입력 영상 전체 픽셀 수의 소정배수 이하일 때는 상기 비교 단계(S26) 내지 장면 전환 판단 단계(S27)를 생략하는 검출제한조건을 가질 수 있으며, 본 발명의 실시 예에 따른 장면 전환 검출 방법은 상기에서 설명한 검출제한조건들을 이용하여 비교 단계(S26) 및 장면 전환 판단 단계(S27)의 수행을 제한하는 스킵 검사 단계(S25)를 더 포함할 수 있다.
이처럼, 본 발명의 실시 예에 따른 장면 전환 검출 방법은 프레임 특징값을 비교, 판단하는 데 있어 다양한 검출 제한 조건을 설정하여 검출하도록 하여 불필요한 비교, 판단에 자원을 소모하지 않을 수 있으므로 실시간으로 장면 전환의 검출 작업을 수행해야 하는 등 속도를 요구하는 프로세스에 있어서 처리 속도를 높이고 부하를 감소할 수 있다.
상기 비교 단계(S26)는 상기 프레임들의 명도 특징값 및 히스토그램 특징값을 종류별로 각각 비교하여 그 중 최댓값인 명도 제1 최댓값 및 히스토그램 제1 최댓값 과 최댓값보다 작은 특징값들 중 최댓값인 명도 제2 최댓값 및 히스토그램 제2 최댓값을 추출한다.
이때, 상기 장면 전환 판단 단계(S27)에서 상기 명도 제1 최댓값이 상기 명도 제2 최댓값의 소정배수 이상이고 상기 히스토그램 제1 최댓값이 상기 히스토그램 제2 최댓값의 소정배수 이상이면 해당 프레임을 장면 전환 프레임으로 판단하고 검출할 수 있다.
상기 장면 전환 판단 단계(S27)는 상기 명도 제1 최댓값 및 상기 명도 제2최댓값 과 상기 히스토그램 제1 최댓값 및 상기 히스토그램 제2 최댓값의 크기를 비교하여 판단하는 것으로서, 상기 소정배수로 검사하는 대신 임의의 임계치를 설정하여 검사하거나 소정 차이 이상으로 설정하는 등 다양하게 실시할 수 있다.
본 발명의 실시 예에 따른 상기 임시저장 단계(S24), 스킵 검사 단계(S25),비교 단계(S26) 및 장면 전환 판단 단계(S27)는 도 5에서 더욱 상세히 설명하기로 한다.
본 발명의 실시 예에 따른 장면 전환 방법은 영상의 입력이 중단될 경우 모든 처리 과정을 중단하는 영상 종료 단계(S28)를 더 포함할 수 있다.
도 3은 본 발명의 실시 예에 따른 명도 연산 단계 및 히스토그램 연산 단계의 제 1 예시도로서, 상기 명도 연산 단계 및 히스토그램 연산 단계에서 장면 전환 여부를 판단하기 위하여 입력 영상인 현재 프레임(32)과 이전 프레임(31)을 이용하여 특징값을 구하는 것을 도시한 것이다.
이때, 상기 특징값으로 색상 값에 강인한 히스토그램 차와 움직임에 강인한 명도차를 이용한다. 명도 특징값은 현재 프레임(32)의 픽셀별 명도 데이터(34)와 이전 프레임(31)의 픽셀별 명도 데이터(33)의 차이를 픽셀별로 각각 계산한 후, 상기 픽셀별 차이의 절댓값의 총합(37)으로 구한다. 또한, 히스토그램 특징값은 상기 현재 프레임(32)의 픽셀별 명도 데이터의 히스토그램(36)과 상기 이전 프레임(31)의 픽셀별 명도 데이터의 히스토그램(35)의 차이를 빈별로 각각 계산한 후, 상기 빈별 차이의 절댓값의 총합(38)으로 구한다.
도 4는 본 발명의 실시 예에 따른 명도 연산 단계 및 히스토그램 연산 단계의 제 2 예시도로서, 두 개의 영상(41,43)을 이용하여 실질적으로 명도 특징값과 히스토그램 특징값을 구하는 과정을 예를 통해 보여주고 있다.
상기 명도 특징값은 각 영상의 픽셀별 명도 값(42,44)을 추출한 후 이를 이용하여 구한다. 도4b의 왼편 그림(45)과 같이 두 영상의 명도 값(42,44)에 대한 차영상을 구한 뒤, 차영상의 전체 픽셀 값에 대한 총합을 상기 명도 특징값으로 한다.
상기 히스토그램 특징값은 각 영상의 히스토그램(46,47)을 이용하여 구한다. 각 영상에 대하여 히스토그램(46,47)을 구한 뒤, 도4c의 중간 그림(48)과 같이 두 히스토그램 간의 차로 생성한 새로운 히스토그램(48)을 생성한다. 이후, 해당 히스토그램의 모든 요소의 합을 상기 히스토그램 특징값으로 한다.
도 5는 본 발명의 실시 예에 따른 임시저장 단계, 스킵 검사 단계, 비교 단계 및 장면 전환 판단 단계의 예시도다.
일반적인 동영상은 기설정된 시간당 프레임(예를 들어,초당 15프레임 이상)의 시간적 해상도가 있다. 이와 같은 짧은 시간 동안 연속적으로 장면 전환이 일어날 확률이 낮으므로, 이러한 특성을 이용하여 검출제한조건을 설정하면 장면 전환 여부를 결정하기 위한 특징값들의 한계 범위를 정하는 데 있어, 장면 전환 프레임이 잘못 검출될 확률을 낮출 수 있으며 속도를 향상시킬 수 있다.
즉, 상기 기설정된 시간당 프레임의 시간적 해상도에 따라 그 이하 개수의 프레임의 특징값들을 이용하여 장면 전환 검출을 수행한다. 예를 들어, 초당 15프레임의 시간적 해상도를 갖는 동영상에 대해 10프레임 내에서는 장면 전환이 2번 이상 일어나지 않는다고 설정하여 장면 전환 검출을 수행한다.
도 5에 도시한 바와 같이, 상기 임시저장 단계에서는 최근 10 프레임의 히스토그램 특징값과 명도 특징값을 저장하도록 크기가 10인 2가지 버퍼를 사용하여 저장할 수 있다.
상기 비교 단계는 장면 전환시 특징값들의 변화가 크다는 점을 이용하여 장면 전환을 검출하기 위해 버퍼에 저장되어 있는 10개의 명도 특징값, 히스토그램 특징값 중에서 가장 큰 값인 명도 제1 최댓값(52) 및 히스토그램 제1 최댓값(56)과 두 번째로 큰 값인 명도 제2 최댓값(51) 및 히스토그램 제2 최댓값(55)을 구한다.
상기 장면 전환 판단 단계는 앞에서 구한 명도 제1 최댓값(53) 및 히스토그램 제1 최댓값(57)과 명도 제2 최댓값(54) 및 히스토그램 제2 최댓값(58)을 이용하여 최종적으로 장면 전환 프레임 여부를 확인한다.
이때, 실질적인 장면 전환 검출의 예로, 상기 명도 제1 최댓값(53) 및 히스토그램 제1 최댓값(57)이 각각 명도 제2 최댓값(54) 및 히스토그램 제2 최댓값(58)보다 소정 배수(예를 들어, 3배수) 이상(또는 소정 크기, 임의의 임계치 이상)일 때 장면 전환이 발생했다고 결정한다.
또한, 상기 도 1에서 설명한 스킵 검사 단계에서 상기 현재 프레임의 명도 특징값(52)이 영상의 전체 픽셀 수의 소정배수(예를 들어, 4배) 이하(또는 소정 크기, 임의의 임계치 이하)인가를 검사하여 상기 비교 단계 및 장면 전환 판단 단계를 생략할 수 있다. 그 이하가 될 경우는 현재 프레임과 이전 프레임은 유사하다고 판단할 수 있기 때문이다.
더불어, 일반적인 영상의 경우 짧은 시간 내에 장면 전환이 2번 이상 일어나지 않기 때문에, 처리 속도의 향상을 위해 상기 스킵 검사 단계에서 장면 전환이 최근 10 프레임 내에 일어났는지 여부를 저장하는 변수를 이용하여 장면 전환이 되었다고 결정되면, 버퍼에 새로운 장면 데이터로 저장될 때까지 상기 비교 단계 내지 장면 전환 판단 단계를 생략할 수 있다.
도 6은 본 발명의 실시 예에 따른 스킵 검사 단계의 예시도로서, 장면전환이 발생(61)한 후, 버퍼가 채워질 동안 프레임을 검출하지 않는 것(62,63)을 도시한 것이다.
도 7은 본 발명의 실시 예에 따른 장면 전환 검출 장치의 구성도로서, 상기 본 발명의 실시 예에 따른 장면 전환 검출 장치(100)는 영상 입력부(110)를 통해 입력되는 영상의 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 명도 연산부(120), 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 히스토그램 연산부(130), 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 비교부(160) 및 상기 비교부(160)의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 장면전환 판단부(170)를 포함한다.
또한, 계산 데이터를 임시 저장하는 버퍼부(140) 또는 도 1에서 설명한 상기 검출제한조건을 설정하는 스킵 검사부(150)을 포함할 수도 있다.
상기 장면 전환 검출 장치(100)는 상기의 구성을 통해 색상 및 움직임에 강인하게 동영상의 장면 전환을 검출할 수 있으며, 상기 검출제한조건의 제어를 제어부(180)가 수행하도록 하여 처리 속도의 향상을 꾀할 수 있다.
상기 장면 전환 검출 장치(100)는 여러 분야에서 응용하여 사용할 수 있으나, 특히 동영상을 실시간으로 입력받아 내용 기반으로 크기를 조절하는 장치와 같이 장면 전환 검출이 필수적이나 처리 속도에 민감한 장치에 적극적으로 이용할 수 있다.
이상에서는 본 발명에 따른 바람직한 실시 예들에 대하여 도시하고 또한 설명하였다. 그러나 본 발명은 상술한 실시 예에 한정되지 아니하며, 특허 청구의 범위에서 첨부하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능할 것이다.
100: 장면전환 검출장치 110: 영상 입력부
120: 명도 연산부 130: 히스토그램 연산부
140: 버퍼부 150: 스킵 검사부
160: 비교부 170: 장면전환 판단부
180: 제어부

Claims (9)

  1. 입력되는 영상의 장면 전환 프레임을 검출하기 위한 장면 전환 검출 장치의 장면 전환 검출 방법에 있어서,
    a) 입력되는 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 단계;
    b) 입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 단계;
    c) 상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 단계; 및
    d) 상기 비교의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 단계를 포함하는 장면 전환 검출 방법.
  2. 제 1항에 있어서, 상기 a)단계는
    상기 현재 프레임의 픽셀별 명도 데이터와 상기 이전 프레임의 픽셀별 명도 데이터의 차이를 픽셀별로 각각 계산한 후, 상기 픽셀별 차이의 절댓값의 총합을 상기 명도 특징값으로 추출하는 것을 특징으로 하는 장면 전환 검출 방법.
  3. 제 2항에 있어서, 상기 b)단계는
    상기 현재 프레임의 픽셀별 명도 데이터의 히스토그램과 상기 이전 프레임의 픽셀별 명도 데이터의 히스토그램의 차이를 빈별로 각각 계산한 후, 상기 빈별 차이의 절댓값의 총합을 상기 히스토그램 특징값으로 추출하는 것을 특징으로 하는 장면 전환 검출 방법.
  4. 제 3항에 있어서, 상기 c)단계는
    상기 프레임들의 명도 특징값 및 히스토그램 특징값을 종류별로 각각 비교하여 그 중 최댓값인 명도 제1 최댓값 및 히스토그램 제1 최댓값과 최댓값보다 작은 특징값들 중 최댓값인 명도 제2 최댓값 및 히스토그램 제2 최댓값을 추출하는 것을 특징으로 하는 장면 전환 검출 방법.
  5. 제 4항에 있어서, 상기 d)단계는
    상기 명도 제1 최댓값이 상기 명도 제2 최댓값의 소정배수 이상이고 상기 히스토그램 제1 최댓값이 상기 히스토그램 제2 최댓값의 소정배수 이상이면 해당 프레임을 장면 전환 프레임으로 판단하고 검출하는 것을 특징으로 하는 장면 전환 검출 방법.
  6. 제 1항에 있어서,
    e) 상기 입력 영상의 시간적 해상도인 기 설정된 시간당 프레임 개수를 계산하거나 획득하는 단계를 더 포함하고,
    상기 c)단계는 상기 명도 특징값 및 상기 히스토그램 특징값을 상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 비교하는 검출제한조건을 갖는 것을 특징으로 하는 장면 전환 검출 방법.
  7. 제 6항에 있어서, 상기 e)단계는
    상기 기 설정된 시간당 프레임 개수 이하로 설정한 개수 내에서 장면 전환 프레임이 기 발생했던 경우, 해당 장면 전환 프레임이 비교 대상이 아닐 때까지 상기 c) 단계 내지 d) 단계를 생략하는 검출제한조건을 갖는 것을 특징으로 하는 장면 전환 검출 방법.
  8. 제 1항에 있어서,
    입력되는 현재 프레임의 명도 특징값이 입력 영상 전체 픽셀 수의 소정배수 이하일 때는 상기 c) 단계 내지 d) 단계를 생략하는 검출제한조건을 갖는 단계를 더 포함하는 장면 전환 검출 방법.
  9. 입력되는 영상의 장면 전환 프레임을 검출하기 위한 장면 전환 검출 장치에 있어서,
    입력되는 현재 프레임의 픽셀별 명도 데이터를 추출하여, 이와 이전 프레임에서 기 추출한 픽셀별 명도 데이터와의 연산을 통해 현재 프레임의 명도 특징값을 추출하는 명도 연산부;
    입력되는 현재 프레임의 픽셀별 명도 데이터의 히스토그램을 연산하여, 이와 이전 프레임에서 기 연산한 픽셀별 명도 데이터의 히스토그램과의 연산을 통해 현재 프레임의 히스토그램 특징값을 추출하는 히스토그램 연산부;
    상기 현재 프레임을 기준으로 하나 이상의 이전 프레임을 포함하여 상기 명도 특징값 및 상기 히스토그램 특징값을 종류별로 각각 비교하는 비교부; 및
    상기 비교부의 결과를 이용하여 기 설정된 규칙에 따라 장면 전환 프레임을 판단하고 검출하는 장면전환 판단부를 포함하는 장면 전환 검출 장치.
KR1020100072361A 2010-07-27 2010-07-27 장면 전환 검출 방법 및 장치 KR101167645B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100072361A KR101167645B1 (ko) 2010-07-27 2010-07-27 장면 전환 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100072361A KR101167645B1 (ko) 2010-07-27 2010-07-27 장면 전환 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20120010790A true KR20120010790A (ko) 2012-02-06
KR101167645B1 KR101167645B1 (ko) 2012-07-20

Family

ID=45835219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100072361A KR101167645B1 (ko) 2010-07-27 2010-07-27 장면 전환 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101167645B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130057585A (ko) * 2011-11-24 2013-06-03 에스케이플래닛 주식회사 입체 영상의 장면 전환 검출 장치 및 방법
CN103839515A (zh) * 2012-11-27 2014-06-04 乐金显示有限公司 时序控制器及其驱动方法以及使用其的显示装置
KR101430258B1 (ko) * 2013-02-27 2014-08-14 부경대학교 산학협력단 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법
KR101430257B1 (ko) * 2013-02-27 2014-08-14 부경대학교 산학협력단 디지털 감시 카메라 시스템을 위한 적응적 임계값을 사용하는 자동 장면 전환 검출 장치
KR101437584B1 (ko) * 2013-02-27 2014-09-05 부경대학교 산학협력단 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 결과 표시 장치
KR101430256B1 (ko) * 2013-02-27 2014-09-22 부경대학교 산학협력단 디지털 감시 카메라 시스템을 위한 적응적 임계값을 사용하는 자동 장면 전환 검출 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130057585A (ko) * 2011-11-24 2013-06-03 에스케이플래닛 주식회사 입체 영상의 장면 전환 검출 장치 및 방법
CN103839515A (zh) * 2012-11-27 2014-06-04 乐金显示有限公司 时序控制器及其驱动方法以及使用其的显示装置
US9711080B2 (en) 2012-11-27 2017-07-18 Lg Display Co., Ltd. Timing controller, driving method thereof, and display device using the same
KR101430258B1 (ko) * 2013-02-27 2014-08-14 부경대학교 산학협력단 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 방법
KR101430257B1 (ko) * 2013-02-27 2014-08-14 부경대학교 산학협력단 디지털 감시 카메라 시스템을 위한 적응적 임계값을 사용하는 자동 장면 전환 검출 장치
KR101437584B1 (ko) * 2013-02-27 2014-09-05 부경대학교 산학협력단 디지털 감시 카메라 시스템에서의 자동 장면 전환 검출 결과 표시 장치
KR101430256B1 (ko) * 2013-02-27 2014-09-22 부경대학교 산학협력단 디지털 감시 카메라 시스템을 위한 적응적 임계값을 사용하는 자동 장면 전환 검출 방법

Also Published As

Publication number Publication date
KR101167645B1 (ko) 2012-07-20

Similar Documents

Publication Publication Date Title
EP3389276B1 (en) Hash-based encoder decisions for video coding
KR101167645B1 (ko) 장면 전환 검출 방법 및 장치
US8452120B2 (en) Image processing device and method
JPH10336666A (ja) 動きベクトル検出装置
Zhang et al. Low-complexity and high-efficiency background modeling for surveillance video coding
US20210067689A1 (en) Image processing apparatus, image processing method, and program
KR101149522B1 (ko) 장면 전환 검출 시스템 및 방법
WO2010109564A1 (ja) 画像符号化装置及び画像符号化方法
US9008358B2 (en) Encoding a specific area with higher quality than a non-specific area
CN102804783B (zh) 图像编码装置和相机系统
EP2240886A1 (en) Flash detection
JP6086619B2 (ja) 符号化装置および符号化方法
EP3073738A1 (en) Methods and devices for video encoding
CN109274970B (zh) 一种快速场景切换检测方法和系统
US10856002B2 (en) Method, device and system for method of encoding a sequence of frames in a video stream
US10674174B2 (en) Coding apparatus, coding method, and recording medium
JPH03214364A (ja) シーン変化検出方法
US20180109791A1 (en) A method and a module for self-adaptive motion estimation
CN102118559A (zh) 利用移动侦测调整数字相机的拍摄条件的方法
CN101577826B (zh) 视频编码中的运动搜索控制方法和控制装置
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
JP6239838B2 (ja) 動画像符号化装置、その制御方法、及び撮像装置
KR102163007B1 (ko) 저조도 영상의 압축 속도 향상을 위한 예측 모드 결정 최적화 조정 방법 및 장치
JP2010258996A (ja) ノイズリダクション装置、ノイズリダクション方法、および動画再生装置
JP6758977B2 (ja) 画像処理装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150702

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160701

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170706

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180817

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190610

Year of fee payment: 8