KR101268701B1 - 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치 - Google Patents

코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치 Download PDF

Info

Publication number
KR101268701B1
KR101268701B1 KR1020110103952A KR20110103952A KR101268701B1 KR 101268701 B1 KR101268701 B1 KR 101268701B1 KR 1020110103952 A KR1020110103952 A KR 1020110103952A KR 20110103952 A KR20110103952 A KR 20110103952A KR 101268701 B1 KR101268701 B1 KR 101268701B1
Authority
KR
South Korea
Prior art keywords
frame
video
block error
block
corners
Prior art date
Application number
KR1020110103952A
Other languages
English (en)
Other versions
KR20130039425A (ko
Inventor
안기옥
하명환
이문식
김민기
Original Assignee
미디어코러스 주식회사
한국방송공사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미디어코러스 주식회사, 한국방송공사 filed Critical 미디어코러스 주식회사
Priority to KR1020110103952A priority Critical patent/KR101268701B1/ko
Publication of KR20130039425A publication Critical patent/KR20130039425A/ko
Application granted granted Critical
Publication of KR101268701B1 publication Critical patent/KR101268701B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 비디오 내의 블록 오류 고속 검출 방법에 관한 것으로, 더욱 상세하게는 비디오 내의 매 프레임의 코너 수를 계산하고, 시간 증가에 따른 코너 수의 변화량을 검사하여 블록 오류가 포함될 것으로 예상되는 후보 프레임을 찾고, 후보 프레임을 대상으로 블록 오류 인식 기술을 사용하여 학습한 분류기를 통해 최종 블록 오류가 포함된 프레임을 검출하는 비디오 내의 블록 오류 고속 검출 방법에 관한 것이다.

Description

코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치{FAST BLOCK ERROR DETECTION METHOD AND APPARATUS IN VIDEO USING A CORNER INFORMATION AND RECOGNITION TECHNOLOGY}
본 발명은 비디오 내의 블록 오류 고속 검출 방법에 관한 것으로, 더욱 상세하게는 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치에 관한 것이다.
방송 콘텐츠 제작에는 카메라, VCR, NLE, 인코더 등의 장비가 사용되고 있으며, VCR 헤더 불량, 테이프 노후화/보관불량, NLE 편집 오류, 인코더 장비 불량 등의 다양한 이유로 콘텐츠에 예기치 않은 비디오 및 오디오 오류가 발생할 수 있다.
방송 콘텐츠에 포함된 오류로 인해 일차적으로는 방송 이후 품질에 대한 시청자들의 불만이 발생한다. 또한, 오류를 가진 채 비디오 아카이브에 저장된다면 이를 이용한 인터넷 다시보기 서비스 등 콘텐츠 재활용 시에도 여전히 오류가 남아 콘텐츠 서비스의 품질을 저하시킨다. 이러한 오류를 찾는 가장 단순한 방법은 사람이 눈으로 직접 검사하는 것이다.
그러나, 비디오 아카이브와 같은 방대한 자료를 육안 검사하는 것은 사실상 불가능하다. 특히 한 프레임 오류의 경우 1/30 초로 짧은 순간에 발생하므로 사람의 눈으로 찾지 못하는 경우도 많고, 오류를 찾은 경우에도 오류로 분류할지 안할지에 대한 판단 또한 주관적이어서 일관성을 보장할 수 없는 단점이 있다.
방송 장비는 기본적으로 블록 기반의 압축 방법을 사용하므로 오류가 발생하는 경우, 도 1에 도시된 바와 같은 블록 오류, 슬라이스 오류, 스트라이프 오류 등과 같은 다양한 오류가 발생하고 있다.
본 명세서에서는 도 3에서 예시한 형태의 블록 오류를 고속으로 검출하는 방법을 제공한다. 한편, 본 발명과 유사한 분야의 연구로 도 2에 도시된 바와 같은 blocking artifact 혹은 blockiness 라고 명명되는 블록 오류를 검출하는 연구도 수행되었다. Blocking artifact의 경우, 8x8 혹은 16x16 블록 단위로 압축을 수행하는 경우, 블록과 블록 경계면이 직선 모양으로 선명하게 드러나는 현상이며, 이러한 현상은 결국 비디오 화질을 저하시키는 현상이다.
본 발명에 따른 블록 오류 고속검출 방법 및 장치는, 기존의 blocking artifact 혹은 blockiness 라고 명명되는 블록 오류와 달리, 도 3에 도시된 바와 같이 8x8 혹은 16x16 의 정방형으로 국한되지 않고 블록 형태의 의도하지 않은 이미지가 영상 내에서 존재하는지를 검출할 수 있다. 즉, 본 발명에 따른 블록 오류 고속검출 방법 및 장치는 비디오 내에 포함된 물체의 윤곽을 따라서 긴 네모 형태로 분포하는 블록 오류를 검출할 수 있다.
본 발명의 목적은 비디오 내에 포함된 블록 오류를 프레임 단위로 정확하게 검출하기 위한 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은 비디오 내의 전체 프레임을 일일이 검사하여 블록 오류를 검사하는 대신 고속의 코너 검출 후 검출된 코너 수의 변화량을 검사하여 후보 프레임을 선정하고, 선정된 후보 프레임에 대해서만 블록 오류 인식 기술을 이용하여 정확하게 블록 오류가 포함된 프레임을 검출해 내는 2단계를 거침으로써 고속의 블록 오류를 검출하는 방법 및 장치를 제공하는 것이다.
일 측면에 있어서, 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법은, 입력 비디오를 프레임별로 디코딩하는 단계; 디코딩된 프레임들 각각의 코너수를 검출하는 단계; 프레임별 코너수의 변화량에 기초하여 블록 오류가 포함된 후보 프레임을 결정하는 단계; 및 상기 후보 프레임에 기 학습된 블록 오류 분류기를 적용하여 상기 후보 프레임에 블록 오류가 인식되는지를 판단하는 단계를 포함한다.
일 측면에 있어서, 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 장치는, 입력 비디오를 프레임별로 디코딩하는 비디오 입력부; 디코딩된 프레임들 각각의 코너수를 검출하는 코너수 검출부; 프레임별 코너수의 변화량에 기초하여 블록 오류가 포함된 후보 프레임을 결정하는 후보프레임 검출부; 및 상기 후보 프레임에 기 학습된 블록 오류 분류기를 적용하여 상기 후보 프레임에 블록 오류가 인식되는지를 판단하는 블록 오류 인식부를 포함한다.
본 발명을 통해 비디오 내에 포함된 블록 오류를 프레임 단위로 정확하게 고속 검출 하는 것이 가능하게 된다. 이것은 비디오 내에 블록 오류가 있는지를 사람이 일일이 육안 검사하는 방법보다 훨씬 정확하며 고속으로 검사하는 것이 가능하다. 육안 검사의 경우 VCR 등을 통해 재생하면서 오류 발생 의심 구간은 반복 재생하거나 천천히 재생하는 등의 방법으로 검사할 수 밖에 없어 검사 시간이 길어진다. 하지만 본 발명 장치를 사용하면, 이러한 불편 없이 고속검사가 가능한 것으로 확인되었다.
도 1은 비디오 오류의 예시들을 나타내는 도면이다.
도 2는 비디오 내의 blocking artifact 또는 blockiness 오류의 예시를 나타내는 도면이다.
도 3은 본 발명에서 검출하고자 하는 블록 오류의 다양한 예시들을 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 장치의 구성을 나타내는 도면이다.
도 5는 흑백영상에서 코너 후보 영역을 설명하기 위한 예시도이다.
도 6은 프레임별 코너수의 변화량을 나타낸 그래프의 예시도들이다.
도 7은 코너수가 많은 물체가 포함된 영상의 예시도들이다.
도 8은 본 발명의 일 실시예에 따른 Haar-like features의 마킹들의 예를 나타내는 도면이다.
도 9는 Haar-like features의 마킹들이 영상에 적용된 예들을 나타내는 도면이다.
도 10은 본 발명의 실시예에 따른 블록 오류 분류기에 적용 가능한 영상 집단들의 예들을 나타내는 도면이다.
도 11은 본 발명의 일 실시예에 따른 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 실시 예에 따른 사용자 인터페이스 화면의 예를 나타낸다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 4는 본 발명의 일 실시예에 따른 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 장치의 구성을 나타내는 도면이다.
도 4를 참조하면, 장치(400)는 비디오 입력부(410), 흑백영상 변환기(420), 코너수 검출부(430), 후보 프레임 검출부(440) 및 블록 오류 인식부(450)를 포함한다.
비디오 입력부(410)는 입력 비디오를 프레임별로 디코딩한다.
흑백영상 변환기(420)는 상기 디코딩된 프레임들 각각을 흑백영상으로 변환하고, 흑백영상으로 변환된 프레임들 각각을 코너수 검출부(430)로 제공한다. 만일, 입력 비디오가 흑백 영상인 경우에는 흑백영상 변환기(420)는 장치(400)에 포함되지 않을 수 있다.
코너수 검출부(430)는 디코딩된 프레임들 각각의 코너수를 검출한다. 코너 수를 검출하는 방법은 다양한 방식을 이용할 수 있다. 예를 들어, 코너 수를 검출하는 방법은 문헌 [M. Trajkovic and M. Hedley, "Fast corner detection", Image and Vision Computing 16 (2): 75-87, 1998] 및 [E. Rosten and T. Drummond, "Machine learning for high-speed corner detection", European Conference on Computer Vision, May. 2006]에 개시된 방법을 사용할 수 있다. 코너 수의 검출을 위한 구체적인 예는 도 5를 통해 설명하기로 한다.
후보 프레임 검출부(440)는 프레임별 코너수의 변화량에 기초하여 블록 오류가 포함된 후보 프레임을 결정한다.
이때, 후보 프레임 검출부(440)는 연속된 프레임에서 코너수의 변화가 임펄스의 형태로 나타나는 지를 기준으로 상기 후보 프레임을 결정할 수 있다. 또한, 후보 프레임 검출부(440)는 n-1 번째 프레임, n번째 프레임 및 n+1번째 프레임의 코너수 변화가 임펄스 형태로 나타나면, 상기 n번째 프레임을 상기 후보 프레임으로 결정할 수 있다. 이때, 상기 임펄스의 형태는, 연속적으로 입력되는 N개의 프레임을 대상으로, 코너수의 표준편차 및 코너수의 평균을 고려하여 코너 수 변화율에 따른 임계치 비교로서 검출될 수 있다.
후보 프레임 검출을 위해 임펄스의 형태를 결정하는 구체적인 예는 도 6을 통해 상세히 설명하기로 한다.
블록 오류 인식부(450)는 후보 프레임에 기 학습된 블록 오류 분류기를 적용하여 상기 후보 프레임에 블록 오류가 인식되는지를 판단한다. 이때, 상기 기 학습된 블록 오류 분류기는, Adaboost 인식 알고리즘을 이용하여 블록 오류 영상 집단을 학습시킨 분류기일 수 있다. Adaboost 인식 알고리즘을 이용하여 블록 오류 영상 집단을 학습시키는 방법 및 블록 오류 인식 방법에 대한 구체적인 설명은 후술하기로 한다.
도 5는 흑백영상에서 코너 후보 영역을 설명하기 위한 예시도이다.
도 5에서, P를 중심으로 한 주변 화소 1~16은 P를 둘러싼 대략적인 원을 만들었을 때 그 원의 근사적인 테두리 화소이다. 중심 P보다 밝거나 어두운 연속적인 12개의 화소가 존재하는 경우, P는 코너가 될 수 있다. 도 5에서 왼쪽 영상 내의 사각형으로 표시된 부분은 270ㅀ의 연속적인 밝은 화소가 존재하고, 90ㅀ의 연속적인 어두운 화소가 존재하여 코너가 된다.
코너를 검출하는 방법은 특별히 제한되지 않으며, 도 5의 우측 영상에서 1, 5, 9, 13에 위치한 화소값을 우선 검사하거나, 학습 방법을 통한 고속 코너 검출 방법 등 다양한 코너 검출 방법이 적용될 수 있다.
본 발명의 발명자들은, 블록 오류가 포함된 비디오 프레임에서는 코너 수가 순간적으로 급격하게 증가함을 인식하였다. 이러한 현상은 시간상으로 코너 수를 열거한 그래프 상으로는 임펄스의 형태로 나타나며 도 6의 (b) 내지 (c)에 도시된 바와 같다.
도 6은 프레임별 코너수의 변화량을 나타낸 그래프의 예시도들이다.
도 6에서 (a)는 블록 오류가 없는 정상적인 비디오의 경우 시간 증가에 따른 코너 수 그래프이다. 여기서, "시간"이란 표현은, 시간적으로 연속된 프레임들과 동일한 의미이다.
도 6에서 (b)는 블록 오류가 포함된 비디오의 시간 증가에 따른 코너 수의 그래프이다. 블록 오류로 인하여, 시간(프레임)-코너 수 그래프에 임펄스들(601, 603)이 존재함을 알 수 있다. 이와 같이 시간(프레임)-코너 수 그래프에 임펄스의 형태가 나타나면, 임펄스가 발생한 프레임은 후보 프레임이 될 수 있다.
도 6에서 (c)는 코너가 많은 물체가 영상에 포함된 경우 유사 임펄스(605)가 발생하는 경우를 나타낸다.
코너 수가 많은 물체가 포함된 영상의 예들은 도 7에 도시된 바와 같다. 코너 수가 많은 물체가 포함된 영상은 오 검출의 원인이다.
도 6의 (b)에서, 임펄스를 검출하는 방법으로 하나의 임계치 (threshold) 값만을 사용하게 되면 특정 화면에서는 블록 오류 임펄스보다 높은 값을 가지는 경우도 있어 정확하게 임펄스 검출을 할 수 없다. 따라서, 본 발명은 시간대별(프레임별) 능동형 임펄스 검출 방법을 사용한다.
능동형 임펄스 검출 방법은 코너 수의 표준편차와 평균을 감안한 코너 수 변화율에 따른 임계 비교로서 임펄스 신호를 검출하는 것이다.
후보 프레임 검출부(440)는 능동형 임펄스 검출 방법을 수행하기 위해, 연속적으로 입력되는 N개의 프레임을 대상으로 수학식 1과 같이 코너 수의 합, 평균, 표준편차를 계산할 수 있다.
[수학식 1]
Figure 112011079608871-pat00001
여기에서
Figure 112011079608871-pat00002
은 시간으로 나열된 코너 수를,
Figure 112011079608871-pat00003
,
Figure 112011079608871-pat00004
,
Figure 112011079608871-pat00005
는 i번째 프레임에서의 N 프레임 윈도에 대한 코너 수의 합, 평균, 표준 편차를 나타낸다.
후보 프레임 검출부(440)는 경계 변화율 B i 가 임계값 B T 보다 큰 지 여부로 임펄스인지를 결정할 수 있다. 즉, 코너 수의 변화가 임펄스의 형태로 나타나는 지의 여부는 경계 변화율 B i 가 임계값 B T 보다 큰 지 여부로 임펄스인지를 결정할 수 있다.
여기서, B i 는 하기 [수학식 2]으로 정의될 수 있다.
[수학식 2]
Figure 112011079608871-pat00006
N은 프레임 개수,
Figure 112011079608871-pat00007
는 가중치 상수를 나타낸다.
후보 프레임 검출부(440)는 코너 수의 변화율을 한번 더 검사하여, 하기 [수학식 3]에서 V before 및 V after 가 기설정된 상수 V TL 보다 작은 임펄스는 상기 임펄스의 형태에서 제외할 수 도 있다.
[수학식 3]
Figure 112011079608871-pat00008

Adaboost 인식 알고리즘을 이용한 분류기 생성 및 블록 오류 인식 방법
일반적인 인식 알고리즘의 경우 학습된 결과만을 적용하더라도 많은 연산이 요구되며 HD급 콘텐츠와 같은 고화질 비디오에서의 고속 처리에 부적합하다.
임펄스를 검출하는 과정에서 검출된 프레임은 전체 비디오에서 극히 일부만 해당되며, 블록 오류 인식부(450)는 이러한 최소한의 검출된 후보 프레임에 대하여 인식 알고리즘을 적용 할 수 있다.
인식 알고리즘 사용 예로 Adaboost를 들 수 있다. Adaboost는 학습에 의하여 단지 두 집단에 대한 인식을 가능케 하는 알고리즘이다. 즉, 블록 오류 영상 집단과 유사 영상 집단을 판별하기 위하여 Adaboost 알고리즘을 사용할 수 있다. 도 10은 본 발명의 실시예에 따른 블록 오류 분류기에 적용 가능한 영상 집단들의 예들을 나타내는 도면이다.
Adaboost 인식 방법은 [Yoav Freund, Robert E. Schapire, "A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting", 1995]에 상세히 기술되어 있으며, 아래와 같은 정의가 도출될 수 있다.
Figure 112011079608871-pat00009
Adaboost의 입력 파라미터로 자주 사용되는 Haar-like features은 [Viola, P.; Jones, M., "Rapid Object Detection Using a Boosted Cascade of Simple Features", IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR), ISSN: 1063-6919, Vol. 1, pp. 511-518, December 2001]에 개시된 방법을 사용할 수 있다. Haar-like features를 고속 연산하기 위하여 고안된 Integral Image의 방법 역시, 상기 문헌에 개시된 내용을 이용할 수 있다.
다만, 본 발명에서 Haar-like features는 블록 오류의 형태를 인식하기 위한 적어도 하나의 마킹 및 블록 오류의 질감을 인식하기 위한 마킹을 포함한다.
Haar-like Feature 값은 아래의 수학식 4를 통하여 결정될 수 있다.
[수학식 4]
Figure 112011079608871-pat00010
또한, S n 을 생성하기 수식은 수학식 5와 같이 정의될 수 있으며, I(x, y)는 흑백 영상을 나타낸다.
[수학식 5]
Figure 112011079608871-pat00011
S n 은 각 블록 안에서의 에너지를 나타내는데, 블록 내부의 모든 화소 값의 합에 해당 된다. 이때 case 0 ∼ case 4 Haar-like features를 32x32 블록 내에 크기와 위치를 달리 배치한 2832개의 특징을 산출하는 데는 엄청난 연산을 필요로 한다. 훈련 과정에서의 연산량은 실제 인식 과정에서 영향을 미치지는 않으나, Haar-like feature의 경우 인식과정에 입력인자로 사용되어야 함으로 Integral Image를 사용하는 방법으로 연산할 수 있다.
도 8은 본 발명의 일 실시예에 따른 Haar-like features의 마킹들의 예를 나타내는 도면이고, 도 9는 Haar-like features의 마킹들이 영상에 적용된 예들을 나타내는 도면이다.
도 8 및 도 9에 도시된 예에서, 블록 오류 인식부(450)는 2832 개의 Haar-like Feature를 산출 함에 있어, Case 0, Case 1, Case 2, Case 3의 경우 형태를 인식 가능하도록 인식 블록 안에 크게 배치하고, Case 4는 질감을 인식 가능하도록 인식 블록 안에 작게 배치할 수 있다.
도 8 및 도 9에 도시된 바와 같이, 본 발명에 따른 실시예는 블록 오류의 형태를 인식하기 위한 적어도 하나의 마킹 및 블록 오류의 질감을 인식하기 위한 마킹을 포함할 수 있다.
이때, 블록 오류의 형태를 인식하기 위한 적어도 하나의 마킹(즉, Case 3)는 블록 내 화이트 영역에 적용되는 사각 형태의 S1 및 상기 S1을 감싸는 사각 형태의 S2를 포함한다.
분류기를 생성하기 위한 학습 예에서, 인식 블록 크기인 32x32 블록 오류 영상 집단 5000개와 유사 영상집단 8000개에 대하여 case 0 ~ case 4의 2832 차원 특징 값을 입력하여 T=50으로 하여 학습을 시킬 수 도 있다. 학습을 통해 만들어진 강 분류기에 비디오 흑백영상을 입력하여 32x32 블록으로 나누어 산출된 case 0 ~ case 4의 2832 차원 특징 값을 입력하여, 블록 오류인 경우와 아닌 경우를 분류 할 수 있다.
도 11은 본 발명의 일 실시예에 따른 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법을 설명하기 위한 흐름도이다.
도 11에 도시된 방법은 도 4에 도시된 장치(400)에 의해 수행될 수 있다.
1110단계에서 장치(400)는 입력 비디오를 프레임별로 디코딩한다. 이때, 장치(400)는 상기 디코딩된 프레임들 각각을 흑백영상으로 변환하는 단계(1115)를 더 수행할 수 있다. 만일, 입력 비디오가 흑백 영상인 경우에는 디코딩된 프레임들 각각을 흑백영상으로 변환하는 단계는 생략될 수 있다.
1120단계에서 장치(400)는 디코딩된 프레임들 각각의 코너수를 검출한다.
1130단계에서 장치(400)는 블록 오류가 포함된 후보 프레임이 존재하는 지를 검사한다. 즉, 1130단계에서 장치(400)는 프레임별 코너수의 변화량에 기초하여 블록 오류가 포함된 후보 프레임을 결정한다. 만일 후보 프레임이 존재하지 않으면, 모든 프로세스는 종료된다.
이때, 후보 프레임인지의 여부는 연속된 프레임에서 코너수의 변화가 임펄스의 형태로 나타나는 지를 기준으로 결정될 수 있다. 예를 들어, 장치(400)는 n-1 번째 프레임, n번째 프레임 및 n+1번째 프레임의 코너수 변화가 임펄스 형태로 나타나면, 상기 n번째 프레임을 상기 후보 프레임으로 결정할 수 있다.
또한, 도 5를 통해 설명한 바와 같이, 임펄스의 형태는, 연속적으로 입력되는 N개의 프레임을 대상으로, 코너수의 표준편차 및 코너수의 평균을 고려하여 코너 수 변화율에 따른 임계치 비교로서 검출될 수 있다.
1140단계에서 장치(400)는 후보 프레임에 기 학습된 블록 오류 분류기를 적용하여 블록 오류 인식 과정을 수행한다. 여기서, 기 학습된 블록 오류 분류기는,
Adaboost 인식 알고리즘을 이용하여 블록 오류 영상 집단을 학습시킨 분류기일 수 있다. 즉, 기 학습된 블록 오류 분류기는 Adaboost 인식 알고리즘이고, 상기 Adaboost 인식 알고리즘의 입력 파라미터로 사용되는 Haar-like features는, 블록 오류의 형태를 인식하기 위한 적어도 하나의 마킹 및 블록 오류의 질감을 인식하기 위한 마킹을 포함할 수 있다.
1150단계에서 장치(400)는 후보 프레임에 블록 오류가 인식되는지를 판단한다. 만일, 후보 프레임에 블록 오류가 존재하지 않으면, 모든 프로세스는 종료된다.
만일, 후보 프레임에 블록 오류가 존재하면 장치(400)는 1160단계에서 해당 프레임에 대한 오류 검출 보고를 출력할 수 있다.
실험 예
SD급 300초 길이, HD급 2438초 길이의 샘플 콘텐츠를 대상으로 인텔 제온 2.66GHz 6코어 2CPU, 12GB 메모리, 윈도우즈 서버 2008 컴퓨터에서 본 발명에 따른 방법을 구현하고, 그 실험 결과를 <표 1>에 나타내었다. SD급의 경우 실시간 대비 2.3배속 가량의 고속 검사가 가능하고 HD의 경우에도 0.8배속 수준의 고속 검사가 가능함을 확인하였다.
<표 1> 검사 속도 실험 결과
Figure 112011079608871-pat00012

도 12는 본 발명의 실시 예에 따른 사용자 인터페이스 화면의 예를 나타낸다.
도 12를 참조하면, 사용자 인터페이스를 통해 비디오 내의 블록 오류가 발생한 지점의 영상을 썸네일 형태와 프레임 넘버가 표시되고, 사용자는 썸네일 형태의 영상 및 프레임 넘버를 확인할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (9)

  1. 입력 비디오를 프레임별로 디코딩하는 단계;
    디코딩된 프레임들 각각의 코너수를 검출하는 단계;
    프레임별 코너수의 변화량에 기초하여 블록 오류가 포함된 후보 프레임을 결정하는 단계; 및
    상기 후보 프레임에 기 학습된 블록 오류 분류기를 적용하여 상기 후보 프레임에 블록 오류가 인식되는지를 판단하는 단계를 포함하는,
    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법.
  2. 제1항에 있어서,
    상기 후보 프레임을 결정하는 단계는,
    연속된 프레임에서 코너수의 변화가 임펄스의 형태로 나타나는 지를 기준으로 결정되는,
    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법.
  3. 제2항에 있어서,
    상기 후보 프레임을 결정하는 단계는,
    n-1 번째 프레임, n번째 프레임 및 n+1번째 프레임의 코너수 변화가 임펄스 형태로 나타나면, 상기 n번째 프레임을 상기 후보 프레임으로 결정하는,
    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법.
  4. 제2항에 있어서,
    상기 임펄스의 형태는,
    연속적으로 입력되는 N개의 프레임을 대상으로, 코너수의 표준편차 및 코너수의 평균을 고려하여 코너 수 변화율에 따른 임계치 비교로서 검출되는,
    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법.
  5. 제2항에 있어서,
    상기 임펄스의 형태로 나타나는 지의 여부는,
    경계 변화율 B i 가 임계값 B T 보다 큰 지 여부로 결정되고,
    B i 는 하기 [수학식 1]으로 정의되고,
    [수학식 1]
    Figure 112011079608871-pat00013

    여기서,
    Figure 112011079608871-pat00014
    이고,
    Figure 112011079608871-pat00015
    ,
    Figure 112011079608871-pat00016
    ,
    Figure 112011079608871-pat00017
    은 시간으로 나열된 코너의 개수, N은 프레임 개수,
    Figure 112011079608871-pat00018
    는 가중치 상수,
    Figure 112011079608871-pat00019
    이고,
    하기 [수학식 2]에서 V before 및 V after 가 기설정된 상수 V TL 보다 작은 임펄스는 상기 임펄스의 형태에서 제외되는,
    [수학식 2]
    Figure 112011079608871-pat00020

    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법.
  6. 제1항에 있어서,
    상기 기 학습된 블록 오류 분류기는,
    Adaboost 인식 알고리즘을 이용하여 블록 오류 영상 집단을 학습시킨 분류기임을 특징으로 하는,
    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법.
  7. 제1항에 있어서,
    상기 기 학습된 블록 오류 분류기는 Adaboost 인식 알고리즘이고,
    상기 Adaboost 인식 알고리즘의 입력 파라미터로 사용되는 Haar-like features는,
    블록 오류의 형태를 인식하기 위한 적어도 하나의 마킹 및 블록 오류의 질감을 인식하기 위한 마킹을 포함하는,
    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법.
  8. 제7항에 있어서,
    상기 블록 오류의 형태를 인식하기 위한 적어도 하나의 마킹은,
    블록 내 화이트 영역에 적용되는 사각 형태의 S1 및 상기 S1을 감싸는 사각 형태의 S2를 포함하는,
    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법.
  9. 입력 비디오를 프레임별로 디코딩하는 비디오 입력부;
    디코딩된 프레임들 각각의 코너수를 검출하는 코너수 검출부;
    프레임별 코너수의 변화량에 기초하여 블록 오류가 포함된 후보 프레임을 결정하는 후보프레임 검출부; 및
    상기 후보 프레임에 기 학습된 블록 오류 분류기를 적용하여 상기 후보 프레임에 블록 오류가 인식되는지를 판단하는 블록 오류 인식부를 포함하는,
    코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 장치.
KR1020110103952A 2011-10-12 2011-10-12 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치 KR101268701B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110103952A KR101268701B1 (ko) 2011-10-12 2011-10-12 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110103952A KR101268701B1 (ko) 2011-10-12 2011-10-12 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20130039425A KR20130039425A (ko) 2013-04-22
KR101268701B1 true KR101268701B1 (ko) 2013-06-04

Family

ID=48439611

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110103952A KR101268701B1 (ko) 2011-10-12 2011-10-12 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101268701B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101470191B1 (ko) * 2013-07-10 2014-12-05 한국방송공사 지역적 극대 필터 및 지역적 극소 필터를 이용한 비디오 내의 블록 오류 고속 검출 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060058703A (ko) * 2003-08-06 2006-05-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 블럭 아티팩트 검출
KR20100065045A (ko) * 2008-12-05 2010-06-15 한국전자통신연구원 감소 기준법 기반의 블록 왜곡 측정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060058703A (ko) * 2003-08-06 2006-05-30 코닌클리케 필립스 일렉트로닉스 엔.브이. 블럭 아티팩트 검출
KR20100065045A (ko) * 2008-12-05 2010-06-15 한국전자통신연구원 감소 기준법 기반의 블록 왜곡 측정 방법

Also Published As

Publication number Publication date
KR20130039425A (ko) 2013-04-22

Similar Documents

Publication Publication Date Title
US8608073B2 (en) System and method for robust real-time 1D barcode detection
Fang et al. No-reference quality assessment of contrast-distorted images based on natural scene statistics
US8699818B2 (en) Method, system, and program for determining image quality based on pixel changes between image frames
Choi et al. High efficiency compression for object detection
US8582915B2 (en) Image enhancement for challenging lighting conditions
US8923554B2 (en) Information processing device, recognition method thereof and non-transitory computer-readable storage medium
CN112990191A (zh) 一种基于字幕视频的镜头边界检测与关键帧提取方法
Bidokhti et al. Detection of regional copy/move forgery in MPEG videos using optical flow
CN108665417B (zh) 一种车牌图像去模糊方法、装置及系统
CN110009621B (zh) 一种篡改视频检测方法、装置、设备及可读存储介质
US20170103536A1 (en) Counting apparatus and method for moving objects
JP5950605B2 (ja) 画像処理システム、及び、画像処理方法
CN113627306A (zh) 关键点处理方法及装置、可读存储介质、终端
US8311269B2 (en) Blocker image identification apparatus and method
CN111027564A (zh) 基于深度学习一体化的低照度成像车牌识别方法及装置
Xiong et al. Face region based conversational video coding
KR101268701B1 (ko) 코너 정보 및 인식 기술을 이용한 비디오 내의 블록 오류 고속검출 방법 및 장치
KR101667011B1 (ko) 입체 영상의 장면 전환 검출 장치 및 방법
EP3139341A1 (en) Methods, systems and apparatus for specular highlight reconstruction
WO2019150649A1 (ja) 画像処理装置および画像処理方法
EP3681158A1 (en) Code rate control method and apparatus, image acquisition device, and readable storage medium
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
CN111726620A (zh) 一种监控视频背景帧的编码方法、装置、电子设备及介质
CN115239551A (zh) 视频增强方法和装置
Ardizzone et al. Multidirectional scratch detection and restoration in digitized old images

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee