KR101979492B1 - 해상도에 따른 적응적 장면 전환 감지 방법 및 장치 - Google Patents

해상도에 따른 적응적 장면 전환 감지 방법 및 장치 Download PDF

Info

Publication number
KR101979492B1
KR101979492B1 KR1020170018651A KR20170018651A KR101979492B1 KR 101979492 B1 KR101979492 B1 KR 101979492B1 KR 1020170018651 A KR1020170018651 A KR 1020170018651A KR 20170018651 A KR20170018651 A KR 20170018651A KR 101979492 B1 KR101979492 B1 KR 101979492B1
Authority
KR
South Korea
Prior art keywords
scene change
block
current frame
blocks
change candidate
Prior art date
Application number
KR1020170018651A
Other languages
English (en)
Other versions
KR20180092652A (ko
Inventor
정제창
배창영
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020170018651A priority Critical patent/KR101979492B1/ko
Publication of KR20180092652A publication Critical patent/KR20180092652A/ko
Application granted granted Critical
Publication of KR101979492B1 publication Critical patent/KR101979492B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/188—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a video data packet, e.g. a network abstraction layer [NAL] unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

적응적 장면 전환 감지 방법 및 장치가 개시된다. 적응적 장면 전환 감지 방법은 현재 프레임과 상기 현재 프레임의 이전 프레임 각각에서 휘도 성분을 추출하는 단계, 상기 현재 프레임과 상기 이전 프레임 각각에서 해상도에 따라 미리 결정된 블록을 기초로 상기 휘도 성분에 대하여 이진 부호화를 수행하는 단계, 이진 부호화된 상기 현재 프레임과 상기 이전 프레임의 휘도 성분에 대해 대응 블록끼리 비교하여 상기 현재 프레임의 장면 전환 후보 블록을 결정하는 단계 및 상기 장면 전환 후보 블록에 대하여 방향성 분포 분석을 수행하여 장면 전환 블록을 선정하는 단계를 포함한다. 따라서, 해상도에 따라 적응적으로 장면 전환 감지를 수행할 수 있다.

Description

해상도에 따른 적응적 장면 전환 감지 방법 및 장치{METHOD FOR ADAPTIVE SCENE CHANGE DETECTION BASED ON RESOLUTION AND APPARATUS FOR THE SAME}
본 발명은 해상도에 따른 적응적 장면 전환 감지 방법 및 장치에 관한 것으로, 더욱 상세하게는 해상도에 따라 장면 전환 블록의 크기를 적응적으로 결정하고, 장면전환을 판단하는 기준이 되는 임계값을 적응적으로 결정하는 장면 전환 감지 방법 및 장치에 관한 것이다.
최근 많이 사용되는 LCD(Liquid Crystal Display)는 각 프레임 당 오래 화면을 유지하여 다음 프레임까지 영향을 주는 Hold-type display 특성을 가진다. 이 때문에 새로운 프레임에서 직전 프레임과 겹쳐진 잔상이 나타나는 이른바 동작 흐림 현상(motion blur effect)이 나타나 화질 저하의 원인이 되고 있다.
이러한 현상의 해결책으로서 프레임율 증강 기법(Frame Rate Up Conversion, FRUC)이 제안되었는데, 그러한 프레임율 증강 기법에서 가장 많이 사용되는 것은 움직임을 고려한 움직임 보상 프레임율 증강 기법이다. 이러한 움직임 보상 프레임율 증강 기법은 움직임 예측 및 보상을 통하여 인접 프레임 사이에 보간 프레임을 생성하여 추가하는 기법이지만, 갑작스럽게 물체가 나타나거나 새로운 장면으로 바뀌는 장면 전환이 이루어지는 때에는 움직임 예측으로 보간 프레임을 생성하기 어려운 문제가 있어 장면 전환을 감지하는 기법이 요구된다.
그뿐 아니라, 방대한 동영상으로부터 사용자가 필요한 정보를 찾는 것이 용이하도록 하는 비디오 색인에도 장면 전환을 감지하는 것은 중요한 기술에 해당한다.
기존의 장면 전환 연구는 다양한 기법이 있는데, 예를 들면 인접 프레임 비교를 통하여 프레임간의 변화를 측정하기 위해 프레임의 픽셀, 히스토그램, 에지 성분, 텍스처, 모션, DCT 정보 등 다양한 특징 정보를 사용한다.
인접 프레임 비교를 통한 장면 전환을 감지하는 방법의 기본 원리는 인접 프레임간의 특징값 차이가 미리 정해진 임계값(Threshold)을 초과하는 경우에 이를 장면 전환으로 감지하는 것이고, 따라서 효과적인 장면 전환을 감지하기 위해서는 적절한 임계값을 선택하는 것이 중요한 사항이 된다. 그러나 기존의 대부분의 기술은 고정된 임계값을 주로 사용하므로 고품질의 영상일수록 성능 저하가 심해질 수 있고, 해상도에 따른 정확한 장면 감지가 어려운 문제점이 있다.
또한, 블록 간 비교에서도 고정된 블록 크기를 사용하기 때문에 영상의 품질에 따른 장면 감지가 어려운 문제점이 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 적응적 장면 전환 감지 방법을 제공하는데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 적응적 장면 전환 감지 장치를 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명은, 적응적 장면 전환 감지 방법을 제공한다.
여기서, 적응적 장면 전환 감지 방법은, 현재 프레임과 현재 프레임의 이전 프레임 각각에서 휘도 성분을 추출하는 단계, 현재 프레임과 이전 프레임 각각에서 해상도에 따라 미리 결정된 블록을 기초로 휘도 성분에 대하여 이진 부호화를 수행하는 단계, 이진 부호화된 현재 프레임과 이전 프레임의 휘도 성분에 대해 대응 블록끼리 비교하여 현재 프레임의 장면 전환 후보 블록을 결정하는 단계 및 장면 전환 후보 블록에 대하여 방향성 분포 분석을 수행하여 장면 전환 블록을 선정하는 단계를 포함한다.
여기서, 휘도 성분을 추출하는 단계 이후에, 저역 통과 필터를 이용하여 현재 프레임과 이전 프레임에서 추출된 각각의 휘도 성분을 필터링하는 단계를 더 포함할 수 있다.
여기서, 해상도에 따라 미리 결정된 블록은, 현재 프레임의 가로 해상도에 비례한 크기를 갖도록 결정될 수 있다.
여기서, 해상도에 따라 미리 결정된 블록은, 아래의 수학식에 의해 결정된 블록 폭(BkSize)을 이용하여 BkSize× BkSize 의 크기를 갖도록 결정되고,
Figure 112017014027613-pat00001
여기서 Video_reso_width는 현재 프레임의 가로 해상도일 수 있다.
여기서, 장면 전환 후보 블록을 결정하는 단계는, 현재 프레임의 블록과 이전 프레임의 블록 간 픽셀 값 차이의 평균을 제1 임계값과 비교하여 결정하는 단계를 포함할 수 있다.
여기서, 장면 전환 후보 블록을 결정하는 단계는, 현재 프레임의 블록과 이전 프레임의 블록 상호간 픽셀 값을 XOR 연산하고, XOR(exclusive OR, 배타적논리합) 연산한 값의 평균을 제2 임계값과 비교하여 결정하는 단계를 포함할 수 있다.
여기서, 제1 임계값은, 미리 결정된 블록의 크기에 따라 적응적으로 결정될 수 있다.
여기서, 제1 임계값은, 미리 결정된 블록의 크기가 클수록 선형적으로 증가할 수 있다.
여기서, 장면 전환 후보 블록을 결정하는 단계 이후에, 결정된 장면 전환 후보 블록을 쿼드 트리로 분할하고, 분할된 각 블록을 그와 대응되는 이전 프레임의 블록과 비교하여 장면 전환 후보 블록을 선별하는 단계를 더 포함할 수 있다.
여기서, 장면 전환 후보 블록을 결정하는 단계 이후에, 장면 전환 후보 블록 중에서 움직임 추정을 통하여 예측이 가능한 블록은 제외하여, 장면 전환 후보 블록을 재구성하는 단계를 더 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 다른 측면은, 적응적 장면 전환 감지 장치를 제공한다.
여기서, 적응적 장면 전환 감지 장치는, 적어도 하나의 명령(instruction)을 실행하는 프로세서(processor) 및 적어도 하나의 명령을 저장하는 메모리(memory)를 포함한다.
여기서, 프로세서는, 현재 프레임과 현재 프레임의 이전 프레임 각각에서 휘도 성분을 추출하고, 현재 프레임과 이전 프레임 각각에서 해상도에 따라 미리 결정된 블록을 기초로 휘도 성분에 대하여 이진 부호화를 수행하고, 이진 부호화된 현재 프레임과 이전 프레임을 미리 결정된 블록의 대응 블록끼리 비교하여 현재 프레임의 장면 전환 후보 블록을 결정하고, 장면 전환 후보 블록에 대하여 방향성 분포 분석을 수행하여 장면 전환 블록을 선정할 수 있다.
여기서, 프로세서는, 저역 통과 필터를 이용하여 현재 프레임과 이전 프레임에서 추출된 각각의 휘도 성분을 필터링할 수 있다.
여기서, 해상도에 따라 미리 결정된 블록은, 현재 프레임의 가로 해상도에 비례한 크기를 갖도록 결정될 수 있다.
여기서, 해상도에 따라 미리 결정된 블록은, 아래의 수학식에 의해 결정된 블록 폭(BkSize)을 이용하여 BkSize× BkSize 의 크기를 갖도록 결정되고,
Figure 112017014027613-pat00002
여기서 Video_reso_width는 현재 프레임의 가로 해상도일 수 있다.
여기서, 프로세서는, 현재 프레임의 블록과 이전 프레임의 블록 간 픽셀 값 차이의 평균을 제1 임계값과 비교하여 장면 전환 후보 블록을 결정할 수 있다.
여기서, 프로세서는, 현재 프레임의 블록과 이전 프레임의 블록 상호간 픽셀 값을 XOR 연산하고, XOR(exclusive OR, 배타적논리합) 연산한 값의 평균을 제2 임계값과 비교하여 장면 전환 후보 블록을 결정할 수 있다.
여기서, 제1 임계값은, 미리 결정된 블록의 크기에 따라 적응적으로 결정될 수 있다.
여기서, 제1 임계값은, 미리 결정된 블록의 크기가 클수록 선형적으로 증가할 수 있다.
여기서, 프로세서는, 결정된 장면 전환 후보 블록을 쿼드 트리로 분할하고, 분할된 각 블록을 그와 대응되는 이전 프레임의 블록과 비교하여 장면 전환 후보 블록을 선별할 수 있다.
여기서, 프로세서는, 장면 전환 후보 블록 중에서 움직임 추정을 통하여 예측이 가능한 블록은 제외하여, 장면 전환 후보 블록을 재구성할 수 있다.
상기와 같은 본 발명에 따른 적응적 장면 전환 감지 방법 및 장치를 이용할 경우에는 해상도에 따라 적응적으로 장면 전환 감지를 수행할 수 있다.
또한, 고해상도 영상에서 장면 전환 감지의 정확도를 향상시킬 수 있는 장점이 있다.
또한, 기존의 방법에 비하여 수행시간 및 신호대잡음비(Peak signal to Noise Ratio, PSNR)가 향상될 수 있다.
도 1은 본 발명의 일 실시예에 따른 적응적 장면 전환 감지 방법에 대한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 장면 전환을 결정하기 위하여 블록 간 비교 과정을 설명하기 위한 예시도이다.
도 3은 본 발명의 일 실시예에 따른 평균 픽셀 값을 이용하여 장면 전환 후보 블록을 결정하는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 XOR 연산을 이용하여 장면 전환 후보 블록을 결정하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 선형 회귀 분석을 통한 최적의 제1 임계값을 결정하는 그래프이다.
도 6은 본 발명의 일 실시예에 따른 장면 전환 후보 블록을 분할하는 과정에 대한 예시도이다.
도 7은 본 발명의 일 실시예에 따른 방향성 분포 분석을 설명하기 위한 예시도이다.
도 8은 본 발명의 일 실시예에 따른 적응적 장면 전환 감지 장치에 대한 구성도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 적응적 장면 전환 감지 방법에 대한 흐름도이다.
도 1을 참조하면, 적응적 장면 전환 감지 방법은 현재 프레임과 현재 프레임의 이전 프레임 각각에서 휘도 성분을 추출하는 단계(S100), 현재 프레임과 이전 프레임 각각에서 해상도에 따라 미리 결정된 블록을 기초로 휘도 성분에 대하여 이진 부호화를 수행하는 단계(S110), 이진 부호화된 현재 프레임과 이전 프레임의 휘도 성분에 대하여 대응 블록끼리 비교하여 현재 프레임의 장면 전환 후보 블록을 결정하는 단계(S120) 및 장면 전환 후보 블록에 대하여 방향성 분포 분석을 수행하여 장면 전환 블록을 선정하는 단계(S130)를 포함할 수 있다.
여기서, 휘도 성분을 추출하는 단계(S100) 이후에, 저역 통과 필터를 이용하여 현재 프레임과 이전 프레임에서 추출된 각각의 휘도 성분을 필터링하는 단계를 더 포함할 수 있다.
여기서, 저역 통과 필터를 이용하여 필터링하는 단계는 주위 픽셀 간의 갑작스런 변화를 완화하는 효과가 있을 수 있다.
여기서, 이진 부호화를 수행하는 단계(S110) 또는 장면 전환 후보 블록을 결정하는 단계(S120)에서는 블록 단위로 수행되기 때문에 블록의 크기에 따라 장면 감지 성능에 큰 영향을 줄 수 있다.
예를 들면, CIF(Common Intermediate Format) 형식의 비디오에 8×8 픽셀을 가지는 블록을 사용하는 경우 CIF 기준 해상도(352×288)에서 약 1500개의 블록이 생성될 수 있다. 그러나, HD(High Definition) 비디오인 경우에는 CIF 포맷과 비교하여 10배 이상 블록의 개수가 늘어나므로 장면 전환을 감지하는 복잡도가 크게 늘어날 수 있다. 따라서, 해상도에 따라 블록의 크기를 미리 결정하는 것이 유용할 수 있다.
따라서, 해상도에 따라 미리 결정된 블록은, 현재 프레임의 가로 해상도에 비례한 크기를 갖도록 결정될 수 있다.
여기서, 해상도에 따라 미리 결정된 블록은, 다음의 수학식 1에 의해 결정된 블록 폭(BkSize)을 이용하여 BkSize× BkSize 의 크기를 갖도록 결정될 수 있다.
Figure 112017014027613-pat00003
여기서, Video_reso_width는 프레임의 폭을 나타낼 수 있고,
Figure 112017014027613-pat00004
는 반올림으로 연산됨을 의미할 수 있다.
이처럼, 해상도에 따라 블록의 크기를 결정하면, Class C에 속하는 프레임 시퀀스(frame sequence)를 사용할 때, 832×480의 해상도를 가지므로 16×16의 블록 크기를 갖게 되며, 이 경우 8×8 및 32×32의 블록 크기일 때와 비교하면 장면 전환 감지 수행 시간이 각각 1.98%, 1.14% 감소할 수 있다.
위의 수학식 1에 따라 대표적인 해상도에 따른 블록 크기는 다음의 표 1과 같이 결정될 수 있다.
Figure 112017014027613-pat00005
여기서, 이진 부호화를 수행하는 단계(S110)를 구체적으로 설명하면 다음과 같다.
Figure 112017014027613-pat00006
수학식 2를 참조하면, 먼저 현재 프레임과 이전 프레임 내의 각 블록에 대해서 픽셀 평균값(
Figure 112017014027613-pat00007
)을 계산할 수 있다. 여기서, x와 y는 각 픽셀의 위치, N과 M은 블록 내 수직 및 수평 픽셀의 수를 의미할 수 있다.
Figure 112017014027613-pat00008
수학식 3을 참조하면, 앞에서 계산한 픽셀 평균값(
Figure 112017014027613-pat00009
)을 블록 내의 각 픽셀(pi,j(x,y)) 과 비교하여 각 픽셀값이 픽셀 평균값보다 크다면 1로, 그렇지 않으면 0으로 결정함으로써, 각 픽셀값을 이진화할 수 있고, 이러한 과정을 현재 프레임과 이전 프레임 각 블록에 대해서 수행하여 이진 부호화를 수행할 수 있다.
이하에서 장면 전환 후보 블록을 결정하는 단계(S120)에 대하여 도면을 참조하여 상세히 설명할 수 있다.
도 2는 본 발명의 일 실시예에 따른 장면 전환을 결정하기 위하여 블록 간 비교 과정을 설명하기 위한 예시도이다.
도 2를 참조하면, 이전 프레임(10)과 현재 프레임(20)은 각각 미리 결정된 블록으로 분할될 수 있으며, 이때 서로 같은 위치에 있는 블록끼리 장면 전환 여부를 판단하는 대응 블록이 될 수 있다.
따라서, 이전 프레임(10)에서 좌상단 첫번째 블록(11)과 현재 프레임(20)에서의 좌상단 첫번째 블록(21)이 서로 장면 전환을 판단하는 대응 블록이 될 수 있다.
도 3은 본 발명의 일 실시예에 따른 평균 픽셀 값을 이용하여 장면 전환 후보 블록을 결정하는 예시도이다.
도 3을 참조하면, 이전 프레임의 블록(11)과 현재 프레임의 블록(21)이 도 2에서의 설명과 같이 서로 대응관계에 있어 장면 전환을 감지하는 비교 블록에 해당한다고 할 때 각각의 블록에서 평균 픽셀 값을 도출할 수 있다.
도 3에서의 블록 내 이진 부호화 값을 이용하면, 이전 프레임의 블록(11)에 대해서는 평균 픽셀 값으로 0.5가 계산되고, 현재 프레임의 블록(21)에 대해서는 평균 픽셀 값으로
Figure 112017014027613-pat00010
이 계산될 수 있다. 두 블록 간 평균 픽셀 값의 차분을 구하면, 0.34375가 도출될 수 있고, 이 차이값을 제1 임계값과 비교함으로써 장면 전환 블록이 될 수 있는지 여부를 결정할 수 있다.
이를 수학식으로 정리하면 다음과 같다.
Figure 112017014027613-pat00011
수학식 4를 참조하면,
Figure 112017014027613-pat00012
는 이전 프레임의 해당 블록 평균 픽셀값이고,
Figure 112017014027613-pat00013
는 현재 프레임의 해당 블록 평균 픽셀값이며,
Figure 112017014027613-pat00014
는 비교되는 두 블록 간 평균 픽셀 값의 차분값일 수 있다.
여기서의 차분값을 이용하여 장면 전환 후보 블록을 결정하는 수학식은 다음과 같다.
Figure 112017014027613-pat00015
수학식 5를 참조하면, 두 블록 간 평균 픽셀 값의 차분값(
Figure 112017014027613-pat00016
)이 제1 임계값(T1) 보다 크면 해당 블록을 1로, 그렇지 않으면 0으로 지정함으로써 (i.j)에 위치한 블록(CBi,j)이 장면 전환 후보 블록인지 여부를 표현할 수 있다.
따라서 다시 도 1을 참조하면, 장면 전환 후보 블록을 결정하는 단계(S120)는, 현재 프레임의 블록과 이전 프레임의 블록 상호 간 픽셀 값 차이의 평균을 제1 임계값과 비교하여 결정하는 단계를 포함할 수 있다.
여기서, 평균 픽셀 값 차이만으로 장면 전환 후보 블록을 결정하는 것은 많은 오차를 내포할 수 있다. 따라서 장면 전환 후보 블록을 결정하는데 추가적인 지표를 고려할 필요가 있는데, 이진 부호화를 고려하여 XOR 연산을 통한 비교가 도움이 될 수 있다.
이하에서 이를 상세히 설명한다.
도 4는 본 발명의 일 실시예에 따른 XOR 연산을 이용하여 장면 전환 후보 블록을 결정하는 예시도이다.
도 4를 참조하면, 이전 프레임의 블록(11)과 현재 프레임의 블록(21)을 서로 XOR 연산함으로써 장면 전환 후보 블록을 결정할 수 있다.
구체적으로, XOR 연산을 블록 간 수행한 XOR 블록(22)이 도출될 수 있는데, 도출된 XOR 블록(22)의 이진 부호화된 픽셀값 평균을 구하여 장면 전환 후보 블록을 결정할 수 있다.
도 4에서의 이진 부호화 블록에서는 XOR 블록(22)의 픽셀 평균값으로 0.5가 도출될 수 있다.
이와 같이 도출된 픽셀 평균값을 제2 임계값과 비교하는 과정을 추가함으로써 장면 전환 후보 블록 더 정밀하게 결정할 수 있다.
이를 수학식으로 표현하면 다음과 같다.
Figure 112017014027613-pat00017
여기서,
Figure 112017014027613-pat00018
는 현재 프레임과 이전 프레임의 비교 블록 간 XOR 연산한 픽셀 평균값을 의미할 수 있고, 그밖의 부호는 앞에서의 수학식들에서 설명한 바와 동일할 수 있다.
이와 같이 XOR 연산을 추가로 고려하여 장면 전환 후보 블록은 다음과 같이 결정할 수 있다.
Figure 112017014027613-pat00019
수학식 7을 참조하면, 수학식 5에 따른 제1 임계값과의 비교 결과와 XOR 연산한 픽셀 평균값(
Figure 112017014027613-pat00020
)을 제2 임계값과 비교한 결과 모두가 제1임계값 및 제2 임계값보다 큰 경우에 해당 블록을 1로, 그렇지 않으면 0으로 지정함으로써 (i.j)에 위치한 블록(CBi,j)이 장면 전환 후보 블록인지 여부를 표현할 수 있다.
따라서 다시 도 1을 참조하면, 장면 전환 후보 블록을 결정하는 단계(S120)는, 현재 프레임의 블록과 이전 프레임의 블록 상호간 픽셀 값을 XOR(exclusive OR) 연산하고, XOR 연산한 값의 평균을 제2 임계값과 비교하여 결정하는 단계를 포함할 수 있다.
한편, 앞에서 제1 임계값을 고정된 값으로 사용하는 경우에는 장면 전환을 영상의 특성 또는 블록의 크기에 따라 적응적으로 결정할 수 없게 되므로 성능 저하가 있을 수 있다.
이를 고려하여 적응적인 임계값을 적용하는 것이 유리할 수 있고 이하에서 도면을 참조하여 설명할 수 있다.
도 5는 본 발명의 일 실시예에 따른 선형 회귀 분석을 통한 최적의 제1 임계값을 결정하는 그래프이다.
도 5를 참조하면, 제1 임계값을 블록 크기에 따라 적응적으로 결정할 수 있다.
구체적으로, 8×8, 16×16, 32×32 블록크기를 가질 때 두 블록 간 평균 픽셀 값의 차분값(
Figure 112017014027613-pat00021
)을 장면 전환 유무로 나누어 구함으로써 평균값을 구하고, 이 값을 바탕으로 선형 회귀 분석을 수행하여 최적의 제1 임계값을 결정할 수 있다.
이에 따른 선행 회귀 분석의 결과로서, 제1 임계값(T1)은 다음과 같이 결정될 수 있다.
Figure 112017014027613-pat00022
한편, 제1 임계값(T1)은 선형 회귀 분석을 수행하는 대상 및 횟수에 따라 다음과 같이 결정될 수도 있다.
Figure 112017014027613-pat00023
수학식 8 및 수학식 9를 정리하면, 제1 임계값은 미리 결정된 블록의 크기에 따라 적응적으로 결정될 수 있고, 구체적으로 제1 임계값은, 미리 결정된 블록의 크기가 클수록 선형적으로 증가할 수 있다.
이와 같이 장면 전환 후보 블록을 결정하고 여기서 장면 전환 후보 블록을 선정하게 되는데, 이때 장면 전환 후보 블록을 그대로 이용하는 것보다 더 작은 블록 단위로 선별하는 것이 유리할 수 있다.
예를 들면, 지역적 장면 전환이 일어나는 경우와 같이 장면 전환이 생기는 부분이 작은 경우 장면 전환 후보 블록의 크기를 더 작게 선정하는 것이 유리할 수 있다.
이하에서 도면을 참조하여 상세히 설명한다.
도 6은 본 발명의 일 실시예에 따른 장면 전환 후보 블록을 분할하는 과정에 대한 예시도이다.
도 6을 참조하면, 이전 프레임(10)과 현재 프레임(20)에서 선정된 장면 전환 후보 블록에 대하여 쿼드트리 분할을 설명할 수 있다.
구체적으로, 장면 전환 후보 블록을 쿼드 트리로 분할하면 다시 4개의 하위 블록(sub block)으로 분할할 수 있고, 이와 같이 분할된 하위 블록을 앞에서의 장면 전환 후보 블록을 결정하는 단계에서와 같이 제1 임계값 및/또는 제2 임계값과 비교함으로써 장면 전환 후보 블록을 선별할 수 있다.
즉 다시 도 1을 참조하면, 장면 전환 후보 블록을 결정하는 단계(S120) 이후에, 결정된 장면 전환 후보 블록을 쿼드 트리로 분할하고, 분할된 각 블록을 그와 대응되는 이전 프레임의 블록과 비교하여 장면 전환 후보 블록을 선별하는 단계를 더 포함할 수 있다.
또한, 움직임을 고려한 움직임 보상 프레임율 증강 기법에서와 같이 움직임 추정 및 보상으로 보간 프레임을 생성하는 것이 가능한 경우에는 장면 전환을 감지할 필요가 없을 수 있다. 따라서, 이러한 경우에는 장면 전환 후보 블록에서 제외하고 판단하는 것이 유리할 수 있다.
따라서, 장면 전환 후보 블록을 결정하는 단계(S120) 이후에, 장면 전환 후보 블록 중에서 움직임 추정을 통하여 예측이 가능한 블록은 제외하여, 장면 전환 후보 블록을 재구성하는 단계를 더 포함할 수 있다.
여기서, 움직임 추정을 이용하여 장면 전환 후보 블록와 가장 유사한 블록을 찾는 방법은 다음과 같이 결정할 수 있다.
Figure 112017014027613-pat00024
수학식 10을 참조하면, 현재 프레임(fcur(x,y))과 다른 참조 프레임(fref(x+dx, y+dy)) 상호간에 블록을 비교하여 SAD(Sum of Absolute Differences)가 최소화될 때 가장 유사한 블록으로 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 방향성 분포 분석을 설명하기 위한 예시도이다.
도 7을 참조하면, 방향성 분포 분석을 통하여 장면 전환 후보 블록 중에서 최종적으로 장면 전환 블록을 결정하는 과정을 설명할 수 있다.
방향성 분포 분석은 찾은 장면 전환 후보 블록 중에서 주위 블록의 장면 전환 비율을 따져 최종적인 장면 전환 블록을 결정하는 과정일 수 있다.
구체적으로, 장면 전환 후보 블록(CBi,j)을 중심으로하여 좌상단블록들(30), 우상단블록들(31), 좌하단블록들(32), 우하단블록들(33) 각각에 대하여 장면 전환 유무를 판단할 수 있다. 여기서 각각의 블록은 장면 전환 유무를 나타내는 0 또는 1값을 가질 수 있다.
이를 수식으로 표현하면 다음과 같을 수 있다.
Figure 112017014027613-pat00025
수학식 11을 참조하면, 장면전환후보 블록의 주변 블록들 각각의 장면 전환 유무의 평균을 계산한 결과값들을 도출할 수 있는데, 좌상단블록들에 대한 평균(
Figure 112017014027613-pat00026
), 우상단블록들에 대한 평균(
Figure 112017014027613-pat00027
), 좌하단블록들에 대한 평균(
Figure 112017014027613-pat00028
), 우하단블록들에 대한 평균(
Figure 112017014027613-pat00029
)을 도출할 수 있다.
이와 같이 도출된 값을 이용하여 최종적으로 다음과 같이 장면 전환 블록을 선정할 수 있다.
Figure 112017014027613-pat00030
수학식 12를 참조하면, 앞에서 도출된 각각의 주변 블록들의 평균 중 어느 하나가 제3 임계값(T3)보다 크다면, 장면 전환 블록(FBi,j)으로 결정하여 1로 지정할 수 있고, 그렇지 않으면 0으로 지정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 적응적 장면 전환 감지 장치에 대한 구성도이다.
도 8을 참조하면, 적응적 장면 전환 감지 장치(40)는 적어도 하나의 명령(instruction)을 실행하는 프로세서(processor, 41) 및 적어도 하나의 명령을 저장하는 메모리(memory, 42)를 포함할 수 있다.
여기서 적응적 장면 전환 감지 장치(40)는 장면 전환을 감지하기 위한 비디오 데이터를 저장하는 저장소(43)를 포함할 수 있고, 비디오 데이터를 수신하거나 장면 전환 감지 결과를 송신하는 통신 모듈(44)을 포함할 수 있다.
여기서, 적응적 장면 전환 감지 장치(40)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.
여기서, 프로세서(41)는, 현재 프레임과 현재 프레임의 이전 프레임 각각에서 휘도 성분을 추출하고, 현재 프레임과 이전 프레임 각각에서 해상도에 따라 미리 결정된 블록을 기초로 휘도 성분에 대하여 이진 부호화를 수행하고, 이진 부호화된 현재 프레임과 이전 프레임의 휘도 성분에 대하여 대응 블록끼리 비교하여 현재 프레임의 장면 전환 후보 블록을 결정하고, 장면 전환 후보 블록에 대하여 방향성 분포 분석을 수행하여 장면 전환 블록을 선정할 수 있다.
여기서, 프로세서(41)는, 저역 통과 필터를 이용하여 현재 프레임과 이전 프레임에서 추출된 각각의 휘도 성분을 필터링할 수 있다.
여기서, 해상도에 따라 미리 결정된 블록은, 현재 프레임의 가로 해상도에 비례한 크기를 갖도록 결정될 수 있다.
여기서, 해상도에 따라 미리 결정된 블록은, 수학식
Figure 112017014027613-pat00031
에 의해 결정된 블록 폭(BkSize)을 이용하여 BkSize× BkSize 의 크기를 갖도록 결정될 수 있다.
여기서, 프로세서(41)는, 현재 프레임의 블록과 이전 프레임의 블록 상호간 픽셀 값 차이의 평균을 제1 임계값과 비교하여 장면 전환 후보 블록을 결정할 수 있다.
여기서, 프로세서(41)는, 현재 프레임의 블록과 이전 프레임의 블록 상호간 픽셀 값을 XOR 연산하고, XOR 연산한 값의 평균을 제2 임계값과 비교하여 장면 전환 후보 블록을 결정할 수 있다.
여기서, 제1 임계값은, 미리 결정된 블록의 크기에 따라 적응적으로 결정될 수 있다.
여기서, 제1 임계값은, 미리 결정된 블록의 크기가 클수록 선형적으로 증가할 수 있다.
여기서, 프로세서(41)는, 결정된 장면 전환 후보 블록을 쿼드 트리로 분할하고, 분할된 각 블록을 그와 대응되는 이전 프레임의 블록과 비교하여 장면 전환 후보 블록을 선별할 수 있다.
여기서, 프로세서(41)는, 장면 전환 후보 블록 중에서 움직임 추정을 통하여 예측이 가능한 블록은 제외하여, 장면 전환 후보 블록을 재구성할 수 있다.
본 발명의 일 실시예에 따른 적응적 장면 전환 감지 방법 또는 장치를 이용한 성능평가 결과는 다음과 같다.
Figure 112017014027613-pat00032
표 2는 장면 전환 감지에 따른 PSNR을 종래의 방법들과 비교한 표이다.
표 2를 참조하면, [2]는 기존의 멀티 히스토그램을 이용하여 장면 전환을 감지하는 기법이고, [6]은 휘도 성분 부호화를 이용한 장면 전환 감지 기법이다. [4]는 프레임 레이트 증강에서 양방향 움직임 추정을 이용한 기법이다. A, B, C 등은 영상의 종류를 의미할 수 있으며, CIF, Class C는 영상의 해상도(또는 포맷)를 의미할 수 있다. 제안된 장면 전환 감지 방법(Proposed)은 상기 표 2에서와 기존의 방법들보다 PSNR(dB 단위)이 향상되는 것을 확인할 수 있었다.
Figure 112017014027613-pat00033
표 3은 기존의 방법들과 수행시간을 비교한 표이다.
표 3을 참조하면, 기존의 방법들과 비교하여 수행시간(sec)이 더 짧아진 것을 확인할 수 있었다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (20)

  1. 현재 프레임과 상기 현재 프레임의 이전 프레임 각각에서 휘도 성분을 추출하는 단계;
    상기 현재 프레임과 상기 이전 프레임 각각에서 해상도에 따라 미리 결정된 블록을 기초로 상기 휘도 성분에 대하여 이진 부호화를 수행하는 단계;
    이진 부호화된 상기 현재 프레임과 상기 이전 프레임의 휘도 성분에 대해 대응 블록끼리 비교하여 상기 현재 프레임의 장면 전환 후보 블록을 결정하는 단계; 및
    상기 장면 전환 후보 블록에 대하여 방향성 분포 분석을 수행하여 장면 전환 블록을 선정하는 단계를 포함하고,
    상기 해상도에 따라 미리 결정된 블록은,
    아래의 수학식에 의해 결정된 블록 폭(BkSize)을 이용하여 BkSize× BkSize 의 크기를 갖도록 결정되고,
    Figure 112018114290886-pat00044

    여기서 Video_reso_width는 상기 현재 프레임의 가로 해상도인, 적응적 장면 전환 감지 방법.
  2. 청구항 1에서,
    상기 휘도 성분을 추출하는 단계 이후에,
    저역 통과 필터를 이용하여 상기 현재 프레임과 상기 이전 프레임에서 추출된 각각의 휘도 성분을 필터링하는 단계를 더 포함하는, 적응적 장면 전환 감지 방법.
  3. 삭제
  4. 삭제
  5. 청구항 1에서,
    상기 장면 전환 후보 블록을 결정하는 단계는,
    상기 현재 프레임의 블록과 상기 이전 프레임의 블록 간 평균 픽셀 값의 차분값을 제1 임계값과 비교하여 결정하는 단계를 포함하는, 적응적 장면 전환 감지 방법.
  6. 청구항 1에서,
    상기 장면 전환 후보 블록을 결정하는 단계는,
    상기 현재 프레임의 블록과 상기 이전 프레임의 블록 상호간 픽셀 값을 XOR 연산하고, XOR(exclusive OR, 배타적논리합) 연산한 값의 평균을 제2 임계값과 비교하여 결정하는 단계를 포함하는, 적응적 장면 전환 감지 방법.
  7. 청구항 5에서,
    상기 제1 임계값은,
    상기 미리 결정된 블록의 크기에 따라 적응적으로 결정되는, 적응적 장면 전환 감지 방법.
  8. 청구항 7에서,
    상기 제1 임계값은,
    상기 미리 결정된 블록의 크기가 클수록 선형적으로 증가하는, 적응적 장면 전환 감지 방법.
  9. 청구항 1에서,
    상기 장면 전환 후보 블록을 결정하는 단계 이후에,
    결정된 장면 전환 후보 블록을 쿼드 트리로 분할하고, 분할된 각 블록을 그와 대응되는 상기 이전 프레임의 블록과 비교하여 장면 전환 후보 블록을 선별하는 단계를 더 포함하는, 적응적 장면 전환 감지 방법.
  10. 청구항 1에서,
    상기 장면 전환 후보 블록을 결정하는 단계 이후에,
    상기 장면 전환 후보 블록 중에서 움직임 추정을 통하여 예측이 가능한 블록은 제외하여, 장면 전환 후보 블록을 재구성하는 단계를 더 포함하는, 적응적 장면 전환 감지 방법.
  11. 적어도 하나의 명령(instruction)을 실행하는 프로세서(processor); 및
    상기 적어도 하나의 명령을 저장하는 메모리(memory)를 포함하는 적응적 장면 전환 감지 장치에서,
    상기 프로세서는,
    현재 프레임과 상기 현재 프레임의 이전 프레임 각각에서 휘도 성분을 추출하고, 상기 현재 프레임과 상기 이전 프레임 각각에서 해상도에 따라 미리 결정된 블록을 기초로 상기 휘도 성분에 대하여 이진 부호화를 수행하고, 이진 부호화된 상기 현재 프레임과 상기 이전 프레임을 상기 미리 결정된 블록의 대응 블록끼리 비교하여 상기 현재 프레임의 장면 전환 후보 블록을 결정하고, 상기 장면 전환 후보 블록에 대하여 방향성 분포 분석을 수행하여 장면 전환 블록을 선정하고,
    상기 해상도에 따라 미리 결정된 블록은,
    아래의 수학식에 의해 결정된 블록 폭(BkSize)을 이용하여 BkSize× BkSize 의 크기를 갖도록 결정되고,
    Figure 112018114290886-pat00045

    여기서 Video_reso_width는 상기 현재 프레임의 가로 해상도인, 적응적 장면 전환 감지 장치.
  12. 청구항 11에서,
    상기 프로세서는,
    저역 통과 필터를 이용하여 상기 현재 프레임과 상기 이전 프레임에서 추출된 각각의 휘도 성분을 필터링하는, 적응적 장면 전환 감지 장치.
  13. 삭제
  14. 삭제
  15. 청구항 11에서,
    상기 프로세서는,
    상기 현재 프레임의 블록과 상기 이전 프레임의 블록 간 평균 픽셀 값의 차분값을 제1 임계값과 비교하여 상기 장면 전환 후보 블록을 결정하는, 적응적 장면 전환 감지 장치.
  16. 청구항 11에서,
    상기 프로세서는,
    상기 현재 프레임의 블록과 상기 이전 프레임의 블록 상호간 픽셀 값을 XOR 연산하고, XOR(exclusive OR, 배타적논리합) 연산한 값의 평균을 제2 임계값과 비교하여 상기 장면 전환 후보 블록을 결정하는, 적응적 장면 전환 감지 장치.
  17. 청구항 15에서,
    상기 제1 임계값은,
    상기 미리 결정된 블록의 크기에 따라 적응적으로 결정되는, 적응적 장면 전환 감지 장치.
  18. 청구항 17에서,
    상기 제1 임계값은,
    상기 미리 결정된 블록의 크기가 클수록 선형적으로 증가하는, 적응적 장면 전환 감지 장치.
  19. 청구항 11에서,
    상기 프로세서는,
    결정된 장면 전환 후보 블록을 쿼드 트리로 분할하고, 분할된 각 블록을 그와 대응되는 상기 이전 프레임의 블록과 비교하여 장면 전환 후보 블록을 선별하는, 적응적 장면 전환 감지 장치.
  20. 청구항 11에서,
    상기 프로세서는,
    상기 장면 전환 후보 블록 중에서 움직임 추정을 통하여 예측이 가능한 블록은 제외하여, 장면 전환 후보 블록을 재구성하는, 적응적 장면 전환 감지 장치.
KR1020170018651A 2017-02-10 2017-02-10 해상도에 따른 적응적 장면 전환 감지 방법 및 장치 KR101979492B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170018651A KR101979492B1 (ko) 2017-02-10 2017-02-10 해상도에 따른 적응적 장면 전환 감지 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170018651A KR101979492B1 (ko) 2017-02-10 2017-02-10 해상도에 따른 적응적 장면 전환 감지 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20180092652A KR20180092652A (ko) 2018-08-20
KR101979492B1 true KR101979492B1 (ko) 2019-05-16

Family

ID=63442830

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170018651A KR101979492B1 (ko) 2017-02-10 2017-02-10 해상도에 따른 적응적 장면 전환 감지 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101979492B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153801B1 (ko) * 2018-12-21 2020-09-08 한국과학기술원 비디오 스트리밍 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100369370B1 (ko) * 1999-10-11 2003-01-24 한국전자통신연구원 블록기반 영상 히스토그램 생성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100369370B1 (ko) * 1999-10-11 2003-01-24 한국전자통신연구원 블록기반 영상 히스토그램 생성 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Gary J. Sullivan, et al. Overview of the high efficiency video coding (HEVC) standard. IEEE Transactions on Circuits and Systems for Video Technology. 2012.12. pp.1649-1668.*
배창영, et al. 적응적 휘도 성분 부호화와 블록의 움직임을 고려한 프레임율 증강 기법에서의 장면전환 기법. 한국방송공학회 학술발표대회 논문집. 2015.07. pp.211-214.*

Also Published As

Publication number Publication date
KR20180092652A (ko) 2018-08-20

Similar Documents

Publication Publication Date Title
US10659803B2 (en) Picture prediction method and related apparatus
JP4047879B2 (ja) 動きベクトル検出装置および動きベクトル検出方法
US10536692B2 (en) Picture prediction method and related apparatus
KR100809354B1 (ko) 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
WO2017005146A1 (zh) 视频编码和解码方法、视频编码和解码装置
CN110166771B (zh) 视频编码方法、装置、计算机设备和存储介质
US10123021B2 (en) Image encoding apparatus for determining quantization parameter, image encoding method, and program
CA2856634A1 (en) Texture masking for video quality measurement
CN109076234A (zh) 图像预测方法和相关设备
CN110710212A (zh) 通过子像素运动矢量细化对视频数据进行编码或解码的方法和装置
US9319688B2 (en) Moving image encoding apparatus
US9712828B2 (en) Foreground motion detection in compressed video data
US10034016B2 (en) Coding apparatus, computer system, coding method, and computer product
US9280813B2 (en) Blur measurement
Zeng et al. Reversible Video Watermarking Using Motion Estimation and Prediction Error Expansion.
JP5748225B2 (ja) 動画像符号化方法，動画像符号化装置および動画像符号化プログラム
KR101979492B1 (ko) 해상도에 따른 적응적 장면 전환 감지 방법 및 장치
KR101431046B1 (ko) Fruc를 위한 영상정보 인코딩 방법 및 장치, 저장매체
CN106534850B (zh) 图像处理装置、图像插值方法和图像编码方法
JP7411785B2 (ja) イントラ予測のための補間フィルタリング方法と装置、コンピュータプログラム及び電子装置
WO2015128302A1 (en) Method and apparatus for filtering and analyzing a noise in an image
KR20190001444A (ko) 보간 프레임을 생성하기 위한 움직임 예측 방법 및 장치
JP5622613B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN101682782B (zh) 运动图像编码方法
US20190268606A1 (en) Moving image encoding apparatus, control method for moving image encoding apparatus, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right