KR101710238B1 - 영상 차이값의 통계적 분포에 기초한 영상블록의 매칭 방법 - Google Patents

영상 차이값의 통계적 분포에 기초한 영상블록의 매칭 방법 Download PDF

Info

Publication number
KR101710238B1
KR101710238B1 KR1020140179088A KR20140179088A KR101710238B1 KR 101710238 B1 KR101710238 B1 KR 101710238B1 KR 1020140179088 A KR1020140179088 A KR 1020140179088A KR 20140179088 A KR20140179088 A KR 20140179088A KR 101710238 B1 KR101710238 B1 KR 101710238B1
Authority
KR
South Korea
Prior art keywords
macroblock
difference value
minimum
image difference
comparison
Prior art date
Application number
KR1020140179088A
Other languages
English (en)
Other versions
KR20160072300A (ko
Inventor
최민수
김진상
김경래
한재훈
장익준
Original Assignee
경희대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경희대학교 산학협력단 filed Critical 경희대학교 산학협력단
Priority to KR1020140179088A priority Critical patent/KR101710238B1/ko
Publication of KR20160072300A publication Critical patent/KR20160072300A/ko
Application granted granted Critical
Publication of KR101710238B1 publication Critical patent/KR101710238B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/015—High-definition television systems
    • H04N7/0152—High-definition television systems using spatial or temporal subsampling
    • H04N7/0155—High-definition television systems using spatial or temporal subsampling using pixel blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 영상블록의 매칭 방법에 관한 것으로, 보다 구체적으로 매칭 영상의 탐색 윈도우 영역을 영상 차이값의 분포 특성에 기초하여 최소 탐색 구간, 최대 탐색 구간으로 구분하고, 최소 탐색 구간에는 기준 매크로 블록과 매칭될 비교 매크로 블록이 존재할 확률이 높으므로 전체 픽셀 매칭 방식으로 영상 차이값을 계산하며, 최대 탐색 구간에는 기준 매크로 블록과 매칭될 비교 매크로 블록이 존재할 확률이 낮으므로 패스 픽셀 매칭 방식으로 영상 차이값을 계산하며, 최소 탐색 구간과 최대 탐색 구간을 제외한 구간에서는 부분 픽셀 매칭 방식으로 영상 차이값을 계산하여 블록 매칭에 따른 연산량을 줄이며 영상 품질의 저하없이 정확하게 영상블록을 매칭하는 방법에 관한 것이다.

Description

영상 차이값의 통계적 분포에 기초한 영상블록의 매칭 방법{Method for matching block based on statistical distribution}
본 발명은 영상블록의 매칭 방법에 관한 것으로, 보다 구체적으로 매칭 영상의 탐색 윈도우 영역을 영상 차이값의 분포 특성에 기초하여 최소 탐색 구간, 최대 탐색 구간으로 구분하고, 최소 탐색 구간에는 기준 매크로 블록과 매칭될 비교 매크로 블록이 존재할 확률이 높으므로 전체 픽셀 매칭 방식으로 영상 차이값을 계산하며, 최대 탐색 구간에는 기준 매크로 블록과 매칭될 비교 매크로 블록이 존재할 확률이 낮으므로 패스 픽셀 매칭 방식으로 영상 차이값을 계산하며, 최소 탐색 구간과 최대 탐색 구간을 제외한 구간에서는 부분 픽셀 매칭 방식으로 영상 차이값을 계산하여 블록 매칭에 따른 연산량을 줄이며 영상 품질의 저하없이 정확하게 영상블록을 매칭하는 방법에 관한 것이다.
2차원 영상에서 연속하는 영상 프레임 사이의 시간상의 중복성(temporal redundancy)을 줄이기 위해 움직임 예측 및 보상(Motion Estimation/ Compensation)을 사용한다. 이러한 공간상의 중복성은 변위 예측 및 보상(Disparity Estimation/ Compensation)을 이용하여 제거할 수 있다. 변위 예측 및 보상은 좌측 영상 프레임 또는 우측 영상 프레임 중 어느 하나의 영상 프레임을 기준 영상 프레임으로 설정하고, 기준 영상 프레임을 독립적으로 인코딩한 후 나머지 영상 프레임을 인코딩된 기준 영상 프레임으로부터 블록 단위로 예측하는 과정을 통해 이루어진다.
블록 매칭(block matching)은 기준 영상 프레임의 매크로 블록에 매칭되는 단위 블록을 나머지 영상 프레임에서 검색하는 것으로, 기준 영상 프레임의 매크로 블록과 나머지 영상 프레임의 단위 블록 사이의 차이가 최소가 되는 블록을 나머지 영상 프레임에서 검색한다. 여기서 기준 영상 프레임의 단위 블록과 나머지 영상 프레임의 단위 블록 사이에서 최소 차이를 가지는 단위 블록은 절대차의 합(SAD, Sum of Absoulte Difference) 또는 오차 제곱합(SSE, Sum of squared error) 등의 방식으로 계산된다.
도 1은 종래 블록 매칭 장치를 설명하기 위한 기능 블록도이다.
도 1을 참고로 보다 구체적으로 살펴보면, 2개의 영상 프레임에서 매크로 블록의 크기가 4×4이며 매크로 블록으로 매칭 블록을 검색하는 경우 기준 영상 프레임인 제1 영상 프레임의 4×4 기준 매크로 블록을 구성하는 16개 픽셀들과 비교 영상 프레임인 제2 영상 프레임의 4×4 비교 매크로 블록을 구성하는 16개의 픽셀들 각각에 대한 비트값이 보상 절대차 계산부(10)로 입력된다. 예를 들어, 제1 영상 프레임의 제1 픽셀과 이에 대응하는 제2 영상 프레임의 제1 픽셀이 보상 절대차 계산부1로 입력되며, 제1 영상 프레임의 제2 픽셀과 이에 대응하는 제2 영상 프레임의 제2 픽셀이 보상 절대차 계산부2로 입력된다. 이와 같이 제1 영상 프레임의 4×4 기준 매크로 블록을 구성하는 모든 픽셀과 이에 대응하는 제2 영상 프레임의 4×4 비교 매크로 블록을 구성하는 픽셀이 각 픽셀에 할당된 보상 절대차 계산부로 입력된다.
보상 절대차 계산부(10)는 제1 영상 프레임의 픽셀과 이에 대응하는 제2 영상 프레임의 픽셀의 비트값에 기초하여 제1 영상 프레임의 픽셀과 이에 대응하는 제2 영상 프레임의 픽셀의 비트값 사이의 절대차를 계산한다. 매칭부(20)는 각 보상 절대차 계산부(10)에서 계산된 각 픽셀 단위의 절대차의 합을 계산하고, 제2 영상 프레임의 비교 매크로 블록 중 최소합을 가지는 비교 매크로 블록을 매칭 블록으로 결정한다.
도 2는 종래 블록 매칭 장치의 보상 절대차 계산부를 보다 구체적으로 설명하기 위한 도면인데, 도 2를 참고로 살펴보면 보상 절대차 계산부(10)는 차감부(11), 예측부(13) 및 보상부(15)를 구비하고 있다.
차감부(11)로 제1 영상 프레임의 픽셀과 이에 대응하는 제2 영상 프레임 픽셀의 비트값이 입력되는 경우, 차감부(11)는 제1 영상 프레임 픽셀과 이에 대응하는 제2 영상 프레임 픽셀의 픽셀값 사이의 절대차(AD)를 계산한다. 제1 영상 프레임 픽셀과 제2 영상 프레임 픽셀의 픽셀값이 8비트로 표현되는 경우 각 비트별로 제1 영상 프레임 픽셀과 제2 영상 프레임 픽셀의 픽셀값 차이를 계산하기 위하여 차감부(11)는 8개의 차감부로 구성된다.
영상의 인코딩에서 가장 많은 연산량을 요구하며 많은 전력을 차지하는 부분이 블록 매칭 과정인데, 이러한 블록 매칭 과정에서 소비 전력을 줄이기 위해 차감부(11)에는 정상 구동 전원보다 낮은 구동 전원이 인가된다. 차감부(11)에 낮은 구동 전원이 인가됨으로써, 차감부(11)에서 계산된 제1 영상 프레임 픽셀과 이에 대응하는 제2 영상 프레임 픽셀의 픽셀값 사이의 절대차에는 오류가 발생할 수 있는데, 정상 구동 전원이 인가되는 예측부(13)는 차감부(11)에서 발생한 절대차 오류를 예측하고 보상한다. 예측부(13)는 전력 소비와 연산량을 줄이기 위해 제1 영상 프레임 픽셀과 이에 대응하는 제2 영상 프레임 픽셀의 픽셀값을 나타내는 8비트 중 일부분인 상위 비트만을 이용하여 예측 절대차를 계산한다.
보상부(15)는 차감부(11)에서 계산된 절대차와 예측부(13)에서 계산된 예측 절대차를 비교하여 차감부(11)에서 계산된 절대차와 예측부(13)에서 계산된 예측 절대차가 서로 동일한 경우에는 차감부(11)에서 계산된 절대차에 오류가 발생하지 않은 것으로 판단한다. 그러나 차감부(11)에서 계산된 절대차와 예측부(13)에서 계산된 예측 절대차가 서로 상이한 경우, 차감부(11)에서 계산된 절대차의 상위 비트를 보상부(13)에서 계산한 예측 절대차의 비트값으로 보상한다.
위에서 설명한 종래 블록 매칭 방식은 기준 영상 프레임의 매크로 블록과 매칭되는 비교 영상 프레임의 매크로 블록을 검색하기 위하여, 기준 영상 프레임의 픽셀과 탐색 윈도우 영역에 존재하는 비교 영상 프레임의 모든 픽셀의 영상 차이값을 계산하여야 하며, 따라서 블록 매칭을 하는데 많은 연산량과 전력이 소비된다는 문제점을 가진다.
본 발명은 위에서 언급한 문제점을 해결하기 위한 것으로 본 발명이 이루고자 하는 목적은 탐색 윈도우 영역에서 계산되는 기준 영상 프레임과 비교 영상 프레임의 영상 차이값의 통계적 패턴에 기초하여 전체 픽셀 매칭 방식과 부분 픽셀 매칭 방식으로 구분하여 블록 매칭을 수행하는 방법을 제공하는 것이다.
본 발명이 이루고자 하는 다른 목적은 탐색 윈도우 영역에서 계산되는 기준 영상 프레임과 비교 영상 프레임의 영상 차이값의 통계적 패턴에 기초하여 최소 탐색 구간과 최대 탐색 구간을 구분하고, 최소 탐색 구간에서는 전체 픽셀 매칭 방식으로 블록 매칭을 수행하고 최대 탐색 구간에서는 블록 매칭을 수행하지 않아 적은 연산량으로 영상 품질의 저하없이 정확하게 블록 매칭을 수행하는 방법을 제공하는 것이다.
본 발명의 목적을 달성하기 위하여 본 발명의 일 실시예에 따른 영상블록의 매칭 방법은 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값 분포에 기초하여 최소 탐색 구간 또는 최대 탐색 구간을 계산하는 단계와, 탐색 윈도우 영역에서 최소 탐색 구간 또는 최대 탐색 구간에 위치하는 비교 매크로 블록에 대해 각각 설정된 픽셀 매칭 방식으로 영상 차이값을 계산하여 탐색 윈도우 영역에서 기준 매크로 블록에 매칭되는 매칭 블록을 검색하는 단계를 포함하는 것을 특징으로 한다.
여기서 최소 탐색 구간에 위치하는 비교 매크로 블록에 대해서는 전체 픽셀 매칭 방식으로 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값을 계산하는 것을 특징으로 한다.
여기서 탐색 윈도우 영역 중 최소 탐색 구간 또는 최대 탐색 구간에 위치하지 않는 비교 매크로 블록의 영상 차이값은 부분 픽셀 매칭 방식으로 계산되는 것을 특징으로 한다.
여기서 탐색 윈도우 영역 중 최대 탐색 구간에 위치하는 비교 매크로 블록에 대해서는 기준 매크로 블록과의 영상 차이값을 계산하지 않는 것을 특징으로 한다.
바람직하게, 최소 탐색 구간을 계산하는 단계는 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계와, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 최소 매크로 블록을 검색하는 단계와, 최소 매크로 블록을 기준으로 탐색 윈도우 영역에서 최소 매크로 블록이 나타나는 최소 탐색 주기를 계산하는 단계와, 최소 탐색 주기에 최소 영역 오프셋을 합하여 최소 탐색 구간을 계산하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 최소 매크로 블록을 검색하는 단계는 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 비교 매크로 블록 중 제1 최소 매크로 블록을 검색하는 단계와, 기준 매크로 블록과 제1 최소 매크로 블록 사이의 영상 차이값을 최소 영상 차이값으로 설정하는 단계와, 제1 최소 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 최소 영상 차이값과 비교하여 최소 영상 차이값보다 작은 영상 차이값을 가지는 최소 후보 매크로 블록을 추가 최소 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 한다.
여기서 추가 최소 매크로 블록이 검색될 때마다, 기준 매크로 블록과 추가 최소 매크로 블록 사이의 영상 차이값을 최소 영상 차이값으로 갱신하며, 갱신한 최소 영상 차이값보다 작은 영상 차이값을 가지는 비교 매크로 블록을 추가 최소 매크로 블록으로 검색하는 것을 특징으로 한다.
바람직하게, 제1 최소 매크로 블록을 검색하는 단계는 탐색 윈도우 영역에서 처음 생성되는 제1 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값으로 설정하는 단계와, 제1 비교 매크로 블록 이후 순차적으로 생성되는 순차 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값과 비교하는 단계와, 순차 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값이 초기 영상 차이값보다 큰 순차 비교 매크로 블록이 생성될 때마다 카운트를 증가하는 단계와, 카운트가 설정 카운트를 초과하는 경우 제1 비교 매크로 블록을 제1 최소 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 한다.
여기서 제1 최소 매크로 블록을 검색할 때까지, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값은 전체 픽셀 매칭 방식으로 계산되는 것을 특징으로 한다.
여기서 최소 영상 차이값은 최소 영상 차이값에 최소 에러 오프셋이 합해져 계산되는 것을 특징으로 한다.
여기서 최소 탐색 주기(TMIN)는 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
TMIN=2(NSWR-(NMB-1))
여기서 NSWR은 탐색 윈도우 영역의 크기를 의미하며, NMB는 기준 매크로 블록의 크기를 의미하는 것을 특징으로 한다.
여기서, 최소 영역 오프셋은 5이며, 부분 픽셀 매칭 방식은 각 픽셀을 8 개의 비트로 나타내는 경우 전체 8개의 비트 중 앞의 2개 또는 3개의 비트에 기초하여 영상 차이값을 계산하는 것을 특징으로 한다.
바람직하게, 최대 탐색 구간을 계산하는 단계는 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계와, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 최대 매크로 블록을 검색하는 단계와, 최대 매크로 블록을 기준으로 탐색 윈도우 영역에서 최대 매크로 블록이 나타나는 최대 탐색 주기를 계산하는 단계와, 최대 탐색 주기에 최대 영역 오프셋을 합하여 최대 탐색 구간을 계산하는 단계를 포함하는 것을 특징으로 한다.
바람직하게, 최대 매크로 블록을 검색하는 단계는 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계와, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 비교 매크로 블록 중 제1 최대 매크로 블록을 검색하고 기준 매크로 블록과 제1 최대 매크로 블록 사이의 영상 차이값을 최대 영상 차이값으로 설정하는 단계와, 제1 최대 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 최대 영상 차이값과 비교하여 최대 영상 차이값보다 큰 영상 차이값을 가지는 비교 매크로 블록을 추가 최대 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 한다.
여기서 추가 최대 매크로 블록이 검색될 때마다, 기준 매크로 블록과 추가 최대 매크로 블록 사이의 영상 차이값을 최대 영상 차이값으로 갱신하며, 갱신한 최대 영상 차이값보다 큰 영상 차이값을 가지는 비교 매크로 블록을 추가 최대 매크로 블록으로 검색하는 것을 특징으로 한다.
바람직하게, 제1 최대 매크로 블록을 검색하는 단계는 탐색 윈도우 영역에서 처음 생성되는 제1 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값으로 설정하는 단계와, 제1 비교 매크로 블록 이후 순차적으로 생성되는 순차 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값과 비교하는 단계와, 순차 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값이 초기 영상 차이값보다 작은 순차 비교 매크로 블록이 생성될 때마다 카운트를 증가하는 단계와, 카운트가 설정 카운트를 초과하는 경우 제1 비교 매크로 블록을 제1 최대 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 한다.
여기서 제1 최대 매크로 블록을 검색할 때까지, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값은 전체 픽셀 매칭 방식으로 계산되는 것을 특징으로 한다.
여기서 최대 영상 차이값은 최대 영상 차이값에 최대 에러 오프셋이 합해져 계산되는 것을 특징으로 한다.
여기서 최대 탐색 주기(TMAX)는 아래의 수학식(2)에 의해 계산되며,
[수학식 2]
TMAX=2(NSWR-(NMB-1))
여기서 NSWR은 탐색 윈도우 영역의 크기를 의미하며, NMB는 기준 매크로 블록의 크기를 의미하는 것을 특징으로 한다.
여기서 최대 영역 오프셋은 5인 것을 특징으로 한다.
한편, 본 발명의 다른 실시예에 따른 영상블록의 매칭 방법은 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계와, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 최소 후보 매크로 블록을 검색하는 단계와, 최소 후보 매크로 블록을 기준으로 탐색 윈도우 영역에서 최소 후보 매크로 블록이 나타나는 최소 탐색 주기를 계산하고 최소 탐색 주기에 최소 영역 오프셋을 합하여 최소 탐색 구간을 계산하는 단계와, 탐색 윈도우 영역에서 최소 탐색 구간에 위치하는 비교 매크로 블록에 대해 전체 픽셀 매칭 방식으로 영상 차이값을 계산하여, 탐색 윈도우 영역에서 기준 매크로 블록에 매칭되는 매칭 블록을 검색하는 단계를 포함하는 것을 특징으로 한다.
여기서 탐색 윈도우 영역에서 최소 탐색 구간에 위치하지 않는 비교 매크로 블록의 영상 차이값은 부분 픽셀 매칭 방식으로 계산되는 것을 특징으로 한다.
본 발명에 따른 영상블록의 매칭 방법은 다음과 같은 다양한 효과를 가진다.
첫째, 본 발명에 따른 영상블록의 매칭 방법은 탐색 윈도우 영역에서 계산되는 기준 영상 프레임과 비교 영상 프레임의 영상 차이값의 통계적 패턴에 기초하여 블록 매칭될 것으로 예상되는 비교 매크로 블록에 대해서만 전체 픽셀 매칭 방식으로 블록 매칭을 수행함으로써, 적은 연산량으로 영상 품질의 저하없이 블록 매칭을 수행할 수 있다.
둘째, 본 발명에 따른 영상블록의 매칭 방법은 탐색 윈도우 영역에서 계산되는 기준 영상 프레임과 비교 영상 프레임의 영상 차이값의 통계적 패턴에 기초하여 최소 탐색 구간과 최대 탐색 구간을 구분하고 최대 탐색 구간에서는 블록 매칭을 수행하지 않음으로써, 적은 연산량으로 영상 품질의 저하없이 정확하게 블록 매칭을 수행할 수 있다.
셋째, 본 발명에 따른 영상블록의 매칭 방법은 최소 탐색 구간과 최대 탐색 구간을 제외한 구간에서는 부분 픽셀 매칭 방식으로 블록 매칭을 수행하여 윈도우 탐색 영역 중에서 발생할 수 있는 최소 탐색 구간과 최대 탐색 구간을 모두 검색하여 블록 매칭을 수행할 수 있다.
도 1은 본 발명에 따른 영상블록의 매칭 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명에서 최소 탐색 구간을 계산하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 3은 기준 매크로 블록, 탐색 윈도우 영역 및 순차적으로 생성되는 비교 매크로 블록의 일 예를 도시하고 있다.
도 4는 기준 매크로 블록과 탐색 윈도우 영역의 비교 매크로 블록 사이의 영상 차이값의 통계적 분포의 일 예를 도시하고 있다.
도 5는 본 발명에서 최소 매크로 블록을 검색하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 6는 본 발명에서 제1 최소 매크로 블록을 결정하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 7은 본 발명에서 최대 탐색 구간을 계산하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 8은 기준 매크로 블록과 탐색 윈도우 영역의 비교 매크로 블록 사이의 영상 차이값의 통계적 분포의 일 예를 도시하고 있다.
도 9는 본 발명에서 최대 매크로 블록을 검색하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 10은 본 발명에서 제1 최대 매크로 블록을 결정하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 11은 최소 탐색 구간과 최대 탐색 구간의 일 예를 설명하기 위한 도면이다.
이하 첨부한 도면을 본 발명에 따른 영상블록의 매칭 방법에 대해 보다 구체적으로 설명한다.
도 1은 본 발명에 따른 영상블록의 매칭 방법을 설명하기 위한 흐름도이다.
도 1을 참고로 보다 구체적으로 살펴보면, 기준 영상 프레임의 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값 분포에 기초하여 최소 탐색 구간을 계산하고(S100), 기준 영상 프레임의 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값 분포에 기초하여 최소 탐색 구간을 계산한다(S200).
계산한 최소 탐색 구간 또는 최대 탐색 영역에 기초하여 탐색 윈도우 영역에 위치하는 비교 매크로 블록 각각에 설정된 픽셀 매칭 방식을 판단하고(S300), 판단한 픽셀 매칭 방식에 기초하여 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값을 계산한다(S400). 바람직하게, 탐색 윈도우 영역의 최소 탐색 구간에서는 기준 매크로 블록의 픽셀과 비교 매크로 블록에서 기준 매크로 블록의 픽셀에 해당하는 픽셀 사이의 영상 차이값을 전체 픽셀 매칭 방식으로 계산하고, 탐색 윈도우 영역의 최대 탐색 구간에서는 기준 매크로 블록의 픽셀과 비교 매크로 블록에서 기준 매크로 블록의 픽셀에 해당하는 픽셀 사이에서는 영상 차이값을 계산하지 않는다. 이하 기준 매크로 블록의 픽셀과 비교 매크로 블록의 픽셀 사이에 영상 차이값을 계산하지 않고 블록 매칭을 수행하지 않는 방식을 패스 픽셀 매칭 방식이라 언급한다. 패스 픽셀 매칭 방식에 따라 최대 탐색 구간의 영상 차이값은 최대값(예를 들어 픽셀이 8비트로 표시되는 경우 256)으로 설정할 수 있다. 한편, 탐색 윈도우 영역의 최소 탐색 구간과 최대 탐색 구간을 제외한 나머지 구간에서는 기준 매크로 블록의 픽셀과 비교 매크로 블록에서 기준 매크로 블록의 픽셀에 해당하는 픽셀 사이의 영상 차이값을 부분 픽셀 매칭 방식으로 계산한다.
여기서 전체 픽셀 매칭 방식이란 픽셀을 구성하는 전체 비트를 기준으로 영상 차이값을 계산하는 것을 의미하며, 부분 픽셀 매칭 방식이란 픽셀을 구성하는 픽셀을 구성하는 전체 비트 중 일부 상위 비트만을 기준으로 영상 차이값을 계산하는 것을 의미한다. 예를 들어, 1개의 픽셀이 8비트로 구성되는 경우, 전체 픽셀 매칭 방식은 전체 8비트를 기준으로 기준 매크로 블록의 픽셀과 비교 매크로 블록의 픽셀 사이의 영상 차이값을 계산하며, 부분 픽셀 매칭 방식은 전체 8비트 중 상대적으로 큰 값을 나타내는 상위 4개의 비트만을 기준으로 영상 차이값을 계산한다.
전체 픽셀 매칭 방식, 부분 픽셀 매칭 방식 및 패스 픽셀 매칭 방식 중 탐색 윈도우 영역의 각 비교 매크로 블록에 할당 설정되는 픽셀 매칭 방식으로 영상 차이값을 계산하여 기준 매크로 블록에 매칭되는 매칭 블록을 검색한다(S500).
도 2는 본 발명에서 최소 탐색 구간을 계산하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 2를 참고로 보다 구체적으로 살펴보면, 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산한다(S110). 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 최소 매크로 블록을 검색한다(S130).
도 3은 기준 매크로 블록, 탐색 윈도우 영역 및 순차적으로 생성되는 비교 매크로 블록의 일 예를 도시하고 있다. 도 3(a)에 도시되어 있는 바와 같이 기준 매크로 블록(MB)의 크기는 4×4이며, 도 3(b)에 도시되어 있는 바와 같이 탐색 윈도우 영역(SWR)의 크기는 18×18이다. 탐색 윈도우 영역에서 비교 매크로 블록의 크기는 기준 매크로 블록과 동일하게 4×4로 순차적으로 생성된다. 비교 매크로 블록은 탐색 윈도우 영역에서 화살표와 같이 래스터 주사(raster scanning) 방식으로 순차적으로 생성된다. 도 3(c)에 도시되어 있는 바와 같이, 노이즈 영상을 제외하고 일반적인 영상의 경우 탐색 윈도우 영역의 특정 구간에서 반복하여 상대적으로 낮은 영상 차이값을 가지는 비교 매크로 블록이 모여 있다. 도 3(c)에서 빨간색으로 표시된 부분이 최소 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 나타낸다.
한편, 도 4는 기준 매크로 블록과 탐색 윈도우 영역의 비교 매크로 블록 사이의 영상 차이값의 통계적 분포의 일 예를 도시하고 있다. 도 4에 도시되어 있는 바와 같이, "Akko&Kayo", "Exit", "Ballroom" 영상에 대한 영상 차이값의 분포 통계를 살펴보면, 주기적으로 영상 차이값이 낮은, 즉 최소 매크로 블록이 나타나는 영역이 반복됨을 알 수 있다.
다시 도 2를 참고로 살펴보면, 최소 매크로 블록을 기준으로 탐색 윈도우 영역에서 최소 매크로 블록이 나타나는 최소 탐색 주기를 계산하며(S150), 최소 탐색 주기에 최소 영역 오프셋을 합하여 최소 탐색 구간을 계산한다(S170).
여기서 최소 탐색 주기(TMIN)는 아래의 수학식(1)에 의해 계산되며,
[수학식 1]
TMIN=2(NSWR-(NMB-1))
여기서 NSWR은 탐색 윈도우 영역의 크기를 의미하며, NMB는 기준 매크로 블록의 크기를 의미하는 것을 특징으로 한다.
여기서 최소 영역 오프셋은 최소 탐색 주기를 기준으로 최소 탐색 주기에 합하거나 차감하여 최소 탐색 구간을 생성하는데 사용되는데, 최소 영역 오프셋은 5인 것을 특징으로 한다.
도 5는 본 발명에서 최소 매크로 블록을 검색하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 5를 참고로 보다 구체적으로 살펴보면, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 비교 매크로 블록 중 제1 최소 매크로 블록을 검색하고(S131), 기준 매크로 블록과 제1 최소 매크로 블록 사이의 영상 차이값을 최소 영상 차이값으로 설정한다(S132).
탐색 윈도우 영역에서 생성될 비교 매크로 블록이 존재하는지 판단하여(S133), 생성될 비교 매크로 블록이 존재하는 경우 제1 최소 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 최소 영상 차이값과 비교하여(S135), 최소 영상 차이값보다 작은 영상 차이값을 가지는 비교 매크로 블록을 추가 최소 매크로 블록으로 검색한다(S136). 추가 최소 매크로 블록이 검색된 경우, 추가 최소 매크로 블록과 기준 매크로 블록의 영상 차이값을 최소 영상 차이값으로 갱신한다(S137).
이후 생성되는 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 갱신한 최소 영상 차이값과 비교하여 탐색 윈도우 영역에서 추가 최소 매크로 블록을 결정한다.
탐색 윈도우 영역에서 결정한 제1 최소 매크로 블록과 추가 최소 매크로 블록을 기준으로 최소 탐색 주기를 계산한다.
본 발명에서 제1 최소 매크로 블록을 검색할 때까지, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값은 전체 픽셀 매칭 방식으로 계산되며, 추가 최소 매크로 블록을 검색하기 위해서는 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값은 부분 픽셀 매칭 방식으로 계산한다. 바람직하게, 부분 픽셀 매칭 방식의 경우 픽셀을 구성하는 전체 비트 중 일부의 비트만을 고려하기 때문에, 최소 영상 차이값은 최소 영상 차이값에 최소 에러 오프셋(TEOMIN)이 합해져 계산되는 것을 특징으로 한다.
도 6는 본 발명에서 제1 최소 매크로 블록을 결정하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 6을 참고로 살펴보면, 탐색 윈도우 영역에서 처음 생성되는 제1 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값(SADINI_MIN)으로 설정한다(181). 제1 비교 매크로 블록 이후 순차적으로 비교 매크로 블록이 생성되어 입력되는 경우(S183), 입력된 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값과 비교하여(S184), 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값이 초기 영상 차이값보다 큰 비교 매크로 블록이 생성될 때마다 카운트를 증가한다(S185). 카운트가 설정 카운트(CountSET _ MIN)를 초과하지 않는 경우, 순차적으로 비교 매크로 블록이 생성되어 입력되며 입력된 비교 매크로 블록에 대해 앞서 설명한 S184 단계 및 S185 단계를 반복하여 수행한다.
한편, 카운트가 설정 카운트(CountSET _ MIN)를 초과하는 경우, 제1 비교 매크로 블록을 제1 최소 매크로 블록으로 결정한다(S189).
입력된 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값과 비교하여, 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값이 초기 영상 차이값보다 작은 비교 매크로 블록이 생성되는 경우, 초기 영상 차이값을 더 작은 영상 차이값으로 갱신하며 앞서 설명한 S183 내지 S189를 반복하여 수행한다.
도 7은 본 발명에서 최대 탐색 구간을 계산하는 단계를 보다 구체적으로 설명하기 위한 흐름도이다.
도 7을 참고로 보다 구체적으로 살펴보면, 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산한다(S210). 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 최대 매크로 블록을 검색한다(S230).
도 8은 기준 매크로 블록과 탐색 윈도우 영역의 비교 매크로 블록 사이의 영상 차이값의 통계적 분포의 일 예를 도시하고 있다. 도 8에 도시되어 있는 바와 같이, 탐색 윈도우 영역에서 영상 차이값의 분포 통계를 살펴보면, 주기적으로 영상 차이값이 높은, 즉 최대 매크로 블록이 나타나는 영역이 반복됨을 알 수 있다.
다시 도 7을 참고로 살펴보면, 최소 매크로 블록을 기준으로 탐색 윈도우 영역에서 최대 매크로 블록이 나타나는 최대 탐색 주기를 계산하며(S250), 최대 탐색 주기에 최대 영역 오프셋을 합하여 최대 탐색 구간을 계산한다(S270).
여기서 최대 탐색 주기(TMAX)는 아래의 수학식(3)에 의해 계산되며,
[수학식 3]
TMAX=2(NSWR-(NMB-1))
여기서 NSWR은 탐색 윈도우 영역의 크기를 의미하며, NMB는 기준 매크로 블록의 크기를 의미하는 것을 특징으로 한다.
여기서 최대 영역 오프셋은 최대 탐색 주기를 기준으로 최대 탐색 주기에 합하거나 차감하여 최대 탐색 구간을 생성하는데 사용되는데, 최대 영역 오프셋은 5인 것을 특징으로 한다.
도 9는 본 발명에서 최대 매크로 블록을 검색하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 9를 참고로 보다 구체적으로 살펴보면, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값에 기초하여 비교 매크로 블록 중 제1 최대 매크로 블록을 검색하고(S231), 기준 매크로 블록과 제1 최대 매크로 블록 사이의 영상 차이값을 최대 영상 차이값(SADMAX)으로 설정한다(S232).
탐색 윈도우 영역에서 생성될 비교 매크로 블록이 존재하는지 판단하여(S233), 생성될 비교 매크로 블록이 존재하는 경우 제1 최대 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 최대 영상 차이값과 비교하여(S235), 최대 영상 차이값보다 큰 영상 차이값을 가지는 비교 매크로 블록을 추가 최대 매크로 블록으로 검색한다(S236). 추가 최대 매크로 블록이 검색된 경우, 추가 최대 매크로 블록과 기준 매크로 블록의 영상 차이값을 최대 영상 차이값으로 갱신한다(S237).
이후 생성되는 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 갱신한 최대 영상 차이값과 비교하여 탐색 윈도우 영역에서 추가 최대 매크로 블록을 결정한다.
탐색 윈도우 영역에서 결정한 제1 최대 매크로 블록과 추가 최대 매크로 블록을 기준으로 최대 탐색 주기를 계산한다.
본 발명에서 제1 최대 매크로 블록을 검색할 때까지, 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값은 전체 픽셀 매칭 방식으로 계산되며, 추가 최대 매크로 블록을 검색하기 위해서는 기준 매크로 블록과 비교 매크로 블록 사이의 영상 차이값은 부분 픽셀 매칭 방식으로 계산한다. 바람직하게, 부분 픽셀 매칭 방식의 경우 픽셀을 구성하는 전체 비트 중 일부의 비트만을 고려하기 때문에, 최대 영상 차이값은 최소 영상 차이값에 최소 에러 오프셋(TEOMAX)이 합해져 계산되는 것을 특징으로 한다.
도 10은 본 발명에서 제1 최대 매크로 블록을 결정하는 단계의 일 예를 설명하기 위한 흐름도이다.
도 10을 참고로 살펴보면, 탐색 윈도우 영역에서 처음 생성되는 제1 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값으로 설정한다(281). 제1 비교 매크로 블록 이후 순차적으로 비교 매크로 블록이 생성되어 입력되는 경우(S283), 입력된 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값(SADINI_MAX)과 비교하여(S284), 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값이 초기 영상 차이값보다 작은 비교 매크로 블록이 생성될 때마다 카운트를 증가한다(S285). 카운트가 설정 카운트(CountSET _ MAX)를 초과하지 않는 경우, 순차적으로 비교 매크로 블록이 생성되어 입력되며 입력된 비교 매크로 블록에 대해 앞서 설명한 S284 단계 및 S285 단계를 반복하여 수행한다.
한편, 카운트가 설정 카운트(CountSET - MAX)를 초과하는 경우, 제1 비교 매크로 블록을 제1 최대 매크로 블록으로 결정한다(S289).
입력된 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값과 비교하여, 비교 매크로 블록과 기준 매크로 블록 사이의 영상 차이값이 초기 영상 차이값보다 큰 비교 매크로 블록이 생성되는 경우, 초기 영상 차이값을 더 큰 영상 차이값으로 갱신하며 앞서 설명한 S283 내지 S289를 반복하여 수행한다.
도 11은 최소 탐색 구간과 최대 탐색 구간의 일 예를 설명하기 위한 도면이다.
도 11에 도시되어 있는 바와 같이, 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역의 비교 매크로 블록 사이의 영상 차이값은 최소 탐색 주기(TMIN)와 최대 탐색 주기(TMAX)가 반복됨을 확인할 수 있으며, 최소 탐색 주기로부터 최소 오프셋 설정값이 가감되어 최소 탐색 구간(TMIN_P)가 설정되고 최대 탐색 주기로부터 최대 오프셋 설정값이 가감되어 최대 탐색 구간(TMAX_P)가 설정된다.
최소 탐색 구간에는 기준 매크로 블록과 매칭될 비교 매크로 블록이 존재할 확률이 높으므로 최소 탐색 구간에서는 전체 픽셀 매칭 방식으로 영상 차이값을 계산하며, 최대 탐색 구간에는 기준 매크로 블록과 매칭될 비교 매크로 블록이 존재할 확률이 낮으므로 최대 탐색 구간에서는 패스 픽셀 매칭 방식으로 영상 차이값을 계산하며, 최소 탐색 구간과 최대 탐색 구간을 제외한 구간에서는 부분 픽셀 매칭 방식으로 영상 차이값을 계산한다.
이와 같이 기준 매크로 블록에 매칭될 비교 매크로 블록이 존재하는 구간의 통계적 분포에 따라 픽셀 매칭 방식을 상이하게 함으로써, 영상블록의 매칭에 따른 연산량을 줄이면서 영상 품질의 저하없이 블록 매칭을 수행할 수 있다.
도 12는 부분 픽셀 매칭 방식에서 제거되는 비트수에 따른 전력 소비를 나타낸 것이다. 부분 픽셀 매칭 방식은 각 픽셀을 8 개의 비트로 나타내는 경우 전체 8개의 비트 중 하위 5개의 비트 또는 하위 6개의 비트를 삭제하고 앞의 상위 2개 또는 3개의 비트에 기초하여 영상 차이값을 계산하는 경우 임을 확인할 수 있다.
한편, 상술한 본 발명의 실시 예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장 매체를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (25)

  1. 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값 분포에 기초하여 최소 탐색 구간 또는 최대 탐색 구간을 계산하는 단계; 및
    상기 탐색 윈도우 영역에서 상기 최소 탐색 구간 또는 최대 탐색 구간에 위치하는 비교 매크로 블록에 대해 각각 설정된 픽셀 매칭 방식으로 영상 차이값을 계산하여, 상기 탐색 윈도우 영역에서 상기 기준 매크로 블록에 매칭되는 매칭 블록을 검색하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  2. 제 1 항에 있어서, 상기 최소 탐색 구간에 위치하는 비교 매크로 블록에 대해서는 전체 픽셀 매칭 방식으로 상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값을 계산하는 것을 특징으로 하는 영상블록의 매칭 방법.
  3. 제 2 항에 있어서, 상기 최소 탐색 구간을 계산하는 단계는
    상기 기준 매크로 블록과 상기 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계;
    상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값에 기초하여 최소 매크로 블록을 검색하는 단계; 및
    상기 최소 매크로 블록을 기준으로 상기 탐색 윈도우 영역에서 최소 매크로 블록이 나타나는 최소 탐색 주기를 계산하는 단계; 및
    상기 최소 탐색 주기에 최소 영역 오프셋을 합하여 최소 탐색 구간을 계산하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  4. 제 3 항에 있어서, 상기 영상블록의 매칭 방법은
    상기 탐색 윈도우 영역에서 상기 최소 탐색 구간 또는 상기 최대 탐색 구간에 위치하지 않는 비교 매크로 블록의 영상 차이값은 부분 픽셀 매칭 방식으로 계산되는 것을 특징으로 하는 영상블록의 매칭 방법.
  5. 제 4 항에 있어서, 상기 최소 매크로 블록을 검색하는 단계는
    상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값에 기초하여 상기 비교 매크로 블록 중 제1 최소 매크로 블록을 검색하는 단계;
    상기 기준 매크로 블록과 상기 제1 최소 매크로 블록 사이의 영상 차이값을 최소 영상 차이값으로 설정하는 단계; 및
    상기 제1 최소 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 상기 최소 영상 차이값과 비교하여 상기 최소 영상 차이값보다 작은 영상 차이값을 가지는 비교 매크로 블록을 추가 최소 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  6. 제 5 항에 있어서, 상기 영상블록의 매칭 방법은
    상기 추가 최소 매크로 블록이 검색될 때마다, 상기 기준 매크로 블록과 상기 추가 최소 매크로 블록 사이의 영상 차이값을 최소 영상 차이값으로 갱신하며, 갱신한 최소 영상 차이값보다 작은 영상 차이값을 가지는 비교 매크로 블록을 추가 최소 매크로 블록으로 검색하는 것을 특징으로 하는 영상블록의 매칭 방법.
  7. 제 5 항에 있어서, 상기 제1 최소 매크로 블록을 검색하는 단계는
    상기 탐색 윈도우 영역에서 처음 생성되는 제1 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값으로 설정하는 단계;
    상기 제1 비교 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 상기 초기 영상 차이값과 비교하는 단계;
    상기 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값이 상기 초기 영상 차이값보다 큰 비교 매크로 블록이 생성될 때마다 카운트를 증가하는 단계; 및
    상기 카운트가 설정 카운트를 초과하는 경우, 상기 제1 비교 매크로 블록을 상기 제1 최소 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  8. 제 7 항에 있어서,
    상기 제1 최소 매크로 블록을 검색할 때까지, 상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값은 전체 픽셀 매칭 방식으로 계산되는 것을 특징으로 하는 영상블록의 매칭 방법.
  9. 제 5 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 최소 영상 차이값은 상기 최소 영상 차이값에 최소 에러 오프셋이 합해져 계산되는 것을 특징으로 하는 영상블록의 매칭 방법.
  10. 제 3 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 최소 탐색 주기(TMIN)는 아래의 수학식(1)에 의해 계산되며,
    [수학식 1]
    TMIN=2(NSWR-(NMB-1))
    여기서 NSWR은 상기 탐색 윈도우 영역의 크기를 의미하며, NMB는 기준 매크로 블록의 크기를 의미하는 것을 특징으로 하는 영상블록의 매칭 방법.
  11. 제 4 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 부분 픽셀 매칭 방식은 각 픽셀을 8 개의 비트로 나타내는 경우 전체 8개의 비트 중 앞의 2개 또는 3개의 비트에 기초하여 영상 차이값을 계산하는 것을 특징으로 하는 영상블록의 매칭 방법.
  12. 제 1 항에 있어서, 상기 최대 탐색 구간에 위치하는 비교 매크로 블록에 대해서는 상기 기준 매크로 블록과의 영상 차이값을 계산하지 않는 것을 특징으로 하는 영상블록의 매칭 방법.
  13. 제 12 항에 있어서, 상기 최대 탐색 구간을 계산하는 단계는
    상기 기준 매크로 블록과 상기 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계;
    상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값에 기초하여 최대 매크로 블록을 검색하는 단계; 및
    상기 최대 매크로 블록을 기준으로 상기 탐색 윈도우 영역에서 최대 매크로 블록이 나타나는 최대 탐색 주기를 계산하는 단계; 및
    상기 최대 탐색 주기에 최대 영역 오프셋을 합하여 최대 탐색 구간을 계산하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  14. 제 13 항에 있어서, 상기 최대 매크로 블록을 검색하는 단계는
    기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계;
    상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값에 기초하여 상기 비교 매크로 블록 중 제1 최대 매크로 블록을 검색하고, 상기 기준 매크로 블록과 상기 제1 최대 매크로 블록 사이의 영상 차이값을 최대 영상 차이값으로 설정하는 단계; 및
    상기 제1 최대 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 상기 최대 영상 차이값과 비교하여 상기 최대 영상 차이값보다 큰 영상 차이값을 가지는 최대 매크로 블록을 추가 최대 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  15. 제 14 항에 있어서, 상기 영상블록의 매칭 방법은
    상기 추가 최대 매크로 블록이 검색될 때마다, 상기 기준 매크로 블록과 상기 추가 최대 매크로 블록 사이의 영상 차이값을 최대 영상 차이값으로 갱신하며, 갱신한 최대 영상 차이값보다 큰 영상 차이값을 가지는 비교 매크로 블록을 추가 최대 매크로 블록으로 검색하는 것을 특징으로 하는 영상블록의 매칭 방법.
  16. 제 14 항에 있어서, 상기 제1 최대 매크로 블록을 검색하는 단계는
    상기 탐색 윈도우 영역에서 처음 생성되는 제1 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값으로 설정하는 단계;
    상기 제1 비교 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 상기 초기 영상 차이값과 비교하는 단계;
    상기 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값이 상기 초기 영상 차이값보다 작은 비교 매크로 블록이 생성될 때마다 카운트를 증가하는 단계; 및
    상기 카운트가 설정 카운트를 초과하는 경우, 상기 제1 비교 매크로 블록을 상기 제1 최대 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  17. 제 16 항에 있어서,
    상기 제1 최대 매크로 블록을 검색할 때까지, 상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값은 전체 픽셀 매칭 방식으로 계산되는 것을 특징으로 하는 영상블록의 매칭 방법.
  18. 제 15 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 최대 영상 차이값은 상기 최대 영상 차이값에 최대 에러 오프셋이 합해져 계산되는 것을 특징으로 하는 영상블록의 매칭 방법.
  19. 제 13 항 내지 제 17 항 중 어느 한 항에 있어서,
    상기 최대 탐색 주기(TMAX)는 아래의 수학식(2)에 의해 계산되며,
    [수학식 2]
    TMAX=2(NSWR-(NMB-1))
    여기서 NSWR은 상기 탐색 윈도우 영역의 크기를 의미하며, NMB는 기준 매크로 블록의 크기를 의미하는 것을 특징으로 하는 영상블록의 매칭 방법.
  20. 기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계;
    상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값에 기초하여 최소 매크로 블록을 검색하는 단계; 및
    상기 최소 매크로 블록을 기준으로 상기 탐색 윈도우 영역에서 최소 매크로 블록이 나타나는 최소 탐색 주기를 계산하고, 상기 최소 탐색 주기에 최소 영역 오프셋을 합하여 최소 탐색 구간을 계산하는 단계;
    상기 탐색 윈도우 영역에서 상기 최소 탐색 구간에 위치하는 비교 매크로 블록에 대해 전체 픽셀 매칭 방식으로 영상 차이값을 계산하여, 상기 탐색 윈도우 영역에서 상기 기준 매크로 블록에 매칭되는 매칭 블록을 검색하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  21. 제 20 항에 있어서, 상기 탐색 윈도우 영역에서 상기 최소 탐색 구간에 위치하지 않는 비교 매크로 블록의 영상 차이값은 부분 픽셀 매칭 방식으로 계산되는 것을 특징으로 하는 영상블록의 매칭 방법.
  22. 제 21 항에 있어서, 상기 최소 매크로 블록을 검색하는 단계는
    기준 매크로 블록과 매칭 영상의 탐색 윈도우 영역에서 순차적으로 생성되는 각 비교 매크로 블록 사이의 영상 차이값을 계산하는 단계;
    상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값에 기초하여 상기 비교 매크로 블록 중 제1 최소 매크로 블록을 검색하고, 상기 기준 매크로 블록과 상기 제1 최소 매크로 블록 사이의 영상 차이값을 최소 영상 차이값으로 설정하는 단계; 및
    상기 제1 최소 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 상기 최소 영상 차이값과 비교하여 상기 최소 영상 차이값보다 작은 영상 차이값을 가지는 비교 매크로 블록을 추가 최소 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  23. 제 22 항에 있어서, 상기 영상블록의 매칭 방법은
    상기 추가 최소 매크로 블록이 검색될 때마다, 상기 기준 매크로 블록과 상기 추가 최소 매크로 블록 사이의 영상 차이값을 최소 영상 차이값으로 갱신하며, 갱신한 최소 영상 차이값보다 작은 영상 차이값을 가지는 비교 매크로 블록을 추가 최소 매크로 블록으로 검색하는 것을 특징으로 하는 영상블록의 매칭 방법.
  24. 제 22 항에 있어서, 상기 제1 최소 매크로 블록을 검색하는 단계는
    상기 탐색 윈도우 영역에서 처음 생성되는 제1 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 초기 영상 차이값으로 설정하는 단계;
    상기 제1 비교 매크로 블록 이후 순차적으로 생성되는 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값을 상기 초기 영상 차이값과 비교하는 단계;
    상기 순차 비교 매크로 블록과 상기 기준 매크로 블록 사이의 영상 차이값이 상기 초기 영상 차이값보다 큰 비교 매크로 블록이 생성될 때마다 카운트를 증가하는 단계; 및
    상기 카운트가 설정 카운트를 초과하는 경우, 상기 제1 비교 매크로 블록을 상기 제1 최소 매크로 블록으로 검색하는 단계를 포함하는 것을 특징으로 하는 영상블록의 매칭 방법.
  25. 제 24 항에 있어서,
    상기 제1 최소 매크로 블록을 검색할 때까지, 상기 기준 매크로 블록과 상기 비교 매크로 블록 사이의 영상 차이값은 전체 픽셀 매칭 방식으로 계산되는 것을 특징으로 하는 영상블록의 매칭 방법.
KR1020140179088A 2014-12-12 2014-12-12 영상 차이값의 통계적 분포에 기초한 영상블록의 매칭 방법 KR101710238B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140179088A KR101710238B1 (ko) 2014-12-12 2014-12-12 영상 차이값의 통계적 분포에 기초한 영상블록의 매칭 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140179088A KR101710238B1 (ko) 2014-12-12 2014-12-12 영상 차이값의 통계적 분포에 기초한 영상블록의 매칭 방법

Publications (2)

Publication Number Publication Date
KR20160072300A KR20160072300A (ko) 2016-06-23
KR101710238B1 true KR101710238B1 (ko) 2017-02-28

Family

ID=56353035

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140179088A KR101710238B1 (ko) 2014-12-12 2014-12-12 영상 차이값의 통계적 분포에 기초한 영상블록의 매칭 방법

Country Status (1)

Country Link
KR (1) KR101710238B1 (ko)

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Choi, Minsu, et al. "Low power block matching using pattern based pixel truncation." Circuits and Systems (MWSCAS), 2015 IEEE 58th International Midwest Symposium on. IEEE, 2015.
Kthiri, M., et al. "Hardware implementation of fast block matching algorithm in FPGA for H. 264/AVC." Systems, Signals and Devices, 2009. SSD'09. 6th International Multi-Conference on. IEEE, 2009.
Lee, Junwoo, et al. "Fast H. 264/AVC motion estimation algorithm using adaptive search range." Integrated Circuits, ISIC'09. Proceedings of the 2009 12th International Symposium on. IEEE, 2009.
Yahi, Amira, et al. "Hardware implementation for a new design of the VBSME Used in H. 264/AVC." Control, Decision and Information Technologies (CoDIT), 2014 International Conference on. IEEE, 2014.

Also Published As

Publication number Publication date
KR20160072300A (ko) 2016-06-23

Similar Documents

Publication Publication Date Title
US20210021855A1 (en) Image processing method and image processing device
US8705611B2 (en) Image prediction encoding device, image prediction encoding method, image prediction encoding program, image prediction decoding device, image prediction decoding method, and image prediction decoding program
US8149915B1 (en) Refinement of motion vectors in hierarchical motion estimation
CN108012149B (zh) 一种视频编码中码率控制的方法
Kim et al. Fast single depth intra mode decision for depth map coding in 3D-HEVC
JP5566786B2 (ja) 誤差絶対値和の推定システム及び推定方法
JP2008219147A (ja) 動画像符号化装置
US20080112631A1 (en) Method of obtaining a motion vector in block-based motion estimation
JP2006115487A (ja) アドバンスドビデオ符号化の演算の複雑度を低減する空間領域情報の前処理
KR100910209B1 (ko) 세분화된 탐색 영역을 기반으로 하는 고속 전영역 움직임예측 방법 및 그 장치
JP6080277B2 (ja) ビデオ圧縮のためのオブジェクト分析を用いたマクロブロックの区画化及び動き予測、ビデオを符号化する方法、ビデオ符号化コンピューティングシステム及びプログラム
US20100239019A1 (en) Post processing of motion vectors using sad for low bit rate video compression
KR100846780B1 (ko) 움직임 벡터 추정 방법 및 장치
JP2008306413A (ja) 画像符号化装置および画像符号化方法
KR101710238B1 (ko) 영상 차이값의 통계적 분포에 기초한 영상블록의 매칭 방법
JP2010041191A (ja) 画像符号化方法及び画像符号化装置
JP4957780B2 (ja) 動き補償予測符号化装置、動き補償予測符号化方法及びプログラム
WO2014083492A2 (en) System and method of performing motion estimation in multiple reference frame
KR101449853B1 (ko) 스테레오 영상의 블록 매칭 장치
JP4516088B2 (ja) 動き探索方法、動き探索装置、動き探索プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
CN110519597B (zh) 一种基于hevc的编码方法、装置、计算设备和介质
CN103796026A (zh) 一种基于双参考帧的运动估计方法
US9948932B2 (en) Image processing apparatus and control method of image processing apparatus
US10063880B2 (en) Motion detecting apparatus, motion detecting method and program
CN117294861B (zh) 一种基于帧间预测的编码块划分方法及编码器

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 4