KR20110032485A - 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치 - Google Patents

기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치 Download PDF

Info

Publication number
KR20110032485A
KR20110032485A KR1020090089996A KR20090089996A KR20110032485A KR 20110032485 A KR20110032485 A KR 20110032485A KR 1020090089996 A KR1020090089996 A KR 1020090089996A KR 20090089996 A KR20090089996 A KR 20090089996A KR 20110032485 A KR20110032485 A KR 20110032485A
Authority
KR
South Korea
Prior art keywords
intra prediction
adjacent
block
region
straight line
Prior art date
Application number
KR1020090089996A
Other languages
English (en)
Other versions
KR101629475B1 (ko
Inventor
이재준
이진영
호요성
강민구
이천
오관정
Original Assignee
삼성전자주식회사
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 광주과학기술원 filed Critical 삼성전자주식회사
Priority to KR1020090089996A priority Critical patent/KR101629475B1/ko
Publication of KR20110032485A publication Critical patent/KR20110032485A/ko
Application granted granted Critical
Publication of KR101629475B1 publication Critical patent/KR101629475B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치가 개시된다. 깊이영상의 경계선을 검출하고, 상기 경계선에 기초하여 매크로 블록을 분할하기 위한 분할 직선을 검출한 후, 상기 검출된 분할 직선이 유효한 경우, 현재 블록을 분할하고, 분할된 영역에 대해 독립적으로 인트라 예측을 수행하여, 최적의 매크로 블록 예측 모드를 선택한다.
경계선, 분할 직선, 유효성 판단, 블록 분할, 인트라 예측

Description

기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치{DEVICE AND METHOD FOR CODING OF DEPTH IMAGE USING GEOMETRY BASED BLOCK PARTITIONING INTRA PREDICTION}
본 발명은 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치에 관한 것으로 특히, 영상의 기하학적 상관도를 이용하는 깊이영상 부호화 방법 및 장치에 관한 것이다.
3차원 비디오 시스템은 다시점 카메라로 획득한 영상과 각 시점의 영상에 대한 3차원 깊이 정보를 입력 데이터로 취하여, 시청자가 시청시점을 자유롭게 선택할 수 있고, 여러 종류의 3차원 재현장치를 이용하여 입체 영상을 구현할 수 있다. 3차원 비디오 시스템은 실감나는 3차원 영상을 바탕으로 하는 게임, 전시, 이벤트 등에 효율적으로 이용할 수 있다. 또한 하나의 사물을 다양한 각도에서 실시간으로 볼 수 있는 특징을 이용하면 단순한 2D 영상보다 더 높은 현장감을 제공할 수 있는 학습용 소프트웨어로도 이용될 수 있다.
한편, 기존의 다양한 방법에 의하여 압축된 깊이영상은 많은 오차를 지니고 있다. 깊이영상을 이용하는 분야에서 부호화된 깊이영상은 특히, 경계선 부위에서 많은 오류 값을 가질 수 있다. 이러한 오류 값은 3차원 비디오 시스템 전체의 성능에 많은 영향을 미친다. 그러나 3차원 비디오 시스템의 특성상 방대한 입력 영상들 때문에 깊이영상의 부호화는 필수적이다.
따라서, 깊이영상의 기하학적 상관도를 이용하여 깊이영상의 경계선 부위를 효과적으로 압축하는 방법 및 장치가 요구된다.
본 발명의 일실시예에 따른 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법은, 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하여 경계선 포함여부를 판단하는 단계, 상기 인접한 매크로 블록 중 적어도 하나의 매크로 블록이 경계선을 포함하는 경우, 블록을 분할하기 위한 분할 직선을 검출하는 단계, 상기 검출된 분할 직선의 유효성을 판단하는 단계, 상기 검출된 분할 직선을 이용하여 현재 블록을 분할하는 단계, 분할된 블록 각각에 대하여 인트라 예측을 수행하여 블록 분할 인트라 예측 모드를 생성하는 단계 및 상기 블록 분할 인트라 예측 모드 및 상기 블록 분할 인트라 예측 모드와 상이한 하나 이상의 예측 모드의 비트율 왜곡 비용을 비교하여 비트율 왜곡 비용이 최소인 예측 모드를 최종 매크로 블록 예측 모드로 결정하는 단계를 포함한다
이때, 상기 경계선 포함여부를 판단하는 단계는, 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하는 단계, 상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는지 판단하는 단계 및 상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는 경우, 경계선을 포함하는 것으로 판단하는 단계를 포함할 수 있다.
또한, 상기 분할 직선을 검출하는 단계는, 유효한 인접 참조 블록에서 경계선을 검출하는 단계, 상기 검출된 경계선의 깊이값 차이를 이진화하는 단계 및 상기 이진화한 경계선의 깊이값 차이를 허프 변환하여 분할 직선을 검출하는 단계를 포함할 수 있다.
또한, 상기 유효성을 판단하는 단계는, 허프 변환시의 축적 배열에서의 최대값이 제3 문턱값보다 큰지 판단하는 단계 및 상기 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는지 판단하는 단계를 포함하고, 상기 최대값이 상기 제3 문턱값보다 크고, 상기 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는 경우, 상기 분할직선이 유효한 것으로 판단할 수 있다.
또한, 상기 현재 블록을 분할하는 단계는, 유효한 참조 인접 블록으로부터 검출된 분할 직선을 상기 현재 블록까지 연장하는 분할 방정식을 생성하는 단계 및 상기 분할 방정식에 상기 현재 블록의 화소 위치를 입력하고, 상기 입력에 대한 결과 값의 부호를 산출하여, 상기 부호에 따라 양의 부호를 가지는 영역 및 음의 부호를 가지는 영역을 구분하는 단계를 포함할 수 있다.
또한, 상기 분할 방정식을 생성하는 단계는, 참조하는 인접 블록이 상기 현재 블록의 왼쪽인 경우, 왼쪽 인접 블록의 좌측 상단 모서리에 해당하는 화소를 수직선의 원점으로 설정하여 방정식을 생성하고, 참조하는 인접 블록이 상기 현재 블록의 위쪽일 경우, 위쪽 인접 블록의 좌측 상단 모서리에 해당하는 화소를 수직선의 원점으로 설정하여 방정식을 생성할 수 있다.
또한, 상기 블록 분할 인트라 예측 모드를 생성하는 단계는, 참조하는 인접 블록의 위치가 왼쪽인 경우, 음을 부호를 가지는 영역은 가로방향 인트라 예측을 수행하고, 양의 부호를 가지는 영역 중 가로방향 인트라 예측을 위한 인접 화소가 있는 영역은 가로방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부 호를 가지는 영역에 인접한 화소들의 평균값을 이용하여 예측을 수행할 수 있다.
또한, 상기 블록 분할 인트라 예측 모드를 생성하는 단계는, 참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 보다 작은 경우, 음의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고, 양의 부호를 가지는 영역 중 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행할 수 있다.
또한, 상기 블록 분할 인트라 예측 모드를 생성하는 단계는, 참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 이상인 경우, 양의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고, 음의 부호를 가지는 영역에서 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 음의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행할 수 있다.
본 발명의 일실시예에 따른 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치는, 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하여 경계선 포함여부를 판단하는 경계선 판단부, 상기 인접한 매크로 블록 중 적어도 하나의 매크로 블록이 경계선을 포함하는 경우, 블록을 분할하기 위한 분할 직선을 검출하는 분할 직선 검출부, 상기 검출된 분할 직선의 유효성을 판단하는 유효성 판단부, 상기 검출된 분할 직선을 이용하여 현재 블록을 분할하는 블록 분할부, 분할된 블록 각각에 대하여 인트라 예측을 수행하여 블록 분할 인트라 예측 모드를 생성하는 예측 모드 생성부 및 상기 블록 분할 인트라 예측 모드 및 상기 블록 분할 인트라 예측 모드와 상이한 하나 이상의 예측 모드의 비트율 왜곡 비용을 비교하여 비트율 왜곡 비용이 최소인 예측 모드를 최종 매크로 블록 예측 모드로 결정하는 예측 모드 결정부를 포함한다.
본 발명의 일실시예에 따르면, 깊이영상의 경계선을 포함하는 영역에서 경계선에 근사한 직선을 검출하고, 검출된 직선으로 현재 블록을 분할하여 독립적으로 인트라 예측을 수행함으로써, 효과적인 부호화를 수행하기 위한 방법 및 장치가 제공된다.
본 발명의 일실시예에 따르면, 매크로 블록을 작은 블록 단위로 나누지 않고도 경계선 영역을 부호화함으로써, 헤더부분에서 모드 정보에 대한 비트 수를 줄일 수 있는 방법 및 장치가 제공된다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명의　실시예들을 상세하게 설명한다. 다만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 있어서, 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법을 도시한 흐름도이다.
도 1을 참고하면, 단계(110)에서는, 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하여 경계선 포함여부를 판단할 수 있 다. 여기서, 단계(110)는 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하는 단계, 상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는지 판단하는 단계 및 상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는 경우, 경계선을 포함하는 것으로 판단하는 단계를 포함할 수 있다. 예를 들어, 인접한 A 매크로 블록과 B 매크로 블록에 있어서, A 매크로 블록 내의 화소 a와 B 매크로 블록 내의 화소 b(여기서, 화소 a와 화소 b는 두 블록의 경계에 인접하고 있는 임의의 화소임)의 깊이차가 기설정된 제1 문턱값보다 큰 경우, A 매크로 블록과 B 매크로 블록은 경계선을 포함하는 것으로 판단할 수 있다.
여기서, 인접한 매크로 블록이 경계선을 포함하지 않는 경우에는 본 발명의 일실시예에 따른 기하학적 블록 기반의 인트라 예측을 수행하지 않고, 기존의 DC(Direct Current) 인트라 예측 모드를 이용하여 최종 매크로 블록 예측 모드를 결정할 수 있다.
단계(120)에서는, 인접한 매크로 블록 중 적어도 하나의 매크로 블록이 경계선을 포함하는 경우, 블록을 분할하기 위한 직선을 검출할 수 있다. 예를 들어, 단계(120)에서는 현재 블록을 분할하기 위한 직선의 정보를 유효한 인접 참조 블록에서 검출할 수 있다. 이때, 인접한 참조블록에서 직선의 정보가 검출되면 검출된 직선을 연장하여 현재 블록을 분할하는데 사용할 수 있다. 여기서, 단계(120)는 도 2 및 도3을 참고하여 이하에서 더욱 상세하게 설명한다.
도 2는 본 발명의 일실시예에 있어서, 분할 직선을 검출하는 과정을 도시한 흐름도이다.
도 2를 참고하면, 분할 직선을 검출하는 단계는, 단계(210)에서, 유효한 인접 참조 블록에서 경계선을 검출하고, 단계(220)에서 검출된 경계선의 깊이값 차이를 이진화하며, 단계(230)에서 이진화한 경계선의 깊이값 차이를 허프 변환하여 분할 직선을 검출할 수 있다.
예를 들어, 인접한 블록에서 경계선 검출 마스크를 사용하여 객체의 경계선을 검출할 수 있다. 다음으로, 경계선에 해당하는 깊이 값의 차이를 이진화 과정을 통해서 0과 255의 값으로 대체할 수 있다. 다음으로, 255의 값을 가지는 화소들을 허프 변환(Hough Transform)하여 경계선을 대표하는 직선을 검출할 수 있다.
여기서, 단계(210)의 상기 경계선의 검출은, 상기 경계선을 단일 화소 단위로 나타내고, 경계선을 포함하는 두 화소 중 왼쪽 또는 위쪽 화소에 상기 경계선의 위치를 나타냄으로써 검출할 수 있다. 예를 들어, 도 3에 도시된 바와 같이, 제한된 크기의 블록 내에서 경계선을 대표하는 직선을 올바르게 검출하기 위해 보다 날카로운 경계선 검출 마스크가 사용될 수 있다. 즉, 화소 단위로 표현되는 디지털 이미지에서 두 화소 사이에 존재하는 경계선의 위치를 나타낼 때에는 어느 화소의 위치에 그 경계선의 위치를 정의할 것인가가 중요한 요소일 수 있다. 따라서, 인접한 블록 내에 포함되는 경계선을 하나의 화소 단위로 날카롭게 표현하고, 실제 이미지의 경계선을 포함하고 있는 두 화소의 왼쪽 또는 위쪽 화소의 위치에 경계선의 위치를 나타내기 위해 경계선 검출 마스크(310, 320)를 사용할 수 있고, 깊이영상의 경계선(330)을 검출할 수 있다.
단계(220)의 이진화는 경계선 검출 후 수행되며, 검출된 경계선에 해당하는 깊이 차이 값의 이진화를 통해서, 검출된 경계선의 깊이값 차이가 오류 때문에 발생하는 차이 값인지 실제 경계선 때문에 발생하는 차이 값인지 명확하게 분류할 수 있다.
이때, 상기 검출된 경계선의 깊이값 차이가 제2 문턱값보다 큰지 판단하여 상기 검출된 경계선의 깊이값을 제1 설정값 및 제2 설정값 중 하나로 이진화할 수 있다. 일예로, 상기 깊이 차이 값이 제2 문턱값보다 작을 경우, 검출된 경계선의 깊이값 차이가, 오류 값에 의한 것이라 판단하여 그 값을 0으로 대체할 수 있다. 마찬가지로, 상기 깊이 차이 값이 제2 문턱값보다 클 경우, 실제 경계선에서 발생하는 차이 값이라 판단하여 그 값을 255로 대체할 수 있다. 여기서, 제2 문턱값은 부호화에 사용되는 입력 QP(Quantization parameter)에 따라서 적응적으로 바뀔 수 있다. 사용하는 QP가 크면 클수록 복호되는 깊이 값의 오류가 커지기 때문에 입력 QP에 상응하여 사용하는 문턱 값 또한 증가될 수 있다.
또한, 단계(220)의 허프 변환은 도 4 내지 도 6을 참조하여 상세하게 설명한다.
도 4는 본 발명의 일실시예에 있어서, 2차원 영상 공간에서 매개변수 공간으로 변환하는 과정을 설명하기 위한 도면이다.
허프 변환은 2차원 영상 좌표에서 직선의 방정식을 매개변수(parameter) 공간으로 변환하여 직선을 찾는 알고리즘이다. 2차원 공간에서의 직선의 방정식은 아래 [수학식 1]과 같이 작성할 수 있다.
[수학식 1]
y= ax+b
여기서, a는 기울기, b는 y절편이며, 상기 직선의 방정식은 가로 축이 x이고, 세로 축이 y인 2차원 xy 공간에서 정의되고, a와 b가 직선의 모양을 결정하는 매개변수가 된다. 이때, 상기 직선의 방정식을 가로 축이 a이고, 세로 축이 b인 공간에서 정의하면 아래 [수학식 2]와 같이 나타낼 수 있다.
[수학식 2]
b= -xa+y
따라서, 2차원 xy 공간에서의 직선의 방정식을 ab 공간으로 변경하면 2차원 xy 공간에서의 직선은 ab 공간에서 한 점으로 나타나고, 반대로 xy 공간에서 한 점은 ab 공간에서 직선의 형태로 나타난다. 허프 변환은 이를 이용하여 xy 공간에서의 직선을 찾을 수 있고, 도 4에는, xy 공간(410)에서 ab 공간(420)으로의 좌표 공간 변화를 나타낸다. xy 공간(410)에서, 직선의 방정식은 임의의 두 점 (x1, y1)과 (x2, y2)를 지나고 있다. 이 직선이 점 (x1, y1)를 지나가므로, y1 = a*x1+b 의 식을 만족하며, 이를 ab 공간으로 변형하면 b = -x1*a+y1 가 될 수 있다. 여기서 x1과 y1은 상수 값을 가지므로 ab 공간에서 정의된 b = -x1*a+y1 은 직선의 방정식이 된다. 마찬가지로, xy 공간(410)에서 점(x2, y2)는 ab 공간(420)에서 b = -x2*a+y2 의 직선 방정식이 될 수 있다.
이때, 이 두 직선이 서로 교차하는 점의 좌표는 (a', b')가 되며, 이는 xy 공간에서 직선의 방정식 y= a'x+b' 를 정의해주는 두 개의 매개변수 값이다. 따라 서, 허프 변환을 이용하여 직선의 방정식을 찾기 위해 xy 공간에서 경계선으로 판명되는 모든 점의 좌표를 ab 공간으로 변경하여 직선을 그려주고, 직선들이 많이 교차되는 점을 찾을 수 있다. 이때, 직선이 교차하는 점을 찾기 위해 축적 배열을 사용할 수 있다. 축적 배열은 2차원 배열을 이용하여 만든 후, 직선이 통과하는 배열의 좌표를 1씩 증가시키는 배열이다.
도 5는 본 발명의 일실시예에 있어서, 허프 변환을 통한 축적배열 생성을 설명한다.
도 5를 참고하면, 2차원 xy 영상 좌표계에 존재하는 3개의 점(510, 520, 530)을 이용하여 ab 공간에서 3개의 직선(511, 512, 513)을 그리고 3개의 직선(511, 512, 513) 이 지나가는 배열의 좌표의 값을 1씩 증가하면, 3개의 직선이 공통으로 지나간 위치의 값이 3이 되어 최대값을 가질 수 있다. 따라서, 영상 좌표계에 존재하는 모든 경계선 픽셀에 대하여 상기 과정을 수행한 후, 최종적으로 축적 배열에서 최대값을 가지는 배열의 좌표를 찾아 그 좌표의 인덱스(index)에 해당하는 a', b'를 찾으면 상기 a', b'가 xy 공간에서 직선 방정식을 나타내기 위한 매개변수가 될 수 있다(여기서, a'는 직선의 기울기, b'는 직선의 y절편임).
이때, 본 발명의 일실시예에 따르면, ab 좌표계 대신 아래 [수학식 3]과 같은 극좌표계 형태의 직선의 방정식을 사용할 수 있다.
[수학식 3]
Figure 112009058409425-PAT00001
도 6은 본 발명의 일실시예에 있어서, 매개변수 ρ, θ를 이용한 직선의 표현을 설명한다.
도 6을 참고하면, ρ는 원점 (0,0)에서 직선(610)까지의 수직 거리를 의미하고, θ 는 원점에서 직선에 수직선을 그렸을 때 y축과 이루는 각도의 크기를 의미한다. 따라서, 허프 변환을 통해서 검출된 직선은 그 매개변수 집합 (ρ, θ)형태로 저장될 수 있다.
다시 도 1을 참고하면, 단계(130)에서는, 검출된 분할 직선의 유효성을 판단할 수 있다. 여기서, 단계(130)는 허프 변환시의 축적 배열에서의 최대값이 제3 문턱값보다 큰지 판단하는 단계 및 상기 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는지 판단하는 단계를 포함할 수 있다. 이때, 상기 두 단계 중 어느 하나라도 만족하지 않을 경우, 본 발명의 일실시예에 따른 기하학 기반의 블록 분할 인트라 예측 모드를 생성하지 않고, 기존의 DC 인트라 예측모드를 생성하도록 할 수 있다.
상기 도 6과 같이, 허프변환에서 xy 좌표 공간의 점들은 ρ, θ 매개변수 공간에서 직선의 형태로 표현될 수 있고, xy 좌표 공간에서 점들을 ρ, θ 공간에서 직선으로 그렸을 때 직선들이 가장 많이 교차하는 축적 배열의 인덱스 (ρ', θ') 좌표가 xy공간에서 경계선에 해당하는 화소들의 위치를 대표하는 극좌표 형태의 직선의 매개변수가 될 수 있다. 즉, 축적 배열에서 최대값의 크기는 xy 공간에서 경계선에 해당하는 화소들의 수를 의미한다. 따라서, 축적 배열의 최대값을 비교하여 검출되는 직선이 xy 공간에서 몇 개의 화소로부터 검출된 것인지 판단할 수 있고, 이에 따라 상기 검출되는 직선이 유효한지 판단할 수 있다. 예를 들어, 축적배열의 최대값이 기설정된 제3 문턱값 보다 크면 충분히 많은 화소로부터 분할 직선을 검출한 것으로써, 1차적으로 유효한 것으로 판단할 수 있고, 축적 배열의 최대값이 문턱 값보다 작으면, 본 발명의 일실시예에 따른 기하학 기반의 블록 분할 인트라 예측 모드를 생성하지 않고, 기존의 DC 인트라 예측 모드를 생성하도록 할 수 있다.
상기 최대값 비교를 통해서 검출된 분할 직선이 1차적으로 유효한 것으로 판단되면, 분할 직선이 통과하는 인접 매크로블록의 경계 화소의 위치를 확인하여 그 유효성을 최종적으로 판단한다. 이때, 이용 가능한 인접 참조블록에서 현재 블록을 분할하는 직선이 올바르게 검출이 되었다면, 검출된 직선이 현재 블록을 반드시 통과해야 하므로, 일정한 범위 내의 x축 인접 화소들 또는 y축의 인접 화소들을 반드시 통과한다. 따라서, 통과해야 하는 일정한 범위 내의 인접 화소들의 범위를 유효한 인접 화소의 범위로 정의하고, 검출된 직선이 유효한 인접 화소의 범위를 통과하면 최종적으로 유효한 직선으로 판단하고, 유효한 인접 화소의 범위를 통과하지 않으면 올바른 직선이 검출되지 않았다고 판단하여 본 발명의 일실시예에 따른 기하학 기반의 블록 분할 인트라 예측 모드를 생성하지 않고, 기존의 DC 인트라 예측모드를 생성할 수 있다.
도 7은 본 발명의 일실시예에 있어서, 분할 직선이 통과하는 유효한 인접 화소들의 범위를 설명하기 위한 도면이다.
도 7을 참고하면, 8x8 블록에서 분할 직선이 올바르게 검출 된 경우, 통과 하게 되는 유효한 인접 화소의 범위를 나타낸다.
제1 실시예(710)에서는, 유효한 y축 인접 화소들의 범위(711)를 분할 직선이 통과하는 경우, 유효한 직선으로 판단하고, 유효한 y축 인접 화소들의 범위(711)를 통과하지 않는 분할 직선(712)은 잘못 검출된 직선으로 판단하여 본 발명의 일실시예에 따른 기하학 기반의 블록 분할 인트라 예측 모드를 생성하지 않고, 기존의 DC 인트라 예측모드를 생성할 수 있다.
마찬가지로, 제2 실시예(720)에서도, 유효한 x축 인접 화소들의 범위(721)를 분할 직선이 통과하는 경우, 유효한 직선으로 판단할 수 있다.
다시 도 1을 참고하면, 단계(140)에서는, 검출된 분할 직선을 이용하여 현재 블록을 분할할 수 있다. 단계(140)는, 유효한 참조 인접 블록으로부터 검출된 분할 직선을 상기 현재 블록까지 연장하는 분할 방정식을 생성하는 단계 및 상기 분할 방정식에 상기 현재 블록의 화소 위치를 입력하고, 상기 입력에 대한 결과 값의 부호를 산출하여, 상기 부호에 따라 양의 부호를 가지는 영역 및 음의 부호를 가지는 영역을 구분하는 단계를 포함할 수 있다.
여기서, 분할 방정식을 생성하는 단계는, 참조하는 인접 블록이 상기 현재 블록의 왼쪽인 경우, 왼쪽 인접 블록의 좌측 상단 모서리에 해당하는 화소를 수직선의 원점으로 설정하여 방정식을 생성하고, 참조하는 인접 블록이 상기 현재 블록의 위쪽일 경우, 위쪽 인접 블록의 좌측 상단 모서리에 해당하는 화소를 수직선의 원점으로 설정하여 방정식을 생성할 수 있다.
현재 블록을 분할하는 과정은 도 8을 참조하여 이하에서 더욱 상세하게 설 명한다.
도 8은 본 발명의 일실시예에 있어서, 위쪽 블록 또는 왼쪽 블록을 참조하여 검출된 분할 직선을 이용하여 현재 블록을 분할하는 과정을 설명하기 위한 도면이다.
상기와 같이, 인접 블록에서 검출된 직선에 대한 극좌표 형태의 매개 변수 집합 (θ', ρ')이 구해지고 유효성이 검증되면, 검출된 매개 변수 집합을 이용하여 현재 부호화 되는 블록을 분할하기 위한 분할 방정식을 만들 수 있다.
도 8을 참고하면, 위쪽 참조 블록에서 분할 직선을 검출하여 현재 블록을 분할하는 경우(810)와 왼쪽 참조 블록에서 분할 직선을 검출하여 현재 블록을 분할하는 경우(820)를 나타내고 있다. 이때, 블록분할을 위한 수학식은 아래 [수학식 4] 내지 [수학식 7]과 같이 표현될 수 있다.
[수학식 4]
Figure 112009058409425-PAT00002
[수학식 5]
Figure 112009058409425-PAT00003
[수학식 6]
Figure 112009058409425-PAT00004
[수학식 7]
Figure 112009058409425-PAT00005
[수학식 4]는 참조한 인접 블록의 좌측 상단 좌표를 원점으로 했을 때 블록 분할 방정식을 나타낸다. [수학식 4]는 부호화하고자 하는 블록의 화소 좌표(x', y')를 기준으로 다시 [수학식 5]와 [수학식 6]으로 나타낼 수 있다. [수학식 5]는 위쪽 블록을 참조한 경우이기 때문에 xy 좌표계에서 y좌표는 현재블록의 y축 방향의 화소위치(y')에서 위쪽 블록의 세로 크기(ex. 8)만큼 이동한 값이다. 마찬가지로 [수학식 6]은 왼쪽 블록을 참조한 경우이므로, x좌표가 현재블록의 x축 방향의 화소위치(x')에서 왼쪽 참조 블록의 가로 크기(ex. 8)만큼 이동한 값이다. 현재 블록의 화소위치(x', y')에 대응해서 분할 방정식의 결과 값이 나오면 그 부호에 따라서 현재 화소의 좌표(x', y')를 [수학식 7]과 같이 각각 양의 부호를 가지는 영역과 음의 부호를 가지는 영역으로 정의하여 현재 블록을 분할할 수 있다.
다시 도 1을 참고하면, 단계(150)에서는, 분할된 블록 각각에 대하여 인트라 예측을 수행하여 블록 분할 인트라 예측 모드를 생성할 수 있다. 여기서, 이때 분할된 블록 각각에 대한 예측은 이용 가능한 인접 화소 값들을 이용하며 분할 직선 검출에 이용한 참조블록의 위치와 검출된 직선의 매개변수 θ'의 범위에 따라 다양한 형태의 예측이 수행될 수 있다.
예를 들어, 단계(150)는 참조하는 인접 블록의 위치가 왼쪽인 경우, 음을 부호를 가지는 영역은 가로방향 인트라 예측을 수행할 수 있다. 또한, 양의 부호를 가지는 영역 중 가로방향 인트라 예측을 위한 인접 화소가 있는 영역은 가로방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균값을 이용하여 예측을 수행할 수 있다.
또한, 참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 보다 작은 경우, 음의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고, 양의 부호를 가지는 영역 중 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하며, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행할 수 있다.
또한, 참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 이상인 경우, 양의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고, 음의 부호를 가지는 영역에서 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하며, 인접 화소가 없는 영역은 음의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행할 수 있다.
블록 분할 인트라 예측 모드를 생성의 일실시예를 도 9 및 도 10을 참고하여 설명한다.
도 9는 본 발명의 일실시예에 있어서, 왼쪽 블록 참조 시 분할 직선의 θ' 값에 따른 각 영역의 독립적 인트라 예측을 설명하기 위한 도면이다.
도 9를 참고하면, 왼쪽 블록을 참조하는 경우, y축의 인접 화소들을 이용할 수 있으므로 분할된 각 영역을 독립적으로 가로방향 예측할 수 있다.
여기서, 0 < θ' < 90 일 경우(910), 음의 부호를 가지는 영역은 가로방향 예측을 수행하고, 양의 부호를 가지는 영역에서는 가로방향 예측을 수행하되 가로방향 예측을 위해 이용 가능한 인접 화소가 없는 영역(점선 표시)은 양의 부호를 가지는 영역에 인접한 화소 값들의 평균(DC_Y)을 이용하여 예측한다.
90 ≤ θ' 인 경우(920)도 상기와 마찬가지의 방법으로 각각의 분할된 영역을 인트라 예측할 수 있다.
도 10은 본 발명의 일실시예에 있어서, 위쪽 블록 참조 시 분할 직선의 θ' 값에 따른 각 영역의 독립적 인트라 예측을 설명하기 위한 도면이다.
도 10을 참고하면, 위쪽 블록을 참조하는 경우, x축의 인접 화소들을 이용할 수 있으므로 각 영역을 독립적으로 세로방향 예측할 수 있다.
0 < θ' < 90 일 경우(1010), 음의 부호를 가지는 영역에서 세로방향 예측을 수행하고, 양의 부호를 가지는 영역에서 세로방향 예측을 수행하되 세로방향 예측을 위해 이용 가능한 인접 화소가 없는 영역(점선 표시)은 양의 부호를 가지는 영역에 인접한 화소 값들의 평균(DC_X)으로 예측할 수 있다.
90 ≤ θ' 일 경우(1020)는 양의 부호를 가지는 영역에서 세로방향 예측을 수행하고, 음의 부호를 가지는 영역에서 세로방향 예측을 수행하되 세로방향 예측을 위해 이용 가능한 인접 화소가 없는 영역(점선 표시)은 음의 부호를 가지는 영역에 인접한 화소 값들의 평균(DC_X)을 이용하여 예측을 수행할 수 있다.
단계(160)에서는, 블록 분할 인트라 예측 모드 및 상기 블록 분할 인트라 예측 모드와 상이한 하나 이상의 예측 모드의 비트율 왜곡 비용을 비교하여 비트율 왜곡 비용이 최소인 예측 모드를 최종 매크로 블록 예측 모드로 결정할 수 있다.
단계(170)에서는, 인접한 매크로 블록이 경계선을 포함하지 않거나, 검출된 분할 직선이 유효하지 않은 경우, DC인트라 예측 모드를 생성할 수 있다. 따라서, 이 경우, 본 발명의 일실시예에 따른 기하학 기반의 블록 분할 인트라 예측 모드를 대신하여 기존의 DC 인트라 예측 모드를 생성하고, 단계(160)에서 상기 DC 인트라 예측 모드와 하나 이상의 다른 예측 모드 중 비트율 왜곡 비용이 최소인 예측 모드를 최종 매크로 블록 예측 모드로 결정할 수 있다.
상기와 같이, 깊이영상의 경계선을 포함하는 영역에서 경계선과 유사한 직선을 검출하고, 검출된 직선으로 현재 블록을 분할하여 독립적으로 인트라 예측을 수행함으로써, 효과적인 부호화를 수행할 수 있다.
도 11은 본 발명의 일실시예에 있어서, 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치를 도시한 블록도이다.
도 11을 참고하면, 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치(1100)는 경계선 판단부(1110), 분할 직선 검출부(1120), 유효성 판단부(1130), 블록 분할부(1140), 예측 모드 생성부(1150), 및 예측 모드 결정부(1110)를 포함할 수 있다.
경계선 판단부(1110)는 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하여 경계선 포함여부를 판단할 수 있다. 이때, 경계선 판단부(1110)는 깊이차 산출부(1111), 제1 판단부(1112), 및 제2 판단 부(1113)를 포함할 수 있다.
깊이차 산출부(1111)는 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하고, 제1 판단부(1112)는 상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는지 판단하며, 제2 판단부(1113)는 상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는 경우, 경계선을 포함하는 것으로 판단할 수 있다.
분할 직선 검출부(1120)는 인접한 매크로 블록 중 적어도 하나의 매크로 블록이 경계선을 포함하는 경우, 블록을 분할하기 위한 분할 직선을 검출할 수 있다. 여기서, 분할 직선 검출부(1120)는 경계선 검출부(1121), 이진화부(1122), 및 허프 변환부(1123)를 포함할 수 있다.
경계선 검출부(1121)는 유효한 인접 참조 블록에서 경계선을 검출하고, 이진화부(1122)는 상기 검출된 경계선의 깊이값 차이를 이진화하며, 허프 변환부(1123)는 이진화한 경계선의 깊이값 차이를 허프 변환하여 분할 직선을 검출할 수 있다.
유효성 판단부(1130)는 검출된 분할 직선의 유효성을 판단할 수 있다. 여기서, 유효성 판단부(1130)는 제3 판단부(1131) 및 통과 판단부(1132)를 포함할 수 있다.
제3 판단부(1131)는 허프 변환시의 축적 배열에서의 최대값이 제3 문턱값보다 큰지 판단하고, 통과 판단부(1132)는 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는지 판단할 수 있다. 이때, 유효성 판단부(1130)는 상 기 최대값이 상기 제3 문턱값보다 크고, 상기 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는 경우, 상기 분할직선이 유효한 것으로 판단할 수 있다.
블록 분할부(1140)는 검출된 분할 직선을 이용하여 현재 블록을 분할할 수 있다. 여기서, 블록 분할부(1140)는 방정식 생성부(1141) 및 영역 구분부(1142)를 포함할 수 있다.
방정식 생성부(1141)는 유효한 참조 인접 블록으로부터 검출된 분할 직선을 상기 현재 블록까지 연장하는 분할 방정식을 생성하고, 영역 구분부(1142)는 분할 방정식에 상기 현재 블록의 화소 위치를 입력하고, 상기 입력에 대한 결과 값의 부호를 산출하여, 상기 부호에 따라 양의 부호를 가지는 영역 및 음의 부호를 가지는 영역을 구분할 수 있다.
예측 모드 생성부(1150)는 분할된 블록 각각에 대하여 인트라 예측을 수행하여 블록 분할 인트라 예측 모드를 생성할 수 있다. 이때, 예측 모드 생성부(1150)는 참조하는 인접 블록의 위치가 왼쪽인 경우, 음을 부호를 가지는 영역은 가로방향 인트라 예측을 수행하고, 양의 부호를 가지는 영역 중 가로방향 인트라 예측을 위한 인접 화소가 있는 영역은 가로방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균값을 이용하여 예측을 수행할 수 있다.
또한, 예측 모드 생성부(1150)는 참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 보다 작은 경우, 음의 부호를 가지는 영역 은 세로방향 인트라 예측을 수행하고, 양의 부호를 가지는 영역 중 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행할 수 있다.
또한, 예측 모드 생성부(1150)는 참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 이상인 경우, 양의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고, 음의 부호를 가지는 영역에서 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 음의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행할 수 있다.
예측 모드 결정부(1110)는 블록 분할 인트라 예측 모드 및 상기 블록 분할 인트라 예측 모드와 상이한 하나 이상의 예측 모드의 비트율 왜곡 비용을 비교하여 비트율 왜곡 비용이 최소인 예측 모드를 최종 매크로 블록 예측 모드로 결정할 수 있다.
한편, 도 11에서 설명되지 않은 부분은 도 1 내지 도 10의 설명을 참고할 수 있다.
상기와 같이, 깊이영상의 경계선을 포함하는 영역에서 경계선에 유사한 직선을 검출하고, 검출된 직선으로 현재 블록을 분할하여 독립적으로 인트라 예측을 수행함으로써, 기하학적 상관도를 이용하여 깊이영상의 경계선 부위를 효과적으로 압축할 수 있고, 매크로 블록을 작은 블록 단위로 나누지 않고도 경계선 영역을 부 호화함으로써, 헤더부분에서 모드 정보에 대한 비트 수를 줄일 수다.
또한 본 발명의 일실시예에 따른 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상과 같이 본 발명의 일실시예는 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명의 일실시예는 상기 설명된 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.　 따라서, 본 발명의 일실시예는 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 있어서, 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법을 도시한 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 분할 직선을 검출하는 과정을 도시한 흐름도이다.
도 3은 본 발명의 일실시예에 있어서, 경계선 검출 마스크를 통한 경계선 검출을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 2차원 영상 공간에서 매개변수 공간으로 변환하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 있어서, 허프 변환을 통한 축적배열 생성을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 있어서, 매개변수 ρ, θ를 이용한 직선의 표현을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 있어서, 분할 직선이 통과하는 유효한 인접 화소들의 범위를 설명하기 위한 도면이다.
도 8은 본 발명의 일실시예에 있어서, 위쪽 블록 또는 왼쪽 블록을 참조하여 검출된 분할 직선을 이용하여 현재 블록을 분할하는 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일실시예에 있어서, 왼쪽 블록 참조 시 분할 직선의 θ' 값에 따른 각 영역의 독립적 인트라 예측을 설명하기 위한 도면이다.
도 10은 본 발명의 일실시예에 있어서, 위쪽 블록 참조 시 분할 직선의 θ' 값에 따른 각 영역의 독립적 인트라 예측을 설명하기 위한 도면이다.
도 11은 본 발명의 일실시예에 있어서, 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치를 도시한 블록도이다.

Claims (21)

  1. 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하여 경계선 포함여부를 판단하는 단계;
    상기 인접한 매크로 블록 중 적어도 하나의 매크로 블록이 경계선을 포함하는 경우, 블록을 분할하기 위한 분할 직선을 검출하는 단계;
    상기 검출된 분할 직선의 유효성을 판단하는 단계;
    상기 검출된 분할 직선을 이용하여 현재 블록을 분할하는 단계;
    분할된 블록 각각에 대하여 인트라 예측을 수행하여 블록 분할 인트라 예측 모드를 생성하는 단계; 및
    상기 블록 분할 인트라 예측 모드 및 상기 블록 분할 인트라 예측 모드와 상이한 하나 이상의 예측 모드의 비트율 왜곡 비용을 비교하여 비트율 왜곡 비용이 최소인 예측 모드를 최종 매크로 블록 예측 모드로 결정하는 단계
    를 포함하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  2. 제1항에 있어서,
    상기 경계선 포함여부를 판단하는 단계는,
    인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하는 단계;
    상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는지 판단하는 단계; 및
    상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는 경우, 경계선을 포함하는 것으로 판단하는 단계
    를 포함하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  3. 제1항에 있어서,
    상기 분할 직선을 검출하는 단계는,
    유효한 인접 참조 블록에서 경계선을 검출하는 단계;
    상기 검출된 경계선의 깊이값 차이를 이진화하는 단계; 및
    상기 이진화한 경계선의 깊이값 차이를 허프 변환하여 분할 직선을 검출하는 단계
    를 포함하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  4. 제3항에 있어서,
    상기 경계선을 검출하는 단계는,
    상기 경계선을 단일 화소 단위로 나타내고, 경계선을 포함하는 두 화소 중 왼쪽 또는 위쪽 화소에 상기 경계선의 위치를 나타내는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  5. 제3항에 있어서,
    상기 이진화하는 단계는,
    상기 검출된 경계선의 깊이값 차이가 제2 문턱값보다 큰지 판단하여, 상기 검출된 경계선의 깊이값을 제1 설정값 및 제2 설정값 중 하나로 이진화하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  6. 제5항에 있어서,
    상기 제2 문턱값은,
    입력되는 양자화 파라미터(Quantization Parameter)에 상응하여 조절되는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  7. 제1항에 있어서,
    상기 유효성을 판단하는 단계는,
    허프 변환시의 축적 배열에서의 최대값이 제3 문턱값보다 큰지 판단하는 단계; 및
    상기 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는 지 판단하는 단계
    를 포함하고,
    상기 최대값이 상기 제3 문턱값보다 크고, 상기 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는 경우, 상기 분할직선이 유효한 것으로 판단하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  8. 제1항에 있어서,
    상기 현재 블록을 분할하는 단계는,
    유효한 참조 인접 블록으로부터 검출된 분할 직선을 상기 현재 블록까지 연장하는 분할 방정식을 생성하는 단계; 및
    상기 분할 방정식에 상기 현재 블록의 화소 위치를 입력하고, 상기 입력에 대한 결과 값의 부호를 산출하여, 상기 부호에 따라 양의 부호를 가지는 영역 및 음의 부호를 가지는 영역을 구분하는 단계
    를 포함하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  9. 제8항에 있어서,
    상기 분할 방정식을 생성하는 단계는,
    참조하는 인접 블록이 상기 현재 블록의 왼쪽인 경우, 왼쪽 인접 블록의 좌 측 상단 모서리에 해당하는 화소를 수직선의 원점으로 설정하여 방정식을 생성하고,
    참조하는 인접 블록이 상기 현재 블록의 위쪽일 경우, 위쪽 인접 블록의 좌측 상단 모서리에 해당하는 화소를 수직선의 원점으로 설정하여 방정식을 생성하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  10. 제8항에 있어서,
    상기 블록 분할 인트라 예측 모드를 생성하는 단계는,
    참조하는 인접 블록의 위치가 왼쪽인 경우,
    음을 부호를 가지는 영역은 가로방향 인트라 예측을 수행하고,
    양의 부호를 가지는 영역 중 가로방향 인트라 예측을 위한 인접 화소가 있는 영역은 가로방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균값을 이용하여 예측을 수행하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  11. 제8항에 있어서,
    상기 블록 분할 인트라 예측 모드를 생성하는 단계는,
    참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 보다 작은 경우,
    음의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고,
    양의 부호를 가지는 영역 중 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  12. 제8항에 있어서,
    상기 블록 분할 인트라 예측 모드를 생성하는 단계는,
    참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 이상인 경우,
    양의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고,
    음의 부호를 가지는 영역에서 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 음의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법.
  13. 제1항 내지 제12항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
  14. 인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차 이를 산출하여 경계선 포함여부를 판단하는 경계선 판단부;
    상기 인접한 매크로 블록 중 적어도 하나의 매크로 블록이 경계선을 포함하는 경우, 블록을 분할하기 위한 분할 직선을 검출하는 분할 직선 검출부;
    상기 검출된 분할 직선의 유효성을 판단하는 유효성 판단부;
    상기 검출된 분할 직선을 이용하여 현재 블록을 분할하는 블록 분할부;
    분할된 블록 각각에 대하여 인트라 예측을 수행하여 블록 분할 인트라 예측 모드를 생성하는 예측 모드 생성부; 및
    상기 블록 분할 인트라 예측 모드 및 상기 블록 분할 인트라 예측 모드와 상이한 하나 이상의 예측 모드의 비트율 왜곡 비용을 비교하여 비트율 왜곡 비용이 최소인 예측 모드를 최종 매크로 블록 예측 모드로 결정하는 예측 모드 결정부
    를 포함하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치.
  15. 제14항에 있어서,
    상기 경계선 판단부는,
    인접한 매크로 블록의 경계에 위치하는 복수의 인접 화소 간의 깊이 값 차이를 산출하는 깊이차 산출부;
    상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는지 판단하는 제1 판단부; 및
    상기 깊이 값 차이가 제1 문턱값보다 큰 인접 화소가 존재하는 경우, 경계 선을 포함하는 것으로 판단하는 제2 판단부
    를 포함하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치.
  16. 제14항에 있어서,
    상기 분할 직선 검출부는,
    유효한 인접 참조 블록에서 경계선을 검출하는 경계선 검출부;
    상기 검출된 경계선의 깊이값 차이를 이진화하는 이진화부; 및
    상기 이진화한 경계선의 깊이값 차이를 허프 변환하여 분할 직선을 검출하는 허프 변환부
    를 포함하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치.
  17. 제14항에 있어서,
    상기 유효성 판단부는,
    허프 변환시의 축적 배열에서의 최대값이 제3 문턱값보다 큰지 판단하는 제3 판단부; 및
    상기 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는지 판단하는 통과 판단부
    를 포함하고,
    상기 최대값이 상기 제3 문턱값보다 크고, 상기 검출된 분할 직선이 기설정된 범위 내의 유효한 인접 화소를 통과하는 경우, 상기 분할직선이 유효한 것으로 판단하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치.
  18. 제14항에 있어서,
    상기 블록 분할부는,
    유효한 참조 인접 블록으로부터 검출된 분할 직선을 상기 현재 블록까지 연장하는 분할 방정식을 생성하는 방정식 생성부; 및
    상기 분할 방정식에 상기 현재 블록의 화소 위치를 입력하고, 상기 입력에 대한 결과 값의 부호를 산출하여, 상기 부호에 따라 양의 부호를 가지는 영역 및 음의 부호를 가지는 영역을 구분하는 영역 구분부
    를 포함하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치.
  19. 제18항에 있어서,
    상기 예측 모드 생성부는,
    참조하는 인접 블록의 위치가 왼쪽인 경우,
    음을 부호를 가지는 영역은 가로방향 인트라 예측을 수행하고,
    양의 부호를 가지는 영역 중 가로방향 인트라 예측을 위한 인접 화소가 있 는 영역은 가로방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균값을 이용하여 예측을 수행하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치.
  20. 제18항에 있어서,
    상기 예측 모드 생성부는,
    참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 보다 작은 경우,
    음의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고,
    양의 부호를 가지는 영역 중 세로방향 인트라 예측을 위한 인접 화소가 있는 영역은 세로 방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 양의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치.
  21. 제18항에 있어서,
    상기 예측 모드 생성부는,
    참조하는 인접 블록의 위치가 위쪽이고, 검출된 분할 직선의 매개변수θ'가 90도 이상인 경우,
    양의 부호를 가지는 영역은 세로방향 인트라 예측을 수행하고,
    음의 부호를 가지는 영역에서 세로방향 인트라 예측을 위한 인접 화소가 있 는 영역은 세로 방향 인트라 예측을 수행하고, 인접 화소가 없는 영역은 음의 부호를 가지는 영역에 인접한 화소들의 평균 값을 이용하여 예측을 수행하는 것을 특징으로 하는 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 장치.
KR1020090089996A 2009-09-23 2009-09-23 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치 KR101629475B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090089996A KR101629475B1 (ko) 2009-09-23 2009-09-23 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090089996A KR101629475B1 (ko) 2009-09-23 2009-09-23 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110032485A true KR20110032485A (ko) 2011-03-30
KR101629475B1 KR101629475B1 (ko) 2016-06-22

Family

ID=43937228

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090089996A KR101629475B1 (ko) 2009-09-23 2009-09-23 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101629475B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157822A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 깊이 영상의 부호화 장치 및 방법, 그리고 복호화 장치 및 방법
WO2013162275A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2013159300A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
KR101452625B1 (ko) * 2013-04-01 2014-10-24 한양대학교 산학협력단 3차원 영상의 인트라 예측 방법 및 장치
WO2015137789A1 (ko) * 2014-03-14 2015-09-17 삼성전자 주식회사 뎁스 블록을 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법.
WO2016182317A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 인트라 예측을 수행하는 영상 복호화 방법 및 그 장치 및 인트라 예측을 수행하는 영상 부호화 방법 및 그 장치
KR101865826B1 (ko) * 2017-05-24 2018-06-08 동의대학교 산학협력단 깊이 영상의 화면 내 예측 부호화 방법 및 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528387B1 (ko) 2017-01-09 2023-05-03 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법
WO2018128511A1 (ko) * 2017-01-09 2018-07-12 에스케이텔레콤 주식회사 영상 부호화 또는 복호화하기 위한 장치 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080088039A (ko) * 2007-03-28 2008-10-02 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20090046814A (ko) * 2006-08-02 2009-05-11 톰슨 라이센싱 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치
WO2009090884A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 画像符号化方法及び画像復号方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090046814A (ko) * 2006-08-02 2009-05-11 톰슨 라이센싱 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치
KR20080088039A (ko) * 2007-03-28 2008-10-02 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
WO2009090884A1 (ja) * 2008-01-18 2009-07-23 Panasonic Corporation 画像符号化方法及び画像復号方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
C. Dai, et al. Geometry-adaptive block partitioning for intra prediction in image &amp; video coding. ICIP 2007, Sep. 2007, pp.VI-85-VI-88 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013157822A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 깊이 영상의 부호화 장치 및 방법, 그리고 복호화 장치 및 방법
WO2013162275A1 (ko) * 2012-04-24 2013-10-31 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
WO2013159300A1 (en) * 2012-04-25 2013-10-31 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
KR101452625B1 (ko) * 2013-04-01 2014-10-24 한양대학교 산학협력단 3차원 영상의 인트라 예측 방법 및 장치
WO2015137789A1 (ko) * 2014-03-14 2015-09-17 삼성전자 주식회사 뎁스 블록을 이용한 멀티 레이어 비디오 부호화 방법 및 멀티 레이어 비디오 복호화 방법.
WO2016182317A1 (ko) * 2015-05-12 2016-11-17 삼성전자 주식회사 인트라 예측을 수행하는 영상 복호화 방법 및 그 장치 및 인트라 예측을 수행하는 영상 부호화 방법 및 그 장치
US10742973B2 (en) 2015-05-12 2020-08-11 Samsung Electronics Co., Ltd. Image decoding method for performing intra prediction and device thereof, and image encoding method for performing intra prediction and device thereof
KR101865826B1 (ko) * 2017-05-24 2018-06-08 동의대학교 산학협력단 깊이 영상의 화면 내 예측 부호화 방법 및 장치

Also Published As

Publication number Publication date
KR101629475B1 (ko) 2016-06-22

Similar Documents

Publication Publication Date Title
KR20110032485A (ko) 기하학 기반의 블록 분할 인트라 예측을 이용한 깊이영상 부호화 방법 및 장치
US8582866B2 (en) Method and apparatus for disparity computation in stereo images
JP2020119550A (ja) 拡張現実、仮想現実、ロボティクスに適したグラフィカルな基準マーカ識別
US10586334B2 (en) Apparatus and method for segmenting an image
US9454704B2 (en) Apparatus and method for determining monitoring object region in image
CN107169489B (zh) 倾斜图像校正的方法和装置
US20130182945A1 (en) Image processing method and apparatus for generating disparity value
KR101785194B1 (ko) Dibr 3차원 영상을 위한 템플릿 기반 워터마킹 방법 및 장치
EP2887314B1 (en) Video frame conversion method and apparatus
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
CN113573068B (zh) 基于配准的改进v-pcc帧间预测方法及系统
CN108665495B (zh) 图像处理方法及装置、移动终端
KR20110054244A (ko) 미디언 필터를 이용한 깊이영상 부호화의 인트라 예측 장치 및 방법
US8395824B2 (en) Method for determining ground line
KR20070061011A (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
CN110933428A (zh) 图像处理方法及装置
KR20190088557A (ko) 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN107592538B (zh) 一种降低立体视频深度图编码复杂度的方法
US8744193B2 (en) Image signature extraction device
TW201428680A (zh) 影像處理裝置及立體影像前景分離方法
JP7258632B2 (ja) 物体検出装置
KR101524074B1 (ko) 영상 처리 방법
KR101512297B1 (ko) 영상의 그라운드 라인 결정 방법
EP3110155B1 (en) A method for predictive coding of depth maps and a depth map encoder
CN111127288B (zh) 可逆图像水印处理方法、装置及计算机可读存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4