KR19990011959A - 입체 영상 부호기를 위한 양안차 추정 방법 및 그 회로 - Google Patents

입체 영상 부호기를 위한 양안차 추정 방법 및 그 회로 Download PDF

Info

Publication number
KR19990011959A
KR19990011959A KR1019970035218A KR19970035218A KR19990011959A KR 19990011959 A KR19990011959 A KR 19990011959A KR 1019970035218 A KR1019970035218 A KR 1019970035218A KR 19970035218 A KR19970035218 A KR 19970035218A KR 19990011959 A KR19990011959 A KR 19990011959A
Authority
KR
South Korea
Prior art keywords
binocular
vector
search range
block
previous
Prior art date
Application number
KR1019970035218A
Other languages
English (en)
Other versions
KR100243229B1 (ko
Inventor
전병우
민재홍
백중환
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019970035218A priority Critical patent/KR100243229B1/ko
Publication of KR19990011959A publication Critical patent/KR19990011959A/ko
Application granted granted Critical
Publication of KR100243229B1 publication Critical patent/KR100243229B1/ko

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 입체 영상 부호기를 위한 양안차 벡터 추정 방법 및 그 회로가 개시되어 있다. 양안차 벡터 추정 회로는 소정의 탐색범위내에서 우 영상의 소정크기의 블록과 가장 근접한 블록을 좌 영상신호로부터 검출하고 검출된 좌 영상의 블록의 위치와 현재의 우 영상의 블록 위치와의 차를 나타내는 양안차 벡터를 추정하는 추정기 및 탐색 범위를 제어하는 제어기를 포함하여 카메라 위치에 따라 양안차 벡터의 수평 및 수직 성분의 크기가 차이가 나는 성질과 이전 우 영상의 해당 블록에 양안차 벡터의 유무에 따라 양안차 벡터 탐색 범위를 가변시켜 효과적이고, 빠르게 양안차 벡터를 구할 수 있다.

Description

입체 영상 부호기를 위한 양안차 추정 방법 및 그 회로
본 발명은 입체 영상 부호화 분야에 관한 것으로, 특히 입체 영상 부호화를 위한 양안차 벡터 추정 방법 및 그 회로에 관한 것이다.
3차원 입체 영상의 부호화 및 전송 기술은 3차원 영상 정보 전송에 필수적인 기술로서, 입체 영상 매체를 이용한 정보 통신 서비스 분야의 발전속도를 좌우하는 아주 유망한 분야이다. 또한, 이 분야의 기술 개발은 3차원 영상 매체의 빠른 실용화를 위해서, 현재까지 활발하게 진행되고 있는 MPEG(Moving Pictures Experts Group of the International Standards Organization)에서 제안하고 있는 2차원 영상 부호화 기술을 최대한으로 활용하여 이루어질 것으로 예상된다.
입체 영상의 획득(acquisition)으로 가장 많이 사용되는 방법은 도 1에 도시된 바와 같이 좌, 우 한쌍의 카메라(100,101)를 이용하는 것이다. 좌 카메라(100) 및 우 카메라(101)는 물리적 및 전기적으로 연결되어 있으며, 이 좌,우 카메라(100, 101)는 수평방향으로 작은 변위를 가지고 설치되어 있다.
한편, 인간의 좌, 우 눈은 영상을 각각 평면적으로 보지만, 좌, 우 영상을 동시에 보게 됨으로써 입체감을 느끼게 된다. 이때, 좌,우 눈에서 보게 되는 영상간의 시각차를 양안차(disparity)라고 부른다. 좌,우 눈을 대신한 두 대의 카메라(100,101)에서 얻어지는 두 영상을 전송하기 위해서는 막대한 전송 용량의 채널이 필요하므로 통상 기존의 MPEG 비디오 부호화방법을 사용하여 압축한다. 그러나, 좌 및 우 영상 사이에 시간적으로(temporally) 상관도가 크기 때문에 이의 효과적인 이용을 통해 용장도(redundancy)를 줄여주는 것이 매우 중요하다.
따라서, 최근 개발 완료된 2차원 동영상 부호화 및 전송 기술의 국제 표준인 MPEG-2의 부호화 기법과 비트스트림 신텍스(bit stream syntax)를 이용해 좌 및 우 채널로 이루어지는 입체 영상을 압축 및 부호화하고 이를 전송하는 멀티뷰 프로파일(multiview profile)이 정하여졌다. 이 MPEG-2 멀티뷰 프로파일에서는 시간적인 계위(temporal scalability)를 이용한 입체 부호화 방법을 제시하고 있는 데, 이는 좌 영상신호를 기준층(base layer)으로 그리고 좌 영상신호를 기준으로 양안차 보상된 우 영상신호를 개선층(enhancement layer)으로 전송한다.
그런데, MPEG-2 멀티뷰 프로파일에서는 기존의 모션 벡터외에 입체 영상 시퀀스로부터 양안차 벡터를 구해야 한다. 이 양안차 벡터를 추정하기 위해서 지금까지는 블록 매칭과 같은 기존의 모션 벡터 추정 방법을 이용하였는 데 이 방법은 풀서치(full search)를 하므로 처리시간이 상당히 걸리는 단점이 있었다.
상기한 문제점을 해결하기 위하여, 본 발명의 목적은 입체 영상 부호화방법에 있어서, 빠른 시간내에 효과적으로 양안차 벡터를 추정하는 방법을 제공하는 데 있다.
본 발명의 다른 목적은 입체 영상 부호기에 있어서 빠른 시간내에 효과적으로 양안차 벡터를 추정하는 회로를 제공하는 데 있다.
상기한 목적을 달성하기 위하여, 본 발명에 의한 양안차 벡터 추정 방법은 입력되는 좌 및 우 영상신호중 선택된 한쪽 영상신호는 나머지 다른 영상신호와는 독립적으로 압축부호화하는 입체 영상 부호화 방법에 있어서, 소정의 탐색범위내에서 다른 영상신호의 소정 크기의 블록과 가장 근접한 블록을 한쪽 영상신호로부터 검출해서 검출된 블록 위치와 현재의 다른 영상신호의 블록 위치와의 차를 나타내는 양안차 벡터를 추정하는 단계와 탐색 범위를 제어하는 단계를 포함함을 특징으로 한다.
상기한 다른 목적을 달성하기 위하여, 본 발명에 의한 양안차 벡터 추정 회로는 입력되는 좌 및 우 영상신호중 선택된 한쪽 영상신호는 나머지 다른 영상신호와는 독립적으로 압축부호화하는 입체 영상 부호기에 있어서, 소정의 탐색범위내에서 다른 영상신호의 소정크기의 블록과 가장 근접한 블록을 한쪽 영상신호로부터 검출해서 검출된 블록의 위치와 현재의 다른 영상신호의 블록 위치와의 차를 나타내는 양안차 벡터를 추정하는 추정기와 탐색 범위를 제어하는 제어기를 포함함을 특징으로 한다.
도 1은 입체 영상의 획득을 설명하기 위한 도면이다.
도 2는 양안차 벡터의 정의를 설명하기 위한 도면이다.
도 3은 양안차 벡터의 유무에 따른 탐색 영역을 보인 도면이다.
도 4는 본 발명이 적용되는 입체 영상 부호기의 블록도이다.
도 5는 도 4에 도시된 모션/양안차 벡터 추정기의 상세 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명에 의한 입체 영상 부호기를 위한 양안차 벡터 추정 방법 및 그 회로의 바람직한 실시예를 설명하기로 한다.
먼저, 본 발명의 이해를 돕기 위하여 양안차 벡터의 정의를 설명한다.
좌,우 눈을 통해 보게 되는 영상간의 시각차를 양안차라고 부르는데 인간의 눈을 대신한 두 대의 카메라에서 영상을 보는 경우 양안차 벡터의 정의를 도 2에 도시된 바와 같이 정의한다. 즉, 피사체의 동일 부분에 해당하는 각 영상에서의 위치를 즉, 좌 영상에서의 그 위치를 (x1,y1)라고 하고, 우 영상에서의 그 위치를 (x2,y2)라고 하면, 두 위치의 차이를 양안차 벡터라고 정의할 수 있는 데, 본 발명에서는 양안차 벡터(D)를 다음과 같이 정의한다.
양안차는 그 개념상 물체의 한 점이, 보는 방향(즉, 좌안과 우안)에 따라 좌 영상과 우 영상에 나타나는 위치가 다르며 이때 두 영상에 표시되는 두 점사이의 방향 벡터이므로 에피폴라(epipolar) 라인이 수평이라고 전제하면, 마치 좌 영상이 수평방향으로 이동한 것과 같이 우 영상이 나타난다. 에피폴라 라인은 두 카메라의 각 중심점과 피사체의 한 점으로 이루어지는 평면이 두 카메라상의 각 영상과 이루는 직선을 말하는 것으로, 두 대의 카메라가 수평을 이루고 있다는 것을 뜻한다. 그러므로, 이 경우 양안차 벡터의 수직 성분은 영에 가까워 매우 작은 값을 가지며 수평 성분의 크기가 수직 성분의 크기보다 더욱 클 가능성이 매우 높다.
본 발명은 이 성질을 효과적으로 이용하기 위해 양안차 벡터 추정을 위한 탐색 범위 설정에 있어서 수직 방향을 수평 방향보다 작게 설정한다. sxm,sym을 각각 가로, 세로의 모션 벡터 탐색 범위라고 하고, sxd,syd를 각각 가로, 세로의 양안차 벡터 탐색 범위라고 하면, 가로의 양안차 탐색 범위는 가로의 모션 벡터 탐색 범위와 동일하게 즉, sxd = sxm 로 설정한다. 그러나, 세로의 양안차 탐색 범위는 세로의 모션 벡터 탐색 범위보다 작게 즉, syd = sym/2 또는 syd = sym/3 으로 설정하여도 수직 방향의 양안차값이 작기 때문에 적절한 양안차 벡터값을 검출할 수 있다. 즉, syd = sym/A라고 하고, A의 값을 조절함으로써 수직 방향의 탐색 범위를 조정한다.
부가적으로, 앞에서 언급한 바와 같이 멀티뷰 프로파일에서는 기존의 MPEG-2 문법(syntax)과 구문(semantics)에 맞게 부호화하기 위해 매크로블록단위로 양안차 벡터를 추정하고 있다. 이 양안차에 의해 나타나는 영상에서의 효과는 모션(motion)에 의한 것과 동일하므로 통상적으로 블록 매칭 방법을 이용하여 풀서치함으로써 양안차 벡터를 추정한다 모션 벡터를 추출하는 탐색 영역은 통상적으로 가로와 세로의 길이가 같은 탐색 범위를 가진다.
그러나, 본 발명은 두 대의 카메라가 수평선상에 배치되어 있다면 양안차 벡터 추정을 위한 탐색 범위를 설정함에 있어서 수직 방향을 수평 방향보다 작게 설정한다. 또한, 두 대의 카메라가 수직선상에 배치되어 있다면 반대로 양안차 벡터 추정을 위한 탐색 범위를 설정함에 있어서 수평 방향을 수직 방향보다 작게 설정하여 본 발명의 효과를 살릴 수 있다. 더우기, 본 발명은 양안차 벡터 탐색 범위를 모션 벡터 탐색 범위와 별도로 설정할 수도 있다.
또한, 본 발명은 매크로블록의 양안차 벡터는 일반적으로 시간축 방향으로 상관도가 높으므로 이것을 효과적으로 이용하기 위해 바로 이전에 찾은 양안차 벡터가 가리키는 위치에 탐색 영역을 이용하여 새로운 양안차 벡터를 찾고, 이때 찾은 양안차 벡터를 다음 양안차 벡터 탐색에 사용한다. 이때 두 카메라가 동일 수평선상에 위치해 있는 경우 탐색 영역의 상하 방향보다는 좌우 방향(즉 수평방향)을 크게하여 전체 탐색 영역을 줄임으로써 양안차 벡터 탐색에 소요되는 시간을 급격하게 감소시킬 수 있도록 한다.
다음, 본 발명의 양안차 벡터의 탐색과정을 도 3을 참조하여 상세히 설명하면 다음과 같다.
MPEG-2 멀티뷰 프로파일에서 기준층의 픽쳐를 기준(reference)으로하여 개선층의 픽쳐에 대한 양안차 벡터를 추출하는 데, 개선층(즉, 우 영상)의 픽쳐를 부호화할 경우 이전 픽쳐의 우 영상을 부호화할 때 추출된 양안차 벡터정보를 이용하여 그 양안차 벡터가 지시하는 위치를 현재 픽쳐의 탐색 범위의 중심점으로 한다.
이때 탐색 범위의 크기는 다음의 두 경우로 나누어 정하는 데, 이전 픽쳐에서 양안차 벡터가 없는 경우는 도 3의 (a)에 도시된 바와 같이 탐색 범위는 수평 및 수직 방향으로 줄이지 않는다. 예를 들어 우측 영상의 첫 번째 블록의 부호화와 같은 초기화 과정에서는 이전 양안차 벡터가 없으므로 수평 및 수직 방향으로 줄이지 않는 탐색 범위(여기서는 2sxd × 2syd)를 사용한다.
그러나, 이전 픽쳐의 해당 매크로블록에 양안차 벡터가 있는 경우의 탐색 범위는 수평, 수직방향으로 미리 정해진 비율만큼 줄인다. 즉, 도 3의 (b)에서는 편의상 이전 픽쳐의 해당 매크로블록에 양안차 벡터가 있는 경우의 탐색 범위(여기서는 sxd × syd)를 양안차 벡터가 없는 경우의 탐색 범위의 반으로 줄이는 경우를 도시한다. 위의 과정을 비디오 시퀀스가 끝날 때까지 반복한다.
한편, 본 발명이 적용되는 멀티뷰 프로파일에서 제안하는 입체 영상 부호화기의 블록도는 도 4에 도시되어 있다. 도 4에 있어서, 입력되는 우 및 좌 영상 신호는 우 카메라(도시되지 않음) 및 좌 카메라(도시되지 않음)로부터 인가되는 신호이다. 좌 영상신호는 일반적인 모션 보상 예측 압축기에 입력된다. 이 좌 영상신호를 위한 모션 보상 예측 압축기는 구성요소 110로부터 구성요소 180까지를 포함하고, 이 모션 보상 예측 압축기는 프레임내(intra-frame) 압축 및 프레임간(inter-frame) 압축을 하며, 예를 들어 I,P,B 프레임 압축의 시퀀스에 따라 행한다. 이에 대해서는 미합중국 특허번호 5,122,875에 개시되어 있으므로 상세한 설명은 생략한다.
일반적으로, I 프레임 픽셀 데이터는 감산기(110)의 영향을 받지 않고 그대로 엔코더(120)로 출력된다. 엔코더(120)는 이산코사인변환(DCT)을 8 × 8픽셀 블록의 픽셀데이터에 대응해서 행하고, DCT 데이터를 양자화하고, 양자화된 데이터는 런길이 부호화해서 통계적 부호화를 행한다. 엔코더(120)로부터 출력되는 부호화된 데이터는 멀티플렉서(MUX로 표기되어 있음:180)에 입력된다.
이 멀티플렉서(180)은 통계적 부호화된 영상 데이터와, 모션추정기(160)로부터의 모션 벡터갑소, 그리고 매크로블록타입과 같은 부가정보를 다중하여 출력한다. 이 멀티플렉서(180)의 일 예로서 상세한 구성 및 동작설명은 유럽 특허 출원번호 0 639 031 A2에 개시되어 있으므로 여기서는 생략하기로 한다.
엔코더(120)로부터 출력되는 압축된 I 프레임은 디코더(130)에 인가된다. 디코더(130)는 엔코더(120)의 역 기능을 수행한다. 압축된 I 프레임인 경우 디코더 (130)의 출력은 재생된 I 프레임 신호가 된다. 압축해제된 I 프레임은 가산기(140)의 영향을 받지 않고 그대로 버퍼(150)에 전송되고, 이후 P 및 B 프레임을 예측압축하기 위하여 버퍼(150)에 저장된다. P 및 B 프레임의 예측부호화도 유사하며, P 프레임 압축에 대해 설명한다. 좌 영상 프레임들은 모션 추정기(motion estimator:160)에 공급된다. 모션 추정기(160)는 압축될 현재의 프레임을 예를 들어 16 × 16픽셀 블록(일명 매크로블록이라고 함)으로 분할하고, 현 프레임의 블록과 탐색할 프레임에서 가장 근접한 동일한 블록과의 공간 좌표의 상응차(relative difference)를 나타내는 벡터를 계산한다.
모션 보상(motion compensation:MC) 예측기(170)는 모션 추정기(160)에서 추정된 모션벡터에 상응하는 블록을 버퍼(150)로부터 독출하여 감산기(110)에 공급한다. 감산기(110)는 현재 압축해제될 프레임에 대응하는 블록으로부터 모션 보상 예측기(170)를 통해 버퍼(150)로부터의 예측된 블록을 감산하는 데, 픽셀 대 픽셀단위로 감산한다.
감산기(110)의 감산에 의해 얻어진 차 또는 나머지(residue)는 엔코더(120)에 인가된다. 모션 추정기(160)에 의해 생성된 모션 벡터는 멀티플렉서(180)에 공급된다. 멀티플렉서(180)는 엔코더(120)로부터 출력되는 부호화된 데이터와 모션 추정기(160)로부터 출력되는 모션 벡터에 전송 패킷 헤더를 부가하여 전송 패킷화해서 전송 패킷화된 좌 비트스트림을 출력한다.
한편, 압축 P 프레임은 디코더(130)에서 복호화되고, 복호된 데이터는 가산기(140)의 제1 입력단에 인가된다. 동시에 해당 프레임을 예측하기 위해 버퍼(150)에 저장된 이전 영상 프레임의 각각의 블록을 억세스하여 억세스된 블록은 모션 보상 예측기(170)를 통해 가산기(140)의 제2 입력단에 인가된다. 가산기(140)는 부호화된 나머지 또는 차와 모션 보상 예측기(170)로부터 출력되는 데이터를 가산해서 실제의 이미지를 복원한다. 가산기(140)로부터의 복원된 P 프레임은 이후 P 및 B 프레임을 예측 부호화/복호화하기 위하여 버퍼(150)에 저장된다.
한편, 입력되는 우 영상신호는 감산기(210) 및 모션/양안차 추정기(260)에 인가된다. 가산기(140)로부터 출력되는 좌 영상은 모션/양안차 추정기(260)에 인가된다. 우 및 좌 프레임들은 각각 우 및 좌 프레임이 시간적으로 관련되도록 동기되게 처리되어야 한다.
모션/양안차 추정기(260)는 이전 우 영상의 양안차 벡터의 존재 유무에 따라 이전에 찾은 양안차 벡터가 가리키는 위치에 탐색 영역을 이동하여 현재 입력되는 우 영상 블록과 가장 동일한 블록을 가산기(140)로부터 출력되는 좌 영상 프레임내에서 검출해서 두 블록과의 차인 양안차 벡터를 계산한다. 이때 탐색 영역의 수직 방향보다는 수평방향을 크게 하여 전체 탐색 영역을 줄이며, 양안차 벡터의 존재 유무에 따라 탐색 영역을 가변시킨다.
우 영상의 부호화를 위해 양안차 벡터 대신에 모션 벡터를 사용할 경우에는 현재 입력되는 우 영상의 블록과 가장 근접한 픽셀치를 갖는 블록을 예측하기 위해 버퍼(250)에 저장된 이전 우 영상 프레임 픽셀 블록을 검출해서 모션 벡터를 계산한다. 모션/양안차 추정기(260)에서 추정된 양안차 벡터 또는 모션 벡터를 모션 보상 예측기(270)에 인가한다.
모션/양안차 추정기(260)에서 양안차 벡터가 출력되면 모션 보상 예측기(270)는 양안차 벡터에 대응하는 내부에 저장된 압축해제된 좌 영상 프레임 픽셀 블록을 억세스해서 억세스된 데이터를 감산기(210)에 출력한다. 모션/양안차 추정기(260)에서 모션 벡터가 출력되면 모션 보상 예측기(270)는 모션 벡터에 대응하는 버퍼(250)에 저장된 압축해제된 우 영상 프레임 픽셀 블록을 억세스해서 억세스된 데이터를 감산기(210)에 출력한다. 현재의 우 영상 프레임 픽셀 블록은 동시에 감산기(210)에 공급되고, 감산기 (210)에 의해 픽셀 차 또는 나머지를 생성한다.
생성된 차 또는 나머지는 엔코더(220)에 공급되고, 엔코더(220)는 엔코더(120)와 동일한 기능을 수행한다. 엔코더(220)에서 처리된 데이터는 모션/양안차 추정기(260)로부터 출력되는 대응하는 벡터와 함께 멀티플렉서(280)에 출력한다. 이 멀티플렉서(280)는 멀티플렉서(180)와 동일한 기능을 수행하고, 우 비트스트림을 출력한다.
한편, 모션/양안차 추정기(260)의 상세 블록도는 도 5에 도시된 바와 같다. 통상적으로 모션/양안차 추정 단위는 매크로블록이므로 도 5에서도 매크로블록으로 설명을 하나 소정 크기의 블록단위가 될 수 있다.
도 5에 있어서, 제어기(261)는 블록 선택기(263)에 에러를 산출하기 위한 현재 우 영상의 매크로블록 위치 좌표(c1)와 이와 비교할 기준 영상의 매크로블록 위치 좌표(c2)를 출력한다. 상술한 바와 같이 기준 영상의 위치 좌표(c2)는 이전 픽쳐의 해당 매크로블록에 양안차 벡터의 유무에 따라, 또한 양안차 벡터가 존재할 경우 모션/양안차 벡터 버퍼(266)로부터 출력되는 이전 픽쳐의 해당 매크로블록의 양안차 벡터값에 따라 가변된 탐색 범위내에서 결정된다.
따라서, 블록선택기(263)는 제어기(261)에서 출력되는 위치좌표들(c1,c2)에 따라 선택된 우영상의 매크로블록의 화소데이터와 탐색범위내의 기준 영상의 위치좌표에 해당하는 화소데이터를 에러계산기(264)에 출력한다. 탐색범위내의 위치좌표(c2)들 각각에 대해, 에러계산기(264)는 선택된 매크로블록내 모든화소에 대한 누적에러를 계산하여 판단기(265)로 출력한다.
판단기(265)는 제어기(261)에서 출력되는 가변된 탐색 범위를 나타내는 탐색 영역신호에 따라 가변된 탐색 범위내에서 가장 작은 값을 찾는다. 이때 결정된 최소 에러값을 갖는 매크로블록 위치와 현재 우 영상 블록의 위치의 차가 양안차 벡터로 결정되어 출력되며 그 값은 차후 탐색영역의 결정에 사용하기 위해 모션/양안차 벡터 버퍼(266)에 저장된다.
제어기(261)로부터 에러계산기(264)로 출력되는 신호는 기준 매크로블록의 위치좌표(c2)가 바뀔때마다, 누적계산값을 판단기(265)로 인가한 후 다음 계산을 위해 초기화시키기 위한 제어신호이다. 마찬가지로 제어기(261)는 판단기(265)로 제어신호를 인가하여 초기화시키거나 에러계산기(264)로부터 데이터를 인가받도록 제어한다.
한편, 멀티뷰 프로파일에 의한 입체 영상 압축에 있어서 우 영상 압축시에는 좌 영상을 기준으로 하는 양안차 보상을 할 수도 있고, 같은 우 영상을 이용한 모션 보상도 가능하다. 따라서, 본 발명은 동일한 블록을 이용해 두 경우 모두를 처리하기 위해 기준 영상 선택기(262)에서 모션 보상을 할 경우는 우 프레임 영상을 위한 버퍼(250)로부터 출력되는 이전 프레임의 우 영상 데이터를 선택하고, 양안차 보상을 할 경우는 가산기(140)로부터 출력되는 좌 프레임 영상이 저장된 버퍼(267)로부터 출력되는 좌 영상 데이터를 선택한다. 이 기준 영상 선택기(262)의 선택 제어신호(SEL)는 제어기(261)에서 출력된다. 그리고, 예측하기 위해 버퍼(267)에 저장된 좌 프레임 영상 데이터는, 개선층을 양안차에 의해 보상해서 부호화할 경우 도 4에 도시된 모션/양안차 보상 예측기(270)에 출력한다.
본 발명은 카메라 위치에 따라 양안차 벡터의 수평 수직 성분의 크기가 차이가 나는 성질과 이전 픽쳐의 해당 매크로블록에 양안차 벡터의 유무에 따라 양안차 벡터 탐색 범위를 가변시켜 효과적이고, 빠르게 양안차 벡터를 구할 수 있는 효과가 있다.

Claims (26)

  1. 입력되는 좌 및 우 영상신호중 하나의 영상신호는 나머지 다른 영상신호와는 독립적으로 압축부호화하는 입체 영상 부호화 방법에 있어서:
    (a) 소정의 탐색범위내에서 상기 다른 영상신호의 소정 크기의 블록과 가장 근접한 블록을 상기 하나의 영상신호로부터 검출해서 검출된 블록 위치와 현재의 다른 영상신호의 블록 위치와의 차를 나타내는 양안차 벡터를 추정하는 단계; 및
    (b) 상기 탐색 범위를 제어하는 단계를 포함함을 특징으로 하는 양안차 벡터 추정 방법.
  2. 제1항에 있어서, 상기 (b)단계에서는 상기 탐색 범위의 수평 크기를 수직 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  3. 제1항에 있어서, 상기 (b)단계에서는 상기 탐색 범위의 수직 크기를 수평 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  4. 좌, 우 카메라로부터 입력되는 좌 및 우 영상신호중 하나의 영상신호는 나머지 다른 영상신호와는 독립적으로 압축부호화하는 입체 영상 부호화 방법에 있어서:
    (a) 소정의 탐색범위내에서 상기 다른 영상신호의 소정 크기의 블록과 가장 근접한 블록을 상기 하나의 영상신호로부터 검출해서 검출된 블록 위치와 현재의 다른 영상신호의 블록 위치와의 차를 나타내는 양안차 벡터를 추정하는 단계;
    (b) 현재의 다른 영상신호의 블록 위치에 상응하는 이전의 다른 영상신호의 블록 위치에 양안차 벡터(이전 양안차 벡터)가 존재하는 지를 검출하는 단계; 및
    (c) 상기 좌, 우 카메라의 위치와 상기 양안차 벡터의 존재 유무에 따라 양안차 벡터추정을 위한 상기 탐색 범위를 가변시키는 단계를 포함함을 특징으로 하는 양안차 벡터 추정 방법.
  5. 제4항에 있어서, 상기 (c)단계에서는 상기 좌, 우 카메라위치가 수평선상에 작은 변위를 가지고 설치되어 있으면 상기 탐색 범위의 수직 크기를 수평 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  6. 제4항에 있어서, 상기 (c)단계에서는 상기 좌, 우 카메라 위치가 수직선상에 작은 변위를 가지고 설치되어 있으면 상기 탐색 범위의 수평 크기를 수직 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  7. 제4항에 있어서, 상기 (c)단계에서는 이전 양안차 벡터가 존재하는 경우 탐색 범위의 크기를 이전 양안차 벡터가 존재하지 않는 경우보다 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  8. 제4항에 있어서, 상기 (c)단계에서는 이전 양안차 벡터가 존재하는 경우 현재의 다른 영상신호에 대한 탐색 범위의 중심점을 이전 양안차 벡터가 지시하는 곳으로 위치시켜 탐색 범위를 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  9. 기준층의 픽쳐는 개선층의 픽쳐와는 독립적으로 압축 부호화하고, 개선층의 픽쳐는 상기 기준층 및 개선층 중 하나의 기준 영상을 기준으로하여 압축 부호화하는 입체 영상 부호화 방법에 있어서:
    (a) 현재 개선층 픽쳐의 소정크기의 블록 위치 좌표, 이와 비교할 기준 영상의 블록 위치 좌표 및 소정의 탐색 범위를 발생하는 단계;
    (b) 상기 현재 개선층 픽쳐의 블록 위치 좌표와 기준 영상의 블록 위치 좌표를 근거로하여 현재 개선층의 블록을 선택하여 선택된 블록을 출력하는 단계;
    (c) 상기 탐색범위내의 기준 영상의 블록 좌표들 각각과 상기 선택된 블록내의 모든 화소와의 에러를 계산하는 단계;
    (d) 상기 탐색 범위내에서 상기 에러가 가장 작은 값을 갖는 블록 위치를 결정하여 결정된 최소의 에러값을 갖는 블록 위치와 현재 개선층 블록 위치의 차로서 양안차 벡터를 결정하는 단계를 포함함을 특징으로 하는 양안차 벡터 추정 방법.
  10. 제9항에 있어서, 상기 양안차 벡터를 추정하기 위하여 상기 기준층의 픽쳐 영상을 선택하고, 모션 벡터를 추정하기 위하여 상기 개선층의 픽쳐를 선택해서 상기 기준 영상으로서 출력하는 단계(e)를 더 포함함을 특징으로 하는 양안차 벡터 추정 방법.
  11. 제9항에 있어서, 상기 기준 영상의 블록 위치 좌표는 이전 개선층의 블록 위치에 양안차 벡터(이전 양안차 벡터)의 존재 유무와 상기 이전 양안차 벡터값에 따라 가변되는 탐색 범위내에서 결정됨을 특징으로 하는 양안차 벡터 추정 방법.
  12. 제9항에 있어서, 상기 (a)단계에서는 상기 탐색 범위의 수직 크기를 수평 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  13. 제9항에 있어서, 상기 (a)단계에서는 상기 탐색 범위의 수평 크기를 수직 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  14. 제9항에 있어서, 상기 (a)단계에서는 상기 이전 양안차 벡터가 존재하는 경우 상기 탐색 범위의 크기를 이전 양안차 벡터가 존재하지 않는 경우보다 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  15. 제9항에 있어서, 상기 (a)단계에서는 상기 이전 양안차 벡터가 존재하는 경우 현재의 개선층에 대한 탐색 범위의 중심점을 이전 개선층의 블록 위치에 해당하는 양안차 벡터가 지시하는 곳으로 위치시켜 탐색 범위를 설정하는 것을 특징으로 하는 양안차 벡터 추정 방법.
  16. 입력되는 좌 및 우 영상신호중 하나의 영상신호는 나머지 다른 영상신호와는 독립적으로 압축부호화하는 입체 영상 부호기에 있어서:
    소정의 탐색범위내에서 상기 다른 영상신호의 소정크기의 블록과 가장 근접한 블록을 상기 하나의 영상신호로부터 검출해서 검출된 블록의 위치와 현재의 다른 영상신호의 블록 위치와의 차를 나타내는 양안차 벡터를 추정하는 추정기; 및
    상기 탐색 범위를 제어하는 제어기를 포함함을 특징으로 하는 양안차 벡터 추정 회로.
  17. 제16에 있어서, 상기 제어기는 상기 탐색 범위의 수평 크기를 수직 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 회로.
  18. 제16항에 있어서, 상기 제어기는 상기 탐색 범위의 수직 크기를 수평 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 회로.
  19. 기준층의 픽쳐는 개선층의 픽쳐와는 독립적으로 압축 부호화하고, 개선층의 픽쳐는 상기 기준층 및 개선층 중 하나의 기준 영상을 기준으로하여 압축 부호화하는 입체 영상 부호기에 있어서:
    현재 개선층 픽쳐의 소정크기의 블록 위치 좌표, 이와 비교할 기준 영상의 블록 위치 좌표와 소정의 탐색 범위를 출력하는 제어기;
    상기 현재 개선층 픽쳐의 블록 위치 좌표와 상기 기준 영상의 블록 위치 좌표를 근거로하여 현재 개선층의 블록을 선택하여 선택된 선택된 블록을 출력하는 블록 선택기;
    상기 탐색범위내의 상기 기준 영상 블록의 좌표들 각각과 상기 선택된 블록내의 모든 화소와의 에러를 계산하는 에러 계산기; 및
    상기 탐색 범위내에서 상기 에러가 가장 작은 값을 갖는 블록 위치를 결정하여 결정된 최소의 에러값을 갖는 블록 위치와 현재 개선층 블록의 위치의 차로서 양안차 벡터를 결정하는 판단기를 포함함을 특징으로 하는 양안차 벡터 추정 회로.
  20. 제19항에 있어서, 양안차 벡터를 추정하기 위하여 상기 기준층의 픽쳐 영상을 선택하고, 모션 벡터를 추정하기 위하여 상기 개선층의 픽쳐를 선택해서 상기 기준 영상으로서 출력하는 기준 영상 선택기를 더 포함함을 특징으로 하는 양안차 벡터 추정 회로.
  21. 제19항에 있어서, 상기 판단기로부터 출력되는 양안차 벡터 및 모션 벡터를 저장하는 버퍼를 더 포함함을 특징으로 하는 양안차 벡터 추정 회로.
  22. 제19항에 있어서, 상기 기준 영상 블록 위치 좌표는 이전 개선층의 블록 위치에 양안차 벡터(이전 양안차 벡터)의 존재 유무와 상기 이전 양안차 벡터값에 따라 가변되는 탐색 범위내에서 결정됨을 특징으로 하는 양안차 벡터 추정 회로.
  23. 제19항에 있어서, 상기 제어기는 상기 탐색 범위의 수직 크기를 수평 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 회로.
  24. 제19항에 있어서, 상기 제어기는 상기 탐색 범위의 수평 크기를 수직 크기에 비해 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 회로.
  25. 제19항에 있어서, 상기 제어기는 상기 이전 양안차 벡터가 존재하는 경우 상기 탐색 범위의 크기를 상기 이전 양안차 벡터가 존재하지 않는 경우보다 작게 설정하는 것을 특징으로 하는 양안차 벡터 추정 회로.
  26. 제19항에 있어서, 상기 제어기는 상기 이전 양안차 벡터가 존재하는 경우 현재의 개선층에 대한 탐색 범위의 중심점을 이전 양안차 벡터가 지시하는 곳으로 위치시켜 탐색 범위를 설정하는 것을 특징으로 하는 양안차 벡터 추정 회로.
KR1019970035218A 1997-07-25 1997-07-25 입체 영상 부호기를 위한 양안차 추정 방법 및그 회로 KR100243229B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970035218A KR100243229B1 (ko) 1997-07-25 1997-07-25 입체 영상 부호기를 위한 양안차 추정 방법 및그 회로

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970035218A KR100243229B1 (ko) 1997-07-25 1997-07-25 입체 영상 부호기를 위한 양안차 추정 방법 및그 회로

Publications (2)

Publication Number Publication Date
KR19990011959A true KR19990011959A (ko) 1999-02-18
KR100243229B1 KR100243229B1 (ko) 2000-02-01

Family

ID=19515743

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970035218A KR100243229B1 (ko) 1997-07-25 1997-07-25 입체 영상 부호기를 위한 양안차 추정 방법 및그 회로

Country Status (1)

Country Link
KR (1) KR100243229B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764797B1 (ko) * 2006-01-11 2007-10-08 연세대학교 산학협력단 고속 움직임 및 변이 추정 방법
KR100800653B1 (ko) * 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
KR101126294B1 (ko) * 2010-06-30 2012-03-21 엘지이노텍 주식회사 다시점 영상의 부호화 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764797B1 (ko) * 2006-01-11 2007-10-08 연세대학교 산학협력단 고속 움직임 및 변이 추정 방법
KR100800653B1 (ko) * 2006-12-01 2008-02-01 삼성전자주식회사 3차원 입체 영상을 압축하기 위한 장치 및 방법
KR101126294B1 (ko) * 2010-06-30 2012-03-21 엘지이노텍 주식회사 다시점 영상의 부호화 장치 및 방법

Also Published As

Publication number Publication date
KR100243229B1 (ko) 2000-02-01

Similar Documents

Publication Publication Date Title
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
KR100751422B1 (ko) 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
US20070104276A1 (en) Method and apparatus for encoding multiview video
KR100738867B1 (ko) 다시점 동영상 부호화/복호화 시스템의 부호화 방법 및시점간 보정 변이 추정 방법
EP1927250A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
JPH10191396A (ja) 中間視点画像生成方法および視差推定方法および画像伝送方法
JP2007180981A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
US20150172714A1 (en) METHOD AND APPARATUS of INTER-VIEW SUB-PARTITION PREDICTION in 3D VIDEO CODING
JP2013509104A (ja) 2dビデオデータの3dビデオデータへの変換のための深度マップ生成技法
JPH10257527A (ja) ステレオビデオ符号化のための最適ディスパリティ見積
CA2452632A1 (en) Method for sub-pixel value interpolation
EP1927249A1 (en) Apparatus and method for encoding and decoding multi-view video
WO2014000664A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
KR20100022065A (ko) 영상 부호화 방법 및 복호 방법, 그 장치, 그 프로그램 및 프로그램을 기록한 기록 매체
US20140348242A1 (en) Image coding apparatus, image decoding apparatus, and method and program therefor
KR101360279B1 (ko) 매크로블록 단위의 변이 예측을 이용한 움직임 정보 공유방법 및 장치 및 그리고 이를 이용한 다시점 비디오 영상부호화/복호화 방법 및 장치
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
JP2007166381A (ja) 多視点画像の圧縮符号化方法及び復号化方法
EP1929783A1 (en) Method of estimating disparity vector using camera parameters, apparatus for encoding and decoding multi-view picture using the disparity vectors estimation method, and computer-redadable recording medium storing a program for executing the method
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
CA2909561C (en) Method and apparatus for advanced temporal residual prediction in three-dimensional video coding
KR101348276B1 (ko) 다시점 동영상을 부호화 하는 방법 및 장치
WO2006110007A1 (en) Method for coding in multiview video coding/decoding system
KR100243229B1 (ko) 입체 영상 부호기를 위한 양안차 추정 방법 및그 회로

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121030

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20131030

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 16

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 17

LAPS Lapse due to unpaid annual fee