KR19980018426A - 입체식 비디오코딩을 위한 최적자 판단 - Google Patents

입체식 비디오코딩을 위한 최적자 판단 Download PDF

Info

Publication number
KR19980018426A
KR19980018426A KR1019970037525A KR19970037525A KR19980018426A KR 19980018426 A KR19980018426 A KR 19980018426A KR 1019970037525 A KR1019970037525 A KR 1019970037525A KR 19970037525 A KR19970037525 A KR 19970037525A KR 19980018426 A KR19980018426 A KR 19980018426A
Authority
KR
South Korea
Prior art keywords
enhancement layer
image
stereoscopic video
video signal
window
Prior art date
Application number
KR1019970037525A
Other languages
English (en)
Inventor
첸 쑤에민
리우 빈센트
Original Assignee
에드워드 디. 브린
넥스트레벨 시스템즈, 인코포에이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에드워드 디. 브린, 넥스트레벨 시스템즈, 인코포에이티드 filed Critical 에드워드 디. 브린
Publication of KR19980018426A publication Critical patent/KR19980018426A/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/004—Predictors, e.g. intraframe, interframe coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

입체식 비디오신호에서 우측 및 좌측화상 픽셀 조도값간의 차판단은 우측 및 좌측화상의 매크로블록간의 가장 작은 최소-스퀘어-에러를 결정함으로써 최적화된다. 최소 에러에 대응하는 친화변환계수 및 차벡터는 우측화상을 재구성하는 디코더에 의한 이용을 위해 데이터 스트림에서 결정 및 전송된다. 배치는 매크로블록 레벨에서 국부적으로 또는 영상레벨에서 전체적으로 수행될 수 있다. 매크로블록 레벨에서, 최소-스퀘어-에러 최적화는 우측화상에서의 각각 개개의 매크로블록에 대해 나타날 수 있다. 이 경우에 있어서, 친화변환계수는 각 매크로블록에 대해 제공된다. 영상레벨에 있어서, 최소-스퀘이-에러의 합은 우측화상의 블록이 최측화상에 매치된 후에 최소화 된다. 이 경우에 있어서, 친화변환계수의 하나의 설정만이 전체 우측화상에 대해 요구된다. 또는, 친화적으로 전송된 좌측화상 및 우측화상간의 블록매칭은 최소-스퀘어-에러의 합을 최소화 한 후에 수행될 수 있다. 이 배치는 카메라 변화 및 밝기 또는 콘트라스트에서의 중대한 변화를 가진 장면에 기인하는 교차-채널 조도 불균형의 효과를 최소화 함에 특히 유용하고, MPEG 다중화상 프로필(MVP)시스템과 같은 입체식 비디오 시스템과 호환 가능하다.

Description

입체식 비디오코딩을 위한 최적차 판단
본 발명은 이미지의 질을 개선하기 위한 임체 디지털 비디오신호의 코딩에 관한 것으로, 특히 나타난 우측과 좌측화상의 픽셀조도값 사이의 불균형 판단에 관한 것이다.
최근, 입체식 비디오 전달포멧은 모션 픽쳐 엑스퍼트 그룹(MPEG; Motion Picture Experts Group) MPEG-2 다중화상 프로필(MVP)시스템과 같이 개선되어 왔으며, 참조에 의해 병합된 1995년 11월 Proposed Draft Amendment No. 3 to 13818-2(Mult-view Profile),로 명명된 문서 ISO/IEC JTC1/SC29/WG11 N1088에 기술되어 있다.
입체식 비디오는 필드의 가장 중요한 깊이로 결합 이미지를 만드는 동일한 이미지의 가는 옵셋화상을 제공함으로써 3차원(3-D)효과를 만들어낸다. 이러한 시스템에 있어서, 2개로 분리하는 비디오신호상에서 레코드를 위해 듀얼카메라가 약 2인치 떨어져서 위치될 수 있다. 카메라의 간격은 사람의 왼쪽 및 오른쪽 눈 사이의 거리에 가깝다. 더욱, 어떠한 입체식 비디오캠코더에 대해서, 패닝(panning)이 교차할 때, 두개의 렌즈는 하나의 카메라헤드에 조립되고, 그에 따라 동기화 내에서 이동한다. 두개의 비디오신호는 보통사람의 시야에 대응하는 필드의 깊이를 갖춘 화상을 만들어내는 리시버에 전송 및 재결합 될 수 있다.
MPEG MVP시스쳄은 다양한 신호로 전송되는 두개의 비디오층을 포함한다. 첫번째로, 베이스층은 3차원적 목표의 좌측화상을 나타낸다. 두 번째로, 개선(예컨대, 보조)층은 목표의 우측화상을 나타낸다. 우측 및 좌측은 동일한 목표의 화상이고, 서로에 대해 다만 가늘게 옵셋되기 때문에, 일반적으로 베이스 및 개선층의 비디오 이미지간의 큰 상관관계의 큰 정도일 것이다. 이러한 상관관계는 베이스층에 관한 개선층 데이터를 압축함에 이용될 수 있고, 그로 인해 감소하는 데이터량은 주어진 이미지의 질을 유지하기 위해 개선층에 전송될 필요가 있다.
MPEG시스템은 3가지 형태의 비디오화상, 특히 내부코드화 화상(I-화상)과, 예측코드화 화상(P-화상) 및 양방향 예측코드화 화상(B-화상)을 포함한다. I-화상은 다른 화상을 참조하지 않고 단일 비디오화상을 완전히 식별한다. 베이스층에 있어서, P-화상은 앞서 I 또는 P화상에 근거해서 예측된다. B-화상은 가장 근접한 처음 I 또는 P화상과, 가장 근접한 나중의 I 또는 P화상으로부터 예측된다. 베이스층은 MPEG-2 표준에 따라 코드화 되는데, 상세히는 참조에 의해 병합된 1994년 3월 Information Technology - Generic Coding of Moving Pictures and Associate Audio, Recommendation H. 262,로 명명된 문서 ISO/IEC JTC1/SC29/WG11 N0702에서 찾아 볼 수 있다.
개선층에 있어서, P화상은 화상형태뿐만 아니라 개선층에서 가장 최근에 디코드된 화상, 또는 디스플레이 오더에 있어서의 형태뿐만 아니라 가장 최근의 베이스층 화상으로부터 예측될 수 있다. 더욱이, 개선층에서 B화상에 대해, 전방 참조화상은 개선층에서 가장 최근에 디코드된 화상이고, 후방 참조화상은 디스플레이 오더에서 베이스층에서의 가장 최근화상이다. 개선층에서의 화상은 불균형 예측으로서 알려져 있는 교차층 예측 프로세스에서 베이스층내 화상으로부터 예측될 수 있다. 층내의 하나의 프레임에서 다른 프레임으로의 예측은 일시적 예측으로 알려져 있다.
그러나, 개선층 프레임의 불균형 예측에 대해, 베이스 및 개선층에서 픽셀의 조도값간의 불균형에 기인해서 종종 에러가 개입된다. 이러한 불균형은 베이스 및 개선층 카메라간의 수행에서 변화의 원인이 될 수 있고, 차의 판단 및 더 어려운 예측의 프로세스를 만든다. 더욱이, 불균형은 배경해산과, 강한 플레쉬 불빛과 같은 배경에서 휘도 및 콘트라스트의 중대한 변화의 원인이 될 수 있다. 이러한 교차채널조도 불균형의 결과로서, 이미지의 질이 두드러지게 저하될 수 있다.
발전되어온 어떤 배치는 교차채널 조도 불균형의 효과를 줄인다. 예컨대, R. Franich 등의 1996년 3월 Firenze Balance Compensation for Stereoscopic Image Sequence Sequences,로 명명된 문서 ISO/IEC JTC1/SC29/WG11 MPEG 96,은 어떤 조도수단을 가지고 우측화상 이미지를 조정하기 위한 선형변환과, 좌측화상채널로서의 균형을 제시했다.
A. Puri 등은 1995년 11월 Dallas Gain Corrected Stereoscopic Coding Using SBASIC for MPEG-4 Multiple Concurrent Stream,으로 명명된 ISO/IEC JTC1/SC29/WG11 MPEG 95/0487,에서 게인 및 옵셋값으로 우측화상의 교정을 제안했다. 그러나, 상기 배경은 조도 불균형의 최소-스퀘어-에러를 최소화 할 수 없었다.
본 발명은 카메라의 변화와, 휘도 또는 콘트라스트의 중요한 변화를 갖춘 배경에 기인하는 교차채널 조도 불균형의 효과를 최소화 하는 MPEG MVP와 같은 입체식 비디오시스템을 위해 차의 판단배치를 제공하는 것을 목적으로 한다. 더욱이, 각각 전체적으로 화상레벨에서, 또는 부분적으로 매크로블록레벨에서 수행될 수 있고, MPEG-2 및 유사한 코딩 프로토콜의 비디오 시퀀스의 효과적 예측코딩과 호환될 수 있는 배치를 제공하는 장점 및 다른 장점을 제공하는 것을 그 목적으로 한다.
도 1은 본 발명에 따른 입체식 엔코더의 블록도,
도 2는 본 발명에 따른 매크로블록레벨 최적배치를 나타내는 도면,
도 3은 본 발명에 따른 디코더에 이용하는 프로세스를 설명하는 도면,
도 4는 본 발명에 따른 영상레벨 최적배치를 나타내는 도면,
도 5는 본 발명에 따른 영상레벨 최적배치의 다른 실시예를 나타내는 도면이다.
본 발명에 따라, 입체식 비디오신호에서 우측 및 좌측화상 픽셀 조도값간에 차의 판단을 최적화 하기 위한 방법 및 장치가 나타난다. 우측화상에서 픽셀 데이터의 매크로블록의 조도값은 우측 및 좌측화상 조도값간의 최소-스퀘어-에러를 최소화 하는 친화변환계수(a, b)에 따라 조정된다. 제1실시예에 있어서, 최적화는 좌측화상 참조창에서 몇몇 매크로블록과의 비교에 근거해서 우측화상 서치창에서 각 매크로블록에 대해 발생할 수 있다. 이 경우에 있어서, 참조창에서의 최적 비교 매크로블록이 결정되고, 대응하는 변환계수의 설정이 결정된다. 부가적으로, 대응하는 결정된 차이백터(v=(vx, vy))는 최적 비교 매크로블록의 위치를 표시한다. 우측화상 픽셀 데이터는 그 후, 차동엔코딩과 개별 코사인변환(DCT), 양자화, 런-렝스 코딩(run-length coding) 및 호프만 코딩을 이용해서 처리된다. 코드화된 DTC계수와 친화변환계수, 차벡터는 그 후 디코더에서 우측화상을 제구성함에 이용하기 위한 입체식 비디오신호로 전달된다.
디코더에 있어서, 우측화상 차동 픽셀 데이터를 회복하기 위해 DTC계수가 역양자화되고, 역변환된다. 더욱이, 좌측화상 픽셀 데이터 및 차백터는 예측신호를 제공함에 이용되고, 예측신호는 변화계수를 이용해서 친화적으로 변환된다. 변환된 좌측화상 예측신호는 우측화상 픽셀 조도값을 회복하기 위해 우측화상 차동 데이터에 부가된다.
제2실시예에 있어서, 최적화는 화상레벨에서 나타나고, 결정된 변환계수의 하나의 설정이 각각 개개의 우측화상 매크로블록에 대한 최소-스퀘어-에러의 합을 최소화한다. 변환계수 데이터의 량을 줄이는 이러한 기술은 입체식 비디오 데이터 스트림에서의 오버헤드로서 수행되어야 한다. 더욱이, 좌측화상 서치창 매크로블록이 블록 매칭처리를 이용하는 우측화상 참조창 매크로블록에 제1매치되기까지 계산적 복잡성이 감소한다. 그 후, 매치된 매크로블록에 대한 최소-스퀘어-에러의 합이 결정된다.
제3실시예에 있어서, 초적화는 역시 화상레벨에서 나타난다. 여기서, 좌측화상 매크로블록과 비교된 우측화상 매크로블록은 화상내에 유사하게 위치된다. 그 후, 친화변환계수는 각각 우측화상 매크로블록에 대한 최소-스퀘이-에러의 합을 좌소화 함으로써 결정된다. 다음, 블록매칭은 차백터를 결정하기 위해, 우측화상 배크로블록과 친화적으로 변환된 좌측화상 매크로블록 사이에서 수행된다.
(실시예)
이하, 도면을 참조해서 본 발명의 실시예를 설명한다.
입체식 비디오신호에서 우측 및 좌측화상 픽셀 조도간의 차이 판단을 최적화 하기 위한 방법 및 장치가 나타난다.
도 1은 본 발명에 따른 입체식 엔코더의 블록도이다. 상기 코딩배치는 MPEG-2 시간 스케일성 신택스를 이용함으로써 수행될 수 있다. 상기 엔코더는 일반적으로 약 100을 나타낸다. 베이스층에서 수행되는 좌측화상 시퀀스는 MPEG-2 프로필에 따라 코드화 된다. 개선층에서 수행되는 우측화상 시퀀스는 MPEG-2 시간 개선층 코더와 동일한 신택스를 갖춘다.
엔코더(100)의 좌측화상 프레임버퍼(105)는 우측화상 프레임버퍼(130)가 백터(Y)로 표현되는 개선층 팩셀 데이터를 받는 동안 백터(X)로 표현되는 베이스층 픽셀 데이터를 받는다. 좌측 및 우측화상 픽셀 데이터는 이후에 상세히 기술된 바와 같은 처리를 위해 차판단기(115)가 제공된다. 상기 차판단기(115)는 예측기(120)에 차백터(v=(vx, vy))와, 차판단 파라메터(a, b)를 제공한다.
특히, 차판단기(115)는 친화변환을 수행하고, a, b는 친화변환계수이다. 친화변환에 있어서, 유한점은 다른 유한점에 맞추어 진다. 더욱이, 계수 a는 대조를 나타내고, 계수 b는 픽셀 데이터의 휘도를 나타낸다. 변환계수는 디코더에서 개선층 화상을 재구성함에 이용하기 위해 입체식 비디오 데이터 스트림이 수행된다. 차백터(v=(vx, vy))는 역시 코더(125)에 제공된다. 차백터(vx, vy)는 베이스층 및 개선층의 픽셀의 대응하는 매크로블록간의 위치차를 지시하고, 디코더에서 차예측 개선층 화상의 재구성을 위해 이용된다. 특히, 개선층에서 서치 윈도우 매크로블록에 대한 픽셀좌표는 vs, vs이고, 베이스층에서 대응하는 참조창 매크로블록에 대한 픽셀좌표는 vr, vr이며, 차백터는 v=(vx, vy))=(xs-xr, ys-yr)이다. 이렇게, 차백터는 서치창 및 참조창간의 위치적 또는 변환적인 차의 측정이다. 전형적으로, 픽셀의 매크로블록의 픽셀좌표는 블록의 가장 좌측 가장 상부 픽셀의 좌표로서 취해진다. 차백터는 디코더에서 차예측 개선층을 재구성함에 이용하기 위한 우측화상 채널 데이터 스트림에 전달될 수 있다. 신호(aX+b)를 제공하는 예측기(120)는 차동 우측화상 픽셀 데이터를 제공하는 어더(140)에서 개선층 픽셀 데이터(Y)로부터 공제된다. 차동 우측화상 픽셀 데이터(Y-(aX+b))는 그 후 터미널(142)에 제공된다.
베이스층에 있어서, 모션보상(MC) 및 개별 코사인변환(DCT) 코더(110)는 좌측화상 픽셀 데이터(X)를 받고, 본래의 엔코딩을 수행한다. MC/DCT코더(110)는 그 후 코더(125)로 모션백터 및 DCT계수를 출력한다. 예측기(120)는 역시 MC/DCT코더(110)로부터 MC데이터를 받는다. 코더(135)는 우측화상 픽셀 데이터(Y)를 받고, 모션보상 및/또는 I-프레임 코딩을 수행한다. 코더(135)는 그 후 터미널(143)로 I-프레임 픽셀을 출력하거나, 또는 코더(125)로 모션백터를 출력한다. 스위치(145)는 터미널(142)에서 차동 우측화상 픽셀 데이터 (aX+b)=Y-aX-b나, 또는 터미널(143)에서 I-프레임 코드화된 우측화상 픽셀 데이터를 갖춘 DCT코더(150)를 제공한다. 터미널(143)이 선택될 때, 차판단처리는 우회된다. 이것은 예컨대, 최소-스퀘어-에러(LSE)가 주어진 레벨보다 더 큰 것으로 결정될 때, 또는 화상배치의 그룹이 I-화상을 요구할 때, 기술될 수 있다. DCT코더(150)는 코더(125)에 대응하는 변환계수를 제공하기 위해 픽셀 데이터를 처리한다.
코더(125)에 있어서, 좌측 및 우측화상 모션보수백터와 DCT계수 및 차백터는 좌측화상 채널 및 우측화상 채널 데이터 스트림을 만드는 차동펄스 코드모듈레이션(DPCM)과 런-렝스 코딩, 호프만 코딩을 이용해서 코드화 된다.
다음, 좌측 및 우측화상채널은 멀티플렉서(도시하지 않음)에서 차판단 파라메터 a, b에 따라 모두 다중화 되고, 적당한 케리어신호로 전달을 위해 모듈화 된다.
본 발명에 따라, 차판단기(115)는 최소 스퀘어 에러기준에 따른 우측화상 픽셀 조도 데이터의 에러를 최소화 한다. 주의해야 할 것은 좌측화상 데이터가 베이스라인을 취하는 단지 텀 에러수단을 이용하는 것이다. 이렇게, 우측화상 데이터의 에러는 촤측화상 데이터에 관한 단순한 불균형 또는 불일치이다. 특히, 차판단기(115)는 에러 E=(abs(Y-aX-b))2를 최소화 하는데, 여기서 abs를 절대치로 놓는다. 차판단기(115)는 최적 친화변환 및 블록매칭 진행을 이용하는데, 여기서 블록매칭이 매크로블록 레벨에서 수행된다. 예컨대, NTSC포멧에 대해서, 비디오 프레임은 30개의 얇은 조각으로 분할될 수 있고, 그 각각은 44개의 매크로블록을 갖춘다. 이렇게, 전체 NTSC프레임은 1,320 매크로블록을 구비한다. PAL포멧에 대해서, 여기서는 1,584개의 매크로블록 있다. 더욱이, 매크로블록은 예컨대, 8 ×8개의 픽셀블록으로 이루어지는 MPEG-2 표준에 있어서 픽셀의 16 ×16블록을 구비한다.
서치창은 좌측화상의 참조창에서의 다른 매크로블록과 비교되는 우측화상에서의 본 매크로블록으로 정의된다. 특히, 비교하기 위해 이용되는 좌측화상 매크로블록은 디스플레이 오더에 있어서 다음의 화상 또는 가장 최근의 화상이다. 더욱이, 조사범위(예컨대, 참조창의 크기)는 입체식 카메라의 이동에 의해 결정된다. 전형적으로, 수평카메라 이동은 수직이동보다 크기 때문에 참조창이 크 높이보다 큰 폭을 갖추어 설계될 수 있다. 예컨대, 서치창은 참조창이 32 ×32 내지 64 ×48 정수픽셀의 범위인 동안 16 ×16 정수픽셀일 수 있다. 물론, 서치 및 참조창의 다양한 크기가 이용될 수 있으며, 여기에서는 서치창이 특별한 매크로블록 크기에 대응하는 요구는 없다.
도 2는 본 발명에 따른 매크로블록레벨 최적배치를 나타낸다. 이 실시예에 있어서, 차판단기(115)의 최소-스퀘어-에러 최적처리는 우측화상의 개개의 매크로블록을 지나서 수행된다. 좌측화상(200)은 참조창(210)을 포함하고, 우측화상(220)은 서치칭(230)을 포함한다. 다만, 서치창 및 참조창이 나타나는 동안, 전체 우측화상(220)은 전체 우측화상을 지나서 교차채널 조도 불균형을 최소화 하도록 서치창내로 파티션화 될 수 있다. 이 경우에 있어서, 대응하는 부가적인 참조창은 좌측화상에 제공될 것이고, 참조창은 오버랩 될 수 있다.
i=1 내지 256에 대한 yi는 16 ×16 픽셀 서치창(230)에서 256픽셀의 각 조도(예컨대, 강도)값으로 놓고, i=1 내지 256에 대한 xj,i는 참조창의 j번째 16 ×16 매크로블록의 256픽셀 강도로 놓는다. 이렇게, 기호 j는 주어진 참조창의 특별한 영역을 표시하고, 기호 i는 주어진 서치창에서 특별한 픽셀을 표시한다. 예컨대, 16 ×16 픽셀 서치창과 64 ×48 픽셀 참조창에 대해서, 서치창은 참조창에서 16 ×16 영역과는 다른 (64-16+1)×(48-16+1)=49×33=1,617과 비교될 것이다.
주어진 참조창의 각 j번째 영역에 대해, 양을 최소화 하는 차판단 파라메터 a, b를 결정하는 것이 가능하게 된다.
함수(240)에서 수행된 이 처리는 콘트라스트, a, 밝기, b의 설정을 제공하고, yi값으부터 최소 스퀘어 거리를 갖춘 친화적으로 변환된 xj,i를 만든다. Ej의 최소는 aj 및 bj에 관한 부분적 도함수가 0일 때,
즉,
이고,
에 대해, aj=1이며,
일 때,
이 나타난다.
상기 계산은 공지된 계산법을 이용하여 수행될 수 있다. 가장 친화변환계수(a*및 b*; 즉,참조창 블록을 가능하게 하는 모든 j에 걸처 에러(Ej)를 최소화 하는 계수) 및 가장 매칭하는 블록(x*,1,x*,2,...x*,256; 예컨대,x*,i)은 다음 조건으로부터 결정된다.
주의해야 할 것은 a=1로 설정한 것 외에, a0이 요구되는 것이다. 더욱이, 친화적 변환 후에 16 ×16 =256 픽셀 매크로블록에 대해서, 픽셀 X=aX+b 255이면 X'=255로 설정하고, 픽셀 X=aX+b 0이면 X'0으로 설정한다. 이들 경우중 어느 하나가 나타나면, 최소-스퀘어-에러계산은 abs(Y-X')2abs(Y-X)2을 확실히 하도록 점검할 것이고, 다른 경우, abs(Y-X')2abs(Y-X)2이면, a=1 및 b=0으로 설정한다.
만일, a* 및 b*가 주어진 서치창(여기서, *은 최적조건으로 놓는다)에 대해 나타나면, 대응하는 차벡터(Vx, Vy)는 언급한 바와 같이 역시 결정될 수 있다. 상기 처리는 그 후 개선층 화상에서 각각의 서치창에 대해 반복된다. 예컨대, 화상당 1,320 매크로블록으로 포햇한 NTSC화상에 대해서, Ej는 각각의 1,320 매크로블록에 대해 최소화 된다. 이렇게, 개선층 화상에서 각각의 매크로블록에 대해 a* 및 b*와 (Vx, Vy)이 저장되고, 우측화상 이미지를 제구성하는 디코더에서 이용하기 위한 데이터 스트림에 전송된다. 나타난 바와 같이, 앞으로의 최소 처리에 대해서, 최적 차벡터(Vx, Vy)는 우측창에서 각각의 서치창 매크로블록에 대해 얻어진다. 부가적으로, 각각 최적 콘트라스트 및 밝기 설정 a* 및 b*는 각 매크로블록에 대해 나타난다.
이러한 처리의 결함은 상대적으로 높은 처리의 복잡성이다. 첫번째로, 서칭 알고리즘은 부가적인 계산이 수행되기까지 종래 블록매칭 알고리즘보다 더 복잡하다. 두번째로, 계수 a* 및 b*는 각 서치창 매크로블록에 대한 데이터 스트림에서의 오버헤드로서 수행되어야 한다(도 1 참조). 마지막으로, 이러한 처리는 MPEG-2 화상레벨 신택스, 또는 어떤 사용자에 의해 정의된 신택스에서 사용자 데이터를 요구할 수 있는 것이다.
계산산 복잡성 및 각 매크로블록에 대한 오버헤드 데이터를 줄이도록 최적 파라메터 a* 및 b*를 결정하기 위한 서치창 크기가 증가될 수 있다. 예컨대, 하나는 프레임 또는 필드의 각 슬라이스에 대한, 또는 다양한 크기의 매크로블록에 대한 a* 및 b*를 결정할 수 있다. 이러한 방법에 있어서, 계수의 총 수는 각각의 개선층 화상이 감소되기 위해 데이터 스트림에서 수행되어야 한다. 더욱이, 피드백 처리에 있어서, a* 및 b*는 목표 예러가 얻어진 것과 같은 주어진 기준까지 재계산 될 수 있다.
도 3은 본 발명에 따른 디코더에 이용하는 프로세스를 설명한다. 블록(305)에서 입체식 비디오신호를 경유해서 받은 코드 좌측화상 조도 픽셀 데이터는 메모리에 저장된다. 코드 데이터는 도시하지는 않았지만, 종래 처리를 이용하는 반전 런-렝스 코드 및 호프만 코드이다. 변환계수 및 픽셀 데이터는 코드 데이터의 반전 양자화를 위해 블록(315)에 제공된다. 양자화 파라메터를 이용하는 반전 양자화함수(315)은 블록(335)을 경유해서 예컨대 찾아본 표로부터 제공한다. 블록(320)에서 역 양자화 차동 우측화상 픽셀 데이터가 메모리에 저장되고, 블록(325)에서, 비교정 차동 우측화상 픽셀 데이터를 제공하는 역 DCT함수으로 처리된다.
블록(340)에서, 좌측화상의 디코드된 참조데이터(X)는 입체식 비디오신호로부터 회복 후에 메모리내에 저장된다. 블록(345)에서, 디코드된 참조데이터(X)는 예측을 위해 이용된다. 블록(345)은 블록(360)을 경유해서 제공된 차벡터에 대응한다. 참조데이터(X)는 다음 함수(365)를 경유해서 받은 친화변환계수에 따른 블록에서 친화적으로 변환된다. 블록(355)에서 예측된 좌측화상 참조데이터는 메모리내에 저장되고, 다음 본 발명에 따른 조도-보정 우측화상 픽셀 데이터 버퍼 에 제공하는 비보정된 차동 우측화상 픽셀 데이터가 합쳐지며, 그 후 블록(330)에서 차후의 처리 및 디스플레이를 위한 데이터 버퍼로 출력한다.
도 4는 본 발명에 따른 영상레벨 최적배치를 나타낸다. 이 실시예에 있어서, 이후의 최소-스퀘어-에러기술이 블록매칭으로 이용된다. 상기와 같이, 좌측화상(200)은 참조창(210)을 포함하고, 우측화상(220)은 서치창(230)을 포함한다. 다시, 단, 하나의 서치창 및 참조창만이 나타났지만, 이후의 진행은 전체 우측화상을 지나 교차채널 조도 불균형을 최소화 하도록 복수의 서치창 및 참조창에 적용될 수 있는 것으로 이해될 것이다.
종래 블록매칭 알고리즘은 먼저 블록(400)에서 우측화상에서의 각각의 매크로블록에 대한 차벡터(vx, vy)를 결정하도록 수행된다. 예컨대, NTSC형태의 영상을 갖춘 n=1,320. 종래 블록-매칭 알고리즘에 있어서, 매치된 픽셀의 블록은 이미지 만족에 가장 유사함을 결정하는 픽셀의 다른 블록과 비교된다.
다음, 블록(410)에서, 각 서치창의 최소-스퀘어-에러의 합은 좌측 및 우측화상 사이에 매칭하는 좋은 전체 콘트라스트 및 밝기(예컨대, 계수 a*, b*)에 이용된다. 이렇게, 주어진 우측화상에 대해 모든 서치창 매크로블록에 애한 차벡터 및 보상블록은 종래 블록 매칭 알고리즘을 이용해서 결정된다.
y1, y2,...,yn(예컨대, i=1 내지 n에 대한 yi)은 각각 우측화상 매크로블록의 값으로 놓고,
은 좌측화상(200)으로부터 대응하는 차판단 데이터이다. 다음, 량을 최소화 하는 계수 a 및 b가
에 의해 결정된다(예컨대, a* 및 b*). 이렇게, 한 쌍의 계수(a* 및 b*)는 각각의 서치창 매크로블록에 대한 한쌍 보다 오히려 전체 영상에 대해 제공된다.
이러한 에러 최소화기술은
에 대해, 이고,
에 대해, aj=1이며,
일 때, 우측화상에 관한 친화적으로 변환된 좌측화상의 최소 스퀘어 에러를 최소화 하는 좋은 콘트라스트 및 밝기의 설정을 역지 제공한다.
본 발명의 이 실시예의 코딩 복잡성 및 오버헤드는 도 2와 연결된 설명과 같이 각 개개의 매크로블록이 최적화될 때의 그 이하이다. 특히, 오버헤드는 파라메터 a* 및 b*가 축적되고, 영상레벨 사용자 데이터만이 전송되기까지 줄어든다. 그러나, 본 코딩처리에 대해, 버퍼는 계수 a 및 b가 사용자 데이터까지 결정되기 전에 프레임(또는, 필드)의 코딩정보의 저장이 요구되며, 영상데이터 그 자체에 앞서 데이터 스트림에 코드에 전송될 것이다.
주지할 점은, 본 기술은 예컨대, 슬라이스 또는 슬라이스의 부분과 같은 다른 크기로 영상-레벨 최적화를 제공할 수 있는 것이다.
도 4의 최적배치의 디코딩은 도 3의 디코딩처리를 이용해서 수행될 수 있는데, 여기서 X는 예측된 좌측화상 참조데이터( )이다.
도 5는 본 발명에 따른 영상레벨 최적배치의 다른 실시예를 나타낸다. 우측화상(220)은 좌측화상(200)에서 참조영역(215)의 부분에 대응하는 창(235)을 포함한다. 창(235)은 서치창으로 칭하지 않는데, 거기에는 서칭처리가 없기 때문이다. 대신, 창(235)은 촤측화상(200)에서 우측화상(220)으로의 참조영역(215)의 직접 변환이다. 이 실시예에 있어서, 함수(500)에서, LSE 최적 파라메터 a* 및 b*는 우측화상의 각 창을 지나 최소-스퀘어 에러의 합을 최소화 함으로써 좌측화상(X) 및 우측화상(Y)으로부터 직접 발견된다. 다음, 함수(510)에서 Y에서의 각 매크로블록에 대한 차벡터(Vx, Vy)는 도면중 참조부호 505에 나타난 친화적으로 변환된 좌측화상(aX+b)과, 우측화상(Y)간의 블록 매칭을 이용함으로써 결정된다. 장점으로, 본 발명의 이 실시예는 영상 데이터를 변환 전에 저장하기 위한 버퍼를 요구하지 않는다.
차벡터(Vx, Vy) 및 최적 파라메터 a* 및 b*를 얻은 후에, 차판단은 동작 판단과 같은 동일한 방법으로 수행된다. 그러나, 참조프레임은 우측화상 그 자체 대신에 디코드된 좌측화상 시퀀스로부터 지금까지이고, 최고의 차이가 판단된 블록은 대응하는 참조블록의 친화변환으로부터 얻어진다.
도 5의 최적배치의 디코딩은 도 3의 디코딩처리를 이용해서 수행될 수 있다.
실시예에 있어서, 최소-스퀘어-에러 최적화가 우측화상에서 각 매크로블록에 대해 개별적으로 나타난다. 택일적으로, 최적화는 우측화상의 블록이 좌측화상에 매치된 후에 제공될 수 있다. 또는, 친화적으로 변환된 좌측화상 및 우측화상간의 블록매칭이 최소 스퀘어 에러 최적화 후에 수행될 수 있다.
본 발명의 다른 변화도 가능한데, 예컨대 영상의 부분은 다른 부분이 다른 기술을 이용하여 최적화 되는 동안 하나의 기술을 이용해서 최적화될 수 있다. 또는, 선택한 기술은 영상형, 전달 또는 디스플레이 오더에서 영상의 순차적 배치, 영상 복잡성, 영상품질, 핸드와이드(handwidth) 요구 및 양자화 레벨과 같은 기준에 의존할 수 있다.
더 다양하게는, LSE 최적화는 콘스턴트 에러 레벨 또는 목표 에러 레벨을 이루도록 폐루프 시스템에서 수행될 수 있다. 예컨대, 제1반향에 있어서, 상대적으로 작은 서치창이 이용될 수 있다. 결과적 에러가 예측된 레베 이하이면, 최적화는 더 큰 매크로블록 크기로 반복될 수 있다. 이러한 방법으로, 각 영상에 대해 전송되어야 하는 판단계수의 수는 적용가능한 교차채널 조도 불균형을 유지하기 까지동안 감소될 수 있다.
그 외, 본 발명의 요지를 이탈하지 않는 범위내에서 다양하게 변형하여 실시할 수 있다.
더욱이, 본원 청구범위의 각 구성요소에 병기한 도면의 참조부호는 본원 발명의 이해를 용이하게 하기 위한 것으로, 본원 발명의 기술적 범위를 도면에 도시한 실시예에 한정할 의도로 병기한 것은 아니다.
상기한 바와 같이 본 발명에 의하면, 입체식 비디오 엔코더에서의 차판단을 최적화 하기 위한 방법 및 장치를 제공할 수 있게 된다.

Claims (18)

  1. 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법에 있어서,
    상기 개선층 영상에서 픽셀의 적어도 일부를 구비하는 서치창을 제공하는 단계와;
    상기 입체식 비디오신호의 베이스층의 참조영상에 상기 픽셀의 적어도 일부를 구비하는 참조창을 제공하는 단계 및;
    상기 서치창 및 상기 참조창의 픽셀의 조도값간의 최소-스퀘어-에러를 최소화 하는 상기 참조창의 친화변환계수(a, b)를 결정하는 단계를 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  2. 제1항에 있어서, 상기 친화변환계수(a, b)를 이용해서 상기 참조창 픽셀 데이터를 친화적으로 변환하는 단계와;
    상기 변환된 참조창 픽셀 데이터를 이용해서 상기 서치창 픽셀 데이터를 차동적으로 엔코딩하는 단계 및;
    상기 개선층 영상을 재구성함에 이용하기 위한 상기 입체식 비디오신호와의 결합에서 상기 차동적으로 엔코드된 서치창 픽셀 데이터를 전송하는 단계를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  3. 제1항에 있어서, 상기 서치창 및 상기 참조창중 적어도 하나의 크기를 조정하고, 상기 최소-스퀘어-에러가 목표 에러범위내에 있기 까지 상기 최소한의 단계를 반복하는 단계를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  4. 제1항에 있어서, 상기 개선층 영상을 재구성함에 이용하기 위한 상기 입체식 비디오신호에서 친화변환계수(a, b)를 전송하는 단계를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  5. 제1항에 있어서, 상기 개선층에서 픽셀의 각 부분을 구비하는 부가적 서치창을 제공하는 단계와;
    상기 참조영상에서 픽셀의 각 부분을 구비하는 부가적으로 대응하는 참조창을 제공하는 단계 및;
    상기 각각의 부가적 서치창에 대해, 상기 서치창 및 대응하는 참조창의 픽셀의 조도값간의 최소-스퀘어-에러를 최소화 하는 친화변환계수(a, b)의 설정을 결정하는 단계를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  6. 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법에 있어서,
    상기 개선층 영상에서 픽셀의 각 부분을 구비하는 복수의 창을 제공하는 단계와;
    상기 입체식 비디오신호의 베이스층의 참조영상에서 픽셀의 각 부분을 구비하는 대응하는 복수의 참조창을 제공하는 단계 및;
    상기 개선층 영상 창 및 상기 대응하는 참조창의 픽셀의 조도값간의 최소-스퀘어-에러의 합을 최소화 하는 친화변환계수(a, b)를 결정하는 단계를 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  7. 제6항에 있어서, 상기 복수의 개선층 영상 창은 서치창이고,
    상기 결정하는 단계에 앞서, 상기 대응하는 복수의 참조창의 각 영역에 상기 복수의 서치창을 매칭하는 단계를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  8. 제6항에 있어서, 복수의 변환된 참조창을 제공하기 위한 상기 친화변환계수(a, b)에 따라 대응하는 복수의 참조창을 변환하는 단계와;
    배치된 복수의 개선층 영상 창을 제공하는 상기 변환된 복수의 참조창의 각각의 영역에 상기 복수의 개선층 영상 창을 매칭하는 단계 및;
    각각의 상기 매치된 복수의 개선층 영상 창에 대해, 매치된 개선층 영상 윈도우 및 대응하는 변환된 참조창간의 변환을 표시하는 차벡터를 결정하는 단계를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  9. 제8항에 있어서, 상기 개선층 영상을 재구성함에 이용하기 위한 상기 입체식 비디오신호에서 차벡터를 전송하는 단계를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 방법.
  10. 그 개선층 영상에서 줄어든 교차-채널 조도 불균형을 갖춘 입체식 비디오신호를 디코딩하기 위한 방법에 있어서,
    상기 입체식 비디오신호로부터 친화변환계수(a, b)를 검색하는 단계를 구비하여 구성되고,
    상기 친화변환계수는 서치창 및 참조창의 픽셀의 조도값간에 최소-스퀘어-에러를 최소화함으로써 결정되며,
    상기 참조창은 상기 입체식 미제오신호의 베이스층의 참조영상에서 픽셀의 적어도 일부를 구비하고,
    상기 서치창 픽셀 데이터를 회복하기 위해 상기 친화변환계수를 이용하는 단계를 구비하는 것을 특징으로 하는 개선층 영상에서 줄어든 교차-채널 조도 불균형을 갖춘 입체식 비디오신호를 디코딩하기 위한 방법.
  11. 제10항에 있어서, 상기 서치창 픽셀 데이터는 차동적으로 엔코드된 데이터와 같은 상기 입체식 비디오신호에 수반되고,
    상기 입체식 비디오신호로부터 상기 참조창 픽셀 데이터를 검색하는 단계와;
    참조창 픽셀 예측 데이터를 제공하기 위해 상기 참조창 픽셀 데이터를 이용하는 단계;
    상기 변환계수에 따른 상기 참조창 픽셀 예측 데이터를 친화적으로 변환하는 단계 및;
    상기 서치창 픽셀 데이터를 회복하기 위해 상기 차동적으로 엔코드된 데이터를 갖춘 상기 친화적으로 변환된 참조창 픽셀 예측 데이터를 합하는 단계를 더 구비하는 것을 특징으로 하는 개선층 영상에서 줄어든 교차-채널 조도 불균형을 갖춘 입체식 비디오신호를 디코딩하기 위한 방법.
  12. 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 엔코더에 있어서,
    상기 개선층 영상에서 픽셀의 적어도 일부를 구비하는 서치창을 제공하기 위한 수단과;
    상기 입체식 비디오신호의 베이스층의 참조영상에서 픽셀의 적어도 일부를 구비하는 참조창을 제공하기 위한 수단 및;
    상기 서치창 및 상기 참조창의 픽셀의 조도값간에 최소-스퀘어-에러를 최소화 하는 상기 참조창의 친화변환계수(a, b)를 결정하기 위한 차판단기를 구비하여 구성된 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 엔코더.
  13. 제12항에 있어서, 상기 친화변환계수(a, b)를 이용하는 상기 참조창 픽셀 데이터를 친화적으로 변환함에 이용하기 위한 상기 차판단기와 동작상 연관된 예측기와;
    상기 변환된 참조창 픽셀 데이터를 이용하는 상기 서치창 픽셀 데이터를 차동적으로 엔코딩함에 이용하기 위한 부가기 및;
    상기 개선층 영상을 재구성함에 이용하기 위한 상기 입체식 비디오신호와 결합된 상기 차동적으로 엔코드된 서치창 픽셀 데이터를 전송하기 위한 전송기를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 엔코더.
  14. 제13항에 있어서, 서치창 픽셀 데이터를 보상한 동작을 제공하기 위해 상기 서치창 픽셀 데이터를 처리하기 위한 동작보상기와;
    디코더에서 상기 서치창 픽셀 데이터를 재구성함에 이용하기 위해 상기 동작 보상된 데이터와 상기 차동적으로 엔코드된 데이터중 하나를 선택하기 위한 스위치를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 엔코더.
  15. 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 엔코더에 있어서,
    상기 개선층 영상에서 픽셀의 각 부분을 구비하는 복수의 창을 제공하는 수단과;
    상기 입체식 비디오신호의 베이스층의 참조영상에서 픽셀의 각 부분을 구비하는 대응하는 복수의 참조창을 제공하는 수단 및;
    상기 개선층 영상창 및 상기 대응하는 참조창의 픽셀의 조도값간에 최소-스퀘어-에러의 합을 최소화 하는 친화변환계수(a, b)를 결정하기 위한 차판단기를 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 교차-채널 조도 불균형을 줄이기 위한 엔코더.
  16. 입체식 비디오신호의 개선층 영상에서 줄어든 교차-채널 조도 불균형을 갖춘 입체식 비디오신호를 디코딩하기 위한 디코더장치에 있어서,
    상기 입체식 비디오신호로부터 친화변환계수를 검색하기 위한 수단을 구비하여 구성되고,
    상기 친화변환계수는 서치창 및 참조창의 픽셀의 조도값간의 최소-스퀘어-에러를 최소화 함으로써 결정되고, 상기 서치창은 상기 개선층 영상에서 픽셀의 적어도 일부를 구비하고, 상기 참조창은 상기 비디오신호의 베이스층의 참조영상에서 픽셀의 적어도 일부를 구비하며,
    상기 서치창 픽셀 데이터를 회복하도록 상기 친화변환계수를 이용하는 처리수단을 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 줄어든 교차-채널 조도 불균형을 갖춘 입체식 비디오신호를 디코딩하기 위한 디코더장치.
  17. 제16항에 있어서, 상기 서치창은 상기 개선층 영상의 매크로블록을 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 줄어든 교차-채널 조도 불균형을 갖춘 입체식 비디오신호를 디코딩하기 위한 디코더장치.
  18. 제17항에 있어서, 상기 서치창 픽셀 데이터는 상기 입체식 비디오신호에서 차동적으로 엔코드된 데이터로서 수행되고,
    상기 입체식 비디오신호로부터 상기 참조창 픽셀 데이터를 검색하기 위한 수단과;
    참조창 픽셀 예측데이터를 제공하기 위해 상기 참조창 픽셀 데이터를 이용하기 위한 예측수단;
    상기 친화변환계수에 따른 상기 참조창 픽섹 예측데이터를 친화적으로 변환하기 위한 변환수단 및;
    상기 서치창 픽셀 데이터를 회복하기 위해 상기 차동적으로 엔코드된 데이터를 갖춘 상기 친화적으로 변환된 참조창 픽셀 예측데이터를 합하기 위한 부가기를 더 구비하는 것을 특징으로 하는 입체식 비디오신호의 개선층 영상에서 줄어든 교차-채널 조도 불균형을 갖춘 입체식 비디오신호를 디코딩하기 위한 디코더장치.
KR1019970037525A 1996-08-06 1997-08-06 입체식 비디오코딩을 위한 최적자 판단 KR19980018426A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/692,630 US5652616A (en) 1996-08-06 1996-08-06 Optimal disparity estimation for stereoscopic video coding
US8/692,630 1996-08-06

Publications (1)

Publication Number Publication Date
KR19980018426A true KR19980018426A (ko) 1998-06-05

Family

ID=24781374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970037525A KR19980018426A (ko) 1996-08-06 1997-08-06 입체식 비디오코딩을 위한 최적자 판단

Country Status (10)

Country Link
US (1) US5652616A (ko)
EP (1) EP0823826B1 (ko)
JP (1) JPH10257527A (ko)
KR (1) KR19980018426A (ko)
CN (1) CN1084568C (ko)
CA (1) CA2212069C (ko)
DE (1) DE69726508T2 (ko)
HK (1) HK1010297A1 (ko)
NO (1) NO973602L (ko)
TW (1) TW404123B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100565791B1 (ko) * 2003-08-04 2006-03-29 삼성전자주식회사 모션백터 추정장치 및 모션백터 추정방법

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
US6144701A (en) * 1996-10-11 2000-11-07 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
US5886736A (en) * 1996-10-24 1999-03-23 General Instrument Corporation Synchronization of a stereoscopic video sequence
US6693666B1 (en) 1996-12-11 2004-02-17 Interval Research Corporation Moving imager camera for track and range capture
US6215898B1 (en) * 1997-04-15 2001-04-10 Interval Research Corporation Data processing system and method
JPH10320561A (ja) * 1997-05-21 1998-12-04 Oki Data:Kk 画像処理方法及びその装置
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6731811B1 (en) * 1997-12-19 2004-05-04 Voicecraft, Inc. Scalable predictive coding method and apparatus
US6055274A (en) * 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
US6275253B1 (en) 1998-07-09 2001-08-14 Canon Kabushiki Kaisha Stereographic image compression with image moment normalization
US6215825B1 (en) * 1998-07-09 2001-04-10 Canon Kabushiki Kaisha Stereographic image compression with image difference generation and lossy compression
US6456340B1 (en) 1998-08-12 2002-09-24 Pixonics, Llc Apparatus and method for performing image transforms in a digital display system
US6151362A (en) * 1998-10-30 2000-11-21 Motorola, Inc. Joint rate control for stereoscopic video coding
JP3349121B2 (ja) 1999-09-22 2002-11-20 富士重工業株式会社 ステレオカメラの取付構造
AUPQ887100A0 (en) * 2000-07-19 2000-08-10 Dynamic Digital Depth Research Pty Ltd Image processing and encoding techniques
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
US6965647B1 (en) * 2000-11-28 2005-11-15 Sony Corporation Robust time domain block decoding
US7912124B2 (en) * 2001-06-11 2011-03-22 Thomson Licensing Motion compensation for fine-grain scalable video
US7319720B2 (en) * 2002-01-28 2008-01-15 Microsoft Corporation Stereoscopic video
US7027515B2 (en) * 2002-10-15 2006-04-11 Red Rock Semiconductor Ltd. Sum-of-absolute-difference checking of macroblock borders for error detection in a corrupted MPEG-4 bitstream
AU2003264580B2 (en) * 2002-11-29 2006-08-10 Canon Kabushiki Kaisha Range Estimation Using Multi-dimensional Segmentation
US20040175057A1 (en) * 2003-03-04 2004-09-09 Thomas Tsao Affine transformation analysis system and method for image matching
KR100524077B1 (ko) * 2003-11-13 2005-10-26 삼성전자주식회사 중간 영상 합성을 위한 시간적 평활화 장치 및 방법
KR100987775B1 (ko) 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
JP2007525907A (ja) * 2004-02-27 2007-09-06 ティディヴィジョン コーポレイション エス．エー． デ シー．ヴィ． 立体３ｄビデオイメージディジタルデコーディングのシステムおよび方法
WO2005083636A1 (es) * 2004-02-27 2005-09-09 Td Vision Corporation, S.A. De C.V. Método y sistema de codificación digital de imágenes de video 3d estereoscópicas
US8204133B2 (en) * 2004-10-12 2012-06-19 Electronics And Telecommunications Research Institute Method and apparatus for encoding and decoding multi-view video using image stitching
EP1820351A4 (en) * 2004-12-10 2010-04-21 Korea Electronics Telecomm DEVICE FOR UNIVERSAL CODING FOR MULTI-VIEW VIDEO
KR100668073B1 (ko) * 2005-07-11 2007-01-11 (주)블루비스 다시점 영상의 왜곡 보정처리 방법
US8644386B2 (en) * 2005-09-22 2014-02-04 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN101166271B (zh) * 2006-10-16 2010-12-08 华为技术有限公司 一种多视点视频编码中的视点差补偿方法
US20080095464A1 (en) * 2006-10-20 2008-04-24 Quvis, Inc. System and Method for Representing Motion Imagery Data
EP2153670A4 (en) * 2007-06-11 2011-03-09 Samsung Electronics Co Ltd METHOD AND DEVICE FOR GENERATING HEADLINE INFORMATION ON A STEREOSCOPIC IMAGE
US8471893B2 (en) * 2007-06-26 2013-06-25 Samsung Electronics Co., Ltd. Method and apparatus for generating stereoscopic image bitstream using block interleaved method
PL2229784T3 (pl) * 2007-12-27 2019-10-31 Psholix Ag Sposób i urządzenie do wytwarzania w czasie rzeczywistym obrazów typu multiview
WO2009101798A1 (ja) * 2008-02-12 2009-08-20 Panasonic Corporation 複眼撮像装置、測距装置、視差算出方法及び測距方法
US20100246675A1 (en) * 2009-03-30 2010-09-30 Sony Corporation Method and apparatus for intra-prediction in a video encoder
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014419A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US8428122B2 (en) 2009-09-16 2013-04-23 Broadcom Corporation Method and system for frame buffer compression and memory resource reduction for 3D video
US20120307023A1 (en) * 2010-03-05 2012-12-06 Sony Corporation Disparity distribution estimation for 3d tv
KR101708331B1 (ko) * 2010-09-17 2017-02-20 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
CN102026013B (zh) * 2010-12-18 2012-05-23 浙江大学 基于仿射变换的立体视频匹配方法
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
ITTO20110414A1 (it) * 2011-05-11 2012-11-12 St Microelectronics Pvt Ltd Procedimento ed apparecchiatura per elaborare segnali video, prodotto informatico e segnale codificato relativi
TWI456975B (zh) 2011-08-23 2014-10-11 Acer Inc 立體影像處理裝置與方法
CN102984538B (zh) * 2011-09-05 2015-02-25 宏碁股份有限公司 立体图像处理装置与方法
TWI465105B (zh) * 2011-10-26 2014-12-11 Syntek Semiconductor Co Ltd 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體
EP2792146A4 (en) 2011-12-17 2015-12-09 Dolby Lab Licensing Corp ENHANCED RESOLUTION VIDEO DISTRIBUTION COMPATIBLE WITH A FRAME, INTERLACED, MULTILAYER
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
EP2848000B1 (en) 2012-05-11 2018-09-19 Intel Corporation Systems and methods for row causal scan-order optimization stereo matching
TW201409994A (zh) 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
KR102062765B1 (ko) * 2012-09-18 2020-02-11 삼성전자주식회사 이미지 변환 메커니즘을 갖춘 3ｄ 이미지 캡쳐 시스템과 그 사용 방법
WO2015007159A1 (en) * 2013-07-15 2015-01-22 Mediatek Singapore Pte. Ltd. Method of disparity derived depth coding in 3d video coding
CN107734335B (zh) * 2014-09-30 2020-11-06 华为技术有限公司 图像预测方法及相关装置
US10553029B1 (en) 2016-09-30 2020-02-04 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10412412B1 (en) 2016-09-30 2019-09-10 Amazon Technologies, Inc. Using reference-only decoding of non-viewed sections of a projected video
US10609356B1 (en) * 2017-01-23 2020-03-31 Amazon Technologies, Inc. Using a temporal enhancement layer to encode and decode stereoscopic video content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
EP0686942A2 (en) * 1994-06-07 1995-12-13 Matsushita Electric Industrial Co., Ltd. Stereo matching method and disparity measuring method
JPH08280026A (ja) * 1994-04-27 1996-10-22 Matsushita Electric Ind Co Ltd 動き及び奥行き推定方法及びその装置
US6144701A (en) * 1996-10-11 2000-11-07 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
EP0639031A3 (en) * 1993-07-09 1995-04-05 Rca Thomson Licensing Corp Method and device for encoding stereo image signals.
US5619256A (en) * 1995-05-26 1997-04-08 Lucent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5179441A (en) * 1991-12-18 1993-01-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Near real-time stereo vision system
JPH08280026A (ja) * 1994-04-27 1996-10-22 Matsushita Electric Ind Co Ltd 動き及び奥行き推定方法及びその装置
EP0686942A2 (en) * 1994-06-07 1995-12-13 Matsushita Electric Industrial Co., Ltd. Stereo matching method and disparity measuring method
US6144701A (en) * 1996-10-11 2000-11-07 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100565791B1 (ko) * 2003-08-04 2006-03-29 삼성전자주식회사 모션백터 추정장치 및 모션백터 추정방법

Also Published As

Publication number Publication date
EP0823826A3 (en) 1999-04-14
DE69726508D1 (de) 2004-01-15
NO973602L (no) 1998-02-09
HK1010297A1 (en) 1999-06-17
DE69726508T2 (de) 2004-09-23
EP0823826B1 (en) 2003-12-03
CA2212069A1 (en) 1998-02-06
CA2212069C (en) 2001-06-12
CN1084568C (zh) 2002-05-08
CN1179065A (zh) 1998-04-15
TW404123B (en) 2000-09-01
US5652616A (en) 1997-07-29
EP0823826A2 (en) 1998-02-11
NO973602D0 (no) 1997-08-05
MX9705999A (es) 1998-07-31
JPH10257527A (ja) 1998-09-25

Similar Documents

Publication Publication Date Title
EP0823826B1 (en) Optimal disparity estimation for stereoscopic video coding
CA2252324C (en) View offset estimation for stereoscopic video coding
US5905535A (en) Differential coding of motion vectors using the median of candidate vectors
US8644386B2 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
US6483874B1 (en) Efficient motion estimation for an arbitrarily-shaped object
KR100667830B1 (ko) 다시점 동영상을 부호화하는 방법 및 장치
US8179969B2 (en) Method and apparatus for encoding or decoding frames of different views in multiview video using global disparity
KR101227601B1 (ko) 시차 벡터 예측 방법, 그 방법을 이용하여 다시점 동영상을부호화 및 복호화하는 방법 및 장치
EP1927249B1 (en) Apparatus and method for encoding and decoding multi-view video
JP2007180981A (ja) 画像符号化装置、画像符号化方法、及び画像符号化プログラム
WO2007035054A1 (en) Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
JP2007180982A (ja) 画像復号装置、画像復号方法、及び画像復号プログラム
Yang et al. An MPEG-4-compatible stereoscopic/multiview video coding scheme
JPH10191393A (ja) 多視点画像符号化装置
JPH07240944A (ja) ステレオ画像符号化装置
KR100243229B1 (ko) 입체 영상 부호기를 위한 양안차 추정 방법 및그 회로
Belbel et al. Improved inter-view correlations for low complexity MV-HEVC
Song Improved disparity estimation algorithm with MPEG-2's scalability for stereoscopic sequences
JPH02131697A (ja) 高能率ステレオ動画像符号化方式
Pourazad et al. An efficient low random-access delay panorama-based multiview video coding scheme
MXPA97005999A (en) Optimal disparity estimation for stereoscopic video coding
Brites et al. Correlation noise modeling for multiview transform domain Wyner-Ziv video coding
CA2578872C (en) Process for coding or decoding motion vectors and coding or decoding device implementing the said process
MXPA98009262A (en) View offset estimation for stereoscopic video coding

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee