KR20110073198A - 스테레오 매칭 결과를 개선하는 장치, 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법 및 스테레오 매칭 결과를 수신하는 시스템 - Google Patents

스테레오 매칭 결과를 개선하는 장치, 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법 및 스테레오 매칭 결과를 수신하는 시스템 Download PDF

Info

Publication number
KR20110073198A
KR20110073198A KR1020100051852A KR20100051852A KR20110073198A KR 20110073198 A KR20110073198 A KR 20110073198A KR 1020100051852 A KR1020100051852 A KR 1020100051852A KR 20100051852 A KR20100051852 A KR 20100051852A KR 20110073198 A KR20110073198 A KR 20110073198A
Authority
KR
South Korea
Prior art keywords
stripe
binocular parallax
parallax image
image
discrete cosine
Prior art date
Application number
KR1020100051852A
Other languages
English (en)
Other versions
KR101331052B1 (ko
Inventor
임을균
장지호
신호철
황대환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US12/971,793 priority Critical patent/US8401280B2/en
Publication of KR20110073198A publication Critical patent/KR20110073198A/ko
Application granted granted Critical
Publication of KR101331052B1 publication Critical patent/KR101331052B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

스테레오 매칭 결과를 개선하는 장치가 개시된다. 이 스테레오 매칭 결과를 개선하는 장치는 다수의 전처리 조건에 따라 전처리된 두 영상 간의 양안 시차를 이용하여 양안 시차 영상을 출력하는 스테레오 카메라부와, 상기 양안 시차 영상에 대해 이산 코사인 변환(Discrete Cosine Transform: DCT)하여 DCT 계수를 생성하는 이산 코사인 변환부와, 상기 생성된 DCT 계수를 입력받고, 상기 DCT 계수들 중 상기 줄무늬 패턴이 포함된 AC 계수들을 이용하여 화면에 분포한 줄무늬 양을 평가하는 줄무늬 평가부와, 상기 다수의 전처리 조건 중 상기 평가된 줄무늬 양 중 가장 낮은 줄무늬 양에 대응하는 전처리 조건을 최적의 조건을 평가하는 조건 평가부 및 상기 이산 코사인 변환부에 의해 획득된 상기 DCT 계수 중 소정의 AC 계수들을 변경하고, 변경된 상기 DCT 계수를 역 이산 코산인 변환하여 상기 줄무늬가 제거된 양안 시차 영상을 생성하는 줄무늬 제거부를 포함한다.

Description

스테레오 매칭 결과를 개선하는 장치, 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법 및 스테레오 매칭 결과를 수신하는 시스템{DEVICE FOR IMPROVING STEREO MATCHING RESULTS, METHOD FOR IMPROVING STEREO MATCHING RESULTS USING THE DEVICE AND SYSTEM FOR RECEVING STEREO MATCHING RESULTS}
본 발명은 스테레오 매칭 결과를 개선하는 장치 및 이 장치를 이용한 방법에 관한 것으로서, 더욱 상세하게는 상기 스테레오 매칭 결과인 양안 시차 영상의 품질을 개선하는 장치 및 이 장치를 이용한 방법에 관한 것이다.
본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-037-01, 과제명: u-로봇 HRI 솔루션 및 핵심 소자 기술 개발].
스테레오 매칭 결과인 두 영상 간의 양안 시차(disparity)를 계산하는 방법에는 여러 가지가 있다. 기존의 양안 시차를 계산하는 방법으로, ASIC으로 구현 가능하고, 1 차원 에너지의 최적화를 수행하는 Dynamic Programming Stereo(DPS), Scanline Smoothness Optimisation 방법이 있다.
그러나 이 방법들은 영상의 주사선 단위로 발생하는 오차로 인해 양안 시차 영상에 줄무늬(streak) 노이즈가 생기는 단점이 있으며, 양안 카메라의 정렬 조건에 따라서 그 노이즈 정도가 달라진다.
도 1은 기존의 줄무늬가 발생한 양안 시차 영상을 보여주는 도면이고, 도 2는 도 1에서 줄무늬가 많이 존재하는 8x8 크기의 블록을 나타낸 도면이다.
도 1에 도시된 바와 같이, 1차원 에너지의 최적화를 이용해 얻은 양안 시차 영상에서 발생하는 줄무늬는 수평 방향으로 형성되고, 도 2에 도시된 바와 같이 사물의 중앙 부분보다는 사물의 경계 부분에서 주로 발생하는 특징이 있다.
도 3은 도 1에 도시된 양안 시차 영상을 푸리에 변환한 결과 영상을 보여주는 도면이다.
도 3을 참조하면, 수평 줄무늬가 포함된 영상을 푸리에 변환하고, 변환된 결과 영상을 로그 스케일(log scale)로 관찰하면, 세로선 성분이 강하게 나타나지만, 도 1 및 도 2에 도시한 바와 같이 줄무늬 각각의 길이가 길지 않기 때문에 수평 방향의 고주파 성분 또한 많이 나타나게 된다.
이러한 영상 내의 줄무늬를 제거하는 기존의 기술은 푸리에 영역에서 직선으로 나타나는 줄무늬를 검출하고, 선형 회귀 분석(linear regression analysis)을 이용하여 검출된 줄무늬를 제거한다.
그런데, 이러한 기존의 기술은 원래 영상 전체를 가로지르는 줄무늬를 제거하는 데 한정된다. 왜냐하면, 도 4에 도시된 바와 같이, 영상 내에 국소적으로 짧게 존재하는 줄무늬들은 줄무늬의 진행 방향을 따라 매우 많은 주파수 성분을 포함하므로, 도 5에 도시된 바와 같이, 푸리에 영역에서 매우 넓은 범위를 차지한다. 따라서 기존의 기술에서 사용되는 선형 회귀 분석으로는 영상 내에 국소적으로 짧게 존재하는 줄무늬들을 제거할 수 없다.
화면 전체를 가로지르는 줄무늬를 줄이는 기존의 다른 기술에서는 영상 내의 많은 픽셀들에 대한 계산과정이 요구되어, 처리속도를 저하시킬 뿐만 아니라, 영상 내의 국소적으로 짧게 존재하는 줄무늬를 제거하지 못한다.
따라서, 본 발명의 목적은 양안 시차 영상에 존재하는 수평 줄무늬(streak)를 줄여, 스테레오 매칭 결과를 개선하는 장치를 제공하는 데 있다.
본 발명의 다른 목적은 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은 상기 스테레오 매칭 결과를 수신하는 시스템을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 스테레오 매칭 결과를 개선하는 장치는, 다수의 전처리 조건에 따라 전처리된 두 영상 간의 양안 시차 영상을 출력하는 스테레오 카메라부와, 상기 양안 시차 영상에 대해 이산 코사인 변환(Discrete Cosine Transform: DCT)하여 DCT 계수를 생성하는 이산 코사인 변환부와, 상기 생성된 DCT 계수를 입력받고, 상기 DCT 계수 중 소정 방향의 줄무늬 패턴 성분이 포함된 AC 계수들을 이용하여 화면에 분포한 줄무늬 양을 평가하는 줄무늬 평가부와, 상기 다수의 전처리 조건 중 상기 평가된 줄무늬 양 중 가장 낮은 줄무늬 양에 대응하는 전처리 조건을 최적의 조건으로 평가하는 조건 평가부 및 상기 이산 코사인 변환부에 의해 획득된 상기 DCT 계수 중 소정의 AC 계수들을 변경하고, 변경된 DCT 계수를 역 이산 코사인 변환하여, 상기 최적의 조건에 따라 상기 줄무늬가 제거된 양안 시차 영상을 생성하는 줄무늬 제거부를 포함한다.
본 발명의 다른 일면에 따른 스테레오 매칭 결과를 개선하는 방법은, 다수의 전처리 조건에 따라 전처리된 두 영상 간의 양안 시차 영상을 출력하는 단계와, 상기 양안 시차 영상에 대해 이산 코사인 변환(Discrete Cosine Transform: DCT)하여 DCT 계수를 생성하는 단계와, 상기 생성된 DCT 계수 중 줄무늬 패턴에 대응하는 AC 계수들을 이용하여 화면에 분포한 줄무늬 양을 평가하는 단계와, 상기 다수의 전처리 조건 중 상기 평가된 줄무늬 양 중 가장 낮은 줄무늬 양에 대응하는 전처리 조건을 최적의 조건으로 평가하는 단계 및 상기 줄무늬 패턴에 대응하는 상기 AC 계수들을 변경하고, 변경된 상기 DCT 계수를 역 이산 코사인 변환하여, 상기 최적의 조건에 따라 상기 줄무늬가 제거된 상기 양안 시차 영상을 생성하는 단계를 포함한다.
본 발명의 또 다른 일면에 따른 스테레오 매칭 결과를 수신하는 수신 시스템은 원영상과 줄무늬 패턴이 포함된 양안 시차 영상을 압축 인코딩된 비트스트림으로서 전송받고, 상기 비트스트림을 디코딩하여 DCT 계수를 복원하고, 상기 복원된 DCT 계수 중 상기 양안 시차 영상에 해당하는 블록의 AC계수들을 변경하고, 변경된 DCT 계수를 역 이산 코사인 변환하여 상기 줄무늬 패턴이 줄어든 상기 양안 시차 영상을 복원하는 압축 영상 디코더 및 상기 복원된 양안 시차 영상에 포함된 블록을 디-블록킹하는 디-블록킹 필터를 포함한다.
본 발명에 의하면, 수평 줄무늬 노이즈가 발생하는 스테레오 매칭 시스템에서 줄무늬 양을 상대적으로 평가하고, 그 양이 최소가 되는 조건을 쉽게 찾을 수 있으며, 이 조건에 따라 수평 줄무늬가 줄어든 양안 시차 영상을 얻을 수 있다.
또한, 정지 영상 또는 동영상을 처리하는 영상 처리 분야에서 사용되는 소프트웨어 버전의 이산 코사인 변환기(Discrete Cosine transformer: DCT) 또는 동영상 하드웨어 코덱에 포함된 이산 코사인 변환기를 활용할 수 있으므로, 낮은 성능의 임베디드 보드에서도 처리가 가능하다.
도 1은 기존의 줄무늬가 발생한 양안 시차 영상을 보여주는 도면이다.
도 2는 도 1에서 줄무늬가 많이 발생한 영역을 8x8 크기의 블록 단위로 나타낸 도면이다.
도 3은 도 1에 도시된 양안 시차 영상에 푸리에변환을 적용한 결과 영상을 보여주는 도면이다.
도 4는 짧은 수평 줄무늬들이 포함된 영상을 보여주는 도면이다.
도 5는 도 4에 도시된 짧은 수평 줄무늬들의 푸리에 변환 결과를 보여주는 도면이다.
도 6은 본 발명의 일실시예에 따른 스테레오 매칭 결과를 개선하는 장치를 보여주는 블록도이다.
도 7은 도 6에 도시된 스테레오 매칭부로부터 출력되는 양안 시차 영상을 보여주는 도면이다.
도 8은 8 X 8의 DCT의 기본 패턴을 보여주는 도면이다.
도 9는 서로 다른 전처리 조건에 따라 서로 다른 줄무늬 분포를 갖는 3 가지의 양안 시차 영상에 대한 도 6에 도시된 줄무늬 평가부의 출력값을 보여주는 그래프이다.
도 10은 도 6에 도시된 줄무늬 제거부에 의해 줄무늬가 줄어든 양안 시차 영상을 보여주는 도면이다.
도 11 및 도 12는 본 발명의 일실시예에 따른 스테레오 매칭 결과를 개선하는 방법을 보여주는 순서도이다.
도 13은 본 발명의 다른 실시예에 따른 스테레오 매칭 결과를 개선하는 장치를 보여주는 블록도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 6은 본 발명의 일실시예에 따른 스테레오 매칭 결과를 개선하는 장치를 보여주는 블록도이다.
도 6을 참조하면, 본 발명의 일실시예에 따른 스테레오 매칭 결과를 개선하는 장치(100)는 스테레오 카메라부(110), 이산 코사인 변환기(Discrete Cosine transformer: 이하 DCT)(120), 줄무늬(Streak) 평가부(130), 조건 평가부(140) 및 줄무늬 제거부(150)를 포함한다.
상기 스테레오 카메라부(110)는 두 영상 간의 양안 시차를 계산하여 양안 시차 영상을 생성한다. 이러한 양안 시차 영상을 생성하기 위하여 상기 스테레오 카메라부(110)는 카메라부(112), 전처리부(114) 및 스테레오 매칭부(116)를 포함한다. 상기 카메라부(112)는 광축이 서로 평행하게 정렬된 오른쪽 카메라 유닛(112A)과 왼쪽 카메라 유닛(112B)을 포함하며, 상기 오른쪽 카메라 유닛(112A)은 오른쪽 영상을 생성하고, 상기 왼쪽 카메라 유닛(112B)은 왼쪽 영상을 생성한다.
상기 전처리부(114)는 상기 오른쪽 영상을 입력받아서 상기 오른쪽 영상에 대해 전처리 과정을 수행하는 오른쪽 영상 전처리부(114A)와 상기 왼쪽 영상을 입력받아서 상기 왼쪽 영상에 대해 전처리 과정을 수행하는 왼쪽 영상 전처리부(114B)를 포함한다. 이러한 전처리 과정은 두 영상의 독립적인 밝기 조절 과정, 히스토그램 평활화 과정, 영상의 평행 이동 과정 및 영상의 회전 과정 등을 포함하며, 이러한 과정들이 스테레오 매칭 과정에 앞서 수행되므로, 상기 스테레오 매칭부(116)에서 수행되는 스테레오 매칭의 성능이 향상될 수 있다.
상기 스테레오 매칭부(116)는 상기 전처리된 오른쪽 영상과 왼쪽 영상을 입력받고, 동적 프로그래밍(dynamic programming) 기법 등의 알고리즘을 이용하여 상기 영상들 간의 양안 시차를 계산하고, 계산된 양안 시차를 밝기 정보로 나타나는 양안 시차 영상을 생성하여 출력한다. 이때, 상기 스테레오 매칭부(116)는 전처리 조건에 따라 서로 다른 오차 분포를 갖는 양안 시차 영상을 출력하게 되는 데, 오차 분포를 갖는 양안 시차 영상에 하드웨어 구현이 가능한 1차원 에너지 최적화 기법(one-dimension energy optimization technique)을 적용하면, 오차 분포는 주로 줄무늬(streak) 형태로 나타난다. 이하, 도 7을 참조하여 전처리 조건에 따라 서로 다른 줄무늬 분포를 갖는 양안 시차 영상에 대해 설명하기로 한다.
도 7은 도 6에 도시된 스테레오 매칭부로부터 출력되는 서로 다른 줄무늬 분포를 갖는 양안 시차 영상의 일례를 보여주는 도면이다.
도 7에서는, 서로 다른 전처리 조건에 따라 서로 다른 줄무늬 분포를 갖는 3 가지의 양안 시차 영상들(CASE 1, CASE 2, CASE 3)이 나타난다. 본 실시예에서의 서로 다른 전처리 조건은 수직 정렬 위치의 변경이다.
구체적으로, CASE 1은 왼쪽 영상의 위에서부터 i+1 번째 수평 라인(left[i+1])과 오른쪽 영상의 위에서부터 i번째 수평 라인(right[i])이 매칭되도록 왼쪽 영상을 한 줄 위로 평행이동해 매칭한 양안 시차 영상이다.
CASE 2는 왼쪽 영상의 위에서부터 i번째 수평 라인(left[i])과 오른쪽 영상의 위에서부터 i번째 수평 라인(right[i])이 매칭되도록 왼쪽 영상을 그대로 이용해서 매칭한 양안 시차 영상이다.
CASE 3은 왼쪽 영상의 i-1번째 수평 라인(left[i-1])과 오른쪽 영상의 i번째 수평 라인(right[i])이 매칭되도록 왼쪽 영상을 한 줄 아래로 평행 이동시켜 매칭한 양안 시차 영상이다.
도 7에서는 CASE 1의 양안 시차 영상에서 줄무늬가 가장 심하게 나타나고, CASE 3의 양안 시차 영상에서 줄무늬가 가장 적게 나타나고 있다.
본 실시예에서는 전처리 조건의 일 예로 수직 정렬 위치의 변경을 기술하고 있으나, 전처리 조건의 다른 예로 오른쪽 카메라의 노출값에 대한 왼쪽 카메라의 노출값 변경, 오른쪽 카메라의 루미넌스 게인(luminance gain)에 대한 왼쪽 카메라의 루미넌스 게인 변경 등 양안 시차 영상에 영향을 미치는 다양한 조작을 포함할 수 있다.
다시 도 6을 참조하면, 상기 DCT(120)는 양안 시차 영상을 소정 크기의 블록 단위로 분할한다. 이후, 분할된 각 블록들에 대해 이산 코사인 변환(discrete cosine transform)을 수행하여, 각 블록들의 DCT 계수를 출력한다. 예를 들어 상기 DCT(120)는 입력받은 양안 시차 영상을 k(자연수)개의 8(세로 픽셀 수) X 8(가로 픽셀 수) 블록 영상으로 분할하고, 각 블록 영상(X1 ~ Xk)을 이산 코사인 변환하여, DCT(Discrete Cosine transform) 계수(Y1 ~ Yk)를 산출한다.
산출된 DCT(Discrete Cosine Transform) 계수(Yk)는 아래의 수학식 1로 나타낼 수 있다.
Figure pat00001
여기서, i는 입력된 양안 시차 영상 블록 Xk 내에서의 세로 방향 픽셀 좌표이고, j는 상기 양안 시차 영상 블록 Xk 내에서의 가로 방향 픽셀의 좌표이다. 또한, x, y는 DCT 계수의 인덱스를 나타낸다.
도 8은 8 X 8의 DCT의 기본 패턴을 보여주는 도면으로서 상기 수학 식 1의 Ykx, y(여기서, 아래 첨자 x는 위에서부터 아래 방향으로 x = 0, 1, ..., 7을 나타내고, 아래 첨자 y는 왼쪽에서 오른쪽으로 y=0, 1, ..., 7을 나타낸다.)가 나타내는 성분을 보여준다.
도 8에 도시된 바와 같이, 블록 Xk의 DCT 계수(Ykx , y)는 노이즈 패턴 성분이 블록 Xk에 얼마나 많이 있는가를 나타내는 척도로 사용할 수 있다.
DCT(이산 코사인 변환 과정)는 이산 푸리에 변환(Discrete Fourier Transform: DFT) 과정과 비교해서 다음과 같은 장점이 있다.
첫째, 이산 푸리에 변환 과정(DFT)은 주기적인 영상(periodic image)을 만드는 과정에서 영상의 좌우 또는 상하 경계의 불연속성(discontinuity)에 의해서 고주파 성분이 발생하나, 이산 코사인 변환 기법은 주기적인 영상을 만드는 과정에서 영상의 좌우 또는 상하를 대칭을 시키기 때문에 불연속성이 발생하지 않으며, 불연속성에 의한 고주파 성분이 발생하지 않는다. 그러므로 DCT를 사용하면, 푸리에 변환을 이용하여 양안 시차 영상 내에서 줄무늬 성분에 대응하는 고주파 성분을 찾아내는 기존의 기술에 비해 효과적으로 줄무늬 노이즈의 고주파 성분이 검출될 수 있다.
둘째, DFT는 언제나 magnitude와 phase 정보를 생성하지만, DCT는 phase 정보를 생성하지 않는다. 양안 시차 영상의 줄무늬를 검출하는 데 있어서, phase 정보는 필요하지 않으므로 DCT가 DFT보다 유리하다.
셋째, DFT는 줄무늬를 검출하는 기존의 기술과는 달리, 영상을 8 x 8 또는 16 x 16의 작은 블록으로 나누고, 각 블록에 대해 이산 코사인 변환 과정을 수행하면, 짧은 줄무늬에 대응하는 고주파 성분은 그 블록 내에만 포함되고, 인접한 블록에 영향을 미치지 않는 장점이 있다.
다시 도 6을 참조하면, 줄무늬 평가부(130)는 상기 DCT(120)로부터 k개 블록들의 각 DCT 계수들을 입력받아서, AC 계수들을 이용하여 화면에 분포한 줄무늬의 양을 평가한다. 상기 DCT 계수들 중 0차 계수(Ykx , y에서 x=y=0)는 다른 계수들과 달리 코사인 함수가 아니기 때문에 DC 계수라고 하고, 상기 0차 계수를 제외한 나머지 계수들은 AC 계수들이라 한다.
이러한 AC 계수 중 y=0인 계수들은 수평선을 잘 나타내는 계수로서, k개의 8 X 8 블록 영상을 이산 코사인 변환하는 경우, k개의 모든 블록에서 가장 얇은 수평선 주파수 성분인
Figure pat00002
만이 사용될 수도 있다. 다시 말해, 상기 줄무늬 평가부(130)는 상기 양안 시차 영상을 상기 8 x 8 블록 크기로 분할한 경우, 줄무늬 패턴에 대응하는 주파수 성분이 가장 높은 좌측 맨 아래쪽 AC 계수들(도 8을 참조)을 이용하여 화면에 분포한 줄무늬 양을 평가한다.
k개의 블록들에 대한 줄무늬 양 즉, 줄무늬 평가 함수(f)는 예를 들어 아래의 수학식 2와 같이 절대값의 합으로 나타낼 수 있다.
Figure pat00003
상기 줄무늬 평가 함수(f)는 도 7의 양안 시차 영상들(CASE 1, CASE 2, CASE 3)과 다음 프레임의 양안 시차 영상들에 대해 다음과 같이 일관적인 평가 결과를 연산한다.
도 9는 서로 다른 전처리 조건에 따라 서로 다른 줄무늬 분포를 갖는 3 가지의 양안 시차 영상에 대해 도 6에 도시된 줄무늬 평가부의 출력값을 보여주는 그래프이다.
도 9에는 제1 내지 제3 그래프(G1, G2, G3)가 나타나며, 상기 제1 내지 제3 그래프(G1, G2, G3) 각각은 도 7의 CASE 1, CASE 2, CASE 3의 양안 시차 영상들에 대한 줄무늬 평가부(130)의 출력값을 나타내는 그래프이다. 따라서, 상기 제1 그래프(G1)는 줄무늬 분포가 가장 심한 양안 시차 영상에 대한 줄무늬 평가부(도 6의 130)의 출력값이고, 상기 제3 그래프(G3)는 줄무늬 분포가 가장 낮은 양안 시차 영상에 대한 줄무늬 평가부의 출력값을 나타낸다.
다시 도 6을 참조하면, 상기 조건 평가부(140)는 수직 정렬 위치에 따른 전처리 조건에 따라 줄무늬 평가부(130)에서 출력되는 출력값들을 각각 저장한다. 조건 평가부(140)는 저장된 출력값들을 서로 비교하여, 가장 낮은 출력값을 출력하는 경우에서의 전처리 조건을 최적의 조건으로서 출력한다. 즉, 도 9의 경우에서는, 상기 조건 평가부(140)가 다른 그래프들(G1, G2)에 비해 일관되게 작은 출력값의 분포를 형성하는 제3 그래프(G3) 즉, 도 7의 CASE 3의 양안 시차 영상에 적용된 전처리 조건을 최적의 조건으로 판단하고, 상기 최적의 조건에 대응하는 양안 시차 영상 즉, 도 7의 CASE 3의 양안 시차 영상을 최적의 양안 시차 영상으로 평가한다.
이러한 조건 평가부(140)에 의한 평가결과에 따라, 도 6의 상기 줄무늬 제거부(150)는 스테레오 매칭부(116)에서 생성된 최적의 양안 시차 영상을 DCT(120)에 의해 이산 코사인 변환된 결과치를 입력받고, 그 결과치에서 소정의 조건에 해당하는 AC 계수들을 0이나 0에 가까운 값으로 변경(또는 삭제)한다. 이후, 변경된 AC 계수들을 역 이산 코사인 변환하여, 영상을 재구성한다.
도 10은 도 6에 도시된 줄무늬 제거부에 의해 줄무늬가 줄어든 양안 시차 영상을 보여주는 도면이다.
도 10을 참조하면, 상기 줄무늬 제거부(150)에 의해 도 7의 case 3의 양안 시차 영상의 DCT 계수에서 일부 AC 계수를 변경하고, 변경된 AC 계수를 역 이산 코사인 변환하여 얻은 양안 시차 영상은 도 7의 CASE 3의 양안 시차 영상에 비해 줄무늬 노이즈가 확연히 줄어든 것을 확인할 수 있다.
한편, 상기 줄무늬 제거부(150)에 의해 획득된 양안 시차 영상은 블록 단위로 연산된 결과이므로, 상기 줄무늬 제거부(150)에서 획득된 양안 시차 영상은 블록 경계가 두드러지게 나타난다. 따라서, 본 발명의 일실시예에 따른 스테레오 매칭 결과를 개선하는 장치는 각 블록의 경계에 대해 디-블록킹(de-blocking) 과정을 수행하는 디-블록킹 필터(미도시)를 더 포함할 수 있다.
도 11 및 도 12는 본 발명의 일실시예에 따른 스테레오 매칭 결과를 개선하는 방법을 보여주는 순서도이다. 설명의 이해를 돕기 위하여, 도 6이 함께 참조된다.
도 6 및 도 11을 참조하면, 먼저, 양안 시차 영상을 출력하기 위하여 스테레오 카메라부(110)에서 기 설정된 전처리 조건이 초기화된다(S1110).
이어, 상기 스테레오 카메라부(110)의 오른쪽 카메라(112A)와 왼쪽 카메라(112B)에 의해 오른쪽 영상과 왼쪽 영상이 각각 획득된다(S1112).
이어, 상기 획득된 오른쪽 영상과 왼쪽 영상에 대해 소정의 전처리 조건에 따라 각각 전처리 과정이 수행된다. 전처리된 오른쪽 영상과 왼쪽 영상 간의 양안 시차를 이용한 스테레오 매칭 과정이 수행되고, 수행결과인 양안 시차 영상이 생성된다(S1114). 이때, 상기 전처리 조건은 다양하게 조작된다. 이러한 전처리 조건의 다양한 조작에는, 양쪽 영상 간의 수직 정렬 위치에 따른 조건 변경, 오른쪽 카메라의 노출값에 대한 왼쪽 카메라의 노출값 또는 왼쪽 카메라의 노출값에 대한 오른쪽 카메라의 노출값의 변수 변경, 오른쪽 카메라의 루미넌스 게인(luminance gain)에 대한 왼쪽 카메라의 루미넌스 게인 또는 왼쪽 카메라의 루미넌스 게인(luminance gain)에 대한 오른쪽 카메라의 루미넌스 게인의 변경등과 같은 양안 시차 영상에 영향을 미치는 조작 등이 있다.
이어, 생성된 양안 시차 영상을 소정의 크기의 블록들로 분할하고, 분할된 각 블록에 대한 이산 코사인 변환 과정이 수행된다(S1116).
이어, 이산 코사인 변환된 각 블록 영상에 대한 줄무늬 평가가 수행되고(S1118), 줄무늬 평가 결과와 상기 전처리 조건이 누적되어 저장된다(S1120).
이후, 남아 있는 전처리 조건이 있으면, 현재의 전처리 조건이 남아 있는 다른 전처리 조건들 중 다른 하나로 변경되고(S1124), 변경된 전처리 조건에 따라 상기 과정들(S1110, S1112, S1114, S1116, S1118 및 S1120)이 다시 수행된다. 만일 남아 있는 전처리 조건이 없으면, 즉, 모든 전처리 조건이 적용된 양안 시차 영상의 줄무늬 양을 평가하고, 평가된 결과로부터 최적의 전처리 조건이 판단된다(S1126).
이후, 데이터가 충분하지 않으면(S1128), 처음 과정(S1110)으로 다시 돌아가고, 데이터가 충분하면(S1128), 전처리 조건에 따른 줄무늬 평가 결과를 평가하여, 최적의 전처리 조건이 선정되고(S1130), 선정된 최적의 전처리 조건에 따라 도 6의 스테레오 카메라부(110)의 카메라 모듈(112)에서 왼쪽 영상과 오른쪽 영상이 생성된다(S1134).
이어, 상기 생성된 왼쪽 영상과 오른쪽 영상 간의 양안 시차를 이용하여 상기 최적의 전처리 조건에 따른 양안 시차 영상이 생성되고(S1136), 상기 생성된 양안 시차 영상을 소정 크기(8 X 8)의 블록 영상들로 분할하고, 분할된 각 블록 영상에 대해 이산 코사인 변환 과정이 수행된다(S1138).
이어, 도 6의 줄무늬 제거부(150)에 의해 상기 이산 코사인 변환된 양안 시차 영상의 DCT 계수에서 일부 AC 계수가 변경되고, 변경된 AC 계수에 대해 역 이산 코사인 변환 과정이 수행되고, 수행된 결과에 따라 줄무늬 노이즈가 줄어든 양안 시차 영상이 생성된다(S1140).
이어, 상기 줄무늬 제거부(150)에 의해 획득된 양안 시차 영상은 블록 단위로 연산된 결과 영상이므로, 각 블록의 경계에 대해 디-블록킹(de-blocking) 과정이 수행된다(S1142).
도 13은 본 발명의 다른 실시예에 따른 스테레오 매칭 결과를 개선하는 장치를 보여주는 블록도이다.
도 13을 참조하면, 본 발명의 다른 실시예에 따른 스테레오 매칭 결과를 개선하는 장치(200)는 스테레오 카메라부(210), 압축 영상 인코더(220) 및 압축 영상 디코더(230)를 포함한다.
스테레오 카메라 시스템의 출력 결과를 무선랜이나 USB 등 한정된 대역폭의 네트워크를 통해 전송해야 할 경우, 중복 데이터가 제거된 압축된 형태의 영상이 네트워크 전송 구간에서 전송되는 것이 바람직하다. 이 경우, 도 6의 실시예에서의 DCT(120)는 도 13의 DCT를 포함하는 압축 영상 인코더(220)에 대응하고, 도6의 줄무늬 제거부(150)는 압축 영상을 디코딩하는 압축 영상 디코더(230)에 대응할 수 있다.
도 6의 실시예에서 줄무늬 평가부(130)는 스테레오 카메라부(110)의 설계시 최적 조건을 찾는 경우에만 필요하므로 도 13의 실시예에서는 생략 가능하다.
상기 압축 영상 인코더(220)는 예를 들어 MPEG2, MPEG4, H.263 같은 표준의 동영상 하드웨어 인코더이거나 JPEG 인코더로서, 전처리된 오른쪽 영상 또는 전처리된 왼쪽 영상과 줄무늬가 포함된 양안 시차 영상이 조합된 프레임 영상을 입력받는다. 상기 압출 영상 인코더(220)는 상기 입력받은 프레임 영상을 8 x 8 블록 단위로 이산 코사인 변환을 적용하고, 이후 DCT 계수들을 양자화(quantize)하고, 양자화된 DCT 계수들을 가변 길이 인코딩(variable lengh encoding)과정을 통해 비트 스트림을 생성하여 출력한다.
상기 압축 영상 디코더(230)는, 네트워크를 통해 전달받은 압축 영상 비트스트림을 가변 길이 디코딩(variable length decoding)하고, 역 양자화(dequantize)하여 DCT계수를 생성한다. 상기 압축 영상 디코더(230)에 포함된 줄무늬 제거부는, 양안 시차 영상 영역 내 블록의 AC 계수 중에서 소정의 조건에 해당하는 AC계수들을 0이나 0에 가까운 값으로 변경한다. 이후, 변경된 AC 계수들을 역 DCT 변환하여 영상을 재구성한다. 이후, 재구성된 영상 내의 각 블록의 경계에 대해 디-블록킹(de-blocking) 필터를 적용한 영상을 출력한다.
도 13의 실시예를 이용하면, 함께 인코딩된 원 영상의 품질을 손상하지 않으면서도 양안 시차 영상의 줄무늬를 제거할 수 있다.

Claims (16)

  1. 다수의 전처리 조건에 따라 전처리된 두 영상 간의 양안 시차 영상을 출력하는 스테레오 카메라부;
    상기 양안 시차 영상에 대해 이산 코사인 변환(Discrete Cosine Transform: DCT) 하여 DCT 계수를 생성하는 이산 코사인 변환부;
    상기 생성된 DCT 계수를 입력받고, 상기 DCT 계수 중 소정 방향의 줄무늬 패턴 성분이 포함된 AC 계수들을 이용하여 화면에 분포한 줄무늬 양을 평가하는 줄무늬 평가부;
    상기 다수의 전처리 조건 중 상기 평가된 줄무늬 양 중 가장 낮은 줄무늬 양에 대응하는 전처리 조건을 최적의 조건으로 평가하는 조건 평가부; 및
    상기 이산 코사인 변환부에 의해 획득된 상기 DCT 계수 중 소정의 AC 계수들을 변경하고, 변경된 DCT 계수를 역 이산 코사인 변환하여, 상기 최적의 조건에 따라 상기 줄무늬가 제거된 양안 시차 영상을 생성하는 줄무늬 제거부
    를 포함하는 스테레오 매칭 결과를 개선하는 장치.
  2. 제1항에 있어서, 상기 스테레오 카메라부는,
    상기 두 영상 간의 수직 정렬 위치에 따른 전처리 조건에 따라 상기 양안 시차 영상을 출력하는 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 장치.
  3. 제1항에 있어서, 상기 스테레오 카메라부는,
    한쪽 카메라의 노출값에 대한 다른 쪽 카메라의 노출값을 설정하는 조건과 한쪽 카메라의 루미넌스 게인(luminance gain)에 대한 다른 쪽 카메라의 루미넌스 게인을 설정하는 조건을 포함하는 상기 전처리 조건에 따라 상기 양안 시차 영상을 출력하는 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 장치.
  4. 제1항에 있어서, 상기 이산 코사인 변환부는,
    상기 양안 시차 영상을 소정 단위의 블록들로 분할하고, 분할된 각 블록에 대해 상기 이산 코사인 변환을 수행하는 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 장치.
  5. 제4항에 있어서, 상기 이산 코사인 변환부는,
    상기 양안 시차 영상을 8(세로 픽셀의 수) x 8(가로 픽셀의 수) 블록 단위 및 16(세로 픽셀의 수) x 16(가로 픽셀의 수) 블록 단위 중 어느 하나의 블록 단위로 분할하는 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 장치.
  6. 제5항에 있어서, 상기 줄무늬 평가부는,
    상기 양안 시차 영상을 상기 8 x 8 블록 크기로 분할한 경우, 상기 DCT 계수 중에서 줄무늬 패턴에 대응하는 주파수 성분이 가장 높은 AC 계수들을 이용하여 화면에 분포한 줄무늬 양을 평가하는 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 장치.
  7. 제1항에 있어서, 상기 줄무늬 제거부는,
    상기 AC 계수를 0으로 변경한 후, 상기 DCT 계수를 역 이산 코사인 변환하여 상기 줄무늬가 제거된 상기 양안 시차 영상을 생성하는 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 장치.
  8. 제7항에 있어서, 상기 역 이산 코사인 변환부에 의해 블록 단위로 재구성된 양안 시차 영상에 포함된 블록 경계를 디-블록킹(de-blocking)하는 디-블록킹 필터를 더 포함하는 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 장치.
  9. 제1항에 있어서, 상기 소정방향의 줄무늬 패턴은, 수평방향의 줄무늬 패턴인 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 장치.
  10. 다수의 전처리 조건에 따라 전처리된 두 영상 간의 양안 시차 영상을 출력하는 단계;
    상기 양안 시차 영상에 대해 이산 코사인 변환(Discrete Cosine Transform: DCT) 하여 DCT 계수를 생성하는 단계;
    상기 생성된 DCT 계수 중 줄무늬 패턴에 대응하는 AC 계수들을 이용하여 화면에 분포한 줄무늬 양을 평가하는 단계;
    상기 다수의 전처리 조건 중 상기 평가된 줄무늬 양 중 가장 낮은 줄무늬 양에 대응하는 전처리 조건을 최적의 조건으로 평가하는 단계; 및
    상기 줄무늬 패턴에 대응하는 상기 AC 계수들을 변경하고, 변경된 상기 DCT 계수를 역 이산 코사인 변환하여, 상기 최적의 조건에 따라 상기 줄무늬가 제거된 상기 양안 시차 영상을 생성하는 단계
    를 포함하는 스테레오 매칭 결과를 개선하는 방법.
  11. 제10항에 있어서, 상기 DCT 계수를 생성하는 단계는,
    상기 양안 시차 영상을 소정 블록 단위로 분할하는 단계; 및
    분할된 각 블록에 대해 상기 이산 코사인 변환을 수행하는 단계를 포함하는 것을 특징으로 하는 스테레오 매칭 결과를 개선하는 방법.
  12. 제11항에 있어서, 상기 소정 블록 단위로 분할하는 단계는,
    상기 양안 시차 영상을 8(세로 픽셀의 수) x 8(가로 픽셀의 수) 블록 단위로 분할하는 단계인 것인 스테레오 매칭 결과를 개선하는 방법.
  13. 제12항에 있어서, 상기 줄무늬 양을 평가하는 단계는,
    상기 DCT 계수 중에서 상기 줄무늬 패턴에 대응하는 주파수 성분이 가장 높은 AC 계수들을 이용하여 화면에 분포한 줄무늬 양을 평가하는 단계인 것인 스테레오 매칭 결과를 개선하는 방법.
  14. 제10항에 있어서, 상기 양안 시차 영상을 생성하는 단계는,
    상기 AC 계수를 0으로 변경한 후, DCT 계수를 역 이산 코사인 변환하여 상기 줄무늬가 제거된 상기 양안 시차 영상을 생성하는 단계인 것인 스테레오 매칭 결과를 개선하는 방법.
  15. 원영상과 줄무늬 패턴이 포함된 양안 시차 영상을 압축 인코딩된 비트스트림으로서 전송받고, 상기 비트스트림을 디코딩하여 DCT 계수를 복원하고, 상기 복원된 DCT 계수 중 상기 양안 시차 영상에 해당하는 블록의 AC계수들을 변경하고, 변경된 DCT 계수를 역 이산 코사인 변환하여 상기 줄무늬 패턴이 줄어든 상기 양안 시차 영상을 복원하는 압축 영상 디코더; 및
    상기 복원된 양안 시차 영상에 포함된 블록을 디-블록킹하는 디-블록킹 필터
    를 포함하는 스테레오 매칭 결과를 수신하는 수신 시스템.
  16. 제15항에 있어서, 상기 압축 영상 디코더는,
    상기 복원된 DCT 계수 중에서 줄무늬 패턴과 연관된 소정의 AC 계수들을 0으로 변경한 후, DCT 계수를 역 이산 코사인 변환하여 상기 줄무늬 패턴이 줄어든 상기 양안 시차 영상을 복원하는 것을 특징으로 하는 스테레오 매칭 결과를 수신하는 수신
    시스템.

KR1020100051852A 2009-12-21 2010-06-01 스테레오 매칭 결과를 개선하는 장치, 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법 및 스테레오 매칭 결과를 수신하는 시스템 KR101331052B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/971,793 US8401280B2 (en) 2009-12-21 2010-12-17 Device for improving stereo matching results, method of improving stereo matching results using the device, and system for receiving stereo matching results

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20090127699 2009-12-21
KR1020090127699 2009-12-21

Publications (2)

Publication Number Publication Date
KR20110073198A true KR20110073198A (ko) 2011-06-29
KR101331052B1 KR101331052B1 (ko) 2013-11-22

Family

ID=44404019

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100051852A KR101331052B1 (ko) 2009-12-21 2010-06-01 스테레오 매칭 결과를 개선하는 장치, 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법 및 스테레오 매칭 결과를 수신하는 시스템

Country Status (1)

Country Link
KR (1) KR101331052B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130059813A (ko) * 2011-11-29 2013-06-07 엘지이노텍 주식회사 거리 측정 장치 및 시스템
CN103841411A (zh) * 2014-02-26 2014-06-04 宁波大学 一种基于双目信息处理的立体图像质量评价方法
KR20170091496A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 양안 시차 영상의 처리 방법 및 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102334332B1 (ko) 2020-07-31 2021-12-02 숭실대학교 산학협력단 가이디드 필터링을 이용한 딥러닝 네트워크 기반 깊이 영상 결과 개선 방법, 이를 수행하기 위한 기록 매체 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612850B1 (ko) * 2004-07-14 2006-08-21 삼성전자주식회사 이산 코사인 변환 계수의 예측 방법 및 장치
KR100656783B1 (ko) * 2004-12-14 2006-12-12 한국전자통신연구원 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한양안식 입체 영상 렌더링 장치 및 그 방법
KR100834637B1 (ko) * 2006-11-27 2008-06-02 삼성전자주식회사 스테레오 카메라 장치에서 이미지들을 정렬하기 위한 장치및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130059813A (ko) * 2011-11-29 2013-06-07 엘지이노텍 주식회사 거리 측정 장치 및 시스템
CN103841411A (zh) * 2014-02-26 2014-06-04 宁波大学 一种基于双目信息处理的立体图像质量评价方法
KR20170091496A (ko) * 2016-02-01 2017-08-09 삼성전자주식회사 양안 시차 영상의 처리 방법 및 장치

Also Published As

Publication number Publication date
KR101331052B1 (ko) 2013-11-22

Similar Documents

Publication Publication Date Title
US9860566B2 (en) Image decoding apparatus and image decoding method
US8401280B2 (en) Device for improving stereo matching results, method of improving stereo matching results using the device, and system for receiving stereo matching results
CN111801945A (zh) 具有基于边信息的视频编译的混合运动补偿神经网络
EP2207358A1 (en) Video decoding method and video encoding method
CN113873237B (zh) 用于恢复由重构产生的劣化帧的劣化图块的方法和装置
US11134242B2 (en) Adaptive prediction of coefficients of a video block
JP2000508127A (ja) 動きに基づく分割及び合併を用いたビデオ・エンコーダ及びデコーダ
US20180213233A1 (en) Method and device for processing video signal by using separable graph-based transform
KR101331052B1 (ko) 스테레오 매칭 결과를 개선하는 장치, 상기 장치를 이용한 스테레오 매칭 결과를 개선 방법 및 스테레오 매칭 결과를 수신하는 시스템
Pearlman Adaptive cosine transform image coding with constant block distortion
KR20110086521A (ko) 영역 기반의 부호화/복호화 장치 및 방법
KR101822677B1 (ko) 이미지 시퀀스의 블록의 코딩 방법 및 재구성 방법
CN110100437B (zh) 用于有损视频编码的混合域协作环路滤波器
US11593968B2 (en) Coefficient context modeling in video coding
US10129565B2 (en) Method for processing high dynamic range video in order to improve perceived visual quality of encoded content
EP3759917A1 (en) A spectrally adaptive noise filling tool (sanft) for perceptual transform coding of still and moving images
WO2015028098A1 (en) Method and system for embedding information and authenticating a h.264 video using a digital watermark
CN109906610B (zh) 使用滤波和子空间投影的视频编译的恢复
CN115280772A (zh) 有损压缩的二重标准块分割启发法
Afsana et al. Efficient low bit-rate intra-frame coding using common information for 360-degree video
Parsons et al. An investigation of MSE contributions in transform image coding schemes
Fryza A Complete Video Coding Chain Based on Multi-Dimensional Discrete Cosine Transform.
Menon et al. Gain of Grain: A Film Grain Handling Toolchain for VVC-based Open Implementations
Krishnamoorthy et al. Reduction of blocking artifact in JPEG images with orthogonal polynomials
Vrindavanam et al. Wavelet and JPEG based image compression: an experimental analysis

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee