KR100292379B1 - 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법 - Google Patents

단안 영상을 이용한 스테레오 영상 생성시의 후처리방법 Download PDF

Info

Publication number
KR100292379B1
KR100292379B1 KR1019970077736A KR19970077736A KR100292379B1 KR 100292379 B1 KR100292379 B1 KR 100292379B1 KR 1019970077736 A KR1019970077736 A KR 1019970077736A KR 19970077736 A KR19970077736 A KR 19970077736A KR 100292379 B1 KR100292379 B1 KR 100292379B1
Authority
KR
South Korea
Prior art keywords
parallax
blocks
image
block
parallax value
Prior art date
Application number
KR1019970077736A
Other languages
English (en)
Other versions
KR19990057670A (ko
Inventor
김도균
김만배
송문섭
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019970077736A priority Critical patent/KR100292379B1/ko
Priority to JP37430398A priority patent/JP4056154B2/ja
Priority to US09/222,713 priority patent/US6314211B1/en
Priority to NL1010920A priority patent/NL1010920C2/nl
Publication of KR19990057670A publication Critical patent/KR19990057670A/ko
Application granted granted Critical
Publication of KR100292379B1 publication Critical patent/KR100292379B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 단안 영상을 이용한 스테레오 영상 생성시의 후처리 방법을 개시한다. 연속되는 단안 영상을 이용하여 스테레오 영상을 생성하는 시스템에서 원영상의 움직임을 추출하여 만들어진 시차 영상을 후처리하는 후처리 방법은, (a) 소정 크기의 블럭 단위로 분할된 원영상의 각 블럭에 대한 시차값을 시차 영상 및 최대 시차값을 이용하여 구하고, 모든 블럭에 대한 시차값으로 구성된 시차 맵을 생성하는 단계, (b) 각 블럭에 대해 수직 방향으로 이웃한 블럭들과의 밝기 특성을 비교하고, 밝기 특성이 유사한 블럭들의 군을 필터링 마스크로 결정하는 단계, (c) 각 블럭의 시차값을 해당 필터링 마스크 내의 블럭들로부터 얻어진 새로운 시차값으로 대체하여, 시차 맵을 수정하는 단계 및 (d) 원영상과 수정된 시차 맵을 이용하여 시차 영상을 재구성하는 단계를 구비하는 것을 특징으로 한다.

Description

단안 영상을 이용한 스테레오 영상 생성시의 후처리방법
본 발명은 입체 영상 처리에 관한 것으로서, 특히 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법에 관한 것이다.
스테레오 영상을 생성하는 방법에는 크게 스테레오 카메라를 사용하여 직접 스테레오 영상을 생성하는 방법과, 2차원 영상 즉, 단안 영상으로부터 스테레오 영상을 생성하는 방법이 있다. 전자의 방법은 두 개의 카메라 즉, 입체 카메라의 수평 위치를 기계적으로 정확히 일치시켜야 하는 어려움이 있다. 따라서, 후자의 방법에 대한 개발에 관심이 집중되고 있다.
단안 영상으로부터 스테레오 영상을 생성하는 방법은 기본적으로 단안 비디오 카메라에 의해 촬영된 단안 영상과, 이에 대응하는 또 한장의 영상을 만들어 스테레오 영상을 생성하는 것이다. 여기서, 또 한장의 영상을 어떻게 만드는가가 중요한 관건인데, 만일 만들어진 또 한장의 영상이 단안 영상내에 있는 물체의 실제 움직임을 제대로 반영하지 못하고, 물체의 윤곽이 깨지는등 화질이 저하된 영상이라면 자연스러운 스테레오 영상을 생성하지 못하는 문제점을 초래한다.
본 발명이 이루고자하는 기술적 과제는, 원영상내에서 블럭 단위로 갖는 밝기 특성을 이용하여 이웃하는 블럭들간의 동일 물체 여부를 판별하고, 이 결과에 따라 시차 영상을 후처리함으로써, 시차 영상의 질을 개선시키고, 자연스러운 스테레오 영상을 생성시키는, 단안 영상을 이용한 스테레오 영상 생성의 후처리방법을 제공하는데 있다.
도 1은 본 발명에 의한 후처리방법을 설명하기 위한 플로우챠트이다.
도 2는 도 1에 도시된 본 발명에 의한 후처리방법을 상세히 설명하기 위한 플로우챠트이다.
도 3 (a)~(c)는 시차 영상과 본 발명에 의해 얻어진 후처리된 시차 영상의 비교예를 나타내는 도면이다.
도 4 (a)~(c)는 시차 영상과 본 발명에 의해 얻어진 후처리된 시차 영상의 다른 비교예를 나타내는 도면이다.
상기 과제를 이루기 위하여, 연속되는 단안 영상을 이용하여 스테레오 영상을 생성하는 시스템에서 원영상의 움직임을 추출하여 만들어진 시차 영상을 후처리하는 본 발명에 의한 후처리 방법은, (a) 소정 크기의 블럭 단위로 분할된 원영상의 각 블럭에 대한 시차값을 시차 영상 및 최대 시차값을 이용하여 구하고, 모든 블럭에 대한 시차값으로 구성된 시차 맵을 생성하는 단계, (b) 각 블럭에 대해 수직 방향으로 이웃한 블럭들과의 밝기 특성을 비교하고, 밝기 특성이 유사한 블럭들의 군을 필터링 마스크로 결정하는 단계, (c) 각 블럭의 시차값을 해당 필터링 마스크 내의 블럭들로부터 얻어진 새로운 시차값으로 대체하여, 시차 맵을 수정하는 단계 및 (d) 원영상과 수정된 시차 맵을 이용하여 시차 영상을 재구성하는 단계로 이루어지는 것이 바람직하다.
이하, 본 발명에 의한 후처리방법을 첨부한 도면을 참조하여 다음과 같이 설명한다.
먼저, 본 발명의 이해를 돕기 위해 단안 영상을 이용하여 스테레오 영상을 생성하는 방법을 간략히 설명하면 다음과 같다.
2차원-3차원 또는 단안-스테레오 영상 변환에 있어서, 원영상으로부터 블럭 단위로 움직임 벡터를 구한 후에, 이를 이용하여 시차(disparity)를 구하고, 원영상을 시차만큼 수평으로 이동시켜 시차 영상을 생성함으로써, 원영상과 시차 영상으로 이루어진 스테레오 영상을 생성한다.
여기서, 원영상으로부터 블럭 단위로 구한 움직임 벡터는 부정확한 결과를 낼 수 있다. 즉, 움직임을 이용한 시차 맵(disparity map)은 움직임 자체의 부정확성 때문에 원영상내 물체들의 실제 윤곽(boundary)과 잘 정합되지 않는다. 특히, 움직임 벡터를 수평 방향만의 시차값으로 변환하는 경우에 시차값은 움직임 벡터의 크기를 반영하기 때문에, 만일 원영상내 동일 물체에 해당하는 블럭들에 서로 다른 시차값이 할당되면, 영상은 수직 방향으로 깨지는 현상을 나타낸다.
따라서, 이웃한 블럭들간의 시차값을 적절히 조절하여 스테레오 영상 생성시에 수직 방향으로 영상내 물체들의 윤곽이 깨지는 현상을 방지하는 시차 영상의 후처리가 필요하다. 본 발명의 후처리방법은 원영상내에서 블럭 단위로 갖는 밝기 특성을 이용하여 이웃하는 블럭들간의 동일 물체 여부를 판별하고, 이 결과에 따라 얻어지는 가변 크기의 필터링 마스크를 이용하여 원영상의 각 블럭의 시차값을 적절히 조정하고, 조정된 시차값에 따라 시차 영상을 재구성한다.
또한, 전술한 단안-스테레오 영상 변환은 본 발명과 동일 출원인에 의해 기출원된 3차원 영상 변환 장치 및 방법에 근거하여 설명하였지만, 이후에 설명될 본 발명의 후처리방법은 시차 영상을 생성하는 다른 3차원 영상 변환장치에도 물론 적용된다.
도 1은 본 발명에 의한 후처리방법을 설명하기 위한 플로우챠트이다.
원영상(original image)의 움직임을 추출하여 만들어진 시차 영상(displacement image)을 후처리하기 위해서, 먼저, 원영상, 시차 영상 및 최대 시차 한계치(maximum disparity limit)를 이용하여 원영상으로부터 블럭 단위로 시차값을 구하고, 모든 블럭에 대한 시차값으로 구성된 시차 맵을 생성한다(제100단계).
원래, 시차 영상은 원영상의 각 블럭에 대한 시차값에 의해 만들어진 영상이지만, 본 발명에서는 이러한 시차 영상이 어떻게 만들어졌는지를 알 수 없으므로, 먼저, 제100단계에서 소정 크기의 블럭 단위로 분할된 원영상의 각 블럭에 대한 시차값을 시차 영상과 최대 시차 한계치를 이용하여 구한다. 여기서, 최대 시차 한계치는 원영상의 블럭의 크기와, 원영상의 블럭의 움직임을 이전 영상에서 탐색했을 때 탐색 영역의 크기를 이용하여 계산된 값이다. 각 블럭에 대한 시차값은 최소 절대 평균 오차(MAD:Minimum Absolute mean Difference) 계산 방법에 의해 구해진다.
다음에, 제100단계에서 생성된 시차 맵에 대하여 실제로 후처리를 수행한다.
원영상의 각 블럭에 대해 수직 방향으로 이웃한 블럭들과의 밝기 특성(intensity characteristic)을 비교하고, 밝기 특성이 유사한 블럭들의 군을 필터링 마스크로 결정한다(제120단계). 예컨대, 현재 블럭에 대해 소정수의 인접한 블럭들과의 최소 절대 평균 오차(MAD)를 구하고, 현재 블럭과 수직으로 아래쪽 블럭과의 최소 절대 평균 오차(MAD)가 가장 작으면, 이들 블럭을 한 물체의 윤곽 또는 한 물체의 내부로 간주한다. 최소 절대 평균 오차(MAD)가 가장 작은 조건을 만족시키지 못할 때까지, 현재 블럭을 수직 방향으로 이웃한 블럭들과 계속 비교한다. 더이상 밝기 특성이 유사한 블럭이 없으면 그 때까지의 블럭들의 군을 하나의 필터링 마스크로 결정한다.
제120단계 후에, 원영상의 각 블럭의 시차값을 해당 필터링 마스크를 이용하여 새로운 시차값으로 대체하여, 시차 맵을 수정한다(제140단계). 구체적으로, 새로운 시차값은 제120단계에서 결정된 각 블럭의 필터링 마스크내의 블럭들을 시차값 크기순으로 정렬시킨 후에, 정렬된 블럭들중에서 중간 시차값(median disparity value)을 이용한다.
끝으로, 원영상과 수정된 시차 맵을 이용하여 시차 영상을 재구성한다(제160단계). 제120단계에서 시차 맵이 수정되면, 원영상을 수정된 시차 맵에 따라 다시 수평 매핑하여 시차 영상을 재구성함으로써 후처리된 시차 영상이 생성된다.
도 2는 도 1에 도시된 본 발명에 의한 후처리방법을 상세히 설명하기 위한 플로우챠트이다. 도 2를 참조하여, 도 1에 도시된 각 단계를 상세히 설명하면 다음과 같다.
제100단계는 구체적으로 다음 단계들로 구성된다.
먼저, 최대 시차값을 계산한다(제102단계). 블럭 추정 방법에 의해 원영상의 각 블럭의 움직임 벡터를 측정하고, 이로부터 스테레오 영상 생성을 위해 사용할 시차를 계산하는 경우에, 만일 원영상의 블럭의 크기를 알고, 원영상의 블럭의 움직임을 이전 영상에서 탐색했을 때 탐색 영역의 크기를 안다면, 최대 시차값을 계산할 수 있다. 최대 시차값(MD:Maximum Disparity)은 다음 수학식 1과 같이 나타낼 수 있다.
Figure kpo00000
수학식 1에서, B는 블럭의 크기를, W는 탐색 영역의 크기를 각각 나타낸다.
제102 단계 후에, 입력된 원영상의 현재 블럭에 대해, 시차값에 따른 최소 절대 평균 오차(MAD)를 계산한다(제104단계). 원영상과 블럭 추정 방법에 의해 구해진 시차 영상을 이용하여 원영상의 블럭 단위로 시차값을 계산하기 위해, 원영상과 시차 영상간의 절대 평균 오차를 계산한다. 절대 평균 오차를 구하는 계산식은 다음 수학식 2와 같다.
Figure kpo00001
수학식 2에서, B는 블럭내 영역을, d1는 시차값을 각각 나타낸다. 이때, 시차값(d1)은 제102단계에서 계산된 최대 시차값(MD)를 초과할 수 없다. 제104단계는 즉, 현재 블럭에 대해, 수학식 2에 0 내지 최대 시차값(MD) 사이의 시차값(d1)을 대입하여 절대 평균 오차를 계산한다.
제104단계 후에, 현재 블럭에 대해 시차값을 결정한다(제106단계). 즉, 제104단계에서 계산된 절대 평균 오차에서 최소 절대 평균 오차(MAD)를 갖게 하는 시차값(d1)을 현재 블럭의 시차값으로서 결정한다.
제106단계 후에, 제104 단계와 제106단계를 거친 현재 블럭이 영상의 마지막 블럭인가를 판단하고(제110단계), 그렇지 않으면 제104단계로 다시 진행하여 원영상의 다음 블럭에 대한 시차값을 구한다. 제110단계에서 원영상의 모든 블럭에 대한 시차값을 구한 것으로 간주되면, 이들 시차값으로 구성된 원영상의 시차 맵이 생성된다.
다음에, 제120단계는 구체적으로 다음 단계들로 구성된다.
먼저, 이웃하는 블럭과의 밝기 특성 차이를 계산한다(제122단계). 밝기 특성 차이는 즉, 현재 블럭과 이웃한 블럭간의 최소 절대 평균 오차(MAD)에 해당한다. 원영상에서 현재 블럭을 Bi,j로 나타낸다. 여기서, 아래 첨자(i)는 i번째 행을, 위 첨자(j)는 j번째 열을 각각 의미한다. 초기에 i,j는 각각 0이며, 현재 블럭(Bi,j)에 대해 이웃하는 블럭으로서 Bi,j를 제외한 7개의 인접한 블럭들을 선택한다.
현재 블럭(Bi,j)과, 선택된 이웃한 블럭들간의 밝기 특성을 비교하는 계산식은 다음 수학식 3과 같다.
Figure kpo00002
제122단계 후에, 현재 블럭(Bi,j)과 수직으로 이웃한 블럭과의 유사성을 검사한다(제124단계). 검사된 결과, 수직으로 유사한가를 판단한다(제126단계).
제122단계에서 계산된 현재 블럭(Bi,j)과 7개의 이웃한 블럭들간의 최소 절대 평균 오차(MAD)중에서, 만일 수직으로 아래쪽의 블럭(Bi+1,j)과의 MAD인 NEXT_DIFF(Bi,j)의 값이 가장 작으면, 이는 수직 방향으로 놓여 있는 이들 두 블럭이 다른 모든 블럭에 비해서 밝기 특성이 가장 유사하다는 것을 의미한다. 또한, 이들 두 블럭이 영상내에서 동일 물체 또는 동일 배경일 가능성이 높다는 것을 의미한다.
제126단계에서 현재 블럭(Bi,j)이 수직으로 아래쪽의 블럭(Bi+1,j)과 유사성이 있는 것으로 판단되면, 이 때의 현재 블럭(Bi,j)과 수직으로 아래쪽의 블럭(Bi+1,j)의 각각의 위치와 시차값을 저장하고, 저장된 시차값의 갯수(N)를 카운팅한다(제128단계). 여기서, 시차값은 제100단계에서 생성된 시차 맵을 참조하여 얻어진다.
제128단계 후에, 다시 수직으로 이웃한 블럭들과 밝기 특성이 유사한가를 확인하기 위해서, 현재 블럭(Bi,j)을 수직으로 아래쪽의 블럭(Bi+1,j)으로 위치 변경시킨 후에, 다시 제124단계로 진행한다. 제124~128단계는 현재 블럭(Bi,j)에 대해 더이상 밝기 특성이 유사한 블럭이 없을 때까지 예컨대, 영상의 마지막 행에 도달할 때까지 계속 수행된다.
제126단계에서 더이상 현재 블럭(Bi,j)이 수직으로 아래쪽의 블럭(Bi+1,j)과 유사성이 없는 것으로 판단되면, 제128단계에서 카운팅된 시차값의 갯수(N)가 적어도 1보다 큰가를 판단한다(제129단계). 현재 블럭(Bi,j)에 대해 적어도 수직으로 아래쪽의 블럭(Bi+1,j)이 유사성이 있으면, 필터링 마스크를 구할 수 있다. 필터링 마스크는 제126단계 후에 저장되는 밝기 특성이 유사한 블럭들의 군에 해당한다.
다음에, 제140단계는 구체적으로 다음 단계들로 구성된다.
먼저, 현재 블럭(Bi,j)에 대한 필터링 마스크내의 블럭들을 시차값 크기순으로 정렬한다(제142단계). 즉, 제129단계에서 카운팅된 시차값의 갯수(N)이 적어도 1보다 크면, 필터링 마스크내의 블럭들을 시차값 크기순으로 정렬한다.
제142단계 후에, 정렬된 블럭들중에서 중간 시차값을 추출하고, 현재 블럭을 포함하여 필터링 마스크내의 모든 블럭들의 시차값을 중간 시차값으로 대체한다(제144단계). 이때, 시차 맵 또한 수정된다.
이러한 시차 맵의 수정은 전술한 시차값의 갯수(N)이 적어도 1보다 큰 경우에만 해당한다. 즉, 전술한 제126단계에서 초기에 현재 블럭(Bi,j)과 7개의 이웃한 블럭들간의 최소 절대 평균 오차(MAD)중에서, 현재 블럭(Bi,j)과 수직으로 아래쪽의 블럭(Bi+1,j)과의 MAD인 NEXT_DIFF(Bi,j)의 값이 가장 작지 않으면, 카운팅되는 시차값의 갯수(N)는 0이 되고, 전술한 제140단계가 수행되지 않는다.
제129단계에서 시차값의 갯수(N)가 0이면, 추가적인 단계(180)를 수행한다.
구체적으로, 제122단계에서 계산된 현재 블럭(Bi,j)과 이웃하는 블럭과의 밝기 특성 차이를 이용하여 유사성이 있는 적어도 2개의 이웃한 블럭들을 추출하고, 추출된 블럭들과 현재 블럭(Bi,j)의 시차값중에서 중간 시차값을 선택한다(제182단계).
예컨대, 현재 블럭(Bi,j)에 대해 대각선 방향으로의 밝기 특성을 고려하기 위해 다음 수학식 4를 정의한다.
Figure kpo00003
수학식 4에서, ULLR(Bi,j),URLL(Bi,j) 및 HORIZON(Bi,j) 각각은 현재 블럭(Bi,j)에 대해 대각선 방향에 있는 두 블럭의 최소 절대 평균 오차(MAD)의 합을 나타낸다.
이들 ULLR(Bi,j),URLL(Bi,j) 및 HORIZON(Bi,j)중에서 가장 값을 선택한다. 만일, ULLR(Bi,j)이 가장 작은 값을 갖는다면, 현재 블럭 (Bi,j)을 포함하여 Bi-1,j-1및 Bi,j의 시차값중에서 중간값을 선택하여 현재 블럭(Bi,j)의 시차값으로서 대체한다. 또한, 시차 맵의 값도 수정된다. 만일, URLL(Bi,j)이 가장 작은 값을 갖는다면, 현재 블럭 (Bi,j)을 포함하여 Bi-1,j+1및 Bi+1,j-1의 시차값중에서 중간값을 선택하여 현재 블럭(Bi,j)의 시차값으로서 대체한다. 또한, 시차 맵의 값도 수정된다. 만일, HORIZON(Bi,j)이 가장 작은 값을 갖는다면, 현재 블럭 (Bi,j)을 포함하여 Bi,j-1및 Bi,j+1의 시차값중에서 중간값을 선택하여 현재 블럭(Bi,j)의 시차값으로서 대체한다. 또한 시차 맵의 값도 수정된다.
끝으로, 전술한 제140단계 또는 제180단계를 거친 현재 블럭이 영상의 마지막 블럭인가를 판단하고(제150단계), 그렇지 않으면 제120단계로 다시 진행하여 시차 맵을 수정한다. 원영상의 모든 블럭에 대한 시차값이 새로운 시차값으로 할당되어 시차 맵이 수정되면, 원영상과 수정된 시차 맵을 이용하여 시차 영상을 재구성한다(제160단계).
도 3 (a)~(c)는 시차 영상과 본 발명에 의해 얻어진 후처리된 시차 영상의 비교예를 나타내는 도면이며, 도 4 (a)~(c)는 시차 영상과 본 발명에 의해 얻어진 후처리된 시차 영상의 다른 비교예를 나타내는 도면이다. 이들 도면에서 (a)는 원영상을, (b)는 시차 영상을, (c)는 본 발명에 의해 후처리된 시차 영상을 각각 나타낸다.
이들 도면에서 알 수 있듯이, 후처리되지 않은 시차 영상은 수직 방향으로 물체의 윤곽이 깨져있다(특히, 직선 부분을 참조). 그러나, 본 발명에 의해 후처리된 시차 영상은 수직 방향으로 물체의 윤곽이 깨지지 않으므로, 원영상의 화질을 그대로 유지한다.
지금까지 설명한 본 발명에 의한 후처리방법은 이를 수행하는 후처리 필터에 적용될 수 있다. 이때의 후처리 필터는 가변적 크기의 마스크를 갖는 필터로서, 마스크의 크기는 이웃하는 블럭들간의 밝기 특성을 고려하여 결정되며, 이는 동일 물체 판별 여부에 중요한 특성이 된다.
이상에서 설명한 바와 같이, 본 발명에 의한 후처리방법은, 원영상내에서 블럭 단위로 갖는 밝기 특성을 이용하여 이웃하는 블럭들간의 동일 물체 여부를 판별하고, 이 결과에 따라 시차 영상을 후처리함으로써, 시차 영상의 질을 개선시켜 결국, 자연스러운 스테레오 영상을 생성시키는 효과가 있다.

Claims (7)

  1. 연속되는 단안 영상을 이용하여 스테레오 영상을 생성하는 시스템에서 원영상의 움직임을 추출하여 만들어진 시차 영상을 후처리하는 후처리 방법에 있어서,
    (a) 소정 크기의 블럭 단위로 분할된 상기 원영상의 각 블럭에 대한 시차값을 상기 시차 영상 및 최대 시차값을 이용하여 구하고, 모든 블럭에 대한 시차값으로 구성된 시차 맵을 생성하는 단계;
    (b) 상기 각 블럭에 대해 수직 방향으로 이웃한 블럭들과의 밝기 특성을 비교하고, 밝기 특성이 유사한 블럭들의 군을 필터링 마스크로 결정하는 단계;
    (c) 상기 각 블럭의 시차값을 해당 필터링 마스크 내의 블럭들로부터 얻어진 새로운 시차값으로 대체하여, 상기 시차 맵을 수정하는 단계; 및
    (d) 상기 원영상과 상기 수정된 시차 맵을 이용하여 상기 시차 영상을 재구성하는 단계를 구비하는 것을 특징으로 하는 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법.
  2. 제1항에 있어서, 상기 (a)단계는,
    (a1) 상기 원영상의 블럭의 크기와, 상기 원영상의 블럭의 움직임을 이전 영상에서 탐색했을 때 탐색 영역의 크기를 이용하여 상기 최대 시차값을 계산하는 단계;
    (a2) 입력된 현재 블럭에 대해, 0 내지 상기 최대 시차값 사이의 시차값을 대입하여 상기 원영상과 상기 시차 영상간의 절대 평균 오차를 계산하는 단계; 및
    (a3) 계산된 절대 평균 오차에서 최소 절대 평균 오차를 갖게 하는 시차값을 상기 현재 블럭의 시차값으로서 결정하는 단계를 구비하며,
    상기 원영상의 모든 블럭에 대해 상기 (a2) 및 (a3)단계를 수행하여 상기 시차 맵을 생성하는 것을 특징으로 하는 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법.
  3. 제1항에 있어서, 상기 (b)단계는,
    (b1) 입력된 현재 블럭에 대해 소정수의 이웃한 블럭들과의 밝기 특성 차이를 계산하는 단계;
    (b2) 상기 현재 블럭과 수직으로 이웃한 블럭과의 유사성을 검사하는 단계;
    (b3) 상기 유사성이 있으면, 이때의 상기 현재 블럭과 상기 수직으로 이웃한 블럭의 각각의 위치와 시차값을 저장하는 단계; 및
    (b4) 상기 현재 블럭을 상기 수직으로 이웃한 블럭으로 변경하고, 다시 상기 (b2) 단계로 진행하는 단계를 구비하며,
    상기 원영상의 모든 블럭에 대해 상기 (b1)~(b4)단계를 수행하며, 각 블럭에 대해 상기 (b3)단계에서 저장되는 상기 블럭들의 군이 상기 필터링 마스크로 결정되는 것을 특징으로 하는 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법.
  4. 제3항에 있어서, 상기 (b1)단계에서 상기 밝기 특성 차이는,
    상기 현재 블럭과 상기 이웃한 블럭간의 최소 절대 평균 오차인 것을 특징으로 하는 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법.
  5. 제3항에 있어서, 상기 (b3)단계에서 저장되는 상기 시차값이 하나도 없으면,
    (d2) 상기 (b1)단계에서 계산된 상기 소정수의 이웃한 블럭들과의 밝기 특성 차이를 이용하여 유사성이 있는 적어도 2개의 이웃한 블럭들을 추출하고, 추출된 블럭들과 상기 현재 블럭의 시차값중에서 중간 시차값을 선택하는 단계; 및
    (d2) 상기 현재 블럭의 시차값을 상기 중간 시차값으로 대체하는 단계를 더 포함하고,
    상기 원영상에서 필터링 마스크를 갖지 않는 블럭에 대해서 상기 (d1) 및 상기 (d2) 단계를 수행하여 상기 시차 맵을 수정하는 것을 특징으로 하는 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법.
  6. 제3항 내지 제5항중 어느 한 항에 있어서, 상기 시차값은 상기 (a)단계에서 생성된 상기 시차 맵을 참조하여 얻어지는 것을 특징으로 하는 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법.
  7. 제1항에 있어서, 상기 (c)단계는,
    (c1) 입력된 현재 블럭에 대한 필터링 마스크 내의 블럭들을 시차값 크기순으로 정렬하는 단계; 및
    (c2) 정렬된 블럭들중에서 중간 시차값을 추출하고, 상기 필터링 마스크내의 모든 블럭들의 시차값을 상기 중간 시차값으로 대체하는 단계를 구비하며,
    상기 원영상에서 필터링 마스크를 갖는 블럭에 대해서 상기 (c1) 및 상기 (c2) 단계를 수행하여 상기 시차 맵이 수정되는 것을 특징으로 하는 단안 영상을 이용한 스테레오 영상 생성시의 후처리 방법.
KR1019970077736A 1997-12-30 1997-12-30 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법 KR100292379B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019970077736A KR100292379B1 (ko) 1997-12-30 1997-12-30 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법
JP37430398A JP4056154B2 (ja) 1997-12-30 1998-12-28 ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法
US09/222,713 US6314211B1 (en) 1997-12-30 1998-12-29 Apparatus and method for converting two-dimensional image sequence into three-dimensional image using conversion of motion disparity into horizontal disparity and post-processing method during generation of three-dimensional image
NL1010920A NL1010920C2 (nl) 1997-12-30 1998-12-30 Inrichting en werkwijze om een tweedimensionale beeldsequentie om te zetten in een driedimensionaal beeld waarbij gebruik wordt gemaakt van omzetting van beweging-dispariteit in horizontale dispariteit en een nabewerkingsmethode tijdens het genereren van een driedimensionaal beeld.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970077736A KR100292379B1 (ko) 1997-12-30 1997-12-30 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법

Publications (2)

Publication Number Publication Date
KR19990057670A KR19990057670A (ko) 1999-07-15
KR100292379B1 true KR100292379B1 (ko) 2001-06-01

Family

ID=37526279

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970077736A KR100292379B1 (ko) 1997-12-30 1997-12-30 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법

Country Status (1)

Country Link
KR (1) KR100292379B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100991671B1 (ko) 2008-12-15 2010-11-04 재단법인대구경북과학기술원 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100991671B1 (ko) 2008-12-15 2010-11-04 재단법인대구경북과학기술원 영상 정합 방법 및 장치와 그를 이용한 객체 검출 장치

Also Published As

Publication number Publication date
KR19990057670A (ko) 1999-07-15

Similar Documents

Publication Publication Date Title
KR101694292B1 (ko) 스테레오 영상 정합 장치 및 그 방법
CN107430782B (zh) 用于利用深度信息的全视差压缩光场合成的方法
US6347152B1 (en) Multiresolutional critical point filter and image matching using the invention
US6215899B1 (en) Motion and disparity estimation method, image synthesis method, and apparatus for implementing same methods
CN101960860B (zh) 使用基于区域的滤波的深度图提取系统和方法
US20080278633A1 (en) Image processing method and image processing apparatus
WO2014030630A1 (ja) 視差マップを生成する装置及びその方法
DE602005001717T2 (de) Bildverarbeitungsvorrichtung und -verfahren, Speichermedium und Programm
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
JPH09218950A (ja) 多眼画像からの物体検出方式
EP2302593A2 (en) Image conversion method and apparatus
WO2015177845A1 (ja) 画像処理装置
JP6020471B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN104915927B (zh) 视差图像优化方法及装置
KR101956353B1 (ko) 영상 처리 장치 및 3d 영상 생성 방법
US9158994B2 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
CN109547765B (zh) 图像处理装置以及图像处理系统
KR101970562B1 (ko) 3차원 입체 영상의 깊이지도 보정장치 및 보정방법
KR100292379B1 (ko) 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법
JP2004519048A (ja) 立体画像から抽出された物体境界を改善する方法及び装置
JP6901424B2 (ja) 画像処理装置、及び、画像処理方法
KR20140040407A (ko) 영상특성을 이용한 스테레오 매칭장치
CN116168071A (zh) 深度数据获取方法、装置、电子设备及机器可读存储介质
CN111524075B (zh) 深度图像滤波方法、图像合成方法、装置、设备及介质
CN109313808A (zh) 图像处理系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130227

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20140227

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20150226

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20160226

Year of fee payment: 16

LAPS Lapse due to unpaid annual fee