KR20170029885A - 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법 - Google Patents

3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법 Download PDF

Info

Publication number
KR20170029885A
KR20170029885A KR1020150127025A KR20150127025A KR20170029885A KR 20170029885 A KR20170029885 A KR 20170029885A KR 1020150127025 A KR1020150127025 A KR 1020150127025A KR 20150127025 A KR20150127025 A KR 20150127025A KR 20170029885 A KR20170029885 A KR 20170029885A
Authority
KR
South Korea
Prior art keywords
image
viewpoint
blurring
pixels
blurred
Prior art date
Application number
KR1020150127025A
Other languages
English (en)
Other versions
KR101733694B1 (ko
Inventor
김성규
권용준
김현우
아퀴노 상가랑 알빈
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020150127025A priority Critical patent/KR101733694B1/ko
Publication of KR20170029885A publication Critical patent/KR20170029885A/ko
Application granted granted Critical
Publication of KR101733694B1 publication Critical patent/KR101733694B1/ko

Links

Images

Classifications

    • H04N13/0246—
    • H04N13/0203—
    • H04N13/0402—

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법에 관한 것으로, 3차원 입체영상 표시장치는 픽셀들이 배치된 디스플레이 패널, 상기 디스플레이 패널과 이격하여 배치되고, 상기 디스플레이 패널의 수직 방향에 대해 소정 각도 기울어져 배치된 시차장벽 또는 렌티큘라 렌즈 및, 임의의 해상도로 각 시점별 이미지 영상을 획득하고, 상기 각 시점별 이미지 영상 각각을 블러링 처리하며, 블러링된 각 시점별 이미지 영상을 1장의 이미지 영상으로 병합하여 상기 디스플레이 패널에 출력하는 제어부를 포함한다.

Description

3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법{3D image display apparatus and method of acquiring image for the same}
본 발명은 3차원 입체영상 표시장치에 관한 것으로, 특히 무안경식 3D 입체영상 표시장치에서 본질적으로 나타나는 재깅 현상을 감소 또는 제거하여 3차원 입체영상의 이미지의 질을 향상시킬 수 있는 방법에 관한 것이다.
일반적인 3차원 입체영상 표시장치 중 무안경식 3D 디스플레이는 여러 시점에 해당하는 영상을 공간적으로 각 시역이 형성되도록 조절함으로써 좌안과 우안에 다른 시점의 영상이 제공되도록 한다. 이러한 무안경식 3D 디스플레이는 렌티큘러(lenticular) 방식 또는 시차장벽(parallax barrier) 방식을 이용할 수 있다. 즉, 무안경 방식의 3차원 입체영상은 2시점 이상의 다시점에 해당하는 영상정보를 일반적인 2D 모니터의 픽셀에 해당 시점별로 적절히 배치하고, 렌티큘러(lenticular) 방식 또는 시차장벽(parallax barrier) 방식을 이용하여 각 시점별 영상을 공간상에 구분하여 시역을 형성함으로써 시청자가 3차원 영상을 경험하도록 구현한다.
도 1은 종래기술에 의한 시차장벽 기울기에 따라 사선으로 배치된 동일 시점의 서브픽셀 배열을 설명하는 개요도이다. 도 1에 도시된 바와 같이, 시차장벽 또는 렌티큘러는 디스플레이 패널의 수직 방향에 대해 기울어져 배치된다. 이 경우, 서브픽셀 각각은 다른 시점에 해당할 수 있으므로, 한 시점을 구성하는 서브픽셀은 시차장벽 또는 렌티큘러의 기울기와 동일한 기울기를 가지는 직선 상에 위치한다. 따라서, 한 시점에 해당하는 영상정보의 해상도는 2D 모니터의 해상도 보다 낮게 되며, 이를 3D 해상도로 구분하여 정의한다.
예를 들어, RGB 패턴의 픽셀을 가진 LCD 모니터의 픽셀 해상도가 (수평)*(수직)=n*m 인 경우, 시차장벽 또는 렌티큘러의 기울기 각도에 따라 수직방향의 픽셀들이 가지는 시점들의 개수가 결정되고, 수평방향의 서브픽셀들의 개수는 수평방향의 시점개수에 해당한다. 도 2는 종래기술에 의한 수직 및 수평 시점개수를 설명하는 개요도이다. 결국, 도 2를 참고하면, 총 시점개수(N)는 기울기의 수직방향의 시점개수(Nv)*수평방향의 시점개수(Nh)가 된다. 이때 3D 해상도는 수평의 경우 3n/Nh, 수직의 경우 m/(3Nv)가 된다.
3차원 입체영상을 구현하기 위해 각각의 시점에 해당하는 픽셀들은 각각의 시점영상의 정보를 가지게 된다. 예를 들어, 수직방향의 시점개수 Nv=3, 수평방향의 시점개수 Nh=12의 총 36시점의 경우, 36개의 다른 시점에 해당하는 다른 영상들이 필요하다. 이러한 영상들은 병합(rasterization)을 통해 36개의 시점정보가 2D 모니터의 해당 시점의 (서브)픽셀들에 따라 추출되어, 2D 모니터 해상도에 해당하는 1장의 이미지 영상을 만들어 2D 모니터에 출력 가능하게 된다.
기존의 렌더링 방법은 일반적으로 각각의 시점영상들을 3D 입체영상을 표시하게 될 2D 모니터의 해상도로 영상을 획득한 후, 각 시점에 해당하는 (서브)픽셀에 해당 영상정보를 부여한다. 즉, 색상 정보인 RGB 스케일 값(0~255)을 부여한다. 여기서 색상 정보란 (R,G,B)=(0,0,0)~(255,255,255)까지의 2563에 해당하는 다른 색상을 의미한다.
하지만, 이러한 3차원 입체영상 구현에서 뚜렷한 수직선을 경계로 가지고 있는 3차원 이미지 영상내의 물체(object)는 수직한 경계에 재깅(jagging) 현상이 나타나게 된다. 이렇게 영상의 경계부가 매끄럽지 않고 톱니모양으로 들쭉날쭉하게 되는 계단 현상을 재깅(jagging), 재그니스(jagness), 혹스 재그니스 아티팩트(jaggness artifact) 등으로 일컫는다. 이는 시차장벽 또는 렌티큘러의 디스플레이 패널에 대한 기울기와 관련하여 2D 모니터상의 각 시점을 나타내는 픽셀(또는 서브픽셀)의 배열 구조 때문에 나타나는 현상이며, 재깅 현상의 정도는 렌티큘러 또는 시차장벽의 기울기와 수평방향의 시점개수에 따라 그 정도에 차이가 있다. 도 3은 종래기술에 의한 정사각형 물체의 디스패러티에 따른 재깅 현상을 나타내는 개요도로서, 우측 물체는 디스패러티가 0인 경우이고, 좌측 물체는 디스패러티가 0이 아닌 경우이다. 도 3처럼, 깊이(depth)가 0에 가까운 물체(object), 즉 디스패러티(disparity)가 0에 가까운 물체일 수록 재깅(jagging) 현상은 더 심하게 관측되어 나타난다.
일반적으로 깊이가 0이 아닌 물체의 경우(즉, disparity가 0이 아닌 물체), 크로스토크에 의한 디스패러티의 블러링(blurring) 효과가 발생하게 되어, 이러한 재깅 현상은 다소 뚜렷하게 보이지 않을 수 있다. 따라서 깊이가 큰 물체, 즉 디스패러티가 큰 물체일수록 재깅 현상의 뚜렷함이 감소되는 경향을 가진다.
한국공개특허 제10-2013-0102896호는 재깅영역검출방법 및 재깅영역검출장치로서, 휘도 및 방향성에 근거하여 재깅영역을 검출함으로써 보다 정확하게 재깅영역을 찾을 수 있는 방법을 제공한다. 그러나, 이는 재깅영역을 검출하는 방법만 제공하는 것으로서, 무안경식 3D 입체영상 표시장치에서 본질적으로 나타나는 재깅 현상을 감소 또는 제거하여 3차원 입체영상의 이미지의 질을 향상시킬 수 있는 방법은 제공하지 못하고 있다.
한국공개특허 제10-2013-0102896호
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 무안경식 3D 입체영상 표시장치에서 본질적으로 나타나는 재깅 현상을 감소 또는 제거하여 3차원 입체영상의 이미지의 질을 향상시킬 수 있는 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법을 제공하는데 있다.
본 발명의 목적을 달성하기 위한 제1측면은, 3차원 입체영상 표시장치를 위한 이미지 영상 획득 방법에 있어서, 임의의 해상도로 각 시점별 이미지 영상을 획득하는 단계, 상기 각 시점별 이미지 영상 각각을 블러링(blurring) 처리하는 단계, 블러링된 각 시점별 이미지 영상을 1장의 이미지 영상으로 병합하여 출력하는 단계를 포함한다.
바람직하게, 각 시점별 이미지 영상 각각에 대해 수평방향으로만 블러링 처리한다. 또는, 각 시점별 이미지 영상 각각에 대해 수평방향 및 수직방향으로 블러링 처리하되, 수직방향의 블러링 처리의 정도는 블러링된 픽셀 개수가 수평방향 블러링된 픽셀 개수 이하로 되도록 할 수 있다.
바람직하게, 각 시점별 이미지 영상에서 물체의 모양에 따라 수직선을 포함하는 물체의 경우 수직선을 포함하지 않은 물체보다 더 많은 블러링 처리를 한다.
바람직하게, 각 시점별 이미지 영상 각각에 대해 물체의 깊이가 0에 가까운 물체 또는 디스패러티가 0 에 가까운 물체일수록 더 많은 블러링 처리를 한다.
바람직하게, 각 시점별 이미지 영상 각각에 대해 물체의 경계에서 색정보 차이가 클수록 더 많은 블러링 처리를 한다.
바람직하게, 각 시점별 이미지 영상 각각에 대해 R,G,B 중 색정보 차이가 가장 큰 것을 기준으로 블러링 정도를 결정한다.
바람직하게, 각 시점별 이미지 영상 각각에 대해 R,G,B 각각의 색정보 차이의 평균을 기준으로 블러링 정도를 결정한다.
상기 블러링 처리에서, 경계 트랜지션(edge transition)의 픽셀 개수 또는 경계 트랜지션(edge transition)의 기울기를 블러링 정도를 나타내는 지표로 사용할 수 있다. 이때, 물체의 경계의 경계 트랜지션 픽셀 개수는 0~k*Nh/3이고, 여기서 Nh는 수평방향의 시점개수, k는 0 이상이고 3 이하인 것이 바람직하다.
본 발명의 목적을 달성하기 위한 제2측면은, 픽셀들이 배치된 디스플레이 패널, 상기 디스플레이 패널과 이격하여 배치되고, 상기 디스플레이 패널의 수직 방향에 대해 소정 각도 기울어져 배치된 시차장벽 또는 렌티큘라 렌즈 및, 임의의 해상도로 각 시점별 이미지 영상을 획득하고, 상기 각 시점별 이미지 영상 각각을 블러링 처리하며, 블러링된 각 시점별 이미지 영상을 1장의 이미지 영상으로 병합하여 상기 디스플레이 패널에 출력하는 제어부를 포함한다.
이때, 상기 디스플레이 패널의 수평방향으로 상기 렌티큘러 렌즈 또는 시차장벽의 피치가 클수록 더 많은 블러링 처리를 하는 것이 바람직하다.
이상에서 설명한 바와 같은 본 발명의 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법에 따르면, 각 시점별 이미지 영상 각각을 블러링 처리함으로써 3D 입체영상 표시장치에서 본질적으로 나타나는 재깅 현상을 감소 또는 제거하여 3차원 입체영상의 이미지의 질을 향상시킬 수 있다.
본 발명에 의하면, 모든 시점에 해당하는 이미지 영상들을 병합하기 이전에 미리 원하는 수준으로 블러링 시킴으로써, 재깅 현상을 효과적이고 간단하게 제거 또는 감소시킬 수 있게 된다.
도 1은 시차장벽 기울기에 따라 사선으로 배치된 동일 시점의 서브픽셀 배열을 설명하는 개요도,
도 2는 수직 및 수평 시점개수를 설명하는 개요도,
도 3은 정사각형 물체의 디스패러티에 따른 재깅 현상을 나타내는 개요도,
도 4는 무안경식 3D 디스플레이에서 발생되는 재깅 현상을 설명하기 위한 개요도,
도 5는 동일 시점을 구성하는 (서브)픽셀들의 배열구조를 나타낸 개요도,
도 6은 물체의 깊이(d)와 디스패러티(△) 관계를 보여주는 개요도,
도 7은 물체의 경계에서 나타나는 색상정보의 변화를 나타낸 그래프,
도 8은 디스패러티가 0 인 물체의 블러링 처리에 의한 재깅 현상의 제거를 설명하는 예시도,
도 9는 평행사변형 형태의 픽셀 구조의 경우 직선을 포함하는 이미지의 표현에서 발생하는 재깅 현상을 설명하는 개요도,
도 10은 픽셀에 대한 블러링 처리의 예를 설명하는 개요도,
도 11은 블러링 처리된 픽셀 개수를 설명하는 개요도,
도 12는 블러링된 픽셀 개수와 재깅 현상 제거율간의 관계를 나타낸 그래프,
도 13은 수평방향 15 픽셀 블러링 처리시 색 모아레(색분리) 현상이 나타나는 것(a)과, 수평 및 수직방향 15 픽셀 블러링 처리시 색 모아레(색분리)가 제거된 것(b)을 나타내는 예시도이다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
도 4는 무안경식 3D 디스플레이에서 발생되는 재깅 현상을 설명하기 위한 개요도이다. 2D 모니터 해상도에 해당하는 각 시점별 이미지 영상을 획득(rendering) 한 후, 2D 모니터의 픽셀들에서 해당 시점별 색정보를 추출하여 모든 시점정보가 병합된 1장의 이미지 영상을 3D 입체영상표시장치(2D 모니터+ 시차장벽 또는 렌티큘러)에 출력하게 되면, 도 4에 도시된 것처럼 수직한 경계를 가지는 3차원 물체는 뚜렷한 재깅 현상을 나타내게 된다. 이러한 재깅 현상은 시점과 상관없이 모든 시점에 해당되는 모든 시역에서 발생한다.
도 5는 동일 시점을 구성하는 (서브)픽셀들의 배열구조를 나타낸 개요도로서, 좌측도는 3차원 입체영상 표시장치를 나타내고, 우측도는 2차원 모니터를 나타낸다. 도 5의 좌측도를 참조하면, 재깅 현상은 기울어진(slanted) 시차장벽 및 렌티큘러에 의해 하나의 시점에 해당하는 모니터의 픽셀 들이 시차장벽 및 렌티큘러 기울기에 따라 사선으로 배치되며, 수평방향으로 렌티큘러 또는 시차장벽의 피치 만큼 떨어져 있기 때문에 발생하는 근본적 현상이다. 따라서 재깅의 기울기는 시차장벽 및 렌티큘러 기울기와 동일하며, 수평방향의 불일치 정도는 렌티큘러 또는 시차장벽의 피치(pitch) 와 관련이 있으며, 피치가 증가할수록 수평방향의 불일치 정도도 증가된다.
본 발명은 무안경식 3D 입체영상 표시장치에서 각 시점별 원본 이미지 영상을 블러링(blurring) 처리하여, 무안경 방식의 3D 입체영상에서 발생되는 물체(object)의 재깅 현상을 제거 또는 감소하는 방법이다.
본 발명의 바람직한 실시예에 의하면, 먼저 임의의 해상도로 각 시점 이미지 영상을 획득한다. 그리고, 각 시점별 이미지 영상 각각을 블러링 처리한다. 영상의 블러링 처리를 위해 블러링 효과를 가지는 여러 다양한 방법을 사용할 수 있다. 예를 들어, matlab 등의 영상처리 프로그램의 blurring filter 함수(average filter,gaussian filter, median filer 등), low-pass filter, resize 함수 등이 그러하다. 이후, 블러링된 모든 시점 이미지 영상들을 획득하고, 이들을 이용하여 해당 시점에 대응하는 2D 모니터 픽셀에 각 시점 색정보를 추출하여 2D 모니터 해상도를 가지는 1장의 이미지 영상으로 병합한다. 그리고, 이 이미지 영상을 무안경식의 3D 입체영상 표시장치에 출력한다.
본 발명의 바람직한 실시예에 의하면, 3차원 입체영상 표시장치는 픽셀들이 배치된 디스플레이 패널, 디스플레이 패널과 이격하여 배치되고, 디스플레이 패널의 수직 방향에 대해 소정 각도 기울어져 배치된 시차장벽 또는 렌티큘라 렌즈 및, 임의의 해상도로 각 시점별 이미지 영상을 획득하고, 각 시점별 이미지 영상 각각을 블러링 처리하며, 블러링된 각 시점별 이미지 영상을 1장의 이미지 영상으로 병합하여 디스플레이 패널에 출력하는 제어부를 포함한다.
일실시예에 의하면, 각 시점별 이미지 영상 각각에 전체적으로 또는 수평방향만(또는 수직방향만) 블러링 처리를 할 수 있다. 이때, 수직방향과 수평방향은 동일하거나 또는 서로 다른 수준으로 블러링 효과를 적용할 수 있다.
블러링 처리는 수평선(또는 사선)을 경계로 가지는 물체에도 효과적으로 적용될 수 있다. 즉, 이미지 영상에 블러링 처리를 하게 되면, 수평선 표현에 있어서 크로스토크 등에 의한 색모아레(moire) 또는 색분리 현상을 감소 또는 제거할 수 있다. 이러한 색 분리현상은 관찰자가 다른 시점영상에 해당하는 시역으로 움직일 때 색모아레의 움직임도 동반되어 영상의 질을 매우 저하시킨다.
일실시예에 의하면, 각 시점별 이미지 영상에서 물체의 모양에 따라 동일하거나 또는 다른 수준으로 블러링 처리를 할 수 있다. 예를 들어, 수직선을 포함하는 물체의 경우, 그렇지 않은 물체보다 더 많은 정도의 블러링 처리를 할 수 있다.
일실시예에 의하면, 각 시점별 이미지 영상에서 다른 깊이(depth)에 해당하는 물체들 즉, 디스패러티(disparity)가 0 이 아닌 물체의 경우 깊이 정도에 따라(즉, 디스패러티 정도에 따라) 동일하거나 또는 다른 수준으로 블러링 처리를 할 수 있다. 예를 들어, 디스패러티가 0 에 가까운 물체일수록 더 많은 정도의 블러링 처리를 할 수 있다. 도 6은 물체의 깊이(d)와 디스패러티(△) 관계를 보여주는 개요도로서, 깊이가 0에 가까운 물체(즉, 디스패러티가 0 에 가까운 물체)일수록 재깅 현상은 더 심하게 나타난다.
일실시예에 의하면, 각 시점별 이미지 영상에서 물체의 경계(edge) 즉, 색정보 차이가 나타나는 부분을 색정보 차이에 따라 동일하거나 또는 다른 수준으로 블러링 처리를 할 수 있다. 예를 들어, 색정보 차이가 클수록 더 큰 정도의 블러링 처리를 할 수 있다. 또는, 색정보가 차이가 소정 값 이상일 때만 블러링 처리를 할 수도 있다. 따라서, 2D 모니터 해상도에 해당하는 각 시점별 이미지에서 색상정보가 다른, 즉 물체의 경계(edge) 부분을 블러링 처리함으로써 재깅 현상을 감소 또는 제거할 수 있다.
상기에서 설명한 바와 같은 블러링 처리 수준은 블러링의 정도를 의미하며, 이것은 경계 트랜지션(edge transition)의 픽셀 개수 또는 경계 트랜지션(edge transition)의 기울기를 블러링 정도를 나타내는 지표로 사용할 수 있다. 도 7은 물체의 경계에서 나타나는 색상정보의 변화를 나타낸 그래프이다. 도 7에서 위쪽은 블러링 효과가 적용된 경우 경계 트랜지션 그래프(ETP=7)이고, 아래쪽은 블러링 효과 적용전의 원본 영상의 경계 트랜지션 그래프(ETP=1))이다. 도 7을 참조하면, 경계 트랜지션의 픽셀 개수 또는 경계 트랜지션의 기울기는 R,G,B가 서로 다를 수 있으며, 이 경우 가장 색정보 차이가 큰 경우를 기준으로 블러링 정도를 결정하거나, 또는 R,G,B 각각의 색정보 차이의 평균을 취한 기준으로 블러링 정도를 결정할 수 있다.
상기 블러링 효과를 주기 위한 방법으로는 여러 가지 방법이 존재할 수 있으나, 어느 방법을 이용하든지 상관없이 블러링 처리된 이미지 영상이 동일한 경계 트랜지션의 픽셀 개수 또는 동일한 경계 트랜지션의 기울기를 가진다면 동일한 정도로 블러링 된 것으로 간주할 수 있으며, 3차원 입체영상에서의 재깅 현상의 감소효과도 거의 동일하게 나타날 것이다.
블러링 정도를 나타내는 지표로 사용될 수 있는 경계 트랜지션의 픽셀 개수 또는 경계 트랜지션의 기울기는 3차원 이미지 영상내의 물체 모양에 따라 달리 적용될 수도 있고, 모양에 상관없이 동일한 개수(또는 기울기)로 적용될 수도 있다. 또한 색상정보의 차이에 따라 경계 트랜지션에서의 픽셀 개수 또는 기울기를 달리 적용할 수 있다. 또한 색상정보 차이가 어떤 값 이상일 때만 블러링 효과를 적용할 수도 있다.
물체의 경계(edge)의 블러링 정도, 즉 경계 트랜지션 픽셀 개수는 0~k*Nh /3으로 표현될 수 있다. 여기서 Nh는 수평방향의 시점개수를 의미한다. 일반적으로 k=3 이상인 경우에는 3차원 입체영상의 선명도를 현격히 저하시킬 수 있다. 따라서, 재깅 현상이 극대화 되는 깊이가 0(즉, 디스패러티가 0)인 물체의 경계의 최적 블러링 정도는 경계 트랜지션의 픽셀 개수가 Nh/3~2Nh/3 범위내에 존재하는 것이 바람직하다.
3차원 입체영상은 매우 다양한 여러 가지 형태 및 모양이 존재할 수 있으므로, 재깅 현상이 가장 극대화되는 테스트 패턴, 예를 들어 디스패러티가 0 인(즉, 깊이가 0 인) 검은색(또는 흰색) 배경에 흰색(또는 검은색) 사각형을 기준으로, 여러가지 다른 설계로 제작된 3차원 입체영상 표시장치의 시점별 이미지영상의 블러링 정도를 결정할 수 있다. 즉, 테스트 패턴을 이용하여 재깅 현상이 감소 또는 제거되는 블러링 정도(경계 트랜지션 픽셀 개수)를 최대 블러링의 기준으로 정할 수 있다. 또는 재깅 현상이 가장 극대화되는 물체인 흰색(또는 검은색)의 사각형과 검은색(또는 흰색) 배경을 가진 테스트 패턴을 이용하여 재깅 현상이 감소 또는 제거되는 블러링 정도를 결정한 후, 모든 시점별 이미지영상 전체 또는 일부(예를 들어 물체 경계)에 동일한 정도 또는 그 이하의 블러링 효과를 적용할 수도 있다. 도 8은 디스패러티가 0 인 물체의 블러링 처리에 의한 재깅 현상의 제거를 설명하는 예시도로서, 좌측은 3차원 입체영상 원본을 나타내고, 우측은 블러링 처리가 적용된 3차원 입체영상(ETP=18)을 나타낸다.
일반적인 정사각형 구조를 가지는 2D 모니터의 경우 대각선의 표현에 있어서 표현하고자 하는 픽셀의 개수가 동일 길이의 수평 또는 수직선에 비해 줄어든다. 즉, 픽셀 밀도(길이당 표현되는 픽셀수)가 가장 감소하는 반면, 수직 또는 수평선을 표현할 때 가장 높은 밀도를 가진다. 따라서, 일반적으로 원과 같은 이미지를 표현하는데 상대적으로 실질적인 해상도 저하 현상이 나타난다. 2D 모니터에서 픽셀 크기를 작게 할수록 이러한 문제를 해결할 수 있다. 하지만, 2D 모니터를 이용한 무안경식 3D 입체영상 표시장치에서는 하나의 시점에 해당하는 이미지 영상 표현이, 합착된 시자창벽 또는 렌티큘러의 기울기에 따라 평행사변형 픽셀 구조를 가지게 되며, 시점별 3D 입체영상의 해상도는 2D 해상도보다 감소된다.
또한 일반적인 2D 영상에서는 블러링된 이미지 영상은 블러링 정도에 따라 선명도 및 색 재현성이 저하된다. 재깅 현상이 존재하지 않는다면 특별한 다른 이유가 없는 이상 일반적으로 블러링은 영상의 질을 저하시키는 요인 중 하나이다. 하지만 3차원 입체영상의 경우에는 동일 시점의 픽셀배치의 수직과 수평방향의 간격 비균일성(non-uniformity)을 가지며 해상도가 저하되므로 근본적으로 재깅 현상이 2D 모니터와 다르게 매우 심하게 발생되며, 특히 수직선 표현의 경우 재깅 현상이 가장 뚜렷히 관측된다. 본 발명에서 제시하는 방법 즉, 이미지 영상에 대한 블러링 처리는, 재깅 현상을 현저히 감소 또는 제거시키는 반면 선명도 및 색재현성은 큰 차이가 없도록 하는 정도로 블러링의 정도를 결정할 수 있다. 즉, 재깅 현상은 감소 또는 제거하면서 선명도 및 색 재현성의 저하는 최소화하는 최적의 블러링 정도 즉, 경계 트랜지션에서의 픽셀 개수 또는 경계 트랜지션의 기울기를 결정할 수 있다.
블러링 정도는 또한 3차원 입체영상 표시장치의 설계에 따라 달리 적용될 수 있다. 즉, 동일한 3차원 이미지영상을 다르게 설계된 3차원 입체영상 표시장치에 출력하는 경우, 재깅 현상의 정도는 다를 수 있다. 예를 들어, 수평방향으로 렌티큘러 또는 시차장벽의 피치가 큰 3차원 입체영상 표시장치의 경우 더 많은 블러링 정도가 적용되는 것이 바람직하다.
도 9는 평행사변형 형태의 픽셀 구조의 경우 직선을 포함하는 이미지의 표현에서 발생하는 재깅 현상을 설명하는 개요도이고, 도 10은 픽셀에 대한 블러링 처리의 예를 설명하는 개요도이다.
도 9를 참조하면, 재깅은 A 만큼의 불일치에 의해 발생하므로, 이미지의 경계를 표현하는 A의 폭 내에 있는 서브픽셀들의 경계선을 중심으로 블러링 처리를 함으로써 재깅 현상을 제거 또는 감소시킬 수 있다. 따라서, A(A=a*Nh)에 해당하는 만큼 블러링 처리를 하게 되면, 즉 도 10처럼 Nh의 서브픽셀 개수만큼(픽셀 개수로는 Nh/3에 해당) 블러링 처리를 하면 재깅 현상을 제거 또는 감소시킬 수 있다. Nh/3 이상으로 블러링된 픽셀 개수가 증가하면 재깅 현상은 점점 사라지게 되며, 블러링된 픽셀 개수가 3Nh/3 부터는 재깅이 완전히 제거되어 더 이상 변화가 없을 것이다. 도 11은 블러링 처리된 픽셀 개수를 설명하는 개요도이다. 도 11에서 좌측은 블러링된 픽셀 개수가 0인 이미지 원본을 나타내고, 중앙은 블러링 처리후 블러링된 픽셀 개수가 1개인 것을 나타내며, 우측은 블러링된 픽셀 개수가 2개인 것을 나타낸다. 따라서, 일반적으로 블러링된 픽셀 개수에 따른 재깅 현상의 제거율은 도 12의 그래프와 같은 경향을 가진다.
아울러, 재깅 현상의 제거는 수평방향의 블러링 처리로 가능하지만, 수평선 및 사선의 표현에서 크로스토크에 의한 색모아레(또는 색분리) 현상은 수직 방향으로 블러링 처리를 함으로써 제거될 수 있다. 도 13은 수평방향 15 픽셀 블러링 처리시 색 모아레(색분리) 현상이 나타나는 것(a)과, 수평 및 수직방향 15 픽셀 블러링 처리시 색 모아레(색분리)가 제거된 것(b)을 나타내는 예시도이다. 이때, 수직 방향의 블러링 처리의 정도는 블러링된 픽셀 개수가 수평방향 개수 이하로 되도록 설정할 수 있다. 따라서, 수평 및 수직방향 블러링 처리에 의해 3차원 입체영상의 질을 더욱 향상 시킬 수 있다.
전술한 방법은 블러링을 적용하기 위한 조건 및 기준설정에 있어서 요구상황에 따라 여러가지 조합이 가능하다. 예를 들어, 다음과 같은 간단한 조건 및 기준서정을 통해 블러링 효과를 적용할 수 있다.
실시형태 1
1) 흰색(또는 검은색의)의 사각형과 검은색(또는 흰색) 배경을 가진 테스트 패턴(도 3)을 이용하여 재깅 효과가 제거되는 블러링 정도, 즉 경계 트랜지션(edge transition) 픽셀(ETP) 개수(또는 경계 트랜지션 기울기)를 결정한다. 예를 들어, ETP_h = 2Nh/3으로 결정한다.
2) 각 시점별 이미지 영상에서 수평 방향으로 색정보 차이가 2Nh/3 이상인 물체의 경계 부분에, 위에서 결정된 블러링 정도, 즉 ETP_h = 2Nh/3으로 블러링 효과를 적용한다. 수직 방향으로는 색정보 차이가 2Nh/3 이상인 물체의 경계 부분에 ETP_h = 2Nh/3 이하로 블러링 효과를 적용한다. 수직 방향의 블러링을 감소시킬수록 선명도 증가의 효과를 가질 수 있기 때문이다. 예를 들어, ETP_v = Nh/3 으로 결정한다.
3) 모든 시점별 이미지를 위의 조건으로 블러링 처리한 후 병합한다.
실시형태 2
또 다른 실시형태로서, 영상처리가 가능한 툴이 제공하는 함수를 그대로 이용할 수도 있다. 예를 들어, matlab의 resize 함수를 이용하는 경우는 아래와 같다.
1) 2D 모니터 해상도 보다 낮은 해상도로 각 시점별 영상을 획득한다. 이때 낮은 해상도의 수평, 수직 해상도 비율은 2D 모니터의 해상도의 수직, 수평 비율과 동일하게 할 수도 있다. 상기 낮은 해상도의 결정은 resize 함수를 적용하였을 때 블러링 효과가 요구되는 정도의 블러링 효과를 주게 되는 해상도로 결정한다.
각 시점별 영상을 2D 모니터 해상도로 resize 함수를 이용하여 확장한다. 확장에 의해 인터폴레이션(interpolation) 되는 픽셀들은 요구하는 블러링 효과를 가지게 된다.
3) 2D 해상도로 확장된 각 시점별 블러링된 이미지 영상을 병합한다.
실시형태 3
1) 2D 모니터 해상도에 해당하는 각 시점별 영상을 획득한다.
2) 각 시점별 영상을 다양한 필터(예를 들어, 평균화 필터, 가우시안 필터, 저역통과 필터) 방법을 이용하여 경계에서 블러링된 픽셀 개수가 Nh/3이 되도록 수평방향(또는 수직방향)으로 블러링 처리한다.
3) 2D 모니터에 출력 가능하도록 각 시점별 이미지 영상들을 1장의 영상으로 병합한다.
실시형태 4
1) 이미지 영상에서 물체의 경계에서 블러링된 픽셀 개수가 Nh/3이 되도록 2D 모니터 해상도 보다 작은 해상도로 각 시점별 영상을 획득한다. 예를 들어, 2D 모니터 해상도가 UHD(3840*2160)일 때, 수평 및 수직 방향으로 블러링된 픽셀이 9개가 되도록 하는 경우, 1/9의 해상도인 427*240의 해상도로 각 시점별 영상을 획득한다.
2) 각 시점별 영상을 리사이즈하여 해상도가 2D 모니터의 해상도가 되도록 함으로써, 블러링된 이미지를 얻는다.
3) 2D 모니터에 출력이 가능하도록 각 시점별 이미지 영상들을 1장의 영상으로 병합한다.
실시형태 5
1) 이미지 영상에서 물체의 경계에서 블러링된 픽셀 개수가 Nh/3이 되도록 2D 모니터 해상도 보다 작은 해상도로 각 시점별 영상을 획득한다. 예를 들어, 2D 모니터 해상도가 UHD(3840*2160)일 때, 수평 방향으로만 블러링된 픽셀이 9개가 되도록 하는 경우, 1/9의 해상도인 427*2160의 해상도로 각 시점별 영상을 획득한다.
2) 각 시점별 영상을 수평방향으로만 리사이즈하여 해상도가 2D 모니터의 해상도가 되도록 함으로써, 수평방향으로만 경계에서 9개의 픽셀이 블러링된 이미지를 얻는다.
3) 2D 모니터에 출력이 가능하도록 각 시점별 이미지 영상들을 1장의 영상으로 병합한다.
상기와 같은 실시형태들에서, 수직과 수평은 블러링된 픽셀 개수가 달리 정해질 수 있으며, 수평과 수직 방향의 블러링된 픽셀 개수는 각각 0~3Nh/3 개 내에서 설정할 수 있다. 또는 이러한 실시형태에서 각 시점별 영상을 획득시 물체 자체를 상기 블러링된 픽셀 개수 범위 내로 블러링 처리함으로써 같은 결과를 얻을 수 있다.
또는 상기 실시형태에서, 이미지 영상의 물체 깊이에 따라 상기 범위 내에서 블러링된 픽셀 개수를 다르게 설정할 수도 있다. 즉, 디스패러티가 0에 가까울수록 더 많은 블러링된 픽셀 개수를 설정하는 것이 바람직하다.
또는 상기 실시형태에서, 물체의 모양에 따라 상기 범위 내에서 블러링된 픽셀 개수를 다르게 설정할 수도 있다. 즉, 직선 표현이 많은 물체의 경우 더 많은 블러링된 픽셀 개수를 설정하는 것이 바람직하다.
또는 상기 실시형태에서, 물체의 경계에서의 색상 차이에 따라 상기 범위 내에서 블러링된 픽셀 개수를 다르게 설정할 수도 있다. 즉, 색상 차이가 많은 경계의 경우 더 많은 블러링된 픽셀 개수를 설정하는 것이 바람직하다.
전술한 본 발명에 따른 다시점 3차원 영상표시장치 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.

Claims (12)

  1. 3차원 입체영상 표시장치를 위한 이미지 영상 획득 방법에 있어서,
    임의의 해상도로 각 시점별 이미지 영상을 획득하는 단계;
    상기 각 시점별 이미지 영상 각각을 블러링(blurring) 처리하는 단계;
    블러링된 각 시점별 이미지 영상을 1장의 이미지 영상으로 병합하여 출력하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    각 시점별 이미지 영상 각각에 대해 수평방향으로만 블러링 처리하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    각 시점별 이미지 영상 각각에 대해 수평방향 및 수직방향으로 블러링 처리하되, 수직방향의 블러링 처리의 정도는 블러링된 픽셀 개수가 수평방향 블러링된 픽셀 개수 이하로 되도록 하는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    각 시점별 이미지 영상에서 물체의 모양에 따라 수직선을 포함하는 물체의 경우 수직선을 포함하지 않은 물체보다 더 많은 블러링 처리를 하는 것을 특징으로 하는 방법.
  5. 제1항에 있어서,
    각 시점별 이미지 영상 각각에 대해 물체의 깊이가 0에 가까운 물체 또는 디스패러티가 0 에 가까운 물체일수록 더 많은 블러링 처리를 하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서,
    각 시점별 이미지 영상 각각에 대해 물체의 경계에서 색정보 차이가 클수록 더 많은 블러링 처리를 하는 것을 특징으로 하는 방법.
  7. 제1항에 있어서,
    각 시점별 이미지 영상 각각에 대해 R,G,B 중 색정보 차이가 가장 큰 것을 기준으로 블러링 정도를 결정하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    각 시점별 이미지 영상 각각에 대해 R,G,B 각각의 색정보 차이의 평균을 기준으로 블러링 정도를 결정하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 블러링 처리에서, 경계 트랜지션(edge transition)의 픽셀 개수 또는 경계 트랜지션(edge transition)의 기울기를 블러링 정도를 나타내는 지표로 사용하는 것을 특징으로 하는 방법.
  10. 제9항에 있어서,
    물체의 경계의 경계 트랜지션 픽셀 개수는 0~k*Nh/3이고, 여기서 Nh는 수평방향의 시점개수, k는 0 이상이고 3 이하인 것을 특징으로 하는 방법.
  11. 픽셀들이 배치된 디스플레이 패널;
    상기 디스플레이 패널과 이격하여 배치되고, 상기 디스플레이 패널의 수직 방향에 대해 소정 각도 기울어져 배치된 시차장벽 또는 렌티큘라 렌즈 및;
    임의의 해상도로 각 시점별 이미지 영상을 획득하고, 상기 각 시점별 이미지 영상 각각을 블러링 처리하며, 블러링된 각 시점별 이미지 영상을 1장의 이미지 영상으로 병합하여 상기 디스플레이 패널에 출력하는 제어부를 포함하는 것을 특징으로 하는 3차원 입체영상 표시장치.
  12. 제11항에 있어서,
    상기 디스플레이 패널의 수평방향으로 상기 렌티큘러 렌즈 또는 시차장벽의 피치가 클수록 더 많은 블러링 처리를 하는 것을 특징으로 하는 3차원 입체영상 표시장치.
KR1020150127025A 2015-09-08 2015-09-08 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법 KR101733694B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150127025A KR101733694B1 (ko) 2015-09-08 2015-09-08 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150127025A KR101733694B1 (ko) 2015-09-08 2015-09-08 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법

Publications (2)

Publication Number Publication Date
KR20170029885A true KR20170029885A (ko) 2017-03-16
KR101733694B1 KR101733694B1 (ko) 2017-05-11

Family

ID=58497768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150127025A KR101733694B1 (ko) 2015-09-08 2015-09-08 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법

Country Status (1)

Country Link
KR (1) KR101733694B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130102896A (ko) 2012-03-08 2013-09-23 엘지디스플레이 주식회사 재깅영역검출방법 및 재깅영역검출장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130102896A (ko) 2012-03-08 2013-09-23 엘지디스플레이 주식회사 재깅영역검출방법 및 재깅영역검출장치

Also Published As

Publication number Publication date
KR101733694B1 (ko) 2017-05-11

Similar Documents

Publication Publication Date Title
JP5809293B2 (ja) 表示装置
JP5011316B2 (ja) 出力画像のレンダリング
JP5465430B2 (ja) オートステレオスコピック視域の角度範囲の制御
JP5090337B2 (ja) 平面パススルーを有する自動立体ディスプレイ
KR101502365B1 (ko) 삼차원 영상 생성기 및 그 제어 방법
CN106170084B (zh) 多视点图像显示设备及其控制方法及多视点图像产生方法
JP3944188B2 (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
EP2786583B1 (en) Image processing apparatus and method for subpixel rendering
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
JP6099892B2 (ja) 映像表示装置
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
KR20150144439A (ko) 입체 영상 표시 장치
EP2801200B1 (en) Display processor for 3d display
KR101688400B1 (ko) 입체 영상 표시 장치 및 입체 영상 표시 장치의 설계 방법
KR101364883B1 (ko) 3차원 입체 영상의 크로스토크 감소 방법 및 3차원 입체 영상의 크로스토크 감소 장치
US9183670B2 (en) Multi-sample resolving of re-projection of two-dimensional image
JP2011223566A (ja) 画像変換装置及びこれを含む立体画像表示装置
KR20120114145A (ko) 화상 표시 장치, 화상 표시 시스템 및 화상 표시 방법
CN111869202B (zh) 用于减少自动立体显示器上的串扰的方法
CN104820293B (zh) 立体显示装置及立体显示方法
CN110351544B (zh) 裸眼3d显示的三维图像编码方法及装置
US20160014400A1 (en) Multiview image display apparatus and multiview image display method thereof
KR102143463B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR101733694B1 (ko) 3차원 입체영상 표시장치 및 이를 위한 이미지 영상 획득 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right