KR20160068125A - 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법 - Google Patents

다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20160068125A
KR20160068125A KR1020140173397A KR20140173397A KR20160068125A KR 20160068125 A KR20160068125 A KR 20160068125A KR 1020140173397 A KR1020140173397 A KR 1020140173397A KR 20140173397 A KR20140173397 A KR 20140173397A KR 20160068125 A KR20160068125 A KR 20160068125A
Authority
KR
South Korea
Prior art keywords
viewpoint
main
weight value
adjacent
image
Prior art date
Application number
KR1020140173397A
Other languages
English (en)
Inventor
이응돈
이광순
이현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020140173397A priority Critical patent/KR20160068125A/ko
Publication of KR20160068125A publication Critical patent/KR20160068125A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

다시점 무안경 3차원 디스플레이의 영상 처리 장치는 맵핑 테이블로부터 각 부화소에 대응하여 저장되어 있는 주시점을 이용하여 각 부화소에 대해 주시점 영상과 상기 주시점에 인접하는 두 인접 시점 영상의 해당 부화소를 이중선형(Bilinear) 업스케일링하며, 상기 맵핑 테이블로부터 각 부화소에 대응하여 저장된 가중치값을 이용하여 상기 각 부화소에 대해 상기 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상의 해당 부화소의 화소값을 다중화한다.

Description

다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING IMAGE OF GLASS-FREE MULTIVIEW AUTOSTEREOSCOPIC DISPLAY}
본 발명은 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법에 관한 것이다.
평판 디스플레이 기반의 무안경 3차원 디스플레이에서는 다시점 영상이 제한된 해상도를 갖는 디스플레이 상에 동시에 표시되므로 시점 수가 증가함에 따라 시점 당 해상도는 감소된다. 따라서 다시점 영상 표시 과정은 각 시점 영상 해상도를 디스플레이의 해상도로 증가시키는 업스케일링 과정과 렌티큘러 렌즈 또는 패랠랙스 배리어 기반의 표시 패널의 구조에 맞게 각 시점 별로 R, G, B 단위의 부화소의 값을 결정하는 부화소 다중화 과정으로 나뉜다.
영상 처리 시스템에 사용되는 종래의 업스케일링 알고리즘은 다양하다. 종래의 업스케일링 알고리즘을 적용하여 9 시점의 HD 영상에 대해 9개의 4K 영상으로 업스케일링 하는데 있어 막대한 계산량이 요구된다.
부화소 다중화는 렌티큘러 렌즈 구조에서 (i,j)번째 부화소에 대해 주시점과 화소값을 결정하는 것이다. 종래의 방법에서는 (i,j)번째 부화소에 결정된 주시점을 이용하여 (i,j)번째 부화소의 화소값을 수학식 1과 같이 계산한다.
Figure pat00001
수학식 1과 같은 방법을 시점-선택(View-selection) 방식이라 하며, 이러한 시점-선택 방식은 특정 부화소에 영향을 주는 여러 개의 시점 영상 중 가장 우세한 시점 영상의 화소값만이 (i,j)번째 부화소의 화소값으로 결정된다. 따라서 렌티큘러 렌즈의 특성을 그대로 반영하지 못하여 무안경 3차원 디스플레이에 재현되는 영상의 화질이 저하되는 문제가 있다.
본 발명이 해결하려는 과제는 고화질의 입체 영상을 재현하고, 업스케일링 시 계산량을 줄일 수 있는 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법을 제공하는 것이다.
본 발명의 한 실시 예에 따르면, 다시점 무안경 3차원 디스플레이의 영상 처리 방법이 제공된다. 영상 처리 방법은 표시 패널을 구성하는 복수의 부화소에 대응하여 각각 주시점과 가중치값을 저장하고 있는 맵핑 테이블로부터, 각 부화소에 대해 주시점을 확인하는 단계, 각 부화소에 대해, 주시점 영상과 상기 주시점에 인접하는 두 인접 시점 영상의 해당 부화소를 이중선형(Bilinear) 업스케일링하는 단계, 상기 맵핑 테이블로부터 각 부화소에 대응하여 저장된 가중치값을 확인하는 단계, 그리고 상기 각 부화소에 대해, 상기 가중치값을 이용하여 상기 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상의 해당 부화소의 화소값을 다중화하는 단계를 포함한다.
상기 업스케일링하는 단계는 어느 하나의 부화소에 대해, 주시점 영상의 해당 부화소와 해당 부화소와 동일한 색상을 가지는 주변 부화소의 화소값들을 이용하여 업스케일링하는 단계, 그리고 상기 어느 하나의 부화소에 대해, 상기 두 인접 시점 영상 각각에서 해당 부화소와 해당 부화소와 동일한 색상을 가지는 주변 부화소의 화소값들을 이용하여 업스케일링하는 단계를 포함할 수 있다.
상기 각 부화소에 대응하여 저장된 가중치값은 주시점에 인접하는 두 인접 시점 중 하나의 인접 시점 영상의 가중치값이며, 상기 다중화하는 단계는 상기 각 부화소에 대해, 상기 저장된 가중치값을 이용하여 주시점 영상의 가중치값과 두 인접 시점 중 나머지 하나의 인접 시점 영상의 가중치값을 계산하는 단계를 포함할 수 있다.
상기 주시점 영상의 가중치값과 상기 두 인접 시점 영상의 가중치 값은 상기 해당 부화소에서 상기 주시점 영상과 상기 두 인접 시점 영상의 수평 길이의 비 또는 사선 길이의 비에 대응될 수 있다.
상기 다중화하는 단계는 상기 각 부화소에 대해, 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상의 화소값에 각각 대응하는 가중치값을 곱한 후 평균 값을 계산하는 단계를 포함할 수 있다.
상기 영상 처리 방법은 상기 각 부화소에 대해 다중화된 화소값을 표시 패널의 각 부화소에 전달하는 단계를 더 포함할 수 있다.
상기 영상 처리 방법은 상기 맵핑 테이블을 생성하는 단계를 더 포함할 수 있다.
상기 생성하는 단계는 상기 각 부화소에 대해 주시점을 결정하는 단계, 상기 각 부화소에 대해 결정된 주시점과 상기 다시점 무안경 3차원 디스플레이의 시점 수를 이용하여 상기 두 인접 시점 영상 중 하나의 인접 시점 영상의 가중치값을 계산하는 단계, 그리고 상기 각 부화소에 대응하여 결정된 주시점과 계산된 가중치값을 저장하는 단계를 포함할 수 있다.
상기 다시점 무안경 3차원 디스플레이는 상기 표시 패널 위에 설정된 각도로 기울어져 있는 복수의 렌티큘러 렌즈를 포함하는 렌티큘러 렌즈 어레이를 포함하고, 상기 가중치값을 계산하는 단계는 상기 각 부화소에 대해 결정된 주시점과 상기 시점 수 및 상기 각도를 이용하여 상기 하나의 인접 시점 영상의 가중치값을 계산하는 단계를 포함할 수 있다.
상기 저장하는 단계는 상기 각 부화소에 대응하여 상기 결정된 주시점을 정수로 표현하고, 상기 계산된 가중치값을 소수로 표현하는 단계를 포함할 수 있다.
상기 맵핑 테이블은 가중치값 테이블과 주시점 테이블을 포함하며,
상기 생성하는 단계는 상기 다시점 무안경 3차원 디스플레이의 시점 수에 해당하는 라인의 부화소에 대해 주시점을 결정하는 단계, 상기 각 라인의 각 부화소에 대해 결정된 주시점과 상기 시점 수를 이용하여 상기 두 인접 시점 영상 중 하나의 인접 시점 영상의 가중치값을 계산하는 단계, 상기 시점 수에 해당하는 라인 중 한 라인에 해당하는 부화소의 위치에 대응하여 계산된 가중치값을 저장하여 상기 가중치값 테이블을 생성하는 단계, 그리고 상기 시점 수에 해당하는 라인의 부화소의 위치에 대응하여 결정된 주시점을 저장하여 상기 주시점 테이블을 생성하는 단계를 포함할 수 있다.
본 발명의 다른 한 실시 예에 따르면, 다시점 무안경 3차원 디스플레이의 영상 처리 장치가 제공된다. 영상 처리 장치는 맵핑 테이블, 업스케일링부, 그리고 다중화부를 포함한다. 상기 맵핑 테이블은 표시 패널을 구성하는 복수의 부화소에 대응하여, 각각 주시점과 해당 부화소에 영향을 미치는 시점 영상 중 주시점 영상을 제외한 하나의 인접 시점 영상의 가중치값을 저장하고 있다. 상기 업스케일링부는 각 부화소에 대해, 주시점 영상과 상기 주시점에 인접하는 두 인접 시점 영상의 해당 부화소를 이중선형(Bilinear) 업스케일링한다. 그리고 상기 다중화부는 상기 각 부화소에 대해, 상기 가중치값을 이용하여 상기 주시점 영상과 상기 두 인접 시점 영상의 가중치값을 계산하고, 상기 주시점 영상과 상기 두 인접 시점 영상의 가중치값을 이용하여 상기 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상에서 해당 부화소의 화소값을 다중화한다.
상기 주시점 영상의 가중치값과 상기 두 인접 시점 영상의 가중치 값은 상기 해당 부화소에서 상기 주시점 영상과 상기 두 인접 시점 영상의 수평 길이의 비 또는 사선 길이의 비에 대응될 수 있다.
상기 다중화부는 상기 각 부화소에 대해, 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상의 화소값에 각각 대응하는 가중치값을 곱한 후 평균 값을 계산할 수 있다.
상기 업스케일링부는 어느 하나의 부화소에 대해 주시점 영상의 해당 부화소와 상기 해당 부화소와 동일한 색상을 가지는 주변 부화소의 화소값들을 이용하여 업스케일링하고, 상기 어느 하나의 부화소에 대해 상기 두 인접 시점 영상 각각에서 해당 부화소와 해당 부화소와 동일한 색상을 가지는 주변 부화소의 화소값들을 이용하여 업스케일링할 수 있다.
상기 영상 처리 장치는 상기 각 부화소에 대응하여 상기 결정된 주시점을 정수로 표현하고 상기 계산된 가중치값을 소수로 표현하여 상기 맵핑 테이블을 생성하는 맵핑 테이블 생성부를 더 포함할 수 있다.
상기 맵핑 테이블은 가중치값 테이블과 주시점 테이블을 포함하며, 상기 영상 처리 장치는 상기 시점 수에 해당하는 라인 중 한 라인에 해당하는 부화소의 위치에 대응하여 계산된 가중치값을 저장하여 상기 가중치값 테이블을 생성하고, 상기 시점 수에 해당하는 라인의 부화소의 위치에 대응하여 결정된 주시점을 저장하여 상기 주시점 테이블을 생성하는 맵핑 테이블 생성부를 더 포함할 수 있다.
상기 영상 처리 장치는 상기 각 부화소에 대해 주시점을 결정하고, 상기 각 부화소에 대해 결정된 주시점과 상기 다시점 무안경 3차원 디스플레이의 시점 수를 이용하여 각 부화소에 대해 상기 하나의 인접 시점 영상의 가중치값을 계산하며, 상기 각 부화소에 대응하여 결정된 주시점과 계산된 가중치값을 상기 맵핑 테이블에 저장하는 맵핑 테이블 생성부를 더 포함할 수 있다.
상기 다시점 무안경 3차원 디스플레이는 상기 표시 패널 위에 설정된 각도로 기울어져 있는 복수의 렌티큘러 렌즈를 포함하는 렌티큘러 렌즈 어레이를 포함하고, 상기 다중화부는 상기 각 부화소에 대해 상기 렌티큘러 렌즈의 피치와 상기 시점 수를 이용하여 상기 주시점 영상의 가중치값을 계산하고, 상기 하나의 인접 시점 영상의 가중치값과 상기 주시점 영상의 가중치값을 이용하여 상기 두 인접 시점 영상 중 다른 하나의 인접 시점 영상의 가중치값을 계산할 수 있다.
본 발명의 실시 예에 의하면, 맵핑 테이블을 이용하여 업스케일링과 가중 시점-겸분(Weighted View-Overlay) 기반의 부화소 다중화를 수행함으로써, 고속으로 고화질의 입체 영상을 재생할 수 있다.
도 1은 본 발명의 실시 예에 따른 다시점 무안경 3차원 표시 장치를 개략적으로 나타낸 도면이다.
도 2는 도 1에 도시된 각 부화소의 시점 영상의 일 예를 나타낸 도면이다.
도 3은 도 1에 도시된 영상 처리부를 나타낸 도면이다.
도 4는 9 시점 영상을 표시하는 표시 패널과 하나의 부화소를 나타낸 도면이다.
도 5는 도 3에 도시된 맵핑 테이블 생성부에서 맵핑 테이블을 생성하는 방법을 나타낸 흐름도이다.
도 6은 도 3에 도시된 맵핑 테이블 생성부에 의해 생성된 맵핑 테이블의 일 예를 나타낸 도면이다.
도 7은 본 발명의 실시 예에 따른 맵핑 테이블의 다른 일 예를 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 (i,j)번째 부화소의 영상 처리 방법을 나타낸 도면이다.
도 9는 업스케일링 방식과 부화소 다중화 방식에 따른 다시점 영상의 화질을 나타낸 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
이제 본 발명의 실시 예에 따른 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 다시점 무안경 3차원 디스플레이를 개략적으로 나타낸 도면이고, 도 2는 도 1에 도시된 각 부화소의 시점 영상의 일 예를 나타낸 도면이다.
도 1을 참고하면, 다시점 무안경 3차원 디스플레이(100)는 표시 패널(110), 렌티큘러 렌즈 어레이(Lenticular lens array)(120) 및 영상 처리부(130)를 포함한다.
표시 패널(110)은 복수의 행과 복수의 열로 배열된 복수의 화소를 포함한다. 각 화소는 복수의 부화소(112)를 포함한다. 부화소는 결정된 화소값에 따라서 소정의 색상을 표시한다. 부화소는 예를 들면, 적색(R), 녹색(G) 및 청색(B) 중 어느 하나의 색상을 표시한다. 화소는 적어도 하나의 부화소(112)가 합쳐져서 완전한 색상 정보를 표현하는 최소 영상 표시 단위를 나타낸다. 예를 들면, 적색(R), 녹색(G) 및 청색(B) 색상을 표시하는 3개의 부화소(112)가 하나의 화소로 표현될 수 있다.
표시 패널(110) 상에는 렌티큘러 렌즈 어레이(120)가 위치한다.
렌티큘러 렌즈 어레이(120)는 복수의 렌티큘러 렌즈(122)를 포함한다. 복수의 렌티큘러 렌즈(122)는 반원기둥 형상을 가지며, 일방향으로 배열되어 있다. 렌티큘러 렌즈(122)는 복수의 부화소(112)의 수직축(y) 방향에 대하여 소정의 기울기(θ)를 가지도록 경사져 있다. 예를 들면, 기울기(θ)는 6~18도 사이로 설정될 수 있다. 이러한 렌티큘러 렌즈 어레이(120)는 입사빔을 다수의 시점으로 분리하여 출사시키기 위한 것이다. 렌티큘러 렌즈 어레이(120)를 투과하는 빔은 시청 거리(viewing distance)에서 서로 다른 시점으로 각각 분리된다. 렌티큘러 렌즈(122)는 각 부화소(112)에 형성된 영상을 각각의 시점으로 분리하기 위하여 일정한 곡률 및 피치(폭)를 갖는다. 그리고 각각의 렌티큘러 렌즈(122)는 수평축(x) 방향을 따라 배열된 부화소(112) 중 2개 이상의 부화소에 대응하도록 배치될 수 있고, 다시점 개수에 따라 렌티큘러 렌즈(122)의 피치가 부화소(112)의 수평 피치(폭)과 일정 관계를 갖도록 설정된다. 이에 따라, 표시 패널(110)에서 표시된 영상은 진행경로가 변경되어 각 시점으로 분리되어 제공된다.
영상 처리부(130)는 표시 패널(110)을 구성하는 복수의 부화소(112)의 주시점과 각 부화소(112)의 화소값을 결정한다. 예를 들어, 하나의 렌티큘러 렌즈(122)가 수평축(x) 방향을 따라 배열된 9개의 부화소(112)에 대응하도록 배치되어 있는 경우에, 영상 처리부(130)는 각 부화소의 주시점에 따른 시점 영상(1~9)을 도 2에 도시한 바와 같이 결정할 수 있다. 여기서, 주시점이라 함은 해당 부화소(112)에 가장 영향을 많이 미치는 시점을 의미할 수 있다.
영상 처리부(130)는 각 부화소(112)의 화소값을 결정할 때 해당 부화소에 영향을 미치는 시점 영상의 화소값을 이용하며, 해당 부화소에 영향을 미치는 시점 영상에 대하여 각 부화소(112)에 미치는 영향에 따라 가중치값을 다르게 적용하여 각 부화소(112)의 화소값을 결정한다. 이러한 방법을 가중 시점-겸분(Weighted View-Overlay) 방식이라 한다.
영상 처리부(130)는 맵핑 테이블을 이용하여 각 부화소(112)에 대해 업스케일링을 수행하고 업스케일링된 부화소(112)의 화소값을 결정할 수 있다. 맵핑 테이블은 각 부화소의 위치에 대응하여 주시점과 가중치값이 저장되어 있다.
이러한 영상 처리부(130)의 기능은 중앙 처리 유닛(central processing unit, CPU)이나 기타 칩셋, 마이크로프로세서 등으로 구현되는 프로세서에 의해 수행될 수 있다.
도 3은 도 1에 도시된 영상 처리부를 나타낸 도면이고, 도 4는 9 시점 영상을 표시하는 표시 패널과 하나의 부화소를 나타낸 도면이다.
도 3을 참고하면, 영상 처리부(130)는 맵핑 테이블 생성부(132), 맵핑 테이블(134), 업스케일링부(136) 및 다중화부(138)를 포함한다.
맵핑 테이블 생성부(132)은 다시점 개수와 렌티큘러 렌즈(122)의 피치가 결정되면, 다시점 개수와 렌티큘러 렌즈(122)의 피치를 이용하여 맵핑 테이블(134)을 생성한다.
맵핑 테이블(134)은 각 부화소의 주시점과 각 부화소에 영향을 미치는 시점 영상 중 하나의 시점 영상에 적용할 가중치값을 저장한다.
업스케일링부(136)는 맵핑 테이블(134)로부터 부화소 단위로 주시점을 확인하고, (i,j)번째 부화소의 주시점 영상인
Figure pat00002
번째 시점 영상과
Figure pat00003
번째 시점에 인접하는 두 시점 영상인
Figure pat00004
번째 시점 영상과
Figure pat00005
번째 시점 영상에 대해 이중선형(Bilinear) 업스케일링을 수행한다.
다음, 다중화부(138)는 맵핑 테이블(134)로부터 (i,j)번째 부화소에 해당하는 가중치값을 확인하고, 이 가중치값을 이용하여
Figure pat00006
번째 시점 영상과
Figure pat00007
번째 시점에 인접하는 두 시점 영상인
Figure pat00008
번째 시점 영상과
Figure pat00009
번째 시점 영상에 각각 적용할 가중치값을 계산한다.
다중화부(138)는 계산된 가중치값을 이용하여 수학식 2와 같이 업스케일링된 (i,j)번째 부화소의 화소값을 결정할 수 있다.
Figure pat00010
수학식 2에서, Pmux(i,j)는 (i,j)번째 부화소의 화소값을 나타낸다. a, b, c는 각각
Figure pat00011
번째 시점 영상,
Figure pat00012
번째 시점 영상 및
Figure pat00013
번째 시점 영상에 대한 가중치값을 나타낸다.
Figure pat00014
,
Figure pat00015
및
Figure pat00016
는 각각
Figure pat00017
번째 시점 영상,
Figure pat00018
번째 시점 영상 및
Figure pat00019
번째 시점 영상에서 (i,j)번째 부화소의 화소값을 나타낸다.
이때 맵핑 테이블(134)에 저장되는 가중치값은 주시점 영상의 가중치값을 제외하고 인접하는 두 시점 영상의 가중치값 중 하나 즉, a 또는 c의 값일 수 있다.
하나의 부화소의 (i,j)번째 부화소의 주시점에 해당하는 영상이
Figure pat00020
번째 시점 영상이고, (i,j)번째 부화소에는
Figure pat00021
번째 시점 영상과
Figure pat00022
번째 시점에 인접하는 두 시점 영상인
Figure pat00023
번째 시점 영상과
Figure pat00024
번째 시점 영상이 영향을 미친다. 도 4의 경우,
Figure pat00025
은 5에 해당한다.
Figure pat00026
번째 시점 영상과
Figure pat00027
번째 시점에 인접하는
Figure pat00028
번째 시점 영상과
Figure pat00029
번째 시점 영상에 대해 (i,j)번째 부화소에 미치는 영향에 따라 가중치값(a, b, c)이 결정될 수 있다. 즉, 가중치값(a, b, c)는 도 4에 도시한 바와 같이, (i,j)번째 부화소에서 각 시점 영상의 수평 길이(a, b, c)의 비에 따라 결정될 수 있으며, 또는 사선 길이(A, B, C)의 비에 따라 결정될 수 있다.
그러면, 맵핑 테이블 생성부(132)에서 맵핑 테이블(134)을 생성하는 방법에 대해 도 5를 참고하여 자세하게 설명한다.
도 5는 도 3에 도시된 맵핑 테이블 생성부에서 맵핑 테이블을 생성하는 방법을 나타낸 흐름도이고, 도 6은 도 3에 도시된 맵핑 테이블 생성부에 의해 생성된 맵핑 테이블의 일 예를 나타낸 도면이다.
맵핑 테이블 생성부(132)는 수학식 3과 같이 (i,j)번째 부화소의 주시점을 결정한다(S510).
Figure pat00030
여기서, ioff는 렌티큘러 렌즈의 수평 옵셋을 나타내고, α는 렌티큘러 렌즈와 표시 패널의 수직선이 이루는 각(도 4의 θ)이며, Nv는 시점 영상의 수를 나타내며, Np는 렌티큘러 렌즈의 피치를 부화소의 피치(폭) 단위로 나타낸 것이다.
맵핑 테이블 생성부(132)는 (i,j)번째 부화소의 화소값을 결정하기 위해 (i,j)번째 부화소에 영향을 미치는 시점 중 주시점을 제외한 하나의 인접 시점 영상의 가중치값을 계산한다(S520).
맵핑 테이블 생성부(132)는 (i,j)번째 부화소의 위치에 대응하여 주시점과 계산된 가중치값을 저장하여 맵핑 테이블(134)을 생성한다(S530).
일반적으로 n(i,j)는 비정수 값으로 나타나며, 수학식 4와 같이 정수와 소수로 분리될 수 있다.
Figure pat00031
또한 도 4의 경우 a는 수학식 5와 같이 유도될 수 있으므로, 수학식 4를 수학식 5에 대입하여 풀면, a는 수학식 6과 같이 구해질 수 있다.
Figure pat00032
Figure pat00033
그리고 도 4의 경우 b=1이고, a+b+c=n(1,0)-n(0,0)=Nv/Np이므로, c는 수학식 7과 같이 구해질 수 있다.
Figure pat00034
이와 같이, 주시점을 제외하고 하나의 인접 시점의 가중치값(a, c)만 알 수 있으면, (i,j)번째 부화소에 영향을 미치는
Figure pat00035
번째 시점 영상과
Figure pat00036
Figure pat00037
번째 시점 영상과
Figure pat00038
번째 시점 영상의 가중치값을 모두 구할 수 있다. 즉
Figure pat00039
번째 시점 영상의 가중치값은 a/(a+b+c)이고 이 값은 맵핑 테이블(134)에 저장된다.
Figure pat00040
번째 시점 영상의 가중치값은 b/(a+b+c)이며 이 값은 Nv/Np이다. 그리고
Figure pat00041
번째 시점 영상의 가중치값은 1-(a+b)/(a+b+c)이므로, a 또는 c가 저장되면, a, b, c가 모두 구해질 수 있다.
따라서, 맵핑 테이블 생성부(132)는 (i,j)번째 부화소에 대응하여 주시점과 주시점 영상에 인접하는 두 시점 영상 중 하나의 시점 영상의 가중치값을 저장한다. 즉 맵핑 테이블(134)에 저장되는 가중치값은
Figure pat00042
번째 시점 영상의 가중치값이나
Figure pat00043
번째 시점 영상의 가중치값이 된다.
이와 같이, 맵핑 테이블(134)에 주시점 영상에 인접한 하나의 시점 영상의 가중치값만을 저장함으로써, (i,j)번째 부화소에 영향을 미치는 모든 시점 영상의 가중치값을 저장하는 것이 비해 맵핑 테이블(134)의 메모리 용량을 줄일 수 있다.
도 6에 도시한 바와 같이, 맵핑 테이블 생성부(132)는 (i,j)번째 부화소에 대응하여 시점 영상을 정수로 표현하고,
Figure pat00044
번째 시점 영상의 가중치값을 소수로 표현하여 저장할 수 있다.
한편, 도 6를 보면, 맵핑 테이블(134)의 크기는 (가로 해상도)*3*(세로 해상도)이다. 이때 맵핑 테이블(134)에서 가중치값 즉, 소수는 1개의 라인마다 반복되고, 주시점은 Nv개의 라인마다 반복된다.
따라서, 도 7에 도시된 바와 같이 맵핑 테이블(134)은 가중치값 테이블(1342)과 주시점 테이블(1344)로 분리되어 저장될 수 있다. 이렇게 하면, 맵핑 테이블(134)을 저장하기 위한 메모리 용량을 획기적으로 줄일 수 있다.
도 7은 본 발명의 실시 예에 따른 맵핑 테이블의 다른 일 예를 나타낸 도면이다.
도 7을 참고하면, 맵핑 테이블 생성부(132)는 가중치값 테이블(1341)과 주시점 테이블(1342)을 각각 생성할 수 있다.
가중치값 테이블(1341)은 한 라인의 각 부화소에 대응하여 가중치값을 저장하며, 주시점 테이블(1342)은 Nv개의 라인의 각 부화소에 대응하여 주시점을 저장한다.
도 8은 본 발명의 실시 예에 따른 (i,j)번째 부화소의 영상 처리 방법을 나타낸 도면이다.
도 8을 참고하면, 업스케일링부(136)는 맵핑 테이블(134)로부터 (i,j)번째 부화소의 주시점(n)을 확인한다. 예를 들어, 주시점 영상(View n image)과 주시점 영상(View n image)의 인접 시점 영상(View n-1 image, View n+1 image)에서 각각 (i,j)번째 부화소에 대해 이중선형 업스케일링한다.
주시점 영상(View n image)과 인접 시점 영상(View n-1 image, View n+1 image)에서 각각 업스케일링된 (i,j)번째 부화소의 화소값은 수학식 8과 같이 결정될 수 있다.
Figure pat00045
여기서, Pup은 업스케일링된 (i,j)번째 부화소의 화소값이다. h는 한 화소의 크기를 나타낸다. Pmv_x는 (i,j)번째 부화소의 화소값을 나타내며, Pmv_y, Pmv_z 및 Pmv_w는 각각 (i,j)번째 부화소와 동일한 색상을 가지는 주변 부화소의 화소값을 나타낸다. 예를 들어, 도 8에 도시한 바와 같이, (i,j)번째 부화소가 G 색상을 표시하며 화소값이 Pmv_x인 경우, Pmv_y는 Pmv_x의 오른쪽 방향의 G 색상을 표시하는 부화소의 화소값을 나타내고, Pmv_z는 Pmv_x의 아래쪽 방향의 G 색상을 표시하는 부화소의 화소값을 나타내며, Pmv_w는 Pmv_x의 대각선 방향의 G 색상을 표시하는 부화소의 화소값을 나타낸다. 그리고 9는 시점 영상의 업스케일링 계수이다.
수학식 8은 (i,j)번째 부화소를 3*3 크기로 업스케일링 방법을 나타내며, 이러한 업스케일링 계수는 달라질 수 있다.
업스케일링부(136)에 의해 주시점 영상(View n image)과 인접 시점 영상(View n-1 image, View n+1 image)에서 각각 (i,j)번째 부화소에 대해 업스케일링이 완료되면, 다중화부(138)는 맵핑 테이블(134)로부터 (i,j)번째 부화소에 대응하여 저장되어 있는 가중치값(f)을 확인하고, 이 가중치값(f)을 주시점 영상(View n image)과 인접 시점 영상(View n-1 image, View n+1 image)의 가중치값들을 계산한다.
예를 들어, 맵핑 테이블(134)에 (i,j)번째 부화소에 대응하여 인접 시점 영상(View n+1 image)의 가중치값(f)이 저장되어 있다면, 다중화부(138)는 시점 영상(View n+1 image)의 가중치값을 0.f로 계산하고, Np/Nv하여 시점 영상(View n image)의 가중치값을 계산하며, 1-Np/Nv-0.f하여 시점 영상(View n-1 image)의 가중치값을 계산할 수 있다.
다중화부(138)는 이렇게 계산된 가중치값들을 이용하여 수학식 2와 같이 업스케일링된 (i,j)번째 부화소의 화소값을 결정한다.
이와 같이, 맵핑 테이블(134)을 이용함으로써 해당 부화소에 영향을 미치는 시점 영상의 부화소에 대해서만 업스케일링을 수행하므로, 종래의 업스케일링 방법에 비해 계산량을 획기적으로 감소시킬 수 있다.
이와 같은 방법으로, 표시 패널(110)의 모든 부화소의 화소값을 결정한다.
이렇게 결정된 모든 부화소의 화소값을 표시 패널(110)에서 표시함으로써, 관측자의 위치에 따라 서로 다른 3차원 영상을 보이게 할 수 있다.
도 9는 업스케일링 방식과 부화소 다중화 방식에 따른 다시점 영상의 화질을 나타낸 도면으로, 9시점 무안경 3차원 디스플레이로부터 카메라에 투영되는 영상을 동일 위치에서 찍은 영상이다.
도 9에서 Nearest는 업스케일링 방식 중의 하나로 가장 인접한 화소를 이용하는 방법이고, Bilinear는 본 발명의 실시 예에 따른 업스케일링 방식이다. Bilinear는 앞에서 설명한 바와 같이 주변 화소의 화소값을 이용하는 방법이다. View-Selection은 부화소 다중화 방식 중 수학식 1과 같은 방법이고, View-Overlay는 본 발명의 실시 예에 따른 부화소 다중화 방식으로, 수학식 2와 같은 방법이다.
도 9의 (a) 내지 (d)를 보면 알 수 있듯이, 대체적으로 View-Overlay 방식이 View-Selection 방식에 비해 표시되는 화질이 좋아지고, 업스케일링도 Nearest 방식에 비해 Bilinear 방식이 화질이 향상되는 것을 알 수 있다.
한편, 이상의 실시예에서는 렌티큘러 렌즈 기반 무안경 3차원 표시 장치에서의 영상 처리 방법을 설명하였지만, 패랠랙스 배리어 기반 무안경 3차원 표시 장치에도 적용될 수 있다.
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리 범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리 범위에 속하는 것이다.

Claims (19)

  1. 다시점 무안경 3차원 디스플레이의 영상 처리 방법으로서,
    표시 패널을 구성하는 복수의 부화소에 대응하여 각각 주시점과 가중치값을 저장하고 있는 맵핑 테이블로부터, 각 부화소에 대해 주시점을 확인하는 단계,
    각 부화소에 대해, 주시점 영상과 상기 주시점에 인접하는 두 인접 시점 영상의 해당 부화소를 이중선형(Bilinear) 업스케일링하는 단계,
    상기 맵핑 테이블로부터 각 부화소에 대응하여 저장된 가중치값을 확인하는 단계, 그리고
    상기 각 부화소에 대해, 상기 가중치값을 이용하여 상기 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상의 해당 부화소의 화소값을 다중화하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에서,
    상기 업스케일링하는 단계는
    어느 하나의 부화소에 대해, 주시점 영상의 해당 부화소와 해당 부화소와 동일한 색상을 가지는 주변 부화소의 화소값들을 이용하여 업스케일링하는 단계, 그리고
    상기 어느 하나의 부화소에 대해, 상기 두 인접 시점 영상 각각에서 해당 부화소와 해당 부화소와 동일한 색상을 가지는 주변 부화소의 화소값들을 이용하여 업스케일링하는 단계를 포함하는 영상 처리 방법.
  3. 제1항에서,
    상기 각 부화소에 대응하여 저장된 가중치값은 주시점에 인접하는 두 인접 시점 중 하나의 인접 시점 영상의 가중치값이며,
    상기 다중화하는 단계는 상기 각 부화소에 대해, 상기 저장된 가중치값을 이용하여 주시점 영상의 가중치값과 두 인접 시점 중 나머지 하나의 인접 시점 영상의 가중치값을 계산하는 단계를 포함하는 영상 처리 방법.
  4. 제3항에서,
    상기 주시점 영상의 가중치값과 상기 두 인접 시점 영상의 가중치 값은 상기 해당 부화소에서 상기 주시점 영상과 상기 두 인접 시점 영상의 수평 길이의 비 또는 사선 길이의 비에 대응되는 영상 처리 방법.
  5. 제3항에서,
    상기 다중화하는 단계는 상기 각 부화소에 대해, 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상의 화소값에 각각 대응하는 가중치값을 곱한 후 평균 값을 계산하는 단계를 포함하는 영상 처리 방법.
  6. 제1항에서,
    상기 각 부화소에 대해 다중화된 화소값을 표시 패널의 각 부화소에 전달하는 단계
    를 더 포함하는 영상 처리 방법.
  7. 제1항에서,
    상기 맵핑 테이블을 생성하는 단계
    를 더 포함하는 영상 처리 방법.
  8. 제7항에서,
    상기 생성하는 단계는
    상기 각 부화소에 대해 주시점을 결정하는 단계,
    상기 각 부화소에 대해 결정된 주시점과 상기 다시점 무안경 3차원 디스플레이의 시점 수를 이용하여 상기 두 인접 시점 영상 중 하나의 인접 시점 영상의 가중치값을 계산하는 단계, 그리고
    상기 각 부화소에 대응하여 결정된 주시점과 계산된 가중치값을 저장하는 단계를 포함하는 영상 처리 방법.
  9. 제8항에서,
    상기 다시점 무안경 3차원 디스플레이는 상기 표시 패널 위에 설정된 각도로 기울어져 있는 복수의 렌티큘러 렌즈를 포함하는 렌티큘러 렌즈 어레이를 포함하고,
    상기 가중치값을 계산하는 단계는 상기 각 부화소에 대해 결정된 주시점과 상기 시점 수 및 상기 각도를 이용하여 상기 하나의 인접 시점 영상의 가중치값을 계산하는 단계를 포함하는 영상 처리 방법.
  10. 제8항에서,
    상기 저장하는 단계는 상기 각 부화소에 대응하여 상기 결정된 주시점을 정수로 표현하고, 상기 계산된 가중치값을 소수로 표현하는 단계를 포함하는 영상 처리 방법.
  11. 제7항에서,
    상기 맵핑 테이블은 가중치값 테이블과 주시점 테이블을 포함하며,
    상기 생성하는 단계는
    상기 다시점 무안경 3차원 디스플레이의 시점 수에 해당하는 라인의 부화소에 대해 주시점을 결정하는 단계,
    상기 각 라인의 각 부화소에 대해 결정된 주시점과 상기 시점 수를 이용하여 상기 두 인접 시점 영상 중 하나의 인접 시점 영상의 가중치값을 계산하는 단계,
    상기 시점 수에 해당하는 라인 중 한 라인에 해당하는 부화소의 위치에 대응하여 계산된 가중치값을 저장하여 상기 가중치값 테이블을 생성하는 단계, 그리고
    상기 시점 수에 해당하는 라인의 부화소의 위치에 대응하여 결정된 주시점을 저장하여 상기 주시점 테이블을 생성하는 단계를 포함하는 영상 처리 방법.
  12. 다시점 무안경 3차원 디스플레이의 영상 처리 장치로서,
    표시 패널을 구성하는 복수의 부화소에 대응하여, 각각 주시점과 해당 부화소에 영향을 미치는 시점 영상 중 주시점 영상을 제외한 하나의 인접 시점 영상의 가중치값을 저장하고 있는 맵핑 테이블,
    각 부화소에 대해, 주시점 영상과 상기 주시점에 인접하는 두 인접 시점 영상의 해당 부화소를 이중선형(Bilinear) 업스케일링하는 업스케일링부, 그리고
    상기 각 부화소에 대해, 상기 가중치값을 이용하여 상기 주시점 영상과 상기 두 인접 시점 영상의 가중치값을 계산하고, 상기 주시점 영상과 상기 두 인접 시점 영상의 가중치값을 이용하여 상기 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상에서 해당 부화소의 화소값을 다중화하는 다중화부
    를 포함하는 영상 처리 장치.
  13. 제12항에서,
    상기 주시점 영상의 가중치값과 상기 두 인접 시점 영상의 가중치 값은 상기 해당 부화소에서 상기 주시점 영상과 상기 두 인접 시점 영상의 수평 길이의 비 또는 사선 길이의 비에 대응되는 영상 처리 장치.
  14. 제12항에서,
    상기 다중화부는 상기 각 부화소에 대해, 업스케일링된 상기 주시점 영상과 상기 두 인접 시점 영상의 화소값에 각각 대응하는 가중치값을 곱한 후 평균 값을 계산하는 영상 처리 장치.
  15. 제12항에서,
    상기 업스케일링부는 어느 하나의 부화소에 대해 주시점 영상의 해당 부화소와 상기 해당 부화소와 동일한 색상을 가지는 주변 부화소의 화소값들을 이용하여 업스케일링하고, 상기 어느 하나의 부화소에 대해 상기 두 인접 시점 영상 각각에서 해당 부화소와 해당 부화소와 동일한 색상을 가지는 주변 부화소의 화소값들을 이용하여 업스케일링하는 영상 처리 장치.
  16. 제12항에서,
    상기 각 부화소에 대응하여 상기 결정된 주시점을 정수로 표현하고 상기 계산된 가중치값을 소수로 표현하여 상기 맵핑 테이블을 생성하는 맵핑 테이블 생성부
    를 더 포함하는 영상 처리 장치.
  17. 제12항에서,
    상기 맵핑 테이블은 가중치값 테이블과 주시점 테이블을 포함하며,
    상기 시점 수에 해당하는 라인 중 한 라인에 해당하는 부화소의 위치에 대응하여 계산된 가중치값을 저장하여 상기 가중치값 테이블을 생성하고, 상기 시점 수에 해당하는 라인의 부화소의 위치에 대응하여 결정된 주시점을 저장하여 상기 주시점 테이블을 생성하는 맵핑 테이블 생성부
    를 더 포함하는 영상 처리 장치.
  18. 제12항에서,
    상기 각 부화소에 대해 주시점을 결정하고, 상기 각 부화소에 대해 결정된 주시점과 상기 다시점 무안경 3차원 디스플레이의 시점 수를 이용하여 각 부화소에 대해 상기 하나의 인접 시점 영상의 가중치값을 계산하며, 상기 각 부화소에 대응하여 결정된 주시점과 계산된 가중치값을 상기 맵핑 테이블에 저장하는 맵핑 테이블 생성부
    를 더 포함하는 영상 처리 장치.
  19. 제12항에서,
    상기 다시점 무안경 3차원 디스플레이는 상기 표시 패널 위에 설정된 각도로 기울어져 있는 복수의 렌티큘러 렌즈를 포함하는 렌티큘러 렌즈 어레이를 포함하고,
    상기 다중화부는 상기 각 부화소에 대해 상기 렌티큘러 렌즈의 피치와 상기 시점 수를 이용하여 상기 주시점 영상의 가중치값을 계산하고, 상기 하나의 인접 시점 영상의 가중치값과 상기 주시점 영상의 가중치값을 이용하여 상기 두 인접 시점 영상 중 다른 하나의 인접 시점 영상의 가중치값을 계산하는 영상 처리 장치.
KR1020140173397A 2014-12-04 2014-12-04 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법 KR20160068125A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140173397A KR20160068125A (ko) 2014-12-04 2014-12-04 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140173397A KR20160068125A (ko) 2014-12-04 2014-12-04 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20160068125A true KR20160068125A (ko) 2016-06-15

Family

ID=56134865

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140173397A KR20160068125A (ko) 2014-12-04 2014-12-04 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20160068125A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10495893B2 (en) 2017-10-30 2019-12-03 Cellvic Co., Ltd. Hardware system for inputting 3D image in flat panel
CN114356273A (zh) * 2021-12-30 2022-04-15 纵深视觉科技(南京)有限责任公司 一种独立驱动位置确定方法、装置、存储介质及电子设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10495893B2 (en) 2017-10-30 2019-12-03 Cellvic Co., Ltd. Hardware system for inputting 3D image in flat panel
CN114356273A (zh) * 2021-12-30 2022-04-15 纵深视觉科技(南京)有限责任公司 一种独立驱动位置确定方法、装置、存储介质及电子设备
CN114356273B (zh) * 2021-12-30 2023-10-17 纵深视觉科技(南京)有限责任公司 一种独立驱动位置确定方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
EP3046325B1 (en) High density multi-view image display system and method with active sub-pixel rendering
JP4440067B2 (ja) 立体表示のための画像処理プログラム、画像処理装置および立体表示システム
EP2786583B1 (en) Image processing apparatus and method for subpixel rendering
JP5011316B2 (ja) 出力画像のレンダリング
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
KR101265893B1 (ko) 오토스테레오스코픽 조망 구역의 각도 범위를 제어하는방법 및 장치
US8633967B2 (en) Method and device for the creation of pseudo-holographic images
US7652674B2 (en) On the fly hardware based interdigitation
US20120062556A1 (en) Three-dimensional image display apparatus, three-dimensional image processor, three-dimensional image display method, and computer program product
US20140111627A1 (en) Multi-viewpoint image generation device and multi-viewpoint image generation method
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
JP6060329B2 (ja) ３ｄディスプレイ装置で３次元映像を視覚化する方法および３ｄディスプレイ装置
KR20100067656A (ko) 3차원 디스플레이에 대한 렌더링 개선
JP2010524309A (ja) 三次元表示する方法および構成
US20120069004A1 (en) Image processing device and method, and stereoscopic image display device
WO2012172766A1 (en) Image processing device and method thereof, and program
US20160014400A1 (en) Multiview image display apparatus and multiview image display method thereof
KR20140115854A (ko) 입체 영상 표시 장치 및 입체 영상 표시 방법
TW201320719A (zh) 立體畫像顯示裝置、畫像處理裝置及畫像處理方法
JP2013223008A (ja) 画像処理装置及び方法
KR20160028596A (ko) 입체 영상 표시 장치
KR20160068125A (ko) 다시점 무안경 3차원 디스플레이의 영상 처리 장치 및 방법
KR102271171B1 (ko) 무안경 다시점 3d 디스플레이 장치 및 그의 영상 처리 방법
KR102081111B1 (ko) 입체 영상 디스플레이 장치의 구동방법
US9460550B2 (en) Multi-viewpoint image generation apparatus and method

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination