KR20150038954A - 입체 영상 표시장치의 이미지 처리 장치 및 방법 - Google Patents

입체 영상 표시장치의 이미지 처리 장치 및 방법 Download PDF

Info

Publication number
KR20150038954A
KR20150038954A KR20130117376A KR20130117376A KR20150038954A KR 20150038954 A KR20150038954 A KR 20150038954A KR 20130117376 A KR20130117376 A KR 20130117376A KR 20130117376 A KR20130117376 A KR 20130117376A KR 20150038954 A KR20150038954 A KR 20150038954A
Authority
KR
South Korea
Prior art keywords
depth
image
image data
values
depth values
Prior art date
Application number
KR20130117376A
Other languages
English (en)
Inventor
김도형
임형섭
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR20130117376A priority Critical patent/KR20150038954A/ko
Publication of KR20150038954A publication Critical patent/KR20150038954A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 이미지 처리 장치 및 방법에 관한 것으로, 그 이미지 처리 장치는 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵에서 물체와 배경 사이의 에지 부분을 검출하고 상기 에지 부분으로부터 물체 밖의 배경 쪽으로 위치하는 뎁쓰 값들을 조정하여 뎁쓰 변화 폭을 낮추는 전처리부; 및 상기 전처리부로부터 입력된 뎁쓰 맵의 뎁쓰 값들을 바탕으로 상기 입력 영상 데이터의 픽셀 데이터를 시프트하여 새로운 가상 시점의 영상 데이터를 생성하는 이미지 와핑부을 포함한다.

Description

입체 영상 표시장치의 이미지 처리 장치 및 방법{IMAGE PROCESSING DEVICE AND METHOD FOR AUTOSTEREOSCOPIC IMAGE DISPLAY}
본 발명은 입체 영상 표시장치의 이미지 처리 장치 및 방법에 관한 것이다.
텔레비젼이나 모니터와 같은 표시장치에 입체 영상 재현 기술이 적용되어 가정에서도 3D 입체 영상을 감상할 수 있는 시대가 도래하였다. 입체 영상 표시장치는 안경 방식과 무안경 방식으로 나뉘어질 수 있다. 안경 방식은 직시형 표시소자나 프로젝터에 좌우 시차 영상의 편광 방향을 바꿔서 또는 시분할 방식으로 표시하고, 편광 안경 또는 액정셔터 안경을 사용하여 입체 영상을 구현한다. 무안경 방식은 일반적으로 좌우 시차 영상의 광축을 분리하기 위한 패럴랙스 베리어(parallax barrier, 이하 "베리어"라 함), 렌티큘라 렌즈(lenticular lens, 이하 "렌즈"라 함) 등의 광학 부품을 표시 화면의 앞이나 뒤에 설치하여 입체 영상을 구현한다.
무안경 입체 영상 표시장치는 표시패널의 화면과 렌즈(또는 베리어) 사이의 배면 거리, 렌즈의 초점 거리, 픽셀의 피치(pitch), 렌즈 피치(또는 베리어의 피치), 시청자의 좌안과 우안 간의 거리 등을 고려하여 시청자가 정상적으로 입체 영상을 시청할 수 있는 최적 시청 거리(Optimal Viewing Distance, OVD)가 계산된다.
무안경 입체 영상 표시장치는 멀티 뷰 시스템으로 구현될 수 있다. 멀티 뷰 시스템은 최적 시청 거리(OVD)에서 시청자가 표시패널(DIS)의 화면을 바라 볼 때 여러 위치에서 입체 영상을 정상적으로 감상할 수 있도록 화면의 픽셀 어레이에 멀티 뷰 영상을 기입할 수 있다. 도 1에는 제1 내지 제6 뷰 이미지들(1~6)이 하나의 화면에 표시된 예이다. 이웃한 뷰 이미지들은 객체의 입체감을 정량적으로 표현한 뎁쓰에 의해 정의된 픽셀들 간의 간격만큼 동일 좌안 영상으로 보이는 픽셀 데이터와 우안 영상으로 보이는 픽셀 데이터의 간격이 설정되어 사용자로 하여금 양안 시차를 느끼게 한다. 예를 들어, 시청자는 특정 위치에서 화면을 바라 볼 때 좌안으로 제2 뷰 이미지(2)를 표시하는 픽셀들을 보게 되고, 우안으로 제1 뷰 이미지(1)를 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다. 시청자가 어느 한 쪽으로 이동하면, 좌안으로 제5 뷰 이미지(5)를 표시하는 픽셀들을 보게 되고, 우안으로 제4 뷰 이미지(4)를 표시하는 픽셀들을 보게 되어 양안 시차를 느끼게 된다.
3D 이미지 와핑(warping) 방법은 2D 이미지와 뎁쓰 맵을 이용하여 가상 시점의 이미지를 생성하는 것을 의미한다. 3D 이미지 와핑 방법은 주로 원본 2D 이미지의 뎁쓰 맵(Depth map)을 바탕으로 다른 뷰 이미지들을 생성하는 방법이 이용되고 있다. 뎁쓰 맵은 물체 혹은 객체(Object)의 3차원 공간 정보를 화면으로부터의 거리에 따라 계조로 표현한 이미지 데이터이다. 뎁쓰(depth, 심도) 값은 픽셀 데이터의 시프트(shift) 정도 즉, 디스패리티(disparity)를 정의한다. 뎁쓰 맵에서, 화면의 앞으로 돌출되는 객체는 높은 계조(또는 화이트 계조)의 데이터로 표현되고, 화면 뒤로 멀어지는 객체는 낮은 계조(또는 블랙 계조)로 표현된다.
3D 이미지 와핑 방법은 제1 뷰 이미지가 원본 2D 이미지일 때, 제1 뷰 이미지의 뎁쓰 맵(depth map)을 생성하고 그 뎁쓰 맵에서 정의된 뎁쓰(depth, 심도) 만큼 원본 2D 이미지의 픽셀 데이터를 시프트시켜 제2 뷰 이미지를 생성할 수 있다.
3D 이미지 와핑 방법에 의하면, 뎁쓰가 크게 변화되는 부분에서 픽셀 데이터의 시프트 양이 급변한다. 이로 인하여 새로 생성되는 이미지에서 에지(edge) 부분에 픽셀 데이터가 없는 영역 즉, 홀(hole)이 발생될 수 있다. 홀의 크기는 뎁쓰 값(Depth value)의 변화 정도가 심할수록 커진다. 홀이 발생되는 뎁쓰 변화 구간은 일반적으로 물체와 배경 사이의 에지 부분이다. 이러한 에지 부분에서 홀을 보상하는 방법은 뎁쓰 맵의 뎁쓰 값 변화를 줄이는 가우시안 필터링(Guassian filtering) 방법을 이용할 수 있다. 가우시안 필터링 방법은 홀의 복원 효과가 만족스럽지 않고 이미지 전체에 대하여 큰 가우시안 필터를 사용하기 때문에 연산량이 많은 문제가 있다. 이 가우시안 필터는 90×90 매트릭스 크기의 픽셀 데이터들을 평균화하여 에지 구간에서 뎁쓰 값 변화를 줄인다. 홀 필링 방법은 3D 이미지 와핑 후에 남아 있는 홀을 제거하기 위하여 홀 주변의 픽셀 데이터를 홀 위치에 복사한다.
도 2는 종래 기술의 3D 이미지 와핑 방법을 보여 주는 도면들이다.
도 2에서 (A)는 원본 2D 이미지이다. (B)는 원본 2D 이미지의 뎁쓰 맵이다. (C)는 가우시안 스무딩 방법으로 전처리(pre-processed)된 뎁쓰 맵이다. (D)는 원본 뎁쓰 맵(B)을 이용한 3D 이미지 와핑 결과이다. (E)는 전처리된 뎁쓰 맵(C)을 이용한 3D 이미지 와핑 결과이다. (F)는 (D) 이미지에 홀 필링 처리를 적용한 결과이다. (G)는 (E) 이미지에 홀 필링 처리를 적용한 결과이다.
종래 기술의 3D 이미지 와핑 방법은 뎁쓰 맵에 대한 가우시안 필터링을 한 후에 이미지 와핑, 홀 필링 처리를 실시하여 가상 시점에서의 3D 이미지를 생성한다. 이 방법은 도 2 (C)와 같이 스무딩(smoothing)한 뎁쓰 맵을 이용하여 이미지 와핑을 함으로써 (E)와 같이 홀 영역을 분산한다. 이미지 와핑 후 홀 필링을 적용한 최종 이미지 비교를 통하여 알 수 있듯이, (G)의 에지 부분에서 아티팩트(artifact)가 (F)보다 감소된다. 도 2 (E)는 (D)에 비해 홀을 분산함으로써 홀 필링으로 인한 아티팩트 저감이 가능하지만, 연산량이 가우시안 필터 사이즈에 비례해서 증가하고 분산시킨 홀의 위치가 도 3 (A)와 같이 물체와 배경 사이의 경계 즉, 물체의 에지에 위치한 경우 물체의 에지 부분에서 왜곡(distortion)이 심화된다. 도 3 (A)는 도 2 (E)의 원 안 부분을 확대한 도면이고, 도 3 (B)는 도 2 (G)의 원 안 부분을 확대한 도면이다.
가우시안 필터는 홀 필링으로 인한 아티팩트를 배경 쪽으로 분산시켜 물체 에지 부분에서의 아티팩트를 감소시키는 효과가 있지만 도 3과 같이 물체 에지에 홀이 위치하는 경우에 홀의 형태에 따라 물체의 에지에 왜곡이 발생한다. 가우시안 필터 사이즈를 크게 하면 물체의 에지에서 왜곡을 줄일 수 있으나 이는 연산량 증가를 초래하여 하드웨어 부담을 증가시킨다.
본 발명은 에지 부분의 왜곡을 줄일 수 있는 입체 영상 표시장치의 이미지 처리 장치 및 방법을 제공한다.
본 발명의 이미지 처리 장치는 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부; 상기 뎁쓰 맵에서 물체와 배경 사이의 에지 부분을 검출하고 상기 에지 부분으로부터 물체 밖의 배경 쪽으로 위치하는 뎁쓰 값들을 조정하여 뎁쓰 변화 폭을 낮추는 전처리부; 및 상기 전처리부로부터 입력된 뎁쓰 맵의 뎁쓰 값들을 바탕으로 상기 입력 영상 데이터의 픽셀 데이터를 시프트하여 새로운 가상 시점의 영상 데이터를 생성하는 이미지 와핑부을 포함한다.
상기 전처리부는 상기 뎁쓰 값들을 조정하는 뎁쓰 조정부; 및 상기 뎁쓰 조정부로부터의 영상 데이터를 스무딩하는 가우시안 필터를 포함한다.
상기 뎁쓰 조정부는 상기 에지 부분에서 물체 쪽에 위치하는 상대적으로 높은 값의 뎁쓰 값들을 조정하지 않고, 배경에 위치하고 상대적으로 낮은 값을 갖는 뎁쓰 값들의 기울기를 낮춘다.
상기 가우시안 필터는 3×3 매트릭스 크기 단위로 픽셀 데이터들을 가우시안 분포로 연산한다.
상기 전처리부는 소정의 문턱값 이상으로 뎁쓰 값들이 변하는 에지 부분만을 대상으로 뎁쓰 값들을 조정한다.
본 발명의 이미지 처리 방법은 입력 영상 데이터의 뎁쓰 맵을 생성하는 단계; 상기 뎁쓰 맵에서 물체와 배경 사이의 에지 부분을 검출하고 상기 에지 부분으로부터 물체 밖의 배경 쪽으로 위치하는 뎁쓰 값들을 조정하여 뎁쓰 변화 폭을 낮추는 단계; 및 상기 뎁쓰 값들이 조정된 뎁쓰 맵의 뎁쓰 값들을 바탕으로 상기 입력 영상 데이터의 픽셀 데이터를 시프트하여 새로운 가상 시점의 영상 데이터를 생성하는 단계를 포함한다.
본 발명은 물체와 배경 사이의 에지 부분에서 그 에지 부분으로부터 물체 밖의 배경 쪽으로 위치하는 뎁쓰 값들을 조정한다. 그 결과, 본 발명은 종래 기술에 비하여 이미지 와핑 시에 생성되는 홀의 크기를 줄이고 에지 부분의 왜곡을 줄일 수 있다,
도 1은 무안경 입체 영상 표시장치에서 멀티 뷰 이미지들을 보여 주는 도면이다.
도 2는 종래의 3D 이미지 처리 과정을 보여 주는 도면들이다.
도 3은 도 2 (E) 및 (G)의 원 안 부분을 확대한 도면이다.
도 4 및 도 5는 본 발명의 실시예에 따른 이미지 처리 방법의 뎁쓰 트랜지션 제어 방법을 보여 주는 도면이다.
도 6은 본 발명의 실시예에 따른 이미지 처리 방법의 가우시안 필터링 방법을 보여 주는 도면이다.
도 7은 종래 기술과 본 발명의 비교 실험 결과를 보여 주는 도면이다.
도 8은 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 보여 주는 블록도이다.
도 9는 멀티 뷰 무안경 입체 영상 표시장치의 렌즈를 보여 주는 단면도이다.
도 10은 멀티 뷰 무안경 입체 영상 표시장치의 베리어를 보여 주는 단면도이다.
도 11은 본 발명의 실시예에 따른 이미지 처리 장치를 보여 주는 블록도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성요소자들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
도 4 및 도 5는 본 발명의 실시예에 따른 이미지 처리 방법의 뎁쓰 트랜지션 제어 방법(Depth transition control)을 보여 주는 도면이다.
도 4 및 도 5를 참조하면, 본 발명의 이미지 처리 방법은 원본 2D 이미지의 뎁쓰 맵을 생성하고, 그 뎁쓰 맵에서 뎁쓰가 급변하는 에지(A)를 검출한다. 에지 검출 방법은 공지의 에지 검출 필터를 사용할 수 있다.
종래 기술은 가우시안 필터 만으로 뎁쓰를 변경하기 때문에 에지(A)를 중심으로 뎁쓰 값이 상대적으로 큰 물체와 뎁쓰 값이 작은 배경 부분에서 뎁쓰가 낮은 기울기로 변한다. 이 때문에 종래 기술은 물체의 에지 왜곡이 발생할 수 밖에 없다.
본 발명의 뎁쓰 트랜지션 제어 방법은 물체의 에지(A)에서 그 에지(A)로부터 상대적으로 낮은 뎁쓰 즉, 배경 쪽으로 일정 구간 만큼 뎁쓰를 점진적으로 낮춘다. 따라서, 뎁쓰 트랜지션 제어 방법은 에지 부분에서 물체의 에지(A)로부터 배경 쪽으로 변하는 뎁쓰의 변화 폭(기울기)을 입력 뎁쓰 맵 보다 낮춘다.
본 발명의 뎁쓰 트랜지션 제어 방법은 모든 에지의 뎁쓰를 변경하는 것이 아니라 홀이 발생할 수 있는 에지를 검출하기 위하여 소정의 문턱값(THdepth) 이상으로 뎁쓰가 큰 폭으로 변하는 에지(A)만을 대상으로 뎁쓰를 변경할 수 있다. 본 발명은 상기 뎁쓰 트랜지션 제어 방법을 이용하여 물체의 에지(A)에서 뎁쓰 변화 구간을 짧게 하고 물체 이미지의 뎁쓰 변경을 최소화하여 에지 왜곡을 방지할 수 있다.
본 발명의 뎁쓰 트랜지션 제어 방법은 수학식 1과 같이 표현될 수 있다. 문턱값(THdepth)은 특정 사이즈 이상의 홀이 발생될 수 있는 뎁쓰 변화(Δd)의 문턱값이다. 본 발명의 뎁쓰 트랜지션 제어 방법은 변화(Δd)가 문턱값(THdepth) 이상으로 큰 에지(A)로부터 배경 쪽으로 일정 구간(C) 만큼 뎁쓰를 물체의 뎁쓰로부터 점진적으로 낮춘다. 뎁쓰의 급격한 변화가 i 위치 전후로 발생될 때, 특정 구간 C에서만 뎁쓰(depthadj)가 점진적으로 변하게 된다.
Figure pat00001
여기서, depthi는 원본 뎁쓰 맵에서 물체의 에지 부분에 위치하는 i 번째 픽셀의 뎁쓰 값이다. depthadj는 본 발명의 뎁쓰 트랜지션 제어 방법에 의해 조정된 뎁쓰 값이다.
본 발명은 이미지 와핑 전의 전처리 과정에서 가우시안 필터를 사용하지 않아도 픽셀 데이터의 시프트로 인한 홀 생성을 줄이고 에지 왜곡을 줄일 수 있다. 따라서, 본 발명은 전처리 과정에서 가우시안 필터를 사용할 필요가 없으나 연산량이 작은 크기의 가우시안 필터를 사용하여 에지 이미지 왜곡을 더 줄일 수 있다.
본 발명이 가우시안 필터는 수학식 2와 같이 3×3 매트릭스 크기 단위로 픽셀 데이터들을 가우시안 분포로 평균화 연산하여 에지 부분에서 홀 크기를 더 줄이고 에지 왜곡을 더 개선할 수 이다. 가우시안 필터는 뎁쓰 트랜지션 제어 방법에 의해 조정된 에지 구간에서 뎁쓰 변화 폭(기울기)을 줄인다. 본 발명의 가우시안 필터는 필터 매트릭스 크기가 작기 때문에 종래에 비하여 연산량이 작다. 도 6에서 depthfilter는 가우시안 필터를 통과한 뎁쓰 값이다.
Figure pat00002
도 7은 종래 기술과 본 발명의 비교 실험 결과를 보여 주는 도면이다.
도 7을 참조하면, (A) 및 (C)는 종래 기술의 실험도면이다. (B) 및 (D)는 본 발명의 적용 결과이다. (A) 및 (C)에서 좌측 이미지는 종래 기술의 90×90 매트릭스 크기의 가우시안필터를 이용하여 원본 뎁쓰 맵의 뎁쓰값을 조정한 결과이다. (A) 및 (C)에서 의 중앙 이미지는 좌측의 뎁쓰 맵을 이용한 이미지 와핑 결과이고, 우측 이미지는 홀 필링 결과이다. (B) 및 (D)에서 좌측 이미지는 본 발명의 뎁쓰 트랜지션 제어 방법으로 뎁쓰 값이 조정된 뎁쓰 맵이다. (B) 및 (D)에서 중앙 이미지는 좌측의 뎁쓰 맵을 이용한 이미지 와핑 결과이고, 우측 이미지는 홀 필링 결과이다. (A) 및 (B)의 비교에서 알 수 있는 바와 같이, 본 발명의 이미지 처리 방법은 이미지 와핑으로 새로운 가상 시점의 이미지를 생성할 때 종래 기술에 비하여 홀의 크기와 물체의 에지 왜곡을 더 효과적으로 줄일 수 있다.
도 8은 본 발명의 실시예에 따른 멀티 뷰 무안경 입체 영상 표시장치를 보여 주는 도면이다. 도 9는 멀티 뷰 무안경 입체 영상 표시장치의 렌즈를 보여 주는 단면도이다. 도 10은 멀티 뷰 무안경 입체 영상 표시장치의 베리어를 보여 주는 단면도이다.
도 8 내지 도 10을 참조하면, 본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 표시패널(10), 표시패널 구동부, 3D 광학소자(20), 3D 광학소자 구동부(21), 이미지 처리 장치(100), 타이밍 콘트롤러(110) 등을 포함한다.
본 발명의 멀티 뷰 무안경 입체 영상 표시장치는 액정표시소자(Liquid Crystal Display, LCD), 전계방출 표시소자(Field Emission Display : FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP), 유기발광 다이오드 표시장치(Organic Light Emitting Display, OLED), 전기영동 표시소자(Electrophoresis, EPD) 등의 평판 표시소자 기반으로 구현될 수 있다. 이 멀티 뷰 무안경의 입체 영상 표시장치는 2D 모드에서 2D 영상 데이터를 표시하고 3D 모드에서 멀티 뷰 포맷의 3D 영상 데이터를 표시한다.
표시패널(10)에는 데이터라인들(105)과 게이트라인들(또는 스캔라인들)(106)이 직교되고, 픽셀들이 매트릭스 형태로 배치된 픽셀 어레이(PIX)를 포함한다. 픽셀들 각각은 컬러 구현을 위하여 서로 다른 색의 서브 픽셀들을 포함할 수 있다. 픽셀 어레이(PIX)는 2D 모드에서 2D 영상 데이터를 표시하고, 3D 모드에서 멀티 뷰 포맷의 3D 영상 데이터를 표시한다.
표시패널 구동부는 표시패널(10)의 데이터라인들(105)에 2D/3D 영상의 데이터전압들을 공급하기 위한 데이터 구동회로(12)와, 표시패널(10)의 게이트라인들(106)에 게이트펄스(도는 스캔펄스)를 순차적으로 공급하기 위한 게이트 구동회로(13)를 포함한다. 이 표시패널 구동부는 3D 모드에서 멀티 뷰 포맷의 데이터로 입력된 3D 영상 데이터를 표시패널(10)의 픽셀들에 공간적으로 분산하여 기입한다.
데이터 구동회로(12)는 타이밍 콘트롤러(110)로부터 입력되는 디지털 비디오 데이터를 아날로그 감마전압으로 변환하여 데이터전압들을 발생하고 그 데이터전압을 표시패널(10)의 데이터라인들(15)에 공급한다. 게이트 구동회로(13)는 타이밍 콘트롤러(110)의 제어 하에 데이터라인들(15)에 공급되는 데이터전압과 동기되는 게이트펄스(또는 스캔펄스)를 게이트라인들(16)에 공급하고, 그 게이트펄스를 순차적으로 시프트시킨다.
3D 광학소자(20)는 도 9 및 도 10과 같은 렌즈(LENTI)나 베리어(BAR)로 구현될 수 있다. 3D 광학소자(20)는 표시패널(10)의 앞이나 뒤에 접합되거나 혹은 표시패널(10)에 내장되어 3D 영상 데이터의 좌안 영상 데이터와 우안 영상 데이터의 광축을 분리한다. 스위쳐블 베리어(BAR)나 스위쳐블 렌즈(LENS)는 액정과 같은 복굴절 매질, 전극 등을 포함하고 3D 광학소자 구동부(21)에 의해 전기적으로 구동되어 좌안 영상과 우안 영상의 빛의 광축을 분리시킨다.
3D 광학소자(20)는 액정패널을 이용하여 전기적으로 제어되는 스위쳐블 베리어(switchable barrier)나 스위쳐블 렌즈(switchable lens)로 구현될 수 있다. 본원 출원인은 미국출원 13/077565, 미국출원 13/325272, 대한민국 출원 10-2010-0030531, 대한민국 출원 10-2010-0130547 등을 통해 스위쳐블 베리어와 스위쳐블 렌즈를 제안한 바 있다.
3D 광학소자 구동부(21)는 타이밍 콘트롤러(110)의 제어 하에 3D 광학소자(20)를 구동한다. 3D 광학소자(20)는 2D 모드에서 입사 광을 그대로 통과시킨다. 반면에, 3D 광학소자(20)는 3D 모드에서 도 9 및 도 10과 같이 멀티 뷰 영상들의 광축을 분리한다. 도 9 및 도 10은 3D 모드에서 4 뷰 영상이 픽셀 어레이에 표시된 예이다.
이미지 처리 장치(100)는 전처리 과정에서 입력 2D 영상 데이터의 뎁쓰 맵을 생성하고 전술한 뎁쓰 트랜지션 제어 방법으로 물체의 에지 부분에서 뎁쓰 값을 조정한 후, 이미지 와핑과 홀 필링 알고리즘을 적용하여 가상 시점의 새로운 영상 데이터를 생성한다. 이미지 처리 장치(100)의 전처리부(도 11, 103)는 도 11과 같이 연산량이 작은 가우시안 필터(102)를 더 포함할 수 있다. 이어서, 이미지 처리 장치(100)는 원본 2D 이미지 데이터와 그 데이터를 바탕으로 생성된 가상 시점의 영상 데이터들을 미리 설정된 멀티 뷰 포맷으로 재정렬하여 타이밍 콘트롤러(110)에 공급한다.
타이밍 콘트롤러(110)는 호스트 시스템(300)으로부터 입력되는 2D 영상의 디지털 비디오 데이터(RGB)를 데이터 구동회로(12)에 공급한다. 그리고 타이밍 콘트롤러(110)는 3D 모드에서 이미지 처리 장치(100)로부터 입력되는 영상 데이터를 포함한 멀티 뷰 포맷의 데이터를 데이터 구동회로(12)에 공급한다. 타이밍 콘트롤러(110)는 2D/3D 입력 영상의 디지털 비디오 데이터(RGB)와 동기되어 호스트 시스템(300)로부터 입력된 수직 동기신호, 수평 동기신호, 데이터 인에이블 신호, 메인 클럭 등의 타이밍신호를 수신한다. 타이밍 콘트롤러(110)는 수신된 타이밍 신호를 이용하여 표시패널 구동부(102, 103), 3D 광학소자 구동부(21) 각각의 동작 타이밍을 제어하고 그 구동부들의 동작 타이밍을 동기시키기 위한 타이밍 제어신호들을 발생한다. 타이밍 제어신호들은 데이터 구동회로(12)의 동작 타이밍을 제어하기 위한 소스 타이밍 제어신호(DDC), 게이트 구동회로(13)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어신호(GDC) 및 스위쳐블 3D 광학소자 제어신호(3DC) 등을 포함한다.
타이밍 콘트롤러(110)는 입력 영상의 프레임 레이트×N(N은 2 이상의 양의 정수) Hz의 주파수로 프레임 레이트를 높여 표시패널 구동부(102, 103)와 3D 광학소자 구동부(21)의 동작 주파수를 N 배 체배된 프레임 레이트로 제어할 수 있다. 입력 영상의 프레임 레이트(frame rate)는 NTSC(National Television Standards Committee) 방식에서 60Hz이며, PAL(Phase-Alternating Line) 방식에서 50Hz이다.
호스트 시스템(300)은 TV(Television) 시스템, 셋톱박스, 네비게이션 시스템, DVD 플레이어, 블루레이 플레이어, 개인용 컴퓨터(PC), 홈 시어터 시스템, 폰 시스템(Phone system) 중 어느 하나로 구현될 수 있다. 호스트 시스템(300)은 스케일러(scaler)를 이용하여 2D/3D 입력 영상의 디지털 비디오 데이터를 표시패널(PNL, 100)의 해상도에 맞는 포맷으로 변환하고 그 데이터와 함께 타이밍 신호를 타이밍 콘트롤러(110)로 전송한다.
도 11은 본 발명의 실시예에 따른 이미지 처리 장치(100)를 보여 주는 블록도이다.
도 11을 참조하면, 이미지 처리 장치(100)는 뎁쓰 맵 생성부(106), 전처리부(103), 3D 이미지 와핑부(104), 및 홀 필링부(105)를 포함한다.
뎁쓰 맵 생성부(106)는 입력 2D 이미지의 뎁쓰 값들을 추출하여 뎁쓰 맵 이미지 데이터를 생성한다.
전처리부(103)는 뎁쓰 조정부(101)와 가우시안 필터(102)를 포함한다. 뎁쓰 조정부(101)는 전술한 뎁쓰 트랜지션 제어 방법을 적용하여 뎁쓰 맵에서 에지 부분의 뎁쓰 값을 조정한다. 가우시안 필터(102)는 필터 매트릭스가 작은 가우시안 필터를 이용하여 뎁쓰 맵에서 에지 부분의 뎁쓰 기울기를 낮춘다. 가우시안 필터(102)는 생략될 수 있다.
3D 이미지 와핑부(104)는 전처리부(103)로부터 입력된 뎁쓰 맵의 뎁쓰 값에 따라 정의된 픽셀 시프트양 만큼 입력 2D 이미지의 픽셀 데이터를 시프트시켜 새로운 가상 시점의 영상 데이터를 생성한다. 홀 필링부(105)는 3D 이미지 와핑부(104)로부터 입력된 영상 데이터에서 홀 부분을 검출하여 그 홀 주변의 픽셀 데이터를 홀 위치로 복사한다. 도시하지 않은 데이터 포맷터(Data formatter)는 홀 필링부(105)로부터 입력되는 영상 데이터들을 미리 설정된 멀티 뷰 포맷으로 정렬하여 타이밍 콘트롤러(110)로 전송한다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위 내에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명은 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.
10 : 표시패널 12 : 데이터 구동회로
13 : 게이트 구동회로 20 : 3D 광학소자
21 : 3D 광학소자 구동부 100 : 이미지 처리 장치
101 : 뎁쓰 조정부 102 : 가우시안 필터
103 : 전처리부 104 : 3D 이미지 와핑부
105 : 홀 필링부 106 : 뎁쓰 맵 생성부
110 : 타이밍 콘트롤러

Claims (9)

  1. 입력 영상 데이터의 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부;
    상기 뎁쓰 맵에서 물체와 배경 사이의 에지 부분을 검출하고 상기 에지 부분으로부터 물체 밖의 배경 쪽으로 위치하는 뎁쓰 값들을 조정하여 뎁쓰 변화 폭을 낮추는 전처리부; 및
    상기 전처리부로부터 입력된 뎁쓰 맵의 뎁쓰 값들을 바탕으로 상기 입력 영상 데이터의 픽셀 데이터를 시프트하여 새로운 가상 시점의 영상 데이터를 생성하는 이미지 와핑부을 포함하는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 장치.
  2. 제 1 항에 있어서,
    상기 전처리부는,
    상기 뎁쓰 값들을 조정하는 뎁쓰 조정부; 및
    상기 뎁쓰 조정부로부터의 영상 데이터를 스무딩하는 가우시안 필터를 포함하는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 장치.
  3. 제 2 항에 있어서,
    상기 뎁쓰 조정부는,
    상기 에지 부분에서 물체 쪽에 위치하는 상대적으로 높은 값의 뎁쓰 값들을 조정하지 않고, 배경에 위치하고 상대적으로 낮은 값을 갖는 뎁쓰 값들의 기울기를 낮추는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 장치.
  4. 제 3 항에 있어서,
    상기 가우시안 필터는
    3×3 매트릭스 크기 단위로 픽셀 데이터들을 가우시안 분포로 연산하는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 장치.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 전처리부는
    소정의 문턱값 이상으로 뎁쓰 값들이 변하는 에지 부분만을 대상으로 뎁쓰 값들을 조정하는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 장치.
  6. 입력 영상 데이터의 뎁쓰 맵을 생성하는 단계;
    상기 뎁쓰 맵에서 물체와 배경 사이의 에지 부분을 검출하고 상기 에지 부분으로부터 물체 밖의 배경 쪽으로 위치하는 뎁쓰 값들을 조정하여 뎁쓰 변화 폭을 낮추는 단계; 및
    상기 뎁쓰 값들이 조정된 뎁쓰 맵의 뎁쓰 값들을 바탕으로 상기 입력 영상 데이터의 픽셀 데이터를 시프트하여 새로운 가상 시점의 영상 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 방법.
  7. 제 6 항에 있어서,
    상기 뎁쓰 변화 폭을 낮추는 단계는,
    가우시안 필터를 이용하여 상기 에지 부분의 뎁쓰 값들을 스무딩 처리하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 방법.
  8. 제 7 항에 있어서,
    상기 뎁쓰 변화 폭을 낮추는 단계는,
    상기 에지 부분에서 물체 쪽에 위치하는 상대적으로 높은 값의 뎁쓰 값들을 조정하지 않고, 배경에 위치하고 상대적으로 낮은 값을 갖는 뎁쓰 값들의 기울기를 낮추는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 방법.
  9. 제 6 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 뎁쓰 변화 폭을 낮추는 단계는,
    소정의 문턱값 이상으로 뎁쓰 값들이 변하는 에지 부분만을 대상으로 뎁쓰 값들을 조정하는 것을 특징으로 하는 입체 영상 표시장치의 이미지 처리 방법.
KR20130117376A 2013-10-01 2013-10-01 입체 영상 표시장치의 이미지 처리 장치 및 방법 KR20150038954A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130117376A KR20150038954A (ko) 2013-10-01 2013-10-01 입체 영상 표시장치의 이미지 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130117376A KR20150038954A (ko) 2013-10-01 2013-10-01 입체 영상 표시장치의 이미지 처리 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150038954A true KR20150038954A (ko) 2015-04-09

Family

ID=53029410

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130117376A KR20150038954A (ko) 2013-10-01 2013-10-01 입체 영상 표시장치의 이미지 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20150038954A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586306B2 (en) 2017-03-31 2020-03-10 Korea Advanced Institute Of Science And Technology Immersive display apparatus and method for creation of peripheral view corresponding to input video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10586306B2 (en) 2017-03-31 2020-03-10 Korea Advanced Institute Of Science And Technology Immersive display apparatus and method for creation of peripheral view corresponding to input video

Similar Documents

Publication Publication Date Title
TWI598846B (zh) 影像資料處理方法以及使用該方法的立體影像顯示裝置
KR101380517B1 (ko) 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
US9838674B2 (en) Multi-view autostereoscopic display and method for controlling optimal viewing distance thereof
US8743111B2 (en) Stereoscopic image display and method for driving the same
KR101981527B1 (ko) 무안경 입체 영상 표시장치와 그 구동 방법
KR102218777B1 (ko) 무안경 입체영상표시장치
KR20160079556A (ko) 무안경 입체영상표시장치
KR20130056133A (ko) 표시 장치 및 그 구동 방법
KR101820497B1 (ko) 표시 장치 및 그 구동 방법
KR20160079555A (ko) 무안경 입체영상표시장치
US8952957B2 (en) Three-dimensional display apparatus
KR20150038954A (ko) 입체 영상 표시장치의 이미지 처리 장치 및 방법
KR102334031B1 (ko) 무안경 입체영상표시장치 및 그 구동방법
KR101904472B1 (ko) 입체 영상 표시장치
KR101798236B1 (ko) 입체 영상 표시장치와 그 휘도 조절 방법
US9137520B2 (en) Stereoscopic image display device and method of displaying stereoscopic image
US20130063420A1 (en) Stereoscopic Image Display Method, Stereoscopic Image Driving Method, and Stereoscopic Image Display System
KR102080611B1 (ko) 이미지 생성 장치 및 방법
KR101992161B1 (ko) 입체 영상 표시장치와 그 극성 제어 방법
KR20160024283A (ko) 렌티큘러 렌즈 방식의 입체영상표시장치
KR20150002327A (ko) 무안경 입체 영상 표시장치와 그 구동 방법
KR102275491B1 (ko) 멀티뷰 영상의 크로스토크 저감 방법 및 장치와 이를 이용한 멀티 뷰 무안경 입체 영상 표시장치
KR102586226B1 (ko) 뷰 맵 데이터 생성방법 및 장치
KR102492367B1 (ko) 영상 데이터 생성 방법과 이를 이용한 입체 영상 표시 시스템
KR20160030770A (ko) 무안경 입체영상표시장치

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination