KR102198352B1 - Tiled Display에서 3D 영상을 보정하는 방법 및 장치 - Google Patents

Tiled Display에서 3D 영상을 보정하는 방법 및 장치 Download PDF

Info

Publication number
KR102198352B1
KR102198352B1 KR1020140057688A KR20140057688A KR102198352B1 KR 102198352 B1 KR102198352 B1 KR 102198352B1 KR 1020140057688 A KR1020140057688 A KR 1020140057688A KR 20140057688 A KR20140057688 A KR 20140057688A KR 102198352 B1 KR102198352 B1 KR 102198352B1
Authority
KR
South Korea
Prior art keywords
pixels
por
unit
display
display panel
Prior art date
Application number
KR1020140057688A
Other languages
English (en)
Other versions
KR20140135116A (ko
Inventor
웨이밍 리
밍차이 지오우
샨동 왕
샤오후이 지아오
타오 홍
하이타오 왕
김지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2014/004327 priority Critical patent/WO2014185710A1/ko
Priority to JP2016513872A priority patent/JP6590792B2/ja
Publication of KR20140135116A publication Critical patent/KR20140135116A/ko
Priority to US14/627,534 priority patent/US9977981B2/en
Application granted granted Critical
Publication of KR102198352B1 publication Critical patent/KR102198352B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Liquid Crystal (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

타일 디스플레이에서 3D 영상을 보정하는 방법 및 장치가 개시된다. 일 실시예에 따른 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이의 3D 영상(3D image) 보정 방법은 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하는 단계와, 복수의 구조광 영상들에 기초하여 타일 디스플레이의 기하 모델을 보정하는 단계와, 보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하는 단계와, 상기 광 모델을 이용하여 영상을 렌더링하는 단계를 포함할 수 있다.

Description

Tiled Display에서 3D 영상을 보정하는 방법 및 장치{APPARATUS AND METHOD FOR 3D IMAGE CALIBRATION IN TILED DISPLAY}
아래 실시예들은 Tiled Display에서 3D 영상을 보정하는 방법 및 장치에 관한 것이다.
통합 영상 디스플레이(Integral Imaging Display(IID))는 사용자가 육안으로 3D 영상을 시청할 수 있는 디스플레이 기술이다. LCD 패널 및 렌즈 어레이를 포함하는 IID에서, LCD 패널은 EIA(Elemental Image Array)라는 2D 영상을 디스플레이하고, 렌즈 어레이는 EIA에 있는 서로 다른 부분을 서로 다른 방향으로 3D 공간에 리프랙션(refraction)하여 3D 영상을 생성한다.
대형 스크린을 위한 IID의 한 방편으로 작은 렌즈 어레이를 결합하여 대형 렌즈 어레이를 구성하는 T-IID(Tiled Integral Imaging Display) 기술을 적용할 수 있다. 다만, T-IID에서 부품 설치의 정밀도 제한, 사용 과정에서 발생하는 온도 변화, 및 기계 진동 등으로 인해 서로 다른 렌즈 어레이를 정확하게 결합하는 것이 어렵고, 서로 다른 렌즈 어레이 사이에 정렬 오차가 발생할 수 있다.
일 실시예에 따른 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이의 3D 영상(3D image) 보정 방법은 상기 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하는 단계와, 상기 복수의 구조광 영상들에 기초하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계와, 보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하는 단계와, 상기 광 모델을 이용하여 영상을 렌더링하는 단계를 포함할 수 있다.
상기 보정하는 단계는 상기 복수의 구조광 영상들로부터 촬영부의 광심을 통과하는 광선에 대응하는 POR(Principal Observation Ray) 픽셀들을 추출하는 단계와, 상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계를 포함할 수 있다.
상기 추출하는 단계는 상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하고, 상기 대응 맵을 이용하여 상기 POR 픽셀들을 추출하는 단계를 포함할 수 있다.
상기 추출하는 단계는 상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하는 단계와, 상기 대응 맵을 경사 필터를 통해 필터링하여 상기 복수의 렌즈 어레이들에 포함된 렌즈의 경계를 추출하는 단계와, 상기 추출된 경계에 따라 상기 복수의 구조광 영상들로부터 제1 POR 픽셀들을 추출하는 단계와, 상기 제1 POR 픽셀들에 기초하여 상기 복수의 렌즈 어레이들 각각의 구조에 따라 제2 POR 픽셀들을 추출하는 단계와, 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들 개수의 합이 예정 개수에 도달하였는지 여부를 판단하고, 판단 결과에 따라 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들을 상기 추출된 POR 픽셀들로서 전송하는 단계를 포함할 수 있다.
상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계는 상기 추출된 POR 픽셀들을 이용하여 상기 복수의 렌즈 어레이들의 상기 디스플레이 패널에 대한 회전 및 병진 파라미터들을 계산하고, 상기 계산된 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계를 포함할 수 있다.
상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계는 상기 복수의 렌즈 어레이들 평면에 정의된 좌표계와 상기 디스플레이 패널 평면에 정의된 좌표계 간의 회전 및 변환을 2D 회전 및 변환으로 변환하는 단계와, 상기 추출된 POR 픽셀들에 기초하여 상기 촬영부의 광심 좌표를 계산하는 단계와, 상기 2D 회전 및 변환, 상기 광심 좌표에 기초하여 상기 회전 및 변환 파라미터들을 추정하는 단계와, 상기 회전 및 변환 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계를 포함할 수 있다.
상기 생성하는 단계는 상기 보정된 타일 디스플레이의 기하 모델을 이용하여 상기 복수의 렌즈 어레이들에 포함된 각 렌즈의 상기 디스플레이 패널에 대한 위치를 계산하는 단계와, 관찰 평면을 지정하고, 상기 관찰 평면으로부터 관찰 중심을 결정하는 단계와, 상기 영상의 픽셀 좌표계를 생성하고, 상기 픽셀 좌표계에 기초하여 매핑 매트릭스를 생성하는 단계와, 상기 위치, 상기 관찰 중심, 및 상기 매핑 매트릭스에 기초하여 상기 디스플레이 패널의 각 픽셀을 대응하는 렌즈의 중심에 매핑하여 상기 광 모델을 생성하는 단계를 포함할 수 있다.
상기 광 모델은 2면 직선 표기법에 의하여 표시될 수 있다.
상기 제2 POR 픽셀들을 추출하는 단계는 상기 제1 POR 픽셀들에 기초하여 상기 제2 POR 픽셀들의 위치를 예측하는 단계와, 상기 예측된 위치를 중심으로 검색 윈도우를 결정하는 단계와, 상기 검색 윈도우에 포함된 픽셀들에 대하여 로컬 경사 진폭 히스토그램(local gradient amplitude histogram)에 기초한 에너지 함수(energy function) 값을 생성하는 단계와, 상기 에너지 함수 값에 기초하여 상기 픽셀들로부터 상기 제2 POR 픽셀들을 추출하는 단계를 포함할 수 있다.
일 실시 예에 따른 디스플레이 시스템은 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이와, 상기 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하고, 상기 복수의 구조광 영상들에 기초하여 상기 타일 디스플레이의 기하 모델을 보정하고, 보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하고, 상기 광 모델을 이용하여 영상을 렌더링하는 이미지 처리 장치를 포함할 수 있다.
상기 이미지 처리 장치는 상기 복수의 구조광 영상들을 획득하는 촬영부와, 상기 복수의 구조광 영상들에 기초하여 상기 복수의 렌즈 어레이들의 디스플레이 패널에 대한 회전 및 병진 파라미터들을 계산하고, 상기 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 보정부와, 상기 보정된 타일 디스플레이의 기하 모델에 따라 상기 광 모델을 생성하는 광 모델 생성부와, 상기 광 모델을 이용하여 상기 영상을 렌더링하는 렌더링부를 포함할 수 있다.
상기 보정부는 상기 복수의 구조광 영상들로부터 상기 촬영부의 광심을 통과하는 광선에 대응하는 POR 픽셀들을 추출하는 POR 픽셀 추출부와, 상기 추출된 POR 픽셀들을 이용하여 상기 회전 및 병진 파라미터들을 계산하고, 상기 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 렌즈 어레이 보정부를 포함할 수 있다.
상기 POR 픽셀 추출부는 상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하고, 상기 대응 맵을 이용하여 상기 POR 픽셀들을 추출할 수 있다.
상기 POR 픽셀 추출부는 상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하는 픽셀 분석부와, 상기 대응 맵을 경사 필터를 통해 필터링하여 상기 복수의 렌즈 어레이들에 포함된 렌즈의 경계를 추출하는 에지 추출부와, 상기 추출된 경계와 상기 복수의 렌즈 어레이들 각각의 구조에 따라 제1 POR 픽셀들과 제2 POR 픽셀들을 추출하고, 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들 개수의 합이 예정 개수에 도달하였는지 여부를 판단하고, 판단 결과에 따라 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들을 상기 추출된 POR 픽셀들로 추출하는 픽셀 추출부를 포함할 수 있다.
상기 렌즈 어레이 보정부는 상기 복수의 렌즈 어레이들 평면에 정의된 좌표계와 상기 디스플레이 패널 평면에 정의된 좌표계 간의 회전 및 변환을 2D 회전 및 변환으로 변환하는 변환부와, 상기 추출된 POR 픽셀들에 기초하여 상기 촬영부의 광심 좌표를 계산하는 광심 계산부와, 상기 2D 회전 및 변환, 상기 광심 좌표에 기초하여 상기 회전 및 변환 파라미터들을 추정하고, 상기 회전 및 변환 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 파라미터 추정부를 포함할 수 있다.
도 1은 일 실시예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 2는 도 1에 도시된 이미지 처리 장치의 개략적인 블록도이다.
도 3은 T-IID의 기하 모델을 설명하기 위한 도면이다.
도 4는 도 2에 도시된 POR 픽셀 추출부의 개략적인 블록도이다.
도 5는 POR 픽셀 추출부의 동작 방법을 설명하기 위한 도면이다.
도 6은 초기 POR 픽셀들을 설명하기 위한 도면이다.
도 7은 도 2에 도시된 렌즈 어레이 보정부의 개략적인 블록도이다.
도 8은 도 2에 도시된 렌즈 어레이 보정부의 동작 방법을 설명하기 위한 도면이다.
도 9는 도 2에 도시된 광 모델 생성부의 개략적인 블록도이다.
도 10은 광 모델 생성부의 동작 방법을 설명하기 위한 도면이다.
도 11은 도 2에 도시된 이미지 처리 장치의 동작 방법을 설명하기 위한 플로우 차트이다.
도 12는 도 2에 도시된 POR 픽셀 추출부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 13은 도 2에 도시된 렌즈 어레이 보정부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 14는 도 2에 도시된 광 모델 생성부의 동작 방법을 설명하기 위한 플로우 차트이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 디스플레이 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 디스플레이 시스템(Display System; 10)은 T-IID(Tiled Integral Imaging Display; 100)와 이미지 처리 장치(Image Processing Device; 200)를 포함할 수 있다.
T-IID(Tiled Integral Imaging Display; 100)는 복수의 IID(Integral Imaging Display)를 조합하여 대형 스크린의 3D 디스플레이를 형성할 수 있다. T-IID(100)는 디스플레이 패널(110) 및 복수의 렌즈 어레이들(130)을 포함할 수 있다. 디스플레이 패널(110)은 LCD 패널로 구현될 수 있다. 또한, 디스플레이 패널(110)은 터치 스트린 패널, FTF-LCD(Thin Film Transistor-Liquid Crystal Display) 패널, LED(Liquid Emitting Diode) 디스플레이 패널, OLED(Organic LED) 디스플레이 패널, AMOLED(Active Matrix OLED) 디스플레이 패널, 또는 플렉시블(flexible) 디스플레이 패널로 구현될 수 있다. 복수의 렌즈 어레이들(130)은 디스플레이 패널(110)의 EIA로부터 방출된 광선들(rays)을 굴절하여 3D 영상(3D image)을 생성할 수 있다. 디스플레이 패널(110)은 대형 스크린 디스플레이 패널로 구현될 수 있다. T-IID(100)는 대형 스크린 디스플레이 패널(110) 및 복수의 조합된 렌즈 어레이들(130)에 의하여 구성된 대형 스크린의 3D 디스플레이일 수 있다. 예를 들어, 디스플레이 패널(110)은 동일 평면에 위치하고, 서로 정렬된 복수의 작은 디스플레이 패널들을 포함할 수 있다.
이미지 처리 장치(200)는 디스플레이 시스템(10)의 동작을 전반적으로 제어할 수 있다. 이미지 처리 장치(200)는 마더보드(motherboard)와 같은 인쇄 회로 기판(Printed Circuit Board(PCB)), 집적 회로(Integrated Circuit(IC)), 또는 SoC(System On Chip)로 구현될 수 있다. 예를 들어, 이미지 처리 장치(200)는 애플리케이션 프로세서(application processor)일 수 있다.
이미지 처리 장치(200)는 T-IID(100)에서 3D 영상을 보정하기 위한 장치일 수 있다. 이미지 처리 장치(200)는 T-IID(100)에 포함된 서로 다른 IID부(integral imaging display unit), 예를 들어 서로 다른 렌즈 어레이(130) 간에 위치 정렬 오차가 존재할 때, 구조광 영상(structured light image)을 획득하고, 상기 구조광 영상에 기초하여 T-IID(100)의 기하 모델을 보정할 수 있다.
도 2는 도 1에 도시된 이미지 처리 장치의 개략적인 블록도이다.
도 1 및 도 2를 참조하면, 이미지 처리 장치(200)는 촬영부(capturing unit; 210), 보정부(calibration unit; 220), 광 모델 생성부(ray model generating unit; 230), 및 렌더링부(rendering unit; 240)를 포함할 수 있다.
촬영부(210)는 고정된 위치에서 T-IID(100)의 디스플레이 패널(110)에 디스플레이된 구조광 영상(structured light image)을 획득할(capture) 수 있다. 촬영부(210)는, 예를 들어, 카메라(camera), 비디오 카메라(video camera) 등으로 구현될 수 있으며, 연속적으로(sequentially) 복수의 구조광 영상들 각각을 획득할 수 있다.
구체적으로, 디스플레이 패널(110)에 어느 하나의 구조광 영상이 디스플레이될 때, 촬영부(201)는 어느 하나의 구조광 영상을 획득할 수 있다. 디스플레이 패널(110)에 다른 하나의 구조광 영상이 디스플레이될 때, 촬영부(201)는 다른 하나의 구조광 영상을 획득할 수 있다. 촬영부(210)는 디스플레이 패널(110)에 디스플레이된 구조광 영상들 모두를 획득할 때까지 상기 과정을 반복할 수 있다. 촬영부(210)는 획득된 복수의 구조광 영상들을 보정부(220)로 전송할 수 있다.
보정부(220)는 T-IID(100)의 기하 모델(geometric model)을 보정할 수 있다. 보정부(220)는 촬영부(210)에 의하여 획득된 구조광 영상으로부터 T-IID(100)의 기하 모델을 보정하기 위한 기하 파라미터 정보(geometric parameter information)를 획득할 수 있다. T-IID(100)의 기하 모델은 복수의 렌즈 어레이들(130)에 대한 가상 렌즈 어레이들(virtual lens arrays)의 집합일 수 있다. 가상 렌즈 어레이들은 복수의 렌즈 어레이들(130) 각각에 대응될 수 있다. 다른 예로, 가상 렌즈 어레이들은 복수의 렌즈 어레들(130)을 그룹화한 그룹들 각각에 대응될 수 있다.
도3은 T-IID의 기하 모델을 설명하기 위한 도면이다. 도 3에서는 설명의 편의를 위해 복수의 렌즈 어레이들(130) 중에서 4개의 렌즈 어레이들 만을 도시하였다.
도 1 내지 도 3을 참조하면, T-IID(100)의 기하 모델은 디스플레이 패널(110)에 대한 회전 파라미터들(rotation parameters; R1~R4)과 병진 파라미터들(translation parameters; T1~T4)을 가질 수 있다. 예를 들어, Ri는 3x3의 회전 매트릭스이고, 제i 번째 렌즈 어레이의 회전을 의미할 수 있다. Ti는 제i 번째 렌즈 어레이의 병진 벡터를 의미할 수 있다.
도 2의 보정부(220)는 POR 픽셀 추출부(POR extraction unit; 270) 및 렌즈 어레이 보정부(lens array calibration unit; 290)를 포함할 수 있다. POR 픽셀 추출부(270)는 복수의 구조광 영상들에 기초하여 촬영부(210)의 광심(optical center)을 통과하는 광선(light ray)에 대응하는 POR(Principal Observation Ray) 픽셀들을 추출할 수 있다. 예를 들어, POR 픽셀 추출부(270)는 복수의 구조광 영상들을 디코딩하여 디스플레이 패널(110)의 픽셀들과 촬영부(210)의 픽셀들 사이의 대응 맵(correspondence map)을 생성하고, 대응 맵을 이용하여 POR(Principal Observation Ray) 픽셀들을 추출할 수 있다. 렌즈 어레이 보정부(290)는 추출된 POR 픽셀들을 이용하여 복수의 렌즈 어레이들(130)의 디스플레이 패널(110)에 대한 회전 및 병진 파라미터들을 계산하고, 계산된 회전 및 병진 파라미터들을 이용하여 T-IID(100)의 기하 모델(geometric model)을 보정할 수 있다.
도 4는 도 2에 도시된 POR 픽셀 추출부의 개략적인 블록도이고, 도 5는 POR 픽셀 추출부의 동작 방법을 설명하기 위한 도면이다.
도 1 내지 도 5를 참조하면, POR 픽셀 추출부(270)는 픽셀 분석부(pixel analysis unit; 271), 에지 추출부(edge extraction unit 272), 및 픽셀 추출부(pixel extraction unit; 273)를 포함할 수 있다.
픽셀 분석부(271)는 촬영부(210)로부터 획득된 복수의 구조광 영상들을 디코딩하여 디스플레이 패널(110)의 픽셀들과 촬영부(210)의 픽셀들 사이의 대응 맵(correspondence map)을 생성할 수 있다. 예를 들어, 픽셀 분석부(271)는 복수의 구조광 영상들을 이용해 촬영부(210)의 픽셀들 각각을 디스플레이 패널(110)의 픽셀들 각각에 맵핑하여 대응 맵을 생성할 수 있다. 촬영부(210)의 픽셀들 각각은 3D 공간의 하나의 광선(light ray)에 대응될 수 있다. 광선은 복수의 렌즈 어레이들(130) 중 대응하는 렌즈 어레이에 포함된 렌즈를 통해 굴절(refraction)한 후 디스플레이 패널(110)의 픽셀과 교차함으로, 촬영부(210)의 픽셀은 디스플레이 패널(110)의 픽셀에 대응하여 매핑될 수 있다.
에지 추출부(272)는 경사 필터를 통해 대응 맵을 필터링하여 복수의 렌즈 어레이들(130)에 포함된 렌즈의 경계(boundary)를 추출할 수 있다. 예를 들어, 에지 추출부(272)는 경사 필터를 통해 대응 맵에서 급격한 변화를 검출하여 렌즈의 경계를 추출할 수 있다. 에지 추출부(272)는 복수의 렌즈 어레이들(130)에 포함된 모든 렌즈들의 에지를 모두 추출하지 않고, 효율을 향상시키기 위해 일부 렌즈들의 에지만 추출할 수 있다.
픽셀 추출부(273)는 촬영부(210)의 광심(optical center)을 통과하는 광선(light ray)을 POR(Principal Observation Ray)로 추출할 수 있다. 예를 들어, 촬영부(210)의 광심을 통과하는 광선은 촬영부(210)의 렌즈 중심을 통과(pass)하기 때문에 전송 방향이 변하지 않으므로 기하 정보를 용이하게 사용할 수 있다. POR은 촬영부(210)의 광심과 렌즈의 광심을 통과할 수 있다. 도 5에 도시된 바와 같이, 렌즈 어레이에서 POR에 대응하는 픽셀은 렌즈 어레이의 렌즈의 중심에 대응될 수 있다. 이하 POR 픽셀은 렌즈에 해당하며 촬영부(210) 및 디스플레이 패널(110)의 픽셀과 구분되는 의미로 사용될 수 있다.
픽셀 추출부(273)는 추출된 렌즈의 경계에 따라 복수의 구조광 영상들로부터 제1 POR 픽셀들을 추출할 수 있다. 제1 POR 픽셀들은 제1 예정 개수일 수 있으며, 예를 들어, 초기 POR 픽셀들로 미리 설정되거나 검출 장치(미도시)를 통해 자동으로 검출될 수 있다.
도 6에 도시된 바와 같이, 하나의 렌즈 어레이에 대하여 제1 예정 개수 3개의 POR 픽셀들(POR_a, POR_b, POR_c)을 제공하여 제1 POR 픽셀들로 설정할 수 있다. 하나의 POR 픽셀(POR_a)이 렌즈 어레이의 한 코너(corner) 렌즈에 위치하고, 그 외 2개의 POR 픽셀들(PPOR_b, POR_c)이 POR 픽셀(POR_a)에 인접함으로써, 렌즈 어레이 두 개의 변의 방향이 제공될 수 있다.
픽셀 추출부(273)는 제1 POR 픽셀들에 기초하여 복수의 렌즈 어레이들(130) 각각의 구조에 따라 제2 POR 픽셀들을 추출할 수 있다. 예를 들어, 픽셀 추출부(273)는 제1 POR 픽셀들에 기초하여 복수의 렌즈 어레이들(130) 각각의 구조에 따라 제2 POR 픽셀들의 위치를 예측하고, 예측된 위치를 중심으로 검색 윈도우를 결정할 수 있다. 렌즈 어레이들(130) 각각의 구조는 렌즈 형상(lens shape), 렌즈 피치(lens pitch), 렌즈 배열(lens arrangement), 초점 거리(focal length), 및 렌즈 어레이 크기(lens array size)를 포함할 수 있다.
픽셀 추출부(273)는 검색 윈도우에 포함된 각 픽셀의 위치에서 에너지 함수를 생성하여 각 픽셀이 제2 POR 픽셀들로 될 가능성을 결정하고, 가능성이 가장 큰 POR 픽셀들을 선택하여 제2 POR 픽셀들로 추출할 수 있다. 예를 들어, 픽셀 추출부(273)는 로컬 경사 진폭 히스토그램(local gradient amplitude histogram)에 기초한 에너지 함수(energy function)를 이용할 수 있다. 각 픽셀의 에너지 함수 값은 각 픽셀 주변을 포함하는 검색 윈도우(local rectangular window) 내 영상 경상 진폭 값들(image gradient amplitude values)의 합일 수 있다. 검색 윈도우는 사각형(square 또는 rectangular) 영상 영역(image region)이고, 한 변의 길이(length)는 구조광 영상을 촬영한 촬영부(210)의 렌즈의 지름의 0.5 배일 수 있다. 픽셀의 에너지 함수 값이 작을수록 픽셀은 제2 POR 픽셀들에 포함될 가능성이 클 수 있다. 픽셀 추출부(273)는 에너지 함수 값이 가장 낮은 픽셀들을 제2 POR 픽셀들로 결정할 수 있다.
픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수에 도달하는지 여부를 판단하고, 판단결과에 따라 제1 POR 픽셀들과 제2 POR 픽셀들을 렌즈 어레이 보정부(290)로 전송할 수 있다. 제2 예정 개수는 미리 설정될 수 있다.
예를 들어, 제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수일에 도달할 때, 픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들을 렌즈 어레이 보정부(290)로 전송할 수 있다. 제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수에 도달하지 못할 때, 픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들에 기초하여, 복수의 렌즈 어레이들 각각의 구조에 따라 다음의 가능한 POR 픽셀들을 추출하고, POR 픽셀들의 개수가 제2 예정 개수에 도달할 때까지 반복 수행할 수 있다.
렌즈 어레이 보정부(290)는 POR 픽셀 추출부(270)로부터 추출된 POR 픽셀들에 기초하여 복수의 렌즈 어레이들(130) 각각의 디스플레이 패널(110)에 대한 상태를 계산할 수 있다. 렌즈 어레이의 상태는 회전 및 병진 파라미터를 포함할 수 있다.
도 7은 도 2에 도시된 렌즈 어레이 보정부의 개략적인 블록도이고, 도 8은 도 2에 도시된 렌즈 어레이 보정부의 동작 방법을 설명하기 위한 도면이다.
도 7을 참조하면, 렌즈 어레이 보정부(290)는 변환부(conversion unit; 291), 광심 계산부(optical center calculation unit; 292), 및 파라미터 추정부(parameter estimation unit; 293)를 포함할 수 있다.
도 8에 도시된 바와 같이, 디스플레이 패널 평면(110-1), 렌즈 어레이 평면(130-1), 촬영부 영상 평면(210-1)에 대해 각각 3개의 좌표계(OwXwYwZw, OaXaYaZa, OcXcYcZc)가 정의될 수 있다. 예를 들어, 전역 좌표계(world coordinate system; OwXwYwZw)는 디스플레이 패널 평면(110-1)에서 정의되고, 좌표계(OaXaYaZa)는 렌즈 어레이 평면(130-1)에서 정의될 수 있다. 좌표계(OcXcYcZc)는 촬영부(210)에서 정의되고, Oc는 촬영부(210)의 광심(optical center)일 수 있다.
제k 번째 렌즈 어레이에 포함된 제i 번째 렌즈는 좌표계(OwXwYwZw)에서
Figure 112014045228112-pat00001
로 표현될 수 있다.
Figure 112014045228112-pat00002
,
Figure 112014045228112-pat00003
,
Figure 112014045228112-pat00004
는 좌표계(OwXwYwZw)에서 제k 번째 렌즈 어레이에 포함된 제i 번째 렌즈의 X, Y, Z 좌표를 의미할 수 있다. 예를 들어, 제k 번째 렌즈 어레이로부터 디스플레이 패널(110)까지의 거리가 고정되므로
Figure 112014045228112-pat00005
는 고정 값일 수 있다.
제k 번째 렌즈 어레이에 포함된 제i 번째 렌즈는 좌표계(OaXaYaZa)에서
Figure 112014045228112-pat00006
로 표현될 수 있다.
Figure 112014045228112-pat00007
,
Figure 112014045228112-pat00008
,
Figure 112014045228112-pat00009
는 좌표계(OaXaYaZa)에서 제k 번째 렌즈 어레이에 포함된 제i 번째 렌즈의 X, Y, Z 좌표를 의미할 수 있다. 예를 들어, 제k 번째 렌즈 어레이가 렌즈 어레이 평면(130-1)에 위치함으로써,
Figure 112014045228112-pat00010
는 0일 수 있다.
변환부(291)는 좌표계(OwXwYwZw)와 좌표계(OaXaYaZa) 간의 회전(rotation) 및 변환(translation)을 2D 회전 및 변환으로 수학식 1과 같이 변환할 수 있다.
Figure 112014045228112-pat00011
Figure 112014045228112-pat00012
는 제k 번째 렌즈 어레이의 LCD 패널에 대한 회전 각도(rotational angle)를 의미하고,
Figure 112014045228112-pat00013
는 제k 번째 렌즈 어레이의 LCD 패널에 대한 병진 벡터(translation vector)를 의미할 수 있다. 여기서,
Figure 112014045228112-pat00014
는 g로 표시하고, g는 기지수(known quantity)이고, 렌즈의 광심(optical center)와 디스플레이 패널 평면(130-1) 간의 거리를 의미할 수 있다.
광심 계산부(292)는 POR 픽셀 추출부(270)로부터 추출된 POR 픽셀들에 기초하여 촬영부(210)의 광심 좌표
Figure 112014045228112-pat00015
를 계산할 수 있다.
Figure 112014045228112-pat00016
,
Figure 112014045228112-pat00017
,
Figure 112014045228112-pat00018
는 촬영부(210)의 광심이 좌표계(OcXcYcZc)에서의 X, Y, Z 좌표를 의미할 수 있다.
광심 계산부(292)는 POR 픽셀 추출부(270)로부터 추출된 POR 픽셀들을 촬영부 영상 평면(210-1)과 디스플레이 패널 평면(130-1) 간의 평면 호모그래피(planar homography)에 이용될 수 있다. 예를 들어, POR은 디스플레이 패널(130) 픽셀
Figure 112014045228112-pat00019
과 렌즈의 광심
Figure 112014045228112-pat00020
을 통과하여 촬영부 영상 평면(210-1)의 픽셀
Figure 112014045228112-pat00021
에 위치할 수 있다. 복수의 구조광 영상들을 통해 디스플레이 패널(110)과 촬영부(210)의 픽셀의 대응 관계를 획득하고, 이를 대응 포인트 페어(point pair)인
Figure 112014045228112-pat00022
로 표시할 수 있다. 예를 들어,
Figure 112014045228112-pat00023
및
Figure 112014045228112-pat00024
은 디스플레이 패널 평면(130-1) 및 촬영부 영상 평면(210-1)에서 POR이 통과하는 포인트를 의미할 수 있다.
파라미터 추정부(293)는 2D 회전 및 변환, 촬영부(210)의 광심 좌표에 기초하여 복수의 렌즈 어레이들(130)의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터들을 추정할 수 있다.
하나의 POR에 위치한 3개의 포인트
Figure 112014045228112-pat00025
,
Figure 112014045228112-pat00026
,
Figure 112014045228112-pat00027
는 아래 수학식 2와 같이 표현될 수 있다.
Figure 112014045228112-pat00028
Figure 112014045228112-pat00029
및
Figure 112014045228112-pat00030
는
Figure 112014045228112-pat00031
의 좌표계에서의 X, Y 좌표를 의미하고, 수학식 2는 수학식 3으로 다시 표현될 수 있다.
Figure 112014045228112-pat00032
여기서,
Figure 112014045228112-pat00033
이고,
Figure 112014045228112-pat00034
일 수 있다.
Figure 112014045228112-pat00035
및
Figure 112014045228112-pat00036
가 추정되므로, 수학식 3의 파라미터들은 추정될 수 있다.
수학식 1을 수학식 3에 대입할 때, 제k 번째 렌즈 어레이의 디스플레이 패널(110)에 대한 회전 및 변환을 지시하는 값이
Figure 112014045228112-pat00037
로 표현되고 수학식 4는 아래와 같이 표현될 수 있다.
Figure 112014045228112-pat00038
수학식 4를
Figure 112014045228112-pat00039
로 표시하고 M개(M≥0, 정수)의 POR에 결합하여 수학식 5를 획득할 수 있다.
Figure 112014045228112-pat00040
여기서,
Figure 112014045228112-pat00041
이고,
Figure 112014045228112-pat00042
일 수 있다. 따라서, 최소 제곱법을 이용하여 제k 번째 렌즈 어레이의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터 G를 획득할 수 있다.
Figure 112014045228112-pat00043
파라미터 추정부(293)는 상술한 계산을 통해 복수의 렌즈 어레이들(130)의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터들을 획득하고, T-IID(100)의 기하 모델을 보정할 수 있다.
보정된 T-IID(100)의 기하 모델은 도 2의 광 모델 생성부(230)로 전송될 수 있다.
도 9는 도 2에 도시된 광 모델 생성부의 개략적인 블록도이고, 도 10은 광 모델 생성부의 동작 방법을 설명하기 위한 도면이다.
도 9를 참조하면, 광 모델 생성부(230)는 위치 계산부(position calculation unit; 231), 관찰 평면 지정부(observation plane specifying unit; 232), 매트릭스 생성부(matrix generating unit; 233), 및 매핑부(mapping unit; 234)를 포함할 수 있다.
위치 계산부(231)는 보정된 T-IID(100)의 기하 모델을 이용하여 복수의 렌즈 어레이들(130)에 포함된 각 렌즈의 디스플레이 패널(110)에 대한 위치를 계산할 수 있다. 위치 계산부(231)는 계산된 위치들을 집합 H로 저장할 수 있다. 집합 H는 수학식 7과 같이 표현될 수 있다.
Figure 112014045228112-pat00044
여기서, H(j)는 좌표계(OwXwYwZw)에서 제j 번째 렌즈의 광심의 3D 좌표를 의미할 수 있다. s(j), t(j), g 각각은 좌표계(OwXwYwZw)에서 제j 번째 렌즈의 광심의 X, Y, Z 좌표를 의미할 수 있다. NL은 렌즈의 개수를 의미할 수 있다. 도 10에 도시된 것과 같이 렌즈 어레이 평면(130-1)이 디스플레이 패널 평면(110-1)과 평행함으로써 Zw 방향에서 각 렌즈의 광심들과 디스플레이 패널(110)의 거리가 초점 거리(g)와 같을 수 있다.
예를 들면, 보정된 T-IID(100)의 기하 모델을 이용하여, 렌즈 어레이의 제j 번째 렌즈의 렌즈 어레이 평면에의 위치 (x(j), y(j))를 획득할 수 있다. 또한, 위치 계산부(231)는 렌즈 어레이의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터
Figure 112014045228112-pat00045
에 의한 수학식 8을 이용하여 제k 번째 렌즈 어레이의 제j 번째 렌즈의 디스플레이 패널(110)에 대한 위치를 계산할 수 있다.
Figure 112014045228112-pat00046
관찰 평면 지정부(232)는 관찰 평면을 지정하고, 관찰 평면으로부터 관찰 중심(Vc)을 결정할 수 있다. 예를 들어, 관찰 거리(D)는 EXP(empirical value)이고, 관찰 중심(Vc)은 디스플레이 패널 평면(110-1)의 중심 수직선에서 관찰 평면까지의 교차점일 수 있다.
매트릭스 생성부(233)는 EIA(Elemental Image Array) 영상의 픽셀 좌표계 [m,n]T를 생성할 수 있다. m은 EIA 영상에서 픽셀의 가로 좌표를 의미하고, n은 EIA 영상의 픽셀의 세로 좌표를 의미할 수 있다. 예를 들어, m과 n은 모두 포지티브 정수(positive integer)일 수 있다. 매트릭스 생성부(233)는 EIA 영상의 픽셀 좌표계 [m,n]T에 기초하여 EIA 영상의 복수의 렌즈 어레이들(130)의 각 렌즈에 대한 매핑 매트릭스 [S(m,n),T(m,n)]를 생성할 수 있다. S(m,n) 및 T(m,n) 각각은 좌표계(OwXwYwZw)에서 EIA 영상에 포함된 제m 행 n 열의 픽셀에 대응하는 렌즈의 광심의 수평 방향 X 및 수직 방향 Y의 위치 좌표를 의미할 수 있다. 예를 들어, S(m,n) 및 T(m,n)은 0으로 이니셜라이즈될 수 있다.
매핑부(234)는 위치 H(j), 관찰 중심(Vc), 매핑 매트릭스 [S(m,n),T(m,n)]에 기초하여 디스플레이 패널(110)의 각 픽셀을 대응하는 렌즈의 중심에 매핑할 수 있다. 예를 들어, 매핑부(234)는 하나의 렌즈의 광심(예를 들어, H(j))을 통해 관찰 중심(Vc)을 디스플레이 패널 평면(110-1)에 매핑하여 디스플레이 패널 평면(110-1)에 매핑된 픽셀을 중심으로 로컬 영상 윈도우(local image window)를 설정할 수 있다. 로컬 영상 윈도우에 포함된 각 픽셀에 대하여, 매핑부(234)는 S(q,w)=0 일 때, S(q,w) 및 T(q,w)를 s(j) 및 t(j)로 설정하고, S(q,w)≠0 일 때,
Figure 112014045228112-pat00047
통해 현재 픽셀을 관찰 평면에 매핑하여 포인트(P1)를 획득하고, 현재 픽셀을 관찰 평면에 매핑하여 포인트(P2)를 획득할 수 있다. 매핑부(234)는 관찰 중심(Vc)부터 포인트(P1)까지의 거리 |VcP1|를 Vc부터 포인트(P2)까지의 거리 |VcP2|와 비교할 수 있다. 매핑부(234)는 |VcP1|≥|VcP2| 일 때, S(q,w) 및 T(q,w)를 s(j) 및 t(j)로 설정하고, |VcP1|<|VcP2|일 때, S(q,w) 및 T(q,w)을 원래의 값으로 보유할 수 있다. 예를 들어, 로컬 검색 윈도는 네모 형상의 윈도이고, 사이드 길이가 1.2p(D+g)/(D•s)일 수 있다. 여기서, p는 인접된 렌즈의 중심 간의 거리(렌즈 지름)이고, s는 디스플레이 패널(110)의 인접된 픽셀의 중심 간의 거리(픽셀의 물리적 넓이), 1.2는 EXP(empirical value)일 수 있다. 매핑부(234)는 인접된 렌즈에 대응하는 로컬 영상 윈도우 간의 오버랩을 확보하여, EIA 영상의 각 픽셀에 대해 |VcP1|와 |VcP2|의 비교를 적어도 2번 수행하고, 각 픽셀을 최적의 하나의 렌즈 중심에 매핑할 수 있다. 매핑부(234)는 매핑 결과에 따라 2면 직선 표기법(two plane straight notation)에 의하여 표시된 광 모델 {U(m,n),V(m,n), S(m,n),T(m,n)}을 생성할 수 있다. 하나의 평면은 디스플레이 패널 평면(110-1)이고, 다른 하나의 평면은 렌즈 어레이 평면(130-1) 수 있다. [U(m,n),V(m,n)]는 디스플레이 평면(110-1)의 좌표계에서 라이트와 디스플레이 평면(110-1)의 교차점의 2D 좌표를 의미할 수 있다. [S(m,n),T(m,n)]는 렌즈 어레이 평면(130-1), 예를 들어 렌즈 어레이 광심 평면의 좌표계에서 라이트와 렌즈 어레이 광심 평면의 교차점의 2D 좌표를 의미할 수 있다. 매핑부(234)는 광 모델 {U(m,n),V(m,n), S(m,n),T(m,n)}을 렌더링부(240)에 전송할 수 있다.
렌더링부(240)는 라이트 모델 생성부(230)로부터 수신된 라이트 모델을 사용하여 EIA 영상을 렌더링하여 3D 영상을 정확하게 디스플레이할 수 있는 EIA 영상을 생성할 수 있다. 예를 들어, 렌더링부(240)는 라이트 모델에 따라 EIA에 포함된 각 픽셀에 대해 3D 공간에서 대응하는 라이트를 검출하고, 가상 물체의 디지털 모델을 사용하여 라이트와 디지털 모델의 교차점을 계산할 수 있다. 렌더링부(240)는 교차점에 있는 물체 표면이 라이트에 따른 칼라 값을 계산하고 칼라 값을 EIA 픽셀에 부여할 수 있다. 렌더링부는 상술한 동작를 수행하여 각 픽셀에 대한 렌더링을 완성할 수 있다.
이미지 처리 장치(200)가 T-IID(100)의 기하 모델을 보정하고, 보정된 T-IID(100)의 기하 모델을 이용하여 광 모델을 생성하고, 생성된 광 모델을 이용하여 EIA를 렌더링함으로써, T-IID(100)는 위치 정렬 오차가 존재하더라도 3D 영상을 정확하게 디스플레이할 수 있다. 초기 정렬 오차뿐만 아니라, 환경 변화 및 진동으로 인해 T-IID(100)에 정렬 오차가 발생할 때, 이미지 처리 장치(200)는 정렬 오차를 쉽게 보정하여 최적의 3D 디스플레이 상태를 유지할 수 있다. 이러한 자동 보정은 이미지 처리 장치(200)에 포함된 하나의 촬영부(210)만 사용하여 구현 가능할 수 있다.
도 11은 도 2에 도시된 이미지 처리 장치의 동작 방법을 설명하기 위한 플로우 차트이다.
도 11을 참조하면, 촬영부(210)는 디스플레이 패널(110)에 디스플레이된 복수의 구조광 영상들을 획득하고, 획득된 복수의 구조광 영상들을 보정부(220)에 전송할 수 있다(810).
보정부(220)는 획득된 복수의 구조광 영상을 이용하여 T-IID의 기하 모델을 보정할 수 있다(820).
라이트 모델 생성부(230)는 보정된 T-IID(100)의 기하 모델에 따라 광 모델을 생성할 수 있다(830).
렌더링부(240)는 라이트 모델 생성부(230)로부터 수신된 라이트 모델을 사용하여 EIA 영상을 렌더링할 수 있다(840).
도 12는 도 2에 도시된 POR 픽셀 추출부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 12를 참조하면, 픽셀 분석부(271)는 촬영부(210)로부터 획득된 복수의 구조광 영상들을 디코딩하여 디스플레이 패널(110)의 픽셀들과 촬영부(210)의 픽셀들 사이의 대응 맵(correspondence map)을 생성할 수 있다(910).
에지 추출부(272)는 경사 필터를 통해 대응 맵을 필터링하여 복수의 렌즈 어레이들(130)에 포함된 렌즈의 경계(boundary)를 추출할 수 있다(920).
픽셀 추출부(273)는 추출된 렌즈의 경계에 따라 복수의 구조광 영상들로부터 제1 POR 픽셀들을 추출할 수 있다(930).
픽셀 추출부(273)는 제1 POR 픽셀들에 기초하여 복수의 렌즈 어레이들(130) 각각의 구조에 따라 제2 POR 픽셀들을 추출할 수 있다(940).
픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수에 도달하는지 여부를 판단할 수 있다(950).
제1 POR 픽셀들과 제2 POR 픽셀들 개수의 합이 제2 예정 개수에 도달할 때, 픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들을 렌즈 어레이 보정부(290)로 전송할 수 있다(960).
픽셀 추출부(273)는 제1 POR 픽셀들과 제2 POR 픽셀들에 기초하여, 복수의 렌즈 어레이들 각각의 구조에 따라 다음의 가능한 POR 픽셀들을 추출할 수 있다(970). 픽셀 추출부(273)는 POR 픽셀들의 개수가 제2 예정 개수에 도달할 때까지 상술한 과정을 반복 수행할 수 있다.
도 13은 도 2에 도시된 렌즈 어레이 보정부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 13을 참조하면, 변환부(291)는 좌표계(OwXwYwZw)와 좌표계(OaXaYaZa) 간의 회전(rotation) 및 변환(translation)을 2D 회전 및 변환으로 수학식 1과 같이 변환할 수 있다(1010).
광심 계산부(292)는 POR 픽셀 추출부(270)로부터 추출된 POR 픽셀들에 기초하여 촬영부(210)의 광심 좌표
Figure 112014045228112-pat00048
를 계산할 수 있다(1020).
파라미터 추정부(293)는 2D 회전 및 변환, 촬영부(210)의 광심 좌표에 기초하여 복수의 렌즈 어레이들(130)의 디스플레이 패널(110)에 대한 회전 및 변환 파라미터들을 추정하고, 추정된 회전 및 변환 파라미터들을 이용하여 T-IID(100)의 기하 모델을 보정할 수 있다(1030).
도 14는 도 2에 도시된 광 모델 생성부의 동작 방법을 설명하기 위한 플로우 차트이다.
도 14를 참조하면, 위치 계산부(231)는 보정된 T-IID(100)의 기하 모델을 이용하여 복수의 렌즈 어레이들(130)에 포함된 각 렌즈의 디스플레이 패널(110)에 대한 위치를 계산할 수 있다(1110).
관찰 평면 지정부(232)는 관찰 평면을 지정하고, 관찰 평면으로부터 관찰 중심(Vc)을 결정할 수 있다(1120).
매트릭스 생성부(233)는 EIA 영상의 픽셀 좌표계 [m,n]T를 생성할 수 있다(1130).
매트릭스 생성부(233)는 EIA 영상의 픽셀 좌표계 [m,n]T에 기초하여 EIA 영상의 복수의 렌즈 어레이들(130)의 각 렌즈에 대한 매핑 매트릭스 [S(m,n),T(m,n)]를 생성할 수 있다(1140).
매핑부(234)는 위치 H(j), 관찰 중심(Vc), 매핑 매트릭스 [S(m,n),T(m,n)]에 기초하여 LCD의 각 픽셀을 대응하는 렌즈의 중심에 매핑할 수 있다(1150).
매핑부(234)는 매핑 결과에 따라 2면 직선 표기법(two plane straight notation)에 의하여 표시된 광 모델 {U(m,n),V(m,n), S(m,n),T(m,n)}을 생성할 수 있다(1160).
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 개시된 기술의 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (15)

  1. 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이의 3D 영상(3D image) 보정 방법에 있어서,
    상기 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하는 단계;
    상기 복수의 구조광 영상들에 기초하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계;
    보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하는 단계; 및
    상기 광 모델을 이용하여 영상을 렌더링하는 단계
    를 포함하고,
    상기 보정하는 단계는,
    상기 복수의 구조광 영상들로부터 촬영부의 광심을 통과하는 광선에 대응하는 POR(Principal Observation Ray) 픽셀들을 추출하는 단계; 및
    추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계
    를 포함하는, 3D 영상 보정 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하고, 상기 대응 맵을 이용하여 상기 POR 픽셀들을 추출하는 단계
    를 포함하는 3D 영상 보정 방법.
  4. 제1항에 있어서,
    상기 추출하는 단계는,
    상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하는 단계;
    상기 대응 맵을 경사 필터를 통해 필터링하여 상기 복수의 렌즈 어레이들에 포함된 렌즈의 경계를 추출하는 단계;
    상기 추출된 경계에 따라 상기 복수의 구조광 영상들로부터 제1 POR 픽셀들을 추출하는 단계;
    상기 제1 POR 픽셀들에 기초하여 상기 복수의 렌즈 어레이들 각각의 구조에 따라 제2 POR 픽셀들을 추출하는 단계; 및
    상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들 개수의 합이 예정 개수에 도달하였는지 여부를 판단하고, 판단 결과에 따라 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들을 상기 추출된 POR 픽셀들로서 전송하는 단계
    를 포함하는 3D 영상 보정 방법.
  5. 제1항에 있어서,
    상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계는,
    상기 추출된 POR 픽셀들을 이용하여 상기 복수의 렌즈 어레이들의 상기 디스플레이 패널에 대한 회전 및 병진 파라미터들을 계산하고, 상기 계산된 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계
    를 포함하는 3D 영상 보정 방법.
  6. 제1항에 있어서,
    상기 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계는,
    상기 복수의 렌즈 어레이들 평면에 정의된 좌표계와 상기 디스플레이 패널 평면에 정의된 좌표계 간의 회전 및 변환을 2D 회전 및 변환으로 변환하는 단계;
    상기 추출된 POR 픽셀들에 기초하여 상기 촬영부의 광심 좌표를 계산하는 단계;
    상기 2D 회전 및 변환, 상기 광심 좌표에 기초하여 상기 회전 및 변환 파라미터들을 추정하는 단계; 및
    상기 회전 및 변환 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 단계
    를 포함하는 3D 영상 보정 방법.
  7. 제1항에 있어서,
    상기 생성하는 단계는,
    상기 보정된 타일 디스플레이의 기하 모델을 이용하여 상기 복수의 렌즈 어레이들에 포함된 각 렌즈의 상기 디스플레이 패널에 대한 위치를 계산하는 단계;
    관찰 평면을 지정하고, 상기 관찰 평면으로부터 관찰 중심을 결정하는 단계;
    상기 영상의 픽셀 좌표계를 생성하고, 상기 픽셀 좌표계에 기초하여 매핑 매트릭스를 생성하는 단계; 및
    상기 위치, 상기 관찰 중심, 및 상기 매핑 매트릭스에 기초하여 상기 디스플레이 패널의 각 픽셀을 대응하는 렌즈의 중심에 매핑하여 상기 광 모델을 생성하는 단계
    를 포함하는 3D 영상 보정 방법.
  8. 제7항에 있어서,
    상기 광 모델은 2면 직선 표기법에 의하여 표시되는 3D 영상 보정 방법.
  9. 제4항에 있어서,
    상기 제2 POR 픽셀들을 추출하는 단계는,
    상기 제1 POR 픽셀들에 기초하여 상기 제2 POR 픽셀들의 위치를 예측하는 단계;
    상기 예측된 위치를 중심으로 검색 윈도우를 결정하는 단계;
    상기 검색 윈도우에 포함된 픽셀들에 대하여 로컬 경사 진폭 히스토그램(local gradient amplitude histogram)에 기초한 에너지 함수(energy function) 값을 생성하는 단계; 및
    상기 에너지 함수 값에 기초하여 상기 픽셀들로부터 상기 제2 POR 픽셀들을 추출하는 단계
    를 포함하는 3D 영상 보정 방법.
  10. 디스플레이 패널 및 복수의 렌즈 어레이들을 포함하는 타일 디스플레이; 및
    상기 디스플레이 패널에 디스플레이된 복수의 구조광 영상들을 획득하고, 상기 복수의 구조광 영상들에 기초하여 상기 타일 디스플레이의 기하 모델을 보정하고, 보정된 타일 디스플레이의 기하 모델에 따라 광 모델을 생성하고, 상기 광 모델을 이용하여 영상을 렌더링하는 이미지 처리 장치
    를 포함하고
    상기 이미지 처리 장치는,
    상기 복수의 구조광 영상들로부터 촬영부의 광심을 통과하는 광선에 대응하는 POR(Principal Observation Ray) 픽셀들을 추출하고, 추출된 POR 픽셀들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는
    디스플레이 시스템.
  11. 제10항에 있어서,
    상기 이미지 처리 장치는,
    상기 복수의 구조광 영상들을 획득하는 촬영부;
    상기 복수의 구조광 영상들에 기초하여 상기 복수의 렌즈 어레이들의 디스플레이 패널에 대한 회전 및 병진 파라미터들을 계산하고, 상기 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 보정부;
    상기 보정된 타일 디스플레이의 기하 모델에 따라 상기 광 모델을 생성하는 광 모델 생성부; 및
    상기 광 모델을 이용하여 상기 영상을 렌더링하는 렌더링부
    를 포함하는 디스플레이 시스템.
  12. 제11항에 있어서,
    상기 보정부는,
    상기 복수의 구조광 영상들로부터 상기 촬영부의 광심을 통과하는 광선에 대응하는 상기 POR 픽셀들을 추출하는 POR 픽셀 추출부; 및
    상기 추출된 POR 픽셀들을 이용하여 상기 회전 및 병진 파라미터들을 계산하고, 상기 회전 및 병진 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 렌즈 어레이 보정부
    를 포함하는 디스플레이 시스템.
  13. 제12항에 있어서,
    상기 POR 픽셀 추출부는,
    상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하고, 상기 대응 맵을 이용하여 상기 POR 픽셀들을 추출하는 디스플레이 시스템.
  14. 제12항에 있어서,
    상기 POR 픽셀 추출부는,
    상기 복수의 구조광 영상들을 디코딩하여 상기 디스플레이 패널의 픽셀들과 상기 촬영부의 픽셀들 사이의 대응 맵을 생성하는 픽셀 분석부;
    상기 대응 맵을 경사 필터를 통해 필터링하여 상기 복수의 렌즈 어레이들에 포함된 렌즈의 경계를 추출하는 에지 추출부; 및
    상기 추출된 경계와 상기 복수의 렌즈 어레이들 각각의 구조에 따라 제1 POR 픽셀들과 제2 POR 픽셀들을 추출하고, 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들 개수의 합이 예정 개수에 도달하였는지 여부를 판단하고, 판단 결과에 따라 상기 제1 POR 픽셀들과 상기 제2 POR 픽셀들을 상기 추출된 POR 픽셀들로 추출하는 픽셀 추출부
    를 포함하는 디스플레이 시스템.
  15. 제11항에 있어서,
    상기 렌즈 어레이 보정부는,
    상기 복수의 렌즈 어레이들 평면에 정의된 좌표계와 상기 디스플레이 패널 평면에 정의된 좌표계 간의 회전 및 변환을 2D 회전 및 변환으로 변환하는 변환부;
    상기 추출된 POR 픽셀들에 기초하여 상기 촬영부의 광심 좌표를 계산하는 광심 계산부; 및
    상기 2D 회전 및 변환, 상기 광심 좌표에 기초하여 상기 회전 및 변환 파라미터들을 추정하고, 상기 회전 및 변환 파라미터들을 이용하여 상기 타일 디스플레이의 기하 모델을 보정하는 파라미터 추정부
    를 포함하는 디스플레이 시스템.
KR1020140057688A 2013-05-15 2014-05-14 Tiled Display에서 3D 영상을 보정하는 방법 및 장치 KR102198352B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2014/004327 WO2014185710A1 (ko) 2013-05-15 2014-05-14 Tiled display에서 3d 영상을 보정하는 방법 및 장치
JP2016513872A JP6590792B2 (ja) 2013-05-15 2014-05-14 ３ｄ映像を補正する方法、装置及び表示システム
US14/627,534 US9977981B2 (en) 2013-05-15 2015-02-20 Method and apparatus for calibrating a three-dimensional (3D) image in a tiled display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310178473.6A CN104155765B (zh) 2013-05-15 2013-05-15 在拼接式集成成像显示器中校正三维图像的方法和设备
CN201310178473.6 2013-05-15

Publications (2)

Publication Number Publication Date
KR20140135116A KR20140135116A (ko) 2014-11-25
KR102198352B1 true KR102198352B1 (ko) 2021-01-04

Family

ID=51881305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140057688A KR102198352B1 (ko) 2013-05-15 2014-05-14 Tiled Display에서 3D 영상을 보정하는 방법 및 장치

Country Status (6)

Country Link
US (1) US9977981B2 (ko)
EP (1) EP2999220B1 (ko)
JP (1) JP6590792B2 (ko)
KR (1) KR102198352B1 (ko)
CN (1) CN104155765B (ko)
WO (1) WO2014185710A1 (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102370062B1 (ko) * 2014-11-24 2022-03-04 삼성전자주식회사 3차원 디스플레이 장치를 위한 보정 계수 결정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
CN105761298A (zh) * 2016-02-22 2016-07-13 浙江传媒学院 一种使用线性预测的自适应渲染方法
US10083652B2 (en) 2016-05-04 2018-09-25 International Business Machines Corporation Method, apparatus and computer product to compensate for misaligned or overlapped electronic wallpapers
GB2550137A (en) * 2016-05-09 2017-11-15 Euro Electronics (Uk) Ltd Method and apparatus for tiles light field display
KR20180057789A (ko) 2016-11-22 2018-05-31 광운대학교 산학협력단 전방향 카메라에서 효과적인 차분 움직임 백터 전송방법을 이용한 비디오 코딩 방법 및 방법 및 장치
CN107121786B (zh) * 2017-05-18 2019-07-19 中国人民解放军装甲兵工程学院 集成成像光场显示系统透镜阵列的校准方法
CN107945236B (zh) * 2017-11-09 2020-09-04 浙江大学 一种适于通用光学系统的亚像素级非线性标定方法
KR102020563B1 (ko) * 2018-01-30 2019-09-10 한국과학기술연구원 무안경식 3차원 디스플레이 시스템에 적용 가능한 영상 획득 방법과, 이를 통해 획득한 영상을 이용하여 3차원 입체 영상을 제공하는 방법, 장치 및 시스템
US10650712B2 (en) * 2018-06-29 2020-05-12 Disney Enterprises, Inc. Ordered mapping on a three-dimensional projection surface
CN110824722B (zh) * 2018-08-07 2021-10-15 宁波舜宇光电信息有限公司 结构光投射模组组装装置及投射模组的组装、检测方法
CN109814757B (zh) * 2019-01-29 2022-05-27 京东方科技集团股份有限公司 触控检测方法及装置、触控设备、计算机设备及可读介质
US11600023B2 (en) * 2020-08-31 2023-03-07 Gopro, Inc. Optical center calibration
CN114636992A (zh) * 2020-12-15 2022-06-17 深圳市灵明光子科技有限公司 相机校准方法、相机及计算机可读存储介质
CN112991178B (zh) * 2021-03-24 2022-08-02 北京百度网讯科技有限公司 图像拼接方法、装置、设备和介质
CN113298701B (zh) * 2021-06-22 2022-04-26 北京航空航天大学 一种多屏拼接的集成成像3d图像配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227957A (ja) 2007-03-13 2008-09-25 Victor Co Of Japan Ltd 映像投射位置調整システム、映像投射位置調整方法及び映像投射位置調整プログラム
JP2009276410A (ja) 2008-05-13 2009-11-26 National Institute Of Information & Communication Technology 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6310650B1 (en) 1998-09-23 2001-10-30 Honeywell International Inc. Method and apparatus for calibrating a tiled display
US7145611B2 (en) 2000-12-22 2006-12-05 Honeywell International, Inc. Seamless tiled display system
US7019713B2 (en) * 2002-10-30 2006-03-28 The University Of Chicago Methods and measurement engine for aligning multi-projector display systems
JP2004333691A (ja) * 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> レンズ位置検出方法およびその装置
JP4272464B2 (ja) * 2003-05-02 2009-06-03 日本放送協会 立体映像補正装置およびその方法
KR20040100007A (ko) 2003-05-21 2004-12-02 윤정선 멀티 스크린 또는 멀티 큐브에서 발생하는 이음매 감소 방법
CN100454140C (zh) * 2003-09-19 2009-01-21 邓兴峰 分屏式立体摄影仪
US20080129894A1 (en) 2006-12-02 2008-06-05 Electronics And Telecommunications Research Institute Geometric calibration apparatus for correcting image distortions on curved screen, and calibration control system and method using the same
US20100238090A1 (en) 2007-04-05 2010-09-23 Spectrum Dynamics Llc Screen seaming device system and method
KR100837259B1 (ko) * 2007-07-18 2008-06-12 한국과학기술원 3차원 모니터에서 영상왜곡을 보상하는 방법
KR101481505B1 (ko) 2007-11-08 2015-01-13 엘지전자 주식회사 멀티 스크린 시스템 및 그 구현 방법
US8390677B1 (en) * 2009-07-06 2013-03-05 Hewlett-Packard Development Company, L.P. Camera-based calibration of projectors in autostereoscopic displays
CN101782686A (zh) * 2009-09-22 2010-07-21 吉林大学 3d视频的led大屏幕制作方法
US8416368B2 (en) 2009-10-05 2013-04-09 Prysm, Inc. Edge illumination of bezelless display screen
US8902128B2 (en) 2009-11-04 2014-12-02 Christie Digital Systems Usa, Inc. Tiled display system and improvement therein
KR101741638B1 (ko) * 2010-08-12 2017-05-30 삼성전자 주식회사 디스플레이장치 및 그 영상보정방법
US8994714B2 (en) 2010-09-23 2015-03-31 Dolby Laboratories Licensing Corporation Method and system for display calibration with feedback determined by a camera device
US8736674B2 (en) * 2010-09-23 2014-05-27 Dolby Laboratories Licensing Corporation Method and system for 3D display calibration with feedback determined by a camera device
KR20130007778A (ko) * 2011-07-11 2013-01-21 삼성전자주식회사 균일성 조정기능이 있는 디스플레이장치 및 그 제어방법
KR101839150B1 (ko) * 2011-10-06 2018-04-27 엘지디스플레이 주식회사 3ｄ 화질개선방법과 이를 이용한 입체영상 표시장치
CN103048866B (zh) * 2012-12-13 2015-07-08 浙江大学 基于平面显示器的悬浮式360°光场三维显示装置和方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227957A (ja) 2007-03-13 2008-09-25 Victor Co Of Japan Ltd 映像投射位置調整システム、映像投射位置調整方法及び映像投射位置調整プログラム
JP2009276410A (ja) 2008-05-13 2009-11-26 National Institute Of Information & Communication Technology 立体ディスプレイ製造システム、立体ディスプレイシステムおよび立体ディスプレイシステムの製造方法

Also Published As

Publication number Publication date
EP2999220A4 (en) 2016-10-19
JP6590792B2 (ja) 2019-10-16
EP2999220B1 (en) 2017-12-13
US20150170399A1 (en) 2015-06-18
EP2999220A1 (en) 2016-03-23
JP2016526321A (ja) 2016-09-01
CN104155765B (zh) 2019-09-13
CN104155765A (zh) 2014-11-19
WO2014185710A1 (ko) 2014-11-20
US9977981B2 (en) 2018-05-22
KR20140135116A (ko) 2014-11-25

Similar Documents

Publication Publication Date Title
KR102198352B1 (ko) Tiled Display에서 3D 영상을 보정하는 방법 및 장치
US9519968B2 (en) Calibrating visual sensors using homography operators
JP5999615B2 (ja) カメラ較正情報生成装置、カメラ較正情報生成方法およびカメラ較正情報生成プログラム
JP6394081B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
CN103852060B (zh) 一种基于单目视觉的可见光图像测距方法
US8155387B2 (en) Method and system for position determination using image deformation
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
JP2007129709A (ja) イメージングデバイスをキャリブレートするための方法、イメージングデバイスの配列を含むイメージングシステムをキャリブレートするための方法およびイメージングシステム
KR101759798B1 (ko) 실내 2d 평면도의 생성 방법, 장치 및 시스템
CN110146030A (zh) 基于棋盘格标志法的边坡表面变形监测系统和方法
WO2021197370A1 (zh) 一种光场显示方法及系统、存储介质和显示面板
CN102446048A (zh) 信息处理设备以及信息处理方法
US20180020203A1 (en) Information processing apparatus, method for panoramic image display, and non-transitory computer-readable storage medium
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
CN105513074B (zh) 一种羽毛球机器人相机以及车身到世界坐标系的标定方法
CN111399634B (zh) 一种手势引导物体识别的方法及装置
CN105335959B (zh) 成像装置快速对焦方法及其设备
CN111311659A (zh) 一种基于斜交平面镜三维成像的校准方法
JP6448413B2 (ja) 屋根勾配推定システム及び屋根勾配推定方法
WO2017107564A1 (zh) 板卡图像获取方法和系统
US10769803B2 (en) Sight vector detecting method and device
JP2014032628A (ja) 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置
KR102295987B1 (ko) 스테레오 카메라 모듈의 캘리브레이션 방법 및 장치, 및 컴퓨터 판독 가능한 저장매체
CN106324976B (zh) 测试系统及测试方法
WO2020129715A1 (ja) 画像補正装置、画像補正方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant