KR101425321B1 - 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법 - Google Patents

적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법 Download PDF

Info

Publication number
KR101425321B1
KR101425321B1 KR1020130049482A KR20130049482A KR101425321B1 KR 101425321 B1 KR101425321 B1 KR 101425321B1 KR 1020130049482 A KR1020130049482 A KR 1020130049482A KR 20130049482 A KR20130049482 A KR 20130049482A KR 101425321 B1 KR101425321 B1 KR 101425321B1
Authority
KR
South Korea
Prior art keywords
lens array
image
adaptive lens
adaptive
unit
Prior art date
Application number
KR1020130049482A
Other languages
English (en)
Inventor
류관희
김남
권기철
정지성
김도형
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020130049482A priority Critical patent/KR101425321B1/ko
Application granted granted Critical
Publication of KR101425321B1 publication Critical patent/KR101425321B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/307—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using fly-eye lenses, e.g. arrangements of circular lenses

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 3차원 디스플레이 방법 중 집적영상 디스플레이 방식에 관한 것으로서, 본 발명의 3차원 집적 영상 디스플레이 시스템은 3차원 집적 영상(integrated image)을 제공하는데 필요한 요소 영상(elemental image)을 생성하기 위한 요소 영상 생성부, 상기 요소 영상 생성부에서 생성된 요소 영상을 디스플레이하기 위한 디스플레이 장치부 및 개별 요소 렌즈로 구성되고, 커브(curve) 형태이며, 상기 디스플레이 장치부에서 디스플레이되는 요소 영상을 상기 개별 요소 렌즈를 통해 통과시켜서 3차원 집적 영상을 제공하기 위한 렌즈 어레이 장치부를 포함하되, 상기 렌즈 어레이 장치부는 곡률이 조절될 수 있다. 본 발명에 의하면 3차원 집적영상 디스플레이 시스템에서, 적응형 렌즈 어레이의 곡률을 용이하게 조절할 수 있는 효과가 있다.

Description

적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법 {System for displaying 3D integrated image with adaptive lens array, and method for generating elemental image of adaptive lens array}
본 발명은 3차원 디스플레이 방법 중 집적영상 디스플레이 방식에 관한 것으로서, 특히 오브젝트 영상을 디스플레이하는 단계에서 관측자에게 넓은 시야각을 제공하기 위한 적응형 렌즈 어레이 장치에 관한 것이다.
평면 영상으로부터 3차원의 깊이감과 입체감을 느낄 수 있도록 하는 3차원 영상 구현기술은 디스플레이(display) 등의 직접적인 관련분야를 비롯해서 가전이나 통신 산업은 물론 우주항공, 예술 산업, 자동차 사업 분야 등에 광범위하게 영향을 미치고 있으며, 그 기술적 파급효과는 현재 각광받고 있는 HDTV(High Definition Television) 이상이 될 것으로 기대되고 있다.
인간이 깊이감과 입체감을 느끼는 요인으로 가장 중요하게는 두 눈 사이 간격에 의한 양안시차를 들 수 있지만, 이외에도 심리적, 기억적 요인에도 깊은 관계가 있고, 이에 따라 3차원 영상 구현기술 역시 관찰자에게 어느 정도의 3차원 영상정보를 제공할 수 있는지를 기준으로 통상 부피표현방식(volumetric type), 3차원표현방식(holographic type), 입체감표현방식(stereoscopic type)으로 구분된다.
부피표현방식은 심리적인 요인과 흡입효과에 의해 깊이방향에 대한 원근감이 느껴지도록 하는 방법으로서, 투시도법, 중첩, 음영과 명암, 움직임 등을 계산에 의해 표시하는 3차원 컴퓨터그래픽 또는 관찰자에게 시야각이 넓은 대화면을 제공하여 그 공간 내로 빨려들어가는 것 같은 착시현상을 불러일으키는 이른바 아이맥스 영화 등에 응용되고 있다.
가장 완전한 입체영상 구현기술이라 알려져 있는 3차원 표현방식은 레이저광 재생 홀로그래피 내지 백색광 재생 홀로그래피로 대표될 수 있다.
그리고 입체감표현방식은 양안(兩眼)의 생리적 요인을 이용하는 입체감을 느끼는 방식으로, 구체적으로 약 65㎜정도 떨어져 존재하는 인간의 좌우안(左右眼)에 시차정보가 포함된 평면의 연관영상이 보일 경우에 뇌가 이들을 융합하는 과정에서 표시면 전후의 공간정보를 생성해 입체감을 느끼는 능력, 즉 스테레오그라피(stereography)를 이용한 것이다. 이러한 입체감표현방식은 다안상 표시방식이라 불리며, 실질적인 입체감 생성 위치에 따라 관찰자 측의 특수 안경을 이용하는 안경방식 또는 표시면 측의 패럴랙스 베리어(parallax barrier)나 렌티큘러(lenticular) 또는 인테그럴(integral) 등의 렌즈어레이(lens array)를 이용하는 무안경 방식으로 구분될 수 있다.
부피표현방식 중 하나인 집적영상방식은, 실제 3차원 대상물에서 나오는 광의 분포 및 휘도와 동일한 광특성을 재현함으로써 실제 3차원 대상물이 없더라도 가상의 3차원 입체 영상을 인식하도록 한다.
집적 영상 방식은 립만(Lippmann)에 의해 1908년에 처음 제안되었다.
도 1은 집적영상 시스템의 픽업 및 디스플레이 개념도이다.
도 1을 참조하면, 집적 영상 디스플레이 방식은 크게 영상 획득 단계(픽업(pick up))와 영상 재생 단계로 구분한다.
영상 획득 단계(픽업)는 이미지 센서와 같은 2차원 감지기(3)와 렌즈 어레이(Lens Array)(1)로 구성되며, 이때 3차원 객체는 렌즈 어레이(1) 앞에 위치한다. 그러면 3차원 객체의 다양한 영상정보들이 렌즈 어레이(1)를 통과한 후 2차원 감지기(3)에 저장된다. 이때 저장된 영상은 요소 영상(Elemental Images)으로서 3차원 재생을 위해 이용된다.
이후 집적 영상 기술의 영상 재생 단계는 영상 획득 단계(픽업)의 역과정으로, 액정 표시 시스템과 같은 영상 재생 장치(5)와 렌즈 어레이(7)로 구성된다. 여기서, 영상 획득 단계(픽업)에서 얻은 요소 영상은 영상 재생 장치(5)에 표시되고, 요소 영상의 영상 정보는 렌즈 어레이(7)를 통과하여 공간상에 3차원 영상으로 재생된다.
집적영상 디스플레이 방식에서 사용되는 렌즈어레이는 전체 렌즈어레이와 개별 렌즈의 형태에 따라 나누어진다.
전체 렌즈 어레이는 평면 또는 커브형으로 나뉘고, 개별 렌즈의 형태는 정사각형, 정육각형, 원형으로 나누어진다.
도 2는 평면 렌즈 어레이와 적응형 렌즈 어레이의 시야각을 비교한 도면이다. 도 2에서 (a)는 평면 렌즈 어레이를 도시한 것이고, (b)는 적응형 렌즈 어레이를 도시한 것이다.
도 2 (a)에서 디스플레이 패널(21), 각 요소영상 영역(23), 집적영상(25), 평면 렌즈 어레이(27)가 도시되어 있다.
도 2 (a)를 참조하면, 평면 렌즈 어레이는 장치의 제작과 요소영상 생성이 쉬운 반면, 관찰자가 3차원 디스플레이를 관측할 수 있는 시야각이 좁다는 단점이 있다. 예를 들어, 관찰자 1의 위치에서는 집적 영상을 관찰할 수 있지만, 관찰자 2의 위치에서는 제대로 집적 영상을 시청할 수 없다. 이러한 문제점을 해결할 수 있는 적응형 렌즈 어레이 장치가 있지만, 제작이 어렵고, 렌즈 어레이가 이루는 커브의 곡률을 수정할 수 없다는 한계가 있다. 또한, 적응형 렌즈 어레이에 대한 요소영상을 생성하는데 어려움이 있다.
도 2 (b)에서 디스플레이 패널(21), 각 요소영상 영역(23), 집적영상(25), 적응형 렌즈 어레이(29)가 도시되어 있다.
도 2 (b)를 참조하면, 적응형 렌즈 어레이는 평면 렌즈 어레이와 비교하여 시야각이 넓은 것을 확인할 수 있다. 이는 관측자가 더 넓은 공간에서 3D 집적영상을 관측할 수 있다는 것을 의미한다. 반면, 평면 렌즈 어레이는 제작이 쉽다는 점에 비해 적응형 렌즈 어레이는 제작이 어려울 뿐만 아니라 현재 개발된 적응형 렌즈 어레이는 한번 제작하면 커브의 곡률을 변경할 수 없기 때문에 다양한 연구와 실험에 있어서 한계가 있다는 문제점이 있다.
대한민국 공개특허 10-2009-0002662
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 적응형 렌즈 어레이를 적용한 3차원 집적영상 디스플레이 장치를 제공하는데 그 목적이 있다.
또한, 본 발명은 적응형 렌즈 어레이의 곡률을 용이하게 조절할 수 있는 곡률 조절 장치를 제공하는데 그 다른 목적이 있다.
또한, 본 발명은 적응형 렌즈 어레이에 대한 요소영상을 효율적으로 생성하기 위한 방법을 제공하는데 그 다른 목적이 있다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명의 3차원 집적 영상 디스플레이 시스템은 3차원 집적 영상(integrated image)을 제공하는데 필요한 요소 영상(elemental image)을 생성하기 위한 요소 영상 생성부, 상기 요소 영상 생성부에서 생성된 요소 영상을 디스플레이하기 위한 디스플레이 장치부 및 개별 요소 렌즈로 구성되고, 커브(curve) 형태이며, 상기 디스플레이 장치부에서 디스플레이되는 요소 영상을 상기 개별 요소 렌즈를 통해 통과시켜서 3차원 집적 영상을 제공하기 위한 렌즈 어레이 장치부를 포함하되, 상기 렌즈 어레이 장치부는 곡률이 조절될 수 있다.
상기 렌즈 어레이 장치부는 개별 요소 렌즈로 구성되며, 커브 형태로 되어 있는 적응형 렌즈 어레이 및 상기 적응형 렌즈 어레이의 곡률을 조절하기 위한 곡률 조절 장치를 포함하여 이루어질 수 있다.
상기 요소 영상 생성부는 병렬처리 알고리즘을 이용하여 요소 영상을 생성할 수 있다. 이때, 상기 요소 영상 생성부는 OpenCL 병렬처리 라이브러리를 이용하여 가속화 기법을 수행하는 방식으로 요소 영상을 생성할 수 있다.
실시간 3차원 집적영상 생성을 위한 적응형 렌즈 어레이에 대한 요소 영상 생성 방법에 있어서, 3차원 집적 영상으로 디스플레이될 오브젝트 데이터가 로드(load)되고, 적응형 렌즈 어레이의 정보, 및 디스플레이 장치의 정보가 입력되면, 상기 적응형 렌즈 어레이를 구성하는 요소 렌즈의 수에 따라 상기 오브젝트를 바라보는 가상 카메라의 위치를 상기 적응형 렌즈 어레이와 동일하게 배치하도록 계산하는 단계, 상기 디스플레이 장치에 출력될 요소 영상에 포함되는 모든 픽셀에 대한 계산을 병렬로 처리하여 렌더링(rendering)하는 단계 및 상기 렌더링 단계에서 병렬로 처리된 모든 픽셀 정보를 이용하여 요소 영상을 생성하여 상기 디스플레이 장치에 출력하는 단계를 포함한다.
상기 적응형 렌즈 어레이의 정보는 가로 렌즈 수, 세로 렌즈 수 및 렌즈 피치(lens pitch) 정보를 포함할 수 있다. 또한, 상기 디스플레이 장치의 정보는 디스플레이 패널의 픽셀 정보일 수 있다.
상기 렌더링 단계는 OpenCL 병렬처리 라이브러리를 이용하여 렌더링할 수 있다.
g는 적응형 렌즈 어레이와 디스플레이 장치 간의 거리이고, d는 적응형 렌즈 어레이 중에서 각 요소 렌즈로부터 초점거리까지의 거리(Radius)이고,
Figure 112014027267913-pat00001
는 각 요소렌즈의 피치(pitch)를 나타내고, θ는 각 요소 렌즈와 초점거리가 이루는 각을 나타내며, fn은 중심축으로부터 멀어질수록 커지는 개별 요소영상의 크기를 나타낼 때,
Figure 112014027267913-pat00002
이고,
Figure 112014027267913-pat00003
의 수학식으로 나타낼 수 있다.
상기 렌더링 단계에서, 가상 카메라의 위치는 원을 따라 θ만큼 이동한 위치 Cn 에 놓이게 되고, Cn에서 원의 중심 O를 향하는 방향 벡터
Figure 112013038948145-pat00004
는,
Figure 112013038948145-pat00005
의 수학식으로 나타낼 수 있다.
본 발명에 의하면 3차원 집적영상 디스플레이 시스템에서, 적응형 렌즈 어레이의 곡률을 용이하게 조절할 수 있는 효과가 있다.
또한, 본 발명에 의하면 종래 픽업 단계를 소프트웨어적으로 구현함으로써, 제작 비용을 절감하고, 보다 용이하게 3차원 집적영상을 구현할 수 있는 효과가 있다.
도 1은 집적영상 시스템의 픽업 및 디스플레이 개념도이다.
도 2는 평면 렌즈 어레이와 적응형 렌즈 어레이의 시야각을 비교한 도면이다.
도 3은 본 발명의 일 실시예에 따른 3차원 집적 영상 디스플레이 시스템의 구성을 보여주는 블록도이다.
도 4는 본 발명의 일 실시예에 따른 적응형 렌즈 어레이를 이용한 집적영상 디스플레이 장치 및 요소 영상 생성 시스템을 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 곡률 조절기능을 갖는 렌즈 어레이 장치부를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 실시간 3차원 요소영상 생성을 위한 병렬처리 방법을 보여주는 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 적응형 렌즈 어레이에 대한 요소영상 생성을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 각 렌즈에 해당하는 가상카메라의 위치와 카메라가 바라보는 방향벡터를 결정하는 과정을 설명하기 위한 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 3은 본 발명의 일 실시예에 따른 집적 영상 디스플레이 시스템의 구성을 보여주는 블록도이다.
도 3을 참조하면, 본 발명의 3차원 집적 영상 디스플레이 시스템은 요소 영상 생성부(310), 디스플레이 장치부(320), 렌즈 어레이 장치부(330)를 포함한다.
요소 영상 생성부(310)는 요소 영상(elemental image)을 생성하는 역할을 한다. 본 발명의 일 실시예에서 요소 영상 생성부(310)는 병렬처리 알고리즘을 이용하여 고속으로 집적영상을 생성할 수 있다. 요소 영상 생성부(310)는 PC 등으로 구현될 수 있다.
디스플레이 장치부(320)는 요소 영상 생성부(310)에서 생성된 요소 영상을 디스플레이하는 역할을 한다. 예를 들어, 디스플레이 장치부(320)는 LCD(Liquid Crystal Display) 패널 또는 LCD 모니터로 구현될 수 있다.
렌즈 어레이 장치부(330)는 적응형 렌즈 어레이(lens array)를 포함하며, 적응형 렌즈 어레이를 통해 디스플레이 장치부(320)에서 디스플레이되는 요소 영상을 통과시켜서 3차원 집적 영상을 제공하는 역할을 한다.
도 4는 본 발명의 일 실시예에 따른 적응형 렌즈 어레이를 이용한 집적영상 디스플레이 장치 및 요소 영상 생성 시스템을 도시한 도면이다.
도 4를 참조하면, 요소 영상 생성부(310)의 기능을 수행하는 장치로 PC를 예시하고, 디스플레이 장치부(320)의 기능을 수행하는 장치로 LCD 모니터를 예시한 실시예이다.
도 4에서 보는 바와 같이, 렌즈 어레이 장치부(330)는 적응형 렌즈 어레이(332)와 곡률 조절 장치(334)를 포함하여 이루어진다.
곡률 조절 장치(334)는 적응형 렌즈 어레이(332)의 곡률이 조절되도록 하는 역할을 한다.
본 발명에서 3차원 집적영상 디스플레이를 구현하기 위하여 세 단계를 수행한다.
첫 번째 단계는 PC에서 OpenGL 라이브러리를 이용하여 커브형 요소영상을 생성하기 위한 알고리즘을 구현하는 것이다.
참고로 OpenGL(Open Graphics Library, 오픈지엘)은 1992년 실리콘 그래픽스사에서 만든 2차원 및 3차원 그래픽스 표준 API 규격으로, 프로그래밍 언어 간 플랫폼 간의 교차 응용 프로그래밍을 지원한다. OpenGL은 약 250여개 가량의 함수 호출을 이용하여 단순한 기하도형에서부터 복잡한 삼차원 장면을 생성할 수 있다. OpenGL은 현재 CAD, 가상현실, 정보시각화, 비행 시뮬레이션 등의 분야에서 활용되고 있다.
두 번째 단계는 첫 번째 단계에서 구현한 커브형 요소영상 생성 알고리즘의 속도를 향상시키기 위해 OpenCL 병렬처리 라이브러리를 이용하여 가속화 기법을 구현한다.
참고로 OpenCL(Open Computing Language)은 개방형 범용 병렬 컴퓨팅 프레임워크로서, CPU, GPU, DSP 등의 프로세서로 이루어진 이종 플랫폼에서 실행되는 프로그램을 작성할 수 있게 해 준다. OpenCL은 커널 코드를 작성하기 위한 C99 기반의 언어인 OpenCL C와 플랫폼을 정의하고 제어하기 위한 API를 포함하고 있다. OpenCL은 작업 기반(task-based) 및 데이터 기반(data-based) 병렬 컴퓨팅을 제공한다.
세 번째 단계는 CGII(Computer Generarted Integral Image) 기술을 이용하여 출력된 요소영상을 본 발명에서 제안하는 커브형 디스플레이 장치를 통해 일정한 시야각과 초점 거리에서 3차원 집적영상을 관측하는 것이다.
도 5는 본 발명의 일 실시예에 따른 곡률 조절기능을 갖는 렌즈 어레이 장치부를 도시한 도면이다.
도 5를 참조하면, 본 발명의 렌즈 어레이 장치부(330)는 적응형 렌즈 어레이(332)와 곡률 조절 장치(334)를 포함한다.
본 발명의 렌즈 어레이 장치부(330)는 부채꼴 형태의 적응형 렌즈 어레이(332)를 구비한다. 적응형 렌즈 어레이(332)는 조절가능한 구조로 되어 있어서 디스플레이 패널의 크기나 관측자가 원하는 시야각에 따라 렌즈 어레이의 곡률이 조절될 수 있다.
이러한 적응형 렌즈 어레이를 구현하기 위해서, 전체 렌즈 어레이가 하나로 구성된 유연성이 있는 렌즈 어레이를 사용하거나, 사각형 렌즈 어레이 여러 개를 부채꼴로 배치하는 방식으로 구현할 수 있다.
곡률 조절 장치(334)는 적응형 렌즈 어레이(332)의 곡률이 조절되도록 하는 역할을 한다. 도 5의 (a), (b)에서 보는 바와 같이, 사용자는 곡률 조절 장치(334)에 구비된 곡률을 조절할 수 있는 부분을 조정하여 적응형 렌즈 어레이(332)의 곡률을 조절할 수 있다.
적응형 렌즈 어레이는 평면 렌즈 어레이와 비교하여 시야각이 넓다는 특징이 있다. 이는 관측자가 더 넓은 공간에서 3차원 집적영상을 관측할 수 있다는 장점을 갖는다. 평면 렌즈 어레이는 제작이 쉽지만, 적응형 렌즈 어레이는 상대적으로 제작이 어렵고, 종래 적응형 렌즈 어레이는 한번 제작하면 커브의 곡률을 변경할 수 없기 때문에 다양한 연구와 실험에 응용하는데 한계가 있었다.
본 발명에서는 적응형 렌즈 어레이(332)의 곡률을 조절할 수 있는 곡률 조절 장치(334)를 구현하여 용이하게 적응형 렌즈 어레이(332)의 곡률을 조절할 수 있다.
도 6은 본 발명의 일 실시예에 따른 실시간 3차원 요소영상 생성을 위한 병렬처리 방법을 보여주는 흐름도이다.
종래 CGII(Computer Generated Integral Imaging)의 경우, N×N개의 렌즈 어레이에 대해 순차처리 방법을 사용하게 되면 방대한 계산량으로 인하여 실시간 상호작용(interaction)이 가능한 요소영상(Elemental Images)을 생성하는데 한계가 있다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 3차원 요소영상 생성을 위한 병렬처리 방법은 전체적으로 4단계를 거쳐서 수행된다.
1) 입력 단계: 디스플레이될 오브젝트 데이터를 로드하고, 가로 렌즈 수, 세로 렌즈 수, 렌즈 피치(lens pitch)를 포함하는 렌즈 에러이의 정보와 디스플레이 패널의 픽셀 정보(pixel pitch), 렌즈 어레이와 초점거리 사이의 거리(Radius)를 입력받는 단계이다(S610).
2) 계산 단계: 렌즈 어레이의 렌즈 수에 따라 오브젝트를 바라보는 가상 카메라의 위치를 렌즈 어레이와 동일하게 배치하기 위한 계산 과정이다(S620).
3) 렌더링 단계: 렌즈 어레이의 렌즈 수가 많을수록, 그리고 출력될 영상의 전체 해상도가 클수록 렌더링 속도가 오래 걸리기 때문에 OpenCL(병렬처리 라이브러리)를 이용하여 화면에 출력될 영상에 포함되는 모든 픽셀에 대한 계산을 병렬로 처리하는 단계이다(S630).
참고로 렌더링(rendering)이라 함은 2차원의 화상에 광원·위치·색상 등 외부의 정보를 고려하여 사실감을 불어넣어, 3차원 화상을 만드는 과정을 뜻하는 컴퓨터그래픽스 용어이다. 와이어프레임(wireframe), 레이트레이싱(raytracing) 렌더링 방법 등이 있다.
다시 말해서 렌더링 기법은 평면인 그림에 형태·위치·조명 등 외부의 정보에 따라 다르게 나타나는 그림자·색상·농도 등을 고려하면서 실감나는 3차원 화상을 만들어내는 과정 또는 그러한 기법을 일컫는다. 즉, 평면적으로 보이는 물체에 그림자나 농도의 변화 등을 주어 입체감이 들게 함으로써 사실감을 추가하는 컴퓨터그래픽상의 과정이 곧 렌더링이다.
S630 렌더링 단계에서 임의의 픽셀(i,j)가 속할 렌즈 어레이의 인덱스를 계산하고, 픽셀이 속하는 적응형 렌즈 어레이의 위치에 대한 정규화를 수행한다. 그리고, 한 픽셀에 대한 색깔을 획득한다.
4) 출력 단계: 렌더링 단계에서 병렬로 처리된 모든 픽셀정보를 이용하여 요소영상을 생성하여 화면에 출력하는 단계이다(S640).
본 발명에서 적응형 렌즈 어레이에 대한 요소영상 생성 방법은 다음과 같다.
적응형 렌즈 어레이에 대한 요소영상을 생성하기 위해서는 평면 렌즈어레이와 비교하여 두 가지 계산과정이 더 필요하다.
먼저 각 렌즈와 대응하는 요소영상이 기록될 뷰(view)의 크기를 결정하기 위한 계산이다.
도 7은 본 발명의 일 실시예에 따른 적응형 렌즈 어레이에 대한 요소영상 생성을 설명하기 위한 도면이다.
도 7을 참조하면, 중심 축(703)에서 멀어질수록 디스플레이 패널에 기록되는 각 요소영상(701)의 크기가 커진다. 아래 수식을 이용하여 각 요소영상의 크기를 계산할 수 있다.
도 7에서 g는 적응형 렌즈 어레이(332)와 디스플레이 패널 간의 거리이고, d는 렌즈 어레이 중에서 각 요소 렌즈로부터 초점거리까지의 거리(Radius)이고,
Figure 112014027267913-pat00006
는 각 요소렌즈의 피치(pitch)를 나타내고, θ는 각 요소 렌즈와 초점거리가 이루는 각을 나타내며, fn은 중심축으로부터 멀어질수록 커지는 개별 요소영상의 크기를 나타낸다.
이때, θ를 계산하는 수식은 다음 [수학식 1]과 같이 나타낼 수 있다.
Figure 112013038948145-pat00007
그리고, fn을 계산하는 수식은 다음 [수학식 2]와 같이 나타낼 수 있다.
Figure 112013038948145-pat00008
다음, 각 렌즈에 해당하는 가상 카메라의 위치와 카메라가 바라보는 방향벡터를 결정하는 과정은 다음과 같다.
렌즈 어레이가 커브형을 이루는 것과 마찬가지로 렌즈 어레이의 각 개별 렌즈에 해당하는 가상 카메라의 위치(Cn)도 커브형을 이루어야 하고, 가상 카메라가 바라보는 방향 벡터(Vn)를 계산해야 한다.
도 8은 본 발명의 일 실시예에 따른 각 렌즈에 해당하는 가상카메라의 위치와 카메라가 바라보는 방향벡터를 결정하는 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 가상 카메라의 위치는 원을 따라 θ만큼 이동한 위치 Cn 에 놓이게 되고, Cn에서 O를 향하는 방향 벡터
Figure 112013038948145-pat00009
는 다음 [수학식 3]으로 나타낼 수 있다.
Figure 112013038948145-pat00010
이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
310 요소 영상 생성부 320 디스플레이 장치부
330 렌즈 어레이 장치부 332 적응형 렌즈 어레이
334 곡률 조절 장치

Claims (10)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 3차원 집적 영상(integrated image)을 제공하는데 필요한 요소 영상(elemental image)을 생성하기 위한 요소 영상 생성부, 상기 요소 영상 생성부에서 생성된 요소 영상을 디스플레이하기 위한 디스플레이 장치부 및 개별 요소 렌즈로 구성되고, 커브(curve) 형태이고, 곡률이 조절되며, 상기 디스플레이 장치부에서 디스플레이되는 요소 영상을 상기 개별 요소 렌즈를 통해 통과시켜서 3차원 집적 영상을 제공하기 위한 렌즈 어레이 장치부를 포함하는 3차원 집적 영상 디스플레이 시스템에서, 실시간 3차원 집적영상 생성을 위한 적응형 렌즈 어레이에 대한 요소 영상 생성 방법에 있어서,
    상기 요소 영상 생성부는 3차원 집적 영상으로 디스플레이될 오브젝트 데이터가 로드(load)되고, 적응형 렌즈 어레이의 정보, 및 디스플레이 장치의 정보가 입력되면, 상기 적응형 렌즈 어레이를 구성하는 요소 렌즈의 수에 따라 상기 적응형 렌즈 어레이와 동일하게 배치되도록, 상기 오브젝트를 바라보는 가상 카메라의 위치를 계산하는 단계;
    상기 요소 영상 생성부는 상기 디스플레이 장치에 출력될 요소 영상에 포함되는 모든 픽셀에 대한 계산을 병렬로 처리하여 렌더링(rendering)하는 단계; 및
    상기 요소 영상 생성부는 상기 렌더링 단계에서 병렬로 처리된 모든 픽셀 정보를 이용하여 요소 영상을 생성하여 상기 디스플레이 장치에 출력하는 단계를 포함하는 적응형 렌즈 어레이에 대한 요소 영상 생성 방법.
  6. 청구항 5에 있어서,
    상기 적응형 렌즈 어레이의 정보는 가로 렌즈 수, 세로 렌즈 수 및 렌즈 피치(lens pitch) 정보를 포함하는 것임을 특징으로 하는 적응형 렌즈 어레이에 대한 요소 영상 생성 방법.
  7. 청구항 5에 있어서,
    상기 디스플레이 장치의 정보는 디스플레이 패널의 픽셀 정보인 것임을 특징으로 하는 적응형 렌즈 어레이에 대한 요소 영상 생성 방법.
  8. 청구항 5에 있어서,
    상기 렌더링 단계는 OpenCL 병렬처리 라이브러리를 이용하여 렌더링하는 것을 특징으로 하는 적응형 렌즈 어레이에 대한 요소 영상 생성 방법.
  9. 청구항 5에 있어서,
    g는 적응형 렌즈 어레이와 디스플레이 장치 간의 거리이고, d는 적응형 렌즈 어레이 중에서 각 요소 렌즈로부터 초점거리까지의 거리(Radius)이고,
    Figure 112014027267913-pat00011
    는 각 요소렌즈의 피치(pitch)를 나타내고, θ는 각 요소 렌즈와 초점거리가 이루는 각을 나타내며, fn은 중심축으로부터 멀어질수록 커지는 개별 요소영상의 크기를 나타낼 때,
    Figure 112014027267913-pat00012
    이고,
    Figure 112014027267913-pat00013

    의 수학식으로 나타낼 수 있는 것을 특징으로 하는 적응형 렌즈 어레이에 대한 요소 영상 생성 방법.
  10. 청구항 9에 있어서,
    상기 렌더링 단계에서, 가상 카메라의 위치는 원을 따라 θ만큼 이동한 위치 Cn 에 놓이게 되고,
    Cn에서 원의 중심 O를 향하는 방향 벡터
    Figure 112014027267913-pat00014
    는,
    Figure 112014027267913-pat00015

    의 수학식으로 나타낼 수 있는 것을 특징으로 하는 적응형 렌즈 어레이에 대한 요소 영상 생성 방법.
KR1020130049482A 2013-05-02 2013-05-02 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법 KR101425321B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130049482A KR101425321B1 (ko) 2013-05-02 2013-05-02 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130049482A KR101425321B1 (ko) 2013-05-02 2013-05-02 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법

Publications (1)

Publication Number Publication Date
KR101425321B1 true KR101425321B1 (ko) 2014-08-01

Family

ID=51749170

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130049482A KR101425321B1 (ko) 2013-05-02 2013-05-02 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법

Country Status (1)

Country Link
KR (1) KR101425321B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101855370B1 (ko) * 2016-12-28 2018-05-10 충북대학교 산학협력단 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법
CN117233873A (zh) * 2023-11-13 2023-12-15 深圳市顺达荣科技有限公司 一体机led显示屏可分离透镜模组的制造方法及显示屏

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050093930A (ko) * 2004-03-19 2005-09-23 재단법인서울대학교산학협력재단 렌즈 어레이를 이용한 입체 디스플레이 시스템
KR20090002662A (ko) * 2007-07-02 2009-01-09 엘지디스플레이 주식회사 집적영상방식의 3차원 영상표시장치
KR20090063699A (ko) * 2007-12-14 2009-06-18 엘지디스플레이 주식회사 액정 전계 렌즈 및 이를 적용한 입체 표시 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050093930A (ko) * 2004-03-19 2005-09-23 재단법인서울대학교산학협력재단 렌즈 어레이를 이용한 입체 디스플레이 시스템
KR20090002662A (ko) * 2007-07-02 2009-01-09 엘지디스플레이 주식회사 집적영상방식의 3차원 영상표시장치
KR20090063699A (ko) * 2007-12-14 2009-06-18 엘지디스플레이 주식회사 액정 전계 렌즈 및 이를 적용한 입체 표시 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101855370B1 (ko) * 2016-12-28 2018-05-10 충북대학교 산학협력단 실공간정보를 폴리곤으로 변환한 오브젝트 모델 기반 집적영상 생성기법
CN117233873A (zh) * 2023-11-13 2023-12-15 深圳市顺达荣科技有限公司 一体机led显示屏可分离透镜模组的制造方法及显示屏
CN117233873B (zh) * 2023-11-13 2024-02-02 深圳市顺达荣科技有限公司 一体机led显示屏可分离透镜模组的制造方法及显示屏

Similar Documents

Publication Publication Date Title
JP7443602B2 (ja) 仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
JP7096450B2 (ja) カラー仮想コンテンツワーピングを伴う複合現実システムおよびそれを使用して仮想コンテンツ生成する方法
US10096157B2 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
JP4764305B2 (ja) 立体画像生成装置、方法およびプログラム
US20130321396A1 (en) Multi-input free viewpoint video processing pipeline
JP7201869B1 (ja) 前の目線からのレンダリングされたコンテンツおよびレンダリングされなかったコンテンツを使用した新しいフレームの生成
US11308682B2 (en) Dynamic stereoscopic rendering method and processor
JP2008243046A (ja) テクスチャ処理装置、方法およびプログラム
Matsubara et al. Light field display simulation for light field quality assessment
US11436698B2 (en) Method of playing back image on display device and display device
WO2012140397A2 (en) Three-dimensional display system
JP2012084105A (ja) 立体像生成装置およびそのプログラム
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
JP5252703B2 (ja) 立体映像表示装置、立体映像表示方法、及び立体映像表示プログラム
KR101425321B1 (ko) 적응형 렌즈 어레이를 구비하는 3차원 집적 영상 디스플레이 시스템 및 적응형 렌즈 어레이에 대한 요소 영상 생성 방법
KR101790720B1 (ko) 실 영상의 지형 렌더링을 이용한 집적 영상 생성 방법 및 이를 기록한 기록 매체
US20230377250A1 (en) Light field offset rendering
KR101567002B1 (ko) 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
US11187914B2 (en) Mirror-based scene cameras
KR101784208B1 (ko) 다수의 깊이 카메라를 이용한 3차원 디스플레이 시스템 및 방법
TWI852053B (zh) 使用深度圖的視像合成系統和方法
Wetzstein Augmented and virtual reality
Thatte Cinematic virtual reality with head-motion parallax
US20220270312A1 (en) Perspective correct vector graphics rendering techniques
US20200404249A1 (en) Method and apparatus for correcting lenticular distortion

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180906

Year of fee payment: 5