KR101629479B1 - 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 - Google Patents

능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 Download PDF

Info

Publication number
KR101629479B1
KR101629479B1 KR1020090105855A KR20090105855A KR101629479B1 KR 101629479 B1 KR101629479 B1 KR 101629479B1 KR 1020090105855 A KR1020090105855 A KR 1020090105855A KR 20090105855 A KR20090105855 A KR 20090105855A KR 101629479 B1 KR101629479 B1 KR 101629479B1
Authority
KR
South Korea
Prior art keywords
image
user
viewpoint
sensed
pixel
Prior art date
Application number
KR1020090105855A
Other languages
English (en)
Other versions
KR20110049039A (ko
Inventor
남동경
박두식
성기영
김창용
김윤태
박주용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090105855A priority Critical patent/KR101629479B1/ko
Priority to EP10189821.1A priority patent/EP2320668A3/en
Priority to EP16158551.8A priority patent/EP3046325B1/en
Priority to JP2010247707A priority patent/JP5704893B2/ja
Priority to US12/926,260 priority patent/US8681174B2/en
Priority to CN201410339461.1A priority patent/CN104079919B/zh
Priority to CN201010543468.7A priority patent/CN102056003B/zh
Publication of KR20110049039A publication Critical patent/KR20110049039A/ko
Application granted granted Critical
Publication of KR101629479B1 publication Critical patent/KR101629479B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/371—Image reproducers using viewer tracking for tracking viewers with different interocular distances; for tracking rotational head movements around the vertical axis

Abstract

능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법을 개시한다. 영상 표시 시스템은 사용자의 좌우 안구의 위치에 따른 시점을 이용하여 시점 영상을 부화소 단위로 렌더링하여 표시한다.
3 차원 영상, 렌더링, 부화소(sub pixel), 렌즈

Description

능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법{HIGH DENSITY MULTI-VIEW DISPLAY SYSTEM AND METHOD BASED ON THE ACTIVE SUB-PIXEL RENDERING}
본 발명의 실시예들은 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법에 관한 것이다.
입체적인 느낌을 제공하는 3차원 영상을 효과적으로 구현하기 위해서는 사람의 좌, 우 시각에 서로 다른 시점의 영상을 표현해야 한다. 안경과 같은 필터를 사용하지 않고 이를 구현하기 위해서는 3차원 영상을 시점(view point)에 따라 공간적으로 분할하여 표현해야 하는데, 이와 같은 방식을 무안경식 3차원 디스플레이(autostereoscopic display)라고 한다. 무안경식 3차원 디스플레이에서는 광학적인 수단을 이용하여 영상을 공간에 분할하여 표현하며, 대표적으로 광학 렌즈나 광학 배리어를 이용한다. 렌즈의 경우는 렌티큘러 렌즈(Lenticular lens)를 이용하여 각각의 픽셀 영상이 특정 방향으로만 표현되도록 하며, 배리어(barrier)의 경우엔 디스플레이 전면에 슬릿을 배치시켜 특정 방향에서 특정 픽셀만 볼 수 있도록 한다. 렌즈나 배리어를 이용한 무안경식 스테레오 디스플레이의 경우 기본적으로 좌, 우 두 시점의 영상을 표현하는데, 이 경우 매우 좁은 입체 시청 영역(sweet spot)이 형성된다. 입체 시청 영역은 시청 거리와 시청 각도로 표현되는데, 전자는 렌즈 혹은 슬릿의 폭(pitch)에 의하여 결정되며, 후자는 표현 시점 수에 의해 결정되는데, 시점 수를 증가시켜 시청 각도를 넓힌 것을 무안경식 다시점 디스플레이(multi-view display)라 한다.
다시점 디스플레이를 이용하면 보다 넓은 입체 시청 영역을 생성할 수 있지만, 디스플레이 해상도의 저하가 발생된다. 예를 들어 풀 에이치디(Full HD) 영상을 표현할 수 있는 1920x1080 해상도의 패널로 9 시점 영상을 표현할 경우 표현 가능한 디스플레이 해상도는 가로, 세로 각각 1/3씩 줄어들어 640x360이 된다. 다시점 디스플레이의 표현 해상도 저하는 3차원 영상 품질을 크게 저하시키며, 표현 입체감을 왜곡시켜 시청 피로를 유발하는 주요 원인이 된다. 고품질 무안경 3차원 디스플레이를 구현하기 위해서는 시청 영역 제한이 낮고, 시각 피로가 적은 3차원 영상 표현이 매우 중요하므로 고해상도로 더 많은 시점의 영상을 표현하는 것이 필요하지만, 앞서 말한 대로 이 두 가지는 서로 상충되는 특성을 가지므로 해결이 쉽지 않다.
또한, 다시점 디스플레이는 스테레오 디스플레이에 비해 넓은 시청 각도를 가질 수 있지만, 제한된 각도, 특정 거리에서만 왜곡 없는 3차원 영상을 시청 할 수 있으며, 사용자가 얼굴을 기울여서 시청하거나, 비스듬히 누워서 시청할 경우 제대로 된 3차원 영상을 볼 수 없게 된다. 이러한 시청 자유의 제한은 기존 2차원 디스플레이에 비해 큰 약점으로 3차원 디스플레이 상용화에 걸림돌이 되고 있다.
본 명세서에서는 효과적으로 3차원 입체 영상을 표시할 수 있는 영상 표시 시스템 및 방법을 제안한다.
사용자의 좌우 안구의 위치를 센싱하는 위치 센싱부, 센싱된 위치에 대응하는 시점을 계산하는 시점 계산부, 계산된 시점에 따른 시점 영상을 부화소(sub-pixel) 단위로 생성하는 렌더링부 및 생성된 시점 영상을 표시하는 표시부를 포함하는 영상 표시 시스템이 제공된다.
일측에 따르면, 렌더링부는 계산된 시점과 인접한 시점에 해당하는 부화소의 색 성분 값을 계산된 시점의 시점 영상에 해당하는 색 성분 값으로 변환하되, 계산된 시점 및 인접한 시점의 시점 영상이 각각 서로 다른 색 성분을 갖도록 변환하여 각각의 시점 영상을 생성할 수 있다.
다른 측면에서, 표시부는 수직 방향으로 N개의 화소 크기의 수평 방향으로 M 개의 부화소 크기에 대한 비율에 기초한 각만큼 광축이 기울어지도록 구성된 3차원 화소를 표시할 수 있다. 이때, N 및 M은 서로소인 정수일 수 있다.
또 다른 측면에서, 시점 계산부는 적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 위치에 대응하는 시점으로 결정할 수 있다.
사용자의 좌우 안구의 공간적 위치를 센싱하는 위치 센싱부, 센싱된 공간적 위치에 기초하여 사용자가 최적 시청 위치에 존재하는지 확인하는 시청 위치 확인부, 사용자가 최적 시청 위치에 존재하지 않는 경우, 각각의 3차원 화소에서의 센 싱된 공간적 위치에 대응하는 시점을 계산하는 시점 계산부, 계산된 시점에 시점 영상을 부화소 단위로 생성하는 렌더링부 및 생성된 시점 영상을 표시하는 표시부를 포함하는 영상 표시 시스템이 제공된다.
기존 무안경 다시점 디스플레이의 가장 큰 단점인 낮은 해상도 표현 문제를 능동 부화소 렌더링을 통하여 극복함으로써, 디스플레이 패널의 해상도 증가나 시분할 3차원 표현을 위한 고속 패널 없이 기존의 패널을 이용하여 보다 많은 시점의 영상을 표시할 수 있다.
고가의 고속, 고해상도 디스플레이 패널을 사용하지 않고, 카메라를 이용한 사용자 추적을 통하여 고품질의 3차원 영상을 구현할 수 있다.
사용자가 최적 시청 위치를 벗어나거나 사용자가 임의의 자세를 취할 경우에도 그에 맞도록 능동인 시점 렌더링을 수행하여 고품질의 입체 영상을 표현할 수 있다.
사용자의 시청 위치에 따라 발생하는 인접 시점 영상의 크로스톡(crosstalk) 발생을 개선하여, 시청 피로도가 낮은 3차원 영상을 표현할 수 있다.
이하 첨부된 도면을 참조하여 본 발명에 따른 다양한 실시예를 상세히 설명하기로 한다.
본 발명에 따른 실시예들은 사용자의 좌우 안구의 위치를 추적하여, 사용자가 시청하는 영상의 시점 정보를 파악하고, 파악된 정보에 기반한 능동 부화소 렌 더링을 이용하여 크로스톡(crosstalk)이나 입체감 왜곡이 없는 3차원 영상을 제공하는 영상 표시 시스템 및 영상 표시 방법에 관한 것이다. 화소 렌더링이 아닌 부화소 렌더링을 수행함으로써 시점 수가 부화소 수만큼 늘어나며, 시점 정보를 이용하여 최적의 영상을 렌더링하여 표현함에 따라 부화소 렌더링에서 발생하는 3차원 영상 품질의 저하가 발생하지 않는다.
1. 배경
안경 없이 3차원 영상을 표시하기 위해서는 시청 위치에 따라 시점이 다른 영상이 표현되어야 하며, 좌, 우 시야에 서로 다른 시점 영상이 실제와 같이 표현되어야 한다. 이것을 구현하기 위해서는 디스플레이의 각 픽셀에서 표현되는 빛이 특정 방향에서만 관측될 필요가 있으며, 이러한 특성은 각 픽셀 정보가 모든 방향에서 동일하게 관측되는 2차원 디스플레이와 비교하여 가장 큰 차별점이 된다. 각 픽셀에서 표현되는 빛을 특정 방향에서만 관측할 수 있게 하기 위한 방법으로는 렌즈를 이용하거나, 배리어를 이용하는 것이 대표적이다.
도 1은 렌즈에 기반하여 방향성 시점 영상을 표시하는 일례이다. 즉, 도 1은 디스플레이(110)의 상부에 렌티큘러 렌즈(Lenticular lens)(120)를 배치한 모습을 나타낸다. 렌티큘러 렌즈의 초점이 화소(pixel)에 위치하면, 렌즈 축(Lens Axis)(121)을 따라 표현되는 화소 값이 렌즈 전체에 확대되어 표현된다. 렌즈를 쳐다보는 방향(시청 방향)이 변할 경우 렌즈 축이 상대적으로 이동되기 때문에 새 로운 화소 값이 다시 렌즈 전체에 확대되어 표시될 수 있다. 예를 들어 사용자의 시청 방향이 점선(130)으로 나타난 부분에 해당될 경우, 점선이 지나는 부분의 화소가 렌즈를 통해 확대되어 표현된다. 이와 같은 방법으로 사용자의 시청 방향이 바뀜에 따라 다른 화소 정보를 표현할 수 있으므로, 시청 위치에 따라 다른 시점의 영상을 표현하는 것이 가능해진다.
시점 영상을 화소에 표현하는 데에는 화소 단위, 또는 부화소(Sub-Pixel) 단위로 하는 것이 가능하다. 여기서 부화소는 각각의 색상 정보를 가지고 있는 최소 영상 표시 단위이며(예를 들어, RGB 색공간에서의 R, G, B 색상 각각을 나타내는 단위), 화소는 부화소가 합쳐져서 완전한 색상 정보를 표현하는 최소 영상 표시 단위이다(예를 들어, R, G, B 부화소가 모여서 하나의 화소를 구성한다.).
도 2는 화소 렌더링과 부화소 렌더링을 위한 화소 구조를 나타내는 일례이다. 이러한 도 2에서 실선은 각각 렌즈 축을 표시하는데, 제1 그림(210)과 같이 하나의 렌즈 축이 지나는 각각의 부화소가 모두 같은 시점 영상을 표시할 경우를 화소 렌더링, 제2 그림(220)과 같이 렌즈 축이 지나는 각각의 부화소가 모두 다른 시점 영상을 표시할 경우를 부화소 렌더링이라고 한다. 화소 렌더링의 경우, 렌즈 축에 대하여 완전한 색상 정보가 표시되기 때문에 색상 왜곡 없는 시점 영상을 표현하는 것이 가능하지만, 부화소 렌더링의 경우 하나의 렌즈 축에 대하여 한 가지 색상만을 표현할 수 있으므로 색상의 왜곡이 발생하게 된다. 하지만 부화소 렌더링을 사용할 경우 화소 렌더링의 경우보다 많은 수의 시점 영상을 표현할 수 있으므로, 보다 많은 수의 시점 영상을 표현해야 하는 다시점(multi-view) 디스플레이 의 경우 유리한 점을 가진다.
도 3은 화소 렌더링과 부화소 렌더링 각각에 의해 생성되는 시점의 일례이다. 즉, 다시점 디스플레이의 경우 사용자가 시점 영상과 시점 영상 사이의 위치에서 쳐다볼 경우 두 시점 영상이 동시에 눈에 들어오게 되는데, 화소 렌더링의 경우 표현 시점 수가 줄어 듦에 따라 시점과 시점 사이의 간격이 크고 두 영상 사이의 차이가 많이 발생하여 크로스톡이 심해진다. 도 3을 참조하면, 실선은 화소 렌더링에 의해 생성된 시점을 나타낸다. 부화소 렌더링의 경우 많은 수의 시점 영상을 표현함에 따라 시점과 시점 사이의 간격이 작고 시점 사이에서도 심한 크로스톡이 발생하지 않는다. 도 3을 참조하면, 점선은 부화소 렌더링에 의해 생성된 시점을 나타낸다. 이때, 도 3에서 화소 렌더링에 의해 생성된 시점은 모두 부화소 렌더링에 의해서도 생성될 수 있다.
다시 말해, 화소 렌더링의 경우는 정확한 시점 시청 위치에서는 좋은 품질의 시점 영상이 표현되지만, 시점과 시점 사이에서는 시차(Disparity)가 커서 크로스톡이 심한 영상이 생성된다. 하지만, 부화소 렌더링의 경우는 시점 사이에서 크로스톡 은 크지 않지만, 각각의 시점 영상에서 색 번짐(Color Ghost)이 나타나게 된다. 이러한 시점 시청 위치를 벗어는 영상의 품질은 입체 디스플레이의 입체감 및 피로감에 크게 영향을 미친다. 왼쪽 눈이 시점 시청 위치에 있다고 해도, 오른쪽 눈이 시점 시청 위치를 벗어나게 되면, 한쪽 눈에만 크로스톡이 심한 영상이 표현되어 초점을 맞추기 어렵고, 피로감이 커지게 된다.
2. 사용자 좌우 안구의 위치를 이용한 부화소 렌더링
본 발명의 실시예들에서는 많은 수의 시점 영상을 생성하면서도 시점 간 크로스톡이나 색 번짐이 없는 3차원 영상 구현을 위해 사용자의 좌우 안구의 위치를 추적하여 가장 적절한 시점의 영상을 표현하도록 하며, 이 경우, 사용자에게 보이는 영상은 화소 렌더링을 사용하지만, 사용자의 위치 변화에 따른 시점 영상 변화는 부화소 단위의 렌더링으로 구현하도록 하였다.
도 4는 본 발명의 일실시예에 있어서, 사용자 추적을 통해 시청 시점을 파악하는 일례이다. 이때, 도 4는 다시점 영상을 표시하는 디스플레이(410)와 일체화된 카메라(420)에서 사용자를 촬영하여 사용자가 현재 보고 있는 영상이 어떤 시점의 영상인지를 파악하는 모습을 나타낸다. 또한, 도 4는 디스플레이(410)가 12개의 시점 영상을 표시하는 일례를 나타낸다.
도 5는 본 발명의 일실시예에 있어서, 시청 시점에 따른 능동 부화소 렌더링을 설명하기 위한 일례이다. 도 5의 예에서는 디스플레이 상의 하나의 3차원 픽셀에서 12 방향으로 시점 영상이 디스플레이 되는 것을 나타내고 있다. 이때, 사용자가 최적 시청 위치(Sweet Spot)에 있을 경우 모든 3차원 픽셀에서 나오는 각각의 시점 영상은 같은 점에서 모이게 되므로 하나의 3차원 픽셀에서 나오는 것으로 표현해도 무방하다. 이 경우 12 방향의 시점 영상은 부화소 렌더링을 통하여 만들어지므로 각각의 시점 영상은 단일한 색으로 구성되어 있다. 이러한 도 5는 이 경우에 있어서 어떻게 화소를 렌더링 하는지를 나타낸다. 즉, 제1 그림(510)과 같이 카메라로 촬영한 사람의 좌우 안구 위치에 있어서, 오른쪽 눈은 5번 시점에 위치하며, 왼쪽 눈은 9번 시점에 위치한다고 가정하자. 이때, 부화소 렌더링에 의한 색 번짐을 제거하기 위해서 5번 시점과 인접한 시점 영상(4번 및 6번 시점 영상)을 5번 시점 영상으로 바꾸게 된다. 즉, 부화소가 각각 R, G, B의 색상으로 구성되어 있다고 하고, 5번 시점 영상이 R 색정보를 갖도록 부화소 렌더링 된 시점 영상이라면, 4번 시점 영상과 6번 시점 영상은 각각 G와 B 색정보를 갖는 5번 시점 영상으로 바뀌게 된다. 9번 시점 영상에 대해서도 마찬가지로, 8번 시점 영상 및 10번 시점 영상이 각각 다른 색정보를 갖는 9번 시점 영상으로 렌더링 된다. 제2 그림(520)은 인접한 시점 영상이 사용자의 눈에 해당하는 시점 영상으로 변화된 모습을 나타낸다. 이와 같은 방법으로 부화소 렌더링 된 영상은 사용자의 시점 위치에서 화소 렌더링으로 바뀌게 된다. 본 명세서에서는 이러한 부화소 렌더링 방식을 능동형 부화소 렌더링이라고 명명한다.
이 때, 사용자가 이동하여 오른쪽 눈이 4번 시점의 위치로 왼쪽 눈이 8번 시점의 위치로 이동하는 경우, 4번 시점은 다시 원래의 4번 시점 영상의 G 색정보를 표현하게 되고, 인접한 3번, 5번 시점의 부화소는 각각 4번 시점의 B 및 R 색정보로 변환된다. 이는 8번 시점에 대해서도 동일한 방식으로 적용된다. 이와 같이, 사용자의 좌우 안구가 위치한 곳의 영상은 화소 렌더링을 수행하면서, 사용자 위치 변화에 따라 생성될 수 있는 체감적 시점의 수는 부화소 렌더링을 통해 얻을 수 있는 12 시점이 된다.
도 6은 본 발명의 일실시예에 있어서, 시청 시점의 이동에 따른 능동 부화소 렌더링을 설명하기 위한 일례이다. 이때, 도 6은 왼쪽 눈이 4번 시점 위치, 3번 시점 위치, 2번 시점 위치로 각각 이동함에 따라 렌즈에 표현되는 영상 값이 어떻게 변화하는 지를 나타내고 있다.
이와 같은 능동형 부화소 렌더링 방식 입체 표시를 구현하기 위해서는, 이에 맞는 화소 구조(pixel structure) 및 렌즈 정렬(lens alignment)이 필요하며, 사용자의 좌우 눈의 위치를 파악하고 이에 맞는 부화소 레벨의 렌더링을 수행해야 한다. 앞서 도 1 및 도 2를 통해 렌즈를 이용하여 다시점 입체를 표현하는 방법을 설명하였지만, 고품질의 능동형 부화소 렌더링을 위해서는 화소 구조 및 렌즈 정렬이 다음 (1) 내지 (3)의 조건이 만족할 필요가 있다.
(1) 각 시점에 대하여 부화소를 지나는 렌즈 축 사이의 거리가 동일해야 한다. 다시 말하면 3차원 화소 내의 각 부화소에 의하여 만들어지는 시점 영상의 방향이 균일한 간격으로 형성될 필요가 있으며, 이를 통해, 품질이 좋은 다시점 영상을 형성할 수 있다. 이를 위해서는 렌즈 축의 기울기가 하나의 3차원 화소에 대해 수직 방향으로 N개의 화소 크기의 수평 방향으로 M 개의 부화소 크기에 대한 비율에 기초한 각만큼 기울어 져야 한다. 이 때 N과 M은 정수이고, 여기서 말하는 화소 및 부화소는 디스플레이 패널의 화소 및 부화소를 말한다. 또는, 복수의 시점 영상을 표시하는 표시부가 수직 방향으로 N개의 화소 크기의 수평 방향으로 M 개의 부화소 크기에 대한 비율에 기초한 각만큼 광축이 기울어지도록 구성된 3차원 화소를 표시할 수 있어야 한다.
도 7은 본 발명의 일실시예에 있어서, 능동 부화소 렌더링을 위한 화소 구조 및 조건을 나타낸 도면이다. (1)의 조건을 설명하기 위한 일례로 도 7의 제1 그림(710)을 참조하면, 3차원 화소(711)의 수직 크기는 'y'로서 나타날 수 있고, 디스플레이 패널 수직 화소 거리의 2배의 값을 가질 수 있다. 또한, 3차원 화소(711)의 수평 크기는 'x'로서 나타날 수 있고, 디스플레이 패널 수평 부화소 거리의 1배가 되면 균일한 시점 영상을 생성하는 것이 가능하다. 또한, 위의 조건을 만족시키는 화소 구조에 대하여 일례로, 렌티큘러 렌즈는 렌즈 축이 수직 방향에 대해서 'θ'각도를 가져야 하며, 'θ'는 아래 수학식 1과 같이 결정될 수 있다.
θ = tan-1(x/y) = tan-1(M/N)
(2) 능동 부화소 렌더링을 위해서는 3차원 화소를 형성하는 각 부화소들이 개별적인(separate) 시점 영상을 형성해야 한다. 이를 위해서 앞서 언급한 N, M은 서로소(coprime)이어야 한다. 일례로, 도 7의 제2 그림(720)에서와 같이 3차원 화소(721)의 크기가 N=2, M=2의 값을 갖게 되면 한 시점 영상을 형성하는 렌즈 축이 두 개의 부화소 중심을 지나게 되므로 화소 렌더링은 가능하나, 부화소 렌더링은 할 수 없게 된다.
(3) 능동 부화소 렌더링을 위해서는 인접한 시점 영상이 표시하는 색상 정보가 서로 달라야 한다. 예를 들어 인접한 1, 2, 3 시점 영상의 색상이 R, G, G 와 같이 나타날 경우 2번 영상에 대하여 능동 부화소 렌더링을 수행하면 B 색이 나오지 않게 된다. 이를 위해서는 앞서 언급한 M의 값은 3의 배수가 되어야 한다.
도 7의 제3 그림(730)은 이러한 (1) 내지 (3)의 조건을 모두 만족시키는 화소 구조를 나타낸다. 이때, 3차원 화소(731)의 크기가 N=2, M=3으로 위에서 언급한 세 가지 조건을 모두 만족시키게 된다. 이 경우, 능동 부화소 렌더링을 통하여 생성할 수 있는 시점 영상의 수는 6개가 된다.
사용자의 좌우 안구 추적을 통한 능동 부화소 렌더링을 구현하는데 있어서, 사용자가 최적 시청 위치에 있는 경우에 대해서는 앞서 도 4를 통해 설명하였다. 이후에서는 사용자가 최적 시청 위치에 위치하지 않거나 사용자의 자세가 기울어져 있는 경우에 대하여 능동 부화소 렌더링 방식을 설명한다.
사용자가 최적 시청 위치에 있을 경우는 각 3차원 화소에서 생성되는 동일한 시점 영상이 한 곳으로 모여서 사용자가 볼 수 있으므로 도 4와 같이 하나의 3차원 화소에 대해서만 시점 영상을 고려하여 부화소 렌더링을 할 수 있으나, 사용자가 최적 시청 위치에서 벗어나거나 사용자의 자세가 기울어져 있는 경우는 3차원 화소 각각에서 나오는 시점 영상을 모두 개별적을 고려하여 부화소 렌더링을 수행해야 한다.
도 8은 사용자의 위치 및 자세 변화에 따른 모습을 도시한 도면이다. 제1 위치(810)는 사용자가 최적 시청 위치와 같이 일반적인 위치로 디스플레이와 동일 축 방향에서 디스플레이 면과 눈이 수직을 이룬 경우를 의미할 수 있다. 이때, 제1 그림(811)은 제1 위치(810)에서 사용자를 촬영한 영상과 각각의 시점에 해당하는 위치를 나타낸다. 제2 위치(820)는 사용자가 최적 시청 거리를 벗어난 경우를, 제3 위치(830)는 사용자가 최적 시청 각도를 벗어난 경우를, 제4 위치(840)는, 최적 시청 위치에서 고개를 옆으로 기울이는 경우를, 제5 위치(850)는 최적 시청 거리에서 벗어나 곁눈질로 디스플레이를 보는 경우를 각각 의미할 수 있다. 또한, 제2 내지 제5 그림(821, 831, 841 및 851)은 각각의 위치에서 사용자를 촬영한 영상과 각각의 시점에 해당하는 위치를 나타낸다. 이때, 본 실시예에 따르면, 사용자의 좌우 안구의 위치에 기초하여 3차원 화소 각각에서 나오는 시점 영상을 모두 개별적으로 부화소 렌더링함으로써, 고품질의 3차원 영상을 고해상도로 제공하는 것이 가능해진다.
도 9는 본 발명의 일실시예에 있어서, 사용자의 위치 및 자세 변화에 따라 능동 부화소 렌더링을 적용하는 일례를 도시한 도면이다. 즉, 도 9에서는 사용자가 최적 시청 위치를 벗어났을 경우의 능동 부화소 렌더링 방법을 설명한다. 먼저 카메라 등을 이용하여 사용자의 좌우 안구의 삼차원 공간 위치를 측정한다. 이를 위하여 눈 사이의 거리 비율을 측정하거나, 스테레오 카메라를 이용한 삼각 측량, 깊이 카메라(Depth Camera)를 이용한 직접적인 거리 및 방향을 측정하는 방법 등이 이용될 수 있다.
이후, 측정된 좌우 안구의 공간 위치 값을 이용하여 디스플레이의 각 3차원 화소가 좌우 안구와 이루는 각도를 계산한다. 도 9의 일례에서는 첫 번째 3차원 화소가 좌우 안구와 이루는 각도가 '
Figure 112009067768175-pat00001
' 및 '
Figure 112009067768175-pat00002
'과 같이 나타나고, k 번째 3차원 화소가 좌우 안구와 이르는 각도가 '
Figure 112009067768175-pat00003
', '
Figure 112009067768175-pat00004
'와 같이 나타난다. 각각의 3차원 화소에서 눈이 공간 상에 위치하는 각도를 계산한 다음, 각 3차원 화소에서 어떤 시점의 영상이 눈에 표현되어야 할 지를 계산하게 된다. 이렇게 표현할 영상의 시 점 정보가 도출되면, 앞서 계산한 것과 같이 해당 시점 영상과 인접한 시점의 영상을 화소 렌더링 방식으로 변환하여 표현하게 된다.
도 9에서는 이해의 편의를 위하여 위에서 한 평면에 대해 측정한 각도만을 이용하고 있으나, 실제로는 공간 각도를 계산하여 눈이 어떤 시점의 영상을 보게 될 것인지를 계산할 수 있다.
도 10은 본 발명의 일실시예에 있어서, 사용자의 위치 및 자세 변화에 따른 능동 부화소 렌더링 방법을 도시한 흐름도이다. 이러한 능동 부화소 렌더링 방법은 본 발명의 일실시예에 따른 영상 표시 시스템에 의해 수행될 수 있다.
단계(1010)에서 영상 표시 시스템은 사용자의 좌우 눈의 방향을 계산한다. 이때, 사용자의 좌우 눈 방향은 '
Figure 112009067768175-pat00005
'와 같이 표현될 수 있다. 여기서, '
Figure 112009067768175-pat00006
'는 k 번째 3차원 화소에서 오른쪽 눈의 위치에 해당되는 각도를, '
Figure 112009067768175-pat00007
'는 k 번째 3차원 화소에서 왼쪽 눈의 위치에 해당되는 각도를 각각 의미할 수 있다.
단계(1020)에서 영상 표시 시스템은 모든 3차원 화소 각각에서 좌우 눈 각각에 가장 가까운 시점을 결정한다. 이 경우, 좌우 눈 각각에 가장 가까운 시점은 아래 수학식 2와 같이 계산될 수 있다.
Figure 112009067768175-pat00008
Figure 112009067768175-pat00009
여기서, ''는 k 번째 3차원 화소에서 오른쪽 눈의 표현하고자 하는 최적 시점을, '
Figure 112009067768175-pat00011
'는 k 번째 3차원 화소에서 왼쪽 눈의 표현하고자 하는 최적 시점을 의미할 수 있고, 'θi k'는 k 번째 3차원 화소에서 i 번째 시점을 표현하는 각도를 의미할 수 있다.
단계(1030)에서 영상 표시 시스템은 결정된 시점에 기초하여 부화소 렌더링을 수행한다. 결정된 시점에 기초하여 부화소 렌더링을 수행하는 방법에 대한 설명은 상술하였으므로 생략한다.
도 11은 본 발명의 일실시예에 있어서, 능동 부화소 렌더링 방법을 도시한 흐름도이다. 본 실시예에 따른 능동 부화소 렌더링 방법은 도 10을 통해 설명한 영상 표시 시스템에 의해 수행될 수 있다.
단계(1110)에서 영상 표시 시스템은 다시점 3차원 영상 데이터를 수신/생성 한다.
단계(1120)에서 영상 표시 시스템은 부화소 렌더링을 수행한다.
단계(1130)에서 영상 표시 시스템은 카메라로 사용자 눈의 검출이 가능한지 파악하여 가능한 경우 단계(1140)를 수행하고, 가능하지 않은 경우 단계(1190)을 수행한다. 즉, 카메라로 사용자 눈의 검출이 가능하지 않은 경우에도 다시점 시청이 가능하다.
단계(1140)에서 영상 표시 시스템은 사용자가 최적 시청 위치에 있는지 파악하여 최적 시청 위치에 있는 경우 단계(1150)를 수행하고, 최적 시청 위치에 있지 않은 경우 단계(1160)을 수행한다.
단계(1150)에서 영상 표시 시스템은 카메라 영상으로부터 사용자의 좌우 눈에 해당하는 시점을 검출하고 해당 부화소를 계산한다. 이때, 영상 표시 시스템은 단계(1150)을 수행한 후, 단계(1180)을 수행할 수 있다.
단계(1160)에서 영상 표시 시스템은 카메라로 사용자의 좌우 눈의 공간 위치를 검출한다.
단계(1170)에서 영상 표시 시스템은 좌우 눈의 공간 위치에 대한 각 3차원 화소별 시점 및 부호소를 계산한다.
단계(1180)에서 영상 표시 시스템은 해당 부화소에 인접된 부호소의 색 성분 값을 좌우 눈이 보고 있는 시점 영상의 색 성분 값으로 변환한다.
단계(1190)에서 영상 표시 시스템은 각각의 시점 영상을 표시한다.
이와 같은 단계(1150, 1160, 1170)을 통해 사용자의 자세나 위치에 상관 없이, 그리고 색 번짐 등과 같은 화질 열화 없이 고품질 다시점 3차원 영상을 사용자에게 제공할 수 있게 된다.
도 12는 본 발명의 일실시예에 있어서, 영상 표시 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 영상 표시 시스템(1200)은 도 12에 도시된 바와 같이 위치 센싱부(1210), 시점 계산부(1220), 렌더링부(1230) 및 표시부(1240)를 포함한다.
위치 센싱부(1210)는 사용자의 좌우 안구의 위치를 센싱한다. 예를 들어, 위치 센싱부(1210)는 사용자를 촬영하여 사용자 영상을 생성하는 사용자 영상 생성부(미도시) 및 생성된 사용자 영상으로부터 사용자의 좌우 안구의 위치를 계산하는 위치 계산부(미도시)를 포함할 수 있다. 사용자의 좌우 안구에 대한 공간적 위치를 결정하기 위한 일례로, 사용자 영상 생성부는 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 정보 측정이 가능한 카메라 중 적어도 하나를 포함할 수 있다. 다른 일례로, 상술한 공간적 위치를 결정하기 위해, 위치 센싱부(1210)에서 사용자에게 추가적인 광원을 투사하여 사용자와의 거리 정보를 측정하는 거리 정보 측정부(미도시)를 더 포함할 수도 있다. 상술한 예에서는 사용자의 좌우 안구에 대한 위치를 센싱하기 위해, 사용자를 촬영하여 사용자 영상을 생성하였지만, 위치의 센싱 방법이 카메라 등을 이용한 이미지 처리 방법으로 한정되는 것은 아니다.
시점 계산부(1220)는 센싱된 위치에 대응하는 시점을 계산한다. 이때, 시점 계산부(1220)는 적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 위치에 대응하는 시점으로 결정할 수 있다.
렌더링부(1230)는 계산된 시점에 따른 시점 영상을 부화소 단위로 생성한다. 이때, 렌더링부(1230)는 계산된 시점과 인접한 시점에 해당하는 부화소의 색 성분 값을 계산된 시점의 시점 영상에 해당하는 색 성분 값으로 변환하되, 계산된 시점 및 인접한 시점의 시점 영상이 각각 서로 다른 색 성분을 갖도록 변환하여 각각의 시점 영상을 생성할 수 있다.
표시부(1240)는 생성된 시점 영상을 표시한다. 이러한 표시부(1240)는 앞서 설명한 디스플레이에 대응될 수 있다. 이때, 일례로 표시부(1240)는 렌티큘러 렌 즈(Lenticular lens), 패럴랙스 배리어(parallax barrier), 프리즘 배열, 빛의 방향을 변환하는 특성의 홀로그래픽 소자 및 지향성 백라이트 중 하나를 통해 둘 이상의 서로 다른 시점의 시점 영상을 표시할 수 있다. 다른 예로, 표시부(1240)는 하나의 3차원 화소에 대해 수직 방향으로 N개의 화소 크기의 수평 방향으로 M 개의 부화소 크기에 대한 비율에 기초한 각만큼 축이 기울어지도록 구성된 렌즈를 포함할 수 있다. 이 경우, N 및 M은 서로소인 정수일 수 있다. 또한, M은 3의 배수일 수 있다. 이러한 예는 상술한 바와 같이 고품질의 능동형 부화소 렌더링을 위해 화소 구조 및 렌즈 정렬이 만족해야 하는 (1) 내지 (3)의 조건을 표시부(1240)가 만족하도록 하기 위함이다. 예를 들어, M이 3의 배수의 값을 갖는 것은 인접한 부화소들이 각각 서로 다른 색상 정보를 갖도록 하기 위함이다.
도 13은 본 발명의 일실시예에 있어서, 영상 표시 방법을 도시한 흐름도이다. 본 실시예에 따른 영상 표시 방법은 도 12를 통해 설명한 영상 표시 시스템(1200)에 의해 수행될 수 있다. 도 13에서는 영상 표시 시스템(1200)을 통해 각각의 단계가 수행되는 과정을 설명함으로써 영상 표시 방법을 설명한다.
단계(1310)에서 영상 표시 시스템(1200)은 사용자의 좌우 안구의 위치를 센싱한다. 예를 들어, 영상 표시 시스템(1200)은 사용자를 촬영하여 사용자 영상을 생성하고, 생성된 사용자 영상으로부터 사용자의 좌우 안구의 위치를 계산할 수 있다. 사용자의 좌우 안구에 대한 공간적 위치를 결정하기 위한 일례로, 영상 표시 시스템(1200)은 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 정보 측정이 가능한 카메라 중 적어도 하나를 포함할 수 있다. 다른 일례로, 상술한 공간적 위치 를 결정하기 위해, 영상 표시 시스템(1200)은 사용자에게 추가적인 광원을 투사하여 사용자와의 거리 정보를 측정할 수도 있다. 상술한 예에서는 사용자의 좌우 안구에 대한 위치를 센싱하기 위해, 사용자를 촬영하여 사용자 영상을 생성하였지만, 위치의 센싱 방법이 카메라 등을 이용한 이미지 처리 방법으로 한정되는 것은 아니다.
단계(1310)에서 영상 표시 시스템(1200)은 센싱된 위치에 대응하는 시점을 계산한다. 이때, 영상 표시 시스템(1200)은 적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 위치에 대응하는 시점으로 결정할 수 있다.
단계(1310)에서 영상 표시 시스템(1200)은 계산된 시점에 따른 시점 영상을 부화소 단위로 생성한다. 이때, 영상 표시 시스템(1200)은 계산된 시점과 인접한 시점에 해당하는 부화소의 색 성분 값을 계산된 시점의 시점 영상에 해당하는 색 성분 값으로 변환하되, 계산된 시점 및 인접한 시점의 시점 영상이 각각 서로 다른 색 성분을 갖도록 변환하여 각각의 시점 영상을 생성할 수 있다.
단계(1310)에서 영상 표시 시스템(1200)은 생성된 시점 영상을 표시한다. 이때, 일례로 영상 표시 시스템(1200)은 렌티큘러 렌즈, 패럴랙스 배리어, 프리즘 배열, 빛의 방향을 변환하는 특성의 홀로그래픽 소자 및 지향성 백라이트 중 하나를 통해 둘 이상의 서로 다른 시점의 시점 영상을 표시할 수 있다. 다른 예로, 영상 표시 시스템(1200)은 하나의 3차원 화소에 대해 수직 방향으로 N개의 화소 크기 의 수평 방향으로 M 개의 부화소 크기에 대한 비율에 기초한 각만큼 축이 기울어지도록 구성된 렌즈를 포함할 수 있다. 이 경우, N 및 M은 서로소인 정수일 수 있다. 또한, M은 3의 배수일 수 있다. 이러한 예는 상술한 바와 같이 고품질의 능동형 부화소 렌더링을 위해 화소 구조 및 렌즈 정렬이 만족해야 하는 (1) 내지 (3)의 조건을 만족하도록 하기 위함이다.
도 14는 본 발명의 다른 실시예에 있어서, 영상 표시 시스템의 내부 구성을 설명하기 위한 블록도이다. 본 실시예에 따른 영상 표시 시스템(1400)은 도 14에 도시된 바와 같이 위치 센싱부(1410), 시청 위치 확인부(1420), 시점 계산부(1430), 렌더링부(1440) 및 표시부(1450)를 포함한다.
위치 센싱부(1410)는 사용자의 좌우 안구의 공간적 위치를 센싱한다. 이때, 사용자의 좌우 안구에 대한 공간적 위치를 결정하기 위한 일례로, 위치 센싱부(1410)는 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 정보 측정이 가능한 카메라 중 적어도 하나를 포함할 수 있다. 다른 일례로, 상술한 공간적 위치를 결정하기 위해, 위치 센싱부(1410)는 사용자에게 추가적인 광원을 투사하여 사용자와의 거리 정보를 측정할 수도 있다.
시청 위치 확인부(1420)는 센싱된 공간적 위치에 기초하여 사용자가 최적 시청 위치에 존재하는지 확인한다. 이러한 최적 시청 위치는 표시부(1450)의 화소 구조나 렌즈 배열 등에 따라 미리 설정될 수 있고, 시청 위치 확인부(1420)는 센싱된 공간적 위치에 따라 사용자가 최적 시청 위치에 존재하는가를 확인할 수 있다.
시점 계산부(1430)는 사용자가 최적 시청 위치에 존재하지 않는 경우, 각각 의 3차원 화소에서의 센싱된 공간적 위치에 대응하는 시점을 계산한다. 이때, 시점 계산부(1430)는 모든 3차원 화소 각각으로부터 센싱된 공간적 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소 각각에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 3차원 화소 각각에 대해 센싱된 공간적 위치에 대응하는 시점으로 결정할 수 있다. 또한, 시점 계산부(1430)는 사용자가 최적 시청 위치에 존재하는 경우, 적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 공간적 위치에 대응하는 시점으로 결정할 수 있다.
렌더링부(1440)는 계산된 시점에 시점 영상을 부화소 단위로 생성한다. 이때, 렌더링부(1440)는 계산된 시점과 인접한 시점에 해당하는 부화소의 색 성분 값을 계산된 시점의 시점 영상에 해당하는 색 성분 값으로 변환하되, 계산된 시점 및 인접한 시점의 시점 영상이 각각 서로 다른 색 성분을 갖도록 변환하여 각각의 시점 영상을 생성할 수 있다.
표시부(1450)는 생성된 시점 영상을 표시한다. 이때, 일례로 표시부(1450)는 렌티큘러 렌즈, 패럴랙스 배리어, 프리즘 배열, 빛의 방향을 변환하는 특성의 홀로그래픽 소자 및 지향성 백라이트 중 하나를 통해 둘 이상의 서로 다른 시점의 시점 영상을 표시할 수 있다. 다른 예로, 표시부(1450)는 하나의 3차원 화소에 대해 수직 방향으로 N개의 화소 크기의 수평 방향으로 M 개의 부화소 크기에 대한 비율에 기초한 각만큼 축이 기울어지도록 구성된 렌즈를 포함할 수 있다. 이 경우, N 및 M은 서로소인 정수일 수 있다. 또한, M은 3의 배수일 수 있다. 이러한 예는 상술한 바와 같이 고품질의 능동형 부화소 렌더링을 위해, 화소 구조 및 렌즈 정렬이 만족해야 하는 (1) 내지 (3)의 조건을 표시부(1450)가 만족하도록 하기 위함이다. 예를 들어, M이 3의 배수의 값을 갖는 것은 인접한 부화소들이 각각 서로 다른 색상 정보를 갖도록 하기 위함이다.
도 15는 본 발명의 다른 실시예에 있어서, 영상 표시 방법을 도시한 흐름도이다.
단계(1510)에서 영상 표시 시스템(1400)은 사용자의 좌우 안구의 공간적 위치를 센싱한다. 이때, 사용자의 좌우 안구에 대한 공간적 위치를 결정하기 위한 일례로, 영상 표시 시스템(1400)은 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 정보 측정이 가능한 카메라 중 적어도 하나를 포함할 수 있다. 다른 일례로, 상술한 공간적 위치를 결정하기 위해, 영상 표시 시스템(1400)은 사용자에게 추가적인 광원을 투사하여 사용자와의 거리 정보를 측정할 수도 있다.
단계(1520)에서 영상 표시 시스템(1400)은 센싱된 공간적 위치에 기초하여 사용자가 최적 시청 위치에 존재하는지 확인한다. 이러한 최적 시청 위치는 디스플레이의 화소 구조나 렌즈 배열 등에 따라 미리 설정될 수 있고, 영상 표시 시스템(1400)은 센싱된 공간적 위치에 따라 사용자가 최적 시청 위치에 존재하는가를 확인할 수 있다.
단계(1530)에서 영상 표시 시스템(1400)은 사용자가 최적 시청 위치에 존재하지 않는 경우, 각각의 3차원 화소에서의 센싱된 공간적 위치에 대응하는 시점을 계산한다. 이때, 영상 표시 시스템(1400)은 모든 3차원 화소 각각으로부터 센싱된 공간적 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소 각각에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 3차원 화소 각각에 대해 센싱된 공간적 위치에 대응하는 시점으로 결정할 수 있다. 또한, 영상 표시 시스템(1400)은 사용자가 최적 시청 위치에 존재하는 경우, 적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 공간적 위치에 대응하는 시점으로 결정할 수 있다.
단계(1540)에서 영상 표시 시스템(1400)은 계산된 시점에 시점 영상을 부화소 단위로 생성한다. 이때, 영상 표시 시스템(1400)은 계산된 시점과 인접한 시점에 해당하는 부화소의 색 성분 값을 계산된 시점의 시점 영상에 해당하는 색 성분 값으로 변환하되, 계산된 시점 및 인접한 시점의 시점 영상이 각각 서로 다른 색 성분을 갖도록 변환하여 각각의 시점 영상을 생성할 수 있다.
단계(1550)에서 영상 표시 시스템(1400)은 생성된 시점 영상을 표시한다. 이때, 일례로 표시부(1450)는 렌티큘러 렌즈, 패럴랙스 배리어, 프리즘 배열, 빛의 방향을 변환하는 특성의 홀로그래픽 소자 및 지향성 백라이트 중 하나를 통해 둘 이상의 서로 다른 시점의 시점 영상을 표시할 수 있다. 다른 예로, 영상 표시 시스템(1400)은 하나의 3차원 화소에 대해 수직 방향으로 N개의 화소 크기의 수평 방향으로 M 개의 부화소 크기에 대한 비율에 기초한 각만큼 축이 기울어지도록 구성된 렌즈를 포함할 수 있다. 이 경우, N 및 M은 서로소인 정수일 수 있다. 또한, M은 3의 배수일 수 있다. 이러한 예는 상술한 바와 같이 고품질의 능동형 부화소 렌더링을 위해 화소 구조 및 렌즈 정렬이 만족해야 하는 (1) 내지 (3)의 조건을 만족하도록 하기 위함이다. 예를 들어, M이 3의 배수의 값을 갖는 것은 인접한 부화소들이 각각 서로 다른 색상 정보를 갖도록 하기 위함이다.
도 12 내지 도 15에서 생략된 설명은 도 1 내지 도 11을 참조할 수 있다.
이와 같이, 본 발명의 실시예들에 따른 영상 표시 시스템 또는 영상 표시 방법을 이용하면, 기존 무안경 다시점 디스플레이의 가장 큰 단점인 낮은 해상도 표현 문제를 능동 부화소 렌더링을 통하여 극복함으로써, 디스플레이 패널의 해상도 증가나 시분할 3차원 표현을 위한 고속 패널 없이 기존의 패널을 이용하여 보다 많은 시점의 영상을 표시할 수 있고, 고가의 고속, 고해상도 디스플레이 패널을 사용하지 않고, 카메라를 이용한 사용자 추적을 통하여 고품질의 3차원 영상을 구현할 수 있다.
또한, 사용자가 최적 시청 위치를 벗어나거나 사용자가 임의의 자세를 취할 경우에도 그에 맞도록 능동인 시점 렌더링을 수행하여 고품질의 입체 영상을 표현할 수 있고, 사용자의 시청 위치에 따라 발생하는 인접 시점 영상의 크로스톡(crosstalk) 발생을 개선하여, 시청 피로도가 낮은 3차원 영상을 표현할 수 있다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 파일 데이터, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명을 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명하였으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 렌즈에 기반하여 방향성 시점 영상을 표시하는 일례이다.
도 2는 화소 렌더링과 부화소 렌더링을 위한 화소 구조를 나타내는 일례이다.
도 3은 화소 렌더링과 부화소 렌더링 각각에 의해 생성되는 시점의 일례이다.
도 4는 본 발명의 일실시예에 있어서, 사용자 추적을 통해 시청 시점을 파악하는 일례이다.
도 5는 본 발명의 일실시예에 있어서, 시청 시점에 따른 능동 부화소 렌더링을 설명하기 위한 일례이다.
도 6은 본 발명의 일실시예에 있어서, 시청 시점의 이동에 따른 능동 부화소 렌더링을 설명하기 위한 일례이다.
도 7은 본 발명의 일실시예에 있어서, 능동 부화소 렌더링을 위한 화소 구조 및 조건을 나타낸 도면이다.
도 8은 사용자의 위치 및 자세 변화에 따른 모습을 도시한 도면이다.
도 9는 본 발명의 일실시예에 있어서, 사용자의 위치 및 자세 변화에 따라 능동 부화소 렌더링을 적용하는 일례를 도시한 도면이다.
도 10은 본 발명의 일실시예에 있어서, 사용자의 위치 및 자세 변화에 따른 능동 부화소 렌더링 방법을 도시한 흐름도이다.
도 11은 본 발명의 일실시예에 있어서, 능동 부화소 렌더링 방법을 도시한 흐름도이다.
도 12는 본 발명의 일실시예에 있어서, 영상 표시 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 13은 본 발명의 일실시예에 있어서, 영상 표시 방법을 도시한 흐름도이다.
도 14는 본 발명의 다른 실시예에 있어서, 영상 표시 시스템의 내부 구성을 설명하기 위한 블록도이다.
도 15는 본 발명의 다른 실시예에 있어서, 영상 표시 방법을 도시한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
1200: 영상 표시 시스템
1210: 위치 센싱부
1220: 시점 계산부
1230: 렌더링부
1240: 표시부

Claims (21)

  1. 사용자의 좌우 안구의 위치를 센싱하는 위치 센싱부;
    상기 센싱된 위치에 대응하는 시점을 계산하는 시점 계산부;
    인접한 부화소들이 서로 상이한 시점 영상을 표시하도록 부화소 단위로 시점 영상을 생성하고, 상기 센싱된 위치에 대응하는 부화소와 인접한 적어도 하나의 부화소가 상기 계산된 시점에 대응하는 시점 영상을 표시하도록 상기 부화소 단위로 생성된 시점 영상을 변환하는 렌더링부; 및
    상기 변환된 시점 영상을 표시하는 표시부
    를 포함하는 영상 표시 시스템.
  2. 삭제
  3. 제1항에 있어서,
    상기 표시부는,
    렌티큘러 렌즈(Lenticular lens), 패럴랙스 배리어(parallax barrier), 프리즘 배열, 빛의 방향을 변환하는 특성의 홀로그래픽 소자 및 지향성 백라이트 중 하 나를 통해 둘 이상의 서로 다른 시점의 시점 영상을 표시하는, 영상 표시 시스템.
  4. 제1항에 있어서,
    상기 표시부는,
    수직 방향으로 N개의 화소 크기의 수평 방향으로 M 개의 부화소 크기에 대한 비율에 기초한 각만큼 광축이 기울어지도록 구성된 3차원 화소를 표시하고,
    상기 N 및 M은 서로소인 정수인 것을 특징으로 하는 영상 표시 시스템.
  5. 제4항에 있어서,
    상기 M은 3의 배수인 것을 특징으로 하는 영상 표시 시스템.
  6. 제1항에 있어서,
    상기 시점 계산부는,
    적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 위치에 대응하는 시점으로 결정하는, 영상 표시 시스템.
  7. 제1항에 있어서,
    상기 위치 센싱부는,
    상기 사용자를 촬영하여 사용자 영상을 생성하는 사용자 영상 생성부; 및
    상기 생성된 사용자 영상으로부터 사용자의 좌우 안구의 위치를 계산하는 위치 계산부
    를 포함하는, 영상 표시 시스템.
  8. 제7항에 있어서,
    상기 사용자 영상 생성부는,
    단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 정보 측정이 가능한 카메라 중 적어도 하나를 포함하는, 영상 표시 시스템.
  9. 제7항에 있어서,
    상기 위치 센싱부는,
    상기 사용자에게 추가적인 광원을 투사하여 사용자와의 거리 정보를 측정하는 거리 정보 측정부
    를 더 포함하는, 영상 표시 시스템.
  10. 사용자의 좌우 안구의 공간적 위치를 센싱하는 위치 센싱부;
    상기 센싱된 공간적 위치에 기초하여 상기 사용자가 상기 사용자의 시선이 영상 표시 면과 수직을 이루는 위치에 존재하는지 확인하는 시청 위치 확인부;
    상기 사용자가 상기 사용자의 시선이 상기 영상 표시 면과 수직을 이루는 위치에 존재하지 않는 경우, 각각의 3차원 화소에서의 센싱된 공간적 위치에 대응하는 시점을 계산하는 시점 계산부;
    인접한 부화소들이 서로 상이한 시점 영상을 표시하도록 부화소 단위로 시점 영상을 생성하고, 상기 센싱된 위치에 대응하는 부화소와 인접한 적어도 하나의 부화소가 상기 계산된 시점에 대응하는 시점 영상을 표시하도록 상기 부화소 단위로 생성된 시점 영상을 변환하는 렌더링부; 및
    상기 변환된 시점 영상을 상기 영상 표시 면에 표시하는 표시부
    를 포함하는 영상 표시 시스템.
  11. 제10항에 있어서,
    상기 시점 계산부는,
    모든 3차원 화소 각각으로부터 센싱된 공간적 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소 각각에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 3차원 화소 각각에 대해 센싱된 공간적 위치에 대응하는 시점으로 결정하는, 영상 표시 시스템.
  12. 제10항에 있어서,
    상기 시점 계산부는,
    상기 사용자가 상기 사용자의 시선이 상기 영상 표시 면과 수직을 이루는 위치에 존재하는 경우, 적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 공간적 위치에 대응하는 시점으로 결정하는, 영상 표시 시스템.
  13. 사용자의 좌우 안구의 위치를 센싱하는 단계;
    상기 센싱된 위치에 대응하는 시점을 계산하는 단계;
    인접한 부화소들이 서로 상이한 시점 영상을 표시하도록 부화소 단위로 시점 영상을 생성하는 단계;
    상기 센싱된 위치에 대응하는 부화소와 인접한 적어도 하나의 부화소가 상기 계산된 시점에 대응하는 시점 영상을 표시하도록 상기 부화소 단위로 생성된 시점 영상을 변환하는 단계; 및
    상기 변환된 시점 영상을 표시하는 단계
    를 포함하는 영상 표시 방법.
  14. 삭제
  15. 제13항에 있어서,
    상기 변환된 시점 영상을 표시하는 단계는,
    렌티큘러 렌즈, 패럴랙스 배리어, 프리즘 배열, 빛의 방향을 변환하는 특성의 홀로그래픽 소자 및 지향성 백라이트 중 하나를 통해 둘 이상의 서로 다른 시점의 시점 영상을 표시하는 단계
    를 포함하는, 영상 표시 방법.
  16. 제13항에 있어서,
    상기 센싱된 위치에 대응하는 시점을 계산하는 단계는,
    적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 위치에 대응하는 시점으로 결정하는 단계
    를 포함하는, 영상 표시 방법.
  17. 제13항에 있어서,
    상기 사용자의 좌우 안구의 위치를 센싱하는 단계는,
    상기 사용자를 촬영하여 사용자 영상을 생성하는 단계; 및
    상기 생성된 사용자 영상으로부터 사용자의 좌우 안구의 위치를 계산하는 단계
    를 포함하는, 영상 표시 방법.
  18. 사용자의 좌우 안구의 공간적 위치를 센싱하는 단계;
    상기 센싱된 공간적 위치에 기초하여 상기 사용자가 상기 사용자의 시선이 영상 표시 면과 수직을 이루는 위치에 존재하는지 확인하는 단계;
    상기 사용자가 상기 사용자의 시선이 영상 표시 면과 수직을 이루는 위치에 존재하지 않는 경우, 각각의 3차원 화소에서의 센싱된 공간적 위치에 대응하는 시점을 계산하는 단계;
    인접한 부화소들이 서로 상이한 시점 영상을 표시하도록 부화소 단위로 시점 영상을 생성하는 단계;
    상기 센싱된 위치에 대응하는 부화소와 인접한 적어도 하나의 부화소가 상기 계산된 시점에 대응하는 시점 영상을 표시하도록 상기 부화소 단위로 생성된 시점 영상을 변환하는 단계; 및
    상기 변환된 시점 영상을 상기 영상 표시 면에 표시하는 단계
    를 포함하는 영상 표시 방법.
  19. 제18항에 있어서,
    상기 센싱된 공간적 위치에 대응하는 시점을 계산하는 단계는,
    모든 3차원 화소 각각으로부터 센싱된 공간적 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소 각각에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 3차원 화소 각각에 대해 센싱된 공간적 위치에 대응하는 시점으로 결정하는 단계
    를 포함하는 영상 표시 방법.
  20. 제18항에 있어서,
    상기 센싱된 공간적 위치에 대응하는 시점을 계산하는 단계는,
    상기 사용자가 상기 사용자의 시선이 영상 표시 면과 수직을 이루는 위치에 존재하는 경우, 적어도 하나의 3차원 화소로부터 센싱된 위치에 해당되는 방향각을 계산하고, 계산된 방향각과 3차원 화소에서 발생하는 모든 시점 영상의 방향각 차이를 비교하여 최소 차이를 갖는 시점을 센싱된 공간적 위치에 대응하는 시점으로 결정하는 단계
    를 포함하는, 영상 표시 방법.
  21. 제13항 및 제15항 내지 제20항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능 기록 매체.
KR1020090105855A 2009-11-04 2009-11-04 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 KR101629479B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020090105855A KR101629479B1 (ko) 2009-11-04 2009-11-04 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
EP10189821.1A EP2320668A3 (en) 2009-11-04 2010-11-03 High density multi-view image display system and method with active sub-pixel rendering
EP16158551.8A EP3046325B1 (en) 2009-11-04 2010-11-03 High density multi-view image display system and method with active sub-pixel rendering
JP2010247707A JP5704893B2 (ja) 2009-11-04 2010-11-04 アクティブサブピクセルレンダリング方式に基づく高密度多視点映像表示システムおよび方法
US12/926,260 US8681174B2 (en) 2009-11-04 2010-11-04 High density multi-view image display system and method with active sub-pixel rendering
CN201410339461.1A CN104079919B (zh) 2009-11-04 2010-11-04 使用主动亚像素渲染的高密度多视点图像显示系统及方法
CN201010543468.7A CN102056003B (zh) 2009-11-04 2010-11-04 使用主动亚像素渲染的高密度多视点图像显示系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090105855A KR101629479B1 (ko) 2009-11-04 2009-11-04 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20110049039A KR20110049039A (ko) 2011-05-12
KR101629479B1 true KR101629479B1 (ko) 2016-06-10

Family

ID=43533189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090105855A KR101629479B1 (ko) 2009-11-04 2009-11-04 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법

Country Status (5)

Country Link
US (1) US8681174B2 (ko)
EP (2) EP2320668A3 (ko)
JP (1) JP5704893B2 (ko)
KR (1) KR101629479B1 (ko)
CN (2) CN102056003B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046259A1 (en) * 2018-08-26 2020-03-05 Leia Inc. Multiview display, system, and method with user tracking

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9116357B2 (en) * 2007-06-23 2015-08-25 Industrial Technology Research Institute Hybrid multiplexed 3D display and displaying method thereof
GB2481366B (en) * 2010-06-03 2014-05-28 Sony Comp Entertainment Europe Entertainment device and entertainment methods
EP2461238B1 (en) 2010-12-02 2017-06-28 LG Electronics Inc. Image display apparatus including an input device
US20120154378A1 (en) * 2010-12-20 2012-06-21 Sony Ericsson Mobile Communications Ab Determining device movement and orientation for three dimensional views
KR20120100821A (ko) * 2011-03-04 2012-09-12 삼성전자주식회사 다시점 영상 디스플레이 장치
EP2689584A1 (en) * 2011-03-23 2014-01-29 Sony Ericsson Mobile Communications AB Rearranging pixels of a three-dimensional display to reduce pseudo-stereoscopic effect
JP2012222386A (ja) * 2011-04-04 2012-11-12 Sony Corp 表示制御装置および方法、並びにプログラム
US9188778B2 (en) * 2011-04-08 2015-11-17 Sharp Kabushiki Kaisha Display device
KR101569602B1 (ko) * 2011-05-05 2015-11-16 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 렌즈형 지향성 디스플레이
JP5874197B2 (ja) * 2011-05-26 2016-03-02 ソニー株式会社 表示装置および方法、並びにプログラム
JP5978695B2 (ja) * 2011-05-27 2016-08-24 株式会社Ｊｖｃケンウッド 裸眼立体ディスプレイ装置及び視点調整方法
WO2012165132A1 (ja) * 2011-05-27 2012-12-06 株式会社Ｊｖｃケンウッド 裸眼立体ディスプレイ装置、視点調整方法、裸眼立体視用映像データ生成方法
CN103597915B (zh) 2011-06-06 2017-05-24 帝斯曼知识产权资产管理有限公司 金属箔图案层叠体、金属箔层叠体、金属箔层叠基板、太阳能电池模块和金属箔图案层叠体的制造方法
US9363504B2 (en) 2011-06-23 2016-06-07 Lg Electronics Inc. Apparatus and method for displaying 3-dimensional image
JP5143262B1 (ja) * 2011-08-30 2013-02-13 株式会社東芝 立体映像処理装置、立体映像処理方法
JP5095851B1 (ja) * 2011-08-31 2012-12-12 株式会社東芝 映像処理装置および映像処理方法
US20140152783A1 (en) * 2011-09-01 2014-06-05 Sharp Kabushiki Kaisha Display device
JP5127972B1 (ja) * 2011-09-30 2013-01-23 株式会社東芝 電子機器、電子機器の制御方法
CN102510503B (zh) * 2011-09-30 2015-06-03 深圳超多维光电子有限公司 一种立体显示方法及立体显示设备
US9055289B2 (en) * 2011-11-23 2015-06-09 Korea Institute Of Science And Technology 3D display system
KR101953686B1 (ko) 2011-11-30 2019-05-23 삼성전자주식회사 부화소를 렌더링하는 영상 처리 장치 및 방법
KR20130080517A (ko) 2012-01-05 2013-07-15 삼성디스플레이 주식회사 3차원 영상 표시 방법 및 이를 수행하기 위한 표시 장치
CN104041027A (zh) * 2012-01-06 2014-09-10 奥崔迪合作公司 用于三维显示的显示处理器
CN104221372B (zh) * 2012-01-26 2016-12-14 弗劳恩霍弗应用技术研究院 自动立体显示器及显示3d图像的方法
KR20130093369A (ko) * 2012-02-14 2013-08-22 삼성디스플레이 주식회사 표시 장치 및 이를 이용한 입체 영상 표시 방법
KR101922589B1 (ko) * 2012-02-15 2018-11-27 삼성전자주식회사 디스플레이장치 및 그 시선추적방법
WO2013121468A1 (ja) * 2012-02-15 2013-08-22 パナソニック株式会社 立体画像表示装置及び立体画像表示方法
JP5167439B1 (ja) 2012-02-15 2013-03-21 パナソニック株式会社 立体画像表示装置及び立体画像表示方法
GB2499426A (en) * 2012-02-16 2013-08-21 Dimenco B V Autostereoscopic display device with viewer tracking system
JP5762998B2 (ja) * 2012-03-07 2015-08-12 株式会社ジャパンディスプレイ 表示装置および電子機器
JP6131545B2 (ja) * 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
US8876601B2 (en) 2012-03-27 2014-11-04 Electronics And Telecommunications Research Institute Method and apparatus for providing a multi-screen based multi-dimension game service
CN103379355B (zh) * 2012-04-25 2015-10-28 浙江大学 一种立体视频对产生方法及装置
KR101908511B1 (ko) * 2012-05-16 2018-10-17 엘지디스플레이 주식회사 입체 영상 표시 장치 및 이의 구동 방법
KR101813576B1 (ko) * 2012-08-10 2017-12-29 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 자동 입체 스크린 및 두 개 이상의 다른 화상을 동시에 재생하는 방법
JP5568116B2 (ja) * 2012-09-13 2014-08-06 株式会社東芝 映像処理装置および映像処理方法
KR20140046563A (ko) * 2012-10-05 2014-04-21 삼성전자주식회사 디스플레이의 방향을 고려하여 영상 렌더링을 수행하는 영상 처리 장치 및 방법
KR20140053740A (ko) * 2012-10-26 2014-05-08 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
US8963808B2 (en) * 2012-10-29 2015-02-24 Corning Incorporated Autostereoscopic display device and method of displaying image
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US9674510B2 (en) * 2012-11-21 2017-06-06 Elwha Llc Pulsed projection system for 3D video
US9383588B2 (en) * 2012-11-30 2016-07-05 Lumenco, Llc Slanted lens interlacing
US9052518B2 (en) 2012-11-30 2015-06-09 Lumenco, Llc Slant lens interlacing with linearly arranged sets of lenses
KR101977251B1 (ko) * 2012-12-18 2019-08-28 엘지디스플레이 주식회사 멀티 뷰 무안경 입체 영상 표시장치와 그 최적 시청 거리 제어 방법
KR101996655B1 (ko) * 2012-12-26 2019-07-05 엘지디스플레이 주식회사 홀로그램 표시 장치
US9335027B2 (en) 2013-01-02 2016-05-10 Massachusetts Institute Of Technology Methods and apparatus for transparent display using scattering nanoparticles
KR101993338B1 (ko) * 2013-01-14 2019-06-27 엘지디스플레이 주식회사 3차원 영상 표시장치
KR101992912B1 (ko) * 2013-01-31 2019-06-26 엘지디스플레이 주식회사 3차원 영상 표시 장치
WO2014169238A1 (en) * 2013-04-11 2014-10-16 Digimarc Corporation Methods for object recognition and related arrangements
CN103281550B (zh) * 2013-06-14 2015-03-11 冠捷显示科技（厦门）有限公司 一种裸眼立体显示器指引观看者找到最佳观看位置的方法
US9323053B2 (en) * 2013-09-30 2016-04-26 Nghia Trong Lam Active shielding against intense illumination (ASAII) system for direct viewing
JP5661893B2 (ja) * 2013-10-16 2015-01-28 株式会社東芝 ３次元映像表示装置
US9967538B2 (en) 2013-11-04 2018-05-08 Massachussetts Institute Of Technology Reducing view transitions artifacts in automultiscopic displays
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
CN103747236A (zh) * 2013-12-30 2014-04-23 中航华东光电有限公司 结合人眼跟踪的立体视频处理系统及方法
JPWO2015132828A1 (ja) * 2014-03-06 2017-03-30 パナソニックＩｐマネジメント株式会社 映像表示方法、及び、映像表示装置
KR20220044362A (ko) * 2014-03-21 2022-04-07 리얼디 스파크, 엘엘씨 지향성 백라이트
KR102205553B1 (ko) * 2014-07-02 2021-01-21 삼성디스플레이 주식회사 입체영상 표시장치
KR102225478B1 (ko) * 2014-07-02 2021-03-11 삼성디스플레이 주식회사 입체영상 표시장치
KR102030830B1 (ko) 2014-07-18 2019-10-10 삼성전자주식회사 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102240568B1 (ko) * 2014-08-18 2021-04-16 삼성전자주식회사 영상 처리 방법 및 장치
KR101975246B1 (ko) * 2014-10-10 2019-05-07 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
KR20160058327A (ko) * 2014-11-14 2016-05-25 삼성디스플레이 주식회사 입체 영상 표시 장치
CN104503092B (zh) * 2014-11-28 2018-04-10 深圳市魔眼科技有限公司 不同角度和距离自适应的三维显示方法及设备
KR102281690B1 (ko) 2014-12-01 2021-07-26 삼성전자주식회사 3 차원 이미지 생성 방법 및 장치
CN104596441B (zh) * 2015-01-30 2017-12-05 京东方科技集团股份有限公司 检测彩膜表面形貌的方法及装置
WO2016152217A1 (ja) * 2015-03-23 2016-09-29 ソニー株式会社 表示装置、表示装置の駆動方法、及び、電子機器
WO2016163783A1 (en) 2015-04-07 2016-10-13 Samsung Electronics Co., Ltd. Display device and method of controlling the same
KR102420041B1 (ko) * 2015-04-07 2022-07-13 삼성전자주식회사 디스플레이 장치 및 그 제어방법
KR102185130B1 (ko) * 2015-05-21 2020-12-01 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102415501B1 (ko) * 2015-08-07 2022-07-01 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 추정 방법 및 그 방법을 이용한 3차원 디스플레이 장치
KR102415502B1 (ko) 2015-08-07 2022-07-01 삼성전자주식회사 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
JP6131312B2 (ja) * 2015-12-08 2017-05-17 株式会社Pfu 情報処理装置、方法およびプログラム
CN105445948B (zh) * 2016-01-04 2018-02-16 京东方科技集团股份有限公司 一种裸眼3d显示装置及显示方法
US10324237B2 (en) 2016-04-01 2019-06-18 Massachusetts Institute Of Technology Transparent displays with scattering nanoparticles and thin films for enhanced scattering
KR102633595B1 (ko) 2016-11-21 2024-02-05 삼성전자주식회사 디스플레이장치 및 그 제어방법
US10353946B2 (en) * 2017-01-18 2019-07-16 Fyusion, Inc. Client-server communication for live search using multi-view digital media representations
CN107315470B (zh) * 2017-05-25 2018-08-17 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
EP3416381A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
JP2019015697A (ja) * 2017-07-11 2019-01-31 ソニーセミコンダクタソリューションズ株式会社 距離測定装置及び移動体装置
KR102397089B1 (ko) 2017-07-28 2022-05-12 삼성전자주식회사 이미지 처리 방법 및 이미지 처리 장치
FR3071625B1 (fr) * 2017-09-26 2019-09-27 Alioscopy Systeme et procede d'affichage d'une image autostereoscopique a 2 points de vue sur un ecran d'affichage autostereoscopique a n points de vue et procede de controle d'affichage sur un tel ecran d'affichage
KR101966632B1 (ko) * 2017-12-28 2019-04-09 서울과학기술대학교 산학협력단 자유선택시점 영상 스트리밍 서비스 실시간 전송장치 및 방법
KR101956087B1 (ko) * 2018-08-17 2019-03-08 삼성전자주식회사 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
KR101970485B1 (ko) * 2018-08-31 2019-04-19 주식회사 모픽 입체 영상 표시 장치 및 그 개인별 맞춤식 시청 환경 향상 방법
US10621932B1 (en) * 2018-10-12 2020-04-14 Novatek Microelectronics Corp. Sub-pixel rendering data conversion apparatus and method
WO2020139338A1 (en) * 2018-12-27 2020-07-02 Leia Inc. Multiview display, system, and method having dynamic color sub-pixels remapping
CN112584125A (zh) * 2019-09-30 2021-03-30 北京芯海视界三维科技有限公司 三维图像显示设备及其显示方法
CN112929643B (zh) * 2019-12-05 2022-06-28 北京芯海视界三维科技有限公司 3d显示设备、方法及终端
CN112929639A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 人眼追踪装置、方法及3d显示设备、方法和终端
CN112929644A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 多视点裸眼3d显示屏、多视点裸眼3d显示设备
CN112929648A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 实现3d图像显示的方法、3d显示设备
CN112929636A (zh) * 2019-12-05 2021-06-08 北京芯海视界三维科技有限公司 3d显示设备、3d图像显示方法
CN115166993B (zh) * 2022-05-31 2023-11-10 北京邮电大学 自适应三维光场显示方法及系统
CN115278201A (zh) * 2022-07-29 2022-11-01 北京芯海视界三维科技有限公司 处理装置及显示器件

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058034A1 (en) * 2005-09-12 2007-03-15 Shunichi Numazaki Stereoscopic image display device, stereoscopic display program, and stereoscopic display method
WO2009130542A1 (en) 2008-04-24 2009-10-29 Nokia Corporation Plug and play multiplexer for any stereoscopic viewing device

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPM701394A0 (en) * 1994-07-22 1994-08-18 Monash University A graphical display system
US7190518B1 (en) * 1996-01-22 2007-03-13 3Ality, Inc. Systems for and methods of three dimensional viewing
JP3443272B2 (ja) * 1996-05-10 2003-09-02 三洋電機株式会社 立体映像表示装置
WO2003079272A1 (en) * 2002-03-15 2003-09-25 University Of Washington Materials and methods for simulating focal shifts in viewers using large depth of focus displays
US6917368B2 (en) * 2003-03-04 2005-07-12 Clairvoyante, Inc. Sub-pixel rendering system and method for improved display viewing angles
US7623105B2 (en) * 2003-11-21 2009-11-24 Sharp Laboratories Of America, Inc. Liquid crystal display with adaptive color
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
DE10359403B4 (de) * 2003-12-18 2005-12-15 Seereal Technologies Gmbh Autostereoskopisches Multi-User-Display
JP4271155B2 (ja) * 2004-02-10 2009-06-03 株式会社東芝 三次元画像表示装置
JP3885077B2 (ja) * 2004-03-26 2007-02-21 独立行政法人科学技術振興機構 三次元ディスプレイ
US20070291035A1 (en) * 2004-11-30 2007-12-20 Vesely Michael A Horizontal Perspective Representation
DE102004059729B3 (de) * 2004-12-11 2006-04-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur autostereoskopischen Erzeugung von dreidimensionalen Bildinformationen aus gerasterten Subpixelauszügen und Anordnung zur Verfahrensdurchführung
JP2006174258A (ja) * 2004-12-17 2006-06-29 Namco Bandai Games Inc プログラム，立体視画像生成装置及び立体視画像表示装置
RU2322771C2 (ru) * 2005-04-25 2008-04-20 Святослав Иванович АРСЕНИЧ Стереопроекционная система
JP4521342B2 (ja) * 2005-09-29 2010-08-11 株式会社東芝 三次元画像表示装置、三次元画像表示方法および三次元画像表示プログラム
US8077195B2 (en) * 2006-07-24 2011-12-13 Seefront Gmbh Autostereoscopic system
BRPI0908372A8 (pt) * 2008-02-11 2016-08-02 Koninklijke Philips Electronics Nv Dispositivo de saída de imagem auto-estereoscópica
CN102016877B (zh) * 2008-02-27 2014-12-10 索尼计算机娱乐美国有限责任公司 用于捕获场景的深度数据并且应用计算机动作的方法
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070058034A1 (en) * 2005-09-12 2007-03-15 Shunichi Numazaki Stereoscopic image display device, stereoscopic display program, and stereoscopic display method
WO2009130542A1 (en) 2008-04-24 2009-10-29 Nokia Corporation Plug and play multiplexer for any stereoscopic viewing device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020046259A1 (en) * 2018-08-26 2020-03-05 Leia Inc. Multiview display, system, and method with user tracking

Also Published As

Publication number Publication date
EP3046325B1 (en) 2018-08-15
JP5704893B2 (ja) 2015-04-22
KR20110049039A (ko) 2011-05-12
CN104079919A (zh) 2014-10-01
CN102056003B (zh) 2015-03-11
US20110102423A1 (en) 2011-05-05
EP3046325A1 (en) 2016-07-20
CN102056003A (zh) 2011-05-11
JP2011101366A (ja) 2011-05-19
CN104079919B (zh) 2016-08-17
EP2320668A2 (en) 2011-05-11
EP2320668A3 (en) 2013-06-12
US8681174B2 (en) 2014-03-25

Similar Documents

Publication Publication Date Title
KR101629479B1 (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
JP6308513B2 (ja) 立体画像表示装置、画像処理装置及び立体画像処理方法
JP3944188B2 (ja) 立体画像表示方法、立体画像撮像方法及び立体画像表示装置
JP4403162B2 (ja) 立体画像表示装置および立体画像の作製方法
Peleg et al. Omnistereo: Panoramic stereo imaging
JP5011316B2 (ja) 出力画像のレンダリング
JP5306275B2 (ja) 表示装置及び立体画像の表示方法
EP1143747B1 (en) Processing of images for autostereoscopic display
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
KR100416548B1 (ko) 3차원 영상 표시장치
US9154765B2 (en) Image processing device and method, and stereoscopic image display device
KR101852209B1 (ko) 자동입체 디스플레이 및 그 제조방법
KR20130061042A (ko) 부화소를 렌더링하는 영상 처리 장치 및 방법
JP6128442B2 (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｓｔｅｒｅｏ ｂａｓｅ ｅｘｔｅｎｓｉｏｎ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ｝
TW201322733A (zh) 影像處理裝置、立體影像顯示裝置、影像處理方法及影像處理程式
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JP5439686B2 (ja) 立体画像表示装置及び立体画像表示方法
TWI489149B (zh) 立體顯示裝置及儲存媒體
KR20160028596A (ko) 입체 영상 표시 장치
KR20050076946A (ko) 입체영상 표시장치 및 방법
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
KR101883883B1 (ko) 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법
KR101555974B1 (ko) 렌즈어레이를 이용한 테이블탑형 3차원 디스플레이 시스템
KR100824942B1 (ko) 렌티큘러 디스플레이 영상 생성방법 및 그 기록매체
KR20200086513A (ko) 미소거울배열을 이용하는 무안경 집적 영상 디스플레이 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4