KR101944911B1 - 영상 처리 방법 및 영상 처리 장치 - Google Patents

영상 처리 방법 및 영상 처리 장치 Download PDF

Info

Publication number
KR101944911B1
KR101944911B1 KR1020120122346A KR20120122346A KR101944911B1 KR 101944911 B1 KR101944911 B1 KR 101944911B1 KR 1020120122346 A KR1020120122346 A KR 1020120122346A KR 20120122346 A KR20120122346 A KR 20120122346A KR 101944911 B1 KR101944911 B1 KR 101944911B1
Authority
KR
South Korea
Prior art keywords
pixel
viewpoint image
viewpoint
display
image
Prior art date
Application number
KR1020120122346A
Other languages
English (en)
Other versions
KR20140056748A (ko
Inventor
박주용
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120122346A priority Critical patent/KR101944911B1/ko
Priority to JP2013225042A priority patent/JP6734620B2/ja
Priority to EP13190799.0A priority patent/EP2728888B1/en
Priority to CN201310524977.9A priority patent/CN103795998B/zh
Priority to US14/068,242 priority patent/US9544580B2/en
Publication of KR20140056748A publication Critical patent/KR20140056748A/ko
Application granted granted Critical
Publication of KR101944911B1 publication Critical patent/KR101944911B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/403—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being monoscopic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다시점 영상 및 픽셀 정보를 이용하여 영상 처리를 수행하는 영상 처리 방법 및 영상 처리 장치가 개시된다. 영상 처리 방법은 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 단계; 상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 단계; 및 상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 단계를 포함할 수 있다.

Description

영상 처리 방법 및 영상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS}
아래의 설명은 픽셀 정보를 이용하여 다시점 영상을 라이트필드 디스플레이의 표현 방식에 적합하게 변환하는 영상 처리 방법 및 영상 처리 장치에 관한 것이다.
입체적인 느낌을 제공하는 3차원 영상을 효과적으로 구현하기 위해서는 사람의 좌, 우 시각에 서로 다른 시점(view point)의 영상을 표현해야 한다. 안경과 같은 필터를 이용하지 않고, 3차원 영상을 구현하기 위해서는 3차원 영상을 시점에 따라 공간적으로 분할하여 표현해야 한다. 이러한 방식을 이용한 디스플레이를 무안경식 3차원 디스플레이(autostereoscopic display)라고 한다. 무안경식 3차원 디스플레이에서는 주로 광학적인 수단을 이용하여 영상을 공간에 분할하여 표현하며, 대표적으로 렌티큘러 렌즈(Lenticular lens) 또는 패럴랙스 배리어(parallax barrier)를 이용한다. 렌티큘러 렌즈는 각각의 픽셀 영상이 특정 방향으로만 표현되도록 하고, 패럴랙스 배리어는 슬릿을 통해 특정 방향에서 특정 픽셀만 볼 수 있도록 한다.
무안경식 3차원 디스플레이 중에는 라이트필드(light field)의 원리를 이용하는 라이트필드 디스플레이가 있다. 라이트필드는 3차원 공간상의 모든 점에서 모든 방향으로 빛이 얼마만큼의 세기를 가지는 지를 표현하는 일종의 장(field)으로, 라이트필드의 개념은 공간에서 실제 물체를 표현하는데 적합하다. 라이트필드 디스플레이는 현실 공간에 라이트필드를 표현하여, 실제 사물과 비슷한 3차원 영상을 구현한다.
라이트필드 디스플레이의 방식 중 일반적인 라이트필드를 구현하는 집적 영상(integral imaging) 방식이 있다. 집적 영상 방식은 실제 물체가 한 점에서 여러 방향으로 빛을 생성하거나 또는 반사하는 원리를 이용하여, 일정한 공간에 존재하는 점들이 여러 방향으로 방사하는 빛을 그대로 구현하는 방식이다.
라이트필드를 이용하는 방식에서는 여러 점에서 여러 방향으로 향하는 빛을 표현하기 때문에, 다시점 영상(multi-viewpoint image)이 입력되는 경우, 디스플레이 픽셀(pixel)과 시점 영상 픽셀이 일대일로 대응되지 않는 경우가 많다. 이는, 특정 시점의 영상을 표현하기 위해 픽셀의 위치와 픽셀에서 나오는 빛의 방향이 특정되어 있지 않기 때문이다. 따라서, 라이트필드 원리를 이용하는 일반적인 디스플레이에서 다시점 영상을 입력으로 하여 3차원 영상을 표현하기 위해서는 다시점 영상을 라이트필드 디스플레이의 표현 방식으로 변환하는 과정이 필요하다.
일실시예에 따른 영상 처리 방법은, 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 단계; 상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 단계; 및 상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서, 상기 시점 영상을 결정하는 단계는, 복수 개의 시점 영상들 중 상기 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하는 단계; 및 상기 보간을 통해 생성된 시점 영상을 상기 광선에 대응하는 시점 영상으로 결정하는 단계를 포함할 수 있다.
다른 실시예에 따른 영상 처리 방법은, 사용자 눈의 위치에 기초하여 픽셀값이 적용될 디스플레이 픽셀을 식별하는 단계; 상기 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 단계; 상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 단계; 및 상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 단계를 포함할 수 있다.
다른 실시예에 따른 영상 처리 방법에서, 상기 시점 영상을 결정하는 단계는, 복수 개의 시점 영상들 중 상기 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하는 단계; 및 상기 보간을 통해 생성된 시점 영상을 상기 광선에 대응하는 시점 영상으로 결정하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는, 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 시점 영상 결정부; 상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 시점 영상 픽셀 결정부; 및 상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 픽셀값 결정부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치에서, 상기 시점 영상 결정부는, 복수 개의 시점 영상들 중 상기 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하는 시점 영상 보간부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치에서, 상기 픽셀값 결정부는, 인접한 시점 영상 픽셀들의 픽셀값을 보간하는 픽셀값 보간부를 포함할 수 있다.
일실시예에 따른 영상 처리 장치는, 사용자 눈의 위치에 기초하여 픽셀값이 적용될 디스플레이 픽셀을 식별하는 디스플레이 픽셀 식별부를 더 포함할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치의 전반적인 동작을 설명하기 위한 도면이다.
도 2는 다른 실시예에 따른 센서와 연동하여 영상 처리를 수행하는 영상 처리 장치의 전반적인 동작을 설명하기 위한 도면이다.
도 3은 일실시예에 따른 3D 픽셀을 포함하는 라이트필드 디스플레이를 도시한 도면이다.
도 4는 일실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 5는 다른 실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 6은 일실시예에 따른 시점 영상을 결정하는 동작을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 디스플레이 픽셀의 픽셀값을 결정하는 동작을 설명하기 위한 도면이다.
도 8은 일실시예에 따른 광학적인 수단을 포함하는 라이트필드 디스플레이에서 디스플레이 픽셀의 픽셀값을 결정하는 동작을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 복수 개의 프로젝터들을 이용하는 라이트필드 디스플레이에서의 영상 처리 동작을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 복수 개의 프로젝터들을 이용하는 라이트필드 디스플레이에서 수평 방향의 패럴랙스를 갖는 다시점 영상이 입력되었을 때의 영상 처리 동작을 설명하기 위한 도면이다.
도 11은 일실시예에 따른 영상 처리 방법의 세부적인 단계를 설명하기 위한 흐름도이다.
도 12는 다른 실시예에 따른 영상 처리 방법의 세부적인 단계를 설명하기 위한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 일실시예에 따른 영상 처리 방법은 영상 처리 장치에 의해 수행될 수 있다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 영상 처리 장치의 전반적인 동작을 설명하기 위한 도면이다.
도 1에 따르면, 라이트필드 디스플레이(120) 시스템은 영상 처리 장치(110) 및 라이트필드 디스플레이(120)를 포함할 수 있다.
라이트필드 디스플레이(120)는 라이트필드 원리를 이용하여 오브젝트를 출력하는 디스플레이로, 3차원 공간상의 오브젝트가 빛을 어떤 방향으로 어느 세기만큼 생성 또는 반사하는지를 표현할 수 있다. 라이트필드 디스플레이(120)는 예를 들어, 특정 방향으로 광선(ray)을 출력하는 픽셀들을 그룹화하여 구현하거나 또는 복수 개의 프로젝터(projector) 및 스크린을 이용하여 구현할 수 있다. 또한, 라이트필드 디스플레이(120)는 렌티큘러 렌즈(Lenticular lens) 또는 패럴랙스 배리어(parallax barrier) 등의 광학적인 수단을 이용할 수도 있다. 라이트필드 디스플레이(120)는 다시점 3D 디스플레이 또는 집적 영상(integral imaging) 방식을 이용하는 디스플레이를 포함할 수 있다.
영상 처리 장치(110)는 다시점 영상(multi-viewpoint image)이 라이트필드 디스플레이(120)의 표현 방식에 적합하도록 라이트필드 디스플레이(120)의 픽셀 정보를 이용하여 영상 변환을 수행할 수 있다. 여기서, 픽셀 정보는 라이트필드 디스플레이(120)에 포함된 디스플레이 픽셀의 위치 및 각 디스플레이 픽셀에서 나오는 광선에 관한 정보를 포함할 수 있다.
다시점 영상은 동일한 시간에 동일한 오브젝트를 촬영한 영상으로, 서로 다른 시점에서 촬영한 영상을 나타낸다. 예를 들어, 다시점 영상은 복수 개의 카메라가 배열되어 있는 카메라 어레이(camera array)에 의해 촬영될 수 있다. 카메라 어레이에서의 각 카메라 위치에 따라 서로 다른 시점(view point)을 갖는 시점 영상이 촬영될 수 있다.
영상 처리 장치(110)는 다시점 영상이 입력된 경우, 라이트필드 디스플레이(120)의 각 디스플레이 픽셀에 대응되는 시점 영상을 결정할 수 있다. 영상 처리 장치(110)는 복수 개의 시점 영상 중 각 디스플레이 픽셀의 픽셀 정보에 기초하여 시점 영상을 결정할 수 있다. 또는, 영상 처리 장치(110)는 복수 개의 시점 영상을 보간(interpolation)하여 새로운 시점을 갖는 시점 영상을 생성할 수 있고, 생성된 시점 영상을 디스플레이 픽셀에 대응되는 시점 영상으로 결정할 수 있다.
영상 처리 장치(110)는 디스플레이 픽셀에 대응하는 시점 영상이 결정되면, 디스플레이 픽셀에 대응하는 시점 영상 픽셀의 픽셀값에 기초하여 해당 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 또는, 영상 처리 장치(110)는 복수 개의 시점 영상 픽셀의 픽셀값들을 보간하여 해당 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 영상 처리 장치(110)는 위와 같은 과정을 통해 다시점 영상을 라이트필드 디스플레이(120)에 적합한 영상으로 변환시킬 수 있다.
또한, 영상 처리 장치(110)는 3차원 오브젝트에서 발생하는 실제의 라이트필드와 유사한 라이트필드를 구현함으로써 사용자에게 3차원 오브젝트에 대한 사실감을 제공할 수 있고, 사용자가 이동하더라도 라이트필드 디스플레이(120) 내의 3차원 오브젝트는 고정된 위치에 존재하는 것과 같은 현실감을 제공할 수 있다.
도 2는 다른 실시예에 따른 센서와 연동하여 영상 처리를 수행하는 영상 처리 장치의 전반적인 동작을 설명하기 위한 도면이다.
도 2 따르면, 라이트필드 디스플레이(230) 시스템은 센서(210), 영상 처리 장치(220) 및 라이트필드 디스플레이(230)를 포함할 수 있다.
센서(210)는 라이트필드 디스플레이(230)를 응시하는 사용자 눈의 위치를 감지할 수 있다. 이때, 센서(210)로는 사용자의 눈을 촬영하여 3차원 공간 좌표를 생성할 수 있는 카메라가 이용될 수 있다. 이때, 카메라는 라이트필드 디스플레이(230)에 내장(embed)되거나, 또는 외부에 장착되어 라이트필드 디스플레이(230)와 연결될 수 있다. 일례로, 카메라는 하나 이상의 가시 대역 카메라, 하나 이상의 적외선 카메라 및 하나 이상의 깊이 카메라 중 적어도 하나를 포함할 수 있다.
일례에서, 영상 처리 장치(220)는 카메라를 통해 촬영된 2D(dimension) 영상 및 깊이 정보를 포함하고 있는 깊이 영상을 이용하여 사용자 눈의 위치를 계산할 수 있다. 영상 처리 장치(220)는 2D 영상에서 카메라의 위치 및 카메라의 방향에 기초하여 3차원 공간 좌표계의 두 축에 관한 위치 정보를 획득할 수 있고, 깊이 영상을 통해 나머지 한 축에 관한 위치 정보를 획득할 수 있다. 영상 처리 장치(220)는 획득한 위치 정보를 조합하여 사용자 눈의 위치를 계산할 수 있다.
영상 처리 장치(220)는 사용자 눈의 위치에 기초하여 영상 처리가 수행될 디스플레이 픽셀들을 식별할 수 있다. 구체적으로, 영상 처리 장치(220)는 디스플레이 픽셀에서 나오는 광선과 사용자 눈의 위치 간의 거리에 기초하여 일정 거리 이내에 해당되는 디스플레이 픽셀들을 식별할 수 있다. 영상 처리 장치(220)는 라이트필드 디스플레이에 포함된 디스플레이 픽셀들에 대해 선별적으로 영상 처리를 수행하여 계산량을 줄일 수 있다.
다시 말해서, 영상 처리 장치(220)는 식별된 디스플레이 픽셀에 대해서만 대응되는 시점 영상을 결정하고, 대응되는 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 영상 처리 장치(220)가 시점 영상을 결정하는 동작 및 디스플레이 픽셀의 픽셀값을 결정하는 동작은 도 1의 내용을 참고할 수 있다.
영상 처리 장치(220)는 사용자 눈의 위치를 이용하여 사용자 눈의 위치에 따라 서로 다른 컨텐츠를 제공할 수 있고, 사용자 눈의 위치를 이용하여 서로 다른 사용자에게 동시에 서로 다른 컨텐츠를 제공할 수도 있다.
도 3은 일실시예에 따른 3D 픽셀을 포함하는 라이트필드 디스플레이를 도시한 도면이다.
도 3에 따르면, 라이트필드 디스플레이(310)는 복수 개의 3D 픽셀(320)들을 포함할 수 있다. 3D 픽셀(320)은 각각의 방향을 가진 광선(340)을 출력하는 디스플레이 픽셀(330)들을 포함할 수 있다. 또는, 3D 픽셀(320)은 렌티큘러 렌즈, 패럴랙스 배리어 또는 마이크로 렌즈 어레이 등의 광학 필터를 이용하여 여러 방향으로 광선(340)을 방사할 수 있다. 이에 따라, 디스플레이 픽셀(330)들이 모여서 3차원 공간 상의 점들이 라이트필드 디스플레이(310)에 표시될 수 있다.
각 3D 픽셀(320)에서 디스플레이 픽셀(330)들의 위치 및 디스플레이 픽셀(330)에서 출력하는 광선(340)에 관한 정보는 라이트필드 디스플레이 또는 영상 처리 장치에 미리 저장될 수 있다. 디스플레이 픽셀의 위치 및 디스플레이 픽셀에서 나오는 광선에 관한 정보는 라이트필드 디스플레이의 설계 환경 및 이용되는 광학 필터에 따라 다양할 수 있다.
디스플레이 픽셀(330)에서 나오는 광선(340)의 방향은 수평 방향 및 수직 방향 중 어느 하나이거나 또는 모든 방향을 포함할 수 있다. 예를 들어, 디스플레이 픽셀(330)에서 나오는 광선(340)이 수평 방향으로는 특정 방향을 가지지만, 수직 방향으로는 모든 방향으로 진행하는 경우, 라이트필드 디스플레이(310)는 수평 방향의 라이트필드를 구성할 수 있다. 반대로, 디스플레이 픽셀(330)에서 나오는 광선(340)이 수직 방향으로는 특정 방향을 가지지만, 수평 방향으로는 모든 방향으로 진행하는 경우, 라이트필드 디스플레이(310)는 수직 방향의 라이트필드를 구성할 수 있다. 또한, 디스플레이 픽셀(330)에서 나오는 광선(340)이 수평 방향 및 수직 방향으로 모두 특정 방향으로 진행하는 경우, 라이트필드 디스플레이(310)는 모든 방향에 대해 라이트필드를 구성할 수 있다.
도 4는 일실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 4에 따르면, 영상 처리 장치(410)는 시점 영상 결정부(420), 시점 영상 결정부(420) 및 픽셀값 결정부(450)를 포함할 수 있다. 또한, 시점 영상 결정부(420)는 시점 영상 보간부(430)를 포함할 수 있고, 픽셀값 결정부(450)는 픽셀값 보간부(460)를 포함할 수 있다.
시점 영상 결정부(420)는 각각의 디스플레이 픽셀에서 나오는 광선과 다시점 영상을 구성하고 있는 시점 영상의 시점을 이용하여 각 광선에 대응하는 시점 영상을 결정할 수 있다.
디스플레이 픽셀은 각각의 진행 방향을 갖는 광선을 출력할 수 있고, 디스플레이 픽셀에서 나오는 광선에 관한 정보는 라이트필드 디스플레이 또는 영상 처리 장치(410)에 미리 저장되어 있을 수 있다. 시점 영상의 시점은 시점 영상이 촬영된 촬영 위치로서, 예를 들어 카메라가 오브젝트를 촬영한 위치를 나타낼 수 있다. 시점 영상의 시점은 오브젝트와 카메라 간의 거리 및 촬영각 등의 정보로부터 획득될 수 있다.
시점 영상 결정부(420)는 디스플레이 픽셀에서 나오는 광선과 시점 영상의 시점의 위치를 이용하여 각 광선에 대응하는 시점 영상을 결정할 수 있다. 구체적으로, 시점 영상 결정부(420)는 복수 개의 시점 영상들 중 광선과 가장 가까운 시점을 갖는 시점 영상을 광선에 대응하는 시점 영상으로 결정할 수 있다.
일실시예에 따르면, 시점 영상 결정부(420)는 다시점 영상을 구성하는 각각의 시점 영상의 시점과 디스플레이 픽셀에서 나오는 광선 간의 거리를 계산할 수 있다. 시점 영상 결정부(420)는 계산된 거리들 중 가장 거리가 가까운 시점을 갖는 시점 영상을 해당 광선에 대응하는 시점 영상으로 결정할 수 있다.
또는, 시점 영상 결정부(420)는 복수 개의 시점 영상들 중 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하는 시점 영상 보간부(430)를 포함할 수 있다. 시점 영상 보간부(430)는 복수 개의 시점 영상을 보간하여 새로운 시점을 갖는 시점 영상을 생성할 수 있다. 시점 영상 보간부(430)는 위 과정을 통해 광선의 방향에 위치하는 시점을 갖는 시점 영상을 생성할 수 있다.
일실시예에 따르면, 시점 영상 보간부(430)는 디스플레이 픽셀에서 나오는 광선과 각 시점 영상들의 시점 간의 거리가 미리 설정된 임계범위 내에 포함되는 경우, 포함되는 시점 영상들에 기초하여 보간을 수행할 수 있다. 시점 영상 보간부(430)는 보간을 수행할 시점 영상들에서 대응되는 위치에서의 픽셀값들을 평균하거나 또는 미리 정해진 다양한 보간 공식을 이용하여 시점 영상들을 보간할 수 있다. 시점 영상 결정부(420)는 보간을 통해 새로이 생성된 시점 영상을 해당 디스플레이 픽셀 또는 광선에 대응하는 시점 영상으로 결정할 수 있다.
시점 영상 픽셀 결정부(440)는 디스플레이 픽셀의 위치를 이용하여 시점 영상 결정부(420)가 결정한 시점 영상에서 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정할 수 있다.
시점 영상 픽셀 결정부(440)는 라이트필드 디스플레이에서 시점 영상이 디스플레이되는 디스플레이 영역을 식별할 수 있다. 그 후, 시점 영상 픽셀 결정부(440)는 디스플레이 영역에서 디스플레이 픽셀의 위치에 대응되는 좌표를 식별할 수 있다. 시점 영상 픽셀 결정부(440)는 시점 영상의 디스플레이 영역에서 디스플레이 픽셀의 위치에 대응되는 좌표를 이용하여 시점 영상 픽셀을 결정할 수 있다.
구체적으로, 시점 영상 픽셀 결정부(440)는 시점 영상 픽셀들 중에서 좌표에 대응되는 픽셀을 식별할 수 있다. 일실시예에 따르면, 시점 영상 픽셀 결정부(440)는 좌표에 대응되는 시점 영상에서의 위치와 가장 가까운 시점 영상 픽셀을 해당 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다.
또는, 시점 영상 픽셀 결정부(440)는 좌표에 대응되는 시점 영상에서의 위치에 인접한 시점 영상 픽셀들을 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다. 시점 영상 픽셀 결정부(440)는 복수 개의 시점 영상 픽셀들을 각 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다. 예를 들어, 시점 영상 픽셀 결정부(440)는 좌표에 대응되는 시점 영상의 위치와 각 시점 영상 픽셀 간의 거리에 기초하여, 미리 설정된 임계 범위 내에 해당되는 시점 영상 픽셀들을 결정할 수 있다.
픽셀값 결정부(450)는 시점 영상 픽셀 결정부(440)가 결정한 시점 영상 픽셀의 픽셀값에 기초하여 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 픽셀값 결정부(450)는 결정된 시점 영상 픽셀의 픽셀값을 해당 디스플레이 픽셀의 픽셀값으로 결정할 수 있다. 다시 말해서, 픽셀값 결정부(450)는 디스플레이 픽셀에 대응되는 시점 영상 픽셀의 픽셀값을 해당 디스플레이 픽셀에 인가할 수 있다.
시점 영상 픽셀 결정부(440)가 좌표에 인접한 복수 개의 시점 영상 픽셀들을 결정한 경우, 픽셀값 보간부(460)는 결정된 시점 영상 픽셀들의 픽셀값들을 보간할 수 있다. 픽셀값 보간부(460)는 시점 영상 픽셀들의 픽셀값들을 평균하거나 또는 미리 정해진 보간 공식을 적용하여 픽셀값의 보간을 수행할 수 있다. 픽셀값 결정부(450)는 보간한 픽셀값을 디스플레이 픽셀의 픽셀값으로 결정할 수 있다.
위 과정을 통해, 라이트필드 디스플레이 각각의 디스플레이 픽셀에는 각각의 시점 영상이 결정되고, 해당 시점 영상의 픽셀값에 기초하여 각 디스플레이 픽셀에 가장 적합한 픽셀값이 적용된다. 영상 처리 장치(410)는 라이트필드 디스플레이의 표현 방식에 적합하도록 다시점 영상에 기초한 영상 변환을 수행할 수 있다.
영상 처리 장치(410)는 다시점 영상에 포함된 시점 영상의 시점의 개수와 라이트필드 디스플레이의 디스플레이 픽셀이 표현할 수 있는 광선의 방향의 개수가 일치하지 않더라도, 다시점 영상을 라이트필드 디스플레이가 표현하기에 적합한 영상으로 변환할 수 있다. 또한, 영상 처리 장치(410)는 라이트필드 디스플레이를 구성하는 광학 필터의 종류에 관계 없이, 각 디스플레이 픽셀에서 나오는 광선에 관한 정보를 이용하여 영상 처리를 수행할 수 있다. 영상 처리 장치(410)는 각 디스플레이 픽셀에서 나오는 광선의 표현 방식이 결정된 라이트필드 디스플레이에 대해서는 위 영상 처리 과정을 적용할 수 있다.
도 5는 다른 실시예에 따른 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 5에 따르면, 영상 처리 장치(520)는 디스플레이 픽셀 식별부(530), 시점 영상 결정부(540), 시점 영상 결정부(540) 및 픽셀값 결정부(570)를 포함할 수 있다. 또한, 시점 영상 결정부(540)는 시점 영상 보간부(550)를 포함할 수 있고, 픽셀값 결정부(570)는 픽셀값 보간부(580)를 포함할 수 있다.
디스플레이 픽셀 식별부(530)는 사용자 눈의 위치에 기초하여 픽셀값이 적용될 디스플레이 픽셀들을 식별할 수 있다. 사용자 눈의 위치는 센서(510)를 통해 획득될 수 있다. 예를 들어, 센서(510)는 사용자의 눈을 촬영하여 3차원 공간 좌표를 생성할 수 있는 카메라 등이 해당될 수 있다. 이때, 카메라는 라이트필드 디스플레이에 내장되거나, 또는 외부에 장착되어 라이트필드 디스플레이와 연결될 수 있다. 디스플레이 픽셀 식별부(530)는 사용자 눈을 촬영한 2D 영상 및 사용자 눈을 촬영한 깊이 영상을 이용하여 사용자 눈의 위치를 획득할 수 있다.
구체적으로, 디스플레이 픽셀 식별부(530)는 디스플레이 픽셀에서 나오는 광선과 사용자 눈의 위치 간의 거리가 미리 설정된 임계값 이하가 되는 적어도 하나의 디스플레이 픽셀을 식별할 수 있다. 여기서 미리 설정된 임계값은, 예를 들어 디스플레이 픽셀에서 출력된 광선이 사용자 눈에 보이는 영역에 포함되는지 여부에 기초하여 설정될 수 있다. 사용자 눈에 보이는 영역은, 디스플레이 픽셀에서 광선이 출력되어 사용자 눈에 보여지는 영역으로서 미리 설정될 수 있다. 다시 말해, 디스플레이 픽셀에서 출력된 광선이 사용자 눈의 눈동자에 직접 도달하지 않더라도, 광선의 빛이 일정량 사용자 눈에 도달하여 사용자 눈에 보여질 수 있다. 이처럼, 사용자 눈에 보이는 영역은 광선의 빛이 사용자 눈에 도달함에 따라, 사용자의 눈에 보여지는 영역일 수 있다.
디스플레이 픽셀 식별부(530)는 위 과정을 통해, 영상 처리의 대상이 되는 디스플레이 픽셀들을 식별할 수 있다. 이를 통해 영상 처리 장치(520)는 영상 처리 과정에서의 계산량을 줄여 신속하게 영상 변환을 수행할 수 있다.
시점 영상 결정부(540)는 디스플레이 픽셀 식별부(530)가 식별한 각각의 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 각 광선에 대응하는 시점 영상을 결정할 수 있다. 구체적으로, 시점 영상 결정부(540)는 복수 개의 시점 영상들 중 광선과 가장 가까운 시점을 갖는 시점 영상을 광선에 대응하는 시점 영상으로 결정할 수 있다.
일실시예에 따르면, 시점 영상 결정부(540)는 다시점 영상을 구성하는 각각의 시점 영상의 시점과 디스플레이 픽셀에서 나오는 광선 간의 거리를 계산할 수 있다. 시점 영상 결정부(540)는 계산된 거리들 중 가장 거리가 가까운 시점을 갖는 시점 영상을 해당 광선에 대응하는 시점 영상으로 결정할 수 있다.
또는, 시점 영상 결정부(540)는 복수 개의 시점 영상들 중 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하는 시점 영상 보간부(550)를 포함할 수 있다. 시점 영상 보간부(550)는 복수 개의 시점 영상을 보간하여 새로운 시점을 갖는 시점 영상을 생성할 수 있다. 시점 영상 보간부(550)는 위 과정을 통해 광선의 방향에 위치하는 시점을 갖는 시점 영상을 생성할 수 있다.
일실시예에 따르면, 시점 영상 보간부(550)는 디스플레이 픽셀에서 나오는 광선과 각 시점 영상들의 시점 간의 거리가 미리 설정된 임계범위 내에 포함되는 경우, 포함되는 시점 영상들에 기초하여 보간을 수행할 수 있다. 시점 영상 결정부(540)는 보간을 통해 새로이 생성된 시점 영상을 해당 디스플레이 픽셀 또는 광선에 대응하는 시점 영상으로 결정할 수 있다.
시점 영상 픽셀 결정부(560)는 디스플레이 픽셀의 위치를 이용하여 시점 영상 결정부(540)가 결정한 시점 영상에서 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정할 수 있다.
시점 영상 픽셀 결정부(560)는 라이트필드 디스플레이에서 시점 영상이 디스플레이되는 디스플레이 영역을 식별할 수 있다. 그 후, 시점 영상 픽셀 결정부(560)는 디스플레이 영역에서 디스플레이 픽셀의 위치에 대응되는 좌표를 식별할 수 있다. 시점 영상 픽셀 결정부(560)는 시점 영상의 디스플레이 영역에서 디스플레이 픽셀의 위치에 대응되는 좌표를 이용하여 시점 영상 픽셀을 결정할 수 있다.
구체적으로, 시점 영상 픽셀 결정부(560)는 시점 영상 픽셀들 중에서 좌표에 대응되는 픽셀을 식별할 수 있다. 일실시예에 따르면, 시점 영상 픽셀 결정부(560)는 좌표에 대응되는 시점 영상에서의 위치와 가장 가까운 시점 영상 픽셀을 해당 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다.
또는, 시점 영상 픽셀 결정부(560)는 좌표에 대응되는 시점 영상에서의 위치에 인접한 시점 영상 픽셀들을 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다. 시점 영상 픽셀 결정부(560)는 복수 개의 시점 영상 픽셀들을 각 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다. 예를 들어, 시점 영상 픽셀 결정부(560)는 좌표에 대응되는 시점 영상의 위치와 각 시점 영상 픽셀 간의 거리에 기초하여, 미리 설정된 임계 범위 내에 해당되는 시점 영상 픽셀들을 결정할 수 있다.
픽셀값 결정부(570)는 시점 영상 픽셀 결정부(560)가 결정한 시점 영상 픽셀의 픽셀값에 기초하여 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 픽셀값 결정부(570)는 결정된 시점 영상 픽셀의 픽셀값을 해당 디스플레이 픽셀의 픽셀값으로 결정할 수 있다. 다시 말해서, 픽셀값 결정부(570)는 디스플레이 픽셀에 대응되는 시점 영상 픽셀의 픽셀값을 해당 디스플레이 픽셀에 인가할 수 있다.
시점 영상 픽셀 결정부(560)가 좌표에 인접한 복수 개의 시점 영상 픽셀들을 결정한 경우, 픽셀값 보간부(580)는 결정된 시점 영상 픽셀들의 픽셀값들을 보간할 수 있다. 픽셀값 보간부(580)는 시점 영상 픽셀들의 픽셀값들을 평균하거나 또는 미리 정해진 보간 공식을 적용하여 픽셀값의 보간을 수행할 수 있다. 픽셀값 결정부(570)는 보간한 픽셀값을 디스플레이 픽셀의 픽셀값으로 결정할 수 있다.
도 6은 일실시예에 따른 시점 영상을 결정하는 동작을 설명하기 위한 도면이다.
도 6에 따르면, 라이트필드 디스플레이(620)의 한 디스플레이 픽셀(610)에서 광선(660)이 출력되고 있다. 또한, 라이트필드 디스플레이(620)의 위치를 기준으로 하여 복수 개의 시점 영상들(630)이 도시되어 있다. 각각의 시점 영상은 서로 다른 시점을 가질 수 있다. 시점 영상의 시점은 예를 들어, 오브젝트를 촬영한 카메라의 위치에 대응될 수 있다.
도 6에서는 평면 구조의 카메라 어레이에서 촬영된 시점 영상들(630)이 일례로서 나타나 있다. 예를 들어, 영상 처리 장치는 광선(660)이 카메라 어레이가 이루는 평면과 만나는 점(640)을 기준으로 광선(660)과 시점 영상의 시점 간의 거리를 계산할 수 있다. 영상 처리 장치는 광선(660)과 각 시점 영상의 시점 간의 거리 중 가장 작은 값을 가지는 시점 영상(650)을 결정할 수 있다. 예를 들어, 영상 처리 장치는 광선(660)과 가장 가까운 시점을 가지는 시점 영상(650)을 결정할 수 있다.
또는, 영상 처리 장치는 광선(660)이 카메라 어레이가 이루는 평면과 만나는 점(640)에 인접한 복수 개의 시점 영상들을 이용하여 새로운 시점을 갖는 시점 영상을 생성할 수 있다. 구체적으로, 영상 처리 장치는 인접한 복수 개의 시점 영상들을 보간하여 새로운 시점 영상을 생성할 수 있고, 생성된 시점 영상을 해당 디스플레이 픽셀(610)의 광선(660)에 대응하는 시점 영상으로 결정할 수 있다. 영상 처리 장치는 위 과정을 통해 광선(660) 방향에 위치하는 시점을 갖는 시점 영상을 생성할 수 있다.
이 경우, 영상 처리 장치는 시점 영상들(630)로부터 광선(660)과 시점 영상의 시점 간의 거리가 미리 설정된 임계 범위 내에 포함되는 시점 영상들을 식별할 수 있고, 식별된 시점 영상들을 보간하여 새로운 시점을 갖는 시점 영상을 생성할 수 있다.
영상 처리 장치가 인접한 복수 개의 시점 영상들을 보간하여 새로운 시점 영상을 생성하는 경우, 광선과 해당 시점 영상 간의 거리에 기초하여 가중치를 설정하여 보간을 수행할 수 있다. 예를 들어, 영상 처리 장치는 광선과 해당 시점 영상 간의 거리가 작을수록 더 큰 가중치를 설정할 수 있고, 가중치가 클수록 보간 과정에서 해당 시점 영상의 픽셀값에 더 큰 가중치를 할당할 수 있다.
도 7은 일실시예에 따른 디스플레이 픽셀의 픽셀값을 결정하는 동작을 설명하기 위한 도면이다.
도 7에 따르면, 디스플레이 픽셀(610) 또는 디스플레이 픽셀에서 나오는 광선(660)에 대응하는 시점 영상(650)이 결정되면, 영상 처리 장치는 시점 영상(650)에서 디스플레이 픽셀(610)에서 나오는 광선(660)에 대응하는 적어도 하나의 시점 영상 픽셀을 결정할 수 있다.
영상 처리 장치는 라이트필드 디스플레이(620)상에서 시점 영상(650)의 디스플레이 영역(710)을 식별할 수 있다. 디스플레이 영역(710)은 해당 시점 영상(650)이 디스플레이될 때, 시점 영상(650)의 컨텐츠가 표시되는 영역일 수 있다.
영상 처리 장치는 시점 영상(650)의 디스플레이 영역(710)에서 디스플레이 픽셀(610)의 위치에 대응되는 좌표(720)를 식별할 수 있다. 좌표(720)는 시점 영상(650)의 시점에서 촬영하였을 때, 해당 디스플레이 픽셀(610)의 위치가 영상 내에서 위치하는 좌표일 수 있다. 영상 처리 장치는 디스플레이 영역(710)에서의 좌표(720)를 이용하여 시점 영상(650)에서 디스플레이 픽셀(610)에 대응하는 시점 영상 픽셀을 결정할 수 있다. 이 경우, 영상 처리 장치는 디스플레이 픽셀(610)의 위치에 대응되는 좌표(720)에서 가장 가까운 시점 영상 픽셀을 결정하여, 해당 시점 영상 픽셀의 픽셀값을 디스플레이 픽셀(610)에 적용할 수 있다.
또는, 영상 처리 장치는 디스플레이 픽셀(610)의 위치에 대응되는 좌표(720)에 인접한 시점 영상 픽셀들을 결정할 수 있다. 영상 처리 장치는 인접한 시점 영상 픽셀들의 픽셀값들을 보간하여 해당 디스플레이 픽셀(610)의 픽셀값으로 결정할 수 있다. 이 경우, 영상 처리 장치는 좌표(720)와 각 시점 영상 픽셀 간의 거리에 기초하여 시점 영상 픽셀의 픽셀값에 가중치를 설정할 수 있고, 설정된 가중치에 기초하여 보간을 수행할 수 있다.
도 8은 일실시예에 따른 광학적인 수단을 포함하는 라이트필드 디스플레이에서 디스플레이 픽셀의 픽셀값을 결정하는 동작을 설명하기 위한 도면이다.
도 8에 따르면, 라이트필드 디스플레이(820)는 렌티큘러 렌즈 또는 패럴랙스 배리어 등의 광학 필터를 이용한 라이트필드 디스플레이일 수 있다. 일례로, 도 8은 광학 필터에 의해 디스플레이 픽셀(810)에서 나오는 광선(870)이 수평 방향으로는 특정 방향을 가지지만, 수직 방향으로는 모든 방향으로 진행하는 경우를 도시하고 있다. 이 경우, 수평 방향의 패럴랙스(parallax)만 존재하게 되고, 영상 처리 장치는 디스플레이 픽셀에서 나오는 광선의 수평 방향 성분만을 이용할 수 있다.
영상 처리 장치는 디스플레이 픽셀(810)에서 나오는 광선(870)과 시점 영상들(830)의 시점 간의 거리에 기초하여 디스플레이 픽셀(810) 또는 광선(870)에 대응되는 시점 영상(840)을 결정할 수 있다. 영상 처리 장치는 광선(870)과 가장 가까운 시점을 갖는 시점 영상을 디스플레이 픽셀(810) 또는 광선(870)에 대응되는 시점 영상(840)으로 결정할 수 있다. 또는, 영상 처리 장치는 인접한 복수 개의 시점 영상들을 보간하여 광선(870)의 진행 방향에 위치하는 시점을 갖는 시점 영상을 생성할 수 있다.
영상 처리 장치는 대응되는 시점 영상(840)이 결정되면, 해당 시점 영상(840)의 디스플레이 영역(850)에서 디스플레이 픽셀(810)의 위치에 대응되는 좌표(860)에 기초하여 디스플레이 픽셀(810)의 픽셀값을 결정할 수 있다. 구체적으로, 영상 처리 장치는 디스플레이 영역(850)에서 좌표(860)에 대응되는 위치와 가장 가까운 시점 영상 픽셀의 픽셀값을 해당 디스플레이 픽셀(810)의 픽셀값으로 결정할 수 있다.
또는, 영상 처리 장치는 디스플레이 영역(850)에서 좌표(860)에 대응되는 위치에 인접한 시점 영상 픽셀들의 픽셀값들을 보간하여 해당 디스플레이 픽셀(810)의 픽셀값으로 결정할 수 있다.
도 9는 일실시예에 따른 복수 개의 프로젝터들을 이용하는 라이트필드 디스플레이에서의 영상 처리 동작을 설명하기 위한 도면이다.
도 9에 따르면, 라이트필드 디스플레이는 복수 개의 프로젝터들(910, 920) 및 스크린(930)을 이용하여 구현될 수 있다. 여기서, 영상 처리 장치에 입력되는 시점 영상들(980)은 모두 스크린(930)에 대응되는 영역을 촬영하였다고 가정한다. 따라서, 각각의 시점 영상들(980)의 디스플레이 영역은 스크린(930)의 영역과 동일하다.
제1 프로젝터(910)를 예를 들어 설명하면, 제1 프로젝터(910)의 하나의 디스플레이 픽셀에서 나온 광선(970)이 스크린(930) 상의 한 위치(950)에 도달하고 있다. 영상 처리 장치는 광선(970)과 시점 영상들(980)의 시점을 이용하여 해당 디스플레이 픽셀에 대응하는 시점 영상을 결정할 수 있다.
도 9에서는, 광선(970)과 가장 가까운 시점을 갖는 시점 영상(990)을 해당 디스플레이 픽셀에 대응하는 시점 영상으로 결정한다고 가정한다. 이와는 다르게, 영상 처리 장치는 복수 개의 시점 영상들을 보간하여 광선(970)에 위치하는 시점을 갖는 새로운 시점 영상을 생성할 수도 있고, 생성된 시점 영상을 해당 디스플레이 픽셀에 대응하는 시점 영상으로 결정할 수 있다.
영상 처리 장치는 대응되는 시점 영상(990)이 결정되면, 해당 시점 영상(990)의 디스플레이 영역(960)에서 스크린(930) 상의 위치(950)에 대응되는 좌표(940)에 기초하여 해당 광선(970)에 관한 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 구체적으로, 영상 처리 장치는 디스플레이 영역(960)에서 좌표(940)에 대응되는 위치와 가장 가까운 시점 영상 픽셀의 픽셀값을 해당 디스플레이 픽셀의 픽셀값으로 결정할 수 있다.
또는, 영상 처리 장치는 디스플레이 영역(960)에서 좌표(940)에 대응되는 위치에 인접한 시점 영상 픽셀들의 픽셀값들을 보간하여 해당 디스플레이 픽셀의 픽셀값으로 결정할 수 있다.
영상 처리 장치는 위와 같은 과정을 제1 프로젝트(910)와 제2 프로젝트(920)의 모든 디스플레이 픽셀에 수행하여, 다시점 영상을 라이트필드 디스플레이에서 자연스럽게 디스플레이할 수 있는 영상으로 변환할 수 있다. 도 9에서는 제1 프로젝트(910)와 제2 프로젝트(920)를 이용하여 설명하였지만, 라이트필드 디스플레이를 구성하는 프로젝터의 개수는 위 실시예의 기재에 한정되지 아니한다.
도 10은 일실시예에 따른 복수 개의 프로젝터들을 이용하는 라이트필드 디스플레이에서 수평 방향의 패럴랙스를 갖는 다시점 영상이 입력되었을 때의 영상 처리 동작을 설명하기 위한 도면이다.
도 10은 도 9에서와는 달리, 수평 방향의 패럴랙스만을 갖는 시점 영상들(1010)이 입력된 경우를 나타낸다. 이 경우, 영상 처리 장치는 프로젝터들(910, 920)에서 나오는 광선의 수평 방향 성분만을 이용할 수 있다. 이 외에, 영상 처리 장치가 프로젝터들(910, 920)의 각 디스플레이 픽셀의 픽셀값을 결정하는 구성은 도 9에서 설명한 내용과 동일하다. 영상 처리 장치는 제1 프로젝터(910)의 디스플레이 픽셀 또는 디스플레이 픽셀에서 나오는 광선(970)에 대응하는 시점 영상(1020)을 결정할 수 있다. 그 후, 영상 처리 장치는 결정된 시점 영상(1020)에서 디스플레이 픽셀에서 나온 광선(970)이 스크린(930) 상에 도달한 위치(950)에 대응하는 좌표(940)를 식별할 수 있다. 영상 처리 장치는 좌표(940)에 기초하여 해당 광선(970)에 관한 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 영상 처리 장치는 위와 같은 과정을 제1 프로젝트(910)와 제2 프로젝트(920)의 모든 디스플레이 픽셀에 대해 수행할 수 있다.
도 11은 일실시예에 따른 영상 처리 방법의 세부적인 단계를 설명하기 위한 흐름도이다.
단계(1110)에서, 영상 처리 장치는 각각의 디스플레이 픽셀에서 나오는 광선과 다시점 영상을 구성하고 있는 시점 영상의 시점을 이용하여 각 광선에 대응하는 시점 영상을 결정할 수 있다. 구체적으로, 영상 처리 장치는 복수 개의 시점 영상들 중 광선과 가장 가까운 시점을 갖는 시점 영상을 광선에 대응하는 시점 영상으로 결정할 수 있다.
또는, 영상 처리 장치는 복수 개의 시점 영상들 중 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하여 새로운 시점을 갖는 시점 영상을 생성할 수 있다. 영상 처리 장치는 디스플레이 픽셀에서 나오는 광선과 각 시점 영상들의 시점 간의 거리가 미리 설정된 임계범위 내에 포함되는 경우, 포함되는 시점 영상들에 기초하여 보간을 수행할 수 있다. 영상 처리 장치는 보간을 통해 새로이 생성된 시점 영상을 해당 디스플레이 픽셀 또는 광선에 대응하는 시점 영상으로 결정할 수 있다.
단계(1120)에서, 영상 처리 장치는 디스플레이 픽셀의 위치를 이용하여 시점 영상에서 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정할 수 있다.
영상 처리 장치는 디스플레이 영역에서 디스플레이 픽셀의 위치에 대응되는 좌표를 식별할 수 있다. 그 후, 영상 처리 장치는 시점 영상의 디스플레이 영역에서 디스플레이 픽셀의 위치에 대응되는 좌표를 이용하여 시점 영상 픽셀을 결정할 수 있다.
구체적으로, 영상 처리 장치는 시점 영상 픽셀들 중에서 좌표에 대응되는 픽셀을 식별할 수 있다. 일실시예에 따르면, 영상 처리 장치는 좌표에 대응되는 시점 영상에서의 위치와 가장 가까운 시점 영상 픽셀을 해당 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다.
또는, 영상 처리 장치는 좌표에 대응되는 시점 영상에서의 위치에 인접한 시점 영상 픽셀들을 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다. 이 경우, 영상 처리 장치는 좌표에 대응되는 시점 영상의 위치와 각 시점 영상 픽셀 간의 거리에 기초하여, 미리 설정된 임계 범위 내에 해당되는 시점 영상 픽셀들을 결정할 수 있다.
단계(1130)에서, 영상 처리 장치는 결정된 시점 영상 픽셀의 픽셀값에 기초하여 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 영상 처리 장치는 결정된 시점 영상 픽셀의 픽셀값을 해당 디스플레이 픽셀의 픽셀값으로 결정할 수 있다.
영상 처리 장치가 좌표에 인접한 복수 개의 시점 영상 픽셀들을 결정한 경우, 영상 처리 장치는 결정된 시점 영상 픽셀들의 픽셀값들을 보간할 수 있다. 영상 처리 장치는 시점 영상 픽셀들의 픽셀값들을 평균하거나 또는 미리 정해진 보간 공식을 적용하여 픽셀값의 보간을 수행할 수 있다. 영상 처리 장치는 보간한 픽셀값을 디스플레이 픽셀의 픽셀값으로 결정할 수 있다.
위 과정을 통해, 라이트필드 디스플레이 각각의 디스플레이 픽셀에는 각각의 시점 영상이 결정되고, 해당 시점 영상의 픽셀값에 기초하여 각 디스플레이 픽셀에 가장 적합한 픽셀값이 적용된다.
도 12는 다른 실시예에 따른 영상 처리 방법의 세부적인 단계를 설명하기 위한 흐름도이다.
단계(1210)에서, 영상 처리 장치는 사용자 눈의 위치에 기초하여 픽셀값이 적용될 디스플레이 픽셀들을 식별할 수 있다. 사용자 눈의 위치는 센서를 통해 획득될 수 있다. 예를 들어, 센서(510)는 사용자의 눈을 촬영하여 3차원 공간 좌표를 생성할 수 있는 카메라 등이 해당될 수 있다. 영상 처리 장치는 사용자 눈을 촬영한 2D 영상 및 사용자 눈을 촬영한 깊이 영상을 이용하여 사용자 눈의 위치를 획득할 수 있다.
구체적으로, 영상 처리 장치는 디스플레이 픽셀에서 나오는 광선과 사용자 눈의 위치 간의 거리가 미리 설정된 임계값 이하가 되는 적어도 하나의 디스플레이 픽셀을 식별할 수 있다. 여기서 미리 설정된 임계값은, 예를 들어 디스플레이 픽셀에서 출력된 광선이 사용자 눈에 보이는 영역에 포함되는지 여부에 기초하여 설정될 수 있다. 영상 처리 장치는 위 과정을 통해, 영상 처리를 수행할 디스플레이 픽셀들을 식별할 수 있다.
단계(1220)에서, 영상 처리 장치는 각각의 디스플레이 픽셀에서 나오는 광선과 다시점 영상을 구성하고 있는 시점 영상의 시점을 이용하여 각 광선에 대응하는 시점 영상을 결정할 수 있다. 구체적으로, 영상 처리 장치는 복수 개의 시점 영상들 중 광선과 가장 가까운 시점을 갖는 시점 영상을 광선에 대응하는 시점 영상으로 결정할 수 있다.
또는, 영상 처리 장치는 복수 개의 시점 영상들 중 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하여 새로운 시점을 갖는 시점 영상을 생성할 수 있다. 영상 처리 장치는 디스플레이 픽셀에서 나오는 광선과 각 시점 영상들의 시점 간의 거리가 미리 설정된 임계범위 내에 포함되는 경우, 포함되는 시점 영상들에 기초하여 보간을 수행할 수 있다. 영상 처리 장치는 보간을 통해 새로이 생성된 시점 영상을 해당 디스플레이 픽셀 또는 광선에 대응하는 시점 영상으로 결정할 수 있다.
단계(1230)에서, 영상 처리 장치는 디스플레이 픽셀의 위치를 이용하여 시점 영상에서 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정할 수 있다.
영상 처리 장치는 디스플레이 영역에서 디스플레이 픽셀의 위치에 대응되는 좌표를 식별할 수 있다. 그 후, 영상 처리 장치는 시점 영상의 디스플레이 영역에서 디스플레이 픽셀의 위치에 대응되는 좌표를 이용하여 시점 영상 픽셀을 결정할 수 있다.
구체적으로, 영상 처리 장치는 시점 영상 픽셀들 중에서 좌표에 대응되는 픽셀을 식별할 수 있다. 일실시예에 따르면, 영상 처리 장치는 좌표에 대응되는 시점 영상에서의 위치와 가장 가까운 시점 영상 픽셀을 해당 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다.
또는, 영상 처리 장치는 좌표에 대응되는 시점 영상에서의 위치에 인접한 시점 영상 픽셀들을 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정할 수 있다. 이 경우, 영상 처리 장치는 좌표에 대응되는 시점 영상의 위치와 각 시점 영상 픽셀 간의 거리에 기초하여, 미리 설정된 임계 범위 내에 해당되는 시점 영상 픽셀들을 결정할 수 있다.
단계(1240)에서, 영상 처리 장치는 결정된 시점 영상 픽셀의 픽셀값에 기초하여 디스플레이 픽셀의 픽셀값을 결정할 수 있다. 영상 처리 장치는 결정된 시점 영상 픽셀의 픽셀값을 해당 디스플레이 픽셀의 픽셀값으로 결정할 수 있다.
영상 처리 장치가 좌표에 인접한 복수 개의 시점 영상 픽셀들을 결정한 경우, 영상 처리 장치는 결정된 시점 영상 픽셀들의 픽셀값들을 보간할 수 있다. 영상 처리 장치는 시점 영상 픽셀들의 픽셀값들을 평균하거나 또는 미리 정해진 보간 공식을 적용하여 픽셀값의 보간을 수행할 수 있다. 영상 처리 장치는 보간한 픽셀값을 디스플레이 픽셀의 픽셀값으로 결정할 수 있다.
위 과정을 통해 영상 처리 장치는 라이트필드 디스플레이의 디스플레이 픽셀에 대해 선별적으로 영상 처리를 수행할 수 있다. 영상 처리 장치는 일부 디스플레이 픽셀에 대해서만 영상 처리를 수행하여 영상 처리 과정에서의 계산량을 줄일 수 있고, 이에 따라 신속하게 영상 처리를 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 삭제
  2. 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 단계;
    상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 단계; 및
    상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 단계
    를 포함하고,
    상기 시점 영상을 결정하는 단계는,
    복수 개의 시점 영상들 중 상기 광선과 가장 가까운 시점을 갖는 시점 영상을 상기 광선에 대응하는 시점 영상으로 결정하는 영상 처리 방법.
  3. 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 단계;
    상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 단계; 및
    상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 단계
    를 포함하고,
    상기 시점 영상을 결정하는 단계는,
    복수 개의 시점 영상들 중 상기 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간(interpolation)하는 단계; 및
    상기 보간을 통해 생성된 시점 영상을 상기 광선에 대응하는 시점 영상으로 결정하는 단계
    를 포함하는 영상 처리 방법.
  4. 제2항에 있어서,
    상기 시점 영상 픽셀을 결정하는 단계는,
    상기 시점 영상의 디스플레이 영역에서 상기 디스플레이 픽셀의 위치에 대응되는 좌표를 이용하여 시점 영상 픽셀을 결정하는 영상 처리 방법.
  5. 제4항에 있어서,
    상기 시점 영상 픽셀을 결정하는 단계는,
    상기 시점 영상에서 상기 좌표에 대응되는 위치와 가장 가까운 시점 영상 픽셀을 상기 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정하는 영상 처리 방법.
  6. 제4항에 있어서,
    상기 시점 영상 픽셀을 결정하는 단계는,
    상기 시점 영상에서 상기 좌표에 대응되는 위치에 인접한 시점 영상 픽셀들을 상기 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정하는 영상 처리 방법.
  7. 제6항에 있어서,
    상기 디스플레이 픽셀의 픽셀값을 결정하는 단계는,
    상기 인접한 시점 영상 픽셀들의 픽셀값을 보간하여 상기 디스플레이 픽셀의 픽셀값으로 결정하는 영상 처리 방법.
  8. 삭제
  9. 사용자 눈의 위치에 기초하여 픽셀값이 적용될 디스플레이 픽셀을 식별하는 단계;
    상기 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 단계;
    상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 단계; 및
    상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 단계
    를 포함하고,상기 디스플레이 픽셀을 식별하는 단계는,
    디스플레이 픽셀에서 나오는 광선과 사용자 눈의 위치 간의 거리가 미리 설정된 임계값 이하가 되는 적어도 하나의 디스플레이 픽셀을 식별하는 영상 처리 방법.
  10. 사용자 눈의 위치에 기초하여 픽셀값이 적용될 디스플레이 픽셀을 식별하는 단계;
    상기 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 단계;
    상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 단계; 및
    상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 단계를 포함하고,상기 시점 영상을 결정하는 단계는,
    복수 개의 시점 영상들 중 상기 광선과 가장 가까운 시점을 갖는 시점 영상을 상기 광선에 대응하는 시점 영상으로 결정하는 영상 처리 방법.
  11. 사용자 눈의 위치에 기초하여 픽셀값이 적용될 디스플레이 픽셀을 식별하는 단계;
    상기 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 단계;
    상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 단계; 및
    상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 단계를 포함하과,상기 시점 영상을 결정하는 단계는,
    복수 개의 시점 영상들 중 상기 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하는 단계; 및
    상기 보간을 통해 생성된 시점 영상을 상기 광선에 대응하는 시점 영상으로 결정하는 단계
    를 포함하는 영상 처리 방법.
  12. 제9항에 있어서,
    상기 시점 영상 픽셀을 결정하는 단계는,
    상기 시점 영상의 디스플레이 영역에서 상기 디스플레이 픽셀의 위치에 대응되는 좌표를 이용하여 시점 영상 픽셀을 결정하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 시점 영상 픽셀을 결정하는 단계는,
    상기 시점 영상에서 상기 좌표에 대응되는 위치와 가장 가까운 시점 영상 픽셀을 상기 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정하는 영상 처리 방법.
  14. 제12항에 있어서,
    상기 시점 영상 픽셀을 결정하는 단계는,
    상기 시점 영상에서 상기 좌표에 대응되는 위치에 인접한 시점 영상 픽셀들을 상기 디스플레이 픽셀에 대응되는 시점 영상 픽셀로 결정하는 영상 처리 방법.
  15. 제14항에 있어서,
    상기 디스플레이 픽셀의 픽셀값을 결정하는 단계는,
    상기 인접한 시점 영상 픽셀들의 픽셀값을 보간하여 상기 디스플레이 픽셀의 픽셀값으로 결정하는 영상 처리 방법.
  16. 제9항에 있어서,
    상기 사용자 눈의 위치는,
    사용자 눈을 촬영한 2D 영상 및 사용자 눈을 촬영한 깊이 영상을 이용하여 획득되는 것인 영상 처리 방법.
  17. 제2항 내지 제7항 및 제9항 내지 제16항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.

  18. 삭제
  19. 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 시점 영상 결정부;
    상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 시점 영상 픽셀 결정부; 및
    상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 픽셀값 결정부를 포함하고,상기 시점 영상 결정부는,
    복수 개의 시점 영상들 중 상기 광선에 인접한 시점을 갖는 복수 개의 시점 영상들을 보간하는 시점 영상 보간부
    를 포함하는 영상 처리 장치.
  20. 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 시점 영상 결정부;
    상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 시점 영상 픽셀 결정부; 및
    상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 픽셀값 결정부
    를 포함하고,상기 픽셀값 결정부는,
    인접한 시점 영상 픽셀들의 픽셀값을 보간하는 픽셀값 보간부
    를 포함하는 영상 처리 장치.
  21. 디스플레이 픽셀에서 나오는 광선 및 시점 영상의 시점을 이용하여 상기 광선에 대응하는 시점 영상을 결정하는 시점 영상 결정부;
    상기 디스플레이 픽셀의 위치를 이용하여 상기 시점 영상에서 상기 디스플레이 픽셀에 대응되는 적어도 하나의 시점 영상 픽셀을 결정하는 시점 영상 픽셀 결정부; 및
    상기 시점 영상 픽셀의 픽셀값에 기초하여 상기 디스플레이 픽셀의 픽셀값을 결정하는 픽셀값 결정부
    를 포함하고,사용자 눈의 위치에 기초하여 픽셀값이 적용될 디스플레이 픽셀을 식별하는 디스플레이 픽셀 식별부
    를 더 포함하는 영상 처리 장치.
KR1020120122346A 2012-10-31 2012-10-31 영상 처리 방법 및 영상 처리 장치 KR101944911B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020120122346A KR101944911B1 (ko) 2012-10-31 2012-10-31 영상 처리 방법 및 영상 처리 장치
JP2013225042A JP6734620B2 (ja) 2012-10-31 2013-10-30 映像処理方法及び映像処理装置
EP13190799.0A EP2728888B1 (en) 2012-10-31 2013-10-30 Multi-view display apparatus and image processing therefor
CN201310524977.9A CN103795998B (zh) 2012-10-31 2013-10-30 图像处理方法和图像处理设备
US14/068,242 US9544580B2 (en) 2012-10-31 2013-10-31 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120122346A KR101944911B1 (ko) 2012-10-31 2012-10-31 영상 처리 방법 및 영상 처리 장치

Publications (2)

Publication Number Publication Date
KR20140056748A KR20140056748A (ko) 2014-05-12
KR101944911B1 true KR101944911B1 (ko) 2019-02-07

Family

ID=49546250

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120122346A KR101944911B1 (ko) 2012-10-31 2012-10-31 영상 처리 방법 및 영상 처리 장치

Country Status (5)

Country Link
US (1) US9544580B2 (ko)
EP (1) EP2728888B1 (ko)
JP (1) JP6734620B2 (ko)
KR (1) KR101944911B1 (ko)
CN (1) CN103795998B (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103945208B (zh) * 2014-04-24 2015-10-28 西安交通大学 一种针对多视点裸眼3d显示的并行同步缩放引擎及方法
EP2960864B1 (en) * 2014-06-23 2018-12-05 Harman Becker Automotive Systems GmbH Device and method for processing a stream of video data
KR102240564B1 (ko) * 2014-07-29 2021-04-15 삼성전자주식회사 영상 렌더링 장치 및 방법
KR102240568B1 (ko) 2014-08-18 2021-04-16 삼성전자주식회사 영상 처리 방법 및 장치
KR102463170B1 (ko) 2015-10-07 2022-11-04 삼성전자주식회사 3차원 영상을 표시하는 장치 및 방법
JP6595878B2 (ja) * 2015-10-08 2019-10-23 日本放送協会 要素画像群生成装置及びそのプログラム
CN105338336B (zh) * 2015-10-28 2017-03-22 四川长虹电器股份有限公司 基于柱镜光栅与lcd屏幕的立体图像快速合成方法
CN106154567B (zh) * 2016-07-18 2018-12-04 北京邮电大学 一种三维光场显示系统的成像方法及装置
KR102559635B1 (ko) * 2016-08-30 2023-07-26 삼성전자주식회사 디스플레이 장치 및 방법
KR102608466B1 (ko) * 2016-11-22 2023-12-01 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
EP3549101A1 (en) * 2016-12-01 2019-10-09 InterDigital CE Patent Holdings A method for processing a light field image delivering a super-rays representation of a light field image
US20190124313A1 (en) * 2017-10-19 2019-04-25 Intel Corporation Three dimensional glasses free light field display using eye location
US10636116B1 (en) * 2018-10-22 2020-04-28 Evolution Optiks Limited Light field display, adjusted pixel rendering method therefor, and vision correction system and method using same
US11727630B2 (en) * 2021-09-30 2023-08-15 Msg Entertainment Group, Llc Distance driven digital display emulation

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273013A (ja) 2009-05-20 2010-12-02 Sony Corp 立体表示装置および方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06148763A (ja) * 1992-11-12 1994-05-27 Hitachi Ltd 多人数観測用レンチキュラ立体表示方式
US6831641B2 (en) 2002-06-17 2004-12-14 Mitsubishi Electric Research Labs, Inc. Modeling and rendering of surface reflectance fields of 3D objects
US7525541B2 (en) * 2004-04-05 2009-04-28 Actuality Systems, Inc. Data processing for three-dimensional displays
US7432878B1 (en) 2004-04-19 2008-10-07 The Trustees Of Columbia University In The City Of New York Methods and systems for displaying three-dimensional images
US7903737B2 (en) 2005-11-30 2011-03-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for randomly accessing multiview videos with known prediction dependency
US20080170293A1 (en) 2006-03-15 2008-07-17 Lucente Mark E Dynamic autostereoscopic displays
US7609906B2 (en) * 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US8044994B2 (en) * 2006-04-04 2011-10-25 Mitsubishi Electric Research Laboratories, Inc. Method and system for decoding and displaying 3D light fields
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP2009077234A (ja) * 2007-09-21 2009-04-09 Toshiba Corp 三次元画像処理装置、方法及びプログラム
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US20090282429A1 (en) * 2008-05-07 2009-11-12 Sony Ericsson Mobile Communications Ab Viewer tracking for displaying three dimensional views
KR101502597B1 (ko) 2008-11-13 2015-03-13 삼성전자주식회사 고심도 입체 영상 표시가 가능한 디스플레이 장치 및 방법
KR101524680B1 (ko) 2008-11-13 2015-06-01 삼성전자주식회사 방향성 라이트 필드 3ｄ 디스플레이 장치 및 방법
KR101629479B1 (ko) * 2009-11-04 2016-06-10 삼성전자주식회사 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
US8866837B2 (en) * 2010-02-02 2014-10-21 Microsoft Corporation Enhancement of images for display on liquid crystal displays
JP5306275B2 (ja) * 2010-03-31 2013-10-02 株式会社東芝 表示装置及び立体画像の表示方法
KR101756910B1 (ko) 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
KR101670927B1 (ko) * 2010-11-05 2016-11-01 삼성전자주식회사 디스플레이 장치 및 방법
KR101675961B1 (ko) * 2010-12-29 2016-11-14 삼성전자주식회사 적응적 부화소 렌더링 장치 및 방법
JP5242762B2 (ja) * 2011-11-30 2013-07-24 株式会社東芝 画像再生装置、画像再生方法及びデータ構造

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010273013A (ja) 2009-05-20 2010-12-02 Sony Corp 立体表示装置および方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Buehler C et al: "Unstructured Lumigraph Trndering", Computer Graphics, Siggraph 2001. Conference Proceedings. Los Angeles, CA, Aug. 12-17, 2001, Pages 425-432.

Also Published As

Publication number Publication date
EP2728888A2 (en) 2014-05-07
EP2728888B1 (en) 2020-03-18
EP2728888A3 (en) 2015-10-28
CN103795998A (zh) 2014-05-14
US20140118512A1 (en) 2014-05-01
KR20140056748A (ko) 2014-05-12
JP2014093779A (ja) 2014-05-19
CN103795998B (zh) 2018-05-25
JP6734620B2 (ja) 2020-08-05
US9544580B2 (en) 2017-01-10

Similar Documents

Publication Publication Date Title
KR101944911B1 (ko) 영상 처리 방법 및 영상 처리 장치
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR102240568B1 (ko) 영상 처리 방법 및 장치
EP2787734B1 (en) Apparatus and method for forming light field image
KR20100040593A (ko) 영상처리 장치 및 방법
US8750600B2 (en) Apparatus and method for generating three-dimensional (3D) zoom image of stereo camera
KR20120030005A (ko) 화상 처리 장치 및 방법과 입체 화상 표시 장치
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JP6717576B2 (ja) 映像レンダリング装置及び方法
KR20140043264A (ko) 다시점 영상 처리 장치 및 방법
KR20170046434A (ko) 영상 처리 방법 및 영상 처리 장치
KR101208767B1 (ko) 곡면 투사를 이용한 입체 영상 생성 방법, 장치 및 시스템, 이를 위한 기록 매체
KR20220030016A (ko) 디스플레이 장치 및 디스플레이 장치의 동작 방법
JP6595878B2 (ja) 要素画像群生成装置及びそのプログラム
KR101275127B1 (ko) 초점 가변 액체 렌즈를 이용한 3차원 이미지 촬영장치 및 방법
JP6685241B2 (ja) 立体視ビデオ生成
KR101893769B1 (ko) 시청자의 시점 정보에 기초하여 3차원 객체 영상 모델을 생성하는 장치 및 방법
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
KR101907127B1 (ko) 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
US20160241833A1 (en) Rendering method and rendering device
JP6085943B2 (ja) 視差制御装置及び視差制御プログラム
KR20180057385A (ko) 영상 처리 방법 및 영상 처리 장치
KR20110090488A (ko) 시차 서페이스 렌더링을 이용하여 시점을 생성하는 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant