KR101697181B1 - 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법 - Google Patents

사용자의 시선 추적을 이용한 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR101697181B1
KR101697181B1 KR1020100087549A KR20100087549A KR101697181B1 KR 101697181 B1 KR101697181 B1 KR 101697181B1 KR 1020100087549 A KR1020100087549 A KR 1020100087549A KR 20100087549 A KR20100087549 A KR 20100087549A KR 101697181 B1 KR101697181 B1 KR 101697181B1
Authority
KR
South Korea
Prior art keywords
user
output order
view
image
determining
Prior art date
Application number
KR1020100087549A
Other languages
English (en)
Other versions
KR20120025261A (ko
Inventor
김윤태
성기영
남동경
박주용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100087549A priority Critical patent/KR101697181B1/ko
Priority to US13/067,416 priority patent/US9325983B2/en
Publication of KR20120025261A publication Critical patent/KR20120025261A/ko
Priority to US15/137,941 priority patent/US9781410B2/en
Application granted granted Critical
Publication of KR101697181B1 publication Critical patent/KR101697181B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/339—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof

Abstract

사용자의 시선 추적을 이용한 영상 처리 장치 및 방법이 개시된다. 영상 처리 장치는 카메라를 이용하여 사용자의 시선 이동을 판단하고, 사용자의 시선 이동에 대응하여 시점 영사의 출력 순서를 결정할 수 있다.

Description

사용자의 시선 추적을 이용한 영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD USING EYE TRACKING OF USER}
본 발명의 실시예들은 사용자의 시선을 추적하여 시점 영상을 출력하는 영상 처리 장치 및 방법에 관한 것이다.
입체적인 느낌을 제공하는 3차원 영상을 효과적으로 구현하기 위해서는 사람의 좌, 우 시각에 서로 다른 시점의 영상을 표현해야 한다. 안경과 같은 필터를 사용하지 않고 이를 구현하기 위해서는 3차원 영상을 시점(view point)에 따라 공간적으로 분할하여 표현해야 하는데, 이와 같은 방식을 무안경식 3차원 디스플레이(autostereoscopic display)라고 한다. 무안경식 3차원 디스플레이에서는 광학적인 수단을 이용하여 영상을 공간에 분할하여 표현하며, 대표적으로 광학 렌즈나 광학 배리어(barrier)를 이용한다. 이때, 렌즈를 이용하는 경우, 무안경식 3차원 디스플레이는 렌티큘러 렌즈(Lenticular lens)를 이용하여 각각의 픽셀 영상이 특정 방향으로만 표현되도록 한다. 그리고, 배리어(barrier)를 이용하는 경우, 무안경식 3차원 디스플레이는 디스플레이 전면에 슬릿을 배치시켜 특정 방향에서 특정 픽셀만 볼 수 있도록 한다. 이처럼, 렌즈나 배리어를 이용한 무안경식 스테레오 디스플레이의 경우 기본적으로 좌, 우 두 시점의 영상을 표현할 수 있는데, 이 경우 매우 좁은 입체 시청 영역(sweet spot)이 형성된다. 입체 시청 영역은 시청 거리와 시청 각도로 표현되는데, 전자는 렌즈 혹은 슬릿의 폭(pitch)에 의하여 결정되며, 후자는 표현 시점 수에 의해 결정되는데, 시점 수를 증가시켜 시청 각도를 넓힌 것을 무안경식 다시점 디스플레이(multi-view display)라 한다.
이처럼, 무안경식 다시점 디스플레이를 사용하면 넓은 입체 시청 영역을 생성할 수는 있다. 그러나, 3D 해상도는 시점수에 비례하므로, 무안경식 다시점 디스플레이를 사용하면, 디스플레이 해상도의 저하가 발생한다.
이에 따라, 시점 수를 증가시켜 넓은 시청 영역을 제공하면서, 시점 수의 증가에 따른 해상도 저하를 감소시킬 수 있는 방안이 요구된다.
본 영상 처리 장치는, 사용자의 시선이 이동을 판단하는 이동 판단부, 및 상기 사용자의 시선 이동에 대응하여 시점 영상의 출력 순서를 결정하는 출력 순서 결정부를 포함할 수 있다.
이때, 상기 이동 판단부는, 상기 사용자의 시선에 대한 이동 방향을 판단할 수 있다. 그러면, 상기 출력 순서 결정부는, 상기 사용자의 시선이 오른쪽으로 이동한 경우, 상기 사용자의 오른쪽 눈에 대응하는 시점 영상의 출력 순서를 조절할 수 있다.
또한, 상기 출력 순서 결정부는, 상기 사용자의 시선이 왼쪽으로 이동한 경우, 상기 사용자의 왼쪽 눈에 대응하는 시점 영상의 출력 순서를 조절할 수 있다.
또한, 상기 이동 판단부는, 상기 사용자의 시선에 대한 이동 각도를 판단할 수있다. 그러면, 상기 출력 순서 결정부는, 상기 이동 각도에 따라 출력 순서가 조절될 시점 영상의 개수를 다르게 결정할 수 있다.
또한, 상기 출력 순서 결정부는, 상기 이동 각도가 증가할수록 출력 순서가 조절될 시점 영상의 개수를 증가시킬 수 있다.
또한, 상기 결정된 출력 순서에 따라 복수의 시점 영상들로 구성된 출력 영상을 표시하는 디스플레이를 더 포함할 수 있다.
여기서, 출력 영상은, 적어도 하나의 시점 영상을 포함하는 화소 단위로 구성될수 있다.
또한, 상기 출력 순서 결정부는, 상기 사용자의 시선이 이동한 위치에 대응하는 시점 영상을 기준으로, 기설정된기준 개수까지 좌, 우 시점 영상이 연속하도록 시점 영상의 출력 순서를 결정할 수 있다.
본 영상 처리 방법은, 사용자의 시선 이동을 판단하는 단계, 및 상기 사용자의 시선이 이동한 것에 대응하여 시점 영상의 출력 순서를 결정하는 단계를 포함할 수 있다.
이때, 상기 시선 이동을 판단하는 단계는, 상기 사용자의 시선에 대한 이동 방향을 판단할 수 있다. 그러면, 상기 출력 순서를 결정하는 단계는, 상기 사용자의 시선이 오른쪽으로 이동한 경우, 상기 사용자의 오른쪽 눈에 대응하는 시점 영상의 출력 순서를 조절할 수 있다.
그리고, 상기 출력 순서를 결정하는 단계는, 상기 사용자의 시선이 왼쪽으로 이동한 경우, 상기 사용자의 왼쪽 눈에 대응하는 시점 영상의 출력 순서를 조절할 수 있다.
또한, 상기 시선 이동을 판단하는 단계는, 상기 사용자의 시선에 대한 이동 각도를 판단할 수 있다. 그러면, 상기 출력 순서를 결정하는 단계는, 상기 이동 각도에 따라 출력 순서가 조절될 시점 영상의 개수를 다르게 결정할 수 있다.
또한, 상기 출력 순서를 결정하는 단계는, 상기 이동 각도가 증가할수록 출력 순서가 조절될 시점 영상의 개수를 증가시킬 수 있다.
또한, 상기 결정된 출력 순서에 따라 복수의 시점 영상들로 구성된 출력 영상을 디스플레이하는 단계를 더 포함할 수 있다.
또한, 상기 출력 순서를 결정하는 단계는, 상기 사용자의 시선이 이동한 위치에 대응하는 시점 영상을 기준으로, 기설정된 기준 개수까지 좌, 우 시점 영상이 연속하도록 시점 영상의 출력 순서를 결정할 수 있다.
사용자의 시선 이동을 판단하고, 판단된 시선 이동에 따라 결정된 시점 영상의 출력 순서로 시점 영상을 디스플레이함에 따라 역시(inversion) 현상을 감소시킬 수 있다.
또한, 사용자의 시선이 이동한 위치에 대응하는 시점 영상일 기준으로, 동일 개수의 좌 영상 및 우 영상이 연속하도록 시점 영상의 출력 순서를 결정함으로써 3D 입체 영상의 시청 영역을 넓힐 수 있을 뿐만 아니라, 해상도를 높일 수 있다.
도 1은 사용자의 시선 이동에 따라 역시(inversion) 현상이 발생하는 경우를 설명하기 위해 제공되는 도면이다.
도 2는 영상 처리 장치의 구성을 도시한 블록도이다.
도 4는 입력 영상이 입력 영상이 36 시점 영상이고, 디스플레이 중앙에 위치하는 사용자의 시선에 대응하는 시점 영상들을 도시한 도면이다.
도 5 내지 도 7은 입력 영상이 36 시점 영상이고, 사용자의 시선이 오른쪽으로 이동함에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다.
도 8 내지 도 10은 입력 영상이 36 시점 영상이고, 사용자의 시선이 왼쪽으로 이동함에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다.
도 11은 입력 영상이 입력 영상이 12 시점 영상이고, 디스플레이 중앙에 위치하는 사용자의 시선에 대응하는 시점 영상들을 도시한 도면이다.
도 12 내지 도 14는 입력 영상이 12 시점 영상이고, 사용자의 시선이 오른쪽으로 이동함에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다.
도 15 내지 도 17은 입력 영상이 12 시점 영상이고, 사용자의 시선이 왼쪽으로 이동함에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다.
도 18은 입력 영상이 36 시점 영상이고, 2개의 시점 영상만을 이용하여 사용자의 시선이 오른쪽으로 이동함에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다.
도 19는 입력 영상이 36 시점 영상이고, 2개의 시점 영상만을 이용하여 사용자의 시선이 왼쪽으로 이동함에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다.
도 20은 입력 영상이 12 시점 영상이고, 2개의 시점 영상만을 이용하여 사용자의 시선이 오른쪽으로 이동함에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다.
도 21은 입력 영상이 12 시점 영상이고, 2개의 시점 영상만을 이용하여 사용자의 시선이 왼쪽으로 이동함에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다.
도 22는 사용자의 시선 이동에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 흐름도이다.
이하에서, 첨부된 도면을 참조하여 본 발명에 따른 실시예들을 상세히 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 사용자의 시선 이동에 따라 역시(inversion) 현상이 발생하는 경우를 설명하기 위해 제공되는 도면이다.
사용자(30)가 오른쪽 방향으로 이동하는 경우, 왼쪽 눈(L)은 디스플레이(10)의 정시역에 위치하고, 오른쪽 눈(R)은 디스플레이(10)의 부시역에 위치하게 된다. 이에 따라, 왼쪽 눈(L)에는 우 시점 영상(right view image)이 보이고, 오른쪽 눈(R)에는 좌 시점 영상(left view image)이 보이는 역시 현상이 발생하여, 사용자는 어지러움을 느끼게 된다.
일례로, 도 1에 따르면, 센싱 장치(20)는 사용자의 왼쪽 눈(L)이 2 시점 영상을 응시하고, 오른쪽 눈(R)이 10 시점 영상을 응시함을 센싱할 수 있다. 이때, 사용자의 시선이 오른쪽 방향으로 이동한 경우, 오른쪽 눈(R)은 부시역에 위치하게 되어 1 시점 영상을 응시하게 된다. 그러면, 오른쪽 눈(R)은 우 시점 영상인 10 시점 영상을 응시하다가 시선 이동에 따라 좌 시점 영상인 1 시점 영상을 응시함에 따라, 오른쪽 눈(R)에 역시(inversion) 현상이 발생하게 된다. 이때, 사용자(30)의 1 시점 영상이 위치할 지점에 12 시점 영상이 디스플레이되도록 시점 영상들의 출력 순서를 변경함으로써 역시 현상을 방지할 수 있다. 즉, 1 시점 영상이 위치할 지점에 12 시점 영상이 위치하도록 렌더링하여 사용자의 시선 이동에 따른 역시 현상을 방지할 수 있다.
이하에서는 도 2를 참조하여 사용자의 시선 이동에 따라 시점 영상들의 출력 순서를 결정하는 과정에 대해 보다 상세히 설명하기로 한다.
도 2는 영상 처리 장치의 구성을 도시한 블록도이다.
도 2에 따르면, 영상 처리 장치(200)는 이동 판단부(210), 출력 순서 결정부(220), 디스플레이(230)를 포함할 수 있다.
먼저, 이동 판단부(210)는 센싱 장치(100)를 이용하여 센싱된 사용자의 눈의 위치 정보를 기초로 사용자의 시선이 이동했는지 여부를 판단할 수 있다. 이때, 이동 판단부(210)는 이동 거리 계산부(211) 및 이동 각도 계산부(212)를 포함할 수 있다.
일례로, 센싱 장치(100)는 실시간으로 사용자를 촬영하고, 촬영 영상을 실시간으로 이동 거리 계산부(211)로 전송할 수 있다. 여기서, 센싱 장치(20)로는 웹 카메라, 단안 카메라, 스테레오 카메라, 멀티 카메라, 깊이 정보 측정이 가능한 카메라 등이 이용될 수 있다. 그러면, 이동 거리 계산부(211)는 촬영 영상으로부터 사용자의 왼쪽 및 오른쪽 눈의 위치를 계산할 수 있다. 여기서, 사용자의 눈의 위치는 디스플레이에 디스플레이되는 시점 영상들에 해당하는 좌표값으로 표현될 수 있다. 즉, 사용자의 눈의 위치는 사용자의 눈이 응시하는 위치에 대응하는 시점 영상의 좌표값으로 표현될 수 있다. 일례로, 촬영 영상으로부터 촬영된 사용자의 눈의 위치는 (x1, y1)으로 계산될 수 있다.
이어, 연속하여 다음 촬영 영상이 수신된 경우, 이동 거리 계산부(211)는 다음 촬영 영상으로부터 사용자의 다음 왼쪽 및 오른쪽 눈의 위치를 계산할 수 있다. 일례로, 다음 눈의 위치는 (x2, y2)로 계산될 수 있다.
그리고, 이동 거리 계산부(211)는 계산된 사용자의 왼쪽 눈의 위치와 다음 왼쪽 눈의 위치 간의 왼쪽 차이값(x2-x1)과, 사용자의 오른쪽 눈의 위치와 다음 오른쪽 눈의 위치 간의 오른쪽 차이값(y2-y1)을 계산하여 사용자의 시선이 어느 방향으로 이동했는지 여부를 판단할 수 있다. 이때, 이동 거리 계산부(211)는 계산된 왼쪽 및 오른쪽 차이값 중 어느 하나가 기설정된 오차값 이상인 경우, 시선이 이동한 것으로 판단할 수 있다. 그리고, 이동 거리 계산부(211)는 왼쪽 및 오른쪽 차이값이 양의 값인 경우, 오른쪽 방향으로 이동, 왼쪽 및 오른쪽 차이값이 음의 값인 경우, 왼쪽 방향으로 이동한 것으로 판단할 수 있다.
그리고, 이동 거리 계산부(211)는 도 3을 참조하면, 왼쪽 및 오른쪽 차이값으로 구성된 좌표값을 이동 거리(x)로 계산할 수 있다. 일례로, 이동 거리 x는 (x2-x1, y2-y1)으로 표현될 수 있다.
이동 각도 계산부(212)는 이동 거리 x와 초점 거리 fl을 이용하여 사용자의 시선 이동에 따른 눈의 이동 각도를 계산할 수 있다. 여기서, 초점 거리는 센싱 장치(100)의 초점 거리로서 기설정될 수 있다. 이때, 이동 각도 계산부(212)는 아래의 수학식 1을 이용하여 눈의 이동 각도 θ를 계산할 수 있다.
Figure 112010058165202-pat00001
수학식 1에서, θ는 이동 각도, x는 이동 거리, fl은 초점 거리이다.
수학식 1에 따르면, 이동 각도 계산부(212)는 이동 거리와 초점 거리를 나누고, 나눈 값의 아크 탄젠트 값을 이동 각도로 계산할 수 있다. 그러면, 출력 순서 결정부(220)는 계산된 이동 각도에 기초하여 시점 영상들의 출력 순서를 결정할 수 있다.
보다 상세하게는, 출력 순서 결정부(220)는 사용자의 시선 이동에 대응하여 시점 영상의 출력 순서를 결정할 수 있다. 이때, 시선이 이동한 것으로 판단된 경우, 출력 순서 결정부(220)는 계산된 이동 각도에 따라 출력 순서가 조절될 시점 영상의 개수를 다르게 결정할 수 있다.
일례로, 도 4를 참조하면, 입력 영상이 36 시점 영상이고, 12 시점 영상을 표현할 수 있는 디스플레이를 이용하는 경우, 사용자의 왼쪽 눈은 22 시점 영상(421)을 응시하고, 오른쪽 눈은 15 시점 영상을 응시하여 3D 영상을 보게 된다.
이때, 도 5와 같이, 사용자의 시선이 오른쪽으로 이동함에 따라, 왼쪽 눈은 21 시점 영상(522)을 응시하고, 오른쪽 눈은 14 시점 영상(524)을 응시할 수 있다. 그러면, 시선 이동에 따라 이동 각도 계산부(212)는 사용자의 눈이 오른쪽으로 2θ 이동한 것으로 계산하고, 출력 순서 결정부(220)는 계산된 이동 각도에 기초하여 사용자의 오른쪽 눈에 대응하는 시점 영상의 출력 순서를 조절할 수 있다.
이때, 디스플레이(400)를 구성하는 렌즈가 일정 각도 기울어진 경우, 1개의 화소가 왼쪽 및 오른쪽에 인접하는 시점 영상들을 동시에 표현할 수 있다. 즉, 12 시점을 표현하는 디스플레이의 경우, 1개의 화소가 5개의 시점 영상을 표현할 수 있다. 이에 따라, 도 5와 같이, 왼쪽 및 오른쪽 각각의 슬라이드 윈도우(530, 540)에 포함되는 복수의 시점들은 시선 이동에 따라 동시에 표현되어야지만 자연스러운 3D 표현이 가능하다. 이에 따라, 출력 순서 결정부(220)는 도 5와 같이, 시점 영상들의 출력 순서(410)를 조절할 수 있다. 그러면, 사용자는 디스플레이(500)를 통해 조절된 순서(520)에 따라 디스플레이되는 시점 영상들을 응시한다. 즉, 사용자의 시선 오른쪽으로 1θ 이동하더라도, 오른쪽 눈에는 16, 15, 14, 13, 12 순서로 시점 영상들이 보이게 된다. 이처럼, 시선 이동에 따라 시점 영상들의 출력 순서를 조정함에 따라, 13 시점 영상 다음에 24 시점 영상 대신 12 시점 영상(425)이 위치하여 역시(inversion) 현상이 방지될 수 있다.
마찬가지로, 도 6과 같이, 사용자의 시선이 오른쪽으로 2θ 이동한 경우, 왼쪽 눈은 22 시점 영상(621)을 응시하는 위치에서 20 시점 영상(622)을 응시하는 위치로 이동하고, 오른쪽 눈은 15 시점 영상(523)을 응시하는 위치에서 13 시점 영상(524)을 응시하는 위치로 이동할 수 있다. 이때, 출력 순서 결정부(220)는 사용자의 시선이 이동한 위치에 대응하는 시점 영상을 중심으로 좌우로 연속하는 시점 영상들이 자연스럽게 연결되도록 시점 영상들의 출력 순서를 결정할 수 있다. 즉, 사용자의 눈이 오른쪽으로 2θ 이동함에 따라, 출력 순서 결정부(220)는 오른쪽 눈에는 15, 14, 13, 24, 23 순서 대신 15, 14, 13, 12, 11 순서로 시점 영상들이 보이도록 시점 영상들의 순서를 결정할 수 있다. 그러면, 13 시점 영상 이후에 24 및 24 시점 영상 대신 12 및 11(525) 시점 영상들이 연속하여, 사용자의 눈에는 자연스러운 3D 입체 영상이 보이게 된다.
동일한 방법으로, 도 4 및 도 7을 참조하면, 사용자의 시선이 오른쪽으로 3θ 이동한 경우, 왼쪽 눈은 22 시점 영상(321)을 응시하는 위치에서 19 시점 영상(722)을 응시하는 위치로 이동하고, 오른쪽 눈은 15 시점 영상(723)을 응시하는 위치에서 12 시점 영상(724)을 응시하는 위치로 이동할 수 있다. 이때, 출력 순서 결정부(220)는 사용자의 시선 이동에 따라 왼쪽 및 오른쪽 슬라이드 윈도우(730, 740)에 포함된 복수의 시점 영상들이 자연스럽게 연결되도록 출력 영상을 구성하는 시점 영상들의 출력 순서를 결정할 수 있다. 일례로, 출력 순서 결정부(220)는 시점 영상들의 순서를 13, 14, 16, 17, 18, 19, 20, 21, 10, 11, 12 (710) 순으로 결정할 수 있다. 이에 따라, 오른쪽 눈에는 13 시점 영상 이후에 24, 23, 22 시점 영상 대신 12, 11, 10 시점 영상들(625)이 순서대로 연속하여 위치할 수 있다.
이처럼, 출력 순서 결정부(220)는 이동 각도가 1θ, 2θ, 3θ로 증가할수록 출력 순서가 조절될 시점 영상의 개수를 1개에서 2개, 3개로 각각 증가시킬 수 있다.
이상에서는, 도 4 내지 도 7을 참조하여 사용자의 시선이 오른쪽으로 이동하는 경우, 시선 이동에 대응하여 시점 영상의 출력 순서를 결정하는 과정에 대해 설명하였다. 이때, 도 5 내지 도 7에서, 출력 순서 결정부(220)는 1개의 화소에서 동시에 표현 가능한 시점 영상들이 서로 연속하도록 시점 영상들의 출력 순서를 결정함에 따라, 3D 입체 영상을 자연스럽게 표현할 수 있다. 다시 말해, 출력 순서 결정부(220)는 왼쪽 슬라이드 윈도우에 포함된 복수의 시점 영상들은 좌 시점 영상들이 연속하고, 오른쪽 슬라이드 윈도우에 포함된 복수의 시점 영상들은 우 시점 영상들이 연속하도록 시점 영상들의 출력 순서를 결정할 수 있다.
이때, 슬라이드 윈도우에 포함된 복수의 시점 영상들 중 사용자의 시선이 이동한 위치에 대응하는 시점 영상이 슬라이드 윈도우의 가운데에 위치할 수 있다. 그리고, 슬라이드 윈도우의 가운데 위치하는 시점 영상을 기준으로 좌 시점 영상 및 우 시점 영상의 개수는 동일하다. 일례로, 도 7을 참조하면, 오른쪽으로 3θ 이동함에 따라, 시선이 이동한 위치에 대응하는 12 시점 영상(724)이 윈도우의 가운데에 위치하고, 12 시점 영상(724)을 기준으로 좌측 및 우측으로 기설정된 기준 개수의 시점 영상들이 연속할 수 있다. 즉, 기준 개수가 2개로 설정된 경우, 12 시점 영상(724)을 기준으로 좌측으로 14 및 13 시점 영상, 우측으로 11 및 10 시점 영상이 연속할 수 있다. 여기서, 기준 개수는 1개의 화소에서 동시에 표현될 수 있는 시점 영상의 개수에서 2를 나눈 값으로 기설정될 수 있다.
지금까지 설명한 바와 같이, 출력 순서 결정부(220)는 사용자의 시선이 이동함에 따라 계산된 이동 각도에 기초하여 출력 영상을 구성하는 복수의 시점 영상들의 순서를 결정할 수 있다. 그러면, 디스플레이(230)는 결정된 순서에 따라 복수의 시점 영상들을 디스플레이할 수 있다. 이때, 출력 순서 결정부(220)는 아래의 표 1과 같이, 이동 각도에 대응하여 복수의 시점 영상들의 출력 순서가 저장된 데이터베이스를 이용하여 복수의 시점 영상들의 출력 순서를 결정할 수 있다.
표 1은 사용자의 시선이 오른쪽으로 이동함에 따라 계산된 이동 각도에 대응하는 시점 영상들의 순서를 나타내는 테이블이다. 표 1에서, 입력 영상은 36 시점 영상이다.
이동 각도
(θ)		 시점 영상들의 출력 순서
1 2 3 4 5 6 7 8 9 10 11 12
0 13 14 15 16 17 18 19 20 21 22 23 24
1 13 14 15 16 17 18 19 20 21 22 23 22
2 13 14 15 16 17 18 19 20 21 22 11 12
3 13 14 15 16 17 18 19 20 21 10 11 12
4 13 14 15 16 17 18 19 20 9 10 11 12
5 13 14 15 16 17 18 19 8 9 10 11 12
6 13 14 15 16 17 18 7 8 9 10 11 12
7 13 14 15 16 17 6 7 8 9 10 11 12
8 13 14 15 16 5 6 7 8 9 10 11 12
9 13 14 15 4 5 6 7 8 9 10 11 12
10 13 14 3 4 5 6 7 8 9 10 11 12
11 13 2 3 4 5 6 7 8 9 10 11 12
12 1 2 3 4 5 6 7 8 9 10 11 12
표 1에 따르면, 출력 순서 결정부(220)는 이동 각도 계산부(121)에서 계산된 이동 각도에 따라 해당하는 출력 순서를 결정할 수 있다. 그리고, 디스플레이(230)는 결정된 출력 순서에 따라 복수의 시점 영상들을 출력함으로써, 사용자의 시선에 오른쪽으로 이동하더라도 자연스러운 3D 입체 영상을 디스플레이할 수 있다. 이때, 표 1에서, 이동 각도가 0인 경우는 사용자가 디스플레이의 중앙에 위치하는 경우를 의미한다. 그리고, 이동 각도가 12θ인 경우, 왼쪽 눈 및 오른쪽 눈 모두 디스플레이의 부시역으로 이동한 경우에 해당되므로, 디스플레이(230)는 1 내지 12 시점 영상들 순서로 구성된 출력 영상을 디스플레이할 수 있다.
한편, 본 영상 처리 장치(200)는 사용자의 시선이 오른쪽으로 이동함에 따라 시야각을 2배 확대할 수 있다. 이 경우, 출력 순서 결정부(220)는 아래의 표 2에 따라 복수의 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 디스플레이(230)는 결정된 출력 순서에 따라 복수의 시점 영상들을 디스플레이할 수 있다. 여기서, 사용자의 시선 이동에 따라 이동 각도를 계산하는 구성은 이동 각도 계산부(212)에서 계산하는 과정과 동일하므로 중복되는 설명은 생략하기로 한다.
표 2는 사용자의 시선이 오른쪽으로 이동한 경우, 시야각 확대에 따른 이동 각도에 대응하는 시점 영상들의 순서를 나타내는 테이블이다. 표 2에서, 입력 영상은 36 시점 영상이다.
이동 각도
(θ)		 시점 영상들의 출력 순서
1 2 3 4 5 6 7 8 9 10 11 12
0 13 14 15 16 17 18 19 20 21 22 23 24
1 13 14 15 16 17 18 19 20 21 22 23 22
2 13 14 15 16 17 18 19 20 21 22 11 12
3 13 14 15 16 17 18 19 20 21 10 11 12
4 13 14 15 16 17 18 19 20 9 10 11 12
5 13 14 15 16 17 18 19 8 9 10 11 12
6 13 14 15 16 17 18 7 8 9 10 11 12
7 13 14 15 16 17 6 7 8 9 10 11 12
8 13 14 15 16 5 6 7 8 9 10 11 12
9 13 14 15 4 5 6 7 8 9 10 11 12
10 13 14 3 4 5 6 7 8 9 10 11 12
11 13 2 3 4 5 6 7 8 9 10 11 12
12 1 2 3 4 5 6 7 8 9 10 11 12
13 1 2 3 4 5 6 7 8 9 10 11 1
14 1 2 3 4 5 6 7 8 9 10 1 1
15 1 2 3 4 5 6 7 8 9 1 1 1
16 1 2 3 4 5 6 7 8 1 1 1 1
17 1 2 3 4 5 6 7 1 1 1 1 1
18 1 2 3 4 5 6 1 1 1 1 1 1
19 1 2 3 4 5 1 1 1 1 1 1 1
20 1 2 3 4 1 1 1 1 1 1 1 1
21 1 2 3 1 1 1 1 1 1 1 1 1
22 1 2 1 1 1 1 1 1 1 1 1 1
23 1 1 1 1 1 1 1 1 1 1 1 1
표 2에 따르면, 사용자의 시선이 오른쪽으로 이동하더라도 역시 현상이 발생하지 않는 보다 넓은 시역을 제공할 수 있다.
표 3은 사용자의 시선이 왼쪽으로 이동함에 따라 계산된 이동 각도에 대응하는 시점 영상들의 순서를 나타내는 테이블이다. 표 3에서, 입력 영상은 36 시점 영상이다.
이동 각도
(θ)		 시점 영상들의 출력 순서
1 2 3 4 5 6 7 8 9 10 11 12
0 13 14 15 16 17 18 19 20 21 22 23 24
1 25 14 15 16 17 18 19 20 21 22 23 24
2 25 26 15 16 17 18 19 20 21 22 23 24
3 25 26 27 16 17 18 19 20 21 22 23 24
4 25 26 27 28 17 18 19 20 21 22 23 24
5 25 26 27 28 29 18 19 20 21 22 23 24
6 25 26 27 28 29 30 19 20 21 22 23 24
7 25 26 27 28 29 30 31 20 21 22 23 24
8 25 26 27 28 29 30 31 32 21 22 23 24
9 25 26 27 28 29 30 31 32 33 22 23 24
10 25 26 27 28 29 30 31 32 33 34 23 24
11 25 26 27 28 29 30 31 32 33 34 35 24
12 25 26 27 28 29 30 31 32 33 34 35 36
표 3에 따르면, 이동 각도가 12θ인 경우, 왼쪽 및 오른쪽 눈이 모두 부시역에 위치한 경우에 해당한다. 이에 따라, 출력 순서 결정부(220)는 출력 영상을 구성하는 복수의 시점 영상들의 순서를 13~24 대신 25~36 시점 영상 순으로 결정할 수 있다. 즉, 디스플레이(230)는 25~36 시점 영상들로 렌더링된 출력 영상을 디스플레이할 수 있다. 이에 따라, 출력 순서 결정부(220)는 사용자가 디스플레이 중심에서 13~24 시점 영상들을 보기 시작해서, 시선이 왼쪽으로 이동함에 따라 36 시점 영상까지 볼 수 있도록 복수의 시점 영상들의 출력 순서를 결정할 수 있다. 즉, 사용자의 왼쪽으로 시야각을 확대하면서 역시 현상을 방지할 수 있다.
또한, 표 3에 따르면, 이동 각도 계산부(121)는 사용자의 시선이 왼쪽으로 이동함에 따른 이동 각도를 계산할 수 있다. 그리고, 출력 순서 결정부(220)는 표 2에 따른 테이블을 참조하여, 계산된 이동 각도에 해당하는 복수의 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 디스플레이(230)는 결정된 출력 순서에 따라 복수의 시점 영상들을 출력함으로써, 사용자의 시선에 왼쪽으로 이동하더라도 자연스러운 3D 입체 영상을 디스플레이할 수 있다.
일례로, 도 4와 같이, 디스플레이되는 복수의 시점 영상들(410) 중 왼쪽 눈이 22 시점 영상(823)을 응시하고, 오른쪽 눈이 15 시점 영상(721)을 응시한 상태에서, 시선이 왼쪽으로 1θ 이동한 경우, 출력 순서 결정부(220)는 표 3에 따라 복수의 시점 영상들(410)의 순서를 25, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24(810) 순으로 조절할 수 있다. 그러면, 24 시점 영상 이후에 13 시점 영상 대신 25 시점 영상(825)이 연속할 수 있다. 이에 따라, 사용자의 시선이 왼쪽으로 1θ 이동하더라도, 사용자의 왼쪽 및 오른쪽 눈은 자연스러운 3D 입체 영상을 볼 수 있다. 특히, 출력 순서 결정부(220)는 왼쪽 눈이 이동한 위치에 대응하는 시점 영상(824)을 기준으로 좌측 및 우측 방향으로 동일한 개수의 시점 영상들이 연속하도록 출력 순서를 결정할 수 있다. 즉, 23 시점 영상을 기준으로 좌측 방향으로 25 및 24 시점 영상이 연속하고, 우측 방향으로 22 및 21 시점 영상이 연속할 수 있다. 동일한 방법으로, 16 시점 영상을 기준으로 좌측 방향으로 18 및 17 시점 영상이 연속하고, 우측 방향으로 15 및 14 시점 영상이 연속할 수 있다. 이처럼, 출력 순서 결정부(220)는 왼쪽 슬라이드 윈도우(840)에는 좌 시점 영상들을 포함하고, 우측 슬라이드 윈도우(830)는 우 시점 영상들을 포함하도록 출력 순서를 결정함에 따라, 사용자의 눈이 미세하게 좌우로 이동한다 하더라도 끊김 현상 없이 자연스러운 3D 입체 영상을 볼 수 있게 할 수 있다.
동일한 방법으로, 도 9와 같이, 사용자의 시선이 왼쪽으로 2θ 이동한 경우, 출력 순서 결정부(220)는 표 3에 따라 복수의 시점 영상들(410)의 순서를 25, 26, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24(910) 순으로 조절할 수 있다. 그러면, 24 시점 영상 이후에 14 및 13 시점 영상 대신 26 및 25 시점 영상(925)이 연속할 수 있다.
마찬가지로, 도 10과 같이, 사용자의 시선이 왼쪽으로 3θ 이동한 경우, 출력 순서 결정부(220)는 표 3에 따라 복수의 시점 영상들(410)의 순서를 25, 26, 27, 16, 17, 18, 19, 20, 21, 22, 23, 24(1010) 순으로 조절할 수 있다. 그러면, 24 시점 영상 이후에 15, 14, 13 시점 영상 대신 27, 26, 25 시점 영상(1025)이 연속할 수 있다.
지금까지, 도 4 내지 도 12를 참조하여 입력 영상이 36 시점 영상이고, 디스플레이가 12 시점 영상까지 표현할 수 있는 경우, 사용자의 시선 이동에 대응하여 시점 영상의 출력 순서를 결정하는 과정에 대해 설명하였다. 이하에서는 입력 영상이 12 시점 영상이고, 디스플레이가 12 시점 영상까지 표현할 수 있는 경우, 사용자의 시선 이동에 대응하여 시점 영상의 출력 순서를 결정하는 과정에 대해 설명하기로 한다.
도 11은 사용자의 눈이 디스플레이의 중앙에 위치하는 경우에 디스플레이로 입력되는 시점 영상들의 순서와 사용자의 눈에 보이는 시점 영상들의 순서를 도시한 도면이다. 도 11에서, 12 시점 디스플레이 및 12 시점으로 구성된 입력 영상이 이용된다.
도 11에 따르면, 디스플레이(1100)가 렌즈로 구성된 경우, 렌즈의 특성으로 인해 사용자의 눈에 보이는 시점 영상들의 순서는 입력 영상의 순서와 반대가 될 수 있다. 일례로, 1~12 순서로 시점 영상들이 디스플레이되는 경우, 사용자의 눈에는 12~1 순서로 시점 영상들이 인식된다. 이때, 사용자가 디스플레이(1100)의 중앙에 위치한 경우, 사용자의 왼쪽 눈은 10 시점 영상(1121)을 응시하고, 사용자의 오른쪽 눈은 3 시점 영상(1122)을 응시할 수 있다.
이때, 도 12와 같이, 사용자의 시선이 오른쪽으로 1θ 이동한 경우, 출력 순서 결정부(220)는 01, 02, 03, 04, 05, 06, 07, 08, 09, 10, 11, 01 순서로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 시선이 오른쪽으로 1θ 이동함에 따라, 왼쪽 눈은 9 시점 영상(1222)을 응시하고, 오른쪽 눈은 02 시점 영상(1224)을 응시할 수 있다. 그리고, 01 시점 영상 이후에 12 시점 영상 대신 01 시점 영상(1225)이 연속할 수 있다. 이때, 입력 영상이 36 시점 영상인 경우와 마찬가지로, 오른쪽 슬라이드 윈도우(1230)에 포함된 복수의 시점 영상들은 우 시점 영상들로 구성되고, 왼쪽 슬라이드 윈도우(1240)에 포함된 복수의 시점 영상들은 좌 시점 영상들로 구성될 수 있다. 여기서, 슬라이드 윈도우의 크기는 1개의 화소에서 동시에 표현할 수 있는 시점 영상들의 개수로 기설정될 수 있다. 이에 따라, 출력 영상은 적어도 하나의 시점 영상을 포함하는 화소 단위로 구성될 수 있다.
동일한 방법으로, 도 13과 같이, 사용자의 시선이 2θ 이동한 경우, 출력 순서 결정부(220)는 01, 02, 03, 04, 05, 06, 07, 08, 09, 10, 01, 01 순서로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 디스플레이(230)는 결정된 순서에 따라 복수의 시점 영상들(1310)을 디스플레이할 수 있다. 이에 따라, 시선이 오른쪽으로 2θ 이동하더라도, 오른쪽 눈에는 01 시점 영상(1324) 이후에 12 및 11 시점 영상 대신 01 및 01 시점 영상(1330)들이 연속하여 보이게 되어 역시 현상을 방지할 수 있다.
마찬가지로, 도 14와 같이, 사용자의 시선이 3θ 이동한 경우, 출력 순서 결정부(220)는 01, 02, 03, 04, 05, 06, 07, 08, 09, 01, 01, 01 순서로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 디스플레이(230)는 결정된 순서에 따라 복수의 시점 영상들(1410)을 디스플레이할 수 있다. 이에 따라, 시선이 오른쪽으로 3θ 이동하더라도, 오른쪽 눈에는 01 시점 영상(1424) 이후에 12, 11, 10 시점 영상 대신 01, 01, 01 시점 영상(1430)들이 연속하여 보이게 되어 역시 현상을 방지할 수 있다.
도 15 내지 도 17은 사용자의 시선이 왼쪽으로 이동함에 따라 복수의 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 도면이다. 도 15 내지 도 17에서 입력 영상은 12 시점 영상이다.
도 15에 따르면, 사용자의 시선이 왼쪽으로 1θ 이동한 경우, 출력 순서 결정부(220)는 12, 02, 03, 04, 05, 06, 07, 08, 09, 10, 11, 12 순서로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 디스플레이(230)는 결정된 순서에 따라 복수의 시점 영상들(1510)을 디스플레이할 수 있다. 이에 따라, 시선이 왼쪽으로 1θ 이동하더라도, 왼쪽 눈에는 12 시점 영상 이후에 01 시점 영상 대신 12 시점 영상(1525)이 연속하여 보이게 되어 역시 현상을 방지할 수 있다.
동일한 방법으로, 도 16과 같이, 사용자의 시선이 왼쪽으로 2θ 이동한 경우, 출력 순서 결정부(220)는 12, 12, 03, 04, 05, 06, 07, 08, 09, 10, 11, 12 순서로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 디스플레이(230)는 결정된 순서에 따라 복수의 시점 영상들(1610)을 디스플레이할 수 있다. 이에 따라, 시선이 왼쪽으로 2θ 이동하더라도, 왼쪽 눈에는 12 시점 영상(1622) 이후에 01 및 02 시점 영상 대신 12, 12 시점 영상들(1625)이 연속하여 보이게 되어 역시 현상을 방지할 수 있다.
마찬가지로, 도 17과 같이, 사용자의 시선이 왼쪽으로 3θ 이동한 경우, 출력 순서 결정부(220)는 12, 12, 12, 04, 05, 06, 07, 08, 09, 10, 11, 12 순서로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 디스플레이(230)는 결정된 순서에 따라 복수의 시점 영상들(1710)을 디스플레이할 수 있다. 이에 따라, 시선이 왼쪽으로 3θ 이동하더라도, 왼쪽 눈에는 12 시점 영상 이후에 03, 02, 01 시점 영상 대신 12, 12, 12 시점 영상들(1625)이 연속하여 보이게 되어 역시 현상을 방지할 수 있다. 즉, 왼쪽 슬라이드 윈도우(1740)는 우 시점 영상인 03, 02, 01 시점 영상 대신 좌 시점 영상인 12, 12, 12(1725) 영상을 포함할 수 있다.
이상에서는, 서로 다른 시점 영상들을 포함하는 슬라이드 윈도우를 이용하여 3D 입체 영상을 자연스럽게 디스플레이하는 과정에 대해 설명하였다. 이하에서는 입력 영상을 구성하는 복수의 시점 영상들 중 2개의 시점 영상을 선택하고, 선택된 시점 영상들을 이용하여 시점 영상들의 출력 순서를 결정하는 과정에 대해 설명하기로 한다. 이때, 12개의 시점 영상을 표현해야 할 위치에 선택된 2개의 시점 영상을 사용하여 렌더링함에 따라 크로스토크(crosstalk)에 의한 3D 화질 열화를 방지할 수 있다.
일례로, 출력 순서 결정부(220)는 아래의 표 4에 따라 복수의 시점 영상들의 출력 순서를 결정할 수 있다. 이때, 복수의 시점 영상들은 2개의 시점 영상들로 구성될 수 있다.
표 4는 사용자의 시선이 오른쪽으로 이동함에 따라 계산된 이동 각도에 대응하는 시점 영상들의 순서를 나타내는 테이블이다. 표 4에서, 입력 영상은 36 시점 영상이고, 디스플레이되는 복수의 시점 영상들은 36 시점 영상들 중 2개의 시점 영상들로만 구성될 수 있다.
이동 각도
(θ)		 시점 영상들의 출력 순서
1 2 3 4 5 6 7 8 9 10 11 12
0 15 15 15 15 15 15 22 22 22 22 22 22
1 14 14 14 14 14 21 21 21 21 21 21 14
2 13 13 13 13 20 20 20 20 20 20 13 13
3 12 12 12 19 19 19 19 19 19 12 12 12
4 11 11 18 18 18 18 18 18 11 11 11 11
5 10 17 17 17 17 17 17 10 10 10 10 10
6 16 16 16 16 16 16 9 9 9 9 9 9
7 15 15 15 15 15 8 8 8 8 8 8 15
8 14 14 14 14 7 7 7 7 7 7 14 14
9 13 13 13 6 6 6 6 6 6 13 13 13
10 12 12 5 5 5 5 5 5 12 12 12 12
11 11 4 4 4 4 4 4 11 11 11 11 11
12 3 3 3 3 3 3 10 10 10 10 10 10
13 2 2 2 2 2 9 9 9 9 9 9 2
14 1 1 1 1 8 8 8 8 8 8 1 1
15 1 1 1 7 7 7 7 7 7 1 1 1
16 1 1 6 6 6 6 6 6 1 1 1 1
17 1 5 5 5 5 5 5 1 1 1 1 1
18 4 4 4 4 4 4 1 1 1 1 1 1
19 3 3 3 3 3 1 1 1 1 1 1 3
20 2 2 2 2 1 1 1 1 1 1 2 2
21 1 1 1 1 1 1 1 1 1 1 1 1
표 4에 따르면, 사용자의 시선이 오른쪽으로 이동하여 계산된 이동 각도가 12θ인 경우, 왼쪽 및 오른쪽 눈이 모두 부시역에 위치할 수 있다. 이에 따라, 디스플레이(230)는 3 시점 영상과 10 시점 영상으로 구성된 출력 영상을 디스플레이할 수 있다. 이처럼, 출력 순서 결정부(220)가 표 4에 따라 시점 영상들의 출력 순서를 결정함에 따라, 사용자가 디스플레이 중심에 위치하는 경우, 사용자의 눈은 15 및 22 시점 영상을 보기 시작해서, 사용자의 시선이 오른쪽으로 이동함에 따라 1 시점 영상까지 볼 수 있게 된다.
일례로, 도 18과 같이, 사용자의 시선이 오른쪽으로 2θ 이동한 경우, 출력 순서 결정부(220)는 표 4에 따라 13, 13, 13, 13, 20, 20, 20, 20, 20, 20, 13,13 순(1810)으로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 사용자의 시선이 오른쪽으로 2θ 이동하더라도, 사용자의 시선이 이동한 위치에 대응하는 13 시점 영상(1824)을 기준으로 좌측 및 우측 방향으로 각각 2개의 13 시점 영상들이 연속할 수 있다. 즉, 오른쪽 눈에는 13, 13, 13, 11, 12 순서의 시점 영상들이 대신 13, 13, 13, 13, 13 순서의 시점 영상들이 보이게 된다.
표 5는 사용자의 시선이 왼쪽으로 이동함에 따라 계산된 이동 각도에 대응하는 시점 영상들의 순서를 나타내는 테이블이다. 표 4에서, 입력 영상은 36 시점 영상이고, 디스플레이되는 복수의 시점 영상들은 36 시점 영상들 중 2개의 시점 영상들로만 구성될 수 있다.
이동 각도
(θ)		 시점 영상들의 출력 순서
1 2 3 4 5 6 7 8 9 10 11 12
0 15 15 15 15 15 15 22 22 22 22 22 22
1 23 16 16 16 16 16 16 23 23 23 23 23
2 24 24 17 17 17 17 17 17 24 24 24 24
3 25 25 25 18 18 18 18 18 18 25 25 25
4 26 26 26 26 19 19 19 19 19 19 26 26
5 27 27 27 27 27 20 20 20 20 20 20 27
6 28 28 28 28 28 28 21 21 21 21 21 21
7 22 29 29 29 29 29 29 22 22 22 22 22
8 23 23 30 30 30 30 30 30 23 23 23 23
9 24 24 24 31 31 31 31 31 31 24 24 24
10 25 25 25 25 32 32 32 32 32 32 25 25
11 26 26 26 26 26 33 33 33 33 33 33 26
12 27 27 27 27 27 27 34 34 34 34 34 34
13 35 28 28 28 28 28 28 35 35 35 35 35
14 36 36 29 29 29 29 29 29 36 36 36 36
15 36 36 36 30 30 30 30 30 30 36 36 36
16 36 36 36 36 31 31 31 31 31 31 36 36
17 36 36 36 36 36 32 32 32 32 32 32 36
18 36 36 36 36 36 36 33 33 33 33 33 33
19 34 36 36 36 36 36 36 34 34 34 34 34
20 35 35 36 36 36 36 36 36 35 35 35 35
21 36 36 36 36 36 36 36 36 36 36 36 36
표 5에 따르면, 사용자의 시선이 왼쪽으로 이동하여 계산된 이동 각도가 12θ인 경우, 왼쪽 및 오른쪽 눈이 모두 부시역에 위치할 수 있다. 이에 따라, 디스플레이(230)는 27 시점 영상과 34 시점 영상으로 구성된 출력 영상을 디스플레이할 수 있다. 이처럼, 출력 순서 결정부(220)가 표 5에 따라 시점 영상들의 출력 순서를 결정함에 따라, 사용자가 디스플레이 중심에 위치하는 경우, 사용자의 눈은 15 및 22 시점 영상을 보기 시작해서, 사용자의 시선이 왼쪽으로 이동함에 따라 36 시점 영상까지 볼 수 있게 된다. 즉, 본 영상 처리 장치(200)는 사용자의 왼쪽으로 시야각을 2배 확장하면서, 역시 현상 없이 자연스러운 3D 입체 영상을 제공할 수 있다.
일례로, 도 19와 같이, 사용자의 시선이 왼쪽으로 2θ 이동한 경우, 출력 순서 결정부(220)는 표 5에 따라 24, 24, 17, 17, 17, 17, 17, 17, 24, 24, 24,24 순(1910)으로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 사용자의 시선이 왼쪽으로 2θ 이동하더라도, 사용자의 시선이 이동한 위치에 대응하는 24 시점 영상(1922)을 기준으로 좌측 및 우측 방향으로 각각 2개의 24 시점 영상들이 연속할 수 있다. 즉, 왼쪽 눈에는 24, 24, 24(1922), 24, 24 순서의 시점 영상들이 보이게 된다.
동일한 방법으로, 입력 영상이 12 시점 영상인 경우, 출력 순서 결정부(220)는 사용자의 시선이 오른쪽으로 이동하면, 아래의 표 6에 따라 이동 각도에 대응하여 시점 영상들의 출력 순서를 결정할 수 있다. 이때, 사용자의 시선이 왼쪽으로 이동하면, 출력 순서 결정부(220)는 아래의 표 7에 따라 이동 각도에 대응하여 시점 영상들의 출력 순서를 결정할 수 있다.
표 6은 사용자의 시선이 오른쪽으로 이동함에 따라 계산된 이동 각도에 대응하는 시점 영상들의 순서를 나타내는 테이블이다. 표 6에서, 입력 영상은 12 시점 영상이고, 디스플레이 되는 복수의 시점 영상들은 12 시점 영상들 중 2개의 시점 영상들로만 구성될 수 있다.
이동 각도
(θ)		 시점 영상들의 출력 순서
1 2 3 4 5 6 7 8 9 10 11 12
0 3 3 3 3 3 3 10 10 10 10 10 10
1 2 2 2 2 2 9 9 9 9 9 9 2
2 1 1 1 1 8 8 8 8 8 8 1 1
3 1 1 1 7 7 7 7 7 7 1 1 1
4 1 1 6 6 6 6 6 6 1 1 1 1
5 1 5 5 5 5 5 5 1 1 1 1 1
6 4 4 4 4 4 4 1 1 1 1 1 1
7 3 3 3 3 3 1 1 1 1 1 1 3
8 2 2 2 2 1 1 1 1 1 1 2 2
9 1 1 1 1 1 1 1 1 1 1 1 1
표 6에 따르면, 36 시점인 영상인 경우와 입력 영상이 12 시점 영상인 경우, 이동 각도가 9θ가 되면, 사용자의 왼쪽 및 오른쪽 눈에는 모두 1 시점 영상만 보이게 된다. 즉, 2D 영상을 보게 되지만, 사용자는 움직임 시차(motion parallax)로 인해 디스플레이(230)에 12개의 1 시점 영상들로 구성된 출력 영상이 디스플레이 되더라도, 출력 영상을 입체 영상으로 인식하게 된다.
일례로, 도 20과 같이, 사용자의 시선이 오른쪽으로 2θ 이동한 경우, 출력 순서 결정부(220)는 표 6에 따라 01, 01, 01, 01, 08, 08, 08, 08, 08, 08, 01, 01 순(2010)으로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 사용자의 시선이 오른쪽으로 2θ 이동하더라도, 사용자의 시선이 이동한 위치에 대응하는 01 시점 영상(2024)을 기준으로 좌측 및 우측 방향으로 각각 2개의 01 시점 영상들이 연속할 수 있다. 즉, 오른쪽 눈에는 01, 01, 01(2024), 01, 01 순서의 시점 영상들이 보이게 된다. 다시 말해, 12 시점 디스플레이에서, 11번째 및 12번째 위치(2025)에 01 및 01 시점 영상들이 렌더링될 수 있다.
표 7은 사용자의 시선이 왼쪽으로 이동함에 따라 계산된 이동 각도에 대응하는 시점 영상들의 순서를 나타내는 테이블이다. 표 7에서, 입력 영상은 12 시점 영상이고, 디스플레이 되는 복수의 시점 영상들은 12 시점 영상들 중 2개의 시점 영상들로만 구성될 수 있다.
이동 각도
(θ)		 시점 영상들의 출력 순서
1 2 3 4 5 6 7 8 9 10 11 12
0 3 3 3 3 3 3 10 10 10 10 10 10
1 11 4 4 4 4 4 4 11 11 11 11 11
2 12 12 5 5 5 5 5 5 12 12 12 12
3 12 12 12 6 6 6 6 6 6 12 12 12
4 12 12 12 12 7 7 7 7 7 7 12 12
5 12 12 12 12 12 8 8 8 8 8 8 12
6 12 12 12 12 12 12 9 9 9 9 9 9
7 10 12 12 12 12 12 12 10 10 10 10 10
8 11 11 12 12 12 12 12 12 11 11 11 11
9 12 12 12 12 12 12 12 12 12 12 12 12
표 7에 따르면, 입력 영상이 12 시점 영상이므로, 이동 각도가 9θ인 경우, 사용자의 왼쪽 및 오른쪽 눈에는 모두 12 시점 영상만 보이게 된다. 즉, 2D 영상을 보게 되지만, 사용자는 움직임 시차(motion parallax)로 인해 디스플레이(230)에 12개의 12 시점 영상들로 구성된 출력 영상이 디스플레이 되더라도, 출력 영상을 입체 영상으로 인식하게 된다.
일례로, 도 21과 같이, 사용자의 시선이 왼쪽으로 2θ 이동한 경우, 출력 순서 결정부(220)는 표 7에 따라 12,12, 05, 05, 05, 05, 05, 05, 12, 12, 12, 12 순(2110)으로 시점 영상들의 출력 순서를 결정할 수 있다. 그러면, 사용자의 시선이 왼쪽으로 2θ 이동하더라도, 사용자의 시선이 이동한 위치에 대응하는 12 시점 영상(2122)을 기준으로 좌측 및 우측 방향으로 각각 2개의 12 시점 영상들이 연속할 수 있다. 즉, 왼쪽 눈에는 12, 12, 12(2122), 12, 12 순서의 시점 영상들이 보이게 된다. 다시 말해, 12 시점 디스플레이에서, 1번째 및 2번째 위치(2125)에 12 및 12 시점 영상들이 렌더링될 수 있다.
이상에서 표 1 내지 표 7에서 설명한 테이블들은 데이터베이스화되어 영상 처리 장치(200)에 기저장될 수 있다. 그러면, 출력 순서 결정부(220)는 데이터베이스화된 테이블을 참조하여 이동 각도 계산부(212)에서 계산된 이동 각도에 대응하는 시점 영상들의 순서를 결정할 수 있다.
도 22는 사용자의 시선 이동에 따라 시점 영상들의 출력 순서를 결정하는 과정을 설명하기 위해 제공되는 흐름도이다.
도 22에 따르면, 먼저, 이동 판단부(210)는 사용자의 시선 이동을 판단할 수 있다(S2210).
일례로, 센싱 장치(100)는 실시간으로 사용자를 촬영하고, 촬영 영상을 실시간으로 이동 거리 계산부(211)로 전송할 수 있다. 그러면, 이동 거리 계산부(211)는 현재 촬영 영상으로부터 사용자의 왼쪽 및 오른쪽 눈의 위치를 계산하고, 다음 촬영 영상으로부터 사용자의 다음 왼쪽 및 오른쪽 눈의 위치를 계산할 수 있다. 이때, 눈의 위치는 좌표값으로 표현될 수 있다. 이동 거리 계산부(211)는 현재 및 다음 촬영 영상을 이용하여 계산한 왼쪽 및 오른쪽 눈의 위치들 간의 차를 각각 계산하여 왼쪽 차이값 및 오른쪽 차이값을 계산할 수 있다.
이때, 이동 거리 계산부(211)는 왼쪽 및 오른쪽 차이값을 이용하여 시선이 이동했는지 여부를 판단할 수 있다(S2220).
일례로, 이동 거리 계산부(211)는 왼쪽 및 오른쪽 차이값 중 어느 하나가 기설정된 오차값 이상인 경우, 시선이 이동한 것으로 판단할 수 있다(S2220:YES). 이때, 이동 거리 계산부(211)는 왼쪽 및 오른쪽 차이값이 양의 값인 경우, 오른쪽 방향으로 이동, 왼쪽 및 오른쪽 차이값이 음의 값인 경우, 왼쪽 방향으로 이동한 것으로 판단할 수 있다. 여기서, 왼쪽 및 오른쪽 차이값으로 구성된 좌표값은 이동 거리(x)가 될 수 있다.
그러면, 이동 각도 계산부(212)는 이동 거리 x와 초점 거리 fl을 이용하여 사용자의 시선 이동에 따른 눈의 이동 각도를 계산할 수 있다. 일례로, 이동 각도 계산부(212)는 앞에서 설명한 수학식 1을 이용하여 이동 각도를 계산할 수 있다.
이어, 사용자의 시선이 이동한 경우, 출력 순서 결정부(220)는 이동 방향에 대응하는 시점 영상의 출력 순서를 결정할 수 있다(S2230).
일례로, 출력 순서 결정부(220)는 앞에서 설명한 표 1 내지 7을 참조하여 계산된 이동 각도에 대응하는 시점 영상들의 출력 순서를 결정할 수 있다. 이때, 출력 순서 결정부(220)는 입력 영상 및 사용자의 시선 이동 방향에 기초하여 시점 영상들의 출력 순서를 결정할 수 있다. 즉, 입력 영상이 12 시점 영상인지, 혹은 36 시점 영상인지, 그리고, 사용자의 시선이 오른쪽 혹은 왼쪽으로 이동했는지 여부에 기초하여 이동 각도에 대응하는 시점 영상들의 출력 순서를 결정할 수 있다.
보다 상세하게는, 출력 순서 결정부(220)는 사용자의 시선이 오른쪽으로 이동한 경우, 사용자의 왼쪽 눈에 대응하는 시점 영상의 출력 순서를 조절할 수 있다. 그리고, 사용자의 시선이 왼쪽으로 이동한 경우, 출력 순서 결정부(220)는 사용자의 왼쪽 눈에 대응하는 시점 영상의 출력 순서를 조절할 수 있다. 이때, 출력 순서 결정부(220)는 왼쪽 및 오른쪽 슬라이드 윈도우에 서로 다른 시점의 영상들이 연속하여 포함되도록 시점 영상들의 출력 순서를 조절할 수 있다.
여기서, 왼쪽 및 오른쪽 슬라이드 윈도우의 크기는 1개의 화소에서 동시에 표현될 수 있는 시점 영상의 개수로 기설정될 수 있다. 그리고, 사용자의 시선이 이동한 위치에 대응하는 왼쪽 및 오른쪽 시점 영상이 왼쪽 및 오른쪽 슬라이드 윈도우 각각의 가운데에 위치할 수 있다. 그리고, 가운데 시점 영상을 기준으로 좌측 및 우측으로 기준 개수의 시점 영상들이 연속할 수 있다. 이때, 기준 개수는 1개의 화소에서 동시에 표현될 수 있는 시점 영상의 개수에서 2를 나눈 값으로 기설정될 수 있다. 이처럼, 왼쪽 및 오른쪽 슬라이드 윈도우를 이용함에 따라, 사용자의 눈이 좌우로 미세하게 움직이더라도, 사용자는 자연스러운 3D 입체 영상을 볼수 있다.
이어, 디스플레이(230)는 결정된 출력 순서에 따라 복수의 시점 영상들을 디스플레이할 수 있다(S2240). 즉, 디스플레이(230)는 서로 다른 복수의 시점 영상들로 구성된 출력 영상을 디스플레이할 수 있다. 여기서, 출력 영상은, 적어도 하나의 시점 영상을 포함하는 화소 단위로 구성될 수 있다. 이에 따라, 사용자의 시선이 왼쪽 혹은 오른쪽으로 이동하더라도 왼쪽 눈에는 좌 시점 영상들만이 보이고, 오른쪽 눈에는 우 시점 영상들만이 보이게 된다.
다른 예로, 출력 순서 결정부(220)는 복수의 시점 영상들 중 2개의 시점 영상들만 이용하여 출력 순서를 조절할 수 있다. 그러면, 디스플레이(230)는 조절된 출력 순서에 따라 2개의 시점 영상들로만 구성된 출력 영상을 디스플레이할 수 있다.
한편, S2210 단계에서, 사용자의 시선이 이동하지 않은 것으로 판단된 경우(S2220:No), 디스플레이(230)는 디스플레이 되고 있는 시점 영상들의 순서에 따라 출력 영상을 계속하여 디스플레이 할 수 있다(S2250).
다른 한편, 이상에서 설명한 디스플레이(230)는 렌티큘러 렌즈와 같이, 렌즈를 이용하여 구성될 수 있을 뿐만 아니라, 배리어를 이용하여 구성될 수도 있다.
본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
200: 영상 처리 장치
100: 센싱 장치
210: 이동 판단부
211: 이동 거리 계산부
212: 이동 각도 계산부
220: 출력 순서 결정부
230: 디스플레이

Claims (22)

  1. 사용자의 눈 위치의 이동을 판단하는 이동 판단부; 및
    상기 사용자의 눈 위치의 이동에 대응하여 시점 영상의 출력 순서를 결정하는 출력 순서 결정부
    를 포함하고,
    상기 출력 순서 결정부는 상기 사용자의 눈 위치가 이동한 위치에 대응하는 시점 영상을 기준으로, 기설정된 기준 개수까지 좌, 우 시점 영상이 연속하도록 시점 영상의 출력 순서를 결정하는,
    영상 처리 장치.
  2. 제1항에 있어서,
    상기 이동 판단부는,
    상기 사용자의 눈 위치에 대한 이동 방향을 판단하고,
    상기 출력 순서 결정부는,
    상기 사용자의 눈 위치가 오른쪽으로 이동한 경우, 상기 사용자의 오른쪽 눈에 대응하는 시점 영상의 출력 순서를 조절하는 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 이동 판단부는,
    상기 사용자의 눈 위치에 대한 이동 방향을 판단하고,
    상기 출력 순서 결정부는,
    상기 사용자의 눈 위치가 왼쪽으로 이동한 경우, 상기 사용자의 왼쪽 눈에 대응하는 시점 영상의 출력 순서를 조절하는 것을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 이동 판단부는,
    상기 사용자의 눈 위치에 대한 이동 각도를 판단하고,
    상기 출력 순서 결정부는,
    상기 이동 각도에 따라 출력 순서가 조절될 시점 영상의 개수를 다르게 결정하는 것을 특징으로 하는 영상 처리 장치.
  5. 제4항에 있어서,
    상기 출력 순서 결정부는,
    상기 이동 각도가 증가할수록 출력 순서가 조절될 시점 영상의 개수를 증가시키는 것을 특징으로 하는 영상 처리 장치.
  6. 제1항에 있어서,
    상기 결정된 출력 순서에 따라 복수의 시점 영상들로 구성된 출력 영상을 디스플레이하는 디스플레이
    를 더 포함하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 출력 영상은,
    적어도 하나의 시점 영상을 포함하는 화소 단위로 구성되는 것을 특징으로 하는 영상 처리 장치.
  8. 삭제
  9. 사용자의 눈 위치의 이동을 판단하는 단계; 및
    상기 사용자의 눈 위치가 이동한 것에 대응하여 시점 영상의 출력 순서를 결정하는 단계
    를 포함하고,
    상기 출력 순서를 결정하는 단계는 상기 사용자의 눈 위치가 이동한 위치에 대응하는 시점 영상을 기준으로, 기설정된 기준 개수까지 좌, 우 시점 영상이 연속하도록 시점 영상의 출력 순서를 결정하는,
    영상 처리 방법.
  10. 제9항에 있어서,
    상기 눈 위치의 이동을 판단하는 단계는,
    상기 사용자의 눈 위치에 대한 이동 방향을 판단하고,
    상기 출력 순서를 결정하는 단계는,
    상기 사용자의 눈 위치가 오른쪽으로 이동한 경우, 상기 사용자의 오른쪽 눈에 대응하는 시점 영상의 출력 순서를 조절하는 것을 특징으로 하는 영상 처리 방법.
  11. 제9항에 있어서,
    상기 눈 위치의 이동을 판단하는 단계는,
    상기 사용자의 눈 위치에 대한 이동 방향을 판단하고,
    상기 출력 순서를 결정하는 단계는,
    상기 사용자의 눈 위치가 왼쪽으로 이동한 경우, 상기 사용자의 왼쪽 눈에 대응하는 시점 영상의 출력 순서를 조절하는 것을 특징으로 하는 영상 처리 방법.
  12. 제9항에 있어서,
    상기 눈 위치의 이동을 판단하는 단계는,
    상기 사용자의 눈 위치에 대한 이동 각도를 판단하고,
    상기 출력 순서를 결정하는 단계는,
    상기 이동 각도에 따라 출력 순서가 조절될 시점 영상의 개수를 다르게 결정하는 것을 특징으로 하는 영상 처리 방법.
  13. 제12항에 있어서,
    상기 출력 순서를 결정하는 단계는,
    상기 이동 각도가 증가할수록 출력 순서가 조절될 시점 영상의 개수를 증가시키는 것을 특징으로 하는 영상 처리 방법.
  14. 제10항에 있어서,
    상기 결정된 출력 순서에 따라 복수의 시점 영상들로 구성된 출력 영상을 디스플레이하는 단계
    를 더 포함하는 영상 처리 방법.
  15. 제14항에 있어서,
    상기 출력 영상은,
    적어도 하나의 시점 영상을 포함하는 화소 단위로 구성되는 것을 특징으로 하는 영상 처리 방법.
  16. 삭제
  17. 제9항 내지 제15항 중 어느 하나의 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 기록매체.
  18. 사용자의 눈 위치를 추정하는 단계; 및
    복수의 시점 영상의 출력 순서를 결정하는 단계로서, 상기 눈 위치와 연관된 복수의 시점 영상을 포함하는 제1 그룹 내에서 연속된 시점 영상이 배치되도록 출력 순서를 결정하는 단계
    를 포함하는, 영상 처리 방법.
  19. 제18항에 있어서,
    상기 출력 순서를 결정하는 단계는, 상기 제1 그룹과 상이한 제2 그룹 내에서 연속되지 않은 시점 영상이 배치되도록 출력 순서를 결정하는, 영상 처리 방법.
  20. 제19항에 있어서,
    상기 제2 그룹은 상기 제1 그룹과 인접한, 영상 처리 방법.
  21. 제19항에 있어서,
    상기 제2 그룹 내에서 적어도 하나의 시점 영상이 반복 배치되도록 출력 순서가 결정되는, 영상 처리 방법.
  22. 사용자의 눈 위치를 추정하는 이동 판단부; 및
    복수의 시점 영상의 출력 순서를 결정하는 출력 순서 결정부
    를 포함하고,
    상기 출력 순서 결정부는 상기 눈 위치와 연관된 복수의 시점 영상을 포함하는 제1 그룹 내에서 연속된 시점 영상이 배치되도록 출력 순서를 결정하는,
    영상 처리 장치.
KR1020100087549A 2010-09-07 2010-09-07 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법 KR101697181B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100087549A KR101697181B1 (ko) 2010-09-07 2010-09-07 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
US13/067,416 US9325983B2 (en) 2010-09-07 2011-05-31 Image processing apparatus and method using tracking of gaze of user
US15/137,941 US9781410B2 (en) 2010-09-07 2016-04-25 Image processing apparatus and method using tracking of gaze of user

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100087549A KR101697181B1 (ko) 2010-09-07 2010-09-07 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120025261A KR20120025261A (ko) 2012-03-15
KR101697181B1 true KR101697181B1 (ko) 2017-01-17

Family

ID=45770363

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100087549A KR101697181B1 (ko) 2010-09-07 2010-09-07 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (2) US9325983B2 (ko)
KR (1) KR101697181B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013121031A (ja) * 2011-12-07 2013-06-17 Sony Corp 表示装置および方法、並びにプログラム
KR101912635B1 (ko) * 2012-05-24 2018-10-29 엘지전자 주식회사 영상표시장치 및 그 동작방법
KR102591552B1 (ko) 2015-08-21 2023-10-18 매직 립, 인코포레이티드 눈 포즈 측정을 사용한 눈꺼풀 형상 추정
EP3362946B1 (en) 2015-10-16 2020-08-26 Magic Leap, Inc. Eye pose identification using eye features
CN107396087B (zh) * 2017-07-31 2019-03-12 京东方科技集团股份有限公司 裸眼三维显示装置及其控制方法
DE102017120648B4 (de) * 2017-09-07 2023-08-10 OSRAM Opto Semiconductors Gesellschaft mit beschränkter Haftung 3D-Anzeigeelement, 3D-Anzeigesystem, Verfahren zum Betreiben eines 3D-Anzeigeelements und Verfahren zum Betreiben eines 3D-Anzeigesystems
JP6897467B2 (ja) * 2017-10-02 2021-06-30 富士通株式会社 視線検出装置、視線検出プログラム、及び視線検出方法
DE102018128706A1 (de) 2018-11-15 2020-05-20 Bayerische Motoren Werke Aktiengesellschaft Dynamischer Informationsschutz für Anzeigeeinrichtungen
CN113492756A (zh) * 2021-07-01 2021-10-12 中汽创智科技有限公司 一种车外信息展示方法、装置、设备及存储介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19827590C2 (de) * 1998-06-20 2001-05-03 Christoph Grosmann Verfahren und Vorrichtung zur Autostereoskopie
US6478425B2 (en) * 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
JP2005266591A (ja) 2004-03-19 2005-09-29 Ts Photon:Kk 三次元ディスプレイシステム
FR2873824B1 (fr) * 2004-07-30 2006-10-27 Pierre Allio Procede d'affichage d'une image autostereoscopique a n points de vue
JP2006050383A (ja) 2004-08-06 2006-02-16 Toshiba Corp 立体画像表示装置およびその表示制御方法
US7944465B2 (en) * 2006-01-13 2011-05-17 Zecotek Display Systems Pte. Ltd. Apparatus and system for reproducing 3-dimensional images
KR101255210B1 (ko) * 2006-05-04 2013-04-23 삼성전자주식회사 다시점 입체 영상 디스플레이 장치
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
JP2008146221A (ja) 2006-12-07 2008-06-26 Sony Corp 画像表示システム
JP2008155720A (ja) 2006-12-22 2008-07-10 Nippon Seiki Co Ltd ヘッドアップディスプレイ装置
JP5322264B2 (ja) 2008-04-01 2013-10-23 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 画像表示装置およびプログラム
JP4998364B2 (ja) 2008-04-28 2012-08-15 オムロン株式会社 視線検出装置および方法、並びに、プログラム
JP2009287936A (ja) 2008-05-27 2009-12-10 Toyota Industries Corp 運転者眼球位置検出装置
JP2010056712A (ja) 2008-08-27 2010-03-11 Seiko Epson Corp 遠隔作業用画像表示システム
BRPI0914482A2 (pt) * 2008-10-28 2015-10-27 Koninkl Philips Electronics Nv sistema de exibição tridimensional, método de operação para um sistema de exibição tridimensional e produto de programa de computador
US9225975B2 (en) * 2010-06-21 2015-12-29 Microsoft Technology Licensing, Llc Optimization of a multi-view display

Also Published As

Publication number Publication date
US20160241847A1 (en) 2016-08-18
KR20120025261A (ko) 2012-03-15
US20120056872A1 (en) 2012-03-08
US9325983B2 (en) 2016-04-26
US9781410B2 (en) 2017-10-03

Similar Documents

Publication Publication Date Title
KR101697181B1 (ko) 사용자의 시선 추적을 이용한 영상 처리 장치 및 방법
EP1704730B1 (en) Method and apparatus for generating a stereoscopic image
US8953023B2 (en) Stereoscopic depth mapping
KR102415502B1 (ko) 복수의 사용자를 위한 라이트 필드 렌더링 방법 및 장치
KR101602904B1 (ko) 신호에 포함된 시차 정보를 처리하는 방법
JP6734620B2 (ja) 映像処理方法及び映像処理装置
KR20110049039A (ko) 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법
KR20110086079A (ko) 입력 ３차원 비디오 신호를 프로세싱하는 방법 및 시스템
US9154765B2 (en) Image processing device and method, and stereoscopic image display device
KR20100040593A (ko) 영상처리 장치 및 방법
US11785197B2 (en) Viewer-adjusted stereoscopic image display
US20140036039A1 (en) Techniques for producing creative stereo parameters for stereoscopic computer animation
JP6128442B2 (ja) 立体画像および画像シーケンスのステレオベース拡張のための方法および装置｛ｍｅｔｈｏｄ ａｎｄ ｄｅｖｉｃｅ ｆｏｒ ｓｔｅｒｅｏ ｂａｓｅ ｅｘｔｅｎｓｉｏｎ ｏｆ ｓｔｅｒｅｏｓｃｏｐｉｃ ｉｍａｇｅｓ ａｎｄ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ｝
JP5396877B2 (ja) 画像処理装置、プログラム、画像処理方法、および記録方法
JP6033625B2 (ja) 多視点画像生成装置、画像生成方法、表示装置、プログラム、及び、記録媒体
US20170309055A1 (en) Adjusting parallax of three-dimensional display material
US9628770B2 (en) System and method for stereoscopic 3-D rendering
JP2012105172A (ja) 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体
JP6685241B2 (ja) 立体視ビデオ生成
KR101192121B1 (ko) 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치
JP5663854B2 (ja) 表示装置、表示方法、および、プログラム
KR101907127B1 (ko) 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
JP5428723B2 (ja) 画像生成装置、画像生成方法、および、プログラム
JP7339278B2 (ja) 視聴者に合わせて調整された立体画像表示

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191216

Year of fee payment: 4