KR101274325B1 - 다시점 입체영상 표시 장치 및 그 방법 - Google Patents

다시점 입체영상 표시 장치 및 그 방법 Download PDF

Info

Publication number
KR101274325B1
KR101274325B1 KR1020110112654A KR20110112654A KR101274325B1 KR 101274325 B1 KR101274325 B1 KR 101274325B1 KR 1020110112654 A KR1020110112654 A KR 1020110112654A KR 20110112654 A KR20110112654 A KR 20110112654A KR 101274325 B1 KR101274325 B1 KR 101274325B1
Authority
KR
South Korea
Prior art keywords
view
synchronization
images
order
image
Prior art date
Application number
KR1020110112654A
Other languages
English (en)
Other versions
KR20130047856A (ko
Inventor
김효성
김병규
홍광수
Original Assignee
선문대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 선문대학교 산학협력단 filed Critical 선문대학교 산학협력단
Priority to KR1020110112654A priority Critical patent/KR101274325B1/ko
Publication of KR20130047856A publication Critical patent/KR20130047856A/ko
Application granted granted Critical
Publication of KR101274325B1 publication Critical patent/KR101274325B1/ko

Links

Images

Abstract

다시점 입체영상 표시 장치는 먼저 시청자들이 착용한 안경 장치들을 이용해 시청자들의 위치에 대한 정보를 획득하고, 획득한 정보에 의거하여 동기화 순서를 결정한다. 이후, 해당 표시 장치는 전체 시점 영상들을 포함하는 원본 영상 스트림으로부터 시청자들의 위치에 상응하는 시점 영상들을 선택하여 동기화 순서에 맞게 할당한 다시점 영상 스트림을 생성한 후, 다시점 영상 스트림의 시점 영상들을 순차적으로 표시한다. 이때, 다시점 영상 스트림을 이루는 영상들의 표시 순서에 동기화하여 안경 장치들의 좌안과 우안이 시분할로 개폐된다.
이에 따르면, 양안시차 방식의 입체영상에 대하여 영상 시점의 수를 증가시켜 다수의 시청자가 함께 입체영상을 시청할 수 있고, 영상 시점의 수가 증가함에 따른 공간적/시간적 해상도의 손실을 최소화하여 영상 품질을 확보할 수 있다.

Description

다시점 입체영상 표시 장치 및 그 방법{APPARATUS AND METHOD FOR MULTI-VIEW 3D VIDEO DISPLAY}
본 발명은 입체영상 표시 기술에 관한 것으로, 특히 다시점(Multi-View)의 입체영상을 표시하기 위한 장치 및 그 방법에 관한 것이다.
최근의 3D 디스플레이 기술은 양안시차 방식으로 입체감을 제공하는 스테레오스코픽 3D(Stereoscopic 3D) 디스플레이를 거쳐 시청각에 따른 다양한 시점의 영상을 3D로 제공할 수 있는 다시점 3D(Multi-view 3D) 디스플레이로 발전해 가고 있다.
도 1은 종래 기술에 따른, 양안시차에 의한 입체감 인지 원리를 보인 도면이다.
일반적으로, 사람이 어떠한 물체를 볼 때에 좌안과 우안에 맺히게 되는 영상은 그 물체와의 거리에 따라 크게 달라진다. (a)와 (b)는 각각 물체가 시야로부터 가까이 있을 때와 멀리 떨어져 있을 때, 양안에 맺히는 영상과 그 영상이 영상 표시 장치에서 표시되어야 할 위치를 나타낸 것이다.
사람의 뇌는 양안에 맺히는 영상의 차이에 의해 거리를 인식하게 되며, 3D 디스플레이는 이러한 원리에 기반하여 좌안과 우안에 각기 다른 영상을 표시함으로써 입체영상을 구현하고 있다.
종래의 스테레오스코픽 3D 디스플레이 및 다시점 3D 디스플레이는 양안에 표시하는 영상을 분할하는 방식에 따라 공간 분할, 시분할 방식 등으로 나뉠 수 있다. 또한, 안경 착용의 유무에 따라 안경 방식과 무안경 방식으로 나뉠 수 있다.
구체적으로, 시청각에 따른 다양한 시점(Multi-View)을 지원하고, 각 시점에 해당하는 양안의 입체영상을 제공하기 위하여, 렌티큘러판 등을 이용하여 영상 표시 장치를 구성할 수 있으며, 해당 장치는 화소들을 공간 분할하거나 영상 스캔 비율을 시분할하여 입체영상을 제공하게 된다.
그런데, 이러한 경우, 공간 분할이나 시분할로 인하여 공간적, 시간적 해상도의 저하가 일어나게 되며, 이를 보상하기 위한 비용 또한 높아 상용화하기가 어려운 문제점이 있다.
또한, 이러한 문제점을 해결하기 위하여 시청자 위치 추적 기반의 다시점 영상 표시 장치가 제안된 바 있으나, 종래의 다시점 영상 표시 장치의 경우 본질적으로 단일 시청자를 대상으로 동작하기 때문에 그 응용에 한계가 있다.
한국공개특허 제10-2010-0135007호 한국등록특허 제10-0953747호
본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 그 목적은 양안시차 방식의 입체영상에 대하여 영상 시점(View)의 수를 증가시켜 다수의 시청자가 함께 시청할 수 있도록 지원하는 다시점 입체영상 표시 장치 및 그 방법을 제공하는 것이다.
본 발명의 다른 목적은 영상 시점의 수가 증가함에 따른 공간적/시간적 해상도의 저하를 최소화할 수 있는 다시점 입체영상 표시 장치 및 그 방법을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 다시점 입체영상 표시 장치는, 시청자들이 착용한 안경 장치들을 이용해 시청자들의 총 수 및 위치에 대한 정보를 획득하는 위치 확인부; 상기 위치 확인부에서 획득된 정보에 의거하여, 동기화 순서를 결정하는 동기화 순서 결정부; 및 전체 시점 영상들을 포함하는 원본 영상 스트림으로부터 시청자들의 총 수 및 위치에 상응하는 시점 영상들을 선택하고, 상기 선택된 시점 영상들을 상기 동기화 순서에 맞게 할당하여 다시점 영상 스트림을 생성하며, 상기 다시점 영상 스트림의 시점 영상들을 순차적으로 표시하는 영상 스트림 생성부를 포함한다.
나아가, 상기 다시점 영상 스트림을 이루는 영상들의 표시 순서에 동기화하여 안경 장치들의 좌안과 우안을 시분할로 개폐하는 동기화 수행부를 더 포함할 수 있다.
한편, 본 발명에 따른 다시점 입체영상 표시 방법은, 표시 장치가 시청자들이 착용한 안경 장치들을 이용해 시청자들의 총 수 및 위치에 대한 정보를 획득하는 단계; 상기 표시 장치가 상기 획득된 정보에 의거하여, 동기화 순서를 결정하는 단계; 및 상기 표시 장치가 전체 시점 영상들을 포함하는 원본 영상 스트림으로부터 시청자들의 총 수 및 위치에 상응하는 시점 영상들을 선택하여 상기 동기화 순서에 맞게 할당한 다시점 영상 스트림을 생성한 후, 상기 다시점 영상 스트림의 시점 영상들을 순차적으로 표시하는 단계를 포함한다.
나아가, 상기 표시 장치가 상기 다시점 영상 스트림을 이루는 영상들의 표시 순서에 동기화하여 상기 안경 장치들의 좌안과 우안을 시분할로 개폐하는 단계를 더 포함할 수 있다.
본 발명의 다시점 입체영상 표시 장치 및 그 방법에 따르면, 양안시차 방식의 입체영상에 대하여 영상 시점(View)의 수를 증가시켜 다수의 시청자가 함께 입체영상을 시청할 수 있다.
또한, 본 발명의 다시점 입체영상 표시 장치 및 그 방법에 따르면, 영상 시점의 수가 증가함에 따른 공간적/시간적 해상도의 손실을 최소화하여 영상 품질을 확보할 수 있다.
도 1은 종래 기술에 따른, 양안시차에 의한 입체감 인지 원리를 보인 도면이다.
도 2는 본 발명에 적용되는 시분할 안경 방식의 영상 분할 원리를 공간 분할 안경 방식과 비교하여 보인 도면이다.
도 3은 본 발명의 일 실시예에 따른 각 시점(View)의 위치를 예시한 도면이다.
도 4는 본 발명의 효과를 설명하기 위하여, 다시점 영상을 표시하는 무안경 방식의 기술들을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 다시점 입체영상 표시 장치의 구성도이다.
도 6은 본 발명의 일 실시예에서 시청자 위치를 확인하는 과정을 예시한 도면이다.
도 7은 본 발명의 일 실시예에서 원본 영상 스트림으로부터 실제의 다시점 영상 스트림을 생성하는 과정을 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 하나의 다시점 입체영상 표시 장치와 다수의 안경 장치들 사이의 동기화를 예시한 도면이다.
도 9는 본 발명의 일 실시예에서 사용되는 안경 장치의 구조를 보인 도면이다.
도 10은 본 발명의 일 실시예에 따른 다시점 입체영상 표시 방법의 흐름도이다.
먼저, 도 2 내지 도 4는 본 발명의 구성을 도출하기 위한 기본적인 영상 표시 원리를 설명하기 위한 도면들이다.
도 2는 본 발명에 적용되는 시분할 안경 방식의 영상 분할 원리를 공간 분할 안경 방식과 비교하여 보인 도면이다.
도 2의 (a)는 공간 분할 방식의 하나인 편광 안경 방식을 나타낸 것이다.
편광 안경 방식은 좌측 렌즈와 우측 렌즈에 서로 다른 위상을 가지는 편광을 통과시키는 안경(11)을 사용하여 좌우 영상을 분리한다. 영상 표시 장치(12)는 편광 필름을 부착하여 좌안과 우안에 표시할 영상을 수평 또는 수직으로 한 줄씩 분할하여 시간(T)에 따라 표시(B1,B2,B3,B4 등)하며, 이로 인해, 공간 해상도가 절반으로 줄어들게 된다.
도 2의 (b)는 시분할 방식의 하나인 셔터 안경 방식을 나타낸 것이다.
셔터 안경 방식은 60㎐ 이상의 깜박임을 잘 인지하지 못하는 사람의 눈의 특성에 기반하여, 액티브 셔터 안경(21)을 통해 60㎐의 두 배인 120㎐ 이상으로 좌안과 우안을 교대로 차단함으로써 좌우 영상을 분리한다. 영상 표시 장치(22)는 좌안 영상과 우안 영상을 시간(T)에 따라 순차적으로 표시(L1,R1,L2,R2 등)한다.
이로 인해, 시간 해상도가 절반으로 줄어들게 되지만, 60㎐ 이상의 영상 스캔 속도는 영상 화질에 많은 영향을 미치지 않으므로, 그로 인한 손실은 미미하다.
셔터 안경 방식을 사용하는 경우, 안경(21)은 영상 표시 장치(22)와의 동기화 및 좌우 렌즈의 교차 차단을 위해 내장 축전지 및 무선 통신부를 필요로 한다.
도 3은 본 발명의 일 실시예에 따른 각 시점(View)의 위치를 예시한 도면으로서, 전체 시점(View)들의 총 수가 9개인 경우를 가정하여 시야각에 따른 각 시점의 위치를 도시하고 있다. 여기에서, 전체 시점들의 수는 설명의 편의를 위하여 임의로 설정한 것으로, 발명의 실시형태에 따라 다양하게 가변될 수 있다.
도 3의 경우, 전체 시점들(V1 내지 V9)의 총 수가 9개이므로, 영상 표시 장치(30)에서 단위 시간당 표시되는 시점 영상들의 총 수도 9개가 된다.
또한, 다시점 입체영상을 위해서는 각 시점(V1 내지 V9)에 대해서 2개의 양안 영상을 제공할 수 있어야 하므로, 결과적으로 단위 시간당 총 18개의 영상이 필요하게 된다.
여기에 도 2에서 설명한 안경 방식들을 적용한다면, 좌안과 우안을 통해 최대 서로 다른 2가지의 영상을 표시할 수 있을 뿐이므로, 해당 안경 방식들은 다수의 시청자들을 위한 다시점 입체영상을 표시하기에는 적합하지 못하다.
무안경 방식의 경우에도, 단위 시간당 표시되는 영상들의 수가 늘어남에 따라 지나친 고 비용, 고 사양을 요구하게 된다. 도 4를 통해 무안경 방식의 한계를 설명하면 다음과 같다.
도 4는 본 발명의 효과를 설명하기 위하여, 다시점 영상을 표시하는 무안경 방식의 기술들을 예시한 도면이다. 설명의 편의상, 전체 시점들의 총 수는 3개로 가정한다.
도 4의 (a)와 (b)는 공간 분할을 이용해 무안경 다시점 영상을 구현하는 렌티큘러 방식과 시차 장벽 방식을 각각 도시한 것이다. 렌티큘러 방식은 렌즈(41)의 굴절을 이용하여 각 시점에 해당하는 영상들을 표시하며, 시차 장벽 방식은 배리어(43) 상에 빛을 차단하는 복수 개의 세로 슬릿을 배열하여 다시점 영상을 표시한다.
이러한 무안경 공간 분할 방식들은 표시해야 하는 시점 영상의 수가 증가함에 따라, 이에 비례하여 수평 또는 수직 요구 해상도가 증가하는 물리적인 한계를 가지고 있다.
예를 들어, 도 3과 같은 9개의 시점과 이에 해당하는 양안 영상을 제공해야 하는 다시점 영상 표시 장치에서 1920 × 1080 ＠ 60㎐의 HD(High Definition) 화질 영상을 표시하기 위해서는 아래 수학식 1의 사양을 만족해야 한다.
Figure 112011085759190-pat00001
여기서, V는 시점의 수이고, S는 양안의 수로 일반적으로 2이다.
도 4의 (c)는 시분할을 이용해 무안경 다시점 영상을 구현하는 방식을 도시한 것이다. 이러한 방식은 각 화소에 고속의 방향성 셔터(45)를 부착하여 셔터의 개폐를 통해 공간적으로 다시점을 형성한다.
다시점 영상을 구현하기 위한 (c)의 시분할 무안경 방식은 공간 분할 방식이 갖는 단위 해상도의 증가 문제를 해결할 수 있는 반면에, 시간적 요구 해상도가 증가한다는 문제를 지니고 있다.
예컨대, (c)와 같은 시분할 무안경 방식의 경우, 9개의 시점과 이에 해당하는 양안 영상을 제공해야 하는 다시점 영상 표시 장치에서 1920 × 1080 ＠ 60㎐의 HD 화질 영상을 표시하기 위해서는, 아래 수학식 2의 사양을 만족해야 한다.
Figure 112011085759190-pat00002
여기서, V는 시점의 수이고, S는 양안의 수로 일반적으로 2이다.
수학식 1과 수학식 2에 표기된 사양은 상용화되기 어려운 매우 높은 사양에 속한다.
또한, (a)의 렌티큘러 방식은 다시점용 렌티큘러 판 제작의 어려움과 가격이 걸림돌이 되고, (b)의 시차 장벽 방식은 단위 시점당 밝기 저하의 문제가 있다. (c)와 같은 시분할 무안경 방식은 이러한 문제점들을 모두 가지고 있어 상용화를 위해서는 많은 시간과 고난이도의 작업이 요구된다.
따라서, 본 발명에서는, 시분할과 공간 분할, 시야각에 따른 각 시점 영상의 위치, 안경 방식과 무안경 방식을 이해하고, 각각의 방식이 갖는 한계를 벗어나기 위하여, 시청자 위치 확인을 통해 영상 스트림의 전체 시점 영상들 중에서 시청자가 존재하지 않는 불필요한 시점의 영상들을 제거하고, 시청자 위치 확인 과정에서 획득된 정보들을 바탕으로 새로운 다시점 입체영상 스트림을 생성한다.
이하에서는, 첨부한 도 5 내지 도 10을 참조하여 본 발명의 바람직한 실시예에 따른 다시점 입체영상 표시 장치 및 그 방법에 대해서 상세하게 설명한다.
도 5는 본 발명의 일 실시예에 따른 다시점 입체영상 표시 장치의 구성도이다.
본 발명의 일 실시예에 따른 다시점 입체영상 표시 장치(100)는 위치 확인부(110), 동기화 순서 결정부(120), 영상 스트림 생성부(130) 및 동기화 수행부(140)를 포함한다.
도 5에서, 다시점 입체영상 표시 장치(100)가 지원 가능한 시청자들의 수는 편의상 N명으로 가정하였으며, 실제 N명 이하의 시청자들이 안경 장치(200)를 착용한 상태로 다시점 입체영상을 시청하게 된다.
위치 확인부(110)는 카메라(111) 및 근거리 무선 통신부(112)와 연동하여 동작하며, 시청자들이 착용한 안경 장치(200)들을 이용해 시청자들의 총 수 및 위치에 대한 정보를 획득하여 동기화 순서 결정부(120)로 제공한다.
전술한 위치 확인부(110)는 카메라(111)에서 촬영한 영상을 통해 시청자들의 총 수 및 위치를 확인함으로써, 전체 시점(View)들 중에서 시청자가 존재하는 유효 시점들을 식별할 수 있다. 또한, 위치 확인부(110)는 근거리 무선 통신부(112)를 통해 안경 장치(200)들의 고유 식별정보(예컨대, 아이디 값)를 수신하여 각 안경 장치(200_1, 200_2, …, 200_N)의 접속 여부 및 접속 순서를 인식하여 동기화 순서 결정부(120)로 제공할 수 있다.
동기화 순서 결정부(120)는 위치 확인부(110)를 통해 획득한 정보에 의거하여, 동기화 순서를 결정한다.
동기화 순서의 결정 방식을 예시하면 다음과 같다.
먼저, 동기화 순서 결정부(120)는 안경 장치(200)들의 접속이 인식된 시간적 순서에 의거하여 동기화 순서를 결정하고, 시간적 순서가 같은 경우에는 안경 장치(200)들의 고유 식별정보를 비교하는 방식으로 동기화 순서를 결정한다.
또한, 기 인식된 안경 장치(200)들 간의 위치가 변화하는 경우 안경 장치(200)들의 고유 식별정보들을 기준으로 동기화 순서를 유지하고, 기 인식된 안경 장치(200)가 제외되거나 새로운 안경 장치(200)가 인식되는 경우, 동기화 순서를 새로 결정하게 된다.
영상 스트림 생성부(130)는 전체 시점 영상들을 포함하는 원본 영상 스트림으로부터 시청자들의 총 수 및 위치에 상응하는 시점 영상들을 선택하며, 선택된 시점 영상들을 동기화 순서 결정부(120)에서 결정된 동기화 순서에 맞게 할당하여 다시점 영상 스트림을 생성한다. 그리고, 생성된 다시점 영상 스트림의 시점 영상들을 화면을 통해 표시한다.
전술한 영상 스트림 생성부(130)는 전체 시점 영상들을 모두 포함하는 원본 영상 스트림으로부터 시청자가 존재하지 않는 무효 시점 영상들을 제거하여 유효 시점 영상들만을 남기고, 남은 유효 시점 영상들을 동기화 순서에 맞게 할당하는 방식으로 실제 다시점 영상 스트림을 생성할 수 있다.
영상 스트림 생성부(130)는 다시점 영상 스트림의 좌안용 영상들을 동기화 순서에 맞추어 순차적으로 표시한 후, 이어서 해당 다시점 영상 스트림의 우안용 영상들을 동기화 순서에 맞추어 순차적으로 표시하게 된다.
동기화 수행부(140)는 영상 스트림 생성부(130)에서 생성된 다시점 영상 스트림의 영상 표시 순서에 동기화하여 시청자들이 착용하고 있는 안경 장치(200)들의 좌안과 우안을 시분할로 개폐함으로써, 다수의 시청자들을 위한 다시점 입체영상을 구현한다.
도 6은 본 발명의 일 실시예에서 시청자 위치를 확인하는 과정을 예시한 도면이다.
도 6의 실시예는 시분할 안경 방식을 기반으로 하며, 이에 따라 시청자는 다시점 입체영상을 정상적으로 시청하기 위하여 안경 장치(210, 250, 260, 이하 구분이 불필요한 경우 도면부호 200으로 통칭함)를 착용하게 된다. 또한, 머리 추적이나 동공 추적을 통해 시청자의 위치를 추적하는 방식의 경우, 높은 계산 복잡도를 요구하면서도 불안정한 정확도를 보이므로, 이를 대신하여 안경 장치(200)의 특징점에 기반하여 시청자의 위치를 확인한다.
시청자가 착용한 안경 장치(200)의 특징점을 판별하기 위해 적외선 LED(Light Emitting Diode) 등의 발광부(LI)를 안경 장치(200)에 부착하여 활용하거나, 안경의 모양(SH) 그 자체를 특징점으로 사용할 수 있다. 다만, 이러한 특징점들은 예시일 뿐, 안경 장치(200)를 인식하기 위한 특징점의 종류를 한정하는 것은 아니다.
이러한 경우, 다시점 입체영상 표시 장치(100)는 전면에 부착된 카메라(111)를 통해 안경 장치(200)의 특징점을 판별하는 방식으로 시청자들의 위치를 확인할 수 있다.
예컨대, 카메라(111)가 주기적으로 사진을 찍어 제공하면, 다시점 입체영상 표시 장치(100)는 제공된 사진에서 안경 장치(200)의 특징점을 판별하여 해당 안경 장치(200)가 사진의 전체 영역 중 어느 시점 영역에 속해있는지 여부를 확인할 수 있다. 이에 따라, 전체 시점들 중 시청자가 존재하는 유효 시점들을 판별할 수 있다.
이와 같이, 다시점 입체영상 표시 장치(100)는 안경 장치(200)를 이용한 시청자 위치 확인을 통해 전체 시점들 중 각 시청자가 위치한 시점(V1, V5, V6)과, 이에 해당하는 시점 영상을 판별할 수 있으며, 시청 중인 시청자들의 총 수와 동기화 순서를 결정할 수 있다.
다시점 입체영상 표시 장치(100)는 우선적으로 안경 장치(200)들의 접속 순서에 의해 동기화 순서를 결정할 수 있으며, 접속 순서가 같을 경우에는 안경 장치들(200)의 고유 식별정보(아이디 값, ID)를 비교하여 동기화 순서를 결정할 수 있다. 이때, 안경 장치(200)의 접속 여부는 전원이 들어온 안경 장치(200)가 시청자 위치 확인을 통해서 인식되었는지의 여부를 통해 결정된다.
도 6의 실시예에서, 시청자(Viewer)들의 총 수는 3명이고, 제1, 제5, 제6 안경 장치(210, 250, 260)를 착용한 각 시청자가 V1, V5, V6 시점의 위치에 존재한다.
여기서, V1 위치의 시청자와 V6 위치의 시청자는 동일한 접속 순서(Order)를 가지고 있지만, V1 위치의 시청자가 착용한 제1 안경 장치(210)의 아이디 값(0x00A1)이 V6 위치의 시청자가 착용한 제6 안경 장치(260)의 아이디 값(0x00A6)에 비해 낮은 값을 가진다. 따라서, 최종적인 동기화 순서(Order)는 V1-V6-V5 순으로 결정된다.
이러한 경우, 다시점 입체영상 표시 장치(100)가 실제의 다시점 영상 스트림을 생성하는 방식은 도 7과 같다.
도 7은 본 발명의 일 실시예에서 원본 영상 스트림으로부터 실제의 다시점 영상 스트림을 생성하는 과정을 예시한 도면이다.
도 7의 (a)는 단위 시간당 전체 시점 영상들을 모두 포함하는 원본 영상 스트림이다. 도 7의 (b)는 실제 표시될 다시점 영상 스트림으로서, (a)의 원본 영상 스트림으로부터 시청자가 위치한 유효 시점들(V1, V5, V6)의 시점 영상들만을 선택하여 생성한 영상 스트림이다. 도 7에서, V는 시점(View)의 변화를, T는 시간(Time)의 변화를 의미한다.
다시점 입체영상 표시 장치(100)는 시청자 위치 확인을 통해 결정된 동기화 순서(V1-V6-V5)를 기반으로 단위 시간당 '영상의 총 시점 수 × 2'에 해당하는 수만큼의 영상들을 가지고 있는 (a)의 원본 영상 스트림으로부터 시청자가 존재하지 않는 시점의 영상들을 제거하여 (b)의 새로운 다시점 영상 스트림을 생성한다.
여기서, 다시점 입체영상 표시 장치(100)는 새로이 생성된 다시점 영상 스트림을 표시함에 있어, 우선 해당 영상 스트림의 좌안용 영상들을 동기화 순서에 맞추어 순차적으로 표시(예컨대, V1L1-V6L1-V5L1)한 후, 이어서 우안용 영상들을 동기화 순서에 맞추어 순차적으로 표시(예컨대, V1R1-V6R1-V5R1)한다.
도 8은 본 발명의 일 실시예에 따른 하나의 다시점 입체영상 표시 장치와 다수의 안경 장치들 사이의 동기화를 예시한 도면이다.
다시점 입체영상 표시 장치(100)는 도 7에서 새로이 생성된 다시점 영상 스트림의 영상 표시 순서에 맞추어 시청자들이 착용한 안경 장치(200)들 각각의 좌안과 우안에 부착된 셔터를 시분할로 개폐한다.
예컨대, 다시점 입체영상 표시 장치(100)의 영상 스트림 생성부(130)가 V1-V6-V5 시점의 좌안 영상들 V1L1-V6L1-V5L1을 차례로 표시하는 동안, 동기화 수행부(140)는 이러한 영상 표시 순서에 동기화하여 제1 안경 장치(210), 제6 안경 장치(260), 제5 안경 장치(250)의 좌안 셔터들을 순차적으로 개방하게 된다.
V1 시점의 경우, 동기화 수행부(140)의 제어에 따라 제1 안경 장치(210)의 좌안 셔터와 우안 셔터가 시분할로 개폐되면서, 시청자의 좌안과 우안에 V1의 시점 영상들이 V1L1-V1R1-V1L2-V1R2 등의 순서로 맺히게 된다.
마찬가지로, V6 시점의 경우, 제6 안경 장치(260)의 좌안 셔터와 우안 셔터가 시분할로 개폐되면서, 시청자의 좌안과 우안에 V6의 시점 영상들이 V6L1-V6R1-V6L2-V6R2 등의 순서로 맺히게 된다.
도 9는 본 발명의 일 실시예에서 사용되는 안경 장치의 구조를 보인 도면이다.
일 실시예에 따른 안경 장치(200)는 기본적으로 전원 공급을 위한 내장 축전지(202)와 시분할 셔터(204)를 장착한 셔터 안경(SG: Shutter Glass)이며, 그외 무선 통신부(203)를 포함한다.
안경 장치(200)의 무선 통신부(203)는 다시점 입체영상 표시 장치(100)와의 동기화 수행에 이용되며, 고유 식별정보(예컨대, 아이디 값)를 저장하여 다시점 입체영상 표시 장치(100)에 전달함으로써 동기화 순서를 유지한다.
또한, 안경 장치(200)는 안경 방식 기반의 시청자 위치 확인을 보조하기 위하여, 추가적으로 적외선 LED 등의 발광부(LI) 또는 안경 장치(200)의 특징점을 전달하기 위한 기타 수단을 포함할 수 있다.
도 10은 본 발명의 일 실시예에 따른 다시점 입체영상 표시 방법의 흐름도이다.
먼저, 다시점 입체영상 표시 장치(100)는 시청자들이 착용한 안경 장치(200)들을 이용해 시청자들의 총 수 및 위치에 대한 정보를 획득한다(S110).
다음으로, 다시점 입체영상 표시 장치(100)는 S110에서 획득한 정보에 의거하여, 동기화 순서를 결정한다(S120).
다음으로, 다시점 입체영상 표시 장치(100)는 전체 시점 영상들을 포함하는 원본 영상 스트림으로부터 시청자들의 총 수 및 위치에 상응하는 시점 영상들을 선택한 후 S120에서 결정된 동기화 순서에 따라 할당하여 최적화된 다시점 영상 스트림을 생성하고, 생성된 다시점 영상 스트림의 시점 영상들을 화면에 순차적으로 표시한다(S130).
다음으로, 다시점 입체영상 표시 장치(100)는 S130에서 생성된 다시점 영상 스트림의 영상 표시 순서에 동기화하여 시청자들이 착용한 안경 장치(200)들의 좌안과 우안을 시분할로 개폐한다(S140).
S110 내지 S140의 과정은 영상 스트림의 시간 축을 기준으로 단위 시간마다 반복된다. 다시점 입체영상 표시 장치(100)는 모든 시청자들에 대하여 좌안 영상 하나, 우안 영상 하나를 표시하는 것을 하나의 주기로 하며, 하나의 주기가 끝난 후에는 다시 시청자 위치 확인(S110), 동기화 순서 결정(S120), 다시점 영상 스트림의 생성(S130), 안경 장치(200)들 간 동기화(S140)의 과정을 반복한다.
즉, 다시점 입체영상 표시 장치(100)는 실제의 다시점 영상 스트림을 표시함에 있어, 현재 표시되는 영상의 시점 값(V)이 실제 다시점 영상 스트림의 총 시점 수를 초과할 때까지 시점의 값(V)을 1씩 증가시켜 가면서 시청자들이 착용한 안경 장치(200)들과의 동기화를 수행한다(S150, S160).
표시 중인 영상의 시간 값(T)이 실제 다시점 영상 스트림의 총 시간을 초과하게 되면, 해당 영상 스트림의 표시 과정이 정상적으로 종료된다(S170, S180).
다시점 입체영상 표시 장치(100)는 새로운 시청자가 추가되거나 기존의 시청자가 사라지는 경우, 매 주기마다 시청자 위치 확인 및 동기화 순서 결정을 수행하므로, 안정적으로 동작할 수 있다. 시청자의 위치가 변화하는 경우에는, 시청자가 착용하고 있는 안경 장치(200)의 고유 식별정보를 기반으로 동기화 순서가 유지된다. 또한, 시청 중 시청자의 위치가 장애물 등에 의해 가려져 인식이 불가능한 경우, 시청자의 입장에서도 장애물에 의해 시청이 불가능하므로, 시청자가 존재하지 않는 것으로 처리된다.
일 실시예의 경우, 시청자 위치 확인을 통해 시청자가 존재하지 않는 영역의 시점 영상들을 제거하기 때문에, 시점 영상들의 증감에 따른 영상 표시 장치의 요구 해상도 변화는 발생하지 않는다. 반면, 서로 다른 시점을 가지는 시청자의 수가 증가하게 되면 시간적 해상도에 영향을 미치게 된다.
예컨대, 9개의 시점과 이에 해당하는 양안 영상을 제공하면서 1920 × 1080 @ 60㎐의 HD 화질 영상을 표시하기 위해서는, 아래 수학식 3의 사양을 만족하면 된다.
Figure 112011085759190-pat00003
여기서, P는 서로 다른 시점을 가지는 시청자의 수이다. S는 양안의 수로서, 일반적으로 2이다.
다시점 입체영상 표시 장치(100)가 480㎐의 스캔 속도를 지원하는 입체영상 텔레비전으로 구현된다고 가정하는 경우, 수학식 3에 따르면 일 실시예는 수학식 1, 2와 비교하여 현저히 개선된 시간적/공간적 해상도를 구현하며, 최대 4인의 시청자를 지원할 수 있다.
이와 같이, 본 발명의 바람직한 실시예에 따르면, 다수의 시청자들을 위한 다시점 입체영상 표시를 지원하면서도, 영상 시점의 증가에 따른 공간적 해상도의 저하를 막을 수 있다.
오직 시간적 해상도만이 시청자 수에 따라 변화하게 되나, 무안경 방식의 입체영상 표시 기술과 비교할 때, 공간적 해상도로 표현되는 화소 수와 시간적 해상도로 표현되는 화면 스캔 속도의 양 측면에서 모두 상당한 우위를 지니고 있음을 수학식 1, 2, 3을 통해 확인할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
따라서 이상에서 기술한 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
100: 다시점 입체영상 표시 장치
110: 위치 확인부
111: 카메라
112: 근거리 무선 통신부
120: 동기화 순서 결정부
130: 영상 스트림 생성부
140: 동기화 수행부
200: 안경 장치

Claims (7)

  1. 시청자들이 착용한 안경 장치들을 이용해 시청자들의 총 수 및 위치에 대한 정보를 획득하는 위치 확인부;
    상기 위치 확인부에서 획득된 정보에 의거하여, 동기화 순서를 결정하는 동기화 순서 결정부; 및
    전체 시점 영상들을 포함하는 원본 영상 스트림으로부터 시청자들의 총 수 및 위치에 상응하는 시점 영상들을 선택하고, 상기 선택된 시점 영상들을 상기 동기화 순서에 맞게 할당하여 다시점 영상 스트림을 생성하며, 상기 다시점 영상 스트림의 시점 영상들을 순차적으로 표시하는 영상 스트림 생성부를 포함하는 다시점 입체영상 표시 장치.
  2. 제1항에 있어서,
    상기 다시점 영상 스트림을 이루는 영상들의 표시 순서에 동기화하여 안경 장치들의 좌안과 우안을 시분할로 개폐하는 동기화 수행부를 더 포함하는 다시점 입체영상 표시 장치.
  3. 제1항에 있어서, 상기 위치 확인부는,
    카메라에서 촬영한 영상을 통해 시청자들의 위치를 확인하고, 근거리 무선 통신을 통해 안경 장치들의 고유 식별정보를 수신하여 각 안경 장치의 접속 여부 및 접속 순서를 인식하여 상기 동기화 순서 결정부로 제공하는 것을 특징으로 하는 다시점 입체영상 표시 장치.
  4. 제1항에 있어서, 상기 영상 스트림 생성부는,
    전체 시점 영상들을 포함하는 원본 영상 스트림으로부터 시청자가 존재하지 않는 무효 시점 영상들을 제거하여 유효 시점 영상들만을 남기고, 남은 유효 시점 영상들을 동기화 순서에 맞게 할당하여 다시점 영상 스트림을 생성하는 것을 특징으로 하는 다시점 입체영상 표시 장치.
  5. 제1항에 있어서, 상기 동기화 순서 결정부는,
    안경 장치들의 접속이 인식된 시간적 순서에 의거하여 동기화 순서를 결정하고, 시간적 순서가 같은 경우 안경 장치들의 고유 식별정보를 비교하여 동기화 순서를 결정하는 것을 특징으로 하는 다시점 입체영상 표시 장치.
  6. 표시 장치가 시청자들이 착용한 안경 장치들을 이용해 시청자들의 총 수 및 위치에 대한 정보를 획득하는 단계;
    상기 표시 장치가 상기 획득된 정보에 의거하여, 동기화 순서를 결정하는 단계; 및
    상기 표시 장치가 전체 시점 영상들을 포함하는 원본 영상 스트림으로부터 시청자들의 총 수 및 위치에 상응하는 시점 영상들을 선택하여 상기 동기화 순서에 맞게 할당한 다시점 영상 스트림을 생성한 후, 상기 다시점 영상 스트림의 시점 영상들을 순차적으로 표시하는 단계를 포함하는 다시점 입체영상 표시 방법.
  7. 제6항에 있어서,
    상기 표시 장치가 상기 다시점 영상 스트림을 이루는 영상들의 표시 순서에 동기화하여 상기 안경 장치들의 좌안과 우안을 시분할로 개폐하는 단계를 더 포함하는 다시점 입체영상 표시 방법.
KR1020110112654A 2011-11-01 2011-11-01 다시점 입체영상 표시 장치 및 그 방법 KR101274325B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110112654A KR101274325B1 (ko) 2011-11-01 2011-11-01 다시점 입체영상 표시 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110112654A KR101274325B1 (ko) 2011-11-01 2011-11-01 다시점 입체영상 표시 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130047856A KR20130047856A (ko) 2013-05-09
KR101274325B1 true KR101274325B1 (ko) 2013-06-13

Family

ID=48659117

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110112654A KR101274325B1 (ko) 2011-11-01 2011-11-01 다시점 입체영상 표시 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101274325B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110381264B (zh) * 2018-04-13 2022-12-02 北京京东尚科信息技术有限公司 用于生成时间信息的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164323A (ja) * 1997-11-27 1999-06-18 Toshiba Tec Corp 多視点画像視認方法及びその装置
KR20070050575A (ko) * 2005-11-11 2007-05-16 한국전자통신연구원 복수 개의 다시점 영상을 단일의 대영상으로 변환하는 장치및 그 방법
JP2011003992A (ja) * 2009-06-16 2011-01-06 Canon Inc ３ｄ映像表示装置及び３ｄ映像表示装置の制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11164323A (ja) * 1997-11-27 1999-06-18 Toshiba Tec Corp 多視点画像視認方法及びその装置
KR20070050575A (ko) * 2005-11-11 2007-05-16 한국전자통신연구원 복수 개의 다시점 영상을 단일의 대영상으로 변환하는 장치및 그 방법
JP2011003992A (ja) * 2009-06-16 2011-01-06 Canon Inc ３ｄ映像表示装置及び３ｄ映像表示装置の制御方法

Also Published As

Publication number Publication date
KR20130047856A (ko) 2013-05-09

Similar Documents

Publication Publication Date Title
US7092003B1 (en) 3-D imaging arrangements
US20100238274A1 (en) Method of displaying three-dimensional image data and an apparatus of processing three-dimensional image data
JP2016529764A (ja) 指向性バックライトの光源の制御
KR20110044573A (ko) 디스플레이장치 및 그 영상표시방법
TW201143369A (en) Glasses for viewing stereo images
KR102143473B1 (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
CN103167303B (zh) 视差设置方法及相应装置
KR101309705B1 (ko) 안경 및 이를 채용한 3ｄ 영상표시 시스템
JP4819114B2 (ja) 立体画像表示装置
KR20160143623A (ko) 무안경 3d 영상을 이용한 적층형 홀로그램 구현 시스템
CN102238396B (zh) 立体视觉的影像转换方法、成像方法及系统
US20120188226A1 (en) Method and system for displaying stereoscopic images
KR101957243B1 (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
KR20100112940A (ko) 데이터 처리방법 및 수신 시스템
CN102116937B (zh) 用于显示三维图像的装置和方法
CN103051909B (zh) 用于裸眼3d显示的蒙版变换人眼跟踪方法
KR101274325B1 (ko) 다시점 입체영상 표시 장치 및 그 방법
CN108702499A (zh) 二维影像的立体影像化显示装置
JP2012222549A (ja) 映像表示装置および映像表示方法
KR101086305B1 (ko) 3차원 영상 디스플레이 장치 및 방법
JP2011139339A (ja) 立体画像表示装置
Arai Three-dimensional television system based on spatial imaging method using integral photography
JP2013024910A (ja) 観察用光学機器
KR20120072178A (ko) 무안경 멀티뷰 또는 수퍼멀티뷰 영상 구현 시스템
KR20110136326A (ko) 삼차원 입체안경의 수평각 정보를 반영한 삼차원 스테레오스코픽 렌더링 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 6