KR20190067122A - 다중시점영상의 디스플레이 장치 및 방법 - Google Patents

Abstract

본 발명에 따른 다중시점영상의 디스플레이 장치 및 시점 네이게이션 시스템 은, 시청자 위치를 판별하고 상기 판별된 시청자 위치에 기초하여, 제1 해상도의 복수의 시점 영상들 중 적어도 하나의 시점 영상을 선택하고, 상기 선택된 적어도 하나의 시점 영상 외의 시점 영상은, 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 복수의 시점 영상들 중에서 선택하는 방법이 제시된다.

Description

다중시점영상의 디스플레이 장치 및 방법 {APPARATUS AND METHOD FOR DISPLAYING MULTI-VIEW IMAGES}

본 발명은 다중시점영상의 디스플레이 장치 및 방법에 관한 것으로서, 특히 시청자의 위치를 고려하여, 해상도가 조정된 시점 영상을 디스플레이하는 장치 및 방법에 관한 것이다.

다중 시점 디스플레이(Multi-view display)는 통상의 단일 시점 디스플레이와 다르게 여러 시점에서 촬영 혹은 생성한 영상을 공간적 혹은 시간적으로 배치하고, 동시에 재현하여 시점 영상 간의 시차(parallax)을 느끼게 하여 3차원 입체감, 공간감을 인지할 수 있도록 하는 디스플레이를 말한다.

또한 시점 네이게이션 단말(view navigation terminal)은 다중 시점 영상 중에서 HMD(head-mounted display)나 모바일 단말과 같은 단말에 의해 판별된 사용자의 위치나 사용자에 의해 선택된 위치에 해당되는 단일 시점 영상을 선택하여 재생하는 단말을 의미한다.

종래의 다중 시점 디스플레이는 대개 디스플레이 패널에 여러 시점의 영상들을 화소 혹은 부화소 단위로 재배치하고, 렌티큘러 렌즈나 패럴랙스 배리어와 같은 특수 광학부품을 통해 영상을 분리하여 사람의 양쪽 눈에 각각 다른 영상을 제시한다. 여기서 다중 시점 영상을 화소 혹은 부화소 단위로 재배치하는 방식은 재생 시점 수, 해상도, 렌티큘러 렌즈의 광학특성 등 디스플레이를 구성하는 장치의 규격에 따라 달라지게 된다.

도 1a 내지 도 1e는 종래 다중시점 영상을 재배치하는 과정을 설명하기 위한 도면이다.

도 1a는 너비가 w, 높이가 h인 입력 영상 N개를 도시하고 있다. 목표 디스플레이의 재생 시점 수와 해상도에 맞게 도 1b 내지 도 1e에 도시한 바와 같이 화소 혹은 부화소 단위로 각 시점 영상이 재배치(multiplexing or interweaving) 된다.

도 1b는 시점 수가 두 개인 양안식 디스플레이의 경우를 나타낸다. 2개의 시점이 요구되는 양안식 디스플레이(stereoscopic display)는 좌영상, 우영상을 도 1b에서와 같이 Side-by-Side 혹은 Top-and-Bottom 방식으로 입력되어 도 1c에서와 같이 라인 단위로 섞여서 재배치되어 디스플레이 패널 위에 부착된 편광 필름과 시청자의 편광안경에 의해 좌영상, 우영상이 양안에 각각 분리되어 제시된다.

도 1d 및 도 1e는 시점 수가 9개인 경우를 나타낸다. 도 1d는 9개의 시점 영상을 가로 3, 세로 3의 규격으로 배치한 것을 나타낸다. 입력된 시점 영상은 도 1e에서와 같이 다중 시점 디스플레이에 화소(pixel) 혹은 부화소(subpixel) 단위로 재배치된다. 재배치되는 방식은 디스플레이 패널 전면에 부착된 렌티큘러 렌즈(lenticular lens)나 패럴랙스 배리어(parallax barrier)의 구조에 따라 달라진다. 패널에 부착되는 렌티큘러 렌즈나 패럴랙스 배리어는 디스플레이의 재생시점 수, 목표 해상도 등의 여러 요인을 고려하여 설계된다.

도 2a는 디스플레이 패널 전면에 장착된 렌티큘러 렌즈(202)를 나타내는 도면이다. 디스플레이 패널 (201) 상의 화소들에 표시되는 시점 영상들(203)은 렌티큘러 렌즈(202)를 통과하면서 굴절되어 각 시점 영상이 분리되어 특정 방향으로 진행한다.

분리된 시점 영상은 시역 공간(viewing zone) (204)을 만들게 되고, 시청자의 좌우 눈(205)에 각각 4번 영상과 5번 영상이 제시되어 3차원 영상을 볼 수 있게 된다. 만약 시청자의 위치가 좌우로 움직이게 되면 해당 시역에 맞는 시점 영상이 눈에 제시되어 다른 시점 영상을 연속적으로 볼 수 있게 되며, 이를 통해 장면에 대한 운동 시차(motion parallax)가 인지될 수 있다.

이와 같이 시청자는 시역의 특정 위치에 제시되는 시점 영상을 보게 되지만, 움직임에 따른 다른 시점 영상을 즉시 볼 수 있어야 하기 때문에 다중 시점 디스플레이는 운동 시차를 제공하는 여러 시점 영상을 동시에 재현한다.

다중 시점 디스플레이에서 3차원 영상을 해상도 저하없이 재현하기 위해 요구되는 개별 시점 영상의 해상도는 최소 디스플레이의 해상도와 동일하여야 한다. 디스플레이와 동일한 해상도를 가지는 시점 영상 다수를 목표 디스플레이로 입력하여 실시간 재생속도가 나오려면, '디스플레이 해상도 x 시점 수 x 초당 프레임 수'만큼의 방대한 초당 전송 대역폭이 요구된다. 여기서 전송 대역폭은 일반 PC 시스템에서 주기억장치인 주메모리(main memory)와 비디오 주기억장치인 비디오 메모리 간에 연결된 PCI Express와 같은 인터페이스를 통하는 전송 대역폭이 될 수도 있으며, HDD 혹은 SDD와 같은 대용량 보조저장장치와 주기억장치 간의 전송 대역폭이 될 수도 있으며, 또한, 네트워크 서버로부터클라이언트 단말 상의 전송 대역폭일 수도 있다.

시점 수가 증가할수록 요구 전송 대역폭이 증대되기 때문에 디스플레이의 전송 대역폭의 한계로 인해 다수의 시점 영상을 실시간으로 전송하여 재현을 할 때 문제점이 야기될 수 있다. 이러한 문제로 인해 개별 시점 영상을 영상 압축 과정을 거쳐 압축하여 전송하는 것이 일반적인 방법이지만, 방대한 용량으로 인해 전송 대역폭 이내로 압축이 되지 않거나, 화질 손실 혹은 시스템 상의 이유로 압축을 하지 못하는 경우도 있을 수도 있다. 이런 경우에는 대개 개별 시점 영상의 크기를 줄여서 전송한 후, 화소 재배치 과정에서 영상 확대를 한 후 재배치를 하지만 이 경우는 영상 확대로 인해 화질 열화가 발생하는 문제점이 있다.

도 2b은 시점 네이게이션 단말(view navigation terminal)을 나타낸 도면이다.

시점 네비게이션 단말의 경우 사용자가 선택한 시점영상만을 고화질 압축하여 전송하면 대역폭 문제는 없으나, 네트워크 응답 시간에 의해 사용자가 움직였을 때 해당 시점영상이 지연이 발생하며 재생되는 문제가 발생한다. 이를 해결하기 위해 다중 시점영상 모두를 고화질로 압축하여 전송하면 네트워크의 대역폭 문제가 동일하게 발생한다.

도 3a 내지 도 3d는 종래 다중시점 영상을 업-스케일링한 후 재배치하는 과정을 설명하기 위한 도면이다.

도 3a는 목표 디스플레이에 입력되는 단일 영상에 9개의 시점 영상들이 격자구조로 배치된 경우를 나타낸다. 도 3a의 아래측 그림은 너비가 w이고 높이가 h인 각 시점 영상을 나타내고 있다. 각 시점 영상은 격자구조로 배치됨으로써 도 3a의 위측 그림에 도시된 격자 구조 영상의 너비 W는 3w이고 높이 H는 3h가 된다.

목표 디스플레이의 해상도보다 고해상도의 영상을 다수 입력한다고 하더라도 시청자가 볼 수 있는 3차원 인지해상도는 디스플레이가 재현 가능한 해상도로 제한이 되기 때문에 도 3a에서와 같이, 격자구조로 배치된 입력영상의 전체 해상도는 일반적으로 '원본영상 해상도 x 시점 수' 보다 낮다. 이는 시점 수가 늘어날수록 입력영상의 크기가 커지기 때문에 전송 대역폭이나 메모리 용량과 같은 외부적인 요인에 의해 목표 디스플레이가 재현 가능한 최대 해상도가 최소한의 기준이 되어 입력 영상 해상도가 정해진다. 도 3a는 목표 디스플레이의 해상도와 입력 영상의 해상도가 같은 경우를 보인다.

도 3a에 도시된 입력영상이 목표 디스플레이에 3차원 영상으로 재배치될 때, 각 시점 영상은 도 3b에 도시한 바와 같이, 목표 디스플레이 해상도로 확대(up-scaling)되는 과정을 거친 후에 재배치된다. 도 3a 및 도 3b를 보면, 각 입력영상은 가로, 세로 해상도가 각각 3배 확대되었다. 확대된 다중시점영상들은 도 3c에 도시한 바와 같이, 목표 디스플레이에 3차원 영상으로 재배치된다. 이로 인해 '원본영상 해상도 x 시점 수' 보다 해상도가 낮은 입력영상이 다중화 되는 경우는 영상 확대에 의한 화질열화가 발생할 수 있다.

도 3d는 LCD 패널(303) 상의 부화소의 위치(i,j)에 재배치되는 시점영상들을 나타낸다.

부화소 위치(i,j)에 재배치되는 시점 영상의 번호 n(i,j)는 아래의 수학식1을 통해 정해진다.

여기서,

은 LCD 패널(303) 위에 장착된 렌티큘러 렌즈(305)의 수평 이동값이며,

는 렌티큘러 렌즈가 기울어진 각도,

는 시점 영상의 개수,

는 하나의 렌티큘러 렌즈 안에 배치되는 부화소의 개수를 말한다. 위 수학식을 이용하여 목표 디스플레이의 부화소의 위치 (i,j)에 해당하는 가장 인접한 시점 영상이 정해진다.

각 시점 영상과 목표 디스플레이 간의 해상도의 차이가 적을수록 영상 확대를 위해 보간되는 화소들이 줄어들기 때문에 화질 열화가 적게 발생하게 되어 전체적으로 3차원 영상의 품질이 좋아진다. 따라서, 목표 디스플레이의 해상도와 같은 크기의 시점 영상을 사용하면 되지만, 이는 전송 대역폭이나 메모리 용량과 같은 외부적인 요인에 의해 제약이 생긴다.

본 발명은, 시청자의 위치를 고려하여 해상도가 조정된 시점 영상을 디스플레이하는 장치 및 방법을 제공함으로써 화질 열화를 감소시켜 다중시점영상의 재생 품질을 향상 시키고, 전송 대역폭이나 메모리 용량과 같은 외부적인 요인에 의한 제약을 감소시키는데 주된 목적이 있다.

본 발명의 일 실시예에 따른 다중시점영상의 디스플레이 장치는, 시청자 위치를 판별하는 시청자 위치 판별부, 및 상기 판별된 시청자 위치에 기초하여, 제1 해상도의 복수의 시점 영상들 중 적어도 하나의 시점 영상을 선택하고, 상기 선택된 적어도 하나의 시점 영상 외의 시점 영상은, 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 복수의 시점 영상들 중에서 선택하는 영상 선택부를 포함할 수 있다.

본 발명의 일 실시예에 따른 다중시점영상의 디스플레이 장치는, 상기 제1 해상도의 복수의 시점 영상들을, 상기 제2 해상도의 복수의 시점 영상들로 변환하는 해상도 변경부를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 다중시점영상의 디스플레이 장치는, 상기 제1 해상도의 복수의 시점 영상들 및 상기 제2 해상도의 복수의 시점 영상들을 저장하는 영상 저장부를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 다중시점영상의 디스플레이 장치는, 상기 영상 선택부로부터 출력되는, 상기 선택된 적어도 하나의 제1 해상도의 시점 영상 또는 상기 선택된 제2 해상도의 복수의 시점 영상들을 업-스케일링하여 해상도를 확대하는 업-스케일링부를 더 포함할 수 있다.

상기 업-스케일링부는, 상기 선택된 적어도 하나의 제1 해상도의 시점 영상에는 제1 스케일링 팩터를 적용하고, 상기 선택된 제2 해상도의 복수의 시점 영상들에는 제2 스케일링 팩터를 적용할 수 있다. 상기 제1 스케일링 팩터의 값과 상기 제2 스케일링 팩터의 값은 서로 다를 수 있다.

상기 시청자 위치 판별부는 시청자의 동공 위치를 판별할 수 있다.

본 발명의 일 실시예에 따른 다중시점영상을 디스플레이하는 방법은, 시청자의 위치를 판별하는 단계, 및 상기 판별된 시청자 위치에 기초하여, 제1 해상도의 복수의 시점 영상들 중 적어도 하나의 시점 영상을 선택하고, 상기 선택된 적어도 하나의 시점 영상 외의 시점 영상은, 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 복수의 시점 영상들 중에서 선택하는 영상 선택 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 다중시점영상을 디스플레이하는 방법은, 상기 선택된 적어도 하나의 제1 해상도의 시점 영상 또는 상기 선택된 제2 해상도의 복수의 시점 영상들을 업-스케일링하여 해상도를 확대하는 업-스케일링 단계를 더 포함할 수 있다.

상기 업-스케일링 단계는, 상기 선택된 적어도 하나의 제1 해상도의 시점 영상에는 제1 스케일링 팩터를 적용하고, 상기 선택된 제2 해상도의 복수의 시점 영상들에는 제2 스케일링 팩터를 적용하되, 상기 제1 스케일링 팩터의 값과 상기 제2 스케일링 팩터의 값은 서로 상이할 수 있다.

본 발명에 따른 다중시점영상의 디스플레이 장치 및 방법은, 다중시점영상의 디스플레이에 있어서, 시청자의 위치를 고려하여 입력 시점 영상의 해상도를 조정하여 전체 영상의 크기를 줄이면서도 다중시점영상의 인지 해상도를 높일 수 있으며, 따라서 화질 열화를 감소시켜 다중시점영상의 재생 품질을 향상 시키고, 전송 대역폭이나 메모리 용량과 같은 외부적인 요인에 의한 제약을 감소시킬 수 있다.

도 1a 내지 도 1e는 종래 다중시점 영상을 재배치하는 과정을 설명하기 위한 도면이다.
도 2a는 디스플레이 패널 전면에 장착된 렌티큘러 렌즈를 나타내는 도면이다.
도 2b은 시점 네이게이션 단말(view navigation terminal)을 나타낸 도면이다.
도 3a 내지 도 3d는 종래 다중시점 영상을 업-스케일링한 후 재배치하는 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 다중시점영상의 디스플레이 장치(400)를 나타내는 블록도이다.
도 5a는 목표 디스플레이의 물리적 요인에 의해 형성되는 시역 내에서 시청자의 위치에 따라 보이는 시점 영상을 나타낸다.
도 5b는 높은 해상도의 시점 영상과 상대적으로 낮은 해상도의 다른 시점 영상들을 나타내는 도면이다.
도 5c는 선택된 시점 영상을 영상 확대하고 다중화하는 과정을 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 시점네비게이션 시스템을 나타내는 블록도이다.
도 7은 사용자 움직임에 따른 사용자 움직임 정보에 대한 도면이다.
도 8은 본 발명의 일 실시예에 따른 시점네비게이션 시스템의 동작방법을 나타낸 흐름도이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 첨부한 도면들을 참조하여, 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 4는 본 발명의 일 실시예에 따른 다중시점영상의 디스플레이 장치(400)를 나타내는 블록도이다. 도 4를 참조하면, 다중시점영상의 디스플레이 장치(400)는 해상도 변경부(410), 영상 저장부(420), 시청자위치 판별부(430), 영상 선택부(440), 영상 확대부(450) 및 다중화부(460)를 포함할 수 있다.

해상도 변경부(410)는 원본 다중시점영상을 입력받아 해상도를 변경하여 해상도가 변경된 다중시점영상을 출력할 수 있다. 여기서, 해상도의 변경은 해상도의 확대 또는 축소를 포함할 수 있다. 만약, 외부의 소스로부터 원본 다중시점영상과 함께 해상도가 변경된 다중시점영상을 제공받는 경우, 해상도 변경부(410)에 의해 원본 다중시점영상의 해상도를 변경할 필요가 없다. 이 경우, 외부의 소스로부터 제공된 원본 다중시점영상 및 해상도가 변경된 다중시점영상은 해상도 변경부(410)를 바이패스한 후 영상 저장부(420)에 저장된다.

영상 저장부(420)는 원본 다중시점영상과 해상도가 변경된 다중시점영상을 저장한 후 영상 선택부(440)의 제어에 따라 원본 다중시점영상과 해상도가 변경된 다중시점영상을 선택적으로 출력한다.

시청자위치 판별부(430)는 다중시점영상의 디스플레이 장치(400)를 시청하고 있는 시청자의 위치를 판별한다. 시청자위치 판별부(430)는, 도 5a에 도시된 바와 같이, 시청자의 동공의 위치, 디스플레이 장치(400)와 시청자 동공 간의 거리 등을 측정할 수 있다. 시청자위치 판별부(430)는 기존의 다양한 기술들을 이용하여 구현될 수 있다.

영상 선택부(440)는 시청자위치 판별부(430)로부터 제공받은 시청자 위치 정보에 기초하여, 영상 저장부(420)에 저장된 다중시점영상들 중 다중화 후 디스플레이될 영상들을 선택하고, 선택된 영상들을 영상 확대부(450)로 제공한다.

영상 선택부(440)는 시청자 위치 정보를 고려하여, 시청자가 시청 중인 시점 영상은 높은 해상도의 영상을 선택하고, 시청자가 시청하고 있지 않은 다른 시점 영상들은 낮은 해상도의 영상을 선택한다. 선택된 영상들은 영상 확대부(450)로 입력된다.

즉, 영상 선택부(440)는 판별된 시청자 위치에 기초하여, 제1 해상도의 복수의 시점 영상들 중 적어도 하나의 시점 영상을 선택하고, 선택된 적어도 하나의 시점 영상 외의 시점 영상은, 제1 해상도보다 낮은 해상도인 제2 해상도의 복수의 시점 영상들 중에서 선택할 수 있다.

영상 확대부(450)는 영상 선택부(440)로부터 입력된 다중시점영상들을 사용자 위치에 따라 적응적으로 영상을 확대한다. 확대된 영상들은 다중화부(460)에 의해 다중화된 후 디스플레이된다.

다중화부(460)는 디스플레이를 위하여 확대된 복수의 다중시점영상들을 다중화한다.

한편, 도 4의 실시예에 따른 다중시점영상의 디스플레이 장치(400)는 해상도 변경부(410)와 영상 저장부(420)를 포함하고 있지만, 해상도 변경부(410)와 영상 저장부(420)는 디스플레이 장치(400)와는 별개의 장치, 예컨대 시청자 컴퓨터 또는 외장 메모리 등에 위치할 수도 있다. 영상 저장부(420)가 외장 메모리에 해당하는 경우, 해상도 변경부(410)에 의해 변경된 해상도와 원래 해상도를 각각 갖는 다중시점영상들이 외장 메모리에 저장될 수 있다.

이하, 도 5a 내지 도 5c를 참조하면서, 본 발명의 일 실시예에 따른 다중시점영상의 디스플레이 장치(400)의 동작을 보다 상세하게 설명한다.

도 5a는 목표 디스플레이(510)의 물리적 요인에 의해 형성되는 시역(viewing zone) 내에서 시청자의 위치(530)에 따라 보이는 시점 영상을 나타낸다. 도 5a는 시청자가 보고 있는 시점 영상이 4번, 5번 및 6번인 경우를 표시한다.

시청자 위치 판별부(430)는 시청자의 위치, 특히 시청자 동공의 위치를 파악하여 영상 선택부(440)로 시청자 위치 정보를 영상 선택부(440)로 제공하면, 영상 선택부(440)는 시청자가 보고 있는 시점 영상은 4번, 5번 및 6번 영상이라고 판정한다. 그 후 영상 선택부(440)는, 영상 저장부(420)로 저장된 영상들 중에서 4번, 5번 및 6번 시점 영상은 높은 해상도의 영상을 선택하고, 그 외 다른 시점 영상들은 낮은 해상도의 영상을 선택한다. 도 5b는 영상 선택부(440)에 의해 선택된, 높은 해상도의 4번, 5번 및 6번 시점 영상과, 상대적으로 낮은 해상도의 다른 시점 영상들을 나타낸다.

영상 선택부(440)에 의해 선택된 영상들은 도 5c에 도시된 바와 같이 영상 확대부(450)에 의해 확대된 후 다중화부(460)에 의해 다중화된다.

영상 확대부(450)는 영상의 확대 과정(Up-scaling)에서, 영상의 해상도에 따라 다른 스케일링 팩터(scaling factor)를 적용할 수 있다. 예컨대, 높은 해상도의 4번, 5번 및 6번 시점 영상에는 보다 적은 스케일링 팩터를 적용하여도 목표 디스플레이의 해상도에 도달하게 되어 화질 열화를 방지할 수 있다. 상대적으로 낮은 해상도의 다른 시점 영상들에는 보다 큰 스케일링 팩터를 적용하여 목표 디스플레이의 해상도에 도달할 수 있다.

다른 실시예로서, 시청자가 시청하는 4번, 5번 및 6번 시점 영상의 해상도가 목표 디스플레이의 해상도와 동일할 때는 영상을 확대할 필요가 없다. 그러나 상대적으로 낮은 해상도의 다른 시점 영상들에는 소정의 스케일링 팩터를 적용하여 목표 디스플레이의 해상도에 도달할 수 있다.

스케일링 팩터를 시점 영상 별로 적응적으로 적용함으로써 목표 디스플레이 해상도에 도달할 수 있고, 시청자가 시청 중인 시점 영상의 화질 열화를 감소시킬 수 있다.

한편, 도 4의 실시예에 따른 다중시점영상의 디스플레이 장치(400)는 해상도 확대부(450)와 다중화부(460)를 포함하고 있지만, 해상도 확대부(450)를 별도로 두지 않고, 다중화부(460)에 의한 복수의 다중시점 영상들이 다중화되는 과정에서 영상 확대 과정(Up-scaling)이 함께 수행될 수도 있다.

도 6은 본 발명의 일 실시예에 따른 시점네비게이션 시스템을 나타내는 블록도이다.

도 6을 참조하면, 시점네비게이션 시스템은 시점 네비게이션 서버장치(610)와 시점 네비게이션 단말장치(620)로 구성될 수 있다. 시점 네비게이션 서버장치(610)와 시점 네비게이션 단말장치(620)는 네트워크로 연결되어 정보를 송수신할 수 있으며, 시점 네비게이션 서버장치(610)는 원본 다중시점영상을 입력 받고 압축 및 영상처리한 뒤, 시점 네비게이션 단말장치(620)로 송신할 수 있다.

시점네비게이션 시스템은 고화질 시점영상 압축부(630), 저화질 시점영상 압축부(640), 압축스트림 선택 다중화부(650), 시청자위치 판별부(660), 압축스트림 분리 및 디코딩부(670) 및 단일시점영상 선택부(680)를 포함할 수 있다.

이 때 발명의 일 실시예로 시점 네비게션 서버장치(610)는 고화질 시점영상 압축부(630), 저화질 시점영상 압축부(640) 및 압축스트림 선택 다중화부(650)를 포함할 수 있으며, 시점 네비게이션 단말장치(620)는 시청자위치 판별부(660), 압축스트림 분리 및 디코딩부(670) 및 단일시점영상 선택부(680)를 포함할 수 있으나, 본 발명의 일 실시예에 한정할 것은 아니다.

고화질 시점영상 압축부(630) 및 저화질 시점영상 압축부(640)는 입력받은 원본 다중시점영상을 압축한다. 이때 고화질 시점영상 압축부(630)는 입력 받은 원본 다중시점영상을 고화질로 압축하고, 저화질 시점영상 압축부(640)는 입력 받은 원본 다중 시점 영상을 저화질로 압축한다.

보다 상세하게는 고화질 시점영상 압축부(630)는 비디오 압축(encoding) 기술을 이용하여 입력 받은 다중시점영상을 고화질로 압축하여 스트림을 생성할 수 있다.

또한 저화질 시점영상 압축부(640)는 입력 받은 다중시점영상을 저화질로 압축한다. 저화질 시점영상 압축부(640)가 저화질로 영상을 압축하는 경우 시점영상의 해상도를 줄이고 고화질 시점영상 압축부(630)와 동일한 압축률로 압축하여 구현할 수 있고, 또는 동일한 해상도의 시점영상을 상대적으로 높은 압축률로 압축하여 구현할 수도 있다. 고화질 시점영상 압축부(630) 및 저화질 시점영상 압축부(640)에서 압축된 영상은 압축스트림 선택 다중화부(650)에 입력된다.

압축스트림 선택 다중화부(650)는 고화질 시점영상 압축부(630) 및 저화질 시점영상 압축부(640)에서 압축된 영상을 입력받고, 시청자위치 판별부(660)에 의해 결정된 사용자 위치를 기반으로 압축된 스트림을 선택하고 다중화를 수행한다.

보다 상세하게는 압축스트림 선택 다중화부(650)는 네트워크를 통해 시청자위치 판별부(660)에 의해 결정된 사용자의 위치 정보를 입력 받고, 사용자의 위치 정보에 기초하여 사용자 위치 주변에 해당하는 시점영상은 고화질 시점영상 압축부(630)에서 고화질로 압축된 스트림을 선택하고, 그외의 위치에 해당하는 시점영상은 저화질 시점영상 압축부(640)에서 저화질로 압축된 스트림을 선택하여 다중화(Multiplexing)하여 압축스트림 분리 및 디코딩부(670)로 전송한다.

이 때 사용자 위치 주변이란, 시청자위치 판별부(660)로부터 입력받은 사용자의 위치를 기준으로 결정된 영역이며, 사용자의 위치에 기초하여 기 설정된 값이 적용되어 결정되는 영역을 의미한다. 기 설정된 값은 본 발명의 장치 및 방법을 사용하는 사용자에 의해 변경될 수 있는 값이며, 본 발명의 목적을 달성하기 위해 결정될 수 있는 값에 해당된다.

압축스트림 분리 및 디코딩부(650)에서는 압축스트림 선택 다중화부(650) 및 시청자위치 판별부(660)로부터 정보를 입력 받아, 압축스트림을 분리하고 디코딩을 수행한다. 보다 상세하게는 압축스트림 분리 및 디코딩부(670)는 압축스트림 선택 다중화부(650)에서 압축된 스트림을 수신하고, 시청자위치 판별부(660)로부터 사용자의 위치를 입력 받는다. 그 후 수신한 입축된 스트림에서 사용자 위치 주변에 해당하는 시점영상의 압축스트림만 분리하고 디코딩한다.

이 때 사용자 위치 주변에 대해 보다 많은 시점영상을 미리 디코딩해 두면 디스플레이를 통해 재생하는데 필요한 지연시간이 줄어들 수 있을 것이다. 다만 해당 처리를 수행하기 위해 필요한 디코더의 개수 및 메모리 용량이 증가할 것이다.

단일 시점영상 선택부(680)에서는 압축스트림 분리 및 디코딩부(670)에서 디코딩된 영상 및 시청자 위치 판별부(660)에서의 사용자의 위치를 입력받아 최종적으로 단일 시점 영상이 선택될 수 있다. 이 때 최종적으로 사용자의 위치 정보를 정확히 입력받아 해당하는 시점영상만이 선택되어 디스플레이됨으로써 시점 네비게이션이 가능하게 한다.

한편 사용자위치 판별부(660)에서의 위치 정보는 사용자의 위치를 자동으로 추적한 정보일 수 있고, 마우스, 터치 스크린 등에 의해 사용자가 선택한 위치 정보일 수 있다.

또한 본 발명의 일 실시예에 따라 사용자 위치 판별부(660)에서의 위치 정보는 사용자의 움직임 정보를 반영하여 얻은 정보에 해당될 수 있다. 도 7은 사용자 움직임에 따른 사용자 움직임 정보에 대한 도면이다. 사용자 움직임 정보는 도 7과 같이 움직임 자유도를 포함할 수 있다. 이 때 위치 정보에는 움직임 자유도에 따른 사용자 움직임 정보뿐만 아니라 사용자가 바라보는 시선의 위치 정보도 포함될 수 있다.

도 7과 같이 사용자 움직임 정보는 사용자를 중심으로 한 회전 정보와 사용자 이동 정보로 구성될 수 있다. 이 때 회전 정보는 사용자의 중심을 기준으로 하여 사용자가 3방향으로 회전 이동한 정보가 해당될 수 있다. 회전 정보에는 사용자의 중심을 기준으로 하여 사용자가 상하 회전한 경우의 정보, 좌우 회전한 경우의 정보, 전후 회전한 경우의 정보가 포함될 수 있다. 이때 사용자 이동 정보는 사용자의 중심을 기준으로 사용자의 중심축이 이동하는 정보가 해당될 수 있다. 사용자 이동 정보에는 사용자의 중심을 기준으로 사용자의 중심축이 상하 이동하는 경우의 정보, 좌우 이동하는 경우의 정보, 전후 이동 하는 경우의 정보가 포함될 수 있다.

압축스트림 선택 다중화부(650)는 사용자 위치정보 변경에 따라 해당하는 시점영상이 항상 고화질 압축스트림이 되도록 출력되는 영상을 업데이트할 수 있다. 그러나 실제 사용자의 위치 정보 변경이 네트워크 응답속도 보다 빠를 경우에는 압축스트림 분리 및 디코딩부(670) 또는 단일 시점영상 선택부(680)에 의해 전송된 스트림중에서 변경된 위치정보에 해당하는 저화질의 시점영상이 먼저 디스플레이되도록 하여 지연시간을 줄일 수 있다. 이후 네트워크 응답속도보다 긴 시간이 경과하면 압축스트림 선택 다중화부(650)가 변경된 위치정보에 따른 고화질의 시점영상을 업데이트하여 디스플레이에 출력할 수 있다.

도 8은 본 발명의 일 실시예에 따른 시점네비게이션 시스템의 동작방법을 나타낸 흐름도이다.

시점네비게이션 시스템은 먼저 원본 다중 시점 영상을 입력 받는다.(S810) 그리고, 입력받은 원본 다중 시점 영상을 고화질 및 저화질 시점으로 각각 압축한다.(S820) 그 후 입력받은 사용자 위치에 기초하여 압축 스트림을 선택 및 다중화한다. (S830) 그리고 시점네비게이션 시스템은 사용자 위치에 기초하여 압축 스트림을 분리하고 디코딩한다.(S840) 그 후 시점네비게이션 시스템은 사용자 위치에 기초하여 단일 시점 영상을 선택(S850)하고, 단일 시점 영상 출력(S760)한다.

이 때 시점네비게이션 서버장치(610)는 판별된 시청자 위치에 기초하여, 제1 화질로 압축된 복수의 시점 영상들 중 적어도 하나의 압축된 시점 영상을 선택하고, 선택된 적어도 하나의 압축된 시점 영상 외의 시점 영상은, 제1 화질보다 낮은 화질인 제2 화질로 압축된 복수의 시점 영상들 중에서 선택하는 기능을 수행할 수 있다.

또한 시점네비게이션 단말 장치(620)는 판별된 시청자 위치에 기초하여, 제1 화질과 제2 화질로 압축된 복수의 시점 영상들 중에서 적어도 하나의 압축된 스트림을 분리하고 디코딩하는 기능을 수행할 수 있다.

보다 상세한 시점네비게이션 시스템의 구성 및 동작 수행 방법은 도 6에 설명되어 있다.

상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (1)

1. 다중시점영상의 디스플레이 장치에 있어서,
   시청자 위치를 판별하는 시청자 위치 판별부; 및
   상기 판별된 시청자 위치에 기초하여, 제1 해상도의 복수의 시점 영상들 중 적어도 하나의 시점 영상을 선택하고, 상기 선택된 적어도 하나의 시점 영상 외의 시점 영상은, 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 복수의 시점 영상들 중에서 선택하는 영상 선택부를 포함하는 것을 특징으로 하는 다중시점영상의 디스플레이 장치.

Images