KR20220031214A - 나안식 입체 디스플레이의 시역 확장 방법 및 이를 위한 입체 디스플레이 장치 - Google Patents

Abstract

나안식 입체 디스플레이의 시역 확장 방법 및 이를 위한 입체 디스플레이 장치가 개시된다.
상기 나안식 입체 디스플레이의 시역 확장 방법은, 다시점 영상의 다중화 주기로 규정된 n개에 대한 m배의 개수의 시점 번호를 가짐과 아울러서, n 개의 시점 번호 단위로 m 개의 다중화 그룹을 갖는 다중화 테이블을 생성하는 단계와, n*m 개의 시점 영상과 상기 다중화 테이블에 기초하여 상기 다중화 그룹으로 구분되도록 다중화 영상을 생성하는 단계와, 동공의 위치에 따른 재현 시작 시점 번호를 추출하여 상기 재현 시작 시점 번호가 속한 상기 다중화 그룹을 확인하는 단계, 및 상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현하고, 상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 미만의 상기 다중화 영상은 상기 확인된 다중화 그룹에 인접한 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현하는 단계를 포함한다.

Description

나안식 입체 디스플레이의 시역 확장 방법 및 이를 위한 입체 디스플레이 장치{METHOD OF EXTENDING VIEWING ZONE OF 3D AUTOSTEREOSCOPIC DISPLAY AND DISPLAY DEVICE THEREFOR}

본 개시는 나안식 입체 디스플레이의 시역 확장 방법 및 이를 위한 입체 디스플레이 장치에 대한 것이며, 보다 구체적으로는 동공 추적(pupil tracking) 모듈과 연동하여 시청 영역을 확장하는 나안식 입체 디스플레이의 시역 확장 방법 및 이를 위한 입체 디스플레이 장치에 대한 것이다.

다시점 디스플레이(multi-view display)는 통상의 단일 시점 디스플레이와 달리, 여러 시점에서 촬영 혹은 생성한 영상을 공간적 혹은 시간적으로 배치하고, 동시에 재현하여 시점 영상 간의 시차(parallax)을 느끼게 하여 3차원 입체감, 공간감을 인지할 수 있도록 하는 디스플레이를 말한다.

종래의 평판 디스플레이 기반의 나안식 입체 디스플레이는 안경없이도 시청자에게 입체영상을 제공하기 위해, 평판 패널 상의 각 픽셀에서 재현되는 빛을 시점별로 특정 방향으로 굴절시킴으로써, 특정 시청 영역에 각각의 시점 영상을 형성하여 시청자가 움직이더라도 좌우 눈에 좌우 영상이 보여지게 한다.

구체적으로, 나안식 입체 디스플레이 장치는 디스플레이 패널과 렌즈(렌티큘러렌즈 어레이, 마이크로렌즈 어레이 등)로 구성되며, 다수의 시점 영상을 다중화하여 디스플레이에 재현함으로써 일정한 영역에 입체영상을 재현한다.

입체영상이 재현되는 영역을 시청 영역(시역; viewing zone)이라고 하며, 시청 영역에는 일정한 간격의 시점 영상이 순차적으로 투사된다. 광학적인 관점에서 렌티큘러 렌즈 어레이는 수평 시차만을 형성하며, 마이크로렌즈 어레이는 수평 및 수직 시차를 모두 형성한다.

나안식 입체 디스플레이 장치의 경우에, 수평 시역의 크기가 동공의 간격보다 좁으면 입체를 느낄 수 없고, 동공의 간격과 같으면 동공이 시역 경계를 넘어가지 않도록 고정된 자세로 시청해야 하므로 시청시 불편을 초래한다. 따라서, 수평 시역의 크기는 최소한 동공의 간격보다 넓어야 하며, 보다 넓을수록 시청 편의를 도모할 수 있으나 시점 해상도가 낮아지고, 시점 간격이 넓어지므로 적절한 크기를 설정해야 한다.

다시점(multi-view) 방식의 입체 디스플레이는 렌즈의 주기에 맞춰 소정 개수, 예컨대 n 개의 시점 영상을 순차적으로 다중화하여, 시청 거리에 위치된 시청 영역에 순차적으로 시점 영상을 투사한다. n 개의 시점 영상은 하나의 시역을 형성하며, 시역 또한 반복적으로 형성된다.

여러 시역 중에 광학적 왜곡이 가장 적은 중심 시역을 주 시역(main viewing zone)이라 칭하고, 그 외 시역을 부 시역이라고 칭할 수 있다. 각 시역의 크기는 렌즈 설계 구조(규격)와 시점 영상의 다중화 주기에 따라 제한되므로, 시청 편의를 도모하기 위해 시역을 확장할 필요가 있다.

본 개시의 기술적 과제는 광학 소자를 기반으로 하는 나안식 입체 디스플레이에서 시청 편의를 위해 동공 추적과 연동하여 시역을 확장하는 나안식 입체 디스플레이의 시역 확장 방법 및 이를 위한 입체 디스플레이 장치를 제공하는데 그 목적이 있다.

본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 개시의 일 양상에 따르면, 나안식 입체 디스플레이의 시역 확장 방법이 제공될 수 있다. 상기 나안식 입체 디스플레이의 시역 확장 방법은, 다시점 영상의 다중화 주기로 규정된 n개에 대한 m배의 개수의 시점 번호를 가짐과 아울러서, n 개의 시점 번호 단위로 m 개의 다중화 그룹을 갖는 다중화 테이블을 생성하는 단계와, n*m 개의 시점 영상과 상기 다중화 테이블에 기초하여 상기 다중화 그룹으로 구분되도록 다중화 영상을 생성하는 단계와, 동공의 위치에 따른 재현 시작 시점 번호를 추출하여 상기 재현 시작 시점 번호가 속한 상기 다중화 그룹을 확인하는 단계, 및 상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현하고, 상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 미만의 상기 다중화 영상은 상기 확인된 다중화 그룹에 인접한 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현하는 단계를 포함한다.

본 개시의 다른 실시예에 따르면, 상기 다중화 주기는 광학 소자의 주기, 디스플레이 패널의 구조, 시청 거리 및 시청 영역에 따라 설정될 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 동공의 중심 위치 이동에 따라 주 시역이 가변되며, 상기 주 시역은 주기적으로 반복되는 시청 구역마다 광학 소자의 광학적 왜곡이 최소로 되는 시역이며, 다중화 주기에 기초하여 정의된 개수로 상기 시점 영상을 갖도록 설정될 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 주 시역은 상기 동공 중심의 위치, 상기 다중화 주기 및 광학 소자의 규격에 기초하여 설정되는 시청 구역일 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 다중화 영상을 재현하는 단계는 상기 동공의 중심 위치가 소정 간격만큼 이동하여 상기 주 시역이 이동된 경우에 수행될 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 동공의 중심 위치가 최초의 시청 구역의 중심에 유지되면, 상기 재현되는 다중화 영상은 상기 다중화 그룹 중 가장 선행되는 다중화 그룹의 시점 번호와 연계되는 다중화 영상일 수 있다.

상기 다중화 테이블을 생성하는 단계는 상기 다중화 그룹에 속한 각 시점 번호와 다른 다중화 그룹에 속한 각 시점 번호가 순차적으로 대응되도록 생성될 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 다중화 테이블 및 상기 다중화 영상에서의 시점 번호는 상기 다중화 영상의 픽셀값을 가질 수 있다.

본 개시의 또 다른 실시예에 따르면, 상기 다중화 그룹을 확인하는 단계에서 상기 동공의 위치 이동에 따른 재현 시작 시점 번호가 상기 동공 이동 전에 제공된 다중화 영상과 연계된 상기 다중화 그룹의 시점 번호를 전부 초과하여, 상기 다중화 그룹에 인접한 후행 다중화 그룹의 시점 번호인 것으로 확인하면, 상기 다중화 영상을 재현하는 단계는 상기 후행 다중화 그룹에서 상기 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현하고, 상기 후행 다중화 그룹에서 상기 재현 시작 시점 번호 미만의 상기 다중화 영상은 상기 후행 다중화 그룹에 인접한 다음의 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현할 수 있다.

본 개시의 다른 양상에 따르면, 입체 디스플레이 장치가 제공될 수 있다. 상기 입체 디스플레이 장치는, 영상을 재생하는 디스플레이 패널, 상기 영상을 시점 별로 서로 상이한 방향으로 제공하여 시청 영역을 형성시키는 광학 소자;

양안 동공의 위치를 추적하는 동공 추적 모듈, 및 프로세서를 포함하되, 상기 프로세서는 다시점 영상의 다중화 주기로 규정된 n개에 대한 m배의 개수의 시점 번호를 가짐과 아울러서, n 개의 시점 번호 단위로 m 개의 다중화 그룹을 갖는 다중화 테이블을 생성하며, n*m 개의 시점 영상과 상기 다중화 테이블에 기초하여 상기 다중화 그룹으로 구분되도록 다중화 영상을 생성하고, 동공의 위치에 따른 재현 시작 시점 번호를 추출하여 상기 재현 시작 시점 번호가 속한 상기 다중화 그룹을 확인하고, 상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현하고, 상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 미만의 상기 다중화 영상은 상기 확인된 다중화 그룹에 인접한 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현한다.

본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.

본 개시에 따르면, 광학 소자를 기반으로 하는 나안식 입체 디스플레이에서 시청 편의를 위해 동공 추적과 연동하여 시역을 확장하는 나안식 입체 디스플레이의 시역 확장 방법 및 이를 위한 입체 디스플레이 장치를 제공할 수 있다.

본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 나안식 입체 디스플레이 장치를 나타내는 개략도이다.
도 2는 프로세서의 구성도이다.
도 3은 본 발명의 다른 실시예에 따른 나안식 입체 디스플레이의 시역 확장 방법에 관한 순서도이다.
도 4 및 도 5는 본 발명의 실시예에 따라 동공 위치가 이동되는 경우에 디스플레이 패널의 주 시역에 다중화 영상을 제공하는 과정을 예시한 도면이다.
도 6은 본 발명의 실시예에 따라 주 시역의 확장을 예시한 도면이다.

이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

본 개시의 실시 예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결 관계 뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 개시에 있어서, 제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들 간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시 예에서의 제 1 구성요소는 다른 실시 예에서 제 2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시 예에서의 제 2 구성요소를 다른 실시 예에서 제 1 구성요소라고 칭할 수도 있다.

본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시 예도 본 개시의 범위에 포함된다.

본 개시에 있어서, 다양한 실시 예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시 예에서 설명하는 구성요소들의 부분집합으로 구성되는 실시 예도 본 개시의 범위에 포함된다. 또한, 다양한 실시 예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시 예도 본 개시의 범위에 포함된다.

이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.

도 1을 참조하여, 본 발명의 일 실시예에 따른 나안식 입체 디스플레이 장치에 대하여 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 나안식 입체 디스플레이 장치를 나타내는 개략도이다.

나안식 입체 디스플레이 장치(100)는 디스플레이 패널(110), 광학 소자(120), 동공 추적 모듈(130) 및 프로세서(140)로 구성될 수 있다.

디스플레이 패널(110)은 다중화된 시점 영상(image of view point)의 픽셀 주소에 따른 픽셀값을 할당하여 시점 영상들을 재생할 수 있다,

광학 소자(120)는 영상을 시점 별로 서로 상이한 방향으로 제공하여 시청 영역을 형성시킨다. 광학 소자(120)는 예컨대 렌티큘러 렌즈 어레이로 구성될 수 있으며, 디스플레이 패널(110)에 수직 방향 또는 수직 방향에서 일정 각도 기울어져서 부착되어 있을 수 있다. 렌티큘러 렌즈 어레이는 동일한 초점 거리를 가지는 반원 형태의 렌즈가 일정한 주기로 배열되어 있으며, 디스플레이 패널(110)에 수직 방향으로 부착될 수 있다. 다른 예로, 렌티큘러 렌즈는 모아레 현상을 회피하기 위해 수직 방향에서 소정 각도로 이격되어 부착될 수도 있다. 다른 실시예에서, 광학 소자(120)는 2차원 렌즈에 의해 구현되는 마이크로렌즈 어레이로 구성될 수 있으며, 수평 시차와 수직 시차를 전부 재현할 수 있다. 마이크로렌즈 어레이는 예를 들어 사각형 또는 육각형 등의 셀 모양을 가질 수 있다.

동공 추적 모듈(130)은 양안 동공의 위치를 추적하고, 광학 소자(120)를 기반으로 하는 주 시역 상에서 동공의 위치를 파악하는 역할을 수행한다. 주 시역은 양안 동공의 중심 위치 이동에 따라 가변될 수 있으며, 주 시역은 주기적으로 반복되는 시청 구역마다 광학 소자(120)의 광학적 왜곡이 최소로 되는 시역일 수 있다. 주 시역 외의 시청 영역은 부 시역으로 지정될 수 있다. 주 시역은 양안 동공 중심의 위치, 다중화 주기 및 광학 소자(120)의 규격에 기초하여 설정될 수 있다. 또한, 주 시역은 다중화 주기에 기초하여 정의된 개수로 다중화된 시점 영상(또는 다중화 영상)을 갖도록 설정될 수 있다. 다중화 주기는 다중화하는 시점 영상들의 개수이며, 주 시역에서 정의되는 시점 영상의 개수는 다중화 주기의 개수와 동일할 수 있거나 이보다 많도록 설정될 수도 있다.

앞서 언급한 시역은 광학 소자(120)의 특성으로 인해 반복적으로 형성되는데, 양안 동공이 전부 동일한 시역 내에 위치해야 양안 시차에 의해 입체감을 느낄 수 있다, 양안 동공이 서로 다른 시역에 위치할 경우, 양안시차가 제대로 형성되지 않아 입체감을 느낄 수 없다.

입체 디스플레이 장치(100)의 주요한 성능은 시점 해상도, 시점 간격, 시역 크기로 평가할 수 있으나 모든 성능을 최대로 충족시키기는 어렵다. 시점 해상도는 높을수록, 시점 간격은 좁을수록, 시역 크기는 넓을수록 시청 만족도가 올라간다.

디스플레이 패널(110)의 해상도는 높을수록 모든 주요 성능을 향상시키지만, 입체 디스플레이 장치(100)의 설계 외적인 요소이므로 고정된 값으로 가정한다. 다중화 시점 수가 많아지면 시점 해상도는 낮아지며, 광학 소자(120)인 렌즈의 초점 거리가 길어지면 시점 간격은 좁아지고, 시역 크기 또한 좁아진다.

광학 소자(120)의 초점 거리가 결정되면, 이에 따른 광학적 시역 크기가 대략적으로 결정될 수 있으며, 다중화 시점의 수에 따라 시점 해상도와 시점 간격이 결정될 수 있다. 다중화 시점의 수를 증가하면, 시점 간격이 좁아져서 수렴-초점 불일치 저감으로 시각피로를 저감할 수 있지만, 시점 해상도가 저하된다. 따라서, 시각 피로 저감을 위한 최소 조건(일반적으로 동공당 2개 이상의 시점 투사)을 만족시킴과 동시에 목표로 하는 시점 해상도를 충족시킬 수 있도록 다중화 시점 수가 결정될 수 있다.

프로세서(140)는 상술한 기능의 부재를 제어함과 아울러서, 본 실시예에 따른 나안식 입체 디스플레이의 시청 영역(시역) 확장 방법을 구현한다.

도 2는 프로세스의 구성도이다. 도 2를 참조하면, 프로세서(140)는 다중화 테이블을 생성하고, 시점 영상과 다중화 테이블에 기초하여 다중화 영상을 생성하는 다중화부(142)를 포함할 수 있다.

구체적으로, 다중화부(142)는 다시점 영상의 다중화 주기로 규정된 n개에 대한 m배의 개수의 시점 번호를 가짐과 아울러서, n 개의 시점 번호 단위로 m 개의 다중화 그룹을 갖는 다중화 테이블을 생성한다. m은 자연수 혹은 소수점 배수로 설정될 수 있다. 구체적으로, 제 1 그룹은 1 ~ n의 시점 번호를 가지며, 제 2 그룹은 n+1 ~ 2n의 시점 번호를 갖도록 시점 번호와 다중화 그룹이 순차적으로 생성되고, 제 m 그룹의 경우, n*m-n+1 ~ n*m 의 시점 번호가 부여될 수 있다. 또한, 다중화부(142)는 n*m 개의 시점 영상과 다중화 테이블에 기초하여 다중화 그룹으로 구분되도록 다중화 영상을 생성한다. 가장 선행되는 다중화 그룹의 시점 번호와 연계되는 다중화 영상은 동공의 중심 위치가 최초의 시청 구역의 중심에 유지될 때에 재현되는 영상일 수 있다. 즉, 주 시역이 이동되지 않는 경우, 다중화 주기에 따라 기본적으로 재현되는 다중화 영상은 가장 선행되는 다중화 그룹과 관련된 다중화 영상들일 수 있다. 도 5, 도 6에 예시된 양방향 화살표에 따른 대응 관계에서와 같이, 다중화 그룹에 속한 각 시점 번호와 다른 다중화 그룹에 속한 각 시점 번호가 순차적으로 대응되도록 생성될 수 있다. 다중화 영상은 다중화 테이블을 참조하여 생성하며, 다중화 테이블은 디스플레이 패널(110)의 해상도와 동일한 크기로서 실시간으로 계산되거나, 사전 작성됨으로써, 각 시점 영상의 지점마다 시점 번호를 부여할 수 있다. 시점 번호는 광학 소자(120)인 렌즈 셀의 주기, 시청 거리 및 시역에 따라, 일정한 다중화 주기로 반복될 수 있다. 다중화 영상의 각 픽셀(또는 서브픽셀) 값은 다중화 테이블을 참조하여 할당될 수 있으며, 다중화 테이블의 시점 번호에 해당하는 다중화 영상과 동일한 위치의 픽셀(또는 서브픽셀)로 구성될 수 있다.

프로세서(140)는 동공 추적 모듈(130)로 추적한 양안 동공의 이동에 기초하여, 양안 동공의 중심 위치의 이동량을 계산하는 동공 추적부(144)를 포함할 수 있다. 이동량은 이동한 간격으로 산출될 수 있으며, 예컨대 이동한 간격은 시점 간격으로 환산되어 생성될 수 있다.

프로세서(140)는 동공 추적부(144)에서 산출된 이동량에 따른 다중화 테이블의 재현 시작 시점 번호를 확인하는 재현부(146)를 포함할 수 있다. 재현부(146)는 동공의 위치에 따른 재현 시작 시점 번호를 추출하여 재현 시작 시점 번호가 속한 다중화 그룹을 확인할 수 있다.

재현부(146)는 동공의 중심 위치가 소정의 시청 구역(예를 들어, 기존의 주 시역)의 중심에 유지되는 것을 확인하면, 기존의 주 시역의 중심에 상응하는 재현 시작 시점 번호가 예컨대, 가장 선행되는 다중화 그룹의 첫번째 시점 번호인 것으로 결정할 수 있다. 이에 의하면, 재현부(146)는 다중화 주기에 의해 선택되는 시점 영상들로 가장 선행되는 다중화 그룹과 관련된 다중화 영상들을 채택하여 재현할 수 있다. 동공의 중심 위치와 재현 시작 시점 번호는 각각 대응하는 디스플레이 패널(110)의 픽셀값을 통해 대비할 수 있다.

이와는 달리, 재현부(146)는 동공의 중심 위치가 소정 간격으로 이동한 것을 확인하여, 이에 따른 재현 시작 시점 번호를 추출함으로써, 재현 시작 시점 번호가 이동한 것을 확인할 수 있다. 재현부(146)는 이동된 재현 시작 시점 번호가 이동 전의 다중화 그룹인지 혹은 후행 다중화 그룹에 속하는지를 판정할 수 있다. 재현부(146)는 이동된 재현 시작 시점 번호가 속한다고 판정된 다중화 그룹에서, 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현할 수 있다. 또한, 재현부(146)는 확인된 다중화 그룹에서 재현 시작 시점 번호 미만의 다중화 영상은 확인된 다중화 그룹에 인접한 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현할 수 있다.

본 실시예에 따른 나안식 입체 디스플레이의 시역 확장 방법을 구현하는 프로세서(140)와 관련한 상세한 설명은 이하에서 후술하기로 한다. 이하에서는 다중화부(142), 동공 추적부(144) 및 재현부(146)가 구분되어 설명되지 않고, 이들 기능을 포함하는 프로세서(140)로 통합하여 설명한다. 각 부는 프로세서(140)의 후술할 다양한 기능들 중 적합한 기능에 대응될 수 있으며, 당업자라면 이하의 설명을 통해 각 부의 기능을 자명하게 이해할 수 있다.

이하, 도 1 내지 도 6를 참조하여, 본 발명의 다른 실시예에 따른 나안식 입체 디스플레이의 시역 확장 방법에 대하여 설명하기로 한다.

도 3은 본 발명의 다른 실시예에 따른 나안식 입체 디스플레이의 시역 확장 방법에 관한 순서도이다.

도 3을 참조하면, 프로세서(140)는 다시점 영상을 입력받는다(S105). 이 단계는 다중화부(142)에 의해 수행될 수 있다.

이어서, 프로세서(140)는 다시점 영상의 다중화 주기로 규정된 n개에 대한 m배의 개수의 시점 번호를 가짐과 아울러서, n 개의 시점 번호 단위로 m 개의 다중화 그룹을 갖는 다중화 테이블을 생성한다(S110). 이 단계도 다중화부(142)에 의해 수행될 수 있다.

수평 시역을 확장하기 위한 m은 자연수 혹은 소수점 배수로 설정될 수 있다. 구체적으로, 제 1 그룹은 1 ~ n의 시점 번호를 가지며, 제 2 그룹은 n+1 ~ 2n의 시점 번호를 갖도록 시점 번호와 다중화 그룹이 순차적으로 생성되고, 제 m 그룹의 경우, n*m-n+1 ~ n*m 의 시점 번호가 부여될 수 있다.

본 실시예에서는 설명의 편의상 수평 시역을 3배 확장하는 예를 위주로 기술한다. 이러한 예시에 따르면, 다중화 파일의 다중화 영상들은 디스플레이 패널보다 3 배의 해상도를 가지므로, 동공의 위치에 따라 디스플레이 패널(110)의 해상도 만큼의 픽셀(또는 서브픽셀)이 선택될 수 있다. 이에 의해, 다중화 테이블 및 다중화 영상에서의 지점은 시점 영상의 픽셀값을 가질 수 있으며, 각 시점 영상의 지점은 시점 번호일 수 있다.

도 4 및 도 5는 본 발명의 실시예에 따라 동공 위치가 이동되는 경우에 디스플레이 패널의 주 시역에 다중화 영상을 제공하는 과정을 예시한 도면이다.

도 4 및 도 5에서 다중화 테이블에 기재된 번호는 시점 번호를 예시하고 있으며, 실제 값은 각 지점에서 시점 번호에 해당하는 시점 영상의 픽셀값을 가진다. 시점 번호는 도 4와 같이, 광학 소자(120)인 렌즈 셀의 주기, 시청 거리 및 시역에 따라, 일정한 다중화 주기로 반복될 수 있도록, 시점 영상들이 다중화될 수 있다. 한편, 다중화 주기는 광학 소자의 주기, 디스플레이 패널의 구조, 시청 거리 및 시청 영역에 따라 설정될 수 있다.

또한, 다중화 그룹에 속한 각 시점 번호와 다른 다중화 그룹에 속한 각 시점 번호는 순차적으로 대응되도록 생성될 수 있다. 도 4를 예로 들어 설명하면, 양방향 화살표에 따른 대응 관계에서와 같이, 다중화 테이블에서의 제 1 다중화 그룹의 시점 번호 1, 6이 제 2 다중화 그룹의 시점 번호 11, 15 및 제 3 다중화 그룹의 시점 번호 21, 25에 대응되도록 설정될 수 있다. 즉, 도 4에 나타난 바와 같이, 제 1 다중화 그룹의 시점 번호 전부(1~10)은 제 2 및 제 3 다중화 그룹들의 시점 번호 전부(11~20, 21~30))와 각각 서로 대응될 수 있다. 도 5는 도 4와 다른 예를 도시하였을 뿐, 상술한 대응 관계는 도 5의 예에도 적용된다.

다음으로, 프로세서(140)는 n*m 개의 시점 영상과 다중화 테이블에 기초하여 다중화 그룹으로 구분되도록 다중화 영상을 생성할 수 있다(S115).

도 4 및 도 5의 예시에서와 같이, 프로세서(140)는 다중화 테이블을 참조하여, n*m 개(도 4, 5의 경우 n은 10, m은 3임)의 시점 영상들을 각 다중화 그룹에 순차적으로 할당하도록 다중화함으로써, 다중화 영상을 생성할 수 있다.

이에 따라, 제 1 다중화 그룹의 다중화 영상의 시점 번호 1'~ 10'은 다중화 테이블의 시점 번호 1~10과 연계될 수 있으며, 다른 다중화 그룹의 다중화 영상의 시점 번호 11'~30'도 다중화 테이블의 시점 번호 11'~30'과 연계될 수 있다. 본 실시예에서와 같이, 수평 시역을 3배 확장하여 m이 3인 경우에, 제 1 다중화 그룹의 다중화 영상 시점 번호 1'~10', 제 2 다중화 그룹의 다중화 영상 시점 번호 11'~20` 및 제 3 다중화 그룹의 다중화 영상 시점 번호 21'~30'이 다중화 테이블의 구조와 동일하게 대응될 수 있다.

또한, 디스플레이 패널(110)에 제 1 다중화 그룹의 다중화 영상이 재현되면, 1'~10' 시점 번호 에 해당하는 다중화 영상들이 주 시역을 형성하며, 다중화 테이블 및 다중화 영상의 재현 시작 시점 번호, 즉 재현 시작 시점 번호는 1번, 1'번이다.

다음으로, 프로세서(140)는 동공의 위치에 따른 재현 시작 시점 번호를 추출하여 재현 시작 시점 번호가 속한 다중화 그룹을 확인한다(S120). S120 단계는 동공 추적 모듈(130)과 연동된 동공 추적부(144) 및 재현부(146)에 의해 수행될 수 있다.

동공 추적 모듈(130)은 양안 동공의 위치를 추적하고, 광학 소자(120)를 기반으로 하는 주 시역 상에서 동공의 위치를 파악하는 역할을 수행한다. 주 시역은 양안 동공의 중심 위치 이동에 따라 가변될 수 있으며, 주 시역은 주기적으로 반복되는 시청 구역마다 광학 소자(120)의 광학적 왜곡이 최소로 되는 시역일 수 있다. 주 시역은 양안 동공 중심의 위치, 다중화 주기 및 광학 소자(120)의 규격에 기초하여 설정될 수 있다.

프로세서(140)는 동공 추적 모듈(130)로 추적한 양안 동공의 이동에 기초하여, 양안 동공의 중심 위치의 이동량을 계산할 수 있다. 이동량은 이동한 간격으로 산출될 수 있으며, 예컨대 이동한 간격은 시점 간격으로 환산되어 생성될 수 있다. 시점 간격은 디스플레이 패널(110)의 픽셀값에 기초하여 산출될 수 있다.

프로세서(140)는 산출된 이동량에 따른 다중화 테이블의 재현 시작 시점 번호를 확인하여 해당 재현 시작 시점 번호가 속한 다중화 그룹을 판정할 수 있다. 구체적으로, 프로세서(140)는 동공의 중심 위치가 소정의 시청 구역(예를 들어, 기존의 주 시역)의 중심에 그대로 유지되는 것으로 판정되면, 재현 시작 시점 번호는 예컨대, 시점 번호 1이므로, 해당 다중화 그룹은 가장 선행되는 다중화 그룹인 것으로 판정할 수 있다. 또한, 프로세서(140)는 동공의 중심 위치가 소정 간격, 예를 들어 단위 시점 간격의 배수 단위로 이동한 것을 확인할 수도 있다. 예를 들어, 프로세서(140)는 도 6에서와 같이 양안 동공의 중심 위치가 시점 간격들만큼 이동함으로써 주 시역이 이동한 것으로 판정하면, 재현 시작 시점 번호가 k인 것을 확인할 수 있다. 이 경우에, 이동된 재현 시작 시점 번호가 이동 전의 다중화 그룹인지 혹은 후행 다중화 그룹에 속하는지를 판정할 수 있다. 도 6은 본 발명의 실시예에 따라 주 시역의 확장을 예시한 도면이다. 프로세서(140)는 일반적으로 주 시역의 크기는 양안 동공의 간격보다 조금 넓게 설정하므로 시청시 동공의 위치가 이동할 경우 시역 경계를 넘을 경우 입체감이 상실됨은 물론 어지러움을 느낄 수 있다. 따라서, 프로세서(140)를 통해 동공의 중심 위치를 확인하여, 동공이 시역 경계를 넘지 않도록 프로세서(140)는 주 시역을 이동시킬 필요가 있다. 주 시역을 많이 이동시킬수록 수평 시역 확장 효과가 크게 나타나지만, 입력 다중화 시점 영상의 크기가 증가하고, 렌즈의 왜곡이 점점 더 크게 느껴질 수 있다. 이에 따라, S110~S115 및 후술할 S125. 130 단계에 의해, 전술한 단점들이 해소될 수 있다.

다음으로, 프로세서(140)는 이동된 재현 시작 시점 번호가 속한다고 확인된 다중화 그룹에서, 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 디스플레이 패널(110)의 해당 픽셀값에 재현할 수 있다(S125). 이어서, 프로세서(140)는 확인된 다중화 그룹에서 재현 시작 시점 번호 미만의 상중화 영상은 확인된 다중화 그룹에 인접한 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 디스플레이 패널(110)의 해당 픽셀값에 재현할 수 있다(S130). S125 및 S130 단계는 재현부(146)에 의해 구현될 수 있다.

도 4 및 도 6의 예를 들어 설명하면, 다중화 주기가 10이며, 양안 동공의 중심 위치 이동에 따라 변동하는 다중화 영상의 재현 시작 시점 번호가 제 1 다중화 그룹의 시점 번호 1에서 7로 이동한 경우, 제 1 다중화 그룹의 재현 시작 시점 번호 7 이상에 대해, 시점 번호 7부터 제 1 다중화 그룹의 다중화 주기의 마지막 시점 번호 10에 대응하는 시점 번호 7'~10'의 다중화 영상을 재현한다. 재현 시작 시점 번호 7 미만의 경우에, 제 1 다중화 그룹에 인접한 후행 다중화 그룹인 제 2 다중화 그룹에서 시점 번호 1부터 6에 대응하는 시점 번호 11~16가 선택되고, 제 2 다중화 그룹의 시점 번호 11~ 16에 상응하는 시점 번호 11'~16'의 다중화 영상을 재현한다.

도 5에 따른 다른 예를 들어 설명하면, 다중화 주기가 10이며, 양안 동공의 중심 위치 이동에 따라 변동하는 다중화 영상의 재현 시작 시점 번호가 제 1 다중화 그룹의 시점 번호 1에서 제 2 다중화 그룹의 시점 번호 14로 이동한 경우, 제 1 다중화 그룹에 연계된 다중화 영상은 재현되지 않고 후행 다중화 그룹들의 다중화 영상들로 대체될 수 있다. 구체적으로, 프로세서(140)는 이동된 시점 번호 14가 속한 다중화 그룹이 제 2 다중화 그룹인 것을 확인하고, 제 2 다중화 그룹의 시점 번호 14 이상에 대해, 시점 번호 14부터 제 2 다중화 그룹의 다중화 주기의 마지막 시점 번호 20에 대응하는 시점 번호 14'~20'의 다중화 영상을 재현한다. 재현 시작 시점 번호 14 미만의 경우에, 제 2 다중화 그룹에 인접한 다음 후행 다중화 그룹인 제 3 다중화 그룹에서 시점 번호 11부터 13에 대응하는 시점 번호 21~23이 선택되고, 제 3 다중화 그룹의 시점 번호 21~ 23에 상응하는 시점 번호 21'~26'의 다중화 영상을 재현한다.

본 예에서, 재현 시작 시점 번호가 제 1 다중화 그룹의 시점 번호 1에서 제 2 다중화 그룹의 시점 번호 11로 이동한 경우, 제 2 다중화 그룹과 관련된 다중화 영상들로 전부 대체되어 재생될 수 있다.

본 실시예에 따르면, 도 4 내지 도 6에서와 같이, 광학 소자를 기반으로 하는 나안식 입체 디스플레이에서 시청 편의를 위해 동공 추적과 연동하여 시역을 확장할 수 있다.

본 실시예에서는, 광학 소자(120)가 렌티큘러 렌즈 어레이인 것을 위주로 설명하였으나, 이상의 설명에서 기술적으로 저촉되지 않는 한, 청구범위에 기재된 기술적 사상은 마이크로렌즈 어레이를 채용하는 입체 디스플레이 장치(100)에도 적용될 수 있다.

본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.

본 개시의 다양한 실시 예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시 예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.

또한, 본 개시의 다양한 실시 예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.

본 개시의 범위는 다양한 실시 예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.

100: 나안식 입체 디스플레이 장치
110: 디스플레이 패널 120: 광학 소자
130: 동공 추적 모듈 140: 프로세서
142: 다중화부 144: 동공 추적부
146: 재현부

Claims (18)

1. 다시점 영상의 다중화 주기로 규정된 n개에 대한 m배의 개수의 시점 번호를 가짐과 아울러서, n 개의 시점 번호 단위로 m 개의 다중화 그룹을 갖는 다중화 테이블을 생성하는 단계;
   n*m 개의 시점 영상과 상기 다중화 테이블에 기초하여 상기 다중화 그룹으로 구분되도록 다중화 영상을 생성하는 단계;
   동공의 위치에 따른 재현 시작 시점 번호를 추출하여 상기 재현 시작 시점 번호가 속한 상기 다중화 그룹을 확인하는 단계; 및
   상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현하고, 상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 미만의 상기 다중화 영상은 상기 확인된 다중화 그룹에 인접한 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현하는 단계를 포함하는 나안식 입체 디스플레이의 시역 확장 방법.
   
2. 제 1 항에 있어서,
   상기 다중화 주기는 광학 소자의 주기, 디스플레이 패널의 구조, 시청 거리 및 시청 영역에 따라 설정되는 나안식 입체 디스플레이의 시역 확장 방법.
   
3. 제 1 항에 있어서,
   상기 동공의 중심 위치 이동에 따라 주 시역이 가변되며, 상기 주 시역은 주기적으로 반복되는 시청 구역마다 광학 소자의 광학적 왜곡이 최소로 되는 시역이며, 다중화 주기에 기초하여 정의된 개수로 상기 시점 영상을 갖도록 설정되는 나안식 입체 디스플레이의 시역 확장 방법.
   
4. 제 3 항에 있어서,
   상기 주 시역은 상기 동공 중심의 위치, 상기 다중화 주기 및 광학 소자의 규격에 기초하여 설정되는 시청 구역인 나안식 입체 디스플레이의 시역 확장 방법.
   
5. 제 3 항에 있어서,
   상기 다중화 영상을 재현하는 단계는 상기 동공의 중심 위치가 소정 간격만큼 이동하여 상기 주 시역이 이동된 경우에 수행되는 나안식 입체 디스플레이의 시역 확장 방법.
   
6. 제 1 항에 있어서,
   제 1 항에 있어서,
   상기 동공의 중심 위치가 최초의 시청 구역의 중심에 유지되면, 상기 재현되는 다중화 영상은 상기 다중화 그룹 중 가장 선행되는 다중화 그룹의 시점 번호와 연계되는 다중화 영상인 나안식 입체 디스플레이의 시역 확장 방법.
   
7. 제 1 항에 있어서,
   상기 다중화 테이블을 생성하는 단계는 상기 다중화 그룹에 속한 각 시점 번호와 다른 다중화 그룹에 속한 각 시점 번호가 순차적으로 대응되도록 생성되는 나안식 입체 디스플레이의 시역 확장 방법.
   
8. 제 1 항에 있어서,
   상기 다중화 테이블 및 상기 다중화 영상에서의 시점 번호는 상기 다중화 영상의 픽셀값을 갖는 나안식 입체 디스플레이의 시역 확장 방법.
   
9. 제 1 항에 있어서,
   상기 다중화 그룹을 확인하는 단계에서 상기 동공의 위치 이동에 따른 재현 시작 시점 번호가 상기 동공 이동 전에 제공된 다중화 영상과 연계된 상기 다중화 그룹의 시점 번호를 전부 초과하여, 상기 다중화 그룹에 인접한 후행 다중화 그룹의 시점 번호인 것으로 확인하면, 상기 다중화 영상을 재현하는 단계는 상기 후행 다중화 그룹에서 상기 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현하고, 상기 후행 다중화 그룹에서 상기 재현 시작 시점 번호 미만의 상기 다중화 영상은 상기 후행 다중화 그룹에 인접한 다음의 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현하는 나안식 입체 디스플레이의 시역 확장 방법.
   
10. 영상을 재생하는 디스플레이 패널;
    상기 영상을 시점 별로 서로 상이한 방향으로 제공하여 시청 영역을 형성시키는 광학 소자;
    양안 동공의 위치를 추적하는 동공 추적 모듈; 및
    프로세서를 포함하되, 상기 프로세서는
    다시점 영상의 다중화 주기로 규정된 n개에 대한 m배의 개수의 시점 번호를 가짐과 아울러서, n 개의 시점 번호 단위로 m 개의 다중화 그룹을 갖는 다중화 테이블을 생성하며,
    n*m 개의 시점 영상과 상기 다중화 테이블에 기초하여 상기 다중화 그룹으로 구분되도록 다중화 영상을 생성하고,
    동공의 위치에 따른 재현 시작 시점 번호를 추출하여 상기 재현 시작 시점 번호가 속한 상기 다중화 그룹을 확인하고,
    상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현하고, 상기 확인된 다중화 그룹에서 상기 재현 시작 시점 번호 미만의 상기 다중화 영상은 상기 확인된 다중화 그룹에 인접한 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현하는 입체 디스플레이 장치.
    
11. 제 10 항에 있어서,
    상기 다중화 주기는 광학 소자의 주기, 디스플레이 패널의 구조, 시청 거리 및 시청 영역에 따라 설정되는 입체 디스플레이 장치.
    
12. 제 10 항에 있어서,
    상기 동공의 중심 위치 이동에 따라 주 시역이 가변되며, 상기 주 시역은 주기적으로 반복되는 시청 구역마다 광학 소자의 광학적 왜곡이 최소로 되는 시역이며, 다중화 주기에 기초하여 정의된 개수로 상기 시점 영상을 갖도록 설정되는 입체 디스플레이 장치.
    
13. 제 12 항에 있어서,
    상기 주 시역은 상기 동공 중심의 위치, 상기 다중화 주기 및 광학 소자의 규격에 기초하여 설정되는 시청 구역인 입체 디스플레이 장치.
    
14. 제 12 항에 있어서,
    상기 다중화 영상을 재현하는 것은 상기 동공의 중심 위치가 소정 간격만큼 이동하여 상기 주 시역이 이동된 경우에 수행되는 입체 디스플레이 장치.
    
15. 제 10 항에 있어서,
    상기 동공의 중심 위치가 최초의 시청 구역의 중심에 유지되면, 상기 재현되는 다중화 영상은 상기 다중화 그룹 중 가장 선행되는 다중화 그룹의 시점 번호와 연계되는 다중화 영상인 입체 디스플레이 장치.
    
16. 제 10 항에 있어서,
    상기 다중화 테이블을 생성하는 것은 상기 다중화 그룹에 속한 각 시점 번호와 다른 다중화 그룹에 속한 각 시점 번호가 순차적으로 대응되도록 생성되는 입체 디스플레이 장치.
    
17. 제 10 항에 있어서,
    상기 다중화 테이블 및 상기 다중화 영상에서의 시점 번호는 상기 다중화 영상의 픽셀값을 갖는 입체 디스플레이 장치.
    
18. 제 10 항에 있어서,
    상기 다중화 그룹을 확인한 결과, 상기 동공의 위치 이동에 따른 재현 시작 시점 번호가 상기 동공 이동 전에 제공된 다중화 영상과 연계된 상기 다중화 그룹의 시점 번호를 전부 초과하여, 상기 다중화 그룹에 인접한 후행 다중화 그룹의 시점 번호인 것으로 확인하면, 상기 다중화 영상을 재현하는 것은 상기 후행 다중화 그룹에서 상기 재현 시작 시점 번호 이상에 해당하는 다중화 영상을 재현하고, 상기 후행 다중화 그룹에서 상기 재현 시작 시점 번호 미만의 상기 다중화 영상은 상기 후행 다중화 그룹에 인접한 다음의 후행 다중화 그룹에 상호 대응하는 시점 번호와 연계되는 다중화 영상을 재현하는 입체 디스플레이 장치.

Images