KR101358432B1 - 디스플레이 장치 및 방법 - Google Patents

Abstract

본 발명에 따른 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치는 디스플레이부, 사용자의 시청 위치에서의 사용자의 시선 방향과 디스플레이부 사이의 시청 각도를 측정하는 시청 각도 측정부, 상기 시청 각도에 기초하여, 화면의 스케일을 조정함으로써 입체시를 유지하기 위한 영상 변환 계수를 생성하는 영상 변환 계수 생성부, 상기 영상 변환 계수에 기초하여 상기 디스플레이부의 영상을 변환하는 영상 변환부 및 상기 영상 변환부를 통해 변환된 영상을 상기 디스플레이부에 재생시키는 영상 재생부를 포함하는 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치에 해당된다.

Description

디스플레이 장치 및 방법{DISPLAY APPARATUS AND METHOD}

본 발명은 디스플레이 장치 및 방법에 관한 것이다.

종래의 가변적 시청위치를 고려한 다시점 영상은 객체가 고정된 상태에서 사용자의 시점이 변함에 따라 객체의 측면 등의 입체가 표현되는 것을 목적으로 하고 있다. 이러한 방식은 사람이 실제 사물을 관찰하게 되는 방식에 기반하여 3D로 표현하는 것이다. 다만, 이러한 방식은 다음과 같은 문제가 발생한다.

첫째로, 사용자가 사물을 정면에서 바라보다가 측면으로 이동하여 바라보면, 정면에서 보이지 않던 사물의 측면이 보이게 된다. 이러한 현상은 측면에 위치하여 시청할수록 더욱 커지게 되는데, 이러한 측면의 재현 방식은 큰 기술적 어려움을 수반한다. 왜냐하면, 이러한 방식은 제한된 시점에서 촬영한 영상만을 가지고 다시점에서 볼 수 있는 사물의 모습을 재현하려고 하기 때문이다.

둘째로, 모든 시점에서 사물을 촬영하는 것은 현실적인 어려움이 있으므로, 제한된 시점에서의 영상을 확보한 후, 이 영상들에 기초하여 영상이 확보되지 않은 가상시점 영상을 만드는데 있어서 많은 기술적 문제가 발생된다.

셋째로, 종래에는 사용자가 실제 사물을 보는 경우에 착안하여 측면 시청의 경우 사물의 측면을 보여주려는 의도가 있었으나, 3D TV 등 디스플레이 장치는 이와 다르다. 즉, 특별한 이유가 없는 한 사용자는 화면을 정면에서 시청하기 원하며, 간혹 측면에서 시청하더라도 화면 내의 사물의 측면을 시청하기 위한 의도는 아니다. 오히려 불가피한 이유로 측면에서 시청하는 경우에도 정면에서 바라본 것과 동일한 모습의 화면을 제공하는 것이 더 합리적이다.

한편, 종래 기술은 가상시점 또는 중간시점 영상을 생성할 때 정보가 제공되지 않은 부분을 주변 정보로만 추정하므로 이 과정에서 다양한 오류가 발생되는 문제가 있었다.

이와 관련하여, 한국 공개특허 제10-2011-0071528호(발명의 명칭: 스테레오 영상, 다시점 영상 및 깊이 영상 획득 카메라 장치 및 그 제어 방법)에는 스테레오 카메라에 깊이 정보 생성 기능과 중간 영상 생성 기능을 추가하여 스테레오 영상, 깊이 영상을 획득하는 구성이 개시되어 있다.

또한, 한국 공개특허 제10-2012-0026662호(발명의 명칭: 폐색 영역 복원 장치 및 방법)에는 가상 영상을 생성하고, 이에 포함된 폐색 영역들의 경계를 추출하며, 복원 대상 영역을 추출하고, 이에 기초하여 복원 대상 영역을 복원 및 워핑하는 구성이 개시되어 있다.

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 본 발명의 일부 실시예는 사용자의 시청 위치에 따라 시청 각도를 측정하고, 이에 기초하여 영상을 변환함으로써 디스플레이 장치의 측면에서 시청하더라도 정면의 입체시가 제공되는 것을 그 목적으로 한다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치는 디스플레이부, 사용자의 시청 위치에서의 사용자의 시선 방향과 디스플레이부 사이의 시청 각도를 측정하는 시청 각도 측정부, 상기 시청 각도에 기초하여, 화면의 스케일을 조정함으로써 입체시를 유지하기 위한 영상 변환 계수를 생성하는 영상 변환 계수 생성부, 상기 영상 변환 계수에 기초하여 상기 디스플레이부의 영상을 변환하는 영상 변환부 및 상기 영상 변환부를 통해 변환된 영상을 상기 디스플레이부에 재생시키는 영상 재생부를 포함한다.

또한, 본 발명의 제 2 측면에 따른 가변적 시청 위치에서의 입체시 유지 방법은 디스플레이 장치에 대한 사용자의 시청 위치에 따른 시청 각도를 측정하는 단계, 상기 시청 각도에 기초하여, 화면의 스케일을 조정함으로써 입체시를 유지하기 위한 영상 변환 계수를 생성하는 단계 및 상기 영상 변환 계수에 기초하여 상기 디스플레이 장치의 출력 영상을 변환하는 단계를 포함하되, 상기 시청 각도는 사용자의 시청 위치에서의 사용자의 시선 방향과 상기 디스플레이 장치 사이의 각도를 나타낸다.

전술한 본 발명의 과제 해결 수단의 어느 실시예에 의하면, 사용자의 시점이 변하더라도 객체도 이에 따라 회전함으로써 모든 시점에서 정면의 3D 입체감을 제공할 수 있다. 이로 인해, 3D 입체감을 제공하기 위해 중간 영상 합성 등의 과정을 거치지 않고 단순한 영상 변환으로 해결할 수 있다.

또한, 가상시점 영상 합성에 따라 발생하는 폐색 영역의 처리과정에 있어 오류가 발생하는 등 기술적인 문제가 발생되지 않는다. 이와 더불어, 사용자에게 정면의 입체시를 제공하게 되므로 보다 합리적인 다시점 디스플레이 방식이 될 수 있다.

도 1은 본 발명의 일 실시예에 따른 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치를 도시한 도면이다.
도 2는 사용자의 시청 위치, 시청각도 및 디스플레이 화면과의 관계를 도시한 도면이다.
도 3은 시청 위치에 따라 시야에 들어오는 화면의 크기를 도시한 도면이다.
도 4는 사용자의 시청 위치, 시청 각도 및 디스플레이 화면과의 관계를 도식화하여 도시한 도면이다.
도 5는 시청 각도에 따라 시야에 들어오는 화면의 크기 변화의 예를 도시한 도면이다.
도 6은 화면의 스케일 조정 및 화소값 매핑 결과를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치에서의 영상 변환 결과를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 가변적 시청 위치에서의 입체시 유지 방법을 도시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

도 1은 본 발명의 일 실시예에 따른 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치를 도시한 도면이고, 도 2는 사용자의 시청 위치, 시청각도 및 디스플레이 화면과의 관계를 도시한 도면이며, 도 3은 시청 위치에 따라 시야에 들어오는 화면의 크기를 도시한 도면이다.

본 발명에 따른 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치(100)는 시청 각도 측정부(110), 영상 변환 계수 산출부(120), 영상 변환부(130), 영상 재생부(140) 및 디스플레이부(150)를 포함한다.

시청 각도 측정부(110)는 사용자의 시청 위치에서의 사용자의 시선 방향(220)과 디스플레이부(150) 사이의 시청 각도를 측정한다. 도 2를 참조하여 설명하면, 시청 각도의 측정은 시청 위치와 디스플레이부(150)의 화면의 중앙 지점을 선분으로 그었을 때, 이 선분과 디스플레이부(150)의 평면과의 각도를 의미한다.

한편, 시청 각도의 측정은 디스플레이부(150)에서 사용자를 감지하는 기능을 통해 파악될 수 있다. 예를 들면, 시청 각도는 사용자와 디스플레이부(150) 사이의 거리 또는 각도를 감지하는 사용자 감지 센서를 통해 측정될 수 있다. 이때, 사용자 감지 센서는 사용자의 머리 또는 눈을 감지함으로써 시청 위치로부터 시청 각도를 산출할 수 있다. 예를 들어, 사용자 감지 센서는 적외선 등을 방사한 후, 외부 물체에서 반사되는 적외선을 감지하여, 사용자의 위치 또는 각도를 감지할 수 있다. 또한, 시청 각도는 사전에 사용자의 시청 위치에 따른 시청 각도를 계산하여 입력함으로써 산출될 수 있다. 한편, 시청 각도를 측정하는 과정에서 약간의 각도 산출 차이가 발생하여도 3D 시청의 불편을 초래하지 않으므로 시청 각도는 정밀한 계산을 요구하지는 않는다.

다시 도 1을 참조하면, 영상 변환 계수 생성부(120)는 시청 각도에 기초하여 영상 변환 계수를 생성한다. 이때, 영상 변환 계수는 디스플레이부(150)의 화면의 스케일을 조정함으로써 입체시를 유지하기 위해 도입된 계수를 말한다.

영상 변환 계수를 설명하기 위해 먼저 도 3을 참조하여, 사용자의 시청 위치에 따라 시야에 들어오는 화면의 크기를 설명하면 다음과 같다. 정면에서 디스플레이 화면을 바라보는 경우(310)에는 화면의 좌측과 우측이 동일한 비율의 크기로 보이지만, 시청 위치가 디스플레이 화면의 정면에서 멀어지게 되면(320) 시청 각도가 변하게 되어 화면이 일정한 비율로 축소되어 보인다. 즉, 실제로 디스플레이 되는 화면의 크기는 직사각형 형태이나 시청 위치가 측면으로 이동하여 시청 각도가 작아지게 되면 시야에 들어오는 화면의 좌측, 중앙, 우측은 각각 그 크기가 달라지게 된다. 따라서, 측면에서 시청할 때 시야에 들어오는 화면의 크기를 중앙에서 바라볼 때 시야에 들어오는 화면의 크기와 동일하게 되도록 영상 변환 계수를 통해 영상 변환을 수행한다.

이하에서는, 도 4 및 도 5를 참조하여 영상 변환 계수 산출 과정에 대해 설명한다.

도 4는 사용자의 시청 위치, 시청 각도 및 디스플레이 화면과의 관계를 도식화하여 도시한 도면이고, 도 5는 시청 각도에 따라 시야에 들어오는 화면의 크기 변화의 예를 도시한 도면이다.

도4를 참조하면, θ는 시청 각도를 나타내고, d는 시청 거리를 나타내며, x 는 디스플레이 화면 중앙으로부터 이동 위치를 나타낸다고 할 때, 시야에 들어오는 화면의 비율은 하기의 [수학식 1]을 통해 산출된다.

[ 수학식 1]

이때, 이동거리의 표현은 시청 위치에서 가까운 쪽 방향을 (+) 방향으로 설정하고, 시청 위치에서 먼 쪽 방향을 (-) 방향으로 설정한다. 또한, 화면의 비율은 중앙 화면을 기준으로 하여 표현된다.

한편, 화면 비율은 시야에 들어올 때의 화면 비율을 의미한다. 이에 따라, 영상 변환을 할 때, 실제로 시야에 들어오는 비율이 클 경우 화면을 축소 변환하고, 시야에 들어오는 비율이 작을 경우 화면을 확대 변환해야 정면에서 볼 때의 화면의 크기와 같은 크기로 시야에 들어오게 된다. 따라서, 아래와 같은 [수학식 2]와 같이 [수학식 1]에서 산출한 비율에 대해 역수를 취해서 영상 변환 계수를 산출할 수 있다.

[ 수학식 2]

이와 더불어, 영상 변환 계수를 산출하는 예를 도 5를 참조하여 설명한다. 예를 들어, 일반적인 시청거리 2.5m에서 45도의 시청 각도로 47인치 디스플레이 화면을 시청한다고 가정한다. 이때, 화면의 중앙이 시야에 들어오는 크기를 1이라고 가정하여 [수학식 1]을 이용하여 화면 비율을 산출하면, 화면의 가장 먼 쪽은 약 0.864의 비율로 시야에 들어오게 되고, 화면의 가까운 쪽은 약 1.155의 비율로 시야에 들어오게 된다. 이에 대해 각각 역수를 취하면 1.157, 0.866이 되며, 이 수치가 바로 영상 변환 계수가 된다. 즉, [수학식 2]를 이용하면 시청거리, 시청각도 및 디스플레이 화면 중앙으로부터의 이동 위치를 대입하여 영상 변환 계수를 산출할 수 있다.

다시 도 1을 참조하면, 영상 변환부(140)는 영상 변환 계수가 산출되면 화면의 스케일을 조정하여 영상을 변환한다. 즉, 정면에서 볼 때의 화면을 기준으로 영상 변환 계수를 적용하여 좌측, 우측, 중앙의 화면 스케일을 조정하게 된다. 이때, 영상 변환부(140)는 사용자의 시청 위치에 따라 시야에 들어오는 화면의 비율이 클 경우 화면을 축소 변환하고, 시야에 들어오는 비율이 작을 경우 화면을 확대 변환한다.

예를 들어, 도 5에서 시청 위치에 따라 시야에 들어오는 화면 비율은 좌측이 우측보다 짧았으나, 영상 변환 계수를 적용하여 화면의 스케일을 조정하면 우측이 좌측보다 더 길어지게 된다. 한편, 도 5에서는 디스플레이 화면의 좌우측의 가장자리 픽셀 라인만 고려하여 영상 변환 계수를 적용하였으나, 이에 한정되는 것은 아니다. 즉, 디스플레이 화면을 복수개의 픽셀 라인으로 구분할 경우, 복수개의 픽셀 라인에 대응되는 영상 변환 계수를 산출하여 각각의 픽셀 라인을 기준으로 영상 변환을 할 수 있다.

또한, 영상 변환부(140)는 화면의 스케일 조정 뿐만 아니라, 정면의 영상을 기준으로 스케일 조정된 영상에 화소값을 매핑시키는 역할을 한다.

이와 같이, 영상 변환은 화면의 단순 스케일 조정 과정과 정면 화면 내에 주어진 픽셀 정보만을 이용한 매핑 과정으로 이루어지기 때문에 오류가 없고 효율적인 다시점 방식이 될 수 있다.

디스플레이부(150)는 변환된 영상을 디스플레이 하는 역할을 한다. 도 7을 참조하여, 변환된 영상과 변환 전 영상을 비교하여 설명한다.

도 7은 본 발명의 일 실시예에 따른 가변적 시청 위치에서의 입체시 유지 시스템에서의 영상 변환 결과를 도시한 도면이다.

영상 변환 전 시청 위치에서 보이게 되는 화면은 시청 위치에 따라 사용자의 시야에 좌측과 우측의 화면 비율이 상이하게 들어온다. 즉, 측면에서는 정면의 입체시가 제공되지 않는다. 이를 해결하기 위해, 시청 위치에 따른 시청 각도를 측정하고, 시청 각도에 기초하여 영상을 변환한다. 이에 따라 변환된 영상은 측면의 시청 위치에서도 정면의 입체시를 볼 수 있게 된다.

도 8은 본 발명의 일 실시예에 따른 가변적 시청 위치에서의 입체시 유지 방법을 도시한 도면이다.

먼저, 디스플레이 장치에 대한 사용자의 시청 위치에 따른 시청 각도롤 측정한다(S810). 이때, 시청 각도는 사용자의 시청 위치에서 사용자의 시선 방향과 디스플레이 장치 사이의 각도를 말한다. 한편, 시청 각도의 측정은 사용자 감지 센서를 통해 감지된 사용자와 디스플레이 장치 사이의 거리 또는 각도에 기초하여 시청각도를 측정할 수 있다. 또한, 사전에 사용자의 시청 위치에 따른 시청 각도를 계산하여 입력함으로써 측정될 수 있다.

다음으로, 시청 각도에 기초하여 영상 변환 계수를 생성한다(S820). 영상 변환 계수는 화면의 스케일을 조정함으로써 입체시를 유지하기 위해 도입되었다. 한편, 영상 변환 계수를 산출하는 과정은 상기 도 3 및 도 4에서 설명한 바와 같다.

다음으로, 영상 변환 계수에 기초하여 디스플레이 장치의 출력 영상을 변환한다(S830). 영상을 변환하는 단계는 산출된 영상 변환 계수에 대응하여 화면의 스케일을 조정하고, 이와 더불어 정면 영상의 픽셀 정보를 이용하여 매핑하는 과정을 통해 변환된다. 이때, 영상 변환 계수에 대응하여 화면의 스케일을 조정하며 사용자의 시청 위치에 따라 시야에 들어오는 화면의 비율이 클 경우 화면을 축소 변환하고, 시야에 들어오는 비율이 작을 경우 화면을 확대 변환한다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 디스플레이 장치 110: 시청 각도 측정부
120: 영상 변환 계수 생성부 130: 영상 변환부
140: 디스플레이부 210: 디스플레이 화면
220: 사용자의 시선 방향

Claims (11)

1. 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치에 있어서,
   디스플레이부,
   사용자의 시청 위치에서의 사용자의 시선 방향과 상기 디스플레이부 사이의 시청 각도를 측정하는 시청 각도 측정부,
   상기 시청 각도에 기초하여, 화면의 스케일을 조정함으로써 입체시를 유지하기 위한 영상 변환 계수를 생성하는 영상 변환 계수 생성부,
   상기 영상 변환 계수에 기초하여 상기 디스플레이부의 영상을 변환하는 영상 변환부 및
   상기 영상 변환부를 통해 변환된 영상을 상기 디스플레이부에 재생시키는 영상 재생부를 포함하되,
   상기 영상 변환부는 상기 영상 변환 계수에 대응하여 화면의 스케일을 조정하고, 정면 영상의 픽셀 정보를 이용하여 매핑하는 과정을 통해 영상을 변환하는 것인 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 영상 변환 계수는 하기 [수학식 2]을 이용하여 산출되는 것이되,
   [수학식 2]
   

   

   
   상기 수학식 2에서 상기 θ는 시청 각도이고, 상기 d는 시청 거리이며, 상기 x는 디스플레이 화면 중앙으로부터의 이동 거리를 나타내는 것인 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치.
   
4. 제 1 항에 있어서,
   상기 영상 변환부는
   사용자의 시청 위치에 따라 시야에 들어오는 화면의 비율이 클 경우 화면을 축소 변환하고, 시야에 들어오는 비율이 작을 경우 화면을 확대 변환하는 것인 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치.
   
5. 제 1 항에 있어서,
   사용자와 상기 디스플레이부 사이의 거리 또는 각도를 감지하고, 이에 기초하여 상기 시청 각도를 측정하는 사용자 감지 센서를 더 포함하는 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치.
   
6. 제 1 항에 있어서,
   상기 시청 각도는 사전에 사용자의 시청 위치에 따른 시청 각도를 계산하여 입력함으로써 파악되는 것인 가변적 시청 위치에서의 입체시 유지를 위한 디스플레이 장치.
   
7. 가변적 시청 위치에서의 입체시 유지 방법에 있어서,
   디스플레이 장치에 대한 사용자의 시청 위치에 따른 시청 각도를 측정하는 단계,
   상기 시청 각도에 기초하여, 화면의 스케일을 조정함으로써 입체시를 유지하기 위한 영상 변환 계수를 생성하는 단계 및
   상기 영상 변환 계수에 기초하여 상기 디스플레이 장치의 출력 영상을 변환하는 단계를 포함하되,
   상기 영상을 변환하는 단계는 상기 영상 변환 계수에 대응하여 화면의 스케일을 조정하고, 정면 영상의 픽셀 정보를 이용하여 매핑하는 과정을 통해 영상을 변환하며,
   상기 시청 각도는 사용자의 시청 위치에서의 사용자의 시선 방향과 상기 디스플레이 장치 사이의 각도인 가변적 시청 위치에서의 입체시 유지 방법.
   
8. 삭제
9. 제 7 항에 있어서,
   상기 영상 변환 계수는 하기 [수학식 2]을 이용하여 산출되는 것이되,
   [수학식 2]
   

   

   
   상기 수학식 2에서 상기 θ는 시청 각도이고, 상기 d는 시청 거리이며, 상기 x 는 디스플레이 화면 중앙으로부터의 이동 거리를 나타내는 것인 가변적 시청 위치에서의 입체시 유지 방법.
   
10. 제 7 항에 있어서,
    상기 영상 변환 계수에 기초하여 영상을 변환하는 단계는
    사용자의 시청 위치에 따라 시야에 들어오는 화면의 비율이 클 경우 화면을 축소 변환하고, 시야에 들어오는 비율이 작을 경우 화면을 확대 변환하는 것인 가변적 시청 위치에서의 입체시 유지 방법.
    
11. 제 7 항에 있어서,
    상기 시청 각도를 측정하는 단계는 사용자 감지 센서를 통해 감지된 사용자와 디스플레이 장치 사이의 거리 또는 각도에 기초하여 상기 시청 각도를 측정하거나,
    사전에 사용자의 시청 위치에 따른 시청 각도를 계산하여 입력함으로써 측정되는 것인 가변적 시청 위치에서의 입체시 유지 방법.

Images