KR101960897B1 - 입체 영상 표시 장치 및 그 표시 방법 - Google Patents

입체 영상 표시 장치 및 그 표시 방법 Download PDF

Info

Publication number
KR101960897B1
KR101960897B1 KR1020130013419A KR20130013419A KR101960897B1 KR 101960897 B1 KR101960897 B1 KR 101960897B1 KR 1020130013419 A KR1020130013419 A KR 1020130013419A KR 20130013419 A KR20130013419 A KR 20130013419A KR 101960897 B1 KR101960897 B1 KR 101960897B1
Authority
KR
South Korea
Prior art keywords
image
user
mode
change interval
unit
Prior art date
Application number
KR1020130013419A
Other languages
English (en)
Other versions
KR20140100289A (ko
Inventor
김범식
남희
권준일
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020130013419A priority Critical patent/KR101960897B1/ko
Priority to US13/894,600 priority patent/US9571824B2/en
Publication of KR20140100289A publication Critical patent/KR20140100289A/ko
Application granted granted Critical
Publication of KR101960897B1 publication Critical patent/KR101960897B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 입체 영상 표시 장치와 입체 영상 표시 방법으로서, 입체 영상 표시 장치는 복수의 화소를 포함하고, 입력 영상 신호를 처리한 영상 데이터에 따라 영상을 표시하는 표시부, 및 상기 입력 영상 신호 처리를 제어하는 제어부를 포함한다. 이때 상기 제어부는, 사용자의 기준 입력값을 이용하여 제1 영상 변경 간격을 설정하는 영상 변경 간격 설정부, 사용자의 관찰 위치 좌표 데이터를 기초로 표시 영상을 시청하는 사용자의 실제 거리를 연산하고, 상기 실제 거리에 대응하여 상기 제1 영상 변경 간격을 보정하여 제2 영상 변경 간격을 산출하는 연산 및 보정부, 및 상기 표시부가 구현하는 영상 모드를 선택하고, 상기 제2 영상 변경 간격을 기준으로 사용자의 위치 지점을 결정하여 상기 지점에 대응하는 영상 모드별 영상 데이터를 생성하는 영상 모드 선택부를 포함한다.

Description

입체 영상 표시 장치 및 그 표시 방법{STEREOSCOPIC IMAGE DISPLAY DEVICE AND DISPLAYING METHOD THEREOF}
본 발명은 입체 영상 표시 장치 및 입체 영상을 표시하는 방법에 관한 것이다.
오늘날 초고속 정보 통신망을 근간으로 구축된 정보의 고속화를 이용하여 단순히 보고 듣는 디지털 단말 중심의 멀티 미디어형 서비스에서 시공간을 초월하여 실감 있고 입체적으로 보고 느끼고 즐기는 초공간형 3차원 입체 정보통신 서비스로 점차 발전해오고 있다.
일반적으로 3차원을 표현하는 입체 영상은 두 눈을 통한 스테레오 시각의 원리에 의하여 이루어지게 되는데 두 눈의 시차, 즉 사용자의 두 눈이 약 65mm 정도 떨어져서 존재하기 때문에 발생하는 두 눈의 위치의 차이로 인해 왼쪽과 오른쪽 눈은 서로 약간 다른 영상을 보게 된다. 이와 같이, 두 눈의 위치 차이에 의한 영상의 차이점을 양안 시차(binocular disparity)라고 한다. 그리고, 3차원 입체 영상 표시 장치는 이러한 양안 시차를 이용하여 왼쪽 눈은 왼쪽 눈에 대한 영상만 보게 하고 오른쪽 눈은 오른쪽 눈 영상만을 볼 수 있게 한다.
즉, 좌우의 눈은 각각 서로 다른 2차원 화상을 보게 되고, 이 두 화상이 망막을 통해 뇌로 전달되면 뇌는 이를 서로 융합하여 본래 3차원 영상의 깊이감과 실제감을 재생하는 것이다.
입체 영상을 구동하는 방식을 하드웨어에 따라 나누면 크게 무안경 방식과 안경 방식이 있다.
입체 영상 표시 장치에서 하나의 화면으로 두 채널의 화상을 나타내기 위해서는 가로 또는 세로 방향으로 한 줄씩 교대로 바꿔가면서 한 채널씩 출력하게 된다.
이러한 입체 영상 출력 시 무안경 방식은 우안 영상이 오른쪽 눈으로 전달되도록 하고, 좌안 영상이 왼쪽 눈으로만 전달되도록 하여 입체 영상을 표시하는 방식이다.
한편, 안경을 착용하는 방식은 특수한 안경을 통하여 우안 영상을 왼쪽 눈이 볼 수 없게 차단하고, 좌안 영상을 오른쪽 눈이 볼 수 없게 차단하여 입체 영상을 표시하는 방식이다.
그런데 입체 영상 표시 장치에서 사용자의 위치에 상관없이 균일하고 안정적인 입체 영상을 구현하기가 쉽지 않다. 무안경 방식으로 구동하는 입체 영상 표시 장치의 경우에 사용자의 위치를 추적하고 그에 따라 액정 전계 렌즈를 쉬프트하여 위치에 상관없이 입체 영상을 보는 기술이 개발되기도 했다. 그러나, 무안경 방식에서 입체 영상을 볼 수 있는 영역을 넓히는 장점은 있지만 어디에서건 2 시점의 영상만 표시하는 한계가 있다.
본 발명의 실시 예를 통해 해결하려는 과제는 사용자의 위치에 상관없이 안정적이고 균일한 입체 영상을 구현할 수 있는 입체 영상 표시 장치를 제공함에 있다.
특히 안경 방식의 입체 영상 표시 장치에서 넓은 시야각 특성을 이용하여 사용자의 위치별 다 시점의 입체 영상을 표시하는 데 있다.
그리고 본 발명의 실시 예를 통해서 사용자의 위치에 따라서 2D 또는 3D의 영상을 선택적으로 표현함으로써 사용자에게 새로운 방식의 영상 구현을 경험하게 하고, 영상을 시청할 때 시각적 편안함을 제공하고자 한다.
상기 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 입체 영상 표시 장치는 복수의 화소를 포함하고, 입력 영상 신호를 처리한 영상 데이터에 따라 영상을 표시하는 표시부, 및 상기 입력 영상 신호 처리를 제어하는 제어부를 포함한다. 이때 상기 제어부는, 사용자의 기준 입력값을 이용하여 제1 영상 변경 간격을 설정하는 영상 변경 간격 설정부, 사용자의 관찰 위치 좌표 데이터를 기초로 표시 영상을 시청하는 사용자의 실제 거리를 연산하고, 상기 실제 거리에 대응하여 상기 제1 영상 변경 간격을 보정하여 제2 영상 변경 간격을 산출하는 연산 및 보정부, 및 상기 표시부가 구현하는 영상 모드를 선택하고, 상기 제2 영상 변경 간격을 기준으로 사용자의 위치 지점을 결정하여 상기 지점에 대응하는 영상 모드별 영상 데이터를 생성하는 영상 모드 선택부를 포함한다.
상기 영상 모드는 다 시점 영상 모드 및 2D/3D 영상 모드를 포함한다. 상기 다 시점 영상 모드에서 상기 제1 영상 변경 간격 및 상기 제2 영상 변경 간격은, 사용자와 입체 표시 장치와의 기준 거리를 기준으로 전체 시청 각도를 소정의 제1 각도로 분할한 복수의 시점 각각에 대응하는 길이일 수 있다.
상기 2D/3D 영상 모드에서 상기 제1 영상 변경 간격 및 상기 제2 영상 변경 간격은, 상기 기준 거리를 기준으로 상기 전체 시청 각도를 3D 시청에 대한 정상 영역과 비정상 영역으로 분할한 각각의 영역에 대응하는 길이일 수 있다.
상기 선택된 영상 모드가 다 시점 영상 모드인 경우, 상기 영상 모드 선택부는, 상기 입력 영상 신호에 대하여 다 시점에 대응하여 변환시킨 복수의 3D 영상 데이터를 저장하는 다 시점 영상 저장부, 상기 입력 영상 신호에 대하여 다 시점별로 실시간 복수의 3D 영상 데이터로 변환하는 다 시점 영상 변환부, 및 다 시점 영상 모드에서의 상기 제2 영상 변경 간격을 기준으로 상기 다 시점 중에서 사용자의 위치 지점에서 양안의 대응하는 시점을 각각 선택하고, 상기 각 시점에 따른 3D 영상 데이터를 상기 다 시점 영상 저장부 또는 상기 다 시점 영상 변환부로부터 전달받는 시점 영상 선택부를 포함한다.
상기 선택된 영상 모드가 2D/3D 영상 모드인 경우, 상기 영상 모드 선택부는, 상기 입력 영상 신호에 대하여 3D 영상 데이터로 미리 변환시킨 복수의 3D 영상 데이터를 저장하는 3D 영상 저장부, 상기 입력 영상 신호에 대하여 실시간으로 2D 영상 데이터에서 3D 영상 데이터로 변환하는 2D/3D 영상 변환부, 및 2D/3D 영상 모드에서의 상기 제2 영상 변경 간격을 기준으로 3D 시청에 대한 정상 영역과 비정상 영역 중에서 사용자의 위치 지점에 따른 해당 영역을 선택하고, 상기 3D 영상 저장부 또는 2D/3D 영상 변환부로부터 3D 영상 데이터를 전달받거나, 또는 상기 입력 영상 신호로서 2D 영상 데이터를 전달받는 2D/3D 영상 선택부를 포함한다.
상기 선택된 영상 모드가 다 시점 영상 모드인 경우, 상기 기준 입력값은 상기 표시 영상에 대한 사용자의 기준 거리, 전체 시청 각도, 다 시점의 개수, 상기 전체 시청 각도를 상기 다 시점의 개수로 분할할 때 단일 시점에 대한 각도일 수 있다. 그러나 이에 반드시 제한되는 것은 아니다.
상기 선택된 영상 모드가 2D/3D 영상 모드인 경우, 상기 기준 입력값은 상기 표시 영상에 대한 사용자의 기준 거리, 전체 시청 각도, 3D 시청에 대한 정상 영역의 각도, 3D 시청에 대한 비정상 영역의 각도일 수 있다.
그러나 이에 반드시 제한되는 것은 아니다.
상기 입체 영상 표시 장치는, 상기 표시 영상에 대면하여 시청하는 사용자를 촬영하여 위치 추적 대상의 영상 정보를 취득하는 영상 취득부, 및 상기 위치 추적 대상의 영상 정보를 전달받아 상기 사용자의 관찰 위치 좌표 데이터를 획득하는 위치 추적부를 포함하는 카메라를 더 포함한다.
상기 위치 추적 대상은 사용자의 얼굴 또는 양 눈(eye)일 수 있다.
상기 입체 영상 표시 장치는, 사용자가 착용한 3D 안경의 마커를 감지하여 마커의 영상 정보를 취득하는 마커 인식부, 및 상기 마커의 영상 정보를 전달받아 마커의 위치 정보를 상기 사용자의 관찰 위치 좌표 데이터로서 획득하는 마커 위치 추적부를 포함하는 카메라를 더 포함할 수 있다.
상기 3D 안경은 편광 안경 또는 셔터 안경일 수 있다.
한편 상기 목적을 달성하기 위한 본 발명의 다른 일 실시 예에 따른 입체 영상 표시 방법은 표시 영상을 시청하는 사용자의 관찰 위치 좌표 데이터를 획득하는 단계, 상기 관찰 위치 좌표 데이터를 이용하여 표시 영상을 시청하는 사용자의 실제 거리를 연산하는 단계, 영상 모드에 따라 기 설정된 제1 영상 변경 간격을 보정하여 상기 실제 거리에 대응하는 제2 영상 변경 간격을 산출하는 단계, 및 상기 영상 모드 중에서 선택된 제1 영상 모드에서 상기 제2 영상 변경 간격을 기준으로 사용자의 위치 지점을 결정하고, 상기 지점에 대응하는 제1 영상 모드의 영상 데이터를 생성하는 단계를 포함한다.
상기 관찰 위치 좌표 데이터를 획득하는 단계는, 표시 영상에 대면하여 시청하는 사용자를 촬영하여 위치 추적 대상의 영상 정보를 취득하는 단계, 및 상기 위치 추적 대상의 영상 정보를 전달받아 위치 추적 알고리즘에 의해 상기 관찰 위치 좌표 데이터를 획득하는 단계를 포함할 수 있다.
다른 실시 예로서, 상기 관찰 위치 좌표 데이터를 획득하는 단계는, 사용자가 착용한 3D 안경의 마커를 감지하여 마커의 영상 정보를 취득하는 단계, 및 상기 마커의 영상 정보를 전달받아 마커의 위치 정보를 상기 관찰 위치 좌표 데이터로서 획득하는 단계를 포함할 수 있다.
상기 제1 영상 모드는 다 시점 영상 모드 또는 2D/3D 영상 모드이고, 상기 다 시점 영상 모드는 상기 제2 영상 변경 간격을 기준으로 다 시점 중에서 상기 사용자의 위치 지점에서 양안의 대응하는 시점을 각각 선택하고, 상기 각 시점에 따른 3D 영상 데이터를 표시하는 영상 모드이고, 상기 2D/3D 영상 모드는 상기 제2 영상 변경 간격을 기준으로 3D 시청에 대한 정상 영역과 비정상 영역 중에서 상기 사용자의 위치 지점에 따른 해당 영역을 선택하고, 상기 입력 영상 신호를 그대로 2D 영상 데이터로 표시하거나, 변환된 3D 영상 데이터를 표시하는 영상 모드일 수 있다.
상기 영상 모드는 다 시점 영상 모드 및 2D/3D 영상 모드를 포함하고, 상기 다 시점 영상 모드에서 상기 제1 영상 변경 간격 및 상기 제2 영상 변경 간격은, 사용자와 입체 표시 장치와의 기준 거리를 기준으로 전체 시청 각도를 소정의 제1 각도로 분할한 복수의 시점에 대응하는 길이이고, 상기 2D/3D 영상 모드에서 상기 제1 영상 변경 간격 및 상기 제2 영상 변경 간격은, 상기 기준 거리를 기준으로 상기 전체 시청 각도를 3D 시청에 대한 정상 영역과 비정상 영역으로 분할한 각각의 영역에 대응하는 길이일 수 있다.
상기 제1 영상 변경 간격은 상기 영상 모드별로 사용자가 기준 입력값을 미리 입력하여 설정된다.
상기 제1 영상 모드의 영상 데이터를 생성하는 단계는, 상기 제1 영상 모드가 다 시점 영상 모드인 경우에, 입력 영상 신호에 대하여 다 시점에 대응하여 3D 영상 데이터로 변환시켜 저장한 복수의 3D 영상 데이터 중에서 상기 사용자의 위치 지점에 대응하는 시점에 따른 3D 영상 데이터를 전달받거나, 상기 입력 영상 신호에 대하여 상기 사용자의 위치 지점에 대응하는 시점에 따라 실시간으로 변환한 3D 영상 데이터를 전달받는다.
한편 상기 제1 영상 모드의 영상 데이터를 생성하는 단계는, 상기 제1 영상 모드가 2D/3D 영상 모드인 경우에, 3D 시청에 대한 정상 영역과 비정상 영역 중에서 상기 사용자의 위치 지점에 따른 해당 영역에 따라 기 저장되거나 실시간으로 변환된 3D 영상 데이터를 전달받거나, 입력 영상 신호의 2D 영상 데이터를 그대로 전달받는다.
본 발명에 따르면 종래 무안경 방식의 입체 영상 표시에서 2시점으로 제한된 영상 구현의 한계에서 벗어나, 안경 방식의 입체 영상 표시 장치에서 넓은 시야각 특성을 이용하여 사용자의 위치별 다 시점의 입체 영상을 표시할 수 있다. 그래서 사용자의 위치에 상관없이 안정적이고 균일한 입체 영상을 제공할 수 있다.
또한 사용자의 위치에 따라서 2D 또는 3D의 영상을 선택적으로 표현함으로써 사용자에게 새로운 방식의 영상 구현을 경험하게 하고, 영상을 시청할 때 시각적 편안함을 줄 수 있다.
도 1은 본 발명의 일 실시 예에 따른 입체 영상 표시 장치의 구성을 개략적으로 나타낸 블록도.
도 2는 본 발명의 일 실시 예에 따른 입체 영상 표시 장치의 다 시점 영상 구현에서 시점 영상 변경 간격을 예시한 도면.
도 3은 사용자의 위치에 따라 동일 영상의 시점별 표시 상태를 모식화한 도면.
도 4는 도 1의 입체 영상 표시 장치에 의한 입체 영상 표시 방법을 나타내는 흐름도.
도 5는 본 발명의 다른 일 실시 예에 따른 입체 영상 표시 장치에서 제어부의 구성을 개략적으로 나타낸 블록도.
도 6은 본 발명의 다른 일 실시 예에 따른 입체 영상 표시 장치의 2D/3D 영상 구현에서 사용자 위치별 구동 방식을 예시한 도면.
도 7은 도 5의 실시 예에 따른 입체 영상 표시 장치에 의한 입체 영상 표시 방법을 나타내는 흐름도.
도 8은 본 발명의 다른 일 실시 예에 의한 입체 영상 표시 장치의 일부 구성을 개략적으로 나타낸 블록도.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.
본 발명의 실시 예를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 일 실시 예에 따른 입체 영상 표시 장치(이하, '표시 장치'와 혼용하여 기술함)의 구성을 개략적으로 나타낸 블록도이다.
도 1의 입체 영상 표시 장치는 카메라(10), 제어부(20), 및 표시부(30)를 포함한다. 도 1의 실시 예에서 표시부(30)에 입체 영상을 표시하기 위한 스캔 드라이버, 게이트 드라이버, 데이터 드라이버 등을 포함하는 구동 회로는 본 발명의 기술적 특징을 나타내는 구성과 무관하므로 도 1에 도시하지 않았으며 이에 대한 설명은 공지된 기술로서 생략한다.
도 1에서 카메라(10)는 표시 장치에 대면하여 영상을 시청하고 있는 사용자를 대상으로 하여 촬영하는 영상 취득 장치이다. 카메라(10)는 특히 입체 영상을 시청하기 위해 3D 안경(40)을 쓰고 본 발명의 입체 영상 표시 장치 앞에 위치하는 사용자(시청자)를 촬영한다.
상기 카메라(10)는 본 발명의 입체 영상 표시 장치의 내부에 실장될 수 있다. 혹은 도 2에서 보는 바와 같이 입체 영상 표시 장치의 외부, 특히 영상을 표시하는 표시부(30)의 상부에 위치하도록 구성할 수 있다.
상기 카메라(10)는 영상 취득부(101) 및 위치 추적부(102)를 포함할 수 있다. 영상 취득부(101)는 입체 영상을 시청하는 사용자를 촬영하여 위치 추적의 대상의 영상 데이터 정보를 취득하는 수단이다.
위치 추적부(102)는 상기 영상 취득부(101)에서 촬영한 영상 데이터를 전달받아 표시 장치 앞에서 시청하는 사용자의 위치 정보를 획득하고, 위치 정보를 표시 장치의 제어부(20)에 전달한다.
여기서, 사용자의 위치 정보란, 사용자의 얼굴 또는 눈의 위치에 대응하는 위치 좌표 데이터이다. 상기 위치 좌표 데이터는 소정의 위치에 있는 사용자의 얼굴 또는 눈의 위치에 대해서 위치 추적 알고리즘을 이용하여 구할 수 있다. 위치 추적 알고리즘은 특별히 제한되지 않으며 공지된 위치 추적 프로그램에 따른 기술을 사용할 수 있다.
한편, 제어부(20)는 영상 변경 간격 설정부(201), 연산 및 보정부(202), 영상 모드 선택부(203)를 포함한다. 도 1에서의 제어부(20)는 본 발명의 기술적 특징을 구현하기 위하여 구비되는 수단 위주로 도시한 것이고, 일반적인 표시 장치의 구동 회로 제어에 관련된 기능을 수행하는 제어 수단은 본 발명과 무관한 부분이므로 설명을 생략하기로 한다.
영상 변경 간격 설정부(201)는 사용자가 선택하는 입체 영상 모드에 따라 적절한 사용자의 위치에 따른 영상 변경 간격을 설정하는 수단이다.
본 발명에 따른 입체 영상 표시 장치에서, 상기 입체 영상 모드는 사용자가 표시 장치 앞에서 위치를 이동할 때마다 이에 대응하는 복수의 시점, 즉 다 시점(多 視點, multi view point)에 따른 영상을 표시하는 모드(이하, 다 시점 영상 모드라 함)와 사용자의 위치 이동으로 3D 영상이 정상적으로 보이는 범위의 정상 영역과 그렇지 않은 비정상 영역에 따른 2D 또는 3D의 영상을 표시하는 모드(이하, 2D/3D 영상 모드라 함)를 포함한다.
본 발명에 따른 입체 영상 표시 장치에서, 상기 영상 변경 간격은 입체 영상 모드에 따라 다 시점에 관련된 영상 변경 간격과 3D 표시의 정상/비정상 영역에 관련된 영상 변경 간격을 포함하는 개념이다.
사용자는 미리 상기 입체 영상 모드를 선택할 수 있는데, 상기 영상 변경 간격 설정부(201)는 사용자가 설정한 입체 영상 모드에 따라 영상 변경 간격을 설정한다.
구체적으로, 사용자가 다 시점 영상 모드를 선택한 경우, 상기 영상 변경 간격은 사용자의 위치 이동에 따른 다 시점에 대응하는 간격이다. 한편, 2D/3D 영상 모드를 선택한 경우, 상기 영상 변경 간격은 사용자의 위치 이동에 따른 정상 영역과 비정상 영역 각각의 간격이다.
즉, 영상 변경 간격은 표시 장치와 대면하여 영상을 시청하는 사용자의 위치가 일방향으로 변경됨에 따라 동일 영상이 사용자에게 인지되는 형태가 달라질 때의 변경 각도에 대응하는 일방향의 직선 거리이다. 영상 변경 간격은 카메라와 사용자 사이의 기준 거리(사용자가 카메라에 대향하여 정면에 위치하였을 때 직선 거리)에 대하여 설정된다.
상기 선택되는 영상 모드에 따라서 설정되는 영상 변경 각도의 내용이 달라진다.
사용자가 다 시점 영상 모드를 선택하는 실시 예(이하 제1 실시 예라 함)에서, 상기 영상 변경 간격은 사용자에 의해 입력되는 기준 입력값에 의해 설정된다. 상기 기준 입력값은 카메라와 사용자 간의 기준 거리, 전체 시청 각도, 시점의 개수, 단일 시점에 대한 각도 등의 값을 포함할 수 있다. 그래서 상기 영상 변경 간격 설정부(201)에서 각 단일 시점에 대응하여 동일한 값인 영상 변경 간격이 설정될 수 있다.
구체적으로 도 2를 참조하면, 다 시점 영상 모드의 영상 변경 간격은 각 시점(예를 들어, 1 내지 9)에 따른 각각의 길이(Di)를 의미한다. 따라서, 다 시점 영상 모드의 영상 변경 간격(Di)을 설정하기 위해서 사용자는 기준 입력값으로서, 기준 거리(Dr), 전체 시청 각도(tot), 시점의 개수를 설정할 수 있다. 그러면 단일 시점에 대한 영상 변경 간격(Di)이 산출될 수 있다. 또는 기준 입력값으로서 기준 거리(Dr)와 단일 시점에 대한 각도(α)를 입력하여 단일 시점에 대한 영상 변경 간격(Di)을 산출할 수도 있다.
도 2에서 예시한 상기 시점은, 하나의 위치 지점만을 의미하지 않으며, 전체 시청 각도(tot)를 동일한 단일 시점에 대한 각도(α)로 분할하였을 때 개개의 분할 간격에 대응하는 길이 범위를 포함하는 개념이다.
한편, 사용자가 2D/3D 영상 모드를 선택하는 실시 예(이하, 제2 실시 예라 함)에서 상기 영상 변경 간격 설정부(201)에서 사용자의 기준 입력값에 의해 설정되는 영상 변경 간격은 3D 시청의 정상 영역 및 비정상 영역 각각의 간격이다. 즉, 2D/3D 영상 구현을 예시한 도 6을 참조하면, 2D/3D 영상 모드에서의 영상 변경 간격은, 기준 거리(Dr)을 중심으로, 3D 시청에 대한 정상 영역의 각도(도 6에서의 β)에 대응하는 일방향의 직선 거리(Di_3) 또는 비정상 영역의 각도(도 6에서 전체 시청 각도(tot)에서 β를 뺀 각도)에 대응하는 일방향의 직선 거리(Di_1 및 Di_2)를 의미한다.
따라서 상기 2D/3D 영상 모드의 기준 입력값은 카메라와 사용자 간의 기준 거리(Dr), 전체 시청 각도(tot), 정상 영역의 각도(β), 비정상 영역의 각도 등을 포함한다.
다시 도 1로 돌아와서, 상기 연산 및 보정부(202)는 카메라(10)에 의해 실시간으로 획득된 사용자의 위치 좌표를 기반으로 카메라와 사용자 간의 실제 거리를 계산한다. 또한 상기 영상 변경 간격 설정부(201)에서 사용자에 의해 설정된 영상 변경 간격과 카메라-사용자 간의 실제 거리에 따라 상기 영상 변경 간격을 보정한다.
즉, 카메라로부터 전달된 위치 정보 데이터에서 연산된 카메라와 사용자 간의 실제 거리는 상기 영상 변경 간격 설정부(201)에서 영상 변경 간격을 설정할 때 이용된 기준 거리(Dr)와 차이가 있다. 따라서 이러한 거리 차이를 반영하여 영상 변경 간격을 재조정한다.
기준 거리가 1미터인 경우를 기준 입력값으로 하여 영상 변경 간격을 설정하였는데, 실제 거리가 증가하였다면, 각 시점의 영상 변경 간격을 넓게 보정해야 한다.
반대로 기준 거리가 1미터인 경우를 기준 입력값으로 하여 영상 변경 간격을 설정하였는데, 실제 거리가 감소하였다면, 각 시점의 영상 변경 간격은 그에 대응하여 좁게 보정해야 한다.
상기 다 시점 영상 모드인 제1 실시 예에서, 기준 입력값에 의해 영상 변경 간격 설정부(201)에서 기 설정된 영상 변경 간격에 따를 경우, 사용자의 양안 시점이 서로 다르다 하더라도, 실제 거리가 증가되면 양안 시점이 동일한 시점이 될 수 있다.
한편, 상기 2D/3D 영상 모드인 제2 실시 예에서, 기준 입력값에 의해 영상 변경 간격 설정부(201)에서 기 설정된 영상 변경 간격에 따를 경우 사용자의 위치 정보가 2D 영역이더라도, 실제 거리가 증가되면 3D 영역에 편입될 수도 있다.
한편, 영상 모드 선택부(203)는 본 발명의 입체 영상 표시 장치에서 표시하는 영상 모드를 선택하는 수단이다. 즉, 상기 제1 실시 예와 같이 다 시점 영상 모드로 동작하게 할 것인지 또는 상기 제2 실시 예와 같이 2D/3D 영상 모드로 동작하게 할 것인지 선택하는 수단이다.
영상 모드 선택부(203)는 사용자가 선택한 영상 표시 모드에 따라 각각 구동을 제어할 수 있도록 대응하는 구성을 포함한다.
설명의 편의를 위해 영상 모드 선택부(203)의 세부 구성을 도 1과 도 5에 각각 나누어 도시하였지만, 영상 모드 선택부(203)는 도 1과 도5에 도시된 구성을 모두 포함한다.
구체적으로 도 1에 도시된 바와 같이, 제1 실시 예의 다 시점 영상 모드를 선택할 경우 영상 모드 선택부(203)는 시점 영상 선택부(2031), 다 시점 영상 저장부(2032), 및 다 시점 영상 변환부(2033)에 의해 다 시점 영상 표시를 수행한다.
만일 사용자가 제2 실시 예의 2D/3D 영상 모드를 선택한다면, 도 5와 같이 영상 모드 선택부(203)는 2D/3D 영상 선택부(2035), 2D/3D 영상 변환부(2036), 및 3D 영상 저장부(2037)에 의해 2D 영상 또는 3D 영상 표시를 수행한다. 제2의 실시 예에 따른 영상 모드 선택부(203)의 설명은 이후에 설명하기로 한다.
도 1의 제1 실시 예에 따른 영상 모드 선택부(203)는 사용자의 입력값에 의해 다 시점 영상 모드로 설정된다. 그러면 도 1에서 시점 영상 선택부(2031)는 상기 연산 및 보정부(202)에서 계산된 사용자(관찰자)와 카메라와의 실제 거리와 상기 실제 거리에 따라 보정된 영상 변경 간격에 대한 정보를 전달받는다.
다 시점 영상 모드 하에서 시점 영상 선택부(2031)는 사용자의 위치에 따라 다 시점 중에서 양안에 대응하는 시점을 선택하고 해당 시점들에 대응하는 영상을 선택한다. 상기 해당 시점들에 대응하는 영상은 다 시점 영상 저장부(2032) 또는 다 시점 영상 변환부(2033)에서 전달받을 수 있다.
즉, 동일한 객체이더라도 다 시점 각각에 따라 보이는 영상이 상이하다. 이는 도 3을 참조하여 알 수 있다. 즉, 도 3에는 동일한 직육면체의 대상에 대해 세 가지 시점(A 내지 C)에 따라 보이는 영상이 상이한 것을 개략적으로 예시한 것이다. 사용자가 일 방향(가로 방향)으로 이동할 때 사용자의 위치에 따라 시점 A에서는 1_A의 영상으로 보이고, 시점 B에서는 1_B의 영상으로 보이며, 시점 C에서는 1_C의 영상으로 보인다.
본 발명에 따른 제1 실시 예의 다 시점 영상 모드에서는, 양안의 위치에 따라 시점이 A와 B로 상이할 때 각각 대응하는 시점 영상(1_A, 1_B)을 표시하도록 함으로써 다이나믹한 3차원 입체 영상이 구현되도록 한다.
도 1에서 시점 영상 선택부(2031)는 사용자의 위치 정보 데이터에 따라 보정된 영상 변경 간격으로부터 양안의 시점을 선택할 수 있다.
그러면 다 시점 영상 저장부(2032)는 기 저장된 복수의 다 시점 영상 중 상기 선택된 사용자의 위치에 따른 시점에 대응하는 표시 영상들을 시점 영상 선택부(2031)에 전달할 수 있다.
다 시점 영상 저장부(2032)는 다 시점에 대한 복수의 영상을 각각 미리 저장해둘 수 있다. 즉, 기 입력된 2D의 영상 데이터에서 3D 영상 데이터를 변환함에 있어 다 시점에 대응하는 각각의 영상 데이터를 변환시켜 저장할 수 있다. 즉, 상기 기 저장된 다 시점별 3D 영상 데이터는 다 시점 영상 변환부(2033)에서 입력된 2D 영상 데이터를 전달받아 미리 영상 변경 간격에 따른 복수의 시점별로 변환시킨 것일 수 있다.
또한 다 시점 영상 변환부(2033)는 실시간으로 입력되는 2D 영상 데이터에 대해 상기 시점 영상 선택부(2031)에서 결정된 상기 사용자의 위치 정보에 대응하는 각 시점에 따른 3D 영상을 실시간으로 변환할 수 있다. 이때, 상기 변환된 해당 시점에 따른 3D 영상은 시점 영상 선택부(2031)에 전달될 수 있다.
표시부(30)는 영상 데이터 신호에 따른 데이터 전압으로 구동하여 영상을 표시하는 복수의 화소를 포함한다. 표시부(30)는 상기 시점 영상 선택부(2031)에서 처리된 사용자의 위치에 따른 양안 시점에 대응하는 해당 시점들에 관한 3D 표시 영상 데이터에 대응하는 영상을 표시한다. 공지된 기술이므로 도 1에 구체적으로 도시하지 않았으나, 제어부(20)의 상기 시점 영상 선택부(2031)에서 처리된 3D 표시 영상 데이터는 데이터 구동부를 통해 표시부(30)에 전달된다.
본 발명의 제1 실시 예에 의하면, 사용자가 표시 장치에 대면하여 일방향(일례로 좌우 방향)으로 이동할 때마다 표시 장치에 부착된 카메라에 의해 사용자의 위치가 추적되고 그 양안 위치에 해당하는 각 시점의 영상이 표시될 수 있다. 그러면 사용자는 자신의 움직임에 따라 다양한 시점의 영상을 보게 됨으로써 운동시차를 느껴 다이나믹한 영상을 시청할 수 있다. 이때 사용자가 부착하는 3D 안경(40)은 입체 표시 장치용 안경으로써 편광안경 또는 셔터안경일 수 있다.
도 4는 본 발명의 상기 제1 실시 예인 다 시점 영상 모드에 따라 영상을 표시하기 위한 흐름도이다.
먼저, 입체 영상 표시 장치에 대면하여 영상을 시청하는 사용자의 영상을 촬영하여 눈 또는 얼굴의 대상 영상 데이터를 획득한다(S1).
사용자의 얼굴이나 눈의 위치를 추적하여 그 위치 좌표 데이터를 생성한다(S2). 이는 상술한 바와 같이 표시 장치에 외부적으로 부착되거나 내부에 포함하여 구성된 카메라에 의해 수행될 수 있다.
그런 다음 관찰 대상의 위치 좌표 데이터는 본 발명의 실시 예에 따라 카메라와의 실제 거리에 기초하여 다양한 방식으로 3D 영상을 구현하기 위하여 제어부에 전달된다(S3).
상기 제어부에서는 상기 위치 좌표 데이터를 이용하여 사용자와 카메라 간의 실제 거리를 연산한다(S4). 이때 제어부에는 미리 사용자가 기준 입력값을 입력하여 영상 변경 간격을 설정하는 과정(S5)에서 산출된 영상 변경 간격이 입력될 수 있다(S6).
상기 S4 과정과 S6 과정에서 취득된 사용자-카메라 간 실제 거리와 사용자가 설정한 영상 변경 간격의 정보를 이용하여 실제 거리에 따른 영상 변경 간격이 보정된다(S7).
도 4의 흐름도는 본 발명의 실시 예 중에서 제어부의 영상 모드 선택부에서 다 시점 영상 모드가 선택되는 경우인데, S7 과정에서 영상 변경 간격을 보정하고 나면, 상기 보정된 영상 변경 간격을 기준으로 사용자의 관찰 위치를 선택한다(S8). 즉, 상기 보정된 영상 변경 간격을 기초로 사용자의 관찰 위치 좌표 데이터를 이용하여 기 설정된 다 시점 중에서 어느 시점에 해당하는지 판단한다.
그래서 다 시점 영상 모드 하에서 사용자의 관찰 위치에 대한 시점이 결정되면, 해당 시점에 따른 표시 영상을 선택할 수 있다(S9).
해당 시점에 대응하는 표시 영상은 시점에 따라 형태가 조금씩 상이할 수 있는 영상 데이터로서, 실시간으로 입력되는 입력 신호가 아닌 경우라면, 기 저장된 3차원 입체 영상 데이터일 수 있다. 즉, 각각의 시점별로 3D 영상 데이터 신호가 저장되고(S11), S9 과정에서 선택되는 관찰 위치에 따른 시점에 대응하는 3D 영상 데이터 신호가 전달된다.
만일, 실시간으로 입력되는 입력 신호인 경우라면, 3D 영상 데이터 신호로 변환할 수 있고(S10), 변환된 3D 영상 데이터 신호가 전달될 수 있다.
제어부의 영상 모드 선택부에서는 관찰 위치에 따른 시점별 표시 영상을 S10 또는 S11의 과정을 통해 취득하고, 데이터 구동부를 통해 표시부에 전달하여 영상을 표시하게 한다(S12).
도 5는 본 발명의 다른 일 실시 예에 따른 입체 영상 표시 장치에서 제어부(20')의 구성을 개략적으로 나타낸 블록도이다. 구체적으로 제2 실시 예로서, 2D/3D 영상 모드가 선택되는 경우에 영상 모드 선택부(203)의 구성을 나타낸 것이다.
제2 실시 예의 경우에도 제어부는 영상 변경 간격 설정부(201), 연산 및 보정부(202), 영상 모드 선택부(203)를 포함한다. 그리고 영상 변경 간격 설정부(201), 연산 및 보정부(202)의 기능은 동일하지만, 제2 실시 예의 2D/3D 영상 모드 하에서는 영상 변경 간격의 개념이 3D 표시가 정상인 영역과 비정상인 영역의 간격이다. 이를 설정하기 위한 사용자의 기준 입력값을 위에서 예시한 바 있다.
도 5를 참조하면, 영상 모드 선택부(203)는 사용자가 선택한 2D/3D 영상 표시 모드에 따라 각각 구동을 제어할 수 있도록 2D/3D 영상 선택부(2035), 2D/3D 영상 변환부(2036), 및 3D 영상 저장부(2037)를 포함한다.
사용자의 입력값에 의해 영상 모드 선택부(203)가 2D/3D 영상 모드로 설정되면, 2D/3D 영상 선택부(2035)는 입력되는 영상 신호를 2D로 구현할 것인지 3D로 구현할 것인지 결정한다.
이를 위하여 2D/3D 영상 선택부(2035)는 상기 연산 및 보정부(202)에서 계산된 사용자(관찰자)와 카메라와의 실제 거리와 상기 실제 거리에 따라 보정된 영상 변경 간격에 대한 정보를 전달받는다.
이때 상기 실제 거리는 카메라에 의해 사용자의 관찰 위치 좌표 데이터를 전달받아 상기 연산 및 보정부(202)에서 계산된 것이다. 또한 상기 보정된 영상 변경 간격은, 상기 영상 변경 간격 설정부(201)에서 사용자의 기준 입력값에 따라 기 설정된 영상 변경 간격, 즉 도 6에서의 3D 영역(Di_3)과 2D 영역(Di_1, Di_2) 각각의 간격을 상기 연산 및 보정부(202)에서 카메라-사용자 간의 실제 거리에 대응하여 보정한 것이다.
도 6을 참조하여 알 수 있듯이, 3차원 입체 영상을 표시할 경우, 전체 시청 범위(tot) 중에서 사용자가 표시 장치의 중심 부분에서 일정한 범위 안에 있을 때에는 3차원 입체 영상이 정상적으로 표시되나, 이를 벗어나서 좌측 또는 우측 방향으로 이동하면 좌안 영상과 우안 영상이 역전되어 어지러움을 느낄 수 있고 3차원 입체 영상이 정상적으로 인지되지 않는다.
본 발명에서는 정상적으로 3차원 입체 영상이 인지되는 영역을 3D 영역으로, 비정상적으로 인지되는 영역을 2D 영역으로 명명하고, 소정의 기준 거리(Dr)에 대응하는 3D 영역(Di_3)과 2D 영역(Di_1, Di_2)의 직선 거리를 영상 변경 간격으로 정의한다.
따라서, 상기 영상 변경 간격 설정부(201)에서 사용자의 기준 입력값에 따라 기 설정된 영상 변경 간격은 기준 거리(Dr)에 따라 설정된 값이므로, 연산 및 보정부(202)는 영상 변경 간격을 실제 거리에 따라 달라지는 값으로 보정한다.
그러면, 2D/3D 영상 선택부(2035)는 상기 실제 거리와 상기 보정된 영상 변경 간격에 대한 정보를 이용하여 사용자의 실제 관찰 위치에 대응하는 영상 변경 간격 내의 지점을 구한다. 즉, 사용자의 실제 관찰 위치가 3D 영역(Di_3)과 2D 영역(Di_1, Di_2)의 영상 변경 간격 중 어느 지점에 해당하는지 판단한다. 그래서 사용자의 실제 관찰 위치가 3D 영역(Di_3)의 범위 내에 속하면 입력 영상 신호를 3D 영상으로 표시하고, 3D 영상이 제대로 구현되지 않는 2D 영역(Di_1, Di_2)의 범위 내에 속하면 입력 영상 신호를 그대로 2D 영상으로 표시하도록 결정한다.
사용자의 실제 관찰 위치가 3D 영역(Di_3)의 범위 내에 속하여 3D 영상을 표시하게 될 때, 3D 영상 데이터는 2D/3D 영상 변환부(2036) 또는 3D 영상 저장부(2037)를 통해서 전달받을 수 있다.
상기 3D 영상 저장부(2037)는 입력 영상 신호에 대한 변환된 3차원 영상 데이터를 미리 저장한다. 즉, 기 입력된 2D의 영상 데이터에서 양안에 대응하여 미리 변환된 3차원 영상 데이터를 저장할 수 있다.
상기 3D 영상 저장부(2037)에 저장되는 3D 영상 데이터는 2D/3D 영상 변환부(2036)에서 입력된 2D 영상 데이터를 전달받아 미리 양안 시점에 따라 변환시킨 것일 수 있다.
3D 영상 저장부(2037)는 2D/3D 영상 선택부(2035)에서 사용자 관찰 위치가 3D 영역인 것으로 선택되면 저장된 3D 영상 데이터를 2D/3D 영상 선택부(2035)에 전달한다.
다른 실시 형태로서, 2D/3D 영상 선택부(2035)에서 사용자 관찰 위치가 3D 영역인 것으로 선택되는 경우에, 2D/3D 영상 변환부(2036)로부터 3D 영상 데이터를 전달받을 수 있다. 즉, 2D/3D 영상 변환부(2036)는 실시간으로 입력되는 2D 영상 데이터에 대해 양안 시점에 따른 3D 영상 데이터를 실시간으로 변환하여 2D/3D 영상 선택부(2035)에 전달할 수 있다.
그리고, 2D/3D 영상 선택부(2035)에서 사용자 관찰 위치가 2D 영역인 것으로 선택되는 경우에 상기 2D/3D 영상 선택부(2035)는 입력되는 영상 데이터 신호에 따라서 그대로 2D 영상데이터를 표시부에 전달하여 2D 영상을 표시하게 할 수 있다.
따라서, 제2 실시 예의 2D/3D 영상 모드에 따르면 본 발명은 3D 영상이 안정적으로 구현되는 범위에 사용자가 위치할 때에만 3D 영상이 표시되게 하고, 그 외의 범위에서는 2D 영상이 표시되게 함으로써, 사용자 위치에 따라 즉각적으로 반응하여 사용자에게 다양한 방식의 영상을 새롭게 경험하게 할 수 있다. 또한 이러한 구동 방식은 사용자로 하여금 표시 영상을 피로감 없이 편안하게 시청하게 할 수 있다.
도 7은 도 5의 제2 실시 예에 따른 입체 영상 표시 장치에 의한 입체 영상 표시 방법을 나타내는 흐름도이다.
먼저, 입체 영상 표시 장치에 대면하여 영상을 시청하는 사용자의 영상을 촬영하여 눈 또는 얼굴의 대상 영상 데이터를 획득한다(S101).
사용자의 얼굴이나 눈의 위치를 추적하여 그 위치 좌표 데이터를 생성한다(S102). 이 과정은 표시 장치에 외부적으로 부착되거나 내부에 포함하여 구성된 카메라에 의해 수행될 수 있다.
그런 다음 관찰 대상의 위치 좌표 데이터는, 본 발명의 실시 예에 따라 카메라와의 실제 거리에 기초하여 2D 영상 또는 3D 영상으로 구현하기 위하여 제어부에 전달된다(S103).
상기 도 5의 제어부에서는 상기 위치 좌표 데이터를 이용하여 사용자와 카메라 간의 실제 거리를 연산한다(S104). 이때 제어부는 영상 변경 간격을 설정하는 과정(S105)에서 산출된 영상 변경 간격에 대한 정보를 전달받을 수 있다(S106). 상기 S105 과정에서 설정한 상기 영상 변경 간격은 미리 사용자가 입력한 기준 입력값에 의해 계산된다.
상기 S104 과정과 S106 과정에서 취득된 사용자-카메라 간 실제 거리와 사용자가 설정한 영상 변경 간격의 정보를 이용하여 실제 거리에 따른 영상 변경 간격이 보정된다(S107).
그러면 상기 보정된 영상 변경 간격을 기초로 하여 사용자의 실제 관찰 위치에 대응하는 지점이 어느 영역인지 문의하여 선택한다(S108). 즉, 2D/3D 영상 모드 하에서 사용자의 관찰 위치에 대응하는 영상 변경 간격 내의 위치를 파악한다.
만일 2D 영역에 위치하는 경우라면, 2D 영상 구동 방식을 선택하는 것이고(S109), 외부에서 입력되는 영상 신호에 따라 실시간으로 2D 영상 데이터를 그대로 전달하여 표시부에 2D 영상이 표시된다(S113).
만일 3D 영역에 위치하는 경우라면, 3D 영상 구동 방식이 선택되는데(S111), 구체적으로 두 가지 방식으로 구현될 수 있다.
즉, 도 5에서 설명한 바와 같이 3D 영상 저장부(2037)에 기 저장된 3D 영상 데이터를 전달받거나(S112), 또는 2D/3D 영상 변환부(2036)가 실시간 입력되는 2D 영상 데이터를 3D 영상 데이터로 변환하는(S110) 방식이다. 그래서, 기 저장된 3D 영상 데이터 또는 실시간 변환된 3D 영상 데이터를 전달받고, 데이터 구동부를 통해 3D 영상 데이터를 전달받은 표시부는 3D 영상을 표시한다(S113).
도 8은 본 발명의 다른 일 실시 예에 의한 입체 영상 표시 장치의 일부 구성을 개략적으로 나타낸 블록도이다.
도 8에 따른 실시 형태는 상술한 다 시점 영상 모드와 2D/3D 영상 모드를 모두 동일하게 수행할 수 있는 입체 영상 표시 장치로서, 상기 도 1에 개시된 카메라, 제어부, 및 표시부를 포함한다. 상기 제어부와 표시부의 구성과 기능은 도 1의 실시 예와 동일하므로 설명은 생략한다. 다만 도 8은 도 1의 실시 예와 달리 사용자의 관찰 위치를 추적하는 카메라(10')의 구성에 차이가 있다.
즉, 도 8에 따른 입체 영상 표시 장치의 카메라(10')는 마커의 위치를 추적하는 특수 카메라로서 마커를 인식하여 사용자의 위치 좌표 데이터를 획득한다. 상기 마커(50)는 사용자의 3D 안경(40)에 삽입된다.
도 8의 카메라(10')는 마커를 감지하고 이를 촬영하여 마커의 영상을 획득하는 마커 인식부(103) 및 상기 촬영된 마커 영상 데이터를 전달받아 마커의 위치 정보를 획득하고, 이를 사용자의 관찰 위치 좌표 데이터로 생성하는 마커 위치 추적부(104)를 포함한다.
상기 마커 위치 정보는 위치 추적 알고리즘을 이용하여 구한 마커의 위치 좌표 데이터로서, 마커(50)가 사용자의 3D 안경(40)에 부착되어 있으므로 표시 장치에 대면한 사용자의 실제 관찰 위치 좌표 데이터에 갈음한다.
마커 위치 추적부(104)에서 연산한 마커 위치 정보는 제어부에 전달되어 상기 설명한 제1 실시 예 또는 제2 실시 예에 따른 입체 영상 표시에 이용된다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 용이하게 선택하여 대체할 수 있다. 또한 당업자는 본 명세서에서 설명된 구성요소 중 일부를 성능의 열화 없이 생략하거나 성능을 개선하기 위해 구성요소를 추가할 수 있다. 뿐만 아니라, 당업자는 공정 환경이나 장비에 따라 본 명세서에서 설명한 방법 단계의 순서를 변경할 수도 있다. 따라서 본 발명의 범위는 설명된 실시형태가 아니라 특허청구범위 및 그 균등물에 의해 결정되어야 한다.
10, 10': 카메라 20, 20': 제어부
30: 표시부 40: 3D 안경
50 : 마커
101 : 영상 취득부 102: 위치 추적부
201 : 영상 변경 간격 설정부 202 : 연산 및 보정부
203 : 영상 모드 선택부 2031 : 시점 영상 선택부
2032 : 다 시점 영상 저장부 2033 : 다 시점 영상 변환부
2035 : 2D/3D 영상 선택부
2036 : 2D/3D 영상 변환부 2037 : 3D 영상 저장부

Claims (20)

  1. 복수의 화소를 포함하고, 입력 영상 신호를 처리한 영상 데이터에 따라 영상을 표시하는 표시부, 및
    상기 입력 영상 신호 처리를 제어하는 제어부를 포함하고,
    상기 제어부는,
    사용자의 기준 입력값을 이용하여 제1 영상 변경 간격을 설정하는 영상 변경 간격 설정부,
    사용자의 관찰 위치 좌표 데이터를 기초로 표시 영상을 시청하는 사용자의 실제 거리를 연산하고, 상기 실제 거리에 대응하여 상기 제1 영상 변경 간격을 보정하여 제2 영상 변경 간격을 산출하는 연산 및 보정부, 및
    상기 표시부가 구현하는 영상 모드를 선택하고, 상기 제2 영상 변경 간격을 기준으로 사용자의 위치 지점을 결정하여 상기 지점에 대응하는 영상 모드별 영상 데이터를 생성하는 영상 모드 선택부를 포함하는 것을 특징으로 하는 입체 영상 표시 장치.
  2. 제 1항에 있어서,
    상기 영상 모드는 다 시점 영상 모드 및 2D/3D 영상 모드를 포함하고,
    상기 다 시점 영상 모드에서 상기 제1 영상 변경 간격 및 상기 제2 영상 변경 간격은, 사용자와 입체 표시 장치와의 기준 거리를 기준으로 전체 시청 각도를 소정의 제1 각도로 분할한 복수의 시점 각각에 대응하는 길이이고,
    상기 2D/3D 영상 모드에서 상기 제1 영상 변경 간격 및 상기 제2 영상 변경 간격은, 상기 기준 거리를 기준으로 상기 전체 시청 각도를 3D 시청에 대한 정상 영역과 비정상 영역으로 분할한 각각의 영역에 대응하는 길이인 것을 특징으로 하는 입체 영상 표시 장치.
  3. 제 1항에 있어서,
    상기 선택된 영상 모드가 다 시점 영상 모드인 경우, 상기 영상 모드 선택부는,
    상기 입력 영상 신호에 대하여 다 시점에 대응하여 변환시킨 복수의 3D 영상 데이터를 저장하는 다 시점 영상 저장부,
    상기 입력 영상 신호에 대하여 다 시점별로 실시간 복수의 3D 영상 데이터로 변환하는 다 시점 영상 변환부, 및
    다 시점 영상 모드에서의 상기 제2 영상 변경 간격을 기준으로 상기 다 시점 중에서 사용자의 위치 지점에서 양안의 대응하는 시점을 각각 선택하고, 상기 각 시점에 따른 3D 영상 데이터를 상기 다 시점 영상 저장부 또는 상기 다 시점 영상 변환부로부터 전달받는 시점 영상 선택부를 포함하는 입체 영상 표시 장치.
  4. 제 1항에 있어서,
    상기 선택된 영상 모드가 2D/3D 영상 모드인 경우, 상기 영상 모드 선택부는,
    상기 입력 영상 신호에 대하여 3D 영상 데이터로 미리 변환시킨 복수의 3D 영상 데이터를 저장하는 3D 영상 저장부,
    상기 입력 영상 신호에 대하여 실시간으로 2D 영상 데이터에서 3D 영상 데이터로 변환하는 2D/3D 영상 변환부, 및
    2D/3D 영상 모드에서의 상기 제2 영상 변경 간격을 기준으로 3D 시청에 대한 정상 영역과 비정상 영역 중에서 사용자의 위치 지점에 따른 해당 영역을 선택하고, 상기 3D 영상 저장부 또는 2D/3D 영상 변환부로부터 3D 영상 데이터를 전달받거나, 또는 상기 입력 영상 신호로서 2D 영상 데이터를 전달받는 2D/3D 영상 선택부를 포함하는 입체 영상 표시 장치.
  5. 제 1항에 있어서,
    상기 선택된 영상 모드가 다 시점 영상 모드인 경우, 상기 기준 입력값은 상기 표시 영상에 대한 사용자의 기준 거리, 전체 시청 각도, 다 시점의 개수, 상기 전체 시청 각도를 상기 다 시점의 개수로 분할할 때 단일 시점에 대한 각도인 것을 특징으로 하는 입체 영상 표시 장치.
  6. 제 1항에 있어서,
    상기 선택된 영상 모드가 2D/3D 영상 모드인 경우, 상기 기준 입력값은 상기 표시 영상에 대한 사용자의 기준 거리, 전체 시청 각도, 3D 시청에 대한 정상 영역의 각도, 3D 시청에 대한 비정상 영역의 각도인 것을 특징으로 하는 입체 영상 표시 장치.
  7. 제 1항에 있어서,
    상기 입체 영상 표시 장치는,
    상기 표시 영상에 대면하여 시청하는 사용자를 촬영하여 위치 추적 대상의 영상 정보를 취득하는 영상 취득부, 및
    상기 위치 추적 대상의 영상 정보를 전달받아 상기 사용자의 관찰 위치 좌표 데이터를 획득하는 위치 추적부를 포함하는 카메라를 더 포함하는 것을 특징으로 하는 입체 영상 표시 장치.
  8. 제 7항에 있어서,
    상기 위치 추적 대상은 사용자의 얼굴 또는 양 눈(eye)인 것을 특징으로 하는 입체 영상 표시 장치.
  9. 제 1항에 있어서,
    상기 입체 영상 표시 장치는,
    사용자가 착용한 3D 안경의 마커를 감지하여 마커의 영상 정보를 취득하는 마커 인식부, 및
    상기 마커의 영상 정보를 전달받아 마커의 위치 정보를 상기 사용자의 관찰 위치 좌표 데이터로서 획득하는 마커 위치 추적부를 포함하는 카메라를 더 포함하는 것을 특징으로 하는 입체 영상 표시 장치.
  10. 제 9항에 있어서,
    상기 3D 안경은 편광 안경 또는 셔터 안경인 것을 특징으로 하는 입체 영상 표시 장치.
  11. 표시 영상을 시청하는 사용자의 관찰 위치 좌표 데이터를 획득하는 단계,
    상기 관찰 위치 좌표 데이터를 이용하여 표시 영상을 시청하는 사용자의 실제 거리를 연산하는 단계,
    영상 모드에 따라 기 설정된 제1 영상 변경 간격을 보정하여 상기 실제 거리에 대응하는 제2 영상 변경 간격을 산출하는 단계, 및
    상기 영상 모드 중에서 선택된 제1 영상 모드에서 상기 제2 영상 변경 간격을 기준으로 사용자의 위치 지점을 결정하고, 상기 지점에 대응하는 제1 영상 모드의 영상 데이터를 생성하는 단계를 포함하는 입체 영상 표시 방법.
  12. 제 11항에 있어서,
    상기 관찰 위치 좌표 데이터를 획득하는 단계는,
    표시 영상에 대면하여 시청하는 사용자를 촬영하여 위치 추적 대상의 영상 정보를 취득하는 단계, 및
    상기 위치 추적 대상의 영상 정보를 전달받아 위치 추적 알고리즘에 의해 상기 관찰 위치 좌표 데이터를 획득하는 단계를 포함하는 입체 영상 표시 방법.
  13. 제 11항에 있어서,
    상기 관찰 위치 좌표 데이터를 획득하는 단계는,
    사용자가 착용한 3D 안경의 마커를 감지하여 마커의 영상 정보를 취득하는 단계, 및
    상기 마커의 영상 정보를 전달받아 마커의 위치 정보를 상기 관찰 위치 좌표 데이터로서 획득하는 단계를 포함하는 입체 영상 표시 방법.
  14. 제 11항에 있어서,
    상기 제1 영상 모드는 다 시점 영상 모드 또는 2D/3D 영상 모드이고,
    상기 다 시점 영상 모드는 상기 제2 영상 변경 간격을 기준으로 다 시점 중에서 상기 사용자의 위치 지점에서 양안의 대응하는 시점을 각각 선택하고, 상기 각 시점에 따른 3D 영상 데이터를 표시하는 영상 모드이고,
    상기 2D/3D 영상 모드는 상기 제2 영상 변경 간격을 기준으로 3D 시청에 대한 정상 영역과 비정상 영역 중에서 상기 사용자의 위치 지점에 따른 해당 영역을 선택하고, 입력 영상 신호를 그대로 2D 영상 데이터로 표시하거나, 변환된 3D 영상 데이터를 표시하는 영상 모드인 것을 특징으로 하는 입체 영상 표시 방법.
  15. 제 11항에 있어서,
    상기 영상 모드는 다 시점 영상 모드 및 2D/3D 영상 모드를 포함하고,
    상기 다 시점 영상 모드에서 상기 제1 영상 변경 간격 및 상기 제2 영상 변경 간격은, 사용자와 입체 표시 장치와의 기준 거리를 기준으로 전체 시청 각도를 소정의 제1 각도로 분할한 복수의 시점에 대응하는 길이이고,
    상기 2D/3D 영상 모드에서 상기 제1 영상 변경 간격 및 상기 제2 영상 변경 간격은, 상기 기준 거리를 기준으로 상기 전체 시청 각도를 3D 시청에 대한 정상 영역과 비정상 영역으로 분할한 각각의 영역에 대응하는 길이인 것을 특징으로 하는 입체 영상 표시 방법.
  16. 제 11항에 있어서,
    상기 제1 영상 변경 간격은 상기 영상 모드별로 사용자가 기준 입력값을 미리 입력하여 설정되는 것을 특징으로 하는 입체 영상 표시 방법.
  17. 제 16항에 있어서,
    상기 영상 모드가 다 시점 영상 모드인 경우, 상기 기준 입력값은 표시 영상에 대한 사용자의 기준 거리, 전체 시청 각도, 다 시점의 개수, 상기 전체 시청 각도를 상기 다 시점의 개수로 분할할 때 단일 시점에 대한 각도인 것을 특징으로 하는 입체 영상 표시 방법.
  18. 제 16항에 있어서,
    상기 영상 모드가 2D/3D 영상 모드인 경우, 상기 기준 입력값은 표시 영상에 대한 사용자의 기준 거리, 전체 시청 각도, 3D 시청에 대한 정상 영역의 각도, 3D 시청에 대한 비정상 영역의 각도인 것을 특징으로 하는 입체 영상 표시 방법.
  19. 제 11항에 있어서,
    상기 제1 영상 모드의 영상 데이터를 생성하는 단계는,
    상기 제1 영상 모드가 다 시점 영상 모드인 경우에, 입력 영상 신호에 대하여 다 시점에 대응하여 3D 영상 데이터로 변환시켜 저장한 복수의 3D 영상 데이터 중에서 상기 사용자의 위치 지점에 대응하는 시점에 따른 3D 영상 데이터를 전달받거나, 상기 입력 영상 신호에 대하여 상기 사용자의 위치 지점에 대응하는 시점에 따라 실시간으로 변환한 3D 영상 데이터를 전달받는 것을 특징으로 하는 입체 영상 표시 방법.
  20. 제 11항에 있어서,
    상기 제1 영상 모드의 영상 데이터를 생성하는 단계는,
    상기 제1 영상 모드가 2D/3D 영상 모드인 경우에, 3D 시청에 대한 정상 영역과 비정상 영역 중에서 상기 사용자의 위치 지점에 따른 해당 영역에 따라 기 저장되거나 실시간으로 변환된 3D 영상 데이터를 전달받거나, 입력 영상 신호의 2D 영상 데이터를 그대로 전달받는 것을 특징으로 하는 입체 영상 표시 방법.
KR1020130013419A 2013-02-06 2013-02-06 입체 영상 표시 장치 및 그 표시 방법 KR101960897B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130013419A KR101960897B1 (ko) 2013-02-06 2013-02-06 입체 영상 표시 장치 및 그 표시 방법
US13/894,600 US9571824B2 (en) 2013-02-06 2013-05-15 Stereoscopic image display device and displaying method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130013419A KR101960897B1 (ko) 2013-02-06 2013-02-06 입체 영상 표시 장치 및 그 표시 방법

Publications (2)

Publication Number Publication Date
KR20140100289A KR20140100289A (ko) 2014-08-14
KR101960897B1 true KR101960897B1 (ko) 2019-07-16

Family

ID=51258899

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130013419A KR101960897B1 (ko) 2013-02-06 2013-02-06 입체 영상 표시 장치 및 그 표시 방법

Country Status (2)

Country Link
US (1) US9571824B2 (ko)
KR (1) KR101960897B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10416835B2 (en) 2015-06-22 2019-09-17 Samsung Electronics Co., Ltd. Three-dimensional user interface for head-mountable display
KR101639065B1 (ko) 2015-06-22 2016-07-13 한국과학기술연구원 가상 공간과 실제 공간을 정합하기 위한 시스템과, 디스플레이 장치와 영상 센서를 정합하기 위한 방법과, 그 방법을 이용해 정합된 전자 장치
EP3109734A1 (en) * 2015-06-22 2016-12-28 Samsung Electronics Co., Ltd Three-dimensional user interface for head-mountable display
JP5856344B1 (ja) * 2015-07-27 2016-02-09 正樹 房間 ３ｄ画像表示装置
KR102564479B1 (ko) 2016-11-22 2023-08-07 삼성전자주식회사 사용자의 눈을 위한 3d 렌더링 방법 및 장치
KR20180060559A (ko) 2016-11-29 2018-06-07 삼성전자주식회사 동공 거리 결정 방법 및 장치
US20190138789A1 (en) * 2017-11-09 2019-05-09 Mindtronic Ai Co.,Ltd. Display system and method for displaying images
CN112188181B (zh) * 2019-07-02 2023-07-04 中强光电股份有限公司 图像显示设备、立体图像处理电路及其同步信号校正方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262191A (ja) 2005-03-17 2006-09-28 Victor Co Of Japan Ltd 複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラム
US20120056876A1 (en) 2010-08-09 2012-03-08 Hyungnam Lee 3d viewing device, image display apparatus, and method for operating the same
US20120148147A1 (en) 2010-06-07 2012-06-14 Masami Ogata Stereoscopic image display system, disparity conversion device, disparity conversion method and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101481671B1 (ko) 2008-07-21 2015-01-13 엘지디스플레이 주식회사 액정 전계 렌즈를 구비한 입체 표시 장치
KR20110064083A (ko) 2009-12-07 2011-06-15 삼성전자주식회사 안경식 3ｄ 디스플레이 시스템과 그 동기 신호 제공 방법
KR101729556B1 (ko) 2010-08-09 2017-04-24 엘지전자 주식회사 입체영상 디스플레이 시스템, 입체영상 디스플레이 장치 및 입체영상 디스플레이 방법, 그리고 위치 추적 장치
KR101046259B1 (ko) 2010-10-04 2011-07-04 최규호 응시위치를 추적하여 입체영상을 표시하는 입체영상 표시장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006262191A (ja) 2005-03-17 2006-09-28 Victor Co Of Japan Ltd 複数視点立体映像表示方法及び複数視点立体映像表示装置並びに複数視点立体映像表示プログラム
US20120148147A1 (en) 2010-06-07 2012-06-14 Masami Ogata Stereoscopic image display system, disparity conversion device, disparity conversion method and program
US20120056876A1 (en) 2010-08-09 2012-03-08 Hyungnam Lee 3d viewing device, image display apparatus, and method for operating the same

Also Published As

Publication number Publication date
US20140218472A1 (en) 2014-08-07
KR20140100289A (ko) 2014-08-14
US9571824B2 (en) 2017-02-14

Similar Documents

Publication Publication Date Title
KR101960897B1 (ko) 입체 영상 표시 장치 및 그 표시 방법
KR100770019B1 (ko) 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
US20120169730A1 (en) 3d image display device and 3d image display method
US20160295194A1 (en) Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
JP5501474B2 (ja) 立体画像生成装置および立体画像生成方法
US11785197B2 (en) Viewer-adjusted stereoscopic image display
CN211128024U (zh) 3d显示设备
KR20120091585A (ko) 디스플레이 장치 및 삼차원 영상 제공방법
JP4432462B2 (ja) 撮像装置及び方法、撮像システム
KR20140073584A (ko) 화상 처리 장치, 입체 화상 표시 장치, 화상 처리 방법 및 화상 처리 프로그램
CN112929636A (zh) 3d显示设备、3d图像显示方法
US20150163475A1 (en) Method and system for disparity adjustment during stereoscopic zoom
TWI589150B (zh) ３ｄ自動對焦顯示方法及其系統
EP2733949A2 (en) Three dimensional image display system and adjusting method thereof
JP2013009864A (ja) ３次元画像処理装置
JP2012244466A (ja) 立体画像処理装置
KR101638959B1 (ko) 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템
JP2006340017A (ja) 立体映像表示装置及び立体映像表示方法
US20150015679A1 (en) Autostereoscopic display system and method
KR101430474B1 (ko) 입체 영상 디스플레이 방법 및 장치
WO2012169221A1 (ja) 立体画像表示装置および立体画像表示方法
JP2012022149A (ja) 表示システムおよび表示方法
KR101742230B1 (ko) 입체시 검사 장치 및 방법
KR20050100895A (ko) 영상시점 변환 기능을 이용한 입체영상 변환 표시장치 및그 방법과 그를 이용한 다시점 입체영상 디스플레이 시스템
JP6179282B2 (ja) ３次元画像表示装置及び３次元画像表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right