KR20130008334A

KR20130008334A - 입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기

Info

Publication number: KR20130008334A
Application number: KR1020110069028A
Authority: KR
Inventors: 조정희; 윤제한
Original assignee: 삼성전자주식회사
Priority date: 2011-07-12
Filing date: 2011-07-12
Publication date: 2013-01-22
Also published as: US20130016094A1

Abstract

본 발명은 단말기에 관한 것으로, 특히 본 발명은 입체 영상을 재생에 따른 화면을 출력하는 표시 패널, 상기 입체 영상의 주시 시점 조정을 위한 입력 신호를 수신하고, 상기 수신된 입력 신호에 대응하는 위치의 영상 프레임들의 시차를 제거하여 해당 위치가 주시 시점이 되도록 주시각 조정을 수행하는 제어부를 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기 및 이의 제어 방법을 개시한다.

Description

입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기{Vergence control method for stereo-scopic image control and Portable Device supporting the same}

본 발명은 입체 영상 표시 제어에 관한 것으로, 특히 사용자가 원하는 영역이 주시각이 되도록 조정하는 입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기에 관한 것이다.

3D 화상을 생성하는 방법으로 사용자로 하여금 각각의 눈으로 장면의 상이한 원근을 보도록 하는 방법이 있다. 즉 하나의 화면에 2개의 상이하게 편광된 화상을 표시하고, 사용자가 각각의 눈에 해당하는 편광 필터를 착용하여 3D 영상을 구현하는 방법이다.

한편 3D 화상을 구현하는 방법 중에는 3D 화상을 디스플레이하기 위하여 2D 디스플레이와 연계한 개구 또는 슬릿 어레이를 이용하여, 복합시차지각 방식(auto stereo scopic)의 디스플레이 또는 3D 디스플레이 방식이 이용될 수 있다. 복합시차지각 방식의 3D 디스플레이 방식의 근간은 화면으로부터 소정거리 떨어진 슬릿 어레이를 통해 2D 화상을 보는 경우, 사용자는 각각의 눈으로 2D 화상의 상이한 부분을 본다는 원리에 있다. 이때 적절한 화상이 렌더링되어 2D 디스플레이 상에 표시되는 경우 사용자는 각각의 눈에 필터를 쓸 필요도 없이 상이한 원근 화상을 시청할 수 있다. 또한 양안시차 방식에 따른 3D 디스플레이 방식이 이용될 수 도 있다. 상기 복합시차지각 방식 및 양안시차 방식은 각각 무안경 3D 방식을 지원할 수 있다.

한편 입체 영상 표시를 지원하는 컨텐츠의 경우 컨텐츠 제작자가 특정 시각을 기준으로 컨텐츠를 제작하게 된다. 즉 표시부 상에 출력되는 영상의 초점이 컨텐츠 제작자가 원하는 시점을 기준으로 결정된다. 이에 따라 시청자가 입체 영상 표시를 지원하는 컨텐츠를 시청하는 과정에서 제작자가 지정한 시점을 주시하지 않고 별도의 영역을 주시할 경우, 해당 영역의 초점이 일치되지 않는 경우가 발생할 수 있다. 예를 들면, 컨텐츠 제작자가 입체 영상 표시를 지원하는 컨텐츠의 주시 시점을 우하측 지점으로 결정하고 그에 맞도록 컨텐츠를 제작하는 경우, 시청자는 우하측 지점을 주시할 때는 초점이 맞는 영상을 시청할 수 있다. 그러나 우하측 지점이 아닌 좌상측 특정 영역을 주시하게 되면, 해당 초점이 일치되지 않아 영상이 분리되어 보일 수 있다. 이러한 문제는 시청자에게 높은 눈 피로감을 줄 수 있을 뿐만 아니라 경우에 따라서는 불쾌감을 줄 수 있기 때문에 이에 대한 해결 방안의 모색이 절실히 필요한 실정이다.

따라서 본 발명의 목적은 전술된 바와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 사용자가 원하는 지점을 주시 시점으로 조정할 수 있도록 지원하는 입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명은 입체 영상을 재생하는 재생 과정, 상기 입체 영상의 주시 시점 조정을 위한 입력 신호를 수신하는 수신 과정, 상기 수신된 입력 신호에 대응하는 위치의 영상 프레임들의 시차를 제거하여 해당 위치가 주시 시점이 되도록 주시각 조정을 수행하는 수행 과정을 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어 방법의 구성을 개시한다.

또한 본 발명은 입체 영상을 재생에 따른 화면을 출력하는 표시 패널, 상기 입체 영상의 주시 시점 조정을 위한 입력 신호를 수신하고, 상기 수신된 입력 신호에 대응하는 위치의 영상 프레임들의 시차를 제거하여 해당 위치가 주시 시점이 되도록 주시각 조정을 수행하는 제어부를 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기의 구성을 개시한다.

이상에서 살펴본 바와 같이 본 발명의 입체 영상 표시 제어를 위한 주시각 제어 방법 및 이를 지원하는 단말기에 따르면, 본 발명은 사용자가 원하는 지점을 주시 시점으로 조정하여 초점 분리에 따른 눈의 피로를 줄임과 아울러 다양한 형태의 표시 방식을 이용할 수 있도록 지원한다.

도 1은 본 발명의 실시 예에 따른 단말기의 구성을 개략적으로 구성을 블록으로 나타낸 도면,
도 2는 본 발명의 제어부 구성을 보다 상세히 나타낸 블록도,
도 3은 본 발명의 주시각 조정부의 구성을 보다 상세히 나타낸 블록도,
도 4는 본 발명의 실시 예에 따른 입체 영상의 주시 시점 조정을 설명하기 위한 도면,
도 5는 본 발명의 실시 예에 따른 주시각 제어 방법을 설명하기 위한 순서도,
도 6은 본 발명의 실시 예에 따른 주시 시점 조정을 위한 영역 스캔 및 영상 프레임 조정을 설명하기 위한 도면,
도 7은 본 발명의 실시 예에 따른 주시각 제어를 설명하기 위한 화면 예시도.

이하, 본 발명의 실시 예를 첨부된 도면에 의거하여 상세히 설명한다.

실시 예를 설명함에 있어서 본 발명이 속하는 기술분야에 익히 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 설명을 생략한다. 또한, 실질적으로 동일한 구성과 기능을 가진 구성 요소들에 대해서는 상세한 설명을 생략하도록 한다.

마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.

도 1은 본 발명의 실시 예에 따른 입체 영상 표시 제어를 위한 주시각 제어가 적용되는 단말기의 구성을 개략적으로 나타낸 블록도이다.

상기 도 1을 참조하면, 본 발명의 단말기(100)는 무선통신부(110), 입력부(120), 오디오 처리부(130), 터치스크린(140), 저장부(150), 제어부(160)의 구성을 포함할 수 있다.

이와 같은 구성을 가지는 본 발명의 단말기(100)는 사용자가 주시 시점으로 지정하고자 하는 영역을 기준으로 영상을 재배열하여 지정된 지점이 초점 영역이 될 수 있도록 지원하다. 이에 따라 본 발명의 단말기(100)는 영상을 다차원으로 표시하는 환경에서 사용자가 원하는 영역의 영상 초점을 일치시키도록 영상을 조절하여 분열된 영상에 대한 거부감을 최소화할 수 있고, 이에 따라 다차원 영상 표시를 위한 컨텐츠 제작자에게 보다 높은 영상 제작 자유도를 제공할 수 있도록 지원한다.

상기 무선통신부(110)는 음성 통화를 위한 통신 채널 형성 및 화상 통화를 위한 통신 채널 형성, 영상이나 메시지 등의 데이터 전송을 위한 통신 채널 형성 등을 제어부(160)의 제어 하에 수행한다. 이러한 무선통신부(110)는 형성된 채널을 통하여 데이터를 수신할 수 있으며, 수신된 데이터는 제어부(160) 제어에 따라 터치스크린(140)에 출력될 수 있다. 상기 무선통신부(110)가 수신한 데이터는 입체 영상 표시를 지원하는 컨텐츠 예를 들면 입체 컨텐츠에 해당하는 데이터가 될 수 있다. 무선통신부(110)가 수신한 입체 컨텐츠는 디폴트로 특정 영역을 주시 시점으로 표시될 수 있으며, 단말기 설정에 따라 해당 주시 시점이 변경될 수 있다.

상기 입력부(120)는 숫자 또는 문자 정보를 입력받고 각종 기능들을 설정하기 위한 다수의 입력키 및 기능키들을 포함한다. 상기 기능키들은 특정 기능을 수행하도록 설정된 방향키, 사이드 키 및 단축키 등을 포함할 수 있다. 또한 상기 입력부(120)는 사용자 설정 및 단말기(100)의 기능 제어와 관련한 키 신호를 생성하고 상기 제어부(160)로 전달한다. 특히 본 발명의 입력부(120)는 터치스크린(140)을 통하여 출력되는 입체 영상 표시 영상의 주시 시점 선택을 위한 입력 신호를 사용자 제어에 따라 생성하고, 이를 제어부(160)에 전달할 수 있다. 즉 입력부(120)는 사용자 선택에 따라 입체 컨텐츠의 주시 시점 변경을 위한 입력 신호를 생성할 수 있다.

상기 오디오 처리부(130)는 오디오 데이터, 음악 파일이나 동영상 파일의 오디오 데이터를 재생하기 위한 스피커(SPK)와, 화상 통화 시 사용자의 음성 또는 기타 오디오 신호를 수집하기 위한 마이크(MIC)를 포함한다. 이러한 오디오 처리부(130)는 입체 컨텐츠에 오디오 데이터가 포함된 경우, 해당 오디오 데이터를 재생하도록 지원할 수 있다. 또한 상기 오디오 처리부(130)는 입체 컨텐츠 재생 시 주시 시점 조정을 위한 입력 신호가 생성되는 경우, 해당 입력 신호에 따른 안내음 예를 들면 주시 시점 변경을 알리는 안내음을 출력할 수 있다. 이러한 안내음 출력은 단말기 설정에 따라 생략가능하다.

상기 터치스크린(140)은 단말기(100)의 각종 메뉴를 비롯하여 사용자가 입력한 정보 또는 사용자에게 제공하는 정보를 표시한다. 즉 터치스크린(140)은 단말기(100) 이용에 따른 다양한 화면 예를 들면, 대기화면, 메뉴 화면, 메시지 작성 화면, 통화 화면 등을 제공할 수 있다. 이러한 터치스크린(140)은 액정 표시 장치(Liquid Crystal Display), OLED(Organic Light Emitted Diode) 등으로 형성될 수 있다.

특히, 본 발명의 터치스크린(140)은 표시 패널(141)과 터치 패널(143)을 포함하며, 표시 패널(141)의 경우 입체 컨텐츠를 구현할 수 있도록 마련될 수 있다. 터치 패널(143)은 표시 패널(141) 상부에 배치되어 사용자의 터치에 따른 터치 이벤트를 생성하고, 생성된 터치 이벤트를 제어부(160)에 전달할 수 있다. 사용자는 터치 패널(143)을 이용하여 주시하고자 하는 영역을 지시하는 터치 이벤트를 생성할 수 있다. 상기 터치스크린(140)을 통하여 주시 시점이 변경되는 기능에 대해서는 후술하는 도면을 참조하여 보다 상세히 설명하기로 한다.

상기 저장부(150)는 본 발명의 실시 예에 따른 기능 동작에 필요한 응용 프로그램을 비롯하여, 터치스크린(140)에 출력될 다양한 데이터 등을 저장하며 상기 터치스크린(140) 운용을 위한 키 맵이나 메뉴 맵, 터치 락 해제 영역에 대한 정보 등을 저장할 수 있다. 여기서 키 맵, 메뉴 맵은 각각 다양한 형태가 될 수 있다. 특히 본 발명의 저장부(150)는 본 발명의 실시 예에 따른 주시각 조정 프로그램을 저장할 수 있다.

상기 주시각 조정 프로그램(151)은 입체 컨텐츠가 표시 패널(141)에 출력되는 경우 자동으로 주시각 조정 기능을 활성화하거나 또는 사용자 요청에 따라 주시각 조정 기능을 활성화하도록 지원한다. 이를 위하여 입체 컨텐츠 재생을 위한 입력 신호 발생 시 주시각 조정 프로그램(151)은 제어부(160)에 로드되어 주시각 조정을 위한 기능을 지원한다. 특히 본 발명의 주시각 조정 프로그램(151)은 입체 컨텐츠 재생을 감시하는 루틴, 입체 컨텐츠 재생 시 자동 또는 사용자 설정에 따라 주시각 조정을 위한 주시 시점 지정 입력 신호를 수집하는 루틴, 주시 시점 지정 입력 신호 발생 시 발생된 주시 시점 지정 입력 신호에 따른 입체 컨텐츠 재배열을 수행하는 루틴을 포함할 수 있다.

상기 제어부(160)는 상기 단말기(100)의 각 구성에 전원 공급을 제어하여 각 구성의 초기화 과정을 수행하도록 지원한다. 그리고 상기 제어부(160)는 본 발명의 실시 예에 따른 주시각 조정 제어에 필요한 신호 흐름 제어를 수행할 수 있다. 이를 위하여 상기 제어부(160)는 도 2에 도시된 바와 같은 구성을 포함할 수 있다.

도 2는 본 발명의 제어부(160) 구성을 보다 상세히 나타낸 도면이다.

상기 도 2를 참조하면, 본 발명의 제어부(160)는 주시 시점 조정 검출부(20), 영상 재생부(10), 주시각 조정부(30)를 포함할 수 있다.

상기 영상 재생부(10)는 터치 패널(143) 및 입력부(120) 중 적어도 하나로부터 입력되는 입력 신호에 따라 저장부(150)에 저장된 입체 컨텐츠 또는 무선통신부(110)가 수신한 입체 컨텐츠를 영상 재생하도록 제어하는 구성이다. 이러한 영상 재생부(10)는 재생되는 컨텐츠의 특성에 따라 다양한 형태로 구성될 수 있다. 즉 상기 영상 재생부(10)는 비디오 코덱, 스테레오 비디오 코덱, 이미지 코덱, 스테레오 이미지 코덱, 3D 그래픽과 그래픽 라이브러리 또는 스테레오 그래픽 라이브러리 등을 포함할 수 있다. 즉 본 발명의 영상 재생부(10)는 일반 정지 영상, 동영상, 게임 등에 포함된 비디오 데이터 출력뿐만 아니라, 입체 정지 영상, 입체 동영상, 입체 게임, 입체 AR 등에 포함된 비디오 데이터 출력을 위한 데이터 처리를 수행할 수 있다. 상기 영상 재생부(10)가 재생한 영상은 주시각 조정부(30)를 거쳐 표시 패널(141)에 공급되며, 이때 표시 패널(141)의 프레임 버퍼에 사전 저장된 후 표시 패널(141)에 출력될 수 있다. 한편 상기 영상 재생부(10)는 입체 컨텐츠 재생을 위한 메뉴 화면을 제공할 수 있다. 이에 따라 사용자는 해당 메뉴 화면을 통하여 입체 컨텐츠 재생을 요청하는 입력 신호를 생성할 수 있다. 상기 영상 재생부(10)는 입체 컨텐츠 재생을 요청하는 입력 신호 발생 시, 이를 주시 시점 조정 검출부(20)에 전달할 수 있다.

상기 주시 시점 조정 검출부(20)는 터치 패널(143) 및 입력부(120) 중 적어도 하나로부터 주시 시점 조정을 위한 입력 신호 발생이 있는지 여부를 확인하는 구성이다. 이러한 주시 시점 조정 검출부(20)는 영상 재생부(10)로부터 3D 컨텐츠 재생을 알리는 신호를 수신하는 경우, 활성화되어 주시 시점 조정을 위한 입력 신호 발생 여부를 확인할 수 있다. 즉 주시 시점 조정 검출부(20)는 영상 재생부(10)로부터 3D 컨텐츠 재생을 알리는 신호를 수신하는 경우 터치 패널(143)로부터 기 설정된 터치 이벤트가 발생하는지 여부를 확인할 수 있다. 그리고 주시 시점 조정 검출부(20)는 기 설정된 터치 이벤트가 발생하는 경우, 터치 이벤트가 발생한 지점의 위치 정보에 해당하는 주시 시점 조정을 위한 입력 신호를 주시각 조정부(30)에 전달할 수 있다.

상기 주시각 조정부(30)는 주시 시점 조정 검출부(20)로부터 전달되는 주시 시점 조정을 위한 입력 신호를 기반으로 주시각 조정을 수행하는 구성이다. 그리고 주시각 조정부(30)는 주시각이 조정된 영상 데이터를 표시 패널(141)에 전달할 수 있다. 이를 위하여 상기 주시각 조정부(30)는 도 3에 도시된 바와 같은 구성을 포함할 수 있다.

도 3은 본 발명의 실시 예에 따른 주시각 조정부(30)의 구성을 보다 상세히 나타낸 도면이다.

상기 도 3을 참조하면, 본 발명의 주시각 조정부(30)는 시점 파라메터 검출부(31), 주시각 파라메터 조정부(33)의 구성을 포함할 수 있다.

상기 시점 파라메터 검출부(31)는 3D 컨텐츠의 시점에 대한 파라메터를 검출하는 구성이다. 이를 보다 상세히 설명하면, 3D 컨텐츠는 제작 과정에서 다수의 카메라에 의하여 영상이 촬영되어 제작될 수 있다. 예를 들면, 3D 컨텐츠는 2개의 카메라가 각기 다른 위치에서 다른 각도로 피사체를 촬영한 후, 촬영된 2개의 카메라 영상을 조합하여 입체적으로 표현함으로써 제작될 수 있다. 결과적으로 3D 컨텐츠는 2개 이상의 영상이 일정한 각도 및 레이어별로 배치되어 해당 영상 내에 포함된 특정 오브젝트를 입체적으로 표현하게 된다. 이 과정에서 특정 오브젝트를 입체적으로 표현하는 대신에 해당 영상 내에 포함된 다른 물체들은 상대적으로 초점이 일치되지 않아 물체가 분리되어 표시될 수 있다. 이와 같이 3D 컨텐츠 영상에 포함된 특정 오브젝트는 입체적으로 표현되기 위하여 초점이 일치되어야 하며, 초점 일치를 위하여 복수의 영상들의 배치 상태에 따라 다양한 파라메터가 조정될 수 있다. 특히 영상의 오브젝트들은 시점에 대한 파라메터를 가질 수 있다. 시점에 대한 파라메터는 입체 영상에 포함된 특정 오브젝트의 시차를 일치시키기 위해 사용될 수 있다. 상기 시점 파라메터 검출부(31)는 상술한 바와 같은 특정 오브젝트의 시점에 대한 파라메터를 검출할 수 있다. 검출된 시점에 대한 파라메터는 주시각 파라메터 조정부(33)에 전달된다. 상기 오브젝트는 영상에 포함된 다양한 구성으로서 영상 내에 포함된 배경 오브젝트, 배경 오브젝트 상에 위치한 특정 물체에 대응하는 오브젝트 등 영상을 구성하는 모든 요소를 포함할 수 있다.

상기 주시각 파라메터 조정부(33)는 시점 파라메터 검출부(31)가 검출한 입체 영상의 시점에 대한 파라메터를 주시 시점 조정 입력 신호에 따라 조정하는 구성이다. 즉 주시각 파라메터 조정부(33)는 주시 시점 조정 입력 신호에 해당하는 표시 패널(141)의 위치 정보를 확인하고, 해당 위치 정보에 해당하는 영상의 오브젝트들의 시점이 주시 시점이 되도록 조정할 수 있다. 이때 영상의 오브젝트들은 영상을 구성하는 다양한 요소들 중 주시 시점 조정 입력 신호에 의해 지시된 표시 패널(141) 상에 출력된 위치에 배치되는 요소들이 될 수 있다. 상기 주시각 파라메터 조정부(33)는 주시 시점 조정 입력 신호에 의해 지시된 영역의 시점 또는 시차 파라메터를 조정하여 해당 영역의 시점 또는 시차가 일치되도록 파라메터를 조정한다. 예를 들면, 입체 영상을 구현을 위하여 복수의 영상들이 일정 각도로 겹쳐서 표시되는 경우 주시각 파라메터 조정부(33)는 상기 복수의 영상들의 표시 각도 및 각 영상들의 겹침 위치를 조정하도록 파라메터를 조정할 수 있다. 이를 도 4를 참조하여 보다 상세히 설명하기로 한다. 이하 설명의 편의를 위하여 입체 영상 구현을 위하여 2개의 영상 프레임이 이용되는 것을 가정하여 설명하기로 한다.

먼저, 입체 영상을 구현하기 위하여 서로 다른 각도로 촬영된 제1 영상 프레임(41) 및 제2 영상 프레임(42)이 마련될 수 있으며, 디폴트 또는 입체 영상 제작자의 설정에 따라 특정 시점이 주시 시점이 되도록 제1 영상 프레임(41) 및 제2 영상 프레임(42)이 겹쳐지도록 배치될 수 있다. 상기 제1 영상 프레임(41) 및 제2 영상 프레임(42)의 겹침 정도는 제1 영상 프레임(41) 및 제2 영상 프레임(42)을 표시 패널(141) 상에 출력하는데 적용되는 파라메터들에 의하여 정의될 수 있다. 제1 영상 프레임(41) 및 제2 영상 프레임(42)에 포함된 제1 오브젝트(51)가 주시 시점이 되도록 파라메터가 정의된 경우, 401 화면에서와 같이 제1 영상 프레임(41) 및 제2 영상 프레임(42)의 제1 오브젝트(51)의 시점이 일치되어 제1 오브젝트(51)는 입체 영상으로 표시될 수 있다. 이때 제1 오브젝트(51)에 주시 시점이 정의됨에 따라 제1 영상 프레임(41) 및 제2 영상 프레임(42)에 위치한 제2 오브젝트(52)는 시차가 일치되지 않아 분리된 영상으로 표시될 수 있다.

한편 사용자가 제2 오브젝트(52)의 시점이 일치되도록 요청한 경우, 즉 제2 오브젝트(52)가 주시 시점이 되도록 주시 시점 조정 입력 신호를 생성한 경우, 상기 주시각 파라메터 조정부(33)는 시점 파라메터들을 조정하여 제2 오브젝트(52)의 시점이 일치되도록 조정할 수 있다. 이를 위하여 제2 오브젝트(52)와 관련된 시점 파라메터들이 수집될 수 있다. 즉 제1 영상 프레임의 제2 오브젝트(52)와 제2 영상 프레임의 제2 오브젝트(52) 간의 시차 파라메터를 수집할 수 있다. 상기 시차 파라메터는 상기 시점 파라메터 검출부(31)에 의하여 검출되어 주시각 파라메터 조정부(33)에 전달될 수 있다. 상기 주시각 파라메터 조정부(33)는 제2 오브젝트(52) 주시 시점 조정에 대한 요청이 발생하면, 제2 오브젝트(52)의 시차를 제거하는 방향으로 제1 영상 프레임(41) 및 제2 영상 프레임(42)의 표시 각도 등을 조정할 수 있다. 이에 따라 표시 패널(141)에는 403 화면에서와 같이 제2 오브젝트(52)가 주시 시점이 되는 입체 영상이 출력될 수 있다. 한편 제2 오브젝트(52)로 주시 시점이 변경됨에 따라 이전 시차가 없던 제1 오브젝트(51)는 분리된 영상으로 표시될 수 있다.

상술한 바와 같이 본 발명의 주시각 파라메터 조정부(33)는 사용자가 주시 시점 변경을 위해 발생시키는 주시 시점 조정 입력 신호를 기반으로 주시 시점을 변경한 영역의 시점 파라메터를 산출하고, 산출된 시점 파라메터에서 시차가 제거되는 방향으로 영상 프레임들의 위치를 조정하도록 제어함으로써, 입체 영상의 주시 시점을 사용자 요청에 따라 조정할 수 있도록 지원할 수 있다.

한편 상기 주시 시점 조정 검출부(20)는 카메라를 이용한 주시 시점 조정을 위한 입력 신호 검색을 수행할 수 도 있다. 이를 위하여 상기 단말기(100)는 카메라 구성을 더 포함할 수 있다. 이를 보다 상세히 설명하면, 단말기(100)가 카메라를 포함하는 경우 상기 주시 시점 조정 검출부(20)는 주시 시점 조정을 위하여 카메라를 활성화하도록 제어할 수 있다. 이때 주시 시점 조정 검출부(20)는 영상 재생부(10)가 입체 컨텐츠를 재생하는 경우 상기 카메라를 자동으로 활성화하도록 제어할 수 있다. 상기 카메라는 사용자의 얼굴 특히 눈동자 영상을 촬영하고, 촬영된 영상을 주시 시점 조정 검출부(20)에 제공할 수 있다. 상기 주시 시점 조정 검출부(20)는 상기 카메라가 전달한 영상에 포함된 눈동자의 위치를 기반으로 사용자의 눈이 현재 지시하고 있는 위치를 판단하고, 해당 위치를 주시 시점 조정 입력 신호로 결정할 수 있다. 이를 위하여 상기 주시 시점 조정 검출부(20)는 눈동자를 기반으로 주시 시점을 판별하기 위한 영상 인식 데이터베이스를 저장부(150)에서 호출할 수 있으며, 눈동자의 크기 등을 기반으로 단말기(100)와의 거리를 파악하고, 눈동자의 홍체 위치에 따라 눈동자가 주시하고 있는 방향을 파악할 수 있다. 거리 및 방향을 기반으로 주시 시점 조정 검출부(20)는 현재 사용자가 표시 패널(141)의 어디를 주시하는지를 확인하고, 상술한 주시 시점 조정 입력 신호를 생성할 수 있다. 상기 주시각 조정부(30)는 주시 시점 조정 검출부(20)가 카메라 영상을 기반으로 전달한 주시 시점 조정 입력 신호에 대하여 앞서 설명한 바와 같은 프레임 표시 각도 조정을 통하여 주시 시점을 조정하도록 지원할 수 있다.

이상에서는 입체 영상의 주시각 조정을 지원하는 단말기(100)의 구성과 각 구성들의 역할에 대하여 설명하였다. 이하에서는 상술한 단말기(100)를 운용하여 주시각을 조정하는 주시각 제어 방법에 대하여 도면을 참조하여 보다 상세히 설명하기로 한다.

도 5는 본 발명의 실시 예에 따른 주시각 제어 방법을 설명하기 위한 순서도이다.

상기 도 5를 참조하면, 본 발명의 주시각 제어 방법은 먼저, 501 단계에서와 같이 단말기(100) 운용을 위하여 단말기(100)에 전원을 공급할 수 있다. 전원 공급을 위하여 사용자는 단말기(100)의 배터리 또는 충전기를 연결하고 전원 공급을 위한 입력 신호를 생성할 수 있다. 한편 상기 단말기(100)는 전원이 공급되면, 공급된 전원을 이용하여 단말기(100)의 각 구성들의 운용에 필요한 전원을 생성하고, 생성된 전원을 이용하여 각 구성을 초기화한다. 초기화가 완료되면 단말기(100)는 기 설정된 스케줄 정보에 따라 대기 화면을 터치스크린(140)에 출력하도록 제어할 수 있다.

한편 단말기(100)는 입력부(120)로부터 생성되는 입력 신호 및 터치스크린 기능의 터치스크린(140)로부터 생성된 입력 신호에 따라 사용자 기능 활성화를 수행할 수 있다. 이에 따라 상기 단말기(100)는 503 단계에서와 같이 사용자 기능 활성화에 대응하는 이미지를 터치스크린(140)에 출력하도록 지원할 수 있다. 상기 503 단계에서 출력되는 영상은 입체 컨텐츠에 해당할 수 있다. 상기 입체 컨텐츠는 저장부(150)에 파일 형태로 저장되었다가 입력 신호 발생에 따라 호출되어 터치스크린(140)에 출력될 수 있다. 또는 상기 입체 컨텐츠는 무선통신부(110)를 통하여 외부로부터 수신되어 상기 터치스크린(140)에 출력될 수 도 있다.

입체 컨텐츠가 출력되고 있는 상태에서 단말기(100)의 제어부(160)는 505 단계에서와 같이 주시각 조정 요청에 해당하는 입력 신호 발생이 있는지 여부를 확인할 수 있다. 이를 보다 상세히 설명하면, 상기 제어부(160)는 입체 컨텐츠가 표시 패널(141)에 출력되면, 자동으로 주시각 조정 모드로 진입하도록 제어하거나, 사용자 요청에 대응하는 입력 신호 발생에 따라 주시각 조정 모드로 진입하도록 제어할 수 있다. 이때 상기 주시각 조정 모드는 입체 컨텐츠가 표시 패널(141)에 출력되는 동안 자동으로 설정될 수 도 있다. 한편 상기 제어부(160)는 주시각 조정 모드가 설정된 상태에서, 터치스크린(140)으로부터 주시 시점 조정 입력 신호에 대응하는 입력 신호 예를 들면 특정 패턴의 터치 이벤트 또는 특정 영역에서 발생하는 터치 이벤트 등에 해당하는 입력 신호가 발생하는지 여부를 확인할 수 있다. 이 과정에서 별도의 주시 시점 조정에 대응하는 입력 신호 발생이 없는 경우 제어부(160)는 507 단계로 분기하여 입력 신호에 따른 해당 사용자 기능을 수행하도록 제어할 수 있다. 예를 들면, 제어부(160)는 입체 영상 재생 제어를 위한 입력 신호 발생 시 해당 입력 신호에 따라 입체 영상 재생 제어를 수행하도록 제어할 수 있다. 또한 상기 제어부(160)는 게임과 관련된 입체 영상 재생 시에는 입력되는 입력 신호에 따라 게임 수행을 위한 처리를 수행하도록 지원할 수 있다.

상기 505 단계에서 주시각 조정을 위한 입력 신호가 발생하는 경우, 상기 제어부(160)는 509 단계로 분기하여 시점 파라메터를 검출하도록 제어할 수 있다. 여기서 시점 파라메터는 입체 영상 구현을 위해 제공되는 영상 프레임들의 시점 파라메터들로서 각 영상 프레임들이 표시 패널(141) 상에 출력되는 위치와 거리 등에 대한 정보를 포함하며, 특히 표시 패널(141)의 특정 위치에서의 시차 값들을 포함할 수 있다. 상기 제어부(160)는 시점 파라메터 검출 시 주시 시점 조정 입력 신호가 발생한 지점의 시점 파라메터를 검출한다.

그리고 상기 제어부(160)는 511 단계로 분기하여 해당 시점 파라메터를 기반으로 주시각 파라메터를 조정하도록 제어할 수 있다. 즉 제어부(160)는 시점이 일치되지 않는 특정 위치에서의 영상 프레임들의 위치와 거리 및 각도 중 적어도 하나를 조정하도록 제어할 수 있다. 주시각 파라메터 조정이 완료되면 상기 제어부(160)는 위치와 거리 및 각도 중 적어도 하나가 조정된 영상 프레임들을 표시 패널(141)에 출력하되 상기 주시 시점 조정 입력 신호가 발생한 지점의 시차가 일치되도록 출력할 수 있다. 이에 따라 주시 시점이 변경된 입체 영상이 표시 패널(141)에 출력될 수 있다.

다음으로 상기 제어부(160)는 513 단계에서 기능 종료 또는 단말기 종료를 위한 입력 신호 발생이 있는지 여부를 확인하고, 해당 입력 신호 발생이 없는 경우 503 단계 이전으로 분기하여 이하 과정을 재수행하도록 제어할 수 있다.

한편 상기 505 단계에서 주시각 조정 요청을 확인하는 단계는 카메라를 이용하여 주시 시점 조정 입력 신호를 자동으로 검출하는 방법이 적용될 수 도 있다. 즉 카메라를 이용하여 시청자의 눈동자를 촬영하고, 촬영된 눈동자에서 홍체의 위치와 크기 등을 이용하여 시청자의 주시 방향을 예측한 후, 그에 대응하는 주시 시점 조정 입력 신호를 생성할 수 도 있다.

또 한편, 상술한 설명에서는 영상 프레임의 시점 파라메터를 검출하고, 검출된 시점 파라메터들을 조정하여 사용자가 주시 시점을 조정하기를 원하는 위치로 영상 프레임을 조정하여 입체 영상의 주시 시점을 조정하는 것을 예로 하여 설명하였지만 본 발명이 이에 한정되는 것은 아니다. 즉 상기 주시 시점 조정 방식은 도 6에 도시된 바와 같이 현재 표시 패널(141) 상에 출력된 영상 중 주시 시점 조정 입력 신호가 발생한 위치의 일정 영역의 이미지를 검출하고, 해당 이미지 조정을 통하여 주시 시점 조정을 수행할 수 도 있다. 이를 보다 상세히 설명하면, 도 6의 601 화면에서와 같이 조정할 주시 시점으로 지정된 위치의 표시 패널(141) 상에 시점이 일치하지 않는 위치에 두 개의 오브젝트들(600)이 배치되면, 제어부(160)는 해당 위치의 일정 영역을 스캔하여 오브젝트들(600)의 경계 영역을 검출한다. 그리고 제어부(160)는 오브젝트들(600)의 경계 영역들 간의 거리와 방향을 확인하고, 603 화면에서와 같이 두 개의 오브젝트들(600)의 경계 영역들이 일치되도록 영상 프레임들을 조정할 수 있다. 이러한 방식을 통하여 본 발명의 제어부(160)는 별도의 파라메터 검출 및 파라메터 조정 없이 특정 위치의 오브젝트들의 경계 영역 일치 방식을 기반으로 입체 영상의 주시 시점을 변경하는 효과를 제공할 수 있다.

도 7은 본 발명의 실시 예에 다른 입체 영상에서의 주시 시점 변경을 설명하기 위한 화면 예시도이다.

상기 도 7을 참조하면, 701 화면에서와 같이 시점이 일치되지 않는 2개의 영상 프레임이 표시 패널(141)에 상에 출력될 수 있다. 실질적으로 701 화면에서 제공하는 이미지는 주시 시점이 중앙 일정 영역으로 정해져, 중앙 이외의 영역 예를 들면 제701 오브젝트(701)가 위치한 좌하측 영역과 제702 오브젝트(702)가 위치한 우상측 영역의 시점이 일치되지 않는 이미지가 될 수 있다.

주시각 조정 모드가 설정되어 있으며, 상술한 바와 같이 701 화면이 제공되고 있는 상태에서 사용자는 제701 오브젝트(701)가 출력되고 있는 좌하측 영역 상의 터치 패널(143)을 터치하여 터치 이벤트를 생성할 수 있다. 그러면 단말기(100)의 제어부(160)는 해당 영역에서 발생한 터치 이벤트를 주시 시점 조정을 위한 입력 신호로 판단하고, 해당 영역의 위치 정보를 수집할 수 있다. 그리고 상기 제어부(160)는 앞서 설명한 바와 같이 시점 파라메터를 검출하여, 해당 영역의 시차 값이 얼마인지를 확인할 수 있다. 그리고 제어부(160)는 상기 시차 값을 제거하도록 영상 프레임의 출력 방향과, 거리 및 각도를 조절함으로써 해당 영역의 주시 시점이 일치되도록 제어할 수 있다. 이에 따라 표시 패널(141)은 703 화면에서와 같이 제701 오브젝트(701)의 시점이 일치되도록 변경됨으로써, 주시 시점이 제701 오브젝트(701)가 출력된 위치로 변경될 수 있다. 주시 시점 변경에 따라 제702 오브젝트(702)의 시차는 더 커질 수 도 있다.

한편 705 화면에서와 같이 사용자는 제702 오브젝트(702)가 위치한 우상측 영역에서 주시 시점 조정을 위한 터치 이벤트를 생성할 수 있다. 그러면 제어부(160)는 우상측 영역의 시점 파라메터를 검출하고, 해당 위치에서의 시차 값이 제거되는 방향으로 영상 프레임들의 출력 형태를 조정할 수 있다. 이에 따라 표시 패널(141)은 707 화면에서와 같이 제702 오브젝트(702)의 시차 값이 제거된 형태의 이미지를 출력할 수 있다. 결과적으로 본 발명의 단말기(100)는 주시 시점이 제702 오브젝트(702)가 위치한 지점으로 이동되는 효과를 제공할 수 있다.

한편 상기 제어부(160)는 시점 파라메터 검출을 수행하지 않고, 터치 이벤트가 발생한 지점의 일정 영역을 스캔하여 경계 영역이 분리된 오브젝트들을 검출하고, 오브젝트들의 분리된 경계 영역이 일치되는 방향으로 영상 프레임들이 출력될 수 있도록 조정할 수 도 있다. 또한 상기 제어부(160)는 입체 영상이 표시 패널(141)에 출력되는 동안 카메라를 운용하여 사용자의 주시 시점을 자동으로 파악하고, 주시 시점 변경에 따라 영상 프레임들의 출력 형태 즉 출력 방향과 각도 및 거리 등을 조절함으로써 자동으로 사용자의 주시 시점이 맺히는 위치의 시차가 제거되도록 조절할 수 도 있다. 여기서 입체 영상의 경우 다수의 영상 프레임이 레이어별로 구분되어 출력되도록 정의될 수 있는데, 영상 프레임의 거리 조정은 영상 프레임의 레이어 간의 거리 조정 또는 레이어 간의 순서 조정에 해당할 수 있다.

한편, 상술한 단말기(100)는 그 제공 형태에 따라 다양한 추가 모듈을 더 포함할 수 있다. 즉 상기 단말기(100)는 통신 단말기인 경우 근거리 통신을 위한 근거리통신모듈, 피사체의 정지영상/동영상을 촬영하기 위한 카메라모듈, 상기 단말기(100)의 유선통신방식 또는 무선통신방식에 의한 데이터 송수신을 위한 인터페이스, 인터넷 네트워크와 통신하여 인터넷 기능을 수행하는 인터넷통신모듈 및 디지털 방송 수신과 재생 기능을 수행하는 디지털방송모듈 등과 같이 상기에서 언급되지 않은 구성들을 더 포함할 수도 있다. 이러한 구성 요소들은 디지털 기기의 컨버전스(convergence) 추세에 따라 변형이 매우 다양하여 모두 열거할 수는 없으나, 상기 언급된 구성 요소들과 동등한 수준의 구성 요소가 상기 디바이스에 추가로 더 포함되어 구성될 수 있다. 또한 본 발명의 단말기(100)는 그 제공 형태에 따라 상기한 구성에서 특정 구성들이 제외되거나 다른 구성으로 대체될 수도 있음은 물론이다. 이는 본 기술분야의 통상의 지식을 가진 자에겐 쉽게 이해될 수 있을 것이다.

또한 본 발명의 실시 예에 따른 상기 단말기(100)는 입체 영상 구현이 가능한 표시 패널을 포함하는 모든 형태의 디바이스를 포함할 수 있다. 예를 들면, 상기 단말기(100)는 다양한 통신 시스템들에 대응되는 통신 프로토콜들(communication protocols)에 의거하여 동작하는 모든 이동통신 단말기들(mobile communication terminals)을 비롯하여, PMP(Portable Multimedia Player), 디지털방송 플레이어, PDA(Personal Digital Assistant), 음악 재생기(예컨대, MP3 플레이어), 휴대게임단말, 스마트 폰(Smart Phone), 노트북(Notebook) 및 핸드헬드 PC 등 모든 정보통신기기와 멀티미디어기기 및 그에 대한 응용기기를 포함할 수 있다.

한편, 본 명세서와 도면을 통해 본 발명의 바람직한 실시 예들에 대하여 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것일 뿐, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.

10 : 영상 재생부 20 : 주시 시점 조정 검출부
30 : 주시각 조정부 31 : 시점 파라메터 검출부
33 : 주시각 파라메터 조정부 100 : 단말기
110 : 무선통신부 130 : 오디오 처리부
140 : 표시부 150 : 저장부
160 : 제어부

Claims

입체 영상을 재생하는 재생 과정;
상기 입체 영상의 주시 시점 조정을 위한 입력 신호를 수신하는 수신 과정;
상기 수신된 입력 신호에 대응하는 위치의 영상 프레임들의 시차를 제거하여 해당 위치가 주시 시점이 되도록 주시각 조정을 수행하는 수행 과정;을 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어 방법.
제1항에 있어서,
상기 입체 영상 재생 요청에 따라 디폴트 또는 사용자 요청에 따라 주시가 조정 모드로 전환하는 과정;을 더 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어 방법.
제1항에 있어서,
상기 수신 과정은
상기 입체 영상이 출력되는 터치스크린의 특정 영역을 지시하는 터치 이벤트를 수신하는 과정을 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어 방법.
제1항에 있어서,
상기 입체 영상 재생 시 카메라를 활성화하는 과정;
상기 카메라를 이용하여 사용자의 눈동자를 촬영하는 과정;
상기 눈동자의 홍체 위치 및 단말기 사이의 거리를 기반으로 상기 사용자의 주시 시점을 판단하는 과정;
상기 주시 시점에 대응하는 주시 시점 조정을 위한 입력 신호를 생성하는 과정;을 더 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어 방법.
제1항에 있어서,
상기 수행 과정은
상기 주시 시점 조정을 위한 입력 신호에 대응하는 위치의 시점 파라메터를 검출하는 과정;
상기 시점 파라메터의 시차 값을 확인하는 과정;
상기 시차 값을 제거하도록 상기 영상 프레임들을 조정하는 과정;을 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어 방법.
제1항에 있어서,
상기 수행 과정은
상기 주시 시점 조정을 위한 입력 신호에 대응하는 위치의 일정 영역에 출력되는 오브젝트들을 스캔하는 과정;
상기 오브젝트들의 경계 영역이 일치되도록 상기 영상 프레임들을 조정하는 과정;을 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어 방법.
입체 영상을 재생에 따른 화면을 출력하는 표시 패널;
상기 입체 영상의 주시 시점 조정을 위한 입력 신호를 수신하고, 상기 수신된 입력 신호에 대응하는 위치의 영상 프레임들의 시차를 제거하여 해당 위치가 주시 시점이 되도록 주시각 조정을 수행하는 제어부;를 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기.
제7항에 있어서,
상기 제어부는
상기 입체 영상 재생 요청에 따라 디폴트 또는 사용자 요청에 따라 주시가 조정 모드로 전환하도록 제어하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기.
제7항에 있어서,
상기 입체 영상이 출력되는 터치스크린의 특정 영역을 지시하는 터치 이벤트를 생성하여 상기 제어부에 전달하는 터치 패널;을 더 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기.
제7항에 있어서,
사용자의 눈동자를 촬영하는 카메라;를 더 포함하고,
상기 제어부는
상기 촬영된 눈동자의 홍체 위치 및 단말기 사이의 거리를 기반으로 상기 사용자의 주시 시점을 판단하고, 상기 주시 시점에 대응하는 주시 시점 조정을 위한 입력 신호를 생성하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기.
제10항에 있어서,
상기 제어부는
상기 입체 영상 재생 시 상기 카메라를 활성화하도록 제어하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기.
제7항에 있어서,
상기 제어부는
상기 입체 영상을 재생하는 영상 재생부;
상기 주시 시점 조정을 위한 입력 신호를 수집하는 주시 시점 조정 검출부;
상기 주시 시점 조정을 위한 입력 신호에 따라 상기 주시 시점을 조정하는 주시각 조정부;를 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기.
제12항에 있어서,
상기 주시각 조정부는
상기 주시 시점 조정을 위한 입력 신호에 대응하는 위치의 시점 파라메터를 검출하는 시점 파라메터 검출부;
상기 시점 파라메터의 시차 값을 확인하고 상기 시차 값을 제거하도록 상기 영상 프레임들을 조정하는 주시각 조정부;를 포함하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기.
제7항에 있어서,
상기 제어부는
상기 주시 시점 조정을 위한 입력 신호에 대응하는 위치의 일정 영역에 출력되는 오브젝트들을 스캔하고, 상기 오브젝트들의 경계 영역이 일치되도록 상기 영상 프레임들을 조정하는 것을 특징으로 하는 입체 영상 표시 제어를 위한 주시각 제어를 지원하는 단말기.