KR102201740B1 - 이동 단말기 및 그 제어방법 - Google Patents

Abstract

본 발명은 디스플레이부의 바깥쪽에 위치하는 터치 패널을 통해 이동 단말기와 관련된 설정을 용이하게 변경할 수 있는 이동 단말기 및 그 제어 방법을 개시한다. 이를 위한 이동 단말기는, 디스플레이부; 이동 단말기의 후면 방향의 영상(이하, '후면 영상'이라 함)을 획득하기 위한 후면 카메라; 상기 이동 단말기의 전면 방향의 영상(이하, '전면 영상'이라 함)을 획득하기 위한 전면 카메라; 및 상기 전면 카메라를 통해 획득된 상기 전면 영상으로부터 상기 이동 단말기를 사용 중인 사용자와의 이격 거리 및 시선의 위치 중 적어도 하나를 획득하고, 상기 이격 거리 및 상기 시선의 위치 중 적어도 하나를 기초로, 상기 후면 영상 중 상기 디스플레이부를 통해 출력될 출력 영역을 조절하는 제어부를 포함할 수 있다.

Description

이동 단말기 및 그 제어방법{MOBILE TERMINAL AND METHOD FOR CONTROLLING THE SAME}

본 발명은 디스플레이부의 출력이 주변 환경과 끊김 없이 이어져 있는 심리스 뷰 환경을 구축할 수 있는 이동 단말기 및 그 제어 방법에 관한 것이다.

단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.

이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.

이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.

이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.

이동 단말기를 사용하는 동안, 사용자는 이동 단말기가 점유하는 공간 뒤편을 볼 수는 없다. 위와 같은 문제점을 해결하기 위해, 투명 디스플레이를 활용하는 방안이 논의되고 있다. 다만, 액정 디스플레이(Liquid Crystal Display)는 백라이트 유닛(BackLight Unit)을 사용하여야 하는 구조 상 투명 디스플레이를 제조하는 것이 쉽지 않고, 유기 발광 다이오드(Organic Light-Emitting Diode, OLED) 투명 디스플레이는 검정 색상을 표시하는데 한계가 있다.

이에 본 발명에서는 투명 디스플레이부를 채택하는 대신, 카메라를 이용하여 이동 단말기가 점유하는 공간 뒤편의 시야를 확보할 수 있는 방안에 대해 개시하고자 한다.

본 발명은 사용자 편의를 증진시킨 이동 단말기를 제공하는 것을 목적으로 한다.

구체적으로, 본 발명은 이동 단말기의 후면을 촬영한 후면 영상 중 디스플레이될 출력 영역을 조절함으로써, 주변 환경과 디스플레이부의 출력이 끊김 없이 이어져 있는 심리스 뷰 환경을 구축할 수 있는 이동 단말기를 제공하는 것을 목적으로 한다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 디스플레이부; 이동 단말기의 후면 방향의 영상(이하, '후면 영상'이라 함)을 획득하기 위한 후면 카메라; 상기 이동 단말기의 전면 방향의 영상(이하, '전면 영상'이라 함)을 획득하기 위한 전면 카메라; 및 상기 전면 카메라를 통해 획득된 상기 전면 영상으로부터 상기 이동 단말기를 사용 중인 사용자와의 이격 거리 및 시선의 위치 중 적어도 하나를 획득하고, 상기 이격 거리 및 상기 시선의 위치 중 적어도 하나를 기초로, 상기 후면 영상 중 상기 디스플레이부를 통해 출력될 출력 영역을 조절하는 제어부를 포함하는 이동 단말기를 제공한다.

본 발명의 다른 측면에 따르면, 전면 카메라로부터 이동 단말기의 전면 방향의 영상(이하, '전면 영상'이라 함)을 획득하는 단계; 상기 전면 영상으로부터 상기 이동 단말기를 사용 중인 사용자와의 이격 거리 및 시선의 위치 중 적어도 하나를 획득하는 단계; 및 상기 이격 거리 및 상기 시선의 위치 중 적어도 하나를 기초로, 후면 카메라로부터 획득된 이동 단말기의 후면 방향의 영상(이하, '후면 영상'이라 함) 중 상기 디스플레이부를 통해 출력될 출력 영역을 조절하는 단계를 포함하는 이동 단말기의 제어 방법을 제공한다.

본 발명에서 이루고자 하는 기술적 과제들의 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.

본 발명의 실시 예들 중 적어도 하나에 의하면, 사용자 편의를 증진시킨 이동 단말기를 제공할 수 있는 장점이 있다.

구체적으로, 본 발명은 이동 단말기의 후면을 촬영한 후면 영상 중 디스플레이될 출력 영역을 조절함으로써, 주변 환경과 디스플레이부의 출력이 끊김 없이 이어져 있는 심리스 뷰 환경을 구축할 수 있는 이동 단말기를 제공할 수 있는 장점이 있다.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2는 심리스 뷰가 구현되는 예를 설명하기 위한 도면이다.
도 3은 실제 피사체의 크기와, 후면 영상 속 피사체의 크기를 설명하기 위해 예시한 도면이다.
도 4는 본 발명에 따른 이동 단말기의 동작 흐름도이다.
도 5는 거리 정보 및 시선 정보를 설명하기 위해 예시한 도면이다.
도 6a 및 도 6b는 거리 정보에 따라 디스플레이될 영역의 크기가 조절되는 예를 도시한 도면이다.
도 7a 및 도 7b는 시선 정보에 따라 디스플레이될 영역의 위치가 조절되는 예를 도시한 도면이다.
도 8은 도로 영상 위 교통 정보 또는 항법 정보 등이 디스플레이되는 예를 도시한 도면이다.
도 9a 및 도 9b는 디스플레이부의 출력 모드가 변경되는 예를 도시한 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.

그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.

도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.

상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 감지부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.

보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.

이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.

입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.

센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.

인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.

또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.

제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.

또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.

전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.

설명의 편의를 위해, 본 발명에서 설명하는 이동 단말기(100)는 도 1a 내지 도 1c에 도시된 구성요소 중 적어도 하나를 포함하는 것으로 가정한다. 구체적으로, 본 발명에 따른 이동 단말기(100)는, 이동 단말기(100)의 후면에 노출되는 카메라(이하, 후면 카메라(121b)라 함), 이동 단말기(100)의 전면에 노출되는 카메라(이하, 전면 카메라(121a)라 함), 이동 단말기(100)의 전면에 노출되는 디스플레이부(151) 및 제어부(180)를 포함하는 것으로 가정한다. 열거된 구성 요소 이외에도, 본 발명에 따른 이동 단말기(100)가 도 1a 내지 도 1c에 도시된 구성요소 중 적어도 하나를 더 포함할 수 있음은 물론이다.

본 발명에 따른 이동 단말기(100)는 후면 카메라(121b)를 통해 획득된 후면 영상 중 이동 단말기(100)에 의해 가려진 공간에 대응하는 부분이 디스플레이부(151)를 통해 출력되도록 하기 위한 것이다. 후면 카메라(121b)를 통해 획득된 후면 영상 중 디스플레이부(151)를 통해 출력되는 부분은 이동 단말기(100)에 의해 가려진 공간에 대응하기 때문에, 디스플레이부(151)와 주변 환경이 끊김 없이 이어져 있는 심리스(Seamless) 뷰 환경이 구축될 수 있다.

일예로, 도 2는 심리스 뷰가 구현되는 예를 설명하기 위한 도면이다. 이동 단말기(100), 사용자 및 피사체(10)는 도 2의 (a)에 도시된 예에서와 같이, 일직선상에 놓여져 있는 것으로 가정한다.

이동 단말기(100), 사용자 및 피사체(10)가 일직선 상에 놓여져 있다면, 도 2의 (b)에 도시된 예에서와 같이, 이동 단말기(100)가 점유하는 공간상의 영역으로 인해, 피사체(10)의 적어도 일부는 사용자의 시야에서 가려지게 된다.

이에, 본 발명에 따른 이동 단말기(100)는 도 2의 (c)에 도시된 예에서와 같이, 이동 단말기(100)에 의해 가려진 피사체(10)의 일부가 디스플레이부(151)를 통해 출력되도록 제어함으로써, 디스플레이부(151)의 출력과 주변 환경 사이에 끊김 없이 이어져 있는 시각적 효과를 제공할 수 있다.

후면 카메라(121b)를 통해 획득된 후면 영상 속 피사체(10)의 크기는 후면 카메라(121b)와 피사체(10) 사이의 거리에 따라, 확대되거나, 축소될 수 있다.

일예로, 도 3은 실제 피사체(10)의 크기와, 후면 영상 속 피사체(10)의 크기를 설명하기 위해 예시한 도면이다.

피사체(10)와 후면 카메라(121b) 사이의 거리가 매우 가깝다면, 도 3의 (a)에 도시된 예에서와 같이, 후면 영상 속 피사체(10)의 크기는 실제 피사체(10)의 크기보다 커지게 된다. 이 경우, 후면 카메라(121b)를 통해 획득된 후면 영상이, 이동 단말기(100)에 의해 가려진 공간보다 협소한 공간을 촬영한 것이므로, 심리스 뷰 환경이 구축되기 어려울 것이다.

피사체(10)와 후면 카메라(121b) 사이의 거리가 충분히 떨어져 있다면, 도 3의 (b)에 도시된 예에서와 같이, 후면 영상 속 피사체(10)의 크기는 실제 피사체(10)의 크기보다 감소하게 된다. 이 경우, 후면 카메라(121b)를 통해 획득한 후면 영상 중 이동 단말기(100)에 의해 가려진 공간에 대응하는 부분을 추출하여 디스플레이한다면, 심리스 뷰 환경이 구축될 수 있을 것이다.

이에, 후술되는 실시예들에서는 피사체(10)와 후면 카메라(121b) 사이의 거리가 충분히 떨어져 있어, 심리스 뷰 환경을 조성하기에 적합한 상황인 것으로 가정한다.

상술한 설명을 기초로, 심리스 뷰 환경을 조성하기 위한 본 발명에 따른 이동 단말기(100)에 대해 상세히 설명하기로 한다.

도 4는 본 발명에 따른 이동 단말기(100)의 동작 흐름도이다. 도 4를 참조하면, 먼저, 제어부(180)는 전면 카메라(121a)를 통해 획득된 전면 영상을 통해, 디스플레이부(151)를 응시하는 사용자에 대한 정보를 획득할 수 있다(S401). 구체적으로, 제어부(180)는 전면 영상을 통해 디스플레이부(151)를 응시하는 사용자와의 거리에 대한 정보 및 디스플레이부(151)를 응시하는 사용자의 시선에 대한 정보 중 적어도 하나를 획득할 수 있다.

전면 영상으로부터 거리 정보 및 시선 정보를 획득하기 위해, 전면 카메라(121a)는 3차원 카메라 및 2차원 카메라가 하나의 세트를 포함할 수도 있다. 이 경우, 제어부(180)는, 3차원 카메라를 통해 획득된 3차원 영상을 통해 파악되는 사용자의 3차원을 기초로 사용자와의 거리 정보를 획득하고, 2차원 카메라를 통해 획득된 2차원 영상에 안구 인식 알고리즘을 적용함으로써 획득되는 사용자의 눈의 위치를 기초로 시선의 위치에 대한 시선 정보를 획득할 수 있을 것이다. 이때, 제어부(180)는, 눈동자에 맺힌 이동 단말기(100)의 형상 또는 이동 단말기(100)로부터 방출되는 빛이 눈동자에서 반사되는 형상 등을 분석하여 시선의 위치에 대한 정확도를 높일 수도 있다.

다만, 전면 카메라(121a)가 반드시 3차원 카메라 및 2차원 카메라로 구성된 한 세트의 카메라를 포함하여야 하는 것은 아니다. 제어부(180)는 3차원 카메라를 통해 획득되는 3차원 영상으로부터 위치 정보 및 시선 정보를 모두 획득할 수도 있다.

3차원 카메라에는 스테레오 비전 방식, 구조광 방식 또는 ToF (Time of Flight) 방식 중 어느 하나가 적용될 수 있다.

도 5는 거리 정보 및 시선 정보를 설명하기 위해 예시한 도면이다. 도 5의 (a)에 도시된 예에서와 같이, 거리 정보는 이동 단말기(100)와 사용자 사이의 이격 거리를 의미하는 것일 수 있다. 제어부(180)는 전면 카메라(121a)를 통해 획득된 전면 영상을 분석하여, 디스플레이부(151)를 응시하는 사용자(구체적으로는 사용자 안면)과의 거리를 측정할 수 있다.

도 5의 (b)에 도시된 예에서와 같이, 시선 정보는 이동 단말기(100)를 중심으로 사용자의 눈이 좌우로 편향되어 있는 정도, 상하로 편향되어 있는 정도 및 사용자의 눈이 회전되어 있는 정도를 포함할 수 있다.

전면 카메라(121a)로부터 사용자 정보가 획득되면, 제어부(180)는, 사용자 정보를 기초로, 후면 카메라(121b)를 통해 획득되는 후면 영상 중 상기 디스플레이부(151)를 통해 출력될 영역을 조절할 수 있다(S402). 구체적으로, 제어부(180)는 거리 정보를 기초로 디스플레이부(151)를 출력될 영역의 크기를 조절하고, 시선 정보를 기초로 디스플레이부(151)를 통해 출력될 영역의 위치를 조절할 수 있다. 이후, 제어부(180)는 획득된 출력 영역 중 출력 영역에 해당하는 부분이 디스플레이부(151)를 통해 출력되도록 제어할 수 있다(S403). 도 6 및 도 7을 참조하여, 디스플레이부(151)를 통해 출력될 영역이 조절되는 예에 대해 상세히 설명하기로 한다.

도 6a 및 도 6b는 거리 정보에 따라 디스플레이될 영역의 크기가 조절되는 예를 도시한 도면이다.

도 6a의 (a) 및 (b)에 도시된 예에서와 같이, 사용자와 이동 단말기(100) 사이의 거리가 가까울수록, 이동 단말기(100)에 의해 가려지는 공간상의 영역은 점차 증가하게 된다. 이에 따라, 제어부(180)는 도 6b의 (a) 및 (b)에 도시된 예에서와 같이, 이동 단말기(100)와 사용자 사이의 거리가 감소할수록 후면 카메라(121b)를 통해 획득된 후면 영상 중 디스플레이부(151)를 통해 출력될 영역의 크기가 증가하도록 제어할 수 있다.

이를 위해, 메모리(160)에는 사용자와 이동 단말기(100) 사이의 거리와 디스플레이하고자 하는 영역의 크기를 매핑한 데이터가 저장되어 있을 수 있다. 제어부(180)는 메모리(160)에 저장된 데이터로부터 사용자와의 이격 거리에 매핑되는 디스플레이하고자 하는 영역의 크기에 맞춰 디스플레이할 영역의 크기를 결정할 수 있을 것이다.

사용자가 이동 단말기(100)를 정면에서 응시하고 있다면, 후면 영상의 중심을 기준으로 디스플레이하고자 하는 영역을 설정할 수 있을 것이다. 다만, 사용자가 이동 단말기(100)를 측면에서 바라보는 경우에는 디스플레이하고자 하는 영역의 위치를 조절할 필요가 있다. 이에 대한 상세한 설명은 도 7a 및 도 7b를 참조하기로 한다.

도 7a 및 도 7b는 시선 정보에 따라 디스플레이될 영역의 위치가 조절되는 예를 도시한 도면이다.

도 7a의 (a) 및 (b)에 도시된 예에서와 같이, 사용자가 정면에서 이동 단말기(100)를 응시하는 경우와, 사용자가 측면에서 이동 단말기(100)를 응시하는 경우 가려지는 부분은 서로 다르다. 일예로, 사용자가 이동 단말기(100)를 정면에서 응시할 때, 도 7a의 (a)에 도시된 예에서와 같이, 이동 단말기(100)가 피사체(10)의 중심부를 가린다고 가정하면, 사용자가 이동 단말기(100)를 오른쪽에서 응시하는 경우, 도 7a의 (b)에 도시된 예에서와 같이, 이동 단말기(100)는 피사체(10)의 왼쪽부분을 가리게 된다.

이에 따라, 제어부(180)는 사용자의 시선의 위치와 반대 방향으로 디스플레이하고자 하는 영역의 위치가 이동하도록 제어할 수 있다. 예컨대, 사용자의 시선이 오른쪽에 위치한다면(즉, 사용자가 오른쪽에서 이동 단말기(100)를 응시), 도 7b의 (a)에 도시된 예에서와 같이, 디스플레이하고자 하는 영역의 위치를 후면 영상의 중심보다 왼쪽에 설정하고, 사용자의 시선이 왼쪽에 위치한다면(즉, 사용자가 왼쪽에서 이동 단말기(100)를 응시), 도 7b의 (b)에 도시된 예에서와 같이, 디스플레이하고자 하는 영역의 위치를 후면 영상의 중심보다 오른쪽에 설정할 수 있다.

도시되지는 않았지만, 사용자의 시선이 위쪽에 위치한다면(즉, 사용자가 위에서 아래로 이동 단말기(100)를 응시), 디스플레이하고자 하는 영역의 위치를 후면 영상의 중심보다 아래쪽에 설정할 수 있을 것이고, 사용자의 시선이 아래쪽에 위치한다면(즉, 사용자가 아래에서 위로 이동 단말기(100)를 응시), 디스플레이하고자 하는 영역의 위치를 후면 영상의 중심보다 위쪽에 설정할 수 있을 것이다.

즉, 제어부(180)는 후면 영상의 중심을 기준으로 할 때, 사용자의 시선의 위치와 반대 방향에 디스플레이고자 하는 영역의 위치가 설정되도록 제어할 수 있다.

이를 위해, 메모리(160)에는 시선의 위치와 디스플레이하고자 하는 영역의 위치를 매핑한 데이터가 저장되어 있을 수 있다. 제어부(180)는 메모리(160)에 저장된 데이터로부터 시선의 위치에 매핑되는 디스플레이하고자 하는 영역의 위치에 맞춰 디스플레이할 영역을 설정할 수 있을 것이다.

도시되지는 않았지만, 제어부(180)는 이동 단말기(100) 대비 눈이 회전되어 있는 정도에 따라, 디스플레이하고자 하는 영역을 회전 시킬 수도 있다. 일예로, 디스플레이부(151)를 응시하는 사용자의 시선이 회전된 상태라면, 사용자의 시선이 회전된 방향과 동일한 방향(또는 반대 방향)으로 디스플레이하고자 하는 영역이 회전되도록 제어할 수도 있다.

본 발명에 따른 이동 단말기(100)가 운전자에게 항법 정보를 알려주기 위해 차량의 대시 보드 위에 놓여져 있다면, 이동 단말기(100)에는 이동 단말기(100)에 의해 가려진 공간상 영역에 대응하는 도로 영상이 디스플레이될 수 있을 것이다. 이때, 제어부(180)는 디스플레이되는 도로 영상 위에 교통 정보 또는 항법 정보 등이 디스플레이되도록 제어할 수 있다.

일예로, 도 8은 도로 영상 위 교통 정보 또는 항법 정보 등이 디스플레이되는 예를 도시한 도면이다.

이동 단말기(100)가 대시 보드 위에 올려져 있다면, 후면 영상 중 이동 단말기(100)에 의해 가려진 공간상의 영역에 대응하는 일부가 디스플레이부(151)를 통해 출력될 수 있을 것이다. 이에 따라, 도 8의 (a)에 도시된 예에서와 같이, 디스플레이부(151)를 통해 현재 주행 중인 도로 영상이 출력된다면, 제어부(180)는 도 8의 (b)에 도시된 예에서와 같이, 도로 영상 위 목적지까지 도달하기 위한 길안내 및 현재 차량의 주행 속도 등의 항법 정보와, 현재의 도로 상황 및 촬영된 도로의 제한 속도 등의 교통 정보가 디스플레이되도록 제어할 수 있다.

종래의 이동 단말기(100)는 주행 중인 지형에 맞춰 생성된 이미지 위에 항법 정보 또는 교통 정보를 표시 하였으나, 본 발명에 따른 이동 단말기(100)는 현재 주행 중인 도로 영상 위 항법 정보 또는 교통 정보를 표시할 수 있어, 보다 직관적으로 항법 정보 또는 교통 정보를 인지할 수 있다.

전면 카메라(121a)를 통해 획득된 사용자 정보는 심리스 뷰 환경을 구축하는 데에만 이용되는 것은 아니다. 제어부(180)는 전면 카메라(121a)를 통해 획득된 사용자 정보를 기초로 디스플레이부(151)의 출력 모드(예를 들어, 랜드스케이프 모드 또는 포트레이트 모드)를 조절할 수도 있다.

종래 이동 단말기(100)는 센서(예컨대, 가속도 센서 또는 자이로 센서)를 통해 이동 단말기(100)의 기울어짐을 감지하고, 이동 단말기(100)가 가로 방향으로 놓여 있는 것으로 판단되는 경우에는 디스플레이부(151)를 랜드스케이프 모드로 설정하고, 이동 단말기(100)가 세로 방향으로 놓여 있는 것으로 판단되는 경우에는 디스플레이부(151)를 포트레이트 모드로 설정하였다.

다만, 사용자가 이동 단말기(100)를 세로 방향으로 쥔채, 옆으로 눕게 된다면, 사용자는 세로 방향으로 이동 단말기(100)를 사용하고 보고 있음에 반해, 센싱부는 이동 단말기(100)가 가로 방향으로 기울어져 있음을 감지할 것이므로, 디스플레이부(151)의 출력 모드는 랜드 스케이프 모드로 변경될 것이다.

위와 같은 괴리감을 없애기 위해, 본 발명에 따른 이동 단말기(100)는 사용자의 시선이 회전된 정도에 따라 디스플레이부(151)의 출력 모드가 변경되도록 제어할 수도 있다.

일예로, 도 9a 및 도 9b는 디스플레이부(151)의 출력 모드가 변경되는 예를 도시한 도면이다.

도 9a의 (a)에 도시된 예에서와 같이, 이동 단말기(100)가 세로 방향으로 놓여져 있고, 사용자의 시선도 세로 방향으로 놓인 이동 단말기(100)를 정면으로 응시하는 것으로 판단된다면, 제어부(180)는 디스플레이부(151)를 포트레이트 모드로 설정할 수 있다. 이와 달리, 도 9a의 (b)에 도시된 예에서와 같이, 이동 단말기(100)는 세로 방향으로 놓여져 있지만, 사용자의 시선은 세로 방향으로 놓인 이동 단말기(100)를 소정 각도(예컨대, 90도) 회전한 상태라면, 제어부(180)는 디스플레이부(151)를 랜드스케이프 모드로 설정할 수 있다.

다른 예로, 도 9b의 (a)에 도시된 예에서와 같이, 이동 단말기(100)가 가로 방향으로 놓여져 있고, 사용자의 시선도 가로 방향으로 놓인 이동 단말기(100)를 정면으로 응시하는 것으로 판단된다면, 제어부(180)는 디스플레이부(151)를 랜드스케이프 모드로 설정할 수 있다. 이와 달리, 도 9b의 (b)에 도시된 예에서와 같이, 이동 단말기(100)는 가로 방향으로 놓여져 있지만, 사용자의 시선은 가로 방향으로 놓인 이동 단말기(100)를 소정 각도(예컨대, 90도) 회전한 상태라면, 제어부(180)는 디스플레이부(151)를 포트레이트 모드로 설정할 수 있다.

즉, 본 발명에 따른 이동 단말기(100)는 이동 단말기(100)가 세로 방향으로 놓여있는 상태에서, 사용자의 시선이 소정 각도 이상 회전된 상태라 아니라면, 사용자가 세로 방향으로 놓여 있는 이동 단말기(100)를 정면으로 응시하는 것으로 판단하여 디스플레이부(151)를 포트레이트 모드로 설정하고, 사용자의 시선이 소정 각도 이상 회전된 상태라면, 사용자가 세로 방향으로 놓여 있는 이동 단말기(100)를 90도 회전하여 응시하는 것으로 판단하여 디스플레이부(151)를 랜드스케이프 모드로 설정할 수 있다.

마찬가지로, 본 발명에 따른 이동 단말기(100)는 이동 단말기(100)가 가로 방향으로 놓여있는 상태에서, 사용자의 시선이 소정 각도 이상 회전된 상태라 아니라면, 사용자가 가로 방향으로 놓여 있는 이동 단말기(100)를 정면으로 응시하는 것으로 판단하여 디스플레이부(151)를 랜드스케이프 모드로 설정하고, 사용자의 시선이 소정 각도 이상 회전된 상태라면, 사용자가 가로 방향으로 놓여 있는 이동 단말기(100)를 90도 회전하여 응시하는 것으로 판단하여 디스플레이부(151)를 포트레이트 모드로 설정할 수 있다.

이때, 제어부(180)는 센싱부(140)의 감지 신호를 기초로, 이동 단말기(100)가 가로 방향으로 놓여 있는지 또는 세로 방향으로 놓여 있는지를 판단할 수 있을 것이다.

본 발명의 일실시예에 의하면, 전술한 방법(동작 흐름도)은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.

상기와 같이 설명된 이동 단말기(100)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

121 : 후면 카메라
121' : 전면 카메라
151 : 디스플레이부
160 : 메모리
180 : 제어부

Claims (11)

1. 디스플레이부;
   이동 단말기의 후면 방향의 영상(이하, '후면 영상'이라 함)을 획득하기 위한 후면 카메라;
   상기 이동 단말기의 전면 방향의 영상(이하, '전면 영상'이라 함)을 획득하기 위한 전면 카메라; 및
   상기 전면 카메라를 통해 획득된 상기 전면 영상으로부터 상기 이동 단말기를 사용 중인 사용자와의 이격 거리 및 시선의 위치를 획득하고, 상기 이격 거리 및 상기 시선의 위치를 기초로, 상기 후면 영상 중 상기 디스플레이부를 통해 출력될 출력 영역을 조절하는 제어부;를 포함하고,
   상기 전면 카메라는, 3차원 카메라 및 2차원 카메라를 포함하고,
   상기 제어부는,
   상기 3차원 카메라를 통해 획득되는 3차원 영상을 통해 파악되는 상기 사용자의 3차원을 기초로, 상기 사용자와의 이격 거리를 획득하고,
   상기 2차원 카메라를 통해 획득되는 2차원 영상 내의 상기 사용자의 눈의 위치를 기초로, 상기 시선의 위치를 획득하며,
   상기 이동 단말기 대비 상기 2차원 영상 내의 상기 사용자의 눈이 회전되어 있는 정도를 기초로, 상기 출력 영역을 회전시키는 것을 특징으로 하는 이동 단말기.
2. 제 1 항에 있어서,
   상기 제어부는 상기 이격 거리를 기초로, 상기 후면 영상 내 상기 출력 영역의 크기를 조절하는 것을 특징으로 하는 이동 단말기.
3. 제 2 항에 있어서,
   상기 제어부는 상기 이격 거리가 증가할수록 상기 후면 영상 내 상기 출력 영역의 크기는 감소하도록 제어하는 것을 특징으로 하는 이동 단말기.
4. 제 1 항에 있어서,
   상기 제어부는 상기 시선의 위치를 기초로, 상기 후면 영상 내 상기 출력 영역의 위치를 조절하는 것을 특징으로 하는 이동 단말기.
5. 제 4 항에 있어서,
   상기 제어부는 상기 시선의 위치와 반대 방향으로 상기 출력 영역의 위치를 조절하는 것을 특징으로 하는 이동 단말기.
6. 삭제
7. 삭제
8. 삭제
9. 삭제
10. 삭제
11. 삭제

Images