KR20150108561A - Mobile terminal and method for controlling the same - Google Patents

Mobile terminal and method for controlling the same Download PDF

Info

Publication number
KR20150108561A
KR20150108561A KR1020140031497A KR20140031497A KR20150108561A KR 20150108561 A KR20150108561 A KR 20150108561A KR 1020140031497 A KR1020140031497 A KR 1020140031497A KR 20140031497 A KR20140031497 A KR 20140031497A KR 20150108561 A KR20150108561 A KR 20150108561A
Authority
KR
South Korea
Prior art keywords
mobile terminal
image
user
display unit
sight
Prior art date
Application number
KR1020140031497A
Other languages
Korean (ko)
Other versions
KR102201740B1 (en
Inventor
정용우
신윤섭
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020140031497A priority Critical patent/KR102201740B1/en
Publication of KR20150108561A publication Critical patent/KR20150108561A/en
Application granted granted Critical
Publication of KR102201740B1 publication Critical patent/KR102201740B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/22Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera

Abstract

Disclosed are a mobile terminal which can easily change settings related to the mobile terminal through a touch panel located on the outer side of a display unit, and a control method thereof. The mobile terminal of the present invention comprises: a display unit; a rear camera for obtaining an image in the rear direction of the mobile terminal (hereinafter referred to as a rear image); a front camera for obtaining an image in the front direction of the mobile terminal (hereinafter referred to as a front image); and a control unit for obtaining at least one of a separation distance to a user, who is using the mobile terminal, and a position at which the user looks, from the front image obtained from the front camera, and controlling an output area, which may be outputted through the display unit, from the rear image based on at least one of the separation distance and the position at which the user looks.

Description

이동 단말기 및 그 제어방법{MOBILE TERMINAL AND METHOD FOR CONTROLLING THE SAME}[0001] MOBILE TERMINAL AND METHOD FOR CONTROLLING THE SAME [0002]

본 발명은 디스플레이부의 출력이 주변 환경과 끊김 없이 이어져 있는 심리스 뷰 환경을 구축할 수 있는 이동 단말기 및 그 제어 방법에 관한 것이다.The present invention relates to a mobile terminal capable of establishing a seamless view environment in which an output of a display unit is seamlessly connected to a surrounding environment and a control method thereof.

단말기는 이동 가능여부에 따라 이동 단말기(mobile/portable terminal) 및 고정 단말기(stationary terminal)로 나뉠 수 있다. 다시 이동 단말기는 사용자의 직접 휴대 가능 여부에 따라 휴대(형) 단말기(handheld terminal) 및 거치형 단말기(vehicle mounted terminal)로 나뉠 수 있다.A terminal can be divided into a mobile / portable terminal and a stationary terminal depending on whether the terminal is movable or not. The mobile terminal can be divided into a handheld terminal and a vehicle mounted terminal according to whether the user can directly carry the mobile terminal.

이동 단말기의 기능은 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.The functions of mobile terminals are diversified. For example, there are data and voice communication, photographing and video shooting through a camera, voice recording, music file playback through a speaker system, and outputting an image or video on a display unit. Some terminals are equipped with an electronic game play function or a multimedia player function. In particular, modern mobile terminals can receive multicast signals that provide visual content such as broadcast and video or television programs.

이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.Such a terminal has various functions, for example, in the form of a multimedia device having multiple functions such as photographing and photographing of a moving picture, reproduction of a music or video file, reception of a game and broadcasting, etc. .

이러한 단말기의 기능 지지 및 증대를 위해, 단말기의 구조적인 부분 및/또는 소프트웨어적인 부분을 개량하는 것이 고려될 수 있다.In order to support and enhance the functionality of such terminals, it may be considered to improve the structural and / or software parts of the terminal.

이동 단말기를 사용하는 동안, 사용자는 이동 단말기가 점유하는 공간 뒤편을 볼 수는 없다. 위와 같은 문제점을 해결하기 위해, 투명 디스플레이를 활용하는 방안이 논의되고 있다. 다만, 액정 디스플레이(Liquid Crystal Display)는 백라이트 유닛(BackLight Unit)을 사용하여야 하는 구조 상 투명 디스플레이를 제조하는 것이 쉽지 않고, 유기 발광 다이오드(Organic Light-Emitting Diode, OLED) 투명 디스플레이는 검정 색상을 표시하는데 한계가 있다.During use of the mobile terminal, the user can not see the back of the space occupied by the mobile terminal. In order to solve the above problems, a method of utilizing a transparent display is being discussed. However, it is not easy to fabricate a transparent display in a structure in which a backlight unit is to be used for a liquid crystal display, and an organic light-emitting diode (OLED) transparent display displays a black color There is a limit.

이에 본 발명에서는 투명 디스플레이부를 채택하는 대신, 카메라를 이용하여 이동 단말기가 점유하는 공간 뒤편의 시야를 확보할 수 있는 방안에 대해 개시하고자 한다.Accordingly, in the present invention, a method for securing a view behind the space occupied by a mobile terminal using a camera instead of adopting a transparent display unit is disclosed.

본 발명은 사용자 편의를 증진시킨 이동 단말기를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a mobile terminal with improved user convenience.

구체적으로, 본 발명은 이동 단말기의 후면을 촬영한 후면 영상 중 디스플레이될 출력 영역을 조절함으로써, 주변 환경과 디스플레이부의 출력이 끊김 없이 이어져 있는 심리스 뷰 환경을 구축할 수 있는 이동 단말기를 제공하는 것을 목적으로 한다.In particular, it is an object of the present invention to provide a mobile terminal capable of establishing a seamless viewing environment in which the output of the display unit is seamlessly connected by adjusting the output area to be displayed in the rear view image of the back side of the mobile terminal .

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.

상기 또는 다른 목적을 달성하기 위해 본 발명의 일 측면에 따르면, 디스플레이부; 이동 단말기의 후면 방향의 영상(이하, '후면 영상'이라 함)을 획득하기 위한 후면 카메라; 상기 이동 단말기의 전면 방향의 영상(이하, '전면 영상'이라 함)을 획득하기 위한 전면 카메라; 및 상기 전면 카메라를 통해 획득된 상기 전면 영상으로부터 상기 이동 단말기를 사용 중인 사용자와의 이격 거리 및 시선의 위치 중 적어도 하나를 획득하고, 상기 이격 거리 및 상기 시선의 위치 중 적어도 하나를 기초로, 상기 후면 영상 중 상기 디스플레이부를 통해 출력될 출력 영역을 조절하는 제어부를 포함하는 이동 단말기를 제공한다.According to an aspect of the present invention, there is provided a display apparatus comprising: a display unit; A rear camera for acquiring a backward image (hereinafter, referred to as a rear image) of the mobile terminal; A front camera for acquiring an image of a front direction of the mobile terminal (hereinafter referred to as a 'front image'); And acquiring at least one of a distance between a user who is using the mobile terminal and a position of a line of sight from the front image obtained through the front camera, and based on at least one of the distance of the line and the position of the line of sight, And a controller for adjusting an output area to be output through the display unit of the rear image.

본 발명의 다른 측면에 따르면, 전면 카메라로부터 이동 단말기의 전면 방향의 영상(이하, '전면 영상'이라 함)을 획득하는 단계; 상기 전면 영상으로부터 상기 이동 단말기를 사용 중인 사용자와의 이격 거리 및 시선의 위치 중 적어도 하나를 획득하는 단계; 및 상기 이격 거리 및 상기 시선의 위치 중 적어도 하나를 기초로, 후면 카메라로부터 획득된 이동 단말기의 후면 방향의 영상(이하, '후면 영상'이라 함) 중 상기 디스플레이부를 통해 출력될 출력 영역을 조절하는 단계를 포함하는 이동 단말기의 제어 방법을 제공한다.According to another aspect of the present invention, there is provided an image processing method comprising the steps of: acquiring an image (hereinafter, referred to as 'front image') of a front side direction of a mobile terminal from a front side camera; Obtaining at least one of a distance between a user who is using the mobile terminal and a position of a line of sight from the front image; And adjusting an output area to be output through the display unit among images (hereinafter, referred to as 'rear view images') of the back direction of the mobile terminal obtained from the rear camera, based on at least one of the distance and the position of the line of sight And a control method of the mobile terminal.

본 발명에서 이루고자 하는 기술적 과제들의 해결 수단은 이상에서 언급한 해결 수단들로 제한되지 않으며, 언급하지 않은 또 다른 해결 수단들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The present invention is not limited to the above-mentioned solving means, and other solving means which is not mentioned may be apparent from the following description to those skilled in the art to which the present invention belongs It can be understood.

본 발명에 따른 이동 단말기 및 그 제어 방법의 효과에 대해 설명하면 다음과 같다.Effects of the mobile terminal and the control method according to the present invention will be described as follows.

본 발명의 실시 예들 중 적어도 하나에 의하면, 사용자 편의를 증진시킨 이동 단말기를 제공할 수 있는 장점이 있다.According to at least one of the embodiments of the present invention, it is possible to provide a mobile terminal that improves user convenience.

구체적으로, 본 발명은 이동 단말기의 후면을 촬영한 후면 영상 중 디스플레이될 출력 영역을 조절함으로써, 주변 환경과 디스플레이부의 출력이 끊김 없이 이어져 있는 심리스 뷰 환경을 구축할 수 있는 이동 단말기를 제공할 수 있는 장점이 있다.Specifically, the present invention can provide a mobile terminal capable of establishing a seamless view environment in which the output of the display unit and the surrounding environment are continuously connected by adjusting an output area to be displayed in the rear view image of the back side of the mobile terminal There are advantages.

본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are not restrictive of the invention, unless further departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.

도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 2는 심리스 뷰가 구현되는 예를 설명하기 위한 도면이다.
도 3은 실제 피사체의 크기와, 후면 영상 속 피사체의 크기를 설명하기 위해 예시한 도면이다.
도 4는 본 발명에 따른 이동 단말기의 동작 흐름도이다.
도 5는 거리 정보 및 시선 정보를 설명하기 위해 예시한 도면이다.
도 6a 및 도 6b는 거리 정보에 따라 디스플레이될 영역의 크기가 조절되는 예를 도시한 도면이다.
도 7a 및 도 7b는 시선 정보에 따라 디스플레이될 영역의 위치가 조절되는 예를 도시한 도면이다.
도 8은 도로 영상 위 교통 정보 또는 항법 정보 등이 디스플레이되는 예를 도시한 도면이다.
도 9a 및 도 9b는 디스플레이부의 출력 모드가 변경되는 예를 도시한 도면이다.
1A is a block diagram illustrating a mobile terminal according to the present invention.
1B and 1C are conceptual diagrams illustrating an example of a mobile terminal according to the present invention in different directions.
2 is a diagram for explaining an example in which a seamless view is implemented.
3 is a diagram illustrating the size of an actual subject and the size of a subject in a rear view image.
4 is a flowchart illustrating an operation of the mobile terminal according to the present invention.
5 is a diagram exemplifying the distance information and sight line information.
FIGS. 6A and 6B are diagrams illustrating examples in which the size of an area to be displayed is adjusted according to distance information.
FIGS. 7A and 7B are diagrams illustrating examples in which the position of an area to be displayed is adjusted according to visual information.
8 is a diagram showing an example in which traffic information on road images or navigation information is displayed.
9A and 9B are diagrams illustrating an example in which the output mode of the display unit is changed.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals are used to designate identical or similar elements, and redundant description thereof will be omitted. The suffix "module" and " part "for the components used in the following description are given or mixed in consideration of ease of specification, and do not have their own meaning or role. In the following description of the embodiments of the present invention, a detailed description of related arts will be omitted when it is determined that the gist of the embodiments disclosed herein may be blurred. It is to be understood that both the foregoing general description and the following detailed description are exemplary and explanatory and are intended to provide further explanation of the invention as claimed. , ≪ / RTI > equivalents, and alternatives.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Terms including ordinals, such as first, second, etc., may be used to describe various elements, but the elements are not limited to these terms. The terms are used only for the purpose of distinguishing one component from another.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.The singular expressions include plural expressions unless the context clearly dictates otherwise.

본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In the present application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.The mobile terminal described in this specification includes a mobile phone, a smart phone, a laptop computer, a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, a slate PC A tablet PC, an ultrabook, a wearable device such as a smartwatch, a smart glass, and a head mounted display (HMD). have.

그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.However, it will be appreciated by those skilled in the art that the configuration according to the embodiments described herein may be applied to fixed terminals such as a digital TV, a desktop computer, a digital signage, and the like, will be.

도 1a 내지 도 1c를 참조하면, 도 1a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이고, 도 1b 및 1c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.1A to 1C are block diagrams for explaining a mobile terminal according to the present invention, and FIGS. 1B and 1C are conceptual diagrams showing an example of a mobile terminal according to the present invention in different directions.

상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 감지부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.The mobile terminal 100 includes a wireless communication unit 110, an input unit 120, a sensing unit 140, an output unit 150, an interface unit 160, a memory 170, a control unit 180, ), And the like. The components shown in FIG. 1A are not essential for implementing a mobile terminal, so that the mobile terminal described herein may have more or fewer components than the components listed above.

보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.The wireless communication unit 110 may be connected between the mobile terminal 100 and the wireless communication system or between the mobile terminal 100 and another mobile terminal 100 or between the mobile terminal 100 and the external server 100. [ Lt; RTI ID = 0.0 > wireless < / RTI > In addition, the wireless communication unit 110 may include one or more modules for connecting the mobile terminal 100 to one or more networks.

이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.The wireless communication unit 110 may include at least one of a broadcast receiving module 111, a mobile communication module 112, a wireless Internet module 113, a short distance communication module 114, and a location information module 115 .

입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.The input unit 120 includes a camera 121 or an image input unit for inputting a video signal, a microphone 122 for inputting an audio signal, an audio input unit, a user input unit 123 for receiving information from a user A touch key, a mechanical key, and the like). The voice data or image data collected by the input unit 120 may be analyzed and processed by a user's control command.

센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.The sensing unit 140 may include at least one sensor for sensing at least one of information in the mobile terminal, surrounding environment information surrounding the mobile terminal, and user information. For example, the sensing unit 140 may include a proximity sensor 141, an illumination sensor 142, a touch sensor, an acceleration sensor, a magnetic sensor, A G-sensor, a gyroscope sensor, a motion sensor, an RGB sensor, an infrared sensor, a finger scan sensor, an ultrasonic sensor, A microphone 226, a battery gauge, an environmental sensor (for example, a barometer, a hygrometer, a thermometer, a radiation detection sensor, A thermal sensor, a gas sensor, etc.), a chemical sensor (e.g., an electronic nose, a healthcare sensor, a biometric sensor, etc.). Meanwhile, the mobile terminal disclosed in the present specification can combine and utilize information sensed by at least two of the sensors.

출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.The output unit 150 includes at least one of a display unit 151, an acoustic output unit 152, a haptic tip module 153, and a light output unit 154 to generate an output related to visual, auditory, can do. The display unit 151 may have a mutual layer structure with the touch sensor or may be integrally formed to realize a touch screen. The touch screen may function as a user input unit 123 that provides an input interface between the mobile terminal 100 and a user and may provide an output interface between the mobile terminal 100 and a user.

인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.The interface unit 160 serves as a path to various types of external devices connected to the mobile terminal 100. The interface unit 160 is connected to a device having a wired / wireless headset port, an external charger port, a wired / wireless data port, a memory card port, And may include at least one of a port, an audio I / O port, a video I / O port, and an earphone port. In the mobile terminal 100, corresponding to the connection of the external device to the interface unit 160, it is possible to perform appropriate control related to the connected external device.

또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.In addition, the memory 170 stores data supporting various functions of the mobile terminal 100. The memory 170 may store a plurality of application programs or applications running on the mobile terminal 100, data for operation of the mobile terminal 100, and commands. At least some of these applications may be downloaded from an external server via wireless communication. Also, at least a part of these application programs may exist on the mobile terminal 100 from the time of shipment for the basic functions (e.g., telephone call receiving function, message receiving function, and calling function) of the mobile terminal 100. Meanwhile, the application program may be stored in the memory 170, installed on the mobile terminal 100, and may be operated by the control unit 180 to perform the operation (or function) of the mobile terminal.

제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.In addition to the operations related to the application program, the control unit 180 typically controls the overall operation of the mobile terminal 100. The control unit 180 may process or process signals, data, information, and the like input or output through the above-mentioned components, or may drive an application program stored in the memory 170 to provide or process appropriate information or functions to the user.

또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.In addition, the controller 180 may control at least some of the components illustrated in FIG. 1A in order to drive an application program stored in the memory 170. FIG. In addition, the controller 180 may operate at least two of the components included in the mobile terminal 100 in combination with each other for driving the application program.

전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.The power supply unit 190 receives external power and internal power under the control of the controller 180 and supplies power to the components included in the mobile terminal 100. The power supply unit 190 includes a battery, which may be an internal battery or a replaceable battery.

설명의 편의를 위해, 본 발명에서 설명하는 이동 단말기(100)는 도 1a 내지 도 1c에 도시된 구성요소 중 적어도 하나를 포함하는 것으로 가정한다. 구체적으로, 본 발명에 따른 이동 단말기(100)는, 이동 단말기(100)의 후면에 노출되는 카메라(이하, 후면 카메라(121b)라 함), 이동 단말기(100)의 전면에 노출되는 카메라(이하, 전면 카메라(121a)라 함), 이동 단말기(100)의 전면에 노출되는 디스플레이부(151) 및 제어부(180)를 포함하는 것으로 가정한다. 열거된 구성 요소 이외에도, 본 발명에 따른 이동 단말기(100)가 도 1a 내지 도 1c에 도시된 구성요소 중 적어도 하나를 더 포함할 수 있음은 물론이다.For convenience of explanation, it is assumed that the mobile terminal 100 described in the present invention includes at least one of the components shown in Figs. 1A to 1C. Specifically, the mobile terminal 100 according to the present invention includes a camera (hereinafter referred to as a rear camera 121b) exposed on the rear surface of the mobile terminal 100, a camera And a front face camera 121a), a display unit 151 exposed on the front face of the mobile terminal 100, and a controller 180. It is needless to say that, in addition to the listed components, the mobile terminal 100 according to the present invention may further include at least one of the components shown in Figs. 1A to 1C.

본 발명에 따른 이동 단말기(100)는 후면 카메라(121b)를 통해 획득된 후면 영상 중 이동 단말기(100)에 의해 가려진 공간에 대응하는 부분이 디스플레이부(151)를 통해 출력되도록 하기 위한 것이다. 후면 카메라(121b)를 통해 획득된 후면 영상 중 디스플레이부(151)를 통해 출력되는 부분은 이동 단말기(100)에 의해 가려진 공간에 대응하기 때문에, 디스플레이부(151)와 주변 환경이 끊김 없이 이어져 있는 심리스(Seamless) 뷰 환경이 구축될 수 있다.The mobile terminal 100 according to the present invention is for allowing a portion corresponding to a space covered by the mobile terminal 100 to be output through the display unit 151 among the rear images acquired through the rear camera 121b. The portion of the rear image acquired through the rear camera 121b corresponding to the space hidden by the mobile terminal 100 is displayed on the display unit 151. Thus, A seamless view environment can be constructed.

일예로, 도 2는 심리스 뷰가 구현되는 예를 설명하기 위한 도면이다. 이동 단말기(100), 사용자 및 피사체(10)는 도 2의 (a)에 도시된 예에서와 같이, 일직선상에 놓여져 있는 것으로 가정한다.For example, FIG. 2 is a diagram for explaining an example in which a seamless view is implemented. It is assumed that the mobile terminal 100, the user and the subject 10 are placed on a straight line, as in the example shown in Fig. 2 (a).

이동 단말기(100), 사용자 및 피사체(10)가 일직선 상에 놓여져 있다면, 도 2의 (b)에 도시된 예에서와 같이, 이동 단말기(100)가 점유하는 공간상의 영역으로 인해, 피사체(10)의 적어도 일부는 사용자의 시야에서 가려지게 된다.If the mobile terminal 100, the user and the subject 10 are placed on a straight line, as in the example shown in Fig. 2 (b), due to the space area occupied by the mobile terminal 100, ) Is obscured in the field of view of the user.

이에, 본 발명에 따른 이동 단말기(100)는 도 2의 (c)에 도시된 예에서와 같이, 이동 단말기(100)에 의해 가려진 피사체(10)의 일부가 디스플레이부(151)를 통해 출력되도록 제어함으로써, 디스플레이부(151)의 출력과 주변 환경 사이에 끊김 없이 이어져 있는 시각적 효과를 제공할 수 있다.The mobile terminal 100 according to the present invention may be configured such that a part of the subject 10 obscured by the mobile terminal 100 is output through the display unit 151 as in the example shown in FIG. It is possible to provide a visual effect that seamlessly extends between the output of the display unit 151 and the surrounding environment.

후면 카메라(121b)를 통해 획득된 후면 영상 속 피사체(10)의 크기는 후면 카메라(121b)와 피사체(10) 사이의 거리에 따라, 확대되거나, 축소될 수 있다.The size of the subject 10 in the rear view image acquired through the rear camera 121b may be enlarged or reduced according to the distance between the rear camera 121b and the subject 10.

일예로, 도 3은 실제 피사체(10)의 크기와, 후면 영상 속 피사체(10)의 크기를 설명하기 위해 예시한 도면이다.For example, FIG. 3 is a diagram illustrating the size of the actual subject 10 and the size of the subject 10 in the back image.

피사체(10)와 후면 카메라(121b) 사이의 거리가 매우 가깝다면, 도 3의 (a)에 도시된 예에서와 같이, 후면 영상 속 피사체(10)의 크기는 실제 피사체(10)의 크기보다 커지게 된다. 이 경우, 후면 카메라(121b)를 통해 획득된 후면 영상이, 이동 단말기(100)에 의해 가려진 공간보다 협소한 공간을 촬영한 것이므로, 심리스 뷰 환경이 구축되기 어려울 것이다.If the distance between the subject 10 and the rear camera 121b is very close to the actual subject 10, the size of the subject 10 in the rear view image is smaller than the size of the actual subject 10, as in the example shown in FIG. . In this case, since the rear image obtained through the rear camera 121b is captured in a narrower space than the space covered by the mobile terminal 100, it is difficult to establish a seamless view environment.

피사체(10)와 후면 카메라(121b) 사이의 거리가 충분히 떨어져 있다면, 도 3의 (b)에 도시된 예에서와 같이, 후면 영상 속 피사체(10)의 크기는 실제 피사체(10)의 크기보다 감소하게 된다. 이 경우, 후면 카메라(121b)를 통해 획득한 후면 영상 중 이동 단말기(100)에 의해 가려진 공간에 대응하는 부분을 추출하여 디스플레이한다면, 심리스 뷰 환경이 구축될 수 있을 것이다.When the distance between the subject 10 and the rear camera 121b is sufficiently large, the size of the subject 10 in the rear image is smaller than the size of the actual subject 10, as in the example shown in FIG. . In this case, if a portion corresponding to the space hidden by the mobile terminal 100 is extracted and displayed in the rear image acquired through the rear camera 121b, a seamless viewing environment can be constructed.

이에, 후술되는 실시예들에서는 피사체(10)와 후면 카메라(121b) 사이의 거리가 충분히 떨어져 있어, 심리스 뷰 환경을 조성하기에 적합한 상황인 것으로 가정한다.Thus, in the embodiments described below, it is assumed that the distance between the subject 10 and the rear camera 121b is sufficiently large to be suitable for creating a seamless view environment.

상술한 설명을 기초로, 심리스 뷰 환경을 조성하기 위한 본 발명에 따른 이동 단말기(100)에 대해 상세히 설명하기로 한다.Based on the above description, the mobile terminal 100 according to the present invention for creating a seamless view environment will be described in detail.

도 4는 본 발명에 따른 이동 단말기(100)의 동작 흐름도이다. 도 4를 참조하면, 먼저, 제어부(180)는 전면 카메라(121a)를 통해 획득된 전면 영상을 통해, 디스플레이부(151)를 응시하는 사용자에 대한 정보를 획득할 수 있다(S401). 구체적으로, 제어부(180)는 전면 영상을 통해 디스플레이부(151)를 응시하는 사용자와의 거리에 대한 정보 및 디스플레이부(151)를 응시하는 사용자의 시선에 대한 정보 중 적어도 하나를 획득할 수 있다.4 is a flowchart illustrating an operation of the mobile terminal 100 according to the present invention. Referring to FIG. 4, the controller 180 may acquire information about a user staring at the display unit 151 through a front image obtained through the front camera 121a (S401). Specifically, the controller 180 may acquire at least one of the information on the distance to the user gazing at the display unit 151 and the information of the user's gaze gazing at the display unit 151 through the front image .

전면 영상으로부터 거리 정보 및 시선 정보를 획득하기 위해, 전면 카메라(121a)는 3차원 카메라 및 2차원 카메라가 하나의 세트를 포함할 수도 있다. 이 경우, 제어부(180)는, 3차원 카메라를 통해 획득된 3차원 영상을 통해 파악되는 사용자의 3차원을 기초로 사용자와의 거리 정보를 획득하고, 2차원 카메라를 통해 획득된 2차원 영상에 안구 인식 알고리즘을 적용함으로써 획득되는 사용자의 눈의 위치를 기초로 시선의 위치에 대한 시선 정보를 획득할 수 있을 것이다. 이때, 제어부(180)는, 눈동자에 맺힌 이동 단말기(100)의 형상 또는 이동 단말기(100)로부터 방출되는 빛이 눈동자에서 반사되는 형상 등을 분석하여 시선의 위치에 대한 정확도를 높일 수도 있다.In order to obtain the distance information and the sight line information from the front image, the front camera 121a may include one set of a three-dimensional camera and a two-dimensional camera. In this case, the control unit 180 acquires the distance information from the user based on the three-dimensional image of the user, which is grasped through the three-dimensional image obtained through the three-dimensional camera, Eye line information on the position of the eye line can be obtained based on the position of the eye of the user obtained by applying the eyeball recognition algorithm. At this time, the controller 180 may increase the accuracy of the position of the eye by analyzing the shape of the mobile terminal 100 formed on the eye or the shape of the light emitted from the mobile terminal 100 reflected from the eye.

다만, 전면 카메라(121a)가 반드시 3차원 카메라 및 2차원 카메라로 구성된 한 세트의 카메라를 포함하여야 하는 것은 아니다. 제어부(180)는 3차원 카메라를 통해 획득되는 3차원 영상으로부터 위치 정보 및 시선 정보를 모두 획득할 수도 있다.However, the front camera 121a does not necessarily include a set of cameras composed of a three-dimensional camera and a two-dimensional camera. The control unit 180 may acquire both the position information and the sight line information from the three-dimensional image obtained through the three-dimensional camera.

3차원 카메라에는 스테레오 비전 방식, 구조광 방식 또는 ToF (Time of Flight) 방식 중 어느 하나가 적용될 수 있다.A stereoscopic vision system, a structured optical system, or a time-of-flight (ToF) system can be applied to the 3D camera.

도 5는 거리 정보 및 시선 정보를 설명하기 위해 예시한 도면이다. 도 5의 (a)에 도시된 예에서와 같이, 거리 정보는 이동 단말기(100)와 사용자 사이의 이격 거리를 의미하는 것일 수 있다. 제어부(180)는 전면 카메라(121a)를 통해 획득된 전면 영상을 분석하여, 디스플레이부(151)를 응시하는 사용자(구체적으로는 사용자 안면)과의 거리를 측정할 수 있다.5 is a diagram exemplifying the distance information and sight line information. As in the example shown in FIG. 5 (a), the distance information may be a distance between the mobile terminal 100 and the user. The control unit 180 may analyze the front image obtained through the front camera 121a and measure the distance to the user (specifically, the user's face) gazing at the display unit 151. [

도 5의 (b)에 도시된 예에서와 같이, 시선 정보는 이동 단말기(100)를 중심으로 사용자의 눈이 좌우로 편향되어 있는 정도, 상하로 편향되어 있는 정도 및 사용자의 눈이 회전되어 있는 정도를 포함할 수 있다.As shown in FIG. 5B, the line of sight information includes the degree of the left-right deflection of the user's eyes, the degree of the upward / downward deflection of the user's eyes around the mobile terminal 100, And the like.

전면 카메라(121a)로부터 사용자 정보가 획득되면, 제어부(180)는, 사용자 정보를 기초로, 후면 카메라(121b)를 통해 획득되는 후면 영상 중 상기 디스플레이부(151)를 통해 출력될 영역을 조절할 수 있다(S402). 구체적으로, 제어부(180)는 거리 정보를 기초로 디스플레이부(151)를 출력될 영역의 크기를 조절하고, 시선 정보를 기초로 디스플레이부(151)를 통해 출력될 영역의 위치를 조절할 수 있다. 이후, 제어부(180)는 획득된 출력 영역 중 출력 영역에 해당하는 부분이 디스플레이부(151)를 통해 출력되도록 제어할 수 있다(S403). 도 6 및 도 7을 참조하여, 디스플레이부(151)를 통해 출력될 영역이 조절되는 예에 대해 상세히 설명하기로 한다.When the user information is obtained from the front camera 121a, the control unit 180 can adjust the area to be output through the display unit 151 of the rear image acquired through the rear camera 121b, based on the user information (S402). Specifically, the control unit 180 may adjust the size of the area to be output through the display unit 151 based on the distance information, and may adjust the position of the area to be output through the display unit 151 based on the line of sight information. Thereafter, the control unit 180 may control a portion corresponding to the output region of the obtained output region to be output through the display unit 151 (S403). 6 and 7, an example in which the area to be output through the display unit 151 is adjusted will be described in detail.

도 6a 및 도 6b는 거리 정보에 따라 디스플레이될 영역의 크기가 조절되는 예를 도시한 도면이다.FIGS. 6A and 6B are diagrams illustrating examples in which the size of an area to be displayed is adjusted according to distance information.

도 6a의 (a) 및 (b)에 도시된 예에서와 같이, 사용자와 이동 단말기(100) 사이의 거리가 가까울수록, 이동 단말기(100)에 의해 가려지는 공간상의 영역은 점차 증가하게 된다. 이에 따라, 제어부(180)는 도 6b의 (a) 및 (b)에 도시된 예에서와 같이, 이동 단말기(100)와 사용자 사이의 거리가 감소할수록 후면 카메라(121b)를 통해 획득된 후면 영상 중 디스플레이부(151)를 통해 출력될 영역의 크기가 증가하도록 제어할 수 있다.As the distance between the user and the mobile terminal 100 is closer to that in the example shown in Figs. 6A and 6B, the area on the space covered by the mobile terminal 100 gradually increases. Accordingly, as the distance between the mobile terminal 100 and the user decreases, the control unit 180 determines whether the distance from the back camera 121b to the back camera 121b It is possible to control the size of the area to be outputted through the middle display unit 151 to increase.

이를 위해, 메모리(160)에는 사용자와 이동 단말기(100) 사이의 거리와 디스플레이하고자 하는 영역의 크기를 매핑한 데이터가 저장되어 있을 수 있다. 제어부(180)는 메모리(160)에 저장된 데이터로부터 사용자와의 이격 거리에 매핑되는 디스플레이하고자 하는 영역의 크기에 맞춰 디스플레이할 영역의 크기를 결정할 수 있을 것이다.To this end, the memory 160 may store data mapping the distance between the user and the mobile terminal 100 and the size of the area to be displayed. The controller 180 may determine the size of the area to be displayed according to the size of the area to be mapped, which is mapped to the distance from the user, from the data stored in the memory 160.

사용자가 이동 단말기(100)를 정면에서 응시하고 있다면, 후면 영상의 중심을 기준으로 디스플레이하고자 하는 영역을 설정할 수 있을 것이다. 다만, 사용자가 이동 단말기(100)를 측면에서 바라보는 경우에는 디스플레이하고자 하는 영역의 위치를 조절할 필요가 있다. 이에 대한 상세한 설명은 도 7a 및 도 7b를 참조하기로 한다.If the user is gazing at the mobile terminal 100 from the front, it is possible to set an area to display based on the center of the rear image. However, when the user views the mobile terminal 100 from the side, it is necessary to adjust the position of the area to be displayed. A detailed description thereof will be made with reference to Figs. 7A and 7B.

도 7a 및 도 7b는 시선 정보에 따라 디스플레이될 영역의 위치가 조절되는 예를 도시한 도면이다.FIGS. 7A and 7B are diagrams illustrating examples in which the position of an area to be displayed is adjusted according to visual information.

도 7a의 (a) 및 (b)에 도시된 예에서와 같이, 사용자가 정면에서 이동 단말기(100)를 응시하는 경우와, 사용자가 측면에서 이동 단말기(100)를 응시하는 경우 가려지는 부분은 서로 다르다. 일예로, 사용자가 이동 단말기(100)를 정면에서 응시할 때, 도 7a의 (a)에 도시된 예에서와 같이, 이동 단말기(100)가 피사체(10)의 중심부를 가린다고 가정하면, 사용자가 이동 단말기(100)를 오른쪽에서 응시하는 경우, 도 7a의 (b)에 도시된 예에서와 같이, 이동 단말기(100)는 피사체(10)의 왼쪽부분을 가리게 된다.As in the example shown in Figs. 7A and 7B, when the user gazes at the mobile terminal 100 from the front and when the user stare at the mobile terminal 100 from the side, They are different. Assuming that the mobile terminal 100 covers the center of the subject 10, as in the example shown in FIG. 7A (a), when the user gazes at the mobile terminal 100 from the front, When gazing at the mobile terminal 100 from the right side, the mobile terminal 100 covers the left part of the subject 10, as in the example shown in FIG.

이에 따라, 제어부(180)는 사용자의 시선의 위치와 반대 방향으로 디스플레이하고자 하는 영역의 위치가 이동하도록 제어할 수 있다. 예컨대, 사용자의 시선이 오른쪽에 위치한다면(즉, 사용자가 오른쪽에서 이동 단말기(100)를 응시), 도 7b의 (a)에 도시된 예에서와 같이, 디스플레이하고자 하는 영역의 위치를 후면 영상의 중심보다 왼쪽에 설정하고, 사용자의 시선이 왼쪽에 위치한다면(즉, 사용자가 왼쪽에서 이동 단말기(100)를 응시), 도 7b의 (b)에 도시된 예에서와 같이, 디스플레이하고자 하는 영역의 위치를 후면 영상의 중심보다 오른쪽에 설정할 수 있다.Accordingly, the control unit 180 can control the movement of the position of the area to be displayed in the opposite direction to the position of the user's line of sight. For example, if the user's gaze is located on the right side (i.e., the user gazes at the mobile terminal 100 on the right side), the position of the area to be displayed, (I.e., when the user gazes at the mobile terminal 100 on the left side), as in the example shown in FIG. 7B (b) The position can be set to the right of the center of the rear image.

도시되지는 않았지만, 사용자의 시선이 위쪽에 위치한다면(즉, 사용자가 위에서 아래로 이동 단말기(100)를 응시), 디스플레이하고자 하는 영역의 위치를 후면 영상의 중심보다 아래쪽에 설정할 수 있을 것이고, 사용자의 시선이 아래쪽에 위치한다면(즉, 사용자가 아래에서 위로 이동 단말기(100)를 응시), 디스플레이하고자 하는 영역의 위치를 후면 영상의 중심보다 위쪽에 설정할 수 있을 것이다.Although not shown, the position of the area to be displayed may be set below the center of the rear image if the user's gaze is located at the upper side (i.e., the user gazes at the mobile terminal 100 from top to bottom) The user can set the position of the area to be displayed above the center of the rear image if the user's eyes are below (i.e., the user gazes at the mobile terminal 100 from bottom to top).

즉, 제어부(180)는 후면 영상의 중심을 기준으로 할 때, 사용자의 시선의 위치와 반대 방향에 디스플레이고자 하는 영역의 위치가 설정되도록 제어할 수 있다.That is, when the center of the rear image is used as a reference, the controller 180 controls the position of the area to be displayed in the opposite direction to the position of the user's eyes.

이를 위해, 메모리(160)에는 시선의 위치와 디스플레이하고자 하는 영역의 위치를 매핑한 데이터가 저장되어 있을 수 있다. 제어부(180)는 메모리(160)에 저장된 데이터로부터 시선의 위치에 매핑되는 디스플레이하고자 하는 영역의 위치에 맞춰 디스플레이할 영역을 설정할 수 있을 것이다.To this end, the memory 160 may store data mapping the position of the line of sight and the position of the area to be displayed. The control unit 180 may set an area to be displayed according to the position of the area to be displayed mapped to the position of the line of sight from the data stored in the memory 160. [

도시되지는 않았지만, 제어부(180)는 이동 단말기(100) 대비 눈이 회전되어 있는 정도에 따라, 디스플레이하고자 하는 영역을 회전 시킬 수도 있다. 일예로, 디스플레이부(151)를 응시하는 사용자의 시선이 회전된 상태라면, 사용자의 시선이 회전된 방향과 동일한 방향(또는 반대 방향)으로 디스플레이하고자 하는 영역이 회전되도록 제어할 수도 있다.Although not shown, the controller 180 may rotate an area to be displayed according to the degree of rotation of the eye relative to the mobile terminal 100. For example, if the user's gaze of the user staring at the display unit 151 is in a rotated state, control may be performed such that an area to be displayed is rotated in the same direction (or opposite direction) as the direction in which the user's gaze is rotated.

본 발명에 따른 이동 단말기(100)가 운전자에게 항법 정보를 알려주기 위해 차량의 대시 보드 위에 놓여져 있다면, 이동 단말기(100)에는 이동 단말기(100)에 의해 가려진 공간상 영역에 대응하는 도로 영상이 디스플레이될 수 있을 것이다. 이때, 제어부(180)는 디스플레이되는 도로 영상 위에 교통 정보 또는 항법 정보 등이 디스플레이되도록 제어할 수 있다.If the mobile terminal 100 according to the present invention is placed on the dashboard of the vehicle to inform the driver of navigation information, the road image corresponding to the space area covered by the mobile terminal 100 is displayed on the mobile terminal 100, . At this time, the controller 180 may control the traffic information or the navigation information to be displayed on the displayed road image.

일예로, 도 8은 도로 영상 위 교통 정보 또는 항법 정보 등이 디스플레이되는 예를 도시한 도면이다.For example, FIG. 8 shows an example in which traffic information or navigation information on a road image is displayed.

이동 단말기(100)가 대시 보드 위에 올려져 있다면, 후면 영상 중 이동 단말기(100)에 의해 가려진 공간상의 영역에 대응하는 일부가 디스플레이부(151)를 통해 출력될 수 있을 것이다. 이에 따라, 도 8의 (a)에 도시된 예에서와 같이, 디스플레이부(151)를 통해 현재 주행 중인 도로 영상이 출력된다면, 제어부(180)는 도 8의 (b)에 도시된 예에서와 같이, 도로 영상 위 목적지까지 도달하기 위한 길안내 및 현재 차량의 주행 속도 등의 항법 정보와, 현재의 도로 상황 및 촬영된 도로의 제한 속도 등의 교통 정보가 디스플레이되도록 제어할 수 있다.If the mobile terminal 100 is placed on the dashboard, a part of the rear image corresponding to the area on the space covered by the mobile terminal 100 may be output through the display unit 151. [ Accordingly, if the current road image is outputted through the display unit 151 as in the example shown in FIG. 8 (a), the control unit 180 determines whether the current road image is displayed in the example shown in FIG. 8 (b) Similarly, it is possible to control the display of traffic information such as route guidance for reaching the destination on the road image, navigation information such as the current speed of the vehicle, and the current road situation and the speed limit of the photographed road.

종래의 이동 단말기(100)는 주행 중인 지형에 맞춰 생성된 이미지 위에 항법 정보 또는 교통 정보를 표시 하였으나, 본 발명에 따른 이동 단말기(100)는 현재 주행 중인 도로 영상 위 항법 정보 또는 교통 정보를 표시할 수 있어, 보다 직관적으로 항법 정보 또는 교통 정보를 인지할 수 있다.The conventional mobile terminal 100 displays navigation information or traffic information on an image generated in accordance with the running terrain. However, the mobile terminal 100 according to the present invention may display the current road image navigation information or traffic information It is possible to recognize navigation information or traffic information more intuitively.

전면 카메라(121a)를 통해 획득된 사용자 정보는 심리스 뷰 환경을 구축하는 데에만 이용되는 것은 아니다. 제어부(180)는 전면 카메라(121a)를 통해 획득된 사용자 정보를 기초로 디스플레이부(151)의 출력 모드(예를 들어, 랜드스케이프 모드 또는 포트레이트 모드)를 조절할 수도 있다.The user information obtained through the front camera 121a is not used only for establishing a seamless view environment. The control unit 180 may adjust the output mode (e.g., landscape mode or portrait mode) of the display unit 151 based on the user information obtained through the front camera 121a.

종래 이동 단말기(100)는 센서(예컨대, 가속도 센서 또는 자이로 센서)를 통해 이동 단말기(100)의 기울어짐을 감지하고, 이동 단말기(100)가 가로 방향으로 놓여 있는 것으로 판단되는 경우에는 디스플레이부(151)를 랜드스케이프 모드로 설정하고, 이동 단말기(100)가 세로 방향으로 놓여 있는 것으로 판단되는 경우에는 디스플레이부(151)를 포트레이트 모드로 설정하였다.The conventional mobile terminal 100 detects the tilting of the mobile terminal 100 through a sensor (for example, an acceleration sensor or a gyro sensor), and when it is determined that the mobile terminal 100 is placed in the horizontal direction, And sets the display unit 151 to the portrait mode when it is determined that the mobile terminal 100 is placed in the vertical direction.

다만, 사용자가 이동 단말기(100)를 세로 방향으로 쥔채, 옆으로 눕게 된다면, 사용자는 세로 방향으로 이동 단말기(100)를 사용하고 보고 있음에 반해, 센싱부는 이동 단말기(100)가 가로 방향으로 기울어져 있음을 감지할 것이므로, 디스플레이부(151)의 출력 모드는 랜드 스케이프 모드로 변경될 것이다.If the user lays down the mobile terminal 100 in the vertical direction and the user lays the mobile terminal 100 in the vertical direction, the user may use the mobile terminal 100 in the vertical direction, whereas the sensing unit may detect that the mobile terminal 100 is tilted in the horizontal direction The output mode of the display unit 151 will be changed to the landscape mode.

위와 같은 괴리감을 없애기 위해, 본 발명에 따른 이동 단말기(100)는 사용자의 시선이 회전된 정도에 따라 디스플레이부(151)의 출력 모드가 변경되도록 제어할 수도 있다.In order to eliminate such a sense of divergence, the mobile terminal 100 according to the present invention may control the output mode of the display unit 151 to be changed according to the degree of rotation of the user's line of sight.

일예로, 도 9a 및 도 9b는 디스플레이부(151)의 출력 모드가 변경되는 예를 도시한 도면이다.For example, FIGS. 9A and 9B show an example in which the output mode of the display unit 151 is changed.

도 9a의 (a)에 도시된 예에서와 같이, 이동 단말기(100)가 세로 방향으로 놓여져 있고, 사용자의 시선도 세로 방향으로 놓인 이동 단말기(100)를 정면으로 응시하는 것으로 판단된다면, 제어부(180)는 디스플레이부(151)를 포트레이트 모드로 설정할 수 있다. 이와 달리, 도 9a의 (b)에 도시된 예에서와 같이, 이동 단말기(100)는 세로 방향으로 놓여져 있지만, 사용자의 시선은 세로 방향으로 놓인 이동 단말기(100)를 소정 각도(예컨대, 90도) 회전한 상태라면, 제어부(180)는 디스플레이부(151)를 랜드스케이프 모드로 설정할 수 있다.If it is determined that the mobile terminal 100 is placed in the vertical direction and the user's gaze is also gazing at the mobile terminal 100 placed in the vertical direction, as in the example shown in FIG. 9A, 180 may set the display unit 151 to the portrait mode. Alternatively, as in the example shown in FIG. 9A, the mobile terminal 100 may be placed in the longitudinal direction, but the user's gaze may move the mobile terminal 100 in the longitudinal direction to a predetermined angle (for example, 90 degrees ), The controller 180 can set the display unit 151 to the landscape mode.

다른 예로, 도 9b의 (a)에 도시된 예에서와 같이, 이동 단말기(100)가 가로 방향으로 놓여져 있고, 사용자의 시선도 가로 방향으로 놓인 이동 단말기(100)를 정면으로 응시하는 것으로 판단된다면, 제어부(180)는 디스플레이부(151)를 랜드스케이프 모드로 설정할 수 있다. 이와 달리, 도 9b의 (b)에 도시된 예에서와 같이, 이동 단말기(100)는 가로 방향으로 놓여져 있지만, 사용자의 시선은 가로 방향으로 놓인 이동 단말기(100)를 소정 각도(예컨대, 90도) 회전한 상태라면, 제어부(180)는 디스플레이부(151)를 포트레이트 모드로 설정할 수 있다.As another example, if it is judged that the mobile terminal 100 is placed in the horizontal direction and the user's gaze is gazing straight at the mobile terminal 100 lying in the horizontal direction as in the example shown in (a) of FIG. 9 , The control unit 180 can set the display unit 151 to the landscape mode. Alternatively, as in the example shown in FIG. 9B, the mobile terminal 100 may be laid out in the lateral direction, but the user's eyes may be positioned at a predetermined angle (for example, 90 degrees The control unit 180 can set the display unit 151 to the portrait mode.

즉, 본 발명에 따른 이동 단말기(100)는 이동 단말기(100)가 세로 방향으로 놓여있는 상태에서, 사용자의 시선이 소정 각도 이상 회전된 상태라 아니라면, 사용자가 세로 방향으로 놓여 있는 이동 단말기(100)를 정면으로 응시하는 것으로 판단하여 디스플레이부(151)를 포트레이트 모드로 설정하고, 사용자의 시선이 소정 각도 이상 회전된 상태라면, 사용자가 세로 방향으로 놓여 있는 이동 단말기(100)를 90도 회전하여 응시하는 것으로 판단하여 디스플레이부(151)를 랜드스케이프 모드로 설정할 수 있다.That is, in the mobile terminal 100 according to the present invention, if the user's line of sight is not rotated by a predetermined angle or more while the mobile terminal 100 is placed in the vertical direction, And sets the display unit 151 to the portrait mode. If the user's line of sight is rotated by a predetermined angle or more, the user rotates the mobile terminal 100 placed in the vertical direction by 90 degrees It is possible to set the display unit 151 to the landscape mode.

마찬가지로, 본 발명에 따른 이동 단말기(100)는 이동 단말기(100)가 가로 방향으로 놓여있는 상태에서, 사용자의 시선이 소정 각도 이상 회전된 상태라 아니라면, 사용자가 가로 방향으로 놓여 있는 이동 단말기(100)를 정면으로 응시하는 것으로 판단하여 디스플레이부(151)를 랜드스케이프 모드로 설정하고, 사용자의 시선이 소정 각도 이상 회전된 상태라면, 사용자가 가로 방향으로 놓여 있는 이동 단말기(100)를 90도 회전하여 응시하는 것으로 판단하여 디스플레이부(151)를 포트레이트 모드로 설정할 수 있다.Likewise, in the mobile terminal 100 according to the present invention, if the user's line of sight is not rotated by a predetermined angle or more while the mobile terminal 100 is lying in the horizontal direction, The display unit 151 is set to the landscape mode. If the user's line of sight is rotated by a predetermined angle or more, the user rotates the mobile terminal 100 in the horizontal direction by 90 degrees The display unit 151 can be set to the portrait mode.

이때, 제어부(180)는 센싱부(140)의 감지 신호를 기초로, 이동 단말기(100)가 가로 방향으로 놓여 있는지 또는 세로 방향으로 놓여 있는지를 판단할 수 있을 것이다.At this time, the control unit 180 may determine whether the mobile terminal 100 lies in the horizontal direction or the vertical direction based on the sensing signal of the sensing unit 140. [

본 발명의 일실시예에 의하면, 전술한 방법(동작 흐름도)은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.According to one embodiment of the present invention, the above-described method (operation flow diagram) can be implemented as a code that can be read by a processor on a medium on which the program is recorded. Examples of the medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, etc., and may be implemented in the form of a carrier wave (e.g., transmission over the Internet) .

상기와 같이 설명된 이동 단말기(100)는 상기 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The above-described mobile terminal 100 is not limited in the configuration and method of the above-described embodiments, but the embodiments may be modified such that all or some of the embodiments are selectively combined .

121 : 후면 카메라
121' : 전면 카메라
151 : 디스플레이부
160 : 메모리
180 : 제어부
121: rear camera
121 ': Front camera
151:
160: Memory
180:

Claims (11)

디스플레이부;
이동 단말기의 후면 방향의 영상(이하, '후면 영상'이라 함)을 획득하기 위한 후면 카메라;
상기 이동 단말기의 전면 방향의 영상(이하, '전면 영상'이라 함)을 획득하기 위한 전면 카메라; 및
상기 전면 카메라를 통해 획득된 상기 전면 영상으로부터 상기 이동 단말기를 사용 중인 사용자와의 이격 거리 및 시선의 위치 중 적어도 하나를 획득하고,
상기 이격 거리 및 상기 시선의 위치 중 적어도 하나를 기초로, 상기 후면 영상 중 상기 디스플레이부를 통해 출력될 출력 영역을 조절하는 제어부
를 포함하는 이동 단말기.
A display unit;
A rear camera for acquiring a backward image (hereinafter, referred to as a rear image) of the mobile terminal;
A front camera for acquiring an image of a front direction of the mobile terminal (hereinafter referred to as a 'front image'); And
Acquiring at least one of a distance between a user who is using the mobile terminal and a position of a line of sight from the front image obtained through the front camera,
A control unit for adjusting an output area to be outputted through the display unit of the rear image based on at least one of the distance of the distance and the position of the line of sight,
.
제 1 항에 있어서,
상기 제어부는 상기 이격 거리를 기초로, 상기 후면 영상 내 상기 출력 영역의 크기를 조절하는 것을 특징으로 하는 이동 단말기.
The method according to claim 1,
Wherein the control unit adjusts the size of the output area in the rear image based on the separation distance.
제 2 항에 있어서,
상기 제어부는 상기 이격 거리가 증가할수록 상기 후면 영상 내 상기 출력 영역의 크기는 감소하도록 제어하는 것을 특징으로 하는 이동 단말기.
3. The method of claim 2,
Wherein the control unit controls the size of the output area in the rear image to decrease as the separation distance increases.
제 1 항에 있어서,
상기 제어부는 상기 시선의 위치를 기초로, 상기 후면 영상 내 상기 출력 영역의 위치를 조절하는 것을 특징으로 하는 이동 단말기.
The method according to claim 1,
Wherein the control unit adjusts the position of the output area in the rear image based on the position of the line of sight.
제 4 항에 있어서,
상기 제어부는 상기 시선의 위치와 반대 방향으로 상기 출력 영역의 위치를 조절하는 것을 특징으로 하는 이동 단말기.
5. The method of claim 4,
Wherein the controller adjusts the position of the output area in a direction opposite to the position of the line of sight.
제 1 항에 있어서,
상기 전면 카메라는 3차원 영상 및 2차원 영상을 획득하기 위한 한 세트의 카메라를 포함하는 것을 특징으로 하는 이동 단말기.
The method according to claim 1,
Wherein the front camera comprises a set of cameras for acquiring three-dimensional images and two-dimensional images.
제 6 항에 있어서,
상기 제어부는 상기 3차원 영상으로부터 상기 이격 거리를 측정하고, 상기 2차원 영상으로부터 상기 시선의 위치를 측정하는 것을 특징으로 하는 이동 단말기.
The method according to claim 6,
Wherein the controller measures the distance from the three-dimensional image and measures the position of the line of sight from the two-dimensional image.
제 1 항에 있어서,
상기 출력 영상이 도로 영상인 경우,
상기 제어부는 상기 도로 영상 위에 항법 정보 및 교통 정보 중 적어도 하나가 출력되도록 제어하는 것을 특징으로 하는 이동 단말기.
The method according to claim 1,
When the output image is a road image,
Wherein the controller controls to output at least one of navigation information and traffic information on the road image.
전면 카메라로부터 이동 단말기의 전면 방향의 영상(이하, '전면 영상'이라 함)을 획득하는 단계;
상기 전면 영상으로부터 상기 이동 단말기를 사용 중인 사용자와의 이격 거리 및 시선의 위치 중 적어도 하나를 획득하는 단계; 및
상기 이격 거리 및 상기 시선의 위치 중 적어도 하나를 기초로, 후면 카메라로부터 획득된 이동 단말기의 후면 방향의 영상(이하, '후면 영상'이라 함) 중 상기 디스플레이부를 통해 출력될 출력 영역을 조절하는 단계
를 포함하는 이동 단말기의 제어 방법.
Acquiring an image (hereinafter, referred to as 'front image') in the front direction of the mobile terminal from the front camera;
Obtaining at least one of a distance between a user who is using the mobile terminal and a position of a line of sight from the front image; And
Adjusting an output area to be output through the display unit among images (hereinafter, referred to as 'rear view images') of the back direction of the mobile terminal obtained from the rear camera based on at least one of the distance and the position of the line of sight
And transmitting the control information to the mobile terminal.
제 9 항에 있어서,
상기 후면 영상 내 상기 출력 영역의 크기는 상기 이격 거리에 따라 조절되는 것을 특징으로 하는 이동 단말기의 제어 방법.
10. The method of claim 9,
Wherein the size of the output area in the rear image is adjusted according to the separation distance.
제 9 항에 있어서,
상기 후면 영상 내 상기 출력 영역의 위치는 상기 시선의 위치에 따라 조절되는 것을 특징으로 하는 이동 단말기의 제어 방법.
10. The method of claim 9,
Wherein the position of the output area in the rear image is adjusted according to the position of the line of sight.
KR1020140031497A 2014-03-18 2014-03-18 Mobile terminal and method for controlling the same KR102201740B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140031497A KR102201740B1 (en) 2014-03-18 2014-03-18 Mobile terminal and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140031497A KR102201740B1 (en) 2014-03-18 2014-03-18 Mobile terminal and method for controlling the same

Publications (2)

Publication Number Publication Date
KR20150108561A true KR20150108561A (en) 2015-09-30
KR102201740B1 KR102201740B1 (en) 2021-01-12

Family

ID=54246492

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140031497A KR102201740B1 (en) 2014-03-18 2014-03-18 Mobile terminal and method for controlling the same

Country Status (1)

Country Link
KR (1) KR102201740B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112500A1 (en) * 2019-12-02 2021-06-10 Samsung Electronics Co., Ltd. Electronic device and method for correcting image in camera switching

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040206A (en) * 2009-10-13 2011-04-20 에스케이텔레콤 주식회사 Mobile terminal and method for displaying object using distance and eyes sensing
KR20120059732A (en) * 2010-12-01 2012-06-11 현대자동차일본기술연구소 Display device for vehicle with foreground penetration function and display method of the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110040206A (en) * 2009-10-13 2011-04-20 에스케이텔레콤 주식회사 Mobile terminal and method for displaying object using distance and eyes sensing
KR20120059732A (en) * 2010-12-01 2012-06-11 현대자동차일본기술연구소 Display device for vehicle with foreground penetration function and display method of the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021112500A1 (en) * 2019-12-02 2021-06-10 Samsung Electronics Co., Ltd. Electronic device and method for correcting image in camera switching
US11206363B2 (en) 2019-12-02 2021-12-21 Samsung Electronics Co., Ltd. Electronic device and method for correcting image in camera switching

Also Published As

Publication number Publication date
KR102201740B1 (en) 2021-01-12

Similar Documents

Publication Publication Date Title
CA2913650C (en) Virtual object orientation and visualization
KR101642808B1 (en) Mobile terminal and method for controlling the same
KR20160046706A (en) Mobile terminal and method for controlling the same
KR20160149068A (en) Mobile terminal and method for controlling the same
KR20160006053A (en) Wearable glass-type device and control method of the wearable glass-type device
KR20160008372A (en) Mobile terminal and control method for the mobile terminal
KR20180040409A (en) Mobile terminal and method for controlling the same
KR20170046415A (en) Mobile terminal and method for controlling the same
KR20170020069A (en) Mobile terminal and image capturing method thereof
KR20150142516A (en) Glass type terminal and control method thereof
KR20150131837A (en) Mobile terminal and control method for the mobile terminal
KR20180000255A (en) Mobile terminal and method for controlling the same
KR20170055865A (en) Rollable mobile terminal
KR20160125674A (en) Mobile terminal and method for controlling the same
KR20170059760A (en) Mobile terminal and method for controlling the same
KR20190067523A (en) Glass type terminal and operpation method of the same
KR20170055867A (en) Mobile terminal and method for controlling the same
KR20180025864A (en) Camera module and mobile terminal having the same
US9811160B2 (en) Mobile terminal and method for controlling the same
KR20160001229A (en) Mobile terminal and method for controlling the same
KR101695695B1 (en) Mobile terminal and method for controlling the same
KR20170013849A (en) Mobile terminal and method for controlling the same
KR20170004706A (en) Iris identification apparatus of mobile terminal and controlling mrthod thereof
KR20160134334A (en) Mobile terminal and method of controlling the same
KR102201740B1 (en) Mobile terminal and method for controlling the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant