KR20110040206A

KR20110040206A - Mobile terminal and method for displaying object using distance and eyes sensing

Info

Publication number: KR20110040206A
Application number: KR1020090097384A
Authority: KR
Inventors: 홍상우; 유병철; 김경진; 임민주; 서승교; 양재모; 김건오; 박명순; 강석훈
Original assignee: 에스케이텔레콤 주식회사
Priority date: 2009-10-13
Filing date: 2009-10-13
Publication date: 2011-04-20
Also published as: KR101119896B1

Abstract

PURPOSE: A portable terminal is provided to adjust the size of an object around an object part wchi a view point is centered through eye recognition between a user and the portable terminal. CONSTITUTION: A control unit receives a sensing signal from a distance sensing unit(40). Based on the sensing signal, the control unit calculates a displacement or a distance between a portable terminal(100) and a user(200). The control unit estimates the viewing point of the user in real time through analysis of a photographed user image. According to the calculated displacement or the distance, the control unit controls the size of an object around an object part in which an eye line is focused.

Description

Mobile terminal and method for displaying object using distance and eyes sensing}

본 발명은 휴대단말 및 그의 객체 표시 방법에 관한 것으로, 더욱 상세하게는 휴대단말과 사용자 간의 거리 및 시선 인지를 통하여 화면에 표시되는 객체의 크기를 조절하되, 사용자의 시선이 집중되는 객체 부분을 중심으로 객체의 크기를 조절하여 표시하는 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법에 관한 것이다.The present invention relates to a mobile terminal and a method of displaying the object thereof, and more particularly, to adjust the size of an object displayed on the screen by recognizing the distance between the mobile terminal and the user and focusing on the object part where the user's eyes are concentrated. The present invention relates to a mobile terminal for controlling the size of an object and displaying the object and a method for displaying the object using distance and gaze recognition.

유무선 통신망을 이용한 정보 통신 기술은 소비자의 구매를 자극하는 새로운 기술 및 기능으로 인하여 짧은 기간에 대단히 빠른 성장을 하고 있다. 특히 휴대단말은 그 기술의 발달로 인하여 단순한 어플리케이션을 수행하는 단계를 넘어서서 사용자들의 요구에 맞는 다양한 어플리케이션들이 설치되고 있다. 이로 인해 사용자는 휴대단말을 통하여 음성 정보, 문자 정보, 영상 정보, MP3(MPEG(Moving Picture Experts Group) layer 3), 게임 등을 이용할 수 있다.Information and communication technology using wired and wireless communication networks is growing very fast in a short period of time due to new technologies and functions that stimulate consumer purchasing. In particular, due to the development of the technology of the mobile terminal, beyond the step of performing a simple application, various applications are installed to meet the needs of users. As a result, the user may use voice information, text information, video information, moving picture expert group (MPEG) layer 3 (MPEG), a game, and the like through the mobile terminal.

한편으로 휴대단말은 화면 크기의 제약으로 화면에 표시되는 객체, 예컨대 이미지, 텍스트 등이 작게 표시된다. 따라서 사용자는 화면에서 특정 영역에 표시 된 객체 또는 객체 부분을 확인하기 위해서 키패드, 터치패드 등과 같은 입력부를 조작해서 해당 영역을 확대한다. 즉 사용자는 입력부를 조작하여 화면에 표시된 객체를 처리할 수 있는 객체 처리 모드를 선택하고, 선택한 객체 처리 모드에서 확대를 원하는 특정 영역을 선택한다. 그리고 사용자는 선택한 특정 영역을 처리하는 기능키를 호출하고, 호출한 기능키 중에서 선택한 특정 영역을 확대하는 기능키를 선택해야 한다.On the other hand, the mobile terminal displays small objects, such as images and text, displayed on the screen due to the limitation of the screen size. Therefore, the user enlarges the corresponding area by manipulating an input unit such as a keypad or a touch pad to check an object or an object part displayed in a specific area on the screen. That is, the user selects an object processing mode that can process an object displayed on the screen by manipulating the input unit, and selects a specific area to be enlarged in the selected object processing mode. The user must call a function key for processing the selected specific area, and select a function key for enlarging the selected specific area among the called function keys.

이와 같이 종래에는 사용자가 휴대단말의 화면에서 특정 영역을 확대하기 위해서 입력부를 여러 번 조작해야 하는 불편함이 있다. 그리고 입력부를 여러 번 조작하기 위해서는, 통상적으로 한 손으로 휴대단말을 잡은 상태에서 다른 손으로 휴대단말의 입력부를 조작해야 하기 때문에, 양손을 자유롭게 사용할 수 없는 환경(예컨대, 복잡한 지하철이나 버스 안)에서 특정 영역을 확대하는 기능을 사용하는 데 불편이 따를 수 있다.As described above, there is a inconvenience in that the user has to manipulate the input unit several times in order to enlarge a specific area on the screen of the mobile terminal. In order to operate the input unit many times, it is necessary to operate the input unit of the mobile terminal with the other hand while holding the mobile terminal with one hand, so that in an environment where both hands cannot be used freely (for example, in a crowded subway or bus) It may be inconvenient to use the function to enlarge a certain area.

그리고 입력부를 여러 번 조작하는 과정에서 입력 오류가 발생될 수 있다. 이유는 키입력의 횟수가 증가할수록 입력 오류가 발생될 확률이 증가하기 때문이다. 특히 키패드 방식에 비해 터치스크린 방식의 휴대단말에서 키입력에 따른 입력 오류가 빈번하게 발생된다. 즉 터치스크린 방식의 휴대단말은 가상키패드를 화면에 표시하여 사용자의 터치를 통하여 키입력을 수신하게 되는데, 키를 터치하는 과정에서 목표하는 키에 인접한 다른 키의 터치에 따른 입력 오류가 빈번하게 발생하기 때문이다.In addition, an input error may occur when the input unit is manipulated several times. The reason is that as the number of key inputs increases, the probability of occurrence of an input error increases. In particular, an input error due to key input is more frequently generated in a touch screen type mobile terminal than a keypad type. In other words, the touch screen type mobile terminal displays a virtual keypad on the screen and receives a key input through a user's touch. In the process of touching a key, an input error occurs frequently by touching another key adjacent to a target key. Because.

따라서, 본 발명의 목적은 별도의 입력부를 여러 번 조작하지 않더라도 사용자와 휴대단말 간의 거리 및 시선 인지를 통하여 휴대단말의 화면에 표시된 객체의 크기를 조절하여 표시하는 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법을 제공하기 위한 것이다.Accordingly, an object of the present invention is to determine a mobile terminal and its distance and gaze recognition by adjusting the size of an object displayed on the screen of the mobile terminal by recognizing the distance and gaze between the user and the mobile terminal even without operating a separate input unit several times. It is to provide the object display method used.

본 발명의 다른 목적은 한 손으로도 휴대단말을 안정적으로 조작할 수 있는 조작 편의성을 제공하는 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법을 제공하기 위한 것이다.Another object of the present invention is to provide a portable terminal providing an operation convenience for stably operating the portable terminal even with one hand, and an object display method using distance and gaze recognition thereof.

상기 목적을 달성하기 위하여, 본 발명은 표시부, 적어도 하나의 카메라부, 거리감지부 및 제어부를 포함하여 구성되는 휴대단말을 제공한다. 상기 표시부는 화면에 객체를 표시한다. 상기 적어도 하나의 카메라부는 사용자를 촬영한다. 상기 거리감지부는 상기 휴대단말의 사용자를 감지하여 감지신호를 출력한다. 그리고 상기 제어부는 상기 거리감지부로부터 상기 감지신호를 수신하고, 상기 수신한 감지신호를 기반으로 상기 휴대단말과 사용자 간의 변위 또는 거리를 산출하고, 상기 카메라부에서 촬영된 사용자 영상을 수신하고, 상기 사용자 영상을 분석하여 사용자의 시선을 실시간으로 추적하고, 상기 시선 추적 중 상기 시선이 집중되는 상기 객체 부분을 중심으로 상기 산출한 변위 또는 거리에 따라 상기 객체의 크기를 조절하여 상기 표시부에 표시한다.In order to achieve the above object, the present invention provides a portable terminal comprising a display unit, at least one camera unit, a distance sensing unit and a control unit. The display unit displays an object on the screen. The at least one camera unit photographs the user. The distance detector detects a user of the portable terminal and outputs a detection signal. The control unit receives the detection signal from the distance detection unit, calculates a displacement or distance between the mobile terminal and the user based on the received detection signal, receives a user image photographed by the camera unit, and receives the user. By analyzing the image, the user's gaze is tracked in real time, and the size of the object is adjusted and displayed on the display unit based on the calculated displacement or distance based on the object part in which the gaze is concentrated.

본 발명에 따른 휴대단말은 상기 변위 또는 거리에 따라 상기 객체의 크기를 조절하는 조절값을 저장하는 저장부를 더 포함한다. 이때 상기 제어부는 상기 저장부에서 상기 산출된 변위 또는 거리에 따른 상기 조절값을 추출하고, 상기 추출한 조절값으로 상기 객체의 크기를 조절할 수 있다.The mobile terminal according to the present invention further includes a storage unit for storing an adjustment value for adjusting the size of the object according to the displacement or distance. In this case, the controller may extract the adjustment value according to the calculated displacement or distance from the storage unit, and adjust the size of the object by the extracted adjustment value.

본 발명에 따른 휴대단말에 있어서, 상기 저장부는 상기 화면에 표시된 객체의 종류에 따른 크기 조절 방식을 저장한다. 이때 상기 제어부는 상기 저장부에서 상기 화면에 표시된 객체의 종류에 따른 크기 조절 방식을 추출하고, 상기 추출한 크기 조절 방식에 따라 상기 시선이 집중되는 상기 객체 부분을 중심으로 상기 객체의 크기를 조절하여 표시할 수 있다.In the mobile terminal according to the present invention, the storage unit stores the size control method according to the type of the object displayed on the screen. In this case, the controller extracts a size adjusting method according to the type of the object displayed on the screen from the storage unit, and adjusts and displays the size of the object centering on the object part where the gaze is concentrated according to the extracted size adjusting method. can do.

본 발명에 따른 휴대단말에 있어서, 상기 거리감지부는 카메라, 근접 센서, 적외선 센서, RF(Radio Frequency) 센서, 자이로(gyro) 센서, 가속도 센서 및 초음파 센서 중 적어도 하나를 포함한다.In the mobile terminal according to the present invention, the distance detecting unit includes at least one of a camera, a proximity sensor, an infrared sensor, an RF (Radio Frequency) sensor, a gyro sensor, an acceleration sensor, and an ultrasonic sensor.

본 발명은 또한, 휴대단말이 화면에 객체를 표시하는 표시 단계, 상기 휴대단말이 거리감지부를 통하여 사용자를 감지한 감지신호를 수신하는 수신 단계, 상기 휴대단말이 상기 수신한 감지신호를 기반으로 상기 휴대단말과 사용자 간의 변위 또는 거리를 산출하는 산출 단계, 상기 휴대단말이 상기 산출된 변위 또는 거리에 따라 상기 객체의 크기를 조절하여 표시하되, 상기 객체에서 상기 사용자의 시선이 집중되는 부분을 중심으로 상기 객체의 크기를 조절하여 표시하는 조절 표시 단계를 포함하는 거리 인지를 이용한 휴대단말의 객체 표시 방법을 제공한다.The present invention also includes a display step of displaying an object on a screen by a mobile terminal, a reception step of receiving, by the mobile terminal, a detection signal detected by a user through a distance detection unit, and the mobile terminal based on the received detection signal. A calculation step of calculating a displacement or distance between the mobile terminal and the user, the mobile terminal is displayed by adjusting the size of the object in accordance with the calculated displacement or distance, centering on the portion of the object is focused on the user The present invention provides a method for displaying an object of a portable terminal using distance recognition, the control display step including adjusting and displaying the size of the object.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 산출 단계는 상 기 휴대단말이 상기 거리감지부를 통하여 수신한 제1 감지신호로부터 상기 휴대단말과 사용자 간의 제1 거리를 산출하는 단계, 상기 휴대단말이 상기 거리감지부를 통하여 상기 휴대단말과 사용자 간의 위치 변화에 따라 수신한 제2 감지신호로부터 상기 휴대단말과 사용자 간의 제2 거리를 산출하는 단계, 상기 휴대단말이 상기 제2 거리와 제1 거리의 차이로 변위를 산출하는 단계를 포함할 수 있다.In the object display method of a portable terminal according to the present invention, the calculating step includes the step of calculating a first distance between the portable terminal and the user from the first detection signal received by the portable terminal through the distance sensing unit. Calculating, by the terminal, a second distance between the portable terminal and the user from the second detection signal received according to a change in position between the portable terminal and the user through the distance sensing unit, wherein the portable terminal has the second distance and the first distance; Computing the displacement by the difference of.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 산출 단계에서 상기 휴대단말과 사용자 간의 변위 또는 거리는 카메라 비전 방식, 적외선 방식, 자이로(gyro)-가속도 방식 및 초음파 방식 중 적어도 하나의 방식을 이용하여 산출할 수 있다.In the object display method of a portable terminal according to the present invention, the displacement or distance between the portable terminal and the user in the calculating step using at least one of the camera vision method, infrared method, gyro-acceleration method and ultrasonic method. Can be calculated.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계는 상기 휴대단말이 적어도 하나의 카메라부로 사용자 영상을 촬영하는 촬영 단계, 상기 휴대단말이 상기 촬영된 사용자 영상을 분석하여 상기 사용자의 시선을 실시간으로 추적하는 추적 단계, 상기 휴대단말이 상기 시선 추적 중 상기 시선이 집중되는 상기 객체 부분을 중심으로 상기 객체의 크기를 조절하여 표시하는 표시 단계를 포함할 수 있다.In the object display method of the mobile terminal according to the present invention, the control display step is a shooting step of the mobile terminal to take a user image with at least one camera unit, the mobile terminal by analyzing the photographed user image of the user A tracking step of tracking the gaze in real time, and a display step of the mobile terminal to adjust the size of the object to display the center of the object portion of the gaze tracking in the gaze tracking.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 추적 단계는 상기 휴대단말은 상기 카메라부로 촬영한 사용자 영상에서 얼굴 영상을 추출하는 단계, 상기 휴대단말은 상기 추출된 얼굴 영상에서 눈을 추출하고, 상기 추출한 눈의 위치 변화를 추적하여 사용자의 시선을 추적하는 단계를 포함할 수 있다.In the object display method of a mobile terminal according to the present invention, the tracking step is the mobile terminal extracts a face image from the user image taken by the camera unit, the mobile terminal extracts eyes from the extracted face image The method may include tracking the eyes of the user by tracking the positional change of the extracted eye.

본 발명에 다른 휴대단말의 객체 표시 방법에 있어서, 상기 표시 단계는 상 기 휴대단말이 상기 시선 추적 중 상기 시선이 집중되는 상기 객체의 위치를 산출하는 산출 단계, 상기 휴대단말이 상기 산출된 위치를 중심으로 상기 객체의 크기를 조절하여 표시하는 단계를 포함할 수 있다.In the method for displaying an object of a mobile terminal according to the present invention, the displaying step includes the step of calculating, by the mobile terminal, the position of the object to which the gaze is concentrated during the gaze tracking, and the mobile terminal calculates the calculated position. And adjusting and displaying the size of the object as a center.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계는 상기 산출된 변위가 양의 값이면, 상기 휴대단말이 상기 객체를 확대하는 단계, 상기 산출된 변위가 음의 값이면, 상기 휴대단말이 상기 객체를 축소하는 단계를 포함할 수 있다.In the method for displaying an object of a mobile terminal according to the present invention, the adjusting display step includes: when the calculated displacement is a positive value, the mobile terminal enlarges the object, and when the calculated displacement is a negative value, The mobile terminal may include reducing the object.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계는 상기 산출된 변위가 양의 값이면, 상기 휴대단말이 상기 객체를 축소하는 단계, 상기 산출된 변위가 음의 값이면, 상기 휴대단말이 상기 객체를 확대하는 단계를 포함할 수 있다.In the method for displaying an object of a mobile terminal according to the present invention, the control display step includes the step of the mobile terminal shrinking the object if the calculated displacement is a positive value, and if the calculated displacement is a negative value, The mobile terminal may include enlarging the object.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계에서, 상기 휴대단말이 상기 산출된 변위의 절대값 또는 거리에 비례하게 상기 객체의 크기를 확대하거나 축소할 수 있다.In the object display method of the portable terminal according to the present invention, in the adjustment display step, the portable terminal can enlarge or reduce the size of the object in proportion to the absolute value or the distance of the calculated displacement.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계는 상기 산출된 변위의 절대값 또는 거리가 임계값 이상이면, 상기 휴대단말이 상기 객체의 크기를 조절하여 표시하는 단계, 상기 산출된 변위의 절대값 또는 거리가 임계값 이하이면, 상기 휴대단말이 상기 객체의 표시 상태를 유지하는 단계를 포함할 수 있다.In the method for displaying an object of a mobile terminal according to the present invention, the adjusting display step includes the step of displaying, by the mobile terminal, adjusting the size of the object if the absolute value or the distance of the calculated displacement is greater than or equal to a threshold value. If the absolute value or the distance of the displacement is less than the threshold value, the mobile terminal may include maintaining the display state of the object.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계 에서 상기 산출된 변위의 절대값 또는 거리가 임계값 이상이면, 상기 휴대단말이 상기 절대값에 비례하게 상기 객체의 크기를 확대하거나 축소할 수 있다.In the object display method of a mobile terminal according to the present invention, if the absolute value or distance of the calculated displacement in the adjustment display step is greater than or equal to a threshold value, the mobile terminal enlarges the size of the object in proportion to the absolute value; Can be shrunk.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계에서 상기 산출된 변위 또는 거리가 절대값이 임계값 이상이면, 상기 휴대단말이 상기 객체의 크기를 일정 크기로 확대하거나 축소할 수 있다.In the object display method of a mobile terminal according to the present invention, if the calculated displacement or distance in the adjustment display step is an absolute value or more than a threshold value, the mobile terminal can enlarge or reduce the size of the object to a predetermined size. have.

본 발명에 따른 휴대단말의 객체 표시 방법은 상기 조절 표시 단계 이후에 수행되는, 상기 시선이 상기 화면 상에서 이동하면, 상기 휴대단말이 상기 시선이 이동하는 방향으로 상기 크기가 조절된 객체의 부분을 이동시켜 표시하는 단계를 더 포함할 수 있다.In the object display method of the mobile terminal according to the present invention, if the gaze moves on the screen, which is performed after the adjustment display step, the mobile terminal moves a portion of the object whose size is adjusted in the direction in which the gaze moves. It may further comprise the step of displaying.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 객체는 이미지, 동영상, 메뉴, 리스트, 아이콘, 가상키패드 및 텍스트 중에 적어도 하나를 포함할 수 있다.In the object display method of the mobile terminal according to the present invention, the object may include at least one of an image, a video, a menu, a list, an icon, a virtual keypad, and text.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계는 상기 산출된 거리가 임계값을 초과하면, 상기 휴대단말이 상기 임계값에서의 기준 크기보다 상기 객체의 크기를 확대하는 단계, 상기 산출된 거리가 임계값이면, 상기 휴대단말이 상기 임계값에서의 기준 크기로 상기 객체를 표시하는 단계, 상기 산출된 거리가 임계값 이하이면, 상기 휴대단말이 상기 임계값에서의 기준 크기보다 상기 객체의 크기를 축소하는 단계를 포함할 수 있다.In the method for displaying an object of a mobile terminal according to the present invention, the adjusting display step includes: when the calculated distance exceeds a threshold, the mobile terminal enlarges the size of the object than a reference size at the threshold; If the calculated distance is a threshold, the mobile terminal displays the object with a reference size at the threshold; if the calculated distance is less than or equal to a threshold, the mobile terminal is smaller than the reference size at the threshold; It may include reducing the size of the object.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계는 상기 산출된 거리가 임계값을 초과하면, 상기 휴대단말이 상기 임계값에서의 기 준 크기보다 상기 객체의 크기를 축소하는 단계, 상기 산출된 거리가 임계값이면, 상기 휴대단말이 상기 임계값에서의 기준 크기로 상기 객체를 표시하는 단계, 상기 산출된 거리가 임계값 이하이면, 상기 휴대단말이 상기 임계값에서의 기준 크기보다 상기 객체의 크기를 확대하는 단계를 포함할 수 있다.In the method for displaying an object of a mobile terminal according to the present invention, the adjusting display step includes the step of the mobile terminal reducing the size of the object than the reference size at the threshold value when the calculated distance exceeds a threshold. If the calculated distance is a threshold value, the mobile terminal displaying the object at a reference size at the threshold value; if the calculated distance is less than or equal to a threshold value, the mobile terminal is a reference size at the threshold value; The method may further include enlarging the size of the object.

본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계는 상기 산출된 거리가 임계값 이상이면, 상기 휴대단말이 상기 임계값에서의 상기 객체의 크기를 유지하는 단계, 상기 산출된 거리가 임계값 이하이면, 상기 휴대단말이 상기 객체의 크기를 조절하여 표시하는 단계를 포함할 수 있다.In the object display method of a mobile terminal according to the present invention, the control display step, if the calculated distance is greater than or equal to a threshold, the mobile terminal maintains the size of the object at the threshold, the calculated distance Is less than or equal to a threshold value, the mobile terminal may include adjusting and displaying the size of the object.

그리고 본 발명에 따른 휴대단말의 객체 표시 방법에 있어서, 상기 조절 표시 단계는 상기 산출된 거리가 임계값 이상이면, 상기 휴대단말이 상기 객체의 크기를 조절하여 표시하는 단계, 상기 산출된 거리가 임계값 이하이면, 상기 휴대단말이 상기 임계값에서의 상기 객체의 크기를 유지하는 단계를 포함할 수 있다.In the object display method of the mobile terminal according to the present invention, if the calculated distance is greater than or equal to a threshold, the mobile terminal adjusts and displays the size of the object, and the calculated distance is critical. If the value is less than the value, the mobile terminal may include maintaining the size of the object at the threshold value.

본 발명에 따르면, 휴대단말은 사용자와 휴대단말 간의 거리 및 시선 인지를 통하여 사용자의 시선이 집중되는 객체 부분을 중심으로 객체의 크기를 조절하여 화면에 표시하기 때문에, 사용자는 입력부를 별도로 조작하지 않더라도 휴대단말을 자신에 대해서 전후로 이동시키는 간단한 제스처 및 시선 집중을 통하여 화면에 표시되는 객체 중 사용자의 시선이 집중되는 부분을 중심으로 객체를 간편하게 확대하거나 축소할 수 있다. 즉 사용자는 통상적으로 확대나 축소를 원하는 부분을 응시하게 되며, 본 발명에 따른 휴대단말은 사용자가 응시하는 객체 부분을 중심으로 객체를 확대하거나 축소하기 때문에, 사용자가 원하는 부분을 신속하게 확대 및 축소할 수 있다.According to the present invention, since the mobile terminal adjusts the size of the object and displays it on the screen based on the object portion where the user's eyes are focused through the distance between the user and the mobile terminal and recognizes the gaze, the user does not separately operate the input unit. Through simple gestures and eye gaze to move the mobile terminal back and forth with respect to the user, the object can be easily enlarged or reduced based on the part where the user's gaze is concentrated among the objects displayed on the screen. That is, the user usually gazes at a portion that the user wants to enlarge or reduce, and the portable terminal according to the present invention enlarges or reduces an object around an object portion that the user gazes on, so that the user can quickly enlarge and reduce the desired portion. can do.

또한 사용자는 한 손으로 휴대단말을 잡은 상태에서 휴대단말을 자신에 대해서 전후로 이동시키는 간단한 제스처 및 시선 집중을 통하여 화면에 표시되는 객체를 확대하거나 축소할 수 있기 때문에, 사용자는 한 손으로도 휴대단말을 안정적으로 조작할 수 있는 조작 편의성을 제공받을 수 있다.In addition, the user can zoom in or out on an object displayed on the screen by using simple gestures and eyeballs to move the mobile terminal back and forth with respect to the user while holding the mobile terminal with one hand. It can be provided with the convenience of operation that can be stably operated.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하고자 한다.Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention.

본 발명의 실시예에 따른 휴대단말(100)은, 도 1에 도시된 바와 같이, 사용자(200)와 휴대단말(100) 간의 거리 및 시선 인지를 이용하여 화면에 표시된 객체(60)의 크기를 조절하여 표시한다. 즉 사용자(200)가 휴대단말(100)을 사용자(200) 자신에 대해서 전후로 이동시키면, 휴대단말(100)은 사용자(200)와 휴대단말(100) 간의 거리 또는 변위(d)를 산출하고, 산출한 거리 또는 변위(d)에 따라 화면에 표시된 객체(60)의 크기를 조절하여 표시한다. 특히 휴대단말(100)은 객체(60) 중에서 사용자(200)의 시선이 집중되는 부분을 중심으로 객체(60)의 크기를 조절하여 표시한다.As shown in FIG. 1, the mobile terminal 100 according to an embodiment of the present invention uses the distance between the user 200 and the mobile terminal 100 and the gaze recognition to determine the size of the object 60 displayed on the screen. Adjust to display. That is, when the user 200 moves the mobile terminal 100 back and forth with respect to the user 200 itself, the mobile terminal 100 calculates the distance or displacement d between the user 200 and the mobile terminal 100, The size of the object 60 displayed on the screen is adjusted and displayed according to the calculated distance or displacement d. In particular, the mobile terminal 100 adjusts and displays the size of the object 60 centering on a portion where the eyes of the user 200 are concentrated among the objects 60.

이때 본 발명의 실시예에 따른 휴대단말(100)은 이동통신단말, 노트북(notebook), PDA(Personal Digital Assistant), PMP(Portable Multimedia Player), DMB(Digital Multimedia Broadcasting) 또는 DVB(Digital Video Broadcasting)와 같은 디지털방송 수신기를 등을 포함한다.At this time, the mobile terminal 100 according to an embodiment of the present invention is a mobile communication terminal, a notebook (notebook), PDA (Personal Digital Assistant), PMP (Portable Multimedia Player), DMB (Digital Multimedia Broadcasting) or DVB (Digital Video Broadcasting) Digital broadcast receivers such as;

이와 같은 본 발명의 실시예에 따른 휴대단말(100)에 대해서 도 1 및 도 2를 참조하여 구체적으로 설명하면 다음과 같다. 여기서 도 2는 도 1의 휴대단말(100)의 구성을 보여주는 블록도이다.The mobile terminal 100 according to the embodiment of the present invention will be described in detail with reference to FIGS. 1 and 2 as follows. 2 is a block diagram showing the configuration of the mobile terminal 100 of FIG.

본 발명의 실시예에 따른 휴대단말(100)은 입력부(10), 저장부(20), 표시부(30), 거리감지부(40), 카메라부(45) 및 제어부(50)를 포함하여 구성된다.The mobile terminal 100 according to the embodiment of the present invention includes an input unit 10, a storage unit 20, a display unit 30, a distance detection unit 40, a camera unit 45, and a controller 50. .

입력부(10)는 휴대단말(100)의 조작을 위한 복수의 키를 제공하며, 사용자(200)의 키선택에 따른 선택 신호를 발생하여 제어부(50)로 전달한다. 사용자(200)는 입력부(10)를 통해 표시부(30)의 화면에 객체(60) 표시를 요청하고, 휴대단말(100)과 사용자(200) 간의 거리 및 시선 인지를 통하여 표시된 객체(60)를 확대하거나 축소하는 객체 표시 모드의 실행을 요청할 수 있다. 입력부(10)로는 키패드, 터치패드와 같은 포인팅 장치, 터치스크린(touch screen) 등의 입력장치가 사용될 수 있다.The input unit 10 provides a plurality of keys for the operation of the mobile terminal 100, generates a selection signal according to the key selection of the user 200, and transmits the selected signals to the controller 50. The user 200 requests the display of the object 60 on the screen of the display unit 30 through the input unit 10, and displays the displayed object 60 through the distance between the mobile terminal 100 and the user 200 and gaze recognition. You can request to run the object display mode to zoom in or out. The input unit 10 may be a keypad, a pointing device such as a touch pad, or an input device such as a touch screen.

저장부(20)는 휴대단말(100)의 동작 제어시 필요한 프로그램과, 그 프로그램 수행 중에 발생되는 데이터를 저장한다. 저장부(20)는 거리 및 시선 인지를 이용하여 객체(60)를 확대하거나 축소하여 표시하는 실행프로그램을 저장한다. 저장부(20)는 휴대단말(100)과 사용자(200) 간의 거리 또는 변위(d)에 따라 객체(60)의 크기를 조절하는 조절값을 저장한다. 이때 조절값은 휴대단말(100)과 사용자(200) 간의 거리에 따라 설정되거나, 휴대단말(100)과 사용자(200) 간의 변위에 따라 설정될 수 있다. 저장부(20)는 객체(60)의 종류에 따른 크기 조절 방식을 저장할 수 있다. 크기 조절 방식은 시선이 집중되는 부분을 중심으로 근방의 영역만을 부분적으로 크기를 조절하는 제1 크기 조절 방식과, 시선이 집중되는 부분을 중심으로 정보를 전체적으로 크기를 조절하는 제2 크기 조절 방식을 포함할 수 있다. 크기 조절 방식은 사용자에 의해 설정될 수도 있고 디폴트로 설정될 수 있다. 객체(60)는 화면에 표시할 수 있는 정보로서, 예컨대 이미지, 동영상, 메뉴, 리스트, 아이콘, 텍스트, 가상키패드 등을 포함할 수 있다.The storage unit 20 stores a program necessary for controlling the operation of the mobile terminal 100 and data generated while executing the program. The storage unit 20 stores an execution program for enlarging or reducing the object 60 by using distance and gaze recognition. The storage unit 20 stores an adjustment value for adjusting the size of the object 60 according to the distance or displacement d between the mobile terminal 100 and the user 200. In this case, the adjustment value may be set according to the distance between the mobile terminal 100 and the user 200 or may be set according to the displacement between the mobile terminal 100 and the user 200. The storage unit 20 may store a size adjusting method according to the type of the object 60. The resizing method includes a first resizing method for partially resizing only an area in the vicinity of a part where the gaze is concentrated, and a second resizing method for resizing information overall based on a part where the gaze is concentrated. It may include. The scaling method may be set by the user or may be set by default. The object 60 is information that can be displayed on the screen and may include, for example, an image, a video, a menu, a list, an icon, text, a virtual keypad, and the like.

표시부(30)는 휴대단말(100)에서 실행되는 각종 기능 메뉴를 비롯하여 저장부(20)에 저장된 정보를 적어도 하나의 객체(60)로 표시한다. 표시부(30)는 제어부(50)의 제어에 따라 휴대단말(100)과 사용자(200) 간의 거리 및 시선 인지에 따라 객체(60)의 크기를 조절하여 표시한다. 이때 표시부(30)로는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes), 터치스크린 등이 사용될 수 있다. 터치스크린은 표시장치와 입력장치의 역할을 동시에 수행한다. The display unit 30 displays information stored in the storage unit 20 as at least one object 60, including various function menus executed in the mobile terminal 100. The display unit 30 adjusts and displays the size of the object 60 according to the distance between the mobile terminal 100 and the user 200 and the gaze recognition under the control of the controller 50. In this case, a liquid crystal display (LCD), organic light emitting diodes (OLED), a touch screen, and the like may be used as the display unit 30. The touch screen simultaneously serves as a display device and an input device.

거리감지부(40)는 사용자(200)를 감지하여 감지신호를 제어부(50)로 출력한다. 감지신호는 휴대단말(100)과 사용자(200) 간의 거리 산출에 필요한 거리정보를 포함한다. 거리정보는 사용자(200) 감지에 사용된 소스, 예컨대 적외선, 초음파 등의 조사 속도, 사용자(200)를 감지한 시간, 촬영 영상 중에 적어도 하나를 포함한다. 이때 거리감지부(40)는 카메라, 근접 센서, 적외선 센서, RF(Radio Frequency) 센서, 자이로(gyro) 센서, 가속도 센서 및 초음파 센서 중에 적어도 하나를 포함할 수 있다.The distance detector 40 detects the user 200 and outputs a detection signal to the controller 50. The detection signal includes distance information necessary for calculating the distance between the mobile terminal 100 and the user 200. The distance information includes at least one of a source used to detect the user 200, for example, an irradiation speed of an infrared ray, an ultrasonic wave, a time when the user 200 is detected, and a captured image. In this case, the distance detecting unit 40 may include at least one of a camera, a proximity sensor, an infrared sensor, a radio frequency (RF) sensor, a gyro sensor, an acceleration sensor, and an ultrasonic sensor.

카메라부(45)는 피사체의 촬영 기능을 수행하며, 특히 시선 인지를 이용하여 화면을 처리하기 위한 사용자(200)의 영상을 획득한다. 이때 카메라부(45)는 이미지 센서, 신호처리부 및 영상처리부를 포함하여 구성될 수 있다. 이미지 센서는 촬영한 영상의 광신호를 아날로그 신호로 변환한다. 신호처리부는 아날로그 신호를 디지털 신호로 변환한다. 그리고 영상처리부는 신호처리부를 통해 입력되는 영상신호를 처리하여 영상데이터를 획득하며, 획득된 영상데이터를 제어부(50)나 표시부(30)를 통해 출력하거나 저장부(20)에 저장한다. 휴대단말(100)은 사용자(200)의 시선을 추적하기 위해서 적어도 하나 이상의 카메라부(45)를 포함하거나, 카메라부(45)가 적어도 하나 이상의 이미지 센서를 포함할 수 있다.The camera unit 45 performs a photographing function of the subject, and in particular, acquires an image of the user 200 for processing the screen using gaze recognition. In this case, the camera unit 45 may include an image sensor, a signal processor, and an image processor. The image sensor converts the optical signal of the captured image into an analog signal. The signal processor converts an analog signal into a digital signal. The image processing unit obtains image data by processing the image signal input through the signal processing unit, and outputs the acquired image data through the control unit 50 or the display unit 30 or stores it in the storage unit 20. The mobile terminal 100 may include at least one camera unit 45 to track the gaze of the user 200, or the camera unit 45 may include at least one image sensor.

그리고 제어부(50)는 휴대단말(100)의 전반적인 제어 동작을 수행하는 마이크로프로세서(microprocessor)이다. 제어부(50)는 휴대단말(100)과 사용자(200) 간의 거리 및 시선 인지를 통하여 표시된 객체(60)의 크기 조절을 제어한다. 이때 제어부(50)는 휴대단말(100)과 사용자(200) 간의 변위를 산출하여 객체(60)의 크기를 조절하여 표시하거나, 휴대단말(100)과 사용자(200) 간의 거리를 산출하여 객체(60)의 크기를 조절하여 표시할 수 있다. 아울러 제어부(50)은 산출된 변위 또는 거리에 따라 객체(60)의 크기를 조절하여 표시할 때, 객체(60) 중에서 사용자(200)의 시선이 집중되는 부분을 중심으로 객체(60)의 크기를 조절하여 표시한다.The controller 50 is a microprocessor that performs the overall control operation of the mobile terminal 100. The controller 50 controls the size of the displayed object 60 through the distance between the mobile terminal 100 and the user 200 and the gaze recognition. In this case, the controller 50 calculates the displacement between the mobile terminal 100 and the user 200 to display the image by adjusting the size of the object 60 or calculates the distance between the mobile terminal 100 and the user 200 to determine the object ( 60) can be displayed by adjusting the size. In addition, when the control unit 50 adjusts and displays the size of the object 60 according to the calculated displacement or distance, the size of the object 60 is centered around a portion where the eyes of the user 200 are concentrated among the objects 60. Adjust the display.

먼저 제어부(50)가 휴대단말(100)과 사용자(200) 간의 변위 산출 및 시선을 인지하여 객체(60)의 크기를 조절하여 표시하는 과정을 설명하면 다음과 같다. 즉 제어부(50)는 거리감지부(40)로부터 감지신호를 수신한다. 제어부(50)는 수신한 감지신호를 기반으로 휴대단말(100)과 사용자(200) 간의 변위를 산출한다. 그리고 제 어부(50)는 산출한 변위에 따라 객체(60)의 크기를 조절하여 표시부(30)에 표시하되, 객체(60)에서 사용자(200)의 시선이 집중되는 부분을 중심으로 객체(60)의 크기를 조절하여 표시한다. 이때 제어부(50)는 저장부(20)에서 산출된 변위에 따른 조절값을 추출하고, 추출한 조절값으로 객체(60)의 크기를 조절하여 표시할 수 있다. 아울러 제어부(50)는 저장부(20)에서 객체(60)의 종류에 따른 크기 조절 방식을 추출하고, 추출한 크기 조절 방식에 따라 시선이 집중되는 객체(60) 부분을 중심으로 객체(60)의 크기를 조절하여 표시한다.First, the process of the controller 50 adjusting the size of the object 60 by displaying the displacement calculation and the gaze between the mobile terminal 100 and the user 200 will be described. That is, the controller 50 receives the detection signal from the distance detector 40. The controller 50 calculates a displacement between the mobile terminal 100 and the user 200 based on the received detection signal. In addition, the control unit 50 adjusts the size of the object 60 according to the calculated displacement and displays it on the display unit 30. The object 60 is mainly focused on a part where the user's 200 is focused on the object 60. ) To adjust the size. In this case, the controller 50 may extract an adjustment value according to the displacement calculated by the storage unit 20, and adjust and display the size of the object 60 using the extracted adjustment value. In addition, the control unit 50 extracts the size adjustment method according to the type of the object 60 from the storage unit 20, and the object 60 of the object 60 is focused on the part of the object 60 where the eyes are focused according to the extracted size adjustment method. Resize and display.

휴대단말(100)과 사용자(200) 간의 변위는 다음과 같이 산출할 수 있다. 즉 제어부(50)는 거리감지부(40)를 통하여 수신한 제1 감지신호로부터 휴대단말(100)과 사용자(200) 간의 제1 거리를 산출한다. 다음으로 제어부(50)는 거리감지부(40)를 통하여 휴대단말(100)과 사용자(200) 간의 위치 변화에 따른 제2 감지신호를 수신하고, 수신한 제2 감지신호를 기반으로 휴대단말(100)과 사용자(200) 간의 제2 거리를 산출한다. 그리고 제어부(50)는 아래의 수학식1에 개시된 바와 같이, 산출한 제2 거리 및 제1 거리의 차이로 변위를 산출한다.The displacement between the mobile terminal 100 and the user 200 can be calculated as follows. That is, the controller 50 calculates a first distance between the mobile terminal 100 and the user 200 from the first detection signal received through the distance detection unit 40. Next, the controller 50 receives a second detection signal according to a change in position between the mobile terminal 100 and the user 200 through the distance detection unit 40, and based on the received second detection signal, the mobile terminal 100. ) And a second distance between the user 200. The controller 50 calculates the displacement by the difference between the calculated second distance and the first distance, as disclosed in Equation 1 below.

변위=제2 거리-제1 거리Displacement = second distance-first distance

여기서 휴대단말(100)과 사용자(200) 간의 거리는 카메라 비전 방식, 적외선 방식, 자이로-가속도 방식 및 초음파 방식 중 적어도 하나의 방식을 이용하여 산출할 수 있다. 예컨대 카메라 비전 방식은 카메라로 촬영한 사용자 영상의 크기로부터 거리를 산출하는 방식이다. 즉 카메라로 촬영한 사용자 영상의 크기는 휴대단 말(100)과 사용자(200) 간의 거리에 반비례하기 때문에, 제어부(50)는 사용자 영상의 크기와 휴대단말(100)과 사용자(200) 간의 거리의 관계식으로부터 휴대단말(100)과 사용자(200) 간의 거리를 산출할 수 있다. 즉 제어부(50)은 촬영된 사용자 영상에서 사용자(200)의 특정 부분, 예컨대 얼굴, 입, 코, 눈 등을 추출하고, 추출한 특정 부분의 크기를 산출한다. 제어부(50)은 산출한 크기에 따른 휴대단말(100)과 사용자(200) 간의 거리를 산출할 수 있다.The distance between the mobile terminal 100 and the user 200 may be calculated using at least one of a camera vision method, an infrared method, a gyro-acceleration method, and an ultrasound method. For example, the camera vision method is a method of calculating a distance from a size of a user image photographed by a camera. That is, since the size of the user image captured by the camera is inversely proportional to the distance between the mobile terminal 100 and the user 200, the controller 50 controls the size of the user image and the distance between the mobile terminal 100 and the user 200. The distance between the mobile terminal 100 and the user 200 can be calculated from the relational expression of. That is, the controller 50 extracts a specific portion of the user 200, for example, a face, a mouth, a nose, and an eye, from the captured user image, and calculates the size of the extracted specific portion. The controller 50 may calculate the distance between the mobile terminal 100 and the user 200 according to the calculated size.

자이로-가속도 방식은 휴대단말(100)의 이동을 자이로 센서와 가속도 센서로 감지하여 휴대단말(100)의 이동 거리 또는 변위를 산출하는 방식이다. 즉 휴대단말(100)이 시작점에서 특정 방향으로 이동하면, 제어부(50)는 자이로 센서 및 가속도 센서로부터 각각 감지신호를 수신한다. 이때 제어부(50)는 자이로 센서로부터 수신한 감지신호로부터 휴대단말(100)의 이동 방향을 산출한다. 제어부(50)는 가속도 센서로부터 수신한 감지신호로부터 휴대단말(100)의 이동에 따른 가속도값을 산출하고, 산출한 가속도값을 두 번 적분하여 거리를 산출한다. 그리고 제어부(50)는 시작점에 대한 거리와 방향으로부터 휴대단말(100)의 변위를 산출한다.The gyro-accelerated method detects the movement of the mobile terminal 100 with a gyro sensor and an acceleration sensor and calculates a moving distance or displacement of the mobile terminal 100. That is, when the mobile terminal 100 moves in a specific direction from the starting point, the controller 50 receives the sensing signals from the gyro sensor and the acceleration sensor, respectively. At this time, the controller 50 calculates the moving direction of the mobile terminal 100 from the detection signal received from the gyro sensor. The controller 50 calculates the acceleration value according to the movement of the mobile terminal 100 from the detection signal received from the acceleration sensor, and calculates the distance by integrating the calculated acceleration value twice. The controller 50 calculates the displacement of the mobile terminal 100 from the distance and the direction with respect to the starting point.

그리고 적외선(또는 초음파) 방식은 휴대단말(100)에서 사용자(200)로 조사되는 적외선의 반사파를 수신하여 휴대단말(100)과 사용자(200) 간의 거리를 산출하는 방식이다. 즉 거리감지부(40)의 적외선 조사부에서 사용자(200)로 적외선을 조사한 후, 반사되는 반사파를 적외선 수신부에서 수신하면, 거리감지부(40)는 감지신호를 제어부(50)로 전송한다. 이때 감지신호는 거리정보로서 반사파의 수신시간을 포함한다. 제어부(50)는 감지신호에 포함된 반사파의 수신시간과 적외선의 조 사속도로부터 휴대단말(100)과 사용자(200) 간의 거리를 산출할 수 있다. 예컨대 적외선의 조사속도와 반사파의 속도가 동일하다고 가정할 때, 휴대단말(100)과 사용자(200) 간의 거리는 수신시간과 조사속도를 곱한 후 2로 나누어 산출할 수 있다.In addition, the infrared (or ultrasonic) method is a method of calculating a distance between the mobile terminal 100 and the user 200 by receiving a reflected wave of infrared rays radiated from the mobile terminal 100 to the user 200. That is, after irradiating infrared rays from the infrared irradiation unit of the distance detecting unit 40 to the user 200 and receiving the reflected reflected wave from the infrared receiving unit, the distance detecting unit 40 transmits a detection signal to the control unit 50. At this time, the detection signal includes the reception time of the reflected wave as the distance information. The controller 50 may calculate the distance between the mobile terminal 100 and the user 200 from the reception time of the reflected wave included in the detection signal and the irradiation speed of the infrared ray. For example, assuming that the irradiation speed of the infrared ray and the reflected wave speed are the same, the distance between the mobile terminal 100 and the user 200 may be calculated by multiplying the reception time by the irradiation speed and dividing by two.

한편 변위는 양의 값, 영, 음의 값 중에 하나를 가질 수 있다. 변위가 양의 값을 갖는 경우는 제2 거리가 제1 거리보다 긴 경우, 즉 휴대단말(100)과 사용자(200) 간의 거리가 멀어지는 경우이다. 변위가 영의 값을 갖는 경우는 제2 거리와 제1 거리가 동일한 경우, 즉 휴대단말(100)과 사용자(200) 간의 거리를 유지하는 경우이다. 그리고 변위가 음의 값을 갖는 경우는 제2 거리가 제1 거리보다 짧은 경우, 즉 휴대단말(100)과 사용자(200) 간의 거리가 가까워지는 경우이다.On the other hand, the displacement may have one of positive, zero and negative values. The displacement has a positive value when the second distance is longer than the first distance, that is, when the distance between the mobile terminal 100 and the user 200 is far. When the displacement has a value of zero, the second distance and the first distance are the same, that is, the distance between the mobile terminal 100 and the user 200 is maintained. When the displacement has a negative value, the second distance is shorter than the first distance, that is, when the distance between the mobile terminal 100 and the user 200 approaches.

제어부(50)는 다음과 같이 사용자(200)의 시선 인지를 수행할 수 있다. 즉 제어부(50)는 카메라부(45)에서 촬영한 사용자 영상을 수신한다. 제어부(50)는 수신한 사용자 영상을 분석하여 사용자(200)의 시선을 실시간으로 추적한다. 그리고 제어부(50)는 시선 추적 중 시선이 집중되는 객체 부분을 판단한다.The controller 50 may perform gaze recognition of the user 200 as follows. That is, the controller 50 receives a user image photographed by the camera unit 45. The controller 50 analyzes the received user image to track the gaze of the user 200 in real time. In addition, the controller 50 determines an object part where the gaze is concentrated during eye gaze tracking.

이때 제어부(50)는 다음과 같이 사용자의 시선을 추적할 수 있다. 먼저 제어부(50)는 카메라부(45)로 촬영한 사용자 영상에서 얼굴 영상을 추출한다. 그리고 제어부(50)는 추출한 얼굴 영상에서 눈을 추출하고, 추출한 눈의 위치 변화로부터 사용자(200)의 시선을 추적한다. 예컨대, 얼굴 영상은 PCA(principal component analysis), FDA(Fisher Discriminant Analysis), ICA(Independent Component Analysis) 중에 하나를 이용하여 추출할 수 있다. 제어부(50)는 추출한 얼굴 영상 에서 얼굴구성요소인 눈을 adaboost 또는 SVM(Support Vector Machine)를 이용하여 추출할 수 있다. 그리고 제어부(50)는 추출한 눈의 위치변화로부터 사용자(200)의 시선을 추적한다. 여기서 adaboost는 배경에서 사용자(200)의 형태를 추출하기 위한 학습 알고리듬으로, Yoav Freund and Robert E. Schapire 에 의한 "A decision-theoretic generalization of on-line learning and an application to boosting", In Computational Learning Theory: Eurocolt '95, pp. 23-37, Springer-Verlag, 1995에 자세히 기재되어 있다.In this case, the controller 50 may track the eyes of the user as follows. First, the controller 50 extracts a face image from a user image captured by the camera unit 45. The controller 50 extracts eyes from the extracted face image, and tracks the gaze of the user 200 from the position change of the extracted eyes. For example, the facial image may be extracted using one of principal component analysis (PCA), Fisher Discriminant Analysis (FDA), and Independent Component Analysis (ICA). The controller 50 may extract an eye, which is a face component, from the extracted face image by using an adaboost or a support vector machine (SVM). The controller 50 tracks the gaze of the user 200 from the positional change of the extracted eye. Here, adaboost is a learning algorithm for extracting the shape of the user 200 from the background, "A decision-theoretic generalization of on-line learning and an application to boosting", In Computational Learning Theory by Yoav Freund and Robert E. Schapire. : Eurocolt '95, pp. 23-37, Springer-Verlag, 1995.

그 외 제어부(50)는 수신한 사용자 영상에서 얼굴 영상을 추출하고, 추출한 얼굴 영상에서 눈을 추출하기 위해서, ASM(Active Shape Modelling), AAM(Active Appearance Modelling) 등과 같은 얼굴 모델링 기법을 사용할 수도 있다.In addition, the controller 50 may use a face modeling technique such as ASM (Active Shape Modeling) or AAM (Active Appearance Modeling) to extract a face image from the received user image and extract eyes from the extracted face image. .

제어부(50)는 다음과 같이 시선 추적 중 시선이 집중되는 객체 부분을 판단한다. 먼저 제어부(50)는 시선 추적 중 시선이 집중되는 객체 부분의 위치를 산출한다. 이때 제어부(50)는 시선 추적 중 시선이 정지하는 시간을 산출한다. 제어부(50)는 산출된 시간이 설정된 임계시간을 초과하는 지의 여부를 판단한다. 임계시간을 초과하는 경우 제어부(50)는 사용자(200)가 시선을 집중하고 있는 것으로 판단한다. 그리고 제어부(50)는 시선이 집중되는 객체 부분의 위치를 산출한다. 한편 임계시간을 초과하기 전에 시선이 이동하는 경우, 제어부(50)는 사용자(200)가 시선을 집중하고 있지 않는 것으로 판단한다.The controller 50 determines an object part where the gaze is concentrated during eye gaze tracking as follows. First, the controller 50 calculates the position of the object part where the gaze is concentrated during eye gaze tracking. At this time, the controller 50 calculates a time at which the gaze stops during eye gaze tracking. The controller 50 determines whether the calculated time exceeds the set threshold time. If the threshold time is exceeded, the controller 50 determines that the user 200 is focusing the gaze. In addition, the controller 50 calculates the position of the object part where the eyes are concentrated. On the other hand, when the gaze moves before the threshold time is exceeded, the controller 50 determines that the user 200 is not focusing the gaze.

제어부(50)는 다음과 같이 시선이 집중되는 정보의 위치를 산출할 수 있다. 즉 제어부(50)는 추출한 눈의 영상정보로부터 시선 방향을 산출한다. 제어부(50)는 산출한 시선 방향과 화면과의 교점으로부터 화면에 대한 눈의 상대적 위치 정보를 산출하여 시선이 집중되는 객체 부분의 위치를 산출할 수 있다. 또는 제어부(50)는 적외선 센서(도시안됨)를 이용하여 화면에 대한 눈의 상대적 위치 정보를 산출하여 시선이 집중되는 객체 부분의 위치를 산출할 수 있다.The controller 50 may calculate the location of the information on which the eyes are concentrated as follows. That is, the controller 50 calculates the gaze direction from the extracted image information of the eye. The controller 50 may calculate the position of the object part where the eyes are concentrated by calculating the relative position information of the eye with respect to the screen from the intersection of the calculated gaze direction and the screen. Alternatively, the controller 50 may calculate the position of the object part where the eyes are concentrated by calculating the relative position information of the eye with respect to the screen using an infrared sensor (not shown).

제어부(50)는 시선이 집중되는 객체 부분을 중심으로 산출된 변위에 따라 객체(60)를 조절하여 표시할 때 다음과 같이 다양한 방식으로 표시할 수 있다. 즉 산출된 변위가 양의 값이면, 제어부(50)는 객체(60)를 확대하여 표시한다. 산출된 변위가 음의 값이면, 제어부(50)는 객체(60)를 축소하여 표시할 수 있다. 반대로 산출된 변위가 양의 값이면, 제어부(50)는 객체(60)를 축소하여 표시한다. 산출된 변위가 음의 값이면, 제어부(50)는 객체(60)를 확대하여 표시할 수 있다. 그리고 산출된 변위가 영인 경우, 제어부(50)는 객체(60)의 표시 상태를 유지할 수 있다. 이때 제어부(50)는 산출된 변위의 절대값에 비례하게 객체(60)의 크기를 확대하거나 축소할 수 있다. 예컨대 제어부(50)는 산출된 변위의 절대값에 연속적으로 또는 단계적으로 비례하게 객체(60)의 크기를 확대하거나 축소할 수 있다. 또는 제어부(50)는 산출된 변위의 절대값에 따라 객체(60)의 크기를 일정 크기로 확대하거나 축소할 수 있다. The controller 50 may display the controller 60 in various ways as described below when adjusting and displaying the object 60 according to the displacement calculated based on the object portion where the eyes are concentrated. That is, if the calculated displacement is a positive value, the controller 50 enlarges and displays the object 60. If the calculated displacement is a negative value, the controller 50 may reduce and display the object 60. On the contrary, if the calculated displacement is a positive value, the controller 50 reduces and displays the object 60. If the calculated displacement is a negative value, the controller 50 may enlarge and display the object 60. When the calculated displacement is zero, the controller 50 may maintain the display state of the object 60. In this case, the controller 50 may enlarge or reduce the size of the object 60 in proportion to the calculated absolute value of the displacement. For example, the controller 50 may enlarge or reduce the size of the object 60 continuously or stepwise in proportion to the calculated absolute value of the displacement. Alternatively, the controller 50 may enlarge or reduce the size of the object 60 to a predetermined size according to the calculated absolute value of the displacement.

또는 산출된 변위의 절대값이 임계값 이상이면, 제어부(50)는 객체(60)의 크기를 조절하여 표시한다. 산출된 변위의 절대값이 임계값 이하이면, 제어부(50)는 객체(60)의 표시 상태를 유지할 수 있다. 이때 산출된 변위의 절대값이 임계값 이상이면, 제어부(50)는 절대값에 비례하게 객체(60)의 크기를 확대하거나 축소할 수 있다. 또는 산출된 변위의 절대값이 임계값 이상이면, 제어부(50)는 객체(60)의 크기를 일정 크기로 확대하거나 축소할 수 있다. 여기서 임계값은 특정값으로 설정될 수도 있고, 일정 범위로 설정될 수도 있다. 임계값은 일반적으로 휴대단말(100)을 사용할 때 발생될 수 있는 변위의 절대값 보다는 큰 값으로 설정하는 것이 바람직하다. 이유는 임계값이 일반적으로 휴대단말(100)을 사용할 때 발생될 수 있는 변위의 절대값보다 작은 값으로 설정되면, 사용자(200)가 의도하지 않은 휴대단말(100)의 작은 움직임에도 객체(60)의 크기가 조절되어 표시될 수 있기 때문이다. 예컨대 임계값이 3cm로 설정된 경우, 산출된 변위의 절대값이 3cm 이상이면, 제어부(50)는 객체(60)의 크기를 조절하여 표시한다. 산출된 변위의 절대값이 3cm 이하이면, 제어부(50)는 객체(60)의 표시 상태를 유지할 수 있다. 임계값은 사용자(200)에 의해 설정되거나 디폴트로 설정될 수 있다. 여기서 임계값은 하나의 예시에 불과하며, 사용자(200)에 따라서 3cm 이하 또는 3cm 이상의 값으로 설정될 수도 있다.Alternatively, if the absolute value of the calculated displacement is greater than or equal to the threshold value, the controller 50 adjusts and displays the size of the object 60. If the absolute value of the calculated displacement is equal to or less than the threshold value, the controller 50 may maintain the display state of the object 60. If the absolute value of the calculated displacement is greater than or equal to the threshold value, the controller 50 may enlarge or reduce the size of the object 60 in proportion to the absolute value. Alternatively, if the absolute value of the calculated displacement is greater than or equal to the threshold value, the controller 50 may enlarge or reduce the size of the object 60 to a predetermined size. Here, the threshold may be set to a specific value or may be set to a certain range. In general, the threshold value is preferably set to a value larger than the absolute value of the displacement that may occur when using the mobile terminal 100. The reason is that when the threshold value is generally set to a value smaller than the absolute value of the displacement that may occur when using the mobile terminal 100, the object 60 may be subjected to a small movement of the mobile terminal 100 not intended by the user 200. This is because the size of) can be adjusted and displayed. For example, when the threshold value is set to 3cm, if the absolute value of the calculated displacement is 3cm or more, the controller 50 adjusts and displays the size of the object 60. If the absolute value of the calculated displacement is 3 cm or less, the controller 50 may maintain the display state of the object 60. The threshold may be set by the user 200 or set as default. Here, the threshold is only one example and may be set to a value of 3 cm or less or 3 cm or more depending on the user 200.

물론 휴대단말(100)은 객체(60)를 확대하거나 축소할 때, 시선이 집중된 객체 부분을 중심으로 객체(60)를 확대하거나 축소한다. 휴대단말(100)은 산출된 변위에 따라 시선이 집중된 객체 부분을 화면의 중심 쪽으로 이동시키면서 객체(60)를 확대하거나 축소할 수 있다. 또는 휴대단말(100)은 시선이 집중된 객체 부분을 화면의 중심 쪽으로 이동시킨 이후에 객체(60)를 확대하거나 축소할 수도 있다. 그 외 휴대단말(100)은 거리 및 시선 인지를 통하여 다양한 방식으로 시선이 집중된 객체 부분을 중심으로 산출된 변위에 따라 객체(60)를 확대하거나 축소할 수 있다.Of course, when the mobile terminal 100 enlarges or reduces the object 60, the mobile terminal 100 enlarges or reduces the object 60 around the object portion where the eyes are concentrated. The mobile terminal 100 may enlarge or reduce the object 60 while moving the object portion where the gaze is concentrated toward the center of the screen according to the calculated displacement. Alternatively, the mobile terminal 100 may enlarge or reduce the object 60 after moving the object portion where the gaze is concentrated toward the center of the screen. In addition, the mobile terminal 100 may enlarge or reduce the object 60 according to the displacement calculated based on the object portion where the gaze is concentrated in various ways through distance and gaze recognition.

한편으로 시선이 집중되는 객체 부분의 크기가 조절된 상태에서 사용자(200)의 시선이 화면 내에서 이동하면, 제어부(50)는 시선이 이동하는 방향으로 크기가 조절된 객체의 부분을 이동시켜 표시할 수 있다. 즉 객체(60)의 크기가 조절된 이후에, 제어부(50)는 사용자(200)의 시선을 계속적으로 추적한다. 그리고 제어부(50)는 시선의 이동 여부를 판단한다. 판단 결과 시선의 이동이 없는 경우, 제어부(50)는 시선이 집중된 부분의 객체(60)의 표시 상태를 유지한다. 그리고 판단 결과 시선의 이동이 있는 경우, 제어부(50)는 시선 이동 방향으로 크기가 조절된 객체(60)의 부분을 이동시켜 표시한다.On the other hand, if the line of sight of the user 200 moves within the screen while the size of the object portion where the line of sight is concentrated is adjusted, the controller 50 moves the portion of the scaled object in the direction in which the line of sight moves. can do. That is, after the size of the object 60 is adjusted, the controller 50 continuously tracks the eyes of the user 200. In addition, the controller 50 determines whether the line of sight moves. If there is no movement of the gaze as a result of the determination, the controller 50 maintains the display state of the object 60 where the gaze is concentrated. If there is a movement of the gaze as a result of the determination, the controller 50 moves and displays the portion of the object 60 whose size is adjusted in the gaze moving direction.

다음으로 제어부(50)가 휴대단말(100)과 사용자(200) 간의 거리 산출 및 시선을 인지하여 객체(60)의 크기를 조절하여 표시하는 과정을 설명하면 다음과 같다. 즉 제어부(50)는 거리감지부(40)로부터 감지신호를 수신한다. 제어부(50)는 수신한 감지신호를 기반으로 휴대단말(100)과 사용자(200) 간의 거리를 산출한다. 그리고 제어부(50)는 산출한 거리에 따라 객체(60)의 크기를 조절하여 표시부(30)에 표시하되, 객체(60)에서 사용자(200)의 시선이 집중되는 부분을 중심으로 객체(60)의 크기를 조절하여 표시한다. 이때 제어부(50)는 저장부(20)에서 산출된 거리에 따른 조절값을 추출하고, 추출한 조절값으로 객체(60)의 크기를 조절하여 표시할 수 있다. 아울러 제어부(50)는 저장부(20)에서 객체(60)의 종류에 따른 크기 조절 방식을 추출하고, 추출한 크기 조절 방식에 따라 시선이 집중되는 객체(60) 부분을 중심으로 객체(60)의 크기를 조절하여 표시한다.Next, the control unit 50 calculates the distance between the mobile terminal 100 and the user 200 and recognizes the gaze to adjust and display the size of the object 60 as follows. That is, the controller 50 receives the detection signal from the distance detector 40. The controller 50 calculates a distance between the mobile terminal 100 and the user 200 based on the received detection signal. In addition, the controller 50 adjusts the size of the object 60 according to the calculated distance and displays it on the display unit 30, but the object 60 is mainly focused on a portion where the user's 200 is focused on the object 60. Display by adjusting the size of. In this case, the controller 50 may extract an adjustment value according to the distance calculated by the storage unit 20, and adjust and display the size of the object 60 using the extracted adjustment value. In addition, the control unit 50 extracts the size adjustment method according to the type of the object 60 from the storage unit 20, and the object 60 of the object 60 is focused on the part of the object 60 where the eyes are focused according to the extracted size adjustment method. Resize and display.

제어부(50)는 시선이 집중되는 객체 부분을 중심으로 산출된 거리에 따라 객 체(60)를 조절하여 표시할 때 다음과 같이 다양한 방식으로 표시할 수 있다. 예컨대 산출된 거리가 임계값을 초과하면, 제어부(50)는 임계값에서의 기준 크기보다 객체(60)의 크기를 확대하여 표시한다. 산출된 거리가 임계값이면, 제어부(50)는 기준 크기로 객체(60)를 표시한다. 그리고 산출된 거리가 임계값 이하이면, 제어부(50)는 기준 크기보다 객체(60)의 크기를 축소하여 표시한다. 즉 휴대단말(100)이 사용자(200)에 대해서 임계값에 대응하는 거리 밖으로 이동하면, 제어부(50)는 화면에 표시된 객체(60)를 확대하여 표시한다. 반대의 경우 제어부(50)는 화면에 표시된 객체(60)를 축소하여 표시한다.The controller 50 may display the object 60 in various ways as described below when the object 60 is adjusted and displayed according to the distance calculated based on the object portion where the eyes are concentrated. For example, if the calculated distance exceeds the threshold, the controller 50 enlarges and displays the size of the object 60 rather than the reference size at the threshold. If the calculated distance is a threshold value, the controller 50 displays the object 60 at a reference size. If the calculated distance is less than or equal to the threshold value, the controller 50 reduces the size of the object 60 rather than the reference size and displays it. That is, when the mobile terminal 100 moves out of the distance corresponding to the threshold with respect to the user 200, the controller 50 enlarges and displays the object 60 displayed on the screen. In the opposite case, the controller 50 reduces and displays the object 60 displayed on the screen.

반대로 산출된 거리가 임계값을 초과하면, 제어부(50)는 임계값에서의 기준 크기보다 객체(60)의 크기를 축소하여 표시한다. 산출된 거리가 임계값이면, 제어부(50)는 기준 크기로 객체(60)를 표시한다. 그리고 산출된 거리가 임계값 이하이면, 제어부(50)는 기준 크기보다 객체(60)의 크기를 확대하여 표시한다. 즉 휴대단말(100)이 사용자(200)에 대해서 임계값에 대응하는 거리 밖으로 이동하면, 제어부(50)는 화면에 표시된 객체(60)를 축소하여 표시한다. 반대의 경우 제어부(50)는 화면에 표시된 객체(60)를 확대하여 표시한다.On the contrary, if the calculated distance exceeds the threshold, the controller 50 reduces the size of the object 60 and displays the size smaller than the reference size at the threshold. If the calculated distance is a threshold value, the controller 50 displays the object 60 at a reference size. If the calculated distance is less than or equal to the threshold value, the controller 50 enlarges and displays the size of the object 60 rather than the reference size. That is, when the mobile terminal 100 moves out of the distance corresponding to the threshold with respect to the user 200, the controller 50 reduces and displays the object 60 displayed on the screen. In the opposite case, the controller 50 enlarges and displays the object 60 displayed on the screen.

또는 산출된 거리가 임계값 이상이면, 제어부(50)는 임계값에서의 객체(60)의 크기를 유지한다. 그리고 산출된 거리가 임계값 이하이면, 제어부(50)는 객체(60)의 크기를 조절하여 표시한다. 즉 휴대단말(100)이 임계값에 대응하는 임계거리 밖으로 이동하면, 제어부(50)는 객체(60)를 일정 크기로 표시한다. 휴대단말(100)이 임계거리 안쪽으로 이동하면, 제어부(50)는 객체(60)의 크기를 조절하여 표시한다.Alternatively, if the calculated distance is greater than or equal to the threshold, the controller 50 maintains the size of the object 60 at the threshold. If the calculated distance is less than or equal to the threshold value, the controller 50 adjusts and displays the size of the object 60. That is, when the mobile terminal 100 moves out of the threshold distance corresponding to the threshold value, the controller 50 displays the object 60 at a predetermined size. When the mobile terminal 100 moves inside the critical distance, the controller 50 adjusts and displays the size of the object 60.

또는 산출된 거리가 임계값 이상이면, 제어부(50)는 객체(60)의 크기를 조절하여 표시한다. 그리고 산출된 거리가 임계값 이하이면, 제어부(50)는 임계값에서의 객체(60)의 크기를 유지한다. 즉 휴대단말(100)이 임계값에 대응하는 임계거리 안쪽으로 이동하면, 제어부(50)는 객체(60)를 일정 크기로 표시한다. 휴대단말(100)이 임계거리 밖으로 이동하면, 제어부(50)는 객체(60)의 크기를 조절하여 표시한다.Alternatively, if the calculated distance is greater than or equal to the threshold value, the controller 50 adjusts and displays the size of the object 60. If the calculated distance is less than or equal to the threshold, the controller 50 maintains the size of the object 60 at the threshold. That is, when the mobile terminal 100 moves inside the threshold distance corresponding to the threshold value, the controller 50 displays the object 60 at a predetermined size. When the mobile terminal 100 moves out of the critical distance, the controller 50 adjusts and displays the size of the object 60.

이때 임계값은 일반적으로 휴대단말(100)을 사용할 때의 휴대단말(100)과 사용자(200) 간의 거리를 고려하여 설정될 수 있다. 일반적인 사용자(200)가 휴대단말(100)을 사용할 때, 휴대단말(100)과 사용자(200) 간의 거리는 10 내지 60cm 정도이다. 따라서 임계값은 10 내지 60cm 사이의 값으로 설정될 수 있으며, 사용자(200)에 의해 설정되거나 디폴트로 설정될 수 있다. 여기서 임계값은 하나의 예시에 불과하며, 사용자(200)에 따라서 10cm 이하 또는 60cm 이상으로 설정될 수도 있다.In this case, the threshold value may be generally set in consideration of the distance between the mobile terminal 100 and the user 200 when using the mobile terminal 100. When the general user 200 uses the mobile terminal 100, the distance between the mobile terminal 100 and the user 200 is about 10 to 60 cm. Therefore, the threshold may be set to a value between 10 and 60 cm, and may be set by the user 200 or set as a default. Here, the threshold is only one example and may be set to 10 cm or less or 60 cm or more depending on the user 200.

제어부(50)는 산출된 거리에 비례하게 객체(60)의 크기를 조절하여 표시할 수 있다. 예컨대 제어부(50)는 산출된 거리에 연속적으로 또는 단계적으로 비례하게 객체(60)의 크기를 확대하거나 축소할 수 있다.The controller 50 may adjust and display the size of the object 60 in proportion to the calculated distance. For example, the controller 50 may enlarge or reduce the size of the object 60 continuously or stepwise in proportion to the calculated distance.

물론 휴대단말(100)은 객체(60)를 확대하거나 축소할 때, 시선이 집중된 객체 부분을 중심으로 객체(60)를 확대하거나 축소한다. 휴대단말(100)은 산출된 거리에 따라 시선이 집중된 객체 부분을 화면의 중심 쪽으로 이동시키면서 객체(60) 를 확대하거나 축소할 수 있다. 또는 휴대단말(100)은 시선이 집중된 객체 부분을 화면의 중심 쪽으로 이동시킨 이후에 객체(60)를 확대하거나 축소할 수도 있다. 그 외 휴대단말(100)은 거리 및 시선 인지를 통하여 다양한 방식으로 시선이 집중된 객체 부분을 중심으로 산출된 거리에 따라 객체(60)를 확대하거나 축소할 수 있다.Of course, when the mobile terminal 100 enlarges or reduces the object 60, the mobile terminal 100 enlarges or reduces the object 60 around the object portion where the eyes are concentrated. The mobile terminal 100 may enlarge or reduce the object 60 while moving the object portion where the gaze is concentrated toward the center of the screen according to the calculated distance. Alternatively, the mobile terminal 100 may enlarge or reduce the object 60 after moving the object portion where the gaze is concentrated toward the center of the screen. In addition, the mobile terminal 100 may enlarge or reduce the object 60 according to the distance calculated based on the object portion where the gaze is concentrated in various ways through distance and gaze recognition.

이와 같이 본 발명의 실시예에 따른 휴대단말(100)은 사용자(200)와 휴대단말(100) 간의 거리 및 시선 인지를 통하여 시선이 집중되는 객체의 부분을 중심으로 객체(60)의 크기를 조절하여 화면에 표시하기 때문에, 사용자(200)는 입력부(10)를 별도로 조작하지 않더라도 휴대단말(100)을 자신에 대해서 전후로 이동시키는 간단한 제스처를 통하여 화면에 표시되는 객체(60)를 간편하게 확대하거나 축소할 수 있다. 즉 사용자(200)는 통상적으로 확대나 축소를 원하는 부분을 응시하게 되며, 휴대단말(100)은 사용자(200)가 응시하는 객체 부분을 중심으로 객체(60)를 확대하거나 축소하기 때문에, 사용자(200)가 원하는 부분을 신속하게 확대 및 축소할 수 있다. 그리고 사용자(200)는 한 손으로 휴대단말(100)을 잡은 상태에서 휴대단말(100)을 자신에 대해서 전후로 이동시키는 간단한 제스처를 통하여 화면에 표시되는 객체(60)를 확대하거나 축소할 수 있기 때문에, 본 발명의 실시예에 따른 휴대단말(100)은 사용자(200)에게 한 손으로도 휴대단말(100)을 안정적으로 조작할 수 있는 조작 편의성을 제공할 수 있다.As described above, the mobile terminal 100 according to an embodiment of the present invention adjusts the size of the object 60 based on the part of the object in which the gaze is concentrated through the distance between the user 200 and the mobile terminal 100 and the gaze recognition. Since the user 200 displays the screen on the screen, the user 200 easily enlarges or reduces the object 60 displayed on the screen through a simple gesture of moving the mobile terminal 100 back and forth with respect to the user even without separately operating the input unit 10. can do. That is, the user 200 typically gazes at a portion that the user wants to enlarge or reduce, and the mobile terminal 100 enlarges or reduces the object 60 based on the object portion gazed by the user 200. 200 can quickly enlarge and reduce the desired portion. In addition, since the user 200 may enlarge or reduce the object 60 displayed on the screen through a simple gesture of moving the mobile terminal 100 back and forth with respect to the user while holding the mobile terminal 100 with one hand. In addition, the mobile terminal 100 according to the embodiment of the present invention may provide a user convenience to the user 200 to stably operate the mobile terminal 100 with one hand.

이와 같은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말(100)의 객체 표시 방법의 일 예에 대해서 도 1 내지 도 7을 참조하여 설명하면 다음과 같다. 여기서 도 3은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말(100)의 객체 표시 방법의 일 예를 보여주는 흐름도이다. 도 4는 도 3의 휴대단말(100)과 사용자(200) 간의 변위를 산출하는 단계에 따른 상세 흐름도이다. 도 5는 도 3의 시선 추적 단계에 따른 상세 흐름도이다. 도 6은 도 3의 시선이 집중되는 객체 부분을 판단하는 단계에 따른 상세 흐름도이다. 그리고 도 7은 도 3의 산출된 변위에 따라 객체(60)의 크기를 조절하여 표시하는 단계에 따른 상세 흐름도이다.An example of an object display method of the mobile terminal 100 using distance and gaze recognition according to an exemplary embodiment of the present invention will be described with reference to FIGS. 1 to 7. 3 is a flowchart illustrating an example of an object display method of the mobile terminal 100 using distance and gaze recognition according to an exemplary embodiment of the present invention. 4 is a detailed flowchart according to the step of calculating the displacement between the mobile terminal 100 and the user 200 of FIG. FIG. 5 is a detailed flowchart according to the eye tracking step of FIG. 3. FIG. 6 is a detailed flowchart according to a step of determining an object part where the eyes of FIG. 3 are concentrated. FIG. 7 is a detailed flowchart according to the step of adjusting and displaying the size of the object 60 according to the calculated displacement of FIG. 3.

먼저 S71단계에서 휴대단말(100)은 객체(60)를 표시부(30)의 화면에 표시한다. 예컨대 입력부(10)를 통한 사용자(200)의 선택 신호가 입력되면, 휴대단말(100)은 화면에 객체(60)를 표시할 수 있다.First, in step S71, the mobile terminal 100 displays the object 60 on the screen of the display unit 30. For example, when a selection signal of the user 200 is input through the input unit 10, the mobile terminal 100 may display the object 60 on the screen.

다음으로 S73단계에서 휴대단말(100)은 거리감지부(40)를 통하여 사용자(200)를 감지한다. 즉 화면에 객체(60)가 표시되면, 제어부(50)는 거리감지부(40)를 활성화시킨다. 거리감지부(40)가 사용자(200)를 감지하면, 감지신호를 제어부(50)로 출력한다. 이때 제어부(50)은 화면에 객체(60)가 표시되면 자동으로 또는 사용자(200)의 요청 신호에 따라 거리감지부(40)를 활성화할 수 있다. 사용자(200)의 요청 신호는 키입력, 음성입력 또는 제스처 입력 등을 통하여 입력될 수 있다. 그리고 거리감지부(40)는 주기적으로 또는 연속적으로 감지신호를 제어부(50)로 출력할 수 있다.Next, the mobile terminal 100 detects the user 200 through the distance detecting unit 40 in step S73. That is, when the object 60 is displayed on the screen, the controller 50 activates the distance detector 40. When the distance detector 40 detects the user 200, the distance detector 40 outputs the detection signal to the controller 50. In this case, the controller 50 may automatically activate the distance detector 40 when the object 60 is displayed on the screen or in response to a request signal from the user 200. The request signal of the user 200 may be input through key input, voice input, or gesture input. In addition, the distance detecting unit 40 may output the detection signal to the controller 50 periodically or continuously.

한편으로 휴대단말(100)은 사용자(200)의 선택 신호에 따라 사용자(200)와 휴대단말(100) 간의 거리에 관계없이 일정 크기로 객체(60)를 표시할 수 있다. 예컨대 사용자(200)의 선택 신호에 따라 거리감지부(40)를 비활성 상태로 전환시키 면, 휴대단말(100)은 사용자(200)와 휴대단말(100) 간의 거리에 관계없이 일정 크기로 객체(60)를 표시한다. 또한 사용자(200)의 선택 신호에 따라 객체 표시 모드의 실행을 중지시키면, 휴대단말(100)은 거리감지부(40)로부터 감지신호를 수신하더라도 객체(60)를 일정 크기로 표시한다.Meanwhile, the mobile terminal 100 may display the object 60 at a predetermined size regardless of the distance between the user 200 and the mobile terminal 100 according to the selection signal of the user 200. For example, when the distance detecting unit 40 is switched to an inactive state according to a selection signal of the user 200, the mobile terminal 100 may have an object 60 with a predetermined size regardless of the distance between the user 200 and the mobile terminal 100. ). In addition, when the execution of the object display mode is stopped according to the selection signal of the user 200, the mobile terminal 100 displays the object 60 at a predetermined size even when the sensing signal is received from the distance detecting unit 40.

다음으로 S75단계에서 휴대단말(100)은 수신한 감지신호를 기반으로 사용자(200)와 휴대단말(100) 간의 변위를 산출한다. 이때 휴대단말(100)은 사용자(200)와 휴대단말(100) 간의 변위를 카메라 비전 방식, 적외선 방식, 자이로-가속도 방식 및 초음파 방식 중 적어도 하나의 방식을 이용하여 산출할 수 있다.Next, in operation S75, the mobile terminal 100 calculates a displacement between the user 200 and the mobile terminal 100 based on the received detection signal. In this case, the mobile terminal 100 may calculate the displacement between the user 200 and the mobile terminal 100 using at least one of a camera vision method, an infrared method, a gyro-acceleration method, and an ultrasound method.

S75단계에 따른 변위를 산출하는 단계를 구체적으로 설명하면 다음과 같다. 먼저 S751단계에서 휴대단말(100)은 거리감지부(40)를 통하여 수신한 제1 감지신호로부터 휴대단말(100)과 사용자(200) 간의 제1 거리를 산출한다. 다음으로 S753단계에서 휴대단말(100)은 거리감지부(40)를 통하여 휴대단말(100)과 사용자(200) 간의 위치 변화에 따른 제2 감지신호를 수신하고, 수신한 제2 감지신호를 기반으로 휴대단말(100)과 사용자(200) 간의 제2 거리를 산출한다. 그리고 S755단계에서 휴대단말(100)은 산출한 제2 거리 및 제1 거리의 차이로 변위를 산출할 수 있다.Referring to the step of calculating the displacement according to step S75 in detail. First, in operation S751, the mobile terminal 100 calculates a first distance between the mobile terminal 100 and the user 200 from the first detection signal received through the distance detection unit 40. Next, in operation S753, the mobile terminal 100 receives a second detection signal according to a change in position between the mobile terminal 100 and the user 200 through the distance detection unit 40, and based on the received second detection signal. The second distance between the mobile terminal 100 and the user 200 is calculated. In operation S755, the mobile terminal 100 may calculate the displacement based on the difference between the calculated second distance and the first distance.

한편 휴대단말(100)은 S71단계를 수행한 이후에 S81단계 내지 S85단계에 따른 시선 인지 과정을 수행한다. 먼저 S81단계에서 휴대단말(100)은 카메라부(45)를 통하여 사용자(200)의 얼굴을 포함한 사용자 영상을 촬영한다.On the other hand, the mobile terminal 100 performs a gaze recognition process according to steps S81 to S85 after performing step S71. First, in step S81, the mobile terminal 100 captures a user image including the face of the user 200 through the camera unit 45.

다음으로 S83단계에서 휴대단말(100)은 촬영한 사용자 영상을 분석하여 사용자(200)의 시선을 실시간으로 추적한다. S83단계를 도 5를 참조하여 상세히 설명하 면 다음과 같다. 먼저 S831단계에서 휴대단말(100)은 촬영된 영상에서 얼굴 영상을 추출한다. 이어서 S833단계에서 휴대단말(100)은 추출한 얼굴 영상에서 눈을 추출한다. 그리고 S835단계에서 휴대단말(100)은 추출한 눈의 위치 변화로부터 사용자(200)의 시선을 추적한다. 예컨대 휴대단말(100)은 촬영한 영상에서 사용자(200)의 얼굴 영상을 PCA, FDA, ICA 중에 하나를 이용하여 추출할 수 있다. 휴대단말(100)은 추출한 얼굴 영상에서 눈을 adaboost 또는 SVM을 이용하여 추출할 수 있다. 그리고 휴대단말(100)은 추출한 눈의 위치변화로부터 사용자(200)의 시선을 추적할 수 있다.Next, in operation S83, the mobile terminal 100 analyzes the captured user image to track the gaze of the user 200 in real time. A detailed description of step S83 is given below with reference to FIG. 5. First, in step S831, the mobile terminal 100 extracts a face image from the captured image. In operation S833, the mobile terminal 100 extracts eyes from the extracted face image. In operation S835, the mobile terminal 100 tracks the gaze of the user 200 from the extracted eye position change. For example, the mobile terminal 100 may extract a face image of the user 200 from one of the photographed images using one of PCA, FDA, and ICA. The mobile terminal 100 may extract an eye from the extracted face image using adaboost or SVM. The mobile terminal 100 may track the gaze of the user 200 from the positional change of the extracted eye.

다음으로 S85단계에서 휴대단말(100)은 시선이 집중되는 객체 부분을 판단한다. S85단계를 도 6를 참조하여 상세히 설명하면 다음과 같다.Next, in operation S85, the mobile terminal 100 determines an object part where the eyes are concentrated. The operation S85 will be described in detail with reference to FIG. 6 as follows.

먼저 S851단계에서 휴대단말(100)은 화면 상에서 시선이 정지하는 시간을 산출한다. 다음으로 S853단계에서 휴대단말(100)은 산출된 시간이 설정된 임계시간을 초과하는 지의 여부를 판단한다.First, in step S851, the mobile terminal 100 calculates a time for stopping the gaze on the screen. Next, in step S853, the mobile terminal 100 determines whether the calculated time exceeds the set threshold time.

S853단계의 판단 결과 초과하지 않는 경우, 휴대단말(100)은 S851단계를 수행한다. 이때 임계시간을 초과하기 전에 시선이 이동하는 경우, 휴대단말(100)은 객체의 현재 표시 상태를 유지한다.If the determination result of step S853 does not exceed, the mobile terminal 100 performs step S851. At this time, if the line of sight moves before exceeding the threshold time, the mobile terminal 100 maintains the current display state of the object.

그리고 S853단계의 판단 결과 초과한 경우, S855단계에서 휴대단말(100)은 사용자(200)가 시선을 집중하고 있는 것으로 판단하고 시선이 집중된 객체(60)의 위치를 산출한다. 이때 휴대단말(100)은 추출한 눈의 영상정보로부터 시선 방향을 산출한다. 휴대단말(100)은 산출한 시선 방향과 화면과의 교점으로부터 화면에 대 한 눈의 상대적 위치 정보를 산출하여 시선이 집중된 객체 부분의 위치를 산출할 수 있다. 또는 휴대단말(100)은 적외선 센서를 이용하여 화면에 대한 눈의 상대적 위치 정보를 산출하여 시선이 집중된 객체 부분의 위치를 산출할 수 있다.When the determination result of step S853 is exceeded, in step S855, the mobile terminal 100 determines that the user 200 is focusing the gaze, and calculates the position of the object 60 where the gaze is focused. At this time, the mobile terminal 100 calculates the gaze direction from the extracted image information of the eye. The mobile terminal 100 may calculate the position of the object where the gaze is concentrated by calculating the relative position information of the eye with respect to the screen from the intersection of the calculated gaze direction and the screen. Alternatively, the mobile terminal 100 may calculate the position of the object portion where the eyes are concentrated by calculating the relative position information of the eye with respect to the screen using the infrared sensor.

다음으로 S77단계에서 휴대단말(100)은 시선이 집중된 객체 부분을 중심으로 산출된 변위에 따라 객체(60) 크기를 조절하여 표시부(30)에 표시한다. S77단계를 도 7을 참조하여 구체적으로 설명하면 다음과 같다. 먼저 S771단계에서 휴대단말(100)은 산출된 변위의 절대값이 임계값 이상 인지의 여부를 판단한다.Next, in operation S77, the mobile terminal 100 adjusts the size of the object 60 according to the displacement calculated based on the object portion where the gaze is concentrated and displays it on the display unit 30. The step S77 will be described in detail with reference to FIG. 7 as follows. First, in step S771, the mobile terminal 100 determines whether the absolute value of the calculated displacement is greater than or equal to the threshold value.

S771단계의 판단 결과 임계값 이상이면, S773단계에서 휴대단말(100)은 다시 산출된 변위가 양의 값을 갖는 지 음의 값을 갖는 지의 여부를 판단한다.If the determination result of step S771 is equal to or greater than the threshold value, in step S773, the mobile terminal 100 determines whether the displacement calculated again has a positive value or a negative value.

S773단계의 판단 결과 음의 값을 갖는 경우, S775단계에서 휴대단말(100)은 객체(60)를 확대하여 표시한다. 즉 휴대단말(100)이 사용자(200)쪽으로 이동하면, 휴대단말(100)은 객체(60)를 확대하여 표시한다. 휴대단말(100)은 산출된 변위의 절대값에 비례하게 객체(60)의 크기를 확대할 수 있다.When the determination result in step S773 has a negative value, in step S775, the mobile terminal 100 enlarges and displays the object 60. That is, when the mobile terminal 100 moves toward the user 200, the mobile terminal 100 enlarges and displays the object 60. The mobile terminal 100 may enlarge the size of the object 60 in proportion to the calculated absolute value of the displacement.

S773단계의 판단 결과 양의 값을 갖는 경우, S777단계에서 휴대단말(100)은 객체(60)를 축소하여 표시한다. 즉 휴대단말(100)이 사용자(200)에서 멀어지면, 휴대단말(100)은 객체(60)를 축소하여 표시한다. 휴대단말(100)은 산출된 변위의 절대값에 비례하게 객체(60)의 크기를 축소할 수 있다.If the determination result in step S773 has a positive value, in step S777, the mobile terminal 100 displays the object 60 in a reduced size. That is, when the mobile terminal 100 moves away from the user 200, the mobile terminal 100 reduces the object 60 and displays it. The mobile terminal 100 may reduce the size of the object 60 in proportion to the calculated absolute value of the displacement.

물론 S775단계 및 S777단계에서 휴대단말(100)은 객체(60)를 확대하거나 축소할 때, 시선이 집중된 객체 부분을 중심으로 객체(60)를 확대하거나 축소한다.Of course, in steps S775 and S777, when the mobile terminal 100 enlarges or reduces the object 60, the mobile terminal 100 enlarges or reduces the object 60 around the object portion where the eyes are concentrated.

한편으로 S771단계의 판단 결과 임계값 이하이면, S779단계에서 휴대단 말(100)은 객체(60)의 크기를 유지한다. 즉 휴대단말(100)과 사용자(200) 간의 거리 변동이 거의 없는 경우, 휴대단말(100)은 화면에 표시된 객체(60)의 표시 상태를 유지한다.On the other hand, if the determination result of step S771 is less than the threshold value, in step S779 the mobile terminal 100 maintains the size of the object (60). That is, when there is little variation in the distance between the mobile terminal 100 and the user 200, the mobile terminal 100 maintains the display state of the object 60 displayed on the screen.

다음으로 S87단계에서 휴대단말(100)은 객체(60)의 크기가 조절된 이후에 시선의 이동이 있는 지의 여부를 판단한다. 즉 객체(60)의 크기가 조절된 이후에, 휴대단말(100)은 사용자(200)의 시선을 계속적으로 추적한다. 그리고 휴대단말(100)은 시선의 이동 여부를 판단한다.Next, in step S87, the mobile terminal 100 determines whether there is a movement of the gaze after the size of the object 60 is adjusted. That is, after the size of the object 60 is adjusted, the mobile terminal 100 continuously tracks the eyes of the user 200. The mobile terminal 100 determines whether the gaze moves.

S87단계에서의 판단결과 시선의 이동이 없는 경우, 휴대단말(100)은 시선이 집중된 부분의 객체(60)의 표시 상태를 유지한다.If there is no movement of the gaze as a result of the determination in step S87, the mobile terminal 100 maintains the display state of the object 60 where the gaze is concentrated.

그리고 S87단계에서의 판단결과 시선의 이동이 있는 경우, S89단계에서 휴대단말(100)은 시선 이동 방향으로 크기가 조절된 객체(60)의 부분을 이동시켜 표시한다.If there is a movement of the gaze as a result of the determination in step S87, the mobile terminal 100 moves and displays a portion of the object 60 whose size is adjusted in the gaze moving direction in step S89.

따라서 사용자(200)는 객체의 특정 영역을 주시한 이후에, 시선 이동을 통하여 화면에 표시된 객체(60)의 각 부분의 내용을 확인할 수 있다.Accordingly, after the user 200 looks at a specific area of the object, the user 200 may check the contents of each part of the object 60 displayed on the screen by moving the gaze.

한편 본 발명의 실시예에 따른 휴대단말(100)의 객체 표시 방법의 일 예에서는 S775단계에서 객체(60)의 크기를 확대하고, S777단계에서 객체(60)의 크기를 축소하는 예를 개시하였지만, 상기한 실시예에 한정되는 것은 아니다. 예컨대 S775단계에서 객체(60)의 크기를 축소하고, S777단계에서 객체(60)의 크기를 확대할 수도 있다.Meanwhile, in the example of the object display method of the mobile terminal 100 according to the embodiment of the present invention, an example of expanding the size of the object 60 in operation S775 and reducing the size of the object 60 in operation S777 is disclosed. It is not limited to the above embodiment. For example, the size of the object 60 may be reduced in step S775, and the size of the object 60 may be enlarged in step S777.

본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말(100)의 객체 표시 방법의 다른 예에 대해서 도 1, 도 2, 도 8 및 도 9를 참조하여 설명하면 다음과 같다. 여기서 도 8은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말(100)의 객체 표시 방법의 다른 예를 보여주는 흐름도이다. 그리고 도 9는 도 8의 시선이 집중되는 객체 부분을 중심으로 산출된 거리에 따라 객체(60)의 크기를 조절하여 표시하는 단계에 따른 상세 흐름도이다.Another example of an object display method of the mobile terminal 100 using distance and gaze recognition according to an exemplary embodiment of the present invention will be described with reference to FIGS. 1, 2, 8, and 9 as follows. 8 is a flowchart illustrating another example of an object display method of the mobile terminal 100 using distance and gaze recognition according to an exemplary embodiment of the present invention. FIG. 9 is a detailed flowchart according to a step of adjusting and displaying the size of the object 60 according to the distance calculated based on the object portion where the eyes of FIG. 8 are concentrated.

먼저 S71단계에서 휴대단말(100)은 객체(60)를 표시부(30)의 화면에 표시한다. 이어서 S73단계에서 휴대단말(100)은 거리감지부(30)를 통하여 사용자(200)를 감지한 감지신호를 수신한다.First, in step S71, the mobile terminal 100 displays the object 60 on the screen of the display unit 30. Subsequently, in step S73, the mobile terminal 100 receives a detection signal that detects the user 200 through the distance detection unit 30.

다음으로 S76단계에서 휴대단말(100)은 수신한 감지신호를 기반으로 사용자(200)와 휴대단말(100) 간의 거리를 산출한다. 이때 휴대단말(100)은 사용자(200)와 휴대단말(100) 간의 거리를 카메라 비전 방식, 적외선 방식 및 초음파 방식 중 적어도 하나의 방식을 이용하여 산출할 수 있다.Next, in step S76, the mobile terminal 100 calculates a distance between the user 200 and the mobile terminal 100 based on the received detection signal. In this case, the mobile terminal 100 may calculate the distance between the user 200 and the mobile terminal 100 using at least one of a camera vision method, an infrared method, and an ultrasonic method.

한편 휴대단말(100)은 S71단계를 수행한 이후에 S81단계 내지 S85단계에 따른 시선 인지 과정을 수행한다. 휴대단말(100)은 시선 인지 과정을 통하여 사용자(200)의 시선이 집중되는 객체 부분을 판단한다. S81단계 내지 S85단계는 전술하였기 때문에, 상세한 설명은 생략한다.On the other hand, the mobile terminal 100 performs a gaze recognition process according to steps S81 to S85 after performing step S71. The mobile terminal 100 determines an object part where the gaze of the user 200 is concentrated through the gaze recognition process. Since steps S81 to S85 have been described above, detailed description thereof will be omitted.

그리고 S78단계에서 휴대단말(100)은 시선이 집중되는 객체 부분을 중심으로 산출된 거리에 따라 객체(60) 크기를 조절하여 표시부(30)에 표시한다. S78단계를 도 9를 참조하여 구체적으로 설명하면 다음과 같다. 먼저 S781단계에서 휴대단말(100)은 산출된 거리와 임계값을 비교한다.In operation S78, the mobile terminal 100 adjusts the size of the object 60 according to the distance calculated based on the object portion where the eyes are concentrated, and displays the size on the display unit 30. A detailed operation of step S78 will be described below with reference to FIG. 9. First, in step S781, the mobile terminal 100 compares the calculated distance and the threshold value.

S781단계의 비교 결과 산출된 거리가 임계값 이하인 경우, S785단계에서 휴대단말(100)은 객체(60)의 크기를 확대한다. 즉 휴대단말(100)이 사용자(200)쪽으로 이동하면, 휴대단말(100)은 객체(60)의 크기를 확대하여 표시한다. 이때 휴대단말(100)은 산출된 거리에 비례하게 객체(60)의 크기를 확대할 수 있다. 또는 휴대단말(100)은 임계값에서의 기준 크기보다 객체(60)의 크기를 확대할 수 있다.When the distance calculated as a result of the comparison in step S781 is less than or equal to the threshold value, in step S785, the mobile terminal 100 enlarges the size of the object 60. That is, when the mobile terminal 100 moves toward the user 200, the mobile terminal 100 enlarges and displays the size of the object 60. In this case, the mobile terminal 100 may enlarge the size of the object 60 in proportion to the calculated distance. Alternatively, the mobile terminal 100 may enlarge the size of the object 60 rather than the reference size at the threshold.

S781단계의 비교 결과 산출된 거리가 임계값을 초과하는 경우, S787단계에서 휴대단말(100)은 객체(60) 크기를 축소할 수 있다. 즉 휴대단말(100)이 사용자(200)에서 멀어지면, 휴대단말(100)은 객체(60) 크기를 축소하여 표시한다. 이때 휴대단말(100)은 산출된 거리에 비례하게 객체(60)의 크기를 축소할 수 있다. 또는 휴대단말(100)은 임계값에서의 기준 크기보다 객체(60)의 크기를 축소할 수 있다.When the distance calculated as a result of the comparison in step S781 exceeds the threshold, in step S787, the mobile terminal 100 may reduce the size of the object 60. That is, when the mobile terminal 100 moves away from the user 200, the mobile terminal 100 reduces the size of the object 60 and displays it. In this case, the mobile terminal 100 may reduce the size of the object 60 in proportion to the calculated distance. Alternatively, the mobile terminal 100 may reduce the size of the object 60 rather than the reference size at the threshold.

다음으로, S781단계의 비교 결과 산출된 거리가 임계값과 동일한 경우, S789단계에서 휴대단말(100)은 객체(60) 크기를 유지한다. 즉 휴대단말(100)과 사용자(200) 간의 거리 변동이 거의 없는 경우, 휴대단말(100)은 화면에 표시된 객체(60)의 크기 상태를 유지한다. 이때 휴대단말(100)은 임계값에서의 기준 크기로 객체(60)를 표시할 수 있다.Next, when the distance calculated as a result of the comparison in step S781 is equal to the threshold value, the mobile terminal 100 maintains the size of the object 60 in step S789. That is, when there is little variation in the distance between the mobile terminal 100 and the user 200, the mobile terminal 100 maintains the size of the object 60 displayed on the screen. In this case, the mobile terminal 100 may display the object 60 as a reference size at the threshold.

물론 S785단계, S787단계 및 S789단계에서 휴대단말(100)은 객체(60)를 확대하거나 축소할 때, 시선이 집중된 객체 부분을 중심으로 객체(60)를 확대하거나 축소한다.Of course, in steps S785, S787, and S789, when the mobile terminal 100 enlarges or reduces the object 60, the mobile terminal 100 enlarges or reduces the object 60 around the object portion where the eyes are concentrated.

그리고 S78단계 이후에 S87단계 및 S89단계가 수행되며, S87단계 및 S89단계는 도 3에 개시된 단계와 동일하게 진행되기 때문에, 상세한 설명은 생략한다.After step S78 and step S87 and step S89 are performed, and steps S87 and S89 proceed in the same manner as the step disclosed in Figure 3, a detailed description thereof will be omitted.

한편 본 발명의 실시예에 따른 휴대단말(100)의 객체 표시 방법의 다른 예에서는 S785단계에서 객체(60)의 크기를 확대하고, S787단계에서 객체(60)의 크기를 축소하는 예를 개시하였지만, 상기한 실시예에 한정되는 것은 아니다. 예컨대 S785단계에서 객체(60)의 크기를 축소하고, S787단계에서 객체(60)의 크기를 확대할 수도 있다.Meanwhile, in another example of the method for displaying an object of the mobile terminal 100 according to an embodiment of the present invention, an example of expanding the size of the object 60 in step S785 and reducing the size of the object 60 in step S787 is disclosed. It is not limited to the above embodiment. For example, the size of the object 60 may be reduced in step S785, and the size of the object 60 may be enlarged in step S787.

이와 같은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말(100)의 객체 표시 방법에 대해서 도 10 및 도 11의 화면 예시도를 참조하여 설명하면 다음과 같다. 여기서 도 10 및 도 11은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말(100)의 객체 표시 방법에 따른 화면 예시도이다. 여기서 도면부호 90은 시선이 집중되는 부분을 가상으로 도시한 것으로, 실제 표시될 수도 있고 표시되지 않을 수도 있다.The object display method of the mobile terminal 100 using distance and gaze recognition according to an exemplary embodiment of the present invention will be described with reference to the screen examples of FIGS. 10 and 11 as follows. 10 and 11 are diagrams illustrating screens according to an object display method of the mobile terminal 100 using distance and gaze recognition according to an exemplary embodiment of the present invention. Here, reference numeral 90 denotes a portion in which the line of sight is concentrated, and may or may not be actually displayed.

도 10을 참조하면, 사용자(200)가 휴대단말(100)을 도면부호 91의 화살표 방향으로, 즉 사용자(200)쪽으로 이동시키면, 휴대단말(100)은 표시부(30)에 표시된 객체(60)를 확대하여 표시한다. 이때 사용자(200)가 표시부(30)에 표시된 객체(60) 중에서 자동차 부분에 시선을 집중하는 경우, 휴대단말(100)은 자동차 부분을 중심으로 객체(60)를 확대한다.Referring to FIG. 10, when the user 200 moves the mobile terminal 100 in the direction of an arrow 91, that is, toward the user 200, the mobile terminal 100 may display the object 60 displayed on the display unit 30. Zoom in and display. In this case, when the user 200 focuses the gaze on the automobile part among the objects 60 displayed on the display unit 30, the mobile terminal 100 enlarges the object 60 around the automobile part.

반면에 사용자(200)가 휴대단말(100)을 도면부호 93의 방향으로, 즉 사용자(200)쪽에서 멀어지는 쪽으로 이동시키면, 휴대단말(100)은 표시부(30)에 표시된 객체(60)를 축소하여 표시한다.On the other hand, when the user 200 moves the mobile terminal 100 in the direction of reference numeral 93, that is, away from the user 200, the mobile terminal 100 reduces the object 60 displayed on the display unit 30. Display.

한편 도 10에서는 휴대단말(100)이 사용자(200)쪽으로 이동하면 사용자(200) 의 시선이 집중되는 객체 부분을 중심으로 객체(60)를 확대하고, 사용자(200)쪽에서 멀어지면 객체(60)를 축소하는 예를 개시하였지만 이것에 한정되는 것은 아니다. 즉 반대로 휴대단말(100)이 사용자(200)쪽으로 이동하면 사용자(200)의 시선이 집중되는 객체 부분을 중심으로 객체(60)를 축소하고, 사용자(200)쪽에서 멀어지면 객체(60)를 확대할 수도 있다.Meanwhile, in FIG. 10, when the mobile terminal 100 moves toward the user 200, the object 60 is enlarged around the object portion where the eyes of the user 200 are concentrated, and when the mobile terminal 100 moves away from the user 200, the object 60 is moved away from the user 200. An example of narrowing down has been disclosed, but is not limited thereto. In other words, when the mobile terminal 100 moves toward the user 200, the mobile terminal 100 reduces the object 60 around the object portion where the eyes of the user 200 are focused, and when the mobile terminal 100 moves away from the user 200, the object 60 is enlarged. You may.

그리고 휴대단말(100)을 사용자(200)쪽으로 이동시킨 상태에서, 도 10에 도시된 바와 같이 사용자(200)가 시선을 사람들이 있는 쪽으로 이동시키면, 휴대단말(100)은 도 11에 도시된 바와 같이 시선 이동 방향으로 크기가 조절된 객체(60)의 부분을 이동시켜 표시한다. 즉 사용자(200)는 휴대단말(100)을 자신쪽으로 이동시키는 간단한 제스처 및 시선 집중을 통하여 객체(60)의 특정 영역을 확대하고, 시선 이동을 통하여 확대된 객체(60)의 각 부분의 내용을 확인할 수 있다.In a state in which the mobile terminal 100 is moved toward the user 200, as shown in FIG. 10, when the user 200 moves the gaze toward people, the mobile terminal 100 may be configured as illustrated in FIG. 11. Likewise, the portion of the object 60 whose size is adjusted in the eye movement direction is moved and displayed. That is, the user 200 enlarges a specific area of the object 60 through simple gestures and eye focuses to move the mobile terminal 100 toward itself, and the contents of each part of the enlarged object 60 through eye movements. You can check it.

한편, 본 명세서와 도면에 개시된 본 발명의 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 것이다.On the other hand, the embodiments of the present invention disclosed in the specification and drawings are merely presented specific examples to aid understanding, and are not intended to limit the scope of the present invention. In addition to the embodiments disclosed herein, it is apparent to those skilled in the art that other modifications based on the technical idea of the present invention may be implemented.

본 발명은 휴대단말 및 그의 거리 및 시선 인지를 이용한 객체 표시 방법에 관한 것으로, 휴대단말은 사용자와 휴대단말 간의 거리 또는 변위에 따라 객체의 크기를 조절하여 화면에 표시하기 때문에, 사용자는 입력부를 별도로 조작하지 않 더라도 휴대단말을 자신에 대해서 전후로 이동시키는 간단한 제스처 및 시선 집중을 통하여 화면에 표시되는 객체 중에서 사용자의 시선이 집중되는 부분을 중심으로 객체를 간편하게 확대하거나 축소할 수 있고, 이로 인해 사용자는 한 손으로도 휴대단말을 안정적으로 조작하여 객체를 확대하거나 축소할 수 있는 조작 편의성을 제공받을 수 있다.The present invention relates to a mobile terminal and a method for displaying an object using the distance and gaze recognition thereof. Since the mobile terminal adjusts the size of the object and displays it on the screen according to the distance or displacement between the user and the mobile terminal, the user separately inputs the input unit. Even if you do not operate, the user can easily enlarge or reduce the object centered on the part where the user's eyes are focused among the objects displayed on the screen through simple gestures and eye focus that moves the mobile terminal back and forth with respect to the user. With one hand, the mobile terminal can be stably manipulated to provide convenience of operation to enlarge or reduce an object.

도 1은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용하여 객체를 표시하는 휴대단말의 사용 상태를 보여주는 도면이다.1 is a diagram illustrating a use state of a mobile terminal displaying an object using distance and gaze recognition according to an exemplary embodiment of the present invention.

도 2는 도 1의 휴대단말의 구성을 보여주는 블록도이다.2 is a block diagram illustrating a configuration of the mobile terminal of FIG. 1.

도 3은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말의 객체 표시 방법의 일 예를 보여주는 흐름도이다.3 is a flowchart illustrating an example of an object display method of a mobile terminal using distance and gaze recognition according to an exemplary embodiment of the present invention.

도 4는 도 3의 휴대단말과 사용자 간의 변위를 산출하는 단계에 따른 상세 흐름도이다.FIG. 4 is a detailed flowchart according to calculating a displacement between the mobile terminal and the user of FIG. 3.

도 5는 도 3의 시선 추적 단계에 따른 상세 흐름도이다.FIG. 5 is a detailed flowchart according to the eye tracking step of FIG. 3.

도 6은 도 3의 시선이 집중되는 객체 부분을 판단하는 단계에 따른 상세 흐름도이다.FIG. 6 is a detailed flowchart according to a step of determining an object part where the eyes of FIG. 3 are concentrated.

도 7은 도 3의 시선이 집중되는 부분을 중심으로 산출된 변위에 따라 객체의 크기를 조절하여 표시하는 단계에 따른 상세 흐름도이다.FIG. 7 is a detailed flowchart according to a step of adjusting and displaying the size of an object according to a displacement calculated based on a portion of the eye of FIG. 3.

도 8은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말의 객체 표시 방법의 다른 예를 보여주는 흐름도이다.8 is a flowchart illustrating another example of an object display method of a mobile terminal using distance and gaze recognition according to an exemplary embodiment of the present invention.

도 9는 도 8의 시선이 집중되는 부분을 중심으로 산출된 거리에 따라 객체의 크기를 조절하여 표시하는 단계에 따른 상세 흐름도이다.FIG. 9 is a detailed flowchart according to a step of displaying and adjusting the size of an object according to a distance calculated based on a portion of the eye of FIG. 8.

도 10 및 도 11은 본 발명의 실시예에 따른 거리 및 시선 인지를 이용한 휴대단말의 객체 표시 방법에 따른 화면 예시도이다.10 and 11 are screen views illustrating an object display method of a mobile terminal using distance and gaze recognition according to an exemplary embodiment of the present invention.

* 도면의 주요 부분에 대한 설명 *Description of the Related Art [0002]

10 : 입력부 20 : 저장부10: input unit 20: storage unit

30 : 표시부 40 : 거리감지부30: display unit 40: distance detection unit

45 : 카메라부 50 : 제어부45: camera unit 50: control unit

100 : 휴대단말 200 : 사용자100: mobile terminal 200: user

Claims

In the mobile terminal,

A display unit displaying an object on a screen;

At least one camera unit for photographing a user;

A distance detector for detecting a user of the portable terminal and outputting a detection signal;

Receiving the detection signal from the distance detection unit, calculating a displacement or distance between the mobile terminal and the user based on the received detection signal, receiving a user image photographed by the camera unit, and analyzing the user image A control unit which tracks the gaze of the user in real time and adjusts the size of the object based on the calculated displacement or distance based on the object part in which the gaze is concentrated during tracking of the gaze;

A mobile terminal comprising a.

The method of claim 1,

A storage unit for storing an adjustment value for adjusting the size of the object according to the displacement or distance;

More,

The control unit extracts the adjustment value according to the calculated displacement or distance from the storage unit, and adjusts the size of the object by the extracted adjustment value.

The method of claim 2,

The storage unit stores a size control method according to the type of the object displayed on the screen,

The control unit extracts a size adjusting method according to the type of the object displayed on the screen from the storage unit, and adjusts and displays the size of the object around the object part where the gaze is concentrated according to the extracted size adjusting method. Mobile terminal, characterized in that.

The method of claim 1, wherein the distance detecting unit,

A mobile terminal comprising at least one of a camera, a proximity sensor, an infrared sensor, a radio frequency (RF) sensor, a gyro sensor, an acceleration sensor, and an ultrasonic sensor.

A display step of displaying, by the mobile terminal, an object on a screen;

A reception step of receiving, by the portable terminal, a detection signal detected by a user through a distance detection unit;

Calculating a displacement or distance between the portable terminal and the user based on the received detection signal by the portable terminal;

An adjustment display step of adjusting and displaying the size of the object based on the calculated displacement or distance, wherein the portable terminal adjusts the size of the object based on a portion where the user's eyes are concentrated;

Object display method of the mobile terminal using the distance and gaze recognition, characterized in that it comprises a.

The method of claim 5, wherein the calculating step,

Calculating, by the portable terminal, a first distance between the portable terminal and the user from the first detection signal received through the distance sensing unit;

Calculating, by the portable terminal, a second distance between the portable terminal and the user from the second sensing signal received according to a change in position between the portable terminal and the user through the distance detecting unit;

Calculating, by the portable terminal, a displacement by a difference between the second distance and the first distance;

The method of claim 5, wherein in the calculating step,

Displacement or distance between the mobile terminal and the user is calculated using at least one of a camera vision method, an infrared method, a gyro-acceleration method and an ultrasonic method, the object of the mobile terminal using the distance and gaze recognition How to display.

The method of claim 5, wherein the control display step,

A photographing step of photographing, by the portable terminal, a user image with at least one camera unit;

A tracking step of the mobile terminal analyzing the photographed user image to track the gaze of the user in real time;

A display step of displaying, by the mobile terminal, the size of the object around the object portion where the gaze is concentrated during the gaze tracking;

The method of claim 8, wherein the tracking step,

Extracting a face image from the user image photographed by the camera unit;

The mobile terminal extracts eyes from the extracted face image, and tracks the eyes of the user by tracking the position change of the extracted eyes;

The method of claim 8, wherein the displaying step,

Calculating, by the mobile terminal, a position of the object to which the gaze is concentrated during the gaze tracking;

Displaying, by the portable terminal, the size of the object based on the calculated position;

The method of claim 5, wherein the control display step,

If the calculated displacement is a positive value, expanding the object by the mobile terminal;

If the calculated displacement is negative, the mobile terminal shrinks the object;

The method of claim 5, wherein the control display step,

If the calculated displacement is a positive value, the mobile terminal shrinks the object;

If the calculated displacement is a negative value, the mobile terminal expanding the object;

The method of claim 5, wherein in the adjustment display step,

The method of claim 2, wherein the mobile terminal enlarges or reduces the size of the object in proportion to the calculated absolute value or distance of the displacement.

The method of claim 5, wherein the control display step,

Displaying, by the mobile terminal, adjusting the size of the object when the calculated absolute value or distance of the displacement is greater than or equal to a threshold value;

If the calculated absolute value or distance of the displacement is less than or equal to a threshold, the mobile terminal maintaining a display state of the object;

The method of claim 14, wherein in the adjustment display step,

When the absolute value or distance of the calculated displacement is greater than or equal to a threshold value, the mobile terminal increases or decreases the size of the object in proportion to the absolute value. .

The method of claim 14, wherein in the adjustment display step,

If the absolute value or distance of the calculated displacement is greater than or equal to a threshold value, the portable terminal enlarges or reduces the size of the object to a predetermined size.

The method according to claim 5, which is performed after the adjustment display step.

If the gaze moves on the screen, the mobile terminal moves and displays a portion of the object whose size is adjusted in a direction in which the gaze moves;

Object display method of the mobile terminal using the distance and gaze recognition further comprising a.

The method of claim 5,

The object is a method of displaying an object of a mobile terminal using distance and gaze recognition, characterized in that it comprises at least one of an image, a video, a menu, a list, an icon, a virtual keypad, and text.

The method of claim 5, wherein the control display step,

If the calculated distance exceeds a threshold, the mobile terminal expanding the size of the object rather than the reference size at the threshold;

If the calculated distance is a threshold, displaying, by the mobile terminal, the object at a reference size at the threshold;

If the calculated distance is less than or equal to a threshold, the mobile terminal reducing the size of the object from a reference size at the threshold;

The method of claim 5, wherein the control display step,

If the calculated distance exceeds a threshold, the mobile terminal reducing the size of the object rather than the reference size at the threshold;

If the calculated distance is less than or equal to a threshold, the mobile terminal expanding the size of the object rather than the reference size at the threshold;

The method of claim 5, wherein the control display step,

If the calculated distance is greater than or equal to a threshold, the mobile terminal maintaining the size of the object at the threshold;

If the calculated distance is equal to or less than a threshold, displaying, by the mobile terminal, adjusting the size of the object;

The method of claim 5, wherein the control display step,

If the calculated distance is greater than or equal to a threshold, displaying, by the mobile terminal, adjusting the size of the object;

If the calculated distance is less than or equal to a threshold, the mobile terminal maintaining the size of the object at the threshold;