KR20090023917A

KR20090023917A - User interface

Info

Publication number: KR20090023917A
Application number: KR1020070089034A
Authority: KR
Inventors: 김주민; 이화정; 조상현
Original assignee: 엘지전자 주식회사
Priority date: 2007-09-03
Filing date: 2007-09-03
Publication date: 2009-03-06
Also published as: KR101390101B1

Abstract

A user interface is provided to adjust the size of information, which is expressed on a display device, according to the distance between a user and a device, accurately. A device operating unit sets up text-size information to which personal information between a mobile terminal and a user is reflected(S110). A distance measuring unit measures the distance between the mobile terminal and user(S120). A controller determines whether the face exists in the image of an object(S130). If so, the controller calculates the distance from the user in real time as tracing the face within the image of the object(S150). The controller connects to the Internet through a communication unit and then converts the text information displayed on a display unit into a vector font in real time(S160).

Description

User interface {USER INTERFACE}

본 발명은 사용자 인터페이스에 관한 것으로, 기기와 사용자 간의 거리 정보에 근거하여 기기의 디스플레이 정보의 자동 줌인/줌아웃(Zoom In/Out)을 수행하는 장치와 그 방법에 관한 것이다.The present invention relates to a user interface, and more particularly, to an apparatus and a method for performing an automatic zoom in / out of display information of a device based on distance information between a device and a user.

기기의 디스플레이 장치로 출력되는 텍스트나 그림, 도형 등을 시각적으로 용이하게 인식할 수 있는 기술이 요구된다. 예를 들면, 사용자의 시력에 따라 디스플레이 장치로 출력되는 텍스트나 그림, 도형 등의 크기에 따라 그 인식률이 좌우된다. 물론, 디스플레이 장치의 해상도나 크기를 비롯한 디스플레이 품질이나 환경도 텍스트나 그림, 도형 등을 인식하는데 있어 중요한 요소가 되지만, 특히 사용자의 시력이나 습관에 따라 얼마나 정확하게 인식할 수 있는가의 여부가 좌우된다.There is a need for a technology for visually and easily recognizing a text, a picture, a figure, etc. outputted to a display device of a device. For example, the recognition rate depends on the size of a text, a picture, a figure, etc. output to the display device according to the user's eyesight. Of course, the display quality and environment, including the resolution and size of the display device, are also important factors in recognizing the text, the picture, the figure, and the like.

대개의 경우, 디스플레이 장치에서 사용자가 관심있는 특정 부분을 확대하여 보여주는 기법이 이용된다. 특히, 모바일 단말기처럼 휴대성에 따른 디스플레이 장치의 크기 제약이 수반되는 경우에 위와 같이 특정 부분을 확대하여 보여주는 기법은 어떤 면에서 유용하다. 그렇지만, 특정 부분을 확대한다는 것은 일일이 사용자가 확대와 축소 조작을 직접 수행해야 하므로 불편함을 감수해야 한다.In most cases, a technique of enlarging and displaying a specific portion of a user's interest in the display device is used. In particular, when the size of the display device according to the portability, such as a mobile terminal is accompanied by a technique to enlarge the specific portion as shown above is useful in some ways. However, zooming in on a specific part has to be inconvenient because the user must directly perform zooming and zooming operations.

모바일 단말기에서 모바일 인터넷 서비스와 같은 잇점을 누리기 위해서는 풍분하게 제공되는 다양한 정보들을 쉽게 인식하고 접근할 수 있어야 한다. 그런데 모바일 환경은 휴대성에 중점을 두기 때문에 모바일 기기의 디스플레이 장치 크기를 증가시키는데는 제약이 따른다. 그러므로, 대개의 경우 상대적으로 작은 크기의 디스플레이 장치를 사용할 수 밖에 없는데, 이러한 경우 고정된 크기의 텍스트나 그림, 도형 등으로 정보가 표현되고 있다면 사용자의 시력이나 습관, 취향에 따라 인식하는데 있어 적지않은 불편함을 감수해야 된다. 디스플레이되는 내용을 확대하여 보는 기능의 경우에도 일일이 기기 조작을 병행해야 하기 때문에 실제로 이러한 기능을 효과적으로 사용하는 경우는 드물게 나타난다.In order to enjoy the advantages of mobile Internet services in mobile terminals, it is necessary to easily recognize and access a variety of information provided in abundance. However, since the mobile environment focuses on portability, there is a limit to increasing the display device size of a mobile device. Therefore, in most cases, it is necessary to use a relatively small display device. In this case, if information is expressed in a fixed size of text, a picture, a figure, or the like, there are a lot of things to recognize according to the user's eyesight, habit, and taste. You must accept the inconvenience. In the case of a function of enlarging the displayed content, it is rare to actually use such a function effectively because the operation of the device must be performed in parallel.

본 발명은 사용자와 기기 간의 거리에 따라 기기의 디스플레이 장치로 표현되는 정보의 크기를 자동으로 조절해 주는 사용자 인터페이스 환경을 제공한다.The present invention provides a user interface environment that automatically adjusts the size of information represented by the display device of the device according to the distance between the user and the device.

본 발명은 사용자와 기기 간의 거리에 따라 기기의 디스플레이 장치로 표현되는 텍스트 정보의 크기를 자동으로 줌인/줌아웃 처리해 주는 사용자 인터페이스 환경을 제공한다.The present invention provides a user interface environment that automatically zooms in / out the size of text information represented by a display device of a device according to a distance between a user and a device.

본 발명은 기기의 디스플레이 장치로 표현되는 텍스트 정보의 크기가 사용자와 기기 간의 거리에 따라 사전에 설정 해 놓은 크기를 갖고, 기기의 디스플레이 장치와 사용자 간의 거리를 자동으로 측정하고, 그 측정 결과에 따라 정해 놓은 크기로 텍스트를 자동으로 변환하여 출력해 주는 사용자 인터페이스 환경을 제공한 다.According to the present invention, the size of the text information represented by the display device of the device has a preset size according to the distance between the user and the device, and automatically measures the distance between the display device and the user of the device, and according to the measurement result. It provides a user interface environment that automatically converts and prints text in a predetermined size.

본 발명은 모바일 기기에서 디스플레이 장치와 사용자 간의 거리를 측정하고, 적어도 텍스트를 포함하여 디스플레이되는 정보의 크기를 측정된 거리에 따라 자동으로 선택하여 출력해 주는 사용자 인터페이스 환경을 제공한다.The present invention provides a user interface environment in which a mobile device measures a distance between a display device and a user, and automatically selects and outputs a size of displayed information including at least text according to the measured distance.

본 발명의 실시예에 따른 사용자 인터페이스 제어방법은, 사용자와 기기 디스플레이부 간의 거리를 측정하는 단계; 상기 측정된 거리에 따라 디스플레이부에 표현되는 텍스트의 크기를 자동으로 줌인/줌아웃 처리하는 단계; 를 포함하여 이루어지는 것을 특징으로 한다.A method of controlling a user interface according to an embodiment of the present invention includes measuring a distance between a user and a device display unit; Automatically zooming in / out the size of the text displayed on the display unit according to the measured distance; Characterized in that comprises a.

본 발명의 실시예에 따른 사용자 인터페이스 제어장치는, 사용자와 단말기 간의 거리에 따라 각각 다른 텍스트 크기 정보를 설정하기 위한 기기 조작부; 상기 설정된 텍스트 크기 정보가 저장되는 저장부; 사용자 얼굴 영역 검출에 기반하여 실제로 사용자가 디스플레이부를 주시하는 환경에서의 사용자-단말기 간의 거리를 측정하는 거리 측정부; 상기 측정된 거리에 따라 상기 저장된 텍스트 크기 정보를 참조하여 디스플레이부에 디스플레이될 텍스트 크기를 변환시키는 제어부; 를 포함하여 이루어지는 것을 특징으로 한다.An apparatus for controlling a user interface according to an embodiment of the present invention includes: an apparatus operation unit for setting different text size information according to a distance between a user and a terminal; A storage unit for storing the set text size information; A distance measuring unit measuring a distance between the user terminal in an environment where the user actually gazes at the display unit based on the detection of the user face region; A controller converting a text size to be displayed on a display unit with reference to the stored text size information according to the measured distance; Characterized in that comprises a.

실시예에 따른 사용자 인터페이스 장치와 그 제어 방법은 휴대폰과 같은 모바일 단말기에서 사용자와 모바일 단말기 사이의 거리를 실시간으로 자동으로 측정하여 거리와 개인의 시력, 습관 등의 개인 상황에 맞는 최적의 자동 줌인/줌아 웃(Zoom In/Out) 기능을 제공한다. 이로써, 사용자가 제한된 크기의 모바일 단말기 화면에서 손쉽게 필요한 텍스트 정보를 시각적으로 정확히 인식하고 활용할 수 있게 된다.The user interface device and the control method thereof according to the embodiment automatically measure the distance between the user and the mobile terminal in a mobile terminal such as a mobile phone in real time to automatically adjust the optimal zoom in / out according to the personal situation such as the distance, personal vision, and habits. It provides Zoom In / Out function. As a result, the user can easily visually recognize and utilize the necessary text information on the screen of the limited size mobile terminal.

실시예는 모바일 단말기에 적용된 사용자 인터페이스에 대해서 기술한다. 그렇지만 본 발명에 따른 사용자 인터페이스는 모바일 단말기에 제한되지 않는다. 여기서는 설명의 편의와 이해를 돕기 위하여 하나의 실시예로써 휴대폰과 같은 모바일 단말기를 예로 들어 설명할 것이지만, 본 발명의 사용자 인터페이스는 PDA(Personal Digital Assistant), 핸드 핼드 PC(Hand Held Personal Computer), PMP(Portable Multimedia Player), 디지털 오디오 재생기기(예: MP3 Player) 등의 모바일 기기를 비롯하여, 경우에 따라서는 노트북 컴퓨터나 데스크-탑 컴퓨터 등에도 적용 가능하다.An embodiment describes a user interface applied to a mobile terminal. However, the user interface according to the present invention is not limited to the mobile terminal. In the following description, for convenience and understanding of the description, a mobile terminal such as a mobile phone will be described as an example, but the user interface of the present invention may be a personal digital assistant (PDA), a hand held personal computer (PMP), or a PMP. (Portable Multimedia Player), a digital audio player (e.g., MP3 Player), such as mobile devices, as well as notebook computers, desk-top computers, etc. may be applicable in some cases.

실시예에 따른 사용자 인터페이스 장치와 그 제어 방법은 휴대폰과 같은 모바일 단말기에서 사용자 개인정보가 반영되고, 사용자와 모바일 단말기 사이의 거리를 실시간으로 자동으로 측정하여 거리와 개인 상황에 맞는 최적의 자동 줌인/줌아웃(Zoom In/Out) 기능을 제공한다. 이로써, 사용자가 제한된 크기의 모바일 단말기 화면에서 손쉽게 필요한 정보를 시각적으로 인식하고 활용할 수 있게 된다.The user interface device and the control method thereof according to the embodiment reflect user's personal information in a mobile terminal such as a mobile phone, and automatically measure the distance between the user and the mobile terminal in real time to automatically adjust the optimal zoom in / to the individual situation. Zoom In / Out function is provided. This allows the user to visually recognize and utilize the necessary information easily on the screen of the limited size mobile terminal.

실시예에서는 줌인/줌아웃의 대상을 텍스트(text)를 예로 들어서 설명하겠지만 본 발명에 따른 줌인/줌아웃 대상은 기기의 디스플레이 장치에 디스플레이되는 정보의 표현 형태 중의 어느 하나로 텍스트(text)를 예시한 것 뿐이며, 이에 제한 되지 않는다. 예를 들면 디스플레이 장치에 디스플레이되는 영상 그 자체를 영상의 특정 위치를 기준으로 확대하거나 축소하는 형태로도 응용 가능하다. 물론, 이러한 사용자 인터페이스는 기기와 사용자 간의 거리를 측정한 결과에 따라 자동으로 수행되는 특징을 그대로 유지할 것이다.In the embodiment, the object of zooming in / out will be described using text as an example, but the object of zooming in / out according to the present invention is merely an example of text as one of expression forms of information displayed on a display device of a device. , But not limited to this. For example, the image itself displayed on the display device may be applied in a form of enlarging or reducing the image based on a specific position of the image. Of course, this user interface will retain the features that are automatically performed based on the measurement of the distance between the device and the user.

도1은 본 발명의 실시예에 따른 모바일 단말기의 구성을 보여준다. 도1을 참조하면 본 발명의 실시예에 따른 모바일 단말기는 사용자와 기기 간의 거리를 측정하는 거리 측정부(10), 측정된 거리에 따라 줌인/줌아웃 동작을 제어하는 제어부(20), 제어부(20)에 사용자 명령이나 필요한 정보 등을 입력하기 위한 기기 조작부(30), 제어부(20)의 제어에 따라 줌인/줌아웃 관련 어플리케이션과 사용자 설정정보 등이 저장되는 저장부(40), 제어부(20)의 제어를 받아 영상이 디스플레이되는 디스플레이부(50), 제어부(20)의 제어에 따라 유선 혹은 무선 네트워크를 기반으로 통신을 수행하는 통신부(60)를 포함한다.1 shows a configuration of a mobile terminal according to an embodiment of the present invention. Referring to FIG. 1, a mobile terminal according to an embodiment of the present invention includes a distance measuring unit 10 measuring a distance between a user and a device, a controller 20 controlling a zoom in / zoom out operation according to the measured distance, and a controller 20. ) Of the storage unit 40 and the control unit 20 in which the device operation unit 30 for inputting a user command or necessary information, etc., the zoom-in / zoom-out related application and the user setting information are stored under the control of the control unit 20. The display unit 50 may be controlled to display an image, and the communication unit 60 may perform communication based on a wired or wireless network under the control of the controller 20.

기기 조작부(30)는 키 패드, 터치패드나 터치 스크린, 마우스 등과 같은 사용자 인터페이스 장치들 중에서 선택될 수 있다. 기기 조작부(30)는 모바일 기기에 사용자 명령이나 특정 정보 등을 입력하거나 설정하기 위한 것이다. 본 발명에 따르면 사용자는 기기 조작부(30)를 이용해서 사전에 디스플레이부(50)로 디스플레이될 정보의 크기에 관련된 정보를 설정할 수 있다.The device manipulation unit 30 may be selected from user interface devices such as a keypad, a touch pad, a touch screen, a mouse, and the like. The device operation unit 30 is for inputting or setting a user command or specific information and the like on the mobile device. According to the present invention, the user may set information related to the size of information to be displayed on the display unit 50 in advance by using the device operation unit 30.

예를 들면, 도2에 나타낸 바와 같이 사용자의 시력이나 습관 등의 개인 환경에 따라 적절한 크기의 텍스트를 사전에 설정한다. 그렇지만, 거리에 따른 텍스트 크기가 사용자에 의해서 설정되지 않고, 사전에 단말기 벤더에 의하여 결정된 경우 에는 사용자에 의한 텍스트 크기 설정 과정이 생략될 수도 있다.For example, as shown in Fig. 2, text of an appropriate size is set in advance according to a personal environment such as a user's eyesight or a habit. However, if the text size according to the distance is not set by the user and is determined by the terminal vendor in advance, the text size setting process by the user may be omitted.

도 2에 나타낸 바와 같이 몇 개의 샘플링된 거리(L1,L2,L3)에서 최적의 텍스트 크기를 선택할 수 있는 윈도우를 제공하고, 사용자(110)가 이 윈도우를 인터페이스로 하여 자신에게 가장 적합한 텍스트 크기를 선택하게 한다. 선택된 정보는 저장된다.As shown in FIG. 2, a window for selecting an optimal text size from several sampled distances L1, L2, and L3 is provided, and the user 110 uses the window as an interface to select a text size most suitable for them. Make a choice. The selected information is saved.

텍스트 크기 정보의 설정을 위하여 기기 조작부(30)로 설정 명령을 입력한다. 텍스트 크기 설정 명령은 제어부(20)에 의해서 사전에 준비된 메뉴 항목 중의 하나로부터 선택될 수 있으며, 이는 알려진 사용자 그래픽 인터페이스 기법에 근거하므로 용이하게 실시할 수 있다. 텍스트 크기 설정 명령에 따라 제어부(20)로부터 디스플레이부(50)에 사용자와 단말기 간의 거리(L1,L2,L3 등)에 따라 서로 다른 크기의 텍스트가 윈도우 타입으로 디스플레이부(50)에 제공된다.A setting command is input to the device operation unit 30 to set text size information. The text size setting command may be selected from one of menu items prepared in advance by the control unit 20, which may be easily executed since it is based on a known user graphic interface technique. According to the text size setting command, text having different sizes is provided to the display unit 50 in a window type according to the distance between the user and the terminal (L1, L2, L3, etc.) from the controller 20 to the display unit 50.

도2에서 살펴본다면, 임의의 거리(L1)에 대해서 텍스트 선택을 위한 윈도우 화면(122a)이 표현되고 있는데, 여기서는 거리(L1)에 대해서 가장 작은 크기의 텍스트가 선택될 수 있음을 보여준다. 예시된 거리(L1)에 대해서 사용자는 가장 작은 크기의 텍스트를 설정하였다. 임의의 다른 거리(L2)에 대해서 크기가 다른 텍스트 선택을 위한 윈도우 화면(122b)이 표현되고 있는데, 여기서는 거리(L2)에 대해서 다른 크기의 텍스트가 선택될 수 있음을 보여준다. 예시된 거리(L2)에 대해서 사용자는 가장 작은 크기로부터 세번째로 커진 크기의 텍스트를 설정하였다. 임의의 또 다른 거리(L3)에 대해서 크기가 다른 텍스트 선택을 위한 윈도우 화면(122c)이 표현되고 있는데, 여기서는 거리(L3)에 대해서 또 다른 크기의 텍스트가 선택될 수 있음을 보여준다. 예시된 거리(L3)에 대해서 사용자는 가장 작은 크기로부터 다섯번째로 커진 크기의 텍스트를 설정하였다.Referring to FIG. 2, a window screen 122a for text selection is represented for an arbitrary distance L1, which shows that the text having the smallest size may be selected for the distance L1. For the illustrated distance L1, the user has set the smallest sized text. A window screen 122b for text selection having a different size is represented for any other distance L2, which shows that text of different sizes may be selected for the distance L2. For the illustrated distance L2, the user sets the third largest text size from the smallest size. A window screen 122c for selecting text having a different size is represented for another distance L3, which shows that another size of text may be selected for the distance L3. For the illustrated distance L3, the user sets the fifth largest text size from the smallest size.

즉, 예시된 거리와 텍스트 크기 정보를 고려할 때, 이 실시예에서는 근거리(L1), 원거리(L3), 중간거리(L2)에 대해서 각각 다른 텍스트 크기 설정이 이루어지고 있다.That is, considering the illustrated distance and text size information, different text size settings are made for the near distance L1, the far distance L3, and the intermediate distance L2 in this embodiment.

이와같이 하여 사용자의 개인 상황 정보가 반영되도록 도 2에 나타낸 바와 같이 줌인/줌아웃 실행 환경을 설정하는 것이다. 이러한 과정이 필요한 이유는 사용자의 시력 상태, 예를 들면 근시인지 원시인지 혹은 그 정도는 어느 정도인지 등과 같은 사용자 개인 상황에 따라 다양한 시력 상태 및 습관을 가지고 있기 때문에 가장 적합한 디스플레이 인식 환경을 제공하기 위해서다. 예를 들면 어떤 사용자는 자신의 시력에 따라 모바일 단말기 화면을 매우 가깝게 근접시켜 주시하는 경우도 있고, 모바일 단말기 화면을 매우 멀게 떨어뜨려서 주시하는 경우도 있고, 그 중간 정도에 해당하는 거리에서 모바일 단말기 화면을 주시하는 경우도 있기 때문이다. 이와 같은 점을 고려하여 사용자의 개인 상황 정보에 따라 가장 적합한 줌인/아웃 환경을 제공한다. 윈도우 화면 상에서 기기 조작부(30)를 조작하여 선택된 텍스트 크기 설정정보는 저장부(40)에 저장된다.In this way, the zoom-in / zoom-out execution environment is set as shown in FIG. 2 so that the user's personal situation information is reflected. This process is necessary to provide the most suitable display recognition environment because it has various vision states and habits according to the user's personal situation such as myopia state, for example, myopia, hyperopia or the degree of myopia. . For example, some users may be looking at the mobile terminal screen very closely, depending on their eyesight, or may be looking at the mobile terminal screen very far away, or at a distance about halfway between them. This is because there are also cases. In consideration of this, the most suitable zoom in / out environment is provided according to the user's personal situation information. The text size setting information selected by operating the device operation unit 30 on the window screen is stored in the storage unit 40.

거리 측정부(10)는 사용자와 모바일 단말기 간의 거리를 측정하여 제어부(20)에 측정된 거리 정보를 제공한다. 모바일 단말기와 사용자 간의 거리를 측정하는 방법은 여러가지 다양한 기술을 사용할 수 있을 것이다. 본 발명에서는 실제로 사용자가 모바일 단말기의 디스플레이부를 주시하고 있는지의 여부가 중요한 사 항에 해당되므로, 모바일 단말기와 사용자 간의 거리는 모바일 단말기 사용자 얼굴과 디스플레이부 사이의 거리를 측정해야 한다는 것을 의미한다. 더욱 상세하게는 모바일 단말기 사용자의 눈이 디스플레이부를 주시하는가의 여부에 따라 그 거리를 측정해야만 앞서 설명한 바와 같이 사용자의 시력이나 습관 등의 개인정보에 적합한 텍스트 크기 제어(Zoom In/Out)가 이루어질 수 있기 때문이다.The distance measurer 10 measures the distance between the user and the mobile terminal and provides the measured distance information to the controller 20. The method for measuring the distance between the mobile terminal and the user may use a variety of techniques. In the present invention, whether or not the user actually looks at the display unit of the mobile terminal corresponds to an important matter. The distance between the mobile terminal and the user means that the distance between the mobile terminal user's face and the display unit should be measured. In more detail, the distance in accordance with whether or not the eyes of the user of the mobile terminal is looking at the display unit should be measured so that the text size control (Zoom In / Out) suitable for personal information such as eyesight and habits of the user can be made as described above. Because there is.

본 발명에서 거리 측정의 실시예로 도 3에 나타낸 바와 같이 사용자(110)와 모바일 단말기(120)와의 거리를 자동으로 측정하기 위하여 모바일 단말기에 2개의 카메라(123, 124)를 구비하고, 2개의 카메라를 이용하여 실시간으로 사용자의 얼굴을 검출한다. 검출된 얼굴과 모바일 단말기 사이의 거리를 스테레오 비젼(stereo vision) 기반의 이미지 차(image disparity)를 이용하여 계산한다. 이는 알려진 기법에 해당하므로 상세한 설명은 관련 기술을 참고하기로 하며 생략한다.In the present invention, as shown in FIG. 3, two cameras 123 and 124 are provided in the mobile terminal to automatically measure the distance between the user 110 and the mobile terminal 120, as shown in FIG. 3. The user's face is detected in real time using the camera. The distance between the detected face and the mobile terminal is calculated using stereo vision based image disparity. Since this corresponds to a known technique, a detailed description thereof will be referred to and will be omitted.

도3에서 살펴보면, 모바일 단말기(120)가 기기 조작부(121), 디스플레이부(122)를 포함하고 있으며, 디스플레이부(122)에 근접하여 2개의 카메라(Stereo Vision)(123,124)가 배치되어 있다. 이 카메라(123,124)를 이용해서 촬영된 피사체에서 얼굴 영역을 검출하고, 피사체의 상에서 얼굴이 존재하면 얼굴을 추적하여 사용 거리를 실시간으로 계산해 낼 수 있다. 피사체 상에서 얼굴 영역을 검출하고 추적(tracking)하는 방법으로는 스킨 칼라 분포와 얼굴 형태의 템플릿 등을 이용한 프로세싱이 널리 사용되므로 이 기법을 그대로 응용해도 무방하다.Referring to FIG. 3, the mobile terminal 120 includes a device operation unit 121 and a display unit 122, and two cameras 123 and 124 are disposed in proximity to the display unit 122. Using the cameras 123 and 124, a face region may be detected from a photographed subject, and if a face exists on the subject, the face may be tracked to calculate a use distance in real time. As a method of detecting and tracking a face area on a subject, processing using a skin color distribution and a face template is widely used, so this technique may be applied as it is.

거리 측정부(10)에 의해서 측정된 사용자와 모바일 단말기 간의 거리정보는 제어부(20)에 전달된다. 제어부(20)는 측정된 거리에 따라 저장부(40)에 저장되어 있는 텍스트 크기 설정 정보를 참조하여 디스플레이부(50)에 디스플레이되는 텍스트의 크기를 줌인/줌아웃(Zoom In/Out) 처리함으로써, 사용자에게 최적으로 인식 가능한 텍스트 크기로 사용자와 단말기 간의 거리에 따른 텍스트 제공이 가능하게 된다.The distance information between the user and the mobile terminal measured by the distance measuring unit 10 is transmitted to the control unit 20. The controller 20 zooms in / out the size of the text displayed on the display unit 50 by referring to the text size setting information stored in the storage unit 40 according to the measured distance. It is possible to provide text according to the distance between the user and the terminal in a text size that can be optimally recognized by the user.

예를 들어, 거리 측정부(10)에 의해서 측정된 사용자와 모바일 단말기 간의 거리가 L1 범위 내라고 가정하면 제어부(20)는 저장부(40)에 저장된 거리:텍스트 크기 설정정보를 참조하여 디스플레이부(50)에 가장 작은 크기의 텍스트 표현을 수행한다(도2의 122a 설정정보 참조). 거리 측정부(10)에 의해서 측정된 사용자와 모바일 단말기 간의 거리가 L2 범위 내(L1 이상, L2 이하)라고 가정하면 제어부(20)는 저장부(40)에 저장된 거리:텍스트 크기 설정정보를 참조하여 디스플레이부(50)에 보다 큰 크기의 텍스트 표현을 수행한다(도2의 122b 설정정보 참조). 거리 측정부(10)에 의해서 측정된 사용자와 모바일 단말기 간의 거리가 L3 범위 내(L2 이상, L3 이하)라고 가정하면 제어부(20)는 저장부(40)에 저장된 거리:텍스트 크기 설정정보를 참조하여 디스플레이부(50)에 보다 더 큰 크기의 텍스트 표현을 수행한다(도2의 122c 설정정보 참조).For example, assuming that the distance between the user and the mobile terminal measured by the distance measuring unit 10 is within the L1 range, the controller 20 may refer to the distance: text size setting information stored in the storage 40 to display the display unit ( 50) the smallest sized text representation is performed (see 122a setting information in FIG. 2). Assuming that the distance between the user and the mobile terminal measured by the distance measuring unit 10 is within the L2 range (L1 or more, L2 or less), the control unit 20 refers to the distance: text size setting information stored in the storage unit 40. To display a larger sized text on the display unit 50 (see 122b setting information in FIG. 2). Assuming that the distance between the user and the mobile terminal measured by the distance measuring unit 10 is within the L3 range (L2 or more, L3 or less), the controller 20 refers to the distance: text size setting information stored in the storage 40. To display a larger sized text on the display unit 50 (see 122c setting information in FIG. 2).

여기서는 3단계의 거리에 따라 서로 다른 크기의 텍스트가 표시되는 경우를 예로 들었지만, 이 보다 더 세분화된 거리:텍스트 크기 설정도 가능하며, 더 단순한 거리:텍스트 크기 설정도 가능함은 당연하다.In this example, text having different sizes is displayed according to the distance of three steps, but it is possible to set a more detailed distance: text size and even simpler distance: text size.

한편, 실제 사용 환경에서, 사용자와 모바일 단말기 간의 거리는 고정된 상태이기 보다는 약간의 변화가 있기 때문에 측정된 거리가 변화될 때마다 텍스트 크 기를 즉시 변화시켜 주기 보다는, 거리의 변화 폭에 대한 옵셋(offset)을 가지고 유연하게 동작시키는 것이 바람직하다.On the other hand, in the actual use environment, the distance between the user and the mobile terminal is slightly changed rather than fixed, so that the offset of the change width of the distance rather than immediately changing the text size every time the measured distance is changed. It is desirable to operate flexibly with

다른 실시예로서, 사용자와 모바일 단말기 간의 측정 거리에 따른 텍스트 크기 결정 및 디스플레이 시에, 샘플 영역(L1,L2,L3) 이외에는 인접한 텍스트 크기 정보를 보간(interpolation)하여 최적의 텍스트 크기로 표현한다. 즉, L1과 L2의 중간 영역(경계영역 전후를 예로 들 수 있다)에 해당되는 거리일 경우에는 각 거리에 따라 설정된 텍스트 크기값 들을 보간(interpolation)하여 보다 더 유연하고 거리에 따라 적응적인 크기의 텍스트 정보 표현이 가능하게 된다.In another embodiment, when determining and displaying text size according to a measurement distance between a user and a mobile terminal, adjacent text size information other than the sample areas L1, L2, and L3 may be interpolated to express an optimal text size. In other words, in the case of the distance corresponding to the middle region (for example, before and after the boundary region) between L1 and L2, the text size values set according to each distance are interpolated to provide a more flexible and adaptive size according to the distance. Textual information can be represented.

도1에 나타낸 모바일 단말기는 통신부(60)를 포함하고 있다. 이 통신부(60)를 이용해서 모바일 단말기로 인터넷 등의 네트워크에 접속한 경우에는 웹(web) 상에서 제공되는 텍스트를 단순히 확대할 경우에 해상도 등이 저하될 수 있으므로, 기존에 알려진 텍스트/벡터폰트 변환(Text to Vector font Conversion) 어플리케이션(Converter)을 이용하여 실시간으로 웹 상의 텍스트 크기를 설정된 크기로 변환하여 디스플레하여 준다. 즉, 텍스트/벡터폰트 변환 어플리케이션을 모바일 단말기의 저장부(40)에 탑재하고 이를 구동시킴으로써, 인터넷에 접속하였을 때 웹(web) 상에서 제공되는 텍스트를 실시간으로 벡터폰트로 변환하여 상기 설정된 크기로 디스플레이하여 주는 것이다.The mobile terminal shown in FIG. 1 includes a communication unit 60. When the mobile terminal is connected to a network such as the Internet by using the communication unit 60, the resolution may be degraded when the text provided on the web is simply enlarged, so that the known text / vector font conversion is known. (Text to Vector font Conversion) It converts the text size on the web to a set size and displays it in real time using an application (Converter). That is, by installing the text / vector font conversion application in the storage unit 40 of the mobile terminal and driving it, when the Internet is connected to the text provided on the web (web) in real time to convert to a vector font to display in the set size To give.

도4는 지금까지 설명한 사용자 인터페이스 제어방법의 실시예에 따른 플로우차트이다.4 is a flowchart according to an embodiment of the user interface control method described so far.

제 1 단계(S110)는 기기 조작부(30)를 이용해서 모바일 단말기와 사용자 간 의 개인정보가 반영된 텍스트 크기 정보를 설정하는 과정이다. 설정된 텍스트 크기 정보는 거리에 따라 단계적인 크기로 설정될 수 있으며, 이 설정정보는 저장부(40)에 저장된다.The first step S110 is a process of setting text size information reflecting personal information between the mobile terminal and the user using the device operation unit 30. The set text size information may be set in a step size according to the distance, and the setting information is stored in the storage unit 40.

제 2 단계(S120)는 사용자와 모바일 단말기 간의 거리를 측정하는 단계이며, 여기서는 스테레오 비젼 기반으로 피사체로부터 얼굴 영역을 검출하는 단계를 보여주고 있다.The second step S120 is a step of measuring a distance between the user and the mobile terminal, and shows a step of detecting a face region from the subject based on stereo vision.

제 3 단계(S130)는 피사체의 영상에서 얼굴이 존재하는지의 여부를 판정하는 단계이다. 이 단계에서 얼굴이 존재하지 않는다면 실제로 사용자가 디스플레이부를 주시하지 않는 등의 다른 환경에 놓인 것으로 간주하고 제 4 단계(S140)로 이행하여, 필요한 경우 사용자가 직접 기기 조작부(30)를 조작하여 줌인/줌아웃을 실행시킨다.The third step S130 is a step of determining whether a face exists in the image of the subject. If the face does not exist at this stage, the user is regarded as being placed in another environment, such as not looking at the display unit, and the process proceeds to the fourth step S140, where the user directly operates the device operation unit 30 to zoom in / Execute zoom out.

피사체의 영상에서 얼굴이 존재한다면 사용자가 디스플레이부를 주시하고 있는 것으로 간주하고, 제 5 단계(S150)로 이행한다. 제 5 단계(S150)는 피사체 영상 내에서 얼굴을 추적하면서 사용자와의 거리를 실시간으로 계산하는 단계이다. 이렇게 하여 측정된 거리 정보는 거리 측정부(10)로부터 제어부(20)로 제공된다.If a face exists in the image of the subject, the user is considered to be watching the display, and the process proceeds to step S150. The fifth step (S150) is a step of calculating the distance to the user in real time while tracking the face in the subject image. The distance information measured in this way is provided from the distance measuring unit 10 to the control unit 20.

다음 제 6 단계(S160)로 이행하는데, 제 6 단계(S160)는 제어부(20)에 의해서 통신부(60)를 통해서 인터넷 접속이 이루어져 있고, 웹 상에서 획득하여 디스플레이부(50)로 표현되는 텍스트 정보를 벡터 폰트로 실시간 변환하여 주는 단계를 표현한다. 물론, 웹 상에서 획득한, 벡터폰트가 아닌 텍스트 정보 등을 디스플레이부(50)에 디스플레이하지 않는 경우라면 이 단계(S160)의 실행은 배제된다.Next, the process proceeds to the sixth step S160. In the sixth step S160, the Internet connection is made through the communication unit 60 by the control unit 20, and the text information obtained on the web and represented by the display unit 50 is displayed. Expresses the step of converting to a vector font in real time. Of course, the execution of this step (S160) is excluded if the display unit 50 does not display text information and the like obtained on the web other than the vector font.

제 7 단계(S170)는 제어부(20)에서 측정된 거리에 따라 저장부(40)의 텍스트 크기 설정정보를 참조하여 상기 벡터폰트 변환 기반으로 적절한 크기의 텍스트를 디스플레이부(50)에 자동으로 변경 처리(줌인/줌아웃 디스플레이)하여 주는 단계이다.The seventh step (S170) automatically changes the text having the appropriate size to the display unit 50 based on the vector font conversion by referring to the text size setting information of the storage unit 40 according to the distance measured by the controller 20. This step is to process (zoom in / zoom out display).

도1은 본 발명의 실시예에 따른 모바일 단말기의 구성을 나타낸 도면1 is a diagram showing the configuration of a mobile terminal according to an embodiment of the present invention;

도2는 본 발명의 실시예에 따른 모바일 단말기 사용 환경의 예를 나타낸 도면2 is a diagram illustrating an example of a mobile terminal using environment according to an embodiment of the present invention;

도3은 본 발명의 실시예에 따른 모바일 단말기에서의 텍스트 크기 설정의 예를 나타낸 도면3 illustrates an example of text size setting in a mobile terminal according to an embodiment of the present invention;

도4는 본 발명의 실시예에 따른 사용자 인터페이스 제어방법의 플로우차트4 is a flowchart of a user interface control method according to an embodiment of the present invention.

Claims

Measuring a distance between the user and the device display;

Automatically zooming in / out the size of the text displayed on the display unit according to the measured distance;

User interface control method comprising a.

The method of claim 1, further comprising: setting a text size to be provided according to the distance between the user and the device in advance, and referring to the text size setting information during the zoom-in / zoom-out process according to the measured distance. User interface control method, characterized in that for changing.

The method of claim 1, wherein the distance measurement is performed based on detection of a face area in a subject photographed using a camera provided in the device.

The method of claim 1, further comprising performing vector font conversion for converting the size of text to be displayed on a display unit during the zoom in / zoom out process.

The method of claim 1, wherein the zoom-in / zoom-out process converts the text size in real time according to the distance by referring to information previously set to distance: text size.

An apparatus operation unit for setting different text size information according to the distance between the user and the terminal;

A storage unit for storing the set text size information;

A distance measuring unit measuring a distance between the user terminal in an environment where the user actually gazes at the display unit based on the detection of the user face region;

A controller converting a text size to be displayed on a display unit with reference to the stored text size information according to the measured distance;

User interface control device comprising a.

The apparatus of claim 6, wherein the application for text size conversion is stored and driven in a storage unit.