KR101145681B1 - Handy terminal and driving method therefore - Google Patents
Handy terminal and driving method therefore Download PDFInfo
- Publication number
- KR101145681B1 KR101145681B1 KR1020090066278A KR20090066278A KR101145681B1 KR 101145681 B1 KR101145681 B1 KR 101145681B1 KR 1020090066278 A KR1020090066278 A KR 1020090066278A KR 20090066278 A KR20090066278 A KR 20090066278A KR 101145681 B1 KR101145681 B1 KR 101145681B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- image
- outer shape
- image information
- eye
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/02—Constructional features of telephone sets
- H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
- H04M1/026—Details of the structure or mounting of specific components
- H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Abstract
본 발명은 휴대용 단말기 및 그 구동 방법에 관한 것으로, 해결하고자 하는 기술적 과제는 손을 이용하지 않고도 눈동자 및 눈의 모양 변화에 따라 화면에 출력된 영상 정보를 이동시키거나 확대 및 축소시킬 수 있는 휴대용 단말기 및 그 구동 방법을 제공하는 데 있다. 이를 위해 사용자의 얼굴을 촬영하는 카메라; 일 면에 화상이 표시되는 디스플레이부; 및, 내부에 저장된 영상 정보를 상기 디스플레이부에 출력하며, 상기 카메라로부터 사용자의 얼굴을 촬영한 이미지를 입력받고, 상기 이미지에서 상기 사용자의 눈동자 외곽모양 및 상기 사용자의 눈의 외곽모양을 식별하여 상기 눈동자 외곽모양과 상기 눈의 외곽모양의 변화를 계속적으로 감시하는 중앙처리장치; 를 포함하여 형성되며, 상기 중앙처리장치는 상기 사용자의 눈동자의 중심이 상기 눈의 외곽모양의 중심에서 이탈되는 경우를 검출하여 상기 눈동자의 중심이 상기 눈의 외곽모양의 중심에서 이탈되는 방향과 거리에 대응하게 상기 디스플레이부에 표시되는 영상 정보를 이동시키고, 상기 사용자의 눈동자가 커지는 경우 상기 디스플레이부에 표시되는 상기 영상 정보의 크기를 확대시키고 상기 사용자의 눈동자가 작아지는 경우 상기 디스플레이부에 표시되는 상기 영상 정보의 크기를 축소시키는 것을 특징으로 하는 휴대용 단말기를 개시한다.The present invention relates to a portable terminal and a driving method thereof. It is a technical object of the present invention to provide a portable terminal capable of moving, enlarging, and reducing image information outputted on a screen in accordance with a change of a shape of a pupil and an eye, And a driving method thereof. A camera for photographing a user's face; A display unit for displaying an image on one surface; And outputting image information stored therein to the display unit, receiving an image of the user's face taken from the camera, identifying an outer shape of the user's pupil and an outer shape of the user's eye in the image, A central processing unit for continuously monitoring a change in pupil outline shape and an outline shape of the eye; Wherein the central processing unit detects a case where the center of the eye of the user is deviated from the center of the outer shape of the eye to detect a direction in which the center of the eye moves away from the center of the outer shape of the eye, The display unit displays the image information on the display unit, enlarges the size of the image information displayed on the display unit when the user's eyes are large, and displays the image information on the display unit when the user's eyes are small And the size of the image information is reduced.
Description
본 발명은 휴대용 단말기 및 그 구동 방법에 관한 것으로, 손을 쓰지 않고도 영상 정보를 이동하거나 확대 및 축소시킬 수 있는 휴대용 단말기 및 그 구동 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a portable terminal and a driving method thereof, and more particularly, to a portable terminal capable of moving, enlarging or reducing image information without using a hand, and a driving method thereof.
최근 휴대폰과 같은 휴대용 단말기의 화면은 점점 커지고 있지만 여전히 영상 정보의 크기는 화면의 크기보다 큰 것들이 대부분이다.Recently, the screen of a portable terminal such as a mobile phone is getting bigger, but the size of image information is still bigger than the screen size.
따라서, 사용자들은 화면보다 큰 영상 정보를 보기 위하여 키패드를 조작하게 된다.Therefore, the user operates the keypad to view the image information larger than the screen.
그렇지만, 손을 쓰기 어려운 장애인이나 환자들은 화면보다 큰 영상 정보를 보기가 매우 힘든 실정에 있다.However, it is very difficult for people with disabilities or patients who can not use their hands to view image information larger than the screen.
본 발명의 기술적 과제는 손을 이용하지 않고도 눈동자 및 눈의 모양 변화에 따라 화면에 출력된 영상 정보를 이동시키거나 확대 및 축소시킬 수 있는 휴대용 단말기 및 그 구동 방법을 제공하는 데 있다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a portable terminal capable of moving, enlarging, and reducing image information output on a screen in accordance with changes in shape of a pupil and eyes without using a hand, and a driving method thereof.
상기한 기술적 과제를 달성하기 위한 본 발명의 휴대용 단말기는 사용자의 얼굴을 촬영하는 카메라; 일 면에 화상이 표시되는 디스플레이부; 및, 내부에 저장된 영상 정보를 상기 디스플레이부에 출력하며, 상기 카메라로부터 사용자의 얼굴을 촬영한 이미지를 입력받고, 상기 이미지에서 상기 사용자의 눈동자 외곽모양 및 상기 사용자의 눈의 외곽모양을 식별하여 상기 눈동자 외곽모양과 상기 눈의 외곽모양의 변화를 계속적으로 감시하는 중앙처리장치; 를 포함하여 형성되며,According to an aspect of the present invention, there is provided a portable terminal including a camera for photographing a user's face; A display unit for displaying an image on one surface; And outputting image information stored therein to the display unit, receiving an image of the user's face taken from the camera, identifying an outer shape of the user's pupil and an outer shape of the user's eye in the image, A central processing unit for continuously monitoring a change in pupil outline shape and an outline shape of the eye; And,
상기 중앙처리장치는 상기 사용자의 눈동자의 중심이 상기 눈의 외곽모양의 중심에서 이탈되는 경우를 검출하여 상기 눈동자의 중심이 상기 눈의 외곽모양의 중심에서 이탈되는 방향과 거리에 대응하게 상기 디스플레이부에 표시되는 영상 정보를 이동시키고, 상기 사용자의 눈동자가 커지는 경우 상기 디스플레이부에 표시되는 상기 영상 정보의 크기를 확대시키고 상기 사용자의 눈동자가 작아지는 경우 상기 디스플레이부에 표시되는 상기 영상 정보의 크기를 축소시키는 것을 특징으로 한다.The central processing unit detects a case where the center of the eye of the user is deviated from the center of the outer shape of the eye and detects the center of the eye outside the center of the outer shape of the eye, Wherein the control unit increases the size of the image information displayed on the display unit when the user's eyes are enlarged and displays the size of the image information displayed on the display unit when the user's eyes are small .
이 경우, 상기 중앙처리장치는 사용자가 상기 카메라를 바라보는 방향을 기 준으로 할 때 상기 사용자의 눈동자의 중심이 좌로 이동하는 경우 상기 디스플레이부에 표시되는 영상 정보를 우로 이동시키고, 사용자가 상기 카메라를 바라보는 방향을 기준으로 할 때 상기 사용자의 눈동자의 중심이 우로 이동하는 경우 상기 디스플레이부에 표시되는 영상 정보를 좌로 이동시키며, 사용자가 상기 카메라를 바라보는 방향을 기준으로 할 때 상기 사용자의 눈동자의 중심이 위로 이동하는 경우 상기 디스플레이부에 표시되는 영상 정보를 아래로 이동시키고, 사용자가 상기 카메라를 바라보는 방향을 기준으로 할 때 상기 사용자의 눈동자의 중심이 아래로 이동하는 경우 상기 디스플레이부에 표시되는 영상 정보를 위로 이동시킬 수 있다.In this case, the central processing unit moves the image information displayed on the display unit to the right when the center of the user's eyes moves to the left when the user views the camera, When the center of the eye of the user moves to the right, the image information displayed on the display unit is moved to the left, and when the user looks at the direction of the camera, When the center of the user's eyes moves down, the image information displayed on the display unit is moved downward. When the center of the user's eyes moves downward with reference to the direction in which the user looks at the camera, The displayed image information can be moved up.
또한, 상기 중앙처리장치는 상기 사용자가 눈을 감거나 찡그려서 상기 사용자의 눈동자의 외곽모양이 변경되는 경우, 상기 영상 정보의 확대와 축소 및 이동 기능을 정지시킬 수 있다.In addition, the central processing unit may suspend the enlargement, reduction, and movement of the image information when the user's eyes are closed or distorted so that the outer shape of the user's eyes changes.
또한, 상기 중앙처리장치는 상기 이미지에서 상기 사용자의 눈썹의 외곽 모양을 검출하여 감시하고 상기 사용자의 눈썹의 외곽 모양이 변화하는 경우, 상기 영상 정보의 확대와 축소 및 이동 기능을 정지시킬 수 있다.In addition, the central processing unit may detect and monitor the outer shape of the eyebrow of the user in the image, and stop the enlargement, reduction, and movement of the image information when the outer shape of the user's eyebrows changes.
한편, 상기한 휴대용 단말기 구동 방법은 휴대용 단말기의 디스플레이부에 영상 정보를 표시하는 화상표시단계; 카메라에서 촬영된 이미지를 중앙처리장치에서 입력 받아 이미지전송단계; 상기 중앙처리장치가 상기 이미지에서 눈과 눈동자를 식별하는 이미지식별단계; 상기 중앙처리장치가 상기 이미지에서 눈동자의 외곽모양과 눈의 외곽모양을 계속적으로 추출하는 외곽이미지 추출단계; 상기 중앙처리장치가 추출된 이미지에서 눈동자의 외곽모양과 눈의 외곽모양의 변화를 계속적으 로 감시하여 상기 눈동자의 외곽모양이 커지는 경우와 상기 눈동자의 외곽모양이 작아지는 경우 및 상기 눈동자의 중심이 눈의 외곽모양의 중심에서 이탈되는 경우를 검출하여 다음의 단계로 넘어가고, 상기 눈동자의 중심이 눈의 외곽모양의 중심과 일치하는 경우에는 상기 이미지전송단계로 복귀하는 추출이미지 감시단계; 및 상기 사용자의 눈동자가 커지는 경우 디스플레이부에 표시되는 상기 영상 정보의 크기를 확대시키고 상기 사용자의 눈동자가 작아지는 경우 디스플레이부에 표시되는 상기 영상 정보의 크기를 축소시키며, 상기 사용자의 눈동자의 중심이 상기 눈의 외곽모양의 중심에서 이탈되는 경우를 검출하여 상기 눈동자의 중심이 상기 눈의 외곽모양의 중심에서 이탈되는 방향과 거리에 대응하게 상기 디스플레이부에 표시되는 영상 정보를 이동시키는 영상정보 출력 변경단계; 를 포함하여 형성되는 것을 특징으로 한다.Meanwhile, the above-described portable terminal driving method includes: displaying an image on a display unit of a portable terminal; Receiving an image photographed by a camera in a central processing unit; An image identification step in which the central processing unit identifies an eye and a pupil in the image; An outline image extracting step in which the central processing unit continuously extracts the outer shape of the pupil and the outer shape of the eye in the image; The central processing unit continuously monitors the change of the outer shape of the pupil and the outer shape of the eye in the extracted image so that the outer shape of the pupil becomes larger and the outer shape of the pupil becomes smaller and the center of the pupil becomes smaller An extracted image monitoring step of detecting a case in which the center of the outer shape of the eye is detached and proceeding to the next step and returning to the image transmitting step when the center of the pupil matches the center of the outer shape of the eye; And enlarging the size of the image information displayed on the display unit when the user's eyes are enlarged and reducing the size of the image information displayed on the display unit when the user's eyes are small, And a video information output changing unit that detects a case in which the center of the pupil is deviated from the center of the outer shape of the eye so as to move the image information displayed on the display unit in correspondence to a direction and a distance in which the center of the pupil is deviated from the center of the outer shape of the eye step; And is formed to include a plurality of protrusions.
이 경우, 상기 영상정보 출력 변경단계에서는 사용자가 상기 카메라를 바라보는 방향을 기준으로 할 때 상기 사용자의 눈동자의 중심이 좌로 이동하는 것을 검출하는 경우에 상기 디스플레이부에 표시되는 영상 정보를 우로 이동시키고, 사용자가 상기 카메라를 바라보는 방향을 기준으로 할 때 상기 사용자의 눈동자의 중심이 우로 이동하는 것을 검출하는 경우에 상기 디스플레이부에 표시되는 영상 정보를 좌로 이동시키며, 사용자가 상기 카메라를 바라보는 방향을 기준으로 할 때 상기 사용자의 눈동자의 중심이 위로 이동하는 것을 검출하는 경우에 상기 디스플레이부에 표시되는 영상 정보를 아래로 이동시키고, 사용자가 상기 카메라를 바라보는 방향을 기준으로 할 때 상기 사용자의 눈동자의 중심이 아래로 이동하는 것을 검출하는 경우에 상기 디스플레이부에 표시되는 영상 정보를 위로 이동시킬 수 있다.In this case, in the image information output changing step, when the user detects that the center of the user's eye moves to the left based on the direction in which the user looks at the camera, the image information displayed on the display unit is moved to the right And moves the image information displayed on the display unit to the left when the user detects that the center of the user's pupil moves to the right based on the direction in which the user looks at the camera, When the center of the eye of the user is detected to move upward, the image information displayed on the display unit is moved down, and when the user views the camera, When the center of the pupil is detected to move downward, The image information displayed on the initial display unit can be moved upward.
또한, 상기 영상정보 출력 변경단계에서는 상기 사용자가 눈을 감거나 찡그려서 상기 사용자의 눈동자의 외곽모양이 변경되는 경우, 상기 영상 정보의 확대와 축소 및 이동의 기능을 정지시킬 수 있다.Also, in the image information output changing step, when the user's eyes are closed or distorted and the outline shape of the user's pupil is changed, the function of enlarging, reducing and moving the image information can be stopped.
또한, 상기 영상정보 출력 변경단계에서는 상기 이미지에서 상기 사용자의 눈썹의 외곽 모양을 검출하여 감시하고 상기 사용자의 눈썹의 외곽 모양이 변화하는 경우, 상기 영상 정보의 확대 및 이동의 기능을 정지시킬 수 있다.In the image information output changing step, the outer shape of the eyebrow of the user is detected and monitored in the image, and when the outer shape of the user's eyebrow changes, the function of enlarging and moving the image information may be stopped .
본 발명은 디스플레이부에 나타난 영상 정보를 눈동자와 눈 및 눈썹의 움직임으로 이동, 확대, 축소 및, 정지시킬 수 있으므로, 손을 쓰지 않고도 영상 정보의 세밀한 부분을 보다 편리하게 볼 수 있는 효과가 있다.Since the image information displayed on the display unit can be moved, enlarged, reduced, and stopped by the movement of the eyes and eyebrows, it is possible to more conveniently view the detailed information of the image information without using the hand.
이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 휴대용 단말기의 사시도이다. 도 2는 도 1에 도시된 휴대용 단말기의 블럭도이다. 도 3은 도 1의 카메라에서 추출한 사용자의 얼굴에 관한 이미지를 중앙처리장치가 신호처리하여 획득한 눈동자와 눈의 외곽 모양 및 눈썹에 관한 예시도이다.1 is a perspective view of a portable terminal according to an embodiment of the present invention. 2 is a block diagram of the portable terminal shown in FIG. FIG. 3 is an illustration of eyeballs, eye contours, and eyebrows obtained by signal processing of an image of a user extracted from the camera of FIG. 1 by a central processing unit; FIG.
도 1 및 도 3를 참조하면, 본 발명의 일 실시예에 따른 휴대용 단말기는 카메라(110), 디스플레이부(120) 및, 중앙처리장치(130)를 포함하여 형성된다.1 and 3, a portable terminal according to an exemplary embodiment of the present invention includes a
상기 카메라(110)는 사용자(10)의 얼굴을 촬영 후 이미지(20)를 생성하여 촬영된 아날로그 영상 신호를 출력한다. 본 실시예에서, 카메라(110)는 휴대폰에 장착되는 것으로 도시하였으나, 카메라(110)는 휴대용 PDA 또는 휴대용 노트북과 같은 기기에도 이용될 수 있다.The
또한, 본 실시예에서, 카메라(110)가 촬영한 이미지(20)는 도 1에 도시된 바와 같이, 카메라(110)를 마주보는 사용자(10)의 얼굴에 해당하게 된다.In this embodiment, the
상기 디스플레이부(120)는 중앙처리장치(130)와 전기적으로 연결되며, 중앙처리장치(130)의 내부 기억장치에 저장된 영상 정보(121)를 입력받아 영상정보를 시각적으로 표시하는 역할을 한다. 이러한 디스플레이부(120)는 화상 소자와 화소 회로 및 화상 처리 회로로 이루어진 LCD 또는 OLED와 같은 액정표시장치이다.The
여기서, 디스플레이부(120)가 표시하는 영상 정보(121)는 디스플레이부(120)의 화면 크기보다 크기가 큰 동영상 또는 정지 영상일 수 있다. 본 실시예에서는 디스플레이부(120)에서 표시하는 영상 정보(121)를 문자 "A"로 하여 설명하기로 한다.Here, the
상기 중앙처리장치(130)는 디스플레이부(120)와 전기적으로 연결되며, 내부 기억 장치 또는 보조기억장치에 저장된 영상 정보(121)를 신호처리하여 디스플레이부(120)에 출력하는 역할을 한다.The
또한, 중앙처리장치(130)는 카메라(110)와 전기적으로 연결되어, 카메라(110)가 촬영한 사용자(10)의 얼굴을 촬영한 이미지(20)를 화상 신호로 입력받는다. 이 경우, 중앙처리장치(130)는 카메라(110)로부터 입력받은 이미지(20)에서 사용자(10)의 눈동자(12) 및 사용자(10)의 눈의 외곽모양(13)을 식별하고, 식별된 이미지(20)에서 눈동자(12)과 눈의 외곽모양(13)의 변화를 계속적으로 감시하는 역할을 한다.The
이 경우, 중앙처리장치(130)는 사용자(10)의 눈동자(12)의 중심(12a)이 눈의 외곽모양(13)의 중심에서 이탈되는 경우를 검출하여 눈동자(12)의 중심이 눈의 외곽모양(13)의 중심에서 이탈되는 방향과 거리에 대응하게 디스플레이부(120)에 표시되는 화면을 이동시킨다. 여기서, 중앙처리장치(130)는 눈동자(12)의 중심(12a)에 관한 최초 좌표 정보를 눈의 외곽모양(131)의 중심으로 기억하여 눈동자(12)의 중심(12a)의 변화를 인식하게 된다. 따라서, 사용자(10)는 손을 쓰지 않고, 눈동자(12)를 움직이는 것만으로 영상 정보(121)를 디스플레이부(120)의 화면에서 좌, 우, 상, 하로 움직일 수 있게 된다.In this case, the
여기서, 사용자(10)가 눈동자(12)와 눈의 외곽모양(13)을 움직여 디스플레이부(120)에 표시되는 영상 정보(121)를 이동시키는 예를 들면,Here, the
먼저, 중앙처리장치(130)는 사용자(10)가 카메라(110)를 바라보는 방향을 기준으로 할 때 사용자(10)의 눈동자(12)의 중심이 좌로 이동하는 경우를 검출하여 디스플레이부(120)에 표시되는 영상 정보(121)를 우로 이동시킨다.First, the
또한, 중앙처리장치(130)는 사용자(10)가 카메라(110)를 바라보는 방향을 기 준으로 할 때 사용자(10)의 눈동자(12)의 중심이 우로 이동하는 경우를 검출하여, 디스플레이부(120)에 표시되는 영상 정보(121)를 좌로 이동된다The
또한, 중앙처리장치(130)는 사용자(10)가 카메라(110)를 바라보는 방향을 기준으로 할 때 사용자(10)의 눈동자(12)의 중심이 위로 이동하는 경우를 검출하여 디스플레이부(120)에 표시되는 영상 정보(121)를 아래로 이동시킨다.The
또한, 중앙처리장치(130)는 사용자(10)가 카메라(110)를 바라보는 방향을 기준으로 할 때 상기 사용자(10)의 눈동자(12)의 중심이 아래로 이동하는 경우를 검출하여 디스플레이부(120)에 표시되는 영상 정보(121)를 위로 이동시킨다.The
여기서, 사용자(10)의 눈동자(12)의 움직임에 따라 눈의 외곽모양(13)의 중심에서 이탈되는 경우, 영상 정보(121)를 상, 하, 좌, 우로 이동시키는 구동들이 조합되면, 영상정보는 사용자(10)의 눈동자(12) 움직임만으로 2차원 공간 디스플레이부(120)의 화면에서 움직일 수 있게 된다.If the motions for moving the
또한, 중앙처리장치(130)는 눈동자(12)과 눈의 외곽모양(13)의 변화를 계속적으로 감시하는 과정에서 사용자(10)의 눈동자(12)가 커지는 경우 디스플레이부(120)에 표시되는 영상 정보(121)의 크기를 확대시키고 사용자(10)의 눈동자(12)가 작아지는 경우 디스플레이부(120)에 표시되는 영상 정보(121)의 크기를 축소시킨다.The
즉, 중앙처리장치(130)는 사용자(10)의 눈동자(12)의 크기 변화를 계속적으로 감시하여 줌 인(Zomm in) 기능과 줌 아웃(Zomm out) 기능을 실행시킴으로서, 사용자(10)의 손에 의한 조작을 시행하지 않고도 화상의 크기를 확대시키거나 축소시 킬 수 있게 된다.That is, the
한편, 중앙처리장치(130)는 눈동자(12)과 눈의 외곽모양(13)의 변화를 계속적으로 감시하는 과정에서 사용자(10)가 눈을 감거나 찡그려서 사용자(10)의 눈동자(12)의 외곽모양이 변경되는 경우, 영상 정보(121)의 확대와 축소 및 이동 기능을 정지시킬 수 있다. 따라서, 사용자(10)는 영상 정보(121)의 확대와 축소 및 이동을 하는 중간에 눈을 감거나 찡그려서 정지 조작을 할 수 있다.The
이러한 정지 조작와 유사한 기능으로서, 중앙처리장치(130)는 사용자(10)의 눈동자(12)와 눈의 외곽모양(13) 뿐만 아니라 사용자(10)의 눈썹의 외곽 모양(14)을 검출하여 감시하고 사용자(10)의 눈썹의 외곽 모양(14)이 변화하는 경우, 영상 정보(121)의 확대와 축소 및 이동 기능을 정지시킬 수 있다.As a function similar to this stop operation, the
한편, 본 실시예에서, 카메라(110)와 중앙처리장치(130) 사이에는 카메라(110)의 영상 신호를 디지털 신호로 변환하는 영상 변환 장치들이 더 구성될 수 있음은 물론이다.It should be noted that, in the present embodiment, image converting apparatuses for converting the video signal of the
이하에서는 본 발명의 일 실시예에 따른 휴대용 단말기 구동 방법에 대해 설명하기로 한다.Hereinafter, a method of driving a portable terminal according to an embodiment of the present invention will be described.
도 4는 본 발명의 일 실시예에 따른 휴대용 단말기 구동 방법에 순서도이다.4 is a flowchart illustrating a method of driving a portable terminal according to an exemplary embodiment of the present invention.
도 4를 더 참조하면, 본 발명의 일 실시예에 따른 휴대용 단말기 구동 방법은 화상표시단계(S10), 이미지전송단계(S20), 이미지식별단계(S30), 외곽이미지 추출단계(S40), 추출이미지 감시단계(S50) 및, 영상정보 출력 변경단계(S60)를 포함하여 형성된다.4, a method of driving a portable terminal according to an exemplary embodiment of the present invention includes an image display step S10, an image transmission step S20, an image identification step S30, an outline image extraction step S40, An image monitoring step S50, and a video information output changing step S60.
상기 화상표시단계(S10)는 중앙처리장치(130)에 내장된 영상 정보(121)를 휴대용 단말기의 디스플레이부(120)에 영상 정보(121)를 표시하는 단계이다.The image display step S10 displays the
상기 이미지전송단계(S20)는 카메라(110)에서 촬영된 이미지(20)를 중앙처리장치(130)에서 입력받는 단계이다.The image transmission step S20 is a step of receiving the
상기 이미지식별단계(S30)는 중앙처리장치(130)가 이미지(20)에서 눈동자(12)와 눈의 외곽모양(13)을 식별하는 단계이다.The image identification step S30 is a step in which the
상기 외곽이미지 추출단계(S40)는 중앙처리장치(130)가 이미지(20)에서 눈동자(12)의 외곽모양과 눈의 외곽모양(13)을 계속적으로 추출하는 단계이다.The outline image extraction step S40 is a step in which the
상기 추출이미지 감시단계(S50)는 중앙처리장치(130)가 추출한 이미지(20)에서 눈동자(12)의 외곽모양과 눈의 외곽모양(13)의 변화를 계속적으로 감시하여 눈동자(12)의 외곽모양이 커지는 경우와 눈동자(12)의 외곽모양이 작아지는 경우 및 눈동자(12)의 중심(12a)이 눈의 외곽모양(13)의 중심에서 이탈되는 경우를 검출하여 다음의 단계로 넘어가는 단계이다. 또한, 추출이미지 감시단계(S50)에서는 눈동자(12)의 중심(12a)이 눈의 외곽모양(13)의 중심과 계속적으로 일치하는 경우에 이미지전송단계(S20)로 복귀한다.The extracted image monitoring step S50 continuously monitors the change of the outer shape of the
상기 영상정보 출력 변경단계(S60)는 사용자(10)의 눈동자(12)가 커지는 경우 디스플레이부(120)에 표시되는 영상 정보(121)의 크기를 확대시키고 사용자(10)의 눈동자(12)가 작아지는 경우 디스플레이부(120)에 표시되는 영상 정보(121)의 크기를 축소시키며, 사용자(10)의 눈동자(12)의 중심이 눈의 외곽모양(13)의 중심에서 이탈되는 경우를 검출하여 눈동자(12)의 중심이 눈의 외곽모양(13)의 중심에 서 이탈되는 방향과 거리에 대응하게 디스플레이부(120)에 표시되는 영상 정보(121)를 이동시키는 단계이다.The image information output changing step S60 may increase the size of the
또한, 영상정보 출력 변경단계(S60)에서는 사용자(10)가 카메라(110)를 바라보는 방향을 기준으로 할 때 사용자(10)의 눈동자(12)의 중심이 좌로 이동하는 것을 중앙처리장치(130)가 검출하는 경우에 디스플레이부(120)에 표시되는 영상 정보(121)를 우로 이동시킬 수 있다.In the image information output changing step S60, the
또한, 영상정보 출력 변경단계(S60)에서는 사용자(10)가 카메라(110)를 바라보는 방향을 기준으로 할 때 사용자(10)의 눈동자(12)의 중심이 우로 이동하는 것을 중앙처리장치(130)가 검출하는 경우에 디스플레이부(120)에 표시되는 영상 정보(121)를 좌로 이동시킬 수 있다.In the image information output changing step S60, the
또한, 영상정보 출력 변경단계(S60)에서는 사용자(10)가 카메라(110)를 바라보는 방향을 기준으로 할 때 사용자(10)의 눈동자(12)의 중심이 위로 이동하는 것을 중앙처리장치(130)가 검출하는 경우에 디스플레이부(120)에 표시되는 영상 정보(121)를 아래로 이동시킬 수 있다.In the image information output changing step S60, the
또한, 영상정보 출력 변경단계(S60)에서는 사용자(10)가 카메라(110)를 바라보는 방향을 기준으로 할 때 사용자(10)의 눈동자(12)의 중심이 아래로 이동하는 것을 중앙처리장치(130)가 검출하는 경우에 디스플레이부(120)에 표시되는 영상 정보(121)를 위로 이동킬 수 있다.In the image information output changing step S60, the
한편, 영상정보 출력 변경단계(S60)에서는 사용자(10)가 눈을 감거나 찡그려서 사용자(10)의 눈동자(12)의 외곽모양이 가늘어 지는 경우와 같은 변화를 검출하 여 영상 정보(121)의 확대와 축소 및 이동의 기능을 정지시킬 수 있다. 더불어, 영상정보 출력 변경단계(S60)에서는 이미지(20)에서 사용자(10)의 눈썹의 외곽 모양(14)을 검출하여 감시하고 사용자(10)의 눈썹의 외곽 모양(14)이 변화하는 경우, 영상 정보(121)의 확대 및 이동의 기능을 정지시킬 수 있다.On the other hand, in the image information output changing step S60, when the
상기한 바와 같이, 본 발명의 일 실시예에 따른 휴대용 단말기 및 그 구동 방법은 디스플레이부(120)에 나타난 영상 정보(121)를 눈동자와 눈 및 눈썹의 움직임으로 이동, 확대, 축소 및, 정지시킬 수 있으므로, 손을 쓰지 않고도 영상 정보(121)의 세밀한 부분을 보다 편리하게 볼 수 있다.As described above, the portable terminal and the driving method thereof according to an embodiment of the present invention are configured to move, enlarge, reduce, and stop the
도 1은 본 발명의 일 실시예에 따른 휴대용 단말기의 사시도. 1 is a perspective view of a portable terminal according to an embodiment of the present invention;
도 2는 도 1에 도시된 휴대용 단말기의 블럭도. FIG. 2 is a block diagram of the portable terminal shown in FIG. 1. FIG.
도 3은 도 1의 카메라에서 추출한 사용자의 얼굴에 관한 이미지를 중앙처리장치가 신호처리하여 획득한 눈동자와 눈의 외곽모양 및 눈썹에 관한 예시도.FIG. 3 is an exemplary view of eyeballs, eye contour, and eyebrows obtained by signal processing of a user's face extracted by the camera of FIG. 1 by a central processing unit; FIG.
도 4는 본 발명의 일 실시예에 따른 휴대용 단말기 구동 방법에 순서도.4 is a flowchart illustrating a method of driving a portable terminal according to an exemplary embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명>Description of the Related Art
110 ; 카메라 120 ; 디스플레이부110;
130 ; 중앙처리장치130; Central processing unit
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090066278A KR101145681B1 (en) | 2009-07-21 | 2009-07-21 | Handy terminal and driving method therefore |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090066278A KR101145681B1 (en) | 2009-07-21 | 2009-07-21 | Handy terminal and driving method therefore |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110008769A KR20110008769A (en) | 2011-01-27 |
KR101145681B1 true KR101145681B1 (en) | 2012-05-15 |
Family
ID=43614731
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090066278A KR101145681B1 (en) | 2009-07-21 | 2009-07-21 | Handy terminal and driving method therefore |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101145681B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101439190B1 (en) | 2012-11-30 | 2014-09-12 | 한국과학기술원 | Method of operating mobile system based on image processing, method of processing image in mobile system, and mobile system using the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070072252A (en) * | 2005-12-31 | 2007-07-04 | 엘지전자 주식회사 | Mobile phone with eyeball sensing function and display processing method there of |
-
2009
- 2009-07-21 KR KR1020090066278A patent/KR101145681B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20070072252A (en) * | 2005-12-31 | 2007-07-04 | 엘지전자 주식회사 | Mobile phone with eyeball sensing function and display processing method there of |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101439190B1 (en) | 2012-11-30 | 2014-09-12 | 한국과학기술원 | Method of operating mobile system based on image processing, method of processing image in mobile system, and mobile system using the same |
Also Published As
Publication number | Publication date |
---|---|
KR20110008769A (en) | 2011-01-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5433935B2 (en) | Screen display control method, screen display control method, electronic device, and program | |
US8988519B2 (en) | Automatic magnification of data on display screen based on eye characteristics of user | |
US10026381B2 (en) | Method and device for adjusting and displaying image | |
US8773326B2 (en) | Terminal device and recording medium with control program recorded therein | |
KR102494698B1 (en) | Method and apparatus for changing focus of camera | |
US9983667B2 (en) | Method and apparatus for display control, electronic device | |
WO2020020063A1 (en) | Object identification method and mobile terminal | |
CN107515669B (en) | Display method and device | |
EP2763010A1 (en) | Mobile information processing terminal | |
CN110705365A (en) | Human body key point detection method and device, electronic equipment and storage medium | |
CN109600555A (en) | A kind of focusing control method, system and photographing device | |
KR20170132833A (en) | Pressure detection method, apparatus, program, and recording medium | |
CN110807769B (en) | Image display control method and device | |
CN109688325A (en) | A kind of image display method and terminal device | |
KR101145681B1 (en) | Handy terminal and driving method therefore | |
KR101247780B1 (en) | mobile phone with eyeball sensing function and display processing method there of | |
KR20070054569A (en) | Apparatus for providing human interface using camera attached to mobile communication terminal and method thereof | |
JP5796052B2 (en) | Screen display control method, screen display control method, electronic device, and program | |
WO2020170945A1 (en) | Display control device, imaging device, display control method, and display control program | |
JP5513433B2 (en) | Two electronic devices with camera capable of using magnifier function and visibility control method | |
KR20120040320A (en) | Apparatus and method for display of terminal | |
CN114531582A (en) | Augmented reality function control method and electronic equipment | |
KR100965315B1 (en) | Apparatus for controlling the zoom lens of the camera module and Method of the same | |
CN114153361B (en) | Interface display method, device, terminal and storage medium | |
KR20130001644A (en) | Apparatus and method for optimizing the image size of a display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150506 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160509 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20190425 Year of fee payment: 8 |