KR20130119223A - Mobile device and operating method thereof - Google Patents

Mobile device and operating method thereof Download PDF

Info

Publication number
KR20130119223A
KR20130119223A KR1020120042212A KR20120042212A KR20130119223A KR 20130119223 A KR20130119223 A KR 20130119223A KR 1020120042212 A KR1020120042212 A KR 1020120042212A KR 20120042212 A KR20120042212 A KR 20120042212A KR 20130119223 A KR20130119223 A KR 20130119223A
Authority
KR
South Korea
Prior art keywords
display unit
screen
display
user
mobile device
Prior art date
Application number
KR1020120042212A
Other languages
Korean (ko)
Inventor
신선미
김주현
황신환
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020120042212A priority Critical patent/KR20130119223A/en
Publication of KR20130119223A publication Critical patent/KR20130119223A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PURPOSE: A mobile apparatus and an operation method detect a user's viewing direction from the user's face taken and control a direction in which a display unit displays a screen. CONSTITUTION: An image sensor unit (220) takes an image. A display unit (210) displays a screen. A control unit (250) recognizes a face of a user based on the image taken by the image sensor unit. The control unit controls the display unit according to the recognized face of the user. The control unit detects a viewing direction from the face of the user. The control unit controls the direction displaying the screen that the display unit displays. [Reference numerals] (210) Display unit; (220) Image sensor unit; (230) Input unit; (240) Audio output unit; (250) Control unit; (260) Gyro sensor; (270) Communication unit; (280) Memory unit

Description

모바일 기기 및 그 동작 방법{MOBILE DEVICE AND OPERATING METHOD THEREOF}MOBILE DEVICE AND OPERATING METHOD THEREOF}

본 발명은 사용자의 시선 방향을 고려하여 디스플레이부의 화면 표시 방향을 제어함으로써, 사용자 편의성을 극대화할 수 있는 모바일 기기 및 그 동작 방법에 관한 것이다.
The present invention relates to a mobile device capable of maximizing user convenience by controlling a screen display direction of a display unit in consideration of a user's gaze direction and a method of operating the same.

스마트폰, 타블렛 PC, PDA(Personal Digital Assistant) 등의 모바일 기기가 널리 보급되면서, 모바일 기기에서 사용자 편의성을 높일 수 있는 다양한 방법이 제안되고 있다. 최근 개발 및 출시되는 모바일 기기는 사용자의 입력 또는 자이로 센서(gyro sensor)가 감지하는 중력 방향에 따라 디스플레이부가 표시하는 화면을 가로 모드 또는 세로 모드로 표시함으로써 사용자가 화면을 좀 더 편리하게 볼 수 있는 환경을 제공한다.2. Description of the Related Art As mobile devices such as smart phones, tablet PCs, and PDAs (Personal Digital Assistants) have become widespread, various methods for enhancing user convenience in mobile devices have been proposed. Recently developed and released mobile devices can display the screen displayed in the horizontal mode or the vertical mode according to the gravity direction detected by the user's input or gyro sensor so that the user can view the screen more conveniently. Provide an environment.

일례로, 최근 출시된 스마트폰과 타블렛 PC 등은 환경 설정 메뉴에서 화면 자동 회전 여부를 선택할 수 있는 기능을 제공한다. 사용자가 화면 자동 회전 기능을 활성화하는 경우, 디스플레이부의 장축 방향과 자이로 센서가 감지한 중력 방향 사이의 각도에 따라서 디스플레이부가 표시하는 화면이 가로 모드 또는 세로 모드로 표시된다. 가로 모드로 화면이 표시되면, 동영상 감상이나 디스플레이부의 터치스크린을 이용한 입력 등에 있어서 사용자에게 더욱 편리한 사용 환경을 제공할 수 있다. 세로 모드로 화면이 표시되면, 동영상 감상 또는 터치스크린을 이용한 입력 등에서는 불편할 수 있으나, 웹 브라우징이나 메뉴 검색 및 전자책(E-Book) 구독 등에서 가로 모드보다 편리한 사용 환경을 제공할 수 있다.For example, recently released smartphones and tablet PCs provide a function to select whether to automatically rotate the screen in a configuration menu. When the user activates the automatic screen rotation function, the screen displayed by the display is displayed in the horizontal mode or the vertical mode according to the angle between the long axis direction of the display unit and the gravity direction detected by the gyro sensor. When the screen is displayed in the landscape mode, a user may provide a more convenient environment for watching a video or inputting using a touch screen of the display unit. When the screen is displayed in the portrait mode, it may be inconvenient in watching a video or input using a touch screen, but may provide a more convenient environment than the landscape mode in web browsing, menu search, and e-book subscription.

모바일 기기는 디스플레이부가 표시하는 화면의 방향을 가로 모드 또는 세로 모드로 제어하기 위하여 사용자의 화면 자동 회전 기능 활성화 여부 또는 자이로 센서가 감지한 중력 방향을 활용한다. 그러나, 이 경우 사용자가 실제로 화면을 바라보는 시선 방향이 전혀 고려되지 않으므로, 사용자의 시선 방향과 디스플레이부가 화면을 표시하는 방향 사이의 불일치가 발생할 수 있으며, 이는 오히려 사용 환경을 불편하게 하는 원인이 될 수 있다.The mobile device utilizes the gravity direction detected by the gyro sensor or whether the user's automatic screen rotation function is activated in order to control the orientation of the screen displayed by the display unit in the horizontal mode or the vertical mode. However, in this case, since the line of sight of the user actually looking at the screen is not considered at all, there may be a mismatch between the direction of the line of sight of the user and the direction in which the display unit displays the screen, which may cause inconvenience to the use environment. Can be.

하기의 선행기술문헌 중에서, 특허문헌 1은 디스플레잉 방향을 전환하는 텔레비전에 관한 것으로, 사용자의 시선 방향에 따라 모터 등을 이용하여 기계적으로 텔레비전의 화면 방향을 전환하는 내용을 개시하고 있다. 또한, 특허문헌 2는 이동통신 단말에 관한 것으로, 사용자의 얼굴 인식 결과에 따라서 특정 어플리케이션을 실행하는 내용을 개시하고 있다.
Among the following prior art documents, Patent Document 1 relates to a television for changing the display direction, and discloses a content of mechanically switching the screen direction of the television using a motor or the like in accordance with the direction of the user's eye. In addition, Patent Document 2 relates to a mobile communication terminal, and discloses contents of executing a specific application according to a face recognition result of a user.

한국공개특허공보 KR 10-2011-0093464Korean Laid-Open Patent Publication KR 10-2011-0093464 한국공개특허공보 KR 10-2010-0046361Korean Laid-Open Patent Publication KR 10-2010-0046361

본 발명은 상기한 종래 기술의 문제점을 해결하기 위한 것으로, 모바일 기기의 전면부에 마련되는 이미지 센서를 이용하여 사용자의 얼굴을 촬영하고, 그로부터 사용자의 시선 방향을 검출하여 디스플레이부가 화면을 표시하는 방향을 제어한다. 따라서, 자이로 센서가 감지하는 중력 방향만을 이용하는 경우에 비해 사용자에게 더욱 편리한 모바일 기기 사용 환경을 제공할 수 있다.
The present invention is to solve the above problems of the prior art, by using the image sensor provided in the front portion of the mobile device to photograph the user's face, from which the direction of the user's gaze is detected to display the screen display direction To control. Therefore, it is possible to provide a more convenient mobile device using environment than the case of using only the gravity direction detected by the gyro sensor.

본 발명의 제1 기술적인 측면에 따르면, 영상을 촬영하는 이미지 센서부, 화면을 표시하는 디스플레이부, 및 상기 이미지 센서부가 촬영한 영상에 기초하여 사용자의 얼굴을 인식하고, 상기 디스플레이부를 제어하는 제어부를 포함하고, 상기 제어부는 상기 사용자의 얼굴에서 시선 방향을 검출하여 상기 디스플레이부가 상기 화면을 표시하는 방향을 제어하는 모바일 기기를 제안한다.According to a first technical aspect of the present invention, an image sensor unit for capturing an image, a display unit for displaying a screen, and a controller for recognizing a user's face based on the image captured by the image sensor unit, and controlling the display unit. Includes, the control unit proposes a mobile device for detecting the direction of the gaze in the face of the user to control the direction in which the display unit displays the screen.

또한, 상시 시선 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제1 임계값 이하이면, 상기 디스플레이부가 화면을 가로 모드로 표시하도록 제어하는 모바일 기기를 제안한다.The present invention also proposes a mobile device for controlling the display unit to display the screen in a horizontal mode when an angle between the normal eye direction and the long axis direction of the display unit is equal to or less than a first threshold value.

또한, 중력의 방향을 감지하는 자이로 센서를 더 포함하고, 상기 제어부는 상기 시선 방향과, 상기 자이로 센서가 감지하는 중력 방향에 기초하여 상기 디스플레이부가 표시하는 화면의 표시 방향을 제어하는 모바일 기기를 제안한다.The display device may further include a gyro sensor for sensing a direction of gravity, wherein the controller proposes a mobile device for controlling a display direction of a screen displayed by the display unit based on the eyeline direction and the gravity direction detected by the gyro sensor. do.

또한, 상기 제어부는, 상기 중력 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제2 임계값 이상이면, 상기 디스플레이부가 화면을 가로 모드로 표시하도록 제어하는 모바일 기기를 제안한다.In addition, the control unit proposes a mobile device for controlling the display unit to display the screen in a landscape mode when the angle between the gravity direction and the major axis direction of the display unit is greater than or equal to a predetermined second threshold value.

또한, 상기 제어부는, 상기 중력 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 상기 제2 임계값 이하일 때, 상기 시선 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제1 임계값 이상이면, 상기 디스플레이부가 화면을 세로 모드로 표시하도록 제어하는 모바일 기기를 제안한다.The controller may further include the control unit, when the angle between the gravitational direction and the long axis direction of the display unit is equal to or less than the second threshold value, the angle between the gaze direction and the long axis direction of the display unit is equal to or greater than a first predetermined threshold value. A mobile device for controlling a display unit to display a screen in a portrait mode is proposed.

또한, 상기 제1 임계값과 상기 제2 임계값은 서로 같은 값을 갖는 모바일 기기를 제안한다.In addition, the first threshold value and the second threshold value propose a mobile device having the same value.

또한, 상기 제1 임계값과 상기 제2 임계값은 서로 다른 값을 갖는 모바일 기기를 제안한다.
In addition, the first threshold value and the second threshold value propose a mobile device having a different value.

한편, 본 발명의 제2 기술적인 측면에 따르면, 이미지 센서가 촬영한 영상에 포함된 사용자의 얼굴을 인식하는 단계, 상기 사용자의 얼굴으로부터 시선 방향을 검출하는 단계, 및 상기 시선 방향에 기초하여 디스플레이부가 화면을 표시하는 방향을 제어하는 단계를 포함하는 모바일 기기의 동작 방법을 제안한다.Meanwhile, according to the second technical aspect of the present invention, the method may further include recognizing a face of a user included in an image captured by an image sensor, detecting a gaze direction from the face of the user, and displaying the display based on the gaze direction. A method of operating a mobile device including controlling a direction in which an additional screen is displayed is provided.

또한, 상기 시선 방향 검출 단계는, 상기 사용자의 얼굴에서 두 눈을 검출하고, 상기 두 눈을 서로 연결하는 직선의 방향을 상기 시선 방향으로 검출하는 모바일 기기의 동작 방법을 제안한다.In addition, in the gaze direction detecting step, a method of operating a mobile device for detecting two eyes from a face of the user and detecting a direction of a straight line connecting the two eyes with each other in the gaze direction.

또한, 상기 제어 단계는, 상기 시선 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제1 임계값 이하이면, 상기 디스플레이부가 상기 화면을 가로 모드로 표시하도록 제어하는 모바일 기기의 동작 방법을 제안한다.The control may include a method of operating a mobile device to control the display to display the screen in a horizontal mode when an angle between the eyeline direction and the major axis direction of the display unit is equal to or less than a first threshold value. .

또한, 자이로 센서를 이용하여 중력 방향을 검출하는 단계를 더 포함하는 모바일 기기의 동작 방법을 제안한다.In addition, the present invention proposes a method of operating a mobile device further comprising the step of detecting the direction of gravity using a gyro sensor.

또한, 상기 제어 단계는, 상기 중력 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제2 임계값 이상이면, 상기 디스플레이부가 화면을 가로 모드로 표시하도록 제어하는 모바일 기기의 동작 방법을 제안한다.In addition, the control step, if the angle between the direction of gravity and the long axis direction of the display unit is more than a predetermined second threshold, proposes a method of operating a mobile device to control the display to display the screen in a landscape mode.

또한, 상기 제어부는, 상기 중력 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 상기 제2 임계값 이하일 때, 상기 시선 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제1 임계값 이상이면, 상기 디스플레이부가 화면을 세로 모드로 표시하도록 제어하는 모바일 기기의 동작 방법을 제안한다.
The controller may further include the control unit, when the angle between the gravitational direction and the long axis direction of the display unit is equal to or less than the second threshold value, the angle between the gaze direction and the long axis direction of the display unit is equal to or greater than a first predetermined threshold value. A method of operating a mobile device for controlling a display to display a screen in a portrait mode is proposed.

본 발명에 따르면, 이미지 센서가 인식하는 사용자의 얼굴에서 시선 방향을 검출하고, 검출한 시선 방향에 기초하여 디스플레이부가 화면을 표시하는 방향을 결정한다. 따라서, 사용자가 화면을 바라보는 실제 방향을 고려하여 디스플레이부가 화면을 표시하는 방향을 제어할 수 있으므로, 사용자가 모바일 기기를 사용하는 자세 및 환경에 최적화된 화면 제어를 제공함으로써, 모바일 기기의 사용 편의성을 높일 수 있다.
According to the present invention, the gaze direction is detected from the face of the user recognized by the image sensor, and the display unit determines the direction in which the screen is displayed based on the detected gaze direction. Therefore, the display unit may control the direction in which the display unit displays the screen in consideration of the actual direction in which the user looks at the screen, thereby providing screen control optimized for the posture and environment in which the user uses the mobile device, thereby making it easier to use the mobile device. Can increase.

도 1은 본 발명의 실시예에 따른 모바일 기기의 외관을 도시한 사시도이다.
도 2는 본 발명의 실시예에 따른 모바일 기기를 간략하게 나타낸 블록도이다.
도 3 내지 도 5는 본 발명의 실시예에 따른 모바일 기기의 동작 방법을 설명하기 위한 도이다.
도 6은 본 발명의 실시예에 따른 모바일 기기의 동작 방법을 설명하는 데에 제공되는 흐름도이다.1 is a perspective view showing the appearance of a mobile device according to an embodiment of the present invention.
2 is a block diagram briefly illustrating a mobile device according to an embodiment of the present invention.
3 to 5 are diagrams for describing a method of operating a mobile device according to an embodiment of the present invention.
6 is a flowchart provided to explain a method of operating a mobile device according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE INVENTION The following detailed description of the invention refers to the accompanying drawings that show, by way of illustration, specific embodiments in which the invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the invention. It should be understood that the various embodiments of the present invention are different, but need not be mutually exclusive. For example, certain features, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the invention in connection with an embodiment. It is also to be understood that the position or arrangement of the individual components within each disclosed embodiment may be varied without departing from the spirit and scope of the invention. The following detailed description is, therefore, not to be taken in a limiting sense, and the scope of the present invention is to be limited only by the appended claims, along with the full scope of equivalents to which such claims are entitled, if properly explained. In the drawings, like reference numerals refer to the same or similar functions throughout the several views.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention.

도 1은 본 발명의 실시예에 따른 모바일 기기의 외관을 도시한 사시도이다.1 is a perspective view showing the appearance of a mobile device according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 따른 모바일 기기(100)는 화면을 출력하는 디스플레이부(110), 영상을 촬영하는 이미지 센서부(120), 입력부(130), 오디오 출력부(140) 등을 포함할 수 있다. 입력부(130)는 도 1에 도시된 바와 같이 기계식 버튼으로 구현되거나, 또는 디스플레이부(110)와 일체로 제공되는 터치스크린 장치 등으로도 구현될 수 있다. Referring to FIG. 1, the mobile device 100 according to the present embodiment includes a display unit 110 for outputting a screen, an image sensor unit 120 for capturing an image, an input unit 130, an audio output unit 140, and the like. It may include. The input unit 130 may be implemented as a mechanical button as shown in FIG. 1, or may be implemented as a touch screen device provided integrally with the display 110.

본 실시예에서는 이미지 센서부(120)가 디스플레이부(110)와 함께 모바일 기기(100)의 전면에 마련되는 것을 가정한다. 최근 출시되는 대부분의 모바일 기기(100)는, 화상 통화 기능을 구현하기 위한 전면 카메라를 구비하므로, 통상적인 모바일 기기(100)에 구비된 전면 카메라를 본 실시예의 이미지 센서부(120)로 활용할 수 있다.In the present embodiment, it is assumed that the image sensor 120 is provided on the front of the mobile device 100 together with the display 110. Since most mobile devices 100 recently released include a front camera for implementing a video call function, the front camera provided in the conventional mobile device 100 may be utilized as the image sensor unit 120 of the present embodiment. have.

디스플레이부(110)는 평판 디스플레이 장치(Flat Panel Display)로 구현되는 것이 일반적이며, 액정 디스플레이 장치(Liquid Crystal Display) 또는 유기전계발광표시장치(Organic Light Emitting Device) 등일 수 있다. 디스플레이부(110)의 동작은 모바일 기기(100)에 포함되는 제어부(미도시)에 의해 컨트롤되며, 제어부는 필요에 따라 디스플레이부(110)가 화면을 가로 모드 또는 세로 모드로 선택하여 표시하도록 제어할 수 있다.The display unit 110 is generally implemented as a flat panel display, and may be a liquid crystal display or an organic light emitting device. The operation of the display unit 110 is controlled by a control unit (not shown) included in the mobile device 100. The control unit controls the display unit 110 to display a screen in a horizontal mode or a vertical mode can do.

도 1을 참조하면, 일반적으로 디스플레이부(110)는 사각형 형태의 화면을 제공하며, 특히 단축 방향에 해당하는 폭(W)과 장축 방향에 해당하는 길이(L)가 서로 동일하지 않은 직사각형 형태의 화면을 사용자에게 제공한다. 이하, 본 명세서 전반에 걸쳐서 사용되는 가로 모드라는 표현은, 디스플레이부(110)의 장축 방향에 해당하는 길이(L) 방향과 평행하게 텍스트가 표시되는 동작 모드를 의미하는 것으로 정의한다. 마찬가지로, 본 명세서 전반에 걸쳐서 사용되는 세로 모드라는 표현은, 디스플레이부(110)의 단축 방향에 해당하는 폭(W) 방향과 평행하게 텍스트가 표시되는 동작 모드를 의미하는 것으로 정의한다. 즉, 디스플레이부(110)가 가로 모드로 동작할 때는 사용자가 디스플레이부(110)의 장축 방향을 따라 텍스트를 읽을 수 있도록 화면이 표시되며, 디스플레이부(110)가 세로 모드로 동작할 때는 사용자가 디스플레이부(110)의 단축 방향을 따라 텍스트를 읽을 수 있도록 화면이 표시된다.
Referring to FIG. 1, the display 110 generally provides a rectangular screen, and in particular, a width W corresponding to a short axis direction and a length L corresponding to a long axis direction are not equal to each other. Present the screen to the user. Hereinafter, the expression landscape mode used throughout the present specification is defined as meaning an operation mode in which text is displayed in parallel with the length L direction corresponding to the long axis direction of the display 110. Similarly, the expression “vertical mode” used throughout this specification is defined as meaning an operation mode in which text is displayed in parallel with the width W direction corresponding to the short axis direction of the display 110. That is, when the display unit 110 operates in the landscape mode, the screen is displayed so that the user can read text along the long axis direction of the display unit 110, and when the display unit 110 operates in the portrait mode, the user A screen is displayed to read text along the short axis of the display 110.

도 2는 본 발명의 실시예에 따른 모바일 기기를 간략하게 나타낸 블록도이다.2 is a block diagram briefly illustrating a mobile device according to an embodiment of the present invention.

도 2를 참조하면, 본 실시예에 따른 모바일 기기(200)는, 디스플레이부(210), 이미지 센서부(220), 입력부(230), 오디오 출력부(240), 제어부(250), 자이로 센서(260), 통신부(270), 메모리부(280) 등을 포함할 수 있다. 디스플레이부(210)의 구성 및 동작은 도 1에서 설명한 바와 유사하며, 제어부(250)는 모바일 기기(200)에 포함된 각 모듈의 동작을 제어할 수 있다.2, the mobile device 200 according to the present embodiment includes a display unit 210, an image sensor unit 220, an input unit 230, an audio output unit 240, a controller 250, and a gyro sensor. 260, a communication unit 270, a memory unit 280, and the like. The configuration and operation of the display unit 210 are similar to those described with reference to FIG. 1, and the controller 250 may control the operation of each module included in the mobile device 200.

이미지 센서부(220)는 CMOS 센서 등을 포함할 수 있으며, 도 1에 도시된 바와 같이 모바일 기기(200)의 전면에 마련되어 영상을 촬영할 수 있다. 이미지 센서부(220)가 촬영하는 영상은 제어부(250)에 의해 처리된다. 일례로, 제어부(250)는 이미지 센서부(220)가 촬영한 영상에 사용자의 얼굴이 포함되어 있는지 여부를 판단할 수 있으며, 사용자의 얼굴에서 시선 방향을 검출하여 디스플레이부(210)가 표시하는 화면을 제어할 수 있다.The image sensor unit 220 may include a CMOS sensor and the like, and may be provided on the front of the mobile device 200 to capture an image as illustrated in FIG. 1. The image captured by the image sensor unit 220 is processed by the controller 250. For example, the controller 250 may determine whether the face of the user is included in the image captured by the image sensor 220, and the display unit 210 detects the direction of the gaze on the face of the user. You can control the screen.

입력부(230)는 기계식 버튼과 터치스크린 등의 입력 장치를 포함할 수 있으며, 이외에 음성 입력 장치 등을 더 포함할 수 있다. 오디오 출력부(240)는 음악, 음성 출력 등을 외부로 내보내기 위한 모듈로서, 입력부(230)와 오디오 출력부(240)의 동작 역시 제어부(250)에 의해 컨트롤될 수 있다.The input unit 230 may include an input device such as a mechanical button and a touch screen, and may further include a voice input device. The audio output unit 240 is a module for exporting music, voice output, and the like to the outside, and operations of the input unit 230 and the audio output unit 240 may also be controlled by the controller 250.

자이로 센서(260)는 모바일 기기(200)에 작용하는 중력의 방향을 감지하는 센서이며, 제어부(250)는 자이로 센서(260)가 감지한 중력의 방향에 따라 다양한 동작을 수행할 수 있다. 일실시예로, 제어부(250)는 자이로 센서(260)가 감지한 중력의 방향에 기초하여, 디스플레이부(210)가 출력하는 화면의 표시 방법을 가로 모드 및 세로 모드 중에서 선택할 수 있다. The gyro sensor 260 is a sensor for sensing the direction of gravity acting on the mobile device 200, and the controller 250 may perform various operations according to the direction of gravity detected by the gyro sensor 260. According to an embodiment, the controller 250 may select a display method of a screen output by the display 210 from a landscape mode or a portrait mode based on the direction of gravity detected by the gyro sensor 260.

통신부(270)는 무선 통신 또는 유선 통신을 위해 모바일 기기(200)에 구비되는 모듈로서, 블루투스 모듈, Wi-Fi 모듈, GPS 모듈, USB 통신 모듈 등을 포함할 수 있다. 제어부(250)는 사용자의 선택 또는 주변의 통신 환경에 따라서 통신부(270)의 동작을 제어할 수 있다. 메모리부(280)는 데이터를 저장 및 인출할 수 있는 모듈로서, 제어부(250)는 메모리부(280)에 저장된 데이터를 관리하고, 사용자의 입력 등에 의해 필요한 데이터를 인출하여 모바일 기기(200)의 동작에 활용할 수 있다.
The communication unit 270 is a module provided in the mobile device 200 for wireless communication or wired communication, and may include a Bluetooth module, a Wi-Fi module, a GPS module, a USB communication module, and the like. The controller 250 may control an operation of the communicator 270 according to a user's selection or a communication environment around the user. The memory unit 280 is a module capable of storing and retrieving data. The controller 250 manages data stored in the memory unit 280, and withdraws necessary data by a user's input. It can be used for operation.

도 3 내지 도 5는 본 발명의 실시예에 따른 모바일 기기의 동작 방법을 설명하기 위한 도이다. 3 to 5 are diagrams for describing a method of operating a mobile device according to an embodiment of the present invention.

도 3a와 도 3b는 사용자(300)가 서 있거나 또는 앉은 자세로 모바일 기기(200)를 사용하는 경우를 나타낸 것이며, 도 3c는 사용자(300)가 누워있는 자세로 모바일 기기(200)를 사용하는 경우를 가정한 것이다. 따라서, 사용자(300)의 두 눈을 연결하는 선을 시선 방향(310)으로 정의할 경우, 도 3a와 도 3b의 경우에는 시선 방향(310)이 중력 방향(320)가 교차 실질적으로 거의 수직한 방향 하지만, 도 3c의 경우에는 시선 방향(310)과 중력 방향(320)이 거의 평행하게 된다. 3A and 3B illustrate a case in which the user 300 uses the mobile device 200 in a standing or sitting position, and FIG. 3C illustrates using the mobile device 200 in a lying position of the user 300. It is assumed. Accordingly, when the line connecting the two eyes of the user 300 is defined as the gaze direction 310, in the case of FIGS. 3A and 3B, the gaze direction 310 is substantially perpendicular to the gravity direction 320 intersecting. In the case of FIG. 3C, however, the line of sight 310 and the direction of gravity 320 are substantially parallel to each other.

우선 도 3a를 참조하면, 디스플레이부(210)의 장축 방향이 중력 방향과 실질적으로 평행하도록 사용자(300)가 모바일 기기(200)를 사용하는 경우를 나타낸 것이다. 이때, 디스플레이부(210)가 표시하는 화면은, 사용자에 의해 별도의 설정이 없는 이상 세로 모드로 표시되며, 따라서 도 3a에 도시된 바와 같이 디스플레이부(210)의 단축 방향과 평행하도록 텍스트가 표시된다. First, referring to FIG. 3A, the user 300 uses the mobile device 200 such that the long axis direction of the display unit 210 is substantially parallel to the gravity direction. In this case, the screen displayed by the display unit 210 is displayed in the portrait mode unless a user sets a separate setting, and thus text is displayed to be parallel to the shortening direction of the display unit 210 as shown in FIG. 3A. do.

도 3b를 참조하면, 디스플레이부(210)의 단축 방향이 중력 방향과 실질적으로 평행하도록 사용자(300)가 모바일 기기(200)를 사용하는 경우를 나타낸 것이다. 사용자(300)가 화면 자동 전환 기능을 선택한 경우라면, 디스플레이부(210)는 가로 모드로 화면을 표시한다. 따라서, 도 3b에 도시된 바와 같이 디스플레이부(210)의 장축 방향과 평행하도록 텍스트가 표시된다.Referring to FIG. 3B, the user 300 uses the mobile device 200 such that the short direction of the display 210 is substantially parallel to the gravity direction. If the user 300 selects the automatic screen switching function, the display unit 210 displays the screen in the landscape mode. Accordingly, as shown in FIG. 3B, the text is displayed to be parallel to the long axis direction of the display unit 210.

도 3c는 도 3a 및 도 3b와 달리, 사용자(300)가 누운 자세로 모바일 기기(200)를 사용하는 경우이다. 이때, 사용자(300)의 시선 방향(310)은 중력 방향(320)과 실질적으로 거의 평행한 방향을 나타내며, 따라서 사용자(300)의 시선 방향(310)과 디스플레이부(210)가 화면을 표시하는 방향 사이의 불일치가 발생할 수 있다.3C illustrates a case in which the user 300 uses the mobile device 200 in a lying posture, unlike FIGS. 3A and 3B. In this case, the gaze direction 310 of the user 300 represents a direction substantially parallel to the gravity direction 320, and thus, the gaze direction 310 of the user 300 and the display 210 display the screen. Mismatches between directions can occur.

시선 방향(310)과 화면 표시 방향 사이의 불일치가 발생하지 않는 도 3a 및 도 3b의 경우를 살펴보면, 모두 시선 방향(310)과 중력 방향(320)이 실질적으로 거의 수직한다. 디스플레이부(210)가 화면을 표시하는 방향은 기본적으로 자이로 센서(260)가 감지하는 중력 방향(320)에 의해 제어되며, 따라서 사용자(300)가 화면을 편리하게 보기 위해서는 시선 방향(310)과 중력 방향(320) 사이의 각도가 일정 임계값 이상을 가져야 한다. 따라서 사용자(300)가 서 있거나 앉은 자세에서 모바일 기기(200)를 사용하는 경우에는, 시선 방향(310)과 화면 표시 방향의 불일치 문제가 발생할 여지가 거의 없다.Referring to the case of FIGS. 3A and 3B in which there is no discrepancy between the gaze direction 310 and the screen display direction, both the gaze direction 310 and the gravity direction 320 are substantially almost perpendicular. The direction in which the display unit 210 displays the screen is basically controlled by the gravitational direction 320 sensed by the gyro sensor 260, so that the user 300 can see the screen in a convenient way in order to view the screen. The angle between the directions of gravity 320 should have a certain threshold or more. Therefore, when the user 300 uses the mobile device 200 in a standing or sitting position, there is little room for a problem of inconsistency between the gaze direction 310 and the screen display direction.

반면, 사용자(300)가 누워서 모바일 기기(200)를 사용하는 경우를 가정한 도 3c의 실시예에서는, 어쩔 수 없이 시선 방향(310)과 중력 방향(320) 사이의 각도가 일정 임계값 이하로 낮아진다. 따라서, 모바일 기기(200)가 놓여지는 방향과 무관하게 사용자(300)의 시선 방향(310)과 디스플레이부(210)가 화면을 표시하는 방향의 불일치가 발생하며, 이는 모바일 기기(200)의 사용 편의성을 저하시킬 수 밖에 없다.On the other hand, in the embodiment of FIG. 3C, which assumes that the user 300 uses the mobile device 200 while lying down, the angle between the gaze direction 310 and the gravity direction 320 is less than a predetermined threshold. Lowers. Accordingly, a mismatch between the direction of the user's 300 gaze 310 and the direction in which the display 210 displays the screen may occur regardless of the direction in which the mobile device 200 is placed, which is the use of the mobile device 200. There is no choice but to lower convenience.

이에 본 발명에서는, 자이로 센서(260)가 감지하는 중력 방향과 함께, 이미지 센서부(220)가 촬영한 영상으로부터 사용자(300)의 얼굴 및 시선 방향을 검출하여 디스플레이부(210)가 화면을 표시하는 방향을 제어할 수 있는 모바일 기기(200) 및 그 동작 방법을 제안한다. 이미지 센서부(220)와 자이로 센서(260)를 모두 활용한 화면 표시 방법에 대해서는, 도 4 및 도 5를 참조하여 더욱 자세히 설명한다.
Accordingly, in the present invention, along with the gravity direction detected by the gyro sensor 260, the display unit 210 displays the screen by detecting the face and the gaze direction of the user 300 from the image captured by the image sensor 220 A mobile device 200 and a method of operating the same are provided. A screen display method using both the image sensor unit 220 and the gyro sensor 260 will be described in more detail with reference to FIGS. 4 and 5.

우선 도 4를 참조하면, 사용자(300)가 본 발명에 따른 모바일 기기(200)를 누워서 사용하는 경우가 도시되어 있다. 누워서 모바일 기기(200)를 사용하는 경우이므로, 사용자(300)의 시선 방향(310)과 중력 방향(320)은 거의 평행하게 된다. 모바일 기기(200)는 디스플레이부(210)의 장축 방향(DL)이 중력 방향(320)과 수직하거나 또는 평행하도록 놓여진 상태인 것을 가정한다.First, referring to FIG. 4, a case in which the user 300 lays down and uses the mobile device 200 according to the present invention is illustrated. Since the mobile device 200 is used to lie down, the gaze direction 310 and the gravity direction 320 of the user 300 are substantially parallel to each other. It is assumed that the mobile device 200 is in a state in which the long axis direction DL of the display unit 210 is disposed to be perpendicular or parallel to the gravity direction 320.

모바일 기기(200)의 제어부(250)는, 이미지 센서부(220)가 촬영한 영상에 포함된 사용자(300)의 얼굴을 검출하고, 그로부터 사용자(300)의 시선 방향(310)을 판단한다. 또한, 제어부(250)는 자이로 센서(260)를 이용하여 중력 방향(320)을 검출할 수 있으며, 시선 방향(310)과 중력 방향(320)을 모두 이용하여 디스플레이부(210)가 화면을 표시하는 모드를 가로 모드 또는 세로 모드로 결정할 수 있다.The controller 250 of the mobile device 200 detects the face of the user 300 included in the image captured by the image sensor 220, and determines the gaze direction 310 of the user 300 therefrom. In addition, the controller 250 may detect the gravity direction 320 using the gyro sensor 260, and the display unit 210 displays the screen using both the visual line direction 310 and the gravity direction 320. The mode to be determined may be determined as a landscape mode or a portrait mode.

일례로, 도 4a의 경우를 살펴보면, 디스플레이부(210)의 장축 방향(DL)이 중력 방향(320)과 수직하도록 모바일 기기(200)가 놓여져 있기 때문에, 시선 방향(310)과 디스플레이부(210)의 장축 방향(DL) 사이의 각도 θ1이 상대적으로 0°보다 90°에 가까운 값을 갖는다. 제어부(250)는 시선 방향(310)과 디스플레이부(210)의 장축 방향(DL) 사이의 각도 θ1을 미리 설정된 제1 임계값과 비교하고, θ1이 제1 임계값보다 크면 디스플레이부(210)가 화면을 세로 모드로 표시하도록 제어할 수 있다. 반대로, 도 4b와 같이 디스플레이부(210)의 장축 방향(DL)이 중력 방향(320)과 평행하도록 모바일 기기(200)가 놓임으로써 θ1이 제1 임계값보다 작으면, 제어부(250)는 디스플레이부(210)가 화면을 가로 모드로 표시하도록 제어할 수 있다. 일반적으로 제1 임계값은 45° 근처의 값으로 설정될 수 있다.For example, referring to FIG. 4A, since the mobile device 200 is disposed such that the long axis direction DL of the display unit 210 is perpendicular to the gravity direction 320, the gaze direction 310 and the display unit 210 are disposed. The angle θ1 between the major axis directions DL of Rx) has a value relatively closer to 90 ° than 0 °. The controller 250 compares the angle θ1 between the eyeline direction 310 and the long axis direction DL of the display unit 210 with a first threshold value that is preset, and when θ1 is greater than the first threshold value, the display unit 210. Can control to display the screen in portrait mode. On the contrary, if θ1 is smaller than the first threshold value by placing the mobile device 200 such that the long axis direction DL of the display unit 210 is parallel to the gravity direction 320 as shown in FIG. 4B, the controller 250 displays the display. The unit 210 may control to display the screen in a landscape mode. In general, the first threshold may be set to a value near 45 °.

도 4a 및 도 4b의 실시예를 자이로 센서(260)로부터 검출된 중력 방향(320)만을 고려하는 일반적인 경우와 비교하면, 중력 방향(320)만을 고려한 디스플레이부(210)의 화면 표시 제어 방법과 반대되는 방향으로 화면의 표시 방법이 제어되는 것을 알 수 있다. 즉, 시선 방향(310)을 고려하지 않고 중력 방향(320)만을 고려하면, 도 4a의 경우에는 디스플레이부(210)가 화면을 가로 모드로 표시하기 때문에 시선 방향(310)과 화면 표시 방향 사이의 불일치가 발생한다. 또한, 도 4b의 경우에는 디스플레이부(210)가 화면을 세로 모드로 표시하기 때문에 역시 시선 방향(310)과 화면 표시 방향 사이의 불일치가 발생할 수 있다. 따라서, 시선 방향(310)과 화면 표시 방향 사이의 불일치를 방지하기 위해서는, 시선 방향(310)과 중력 방향(320)을 모두 고려하여 디스플레이부(210)의 화면 표시 방향을 가로 모드 또는 세로 모드로 제어하되, 시선 방향(310)에 더 높은 우선 순위를 부여하는 것이 바람직하다.Compared to the general case in which only the gravity direction 320 detected from the gyro sensor 260 is considered, the embodiment of FIGS. 4A and 4B is opposite to the screen display control method of the display unit 210 considering only the gravity direction 320. It can be seen that the display method of the screen is controlled in the direction. That is, when only the gravity direction 320 is considered without considering the eye direction 310, in the case of FIG. 4A, since the display unit 210 displays the screen in a horizontal mode, the direction between the eye direction 310 and the screen display direction is different. Inconsistency occurs. In addition, in the case of FIG. 4B, since the display unit 210 displays the screen in the portrait mode, inconsistency between the eyeline direction 310 and the screen display direction may also occur. Therefore, in order to prevent inconsistency between the gaze direction 310 and the screen display direction, the screen display direction of the display unit 210 may be changed to the horizontal mode or the vertical mode in consideration of both the gaze direction 310 and the gravity direction 320. While controlling, it is preferable to give higher priority to the gaze direction 310.

일례로, 제어부(250)는 자이로 센서(260)를 통해 감지한 중력 방향(320)과 디스플레이부(210)의 장축 방향(DL) 사이의 각도 θ2가 소정의 제2 임계값 이상이면, 디스플레이부(210)가 화면을 가로 모드로 표시하도록 제어할 수 있다. 제2 임계값은 제1 임계값과 마찬가지로 45° 근처의 값을 가질 수 있다. 이때, 도 4a에 도시된 경우에는 중력 방향(320)과 디스플레이부(210)의 장축 방향(DL) 사이의 각도 θ2가 거의 90°에 가까운 값이다. 따라서 시선 방향(310)과 중력 방향(320) 사이에 우선 순위를 부여하지 않으면, 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1이 제1 임계값보다 큰 도 4a의 경우, 디스플레이부(210)가 화면을 가로 모드로 표시할지 세로 모드로 표시할지를 결정하기가 곤란할 수 있다. For example, if the angle θ2 between the gravitational direction 320 detected by the gyro sensor 260 and the long axis direction DL of the display 210 is greater than or equal to a second predetermined threshold value, the display unit The controller 210 may control to display the screen in a landscape mode. The second threshold may have a value near 45 ° like the first threshold. 4A, the angle θ2 between the gravity direction 320 and the long axis direction DL of the display unit 210 is close to 90 °. Therefore, if the priority is not given between the visual direction 310 and the gravity direction 320, the display unit in the case of FIG. It may be difficult for 210 to determine whether to display the screen in a landscape mode or a portrait mode.

이와 같은 문제를 해결하기 위해, 본 발명에서는 시선 방향(310)을 이용한 화면 표시 방향 결정에 상대적으로 더 높은 우선 순위를 부여한다. 도 4a의 경우를 살펴보면, 중력 방향(320)과 장축 방향(DL) 사이의 각도 θ2가 거의 90°에 가까운 값을 가지므로 제2 임계값보다 크다고 볼 수 있으며, 따라서 중력 방향(320)을 고려할 때 제어부(250)는 디스플레이부(210)가 가로 모드로 화면을 표시하도록 제어한다. 그러나, 시선 방향(310)을 기준으로 보면, 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1이 제1 임계값보다 크기 때문에, 제어부(250)는 디스플레이부(210)가 세로 모드로 화면을 표시하도록 제어해야 한다. 이와 같은 충돌을 막기 위해 시선 방향(310)을 이용한 화면 표시 방향 결정에 상대적으로 더 높은 우선 순위를 부여하고, 도 4a와 같은 경우에는 세로 모드로 화면을 표시할 수 있다.In order to solve such a problem, the present invention gives a higher priority to the screen display direction determination using the gaze direction 310. Referring to the case of FIG. 4A, since the angle θ2 between the gravity direction 320 and the long axis direction DL has a value close to 90 °, it may be viewed as larger than the second threshold value, and thus, the gravity direction 320 may be considered. In this case, the controller 250 controls the display 210 to display a screen in a landscape mode. However, when referring to the gaze direction 310, since the angle θ1 between the gaze direction 310 and the major axis direction DL is greater than the first threshold value, the controller 250 may display the display unit 210 in the portrait mode. You need to control the display of the screen. In order to prevent such a collision, a higher priority may be given to the screen display direction determination using the gaze direction 310, and in the case of FIG. 4A, the screen may be displayed in the vertical mode.

따라서, 중력 방향(320)과 장축 방향(DL)이 실질적으로 평행하여 중력 방향(320)과 장축 방향(DL) 사이의 각도 θ2가 제2 임계값보다 작은 도 4b의 경우에, 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1이 제1 임계값보다 크면, 제어부(250)는 화면이 세로 모드로 표시되도록 디스플레이부(210)를 제어한다. 반대로, 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1과 중력 방향(320)과 장축 방향(DL) 사이의 각도 θ2가 각각 제1, 제2 임계값보다 작으면, 제어부(250)는 화면이 가로 모드로 표시되도록 디스플레이부(210)를 제어할 수 있다.
Thus, in the case of FIG. 4B where the gravity direction 320 and the major axis direction DL are substantially parallel such that the angle θ2 between the gravity direction 320 and the major axis direction DL is less than the second threshold, the eye direction 310 ) And the angle θ1 between the major axis direction DL is greater than the first threshold value, the controller 250 controls the display 210 to display the screen in the portrait mode. On the contrary, if the angle θ1 between the gaze direction 310 and the long axis direction DL and the angle θ2 between the gravity direction 320 and the long axis direction DL are smaller than the first and second threshold values, the controller 250 The control unit 210 may control the display unit 210 to display the screen in a landscape mode.

다음으로 도 5를 참조하면, 도 4와 달리 시선 방향(310)이 중력 방향(320)과 거의 수직인 상태에서 사용자(300)가 모바일 기기(200)를 사용하는 경우를 가정한다. 도 4의 경우와 마찬가지로, 모바일 기기(200)는 디스플레이부(210)의 장축 방향(DL)이 중력 방향(320)과 수직하거나 또는 평행하도록 놓여진 상태인 것을 가정한다Next, referring to FIG. 5, it is assumed that the user 300 uses the mobile device 200 while the eyeline direction 310 is substantially perpendicular to the gravity direction 320 unlike in FIG. 4. As in the case of FIG. 4, it is assumed that the mobile device 200 is in a state in which the major axis direction DL of the display unit 210 is disposed to be perpendicular or parallel to the gravity direction 320.

도 5a는 디스플레이부(210)의 장축 방향(DL)이 중력 방향(320)과 실질적으로 거의 수직한 상태에서 모바일 기기(200)가 사용되는 것을 가정한 것이다. 사용자(300)는 서 있거나 또는 앉은 상태에서 모바일 기기(200)를 사용하므로, 시선 방향(310)과 장축 방향(DL)은 실질적으로 평행하며, 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1은 거의 0°에 가까운 값을 갖는다. 따라서, 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1이 제1 임계값보다 작은 경우이므로, 제어부(250)는 디스플레이부(210)가 화면을 가로 모드로 표시하도록 제어한다.5A assumes that the mobile device 200 is used in a state in which the major axis direction DL of the display unit 210 is substantially perpendicular to the gravity direction 320. Since the user 300 uses the mobile device 200 in a standing or sitting state, the gaze direction 310 and the long axis direction DL are substantially parallel, and between the gaze direction 310 and the long axis direction DL. The angle θ1 has a value close to 0 °. Therefore, since the angle θ1 between the eyeline direction 310 and the long axis direction DL is smaller than the first threshold value, the controller 250 controls the display unit 210 to display the screen in a horizontal mode.

도 5b는 디스플레이부(210)의 장축 방향(DL)이 중력 방향(320)과 실질적으로 거의 평행한 상태에서 모바일 기기(200)가 사용되는 것을 가정한 것이다. 이때 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1은 거의 90°에 가까운 값을 갖는다. 따라서, 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1이 제1 임계값보다 큰 경우이므로, 제어부(250)는 디스플레이부(210)가 화면을 세로 모드로 표시하도록 제어한다.FIG. 5B assumes that the mobile device 200 is used in a state in which the major axis direction DL of the display unit 210 is substantially parallel to the gravity direction 320. At this time, the angle θ1 between the eyeline direction 310 and the long axis direction DL has a value close to 90 °. Therefore, since the angle θ1 between the gaze direction 310 and the long axis direction DL is greater than the first threshold value, the controller 250 controls the display unit 210 to display the screen in the vertical mode.

도 5의 실시예에서는 도 4와 달리 시선 방향(310)을 기준으로 판단한 디스플레이부(210)의 화면 표시 방향과, 중력 방향(320)을 기준으로 판단한 디스플레이부(210)의 화면 표시 방향 사이의 불일치가 발생하지 않는다. 도 5a의 경우에는 중력 방향(320)과 장축 방향(DL) 사이의 각도 θ2가 거의 90°에 가까운 값을 가지므로 제2 임계값보다 큰 경우이며, 제어부(250)는 화면이 가로 모드로 표시되도록 디스플레이부(210)를 제어한다. 또한, 도 5b의 경우에는 중력 방향(320)과 장축 방향(DL) 사이의 각도 θ2가 거의 0°에 가까운 값을 가지므로 제2 임계값보다 작은 경우이며, 제어부(250)는 화면이 세로 모드로 표시되도록 디스플레이부(210)를 제어한다.In FIG. 5, unlike FIG. 4, the screen display direction of the display unit 210 determined based on the eyeline direction 310 and the screen display direction of the display unit 210 determined based on the gravity direction 320 are different from each other. There is no inconsistency. In the case of FIG. 5A, the angle θ2 between the gravity direction 320 and the long axis direction DL has a value close to 90 °, which is larger than the second threshold value, and the controller 250 displays the screen in a horizontal mode. The display unit 210 is controlled to be controlled. In addition, in the case of FIG. 5B, since the angle θ2 between the gravity direction 320 and the long axis direction DL has a value close to 0 °, the angle θ2 is smaller than the second threshold value. The display unit 210 is controlled to be displayed as.

한편, 시선 방향(310)과 장축 방향(DL) 사이의 각도 θ1과 비교되는 제1 임계값 및 중력 방향(320)과 장축 방향(DL) 사이의 각도 θ2와 비교되는 제2 임계값은 모두 45° 정도의 값을 가질 수 있다. 이때, 제1 임계값과 제2 임계값은 서로 같은 값을 갖거나, 다른 값을 가질 수도 있으며, 사용자(300)로부터 직접 입력되는 값으로 설정될 수도 있다.
Meanwhile, the first threshold value compared to the angle θ1 between the eyeline direction 310 and the long axis direction DL, and the second threshold value compared to the angle θ2 between the gravity direction 320 and the long axis direction DL, are all 45. It can have a value of degrees. In this case, the first threshold value and the second threshold value may have the same value or different values, or may be set to a value directly input from the user 300.

도 6은 본 발명의 실시예에 따른 모바일 기기의 동작 방법을 설명하는 데에 제공되는 흐름도이다.6 is a flowchart provided to explain a method of operating a mobile device according to an embodiment of the present invention.

도 6을 참조하면, 본 실시예에 따른 모바일 기기(200)의 동작 방법은, 이미지 센서부(220)를 통해 모바일 기기(200) 정면의 영상을 획득하는 것으로 시작된다(S610). 도 1에 도시된 바와 같이, 이미지 센서부(220)는 디스플레이부(210)와 함께 모바일 기기(200)의 전면부에 마련될 수 있다. 이미지 센서부(220)가 촬영한 영상은 제어부(250)에 의해 처리된다.Referring to FIG. 6, the method of operating the mobile device 200 according to the present embodiment starts with obtaining an image of the front of the mobile device 200 through the image sensor unit 220 (S610). As illustrated in FIG. 1, the image sensor unit 220 may be provided on the front side of the mobile device 200 together with the display unit 210. The image captured by the image sensor unit 220 is processed by the controller 250.

제어부(250)는 이미지 센서부(220)가 촬영한 영상에 사용자(300)의 얼굴 영역이 포함되어 있는지 여부를 판단한다(S620). 제어부(250)는 일반적으로 알려진 얼굴 검출 알고리즘을 이용하여 이미지 센서부(220)가 촬영한 영상에 포함된 얼굴 영역을 판단할 수 있다. 제어부(250)는 이미지 센서부(220)가 촬영한 영상에 포함된 얼굴 영역에서 시선 방향(310)을 검출한다(S630).The controller 250 determines whether the face region of the user 300 is included in the image photographed by the image sensor 220 (S620). The controller 250 may determine a face region included in the image captured by the image sensor 220 using a generally known face detection algorithm. The controller 250 detects the gaze direction 310 in the face area included in the image captured by the image sensor 220 (S630).

S630 단계에서 검출한 시선 방향(310)에 기초하여, 제어부(250)는 디스플레이부(210)가 화면을 표시하는 방향을 제어한다(S640). 앞서 설명한 바와 같이, 제어부(250)는 시선 방향(310)과 디스플레이부(210)의 장축 방향(DL) 사이의 각도 θ1을 제1 임계값과 비교하고, θ1이 제1 임계값보다 작으면 디스플레이부(210)가 화면을 가로 모드로 표시하도록 제어할 수 있다. 또한, 이미지 센서부(220)를 이용하여 검출한 시선 방향(310)과 함께, 자이로 센서(260)를 이용하여 검출한 중력 방향(320)을 함께 고려하여 디스플레이부(210)가 화면을 표시하는 방향을 제어할 수도 있다.
Based on the gaze direction 310 detected in operation S630, the controller 250 controls the direction in which the display 210 displays the screen (S640). As described above, the controller 250 compares the angle θ1 between the eyeline direction 310 and the major axis direction DL of the display 210 with the first threshold value, and displays θ1 smaller than the first threshold value. The unit 210 may control to display the screen in a landscape mode. In addition, the display unit 210 displays the screen in consideration of the direction of gravity 310 detected using the image sensor unit 220 and the direction of gravity 320 detected using the gyro sensor 260. You can also control the direction.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, Those skilled in the art will appreciate that various modifications, additions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be limited to the above-described embodiments, and all of the equivalents or equivalents of the claims, as well as the appended claims, fall within the scope of the spirit of the present invention. I will say.

100, 200 : 모바일 기기
110, 210 : 디스플레이부
120, 220 : 이미지 센서부
250 : 제어부
300 : 사용자
310 : 시선 방향
320 : 중력 방향
DL : 디스플레이부의 장축 방향100, 200: Mobile device
110, 210: display unit
120, 220: image sensor unit
250:
300: user
310: eye direction
320: gravity direction
DL: Long axis direction of the display unit

Claims (13)

영상을 촬영하는 이미지 센서부;
화면을 표시하는 디스플레이부; 및
상기 이미지 센서부가 촬영한 영상에 기초하여 사용자의 얼굴을 인식하고, 상기 디스플레이부를 제어하는 제어부; 를 포함하고,
상기 제어부는 상기 사용자의 얼굴에서 시선 방향을 검출하여 상기 디스플레이부가 상기 화면을 표시하는 방향을 제어하는 모바일 기기.
An image sensor unit for capturing an image;
A display unit for displaying a screen; And
A controller for recognizing a face of a user based on an image captured by the image sensor unit and controlling the display unit; Lt; / RTI >
The controller detects a gaze direction from the face of the user and controls a direction in which the display unit displays the screen.
제1항에 있어서,
상기 시선 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제1 임계값 이하이면, 상기 디스플레이부가 화면을 가로 모드로 표시하도록 제어하는 모바일 기기.
The method of claim 1,
And the display unit displays the screen in a horizontal mode when the angle between the eyeline direction and the long axis direction of the display unit is equal to or less than a first threshold value.
제2항에 있어서,
중력의 방향을 감지하는 자이로 센서; 를 더 포함하고,
상기 제어부는 상기 시선 방향과, 상기 자이로 센서가 감지하는 중력 방향에 기초하여 상기 디스플레이부가 표시하는 화면의 표시 방향을 제어하는 모바일 기기.
3. The method of claim 2,
A gyro sensor for sensing the direction of gravity; Further comprising:
The controller controls the display direction of the screen displayed by the display unit based on the eye direction and the gravity direction detected by the gyro sensor.
제3항에 있어서, 상기 제어부는,
상기 중력 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제2 임계값 이상이면, 상기 디스플레이부가 화면을 가로 모드로 표시하도록 제어하는 모바일 기기.
The apparatus of claim 3,
And the display unit displays the screen in a landscape mode when the angle between the gravity direction and the long axis direction of the display unit is greater than or equal to a second predetermined threshold.
제4항에 있어서, 상기 제어부는,
상기 중력 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 상기 제2 임계값 이하일 때, 상기 시선 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 상기 제1 임계값 이상이면, 상기 디스플레이부가 화면을 세로 모드로 표시하도록 제어하는 모바일 기기.
5. The apparatus of claim 4,
When the angle between the gravity direction and the long axis direction of the display unit is equal to or less than the second threshold value, and the angle between the gaze direction and the long axis direction of the display unit is equal to or greater than the first threshold value, the display unit may display the screen in a portrait mode. Mobile device that controls the display.
제5항에 있어서,
상기 제1 임계값과 상기 제2 임계값은 서로 같은 값을 갖는 모바일 기기.
The method of claim 5,
And the first threshold value and the second threshold value are equal to each other.
제5항에 있어서,
상기 제1 임계값과 상기 제2 임계값은 서로 다른 값을 갖는 모바일 기기.
The method of claim 5,
And the first threshold value and the second threshold value are different values.
이미지 센서가 촬영한 영상에 포함된 사용자의 얼굴을 인식하는 단계;
상기 사용자의 얼굴으로부터 시선 방향을 검출하는 단계; 및
상기 시선 방향에 기초하여 디스플레이부가 화면을 표시하는 방향을 제어하는 단계; 를 포함하는 모바일 기기의 동작 방법.
Recognizing a face of a user included in an image captured by the image sensor;
Detecting a gaze direction from the face of the user; And
Controlling a direction in which a display unit displays a screen based on the visual line direction; Method of operation of a mobile device comprising a.
제8항에 있어서, 상기 시선 방향 검출 단계는,
상기 사용자의 얼굴에서 두 눈을 검출하고, 상기 두 눈을 서로 연결하는 직선의 방향을 상기 시선 방향으로 검출하는 모바일 기기의 동작 방법.
The method of claim 8, wherein the visual direction detecting step comprises:
And detecting two eyes from the face of the user, and detecting a direction of a straight line connecting the two eyes to the eyeline direction.
제8항에 있어서, 상기 제어 단계는,
상기 시선 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제1 임계값 이하이면, 상기 디스플레이부가 상기 화면을 가로 모드로 표시하도록 제어하는 모바일 기기의 동작 방법.
The method of claim 8, wherein the controlling step,
And if the angle between the eye direction and the major axis direction of the display unit is equal to or less than a first threshold, controlling the display unit to display the screen in a landscape mode.
제10항에 있어서,
자이로 센서를 이용하여 중력 방향을 검출하는 단계; 를 더 포함하는 모바일 기기의 동작 방법.
The method of claim 10,
Detecting a direction of gravity using a gyro sensor; Operation method of the mobile device further comprising.
제11항에 있어서, 상기 제어 단계는,
상기 중력 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 소정의 제2 임계값 이상이면, 상기 디스플레이부가 화면을 가로 모드로 표시하도록 제어하는 모바일 기기의 동작 방법.
The method of claim 11, wherein the controlling step,
And if the angle between the gravity direction and the long axis direction of the display unit is greater than or equal to a second predetermined threshold, controlling the display unit to display the screen in a landscape mode.
제12항에 있어서, 상기 제어부는,
상기 중력 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 상기 제2 임계값 이하일 때, 상기 시선 방향과 상기 디스플레이부의 장축 방향 사이의 각도가 상기 제1 임계값 이상이면, 상기 디스플레이부가 화면을 세로 모드로 표시하도록 제어하는 모바일 기기의 동작 방법.13. The apparatus according to claim 12,
When the angle between the gravity direction and the long axis direction of the display unit is equal to or less than the second threshold value, and the angle between the gaze direction and the long axis direction of the display unit is equal to or greater than the first threshold value, the display unit may display the screen in a portrait mode. Method of operation of the mobile device to control the display.
KR1020120042212A 2012-04-23 2012-04-23 Mobile device and operating method thereof KR20130119223A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120042212A KR20130119223A (en) 2012-04-23 2012-04-23 Mobile device and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120042212A KR20130119223A (en) 2012-04-23 2012-04-23 Mobile device and operating method thereof

Publications (1)

Publication Number Publication Date
KR20130119223A true KR20130119223A (en) 2013-10-31

Family

ID=49637156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120042212A KR20130119223A (en) 2012-04-23 2012-04-23 Mobile device and operating method thereof

Country Status (1)

Country Link
KR (1) KR20130119223A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007328B2 (en) 2014-10-30 2018-06-26 Samsung Electronics Co., Ltd Method and apparatus for controlling screen display on electronic devices
KR20230011496A (en) * 2016-02-02 2023-01-20 이베이 인크. Personalized, real-time audio processing
WO2023229199A1 (en) * 2022-05-24 2023-11-30 삼성전자 주식회사 Operating method for determining screen display mode of electronic device, and electronic device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10007328B2 (en) 2014-10-30 2018-06-26 Samsung Electronics Co., Ltd Method and apparatus for controlling screen display on electronic devices
KR20230011496A (en) * 2016-02-02 2023-01-20 이베이 인크. Personalized, real-time audio processing
WO2023229199A1 (en) * 2022-05-24 2023-11-30 삼성전자 주식회사 Operating method for determining screen display mode of electronic device, and electronic device

Similar Documents

Publication Publication Date Title
US10506153B2 (en) Device and method for processing image in electronic device
EP3115868B1 (en) Camera-based orientation fix from portrait to landscape
JP5857257B2 (en) Display device and display direction switching method
US9430045B2 (en) Special gestures for camera control and image processing operations
AU2014230175B2 (en) Display control method and apparatus
KR102053361B1 (en) Method for performing smart rotation an electronic device thereof
KR20220151174A (en) Mobile terminal displaying an image and its control method
US9998665B2 (en) Camera mode selection based on context
US20150213580A1 (en) Display control apparatus, display control method, program, and display device
KR20130005656A (en) Method and apparatus for displaying of view mode using face recognition
KR101861377B1 (en) Method for controlling screen based on motion of mobile terminal and the mobile terminal therefor
EP2551758A1 (en) Information processing device, display switching method, program, and recording medium
JP2011221094A (en) Portable information display terminal
WO2020073967A1 (en) Horizontal and vertical screen switching method, wearable device, and apparatus having storage function
US9851750B2 (en) Method for viewing a presentation document in a mobile device and a system thereof
EP2821916B1 (en) Voice input device, voice input method and program
JP5223784B2 (en) Mobile terminal device
KR20130119223A (en) Mobile device and operating method thereof
JP6068545B2 (en) Portable information processing apparatus, photographing method thereof, and computer-executable program
US20130328934A1 (en) Display device and control method thereof
KR101233787B1 (en) Mobile-phone with 3d main display screen
US20140210651A1 (en) Adjusting method for button functions in electronic device and related apparatus
WO2020211057A1 (en) Portable electronic device and use method thereof
JP2014229233A (en) Screen control device, information processing device, display control method, and program
JP2014238750A (en) Input device, program therefor, and image display system

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application