KR102106908B1 - Mobile terminal, and method for operating the same - Google Patents

Mobile terminal, and method for operating the same Download PDF

Info

Publication number
KR102106908B1
KR102106908B1 KR1020130140071A KR20130140071A KR102106908B1 KR 102106908 B1 KR102106908 B1 KR 102106908B1 KR 1020130140071 A KR1020130140071 A KR 1020130140071A KR 20130140071 A KR20130140071 A KR 20130140071A KR 102106908 B1 KR102106908 B1 KR 102106908B1
Authority
KR
South Korea
Prior art keywords
information
image
mobile terminal
input unit
button
Prior art date
Application number
KR1020130140071A
Other languages
Korean (ko)
Other versions
KR20150057128A (en
Inventor
박민규
정인성
박상배
진기홍
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130140071A priority Critical patent/KR102106908B1/en
Publication of KR20150057128A publication Critical patent/KR20150057128A/en
Application granted granted Critical
Publication of KR102106908B1 publication Critical patent/KR102106908B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H04L12/2818—Controlling appliance services of a home automation network by calling their functionalities from a device located outside both the home and the home network

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Toxicology (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Selective Calling Equipment (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 이동 단말기, 및 그 동작방법에 관한 것이다. 본 발명의 실시예에 따른 이동 단말기는, 카메라와, 촬영 모드인 경우, 홈 어플라이언스의 입력부 또는 특정 코드를 촬영한 이미지를 표시하는 디슬플레이와, 획득된 이미지와 관련된 정보를 외부로부터 획득하는 무선 통신부와, 관련 정보를 디스플레이에 표시하도록 제어하는 제어부를 포함한다. 이에 따라, 이동 단말기는, 홈 어플라이언스의 입력부에 대한 정보를 표시할 수 있게 된다.The present invention relates to a mobile terminal and its operation method. A mobile terminal according to an embodiment of the present invention includes a camera, a display unit that displays an image of a specific code, or an input unit of a home appliance when in a shooting mode, and a wireless communication unit that acquires information related to the acquired image from the outside And a control unit controlling to display related information on a display. Accordingly, the mobile terminal can display information on the input unit of the home appliance.

Description

이동 단말기, 및 그 동작방법{Mobile terminal, and method for operating the same}A mobile terminal, and a method for operating the same}

본 발명은 이동 단말기, 및 그 동작방법에 관한 것으로, 더욱 상세하게는, 홈 어플라이언스의 입력부에 대한 정보를 표시할 수 있는 이동 단말기, 및 그 동작방법에 관한 것이다.The present invention relates to a mobile terminal, and a method for operating the same, and more particularly, to a mobile terminal capable of displaying information on an input unit of a home appliance, and a method of operating the same.

건물 내에 배치되는 홈 어플라이언스 중 냉장고는, 사용자를 위해, 음식을 저장하고, 세탁물 처리기기는 세탁물을 처리하며, 에어컨은 실내 온도를 조정하거고, 조리기기는, 음식물을 조리하는 기능 등을 수행한다.Of the home appliances placed in the building, the refrigerator stores food for the user, the laundry treatment device processes the laundry, the air conditioner adjusts the room temperature, and the cooking device performs functions such as cooking food. .

한편, 다양한 통신 방식이 발달함에 따라, 홈 어플라이언스에 대한, 사용자의 이용 편의성을 위해, 이동 단말기를 통한 서비스가 개발되고 있다. Meanwhile, with the development of various communication methods, for a home appliance, a service through a mobile terminal has been developed for user convenience.

본 발명의 목적은, 홈 어플라이언스의 입력부에 대한 정보를 표시할 수 있는 이동 단말기, 및 그 동작방법을 제공함에 있다.An object of the present invention is to provide a mobile terminal capable of displaying information on an input unit of a home appliance, and a method for operating the same.

상기 목적을 달성하기 위한 본 발명의 실시예에 따른 이동 단말기는, 카메라와, 촬영 모드인 경우, 홈 어플라이언스의 입력부 또는 특정 코드를 촬영한 이미지를 표시하는 디슬플레이와, 획득된 이미지와 관련된 정보를 외부로부터 획득하는 무선 통신부와, 관련 정보를 디스플레이에 표시하도록 제어하는 제어부를 포함한다. The mobile terminal according to an embodiment of the present invention for achieving the above object, in the case of a shooting mode, a display that displays an image of an input unit or a specific code of a home appliance, and information related to the acquired image It includes a wireless communication unit acquired from the outside, and a control unit that controls to display related information on a display.

또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 이동 단말기의 동작방법은, 촬영 모드로 진입하는 단계와, 홈 어플라이언스의 입력부 또는 특정 코드를 촬영한 이미지를 획득하는 단계와, 획득된 이미지와 관련된 정보를 외부로부터 획득하는 단계와, 관련 정보를 표시하는 단계를 포함한다.In addition, the operation method of the mobile terminal according to an embodiment of the present invention for achieving the above object, the step of entering a shooting mode, and the step of obtaining an image of the input unit or specific code of the home appliance, and the obtained image And obtaining information related to and displaying the related information.

본 발명의 실시예에 따르면, 이동 단말기는, 홈 어플라이언스의 다양한 조작 버튼이 구비되는 입력부에 대한 이미지를 획득한다. 그리고, 해당 이미지를 획득한 이동 단말기가, 서버 등으로부터, 관련 정보를 수신하여, 해당 버튼의 기능이나 사용 설명을 바로 표시하도록 한다. 이에 따라, 해당 버튼의 기능이나 사용 설명을, 사용자가 바로 확인할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있다.According to an embodiment of the present invention, the mobile terminal acquires images of an input unit equipped with various operation buttons of the home appliance. Then, the mobile terminal that acquires the corresponding image receives relevant information from a server or the like and immediately displays the function or usage description of the corresponding button. Accordingly, the function or usage description of the corresponding button can be immediately checked by the user, and user convenience can be increased.

특히, 입력부에 대한 이미지와, 관련 정보인, 해당 버튼의 기능 또는 사용 설명을 함께 표시함으로써, 사용자가, 버튼의 위치를 정확하게 보면서 가이드를 받기 때문에 쉽게 이해할 수 있게 된다.In particular, by displaying the image of the input unit and related information, such as the function or usage description of the corresponding button, the user can easily understand it because the user is guided while accurately viewing the position of the button.

한편, 본 발명의 다른 실시예에서는, 이동 단말기를 통해, 홈 어플라이언스의 특정 코드에 대한 이미지를 획득할 수 있다. 그리고, 해당 이미지를 획득한 이동 단말기가, 서버 등으로부터, 제품 모델 명 정보와, 관련 정보를 수신하여, 해당 버튼의 기능이나 사용 설명을 바로 표시하도록 한다. 이에 따라, 해당 버튼의 기능이나 사용 설명 등을, 사용자가 바로 확인할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있다.Meanwhile, in another embodiment of the present invention, an image for a specific code of a home appliance may be acquired through a mobile terminal. Then, the mobile terminal that acquires the corresponding image receives product model name information and related information from a server or the like, and immediately displays the function or usage description of the corresponding button. Accordingly, the user can immediately check the function or usage description of the corresponding button, so that the user's usability can be increased.

도 1a는 본 발명의 일실시예에 따른 이동 단말기를 포함한 통신 시스템 구성도의 일예이다.
도 1b는 도 1의 홈 어플라이언스의 간략한 내부 블록도의 일예이다.
도 2a는 도 1a의 이동 단말기를 통해 촬영한 홈 어플라이언스의 입력부 이미지를 예시한다.
도 2b는 도 2a의 이미지 기반으로 관련 정보가 표시되는 것을 예시한다.
도 3a 내지 도 3d는 이동 단말기가 다양항 홈 어플라이언스에 대한 이미지를 획득하는 것을 예시한다.
도 4a 내지 도 4b는 홈 어플라이언스의 다양한 입력부를 예시한다.
도 5는 도 1의 이동 단말기의 내부 블록도이다.
도 6은 본 발명의 일실시예에 따른 이동 단말기의 동작방법을 도시한 순서도이다.
도 7a 내지 도 9b는 도 6의 동작방법의 설명에 참조되는 도면이다. 1A is an example of a configuration diagram of a communication system including a mobile terminal according to an embodiment of the present invention.
1B is an example of a simplified interior block diagram of the home appliance of FIG. 1.
FIG. 2A illustrates an image of an input unit of a home appliance taken through the mobile terminal of FIG. 1A.
FIG. 2B illustrates that related information is displayed based on the image of FIG. 2A.
3A to 3D illustrate that a mobile terminal acquires images for various home appliances.
4A to 4B illustrate various inputs of the home appliance.
5 is an internal block diagram of the mobile terminal of FIG. 1.
6 is a flowchart illustrating an operation method of a mobile terminal according to an embodiment of the present invention.
7A to 9B are views referred to for explanation of the operation method of FIG. 6.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, the present invention will be described in more detail with reference to the drawings.

이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.The suffixes "modules" and "parts" for components used in the following description are given simply by considering the ease of writing the present specification, and do not give meanings or roles particularly important in themselves. Therefore, the "module" and the "unit" may be used interchangeably.

도 1a는 본 발명의 일실시예에 따른 이동 단말기를 포함한 통신 시스템 구성도의 일예이다. 1A is an example of a configuration diagram of a communication system including a mobile terminal according to an embodiment of the present invention.

도면을 참조하면, 본 발명의 일실시예에 따른 통신 시스템(10)은, 홈 어플라이언스(200), 이동 단말기(600), 및 서버(500)를 포함할 수 있다.Referring to the drawings, the communication system 10 according to an embodiment of the present invention may include a home appliance 200, a mobile terminal 600, and a server 500.

특히, 본 발명의 실시예와 관련하여, 이동 단말기(600)는, 구비되는 카메라를 이용하여, 홈 어플라이언스(200)를 촬영하고, 촬영된 이미지를 획득할 수 있다. 특히, 홈 어플라이언스(200)의 특정 영역 이미지를 획득할 수 있다. Particularly, in relation to the embodiment of the present invention, the mobile terminal 600 may capture the home appliance 200 and acquire a photographed image using a provided camera. In particular, a specific area image of the home appliance 200 may be acquired.

예를 들어, 홈 어플라이언스(200)의 다양한 조작 버튼이 구비되는 입력부에 대한 이미지를 획득할 수 있다.For example, an image of an input unit equipped with various operation buttons of the home appliance 200 may be acquired.

세탁기, 조리기기 등의 홈 어플라이언스에서, 사용자 기호에 맞는 기능이 증가됨에 따라, 입력부에서의 버튼의 개수가 많아지는 추세이다. 이에 따라, 입력부 내의 여러 버튼을 직접 눌러보고 그 결과를 확인해야, 해당 버튼의 동작 방식 및 기능을 학습해야 한다.In a home appliance such as a washing machine or a cooking appliance, the number of buttons in the input unit tends to increase as functions corresponding to user preferences increase. Accordingly, it is necessary to directly press several buttons in the input unit and check the result, to learn the operation method and function of the corresponding button.

본 발명의 일실시예에서는, 이동 단말기(600)를 통해, 홈 어플라이언스(200)의 다양한 조작 버튼이 구비되는 입력부에 대한 이미지를 획득한다. 그리고, 해당 이미지를 획득한 이동 단말기(600)가, 서버(500) 등으로부터, 관련 정보를 수신하여, 해당 버튼의 기능이나 사용 설명을 바로 표시하도록 한다. 이에 따라, 해당 버튼의 기능이나 사용 설명을, 사용자가 바로 확인할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있다.In one embodiment of the present invention, through the mobile terminal 600, images of an input unit equipped with various operation buttons of the home appliance 200 are acquired. Then, the mobile terminal 600 that acquires the corresponding image receives relevant information from the server 500 or the like, and immediately displays the function or usage description of the corresponding button. Accordingly, the function or usage description of the corresponding button can be immediately checked by the user, and user convenience can be increased.

특히, 입력부에 대한 이미지와, 관련 정보인, 해당 버튼의 기능 또는 사용 설명을 함께 표시함으로써, 사용자가, 버튼의 위치를 정확하게 보면서 가이드를 받기 때문에 쉽게 이해할 수 있게 된다.In particular, by displaying the image of the input unit and related information, such as the function or usage description of the corresponding button, the user can easily understand it because the user is guided while accurately viewing the position of the button.

한편, 본 발명의 다른 실시예에서는, 이동 단말기(600)를 통해, 홈 어플라이언스(200)의 특정 코드(예를 들어, QR 코드)에 대한 이미지를 획득할 수 있다. 그리고, 해당 이미지를 획득한 이동 단말기(600)가, 서버(500) 등으로부터, 제품 모델 명 정보와, 관련 정보를 수신하여, 해당 버튼의 기능이나 사용 설명을 바로 표시하도록 한다. 이에 따라, 해당 버튼의 기능이나 사용 설명을, 사용자가 바로 확인할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있다.Meanwhile, in another embodiment of the present invention, an image for a specific code (eg, QR code) of the home appliance 200 may be acquired through the mobile terminal 600. Then, the mobile terminal 600 that acquires the corresponding image receives product model name information and related information from the server 500 or the like, and immediately displays the function or usage description of the corresponding button. Accordingly, the function or usage description of the corresponding button can be immediately checked by the user, and user convenience can be increased.

도 1b는 도 1의 홈 어플라이언스의 간략한 내부 블록도의 일예이다.1B is an example of a simplified interior block diagram of the home appliance of FIG. 1.

도면을 참조하면, 홈 어플라이언스(200)는, 사용자 입력을 위한 입력부(220), 홈 어플라이언스의 동작 상태 등을 표시하는 표시부(230), 홈 어플라이언스를 구동하는 구동부(245), 및 내부 제어를 위한 제어부(270)를 포함할 수 있다.Referring to the drawings, the home appliance 200 includes an input unit 220 for user input, a display unit 230 for displaying an operation state of the home appliance, a driving unit 245 for driving the home appliance, and internal control. Control unit 270 may be included.

예를 들어, 홈 어플라이언스가 냉장고인 경우, 구동부(245)는, 냉장실 구동부, 냉동실 구동부를 포함할 수 있다. For example, when the home appliance is a refrigerator, the driving unit 245 may include a refrigerator compartment driving unit and a freezing compartment driving unit.

다른 예로, 홈 어플라이언스가 세탁기인 경우, 구동부(245)는, 드럼 또는 터브를 구동하는 구동부일 수 있다. As another example, when the home appliance is a washing machine, the driving unit 245 may be a driving unit that drives a drum or tub.

또, 다른 예로, 홈 어플라이언스가 에어컨인 경우, 구동부(245)는, 실외기 내의 압축기 구동부, 실외기 팬 구동부, 실내기 팬 구동부를 포함할 수 있다.In another example, when the home appliance is an air conditioner, the driving unit 245 may include a compressor driving unit in the outdoor unit, an outdoor unit fan driving unit, and an indoor unit fan driving unit.

또, 다른 예로, 홈 어플라이언스가 조리기기인 경우, 구동부(245)는, 캐비티 내로 마이크로웨이브를 출력하는 마이크로웨이브 구동부를 포함할 일 수 있다. In another example, when the home appliance is a cooking appliance, the driving unit 245 may include a microwave driving unit that outputs microwaves into the cavity.

또, 다른 예로, 홈 어플라이언스가 청소기인 경우, 구동부(245)는, 팬 모터 구동부를 포함할 수 있다. In another example, when the home appliance is a vacuum cleaner, the driving unit 245 may include a fan motor driving unit.

도 2a는 도 1a의 이동 단말기를 통해 촬영한 홈 어플라이언스의 입력부 이미지를 예시한다.FIG. 2A illustrates an image of an input unit of a home appliance taken through the mobile terminal of FIG. 1A.

도면을 참조하면, 이동 단말기(600)는 촬영 모드로 진입한 후, 카메라를 활성화하여, 조리기기에 대한 입력부 이미지를 획득할 수 있다. 그리고, 촬영된 입력부 이미지(700)를 디스플레이(180)에 표시할 수 있다.Referring to the drawing, after entering the shooting mode, the mobile terminal 600 may activate the camera to obtain an input unit image for the cooking appliance. Then, the photographed input unit image 700 may be displayed on the display 180.

도면에서는, 조리기기(200d)에 대한 입력부 이미지(700)가, 제1 버튼 항목(221d), 제2 버튼 항목(222d), 제3 버튼 항목(223d)을 구비하는 것을 예시한다.In the drawing, it is illustrated that the input unit image 700 for the cooking appliance 200d includes a first button item 221d, a second button item 222d, and a third button item 223d.

제1 버튼 항목(221d)은, -와 +로 이루어져서, 시간 조절 항목인지 여부에 대해, 사용자가 혼선을 느낄 수 있다. 따라서, 사용자가 실제 이 버튼을 눌러보고 조리기기의 동작을 살펴 본 후, 이 버튼의 기능을 파악하게 된다.The first button item 221d is composed of-and +, so that the user may feel confusion as to whether or not it is a time adjustment item. Therefore, after the user actually presses this button and looks at the operation of the cooking appliance, the function of this button is grasped.

이러한 점을 해결하고자, 본 발명의 실시예에 따른 이동 단말기(600)는, 홈 어플라이언스의 특정 영역 촬영된 이미지가 획득되는 경우, 해당 촬영 이미지와 관련된 정보를 획득하기 위해, 서버(500)와 데이터 통신을 수행할 수 있다.In order to solve this problem, the mobile terminal 600 according to an embodiment of the present invention, when a specific region of the home appliance is captured image is acquired, in order to obtain information related to the captured image, the server 500 and data Communication can be performed.

예를 들어, 이동 단말기(600)는, 획득된 이미지를 서버(500)로 전송하고, 해당 이미지에 대한 관련 정보를 요청할 수 있다. 이때의 서버(500)는, 홈 어플라이언스 제조사가 운영하는 서버일 수 있다.For example, the mobile terminal 600 may transmit the acquired image to the server 500 and request related information about the corresponding image. At this time, the server 500 may be a server operated by a home appliance manufacturer.

또는, 이동 단말기(600)는, 획득된 이미지에 대한 이미지 프로세싱을 수행하고, 해당 이미지의 제품 종류, 제품명 등을 획득한 이후, 해당 제품에 대한 관련 정보 요청을 서버(500)에 전송하고, 관련 정보를 서버(500)로부터 수신할 수 있다.Alternatively, the mobile terminal 600 performs image processing on the acquired image, and after obtaining the product type, product name, etc. of the image, transmits a request for related information about the product to the server 500, and relates Information may be received from the server 500.

도 2b는 도 2a의 이미지 기반으로 관련 정보가 표시되는 것을 예시한다.FIG. 2B illustrates that related information is displayed based on the image of FIG. 2A.

도면을 참조하면, 이동 단말기(600)는, 서버(500) 등으로부터 수신한 이미지 기반 관련 정보를 획득한 이미지 상에 표시할 수 있다.Referring to the drawings, the mobile terminal 600 may display image-based related information received from the server 500 or the like on the acquired image.

도면에서는, 이동 단말기(600)가, 조리기기(200d)에 대한 입력부 이미지(700) 상에, 각 버튼에 대한, 설명 보기 항목(710,720,730)을 표시하는 것을 예시한다. 그리고, 어느 하나의 설명 보기 항목을 선택하는 경우, 해당 항목에 대한, 기능이나 사용 설명을 바로 표시할 수 있게 된다. 이에 따라, 사용자는 간편하게, 해당 홈 어플라이언스의 입력부의 특정 버튼에 대한 기능을 직관적으로 파악할 수 있게 된다.In the drawing, it is illustrated that the mobile terminal 600 displays description view items 710, 720, and 730 for each button on the input unit image 700 for the cooking appliance 200d. In addition, when one of the description view items is selected, a function or a usage description of the corresponding item can be displayed immediately. Accordingly, the user can intuitively grasp the function of a specific button of the input unit of the corresponding home appliance.

본 발명에서 적용되는 홈 어플라이언스는, 다양한 예가 가능하다. 이에 대해서는 도 3a 내지 도 3d를 통해 예시한다.Various examples of the home appliance applied in the present invention are possible. This is illustrated through FIGS. 3A to 3D.

도 3a 내지 도 3d는 이동 단말기가 다양항 홈 어플라이언스에 대한 이미지를 획득하는 것을 예시한다.3A to 3D illustrate that a mobile terminal acquires images for various home appliances.

도 3a는, 홈 어플라이언스의 예로, 냉장고(200a)를 예시하며, 이동 단말기(600)가, 냉장고(200a)의 입력부를 촬영하여, 냉장고(200a)의 입력부 이미지를 획득하는 것을 예시한다.3A, as an example of a home appliance, illustrates the refrigerator 200a, and illustrates that the mobile terminal 600 acquires an image of the input unit of the refrigerator 200a by photographing the input unit of the refrigerator 200a.

도 3b는, 홈 어플라이언스의 예로, 세탁기(200b)를 예시하며, 이동 단말기(600)가, 세탁기(200b)의 입력부를 촬영하여, 세탁기(200b)의 입력부 이미지를 획득하는 것을 예시한다.3B illustrates, as an example of a home appliance, a washing machine 200b, and illustrates that the mobile terminal 600 photographs an input portion of the washing machine 200b to obtain an image of the input portion of the washing machine 200b.

도 3c는, 홈 어플라이언스의 예로, 에어컨(200c)을 예시하며, 이동 단말기(600)가, 에어컨(200c)의 입력부를 촬영하여, 에어컨(200c)의 입력부 이미지를 획득하는 것을 예시한다.3C illustrates an air conditioner 200c as an example of a home appliance, and illustrates that the mobile terminal 600 acquires an input portion image of the air conditioner 200c by photographing the input portion of the air conditioner 200c.

도 3d는, 홈 어플라이언스의 예로, 조리기기(200d)를 예시하며, 이동 단말기(600)가, 조리기기(200d)의 입력부를 촬영하여, 조리기기(200d)의 입력부 이미지를 획득하는 것을 예시한다.3D, as an example of a home appliance, illustrates the cooking appliance 200d, and the mobile terminal 600 photographs an input unit of the cooking appliance 200d to obtain an image of the input unit of the cooking appliance 200d. .

그 외, 청소기 등 다양한 예가 가능하다. In addition, various examples such as a vacuum cleaner are possible.

도 4a 내지 도 4b는 홈 어플라이언스의 다양한 입력부를 예시한다.4A to 4B illustrate various inputs of the home appliance.

먼저, 도 4a는 세탁기(200b)의 입력부(405)의 일예를 예시한다. First, FIG. 4A illustrates an example of the input unit 405 of the washing machine 200b.

도 4a의 입력부(405)를 살펴보면, 각 종 Hi 버튼과 Lo 버튼 등이 있으며 숫자 버튼 등이 있는 것을 알 수 있다. 사용자는, 이러한 버튼들을 눌러보고, 세탁기를 동작시켜야, 해당 버튼의 기능 등을 파악할 수 있게 된다.Looking at the input unit 405 of Figure 4a, it can be seen that there are various types of Hi buttons, Lo buttons, and the like, and numeric buttons. The user needs to press these buttons and operate the washing machine to grasp the functions of the buttons.

다음, 도 4b는 세탁기(200b)의 입력부(405)의 다른 예를 예시한다. Next, FIG. 4B illustrates another example of the input unit 405 of the washing machine 200b.

도 4b의 입력부(410)를 살펴보면, 휠 키 등의 각 종 버튼 등이 있는 것을 알 수 있다. 사용자는, 이러한 버튼들을 눌러보고, 세탁기를 동작시켜야, 해당 버튼의 기능 등을 파악할 수 있게 된다.Looking at the input unit 410 of Figure 4b, it can be seen that there are various types of buttons such as wheel keys. The user needs to press these buttons and operate the washing machine to grasp the functions of the buttons.

도 5는 도 1의 이동 단말기의 내부 블록도이다.5 is an internal block diagram of the mobile terminal of FIG. 1.

도 5를 참조하면, 이동 단말기(600)는, 무선 통신부(610), A/V(Audio/Video) 입력부(620), 사용자 입력부(630), 센싱부(640), 출력부(650), 메모리(660), 인터페이스부(670), 제어부(680), 및 전원 공급부(690)를 포함할 수 있다. Referring to FIG. 5, the mobile terminal 600 includes a wireless communication unit 610, an audio / video (A / V) input unit 620, a user input unit 630, a sensing unit 640, and an output unit 650, It may include a memory 660, an interface unit 670, a control unit 680, and a power supply unit 690.

한편, 무선 통신부(610)는, 방송수신 모듈(611), 이동통신 모듈(613), 무선 인터넷 모듈(615), NFC 모듈(617), 및 GPS 모듈(619) 등을 포함할 수 있다.Meanwhile, the wireless communication unit 610 may include a broadcast reception module 611, a mobile communication module 613, a wireless Internet module 615, an NFC module 617, and a GPS module 619.

방송수신 모듈(611)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신할 수 있다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. The broadcast receiving module 611 may receive at least one of a broadcast signal and broadcast-related information from an external broadcast management server through a broadcast channel. At this time, the broadcast channel may include a satellite channel, a terrestrial channel, and the like.

방송수신 모듈(611)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(660)에 저장될 수 있다.The broadcast signal and / or broadcast-related information received through the broadcast receiving module 611 may be stored in the memory 660.

이동통신 모듈(613)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. The mobile communication module 613 transmits and receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network. Here, the wireless signal may include a voice call signal, a video call signal, or various types of data according to transmission / reception of text / multimedia messages.

무선 인터넷 모듈(615)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(615)은 이동 단말기(600)에 내장되거나 외장될 수 있다. 예를 들어, 무선 인터넷 모듈(615)은, WiFi 기반의 무선 통신 또는 WiFi Direct 기반의 무선 통신을 수행할 수 있다.The wireless Internet module 615 refers to a module for wireless Internet access, and the wireless Internet module 615 may be built in or external to the mobile terminal 600. For example, the wireless Internet module 615 may perform WiFi-based wireless communication or WiFi Direct-based wireless communication.

NFC 모듈(617)은 근거리 자기장 통신을 수행할 수 있다. NFC 모듈(617)은, NFC 태그 또는 NFC 모듈이 탑재된 홈 어플라이언스와 소정 거리 이내로 접근하는 경우, 즉 태깅하는 경우, 해당 홈 어플라이언스로부터 데이터를 수신하거나, 해당 홈 어플라이언스로 데이터를 전송할 수 있다. The NFC module 617 may perform short-range magnetic field communication. The NFC module 617 may receive data from the home appliance or transmit data to the home appliance when approaching within a predetermined distance from a home appliance equipped with an NFC tag or NFC module, that is, when tagging.

그 외, 근거리 통신 기술로서, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다. In addition, Bluetooth, Bluetooth (Radio Frequency Identification), infrared communication (IrDA, infrared data association), UWB (Ultra Wideband), ZigBee, etc. may be used as the short-range communication technology.

GPS(Global Position System) 모듈(619)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신할 수 있다. The Global Position System (GPS) module 619 may receive location information from a plurality of GPS satellites.

A/V(Audio/Video) 입력부(620)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(621)와 마이크(623) 등이 포함될 수 있다. The A / V (Audio / Video) input unit 620 is for inputting an audio signal or a video signal, which may include a camera 621 and a microphone 623.

사용자 입력부(630)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 이를 위해, 사용자 입력부(630)는, 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전) 등으로 구성될 수 있다. 특히, 터치 패드가 디스플레이(651)와 상호 레이어 구조를 이룰 경우, 이를 터치스크린(touch screen)이라 부를 수 있다.The user input unit 630 generates key input data input by the user to control the operation of the terminal. To this end, the user input unit 630 may be configured with a key pad, a dome switch, a touch pad (static pressure / blackout), and the like. In particular, when the touch pad forms a mutual layer structure with the display 651, it may be referred to as a touch screen.

센싱부(640)는 이동 단말기(600)의 개폐 상태, 이동 단말기(600)의 위치, 사용자 접촉 유무 등과 같이 이동 단말기(600)의 현 상태를 감지하여 이동 단말기(600)의 동작을 제어하기 위한 센싱 신호를 발생시킬 수 있다.The sensing unit 640 detects the current state of the mobile terminal 600, such as an open / closed state of the mobile terminal 600, a location of the mobile terminal 600, or a user contact, to control the operation of the mobile terminal 600. Sensing signals can be generated.

센싱부(640)는, 감지센서(641), 압력센서(643), 및 모션 센서(645) 등을 포함할 수 있다. 모션 센서(645)는 가속도 센서, 자이로 센서, 중력 센서 등을 이용하여 이동 단말기(600)의 움직임이나 위치 등을 감지할 수 있다. 특히, 자이로 센서는 각속도를 측정하는 센서로서, 기준 방향에 대해 돌아간 방향(각도)을 감지할 수 있다. The sensing unit 640 may include a sensing sensor 641, a pressure sensor 643, and a motion sensor 645. The motion sensor 645 may detect the movement or position of the mobile terminal 600 using an acceleration sensor, a gyro sensor, a gravity sensor, and the like. In particular, the gyro sensor is a sensor that measures angular velocity, and can detect a direction (angle) that has been turned relative to a reference direction.

출력부(650)는 디스플레이(651), 음향출력 모듈(653), 알람부(655), 및 햅틱 모듈(657) 등을 포함할 수 있다.The output unit 650 may include a display 651, an audio output module 653, an alarm unit 655, and a haptic module 657.

디스플레이(651)는 이동 단말기(600)에서 처리되는 정보를 표시 출력한다. The display 651 displays and outputs information processed by the mobile terminal 600.

한편, 전술한 바와 같이, 디스플레이(651)와 터치패드가 상호 레이어 구조를 이루어 터치스크린으로 구성되는 경우, 디스플레이(651)는 출력 장치 이외에 사용자의 터치에 의한 정보의 입력이 가능한 입력 장치로도 사용될 수 있다. On the other hand, as described above, when the display 651 and the touch pad are configured as a touch screen by forming a mutual layer structure, the display 651 may also be used as an input device capable of inputting information by a user's touch in addition to an output device. You can.

음향출력 모듈(653)은 무선 통신부(610)로부터 수신되거나 메모리(660)에 저장된 오디오 데이터를 출력한다. 이러한 음향출력 모듈(653)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.The sound output module 653 outputs audio data received from the wireless communication unit 610 or stored in the memory 660. The sound output module 653 may include a speaker, a buzzer, and the like.

알람부(655)는 이동 단말기(600)의 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 진동 형태로 신호를 출력할 수 있다. .The alarm unit 655 outputs a signal for notifying the occurrence of the event of the mobile terminal 600. For example, a signal can be output in the form of vibration. .

햅틱 모듈(haptic module)(657)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(657)이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. The haptic module 657 generates various tactile effects that the user can feel. A typical example of the tactile effect generated by the haptic module 657 is a vibration effect.

메모리(660)는 제어부(680)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다. The memory 660 may store a program for processing and control of the control unit 680, and provide a function for temporarily storing input or output data (for example, a phone book, a message, a still image, a video, etc.). You can also do

인터페이스부(670)는 이동 단말기(600)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 인터페이스부(670)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 이동 단말기(600) 내부의 각 구성 요소에 전달할 수 있고, 이동 단말기(600) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.The interface unit 670 serves as an interface with all external devices connected to the mobile terminal 600. The interface unit 670 may receive data from such an external device or receive power and transmit it to each component inside the mobile terminal 600, and allow data inside the mobile terminal 600 to be transmitted to the external device. .

제어부(680)는 통상적으로 상기 각부의 동작을 제어하여 이동 단말기(600)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행할 수 있다. 또한, 제어부(680)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(681)을 구비할 수도 있다. 멀티미디어 재생 모듈(681)은 제어부(680) 내에 하드웨어로 구성될 수도 있고, 제어부(680)와 별도로 소프트웨어로 구성될 수도 있다.The control unit 680 typically controls the operation of each part to control the overall operation of the mobile terminal 600. For example, it may perform related control and processing for voice calls, data communication, video calls, and the like. Also, the control unit 680 may include a multimedia playback module 681 for multimedia playback. The multimedia playback module 681 may be configured with hardware in the control unit 680 or may be configured with software separately from the control unit 680.

전원 공급부(690)는, 제어부(680)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.The power supply unit 690 receives external power and internal power under the control of the control unit 680 and supplies power required for the operation of each component.

한편, 도 5에 도시된 이동 단말기(600)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 이동 단말기(600)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.Meanwhile, a block diagram of the mobile terminal 600 shown in FIG. 5 is a block diagram for an embodiment of the present invention. Each component of the block diagram may be integrated, added, or omitted depending on the specification of the mobile terminal 600 that is actually implemented. That is, two or more components may be combined into one component, or one component may be divided into two or more components as necessary. In addition, the function performed in each block is for explaining an embodiment of the present invention, the specific operation or device does not limit the scope of the present invention.

도 6은 본 발명의 일실시예에 따른 이동 단말기의 동작방법을 도시한 순서도이고, 도 7a 내지 도 9b는 도 6의 동작방법의 설명에 참조되는 도면이다. 6 is a flowchart illustrating an operation method of a mobile terminal according to an embodiment of the present invention, and FIGS. 7A to 9B are diagrams referred to for explanation of the operation method of FIG. 6.

도면을 참조하면, 먼저, 이동 단말기(600)는 촬영 모드로 진입한다(S610). 그리고, 이동 단말기(600)는, 촬영 모드 하에서, 홈 어플라이언스로부터 특정 영역에 대한 이미지를 획득한다(S620).Referring to the drawings, first, the mobile terminal 600 enters a shooting mode (S610). Then, the mobile terminal 600, under the shooting mode, acquires an image for a specific area from the home appliance (S620).

이동 단말기(600)의 제어부(680)는, 사용자의 조작에 따라, 촬영 모드로 진입하도록 제어할 수 있다. 이에 의해, 카메라(621)가 활성화되며, 카메라(621)로부터 촬영된 이미지가, 제어부(680)로 수신된다.The control unit 680 of the mobile terminal 600 may control to enter the shooting mode according to a user's operation. Thereby, the camera 621 is activated, and an image photographed from the camera 621 is received by the control unit 680.

이때, 사용자가, 카메라(621)를 홈 어플라이언스의 입력부 또는 특정 코드 방향으로 향하도록 움직이는 경우, 이동 단말기(600)의 제어부(680)는, 촬영 모드 하에서, 홈 어플라이언스로부터 특정 영역, 예를 들어, 입력부 이미지 또는 특정 코드에 대한 이미지를 획득할 수 있다. 이때, 특정 코드는, QR 코드를 포함할 수 있다.At this time, when the user moves the camera 621 to the input direction of the home appliance or a specific code direction, the control unit 680 of the mobile terminal 600, under the shooting mode, a specific area from the home appliance, for example, It is possible to acquire an image of an input unit or a specific code. At this time, the specific code may include a QR code.

다음, 이동 단말기(600)는, 획득된 특정 이미지와 관련된 정보를 외부로부터 획득한다(S630). 그리고, 획득된 특정 이미지와 관련된 정보를 표시한다(S640).Next, the mobile terminal 600 acquires information related to the obtained specific image from the outside (S630). Then, information related to the obtained specific image is displayed (S640).

상술한 바와 같이, 본 발명의 실시예에서는, 사용자의 이용 편의를 위해, 홈 어플라이언스의 입력부에 대한 기능 또는 사용 설명에 대한 정보를 획득한다.As described above, in an embodiment of the present invention, for user convenience, information on a function or a description of use of an input unit of a home appliance is acquired.

이를 위해, 이동 단말기(600)의 무선 통신부(610)는, 홈 어플라이언스의 입력부 또는 특정 코드에 대한 이미지를 서버(500)로 전송하고, 서버(500)로부터 이미지와 관련된 정보를 수신할 수 있다.To this end, the wireless communication unit 610 of the mobile terminal 600 may transmit an image of an input unit or a specific code of the home appliance to the server 500 and receive information related to the image from the server 500.

또는, 이동 단말기(600)의 무선 통신부(610)는, 제어부(680)에서 미리 획득된 이미지에 대한 이미지 프로세싱이 수행되어, 이미지 내의 입력부의 종류 등에 대해 파악이 완료된 경우, 이미지 내의 입력부에 대한 기능 또는 사용 설명에 대한 정보 요청을 서버(500)로 전송하고, 입력부에 대한 기능 또는 사용 설명에 대한 정보를 수신할 수 있다.Alternatively, when the wireless communication unit 610 of the mobile terminal 600 performs image processing on the image previously acquired by the control unit 680, and the identification of the type of the input unit in the image is completed, a function for the input unit in the image Alternatively, a request for information on the usage description may be transmitted to the server 500 and information on a function or usage description on the input unit may be received.

그리고, 이동 단말기(600)의 제어부(170)는, 서버(500)로부터 수신되는, 홈 어플라이언스의 입력부 내의 복수의 버튼 중 적어도 하나의 대한 정보를, 디스플레이(651)에 표시하도록 제어할 수 있다. 이때, 촬영된 이미지와 관련 정보는, 함께 표시될 수 있다.In addition, the control unit 170 of the mobile terminal 600 may control to display information on at least one of a plurality of buttons in the input unit of the home appliance, which is received from the server 500, on the display 651. At this time, the captured image and related information may be displayed together.

이에 따라, 홈 어플라이언스의 입력부의 버튼의 기능이나 사용 설명을, 사용자가 바로 확인할 수 있게 되어, 사용자의 이용 편의성이 증대될 수 있다.Accordingly, the user can immediately check the function or use description of the button of the input unit of the home appliance, so that user convenience can be increased.

한편, 이동 단말기(600)의 제어부(170)는, 관련 정보 표시시, 입력부 내의 복수의 버튼 중 관련 정보가 수신된 버튼과, 관련 정보가 수신되지 못한 버튼을, 구분하여 표시할 수 있다. 이에 의해, 사용자가, 기능 확인이 가능한 버튼을 구분할 수 있게 된다. On the other hand, the control unit 170 of the mobile terminal 600, when displaying the related information, may display a button for which the related information has been received, and a button for which the related information has not been received, from a plurality of buttons in the input unit. Thereby, the user can distinguish the buttons capable of confirming the function.

예를 들어, 관련 정보가 수신되지 못한 버튼이나 그 주변 영역은, 휘도가 낮거나, 색상 등이 더 어둡고, 관련 정보가 수신되는 버튼이나 그 주변 영역은, 휘도가 높거나 색상이 더 밝을 수 있다.For example, a button or its surrounding area where the related information has not been received may have a low luminance or a darker color, and a button or its surrounding area where the related information may be received may have a higher luminance or a brighter color. .

한편, 이동 단말기(600)의 제어부(170)는, 관련 정보 표시시, 획득된 이미지 내에서, 포커싱된 버튼에 대한, 관련 정보를, 다른 버튼에 대한 관련 정보와 구분하여 표시할 수 있다. 예를 들어, 포커싱된 버튼에 대한 정보가, 색상,휘도,크기 등에 의해, 하이라이트되어 표시될 수 있다. 이에 의해, 사용자가, 관심 있어 하는 버튼에 대한 기능 확인을 간단하게 수행할 수 있게 된다. On the other hand, the controller 170 of the mobile terminal 600, when displaying the related information, in the obtained image, for the focused button, related information, can be displayed separately from the related information for other buttons. For example, information about the focused button may be displayed by being highlighted by color, luminance, size, or the like. Thereby, the user can easily perform the function check for the button of interest.

도 7a는, 도 6의 제620 단계(S620)에 대응하며, 조리기기(200d)의 입력부에 대한 이미지(700)를, 이동 단말기(600)가 획득하는 것을 예시한다.FIG. 7A corresponds to step 620 (S620) of FIG. 6, and illustrates that the mobile terminal 600 acquires the image 700 for the input unit of the cooking appliance 200d.

이동 단말기(600)는 획득된 이미지(700)를, 서버(500)로 전송할 수 있다. 그리고, 서버(500)로부터 이미지(700) 내의 입력부와 관련한 정보를 수신할 수 있다. 특히, 버튼에 대한 기능 또는 설명 설명에 대한 정보를 수신할 수 있다.The mobile terminal 600 may transmit the acquired image 700 to the server 500. In addition, information related to an input unit in the image 700 may be received from the server 500. In particular, it is possible to receive information about a function or description of a button.

도 7b는, 도 6의 제640 단계(S640)에 대응하며, 조리기기(200d)의 입력부에 관한 정보를, 이미지(700)와 함께, 이동 단말기(600)에 표시되는 것을 예시한다.FIG. 7B corresponds to step 640 of FIG. 6 (S640), and illustrates that information on the input unit of the cooking appliance 200d is displayed on the mobile terminal 600 together with the image 700.

도면에서는, 이동 단말기(600)가, 조리기기(200d)에 대한 입력부 이미지(700) 상에, 각 버튼에 대한, 설명 보기 항목(710,720,730)을 표시하는 것을 예시한다. 그리고, 어느 하나의 설명 보기 항목을 선택하는 경우, 해당 항목에 대한, 기능이나 사용 설명을 바로 표시할 수 있게 된다. 이에 따라, 사용자는 간편하게, 해당 홈 어플라이언스의 입력부의 특정 버튼에 대한 기능을 직관적으로 파악할 수 있게 된다.In the drawing, it is illustrated that the mobile terminal 600 displays description view items 710, 720, and 730 for each button on the input unit image 700 for the cooking appliance 200d. In addition, when one of the description view items is selected, a function or a usage description of the corresponding item can be displayed immediately. Accordingly, the user can intuitively grasp the function of a specific button of the input unit of the corresponding home appliance.

도 7c는, 조리기기(200d)에 대한 입력부 이미지(700) 상에, 각 버튼에 대한, 설명 보기 항목(710,720,730) 중 어느 하나를, 선택되는 것을 예시한다.FIG. 7C illustrates that, on the input unit image 700 for the cooking appliance 200d, one of the description view items 710, 720, and 730 for each button is selected.

특히, 사용자의 손가락(780) 터치 입력에 의해, 제1 내지 제3 보기 항목(710,720,730) 중 어느 하나를 선택하는 것을 예시한다.In particular, it is illustrated that one of the first to third viewing items 710, 720 and 730 is selected by a user's finger 780 touch input.

도 7d는 제1 내지 제3 보기 항목(710,720,730) 중 어느 하나 제1 보기 항목(720)이 선택되어, 제1 보기 항목에 대응하는 정보가 표시되는 것을 예시한다.7D illustrates that one of the first to third view items 710, 720, and 730 is selected, and information corresponding to the first view item is displayed.

즉, -와 +로 이루어진 제1 버튼 항목(221d)에 대한 기능 또는 사용 설명에 대한 가이드 정보가 표시될 수 있다.That is, guide information for a function or a description of use of the first button item 221d consisting of-and + may be displayed.

도면에서는, '이 키를 누르면....가변 조리가 가능하며...'와 같은, 정보(790)가 표시되는 것을 예시한다. 이에 따라, 사용자는 관련 정보를 간편하게 파악할 수 있게 된다.In the drawing, it is exemplified that information 790 is displayed, such as 'If this key is pressed .... variable cooking is possible ...'. Accordingly, the user can easily grasp the related information.

한편, 도 7e는 사용자가 복수의 버튼 항목들(221d,222d,223d) 중 제2 버튼 항목(222d)을 포커싱하는 것을 예시한다. 즉, 줌인 입력에 의해, 제2 버튼 항목(222d)을 포커싱하는 것을 예시한다.Meanwhile, FIG. 7E illustrates that the user focuses the second button item 222d among the plurality of button items 221d, 222d, and 223d. That is, it is illustrated that the second button item 222d is focused by the zoom-in input.

이에 따라, 이동 단말기(600)는, 별도의 터치 입력 없이도, 제1 내지 제3 보기 항목(710,720,730) 중 제2 보기 항목(720)만을 표시하도록 제어할 수도 있다. 또는, 도면과 달리, 제1 내지 제3 보기 항목(710,720,730)을 모두 표시하면서, 제2 보기 항목(720)을 하이라이트 표시하는 것도 가능하다. 이에 의해, 간편하게, 사용자는 관심 있는 제2 버튼 항목(222d)에 대한 정보를 용이하게 파악할 수 있게 된다.Accordingly, the mobile terminal 600 may control to display only the second view item 720 among the first to third view items 710, 720, and 730 without a separate touch input. Alternatively, unlike the drawing, it is also possible to highlight the second view item 720 while displaying all of the first to third view items 710, 720, and 730. Accordingly, the user can easily grasp information on the second button item 222d of interest.

도 8은 세탁기(200b)의 입력부에 대한 이미지(900)를 이동 단말기(600)가 획득하고, 세탁기(200b)의 입력부 중 휠 키(910)에 대한 관련 정보(920)를, 표시하는 것을 예시한다.8 illustrates that the mobile terminal 600 acquires an image 900 for the input unit of the washing machine 200b, and displays relevant information 920 about the wheel key 910 among the input units of the washing machine 200b. do.

구체적으로, '좌우로 돌리면 코스가 선택됩니다'와 같은 정보(920)가, 서버(500)로부터 획득되어, 표시될 수 있다. 이에 의해, 사용자는 간편하게, 해당 버턴에 대한 정보를 파악할 수 있게된다.Specifically, information 920 such as 'turn to the left or right to select a course' may be obtained from the server 500 and displayed. Accordingly, the user can easily grasp the information on the button.

다음, 도 9a 내지 도 9b는 본 발명의 다른 실시예로서, 홈 어플라이언스(200)에 부착된 QR 코드(1000)를 이동 단말기(600)가 획득하고, 이동 단말기(600)가, QR 코드에 기록된 정보에 기반하여, 해당 홈 어플라이언스에 대한 정보, 특히, 입력부에 대한 정보를 표시하는 것을 예시한다.Next, FIGS. 9A to 9B are other embodiments of the present invention, the mobile terminal 600 acquires the QR code 1000 attached to the home appliance 200, and the mobile terminal 600 records the QR code in the QR code. Based on the information, it is exemplified to display information about a corresponding home appliance, in particular, information about an input unit.

먼저, 도 9a는 이동 단말기(600)가, 촬영 모드에서, 카메라(621)를 통해, 홈 어플라이언스(200)에 부착된 QR 코드 마크(1000)를 포함하는 이미지(1010)를 획득하는 것을 예시한다.First, FIG. 9A illustrates that the mobile terminal 600 acquires the image 1010 including the QR code mark 1000 attached to the home appliance 200 through the camera 621 in the shooting mode. .

이동 단말기(600)는, 도 9b와 같이, 획득된 이미지 정보(Sca)를 서버(500)로 전송하여, 서버(500)로, 해당 이미지의 분석을 요청한다.As illustrated in FIG. 9B, the mobile terminal 600 transmits the acquired image information Sca to the server 500 and requests analysis of the corresponding image from the server 500.

그리고, 도 9b와 같이, 서버(500)로부터 이미지 분석에 의해, 홈 어플라이언스의 제품 종류, 제품명, 모델명, 그리고, 각 입력부의 기능, 사용 설명 정보 등의 관련 정보(Sre)를 수신한다.Then, as shown in FIG. 9B, the server 500 receives, by image analysis, related information Sre, such as a product type, product name, model name, and functions of each input unit and usage description information.

그리고, 도 7b 내지 도 8의 설명에서 기술한 바와 같이, 이동 단말기(600)는, 관련 정보를 디스플레이에 표시한다. 이때, 입력부의 각 버튼의 기능을 말풍선 등의 UI(User Interface)로서, 촬영되는 이미지 상에 표시할 수 있다. 이에 따라, 사용자는 간편하게, 관련 입력부의 버튼에 대한 기능 등을 파악할 수 있게 된다.Then, as described in the description of FIGS. 7B to 8, the mobile terminal 600 displays related information on the display. At this time, the function of each button of the input unit may be displayed on a captured image as a user interface (UI) such as a speech bubble. Accordingly, the user can easily grasp the function of the button of the relevant input unit.

이때의 UI는 실제 촬영된 이미지 상에 표시되므로, 증강 현실(augmented reality)을 위한, UI일 수 있다. Since the UI at this time is displayed on the actual captured image, it may be a UI for augmented reality.

본 발명에 따른 이동 단말기, 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The mobile terminal according to the present invention and its operation method are not limited to the configuration and method of the above-described embodiments, and the above embodiments are all or part of each embodiment so that various modifications can be made. May be selectively combined.

한편, 본 발명의 이동 단말기의 동작방법은, 이동 단말기 또는 홈 어플라이언스에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.On the other hand, the operation method of the mobile terminal of the present invention, it can be implemented as a code that can be read by the processor on a recording medium readable by the processor provided in the mobile terminal or home appliance. The processor-readable recording medium includes all types of recording devices in which data that can be read by the processor are stored. Examples of the recording medium that can be read by the processor include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, etc., and include those implemented in the form of carrier waves such as transmission through the Internet. . In addition, the processor-readable recording medium can be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been illustrated and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention pertains without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.

Claims (13)

카메라;
촬영 모드인 경우, 홈 어플라이언스의 입력부를 촬영한 이미지를 표시하는 디스플레이;
상기 촬영된 이미지와 관련된 정보를 외부로부터 수신하는 무선 통신부; 및
상기 관련 정보를 상기 디스플레이에 표시하도록 제어하는 제어부;를 포함하며,
상기 홈 어플라이언스의 입력부는,
-와 +로 이루어진 제1 버튼 항목을 포함하며,
상기 제어부는,
상기 제1 버튼 항목이 촬영되는 경우, 상기 제1 버튼 항목에 대응하는 정보를 외부로부터 수신하여, 상기 디스플레이에 표시하도록 제어하는 것을 특징으로 하는 이동 단말기.camera;
In the case of the shooting mode, a display that displays an image of the input unit of the home appliance;
A wireless communication unit that receives information related to the photographed image from the outside; And
Includes; a control unit for controlling to display the relevant information on the display,
The input unit of the home appliance,
Contains a first button item consisting of-and +,
The control unit,
And when the first button item is photographed, information corresponding to the first button item is received from the outside and controlled to be displayed on the display. 제1항에 있어서,
상기 관련 정보는, 상기 이미지와 함께 표시되는 것을 특징으로 하는 이동 단말기.According to claim 1,
The related information, the mobile terminal characterized in that displayed with the image. 제1항에 있어서,
상기 관련 정보는,
상기 입력부 내의 복수의 버튼 중 적어도 하나에 대한, 기능이나 사용 설명에 대한 가이드 정보를 포함하는 것을 특징으로 하는 이동 단말기.According to claim 1,
The related information,
And guide information for a function or a description of use of at least one of a plurality of buttons in the input unit. 제1항에 있어서,
상기 무선 통신부는,
상기 이미지를 서버로 전송하고, 상기 서버로부터 상기 이미지와 관련된 정보를 수신하는 것을 특징으로 하는 이동 단말기.According to claim 1,
The wireless communication unit,
And transmitting the image to a server and receiving information related to the image from the server. 제1항에 있어서,
상기 무선 통신부는,
상기 이미지 내의 입력부에 대한 기능 또는 사용 설명에 대한 정보 요청을 서버로 전송하고, 상기 입력부에 대한 기능 또는 사용 설명에 대한 정보를 수신하는 것을 특징으로 하는 이동 단말기.According to claim 1,
The wireless communication unit,
A mobile terminal characterized in that it transmits a request for information on a function or usage description for an input unit in the image to a server, and receives information on a function or usage description for the input unit. 제1항에 있어서,
상기 제어부는,
상기 관련 정보 표시시, 상기 입력부 내의 복수의 버튼 중 관련 정보가 수신된 버튼과, 관련 정보가 수신되지 못한 버튼을 구분하여 표시하는 것을 특징으로 하는 이동 단말기.According to claim 1,
The control unit,
When displaying the related information, a mobile terminal characterized in that a button for which related information has been received and a button for which related information has not been received are divided and displayed among a plurality of buttons in the input unit. 제1항에 있어서,
상기 제어부는,
상기 관련 정보 표시시, 상기 획득된 이미지 내에서, 포커싱된 버튼에 대한, 관련 정보를, 다른 버튼에 대한 관련 정보와 구분하여 표시하는 것을 특징으로 하는 이동 단말기.According to claim 1,
The control unit,
When displaying the related information, in the obtained image, the mobile terminal, characterized in that for displaying the related information, for the focused button, is displayed separately from the related information for the other button. 촬영 모드로 진입하는 단계;
홈 어플라이언스의 입력부를 촬영한 이미지를 획득하는 단계;
상기 촬영된 이미지와 관련된 정보를 외부로부터 수신하는 단계; 및
상기 관련 정보를 표시하는 단계;를 포함하며,
상기 홈 어플라이언스의 입력부는,
-와 +로 이루어진 제1 버튼 항목을 포함하며,
상기 제1 버튼 항목이 촬영되는 경우, 상기 제1 버튼 항목에 대응하는 정보를 외부로부터 수신하여, 표시하는 것을 특징으로 하는 이동 단말기의 동작방법.Entering a shooting mode;
Obtaining an image photographing the input of the home appliance;
Receiving information related to the photographed image from the outside; And
And displaying the related information;
The input unit of the home appliance,
Contains a first button item consisting of-and +,
When the first button item is photographed, information corresponding to the first button item is received from the outside and displayed. 제8항에 있어서,
상기 관련 정보는,
상기 입력부 내의 복수의 버튼 중 적어도 하나에 대한, 기능이나 사용 설명에 대한 가이드 정보를 포함하는 것을 특징으로 하는 이동 단말기의 동작방법.The method of claim 8,
The related information,
And guide information for a function or a description of use of at least one of a plurality of buttons in the input unit. 제8항에 있어서,
상기 외부로부터의 관련 정보 획득 단계는,
상기 이미지를 서버로 전송하는 단계;
상기 서버로부터 상기 이미지와 관련된 정보를 수신하는 단계;를 포함하는 것을 특징으로 하는 이동 단말기의 동작방법.The method of claim 8,
The step of acquiring relevant information from the outside,
Transmitting the image to a server;
And receiving information related to the image from the server. 제8항에 있어서,
상기 외부로부터의 관련 정보 획득 단계는,
상기 이미지 내의 입력부에 대한 기능 또는 사용 설명에 대한 정보 요청을 서버로 전송하는 단계;
상기 입력부에 대한 기능 또는 사용 설명에 대한 정보를 수신하는 단계;를 포함하는 것을 특징으로 하는 이동 단말기의 동작방법.The method of claim 8,
The step of acquiring relevant information from the outside,
Transmitting a request for information on a function or usage description for an input unit in the image to a server;
And receiving information on a function or usage description for the input unit. 제8항에 있어서,
상기 관련 정보를 표시 단계는,
상기 입력부 내의 복수의 버튼 중 관련 정보가 수신된 버튼과, 관련 정보가 수신되지 못한 버튼을 구분하여 표시하는 것을 특징으로 하는 이동 단말기의 동작방법.The method of claim 8,
The step of displaying the relevant information,
A method of operating a mobile terminal, characterized in that a button for which related information is received and a button for which related information is not received are distinguished and displayed among a plurality of buttons in the input unit. 제8항에 있어서,
상기 관련 정보를 표시 단계는,
상기 획득된 이미지 내에서, 포커싱된 버튼에 대한, 관련 정보를, 다른 버튼에 대한 관련 정보와 구분하여 표시하는 것을 특징으로 하는 이동 단말기의 동작방법.


The method of claim 8,
The step of displaying the relevant information,
A method for operating a mobile terminal, characterized in that, in the acquired image, information related to a focused button is displayed separately from related information about another button.


KR1020130140071A 2013-11-18 2013-11-18 Mobile terminal, and method for operating the same KR102106908B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130140071A KR102106908B1 (en) 2013-11-18 2013-11-18 Mobile terminal, and method for operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130140071A KR102106908B1 (en) 2013-11-18 2013-11-18 Mobile terminal, and method for operating the same

Publications (2)

Publication Number Publication Date
KR20150057128A KR20150057128A (en) 2015-05-28
KR102106908B1 true KR102106908B1 (en) 2020-05-06

Family

ID=53392055

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130140071A KR102106908B1 (en) 2013-11-18 2013-11-18 Mobile terminal, and method for operating the same

Country Status (1)

Country Link
KR (1) KR102106908B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102552108B1 (en) * 2016-11-03 2023-07-06 엘지전자 주식회사 Mobile terminal

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070072993A (en) * 2006-01-03 2007-07-10 주식회사 빛 일일사 A method for provididng information about the goods using camera-attached portable wireless device

Also Published As

Publication number Publication date
KR20150057128A (en) 2015-05-28

Similar Documents

Publication Publication Date Title
US9640174B2 (en) Home appliance and operation method thereof
US8938261B2 (en) Mobile terminal and method of controlling the same
CN104318741B (en) Bluetooth equipment control method and device
EP3182747B1 (en) Method and device for controlling a device
EP3291539A2 (en) Device control method and apparatus
EP3119054A1 (en) Method for controlling smart apparatus, terminal and server
US9773408B2 (en) Mobile terminal and operation method thereof
CN103826007A (en) Method and device for remotely controlling terminal, and terminal device
KR20140044182A (en) Mobile terminal, home appliance, and nethod for operating the same
WO2009139785A1 (en) Remote control based on image recognition
CN105388453A (en) Method and device for positioning intelligent device
JP6386187B2 (en) Surveillance screen sound collection method, apparatus, program, and recording medium
CN104244045B (en) The method that control video pictures presents and device
CN104111720A (en) Electronic device control method and device and electronic device
KR20140089795A (en) Home appliance, and method for including the same
US20150288764A1 (en) Method and apparatus for controlling smart terminal
CN103970576A (en) Installation information displaying method, obtaining method and device
CN106532367B (en) The method and apparatus of intelligent socket electricity consumption warning
CN105224171A (en) icon display method, device and terminal
CN104881342B (en) terminal test method and device
CN104637288B (en) Instruction group determines method and apparatus
EP3015949A1 (en) Method and device for displaying information
CN105549572A (en) Control method and device for intelligent home equipment and equipment
CN105357634A (en) User position change determination method and device
CN105045125A (en) Reminding method and device used in household appliance control

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant