KR101196761B1 - Method for transmitting contents using gesture recognition and terminal thereof - Google Patents

Method for transmitting contents using gesture recognition and terminal thereof Download PDF

Info

Publication number
KR101196761B1
KR101196761B1 KR1020100020265A KR20100020265A KR101196761B1 KR 101196761 B1 KR101196761 B1 KR 101196761B1 KR 1020100020265 A KR1020100020265 A KR 1020100020265A KR 20100020265 A KR20100020265 A KR 20100020265A KR 101196761 B1 KR101196761 B1 KR 101196761B1
Authority
KR
South Korea
Prior art keywords
terminal
external screen
user
screen
external
Prior art date
Application number
KR1020100020265A
Other languages
Korean (ko)
Other versions
KR20110101328A (en
Inventor
홍상우
신상희
유병철
임민주
김정윤
이유종
박명순
강석훈
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020100020265A priority Critical patent/KR101196761B1/en
Publication of KR20110101328A publication Critical patent/KR20110101328A/en
Application granted granted Critical
Publication of KR101196761B1 publication Critical patent/KR101196761B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 인접한 단말기로 콘텐츠를 쉽게 전송할 수 있는 제스처 인식을 이용한 콘텐츠 전송 방법 및 그 단말기에 관한 것이다. 본 발명에 따르면, 단말기는 외부 화면을 투영할 공간을 촬영하여 상기 외부 화면의 배경 색상을 검출하고, 상기 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정한다. 그리고, 상기 기준 색상으로 이루어지고 하나 이상의 콘텐츠를 표시하는 외부 화면을 단말기의 외부로 투영한다. 그리고, 상기 투영한 외부 화면에 대한 사용자의 드래그 동작에 따라서, 선택된 콘텐츠를 인접 단말기로 전송한다.The present invention relates to a content transmission method using gesture recognition that can easily transmit content to an adjacent terminal, and a terminal thereof. According to the present invention, the terminal detects a background color of the external screen by photographing a space for projecting the external screen, and sets a reference color of the external screen to be distinguished from the background color. Then, an external screen made of the reference color and displaying one or more contents is projected to the outside of the terminal. The selected content is transmitted to the adjacent terminal according to the drag operation of the user with respect to the projected external screen.

Description

제스처 인식을 이용한 콘텐츠 전송 방법 및 그 단말기{Method for transmitting contents using gesture recognition and terminal thereof}Method for transmitting contents using gesture recognition and terminal thereof

본 발명은 제스처 인식을 이용한 콘텐츠 전송 방법 및 그 단말기에 관한 것으로서, 더욱 상세하게는 하나 이상의 콘텐츠가 표시된 외부 화면을 단말기의 외부 공간에 투영하고, 상기 외부 화면에 대한 사용자의 드래그 동작을 인식하여 선택된 콘텐츠를 인접한 단말기로 전송하는 제스처 인식을 이용한 콘텐츠 전송 방법 및 그 단말기에 관한 것이다.The present invention relates to a method for transmitting content using gesture recognition and a terminal thereof, and more particularly, to project an external screen on which at least one content is displayed to an external space of a terminal, and to recognize a user's dragging motion with respect to the external screen. A content transmission method using gesture recognition for transmitting content to an adjacent terminal, and a terminal thereof.

최근 정보 통신 기술이 급속히 발전하면서, 원격지의 상대방과 무선으로 통화할 수 있는 이동 통신 단말, PDA(Portable Data Assistant), PMP(Portable Multimedia Player) 등과 같이 사용자가 휴대하면서 사용할 수 있는 다양한 종류의 휴대 단말기가 대중적으로 보급되고 있다.Recently, with the rapid development of information and communication technology, various types of portable terminals that can be carried by the user such as a mobile communication terminal, a portable data assistant (PDA), a portable multimedia player (PMP), etc., which can communicate wirelessly with a remote party. Is becoming popular.

이 중에서도 특히 이동 통신 단말은, 장소 및 시간에 관계없이 통화 서비스를 제공한다는 잇점 때문에, 남녀 노소를 불문하고 사용하게 되면서, 생활 필수품으로 자리 잡아 가고 있다. 더하여, 이동 통신 단말기는, 이동통신망이 발달하고, 무선 콘텐츠가 증가하고, 프로세서 및 메모리 기술이 비약적으로 발전하면서 노트북과 개인용 컴퓨터 장치와 그 기능상의 경쟁을 벌이는 시대에 이르게 되었다.Among these, the mobile communication terminal is becoming a necessity of life, while being used regardless of age or gender, because of the advantage of providing a call service regardless of the place and time. In addition, mobile communication terminals have led to an era in which functionally competes with notebooks and personal computer devices due to the development of mobile communication networks, the increase in wireless contents, and the rapid development of processors and memory technologies.

한편, 이동 통신 단말기를 포함하는 기존의 단말기는, 통상적으로, 키패드, 터치 스크린 등과 같은 입력 수단을 사용자가 조작하여 단말기의 제어 명령이나 데이터를 입력한다.On the other hand, the existing terminal including a mobile communication terminal, a user typically inputs a control command or data of the terminal by operating an input means such as a keypad, a touch screen, and the like.

이러한 단말기 간에 콘텐츠를 전송하는 경우, 사용자는 키패드나 터치 스크린을 조작하여, 먼저 콘텐츠를 전송할 상대 단말기와의 무선 통신을 연결하고, 전송하고자 하는 콘텐츠를 선택한 후, 상기 선택한 콘텐츠에 대한 전송 명령을 지시하여야 한다. 다른 방법으로는 콘텐츠를 전송할 단말기의 식별번호나, IP 어드레스나, 콘텐츠를 전송할 상대방의 이메일 주소 등과 같은 목적지 정보를 사용자가 일일이 입력한 후, 선택한 콘텐츠를 첨부하여 전송해야 한다.When transmitting content between such terminals, the user operates a keypad or a touch screen to connect wireless communication with the other terminal to which the content is to be transmitted, selects the content to be transmitted, and then instructs a transmission command for the selected content. shall. Alternatively, the user inputs destination information such as an identification number of the terminal to transmit the content, an IP address, or an e-mail address of the other party to which the content is to be transmitted, and then attaches the selected content.

이에 따르면, 단말기 간에 콘텐츠를 전송하기 위하여 입력 수단에 대한 사용자 조작(명령 입력)이 여러 번 이루어져야 하기 때문에, 사용자 입장에서 번거롭다는 문제점이 있다. 특히, 대부분의 휴대 단말기는 사용자가 손에 쥐고 있는 상태에서 이용되기 때문에, 콘텐츠 전송과 같은 하나의 기능을 수행하기 위하여 여러 번 사용자 명령을 입력하여야 하는 것은 사용자 불편을 가중시키게 된다.According to this, there is a problem in that it is troublesome from the user's point of view because the user operation (command input) to the input means has to be performed several times in order to transmit content between the terminals. In particular, since most portable terminals are used while the user is holding them in the hand, it is necessary to input a user command several times in order to perform a single function such as content transmission.

이에, 본 발명은 단말기 간의 콘텐츠 전송을 더욱 간단하게 구현하기 위한 것으로서, 하나 이상의 콘텐츠를 표시하는 외부 화면을 단말기의 외부 공간에 투영하고, 상기 외부 화면에 대한 사용자의 드래그 동작을 인식하여, 선택된 콘텐츠를 인접 단말기로 전송하는 제스처 인식을 이용한 콘텐츠 전송 방법 및 그 단말기를 제공하고자 한다.Accordingly, the present invention is to more simply implement the transfer of content between the terminal, and projecting an external screen displaying one or more content to the external space of the terminal, by recognizing the user's drag operation on the external screen, the selected content The present invention provides a method and a terminal for transmitting content using gesture recognition for transmitting to a neighboring terminal.

상기 과제를 해결하기 위한 수단으로서, 본 발명은, 프로젝터, 제스처 검출부, 카메라, 제어부, 및 통신 인터페이스부를 포함하는 단말기를 제공한다. As a means for solving the above problems, the present invention provides a terminal including a projector, a gesture detector, a camera, a controller, and a communication interface.

프로젝터는 단말기의 외부 공간에 하나 이상의 콘텐츠를 표시하는 외부 화면을 투영한다. 제스처 검출부는 상기 프로젝터에 의해 투영된 외부 화면에 대한 사용자의 드래그 동작을 검출한다. 상기 카메라는 상기 외부 화면이 투영되는 공간을 촬영한다. 제어부는 상기 외부 화면을 프로젝터에 제공하고, 상기 카메라의 촬영 영상으로부터 외부 화면의 배경 색상을 검출하여, 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 제어하고, 상기 외부 화면의 투영 이후에 상기 제스처 검출부를 통해 사용자의 드래그 동작이 검출되면, 선택된 콘텐츠의 정보를 인접 단말기로 전송시킨다. 통신 인터페이스부는 상기 제어부의 제어에 따라서 상기 인접 단말기와 통신을 연결하여, 상기 선택된 콘텐츠를 상기 인접 단말기로 전송한다.The projector projects an external screen displaying one or more contents in the external space of the terminal. The gesture detector detects a user's dragging operation on the external screen projected by the projector. The camera photographs a space in which the external screen is projected. The controller provides the external screen to the projector, detects the background color of the external screen from the captured image of the camera, controls the reference color of the external screen to be distinguished from the background color, and the gesture after the projection of the external screen. When the drag operation of the user is detected through the detector, the information of the selected content is transmitted to the adjacent terminal. The communication interface unit connects communication with the neighbor terminal under the control of the controller, and transmits the selected content to the neighbor terminal.

본 발명에 의한 단말기에 있어서, 상기 제어부는 상기 드래그 동작에서의 드래그 방향 또는 드래그가 끝나는 위치에 있는 다른 단말기를 상기 인접 단말기로 인식하고, 상기 인접 단말기와 통신을 연결하여 상기 선택된 콘텐츠를 전송한다.In the terminal according to the present invention, the control unit recognizes another terminal in the dragging direction or the end position of the drag in the drag operation as the neighboring terminal, connects the communication with the neighboring terminal, and transmits the selected content.

본 발명에 의한 단말기에 있어서, 상기 프로젝터는 외장형으로 구현되어, 상기 단말기의 제어부와 입출력 인터페이스를 통해 연결된다.In the terminal according to the present invention, the projector is implemented externally, and is connected to the controller of the terminal through an input / output interface.

본 발명에 의한 단말기에 있어서, 상기 제스처 검출부는 적외선 위치 센서, 초음파 위치 센서, RF 위치 센서, 및 카메라 중에서 어느 하나를 이용하여 사용자의 드래그 동작을 검출할 수 있다.In the terminal according to the present invention, the gesture detector may detect a user's dragging motion using any one of an infrared position sensor, an ultrasonic position sensor, an RF position sensor, and a camera.

본 발명에 의한 단말기에 있어서, 상기 제스처 검출부가 카메라를 이용하여 드래그 동작을 검출하는 경우, 상기 제스처 검출부는 상기 외부 화면이 투영되는 위치를 촬영하는 카메라와 일체로 구현될 수 있으며, 또한, 상기 제어부는 상기 카메라로 촬영된 외부 화면에 대한 영상의 픽셀 변화로부터 사용자의 드래그 동작을 인식한다.In the terminal according to the present invention, when the gesture detection unit detects a drag operation using a camera, the gesture detection unit may be integrally implemented with a camera that captures a position at which the external screen is projected. Recognizes a drag operation of the user from the pixel change of the image on the external screen captured by the camera.

본 발명에 의한 단말기에 있어서, 상기 외부 화면은 하나의 사용자 인터페이스 화면 또는 복수의 사용자 인터페이스 화면의 집합일 수 있다.In the terminal according to the present invention, the external screen may be a set of one user interface screen or a plurality of user interface screens.

본 발명에 의한 단말기에 있어서, 상기 외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 상기 제어부가 시분할 방식을 이용하여, 상기 복수의 사용자 인터페이스 화면을 프로젝션의 시간 별로, 서로 다른 방향으로 투영하도록 상기 프로젝터를 제어하거나, 상기 프로젝터가 서로 다른 공간으로 투영하는 복수의 프로젝션 파트로 이루어져, 상기 복수의 프로젝션 파트가 상기 복수의 사용자 인터페이스 화면을 동시에 투영할 수 있다.In the terminal according to the present invention, when the external screen is a collection of a plurality of user interface screen, the control unit projects the plurality of user interface screens in different directions for each projection time, using a time division method. The projector may include a plurality of projection parts for controlling the projector or projecting the projector into different spaces, and the plurality of projection parts may simultaneously project the plurality of user interface screens.

상기 과제를 해결하기 위한 다른 수단으로서, 본 발명은 하나 이상의 콘텐츠를 표시하는 외부 화면이 투영될 단말기의 외부 공간을 촬영하여 상기 외부 화면의 배경 색상을 검출하고, 상기 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정하는 단계; 상기 외부 화면을 상기 단말기의 외부 공간에 투영하는 단계; 상기 투영한 외부 화면에 대한 사용자의 드래그 동작을 감지하는 단계; 및 상기 사용자의 드래그 동작을 감지하면, 상기 드래그 동작에 따라서 선택된 콘텐츠를 인접 단말기로 전송하는 단계를 포함하는 제스처 인식을 이용한 콘텐츠 전송 방법을 제공한다.As another means for solving the above problem, the present invention is to take a picture of the external space of the terminal to be projected to the external screen displaying one or more content to detect the background color of the external screen, and to be distinguished from the background color Setting a reference color of the; Projecting the external screen into an external space of the terminal; Detecting a user's dragging operation on the projected external screen; And detecting the drag operation of the user, and transmitting the selected content to the adjacent terminal according to the drag operation.

본 발명에 의한 제스처 인식을 이용한 콘텐츠 전송 방법에 있어서, 상기 인접 단말기는 상기 드래그 방향 또는 드래그가 끝나는 위치에 있는 다른 단말기인 것을 특징으로 한다.In the content transmission method using gesture recognition according to the present invention, the adjacent terminal is characterized in that the other terminal in the drag direction or the position where the drag ends.

본 발명에 의한 제스처 인식을 이용한 콘텐츠 전송 방법에 있어서, 상기 사용자의 드래그 동작을 감지하는 단계는, 적외선 위치 센서 또는 초음파 위치 센서 또는 RF 위치 센서를 통해 상기 화면에 대한 사용자의 드래그 동작을 감지하거나, 상기 외부 화면을 카메라로 촬영하고, 상기 촬영된 영상에서의 픽셀변화를 통해 사용자의 드래그 동작을 감지할 수 있다.In the content transmission method using the gesture recognition according to the present invention, the step of detecting the user's drag operation, the user's drag operation to the screen through the infrared position sensor, the ultrasonic position sensor or the RF position sensor, The external screen may be photographed by a camera, and the drag operation of the user may be sensed through the pixel change in the photographed image.

본 발명에 의한 제스처 인식을 이용한 콘텐츠 전송 방법에 있어서, 상기 외부 화면은, 하나의 사용자 인터페이스 화면 또는 복수의 사용자 인터페이스 화면의 집합인 것을 특징으로 한다.In the content transmission method using gesture recognition according to the present invention, the external screen is characterized in that the set of one user interface screen or a plurality of user interface screen.

본 발명에 의한 제스처 인식을 이용한 콘텐츠 전송 방법에 있어서, 상기 외부 화면을 상기 단말기의 외부 공간에 투영하는 단계는, 시분할 방식을 이용하여, 상기 복수의 사용자 인터페이스 화면을 프로젝션 시간 별로, 서로 다른 공간에 투영하거나, 복수의 프로젝션 파트를 통해, 상기 복수의 사용자 인터페이스 화면을 서로 다른 공간에 동시에 투영할 수 있다.In the content transmission method using gesture recognition according to the present invention, the step of projecting the external screen to the external space of the terminal, by using a time division method, the plurality of user interface screens by projection time, in different spaces By projecting or through a plurality of projection parts, the plurality of user interface screens may be simultaneously projected in different spaces.

본 발명에 따른 단말기는 프로젝터를 통해 하나 이상의 콘텐츠를 표시하는 외부 화면을 단말기의 외부 공간에 투영하고, 상기 외부 화면에 대한 사용자의 드래그 동작을 감지 시에, 상기 드래그 동작의 방향 및 드래그 된 위치에 대응하는 인접 단말기로 선택된 콘텐츠를 전송함으로써, 사용자가 복잡한 단말기 조작 없이 간단하게 콘텐츠를 선택하여 다른 단말기로 전송할 수 있게 된다.The terminal according to the present invention projects an external screen displaying one or more contents through a projector to an external space of the terminal, and when detecting a user's dragging operation on the external screen, the terminal is moved in the direction and the dragged position of the dragging operation. By transmitting the selected content to the corresponding neighboring terminal, the user can simply select the content and transmit it to another terminal without complicated terminal operation.

더하여, 본 발명은 외부 화면을 투영하는데 있어서, 외부 화면이 투영되는 단말기의 외부 공간을 촬영하여, 배경 색상을 검출하고, 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정함으로써, 외부 화면으로 투영되는 정보를 사용자가 정확하게 인식할 수 있도록 한다.In addition, the present invention projects the external screen by projecting the external space of the terminal on which the external screen is projected, detecting the background color, and setting the reference color of the external screen so as to be distinguished from the background color. To be able to accurately recognize the information.

또한, 본 발명은, 단말기에서 외부 화면으로서 하나의 사용자 인터페이스 화면을 투영함은 물론, 복수의 사용자 인터페이스 화면을 서로 다른 공간에 거의 동시에 투영함으로써, 단말기를 통한 멀티태스킹 작업을 보다 용이하게 할 수 있다.In addition, the present invention can facilitate the multitasking operation through the terminal by projecting one user interface screen as an external screen in the terminal, as well as by projecting a plurality of user interface screens to different spaces at substantially the same time. .

도 1은 본 발명의 일 실시 예에 따른 단말기의 구성을 나타낸 블럭도이다.
도 2는 본 발명의 다른 실시 예에 따른 단말기의 구성을 나타낸 블럭도이다.
도 3은 본 발명에 따른 단말기에 있어서, 제스처 검출부의 구현 예를 보인 도면이다.
도 4는 본 발명에 따른 단말기에 있어서, 제스처 검출부의 다른 구현 예를 보인 도면이다.
도 5는 본 발명에 따른 단말기에 있어서, 드래그 동작에 따른 콘텐츠 전송 과정을 보인 예시도이다.
도 6은 본 발명에 따른 제스처 인식을 이용한 콘텐츠 전송 방법을 나타낸 순서도이다.1 is a block diagram showing the configuration of a terminal according to an embodiment of the present invention.
2 is a block diagram showing the configuration of a terminal according to another embodiment of the present invention.
3 is a view showing an embodiment of a gesture detector in the terminal according to the present invention.
4 is a view showing another implementation of the gesture detector in the terminal according to the present invention.
5 is an exemplary view illustrating a content transmission process according to a drag operation in a terminal according to the present invention.
6 is a flowchart illustrating a content transmission method using gesture recognition according to the present invention.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 설명의 일관성을 위하여, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타낸다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, detailed description of well-known functions or constructions that may obscure the subject matter of the present invention will be omitted. In addition, for the sake of consistency of description, like elements are denoted by like reference numerals as much as possible throughout the drawings.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할 때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . In addition, the term 'comprising' a certain component means that the component may be further included, without excluding the other component unless specifically stated otherwise.

도 1 및 도 2는 본 발명의 실시 예에 따른 단말기의 구성을 나타낸 블럭도이다.1 and 2 are block diagrams showing the configuration of a terminal according to an embodiment of the present invention.

상기 도 1 및 도 2를 참조하면, 본 발명에 따른 단말기(100)는, 프로젝터(110)와, 제스처 검출부(120)와, 제어부(130)와, 카메라(140)와, 통신 인터페이스부(150)를 포함한다.1 and 2, the terminal 100 according to the present invention includes a projector 110, a gesture detector 120, a controller 130, a camera 140, and a communication interface unit 150. ).

상기 단말기(100)는, 사용자의 명령에 따라서 임의의 기능을 수행하고, 상기 수행 결과를 시각적으로 표시하는 사용자 장치이며, 사용자의 명령을 입력 받아 단말기(100)의 기능 수행을 제어하는 부분에 본 발명이 적용된다. 상기 단말기(100)로, 예를 들면, 이동 통신 단말, 무선 랜 단말, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player) 등이 포함될 수 있다.The terminal 100 is a user device that performs an arbitrary function according to a user's command and visually displays the result of the execution. The terminal 100 receives a user's command to control a function of the terminal 100. The invention applies. The terminal 100 may include, for example, a mobile communication terminal, a wireless LAN terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), and the like.

상기 프로젝터(110)는, 단말기(100)의 외부 공간에 하나 이상의 콘텐츠를 표시하는 외부 화면을 투영한다. 상기 프로젝터(110)는 도 1에 도시된 바와 같이, 단말기(100) 내부에 설치되는 내장형으로 구현될 수도 있고, 도 2에 도시된 바와 같이, 단말기(100)의 외부에 위치하는 외장형으로 구현되어, 입출력 인터페이스(160)를 통해 단말기(100)의 제어부(130)와 연결되는 형태로 이용될 수 있다.The projector 110 projects an external screen displaying one or more contents in an external space of the terminal 100. As shown in FIG. 1, the projector 110 may be implemented as a built-in type installed inside the terminal 100, or as shown in FIG. 2, and may be implemented as an external type that is located outside the terminal 100. The controller 130 may be used in the form of being connected to the controller 130 of the terminal 100 through the input / output interface 160.

그리고, 상기 외부 화면은, 단말기(100)의 기능과 관련된 사용자 인터페이스 화면으로서, 특히, 하나 이상의 콘텐츠가 표시된다. 또한, 상기 외부 화면은, 하나의 사용자 인터페이스 화면으로 이루어질 수도 있고, 복수의 사용자 인터페이스 화면의 집합으로 이루어질 수도 있다. 예를 들어, 상기 단말기(100)가 멀티 태스킹을 지원하는 경우, 멀티 태스킹에 의해 동시에 구동되는 복수의 기능에 각각 관련되는 복수의 사용자 인터페이스 화면의 집합이 외부 화면으로 제공될 수 있다. 이러한 외부 화면은 단말기(100)의 동작 모드에 따라서 달라진다.In addition, the external screen is a user interface screen related to a function of the terminal 100, and in particular, one or more contents are displayed. In addition, the external screen may consist of one user interface screen or a set of a plurality of user interface screens. For example, when the terminal 100 supports multitasking, a set of a plurality of user interface screens associated with a plurality of functions simultaneously driven by multitasking may be provided as an external screen. This external screen varies according to the operation mode of the terminal 100.

상기 외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 복수의 사용자 인터페이스 화면을 동시에 투영하기 위하여, 본 발명의 일 실시 예에서는 상기 프로젝터(110)가 투영 방향을 조절할 수 있도록 구현된 후, 상기 제어부(130)가, 프로젝션 시간 별로 상기 프로젝터(110)의 프로젝션 방향을 조절하여, 상기 복수의 사용자 인터페이스 화면을 서로 다른 공간에 투영한다. 본 발명의 다른 실시 예에서는 상기 프로젝터(110)가, 투영 방향이 다른 복수의 프로젝션 파트로 이루어져, 상기 복수의 프로젝션 파트를 통해 복수의 사용자 인터페이스 화면을 서로 다른 공간에 동시에 투영하도록 한다.When the external screen is a set of a plurality of user interface screens, in order to simultaneously project a plurality of user interface screens, in one embodiment of the present invention, the projector 110 is implemented to adjust the projection direction, and then the controller The 130 adjusts the projection direction of the projector 110 for each projection time to project the plurality of user interface screens into different spaces. In another embodiment of the present invention, the projector 110 is composed of a plurality of projection parts having different projection directions, so that the plurality of user interface screens are simultaneously projected in different spaces through the plurality of projection parts.

상기 제스처 검출부(120)는, 상기 프로젝터(110)에 의해 투영된 외부 화면에 대한 사용자의 특정 제스처, 더 구체적으로는 외부 화면에 대한 사용자의 드래그 동작을 검출한다. 상기 드래그 동작은, 외부 화면에 대한 사용자의 터치가 일정 시간이상 지속되면서, 터치 지점이 일정 거리 이상 이동하는 경우를 의미한다. 상기 드래그 동작은, 최초 터치 지점, 이동 방향, 이동 거리, 최후 터치 지점 중에서 하나 이상의 정보로 표현될 수 있다. The gesture detector 120 detects a user's specific gesture with respect to the external screen projected by the projector 110, and more specifically, the user's dragging motion with respect to the external screen. The drag operation refers to a case in which the touch point moves for a predetermined distance or more while the user's touch on the external screen lasts for a predetermined time. The drag operation may be represented by one or more pieces of information among an initial touch point, a moving direction, a moving distance, and a last touch point.

이러한 드래그 동작을 검출하기 위하여, 상기 제스처 검출부(120)는 적외선 위치 센서, 초음파 위치 센서 및 RF(Radio Frequency) 위치 센서와 같은 위치 센서 또는 카메라를 이용한 영상 처리 기술로 구현될 수 있다.In order to detect such a drag operation, the gesture detector 120 may be implemented by an image processing technology using a camera or a position sensor such as an infrared position sensor, an ultrasonic position sensor, and a radio frequency (RF) position sensor.

도 3은 본 발명의 일 실시 예로서, 적외선 위치 센서를 이용하여 제스처 검출부를 구현한 예를 나타낸 도면이다.3 is a diagram illustrating an example of implementing a gesture detection unit using an infrared position sensor as an embodiment of the present invention.

도 3은 참조하면, 단말기(200)의 상단부에 프로젝터(210)가 설치되어 단말기의 외부 공간으로 외부 화면(211)을 투영하는데, 이때, 투영 방향은 단말기(200)의 전면 하측을 향하도록 구현되어, 단말기(200)가 세워진 평면에 외부 화면(211)이 투영된다. 그리고, 제스처 검출부(220)는 투영된 외부 화면과 평행하게 적외선(IR: Infrared Light)을 조사하는 적외선 송신부(221)와, 상기 외부 화면에 사용자 접촉 시, 사용자의 손가락에 의해 반사되는 적외선을 수신하는 적외선 수신부(222)를 포함한다. 도 3에서 도시된 부호 221은 상기 투영된 외부 화면에 대한 적외선 수신부(222)의 스캔 범위를 나타낸다. 즉, 적외선을 외부 화면(211)에 근접하여 평행하게 조사하면, 외부 화면(211)의 특정 위치를 사용자가 터치할 경우, 상기 적외선이 사용자의 손가락에 의해 반사되는데, 이렇게 반사된 적외선 신호를 수신하여 분석함으로써, 상기 사용자의 터치 여부뿐만 아니라 터치 위치까지 검출하고, 이러한 연속된 터치 정보를 조합함으로써, 드래그 동작을 검출할 수 있다. 즉, 최초 터치가 검출된 후, 일정 시간 이상 터치 입력이 계속 감지되고, 상기 터치 위치가 이동하면, 드래그 동작이 검출된 것으로 인식한다. Referring to FIG. 3, a projector 210 is installed at an upper end of the terminal 200 to project the external screen 211 to an external space of the terminal, wherein the projection direction is implemented to face the front lower side of the terminal 200. Thus, the external screen 211 is projected on the plane on which the terminal 200 is placed. The gesture detector 220 receives an infrared transmitter 221 for irradiating infrared light (IR) in parallel with the projected external screen, and receives infrared rays reflected by a user's finger when the user contacts the external screen. Including an infrared receiver 222. In FIG. 3, reference numeral 221 denotes a scan range of the infrared receiver 222 of the projected external screen. That is, when the infrared rays are irradiated in parallel to the external screen 211, when the user touches a specific position of the external screen 211, the infrared rays are reflected by the user's finger. By analyzing, the touch position as well as the touch position of the user can be detected, and by combining such continuous touch information, the drag operation can be detected. That is, after the first touch is detected, a touch input is continuously detected for a predetermined time, and when the touch position is moved, it is recognized that a drag operation is detected.

더불어, 초음파 위치 센서 및 RF 위치 센서의 경우도, 도 3에 도시된 적외선 위치 센서의 경우와 유사하게 구현될 수 있다.In addition, the ultrasonic position sensor and the RF position sensor may be implemented similarly to the case of the infrared position sensor shown in FIG. 3.

상기 적외선 위치 센서, 초음파 위치 센서, RF 위치 센서를 통한 위치 검출 방법으로 일반적으로 잘 알려져 있으므로, 이에 대한 구체적인 설명은 생략한다.Since the position detection method through the infrared position sensor, the ultrasonic position sensor, the RF position sensor is generally well known, a detailed description thereof will be omitted.

다음으로, 도 4는 카메라를 이용하여 제스처 검출부를 구현한 예를 보인 도면이다.Next, FIG. 4 is a diagram illustrating an example of implementing a gesture detection unit using a camera.

도 4를 참조하면, 단말기(300)의 상단부에 외부 화면을 투영하는 프로젝터(310) 및 터치 위치를 검출하기 위한 카메라(320)를 설치한다.Referring to FIG. 4, a projector 310 for projecting an external screen and a camera 320 for detecting a touch position are installed at an upper end of the terminal 300.

상기 프로젝터(310) 및 카메라(320)의 설치 위치는 편의에 따라서 조정될 수 있으나, 상기 프로젝터(310)에서 외부 화면이 투영되는 영역(311)과 카메라(320)에 의해 촬영되는 영역(321)은 동일하도록 구현되어야 한다. 이때, 상기 카메라(320)에서 촬영되는 영역(321)이 외부 화면이 투영되는 영역(311)보다 큰 것이 바람직하다. 따라서, 프로젝터(310)가 외부 화면을 단말기(300)의 외부 공간으로 투영하면, 카메라(320)는 상기 외부 화면이 투영되는 공간을 촬영한다. 이 때, 사용자가 상기 외부 화면을 터치할 경우, 사용자의 손에 의해 상기 촬영된 영상의 일부 픽셀 값에 변화가 발생한다. 이러한 픽셀 변화를 모니터링 함으로써, 사용자의 드래그 동작을 검출할 수 있다. 즉, 픽셀 변화를 통해 사용자의 터치가 일정 시간 이상 연속되고, 최초 터치 위치에서 최후 터치 위치에 변화가 발생하면, 이를 드래그 동작으로 인식하는 것이다.The installation position of the projector 310 and the camera 320 may be adjusted according to convenience, but the area 311 where the external screen is projected by the projector 310 and the area 321 photographed by the camera 320 are It must be implemented to be identical. In this case, it is preferable that the area 321 photographed by the camera 320 is larger than the area 311 on which the external screen is projected. Therefore, when the projector 310 projects the external screen into the external space of the terminal 300, the camera 320 captures a space in which the external screen is projected. At this time, when the user touches the external screen, a change occurs in some pixel values of the captured image by the user's hand. By monitoring the pixel change, the drag operation of the user can be detected. That is, when a user's touch is continuously continued for a predetermined time or more through a pixel change and a change occurs in the last touch position from the first touch position, the touch is recognized as a drag operation.

다시 도 1 및 도 2를 참조하면, 상기 카메라(140)는 터치 화면이 투영될 외부 공간의 배경 색상을 검출하기 위한 것으로서, 외부 화면의 투영 이전에 미리 터치 화면이 투영될 외부 공간을 촬영한다. 따라서, 상기 카메라(140)의 촬영 영역은 상기 프로젝터(110)에서 외부 화면을 투영하는 영역과 겹쳐지는 것이 바람직하다. 도 4에 보인 실시 예에서와 같이, 제스처 검출부(120)가 카메라(320)로 구현되는 경우, 상기 카메라(320)는 상기 외부 화면의 배경 색상 검출을 위한 카메라(140)와 일체로 구현될 수 있다. 즉, 상기 제스처 검출부(120)에서 별도의 카메라를 추가로 구비할 필요 없이, 외부 화면의 투영 이후에 상기 카메라(140)를 이용하여 외부 화면을 촬영하고, 상기 카메라(140)에서 촬영된 영상을 분석함으로써 사용자의 드래그 동작을 검출하도록 할 수 있다. Referring to FIGS. 1 and 2 again, the camera 140 is for detecting a background color of an external space in which the touch screen is to be projected, and photographs the external space in which the touch screen is to be projected before the external screen is projected. Therefore, the photographing area of the camera 140 preferably overlaps with the area projecting the external screen by the projector 110. As shown in FIG. 4, when the gesture detector 120 is implemented as a camera 320, the camera 320 may be integrally implemented with the camera 140 for detecting a background color of the external screen. have. That is, the gesture detector 120 does not need to provide a separate camera, and after the projection of the external screen, takes an external screen by using the camera 140, and captures an image captured by the camera 140. By analyzing, the drag motion of the user can be detected.

이 경우, 상기 카메라(140)는 외부 화면의 투영 이전부터 투영 이후까지 연속적으로 상기 외부 화면이 투영되는 공간을 촬영하게 된다. 이와 같이 구현할 경우, 본 발명에 다른 단말기를 구현하는데 있어서, 부품 수를 줄여 제작비를 절감시킬 수 있다.In this case, the camera 140 photographs a space in which the external screen is continuously projected from before the projection of the external screen to after the projection. When implemented in this way, in implementing the other terminal in the present invention, it is possible to reduce the manufacturing cost by reducing the number of parts.

그리고, 상기 제어부(130)는, 단말기(100)의 기능 실행에 따라서 설정된 상기 외부 화면을 상기 프로젝터(110)에 제공하는데, 이때, 상기 카메라(140)의 촬영 영상으로부터 외부 화면이 투영될 외부 공간의 배경 색상을 검출하여, 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 제어한다. 예를 들면, 배경 색상과 보색 관계의 색상을 상기 외부 화면의 기준 색상으로 설정하거나, 배경 색상의 명도와 반대의 명도로 외부 화면의 기준 색상을 설정할 수 있다. 여기서, 배경에 여러 가지 색상이 혼합되어 있는 경우, 가장 많이 분포되는 색상을 기준으로 외부 화면의 기준 색상을 정하거나, 배경의 전체적인 명도를 기준으로 외부 화면의 기준 색상을 설정할 수 있다.In addition, the controller 130 provides the external screen set according to the execution of the function of the terminal 100 to the projector 110. In this case, the external space to project the external screen from the captured image of the camera 140. The reference color of the external screen is controlled so as to detect a background color of the screen and distinguish it from the background color. For example, a color of a background color and a complementary color relationship may be set as a reference color of the external screen, or a reference color of the external screen may be set to a brightness opposite to that of the background color. Here, when various colors are mixed in the background, the reference color of the external screen may be determined based on the most distributed color, or the reference color of the external screen may be set based on the overall brightness of the background.

그리고, 상기 제어부(130)는, 상기 외부 화면이 투영된 이후에 상기 제스처 검출부(120)를 통해 사용자의 드래그 동작이 검출되면, 선택된 콘텐츠를 인접 단말기로 전송한다. 더 구체적으로 설명하면, 사용자가 특정 콘텐츠를 터치한 후, 상기 콘텐츠를 소정 방향으로 드래그하는 것이 감지되면, 상기 제어부(130)는 인접 단말기(도시생략)와 통신을 연결하여, 상기 선택된 특정 콘텐츠를 인접 단말기로 전송한다. 이때, 상기 단말기(100)의 주변에 위치한 인접 단말기가 복수개인 경우, 드래그 방향에 따라서 복수의 인접 단말기 중에서 하나를 선택하여, 선택한 인접 단말기로 상기 선택된 특정 콘텐츠를 전송할 수 있다. 더 구체적으로 설명하면, 상기 제어부(100)는 드래그 동작이 검출되면, 상기 드래그 동작이 상기 외부 화면에서 밖으로 향하는 드래그 동작인지, 밖에서 외부 화면으로 진입하는 드래그 동작인지를 확인하고, 외부 화면에서 밖으로 향하는 드래그 동작이면, 상기 드래그 동작에서 선택된 콘텐츠를 전송시키고, 상기 밖에서 외부 화면으로 진입하는 드래그 동작이면, 인접 단말기에서 전송된 콘텐츠를 수신한다. 이에 따르면, 두 개의 단말기를 인접하여 배치한 상태에서, 사용자가 한 단말기의 외부 화면에서 특정 콘텐츠를 선택하여 다른 단말기의 외부 화면으로 드래그할 경우, 상기 드래그 동작이 시작된 단말기에서 콘텐츠 전송이 수행되고, 드래그 동작이 끝나는 단말기에서는 콘텐츠 수신이 수행되어, 두 단말기 간에 콘텐츠의 송수신이 가능해지며, 드래그 방향으로 콘텐츠를 전송할 단말기를 선택할 수 있게 된다.상기 제어부(130)는, 상기 외부 화면으로서, 단말기(100)에서 현재 실행되는 기능과 관련된 사용자 인터페이스 화면을 프로젝터(110)에 제공한다. 이때, 상기 단말기(100)에서 멀티태스킹에 의하여 복수의 기능을 동시에 실행중인 경우에는, 복수의 기능에 각각 대응하는 복수의 사용자 인터페이스 화면의 집합이 외부 화면으로 제공된다. The controller 130 transmits the selected content to an adjacent terminal when a drag operation of the user is detected through the gesture detector 120 after the external screen is projected. In more detail, when a user touches a specific content and then detects that the user drags the content in a predetermined direction, the controller 130 connects communication with an adjacent terminal (not shown) to display the selected specific content. Send to neighboring terminal. In this case, when there are a plurality of neighboring terminals located in the vicinity of the terminal 100, one of a plurality of neighboring terminals may be selected according to a drag direction, and the selected specific content may be transmitted to the selected neighboring terminal. In more detail, when a drag operation is detected, the controller 100 checks whether the drag operation is a drag operation that moves outward from the external screen or a drag operation that enters the external screen from the outside, and moves outward from the external screen. If it is a drag operation, the content selected in the drag operation is transmitted, and if it is a drag operation to enter an external screen from the outside, the content transmitted from the adjacent terminal is received. According to this, when two terminals are placed adjacent to each other, when a user selects specific content from an external screen of one terminal and drags it to an external screen of another terminal, content is transmitted from the terminal where the drag operation is started. In the terminal where the drag operation is completed, content reception is performed to enable transmission and reception of content between the two terminals, and to select a terminal to transmit the content in the drag direction. The controller 130 is the external screen. Provides a user interface screen related to a function currently executed in the projector 110 to the projector 110. In this case, when the terminal 100 is simultaneously executing a plurality of functions by multitasking, a set of a plurality of user interface screens corresponding to the plurality of functions is provided as an external screen.

외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 본 발명의 일 실시 예에서는, 상기 제어부(130)가 서로 다른 공간에 상기 복수의 사용자 인터페이스 화면이 투영되도록 프로젝터(110)의 투영 방향을 프로젝션 시간 별로 제어한다.When the external screen is a collection of a plurality of user interface screens, in one embodiment of the present invention, the control unit 130 may project the projection direction of the projector 110 so that the plurality of user interface screens are projected in different spaces. Not much control.

더하여, 상기 제어부(130)는, 상기 제스처 검출부(120)가 도 4에 도시된 바와 같이, 카메라(320)로 구현되는 경우, 외부 화면의 투영 이후에 상기 카메라(320)로 촬영된 영상을 분석하여, 픽셀 값이 변화되는 위치를 검출하고, 이를 통해 드래그 동작을 인식한다.In addition, when the gesture detector 120 is implemented as a camera 320 as illustrated in FIG. 4, the controller 130 analyzes an image captured by the camera 320 after projection of an external screen. By detecting the position at which the pixel value changes, the drag operation is recognized.

마지막으로, 상기 통신 인터페이스부(150)는, 인접 단말기와 통신을 연결하여, 상기 제어부(130)의 제어에 따라서 선택된 콘텐츠를 인접 단말기로 전송하기 위한 것이다. 이때, 상기 통신 인터페이스부(150)에서의 통신 방식은 제한하지 않는다. 예를 들어, 통신 인터페이스부(150)는 유선 통신, 무선 통신, 적외선 통신을 통해 인접 단말기와 통신을 수행할 수 있다.Finally, the communication interface unit 150 connects the communication with the neighboring terminal and transmits the selected content to the neighboring terminal under the control of the controller 130. At this time, the communication method in the communication interface unit 150 is not limited. For example, the communication interface unit 150 may communicate with an adjacent terminal through wired communication, wireless communication, and infrared communication.

도 5는 본 발명에 있어서, 드래그 동작에 따른 콘텐츠 전송 과정을 예시한 도면이다. 여기서, 400a 및 400b는 본 발명에 따라 구현된 단말기로서, 이하에서 구분이 용이하도록 400a를 제1 단말기로 400b를 제2 단말기로 부르기로 한다.5 is a diagram illustrating a content transmission process according to a drag operation according to the present invention. Here, 400a and 400b are terminals implemented according to the present invention. Hereinafter, 400a is referred to as the first terminal and 400b is referred to as the second terminal so as to easily distinguish the terminal.

도 5를 참조하면, 제1,2 단말기(400a, 400b)를 나란히 배치한 상태에서, 상기 제1,2 단말기(400a, 400b)가 각각 임의의 외부 화면(411,412)를 투영한다.Referring to FIG. 5, in a state where the first and second terminals 400a and 400b are arranged side by side, the first and second terminals 400a and 400b respectively project arbitrary external screens 411 and 412.

이때, 사용자가 제1 단말기(400a)의 외부 화면(411)에 표시된 하나 이상의 콘텐츠 중에서 하나를 손가락으로 터치한 상태에서, 제2 단말기(400b) 쪽으로 드래그하면, 제1 단말기(400a)는 제2 단말기(400b)쪽으로의 드래그 동작을 검출하며, 제2 단말기(400b)에서 사용자 손가락의 접근을 감지하도록 할 수 있다. 이 경우, 제2 단말기(400b)는 제스처 검출부(120)를 통해 제1 단말기(400a)에서 드래그하는 사용자의 손가락의 접근을 감지할 수 있다.At this time, when the user touches one of the one or more contents displayed on the external screen 411 of the first terminal 400a with a finger and drags it toward the second terminal 400b, the first terminal 400a is connected to the second terminal 400a. The drag operation toward the terminal 400b may be detected, and the second terminal 400b may detect the approach of the user's finger. In this case, the second terminal 400b may detect the approach of the user's finger dragging from the first terminal 400a through the gesture detector 120.

따라서, 제1 단말기(400a)가 상기 사용자의 드래그 동작을 검출하여, 인접한 제2 단말기(400b)와 통신을 연결하여, 상기 선택된 콘텐츠를 제2 단말기(400b)로 전송하고, 사용자의 손가락 접근을 감지한 제2 단말기(400b)는 제1 단말기(400a)로부터 전송된 콘텐츠를 수신하여 저장한다. 이때, 사용자 편의를 위하여, 제2 단말기(400b) 측에서, 수신한 콘텐츠를 외부 화면(412) 상에 표시함으로써, 사용자가 콘텐츠 전송 상태를 확인하도록 할 수 있다. 여기서, 통신 연결을 위하여, 제1 단말기(400a)가 드래그 동작 감지 시 통신 연결 요청을 주변에 전송하면, 사용자의 손가락 접근을 감지한 제2 단말기(400b)가 상기 요청에 대한 응답을 통해 연결을 수락하도록 할 수 있다.Accordingly, the first terminal 400a detects the drag operation of the user, connects communication with the adjacent second terminal 400b, transmits the selected content to the second terminal 400b, and accesses the user's finger. The detected second terminal 400b receives and stores the content transmitted from the first terminal 400a. In this case, for the convenience of the user, the second terminal 400b may display the received content on the external screen 412 so that the user may check the content transmission status. In this case, when the first terminal 400a transmits a communication connection request when the drag operation is detected, the second terminal 400b that detects a user's finger access establishes a connection in response to the request. You can accept it.

다음으로, 도 6은 본 발명에 따른 제스처 인식을 이용한 콘텐츠 전송 방법을 나타낸 순서도이다.Next, FIG. 6 is a flowchart illustrating a content transmission method using gesture recognition according to the present invention.

도 1 내지 도 6을 참조하면, 본 발명에 따른 단말기(100)는, 먼저 하나 이상의 콘텐츠를 표시하는 외부 화면이 투영될 외부 공간을 촬영하여, 상기 외부 화면의 배경 색상을 검출하고, 상기 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정한다(S510). 상기 외부 화면의 기준 색상은, 외부 화면에 표시되는 정보들이 쉽게 인식될 수 있도록 설정되는 것이 바람직한데, 더 구체적으로는, 배경 색상과 보색 관계에 있는 색상으로 설정되거나, 상기 배경 색상과 반대의 명도를 갖도록 설정될 수 있다. 예를 들어, 촬영된 배경 색상이 어두운 경우, 상기 외부 화면은 흰색으로 설정되고, 촬영된 배경 색상이 밝은 경우, 상기 외부 화면은 검정색으로 설정된다.1 to 6, the terminal 100 according to the present invention first detects a background color of the external screen by capturing an external space on which an external screen displaying one or more contents is projected, and detects the background color. The reference color of the external screen is set to be distinguished from the S S510. The reference color of the external screen is preferably set so that information displayed on the external screen can be easily recognized. More specifically, the reference color of the external screen is set to a color having a complementary color relationship with the background color, or the brightness opposite to the background color. It can be set to have. For example, when the photographed background color is dark, the external screen is set to white, and when the photographed background color is bright, the external screen is set to black.

그리고, 단말기(100)는, 상기 설정된 기준 색상의 외부 화면을 단말기(100)의 외부 공간에 투영한다(S520). 이때, 프로젝터(100)에 의한 투영 범위가 대략적으로 설정되므로, 이에 맞추어 사용자가 원하는 장소, 예를 들어, 벽면이나 책상 위에 상기 외부 화면이 투영되도록 단말기(100)의 위치를 조정할 수 있다.In addition, the terminal 100 projects the external screen having the set reference color to the external space of the terminal 100 (S520). At this time, since the projection range by the projector 100 is set approximately, the position of the terminal 100 may be adjusted so that the external screen is projected on a place desired by the user, for example, a wall or a desk.

그리고, 상기에서 단말기(100)에 의해 투영되는 외부 화면은, 단말기(100)에서 실행되는 기능과 관련된 사용자 인터페이스 화면으로서, 하나 이상의 콘텐츠가 표시된다. 더하여, 상기 단말기(100)가 멀티 태스킹을 지원하는 경우, 상기 외부 화면은, 멀티 태스킹으로 실행되는 복수의 기능에 각각 대응하는 복수의 사용자 인터페이스 화면의 집합일 수 있다.The external screen projected by the terminal 100 is a user interface screen related to a function executed in the terminal 100, and one or more contents are displayed. In addition, when the terminal 100 supports multitasking, the external screen may be a set of a plurality of user interface screens respectively corresponding to a plurality of functions executed by multitasking.

상기에서, 상기 투영하는 외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 프로젝션 시간 별로 프로젝터의 투영 방향을 제어하여 상기 복수의 사용자 인터페이스 화면을 서로 다른 공간에 투영하도록 하거나, 복수의 프로젝션 파트를 통해, 상기 복수의 사용자 인터페이스 화면을 서로 다른 방향으로 동시에 투영한다. 이에 따르면, 복수의 사용자 인터페이스 화면을 동시에 표시하여, 사용자가 쉽게 멀티태스킹 작업을 수행할 수 있도록 할 수 있다.In the above, when the projected external screen is a set of a plurality of user interface screens, the projection direction of the projector is controlled for each projection time so that the plurality of user interface screens are projected in different spaces, or through a plurality of projection parts. The plurality of user interface screens are simultaneously projected in different directions. According to this, a plurality of user interface screens can be displayed at the same time, so that a user can easily perform a multitasking operation.

상기와 같이 외부 화면을 투영한 이후에, 상기 단말기(100)는, 상기 투영한 외부 화면에 대한 사용자의 제스처, 더 구체적으로는 드래그 동작을 감지한다(S530). 여기서, 사용자의 드래그 동작은, 적외선 위치 센서, 초음파 위치 센서, RF 위치 센서와 같은 위치를 검출할 수 있는 센서를 이용하여 검출할 수 있으며, 또한, 카메라를 이용하여 상기 투영된 외부 화면을 촬영한 후, 촬영된 영상에서의 사용자 터치에 따른 픽셀 변화를 감시하여 검출할 수 있다. 즉, 적외선 위치 센서, 초음파 위치 센서, RF 위치 센서 및 카메라를 이용하여 외부 화면에 대한 터치를 검출하고, 상기 터치 상태를 모니터링하여, 터치 상태가 일정 시간 이상 지속되고, 터치 위치가 변화되는 경우를 드래그 동작으로 인식한다.After projecting the external screen as described above, the terminal 100 detects a user's gesture, more specifically, a drag operation on the projected external screen (S530). Here, the user's dragging motion may be detected using a sensor capable of detecting a position such as an infrared position sensor, an ultrasonic position sensor, and an RF position sensor, and the camera may capture the projected external screen by using a camera. Thereafter, the pixel change according to the user's touch in the captured image may be monitored and detected. That is, a touch on an external screen is detected by using an infrared position sensor, an ultrasonic position sensor, an RF position sensor, and a camera, and the touch state is monitored so that the touch state lasts for a predetermined time and the touch position changes. Recognize it as a drag gesture.

상기와 같이 외부 화면에 대한 사용자의 드래그 동작을 감지하면, 상기 단말기(100)는, 인접한 단말기와 통신을 연결한다(S540). 여기서, 통신 방식은 제한하지 않는다. 이때, 상기 인접 단말기는 사용자에 의하여 상기 단말기(100)와 일정 거리 이내에 배치되어 있는 것이 바람직하며, 더 구체적으로는 도 5에 도시된 바와 같이 나란히 배치되는 것이 바람직하다. 그리고, 상기 통신 연결은 드래그 동작을 감지한 상기 단말기(100)가 주변으로 통신 연결 요청 메시지를 전송하면, 상기 드래그 동작에 의한 사용자의 손가락 접근을 감지한 인접 단말기가 연결을 수락하는 방식으로 이루어질 수 있다.If the user detects a drag operation on the external screen as described above, the terminal 100 connects the communication with the adjacent terminal (S540). Here, the communication method is not limited. In this case, the adjacent terminal is preferably arranged within a certain distance from the terminal 100 by the user, more specifically, it is preferably arranged side by side as shown in FIG. In addition, when the terminal 100 that detects the drag operation transmits a communication connection request message to the surroundings, the communication connection may be made in a manner in which the adjacent terminal that senses the user's finger access by the drag operation accepts the connection. have.

그리고 통신이 연결되면, 상기 단말기(100)는 드래그 동작에 의해 선택된 특정 콘텐츠를 상기 연결된 인접 단말기로 전송하고, 인접 단말기는 상기 특정 콘텐츠를 수신하여 저장한다(S550).When the communication is connected, the terminal 100 transmits the specific content selected by the drag operation to the connected neighboring terminal, and the neighboring terminal receives and stores the specific content (S550).

이에 따르면, 사용자는 드래그 동작만으로 단말기간에 콘텐츠를 전송할 수 있게 된다.Accordingly, the user can transmit the content between the terminals only by the drag operation.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시 예에 대하여 개시하였으나, 여기에 개시된 실시 예외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다. 또한, 본 명세서와 도면에서 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be apparent to those skilled in the art. In addition, although specific terms are used in the specification and the drawings, they are only used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention, and are not intended to limit the scope of the present invention.

본 발명은 사용자 명령에 따라서 일정 기능을 수행하도록 구현된 모든 종류의 단말기에 적용될 수 있는 것으로서, 바람직하게는, 휴대형 단말기에 적용되어, 단말기의 제어를 위한 외부 화면을 프로젝터를 통해 단말기의 외부에 투영함으로써, 공간적 제한 없이 다양한 외부 화면을 제공하고, 외부 화면에 대한 사용자의 드래그 동작을 감지하여, 드래그 동작에 의해 선택된 콘텐츠를 인접 단말기로 전송함으로써, 사용자가 단말기를 직접적으로 접촉하지 않고도 간단하게 콘텐츠 전송을 지시할 수 있다. 더하여, 본 발명은 외부 화면이 투영되는 공간의 배경 색상에 따라서 배경과 구분되도록 상기 외부 화면의 색상을 설정함으로써, 사용자가 외부 화면을 통해 정보를 쉽게 인지할 수 있도록 한다.The present invention can be applied to all kinds of terminals implemented to perform a certain function according to a user command, preferably applied to a portable terminal, projecting an external screen for controlling the terminal to the outside of the terminal through a projector By providing a variety of external screens without spatial limitation, by detecting the user's drag operation on the external screen, and by transmitting the content selected by the drag operation to the adjacent terminal, the content is simply transmitted without the user directly touching the terminal. Can be indicated. In addition, the present invention sets the color of the external screen to be distinguished from the background according to the background color of the space in which the external screen is projected, so that the user can easily recognize the information through the external screen.

또한, 본 발명은 복수의 사용자 인터페이스 화면을 서로 다른 공간에 투영함으로써, 복수의 사용자 인터페이스 화면을 동시에 표시하여, 사용자의 멀티태스킹 작업을 용이하게 할 수 있다.In addition, according to the present invention, by projecting a plurality of user interface screens in different spaces, a plurality of user interface screens can be simultaneously displayed, thereby facilitating a multitasking operation of a user.

100, 200, 300: 단말기
110, 210, 310: 프로젝터
120, 220, 320: 제스처 검출부
130: 제어부
140: 카메라
150: 통신 인터페이스부
221: 적외선 송신부
222: 적외선 수신부100, 200, 300: terminal
110, 210, 310: projector
120, 220, 320: gesture detection unit
130:
140: camera
150: communication interface unit
221: infrared transmitter
222: infrared receiver

Claims (17)

단말기의 외부 공간에 하나 이상의 콘텐츠를 표시하는 외부 화면을 투영하는 프로젝터;
상기 프로젝터에 의해 투영된 외부 화면에 대한 사용자의 드래그 동작을 검출하는 제스처 검출부;
상기 외부 화면이 투영되는 공간을 촬영하는 카메라;
상기 외부 화면을 프로젝터에 제공하고, 상기 카메라의 촬영 영상으로부터 외부 화면의 배경 색상을 검출하여, 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 제어하고, 상기 외부 화면의 투영 이후에 상기 제스처 검출부를 통해 사용자의 드래그 동작이 검출되면, 선택된 콘텐츠의 정보를 인접 단말기로 전송시키는 제어부; 및
상기 제어부의 제어에 따라서 상기 인접 단말기와 통신을 연결하여, 상기 선택된 콘텐츠를 상기 인접 단말기로 전송하는 통신 인터페이스부를 포함하며,
상기 제어부는
복수의 인접 단말기 중에서, 상기 드래그의 방향에 위치한 인접 단말기와 통신을 연결하여 상기 선택된 콘텐츠를 전송하는 것을 특징으로 하는 단말기.A projector projecting an external screen displaying one or more contents in an external space of the terminal;
A gesture detector for detecting a user's dragging operation on the external screen projected by the projector;
A camera for photographing a space in which the external screen is projected;
Providing the external screen to the projector, detecting the background color of the external screen from the captured image of the camera, controlling the reference color of the external screen to be distinguished from the background color, and the gesture detection unit after the projection of the external screen A control unit for transmitting information of the selected content to a neighboring terminal when a drag operation of the user is detected through the control unit; And
A communication interface configured to connect communication with the neighboring terminal under control of the controller, and transmit the selected content to the neighboring terminal,
The control unit
Among a plurality of neighboring terminals, the terminal characterized in that the communication with the neighboring terminal located in the direction of the drag to transmit the selected content. 삭제delete 제1항에 있어서, 상기 제어부는
드래그 동작이 검출되면, 드래그 방향을 확인하여, 외부 화면에서 밖으로 향하는 드래그 동작이면, 상기 선택된 콘텐츠를 인접 단말기로 전송하고, 밖에서 외부 화면으로 들어오는 드래그 동작이면, 인접 단말기에서 전송된 콘텐츠를 수신하는 것을 특징으로 하는 단말기.The apparatus of claim 1, wherein the control unit
When the drag operation is detected, the drag direction is checked, and if the drag operation moves outward from the external screen, the selected content is transmitted to the neighboring terminal. Terminal characterized in that. 제1항에 있어서, 상기 프로젝터는
외장형으로 구현되어, 상기 단말기의 제어부와 입출력 인터페이스를 통해 연결되는 것을 특징으로 하는 단말기.The method of claim 1, wherein the projector
Implemented externally, the terminal characterized in that connected to the control unit of the terminal through the input and output interface. 제1항에 있어서, 상기 제스처 검출부는
적외선 위치 센서, 초음파 위치 센서, RF 위치 센서, 및 카메라 중에서 어느 하나를 이용하여 사용자의 드래그 동작을 검출하는 것을 특징으로 하는 단말기.The method of claim 1, wherein the gesture detection unit
The terminal characterized in that for detecting the drag operation of the user using any one of the infrared position sensor, the ultrasonic position sensor, the RF position sensor, and the camera. 제5항에 있어서,
상기 제스처 검출부가 카메라를 이용하여 드래그 동작을 검출하는 경우, 상기 제스처 검출부는 상기 외부 화면이 투영되는 위치를 촬영하는 카메라와 일체로 구현되는 것을 특징으로 하는 단말기.The method of claim 5,
When the gesture detection unit detects a drag operation by using a camera, the gesture detection unit is integrally implemented with a camera for photographing the position where the external screen is projected. 제5항에 있어서,
상기 제스처 검출부가 카메라로 구현되는 경우, 상기 제어부가 상기 카메라로 촬영된 외부 화면에 대한 영상의 픽셀 변화로부터 사용자의 드래그 동작을 인식하는 것을 특징으로 하는 단말기.The method of claim 5,
When the gesture detection unit is implemented as a camera, the control unit recognizes the user's drag operation from the pixel change of the image on the external screen captured by the camera. 제1항에 있어서, 상기 외부 화면은
하나의 사용자 인터페이스 화면 또는 복수의 사용자 인터페이스 화면의 집합인 것을 특징으로 하는 단말기.The method of claim 1, wherein the external screen
A terminal characterized in that the set of one user interface screen or a plurality of user interface screen. 제8항에 있어서, 상기 제어부는
상기 외부 화면이 복수의 사용자 인터페이스 화면의 집합인 경우, 시분할 방식을 적용하여, 상기 복수의 사용자 인터페이스 화면을 프로젝션의 시간 별로, 서로 다른 방향으로 투영하도록 상기 프로젝터를 제어하는 것을 특징으로 하는 단말기.The method of claim 8, wherein the control unit
And when the external screen is a collection of a plurality of user interface screens, by applying a time division scheme, controlling the projector to project the plurality of user interface screens in different directions for each projection time. 제8항에 있어서, 상기 프로젝터는
서로 다른 공간으로 투영하는 복수의 프로젝션 파트로 이루어져, 상기 복수의 프로젝션 파트가 상기 복수의 사용자 인터페이스 화면을 동시에 투영하는 것을 특징으로 하는 단말기.The apparatus of claim 8, wherein the projector is
And a plurality of projection parts projecting into different spaces, wherein the plurality of projection parts simultaneously project the plurality of user interface screens. 하나 이상의 콘텐츠를 표시하는 외부 화면이 투영될 단말기의 외부 공간을 촬영하여 상기 외부 화면의 배경 색상을 검출하고, 상기 배경 색상과 구분되도록 상기 외부 화면의 기준 색상을 설정하는 단계;
상기 외부 화면을 상기 단말기의 외부 공간에 투영하는 단계;
상기 투영한 외부 화면에 대한 사용자의 드래그 동작을 감지하는 단계; 및
상기 사용자의 드래그 동작을 감지하면, 상기 드래그 동작에 따라서 선택된 콘텐츠를 인접 단말기로 전송하는 단계를 포함하며,
상기 선택된 콘텐츠를 인접 단말기로 전송하는 단계는
상기 드래그 방향에 위치한 인접 단말기로 상기 선택된 콘텐츠를 전송하는 단계인 것을 특징으로 하는 제스처 인식을 이용한 콘텐츠 전송 방법.Capturing an external space of a terminal to which an external screen displaying one or more contents is projected to detect a background color of the external screen, and setting a reference color of the external screen to be distinguished from the background color;
Projecting the external screen into an external space of the terminal;
Detecting a user's dragging operation on the projected external screen; And
Detecting a drag operation of the user, transmitting the selected content to the adjacent terminal according to the drag operation,
The step of transmitting the selected content to a neighboring terminal
Transmitting the selected content to an adjacent terminal located in the drag direction. 삭제delete 제11항에 있어서, 상기 사용자의 드래그 동작을 감지하는 단계는
적외선 위치 센서 또는 초음파 위치 센서 또는 RF 위치 센서를 통해 상기 화면에 대한 사용자의 드래그 동작을 감지하는 단계인 것을 특징으로 하는 제스처 인식을 이용한 콘텐츠 전송 방법.The method of claim 11, wherein the detecting of the drag operation of the user comprises:
And detecting a user's drag motion to the screen through an infrared position sensor, an ultrasonic position sensor, or an RF position sensor. 제11항에 있어서, 상기 사용자의 터치를 감지하는 단계는
상기 외부 화면을 카메라로 촬영하고, 상기 촬영된 영상에서의 픽셀변화를 통해 사용자의 드래그 동작을 감지하는 단계인 것을 특징으로 하는 제스처 인식을 이용한 콘텐츠 전송 방법.The method of claim 11, wherein detecting the touch of the user comprises:
Capturing the external screen with a camera and sensing a drag operation of the user through a pixel change in the photographed image. 제11항에 있어서, 상기 외부 화면은
하나의 사용자 인터페이스 화면 또는 복수의 사용자 인터페이스 화면의 집합인 것을 특징으로 하는 제스처 인식을 이용한 콘텐츠 전송 방법.The method of claim 11, wherein the external screen is
Contents transmission method using gesture recognition, characterized in that the set of one user interface screen or a plurality of user interface screen. 제15항에 있어서, 상기 외부 화면을 상기 단말기의 외부 공간에 투영하는 단계는
시분할 방식을 이용하여, 상기 복수의 사용자 인터페이스 화면을 프로젝션 시간 별로, 서로 다른 공간에 투영하는 단계인 것을 특징으로 하는 제스처 인식을 이용한 콘텐츠 전송 방법.The method of claim 15, wherein the projecting of the external screen into an external space of the terminal
And projecting the plurality of user interface screens into different spaces for each projection time by using a time division method. 제15항에 있어서, 상기 외부 화면을 상기 단말기의 외부 공간에 투영하는 단계는
복수의 프로젝션 파트를 통해, 상기 복수의 사용자 인터페이스 화면을 서로 다른 공간에 동시에 투영하는 단계인 것을 특징으로 하는 제스처 인식을 이용한 콘텐츠 전송 방법.The method of claim 15, wherein the projecting of the external screen into an external space of the terminal
And projecting the plurality of user interface screens simultaneously in different spaces through a plurality of projection parts.
KR1020100020265A 2010-03-08 2010-03-08 Method for transmitting contents using gesture recognition and terminal thereof KR101196761B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100020265A KR101196761B1 (en) 2010-03-08 2010-03-08 Method for transmitting contents using gesture recognition and terminal thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100020265A KR101196761B1 (en) 2010-03-08 2010-03-08 Method for transmitting contents using gesture recognition and terminal thereof

Publications (2)

Publication Number Publication Date
KR20110101328A KR20110101328A (en) 2011-09-16
KR101196761B1 true KR101196761B1 (en) 2012-11-05

Family

ID=44953366

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100020265A KR101196761B1 (en) 2010-03-08 2010-03-08 Method for transmitting contents using gesture recognition and terminal thereof

Country Status (1)

Country Link
KR (1) KR101196761B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016047824A1 (en) * 2014-09-25 2016-03-31 엘지전자 주식회사 Image information projection device and projection device control method
KR101860753B1 (en) * 2016-06-13 2018-05-24 (주)블루클라우드 User recognition content providing system and operating method thereof
KR102422834B1 (en) * 2020-12-02 2022-07-19 (주)유비컴 Gesture recognition device using 3D virtual space and wrist band and recognition method using the same
CN113795015B (en) * 2021-08-17 2023-10-20 咪咕文化科技有限公司 Data transmission method, device, equipment and computer readable storage medium

Also Published As

Publication number Publication date
KR20110101328A (en) 2011-09-16

Similar Documents

Publication Publication Date Title
USRE49323E1 (en) Mobile client device, operation method, and recording medium
US11455044B2 (en) Motion detection system having two motion detecting sub-system
US9110495B2 (en) Combined surface user interface
TWI689844B (en) Mobile device and control method
US9002520B2 (en) User interface device of remote control system for robot device and method using the same
WO2015003522A1 (en) Face recognition method, apparatus, and mobile terminal
US11971646B2 (en) Camera module, mobile terminal, and control method
US9377901B2 (en) Display method, a display control method and electric device
US20140062863A1 (en) Method and apparatus for setting electronic blackboard system
CN108053803B (en) Display correction method, display correction device and display correction system of display module
CN104777927A (en) Image type touch control device and control method thereof
US20100060592A1 (en) Data Transmission and Reception Using Optical In-LCD Sensing
KR101196761B1 (en) Method for transmitting contents using gesture recognition and terminal thereof
US20060154652A1 (en) Method and system for direct communication between mobile device and application on display
TW201510772A (en) Gesture determination method and electronic device
TW202004432A (en) Electronic device and operation control method thereof
CN104064022A (en) Remote control method and system
CN102999284A (en) Transmission method and electronic device
US20160124523A1 (en) Electronic device, display device, and method for controlling the same
KR101196760B1 (en) Method for controlling terminal using gesture recognition and terminal using the same
CN108984677B (en) Image splicing method and terminal
KR102297025B1 (en) Mobile device, cross-device content sharing system and content sharing methods thereof
KR102495326B1 (en) Electronic device and control method thereof
CN110502292B (en) Display control method and terminal
CN112653831B (en) Photographing terminal and photographing control method

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150922

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170928

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180928

Year of fee payment: 7