KR20160014759A - Apparatus and method for controlling image screen using portable terminal - Google Patents

Apparatus and method for controlling image screen using portable terminal Download PDF

Info

Publication number
KR20160014759A
KR20160014759A KR1020160009349A KR20160009349A KR20160014759A KR 20160014759 A KR20160014759 A KR 20160014759A KR 1020160009349 A KR1020160009349 A KR 1020160009349A KR 20160009349 A KR20160009349 A KR 20160009349A KR 20160014759 A KR20160014759 A KR 20160014759A
Authority
KR
South Korea
Prior art keywords
external display
distance value
screen
motion
point
Prior art date
Application number
KR1020160009349A
Other languages
Korean (ko)
Other versions
KR101709529B1 (en
Inventor
정대광
오윤제
박성범
신홍석
이경우
최정석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160009349A priority Critical patent/KR101709529B1/en
Publication of KR20160014759A publication Critical patent/KR20160014759A/en
Application granted granted Critical
Publication of KR101709529B1 publication Critical patent/KR101709529B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

The present invention relates to an image screen control method using a mobile terminal having a camera. According to the present invention, the image screen control method using the mobile terminal in a visible light communication system comprises: a step of enlarging and projecting a screen, wherein a reference point is displayed, in the mobile terminal onto an external display; a step of configuration to match a coordinate value of a pointed external display screen to a coordinate value of the screen, wherein the reference point is displayed, in the mobile terminal, when a specific device points to the reference point of the screen projected on the external display; and a step of controlling content, projected on the external display, in the mobile terminal by recognizing a motion pattern by using a specific apparatus, at the pointed spot.

Description

휴대 단말을 이용한 영상 화면 제어 방법 및 장치{APPARATUS AND METHOD FOR CONTROLLING IMAGE SCREEN USING PORTABLE TERMINAL}TECHNICAL FIELD [0001] The present invention relates to a method and an apparatus for controlling an image screen using a portable terminal,

본 발명은 휴대 단말기의 프리젠테이션 기능 구현 방법 및 장치에 관한 것으로, 특히 카메라가 구비된 휴대 단말을 이용하여 이의 표시화면을 외부 기기의 디스플레이 화면에 확대 영사하고, 상기 외부 기기의 디스플레이 화면에 새로이 투영되는 가시광 점 또는 포인팅 도구를 통해 휴대 단말 내 컨텐츠를 제어하는 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for implementing a presentation function of a portable terminal, and more particularly, to a portable terminal having a camera, enlarging and displaying the display screen thereof on a display screen of an external device, And more particularly, to a method and apparatus for controlling a video image using a portable terminal in a visible light communication system for controlling contents in a portable terminal through a visible light point or a pointing tool.

일반적으로 프리젠테이션이라 하면 연구 내용의 발표, 계획서나 사업 설명서 등의 발표, 세미나에서의 발표 등을 총칭하는 것으로, 다수의 사람들에게 자신의 주장이나 의견을 발표하는 것을 지칭한다.In general, presentation refers to presentation of research contents, presentation of plans and business manuals, presentation at seminars, etc., and presentation of opinions and opinions to a large number of people.

상기 프리젠테이션에 필요한 자료를 다수의 사람들에게 제공할 필요가 있는 경우에는 유인물의 배부, 브리핑 챠트의 이용, 슬라이더 영사기, OHP 등을 사용한다. In the case where it is necessary to provide a large number of people with the data necessary for the presentation, a distribution of a handout, utilization of a briefing chart, a slider projector, OHP, and the like are used.

근래 들어서는 사용하기에 간편하고 다양한 기능을 가진 프로젝터(Projector)를 많이 장치에 사용하는 것이 일반적이다. In recent years, it is common to use a plurality of projectors which are easy to use and have various functions.

이때, 주로 컴퓨터와 상기 컴퓨터와 연결되는 확대 영상 투영 장치, 그리고 상기 컴퓨터와 연결되는 카메라가 준비된 환경에서만 사용이 가능하므로 활용되는 공간이 제한적이며, 단지 투영되는 영상 상에 투영되는 가시광 점의 좌표를 추출하여 상기 컴퓨터 화면 상의 좌표와 대응하도록 함으로써 활용되는 기능이 매우 단순하여 활성화되는 기능이 매우 제한적 이었다.At this time, since a space mainly used can be used only in an environment in which a computer, a magnifying image projection device connected to the computer, and a camera connected to the computer are prepared, the space used is limited, and the coordinates of the visible light point projected on the projected image So that the function to be utilized is very simple and the function of being activated is very limited.

도 1에 도시된 바와 같이 휴대용 컴퓨터를 프로젝터와 같은 외부 디스플레이 장치에 연결하여 사용하나, 휴대용 컴퓨터를 이용하는 경우에도 그 부피가 크고 무게가 상당한 이유로 휴대하기가 불편한 점이 있으며, 적은 분량의 화면 데이터를 출력하기 위해 휴대용 컴퓨터 자체를 휴대해야 하는 불편함이 있다.As shown in FIG. 1, a portable computer is connected to an external display device such as a projector. However, even if a portable computer is used, it is bulky and bulky because of its heavy weight. It is inconvenient to carry the portable computer itself.

그리고 공간의 제약을 받는 경우, 예를 들어 프로젝터가 멀리 떨어져 있는 경우에는 발표자가 직접 휴대용 컴퓨터를 조작할 수 없으므로, 발표의 진행에 따라 휴대용 컴퓨터를 조작할 사람이 필요하기 때문에 발표자 이외에 별도의 인력이 필요한 문제점이 발생한다.For example, if the projector is far away, the presenter can not manipulate the portable computer directly. Therefore, the person who needs to operate the portable computer is needed according to the progress of the presentation. There is a problem.

아울러, 발표자의 진행에 따라 휴대용 컴퓨터의 화면 정보가 전화되어야 하는데, 두 사람이 진행을 함에 따라 발표자와 컴퓨터 조작자는 서로 간에 눈짓이나 수신호 등으로 이러한 동기를 맞출 노력이 필요한 불편함이 있었다. In addition, according to the progress of the presenter, the screen information of the portable computer must be called. As the two persons proceed, the presenter and the computer operator have inconvenience to try to synchronize with each other with eyes or a signal.

또한, 가시광 점을 투영하는 장치를 지탱하는 손의 의도하지 않은 움직임 또는 손떨림에 의해 발생하는 가시광점의 급격한 움직임 또는 떨림에 의해서 발생하고, 이때 추출된 가시광점의 좌표가 마우스의 지적 지점과 대응하면서 의도하지 않은 좌표로 인하여 동작의 안정성이 저해되는 문제가 발생한다. In addition, this is caused by unintentional movement of a hand supporting an apparatus for projecting a visible light spot, or sudden movement or tremble of a visible light spot caused by camera shake. At this time, the coordinate of the extracted visible light point coincides with the intellectual point of the mouse There arises a problem that stability of operation is hindered due to unintentional coordinates.

본 발명의 목적은 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어 장치 및 방법에 관한 것으로, 휴대 단말 내의 화면이 외부 디스플레이에 확대 영상으로 투영되도록 하고, 상기 확대된 영상에서 소정의 도구를 통해 특정 지점을 포인팅하여 상기 휴대 단말 내의 기능이 동작하도록 제어하기 위함이다. An object of the present invention is to provide an apparatus and method for controlling an image screen using a portable terminal in a visible light communication system, in which a screen in a portable terminal is projected on an enlarged image on an external display, And pointing to a point to control the function in the portable terminal to operate.

본 발명의 또 다른 목적은 외부 디스플레이 화면에서, 소정의 도구를 이용하는 사용자의 손의 의도하지 않은 움직임 또는 손떨림에 의해 발생하는 소정의 도구의 무의미한 움직임 또는 떨림을 움직임 양식을 인식함에 있어서, 상기 손의 의도하지 않은 움직임 또는 손떨림의 발생을 최대한 제거함으로써 의도한 기능의 동작이 이루어지지 않거나 의도하지 않았던 기능의 동작이 이루어지는 오류를 감소시켜 기능의 정확성을 확보하기 위함이다.It is a further object of the present invention to provide a method and apparatus for recognizing movement patterns of an unintentional movement or shudder of a predetermined tool caused by unintentional movement of a user's hand using a predetermined tool, The purpose is to eliminate the unintentional movement or the occurrence of camera shake as much as possible, thereby ensuring the accuracy of the function by reducing the error in which the intended function is not operated or the operation of the unintended function is performed.

상기한 목적을 달성하기 위해서 본 발명의 일 견지에 따르면, 카메라가 구비된 휴대단말을 이용한 영상 화면 제어 방법에 있어서, 상기 휴대단말 내 기준점이 표시된 화면을 외부 디스플레이에 확대 투영하는 과정과, 상기 외부 디스플레이에 투영된 화면의 기준점을 소정의 도구를 통해 포인팅하면, 상기 포인팅된 외부 디스플레이 화면의 좌표 값과 상기 휴대단말 내 기준점 표시된 화면의 좌표 값이 일치하도록 설정하는 과정 및 상기 포인팅된 지점에서의 소정의 도구를 이용한 움직임 패턴을 인식하여 외부 디스플레이에 투영된 휴대단말 내 컨텐츠를 제어하는 과정을 포함함을 특징으로 한다. According to an aspect of the present invention, there is provided a method of controlling an image screen using a mobile terminal having a camera, the method comprising the steps of enlarging and projecting a screen displaying a reference point in the mobile terminal on an external display, Setting a coordinate value of the pointed external display screen and a coordinate value of a screen displayed in the portable terminal to coincide when a reference point of the screen projected on the display is pointed by a predetermined tool; And controlling the content in the portable terminal projected on the external display by recognizing the movement pattern using the tool of the portable terminal.

상기한 목적을 달성하기 위해서 본 발명의 다른 견지에 따르면, 카메라가 구비된 휴대단말을 이용한 영상 화면 제어 장치에 있어서, 상기 휴대단말에서 디스플레이하고자 하는 화면을 출력하여 외부 디스플레이에 확대 영사하는 영상전송부와, 상기 외부 디스플레이 화면을 촬영하는 촬영부와, 상기 촬영부를 통해 외부 디스플레이 화면상에서의 소정의 도구를 통한 포인팅 및 움직임을 인식하는 인식부와, 상기 포인팅된 외부 디스플레이 화면의 좌표 값과 상기 휴대단말 내 화면의 좌표 값을 일치하도록 설정하는 좌표 설정부와, 상기 포인팅된 지점에서의 소정의 도구를 이용한 움직임 패턴을 추출하는 움직임 패턴 추출부와, 상기 추출된 소정의 도구의 움직임을 이용하여 외부 디스플레이에 투영된 휴대 단말 내 컨텐츠를 제어하는 제어부를 포함함을 특징으로 한다. According to another aspect of the present invention, there is provided an image screen control apparatus using a portable terminal having a camera, the image screen control apparatus comprising: a video transmission unit for outputting a screen to be displayed on the portable terminal, A recognition unit for recognizing a pointing and a movement through a predetermined tool on an external display screen through the photographing unit and a coordinate value of the pointed external display screen, A movement pattern extracting unit for extracting a movement pattern using a predetermined tool at the pointed point, and a movement pattern extracting unit for extracting a movement pattern using the motion of the predetermined tool, And a control unit for controlling contents in the projected portable terminal .

상술한 바와 같이, 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법 및 장치에 있어서, 프리젠테이션에 필요한 기능들을 휴대 단말에 집약함으로써 간단한 회의 등에서 별도의 발표 장비를 준비해야 하는 번거로움을 감소시키는 효과가 있다. As described above, in the method and apparatus for controlling an image screen using a portable terminal in a visible light communication system, functions necessary for presentation are concentrated in a portable terminal, thereby reducing the inconvenience of preparing separate presentation equipment in a simple meeting or the like .

그리고, 프리젠테이션 시 확대 영상 투영 장치를 이용하지 않고, 직접적으로 대형의 화면을 표현할 있는 대형 디스플레이를 활용하는 환경에서도 본 발명의 기술을 응용하여 외부 디스플레이 화면상에서의 포인팅 지점뿐만 아니라, 3차원 공간상에서의 한 개 이상의 포인팅 지점들에 대한 위치와 움직임 양식을 추출하도록 하여 다양한 기능들을 대응하도록 함으로써 편리한 사용자 인터페이스 환경을 제공하는 효과가 있다. In addition, the present invention can be applied not only to a pointing point on an external display screen but also to a point on a three-dimensional space by using a large-sized display that can directly display a large screen, The position and the movement style of one or more pointing points of the mobile terminal are extracted to correspond to various functions, thereby providing a convenient user interface environment.

또한, 의도하지 않은 손의 움직임 또는 손떨림에 의해 발생하는 가시광점 또는 도구 포인팅 지점의 무의미한 움직임 또는 떨림을 움직임 양식을 추출하는 과정에서 최대한 제거하여 동작의 오류를 억제함으로써 안정적으로 의도한 기능의 동작이 가능하다. In addition, it is possible to remove the unnecessary motion or trembling of the visible light point or the tool pointing point caused by unintentional hand movement or camera shake in the process of extracting the motion style as much as possible, It is possible.

도 1은 종래의 프리젠테이션 기능을 구비한 확대 영상 장치 시스템의 개략적인 구성도.
도 2는 본 발명의 일실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어에 관한 전체 시스템의 개략적인 구성도.
도 3은 휴대 단말 내 화면과 외부 디스플레이 화면에서의 기준점 설정 및 좌표 대응을 개략적으로 보인 구성도.
도 4는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법에 관한 흐름도.
도 5는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법 중에서 각 움직임 패턴의 특성에 따른 움직임 패턴 인식 절차에 관한 흐름도.
도 6의 (a), (b), (c), (d) 및 (e)는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법에서, 각 움직임 패턴인식을 개략적으로 보인 예시도.
도 7은 (a), (b) 및 (c)는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 방법에서, 특정 패턴 궤적의 보정을 개략적으로 보인 예시도.
도 8의 (a) 및 (b)는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서 휴대 단말을 이용한 영상 화면 제어 장치에 관한 상세 블록도 및 제어부의 상세 블록도.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a schematic diagram of a conventional enlarged imaging device system having a presentation function; FIG.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a method and apparatus for controlling an image display using a portable terminal in a visible light communication system according to an embodiment of the present invention.
FIG. 3 is a schematic view showing reference point setting and coordinate correspondence in a screen in a portable terminal and an external display screen; FIG.
4 is a flowchart illustrating a method of controlling an image screen using a mobile terminal in a visible light communication system according to an exemplary embodiment of the present invention.
FIG. 5 is a flowchart illustrating a movement pattern recognition procedure according to characteristics of each movement pattern in a method of controlling an image screen using a mobile terminal in a visible light communication system according to an exemplary embodiment of the present invention.
6A, 6B, 6C, 6D and 6E show an image screen control method using a portable terminal in a visible light communication system according to an embodiment of the present invention. FIG.
7 is a diagram schematically illustrating correction of a specific pattern locus in a method of controlling an image screen using a mobile terminal in a visible light communication system according to an embodiment of the present invention.
8A and 8B are detailed block diagrams of a video screen control apparatus using a mobile terminal in a visible light communication system according to an embodiment of the present invention and a detailed block diagram of the control unit.

이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It will be appreciated that those skilled in the art will readily observe that certain changes in form and detail may be made therein without departing from the spirit and scope of the present invention as defined by the appended claims. To those of ordinary skill in the art.

도 2는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어에 관한 전체 시스템의 개략적인 구성도이다. 2 is a schematic block diagram of an overall system for controlling a video screen using a mobile terminal in a visible light communication system according to an embodiment of the present invention.

본 발명이 적용된 시스템은, 휴대 단말(216)과 연결되는 외장형 확대 영상 투영 장치(214) 혹은 휴대 단말 내에 장착된 내장형 확대 영상 투영 장치(212)와 상기 휴대 단말에 구비된 카메라와, 휴대 단말 내의 화면이 확대 투영되는 외부 디스플레이 화면(210)과, 상기 외부 디스플레이 화면(210)에 새로이 투영되어 임의의 지점을 포인팅하기 위한 소정의 도구(218) 즉, 본원발명에서는 가시광점 혹은 임의의 색이 임의의 위치에 도색된 도구로 구성된다. The system to which the present invention is applied includes an external enlargement image projection device 214 connected to the portable terminal 216 or a built-in enlargement image projection device 212 mounted in the portable terminal, a camera provided in the portable terminal, An external display screen 210 in which a screen is enlarged and projected and a predetermined tool 218 for pointing at an arbitrary point newly projected on the external display screen 210. In the present invention, And a colored tool at the position of FIG.

이하, 후술 되는 본 발명 상세 설명에서 언급되는 휴대 단말은, 휴대 단말 내에 장착된 확대 영상 투영 장치를 예로 들어 설명하기로 한다. Hereinafter, a portable terminal referred to in the detailed description of the present invention will be described with reference to an enlarged image projection apparatus mounted in a portable terminal.

다음으로, 본 발명이 적용된 시스템의 개략적인 동작을 도 3의 구성도를 참조하여 대략적으로 설명하기로 한다. Next, a schematic operation of the system to which the present invention is applied will be described in detail with reference to the configuration diagram of FIG.

도 3은 휴대 단말 내 화면과 외부 디스플레이 화면에서의 기준점 설정 및 좌표 대응을 개략적으로 보인 구성도이다. 3 is a block diagram schematically showing reference point setting and coordinate correspondence in a screen in a portable terminal and an external display screen.

우선, 외부 디스플레이 화면(310)에 투영되는 지적 지점의 좌표를 휴대 단말의 화면(312)에서와 같이 휴대 단말 (316) 내 화면상에서의 좌표와 대응하도록 하기 위해 기준점을 설정하는 동작을 수행한다. First, an operation of setting a reference point is performed so that the coordinates of the cadence points projected on the external display screen 310 correspond to the coordinates on the screen of the portable terminal 316, such as the screen 312 of the portable terminal.

더욱 상세하게는, 초기 동작 시 상기 휴대 단말(316)에서 디스플레이하고자 하는 화면을 출력하여 외부 디스플레이 화면(310)에 확대 영사할 때, 상기 휴대 단말(316)과 외부 디스플레이 화면(310)의 좌표 설정을 위해 휴대 단말(316) 내 화면의 네 모서리에 + 표시가 있는 즉, 기준점이 설정된 화면을 외부 디스플레이 화면(310)에 확대 영상으로 투영 한 다음, 사용자가 사용하는 소정의 도구(318) 즉, 가시광선 또는 임의의 색으로 임의의 위치에 도색한 도구를 이용하여 각각의 + 표시를 지적하면, 상기 외부 디스플레이 화면(310)상에 투영된 확대 영상 상에서 위치한 네 모서리의 + 표시 지점의 좌표가 휴대 단말(316) 내 화면의 네 모서리 + 표시 지점의 좌표와 대응하도록 설정된다. More specifically, when an image to be displayed on the portable terminal 316 is output in an initial operation and is enlarged and projected on the external display screen 310, the coordinates of the portable terminal 316 and the external display screen 310 That is, a screen having a + mark at the four corners of the screen of the portable terminal 316, that is, a screen on which the reference point is set, is projected on the external display screen 310 as an enlarged image, The coordinates of the + display points of the four corners located on the enlarged image projected on the external display screen 310 are displayed on the display screen of the external display screen 310, Is set so as to correspond to the coordinates of the four corners of the screen in the terminal 316 plus the display point.

상기 설정이 완료된 다음 투영된 확대 영상(310) 상에서의 소정의 도구(318)를 통해 포인팅된 위치는 기준점 설정 시 설정된 + 표시 지점들로부터 상대적인 거리로 그 위치가 설정되며, 휴대 단말(316) 내 화면상의 + 표시 지점들로부터 상대적으로 동일한 비율의 거리에 놓인 지점 위치와 대응이 이루어진다. After the setting is completed, the position pointed by the predetermined tool 318 on the projected enlarged image 310 is set to a relative distance from the + display points set at the setting of the reference point, Correspondence is made to the position of the point lying at a distance of the same ratio from the + marking points on the screen.

상기 휴대 단말(316) 내 화면과, 외부 디스플레이 화면(310)의 좌표 대응은 하기와 같다.The coordinate correspondence between the screen in the portable terminal 316 and the external display screen 310 is as follows.

외부 디스플레이 확대 영상External display enlarged image 휴대 단말 내 화면Screen of portable terminal (0,0)
(x,0)
(0,y)
(x,y)
(0,0)
(x, 0)
(0, y)
(x, y)
(0,0)
(x,0)
(0,y)
(x,y)
(0,0)
(x, 0)
(0, y)
(x, y)

이하, 전술한 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어에 관한 전체 시스템의 개략적인 구성 및 도 4를 참조하여 본 발명의 바람직한 실시 예에 따른 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어 방법을 설명하기로 한다. Hereinafter, a schematic configuration of an overall system for controlling an image screen using a portable terminal in a visible light communication system according to an embodiment of the present invention and a visible light communication system according to a preferred embodiment of the present invention will be described with reference to FIG. A video screen control method using a portable terminal of the present invention will be described.

도 4는 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어 방법에 관한 흐름도이다. 4 is a flowchart illustrating a method of controlling an image screen using a mobile terminal in a visible light communication system according to an exemplary embodiment of the present invention.

먼저, 410 과정에서는 좌표 설정을 위한 휴대 단말 내 기준점이 표시된 화면을 외부 디스플레이 화면에 확대 투영한다. First, in step 410, a screen displaying a reference point in a portable terminal for coordinate setting is enlarged and projected on an external display screen.

상기 기준점은 디스플레이하고자 하는 화면의 네 모서리에 + 표시되며, 이는 좌표 설정을 위한 초기 화면 출력 시에만 발생하는 것으로, 상기 기준점은 현재 디스플레이되는 화면의 실제 범위를 의미한다. The reference point is displayed at the four corners of the screen to be displayed, which occurs only when the initial screen is output for coordinate setting, and the reference point means the actual range of the currently displayed screen.

412 과정에서는 상기 외부 디스플레이 화면상에 표시된 + 표시를 소정의 도구를 통해 포인팅하고, 이를 통해 외부 디스플레이 화면과, 휴대 단말 내의 화면의 좌표값이 일치하도록 설정한다. In step 412, the + mark displayed on the external display screen is pointed through a predetermined tool, and the coordinate values of the external display screen and the screen in the portable terminal are set to coincide with each other.

이때, 상기 소정의 도구는 사용자에 의해 사용되는 가시광점 혹은 임의의 색을 임의의 위치에 도색한 한 개 이상의 도구를 의미하며, 이를 통해 포인팅된 외부 디스플레이 화면상의 특정 지점은 식별 가능하다.At this time, the predetermined tool means one or more tools which colors a visible light spot or arbitrary color used by a user at an arbitrary position, and a specific point on the pointed external display screen is identifiable through the tool.

414 과정에서는 상기 외부 디스플레이 화면을 촬영한다. In step 414, the external display screen is photographed.

여기서, 상기 촬영된 화면은 외부 디스플레이 화면상에 휴대 단말 내의 좌표 값과 동일한 지점에서 새로이 투영되는 가시광점 혹은 임의의 색을 임의의 위치에 도색한 한 개 이상의 도구를 통해 포인팅 되는 전체 화면을 의미한다. Here, the photographed screen refers to a visible image point newly projected at the same point as the coordinate value in the portable terminal on the external display screen or a full screen pointed through one or more tools painted at an arbitrary position at an arbitrary position .

416 과정에서는 상기 촬영된 화면을 통해 포인팅된 특정 지점의 좌표값 및 움직임 패턴을 인식한다.In step 416, coordinate values and movement patterns of a specific point pointed through the photographed screen are recognized.

이때, 상기 움직임 패턴은 예를 들어, 소정의 도구가 가시광점 일 경우, 한 번 깜빡임을 "클릭(Click)" 기능으로 대응하고, 두 번 깜빡임을 "더블 클릭(Double Click)"으로 대응하도록 인식함으로써, 상기 외부 디스플레이 화면상에 투영된 휴대 단말에서 출력 중인 컨텐츠 상의 여러 동작 아이콘들을 활성화할 수 있다. At this time, for example, when the predetermined tool is a visible light point, the movement pattern is recognized so as to respond to the blinking once by a "click" function and to respond to the blinking twice by "double clicking" So that various operation icons on the content being output from the portable terminal projected on the external display screen can be activated.

상기 외부 디스플레이 화면상에 투영된 확대 영상 상의 임의의 객체를 활성화 한 다음 가시광점을 이동함으로써 "드래깅(dragging)"을 할 수 있으며, "드로(draw)" 아이콘을 활성화 한 다음 가시광점을 움직임으로써 움직임에 따라 선, 도형, 그림들이 상기 외부 디스플레이 화면상에 표시된다. By activating any object on the enlarged image projected on the external display screen and then moving the visible light point, it is possible to "dragging", by activating the "draw" icon and then moving the visible light point Lines, figures and figures are displayed on the external display screen according to the movement.

또한, 상기 움직임 패턴은 도 6의 (a) 및 (b)에 도시된 바와 같이, 디스플레이 화면상에서 소정의 도구를 통해 표시되는 문자, 그림 혹은 특정 명령을 수행하는 명령 기호 일 수 있으며, 상기 문자, 그림 혹은 명령 기호를 표시하고 싶을 경우, 휴대 단말 내에서 사용자의 선택에 의하여 이를 설정하여, 상기 설정된 값에 따라 표시 가능하다. 이때, 상기 문자, 그림 혹은 명령 기호의 표시 중 발생하는 불필요한 혹은 의도하지 않은 손떨림으로 인한 패턴의 궤적은 보정 가능하며, 이를 417 과정에서 수행하며, 이는 후술하는 도 5의 설명을 통해 상세히 설명하도록 한다. 6A and 6B, the movement pattern may be a character, a picture, or a command symbol for performing a specific command displayed on a display screen through a predetermined tool, When a picture or a command symbol is desired to be displayed, it can be set by the user's choice within the portable terminal and displayed according to the set value. At this time, the trajectory of the pattern due to unnecessary or unintentional hand shake that occurs during display of the character, figure, or command symbol can be corrected, and it is performed in step 417, which will be described in detail with reference to FIG. 5 described later .

그리고 418 과정에서는, 상기 소정의 도구를 통해 포인팅되고, 상기 포인팅된 지점의 움직임 패턴을 인식하여 해당 객체의 동작을 수행 혹은 상기 417 과정에 보정된 명령 기호의 휴대 단말 내의 해당 동작을 수행함으로써, 상기 외부 디스플레이 화면에 디스플레이된 임의의 컨텐츠를 제어한다. In operation 418, the operation of the corresponding object is recognized by recognizing the movement pattern of the pointed point by the predetermined tool, or performing the corresponding operation in the portable terminal having the command symbol corrected in operation 417, And controls any content displayed on the external display screen.

상술한 바와 같이, 본 발명은 소정의 도구를 통해 포인팅되고, 상기 포인팅된 지점의 움직임 패턴을 인식하여 해당 객체의 동작을 수행함으로써, 도 6의 (c)와 같이, 두 개 이상의 가시광점을 이용하여 투영된 확대 영상 상에 표현된 객체를 확대(Zoon In)하거나, 축소(Zoom Out)하여 표현하거나, 객체를 회전하도록 할 수 있도록 응용 가능하다. As described above, the present invention is pointed out through a predetermined tool, recognizes the movement pattern of the pointed point, and performs an operation of the corresponding object, thereby using two or more visible light points as shown in FIG. 6 (c) (Zoon In), zoom out (Zoom In), or rotate an object on the projected magnified image.

도 6의 (d)와 같이, 외부 디스플레이 화면상에 투영된 화면상에서 새로이 투영되는 다수의 가시광점들을 모두 휴대 단말 내 화면상의 좌표 지점과 일치하도록 설정함으로써 한 명 이상의 사용들과 상기 다수의 가시광점들과 대응하도록 할 수 있도록 응용 가능하다.As shown in (d) of FIG. 6, by setting all of the plurality of visible light points newly projected on the screen projected on the external display screen to coincide with the coordinate points on the screen in the portable terminal, one or more uses and the plurality of visible light points And the like.

도 6의 (e)와 같이, 외부 디스플레이 화면을 이용하여 투영된 확대 영상으로 게임을 동작시킬 경우, 투영되는 가시광점 또는 소정의 도구가 포인팅하는 지점을 게임기의 제어기로도 응용 가능하다. As shown in FIG. 6E, when a game is operated with an enlarged image projected using an external display screen, a visible light spot to be projected or a point at which a predetermined tool is pointing may be applied to a controller of a game machine.

한편, 본 발명에서는, 상기 416 과정에서의 움직임 패턴의 종류를 문자, 명령 기호 및 그림으로 정의하고 있으며, 도 5에서는 각 움직임 패턴의 특성에 따른 움직임 패턴 인식 절차 방법을 도시하였다.In the present invention, the types of movement patterns in step 416 are defined as characters, command symbols, and pictures, and FIG. 5 shows a method of recognizing movement patterns according to the characteristics of each movement pattern.

도 5는 외부 디스플레이 화면상에서 소정의 도구를 이용하여 특정 패턴 예를 들어, 문자, 그림 혹은 명령 기호를 표시함에 있어서, 의도하지 않은 손떨림에 의해 발생하는 가시광점의 무의미한 움직임 또는 떨림의 움직임 양식을 보정하기 위한 것으로, 먼저, 510 과정에서 사용자가 외부 디스플레이 화면상에 소정의 도구를 통해 표시하고자 하는 움직임 패턴을 선택한다. FIG. 5 is a flowchart illustrating a method of displaying a specific pattern, for example, a character, a picture, or a command symbol on an external display screen by using a predetermined tool, in order to correct a nonsensical motion of a visible light spot caused by unintentional hand movement, First, in step 510, the user selects a movement pattern to be displayed on the external display screen through a predetermined tool.

상기 선택된 움직임 패턴이 명령 기호일 경우(512 과정), 상기 명령 기호가 표시되는 시작지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고(514 과정), 원하는 인식에 따라 일정 시간 T1(516 과정) 즉, 상기 명령 기호의 특성에 따라 설정된 설정 시간 값 이후의 해당 이동 지점의 가시광점 좌표를 d1으로 선택하여(518 과정) 상기 d0과 d1과의 거리를 계산하고(520 과정), 이를

Figure pat00001
로 선택한다. If the selected movement pattern is a command symbol (step 512), the starting point at which the command symbol is displayed, that is, the current visible light point coordinate is selected as d0 (step 514) That is, the visible light point coordinates of the corresponding movement point after the set time value set according to the characteristic of the command symbol is selected as d1 (step 518), and the distance between d0 and d1 is calculated (step 520)
Figure pat00001
.

이때, 상기 원하는 인식은 사용자가 외부 디스플레이 화면상에서 소정의 도구를 통해 명령 기호의 표시를 진행하고 있는 것을 의미하며, 상기 명령 기호는, 특정 기능을 수행하는 기호 예를 들어, 도 7의 (a)에 도시한 바와 같이 화살표와 같은 기호로 상기 화살표의 방향에 따라 현재 디스플레이되고 있는 화면의 페이지는 이동 가능하다. Here, the desired recognition means that the user is proceeding to display a command symbol on the external display screen through a predetermined tool. The command symbol may be a symbol for performing a specific function, for example, The page of the screen currently being displayed along the direction of the arrow with a symbol like an arrow is movable as shown in Fig.

상기

Figure pat00002
가 원하는 인식에 따라 상기 명령 기호의 특성에 따라 설정된 일정 거리 D1 보다 작을 경우, 다시 말해 상기 계산된 거리 값
Figure pat00003
가 설정된 거리 값보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간(linear interpolation)을 수행하고(523 과정), 상기
Figure pat00004
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 516 과정으로 점프하여 일정 시간 T1을 기다린 다음 동일한 동작 흐름을 반복한다.remind
Figure pat00002
Is smaller than the predetermined distance D1 set according to the characteristic of the command symbol according to a desired recognition, that is, the calculated distance value
Figure pat00003
If the distance d0 is smaller than the predetermined distance value, linear interpolation is performed to connect d0 and d1 (step 523)
Figure pat00004
Is greater than the predetermined distance D1 set according to the desired recognition, the process jumps to step 516 again, waits for a predetermined time T1, and repeats the same operation flow.

이러한 동작 흐름을 통하여 일정 시간 T 이내에서 일정 거리 D보다 큰 움직임은 소거되어 손떨림에 의한 급격한 움직임, 무의미한 움직임, 떨림 등의 움직임 궤적을 보정하는 과정에서 제거 가능하며, 이를 도 7의 (a)에 도시하였다.In this operation flow, a motion greater than a predetermined distance D within a predetermined time T is canceled and can be eliminated in the process of correcting the motion trajectory such as sudden motion, nonsense motion, and trembling due to camera shake, Respectively.

따라서, 일정 시간 T와 일정거리 D는 원하는 인식 기능에 따라 다르게 설정함으로써 각 움직임 패턴의 특성에 따라, 보다 정밀한 동작의 정확성의 확보가 가능하다. Therefore, by setting the predetermined time T and the predetermined distance D differently according to the desired recognition function, it is possible to secure more accurate operation accuracy according to the characteristics of each movement pattern.

한편, 상기 선택된 움직임 패턴이 텍스트(text) 인식 일 경우(520 과정) 즉, 사용자가 텍스트 기능을 소정의 도구를 통해 선택한 경우, 상기 텍스트가 표시되는 시작지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고(522 과정), 원하는 인식에 따라 일정 시간 T2(524 과정), 이후의 가시광점 좌표를 d1으로 선택하여(526 과정), 상기 d0과 d1과의 거리를 계산하고(528 과정), 이를

Figure pat00005
로 선택한다. 상기
Figure pat00006
가 원하는 인식에 따라 설정된 일정 거리 D1보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간을 수행하고(523 과정), 상기
Figure pat00007
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 524 과정으로 점프하여 일정 시간 T2를 기다린 다음 동일한 동작 흐름을 반복한다.On the other hand, if the selected motion pattern is text recognition (520), that is, when the user selects a text function through a predetermined tool, the starting point at which the text is displayed, that is, the current visible light point coordinate is d0 (Step 522), a predetermined time T2 (step 524) and a subsequent visible point coordinate d1 are selected according to the desired recognition (step 526), the distance between d0 and d1 is calculated (step 528)
Figure pat00005
. remind
Figure pat00006
(Step 523). If the difference d0 is smaller than the predetermined distance D1,
Figure pat00007
Is greater than the predetermined distance D1 set according to the desired recognition, the process jumps to step 524 again, waits for a predetermined time T2, and repeats the same operation flow.

이러한 동작 흐름을 통하여 일정 시간 T 이내에서 일정 거리 D보다 큰 움직임은 소거되어 손떨림에 의한 급격한 움직임, 무의미한 움직임, 떨림 등의 움직임 궤적을 보정하는 과정에서 제거 가능하며, 이를 도 7의 (b)에 도시하였다.In this operation flow, a motion greater than a predetermined distance D within a predetermined time T is canceled and can be removed in the process of correcting the motion trajectory such as sudden motion due to hand shake, meaningless motion, and trembling, Respectively.

따라서, 일정 시간 T와 일정거리 D는 원하는 인식 기능에 따라 다르게 설정함으로써 각 움직임 패턴의 특성에 따라 보다 정밀한 동작의 정확성의 확보가 가능하다. Therefore, by setting the predetermined time T and the predetermined distance D differently according to a desired recognition function, it is possible to secure more accurate operation accuracy according to the characteristics of each movement pattern.

또한, 상기 선택된 움직임 패턴이 그림(painting)인식 일 경우(532 과정), 상기 그림이 표시되는 시작 지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고(534과정), 원하는 인식에 따라 일정 시간 T1(536 과정), 이후의 가시광점 좌표를 d1으로 선택하여(538 과정) 상기 d0과 d1과의 거리를 계산하고(540 과정), 이를

Figure pat00008
로 선택한다. 상기
Figure pat00009
가 원하는 인식에 따라 설정된 일정 거리 D1보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간(linear interpolation)을 수행하고(523 과정), 상기
Figure pat00010
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 536 과정으로 점프하여 일정 시간 T3을 기다린 다음 동일한 동작 흐름을 반복한다.If the selected motion pattern is picture recognition (step 532), the starting point at which the picture is displayed, that is, the current visible light point coordinate is selected as d0 (step 534) (Step 536), the subsequent visible point coordinate is selected as d1 (step 538), and the distance between d0 and d1 is calculated (step 540)
Figure pat00008
. remind
Figure pat00009
The linear interpolation is performed to connect d0 and d1 (step 523), and if it is smaller than the predetermined distance D1,
Figure pat00010
Is greater than the predetermined distance D1 set in accordance with the desired recognition, the process jumps to step 536 again, waits for a predetermined time T3, and repeats the same operation flow.

이러한 동작 흐름을 통하여 일정 시간 T 이내에서 일정 거리 D보다 큰 움직임은 소거되어 손떨림에 의한 급격한 움직임, 무의미한 움직임, 떨림 등의 움직임 궤적을 보정하는 과정에서 제거 가능하며, 이를 도 7의 (c)에 도시하였다.In this operation flow, a motion larger than a predetermined distance D within a predetermined time T is canceled and can be removed in the process of correcting a motion locus such as a sudden motion due to a camera-shake, a meaningless motion, a tremor, Respectively.

따라서, 일정 시간 T와 일정거리 D는 원하는 인식 기능에 따라 다르게 설정함으로써 각 움직임 패턴의 특성에 따라 보다 정밀한 정확성의 확보가 가능하다. Accordingly, by setting the predetermined time T and the predetermined distance D differently according to the desired recognition function, more accurate accuracy can be ensured depending on the characteristics of each movement pattern.

더불어, 상기 선택된 움직임 패턴이 명령 기호, text 혹은 그림이 아닐 경우에는 상기 움직임 패턴을 드래깅 및 클릭으로 인정하고, 상기 드래깅 및 클릭이 표시되는 시작 지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고(544 과정), 원하는 인식에 따라 일정 시간 T1(546 과정), 이후의 가시광점 좌표를 d1으로 선택하여(548 과정), 상기 d0과 d1과의 거리를 계산하고(550 과정), 이를

Figure pat00011
로 선택한다. 상기
Figure pat00012
가 원하는 인식에 따라 설정된 일정 거리 D1 보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간(linear interpolation)을 수행하고(523 과정), 상기
Figure pat00013
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 546 과정으로 점프하여 일정 시간 T4을 기다린 다음 동일한 동작 흐름을 반복한다.If the selected movement pattern is not a command symbol, text or picture, the movement pattern is recognized as dragging and clicking, and the starting point at which the dragging and clicking are displayed, that is, the current visible light point coordinate is selected as d0 544), a predetermined time T1 (546 steps) is selected according to the desired recognition, and a visible light point coordinate thereafter is selected as d1 (step 548), and the distance between d0 and d1 is calculated (step 550)
Figure pat00011
. remind
Figure pat00012
The linear interpolation is performed to connect d0 and d1 (step 523), and if it is smaller than the predetermined distance D1,
Figure pat00013
Is greater than the predetermined distance D1 set according to the desired recognition, the process jumps to step 546 again, waits for a predetermined time T4, and then repeats the same operation flow.

예를 들어, 명령 기호를 인식하고자 할 경우 상대적으로 가시광점의 움직임이 빠르므로 일정 시간 T를 상대적으로 짧은 0.1초로 정하고, 일정 거리 D를 상대적으로 긴 30mm로 설정할 수 있으며, 세밀한 그림 그리기를 인식하고자 할 경우 상대적으로 긴 10mm 로 설정 가능하다. For example, when the command symbol is recognized, the visible light spot moves relatively quickly. Therefore, the predetermined time T may be set to a relatively short 0.1 second, the predetermined distance D may be set to a relatively long 30 mm, It is possible to set the relative length to 10 mm.

따라서, 본 발명에서는 외부 디스플레이 화면상에 표시하고자 하는 패턴의 종류에 따라 예를 들어, 문자, 그림 혹은 메뉴 바에 나열되어 있는 특정 기능의 동작을 수행하는 명령 기호와 같이 특정한 패턴에 해당하는 특성에 맞춰 일정 시간 T와 일정 거리 D를 미리 설정 가능하다. Therefore, according to the present invention, in accordance with the type of the pattern to be displayed on the external display screen, for example, in accordance with the characteristic corresponding to a specific pattern such as a character, a picture or a command symbol for performing an operation of a specific function The predetermined time T and the predetermined distance D can be set in advance.

도 8은 본 발명의 일 실시 예에 따른 가시광 통신 시스템에서의 휴대단말을 이용한 영상 화면 제어 장치에 관한 상세 블록도이다. 8 is a detailed block diagram of an image screen control apparatus using a portable terminal in a visible light communication system according to an embodiment of the present invention.

상기 장치(800)는 휴대 단말 내에 내장형으로 구비되거나 혹은 상기 휴대 단말과 케이블을 통해 연결 가능한 외장형 장치에 구비될 수 있음을 전제로 한다.It is assumed that the apparatus 800 may be provided in a portable terminal or may be provided in an external apparatus that can be connected to the portable terminal through a cable.

도 8의 (a)를 참조하면, 상기 장치(800)는 촬영부(810), 인식부(812), 좌표 설정부(814), 움직임 패턴부(816), 영상 전송부(818), 선택부(820), 설정부(822), 제어부(824)를 포함하여 구성된다.8A, the apparatus 800 includes a photographing unit 810, a recognizing unit 812, a coordinate setting unit 814, a movement pattern unit 816, an image transmitting unit 818, 820, a setting unit 822,

상기 영상 전송부(818)는, 상기 휴대 단말에 디스플레이 하고자 하는 화면을 출력하여 외부 디스플레이에 확대 영사한다.The image transmitting unit 818 outputs a screen to be displayed on the portable terminal and enlarges and projects the image on an external display.

이때, 상기 휴대 단말에 디스플레이되는 화면에는 외부 디스플레이 화면과 일치하는 좌표를 설정하기 위한 기준점이 표시된다. At this time, a reference point for setting coordinates coinciding with the external display screen is displayed on the screen displayed on the portable terminal.

상기 촬영부(810)는, 외부 디스플레 화면을 촬영하고, 인식부(812)에서는, 상기 촬영부(810)를 통해 외부 디스플레이 화면상에서의 소정의 도구를 통한 포인팅 및 움직임을 인식한다. The photographing unit 810 photographs an external display screen and the recognizing unit 812 recognizes pointing and movement through a predetermined tool on the external display screen through the photographing unit 810. [

더욱 상세하게는, 소정의 도구가 가시광점 일 경우, 한 번 움직임 즉, 한 번 깜빡임을 "클릭(Click)"기능으로 대응하고, 두 번 움직임 즉, 두 번 깜빡임을 "더블 클릭(Double Click)"으로 대응하도록 인식한다.More specifically, when a predetermined tool is a visible light point, it responds with a "click" function, ie, a single motion, ie, a single click, and a "double click" "

또한, 상기 인식부(812)에서는, 외부 디스플레이 화면상에 투영된 확대 영상 상의 임의의 객체를 활성화 한 다음 가시광점을 이동함으로써 "드래깅(dragging)"을 할 수 있으며, "드로(draw)"는 아이콘을 활성화 한 다음 가시광점을 움직임으로써 움직임에 따라 선, 도형, 그림들이 상기 외부 디스플레이 화면상에 표시된다. Also, the recognizing unit 812 can perform "dragging" by activating an arbitrary object on the enlarged image projected on the external display screen and then moving the visible light point, and " After activating the icon and moving the visible light spot, lines, figures and figures are displayed on the external display screen according to the movement.

상기 좌표 설정부(814)에서는, 상기 포인팅된 외부 디스플레이 화면의 좌표값과 상기 휴대 단말 내 화면의 좌표값을 일치하도록 설정한다.The coordinate setting unit 814 sets the coordinate value of the pointed external display screen to coincide with the coordinate value of the screen in the portable terminal.

상기 움직임 패턴 추출부(816)에서는, 외부 디스플레이 화면상에서 사용자에 의해 소정의 도구를 통해 포인팅 지점에서의 움직임 패턴을 추출하여 상기 제어부(824)로 출력한다. The movement pattern extracting unit 816 extracts a movement pattern at a pointing point through a predetermined tool by the user on the external display screen and outputs the extracted movement pattern to the controller 824.

더욱 상세하게는, 소정의 도구가 가시광점 일 경우, 한 번 움직임 즉, 한 번 깜빡임을 "클릭(Click)"기능으로 대응하고, 두 번 움직임 즉, 두 번 깜빡임을 "더블클릭(Double Click)"으로 대응하도록 추출하여 상기 제어부(824)로 출력함으로써, 상기 외부 디스플레이 화면상에 투영된 휴대 단말에서 출력 중인 컨텐츠 상의 여러 동작 아이콘들을 활성화할 수 있다. More specifically, when a predetermined tool is a visible light point, it responds with a "click" function, ie, a single motion, ie, a single click, and a "double click" Quot ;, and outputs the extracted icon to the controller 824, thereby activating various operation icons on the content being output from the portable terminal projected on the external display screen.

상기 제어부(824)는, 움직임 패턴 추출부(816)에서 추출된 소정의 도구의 움직임을 이용하여 외부 디스플레이에 투영된 휴대 단말 내 컨텐츠를 제어한다.The control unit 824 controls the content in the portable terminal projected on the external display by using the motion of the predetermined tool extracted by the movement pattern extracting unit 816. [

상기 선택부(820)는, 외부 디스플레이 화면상에 사용자가 표시하고자 하는 패턴의 종류를 선택한다.
The selecting unit 820 selects a type of a pattern to be displayed by the user on the external display screen.

예를 들어, 외부 디스플레이 화면상에서 사용자가 표시하고자 하는 특정 패턴 즉, 텍스트, 그림 및 명령 기호를 각각 구분하여 선택 가능하다. For example, the user can select a specific pattern to be displayed on the external display screen, that is, a text, a picture, and a command symbol.

상기 설정부(822)는, 선택부(820)를 통해 입력된 특정 패턴의 특성에 해당하는 거리 및 시간 값이 미리 설정되어 저장된다. The setting unit 822 sets and stores distance and time values corresponding to the characteristics of the specific pattern input through the selecting unit 820.

예를 들어, 사용자가 상기 선택부(820)를 통해 명령 기호의 입력을 선택하였을 경우, 이에 따라 상기 설정부(822)에서는 상기 명령 기호에 해당하는 거리 및 시간 값을 추출하여 적용한다. For example, when the user selects the input of the command symbol through the selection unit 820, the setting unit 822 extracts and applies the distance and time values corresponding to the command symbol.

따라서, 사용자가 표시하고자 하는 특정 패턴 입력 시, 상기 설정부(822)에서는, 이에 해당하는 특성 값 즉, 거리 및 시간 값을 추출하여 상기 제어부(824)로 출력한다. Accordingly, when the user inputs a specific pattern to be displayed, the setting unit 822 extracts corresponding characteristic values, i.e., distance and time values, and outputs the extracted characteristic values to the control unit 824.

또한, 상기 제어부(824)는, 설정부(822)를 통해 획득된 특정 패턴의 특성에 해당하는 거리 값 및 시간 값을 이용하여 외부 디스플레이에 표시된 특정 패턴의 시작 지점 즉, 좌표에서부터 설정된 시간 값 이후의 해당 이동 지점 즉, 해당 좌표까지의 거리 값을 계산하고, 상기 계산된 거리 값과 설정된 거리 값을 비교하여 특정 패턴의 궤적을 보정하는 보정부(826)와, 상기 보정부(826) 를 통해 보정된 특정 패턴이 휴대 단말 내 특정 명령을 수행하는 기호와 일치하는지 비교하는 비교부(828)와, 상기 비교 결과, 일치할 경우 휴대 단말 내 특정 명령을 수행하는 기호와 일치하는 동작을 수행하도록 제어하는 기호 처리부(830)로 구성된다.In addition, the controller 824 may use a distance value and a time value corresponding to the characteristic of the specific pattern obtained through the setting unit 822 to calculate the distance from the start point of the specific pattern displayed on the external display, A corrector 826 for calculating a distance to the corresponding point of the coordinate system 826 and comparing the calculated distance value with the set distance value to correct the locus of the specific pattern, A comparison unit 828 for comparing the corrected specific pattern with a symbol for performing a specific command in the mobile terminal, and a control unit And a symbol processing unit 830 for performing a symbol processing.

상기 보정부(826)는, 예를 들어, 상기 설정부(822)를 통해 출력된 명령 기호가 표시되는 시작지점, 즉 현재의 가시광점 좌표를 d0으로 선택하고, 원하는 인식에 따라 일정 시간 T1즉, 상기 명령 기호의 특성에 따라 설정된 설정 시간 값 이후의 해당 이동 지점의 가시광점 좌표를 d1으로 선택하여, 상기 d0과 d1과의 거리를 계산하고, 이를

Figure pat00014
로 선택한다. For example, the correction unit 826 selects the starting point at which the command symbol output through the setting unit 822 is displayed, that is, the current visible light point coordinate d0, , The visible light point coordinate of the corresponding movement point after the set time value set in accordance with the characteristic of the command symbol is selected as d1 and the distance between d0 and d1 is calculated,
Figure pat00014
.

이때, 상기 원하는 인식은 사용자가 외부 디스플레이 화면상에서 소정의 도구를 통해 명령 기호의 표시를 진행하고 있는 것을 의미하며, 상기 명령 기호는, 특정 기능을 수행하는 기호 예를 들어, 도 7의 (a)에 도시한 바와 같이 화살표와 같은 기호로 상기 화살표의 방향에 따라 현재 디스플레이되고 있는 화면의 페이지는 이동 가능하다. Here, the desired recognition means that the user is proceeding to display a command symbol on the external display screen through a predetermined tool. The command symbol may be a symbol for performing a specific function, for example, The page of the screen currently being displayed along the direction of the arrow with a symbol like an arrow is movable as shown in Fig.

상기

Figure pat00015
가 원하는 인식에 따라 상기 명령 기호의 특성에 따라 설정된 일정 거리 D1보다 작을 경우, 다시 말해 상기 계산된 거리 값
Figure pat00016
가 설정된 거리 값보다 작을 경우, 상기 d0과 d1을 연결하는 선형 보간(linear interpolation)을 수행하고(523 과정), 상기
Figure pat00017
가 원하는 인식에 따라 설정된 일정 거리 D1보다 클 경우, 다시 516 과정으로 점프하여 일정 시간 T1을 기다린 다음 동일한 동작 흐름을 반복한다.remind
Figure pat00015
Is smaller than the predetermined distance D1 set according to the characteristic of the command symbol according to a desired recognition, that is, the calculated distance value
Figure pat00016
If the distance d0 is smaller than the predetermined distance value, linear interpolation is performed to connect d0 and d1 (step 523)
Figure pat00017
Is greater than the predetermined distance D1 set according to the desired recognition, the process jumps to step 516 again, waits for a predetermined time T1, and repeats the same operation flow.

이러한 동작 흐름을 통하여 일정 시간 T 이내에서 일정 거리 D보다 큰 움직임은 소거되어 손떨림에 의한 급격한 움직임, 무의미한 움직임, 떨림 등의 움직임 궤적을 보정하는 과정에서 제거 가능하며, 이를 도 7의 (a)에 도시하였다.In this operation flow, a motion greater than a predetermined distance D within a predetermined time T is canceled and can be eliminated in the process of correcting the motion trajectory such as sudden motion, nonsense motion, and trembling due to camera shake, Respectively.

따라서, 상기 보정부(826)를 통해 사용자 표시하고자 하는 특정 패턴을 명확히 인식하여, 이를 비교부(828)를 통해 휴대 단말 내 특정 기능과 연결하여 상기 기호 처리부(830)에서 해당하는 동작을 수행한다.Accordingly, the specific pattern to be displayed by the user is clearly recognized through the corrector 826, and the selected pattern is connected to the specific function in the portable terminal through the comparator 828 to perform the corresponding operation in the symbol processor 830 .

더불어, 상기 비교부(828)를 통해 휴대 단말 내 특정 명령과 일치하지 않을 경우에는, 이를 문자 혹은 그림으로 인식하여 상기 외부 디스플레이 화면상에 그대로 출력하도록 한다.
In addition, if it does not coincide with a specific command in the mobile terminal through the comparison unit 828, it is recognized as a character or a picture and is directly output on the external display screen.

상기와 같이 본 발명의 일실시 예에 가시광 통신 시스템에서의 휴대 단말을 이용한 영상 화면 제어 장치 및 방법에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.As described above, an operation of the apparatus and method for controlling an image screen using a portable terminal in a visible light communication system can be performed according to an embodiment of the present invention. While the present invention has been described with respect to specific embodiments thereof, Modifications can be made without departing from the scope of the present invention. Accordingly, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by equivalents of the claims and the claims.

Claims (12)

카메라가 구비된 영상 화면 제어 장치에 있어서,
외부 디스플레이 화면을 촬영하는 촬영부; 및
촬영된 영상으로부터 외부 디스플레이 화면상의 소정의 도구를 통한 포인팅을 인식하고, 상기 포인팅의 움직임 궤적을 보정하고, 상기 외부 디스플레이에 상기 보정된 움직임 궤적을 표시하도록 제어하는 제어부를 포함함을 특징으로 하는 영상 화면 제어 장치.
1. An image screen control apparatus equipped with a camera,
A photographing unit for photographing an external display screen; And
And a controller for recognizing a pointing through a predetermined tool on the external display screen from the photographed image, correcting the motion locus of the pointing, and displaying the corrected motion locus on the external display Screen control device.
제1항에 있어서,
상기 외부 디스플레이 화면상에 사용자가 표시하고자 하는 움직임 궤적의 종류를 선택하는 선택부; 및
상기 선택부를 통해 선택된 움직임 궤적에 해당하는 거리 값 및 시간 값이 미리 설정된 설정부를 더 포함함을 특징으로 하는 영상 화면 제어 장치.
The method according to claim 1,
A selection unit for selecting, on the external display screen, a type of movement trajectory the user wants to display; And
Further comprising a setting unit configured to preset a distance value and a time value corresponding to the selected motion trajectory through the selection unit.
제2항에 있어서, 상기 제어부는,
상기 움직임 궤적에 해당하는 거리 값 및 시간 값을 이용하여, 상기 외부 디스플레이에 표시된 움직임 궤적의 시작 지점에서부터 설정된 시간 값 이후의 해당 이동 지점까지의 거리 값을 계산하고, 상기 계산된 거리 값과 설정된 거리 값을 비교하여, 상기 움직임 궤적을 보정함을 특징으로 하는 영상 화면 제어 장치.
3. The apparatus of claim 2,
Calculating a distance value from a starting point of a motion trajectory displayed on the external display to a corresponding moving point after a set time value by using a distance value and a time value corresponding to the motion trajectory, And corrects the motion locus based on the comparison result.
제3항에 있어서, 상기 제어부는,
상기 계산된 거리 값이 상기 설정된 거리 값 보다 클 경우, 상기 설정된 시간 값 만큼 대기한 후 소정의 도구를 통해 표시된 움직임 궤적의 움직임을 계속하여 표시하고,
상기 계산된 거리 값이 상기 설정된 거리 값 보다 작을 경우, 상기 움직임 궤적이 시작 지점에서부터 설정된 시간 값 이후의 해당 이동 지점까지의 거리 값을 선형 보간하여 표시함을 특징으로 하는 영상 화면 제어 장치.
The apparatus of claim 3,
If the calculated distance value is greater than the set distance value, displays the motion of the displayed motion trajectory continuously through a predetermined tool after waiting for the set time value,
And displays the distance value of the motion locus from the start point to the corresponding movement point after the set time value by linear interpolation if the calculated distance value is smaller than the set distance value.
제1항에 있어서, 상기 움직임 궤적은,
상기 제어 장치 내 명령 기호, 그림 및 문자임을 특징으로 하는 영상 화면 제어 장치.
2. The method according to claim 1,
Wherein the controller is a command symbol, a picture, and a character in the control device.
제1항에 있어서,
상기 움직임 궤적을 이용하여, 상기 제어 장치의 컨텐츠를 제어함을 특징으로 하는 영상 화면 제어 장치.
The method according to claim 1,
And controls the content of the control device using the movement trajectory.
제1항에 있어서, 상기 소정의 도구는,
상기 외부 디스플레이 화면상에 표시 가능한 가시광선 혹은 소정의 색으로 도색한 도구임을 특징으로 하는 화면 제어 장치.
The apparatus according to claim 1,
Wherein the display device is a tool painted with visible light or a predetermined color that can be displayed on the external display screen.
카메라가 구비된 영상 화면 제어 장치의 영상 화면 제어 방법에 있어서,
외부 디스플레이에 투영된 화면상에 소정의 도구를 통한 포인팅을 인식하는 과정;
상기 포인팅의 움직임 궤적을 보정하는 과정; 및
외부 디스플레이에 상기 보정된 움직임 궤적을 표시하는 과정;을 포함함을 특징으로 하는 영상 화면 제어 방법.
A video screen control method of a video screen control apparatus equipped with a camera,
Recognizing pointing through a predetermined tool on a screen projected on an external display;
Correcting a motion locus of the pointing; And
And displaying the corrected motion locus on an external display.
제8항에 있어서, 상기 움직임 궤적을 보정하는 과정은,
상기 움직임 궤적에 해당하는 거리 값 및 시간 값을 설정하는 과정;
상기 움직임 궤적의 시작 지점에서부터 설정된 시간 값 이후의 해당 이동 지점까지의 거리 값을 계산하는 과정; 및
상기 계산된 거리 값과 설정된 거리 값을 비교하여, 상기 움직임 궤적을 보정하는 과정;을 포함함을 특징으로 하는 영상 화면 제어 방법.
The method of claim 8, wherein the step of correcting the motion locus comprises:
Setting a distance value and a time value corresponding to the movement trajectory;
Calculating a distance value from a start point of the movement trajectory to a corresponding movement point after a set time value; And
And comparing the calculated distance value with a set distance value to correct the motion locus.
제9항에 있어서,
상기 계산된 거리 값이 상기 설정된 거리 값 보다 클 경우, 상기 설정된 시간 값 만큼 대기한 후 소정의 도구를 통해 표시된 움직임 궤적의 움직임을 계속하여 표시하고,
상기 계산된 거리 값이 상기 설정된 거리 값 보다 작을 경우, 상기 움직임 궤적이 시작 지점에서부터 설정된 시간 값 이후의 해당 이동 지점까지의 거리 값을 선형 보간하여 표시함을 특징으로 하는 영상 화면 제어 방법.
10. The method of claim 9,
If the calculated distance value is greater than the set distance value, displays the motion of the displayed motion trajectory continuously through a predetermined tool after waiting for the set time value,
And when the calculated distance value is smaller than the set distance value, displays the distance value from the starting point to the corresponding moving point after the set time value by linear interpolation.
제8항에 있어서, 상기 움직임 궤적은,
상기 제어 장치 내 명령 기호, 그림 및 문자임을 특징으로 하는 영상 화면 제어 방법.
9. The method according to claim 8,
Wherein the command is a command symbol, a picture, and a character in the control device.
제8항에 있어서,
상기 움직임 궤적을 이용하여, 상기 제어 장치의 컨텐츠를 제어하는 과정을 더 포함함을 특징으로 하는 영상 화면 제어 방법.
9. The method of claim 8,
Further comprising the step of controlling the content of the control device using the movement trajectory.
KR1020160009349A 2016-01-26 2016-01-26 Apparatus and method for controlling image screen using portable terminal KR101709529B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160009349A KR101709529B1 (en) 2016-01-26 2016-01-26 Apparatus and method for controlling image screen using portable terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160009349A KR101709529B1 (en) 2016-01-26 2016-01-26 Apparatus and method for controlling image screen using portable terminal

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020080122588A Division KR20100064155A (en) 2008-12-04 2008-12-04 Apparatus and method for controlling image screen using portable terminal in a visible light communication system

Publications (2)

Publication Number Publication Date
KR20160014759A true KR20160014759A (en) 2016-02-11
KR101709529B1 KR101709529B1 (en) 2017-02-23

Family

ID=55351740

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160009349A KR101709529B1 (en) 2016-01-26 2016-01-26 Apparatus and method for controlling image screen using portable terminal

Country Status (1)

Country Link
KR (1) KR101709529B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620845A (en) * 2019-09-12 2019-12-27 联想(北京)有限公司 Information processing method, electronic device and computing device
US11470293B2 (en) 2020-08-26 2022-10-11 Samsung Electronics Co., Ltd. Electronic device for adjusting image quality of display device and method for operating the same

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050086154A (en) * 2004-02-25 2005-08-30 김성필 Presentation system of image identification and method thereof
KR20070035290A (en) * 2005-09-27 2007-03-30 엘지전자 주식회사 A mobile phone having with projection punction
KR20070120922A (en) * 2007-10-02 2007-12-26 (주)지디유 New command processing method for controlling screen using laser pointer

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050086154A (en) * 2004-02-25 2005-08-30 김성필 Presentation system of image identification and method thereof
KR20070035290A (en) * 2005-09-27 2007-03-30 엘지전자 주식회사 A mobile phone having with projection punction
KR20070120922A (en) * 2007-10-02 2007-12-26 (주)지디유 New command processing method for controlling screen using laser pointer

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110620845A (en) * 2019-09-12 2019-12-27 联想(北京)有限公司 Information processing method, electronic device and computing device
CN110620845B (en) * 2019-09-12 2021-01-15 联想(北京)有限公司 Information processing method, electronic device and computing device
US11470293B2 (en) 2020-08-26 2022-10-11 Samsung Electronics Co., Ltd. Electronic device for adjusting image quality of display device and method for operating the same

Also Published As

Publication number Publication date
KR101709529B1 (en) 2017-02-23

Similar Documents

Publication Publication Date Title
EP4246287A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
EP2897043B1 (en) Display apparatus, display system, and display method
CN103955339A (en) Terminal operation method and terminal equipment
JPWO2014208168A1 (en) Information processing apparatus, control method, program, and storage medium
WO2018010440A1 (en) Projection picture adjusting method and apparatus, and projection terminal
KR101709529B1 (en) Apparatus and method for controlling image screen using portable terminal
US8525890B2 (en) Projected-image based photographing apparatus control system
CN112333395B (en) Focusing control method and device and electronic equipment
CN112672051B (en) Shooting method and device and electronic equipment
US11386612B2 (en) Non-transitory computer-readable medium, image processing method, and image processing system for controlling progress of information processing in response to a user operation
US9946333B2 (en) Interactive image projection
JP2010272078A (en) System, and control unit of electronic information board, and cursor control method
US20220244788A1 (en) Head-mounted display
JP6308842B2 (en) Display system and program
JP2010093512A (en) Information processor, remote instruction system and program
JP2010015127A (en) Information display apparatus
KR20100064155A (en) Apparatus and method for controlling image screen using portable terminal in a visible light communication system
CN113225428A (en) Image copying processing method, device, equipment and computer readable storage medium
JP2017199085A (en) Information processing apparatus, information processing method, and program
JP6193180B2 (en) Presentation terminal and presentation method
JPWO2020095784A1 (en) Display control device, presentation system, display control method, and program
JP3744995B2 (en) Imaging method and apparatus
JP7239138B2 (en) INFORMATION DISPLAY DEVICE, INFORMATION DISPLAY METHOD AND PROGRAM
US9860480B2 (en) Method for processing information and electronic device
JP2020013200A (en) Painting support system, painting support data generating program and painting support data

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant