KR101615548B1 - IR pointer input system and method - Google Patents
IR pointer input system and method Download PDFInfo
- Publication number
- KR101615548B1 KR101615548B1 KR1020150065466A KR20150065466A KR101615548B1 KR 101615548 B1 KR101615548 B1 KR 101615548B1 KR 1020150065466 A KR1020150065466 A KR 1020150065466A KR 20150065466 A KR20150065466 A KR 20150065466A KR 101615548 B1 KR101615548 B1 KR 101615548B1
- Authority
- KR
- South Korea
- Prior art keywords
- pointing
- mobile device
- image
- pointer
- coordinate
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/18—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
- G02B27/20—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective for imaging minute objects, e.g. light-pointer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B43—WRITING OR DRAWING IMPLEMENTS; BUREAU ACCESSORIES
- B43L—ARTICLES FOR WRITING OR DRAWING UPON; WRITING OR DRAWING AIDS; ACCESSORIES FOR WRITING OR DRAWING
- B43L1/00—Repeatedly-usable boards or tablets for writing or drawing
- B43L1/04—Blackboards
Abstract
Description
본 발명은 적외선을 포인팅 입력으로 이용하는 IR포인터 입력 시스템에 대한 것으로서, 보다 상세하게는, 모바일기기 환경에서의 IR포인터 입력 시스템과 이를 사용한 전자칠판 시스템에 대한 것이다.The present invention relates to an IR pointer input system using infrared rays as a pointing input, and more particularly, to an IR pointer input system in a mobile device environment and an electronic whiteboard system using the IR pointer input system.
강의나 프리젠테이션(presentation)을 진행함에 있어 기존의 칠판이나 프로젝터(projector)를 사용하는 방식을 대신하여 전자칠판 방식이 제안되고 있다.In the course of presenting lectures and presentations, an electronic blackboard method has been proposed instead of a method using a conventional blackboard or a projector.
전자칠판 방식의 하나로서, 터치패널이 내장된 표시장치에 터치펜을 터치하여 표시장치 화면에 판서를 하는 방식이 사용되고 있다.As one of the electronic blackboard methods, a method of writing on a display screen of a display device by touching a touch pen on a display device having a touch panel is used.
그런데, 터치패널은 매우 고가의 부품이며 특히 전차칠판을 구현하기 위해서는 대면적의 표시장치 및 터치패널이 요구되므로, 터치패널을 입력 장치로 이용한 전자칠판을 사용하기 위해서는 엄청난 비용이 필요하다.However, the touch panel is a very expensive component, and in particular, a large-area display device and a touch panel are required to realize the blackboard of a train, and thus an enormous cost is required to use the electronic blackboard using the touch panel as an input device.
이를 대신하여, 적외선(IR)을 사용자 입력 장치 즉 포인터로 사용한 전자칠판 방식이 제안되고 있다. 이 방식에서는, 데스크탑 또는 노트북 컴퓨터와 연결된 프로젝터를 통해 영상이 표시되는 스크린에 IR포인터를 터치하게 되면, IR포인터의 위치를 검출하여 이를 포인팅 입력으로 사용하게 된다.Instead, an electronic blackboard system using infrared (IR) as a user input device, i.e., a pointer, has been proposed. In this method, when an IR pointer is touched on a screen displaying an image through a projector connected to a desktop or a notebook computer, the position of the IR pointer is detected and used as a pointing input.
그런데, 현재까지 제안된 IR포인터를 이용한 입력 방식 및 이를 사용한 전자칠판 방식은, 기존의 컴퓨터, 프로젝터, 스크린으로 구성된 환경을 기반으로 하고 있다. However, the input method using the proposed IR pointer and the electronic board method using the proposed method are based on an environment composed of a conventional computer, a projector, and a screen.
한편, 최근에는 통신 기술의 비약적 발전에 따라, 스마트폰, PDA, 태블릿(tablet)과 같은 모바일기기가 보편적으로 사용되고 있는데, 상기와 같은 종래 모바일기기 환경에서 IR포인터를 입력 장치로 사용하는 시스템 및 이를 사용한 전자칠판 시스템에 대한 연구는 현재로서는 전무한 실정으로서, 이에 대한 기술 개발이 요원하다.In recent years, mobile devices such as smart phones, PDAs, and tablets have been widely used due to the rapid development of communication technologies. In the conventional mobile device environment, a system using an IR pointer as an input device, There is no research on the used electronic board system at present.
본 발명은 모바일기기 환경에서 IR포인터를 입력 장치로 사용하는 시스템 및 이를 사용한 전자칠판 시스템을 제공하는 것에 과제가 있다.The present invention provides a system using an IR pointer as an input device in a mobile device environment and an electronic blackboard system using the same.
전술한 바와 같은 과제를 달성하기 위해, 본 발명은 영상을 표시하는 모바일기기에서 미러링 기능을 통해 동일한 영상을 표시하는 표시장치의 화면에 포인팅 입력을 수행하는 IR포인터와;
상기 표시장치의 화면을 포함하는 영역을 촬영하여 IR영상을 생성하는 카메라모듈과;
상기 IR영상을 분석하여 상기 모바일기기 화면 기준의 상기 IR포인터의 위치좌표를 검출하고, 상기 위치좌표를 상기 모바일기기에서 인식가능한 형식의 포인팅 좌표신호로 변환하는 포인팅신호 생성수단을 포함하되,
상기 포인팅신호 생성수단은,
상기 IR영상을 분석하여 상기 IR영상에서의 상기 IR포인터의 제1위치좌표를 생성하는 영상좌표 검출부와;
상기 제1위치좌표를 상기 모바일기기 화면 기준의 위치좌표인 제2위치좌표로 변환하고, 상기 표시장치 화면 내에 설정된 포인팅 유효영역의 좌표정보를 참조하여 상기 제1위치좌표를 상기 제2위치좌표로 변환하는 포인팅 위치좌표 변환부와;
상기 제2 위치좌표를 상기 모바일기기에서 인식가능한 형식의 포인팅 좌표신호로 변환하는 포인팅신호 생성부를 포함하고,
상기 포인팅 유효영역은 상기 모바일기기의 화면에 대응되고, 상기 IR포인터를 통해 사용자가 발생시킨 이벤트에 대응되는 이벤트신호를 생성하며,
상기 IR포인터는, 근접센서를 사용하여 상기 표시장치의 화면으로부터 일정정도의 근접거리내 위치하면 IR이 방출되도록 구성되고,
상기 카메라모듈에서 생성된 IR영상 신호는, 상기 모바일기기의 USB 통신을 수행하는 입출력장치를 통해 상기 포인팅신호 생성수단으로 전달되도록 구성되며,
상기 포인팅신호 생성수단에서 생성된 상기 포인팅 좌표신호를 포함하는 포인팅신호는, 상기 입출력장치를 통해 상기 모바일기기의 포인팅 입력 드라이버로 전달되도록 구성되는 것을 특징으로 하는 IR포인터 입력 시스템.
상기 포인팅신호 생성수단은 상기 모바일기기 내에 구성되는 IR포인터 입력 시스템.
카메라모듈에서, 모바일기기에서 미러닝 기능을 통해 송출된 영상을 표시하며 IR포인터에 의해 포인팅 입력이 수행되는 표시장치의 화면을 포함하는 영역을 촬영하여 IR영상을 생성하는 단계와;
포인팅신호 생성수단에서, 상기 IR영상을 분석하여 상기 모바일기기 화면 기준의 상기 IR포인터의 위치좌표를 검출하고, 상기 위치좌표를 상기 모바일기기에서 인식가능한 형식의 포인팅 좌표신호로 변환하는 단계를 포함하되,
상기 포인팅신호 생성수단은,
상기 IR영상을 분석하여 상기 IR영상에서의 상기 IR포인터의 제1위치좌표를 생성하는 영상좌표 검출부와;
상기 제1위치좌표를 상기 모바일기기 화면 기준의 위치좌표인 제2위치좌표로 변환하고, 상기 표시장치 화면 내에 설정된 포인팅 유효영역의 좌표정보를 참조하여 상기 제1위치좌표를 상기 제2위치좌표로 변환하는 포인팅 위치좌표 변환부와;
상기 제2 위치좌표를 상기 모바일기기에서 인식가능한 형식의 포인팅 좌표신호로 변환하는 포인팅신호 생성부를 포함하고,
상기 포인팅 유효영역은 상기 모바일기기의 화면에 대응되고, 상기 IR포인터를 통해 사용자가 발생시킨 이벤트에 대응되는 이벤트신호를 생성하며,
상기 IR포인터는, 근접센서를 사용하여 상기 표시장치의 화면으로부터 일정정도의 근접거리내 위치하면 IR이 방출되도록 구성되고,
상기 카메라모듈에서 생성된 IR영상 신호는, 상기 모바일기기의 USB 통신을 수행하는 입출력장치를 통해 상기 포인팅신호 생성수단으로 전달되도록 구성되며,
상기 포인팅신호 생성수단에서 생성된 상기 포인팅 좌표신호를 포함하는 포인팅신호는, 상기 입출력장치를 통해 상기 모바일기기의 포인팅 입력 드라이버로 전달되도록 구성되는 것을 특징으로 하는 IR포인터 입력 방법.
상기 포인팅신호 생성수단은 상기 모바일기기 내에 구성되는 IR포인터 입력 방법을 특징으로 한다.According to an aspect of the present invention, there is provided a mobile device for displaying images, the device comprising: an IR pointer for performing a pointing input on a screen of a display device displaying the same image through a mirroring function;
A camera module for photographing an area including a screen of the display device and generating an IR image;
And pointing signal generating means for detecting the position coordinates of the IR pointer on the basis of the mobile device screen by analyzing the IR image and converting the position coordinates into a pointing coordinate signal of a format recognizable by the mobile device,
Wherein the pointing signal generating means comprises:
An image coordinate detector for analyzing the IR image to generate a first position coordinate of the IR pointer in the IR image;
The first position coordinate is converted into the second position coordinate, which is the position coordinate of the mobile device screen reference, and the first position coordinate is converted into the second position coordinate by referring to the coordinate information of the pointing effective area set in the display screen A pointing position coordinate conversion unit for converting the pointing position;
And a pointing signal generator for converting the second position coordinate into a pointing coordinate signal in a format recognizable by the mobile device,
Wherein the pointing valid area corresponds to a screen of the mobile device and generates an event signal corresponding to an event generated by the user through the IR pointer,
Wherein the IR pointer is configured to emit an IR when the proximity sensor is positioned within a predetermined distance from the screen of the display device,
Wherein the IR image signal generated by the camera module is transmitted to the pointing signal generating means through an input / output device that performs USB communication of the mobile device,
Wherein the pointing signal including the pointing coordinate signal generated by the pointing signal generating means is transmitted to the pointing input driver of the mobile device through the input / output device.
Wherein the pointing signal generating means is configured within the mobile device.
In the camera module, a step of displaying an image transmitted from a mobile device through a mirroring function and photographing an area including a screen of a display device on which pointing input is performed by an IR pointer to generate an IR image;
Detecting the position coordinates of the IR pointer based on the mobile device screen by analyzing the IR image and converting the position coordinates into pointing coordinate signals in a form recognizable by the mobile device, ,
Wherein the pointing signal generating means comprises:
An image coordinate detector for analyzing the IR image to generate a first position coordinate of the IR pointer in the IR image;
The first position coordinate is converted into the second position coordinate, which is the position coordinate of the mobile device screen reference, and the first position coordinate is converted into the second position coordinate by referring to the coordinate information of the pointing effective area set in the display screen A pointing position coordinate conversion unit for converting the pointing position;
And a pointing signal generator for converting the second position coordinate into a pointing coordinate signal in a format recognizable by the mobile device,
Wherein the pointing valid area corresponds to a screen of the mobile device and generates an event signal corresponding to an event generated by the user through the IR pointer,
Wherein the IR pointer is configured to emit an IR when the proximity sensor is positioned within a predetermined distance from the screen of the display device,
Wherein the IR image signal generated by the camera module is transmitted to the pointing signal generating means through an input / output device that performs USB communication of the mobile device,
Wherein the pointing signal including the pointing coordinate signal generated by the pointing signal generating means is transmitted to the pointing input driver of the mobile device through the input / output device.
The pointing signal generating means is characterized by an IR pointer input method configured in the mobile device.
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
본 발명에 따르면, IR포인터 입력 시스템을 통해 IR포인터를 사용한 포인팅 입력을 모바일기기용 포인팅신호로 변환하게 되고, 이와 같은 포인팅신호에 따라 관련된 동작을 수행하여 관련 이미지를 표시장치에 표시할 수 있게 된다.According to the present invention, a pointing input using an IR pointer is converted into a pointing signal for a mobile device through an IR pointer input system, and related motion is performed according to the pointing signal to display an associated image on a display device .
따라서, 모바일기기 환경에서 IR포인터를 입력 장치로 사용할 수 있으며 이를 통해 모바일기기 환경에서 전자칠판을 구현할 수 있게 된다.Accordingly, an IR pointer can be used as an input device in a mobile device environment, thereby enabling an electronic board to be implemented in a mobile device environment.
도 1은 본 발명의 실시예에 따른 모바일기기 환경에서의 IR포인터 입력 시스템을 사용한 전자칠판 시스템의 구성을 개략적으로 도시한 도면.
도 2는 도 1의 모바일기기의 구성을 개략적으로 도시한 도면.
도 3은 본 발명의 실시예에 따라 카메라모듈을 통해 촬영된 IR영상을 개략적으로 도시한 도면.
도 4는 본 발명의 실시예에 따라 포인팅 유효영역을 설정하는 과정을 개략적으로 도시한 도면.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 schematically illustrates the structure of an electronic whiteboard system using an IR pointer input system in a mobile device environment according to an embodiment of the present invention; FIG.
Fig. 2 is a view schematically showing a configuration of the mobile device of Fig. 1; Fig.
3 is a schematic view of an IR image photographed through a camera module according to an embodiment of the present invention.
FIG. 4 schematically illustrates a process of setting a pointing effective area according to an embodiment of the present invention; FIG.
이하, 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 실시예에 따른 모바일기기 환경에서의 IR포인터 입력 시스템을 사용한 전자칠판 시스템의 구성을 개략적으로 도시한 도면이고, 도 2는 도 1의 모바일기기의 구성을 개략적으로 도시한 도면이다.FIG. 1 is a view schematically showing the configuration of an electronic whiteboard system using an IR pointer input system in a mobile device environment according to an embodiment of the present invention. FIG. 2 is a view schematically showing the configuration of the mobile device of FIG. 1 to be.
도 1 및 2를 참조하면, 본 발명의 실시예에 따른 모바일기기 환경에서 IR포인터(100)를 이용한 전자칠판 시스템(10)에서는, 전자칠판 애플리케이션이 모바일기기(300)에서 실행된 상태에서, 모바일기기(300)에서 송출된 영상이 표시되는 표시장치(400)의 화면에 IR포인터(100)을 사용하여 IR포인팅 입력을 수행하게 되면, IR포인터(100)의 위치 및 이벤트(event)를 검출하고 이를 마우스와 같은 포인팅 입력 장치를 통한 포인팅 입력으로 이용하여 관련 동작을 실행하게 된다.1 and 2, in the
여기서, 예를 들면, 미러링(mirroring)과 같은 기능을 통해, 표시장치(400)에서 모바일기기(300)와 동일한 영상을 표시할 수 있다. Here, the same image as that of the
이와 같은 전자칠판 시스템(10)을 구현하기 위한 IR포인터 입력 시스템은, IR포인터(100)와, 카메라모듈(110)과, 입력신호 생성수단(200)을 포함할 수 있다. The IR pointer input system for implementing the
IR포인터(100)는 IR을 발진하여 방출하는 구성으로서, 예를 들면, 전자펜 형태로 구성될 수 있는데, 이에 한정되지는 않는다. The
사용자는 IR포인터(100)를 마치 마우스와 같은 사용자 입력 장치로 사용할 수 있다. 이와 관련하여 예를 들면, 포인팅 입력 대상인 표시장치(400) 화면에 IR을 방출하는 IR포인터(100)가 위치하게 되면, 표시장치(400) 화면의 해당 위치에 대응되는 포인터 이미지가 표시될 수 있다. 또한, 그리기와 같은 특정 판서 기능이 사용자에 의해 선택된 경우에, IR포인터(100)의 움직임을 따라 포인터 이미지가 움직이면서 해당 판서가 표시장치(400)의 화면에 표시될 수 있다. The user can use the
이처럼, IR포인터(100)는 마우스와 같은 포인팅 입력 장치로 기능할 수 있게 된다. As such, the
한편, 사용자 입력으로 사용되는 IR 방출에 있어, IR포인터(100)는 표시장치(400) 화면을 직접 터치(touch)할 때 IR이 방출되도록 구성되는 것이 바람직한데 이에 한정되지는 않는다. 예를 들면, 소위 에어 터치(air touch)와 유사하게, 근접 센서 등을 사용하여 IR포인터(100)가 표시장치(400) 화면으로부터 일정 정도의 근접 거리 내에 위치하면 IR이 방출되도록 구성될 수도 있다.Meanwhile, in the IR emission used as a user input, the
카메라모듈(110)은 표시장치(400)를 촬영하여 IR영상을 생성하게 된다. 카메라모듈(110)은 적외선을 감지하여 IR영상 신호를 발생시키는 이미지센서패널과, 이미지센서패널에서 발생된 IR영상 신호를 독출하고 처리하는 구동회로를 포함할 수 있다. The
이미지센서패널에는 다수의 화소가 매트릭스 형태로 배치되며, 각 화소는 적외선을 감지하고 이를 전기적 신호로 변환하는 수광소자를 포함할 수 있다. A plurality of pixels are arranged in a matrix form in the image sensor panel, and each pixel may include a light receiving element for detecting infrared rays and converting the infrared rays into electrical signals.
이처럼, 카메라모듈(110)은 표시장치(400)를 촬영하여 IR영상을 생성하게 되는바, IR포인터(100)로부터 방출된 IR을 감지하여 표시장치(400) 화면에서의 IR포인터(100)의 위치를 확인할 수 있다. As described above, the
이때, 카메라모듈(110)은 적어도 표시장치(400) 전체를 촬영할 수 있도록 배치되는 것이 바람직하다. 즉, 카메라모듈(110)은 표시장치(400)를 포함하는 영역을 촬영할 수 있도록 배치되는 것이 바람직하다.At this time, it is preferable that the
카메라모듈(110)을 통해 생성된 IR영상 데이터는 모바일기기(300)로 전송되어, 모바일기기(300)에 구성된 포인팅신호 생성수단(200)에 전달될 수 있다. 본 발명의 실시예에서는, 포인팅신호 생성수단(200)이 모바일기기(300) 내에 구성된 경우를 예로 들어 도시하였으나 이에 한정되지는 않으며, 모바일기기(300) 외부에 구성될 수 있다. 예를 들면, 포인팅신호 생성수단(200)은 카메라모듈(110)과 함께 구성될 수도 있다.The IR image data generated through the
여기서, 카메라모듈(110)과 모바일기기(300)는 입출력장치를 통해 유선이나 무선 통신을 통해 서로 신호 전송을 수행할 수 있다. 예를 들면, USB(universal serial bus) 통신을 통해 신호 전송을 수행할 수 있다. 본 발명의 실시예에서는, USB 통신을 수행하는 통신수단으로서 USB입출력장치(310)가 구비된 모바일기기(300)를 예로 든다.Here, the
포인팅신호 생성수단(200)은 USB입출력장치(310)를 통해 입력된 IR영상 신호를 분석하여 IR영상에서의 IR포인터(100)의 위치를 검출하고, 이를 기반으로 해당 모발일기기(300)에 대한 포인팅 신호를 생성하게 된다. 이와 같은 포인팅신호 생성수단(200)은 하드웨어(hardware) 및/또는 소프트웨어(software)로 구현될 수 있으며, 전자칠판 애플리케이션 실행에 따라 로드(load)되어 활성화될 수 있다.The pointing signal generating means 200 analyzes the IR image signal input through the USB input /
도 2를 참조하면, 포인팅신호 생성수단(200)은 영상좌표 검출부(210)와, 위치좌표 변환부(220)와, 포인팅신호 생성부(230)로 구성될 수 있다. 2, the pointing
영상좌표 검출부(210)는 입력된 IR영상을 분석하여 IR을 방출하는 IR포인터(100)의 위치 즉 IR영상에서의 위치를 검출할 수 있다. 여기서, 카메라모듈(110)의 촬영범위 즉 IR영상의 범위는 IR포인터(100)의 포인팅 입력 유효영역 즉 포인팅 유효영역을 포함하는 표시장치(400)의 화면영역 및 표시장치(400) 화면의 주변영역까지 포함하게 된다.The image coordinate
여기서, 설명의 편의를 위해, 입력된 IR영상에서 검출된 IR포인터(100)의 위치좌표를 제1위치좌표라 한다.Here, for convenience of explanation, the position coordinate of the
이처럼, IR포인터(100)에 대한 제1위치좌표가 검출되면, 위치좌표 변환부(220)는 해당 제1위치좌표를 모바일기기(300) 화면 기준의 대응되는 위치좌표로 변환하게 된다. 이와 관련하여 도 3을 참조할 수 있다.When the first positional coordinates of the
도 3을 참조하면, 촬영된 IR영상에는 표시장치(400) 화면영역 및 그 주변영역이 포함되며, IR영상에서 임의의 위치에 IR을 방출하는 IR포인터(100)가 위치하고 있다. 이와 같은 IR영상 내에서의 IR포인터(100)의 위치(A) 즉 제1위치좌표는 영상좌표 검출부(210)를 통해 검출될 수 있게 된다.Referring to FIG. 3, the captured IR image includes a screen region of the
그런데, 이와 같이 검출된 제1위치좌표는 IR영상 기준의 위치좌표이므로, 이를 표시장치(400)의 영상 표시를 실질적으로 수행하는 모바일기기(300) 화면을 기준으로 한 위치좌표로의 변환이 필요하며, 이와 같은 좌표변환은 위치좌표 변환부(220)를 통해 수행될 수 있게 된다. 여기서, 설명의 편의를 위해, 모바일기기(300) 기준의 위치좌표를 제2위치좌표라 한다.Since the first position coordinates thus detected are the position coordinates of the IR image reference, it is necessary to convert the first position coordinates into the position coordinates based on the screen of the
이와 같은 좌표변환을 위해, IR영상에서의 표시장치 화면영역 내의 포인팅 유효영역(AA)의 좌표정보가 사전에 검출되어 저장될 수 있다. 이와 관련하여 예를 들면, 모바일기기(300)에서 전자칠판 기능을 수행하기 위한 전자칠판 애플리케이션(application)이 실행되면, 초기 설정 과정으로서 표시장치(400) 화면에 대해 포인팅 유효영역(AA)을 설정하는 과정이 포인팅신호 생성수단(200)에 의해 수행될 수 있다. For such coordinate transformation, the coordinate information of the pointing effective area AA in the display screen area of the IR image can be detected and stored in advance. In this regard, for example, when the electronic blackboard application for executing the electronic blackboard function is executed in the
이에 대해 도 4를 참조할 수 있는데, 예를 들면, 표시장치(400) 화면의 4개 코너(corner) 부분에 포인팅 유효영역(AA) 설정을 위한 특정 설정 표식(M)이 표시되고, IR포인터(100)를 해당 설정 표식(M)에 터치하게 된다. 이와 같은 설정 표식 터치 동작은 카메라모듈(110)에 의해 촬영되어 관련 IR영상이 생성되고, 이를 분석하여 설정 표식에 대응되는 좌표정보를 검출함으로써, 포인팅 유효영역(AA)이 설정될 수 있다. 이와 같이 설정된 포인팅 유효영역(AA)은 실질적으로 모바일기기(300)의 화면영역에 대응 즉 매칭된다. 4, for example, a specific setting mark M for setting a pointing effective area AA is displayed at four corners of a screen of the
위치좌표 변환부(220)는 위와 같이 설정된 포인팅 유효영역의 좌표정보를 참조함으로써, IR영상에서의 제1위치좌표를 모바일기기(300) 화면 기준의 제2위치좌표로 변환할 수 있게 된다.The position coordinate
제2위치좌표는 IR포인터(100)의 위치를 나타내는 값으로서, 이를 모바일기기(300)의 입력신호로 사용하기 위해서는, 모바일기기(300)에서 인식가능한 형식의 입력신호로 변환할 필요가 있다. 따라서, 포인팅신호 생성부(230)는 제2위치좌표를 모바일기기(300)에서 인식가능한 형식의 포인팅 좌표신호로 변환하게 된다.The second position coordinate is a value indicating the position of the
이와 같이 생성된 포인팅 좌표신호는 이벤트신호와 함께, 모바일기기(300)에 구성된 포인팅입력 드라이버(320)로 전송될 수 있다. 포인팅입력 드라이버(320)는 모바일기기(300)의 포인팅 입력을 제어하는 구성에 해당된다. The pointing coordinate signal thus generated may be transmitted to the
한편, 포인팅 좌표신호와 이벤트신호는 USB입출력장치(310)을 경유하여 포인팅입력 드라이버(310)로 전달될 수 있는데, 이에 한정되지는 않는다. 그리고, 포인팅입력 드라이버(320)는 USB입출력장치(310)에 구성될 수 있는데, 이에 한정되지는 않는다.Meanwhile, the pointing coordinate signal and the event signal may be transmitted to the
여기서, 이벤트신호와 관련하여 예를 들면, 입력 장치로서 마우스를 사용하는 경우에, 사용자는 마우스를 조작하여 클릭(좌클릭, 우클릭, 더블클릭 등), 드래그와 같은 여러 다양한 이벤트를 발생시키게 되며, 발생된 이벤트에 응답하여 대응되는 이벤트 동작이 실행될 수 있게 된다. 이와 마찬가지로, 본 발명의 실시예에서는, 사용자는 IR포인터(100)를 조작하여 특정 동작 실행을 위한 이벤트를 발생시킬 수 있으며, 이에 응답하여 포인팅신호 생성수단(200)은 해당 이벤트에 대응되는 이벤트신호를 발생시킬 수 있다. 따라서, 본 발명의 실시예에서는, '이벤트' 및 '이벤트신호'는 특정 동작 실행을 위한 IR포인터(100) 입력 이벤트 및 이에 대응되는 신호로 정의된다. Here, when a mouse is used as an input device in relation to an event signal, for example, a user operates the mouse to generate various events such as click (left click, right click, double click, etc.) The corresponding event operation can be executed in response to the generated event. Similarly, in the embodiment of the present invention, the user can generate an event for performing a specific operation by operating the
여기서, IR포인터(100)는 통상의 마우스가 발생시키는 이벤트들 중 적어도 하나의 이벤트를 발생시키도록 구성되는 것이 바람직하다. 그리고, 이벤트 발생을 위해, IR포인터(100)에 해당 이벤트를 발생시키기 위한 물리적 및/또는 논리적 수단이 구성되는 것이 바람직한데, 이에 한정되지는 않는다. Here, it is preferable that the
위와 같이, 포인팅 좌표신호와 이벤트신호를 포함하는 포인팅신호가 포인팅입력 드라이버(320)에 입력되면, 모바일기기(300)는 해당 포인팅신호에 대응하는 화면 표시 동작을 수행할 수 있게 된다. As described above, when the pointing signal including the pointing coordinate signal and the event signal is input to the
이와 관련하여 예를 들면, IR포인터(100)에 대응되는 포인터 이미지를 생성하고 이를 표시장치(400)에서 표시되는 화면 영상에 합성하여, 합성된 영상을 표시장치(400)에 출력하여 표시하도록 동작할 수 있다.In this regard, for example, a pointer image corresponding to the
또한, 특정 판서 기능이 선택된 경우에, IR포인터(100) 동작에 따라 해당 판서가 실행된 이미지를 생성하고 이를 표시장치(400)에서 표시되는 화면 영상에 합성하여, 합성된 영상을 표시장치(400)에 출력하여 표시하도록 동작할 수 있다.In addition, when a specific writing function is selected, an image in which the written board is executed according to the operation of the
이처럼, 모바일기기(300)는, IR포인터(100)를 통한 포인팅 입력에 따라 관련 이미지가 포함된 영상을 생성하고 이를 표시장치(400)에 출력하여 표시하도록 동작할 수 있다. In this way, the
한편, 모바일기기(300)에는 전술한 판서 기능을 제공하기 위한 판서 실행수단(250)이 구성될 수 있다. 이와 같은 판서 실행수단(250)은 소프트웨어 및/또는 하드웨어로 구성될 수 있으며, 전자칠판 애플리케이션 실행에 따라 로드되어 활성화될 수 있다.
Meanwhile, the
전술한 바와 같이, 본 발명의 실시예에 따르면, IR포인터 입력 시스템을 통해 IR포인터를 사용한 포인팅 입력을 모바일기기용 포인팅신호로 변환하게 되고, 이와 같은 포인팅신호에 따라 관련된 동작을 수행하여 관련 이미지를 표시장치에 표시할 수 있게 된다. As described above, according to the embodiment of the present invention, the pointing input using the IR pointer is converted into the pointing signal for the mobile device through the IR pointer input system, and the related motion is performed according to the pointing signal, So that it can be displayed on the display device.
따라서, 모바일기기 환경에서 IR포인터를 입력 장치로 사용할 수 있으며 이를 통해 모바일기기 환경에서 전자칠판을 구현할 수 있게 된다.
Accordingly, an IR pointer can be used as an input device in a mobile device environment, thereby enabling an electronic board to be implemented in a mobile device environment.
한편, 본 발명의 실시예는 모바일기기를 포함하는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
On the other hand, embodiments of the present invention may also be embodied in the form of a recording medium including instructions executable by a computer, such as program modules, being executed by a computer including a mobile device. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. In addition, the computer-readable medium may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes any information delivery media, including computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism.
전술한 본 발명의 실시예는 본 발명의 일예로서, 본 발명의 정신에 포함되는 범위 내에서 자유로운 변형이 가능하다. 따라서 본 발명은 첨부된 특허청구범위 및 이와 등가되는 범위 내에서의 본 발명의 변형을 포함한다.The embodiment of the present invention described above is an example of the present invention, and variations are possible within the spirit of the present invention. Accordingly, the invention includes modifications of the invention within the scope of the appended claims and equivalents thereof.
10: 전자칠판 시스템 100: IR포인터
110: 카메라모듈 200: 포인팅신호 생성수단
210: 영상좌표 검출부 220: 위치좌표 변환부
230: 포인팅신호 생성부 310: USB입출력장치
320: 포인팅입력 드라이버10: electronic board system 100: IR pointer
110: camera module 200: pointing signal generating means
210: image coordinate detection unit 220: position coordinate conversion unit
230: Pointing Signal Generation Unit 310: USB I /
320: Pointing Input Driver
Claims (14)
상기 표시장치의 화면을 포함하는 영역을 촬영하여 IR영상을 생성하는 카메라모듈과;
상기 IR영상을 분석하여 상기 모바일기기 화면 기준의 상기 IR포인터의 위치좌표를 검출하고, 상기 위치좌표를 상기 모바일기기에서 인식가능한 형식의 포인팅 좌표신호로 변환하는 포인팅신호 생성수단을 포함하되,
상기 포인팅신호 생성수단은,
상기 IR영상을 분석하여 상기 IR영상에서의 상기 IR포인터의 제1위치좌표를 생성하는 영상좌표 검출부와;
상기 제1위치좌표를 상기 모바일기기 화면 기준의 위치좌표인 제2위치좌표로 변환하고, 상기 표시장치 화면 내에 설정된 포인팅 유효영역의 좌표정보를 참조하여 상기 제1위치좌표를 상기 제2위치좌표로 변환하는 포인팅 위치좌표 변환부와;
상기 제2 위치좌표를 상기 모바일기기에서 인식가능한 형식의 포인팅 좌표신호로 변환하는 포인팅신호 생성부를 포함하고,
상기 포인팅 유효영역은 상기 모바일기기의 화면에 대응되고, 상기 IR포인터를 통해 사용자가 발생시킨 이벤트에 대응되는 이벤트신호를 생성하며,
상기 IR포인터는, 근접센서를 사용하여 상기 표시장치의 화면으로부터 일정정도의 근접거리내 위치하면 IR이 방출되도록 구성되고,
상기 카메라모듈에서 생성된 IR영상 신호는, 상기 모바일기기의 USB 통신을 수행하는 입출력장치를 통해 상기 포인팅신호 생성수단으로 전달되도록 구성되며,
상기 포인팅신호 생성수단에서 생성된 상기 포인팅 좌표신호를 포함하는 포인팅신호는, 상기 입출력장치를 통해 상기 모바일기기의 포인팅 입력 드라이버로 전달되도록 구성되는 것을 특징으로 하는 IR포인터 입력 시스템.An IR pointer for performing a pointing input on a screen of a display device that displays the same image through a mirroring function in a mobile device displaying an image;
A camera module for photographing an area including a screen of the display device and generating an IR image;
And pointing signal generating means for detecting the position coordinates of the IR pointer on the basis of the mobile device screen by analyzing the IR image and converting the position coordinates into a pointing coordinate signal of a format recognizable by the mobile device,
Wherein the pointing signal generating means comprises:
An image coordinate detector for analyzing the IR image to generate a first position coordinate of the IR pointer in the IR image;
The first position coordinate is converted into the second position coordinate, which is the position coordinate of the mobile device screen reference, and the first position coordinate is converted into the second position coordinate by referring to the coordinate information of the pointing effective area set in the display screen A pointing position coordinate conversion unit for converting the pointing position;
And a pointing signal generator for converting the second position coordinate into a pointing coordinate signal in a format recognizable by the mobile device,
Wherein the pointing valid area corresponds to a screen of the mobile device and generates an event signal corresponding to an event generated by the user through the IR pointer,
Wherein the IR pointer is configured to emit an IR when the proximity sensor is positioned within a predetermined distance from the screen of the display device,
Wherein the IR image signal generated by the camera module is transmitted to the pointing signal generating means through an input / output device that performs USB communication of the mobile device,
Wherein the pointing signal including the pointing coordinate signal generated by the pointing signal generating means is transmitted to the pointing input driver of the mobile device through the input / output device.
상기 포인팅신호 생성수단은 상기 모바일기기 내에 구성되는 IR포인터 입력 시스템.The method according to claim 1,
Wherein the pointing signal generating means is configured within the mobile device.
포인팅신호 생성수단에서, 상기 IR영상을 분석하여 상기 모바일기기 화면 기준의 상기 IR포인터의 위치좌표를 검출하고, 상기 위치좌표를 상기 모바일기기에서 인식가능한 형식의 포인팅 좌표신호로 변환하는 단계를 포함하되,
상기 포인팅신호 생성수단은,
상기 IR영상을 분석하여 상기 IR영상에서의 상기 IR포인터의 제1위치좌표를 생성하는 영상좌표 검출부와;
상기 제1위치좌표를 상기 모바일기기 화면 기준의 위치좌표인 제2위치좌표로 변환하고, 상기 표시장치 화면 내에 설정된 포인팅 유효영역의 좌표정보를 참조하여 상기 제1위치좌표를 상기 제2위치좌표로 변환하는 포인팅 위치좌표 변환부와;
상기 제2 위치좌표를 상기 모바일기기에서 인식가능한 형식의 포인팅 좌표신호로 변환하는 포인팅신호 생성부를 포함하고,
상기 포인팅 유효영역은 상기 모바일기기의 화면에 대응되고, 상기 IR포인터를 통해 사용자가 발생시킨 이벤트에 대응되는 이벤트신호를 생성하며,
상기 IR포인터는, 근접센서를 사용하여 상기 표시장치의 화면으로부터 일정정도의 근접거리내 위치하면 IR이 방출되도록 구성되고,
상기 카메라모듈에서 생성된 IR영상 신호는, 상기 모바일기기의 USB 통신을 수행하는 입출력장치를 통해 상기 포인팅신호 생성수단으로 전달되도록 구성되며,
상기 포인팅신호 생성수단에서 생성된 상기 포인팅 좌표신호를 포함하는 포인팅신호는, 상기 입출력장치를 통해 상기 모바일기기의 포인팅 입력 드라이버로 전달되도록 구성되는 것을 특징으로 하는 IR포인터 입력 방법.In the camera module, a step of displaying an image transmitted from a mobile device through a mirroring function and photographing an area including a screen of a display device on which pointing input is performed by an IR pointer to generate an IR image;
Detecting the position coordinates of the IR pointer based on the mobile device screen by analyzing the IR image and converting the position coordinates into pointing coordinate signals in a form recognizable by the mobile device, ,
Wherein the pointing signal generating means comprises:
An image coordinate detector for analyzing the IR image to generate a first position coordinate of the IR pointer in the IR image;
The first position coordinate is converted into the second position coordinate, which is the position coordinate of the mobile device screen reference, and the first position coordinate is converted into the second position coordinate by referring to the coordinate information of the pointing effective area set in the display screen A pointing position coordinate conversion unit for converting the pointing position;
And a pointing signal generator for converting the second position coordinate into a pointing coordinate signal in a format recognizable by the mobile device,
Wherein the pointing valid area corresponds to a screen of the mobile device and generates an event signal corresponding to an event generated by the user through the IR pointer,
Wherein the IR pointer is configured to emit an IR when the proximity sensor is positioned within a predetermined distance from the screen of the display device,
Wherein the IR image signal generated by the camera module is transmitted to the pointing signal generating means through an input / output device that performs USB communication of the mobile device,
Wherein the pointing signal including the pointing coordinate signal generated by the pointing signal generating means is transmitted to the pointing input driver of the mobile device through the input / output device.
상기 포인팅신호 생성수단은 상기 모바일기기 내에 구성되는 IR포인터 입력 방법.8. The method of claim 7,
Wherein the pointing signal generating means is configured within the mobile device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150065466A KR101615548B1 (en) | 2015-05-11 | 2015-05-11 | IR pointer input system and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150065466A KR101615548B1 (en) | 2015-05-11 | 2015-05-11 | IR pointer input system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101615548B1 true KR101615548B1 (en) | 2016-04-27 |
Family
ID=55914875
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150065466A KR101615548B1 (en) | 2015-05-11 | 2015-05-11 | IR pointer input system and method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101615548B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100089075A (en) | 2007-11-15 | 2010-08-11 | 디에스엠 아이피 어셋츠 비.브이. | High performance membrane |
KR20100120901A (en) * | 2009-05-07 | 2010-11-17 | (주)초이스테크놀로지 | Pointing/interface system |
KR20140000436A (en) * | 2012-06-22 | 2014-01-03 | 주식회사 라온옵틱스 | Electronic board system using infrared camera |
-
2015
- 2015-05-11 KR KR1020150065466A patent/KR101615548B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20100089075A (en) | 2007-11-15 | 2010-08-11 | 디에스엠 아이피 어셋츠 비.브이. | High performance membrane |
KR20100120901A (en) * | 2009-05-07 | 2010-11-17 | (주)초이스테크놀로지 | Pointing/interface system |
KR20140000436A (en) * | 2012-06-22 | 2014-01-03 | 주식회사 라온옵틱스 | Electronic board system using infrared camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9535595B2 (en) | Accessed location of user interface | |
US9454260B2 (en) | System and method for enabling multi-display input | |
KR101378318B1 (en) | Electronic board system using infrared camera | |
US9292129B2 (en) | Interactive input system and method therefor | |
US10276133B2 (en) | Projector and display control method for displaying split images | |
KR20140028221A (en) | Method and apparatus for setting electronic blackboard system | |
US20120044143A1 (en) | Optical imaging secondary input means | |
KR20140042229A (en) | Data transfer method and system thereof | |
CN103294766A (en) | Associating strokes with documents based on the document image | |
US20150227261A1 (en) | Optical imaging system and imaging processing method for optical imaging system | |
US8948514B2 (en) | Electronic device and method for processing handwritten document | |
US20120056808A1 (en) | Event triggering method, system, and computer program product | |
US20150138077A1 (en) | Display system and display controll device | |
US20170300280A1 (en) | Image processing apparatus and image processing method | |
KR101615548B1 (en) | IR pointer input system and method | |
US10185406B2 (en) | Information technology device input systems and associated methods | |
US20160139735A1 (en) | Optical touch screen | |
CN101576787A (en) | Electric equipment, notebook computer and method for realizing touch control | |
US11393214B2 (en) | Apparatus and method for congestion visualization | |
US10070066B2 (en) | Coordinate calculator and coordinate calculation system | |
KR20200010723A (en) | TV, IR pointer input system and method | |
KR20170039345A (en) | Electronic pen system | |
KR20180074833A (en) | Apparatus and Method for Presentation Image Processing considering Motion of Indicator | |
Liu et al. | Interactive space: a prototyping framework for touch and gesture on and above the desktop | |
JP5623966B2 (en) | Installation support method and program for retroreflective material in portable electronic blackboard system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
X091 | Application refused [patent] | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |