KR20180122811A - Touch-enabled projector - Google Patents

Touch-enabled projector Download PDF

Info

Publication number
KR20180122811A
KR20180122811A KR1020170056857A KR20170056857A KR20180122811A KR 20180122811 A KR20180122811 A KR 20180122811A KR 1020170056857 A KR1020170056857 A KR 1020170056857A KR 20170056857 A KR20170056857 A KR 20170056857A KR 20180122811 A KR20180122811 A KR 20180122811A
Authority
KR
South Korea
Prior art keywords
touch
light
screen
panel
lens
Prior art date
Application number
KR1020170056857A
Other languages
Korean (ko)
Other versions
KR102417535B1 (en
Inventor
임성현
Original Assignee
임성현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임성현 filed Critical 임성현
Priority to KR1020170056857A priority Critical patent/KR102417535B1/en
Priority to PCT/KR2018/002237 priority patent/WO2018203595A1/en
Publication of KR20180122811A publication Critical patent/KR20180122811A/en
Application granted granted Critical
Publication of KR102417535B1 publication Critical patent/KR102417535B1/en

Links

Images

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/54Accessories
    • G03B21/56Projection screens
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • Projection Apparatus (AREA)

Abstract

Provided is a projector which can be carried by a user and can perform a touch interaction without an additional operation whenever the projector is moved. The projector comprises: a panel for converting light from a light source into an image; a pattern beam providing unit for outputting a pattern beam; a single lens projecting the pattern beam and the image from the panel onto a screen and receiving a signal by a touch interaction in the screen; a sensor recognizing a position coordinate of a touch object currently touched on the screen based on the signal by the touch interaction; and an optical separation element sending the light from the light source to the panel, transmitting the image from the panel to the lens, reflecting the pattern beam to send the pattern beam to the lens, and sending the signal by the touch interaction received from the lens to the sensor.

Description

터치 인터랙션이 가능한 프로젝터{Touch-enabled projector}Touch-enabled projector < RTI ID = 0.0 >

본 발명은 터치 인터랙션이 가능한 프로젝터에 관한 것으로, 보다 상세하게는 소형 빔 프로젝터로부터 투사되는 화면에 터치 인터랙션이 가능하도록 하는 프로젝터에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a projector capable of performing a touch interaction, and more particularly, to a projector that enables touch interaction on a screen projected from a small-sized beam projector.

최근 스마트폰과 태블릿 PC 등의 휴대용 장치들이 널리 보급됨에 따라 휴대용 장치들과 연동되는 제품이 소비자들에게 큰 인기를 얻고 있다. Recently, portable devices such as smart phones and tablet PCs have become widespread, and products that are interlocked with portable devices have become very popular with consumers.

특히, 스마트폰과 같이 크기가 작은 화면을 크게 보여줄 수 있는 휴대용 프로젝터가 크게 인기를 얻고 있다.Particularly, a portable projector which can display a small-sized screen like a smart phone is gaining popularity.

그런데, 휴대용 프로젝터는 화면을 크게 볼 수만 있을 뿐, 화면의 컨텐츠를 제어 및 조작하려고 하면 사용자는 터치스크린을 직접 터치하거나 휴대 장치(예컨대, 스마트폰)의 키를 누름으로써 명령을 입력하게 된다. 이때, 사용자가 휴대 장치의 화면을 터치하게 되면 초점을 맞춘 상태로 특정 위치에 놓아둔 휴대 장치의 위치도 어긋날 수 있다. 이와 같이 되면 외부로 투사되는 이미지가 흔들릴 수 있다.However, the portable projector can only view the screen largely, and when the user intends to control and manipulate the contents of the screen, the user directly inputs the command by touching the touch screen or by pressing the key of the portable device (e.g., smart phone). At this time, if the user touches the screen of the portable device, the position of the portable device placed at a specific position in the focused state can be disregarded. In this case, the image projected to the outside may be shaken.

이를 해결하기 위해, 프로젝터 화면을 직접 터치가 가능하도록 만드는 기술이 개발되었고, 인터랙션이 되는 프로젝터가 출시되고 있고 소비자들도 관련 제품에 많은 관심을 가지고 있다.To solve this problem, technology has been developed to make the projector screen directly touchable. Interactive projectors are being launched, and consumers are also interested in related products.

하지만, 현재 시중에 나온 터치 인터랙션이 가능한 프로젝터는 화면을 투사하는 렌즈와 인터랙션을 인식하는 렌즈가 각각 설치되어 있어서 크기가 크다. 또한, 프로젝터를 이동시킬 때마다 인터랙션을 위한 캘리브레이션을 매번 수행해야 하는 불편함이 있다. 즉, 기존에는 빔 프로젝터에서 터치를 인식하기 위해서는 화면을 투사하는 렌즈 이외에 터치를 인식하는 렌즈를 별도로 두어야 하고, 비춰지는 화면 영역에 따라 터치 영역을 캘리브레이션해야 한다.However, the projector which is currently available for the touch interaction is large in size because it has a lens for projecting a screen and a lens for recognizing an interaction. In addition, there is an inconvenience that the calibration for the interaction must be performed each time the projector is moved. In other words, in order to recognize a touch by a beam projector, a lens for recognizing a touch must be separately provided in addition to a lens for projecting a screen, and a touch area must be calibrated according to the displayed screen area.

선행기술 1 : 대한민국 공개특허 제10-2012-0044783호(프로젝터를 이용한 스크린 장치 및 그 스크린 장치의 터치 위치 검출방법)Prior Art 1: Korean Patent Laid-Open Publication No. 10-2012-0044783 (screen apparatus using a projector and touch position detecting method of the screen apparatus thereof) 선행기술 2 : 대한민국 공개특허 제10-2003-0072591호(데이터 입력 디바이스)Prior Art 2: Korean Patent Laid-Open No. 10-2003-0072591 (data input device)

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 사용자가 휴대할 수 있고 이동할 때마다 다른 조작(보정과정)이 없이 터치 인터랙션이 가능한 프로젝터를 제공함에 그 목적이 있다.It is an object of the present invention to provide a projector which can be carried by a user and can perform a touch interaction without any other operation (correction process) every time the user moves.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 터치 인터랙션이 가능한 프로젝터는, 광원으로부터의 광을 영상으로 변환하는 패널; 패턴빔을 출력하는 패턴빔 제공부; 상기 패턴빔 및 상기 패널로부터의 영상을 스크린에게로 투사하고, 상기 스크린에서의 터치 인터랙션에 의한 신호를 수신하는 단일의 렌즈; 상기 터치 인터랙션에 의한 신호에 근거하여 상기 스크린에서 현재 터치된 터치 객체의 위치 좌표를 인식하는 센서; 및 상기 광원으로부터의 광을 상기 패널에게로 보내고, 상기 패널로부터의 영상을 투과시켜 상기 렌즈에게로 보내고, 상기 패턴빔을 반사시켜 상기 렌즈에게로 보내고, 상기 렌즈에서 수신되는 상기 터치 인터랙션에 의한 신호를 상기 센서에게로 보내는 광분리 소자;를 포함한다.According to an aspect of the present invention, there is provided a projector capable of performing touch interaction including: a panel for converting light from a light source into an image; A pattern beam supplier for outputting a pattern beam; A single lens for projecting the pattern beam and the image from the panel onto a screen and receiving a signal by touch interaction on the screen; A sensor for recognizing a position coordinate of a currently touched touch object on the screen based on a signal by the touch interaction; And a controller for controlling the light source to transmit the light from the light source to the panel, transmit the image from the panel to the lens, reflect the pattern beam to the lens, To the sensor.

상기 패널은 반사 패널로 구성될 수 있다.The panel may be a reflective panel.

상기 광원은 상기 광분리 소자의 제 1면에 대향하여 설치될 수 있고, 상기 패널은 상기 광분리 소자의 제 2면에 대향하여 설치될 수 있고, 상기 렌즈는 상기 광분리 소자의 제 3면에 대향하여 설치될 수 있고, 상기 패턴빔 제공부 및 상기 센서는 상기 광분리 소자의 제 4면에 대향하여 설치될 수 있다.The light source may be installed to face the first surface of the light splitting element, and the panel may be installed to face the second surface of the light splitting element, and the lens may be provided on the third surface of the light splitting element And the pattern beam supplier and the sensor may be installed opposite to the fourth surface of the optical isolator.

상기 센서로부터의 위치 좌표를 근거로 어느 터치 객체에 대하여 터치 이벤트가 발생하였는지를 판단하여 해당하는 터치 이벤트로 변환시키는 인터랙션 신호 처리부;를 추가로 포함할 수 있다.And an interaction signal processor for determining which touch object has generated a touch event based on positional coordinates from the sensor and converting the touch event into a corresponding touch event.

태양광 또는 상기 광원의 광이 상기 센서에게 영향을 미치지 않도록 제거하는 필터;를 추가로 포함할 수 있다.And a filter for removing sunlight or light from the light source so as not to affect the sensor.

상기 패턴빔은 적외선 광으로 형성될 수 있다.The pattern beam may be formed of infrared light.

상기 터치 인터랙션에 의한 신호는, 사용자가 상기 스크린상에 투사된 영상에서 신체 일부로 어느 한 터치 객체를 터치함에 따라 해당 터치 지점에서 패턴 왜곡 또는 모양 변화된 적외선 광일 수 있다.The touch interaction signal may be an infrared ray having a pattern distortion or a shape change at a corresponding touch point as a user touches a touch object in a part of the body projected on the screen.

상기 터치 인터랙션에 의한 신호는, 사용자가 상기 스크린상에 투사된 영상에서 신체 일부로 어느 한 터치 객체를 터치함에 따라 다른 지점과 비교하여 해당 터치 지점에서 변화된 광량을 가진 적외선 광일 수 있다.The touch interaction signal may be an infrared light having a changed amount of light at the corresponding touch point compared with other points as a user touches a touch object with a part of the body in an image projected on the screen.

한편, 본 발명의 바람직한 다른 실시양태에 따른 터치 인터랙션이 가능한 프로젝터는, 광원으로부터의 광을 영상으로 변환하는 패널; 패턴빔을 출력하는 패턴빔 제공부; 상기 패턴빔 및 상기 패널로부터의 영상을 스크린에게로 투사하고, 상기 스크린에서의 터치 인터랙션에 의한 신호를 수신하는 단일의 렌즈; 상기 터치 인터랙션에 의한 신호에 근거하여 상기 스크린에서 현재 터치된 터치 객체의 위치 좌표를 인식하는 센서; 및 상기 패널로부터의 영상을 투과시켜 상기 렌즈에게로 보내고, 상기 패턴빔을 반사시켜 상기 렌즈에게로 보내고, 상기 렌즈에서 수신되는 상기 터치 인터랙션에 의한 신호를 상기 센서에게로 보내는 광분리 소자;를 포함한다.According to another aspect of the present invention, there is provided a projector capable of performing touch interaction, including: a panel for converting light from a light source into an image; A pattern beam supplier for outputting a pattern beam; A single lens for projecting the pattern beam and the image from the panel onto a screen and receiving a signal by touch interaction on the screen; A sensor for recognizing a position coordinate of a currently touched touch object on the screen based on a signal by the touch interaction; And a light separating element that transmits an image from the panel and transmits the image to the lens, reflects the pattern beam to the lens, and sends a signal based on the touch interaction received by the lens to the sensor do.

상기 패널은 투과 패널로 구성될 수 있다.The panel may comprise a transparent panel.

상기 광원 및 상기 패널은 상기 광분리 소자의 제 1면에 대향하여 설치되되 상기 광원은 상기 패널의 후방에 설치될 수 있고, 상기 렌즈는 상기 광분리 소자의 제 2면에 대향하여 설치될 수 있고, 상기 패턴빔 제공부 및 상기 센서는 상기 광분리 소자의 제 3면에 대향하여 설치될 수 있다. The light source and the panel may be installed to face the first surface of the optical splitter, the light source may be installed behind the panel, and the lens may be installed to face the second surface of the optical splitter , The pattern beam supplier and the sensor may be installed to face the third surface of the optical isolator.

이러한 구성의 본 발명에 따르면, 하나의 렌즈를 통해 화면 투사와 터치 인식을 가능하도록 하고, 화면 영역에 따라 터치 영역을 별도의 캘리브레이션 없이 동작하도록 할 수 있다. According to the present invention having such a configuration, screen projection and touch recognition can be performed through a single lens, and the touch area can be operated without any calibration according to the screen area.

다양한 투사면(사각형, 원, 원기둥 등의 비평면 사물스크린, 초근접 광각의 투사면)에 대해서 휴대용, 이동형 소형 프로젝터에서 보여주는 컨텐츠나 OS 제어를 전용펜을 이용해서 어떤 면에서나 터치가 가능한 프로젝터를 구현할 수 있다.It is possible to control contents or OS displayed on a portable or portable compact projector for various projection planes (non-planar object screen such as square, circle, cylinder, etc.) Can be implemented.

종래에는 스크린의 형태가 평면에서만 동작 가능하였으나, 본 발명에 따르면 환경이 바뀔 때마다 번거롭게 수행하여야 하는 복잡한 보정과정없이 인터랙션 환경을 바꾸어가면서 사용할 수 있다. Conventionally, although the screen shape can be operated only in the plane, according to the present invention, it is possible to change the interaction environment without complicated correction process that must be performed every time the environment is changed.

그리고, 사물스크린과 같이 기존에 공간구성을 변경하지 않고 만들어지는 콘텐츠에 대해서도 인터랙션을 적용하여 다양한 서비스와 콘텐츠 기술로 활용할 수 있다.In addition, it is possible to apply the interaction to the contents created without changing the space configuration, such as the object screen, and to utilize it as various services and content technologies.

최근 자동차 전장 시장이나 애프터 마켓의 헤드업 디스플레이(HUD)가 활성화 됨에 따라 본 발명의 활용도는 더욱 늘어날 것으로 예상된다. It is expected that the utilization of the present invention will be further increased as the head-up display (HUD) of the automobile electric market or the aftermarket is recently activated.

또한, 패턴빔과 인식센서가 좌표평면이 일체화된 센서로 발전하여 3D 인식과 자연 입력영상의 텍스처 맵핑이 동시에 이루어져 스마트폰용 3D 스캐너 역할을 하여, 다양한 인터랙션을 이용한 입력장치의 거리 확대 및 증강현실에도 활용이 가능하다.In addition, the pattern beam and the recognition sensor are developed as a sensor integrated with a coordinate plane, so that the 3D recognition and the texture mapping of the natural input image are simultaneously performed, thereby serving as a 3D scanner for a smartphone, It is available.

도 1은 본 발명에 따른 터치 인터랙션이 가능한 프로젝터의 전체적인 동작 개념을 설명하기 위한 도면이다.
도 2는 도 1에 도시된 프로젝터의 내부 구성의 일 예를 나타낸 도면이다.
도 3 내지 도 5는 도 2의 구성에 의해 캘리브레이션이 필요없는 이유를 설명하기 위한 도면이다.
도 6은 도 2에 도시된 센서의 인식 영역을 예시한 도면이다.
도 7은 도 2에 도시된 프로젝터를 이용한 터치 인터랙션 동작을 설명하기 위한 플로우차트이다.
도 8은 도 1에 도시된 프로젝터의 내부 구성의 다른 예를 나타낸 도면이다.
도 9는 도 8에 도시된 프로젝터를 이용한 터치 인터랙션 동작을 설명하기 위한 플로우차트이다.
FIG. 1 is a diagram for explaining an overall operation concept of a projector capable of a touch interaction according to the present invention.
2 is a diagram showing an example of the internal configuration of the projector shown in Fig.
Figs. 3 to 5 are diagrams for explaining the reason why the calibration is not necessary by the configuration of Fig. 2. Fig.
FIG. 6 is a view illustrating a recognition area of the sensor shown in FIG. 2. FIG.
7 is a flowchart for explaining a touch interaction operation using the projector shown in Fig.
8 is a view showing another example of the internal configuration of the projector shown in Fig.
FIG. 9 is a flowchart for explaining a touch interaction operation using the projector shown in FIG.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the relevant art and are to be interpreted in an ideal or overly formal sense unless explicitly defined in the present application Do not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate the understanding of the present invention, the same reference numerals are used for the same constituent elements in the drawings and redundant explanations for the same constituent elements are omitted.

도 1은 본 발명에 따른 터치 인터랙션이 가능한 프로젝터의 전체적인 동작 개념을 설명하기 위한 도면이다.FIG. 1 is a diagram for explaining an overall operation concept of a projector capable of a touch interaction according to the present invention.

본 발명에 따른 터치 인터랙션이 가능한 프로젝터(100)는 스크린(200)을 향해 소정 거리 이격되게 위치한다. The projector 100 capable of performing the touch interaction according to the present invention is positioned at a predetermined distance toward the screen 200. [

프로젝터(100)는 휴대 및 이동가능할 정도의 작은 사이즈로서, 예를 들어 피코(pico) 프로젝터라고 할 수도 있다.The projector 100 is small enough to be portable and movable, and may be, for example, a pico projector.

물론, 프로젝터(100)는 다양한 디지털 사이니지에도 활용가능하므로, 이동형 프로젝터 뿐만 아니라 대형의 사물스크린 등과 같이 인터랙션을 위한 캘리브레이션(보정)이 크고 어려운 환경에서도 적용가능하다.Of course, since the projector 100 can be utilized for various digital signage, calibration (correction) for interaction such as a large object screen as well as a portable projector can be applied in a large and difficult environment.

프로젝터(100)는 렌즈(33, 43)를 통해 소정의 영상(예컨대, 하나 이상의 터치 객체(선택 메뉴)를 포함) 및 패턴빔(예컨대, 적외선 패턴빔)을 스크린(200)에게로 투사할 수 있다. 여기서, 패턴빔은 스크린(200)의 전면을 전부 커버할 수 있도록 골고루 퍼질 것이다.The projector 100 can project a predetermined image (e.g., including one or more touch objects (including a selection menu) and a pattern beam (e.g., an infrared pattern beam) to the screen 200 through the lenses 33 and 43 have. Here, the pattern beam will spread evenly over the entire surface of the screen 200.

그리고, 프로젝터(100)는 스크린(200)상에서 터치 인터랙션이 발생하면 그에 상응하는 신호를 수신할 수 있다. The projector 100 may receive a corresponding signal when a touch interaction occurs on the screen 200.

또한, 프로젝터(100)는 발생된 터치 인터랙션에 상응하는 터치 이벤트를 처리할 수 있다.Also, the projector 100 can process a touch event corresponding to the generated touch interaction.

여기서, 터치 인터랙션은 사용자의 터치에 의해 발생된다. 예를 들어, 사용자가 스크린(200)상에 투사된 영상(예컨대, 하나 이상의 터치 객체(선택 메뉴)를 포함)에서 신체 일부(예컨대, 손가락)로 어느 한 터치 객체를 터치하게 되면 해당 터치 지점에서는 패턴 왜곡 또는 모양 변화가 발생하게 된다. 즉, 스크린(200)의 전면에는 적외선 패턴빔(예컨대, 구조광빔(structured light beam))이 형성되어 있는데, 어느 한 터치 객체를 손가락으로 터치하게 되면 손가락에 의해 해당 터치 지점에서는 패턴 왜곡 또는 모양 변화를 일으키게 된다. 이와 같이 신체 일부로 터치 객체를 터치함에 따라 해당 터치 지점에서 패턴 왜곡 또는 모양 변화가 일어나게 하는 것을 터치 인터랙션이라고 할 수 있다. 따라서, 다른 지점과 비교하여 해당 터치 지점에서 패턴 왜곡 또는 모양 변화된 적외선 광을 본 발명의 청구범위에 기재된 터치 인터랙션에 의한 신호의 일 예라고 할 수 있다. 상기 예로 든 패턴 왜곡 또는 모양 변화를 이용하는 것은 프로젝터(100)와 스크린(200)간의 거리 확대에도 기여할 것이다.Here, the touch interaction is generated by the touch of the user. For example, when a user touches one touch object with a body part (e.g., a finger) in an image projected on the screen 200 (e.g., including one or more touch objects Pattern distortion or shape change occurs. That is, an infrared pattern beam (e.g., a structured light beam) is formed on the front surface of the screen 200. When a touch object is touched with a finger, a pattern distortion or a shape change . As described above, the touch interaction can be referred to as causing the pattern distortion or the shape change at the corresponding touch point by touching the touch object as a part of the body. Therefore, the infrared light having the pattern distortion or the shape changed at the touch point compared with other points is an example of the signal according to the touch interaction described in the claims of the present invention. Utilizing the above-described pattern distortion or shape change will also contribute to the enlargement of the distance between the projector 100 and the screen 200.

한편, 상기 예로 든 패턴 왜곡 또는 모양 변화를 이용하는 것 이외에도, 광량 변화를 이용할 수도 있다. 예를 들어, 사용자가 스크린(200)상에 투사된 영상(예컨대, 하나 이상의 터치 객체(선택 메뉴)를 포함)에서 신체 일부(예컨대, 손가락)로 어느 한 터치 객체를 터치하게 되면 해당 터치 지점에서는 적외선 광량 변화가 발생하게 된다. 즉, 스크린(200)의 전면에 일정한 광량의 적외선 패턴빔이 골고루 분포하고 있는데, 어느 한 터치 객체를 손가락으로 터치하게 되면 해당 터치 지점에서의 적외선 패턴빔의 광량은 다른 위치에서의 적외선 패턴빔의 광량과는 차이날 것이다. 다시 말해서, 손가락에서 난반사 등이 일어나므로 수신측에서는 다른 위치에 비해 광량이 보다 적은 적외선 패턴빔을 수신할 것이다. 이와 같이 신체 일부로 터치 객체를 터치함에 따라 해당 터치 지점에서 적외선 광량 변화가 일어나게 하는 것을 터치 인터랙션이라고 할 수 있다. 따라서, 다른 지점과 비교하여 해당 터치 지점에서 변화된 광량을 가진 적외선 광을 본 발명의 청구범위에 기재된 터치 인터랙션에 의한 신호의 일 예라고 할 수 있다.On the other hand, in addition to using the above-described pattern distortion or shape change, a change in the amount of light may be used. For example, when a user touches one touch object with a body part (e.g., a finger) in an image projected on the screen 200 (e.g., including one or more touch objects An infrared light quantity change occurs. That is, the infrared ray pattern beam having a constant amount of light is uniformly distributed over the entire surface of the screen 200. If a touch object is touched with a finger, the light amount of the infrared ray pattern beam at the corresponding touch point is It will be different from light quantity. In other words, since the diffuse reflection occurs on the finger, the receiving side will receive an infrared pattern beam having a smaller amount of light than other positions. As described above, when a touch object is touched with a part of the body, a change in infrared light amount at the corresponding touch point is referred to as a touch interaction. Therefore, the infrared light having the changed amount of light at the touch point compared with other points is an example of the signal by the touch interaction described in the claims of the present invention.

스크린(200)은 투사화면이 될 수 있는데, 스크린(200)은 도 1에서와 같이 평평한 면으로 이루어지는 것이 바람직할 것이다.The screen 200 may be a projection screen, and the screen 200 preferably has a flat surface as in FIG.

그러나, 스크린(200)은 평평하지 않은 면으로 이루어져도 무방하다. 예를 들어, 평평한 두 개의 면의 경계가 서로 닿아 있는 부위를 향해 소정의 영상을 투사하더라도 투사되는 영상이 두 개의 면에 나뉘어져서 서로 자연스럽게 연결된 것처럼 보여질 것이다.However, the screen 200 may be a flat surface. For example, even if a predetermined image is projected toward a portion where the boundaries of two flat planes are in contact with each other, the projected image will be divided into two planes and appear to be connected to each other naturally.

도 2는 도 1에 도시된 프로젝터의 내부 구성의 일 예를 나타낸 도면이다. 도 2의 프로젝터는 DLP(Digital Light Processing) 프로젝터라고 할 수 있으며, 신체 일부(예컨대, 손가락)로 스크린(200)을 직접 터치할 수 있다. 2 is a diagram showing an example of the internal configuration of the projector shown in Fig. 2 may be a DLP (Digital Light Processing) projector, and may directly touch the screen 200 with a part of the body (e.g., a finger).

도 2에 도시된 프로젝터(100)는 광원(30), 패널(11), 적외선 패턴빔 제공부(32), 렌즈(33), 필터(34), 센서(35), 인터랙션 신호 처리부(36), 및 광분리 소자(37)를 포함한다.The projector 100 shown in Fig. 2 includes a light source 30, a panel 11, an infrared pattern beam supplier 32, a lens 33, a filter 34, a sensor 35, an interaction signal processor 36, And a light splitting element 37. As shown in Fig.

광원(30)은 소정의 광을 방사한다. 예를 들어, 광원(30)은 레이저 다이오드, LCD, LED 등을 포함할 수 있다. The light source 30 emits a predetermined light. For example, the light source 30 may include a laser diode, an LCD, an LED, and the like.

광원(30)에서 방사되는 광은 스크린(200)에 디스플레이될 영상이 되는 광이라고 할 수 있다. The light emitted from the light source 30 may be referred to as light to be displayed on the screen 200.

패널(31)은 광원(30)에서 발생하는 광(빛)을 사람이 볼 수 있는 영상으로 변환할 수 있다. 다시 말해서, 패널(31)에는 광원(30)으로부터의 광을 근거로 하는 영상이 맺힌다. 즉, 패널(31)에는 스크린(200)에 디스플레이될 영상이 맺힌다고 할 수 있다.The panel 31 can convert light (light) generated in the light source 30 into an image that can be viewed by a human. In other words, an image based on the light from the light source 30 is formed on the panel 31. That is, it can be said that an image to be displayed on the screen 200 is formed on the panel 31.

여기서, 패널(31)은 반사 패널로 구성될 수 있다. 그에 따라, 광원(30)은 패널(31)과 소정 거리 이격된 측방에 설치된다.Here, the panel 31 may be a reflective panel. Accordingly, the light source 30 is installed on the side farther from the panel 31 by a predetermined distance.

적외선 패턴빔 제공부(32)는 스크린(200)의 전면에 투사되는 적외선 패턴빔을 출력한다. 적외선 패턴빔은 스크린(200)의 전면을 전부 커버할 수 있도록 골고루 퍼질 것이다. 적외선 패턴빔은 적외선 광으로 형성된 소정 패턴의 빔을 의미할 수 있다. 적외선 패턴빔은 본 발명의 청구범위에 기재된 패턴빔의 일 예가 될 수 있다.The infrared pattern beam supplier 32 outputs an infrared pattern beam projected on the front surface of the screen 200. The infrared pattern beam will spread evenly over the entire surface of the screen 200. [ The infrared pattern beam may be a beam of a predetermined pattern formed by infrared light. The infrared pattern beam may be an example of the pattern beam described in the claims of the present invention.

렌즈(33)는 패널(31)로부터의 영상을 확대하여 스크린(200)에게로 보낸다.The lens 33 enlarges the image from the panel 31 and sends it to the screen 200.

렌즈(33)는 적외선 패턴빔 제공부(32)로부터의 적외선 패턴빔을 스크린(200)의 전면에 골고루 퍼질 수 있도록 보낸다.The lens 33 sends the infrared pattern beam from the infrared pattern beam supplier 32 to the front of the screen 200 so that it can be evenly spread.

그리고, 렌즈(33)는 스크린(200)에서의 터치 인터랙션에 의한 적외선 신호(광)를 수광할 수 있다. 예를 들어, 사용자가 신체 일부로 터치 객체를 터치하게 되면 렌즈(33)는 해당 터치 지점에서의 패턴 왜곡 또는 모양 변화된 적외선 광을 수광할 수 있다. 다른 예로는, 사용자가 신체 일부로 터치 객체를 터치하게 되면 렌즈(33)는 해당 터치 지점에서 변화된 광량을 가진 적외선 광을 수광할 수 있다. 물론, 렌즈(33)는 터치 지점 이외의 지점에서의 적외선 광도 수광할 것이다.The lens 33 is capable of receiving an infrared signal (light) by the touch interaction on the screen 200. For example, when the user touches the touch object as a part of the body, the lens 33 can receive the infrared light whose pattern is distorted or changed in shape at the touch point. As another example, when the user touches the touch object with a part of the body, the lens 33 can receive the infrared light having the changed amount of light at the touch point. Of course, the lens 33 will also receive infrared light at points other than the touch point.

렌즈(33)는 프로젝터(100)의 최전방에 설치된다.The lens 33 is installed at the forefront of the projector 100.

렌즈(33)는 도 1에서와 같이 프로젝터(100)에서 노출되게 설치될 수 있다.The lens 33 may be installed so as to be exposed in the projector 100 as shown in Fig.

필터(34)는 태양광 또는 광원(30)의 빛이 센서(35)에 영향을 미치지 않도록 제거한다. 다시 말해서, 필터(34)는 스크린(200)에서 반사되어 렌즈(33) 및 광분리 소자(37)를 거쳐 입사되는 적외선 신호(광량 변화가 있는 적외선 신호 및 광량 변화가 없는 적외선 신호)만을 통과시키고 그 이외의 신호는 제거한다.The filter 34 removes sunlight or light from the light source 30 so that it does not affect the sensor 35. In other words, the filter 34 passes only the infrared signal (the infrared signal having the light amount change and the infrared signal without the light amount change) that is reflected by the screen 200 and is incident through the lens 33 and the optical isolator 37 Other signals are removed.

필터(34)는 센서(35)의 전단에 설치됨이 바람직하다. The filter 34 is preferably provided at the front end of the sensor 35.

도 2에서, 광원(30)에서 방사되는 광은 광분리 소자(37)에서 모두 반사되어 패널(31)로 입사되는 것이 아니라 그 중의 일부는 광분리 소자(37)를 그대로 투과할 수 있다. 예를 들어, 광원(30)에서 방사되는 광이 레이저라고 가정하였을 경우 레이저는 적외선 영역을 포함하므로 적외선 영역에 해당하는 광이 광분리 소자(37)를 그대로 투과하여 센서(35)에게로 입사될 수 있다. 이 경우, 센서(35)는 비정상적인 센싱을 수행하게 될 것이다. 따라서, 필터(34)는 센서(35)의 전단에 설치됨으로써 센서(35)에 인가될 필요가 없는 광(즉, 광원(30)의 광)을 제거한다. 2, the light emitted from the light source 30 is totally reflected by the optical splitter 37 and is not incident on the panel 31, but a part of the light can be transmitted through the optical splitter 37 as it is. For example, assuming that the light emitted from the light source 30 is a laser, since the laser includes an infrared region, the light corresponding to the infrared region passes through the optical isolator 37 as it is and is incident on the sensor 35 . In this case, the sensor 35 will perform an abnormal sensing. Therefore, the filter 34 is disposed at the front end of the sensor 35, thereby removing light (that is, light of the light source 30) that does not need to be applied to the sensor 35.

또한, 프로젝터(100)의 외부에서 태양광이 프로젝터(100)의 내부로 유입될 수 있다. 이때, 프로젝터(100)의 내부로 유입된 태양광이 센서(35)에게로 입사되면 센서(35)는 비정상적인 센싱을 수행하게 될 것이다. 따라서, 필터(34)는 센서(35)의 전단에 설치됨으로써 센서(35)에 인가될 수 있는 광(즉, 태양광)을 제거한다. In addition, sunlight can be introduced into the interior of the projector 100 from outside the projector 100. At this time, when sunlight flowing into the interior of the projector 100 is incident on the sensor 35, the sensor 35 will perform an abnormal sensing. Therefore, the filter 34 is installed at the front end of the sensor 35, thereby removing light (i.e., sunlight) that can be applied to the sensor 35.

센서(35)는 입력받은 적외선 신호(즉, 터치 인터랙션에 의한 신호를 포함)에 근거하여 현재 터치된 터치 객체의 위치 좌표를 인식한다. 즉, 센서(35)는 사용자가 스크린(200)상의 어느 한 터치 객체를 터치함에 따른 적외선 신호를 수신하고, 수신된 적외선 신호를 근거로 해당 터치 객체에 대한 위치 좌표를 인식할 수 있다. 센서(35)의 위치 좌표 인식 동작에 대한 보다 자세한 설명은 후술하기로 한다. The sensor 35 recognizes the coordinates of the position of the currently touched touch object based on the received infrared signal (i.e., the signal due to the touch interaction). That is, the sensor 35 receives an infrared signal according to a touch of a touch object on the screen 200 by the user, and recognizes the position coordinates of the touch object based on the received infrared signal. A more detailed description of the position coordinate recognition operation of the sensor 35 will be given later.

인터랙션 신호 처리부(36)는 센서(35)로부터의 위치 좌표를 근거로 어느 터치 객체에 대하여 터치 이벤트가 발생하였는지를 판단할 수 있다.The interaction signal processing unit 36 can determine which touch object has generated the touch event based on the position coordinates from the sensor 35. [

한편, 인터랙션 신호 처리부(36)는 어느 터치 객체에 대하여 터치 이벤트가 발생하였는지를 판단하면 해당하는 터치 이벤트로 변환시킬 수 있다.Meanwhile, the interaction signal processor 36 can convert the touch event into a corresponding touch event when the touch event is determined.

그리고, 인터랙션 신호 처리부(36)는 해당 터치 이벤트를 처리할 수 있다.Then, the interaction signal processing unit 36 can process the touch event.

광분리 소자(37)는 광원(30)으로부터의 광을 패널(31)측으로 반사시키고, 패널(31)로부터의 영상을 투과시켜 렌즈(33)에게로 보낸다. 광분리 소자(37)는 적외선 패턴빔 제공부(32)로부터의 적외선 패턴빔을 반사시켜 렌즈(33)에게로 보낸다. 또한, 광분리 소자(37)는 렌즈(33)를 통해 입사되는 적외선 신호(광)를 센서(35)측으로 반사시킨다.The optical separation element 37 reflects the light from the light source 30 toward the panel 31 and transmits the image from the panel 31 to the lens 33. The optical separation element 37 reflects the infrared pattern beam from the infrared pattern beam supplier 32 and sends it to the lens 33. Further, the optical isolator 37 reflects the infrared signal (light) incident through the lens 33 to the sensor 35 side.

보다 상세하게는, 광분리 소자(37)의 내부에는 빗면(37a)이 형성된다. 빗면(37a)은 광원(30)으로부터의 광을 패널(31)측으로 반사시키고, 패널(31)로부터의 영상을 그대로 투과시킬 수 있다. 빗면(37a)은 적외선 패턴빔 제공부(32)로부터의 적외선 패턴빔을 렌즈(33)측으로 반사시킬 수 있다. 그리고, 빗면(37a)은 렌즈(33)를 통해 입사되는 적외선 신호(광이 될 수 있음)를 센서(35)측으로 반사시킬 수 있다.More specifically, an inclined surface 37a is formed in the inside of the optical isolator 37. The oblique surface 37a reflects the light from the light source 30 to the panel 31 side and can transmit the image from the panel 31 as it is. The bevel surface 37a can reflect the infrared pattern beam from the infrared pattern beam supplier 32 to the lens 33 side. Then, the bevel surface 37a can reflect the infrared signal (which may be light) incident through the lens 33 to the sensor 35 side.

도 2에서, 광분리 소자(37)는 육면체로 구성될 수 있다. 광원(30)은 광분리 소자(37)의 제 1면(예컨대, 좌측면)에 대향하여 설치될 수 있다. 패널(31)은 광분리 소자(37)의 제 2면(예컨대, 배면)에 대향하여 설치될 수 있다. 렌즈(33)는 광분리 소자(37)의 제 3면(예컨대, 정면)에 대향하여 설치될 수 있다. 적외선 패턴빔 제공부(32)와 필터(34) 및 센서(35)는 광분리 소자(37)의 제 4면(예컨대, 우측면)에 대향하여 설치될 수 있다.2, the optical isolator 37 may be configured as a hexahedron. The light source 30 may be provided so as to oppose the first surface (e.g., the left surface) of the optical isolator 37. The panel 31 may be installed so as to face the second surface (for example, the back surface) of the optical isolator 37. The lens 33 may be provided so as to face the third surface (for example, the front surface) of the light splitting element 37. The infrared pattern beam supplier 32, the filter 34 and the sensor 35 may be installed so as to face the fourth surface (for example, the right surface) of the optical isolator 37.

상술한 도 2에서는 인터랙션 신호 처리부(36)를 프로젝터(100)의 내부에 설치되는 것으로 하였는데, OS가 탑재된 휴대장치(예컨대, 스마트폰) 또는 PC의 내부에 설치시켜도 된다. 만약, 인터랙션 신호 처리부(36)가 휴대장치 또는 PC의 내부에 설치되었을 경우에는 센서(35)의 내부에는 별도의 송신 모듈이 포함되어 위치 좌표값을 휴대장치 또는 PC에게로 보낼 수 있을 것이다.2, the interaction signal processing unit 36 is installed inside the projector 100, but may be installed inside a portable device (e.g., a smart phone) or a PC equipped with an OS. If the interaction signal processing unit 36 is installed in the portable device or the PC, a separate transmission module may be included in the sensor 35 to transmit the position coordinate value to the portable device or the PC.

도 3 내지 도 5는 도 2의 구성에 의해 캘리브레이션이 필요없는 이유를 설명하기 위한 도면이다.Figs. 3 to 5 are diagrams for explaining the reason why the calibration is not necessary by the configuration of Fig. 2. Fig.

기존의 터치 인터랙션이 가능한 프로젝터는 도 3에서와 같이 스크린에게로 소정의 영상을 투사하는 투사 렌즈, 및 스크린상에서의 터치 인터랙션에 따른 신호(빛)를 수광하는 인터랙션 렌즈를 각각 설치한다.The conventional projector capable of touch interaction is provided with a projection lens for projecting a predetermined image to the screen as shown in FIG. 3, and an interaction lens for receiving a signal (light) according to the touch interaction on the screen.

그에 따라, 기존의 터치 인터랙션이 가능한 프로젝터는 도 3에서와 같이 두 렌즈 사이의 거리 때문에 인식 영역에서 차이가 발생한다. 즉, 인터랙션 범위와 투사 범위가 서로 차이난다.Accordingly, a projector capable of existing touch interaction causes a difference in the recognition area due to the distance between the two lenses as shown in Fig. That is, the interaction range and the projection range are different from each other.

그리하여, 도 4에서와 같이 기존에는 투사 렌즈와 인터랙션 렌즈의 설치 각도를 조절하여 동시 인식 가능 범위를 늘렸다. 이 과정에서, 투사 렌즈와 인터랙션 렌즈의 광축이 서로 달라지게 되므로, 이에 따른 오차를 없애기 위해 캘리브레이션을 행하였다. 두 렌즈 사이에 발생하는 오차는 스크린과 프로젝터 사이의 거리, 각도에 따라 변하기 때문에 프로젝터 설치 위치가 변경될 때마다 캘리브레이션이 필요하였다. Thus, as shown in FIG. 4, the installation angle of the projection lens and the interaction lens is adjusted to increase the simultaneous recognition range. In this process, since the optical axes of the projection lens and the interaction lens are different from each other, calibration is performed to eliminate the error. Since the errors between the two lenses vary with the distance and angle between the screen and the projector, calibration was required every time the projector installation position changes.

그런데, 도 5에서와 같이 본 발명에서는 투사와 인터랙션을 하나의 렌즈(33)에서 처리하게 되므로, 투사 렌즈와 인터랙션 렌즈의 광축이 일치가 된다. 따라서, 광축이 동일하여 오차가 없고, 오차가 없으므로 캘리브레이션이 필요없게 된다.However, as shown in FIG. 5, since the projection and the interaction are processed by the single lens 33, the optical axes of the projection lens and the interaction lens coincide with each other. Therefore, since the optical axes are the same, there is no error, and there is no error, so calibration is not necessary.

다시 말해서, 본 발명에 의해서는 도 5에서와 같이 투사범위와 인터랙션 범위가 동일하게 되고, 인식가능범위(즉, 인식 영역)가 확대된다. In other words, according to the present invention, the projection range and the interaction range become the same as in Fig. 5, and the recognizable range (that is, the recognition area) is enlarged.

도 6은 도 2에 도시된 센서의 인식 영역을 예시한 도면이다.FIG. 6 is a view illustrating a recognition area of the sensor shown in FIG. 2. FIG.

앞서 설명한 바와 같이, 도 2의 구성에 의해서는 별도의 캘리브레이션이 필요없게 되므로, 도 6에서와 같이 센서(35)의 인식 영역(범위)은 고정적으로 정해질 것이다. As described above, since the calibration of FIG. 2 does not require a separate calibration, the recognition area (range) of the sensor 35 as shown in FIG. 6 will be fixed.

패턴 왜곡 또는 모양 변화를 이용하는 경우, 터치가 없으면 센서(35)는 인식 영역내의 모든 위치에서 패턴 왜곡 또는 모양 변화가 없는 적외선 신호(즉, 적외선 패턴빔)를 인식할 것이다. 그런데, 터치가 있게 되면 인식 영역내의 해당 터치 지점에서는 패턴 왜곡 또는 모양 변화가 발생할 것이다. 따라서, 센서(35)는 인식 영역내에 터치 지점이 있게 되면 인식 영역을 기준으로 해당 터치 지점의 X,Y좌표값을 손쉽게 계산할 수 있다. In the case of using a pattern distortion or a shape change, without touch, the sensor 35 will recognize an infrared signal (i.e., an infrared pattern beam) without any pattern distortion or shape change at every position in the recognition area. However, if a touch occurs, a pattern distortion or a shape change will occur at the corresponding touch point in the recognition area. Therefore, when the touch point is present in the recognition area, the sensor 35 can easily calculate the X, Y coordinate values of the touch point based on the recognition area.

한편, 광량을 이용하는 경우, 터치가 없으면 센서(35)는 인식 영역내의 모든 위치에서의 적외선 신호(즉, 적외선 패턴빔)가 동일한 광량인 것으로 인식할 것이다. 그런데, 터치가 있게 되면 인식 영역내의 해당 터치 지점에서의 적외선 신호의 광량만이 차이날 것이다. 따라서, 센서(35)는 인식 영역내에 터치 지점이 있게 되면 인식 영역을 기준으로 해당 터치 지점의 X,Y좌표값을 손쉽게 계산할 수 있다. On the other hand, in the case of using the light amount, if there is no touch, the sensor 35 will recognize that the infrared signal (i.e., the infrared pattern beam) at all positions in the recognition area has the same light amount. However, when the touch is made, only the light amount of the infrared signal at the corresponding touch point in the recognition area will be different. Therefore, when the touch point is present in the recognition area, the sensor 35 can easily calculate the X, Y coordinate values of the touch point based on the recognition area.

예를 들어, 상술한 X,Y좌표값의 범위는 0 ~ 4095 일 수 있다. 즉, 센서(35)에서의 X,Y의 위치 좌표값은 0 ~ 4095 사이의 값으로 계산되어 인터랙션 신호 처리부(36)에게로 입력될 것이다. 필요에 따라, 센서(35)는 손가락 끝점을 파악할 수 있는 알고리즘을 추가로 채용하여 보다 정확하게 터치 지점의 X,Y좌표값을 계산할 수 있다. 손가락 끝점을 파악할 수 있는 알고리즘은 당업자라면 주지의 기술을 통해 충분히 이해할 수 있으리라 본다. For example, the above-described range of the X and Y coordinate values may be 0 to 4095. [ That is, the position coordinate values of X and Y in the sensor 35 are calculated to be a value between 0 and 4095 and input to the interaction signal processing unit 36. If necessary, the sensor 35 can further calculate an X, Y coordinate value of the touch point by employing an algorithm capable of grasping the finger end point. Those skilled in the art will be able to understand algorithms capable of grasping the finger endpoints well known in the art.

프로젝터(100)에서 필요로 하는 좌표값은 해당 프로젝터(100)의 해상도에 따라 다를 것이다. 예를 들어, 프로젝터(100)의 해상도가 1920 × 1080이라면 프로젝터(100)가 필요로 하는 좌표값은 가로 0 ~ 1980, 세로 0 ~ 1080 값이 될 것이다. The coordinate values required by the projector 100 will differ depending on the resolution of the projector 100. [ For example, if the resolution of the projector 100 is 1920 x 1080, the coordinate values required by the projector 100 will be in the range of 0 to 1980, and 0 to 1080 in the vertical direction.

그에 따라, 인터랙션 신호 처리부(36)는 워핑(Warping) 알고리즘 또는 지오메트릭 변환(Geometry translation) 등을 사용하여 센서(35)의 좌표데이터를 실세계 좌표데이터(즉, 프로젝터에서 사용하는 좌표데이터)로 변환할 수 있다. 그리고, 인터랙션 신호 처리부(36)는 변환된 좌표데이터를 그에 상응하는 터치 이벤트(Touch Event)로 매핑시킬 수 있다. 그리고, 인터랙션 신호 처리부(36)는 해당 터치 이벤트를 처리할 수 있다.Accordingly, the interaction signal processing unit 36 converts the coordinate data of the sensor 35 into real-world coordinate data (that is, coordinate data used in the projector) by using a warping algorithm or geometry translation or the like can do. Then, the interaction signal processor 36 can map the converted coordinate data to a corresponding touch event (Touch Event). Then, the interaction signal processing unit 36 can process the touch event.

이번에는, 도 7의 플로우차트를 참조하여, 도 2에 도시된 프로젝터를 이용한 터치 인터랙션 동작을 설명한다.The touch interaction operation using the projector shown in Fig. 2 will now be described with reference to the flowchart of Fig.

먼저, 프로젝터(100)의 전원을 온(ON)시킨다(S100).First, the power of the projector 100 is turned on (S100).

그에 따라, 광원(30)이 온(ON)되고, 적외선 패턴빔 제공부(32)가 온(ON)된다(S102, S104). As a result, the light source 30 is turned on and the infrared pattern beam supplier 32 is turned on (S102, S104).

광원(30)은 광(예컨대, 레이저 광)을 광분리 소자(37)에게로 방사하게 되고, 광원(30)에서 방사된 광은 광분리 소자(37)의 빗면(37a)에서 반사되어 패널(31)에게로 입사된다(S106). 그에 따라, 패널(31)에는 소정의 영상이 맺힌다. 즉, 광원(30)에서 방사되는 광은 스크린(200)에 디스플레이될 영상이 되는 광이라고 할 수 있으므로, 패널(31)에는 광원(30)으로부터의 광에 의해 소정의 영상이 형성될 것이다. 이와 함께, 적외선 패턴빔 제공부(32)는 적외선 패턴빔을 광분리 소자(37)에게로 출력한다.The light emitted from the light source 30 is reflected by the oblique surface 37a of the optical splitter 37 to be incident on the panel 31) (S106). As a result, a predetermined image is formed on the panel 31. That is, since the light emitted from the light source 30 can be regarded as light to be displayed on the screen 200, a predetermined image will be formed on the panel 31 by the light from the light source 30. At the same time, the infrared pattern beam supplier 32 outputs the infrared pattern beam to the optical splitter 37.

이어, 패널(31)의 영상은 광분리 소자(37)를 투과하여 렌즈(33)에게로 향하고, 적외선 패턴빔은 빗면(37a)에서 반사되어 렌즈(33)에게로 향한다(S108). The image of the panel 31 is transmitted through the optical splitter 37 and directed to the lens 33. The infrared pattern beam is reflected by the oblique surface 37a and directed to the lens 33 at step S108.

렌즈(33)에게로 전달된 영상은 렌즈(33)를 통해 스크린(200)에 투사되고, 적외선 패턴빔은 렌즈(33)를 통해 스크린(200)의 전면에 골고루 퍼지게 된다(S110).The image transmitted to the lens 33 is projected onto the screen 200 through the lens 33 and the infrared pattern beam is uniformly spread over the entire surface of the screen 200 through the lens 33 at step S110.

그에 따라, 스크린(200)에는 적외선 패턴빔이 분포할 뿐만 아니라 하나 이상의 터치 객체(즉, 선택 메뉴)가 디스플레이된다. 여기서, 터치 객체의 제한은 없다. 만약, 스마트폰 화면이 프로젝터(100)를 통해 스크린(200)에 투사되고 있다면 스마트폰에 있는 모든 메뉴(전화걸기, 카카오톡, 메시지, 인터넷 등)가 터치 객체가 될 수 있다. PC 화면이 스크린(200)에 투사되고 있다면 PC에 있는 모든 메뉴가 터치 객체가 될 수 있다.Accordingly, not only the infrared pattern beam is distributed on the screen 200, but also one or more touch objects (i.e., a selection menu) are displayed. Here, there is no restriction on the touch object. If the smartphone screen is being projected on the screen 200 through the projector 100, all the menus (dialer, kakao touch, message, internet, etc.) in the smartphone can be a touch object. If the PC screen is being projected on the screen 200, all of the menus on the PC may become touch objects.

이후, 사용자는 스크린(200)에 디스플레이된 영상(예컨대, 하나 이상의 터치 객체(선택 메뉴)를 포함)을 보고서 신체 일부(예컨대, 손가락)로 어느 한 터치 객체를 터치하게 된다. The user then touches one of the touch objects with a part of the body of the report (e.g., a finger) by displaying the image (e.g., one or more touch objects (selection menus) displayed on the screen 200.

그에 따라, 패턴 왜곡 또는 모양 변화를 근거로 터치 인터랙션의 위치를 파악하는 경우에는 해당 터치 지점에서 패턴 왜곡 또는 모양 변화가 발생하게 될 것이다. 즉, 스크린(200)의 전면에는 적외선 패턴빔(예컨대, 구조광빔(structured light beam))이 형성되어 있는데, 어느 한 터치 객체를 손가락으로 터치하게 되면 손가락에 의해 해당 터치 지점에서는 패턴 왜곡 또는 모양 변화를 일으키게 된다. Accordingly, when the position of the touch interaction is grasped based on the pattern distortion or the shape change, pattern distortion or shape change will occur at the corresponding touch point. That is, an infrared pattern beam (e.g., a structured light beam) is formed on the front surface of the screen 200. When a touch object is touched with a finger, a pattern distortion or a shape change .

이와 다르게, 적외선 광량 변화를 근거로 터치 인터랙션의 위치를 파악하는 경우에는 해당 터치 지점에서 적외선 광량 변화가 발생하게 될 것이다. 즉, 스크린(200)의 전면에 일정한 광량의 적외선 패턴빔이 골고루 분포하고 있는데, 어느 한 터치 객체를 손가락으로 터치하게 되면 해당 터치 위치에서의 적외선 패턴빔의 광량은 다른 위치에서의 적외선 패턴빔의 광량과는 차이날 것이다. Alternatively, when the position of the touch interaction is grasped based on the change in the amount of infrared light, an infrared light amount change will occur at the corresponding touch point. That is, the infrared ray pattern beam having a constant amount of light is uniformly distributed over the entire surface of the screen 200. When a touch object is touched with a finger, the light amount of the infrared ray pattern beam at the corresponding touch position is It will be different from light quantity.

이와 같이, 사용자가 스크린(200)상에 투사된 영상에서 신체 일부(예컨대, 손가락)로 어느 한 터치 객체를 터치하게 되면 해당 터치 지점에서 터치 인터랙션이 발생한다(S112에서 "Yes"). In this manner, when a user touches one of the touch objects with a body part (e.g., a finger) in the image projected on the screen 200, a touch interaction occurs at the corresponding touch point ("Yes"

이후, 터치 인터랙션이 발생한 지점에서의 적외선 신호 및 터치 인터랙션이 없는 다른 지점들에서의 적외선 신호가 스크린(200)에서 렌즈(33)를 통해 광분리 소자(37)에게로 입사된다. 광분리 소자(37)에게로 입사된 적외선 신호(광)들은 빗면(37a)에서 반사되어 필터(34)를 통과하여 센서(35)에게로 입력된다(S114).Thereafter, the infrared signal at the point where the touch interaction occurs and the infrared signal at the other points without the touch interaction are incident on the screen 200 from the lens 33 to the optical isolator 37. The infrared rays (lights) incident on the optical isolator 37 are reflected by the oblique surface 37a, passed through the filter 34, and input to the sensor 35 (S114).

센서(35)의 인식영역에는 터치 인터랙션이 발생한 지점에서의 적외선 신호(광) 및 터치 인터랙션이 없는 다른 지점들에서의 적외선 신호(광)가 모두 들어온다. 그에 따라, 센서(35)는 패턴 왜곡 또는 모양 변화가 발생한 해당 터치 지점의 좌표값(즉, X,Y좌표값), 또는 광량에서 차이가 있는 해당 터치 지점의 좌표값(즉, X,Y좌표값)을 손쉽게 인식(계산 또는 변환)해 낼 수 있다(S116).The infrared signal (light) at the point where the touch interaction occurs and the infrared signal (light) at the other points without the touch interaction all come in the recognition area of the sensor 35. [ Accordingly, the sensor 35 calculates the coordinate value (i.e., X, Y coordinate value) of the corresponding touch point at which the pattern distortion or the shape change occurs, or the coordinate value Value) can be easily recognized (calculated or converted) (S116).

그리고, 센서(35)는 인식한 위치 좌표값을 인터랙션 신호 처리부(36)에게로 전달한다(S118).Then, the sensor 35 transfers the recognized position coordinate value to the interaction signal processing unit 36 (S118).

인터랙션 신호 처리부(36)는 센서(35)의 위치 좌표값을 실세계 좌표데이터로 변환하고, 변환된 좌표데이터를 그에 상응하는 터치 이벤트(Touch Event)로 매핑시킨다(S120). The interaction signal processing unit 36 converts the position coordinate value of the sensor 35 into real world coordinate data, and maps the converted coordinate data to the corresponding touch event (S120).

그리고 나서, 인터랙션 신호 처리부(36)는 해당 터치 이벤트를 처리한다(S122).Then, the interaction signal processing unit 36 processes the touch event (S122).

상술한 바에 따르면, 하나의 렌즈를 통해 화면 투사와 터치 인식을 가능하게 된다. According to the above description, screen projection and touch recognition can be performed through a single lens.

또한, 이동할 때마다 다른 조작(보정과정)을 거치지 않고 터치 인터랙션이 가능하다. 예를 들어, 이동 후에 투사되는 화면과의 각도와 방향이 이동 전과 차이나거나, 커브드 TV와 같이 투사되는 모양에 변화가 있더라도 캘리브레이션을 하지 않고도 터치 인터랙션이 가능하다.In addition, touch interaction is possible without going through different operations (correction process) every time when moving. For example, it is possible to perform touch interaction without calibrating, even if the angle and direction with the projected image after the movement is different from that before the movement, or when the projection shape like the curved TV changes.

도 8은 도 1에 도시된 프로젝터의 내부 구성의 다른 예를 나타낸 도면이다. 도 8의 프로젝터는 LCD 프로젝터 또는 LED 프로젝터라고 할 수 있으며, 신체 일부(예컨대, 손가락)로 스크린(200)을 직접 터치할 수 있다. 8 is a view showing another example of the internal configuration of the projector shown in Fig. The projector of Fig. 8 may be an LCD projector or an LED projector, and may directly touch the screen 200 with a part of the body (e.g., a finger).

도 2에 도시된 프로젝터(100)는 광원(40), 패널(41), 적외선 패턴빔 제공부(42), 렌즈(43), 필터(44), 센서(45), 인터랙션 신호 처리부(46), 및 광분리 소자(47)를 포함한다.The projector 100 shown in Fig. 2 includes a light source 40, a panel 41, an infrared pattern beam supplier 42, a lens 43, a filter 44, a sensor 45, an interaction signal processor 46, And a light separation element 47, as shown in FIG.

광원(40)은 소정의 광을 방사한다. 예를 들어, 광원(40)은 레이저 다이오드, LCD, LED 등을 포함할 수 있다. The light source 40 emits a predetermined light. For example, the light source 40 may include a laser diode, an LCD, an LED, and the like.

광원(40)에서 방사되는 광은 스크린(200)에 디스플레이될 영상이 되는 광이라고 할 수 있다. The light emitted from the light source 40 may be a light to be displayed on the screen 200.

패널(41)은 광원(40)에서 발생하는 광(빛)을 사람이 볼 수 있는 영상으로 변환할 수 있다. 다시 말해서, 패널(41)에는 광원(40)으로부터의 광을 근거로 하는 영상이 맺힌다. 즉, 패널(41)에는 스크린(200)에 디스플레이될 영상이 맺힌다고 할 수 있다.The panel 41 can convert light (light) generated in the light source 40 into an image that can be seen by a human. In other words, an image based on the light from the light source 40 is formed on the panel 41. That is, an image to be displayed on the screen 200 is formed on the panel 41.

여기서, 패널(41)은 투과 패널로 구성될 수 있다. 그에 따라, 광원(40)은 패널(41)의 후방에 설치된다.Here, the panel 41 may be formed of a transparent panel. Accordingly, the light source 40 is installed at the rear of the panel 41.

적외선 패턴빔 제공부(42)는 스크린(200)의 전면에 투사되는 일정 광량의 적외선 패턴빔을 출력한다. 적외선 패턴빔은 스크린(200)의 전면을 전부 커버할 수 있도록 골고루 퍼질 것이다. 적외선 패턴빔은 적외선 광으로 형성된 소정 패턴의 빔을 의미할 수 있다. 적외선 패턴빔은 본 발명의 청구범위에 기재된 패턴빔의 일 예가 될 수 있다.The infrared pattern beam supplier 42 outputs an infrared pattern beam of a constant amount of light projected onto the front surface of the screen 200. [ The infrared pattern beam will spread evenly over the entire surface of the screen 200. [ The infrared pattern beam may be a beam of a predetermined pattern formed by infrared light. The infrared pattern beam may be an example of the pattern beam described in the claims of the present invention.

렌즈(43)는 패널(41)로부터의 영상을 확대하여 스크린(200)에게로 보낸다.The lens 43 enlarges the image from the panel 41 and sends it to the screen 200.

렌즈(43)는 적외선 패턴빔 제공부(42)로부터의 적외선 패턴빔을 스크린(200)의 전면에 골고루 퍼질 수 있도록 보낸다.The lens 43 sends the infrared pattern beam from the infrared pattern beam supplier 42 to the front of the screen 200 so that it can be evenly spread.

그리고, 렌즈(43)는 스크린(200)에서의 터치 인터랙션에 의한 적외선 신호(광)를 수광할 수 있다. 예를 들어, 사용자가 신체 일부로 터치 객체를 터치하게 되면 렌즈(43)는 해당 터치 지점에서의 패턴 왜곡 또는 모양 변화된 적외선 광을 수광할 수 있다. 다른 예로는, 사용자가 신체 일부로 터치 객체를 터치하게 되면 렌즈(43)는 해당 터치 지점에서 변화된 광량을 가진 적외선 광을 수광할 수 있다. 물론, 렌즈(43)는 터치 지점 이외의 지점에서의 적외선 광도 수광할 것이다.Then, the lens 43 can receive the infrared signal (light) by the touch interaction on the screen 200. For example, when the user touches the touch object as a part of the body, the lens 43 can receive the infrared light whose pattern is distorted or changed in shape at the touch point. As another example, when the user touches the touch object with a part of the body, the lens 43 can receive the infrared light having the changed amount of light at the corresponding touch point. Of course, the lens 43 will also receive infrared light at a point other than the touch point.

렌즈(43)는 프로젝터(100)의 최전방에 설치된다.The lens 43 is installed at the foremost position of the projector 100.

렌즈(43)는 도 1에서와 같이 프로젝터(100)에서 노출되게 설치될 수 있다.The lens 43 may be installed so as to be exposed in the projector 100 as shown in FIG.

필터(44)는 태양광 또는 광원(40)의 빛이 센서(45)에 영향을 미치지 않도록 제거한다. 다시 말해서, 필터(44)는 스크린(200)에서 반사되어 렌즈(43) 및 광분리 소자(47)를 거쳐 입사되는 적외선 신호(광량 변화가 있는 적외선 신호 및 광량 변화가 없는 적외선 신호)만을 통과시키고 그 이외의 신호는 제거한다.The filter 44 removes sunlight or light from the light source 40 so that it does not affect the sensor 45. In other words, the filter 44 passes only the infrared signal (an infrared signal having a light quantity change and an infrared signal without a light quantity change) that is reflected by the screen 200 and is incident through the lens 43 and the optical isolator 47 Other signals are removed.

필터(44)는 센서(45)의 전단에 설치됨이 바람직하다. The filter 44 is preferably provided at the front end of the sensor 45.

필터(44)의 채용 목적에 대한 구체적인 설명은 상술한 도 2에서의 필터(34) 설명으로 충분하리라 본다.A detailed description of the purpose of employing the filter 44 will be sufficient for the description of the filter 34 in Fig. 2 described above.

센서(45)는 입력받은 적외선 신호(즉, 터치 인터랙션에 의한 신호를 포함)에 근거하여 현재 터치된 터치 객체의 위치 좌표를 인식한다. 즉, 센서(45)는 사용자가 스크린(200)상의 어느 한 터치 객체를 터치함에 따른 적외선 신호를 수신하고, 수신된 적외선 신호를 근거로 해당 터치 객체에 대한 위치 좌표를 인식할 수 있다. 센서(45)의 위치 좌표 인식 동작에 대한 보다 구체적인 설명은 앞서 도 6을 근거로 설명한 센서(35)의 내용으로 대체가능하리라 본다. The sensor 45 recognizes the coordinates of the position of the currently touched touch object based on the received infrared signal (i.e., the signal due to the touch interaction). That is, the sensor 45 receives an infrared signal as a user touches one of the touch objects on the screen 200, and can recognize the position coordinates of the corresponding touch object based on the received infrared signal. A more detailed description of the position coordinate recognition operation of the sensor 45 may be replaced with the contents of the sensor 35 described above with reference to FIG.

인터랙션 신호 처리부(46)는 센서(45)로부터의 위치 좌표를 근거로 어느 터치 객체에 대하여 터치 이벤트가 발생하였는지를 판단할 수 있다.The interaction signal processing unit 46 can determine which touch object has generated the touch event based on the position coordinates from the sensor 45. [

한편, 인터랙션 신호 처리부(46)는 어느 터치 객체에 대하여 터치 이벤트가 발생하였는지를 판단하면 해당하는 터치 이벤트로 변환시킬 수 있다.Meanwhile, the interaction signal processor 46 can convert the touch event into a corresponding touch event when the touch event is determined.

그리고, 인터랙션 신호 처리부(46)는 해당 터치 이벤트를 처리할 수 있다.Then, the interaction signal processing unit 46 can process the corresponding touch event.

다시 말해서, 인터랙션 신호 처리부(46)는 워핑(Warping) 알고리즘 또는 지오메트릭 변환(Geometry translation) 등을 사용하여 센서(45)의 좌표데이터를 실세계 좌표데이터(즉, 프로젝터에서 사용하는 좌표데이터)로 변환할 수 있다. 그리고, 인터랙션 신호 처리부(46)는 변환된 좌표데이터를 그에 상응하는 터치 이벤트(Touch Event)로 매핑시킬 수 있다. 그리고, 인터랙션 신호 처리부(46)는 해당 터치 이벤트를 처리할 수 있다.In other words, the interaction signal processing unit 46 converts the coordinate data of the sensor 45 into real-world coordinate data (that is, coordinate data used in the projector) by using a warping algorithm or a geometry translation or the like can do. The interaction signal processor 46 can map the converted coordinate data to a corresponding touch event. Then, the interaction signal processing unit 46 can process the corresponding touch event.

광분리 소자(47)는 패널(41)로부터의 영상을 투과시켜 렌즈(43)에게로 보낸다. 광분리 소자(47)는 적외선 패턴빔 제공부(42)로부터의 적외선 패턴빔을 반사시켜 렌즈(43)에게로 보낸다. 또한, 광분리 소자(47)는 렌즈(43)를 통해 입사되는 적외선 신호(광)를 센서(45)측으로 반사시킨다.The optical separation element 47 transmits the image from the panel 41 to the lens 43. The optical separation element 47 reflects the infrared pattern beam from the infrared pattern beam supplier 42 and sends it to the lens 43. Further, the optical isolator 47 reflects the infrared signal (light) incident through the lens 43 to the sensor 45 side.

보다 상세하게는, 광분리 소자(47)의 내부에는 빗면(47a)이 형성된다. 빗면(47a)은 패널(41)로부터의 영상을 그대로 투과시킬 수 있다. 빗면(47a)은 적외선 패턴빔 제공부(42)로부터의 적외선 패턴빔을 렌즈(43)측으로 반사시킬 수 있다. 그리고, 빗면(47a)은 렌즈(43)를 통해 입사되는 적외선 신호(광이 될 수 있음)를 센서(45)측으로 반사시킬 수 있다.More specifically, an oblique surface 47a is formed in the inside of the optical isolator 47. The oblique surface 47a can transmit the image from the panel 41 as it is. The oblique surface 47a can reflect the infrared pattern beam from the infrared pattern beam supplier 42 to the lens 43 side. Then, the oblique surface 47a can reflect the infrared signal (which may be light) incident through the lens 43 to the sensor 45 side.

도 8에서, 광분리 소자(47)는 육면체로 구성될 수 있다. 광원(40) 및 패널(41)은 광분리 소자(47)의 제 1면(예컨대, 배면)에 대향하여 설치될 수 있다. 렌즈(43)는 광분리 소자(47)의 제 2면(예컨대, 정면)에 대향하여 설치될 수 있다. 적외선 패턴빔 제공부(42)와 필터(44) 및 센서(45)는 광분리 소자(47)의 제 4면(예컨대, 우측면)에 대향하여 설치될 수 있다.In Fig. 8, the optical isolator 47 may be configured as a hexahedron. The light source 40 and the panel 41 may be provided so as to face the first surface (e.g., the back surface) of the optical splitter 47. [ The lens 43 may be provided so as to face the second surface (for example, the front surface) of the light splitting element 47. The infrared pattern beam supplier 42, the filter 44 and the sensor 45 may be provided so as to face the fourth surface (for example, the right side surface) of the optical isolator 47.

상술한 도 8에서는 인터랙션 신호 처리부(46)를 프로젝터(100)의 내부에 설치되는 것으로 하였는데, OS가 탑재된 휴대장치(예컨대, 스마트폰) 또는 PC의 내부에 설치시켜도 된다. 만약, 인터랙션 신호 처리부(46)가 휴대장치 또는 PC의 내부에 설치되었을 경우에는 센서(45)의 내부에는 별도의 송신 모듈이 포함되어 위치 좌표값을 휴대장치 또는 PC에게로 보낼 수 있을 것이다.Although the interaction signal processing unit 46 is provided inside the projector 100 in the above-described FIG. 8, the interaction signal processing unit 46 may be installed inside a portable device (e.g., a smart phone) or a PC equipped with an OS. If the interaction signal processing unit 46 is installed inside the portable device or the PC, a separate transmission module may be included in the sensor 45 to transmit the position coordinate value to the portable device or the PC.

그리고, 상술한 바와 같은 도 8의 구성에 의해서도 캘리브레이션이 필요없게 된다. 캘리브레이션이 필요없는 이유는 상술한 도 3 내지 도 5의 내용을 참조하면 충분히 이해할 수 있으리라 본다.The above-described configuration of Fig. 8 also eliminates the need for calibration. The reason why the calibration is not necessary can be fully understood by referring to the contents of FIG. 3 to FIG.

이번에는, 도 9의 플로우차트를 참조하여, 도 8에 도시된 프로젝터를 이용한 터치 인터랙션 동작을 설명한다.Next, the touch interaction operation using the projector shown in Fig. 8 will be described with reference to the flowchart of Fig.

먼저, 프로젝터(100)의 전원을 온(ON)시킨다(S200).First, the power of the projector 100 is turned on (S200).

그에 따라, 광원(40)이 온(ON)되고, 적외선 패턴빔 제공부(42)가 온(ON)된다(S202, S204). As a result, the light source 40 is turned on and the infrared pattern beam supplier 42 is turned on (S202, S204).

광원(40)의 광빔(예컨대, 레이저 광)이 패널(41)의 후면으로 직접 입사되어, 패널(21)에는 소정의 영상이 맺힌다(S206, S208). 즉, 광원(40)에서 방사되는 광은 스크린(200)에 디스플레이될 영상이 되는 광이라고 할 수 있으므로, 패널(41)에는 광원(40)으로부터의 광에 의해 소정의 영상이 형성될 것이다. 이와 함께, 적외선 패턴빔 제공부(42)는 적외선 패턴빔을 광분리 소자(47)에게로 출력한다.A light beam (for example, a laser beam) of the light source 40 is directly incident on the rear surface of the panel 41, and a predetermined image is formed on the panel 21 (S206, S208). That is, since the light emitted from the light source 40 can be regarded as light to be displayed on the screen 200, a predetermined image will be formed on the panel 41 by the light from the light source 40. At the same time, the infrared pattern beam supplier 42 outputs the infrared pattern beam to the optical splitter 47.

이어, 패널(41)의 영상은 광분리 소자(47)를 투과하여 렌즈(43)에게로 향하고, 적외선 패턴빔은 빗면(47a)에서 반사되어 렌즈(43)에게로 향한다(S210). The image of the panel 41 is transmitted through the optical splitter 47 and directed to the lens 43. The infrared pattern beam is reflected by the oblique surface 47a and directed to the lens 43 at step S210.

렌즈(43)에게로 전달된 영상은 렌즈(43)를 통해 스크린(200)에 투사되고, 적외선 패턴빔은 렌즈(43)를 통해 스크린(200)의 전면에 골고루 퍼지게 된다(S212).The image transmitted to the lens 43 is projected onto the screen 200 through the lens 43 and the infrared pattern beam is uniformly spread over the entire surface of the screen 200 through the lens 43 at step S212.

그에 따라, 스크린(200)에는 적외선 패턴빔이 분포할 뿐만 아니라 하나 이상의 터치 객체(즉, 선택 메뉴)가 디스플레이된다. 여기서, 터치 객체의 제한은 없다. 만약, 스마트폰 화면이 프로젝터(100)를 통해 스크린(200)에 투사되고 있다면 스마트폰에 있는 모든 메뉴(전화걸기, 카카오톡, 메시지, 인터넷 등)가 터치 객체가 될 수 있다. PC 화면이 스크린(200)에 투사되고 있다면 PC에 있는 모든 메뉴가 터치 객체가 될 수 있다.Accordingly, not only the infrared pattern beam is distributed on the screen 200, but also one or more touch objects (i.e., a selection menu) are displayed. Here, there is no restriction on the touch object. If the smartphone screen is being projected on the screen 200 through the projector 100, all the menus (dialer, kakao touch, message, internet, etc.) in the smartphone can be a touch object. If the PC screen is being projected on the screen 200, all of the menus on the PC may become touch objects.

이후, 사용자는 스크린(200)에 디스플레이된 영상(예컨대, 하나 이상의 터치 객체(선택 메뉴)를 포함)을 보고서 신체 일부(예컨대, 손가락)로 어느 한 터치 객체를 터치하게 된다. The user then touches one of the touch objects with a part of the body of the report (e.g., a finger) by displaying the image (e.g., one or more touch objects (selection menus) displayed on the screen 200.

그에 따라, 패턴 왜곡 또는 모양 변화를 근거로 터치 인터랙션의 위치를 파악하는 경우에는 해당 터치 지점에서 패턴 왜곡 또는 모양 변화가 발생하게 될 것이다. 즉, 스크린(200)의 전면에는 적외선 패턴빔(예컨대, 구조광빔(structured light beam))이 형성되어 있는데, 어느 한 터치 객체를 손가락으로 터치하게 되면 손가락에 의해 해당 터치 지점에서는 패턴 왜곡 또는 모양 변화를 일으키게 된다. Accordingly, when the position of the touch interaction is grasped based on the pattern distortion or the shape change, pattern distortion or shape change will occur at the corresponding touch point. That is, an infrared pattern beam (e.g., a structured light beam) is formed on the front surface of the screen 200. When a touch object is touched with a finger, a pattern distortion or a shape change .

이와 다르게, 적외선 광량 변화를 근거로 터치 인터랙션의 위치를 파악하는 경우에는 해당 터치 지점에서 적외선 광량 변화가 발생하게 될 것이다. 즉, 스크린(200)의 전면에 일정한 광량의 적외선 패턴빔이 골고루 분포하고 있는데, 어느 한 터치 객체를 손가락으로 터치하게 되면 해당 터치 위치에서의 적외선 패턴빔의 광량은 다른 위치에서의 적외선 패턴빔의 광량과는 차이날 것이다. Alternatively, when the position of the touch interaction is grasped based on the change in the amount of infrared light, an infrared light amount change will occur at the corresponding touch point. That is, the infrared ray pattern beam having a constant amount of light is uniformly distributed over the entire surface of the screen 200. When a touch object is touched with a finger, the light amount of the infrared ray pattern beam at the corresponding touch position is It will be different from light quantity.

이와 같이, 사용자가 스크린(200)상에 투사된 영상에서 신체 일부(예컨대, 손가락)로 어느 한 터치 객체를 터치하게 되면 해당 터치 지점에서 터치 인터랙션이 발생한다(S214에서 "Yes"). In this way, when a user touches one of the touch objects with a body part (e.g., a finger) in the image projected on the screen 200, a touch interaction occurs at the corresponding touch point ("Yes"

이후, 터치 인터랙션이 발생한 지점에서의 적외선 신호 및 터치 인터랙션이 없는 다른 지점들에서의 적외선 신호가 스크린(200)에서 렌즈(43)를 통해 광분리 소자(47)에게로 입사된다. 광분리 소자(47)에게로 입사된 적외선 신호(광)들은 빗면(47a)에서 반사되어 필터(44)를 통과하여 센서(45)에게로 입력된다(S216).Thereafter, the infrared signal at the point where the touch interaction occurs and the infrared signal at the other points without the touch interaction are incident on the screen separator 47 through the lens 43 from the screen 200. The infrared signals (lights) incident on the optical isolator 47 are reflected by the oblique surface 47a, passed through the filter 44, and input to the sensor 45 (S216).

센서(45)의 인식영역에는 터치 인터랙션이 발생한 지점에서의 적외선 신호(광) 및 터치 인터랙션이 없는 다른 지점들에서의 적외선 신호(광)가 모두 들어온다. 그에 따라, 센서(45)는 패턴 왜곡 또는 모양 변화가 발생한 해당 터치 지점의 좌표값(즉, X,Y좌표값), 또는 광량에서 차이가 있는 해당 터치 지점의 좌표값(즉, X,Y좌표값)을 손쉽게 인식(계산 또는 변환)해 낼 수 있다(S218).The infrared signal (light) at the point where the touch interaction occurs and the infrared signal (light) at the other points without the touch interaction all come in the recognition area of the sensor 45. [ Accordingly, the sensor 45 detects the coordinate value (i.e., X, Y coordinate value) of the touch point at which the pattern distortion or the shape change occurs, or the coordinate value (i.e., Value) can be easily recognized (calculated or converted) (S218).

그리고, 센서(45)는 인식한 위치 좌표값을 인터랙션 신호 처리부(46)에게로 전달한다(S220).Then, the sensor 45 transmits the recognized position coordinate value to the interaction signal processing unit 46 (S220).

인터랙션 신호 처리부(46)는 센서(45)의 위치 좌표값을 실세계 좌표데이터로 변환하고, 변환된 좌표데이터를 그에 상응하는 터치 이벤트(Touch Event)로 매핑시킨다(S222). The interaction signal processing unit 46 converts the position coordinate value of the sensor 45 into real world coordinate data, and maps the converted coordinate data to the corresponding touch event (S222).

그리고 나서, 인터랙션 신호 처리부(46)는 해당 터치 이벤트를 처리한다(S224).Then, the interaction signal processing unit 46 processes the touch event (S224).

상술한 바에 따르면, 하나의 렌즈를 통해 화면 투사와 터치 인식을 가능하게 된다. According to the above description, screen projection and touch recognition can be performed through a single lens.

또한, 이동할 때마다 다른 조작(보정과정)을 거치지 않고 터치 인터랙션이 가능하다. 예를 들어, 이동 후에 투사되는 화면과의 각도와 방향이 이동 전과 차이나거나, 커브드 TV와 같이 투사되는 모양에 변화가 있더라도 캘리브레이션을 하지 않고도 터치 인터랙션이 가능하다.In addition, touch interaction is possible without going through different operations (correction process) every time when moving. For example, it is possible to perform touch interaction without calibrating, even if the angle and direction with the projected image after the movement is different from that before the movement, or when the projection shape like the curved TV changes.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. While specific terms have been employed herein, they are used for the purpose of describing the invention only and are not used to limit the scope of the invention as defined in the claims or the claims. Therefore, those skilled in the art will appreciate that various modifications and equivalent embodiments are possible without departing from the scope of the present invention. Accordingly, the true scope of the present invention should be determined by the technical idea of the appended claims.

30, 40 : 광원
31, 41 : 패널
32, 42 : 적외선 패턴빔 제공부
33, 43 : 렌즈
34, 44 : 필터
35, 45 : 센서
36, 46 : 인터랙션 신호 처리부
37, 47 : 광분리 소자
30, 40: light source
31, 41: Panel
32, 42: infrared pattern beam supplier
33, 43: Lens
34, 44: filter
35, 45: Sensor
36, 46: Interaction signal processor
37, 47: optical isolator

Claims (16)

광원으로부터의 광을 영상으로 변환하는 패널;
패턴빔을 출력하는 패턴빔 제공부;
상기 패턴빔 및 상기 패널로부터의 영상을 스크린에게로 투사하고, 상기 스크린에서의 터치 인터랙션에 의한 신호를 수신하는 단일의 렌즈;
상기 터치 인터랙션에 의한 신호에 근거하여 상기 스크린에서 현재 터치된 터치 객체의 위치 좌표를 인식하는 센서; 및
상기 광원으로부터의 광을 상기 패널에게로 보내고, 상기 패널로부터의 영상을 투과시켜 상기 렌즈에게로 보내고, 상기 패턴빔을 반사시켜 상기 렌즈에게로 보내고, 상기 렌즈에서 수신되는 상기 터치 인터랙션에 의한 신호를 상기 센서에게로 보내는 광분리 소자;를 포함하는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
A panel for converting the light from the light source into an image;
A pattern beam supplier for outputting a pattern beam;
A single lens for projecting the pattern beam and the image from the panel onto a screen and receiving a signal by touch interaction on the screen;
A sensor for recognizing a position coordinate of a currently touched touch object on the screen based on a signal by the touch interaction; And
And transmits the light from the light source to the panel, transmits the image from the panel to the lens, reflects the pattern beam to the lens, and transmits the signal by the touch interaction received by the lens And an optical isolator for transmitting the light to the sensor.
청구항 1에 있어서,
상기 패널은 반사 패널로 구성되는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method according to claim 1,
Wherein the panel comprises a reflective panel.
청구항 2에 있어서,
상기 광원은 상기 광분리 소자의 제 1면에 대향하여 설치되고,
상기 패널은 상기 광분리 소자의 제 2면에 대향하여 설치되고,
상기 렌즈는 상기 광분리 소자의 제 3면에 대향하여 설치되고,
상기 패턴빔 제공부 및 상기 센서는 상기 광분리 소자의 제 4면에 대향하여 설치되는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method of claim 2,
The light source is provided so as to face the first surface of the optical splitter,
The panel is provided so as to face the second surface of the optical isolator,
The lens is provided so as to face the third surface of the light splitting element,
Wherein the pattern beam supplier and the sensor are installed to face the fourth surface of the optical isolator.
청구항 1에 있어서,
상기 센서로부터의 위치 좌표를 근거로 어느 터치 객체에 대하여 터치 이벤트가 발생하였는지를 판단하여 해당하는 터치 이벤트로 변환시키는 인터랙션 신호 처리부;를 추가로 포함하는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method according to claim 1,
Further comprising an interaction signal processor for determining which touch object has generated a touch event based on positional coordinates from the sensor and converting the touch event into a corresponding touch event.
청구항 1에 있어서,
태양광 또는 상기 광원의 광이 상기 센서에게 영향을 미치지 않도록 제거하는 필터;를 추가로 포함하는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method according to claim 1,
And a filter for removing sunlight or light from the light source so as not to affect the sensor.
청구항 1에 있어서,
상기 패턴빔은 적외선 광으로 형성된 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method according to claim 1,
Wherein the pattern beam is formed of infrared light.
청구항 6에 있어서,
상기 터치 인터랙션에 의한 신호는,
사용자가 상기 스크린상에 투사된 영상에서 신체 일부로 어느 한 터치 객체를 터치함에 따라 해당 터치 지점에서 패턴 왜곡 또는 모양 변화된 적외선 광인 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method of claim 6,
The touch interaction signal includes:
Wherein the infrared light is patterned or distorted at a corresponding touch point as a user touches the touch object with a part of the body in a projected image on the screen.
청구항 6에 있어서,
상기 터치 인터랙션에 의한 신호는,
사용자가 상기 스크린상에 투사된 영상에서 신체 일부로 어느 한 터치 객체를 터치함에 따라 다른 지점과 비교하여 해당 터치 지점에서 변화된 광량을 가진 적외선 광인 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method of claim 6,
The touch interaction signal includes:
Wherein the infrared light is an infrared light having a changed amount of light at the touch point compared with other points as a user touches the touch object with a part of the body in the image projected on the screen.
광원으로부터의 광을 영상으로 변환하는 패널;
패턴빔을 출력하는 패턴빔 제공부;
상기 패턴빔 및 상기 패널로부터의 영상을 스크린에게로 투사하고, 상기 스크린에서의 터치 인터랙션에 의한 신호를 수신하는 단일의 렌즈;
상기 터치 인터랙션에 의한 신호에 근거하여 상기 스크린에서 현재 터치된 터치 객체의 위치 좌표를 인식하는 센서; 및
상기 패널로부터의 영상을 투과시켜 상기 렌즈에게로 보내고, 상기 패턴빔을 반사시켜 상기 렌즈에게로 보내고, 상기 렌즈에서 수신되는 상기 터치 인터랙션에 의한 신호를 상기 센서에게로 보내는 광분리 소자;를 포함하는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
A panel for converting the light from the light source into an image;
A pattern beam supplier for outputting a pattern beam;
A single lens for projecting the pattern beam and the image from the panel onto a screen and receiving a signal by touch interaction on the screen;
A sensor for recognizing a position coordinate of a currently touched touch object on the screen based on a signal by the touch interaction; And
And a light splitting element that transmits an image from the panel and transmits the image to the lens, reflects the pattern beam to the lens, and sends a signal based on the touch interaction received by the lens to the sensor And a touch-sensitive display device.
청구항 9에 있어서,
상기 패널은 투과 패널로 구성되는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method of claim 9,
Wherein the panel comprises a transparent panel.
청구항 10에 있어서,
상기 광원 및 상기 패널은 상기 광분리 소자의 제 1면에 대향하여 설치되되 상기 광원은 상기 패널의 후방에 설치되고,
상기 렌즈는 상기 광분리 소자의 제 2면에 대향하여 설치되고,
상기 패턴빔 제공부 및 상기 센서는 상기 광분리 소자의 제 3면에 대향하여 설치되는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method of claim 10,
Wherein the light source and the panel are disposed opposite to a first surface of the optical splitter, the light source is disposed behind the panel,
The lens is provided so as to face the second surface of the optical isolator,
Wherein the pattern beam supplier and the sensor are installed to face the third surface of the optical isolator.
청구항 9에 있어서,
상기 센서로부터의 위치 좌표를 근거로 어느 터치 객체에 대하여 터치 이벤트가 발생하였는지를 판단하여 해당하는 터치 이벤트로 변환시키는 인터랙션 신호 처리부;를 추가로 포함하는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method of claim 9,
Further comprising an interaction signal processor for determining which touch object has generated a touch event based on positional coordinates from the sensor and converting the touch event into a corresponding touch event.
청구항 9에 있어서,
태양광 또는 상기 광원의 광이 상기 센서에게 영향을 미치지 않도록 제거하는 필터;를 추가로 포함하는 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method of claim 9,
And a filter for removing sunlight or light from the light source so as not to affect the sensor.
청구항 9에 있어서,
상기 패턴빔은 적외선 광으로 형성된 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
The method of claim 9,
Wherein the pattern beam is formed of infrared light.
청구항 14에 있어서,
상기 터치 인터랙션에 의한 신호는,
사용자가 상기 스크린상에 투사된 영상에서 신체 일부로 어느 한 터치 객체를 터치함에 따라 해당 터치 지점에서 패턴 왜곡 또는 모양 변화된 적외선 광인 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
15. The method of claim 14,
The touch interaction signal includes:
Wherein the infrared light is patterned or distorted at a corresponding touch point as a user touches the touch object with a part of the body in a projected image on the screen.
청구항 14에 있어서,
상기 터치 인터랙션에 의한 신호는,
사용자가 상기 스크린상에 투사된 영상에서 신체 일부로 어느 한 터치 객체를 터치함에 따라 다른 지점과 비교하여 해당 터치 지점에서 변화된 광량을 가진 적외선 광인 것을 특징으로 하는 터치 인터랙션이 가능한 프로젝터.
15. The method of claim 14,
The touch interaction signal includes:
Wherein the infrared light is an infrared light having a changed amount of light at the touch point compared with other points as a user touches the touch object with a part of the body in the image projected on the screen.
KR1020170056857A 2017-05-04 2017-05-04 Touch-enabled projector KR102417535B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170056857A KR102417535B1 (en) 2017-05-04 2017-05-04 Touch-enabled projector
PCT/KR2018/002237 WO2018203595A1 (en) 2017-05-04 2018-02-23 Projector capable of touch interaction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170056857A KR102417535B1 (en) 2017-05-04 2017-05-04 Touch-enabled projector

Publications (2)

Publication Number Publication Date
KR20180122811A true KR20180122811A (en) 2018-11-14
KR102417535B1 KR102417535B1 (en) 2022-07-05

Family

ID=64328405

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170056857A KR102417535B1 (en) 2017-05-04 2017-05-04 Touch-enabled projector

Country Status (1)

Country Link
KR (1) KR102417535B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113906372A (en) * 2021-05-20 2022-01-07 深圳盈天下视觉科技有限公司 Aerial imaging interaction system
KR102400513B1 (en) * 2020-12-07 2022-05-24 한국전자통신연구원 air screen detector device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030072591A (en) 2001-01-08 2003-09-15 브이케이비 인코포레이티드 A data input device
JP2009175421A (en) * 2008-01-24 2009-08-06 Nikon Corp Liquid crystal projector
KR20120044783A (en) 2010-10-28 2012-05-08 주식회사 세바비드코어 Touch screen and touch position detection method thereof using projector
KR20140118085A (en) * 2013-03-28 2014-10-08 엘지전자 주식회사 Laser Projector
KR20150062952A (en) * 2013-11-29 2015-06-08 주식회사 크레모텍 Laser projector with position detecting capability and position detection method using the same
KR20150101147A (en) * 2014-02-26 2015-09-03 삼성전자주식회사 View sensor, Home control system, and Method for controlling Home control system thereof

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030072591A (en) 2001-01-08 2003-09-15 브이케이비 인코포레이티드 A data input device
JP2009175421A (en) * 2008-01-24 2009-08-06 Nikon Corp Liquid crystal projector
KR20120044783A (en) 2010-10-28 2012-05-08 주식회사 세바비드코어 Touch screen and touch position detection method thereof using projector
KR20140118085A (en) * 2013-03-28 2014-10-08 엘지전자 주식회사 Laser Projector
KR20150062952A (en) * 2013-11-29 2015-06-08 주식회사 크레모텍 Laser projector with position detecting capability and position detection method using the same
KR20150101147A (en) * 2014-02-26 2015-09-03 삼성전자주식회사 View sensor, Home control system, and Method for controlling Home control system thereof

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102400513B1 (en) * 2020-12-07 2022-05-24 한국전자통신연구원 air screen detector device
US11961270B2 (en) 2020-12-07 2024-04-16 Electronics And Telecommunications Research Institute Air screen detector device
CN113906372A (en) * 2021-05-20 2022-01-07 深圳盈天下视觉科技有限公司 Aerial imaging interaction system
WO2022241714A1 (en) * 2021-05-20 2022-11-24 深圳盈天下视觉科技有限公司 Aerial imaging interactive system

Also Published As

Publication number Publication date
KR102417535B1 (en) 2022-07-05

Similar Documents

Publication Publication Date Title
JP5331887B2 (en) Touch screen display with multiple cameras
TWI423096B (en) Projecting system with touch controllable projecting picture
KR101410387B1 (en) Projection display system and desktop computer
CN106716318B (en) Projection display unit and function control method
CN107407959B (en) Manipulation of three-dimensional images based on gestures
WO2013104219A1 (en) Laser virtual keyboard
GB2462171A (en) Displaying enlarged content on a touch screen in response to detecting the approach of an input object
CN105492990B (en) System, method and device for realizing touch input association
US9372572B2 (en) Touch locating method and optical touch system
KR102417535B1 (en) Touch-enabled projector
KR102417534B1 (en) Touch-enabled projector
WO2022137940A1 (en) Spatial floating image display apparatus
US20100295823A1 (en) Apparatus for touching reflection image using an infrared screen
WO2022138297A1 (en) Mid-air image display device
KR101488287B1 (en) Display Device for Recognizing Touch Move
US20130328835A1 (en) Optical touch panel
KR101550606B1 (en) Curved display apparatus for vehicle
EP3198366B1 (en) Transforming received touch input
US20110122076A1 (en) Position detection apparatus for a touch panel
JP2022097901A (en) Space floating video display device
KR102426484B1 (en) Pan Tilt Active Controlled Mirror Screen Projector
TWI383311B (en) Multi - touch Inductive Input Device and Its Induction Method
US9723277B2 (en) Projection method, projection apparatus and electronic device
CN202217105U (en) Laser module and touch-control screen therewith
KR101481082B1 (en) Apparatus and method for infrared ray touch by using penetration screen

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant