KR20170129948A - 인터랙티브 프로젝터, 인터랙티브 프로젝션 시스템 및, 인터랙티브 프로젝터의 제어 방법 - Google Patents

인터랙티브 프로젝터, 인터랙티브 프로젝션 시스템 및, 인터랙티브 프로젝터의 제어 방법 Download PDF

Info

Publication number
KR20170129948A
KR20170129948A KR1020177030897A KR20177030897A KR20170129948A KR 20170129948 A KR20170129948 A KR 20170129948A KR 1020177030897 A KR1020177030897 A KR 1020177030897A KR 20177030897 A KR20177030897 A KR 20177030897A KR 20170129948 A KR20170129948 A KR 20170129948A
Authority
KR
South Korea
Prior art keywords
projection screen
function
light
projection
screen
Prior art date
Application number
KR1020177030897A
Other languages
English (en)
Inventor
바박 모사카니
톨모드 뉼스타드
Original Assignee
세이코 엡슨 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세이코 엡슨 가부시키가이샤 filed Critical 세이코 엡슨 가부시키가이샤
Publication of KR20170129948A publication Critical patent/KR20170129948A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/54—Accessories
    • G03B21/56—Projection screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1645—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being suitable to be used in combination with an external overhead projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Abstract

지시체의 스크린면으로의 접촉의 검출 정밀도를 향상시킨다. 　
인터랙티브 프로젝터는, 투사부와, 투사 화면을 촬상하는 제1 카메라 및 제2 카메라를 포함하는 복수대의 카메라와, 복수대의 카메라에 의해 촬상된 지시체를 포함하는 복수의 화상에 기초하여, 투사 화면에 대한 지시체의 3차원 위치를 검출하는 위치 검출부와, 특정의 화상이 투사되고 있을 때에, 카메라에 의해 촬상된 특정의 화상을 포함한 촬상 화상에 기초하여, 투사 화면의 3차원 형상을 나타내는 곡면 함수를 산출하는 함수 산출부와, 위치 검출부가 검출한 지시체의 3차원 위치와, 함수 산출부에 의해 산출된 곡면 함수를 이용하여, 지시체의 투사 화면으로의 접촉을 검출하는 접촉 검출부를 구비하고, 함수 산출부는, 특정의 화상을 포함한 촬상 화상에 기초하여, 투사 화면상의 서로 상이한 복수의 기준점의 3차원 위치를 검출하고, 복수의 기준점의 3차원 위치에 기초하여 곡면 함수를 산출한다.

Description

인터랙티브 프로젝터, 인터랙티브 프로젝션 시스템 및, 인터랙티브 프로젝터의 제어 방법{INTERACTIVE PROJECTOR, INTERACTIVE PROJECTION SYSTEM, AND METHOD FOR CNTROLLING INTERACTIVE PROJECTOR}
본 발명은, 투사 화면(projected screen)에 대한 유저(user)의 지시체에 의한 지시를 수취하는 것이 가능한 인터랙티브 프로젝터(interactive projector), 그 시스템 및, 그 프로젝터의 제어 방법에 관한 것이다.
특허문헌 1, 2에는, 투사 화면을 스크린에 투사함과 함께, 손가락이나 발광하는 펜 등의 대상물(object)을 포함하는 화상을 카메라로 촬상하고, 이 촬상 화상을 이용하여 대상물의 위치를 검출하는 것이 가능한 투사형 표시 장치(프로젝터)가 개시되어 있다. 손가락 등의 대상물은, 투사 화면에 대하여 지시를 행하기 위한 지시체로서 이용된다. 즉, 프로젝터는, 대상물의 선단이 스크린에 접하고 있을 때에 투사 화면에 대하여 묘화(rendering) 등의 소정의 지시가 입력되고 있는 것으로 인식하고, 그 지시에 따라서 투사 화면을 재묘화한다. 따라서, 유저는, 투사 화면을 유저 인터페이스로서 이용하여, 각종의 지시를 입력하는 것이 가능하다. 이와 같이, 스크린상의 투사 화면을 입력 가능 유저 인터페이스로서 이용할 수 있는 타입의 프로젝터를, 「인터랙티브 프로젝터」라고 부른다. 또한, 투사 화면에 대하여 지시를 행하기 위해 이용되는 대상물을 「지시체(pointing element)」라고 부른다.
일본공개특허공보 2012-150636호 일본공표특허공보 2008-520034호
전형적인 인터랙티브 프로젝터에서는, 지시체의 선단이 스크린에 접하고 있는지 아닌지에 따라서, 지시체에 의해 지시가 이루어지고 있는지 아닌지를 판정한다. 지시체의 접촉은, 지시체의 선단과 스크린의 사이의 거리에 기초하여 검출할 수 있다. 그러나, 복수대의 카메라를 이용하여 지시체의 선단의 3차원 위치를 검출하는 구성의 인터랙티브 프로젝터에 있어서, 스크린이 곡면인 경우, 지시체와 스크린의 거리의 검출 정밀도가 높지 않아, 지시체의 접촉의 검출 정밀도가 충분하지 않았다. 그 때문에, 곡면의 스크린에 대한 지시체의 접촉의 검출 정밀도의 향상이 요망되고 있었다.
본 발명은, 전술의 과제의 적어도 일부를 해결하기 위해 이루어진 것으로, 이하의 형태 또는 적용예로서 실현하는 것이 가능하다.
(1) 본 발명의 일 형태에 의하면, 투사 화면에 대한 유저의 지시체에 의한 지시를 수취하는 것이 가능한 인터랙티브 프로젝터가 제공된다. 이 인터랙티브 프로젝터는, 스크린면상에 상기 투사 화면을 투사하는 투사부와, 상기 투사 화면의 영역을 촬상하는 제1 카메라 및 제2 카메라를 포함하는 복수대의 카메라와, 상기 복수대의 카메라에 의해 촬상된 상기 지시체를 포함하는 복수의 화상에 기초하여, 상기 투사 화면에 대한 상기 지시체의 3차원 위치를 검출하는 위치 검출부와, 상기 투사부에 의해 상기 투사 화면의 위치를 검출하기 위한 특정의 화상이 투사되고 있을 때에, 상기 카메라에 의해 촬상된 상기 특정의 화상을 포함한 촬상 화상에 기초하여, 상기 투사 화면의 3차원 형상을 나타내는 곡면 함수를 산출하는 함수 산출부와, 상기 위치 검출부가 검출한 상기 지시체의 3차원 위치와, 상기 함수 산출부에 의해 산출된 상기 곡면 함수를 이용하여, 상기 지시체의 상기 투사 화면으로의 접촉을 검출하는 접촉 검출부를 구비하고, 상기 함수 산출부는, 상기 특정의 화상을 포함한 상기 촬상 화상에 기초하여, 상기 투사 화면상의 서로 상이한 복수의 기준점의 3차원 위치를 검출하고, 상기 복수의 기준점의 3차원 위치에 기초하여 상기 곡면 함수를 산출한다.
이 인터랙티브 프로젝터에서는, 투사 화면상의 복수의 3차원 위치에 기초하여 투사 화면의 3차원 형상을 나타내는 곡면 함수를 산출한다. 지시체의 투사 화면으로의 접촉의 검출은, 지시체의 3차원 위치와, 투사 화면의 곡면 함수를 이용하여 산출되기 때문에, 곡면의 스크린에 대한 지시체의 접촉의 검출 정밀도를 향상시킬 수 있다.
(2) 상기 인터랙티브 프로젝터에 있어서, 상기 함수 산출부는, 상기 곡면 함수를 식 (1)로 나타나는 함수로서 산출해도 좋다.
Figure pct00001
(여기에서, N1, N2, N3은, P≥N1＋N2＋N3＋1이 되는 제로(zeros) 또는 정의 정수로서, 적어도 1개는 정의 정수임. P는, 상기 기준점의 수(number)임. aj, bj, cj, d는, 정수이고, aj, bj, cj 중 적어도 1개는 제로가 아님)
이 구성에 의하면, 투사 화면상의 기준점의 3차원 위치에 기초하여, 용이하게 투사 화면의 3차원 형상을 곡면 함수로서 산출할 수 있다.
(3) 상기 인터랙티브 프로젝터에 있어서, 상기 함수 산출부는, 상기 곡면 함수를 식 (2)로 나타나는 함수로서 산출해도 좋다.
Figure pct00002
(여기에서, N1, N2는, P≥N1＋N2＋1이 되는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수임. P는, 상기 기준점의 수임. aj, bj, d는, 정수이고, aj, bj 중 적어도 1개는 제로가 아님)
이 구성에 의하면, 동일하게, 투사 화면상의 기준점의 3차원 위치에 기초하여, 용이하게 투사 화면의 3차원 형상을 곡면 함수로서 산출할 수 있다.
(4) 상기 인터랙티브 프로젝터에 있어서, 상기 함수 산출부는, 상기 곡면 함수를 식 (3)으로 나타나는 함수로서 산출해도 좋다.
Figure pct00003
(여기에서, M1, M2, M3은, P≥M1＋M2＋M3＋1이 되는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수임. P는, 상기 기준점의 수임. ak, bk, ck, d는, 정수이고, ak, bk, ck 중 적어도 1개는 제로가 아님)
이 구성에 의하면, 투사 화면상의 기준점의 3차원 위치에 기초하여, 보다 고속으로 투사 화면의 3차원 형상을 곡면 함수로서 산출할 수 있다.
(5) 상기 인터랙티브 프로젝터에 있어서, 상기 함수 산출부는, 상기 곡면 함수를 식 (4)로 나타나는 함수로서 산출해도 좋다.
Figure pct00004
(여기에서, M1, M2는, P≥M1＋M2＋1이 되는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수임. P는, 상기 기준점의 수임. ak, bk, d는, 정수이고, ak, bk 중 적어도 1개는 제로가 아님)
이 구성에 의하면, 동일하게, 투사 화면상의 기준점의 3차원 위치에 기초하여, 보다 고속으로 투사 화면의 3차원 형상을 곡면 함수로서 산출할 수 있다.
(6) 상기 인터랙티브 프로젝터는, 추가로, 상기 접촉 검출부가 상기 지시체의 상기 투사 화면으로의 접촉을 검출하고 있을 때의 상기 지시체의 3차원 위치에 기초하여, 상기 유저의 지시의 내용을 판정하는 제어부를 구비하고 있어도 좋다.
이 구성에 의하면, 곡면의 스크린에 대한 지시체를 이용한 유저의 지시의 내용을 판정하는 정밀도를 향상시킬 수 있다.
본 발명은, 여러 가지의 형태로 실현하는 것이 가능하고, 예를 들면, 자발광 지시체와 비(非)발광 지시체 중 적어도 어느 한쪽을 포함하는 지시체와 스크린과 인터랙티브 프로젝터를 구비하는 시스템, 인터랙티브 프로젝터의 제어 방법 또는 제어장치, 그들 방법 또는 장치의 기능을 실현하기 위한 컴퓨터 프로그램, 그 컴퓨터 프로그램을 기록한 일시적이 아닌 기록 매체(non-transitory storage medium) 등의 여러 가지 형태로 실현할 수 있다.
도 1은 인터랙티브 프로젝션 시스템의 사시도이다.
도 2는 인터랙션 프로젝션 시스템의 측면도 및 정면도이다.
도 3은 프로젝터와 자발광 지시체의 내부 구성을 나타내는 블록도이다.
도 4는 자발광 지시체와 비발광 지시체를 이용한 조작의 모양을 나타내는 설명도이다.
도 5는 측정용 패턴 화상이 표시된 투사 화면을 예시한 도면이다.
도 6은 곡면 형상의 스크린에 측정용 패턴 화상이 투사된 제1 도면이다.
도 7은 곡면 형상의 스크린에 측정용 패턴 화상이 투사된 제2 도면이다.
(발명을 실시하기 위한 형태)
A1. 시스템의 개요
도 1은, 본 발명의 일 실시 형태에 있어서의 인터랙티브 프로젝션 시스템(900)의 사시도이다. 이 시스템(900)은, 인터랙티브 프로젝터(100)와, 스크린판(920)과, 자발광 지시체(70)를 갖고 있다. 스크린판(920)의 전면(front surface)은, 투사 스크린면(SS)(projection Screen Surface)으로서 이용된다. 프로젝터(100)는, 지지 부재(910)에 의해 스크린판(920)의 전방 또한 상방에 고정되어 있다. 또한, 도 1에서는 투사 스크린면(SS)을 연직으로 배치하고 있지만, 투사 스크린면(SS)을 수평으로 배치하여 이 시스템(900)을 사용하는 것도 가능하다.
프로젝터(100)는, 투사 스크린면(SS)상에 투사 화면(PS)(Projected Screen)을 투사한다. 투사 화면(PS)은, 통상은, 프로젝터(100) 내에서 묘화된 화상을 포함하고 있다. 프로젝터(100) 내에서 묘화된 화상이 없는 경우에는, 프로젝터(100)로부터 투사 화면(PS)에 빛이 조사되어, 백색 화상이 표시된다. 본 명세서에 있어서, 「투사 스크린면(SS)」(또는 「스크린면(SS)」)이란, 화상이 투사되는 부재의 표면을 의미한다. 또한, 「투사 화면(PS)」이란, 프로젝터(100)에 의해 투사 스크린면(SS)상에 투사된 화상의 영역을 의미한다. 통상은, 투사 스크린면(SS)의 일부에 투사 화면(PS)이 투사된다.
자발광 지시체(70)는, 발광 가능한 선단부(71)와, 유저가 보유지지(holding)하는 축부(72)와, 축부(72)에 설치된 버튼 스위치(73)을 갖는 펜형(pen type)의 지시체이다. 자발광 지시체(70)의 구성이나 기능에 대해서는 후술한다. 이 시스템(900)에서는, 1개 또는 복수의 자발광 지시체(70)와 함께, 1개또는 복수의 비발광 지시체(80)(비발광의 펜이나 손가락 등)를 이용 가능하다. 이하, 자발광 지시체(70)와 비발광 지시체(80)를 구별하지 않는 경우는, 간단히, 지시체(780)라고도 부른다.
도 2(A)는, 인터랙티브 프로젝션 시스템(900)의 측면도이고, 도 2(B)는 그의 정면도이다. 본 명세서에서는, 스크린면(SS)의 좌우를 따른 방향을 X 방향이라고 정의하고, 스크린면(SS)의 상하를 따른 방향을 Y 방향이라고 정의하고, 스크린면(SS)의 법선을 따른 방향을 Z 방향이라고 정의하고 있다. 또한, 편의상, X 방향을 「좌우 방향」이라고도 부르고, Y 방향을 「상하 방향」이라고도 부르고, Z 방향을 「전후 방향」이라고도 부른다. 또한, Y 방향(상하 방향) 중, 프로젝터(100)로부터 보아 투사 화면(PS)이 존재하는 방향을 「하방향」이라고 부른다. 또한, 도 2(A)에서는, 도시의 편의상, 스크린판(920) 중 투사 화면(PS)의 범위에 해칭을 붙이고 있다.
프로젝터(100)는, 투사 화면(PS)을 스크린면(SS)상에 투사하는 투사 렌즈(210)와, 투사 화면(PS)의 영역을 촬상하는 제1 카메라(310) 및 제2 카메라(320)와, 지시체(780)에 검출광을 조명하기 위한 검출광 조사부(410)를 갖고 있다. 검출광으로서는, 예를 들면 근적외광이 사용된다. 2대의 카메라(310, 320)는, 검출광의 파장을 포함하는 파장 영역의 빛을 수광하여 촬상하는 제1 촬상 기능을 적어도 갖고 있다. 2대의 카메라(310, 320) 중 적어도 한쪽은, 추가로, 가시광을 포함하는 빛을 수광하여 촬상하는 제2 촬상 기능을 갖고, 이들 2개의 촬상 기능을 전환 가능하게 구성되어 있다. 예를 들면, 2대의 카메라(310, 320)는, 가시광을 차단하여 근적외광만을 통과시키는 근적외 필터를 렌즈의 앞에 배치하거나 렌즈의 앞으로부터 후퇴시키거나 하는 것이 가능한 근적외 필터 전환 기구(도시하지 않음)를 각각 구비하는 것이 바람직하다. 2대의 카메라(310, 320)는, 좌우 방향(X 방향)의 위치가 동일하고, 전후 방향(Z 방향)으로 소정의 거리를 두고 나열하여 배치되어 있다. 2대의 카메라(310, 320)는, 본 실시 형태에 한정되지 않는다. 예를 들면, 전후 방향(Z 방향)의 위치가 동일하고, 좌우 방향(X 방향)으로 소정의 거리를 두고 나열하여 배치되어도 좋다. 또한, X, Y, Z 모든 방향에 있어서 위치가 상이해도 좋다. 2대의 카메라를 Z 방향의 위치를 바꾸어(전후 방향으로 엇갈리게 하여) 배치하면, 삼각 측량에 의한 3차원 위치의 산출에 있어서의 Z 좌표의 정밀도가 높기 때문에, 바람직하다.
도 2(B)의 예는, 인터랙티브 프로젝션 시스템(900)이 화이트 보드 모드에서 동작하고 있는 모양을 나타내고 있다. 화이트 보드 모드는, 자발광 지시체(70)나 비발광 지시체(80)를 이용하여 투사 화면(PS)상에 유저가 임의로 묘화할 수 있는 모드이다. 스크린면(SS)상에는, 툴 박스(TB)를 포함하는 투사 화면(PS)이 투사되어 있다. 이 툴 박스(TB)는, 처리를 원래대로 되돌리는 취소 버튼(UDB)과, 마우스 포인터를 선택하는 포인터 버튼(PTB)과, 묘화용의 펜 툴을 선택하는 펜 버튼(PEB)과, 묘화된 화상을 소거하는 지우개 툴을 선택하는 지우개 버튼(ERB)과, 화면을 다음으로 진행시키거나 앞으로 되돌리거나 하는 전방/후방 버튼(FRB)을 포함하고 있다. 유저는, 지시체를 이용하여 이들 버튼에 터치함으로써, 그 버튼에 따른 처리를 행하거나, 툴을 선택하거나 하는 것이 가능하다. 또한, 시스템(900)의 기동 직후는, 마우스 포인터가 디폴트 툴(default tool)로서 선택되도록 해도 좋다. 도 2(B)의 예에서는, 유저가 펜 툴을 선택한 후, 자발광 지시체(70)의 선단부(71)를 스크린면(SS)에 접한 상태에서 투사 화면(PS) 내에서 이동시킴으로써, 투사 화면(PS) 내에 선이 묘화되어 가는 모양이 그려져 있다. 이 선의 묘화는, 프로젝터(100)의 내부의 투사 화상 생성부(후술)에 의해 행해진다.
또한, 인터랙티브 프로젝션 시스템(900)은, 화이트 보드 모드 이외의 다른 모드에서도 동작 가능하다. 예를 들면, 이 시스템(900)은, 퍼스널 컴퓨터(도시하지 않음)로부터 통신 회선을 통하여 전송된 데이터의 화상을 투사 화면(PS)에 표시하는 PC 인터랙티브 모드에서도 동작 가능하다. PC 인터랙티브 모드에 있어서는, 예를 들면 표 계산 소프트웨어 등의 데이터의 화상이 표시되고, 그 화상 내에 표시된 각종의 툴이나 아이콘을 이용하여 데이터의 입력, 작성, 수정 등을 행하는 것이 가능해진다.
도 3은, 인터랙티브 프로젝터(100)와 자발광 지시체(70)의 내부 구성을 나타내는 블록도이다. 프로젝터(100)는, 제어부(700)와, 투사부(200)와, 투사 화상 생성부(500)와, 위치 검출부(600)와, 접촉 검출부(800)와, 촬상부(300)와, 검출광 조사부(410)와, 신호광 송신부(430)를 갖고 있다.
제어부(700)는, 프로젝터(100) 내부의 각 부의 제어를 행한다. 또한, 제어부(700)는, 위치 검출부(600)에서 검출된 지시체(780)의 3차원 위치 및, 접촉 검출부(800)에 의한 지시체(780)의 접촉 검출에 기초하여, 지시체(780)에 의해 투사 화면(PS)상에서 행해진 지시의 내용을 판정함과 함께, 그 지시의 내용에 따라 투사 화상을 작성 또는 변경하는 것을 투사 화상 생성부(500)로 지령한다.
투사 화상 생성부(500)는, 투사 화상을 기억하는 투사 화상 메모리(510)를 갖고 있고, 투사부(200)에 의해 스크린면(SS)상에 투사되는 투사 화상을 생성하는 기능을 갖는다. 투사 화상 생성부(500)는, 추가로, 투사 화면(PS)(도 2(B))의 사다리꼴 변형을 보정하는 키스톤 보정부(keystone correction unit)로서의 기능을 갖는 것이 바람직하다.
투사부(200)는, 투사 화상 생성부(500)에서 생성된 투사 화상을 스크린면(SS)상에 투사하는 기능을 갖는다. 투사부(200)는, 도 2에서 설명한 투사 렌즈(210)의 외에, 광 변조부(220)와, 광원(230)을 갖는다. 광 변조부(220)는, 투사 화상 메모리(510)로부터 부여되는 투사 화상 데이터에 따라서 광원(230)으로부터의 빛을 변조함으로써 투사 화상광(IML)을 형성한다. 이 투사 화상광(IML)은, 전형적으로는, RGB의 3색의 가시광을 포함하는 컬러 화상광이고, 투사 렌즈(210)에 의해 스크린면(SS)상에 투사된다. 또한, 광원(230)으로서는, 초고압 수은 램프 등의 광원 램프의 외에, 발광 다이오드나 레이저 다이오드 등의 여러 가지의 광원을 채용 가능하다. 또한, 광 변조부(220)로서는, 투과형 또는 반사형의 액정 패널이나 디지털 미러 디바이스 등을 채용 가능하고, 색광별로 복수의 변조부(220)를 구비한 구성으로 해도 좋다.
검출광 조사부(410)는, 지시체(780)의 선단부를 검출하기 위한 조사 검출광(IDL)을 스크린면(SS)과 그 전방의 공간에 걸쳐 조사한다. 조사 검출광(IDL)으로서는, 예를 들면 근적외광이 사용된다. 검출광 조사부(410)는, 카메라(310, 320)의 촬상 타이밍을 포함하는 소정의 기간에만 점등하고, 다른 기간에서는 소등한다. 혹은, 검출광 조사부(410)는, 시스템(900)의 동작 중은 항상 점등 상태로 유지되도록 해도 좋다.
신호광 송신부(430)는, 동기용의 근적외광 신호인 장치 신호광(ASL)을 송신하는 기능을 갖는다. 장치 신호광(ASL)은, 동기용의 근적외광 신호로서, 프로젝터(100)가 기동되면, 신호광 송신부(430)가 자발광 지시체(70)에 대하여 정기적으로 발한다. 자발광 지시체(70)의 선단 발광부(77)는, 장치 신호광(ASL)에 동기하여, 미리 정해진 발광 패턴(발광 시퀀스)을 갖는 근적외광인 지시체 신호광(PSL)(후술함)을 발한다. 또한, 촬상부(300)의 카메라(310, 320)는, 지시체(780)의 위치 검출을 행할 때에, 장치 신호광(ASL)에 동기한 소정의 타이밍에 촬상을 실행한다.
촬상부(300)는, 도 2에서 설명한 제1 카메라(310)와 제2 카메라(320)를 갖고 있다. 전술한 바와 같이, 2대의 카메라(310, 320)는, 검출광의 파장을 포함하는 파장 영역의 빛을 수광하여 촬상하는 기능을 갖는다. 도 3의 예에서는, 검출광 조사부(410)에 의해 조사된 조사 검출광(IDL)이 지시체(780)에서 반사되고, 그 반사 검출광(RDL)이 2대의 카메라(310, 320)에 의해 수광되어 촬상되는 모양이 그려져 있다. 2대의 카메라(310, 320)는, 추가로, 자발광 지시체(70)의 선단 발광부(77)로부터 발해지는 근적외광인 지시체 신호광(PSL)도 수광하여 촬상한다. 2대의 카메라(310, 320)의 촬상은, 검출광 조사부(410)로부터 발해지는 조사 검출광(IDL)이 온(ON) 상태(발광 상태)인 제1 기간과, 조사 검출광(IDL)이 오프(OFF) 상태(비발광 상태)인 제2 기간의 양방에서 실행된다. 위치 검출부(600)는, 이들 2종류의 기간에 있어서의 화상을 비교함으로써, 화상 내에 포함되는 개개의 지시체가, 자발광 지시체(70)와 비발광 지시체(80) 중 어느 것인지를 판정할 수 있다.
또한, 2대의 카메라(310, 320) 중 적어도 한쪽은, 근적외광을 포함하는 빛을 이용하여 촬상하는 기능에 더하여, 가시광을 포함하는 빛을 이용하여 촬상하는 기능을 갖는다. 이렇게 하면, 스크린면(SS)상에 투사된 투사 화면(PS)을 그 카메라로 촬상하고, 그 화상을 이용하여 후술하는 바와 같이, 함수 산출부(820)가 투사 화면(PS)의 3차원의 곡면 함수를 산출할 수 있다. 또한, 투사 화상 생성부(500)가 키스톤 보정을 실행할 수 있다. 1대 이상의 카메라를 이용한 키스톤 보정의 방법은 주지이기 때문에, 여기에서는 그 설명은 생략한다.
위치 검출부(600)는, 2대의 카메라(310, 320)로 촬상된 화상(이하, 「촬상 화상」이라고도 부름)을 분석하여, 2대의 카메라의 시차를 이용한 삼각 측량의 원리에 의해 지시체(780)(자발광 지시체(70)나 비발광 지시체(80))의 선단부의 3차원 위치 좌표를 산출하는 기능을 갖는다. 이때, 위치 검출부(600)는, 전술의 제1 기간과 제2 기간에 있어서의 촬상 화상을 비교함으로써, 화상 내에 포함되는 개개의 지시체(780)가, 자발광 지시체(70)와 비발광 지시체(80) 중 어느 것인지를 판정한다(후술함). 위치 검출부(600)가 검출하는 3차원 좌표의 좌표계는, 카메라(310, 320) 중, 가시광을 포함하는 빛을 이용하여 촬상하는 기능을 갖는 카메라의 좌표계(카메라 좌표계)인 것이 바람직하다. 또한, 좌표계의 원점은, 후술하는 함수 산출부(820)가, 프로젝터(100)의 기동시에 스크린면(SS)상에 설정한 원점을 이용하는 것이 바람직하다.
접촉 검출부(800)는, 지시체(780)(자발광 지시체(70)나 비발광 지시체(80))의 투사 화면(PS)(스크린면(SS))으로의 접촉을 검출한다. 본 실시 형태의 접촉 검출부(800)는, 자발광 지시체(70)의 투사 화면(PS)으로의 접촉의 검출을, 자발광 지시체(70)가 발하는 지시체 신호광(PSL)의 발광 패턴에 기초하여 실행하고, 비발광 지시체(80)의 투사 화면(PS)으로의 접촉의 검출을, 위치 검출부(600)에 의해 검출된 3차원 위치 좌표에 기초하여 실행한다. 단, 접촉 검출부(800)는, 자발광 지시체(70)의 투사 화면(PS)으로의 접촉의 검출을, 비발광 지시체(80)의 투사 화면(PS)으로의 접촉의 검출 방법과 동일한 방법에 의해 실행해도 좋다.
본 실시 형태의 접촉 검출부(800)는, 투사 화면(PS)(스크린면(SS))의 3차원 형상을 나타내는 곡면 함수를 산출하는 함수 산출부(820)를 포함하고 있다. 접촉 검출부(800)는, 비발광 지시체(80)의 투사 화면(PS)으로의 접촉의 검출을, 위치 검출부(600)에 의해 검출된 비발광 지시체(80)의 3차원 위치 좌표와, 함수 산출부(820)에 의해 산출된 투사 화면(PS)의 곡면 함수에 기초하여 실행한다. 구체적으로는, 접촉 검출부(800)는, 비발광 지시체(80)의 3차원 위치 좌표와, 투사 화면(PS)의 곡면 함수로부터, 비발광 지시체(80)와 투사 화면(PS)의 사이의 거리를 산출하고, 이들 사이의 거리가 제로 또는 제로에 가까운 오차 허용값 이하가 되었을 때에, 비발광 지시체(80)가 투사 화면(PS)에 접촉하고 있다고 판정한다. 접촉 검출부(800)에 의한 비발광 지시체(80)의 접촉의 검출 방법 및, 함수 산출부(820)에 의한 곡면 함수의 산출 방법에 대해서는, 뒤에 상술한다.
자발광 지시체(70)에는, 버튼 스위치(73)의 외에, 신호광 수신부(74)와 제어부(75)와 선단 스위치(76)와 선단 발광부(77)가 설치되고 있다. 신호광 수신부(74)는, 프로젝터(100)의 신호광 송신부(430)로부터 발해진 장치 신호광(ASL)을 수신하는 기능을 갖는다. 선단 스위치(76)는, 자발광 지시체(70)의 선단부(71)가 눌리면 온(on) 상태가 되고, 선단부(71)가 해방되면 오프(off) 상태가 되는 스위치이다. 선단 스위치(76)는, 통상은 오프 상태에 있고, 자발광 지시체(70)의 선단부(71)가 스크린면(SS)에 접촉하면 그 접촉압에 의해 온 상태가 된다. 선단 스위치(76)가 오프 상태일 때에는, 제어부(75)는, 선단 스위치(76)가 오프 상태인 것을 나타내는 특정의 제1 발광 패턴으로 선단 발광부(77)를 발광시킴으로써, 제1 발광 패턴을 갖는 지시체 신호광(PSL)을 발한다. 한편, 선단 스위치(76)가 온 상태가 되면, 제어부(75)는, 선단 스위치(76)가 온 상태인 것을 나타내는 특정의 제2 발광 패턴으로 선단 발광부(77)를 발광시킴으로써, 제2 발광 패턴을 갖는 지시체 신호광(PSL)을 발한다. 이들 제1 발광 패턴과 제2 발광 패턴은, 서로 상이하기 때문에, 위치 검출부(600)는, 2대의 카메라(310, 320)로 촬상된 화상을 분석함으로써, 선단 스위치(76)가 온 상태인지 오프 상태인지를 식별하는 것이 가능하다. 또한, 접촉 검출부(800)는 위치 검출부(600)의 분석 결과에 기초하여, 자발광 지시체(70)의 투사 화면(PS)으로의 접촉을 검출 가능하다.
자발광 지시체(70)의 버튼 스위치(73)는, 선단 스위치(76)와 동일한 기능을 갖는다. 따라서, 제어부(75)는, 유저에 의해 버튼 스위치(73)가 눌린 상태에서는 상기 제2 발광 패턴으로 선단 발광부(77)를 발광시키고, 버튼 스위치(73)가 눌리지 않은 상태에서는 상기 제1 발광 패턴으로 선단 발광부(77)를 발광시킨다. 환언하면, 제어부(75)는, 선단 스위치(76)와 버튼 스위치(73) 중 적어도 한쪽이 온인 상태에서는 상기 제2 발광 패턴으로 선단 발광부(77)를 발광시키고, 선단 스위치(76)와 버튼 스위치(73)의 양방이 오프인 상태에서는 상기 제1 발광 패턴으로 선단 발광부(77)를 발광시킨다.
단, 버튼 스위치(73)에 대하여 선단 스위치(76)와 상이한 기능을 할당하도록 해도 좋다. 예를 들면, 버튼 스위치(73)에 대하여 마우스의 오른쪽 클릭 버튼과 동일한 기능을 할당한 경우에는, 유저가 버튼 스위치(73)를 누르면, 오른쪽 클릭의 지시가 프로젝터(100)의 제어부(700)에 전달되고, 그 지시에 따른 처리가 실행된다. 이와 같이, 버튼 스위치(73)에 대하여 선단 스위치(76)와 상이한 기능을 할당한 경우에는, 선단 발광부(77)는, 선단 스위치(76)의 온/오프 상태 및 버튼 스위치(73)의 온/오프 상태에 따라서, 서로 상이한 4개의 발광 패턴으로 발광한다. 이 경우에는, 자발광 지시체(70)는, 선단 스위치(76)와 버튼 스위치(73)의 온/오프 상태의 4개의 조합을 구별하면서, 프로젝터(100)에 전달하는 것이 가능하다.
도 4는, 자발광 지시체(70)와 비발광 지시체(80)를 이용한 조작의 모양을 나타내는 설명도이다. 이 예에서는, 자발광 지시체(70)의 선단부(71)와 비발광 지시체(80)의 선단부(81)는 모두 스크린면(SS)으로부터 떨어져 있다. 자발광 지시체(70)의 선단부(71)의 XY 좌표(X71, Y71)는, 툴 박스(TB)의 지우개 버튼(ERB)의 위에 있다. 또한, 여기에서는, 자발광 지시체(70)의 선단부(71)의 기능을 나타내는 툴로서 마우스 포인터(PT)가 선택되어 있고, 마우스 포인터(PT)의 선단(OP71)이 지우개 버튼(ERB)의 위에 존재하도록, 마우스 포인터(PT)가 투사 화면(PS)에 묘화되어 있다. 전술한 바와 같이, 자발광 지시체(70)의 선단부(71)의 3차원 위치는, 2대의 카메라(310, 320)로 촬상된 화상을 이용한 삼각 측량으로 결정된다. 따라서, 투사 화면(PS)상에 있어서, 삼각 측량으로 결정된 선단부(71)의 3차원 위치 좌표(X71, Y71, Z71) 중 XY 좌표(X71, Y71)의 위치에 마우스 포인터(PT)의 선단에 있는 조작 포인트(OP71)가 배치되도록 마우스 포인터(PT)가 묘화된다. 즉, 마우스 포인터(PT)의 선단(OP71)은, 자발광 지시체(70)의 선단부(71)의 3차원 위치 좌표(X71, Y71, Z71) 중 XY 좌표(X71, Y71)에 배치되고, 이 위치에 있어서 유저의 지시가 행해진다. 예를 들면, 유저는, 이 상태에서 자발광 지시체(70)의 선단부(71)를 투사 화면(PS)상에 접촉시켜, 지우개 툴을 선택하는 것이 가능하다. 또한, 유저는, 이 상태에서 자발광 지시체(70)의 버튼 스위치(73)를 누름으로써, 지우개 툴을 선택하는 것도 가능하다. 이와 같이, 본 실시 형태에서는, 자발광 지시체(70)가 스크린면(SS)으로부터 이간한 상태에 있는 경우에도, 버튼 스위치(73)를 누름으로써, 선단부(71)의 XY 좌표(X71, Y71)에 배치되는 조작 포인트(OP71)에 있어서의 투사 화면(PS)의 내용에 따른 지시를 프로젝터(100)에 부여하는 것이 가능하다.
도 4(B)에서는, 또한, 비발광 지시체(80)의 선단부(81)의 기능을 나타내는 툴로서 펜 툴(PE)이 선택되어 있고, 펜 툴(PE)이 투사 화면(PS)에 묘화되어 있다. 전술한 바와 같이, 비발광 지시체(80)의 선단부(81)의 3차원 위치도, 2대의 카메라(310, 320)로 촬상된 화상을 이용한 삼각 측량으로 결정된다. 따라서, 투사 화면(PS)상에 있어서, 삼각 측량으로 결정된 선단부(81)의 3차원 위치 좌표(X81, Y81, Z81) 중 XY 좌표(X81, Y81)의 위치에 펜 툴(PE)의 선단에 있는 조작 포인트(OP81)가 배치되도록 펜 툴(PE)이 묘화된다. 단, 비발광 지시체(80)를 이용하여 유저가 지시를 프로젝터(100)에 부여할 때에는, 비발광 지시체(80)의 선단부(81)를 투사 화면(PS)상에 접촉시킨 상태에서 그 지시(묘화나 툴의 선택 등)가 행해진다.
도 4의 예에서는, 지시체(780)(자발광 지시체(70)나 비발광 지시체(80))의 선단부가 투사 화면(PS)으로부터 떨어져 있는 경우에도, 개개의 지시체에 의해 선택된 툴(마우스 포인터(PT)나 펜 툴(PE))이 투사 화면(PS)에 묘화되어 표시된다. 따라서, 유저가 지시체의 선단부를 투사 화면(PS)에 접촉하고 있지 않은 경우에도, 그 지시체에 의해 어느 툴이 선택되어 있는지를 이해하기 쉽고, 조작이 용이하다는 이점이 있다. 또한, 툴의 조작 포인트(OP)가 지시체의 선단부의 3차원 위치 좌표 중 XY 좌표의 위치에 배치되도록 그 툴이 묘화되기 때문에, 유저가, 이용 중의 툴의 위치를 적절히 인식할 수 있다는 이점이 있다.
또한, 이 인터랙티브 프로젝션 시스템(900)은, 복수의 자발광 지시체(70)를 동시에 이용 가능하게 구성되어 있다. 이 경우에는, 전술한 지시체 신호광(PSL)의 발광 패턴은, 복수의 자발광 지시체(70)를 식별할 수 있는 고유의 발광 패턴인 것이 바람직하다. 보다 구체적으로 말하면, N개(N은 2 이상의 정수)의 자발광 지시체(70)를 동시에 이용 가능한 경우에는, 지시체 신호광(PSL)의 발광 패턴은, N개의 자발광 지시체(70)를 구별할 수 있는 것인 것이 바람직하다. 또한, 1조(set)의 발광 패턴에 복수회의 단위 발광 기간이 포함되어 있는 경우에, 1회의 단위 발광 기간에서는, 발광과 비발광의 2값을 표현할 수 있다. 여기에서, 1회의 단위 발광 기간은, 자발광 지시체(70)의 선단 발광부(77)가, 온/오프의 1비트(1-bit)의 정보를 표현하는 기간에 상당한다. 1조의 발광 패턴이 M개(M은 2 이상의 정수)의 단위 발광 기간에서 구성되는 경우에는, 1조의 발광 패턴에 의해 2M개의 상태를 구별할 수 있다. 따라서, 1조의 발광 패턴을 구성하는 단위 발광 기간의 수(M)는, 다음식 (5)를 만족하도록 설정되는 것이 바람직하다.
N×Q≤2M　　　　…(5)
여기에서, Q는 자발광 지시체(70)의 스위치(73, 76)로 구별되는 상태의 수이고, 본 실시 형태의 예에서는 Q＝2 또는 Q＝4이다. 예를 들면, Q＝4인 경우에는, N＝2일 때에는 M을 3 이상의 정수로 설정하고, N＝3∼4일 때에는 M을 4 이상의 정수로 설정하는 것이 바람직하다. 이때, 위치 검출부(600)(또는 제어부(700))가 N개의 자발광 지시체(70) 및, 각 자발광 지시체(70)의 스위치(73, 76)의 상태를 식별할 때에는, 1조의 발광 패턴의 M개의 단위 발광 기간에 있어서 각 카메라(310, 320)로 각각 촬상된 M매의 화상을 이용하여 그 식별을 실행한다. 또한, 이 M비트의 발광 패턴은, 조사 검출광(IDL)을 오프 상태로 유지한 상태에서 지시체 신호광(PSL)을 온 또는 오프로 설정한 패턴이고, 카메라(310, 320)로 촬상되는 화상에는 비발광 지시체(80)가 찍히지 않는다. 그래서, 비발광 지시체(80)의 위치를 검출하기 위해 이용하는 화상을 촬상하기 위해, 조사 검출광(IDL)을 온 상태로 한 1비트의 단위 발광 기간을 더욱 추가하는 것이 바람직하다. 단, 위치 검출용의 단위 발광 기간에서는, 지시체 신호광(PSL)은 온/오프 중 어느 것이라도 좋다. 이 위치 검출용의 단위 발광 기간에서 얻어진 화상은, 자발광 지시체(70)의 위치 검출에도 이용하는 것이 가능하다.
도 3에 그려져 있는 5종류의 신호광의 구체예를 정리하면 이하와 같다.
(1) 투사 화상광(IML): 스크린면(SS)에 투사 화면(PS)을 투사하기 위해, 투사 렌즈(210)에 의해 스크린면(SS)상에 투사되는 화상광(가시광)이다.
(2) 조사 검출광(IDL): 지시체(780)(자발광 지시체(70) 및 비발광 지시체(80))의 선단부를 검출하기 위해, 검출광 조사부(410)에 의해 스크린면(SS)과 그 전방의 공간에 걸쳐 조사되는 근적외광이다.
(3) 반사 검출광(RDL): 조사 검출광(IDL)으로서 조사된 근적외광 중, 지시체(780)(자발광 지시체(70) 및 비발광 지시체(80))에 의해 반사되고, 2대의 카메라(310, 320)에 의해 수광되는 근적외광이다.
(4) 장치 신호광(ASL): 프로젝터(100)와 자발광 지시체(70)의 동기를 취하기 위해, 프로젝터(100)의 신호광 송신부(430)로부터 정기적으로 발해지는 근적외광이다.
(5) 지시체 신호광(PSL): 장치 신호광(ASL)에 동기한 타이밍에서, 자발광 지시체(70)의 선단 발광부(77)로부터 발해지는 근적외광이다. 지시체 신호광(PSL)의 발광 패턴은, 자발광 지시체(70)의 스위치(73, 76)의 온/오프 상태에 따라서 변경된다. 또한, 복수의 자발광 지시체(70)를 식별하는 고유의 발광 패턴을 갖는다.
본 실시 형태에 있어서, 자발광 지시체(70)와 비발광 지시체(80)의 선단부의 위치 검출 및, 자발광 지시체(70)와 비발광 지시체(80)에 의해 지시되는 내용의 판별은, 각각 이하와 같이 실행된다.
A2. 자발광 지시체(70)의 위치 검출 방법 및 지시 내용의 판별 방법의 개요
자발광 지시체(70)의 선단부(71)의 3차원 위치 좌표(X71, Y71, Z71)는, 위치 검출부(600)가, 2대의 카메라(310, 320)에 의해 촬상된 화상을 이용하여 삼각 측량에 따라 결정한다. 이때, 자발광 지시체(70)인지 아닌지는, 소정의 복수의 타이밍에서 촬상된 화상에 선단 발광부(77)의 발광 패턴이 나타나고 있는지 아닌지를 판단함으로써 인식 가능하다. 또한, 자발광 지시체(70)의 선단부(71)가 스크린면(SS)에 접촉하고 있는지 아닌지(즉 선단 스위치(76)가 온인지 아닌지)에 대해서도, 상기 복수의 타이밍에서 촬상된 화상에 있어서의 선단 발광부(77)의 발광 패턴을 이용하여 판별 가능하다. 위치 검출부(600) 및 접촉 검출부(800)에 의해, 자발광 지시체(70)의 선단부(71)의 3차원 위치의 검출과, 선단부(71)의 스크린면(SS)으로의 접촉을 검출할 수 있다. 제어부(700)는, 위치 검출부(600) 및 접촉 검출부(800)의 검출 결과에 기초하여, 자발광 지시체(70)에 의한 지시 내용을 판별하여, 지시 내용에 따른 화상을 투사 화상 생성부(500)에 생성시켜, 투사부(200)에 의해 스크린면(SS)상에 지시 내용에 따른 화상을 투사시킨다. 예를 들면, 도 4(B)에 예시한 바와 같이, 선단부(71)의 XY 좌표(X71, Y71)의 위치가 툴 박스(TB) 내의 어느 하나의 버튼의 위에 있는 상태에서 선단 스위치(76)가 온이 된 경우에는, 그 버튼의 툴이 선택된다. 또한, 도 2(B)에 예시한 바와 같이, 선단부(71)의 XY 좌표(X71, Y71)가 투사 화면(PS) 내의 툴 박스(TB) 이외의 위치에 있는 상태에서 선단 스위치(76)가 온이 된 경우에는, 선택된 툴에 의한 처리(예를 들면 묘화)가 선택된다. 제어부(700)는, 자발광 지시체(70)의 선단부(71)의 XY 좌표(X71, Y71)를 이용하여, 미리 선택되어 있는 포인터(pointer)나 마크(mark)가 투사 화면(PS) 내의 위치(X71, Y71)에 배치되도록, 그 포인터나 마크를 투사 화상 생성부(500)에 묘화시킨다. 또한, 제어부(700)는, 자발광 지시체(70)에 의해 지시된 내용에 따른 처리를 실행하여, 투사 화상 생성부(500)에 그 처리 결과를 포함하는 화상을 묘화시킨다.
A3. 비발광 지시체(80)의 위치 검출 방법 및 지시 내용의 판별 방법의 개요
비발광 지시체(80)의 선단부(81)의 3차원 위치 좌표(X81, Y81, Z81)도, 2대의 카메라(310, 320)에 의해 촬상된 화상을 이용하여, 삼각 측량에 따라 결정된다. 이때, 비발광 지시체(80)인지 아닌지는, 소정의 복수의 타이밍에서 촬상된 화상에 자발광 지시체(70)의 발광 패턴이 나타나고 있는지 아닌지를 판단함으로써 인식 가능하다. 또한, 2대의 카메라(310, 320)에 의해 촬상된 2매의 화상에 있어서의 비발광 지시체(80)의 선단부(81)의 위치는, 템플릿 매칭(template matching)이나 특징 추출 등의 주지의 기술을 이용하여 결정할 수 있다. 예를 들면, 템플릿 매칭에 의해 손가락인 비발광 지시체(80)의 선단부(81)를 인식하는 경우에는, 손가락에 관한 복수의 템플릿을 미리 준비해 두고, 2대의 카메라(310, 320)에 의해 촬상된 화상에 있어서, 이들 템플릿에 적합한 부분을 검색함으로써 손가락의 선단부(81)를 인식하는 것이 가능하다. 접촉 검출부(800)는, 비발광 지시체(80)의 선단부(81)가 스크린면(SS)에 접하고 있는지 아닌지에 대해서, 위치 검출부(600)가 삼각 측량으로 결정한 선단부(81)의 Z 좌표값과, 투사 화면(PS)의 곡면 함수로부터 산출되는 스크린면(SS)의 Z 좌표값의 차이가 미소한 허용차 이하인지 아닌지, 즉, 선단부(81)가 스크린면(SS)의 표면에 충분히 가까운지 아닌지에 따라서 판정한다. 이 허용차로서는, 예를 들면, 2㎜∼6㎜ 정도의 작은 값을 사용하는 것이 바람직하다. 제어부(700)는, 접촉 검출부(800)가 비발광 지시체(80)의 선단부(81)가 스크린면(SS)에 접하고 있다고 판정한 경우에는, 그 접촉 위치에 있어서의 투사 스크린면(SS)의 내용에 따라서 그 지시 내용을 판별한다. 또한, 제어부(700)는, 위치 검출부(600)에서 검출된 비발광 지시체(80)의 선단의 XY 좌표(X81, Y81)를 이용하여, 미리 선택되어 있는 포인터나 마크가 투사 화면(PS) 내의 위치(X81, Y81)에 배치되도록, 그 포인터나 마크를 투사 화상 생성부(500)에 묘화시켜도 좋다. 또한, 제어부(700)는, 비발광 지시체(80)에 의해 지시된 내용에 따른 처리를 실행하여, 투사 화상 생성부(500)에 그 처리 결과를 포함하는 화상을 묘화시켜도 좋다.
A4. 투사 화면(PS)의 곡면 함수의 산출(그 1)
도 5는, 투사 화면(PS)의 곡면 함수의 산출에 사용되는 측정용 패턴 화상(CPM)이 표시된 투사 화면(PS)을 예시한 도면이다. 함수 산출부(820)는, 이하의 방법에 의해 투사 화면(PS)의 3차원의 곡면 함수를 산출할 수 있다. 우선, 투사부(200)는, 프로젝터(100)의 기동시에 측정용 패턴 화상(CPM)(캘리브레이션 패턴 화상)이 나타난 투사 화면(PS)을 투사 스크린면(SS)으로 투사한다. 측정용 패턴 화상(CPM)은, 복수의 기준점(Pc)을 포함하는 화상이고, 측정용 패턴 화상 데이터로서 도시하지 않는 기억부에 미리 기억되어 있다. 본 실시예에서는, 측정용 패턴 화상(CPM)에는, 25개의 기준점(Pc)(Pc1∼Pc25)가 세로 방향으로 5개, 가로 방향으로 5개가 되도록 나열하여 배치되어 있다. 측정용 패턴 화상(CPM)에 포함되는 기준점(Pc)의 수(P)는, P≥3이면, 상기의 수에 한정되지 않는다. 단, 기준점(Pc)은, 측정용 패턴 화상(CPM) 내에서 행렬 형상으로 규칙적으로 배열되어 있는 것이 바람직하다. 또한, 기준점(Pc)은, 투사 화면(PS)상의 특정의 위치를 식별 가능한 구성이면, 점(도트)에 한정되지 않고, 예를 들면, 2개의 직선의 교점이나 직사각형의 모서리부라도 좋다.
투사 스크린면(SS)에 측정용 패턴 화상(CPM)이 표시된 투사 화면(PS)이 투사되고 있을 때에, 촬상부(300)는, 제1 카메라(310) 및 제2 카메라(320) 중, 제2 촬상 기능(가시광을 포함하는 빛을 수광하여 촬상하는 기능)을 갖는 카메라에 의해, 측정용 패턴 화상(CPM)이 표시된 투사 화면(PS)을 포함하는 영역을 촬영한다. 이에 따라 측정용 패턴 화상(CPM)을 포함한 촬상 화상(CI)이 얻어진다. 함수 산출부(820)는, 얻어진 촬상 화상(CI)을 해석하여, 촬상 화상(CI)에 있어서의 각 기준점(Pc)의 위치를 검출하고, 검출된 위치로부터 각 기준점(Pc)의 3차원 위치 좌표를 검출한다. 함수 산출부(820)가 검출하는 3차원 좌표의 좌표계는, 위치 검출부(600)가 지시체(780)의 3차원 위치 좌표를 검출할 때의 카메라 좌표계와 동일한 것이 바람직하다. 기준점(Pc)의 3차원 위치 좌표의 검출은, 투사부(200)와 촬상부(300)(촬영한 카메라)의 시차를 이용하여, 삼각 측량의 원리에 의해 검출하는 능동형의 액티브 스테레오법(active stereo method)을 이용해도 좋다. 또한, 기준점(Pc)의 3차원 위치 좌표의 검출에는, 액티브 스테레오법 이외의 방법(예를 들면, 2개의 카메라를 이용한 수동형의 스테레오법)을 이용해도 좋다. 이에 따라, 각 기준점(Pc1∼Pc25)의 3차원 위치 좌표(Pc1(Xc1, Yc1, Zc1), Pc2(Xc2, Yc2, Zc2), Pc3(Xc3, Yc3, Zc3), …, Pc25(Xc25, Yc25, Zc25))를 얻을 수 있다. 또한, 함수 산출부(820)는, 기준점(Pc1∼Pc25) 중 어느 한 점을 좌표계의 원점으로 하여 다른 기준점(Pc)의 3차원 위치 좌표를 산출하는 것이 바람직하고, 기준점(Pc1∼Pc25) 중, 투사 화면(PS)의 중심에 위치하는 기준점(Pc13)을 좌표계의 원점으로 하는 것이 보다 바람직하다.
함수 산출부(820)는, 검출한 각 기준점(Pc)의 3차원 위치 좌표에 기초하여, 투사 화면(PS)의 근사 곡면을 나타내는 곡면 함수를 산출한다. 본 실시 형태의 함수 산출부(820)는, 하기의 식 (1)을 피팅 함수(fitting function)로 하여 산출하는 것이 바람직하다.
Figure pct00005
여기에서, N1, N2, N3은 P≥N1＋N2＋N3＋1을 충족하는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수이다. P는 기준점(Pc)의 수이다. aj, bj, cj, d는 정수이고, aj, bj, cj 중 적어도 1개는 제로가 아니다.
본 실시 형태에 의하면, 투사 화면(PS)의 3차원 형상이 N1차인 X와 N2차인 Y와 N3차인 Z를 포함하는 곡면 함수에 근사된다. 또한, N1, N2, N3을 P≥N1＋N2＋N3＋1로 함으로써, 기준점(Pc)의 수(P)를 식 (1)에 포함되는 미지수의 수 (N1＋N2＋N3＋1) 이상으로 할 수 있고, 이들 미지수의 값(근사해를 포함함)을 산출할 수 있다. 또한, 상기식 (1)로부터 분명한 바와 같이, 투사 화면(PS)의 3차원의 곡면 함수란, 3차원의 평면 함수를 포함하고 있다(예를 들면, N1, N2, N3이 모두 1일 때). 함수 산출부(820)는, 투사부(200)가 투사하는 측정용 패턴 화상(CPM)의 종류가 복수 존재하는 경우에는, 각각의 측정용 패턴 화상(CPM)에 포함되는 기준점(Pc)의 수(P)에 따라서 N1, N2, N3을 설정해도 좋다.
여기에서는, 측정용 패턴 화상(CPM)에 포함되는 기준점(Pc)의 수(P)를 25, 식 (1)의 N1, N2, N3을 모두 4로 한 경우의 일 예에 대해서 설명한다. 식 (1)과, 25개소의 기준점(Pc1∼Pc25)의 3차원 위치 좌표로부터, 이하의 식 (6)과 같이 25의 연립 방정식이 성립된다. 미지수의 수는, a1∼a4, b1∼b4, c1∼c4, d의 13이기 때문에, 식 (6)은 과잉 조건의 연립 방정식이 된다. 이 경우에는, 예를 들면, 최소 이승법에 의해 근사해를 산출할 수 있다. 최소 이승법에 의한 근사해의 산출 방법은 주지이기 때문에, 여기에서는 그 설명을 생략한다. 상기의 미지수의 값의 산출에 의해, 투사 화면(PS)의 곡면 함수를 산출할 수 있다.
Figure pct00006
A5. 투사 화면(PS)과 비발광 지시체(80)의 접촉의 검출
접촉 검출부(800)는, 위치 검출부(600)에 의해 산출되는 비발광 지시체(80)의 선단부(81)의 3차원 위치 좌표(X81, Y81, Z81) 중 XY 좌표(X81, Y81)를 함수 산출부(820)가 산출한 투사 화면(PS)의 곡면 함수에 대입함으로써, 비발광 지시체(80)의 선단부(81)를 Z 방향으로 투사했을 때의 스크린면(SS)상의 Z 좌표를 산출할 수 있다. 그리고, 비발광 지시체(80)의 선단부(81)의 Z 좌표와, 스크린면(SS)상의 Z 좌표의 차분을 비발광 지시체(80)와 투사 스크린면(SS)의 사이의 거리로 할 수 있다. 그리고, 이 거리가 허용차 이하가 되었을 때에, 비발광 지시체(80)의 투사 스크린면(SS)으로의 접촉을 검출할 수 있다.
도 6 및 도 7은, 곡면 형상의 스크린에 측정용 패턴 화상(CPM)이 투사된 예를 나타낸 도면이다. 도 6의 스크린면(SS1)은, 좌우 방향이 내측으로 만곡한 면에 의해 형성되어 있고, 도 7의 스크린면(SS2)은, 상하 방향이 내측으로 만곡한 면에 의해 형성되어 있다. 본 실시 형태에 의하면, 함수 산출부(820)는, 투사 화면(PS)의 3차원 형상을 식 (1)과 같은 곡면 함수에 근사시키기 때문에, 스크린면이 곡면이라도, 투사 화면(PS)의 3차원 형상을 나타내는 함수와 실제의 스크린면의 형상의 오차를 저감시킬 수 있다. 이에 따라 비발광 지시체(80)의 투사 스크린면(SS)으로의 접촉을 검출하는 정밀도의 향상을 도모할 수 있다.
B. 투사 화면(PS)의 곡면 함수의 산출(그 2)
함수 산출부(820)는, 검출된 각 기준점(Pc)의 3차원 위치 좌표에 기초하여, 각 기준점(Pc1∼Pc25)의 3차원 위치 좌표 Pc1(Xc1, Yc1, Zc1), Pc2(Xc2, Yc2, Zc2), Pc3(Xc3, Yc3, Zc3), …, Pc25(Xc25, Yc25, Zc25)의 각각의 Z 좌표가 모두 Z＝0이 되는 좌표계에 매핑하는 매핑 함수(mapping function)를 산출해도 좋다. 그리고, 위치 검출부(600)에 의해 검출되는 비발광 지시체(80)의 선단부(81)의 3차원 위치 좌표를 매핑 함수로 변환함으로써, 변환 후의 3차원 위치 좌표 중 Z 좌표를 선단부(81)와 투사 스크린면(SS)의 사이의 거리로 해도 좋다. 즉, 접촉 검출부(800)는, 변환 후의 비발광 지시체(80)의 선단부(81)의 Z 좌표가 허용값 이하인 경우에, 비발광 지시체(80)가 투사 스크린면(SS)과 접촉했다고 판정해도 좋다.
또한, 예를 들면, 함수 산출부(820)는, 하기의 식 (2)를 피팅 함수로 하여, 투사 화면(PS)의 근사 곡면을 나타내는 곡면 함수를 산출해도 좋다.
Figure pct00007
여기에서, N1, N2는 P≥N1＋N2＋1을 충족하는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수이다. aj, bj, d는 정수이고, aj, bj 중 적어도 1개는 제로가 아니다.
이 경우, 비발광 지시체(80)의 선단부(81)의 3차원 위치 좌표(X81, Y81, Z81)에 대하여, 3차원 위치 좌표(X81, Y81, Z81-Zc)는, 매핑 함수로 변환한 변환 후의 비발광 지시체(80)의 선단부(81)의 3차원 위치 좌표에 상당한다. 이 변환 후의 Z 좌표(Z81-Zc)는, 비발광 지시체(80)의 선단부(81)와 투사 화면(PS)(투사 스크린면(SS))의 거리에 해당하고, Z 좌표(Z81-Zc)가 제로에 가까운 소정값 이하인 때에 비발광 지시체(80)의 선단부(81)의 투사 화면(PS)으로의 접촉을 검출해도 좋다. 이 구성에 의하면, 식 (2)의 Z 좌표의 항은 계수가 1인 1차항을 포함할 뿐이기 때문에, 미지수의 수 (N1＋N2＋1)을 식 (1)의 미지수의 수 (N1＋N2＋N3＋1)보다도 적게 할 수 있다. 이에 따라, 곡면 함수의 산출에 필요로 하는 시간의 단축이나, 산출에 필요로 하는 처리 부담의 경감을 도모할 수 있다.
C. 투사 화면(PS)의 곡면 함수의 산출(그 3)
함수 산출부(820)는, 상기의 식 (1)의 외에, 하기의 식 (3)을 피팅 함수로 해도 좋다.
Figure pct00008
　여기에서, M1, M2, M3은 P≥M1＋M2＋M3＋1을 충족하는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수이다. ak, bk, ck, d는 정수이고, ak, bk, ck 중 적어도 1개는 제로가 아니다.
이 구성에 의하면, 투사 화면(PS)의 3차원 형상은 차수가 짝수인 항만의 곡면 함수에 근사된다. 식 (3)은, 식 (1)과 비교하여, 차수가 홀수인 항을 포함하고 있지 않기 때문에, 차수가 동일한 함수에 있어서, 미지수의 수를 적게 할 수 있다. 이에 따라, 곡면 함수의 산출에 필요로 하는 시간의 단축이나, 처리 부담의 경감을 도모할 수 있다. 또한, 동일한 처리량으로 식 (1)보다 차수가 높은 곡면 함수에 피트시킬 수 있기 때문에, 함수를 보다 실제의 스크린면(SS)의 형상에 근사시킬 수 있다. 실제의 스크린면으로서, 도 6 또는 도 7에 나타낸 바와 같이, 스크린면의 양측면이 내측으로 만곡한 것 및, 스크린면의 상단부와 하단부가 내측으로 만곡한 것이 이용되는 경우가 있다. 이는, 스크린면으로의 화면 겹침을 억제하여, 스크린면의 양측면 부근이나 상하 단부 부근의 화상을 보다 보기 쉽게 하기 위함이다. 이러한 스크린면의 곡면 함수로서는, 상기식 (3)과 같은 짝수 차항만을 포함하는 함수를 사용하는 것이 바람직하다. 이때, 좌표계의 원점은, 투사 화면(PS)의 중심에 설정하는 것이 바람직하다.
D. 투사 화면(PS)의 곡면 함수의 산출(그 4)
또한, 식 (1)과 식 (2)의 관계와 동일하게, 함수 산출부(820)는, 식 (4)를 피팅 함수로 하여, 투사 화면(PS)의 곡면 함수를 산출해도 좋다.
Figure pct00009
여기에서, M1, M2는 P≥M1＋M2＋1을 충족하는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수이다. ak, bk, d는 정수이고, ak, bk 중 적어도 1개는 제로가 아니다. 이 구성에 의하면, 식 (4)는, 식 (1)과 비교하여, Z 좌표의 항에 계수가 없고, 또한, 차수가 홀수인 항을 포함하고 있지 않기 때문에, 미지수의 수를 적게 할 수 있다. 이에 따라, 곡면 함수의 산출에 필요로 하는 시간의 단축이나, 처리 부담의 경감을 도모할 수 있다.
E. 변형예
또한, 이 발명은 상기의 실시예나 실시 형태에 한정되는 것이 아니고, 그 요지를 일탈하지 않는 범위에 있어서 여러 가지의 실시 형태에 있어서 실시하는 것이 가능하고, 예를 들면 다음과 같은 변형도 가능하다.
·변형예 1
상기 실시 형태에서는, 촬상부(300)가 2대의 카메라(310, 320)를 갖고 있는 것으로 했지만, 촬상부(300)는 3대 이상의 카메라를 갖고 있어도 좋다. 후자의 경우에는, m대(m은 3 이상의 정수)의 카메라로 촬상된 m개의 화상에 기초하여, 3차원 위치 좌표(X, Y, Z)가 결정된다. 예를 들면, m개의 화상으로부터 2개의 화상을 임의로 선택하여 얻어지는 mC2개의 조합을 이용하여 각각 3차원 위치 좌표를 구하고, 그들의 평균값을 이용하여 최종적인 3차원 위치 좌표를 결정해도 좋다. 이렇게 하면, 3차원 위치 좌표의 검출 정밀도를 더욱 높이는 것이 가능하다.
·변형예 2
상기 실시 형태에서는, 인터랙티브 프로젝션 시스템(900)이 화이트 보드 모드와 PC 인터랙티브 모드에서 동작 가능한 것으로 했지만, 이들 중 한쪽의 모드에서만 동작하도록 시스템이 구성되어 있어도 좋다. 또한, 인터랙티브 프로젝션 시스템(900)은, 이들 2개의 모드 이외의 다른 모드에서만 동작하도록 구성되어 있어도 좋고, 추가로, 이들 2개의 모드를 포함하는 복수의 모드에서 동작 가능하게 구성되어 있어도 좋다.
·변형예 3
상기 실시 형태에서는, 도 3에 나타낸 조사 검출광(IDL)과, 반사 검출광(RDL)과, 장치 신호광(ASL)과, 지시체 신호광(PSL)이 모두 근적외광인 것으로 했지만, 이들 중 일부 또는 전부를 근적외광 이외의 빛으로 해도 좋다.
·변형예 4
상기 실시 형태에서는, 자발광 지시체(70)의 접촉 검출을, 자발광 지시체(70)가 발하는 지시체 신호광(PSL)의 발광 패턴에 기초하여 행하고 있다. 그러나, 자발광 지시체(70)의 선단부(71)의 3차원 위치는, 2대의 카메라(310, 320)로 촬상된 화상을 이용한 삼각 측량에 의해 구할 수 있기 때문에, 이 3차원 위치를 이용하여 자발광 지시체(70)의 선단부(71)의 접촉 검출을 실행하는 것도 가능하다.
이상, 몇 가지의 실시예에 기초하여 본 발명의 실시 형태에 대해서 설명해 왔지만, 상기한 발명의 실시 형태는, 본 발명의 이해를 용이하게 하기 위한 것이고, 본 발명을 한정하는 것은 아니다. 본 발명은, 그 취지 그리고 특허 청구의 범위를 일탈하는 일 없이, 변경, 개량될 수 있음과 함께, 본 발명에는 그 등가물이 포함되는 것은 물론이다.
70 : 자발광 지시체
71 : 선단부
72 : 축부
73 : 버튼 스위치
74 : 신호광 수신부
75 : 제어부
76 : 선단 스위치
77 : 선단 발광부
80 : 비발광 지시체
81 : 선단부
100 : 인터랙티브 프로젝터
200 : 투사부
210 : 투사 렌즈
220 : 광 변조부
230 : 광원
300 : 촬상부
310 : 제1 카메라
320 : 제2 카메라
410 : 검출광 조사부
430 : 신호광 송신부
500 : 투사 화상 생성부
510 : 투사 화상 메모리
600 : 위치 검출부
700 : 제어부
780 : 지시체
800 : 접촉 검출부
820 : 함수 산출부
900 : 인터랙티브 프로젝션 시스템
910 : 지지 부재
920 : 스크린판

Claims (8)

  1. 투사 화면에 대한 유저의 지시체에 의한 지시를 수취하는 것이 가능한 인터랙티브 프로젝터로서,
    스크린면상에 상기 투사 화면을 투사하는 투사부와,
    상기 투사 화면의 영역을 촬상하는 제1 카메라 및 제2 카메라를 포함하는 복수대의 카메라와,
    상기 복수대의 카메라에 의해 촬상된 상기 지시체를 포함하는 복수의 화상에 기초하여, 상기 투사 화면에 대한 상기 지시체의 3차원 위치를 검출하는 위치 검출부와,
    상기 투사부에 의해 상기 투사 화면의 위치를 검출하기 위한 특정의 화상이 투사되고 있을 때에, 상기 카메라에 의해 촬상된 상기 특정의 화상을 포함한 촬상 화상에 기초하여, 상기 투사 화면의 3차원 형상을 나타내는 곡면 함수를 산출하는 함수 산출부와,
    상기 위치 검출부가 검출한 상기 지시체의 3차원 위치와, 상기 함수 산출부에 의해 산출된 상기 곡면 함수를 이용하여, 상기 지시체의 상기 투사 화면으로의 접촉을 검출하는 접촉 검출부를 구비하고,
    상기 함수 산출부는, 상기 특정의 화상을 포함한 상기 촬상 화상에 기초하여, 상기 투사 화면상의 서로 상이한 복수의 기준점의 3차원 위치를 검출하고, 상기 복수의 기준점의 3차원 위치에 기초하여 상기 곡면 함수를 산출하는 인터랙티브 프로젝터.
  2. 제1항에 있어서,
    상기 함수 산출부는, 상기 곡면 함수를 식 (1)로 나타나는 함수로서 산출하는 인터랙티브 프로젝터.
    Figure pct00010

    (여기에서, N1, N2, N3은, P≥N1＋N2＋N3＋1이 되는 제로(zero) 또는 정의 정수로서, 적어도 1개는 정의 정수임. P는, 상기 기준점의 수임. aj, bj, cj, d는, 정수이고, aj, bj, cj 중 적어도 1개는 제로가 아님)
  3. 제1항에 있어서,
    상기 함수 산출부는, 상기 곡면 함수를 식 (2)로 나타나는 함수로서 산출하는 인터랙티브 프로젝터.
    Figure pct00011

    (여기에서, N1, N2는, P≥N1＋N2＋1이 되는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수임. P는, 상기 기준점의 수임. aj, bj, d는, 정수이고, aj, bj 중 적어도 1개는 제로가 아님)
  4. 제1항에 있어서,
    상기 함수 산출부는, 상기 곡면 함수를 식 (3)으로 나타나는 함수로서 산출하는 인터랙티브 프로젝터.
    Figure pct00012

    (여기에서, M1, M2, M3은, P≥M1＋M2＋M3＋1이 되는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수임. P는, 상기 기준점의 수임. ak, bk, ck, d는, 정수이고, ak, bk, ck 중 적어도 1개는 제로가 아님)
  5. 제1항에 있어서,
    상기 함수 산출부는, 상기 곡면 함수를 식 (4)로 나타나는 함수로서 산출하는 인터랙티브 프로젝터.
    Figure pct00013

    (여기에서, M1, M2는, P≥M1＋M2＋1이 되는 제로 또는 정의 정수로서, 적어도 1개는 정의 정수임. P는, 상기 기준점의 수임. ak, bk, d는, 정수이고, ak, bk 중 적어도 1개는 제로가 아님)
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    추가로,
    상기 접촉 검출부가 상기 지시체의 상기 투사 화면으로의 접촉을 검출하고 있을 때의 상기 지시체의 3차원 위치에 기초하여, 상기 유저의 지시의 내용을 판정하는 제어부를 구비하는 인터랙티브 프로젝터.
  7. 인터랙티브 프로젝션 시스템으로서,
    제1항 내지 제6항 중 어느 한 항에 기재된 인터랙티브 프로젝터와,
    상기 투사 화면이 투사되는 스크린면을 갖는 스크린판과,
    상기 투사 화면으로의 접촉시와 비접촉시에서 상이한 발광 패턴으로 지시체 신호광을 발광하는 발광부를 구비하는 자발광 지시체와, 상기 발광부를 구비하지 않는 비발광 지시체 중 적어도 어느 한쪽을 포함하는 지시체
    를 구비하는 인터랙티브 프로젝션 시스템.
  8. 투사 화면에 대한 유저의 지시체에 의한 지시를 수취하는 것이 가능한 인터랙티브 프로젝터의 제어 방법으로서,
    스크린면상에 상기 투사 화면을 투사하고,
    제1 카메라 및 제2 카메라를 포함하는 복수대의 카메라로 상기 투사 화면의 영역을 촬상하고,
    상기 복수대의 카메라에 의해 촬상된 상기 지시체를 포함하는 복수의 화상에 기초하여, 상기 투사 화면에 대한 상기 지시체의 3차원 위치를 검출하고,
    상기 투사 화면의 위치를 검출하기 위한 특정의 화상이 투사되고 있을 때에, 상기 카메라에 의해 촬상된 상기 특정의 화상을 포함한 촬상 화상에 기초하여, 상기 투사 화면의 3차원 형상을 나타내는 곡면 함수를 산출하고,
    검출한 상기 지시체의 3차원 위치와, 산출된 상기 곡면 함수를 이용하여, 상기 지시체의 상기 투사 화면으로의 접촉을 검출하고,
    상기 곡면 함수를 산출할 때에, 상기 특정의 화상을 포함한 상기 촬상 화상에 기초하여, 상기 투사 화면상의 서로 상이한 복수의 기준점의 3차원 위치를 검출하고, 상기 복수의 기준점의 3차원 위치에 기초하여 상기 곡면 함수를 산출하는 인터랙티브 프로젝터의 제어 방법.
KR1020177030897A 2015-03-27 2016-03-11 인터랙티브 프로젝터, 인터랙티브 프로젝션 시스템 및, 인터랙티브 프로젝터의 제어 방법 KR20170129948A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015065625A JP6459705B2 (ja) 2015-03-27 2015-03-27 インタラクティブプロジェクター、インタラクティブプロジェクションシステム、及び、インタラクティブプロジェクターの制御方法
JPJP-P-2015-065625 2015-03-27
PCT/JP2016/001396 WO2016157759A1 (ja) 2015-03-27 2016-03-11 インタラクティブプロジェクター、インタラクティブプロジェクションシステム、及びインタラクティブプロジェクターの制御方法

Publications (1)

Publication Number Publication Date
KR20170129948A true KR20170129948A (ko) 2017-11-27

Family

ID=57004181

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177030897A KR20170129948A (ko) 2015-03-27 2016-03-11 인터랙티브 프로젝터, 인터랙티브 프로젝션 시스템 및, 인터랙티브 프로젝터의 제어 방법

Country Status (7)

Country Link
US (1) US10416787B2 (ko)
EP (1) EP3276464A4 (ko)
JP (1) JP6459705B2 (ko)
KR (1) KR20170129948A (ko)
CN (1) CN107407995B (ko)
TW (1) TW201635100A (ko)
WO (1) WO2016157759A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7035555B2 (ja) * 2018-01-23 2022-03-15 セイコーエプソン株式会社 教示装置、及びシステム
JP2021022807A (ja) * 2019-07-26 2021-02-18 セイコーエプソン株式会社 プロジェクターの制御方法、及び、プロジェクター
JP7243510B2 (ja) * 2019-07-29 2023-03-22 セイコーエプソン株式会社 プロジェクターの制御方法、及びプロジェクター
JP2023017206A (ja) * 2021-07-26 2023-02-07 セイコーエプソン株式会社 プロジェクターの制御方法、及びプロジェクター

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8228305B2 (en) * 1995-06-29 2012-07-24 Apple Inc. Method for providing human input to a computer
US6710770B2 (en) * 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
DE10007891C2 (de) * 2000-02-21 2002-11-21 Siemens Ag Verfahren und Anordnung zur Interaktion mit einer in einem Schaufenster sichtbaren Darstellung
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
JP2003036142A (ja) * 2001-07-24 2003-02-07 Hitachi Ltd プレゼンテーションシステム、およびプレゼンテーション方法
NO323926B1 (no) 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
US20070247422A1 (en) * 2006-03-30 2007-10-25 Xuuk, Inc. Interaction techniques for flexible displays
JP5208737B2 (ja) * 2006-07-03 2013-06-12 パナソニック株式会社 プロジェクタシステム及び映像投射方法
JP5593802B2 (ja) * 2010-04-16 2014-09-24 セイコーエプソン株式会社 位置検出システム及びその制御方法、並びにプログラム
US8727539B2 (en) * 2010-10-28 2014-05-20 Seiko Epson Corporation Projector and method of controlling projector
JP2012150636A (ja) 2011-01-19 2012-08-09 Seiko Epson Corp 投写型表示装置及び情報処理システム
JP6141596B2 (ja) * 2011-12-27 2017-06-07 セイコーエプソン株式会社 表示装置、表示システム及び表示装置のデータ供給方法

Also Published As

Publication number Publication date
EP3276464A4 (en) 2019-02-13
TW201635100A (zh) 2016-10-01
JP6459705B2 (ja) 2019-01-30
CN107407995B (zh) 2020-06-26
JP2016186668A (ja) 2016-10-27
US10416787B2 (en) 2019-09-17
WO2016157759A1 (ja) 2016-10-06
CN107407995A (zh) 2017-11-28
US20180101246A1 (en) 2018-04-12
EP3276464A1 (en) 2018-01-31

Similar Documents

Publication Publication Date Title
JP6477131B2 (ja) インタラクティブプロジェクター，インタラクティブプロジェクションシステム，およびインタラクティブプロジェクターの制御方法
CN107094247B (zh) 位置检测装置及其对比度调整方法
US10133366B2 (en) Interactive projector and interactive projection system
JP6477130B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
KR20170129948A (ko) 인터랙티브 프로젝터, 인터랙티브 프로젝션 시스템 및, 인터랙티브 프로젝터의 제어 방법
US10551972B2 (en) Interactive projector and method of controlling interactive projector
JP6459706B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6503828B2 (ja) インタラクティブプロジェクションシステム，指示体，およびインタラクティブプロジェクションシステムの制御方法
JP6451446B2 (ja) インタラクティブプロジェクター及びインタラクティブプロジェクションシステム
JP6631280B2 (ja) 位置検出装置、位置検出システム、及び、位置検出方法
US9958958B2 (en) Interactive projector and method of controlling interactive projector
US20170034490A1 (en) Interactive projector and method of correcting z-coordinate of the same
JP2016186679A (ja) インタラクティブプロジェクターおよびインタラクティブプロジェクターの制御方法

Legal Events

Date Code Title Description
A201 Request for examination