KR101795644B1 - 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법 - Google Patents

투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법 Download PDF

Info

Publication number
KR101795644B1
KR101795644B1 KR1020147003145A KR20147003145A KR101795644B1 KR 101795644 B1 KR101795644 B1 KR 101795644B1 KR 1020147003145 A KR1020147003145 A KR 1020147003145A KR 20147003145 A KR20147003145 A KR 20147003145A KR 101795644 B1 KR101795644 B1 KR 101795644B1
Authority
KR
South Korea
Prior art keywords
workspace
camera
image
projector
object image
Prior art date
Application number
KR1020147003145A
Other languages
English (en)
Other versions
KR20140054025A (ko
Inventor
데이비드 브래들리 쇼트
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/US2011/045983 external-priority patent/WO2013019190A1/en
Priority claimed from PCT/US2011/046253 external-priority patent/WO2013019217A1/en
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20140054025A publication Critical patent/KR20140054025A/ko
Application granted granted Critical
Publication of KR101795644B1 publication Critical patent/KR101795644B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/132—Overhead projectors, i.e. capable of projecting hand-writing or drawing during action
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/28—Reflectors in projection beam
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/14—Details
    • G03B21/32—Details specially adapted for motion-picture projection
    • G03B21/50—Control devices operated by the film strip during the run
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00283—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a television apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/19—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays
    • H04N1/195—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays
    • H04N1/19594—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using multi-element arrays the array comprising a two-dimensional array or a combination of two-dimensional arrays using a television camera or a still video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Overhead Projectors And Projection Screens (AREA)
  • Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

일례에서, 투영 캡쳐 시스템은, 컨트롤러와, 컨트롤러에 작동 가능하게(operatively) 접속되어, 작업공간 내의 오브젝트의 정지 이미지 및 비디오 이미지를 캡쳐하는 작업공간 카메라와, 컨트롤러에 작동 가능하게 접속되는 프로젝터를 포함한다. 컨트롤러는, 작업공간 내의 실제 오브젝트의 이미지를 캡쳐하고, 오브젝트 이미지를 작업공간에 투영하도록, 작업공간 카메라 및 프로젝터를 제어하도록 구성된다. 또 다른 예에서, 작업공간 공동작업 방법(workspace collaboration method)은, 제1 작업공간 내의 실제 오브젝트의 디지털 이미지를 캡쳐하는 단계와, 오브젝트 이미지를 제1 작업공간을 포함한 복수의 작업공간에 동시에 투영하는 단계와, 오브젝트 이미지가 작업공간의 하나의 작업공간에서 변경되고 있는 때에 변경된 오브젝트 이미지의 디지털 이미지를 캡쳐하는 단계와, 변경된 오브젝트 이미지를 제1 작업공간을 포함한 복수의 작업공간에 동시에 투영하는 단계를 포함한다.

Description

투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법{PROJECTION CAPTURE SYSTEM, PROGRAMMING AND METHOD}
본 발명은 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법에 관한 것이다.
실제 오브젝트와 가상 오브젝트가 공존하고 실시간으로 상호작용하는 새로운 환경을 발생하기 위해 다양한 타입의 혼합 현실 시스템(mixed reality system)이 개발되었다. 서로 떨어져 있는 사용자들이 복수의 지점에서 동시에 정보를 공유하고 조작할 수 있도록 하기 위해 가상의 화이트보드(virtual whiteboard) 및 다른 타입의 원격 공동작업 시스템(remote collaboration system) 또한 개발되었다.
본 발명에 따라, 컨트롤러와, 상기 컨트롤러에 작동 가능하게(operatively) 접속되어, 작업공간 내의 오브젝트의 정지 이미지 및 비디오 이미지를 캡쳐하는 작업공간 카메라와, 상기 컨트롤러에 작동 가능하게 접속되는 프로젝터를 포함하며, 상기 컨트롤러가, 상기 작업공간 내의 실제 오브젝트의 이미지를 캡쳐하고, 오브젝트 이미지를 상기 작업공간에 투영하도록, 상기 작업공간 카메라 및 상기 프로젝터를 제어하도록 구성되는 것을 특징으로 하는 투영 캡쳐 시스템이 제공된다.
도 1a 및 도 1b는 신규의 투영 캡쳐 시스템의 일례를 예시하는 외부 투시도이며, 도 1a에는 2차원 오브젝트(하드카피 사진)의 이미지가 캡쳐되어 디스플레이되어 있고, 도 1b에는 3차원 오브젝트(입방체)의 이미지가 캡쳐되어 디스플레이되어 있다.
도 2는 신규의 투영 캡쳐 시스템의 일례를 예시하는 내부 투시도이다.
도 3은 도 2에 도시된 투영 캡쳐 시스템의 블록도이다.
도 4는 도 2 및 도 3에 도시된 시스템에서의 사용자 입력 디바이스의 일례를 예시하는 블록도이다.
도 5와 도 6은 각각 도 2와 도 3에 도시된 투영 캡쳐 시스템에서의 카메라 및 프로젝터의 위치설정을 예시하는 측면도와 입면도이다.
도 7 내지 도 11은 투영 캡쳐 시스템에서의 카메라 및 프로젝터에 대한 다양한 위치를 보여주는 연속적인 측면도로, 글래어 스팟(glare spot)을 카메라 캡쳐 영역에서 벗어나게 이동시키는 것과 연관된 문제점들 중의 몇몇을 예시하는 도면이다.
도 12 및 도 13은 도 2 및 도 3에 도시된 투영 캡쳐 시스템에서의 카메라의 일례를 예시하는 도면이다.
도 14는 도 2 및 도 3에 도시된 투영 캡쳐 시스템에서의 프로젝터의 일례를 예시하는 도면이다.
도 15 및 도 16은 도 2 및 도 3에 도시된 투영 캡쳐 시스템에서의 사용자 입력 디바이스의 예를 예시하는 도면이다.
도 17 내지 도 19는 신규의 휴대용 투영 캡쳐 디바이스의 일례를 예시하는 투시도이다.
도 20 내지 도 22는 다른 디바이스와 함께 투영 캡쳐 시스템을 사용하기 위한 3가지 예의 시나리오를 예시하는 도면이다.
도 23은 오브젝트 인식 및 오디오/비디오 통신 회의(teleconferencing) 성능을 포함하는 신규의 투영 캡쳐 디바이스의 일례를 예시하는 블록도이다.
도 24는 공동작업 환경에서 도 23에 도시된 것과 같은 투영 캡쳐 디바이스를 구현하기 위한 일례의 아키텍처를 예시하는 블록도이다.
도 25는 실제 오브젝트와 가상 오브젝트가 시각적으로 상호교환 가능한 논리 계층(visually interchangeable logical layer)으로서 처리되는 계층화 기술을 구현하기 위한 컨트롤러의 일례를 예시하는 블록도이다.
도 26은 실제 체커(real checker)가 작업 표면 상에 투영된 가상 체커보드 상에 위치되는 투영 캡쳐 시스템을 도시하는 도면이다.
도 27은 도 26의 시스템에서의 실제 오브젝트와 가상 오브젝트를 위한 Z축 계층화의 일례를 예시하는 도면이다.
도 28은 실제 오브젝트와 가상 오브젝트가 시각적으로 상호교환 가능한 논리 계층으로서 처리되는 계층화 기술을 구현하기 위한 일례의 방법을 예시하는 흐름도이다.
도면에 걸쳐 동일한 도면 부호는 동일하거나 유사한 부분을 나타낸다.
도면에 도시되고 아래에서 설명되는 예들은 본 발명을 제한하기 위한 것이 아니라 본 발명을 예시하기 위한 것이며, 본 발명은 상세한 설명에 후속하는 청구범위에 의해 정해진다.
물리적 작업 표면 상의 투영된 오브젝트와 실제 오브젝트로 작업하는 상호작용식 사용자 체험을 향상시키고, 복수의 원격 사용자들 간의 가상의 공동작업을 향상시키기 위해, 신규의 투영 캡쳐 시스템이 개발되었다. 신규의 시스템은 예컨대 보통의 작업 표면 상에 배치된 하나 이상의 독립형 휴대용 디바이스에서 구현될 수 있다. 디지털 카메라, 프로젝터 및 제어 프로그래밍은 실제 오브젝트 및 투영된/가상의 오브젝트가 복수의 원격 사용자들 간에 조작되고 동시에 공유될 수 있는 투영 증강 가상 현실(projection augmented virtual reality)을 가능하게 하는 데스크탑 유닛에 함께 수용된다. 이러한 휴대용 디바이스는 대형의 기업 비지니스 환경뿐만 아니라 소규모 비지니스 및 심지어는 개인 고객에 적합한 상대적으로 저렴한 플랫폼을 통한 상호작용식 공동작업을 위해 언제든 거의 모든 곳에 배치될 수 있다.
본 명세서에 사용된 바와 같이, "실제" 오브젝트는 이미지로서 디스플레이되거나, 투영되거나 또는 렌더링되지 않은 오브젝트를 의미하며, "가상" 오브젝트는 이미지로서 디스플레이되거나, 투영되거나 또는 렌더링된 오브젝트를 의미한다.
신규의 투영 캡쳐 시스템 및 휴대용 투영 캡쳐 디바이스의 예를 먼저 도 1 내지 도 19를 참조하여 설명할 것이다. 그리고나서, 도 20 내지 도 28을 참조하여 공동작업 환경에서의 신규의 투영 캡쳐 시스템 및 디바이스의 구현의 예를 설명할 것이다.
투영 캡쳐 시스템 및 디바이스
도 1a 및 도 1b는 신규의 투영 캡쳐 시스템(10) 및 이 시스템(10)에 연계된 상호작용식 작업공간(12)의 일례를 예시하는 외부 투시도이다. 도 2는 외부 하우징(13)을 제거한 투영 캡쳐 시스템(10)의 일례를 예시하는 투시도이다. 도 3은 도 2에 도시된 시스템(10)의 블록도이다. 도 1a, 도 1b, 도 2 및 도 3을 참조하면, 투영 캡쳐 시스템(10)은 디지털 카메라(14), 프로젝터(16), 및 컨트롤러(18)를 포함한다. 카메라(14) 및 프로젝터(16)는 컨트롤러(18)에 작동 가능하게(operatively) 접속되어 있으며, 이 컨트롤러는 카메라(14)가 작업공간(12)에서의 오브젝트(20)의 이미지를 캡쳐하도록 하고, 프로젝터(16)가 오브젝트 이미지(22)를 작업공간(12)에 투영하도록 하며, 몇몇 예에서는 카메라(14)가 투영된 오브젝트 이미지(22)의 이미지를 캡쳐하도록 한다. 하위 부분의 하우징(13)은 프로젝터(16)(및 적외선 카메라(30)) 위에 투명 윈도우(21)를 포함한다.
도 1a에 도시된 예에서, 작업공간(12)의 작업 표면(24) 상에 위치된 2차원 오브젝트(20)(하드카피 사진)가 카메라(14)(도 2)에 의해 촬영되고, 오브젝트(20)가 작업공간(12)의 측면으로 옮겨지며, 오브젝트 이미지(22)가 작업 표면(24) 상에 투영되며, 이 작업 표면에서는 오브젝트 이미지가 카메라(14)(도 2)에 의해 촬영되거나 및/또는 사용자에 의해 조작되고 작업공간(12)에 다시 투영될 수 있다. 도 1b에 도시된 예에서, 작업 표면(24) 상에 위치된 3차원 오브젝트(20)(입방체)가 카메라(14)(도 2)에 의해 촬영되며, 오브젝트(20)가 작업공간(12)의 측면으로 옮겨지고, 오브젝트 이미지(22)가 작업공간(24)에 투영되며, 이 작업공간에서는 오브젝트 이미지가 카메라(14)에 의해 촬영되거나 및/또는 사용자에 의해 조작되고 작업공간(12)에 다시 투영될 수 있다.
시스템(10)에 대한 일례의 구현예에서, 오브젝트(20)의 이미지가 카메라(14)에 의해 캡쳐된 때에 오브젝트(20)의 위치와 동일한 작업 공간(24) 내의 위치에 오브젝트 이미지(22)를 투영하도록 컨트롤러(18)가 프로그래밍되고, 프로젝터(16)가 구성된다. 그러므로, 오브젝트(20)의 일대일 축척의 디지털 복사본(22)이 원본 위에 투영되어, 그 위치에서의 디지털 복사본이 근거리 사용자에 의해 또는 동일한 투영된 작업공간(12)에서 공동작업하고 있는 복수의 원격 사용자에 의해 요구된 바대로 조작되고, 이동되고, 변경되도록 할 수 있다. 투영된 이미지는 또한 원본으로부터 멀어지도록 시프트되어, 사용자가 동일한 작업공간(12)에서 원본 및 복사본 모두로 작업할 수 있도록 할 수 있다.
시스템(10)은 또한 사용자가 시스템(10)과 상호작용할 수 있도록 하는 사용자 입력 디바이스(26)를 포함한다. 사용자는 사용자 입력 디바이스(26)를 통해 작업공간(12)의 오브젝트(20) 및/또는 오브젝트 이미지(22)와 상호작용할 수 있으며, 오브젝트 이미지(22)가 공동작업 사용자 상호작용을 위해 원격 시스템(10)(도시하지 않음) 상의 다른 작업공간(12)에 전송되며, 요구된 경우에는, 오브젝트 이미지(22)가 카메라(14)에 의해 촬영되고, 추가의 사용자 상호작용을 위해 근거리 및/또는 원격 작업공간(12)에 다시 투영될 수도 있다. 도 1a에서는 작업 표면(24)은 데스크탑 또는 아래에 있는 다른 지지 구조체(23)의 일부분이다. 도 1b에서는 작업 표면(24)은 터치 감지 영역을 포함할 수 있는 휴대용 매트(25) 상에 있다. 도 1a에서는 예컨대 사용자 제어판(27)이 작업 표면(24) 상에 투영되는 한편, 도 1b에서는 제어판(27)이 매트(25)의 터치 감지 영역에 임베드될 수 있다. 마찬가지로, A4, 레터 또는 기타 표준 크기 문서 배치 영역(29)이 도 1a에서의 작업 표면(24) 상에 투영되거나 또는 도 1b에서의 매트(25) 상에 프린트될 수 있다. 물론, 작업 표면(24)에 대한 다른 구성도 가능하다. 예컨대, 몇몇 어플리케이션에서는 시스템(10)이 작업 표면(24)의 색상, 촉감(texture) 또는 기타 특성을 제어하기 위해 빈 상태의 매트(blank mat)(25)를 이용하는 것이 바람직할 수도 있으며, 그러므로 제어판(27) 및 문서 배치 영역(29)이 도 1a에서의 데스크탑(23) 상에 투영되는 바와 같이 도 1b에서의 빈 상태의 매트(25) 상에 투영될 수 있다.
도 4에 도시된 예에서, 사용자 입력 디바이스(26)는 적외선 디지털 스타일러스(infrared digital stylus)(28) 및 작업공간(12)에서 스타일러스(28)를 검지하기 위한 적외선 카메라(30)를 포함한다. 어떠한 적합한 사용자 입력 디바이스도 이용될 수 있지만, 디지털 스타일러스는 감지 패드 또는 기타 특수한 표면 없이도 작업 표면(24)을 따르는 것을 포함한 3차원의 입력을 허용하는 장점을 갖는다. 그러므로, 시스템(10)은 매우 다양한 작업 표면(24) 상에 이용될 수 있다. 또한, 작업 표면(24)의 보편적인 수평 지향방향은 디지털 스타일러스를 다수의 흔한 작업에 유용하게 한다. 작업 표면(24) 상에 전통적인 기록 도구를 사용할 수 있는 성능은 수직 또는 모바일 컴퓨팅 인터페이스에 비하여 이롭다. 상호작용식 디스플레이를 작업 데스크탑 상에 투영하는 것은 컴퓨팅 태스크를 실제 데스크탑 상에 존재할 수도 있는 표준 오브젝트와 혼합되게 하며, 그러므로 물리적 오브젝트는 투영된 오브젝트와 공존할 수 있다. 이와 같이, 실제 기록 도구뿐만 아니라 이들의 디지털 대응물(스타일러스(28)와 같은)을 사용하는 편안함에 의하여 효율적인 사용 모델이 된다. 3차원 패드-프리 디지털 스타일러스는 작업 표면(24) 상에 전통적인 도구를 이용하는 방식에서 이용되는 감지 패드를 갖지 않고서도 물리적 오브젝트의 상단 또는 바로 옆에의 어노테이션(annotation)을 가능하게 한다.
시스템(10)에 대한 일례의 구현예에서, 프로젝터(16)는 카메라(14)를 위한 광원으로서 작용한다. 카메라 캡쳐 영역(32)(도 12) 및 프로젝터 디스플레이 영역(34)(도 14)이 작업 표면(24) 상에 중첩한다. 그러므로, 프로젝터(16)를 이미지를 투영하고 카메라 조명용으로 이용함으로써 상당한 작동 효율이 얻어질 수 있다. 프로젝터(16)에서부터 작업공간(12)을 거쳐 작업 표면(24)까지의 광로는, 카메라(14)에 대하여, 작업 표면(24) 및 작업공간(12) 내의 오브젝트로부터의 구면 눈부심(specular glare)을 방지하면서 최소의 그림자 폐색(shadow occlusion)으로 사용자 디스플레이 상호작용을 가능하게 하도록 위치되어야 하며, 이러한 구면 눈부심은 그렇지 않을 경우에 카메라(14)를 블라인드(blind)할 것이다. 아래에 설명되는 시스템 구성은 작업공간(12) 내의 2차원 및 3차원 오브젝트의 적절한 조사(illumination) 및 투영을 위해 요구된 프로젝터 광로에 대해 충분히 급경사의 입사각을 유지하면서 종래의 카메라 조명 지오메트리로부터 발생할 눈부심 유기 아티팩트(glare induced artifact)를 방지한다.
프로젝터(16)는 평행한 광선을 보장하기 위해서는 작업 표면(24) 위의 무한한 높이(infinite height)로 작업공간(12)의 똑바로 위에 탑재되는 이상적일 것이다. 물론, 이 구성은 현실적이지 못하다. 프로젝터(16)가 작업 표면(24) 위의 현실적인 높이까지 아래로 이동되는 경우에도(여전히 똑바로 아래를 가리키면서), 프로젝터의 광은 광택성(glossy) 및 반광택성 표면 및 오브젝트로부터 카메라(14) 내로 똑바로 반사되어, 블라인딩 구면 눈부심(blinding specular glare)을 발생할 것이다. 그러므로, 눈부심 스팟이 카메라 캡쳐 영역(32)의 밖으로 이동되어야 한다(구면 눈부심은, 입사 광선의 입사각과 반사 광선의 반사각이 동일하고, 입사 방향과 반사 방향과 법선 방향(normal direction)이 공통 평면을 이루는, 구면 반사로부터의 눈부심을 지칭한다).
구면 눈부심의 이러한 문제점에 대한 상업적으로 합리적인 해결책을 달성하기 위해, 카메라(14) 및 프로젝터(16)가 캡쳐 영역(32) 및 디스플레이 영역(34)의 중앙으로부터 멀어지도록 시프트되고, 프로젝터(16)가 도 5 및 도 6에 도시된 바와 같이 베이스 가까이에 낮게 위치되며, 폴드 미러(fold mirror)(38)가 작업 표면(24) 위의 높은 곳에서 프로젝터 위치를 시뮬레이션하도록 프로젝터의 광로에 도입된다. 프로젝터(16)의 시뮬레이션된 위치 및 미러(38) 위의 그에 대응하는 광로가 도 5 및 도 6에 가상의 선으로 도시되어 있다. 그러나, 도 5 및 도 6에 도시된 구성을 더욱 상세하게 설명하기 전에, 눈부심 스팟을 카메라 캡쳐 영역(32) 밖으로 이동시키기 위한 다른 가능한 구성에 연관된 문제점을 고려해보는 것이 도움이 된다.
도 7에서는, 카메라(14)가 프로젝터 광로를 가로막지 않도록 오버헤드 프로젝터(16)를 중앙에서 다소 벗어나게 하는 상태로 카메라(14)를 캡쳐 영역(32)의 중앙에 위치시킨다. 도 7의 구성에서는, 구면 눈부심 스폿(39)(입사 광선(41) 및 반사 광선(43)의 교차점에 있는)이 캡쳐 영역(32) 내에 있게 되며, 그러므로 캡쳐 영역(32) 내의 몇몇 오브젝트 및 이미지에 대해 카메라(14)를 블라인드할 것이다. 이에 부가하여, 도 7에 도시된 구성에 대하여, 카메라(14) 및 프로젝터(16)가 베이스 위의 높은 곳에 위치되는 경우, 시스템(10)은 상단이 무겁게 될 것이며, 그러므로 상업적인 제품 구현에는 바람직하지 않다. 프로젝터(16)가 도 8에 도시된 바와 같이 눈부심 스폿(39)을 카메라 캡쳐 영역(32)의 밖으로 이동시키기 위해 요구된 거리로 측면으로 이동되면, 요구된 대응하는 프로젝터 렌즈 오프셋이 실현 가능하지 않을 것이다. 역시, 도 8에 도시된 시스템(10)의 구성을 위한 임의의 제품 구현예도 넓이가 커지고 상단이 무겁게 되어 바람직하지 않을 것이다.
도 9에 도시된 바와 같이 카메라(14)를 캡쳐 영역(32) 위에서 중심으로부터 벗어나게 이동시키는 것은 프로젝터(16)와 가깝게 하여 시스템이 덜 넓어지게 하도록 하지만, 프로젝터 렌즈 오프셋이 여전히 크고, 제품이 여전히 상단이 무겁게 된다. 도 10에 도시된 구성에서, 프로젝터(16)는 수용가능한 렌즈 오프셋에 충분한 정도로 가깝게 될 수 있는 높이로 상승되지만, 당연히 제품이 높이가 너무 크고, 상단이 무겁다. 가장 바람직한 해법은 도 10의 "높고 충밀한" 구성이 폴드 미러(38)를 이용하여 시뮬레이션되는 도 5 및 도 11에 도시된 프로젝터(16)를 위한 "폴딩된" 광로이다. 도 5 및 도 11에서, 프로젝터(16) 및 상위 광로는 미러(38)의 반사 표면을 통해 폴딩되어 도 10의 구성에서와 동일한 작업 표면(24) 상으로의 광로를 투영한다. 이 폴딩 효과는 폴드 각도(fold angle) θ1=θ2 및 φ1=φ2인 도 5에 최상으로 나타나게 된다.
도 5 및 도 6에 도시된 바와 같이, 카메라(14)는 프로젝터의 광로를 가로막지 않도록 작업공간(12) 위에서 미러(38)의 앞에 위치된다. 카메라(14)는 카메라(14) 및 프로젝터(16) 둘 모두에 대한 수용 가능한 오프셋으로 눈부심 스폿(39)을 캡쳐 영역(32) 밖에 있도록 하기 위해 전체적인 지오메트리의 일부분으로서의 Y 방향(도 5)에서 중앙으로부터 벗어나게 위치된다. 프로젝터(16)는 프로젝터(16)로부터의 광이 미러(38)로부터 작업공간(12) 내로 반사되도록 미러(38) 상에 포커싱된다. 프로젝터(16)를 낮게 아래로 이동시키고, 폴드 미러(38)를 프로젝터 광로에 도입함으로써, 눈부심 스폿(39)은 수용 가능한 프로젝터 오프셋으로 캡쳐 영역(32)의 밖에 유지되며, 시스템(10)은 상업적으로 매력적인 제품 구현을 지원하기에 충분한 정도로 좁고, 짧고, 안정하게(상단이 무겁지 않음) 된다.
그러므로, 다시 도 1a, 도 1b 및 도 2를 참조하면, 시스템(10)의 부품은 단일 디바이스(40)로서 함께 수용될 수 있다. 도 3을 참조하면, 시스템(10)을 통합된 독립형 디바이스(40)로서 구현하는데 도움을 주기 위해, 컨트롤러(18)는 디바이스(40)에 함께 수용되는 프로세서(42), 메모리(44) 및 입력/출력(46)을 포함할 수 있다. 입력/출력(46)은 도 20 내지 도 22를 참조하여 설명되는 바와 같이 디바이스(40)로 하여금 외부 디바이스로부터 정보를 수신하고 외부 디바이스에 정보를 전송할 수 있도록 한다. 입력/출력(46)이 도 3에 컨트롤러(18)의 일부인 것으로 도시되어 있지만, 입력/출력(46)의 일부 또는 전부가 컨트롤러(18)로부터 분리될 수 있다.
도 3에 도시된 컨트롤러(18)의 구성을 위해, 카메라(14) 및 프로젝터(16)의 기능을 제어하고 협동하도록 하기 위한 시스템 프로그래밍은 실질적으로 프로세서(42)에 의한 실행을 위해 컨트롤러 메모리(44) 상에 상주할 수 있으며, 독립형 디바이스(40)를 인에이블시키고, 카메라(14) 및 프로젝터(16)의 특수한 프로그래밍을 위한 필요성을 감소시킨다. 컨트롤러(13)를 위한 프로그래밍은 하나 이상의 소프트웨어 모듈, 하드웨어 모듈, 특수 용도의 하드웨어(예컨대, 어플리케이션 스페시픽 하드웨어, ASIC, 임베디드 컨트롤러, 하드웨어에 내장된 회로(hardwired circuitry) 등), 또는 이들의 몇몇 조합을 포함하는 임의의 적합한 형태의 프로세서 실행 가능 매체로 구현될 수 있다. 또한, 다른 구성도 가능하지만, 예컨대, 컨트롤러(18)가 전체적으로 또는 부분적으로 카메라(14) 및 프로젝터(16)로부터 떨어져 있는 컴퓨터 또는 서버를 이용하여 형성되는 경우에는, 도 1a, 도 1b 및 도 2에 도시된 디바이스(40)와 같은 소형의 독립형 응용기기가 소형의 통합 모바일 디바이스(40)에서의 완벽한 기능을 사용자에게 제공한다.
도 12를 참조하면, 카메라(14)는 캡쳐 영역(32)의 중앙으로부터 벗어난 지점에서 작업공간(12) 위에서 미러(38)의 앞에 위치된다. 전술한 바와 같이, 카메라(14)에 대한 이 오프셋 위치는 프로젝터(16)의 광로를 가로막지 않고서 작업공간(12)에 있는 오브젝트를 촬영할 때의 구면 눈부심을 방지하는데 도움을 준다. 카메라(14)가 일반적으로 작업공간(12)의 정지 이미지 및 비디오 이미지를 선택적으로 캡쳐하기에 적합한 임의의 디지털 카메라를 나타내지만, 시스템을 위한 대부분의 어플리케이션에서는 고해상도 디지털 카메라가 이용될 것으로 예상된다. 본 명세서에 사용된 바와 같은 "고해상도" 디지털 카메라는 적어도 1200만 화소의 센서 어레이를 갖는 카메라를 의미한다. 더 낮은 해상도의 카메라는 몇몇의 기본적인 스캔 및 카피 기능을 위해 수용 가능할 수도 있지만, 현재 1200만 아래의 해상도는 전체 범위의 조작 및 공동작업을 위해 충분하게 세밀한 디지털 이미지를 생성하기에는 적합하지 않다. 고해상도 센서를 갖는 작은 크기의 고품질 디지털 카메라는 현재 상당히 흔하며, 다양한 카메라 제조업체로부터 상업적으로 이용 가능하다. 다수의 디지털 카메라에서 이용 가능한 고성능의 디지털 신호 처리(DSP) 칩과 짝을 이루는 고해상도 센서는 대부분의 시스템(10) 어플리케이션을 위한 수용 가능한 성능을 전달하기 위해 예컨대 1초 미만의 클릭-프리뷰 시간(click-to-preview time)과 같은 충분히 빠른 이미지 처리 시간을 제공한다.
다시 도 13을 참조하면, 도시된 예에서, 카메라 센서(50)는 작업 표면(24)의 평면에 평행한 평면으로 지향되며, 광이 시프트 렌즈(52)를 통해 센서(50)에 포커싱된다. 센서(50) 및 렌즈(52)에 대한 이 구성은 오브젝트 이미지에서의 디지털 키스톤 보정(digital keystone correction) 없이 광학적으로 키스톤 왜곡을 보정하기 위해 이용될 수 있다. 카메라(14)의 시계(field of view)는 카메라(14)가 이미지를 효과적으로 캡쳐할 수 있는 작업 공간(12)에서의 3차원 캡쳐 공간(51)을 규정한다. 캡쳐 공간(51)은 작업 표면(24) 상의 카메라 캡쳐 영역(32)에 의해 X 및 Y 차원에서 경계가 정해진다. 렌즈(52)는 캡쳐 공간(51)에 대응하는 고정된 거리, 고정된 초점, 및 고정된 줌에 최적화될 수 있다.
도 14를 참조하면, 프로젝터(16)는 프로젝터 디스플레이 영역(34) 외측에서 베이스(36)에 가까이 위치되고, 프로젝터(16)로부터의 광이 미러(38)로부터 작업공간(12) 내로 반사되도록 미러(38)에 포커싱된다. 프로젝터(16) 및 미러(38)는 프로젝터(16)가 이미지를 효과적으로 디스플레이할 수 있는 작업공간(12)의 3차원 디스플레이 공간(53)을 규정한다. 프로젝터 디스플레이 공간(53)은 카메라 캡쳐 공간(51)(도 12)과 중첩하고, 작업 표면(24) 상의 디스플레이 영역(34)에 의해 X 및 Y 차원에서 경계가 정해진다. 프로젝터(16)가 일반적으로 임의의 적합한 광 프로젝터를 나타내지만, 시스템(10)의 대부분의 어플리케이션에 대해서는 LED 또는 레이저 기반 DLP(디지털 광 처리) 프로젝터의 소형 크기 및 전력 효율이 바람직할 것이다. 프로젝터(16)는 또한 투영된 이미지에서의 완전한 광학 키스톤 보정을 허용하기 위해 시프트 렌즈를 채용할 수도 있다. 전술한 바와 같이, 미러(38)의 사용은 프로젝터의 유효 광로의 길이를 증가시켜, 프로젝터(16)의 오버헤드 배치를 모방하면서, 통합된 독립형 디바이스(40)에 대한 상업적으로 합리적인 높이를 가능하게 한다.
독립형 디바이스(40)로서의 시스템(10)에 적합한 특성의 일례가 표 1에 나타내어져 있다(표 1 내의 치수 자료는 도 5 및 도 6에 대한 것임).
(표 1)
Figure 112014011760644-pct00001
프로젝터(16)가 정지 캡쳐 및 비디오 캡쳐용의 카메라(14)를 위한 광원으로서 작용하므로, 프로젝터 광은 구면 눈부심으로부터 결함을 야기할 수도 있는 임의의 주변 광을 압도(swamp out)하기에 충분하도록 되어야 한다. 프로젝터 광 200 루멘 또는 그 이상이 시스템(10) 및 디바이스(40)에 대한 대표적인 데스크탑 어플리케이션을 위한 주변 광을 압도하기에 충분한 정도로 밝을 것으로 판명되었다. 비이오 캡쳐 및 실시간 비디오 공동작업을 위해, 프로젝터(16)는 오브젝트(20)를 조사(illuminate)하도록 백색광을 작업공간(12) 내에 비춘다. LED 프로젝터(16)의 경우, 백색광을 구성하는 적색, 녹색 및 청색 LED의 시간 순서(time sequencing)가 카메라(14)의 비디오 프레임 레이트와 동기된다. 프로젝터(16)의 리프레시 레이트와 각각의 LED 서브-프레임 리프레시 주기는 비디오 이미지에서의 "레인보우 밴딩(rainbow banding)" 및 기타 원하지 않은 작용을 방지하기 위해 각각의 캡쳐 프레임을 위한 카메라의 노출 시간의 정수(integral number)가 되어야 한다. 또한, 카메라의 비디오 프레임 레이트는 통상적으로 AC 라인 주파수의 2배로(예컨대, 60㎐ AC 파워 라인에 대해 120㎐) 플리커(flicker)하는 임의의 주변 형광 조명의 주파수와 동기되어야 한다. 주변 광 센서는 주변 광 주파수를 감지하고 그에 따라 카메라(14)를 위한 비디오 프레임 레이트를 조정하기 위해 이용될 수 있다. 정지 이미지 캡쳐를 위해, 프로젝터의 적색, 녹색 및 청색 LED는 작업공간(12)에서의 광 밝기를 증가시키기 위해 카메라 플래시와 동시에 턴온될 수 있어서, 주변광을 압도하는데 도움을 주고, 더 빠른 셔터 속도 및/또는 더 작은 애퍼처를 가능하게 하여 이미지에서의 잡음을 감소시킨다.
도면에 도시되고 위에 설명된 독립형 디바이스(40)에 통합되는 시스템(10)에 대한 일례의 구성은 제품 크기, 성능, 유용성(usability) 및 비용 간에 바람직한 균형을 달성한다. 프로젝터(16)를 위한 폴딩된 광로는 카메라(14)의 캡쳐 영역에서의 구면 눈부심을 방지하기 위해 작업공간(12) 위의 높은 곳에 있는 프로젝터의 효과적인 배치를 유지하면서 디바이스(40)의 높이를 감소시킨다. 프로젝터의 광로는 급경사의 각도로 수평 작업 표면(24)을 비추어(shine), 3D 오브젝트 이미지 캡쳐를 가능하게 한다. 더 긴 광로와 급경사 각도의 이러한 조합은 카메라 플래시를 위한 광 균일성을 최대화하기 위해 캡쳐 영역을 가로질러 줄어드는 광을 최소화한다. 이에 부가하여, 폴딩된 광로는 제품 안정성을 위해 베이스(36) 가까이에의 프로젝터(16)의 배치를 가능하게 한다.
시스템(10)에 사용하기에 적합한 입력 디바이스 및 기술은 예컨대 손가락 터치, 터치 제스처, 스타일러스, 인-에어 제스처(in-air gesture), 음성 인식, 헤드 트랙킹 및 아이 트랙킹(eye tracking)을 포함한다. 그래픽 사용자 인터페이스를 네비게이트하거나 또는 푸시(push), 플릭(flick), 스와이프(swipe), 스크롤(scroll), 핀치-투-줌(pinch-to-zoom), 및 투-핑거-로테이트(two-finger-rotate)와 같은 직관적 제스처 동작(intuitive gesture action)을 수행하기 위한 멀티-터치 인터페이스를 인에이블시키기 위해 터치 패드가 사용될 수 있다. 터치 패드 없이 인-에어 제스처링 또는 제한된 터치 및 터치 제스처 검지를 인에이블시키기 위해 구조 광(structured light), 타임-오브-플라이트(time-of-flight), 분산 광 패턴(disturbed light pattern), 또는 스테레오스코픽 비전(stereoscopic vision)을 이용하는 심도 카메라(depth camera)가 이용될 수도 있다. 터치-프리 디지털 스타일러스는 시스템(10)을 위한 사용자 입력(26)으로서 특히 적합하다. 그러므로, 도면에 도시된 예에서, 사용자 입력(26)은 적외선 디지털 스타일러스(28) 및 작업공간(12)에서 스타일러스(28)를 검지하기 위한 적외선 카메라(30)를 포함한다. 전술한 바와 같이, 터치-프리 디지털 스타일러스는 감지 패드 또는 다른 특수한 표면 없이도 작업 표면(24)을 따르는 것을 포함한 3차원의 입력을 허용하는 장점을 갖는다.
도 4 및 도 5를 참조하면, 입력 디바이스(26)는 적외선 스타일러스(28), 적외선 카메라(30) 및 스타일러스 충전 도크(54)를 포함한다. 스타일러스(28)는 적외선 조명(56), 터치에 기초하여 자동으로 적외선 조명(56)을 턴온 및 턴오프하기 위한 터치 감응식 니브 스위치(touch sensitive nib switch)(58), 및 적외선 조명(56)을 수동으로 턴온 및 턴오프하기 위한 수동 온/오프 스위치(60)를 포함한다(니브 스위치(58) 및 수동 스위치(60)는 도 4에 블록도로 도시됨). 적외선 조명(56)은 예컨대 카메라(30)와 적외선 조명(56) 간의 선명한 가시선(clear line-of-sight)을 유지하는데 도움을 주기 위해 도 15에 도시된 바와 같이 스타일러스(28)의 팁에 위치될 수도 있다. 적외선 조명(56)은 또한 적외선 조명이 온인지 또는 오프인지에 대한 사용자의 판정에 도움을 주기 위해 가시광을 방출할 수도 있다.
니브 스위치(58)는 예컨대 전통적인 기록 도구를 시뮬레이션하도록 약 2 gr의 힘에 대해 터치 감응할 수도 있다. 스타일러스의 니브가 작업 표면(24) 또는 또 다른 오브젝트를 터치할 때, 니브 스위치(58)는 접촉을 검지하고, 적외선 조명(56)을 턴온한다. 적외선 조명(56)의 턴온은 카메라(30)에 의해 검지되며, 카메라가 터치 접촉 이벤트(마우스 버튼 클릭 또는 터치 패드 상의 손가락 터치와 유사한)에 대해 신호를 보낸다. 카메라(30)가 접촉에 대해 신호를 보내는 것을 지속하여, 적외선 조명(56)이 위에 머무르고 있는 동안에는 스타일러스(28)의 어떠한 움직임도 트랙킹한다. 사용자는 표면을 트레이스하고 제어 기능을 활성화시키기 위해 스타일러스를 펜처럼 임의의 표면 상의 주위에 슬라이드할 수 있다. 스타일러스 니브가 더 이상 오브젝트와 접촉하지 않을 때, 적외선 조명(56)이 오프로 스위치되고, 카메라(30)가 접촉이 없음에 대해 신호를 보낸다. 수동 조명 스위치(60)는 논-터칭 이벤트(non-touching event)에 대해 신호를 보내도록 이용될 수 있다. 예컨대, 3차원 작업공간(12)에서 작업할 때, 사용자는 "가상의" 접촉 이벤트에 대해 수동으로 신호를 보냄으로써 작업 표면(24) 위의 투영된 이미지를 수정, 변경 또는 조작하기를 원할 수 있다.
적외선 카메라(30) 및 미러(38)는 적외선 카메라(30)가 스타일러스(28)로부터의 광을 효과적으로 검지할 수 있는 작업공간(12) 내의 3차원 적외선 캡쳐 공간(61)을 규정한다. 캡쳐 공간(61)은 작업 표면(24) 상의 적외선 카메라 캡쳐 영역(62)에 의해 X 및 Y 차원에서 경계가 정해진다. 도시된 예에서, 도 14와 도 15를 비교함으로써 최상으로 나타내진 바와 같이, 적외선 카메라 캡쳐 공간(61)은 프로젝터 디스플레이 공간(53)과 동일한 공간에 걸쳐 있다(coextensive). 그러므로, 적외선 카메라(30)는 디스플레이 공간(53)의 어느 곳에서도 스타일러스 활성화를 캡쳐할 수 있다.
도 16에 도시된 일례의 구현예에서, 프로젝터 시계와 적외선 카메라 시계가 일치하여 스타일러스(28)를 확인하는데 도움을 주고, 그에 따라 적외선 카메라(30)로부터의 트랙킹 신호가 작업공간(12)의 어느 곳에서도 프로젝터 디스플레이와 적절하게 정렬되도록, 카메라(30)가 투영 광로에 통합된다. 도 16을 참조하면, 프로젝터(16) 내의 적색, 녹색 및 청색 LED(66, 68, 70)에 의해 생성된 가시광(64)은 다양한 광학장치(72)(시프트 렌즈(74)를 포함한)를 통과하여 미러(38)(도 14)에 도달한다. 미러(38)로부터 프로젝터(16) 쪽으로 반사된 작업공간(12) 내의 스타일러스(28)로부터의 적외선광(75)은 적외선 빔 스플리터(78)에 의해 시프트 렌즈(80)를 통해 적외선 카메라 센서(76)로 향하게 된다(전술한 카메라(14)에 대한 일례의 구성과 유사하게, 카메라(30)를 위한 적외선 광 센서(76)가 작업 표면(24)의 평면에 평행한 평면으로 지향될 수 있고, 광이 완전한 광학 키스톤 보정(full optical keystone correction)을 위해 시프트 렌즈(80)를 통해 센서(76) 상에 포커싱된다).
몇몇 경제적인 구현예는 프로젝터(16) 및 적외선 카메라(30)를 도 16에 도시된 바와 같이 단일 하우징(82)에 함께 수용하는 것이 바람직할 수도 있다. 도 16에 도시된 적외선 카메라(30)를 위한 기하학적 구성은 스타일러스 트랙킹 신호가 스타일러스(28)가 작업 표면(24) 위에 어느 높이로 있는지에 상관없이 디스플레이와 정렬되도록 하는데 도움을 준다. 프로젝터 시계와 적외선 카메라 시계가 일치하지 않는다면, 작업 표면(24) 위의 1배보다 큰 높이에서의 스타일러스 트랙킹을 교정하는 것이 곤란하여, 요구된 스타일러스 입력 위치와 결과 디스플레이 위치 간의 시차 이동(parallax shift)의 위험을 발생할 수도 있다.
작업공간(12)이 대개는 오브젝트(20)를 지지하기 위한 물리적 작업 표면(24)을 포함할 것으로 예상되지만, 작업공간(12)은 또한 물리적 작업 표면 없이 전체적으로 투영된 작업 공간으로서 구현될 수 있다. 이에 부가하여, 작업공간(12)은 2차원 및 3차원 오브젝트로 작업하기 위한 3차원 작업공간 또는 단지 2차원 오브젝트로만 작업하기 위한 2차원 작업공간으로서 구현될 수 있다. 작업공간(12)의 구성이 대개는 시스템(10)의 하드웨어 및 프로그래밍 요소에 의해 대부분 결정될 것이지만, 작업공간(12)의 구성은 또한 물리적 작업 표면(24)의 특성에 의해 영향을 받게 될 수 있다. 그러므로, 시스템(10) 및 디바이스(40)를 위한 몇몇 예에서는, 디바이스(36)가 작동할 때에 가상의 작업공간이 물리적 작업공간에 나타나게 될 시스템(10)을 동반한다는 점에서 작업공간(12)이 시스템(10)의 일부분인 것으로 간주할 수 있으며, 다른 예에서는 작업공간(12)이 시스템(10)의 일부분이 아닌 것으로 간주할 수도 있다.
도 17 내지 도 19는 휴대용 투영 캡쳐 디바이스(40) 및 이 디바이스(40)에 연계된 상호작용식 작업공간(12)의 또 다른 예를 예시하는 투시도이다. 도 17 내지도 19를 참조하면, 휴대용 디바이스(40)는 캡쳐 영역(32) 내의(및 캡쳐 공간(51) 내의) 오브젝트(20)의 정지 이미지 및 비디오 이미지를 캡쳐하기 위한 디지털 카메라(14)와, 캡쳐 영역(32) 내의(및 캡쳐 공간(51) 내의) 오브젝트를 조사하고, 이미지를 디스플레이 영역(34) 상에(및 디스플레이 공간(53)에) 투영하기 위한 프로젝터(16)를 포함한다. 캡쳐 영역(32)에 위치된 2차원 오브젝트(20)(하드카피 사진)가 카메라(14)(도 17 및 도 18)에 의해 촬영되고, 오브젝트(20)가 캡쳐 영역(32)으로부터 이동되며, 오브젝트 이미지(22)가 디스플레이 영역(34)(도 19) 상에 투영되며, 이 디스플레이 영역에서 오브젝트 이미지가 카메라(14)에 의해 촬영되거나 및/또는 사용자에 의해 조작될 수 있다.
이 예에서, 디바이스(40)는 또한 카메라(14)로부터의 라이브 피드(live feed), 카메라(14)에 의해 이전에 캡쳐된 이미지, 또는 디스플레이 공간(53)에 투영된 그래픽 사용자 인터페이스(GUI)(86)를 통해 사용자에 의해 조작된 바와 같은 이미지의 표현을 선택적으로 디스플레이하기 위한 전자 디스플레이(84)를 포함한다(GUI(86)는 도 17 내지 도 19에 도시된 예에서는 디스플레이 영역(32) 상에 투영됨). 카메라(14), 프로젝터(16) 및 디스플레이(84)는 컨트롤러(18)를 통해 작동 가능하게 함께 접속되고, 단일 휴대용 디바이스(40)로서 하우징(13)에 함께 수용된다. 프로젝터(16)는 광을 디스플레이 공간(53) 내에 및 디스플레이 영역(34) 상에 직접 투영하기 위해 하우징(13) 내의 높은 곳에서 카메라(14) 아래에 위치된다. 프로젝터 디스플레이 공간(53) 및 디스플레이 영역(34)은 카메라 캡쳐 공간(51) 및 캡쳐 영역(32)과 중첩하여, 프로젝터(16)가 캡쳐 공간(51) 내의 및 캡쳐 영역(32) 상의 실제 오브젝트(20)의 이미지를 캡쳐하기 위한 카메라(14)를 위한 광원으로서 작용할 수 있게 되고, 또한 카메라(14)가 캡쳐 공간(51) 내에 및 캡쳐 영역(32) 상에 투영된 이미지(20)의 이미지를 캡쳐할 수 있게 된다.
컨트롤러(18)는 예컨대 도 17 및 도 18에서의 Capture 버튼(88) 및 도 19에서의 Undo, Fix 및 OK 버튼(90, 92, 94)과 같은 디바이스 제어 "버튼"을 포함하는 GUI(84)를 발생하도록 프로그래밍되고, 프로젝터(16)가 이 GUI를 투영한다. 도 17 내지 도 19에서의 디바이스(40)가 다른 사용자 입력 디바이스와 마찬가지로 보다 복작한 GUI 및 대응하는 제어 프로그래밍을 컨트롤러(18)에 포함할 수도 있지만, 도 17 내지 도 19의 디바이스 구성은 저렴한 소비자 데스크탑 제품 시장에 더욱 적합한 기본적인 디지털 복사 및 이미지 조작 기능을 예시한다.
하나의 카메라(14)와 하나의 프로젝터(16)를 갖는 도면에 도시된 시스템(10) 및 디바이스(40)의 예는 2개 이상의 카메라(14) 및/또는 2개 이상의 프로젝터(16)를 사용하는 것을 배제하지 않는다. 실제로, 시스템(10) 및 디바이스(40)를 위한 몇몇 어플리케이션에서는 하나보다 많은 카메라, 하나보다 많은 프로젝터, 또는 하나보다 많은 다른 시스템 부품을 포함하는 것이 바람직할 수도 있다.
공동작업 환경에서의 투영 캡쳐
도 20 내지 도 22는 투영 캡쳐 디바이스(40)를 다른 디바이스와 함께 사용하는 3가지 예의 시나리오를 예시하고 있다. 도 20의 사용 시나리오에서, 투영 캡쳐 디바이스(40)는 컴퓨터 워크스테이션(88) 및 모바일 디바이스(90)에 링크된다. 도 21의 사용 시나리오에서는, 복수의 투영 캡쳐 디바이스(40)가 서버(92)를 통해 함께 링크된다. 도 22의 사용 시나리오에서, 투영 캡쳐 디바이스(40), 컴퓨터 워크스테이션(88) 및 모바일 디바이스(90)가 서버(92)를 통해 함께 링크된다. 도 20 내지 도 22의 각각의 링크(94)는 일반적으로 전화통신 링크, 적외선 링크, 무선 주파수 링크 또는 링크된 디바이스들 간의 전자 통신을 가능하게 하는 임의의 다른 컨넥터 또는 시스템을 통한 케이블 접속, 무선 접속, 광섬유 접속, 또는 원격 접속 중의 하나 이상을 나타낸다. 개별 링크(94)가 도시되어 있지만, 복수의 디바이스가 동일한 링크를 이용할 수도 있다. 또한, 다른 사용 시나리오도 가능하다. 예컨대, 복수의 투영 캡쳐 디바이스(40)가 서버(92) 없이 함께 직접 링크될 수도 있다.
도 20 내지 도 22에 예시된 각각의 시나리오에서, 개개의 사용자가 디바이스(40, 88, 90)로 가상 오브젝트를 작성, 조작, 전송 및 저장할 수 있으며, 복수의 사용자가 실제 오브젝트와 가상 오브젝트를 섞어서 디바이스(40, 88, 90) 간에 공동작업할 수 있다. 가상 오브젝트는, 예컨대, 투영 캡쳐 디바이스(40)에서의 투영된 이미지로서 렌더링된 디지털 컨텐츠뿐만 아니라 다른 디바이스(88, 90)에서 슬라이드, 도큐먼트, 디지털 사진 등으로서 디스플레이 상에 렌더링된 디지털 컨텐츠를 포함한다. 도 1a, 도 1b, 도 2 및 도 3을 참조하여 전술한 바와 같이, 각각의 투영 캡쳐 디바이스(40)는 오브젝트(20)의 이미지를 카메라(14)에 의해 캡쳐한 때의 오브젝트(20)의 위치와 동일한 작업공간(24)의 위치에 오브젝트 이미지(22)를 투영하도록 구성될 수 있다. 그러므로, 오브젝트(20)의 일대일 축척 디지털 복사본(22)이 원본 위에 투영되어, 그 장소에서의 디지털 복사본이 디바이스(40)에서 투영되거나 또는 디바이스(88, 90)에서 디스플레이되는 작업공간(12)에서 공동작업하는 원격 사용자에 의해 요구된 바대로 조작, 이동 및 변경될 수 있다. 예컨대 투영 디바이스(40)에 대한 IR 스타일러스(28)로부터의 입력 또는 "핀치 투 줌(pinch to zoom)"과 같은 터치 및 제스처 인식 및/또는 컴퓨팅 디바이스(88, 90)를 위한 디지털 파일의 변경을 포함한 어떠한 적합한 변경 기술도 이용될 수 있다. 투영된 이미지는 또한 원본으로부터 멀리 시프트되어, 사용자로 하여금 동일한 작업공간(12)에서 원본 및 복사본과 함께 작업할 수 있도록 한다.
도 23은 오디오 및 비디오 통신 회의 특징부(96)를 포함하는 투영 캡쳐 디바이스(40)의 일례를 예시하는 블록도이다. 도 23을 참조하면, 통신 회의 특징부(96)는 정면 카메라(98), 마이크로폰(100) 및 스피커(102)를 포함한다. 통신 회의 특징부(96)의 추가에 의해 디바이스(40)가 완전한 특징의 공동작업 툴(full featured collaboration tool)로서 기능할 수 있게 된다. 도 23에서의 투영 캡쳐 디바이스(40)는 또한 작업공간에서의 실제 오브젝트와 가상 오브젝트를 구별하기 위한 오브젝트 인식 디바이스(104)를 포함한다. 도시된 예에서, 오브젝트 인식 디바이스(104)는 적외선 카메라(106) 및 적외선 조명(108)을 포함한다. 작업공간 카메라(14)가 실제 오브젝트와 투영된 이미지(가상 오브젝트)를 볼 경우에, 적외선 카메라(106)는 단지 실제 오브젝트만을 볼 것이다. 그러므로, 카메라(14, 106)로부터의 비디오 스트림(또는 정지 이미지 데이터)이 예컨대 컨트롤러(18) 상에 상주하는 프로그래밍을 통해 작업공간에서의 실제 오브젝트를 가상 오브젝트와 구별하기 위해 이용될 수 있다.
LED, 레이저 또는 다른 적합한 적외선 조명(108)이 오브젝트 인식을 향상시키기 위해 작업공간을 조사하도록 카메라(106)와 함께 이용될 수 있다. 또한, 오브젝트 인식(카메라(106)) 및 IR 스타일러스(도 4, 도 15 및 도 16에서의 카메라(30)) 감지 둘 모두를 위해 동일한 적외선 카메라를 이용하는 것도 가능할 것이지만, 오브젝트 인식을 위한 카메라 프레임 레이트가 보편적으로는 스타일러스 위치를 감지하기 위한 프레임 레이트 만큼 높게 될 필요는 없을 것이고, 더 높은 해상도를 요구할 수도 있는 것으로 예상된다. 결과적으로, 몇몇 구현예에 대해서는 오브젝트 인식 및 스타일러스 감지를 위해 별도의 적외선 카메라를 이용하는 것이 바람직할 수 있다. IR 카메라(106)는 적합한 오브젝트 인식 디바이스(104)의 일례일 뿐이며, 다른 구현예도 가능하다. 작업공간에서의 실제 오브젝트와 가상 오브젝트를 구별하기 위해 IR 카메라 대신에 예컨대 심도 카메라가 디바이스(40)에 이용될 수 있다.
도 24는 공동작업 환경에서의 도 23으로부터의 투영 캡쳐 디바이스(40)를 구현하기 위한 프로그래밍 및 신호 처리를 위한 일례의 아키텍처를 예시하고 있다. 이 예에서, 실제 오브젝트와 가상 오브젝트는 별도로 관리된다. 작업공간 카메라(14)로 캡쳐된 실제 오브젝트는 모션 비디오를 통해 관리되는 한편, 가상 오브젝트는 비트맵 이미지, 벡터 그래픽 오브젝트 및 텍스트와 같은 정지 이미지 그래픽 요소를 통해 관리된다. 독립형 투영 캡쳐 디바이스(40)에 대해, 도 24에 도시된 블록은 컨트롤러(18)에서 구현된다. 도 24를 참조하면, 작업공간 카메라(14) 및 전방 카메라(98)로부터의 비디오 스트림은 인출 비디오 관리부(outgoing video manager)(110)로 진행되며, 이 관리부에서 비디오 스트림이 블록 112에서의 링크된 디바이스에 출력된다. 작업공간 카메라로부터의 정지 이미지는 오브젝트 관리부(114)에 경로배정된다. 오브젝트 관리부(114)는, 블록 116에서의 프로젝터 디스플레이를 위한 이미지 오브젝트의 합성과 블록 118에서의 링크된 디바이스로의 출력을 위한 이미지 오브젝트의 합성을 포함하는, 디지털 컨텐츠를 저장하고 조작하는 시스템 부품이다. 회의 마이크로폰(100)으로부터의 오디오 신호는 인출 오디오 관리부(120)로 진행되며, 이 관리부(120)에서 오디오 신호가 블록 112에서의 링크된 디바이스로 출력된다. 블록 122에서의 링크된 디바이스로부터의 입력은 적절한 관리부에 경로배정되어, 정지 이미지가 오브젝트 관리부(114)에 경로배정되고, 비디오가 오브젝트 합성(116) 및 프로젝터(16)에의 출력을 위한 인입 비디오 관리부(incoming video manager)(124)에 경로배정되고, 오디오가 스피커(102)로의 출력을 위한 인입 오디오 관리부(126)에 경로배정된다.
실제 오브젝트와 가상 오브젝트 간의 상호작용을 관리하기 위한 일례를 도 25 내지 도 28을 참조하여 설명한다. 이 예에서, 실제 오브젝트와 가상 오브젝트는, 투영 캡쳐 디바이스로 하여금 자신의 작업공간을 해석하고 제어할 수 있도록 하고, 공동작업 환경에서 각각의 사용자가 근거리 오브젝트 및 원격 오브젝트와 효과적으로 상호작용하는데 도움을 주도록 하는, 시각적으로 상호교환 가능한 논리 계층(visually interchangeable logical layer)으로서 처리된다. 도 25는 투영 캡쳐 디바이스 컨트롤러(18) 상에 상주하는 프로그래밍 모듈(128)을 통해 이러한 계층화 기술을 구현하는 일례를 예시하는 블록도이다. 계층화 모듈(128)은 실제 오브젝트를 하나의 시각적 계층(또는 계층의 세트)에 연계시키고, 가상 오브젝트를 또 다른 시각적 계층(또는 계층의 세트)에 연계시킨다. 도 24를 참조하여 전술한 바와 같이, 작업공간 카메라(14)로 캡쳐된 실제 오브젝트는 디지털 모션 비디오를 통해 관리되는 한편, 가상 오브젝트는 디지털 정지 이미지 그래픽 요소를 통해 관리된다. 오브젝트 관리부(114)는 계층화 모듈(128)에서 구현되는 시각적 계층화를 포함한 디지털 컨텐츠를 저장하고 조작한다. 일례에서, 각각의 비디오 이미지 디지털 요소 및 정지 이미지 디지털 요소는 XYZ 좌표계에서의 위치에 연관된다. 계층화 모듈(128)은 각각의 요소의 상대 위치의 특징을 좌표계의 각각의 평면, 즉 XY 평면, XZ 평면 및 YZ 평면에서의 계층으로 나타내기 위해 XYZ 위치 정보를 이용한다. 각각의 요소의 시각적 위치는 대응하는 계층(들)을 조작함으로써 변경될 수 있다. 예컨대, 하나의 오브젝트(또는 오브젝트에서의 요소)에 대한 XY 계층이 처음에는 또 다른 오브젝트에 대한 XY 계층 위에 있는 것으로 보이게 되는 경우, 컨트롤러(18)는 하나의 계층 또는 둘 모두의 계층을 Z 방향으로 이동시킴으로써 시각적 위치설정을 변경할 수 있다.
계층화 기술의 예시에 도움을 주기 위해 도 26 및 도 27을 참조하여 설명이 이루어질 것이다. 도 26은 투영 캡쳐 디바이스(40)와, 실제 체커(real checker)(130)가 작업 표면(24) 상에 투영된 가상의 체커보드(132) 상에 위치되는 작업공간(12)을 도시하고 있다. 작업공간(12)은 또한 예컨대 도 22에서의 하나 이상의 링크된 디바이스(40, 88, 90)로부터의 디지털 컨텐츠를 이용하여 체커보드(132) 상에 투영된 가상 체커(134)를 포함한다. 도 26에서 실선은 실제 오브젝트를 나타내고, 파선은 가상 오브젝트를 나타낸다. 도 27은 도 26에서의 오브젝트에 대한 Z축 계층화를 예시한다. 2배의(왕의) 체커의 Z축 위치는 계층(138)의 상단 상의 논리 계층(136)에 의해 표현된다. 계층(138)은 계층(140)의 상단 상의 단일 체커의 위치를 표현한다. 계층(140)은 작업 표면(24)의 위치를 표현하는 계층(142)의 상단 상의 가상 체커보드(132)의 위치를 표현한다. 오브젝트 또는오브젝트 내의 요소의 위치가 논리 계층에 연관된 후, 계층화 모듈(128)(도 25)은 계층의 시각적 순서에 대한 상태 정보를 유지한다. 시각적 관계가 변경될 때에, 예컨대 도 26에서의 체커가 이동될 때에, 계층은 디지털 요소 중의 하나 이상의 요소에 연관된 새로운 위치 데이터에 따라 다른 순서로 된다.
일반적으로 그리고 도 28의 흐름도를 도 23 및 도 25의 블록도와 함께 참조하면, 컨트롤러(18)는 예컨대 작업공간 카메라(14) 및 오브젝트 인식 디바이스(104)를 이용하여 단계 202에서 작업공간(12) 내의 실제 오브젝트의 존재 및 위치 지점을 식별한다. 단계 204에서는, 계층화 모듈(128)이 실제 오브젝트를 제1 논리 계층(또는 3차원 공간 위치설정을 위해서는 논리 계층의 제1 세트)에 연계시킨다. 단계 206에서는, 가상 오브젝트(오브젝트 이미지)가 제2 논리 계층에 대응하는 위치 지점에서 작업공간(12)에 투영된다. 그리고나서, 오브젝트 중의 하나의 오브젝트의 위치의 변화에 응답하여, 또는 몇몇 기타 사용자 입력에 응답하여, 단계 208에서는, 계층화 모듈(128)이 변화/입력을 반영하기 위해 논리 계층들의 시각적 인접성(visual adjacency)을 변경한다. 예컨대, 제1 계층은 처음에는 작업 표면(24)에 시각적으로 인접할 수도 있고, 제2 계층은 제1 계층에 시각으로 인접할 수도 있다. 변화/입력에 응답하여, 계층의 순서가 반대로 되어, 제2 계층이 작업 표면(24)에 시각적으로 인접하게 되고, 제1 계층이 제2 계층에 시각적으로 인접하게 된다.
도 20 내지 도 22에 도시된 것과 같은 공동작업 환경에서의 투영 캡쳐 시스템(10)의 사용(예컨대 휴대용 디바이스(40)를 통한)은 각각의 공동작업자로 하여금 근거리 및 원격 오브젝트 둘 모두를 보고 상호작용할 수 있도록 한다. 링크된 디바이스들 간의 라이브 비디오 피드는 다양한 상이한 입력 디바이스 및 기술을 통해 사용자 입력을 실시간으로 공유한다. 모든 참여자가 투영 캡쳐 디바이스(40)(또는 시스템(10))를 이용하고 있을 때에는 공동작업자 상호작용이 더욱 광범위하게 될 수도 있지만, 효과적인 공동작업 환경은 상이한 타입의 디바이스를 이용하는 것이 가능하다. 한 명의 참여자가 투영 캡쳐 시스템(10)을 이용하고, 다른 참여자가 시스템(10) 클라이언트 프로그래밍을 실행하는 디바이스를 이용하는 경우에는, 흥미로운 협력 작업이 가능하다. 이러한 "합성된" 환경에서는, 시스템(10) 작업공간과 상호작용하는 대신, 참여자는 클라이언트 프로그래밍을 통해 상호작용하기 위해 마우스, 키보드 또는 터치패드를 이용할 것이다. 투영 디스플레이 대신, 공동작업 디바이스(88 또는 90) 상의 클라이언트 프로그래밍은 컴퓨터 작업공간에서 윈도우 디스플레이를 이용할 수도 있다. 그리고, 오버헤드 카메라 대신에, 클라이언트 어플리케이션은 오브젝트 이미지를 캡쳐하기 위해 스크린샷을 사용할 수 있다.
본 상세한 설명의 서두에서 언급한 바와 같이, 도면에 도시되고 앞에서 설명한 예들은 본 발명을 제한하려는 것이 아니라 본 발명을 예시하기 위한 것이다. 다른 예, 실시예 및 구현예 또한 가능하다. 따라서, 전술한 설명은 본 발명의 범위를 한정하는 것으로 해석되지 않아야 하며, 본 발명의 범위는 첨부된 청구범위에 의해 정해진다.

Claims (15)

  1. 투영 캡쳐 시스템에 있어서,
    컨트롤러;
    상기 컨트롤러에 작동 가능하게(operatively) 접속되어, 작업공간 내의 오브젝트의 정지 이미지 및 비디오 이미지를 캡쳐하는 작업공간 카메라;
    상기 컨트롤러에 작동 가능하게 접속되는 프로젝터; 및
    상기 컨트롤러에 작동 가능하게 접속되는 오브젝트 인식 디바이스
    를 포함하며,
    상기 컨트롤러는,
    상기 작업공간 내의 실제 오브젝트의 이미지를 캡쳐하고, 오브젝트 이미지를 상기 작업공간에 투영하도록, 상기 작업공간 카메라 및 상기 프로젝터를 제어하도록 구성되고,
    상기 오브젝트 이미지가 상기 작업공간에서 변경되는 때에 상기 오브젝트 이미지의 이미지를 캡쳐하고, 변경된 오브젝트 이미지를 상기 작업공간에 투영하도록, 상기 작업공간 카메라 및 상기 프로젝터를 제어하도록 구성되고,
    상기 오브젝트 인식 디바이스는,
    상기 작업공간 내의 실제 오브젝트를 상기 작업공간에 투영된 오브젝트 이미지와 구별하기 위한 것이고,
    적외선 카메라 및 적외선 조명을 포함하는,
    투영 캡쳐 시스템.
  2. 제1항에 있어서,
    상기 컨트롤러는, 상기 오브젝트 이미지를 상기 실제 오브젝트의 일대일 축척 디지털 복사본(digital duplicate)으로서 상기 작업공간에 투영하도록, 상기 프로젝터를 제어하도록 구성되는, 투영 캡쳐 시스템.
  3. 제2항에 있어서,
    상기 컨트롤러는, 상기 오브젝트 이미지를, 상기 작업공간에서, 상기 오브젝트 이미지가 캡쳐된 때의 상기 실제 오브젝트에 의해 점유된 것과 동일한 위치에 투영하도록, 상기 프로젝터를 제어하도록 구성되는, 투영 캡쳐 시스템.
  4. 제1항에 있어서,
    상기 컨트롤러, 상기 작업공간 카메라 및 상기 프로젝터는 하나의 휴대용 유닛으로서 함께 수용되는, 투영 캡쳐 시스템.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 컨트롤러에 작동 가능하게 접속되는 입력/출력으로서, 상기 입력/출력을 통해 디지털 정보가 투영 캡쳐 디바이스 외부의 디바이스로부터 수신되고 상기 외부 디바이스에 전송될 수 있는, 입력/출력; 및
    상기 입력/출력에 작동 가능하게 각각 접속되어, 비디오 및 오디오 정보를 외부 디바이스에 전송하고, 외부 디바이스로부터 비디오 및 오디오 정보를 수신하는, 화상 회의 카메라, 마이크로폰, 및 스피커
    를 더 포함하는, 투영 캡쳐 시스템.
  8. 제7항에 있어서,
    상기 컨트롤러, 상기 카메라들, 상기 프로젝터, 상기 입력/출력, 상기 마이크로폰, 및 상기 스피커는 하나의 휴대용 유닛으로서 함께 수용되는, 투영 캡쳐 시스템.
  9. 프로그래밍을 포함하고 있는 프로세서 실행 가능 매체로서, 상기 프로그래밍은, 실행될 시에,
    카메라로 하여금 제1 작업공간 내의 실제 오브젝트의 이미지를 캡쳐하도록 하고,
    프로젝터로 하여금 오브젝트 이미지를 상기 실제 오브젝트의 일대일 축척 디지털 복사본으로서 상기 제1 작업공간에 투영하도록 하고,
    복수의 작업공간의 하나 이상의 작업공간에서의 상기 오브젝트 이미지를 변경하는 것을 허용하고,
    복수의 프로젝터의 각각으로 하여금, 변경된 오브젝트 이미지를 상기 제1 작업공간을 포함하는 각자의 복수의 작업공간의 각각에 동시에 투영하도록 하고,
    오브젝트 인식 디바이스로 하여금, 상기 제1 작업공간 내의 실제 오브젝트를 상기 제1 작업공간에 투영된 오브젝트 이미지와 구별하도록 하고,
    상기 오브젝트 인식 디바이스는 적외선 카메라 및 적외선 조명을 포함하는,
    프로세서 실행 가능 매체.
  10. 제9항에 있어서,
    실행될 시에, 상기 프로젝터로 하여금 상기 오브젝트 이미지를, 상기 제1 작업공간에서, 상기 오브젝트 이미지가 캡쳐된 때에 상기 실제 오브젝트에 의해 점유된 동일한 위치에 투영하도록 하는 프로그래밍을 더 포함하는, 프로세서 실행 가능 매체.
  11. 제9항에 있어서,
    실행될 시에, 복수의 프로젝터의 각각으로 하여금, 상기 오브젝트 이미지를 상기 제1 작업공간을 포함하는 각자의 복수의 작업공간의 각각에 동시에 투영하도록 하는 프로그래밍을 더 포함하는, 프로세서 실행 가능 매체.
  12. 삭제
  13. 작업공간 공동작업 방법에 있어서,
    제1 작업공간 내의 실제 오브젝트의 디지털 이미지를 캡쳐하는 단계;
    오브젝트 이미지를 상기 제1 작업공간을 포함한 복수의 작업공간에 동시에 투영하는 단계;
    상기 오브젝트 이미지가 상기 작업공간의 하나의 작업공간에서 변경되고 있는 때에 변경된 오브젝트 이미지의 디지털 이미지를 캡쳐하는 단계;
    변경된 오브젝트 이미지를 상기 제1 작업공간을 포함한 복수의 작업공간에 동시에 투영하는 단계; 및
    오브젝트 인식 디바이스에 의해, 상기 제1 작업공간 내의 실제 오브젝트를 상기 제1 작업공간에 투영된 오브젝트 이미지와 구별하는 단계
    를 포함하고,
    상기 오브젝트 인식 디바이스는 적외선 카메라 및 적외선 조명을 포함하는,
    작업공간 공동작업 방법.
  14. 제13항에 있어서,
    상기 오브젝트 이미지를 복수의 작업공간에 동시에 투영하는 단계는, 상기 오브젝트 이미지를 상기 제1 작업공간에서 상기 실제 오브젝트 상에 투영하는 단계를 포함하는, 작업공간 공동작업 방법.
  15. 제13항에 있어서,
    상기 오브젝트 이미지를 복수의 작업공간에 투영하는 단계는, 실제 오브젝트의 일대일 축척 디지털 복사본의 이미지를 상기 복수의 작업공간에 투영하는 단계를 포함하는, 작업공간 공동작업 방법.
KR1020147003145A 2011-07-29 2011-11-02 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법 KR101795644B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
PCT/US2011/045983 WO2013019190A1 (en) 2011-07-29 2011-07-29 System and method of visual layering
USPCT/US2011/045983 2011-07-29
USPCT/US2011/046253 2011-08-02
PCT/US2011/046253 WO2013019217A1 (en) 2011-08-02 2011-08-02 Projection capture system and method
PCT/US2011/053947 WO2013019252A1 (en) 2011-08-02 2011-09-29 Portable projection capture device
USPCT/US2011/053947 2011-09-29
PCT/US2011/058896 WO2013019255A1 (en) 2011-07-29 2011-11-02 Projection capture system, programming and method

Publications (2)

Publication Number Publication Date
KR20140054025A KR20140054025A (ko) 2014-05-08
KR101795644B1 true KR101795644B1 (ko) 2017-11-08

Family

ID=47629571

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147003145A KR101795644B1 (ko) 2011-07-29 2011-11-02 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법

Country Status (7)

Country Link
US (2) US9369632B2 (ko)
EP (1) EP2748675B1 (ko)
JP (1) JP5941146B2 (ko)
KR (1) KR101795644B1 (ko)
CN (1) CN104024936A (ko)
BR (1) BR112014002186B1 (ko)
WO (1) WO2013019255A1 (ko)

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110165923A1 (en) 2010-01-04 2011-07-07 Davis Mark L Electronic circle game system
EP2529333A4 (en) * 2010-01-28 2013-10-23 Pathway Innovations And Technologies Inc DOCUMENT IMAGING SYSTEM WITH A CAMERA SCANNER DEVICE AND A PC-BASED PROCESSING SOFTWARE
KR101773988B1 (ko) * 2011-07-29 2017-09-01 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 시각적 계층화 시스템 및 시각적 계층화 방법
SE1200428A1 (sv) * 2012-07-09 2012-10-22 Electrolux Ab Anordning för köket
US9317109B2 (en) 2012-07-12 2016-04-19 Mep Tech, Inc. Interactive image projection accessory
GB2505708B (en) * 2012-09-11 2015-02-25 Barco Nv Projection system with safety detection
KR102001218B1 (ko) * 2012-11-02 2019-07-17 삼성전자주식회사 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
JP5787099B2 (ja) * 2012-11-06 2015-09-30 コニカミノルタ株式会社 案内情報表示装置
JPWO2014073345A1 (ja) * 2012-11-09 2016-09-08 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータ読み取り可能な記録媒体
JP6167511B2 (ja) * 2012-12-04 2017-07-26 セイコーエプソン株式会社 書画カメラ、書画カメラの制御方法
CN103869961A (zh) * 2012-12-18 2014-06-18 联想(北京)有限公司 投影仪和摄像机交互的方法及系统
US10268885B2 (en) 2013-04-15 2019-04-23 Microsoft Technology Licensing, Llc Extracting true color from a color and infrared sensor
US9866768B1 (en) * 2013-04-29 2018-01-09 The United States Of America, As Represented By The Secretary Of Agriculture Computer vision qualified infrared temperature sensor
KR101832042B1 (ko) * 2013-07-31 2018-02-23 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 프로젝터 유닛 및 컴퓨터를 가진 시스템
US20150049078A1 (en) * 2013-08-15 2015-02-19 Mep Tech, Inc. Multiple perspective interactive image projection
US10126880B2 (en) * 2013-08-22 2018-11-13 Hewlett-Packard Development Company, L.P. Projective computing system
US10114512B2 (en) 2013-09-30 2018-10-30 Hewlett-Packard Development Company, L.P. Projection system manager
JP6349838B2 (ja) * 2014-01-21 2018-07-04 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出装置の制御方法
EP3100136A4 (en) * 2014-01-31 2018-04-04 Hewlett-Packard Development Company, L.P. Touch sensitive mat of a system with a projector unit
WO2015116157A2 (en) * 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Display unit manager
US9489724B2 (en) * 2014-03-31 2016-11-08 The Boeing Company Three-dimensional stereoscopic projection on complex surfaces
US9355498B2 (en) * 2014-06-19 2016-05-31 The Boeing Company Viewpoint control of a display of a virtual product in a virtual environment
US20160028781A1 (en) * 2014-07-22 2016-01-28 International Business Machines Corporation Surface computing based social interaction
US10664090B2 (en) * 2014-07-31 2020-05-26 Hewlett-Packard Development Company, L.P. Touch region projection onto touch-sensitive surface
US20170220234A1 (en) * 2014-07-31 2017-08-03 Hewlett-Packard Development Company, Lp Implicitly grouping annotations with a document
WO2016018416A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Determining the location of a user input device
WO2016018372A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. White flash generation from a light emitting diode (led) projector
WO2016018406A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Image projection and capture with adjustment for white point
WO2016018413A1 (en) * 2014-07-31 2016-02-04 Hewlett-Packard Development Company, L.P. Object capture and illumination
WO2016022096A1 (en) * 2014-08-04 2016-02-11 Hewlett-Packard Development Company, L.P. Workspace metadata management
KR101566543B1 (ko) * 2014-09-03 2015-11-05 재단법인 실감교류인체감응솔루션연구단 공간 정보 증강을 이용하는 상호 인터랙션을 위한 방법 및 시스템
WO2016039713A1 (en) * 2014-09-08 2016-03-17 Hewlett-Packard Development Company, L.P. Capture and projection of an object image
WO2016039769A1 (en) * 2014-09-12 2016-03-17 Hewlett-Packard Development Company, L.P. Developing contextual information from an image
WO2016048313A1 (en) 2014-09-24 2016-03-31 Hewlett-Packard Development Company, L.P. Transforming received touch input
US20170201721A1 (en) * 2014-09-30 2017-07-13 Hewlett Packard Enterprise Development Lp Artifact projection
EP3201724A4 (en) * 2014-09-30 2018-05-16 Hewlett-Packard Development Company, L.P. Gesture based manipulation of three-dimensional images
EP3201723A4 (en) * 2014-09-30 2018-05-23 Hewlett-Packard Development Company, L.P. Identification of an object on a touch-sensitive surface
US9961265B2 (en) * 2014-10-06 2018-05-01 Shafiq Ahmad Chaudhry Method for capturing and storing historic audiovisual data via a digital mirror
EP3213504B1 (en) 2014-10-28 2022-04-13 Hewlett-Packard Development Company, L.P. Image data segmentation
US10417801B2 (en) 2014-11-13 2019-09-17 Hewlett-Packard Development Company, L.P. Image projection
US20160173840A1 (en) * 2014-12-10 2016-06-16 Casio Computer Co., Ltd. Information output control device
CN106033257B (zh) * 2015-03-18 2019-05-31 联想(北京)有限公司 一种控制方法和装置
US10210607B1 (en) * 2015-04-08 2019-02-19 Wein Holding LLC Digital projection system and method for workpiece assembly
US10306193B2 (en) 2015-04-27 2019-05-28 Microsoft Technology Licensing, Llc Trigger zones for objects in projected surface model
US20160316113A1 (en) * 2015-04-27 2016-10-27 Microsoft Technology Licensing, Llc Integrated processing and projection device with object detection
US20160329006A1 (en) * 2015-05-04 2016-11-10 Microsoft Technology Licensing, Llc Interactive integrated display and processing device
US20170090272A1 (en) * 2015-05-12 2017-03-30 Muneer Ayaad Foldable camera and projector with code activated controls
JP6808623B2 (ja) * 2015-07-08 2021-01-06 ソニーセミコンダクタソリューションズ株式会社 固体撮像素子および駆動方法、並びに電子機器
US20180091733A1 (en) * 2015-07-31 2018-03-29 Hewlett-Packard Development Company, L.P. Capturing images provided by users
US10239225B1 (en) 2016-01-14 2019-03-26 Wein Holding LLC Automated system and method to enhance safety and strength of wood truss structures
US10567449B2 (en) 2016-02-17 2020-02-18 Meta View, Inc. Apparatuses, methods and systems for sharing virtual elements
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
JP2018006818A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 画像読取方法及び画像読取装置
US10957500B2 (en) * 2016-07-15 2021-03-23 Apple Inc. Keyboard backlighting with reduced driver circuitry
WO2018022130A1 (en) * 2016-07-27 2018-02-01 Scannmen Ltd. Hybrid 3d optical scanning system
KR20190050774A (ko) * 2016-09-13 2019-05-13 소니 주식회사 검출 기능 구비 표시 장치
US10493636B1 (en) 2016-09-26 2019-12-03 Wein Holding LLC Automated system and method for lumber picking
WO2019013758A1 (en) * 2017-07-11 2019-01-17 Hewlett-Packard Development Company, L.P. PROJECTION CALIBRATION
FR3075425A1 (fr) * 2017-12-14 2019-06-21 Societe Bic Appareil pour application de realite augmentee
CN107966781B (zh) * 2017-12-25 2020-03-27 中国航空工业集团公司洛阳电光设备研究所 一种透视型显示光学系统中反射镜收放及调整装置
WO2019147390A2 (en) 2018-01-26 2019-08-01 Vehicle Hail Scan Systems, Llc Vehicle surface scanning system
DE102018203344A1 (de) * 2018-03-07 2019-09-12 BSH Hausgeräte GmbH Interaktionsmodul
TWI656362B (zh) * 2018-03-26 2019-04-11 仁寶電腦工業股份有限公司 電子裝置及其物件重製方法
CN110719429B (zh) * 2018-07-12 2022-01-11 视联动力信息技术股份有限公司 一种基于视联网的高拍仪处理方法及装置
FR3084173A1 (fr) * 2018-07-18 2020-01-24 Holomake Systeme d'asservissement mecanique motorise d'un plan holographique pour le guidage manuel de precision
WO2020027818A1 (en) * 2018-07-31 2020-02-06 Hewlett-Packard Development Company, L.P. Determining location of touch on touch sensitive surfaces
US11605183B2 (en) 2019-09-30 2023-03-14 Konica Minolta Business Solutions U.S.A., Inc. Aligning and merging contents from multiple collaborative workstations
US11574395B2 (en) 2020-11-25 2023-02-07 Vehicle Service Group, Llc Damage detection using machine learning
US11368651B1 (en) * 2021-03-15 2022-06-21 Amazon Technologies, Inc. Audiovisual device
US11949997B2 (en) 2021-03-15 2024-04-02 Amazon Technologies, Inc. Electronic device with shutter assembly
JP2023011264A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
JP2023011263A (ja) * 2021-07-12 2023-01-24 トヨタ自動車株式会社 仮想現実シミュレータ及び仮想現実シミュレーションプログラム
US11758089B2 (en) * 2021-08-13 2023-09-12 Vtech Telecommunications Limited Video communications apparatus and method
TWI796921B (zh) 2022-01-03 2023-03-21 大立光電股份有限公司 光機引擎及投影裝置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020180726A1 (en) * 2000-11-06 2002-12-05 Jianbo Shi Paper-based remote sketching system
WO2007004502A1 (ja) * 2005-06-30 2007-01-11 Ricoh Company, Ltd. 投影画像表示装置

Family Cites Families (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4986651A (en) 1989-08-04 1991-01-22 Minnesota Mining And Manufacturing Company Overhead projector with centerless Fresnel lens reflective stage
EP0622722B1 (en) 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
GB9614837D0 (en) * 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
AU4109097A (en) 1996-09-12 1998-04-17 Eidgenossische Technische Hochschule Zurich Interaction area for data representation
JPH10222436A (ja) 1997-02-12 1998-08-21 Meidensha Corp プログラムとデータの転送方法
GB2359895B (en) * 2000-03-03 2003-09-10 Hewlett Packard Co Camera projected viewfinder
US6965460B1 (en) 2000-08-08 2005-11-15 Hewlett-Packard Development Company, L.P. Method and system for scanning an image using a look-down linear array scanner
US6431711B1 (en) 2000-12-06 2002-08-13 International Business Machines Corporation Multiple-surface display projector with interactive input capability
US7259747B2 (en) 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
JP2003152851A (ja) * 2001-11-14 2003-05-23 Nec Corp 携帯端末装置
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
EP1387211B1 (en) * 2002-07-15 2005-05-25 Sony International (Europe) GmbH Image recording device combined with image projection capabilities
US20040095562A1 (en) 2002-11-20 2004-05-20 John Moffatt Combination scanner/projector
JP3927168B2 (ja) 2002-11-25 2007-06-06 日本電信電話株式会社 実世界オブジェクト認識方法および実世界オブジェクト認識システム
US6840627B2 (en) 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
JP4401728B2 (ja) 2003-09-30 2010-01-20 キヤノン株式会社 複合現実空間画像生成方法及び複合現実感システム
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
JP4533641B2 (ja) * 2004-02-20 2010-09-01 オリンパス株式会社 携帯型プロジェクタ
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7432917B2 (en) 2004-06-16 2008-10-07 Microsoft Corporation Calibration of an interactive display system
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7557966B2 (en) 2004-08-11 2009-07-07 Acushnet Company Apparatus and method for scanning an object
US20060126128A1 (en) 2004-12-15 2006-06-15 Lexmark International, Inc. Scanning assembly
JP4568121B2 (ja) * 2005-01-04 2010-10-27 日本電信電話株式会社 遠隔作業支援システム、遠隔作業支援方法及びプログラム
US7843470B2 (en) 2005-01-31 2010-11-30 Canon Kabushiki Kaisha System, image processing apparatus, and information processing method
JP5153615B2 (ja) 2005-04-11 2013-02-27 ポリビジョン コーポレイション 自動投影キャリブレーション
JP4670053B2 (ja) * 2005-06-21 2011-04-13 幾朗 長 実寸表示装置
JP4657060B2 (ja) 2005-08-25 2011-03-23 シャープ株式会社 プロジェクタ
CA2621191C (en) 2005-08-29 2012-12-18 Evryx Technologies, Inc. Interactivity via mobile image recognition
US7599561B2 (en) * 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
JP4777182B2 (ja) 2006-08-01 2011-09-21 キヤノン株式会社 複合現実感提示装置及びその制御方法、プログラム
US7690795B2 (en) 2006-10-06 2010-04-06 Hewlett-Packard Development Company, L.P. Projector/camera system
JP2008227883A (ja) * 2007-03-13 2008-09-25 Brother Ind Ltd プロジェクタ
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US9377874B2 (en) 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
JP5277703B2 (ja) 2008-04-21 2013-08-28 株式会社リコー 電子機器
CN101261557B (zh) 2008-04-30 2011-09-14 北京汇冠新技术股份有限公司 一种用于触摸屏的图像传感装置
JP2010154361A (ja) * 2008-12-25 2010-07-08 Kyocera Corp 投影装置、無線通信端末、スライド画像閲覧システム、およびスライド画像閲覧方法
US8355038B2 (en) * 2009-01-28 2013-01-15 Hewlett-Packard Development Company, L.P. Systems for capturing images through a display
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
WO2010124074A1 (en) 2009-04-22 2010-10-28 Terrence Dashon Howard System for merging virtual reality and reality to provide an enhanced sensory experience
JP5395507B2 (ja) 2009-05-21 2014-01-22 キヤノン株式会社 三次元形状測定装置、三次元形状測定方法及びコンピュータプログラム
KR101229807B1 (ko) 2009-06-26 2013-02-05 광주과학기술원 과민성면역질환 또는 염증질환에 대한 신규한 약물 타겟
KR20110003705A (ko) 2009-07-06 2011-01-13 엘지전자 주식회사 이동 단말기에서의 정보 표시 방법 및 이를 이용한 이동 단말기
GB2469346B (en) 2009-07-31 2011-08-10 Promethean Ltd Calibration of interactive whiteboard
JP2011081556A (ja) 2009-10-06 2011-04-21 Sony Corp 情報処理装置、情報処理方法、プログラムおよびサーバ
US8842096B2 (en) * 2010-01-08 2014-09-23 Crayola Llc Interactive projection system
US8490002B2 (en) * 2010-02-11 2013-07-16 Apple Inc. Projected display shared workspaces
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US8928735B2 (en) * 2011-06-14 2015-01-06 Microsoft Corporation Combined lighting, projection, and image capture without video feedback
US9182935B2 (en) 2011-09-27 2015-11-10 Z124 Secondary single screen mode activation through menu option
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020180726A1 (en) * 2000-11-06 2002-12-05 Jianbo Shi Paper-based remote sketching system
WO2007004502A1 (ja) * 2005-06-30 2007-01-11 Ricoh Company, Ltd. 投影画像表示装置

Also Published As

Publication number Publication date
US20160255278A1 (en) 2016-09-01
US20140139717A1 (en) 2014-05-22
CN104024936A (zh) 2014-09-03
JP5941146B2 (ja) 2016-06-29
BR112014002186A2 (pt) 2017-03-01
WO2013019255A1 (en) 2013-02-07
US9560281B2 (en) 2017-01-31
KR20140054025A (ko) 2014-05-08
EP2748675B1 (en) 2018-05-23
EP2748675A4 (en) 2015-03-18
US9369632B2 (en) 2016-06-14
JP2014529921A (ja) 2014-11-13
EP2748675A1 (en) 2014-07-02
BR112014002186B1 (pt) 2020-12-29

Similar Documents

Publication Publication Date Title
KR101795644B1 (ko) 투영 캡쳐 시스템, 투영 캡쳐 프로그래밍, 및 투영 캡쳐 방법
JP6068392B2 (ja) プロジェクション捕捉システム及びプロジェクション捕捉方法
US9521276B2 (en) Portable projection capture device
CN107426503B (zh) 智能照明装置
EP3111636B1 (en) Telepresence experience
US7176881B2 (en) Presentation system, material presenting device, and photographing device for presentation
US20080018591A1 (en) User Interfacing
JP2014517362A (ja) カメラ式マルチタッチ相互作用及び照明システム及び方法
JPS6134190B2 (ko)
US20040140988A1 (en) Computing system and device having interactive projected display
US9946333B2 (en) Interactive image projection
Lee Projector-based location discovery and tracking
JP7287156B2 (ja) 表示装置、表示方法、プログラム
EP3879822A1 (en) Method and system for projected content handover among a plurality of projection mapping units
Foote et al. Annotating Remote Reality with iLight
Gupta The Universal Media Book

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant