KR101800981B1 - 투사 컴퓨팅 시스템 - Google Patents

투사 컴퓨팅 시스템 Download PDF

Info

Publication number
KR101800981B1
KR101800981B1 KR1020167005034A KR20167005034A KR101800981B1 KR 101800981 B1 KR101800981 B1 KR 101800981B1 KR 1020167005034 A KR1020167005034 A KR 1020167005034A KR 20167005034 A KR20167005034 A KR 20167005034A KR 101800981 B1 KR101800981 B1 KR 101800981B1
Authority
KR
South Korea
Prior art keywords
image
computing system
projection
projection computing
touch sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020167005034A
Other languages
English (en)
Other versions
KR20160036603A (ko
Inventor
브래들리 서그스
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20160036603A publication Critical patent/KR20160036603A/ko
Application granted granted Critical
Publication of KR101800981B1 publication Critical patent/KR101800981B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

본 발명에 따른 하나의 예에서, 투사 컴퓨팅 시스템에 의해 수행되는 방법이 제공된다. 상기 방법은 투사 컴퓨팅 시스템의 카메라에 의해, 물체 및 배경 요소를 포함하는 이미지를 캡처하는 단계를 포함한다. 상기 방법은 투사 컴퓨팅 시스템의 프로젝터 조립체에 의해, 물체의 이미지를 이 물체 위에 물체의 이미지의 적어도 일부분에 인접하는 인공 쉐도우와 함께 투사하는 단계를 더 포함한다.

Description

투사 컴퓨팅 시스템{PROJECTIVE COMPUTING SYSTEM}
컴퓨터 시스템은 전형적으로 지지대(support stand) 상에 장착되고/되거나 컴퓨터 시스템의 어떤 다른 구성요소 내로 통합되는 디스플레이 또는 다수의 디스플레이를 사용한다. 터치 감응 기술(touch sensitive technology)을 사용하는 디스플레이(예를 들어, 터치 스크린)의 경우, 시스템 동작 중에 그와 같은 터치 기술을 최대로 활용하기 위하여 흔히 사용자가 그와 같은 디스플레이와 직접 상호 작용하는 것이 바람직하다. 그러나, 디스플레이 상의 이미지를 단순히 보기 위한 최적의 인체공학적인 디스플레이 배치와 디스플레이와 터치 상호작용을 행하기 위한 배치는 흔히 상충한다. 그러므로, 단일 컴퓨터 시스템을 종래의 뷰잉(viewing) 적용뿐만 아니라 터치 상호작용 적용 모두에 사용하고자 하는 사용자는 그와 같은 시스템을 정위(positioning)시키고/시키거나 활용하는 데 있어서 흔히 어려움에 직면한다.
다양한 예의 상세한 설명을 위해, 이제 첨부 도면이 참조될 것이다.
도 1은 본원에서 개시되는 원리에 따른 투사 컴퓨터 시스템(projective computer system)의 하나의 예의 개략적인 사시도이다.
도 2는 본원에서 개시되는 원리에 따른 도 1의 컴퓨터 시스템의 다른 개략적인 사시도이다.
도 3은 본원에서 개시되는 원리에 따른 도 1의 컴퓨터 시스템의 개략적인 측면도이다.
도 4는 본원에서 개시되는 원리에 따른 도 1의 컴퓨터 시스템의 개략적인 정면도이다.
도 5는 본원에서 개시되는 원리에 따른 동작 중인 도 1의 컴퓨터 시스템의 개략적인 측면도이다.
도 6은 본원에서 개시되는 원리에 따른 동작 중인 도 1의 시스템의 개략적인 정면도이다.
도 7은 본원에서 개시되는 원리에 따른 도 1의 컴퓨터 시스템의 블랙박스 회로도이다.
도 8a는 캡처(capture) 및 투사 전의 도 1의 컴퓨터 시스템의 터치 매트(touch mat) 상의 사진의 개략도, 그리고 도 8b는 본원에서 개시되는 원리에 따른 캡처 및 투사 후의 도 1의 컴퓨터 시스템의 터치 매트 상의 사진의 개락도이다.
도 9는 본원에서 개시되는 원리에 따른 도 1의 컴퓨팅 시스템에 의해 수행되는 프로세스의 프로세스 흐름도이다.
도 10은 본원에서 개시되는 원리에 따른 캡처 및 투사 후의 도 1의 컴퓨터 시스템의 터치 매트 상의 사진의 다른 개략도이다.
도 11은 본원에서 개시되는 원리에 따른 캡처 및 투사 후의 도 1의 컴퓨터 시스템의 터치 매트 상의 사진의 또 다른 개략도이다.
표기 및 용어
특정한 용어는 특정한 시스템 구성요소를 칭하기 위하여 다음 설명 및 청구항 전체에 걸쳐 사용된다. 당업자가 인식하는 바와 같이, 컴퓨터 회사들은 하나의 구성요소를 상이한 명칭으로 부를 수 있다. 본 문서는 이름이 다르지만 기능이 다르지 않은 구성요소를 구분하고자 하려고 하지는 않는다. 다음의 논의에서 그리고 청구항에서, 용어 "including" 및 "comprising"은 개방형(open-ended) 방식으로 사용되므로 "포함하는, 그러나 이로 제한되지 않는"으로 해석되어야만 한다. 또한, 용어 "couple" 및 "couples"은 간접 또는 직접 연결을 의미하는 것으로 의도된다. 그러므로, 제 1 디바이스가 제 2 디바이스에 결합되면, 이 연결은 직접 전기 또는 기계적 연결을 통하거나, 다른 디바이스 또는 연결을 통한 간접 전기 또는 기계적 연결을 통하거나, 광학적 전기 연결을 통하거나 또는 무선 전기 연결을 통한 것일 수 있다. 본원에서 사용되는 바와 같이, 용어 "대략"은 플러스 또는 마이너스 10%를 칭한다. 게다가, 본원에서 사용되는 바와 같이, 어구 "사용자 입력 디바이스"는 예를 들어, 마우스, 키보드, 손(또는 이의 임의의 손가락), 스타일러스, 포인팅 디바이스(pointing device)와 같이, 사용자에 의해서 입력을 전기 시스템에 제공하는 임의의 적절한 디바이스를 칭한다.
이후의 논의는 본 발명의 다양한 예에 관한 것이다. 이 예 중 하나 이상이 바람직할지라도, 개시되는 예는 청구항을 포함하는 본 발명의 범위를 제한하는 것으로 해석되거나, 또는 이와는 달리 사용되어서는 안 된다. 게다가 당업자는 이후의 설명이 넓게 적용되고, 그리고 임의의 예에 대한 논의가 단지 상기 예를 설명하도록만 의도되고 청구항을 포함하는 본 명세서의 범위가 상기 예로 제한되는 것을 시사하도록 의도되지 않음을 이해할 것이다.
이제 도 1 내지 도 4를 참조하면, 본원에서 개시되는 원리에 따른 투사 컴퓨팅 시스템(100)이 도시된다. 이 예에서, 시스템(100)은 일반적으로 지지 구조(110), 컴퓨팅 디바이스(150), 프로젝터 유닛(180) 및 터치 감응성 매트(200)를 포함한다. 컴퓨팅 디바이스(150)는 여전히 본원에서 개시되는 원리에 부합하면서 임의의 적절한 컴퓨팅 디바이스를 포함할 수 있다. 예를 들어, 일부 구현에서, 디바이스(150)는 전자 디스플레이, 스마트폰, 태블릿, 올인원 컴퓨터(즉, 또한 컴퓨터의 기판을 수용하는 디스플레이) 또는 이들의 일부 결합을 포함할 수 있다. 이 예에서, 디바이스(150)는 중심축 또는 중심선(155), 제 1 또는 상측(150a), 축방향으로 상측(150a)과 대향하는 제 2 또는 하측(150b), 측들(150a, 150b) 사이에서 축방향으로 연장되는 전방측(150c), 또한 측들(150a, 150b) 사이에서 축방향으로 연장되고 일반적으로 전방측(150c)에 방사형으로 대향하는 후방측을 포함하는 올인원 컴퓨터이다. 디스플레이(152)는 뷰잉(viewing) 면을 규정하고 사용자(도시되지 않음)가 뷰잉하고 상호작용하기 위한 이미지를 투사하도록 전방측(150c)을 따라 배치된다. 일부 예에서, 디스플레이(152)는 예를 들어, 저항성, 용량성, 탄성파(acoustic wave), 적외선(infrared; IR), 스트레인 게이지(strain gauge), 광, 음향 펄스 인식 또는 이들의 어떤 결합과 같은 터치 감응 기술을 포함한다. 그러므로, 다음의 설명 전체에 걸쳐, 디스플레이(152)는 주기적으로 터치 감응면 또는 디스플레이로서 칭해질 수 있다. 게다가, 일부 예에서, 디바이스(150)는 사용자가 디스플레이(152) 앞에 위치되어 있는 동안 이 사용자의 이미지를 촬영할 수 있는 카메라를 더 포함한다. 일부 구현에서, 카메라(154)는 웹 카메라이다. 더욱이, 일부 예에서, 디바이스(150)는 또한 동작 중에 사용자로부터 사운드 입력(예를 들어, 음성)을 수신하도록 배열되는 마이크로폰 또는 유사한 디바이스를 포함한다.
계속해서 도 1 내지 도 4를 참조하면, 지지 구조(110)는 베이스(120), 직립 부재(140) 및 상부(160)를 포함한다. 베이스(120)는 제 1 또는 전단(front end)(120a) 및 제 2 또는 후단(rear end)(120b)을 포함한다. 동작 중에, 베이스(120)는 시스템(100)의 구성요소(예를 들어, 부재(140, 유닛(180), 디바이스(150), 상부(160) 등)의 적어도 일부분의 무게를 동작 중에 지지하기 위하여 지지면(10)과 맞물린다. 이 예에서, 베이스(120)의 전단(120a)은 지지면(15) 위로 약간 분리되어 있는 상승 부분(122)을 포함함으로써 부분(122) 및 면(15) 사이에 공간 또는 간격을 만든다. 아래에서 더 상세하게 설명되는 바와 같이, 시스템(100)의 동작 중에, 매트(200)의 한 측은 매트(200)의 적절한 정렬을 보장하기 위해 부분(122) 및 면(15) 사이에 형성되는 공간 내에 수용된다. 그러나, 다른 예들에서, 다른 적절한 정렬 방법 또는 디바이스가 여전히 본원에서 개시되는 원리에 부합하면서 사용될 수 있음이 인정되어야 한다.
직립 부재(140)는 제 1 또는 상단(140a), 상단(140a)에 대향하는 제 2 또는 하단(140b), 단들(140a, 140b) 사이에서 연장되는 제 1 또는 전방 측(140c) 및 전방 측(140c)에 대향하고 또한 단들(140a, 140b) 사이에서 연장되는 제 2 또는 후방 측(140d) 을 포함한다. 부재(140)의 하단(140b)은 부재(140)가 지지면(150)에서 실질적으로 상향으로 연장되도록 베이스(120)의 후단(120b)에 결합된다.
상부(160)는 제 1 또는 근단(proximate end)(160a), 근단(160a)에 대향하는 제 2 또는 원단(distal end)(160b), 단들(160a, 160b) 사이에서 연장되는 상면(160c) 및 상면(160c)에 대향하고 또한 단들(160a, 160b) 사이에서 연장되는 하면(160d)을 포함한다. 상부(160)의 근단(160a)은 직립 부재(140)의 상단(140a)에 결합되어서 원단(160b)이 이로부터 외부로 연장되도록 한다. 결과적으로, 도 2에 도시되는 예에서, 상부(160)는 단지 단(160a)에서만 지지되므로 이후에 본원에서 "캔틸레버식(cantilevered)" 상부로서 칭해진다. 일부 예에서, 베이스(120), 부재(140) 및 상부(160)는 모두 모노리식으로(monolithically) 형성되고; 그러나 다른 예에서, 베이스(120), 부재(140) 및/또는 상부(160)는 여전히 본원에서 개시되는 원리에 부합하면서 모노리식으로 형성되지 않을 수 있음이 인정되어야 한다.
계속해서 도 1 내지 도 4를 참조하면, 매트(200)는 중심축 또는 중심선(205), 제 1 또는 전방 측(200a) 및 전방 측(200a)에 축방향으로 대향하는 제 2 또는 후방 측(200b)을 포함한다. 이 예에서, 터치 감응면(202)은 매트(200) 상에 배치되고 실질적으로 축(205)과 정렬된다. 면(202)은 사용자가 디바이스(150) 또는 어떤 다른 컴퓨팅 디바이스(도시되지 않음)에 의해 실행되고 있는 소프트웨어와 상호작용하도록 하기 위하여 사용자에 의한 하나의 또는 다수의 터치 입력을 검출하고 추적하는 임의의 적절한 터치 감응 기술을 포함할 수 있다. 예를 들어, 일부 구현에서, 면(202)은 여전히 본원에서 개시되는 원리에 부합하면서 예를 들어, 저항성, 용량성, 탄성파, 적외선, 스트레인 게이지, 광, 음향 펄스 인식 또는 이들의 어떤 결합과 같이 공지되어 있는 터치 감응 기술을 사용할 수 있다. 게다가, 본 예에서, 면(202)은 단지 매트(200)의 일부분에만 걸쳐 연장되고; 그러나, 다른 예에서, 면(202)은 여전히 본원에서 개시되는 원리에 부합하면서 실질적으로 매트(200)의 전부에 걸쳐 연장될 수 있다.
동작 중에, 매트(200)는 이전에 설명된 바와 같이 매트(200)의 적절한 정렬을 보장하기 위하여 구조(110)의 베이스(120)와 정렬된다. 특히, 본 예에서, 매트(200)의 후방 측(200b)이 베이스(120)의 상승부(122) 및 지지면(15) 사이에 배치되어, 후단(200b)이 베이스의 전단과 정렬되도록 함으로써, 매트(200), 그리고 특히 면(202)을 시스템(100) 내의 다른 구성요소와 전체적으로 적절하게 정렬되는 것이 보장된다. 일부 예에서, 매트(200)는 디바이스(150)와 정렬됨으로써 디바이스(150)의 중심선(155)은 매트(200)의 중심선(205)과 실질적으로 정렬되게 된다; 그러나, 다른 정렬이 가능하다. 게다가, 아래에서 더 상세하게 설명되는 바와 같이, 적어도 일부의 예에서 디바이스(150) 및 매트(200)의 면은 면(202)에 의해 수신되는 사용자 입력이 디바이스(150)에 통신되도록 서로 전기적으로 결합되어 있다. 예를 들어, WI-FI, BLUETOOTH®, 초음파, 전기 케이블, 전기 리드(lead), 자기 홀딩력(holding force)을 지니는 전기 스프링 하중식 포고(pogo) 핀 또는 이들의 어떤 결합과 같이, 임의의 적절한 무선 또는 유선 전기 결합 또는 접속이 여전히 본원에서 개시되는 원리에 부합하면서 면(202) 및 디바이스(150) 사이에서 사용될 수 있다. 이 예에서, 매트(200)의 후방 측(200b) 상에 배치되는 노출 전기 접촉부는 동작 중에 디바이스(150) 및 면(202) 사이에서 신호를 전달하기 위하여 베이스(120)의 일부분(122) 내의 대응하는 전기 포고 핀 리드와 맞물린다. 게다가, 본 예에서, 매트(200)의 후방 측(200b)을 따라 배치되는 대응하는 제 1 철(ferrous) 물질 및/또는 자성체(magnetic material)를 자기적으로 당겨서 잡아두기 위해(예를 들어, 기계적으로) 전기 접촉부는 이전에 언급된 베이스(120) 및 면(15) 사이의 간격 내에 위치되는 인접한 자석에 의해 결합되어 있다.
구체적으로 이제 도 3을 참조하면, 프로젝터 유닛(180)은 외부 하우징(180) 및 하우징(182) 내에 배치되는 프로젝터 조립체(184)를 포함한다. 하우징(182)은 제 1 또는 상단(182a), 상단(182a)에 대향하는 제 2 또는 하단(182b) 및 내부 캐비티(cavity)(183)를 포함한다. 본 실시예에서, 하우징(182)은 동작 중에 디바이스(150)와 맞물리고 이 디바이스(150)를 지지하기 위한 결합 또는 장착 부재(186)를 더 포함한다. 일반적으로 부재(186)는 여전히 본원에서 개시되는 원리에 부합하면서 컴퓨터 디바이스(예를 들어, 디바이스(150))를 걸어 지지하는 임의의 적절한 부재 또는 디바이스일 수 있다. 예를 들어, 일부 구현에서, 부재(186)는 사용자(도시되지 않음)가 디바이스와의 최적의 뷰잉 각을 달성하기 위해 디바이스(150)를 회전축을 중심으로 회전시킬 수 있도록 회전축을 포함하는 힌지(hinge)를 포함한다. 더욱이, 일부 예에서, 디바이스(150)는 유닛(180)의 하우징(182)에 영구적으로 또는 반영구적으로 부착된다. 예를 들어, 일부 구현에서, 하우징(180) 및 디바이스(150)는 단일 유닛으로 통합하여 그리고/또는 모노리식으로 형성된다.
그러므로, 도 4를 간략하게 참조하면, 디바이스(150)가 하우징(182) 상의 장착 부재(186)에 의해 구조(110)에서부터 매달려 있으면, 실질적으로 디바이스(150)의 전방 측(150c)에 배치되는 디바이스(152)로 향하고 있는 뷰잉 면 또는 뷰잉 각에서부터 시스템을 보면 프로젝터 유닛(180)(즉, 하우징(182) 및 조립체(184) 모두)은 실질적으로 디바이스(150) 뒤에 가려진다. 게다가, 도 4에서 또한 도시되어 있는 바와 같이, 디바이스(150)가 기술된 방식으로 구조(110)에서부터 매달려 있으면, 프로젝터 유닛(180)(즉, 하우징(182) 및 조립체(184) 모두) 및 이에 의해 투사되는 임의의 이미지는 디바이스(150)의 중심선(155)에 대하여 실질적으로 정렬되거나 중심 정렬(centered)된다.
프로젝터 조립체(184)는 일반적으로 하우징(182)의 캐비티(183) 내에 배치되고 제 1 또는 상단(184a), 상단(184a)에 대향하는 제 2 또는 하단(184b)을 포함한다. 상단(184a)은 하우징(182)의 근위의 상단(182a)이고 반면에 하단(184b)은 하우징(182)의 근위의 하단(182b)이다. 프로젝터 조립체(184)는 컴퓨팅 디바이스(예를 들어, 디바이스(150))로부터 데이터를 수신하고 상기 입력 데이터에 부합하는 이미지 또는 이미지들(예를 들어, 상단(184a)으로부터의)을 투사하는 임의의 적절한 디지털 광 프로젝터 조립체를 포함할 수 있다. 예를 들어, 일부 구현에서, 프로젝터 조립체(184)는 디지털 광 프로세싱(digital light processing; DLP) 프로젝터 또는 실리콘 상 액정(liquid crystal on silicon; LCoS) 프로젝터를 포함할 수 있고, 이 프로젝터들은 유용하게 예를 들어, 표준 XGA(1024 × 768) 해상도 4:3 종횡비(aspect ratio) 또는 표준 WXGA (1280 × 800) 해상도 16:10 종횡비와 같은 다수의 디스플레이 해상도 및 크기가 가능한 컴팩트하고 전력 효율적인 투사 엔진들이다. 프로젝터 조립체(184)는 더욱이 동작 중에 단(184a)으로부터 광 및 이미지를 생산하도록 디바이스(150)로부터 데이터를 수신하기 위하여 디바이스(150)에 전기적으로 결합된다. 프로젝터 조립체(184)는 여전히 본원에서 개시되는 원리에 부합하면서 임의의 적절한 유형의 전기 결합을 통해 디바이스(150)에 전기적으로 결합될 수 있다. 예를 들어, 일부 구현에서, 조립체(184)는 전기 전도체, WI-FI, BLUETOOTH®, 광 접속, 초음파 접속 또는 다른 어떤 결합을 통해 디바이스(150)에 전기적으로 결합된다. 이 예에서, 디바이스(150)는 디바이스(150)가 부재(186)를 통해 구조(110)에서부터 매달려 있을 때, 부재(186) 내에 배치되는 전기 리드들이 디바이스(150) 상에 배치되는 대응하는 리드 또는 전도체에 접촉하도록 장착 부재(186) 내에 배치되는 전기 리드 또는 전도체(이전에 기술된)를 통해 조립체(184)에 전기적으로 결합된다.
계속해서 도 3을 참조하면, 상부(160)는 폴드 미러(fold mirror)(162) 및 센서 번들(sensor bundle)(164)을 더 포함한다. 미러(162)는 상부(160)의 하면(160d)을 따라 배치되고 동작 중에 프로젝터 조립체(184)의 상단(184a)에서부터 매트(200)로 투사되는 이미지 및/또는 광을 반사하도록 정위되는 고 반사면(162a)을 포함한다. 미러(162)는 여전히 본원에서 개시되는 원리에 부합하면서 임의의 적절한 유형의 미러 또는 반사면을 포함할 수 있다. 본 예에서, 폴드 미러(162)는 조립체(184)로부터 방출되는 광을 매트(200)에 이르기까지 폴딩(folding)하는 작용을 하는 표준 정면 진공 금속화 알루미늄 코팅 유리 미러를 포함한다. 다른 예에서, 미러(162)는 추가 초점력(focusing power) 또는 광 보정(optical correction)을 제공하기 위해 반사 렌즈 요소 역할을 하는 복합 비구면 곡률을 가질 수 있다.
센서 번들(164)은 동작 중에 매트(200) 상에서 또는 매트(200) 근처에서 발생하는 다양한 파라미터를 측정 및/또는 검출하기 위해 복수의 센서 및/또는 카메라를 포함한다. 예를 들어, 도 3에 도시되는 특정한 구현에서, 번들(164)은 주변 광 센서(164a), 카메라(예를 들어, 비주얼 RGB 14.1 메가픽셀 고 해상도 카메라)(164b), 깊이 센서(depth sensor) 또는 카메라(164c) 및 3차원(three dimensional; 3D) 사용자 인터페이스 센서(164d)를 포함한다. 주변 광 센서(164a)는 일부 구현에서, 카메라의 그리고/또는 센서의(예를 들어, 센서(164a, 164b, 164c, 164d) 노출 세팅을 조정하고/하거나 예를 들어, 프로젝터 조립체(184), 디스플레이(152) 등과 같은 시스템 전체에 걸쳐 다른 소스로부터 방출되는 광의 세기를 조정하기 위하여, 시스템(100)을 둘러싸는 환경의 광의 세기를 측정하도록 배열된다. 카메라(164b)는 일부 예에서 매트(200) 상에 배치되는 물체(40)(예를 들어, 문서, 사진, 책, 2D 물체 및/또는 3D 물체)의 정지 이미지 또는 비디오를 촬영하도록 배열되는 컬러 카메라를 포함할 수 있다. 예를 들어, 카메라(164b)는 비주얼 14.1 메가픽셀 RBG 카메라일 수 있다. 깊이 센서(164c)는 일반적으로 3D 물체가 작업면 상에 있는 때를 표시한다. 특히, 깊이 센서(164c)는 동작 중에 매트(200) 상에 배치되는 물체(또는 물체의 특정한 피처(feature))의 존재, 형상, 윤곽, 움직임 및/또는 3D 깊이를 감지 또는 검출할 수 있다. 그러므로, 일부 구현에서, 센서(164c)는 센서의 시계(field-of-view; FOV) 내에 배치되는 3D 물체 및/또는 각 픽셀의 깊이 값(적외선이든, 컬러든 또는 다른 것이든)을 감지 및 검출하는 임의의 적절한 센서 또는 카메라 배열을 사용할 수 있다. 예를 들어, 일부 구현에서 센서(164c)는 일정한 투광량의 IR 광을 가지는 단일 적외선(IR) 카메라 센서, 일정한 투광량의 IR 광을 가지는 이중 IR 카메라 센서, 구조식 광 깊이 센서 기술, 비행 시간(time-of-flight) 깊이 센서 기술 또는 이들의 어떤 결합을 포함할 수 있다. 사용자 인터페이스 센서(164d)는 예를 들어, 손, 스타일러스, 포인팅 디바이스 등과 같은 사용자 입력 디바이스를 추적하기 위한 임의의 적절한 디바이스 또는 디바이스들(예를 들어, 센서 또는 카메라)을 포함한다. 일부 구현에서, 센서(164d)는 사용자에 의해 매트(200)에 대하여 그리고 특히 매트(200)의 면에 대하여 사용자 입력 디바이스가 이동될 때 사용자 입력 디바이스(예를 들어, 스타일러스)의 위치를 입체적으로 추적하도록 배열되는 한 쌍의 카메라를 포함한다. 다른 예에서, 센서(164d)는 또한 대안으로 사용자 입력 디바이스에 의해 방출되거나 반사되는 적외선 광을 검출하도록 배열되는 적외선 카메라(들) 또는 센서(들)를 포함할 수 있다. 번들(164)이 이전에 기술된 센서들(164a, 164b, 164c, 164d) 대신 또는 이 센서들 외에 다른 센서 및/또는 카메라를 포함할 수 있음이 더 인정되어야 한다. 게다가, 아래에서 더 상세하게 설명되는 바와 같이, 번들(164) 내의 센서(164a, 164b, 164c, 164d)의 각각은 번들(164) 내에서 생성되는 데이터가 동작 동안 디바이스(150)에 전송될 수 있고 디바이스(150)에 의해 발행되는 명령이 센서(164a, 164b, 164c, 164d)에 통신될 수 있도록 디바이스(150)에 전기적으로 그리고 통신적으로 결합된다. 시스템(100)의 다른 구성요소에 대해 상술한 바와 같이, 예를 들어, 전기 전도체, WI-FI, BLUETOOTH®, 광 접속, 초음파 접속 또는 이들의 어떤 결합과 같이 센서 번들(164)을 디바이스(150)에 결합하는 데 임의의 적절한 전기 및/또는 통신 결합이 사용될 수 있다. 본 예에서, 전기 전도체는 번들(164)로부터 상부(160), 직립 부재(140) 및 프로젝터 유닛(180)을 통해 그리고 이전에 기술된 장착 부재(186) 내에 배치되는 리드들을 통해 디바이스(150) 내로 라우팅(routing)된다.
이제 도 5 및 도 6을 참조하면, 시스템(100)의 동작 중에, 광(187)은 프로젝터 조립체(184)로부터 방출되고 미러(162)에서 매트(200)로 반사됨으로써 프로젝터 디스플레이 공간(188) 상에 이미지가 디스플레이된다. 본 예에서, 공간(188)은 실질적으로 직사각형이고 길이(L188) 및 폭(W188)에 의해 규정된다. 일부 예에서, 길이(L188)는 대략 16 인치와 같을 수 있고, 반면에 폭(W188)은 대략 12 인치와 같을 수 있고; 그러나, 여전히 본원에서 개시되는 원리에 부합하면서 길이(L188) 및 폭(W188)에 대한 다른 값이 사용될 수 있음이 인정되어야 한다. 게다가, 번들(164) 내의 센서(예를 들어, 센서(164a, 164b, 164c, 164d)는 적어도 일부 예에서 이전에 기술된 프로젝터 디스플레이 공간(188)과 중첩되고/되거나 이 공간과 부합하는 감지 공간(168)을 포함한다. 공간(168)은 번들(164) 내의 센서가 이전에 기술된 방식으로 번들(164)의 상태를 모니터링 및/또는 감지하도록 배열되는 에어리어(area)를 규정한다. 일부 예에서, 공간(188) 및 공간(168) 모두는 터치 감응면(202), 프로젝터 조립체(184) 및 센서 번들(164)의 기능을 규정된 에어리어 내에서 효과적으로 통합하기 위해 이전에 기술된 매트(200)의 면(202)과 일치하거나 이 면(202)과 부합한다.
이제 도 5 내지 도 7을 참조하면, 일부 예에서, 디바이스(150)는 조립체(184)에 이미지를 매트(200)의 면(202) 상으로 투사하도록 지시한다. 게다가, 디바이스(150)는 또한 디스플레이(152) 상에 이미지를(조립체(184)에 의해 면(202) 상으로 투사되는 이미지와 동일할 수 있거나 동일하지 않을 수 있는) 디스플레이할 수 있다. 조립체(184)에 의해 투사되는 이미지는 디바이스(150) 내에서 수행되는 소프트웨어에 의해 생산되는 정보 및/또는 이미지를 포함할 수 있다. 사용자(도시되지 않음)는 그 후에 매트(200)의 터치 감응면(202)과 물리적 상호 관계를 가짐으로써 면(202) 및 디스플레이(152) 상에 디스플레이되는 이미지와 상호작용할 수 있다. 그와 같은 상호작용은 사용자의 손(35)에 의한 직접적 상호작용과 같은 임의의 적절한 방법을 통해, 스타일러스(25) 또는 다른 적절한 사용자 입력 디바이스(들)를 통해 발생할 수 있다.
도 7에 가장 잘 도시되어 있는 바와 같이, 사용자가 매트(200)의 면(202)과 상호작용할 때, 신호가 발생되고 이 신호는 이전에 기술된 전기 결합 방법 및 디바이스 중 임의의 하나를 통해 디바이스(150)로 라우팅된다. 일단 디바이스(150)가 매트(200) 내에서 생성된 신호를 수신하면, 이는 내부 전도체 경로(153)를 통해 프로세서(250)로 라우팅되고 프로세서(250)는 출력 신호를 생성하기 위해 비일시적 컴퓨터 판독 가능 저장 디바이스(260)와 통신하고 이 출력 신호는 그 후에 디스플레이(152) 상에 디스플레이되는 이미지 및/또는 면(202)에 각각 투사되는 이미지의 변경을 구현하기 위해 프로젝터 조립체(184) 및/또는 디스플레이(152)로 역으로 라우팅된다. 프로세서(250)는 중앙 처리 장치(central processing unit; CPU), 반도체 기반 마이크로프로세서, 그래픽 처리 장치(graphics processing unit; GPU), 마이크로콘트롤러 또는 비일시적 컴퓨터 판독 가능 저장 디바이스(260)로부터 검색되는 명령을 페치(fetch)하고, 디코딩(decoding)하고, 그리고/또는 실행하도록 구성되는 다른 프로세싱 디바이스 중 적어도 하나일 수 있음이 또한 인정되어야 한다. 비일시적 컴퓨터 판독 가능 저장 디바이스(260)는 프로그래밍 코드, 소프트웨어, 펌웨어 등과 같은 기계 판독 가능 명령을 저장하는 임의의 전형적인 저장 디바이스에 대응할 수 있음이 또한 인정되어야 한다. 예를 들어, 비일시적 컴퓨터 판독 가능 저장 디바이스(260)는 비휘발성 메모리, 휘발성 메모리 및/또는 저장 디바이스 중 하나 이상을 포함할 수 있다. 비휘발성 메모리의 예는 전기 소거 가능 프로그램 가능 판독 전용 메모리(electronically erasable programmable read only memory; EEPROM) 및 판독 전용 메모리(read only memory; ROM)를 포함하나 이로 제한되지 않는다. 휘발성 메모리의 예는 정적 랜덤 액세스 메모리(static random access memory; SRAM) 및 동적 랜덤 액세스 메모리(dynamic random access memory; DRAM)를 포함하나 이로 제한되지 않는다. 저장 디바이스의 예는 하드디스크 드라이브, 컴팩트 디스크 드라이브, 디지털 다기능 디스크(digital versatile disc) 드라이브, 광 디바이스 및 플래시 메모리 디바이스를 포함하나 이로 제한되지 않는다. 일부 구현에서, 명령은 프로세서(250)에 의해 실행될 수 있는 설치 패키지(installation package)의 일부일 수 있다. 이 경우에, 비일시적 컴퓨터 판독 가능 저장 디바이스(260)는 CD, DVD 또는 플래시 드라이브와 같은 휴대용 매체 또는 설치 패키지가 다운로드되고 설치될 수 있는 서버에 의해 유지되는 메모리일 수 있다. 다른 구현에서, 명령은 애플리케이션 또는 이미 설치된 애플리케이션의 일부일 수 있다. 여기서, 비일시적 컴퓨터 판독 가능 저장 디바이스(260)는 하드 드라이브와 같은 집적 메모리를 포함할 수 있다. 더욱이, 일부 예에서, 프로세서(250)는 컴퓨터 판독 가능 저장 디바이스(260)와 통합되고, 반면에 다른 예에서, 프로세서(250) 및 컴퓨터 판독 가능 저장 디바이스(260)는 별도의 구성요소이다.
다시 도 5 내지 도 7을 참조하면, 적어도 하나의 예의 동작 중에, 시스템(100)은 터치 감응 매트(200) 상에 위치되는 2D 또는 3D 물리적 물체(예를 들어, 문서, 사진, 책 등)의 2차원(2D) 이미지를 캡처할 수 있다. 캡처된 이미지는 그 후에 프로세싱될 수 있고 그 결과의 이미지는 추가 사용 및 이의 조작을 위해 터치 감응 매트(200) 상으로 그리고/또는 물리적 물체(40) 자체로 투사될 수 있다. 더 구체적으로, 일부 예에서, 물체(예를 들어, 문서 또는 사진)는 센서(예를 들어, 카메라(164b))가 물체(40) 및/또는 배경 요소(예를 들어, 터치 감응 매트(200)의 일부분)의 이미지를 캡처할 수 있도록 면(202) 상에 배치될 수 있다. 이미지는 그 후에 프로세싱을 위하여 프로세서(250) 및 컴퓨터 판독 가능 저장 디바이스(260)를 포함하는 이미지 프로세싱 모듈(290)로 라우팅될 수 있다. 이미지 프로세싱 모듈(290)은 단지 물체(40)의 이미지만이 남도록 수신된 이미지를 프로세싱하여 배경 요소를 제거할 수 있다. 이 결과의 이미지는 그 후에 프로젝터 조립체(184)에 의해 터치 감응 매트(200) 상에 그리고/또는 물체(40) 자체 상으로 직접적으로 투사될 수 있다.
도 7이 이미지 프로세싱 모듈(290)을 프로세서(250) 및 컴퓨터 판독 가능 저장 디바이스(260)만을 포함하는 것으로 도시할지라도, 다른 예에서, 이미지 프로세싱 모듈(290)은 추가 또는 대안의 구성요소를 포함하는 것이 이해되어야 한다. 예를 들어, 이미지 프로세싱 모듈(290)은 아날로그 회로, 디지털 신호 프로세싱 디바이스 회로, 주문형 반도체(application specific integrated circuit; ASIC) 또는 프로세서(250) 및 컴퓨터 판독 가능 저장 디바이스(260)와 동일한 기능을 수행하도록 배열되는 다른 논리 디바이스와 같은 기능적으로 등가인 회로를 포함할 수 있다.
이제 도 8a 및 도 8b로 전환하여, 상술한 바와 같이, 시스템(100)은 물체(40)의 이미지를 캡처하고, 이미지를 프로세싱하고, 그 결과의 이미지를 물체(40) 상으로 직접적으로 투사할 수 있다. 투사된 이미지가 물체(40)와 동일한 크기(scale) 및/또는 컬러일 수 있기 때문에, 사용자가 그 결과의 이미지가 투사되고 있는 때를 결정하는 것이 어려울 수 있다. 다른 말로, 투사된 이미지는 물체 자체와 동일하게 나타날 수 있으므로 사용자가 이미지가 투사되고 있는 때를 결정하기 어려울 수 있는데 왜냐하면 이미지가 물체 상으로 직접적으로 투사되고 있기 때문이다. 무엇보다도, 이것은 사용자로 하여금 캡처 및 투사 기능을 불필요하게 다시 트리거하도록 할 수 있다.
이 문제를 극복하고 사용자에게 이미지 캡처 및 후속 이미지 투사 기능이 완료되었다는 명확한 표시를 제공하기 위해, 다양한 예는 투사된 이미지 주위에 인공 쉐도우(artificial shadow)를 생성한다. 예를 들어, 도 8a는 이미지 캡처 전에 터치 감응 매트(20) 상에 있는 사진(300)을 도시한다. 도 8b는 사진(300)이 센서(예를 들어, 카메라(164b))에 의해 캡처되고 사진(310)의 이미지가 사진(300) 상으로 투사된 후의 동일한 장면을 도시한다. 더 구체적으로, 도 8b에서, 사진(310)의 이미지는 적어도 크기 및 컬러 면에서 본질적으로 사진(300)과 동일하므로 사진(310)의 이미지가 언제 투사되고 있는지를 결정하는 것은 어렵다. 사진(310)의 이미지가 투사되고 있음을 사용자가 식별하는 것을 돕기 위해, 인공 쉐도우(320)가 사진(310)의 이미지와 함께 투사된다. 인공 쉐도우는 사용자에게 사진(310)의 이미지가 현재 투사되고 있음을 고지하고 사진(300)이 터치 감응 매트(200)로부터 솟아오르는 외형을 더 제공한다. 따라서, 사용자는 물체를 이동시키는 것과 같은 추가 작업을 수행할 필요 없이 캡처 및 투사 기능이 완료된 것을 신속하게 결정할 수 있다.
일부 예에서, 이미지를 캡처한 후에 그리고 투사하기 전에, 이미지 프로세싱 모듈(290)은 물체의 이미지만이 남도록 배경 요소를 제거하는 프로세싱을 수행한다. 예를 들어, 도 8a 및 도 8b를 참조하면, 센서(예를 들어, 카메라(164a))가 사진(300)의 이미지를 캡처하면, 터치 감응 매트(200)의 일부분 또한 캡처될 수 있다. 이미지 프로세싱 모듈(290)은 그러므로 사진(300)의 이미지만이 투사되고 터치 감응 매트(200)의 이미지가 투사되지 않도록 사진(300)을 터치 감응 매트(200)와 분리하기 위하여 캡처된 이미지를 프로세싱할 수 있다. 배경 요소를 제거하기 위한 분리 프로세싱 외에, 이미지 프로세싱 모듈(290)은 또한 이미지를 적절하게 분리하기 위하여 스캔 조사(scan illumination)로부터 쉐도우를 분리하는 프로세싱을 수행할 수 있다.
도 9는 하나의 예에 따른 시스템(100)에 의해 수행되는 프로세스에 대한 하나의 예의 프로세스 흐름도(900)를 도시한다. 도 9에 도시되는 프로세스가 일반화된 설명을 표현하고 다른 프로세스가 본 발명의 범위 및 사상을 벗어나지 않고 추가되거나 기존 프로세스가 제거, 수정 또는 재배열될 수 있음이 즉시 자명해질 것이다. 더욱이, 프로세스는 메모리 상에 저장되고 시스템(100)으로 하여금 응답하거나, 행동을 수행하거나, 상태를 변경시키고/변경시키거나 결정을 행하도록 할 수 있는 실행 가능 명령을 표현할 수 있음이 이해될 것이다. 그러므로, 기술된 프로세스는 시스템(100)과 연관되는 메모리에 의해 제공되는 실행 가능 명령 및/또는 동작으로 구현될 수 있다. 대안으로 또는 추가로, 프로세스는 아날로그 회로, 디지털 신호 프로세싱 디바이스 회로, 주문형 반도체(ASIC) 또는 시스템(100)과 연관되는 다른 논리 디바이스와 같이 기능적으로 동일한 회로에 의해 수행되는 기능 및/또는 행위를 표현할 수 있다. 더욱이, 도 9는 기술된 구현들의 구현을 제한하도록 의도되지 않고 오히려 이 도면은 당업자가 회로를 설계/제작하거나, 소프트웨어를 만들거나 또는 하드웨어 및 소프트웨어의 결합을 사용하여 도시된 것을 수행하기 위해 사용할 수 있는 기능 정보를 도시한다.
프로세스(900)는 블록 910에서 시작할 수 있고, 여기서 시스템(100)의 카메라는 터치 감응 매트(200)의 적어도 일부분 및 터치 감응 매트(200) 상에 위치되는 물체(40)를 포함하는 이미지를 캡처한다. 블록 920에서, 이미지를 캡처한 후에, 이미지 프로세싱 모듈(290)은 배경 요소를 제거하기 위해 물체 및 배경 요소를 포함하는 캡처된 이미지를 프로세싱한다. 그러므로, 물체의 이미지만이 남는다. 그 후에, 블록 930에서, 프로젝터 조립체는 물체의 이미지를 이 물체 위에 물체의 이미지의 적어도 일부분에 인접하는 인공 쉐도우와 함께 투사한다(예를 들어, 도 8b를 참조할 것). 상술한 바와 같이, 인공 쉐도우는 사용자에게 투사 컴퓨팅 시스템(100)의 캡처 및 투사 기능이 완료된 것을 고지한다.
이 구현에 따르면, 인공 쉐도우는 다양한 방식으로 투사될 수 있다. 예를 들어, 인공 쉐도우는 상이한 컬러(예를 들어, 연한 회색, 진한 회색 등)로, 상이한 투명도 레벨(예를 들어, 50% 투명도)로, 상이한 크기(예를 들어, 물체로부터 5mm, 물체로부터 10mm 등)로, 그리고/또는 상이한 각(예를 들어, 물체의 중심으로부터 0° 내지 360°)으로 디스플레이되도록 구성될 수 있다. 추가로, 일부 예에서, 인공 쉐도우의 치수는 적어도 부분적으로 물체의 치수에 기초한다(예를 들어, 더 큰 물체 = 더 큰 쉐도우; 더 작은 물체 = 더 작은 쉐도우). 더욱이, 일부 예에서, 방향성 광 파라미터는 쉐도우가 방향성 광 파라미터 세팅에 기초하여 보이도록 사용자에 의해 세팅될 수 있다. 예를 들어, 방향성 광 파라미터는 "동남"으로 세팅될 수 있으므로 쉐도우는 광원이 물체의 동남쪽에 위치되어 있는 것에 기초해서 물체에 인접하게 보일 것이다. 일부 예에서, 방향성 광 파라미터는 모든 인공 쉐도우에 대해 디폴트 세팅을 가질 수 있고, 반면에 다른 예에서, 방향성 광 파라미터 세팅은 사용자가 구성할 수 있다.
이제 도 10 및 도 11로 전환하면, 위의 설명은 인공 쉐도우에 초점이 맞추어져 있었지만, 사용자에게 캡처 및 투사 기능이 완료된 것을 고지하기 위해 다른 이미지가 물체의 이미지와 함께 투사될 수 있음이 이해되어야 한다. 예를 들면, 도 10에 도시되는 바와 같이, 스타의 인공 이미지가 투사될 수 있다. 대안으로, 도 11에 도시되는 바와 같이, 후광의 인공 이미지가 투사될 수 있다. 이 인공 이미지는 도 10에 도시되는 바와 같이 "캡처 완료"와 같은 텍스트를 포함할 수 있다. 더욱이, 인공 이미지는 단지 텍스트만으로 구성되고 심볼, 후광 및/또는 쉐도우를 포함하지 않을 수 있다. 더욱이, 투사의 완료를 표명하기 위한 이미지를 투사하는 것 외에, 사운드 또한 재생될 수 있다. 예를 들어, 짧은 "땡" 또는 "클릭"음이 이미지가 투사되기 전에, 또는 동시에 또는 그 이후에 재생될 수 있다. 이 사운드는 상술한 쉐도우, 후광 및/또는 심볼 외에 투사 기능이 완료된 추가 표시를 제공할 수 있다.
기술된 방식에서, 본원에서 개시되는 원리에 따른 투사 컴퓨터 시스템(100)의 예의 사용을 통해, 물리적 물체의 이미지가 캡처되고, 프로세싱되고 물체 상에 직접적으로 투사될 수 있다. 투사된 이미지를 더 명확하게 만들기 위하여, 쉐도우와 같은 인공 이미지는 투사되는 이미지에 포함되고 물체 이미지에 인접할 수 있다. 더 구체적으로 카메라에 의한 이미지 캡처 이후에, 물체는 배경과 분리될 수 있고 추가 프로세싱은 물체를 적절하게 분리하기 위해 스캔 조사로부터 쉐도우를 제거할 수 있다. 그 이후에, 물체의 이미지는 인공으로 생성된 쉐도우와 함께 투사될 수 있다. 예에서, 쉐도우는 캡처된 이미지의 일부가 아니고, 오히려 캡처 및 분리의 완성을 표시하도록 디스플레이된다. 쉐도우는 방향성 광이 특정한 장소에 있고 물체가 매트 위에서 떠다니거나 매트 안으로 빠져 들어가는 것처럼 제공될 수 있다. 게다가, 쉐도우를 나타내는 명백한 광이 더 선명하거나 더 부드러운 쉐도우를 만들기 위해 더 집중되거나 더 분산적일 수 있다. 더욱이, 실제 물체 높이에 대한 3D 센서로부터의 정보는 쉐도우를 더 길거나 더 짧게 만드는 데 사용됨으로써 실제 물체 높이에 대응할 수 있다.
디바이스(150)가 올인원 컴퓨터로서 기술되었지만, 다른 예에서, 디바이스(150)는 더욱이 예를 들어, 키보드 및 마우스와 같이 더 많은 종래의 사용자 입력 디바이스를 사용하는 것을 이용할 수 있다. 게다가, 번들(164) 내의 센서(164a, 164b, 164c, 164d)가 각각 단일 센서 또는 카메라를 대표하는 것으로 설명되었을지라도, 센서(164a, 164b, 164c, 164d)의 각각은 각각 여전히 본원에서 개시되는 원리에 부합하면서 다수의 센서 또는 카메라를 포함할 수 있음이 인정될 것이다. 더욱이, 상부(160)가 본원에서 캔틸리버식 상부로서 기술되었지만, 다른 예에서, 상부(160)는 여전히 본원에서 기술되는 원리에 부합하면서 하나 이상의 지점에서 지지될 수 있고 그러므로 캔털리버식이 아닐 수 있음이 인정될 것이다.
위의 논의는 본 발명의 원리 및 다양한 실시예를 설명하도록 의도된다. 상기 발명이 일단 완전하게 인식되면 많은 변형 및 수정들이 당업자에게는 자명해질 것이다. 다음의 청구항은 모든 그와 같은 변형 및 수정을 포함하는 것으로 해석되도독 의도된다.

Claims (15)

  1. 투사 컴퓨팅 시스템(projective computing system)으로서,
    터치 감응 매트(touch sensitive mat)와,
    상기 터치 감응 매트 위에 위치되는 카메라―상기 카메라는 상기 터치 감응 매트의 적어도 일부분 및 상기 터치 감응 매트 상에 위치되는 물체를 포함하는 이미지를 캡처함―와,
    상기 이미지를 수신하고 상기 이미지를 프로세싱하여 상기 물체의 이미지를 생성하는 이미지 프로세싱 모듈(image processing module)과,
    상기 물체의 이미지를 상기 물체의 이미지의 적어도 일부분에 인접하는 인공 쉐도우(artificial shadow)와 함께 투사하는 프로젝터 조립체(projector assembly)를 포함하며,
    상기 프로젝터 조립체는 사용자에게 캡처 및 투사 기능이 완료된 것을 고지하기 위해 다른 이미지를 상기 물체의 이미지와 함께 투사하는
    투사 컴퓨팅 시스템.
  2. 제 1 항에 있어서,
    상기 프로젝터 조립체는 상기 물체의 이미지를 상기 터치 감응 매트에 위치되는 상기 물체 위에 투사하는
    투사 컴퓨팅 시스템.
  3. 제 1 항에 있어서,
    상기 물체의 이미지는 2차원 이미지인
    투사 컴퓨팅 시스템.
  4. 제 1 항에 있어서,
    상기 인공 쉐도우의 치수는 상기 물체의 치수 또는 상기 물체의 이미지의 치수에 적어도 부분적으로 기초하는
    투사 컴퓨팅 시스템.
  5. 제 1 항에 있어서,
    상기 물체의 이미지는 상기 물체와 동일한 크기(scale)인
    투사 컴퓨팅 시스템.
  6. 제 1 항에 있어서,
    상기 이미지 프로세싱 모듈은 상기 터치 감응 매트의 부분들을 제거하기 위해 상기 이미지를 프로세싱하는
    투사 컴퓨팅 시스템.
  7. 제 1 항에 있어서,
    상기 물체는 사진 및 문서 중 적어도 하나를 포함하는
    투사 컴퓨팅 시스템.
  8. 제 1 항에 있어서,
    상기 프로젝터 조립체는 방향성 광 파라미터에 적어도 부분적으로 기초하여 상기 인공 쉐도우의 이미지를 투사하는
    투사 컴퓨팅 시스템.
  9. 투사 컴퓨팅 시스템에 의해 수행되는 방법으로서,
    상기 투사 컴퓨팅 시스템의 카메라에 의해, 물체 및 배경 요소를 포함하는 이미지를 캡처하는 단계와,
    상기 투사 컴퓨팅 시스템의 프로젝터 조립체에 의해, 상기 물체의 이미지를 상기 물체의 이미지의 적어도 일부에 인접하는 인공 쉐도우와 함께 상기 물체 위에 투사하는 단계를 포함하며,
    상기 투사하는 단계는 사용자에게 캡처 및 투사 기능이 완료된 것을 고지하기 위해 다른 이미지를 상기 물체의 이미지와 함께 투사하는 단계를 포함하는
    방법.
  10. 제 9 항에 있어서,
    상기 배경 요소를 제거하기 위해 상기 물체 및 상기 배경 요소를 포함하는 상기 이미지를 프로세싱하는 단계를 더 포함하는
    방법.
  11. 제 9 항에 있어서,
    방향성 광 파라미터를 획득하는 단계와,
    상기 방향성 광 파라미터에 적어도 부분적으로 기초하여 상기 인공 쉐도우를 투사하는 단계를 더 포함하는
    방법.
  12. 제 9 항에 있어서,
    상기 물체의 이미지는 상기 물체와 동일한 크기인
    방법.
  13. 투사 컴퓨팅 시스템으로서,
    베이스, 상기 베이스로부터 상향으로 연장되는 직립 부재 및 상기 직립 부재로부터 외부로 연장되는 캔틸레버식(cantilervered) 상부를 포함하는 지지 구조체와,
    상기 캔틸레버식 상부 내에 위치되고, 물체의 이미지를 캡처할 수 있는 카메라와,
    상기 물체의 이미지를 상기 물체의 이미지의 적어도 일부분에 인접하는 인공 쉐도우와 함께 상기 물체 위에 투사하는 프로젝터 조립체를 포함하며,
    상기 프로젝터 조립체는 사용자에게 캡처 및 투사 기능이 완료된 것을 고지하기 위해 다른 이미지를 상기 물체의 이미지와 함께 투사하는
    투사 컴퓨팅 시스템.
  14. 제 13 항에 있어서,
    상기 다른 이미지는 후광(halo) 및 심볼 중 적어도 하나를 포함하는
    투사 컴퓨팅 시스템.
  15. 제 13 항에 있어서,
    상기 물체는 사진 및 문서 중 적어도 하나를 포함하는
    투사 컴퓨팅 시스템.
KR1020167005034A 2013-08-22 2013-08-22 투사 컴퓨팅 시스템 Expired - Fee Related KR101800981B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2013/056099 WO2015026346A1 (en) 2013-08-22 2013-08-22 Projective computing system

Publications (2)

Publication Number Publication Date
KR20160036603A KR20160036603A (ko) 2016-04-04
KR101800981B1 true KR101800981B1 (ko) 2017-11-23

Family

ID=52484001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167005034A Expired - Fee Related KR101800981B1 (ko) 2013-08-22 2013-08-22 투사 컴퓨팅 시스템

Country Status (7)

Country Link
US (1) US10126880B2 (ko)
EP (1) EP3036602A4 (ko)
JP (1) JP2016528647A (ko)
KR (1) KR101800981B1 (ko)
CN (1) CN105683866B (ko)
TW (1) TWI531928B (ko)
WO (1) WO2015026346A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10019926B2 (en) * 2015-06-19 2018-07-10 Apple Inc. Adaptive calibration and adaptive transformation matrices for ambient light sensors
TWI607365B (zh) * 2016-10-07 2017-12-01 Handwriting interactive display device and handwriting interactive reading device
WO2018136029A1 (en) 2017-01-17 2018-07-26 Hewlett-Packard Development Company, L.P. Input device with touch sensitive surface
US20200255830A1 (en) 2017-11-02 2020-08-13 Arbor Biotechnologies, Inc. Novel crispr-associated transposon systems and components
JP7119488B2 (ja) * 2018-03-27 2022-08-17 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
TWI664565B (zh) * 2018-04-03 2019-07-01 元太科技工業股份有限公司 顯示裝置
KR20210115161A (ko) 2020-03-12 2021-09-27 김상일 보건용 마스크

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20120062518A1 (en) 2010-09-09 2012-03-15 Light Blue Optics Ltd Touch Sensing Systems
WO2012172363A2 (en) * 2011-06-16 2012-12-20 Light Blue Optics Ltd Touch sensitive display devices
WO2013019252A1 (en) * 2011-08-02 2013-02-07 Hewlett-Packard Development Company, L.P. Portable projection capture device

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69430967T2 (de) * 1993-04-30 2002-11-07 Xerox Corp Interaktives Kopiersystem
JP3006448B2 (ja) 1995-02-09 2000-02-07 富士ゼロックス株式会社 情報入出力システム
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
JP2976963B2 (ja) 1998-03-19 1999-11-10 コナミ株式会社 画像作成装置、画像作成方法、画像作成プログラムが記録された可読記録媒体およびビデオゲーム装置
JP2003270719A (ja) 2002-03-13 2003-09-25 Osaka Industrial Promotion Organization 投影方法、投影装置、作業支援方法及び作業支援システム
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US8508508B2 (en) 2003-02-14 2013-08-13 Next Holdings Limited Touch screen signal processing with single-point calibration
US7203384B2 (en) 2003-02-24 2007-04-10 Electronic Scripting Products, Inc. Implement for optically inferring information from a planar jotting surface
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
JP2005122323A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮影装置、画像処理装置、撮影装置の画像処理方法及びプログラム
US7110100B2 (en) 2003-11-04 2006-09-19 Electronic Scripting Products, Inc. Apparatus and method for determining an inclination of an elongate object contacting a plane surface
US7038846B2 (en) 2003-11-24 2006-05-02 Electronic Scripting Products, Inc. Solid catadioptric lens with a single viewpoint
US7268956B2 (en) 2003-11-24 2007-09-11 Electronic Scripting Products, Inc. Solid catadioptric lens with two viewpoints
US7088440B2 (en) 2003-12-22 2006-08-08 Electronic Scripting Products, Inc. Method and apparatus for determining absolute position of a tip of an elongate object on a plane surface with invariant features
US9229540B2 (en) 2004-01-30 2016-01-05 Electronic Scripting Products, Inc. Deriving input from six degrees of freedom interfaces
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
US8542219B2 (en) 2004-01-30 2013-09-24 Electronic Scripting Products, Inc. Processing pose data derived from the pose of an elongate object
US7826641B2 (en) 2004-01-30 2010-11-02 Electronic Scripting Products, Inc. Apparatus and method for determining an absolute pose of a manipulated object in a real three-dimensional environment with invariant features
US7729515B2 (en) 2006-03-08 2010-06-01 Electronic Scripting Products, Inc. Optical navigation apparatus using fixed beacons and a centroid sensing device
US20050168448A1 (en) 2004-01-30 2005-08-04 Simpson Zachary B. Interactive touch-screen using infrared illuminators
US7023536B2 (en) 2004-03-08 2006-04-04 Electronic Scripting Products, Inc. Apparatus and method for determining orientation parameters of an elongate object
US7161664B2 (en) 2004-04-13 2007-01-09 Electronic Scripting Products, Inc. Apparatus and method for optical determination of intermediate distances
US7113270B2 (en) 2004-06-18 2006-09-26 Electronics Scripting Products, Inc. Determination of an orientation parameter of an elongate object with a scan beam apparatus
JP4579730B2 (ja) * 2005-03-18 2010-11-10 日本電信電話株式会社 画像処理装置及び画像処理方法とそのプログラム
US20070035655A1 (en) * 2005-08-10 2007-02-15 Chang-Fu Chen Multi-functional scanning camera
CN101449204A (zh) 2005-09-07 2009-06-03 实况活动媒体公司 用于图像捕获的空中支撑结构和方法
US7639878B2 (en) * 2005-11-17 2009-12-29 Honeywell International Inc. Shadow detection in images
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US9081445B2 (en) * 2006-12-08 2015-07-14 Johnson Controls Technology Company Display and user interface
CA2685444A1 (en) 2007-05-01 2008-11-06 Jesper Worm Rna antagonist compounds for the modulation of beta-catenin
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US20080295035A1 (en) 2007-05-25 2008-11-27 Nokia Corporation Projection of visual elements and graphical elements in a 3D UI
CN101918089A (zh) 2007-09-21 2010-12-15 游戏数据有限责任公司 对象定位及移动检测系统和方法
JP2009094867A (ja) 2007-10-10 2009-04-30 Fuji Xerox Co Ltd 情報処理装置、遠隔指示システム及び制御プログラム
JP5061924B2 (ja) * 2008-01-25 2012-10-31 富士ゼロックス株式会社 指示システム、指示プログラム及び指示装置
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
US20100315413A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Surface Computer User Interaction
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US8286102B1 (en) * 2010-05-27 2012-10-09 Adobe Systems Incorporated System and method for image processing using multi-touch gestures
KR101113238B1 (ko) 2010-08-02 2012-02-20 삼성전자주식회사 이미지 처리장치의 이미지 표시방법
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US20120249422A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and method
US9369632B2 (en) * 2011-07-29 2016-06-14 Hewlett-Packard Development Company, L.P. Projection capture system, programming and method
EP2737693B1 (en) 2011-07-29 2020-01-08 Hewlett-Packard Development Company, L.P. System and method of visual layering
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
US9030445B2 (en) 2011-10-07 2015-05-12 Qualcomm Incorporated Vision-based interactive projection system
US8896688B2 (en) * 2011-11-04 2014-11-25 Hewlett-Packard Development Company, L.P. Determining position in a projection capture system
JP5465708B2 (ja) 2011-12-05 2014-04-09 哲也 秋葉 投影システム及び方法
KR20130075344A (ko) 2011-12-27 2013-07-05 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
USD726184S1 (en) * 2012-10-02 2015-04-07 Hewlett-Packard Development Company, L.P. Projected interface device
US8970709B2 (en) 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US20120062518A1 (en) 2010-09-09 2012-03-15 Light Blue Optics Ltd Touch Sensing Systems
WO2012172363A2 (en) * 2011-06-16 2012-12-20 Light Blue Optics Ltd Touch sensitive display devices
WO2013019252A1 (en) * 2011-08-02 2013-02-07 Hewlett-Packard Development Company, L.P. Portable projection capture device

Also Published As

Publication number Publication date
EP3036602A1 (en) 2016-06-29
US10126880B2 (en) 2018-11-13
TWI531928B (zh) 2016-05-01
US20160202843A1 (en) 2016-07-14
TW201514768A (zh) 2015-04-16
CN105683866B (zh) 2020-01-10
EP3036602A4 (en) 2017-04-12
WO2015026346A1 (en) 2015-02-26
JP2016528647A (ja) 2016-09-15
CN105683866A (zh) 2016-06-15
KR20160036603A (ko) 2016-04-04

Similar Documents

Publication Publication Date Title
KR101800981B1 (ko) 투사 컴퓨팅 시스템
US10268318B2 (en) Touch sensitive mat of a system with a projector unit
TWI546719B (zh) 用以鏡面式反射紅外光線之投影螢幕
TWI545463B (zh) 投影系統及管理投影系統之方法
TWI530863B (zh) 投影運算系統、用以修改其中觸控輸入之方法及相關非暫態電腦可讀儲存裝置
CN105723300A (zh) 基于表示对象的图像确定分割边界
TWI575406B (zh) 用以產生顯示區之角落的方法、相關電腦系統及機器可讀儲存媒體
US10649584B2 (en) Process image according to mat characteristic
TWI566169B (zh) 管理顯示單元之方法、電腦可讀媒體及相關系統
TWI569173B (zh) 物件數位影像呈現技術
WO2016018418A1 (en) Misalignment detection

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20201118

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20201118