KR20180123217A - 컴퓨터화된 시스템을 구비한 사용자 인터페이스를 제공하고 가상 환경과 상호작용하기 위한 방법 및 장치 - Google Patents

컴퓨터화된 시스템을 구비한 사용자 인터페이스를 제공하고 가상 환경과 상호작용하기 위한 방법 및 장치 Download PDF

Info

Publication number
KR20180123217A
KR20180123217A KR1020187028099A KR20187028099A KR20180123217A KR 20180123217 A KR20180123217 A KR 20180123217A KR 1020187028099 A KR1020187028099 A KR 1020187028099A KR 20187028099 A KR20187028099 A KR 20187028099A KR 20180123217 A KR20180123217 A KR 20180123217A
Authority
KR
South Korea
Prior art keywords
user
computer system
display
digital
document
Prior art date
Application number
KR1020187028099A
Other languages
English (en)
Inventor
조지 알렉스 포페스쿠
미하이 드미트레스쿠
Original Assignee
스마트 램프, 인코포레이티드 디/비/에이 람픽스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 스마트 램프, 인코포레이티드 디/비/에이 람픽스 filed Critical 스마트 램프, 인코포레이티드 디/비/에이 람픽스
Publication of KR20180123217A publication Critical patent/KR20180123217A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H05B37/0227—
    • H05B37/029—
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

본 발명은 컴퓨터화된 시스템을 위한 사용자 인터페이스를 제공하기 위한 방법 및 장치에 관한 것이다. 본 발명은 개인 컴퓨터("PC")의 기능을 물리적 데스크톱에 전달하는 장치이다. 이 장치는 종이와 디지털 문서 사이에 매끄러운 통합을 제공하여, 현재 장치의 제한된 스크린을 넘어 확장된 사무실 공간을 생성한다. 본 발명은 전체 데스크 또는 사무실 공간을 상호 작용적으로 만들어, 사용자-컴퓨터 상호 작용에 있어 더 큰 다재다능성을 가능하게 해준다. 본 발명은 눈에 거슬리는 추가적인 하드웨어를 사무실 공간에 추가함이 없이 이들 이득을 제공한다.

Description

컴퓨터화된 시스템을 구비한 사용자 인터페이스를 제공하고 가상 환경과 상호 작용하기 위한 방법 및 장치
본 출원은 미국 가 특허 출원 62/301,110의 계속 출원이고 또한 그로부터 우선권을 주장한다.
본 발명은 증강 현실 및 컴퓨터화된 시스템을 위한 사용자 인터페이스의 분야에 관한 것이다. 증강 현실 기술은 가상의 이미지가 실제 세계의 물리적 환경에 나타날 수 있게 해준다. 본 발명은 사용자가 이들 가상의 이미지와 상호 작용하여 다양한 기능을 수행할 수 있게 해준다.
개인 컴퓨터는 생산성에 크게 유용하여, 다양한 개인적 및 전문적인 노력의 요구 사항에 맞게 되었다. 개인 컴퓨터 사용의 계속되는 진화에도 불구하고, 한 분야는 지속적이다. 물리적 문서와 디지털 파일은 제한된 방식으로 상호 작용한다. 사람들은 파일을 인쇄하거나 문서를 스캔하기 위해서는 그들의 작업 흐름을 중단할 필요가 있고, 한 영역에서의 변화는 매체에 반영되지 않는다. 키보드, 마우스, 조이스틱, 및 터치스크린을 포함한 많은 종류의 사용자 인터페이스 장치 및 방법이 이용 가능하지만, 컴퓨터와 디지털 정보는 사용자의 물리적 작업 공간 및 문서와 제한된 상호 작용을 한다.
최근에, 평평한 표면 상에 정보를 나타내기 위해 상호 작용 터치스크린이 사용되고 있다. 예를 들면, 이미지가 터치스크린 상에 표시될 수 있고, 사용자는 그 터치스크린을 터치하여 이미지와 상호 작용하여 그 이미지를 변화시킬 수 있다. 그러나 터치스크린 상에 표시된 이미지와 상호 작용하기 위해, 사용자는 실제로 그 터치스크린과 접촉해야 한다. 상호 작용을 제공하기 위해서는 터치스크린과 접촉해야 하므로, 현재의 상호 작용 디스플레이에는 많은 수의 잠재적인 사용자가 관여하지 않는다. 한번에 단지 1명의 사용자가 터치스크린과 상호 작용할 수 있기 때문에, 추가 사용자가 또한 배제된다. 더욱이, 상호 작용은 터치스크린의 크기와 근접성에 의해 제한을 받는다.
가상 환경과 상호 작용하기 위한 다른 시스템 또는 방법은 촉각 인터페이스 대신에 이미지 처리에 의존한다. 이미지 처리는 분석, 교육, 상업 및 오락의 많은 영역에서 사용된다. 이미지 처리의 일 양태는 모션 캡쳐에 의한 또는 모션 캡쳐 기술을 통해 이미지와의 상호 작용을 가능하게 하기 위해 인간 형태와 움직임을 검출함에 의한 인간-컴퓨터 상호 작용을 포함한다. 이러한 처리의 응용은, 디지털 형상 또는 다른 데이터를 정의하거나, 대상을 동화(animating)하거나 표현 형태 등을 만들기 위해 이미지와 상호 작용하는 효율적이고 재미있는 방식을 사용할 수 있다.
모션 캡쳐 기술로, 인간 수행자의 운동의 움직임 기술(description)이 컴퓨터 또는 다른 처리 시스템에 입력된다. 자연스러운 신체 움직임을 컴퓨터에 대한 입력으로서 사용하여, 경기 운동을 연구하거나, 추후의 재생 또는 시뮬레이션을 위한 데이터를 캡쳐하거나, 또는 의료 목적 등을 위한 분석을 향상시킬 수 있다.
모션 캡쳐는 이익과 이점을 제공하지만, 모션 캡쳐 기술은 복잡한 경향이 있다. 어떤 기술은 여러 위치에서 고 가시성 점을 갖는 특수한 수트(suit)를 착용하는 인간 행위자를 필요로 한다. 다른 접근 방법은 무선 또는 다른 종류의 발신기, 복수의 센서 및 검출기, 블루 스크린, 확장형 후처리 등을 사용한다. 단순한 가시광 이미지 캡쳐에 의존하는 기술은, 잘 정의된 정밀한 모션 캡쳐를 제공하기에는 일반적으로 정확하지 않다.
더 최근에는, 패턴화된 조명을 사용하여, 대상의 크기, 형상, 방향 또는 움직임과 같은 물리적 특징을 구별하고 있다. 이들 시스템은 일반적으로 적외선 또는 다른 비가시성 스펙트럼을 투사하며, 이 적외선 또는 비가시성 스펙트럼은 투사광에 민감한 시각 센서에 의해 캡쳐된다. 일 예로, 미국 특허 8,035,624(이의 개시 내용은 본 명세서에 참조로 관련되어 있음)에는 컴퓨터 비전 기반 터치스크린이 기재되어 있는데, 여기서는, 조명기가 스크린의 전방 측 근처의 대상을 조명하며, 카메라는 피조명 대상과 프로젝터에 의해 스크린 상에 개별적으로 투사된 이미지와의 상호 작용을 검출하며, 컴퓨터 시스템은 프로젝터에 지시하여 이미지를 상호 작용에 응답하여 변화시키도록 한다.
다른 유사한 시스템은 상호 작용 비디오 표시 시스템(미국 특허 7,834,846)을 포함하는데, 여기서는 표시 스크린이 시각 이미지를 표시하고, 카메라가 표시 스크린의 앞에 위치하는 상호 작용 영역 내의 대상에 관한 3D 정보를 캡쳐한다. 컴퓨터 시스템은 표시 스크린에 지시하여 시각 이미지를 대상의 변화에 응답하여 변화시키도록 한다.
또 다른 방법은 3차원 사용자 인터페이스 세션 제어(미국 특허 9,035,876)인데, 여기서는 컴퓨터가 비촉각 3차원(3D) 사용자 인터페이스를 실행하고, 일 세트의 복수의 3D 좌표가 컴퓨터에 연결되어 있는 감지 장치의 시야 내에 위치하는 손의 제스쳐를 나타내고, 이 제스쳐는 공간 내의 선택된 축선을 따르는 제1 방향으로의 제1 동작을 포함하고, 이 동작 다음에는, 선택된 축선을 따르는 제2 방향(제1 방향의 반대임)으로의 제2 동작이 있다. 제스쳐의 완료가 검출되면, 비촉각 3D 사용자 인터페이스는 제1 상태에서 제2 상태로 전환된다.
본 발명은 개인 컴퓨터(PC)의 기능을 물리적 데스크톱에 전달하는 장치이다. 이 장치는 종이와 디지털 문서 사이에 매끄러운 통합을 제공하여, 현재 장치의 제한된 스크린을 넘어 확장된 사무실 공간을 생성한다. 본 발명은 전체 데스크 또는 사무실 공간을 상호 작용적으로 만들어, 사용자-컴퓨터 상호 작용에 있어 더 큰 다재다능성을 가능하게 해준다. 본 발명은 눈에 거슬리는 추가적인 하드웨어를 사무실 공간에 추가함이 없이 이들 이득을 제공한다. 본 발명은, 조명 고정구 또는 다른 사무실 고정구 내부에 포함되므로, 심지어 가장 슬림한 랩톱 또는 태블릿에서 나오는 어수선함을 줄여준다.
이하의 상세한 설명의 어떤 부분은, 컴퓨터 메모리에서 수행될 수 있는 데이터 비트에 대한 작용의 절차, 단계, 논리 블록, 처리 및 다른 기호 표현의 면에서 주어져 있다. 이들 설명 및 표현은 작업 자료를 다른 통상의 기술자에게 가장 효율적으로 전달하기 위해 데이터 처리 기술에서 통상의 기술자에 의해 사용되는 수단이다. 여기서 절차, 컴퓨터 실행 단계, 논리 블록, 프로세스 등은 일반적으로 원하는 결과를 주는 단계 또는 지시의 자기 모순 없는 시퀀스인 것으로 생각된다. 단계는 물리적 양의 물리적 조작을 필요로 하는 단계이다. 일반적으로, 반드시 그럴 필요는 없지만, 이들 양은 컴퓨터 시스템에 저장되고, 전달되고, 조합되며, 비교되고 또한 다른 식으로 조작될 수 있는 전기적 또는 자기적 신호의 형태를 취한다. 주로 통상적인 용도의 목적으로, 이들 신호를 비트, 값, 요소, 기호, 문자, 용어, 숫자 등으로 부르는 것이 가끔 편리한 것으로 밝혀졌다.
그러나 이들 용어 및 유사한 용어 모두는 적절한 물리적 양과 관련되어 있고 또한, 이들 양에 주어지는 편리한 칭호일 뿐임을 명심해야 한다. 이하의 논의에서 명백한 바와 같이 다른 구체적인 언급이 없으면, 본 발명 전체에 걸쳐, "투사(projecting)" 또는 "검출(detecting)" 또는 "변화(changing)" 또는 "조명(illuminating)" 또는 "보정(correcting)" 또는 "제거(eliminating)" 등과 같은 용어를 이용하는 논의는, 전자 장치의 레지스터 및 메모리 내에서 물리적(전자적) 양으로서 나타내지는 데이터를 조작하고 또한 전자 장치 메모리 또는 레지스터 또는 다른 그러한 정보 저장, 전송 또는 표시 장치 내에서 물리적 양으로서 유사하게 나타내지는 다른 데이터로 변환시키는 전자 시스템(예를 들면, 상호 작용 비디오 시스템) 또는 유사한 전자 컴퓨팅 장치의 작용 및 프로세스를 말하는 것임을 알 것이다.
설명된 어떤 실시 형태는 보는 대상의 3차원(3D) 이미지를 생성하는 비디오 카메라를 사용할 수 있다. TOF(time-of-flight) 카메라가 이러한 특성을 가지고 있다. 깊이 정보(예를 들면, 3D 이미지 데이터)를 얻기 위한 다른 장치는 구조화된 빛과 짝을 이루는 카메라, 깊이 맵을 발생시키기 위해 입체시(stereopsis) 알고리즘을 이용하는 입체 카메라, 초음파 트랜스듀서 어레이, 레이저 스캐너, 및 TOF 카메라를 포함하되 이에 한정되지 않는다. 일반적으로, 이들 장치는 깊이 맵을 생성하며, 이 깊이 맵은 카메라의 시각에서 본 이미지에 대응하는 값의 2차원(2D) 어레이이다. 각 화소(pixel) 값은 카메라의 시각에서 볼 때 카메라와 그 화소를 점유하는 가장 가까운 대상 사이의 거리에 대응한다. 더욱이, 본 발명의 실시 형태는 적어도 하나의 TOF 카메라를 포함할 수 있지만, 본 발명은, 레이저 스캐너 또는 입체 카메라와 같은, 임의의 카메라 또는 이미지화된 대상의 3차원 정보를 결정하도록 작동할 수 있는 카메라의 조합을 사용하여 실시될 수 있음을 알아야 한다. 일 실시 형태에서, 고 초점 길이 카메라를 이용하여 대상의 고해상도 이미지를 캡쳐할 수 있다.
본 발명은 하나 이상의 시각 센서를 사용하여 작업 공간을 모니터링한다. 일 실시 형태에서, 시각 센서는 대상에 관한 3차원 정보를 캡쳐하도록 작동할 수 있는 카메라이다. 일 실시 형태에서, 카메라는 TOF 카메라, 빛의 속도에 근거하여 거리를 파악하는 레인지 이미징 카메라이다. 일 실시 형태에서, 대상은 사용자이다. 일 실시 형태에서, 거리 정보는 사람 추적에 사용된다. 일 실시 형태에서, 거리 정보는 특징 추적에 사용된다. 특징 추적은 3D 대상의 디지털 표현을 생성하고/생성하거나 서로 다른 3D 대상들을 구별하는 데에 유용할 것이다.
작업 공간은 책상, 칠판, 화이트보드, 제도 테이블, 서가, 식품 저장실, 금전 등록기, 체크아웃 영역, 또는 사용자가 컴퓨터 기능을 원하는 다른 물리적 공간일 수 있다. 작업 공간을 모니터링할 때, 장치는 물리적 대상(예를 들면, 문서 또는 책)을 확인하고, 컴퓨터에 의해 그 대상에 대해 수행되는 다양한 기능을 위한 옵션을 준다. 옵션을 주기 위해, 장치는 하나 이상의 프로젝터를 이용할 수 있다. 이 프로젝터는, 단어 또는 다른 인식 가능한 기호로 다양한 옵션을 메뉴 항목으로서 나타내는 작업 공간의 표면 상에 이미지를 생성할 수 있다. 옵션은, 사용자가 접근 가능하고 본 발명과 연관된 다른 장치(예를 들면, 스마트폰, 태블릿, 컴퓨터, 터치스크린 모니터 또는 다른 입력 장치)에서도 주어질 수 있다.
표시된 이미지 또는 항목은 대상, 패턴, 형상 또는 임의의 시각적 패턴, 효과 등을 포함할 수 있다. 본 발명의 양태는 클럽 또는 이벤트에 있는 사람들을 위한 상호 작용 조명 효과, 상호 작용 광고 디스플레이, 행인들의 움직임에 반응하는 문자와 가상의 대상, 식당, 쇼핑몰, 경기장, 소매 상점, 로비 및 공원과 같은 공공 공간을 위한 상호 작용 주변 조명, 비디오 게임 시스템, 및 상호 작용 정보 디스플레이와 같은 용례에 사용될 수 있다. 다른 용례가 가능하고 본 발명의 범위에 포함된다.
일반적으로, 어떤 종류의 표시 장치라도 본 발명과 함께 사용될 수 있다. 예를 들면, 다양한 실시 형태 및 구성에서 비디오 장치가 설명되었지만, 다른 종류의 시각적 표현 장치도 사용될 수 있다. 발광 다이오드(LED) 어레이, 유기 LED(OLED), 발광 폴리머(LEP), 전자기 표시 시스템, 음극선 표시 시스템, 플라즈마 표시 시스템, 기계적 표시 시스템 또는 다른 표시 시스템이 사용될 수 있다. 복수의 발광 기구가 사용될 수 있다. 일 실시 형태에서, 발광 요소 중의 하나 이상이 다양한 조명 패턴 또는 시퀀스를 내보내 대상의 확인에 도움을 줄 수 있다. 다양한 구조화된 조명 모듈이 당업계에 알려져 있다.
가상 현실, 3차원 또는 다른 종류의 표시가 사용될 수 있다. 예를 들면, 사용자는 이미징 고글(goggle) 또는 후드(hood)를 착용할 수 있고, 그래서 그 고글이나 후드는 발생된 주변 환경 내에 포함된다. 이러한 접근 방법에서, 발생된 표시는 주변 환경에 대한 사용자의 인지와 부합되어 증강 또는 증진 현실을 생성할 수 있다. 일 실시 형태는 사용자가 문자의 이미지와 상호 작용할 수 있게 해준다. 문자는 컴퓨터로 발생되거나 인간 행위자 등에 의해 플레이될 수 있다. 문자는 사용자의 동작 및 신체 위치에 반응할 수 있다. 상호 작용은 연설, 대상의 공동 조작 등을 포함할 수 있다.
복수의 시스템이 디지털 네트워크를 통해 서로 연결될 수 있다. 예를 들면, 이더넷(Ethernet), 범용 직렬 버스(USB), IEEE 1394(Firewire), 등이 사용될 수 있다. 802.11b에 의해 정의되어 있는 바와 같은 무선 통신 링크 등이 사용될 수 있다. 복수의 시스템을 사용하여, 서로 다른 지리적 위치에 있는 사용자들이 발생된 이미지를 통해 서로 협력하거나, 경쟁하거나 또는 다른 식으로 상호 작용할 수 있다. 2개 이상의 시스템에 의해 발생된 이미지가 함께 "타일링될(tiled)" 수 있거나 또는 다른 식으로 조합되어 복합적인 표시를 생성할 수 있다.
빛과는 다른 종류의 조명이 사용될 수 있다. 예를 들면, 레이더 신호, 마이크로파, 또는 다른 전자기파가, 검출할 대상(예를 들면, 금속 물체)이 그러한 파에 대한 높은 반사성을 갖는 경우에 유리하게 사용될 수 있다. 예를 들면, 공중 또는 수중에서 음파를 사용하여 시스템의 양태를 다른 검출 형태에 적합하게 할 수 있다.
컴퓨터 시스템이 대상 이미지 신호를 받아 처리하고 또한 표시 신호를 발생시키는 것으로 설명되었지만, 어떤 다른 종류의 처리 시스템이라도 사용될 수 있다. 예를 들면, 범용 컴퓨터를 사용하지 않는 처리 시스템이 사용될 수 있다. 고객 맞춤형 또는 반 고객 맞춤형 회로 또는 칩, 주문형 반도체(ASIC), 필드 프로그래머블 게이트 어레이(FPGA), 멀티프로세서, 비동기 또는 임의의 종류의 아키텍쳐 설계 또는 방법에 근거한 설계를 사용하는 처리 시스템이 본 발명에 사용되기에 적합하다.
설명을 하면, 사용자가 예를 들면 명함을 책상 위에 두는 경우, 장치는 그 명함을 확인하고, 세이브(save), 이메일, 전화번호와 같은 명함에 포함되어 있는 연락 정보와 관련이 있는 옵션을 사용자에게 주고, 미팅 계획을 잡거나 또는 리마인더(reminder)를 설정할 것이다. 세이브는 텍스트 확인을 사용하여, 명함의 정보를 포함하는 적절한 소프트웨어로 새로운 연락을 취할 것이다. 다른 실시 형태에서, 장치는 다수의 유사한 문서(예를 들면, 10개의 명함)가 존재하는 때를 확인할 수 있고, 유사한 문서 세트에 대한 일괄 처리 기능(예를 들면, 세이브 올)을 수행하는 옵션을 줄 수 있다.
도 1 내지 3은 본 발명의 장치의 한 가능한 구성을 나타낸다.
도 4는 본 발명의 장치가 전통적인 컴퓨터 인터페이스를 나타내는 것을 보여준다.
도 5는 본 발명의 장치가 확인된 대상 가까이에 메뉴 항목을 투사하여 옵션을 주는 것을 보여준다.
도 6은 램프가 디폴트 메뉴 항목을 통해 제어될 수 있는 것을 보여준다.
도 7은 A로 나타나 있는 바와 같은 물리적 문서상의 텍스트를 확인하고 단어를 부각시킬 수 있는 것을 보여준다.
일 실시 형태에서, 도 5에 나타나 있는 바와 같이, 본 장치는 확인된 대상 가까이에 메뉴 항목을 투사하여 옵션을 준다. 본 장치는 문서를 실시간으로 확인하며, 그래서 문서가 움직이면, 관련된 메뉴 항목이 그 문서와 함께 움직이게 된다. 본 장치는 또한 복수의 문서를 추적하고 구별한다. 도 5에 나타나 있는 바와 같이, 투사된 브라켓(A, B) 쌍은 개별적인 문서에 대응하고, 각 문서는 그 자신의 관련된 옵션 메뉴를 갖는다.
사용자는 기능을 수행하기 위해 메뉴 항목을 터치한다. 장치는, 사용자의 손이 메뉴 항목과 접촉하여 그 선택된 메뉴 항목과 관련된 기능을 수행하는 때를 확인한다. 가능한 기능은 문서 또는 대상의 이미지를 드롭박스에 업로딩하는 것을 포함한다. 도 5에 나타나 있는 바와 같이, 사용자가 "드롭박스(Dropbox)" 버튼을 터치하면, 장치는 문서 또는 대상의 사진을 찍고 그 사진을 사용자의 드롭박스 어카운트(account)에 업로딩한다. 드롭박스는 디지털 파일을 저장하거나 전송하거나 또는 공유하기 위한 많은 이용 가능한 서비스의 일 예일 뿐임을 이해할 것이며, 그 서비스는 예를 들면 박스, 구글 드라이브, 마이크로소프트 원드라이브, 및 아마존 클라우드 드라이브도 포함한다.
일 실시 형태에서, 본 발명은 도 7에서 A로 나타나 있는 바와 같은 물리적 문서 상의 텍스트를 확인하고 단어를 부각시킬 수 있다. 예를 들면, 임대차 계약서를 읽고 있는 사용자는 건물주라는 용어의 각 예를 검토하고 싶어할 수 있다. 장치는 "건물주(landlord)"라는 용어가 페이지 상에 나타날 때마다 찾을 것이고 프로젝터를 사용하여 각 예를 부각시킬 것이다. 다른 예시적인 실시 형태에서, 장치는 문서의 디지털 버전에 접근하고, 사용자가 참조하기 쉽도록 하드 카피 문서 근처에 검색 용어(예를 들면, "건물주")의 다른 예의 페이지 번호를 표시할 것이다. 또 다른 실시 형태에서, 장치는, 하드 카피 문서, 디지털 버전 또는 둘 모두의 변화를 또한 부각시키면서, 사용자가 참조할 수 있도록 하드 카피 버전의 근처에 문서의 대안적인 버전을 표시할 수 있다.
본 장치는 또한 하드 카피 문서 상에 있는 사용자의 표시를 확인할 수 있고 이들 표시를 해석하여 문서의 디지털 버전을 변경할 수 있다. 이러한 표시는 텍스트 편집에 일반적인 기호, 사용자에 의해 프로그램되는 기호, 또는 사용자와 상호 작용하고 있는 특정 프로그램을 위해 생성된 기호를 포함할 수 있다. 예를 들면, 그래픽 디자이너는 디지털 렌더링(rendering)을 위한 미리 선택된 디자인 요소로 변환되는 어떤 기호를 사용할 수 있다.
다른 예시적인 기능은 공유이다. 사용자가 "공유(Share)" 버튼을 터치하면, 장치는 문서 또는 대상의 이미지 또는 비디오를 찍고, 예를 들면 이미지를 이메일 또는 다른 메시지 서비스에 첨부하거나 이미지를 페이스북, 트위터, 블로그 또는 다른 사회적 매체 서비스에 게시함으로써 그 이미지 또는 비디오를 선택된 서비스를 통해 공유할 것이다. 장치는 또한 제3자의 서비스의 사용 없이 공유 특징을 포함할 수 있다.
다른 실시 형태에서, 본 발명은 2명 이상의 사용자 간의 상호 작용 작업 공간을 제공할 수 있으며, 한 사용자의 입력을 다른 작업 공간에 나타내어 사용자들이 동일한 문서에 대해 협력할 수 있게 해준다. 이러한 기능은 상호 작용 제공, 가르침, 설계 또는 개발을 가능하게 해준다. 예를 들면, 펜 스트로크(pen stroke)가 두 장치 사이에서 실시간으로 전달됨에 따라, 필기를 하는 학생이 선생님의 안내를 따를 수 있다. 또는 2명의 예술가가 공유된 문서 상에서 동시에 그림을 그릴 수 있다. 일 실시 형태는, 미리 프린트된 패턴으로 특별히 준비된 종이, 또는 장치에 의한 확인을 용이하게 해주는 다른 수단을 이용할 수 있다. 프로세스 전체에 걸쳐, 장치는 사용자의 상호 작용의 디지털 기록을 유지할 수 있고, 사용자가 시간에 따른 변화를 보거나 이전의 버전으로 되돌아 갈 수 있도록 버전 이력을 유지할 수 있다.
다른 실시 형태에서, 장치는 문서 또는 작업 공간의 라이브 비디오를 방송할 수 있다. 예를 들면, 장치는 공유 메뉴 항목하의 독립적인 메뉴 옵션 또는 부차적인 옵션으로서 방송 또는 스트림을 줄 수 있다. 그런 다음 장치는 문서 또는 작업 공간 영역의 라이브 비디오를 캡쳐할 것이다. 장치는 또한 다른 사람들이 라이브 스트림에 참여하고/참여하거나 그 라이브 스트림을 보기 위한 링크, 초대장 또는 다른 수단을 배포하기 위한 옵션을 제공할 것이다.
설명을 더 하면, 회계사가 원격으로 세금 문서를 고객과 함께 검토하고 싶어할 수 있다. 그 회계사는 적절한 메뉴 옵션을 선택하여 라이브 스트림을 개시할 것이다. 장치는 관련된 문서를 확인할 것이고 그 문서의 비디오를 방송할 것이다. 회계사가 복수의 문서를 검토하고 싶어한다면, 그 회계사는 각 관련된 문서에 대한 적절한 공유 또는 스트리밍 옵션을 선택할 수 있다. 장치는 사용자의 선택에 따라 다양한 문서 또는 대상을 동시에 또는 번갈아 스트림 처리하는 옵션을 줄 수 있다.
다른 실시 형태에서, 회계사는, 어떤 개별적인 문서 또는 대상과도 별개이지만 복수의 문서 또는 대상을 포함할 수 있는 회계사 작업 공간의 일부분을 "공유"하거나 "스트림(stream)" 처리할 수 있다. 이 경우, 사용자는 특정한 문서와 관련되지 않은 디폴트 메뉴로부터 "공유" 또는 "스트림"을 선택할 수 있다. 그런 다음 장치는 경계를 투사하여, 공유 또는 스트림 처리 목적으로 카메라로 캡쳐된 작업 공간의 영역을 사용자에게 보여줄 것이다. 사용자는 또한 투사된 경계를 터치하고 드래그하여 캡쳐 영역을 조절할 수 있다. 사용자는 또한 캡쳐 영역을 잠금시켜 경계의 우발적인 조절을 방지할 수 있다. 설명을 하면, 사용자는 식사 준비를 보여주고 싶어하는 요리사일 수 있다. 장치는 도마를 확인할 수 있고 그 도마를 공유하거나 스트림 처리하는 옵션을 제공할 수 있는데, 하지만 요리사는 도마 영역 외부에서 준비 기술을 보여 줄 필요가 있을 수 있다. 요리사는 작업 공간 메뉴에서 공유 또는 스트림 옵션을 선택할 수 있고, 작업 공간의 모든 필요한 부분을 포함하기 위해 캡쳐 영역을 조절할 수 있다. 그렇게 해서, 요리사는 야채를 준비하기 위한 칼 기술 및 파스타 반죽을 말기 위한 기술 모두를 동일한 캡쳐 프레임으로 보여줄 수 있다.
사용자는 또한, 캡쳐 경계가 잠금되어 있지 않을 때 캡쳐 동안에 캡쳐 경계를 조절하여 문서 공유 또는 스트림 처리로부터 작업 공간 처리 또는 스트림 처리로 전환할 수 있다.
일 실시 형태에서, 장치는 두 문서 또는 대상이 실질적으로 유사함을 확인할 수 있고 비교 옵션을 메뉴 항목으로서 제공할 수 있다. 사용자가 "비교(compare)"를 선택하면, 장치는 텍스트 확인을 사용하여 문서를 스캔하고 그런 다음에 두 문서 사이의 차이를 부각시킬 것이다. 부각은 프로젝터에 의해 표현될 것이다. 대안적으로, 장치는 물리적 문서와, 실질적으로 유사한 문서의 디지털 버전을 비교할 수 있다. 그런 다음 장치는 차이를 전술한 바와 같은 물리적 문서 또는 디지털 문서 또는 둘 모두에 표시할 것이다. 장치는 문서의 이미지를 작업 공간 내의 표면 상에 투사하여 또는 그 장치에 연결되어 있는 스마트폰, 태블릿, 랩톱, 데스크톱, 터치스크린 모니터 또는 다른 유사한 장치를 통해 디지털 문서를 표시할 수 있다.
일 실시 형태에서, 장치는 철자 오류에 대해 문서를 검사하고 그 철자 오류를 문서의 물리적 버전 또는 디지털 버전에 부각시킬 수 있다. 장치는 또한 물리적 문서에 있는 인용구 또는 인터넷 링크를 확인하고 앞에서 언급한 프로젝터 또는 다른 표시 수단을 통해 참조 자료를 줄 수 있다. 예를 들면, 명함은 개인의 사회적 매체 어카운트(예를 들면, Linkedln)에 대한 링크를 포함할 수 있다. 예를 들면 명함에 포함되어 있는 정보를 처리할 때, 장치는 온라인 소스에서 주어지는 다른 연락 정보를 포함하거나, 사회적 매체 어카운트를 통해 사람과 연락하는 옵션을 제공할 수 있다.
일 실시 형태에서, 장치는 대상을 확인하고 그 대상 및 그 대상에 관한 정보가 있는지 데이터베이스 또는 인터넷을 검색하는 옵션을 제공할 수 있다. 예를 들면, 장치는 제목, 저자, 발행 연도, 판(edition), 또는 국제 표준 책 번호(ISBN)를 포함한 다양한 특징으로 책을 식별할 수 있다. 그 정보로, 장치는 책이 있는지 인터넷을 검색하여, 사용자가 책을 구매하거나 그 책의 평론을 읽거나 그 책을 인용하는 기사를 보거나 또는 그 책과 관련된 작품을 볼 수 있도록 해준다. 예를 들면, 사용자가 요리책을 보고 있다면, 장치는 레시피에 열거되어 있는 재료에 근거하여 사용자를 위한 쇼핑 목록을 만들 수 있다. 장치는 또한 주문서를 만들어 소매업자에게 전송할 수 있으며, 그래서 원하는 재료가 사용자에게 배달되거나 픽업을 위해 소매업자에 의해 모여질 수 있다.
다른 실시 형태에서, 장치는 음식물과 같은 대상을 확인할 수 있다. 많은 음식물은 식별에 사용될 수 있는 바코드 또는 다른 구별 특징 사항(예를 들면, 형상, 색, 크기 등)을 가질 수 있다. 장치는 부엌에 배치되는 경우 사용자의 식료품 구매를 추적하여 가용 음식의 목록을 유지할 수 있다. 이는 장치를 사용해 식료품 상점 영수증을 스캔하여 이루어질 수 있다. 이는 또한 다양한 음식물이 식료품 백에서 꺼내져 보관 위치에 있을 때 그 다양한 음식물을 확인하는 장치를 사용하여 이루어질 수도 있다. 그런 다음 장치는 음식물이 식사 준비에 사용될 때 그 음식물을 확인할 수 있고, 가용 음식의 데이터베이스에서 그 음식물을 제거할 수 있다. 장치는 또한 어떤 음식물이 상하기 전에 그 음식물을 소비하라고 사용자에게 상기시켜 주기 위해 신선도 및 부패 정도에 관한 정보에 접근할 수 있다. 장치는 사용자가 원하는 가용 음식물 및 다른 파라미터에 근거하여 레시피를 표시할 수 있다. 사용자가 요리하고 있을 때, 장치는 그 사용자를 돕기 위해 설명서 또는 다른 정보를 제공할 수 있다. 장치는 또한 가용 식료품 및 과거의 구매 행태에 근거하여 사용자를 위한 식료품 목록을 만들 수 있다. 장치는 또한 사용자의 요청에 따라 어떤 배달 음식물을 주문할 수 있다.
장치는 또한 작업 공간의 인간 공학적 상황을 개선하기 위해 사용될 수 있고 또한 디지털 대상과의 더 강한 상호 작용을 가능하게 해준다. 예를 들면, 장치가 도 4에 나타나 있는 것과 같은 전통적인 컴퓨터 인터페이스를 나타내고 있을 때, 그 장치는 투사된 이미지를 조절하여, 사용자가 최적의 보기 경험을 하게 해줄 수 있다. 장치는 또한 사용자의 작업 공간에 통보를 표시할 수 있다. 이는 부분적으로 알려져 있는 또는 신규한 눈 추적 방법을 적용하여 이루어질 수 있다. 투사 조절은 투사된 이미지에 대한 사용자의 근접 정도에 근거하여 텍스트 크기를 증가시키거나 감소시키는 것과 같은 기본적인 수정을 포함할 수 있다. 더 복잡한 수정은, 사용자의 보기 각도 및 프로젝터와 투사 면의 방향에 근거하여 투사 이미지의 원근을 변화시키는 것을 포함할 수 있다. 투사 이미지는 또한 예를 들면, 주변 영역의 밝기, 투사 면의 반사성 또는 투사 면의 색(이것들은 투사 이미지의 시인성(viewability)에 영향을 주는 요인임)과 같은 다른 작업 공간 특성에 맞게 조절될 수 있다. 진보된 이미지 조작은 사용자에게 하나 이상의 3D 대상의 인상(impression)을 줄 수 있다.
일 실시 형태에서, 장치는 다양한 모터, 트랙, 풀리 또는 기타 수단을 통해 그의 위치 또는 방향을 제어할 수 있다. 이러한 실시 형태에서, 장치는 움직일 수 있는 사용자에 대한 시선을 유지하거나 또는 사용자의 위치 또는 방향에 따라 최적의 투사 이미지 특성을 유지하도록 위치될 수 있다. 장치는 또한 예를 들면 사용자의 바로 이웃한 작업 공간 밖에 있는 대상과 상호 작용하여 방의 다른 측에 있는 서가를 탐색하기 위해 이동할 수 있다. 이러한 이동성으로, 장치에 이용 가능한 작업 공간이 하나 이상의 시각 센서의 캡쳐 영역을 넘어 크게 확장될 수 있다.
다른 실시 형태서, 장치는 사용자가 원하는 기능에 따라 하나 이상의 시각 센서의 캡쳐 영역을 조절할 수 있다. 예를 들면, 장치가 어떤 대상이 있는지 작업 공간을 탐색하기를 사용자가 원하면, 그 장치는 렌즈 또는 다른 기구를 조절하여 더 넓은 보기 영역을 캡쳐하고 분석할 수 있다. 초기의 넓은 탐색이 성공적이지 않으면, 장치는 작업 공간을 더 작은 영역으로 분할할 수 있고 렌즈 또는 다른 기구를 조절하여 더 높은 해상도에서 그 더 작은 영역들을 탐색할 수 있다. 유사하게, 사용자는 대상의 고해상도 이미지를 원할 수 있다. 장치는 하나 이상의 시각 센서의 캡쳐 영역을 조절하여 이미지 해상도를 증가시키거나 최대화할 수 있다.
일 실시 형태에서, 장치는 다양한 질병 또는 질환과 관련된 특징을 확인할 수 있다. 예를 들면, 장치는 사용자의 붉은 안색을 확인할 수 있고 사용자가 도움을 필요로 하는지를 물을 수 있다. 다른 예로, 장치는 사용자가 적열 상태나 다른 징후 또는 일광 화상을 보이고 있는 것을 확인하고 사용자가 추가 노출로부터 자신을 보호할 것을 권고할 수 있다. 다른 예로, 장치는 점(mole)의 이전 이미지를 상호 참조하고 그 점의 크기 또는 외양의 변화를 사용자 또는 사용자의 의사에게 알려줄 수 있다.
일 실시 형태에서, 장치는 하드 카피 또는 당업계에 알려져 있는 컴퓨터 보조 설계 소프트웨어를 사용하는 디지털 포맷으로 예를 들면 건물의 설계 개략도를 확인할 수 있다. 그런 다음 장치는 앞에서 언급된 프로젝터 또는 다른 표시 기술을 사용하여 작업 공간에 걸쳐 설계 및/또는 건물 모델을 2D 및/또는 3D 포맷으로 나타낼 수 있다.
다른 실시 형태에서, 처리가 로컬 컴퓨팅 장치와 원격 컴퓨팅 장치 간에 나누어질 수 있다. 예를 들면, 서버가 고해상도 밀집 3D 모델을 구축할 수 있고, 사용자 상호 작용이 통신 네트워크를 통해 전송되어 그 모델을 조작하게 된다. 모델에 대한 변경은 서비스로 계산되고 사용자 장치에 되돌려 보내진다. 이와 동시에, 더 작은 처리 능력 및 메모리를 사용하여 모델의 저해상도 버전이 사용자 장치에서 국부적으로 구축되고, 이는 사용자가 볼 수 있게 모델의 실시간 보기를 가능하게 하기 위해 사용된다. 이는 네트워크 지연 문제를 피하면서 사용자가 로컬 프로세서로부터 모델 구축으로부터의 시각적 피드백을 받을 수 있게 해준다.
다른 실시 형태에서, 장치는 하나 이상의 인지된 2D 또는 3D 대상과의 사용자 상호 작용을 확인할 수 있다. 앞에서 언급된 프로젝터 또는 다른 표시 기술은 예를 들면 1명 이상의 사용자를 위해 3D 건물의 이미지를 만들 수 있다. 사용자는 인지된 대상의 경계와 상호 작용하여 디지털 대상을 조작할 수 있다. 장치는 예를 들면 사용자의 손이 디지털 대상의 인지된 가장자리와 교차하는 때를 확인하고 그 사용자의 상호 작용에 따라 이미지를 조절할 수 있다. 사용자는 예를 들면 두 점에서 모델과 상호 작용하고 그런 다음에 그 두 점을 서로 더 멀어지게 드래그하여 건물 모델을 확대시킬 수 있다. 다른 상호 작용은 예를 들면 기본적인 디지털 대상을 수정하여 모델 건물을 더 높게 또는 더 짧게 만들 수 있다.
일 실시 형태에서, 장치는 사용자에 의해 동시에 참조되는 서로 다른 문서들을 추적할 수 있다. 예를 들면, 회계사가 고객의 세금 문서를 검토하는 경우, 장치는, 그 문서가 사용자의 작업 공간에서 물리적 및 시간적으로 가까이 있기 때문에 그 문서가 관련될 수 있음을 확인할 것이다. 그런 다음 장치는 메타데이터, 태그 또는 카테고리를 사용하여 그들 문서를 관련시킬 수 있다. 장치의 확인 기능은 또한 관련성의 다른 표시(예를 들면, 유사한 이름 또는 용어의 출현)를 사용할 수 있다. 사용자는 또한 대상의 특성에 따라 다른 종류의 관련성을 나타낼 수 있다.
일 실시 형태에서, 장치는 그의 확인 기능을 사용해 문서 또는 다른 대상의 물리적 위치를 추적하여 사용자가 나중에 그들 대상을 찾는 것을 도와줄 수 있다. 예를 들면, 회계사는 W-2 형을 포함하는 전년도의 고객 세금 문서를 포함하는 바인더를 참조할 수 있다. 사용자가 바인더를 작업 공간 내의 서가에 둘 때 장치는 문서 및 이 문서를 포함하는 바인더의 특징을 추적할 수 있다. 나중에, 회계사는 문서를 다시 참조하고 싶어할 수 있고, 앞에서 언급된 투사된 메뉴 옵션 또는 다른 입력 장치와 상호 작용하여 장치에게 문서의 위치를 보여 달라고 문의할 수 있다. 그러면 장치는 프로젝터를 사용하여 적절한 바인더를 부각시킬 수 있다. 장치는 또한 사용자가 바인더를 열 필요 없이 볼 수 있도록 그 바인더에 포함되어 있는 문서의 디지털 버전을 표시할 수 있다. 장치는 또한 하나 이상의 디지털 대상을 물리적 대상과 관련시킬 수 있다. 이러한 실시 형태에서, 물리적 대상은 관련된 디지털 대상에 대한 디지털 태그 또는 폴더처럼 기능할 수 있다. 예를 들면, 사용자가 커피를 들고 테이블에 앉아 있을 때 장치가 뉴스 소스를 불러와 사용자를 위해 그것을 표시하도록, 장치는 사용자가 선호하는 신문 또는 뉴스 채널을 커피와 관련시킬 수 있다. 그러한 디지털/물리적 관련은 또한 시간적으로 의존적일 수 있고, 그래서, 사용자가 오후에 커피를 마신다면 장치는 아침 뉴스를 표시하지 않을 것이다. 장치는 또한 빈번히 참조되는 문서를 추적하여, 참조 빈도 및/또는 다른 특성에 근거하여 최적화된 디지털 및 물리적 조직화를 제안할 수 있다.
일 실시 형태에서, 장치는 전통적인 데스크의 프로그램 원도우와 같은 디지털 환경의 어떤 특징을 종이와 같은 물리적 대상에 표시하여, 작업 디지털 데스크톱 공간을 확장하고 상호 작용성을 향상시킬 수 있다. 장치는 또한 어떤 디지털 대상 또는 문서를 물리적 대상뿐만 아니라 그 물리적 대상의 특징과도 관련시킬 수 있다. 예를 들면, 어떤 도면, 이미지, 노트 또는 텍스트가 연합적인 요소일 수 있어, 사용자가 그들 디지털 및 물리적 대상을 신속하게 또는 더 쉽게 상기할 수 있게 해준다.
일 실시 형태에서, 장치는 또한 복수의 마이크로폰을 이용하여 사용자와 다양한 대상 사이의 상호 작용을 검출할 수 있다. 또한, 마이크로폰을 사용하여 다양한 대상의 위치를 검출할 수 있다.
장치는 또한 개별적인 또는 다른 입력 모드와 함께하는 음성 명령에 의한 상호 작용을 가능하게 할 것이다. 장치는 또한 개발자와 사용자에 의한 추가적인 기능의 실행을 가능하게 할 것이다.
장치는 컴퓨터에 대해 다른 뚜렷한 이점을 가지며, 또한 작업 램프로서 기능도 할 것이다. 도 6에 나타나 있는 바와 같이, 램프는 디폴트 메뉴 항목을 통해 제어될 수 있고, 이 디폴트 메뉴 항목은 램프의 밝기를 조절하는 "업" 및 "다운"을 포함한다.
장치는 여기서 램프로 나타나 있지만, 다른 형태일 수 있고 또는 다른 대상에 통합될 수 있다. 예를 들면, 장치는 자동차의 객실, 계기판, 비행기 좌석, 천장, 벽, 헬멧 또는 목걸이 또는 다른 착용 가능한 대상 위에 또는 그 안에 있을 수 있다.
일 실시 형태에서, 장치는 하나 이상의 시각 센서, 하나 이상의 프로젝터, 하나 이상의 오디오 센서, 프로세서, 데이터 저장 요소, 전력 공급부, 광원, 및 광원 제어기를 갖는다. 장치의 한 가능한 구성이 도 1~3에 나타나 있다.
이들 상호 작용 표시 시스템은, 마이크로폰, 터치스크린, 키보드, 마우스, 무선 식별(RFID) 태그, 압력 패드, 휴대폰 신호, 개인 휴대 정보 단말기(PDA) 및 스피커를 포함하되 이에 한정되지 않는 추가적인 입력부 및 출력부를 포함할 수 있다.
이들 상호 작용 표시 시스템은 함께 타일링되어, 단일의 더 큰 스크린 또는 상호 작용 영역을 만들 수 있다. 타일링된 또는 물리적으로 개별적인 스크린은 또한 함께 네트워크화되어, 한 스크린에 대한 작용이 다른 스크린 상의 이미지에 영향을 주게 할 수 있다.
일 예시적인 실시예에서, 본 발명은 하드웨어와 제어 논리 형태의 소프트웨어의 조합을 통합 또는 모듈형 방식으로 사용하여 실시될 수 있다. 여기서 제공되는 개시 내용 및 교시에 근거하여, 통상의 기술자는 본 발명을 실시하기 위한 다른 방식 및/또는 방법을 알 것이다.
전술한 실시 형태는 예로서 주어진 것이고 본 발명은 위에서 특별히 나타나 있고 설명되어 있는 것에 한정되지 않고, 또한 그 실시 형태에 비추어 다양한 수정 또는 변화가 통상의 기술자에게 암시될 것이고 본 출원의 정신과 범위 및 첨부된 청구 범위 내에 포함됨을 알 것이다. 여기서 인용된 모든 공보, 특허 및 특허 출원은 전체적으로 모든 목적을 위해 참조로 관련되어 있다. 본 발명의 범위는, 위에서 설명한 다양한 특징의 조합과 부분 조합, 및 전술한 설명을 읽으면 통상의 기술자에게 떠오를 것이고 종래 기술에는 개시되어 있지 않은 변화와 수정을 포함한다.

Claims (2)

  1. 컴퓨터 인터페이스 장치로서,
    적어도 하나의 메모리 요소 및 적어도 하나의 처리 요소를 포함하는 컴퓨터 시스템;
    작업 공간으로부터 시각적 정보를 받는 적어도 하나의 시각 센서;
    작업 공간에서 빛을 제공할 수 있는 적어도 하나의 조명 장치; 및
    적어도 하나의 표시 장치를 포함하고,
    상기 표시 장치는 하나 이상의 디지털 대상을 표시할 수 있고,
    상기 컴퓨터 시스템은 상기 표시 장치가 제1 디지털 대상을 표시하게 하고,
    상기 컴퓨터 시스템은 상기 조명 장치를 통해 작업 공간에 제공되는 빛의 레벨을 상기 제1 디지털 대상과의 사용자 상호 작용에 근거하여 조절하며,
    상기 컴퓨터 시스템은 상기 표시 장치가 제1 디지털 대상과의 사용자 상호 작용에 근거하여 제2 디지털 대상을 표시하게 하고,
    상기 컴퓨터 시스템은 상기 작업 공간과 구별되는 제1 물리적 대상을 확인하고,
    상기 컴퓨터 시스템은 상기 표시 장치가 상기 제1 물리적 대상 가까이에 제1 관련 디지털 대상을 표시하게 하며,
    상기 컴퓨터 시스템은, 상기 사용자가 상기 제1 관련 디지털 대상과 상호 작용할 때 상기 제1 물리적 대상에 관한 정보에 근거하여 제2 관련 디지털 대상을 생성하고,
    상기 컴퓨터 시스템은, 상기 사용자가 상기 제1 물리적 대상과 상호 작용할 때 상기 제1 및 제2 관련 디지털 대상을 조절하는, 컴퓨터 인터페이스 장치.
  2. 컴퓨터 인터페이스 장치로서,
    적어도 하나의 메모리 요소 및 적어도 하나의 처리 요소를 포함하는 컴퓨터 시스템;
    작업 공간으로부터 시각적 정보를 받는 적어도 하나의 시각 센서; 및
    하나 이상의 디지털 대상을 표시할 수 있는 적어도 하나의 표시 장치를 포함하고,
    상기 컴퓨터 시스템은 상기 표시 장치가 제1 디지털 대상을 표시하게 하고,
    상기 컴퓨터 시스템은 상기 표시 장치가 상기 제1 디지털 대상과의 사용자 상호 작용에 근거하여 제2 디지털 대상을 표시하게 하며,
    상기 컴퓨터 시스템은 상기 작업 공간과 구별되는 제1 물리적 대상을 확인하고,
    상기 컴퓨터 시스템은 상기 표시 장치가 상기 제1 물리적 대상 가까이에 제1 관련 디지털 대상을 표시하게 하며,
    상기 컴퓨터 시스템은, 상기 사용자가 상기 제1 관련 디지털 대상과 상호 작용할 때 상기 제1 물리적 대상에 관한 정보에 근거하여 제2 관련 디지털 대상을 생성하고,
    상기 컴퓨터 시스템은, 상기 사용자가 상기 제1 물리적 대상과 상호 작용할 때 상기 제1 및 제2 관련 디지털 대상을 조절하는, 컴퓨터 인터페이스 장치.
KR1020187028099A 2016-02-29 2017-02-27 컴퓨터화된 시스템을 구비한 사용자 인터페이스를 제공하고 가상 환경과 상호작용하기 위한 방법 및 장치 KR20180123217A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662301110P 2016-02-29 2016-02-29
US62/301,110 2016-02-29
PCT/US2017/019615 WO2017151476A1 (en) 2016-02-29 2017-02-27 Method and apparatus for providing user interfaces with computerized systems and interacting with a virtual environment

Publications (1)

Publication Number Publication Date
KR20180123217A true KR20180123217A (ko) 2018-11-15

Family

ID=59679505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187028099A KR20180123217A (ko) 2016-02-29 2017-02-27 컴퓨터화된 시스템을 구비한 사용자 인터페이스를 제공하고 가상 환경과 상호작용하기 위한 방법 및 장치

Country Status (9)

Country Link
US (1) US20170249061A1 (ko)
EP (1) EP3424037A4 (ko)
JP (1) JP2019511049A (ko)
KR (1) KR20180123217A (ko)
CN (1) CN109196577A (ko)
AU (1) AU2017225662A1 (ko)
CA (1) CA3045008A1 (ko)
EA (1) EA201891955A1 (ko)
WO (1) WO2017151476A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9158389B1 (en) 2012-10-15 2015-10-13 Tangible Play, Inc. Virtualization of tangible interface objects
JP2018128979A (ja) * 2017-02-10 2018-08-16 パナソニックＩｐマネジメント株式会社 厨房支援システム
JP6885319B2 (ja) * 2017-12-15 2021-06-16 京セラドキュメントソリューションズ株式会社 画像処理装置
US10824856B2 (en) * 2018-10-11 2020-11-03 Bank Of America Corporation Item validation and image evaluation system
US10839243B2 (en) 2018-10-11 2020-11-17 Bank Of America Corporation Image evaluation and dynamic cropping system
US10832050B2 (en) 2018-12-06 2020-11-10 Bank Of America Corporation Enhanced item validation and image evaluation system
US11644940B1 (en) 2019-01-31 2023-05-09 Splunk Inc. Data visualization in an extended reality environment
US11853533B1 (en) * 2019-01-31 2023-12-26 Splunk Inc. Data visualization workspace in an extended reality environment
WO2020200876A1 (en) 2019-04-03 2020-10-08 Signify Holding B.V. Determining lighting design preferences in an augmented and/or virtual reality environment
KR102306392B1 (ko) 2019-08-19 2021-09-30 한국과학기술연구원 인터랙션 인터페이스의 제어 방법 및 이를 지원하는 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69430967T2 (de) * 1993-04-30 2002-11-07 Xerox Corp Interaktives Kopiersystem
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
EP1085432B1 (en) * 1999-09-20 2008-12-03 NCR International, Inc. Information retrieval and display
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
US8254692B2 (en) * 2007-07-23 2012-08-28 Hewlett-Packard Development Company, L.P. Document comparison method and apparatus
US20120154434A1 (en) * 2010-12-21 2012-06-21 Microsoft Corporation Human Interactive Proofs Leveraging Virtual Techniques
US9521276B2 (en) * 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
US11086207B2 (en) * 2013-10-03 2021-08-10 Autodesk, Inc. Reflection-based target selection on large displays with zero latency feedback
US10134296B2 (en) * 2013-10-03 2018-11-20 Autodesk, Inc. Enhancing movement training with an augmented reality mirror

Also Published As

Publication number Publication date
EP3424037A1 (en) 2019-01-09
JP2019511049A (ja) 2019-04-18
EP3424037A4 (en) 2019-09-18
WO2017151476A1 (en) 2017-09-08
CN109196577A (zh) 2019-01-11
CA3045008A1 (en) 2017-09-08
AU2017225662A1 (en) 2018-10-25
EA201891955A1 (ru) 2019-03-29
US20170249061A1 (en) 2017-08-31

Similar Documents

Publication Publication Date Title
KR20180123217A (ko) 컴퓨터화된 시스템을 구비한 사용자 인터페이스를 제공하고 가상 환경과 상호작용하기 위한 방법 및 장치
US11927986B2 (en) Integrated computational interface device with holder for wearable extended reality appliance
US20130055143A1 (en) Method for manipulating a graphical user interface and interactive input system employing the same
Herskovitz et al. Making mobile augmented reality applications accessible
WO2022170221A1 (en) Extended reality for productivity
Muhammad Nizam et al. A Scoping Review on Tangible and Spatial Awareness Interaction Technique in Mobile Augmented Reality‐Authoring Tool in Kitchen
Franz et al. A virtual reality scene taxonomy: Identifying and designing accessible scene-viewing techniques
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
Tomitsch et al. Designing for mobile interaction with augmented objects
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334791A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
James SimSense-Gestural Interaction Design for Information Exchange between Large Public Displays and Personal Mobile Devices
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039885A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
Wong Gesture based interactions for augmented virtual mirrors