KR20120063508A - 증강 객체와의 상호 작용을 위한 디바이스 - Google Patents

증강 객체와의 상호 작용을 위한 디바이스 Download PDF

Info

Publication number
KR20120063508A
KR20120063508A KR1020127008786A KR20127008786A KR20120063508A KR 20120063508 A KR20120063508 A KR 20120063508A KR 1020127008786 A KR1020127008786 A KR 1020127008786A KR 20127008786 A KR20127008786 A KR 20127008786A KR 20120063508 A KR20120063508 A KR 20120063508A
Authority
KR
South Korea
Prior art keywords
user
augmented
control interface
communication means
area
Prior art date
Application number
KR1020127008786A
Other languages
English (en)
Other versions
KR101470711B1 (ko
Inventor
알레인 파스터
호세 장
Original Assignee
알까뗄 루슨트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 알까뗄 루슨트 filed Critical 알까뗄 루슨트
Publication of KR20120063508A publication Critical patent/KR20120063508A/ko
Application granted granted Critical
Publication of KR101470711B1 publication Critical patent/KR101470711B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/409—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by using manual data input [MDI] or by using control panel, e.g. controlling functions with the panel; characterised by control panel details or by setting parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615—Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40195—Tele-operation, computer assisted manual operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/002—Special television systems not provided for by H04N7/007 - H04N7/18

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Manufacturing & Machinery (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

적어도 하나의 증강 객체(3)와 상호 작용하기 위한 디바이스로서, 상기 증강 객체(3)는 물리적 객체(6) 및 연관된 가상 객체(7)를 포함하고, 상기 가상 객체(7)는 적어도 하나의 정의 엘리먼트를 포함하고, 제 1 통신 수단을 통해 상기 증강 객체(3)에 접속하는 것이 가능하고, 상기 디바이스는,
― 비디오 캡처 수단(8)과,
― 사용자 단말기(12)와,
― 증강 객체(3)를 식별하는 자동 식별 수단과,
― 디바이스와 식별된 증강 객체(3) 사이에 접속을 수립하고, 상기 서비스 정의 엘리먼트들을 복원할 수 있는 통신 수단(10)과,
― 상기 서비스 정의 엘리먼트들에 따라 식별된 증강 객체(3)의 서비스들에 대한 제어 인터페이스를 정의하는 수단과,
― 상기 제어 인터페이스에 관련하여 명령들을 판독할 수 있는 판독기와,
― 실행을 위해 상기 명령들을 증강 객체(3)로 통신하는 수단(17)을 포함한다.

Description

증강 객체와의 상호 작용을 위한 디바이스{DEVICE FOR INTERACTION WITH AN AUGMENTED OBJECT}
본 발명은 사용자가 비디오 링크의 중개자(intermediary)를 통해 환경 내의 적어도 하나의 객체와 상호 작용하게 하기 위한 새로운 상호 작용 패러다임에 관한 것이다.
많은 환경 및 애플리케이션은, 예를 들면, 원격 객체의 경우에서, 또는 위험한 환경에서 비디오 링크를 통해 관측되는 객체와 사용자의 상호 작용을 요구한다.
예를 들면, US 6463343로부터, 사용자가 "활성" 객체와 상호 작용하도록 하기 위해, 적어도 하나의 "활성" 객체를 포함하는 환경을 비디오 링크를 통해 디스플레이하고, 상기 객체에 의해 제공된 서비스와 연관된 명령 인터페이스 엘리먼트를 슈퍼임포즈(superimpose)하는 것이 일반적이고, 비디오 링크는 상호 작용의 결과를 시각적으로 모니터링하는 것을 가능하게 한다.
그러나, US 6463343에서, 사용자는, 임의의 동작 전에, 한편으로 저장 매체로부터 통상적으로 나오는 명령 인터페이스 엘리먼트, 및 다른 한편으로 객체에 의해 제공되는 서비스 사이의 연관성을 정의해야 한다.
사물 간의 인터넷(Internet of Things)의 도래 이래로, 비디오 이미지를 통한 원격 객체의 발견 및 제어는 주요 관심 영역이 되고 있다. 주요 문제점은, 인터페이스 통합 및 구성 작업을 제한하면서, 비디오 링크 통해 상호 작용 객체를 발견하고 작동시키는 것이다.
이것은, 사용자가 상기 객체에 의해 제공되는 서비스를 사용함으로써 원격 객체를 제어하게 하기 위한, 다른 일상적인 객체로부터 원격 제어 인터페이스를 갖는 객체를 자동적으로 구별하기 위한 능력뿐만 아니라 상기 비디오와 함께 이러한 제어 인터페이스를 사용자에게 제공하기 위한 능력을 암시한다.
현재, 정적 정보를 비디오에 삽입하거나, 코멘트를 이미지의 특정 영역에 삽입하는 것만이 일반적이다.
본 발명은, 활성 객체와 제어 인터페이스를 자동적으로 연관시키기 위한 수단 또는 그러한 인터페이스를 정의하는 수단을 제안함으로써 이러한 단점들을 교정한다. 이것은 증강 객체(augmented object)의 혁신적인 개념을 통해 가능하게 된다. 그러한 개념은 사물 간의 인터넷에 관한 현재 개발에서 그의 위치를 자연스럽게 발견한다.
본 발명의 목적은 디바이스가 사용자 영역 내에 위치된 사용자로 하여금 환경에 존재하는 적어도 하나의 증강 객체와 상호 작용하게 하는 것이고, 상기 증강 객체는 객체 영역 내에 위치되고, 증강 객체는 물리적 객체 및 연관된 가상 객체를 포함하고, 상기 가상 객체는 상기 증강 객체의 의해 제공되는 적어도 하나의 서비스에 대한 적어도 하나의 정의 엘리먼트를 포함하고, 상기 증강 객체는 제 1 통신 수단을 통해 접속될 수 있고, 상기 디바이스는,
― 상기 환경의 적어도 일부분의 비디오 이미지를 촬영할 수 있는, 객체 영역 내에 위치된 비디오 캡처 수단과,
― 객체 영역의 상기 비디오 이미지를 사용자 영역으로 전송할 수 있는 제 2 통신 수단과,
― 사용자에게 제공하기 위해 상기 비디오 이미지를 디스플레이할 수 있는, 사용자 영역 내에 위치된 사용자 단말기와,
― 연관된 물리적 객체가 비디오 캡처 수단의 필드 내에 존재할 때, 증강 객체를 자동적으로 식별하는 수단과,
― 디바이스와 식별된 증강 객체 사이에 접속을 수립하고, 상기 증강 객체에 의해 제공되는 서비스들의 상기 정의 엘리먼트들을 복원할 수 있는 제 1 통신 수단과,
― 상기 서비스 정의 엘리먼트들에 따라 식별된 증강 객체의 서비스들에 대한 제어 인터페이스를 정의하고, 사용자 단말기를 통해 상기 제어 인터페이스를 사용자에게 제공할 수 있는, 제어 인터페이스를 정의하는 수단과,
― 상기 제어 인터페이스에 관련하여 사용자로부터 오는 명령들을 판독할 수 있는, 상기 서비스들에 대한 명령 판독기와,
― 물리적 객체가 상기 서비스들을 실행할 수 있도록, 상기 명령들을 증강 객체로 전송할 수 있는 제 3 통신 수단을 포함한다.
본 발명의 또 다른 특징에 따라, 상기 디바이스는 환경으로부터 사운드를 캡처할 수 있는, 객체 영역 내에 위치된 사운드 캡처 수단, 상기 사운드를 객체 영역으로부터 사용자 영역으로 전송할 수 있는 제 4 통신 수단을 포함하고, 사용자 단말기는 사용자에 대해 상기 사운드를 재생할 수 있는 사운드 재생 수단을 포함한다.
본 발명의 또 다른 특징에 따라, 비디오 캡처 수단의 자세(attitude) 및/또는 위치가 제어될 수 있고, 사용자 단말기는 또한 제어 명령들을 생성함으로써 사용자가 상기 제어를 수행하도록 할 수 있는 명령 수단을 포함하고, 상기 디바이스는 또한 상기 제어 명령들을 사용자 영역으로부터 객체 영역으로 전송할 수 있는 제 5 통신 수단을 포함한다.
본 발명의 또 다른 특징에 따라, 증강 객체를 자동적으로 식별하는 수단은 물리적 객체의 형상(shape)을 인식하는 수단을 포함한다.
본 발명의 또 다른 특징에 따라, 증강 객체를 자동적으로 식별하는 수단은 물리적 객체를 위치시키는 수단을 포함한다.
본 발명의 또 다른 특징에 따라, 증강 객체를 자동적으로 식별하는 수단은 물리적 객체 상에 또는 근처에 위치된 식별 마커(identifying marker)를 포함한다.
본 발명의 또 다른 특징에 따라, 인터페이스 정의 수단은 증강 객체에 의해 직접적으로 제안된 제어 인터페이스를 사용할 수 있다.
본 발명의 또 다른 특징에 따라, 인터페이스 정의 수단은 저장 수단으로부터 서비스 정의 엘리먼트들에 따라 정의된 제어 인터페이스를 복원할 수 있다.
본 발명의 또 다른 특징에 따라, 인터페이스 정의 수단은, 사용자 단말기 상에서 디스플레이되는 비디오 이미지 내에 매립된 상기 제어 인터페이스를 디스플레이할 수 있다.
본 발명의 또 다른 특징에 따라, 상기 제어 인터페이스에 관련하여 상기 서비스들에 대한 명령들을 판독하는 수단은 키보드, 터치 패드, 및/또는 포인팅 메커니즘을 포함한다.
본 발명의 또 다른 특징에 따라, 상기 서비스들에 대한 명령들을 증강 객체로 통신하는 제 3 통신 수단은 사용자 단말기와 증강 객체 사이의 링크 및 가상 객체와 물리적 객체 사이의 특수 접속 인터페이스를 포함한다.
본 발명의 또 다른 특징에 따라, 제 1, 제 2, 제 3, 제 4, 및 제 5 통신 수단은 또한 인터넷을 포함한다.
본 발명의 다른 특징, 세부 사항, 및 이점은 도면을 참조하여 예로서 아래에 주어진 상세한 설명으로부터 더욱 분명히 명백해질 것이다.
도 1은 본 발명에 따른 디바이스의 개요도.
도 2는 증강 객체를 포함하는 객체 영역의 예를 도시한 도면.
도 3은 도 2에 제시된 증강 객체에 대한 제어 인터페이스 및 비디오 이미지의 슈퍼임포즈된 디스플레이의 예를 도시한 도면.
도 1은 본 발명에 따른 디바이스(1)를 도시한다. 소위 객체 영역(2)에서, 적어도 하나의 증강 객체(3)를 포함하는 환경이 존재한다. 상기 디바이스(1)는, 통상적으로 객체 영역(2)과 별개이고 원격인 사용자 영역(4) 내에 위치된 사용자(5)가 증강 객체 또는 객체들(3)을 검출하고 이들과 상호 작용하게 한다. 이를 위해, 본 발명의 본질적인 특징에 따라, 증강 객체는 물리적 객체(6) 주변에 구성되고, 가상 객체(7)가 물리적 객체(6)에 부가된다. 객체가 적어도 하나의 서비스를 제공할 수 있다는 점에서, 상기 물리적 객체(6)는 실세계 객체(16)이고, 바람직하게는 활성 객체이다.
예시적이고 비제한적인 예로서, 포인트를 설명하기 위해 일부 객체(3)가 언급될 수 있다. 따라서, 램프는 2 개의 서비스들, 즉, 상기 램프를 턴 온하기 위한 "턴 온" 서비스, 및 상기 램프를 턴 오프하기 위한 "턴 오프" 서비스를 제공할 수 있는 객체이다. 멀티미디어 플레이어는, 예를 들면, 멀티미디어 콘텐츠에 대한 "방송" 서비스를 제공할 수 있는 또 다른 객체이다. 마지막으로, 텔레폰은 텔레폰 접속을 수립하기 위한 "호" 서비스를 제안할 수 있는 객체이다.
증강 객체(3) 및 증강 객체(3)가 제공할 수 있는 서비스를 정의하기 위해, 가상 객체(7)는 물리적 객체(6)와 연관된다. 이러한 가상 객체(7)는 컴퓨터 세계 객체이다. 따라서, 가상 객체(7)는 순수하게 데이터 및/또는 프로그램 형태 소프트웨어 엘리먼트를 포함하고, 또한 물리적, 통상적으로, 전자, 관리, 인터페이스, 또는 상호 접속 엘리먼트를 포함할 수 있다.
상기 가상 객체(7)는 물리적 객체(6)에 대한 적어도 하나의 정의 및/또는 식별 엘리먼트를 포함할 수 있다. 따라서, 증강 객체(3)는 주어진 환경 내에서 고유하게 정의된다. 물리적 객체(6)와 연관된 가상 객체(7)는, 물리적 객체(6)를 통해, 상기 증강 객체(3)에 의해 제공되는 서비스 또는 서비스들을 정의하는 적어도 하나의 정의 엘리먼트를 포함한다.
본 발명의 본질적인 특징에 따라, 제 1 통신 수단(10), 예를 들면, 네트워크를 통해 증강 객체에 접속하는 것이 가능하다. 상기 통신 수단(10)과의 접속 및 통신 인터페이스는 증강 객체(3)의 가상 객체(7)에 의해 수행된다. 따라서, 사용자(5)는, 대화하고 정보를 교환하기 위해 사용자 단말기(12)를 통해 증강 객체(3)에 접속할 수 있다.
디바이스(1)는 환경의 적어도 일부분의 비디오 이미지(9)를 촬영할 수 있는 비디오 캡처 수단(8)을 포함한다. 이러한 비디오 캡처 수단(8)은 객체 영역(2) 내에 위치된다. 이러한 비디오 캡처 수단(8)은 적어도 하나의 비디오 카메라, 예를 들면, 웹캠을 포함할 수 있다.
제 2 통신 수단(11)은 객체 영역(2)으로부터 사용자 영역(4)으로 상기 캡처된 비디오 이미지(9)를 전송하는 것을 가능하게 한다.
사용자(5)는 디바이스(1)와 대화하고, 사용자 단말기(12)를 사용하여 디바이스(1)에 명령한다. 사용자 단말기(12)는 사용자 영역(4) 내에 위치되고, 프리젠테이션을 위해 캡처되고 전송된 상기 비디오 이미지(9)를 사용자(5)에게 디스플레이할 수 있다. 따라서, 이롭게도, 원격으로, 객체 영역(2)에서 무엇이 발생하는지가 실시간으로 사용자(5)에게 시각적으로 통지될 수 있다.
디바이스(1)는 또한 이러한 증강 객체(3)와 연관된 물리적 객체(6)가 비디오 캡처 수단(8)의 필드 내에 존재할 때 증강 객체(3)를 식별하는 자동 식별 수단(13)을 포함한다. 상기 식별 수단(13)은 예시로서 설명될 일부 원리를 포함하여 다양한 원리들에 따라 기능할 수 있다. 식별은 임의의 시간에, 요청에 의해, 또는 연속적으로 수행될 수 있다. 그러나, 증강 객체(3)는, 적어도 그가 비디오 캡처 수단(8)에 대해 가시적이고 사용자(5)에게 제시되는 비디오 이미지(9) 내에 존재할 때 식별 가능해야 한다. 후술되는 바와 같이, 식별 프로세스는 증강 객체(3)를 인지하고 이를 고유하게 식별하는 것을 가능하게 한다. 따라서, 이러한 식별은 객체에 접속하기 위해 상기 객체(3)를 위치시키는 수단을 제공한다. 따라서, 통신 네트워크의 경우에서, 식별은 상기 증강 객체(3)에 대한 고유한 네트워크 어드레스를 제공하여, 객체를 네트워크 상에 위치시키고 이에 접속하는 것을 가능하게 한다.
디바이스(1)는 또한 제 1 통신 수단(10)을 포함한다. 제 1 통신 수단(10)은 식별 수단(13)에 의해 제공된 식별 엘리먼트 또는 엘리먼트들에 기초하여 디바이스(1) 및 식별된 증강 객체(3) 사이에 접속을 수립하는 것을 가능하게 한다. 증강 객체(13)와 수립된 접속은 상기 객체(3)와 연관되거나 상기 객체(3)에 의해 참조된 저장 수단에 포함된 증강 객체(3)에 관한 정보를 복원하기 위해 증강 객체(3)에 질의하는 것을 가능하게 한다.
따라서, 복원된 정보로부터, 디바이스(1)는 상기 증강 객체(3)에 의해 제공된 하나 이상의 서비스들에 대한 정의 엘리먼트를 적어도 구별한다.
따라서, 램프 예로 돌아가서, 디바이스는 식별된 증강 램프에 접속하고, 2 개의 서비스들, "턴 온" 및 "턴 오프"뿐만 아니라 이러한 서비스에 대한 정의 엘리먼트를 복원한다. 따라서, 본 경우에서, "턴 온" 서비스에 대한 정의 엘리먼트는, 예를 들면, 그의 명칭: "턴 온", 그의 형태: "바이너리 명령"뿐만 아니라 그의 구현을 위해 필요한 엘리먼트: 램프를 턴 온하기 위해 서비스를 수행하도록 활성화될 물리적 접속의 어드레스를 포함한다.
몇몇의 증강 객체(3)가 비디오 이미지(9)에서 식별될 수 있다면, 각각의 증강 객체에 관한 정보를 복원하기 위해, 디바이스(1) 및 각각의 다양한 증강 객체들(3) 사이에 몇몇의 접속들이 순차적으로 또는 동시에 수립된다는 것은 말할 필요도 없다.
디바이스(1)는 또한 제어 인터페이스를 정의하는 수단(4)을 포함하고, 제어 인터페이스 정의 수단(4)은 증강 객체(3)에 대한 서비스 정의 엘리먼트에 기초하여 식별된 증강 객체(3)의 서비스에 대한 제어 인터페이스(15)를 정의할 수 있다. 이러한 제어 인터페이스(15)는, 사용자(5)에 의해 인지되도록 사용자 단말기(12) 상에 디스플레이될 수 있는, 예를 들면, 그래픽 전면 패널을 제공한다. 이러한 전면 패널에 관련하여, 제어 인터페이스(15)는 서비스 명령을 증강 객체(3)에 전송하기 위해 필요한 접속을 포함한다. 제어 인터페이스(15)는 서비스 정의 엘리먼트에 따라 정의된다.
디바이스(1)는 또한 사용자(5)에 의해 적용된 명령을 판독할 수 있는 판독기(16)를 포함한다. 이러한 판독기(16)는 식별된 증강 객체(3)로부터 추출된 서비스 정의 엘리먼트에 따라 및 상기 제어 인터페이스(15)의 전면 패널에 관련하여 구성된다.
따라서, 램프 예로 돌아가서, 2 개의 서비스들, "턴 온" 및 "턴 오프"는, 예를 들면, 2 개의 버튼들을 포함하는 제어 인터페이스(15) 상에 도시될 것이다. 이러한 2 개의 버튼들은 그래픽으로 도시될 것이고, 버튼 각각은 그의 명칭에 의해 인식 가능하다. 그후, 판독기(16)는 2 개의 버튼들 중 하나 또는 다른 하나의 사용자(5)에 의한 활성화를 검출할 수 있다. 사용자가 "턴 온" 서비스와 연관된 버튼을 동작시키면, 판독기(16)는 대응하는 "턴 온" 서비스 명령을 판독할 것이다.
디바이스는 또한 제 3 통신 수단(17)을 포함한다. 이러한 통신 수단은 판독기(16)에 의해 판독된 명령을 증강 객체(3)로 전송하는 것을 담당한다. 이러한 전송은, 증강 객체(3)가 상기 명령을 수신하고 대응하는 서비스를 물리적 객체(6) 상에서 실행하도록 수행된다.
따라서, 램프 예를 계속하여, "턴 온" 명령이 판독된다. 이것은 증강 램프 객체로 전송되고, 증강 램프 객체는 서비스가 실행되고 물리적 램프가 턴 온하도록 필요한 인터페이스 엘리먼트를 활성화한다.
사용자(5)에게 제공된 환경의 인지는 이롭게도 비디오 이미지(9)를 통해 시각적이다. 그러나, 이것은 다른 센서 수단을 수반하는 피드백에 의해 대체 또는 보충될 수 있다. 따라서, 이롭게도 디바이스(1)는 환경으로부터 사운드를 캡처하기 위해 비디오 캡처 수단(8)에 그래픽적으로 더 가깝거나 덜 가까운 객체 영역(3) 내에 사운드 캡처 수단을 포함할 수 있다. 그후, 사용자 단말기(12)에 포함된 헤드폰 또는 스피커와 같은 사운드 재생 수단을 사용하여 상기 사운드를 사용자(5)에게 재생하기 위해, 제 4 전송 수단은 객체 영역(2)으로부터 사용자 영역(4)으로 상기 사운드를 전송하는데 사용된다.
동일한 원리에 기초하여, 터치 피드백과 같은 다른 피드백을 부가하는 것이 또한 가능하다. 모든 이러한 지각적 보조 기구(perceptual aid)는, 특히, 증강 객체(3)의 서비스를 제어하여 상기 환경을 변경하는 사용자(5)의 동작들에 응답하여 사용자(5)에게 환경 및 거기서 무엇이 발생하는지를 통지하도록 함께 작동한다.
이롭게도, 비디오 캡처 수단(8)에 의해 지각되는 필드를 변경하고, 따라서 원격 사용자(5)에 의해 지각될 수 있는 환경의 범위를 증가시키기 위해, 비디오 캡처 수단(8)이 제어될 수 있다. 따라서, 비디오 캡처 디바이스의 자세(attitude)가, 예를 들면, 고도 및 방위에 관련하여 제어될 수 있다. 비디오 캡처 디바이스는 또한 줌 제어를 가질 수 있다. 비디오 캡처 디바이스는 또한 위치 제어를 가질 수 있다. 후자의 가능성은 제어 가능한 로봇과 같이 모바일 베이스를 사용하여 수행될 수 있고, 비디오 캡처 디바이스는 상기 모바일 디바이스 상에 장착된다. 이것은 또한 소스를 선택하는 제어 룸 형태 수단에 연결된 몇몇의 비디오 캡처 디바이스들을 사용하여 수행될 수 있다. 또한, 이러한 다양한 실시예들을 조합하는 것이 가능하다. 그후, 사용자 단말기(12)는 사용자(5)가 상기 제어 및 제어 명령 생성을 수행하도록 할 수 있는, 비디오 캡처 수단(8)의 구조에 적응된 제어 수단(18)을 포함한다. 디바이스(1)는 이롭게도, 자세, 위치, 선택 명령들을 비디오 캡처 수단(8) 상에서 수행하는 제어 기구 또는 기구들에 의한 실행을 위해, 사용자 영역(4)으로부터 객체 영역(2)으로 상기 제어 명령을 전송할 수 있는 제 5 통신 수단(19)을 포함한다.
디바이스(1)의 하나의 중요한 부분은 증강 객체(3)의 식별이다. 그러한 식별을 획득하기 몇몇의 기술이 동등하게 적용될 수 있다. 식별이 상기 증강 객체(3)에 접속하기 위해 증강 객체(3)를 고유하게 지정하는 것을 가능하게 하는 점에서, 식별은 필요하다.
식별 수단의 제 1 실시예는 비디오 이미지(9)의 분석에 의해 임의의 알려진 방법에 따라 형상 인식을 사용할 수 있다. 그러나, 그러한 분석은 식별이 아닌 인식을 가능하게 한다. 따라서, 형상 분석은 객체가 램프라는 것을 인식하는 것을 가능하게 하지만, 식별은 그가 어떠한 램프인지를 정확하게 인지하는 것을 요구한다.
따라서, 형상 인식 방법은 다른 수단에 의해 보충되어야 한다. 따라서, 미리 수립된 인벤토리를 사용함으로써 진행하는 것이 가능하다. 따라서, 단지 하나의 램프(또는 이러한 형태/컬러의 하나의 램프, 또는 이러한 환경 내의 하나의 램프)가 존재하면, 램프가 확실하게 식별될 수 있다.
식별 수단(13)의 또 다른 실시예는 홀로 또는 형태 인식과 같은 또 다른 수단과 조합하여 물리적 객체(6)의 위치를 사용할 수 있다. 따라서, 객체가 그의 위치에 의해 식별된다. 객체가 방의 좌측 코너에 있기 때문에, 객체는 램프이다. 또는, 다시 조합하여, 램프가 (단지 램프만) 바닥 1 미터 위에 위치되기 때문에, 그의 형상에 의해 인식된 램프는 램프 no. 3이다. 그러나, 그러한 접근법은, 예를 들면, 다양한 객체들의 위치들의 맵핑 형태의 사전 정의을 요구하고, 이것은 디바이스의 포괄적 성질을 감소시킨다. 또 다른 단점은, 증강 객체(3)가 이동하면, 증강 객체(3)를 식별하는 것이 어렵거나 불가능하게 된다는 것이다.
객체의 위치를 결정하는 것은 비디오 캡처 수단(8)의 위치 및 자세에 기초하여 수행될 수 있다. 따라서, 비디오 캡처 디바이스가 고정되어 있기 때문에, 또는 GPS 수신기와 같은 임의의 알려진 위치 확인 수단에 의해 비디오 캡처 디바이스의 위치가 알려짐에 따라, 비디오 캡처 디바이스의 위치가 가변하면, 객체의 위치는 상기 비디오 캡처 디바이스의 자세의 각도를 인지함으로써 결정될 수 있다. 정확히 말하자면, 그러한 식별은 라인을 위치가 아닌 라인을 나타낸다. 그러나, 어떠한 다른 객체(또는 동일한 형태의 객체, 또는 동일한 형상의 객체 등)도 상기 라인 상에 존재하지 않는다면, 그러한 식별은 객체(3)를 식별하기에 충분할 수 있다.
그러나, 임의의 사전 맵핑 준비를 요구하지 않고 잠재적인 객체(3)의 이동 및 항상 가능한 객체(3)의 이동을 용인하는 식별 수단(13)의 실시예가 바람직하다. 그러한 식별 수단(13)은 식별하고자 하는 증강 객체(3)와 연관된 물리적 객체(6)에 식별 마커(20)를 장착함으로써 수행될 수 있다. 그러한 마커(20)는 식별되도록 고유하다. 마커(20)는 물리적 객체(6) 상에 또는 근처에 위치된다. 마커(20)가 그의 형태에 따라 관측/판독될 수 있도록 마커(20)가 배치된다. 마커(20)의 특징 서명(characteristic signature)(형상, 컬러, 코딩 등)은 디바이스(1)로부터 액세스 가능하고, 서명과 고유한 증강 객체 식별자(예를 들면, 상기 증강 객체(3)의 네트워크 어드레스)를 연관시키는 룩-업 테이블에 저장된다. 대안적인 접근법은, 식별 마커(20)에 직접적인 접속을 가능하게 하는 증강 객체(3)의 식별 엘리먼트를 코딩하는 것으로 구성된다.
본 실시예에 따라, 여기서 환경의 사전 준비가 또한 필요하다. 그러나, 여기서, 준비는 각각의 증강 객체(3)에 대해 개별적으로 및 독립적으로 단지 한번만 수행된다. 모든 후보 객체들이 미래에 공장에서 후보 객체들과 고유한 가시성/가독성 식별 마커(20) 및 네트워크 접속 어드레스, 예를 들면, 현재 MAC 어드레스를 연관시키는 이러한 방식으로 구성될 것이라는 것이 가능하다. 식별 마커(20) 및 접속 식별 엘리먼트 사이의 대응이 식별 마커 자체로 직접적으로 코딩되지 않는다면, 액세스 가능하도록 룩-업 테이블이 객체의 제조자에 의해, 예를 들면, 인터넷 상으로 공개될 수 있다.
식별 마커(20)는, 디바이스(1), 예를 들면, 이미지 분석에 의해 인지되도록 비디오 캡처 수단(8)에 의해 이롭게 가시적인 시각적 마커(픽토그램(pictogram), 바 코드, 컬러 코드 등)일 수 있다. 바코드와 같은 시각적인 "코딩"은 이롭게도 네트워크 접속 식별자를 그의 코드, 그렇지 않다면 어드레스 또는 식별자를 찾는 것을 가능하게 하는 임의의 다른 참조 수단에 직접적으로 포함시키는 것을 가능하게 한다.
이롭게도, 시각적 마커가 비디오 캡처 수단(8)을 재사용하기 때문에, 그러한 시각적 마커는 임의의 부가적인 판독 수단을 요구하지 않는다. 그러한 시각적 마커의 하나의 단점은, 그가 특정 방향 주변의 제한된 공간 영역에서만 가시적이라는 것이다.
대안적인 실시예에 따라, 식별 마커는 RFID라는 명칭으로 또한 알려진 무선 주파수 라벨이다. 이러한 경우에, 디바이스(1)는 또한 무선 주파수 라벨 판독기를 포함해야 한다. 객체 영역(2) 내에 위치된 판독기는 그러한 무선 주파수 라벨을 판독할 수 있다. 그러한 무선 주파수 라벨은 상술된 이점을 갖는 "코딩"이다. 이롭게도, 그러한 무선 주파수 라벨은 판독될 수 있도록 보여질 필요가 없고, 객체(3) 내에 은닉/매립될 수 있다. 또한, 이롭게도, 그러한 무선 주파수 라벨을 판독하는 것은 임의의 공간 방향으로 차별 없이 수행될 수 있다.
인터페이스 정의 수단(14)이 상기 증강 객체(3)에 의해 제공되는 서비스와 연관된 제어 인터페이스(15)의 정의 엘리먼트를 증강 객체(3)로부터 추출하는 것이 설명되었다. 제어 인터페이스는 적어도 객체(3)에 의해 형태로 정의된다. 따라서, 램프 예에서, 제어 인터페이스(15)에 대한 정의 엘리먼트는 2 개의 서비스들 각각, "턴 온" 및 "턴 오프"가 바이너리 명령과 연관된다는 표시를 적어도 포함한다. 객체는 또한 레이아웃(layout), 외형(appearance), 또는 심지어 증강 객체(3)에 의해 제안된 제어 인터페이스(15)의 상세한 그래픽 표현과 같은 더 특정된 표시들을 포함할 수 있다.
제 1 실시예에 따라, 인터페이스 정의 수단(14)은 증강 객체(3)에 의해 제안된 제어 인터페이스를 직접적으로 및 완전히 사용한다. 이것은 증강 객체(3)에 대해 고유한 그래픽 미학(graphical aesthetic)에 따르는 것을 가능하게 한다.
대안적으로, 인터페이스 정의 수단(14)은 객체(3)와 호환 가능한 제어 인터페이스(15) 및 그의 서비스를 구성하기 위해 형태 정의 엘리먼트를 사용하지만, 증강 객체(3)에 의해 제안된 것을 고려하지 않고 그래픽 외형을 정의한다. 이것은 인터페이스 정의 수단(14)이 하나의 증강 객체(3)로부터 또 다른 증강 객체로 동질적인 그래픽 미학을 갖는 제어 인터페이스(15)를 제안하는 것을 가능하게 한다.
환경 또는 객체의 임의의 이전 지식 없이, 비디오 이미지(9)에서 식별된 증강 객체(3)로부터, 인터페이스 형태 정의 엘리먼트 및 그들의 그래픽 표현의 전부 또는 일부를 자동적으로 추출하는 이러한 능력은, 이것이 사전 정의, 환경 모델링, 또는 구성 없이 디바이스(1)의 구현을 가능하게 하는 점에서 매우 이롭다.
또한, 자동 및 자율적인 식별(구성 또는 준비 없이)은 미지의 환경을 이해하고, 예를 들면, 객체(3)의 이동에 의한 상기 환경에 대한 변화를 용인하는 것을 가능하게 한다.
증강 객체(3)에 대한 접속 후에 추출된 엘리먼트가 증강 객체(3) 자체에 포함된 저장 수단으로부터 추출될 수 있다는 것이 명백하다. 대안적으로, 이러한 엘리먼트가 저장된 원격 저장 수단을 나타내는 참조 또는 어드레스가 객체(3)로부터 추출될 수 있다.
상기 제어 인터페이스(15)를 정의한 후에, 정의 수단(14)은 사용자 단말기(12)에 이롭게 포함된 디스플레이 수단 상에 제어 인터페이스(15)를 디스플레이할 수 있다.
특히 이로운 실시예에 따라, 상기 제어 인터페이스(15)의 디스플레이는 비디오 이미지(9) 상의 그래픽 오버레이에 의해 직접적으로 수행된다. 따라서, 단일의 디스플레이 수단 상에서, 사용자(5)는 객체(3)의 서비스를 사용하기 위해 객체(3)와 상호 작용하는데 필요한 모든 정보를 갖는다. 따라서, 제어 인터페이스는 그가 연관된 증강 객체(3) 근처에 이롭게 위치된다. 따라서, 사용자(5)는 상기 제어 인터페이스(15)를 사용하여 객체(3)의 서비스를 제어하고, 동일한 디스플레이 상에서 서비스를 사용한 결과를 관찰할 수 있다.
따라서, 램프 예를 통해, 제어 인터페이스의 그래픽 표현은, 램프 근처에서 "턴 온" 및 "턴 오프" 버튼을 도시하여 연관성이 분명하도록 램프가 보이는 이미지 상에서 슈퍼임포즈된다. 사용자(4)가 이러한 2 개의 서비스들 중 하나를 명령할 때, 그 또는 그녀는 비디오 이미지(9)를 통해 환경 상의 결과를 직접적으로 관찰할 수 있다. 따라서, "턴 온" 서비스를 명령한 후에, 램프가 턴 온되고, 사용자(8)는 환경에서 조명의 효과를 관찰할 수 있다.
사용자(5)에게 제공된 상기 제어 인터페이스(15)와 함께, 디바이스(1)는 사용자(5)에 의해 수행되는 명령을 판독하는 수단(16)을 포함한다. 이러한 판독기(16)는 키보드, 터치 패드, 및/또는 포인팅 디바이스를 포함할 수 있다. 이러한 엘리먼트 또는 이러한 엘리먼트들은 제어 인터페이스(15)에 관련하여 구성된다. 따라서, 이러한 램프 예에서, 키보드는 키와 2 개의 서비스들 각각, "턴 온" 및 "턴 오프"를 연관시킴으로써 사용될 수 있다. 연관된 키를 누르는 것은 상기 서비스를 명령한다. 터치 패드가 또한 사용될 수 있다. 이롭게도, 이것은 제어 인터페이스(15)의 그래픽 표현이 디스플레이되는 디스플레이 수단에 중첩된다. 또한, 통상적으로, 마우스 (또는 조이스틱, 트랙볼, 패드 등) 포인팅 디바이스가 사용될 수 있다. 이러한 경우에, 그래픽 버튼은 그의 활성 영역 상에서 클릭함으로써 활성화된다.
본 발명에 관련하여 정의된 바와 같이, 증간 객체(3)와의 접속을 수립하는 것이 가능해야 한다. 따라서, 제 1 통신 수단은 객체로부터의 정보를 액세스하고 그의 제어 인터페이스를 정의하는데 사용된다.
제 3 통신 수단(17)은 또한 사용자(5)로부터 상기 명령을 판독하는 사용자 단말기(12)로부터의 서비스에 대한 명령을 증강 객체(3)로 전송하는데 사용되고, 증강 객체(3)는 대응하는 서비스를 수행하기 위해 상기 명령을 실행한다.
이러한 제 3 통신 수단(17)은 계통적으로 사용자 단말기(12) 및 증강 객체(3) 사이의 제 1 링크를 포함한다. 대단히 자주 네트워크를 통한 이러한 접속은 사용자 단말기(12)와 가상 객체(7) 사이의 링크를 수립한다. 제 3 통신 수단(17)은 또한 제 2 접속을 포함할 수 있다. 제 2 접속은 가상 객체(7)와 물리적 객체(6) 사이의 특수 접속 인터페이스이다. 따라서, 증강화(augmentation) 전에, 순수하게 물리적 객체인 램프인 경우에, 2 개의 서비스들, "턴 온" 및 "턴 오프"와 스위치 디바이스를 물리적으로 연관시키는 특수 접속 인터페이스를 제 2 접속에 보충하는 것이 필요하다.
본질적으로 네트워크 인터페이스를 포함하는 인터넷 인터페이스를 갖는 네트워크 드라이브 또는 DVD 플레이어와 같은 전자 또는 컴퓨터 객체의 경우에, 이러한 2 개의 접속들이 중첩한다.
하나의 이로운 실시예에 따라, 제 1, 제 2, 제 3, 제 4, 및 제 5 통신 수단들이 중첩하고, 통신 네트워크, 예를 들면, 인터넷을 포함한다.
따라서, 디바이스(1)의 구조의 이러한 설명을 보충하고 예시하기 위해, 이러한 새로운 패러다밍의 잠재력을 도시하도록 디바이스(1)의 용도를 예시하는 예가 이제 제공될 것이다.
애플리케이션 프레임워크는, 단말기(12)를 사용하여 부모(사용자(5))의 직장으로부터 부모(사용자(5))에 의한 가정에서의 엔터테인먼트 및 자식 모니터링에 적용된 가정용 전자기기 환경에서의 원격 상호 작용이다.
사용자(5)는, 그의 이미지가 인터넷을 통해 이롭게도 표준 개인용 컴퓨터(사용자 단말기(12))로 재전송되는 웹캠(8)을 사용하여 그 또는 그녀의 직장(사용자 영역(4))으로부터 가정(객체 영역(2))의 인테리어를 볼 수 있다. 비디오 이미지(9)는 거실을 도시한다. 디바이스는 이러한 장면 내의 3 개의 증강 객체들: 램프, 텔레폰, 및 멀티미디어 플레이어의 존재를 자동적으로 검출하고, 적용 가능한 경우, 이를 그래픽으로 강조한다. 디바이스는 선택적으로(예를 들면, 누군가 객체에 걸쳐 포인터를 이동시킬 때) 3 개의 증강 객체들 각각에 대한 제어 인터페이스(15)를 디스플레이하거나 은닉하는 것을 가능하게 한다.
5:00 pm이고, 부모는 비디오를 통해 귀가한 그 또는 그녀의 자식을 관찰할 수 있다.
부모는 텔레폰 객체를 선택한다. 이것은 적어도 "콜 미(call me)" 서비스를 제공하는 제어 인터페이스를 디스플레이한다. 이러한 서비스가 명령되고, 가정에 존재하는 텔레폰에 대한 텔레폰 호(call)의 수립을 트리거링하고, 이것은 단말기를 통해 부모에 접속하고, 상기 텔레폰을 통해 자식을 접속한다.
다음에 오는 대화 동안에, 부모는 부모가 바로 다운로딩한 그들의 좋아하는 그룹으로부터의 최신 비디오 클립을 자식이 시청할 것을 제안한다.
부모는 멀티미디어 플레이어를 선택한다. 이것은 적어도 "방송" 서비스를 제공하는 제어 인터페이스를 디스플레이한다. 부모는 그 또는 그녀의 단말기의 데스크톱 상의 비디오 클립을 선택하고, 비디오 클립을 "방송" 서비스를 위한 제어 인터페이스로 드래그한다. 이것은 직장으로부터 가정에 있는 멀티미디어 플레이어로의 상기 클립의 다운로딩을 트리거링하고, 그후, 자식의 시청을 위해 상기 멀티미디어 플레이어 상에서 상기 클립을 재생한다.
클립의 방송을 방해하지 않기 위해, 부모는 램프 객체를 턴 오프하기 위해 램프 객체를 선택할 수 있고, 이들 모두는 원격으로 수행된다.

Claims (14)

  1. 사용자 영역(4) 내에 위치된 사용자(5)가 환경 내에 존재하는 적어도 하나의 증강 객체(augmented object)(3)와 상호 작용하도록 하는 디바이스 ― 상기 증강 객체(3)는 객체 영역(2) 내에 위치되고, 상기 증강 객체(3)는 물리적 객체(6) 및 연관된 가상 객체(7)를 포함하고, 상기 가상 객체(7)는 상기 증강 객체(3)에 의해 제공되는 적어도 하나의 서비스에 대한 적어도 하나의 정의 엘리먼트를 포함하고, 상기 증강 객체(3)는 제 1 통신 수단(10)을 통해 접속될 수 있음 ― 로서,
    상기 환경의 적어도 일부분의 비디오 이미지(9)를 촬영할 수 있는, 상기 객체 영역(2) 내에 위치된 비디오 캡처 수단(8)과,
    상기 객체 영역(2)의 상기 비디오 이미지(9)를 상기 사용자 영역(4)으로 전송할 수 있는 제 2 통신 수단(11)과,
    상기 사용자(5)에게 제공하기 위해 상기 비디오 이미지(9)를 디스플레이할 수 있는, 상기 사용자 영역(4) 내에 위치된 사용자 단말기(12)와,
    상기 연관된 물리적 객체(6)가 상기 비디오 캡처 수단(8)의 필드 내에 존재할 때, 상기 증강 객체(3)를 자동적으로 식별하는 수단(13)과,
    상기 디바이스(1)와 상기 식별된 증강 객체(3) 사이에 접속을 설정하고, 상기 증강 객체(3)에 의해 제공되는 서비스들의 상기 정의 엘리먼트들을 복원할 수 있는 제 1 통신 수단(10)과,
    상기 서비스 정의 엘리먼트들에 따라 상기 식별된 증강 객체(3)의 서비스들에 대한 제어 인터페이스(15)를 정의하고, 상기 사용자 단말기(12)를 통해 상기 제어 인터페이스(15)를 상기 사용자(5)에게 제공할 수 있는, 상기 제어 인터페이스를 정의하는 수단(14)과,
    상기 제어 인터페이스(15)에 관련하여 상기 사용자(5)로부터 오는 명령들을 판독할 수 있는, 상기 서비스들에 대한 명령들을 판독하는 수단(16)과,
    상기 물리적 객체(6)가 상기 서비스들을 실행할 수 있도록, 상기 명령들을 상기 증강 객체(3)로 전송할 수 있는 제 3 통신 수단(17)을 포함하는
    디바이스.
  2. 제 1 항에 있어서,
    상기 환경으로부터 사운드를 캡처할 수 있는, 상기 객체 영역(2) 내에 위치된 사운드 캡처 수단, 상기 사운드를 상기 객체 영역(2)으로부터 상기 사용자 영역(4)으로 전송할 수 있는 제 4 통신 수단을 포함하고,
    상기 사용자 단말기(12)는 상기 사용자(5)에 대해 상기 사운드를 재생할 수 있는 사운드 재생 수단을 포함하는
    디바이스.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 비디오 캡처 수단의 자세(attitude) 및/또는 위치가 제어될 수 있고, 상기 사용자 단말기(12)는 또한 제어 명령들을 생성함으로써 상기 사용자(5)가 상기 제어를 수행하도록 할 수 있는 비디오 명령 수단(18)을 포함하고, 상기 디바이스는 또한 상기 제어 명령들을 상기 사용자 영역(4)으로부터 상기 객체 영역(2)으로 전송할 수 있는 제 5 통신 수단(19)을 포함하는
    디바이스.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 증강 객체(3)를 자동적으로 식별하는 수단(13)은 상기 물리적 객체(6)의 형상(shape)을 인식하는 수단을 포함하는
    디바이스.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
    상기 증강 객체(3)를 자동적으로 식별하는 수단(13)은 상기 물리적 객체(6)를 위치시키는 수단을 포함하는
    디바이스.

  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 증강 객체(3)를 자동적으로 식별하는 수단(13)은 상기 물리적 객체(6) 상에 또는 근처에 위치된 식별 마커(identifying marker)(20)를 포함하는
    디바이스.
  7. 제 6 항에 있어서,
    상기 식별 마커(20)는 시각적 마커인
    디바이스.
  8. 제 6 항 또는 제 7 항에 있어서,
    상기 식별 마커(20)는 무선 주파수 라벨이고,
    상기 디바이스는 또한 그러한 무선 주파수 라벨을 판독할 수 있는, 상기 객체 영역(2) 내에 위치된 무선 주파수 라벨 판독기를 포함하는
    디바이스.
  9. 제 1 항 내지 제 8 항에 있어서,
    상기 인터페이스 정의 수단(14)은 상기 증강 객체(3)에 의해 직접적으로 제안된 제어 인터페이스(15)를 사용할 수 있는
    디바이스.
  10. 제 1 항 내지 제 9 항에 있어서,
    상기 인터페이스 정의 수단(14)은 저장 수단으로부터 상기 서비스 정의 엘리먼트들에 따라 정의된 제어 인터페이스(15)를 복원할 수 있는
    디바이스.
  11. 제 1 항 내지 제 10 항에 있어서,
    상기 인터페이스 정의 수단(14)은, 상기 제어 인터페이스(15)를 상기 사용자 단말기(12) 상에서 디스플레이되는 상기 비디오 이미지(9) 내에 매립함으로써 상기 제어 인터페이스(15)를 디스플레이할 수 있는
    디바이스.
  12. 제 1 항 내지 제 11 항에 있어서,
    상기 제어 인터페이스(15)에 관련하여 상기 서비스들에 대한 명령들을 판독하는 수단(16)은 키보드, 터치 패드, 및/또는 포인팅 메커니즘을 포함하는
    디바이스.
  13. 제 1 항 내지 제 12 항에 있어서,
    상기 서비스들에 대한 명령들을 상기 증강 객체(3)로 통신하는 제 3 통신 수단(17)은 상기 사용자 단말기(12)와 상기 증강 객체(3) 사이의 링크 및 상기 가상 객체(7)와 상기 물리적 객체(6) 사이의 특수 접속 인터페이스를 포함하는
    디바이스.
  14. 제 1 항 내지 제 13 항에 있어서,
    상기 제 1 통신 수단, 제 2 통신 수단, 제 3 통신 수단, 제 4 통신 수단, 및 제 5 통신 수단은 또한 인터넷을 포함하는
    디바이스.
KR1020127008786A 2009-10-05 2010-09-03 증강 객체와의 상호 작용을 위한 디바이스 KR101470711B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0956914 2009-10-05
FR0956914A FR2950989B1 (fr) 2009-10-05 2009-10-05 Dispositif d'interaction avec un objet augmente.
PCT/FR2010/051837 WO2011042632A1 (fr) 2009-10-05 2010-09-03 Dispositif d'interaction avec un objet augmente

Publications (2)

Publication Number Publication Date
KR20120063508A true KR20120063508A (ko) 2012-06-15
KR101470711B1 KR101470711B1 (ko) 2014-12-08

Family

ID=41719226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127008786A KR101470711B1 (ko) 2009-10-05 2010-09-03 증강 객체와의 상호 작용을 위한 디바이스

Country Status (8)

Country Link
US (1) US9063537B2 (ko)
EP (1) EP2486701B1 (ko)
JP (1) JP5799018B2 (ko)
KR (1) KR101470711B1 (ko)
CN (1) CN102577250B (ko)
ES (1) ES2464127T3 (ko)
FR (1) FR2950989B1 (ko)
WO (1) WO2011042632A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016085240A1 (en) * 2014-11-24 2016-06-02 Samsung Electronics Co., Ltd. Electronic device and method for providing map service

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9965564B2 (en) 2011-07-26 2018-05-08 Schneider Electric It Corporation Apparatus and method of displaying hardware status using augmented reality
US8825824B2 (en) * 2012-02-28 2014-09-02 General Electric Company Systems and methods for machine configuration
US9087403B2 (en) 2012-07-26 2015-07-21 Qualcomm Incorporated Maintaining continuity of augmentations
US9639984B2 (en) 2013-06-03 2017-05-02 Daqri, Llc Data manipulation based on real world object manipulation
CN103777851B (zh) * 2014-02-26 2018-05-29 大国创新智能科技(东莞)有限公司 物联网视频交互方法和系统
US20160071319A1 (en) * 2014-09-09 2016-03-10 Schneider Electric It Corporation Method to use augumented reality to function as hmi display
KR102427328B1 (ko) * 2014-10-17 2022-08-01 삼성전자주식회사 사물 인터넷 단말 및 그 동작 방법
US9760744B1 (en) 2016-06-01 2017-09-12 International Business Machines Corporation Physical interactive IDs (P2D)
US11222081B2 (en) 2017-11-27 2022-01-11 Evoqua Water Technologies Llc Off-line electronic documentation solutions
KR102359601B1 (ko) * 2019-11-29 2022-02-08 한국과학기술원 투명 평판을 이용한 영상 처리 방법 및 이를 수행하는 장치

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4982438A (en) * 1987-06-02 1991-01-01 Hitachi, Ltd. Apparatus and method for recognizing three-dimensional shape of object
US6463343B1 (en) * 1999-08-10 2002-10-08 International Business Machines Corporation System and method for controlling remote devices from a client computer using digital images
JP4178697B2 (ja) * 1999-11-18 2008-11-12 ソニー株式会社 携帯型情報処理端末、情報入出力システム及び情報入出力方法
GB2360356A (en) * 2000-03-18 2001-09-19 Rupert William Meldrum Curwen Actuating an operation in accordance with location of a transponder
JP2002044646A (ja) 2000-07-26 2002-02-08 Kansai Electric Power Co Inc:The Ａｄｓｌを利用した監視システム
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US7054645B1 (en) * 2001-03-07 2006-05-30 At&T Corp. System for intelligent home controller and home monitor
US7060407B2 (en) * 2002-10-04 2006-06-13 Ricoh Company, Limited Image removing method, image removing device, and image forming apparatus
US6998987B2 (en) * 2003-02-26 2006-02-14 Activseye, Inc. Integrated RFID and video tracking system
US8042049B2 (en) * 2003-11-03 2011-10-18 Openpeak Inc. User interface for multi-device control
JP2005063225A (ja) * 2003-08-15 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
US7616782B2 (en) * 2004-05-07 2009-11-10 Intelliview Technologies Inc. Mesh based frame processing and applications
WO2006009521A1 (en) * 2004-07-23 2006-01-26 Agency For Science, Technology And Research System and method for replay generation for broadcast video
US8042048B2 (en) * 2005-11-17 2011-10-18 Att Knowledge Ventures, L.P. System and method for home automation
EP1966625A1 (en) 2005-12-19 2008-09-10 Koninklijke Philips Electronics N.V. Method and apparatus for lighting control
WO2008032225A2 (en) * 2006-03-21 2008-03-20 Ranco Incorporated Of Delaware Refrigeration monitor unit
US20080144884A1 (en) * 2006-07-20 2008-06-19 Babak Habibi System and method of aerial surveillance
JP5132138B2 (ja) * 2006-11-28 2013-01-30 キヤノン株式会社 位置姿勢計測方法、位置姿勢計測装置
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
WO2009113067A2 (en) * 2008-03-11 2009-09-17 In-Dot Ltd. Systems and methods for communication

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016085240A1 (en) * 2014-11-24 2016-06-02 Samsung Electronics Co., Ltd. Electronic device and method for providing map service
US10140769B2 (en) 2014-11-24 2018-11-27 Samsung Electronics Co., Ltd. Electronic device and method for providing map service

Also Published As

Publication number Publication date
FR2950989B1 (fr) 2011-10-28
US20120243743A1 (en) 2012-09-27
CN102577250A (zh) 2012-07-11
EP2486701A1 (fr) 2012-08-15
ES2464127T3 (es) 2014-05-30
CN102577250B (zh) 2014-12-03
US9063537B2 (en) 2015-06-23
JP2013506925A (ja) 2013-02-28
EP2486701B1 (fr) 2014-04-09
FR2950989A1 (fr) 2011-04-08
KR101470711B1 (ko) 2014-12-08
JP5799018B2 (ja) 2015-10-21
WO2011042632A1 (fr) 2011-04-14

Similar Documents

Publication Publication Date Title
KR101470711B1 (ko) 증강 객체와의 상호 작용을 위한 디바이스
US11087551B2 (en) Systems and methods for attaching synchronized information between physical and virtual environments
CA2926861C (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US20200159485A1 (en) Virtual reality real-time visual navigation method and system
US8890895B2 (en) User interface device, user interface method and information storage medium
US20110105041A1 (en) Remote control device, internet home applicance, remote control system, and remote control method
US11445026B2 (en) Methods, systems, and media for indicating a security status of an internet of things device
US11334175B2 (en) Information output system and method
CN102207819A (zh) 信息处理器、信息处理方法和程序
US20160253840A1 (en) Control system and method for virtual navigation
WO2016055317A1 (en) Docking system
JP2001142825A (ja) 携帯型情報処理端末、情報入出力システム及び情報入出力方法
US20020069013A1 (en) Method and system for computer assisted localization, site navigation, and data navigation
CN111344663A (zh) 渲染装置及渲染方法
JP4555701B2 (ja) 情報処理方法、インタフェース装置、プログラム、および記録媒体
JP2005063225A (ja) 自己画像表示を用いたインタフェース方法、装置、ならびにプログラム
KR20110136024A (ko) 증강현실 장치 간 정보 공유 방법
KR20150105131A (ko) 증강현실 제어 시스템 및 제어 방법
WO2009025499A1 (en) Remote control system using natural view user interface, remote control device, and method therefor
CN112051919B (zh) 一种基于位置的交互方法和交互系统
KR20220026114A (ko) 전자 장치 및 전자 장치의 증강 현실 모드에서 관련 장치를 식별하는 방법
WO2024142300A1 (ja) 情報処理装置、端末機及び情報処理方法
CN114143580B (zh) 一种显示设备及手柄操控图案显示方法
US11875465B2 (en) Virtual reality data-processing device, system and method
WO2021044851A1 (ja) 情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181126

Year of fee payment: 5