KR20110063649A - 개체 감지 및 사용자 설정 - Google Patents

개체 감지 및 사용자 설정 Download PDF

Info

Publication number
KR20110063649A
KR20110063649A KR1020117006666A KR20117006666A KR20110063649A KR 20110063649 A KR20110063649 A KR 20110063649A KR 1020117006666 A KR1020117006666 A KR 1020117006666A KR 20117006666 A KR20117006666 A KR 20117006666A KR 20110063649 A KR20110063649 A KR 20110063649A
Authority
KR
South Korea
Prior art keywords
client
user
user interface
content
television
Prior art date
Application number
KR1020117006666A
Other languages
English (en)
Other versions
KR101619559B1 (ko
Inventor
나다브 엠. 뉴펠드
지오나타 메티포고
찰스 제이. 미고스
아프샨 에이. 클레인한즐
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20110063649A publication Critical patent/KR20110063649A/ko
Application granted granted Critical
Publication of KR101619559B1 publication Critical patent/KR101619559B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

개체 감지 및 사용자 설정 기술이 기술되어 있다. 일 구현예에서, 클라이언트의 서피스 상에 놓인 개체가 클라이언트에 의해 감지된다. 복수의 사용자 중 어느 사용자가 감지된 개체에 대응하는지에 대한 확인이 행해진다. 확인된 사용자에 대응하는 하나 이상의 사용자 설정을 찾아낸다.

Description

개체 감지 및 사용자 설정{OBJECT DETECTION AND USER SETTINGS}
사용자는 계속 늘어나는 다양한 콘텐츠에 액세스한다. 그에 부가하여, 사용자는 또한 그 콘텐츠와 상호작용하는 데 사용될 수 있는 다른 장치들에도 계속 노출되어 있다. 예를 들어, 사용자가 종래에는 데스크톱 컴퓨터를 사용하여 인터넷에 액세스하는 것으로 제한되었다. 그러나, 사용자가 이제는 게임 콘솔, PDA(personal digital assistant), 및 모바일 "스마트" 폰과 같은 다양한 다른 장치를 사용하여 인터넷에 액세스할 수 있다.
따라서, 사용자는 각종의 서로 다른 장치를 이용하여 각종의 서로 다른 콘텐츠와 상호작용할 수 있다. 그러나, 서로 다른 장치를 사용하여 콘텐츠와 상호작용하는 데 이용가능한 종래의 기술들은 종종 상호 연관성이 없고(disjointed) 개인화되어 있지 않다(impersonal). 그 결과, 콘텐츠에 대한 사용자의 경험은, 심지어 비슷한 장치를 사용할 때에도, 장치마다 다를 수 있다.
<발명의 개요>
개체 감지 및 사용자 설정 기술이 기술되어 있다. 일 구현예에서, 클라이언트의 서피스(surface) 상에 놓인 개체가 클라이언트에 의해 감지된다. 복수의 사용자 중 어떤 사용자가 감지된 개체에 대응하는지의 확인(determination)이 행해진다. 확인된 사용자에 대응하는 하나 이상의 사용자 설정을 찾아낸다.
일 구현예에서, 하나 이상의 사용자 설정을 포함하는 클라이언트의 서피스 상에 놓여 있는 개체가 식별된다. 하나 이상의 사용자 설정에 따라 사용자 인터페이스가 구성되고, 서피스의 적어도 일부분을 사용하여 사용자 인터페이스가 출력된다.
일 구현예에서, 클라이언트는 테이블의 폼 요소(form factor)를 가지는 하우징(housing), 하우징의 테이블 톱(tabletop)에 배치된 서피스, 및 하우징 내에 배치된 하나 이상의 모듈을 포함한다. 하나 이상의 모듈은 로컬 네트워크 연결을 통해 텔레비젼과 상호작용하고, 현재 텔레비전에 디스플레이되는 콘텐츠와 관련된 콘텐츠를 서피스 상에 디스플레이하도록 구성되어 있다. 하나 이상의 모듈은 또한, 서피스를 통해 사용자로부터의 하나 이상의 입력을 감지하고, 입력들 중 적어도 하나를 사용하여 서피스 상에 콘텐츠를 디스플레이하는 것을 제어하도록 구성되어 있다. 하나 이상의 모듈은, 입력들 중 다른 하나를 이용하여 텔레비전 상에 콘텐츠를 디스플레이하는 것을 제어하도록 추가로 구성되어 있다.
이 요약은 이하에서 상세한 설명에 더 기술되는 일련의 개념들을 간략화된 형태로 소개하기 위해 제공된 것이다. 이 요약은 청구된 발명 대상의 주요 특징 또는 필수적인 특징을 확인하기 위한 것이 아니며, 청구된 발명 대상의 범위를 정하는 데 보조 수단으로 사용되기 위한 것도 아니다.
상세한 설명이 첨부 도면을 참조하여 기술된다. 도면에서, 참조 번호의 가장 왼쪽의 숫자(들)은 그 참조 번호가 처음으로 나타나는 도면을 알려준다. 설명과 도면에서 서로 다른 경우에 동일한 참조 번호의 사용은 유사하거나 동일한 항목을 나타내는 것일 수 있다.
도 1은 개체 감지 및 사용자 설정 기술을 수행하도록 동작할 수 있는 예시적인 구현예에서의 환경을 나타낸 도면.
도 2는 도 1의 클라이언트를 보다 상세하게 보여주는 예시적 구현예에서의 시스템을 나타낸 도면.
도 3은 클라이언트의 서피스 상에 놓인 개체의 감지에 기초하여 찾아낸 하나 이상의 사용자 설정에 기초하여 사용자 인터페이스가 구성되는 예시적인 구현예에서 절차를 나타내는 흐름도.
도 4는 도 1 및 도 2의 클라이언트(102)의 서피스 상에 놓여 있는 개체가 사용자 인터페이스를 구성하는 데 사용되는 사용자 설정을 포함하고 있는 예시적인 구현예에서 절차를 나타내는 흐름도.
도 5는 복수의 사용자에게 공통인 사용자 설정이 사용자 인터페이스를 구성하는 데 사용되는 예시적인 구현예에서의 절차를 나타내는 흐름도.
개요
개체 감지 및 사용자 설정 기술이 기술되어 있다. 일 구현예에서, 사용자 인터페이스의 구성은 클라이언트의 서피스 상에 놓여 있는 하나 이상의 개체에 기초한다. 예를 들어, 클라이언트가 테이블의 폼 기능(form function)을 따르도록 구성될 수 있다. 클라이언트는 또한, 예를 들어, 테이블 톱과 같은 테이블의 서피스 상에 어떤 개체가 놓여 있는지를 확인하는 기능도 포함할 수 있다. 이어서, 사용자 인터페이스를 구성하는 데 어떤 사용자 설정이 사용되어야 하는지를 확인하기 위해, 서피스 상에 놓여 있는 특정 개체의 식별이 사용될 수 있다.
예를 들어, 사용자는 클라이언트의 서피스 상에 전화를 둘 수 있다. 전화가 감지될 수 있고, 전화에 저장된 사용자 설정이 텔레비전의 즐겨찾는 채널과 같은 사용자 인터페이스를 구성하는 데 사용될 수 있다. 다른 일례에서, 테이블에 놓여있는 개체(예를 들어, 특정 자동차에 대응하는 일련의 자동차 키)가 그 사용자에 대응하는 사용자 설정을 찾아내는 데 사용될 수 있다. 각종의 다른 일례도 생각되고 있으며, 이들에 대한 추가적인 설명은 이하의 섹션들과 관련하여 찾아볼 수 있다.
이하의 논의에서, 개체 감지 및 사용자 설정에 관한 하나 이상의 기술들을 수행하도록 동작할 수 있는 예시적인 환경이 먼저 설명된다. 이어서, 예시적인 환경은 물론 다른 환경을 사용하여 구현될 수 있는 예시적인 절차가 설명된다. 따라서, 절차의 구현이 예시적인 환경에서의 예시적인 절차의 구현으로 제한되지 않는다.
예시적인 환경
도 1은 개체 식별 및 사용자 설정에 관한 기술을 이용하도록 동작할 수 있는 예시적인 구현에서의 환경(100)을 나타낸 것이다. 예시된 환경(100)은, 텔레비전으로서 구성된 다른 클라이언트(106)[따라서, 이하의 논의에서 다른 클라이언트(106) 또는 텔레비전(106)으로 언급할 수 있음], 콘텐츠(110)를 가진 콘텐츠 공급자(108), 및 하나 이상의 광고(114)를 가진 광고주(112)와 네트워크(104)를 통해 통신 연결된 클라이언트(102)를 포함하고 있다.
클라이언트(102)는 다양한 방식으로 구성될 수 있다. 예를 들어, 클라이언트(102)가, 데스크톱 컴퓨터, 이동국, 엔터테인먼트 가전 제품, 디스플레이 장치에 통신 연결된 셋톱 박스, 무선 전화, 게임 콘솔, 기타 등등의, 네트워크(104)를 통해 통신을 할 수 있는 컴퓨터로서 구성될 수 있다. 따라서, 클라이언트(102)는 상당한 메모리 및 프로세서 리소스를 갖는 전체 리소스 장치(full resource device)(예를 들어, 개인용 컴퓨터, 게임 콘솔)로부터 제한된 메모리 및/또는 처리 리소스를 갖는 리소스가 부족한 장치(low-resource device)(예를 들어, 종래의 셋톱 박스, 핸드헬드 게임 콘솔)에까지 이를 수 있다. 클라이언트(102)는 또한 클라이언트를 동작시키는 사람 및/또는 엔터티와 관련될 수 있다. 다시 말해서, 클라이언트(102)는 소프트웨어 및/또는 장치를 포함하는 논리적 클라이언트를 나타낼 수 있다.
네트워크(104)가 인터넷으로 예시되어 있지만, 네트워크는 아주 다양한 구성을 가질 수 있다. 예를 들어, 네트워크(104)는 WAN(wide area network), LAN(local area network), 무선 네트워크(wireless network), 공중 전화 네트워크(public telephone network), 인트라넷 등을 포함할 수 있다. 게다가, 단일 네트워크(104)가 도시되어 있지만, 네트워크(104)는 다수의 네트워크를 포함하도록 구성될 수 있다. 예를 들어, 클라이언트(102) 및 다른 클라이언트(106)는 로컬 네트워크 연결을 통해 서로 통신 연결될 수 있다. 그에 부가하여, 클라이언트(102)는 인터넷을 통해 콘텐츠 공급자(108)와 통신 연결될 수 있다. 이와 마찬가지로, 광고주(112)는 인터넷을 통해 콘텐츠 공급자(108)와 통신 연결될 수 있다. 아주 다양한 다른 일례도 생각되고 있다.
예시된 환경(100)에서, 클라이언트(102)는 테이블의 폼 요소를 가지는 것으로 나타내어져 있다. 테이블 폼 요소는 복수의 다리(118)를 가진 하우징(116)을 포함하고 있다. 도 1에 나타난 바와 같이, 하우징(116)은 도 1에 예시된 것과 같은 자동차 등의 하나 이상의 이미지를 디스플레이하도록 구성된 서피스(120)를 가진 테이블 톱을 포함한다.
클라이언트(102)는 서피스-컴퓨팅(surface-computing) 모듈(122)을 포함하는 것으로 추가적으로 나타내어져 있다. 서피스-컴퓨팅 모듈(122)은 서피스(120)를 이용하는 컴퓨팅 관련 기능을 제공하는 클라이언트(102)의 기능을 나타낸다. 예를 들어, 서피스-컴퓨팅 모듈(122)은 서피스(120)를 통해 사용자 인터페이스를 출력하도록 구성될 수 있다. 서피스-컴퓨팅 모듈(122)은 또한 서피스(120), 따라서 사용자 인터페이스와의 상호작용을 감지하도록 구성될 수 있다. 따라서, 사용자는 이어서 다양한 방식으로 서피스(120)를 통해 사용자 인터페이스와 상호작용할 수 있다.
예를 들어, 사용자는 커서 제어 장치로서, 페인트 브러시로서, 이미지를 조작하는 데(예를 들어, 이미지의 크기 조정 및 이동하는 데), [예를 들어, 클라이언트(102)와 다른 클라이언트(106) 간에] 파일을 전송하는 데, 인터넷 브라우징에 의해 네트워크(104)를 통해 콘텐츠(110)를 가져오는 데, [예를 들어, 다른 클라이언트(106)에 의해 출력될 콘텐츠를 선택하기 위해] 클라이언트(102)에 로컬인 다른 클라이언트(106)(예를 들어, 텔레비전)와 상호작용하는 데, 기타 등등을 위해 하나 이상의 손가락을 사용할 수 있다. 따라서, 클라이언트(102)의 서피스-컴퓨팅 모듈(122)은 각종의 서로 다른 방식으로 출력 장치 및 입력 장치 둘다로서 서피스(120)를 이용할 수 있으며, 그에 대한 추가적인 설명은 도 2와 관련하여 찾아볼 수 있다.
클라이언트(102)는 또한 사용자 인터페이스(UI) 구성 모듈(124) 및 사용자 설정(126)을 포함하는 것으로 나타내어져 있다. UI 구성 모듈(124)은 사용자 설정(126)을 이용하여 사용자 인터페이스를 구성하는 클라이언트(102)의 기능을 나타낸다. 예를 들어, 앞서 설명된 바와 같이, 서피스-컴퓨팅 모듈(122)은 입력 장치로서의 서피스(120)와 관련하여 동작할 수 있다. 따라서, 서피스(120) 상에 놓인 개체가 서피스-컴퓨팅 모듈(122)에 의해 감지될 수 있다.
이어서, 개체에 대응하는 사용자 설정(126)을 식별하기 위하여, 이들 개체가 서피스-컴퓨팅 모듈(122)에 의해 식별될 수 있다. 예를 들어, 개체는 사용자의 휴대폰과 같은 사용자 설정(126)을 유지하도록 구성될 수 있다. 개체가 감지되면, 사용자 설정(126)이 개체로부터 검색되고, UI 구성 모듈(124)에 의해 사용자 인터페이스를 구성하는 데 사용될 수 있다. 다른 일례에서, 개체의 식별은, 특정 사용자의 자동차 키를 감지하고 이어서, 클라이언트(102)에 로컬인 저장소로부터 및/또는 네트워크(104)를 통해 원격으로 사용자 설정(126)을 검색하는 등에 의해, 대응하는 사용자 설정(126)을 찾아내는 데 사용될 수 있다.
각종의 서로 다른 사용자 인터페이스가 사용자 설정(126)을 이용하여 구성될 수 있다. 예를 들어, 클라이언트(102)의 동작을 제어하도록 구성된 사용자 인터페이스가 서피스(120)를 통해 출력될 수 있다. 다른 일례에서, 사용자의 즐겨찾는 프로그램을 포함하도록 구성된 텔레비전 상의 EPG(electronic program guide)와 같은 사용자 인터페이스가 다른 클라이언트(106)에 의해 출력될 수 있다.
UI 구성 모듈(124)은 또한 도 1의 텔레비전으로 예시된 다른 클라이언트(106)에 의해 출력되는 콘텐츠를 보는 것을 향상시키는 다양한 기능을 지원할 수 있다. 예를 들어, 클라이언트(102)와 다른 클라이언트(106)는 서로 상대방의 상태를 인식하기 위하여 네트워크(104)(예를 들어, LAN을 통해 직접적으로 및/또는 인터넷을 통해 액세스 가능한 원격 서버를 통해 간접적으로)를 통해 통신할 수 있다. 향상된 경험과 연관되어 있는 다른 클라이언트(106)를 통해 텔레비전 프로그램이 디스플레이될 때, 클라이언트(102)는 다른 클라이언트(106)를 통해 디스플레이되는 콘텐츠를 향상시키는 콘텐츠를 디스플레이한다.
예를 들어, 이벤트(예를 들어, 스포츠 이벤트 등) 동안에 다른 클라이언트(106)를 통해 현재 출력되는 콘텐츠를 보완하기 위해 부가 정보가 디스플레이될 수 있다. 예를 들어, 도 1에 예시된 바와 같이 다른 클라이언트(106) 상의 자동차 경기의 출력은 클라이언트(102)의 서피스(120)를 통해 통계 자료, 트랙 레이아웃, 부가적인 카메라 각도 등을 디스플레이함으로써 보완될 수 있다.
다른 경우에, 클라이언트(102)의 서피스(120)를 통해 다수의 이벤트가 추적될 수 있다. 예를 들어, 스포츠 이벤트 동안에, 비디오 피드, 정보, 기타 등등과 같이 다수의 동시 발생 이벤트들이 추적될 수 있다. 이러한 방식으로, 다른 클라이언트(106)에 의해 현재 출력되고 있지 않는, 출력가능한 부가 콘텐츠에 관하여 사용자에게 용이하게 알려줄 수 있다.
다른 경우에, 클라이언트(102)의 사용자 설정(126)을 통해 지정될 수 있는 경고(alert)가 클라이언트(102)의 서피스(120)를 통해 출력될 수 있다. 사용자 설정(126)은 스포츠 이벤트에서 지정된 동작의 발생, 비즈니스 관계(예를 들어, 주식 가격), 날씨 등등과 같은 각종의 서로 다른 경고 조건을 지정한다. 이어서, 클라이언트(102)의 서피스(120) 및/또는 다른 클라이언트(106)를 통해, 경고에 관련된 정보가 출력될 수 있다. 본 발명의 사상 및 범위를 벗어나지 않고 다양한 다른 일례들이 또한 생각된다.
일반적으로, 본 명세서에 기술되는 기능들 중 어느 것이라도 소프트웨어, 펌웨어(예를 들어, 고정 논리 회로), 수동 처리, 또는 이 구현들의 조합을 사용하여 구현될 수 있다. "모듈", "기능", 및 "논리"라는 용어는, 본 명세서에서 사용되는 바와 같이, 일반적으로 소프트웨어, 펌웨어, 또는 소프트웨어와 펌웨어의 조합을 나타낸다. 소프트웨어 구현의 경우에, 모듈, 기능, 또는 논리는 프로세서(예를 들어, CPU 또는 CPU들) 상에서 실행될 때 지정된 작업을 수행하는 프로그램 코드를 나타낸다. 프로그램 코드는 하나 이상의 컴퓨터-판독가능 메모리 장치에 저장될 수 있으며, 이들에 대한 추가적인 설명은 도 2와 관련하여 찾아볼 수 있다. 이하에 기술되는 서피스 기술의 특징이 플랫폼-독립적(platform-independent)이며, 이는 그 기술이 각종의 프로세서를 갖는 각종의 상용 컴퓨팅 플랫폼에서 구현될 수 있다는 것을 의미한다.
도 2는 도 1의 클라이언트(102)를 보다 상세하게 보여주는는 예시적인 구현예에서의 시스템(200)을 나타낸 것이다. 이 경우에 프로세서(202) 및 메모리(204)를 포함하는 것으로 예시된 클라이언트(102)는 도 1의 서피스-컴퓨팅 모듈(122)을 포함한다. 프로세서는 프로세서를 형성하는 재료 또는 프로세서에서 이용되는 처리 메커니즘에 의해 제한되지는 않는다.
예를 들어, 프로세서는 반도체(들) 및/또는 트랜지스터[예를 들어, 전자 집적 회로(IC)]로 이루어져 있을 수 있다. 이와 관련하여, 프로세서-실행가능 명령어는 전자적으로 실행가능한 명령어일 수 있다. 다른 대안으로서, 프로세서의 또는 프로세서용 메커니즘, 따라서 컴퓨팅 장치의 또는 컴퓨팅 장치용 메커니즘은 양자 컴퓨팅, 광학 컴퓨팅, 기계적 컴퓨팅(예를 들어, 나노 기술을 사용), 기타 등등을 포함할 수 있지만, 이들로 제한되는 것은 아니다. 그에 부가하여, 단일 메모리(204)가 도시되어 있지만, RAM(andom access memory), 하드디스크 메모리, 이동식 미디어 메모리 및 다른 유형의 컴퓨터-판독가능 매체와 같은 아주 다양한 유형 및 조합의 메모리가 이용될 수 있다.
클라이언트(102)는 또한 메모리(204)에도 저장될 수 있는 운영 체제(206)를 프로세서(202) 상에서 실행하는 것으로 예시되어 있다. 운영 체제(206)는 기본 클라이언트(102)의 하드웨어 및 소프트웨어를, 메모리(204)에 저장되는 것으로 예시된 하나 이상의 응용 프로그램(208) 등으로 추상화하도록 실행될 수 있다. 도 2의 이 시스템(200)에서, UI 구성 모듈(124)은 사용자 설정(126)과 함께 클라이언트(102)의 메모리(204)에 저장되는 응용 프로그램들(208) 중 하나로 예시되어 있으며, 예를 들어, 예시된 일례에서 UI 구성 모듈(124)은 실행가능 모듈이다.
서피스-컴퓨팅 모듈(122)은 또한 이미지 프로젝션 모듈(210) 및 서피스 감지 모듈(212)을 포함하는 것으로 예시되어 있다. 이미지 프로젝션 모듈(210)은 서피스(120) 상에 이미지를 투영(project)하는 클라이언트(102)의 기능을 나타낸다. 리어 프로젝션 시스템(rear projection system), LCD, 기타 등등을 사용하여 이미지를 투영하기 위해 이미지 프로젝션 모듈(210)에 의해 각종의 서로 다른 기술들이 이용될 수 있다.
서피스 감지 모듈(212)은 하나 이상의 개체가 서피스(120)에 근접하게 위치할 때 이들 개체를 감지하는 클라이언트(102)의 기능을 나타낸다. 서피스 감지 모듈(212)은 이러한 감지를 수행하기 위하여 RFID(radio frequency identification), 이미지 인식, 바코드 스캐닝, 광학 문자 인식(optical character recognition) 등과 같은 각종의 서로 다른 기술을 이용할 수 있다.
예를 들어, 도 2의 서피스 감지 모듈(212)은 하나 이상의 적외선 프로젝터(214), 하나 이상의 적외선 카메라(216) 및 감지 모듈(218)을 포함하는 것으로 예시되어 있다. 하나 이상의 적외선 프로젝터(214)는 서피스(120)에 적외선 및/또는 근적외선 광을 투영하도록 구성되어 있다. 이어서, 하나 이상의 적외선 카메라(216)는 적외선 프로젝터(214)에 의해 출력되는 반사된 적외선 광의 이미지를 캡처하도록 구성될 수 있다.
예를 들어, 각각의 사용자 손(220, 222)의 손가락, 사용자의 전화(224) 및 키(226)와 같은 개체를 서피스(120)을 통해 적외선 카메라(216)가 볼 수 있다. 예시된 일례에서, 적외선 카메라(216)는 서피스(120)의 사용자 손(220, 222)과 반대 쪽에, 예를 들어, 클라이언트(102)의 하우징 내부에 위치한다. 이어서, 검색 모듈(218)은 적외선 카메라(216)에 의해 캡처된 이미지를 분석하여 서피스(120)에 놓여있는 개체를 감지할 수 있다. 이어서, 이 분석의 출력이, 운영 체제(206), 응용 프로그램(208) 등에 제공될 수 있다.
일 구현예에서, 서피스 감지 모듈(212)은 한 시점에서 다수의 개체를 감지할 수 있다. 예를 들어, 운영 체제(206)에 의해 출력되는 사용자 인터페이스와의 상호작용을 위해, 각각의 사용자 손(220, 222)의 손가락이 감지될 수 있다. 이러한 방식으로, 클라이언트(102)는 다수의 사용자와의 동시적인 상호작용을 지원할 수 있다.
클라이언트(102)는 또한 사용자 인터페이스와 상호작용하는 데 사용될 수 있는 제스처를 지원할 수 있다. 예를 들어, 서로 다른 제스처들이 이미지 확대, 이미지 회전, 장치들 간의 파일 이동, 콘텐츠의 특정 항목의 출력을 대기모드로 하는 것(slept output of a particular item of content) 등을 위해 사용될 수 있다. 이미지 캡처를 사용하는 감지에 대해 설명하였지만, 클라이언트(102)의 서피스(120)에 또는 그에 근접하게 놓여 있는 개체를 감지하기 위하여, RFID, "음향(sounding)" 기술(예를 들어, 레이더와 유사한 초음파 기술), 생체 인식(예를 들어, 체온) 등과 같은 다양한 다른 기술들이 또한 서피스-컴퓨팅 모듈(122), 보다 상세하게는 서피스 감지 모듈(212)에 의해 이용될 수 있다. 본 발명의 사상 및 범위를 벗어나지 않고, 클라이언트(102)의 서피스(120)와의 상호작용을 이용하기 위해 사용될 수 있는 다양한 다른 기술들이 또한 생각되고 있다.
일 구현예에서, UI 구성 모듈(124)은 클라이언트(102)의 서피스(120) 상의 개체의 감지를 이용할 수 있다. 예를 들어, 사용자는 서피스(120) 상에 키(226)를 둘 수 있다. 이어서, 키(226)는 서피스 감지 모듈(212)에 의해 감지될 수 있고, 이어서 서피스 감지 모듈은 키(226)가 감지되었다는 표시를 UI 구성 모듈(124)에게 출력할 수 있다. 이러한 표시는 키(226)의 브랜드에 대해 고유한 숫자 식별자, UI 구성 모듈(124)에 의해 추가적으로 처리되는 키(226)의 이미지 등과 같은 다양한 방법으로 구성될 수 있다.
이어서, UI 구성 모듈(124)은 서피스(120) 상에 놓인 개체를 식별하고, 이 식별을 사용자 인터페이스를 구성하기 위한 기초로서 사용할 수 있다. 계속하여 이전의 일례에서, UI 구성 모듈(124)은 키(226)와 연관된 특정 사용자를 식별하고, 특정 사용자에 대응하는 사용자 설정(126)을 찾아낼 수 있다. 이어서, 사용자 인터페이스가 사용자 설정(126)에 기초하여 구성되고 서피스(120)를 통해 출력될 수 있다. 도 2의 이 일례에서는, 이미지 프로젝션 모듈(210)에 의해 서피스(120) 상에 출력되는 "배경"으로서, 자동차(228)의 이미지가 예시되어 있다. 다른 일례에서, 네트워크(104)를 통해 클라이언트(102)에 통신 연결되는 다른 클라이언트(106)에 의해 출력되는 EPG(electronic program guide)(230)와 같은 사용자 인터페이스가 다른 클라이언트에 의해 출력될 수 있다. 각종의 다른 일례도 생각되고 있으며, 이들에 대한 추가적인 설명은 이하의 절차들과 관련하여 찾아볼 수 있다.
예시적인 절차
이하의 논의는 이상에서 설명된 시스템 및 장치를 이용하여 구현될 수 있는 서피스-컴퓨팅 기술을 설명한다. 각각의 절차의 측면들은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다. 절차는 하나 이상의 장치에 의해 수행되는 동작을 명시하는 일련의 블록으로 나타내어져 있으며, 각자의 블록에 의한 동작을 수행하는 도시된 순서로 꼭 제한될 필요는 없다. 이하의 논의의 일부분에서, 도 1의 환경(100) 및 도 2의 시스템(200)에 대해 언급될 것이다.
도 3은 클라이언트의 서피스 상에 놓인 개체의 감지에 기초하여 찾아낸 하나 이상의 사용자 설정에 기초하여 사용자 인터페이스가 구성되는 예시적인 구현예에서의 절차(300)를 나타낸 것이다. 클라이언트의 서피스 상에 놓인 개체가 감지된다(블록 302). 도 2와 관련되어 이상에서 설명되었던 이미징 기술, RFID 기술, "음향" 기술(예를 들어, 초음파 기술), 바코드, OCR(optical character recognition) 등등과 같은 다양한 방식으로 개체가 감지될 수 있다.
따라서, 클라이언트(102)가 감지하도록, 각종의 서로 다른 개체가 클라이언트(102)의 서피스(120) 상에 놓일 수 있다. 예를 들어, 사용자 손(220, 222)의 하나 이상의 사용자 손가락, 키(226), 휴대폰, 지갑 등등이 클라이언트(102)의 서피스(120) 상에 놓일 수 있다.
복수의 사용자 중 어느 사용자가 감지된 개체에 대응하는지에 대한 확인이 행해진다(블록 304). 예를 들어, 서피스-컴퓨팅 모듈(122)은 이미지 인식 및/또는 RFID 기술(예를 들어, 고유 식별자를 판독하는 것에 의함)을 사용하여 키(226)가 특정 사용자에 대응하는지를 확인할 수 있다. 이어서, 서피스-컴퓨팅 모듈(122)은, 예를 들어, 클라이언트(102)에 로컬인 메모리(204)로부터 및/또는 네트워크(104)를 통해 원격으로, 특정 사용자에 대응하는 사용자 설정(126)을 찾아낼 수 있다(블록 306).
사용자 인터페이스가 하나 이상의 사용자 설정을 사용하여 구성된다(블록 308). 예를 들어, 사용자 설정(126)은 특정 사용자의 "즐겨찾기"(예를 들어, 즐겨찾는 채널, 웹 사이트, 음악, 배우 등), 사용자 인터페이스에서 사용될 특정 배경, 하나 이상의 응용 프로그램(208)에 고유한 설정 등을 지정할 수 있다.
그에 부가하여, 사용자 설정(126)을 사용하여 구성된 사용자 인터페이스는 다양한 방식으로 출력될 수 있다. 예를 들어, 사용자 인터페이스는 클라이언트의 서피스의 적어도 일부분를 사용하여 출력될 수 있다(블록 310). 다른 일례에서, 사용자 인터페이스는 도 1 및 도 2의 다른 클라이언트(106) 등의, 클라이언트에 로컬인 다른 클라이언트를 사용하여 출력될 수 있다(블록312). 따라서, 사용자 인터페이스는 클라이언트(102) 및/또는 텔레비전으로 예시된 다른 클라이언트(106)와의 상호작용을 제공하도록 구성될 수 있다. 일례로, 사용자 인터페이스는, 예를 들어, 채널 변경, 볼륨 키우기 또는 줄이기, 기타 등등과 같이 클라이언트(102) 및/또는 텔레비전의 동작을 제어하기 위하여, 클라이언트(102)의 서피스(120)를 통해 출력될 수 있다. 본 발명의 사상 및 범위를 벗어나지 않고 다양한 다른 일례들이 또한 생각된다.
도 4는 도 1 및 도 2의 클라이언트(102)의 서피스 상에 놓여 있는 개체가 사용자 인터페이스를 구성하는 데 사용되는 사용자 설정을 포함하고 있는 예시적인 구현에에서의 절차(400)를 나타낸 것이다. 클라이언트의 서피스 상에 놓여 있는, 하나 이상의 사용자 설정을 포함하는 개체가 식별된다(블록 402). 사용자는 클라이언트(102)의 서피스(120) 상에 휴대폰을 놓을 수 있다. 이어서, 서피스-컴퓨팅 모듈(122)은 휴대폰의 존재를 감지하고, 휴대폰과의 로컬 네트워크 연결(예를 들어, 로컬 무선 연결)을 시작할 수 있다. 이어서, 휴대폰의 메모리에 들어 있는 사용자 설정이 서피스-컴퓨팅 모듈(122)에 의해 발견될 수 있다. 이러한 방식으로, 휴대폰의 사용자 설정이 클라이언트 간에 쉽게 전송될 수 있다.
사용자 인터페이스가 하나 이상의 사용자 설정에 따라 구성되며(블록 404), 사용자 인터페이스가 서피스의 적어도 일부분를 사용하여 출력된다(블록 406). 이상에서 논의된 바와 같이, 사용자 인터페이스를 구성하기 위하여, 사용자 설정(126)이 UI 구성 모듈(124)에 의해 서로 다른 다양한 방식으로 사용될 수 있다. 따라서, 사용자 설정이 이어서 설정을 포함하는 개체를 감지하는 데 사용된 클라이언트(102)의 서피스(120)의 사용자 인터페이스를 개인화하는 데 사용될 수 있다.
다른 일례에서, 서피스를 가지는 클라이언트에 로컬인 다른 클라이언트를 사용하여, (하나 이상의 사용자 설정을 사용하여 구성된) 다른 사용자 인터페이스가 출력될 수 있다(블록 408). 예를 들어, 다른 클라이언트(106)는, EPG(electronic program guide)에서의 텔레비전 프로그램의 배열을 지정하는 등을 위해, 도 1 및 도 2에 예시된 바와 같은 하나 이상의 사용자 설정(126)에 따라 구성된 EPG를 출력할 수 있다. 단일 사용자에 대응하는 설정에 따라 사용자 인터페이스를 구성하는 것이 설명되었지만, 복수의 사용자에 대응하는 사용자 설정을 사용하여 사용자 인터페이스가 구성될 수 있다는 것이 아주 명백하며, 이에 대한 추가적인 설명은 이하의 도면과 관련하여 찾아볼 수 있다.
도 5는 복수의 사용자에게 공통인 사용자 설정이 사용자 인터페이스를 구성하는 데 사용되는 예시적인 구현예에서의 절차(500)를 나타낸 것이다. 특정 시점에서 클라이언트(102)에 근접하게 위치한 복수의 사용자가 식별된다(블록 502). 예를 들어, 복수의 사용자가 테이블의 폼 요소를 갖는 도 1의 클라이언트(102) 주변에 위치할 수 있으며, 여기서 각각의 사용자는 이상에서 설명된 하나 이상의 기술을 사용하여 사용자를 식별하는 데 사용될 수 있는 개체를 클라이언트(102)의 서피스(120) 상에 놓아 두고 있다. 음성 인식, 서피스(120)를 사용한 지문 스캐닝 등등과 같은 다양한 다른 기술들이 또한 이용될 수 있다.
식별된 복수의 사용자 각각에 대한 하나 이상의 사용자 설정을 찾아내며(블록 504), 이는 이상에서 설명된 하나 이상의 기술들을 사용하여 수행될 수 있다. 이어서, 찾아낸 하나 이상의 사용자 설정 중 어느 것이 식별된 복수의 사용자에게 공통되는 것인지에 대한 확인이 행해진다(블록 506). 예를 들어, 사용자의 사용자 설정은 특정 콘텐츠(예를 들어, 텔레비전 프로그램, 음악 등), 특정 장르 기타 등등에 대한 관심이 공유되고 있음을 나타낼 수 있다.
이어서, 확인된 공통의 사용자 설정을 이용하여 사용자 인터페이스가 구성될 수 있다(블록 508). 계속하여 이상의 일례에서, EPG의 "즐겨찾기" 부분은 사용자들의 공통적인 즐겨찾기를 포함하도록 구성될 수 있고, 공유된 관심에 대응하는 배경이 서피스(120) 상에 출력될 수 있으며, 기타 등등일 수 있다.
결론
본 발명이 구조적 특징 및/또는 방법적 동작과 관련하여 기술되어 있지만, 첨부된 특허청구범위에 정의된 본 발명이 상기한 특정의 특징 또는 동작으로 반드시 제한되는 것은 아니라는 것을 잘 알 것이다. 오히려, 특정의 특징 및 동작은 청구된 발명을 구현하는 예시적인 형태로서 개시되어 있다.

Claims (20)

  1. 방법으로서,
    클라이언트에 의해, 상기 클라이언트의 서피스(surface) 상에 놓인 개체를 감지하는 단계(302),
    복수의 사용자 중 어느 사용자가 감지된 개체에 대응하는지를 확인하는(determining) 단계(304), 및
    상기 확인된 사용자에 대응하는 하나 이상의 사용자 설정을 찾아내는 단계(306)
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 클라이언트는 테이블의 폼 요소(form factor)를 가지며,
    상기 서피스는 상기 클라이언트의 테이블 톱(table top)의 일부로서 포함되는 방법.
  3. 제1항에 있어서, 상기 감지하는 단계는 복수의 상기 개체에 대해 수행되고,
    상기 복수의 사용자에게 공통인 사용자 설정을 사용하여 사용자 인터페이스의 구성이 수행되는 방법.
  4. 제1항에 있어서, 상기 감지하는 단계는 상기 클라이언트의 서피스 아래에 위치한 클라이언트의 하나 이상의 카메라를 사용하여 수행되는 이미지 인식을 통하여 수행되는 방법.
  5. 제1항에 있어서, 상기 감지하는 단계는, 적어도 부분적으로, 개체의 적어도 일부분의 바코드 스캐닝 또는 광학 문자 인식(optical character recognition)을 통해 수행되는 방법.
  6. 제1항에 있어서, 상기 감지하는 단계는, 적어도 부분적으로, 하나 이상의 RFID(radio frequency identification) 기술을 사용하여 수행되는 방법.
  7. 제1항에 있어서, 상기 하나 이상의 사용자 설정을 사용하여 사용자 인터페이스를 구성하는 단계, 및
    상기 클라이언트의 서피스의 적어도 일부분을 사용하여 상기 사용자 인터페이스를 출력하는 단계를 더 포함하는 방법.
  8. 제7항에 있어서, 상기 사용자 인터페이스는 상기 서피스를 가지는 클라이언트에 로컬인 다른 클라이언트에 의한 콘텐츠 출력을 제어하도록 구성되는 방법.
  9. 제7항에 있어서, 상기 사용자 인터페이스는 EPG(electronic program guide)인 방법.
  10. 제1항에 있어서, 상기 하나 이상의 사용자 설정을 사용하여 사용자 인터페이스를 구성하는 단계, 및
    상기 클라이언트에 로컬인 다른 클라이언트를 사용하여 상기 사용자 인터페이스를 출력하는 단계를 더 포함하는 방법.
  11. 제10항에 있어서, 상기 다른 클라이언트는 텔레비전인 방법.
  12. 방법으로서,
    클라이언트에 의해, 하나 이상의 사용자 설정을 포함하는, 상기 클라이언트의 서피스 상에 놓여있는 개체를 식별하는 단계(402),
    상기 하나 이상의 사용자 설정에 따라 사용자 인터페이스를 구성하는 단계(404), 및
    상기 서피스의 적어도 일부분을 사용하여 상기 사용자 인터페이스를 출력하는 단계(406)
    를 포함하는 방법.
  13. 제12항에 있어서, 상기 식별하는 단계는 복수의 상기 개체들에 대해 수행되고,
    상기 사용자 인터페이스를 구성하는 단계는 복수의 상기 개체들에 공통적인 사용자 설정을 사용하여 수행되는 방법.
  14. 제12항에 있어서, 상기 클라이언트는 테이블의 폼 요소를 가지며,
    상기 서피스는 상기 클라이언트의 테이블 톱의 일부로서 포함되는 방법.
  15. 제12항에 있어서, 상기 서피스를 가지는 클라이언트에 로컬인 다른 클라이언트를 사용하여 다른 사용자 인터페이스를 출력하는 단계를 더 포함하는 방법.
  16. 클라이언트(102)로서,
    테이블의 폼 요소를 갖는 하우징,
    상기 하우징의 테이블 톱에 배치된 서피스, 및
    상기 하우징 내에 배치된 하나 이상의 모듈
    을 포함하고, 상기 하나 이상의 모듈은,
    로컬 네트워크 연결을 통해 텔레비전과 상호작용하고,
    상기 텔레비전에 현재 디스플레이되는 콘텐츠에 관련된 콘텐츠를 상기 서피스 상에 디스플레이하고,
    상기 서피스를 통해 사용자로부터의 하나 이상의 입력을 감지하고,
    적어도 하나의 상기 입력을 사용하여, 상기 서피스 상에 콘텐츠를 디스플레이하는 것을 제어하며,
    다른 상기 입력을 사용하여 상기 텔레비전 상에 콘텐츠를 디스플레이하는 것을 제어하는 클라이언트(102).
  17. 제16항에 있어서, 상기 서피스 상에 디스플레이된 콘텐츠는 상기 서피스를 통해 출력되는 사용자 인터페이스와의 상호작용을 통해 설정된 경고를 포함하는 클라이언트.
  18. 제16항에 있어서, 상기 텔레비전 상에 디스플레이된 콘텐츠는 스포츠 이벤트이고,
    상기 서피스 상에 디스플레이된 콘텐츠는 스포츠 이벤트에 관련된 통계 자료를 포함하는 클라이언트.
  19. 제16항에 있어서, 상기 텔레비전 상에 디스플레이된 콘텐츠는 텔레비전 프로그램이고,
    상기 서피스 상에 디스플레이된 콘텐츠는 텔레비전 프로그램에 대응하는 인터넷 채팅인 클라이언트.
  20. 제16항에 있어서, 상기 하나 이상의 모듈은,
    상기 서피스 상에 상기 콘텐츠를 디스플레이하는 리어 프로젝션 시스템(rear-projection system),
    상기 서피스에 적외선 광을 투영하는 하나 이상의 적외선 프로젝터,
    상기 서피스의 적외선 이미지를 캡처하는 하나 이상의 적외선 카메라, 및
    상기 적외선 이미지를 처리하여 상기 입력을 감지하는 감지 모듈을 포함하는 클라이언트.
KR1020117006666A 2008-09-24 2009-09-22 개체 감지 및 사용자 설정 KR101619559B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/236,691 2008-09-24
US12/236,691 US8421747B2 (en) 2008-09-24 2008-09-24 Object detection and user settings

Publications (2)

Publication Number Publication Date
KR20110063649A true KR20110063649A (ko) 2011-06-13
KR101619559B1 KR101619559B1 (ko) 2016-05-10

Family

ID=42037709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117006666A KR101619559B1 (ko) 2008-09-24 2009-09-22 개체 감지 및 사용자 설정

Country Status (7)

Country Link
US (1) US8421747B2 (ko)
EP (1) EP2350801B1 (ko)
JP (1) JP5592378B2 (ko)
KR (1) KR101619559B1 (ko)
CN (1) CN102165404B (ko)
RU (1) RU2541222C2 (ko)
WO (1) WO2010036658A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072610A1 (ko) * 2014-11-03 2016-05-12 (주)라온스퀘어 인식방법 및 인식장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8494197B2 (en) * 2008-12-19 2013-07-23 Starkey Laboratories, Inc. Antennas for custom fit hearing assistance devices
JP5489478B2 (ja) * 2009-01-26 2014-05-14 キヤノン株式会社 画像表示装置及び画像表示方法
EP2553647A4 (en) * 2010-03-26 2014-04-16 4D Retail Technology Corp SYSTEMS AND METHOD FOR PRODUCING AND USING AN INTERACTIVE DISPLAY TABLE FOR FASTER REGISTRATIONS
JP5655515B2 (ja) * 2010-11-11 2015-01-21 ソニー株式会社 情報処理装置、テーブル、表示制御方法、プログラム、携帯端末、及び情報処理システム
TWI512547B (zh) * 2011-12-20 2015-12-11 Univ Nat Chiao Tung 互動式系統及互動式裝置
CN103902018B (zh) * 2012-12-24 2018-08-10 联想(北京)有限公司 一种信息处理方法、装置及一种电子设备
CN103941990B (zh) * 2013-01-21 2017-12-29 联想(北京)有限公司 一种信息处理方法及电子设备
JP2015200960A (ja) * 2014-04-04 2015-11-12 株式会社リコー 情報システム、情報処理方法、及びプログラム
JP6312044B2 (ja) * 2014-12-10 2018-04-18 カシオ計算機株式会社 情報表示制御装置及びプログラム
US9841847B2 (en) 2014-12-25 2017-12-12 Panasonic Intellectual Property Management Co., Ltd. Projection device and projection method, for projecting a first image based on a position of a moving object and a second image without depending on the position
MX2018003752A (es) * 2015-09-24 2018-07-06 Locator Ip Lp Datos meteorologicos/ambientales hiper-localizados.
WO2019190511A1 (en) * 2018-03-28 2019-10-03 Rovi Guides, Inc. Systems and methods to provide media asset recommendations based on positioning of internet connected objects on an network-connected surface
US10845985B2 (en) 2018-09-14 2020-11-24 Sigmasense, Llc. Identification in touch systems
JP6654722B2 (ja) * 2019-03-08 2020-02-26 シャープ株式会社 画像表示装置および画像表示方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03143474A (ja) 1989-10-31 1991-06-19 Brother Ind Ltd ミシンの布送り装置
US5543150A (en) 1993-09-15 1996-08-06 Columbia Laboratories, Inc. Method of progesterone delivery and affect thereof
AU7387196A (en) * 1995-10-02 1997-04-28 Starsight Telecast Incorporated Systems and methods for providing television schedule information
US6837436B2 (en) * 1996-09-05 2005-01-04 Symbol Technologies, Inc. Consumer interactive shopping system
KR20030037055A (ko) 2001-11-02 2003-05-12 박재숙 디지털 방송 시스템에서 부가 데이터 서비스 표시방법
US20070266413A1 (en) * 2001-12-20 2007-11-15 I-Requestv, Inc. Method and system for supplementing television programming with e-mailed magazines
US8031196B2 (en) 2002-02-19 2011-10-04 Sharp Kabushiki Kaisha Display, electronic device, data transmitting method, information terminal, host apparatus, program, recording medium
WO2003088671A1 (en) 2002-04-05 2003-10-23 Matsushita Electric Industrial Co., Ltd. Asynchronous integration of portable handheld device
CN2655311Y (zh) * 2003-07-09 2004-11-10 海南视界科技有限公司 平面电脑台
US7467380B2 (en) * 2004-05-05 2008-12-16 Microsoft Corporation Invoking applications with virtual objects on an interactive display
US7379047B2 (en) 2004-06-30 2008-05-27 Microsoft Corporation Using a physical object to control an attribute of an interactive display application
US20060044282A1 (en) 2004-08-27 2006-03-02 International Business Machines Corporation User input apparatus, system, method and computer program for use with a screen having a translucent surface
JP4714473B2 (ja) * 2005-02-07 2011-06-29 Ｈｏｙａ株式会社 ユーザ認識機能を有するデジタルカメラ
US7970870B2 (en) * 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface
US20070022437A1 (en) 2005-07-19 2007-01-25 David Gerken Methods and apparatus for providing content and services coordinated with television content
ITMI20051418A1 (it) * 2005-07-22 2007-01-23 Indena Spa Analoghi del tiocolchicoside ad attivita'miorilassante e antiinfiammatoria
US8736547B2 (en) 2006-04-20 2014-05-27 Hewlett-Packard Development Company, L.P. Method and system for interfacing a digital device with an interactive display surface
JP4713428B2 (ja) * 2006-09-15 2011-06-29 シャープ株式会社 情報処理装置、情報処理方法およびプログラム
JP2008097151A (ja) * 2006-10-06 2008-04-24 Sharp Corp 情報処理装置、情報処理システム、情報処理方法およびプログラム
US20080098450A1 (en) * 2006-10-16 2008-04-24 Toptrend Global Technologies, Inc. Dual display apparatus and methodology for broadcast, cable television and IPTV
JP4922744B2 (ja) * 2006-12-14 2012-04-25 キヤノン電子株式会社 画像読取装置及びその制御方法、並びにプログラム
JP5000989B2 (ja) * 2006-11-22 2012-08-15 シャープ株式会社 情報処理装置、情報処理方法およびプログラム
TWI337318B (en) * 2007-05-15 2011-02-11 Htc Corp Electronic device operated by using touch display
US20090006958A1 (en) 2007-06-29 2009-01-01 Nokia Corporation Method, Apparatus and Computer Program Product for Providing an Object Selection Mechanism for Display Devices
JP4986766B2 (ja) * 2007-08-09 2012-07-25 パナソニック株式会社 携帯端末用制御装置
US20090091529A1 (en) * 2007-10-09 2009-04-09 International Business Machines Corporation Rendering Display Content On A Floor Surface Of A Surface Computer
CN101251786A (zh) * 2008-01-18 2008-08-27 李喆 交互式媒体多人触控系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016072610A1 (ko) * 2014-11-03 2016-05-12 (주)라온스퀘어 인식방법 및 인식장치

Also Published As

Publication number Publication date
KR101619559B1 (ko) 2016-05-10
WO2010036658A3 (en) 2010-06-17
WO2010036658A2 (en) 2010-04-01
EP2350801A4 (en) 2017-02-15
EP2350801B1 (en) 2019-02-13
JP5592378B2 (ja) 2014-09-17
CN102165404A (zh) 2011-08-24
RU2541222C2 (ru) 2015-02-10
US8421747B2 (en) 2013-04-16
EP2350801A2 (en) 2011-08-03
US20100074464A1 (en) 2010-03-25
RU2011111084A (ru) 2012-10-27
JP2012503801A (ja) 2012-02-09
CN102165404B (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
KR101619559B1 (ko) 개체 감지 및 사용자 설정
US20100077431A1 (en) User Interface having Zoom Functionality
CN106327185B (zh) 一种支付应用的启动方法及移动终端
JP5658669B2 (ja) 物体識別を使用するターゲットを絞った広告
JP7104242B2 (ja) 個人情報を共有する方法、装置、端末設備及び記憶媒体
US9720567B2 (en) Multitasking and full screen menu contexts
US9202299B2 (en) Hint based spot healing techniques
CN109218819B (zh) 一种视频预览方法及移动终端
KR20160022383A (ko) 2차원 코드 인식 방법 및 장치
KR20160086090A (ko) 이미지를 디스플레이하는 사용자 단말기 및 이의 이미지 디스플레이 방법
WO2019095819A1 (zh) 界面展示方法及装置
CN114237419B (zh) 显示设备、触控事件的识别方法
TW201349093A (zh) 螢幕畫面裁切方法、裝置及電腦程式產品
CN112860921A (zh) 信息搜索方法及装置
US10114518B2 (en) Information processing system, information processing device, and screen display method
CN111399724A (zh) 系统设置项的显示方法、装置、终端及存储介质
CN112286613A (zh) 界面显示方法及界面显示装置
CN109218599B (zh) 全景图像的显示方法及其电子装置
TW201530341A (zh) 電子裝置與其鎖定與解鎖方法
US20130047102A1 (en) Method for browsing and/or executing instructions via information-correlated and instruction-correlated image and program product
KR102086181B1 (ko) 제어 노출
CN118741296A (zh) 图像推荐、管理方法和装置
AU2013205544A1 (en) Method, apparatus and system for displaying augmented content
TW201738777A (zh) 線上書籍資訊的查詢方法

Legal Events

Date Code Title Description
N231 Notification of change of applicant
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 4