KR101097700B1 - 인터페이스 방법 및 시스템과 컴퓨터 사용가능 매체 - Google Patents

인터페이스 방법 및 시스템과 컴퓨터 사용가능 매체 Download PDF

Info

Publication number
KR101097700B1
KR101097700B1 KR1020087025638A KR20087025638A KR101097700B1 KR 101097700 B1 KR101097700 B1 KR 101097700B1 KR 1020087025638 A KR1020087025638 A KR 1020087025638A KR 20087025638 A KR20087025638 A KR 20087025638A KR 101097700 B1 KR101097700 B1 KR 101097700B1
Authority
KR
South Korea
Prior art keywords
ids
digital device
digital
information
representation
Prior art date
Application number
KR1020087025638A
Other languages
English (en)
Other versions
KR20080109869A (ko
Inventor
패트릭 엠 가디
넬슨 리앙 앤 창
아이-종 린
조슈아 타일러
앤드류 댈리
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20080109869A publication Critical patent/KR20080109869A/ko
Application granted granted Critical
Publication of KR101097700B1 publication Critical patent/KR101097700B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Abstract

디지털 디바이스(251)를 대화식 디스플레이 표면(IDS)(101)와 인터페이스시키는 방법 및 시스템이 제시된다. IDS(101)는 디지털 디바이스(251)가 근처에 도입될 때 디지털 디바이스(251)를 검출하고, 그 디바이스(251)를 식별하고자 한다. IDS(101)는 디바이스(251)와 통신하고, 디바이스(251) 상에 저장된 정보의 대화식 표현을 디스플레이한다.

Description

인터페이스 방법 및 시스템과 컴퓨터 사용가능 매체{METHOD AND SYSTEM FOR INTERFACING A DIGITAL DEVICE WITH AN INTERACTIVE DISPLAY SURFACE}
본 발명의 실시예는 디지털 컴퓨팅 디바이스가 대화식 디스플레이 표면(IDS)과 인터페이스하게 하여, 그들 디바이스에 저장된 디지털 정보를 조작하는 새로운 방법을 제공하는 방법 및 시스템에 관한 것이다.
휴대용 디지털 컴퓨팅 디바이스는 현대 문화에서 더욱 더 널리 보급되고 있다. 이동 전화, PDA, 휴대용 mp3 플레이어, 디지털 카메라 및 캠코더, 휴대용 비디오게임 플레이어를 포함하는 그러한 디바이스는 그들의 사용자가 막대한 양의 디지털 정보를 그들에게 불편함이 거의 없이 전달하게 한다. 이들 디바이스는 흔히 휴대성이 최적화되어, 작은 형태 인자(small form factors) 및 낮은 전력 소비에 상당한 중점을 두고 있다.
이들 설계 특징을 달성하는 데에는 가용성 부분이 희생되어 왔다. 그러한 디바이스 상의 디스플레이는 그들이 존재한다 하더라도 흔히 매우 작다. 용이한 기능성은 전형적으로 여러 가지 주요 버튼을 통해 액세스된 몇 안 되는 선택 특징 으로 제한되는 한편, 보다 덜 빈번하게 사용되는 옵션은 소형의 집적된 디스플레이 상의 메뉴를 조종함으로써 액세스되는 메뉴 및 서브메뉴 내에 깊숙이 숨겨져 있다. 또한, 이들 디바이스는 전형적으로 사용자의 저장된 디지털 데이터로의 단 한 가지의 액세스 방법을 제공한다. 즉, 디지털 카메라는 사용자가 소형의 내장형 LCD 스크린 상에 형상을 띄워 볼 수 있게 하고, mp3 플레이어는 사용자가 저장된 노래를 플레이하게 할 것이며, PDA는 사용자가 사용자의 매일 매일의 스케줄을 압축하여 보게 할 것이다.
흔히, 사용자의 디지털 데이터를 액세스하기 위해서 사용자가 사용할 수 있는 유일한 방법은 디바이스를 컴퓨터에 직접 접속시키고, 디바이스와 인터페이스하도록 특화된 소프트웨어를 이용하여, 데이터를 컴퓨터로 이동시키는 것에 의한 것이다. 그러나, 이 해결책에는 고유의 바람직하지 못한 제한점이 존재한다. 데이터를 활용하기 위해서, 데이터는 흔히 컴퓨터 자체에 복제되어 다수의 위치에 사용자의 데이터를 남기게 된다. 컴퓨터와의 인터페이싱은 전용 소프트웨어 또는 하드웨어를 필요로 하여 사용자가 자신의 데이터를 활용할 수 있는 경우를 제한한다. 또한, 몇몇 디바이스는 심지어 이 제한된 옵션을 그들의 사용자에게 제공하지 않으며, 그러한 디바이스에 입력된 데이터는 디바이스 자체의 툴의 범위를 넘어서기 때문에 액세스될 수 없다.
또한, 단일 데스크톱 컴퓨터만을 통한 사용자의 데이터로의 액세스는 사회적인 관점에서 그들 디바이스의 활용도에 대해 부정적인 관계를 갖는다. 사용자는 디지털 영상을 친구와 공유하고 싶어할 수 있지만, 즉시 그렇게 할 수 없고 또는 사회적 세팅의 면에서 그렇게 할 수 없다. 사용자는 그들의 기본 컴퓨터로 복귀하여 다음 기회에 그 디지털 영상을 그들의 친구에게 전달해야 한다. 사용자는 친구가 새로운 노래를 듣게 하고 싶을 수도 있지만, 그들의 mp3 플레이어 및 헤드폰을 인계하는 것으로 제한될 것이며, 두 사람이 한 쌍의 이어폰을 통해서 한번에 들을 수밖에 없다. 두 명의 친구가 게임을 서로 플레이하고 싶어할 수도 있지만, 단일 PDA를 공유하는 것은 비현실적이다.
사용자가 전자 디바이스 상에 저장된 콘텐츠를 사용, 공유 및 조작하게 하고, 또한 그들의 디바이스의 기능 또는 그들의 디바이스에 적합한 기능에 보다 용이하게 액세스하게 하는 몇몇 수단이 바람직하다.
디지털 디바이스를 대화식 디스플레이 표면(IDS)과 인터페이스시키는 방법 및 시스템이 제시된다. IDS는 디지털 디바이스가 근처에 도입될 때 그 디지털 디바이스를 검출하고, 그 디바이스를 식별하고자 한다. IDS는 그 디바이스와 통신하며, 그 디바이스 상에 저장된 정보의 대화식 표현을 디스플레이한다.
또한, IDS가 디지털 디바이스와 인터페이스하도록 구성된 시스템이 제시된다. IDS는, 디지털 디바이스가 근처에 도입될 때 그 디지털 디바이스를 검출하는 검출 소자와, 그 디지털 디바이스를 식별하는 식별 소자와, 그 디지털 디바이스와 통신하는 통신 소자를 포함한다. IDS는 디지털 디바이스 상에 저장된 정보의 대화식 표현을 디스플레이하도록 구성된다.
컴퓨터 시스템이 대화식 디스플레이 표면(IDS)을 통해 디지털 디바이스에 액세스 가능한 디지털 정보의 조작을 허용하는 방법을 실행하게 하는 컴퓨터 판독가능 프로그램 코드를 저장하는 컴퓨터 사용가능 매체가 제시된다. 이 방법은 디지털 디바이스를 IDS와 인터페이스시키는 단계와, IDS에 디지털 정보의 대화식 표현을 디스플레이하는 단계를 포함한다. 그 방법은 또한 디지털 정보의 표현을 조작하기 위한 인스트럭션을 수신하는 단계와, 디지털 정보가 디지털 정보의 표현을 조작하기 위한 인스트럭션에 따라 조작되게 하는 단계를 포함한다.
대화식 디스플레이 표면(IDS)과 인터페이스할 수 있는 휴대용 컴퓨팅 디바이스가 제시된다. 휴대용 컴퓨팅 디바이스는 디지털 정보 저장부, 이 디지털 정보 저장부에 연결된 통신 포트 및 통신 포트에 연결된 프로세서를 구비한다. 프로세서는 통신 포트를 통해 휴대용 컴퓨팅 디바이스를 IDS에 접속시키는 소프트웨어 인스트럭션을 실행하도록 구성된다. 휴대용 컴퓨팅 디바이스는, 다수의 대화식 표현이 디지털 정보 저장부에 저장된 디지털 정보에 대응하는 경우, IDS에 다수의 대화식 표현을 디스플레이하도록 구성된다. 휴대용 컴퓨팅 디바이스는 또한 휴대용 컴퓨팅 디바이스의 물리적 이동을 통해 다수의 대화식 표현을 조작하는 데 사용되도록 구성된다.
다수의 디지털 디바이스에 저장된 데이터를 디스플레이하고 조작하기 위한 대화식 디스플레이 표면(IDS)이 제시된다. IDS는, IDS의 표면을 모니터링하고 다수의 디지털 디바이스의 성격을 관찰하는 이미지-검색 소자와, 다수의 디지털 디바이스의 특성으로부터 각각의 디지털 디바이스의 속성을 판별하는 인식 소자와, 다수의 디지털 디바이스 각각과 통신하는 통신 소자를 포함한다. IDS는 다수의 디지털 디바이스에 저장된 데이터의 대화식 표현을 디스플레이하고 그들 대화식 표현에 따라 사용자의 물리적 상호작용에 응답하게 하도록 구성된다.
디지털 디바이스와 통신하는 대화식 디스플레이 표면(IDS)도 제시된다. IDS는 디지털 디바이스를 배치하고 식별하는 이미지-인식 시스템과, 디지털 디바이스와 통신하는 통신 포트를 구비한다. 이미지-인식 시스템은 디지털 디바이스의 물리적 이동을 추적하도록 구성된다. 그러한 물리적 이동에 응답하여, IDS는 소프트웨어 인스트럭션을 실행하도록 구성된다.
대화식 디스플레이 표면(IDS)을 디지털 디바이스와 인터페이스시키는 방법이 제시된다. 이 방법은 IDS와 디지털 디바이스 사이의 통신을 수립하는 단계와, IDS의 대화식 표면을 공통 구역 및 보호 구역으로 분할하는 단계를 포함한다. 보호 구역은 디지털 디바이스와 관련된다. 이 방법은 또한 IDS에 디지털 디바이스에 관한 정보의 대화식 표현을 보호 구역 내에서 디스플레이하는 단계를 포함한다. IDS는 대화식 표현이 보호 구역 내에 남아 있는 동안 그 대화식 표현과 관련된 기능을 제한하도록 구성된다.
대화식 디스플레이 표면(IDS)이 디지털 디바이스의 존재에 응답하게 하는 방법도 제시된다. 이 방법은 디지털 디바이스의 존재의 검출을 가능하게 하는 단계를 포함한다. 이 방법은 또한 디지털 디바이스의 식별을 가능하게 하는 단계와, 디지털 디바이스가 IDS와 통신할 수 있는지의 판별을 가능하게 하는 단계와, 디지털 정보에 관한 정보의 검출을 가능하게 하는 단계와, IDS에 그 정보의 디스플레이를 가능하게 하는 단계를 포함한다.
도 1a는 본 발명의 실시예가 구현될 수 있는 예시적 컴퓨터 시스템의 블록도,
도 1b는 본 발명의 일 실시예에 따른 대화식 디스플레이 표면(IDS)의 블록도,
도 2a는 대화식 디스플레이 표면(IDS)과 인터페이스하는 본 발명의 일 실시예에 따른 디지털 디바이스의 도면,
도 2b는 IDS에 접속된 본 발명의 일 실시예에 따른 디지털 디바이스의 도면,
도 3은 본 발명의 일 실시예에 따라 IDS 상에 디스플레이된 디지털 정보의 조작을 도시한 도면,
도 4a는 본 발명의 일 실시예에 따라 사용자 손짓으로 여러 디지털 정보를 스위칭하여 그러한 디지털 정보가 IDS의 표면을 가로질러 이동하게 하는 것을 도시한 도면,
도 4b는 본 발명의 일 실시예에 따라 디지털 정보를 접촉하도록 사용자가 디지털 디바이스를 이동시키는 것을 도시한 도면,
도 4c는 본 발명의 일 실시예에 따라 사용자가 디지털 디바이스를 IDS의 표면으로부터 제거하는 것을 도시한 도면,
도 4d는 본 발명의 일 실시예에 따라 사용자가 IDS의 표면을 가로질러 디지 털 디바이스를 이동시키는 것을 도시한 도면,
도 5는 본 발명의 일 실시예에 따라 대화식 디스플레이 표면(IDS)을 디지털 디바이스와 인터페이스시키는 방법이 기술된 흐름도,
도 6은 본 발명의 일 실시예에 따라 대화식 디스플레이 표면(IDS)을 통해 디지털 디바이스에 액세스 가능한 디지털 정보의 조작을 허용하는 방법의 흐름도,
도 7은 본 발명의 일 실시예에 따라 IDS가 디지털 디바이스의 존재에 응답하게 하는 방법이 기술된 흐름도.
이제, 본 발명의 여러 가지 실시예가 보다 상세히 참조될 것이다. 본 발명이 다른 실시예(들)와 관련지어 설명될 것이지만, 본 발명을 그러한 실시예로 제한하고자 하는 것이 아니라는 것은 이해될 것이다. 반대로, 본 발명은 첨부한 특허청구범위에 의해 정의되는 본 발명의 사상 및 범주 내에 포함될 수 있는 대안물, 변경물 및 등가물을 포괄하는 것으로 의도된다.
표기 및 학명(Notation and Nomenclature)
또한, 본 발명에 대한 다음의 상세한 설명에는 본 발명의 전반적인 이해를 제공하기 위해서 수많은 특정 세부사항이 설명된다. 그러나, 당업자라면, 본 발명이 그들 특정 세부사항 없이 구현될 수도 있고, 또는 등가물을 이용하여 구현될 수 도 있음을 인지할 것이다. 다른 경우로서, 공지된 방법, 절차, 구성요소 및 회로는 본 발명의 양상을 불필요하게 애매하게 하지 않도록 상세히 설명되지 않는다.
다음의 상세한 설명 중 일부는 방법에 관해서 제시되고 논의된다. 방법의 단계 및 순차가 본 명세서에서 그 방법의 동작을 설명하는 도면(예를 들어, 도 5, 도 6, 도 7)에 기재되어 있지만, 그러한 단계 및 순차는 예시적인 것이다. 본 발명의 실시예는, 본 명세서에서 도면의 흐름도에 기재되어 있는 단계의 변형 또는 다양한 기타 단계를 수행하며 또한 본 명세서에 도시되고 설명된 바와는 다른 순서로 수행하는 데 매우 적합하다.
예시적 컴퓨터 시스템
이제, 도 1a를 참조하면, 예시적 컴퓨터 시스템(12)의 블록도가 도시되어 있다. 본 명세서에 설명된 컴퓨터 시스템(12)은 본 발명의 실시예가 구현될 수 있는 동작 플랫폼(an operational platform)의 예시적 구성을 예시하고 있음을 이해할 수 있을 것이다. 그러나, 상이한 구성을 갖는 다른 컴퓨터 시스템도 역시 본 발명의 범주 내에서 컴퓨터 시스템(12)을 대신하여 사용될 수 있다. 즉, 컴퓨터 시스템(12)은 도 1과 관련지어 설명된 요소와는 다른 요소를 포함할 수 있다. 또한, 본 발명은, 컴퓨터 시스템(12)과 같은 컴퓨터 시스템만이 아니라, 본 발명을 허용하도록 구성될 수 있는 어떠한 시스템 상에서도 구현될 수 있다.
컴퓨터 시스템(12)은 정보를 통신하는 어드레스/데이터 버스(10), 버스(10)와 연결되어 정보 및 인스트럭션을 처리하는 중앙 프로세서(11), 버스(10)에 연결 되어 중앙 프로세서(11)에 대한 정보 및 인스트럭션을 저장하는 휘발성 메모리 유닛(22)(예를 들어, RAM, SRAM, DRAM 등), 및 버스(10)에 연결되어 프로세서(11)에 대한 정적 정보(static information) 및 인스트럭션을 저장하는 비휘발성 메모리 유닛(13)(예를 들어, ROM, PROM, 플래시 메모리 등)을 포함한다. 컴퓨터 시스템(12)은, 버스(10)에 연결되어 컴퓨터 사용자에게 정보를 디스플레이하는 선택적 디스플레이 디바이스(15)도 포함할 수 있다. 또한, 컴퓨터 시스템(12)은 정보 및 인스트럭션을 저장하는 데이터 저장 디바이스(14)(예를 들어, 디스크 드라이브)도 포함한다.
컴퓨터 시스템(12) 내에는 선택적 문자숫자 입력 디바이스(16)도 포함된다. 디바이스(16)는 정보 및 명령 선택을 중앙 프로세서(11)에 통신할 수 있다. 컴퓨터 시스템(12)은, 버스(10)에 연결되어 사용자 입력 정보 및 명령 선택을 중앙 프로세스(11)에 통신하는 선택적 커서 제어 또는 지시 디바이스(an optional cursor control or directiong device)(17)도 포함한다. 컴퓨터 시스템(12)은, 역시 버스(10)에 연결되고 직렬 포트일 수 있는 신호 통신 인터페이스(입력/출력 디바이스)(18)도 포함한다. 통신 인터페이스(18)는, 무선 통신 메커니즘도 포함할 수 있다. 통신 인터페이스(18)를 사용하면, 컴퓨터 시스템(12)은 인터넷 또는 인트라넷과 같은 통신 네트워크(예를 들어, LAN)를 통해서 다른 컴퓨터 시스템에 통신가능하게 연결될 수 있다.
대화식 디스플레이 표면(INTERACTIVE DISPLAY SURFACE)
이제, 도 1b를 참조하면, 본 발명의 일 실시예에 따른 대화식 디스플레이 표면(an interactive display surface: IDS)의 블록도가 도시되어 있다. IDS(101)는 다수의 상호접속 모듈로 구성된 것으로 도시되어 있다. 다른 실시예에서, 이들 모듈은 하드웨어 구성요소 또는 소프트웨어 구성요소 또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다. 몇몇 실시예에서, 이들 모듈의 기능은 보다 적은 수의 모듈 내에 통합될 수 있다. 또 다른 실시예에서는, 단일 모듈의 기능이 여러 개의 모듈 사이에 분할될 수 있다. IDS(101)가 적어도 부분적으로 소프트웨어 인스트럭션으로서 구현되는 실시예에서, 그러한 인스트럭션은 시스템(12)과 같은 컴퓨터 시스템 상에서 실행된다. 몇몇 실시예에서, IDS(101)는 주변에 사용자가 앉아 있을 수도 있고 혹은 서 있을 수도 있는 테이블 상부 디스플레이 표면(a table top display surface)으로서 구현된다. 다른 실시예에서, IDS(101)는 벽면 장착 디스플레이(a wall-mounted display)로서 구현된다. 또 다른 실시예에서는, IDS(101)가 다른 방법으로 구현된다.
이 실시예에서, IDS(101)는 센서(110), 검출 모듈(115), 인식 모듈(120), 객체 추적 모듈(125), 객체 관리자(130), 데이터 접속 모듈(135), 시각화 모듈(145)을 구비한 사용자 인터페이스 모듈(140), 및 객체 데이터베이스(190)를 갖는 것으로 도시되어 있다. 이 실시예는 또한 선택적 네트워크 접속(127)을 도시하고 있다.
센서(110)는, 이 실시예에서, IDS(101)를 감시하는 데 사용된다. 센서(11) 의 구현에 대해서는 넓은 선택이 존재한다. 일 실시예에서, 센서(110)는 터치 민감성 표면(a touch-sensitive surface)으로서 구현된다. 다른 실시예에서, 센서(110)는 IDS(110)의 표면을 감시하는 하나 이상의 카메라의 배열이다. 또 다른 실시예에서, 센서(110)는 IDS(101)의 근처에 도입된 라디오 주파수 식별(RFID) 태그를 검출하는 라디오 주파수 송수신기를 포함한다. 또 다른 실시예에서, 센서(110)는, 브루투스와 같이 객체에 의해 브로드캐스트되는 라디오 신호 또는 802.11 순응 신호(802.11 compliant signals)를 검출하는 송수신기를 포함한다.
검출 모듈(115)은, 이 실시예에서, 객체가 IDS(101)과 상호작용하고 있을 때를 검출하고 그 객체에 관한 소정의 특성을 확립하는 데 사용된다. 검출 모듈(115)은 센서(110)에 연결되어, 센서(110)로부터 수신된 데이터를 해석한다. 검출 모듈(115)이 확립하고자 한 특성은 센서(110)의 구현 속성에 따라 변화할 것이다. 센서(110)가 카메라를 포함하는 실시예에서, 검출 모듈(115)은 객체의 형상, 색채, 위치, 근접성 및/또는 방위를 판별하고자 할 수 있다. 그러한 실시예에서, 검출 모듈(115)은 또한 라벨 또는 바코드를 판독하거나 또는 객체 상의 식별 마크를 기록하고자 할 수 있다. 몇몇 실시예에서, 검출 모듈(115)은 이들 특성을 빈번하게 갱신하여, 예를 들어 검출된 객체의 IDS(101)로부터의 위치 변화, 방위 또는 거리를 기록한다.
인식 모듈(120)은, 이 실시예에서, 검출 모듈(115)로부터 객체의 특성을 취하고, 그 객체가 무엇인지를 판별하고자 한다. 몇몇 실시예에서, 인식 모듈(120)은 어떠한 유형의 객체가 검출되었는지를 판별하고자 하는데, 예를 들어 휴대용 mp3 플레이어가 특수 제작된 것인지를 판별하고자 한다. 다른 실시예에서, 인식 모듈(120)은 어떤 특정 객체가 검출되었는지, 예를 들어 이 휴대용 mp3 플레이어가 존 스미스 소유인지를 판별하고자 한다. 인식 모듈(120)이 그러한 판별을 내리게 하기 위해서는 객체의 특성에 관한 정보로의 액세스가 요구된다. 몇몇 실시예에서, 이 정보는 IDS(101) 내의 디바이스-매칭 데이터베이스(도시하지 않음)에 저장된다. 다른 실시예에서, 인식 모듈(120)은 네트워크 접속(127)으로의 액세스를 가지며, 네트워크 상의 또는 인터넷 접속을 통한 어떤 곳에서든 컴퓨터에 저장된 그러한 정보에 액세스할 수 있다. 몇몇 유형의 정보는 주어진 체객의 프로파일 또는 아우트라인, 그것의 색채, 크기나 형상, 또는 센서(110)에게 가시적일 수 있는 텍스트 또는 기타 식별 기호를 포함한다. 인식 모듈(120)이 특정 객체를 확인하고자 하는 실시예에서, 객체 하우징의 흠집 또는 손상부와 같은 검출된 특성은 추후 참조를 위해 저장될 수 있고, 인식 시에는 보조를 위해 소환된다.
IDS(101)의 도시된 실시예는 객체 추적 모듈(125)을 포함한다. 객체 추적 모듈(125)은, 몇몇 실시예에서, 검출 모듈(115)로부터 위치 및 방위 정보를 수신하여, 검출된 객체가 주어진 순간에 어디에 위치하고 있는지를 판별하게 한다.
객체 관리자(130)는, 이 실시예에서, 검출된 객체와 IDS(101)의 상호작용을 제어하고 조정하며, 모듈들 사이의 정보를 전달한다.
객체 데이터베이스(190)는, 이 실시예에서, 객체와 관련된 정보를 저장하는 데 사용된다. 이 정보는 객체를 인식하는 인식 모듈(120)에 의해 이용되는 특성을 포함할 수 있다. 이 정보는 또한 네트워크가능 객체와의 상호작용을 위해 데이터 접속 모듈(135)에 의해 이용되는 네트워크 프로토콜도 포함할 수 있다. 이 정보는 또한 다양한 객체의 표현 또는 다양한 객체에 저장된 데이터의 유형을 포함할 수 있다. 이 마지막 용도는 아래에서 보다 상세히 설명된다.
데이터 접속 모듈(135)은, 이 실시예에서, 객체 관리자(130)에 의해 사용되어, 검출된 객체를 IDS(101)에 결합(bind)한다. 결합(binding)은, 이 문맥에서, 디바이스의 존재에 대한 IDS의 응답을 기술하는 데 사용된다. 결합은 IDS(101)와 객체 사이의 통신 경로 확립을 포함한다. 결합은 또한 IDS(101)가 객체를 인식하지만 그와 통신할 수 없는 상황을 설명한다. 예를 들어, 검출된 객체와 IDS(101) 모두가 무선 통신할 수 있는 일 실시예에서, 데이터 통신 모듈(135)은 무선 네트워킹 접속을 확립함으로써 객체를 결합시키고자 한다. 다른 실시예에서는 검출된 객체가, 예를 들어 커피 컵인 경우, 데이터 접속 모듈(135)은, 예를 들어 커피숍용 메뉴가 IDS(101)에 디스플레이되게 함으로써 객체를 결합시킬 것이다.
사용자 인터페이스 모듈(140)은, 이 실시예에서, IDS(101)와 사용자 사이의 상호작용 지점이다. IDS(101)가 수평 테이블이고 센서(110)가 하나 이상의 카메라의 배열 또는 터치-민감성 스크린인 실시예에서, 사용자 인터페이스 모듈(140)은 테이블 주위의 어느 곳에서든 사용자와 상호작용할 수 있다. 사용자 인터페이스 모듈(140)은. 사용자에 관한 정보를 디스플레이하고 사용자로부터의 입력을 받아들이는 데 사용된다.
사용자 인터페이스 모듈(140)은, 이 실시예에서, 시각화 모듈(145)을 포함한다. 시각화 모듈(145)은 검출된 객체에 관한 정보를 디스플레이하는 데 사용되며, 이는 아래에서 보다 상세히 설명된다.
객체와 IDS를 인터페이스시키는 방법(METHOD OF INTERFACING AN OBJECT WITH AN IDS)
이제, 도 5를 참조하면, 대화식 디스플레이 표면(IDS)을 객체와 인터페이스시키는 방법의 흐름도(500)가 본 발명의 일 실시예에 따라 설명된다. 흐름도(500)에는 특정 단계가 개시되어 있으나, 그러한 단계는 예시적인 것이다. 즉, 본 발명의 실시예는 흐름도(500)에 인용된 단계의 변형 및 그 밖의 다양한 (추가) 단계를 수행하는 데 매우 적합하다. 흐름도(500)의 단계는 제시된 것과는 상이한 순서로 수행될 수도 있고, 흐름도(500)의 모든 단계가 수행되지 않을 수도 있다는 점이 이해될 것이다. 일 실시예에서, 흐름도(500)는 컴퓨터 시스템(112)의 메모리 유닛에 저장되어 프로세서(11)(도 1)에 의해 실행되는 컴퓨터-판독가능 프로그램 코드로서 구현된다. 본 발명의 몇몇 실시예에서, 도 5에 설명된 방법은 손가락 끝의 움직임 또는 손짓을 검출하는 데 사용될 수 있다.
이제, 단계(510) 및 도 1b를 참조하면, IDS(101)는 센서(110)를 통해서 언제 객체의 근처에 도입되는지를 감지한다. 전술한 바와 같이, 센서(110)는 상이한 실시예에서는 상이한 방법으로 구현될 수 있다. 일 실시예에서, IDS(101)가 테이블-상부 표면의 일부로서 구현되는 경우, 센서(110)는 IDS(101)의 표면을 감시하는 하나 이상의 카메라로서 구현된다. 이러한 실시예에서, 센서(110)는 IDS(101)의 표면 상에 위치하는 객체를 검출한다. 다른 실시예에서, 센서(110)는 브루투스 기술을 포함하여 객체와 통신하도록 구성된 라디오 주파수 송수신기로서 구현된다. 이 실시예에서, 센서(110)는 그것이 IDS(101)의 근처에 도입될 때 브루투스-인에이블링된 객체를 검출한다.
많은 실시예에서, 객체를 근처에 도입하는 것은 IDS(101)에 충분히 가까운 객체가 검출되게 하는 것으로서 정의된다. 예를 들어, 일 실시예에서, 브루투스-인에이블링된 디바이스가 IDS(101)에 충분히 가까워지게 하여 센서(110)가 그것을 검출하게 하는 것은 객체를 IDS(101)의 근처에 도입하는 것을 구성할 것이다. 다른 실시예에서, 객체를 근처에 도입하는 것은 사용자에게 특정 액션을 수행할 것을 요구한다. 이들 후자의 실시예는 사용자가 객체를 IDS(101)에 우발적으로 결합시키는 것을 억제하게 한다. 일 실시예에서, 예를 들어, 사용자는, IDS(101)가 객체를 결합시키고자 하기 전에 센서(110)가 그것을 더 검출할 수 있다 하더라도, IDS(101)의 표면 상에 브루투스-인에이블링된 객체를 배치해야 한다. 다른 실시예에서, IDS(101)는 객체를 검출할 수도 있고, 사용자에게 간단한 인터페이스를 제공하여 객체를 IDS(101)에 결합시킬지 아닐지의 여부를 선택한다.
이제, 단계(515) 및 도 1b를 참조하면, 검출 모듈(115)은 객체의 특성을 판별하고자 한다. 검출될 수 있는 특성은 IDS(101) 및 센서(110)의 상이한 실시예에 따라 변화한다. 일 실시예에서, IDS(101)가 테이블-상부 표면의 일부분으로서 구현되고 센서(110)가 하나 이상의 카메라로서 구현되는 경우, 검출 모듈(115)은 객체의 시각적 특성을 검출할 수 있다. 이러한 특성은, 객체의 관찰가능한 프로파일, 또는 그것의 색채, 형상 및 크기, 또는 IDS(101)의 표면에서 그것의 위치 및 방위, 또는 로고나 기타 식별 기호, 또는 객체 상에 모습을 드러내어 센서(110)에 대해 가시적인 텍스트 또는 바코드를 포함할 수 있지만, 이러한 것으로 제한되는 것은 아니다. 다른 실시예에서, 센서(110)가 무선 주파수 송수신기로서 구현되는 경우, 검출 모듈(115)은 검출된 객체에게 질문을 하여 특성을 식별하고자 할 수 있다. 여러 가지 실시예에서는, 그들 방안의 조합이 이용되어, 임의의 단일 방법을 통해서 가능한 것보다 더 많은 식별 특성을 제공한다.
몇몇 실시예에서, 검출 모듈(115)은 또한 하나의 특정 객체를 동일한 유형의 다른 특정 객체로부터 구별하게 하는 고유 특성을 식별하고자 한다. 그러한 고유 특성의 일례는, 일련 번호, 바코드, 객체의 고유 흠집 또는 손상부, 및 무선 네트워킹 어댑터(a wireless networking adapter)에 관련된 MAC 어드레스와 같은 네트워크 식별자를 포함한다.
이제, 단계(520) 및 도 1b를 참조하면, IDS(101)는 인식 모듈(120)을 통해서 객체를 인식하고자 한다. 인식은 검출 모듈(115)에 의해 관찰된 특성을 기지의 객체의 프로파일과 매칭시키는 것을 포함한다. 몇몇 실시예에서, IDS(101)는 객체 데이터베이스(190)를 포함한다. 이들 실시예에서, 인식 모듈(120)은 객체 특성을 데이터베이스 내에 저장된 정보와 비교한다. 다른 실시예에서, IDS(101)는 네트워크 접속(127)을 포함한다. 이들 실시예에서, 인식 모듈(120)은 어떤 곳에 저장된 정보에도, 예를 들어 로컬 네트워크 또는 인터넷을 통한 중앙 서버 상에 저장된 정보에 액세스할 수 있다. 몇몇 실시예는 객체 데이터베이스(190)와 네트워크 접속(127)의 조합을 포함한다. 이러한 일 실시예에서, 객체 데이터베이스(190)는 네트워크 접속(127)을 통해 추가 객체 프로파일을 이용하여 규칙적으로 갱신된다.
인식 모듈(120)이 고유 객체를 식별하고자 하는 실시예에서, 전술한 고유 특성과 같이 인식 모듈(115)에 의해 관찰된 고유 특성은 추후 인식 노력을 돕도록 저장된다. 몇몇 실시예에서, 그러한 고유 특성은 고유 객체 뿐 아니라 고유 사용자를 식별하는 데 사용될 수 있다. 예를 들어, 사용자는 IDS(101) 상에 휴대용 음악 디바이스를 설정할 수 있다. 이 휴대용 음악 디바이스는, 그것이 고유 특성을 구비한 경우, 다시 인식될 수 있다. 사용자 인터페이스 모듈(140)은 그 특정 휴대용 음악 디바이스의 사용자가 그의 마지막 세션 중에 흥미가 있던 활동 또는 정보를 기억하도록 구성될 수 있다. 디바이스가 다시 검출되면, IDS(101)는 사용자의 우선 활동 기록에 기초하여 사용자에게 서비스를 제공할 수 있다.
이제, 단계(530) 및 도 1b를 참조하면, IDS(101)는 데이터 접속 모듈(135)을 통해 객체를 IDS(101)에 결합시키고자 한다. 객체가, 예를 들어 브루투스 접속을 통해, IDS(101)와 통신할 수 있는 실시예에서, 데이터 접속 모듈(135)은 객체와 인터페이스하는 데 사용된다. 객체가, 예를 들어 공유 통신 수단의 부족으로, IDS(101)와 통신할 수 없는 실시예에서, 데이터 접속 모듈(135)은, 예를 들어 객체 데이터베이스(190)에 저장되거나 네트워크 접속(127)을 통해 검색가능한 디바이스에 관한 정보에 액세스하고자 한다.
이제, 단계(540) 및 도 1b를 참조하면, 객체 관리자(130)는 객체와 관련된 데이터를 검색하고자 한다. 일 실시예에서, 직접 접속이 객체와 IDS(101) 사이에 확립된 경우, 객체 관리자(130)는 네트워킹된 디바이스를 통해서 사용가능한 콘텐츠 및 서비스에 관한 정보를 얻고자 한다. 다른 실시예에서, 객체와의 어떠한 접 속도 가능하지 않은 경우, 객체 관리자(130)는 객체에 관한 정보를 검색하고자 한다. 이러한 실시예에서, IDS(101)는 객체에 관한 정보를 검색할 수 있다. 예를 들어, 사용자가 IDS(101) 상에 휴대용 mp3 플레이어를 배치하고, 그 mp3 플레이어가 IDS(101)와는 어떠한 통신 수단도 공유하지 않는 것으로 인식되는 경우, IDS(101)는 네트워크 접속을 통해 그러한 유형의 휴대용 mp3 플레이어에 관한 정보, 또는 일반적으로 음악에 관한 정보에 액세스할 수 있다. 이러한 일 실시예에서, 휴대용 mp3 플레이어가 검출되지만 IDS(101)와의 통신 공유 수단이 없는 경우, IDS(101)는 음악 서비스 제공자와 접촉할 수 있고, 예를 들어 디지털 권리 관리(DRM) 방식을 통해 그 특정 mp3 플레이어와 관련된 노래 트랙에 액세스할 수 있다. 다른 일례에서는, IDS(101)는 커피숍에 위치할 수도 있고, 커피숍의 커피 컵이 센서(110)에게 가시적인 고유 식별자, 예를 들어 컵 바닥에 부착되어 IDS(101)의 표면을 관찰하는 카메라에게 가시적인 바코드를 가질 수도 있다.
이제, 단계(550) 및 도 1b를 참조하면, 객체 관리자(130)는 객체에 관한 콘텍스트 규칙(context rules) 및 IDS(101)의 환경을 로딩한다. 몇몇 실시예에서는, 모든 검색 데이터가 디스플레이에 적합하거나 바람직한 것은 아니다. 이들 실시예에서, 객체 관리자(130)는 어떤 정보가 디스플레이되는지 또는 얼마나 많은 정보가 디스플레이되는지를 관리하는 데 도움이 되는 콘텍스트 규칙을 포함한다. 예를 들어, IDS(101)가 커피숍에 위치하고 사용자가 자신의 PDA를 IDS(101)와 인터페이스시키는 경우, 사용자는 그들의 기밀한 사업 데이터를 어느 누군가가 보도록 테이블 상부에 펼쳐 디스플레이되게 하고 싶어하지는 않을 것이다. 다른 실시예에서, 콘 텍스트 데이터는 데이터가 어떻게 디스플레이되어야 하는가에 대한 규칙을 포함한다. 예를 들어, 공공 장소에서, 브루투스-인에이블링된 전화로부터 검색된 디지털 사진은 처음에는 비어 있는 이미지로서 표현될 수 있지만, 더 많은 개인적 설정 시에는 그 이미지의 섬네일(sumnail)로서 표현될 것이다. 다른 실시예에서, 콘텍스트 규칙은 한번에 디스플레이할 정보량의 제한을 포함한다. 예를 들어, 디지털 카메라가 수백 장의 사진을 저장하는 경우, 콘텍스트 규칙은 가장 최근의 20장의 사진만을 디스플레이하도록 제한하고 나머지 사진은 약간의 옵션 조작을 통해 사용가능하게 할 수 있다. 몇몇 실시예에서, 콘텍스트 규칙은 IDS(101)에 저장되고 그에 의해 실시된다. 다른 실시예에서는, 어떤 정보가 IDS(101)에 액세스할 수 있는지에 대한 제한을 두도록 디바이스가 구성될 수 있다. 다른 실시예에서는, 이들 방안의 조합이 활용된다.
이제, 단계(560) 및 도 1b를 참조하면, 객체 관리자(130)는 데이터가 사용자 인터페이스 모듈(140) 및 시각화 모듈(140, 145)을 통해 디스플레이되고 상호 작용하게 한다. 이것은 아래에서 도 2 내지 도 4를 참조하여 보다 상세히 설명된다.
디지털 디바이스와 IDS를 인터페이스시키는 시스템(SYSTEM FOR INTERFACING A DIGITAL DEVICE WITH AN IDS)
이제, 도 2a를 참조하면, 본 발명의 일 실시예에 따라, IDS와 인터페이스시키는 디지털 디바이스가 도시되어 있다. IDS(101)는, 이 실시예에 도시된 바와 같이, 테이블의 표면과 유사한 수평 표면이고, 디지털 디바이스(251)는 IDS(101)의 상부에 위치하고 있다. 다른 실시예에서, IDS(101)는 수직 표면이고, 디지털 디바이스(251)는 IDS(101) 근처에 도입되어 인터페이스하지만, 항상 IDS(101)와의 물리적 접촉 상태로 유지될 필요는 없다. 다른 실시예에서는, IDS(101)의 다른 구현예 및 방위가 사용된다. 디지털 디바이스(251)는, 이동 전화, PDA, 디지털 카메라, 디지털 캠코더 또는 휴대용 게임기를 포함하되 이것들로 제한되는 것은 아닌 어떠한 전자 디바이스도 될 수 있다. 이 실시예에서, IDS(101) 및 디지털 디바이스(251)는 참조기호(230)에서 나타낸 브루투스 접속을 통해 인터페이스하는 것으로 설명되며, 그 밖의 실시예는 다른 인터페이스 방법을 허용한다.
이제, 도 2b를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)와 접속되는 디지털 디바이스(251)가 도시되어 있다. 일 실시예에서, IDS(101)는 접속의 존재를 나타내기 위해 디지털 디바이스(251)의 음영 표현(shadow representations)(257)을 디스플레이한다. 다른 실시예에서는, 시각적 리플 효과(a visual ripple effect)가 디스플레이되어 접속의 존재를 나타낸다. 다른 실시예에서는, 사운드가 플레이되어 접속의 존재를 나타낸다. 다른 실시예에서는, 접속의 존재를 나타내는 그 밖의 방법이 이용된다. 다른 실시예에서는, 어떠한 접속의 표시도 제공되지 않는다.
선택적 보호 구역(261)이 디지털 디바이스(251) 주위에 도시되어 있다. 이 실시예에서, 이 구역은 원형이어서, 디지털 디바이스(251) 주위의 모든 방향에서 균일하게 연장된다. 다른 실시예에서는, 보호 구역(261)의 형상 및 위치가 상이하다. 몇몇 실시예에서는, 어떠한 보호 구역도 이용되지 않는다. 일 실시예에서, IDS는 보호 구역(261)의 크기 및 형상에 대응하는 채색된 원을 디스플레이함으로써 보호 구역(261)을 표현한다. 다른 실시예는 상이한 효과를 디스플레이하는 IDS(11)를 구비하여 보호 구역(261)을 표현한다. 또 다른 실시예는 어떠한 보호 구역(261) 표현도 제공하지 않는다. 이 실시예에서는, 공통 구역이 화살표(211)로 표시된다. 공통 구역(211)은 보호 구역(261)의 외부 영역이다.
디지털 정보(253A, 253B, 253C)의 여러 가지 표현은 본 발명의 일 실시예에 따라 디지털 디바이스(251) 근처에 도시되어 있다. 일 실시예에서, 디지털 정보(253)의 표현은 디지털 사진을 나타낸다. 다른 실시예에서, 디지털 정보(253)의 표현은 디지털 음악 파일을 나타낸다. 또 다른 실시예에서, 디지털 정보(253)의 표현은 기타 전자 데이터를 나타낸다.
몇몇 실시예에서, 보호 구역(261)이 구현된 경우, IDS(101)는 데이터가 소유자의 승낙 없이 조작되거나 복사되는 것을 방지한다. 이것은 상이한 실시예에서 상이한 방법으로 달성된다. 일 실시예에서, 예를 들어, 디바이스(251)는 IDS(101) 상에 디스플레이되지 않는 비밀번호를 포함할 수 있고, 디지털 정보(253)의 표현에 의해 표현된 데이터를 조작하기 위해서, 사용자는 비밀번호를 입력해야 한다. 다른 실시예에서, 디바이스(251) 자체는 디지털 정보(253)의 표현에 의해 표현된 데이터를 조작하는 데 디바이스(251)를 사용하여 적절한 제스처를 수행하도록 활용되어야 한다. 또 다른 실시예에서, 디지털 정보(253)의 표현은 디바이스(251)의 움직임을 따라가며, 디바이스(251)를 이동시켜서 보호 구역(261)이 다른 디바이스(251)의 보호 구역과 중첩되게 하는 것은 디지털 정보(253)의 표현에 의해 나타 난 데이터가 어느 쪽의 디바이스(251)에 의해서도 조작될 수 있게 한다. 또 다른 실시예에서, 이러한 액세스는, 제 2 디바이스의 보호 구역 내의 데이터가 디바이스(251)에서는 사용될 수 없다는 점에서 단편적이다.
이제, 도 3을 참조하면, 본 발명의 일 실시예에 따른 디지털 정보의 조작이 도시되어 있다. 일 실시예에서, IDS(101)는 화살표(301)로 나타낸 사용자의 손의 움직임에 반응하며, 이것은 아래에서 도 6을 참조하여 보다 상세히 설명된다. 사용자(301)는 디지털 정보(253B)를 선택하고 그것을 IDS(101)의 표면 주위에서 이동시킬 수 있다. 일 실시예에서, 디지털 정보(253B)는 보호 구역(261)의 외부로부터 공통 구역(211)으로 이동할 수 있다. 다른 실시예에서, 사용자(301)는 디지털 정보(353)를 선택하고, 그것을 공통 구역(211)으로부터 보호 구역(261)으로 이동시킬 수 있다.
이제, 도 4를 참조하면, 본 발명의 일 실시예에 따른 추가 디지털 정보 조작이 도시되어 있다. 도 4a에서, 본 발명에 따르면, 사용자(301)는 손짓으로 여러 디지털 정보(253A, 253C)를 소제(sweep)하여, 그들 여러 디지털 정보(253A, 253C)가 IDS(101)의 표면을 가로질러 이동하게 하고 있다. 도 4b에서, 사용자(301)는 디지털 정보(253C)와 접촉하도록 디지털 디바이스(251)를 이동시키고 있다. 도 4c에서, 사용자는 IDS(101)의 표면으로부터 디지털 디바이스(251)를 제거하고 있다. 도 4d에서, 본 발명의 일 실시예에 따르면, 사용자는 IDS(101)의 표면을 가로질러 디지털 디바이스(251)를 이동시켜, 보호 구역(261) 내의 디지털 정보의 표현이 디지털 디바이스(251)의 움직임을 뒤따라가게 한다.
IDS를 통해 디지털 디바이스에 액세스 가능한 디지털 정보의 조작을 허용하는 방법(METHOD OF ALLOWING MANIPULATION OF DIGITAL INFORMATION ACCESSIBLE TO A DIGITAL DEVICE THROUGH AN IDS)
이제, 도 6을 참조하면, 본 발명의 일 실시예에 따라, IDS를 통해 디지털 디바이스에 액세스 가능한 디지털 정보의 조작을 허용하는 방법의 흐름도(600)가 도시되어 있다. 특정 단계가 흐름도(600)에 기재되어 있지만, 이러한 단계는 예시적인 것이다. 즉, 본 발명의 실시예는 흐름도(600)에 인용된 단계의 변형 또는 다양한 다른(추가) 단계를 수행하는 데 매우 적합하다. 흐름도(600)의 단계는 제시된 것과는 상이한 순서로 수행될 수도 있고, 흐름도(600)의 모든 단계가 수행되지 않을 수도 있음이 이해될 것이다. 일 실시예에서, 흐름도(600)는 컴퓨터 시스템(112)의 메모리 유닛에 저장되어 프로세서(101)(도 1)에 의해 실행되는 컴퓨터-판독가능 프로그램 코드로서 구현된다.
이제, 단계(610) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, 디지털 디바이스(251)가 IDS(101)와 인터페이스된다. 일 실시예에서, 상기 인터페이싱은 흐름도(500)에 설명된 방법을 통해서 달성된다. 다른 실시예에서는, 다른 인터페이싱 방법이 활용된다.
이제, 단계(620) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)는 디지털 디바이스(251)에 액세스 가능한 디지털 정보(253)의 대화식 표현을 디스플레이한다. 일 실시예에서, 이것은 흐름도(500)의 단계(560)를 참조하여 설명된 방법을 통해 달성된다. 다른 실시예에서는, 디지털 정보(253)의 대화식 표현을 생성하고 디스플레이하는 다른 방법이 활용된다.
이제, 단계(630) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)는 디지털 정보(253)의 표현의 조작을 위한 인스트럭션을 수신한다. 일 실시예에서, 사용자(301)는 IDS(101) 상에 디스플레이되어 있는 디지털 정보(253B)의 표현을 터치하여, 디스플레이 주위에서 드래그한다. 다른 실시예에서, 사용자(301)는 보호 구역(261) 외부에서 공통 구역(211)으로 디지털 정보(253B)의 표현을 드래그할 수 있다. 다른 실시예에서, 사용자(301)는 디지털 정보(253B)의 표현을 휴지통 아이콘(a garbage can icon)으로 드래그할 수 있다. 다른 실시예에서, 사용자(301)는 디지털 정보(253B)의 표현을 IDS(101)와 인터페이스하는 다른 디지털 디바이스의 보호 구역으로 드래그할 수 있다.
몇몇 실시예에서는, 특정 제스처가 특정 명령과 관련된다. 예를 들어, 일 실시예에서, 디지털 정보(253A)에 의해 표현된 데이터를 복제하라는 인스트럭션은 디지털 정보(253A) 상에서 두 번 탭핑함으로써 실행될 수 있다. 다른 실시예에서, 디지털 정보(253C)에 의해 표현된 특정 데이터를 디바이스(251)에 복사하라는 인스트럭션은 디바이스(251)로 디지털 정보(253C)를 터치함으로써 달성된다.
다른 실시예에서, IDS(101)는 사용자(31)의 손짓을 추적한다. 사용자(301)는 자신의 손으로 IDS(101)를 소제하고 디지털 정보(253)의 다수의 표현을 조작할 수 있다. 사용자(301)는 또한 다수의 손가락 또는 다수의 손을 사용하여 디지털 정보(253)의 다수의 표현과 동시에 상호작용할 수 있다. 다른 실시예에서, IDS(101)는 디지털 디바이스(251)의 움직임을 추적한다. 소제 제스처를 만들어 표 현(253)에 접촉하도록 디지털 디바이스(251)를 이동시키는 것은 디지털 정보(253)의 표현을 병합하여, 본질적으로 진공화하거나 또는 IDS(101)의 표면으로부터 디지털 정보(253)의 표현을 제거하고 디지털 정보(253)의 그들 표현과의 추가 상호 작용을 방지하게 할 수 있다. 일 실시예에서, IDS(101)는 그러한 진공화 기능에 적합한 생생한 그래픽을 생성한다. 디지털 디바이스(251)의 이동은, 예를 들어 디지털 디바이스(251)를 흔들어서, 디지털 정보(253)의 표현이 나타나게 하는 데 사용될 수 있다. 일 실시예에서, IDS(101)는 디지털 디바이스(251)를 흔든 이후에 나타나는 디지털 정보(253)의 표현에 적합한 생생한 그래픽을 생성한다. 다른 실시예에서, 디지털 디바이스(251)는, 하키 퍽(a hockey puck)의 표현과 상호 작용하게 하는 데 디지털 디바이스(251)를 이용하는 한편, IDS(101)가 무선 하키 테이블(an air hockey table)을 시뮬레이션하는 것과 같이 디지털 정보(253)의 표현과 상호 작용하는 데 활용될 수 있다. 또 다른 실시예에서는, 디지털 정보(253)의 표현의 조작을 위한 인스트럭션을 수신하는 다른 방법이 활용된다. 또 다른 실시예에서, IDS(101)의 표면에서의 디지털 디바이스(251)의 이동은, 디지털 정보(253)의 표현이 마찬가지로 디스플레이를 가로질러 이동하게 한다. 즉, "다음" 디지털 디바이스(251)로 이동하게 한다.
몇몇 실시예는 디지털 디바이스(251)를 사용하여, 보호 구역(261)에 안전성을 제공한다. 그러한 실시예에서, 정보는 드래그 툴(a dragging tool)로서 디지털 디바이스(251)를 사용하지 않는다면 보호 구역(261)의 외부로 드래그될 수 없다. 다른 그러한 실시예에서, 정보는 보호 구역(261)의 외부로 결코 드래그될 수 없으 며, 그 대신, 디지털 디바이스(251)가 IDS(101)의 표면을 가로질러 이동할 때, 보호 구역(261)이 뒤따라간다. 디지털 디바이스(251)를 보호 구역(261)이 다른 디지털 디바이스의 보호 구역과 중첩시키도록 하는 위치로 이동시키고, 이어서 보호된 정보의 표현을 그것이 양쪽의 보호 구역에 동시에 존재하는 지점으로 이동시킴으로써, 정보는 2개의 디지털 디바이스 사이에서 전달될 수 있다.
이제, 단계(640) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)는 디지털 디바이스(251)에 액세스 가능한 디지털 정보가 디지털 정보(253)의 표현의 조작을 위해 수신된 인스트럭션에 따라 조작되게 한다.
일 실시예에서, 디지털 정보(253)의 표현에 의해 표현된 디지털 정보는 IDS(101)로 다운로드되지 않는다. 그 대신, 디지털 정보(253)의 표현의 조작은 실제 디지털 정보의 조작을 야기한다. 이것은 사용자(301)에게 더욱 큰 안전성을 허용하는데, 이것은 사용자가 자신의 디지털 정보 복사의 제어를 유지하면서 사용자가 자신의 디지털 디바이스(251)를 IDS(101)와 인터페이스시키고, 자신의 데이터를 조작하며, 남겨 둘 수 있기 때문이다. 다른 실시예에서, 사용자(301)가 보호 구역(261)의 외부에서 공통 구역(211)으로 디지털 정보(253B)의 표현을 드래그할 때, 디지털 정보(253B)의 표현에 의해 표현된 디지털 정보는 IDS(101)로 다운로드되고, 다른 사용자는 디지털 정보(253B)의 표현을 더 조작함으로써 이 디지털 정보를 활용할 수 있다. 다른 실시예에서, 사용자(301)가 보호 구역(261)으로부터 공통 구역(211)으로 디지털 정보(253B)의 디지털 정보의 표현을 드래그할 때, 다른 사용자는 디지털 정보(253B)의 표현을 조작할 수도 있지만, 디지털 정보(253B)의 표현에 의해 표현된 디지털 정보를 복사하는 것으로 제한되고, 디지털 정보(253B)의 표현에 의해 표현된 디지털 정보는 디지털 디바이스(251)로부터 다운로드되거나 삭제되지 않는다.
이제, 단계(650) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)는 디지털 정보(253)의 갱신된 표현을 디스플레이한다. 일 실시예에서, 디지털 정보(253)의 표현에 의해 표현된 디지털 정보가 디지털 정보(253)의 표현을 조작하기 위해 수신된 인스트럭션에 따라 조작된 후, IDS(101)는 디지털 정보(253)의 표현을 갱신하여, 디지털 디바이스(251)에 액세스 가능한 디지털 정보의 변화 상태를 반영한다.
이제, 단계(660) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, 디지털 디바이스(251)가 더 이상 IDS(101)의 근처에 있지 않을 때 디지털 정보(253)의 표현이 IDS(101)로부터 제거된다. 일 실시예에서는, 단계(550)와 관련하여 설명된 방법이 설명된다. 다른 실시예에서는, 다른 방법이 활용된다. 또 다른 실시예에서는, 디지털 디바이스(251)가 IDS(101)의 근처에서 제거될 때, 디지털 정보(253B)의 표현이 보호 구역(261)으로부터 공통 구역(211)으로 이전에 드래그되었다 하더라도, 디지털 디바이스(251)에 관한 디지털 정보(253)의 어떠한 표현도 IDS(101)로부터 제거된다. 또 다른 실시예에서, 보호 구역(261)의 외부로 드래그되었던 디지털 정보(253)의 임의의 표현은 디지털 디바이스(251)가 더 이상 IDS(101)의 근처에 있지 않게 된 후에도 유지된다.
IDS가 디지털 디바이스의 존재에 응답하게 하는 방법(METHOD FOR ENABLING AN IDS TO RESPOND TO THE PRESENCE OF A DIGITAL DEVICE)
이제, 도 7을 참조하면, 본 발명의 일 실시예에 따라, IDS가 디지털 디바이스의 존재에 응답하게 하는 방법의 흐름도(700)가 설명되어 있다. 특정 단계가 흐름도(700)에 개시되어 있지만, 그러한 단계는 예시적이다. 즉, 본 발명의 실시예는 흐름도(700)에 인용된 단계의 변형 또는 다양한 기타(추가) 단계를 수행하는 데 매우 적합하다. 흐름도(700)의 단계는 제시된 것과는 상이한 순서로 수행될 수도 있고, 흐름도(700) 내의 모든 단계가 수행되지 않을 수도 있다는 것이 이해될 것이다. 일 실시예에서, 흐름도(700)는 컴퓨터 시스템(112)의 메모리 유닛에 저장되어 프로세서(101)(도 1)에 의해 실행되는 컴퓨터-판독가능 프로그램 코드로서 구현된다.
이제, 단계(710) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)는 디지털 디바이스(251)의 검출을 허용하도록 구성된다. 일 실시예에서, IDS(101)는 단계(510, 515)를 참조하여 전술한 방법을 구현하도록 구성된다. 다른 실시예에서는, 디지털 디바이스(251)의 다른 검출 방법이 인에이블링된다.
이제, 단계(720) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)는 디지털 디바이스(251)의 식별을 인에이블링하도록 구성된다. 일 실시예에서, IDS(101)는 단계(520)를 참조하여 논의된 방법을 구현하도록 구성된다. 다른 실시예에서는, 디지털 디바이스(251)를 식별하는 다른 방법이 인에이블링된다.
이제, 단계(730) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)는 디지털 디바이스(251)가 IDS(101)와 통신할 수 있는지를 판정하도록 구성된다. 일 실시예에서, IDS(101)는 브루투스, 802.11a, 802.11b 또는 802.11g, 적외선, UWB, 물리적 도킹 스테이션, USB나 파이어와이어(Firewire)와 같은 버스 접속부, 또는 통신을 허용하는 임의의 기타 무선 접속부나 물리적 접속부를 포함하는 아닌 다양한 네트워크 통신 수단을 이용하여 직접 디지털 디바이스(251)에게 질의하고자 하도록 구성된다. 다른 실시예에서, IDS(101)는 IDS(101)에 디지털 디바이스(251)와의 통신에 관한 정보를 제공하는 신호를 디지털 디바이스(251)로부터 수신하도록 구성된다.
다른 실시예에서, IDS(101)는 저장된 정보로의 액세스를 허용하도록 구성된다. 그러한 정보는, 예를 들어 IDS(101) 내부의 데이터베이스에 국부적으로 저장되어, 디지털 디바이스(251)가 특별히 IDS(101)과 통신할 수 있는지 또는 클래스 디지털 디바이스(251)가 IDS(101)에 소속되는지를 특정할 수 있다. 그러한 정보는 또한 네트워크, 예를 들어 인터넷 접속을 통해 검색가능할 수 있고, 그에 의해 IDS(101)는 디지털 디바이스(251)가 IDS(101)와 통신할 수 있는지에 대한 외부 정보를 검색할 수 있다. 또 다른 실시예에서는, 디지털 디바이스(251)가 IDS(101)와 통신할 수 있는지를 IDS(101)가 판별하게 하는 다른 방법이 활용된다.
이제, 단계(740) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)가 디지털 디바이스(251)에 관한 정보의 검색을 허용하도록 구성된다. 일 실시예에서, IDS(101)는 흐름도(500)를 참조하여 논의된 방법을 구현하도록 구성되며, 디지털 디바이스(251)에 관한 정보는 디지털 디바이스(251)에 액세스 가능한 디지털 정보일 뿐 아니라, 기능 디지털 디바이스(251)는 IDS(101)에서 활용될 수 있다. 다른 실시예에서는, 그 디바이스로부터 직접 디지털 디바이스(251)에 관한 정보를 검색하는 다른 방법이 인에이블링된다.
또 다른 실시예에서, IDS(101)는 네트워크 접속, 예를 들어 인터넷 접속을 통해서 디지털 디바이스(251)에 관한 정보의 검색을 허용하도록 구성된다. 이 실시예에서, IDS(101)는 디지털 디바이스(251)가 제공할 수 있는 것과는 상이한 정보 또는 디지털 디바이스(251)가 액세스할 정보를 검색할 수 있다. 예를 들어, 디지털 디바이스(251)가 mp3 플레이어인 경우, IDS(101)는 mp3 플레이어의 제조자에 의해 제공된 정보 또는 부가 콘텐츠를 검색할 수 있고, 또는 mp3 플레이어에 관한 광고를 디스플레이할 수 있으며, 또는 mp3 포맷 디지털 음악 파일의 온라인 판매자에게 액세스할 수 있다. 다른 실시예에서는, 기타 관련 정보가 검색될 수 있다.
이제, 단계(750) 및 도 2 내지 도 4를 참조하면, 본 발명의 실시예에 따라, IDS(101)는 디지털 디바이스(251)에 관해 검색된 정보를 디스플레이하도록 구성된다. 일 실시예에서, IDS(101)는 단계(540)를 참조하여 설명된 방법을 구현하도록 구성되어, 디지털 디바이스(251)에서 이용가능한 서비스 및 디지털 디바이스(251)에 액세스 가능한 디지털 정보를 디스플레이할 수 있다.
다른 실시예에서, IDS(101)가 네트워크 접속, 예를 들어 인터넷 접속을 통해서 관련 정보를 검색하도록 구성된 경우, 관련 정보는 디지털 디바이스(251)의 표현의 근처에도 IDS(101) 상에 디스플레이된다. 이와 같이 디스플레이된 정보는 검색된 정보의 속성에 따라 대화식일 수도 있고 그렇지 않을 수도 있다. 대안의 실시예에서, 검색된 정보는 IDS(101) 상의 어느 곳에서든 디스플레이될 수도 있고, 또는 음악 플레이와 같은 대안의 방법을 통해서 사용자에게 제시될 수도 있다. 다른 실시예는 IDS(101) 상에 디지털 디바이스(251)에 관한 정보를 디스플레이하는 다른 방법을 인에이블링한다.
이제, 단계(760) 및 도 2 내지 도 4를 참조하면, 본 발명의 일 실시예에 따라, IDS(101)는 IDS(101) 상에 디스플레이되는 디지털 디바이스(251)에 관한 정보의 조작을 허용하도록 구성된다. 일 실시예에서, IDS(101)는 IDS(101) 상에 디스플레이된 디지털 정보(253)의 표현의 조작에 대해 흐름도(600)를 참조하여 설명된 방법을 구현하도록 구성된다. 다른 실시예에서, IDS(101)가 네트워크 접속, 예를 들어 인터넷 접속을 통해 디지털 디바이스(251)에 관한 정보를 검색하도록 구성된 경우, 흐름도(600)를 참조하여 설명된 것과 유사한 방법이 인에이블링되어, IDS(101)의 대화식 표면의 사용을 통해 IDS(101) 상에 디스플레이된 정보의 조작을 허용한다. IDS(101) 상에 디스플레이된 데이터를 조작하는 다른 방법이 인에이블링된다.
본 발명의 실시예가 이와 같이 설명된다. 본 발명이 특정 실시예에서 설명되고 있지만, 본 발명은 그러한 실시예에 의해 제한되는 것으로 이해되어서는 안 되며 오히려 다음의 특허청구범위에 따라 이해되어야 한다는 점이 이해되어야 한다.

Claims (10)

  1. 대화식 디스플레이 표면(an interactive display surface : IDS)(101)을 디지털 디바이스(251)와 인터페이스시키는 방법으로서,
    상기 디지털 디바이스(251)가 상기 IDS(101)에 근접하게 될 때 상기 디지털 디바이스를 검출하는 단계(510)와,
    상기 디지털 디바이스(251)를 식별하는 단계(515)와,
    상기 IDS 와 상기 디지털 디바이스 사이에 통신을 수립하는 단계(530)와,
    상기 IDS 상에 정보의 대화식 표현(interactive representation)(253)을 디스플레이하는 단계(560)를 포함하며,
    상기 정보는 상기 디지털 디바이스(251) 및 특정 콘텍스트(a specified context)에 연관되는
    인터페이스 방법.
  2. 제 1 항에 있어서,
    상기 IDS(101) 상에 상기 디지털 디바이스의 표현(257)을 디스플레이하는 단계(560)를 더 포함하되,
    상기 대화식 표현(253)을 디스플레이하는 단계(560)는, 상기 대화식 표현(253)이 상기 IDS(101)의 몇몇 부분에 걸쳐서 상기 디지털 디바이스의 상기 표현(257)으로부터 취출되도록 표시하는 단계를 포함하는
    인터페이스 방법.
  3. 제 1 항에 있어서,
    상기 디지털 디바이스(251)가 상기 IDS(101)의 근처로부터 벗어날 때 상기 대화식 표현(253)을 상기 IDS(101)로부터 제거하는 단계를 더 포함하는
    인터페이스 방법.
  4. 제 1 항에 있어서,
    상기 IDS(101)는 수평의 표면(211)을 포함하고,
    상기 디지털 디바이스(251)를 검출하는 단계(510)는 상기 디지털 디바이스(251)가 수평의 IDS(101) 상에 위치할 때 상기 디지털 디바이스(251)를 검출하는 단계를 포함하는
    인터페이스 방법.
  5. 삭제
  6. 디지털 디바이스(251)와 인터페이스하도록 구성된 대화식 디스플레이 표면(IDS)(101)을 포함하되,
    상기 대화식 디스플레이 표면(IDS)(101)은,
    상기 디지털 디바이스(251)가 상기 IDS(101)에 근접하게 될 때 상기 디지털 디바이스(251)를 검출하는 검출 소자(115)와,
    상기 검출 소자(115)와 연결되며, 상기 디지털 디바이스(251)를 식별하는 식별 소자(120)와,
    상기 식별 소자(120)와 연결되며, 상기 디지털 디바이스(251)와 통신하는 통신 소자(127)를 포함하고,
    상기 IDS(101)는 상기 디지털 디바이스(251) 상에 저장된 정보의 대화식 표현(253)을 디스플레이하도록 구성되며,
    상기 정보는 상기 디지털 디바이스(251) 및 특정 콘텍스트(a specified context)에 연관되는
    시스템.
  7. 제 6 항에 있어서,
    디지털 디바이스(251)를 더 포함하되,
    상기 디지털 디바이스(251)는,
    디지털 정보 저장부와,
    상기 디지털 정보 저장부에 연결된 통신 포트와,
    상기 통신 포트에 연결되어, 상기 통신 포트를 통해서 상기 IDS에 접속하라는 소프트웨어 인스트럭션을 실행하도록 구성된 프로세서를 포함하는
    시스템.
  8. 컴퓨터 시스템으로 하여금 대화식 디스플레이 표면(IDS)(101)을 통해 디지털 디바이스(251)에 액세스 가능한 디지털 정보의 조작을 가능하게 하는 방법을 실행하게 하는 컴퓨터 판독가능 프로그램 코드를 저장하고 있는 컴퓨터 사용가능 매체로서,
    상기 방법은,
    상기 디지털 디바이스(251)를 상기 대화식 디스플레이 표면(101)과 인터페이스시키는 단계(610)와,
    상기 IDS(101) 상에 상기 디지털 정보의 대화식 표현(253)을 디스플레이하는 단계(620)와,
    상기 디지털 정보의 상기 대화식 표현(253)을 조작하기 위한 인스트럭션을 수신하는 단계(630)와,
    상기 디지털 정보가 상기 디지털 정보의 상기 대화식 표현(253)을 조작하기 위한 상기 인스트럭션에 따라 조작되게 하는 단계(640)를 포함하며,
    상기 디지털 정보는 상기 디지털 디바이스(251) 및 특정 콘텍스트(a specified context)에 연관되는
    컴퓨터 사용가능 매체.
  9. 제 8 항에 있어서,
    상기 대화식 표현을 디스플레이하는 단계는, 상기 대화식 표현(253)이 상기 IDS(101)에 걸쳐서 취출되도록 표시하는 단계를 더 포함하는
    컴퓨터 사용가능 매체.
  10. 제 9 항에 있어서,
    상기 디지털 디바이스(251)에 근접한 상기 디지털 디바이스의 표현(257)을 상기 IDS(101) 상에 디스플레이하는 단계를 더 포함하는
    컴퓨터 사용가능 매체.
KR1020087025638A 2006-04-20 2007-04-20 인터페이스 방법 및 시스템과 컴퓨터 사용가능 매체 KR101097700B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/408,496 US8736547B2 (en) 2006-04-20 2006-04-20 Method and system for interfacing a digital device with an interactive display surface
US11/408,496 2006-04-20

Publications (2)

Publication Number Publication Date
KR20080109869A KR20080109869A (ko) 2008-12-17
KR101097700B1 true KR101097700B1 (ko) 2011-12-22

Family

ID=38566161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087025638A KR101097700B1 (ko) 2006-04-20 2007-04-20 인터페이스 방법 및 시스템과 컴퓨터 사용가능 매체

Country Status (5)

Country Link
US (1) US8736547B2 (ko)
JP (1) JP4777458B2 (ko)
KR (1) KR101097700B1 (ko)
CN (1) CN101479693B (ko)
WO (1) WO2007124122A2 (ko)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10452207B2 (en) 2005-05-18 2019-10-22 Power2B, Inc. Displays and information input devices
WO2008111079A2 (en) 2007-03-14 2008-09-18 Power2B, Inc. Interactive devices
US7714265B2 (en) 2005-09-30 2010-05-11 Apple Inc. Integrated proximity sensor and light sensor
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US8533746B2 (en) * 2006-11-01 2013-09-10 Microsoft Corporation Health integration platform API
US8417537B2 (en) 2006-11-01 2013-04-09 Microsoft Corporation Extensible and localizable health-related dictionary
US20080104012A1 (en) * 2006-11-01 2008-05-01 Microsoft Corporation Associating branding information with data
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US8698727B2 (en) 2007-01-05 2014-04-15 Apple Inc. Backlight and ambient light sensor system
US8031164B2 (en) * 2007-01-05 2011-10-04 Apple Inc. Backlight and ambient light sensor system
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US8693877B2 (en) 2007-03-09 2014-04-08 Apple Inc. Integrated infrared receiver and emitter for multiple functionalities
US7979315B2 (en) * 2007-03-14 2011-07-12 Microsoft Corporation Virtual features of physical items
KR101143010B1 (ko) * 2007-04-09 2012-05-08 삼성전자주식회사 디지털 기기 간의 인터페이스 장치 및 방법
US7884805B2 (en) * 2007-04-17 2011-02-08 Sony Ericsson Mobile Communications Ab Using touches to transfer information between devices
US20090176451A1 (en) * 2008-01-04 2009-07-09 Microsoft Corporation Encoded color information facilitating device pairing for wireless communication
US8682960B2 (en) 2008-03-14 2014-03-25 Nokia Corporation Methods, apparatuses, and computer program products for providing filtered services and content based on user context
JP5086867B2 (ja) * 2008-03-31 2012-11-28 オリンパスイメージング株式会社 デジタルカメラ
US8135992B2 (en) * 2008-04-15 2012-03-13 At&T Mobility Ii Llc Systems and methods for providing interactive customer support
JP5661234B2 (ja) * 2008-06-25 2015-01-28 キヤノン株式会社 データ制御装置、データ制御方法およびプログラム
US8069081B2 (en) * 2008-09-23 2011-11-29 Microsoft Corporation Targeted advertising using object identification
US8421747B2 (en) * 2008-09-24 2013-04-16 Microsoft Corporation Object detection and user settings
KR20100109686A (ko) * 2009-04-01 2010-10-11 삼성전자주식회사 Ｇｕｉ 제공방법 및 이를 적용한 멀티미디어 기기
US20100287513A1 (en) * 2009-05-05 2010-11-11 Microsoft Corporation Multi-device gesture interactivity
KR101651859B1 (ko) 2009-06-05 2016-09-12 삼성전자주식회사 사용자별 ｕｉ 제공방법 및 이를 적용한 디바이스
CN101697110B (zh) * 2009-10-26 2015-06-24 孟智平 一种同步异构显示终端交互控制方法及系统
JP2011128563A (ja) * 2009-12-21 2011-06-30 Canon Inc 表示装置、表示システム、及び表示制御方法
KR101157333B1 (ko) * 2010-01-29 2012-06-15 주식회사 팬택 아이템을 제어하기 위한 디바이스들, 그를 이용한 아이템 제어 시스템 및 그 방법
JP2011248768A (ja) * 2010-05-28 2011-12-08 Sony Corp 情報処理装置、情報処理システム及びプログラム
US9009738B2 (en) * 2011-03-17 2015-04-14 Microsoft Technology Licensing, Llc Device identification using device functions
US8843346B2 (en) * 2011-05-13 2014-09-23 Amazon Technologies, Inc. Using spatial information with device interaction
JP5880916B2 (ja) * 2011-06-03 2016-03-09 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP6196017B2 (ja) * 2012-01-13 2017-09-13 サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US9146304B2 (en) 2012-09-10 2015-09-29 Apple Inc. Optical proximity sensor with ambient light and temperature compensation
KR20140057087A (ko) * 2012-11-02 2014-05-12 삼성전자주식회사 디바이스에 표시된 영상과 관련된 영상을 제공하는 시스템 및 방법
EP2919103B1 (en) * 2012-11-09 2020-04-01 Sony Corporation Information processing device, information processing method and computer-readable recording medium
US9729211B2 (en) * 2012-11-19 2017-08-08 Bose Corporation Proximity based wireless audio connection
JP6253945B2 (ja) * 2013-10-22 2017-12-27 シャープ株式会社 画像表示装置
JP6305073B2 (ja) * 2014-01-20 2018-04-04 キヤノン株式会社 制御装置、制御方法及びプログラム
IN2015CH02869A (ko) * 2015-06-09 2015-07-17 Wipro Ltd
US10691207B2 (en) 2015-09-22 2020-06-23 Hewlett-Packard Development Company, L.P. Display devices with virtual reprsentations of electronic devices
WO2018080405A1 (en) * 2016-10-31 2018-05-03 Suwonpakprak Sasis Interactive display system and device
JP6522719B2 (ja) * 2017-11-28 2019-05-29 シャープ株式会社 画像表示方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304234A (ja) 1997-04-24 1998-11-13 Sony Corp 撮像システム、及びビデオカメラ装置
US6512850B2 (en) * 1998-12-09 2003-01-28 International Business Machines Corporation Method of and apparatus for identifying subsets of interrelated image objects from a set of image objects
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
JP4868195B2 (ja) 2000-10-24 2012-02-01 ソニー株式会社 電子機器および情報処理装置
US20030025738A1 (en) 2001-07-31 2003-02-06 Eastman Kodak Company User interface including portable display for use with multiple electronic devices
US7535463B2 (en) * 2005-06-15 2009-05-19 Microsoft Corporation Optical flow-based manipulation of graphical objects
US7970870B2 (en) 2005-06-24 2011-06-28 Microsoft Corporation Extending digital artifacts through an interactive surface

Also Published As

Publication number Publication date
WO2007124122A3 (en) 2008-01-03
CN101479693B (zh) 2015-12-09
US8736547B2 (en) 2014-05-27
US20070266185A1 (en) 2007-11-15
CN101479693A (zh) 2009-07-08
JP4777458B2 (ja) 2011-09-21
WO2007124122A2 (en) 2007-11-01
KR20080109869A (ko) 2008-12-17
JP2009534751A (ja) 2009-09-24

Similar Documents

Publication Publication Date Title
KR101097700B1 (ko) 인터페이스 방법 및 시스템과 컴퓨터 사용가능 매체
US10942993B2 (en) User terminal apparatus having a plurality of user modes and control method thereof
JP6283703B2 (ja) ローカルおよびリモートのメディアアイテム管理
TWI506467B (zh) 用於隔離被鎖定裝置上的所接收資訊之方法、系統及電腦儲存媒體
CN104238902B (zh) 堆栈式标签视图
AU2013360585B2 (en) Information search method and device and computer readable recording medium thereof
CN102857549B (zh) 在不同的网络装置之间共享数据的方法和设备
US9015584B2 (en) Mobile device and method for controlling the same
AU2014312481B2 (en) Display apparatus, portable device and screen display methods thereof
US9524332B2 (en) Method and apparatus for integratedly managing contents in portable terminal
CN103595756B (zh) 产生和利用基于云服务的内容快捷方式对象的方法和设备
US20100077337A1 (en) Electronic device management method, and electronic device management system and host electronic device using the method
KR20150045972A (ko) 어플리케이션을 표시하는 사용자 단말 장치 및 그 방법
CN110413175A (zh) 信息处理装置、信息处理方法和非暂态计算机可读介质
KR20140014551A (ko) 클라우드 서비스 기반의 메모 기능 제공 방법 및 시스템과 이를 지원하는 단말기
KR102226535B1 (ko) 스크린을 제어하는 전자 장치 및 방법
EP2884377B1 (en) Information processing device and recording medium
US20160065717A1 (en) App sharing
CN107783711A (zh) 控制应用程序执行操作的方法及装置
WO2018043123A1 (ja) 情報処理装置、制御方法およびプログラム
US20170068505A1 (en) Electronic device and method for controlling electronic device thereof
US20140282067A1 (en) Device identification method, communicative connection method between multiple devices, and interface controlling method
US10162508B2 (en) Content items stored in electronic devices
KR20120081878A (ko) 통신 단말기의 동작 방법
KR20120081877A (ko) 통신 단말기의 동작 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171211

Year of fee payment: 7