KR101305339B1 - 사용자 인터페이스를 제공하기 위한 네트워크 시스템 - Google Patents

사용자 인터페이스를 제공하기 위한 네트워크 시스템 Download PDF

Info

Publication number
KR101305339B1
KR101305339B1 KR1020110118258A KR20110118258A KR101305339B1 KR 101305339 B1 KR101305339 B1 KR 101305339B1 KR 1020110118258 A KR1020110118258 A KR 1020110118258A KR 20110118258 A KR20110118258 A KR 20110118258A KR 101305339 B1 KR101305339 B1 KR 101305339B1
Authority
KR
South Korea
Prior art keywords
space
objects
server
user
network system
Prior art date
Application number
KR1020110118258A
Other languages
English (en)
Other versions
KR20130052917A (ko
Inventor
정성관
김상식
이원겸
안우진
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110118258A priority Critical patent/KR101305339B1/ko
Publication of KR20130052917A publication Critical patent/KR20130052917A/ko
Application granted granted Critical
Publication of KR101305339B1 publication Critical patent/KR101305339B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/75—Indicating network or usage conditions on the user display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

사용자 인터페이스를 제공하기 위한 네트워크 시스템이 개시된다. 상기 사용자 인터페이스를 제공하기 위한 상기 네트워크 시스템은 복수의 제1객체들과 사용자를 포함하는 제1공간에서 상기 사용자의 제스쳐의 영상과 위치 정보를 획득하기 위한 제1카메라와 상기 복수의 제1객체들 중 어느 하나로부터 수신된 제스쳐 입력 명령과, 상기 제1카메라로부터 수신된 상기 제스쳐의 영상과 상기 위치 정보를 매핑시키는 제1서버를 포함하며, 상기 사용자가 상기 복수의 제1객체들 중 다른 하나를 이용하여 데이터 처리 동작을 수행하고자 할 때, 상기 제1서버는 상기 복수의 제1객체들 중 상기 다른 하나와 상기 복수의 제1객체들 중 또 다른 하나를 이용하여 상기 데이터 처리 동작을 분산처리하도록 제어한다.

Description

사용자 인터페이스를 제공하기 위한 네트워크 시스템{Network system for providing user interface}
본 발명은 사용자 컴퓨팅(computing) 환경에 관한 것으로, 특히 새로운 사용자 인터페이스를 제공할 수 있는 네트워크 시스템에 관한 것이다.
최근에 휴대폰 또는 테블릿(tablet) PC와 같은 장치의 보편화, 고성능화, 및 TV 또는 냉장고와 같은 다른 장치와의 융합 등으로 상기 장치는 높은 정보 통신 기술을 내장하고 있다.
상기 장치는 사용자에게 언제라도 다양한 컨텐츠(contents)를 제공할 수 있다. 예컨대, 스마트폰은 상기 사용자에게 언제, 어디서나 온라인 컨텐츠(online contents)를 제공하여 이용 가능하게 한다.
최근에 상기 사용자가 이용하는 컨텐츠는 대부분 오프라인(offline)에서 온라인으로 변경되었고, 상기 컨텐츠는 텍스트(text) 기반에서 이미지, 영상, 및 고해상도 3D 영상의 순으로 발전되어 왔다.
앞으로 사용자 컴퓨팅(computing) 환경은 복수의 장치들에 둘러싸인 상기 사용자가 상기 고해상도 3D 컨텐츠를 생성하기도 하고 이용하기도 하는 환경이 될 것이다. 또한, 상기 3D 컨텐츠는 상기 사용자의 위치, 행동, 또는 상황에 따라 자동적으로 상기 복수의 장치들 사이에서 스위칭(switching)되어 제공될 것이다.
현재 사용자 컴퓨팅 환경은 사용자가 장치(예컨대, TV, 냉장고, 또는 휴대폰)를 제어(예컨대, TV의 채널을 변경, 냉장고의 온도를 내림)하고자 할 때, 상기 사용자는 직접 상기 장치를 직접적으로 조작하거나, 상기 장치에 헌신적인(dedicated) 리모컨을 이용해야만 상기 장치를 조작할 수 있다.
공간에 존재하는 복수의 객체들(예컨대, 사물 또는 사람)에 대한 정보는 상기 복수의 객체들에 대한 정보가 온라인화되기 전에는 장치(예컨대, PC 또는 스마트폰)를 이용하여 접근하기 어렵다.
또한, 온라인된 정보라 할지라도 오프라인화될 때, 상기 오프라인화된 정보는 나중에 상기 장치를 이용하여 온라인에서 확인이 불가능하다.
예컨대, 사용자가 전자책을 집에서 프린트(print)할 때, 상기 사용자는 나중에 사무실에서 상기 프린트에 대해 접근하는 것은 스캐너를 통해 상기 프린트가 다시 온라인화되지 않은 이상 현재 불가능하다.
본 발명이 이루고자 하는 기술적인 과제는 공간에 존재하는 모든 객체들에 대한 정보를 트랙킹(tracking)하고 온라인(online)화하여 사용자에게 온라인 및 오프라인(offline)의 모든 정보에 대해 접근할 수 있는 사용자 인터페이스를 제공하는 것이다.
본 발명이 이루고자 하는 기술적인 과제는 상기 모든 객체들에 대해 자동으로 정보로서 관리하고 다양한 인터페이스들을 통하여 상기 관리된 정보를 사용자에게 제공함으로써 진화된 사용자 컴퓨팅 환경을 제공하는 것이다.
또한, 본 발명이 이루고자 하는 기술적인 과제는 새로운 사용자 인터페이스를 제공하는 것이다.
본 발명의 실시 예에 따른 사용자 인터페이스를 제공하기 위한 네트워크 시스템은 복수의 제1객체들과 사용자를 포함하는 제1공간에서 상기 사용자의 제스쳐의 영상과 위치 정보를 획득하기 위한 제1카메라, 및 상기 복수의 제1객체들 중 어느 하나로부터 수신된 제스쳐 입력 명령과, 상기 제1카메라로부터 수신된 상기 제스쳐의 영상과 상기 위치 정보를 매핑(mapping)시키는 제1서버를 포함한다.
상기 사용자가 상기 복수의 제1객체들 중 다른 하나를 이용하여 데이터 처리 동작을 수행하고자 할 때, 상기 제1서버는 상기 복수의 제1객체들 중 상기 다른 하나와 상기 복수의 제1객체들 중 또 다른 하나를 이용하여 상기 데이터 처리 동작을 분산처리하도록 제어한다.
상기 사용자 인터페이스를 제공하기 위한 상기 네트워크 시스템은 복수의 제2객체들을 포함하는 제2공간을 더 포함하며, 상기 사용자가 상기 복수의 제1객체들 중 다른 하나를 이용하여 데이터 처리 동작을 수행하고자 할 때, 상기 제1서버는 상기 복수의 제1객체들 중 상기 다른 하나와 상기 복수의 제2객체들 중 어느 하나를 이용하여 상기 데이터 처리 동작을 분산처리하도록 제어한다.
상기 사용자가 상기 복수의 제1객체들 중 다른 하나를 검색하고자 할 때, 상기 제1서버는 상기 사용자에게 상기 복수의 제1객체들 중 상기 다른 하나에 대한 영상과 위치 정보를 제공한다.
상기 사용자 인터페이스를 제공하기 위한 상기 네트워크 시스템은 복수의 제2객체들을 포함하는 제2공간, 상기 복수의 제2객체들의 영상과 위치 정보를 획득하기 위한 제2카메라, 및 제2서버를 더 포함하며, 상기 사용자가 상기 복수의 제2객체들 중 다른 하나를 검색하고자 할 때, 상기 제2서버는 상기 복수의 제2객체들 중 상기 다른 하나를 원격 제어한다.
상기 제1서버는 상기 제1공간의 물리적 주소와 상기 제1공간의 전자 주소를 매핑시킨다.
본 발명의 실시 예에 따른 사용자 인터페이스 제공 방법은 서버가 복수의 객체들과 사용자를 포함하는 제1공간에서 상기 복수의 객체들 중 어느 하나로부터 제스쳐 입력 명령을 수신하는 단계, 상기 서버가 카메라에 의해 획득된 상기 사용자의 제스쳐의 영상과 위치 정보를 전송받는 단계, 및 상기 서버가 상기 제스쳐 입력 명령과, 상기 제스쳐의 영상과 상기 위치 정보를 매핑시키는 단계를 포함한다.
본 발명의 실시 예에 따른 네트워크 시스템은 복수의 서버들과 복수의 카메라들을 이용함으로써 사용자에게 온라인 및 오프라인의 모든 정보에 대해 접근할 수 있는 사용자 인터페이스를 제공할 수 있는 효과가 있다.
또한, 본 발명의 실시 예에 따른 네트워크 시스템은 상기 사용자에게 새로운 인터페이스를 제공할 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 실시 예에 따른 사용자 인터페이스를 제공하기 위한 네트워크 시스템의 개략적인 블록도를 나타낸다.
도 2는 도 1에 도시된 제1서버의 프로파일 관리 방법을 설명하기 위한 흐름도를 나타낸다.
도 3은 본 발명의 실시 예에 따른 사용자 인터페이스를 제공하기 위한 네트워크 시스템의 데이터 흐름을 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 실시 예에 따른 사용자 인터페이스를 제공하기 위한 네트워크 시스템의 개략적인 블록도를 나타낸다.
도 1을 참조하면, 네트워크 시스템(1)은 제1네트워크(10)와 제2네트워크(40)를 포함한다.
제1네트워크(10)와 제2네트워크(40)는 서로 네트워크(3)를 통해 데이터를 주거나 받을 수 있다.
제1네트워크(10)는 복수의 카메라들(13-1~13-n; n은 자연수) 및 제1서버(11)를 포함한다.
복수의 카메라들(13-1~13-n)은 제1공간(20; 예컨대, 집)에 존재하는 복수의 객체들(예컨대, TV, 노트북, 의자, 책, 및 프린트된 종이)의 영상을 촬영한다.
상기 복수의 객체들 각각은 제1공간(20)에 존재하는 사물들을 의미한다.
제1공간(20)은 상기 복수의 객체들 뿐만 아니라 사람(21)도 포함한다.
도 1에서는 사람(21)이 제1공간(20) 밖에 도시된 것처럼 보이나 설명의 편의상 사람(21)은 제1공간(20) 내에 존재하는 것으로 가정한다.
사람(21)은 사용자(21)라고 호칭될 수 있다.
상기 복수의 객체들 중 통신이 가능한 전자 장치(예컨대, 휴대폰, 또는 PC)는 직접적으로 네트워크(3)를 통해 제2서버(41)와 데이터를 주고 받을 수 있다.
제1공간(20)은 복수의 카메라들(13-1~13-n)에 의해 실시간으로 제1공간(20)에 존재하는 복수의 객체들이 모니터링되고, 복수의 카메라들(13-1~13-n)에 의해 촬영된 상기 복수의 객체들의 영상이 제1서버(11)로 전송되는 지능형 공간 (intellectual space)을 의미한다.
복수의 카메라들(13-1~13-n) 각각은 3D 카메라이다.
실시 예에 따라 복수의 카메라들(13-1~13-n) 각각은 상기 복수의 객체들의 영상을 촬영하기 위해 복수의 2D 카메라들의 조합으로 구현될 수 있다.
또한 실시 예에 따라 제1네트워크(10)는 거리 측정 센서와 같은 거리 측정 장치를 포함할 수 있다.
또는 실시 예에 따라 제1네트워크(10)는 제1공간(20)의 온도 또는 습도 등 다양한 환경 정보를 감지하기 위해 복수의 센서들(15-1~15-m; m은 자연수)을 포함할 수도 있다.
상기 3D 카메라를 이용하여 상기 복수의 객체들의 위치 정보가 획득될 수 있다.
실시 예에 따라 상기 복수의 객체들의 위치 정보는 상기 복수의 2D 카메라들 또는 상기 복수의 2D 카메라들과 상기 거리 측정 장치의 조합을 통해 획득될 수 있다.
복수의 카메라들(13-1~13-n)은 촬영된 상기 복수의 객체들의 영상과 촬영된 상기 복수의 객체들의 영상에 기반한 상기 복수의 객체들의 위치 정보를 제1서버(11)로 전송한다.
실시 예에 따라 복수의 카메라들(13-1~13-n)은 촬영된 상기 복수의 객체들의 영상을 제1서버(11)로 전송하고, 제1서버(11)는 수신된 상기 복수의 객체들의 영상에 기반하여 상기 복수의 객체들의 위치 정보를 계산할 수 있다.
또한, 실시 예에 따라 상기 촬영된 영상과 상기 위치 정보는 네트워크를 통해 제1서버(11)로 전송될 수 있다.
제1서버(11)는 제1공간(20)에 존재하는 상기 복수의 객체들 각각의 움직임을 추적하여 제1공간(20)에 존재하는 상기 복수의 객체들에 대한 프로파일(profile)을 생성한다.
상기 프로파일이란 제1공간(20)에 존재하는 복수의 객체들 각각에 대한 속성들(예컨대, 이름, 위치, 제조사, 또는 용도)을 의미한다.
아래 표 1은 상기 복수의 객체들(예컨대, 휴대폰, 약, 및 문서)의 프로파일에 대한 일 실시 예이다.
아이디(ID) Obj-xtub Obj-udsy Obj-ggks
이름(Name) XG - Revolution for Mobile Devices
카테고리(Category) Mobile Device - Paper or Book
기능(Function) Communication, game, etc - Writing, Reading
로그인 시간(Login Time) 2011.07.05(18:31:11) 2011.07.05(18:31:11) 2011.06.15(08:11:50)
로그인 장소(Login From) Human A Human A Printer-Local
로그아웃 시간(Logout Time) - -
관련 정보(Related Information) Manufacturer, Manual e-Book File
(C:\e-book\IT)
위치(Location) (X:712 cm, Y:1223cm, Z:103cm) (X:712cm, Y:1223cm, z: 103cm) (X:2112cm, Y:223cm, Z:103cm)
제1서버(11)가 복수의 카메라(13-1~13-n)에 의해 적어도 하나 이상의 객체에 대한 영상을 수신할 때, 제1서버(11)는 상기 객체에 대한 아이디(ID)를 자동으로 할당한다.
예컨대, 상기 표 1에서 객체(예컨대, 휴대폰)에 대한 아이디(ID)는 'Obj-xtub'으로 객체(예컨대, 약)에 대한 아이디(ID)는 'Obj-udsy'으로, 객체(예컨대, 문서)에 대한 아이디(ID)는 'Obj-ggks'으로 할당된다.
제1서버(11)은 객체에 대한 이름(Name)을 생성한다.
예컨대, 객체(휴대폰)에 대한 이름(Name)은 'XG'이다. 상기 객체가 휴대폰일 때, 상기 휴대폰은 통신 기능을 구비하고 있으므로, 제1서버(11)와 통신하여 상기 휴대폰으로부터 상기 객체의 이름('XG')을 수신할 수 있다.
객체(문서)에 대한 이름(Name)은 'Revolution for Mobile Devices'이다. 상기 객체(문서)는 프린터에서 사용자(21)가 출력한 출력물이다. 제1서버(11)는 이의 이름(Name)을 감지한다.
실시 예에 따라, 제1서버(11)는 객체(약)와 같이 객체에 대한 이름(Name)을 생성하지 않을 수도 있다.
제1서버(11)는 카테고리(Category)를 판단하여 생성한다.
예컨대, 제1서버(11)는 객체(휴대폰)에 대한 카테고리를 모바일 장치(Mobile Device)로, 객체(문서)에 대한 카테고리를 종이 또는 책(Paper or Book)으로 판단하여 생성한다.
제1서버(11)는 로그인 시간(Login Time) 또는 로그아웃 시간(Logout Time)을 기록한다.
상기 로그인 시간(Login Time) 또는 로그아웃 시간(Logout Time)이란 객체(예컨대, 휴대폰, 약, 또는 문서)가 공간에 들어온 시간 또는 공간에서 나간 시간을 의미한다.
예컨대, 휴대폰이 공간에 들어온 시간은 '2011.07.05(18:31:11)'이다.
로그인 장소(Login From)는 객체가 어디에서 공간으로 들어왔는지를 나타낸다.
예컨대, 휴대폰의 경우, 휴대폰을 주머니에 넣은 사람(Human A)이 공간에 들어온 후 상기 공간 속에서 사람(Human A)이 주머니에 들어있는 상기 휴대폰을 꺼낼 때, 휴대폰에 대한 로그인 장소(Login From)는 사람(Human A)이 된다.
문서의 경우, 상기 문서는 제1공간(20)에 존재하는 프린터에서 출력되므로 문서에 대한 로그인 장소(Login From)는 상기 프린터가 된다.
제1서버(11)는 객체에 대한 관련 정보(Related Information)를 매핑(mapping)한다.
예컨대, 제1서버(11)는 휴대폰에 대한 제조사 또는 메뉴얼을 객체(휴대폰)의 관련 정보(Related Information)로서 객체(휴대폰)과 매핑한다.
또한, 제1서버(11)는 문서에 대한 출력 정보를 객체(문서)의 관련 정보(Related Information)로서 객체(문서)와 매핑한다.
지식은 객체에 대한 위치 정보인 위치(Location)를 포함한다.
제1서버(11)는 제1공간(20)에 존재하는 복수의 객체들을 지속적으로 모니터링(monitoring)하고 상기 복수의 객체들에 대한 영상과 위치 정보를 확보하여 히스토리를 저장한다.
따라서 제1서버(11)는 상기 히스토리에 기반하여 상기 복수의 객체들(휴대폰, 약, 및 문서)에 대한 프로파일을 생성함으로써 사용자(21)에게 상기 복수의 객체들 각각의 프로파일에 대해 온라인 접근이 가능하도록 한다.
예컨대, 제1공간(20)에 오프라인화된(프린트된) 문서라도 제1서버(11)는 사용자(21)에게 상기 오프라인화된 문서에 대한 프로파일을 제공할 수 있다.
제1서버(11)는 복수의 카메라들(13-1~13-n)로부터 촬영된 영상을 수신하여 상기 복수의 객체들을 모니터링하고 상기 복수의 객체들에 대한 프로파일을 생성하고 관리한다.
제1공간(20)에 새로운 사용자(미도시)가 들어올 때, 제1서버(11)는 복수의 카메라들(13-1~13-n)에 의해 촬영된 상기 새로운 사용자의 영상을 수신하고, 상기 새로운 사용자에 대한 프로파일을 생성한다.
제1서버(11)는 상기 새로운 사용자가 제1공간(20)에 들어올 때, 상기 새로운 사용자를 제1공간(20)의 서브 공간(sub space)으로 인식할 수 있다.
이는 상기 새로운 사용자는 상기 새로운 사용자의 주머니 속에 다른 객체(예컨대, 휴대폰)를 포함할 수 있기 때문이다.
상기 새로운 사용자가 다른 객체(예컨대, 휴대폰)를 손에 들고 제1공간(20)에 들어올 때, 제1서버(11)는 제1서버(11)의 객체의 인식 능력에 따라 상기 새로운 사용자와 상기 다른 객체(휴대폰)를 하나의 서브 공간으로 인식하거나 별도의 서브 공간(예컨대, 상기 새로운 사용자에 대한 서브 공간과 상기 휴대폰에 대한 서브 공간)으로 인식할 수 있다.
제1서버(11)가 상기 새로운 사용자와 상기 다른 객체를 하나의 서브 공간으로 인식할 때, 상기 새로운 사용자가 상기 휴대폰과 분리되는 경우, 즉 상기 새로운 사용자가 상기 휴대폰을 내려놓는 경우, 제1서버(11)는 상기 새로운 사용자와 상기 휴대폰을 상기 새로운 사용자에 대한 서브 공간과 상기 휴대폰에 대한 서브 공간으로 인식할 수 있다.
또한, 상기 새로운 사용자가 제1공간(20)에서 상기 휴대폰을 상기 새로운 사용자의 옷 안에 넣을 때, 제1서버(11)는 상기 휴대폰에 대한 서브 공간은 상기 새로운 사용자에 대한 서브 공간에 포함되는 것으로 인식한다.
따라서, 제1서버(11)는 제1공간(20)을 하나의 공간으로 인식하며, 제1공간(20)에 존재하는 복수의 객체들 각각을 복수의 서브 공간들로 인식한다.
상기 복수의 서브 공간들은 서로 다른 서브 공간에 포함되거나 중첩될 수 있는다.
따라서 제1서버(11)는 상기 복수의 객체들에 대한 프로파일을 트리 구조(tree structure)로서 관리한다.
도 2는 도 1에 도시된 제1서버의 프로파일 관리 방법을 설명하기 위한 흐름도를 나타낸다.
도 1과 도 2를 참조하면, 제1서버(11)는 제1공간(20)을 모니터링 한다(S10).
제1서버(11)는 제1공간(20)에 객체(예컨대, TV, 또는 의자)가 존재하는 판단한다(S20).
제1서버(11)는 제1공간(20)에 객체가 존재한다고 판단할 때, 상기 객체가 이동하는 객체인지를 판단한다(S30).
상기 객체가 이동하는 객체(예컨대, 강아지)일 때, 제1서버(11)는 상기 객체(강아지)가 다른 객체(예컨대, 가방)에 포함되는지 판단한다(S40).
상기 객체(강아지)가 다른 객체에 포함되지 않을 때, 제1서버(11)는 객체(강아지)의 움직임을 모니터링하고 프로파일을 관리한다(S50).
제1공간(20)에 객체가 존재하지 않을 때, 제1서버(11)는 새로운 객체가 제1공간(20)에 진입하는지 여부를 판단한다(S60).
제1서버(11)가 제1공간(20)에 새로운 객체(예컨대, 테이블)가 진입하지 않는다고 판단할 때, 제1서버(11)는 제1공간(20)을 모니터링한다.
제1서버(11)가 제1공간(20)에 새로운 객체(테이블)가 진입한다고 판단할 때, 제1서버(11)는 새로운 객체(테이블)가 제1공간(20)에 진입한 적이 있었는지 여부를 판단한다(S70).
제1서버(11)가 상기 새로운 객체가 제1공간(20)에 진입한 적이 있다고 판단할 때, 제1서버(11)는 제1서버(11)에 저장된 객체들의 프로파일을 검색한다(S80).
제1서버(11)가 상기 새로운 객체가 제1공간(20)에 진입한 적이 없다고 판단할 때, 제1서버(11)는 상기 새로운 객체에 대한 새로운 프로파일을 생성한다(S90).
제1서버(11)는 제1공간(20)과 상기 새로운 객체에 대한 프로파일을 매핑한다(S100).
사용자(21)에 의해 상기 새로운 객체에 대한 프로파일이 업데이트(update)될 수 있다(S110).
상기 객체(강아지)가 다른 객체(가방)에 포함될 때, 제1서버(11)는 상기 객체(강아지)에 프로파일을 다른 객체(가방)에 대한 프로파일에 종속되도록 상기 객체(강아지)에 대한 프로파일을 변경한다(S130).
도 1을 참조하면, 제1서버(11)는 제1공간(20)에 존재하는 복수의 객체들에 대해 서브공간으로 인식하고 상기 복수의 객체들 각각에 대해 프로파일을 생성하고 관리한다.
제1서버(11)는 상기 프로파일을 통해 사용자(21)에게 온라인으로 제1공간(20)에 존재하는 복수의 객체들에 대한 속성(예컨대, 용도, 또는 제조사)을 제공할 수 있다.
사용자(21)는 제1서버(11)를 이용하여 제1공간(20)에 존재하는 복수의 객체들에 대해 검색할 수 있다.
예컨대, 제1서버(11)는 복수의 카메라들(13-1~13-n)에 의해 촬영된 복수의 객체들의 영상에 기반하여 네비게이션 서비스(navigation service)를 사용자(21)에게 제공할 수 있다.
실시 예에 따라 제1서버(11)는 제1공간(20)에 존재하는 객체(예컨대, 가방)가 제1공간(20)에 존재하는 다른 객체(예컨대, 수납장)에 들어가는지에 대해 가상으로 시뮬레이션할 수 있다.
또 다른 실시 예에 따라 제1서버(11)는 제1공간(20)에 존재하는 객체(예컨대, 우유)에 대한 부패 정도 또는 유통기한을 모니터링할 수 있다.
또 다른 실시 예에 따라 제1서버(11)는 제1공간(20)에 존재하는 객체(예컨대, 강아지)에 대한 동작을 모니터링할 수 있다.
또한, 제1서버(11)는 제1공간(20)에 존재하는 객체에 대한 특이사항(예컨대, 제1공간(20)에 깨지기 쉬운 객체가 존재하는지 여부)에 대해 사용자(21)에게 알릴 수 있다.
도 1을 참조하면, 제2네트워크(40)는 복수의 카메라들(43-1~43-p; p는 자연수) 및 제2서버(41)를 포함한다.
제2네트워크(40)에 포함된 복수의 카메라들(43-1~43-p; p는 자연수), 복수의 센서들(45-1~45-q), 및 제2서버(41)는 제1네트워크(10)에 포함된 복수의 카메라들(13-1~13-n; n은 자연수), 복수의 센서들(15-1~15-m) 및 제1서버(11)과 동작 및 기능이 유사하므로 이에 대한 설명은 생략한다.
제1공간(20) 속에 사용자(21)가 위치할 때, 사용자(21)는 제1서버(11)와 제2서버(41)를 이용하여 제2공간(50; 예컨대, 사무실) 속에 위치하는 복수의 객체들 중 어느 하나에 대해 원격적으로 제어할 수 있다.
우선, 제1공간(20) 속에 존재하는 사용자(21)는 제1서버(11)와 제2서버(41)를 이용하여 제2공간(50)의 주소로 접근한다.
제1공간(20)과 제2공간(50) 각각은 고유한 전자 주소를 가지고 있다.
예컨대, 제1공간(20)의 전자 주소(예컨대, OAE-2B-K2T)는 제1공간(20)의 물리적인 주소(예컨대, A시 B구 C동 D아파트 E동 F호)와 연동될 수 있다.
제1공간(20)의 전자 주소와 제1공간(20)의 물리적인 주소는 표 2와 같이 나타낼 수 있다.
제1공간(20)의 물리적 주소 제1공간(20)의 전자 주소
A시 OA
B구 E
C동 2B
D아파트 K
E동 2
F호 T
따라서 복수의 서버들(11과 41) 각각은 제1공간(20) 또는 제2공간(50)에 접근하기 위해 전자 주소가 아니라 상기 전자 주소와 연동된 물리적인 주소를 사용자(21)에게 제공함으로써 사용자(21)는 사용자 친화적인 방법으로 제1공간(20) 또는 제2공간(50)에 접근할 수 있다.
실시 예에 따라 공간은 물리적인 주소가 존재하는 장소뿐만 아니라 복수의 카메라들13-1~13-n)가 존재하는 장소도 포함한다.
예컨대, 상기 공간은 우주 또는 하늘이 될 수 있다.
제1공간(20) 속에 존재하는 사용자(21)가 제2공간(50)에 접근할 때, 사용자(21)는 제1서버(11)와 제2서버(41)를 통해 제2공간(50)을 모니터링할 수 있다.
사용자(21)는 제2공간(50)에 존재하는 복수의 객체들을 검색하고 상기 복수의 객체들의 프로파일을 관리하거나 수정할 수 있다.
또한, 사용자(21)는 제2공간(50)에 존재하는 복수의 객체들을 원격 제어할 수 있다. 예컨대, 제2공간(50)에 존재하는 조명을 밝게 조절하거나 온도를 조절할 수 있다.
실시 예에 따라 사용자(21)가 제2공간(50)에 존재하는 복수의 객체들을 원격 제어하기 위해 제2공간(50)은 별도의 로봇(미도시)을 포함할 수 있다.
네트워크 시스템(1)은 제1공간(20)과 제2공간(50)을 3D 공간 맵(map)으로서 생성할 수 있다. 즉, 제1서버(11)와 제2서버(41)의 조합은 제1공간(20)과 제2공간(50)을 3D 공간 맵으로서 생성할 수 있다.
네트워크 시스템(1)은 상기 3D 공간 맵에 도시된 제1공간(20)과 제2공간(50)을 제1공간(20)과 제2공간(50) 각각에 대한 전자 주소와 맵핑할 수 있다.
네트워크 시스템(1)은 상기 3D 공간 맵에 도시된 제1공간(20)을 별도의 2개 이상의 서브 공간으로 나누고 관리하여 표시할 수 있다.
실시 예에 따라 네트워크 시스템(1)은 상기 3D 공간 맵에 도시된 제1공간(20)과 제2공간(50)을 하나의 공간으로 합쳐 관리하고 표시할 수 있다.
또한, 실시 예에 따라 네트워크 시스템(1)은 가상 공간에 대해서 상기 3D 맵에 도시할 수 있다.
예컨대, 사용자(21)는 상기 3D 맵에 도시된 가상의 출입 공간(예컨대, 가상문)을 클릭하면, 상기 가상 공간을 볼 수 있다.
또한, 실시 예에 따라, 네트워크 시스템(1)은 상기 3D 맵에 도시된 제1공간(20)에 대해 보안을 위해 보이지 않도록 할 수 있다.
도 3은 본 발명의 실시 예에 따른 사용자 인터페이스를 제공하기 위한 네트워크 시스템의 데이터 흐름을 나타낸다.
도 1과 도 3을 참조하면, 제1공간(20)에 존재하는 사용자(21)가 제2공간(50)에 위치하는 객체(예컨대, PC)에 데이터를 전송하고자 할 때, 제1서버(11)는 사용자(21)에게 새로운 사용자 인터페이스를 제공할 수 있다.
예컨대, 사용자(21)는 제1공간(20)에 위치하는 객체(예컨대, TV)에 대해 사용자 인터페이스 생성을 의미하는 버튼 또는 화면을 터치한다.
객체(TV)는 상기 버튼 또는 상기 화면의 상기 터치에 응답하여 데이터에 대응하는 제스쳐 입력 명령을 제1서버(11)로 전송한다(S200).
상기 제스쳐 입력 명령이 제1서버(11)로 전송된 후, 제1공간(20)에 위치하는 사용자(21)에 의해 취해진 상기 데이터에 대응하는 제스쳐는 제1네트워크(10)의 복수의 카메라들(13-1~13-n)에 의해 촬영된다(S210).
예컨대, 상기 데이터는 영문자 'T'를 의미하여, 상기 제스쳐는 사용자(21)가 제1공간(20)에 존재하는 객체(예컨대, 종이)에 그려진 'T'라는 문자를 누르는 동작을 의미한다.
사용자(21)가 객체(TV)를 이용하여 게임을 수행하고자 할 때, 상기 데이터는 상기 게임 내에서 명령(예컨대, 총을 쏘는 동작)을 의미할 수 있고, 상기 제스쳐는 제1공간(20)에 위치하는 객체(예컨대, 볼펜)을 움직이는 행위를 의미할 수 있다.
실시 예에 따라 상기 데이터는 게임에서 어떠한 동작이 수행되도록
복수의 카메라들(13-1~13-n)은 촬영된 제스쳐에 대한 영상과 위치 정보를 제1서버(11)로 전송한다(S220).
제1서버(11)는 제1공간(20)의 객체(TV)로부터 전송된 제스쳐 입력 명령과, 제1네트워크(10)의 복수의 카메라들(13-1~13-n)에 의해 촬영된 제스쳐와 위치 정보를 매핑한다(S230).
모든 데이터(예컨대, 영문자, 한글, 또는 다른 문자)에 대해 상기 동작을 반복하여 상기 모든 데이터에 대응하는 제스쳐를 생성함으로써 새로운 사용자 인터페이스가 생성될 수 있다.
상기 새로운 사용자 인터페이스가 생성된 후, 제1공간(20)의 사용자(21)에 의해 취해진 임의의 데이터에 대응하는 제스쳐는 복수의 카메라들(13-1~13-n)에 의해 촬영된다(S240).
상기 촬영된 제스쳐 영상과 위치 정보는 제1서버(11)로 전송된다(S250).
제1서버(11)는 상기 촬영된 제스쳐 영상과 대응되는 데이터를 제2공간(50)의 객체(예컨대, PC)로 전송한다(S260).
실시 예에 따라 제1서버(11)는 상기 촬영된 제스쳐 영상과 대응되는 데이터를 제2서버(41)로 전송하고 제2서버(41)는 이를 제2공간(50)의 객체(예컨대, PC)로 전송할 수 있다.
사용자(21)는 제1공간(20)에 존재하는 복수의 객체들 중 하나(예컨대, PC)를 이용하여 데이터 처리 동작(예컨대, 동영상 재생 동작)을 수행하고자 할 때, 제1서버(11)는 상기 동영상을 재생하는 데이터 처리 동작을 분산하여 처리하도록 할 수 있다.
예컨대, 제1서버(11)는 동영상에 대한 디스플레이 동작은 제1공간에 존재하는 TV를 통해 수행되도록 하고, 동영상의 재생 처리 동작은 PC에서 수행되도록 사용자 인터페이스를 제1공간(20)에 존재하는 복수의 객체들 중 어느 하나의 전자 장치에 제공할 수 있다.
실시 예에 따라, 제1서버(11)와 제2서버(41)는 분산 처리 동작이 서로 다른 공간들(20과 50)에 존재하는 객체들 사이에서 수행되도록 제어할 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
1; 네트워크 시스템
10; 제1네트워크
11; 제1서버
13-1~13-n; 복수의 카메라들
15-1~15-m; 복수의 센서들
20; 제1공간
21; 사용자
40; 제2네트워크
41; 제2서버
43-1~43-p; 복수의 카메라들
45-1~45-q; 복수의 센서들
50; 제2공간

Claims (7)

  1. 삭제
  2. 복수의 제1객체들과 사용자를 포함하는 제1공간에서 상기 사용자의 제스쳐(gesture)의 영상과 위치 정보를 획득하기 위한 제1카메라; 및
    상기 복수의 제1객체들 중 어느 하나로부터 수신된 제스쳐 입력 명령과, 상기 제1카메라로부터 수신된 상기 제스쳐의 영상과 상기 위치 정보를 매핑(mapping)시키는 제1서버를 포함하며,
    상기 사용자가 상기 복수의 제1객체들 중 다른 하나를 이용하여 데이터 처리 동작을 수행하고자 할 때,
    상기 제1서버는 상기 복수의 제1객체들 중 상기 다른 하나와 상기 복수의 제1객체들 중 또 다른 하나를 이용하여 상기 데이터 처리 동작을 분산처리하도록 제어하는 사용자 인터페이스를 제공하기 위한 네트워크 시스템.
  3. 제2항에 있어서, 상기 사용자 인터페이스를 제공하기 위한 상기 네트워크 시스템은,
    복수의 제2객체들을 포함하는 제2공간을 더 포함하며,
    상기 사용자가 상기 복수의 제1객체들 중 다른 하나를 이용하여 데이터 처리 동작을 수행하고자 할 때,
    상기 제1서버는 상기 복수의 제1객체들 중 상기 다른 하나와 상기 복수의 제2객체들 중 어느 하나를 이용하여 상기 데이터 처리 동작을 분산처리하도록 제어하는 사용자 인터페이스를 제공하기 위한 네트워크 시스템.
  4. 제2항에 있어서, 상기 사용자가 상기 복수의 제1객체들 중 다른 하나를 검색하고자 할 때,
    상기 제1서버는 상기 사용자에게 상기 복수의 제1객체들 중 상기 다른 하나에 대한 영상과 위치 정보를 제공하는 사용자 인터페이스를 제공하기 위한 네트워크 시스템.
  5. 제2항에 있어서, 상기 사용자 인터페이스를 제공하기 위한 상기 네트워크 시스템은,
    복수의 제2객체들을 포함하는 제2공간;
    상기 복수의 제2객체들의 영상과 위치 정보를 획득하기 위한 제2카메라; 및
    제2서버를 더 포함하며,
    상기 사용자가 상기 복수의 제2객체들 중 다른 하나를 검색하고자 할 때,
    상기 제2서버는 상기 복수의 제2객체들 중 상기 다른 하나를 원격 제어하는 사용자 인터페이스를 제공하기 위한 네트워크 시스템.
  6. 제2항에 있어서, 상기 제1서버는 상기 제1공간의 물리적 주소와 상기 제1공간의 전자 주소를 매핑시키는 사용자 인터페이스를 제공하기 위한 네트워크 시스템.
  7. 삭제
KR1020110118258A 2011-11-14 2011-11-14 사용자 인터페이스를 제공하기 위한 네트워크 시스템 KR101305339B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110118258A KR101305339B1 (ko) 2011-11-14 2011-11-14 사용자 인터페이스를 제공하기 위한 네트워크 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110118258A KR101305339B1 (ko) 2011-11-14 2011-11-14 사용자 인터페이스를 제공하기 위한 네트워크 시스템

Publications (2)

Publication Number Publication Date
KR20130052917A KR20130052917A (ko) 2013-05-23
KR101305339B1 true KR101305339B1 (ko) 2013-09-06

Family

ID=48662265

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110118258A KR101305339B1 (ko) 2011-11-14 2011-11-14 사용자 인터페이스를 제공하기 위한 네트워크 시스템

Country Status (1)

Country Link
KR (1) KR101305339B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052398A (ko) * 2006-12-05 2008-06-11 한국전자통신연구원 이동식 영상 카메라를 구비한 제스처 인식 시스템
KR20090084212A (ko) * 2008-01-31 2009-08-05 포항공과대학교 산학협력단 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080052398A (ko) * 2006-12-05 2008-06-11 한국전자통신연구원 이동식 영상 카메라를 구비한 제스처 인식 시스템
KR20090084212A (ko) * 2008-01-31 2009-08-05 포항공과대학교 산학협력단 멀티모달 대화 인터페이스를 이용하는 홈 네트워크 제어시스템 및 그 방법

Also Published As

Publication number Publication date
KR20130052917A (ko) 2013-05-23

Similar Documents

Publication Publication Date Title
US11503039B2 (en) Personal cloud device for digital media
CN104995581B (zh) 电子设备的手势检测管理
US7911495B2 (en) Electronic conference support device, electronic conference support method, and information terminal device of electronic conference system
KR101921458B1 (ko) 잠금-위 카메라 액세스
CN103164518A (zh) 移动终端增强现实应用系统及方法
US20120124481A1 (en) Interacting with a device
CN103620620A (zh) 在设备交互中使用空间信息
US20160321025A1 (en) Electronic apparatus and method
JP2014186610A (ja) 情報処理装置および記憶媒体
US20150249696A1 (en) Transmission terminal, transmission system, transmission method, and recording medium storing transmission control program
CN111159449B (zh) 一种图像显示方法及电子设备
US10419230B2 (en) Electronic apparatus and method
CN104798065A (zh) 使能元数据存储子系统
JP6790365B2 (ja) 情報処理装置、情報処理システム、及びプログラム
US20120098967A1 (en) 3d image monitoring system and method implemented by portable electronic device
CN111079030A (zh) 一种群组搜索方法及电子设备
WO2020238496A1 (zh) 图标管理方法及终端设备
US10264131B2 (en) Transmission control system, transmission system, and method of transmission control
US20190220172A1 (en) Information terminal, information processing system, and non-transitory computer-readable recording medium with display control program recorded thereon
CN106406132A (zh) 设备控制方法和设备控制系统
US20160117140A1 (en) Electronic apparatus, processing method, and storage medium
KR101305339B1 (ko) 사용자 인터페이스를 제공하기 위한 네트워크 시스템
CN112148185A (zh) 图像显示方法、装置
JP2015090607A (ja) 電子付箋会議端末およびその制御方法、電子付箋会議端末プログラム、並びに記憶媒体
US20220086357A1 (en) Video recording method and terminal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160830

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee