KR20140091439A - 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법 - Google Patents

네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법 Download PDF

Info

Publication number
KR20140091439A
KR20140091439A KR1020130133047A KR20130133047A KR20140091439A KR 20140091439 A KR20140091439 A KR 20140091439A KR 1020130133047 A KR1020130133047 A KR 1020130133047A KR 20130133047 A KR20130133047 A KR 20130133047A KR 20140091439 A KR20140091439 A KR 20140091439A
Authority
KR
South Korea
Prior art keywords
gesture
network
hardware
sensing input
data
Prior art date
Application number
KR1020130133047A
Other languages
English (en)
Other versions
KR102135052B1 (ko
Inventor
이반 아드즈히지레이
룩 허버리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20140091439A publication Critical patent/KR20140091439A/ko
Application granted granted Critical
Publication of KR102135052B1 publication Critical patent/KR102135052B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38—Information transfer, e.g. on bus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

3차원 제스처 검출 방법 및 장치가 제공된다. 상기 방법은 다수의 상호 연결된 하드웨어를 가지는 네트워크에 위치한 적어도 하나의 3차원 동작 감지 입력 디바이스가 사용자의 3차원 제스처를 검출하는 과정과, 상기 검출된 제스처를 토대로 상기 네트워크의 제1 디바이스에 실행되거나 저장되거나 표시되는 어플리케이션에 대응하며 상기 네트워크의 제2 디바이스로 전송될 어플리케이션 데이터를 선택하는 과정과, 상기 선택된 어플리케이션 데이터를 상기 제2 디바이스와 관련된 하드웨어 및 소프트웨어로 전송하는 과정, 및 상기 선택된 어플리케이션 데이터의 실행, 저장, 표시 중 적어도 어느 하나를 상기 제2 디바이스에서 수행하는 과정을 포함하며, 상기 적어도 하나의 3차원 동작 감지 입력 디바이스는 제스처 검출 하드웨어 및 소프트웨어를 포함한다.

Description

네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법 {System and method for detecting three dimensional gestures to initiate and complete the transfer of application data between networked devices}
본 발명은 디바이스 간의 데이터 전송을 개시하기 위한 제스처들을 검출하는 시스템 및 이를 제어하는 방법에 관한 것이다. 더욱 상세하게, 본 발명은 네트워크 디바이스 간에 어플리케이션 데이터의 전송을 개시하고 완료하기 위한 3차원 제스처들을 검출하는 장치 및 방법에 관한 것이다.
모바일 디바이스들은 사용자 간의 무선 통신을 제공하기 위해 개발되고 있다. 기술이 발전함에 따라, 모바일 단말기들은 이제 단순한 통화 기능을 넘어 많은 추가적인 기능들을 제공한다. 예를 들면, 모바일 단말기들은 알람, 단문 메시징 서비스(SMS), 멀티미디어 메시징 서비스(MMS), 이메일(E-mail), 게임들, 근거리 통신의 원격 제어, 탑재된 디지털 카메라를 이용한 이미지 캡처 기능, 오디오 및 동영상 컨텐츠를 제공하기 위한 멀티미디어 기능, 스케줄링 기능 등을 제공할 수 있다. 현재 수많은 기능들이 제공됨에 따라, 모바일 단말기는 일상생활의 실질적인 필수품이 되고 있다.
모바일 디바이스들은 종종 다양한 종류의 컴퓨터 및 통신 네트워크들과 통합된다. 종래의 네트워크들은, 예를 들면, 자원과 정보를 공유하는 통신 채널들에 의해 상호 연결된 하드웨어 디바이스들의 집합으로 알려져 있다. 종래의 네트워크들에서, 하나의 디바이스 내의 프로세스는 일반적으로 원격 디바이스 내에 속한 하드웨어의 일부 또는 적어도 하나의 프로세스와 데이터를 송수신할 수 있다. 존재하는 여러 종류의 네트워크들은 데이터를 전송하는 데 사용되는 매체, 사용되고 있는 통신 프로토콜, 네트워크의 규모나 범위 등에 따라 분류될 수 있다.
네트워크들의 유형은 로컬 영역 네트워크(LAN; Local Area Network), 도시 영역 네트워크(MAN; Metropolitan Area Network), 광역 네트워크(WAN; Wide Area Network), 글로벌 영역 네트워크(GAN; Global Area Network), 워크그룹(workgroup) 네트워크, 클라이언트-서버(client-server) 네트워크, 인트라넷(Intranet), 엑스트라넷(Extranet) 등을 포함할 수 있다.
현재, 터치 기반의 인터페이스들을 이용하여 두 디바이스 사이에서 파일 전송을 개시하기 위한 시스템과 방법이 존재한다. 그러나 이러한 방식은 전송 디바이스가 물리적으로 접촉되어야 한다. 이 방식의 두 번째 단점은 오직 파일만 전송될 수 있다는 것이며, 예컨대 오픈 윈도우(open windows) 및 휘발성 메모리를 포함하는 다른 어플리케이션 상태들과 같은 다양한 운영 상태들에 있는 어플리케이션들은 고려되지 않는다.
도 1a 및 도 1b는 종래 기술에 따른 터치 기반 인터페이스를 가진 두 디바이스들 사이에서 파일 전송을 개시하기 위한 방법을 도시한 도면이다.
도 1a 및 도 1b를 참조하면, 모바일 디바이스의 터치스크린(100) 상에 플릭 제스처(flick gesture)의 개시 이미지 및 완료 이미지가 도시되어 있다. 도 1a는 터치스크린(100)의 디스플레이 상에서 사용자의 손가락(110)이 특정 데이터 파일과 관련된 그래픽 요소(120)를 터치하는 상태를 도시하고 있다. 사용자(110)는 파일을 전송하고자 하는 목표 디바이스의 방향으로 디스플레이를 향하게 한다. 목표 디바이스는 터치스크린(100)의 마주보며, 가장자리(140)에 있는 것으로 간주된다. 그러고 나서, 도 1b에 도시된 바와 같이, 사용자의 손가락(110)은 빠르게 드래그되는 플릭(flick) 제스처를 수행한다. 플릭 제스처 동안에 사용자의 손가락(110)은 터치스크린 디스플레이(100)에 접촉된 상태를 유지할 수 있다.
또한, 멀티 터치 디바이스들 사이에서 객체(object)를 전송하는 직관적인 방법을 제공하기 위하여 미리 정의된 제스처들을 사용하는 시스템들이 있다. 이러한 시스템들에서, 핀치 동작(집는 동작, pinching motion)과 같은 제1 제스처는 출발지 디바이스로부터 전송하고자 하는 객체를 선택하는 데 사용된다. 핀치 해제 동작(de-pinching gesture)과 같은 제2 제스처는 제2 디바이스로 객체의 목적지를 지정하는 데 사용된다. 전송 개시자(initiator)와 관련된 데이터, 예컨대 지문 스캔을 묘사하는 데이터는 출발지 디바이스를 목적지 디바이스와 매칭하기 위하여 사용될 수 있다. 그러나 이러한 방식 또한 파일 전송을 개시하기 위해 디바이스가 물리적으로 접촉되어야 한다.
도 2는 종래 기술에 따른, 미리 정의된 제스처들이 멀티 터치 디바이스들 사이의 객체 전송을 위해 사용되는 종래 기술에 따른 방법을 도시한 흐름도이다.
도 2를 참조하면, 사용자가 객체를 전송하기 위한 출발지 멀티 터치 디바이스를 사용하는 프로세스(200)를 도시하고 있다. 210 단계에서, 디바이스는 표면에서 미리 정의된 제스처를 검출한다. 220 단계에서, 미리 정의된 제스처로부터 사용자 인터페이스 상의 위치가 결정된다. 230 단계에서, 사용자가 식별된다. 예를 들어, 이는 사용자가 디바이스를 터치하고 있는 동안에 사용자의 손가락 지문을 식별함으로써 이뤄질 수 있다. 240 단계에서, 잠재적인 목적지 디바이스로부터 브로드캐스트 신호가 수신된다. 250 단계에서, 사용자의 데이터가 잠재적인 목적지 디바이스로 전송된다. 260 단계에서, 객체를 요청하는 목적지 디바이스로부터 신호가 수신된다. 270 단계에서, 객체가 전송된다.
또한, 3차원 동작을 기반으로 단일 디바이스에서 그래픽 객체에 다양한 변형들을 만드는 방법들이 알려져 있다. 그러나 이 방법의 단점은 단일 디바이스의 객체 조작에 제한되는 점과, 어플리케이션 데이터 또는 어플리케이션 상태 정보를 다양한 디바이스들에 전송하는 경우를 포함하지 않는다는 점이다.
도 3은 3차원 동작 기반으로 단일 디바이스에서 그래픽 객체를 변형하는 종래 기술에 따른 방법을 도시한 도면이다.
도 3을 참조하면, 사용자는 터치스크린(310) 상에서 예컨대 손가락을 드래그하여 닫힌 곡선을 그림으로써 모바일 단말기(300)의 터치스크린(310) 상에 편집 영역(320)을 설정할 수 있다. 편집 영역(320)을 설정한 후에, 만약 사용자가 터치스크린(310)에 터치하지 않은 채로 두 손가락을 가지고 편집 영역(320)의 경계의 수직 상부에 해당하는 위치를 집을 수 있다. 이런 경우에, 모바일 단말기(300)의 3D 근접 센서(330)가 제스처를 인식하고, 제어부가 편집 영역(320)이 집힌 것을 인식할 수 있다. 그러고 나서, 사용자가 터치스크린(310)의 수평 방향으로 손가락을 이동하면, 편집 영역(320)은 터치스크린(310)의 수평 방향으로 확장될 수 있다. 이 방법의 단점은 오직 단일 디바이스로 제한되는 점이며, 다른 디바이스로의 데이터 전송은 포함하지 않는다는 점이다.
현재, 제스처를 이용하여 디바이스들 사이에서 어플리케이션 및 관련 데이터의 전송을 보다 효율적으로 수행하기 위한 기술은 존재하지 않는다.
따라서 디바이스 간의 어플리케이션 및 관련 데이터의 전송을 위한 3차원 제스처에 대한 방법 및 시스템에 대한 필요성이 있다. 특히, 3차원 공간 내에서 일반적인 또는 미리 정의된 제스처를 검출하고 인식함으로써, 네트워크 디바이스를 거쳐 어플리케이션 데이터의 전송을 개시하고 완료하기 위한 보다 더 직관적인 시스템 및 방법이 필요하다.
이상의 기재는 오직 본 발명의 이해를 돕기 위한 배경 정보로만 제공된다. 상기 기재 중 어떤 것도 본 발명에 대한 선행 기술로서 적용 가능한 지에 대해서는 어떠한 결정도 주장도 하지 않는다.
본 발명의 목적은 문제점들 및/또는 단점들을 해결하고 장점들을 제공하기 위한 것이다. 따라서 본 발명의 목적은 네트워크 디바이스 간의 어플리케이션 데이터 전송을 개시하고 완료하기 위한 3차원 제스처 검출 방법 및 장치를 제공함에 있다.
본 발명에 따르면, 3차원 제스처 검출 방법은, 다수의 상호 연결된 하드웨어를 가지는 네트워크에 위치한 적어도 하나의 3차원 동작 감지 입력 디바이스가 사용자의 3차원 제스처를 검출하는 과정; 상기 검출된 제스처를 토대로, 상기 네트워크의 제1 디바이스에 실행되거나 저장되거나 표시되는 어플리케이션에 대응하며 상기 네트워크의 제2 디바이스로 전송될 어플리케이션 데이터를 선택하는 과정; 상기 선택된 어플리케이션 데이터를 상기 제2 디바이스와 관련된 하드웨어 및 소프트웨어로 전송하는 과정; 및 상기 선택된 어플리케이션 데이터의 실행, 저장 및 표시 중 적어도 하나를 상기 제2 디바이스에서 수행하는 과정을 포함하며, 상기 적어도 하나의 3차원 동작 감지 입력 디바이스는 제스처 검출 하드웨어 및 소프트웨어를 포함하는 것을 특징으로 한다.
본 발명에 따른네트워크 시스템은,다수의 상호 연결된 하드웨어; 3차원 제스처 검출을 위한 제스처 검출 하드웨어 및 소프트웨어를 포함하는 3차원 동작 감지 입력 디바이스; 상기 검출된 제스처를 토대로, 상기 네트워크의 제1 디바이스에 실행되거나 저장되거나 표시되는 어플리케이션에 대응하며 상기 네트워크의 제2 디바이스로 전송될 어플리케이션 데이터를 선택하기 위한 선택부; 및 상기 선택된 어플리케이션 데이터를 상기 제2 디바이스와 관련된 하드웨어 및 소프트웨어로 전송하기 위한 전송부를 포함하며, 상기 적어도 하나의 상호 연결된 하드웨어는 상기 선택된 어플리케이션 데이터의 실행, 저장, 표시 중 적어도 어느 하나를 상기 제2 디바이스에서 수행하는 것을 특징으로 한다.
본 발명에 따른 3차원 제스처 검출 방법 및 장치는 네트워크 디바이스 간의 어플리케이션 데이터를 전송할 수 있다.
본 발명에 따른 실시예들의 여러 측면들, 특징들, 장점들은 첨부된 도면들을 참조한 하기의 설명으로부터 보다 명확해질 것이다.
도 1a 및 도 1b는 종래 기술에 따른 터치 기반 인터페이스를 가진 두 디바이스들 사이에서 파일 전송을 개시하기 위한 방법을 도시한 도면이다.
도 2는 미리 정의된 제스처들이 멀티 터치 디바이스들 사이의 객체 전송을 위해 사용되는 종래 기술에 따른 방법을 도시한 흐름도이다.
도 3은 3차원 동작 기반으로 단일 디바이스에서 그래픽 객체를 변형하는 종래 기술에 따른 방법을 도시한 도면이다.
도 4는 본 발명의 실시예에 따른 3차원 제스처 검출을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 3차원 제스처 검출을 보여주는 도면이다.
도 6은 본 발명의 실시예에 따른 통신 네트워크의 구성을 개략적으로 도시한 블록도이다.
도 7은 본 발명의 실시예에 따른 모바일 단말기의 구성을 개략적으로 도시한 블록도이다.
첨부한 도면들을 참조한 하기의 설명은 청구항들과 그 균등물들에 의해 정의되는 본 발명의 바람직한 실시예들에 대한 포괄적인 이해를 돕기 위해 이루어진다. 이는 이해를 돕는 다양한 특정 사항들을 포함하나, 단순히 예시적인 것으로 간주된다. 따라서 본 기술 분야에 속하는 통상의 기술자는 본 발명의 기술적 사상의 범위를 벗어나지 않고, 여기에 기재된 실시예들에 다양한 변형과 변경이 이루어질 수 있음을 알 수 있을 것이다. 또한, 공지된 기능들과 구성들에 대한 설명은 명료성과 간결성을 위해 생략된다.
하기의 설명 및 청구항들에서 사용되는 용어들과 단어들은 사전적인 의미들로 한정되지 않으며, 단지 본 발명의 명확하고 일관성 있는 이해를 돕기 위해 발명자에 의해 사용될 수 있다. 따라서 본 발명의 바람직한 실시예들의 하기의 설명이 단순히 예시적인 목적을 위해 제공되며, 첨부된 청구항들과 그 균등물들에 의해 정의되는 바와 같이 본 발명을 한정하는 용도로 제공되지 않음은 본 기술 분야의 통상의 기술자에게 자명하다.
도면 전반에 걸쳐, 동일한 참조번호는 동일하거나 유사한 구성요소, 특징, 구조를 묘사하기 위해 사용된다.
단수형으로 기재된 용어는 문맥상 명확히 그렇지 않음을 명시하지 않는 한 복수의 대상들을 포함하여 지칭하는 것으로 해석해야 한다. 따라서 "구성요소의 표면"이라고 기재된 경우의 예에서 표면은 하나의 표면 또는 그 이상의 표면들을 언급하는 것으로 이해되어야 한다.
"실질적으로(substantially)"라는 용어는 설명된 특징이나 파라미터나 값이 정확히 달성될 필요가 있는 것이 아니라, 공차, 측정 에러, 측정 정확도의 한계, 이 기술 분야에서 통상의 지식을 가진 자에 있어 알려진 다른 요인 등과 같은 편차나 변화에 의해, 제공하고자 의도되었던 효과를 불가능하게 하지 않는 양만큼 발생할 수도 있음을 의미한다.
본 발명의 실시예들은 네트워크 디바이스 간의 어플리케이션 데이터 전송을 개시하고 완료하기 위한 3차원 제스처 검출 시스템 및 방법을 포함한다. 어플리케이션 데이터는 예컨대 파일 시스템에 저장되는 비휘발성 데이터 및/또는 메모리 및/또는 비디오, 오디오 또는 다른 버퍼에 저장되는 어플리케이션 상태와 관련된 데이터와 같은 휘발성 데이터가 될 수 있다. 어플리케이션 데이터는 여기에 한정되지 않고, 네트워크 내에서 상호 연결된 하나 이상의 하드웨어 상에서 실행되거나, 저장되거나, 표시되는 어플리케이션에 해당될 수 있다. 예를 들면, 사용자는 윈도우에서 현재 실행되면서 네트워크 내의 제1 고정 디바이스 또는 제1 모바일 디바이스의 디스플레이 상에 표시 되고 있는 소프트웨어 어플리케이션과 상호작용할 수 있다. 그리고 제1 디바이스 상에 표시 되고 있는 것과 관련된 어플리케이션 데이터를 네트워크 내의 제2 디바이스로 전송하거나 복사하기를 원할 수 있다. 즉, 사용자는 예를 들면 시스템에 통합된 3차원 감지 센서에 의해 감지된 제1 디바이스의 디스플레이로부터 미리 정의된 거리 내에서 미리 정의된 위치를 가지고 있는 공간에서 미리 정의된 또는 직관적인 제스처를 생성할 수 있다. 3차원 검출 센서는 제1 디바이스의 디스플레이 상에 표시되고 있는 프로그램 또는 어플리케이션(또는 그것의 윈도우)의 선택을 지시하는 것으로 제스처를 해석할 수 있다. 사용자는 제1 또는 제2 디바이스의 디스플레이(또는 다른 지정된 특징)로부터 미리 정의된 거리 내에서 미리 정의된 위치를 가지는 공간 내에서 또 다른 미리 정의된 또는 직관적인 제스처를 생성할 수 있다. 이 제스처는 원하는 제2 디바이스(목표 디바이스)를 식별하고, 제1 디바이스로부터 원하는 제2 디바이스로 선택된 이미지 및/또는 관련 어플리케이션 데이터의 전송 또는 복사를 완료할 수 있으며, 제2 디바이스 상에 표시될 수 있다.
도 4는 네트워크 디바이스들 사이에서 어플리케이션 데이터의 전송을 개시하고 완료하기 위한 본 발명의 실시예에 따른 3차원 제스처 검출을 설명하기 위한 흐름도이다.
도 4를 참조하여 본 발명의 실시예에 따른 프로세스(400)를 설명한다. 410 단계에서, 사용자는 먼저 네트워크를 조정(calibrate)할 수 있다. 이는 사용자의 제스처를 정확하게 식별하고 인식하기 위한 것이며, 또는 네트워크 구성요소들 및/또는 디바이스들 상호간의 또는 네트워크 구성요소들 및/또는 디바이스들과 사용자간의 방향(direction), 지향(orientation), 거리 등을 추정하기 위한 것이다. 어떤 경우에는 이러한 조정이 필요하지 않을 수도 있다. 예를 들면, 사용자는 시스템이 이미 인식할 수 있는 미리 정의된 제스처를 사용할 것을 결정할 수 있으며, 또는 사용자는 이전의 조정 과정에서 추출되고 사용된 조정 정보의 미리 정의된 설정을 사용할 수 있다.
420 단계에서, 사용자는 어플리케이션을 열거나, 제1 디바이스에서 표시되고 있는 실행 중인 어플리케이션 또는 다른 데이터들의 존재를 확인할 수 있다. 어플리케이션 또는 다른 데이터는 위 경우에 한정되지 않으며, 예를 들면, 파일 시스템에 저장된 비휘발성 데이터 및/또는 메모리 및/또는 비디오, 오디오 또는 다른 버퍼에 저장되는 어플리케이션 상태와 관련된 데이터와 같은 휘발성 데이터가 될 수 있다. 어플리케이션 데이터는 네트워크 내에서 상호 연결된 하나 이상의 하드웨어에 실행되거나, 저장되거나, 표시되는 어플리케이션에 해당될 수 있다. 예를 들어, 사용자는 소프트웨어 어플리케이션을 열 수 있으며, 또는 제1 디바이스의 디스플레이에 표시되고 있고 윈도우에서 현재 실행 중인 소프트웨어 어플리케이션을 선택할 수 있다. 또한, 사용자는 어플리케이션 및 어플리케이션과 관련된 데이터 및 파일과 관련된 아이콘을 선택할 수 있다. 식별되고 선택될 수 있는 어플리케이션의 유형 및 관련 데이터 또는 파일은 이에 한정되지 않는다.
430 단계에서, 사용자는 원하는 어플리케이션 데이터 또는 파일들을 선택하기 위해 또는 시스템이 어플리케이션 데이터 또는 파일들을 식별할 수 있도록 제1 제스처를 수행한다. 이는 목표 디바이스로 전송되거나 복사될 데이터 또는 파일들을 선택하고 전송을 개시하기 위한 것이다. 440 단계에서, 사용자는 원하는 제2 디바이스(목표 디바이스)를 식별하기 위해, 그리고 선택된 가상의 및/또는 관련된 어플리케이션 데이터의 전송 또는 복사를 제1 디바이스로부터 원하는 제2 디바이스로 완료하기 위해, 제2 제스처를 수행한다.
도 5는 네트워크 디바이스들 사이에서 어플리케이션 데이터의 전송을 개시하고 완료하기 위한 본 발명의 실시예에 따른 3차원 제스처 검출을 보여주는 도면이다.
도 5를 참조하면, 컴퓨터 네트워크(500)가 도시되어 있다. 네트워크 내에는 3차원 동작 감지 입력 디바이스(530)와 함께 제1 디바이스(510) 및 제2 디바이스(520)가 존재한다. 지정된 네트워크 구성요소와 관련되어 미리 정의된 공간 내에 위치하는 사용자(540)는 제1 디바이스(512)의 디스플레이(570) 상에 표시되는 어플리케이션(560)의 선택을 지시하는 제1 제스처(550)를 수행한다. 3차원 동작 감지 입력 디바이스(530)는 제스처를 검출하고, 선택된 항목을 디스플레이(570) 상에 나타낸다. 그러고 나서 사용자(540)는 제1 제스처(540)가 수행된 시점에서 미리 정의된 시간 내에, 그리고 디바이스(들)의 디스플레이(570)(또는 다른 지정된 특징)로부터 미리 정의된 거리 내의 미리 정의된 위치를 갖는 공간 내에서, 제2 제스처(580)를 수행한다. 검출된 제스처는 원하는 목표 디바이스(제2 디바이스)(520)를 식별하고, 제1 디바이스(510)로부터 제2 디바이스(520)로의 선택된 가상의 및/또는 관련 어플리케이션 데이터(560)의 전송 또는 복사를 개시하며, 디바이스들에 표시될 수 있다.
제1 디바이스(510) 및 제2 디바이스(520)는 각각 모바일 단말기(mobile terminal), 개인 컴퓨팅 디바이스(personal computing device), 미디어 플레이어(media player), 텔레비전(television), 스테레오(stereo), 디지털 사진 프레임(digital picture frame) 및/또는 그 밖의 디바이스 중 어느 하나일 수 있고, 이러한 디바이스는 네트워크 내에 있고, 적절한 포맷으로 어플리케이션들 및 데이터 파일들을 전송하거나 전송을 허용하도록 구성된다.
3차원 동작 감지 입력 디바이스(530)는 사용자가 간단한 손 및 손가락 제스처를 이용하여 개인용 컴퓨터를 제어할 수 있도록 설계된 립 모션(Leap Motion)에 의해 제공되는 3차원 동작 감지 범용 직렬 버스(USB) 액세서리와 같은 상업적으로 이용 가능한 3차원 동작 감지 입력 디바이스(530)가 될 수 있다. 더 적합하고 상업적으로 이용 가능한 동작 및 제스처 인식 디바이스는 마이크로소프트(Microsoft) 사의 키넥트(Kinect)이다.
본 발명의 실시예에서, 제1 제스처 및 제2 제스처는 한정되지 않으며, 각각은 미리 정의된 제스처 또는 직관적인 제스처와 같은 어떠한 제스처도 될 수 있다. 미리 정의된 제스처는 직관적인 제스처일 수도 있고 아닐 수도 있다. 실시예에서, 적절한 제스처는 임의적일 수도 있고 그렇지 않을 수도 있다.
본 발명의 실시예에서, 제1 제스처 및 제2 제스처는 잡는 제스처(grabbing gesture) 또는 던지는 제스처(throwing gesture)가 될 수 있다. 잡는 제스처는 물체를 움켜잡는 미리 정의된 또는 직관적인 제스처가 될 수 있다. 마찬가지로, 던지는 제스처는 사용자의 팔이 구부려지고 사용자의 손이 꽉 쥔 자세(clenched posture)에서 개시하여 제2 디바이스 방향으로 확장되고 사용자의 손이 펼쳐진 자세(open posture)로 끝나는 내리치는 동작(overhand motion)과 같이, 물체를 던지는 미리 정의된 또는 직관적인 제스처가 될 수 있다.
그러나 본 발명의 실시예에서의 적절한 제스처는 한정되지 않으며, 집는(pinching) 제스처, 찌르는(poking) 제스처, 두드리는(tapping) 제스처, 원을 그리는(circling) 제스처, 뽑는(picking) 제스처, 움켜잡는(grasping) 제스처, 또는 그 밖의 다양한 제스처들이 가능하다. 이러한 제스처들은 디바이스 상에서 실행되거나 저장되거나 표시되는 항목, 파일, 또는 어플리케이션 및/또는 관련 데이터의 선택 및/또는 전송을 일으킬 수 있는 어떠한 제스처도 가능하다. 이 밖에, 백핸드 던지기(backhanded throwing) 또는 스트라이킹(striking) 제스처, 펀칭(punching) 제스처, 가볍게 던지는(tossing) 제스처, 뿌리는(spritzing) 제스처, 접는(flipping) 제스처, 후려치는(swiping) 제스처, 수화(sign language) 제스처 등도 본 발명의 실시예에 따른 제스처에 포함된다.
본 발명의 실시예에서, 제1 제스처 및 제2 제스처는 가상 컴포넌트 또는 클라우드 리소스를 포함하는 모든 네트워크 구성요소와 관련된 지정된 지향(designated orientation)을 가지는 방향(direction)에서 수행될 수 있다. 예를 들면, 제1 제스처 및 제2 제스처는 제1 디바이스, 제2 디바이스 또는 3차원 동작 감지 입력 디바이스에서 직교 방향 또는 실질적으로 직교 방향으로 수행될 수 있다. 또한, 제1 제스처 및 제2 제스처는 수직 방향으로 수행되거나 제1 디바이스, 제2 디바이스 또는 3차원 동작 감지 입력 디바이스와 같은 네트워크 구성요소에 상대적으로 다른 방향이 될 수 있다. 또한, 제1 제스처 및 제2 제스처는 네트워크 디바이스의 위치와 관련이 없는 지정된 방향으로 수행될 수 있다.
본 발명의 실시예에서의 3차원 동작 감지 입력 디바이스는 사용자의 직관적인 또는 미리 정의된 제스처를 감지할 수 있는 그리고 수행되는 제스처, 예를 들어 선택 동작(selecting gesture), 잡는 동작(grabbing gesture), 던지는 동작(throwing gesture) 또는 이와 같은 제스처를 인식할 수 있는 기존의 3차원 동작 감지 입력 디바이스가 될 수 있다. 현재 사용할 수 있는 적합한 3차원 동작 감지 입력 디바이스들의 예로는 마이크로소프트 키넥트(Microsoft Kinect) 그리고 립 모션(Leap Motion)의 3차원 동작 감지 입력 디바이스들이다.
본 발명의 실시예에서, 3차원 동작 감지 입력 디바이스는 다른 네트워크 컴포넌트에 통합될 수 있다. 네트워크 컴포넌트는 모바일 디바이스 또는 개인용 컴퓨터 혹은 네트워크에서 독립된 디바이스가 될 수 있다. 네트워크에서 독립된 디바이스는 벽에 장착된(wall-mounted), 데스크탑(desktop) 또는 프리 스탠딩(free-standing) 디바이스이다.또한, 네트워크는 하나 이상의 3차원 동작 감지 입력 디바이스를 포함할 수 있다. 각각의 3차원 동작 감지 입력 디바이스는 자체 지정된 감지 영역을 포함할 수 있으며, 또는 하나 이상의 다른 3차원 동작 감지 입력 디바이스로써 같은 제스처를 감지하도록 구성할 수 있다. 또한, 3차원 동작 감지 입력 디바이스는 적절한 거리가 될 수 있으며, 사용자, 사용자 제스처, 또는 어떠한 가상 컴포넌트 또는 클라우드 리소스를 포함하는 네트워크 구성요소로의 어떤 방향을 가질 수 있다. 적합한 거리는 밀리미터와 같은 작은 거리, 3차원 동작 감지 입력 디바이스가 충분한 제스처 정보를 정확하게 획득할 수 있는 유지되는 동안의 모든 거리와 같은 먼 거리를 포함할 수 있다. 적합한 방향은 직교 방향, 수직 방향, 공중 방향 또는 다른 방향과 같은 어떠한 방향도 포함할 수 있다.
본 발명의 실시예에서, 3차원 동작 감지 입력 디바이스는 멀티 파트 제스처(multi-part gesture) 또는 부분적으로 시간이 지연되는 제스처 인식을 위해 구성될 수 있다. 예를 들면, 3차원 동작 감지 입력 디바이스는 잡는(grab) 제스처가 던지는(throw) 제스처 이전의, 그리고 던지는(throw) 제스처와 분리될 때조차도, 잡는(grab) 및 던지는(throw) 제스처를 인식할 수 있다.
본 발명의 실시예에서, 시스템은 특정 제스처 또는 특정 사용자를 정확하게 감지하기 위해 사용되기 이전에 조정될 수 있다. 또한, 시스템 조정은 네트워크 디바이스들 및 구성요소들 상호간의 및/또는 사용자로부터 지향(orientation), 거리 및/또는 방향(direction)을 추정할 때 시스템에 도움이 될 수 있다.
도 6은 본 발명의 실시예에 따른 통신 네트워크의 구성을 개략적으로 도시한 블록도이다.
도 6을 참조하면, 통신 네트워크(600)는 라우터(610), 서버(620), 독립형 3차원 동작 감지 입력 디바이스(630), 스위치(640), 개인용 컴퓨터(650), 모바일 디바이스(660), 3차원 동작 감지 입력 디바이스를 포함하는 개인용 컴퓨터(670)를 포함하여 구성된다.
라우터(610)는 기존의 네트워크(600)와 인터넷을 연결하는 일반적인 라우터이다. 서버(620)는 하나 이상의 프로세서, RAM, 및 하드 디스크의 배열과 같은 저장 매체를 포함하는 기존의 로컬 영역 네트워크(LAN) 서버가 될 수 있다. 서버의 처리 용량과 메모리는 동시에 여러 어플리케이션을 실행하도록 구성될 수 있다. 스위치(640)는 일반적인 스위치가 될 수 있으며, 네트워크 디바이스가 효율적으로 통신하고 자원을 공유하고 할당하는 제어부로서의 역할을 수행할 수 있다. 개인용 컴퓨터(650) 및 모바일 디바이스(660)는 핸드헬드, 타블렛, 데스크탑, 또는 다른 통신 또는 컴퓨팅 디바이스가 될 수 있으며, 본 기술 분야에서 널리 알려지게 사용되는 많은 디바이스가 될 수 있다. 개인용 컴퓨터(670)는 상업적으로 이용 가능한 3차원 동작 감지 검출 장치와 결합될 수 있다. 3차원 동작 감지 검출 장치는 독립형 3차원 동작 감지 검출 장치(650)와 같거나 다를 수 있다.
본 발명의 네트워크는 여기에 설명된 실시예에 한정되지 않으며, 예를 들면, 모든 아키텍처와 제1 디바이스의 사용자가 가능한 복수 개의 목표 디바이스에서 목표 디바이스를 선택할 수 있도록 관련된 전산 인프라스트럭처(computational infrastructure)를 포함할 수 있다. 실시예에서, 네트워크는 각 네트워크 디바이스 상대적인 위치를 인식하고 있다. 그러므로 일단 선택된 원하는 데이터 파일은 제1 디바이스로부터 목표 디바이스로 네트워크를 통해 전송될 수 있다. 따라서 특정 하드웨어 및 소프트웨어, 하드웨어 및 네트워크 환경 내 목표 전자 디바이스를 식별하고, 제1 디바이스에서 제2 디바이스로 어플리케이션 데이터를 전송하고자 하는 사용자에 의해 선택될 수 있는 소프트웨어, 그리고 하드웨어 및 데이터가 제1 디바이스에서 제2 디바이스로 전달될 수 있는 소프트웨어가 본 발명의 실시예에 포함되어 있다고 가정되어야 한다. 다양하고 적절한 아키텍처들이 본 기술 분야에 알려져 있다. 예를 들면, 미국 특허공개 제2006/0241864호 및 제2006/0256008호에 관련 시스템 아키텍처가 설명되어 있고, 그 구성요소들이 여기에 선택적으로 포함될 수 있다.
본 실시예에서, 네트워크 구성요소들과 디바이스들의 수는 제한이 없다. 예를 들면, 네트워크는 도 6에 도시된 것 이외에 다수의 구성요소들 및 디바이스들을 포함할 수 있으며, 사용자의 로컬 환경 내에 있거나 그렇지 않을 수 있다. 네트워크의 추가 디바이스들 및 구성요소들은 모바일 단말기, 개인용 컴퓨팅 디바이스, 네트워크 서버 또는 프린터, 미디어 플레이어, 텔레비전, 스테레오, 디지털 사진 프레임 및/또는 그 밖의 디바이스 중 어느 하나일 수 있고, 이러한 디바이스는 네트워크 내에 있고, 적절한 포맷으로 어플리케이션들 및 데이터 파일들을 전송하거나 전송을 허용하도록 구성된다.
본 발명의 실시예에서, 제1 디바이스는 미리 정의된 거리 내에 및/또는 일어나기 위한 파일들 또는 어플리케이션 데이터의 전송을 위한 목표 디바이스에 상대적으로 미리 정의된 위치에 있을 수 있다. 또한, 제2 디바이스의 선택은 사용자 또는 처리, 저장 또는 어플리케이션 또는 데이터 전송 또는 이와 같은 다른 요구 사항 등을 만족하는 제1 디바이스에 가까운 근접에 있는 적어도 부분적으로 네트워크 구성요소에 의해 이뤄질 수 있다. 따라서 네트워크 컴포넌트 또는 디바이스(예를 들면, 모바일 단말기)의 사용자가 가장 바람직한 목표 기기를 선택할 수 있도록 다양한 수단들이 사용될 수 있다.
본 발명의 적합한 것으로 간주되는 네트워크의 유형은 여기에 설명된 실시예에 한정되지 않으며, 로컬 영역 네트워크(LAN), 도시 영역 네트워크(MAN), 광역 네트워크(WAN), 글로벌 영역 네트워크(GAN), 개인 영역 네트워크(PAN), 워크그룹(workgroup) 네트워크, 클라이언트-서버 네트워크, 인트라넷, 엑스트라넷 등을 포함할 수 있다. LAN은 일반적으로 단일 빌딩 내에 설정될 수 있는 작은 컴퓨터 네트워크이다. MAN은 수도권 또는 지방자치 단체의 지역을 커버하는 네트워크이다. WAN은 국가 또는 대륙과 같은 지리적으로 넓은 영역을 커버하는 네트워크이다. PAN은 한 사람의 네트워크이다. GAN은 세계적인 커버리지의 네트워크이다. 워크크룹(workgroup) 네트워크는 특정 컴퓨터 또는 하드웨어 조각에 특별한 비중 없이 서로 상호 연결될 수 있는 데스크톱 컴퓨터의 집합을 포함할 수 있다. 또한, 전술한 네트워크들은 위성 통신, 블루투스, 와이파이, 무선 광대역(와이브로) 등과 같은 다른 기술들의 조합을 사용할 수 있다.
도 7은 본 발명의 실시예에 따른 모바일 단말기의 구성을 개략적으로 도시한 블록도이다.
도 7을 참조하면, 모바일 단말기(700)는 제어부(710), 저장부(720), 표시부(730), 입력부(740), NFC(Near Field Communication)부(750), 통신부(760), 및 3차원 동작 감지 입력 디바이스(770)를 포함하여 구성된다.
본 발명의 실시예에 따르면, 모바일 단말기(700)는 적어도 하나의 디바이스(예컨대, 모바일 단말기)로 도 6의 네트워크를 통해 데이터를 전송하기 위해 구성될 수 있다. 본 발명의 실시예에 따르면, 모바일 단말기(700)는 다른 디바이스로 전송하기 위해 데이터를 선택하도록(예를 들면 사용자가 선택할 수 있도록) 구성될 수 있다. 예를 들면, 모바일 단말기(700)는 전송을 위한 집합 데이터 그리고 붙여넣기 또는 다운로드하기 위한 권한이 있는 디바이스에서 연관된 각 데이터(예를 들면 각각의 항목들)를 식별하고 복사하기 위해 구성될 수 있다. 본 발명의 실시예에 따른 모바일 단말기(700)는 서버를 통해(예를 들어 클라우드를 통해), 목표 디바이스로 데이터를 전송하는 만큼 적어도 어느 하나의 서버(예컨대, 클라우드 기반 서버)와 통신하도록 구성될 수 있다. 모바일 단말기(700)는 서버와 모바일 단말기(700)의 등록에 따라 적어도 하나의 서버에서 식별자를 할당할 수 있다. 모바일 단말기(700)와 연관된 식별자는 모바일 단말기(700)의 주소를 찾을 수 있는 또는 모바일 단말기(700)에 의해 업로드된 서버의 데이터를 찾기 위해 다른 디바이스에서 사용될 수 있다.
저장부(720)는 사용자 데이터 등을 저장하며, 마찬가지로 본 발명의 실시예에 따른 운영 기능들을 수행하기 위한 프로그램을 저장한다. 예를 들면, 저장부(720)는 모바일 단말기(700), 모바일 단말기(700)를 부팅하기 위한 운영체제(OS), 다른 부가적인 기능들, 예컨대 카메라 기능, 사운드 재생 기능, 이미지 또는 비디오 재생 기능, NFC 기능, 3차원 동작 감지 입력 디바이스(770) 등과 같은 다른 부가적인 기능들을 실행하기 위한 어플리케이션 프로그램을 저장할 수 있다.
또한, 저장부(720)는 모바일 단말기의 사용자에 의해 생성된 사용자 데이터, 예를 들면 문자 메시지, 게임 파일, 음악 파일, 영화 파일 등을 저장할 수 있다. 특히, 본 발명의 실시예에 따른 저장부(720)는 디바이스로 전송될 수 있는 데이터의 매핑을 저장하는 테이블을 저장할 수 있다. 예를 들면, 저장부(720)는 최소한 하나의 데이터 항목과 데이터가 전송될 수 있거나 그 전송을 요청할 수 있는 디바이스 간의 연결을 저장할 수 있다.
NFC부(750)는 NFC를 통해 다른 디바이스와 통신할 수 있도록 구성될 수 있다. 본 발명의 실시예에 따르면 NFC부(750)는 자동으로 다른 디바이스와 짝(pair)을 이룰 수 있다. 예를 들면, NFC부(750)는 모바일 단말기(700)가 다른 NFC 지원 디바이스에 근접할 때, 모바일 단말기(700)가 다른 NFC 가능 디바이스와 짝을 이루도록 할 수 있다. NFC부(750)는 짝을 이루는 과정에서 다른 NFC 지원 디바이스에 연결 데이터를 전달한다. NFC 페어링(pairing) 과정은 서로 알려진 디바이스들 사이에서 연결 정보를 전송하기 위하여 도 6의 네트워크와 별도로 또는 연관되어 사용될 수 있다. 본 발명의 실시예에 따르면, NFC부(750)는 예를 들면, 수신 모바일 단말기에서 데이터의 전송을 승인하기 전에 수신 모바일 단말기의 메타데이터와 같은 데이터를 송부한다. 수신 단말기가 승인하기 전에 전송된 데이터에는 예를 들면, 파일 이름, 텍스트의 처음 몇 글자, 파일 혹은 데이터의 크기, 본래의 디바이스 명칭과 같은 데이터가 포함될 수 있다.
통신부(760)는 다른 디바이스와의 통신을 위해 구성될 수 있다. 예를 들면, 통신부(760)는 도 6의 네트워크를 통해 통신하도록 구성될 수 있다. 본 발명의 실시예에 따르면, 모바일 단말기(700)가 네트워크 내에 등록 또는 인식된 이후에, 모바일 단말기(700)는 통신부(760)를 거쳐 네트워크를 통해 다른 디바이스로 데이터를 전송할 수 있다. 본 발명의 실시예에 따른 통신부(760)는 제2(목표) 네트워크 구성요소 또는 디바이스가 데이터의 전송을 확인하기 전에, 일부 데이터, 예컨대, 어플리케이션 데이터, 메타데이터 또는 다른 데이터를 제2(목표) 네트워크 구성요소 또는 디바이스로 전송할 수 있다. 제2(목표) 네트워크 구성요소 또는 디바이스가 데이터의 전송을 확인하기 전에 전송될 수 있는 데이터는 예를 들면, 파일 이름, 텍스트의 처음 몇 글자, 파일 혹은 데이터 크기, 본래의 디바이스 명칭과 같은 데이터가 포함될 수 있다.
입력부(740)는 사용자의 입력을 받기 위한 입력 키들과 기능키들을 포함할 수 있다. 예를 들면, 입력부(740)는 모바일 단말기(700)의 기능들을 제어하고, 다양한 기능을 설정하고, 문자 정보의 다양한 세트의 입력을 받기 위한 입력 키들과 기능키들을 포함할 수 있다. 예를 들면, 입력부(740)는 음성 통화를 요청하기 위한 전화 키, 영상 통화를 요청하기 위한 비디오 전화 요청 키, 음성 통화 또는 영상 통화의 종료를 요청하기 위한 종료 키, 오디오 신호의 출력 볼륨을 조절하기 위한 볼륨 키, 방향 키 등을 포함할 수 있다. 특히, 본 발명의 실시예에 따른 입력부(740)는 전송하기 위한 데이터의 선택 및/또는 데이터가 전송될 수 있는 디바이스의 선택과 관련된 신호를 제어부(710)로 전송할 수 있다. 이러한 입력부(740)는 터치 패드(touch pad), 터치스크린(touch screen), 버튼식 키패드, 조이스틱, 휠 키(wheel key) 등과 같은 하나 이상의 입력 수단의 결합에 의해 형성될 수 있다.
표시부(730)는 사용자에 의해 입력된 정보 또는 사용자 뿐만 아니라 모바일 단말기(700)의 다양한 메뉴에 의해 제공되는 정보를 표시한다. 예를 들면, 표시부(730)는 대기 화면, 메시지 작성 화면, 통화 화면과 같이 모바일 단말기(700)의 사용에 따른 다양한 화면들을 제공할 수 있다. 특히, 본 발명의 실시예에 따른 표시부(730)는 메뉴를 표시할 수 있다. 메뉴는 디바이스 간에 데이터 전송에 관한 기능의 목록을 포함할 수 있다. 예를 들면, 메뉴는 디바이스로 데이터를 복사하기, 디바이스로부터 데이터를 붙여넣기, 디바이스로 데이터를 오려 붙이기와 같은 것에 상응하는 기능을 포함하는 목록을 포함할 수 있다. 메뉴는 사용자가 전송하기 위한 데이터를 선택 및/또는 데이터가 전송될 수 있도록 디바이스를 선택할 수 있도록 표시될 수 있다. 예를 들면, 표시부(730)는 전송될 수 있는 데이터의 선택뿐 아니라 데이터가 전송될 수 있는 디바이스의 선택을 터치스크린을 통해 입력을 조작하거나 입력할 수 있는 인터페이스를 표시할 수 있다. 표시부(730)는 액정디스플레이(Liquid Crystal Display: LCD), 유기 발광 다이오드(Organic Light Emitting Diode: OLED), 능동형 유기 발광 다이오드(Active Matrix Organic Light Emitting Diode: AMOLED) 등으로 구성될 수 있다. 하지만, 본 발명의 실시예에서 이러한 제한에 국한되지 않는다. 표시부(730)가 터치스크린으로 형성되는 경우, 표시부(730)는 입력부(740)의 기능을 수행할 수 있다.
본 발명의 실시예에 따른 모바일 단말기는 적어도 하나의 제어부(710)를 포함한다. 적어도 하나의 제어부(710)는 모바일 단말기(700)의 일반적인 동작을 제어할 수 있다. 예를 들면, 제어부(710)는 모바일 단말기(700)에 포함된 다양한 구성요소 또는 기능부의 동작을 제어할 수 있다. 제어부(710)는 모바일 단말기(700)에 포함된 다양한 구성요소에 신호를 전송하여 모바일 단말기(500)의 내부 블록 사이의 신호 흐름을 제어할 수 있다. 특히, 본 발명의 실시예에 따른 제어부(710)는 전송될 수 있는 데이터의 선택, 데이터가 전송될 수 있는 적어도 어느 하나의 디바이스의 선택, 데이터가 전송될 수 있는 디바이스로부터의 전송 표시의 수신, 다른 디바이스로의 데이터의 전송 확인의 수신, 데이터가 전송될 수 있는 디바이스와 전송될 수 있는 데이터의 연계, 전송될 수 있는 데이터를 모으기 위한 클립보드로의 데이터 복사, 모바일 단말기(700)가 다른 모바일 단말기로의 데이터 붙이기가 완료되거나 또는 포기(예컨대, 제1 모바일 단말기(700) 또는 다른 모바일 단말기의 사용자에 의해 명시적인 제한을 통해)된 것을 확인한 후에 오리기 기능과 관련된 데이터의 삭제, 그리고 데이터가 전송될 디바이스와 관련된 식별자를 가진 클립보드로 복사될 데이터의 등록을 제어할 수 있다. 본 발명의 실시예에 따른 제어부(710)는 메타데이터, 수신 단말기가 데이터의 전송을 확인하기 이전에, 모바일 단말기가 수신할 수 있는 메타데이터와 같은 일부 데이터의 전송을 제어하도록 구성될 수 있다. 수신 모바일 단말기의 데이터 전송을 확인하기 이전에, 전송될 수 있는 데이터는 파일 이름, 텍스트의 처음 몇 글자, 파일 또는 데이터 크기, 본래의 디바이스 명칭과 같은 데이터가 포함될 수 있다. 수신 모바일 단말기의 사용자는 데이터의 전송을 확인하기 전에 전송될 데이터의 적어도 일부에 기초하여 어떤 데이터를 전송할지 보고 선택할 수 있다. 예를 들면, 데이터 전송의 확인 전에 전송되는 데이터는 사용자가 수신 디바이스로 어느 데이터를 붙여 넣을지에 대한 결정을 할 수 있도록 한다.
본 발명의 실시예에 따른 모바일 단말기는 적어도 하나의 3차원 동작 감지 입력 디바이스(770)를 선택적으로 포함할 수 있다. 적어도 하나의 3차원 동작 감지 입력 디바이스(770)는 업계에 공지된 구성과 방법에 따라 적어도 하나의 제어부(710)와 함께 작동되도록 구성될 수 있다.
한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 3차원 제스처를 검출하는 방법에 있어서,
    다수의 상호 연결된 하드웨어를 가지는 네트워크에 위치한 적어도 하나의 3차원 동작 감지 입력 디바이스가 사용자의 3차원 제스처를 검출하는 과정;
    상기 검출된 제스처를 토대로, 상기 네트워크의 제1 디바이스에 실행되거나 저장되거나 표시되는 어플리케이션에 대응하며 상기 네트워크의 제2 디바이스로 전송될 어플리케이션 데이터를 선택하는 과정;
    상기 선택된 어플리케이션 데이터를 상기 제2 디바이스와 관련된 하드웨어 및 소프트웨어로 전송하는 과정; 및
    상기 선택된 어플리케이션 데이터의 실행, 저장, 표시 중 적어도 어느 하나를 상기 제2 디바이스에서 수행하는 과정;
    을 포함하며,
    상기 적어도 하나의 3차원 동작 감지 입력 디바이스는 제스처 검출 하드웨어 및 소프트웨어를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 3차원 동작 감지 입력 디바이스는 다른 하드웨어에 포함되어 상기 네트워크에 위치하거나 독립형 디바이스로서 상기 네트워크에 위치하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 3차원 동작 감지 입력 디바이스는 모바일 디바이스에 포함되는 것을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 검출된 제스처는 사용자에 의해 수행되는 잡는 제스처(grabbing gesture) 및 던지는 제스처(throwing gesture)를 포함하는 것을 특징으로 하는 방법.
  5. 제4항에 있어서,
    상기 잡는 제스처는 상기 제1 디바이스로부터 미리 정의된 거리 내에서 상기 제1 디바이스와 직교 방향으로 발생하며, 상기 던지는 제스처는 상기 제2 디바이스로부터 미리 정의된 거리 내에서 상기 제2 디바이스와 직교 방향으로 발생하는 것을 특징으로 하는 방법.
  6. 제4항에 있어서,
    상기 잡는 제스처는 꽉 쥔 동작(fist-clenching motion)을 포함하며, 상기 던지는 제스처는 백핸드 스윙 동작(back-hand swinging motion)을 포함하는 것을 특징으로 하는 방법.
  7. 제4항에 있어서,
    상기 잡는 제스처는 집는 제스처(pinching gesture) 또는 두드리는 제스처(tapping gesture)를 포함하며, 상기 던지는 제스처는 오버핸드 제스처(overhand gesture)를 포함하는 것을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 던지는 제스처의 상기 제2 디바이스에 대한 방향 및 거리에 기초하여 상기 제2 디바이스를 결정하는 과정;을 더 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서,
    상기 어플리케이션 데이터는 상기 제1 디바이스에 표시되는 소프트웨어 어플리케이션을 포함하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서,
    상기 제1 디바이스에 관련된 상기 하드웨어는 개인용 컴퓨터, 네트워크 서버, 또는 모바일 디바이스이고, 상기 제2 디바이스에 관련된 상기 하드웨어는 개인용 컴퓨터, 네트워크 서버, 또는 모바일 디바이스인 것을 특징으로 하는 방법.
  11. 네트워크 시스템에 있어서,
    다수의 상호 연결된 하드웨어;
    3차원 제스처 검출을 위한 제스처 검출 하드웨어 및 소프트웨어를 포함하는 3차원 동작 감지 입력 디바이스;
    상기 검출된 제스처를 토대로, 상기 네트워크의 제1 디바이스에 실행되거나 저장되거나 표시되는 어플리케이션에 대응하며 상기 네트워크의 제2 디바이스로 전송될 어플리케이션 데이터를 선택하기 위한 선택부; 및
    상기 선택된 어플리케이션 데이터를 상기 제2 디바이스와 관련된 하드웨어 및 소프트웨어로 전송하기 위한 전송부;
    를 포함하며,
    상기 적어도 하나의 상호 연결된 하드웨어는 상기 선택된 어플리케이션 데이터의 실행, 저장, 표시 중 적어도 어느 하나를 상기 제2 디바이스에서 수행하는 것을 특징으로 하는 네트워크 시스템.
  12. 제11항에 있어서,
    상기 적어도 하나의 3차원 동작 감지 입력 디바이스 중 적어도 하나를 통합하는 적어도 하나의 하드웨어를 더 포함하는 것을 특징으로 하는 네트워크 시스템.
  13. 제11항에 있어서,
    상기 적어도 어느 하나의 3차원 동작 감지 입력 디바이스는 독립형 디바이스로서 네트워크에 위치하는 것을 특징으로 하는 네트워크 시스템.
  14. 제12항에 있어서,
    상기 적어도 하나의 3차원 동작 감지 입력 디바이스는 모바일 디바이스에 통합되는 것을 특징으로 하는 네트워크 시스템.
  15. 제11항에 있어서,
    적어도 하나의 3차원 동작 감지 입력 디바이스에 의해 검출된 상기 제스처는 사용자에 의해 수행되는 잡는 제스처(grabbing gesture) 및 던지는 제스처(throwing gesture)를 포함하는 것을 특징으로 하는 네트워크 시스템.
  16. 제15항에 있어서,
    상기 적어도 하나의 3차원 동작 감지 입력 디바이스에 의해 검출된 상기 잡는 제스처는 꽉 쥔 동작(fist-clenching motion)을 포함하며, 상기 던지는 제스처는 백핸드 스윙 동작(back-hand swinging motion)을 포함하는 것을 특징으로 하는 네트워크 시스템.
  17. 제15항에 있어서,
    상기 적어도 하나의 3차원 동작 감지 입력 디바이스에 의해 검출된 상기 잡는 제스처는 집는 제스처(pinching gesture) 또는 두드리는 제스처(tapping gesture)를 포함하며, 상기 던지는 제스처는 오버핸드 제스처(overhand gesture)를 포함하는 것을 특징으로 하는 네트워크 시스템.
  18. 제16항에 있어서,
    상기 던지는 제스처의 상기 제2 디바이스에 대한 방향 및 거리에 기초하여 상기 제2 디바이스를 결정하는 것을 특징으로 하는 네트워크 시스템.
  19. 제11항에 있어서,
    상기 어플리케이션 데이터는 상기 제1 디바이스에 표시되는 소프트웨어 어플리케이션을 포함하는 것을 특징으로 하는 네트워크 시스템.
  20. 제11항에 있어서,
    상기 제1 디바이스에 관련된 상기 하드웨어는 개인용 컴퓨터, 네트워크 서버, 또는 모바일 디바이스이고, 상기 제2 디바이스에 관련된 상기 하드웨어는 개인용 컴퓨터, 네트워크 서버, 또는 모바일 디바이스인 것을 특징으로 하는 네트워크 시스템.













KR1020130133047A 2013-01-11 2013-11-04 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법 KR102135052B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/739,934 2013-01-11
US13/739,934 US9910499B2 (en) 2013-01-11 2013-01-11 System and method for detecting three dimensional gestures to initiate and complete the transfer of application data between networked devices

Publications (2)

Publication Number Publication Date
KR20140091439A true KR20140091439A (ko) 2014-07-21
KR102135052B1 KR102135052B1 (ko) 2020-07-17

Family

ID=49683573

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130133047A KR102135052B1 (ko) 2013-01-11 2013-11-04 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법

Country Status (5)

Country Link
US (1) US9910499B2 (ko)
EP (1) EP2755111A3 (ko)
KR (1) KR102135052B1 (ko)
CN (1) CN103929464B (ko)
AU (1) AU2013260700A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5768347B2 (ja) 2010-09-07 2015-08-26 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
US8171137B1 (en) 2011-05-09 2012-05-01 Google Inc. Transferring application state across devices
US10404615B2 (en) 2012-02-14 2019-09-03 Airwatch, Llc Controlling distribution of resources on a network
US9680763B2 (en) 2012-02-14 2017-06-13 Airwatch, Llc Controlling distribution of resources in a network
US20140280955A1 (en) 2013-03-14 2014-09-18 Sky Socket, Llc Controlling Electronically Communicated Resources
US9401915B2 (en) * 2013-03-15 2016-07-26 Airwatch Llc Secondary device as key for authorizing access to resources
US9526120B2 (en) 2013-03-15 2016-12-20 Google Inc. Techniques for context-based application invocation for short-range wireless communication interactions
US9417704B1 (en) 2014-03-18 2016-08-16 Google Inc. Gesture onset detection on multiple devices
US10782657B2 (en) * 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
EP2961209A1 (en) * 2014-06-25 2015-12-30 Thomson Licensing Method and device for pairing devices
CN104244055B (zh) * 2014-08-29 2018-08-21 苏州触达信息技术有限公司 多媒体设备有效空间范围内实时交互方法
CN104182052A (zh) * 2014-09-05 2014-12-03 苏州触达信息技术有限公司 多媒体设备有效空间范围内快速交互方法
US9584964B2 (en) 2014-12-22 2017-02-28 Airwatch Llc Enforcement of proximity based policies
CN104571503B (zh) * 2014-12-22 2018-01-05 苏州触达信息技术有限公司 空间内多媒体设备群的交互控制方法
CN104536576B (zh) * 2015-01-12 2017-05-31 苏州触达信息技术有限公司 基于超声波的同一平面内多媒体设备间手势交互方法
US9672418B2 (en) 2015-02-06 2017-06-06 King Fahd University Of Petroleum And Minerals Arabic sign language recognition using multi-sensor data fusion
US10534852B2 (en) * 2015-09-30 2020-01-14 Samsung Display Co., Ltd. Display system and virtual web device in the cloud
US20170164162A1 (en) * 2015-12-08 2017-06-08 Nissim Zur LumenGlow™ virtual switch
US11188143B2 (en) * 2016-01-04 2021-11-30 Microsoft Technology Licensing, Llc Three-dimensional object tracking to augment display area
CN105786388A (zh) * 2016-03-02 2016-07-20 惠州Tcl移动通信有限公司 一种基于近距离感应的应用控制方法、系统及移动终端
JP6360112B2 (ja) 2016-07-27 2018-07-18 京セラ株式会社 電子機器
CN109413257B (zh) * 2016-12-20 2021-02-19 国基电子（上海）有限公司 电子装置及其数据分享方法
US10795450B2 (en) * 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
JP2018018549A (ja) * 2017-11-01 2018-02-01 京セラ株式会社 電子機器
EP3502835A1 (en) * 2017-12-20 2019-06-26 Nokia Technologies Oy Gesture control of a data processing apparatus
CN113762667B (zh) * 2020-08-13 2024-07-19 北京京东振世信息技术有限公司 一种车辆调度方法和装置
CN112272191B (zh) * 2020-11-16 2022-07-12 Oppo广东移动通信有限公司 数据转移方法及相关装置
US12032736B2 (en) * 2022-02-23 2024-07-09 International Business Machines Corporation Gaze based text manipulation
WO2023211844A1 (en) * 2022-04-25 2023-11-02 Apple Inc. Content transfer between devices
US20240171534A1 (en) 2022-11-23 2024-05-23 Music Makes Us Feels, Llc Multimedia messaging apparatuses and methods for sending multimedia messages

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020016629A (ko) * 1999-05-25 2002-03-04 실버브룩 키아 네트워크 발행 승인 프로토콜
US20120144073A1 (en) * 2005-04-21 2012-06-07 Sun Microsystems, Inc. Method and apparatus for transferring digital content
US20120296979A1 (en) * 2011-05-19 2012-11-22 Konica Minolta Business Technologies, Inc. Conference system, conference management apparatus, method for conference management, and recording medium

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020120728A1 (en) 2000-12-22 2002-08-29 Jason Braatz Method and apparatus for network-enablement of devices using device intelligence and network architecture
US20060256008A1 (en) 2005-05-13 2006-11-16 Outland Research, Llc Pointing interface for person-to-person information exchange
US20060241864A1 (en) 2005-04-22 2006-10-26 Outland Research, Llc Method and apparatus for point-and-send data transfer within an ubiquitous computing environment
DE102006037156A1 (de) 2006-03-22 2007-09-27 Volkswagen Ag Interaktive Bedienvorrichtung und Verfahren zum Betreiben der interaktiven Bedienvorrichtung
US7725547B2 (en) * 2006-09-06 2010-05-25 International Business Machines Corporation Informing a user of gestures made by others out of the user's line of sight
KR20100041006A (ko) 2008-10-13 2010-04-22 엘지전자 주식회사 3차원 멀티 터치를 이용한 사용자 인터페이스 제어방법
US8312392B2 (en) * 2009-10-02 2012-11-13 Qualcomm Incorporated User interface gestures and methods for providing file sharing functionality
US8756532B2 (en) 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
WO2012021902A2 (en) * 2010-08-13 2012-02-16 Net Power And Light Inc. Methods and systems for interaction through gestures
US9778747B2 (en) 2011-01-19 2017-10-03 Hewlett-Packard Development Company, L.P. Method and system for multimodal and gestural control
US20120198353A1 (en) 2011-01-28 2012-08-02 Microsoft Corporation Transferring data using a physical gesture
CN102387131B (zh) 2011-08-24 2014-12-10 陈飞 一种基于无线网络和云数据中心的处理系统
US9557819B2 (en) * 2011-11-23 2017-01-31 Intel Corporation Gesture input with multiple views, displays and physics
US20130219278A1 (en) * 2012-02-20 2013-08-22 Jonathan Rosenberg Transferring of Communication Event
US9086732B2 (en) * 2012-05-03 2015-07-21 Wms Gaming Inc. Gesture fusion
US20140188989A1 (en) * 2012-12-27 2014-07-03 Google Inc. Exchanging content across multiple devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020016629A (ko) * 1999-05-25 2002-03-04 실버브룩 키아 네트워크 발행 승인 프로토콜
US20120144073A1 (en) * 2005-04-21 2012-06-07 Sun Microsystems, Inc. Method and apparatus for transferring digital content
US20120296979A1 (en) * 2011-05-19 2012-11-22 Konica Minolta Business Technologies, Inc. Conference system, conference management apparatus, method for conference management, and recording medium

Also Published As

Publication number Publication date
CN103929464A (zh) 2014-07-16
EP2755111A3 (en) 2016-10-19
KR102135052B1 (ko) 2020-07-17
EP2755111A2 (en) 2014-07-16
US9910499B2 (en) 2018-03-06
AU2013260700A1 (en) 2014-07-31
CN103929464B (zh) 2019-02-19
US20140198024A1 (en) 2014-07-17

Similar Documents

Publication Publication Date Title
KR102135052B1 (ko) 네트워크 디바이스 간의 어플리케이션 데이터 전송 개시 및 완료를 위한 3차원 제스처 검출 시스템 및 방법
TWI633460B (zh) 使用者裝置之物件控制方法及其設備
EP2526474B1 (en) Using a gesture to transfer an object across multiple multi-touch devices
US10299110B2 (en) Information transmission method and system, device, and computer readable recording medium thereof
TWI498746B (zh) 在使用者設備間無線分享資料之系統與方法
US9208001B2 (en) Object mediated data transfer between electronic devices
KR102015534B1 (ko) 복수의 단말들간의 메시지 싱크 방법, 기계로 읽을 수 있는 저장 매체 및 서버
EP3182265B1 (en) Mobile terminal and method for controlling the same
TW201239675A (en) Handheld devices, and related data transmission methods
EP2753053B1 (en) Method and apparatus for dynamic display box management
WO2021104255A1 (zh) 文件管理方法及电子设备
KR102405113B1 (ko) 디바이스 간의 복사하기 및 붙이기
WO2020088268A1 (zh) 桌面图标的整理方法及终端
JP6433923B2 (ja) デバイスへの特定のオブジェクト位置の提供
US12028476B2 (en) Conversation creating method and terminal device
CN110768804A (zh) 一种群组创建方法及终端设备
CA2808642C (en) Object mediated data transfer between electronic devices
WO2020238357A1 (zh) 图标显示方法及终端设备
CN109471841B (zh) 一种文件分类方法和装置
CN109542311A (zh) 一种文件处理方法及电子设备
CN107102754A (zh) 终端控制方法及装置、存储介质
WO2014207288A1 (en) User interfaces and associated methods for controlling user interface elements
CN111143300A (zh) 文件压缩方法及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant