KR20140057086A - 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스 - Google Patents

객체와 관련된 정보 제공 방법 및 이를 위한 디바이스 Download PDF

Info

Publication number
KR20140057086A
KR20140057086A KR1020120123753A KR20120123753A KR20140057086A KR 20140057086 A KR20140057086 A KR 20140057086A KR 1020120123753 A KR1020120123753 A KR 1020120123753A KR 20120123753 A KR20120123753 A KR 20120123753A KR 20140057086 A KR20140057086 A KR 20140057086A
Authority
KR
South Korea
Prior art keywords
user
gesture
content
image
predetermined
Prior art date
Application number
KR1020120123753A
Other languages
English (en)
Other versions
KR102001218B1 (ko
Inventor
은동진
문춘경
박다혜
이상일
천가원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120123753A priority Critical patent/KR102001218B1/ko
Priority to PCT/KR2013/009722 priority patent/WO2014069891A1/en
Priority to EP13191040.8A priority patent/EP2728444B1/en
Priority to US14/069,882 priority patent/US9836128B2/en
Publication of KR20140057086A publication Critical patent/KR20140057086A/ko
Application granted granted Critical
Publication of KR102001218B1 publication Critical patent/KR102001218B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00352—Input means
    • H04N1/00392—Other manual input means, e.g. digitisers or writing tablets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00411—Display of information to the user, e.g. menus the display also being used for user input, e.g. touch screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00519—Constructional details not otherwise provided for, e.g. housings, covers
    • H04N1/00564—Constructional details relating to ergonomic aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077—Types of the still picture apparatus
    • H04N2201/0089—Image display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

제 1 디바이스가 소정 영역에 위치하는 객체(Object)에 대한 사용자의 기 설정된 제스처를 감지하는 단계; 감지된 기 설정된 제스처에 따라 객체와 관련된 컨텐츠를 획득하는 단계; 및 제 1 디바이스와 네트워크로 연결된 제 2 디바이스로 획득된 컨텐츠를 전송하는 단계를 포함하고, 상기 컨텐츠는 제 2 디바이스에서 출력되는 것을 특징으로 하는 정보 제공 방법을 개시한다.

Description

객체와 관련된 정보 제공 방법 및 이를 위한 디바이스{METHOD AND DEVICE FOR PROVIDING INFORMATION REGARDING THE OBJECT}
본 발명은 객체(Object)에 관한 사용자의 제스처를 감지하고, 감지된 사용자의 제스처에 따라 객체와 관련된 정보를 기 결정된 디바이스를 통해 제공하는 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스에 관한 것이다.
최근 컴퓨터의 소형화와 기기간 네트워크의 발달로 유비쿼터스 컴퓨팅(Ubiquitous computing) 환경이 구축되어 가고 있다. 근 미래에는 가정 또는 사무실과 같은 공간 내의 주변 사물에도 컴퓨터가 내장되어 인간의 삶을 풍요롭게 할 것이다. 이러한 변화의 결과 기존에는 디지털 시스템과 연동될 수 없었던 일반 사물(특히 종이나 책)과의 직접적인 인터렉션이 필요할 수 있다.
현재는 사용자가 종이에 적혀있는 정보를 모바일 기기에 저장하고자 하는 경우, 사용자가 모바일 기기의 카메라를 구동시켜 종이에 적혀있는 정보를 촬영하고, 모바일 기기가 촬영된 영상을 후처리하여 저장해야 한다. 또는, 사용자가 스캐너 등을 통해 종이에 적혀있는 정보를 PC에 인식시키고, PC가 인식된 정보를 후처리하여 모바일 기기로 전송하는 등의 복잡한 과정을 거쳐야 한다. 따라서, 일반 사물(특히 종이나 책)과 디지털 기기간의 직접적이고 간편한 인터렉션을 제공하는 시스템이 필요하다.
본 발명은 제 1 디바이스가 객체(Object)에 관한 사용자의 제스처를 감지하고, 감지된 사용자의 제스처에 따라 객체와 관련된 정보를 제 1 디바이스와 네트워크로 연결된 제 2 디바이스를 통해 사용자에게 제공하는 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스를 제공한다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 제 1 디바이스가 소정 영역에 위치하는 객체(Object)에 대한 사용자의 기 설정된 제스처를 감지하는 단계; 감지된 기 설정된 제스처에 따라 객체와 관련된 컨텐츠를 획득하는 단계; 및 제 1 디바이스와 네트워크로 연결된 제 2 디바이스로 획득된 컨텐츠를 전송하는 단계를 포함하고, 상기 컨텐츠는 제 2 디바이스에서 출력될 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 객체의 이미지를 캡쳐하는 단계; 및 캡쳐된 객체의 이미지에 기초하여, 객체를 식별하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 캡쳐된 객체의 이미지를 메타데이터로 하여 객체에 관한 정보를 메모리 또는 외부 서버에서 검색하는 단계를 포함할 수 있따.
본 발명의 일 실시예에 따른 정보 제공 방법은, 객체에 포함된 마커를 인식하는 단계; 및 인식된 마커에 기초하여, 객체를 식별하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 마커는, 1차원 바코드, 2차원 바코드, 3차원 바코드, 및 컬러코드 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 영상 입력 장치를 이용하여 기 설정된 제스처를 감지하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 객체의 전체 또는 일부 영역을 선택하는 사용자의 기 설정된 제스처를 감지하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 선택된 객체의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 캡쳐하는 단계; 및 캡쳐된 제 1 컨텐츠를 제 2 디바이스로 전송하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 선택된 객체의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 캡쳐하는 단계; 캡쳐된 제 1 컨텐츠에 대응하는 제 2 컨텐츠를 추출하는 단계; 및 추출된 제 2 컨텐츠를 제 2 디바이스로 전송하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 객체에 포함된 복수의 이미지 중 적어도 하나의 이미지를 터치하여, 제 2 디바이스가 위치한 곳으로 드래그하는 사용자의 제스처를 감지하는 단계; 및 터치된 적어도 하나의 이미지를 제 2 디바이스로 전송하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 객체의 전체 또는 일부 영역에 표시된 텍스트를 소정 언어로 번역 요청하는 사용자의 제스처를 감지하는 단계; 텍스트가 소정 언어로 번역된 컨텐츠를 획득하는 단계; 및 번역된 컨텐츠를 제 2 디바이스로 전송하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 객체에 표시된 외부 디바이스의 연결 식별 정보를 선택하는 사용자의 제스처를 감지하는 단계; 및 연결 식별 정보에 기초하여 외부 디바이스로 연결을 요청하라는 제어 명령을 제 2 디바이스로 전송하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 외부 디바이스의 연결 식별 정보는, 전화 번호, 이메일 주소, SNS 주소, 및 웹사이트 주소 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 정보 제공 방법은, 제 2 디바이스를 인식하는 단계; 및 인식된 제 2 디바이스와 네트워크를 형성하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 객체(Object)에 관한 정보를 제공하는 제 1 디바이스는, 소정 영역에 위치하는 객체에 대한 사용자의 기 설정된 제스처를 감지하는 감지부; 감지된 기 설정된 제스처에 따라 객체와 관련된 컨텐츠를 획득하는 제어부; 및 제 1 디바이스와 네트워크로 연결된 제 2 디바이스로 획득된 컨텐츠를 전송하는 통신부를 포함할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 제어부는, 영상 입력 장치를 통해 객체의 이미지를 캡쳐하고, 캡쳐된 객체의 이미지에 기초하여 객체를 식별할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 제어부는, 캡쳐된 객체의 이미지를 메타데이터로 하여 객체에 관한 정보를 메모리 또는 외부 서버에서 검색할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 감지부는, 객체에 포함된 마커를 인식하고, 본 발명의 일 실시예에 따른 제 1 디바이스의 제어부는, 인식된 마커에 기초하여, 객체를 식별할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 감지부는, 객체의 전체 또는 일부 영역을 선택하는 사용자의 기 설정된 제스처를 감지할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 제어부는, 선택된 객체의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 영상 입력 장치를 통해 캡쳐하고, 본 발명의 일 실시예에 따른 제 1 디바이스의 통신부는, 캡쳐된 제 1 컨텐츠를 제 2 디바이스로 전송할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 제어부는, 선택된 객체의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 영상 입력 장치를 통해 캡쳐하고, 캡쳐된 제 1 컨텐츠에 대응하는 제 2 컨텐츠를 추출하고, 본 발명의 일 실시예에 따른 제 1 디바이스의 통신부는, 추출된 제 2 컨텐츠를 제 2 디바이스로 전송할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 감지부는, 객체에 포함된 복수의 이미지 중 적어도 하나의 이미지를 터치하여, 제 2 디바이스가 위치한 곳으로 드래그하는 사용자의 제스처를 감지하고, 본 발명의 일 실시예에 따른 제 1 디바이스의 통신부는, 적어도 하나의 이미지를 제 2 디바이스로 전송할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 감지부는, 객체의 전체 또는 일부 영역에 표시된 텍스트를 소정 언어로 번역 요청하는 사용자의 제스처를 감지하고, 본 발명의 일 실시예에 따른 제 1 디바이스의 제어부는, 텍스트가 소정 언어로 번역된 컨텐츠를 획득하고, 본 발명의 일 실시예에 따른 제 1 디바이스의 통신부는, 번역된 컨텐츠를 제 2 디바이스로 전송할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 감지부는, 객체에 표시된 외부 디바이스의 연결 식별 정보를 선택하는 사용자의 제스처를 감지하고, 본 발명의 일 실시예에 따른 제 1 디바이스의 통신부는, 연결 식별 정보에 기초하여 외부 디바이스로 연결을 요청하라는 제어 명령을 제 2 디바이스로 전송할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스의 감지부는, 제 2 디바이스를 인식하고, 본 발명의 일 실시예에 따른 제 1 디바이스의 제어부는, 인식된 제 2 디바이스와 네트워크를 형성할 수 있다.
도 1은 본 발명의 일 실시예와 관련된 정보 제공 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예와 관련된 객체에 관한 정보 제공 방법을 설명하기 위한 순서도이다.
도 3은 본 발명의 일 실시예와 관련된 사용자의 제스처에 기초하여 객체에 관한 정보를 제공 하는 방법을 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시예와 관련된 제 1 디바이스가 제 2 디바이스를 인식하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예와 관련된 제 2 디바이스가 객체 내에서 사용자에 의해 선택된 특정 영역에 대응하는 컨텐츠를 표시하는 화면을 나타내는 도면이다.
도 6은 본 발명의 일 실시예와 관련된 제 2 디바이스가 객체 내에서 사용자에 의해 선택된 특정 이미지를 표시하는 화면을 나타내는 도면이다.
도 7은 본 발명의 일 실시예와 관련된 객체에 표시된 복수의 이미지 중 적어도 하나의 이미지를 선택하는 제스처를 나타내는 도면이다.
도 8은 본 발명의 일 실시예와 관련된 객체 내의 특정 영역에 표시된 텍스트를 소정 언어로 번역한 번역 컨텐츠를 제공하는 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 일 실시예와 관련된 제 2 디바이스가 객체 내의 특정 영역에 표시된 텍스트를 번역한 번역 컨텐츠를 표시하는 화면이다.
도 10은 본 발명의 일 실시예와 관련된 제 1 디바이스가 객체에 표시된 외부 디바이스의 연결 식별 정보를 선택하는 사용자의 제스처를 감지함에 따라 제 2 디바이스가 외부 디바이스로 연결을 요청하는 방법을 설명하기 위한 순서도이다.
도 11은 본 발명의 일 실시예와 관련된 제 1 디바이스가 명함에 표시된 휴대폰 번호를 선택하는 사용자의 제스처를 감지함에 따라, 제 2 디바이스가 외부 디바이스로 통화 연결을 요청하는 화면을 나타내는 도면이다.
도 12는 본 발명의 일 실시예에 따른 제 1 디바이스의 구성을 설명하기 위한 블록 구성도이다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서 “객체(object)”는 통신 모듈을 포함하지 않는 즉, 외부의 기기와 유무선 통신을 할 수 없는 일반적인 사물을 의미한다. 예를 들어, 본 발명의 일 실시예에 따른 객체(Object)는 디지털 기능을 갖지 않는 아날로그적인 종이, 책, 앨범, 서류, 사진, 그림, 컵, 거울, 지갑, 종이 달력 등을 있을 수 있으며, 이에 한정되는 것은 아니다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 일 실시예와 관련된 정보 제공 시스템을 나타내는 도면이다.
도 1a에 도시된 바와 같이, 본 발명의 일 실시예에 따른 정보 제공 시스템은 제 1 디바이스(100), 제 2 디바이스(200), 객체(300)를 포함할 수 있다. 그러나 도시된 구성요소가 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 정보 제공 시스템이 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 정보 제공 시스템은 구현될 수 있다. 예를 들어, 정보 제공 시스템은, 제 1 디바이스(100)와 제 2 디바이스(200)를 연결하기 위한 외부 서버를 더 포함할 수도 있다.
제 1 디바이스(100)는 제 2 디바이스(200)와 유무선으로 연결될 수 있다. 특히, 본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 제 2 디바이스(200)와 근거리 통신(short-range wireless communication)을 통해 연결될 수 있다. 근거리 통신의 예로, 무선 랜(Wi-Fi), NFC(Near Field Communication), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
제 1 디바이스(100)는 객체(300)를 인지하고, 인지된 객체(300)를 다른 객체와 구별할 수 있다. 또한, 본 발명의 일 실시예에 따른 제 1 디바이스(100)는 객체(300)에 대한 사용자의 제스처를 감지할 수도 있다. 도 1b를 참조하기로 한다.
도 1b에 도시된 바와 같이, 제 1 디바이스(100)는 영상 입력 장치(111)를 통해 객체(300)에 대한 사용자의 제스처를 감지할 수 있다. 영상 입력 장치(111)는 2D 카메라 또는 3D 카메라일 수 있다. 또한, 영상 입력 장치(111)의 일례로 깊이 카메라(depth camera), 다시점 카메라(Multi-view Camera) 등이 있을 수 있다. 본 발명의 일 실시예에 따른 사용자의 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 플릭, 드래그 앤드 드롭, 핀치 등이 있을 수 있다.
"탭(tap)"은 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 객체를 터치한 후 움직이지 않은 채 객체에서 즉시 들어올리는 동작을 나타낸다. "더블 탭(double tap)"은 사용자가 손가락이나 터치 도구(stylus)를 이용하여 객체를 두 번 터치하는 동작을 나타낸다.
"터치&홀드(touch & hold)"는 사용자가 손가락이나 터치 도구(예컨대, 전자 펜)를 이용하여 객체를 터치한 후 임계 시간(예컨대, 2초) 이상 터치 입력을 유지하는 동작을 나타낸다. 즉, 터치-인 시점과 터치-아웃 시점 간의 시간 차이가 임계 시간(예컨대, 2초) 이상인 경우를 의미한다. 터치 입력이 탭인지 터치&홀드인지를 사용자에게 인식시키도록 하기 위하여 터치 입력이 임계 시간 이상 유지되면 시각적 또는 청각적으로 피드백 신호를 제공할 수도 있다. 상기 임계 시간은 구현 예에 따라서 변경될 수 있다.
"드래그(drag)"는 사용자가 손가락이나 터치 도구를 객체에 터치한 후 터치를 유지한 상태에서 손가락이나 터치 도구를 객체 내의 다른 위치로 이동시키는 동작을 의미한다.
"플릭(flick)"은 사용자가 손가락이나 터치 도구를 이용하여 임계 속도(예컨대, 100 pixel/s) 이상으로 드래그하는 동작을 나타낸다. "드래그 앤드 드롭(drag & drop)"은 사용자가 손가락이나 터치 도구를 이용해 오브젝트를 소정 위치에 드래그한 후 놓는 동작을 의미한다.
“핀치(pinch)”는 사용자가 두 손가락을 화면 위에 터치한 상태에서 서로 다른 방향으로 움직이는 동작을 나타낸다.
제 2 디바이스(200)는, 네트워크로 연결된 제 1 디바이스(100)로부터 객체(300)와 관련된 컨텐츠를 수신할 수 있다. 또한, 제 2 디바이스(200)는, 제 1 디바이스(100)로부터 수신한 컨텐츠를 화면에 출력할 수도 있다. 즉, 본 발명의 일 실시예에 따른 제 2 디바이스(200)는 통신부, 출력부(예컨대, 디스플레이부, 음향 출력부, 진동 모터 등), 제어부, 메모리, 사용자 입력부 등을 포함할 수 있다.
제 2 디바이스(200)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 제 2 디바이스(200)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어, 디지털 카메라 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
이하에서는 도 2를 참조하여 제 1 디바이스(100) 및 제 2 디바이스(200)가 사용자의 제스처에 따라 객체(300)와 관련된 정보를 사용자에게 제공하는 방법에 대해서 구체적으로 살펴보기로 한다.
도 2는 본 발명의 일 실시예와 관련된 객체에 관한 정보 제공 방법을 설명하기 위한 순서도이다.
단계 210에서, 제 1 디바이스(100)는 소정 영역에 위치하는 객체(300)에 대한 사용자의 기 설정된 제스처를 감지할 수 있다. 소정 영역은, 제 1 디바이스(100)가 객체(300) 및 객체(300)에 대한 사용자의 제스처를 감지할 수 있는 영역을 의미한다. 예를 들어, 소정 영역은 제 1 디바이스(100)의 영상 입력 장치(111)가 객체(300)에 대한 영상을 획득할 수 있는 영역(즉, 영상 입력 장치(111)의 촬영 가능 영역)일 수 있다.
제 1 디바이스(100)는 영상 입력 장치(111)(예컨대, 깊이 카메라)를 이용하여 사용자의 기 설정된 제스처를 감지할 수 있다. 기 설정된 제스처에는, 객체(300)의 전체 또는 일부 영역을 선택하는 제스처, 선택 영역에 대한 캡쳐를 요청하는 제스처, 선택 영역에 대한 검색을 요청하는 제스처, 선택 영역에 대한 번역을 요청하는 제스처, 전화 연결을 요청하는 제스처 등이 있을 수 있다.
한편, 본 발명의 다른 실시예에 의하면, 제 1 디바이스(100)는 전자펜을 통해 사용자의 기 설정된 제스처를 인식할 수도 있다. 예를 들어, 사용자가 전자펜을 이용하여 특수한 패턴이 인쇄된 종이 위에 선을 그려 일정 영역을 선택하는 경우, 전자펜은 사용자가 선택한 일정 영역에 대한 좌표 정보를 제 1 디바이스(100)로 전송할 수 있다. 이 경우, 제 1 디바이스(100)는 전자펜으로부터 수신한 좌표 정보에 기초하여, 사용자가 선택한 영역을 식별할 수 있다.
본 발명의 또 다른 실시예에 의하면, 제 1 디바이스(100)는 음성 입력 장치(예컨대, 마이크로폰)를 통해 객체(300)에 관한 사용자의 음성 제스처를 인식할 수도 있다.
단계 220에서, 제 1 디바이스(100)는, 사용자의 기 설정된 제스처에 따라 객체(300)와 관련된 컨텐츠를 획득할 수 있다. 본 발명의 일 실시예에 따른 컨텐츠는 이미지, 및 텍스트 중 적어도 하나를 포함할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스(100)는 객체(300)와 관련된 컨텐츠를 직접 생성할 수도 있고, 외부 또는 메모리로부터 추출할 수도 있다. 예를 들어, 제 1 디바이스(100)는, 사용자의 기 설정된 제스처에 따라 선택된 객체(300)의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 캡쳐하여, 객체(300)에 관한 영상 컨텐츠를 생성할 수 있다. 또한, 제 1 디바이스(100)는 캡쳐된 제 1 컨텐츠를 메타데이터로 하여 웹 서버 또는 메모리에서 제 1 컨텐츠에 대응하는 제 2 컨텐츠(예컨대, 원본 컨텐츠)를 추출(또는 검색)할 수도 있다.
단계 230에서, 제 1 디바이스(100)는, 제 1 디바이스(100)와 네트워크로 연결된 제 2 디바이스(200)로 객체(300)와 관련된 컨텐츠를 전송할 수 있다. 본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 근거리 통신(예컨대, 와이파이, 블루투스 등)을 통해 제 2 디바이스(200)로 객체(300)와 관련된 컨텐츠를 전송할 수 있다. 이때, 객체(300)와 관련된 컨텐츠는 제 2 디바이스(200)에서 출력될 수 있다. 제 2 디바이스(200)는 객체(300)와 관련된 컨텐츠를 비디오 신호, 오디오 신호, 및 진동 신호 중 적어도 하나를 이용하여 출력할 수 있다.
따라서, 본 발명의 일 실시예에 따른 제 1 디바이스(100)는 일반적인 객체(300)에 관한 사용자의 제스처를 감지하고, 사용자의 제스처에 대응하는 컨텐츠를 제 2 디바이스(200)로 제공하여 줌으로써, 아날로그 장치인 객체(300)가 디지털 장치인 제 2 디바이스(200)와 연동하는 것과 같은 경험을 사용자에게 제공할 수 있게 된다.
이하에서는 도 3을 참조하여 본 발명의 일 실시예에 따른 제 1 디바이스(100)가 사용자의 제스처를 감지하여 객체(300)와 관련된 정보를 제공하는 방법에 대해서 좀 더 자세히 살펴보기로 한다.
도 3은 본 발명의 일 실시예와 관련된 사용자의 제스처에 기초하여 객체에 관한 정보를 제공 하는 방법을 설명하기 위한 순서도이다.
단계 310에서, 제 1 디바이스(100)와 제 2 디바이스(200)는 네트워크로 연결될 수 있다. 본 발명의 일 실시예에 의하면, 제 1 디바이스(100)가 제 2 디바이스(200)에 연결을 요청할 수도 있고, 제 1 디바이스(100)가 제 2 디바이스(200)로부터 연결 요청을 수신할 수도 있다.
예를 들어, 본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 기 설정된 위치에 존재하는 제 2 디바이스(200)의 마커를 인식할 수 있다. 제 2 디바이스(200)의 마커는 제 2 디바이스(200)의 식별 정보를 포함하고 있는 것으로, 제 2 디바이스(200)의 마커에는 바코드(1차원 바코드, 2차원 바코드, 3차원 바코드), 컬러 코드, BLE(Bluetooth Low Energy) 태그 등이 있을 수 있다. BLE 태그는 BLE 통신을 통해서 식별 정보를 외부로 브로드캐스팅할 수 있다.
제 1 디바이스(100)는 제 2 디바이스(200)의 마커에 기초하여 제 2 디바이스(200)를 식별한 후, 제 2 디바이스(200)의 식별 정보에 대응하는 제 2 디바이스(200)의 연결 정보를 추출할 수 있다. 그리고 제 1 디바이스(100)는 제 2 디바이스(200)의 연결 정보에 따라 제 2 디바이스(200)로 연결을 요청할 수 있다.
제 2 디바이스(200)의 연결 정보에는, 제 2 디바이스(200)의 통신 방식, 제 2 디바이스(200)가 이용하는 무선랜의 연결 정보(SSID, IP 주소, MAC 주소, 채널 번호, 보안 키 등), 제 2 디바이스(200)의 맥 주소, 제 2 디바이스(200)의 블루투스 어드레스(BT Address), 제 2 디바이스(200)의 기기명(Product Name), 제 2 디바이스(200)의 프로파일(Profile) 정보 등이 있을 수 있다. 통신 방식에는 무선 랜(애드혹 모드 또는 인프라 스트럭쳐 모드), 블루투스, 지그비, WFD, UWB 등이 있을 수 있다.
한편, 본 발명의 또 다른 실시예에 의하면, 사용자가 제 2 디바이스(200)를 기 설정된 위치에 놓는 경우, 제 2 디바이스(200)는 소정 영역에 위치하는 NFC 태그로부터 제 1 디바이스(100)와 연결하기 위한 정보를 수신할 수 있다. 이때, 제 2 디바이스(200)는 제 1 디바이스(100)에 통신 연결을 요청할 수 있다. 제 1 디바이스(100)는 제 2 디바이스(200)로부터 수신된 연결 요청에 기초하여, 제 2 디바이스(200)와 통신을 연결할 수 있다. 이에 관하여는 도 4를 참조하여 후에 좀 더 살펴 보기로 한다.
단계 320에서, 제 1 디바이스(100)는, 소정 영역에 위치하는 객체(300)를 식별할 수 있다.
본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 객체(300)의 이미지를 영상 입력 장치(111)를 통해 캡쳐할 수 있다. 제 1 디바이스(100)는 캡쳐된 객체(300)의 이미지에 기초하여, 객체(300)를 식별할 수 있다. 즉, 본 발명의 일 실시예에 따른 제 1 디바이스(100)는, 캡쳐된 객체(300)의 이미지를 메타데이터로 하여 객체(300)에 관한 정보를 메모리 또는 외부 서버에서 검색할 수 있다. 예를 들어, 객체(300)가 책인 경우, 제 1 디바이스(100)는 책 제목, 책 표지, 캐릭터 이미지 등을 캡쳐하고, 캡쳐된 영상 정보를 이용하여 메모리 또는 외부 서버에서 객체(300)가 어떤 것인지 검색해 볼 수 있다. 이때, 제 1 디바이스(100)는 검색 결과에 기초하여 객체(300)를 식별할 수 있으며, 객체(300)에 관한 상세 정보(예컨대, 책 제목, 출판 연도, 출판사, 작가 등)도 획득할 수 있다.
본 발명의 또 다른 실시예에 의하면, 제 1 디바이스(100)는 객체(300)에 포함된 마커를 이용하여, 객체(300)를 식별할 수 있다. 객체(300)에 포함된 마커는 객체(300)의 식별 정보를 포함할 수 있다. 객체(300)에 포함된 마커에는, 1차원 바코드, 2차원 바코드(예컨대, Quick Response code), 3차원 코드, 그레이 코드, 컬러 코드, BLE 태그 등이 있을 수 있다.
제 1 디바이스(100)는 객체(300)에 포함된 마커가 바코드 또는 컬러 코드인 경우, 영상 입력 장치(111)를 통해 마커를 인식할 수 있다. 또한, 제 1 디바이스(100)는 객체(300)에 포함된 마커가 BLE 태그인 경우, BLE 태그로부터 브로드캐스팅되는 객체(300)의 식별정보를 수신할 수 있다.
단계 330에서, 제 1 디바이스(100)는, 객체(300)의 전체 또는 일부 영역을 선택하는 사용자의 기 설정된 제스처를 감지할 수 있다. 본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 영상 입력 장치(111)를 이용하여, 사용자의 기 설정된 제스처를 감지할 수 있다. 본 발명의 또 다른 실시예에 의하면, 제 1 디바이스(100)는 전자펜을 통해서 사용자의 기 설정된 제스처를 감지할 수도 있다. 한편, 본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 프로젝터 등을 이용하여 사용자가 선택한 전체 또는 일부 영역에 대한 식별 표시를 해 줄 수도 있다.
단계 340에서, 제 1 디바이스(100)는, 객체(300)의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 캡쳐할 수 있다. 단계 330 내지 단계 340 단계에 관한 설명은 도 2의 단계 210 및 단계 220에 관한 설명과 중복되므로, 구체적인 설명은 생략하기로 한다.
단계 350에서, 제 1 디바이스(100)는, 제 1 컨텐츠 또는 제 1 컨텐츠에 대응하는 제 2 컨텐츠를 전송할 수 있다.
즉, 본 발명의 일 실시예에 따른 제 1 디바이스(100)는 사용자가 선택한 객체(300)의 전체 또는 일부 영역을 캡쳐한 제 1 컨텐츠 자체를 제 2 디바이스(200)로 전송할 수도 있고, 제 1 컨텐츠에 대응하는 제 2 컨텐츠(예컨대, 원본 컨텐츠)를 추출하여 제 2 디바이스(200)로 전송할 수도 있다.
단계 360에서, 제 2 디바이스(200)는, 제 1 컨텐츠 또는 제 2 컨텐츠를 표시할 수 있다. 따라서, 사용자는, 일반적인 아날로그 객체(300)에 대해 행한 기 설정된 제스처의 응답을 제 2 디바이스(200)를 통해서 받을 수 있게 된다.
도 4는 본 발명의 일 실시예와 관련된 제 1 디바이스가 제 2 디바이스를 인식하는 방법을 설명하기 위한 도면이다.
본 발명의 일 실시예에 의하면, 객체(300)의 주변에 복수 개의 디바이스들이 있을 수 있으므로, 제 1 디바이스(100)는 복수 개의 디바이스들 중에서 객체(300)와 연동될 수 있는 제 2 디바이스(200)를 특정할 필요가 있다.
도 4(a)에 도시된 바와 같이, 사용자가 제 2 디바이스(200)를 기 설정된 위치(400)에 놓는 경우, 제 2 디바이스(200)는 기 설정된 위치(400)에 존재하는 NFC 태그로부터 데이터를 수신할 수 있다. 예를 들어, 제 2 디바이스(200)는 NFC 태그로부터 NFC 태그의 식별 정보(예컨대, 아이디) 또는 제 2 디바이스(200)와 연결하기 위한 연결 정보(예컨대, 제 2 디바이스(200)의 식별 정보, 제 2 디바이스(200)가 이용 중인 무선랜 정보, 제 2 디바이스(200)의 블루투스 어드레스 등)를 수신할 수 있다. 제 2 디바이스(200)는 수신된 데이터에 기초하여, 제 1 디바이스(100)로 연결을 요청할 수 있다. 이때, 제 1 디바이스(100)는, 연결을 요청 한 제 2 디바이스(200)를 객체(300)와 연동된 디바이스로 특정할 수 있다.
도 4(b)에 도시된 바와 같이, 제 1 디바이스(100)는 제 2 디바이스(200)에 대한 사용자의 기 설정된 제스처를 감지하여, 적어도 하나의 디바이스 중에서 제 2 디바이스(200)를 특정할 수도 있다. 제 1 디바이스(100)는 영상 입력 장치(111)를 통해 사용자의 기 설정된 제스처를 감지할 수 있다. 예를 들어, 제 1 디바이스(100)는, 사용자가 기 설정된 시간 이상(예컨대, 10초 이상) 터치하는 디바이스를 제 2 디바이스(200)로 특정할 수 있다.
도 5는 본 발명의 일 실시예와 관련된 제 2 디바이스가 객체 내에서 사용자에 의해 선택된 특정 영역에 대응하는 컨텐츠를 표시하는 화면을 나타내는 도면이다.
도 5(a)에 도시된 바와 같이, 제 1 디바이스(100)는 사용자가 객체(300)의 일부 영역을 선택하는 제스처를 감지할 수 있다. 예를 들어, 제 1 디바이스(100)는, 사용자가 손가락 또는 펜을 이용하여 선을 그림으로써 객체(300) 내의 일부 영역(500)을 선택하는 제스처를 감지할 수 있다.
이 경우, 도 5(b)에 도시된 바와 같이, 제 1 디바이스(100)는 사용자에 의해 선택된 일부 영역(500)에 표시된 이미지를 캡쳐할 수 있다. 그리고 제 1 디바이스(100)는 캡쳐된 이미지 자체를 제 2 디바이스(200)로 전송하여, 제 2 디바이스(200)가 캡쳐된 이미지를 표시하도록 할 수 있다.
또한, 제 1 디바이스(100)는 캡쳐된 이미지에 대응하는 원본 이미지를 획득하여 제 2 디바이스(200)로 전송할 수도 있다. 예를 들어, 객체(300)가 책인 경우, 제 1 디바이스(100)는 메모리 또는 외부 서버에서 원본 책에 대한 데이터를 획득하고, 원본 책에서 캡쳐된 이미지에 대응하는 원본 이미지를 추출할 수 있다. 그리고 제 1 디바이스(100)는 원본 이미지를 제 2 디바이스(200)로 전송하여, 제 2 디바이스(200)가 원본 이미지를 표시하도록 할 수도 있다.
즉, 본 발명의 일 실시예에 따른 제 1 디바이스(100)는 캡쳐된 이미지와 원본 이미지를 선택적으로 제 2 디바이스(200)로 전송할 수 있는 것이다. 예를 들어, 제 1 디바이스(100)는, 객체(300)에 대한 원본 데이터를 획득할 수 없는 경우, 사용자에 의해 선택된 객체(300)의 일부 영역에 표시된 제 1 컨텐츠 자체를 캡쳐하여 제 2 디바이스(200)로 전송하고, 객체(300)에 대한 원본 데이터를 획득할 수 있는 경우, 캡쳐된 제 1 컨텐츠에 대응하는 원본의 제 2 컨텐츠를 추출하여 제 2 디바이스(200)로 전송할 수 있다.
본 발명의 일 실시예에 따른 제 1 디바이스(100)는, 사용자가 일반적인 책의 일부 영역을 선택하는 간단한 제스처를 통해 책의 일부 영역에 표시된 이미지를 간편하게 제 2 디바이스(200)로 옮길 수 있도록 한다.
도 6은 본 발명의 일 실시예와 관련된 제 2 디바이스가 객체 내에서 사용자에 의해 선택된 특정 이미지를 표시하는 화면을 나타내는 도면이다.
도 6(a) 도시된 바와 같이, 제 1 디바이스(100)는, 사용자가 객체(300) 내에 표시된 일부 이미지(600)를 선택하는 제스처를 감지할 수 있다. 예를 들어, 제 1 디바이스(100)는, 사용자가 손가락 또는 펜을 이용하여 이미지(600)의 테두리를 따라 선을 그리는 제스처를 감지할 수 있다. 만일, 사용자가 전자펜을 이용하여 이미지(600)의 테두리에 선을 그리는 경우, 제 1 디바이스(100)는 전자펜으로부터 사용자가 선택한 이미지(또는 좌표)에 관한 정보를 수신할 수도 있다.
이 경우, 도 6(b)에 도시된 바와 같이, 제 1 디바이스(100)는 사용자에 의해 선택된 일부 이미지(600)를 캡쳐할 수 있다. 그리고 제 1 디바이스(100)는 캡쳐된 이미지(600)를 제 2 디바이스(200)로 전송하여, 제 2 디바이스(200)가 캡쳐된 이미지(600)를 표시하도록 할 수 있다.
또한, 제 1 디바이스(100)는 캡쳐된 이미지(600)에 대응하는 원본 이미지를 획득하여, 제 2 디바이스(200)로 전송할 수도 있다. 예를 들어, 제 1 디바이스(100)는 캡쳐된 이미지(600) 또는 객체(300)의 이미지를 메타데이터로 하여 웹 서버 또는 메모리에서 캡쳐된 이미지(600)에 대응하는 원본의 이미지(600)를 검색할 수 있는 것이다. 이때, 제 2 디바이스(200)는 사용자가 선택한 이미지(600)에 대응하는 원본 이미지를 표시할 수 있다.
도 7은 본 발명의 일 실시예와 관련된 객체에 표시된 복수의 이미지 중 적어도 하나의 이미지를 선택하는 제스처를 나타내는 도면이다.
도 7(a)에 도시된 바와 같이, 객체(300)가 복수의 사진울 포함하는 사진 앨범인 경우를 가정하기로 한다.
도 7(b)에 도시된 바와 같이, 사용자가 사진 7(700)를 제 2 디바이스(200)로 옮기고자 하는 경우, 사용자는 사진 7(700)를 터치한 상태에서 제 2 디바이스(200)가 위치한 곳으로 드래그할 수 있다. 이 경우, 제 1 디바이스(100)는, 영상 입력 장치(111)를 통해, 객체(300)에 포함된 복수의 이미지 중 적어도 하나의 이미지(예컨대, photo7)를 터치하여 제 2 디바이스(200)가 위치하는 곳으로 드래그하는 사용자의 제스처를 감지할 수 있다.
이 경우, 도 7(c)에 도시된 바와 같이, 제 1 디바이스(100)는 사용자에 의해 선택된 사진 7(700)을 캡쳐하고, 캡쳐된 사진 7(700)의 이미지를 제 2 디바이스(200)로 전송할 수 있다. 또한, 제 1 디바이스(100)는 사용자가 선택한 사진 7(700)에 대한 원본 사진 이미지를 추출하여, 제 2 디바이스(200)로 전송할 수도 있다. 이때, 제 2 디바이스(200)는, 제 1 디바이스(100)로부터 수신한 캡쳐된 사진 7(700)의 이미지 또는 사진 7(700)에 대응하는 원본 사진 이미지를 표시할 수 있다.
따라서, 본 발명의 일 실시예에 의하면, 사용자는 스캐너를 이용하여 사진7(700)을 스캔하거나, 제 2 디바이스(200)의 카메라로 사진 7(700)를 캡쳐하는 등의 불편한 조작 없이, ‘터치 & 드래그’ 또는 ‘드래그 & 드롭’이라는 간단한 제스처를 통해 일반적인 사진 앨범 속의 사진 7(700)의 이미지를 제 2 디바이스(200)로 옮길 수 있게 된다. 즉, 제 1 디바이스(100)는 사용자의 기 설정된 제스처에 따라 아날로그 사진 이미지를 디지털 이미지로 변환해 주게 되는 것이다.
도 8은 본 발명의 일 실시예와 관련된 객체 내의 특정 영역에 표시된 텍스트를 소정 언어로 번역한 번역 컨텐츠를 제공하는 방법을 설명하기 위한 순서도이다.
단계 810에서, 제 1 디바이스(100)는, 객체(300)의 전체 또는 일부 영역에 대한 사용자의 번역 요청 제스처를 감지할 수 있다. 본 발명의 일 실시예에 의하면, 객체(300)의 전체 또는 일부 영역에 표시된 텍스트를 선택하는 제스처와 번역을 요청하는 제스처가 하나의 제스처로 이루어질 수도 있고, 각각 별개의 독립된 제스처로 이루어질 수도 있다. 예를 들어, 사용자가 폐쇄 도형(예컨대, 원, 사각형, 삼각형 등)을 그려 객체(300)내에 표시된 텍스트를 선택하는 경우, 제 1 디바이스(100)는 폐쇄 도형을 그리는 제스처를 번역 요청 제스처로 감지할 수 있다. 또한, 사용자가 폐쇄 도형(예컨대, 원, 사각형, 삼각형 등)을 그려 객체(300)내에 표시된 텍스트를 선택한 후, 폐쇄 도형 위에 ‘T’를 그리는 경우, 제 1 디바이스(100)는 ‘T’를 그리는 제스처를 번역 요청 제스처로 감지할 수도 있다.
한편, 번역 요청 제스처는 설정에 따라 다양할 수 있다. 예를 들어, 좌우로 두 번 스윕하는 제스처를 번역 요청 제스처로 볼 수도 있고, ‘T’를 그리는 제스처를 번역 요청 제스처로 볼 수도 있는 것이다. 따라서, 번역 요청 제스처는 본 명세서에 기재된 실시예에 의해 한정되지 않는다.
본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 사용자에 의해 선택된 영역에 표시된 텍스트를 영상 처리 기법에 의해 인식할 수도 있고, 기 저장된 객체(300)에 관한 원본 데이터에서 사용자의 선택 영역에 대응하는 텍스트 정보를 추출할 수도 있다.
단계 820에서, 제 1 디바이스(100)는 객체(300)의 전체 또는 일부 영역에 포함된 텍스트가 소정 언어로 번역된 컨텐츠를 획득할 수 있다.
본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 사용자의 번역 요청 제스처가 감지되는 경우, 선택된 텍스트에 대한 번역을 직접 진행할 수 있다. 또한, 제 1 디바이스(100)는 선택된 텍스트에 대한 번역을 외부 서버에 요청하고, 외부 서버로부터 번역된 컨텐츠를 수신할 수도 있다.
본 발명의 일 실시예에 따른 제 1 디바이스(100)는 사용자의 기 설정된 제스처에 따라 번역할 언어를 선택할 수도 있다. 예를 들어, 사용자가 텍스트를 선택한 후에 ‘E’를 그리는 경우, 제 1 디바이스(100)는 선택된 텍스트를 영어로 번역할 수 있고, 사용자가 텍스트를 선택한 후에 ‘J’를 그리는 경우, 제 1 디바이스(100)는 선택된 텍스트를 일어로 번역할 수 있다.
단계 830에서, 제 1 디바이스(100)는 번역된 컨텐츠를 제 2 디바이스(200)로 전송할 수 있다. 제 2 디바이스(200)는 번역된 컨텐츠를 화면 상에 표시할 수 있다. 도 9를 참조하여 좀 더 살펴보기로 한다.
도 9는 본 발명의 일 실시예와 관련된 제 2 디바이스가 객체 내의 특정 영역에 표시된 텍스트를 번역한 번역 컨텐츠를 표시하는 화면이다.
도 9에 도시된 바와 같이, 제 1 디바이스(100)는 사용자가 폐쇄 도형을 그려 객체(300)에 표시된 일부 텍스트(900)를 선택하는 제스처를 감지할 수 있다. 그리고 제 1 디바이스(100)는 선택된 일부 텍스트(900)를 소정 언어로 번역 요청하는 사용자의 번역 요청 제스처를 감지할 수 있다. 이 경우, 제 1 디바이스(100)는 사용자에 의해 선택된 일부 텍스트(900)를 소정 언어(예컨대, 한국어)로 번역하고, 번역된 컨텐츠를 제 2 디바이스(200)로 전송할 수 있다. 이때, 제 2 디바이스(200)는 번역된 컨텐츠를 표시하게 된다.
따라서, 사용자가 일반적인 아날로그 책에서 번역이 필요한 부분을 선택하면서 간단한 제스처로 번역을 요청하는 경우, 사용자는 제 2 디바이스(200)를 통해서 번역된 결과를 바로 확인할 수 있는 것이다.
도 10은 본 발명의 일 실시예와 관련된 제 1 디바이스가 객체에 표시된 외부 디바이스의 연결 식별 정보를 선택하는 사용자의 제스처를 감지함에 따라 제 2 디바이스가 외부 디바이스로 연결을 요청하는 방법을 설명하기 위한 순서도이다.
단계 1010에서, 제 1 디바이스(100)는, 객체(300)에 표시된 외부 디바이스의 연결 식별 정보를 선택하는 사용자의 제스처를 감지할 수 있다. 연결 식별 정보의 일례로 전화 번호, 이메일 주소, SNS(Social Networking Service) 주소, 웹사이트 주소 등이 있을 수 있다.
객체(300)에 표시된 외부 디바이스의 연결 식별 정보는, 숫자나 글자를 형태일 수도 있고, 바코드(예컨대, QR 코드) 형태일 수도 있다.
단계 1020에서, 연결 식별 정보에 기초하여, 외부 디바이스로 연결을 요청하라는 제어 명령을 제 2 디바이스(200)로 전송할 수 있다.
본 발명의 일 실시예에 의하면, 제 1 디바이스(100)는 사용자에 의해 선택된 외부 디바이스의 연결 식별 정보를 영상 처리 기법에 의해 인식할 수도 있고, 기 저장된 객체(300)에 관한 원본 데이터에서 사용자에 의해 선택된 외부 디바이스의 연결 식별 정보를 추출할 수도 있다.
제 1 디바이스(100)는 외부 디바이스의 연결 식별 정보를 제 2 디바이스(200)로 전송하면서, 외부 디바이스에 연결을 요청하도록 명령할 수 있다.
단계 1030에서, 제 2 디바이스(200)는 외부 디바이스로 연결을 요청할 수 있다. 예를 들어, 제 2 디바이스(200)는 외부 디바이스로 전화 연결을 요청하거나, 이메일을 전송하거나, 외부 디바이스의 사용자가 이용 중인 SNS 서버 접속할 수 있다. 도 11을 참조하여 좀 더 살펴보기로 한다.
도 11은 본 발명의 일 실시예와 관련된 제 1 디바이스가 명함에 표시된 휴대폰 번호를 선택하는 사용자의 제스처를 감지함에 따라, 제 2 디바이스가 외부 디바이스로 통화 연결을 요청하는 화면을 나타내는 도면이다.
도 11에 도시된 바와 같이, 사용자는 일반적인 종이 명함(1100)에서 핸드폰 번호가 표시된 영역을 터치할 수 있다. 이 경우, 제 1 디바이스(100)는 사용자가 명함(1100)에서 휴대폰 번호(예컨대, 010-XXX-XXXX)가 표시된 영역을 선택하는 제스처를 감지할 수 있다. 그리고 제 1 디바이스(100)는 영상 처리 기술을 이용하여 사용자가 선택한 휴대폰 번호(예컨대, 010-XXX-XXXX)를 인식할 수 있다. 만일 제 1 디바이스(100)가 명함(1100)에 관한 데이터를 기 저장하고 있는 경우, 제 1 디바이스(100)는 명함(1100) 내에서 사용자가 터치한 영역을 감지하고, 사용자가 터치한 영역에 대응하는 위치에 표시된 휴대폰 번호(예컨대, 010-XXX-XXXX)를 기 저장된 명함(1100)에 관한 데이터에서 추출할 수도 있다.
제 1 디바이스(100)는 휴대폰 번호(예컨대, 010-XXX-XXXX)를 제 2 디바이스(200)로 전송하면서, 제 2 디바이스(200)가 외부 디바이스로 통화를 연결하도록 제어할 수 있다.
따라서, 본 발명의 일 실시예에 따른 사용자는 제 2 디바이스(200)로 명함(1100)에 적힌 전화 번호를 직접 입력하지 않더라도, 명함(1100)에 표시된 전화 번호를 터치하기만 하면, 제 2 디바이스(200)를 통해서 자동으로 외부와 전화 연결이 될 수 있다.
도 12는 본 발명의 일 실시예에 따른 제 1 디바이스의 구성을 설명하기 위한 블록 구성도이다.
도 12a에 도시된 바와 같이, 본 발명의 일 실시예에 따른 제 1 디바이스(100)는, 감지부(110), 통신부(120), 메모리(130), 제어부(140)를 포함할 수 있다. 그러나 도시된 구성요소가 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 제 1 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 제 1 디바이스(100)는 구현될 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
감지부(110)는, 소정 영역에 위치하는 객체(300)에 대한 사용자의 기 설정된 제스처를 감지할 수 있다. 예를 들어, 감지부(110)는, 객체(300)의 전체 또는 일부 영역을 선택하는 사용자의 기 설정된 제스처를 감지할 수 있다. 또한, 감지부(110)는, 객체(300)에 포함된 복수의 이미지 중 적어도 하나의 이미지를 터치하여, 제 2 디바이스(200)가 위치한 곳으로 드래그하는 사용자의 제스처를 감지할 수 있다. 감지부(110)는, 객체(300)의 전체 또는 일부 영역에 표시된 텍스트를 소정 언어로 번역 요청하는 사용자의 제스처를 감지하거나, 객체(300)에 표시된 외부 디바이스의 연결 식별 정보를 선택하는 사용자의 제스처를 감지할 수도 있다.
본 발명의 일 실시예에 따른 감지부(110)는 영상 입력 장치(111), 음성 입력 장치(예컨대, 마이크) 등을 포함할 수 있다. 본 발명의 일 실시예에 따른 영상 입력 장치(111)에는 2D 카메라, 3D 깊이 카메라(depth camera), 다시점 카메라(Multi-view Camera) 등일 수 있다. 깊이 카메라(depth camera)는 Time-of-Flight (TOF) 기술을 이용하여 장면 내 물체들의 거리 정보를 실시간으로 측정할 수 있다.
한편, 제 1 디바이스(100)는 1개 또는 복수 개의 영상 입력 장치(111)를 포함할 수도 있다. 예를 들어, 제 1 디바이스(100)는 1개의 영상 입력 장치(예컨대, 깊이 카메라)를 이용하여 사용자의 기 설정된 제스처를 감지도 하고, 사용자가 선택한 영역을 캡쳐도 할 수 있다. 또한, 제 1 디바이스(100)는 제 1 영상 입력 장치(예컨대, 깊이 카메라)를 이용하여 사용자의 기 설정된 제스처를 감지하고, 제 2 영상 입력 장치(예컨대, 2D 카메라)를 이용하여 사용자에 의해 선택된 영역을 캡쳐할 수도 있다.
본 발명의 일 실시예에 따른 감지부(110)는, 객체(300)에 포함된 마커 또는 제 2 디바이스(200)에 포함된 마커를 인식할 수 있다. 한편, 감지부(110)는 전자펜으로부터 수신되는 데이터에 기초하여, 객체(300) 내에서 사용자가 선택한 영역에 관한 정보를 획득할 수도 있다.
통신부(120), 제 1 디바이스(100)와 제 2 디바이스(200) 간의 통신 또는 제 1 디바이스(100)와 제 2 디바이스(200)가 위치한 네트워크 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(120)는 무선 인터넷 모듈, 유선 인터넷 모듈, 근거리 통신 모듈 등을 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈은 제 1 디바이스(100)에 내장되거나 외장될 수 있다. 유선 인터넷 모듈은 유선 인터넷 접속을 위한 모듈을 의미한다.
근거리 통신 모듈은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 무선 랜(Wi-Fi), 블루투스, 지그비, WFD((Wi-Fi Direct), UWB(ultra wideband), 적외선 통신(IrDA, infrared Data Association) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
통신부(120)는, 제 1 디바이스(100)와 네트워크로 연결된 제 2 디바이스(200)로 객체(300)에 관한 컨텐츠를 전송할 수 있다. 예를 들어, 통신부(120)는 사용자에 의해 선택된 객체(300)의 전체 또는 일부 영역에 관한 컨텐츠를 전송할 수 있다.
이때, 본 발명의 일 실시예에 따른 통신부(120)는, 사용자에 의해 선택된 객체(300)의 전체 또는 일부 영역을 캡쳐한 제 1 컨텐츠를 제 2 디바이스(200)로 전송할 수도 있고, 제 1 컨텐츠에 대응하는 제 2 컨텐츠(예컨대, 원본 컨텐츠)를 제 2 디바이스(200)로 전송할 수도 있다.
통신부(120)는, 사용자에 의해 선택된 영역에 표시된 텍스트가 소정 언어로 번역된 컨텐츠를 제 2 디바이스(200)로 전송할 수도 있다. 또한, 통신부(120)는, 사용자가 객체(300) 내에서 선택한 연결 식별 정보에 기초하여 외부 디바이스로 연결을 요청하라는 제어 명령을 제 2 디바이스(200)로 전송할 수도 있다.
메모리(130), 제어부(140)의 처리 및 제어를 위한 프로그램이 저장될 수 있다. 또한, 메모리(130)는 입/출력되는 데이터의 저장을 위한 기능을 수행할 수도 있다. 예를 들어, 입/출력되는 데이터에는 객체(300)에 관한 컨텐츠(예컨대, 텍스트, 이미지, 동영상, 음악, 문서, 책, 명함, 번역된 컨텐츠 등) 등이 있을 수 있다.
메모리(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 제 1 디바이스(100)는 인터넷(internet)상에서 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
제어부(140)는 통상적으로 제 1 디바이스(100)의 전반적인 동작을 제어한다. 즉, 제어부(140)는, 감지부(110), 통신부(120), 메모리(130)를 전반적으로 제어할 수 있다.
제어부(140)는, 영상 입력 장치(111)를 통해 객체(300)의 이미지를 캡쳐하고, 캡쳐된 객체(300)의 이미지에 기초하여 객체(300)를 식별할 수 있다. 예를 들어, 제어부(140)는, 캡쳐된 객체(300)의 이미지를 메타데이터로 하여 객체(300)에 관한 정보를 메모리(130) 또는 외부 서버에서 검색할 수 있다. 한편, 제어부(140)는, 객체(300)에 포함된 마커를 인식하여, 객체(300)를 식별할 수도 있다.
제어부(140)는, 기 설정된 위치에 존재하는 제 2 디바이스(200)를 인식하고, 제 2 디바이스(200)와 네트워크를 형성할 수도 있다.
제어부(140)는, 사용자의 기 설정된 제스처에 따라 객체(300)와 관련된 컨텐츠를 획득할 수 있다. 예를 들어, 제어부(140)는, 사용자에 의해 선택된 객체(300)의 전체 또는 일부 영역에 표시된 텍스트 또는 이미지를 영상 입력 장치(111)를 통해 캡쳐하여, 객체(300)와 관련된 제 1 컨텐츠를 획득할 수 있다. 또한, 제어부(140)는, 객체(300)에 관한 원본 데이터에서, 캡쳐된 제 1 컨텐츠에 대응하는 원본의 제 2 컨텐츠를 추출할 수도 있다.
도 12b에 도시된 바와 같이, 본 발명의 또 다른 실시예에 따른 제 1 디바이스(100)는 감지부(110), 통신부(120), 메모리(130), 제어부(140) 이외에 프로젝터(150)를 더 포함할 수 있다. 프로젝터(150)는, 사용자의 기 설정된 제스처에 대한 피드백을 제공할 수 있다. 예를 들어, 사용자가 객체(300)의 전체 또는 일부 영역을 선택하는 경우, 프로젝터(150)는, 사용자가 선택한 영역에 대한 식별 표시를 해 줄 수 있다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
본 발명의 일 실시예에 의하면, 일반적인 객체(예컨대, 종이나 책)와 디지털 기기간의 직접적이고 간편한 인터랙션을 제공할 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.
100: 제 1 디바이스
110: 감지부
120: 통신부
130: 메모리
140: 제어부
150: 프로젝터
200: 제 2 디바이스
300: 객체

Claims (26)

  1. 제 1 디바이스가 소정 영역에 위치하는 객체(Object)에 대한 사용자의 기 설정된 제스처를 감지하는 단계;
    상기 감지된 기 설정된 제스처에 따라 상기 객체와 관련된 컨텐츠를 획득하는 단계; 및
    상기 제 1 디바이스와 네트워크로 연결된 제 2 디바이스로 상기 획득된 컨텐츠를 전송하는 단계를 포함하고,
    상기 컨텐츠는 상기 제 2 디바이스에서 출력되는 것을 특징으로 하는 정보 제공 방법.
  2. 제 1 항에 있어서, 상기 정보 제공 방법은,
    상기 객체의 이미지를 캡쳐하는 단계; 및
    상기 캡쳐된 객체의 이미지에 기초하여, 상기 객체를 식별하는 단계를 더 포함하는 것을 특징으로 하는 정보 제공 방법.
  3. 제 2 항에 있어서, 상기 객체를 식별하는 단계는,
    상기 캡쳐된 객체의 이미지를 메타데이터로 하여 상기 객체에 관한 정보를 메모리 또는 외부 서버에서 검색하는 단계를 포함하는 것을 특징으로 하는 정보 제공 방법.
  4. 제 1 항에 있어서, 상기 정보 제공 방법은,
    상기 객체에 포함된 마커를 인식하는 단계; 및
    상기 인식된 마커에 기초하여, 상기 객체를 식별하는 단계를 포함하는 것을 특징으로 하는 정보 제공 방법.
  5. 제 4 항에 있어서, 상기 마커는,
    1차원 바코드, 2차원 바코드, 3차원 바코드, 및 컬러코드 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 제공 방법.
  6. 제 1 항에 있어서, 상기 기 설정된 제스처를 감지하는 단계는,
    영상 입력 장치를 이용하여 상기 기 설정된 제스처를 감지하는 단계를 포함하는 것을 특징으로 하는 정보 제공 방법.
  7. 제 1 항에 있어서, 상기 기 설정된 제스처를 감지하는 단계는,
    상기 객체의 전체 또는 일부 영역을 선택하는 상기 사용자의 기 설정된 제스처를 감지하는 단계를 포함하는 것을 특징으로 하는 정보 제공 방법.
  8. 제 7 항에 있어서, 상기 컨텐츠를 획득하는 단계는,
    상기 선택된 객체의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 캡쳐하는 단계를 포함하고,
    상기 전송하는 단계는,
    상기 캡쳐된 제 1 컨텐츠를 상기 제 2 디바이스로 전송하는 단계를 포함하는 것을 특징으로 하는 정보 제공 방법.
  9. 제 7 항에 있어서, 상기 컨텐츠를 획득하는 단계는,
    상기 선택된 객체의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 캡쳐하는 단계; 및
    상기 캡쳐된 제 1 컨텐츠에 대응하는 제 2 컨텐츠를 추출하는 단계를 포함하고,
    상기 전송하는 단계는,
    상기 추출된 제 2 컨텐츠를 상기 제 2 디바이스로 전송하는 단계를 포함하는 것을 특징으로 하는 정보 제공 방법.
  10. 제 1 항에 있어서, 상기 기 설정된 제스처를 감지하는 단계는,
    상기 객체에 포함된 복수의 이미지 중 적어도 하나의 이미지를 터치하여, 상기 제 2 디바이스가 위치한 곳으로 드래그하는 상기 사용자의 제스처를 감지하는 단계를 포함하고,
    상기 전송하는 단계는,
    상기 적어도 하나의 이미지를 상기 제 2 디바이스로 전송하는 단계를 포함하는 것을 특징으로 하는 정보 제공 방법.
  11. 제 1 항에 있어서, 상기 감지하는 단계는,
    상기 객체의 전체 또는 일부 영역에 표시된 텍스트를 소정 언어로 번역 요청하는 상기 사용자의 제스처를 감지하는 단계를 더 포함하고,
    상기 획득하는 단계는,
    상기 텍스트가 소정 언어로 번역된 컨텐츠를 획득하는 단계를 포함하고,
    상기 전송하는 단계는,
    상기 번역된 컨텐츠를 상기 제 2 디바이스로 전송하는 단계를 더 포함하는 것을 특징으로 하는 정보 제공 방법.
  12. 제 1 항에 있어서, 상기 정보 제공 방법은,
    상기 객체에 표시된 외부 디바이스의 연결 식별 정보를 선택하는 상기 사용자의 제스처를 감지하는 단계; 및
    상기 연결 식별 정보에 기초하여 상기 외부 디바이스로 연결을 요청하라는 제어 명령을 상기 제 2 디바이스로 전송하는 단계를 더 포함하는 것을 특징으로 하는 정보 제공 방법.
  13. 제 12 항에 있어서, 상기 외부 디바이스의 연결 식별 정보는,
    전화 번호, 이메일 주소, SNS 주소, 및 웹사이트 주소 중 적어도 하나를 포함하는 것을 특징으로 하는 정보 제공 방법.
  14. 제 1 항에 있어서, 상기 정보 제공 방법은,
    상기 제 2 디바이스를 인식하는 단계; 및
    상기 인식된 제 2 디바이스와 네트워크를 형성하는 단계를 더 포함하는 것을 특징으로 하는 정보 제공 방법.
  15. 객체(Object)에 관한 정보를 제공하는 제 1 디바이스에 있어서,
    소정 영역에 위치하는 상기 객체에 대한 사용자의 기 설정된 제스처를 감지하는 감지부;
    상기 감지된 기 설정된 제스처에 따라 상기 객체와 관련된 컨텐츠를 획득하는 제어부; 및
    상기 제 1 디바이스와 네트워크로 연결된 제 2 디바이스로 상기 획득된 컨텐츠를 전송하는 통신부를 포함하는 것을 특징으로 하는 제 1 디바이스.
  16. 제 15 항에 있어서, 상기 제어부는,
    영상 입력 장치를 통해 상기 객체의 이미지를 캡쳐하고, 상기 캡쳐된 객체의 이미지에 기초하여 상기 객체를 식별하는 것을 특징으로 하는 제 1 디바이스.
  17. 제 16 항에 있어서, 상기 제어부는,
    상기 캡쳐된 객체의 이미지를 메타데이터로 하여 상기 객체에 관한 정보를 메모리 또는 외부 서버에서 검색하는 것을 특징으로 하는 제 1 디바이스.
  18. 제 15 항에 있어서, 상기 감지부는,
    상기 객체에 포함된 마커를 인식하고,
    상기 제어부는, 상기 인식된 마커에 기초하여, 상기 객체를 식별하는 것을 특징으로 하는 제 1 디바이스.
  19. 제 15 항에 있어서, 상기 감지부는,
    상기 객체의 전체 또는 일부 영역을 선택하는 상기 사용자의 기 설정된 제스처를 감지하는 것을 특징으로 하는 제 1 디바이스.
  20. 제 19 항에 있어서, 상기 제어부는,
    상기 선택된 객체의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 영상 입력 장치를 통해 캡쳐하고,
    상기 통신부는,
    상기 캡쳐된 제 1 컨텐츠를 상기 제 2 디바이스로 전송하는 것을 특징으로 하는 제 1 디바이스.
  21. 제 19 항에 있어서, 상기 제어부는,
    상기 선택된 객체의 전체 또는 일부 영역에 표시된 제 1 컨텐츠를 영상 입력 장치를 통해 캡쳐하고, 상기 캡쳐된 제 1 컨텐츠에 대응하는 제 2 컨텐츠를 추출하고,
    상기 통신부는,
    상기 추출된 제 2 컨텐츠를 상기 제 2 디바이스로 전송하는 것을 특징으로 하는 제 1 디바이스.
  22. 제 15 항에 있어서, 상기 감지부는,
    상기 객체에 포함된 복수의 이미지 중 적어도 하나의 이미지를 터치하여, 상기 제 2 디바이스가 위치한 곳으로 드래그하는 상기 사용자의 제스처를 감지하고,
    상기 통신부는,
    상기 적어도 하나의 이미지를 상기 제 2 디바이스로 전송하는 것을 특징으로 하는 제 1 디바이스.
  23. 제 15 항에 있어서, 상기 감지부는,
    상기 객체의 전체 또는 일부 영역에 표시된 텍스트를 소정 언어로 번역 요청하는 상기 사용자의 제스처를 감지하고,
    상기 제어부는,
    상기 텍스트가 소정 언어로 번역된 컨텐츠를 획득하고,
    상기 통신부는,
    상기 번역된 컨텐츠를 상기 제 2 디바이스로 전송하는 것을 특징으로 하는 제 1 디바이스.
  24. 제 15 항에 있어서, 상기 감지부는,
    상기 객체에 표시된 외부 디바이스의 연결 식별 정보를 선택하는 상기 사용자의 제스처를 감지하고,
    상기 통신부는,
    상기 연결 식별 정보에 기초하여 상기 외부 디바이스로 연결을 요청하라는 제어 명령을 상기 제 2 디바이스로 전송하는 것을 특징으로 하는 제 1 디바이스.
  25. 제 15 항에 있어서, 상기 감지부는,
    상기 제 2 디바이스를 인식하고,
    상기 제어부는,
    상기 인식된 제 2 디바이스와 네트워크를 형성하는 것을 특징으로 하는 제 1 디바이스.
  26. 제 1 항 내지 제 14 항 중 어느 한 항의 정보 제공 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.
KR1020120123753A 2012-11-02 2012-11-02 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스 KR102001218B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120123753A KR102001218B1 (ko) 2012-11-02 2012-11-02 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
PCT/KR2013/009722 WO2014069891A1 (en) 2012-11-02 2013-10-30 Method and device for providing information regarding an object
EP13191040.8A EP2728444B1 (en) 2012-11-02 2013-10-31 Method and device for providing information regarding an object
US14/069,882 US9836128B2 (en) 2012-11-02 2013-11-01 Method and device for providing information regarding an object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120123753A KR102001218B1 (ko) 2012-11-02 2012-11-02 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스

Publications (2)

Publication Number Publication Date
KR20140057086A true KR20140057086A (ko) 2014-05-12
KR102001218B1 KR102001218B1 (ko) 2019-07-17

Family

ID=49518737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120123753A KR102001218B1 (ko) 2012-11-02 2012-11-02 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스

Country Status (4)

Country Link
US (1) US9836128B2 (ko)
EP (1) EP2728444B1 (ko)
KR (1) KR102001218B1 (ko)
WO (1) WO2014069891A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IN2014DE00899A (ko) * 2014-03-28 2015-10-02 Samsung Electronics Co Ltd
US10270819B2 (en) 2014-05-14 2019-04-23 Microsoft Technology Licensing, Llc System and method providing collaborative interaction
US20150334138A1 (en) * 2014-05-14 2015-11-19 Microsoft Corporation Transferring content between graphical user interfaces
US9552473B2 (en) 2014-05-14 2017-01-24 Microsoft Technology Licensing, Llc Claiming data from a virtual whiteboard
CA2949088C (en) * 2014-05-15 2023-01-24 Federal Express Corporation Wearable devices for courier processing and methods of use thereof
GB2583848B (en) 2014-05-21 2021-03-24 Tangible Play Inc Virtualization of tangible interface objects
EP3149561B1 (en) * 2014-05-30 2019-08-21 Hewlett-Packard Development Company, L.P. Positional input on displays
JP6417787B2 (ja) * 2014-08-22 2018-11-07 株式会社リコー 表示装置、伝送システムおよび伝送方法
KR102358548B1 (ko) 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
KR102296323B1 (ko) * 2015-01-14 2021-09-01 삼성전자주식회사 전자 장치 및 전자 장치에서의 정보 처리 방법
US9977493B2 (en) * 2015-06-17 2018-05-22 Microsoft Technology Licensing, Llc Hybrid display system
KR20170014589A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 번역 서비스를 제공하는 사용자 단말 장치 및 그 제어 방법
CN105808667A (zh) * 2016-02-29 2016-07-27 北京小米移动软件有限公司 获取图像的方法、装置及系统
US10579742B1 (en) * 2016-08-30 2020-03-03 United Services Automobile Association (Usaa) Biometric signal analysis for communication enhancement and transformation
US11163866B2 (en) * 2017-03-31 2021-11-02 Ricoh Company, Ltd. Shared terminal, display control method, and non-transitory computer-readable medium
US20210156238A1 (en) * 2017-10-04 2021-05-27 Shell Oil Company Hinged interactive devices
US10854001B2 (en) 2017-12-26 2020-12-01 Tangible Play, Inc. Tangible object virtualization station
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070273674A1 (en) * 2005-03-18 2007-11-29 Searete Llc, A Limited Liability Corporation Machine-differentiatable identifiers having a commonly accepted meaning
US20100299390A1 (en) * 2009-05-22 2010-11-25 Rachid Alameh Method and System for Controlling Data Transmission to or From a Mobile Device
US20110249900A1 (en) * 2010-04-09 2011-10-13 Sony Ericsson Mobile Communications Ab Methods and devices that use an image-captured pointer for selecting a portion of a captured image
US20120320092A1 (en) * 2011-06-14 2012-12-20 Electronics And Telecommunications Research Institute Method and apparatus for exhibiting mixed reality based on print medium

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69430967T2 (de) * 1993-04-30 2002-11-07 Xerox Corp Interaktives Kopiersystem
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
GB9614837D0 (en) * 1996-07-12 1996-09-04 Rank Xerox Ltd Interactive desktop system with multiple image capture and display modes
US7680324B2 (en) * 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US20100194976A1 (en) * 2001-10-10 2010-08-05 Smith Peter H Computer based aids for independent living and health
GB2381687B (en) * 2001-10-31 2005-08-24 Hewlett Packard Co Assisted reading method and apparatus
US7131061B2 (en) * 2001-11-30 2006-10-31 Xerox Corporation System for processing electronic documents using physical documents
GB2405042B (en) * 2003-08-12 2007-12-05 Hewlett Packard Development Co Method and apparatus for generating images of a document with interaction
US7659915B2 (en) * 2004-04-02 2010-02-09 K-Nfb Reading Technology, Inc. Portable reading device with mode processing
EP1662362A1 (en) * 2004-11-26 2006-05-31 Océ-Technologies B.V. Desk top scanning with hand gestures recognition
US20160070809A1 (en) * 2005-04-08 2016-03-10 Marshall Feature Recognition Llc System and method for accessing electronic data via an image search engine
US8659546B2 (en) * 2005-04-21 2014-02-25 Oracle America, Inc. Method and apparatus for transferring digital content
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
CN101010695A (zh) * 2005-06-30 2007-08-01 奥林巴斯株式会社 检索系统和检索方法
US7701439B2 (en) * 2006-07-13 2010-04-20 Northrop Grumman Corporation Gesture recognition simulation system and method
US9049302B2 (en) * 2007-01-07 2015-06-02 Apple Inc. Portable multifunction device, method, and graphical user interface for managing communications received while in a locked state
US8286068B2 (en) * 2008-04-25 2012-10-09 Microsoft Corporation Linking digital and paper documents
US20090309846A1 (en) * 2008-06-11 2009-12-17 Marc Trachtenberg Surface computing collaboration system, method and apparatus
US8154428B2 (en) * 2008-07-15 2012-04-10 International Business Machines Corporation Gesture recognition control of electronic devices using a multi-touch device
US20100205628A1 (en) * 2009-02-12 2010-08-12 Davis Bruce L Media processing methods and arrangements
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8326378B2 (en) * 2009-02-13 2012-12-04 T-Mobile Usa, Inc. Communication between devices using tactile or visual inputs, such as devices associated with mobile devices
JP5347673B2 (ja) * 2009-04-14 2013-11-20 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US8811742B2 (en) * 2009-12-02 2014-08-19 Google Inc. Identifying matching canonical documents consistent with visual query structural information
US20110128288A1 (en) * 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries
US8549418B2 (en) * 2009-12-23 2013-10-01 Intel Corporation Projected display to enhance computer device use
US8386965B2 (en) * 2010-01-15 2013-02-26 Apple Inc. Techniques and systems for enhancing touch screen device accessibility through virtual containers and virtually enlarged boundaries
US8379134B2 (en) * 2010-02-26 2013-02-19 Research In Motion Limited Object detection and selection using gesture recognition
US8751049B2 (en) * 2010-05-24 2014-06-10 Massachusetts Institute Of Technology Kinetic input/output
US8382295B1 (en) * 2010-06-30 2013-02-26 Amazon Technologies, Inc. Optical assembly for electronic devices
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
KR101273634B1 (ko) 2011-02-08 2013-06-11 광주과학기술원 모바일 기기를 이용하는 증강현실 환경에서 복수 객체 추적방법 및 이를 이용한 시스템
US8736583B2 (en) * 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
US20120249422A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system and method
WO2013008049A1 (en) * 2011-07-14 2013-01-17 Telefonaktiebolaget Lm Ericsson (Publ) Modifying a digital document responsive to user gestures relative to a physical document
CN104024936A (zh) * 2011-07-29 2014-09-03 惠普发展公司，有限责任合伙企业 投影捕获系统，程序和方法
US9117274B2 (en) * 2011-08-01 2015-08-25 Fuji Xerox Co., Ltd. System and method for interactive markerless paper documents in 3D space with mobile cameras and projectors
US20130044912A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Use of association of an object detected in an image to obtain information to display to a user
KR20220032059A (ko) * 2011-09-19 2022-03-15 아이사이트 모빌 테크놀로지 엘티디 증강 현실 시스템용 터치프리 인터페이스
US8891907B2 (en) * 2011-12-06 2014-11-18 Google Inc. System and method of identifying visual objects
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US9230171B2 (en) * 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US9171018B2 (en) * 2012-01-17 2015-10-27 Google Inc. System and method for associating images with semantic entities
CN102624981A (zh) * 2012-03-07 2012-08-01 华为终端有限公司 一种数据传输方法及装置
CN104205012A (zh) * 2012-03-26 2014-12-10 索尼公司 信息处理设备、信息处理方法和程序
US9158389B1 (en) * 2012-10-15 2015-10-13 Tangible Play, Inc. Virtualization of tangible interface objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070273674A1 (en) * 2005-03-18 2007-11-29 Searete Llc, A Limited Liability Corporation Machine-differentiatable identifiers having a commonly accepted meaning
US20100299390A1 (en) * 2009-05-22 2010-11-25 Rachid Alameh Method and System for Controlling Data Transmission to or From a Mobile Device
US20110249900A1 (en) * 2010-04-09 2011-10-13 Sony Ericsson Mobile Communications Ab Methods and devices that use an image-captured pointer for selecting a portion of a captured image
US20120320092A1 (en) * 2011-06-14 2012-12-20 Electronics And Telecommunications Research Institute Method and apparatus for exhibiting mixed reality based on print medium

Also Published As

Publication number Publication date
EP2728444A2 (en) 2014-05-07
WO2014069891A1 (en) 2014-05-08
EP2728444A3 (en) 2017-08-23
US9836128B2 (en) 2017-12-05
EP2728444B1 (en) 2021-06-16
KR102001218B1 (ko) 2019-07-17
US20140125580A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
KR102001218B1 (ko) 객체와 관련된 정보 제공 방법 및 이를 위한 디바이스
US9652704B2 (en) Method of providing content transmission service by using printed matter
RU2576247C1 (ru) Способ захвата контента и мобильный терминал для него
KR101993241B1 (ko) 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체
KR101919008B1 (ko) 정보 제공 방법 및 이를 위한 이동 단말기
US10080096B2 (en) Information transmission method and system, and device
CN103870132B (zh) 基于情境提供信息的方法和系统
KR102157327B1 (ko) 이미지 형식의 객체를 텍스트 형식으로 변환하는 전자 장치 및 방법
JP2013175188A (ja) データ共有方法及びそのための移動端末機
US20120133650A1 (en) Method and apparatus for providing dictionary function in portable terminal
CN103092507A (zh) 用于在便携式终端中表现图像的设备和方法
US20140267384A1 (en) Display apparatus and control method thereof
US8866953B2 (en) Mobile device and method for controlling the same
KR102057196B1 (ko) 정보 전송 방법 및 시스템과 그 기기
US9262689B1 (en) Optimizing pre-processing times for faster response
US8804026B1 (en) Mobile device and method for controlling the same
KR100785617B1 (ko) 멀티미디어메시징서비스를 이용한 사진 전송시스템 및 그방법
US10069984B2 (en) Mobile device and method for controlling the same
EP2784736A1 (en) Method of and system for providing access to data
KR20150026382A (ko) 전자 장치 및 전자 장치에서 연락처 관리 방법
JP6312044B2 (ja) 情報表示制御装置及びプログラム
KR20160018988A (ko) 유알엘을 통한 미디어데이터 송수신 시스템 및 방법
KR20150142375A (ko) 디바이스에 컨텐츠를 표시하는 방법 및 그 디바이스
KR20150033002A (ko) 영상 제공 시스템 및 영상 제공 방법
KR20160031823A (ko) 디바이스에 객체를 표시하는 방법 및 그 디바이스

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant