KR20110019704A - 데이터 전송 방법 및 시스템 - Google Patents

데이터 전송 방법 및 시스템 Download PDF

Info

Publication number
KR20110019704A
KR20110019704A KR1020100078285A KR20100078285A KR20110019704A KR 20110019704 A KR20110019704 A KR 20110019704A KR 1020100078285 A KR1020100078285 A KR 1020100078285A KR 20100078285 A KR20100078285 A KR 20100078285A KR 20110019704 A KR20110019704 A KR 20110019704A
Authority
KR
South Korea
Prior art keywords
terminal
data
screen
displayed
coordinates
Prior art date
Application number
KR1020100078285A
Other languages
English (en)
Other versions
KR101759349B1 (ko
Inventor
단 시론
엘라드 하비브
에이얼 톨레대노
르우벤 바렐리
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20110019704A publication Critical patent/KR20110019704A/ko
Application granted granted Critical
Publication of KR101759349B1 publication Critical patent/KR101759349B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W8/00Network data management
    • H04W8/22Processing or transfer of terminal data, e.g. status or physical capabilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W92/00Interfaces specially adapted for wireless communication networks
    • H04W92/16Interfaces between hierarchically similar devices
    • H04W92/18Interfaces between hierarchically similar devices between terminal devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/64Details of telephonic subscriber devices file transfer between terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Telephone Function (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 데이터 전송 방법에 있어서, 데이터를 전송하고자 하는 제1단말의 카메라를 이용하여 제2단말의 스크린에 디스플레이된 객체를 식별하는 과정과 상기 제1단말로부터 식별된 객체의 좌표를 인식하는 과정과 상기 제2단말의 스크린에 디스플레이된 객체 또는 상기 객체의 메타데이터를 제1단말로 전송하는 과정을 포함한다.

Description

데이터 전송 방법 및 시스템{SYSTEM AND METHOD FOR TRANSMITTING DATA}
본 발명은 데이터 전송 가능한 단말 간의 데이터 전송에 관한 것이다.
대형 컴퓨터 장치의 기능들 중 일부를 대신하기 위해서 이동 장치들은 사용자의 이용에 있어 점점 더 통합되어 가고 있다. 그 결과, 최근 이동 전화와 같은 소형 이동 장치들의 기능이 향상되어, 다른 시스템이 생성한 데이터와 데이터 파일들을 수신하고 이용할 뿐만 아니라, 미디어 파일, 텍스트 파일, 데이터 파일, 그리고 GPS가 생성하는 위치 데이터와 같은 기타 데이터들과 같은 데이터를 생성할 수도 있게 되었다. 그러나, 현재까지의 기술은 사용자에게 효율적이고 편리한 방식으로 파일 또는 데이터 (예를 들어, 이미지, 텍스트, HTML 파일, URL 등)를 PC에서 이동 장치로 또는 이동 장치에서 PC로 송신할 수 있도록 하는 직관적이고 즉각적인 방법을 제공하지는 못하고 있다. 예를 들면, 사용자가 노트패드 텍스트를 PC에서 이동 전화로 송신하고자 하는 경우, 텍스트를 파일로 저장하고, 연결을 설정하고, 파일을 드래그하고 드롭하며, 그 파일을 이동 전화에서 찾아서, 파일을 열고, 자르고 붙이는 등의 여러 작업을 수행해야 한다.
동일 기술분야에서 이용 가능한 모든 방법들 및 시스템들은 많은 시간이 소요되고 이용하기 번거롭다는 단점을 가지며, 파일 또는 데이터를 PC에서 이동전화로 또는 이동전화에서 PC로 송신할 수 있도록 하는 직관적이고, 사용이 쉬우며 즉각적인 송신 솔루션을 제공하지 못하는 문제가 있다.
본 발명은 이동 장치와 PC 간에 파일과 데이터 등과 같은 객체의 간단하며, 직관적이고 빠른 송신을 가능하게 하는 방법 및 시스템을 제공하는 것이다.
본 발명의 일 측면에 따르면, 데이터 전송 방법에 있어서, 데이터를 전송하고자 하는 제1단말의 카메라를 이용하여 제2단말의 스크린에 디스플레이된 객체를 식별하는 과정과, 상기 제1단말로부터 식별된 객체의 좌표를 인식하는 과정과, 상기 제2단말의 스크린에 디스플레이된 객체 또는 그의 메타데이터를 제1단말로 전송하는 과정을 포함한다.
본 발명의 다른 측면에 따르면, 데이터 전송 방법에 있어서, 데이터를 전송하고자 하는 제1단말의 카메라를 이용하여 제2단말의 스크린에 디스플레이된 객체를 프리뷰(preview)하는 과정과, 상기 제1단말로부터 프리뷰된 객체의 좌표를 인식하는 과정과, 상기 인식된 좌표에 해당하는 객체를 제1단말로 전송하는 과정을 포함한다.
본 발명의 또 다른 측면에 따르면, 데이터 전송 시스템에 있어서, 상기 데이터 전송 가능한 단말의 스크린상에서 미리 설정된 특정 패턴을 가지는 영역에 기반하여 디스플레이된 데이터 객체들을 식별하여 추출하는 데이터 객체 추출부와, 상기 데이터 전송 가능한 단말의 스크린에 디스플레이되는 이미지들을 처리하고, 상기 스크린상에 미리 설정된 특정 패턴을 가지는 영역에 기반하여 디스플레이된 객체들에 대한 위치 정보를 추출하는 이미지 처리부와, 통신 라인을 통해 전송되는 데이터 객체들을 수신하고, 상기 수신된 데이터 객체들을 수신 단말의 동작 내에 삽입하는 어플리케이션 서비스부를 포함하며, 상기 데이터 전송 가능한 단말 간의 데이터 객체들의 전송은 통신부를 통해서 통신하는 것을 특징으로 한다.
본 발명은 데이터 전송 가능한 단말 간에 파일과 데이터 등과 같은 객체의 간단하며, 직관적이고 빠른 전송을 가능하게 하는 효과가 있다.
도 1은 본 발명의 시스템의 주요 블록들에 대한 개략도.
도 2는 본 발명의 일 실시 예에 따른 시스템에 의해 수행되는 기술적 시퀀스 예시도.
도 3은 본 발명의 일 실시 예를 설명하기 위한 3가지의 서로 다른 마커 예들을 도시한 예시도.
도 4 내지 7은 이동 장치에서 이동 장치의 카메라가 지시하는 PC 스크린상의 위치를 식별하기 위한 본 발명에 따른 일 방법의 특정 예를 도시한 흐름도.
도 8 내지 10은 이동 장치가 계산한 스크린상의 특정 좌표에 위치한 객체를 PC가 추출하는 본 발명에 따른 일 방법의 특정 예를 도시한 흐름도.
도 11은 이미지를 브라우저로부터 획득하는 일 이용 예.
도 12는 텍스트를 노트패드로부터 획득하는 일 이용 예.
도 13은 회의의 상세 사항을 캘린더로부터 획득하는 일 이용 예.
도 14는 이미지를 이동 장치로부터 PC로 "푸시하는(push)" 일 이용 예.
도 15는 이동 장치가 2개의 PC와 상호작용하는 일 이용 예.
도 16(A와 B)은 인터넷 익스플로러 브라우저로부터 사진을 찍어서 이를 이동 전화로 송신할 때의 예시도.
도 17(A와 B)은 선택된 텍스트를 PC 노트패드로부터 이동 전화로 송신할 때의 예시도.
도 18(A와 B)은 MP3 음악 파일을 윈도우 파일 익스플로러로부터 이동 전화로 송신할 때의 예시도.
도 19(A와 B)는 사진을 PC 파일 익스플로러로 푸시하여 이동 전화로부터 사진을 송신할 때의 예시도.
도 20(A와 B)은 사진을 PC 파일 익스플로러로 푸시하여 아웃룩 발신 이메일 메시지의 첨부물로서 이동 전화로부터 사진을 송신할 때의 예시도.
도 21(A와 B)은 웹 어플리케이션 스토어로부터 이동 전화의 전화 소프트웨어 직접 설치를 예로 한 예시도.
본 설명에 걸쳐서 달리 명시되지 않는 한, "이동 장치(mobile device)"와 "이동 전화(mobile phone)"는 통신 기능과 컴퓨팅 기능을 갖출 뿐만 아니라, PC가 이용할 수 있는 데이터를 생성하거나, PC와 같은 다른 시스템에 의해 생성되는 데이터를 이용할 수 있거나, 이 두 기능이 모두 가능한 통신 장치들을 의미한다.
또한, 본 설명을 위해, "PC", "개인용 컴퓨터", "컴퓨팅 장치", "데스크톱 컴퓨터" 등은 가장 넓은 의미로의 컴퓨팅 장비 및 시스템들을 지칭하며, 랩톱 컴퓨터, 고정 또는 이동 단말, 컴퓨팅 기능을 갖춘 스크린 및 기타 CPU와 통신 기능을 갖춘 데이터 처리 장비를 포함한다.
또한, 본 발명의 상세한 설명에 앞서, 이하에서 설명되는 제1단말은 데이터를 전송하고자 하는 수신측의 단말을 의미하고, 제2단말은 데이터를 제공하는 송신측의 단말을 의미함을 전제로 하는 바이다.
본 발명은 PC 또는 다른 이동 장치에서 이동 전화로 그리고 이동 전화에서 PC 또는 다른 이동 장치로의 데이터 송신을 위한 즉각적이고 사용자 친화적인 솔루션을 제공한다. 본 발명의 실시 예에 따른 시스템은 PC로부터 이동 전화로 데이터를 송신할 때 다음과 같이 동작한다.
a) 사용자는 이동 전화의 카메라를 이동 전화에서 이용하고자 하는 PC 스크린 상의 객체로 향하게 한다.
b) 사용자는 카메라가 보고 있는 것을 식별하는 프로그램을 활성화시키는 이동 전화의 (예를 들면) 키를 누른다.
c) PC는 적절한 송신 채널(블루투스(Bluetooth), 와이파이(WiFi), USB 케이블, 셀룰러 네트워크 등)을 이용하여 식별된 객체 또는 그 메타데이터를 이동 전화로 송신한다.
d) 이동 전화는 객체 타입을 식별하고, 적절한 어플리케이션을 이용하여 이를 저장/표시/실행/기타 동작을 수행한다.
본 발명의 일 실시 예에서, 본 발명은 마커 기반 솔루션(이미지 프로세싱)을 이용하여, 사용자가 이동 전화의 카메라를 향하고 있는 곳을 식별하기 위해서 제2단말(PC)의 기능을 활용한다. 이러한 솔루션에서, 제2단말(PC)는 스크린상에 미리 설정된 특정 패턴을 가지는 영역 즉, 마커에 기반하여 이미지를 디스플레이하고 제1단말(이동 전화)의 카메라는 이를 캡쳐한다. 상기 마커는 제1단말(이동 전화)의 카메라가 캡쳐한 위치를 이해하기 위해 사용하기 쉬운 알려진 이미지 프로세싱 알고리즘(예를 들어, 바코드 판독)으로 선택된다. 제2단말(PC)가 카메라가 향하는 객체의 좌표를 이해하기 위한 다른 방식은, 제1단말(이동 전화)의 카메라 뷰 이미지를 제2단말(PC)로 송신하고 SURF 알고리즘과 같은 이미지 처리 알고리즘을 이용하여([Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346--359]), 이를 데스크톱 이미지에 등록하여 당업자에 의해 제공될 수 있다. 또 다른 방식은 제2단말(PC)와 결합된 카메라를 이용하여 제1단말(이동 전화)의 이동을 식별하거나, 제2단말(PC) 스크린에 대한 제1단말(이동 전화)의 3차원 위치 정보를 이용하는 것이다.
본 발명의 또 다른 실시 예에서, 지시(pointing) 좌표는 실시간으로 계산된다. 이러한 경우, 이동 전화 미리 보기에서 객체에 대한 확대된(augmented) 메타데이터(예를 들어, 파일 크기 또는 선택된 객체 주변의 하이라이트)를 디스플레이할 수 있는 장점이 있다. 사용자가 객체와 상호작용을 하고자 하면, (예를 들어, 키 또는 터치 스크린을 눌러) 과정을 개시할 것이다.
도 1은 본 발명에 따른 시스템의 주요 블록들에 대한 개략도이다. 본 시스템에서, 제1단말(이동 전화, 150)는 블루투스(Bluetooth), 와이파이(WiFi), USB 케이블 또는 셀룰러 네트워크 등의 통신 채널을 통해 제2단말(PC, 100)와 통신 중에 있다. 상기 제2단말(PC, 100)는, 데이터 객체의 좌표가 결정되어 제공되면 제1단말(이동 전화, 150)에 전송될 상기 데이터 객체 또는 그 메타데이터를 처리하는 역할을 하는 데이터 객체 추출부(DOE: Data Object Extractor, 103)를 구비한다. 상기 DOE(103)는 제2단말(PC, 100) 상에서 실행되거나 제2단말(PC, 100)의 OS의 일부인 소프트웨어 서비스로 구성된다.
상기 제1단말(이동 전화, 150)는 이미지 처리부(154)와 어플리케이션 서비스부(AS: Application Service, 154)를 구비하며, 이들의 역할은 하기에서 설명될 것이다. 상기 이미지 처리부(155)는 삽입된(embedded) 마커를 포함하는 제2단말(PC, 100)화면으로부터의 광학 이미지를 카메라로부터 획득하고, 사용자가 카메라를 향하는 이미지의 좌표를 계산하고, 이 좌표를 제2단말(PC, 100)로 송신한다. 상기 DOE(103)는 사용자가 선택한 데이터 객체를 식별하고 이를 송신 가능한 형태로 추출하기 위해서, 제1단말(이동 전화, 150)가 DOE(103)에 송신한 좌표를 이용한다. 상기 송신 가능한 형태는 데이터 객체의 타입, 예를 들어, 원본 이미지 파일이 찍힌 웹페이지 상에 나타난 이미지에 의존한다. 텍스트 필드가 선택되면, 그의 컨텐트(content)는 텍스츄얼 데이터로 여겨진다.
상기와 같이 추출된 데이터 파일 또는 객체는 통신 라인을 통해 제1단말(이동 전화, 150)로 송신되어 AS에 의해 수신되어, 적절한 이동 어플리케이션에 이용 가능해지게 된다.
당업자에게 명백하듯이, 일부 단계들은 다르게 수행될 수 있다. 예를 들면, 사용자가 제2단말(PC, 100) 스크린상에서 선택한 객체의 좌표의 식별은, 이러한 목적을 위해 충분한 정보를 포함하는 제1단말(이동 전화, 150)에 의해 획득된 이미지를 제2단말(PC, 100)에 제공함으로써, 제1단말(이동 전화, 150)이 아닌 제2단말(PC, 100)자체에서 수행될 수 있다. 또는, 제1단말(이동 전화, 150)의 이미지 프로세싱 및 제2단말(PC, 100)의 이미지 프로세싱의 조합이 이용될 수도 있다.
도 2를 참조하면, 도 1의 시스템의 동작의 시퀀스가 개략적으로 예시되어 있다. 상기 시퀀스에서, 제2단말(200) 스크린상에 디스플레이된 객체에 제1단말(250) (본 예에서는 이동 전화)의 카메라를 향하도록 한다(210과정). 상기 제1단말(250) 키는 다음의 과정들을 활성화하도록 미리 정의되어 있다. 다음의 과정들에서, 제1단말(250)은 제2단말(200) 스크린의 사진을 찍고 마커를 디스플레이하기 위해 제2단말로 마커 디스플레이 요청에 관한 명령어를 송신한다(211 과정). 상기 제2단말(100)은 마커를 디스플레이하고(212 과정), 이를 제1단말에 통보한다(213 과정). 이후, 제1단말(250)은 마커를 포함하는 추가 사진을 찍는다(214 과정). 제1단말(250)은 도 1의 이미지 처리부(155)는 상기 2장의 사진들을 이용하여, 좌표를 계산한다 (217 과정, 도 4 내지 7의 상세한 설명 참조). 제1단말(250)이 상기 좌표를 계산하면(217 과정), 이를 제2단말(100)로 전송한다. 도 1의 상기 DOE(103)는 어떤 객체가 스크린상의 결정된 좌표에서 보이는 지를 식별하고, 상기 객체를 어플리케이션으로부터 추출하며, 추출된 객체는 나중에 이용을 위해 이동 장치로 송신된다.
도 3은 본 발명의 일 실시 예를 설명하기 위한 3가지의 서로 다른 마커 예들을 도시하고 있다. 도시된 A와 B와 같이 서로 다른 크기의 마커들을 사용함으로써(블루 마커는 레드 마커보다 더 큰 요소들을 포함함), 제2단말 스크린으로부터 서로 다른 거리들에서도 이미지 프로세싱이 성공적일 수 있음을 유의해야 한다. 제2단말 스크린상에 디스플레이되는 실제 마커는 레드와 블루의 혼합이며, 이동 전화 카메라 측에서 캡쳐된 후에 다시 레드와 블루 요소들로 분할될 것이다. 마커 C는 마커와, 카메라에 의해 캡쳐된 데스크톱 이미지의 혼합이다. 현재 활성 데스크톱에서 마커를 혼합하면, 마커가 덜 두드러지며(less visible) 사용자의 불편함을 줄일 수 있다. 마커를 덜 보이게 하는(less visible) 다른 방법들은 [Anselm Grundh ofer, Manja Seeger, Ferry H antsch, and Oliver Bimber, Bauhaus-University Weimar, "dynamic Adaptation of Projected Imperceptible Codes"]에 논의되어 있다.
도 4 내지 7은 이동 장치의 사용자가 카메라를 향하는 제2단말의 스크린상의 객체의 실제 X, Y 좌표를 식별하기 위한 본 발명의 일 실시 예에 따른 과정을 예시하고 있다.
먼저, 도 4는 제1단말을 이용하여 2개의 이미지들을 캡쳐하는 과정을 예시하고 있다. 상기 제2단말에서 마커 디스플레이 이전에 제1단말에 의해 획득한 스크린 제1 이미지 및 상기 제2단말에서 마커 디스플레이 이후에 제1단말에 의해 획득한 스크린 제2 이미지를 각각 등록한다(400 과정).
상기 400 과정에서 획득된 이미지의 프레임들간 즉, 2개의 프레임들 간의 쉬프트(이 쉬프트는 손의 움직임의 결과임)를 계산하고(402 과정), 이미지 제2이미지를 제1이미지에 매칭되도록 정렬한다(404 과정). 상기 2개의 이미지들의 추출을 통해, 데스크톱 배경없이 마커의 이미지를 획득할 수 있다. 또한, 이미지의 레드 요소(C(red))와 블루 요소(C(blue))를 얻게 된다.
도 5는 도 4의 동작 결과 이후의 수신된 마커 이미지들 내의 특정 패턴을 인식하는 방법을 도시하고 있다.
우선, 이진 이미지를 생성하기 위해 로컬 임계 필터가 실행된다. 다시 말해, 상기 로컬 임계 필터를 실행하여 이미지를 이진화한다(500 과정).
상기 500 과정의 동작을 통해 이진화된 이미지를 통해 연결된 구성 요소 검색(510 과정) 및 연결된 그래픽 구조들의 검색(512 과정)의 동작을 통해 연결된 요소들이 식별되고, 상기 식별된 결과 테이블을 정렬하고(514 과정), 마커 패턴 특성(종횡비, 크기 등)에 매칭되는 최선의 요소를 선택한다.
도 6에서, 패턴의 코드를 읽어 진위(authenticity)를 판단한다. 우선, 선택된 마커 코너의 검색을 통해(600 과정) 마커 코너를 식별하고, 상기 600 과정을 통해 선택된 구성 요소의 4개의 코너들의 위치 검색을 통해(602 과정), 상기 마커 이미지를 정확하게 정사각형으로 원래 스크린상에서 디스플레이되었던 크기가 되도록 전치한다(transpose, 603 과정). 그리고 나서, 에러 검출/보정 알고리즘을 이용하여 패턴 코드를 계산하고 검증 과정을 통해 코드 연산 및 패러티를 체크한다(604 과정). 유효한 코드가 아니면, 다음으로 최선의 패턴을 선택하고 과정 ②를 반복한다. 코드가 유효하면, ③ 과정을 계속 진행한다.
도 7에서는, 마커가 나타내는 코드에 따라 마커의 위치가 추출된다. 그리고 나서, 제1단말 화면의 중심에 대한 마커의 위치(사용자가 향하던 지점)를 찾고, 이를 PC로 송신한다
더욱 상세하게는 700 과정에서 유효 패러티 체크 결과, 유효한 코드일 경우 702 과정으로 이동하여 코드로부터 마커 위치를 추출한다. 상기 추출된 마커 위치에 대한 제1단말의 이미지 중심을 검색하고(704 과정), 706 과정에서 제2단말의 스크린 평면에서 X, Y를 연산하여, 실제 제2단말의 X, Y 좌표를 연산한다(706 과정).
한편, 상기 700 과정에서의 유효 패러티 체크 결과, 유효한 코드가 아닐 경우, 다른 연결된 구성 요소가 존재하는지의 여부를 체크하고(708 과정), 상기 체크 결과 존재할 경우 단계 ②로 이동하고, 존재하지 않을 경우, 상기 제1단말의 이미지 중심이 블루인지의 여부를 체크한다(709 과정). 상기 체크 결과, 상기 이미지 중심이 블루일 경우 단계 ①로 이동하고, 블루가 아닐 경우, 상기 X, Y에 대한 검색이 실패하였으므로 종료한다.
도 8 내지 10은 제2단말 상의 윈도우 XP 운영 체계를 이용하는 경우 제1단말에 의해 계산된 제2단말 스크린 상의 좌표에 위치한 객체의 추출의 일 예를 도시하고 있다.
도 8을 참조하면, 제 2단말 스크린 상에 디스플레이된 객체의 해당 X, Y 좌표를 식별하고(802 과정), 804 과정에서 WindowFromPoint 시스템 호출을 통해 상기 X, Y 좌표에서 전경 윈도우로 핸들 수신이 수행되며, 806 과정에서 GetclassName 시스템 호출을 통해 윈도우 클래스 이름을 포함한 스트링 수신이 수행되며, 808 과정으로 이동하여 노드 패드와 같은 어플리케이션의 에디트 박스(EditBox)를 체크하여 810 과정으로 이동한다. 상기 810 과정에서 GetWidowText 시스템 호출을 통해 제어 텍스트를 포함한 스트링 수신이 수행되고, 812 과정으로 이동하여 텍스트를 전달하는 것이다.
도 9는 도 4에 도시된 흐름도의 동작 결과 이후, 생성된 이미지가 웹 브라우저 일경우(910 과정), 912 과정으로 이동하여 후크 dll을 삽입한 후, 914 과정으로 이동하여 [x, y]의 HTML 객체를 전달하도록 후크에 요청한다. 상기 후크 DLL(900)에서 페이지의 HTML 인터페이스를 인스턴스화하고(916 과정), 918 과정으로 이동하여 [x, y]의 객체를 추출한다. 상기 추출된 객체가 이미지라고 판단되면(920 과정), URO 및 캐시된(cached) 파일을 전달한다(921 과정). 상기 추출된 객체가 텍스트라고 판단되면(922 과정), 텍스트를 전달한다(923 과정). 상기 추출된 객체가 파일 혹은 텍스트를 제외한 것이라 판단되면(924 과정), 웹 페이지 주소를 전달한다(925 과정).
도 10은 도 5에 도시된 흐름도의 동작 결과, 마커 패턴 특성에 매칭되는 최적의 요소가 선택된 경우, 즉 익스플로러, 데스크 탑, 파일 다이알 로그 등의 Shell에 해당하는 "SysListVies32"일 경우(180 과정), 182 과정으로 이동하여 후크 dll을 처리 과정에 삽입하고, 183 과정에서 [x,y]에서 "Hit Test"로 제어 요청한다. 이럴 경우 후크 DLL(190)에서는 184 과정을 통해 [x, y]에서 "Hit Test"로 제어를 요청함으로써 PIDL(Pointer to identifier List)를 수신하고, 185 과정을 통해 "SHGetDataFromlDList" 시스템 호출을 수행하여, 목록 아이템 정보(파일 이름, 아이콘 등)을 수신하고, 186 과정에서 파일을 전달한다.
도 11은 제2단말 스크린상에 열린 브라우저에서 찾은 사진을 제1단말(이동 장치)이 획득하는 것을 예시하고 있다.
먼저, 제1단말의 카메라를 브라우저의 사진으로 향하게 하고, 상기 제1단말의 시작버튼을 선택하면(1110과정), 상기 제1단말의 카메라가 향하고 있는 제2단말의 스크린의 소정 지점을 검색한다(1112과정). 이때, 상기 검색된 지점 및 해당 사진을 제1단말에 저장한다.114 과정으로 이동하여 제2단말로부터 객체를 추출하고, 1116 과정에서 상기 제2단말에 디스플레이된 객체가 사진인지의 여부를 체크한다. 상기 체크 결과, 사진이 아닐 경우 해당 타입의 동작으로 이동(도, 12 혹은 도 13)하고, 사진일 경우 1118 과정으로 이동하여 상기 제1 단말의 화면에서 미리 보기 사진을 디스플레이한다. 1120 과정으로 이동하여 상기 디스플레이된 사진을 제2단말로 송신할 때 적용되는 어플리케이션을 선택하여 상기 사진을 제2단말로 전송한다(11120과정).
도 12는 제2단말 스크린 상에 보이는 노트패드로부터 텍스트를 이동 장치가 획득하는 것을 예시하고 있다.
먼저, 제1단말의 카메라를 제2단말의 스크린에 디스플레이된 노트패드로 향하게 하고, 상기 제1단말의 시작버튼을 선택하면(1121과정), 상기 제1단말의 카메라가 향하고 있는 제2단말의 스크린의 소정 지점을 검색한다(1122과정).
이때, 상기 검색된 노트패드는 제1단말에서 저장 및 오픈된다. 1124 과정으로 이동하여 제2단말로부터 객체를 추출하고, 상기 1124 과정의 동작은 SMS/MMS 어플리케이션을 열고, 텍스트를 삽입하는 동작을 통해 수행된다. 1126과정에서 상기 제2단말에 디스플레이된 객체가 텍스트인지의 여부를 체크한다. 상기 체크 결과, 텍스트가 아닐 경우 해당 타입의 동작으로 이동(도, 11 혹은 도 13)하고, 사진일 경우 1128 과정으로 이동하여 상기 제1 단말의 화면에서 미리 보기 텍스트를 디스플레이한다. 이후 상기 제1단말에서 텍스트를 분석하고, 승인 요청 및 연락처 목록에 저장한다.
1130과정으로 이동하여 상기 디스플레이된 텍스트를 제2단말로 송신할 때 적용되는 어플리케이션을 선택하여 상기 텍스트를 제2단말로 전송한다.
도 13은 제2단말 스크린상에 디스플레이된 캘린더에서 보이는 회의와 연관된 캘린더 데이터를 이동 장치가 획득하는 것을 예시하고 있다.
먼저, 제1단말의 카메라를 제2단말에 디스플레이된 회의와 관련된 캘린더 데이터를 향하게 하고, 상기 제1단말의 시작버튼을 선택하면(1131과정), 상기 제1단말의 카메라가 향하고 있는 제2단말의 스크린의 소정 지점을 검색한다(1132과정).
1134 과정으로 이동하여 제2단말로부터 객체를 추출한다.
1136과정에서 상기 제2단말에 디스플레이된 객체가 어포인트먼트(appointment) 인지의 여부를 체크한다. 상기 체크 결과, 상기 어포인트먼트가 아닐 경우 해당 타입의 동작으로 이동(도, 11 혹은 도 13)하고, 어포인트먼트일 경우 1138 과정으로 이동하여 상기 제1 단말의 화면에서 미리 보기 텍스트를 디스플레이한다.
1140과정으로 이동하여 상기 디스플레이된 캘린더 데이터를 제1단말로 송신할 때 적용되는 어플리케이션을 선택하여 상기 제2단말의 텍스트를 제1단말로 전송한다.
도 14는 이동 장치가 사진을 제2단말 데이터 저장소 또는 제2단말 뷰어 어플리케이션으로 푸싱하는(pushing) 것을 예시하고 있다. 우선, 사용자는 이동 장치 측에서 컴퓨터로 푸시하고자 하는 객체(예를 들어, 사진)를 선택한다. 그리고 나서, 객체를 푸시하고자 하는 제2단말 스크린상의 위치로 장치를 향하게 한다. 이는, 푸시하고자 선택된 파일 타입을 지원하는 오픈 폴더 또는 오픈 뷰어 어플리케이션일 수 있다. 이후에, 사용자는 이동 장치 "동작" 버튼을 눌러, 푸시 과정이 시작된다. 1141과정에서, 이동 장치 및 PC는 이동 전화가 향하는 곳을 식별한다.
그리고 나서, 제2단말은 스크린의 그 지점에 현재 어떤 객체가 보여지는 지를 식별한다. 객체가 오픈된 폴더인 경우, 파일을 이 폴더에 복사하고, 뷰잉 어플리케이션인 경우, 파일을 임시 디렉토리로 복사하고 이를 어플리케이션 내에서 연다.
즉, 1142 과정에서 상기 제1단말의 카메라가 향하고 있는 제1단말의 스크린의 소정 지점을 검색한다. 1144 과정에서 상기 객체와 파일 폴더가 동일한 지의 여부를 체크하고, 상기 체크 결과 동일한 경우 1145 과정으로 이동하여 상기 객체를 제2단말의 폴더에 저장하고, 동일하지 않은 경우 1146 과정으로 이동하여 상기 객체와 이미지 에디터가 동일한 지의 여부를 체크하여, 동일한 경우 상기 이미지를 표시하고(1147과정), 동일하지 않을 경우 종료한다.
도 15는 제1단말이 2개의 별도의 제2단말들 사이의 브리지로서 이용되는 본 발명의 다른 실시 예를 예시하고 있다. 이 모드에서, 그리고 도면에 명백히 도시된 바와 같이, 제1단말은 우선 제2단말 1로부터 객체를 획득하고 이를 제2단말 2로 푸시한다. 이러한 방식으로, 이동 장치는 서로 다른 제2단말 1, 2들간의 데이터 송신 장치가 된다("공용 클립보드(universal clipboard)").
더욱 상세하게는 도 15를 참조하면, 먼저 1150 과정에서 제1단말의 카메라를 제2단말에 표시된 객체를 향하게하고, 1152 과정에서 상기 카메라 향하고 있는 제2단말의 소정 지점을 검색한다.
1154 과정에서는 상기 제2단말 1로부터 객체를 추출하고, 1156 과정에서 상기 추출된 객체를 제1단말로 복사한다. 1158 과정으로 이동하여 제1단말의 카메라를 제2단말의 화면으로 향하게 하고, 1160 과정에서 상기 카메라가 향하고 있는 지점을 검색한다. 이후 1162 과정에서 상기 1156 과정에서 복사된 객체를 상기 제2단말 2로 붙이기 한다.
본 발명의 다른 실시 예에서, 이동 장치로 송신될 제2단말 스크린상의 객체(또는 객체가 푸시될 제2단말 스크린상의 위치)의 식별 과정은 포인팅 장치를 이용하고 원하는 객체 또는 위치로 직접 포인팅한다. 마우스 또는 손가락과 같은 어떠한 적절한 포인팅 장치도 이용 가능하며, 터치 스크린이 이용되는 경우, 키보드 키, 마우스 버튼 클릭 또는 기타 입력 장치를 추가적으로 이용할 수도 있고 그렇지 않을 수도 있다. 당업자가 알 수 있듯이, 포인팅 장치의 이용은 위치 및 식별 과정을 단순화시키므로, 일부 예에서 바람직하다.
다음의 추가적인 예들이 본 발명을 더 설명할 것이다.
실시 예 1
인터넷 익스플로러로부터 사진을 전화기로 가져가기
다음은 도 16(A와 B)을 참조하여 인터넷 익스플로러에서 제2단말 스크린에 보이는 사진을 제1단말로 송신하는 과정을 자세히 설명한다. 우선, 사용자가 어플리케이션을 활성화한다. 사용자는 스크린 중앙의 십자선을 포함한 전화기 카메라 캡쳐의 미리보기를 본다. 십자선이 송신될 사진을 향할 때(도 16A), 사용자는 전화의 동작 버튼을 누른다. 도 2 내지 8에 기술된 과정이 시작되고 제2단말 스크린상에서 십자선이 조정된다. 이러한 조정은 제2단말로 송신되며, 여기서 데이터 객체 추출 과정이 시작된다(도 8 내지 10에 기술됨).
우선, WindowFromPoint 시스템 호출이 인보크(invoke)되어 핸들(handle)을 인터넷 익스플로러 윈도우로 반환한다. 그리고 나서, 이 핸들을 이용하여 GetClassName 시스템 호출이 인보크되어, 윈도우의 클래스 이름을 기술하는 스트링을 얻게 된다(본 예에서는, Internet Explorer_Server). 소프트웨어는 후크 dll을 상기 과정에 삽입하고, 요청을 그 후크로 송신하여 이동 전화가 발견한 위치의 HTML 객체를 전달한다. 상기 후크 dll은 이 위치의 객체(예를 들어, 사진)를 추출하고, 사진 URL 및 캐시된 이미지 파일을 반환한다. 상기 파일을 전화기 측으로 송신하고, 사용자 인터페이스를 인보크하여 MMS로의 송신, 디폴트 전화기 브라우저에서 열기 등과 같이 사진에 대해 다양한 동작들(도 16B)을 가능하도록 한다.
실시 예 2
노트패드로부터 선택된 텍스트를 전화기로 가져가기
다음은 도 17(A와 B)을 참조하여 노트패드 어플리케이션에서 선택된 텍스트를 송신하는 과정을 자세히 설명한다. 우선, 사용자는 노트패드 문서를 열어 송신하고자 하는 특정 텍스트를 선택한다. 그리고 나서, 사용자는 어플리케이션을 활성화한다. 사용자는 스크린 중앙의 십자선을 포함한 전화기 카메라 캡쳐의 미리보기를 본다. 십자선이 노트패드 어플리케이션을 향할 때(도 17A), 사용자는 전화기의 동작 버튼을 누른다. 도 2 내지 8에 기술된 과정이 시작되고 제2단말 스크린상에서 십자선이 조정된다. 이러한 조정은 제2단말로 송신되며, 여기서 데이터 마이닝(mining) 과정이 시작된다(도 8 내지 10에 기술됨). 우선, WindowFromPoin 시스템 호출이 인보크(invoke)되어 핸들(handle)을 노트패드 윈도우로 반환한다. 그리고 나서, 이 핸들을 이용하여 GetClassName 시스템 호출이 인보크되어, 윈도우의 클래스 이름을 기술하는 스트링을 얻게 된다(본 예에서는, EditBox). 소프트웨어는 GetWindowText 시스템 호출을 인보크하고 선택된 텍스트를 얻게 된다. 텍스트 파일이 수신된 텍스트로부터 생성되며, 파일이 전화기 측으로 송신된다. 전화 소프트웨어는 파일은 수신하고 적절한 사용자 인터페이스를 인보크하여, SMS으로의 송신, 노트 어플리케이션에서 열기 등과 같이 텍스트에 대해 다양한 동작들(도 17B)을 가능하도록 한다.
실시 예 3
제2단말의 윈도우 파일 익스플로러로부터 제1단말로의 음악 파일( mp3 ) 송신
다음은 윈도우 파일 익스플로러로부터 mp3 음악 파일을 송신하는 과정을 자세히 설명한다. 우선, 사용자는 파일 익스플로러에서 mp3 파일을 포함하는 디렉토리를 연다. 사용자는 어플리케이션을 활성화한다. 사용자는 스크린 중앙의 십자선을 포함한 전화기 카메라 캡쳐의 미리보기를 본다. 십자선이 원하는 음악 파일을 향할 때(도 18A), 사용자는 전화기의 동작 버튼을 누른다.
도 2 내지 8에 기술된 과정이 시작되고 제2단말 스크린 상에서 십자선이 조정된다. 이러한 조정은 제2단말로 송신되며, 여기서 데이터 마이닝(mining) 과정이 시작된다(도 8 내지 10에 기술됨). 우선, WindowFromPoint 시스템 호출이 인보크(invoke)되어 핸들(handle)을 파일 익스플로러 윈도우로 반환한다. 그리고 나서, 이 핸들을 이용하여 GetClassName 시스템 호출이 인보크되어, 윈도우의 클래스 이름을 기술하는 스트링을 얻게 된다(이 경우, 'SysListView32'). 소프트웨어는 후크 dll을 상기 과정에 삽입하고, 요청을 그 후크로 송신하여 이동 전화가 발견한 위치의 셸(shell) 객체를 전달한다. 후크 dll은 이 위치의 PIDL(pointer to identifier list)을 추출하고, 파일에 대한 아이템 정보(파일 이름, 아이콘 등)를 얻기 위해서 SHGetDataFromList 시스템 호출을 인보크한다. 상기 정보는 파일을 위치시키고 이를 전화기로 송신하는데 이용된다. 상기 전화 소프트웨어는 파일을 수신하고, 적절한 사용자 인터페이스를 인보크하여 디폴트 브라우저에서 열기 등과 같이 파일에 대해 다양한 동작들(도 18B)을 가능하도록 한다.
실시 예 4-1
제1단말로부터 제2단말로 파일 익스플로러로의 사진 송신
다음은 제1단말로부터 윈도우 파일 익스플로러로 사진을 송신하는 과정을 자세히 설명한다. 우선, 사용자는 전화기 어플리케이션을 이용하여, 송신될 이미지를 선택한다. 그리고 나서, 사용자는 소프트웨어의 GUI로부터의 푸시 동작을 활성화한다. 사용자는 스크린 중앙의 십자선을 포함한 전화기 카메라 캡쳐의 미리보기를 본다. 십자선이 원하는 제2단말의 파일 익스플로러 윈도우를 향할 때(도 19A), 사용자는 전화기의 동작 버튼을 누른다.
도 2 내지 8에 기술된 과정이 시작되고 제2단말 스크린상에서 십자선이 조정된다. 이러한 조정은 제2단말로 송신되며, 여기서 데이터 마이닝(mining) 과정이 시작된다(도 8 내지 10에 기술됨). 우선, WindowFromPoint 시스템 호출이 인보크(invoke)되어 핸들(handle)을 파일 익스플로러 윈도우로 반환한다. 그리고 나서, 이 핸들을 이용하여 GetClassName 시스템 호출이 인보크되어, 윈도우의 클래스 이름을 기술하는 스트링을 얻게 된다(이 경우, 'SysListView32'). 그리고 나서, 식별된 객체(이 경우, 폴더)가 푸시된 객체 타입(본 예에서는, 이미지 파일)에 따라 "푸시" 동작을 지원하는 적합한 타겟인지를 나타내는 응답을 이동 전화로 송신한다.
상기 제1단말은 자신으로부터 제2단말 소프트웨어로 사진 파일을 송신한다(도 19B). 제2단말 소프트웨어는 파일을 시스템 임시 파일 폴더에 기록하고, 폴더 경로를 나타내는 GetWindowText 시스템 호출을 이용하여 결정된 타겟 위치로 이 파일을 이동시킨다('SHGetSpecialFolderPath' 시스템 호출을 이용하여 처리되는 'Desktop', 'My documents'등과 같은 특별한 폴더들의 경우는 제외).
실시 예 4-2
제1단말로부터 제2단말로 사진을 아웃룩 발신 이메일 메시지의 첨부물로서 송신
다음은 제1단말로부터 사진을 아웃룩 발신 이메일 메시지의 첨부물로서 송신하는 과정을 자세히 설명한다. 우선, 사용자는 새로운 혹은 기존의 발신 아웃룩 이메일 메시지를 연다. 사용자는 전화 소프트웨어를 이용하여 송신될 이미지를 선택한다. 그리고 나서, 사용자는 소프트웨어의 GUI로부터의 푸시 동작을 활성화한다. 사용자는 스크린 중앙의 십자선을 포함한 전화기 카메라 캡쳐의 미리보기를 본다. 십자선이 제2단말의 열린 아웃룩 메시지 윈도우를 향할 때(도 19A), 사용자는 전화기의 동작 버튼을 누른다.
도 2 내지 8에 기술된 과정이 시작되고 제2단말 스크린상에서 십자선이 조정된다. 이러한 조정은 제2단말로 송신되며, 여기서 데이터 마이닝(mining) 과정이 시작된다(도 8 내지 10에 기술됨). 우선, WindowFromPoint 시스템 호출이 인보크(invoke)되어 핸들(handle)을 아웃룩 새로운 메시지 다이얼로그의 구성요소로 반환한다. 그리고 나서, 이 핸들을 이용하여 GetClassName 시스템 호출이 인보크되어, 구성요소의 클래스 이름을 기술하는 스트링을 얻게 된다. 이러한 스트링을 아웃룩 새로운 메시지 다이얼로그와 연관된 가능한 값들의 목록(버전 및 뷰 타입에 따라 다양함)에 비교한다. 매칭되는 것이 나타나거나 Parentless 핸들이 획득될 때까지, 이전 구성요소 부모(parent) 핸들을 얻고 그의 클래스 이름을 검색하는 과정이 시작된다. 매칭되는 것이 발견되는 경우, 제1단말로 통보하고 객체를 제2단말로 송신한다. COM 객체를 이용하여, 아웃룩 어플리케이션을 나타내는 객체를 생성하여 새로운 메시지 다이알로그 "메시지 구성요소"주제, 내용 등)에 접근하고, 송신된 객체의 파일 경로를 메시지 첨부물에 부가한다(도 20B).
실시 예 5
어플리케이션 스토어로부터 제1이동단말로 전화 소프트웨어 직접 설치
다음은 웹 어플리케이션 스토어의 웹 페이지 또는 아이콘에서 포인팅 및 클릭을 통해 전화 소프트웨어를 설치하는 과정을 자세히 설명한다. 우선, 사용자는 웹 브라우저를 열고 어플리케이션 스토어로 간다. 그리고 나서, 사용자는 어플리케이션을 활성화한다. 사용자는 스크린 중앙의 십자선을 포함한 전화기 카메라 캡쳐의 미리보기를 본다. 십자선이 원하는 어플리케이션(스크린샷 또는 이를 기술하는 텍스트일 수 있음)을 향할 때(도 21A), 사용자는 전화기의 동작 버튼을 누른다.
도 2 내지 8에 기술된 과정이 시작되고 제2단말 스크린상에서 십자선이 조정된다. 이러한 조정은 제2단말로 송신되며, 여기서 데이터 객체 추출 과정이 시작된다(도 8 내지 10에 기술됨). 우선, WindowFromPoint 시스템 호출이 인보크(invoke)되어 핸들(handle)을 인터넷 익스플로러 윈도우로 반환한다. 그리고 나서, 이 핸들을 이용하여 GetClassName 시스템 호출이 인보크되어, 윈도우의 클래스 이름을 기술하는 스트링을 얻게 된다(본 예에서는, Internet Explorer_Server). 소프트웨어는 후크 dll을 상기 과정에 삽입하고, 요청을 그 후크로 송신하여 이동 전화가 발견한 위치의 HTML 객체를 전달한다. 후크 dll은 이 위치의 객체(예를 들어, 사진)를 추출하고, 사진 URL을 반환한다. 상기 데이터 객체 추출기는 이미지 객체가 어플리케이션 설치 파일에 대해 HTML URL 참조(e.g., <img src="TennisGame.jpg"href=http://uk.samsungmobile.com/games/TennisGame.jad />를 포함하는 것을 확인하며, URL 데이터를 이용하여 웹으로부터 설치 파일을 다운로드한다. 상기 파일은 전화기로 송신된다. 전화 소프트웨어는 파일을 수신하고, 적절한 사용자 인터페이스를 인보크하여 (다양한 동작들 중) 설치가 일어나도록 한다(도 21B).
당업자에게 명백하듯이, 본 발명은 업계에서 알려진 기존의 방법들에 의해 명백하게 수행되지 않는 다양한 동작들을 가능하게 한다. 다음의 본 발명의 이용들에 대한 예시적 목록은 예시를 위한 것이며 그러한 이용들을 어떠한 방식으로든 한정하고자 하는 것은 아니다.
1. 제2단말에서 제1단말로 파일 송신
a. 제2단말 -> 제1단말로 사진(바탕화면) 송신
b. 파일
2. 아웃룩:
a. 연락처 동기화(특정 또는 전부)
b. 캘린더 동기화(특정 또는 전부)
c. 모든, 읽히지 않은, 오늘 등의 메일을 불러오기 위해 메일 폴더 포인팅
3. 전화기에서 전화기로 전화기들 간의 데이터 송신
4. 비디오(PC -> 전화기): 플래시 비디오 플레이어에서 포인팅
a. URL을 전화기로 송신
b. 스트림을 파일로 전환 및 전화기로 송신
c. 스트림을 PC에서 전화기로 송신(로컬, 이동 전화 네트워크를 통하여)
5. 텍스트(노트패드, 워드)
a. SMS를 쉽고 빠르게 작성
b. 텍스트 -> 연락처
c. 플레인(plain) 텍스트로 주소 작성 -> 이동 네비게이션 어플리케이션
6. PC->(이동 전화)->PC의 파일 송신 예:
a. 사무소 <-> 집 (학생)
b. 학교 <-> 집
c. 작업 컴퓨터 <-> 프레젠테이션 컴퓨터
7. 맵에 포인팅하고 및 조정을 이동 전화의 네이게이션 어플리케이션으로 송신. 목적지를 설정하기 쉬움.
8. 음악 서버, 노래에 포인팅
a. 재생 목록(사적 혹은 공공 장소-카페)의 복사 및 구입을 가능하게 함.
b. 노래들을 인터넷 서버에 업로드
c. 직접 복사 대신, PC가 선택된 노래를 이동 장치에 스트리밍함.
9. 어플리케이션스토어_어플리케이션에 포인팅하고 전화기에 설치함(한 번의 클릭으로).
10. 선택된 검색 엔진에서, 미리보기 이미지에서 전화기를 포인팅하고 원본 이미지를 불러옴.
11. SMS 백업
12. 뉴스에서 전화기를 포인팅하고 동일한 피드(feed) 또는 주제(예를 들어, 가십)로부터 업데이터를 수신.
13. PC 이외
a. 패스트푸드_계산대 스크린에 전화기를 포인팅하여 전화 번호에 대한 정보를 패스하고, 음식이 준비되었을 때 SMS 수신.
b. 게시판 - 광고를 이동 전화기에 복사/포스팅
14. 이동 전화기들 사이의 명함 교환
상기한 설명은 예시를 위해 제공될 뿐이며, 하기의 청구항에 정의된 바를 제외하고는 어떠한 방식으로든 본 발명을 제한하지 않는다.
102. 포인팅 인식부 154. 어플리케이션 서비스부
103. 데이터 객체 추출부(DOE) 155. 이미지 처리부

Claims (18)

  1. 데이터 전송 방법에 있어서,
    데이터를 전송하고자 하는 제1단말의 카메라를 이용하여 제2단말의 스크린에 디스플레이된 객체를 식별하는 과정과,
    상기 제1단말로부터 식별된 객체의 좌표를 인식하는 과정과,
    상기 제2단말의 스크린에 디스플레이된 객체 또는 상기 객체의 메타데이터를 제1단말로 전송하는 과정을 포함하는 것을 특징으로 하는 데이터 전송 방법.
  2. 제 1항에 있어서, 상기 제2단말로부터 수신한 객체에 해당하는 동작을 수행하는 과정을 더 포함하는 것을 특징으로 하는 데이터 전송 방법.
  3. 제 1항에 있어서, 상기 객체는 데이터 객체들, 실행 가능한 객체들, 파일 폴더들 또는 이들의 메타데이터로부터 선택되는 것을 특징으로 하는 데이터 전송 방법.
  4. 제1항에 있어서, 상기 객체의 좌표를 인식하는 과정은,
    상기 제2단말의 스크린상에 미리 설정된 특정 패턴을 가지는 영역에 기반하여 디스플레이된 객체를 인식하는 것을 특징으로 하는 데이터 전송 방법.
  5. 제 1항에 있어서, 상기 객체 및 상기 객체의 좌표는 스크린과 연관된 포인팅 장치를 이용하여 식별되는 것을 특징으로 하는 데이터 전송 방법.
  6. 제 1항에 있어서, 상기 객체 및 상기 객체의 좌표는 광학 장치와 포인팅 장치의 조합을 이용하여 식별되는 것을 특징으로 하는 데이터 전송 방법.
  7. 제 1항에 있어서, 상기 객체는 데이터 또는 데이터 조합을 포함하는 것을 특징으로 하는 데이터 전송 방법.
  8. 제 1항에 있어서, 상기 객체는 이미지인 것을 특징으로 하는 데이터 전송 방법.
  9. 제 1항에 있어서, 상기 객체는 텍스트를 포함하는 것을 특징으로 하는 데이터 전송 방법.
  10. 제 1항에 있어서, 상기 객체는 미디어 파일인 것을 특징으로 하는 데이터 전송 방법.
  11. 제 1항에 있어서, 상기 객체는 소프트웨어 설치 과정과 연관된 것을 특징으로 하는 데이터 전송 방법.
  12. 데이터 전송 방법에 있어서,
    데이터를 전송하고자 하는 제1단말의 카메라를 이용하여 제2단말의 스크린에 디스플레이된 객체를 프리뷰(preview)하는 과정과,
    상기 제1단말로부터 프리뷰된 객체의 좌표를 인식하는 과정과,
    상기 인식된 좌표에 해당하는 객체를 상기 제1단말로 전송하는 과정을 포함하는 것을 특징으로 하는 데이터 전송 방법.
  13. 제 12항에 있어서, 상기 전송 과정은,
    상기 제2단말에서 전송 가능한 데이터 객체를 생성하여 상기 제1단말로 전송하는 과정을 포함하는 것을 특징으로 하는 데이터 전송 방법.
  14. 제 13항에 있어서, 상기 좌표를 인식하는 과정은 상기 데이터를 전송하고자 하는 제1단말의 카메라에 의해 획득한 스크린의 이미지를 처리하여 수행되는 것을 특징으로 하는 데이터 전송 방법.
  15. 제 12항에 있어서, 상기 제2단말의 스크린에 디스플레이된 상기 객체는, 상기 제1단말 상에 존재하는 데이터 객체가 복사되거나 전송될 제2단말의 저장 영역의 대표이거나 그와 연관되어 있는 것을 특징으로 하는 데이터 전송 방법.
  16. 제12항에 있어서, 상기 객체의 좌표를 인식하는 과정은, 상기 제2단말의 스크린상에 미리 설정된 특정 패턴을 가지는 영역에 기반하여 디스플레이된 객체를 인식하는 것을 특징으로 하는 데이터 전송 방법.
  17. 데이터 전송 시스템에 있어서,
    상기 데이터 전송 가능한 단말의 스크린상에서 미리 설정된 특정 패턴을 가지는 영역에 기반하여 디스플레이된 데이터 객체들을 식별하여 추출하는 데이터 객체 추출부;
    상기 데이터 전송 가능한 단말의 스크린에 디스플레이되는 이미지들을 처리하고, 상기 스크린상에 미리 설정된 특정 패턴을 가지는 영역에 기반하여 디스플레이된 객체들에 대한 위치 정보를 추출하는 이미지 처리부; 및
    통신 라인을 통해 전송되는 데이터 객체들을 수신하고, 상기 수신된 데이터 객체들을 수신 단말의 동작 내에 삽입하는 어플리케이션 서비스부를 포함하며,
    상기 데이터 전송 가능한 단말 간의 데이터 객체들의 전송은 통신부를 통해서 통신하는 것을 특징으로 하는 데이터 전송 시스템.
  18. 제 16항에 있어서, 상기 통신 라인은 블루투스(Bluetooth), 와이파이(WiFi), USB 케이블 및 셀룰러 네트워크 중 하나 또는 그 이상으로부터 선택되는 것을 특징으로 하는 데이터 전송 시스템.
KR1020100078285A 2009-08-20 2010-08-13 데이터 전송 방법 및 시스템 KR101759349B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/544,315 US8566713B2 (en) 2009-08-20 2009-08-20 Data transfer method and system
US12/544,315 2009-08-20

Publications (2)

Publication Number Publication Date
KR20110019704A true KR20110019704A (ko) 2011-02-28
KR101759349B1 KR101759349B1 (ko) 2017-07-18

Family

ID=43088407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100078285A KR101759349B1 (ko) 2009-08-20 2010-08-13 데이터 전송 방법 및 시스템

Country Status (4)

Country Link
US (1) US8566713B2 (ko)
EP (2) EP2624102B1 (ko)
KR (1) KR101759349B1 (ko)
CN (1) CN101997561B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245714B1 (ko) * 2012-05-22 2013-03-25 주식회사 모리아타운 카메라를 이용한 단말 간 파일 관리 장치 및 방법

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI597613B (zh) * 2011-05-25 2017-09-01 群邁通訊股份有限公司 遠端操作共用系統及方法
EP2899628A4 (en) * 2012-09-24 2016-06-08 Yulong Comp Telecomm Scient SYSTEM AND METHOD FOR TRANSMITTING AND DISPLAYING INTERFACE CONTENTS AND DEVICE THEREFOR
CN103840859B (zh) * 2012-11-27 2017-08-25 深圳市腾讯计算机系统有限公司 传输文件的方法、终端及系统
FR2999847A1 (fr) 2012-12-17 2014-06-20 Thomson Licensing Procede d'activation d'un dispositif mobile dans un reseau, dispositif d'affichage et systeme associes
US10139925B2 (en) * 2013-03-04 2018-11-27 Microsoft Technology Licensing, Llc Causing specific location of an object provided to a device
JP2015032934A (ja) * 2013-08-01 2015-02-16 ソニー株式会社 制御装置、制御方法、送信端末、送信方法、受信端末、受信方法および制御システム
CN104679695B (zh) * 2013-11-28 2018-03-27 联想(北京)有限公司 一种信息处理方法及电子设备
CN104714833B (zh) * 2013-12-16 2018-12-14 联想(北京)有限公司 一种信息处理方法及装置
JP6148170B2 (ja) * 2013-12-27 2017-06-14 日立マクセル株式会社 携帯情報端末
CN104598545A (zh) * 2014-12-31 2015-05-06 深圳市金立通信设备有限公司 一种文件操作方法
CN104639608A (zh) * 2014-12-31 2015-05-20 深圳市金立通信设备有限公司 一种终端
US10015230B1 (en) 2016-02-09 2018-07-03 Robert Buergi Copying and pasting among networked devices
CN107102937B (zh) * 2016-02-19 2021-03-02 腾讯科技(深圳)有限公司 一种用户界面测试方法和装置
CN109819432A (zh) * 2016-06-20 2019-05-28 腾讯科技(深圳)有限公司 一种开启设备发现功能的方法、服务器及终端设备
KR102061787B1 (ko) * 2017-11-29 2020-01-03 삼성전자주식회사 이미지를 촬영하는 전자 장치 및 이미지 표시 방법
KR102629412B1 (ko) 2019-01-04 2024-01-26 삼성전자주식회사 외부 장치의 콘텐트를 편집하는 전자 장치 및 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4868195B2 (ja) * 2000-10-24 2012-02-01 ソニー株式会社 電子機器および情報処理装置
US7458074B2 (en) * 2001-03-30 2008-11-25 International Business Machiens Corporation Method and apparatus for installing and upgrading an application in a computer system
US7391917B2 (en) * 2003-02-13 2008-06-24 Canon Kabushiki Kaisha Image processing method
JP2005293240A (ja) * 2004-03-31 2005-10-20 Fujitsu Ltd 端末間情報転送システム
CN101213550B (zh) 2005-06-30 2011-09-28 诺基亚公司 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置
JP4945372B2 (ja) * 2007-08-28 2012-06-06 株式会社リコー 多機能入出力装置及びその制御方法、並びに多機能入出力装置制御プログラム及び記録媒体
JP4569613B2 (ja) * 2007-09-19 2010-10-27 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US20090108057A1 (en) * 2007-10-24 2009-04-30 Hong Mu Using Quick Response Codes to Provide Interactive Services
GB2454482A (en) 2007-11-07 2009-05-13 Symbian Software Ltd Image based pointing and selection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101245714B1 (ko) * 2012-05-22 2013-03-25 주식회사 모리아타운 카메라를 이용한 단말 간 파일 관리 장치 및 방법

Also Published As

Publication number Publication date
EP2624102A3 (en) 2014-03-12
EP2624102B1 (en) 2017-09-06
EP2624102A2 (en) 2013-08-07
CN101997561A (zh) 2011-03-30
EP2299349A1 (en) 2011-03-23
US20110047458A1 (en) 2011-02-24
KR101759349B1 (ko) 2017-07-18
US8566713B2 (en) 2013-10-22
EP2299349B1 (en) 2013-05-29
CN101997561B (zh) 2015-06-03

Similar Documents

Publication Publication Date Title
KR101759349B1 (ko) 데이터 전송 방법 및 시스템
US20220006763A1 (en) Conversion of text relating to media content and media extension apps
CN108496150B (zh) 一种屏幕截图和读取的方法及终端
US20200145242A1 (en) Initializing Chat Sessions by Pointing to Content
JP5449390B2 (ja) ロックされた装置上での受信情報の分離
US9800708B2 (en) Operation method and system of mobile terminal
US9747257B2 (en) Updating document previews of embedded files
US9652704B2 (en) Method of providing content transmission service by using printed matter
KR102083209B1 (ko) 데이터 제공 방법 및 휴대 단말
CN102156667B (zh) 具有视觉信息转换系统的电子装置
US20160197869A1 (en) Digital device for providing text messaging service and method for controlling the same
US8452783B2 (en) Document processing device and program
TWI313558B (ko)
CN113191117B (zh) 电子文档的编辑方法、装置、设备及存储介质
US20150160802A1 (en) Technique for enabling multiple actions to be performed on an active data item
US8082513B2 (en) Method and system for saving images from web pages
US10191964B2 (en) Automatic isolation and selection of screenshots from an electronic content repository
WO2014201803A1 (en) Method and system for synchronizing duplicated contents in multiple terminals
KR20110079227A (ko) 문서 정보 전달 방법 및 장치
JP2005293558A (ja) 共用ディスプレイのためのハイパーテキストナビゲーション
US10353865B2 (en) On-device indexing of hosted content items
US20140240101A1 (en) Device and method for processing write information of electronic tag
US20140351709A1 (en) Information processing device having information management editing function
US20090193030A1 (en) electronic device, a database, system, and method for presenting the content of a file to a user
CN109952557B (zh) 分层内容选择

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant