KR102297025B1 - 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법 - Google Patents

모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법 Download PDF

Info

Publication number
KR102297025B1
KR102297025B1 KR1020140038141A KR20140038141A KR102297025B1 KR 102297025 B1 KR102297025 B1 KR 102297025B1 KR 1020140038141 A KR1020140038141 A KR 1020140038141A KR 20140038141 A KR20140038141 A KR 20140038141A KR 102297025 B1 KR102297025 B1 KR 102297025B1
Authority
KR
South Korea
Prior art keywords
mobile device
input
touch
information
posture
Prior art date
Application number
KR1020140038141A
Other languages
English (en)
Other versions
KR20150113732A (ko
Inventor
카르심 유세프
이성욱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020140038141A priority Critical patent/KR102297025B1/ko
Publication of KR20150113732A publication Critical patent/KR20150113732A/ko
Application granted granted Critical
Publication of KR102297025B1 publication Critical patent/KR102297025B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

간단한 제스처를 통해 인접한 모바일 장치와 연결하여 사진, 동영상, 문서 등과 같은 보유 콘텐츠 또는 기능을 공유하거나 교환할 수 있도록 하는 모바일 장치, 시스템 및 그 콘텐츠 공유 방법이 개시된다. 모바일 장치는, 영상을 표시하는 제1 표시부와; 하나 이상의 외부 모바일 장치와 통신하는 제1 통신부와; 사용자의 인터랙션 행위를 기반으로 한 입력을 감지하는 제1 NUI부와; 모바일 장치의 자세를 감지하는 제1 자세 센서부와; 제1 NUI부에 의해 감지되는 제1 입력정보 및 제1 자세 센서부에 의해 감지되는 모바일 장치의 제1 자세정보와, 외부 모바일 장치로부터 수신되는 외부 모바일 장치의 제2 NUI부에 의해 감지되는 제2 입력 정보 및 외부 모바일 장치의 제2 자세 센서부에 의해 감지되는 외부 모바일 장치의 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 선결된 공유조건을 만족할 때 외부 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식하는 제1 제어부를 포함다.

Description

모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법{MOBILE DEVICE, CROSS-DEVICE CONTENT SHARING SYSTEM AND CONTENT SHARING METHODS THEREOF}
본 발명은 휴대폰 등과 같은 모바일 장치에 관한 것으로, 보다 상세하게는, 간단한 제스처를 통해 인접한 모바일 장치와 연결하여 사진, 동영상, 문서 등과 같은 보유 콘텐츠 또는 기능을 공유하거나 교환할 수 있도록 하는 NUI(Natural User interface) 방식 크로스디바이스(Cross-device) 콘텐츠 공유 기능을 갖는 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법에 관한 것이다.
전자통신 산업의 발달에 따라, 휴대폰 등과 같은 모바일 장치는 본래의 음성통화 기능에 더하여 카메라를 이용한 영상촬영 기능과 인터넷을 이용한 데이터 통신 및 정보 검색 기능을 가지는 복합 지능형 기기로 발전하고 있다.
그 결과, 모바일 장치의 사용자들은 각자가 카메라를 통해 촬영한 사진이나 인터넷을 이용하여 획득한 동영상, 문서 등과 같은 정보를 서로 공유할 필요성이 증가하고 있다.
따라서, 모바일 장치의 사용자들은 이메일 또는 메신저와 같은 정보전달 서비스를 통해 각자가 획득한 정보를 서로에게 전달하거나 페이스북 또는 마이스페이스와 같은 SNS(Social Networking Service) 사이트를 통해 획득한 정보를 공유한다.
또한, 최근 올세어(AllShare) 또는 에어드롭(AirDrop)과 같은 크로스디바이스(cross-device) 콘텐츠 공유 어플리케이션 또는 프로그램이 개발됨에 따라, 모바일 장치의 사용자들은 정보전달 서비스나 SNS 사이트를 가입하지 않고도 보다 쉽게 각자가 획득한 정보를 공유할 수 있다.
그러나, 크로스디바이스 콘텐츠 공유 어플리케이션은 모바일 장치의 사용자들이 서로 획득한 정보를 공유하기 위해 정보전달 서비스나 SNS 사이트를 가입해야 하는 번거로움은 해소하였지만, 획득한 정보를 공유하기 위해 어플리케이션을 실행하고 종료하는 동작을 여전히 필요로 한다. 이러한 어플리케이션을 실행하고 종료하는 동작은 모바일 장치의 사용자들이 몇 단계의 조작을 통해 화면을 전환해야 하는 번거로움을 필요로 한다.
또한, 크로스디바이스 콘텐츠 공유 어플리케이션은 통상 한 모바일 장치에서 획득한 정보를 다른 모바일 장치로 전송하여 재생만 할 뿐으로, 정보전달 서비스나 SNS 사이트을 이용하는 경우와 같이 다른 모바일 장치가 전송된 정보를 복사하여 저장할 수 없는 문제점이 있었다.
따라서, 정보를 공유하거나 교환할 때, 어플리케이션을 실행하고 종료하는 동작을 필요로 하지 않고, 획득한 정보를 다른 모바일 장치로 전송하여 재생만 할 뿐 아니라 다른 모바일 장치에 복사하여 저장할 수 있는 모바일 장치의 필요성이 요구되고 있다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로, 크로스디바이스 콘텐츠 공유 어플리케이션 또는 프로그램, SNS 사이트, 정보전달 서비스, 간접적인 입력장치 등을 사용하지 않고 간단한 제스쳐를 통해 인접한 모바일 장치와 연결하여 사진, 동영상, 문서 등과 같은 콘텐츠를 공유하거나 교환할 수 있도록 하는 NUI 방식 크로스디바이스 콘텐츠 공유 기능을 갖는 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법을 제공하는 데 그 목적이 있다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시 양상에 따르면, 모바일 장치는, 영상을 표시하는 제1 표시부와; 하나 이상의 외부 모바일 장치와 통신하는 제1 통신부와; 사용자의 인터랙션 행위(Interaction behavior)를 기반으로 한 입력을 감지하는 제1 NUI부와; 모바일 장치의 자세를 감지하는 제1 자세 센서부와; 제1 NUI부에 의해 감지되는 제1 입력정보 및 제1 자세 센서부에 의해 감지되는 모바일 장치의 제1 자세정보와, 외부 모바일 장치로부터 수신되는 외부 모바일 장치의 제2 NUI부에 의해 감지되는 제2 입력 정보 및 외부 모바일 장치의 제2 자세 센서부에 의해 감지되는 외부 모바일 장치의 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 선결된 공유조건을 만족할 때 외부 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식하는 제1 제어부를 포함하는 것을 특징으로 한다.
제1 및 제2 NUI부는 각각 사용자의 제1 및 제2 터치입력을 감지하는 제1 및 제2 터치 센서부를 포함할 수 있다. 이때, 제1 및 제2 터치 센서부는 각각 터치스크린을 포함할 수 있다.
이 경우, 제1 및 제2 터치입력은 사용자의 엄지와 검지가 각각 제1 및 제2 터치 센서부를 터치한 상태에서 서로 접근하도록 스위핑하는 핀치인(Pinch-in) 제스쳐를 형성할 수 있다.
또한, 제1 및 제2 입력정보는 각각 제1 및 제2 터치입력이 입력될 때 제1 및 제2 터치 센서부에 의해 감지되는 터치지점들의 좌표, 터치지점들의 타임스탬프, 터치입력 방향, 및 제1 표시부와 외부 모바일 장치의 제2 표시부의 크기를 포함할 수 있다.
제1 및 제2 자세 센서부의 각각은 자이로센서와 가속도 센서, 또는 가속도 센서와 지자기 센서를 포함할 수 있다.
이 경우, 제1 및 제2 자세정보는 각각 제1 및 제2 자세 센서부에 의해 감지되는 해당 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 더 포함할 수 있다.
선결된 공유조건은 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 제1 조건과 모바일 장치와 제2 외부 모바일 장치가 동일 평면에 위치한 상태에서 제1 및 제2 터치입력이 동일 선상으로 발생하는 제2 조건 중의 적어도 하나를 포함할 수 있다. 이때, 제1 조건은 제1 및 제2 입력정보의 터치지점들의 타임스탬프를 토대로 결정될 수 있다. 또한, 제2 조건은 제1 및 제2 입력정보의 터치입력 방향 및 제1 및 제2 표시부의 크기와, 제1 및 제2 자세정보의 롤, 피치, 및 요우과 배향을 토대로 판단될 수 있다.
제1 제어부는 선결된 공유조건을 일정비율 이상 만족할 때 외부 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식할 수 있다. 이때, 일정비율은 90% 이상일 수 있다.
또한, 제1 제어부는 외부 모바일 장치에서 제1 입력정보 및 제1 자세정보와 제2 입력정보 및 제2 자세정보를 토대로 선결된 공유조건을 만족하는 지를 판단하여 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식할 수 있도록 제1 입력정보 및 제1 자세정보를 제1 통신부를 통해 외부 모바일 장치로 전송할 수 있다.
또한, 제1 제어부는 제1 NUI부에 의해 감지되는 사용자의 제3 터치 입력 및/또는 제1 통신부를 통해 외부 모바일 장치로부터 수신되는 사용자의 제4 터치 입력에 대응하여 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 일부를 구성하는 제1 기능을 수행함과 동시에, 제1 기능에 대응하여 외부 모바일 장치로 전송할 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 제1 통신부를 통해 외부 모바일 장치로 전송한다.
미리 정해진 크로스디바이스 콘텐츠 공유 기능은 모바일 장치에 저장 또는 표시되는 콘텐츠를 외부 모바일 장치로 이동 또는 복사하거나 외부 모바일 장치에 동일하게 복제 또는 확장하여 표시하는 기능을 포함할 수 있다.
모바일 장치와 외부 모바일 장치는 각각 휴대폰, 리모콘, 태블릿 PC, 모바일 PC, 워치폰 및 PDA 중의 하나를 포함할 수 있다.
본 발명의 또 다른 실시 양상에 따르면, 외부 모바일 장치와 통신 가능한 모바일 장치의 콘텐츠 공유 방법은, 사용자의 인터랙션 행위를 기반으로 한 입력과 모바일 장치의 자세를 감지하는 단계와; 감지된 사용자의 입력과 모바일 장치의 자세를 토대로 제1 입력정보와 모바일 장치의 제1 자세정보를 판단하는 단계와; 외부 모바일 장치로부터 제1 입력정보와 제1 자세정보에 대응하는 사용자의 제2 입력 정보와 외부 모바일 장치의 제2 자세정보를 수신하는 단계와; 판단된 제1 입력정보 및 제1 자세정보와 수신된 제2 입력 정보 및 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하는 단계와; 선결된 공유조건을 만족할 때 외부 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식하는 단계를 포함할 수 있다.
감지 단계는 제1 터치 센서부에 의해 모바일 장치에 입력되는 제1 터치 입력을 감지하고 대응하는 제1 터치 감지신호를 발생하는 단계와, 제1 자세 센서부에 의해 모바일 장치의 자세를 감지하고 대응하는 제1 자세 감지신호를 발생하는 단계를 포함할 수 있다.
제1 입력정보와 제1 자세정보를 판단하는 단계는 발생된 제1 터치 감지신호에 대응하여 터치지점들의 좌표, 터치지점들의 타임스탬프, 터치입력 방향, 및 모바일 장치와 표시부의 크기를 판단하는 단계와, 발생된 제1 자세 감지신호를 토대로 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 판단하는 단계를 포함할 수 있다.
수신 단계는 사용자에 의해 외부 모바일 장치에 입력되는 제2 터치 입력에 의해 터치되는 터치지점들의 좌표, 터치지점들의 타임스탬프, 터치입력 방향, 및 외부 모바일 장치의 제2 표시부의 크기를 수신하는 단계와, 외부 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 수신하는 단계를 포함할 수 있다.
선결된 공유조건을 만족하는 지를 판단하는 단계는 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 제1 조건을 만족하는 지를 판단하는 단계와, 모바일 장치와 외부 모바일 장치가 동일 평면에 위치한 상태에서 제1 및 제2 터치입력이 동일 선상으로 발생하는 제2 조건을 만족하는 지를 판단하는 단계 중에서 적어도 하나를 포함할 수 있다. 이때, 제1 조건을 만족하는 지를 판단하는 단계는 제1 및 제2 입력정보의 터치지점들의 타임스탬프를 토대로 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 지를 판단하는 단계를 포함할 수 있다. 또한, 제2 조건을 만족하는 지를 판단하는 단계는 제1 및 제2 자세정보의 롤, 피치, 및 요우를 토대로 모바일 장치와 외부 모바일 장치가 동일평면에 위치하는 지를 판단하는 단계와, 제1 및 제2 입력정보의 터치입력 방향 및 제1 및 제2 표시부의 크기와, 제1 및 제2 자세정보의 배향을 토대로 제1 및 제2 터치입력이 동일선 상으로 발생하는 지를 판단하는 단계를 포함할 수 있다.
선결된 공유조건을 만족하는 지를 판단하는 단계는 제1 조건과 제2 조건을 일정 비율이상 만족할 때 외부 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식하는 단계를 포함할 수 있다. 이때, 일정비율은 90% 이상일 수 있다.
또한, 본 발명의 모바일 장치의 콘텐츠 공유 방법은, 외부 모바일 장치에서 제1 입력정보 및 제1 자세정보와 제2 입력정보 및 제2 자세정보를 토대로 선결된 공유조건을 만족하는 지를 판단하여 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식할 수 있도록 제1 입력정보 및 제1 자세정보를 외부 모바일 장치로 전송하는 단계를 더 포함할 수 있다.
또한, 본 발명의 모바일 장치의 콘텐츠 공유 방법은, 모바일 장치에서 감지되는 사용자의 제3 터치입력 및/또는 외부 모바일 장치로부터 수신되는 사용자의 제4 터치 입력에 대응하여 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 일부를 구성하는 제1 기능을 수행하는 단계와, 제1 기능에 대응하여 외부 모바일 장치로 전송할 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 외부 모바일 장치로 전송하는 단계를 포함할 수 있다.
미리 정해진 크로스디바이스 콘텐츠 공유 기능은 모바일 장치에 저장 또는 표시되는 콘텐츠를 외부 모바일 장치로 이동 또는 복사하거나 외부 모바일 장치에 동일하게 복제 또는 확장하여 표시하는 기능을 포함할 수 있다.
본 발명의 또 다른 실시 양상에 따르면, 크로스디바이스 콘텐츠 공유 시스템은 제1 모바일 장치와, 제1 모바일장치와 통신 가능한 하나 이상의 제2 모바일장치를 포함하며, 제1 모바일 장치는, 영상을 표시하는 제1 표시부와, 제2 모바일 장치와 통신하는 제1 통신부와, 사용자의 인터랙션 행위를 기반으로 한 제1 입력을 감지하는 제1 NUI부와, 제1 모바일 장치의 자세를 감지하는 제1 자세 센서부와, 제1 NUI부에 의해 감지되는 제1 입력정보 및 제1 자세 센서부에 의해 감지되는 제1 자세정보와, 제1 통신부를 통해 제2 모바일 장치로부터 수신되는 제2 모바일 장치의 제2 입력정보 및 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 선결된 공유조건을 만족할 때 제2 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식하는 제1 제어부를 포함하며, 제2 모바일 장치는, 영상을 표시하는 제2 표시부와, 제1 모바일 장치와 통신하는 제2 통신부와, 사용자의 인터랙션 행위를 기반으로 한 제2 입력을 감지하는 제2 NUI부와, 제2 모바일 장치의 자세를 감지하는 제2 자세 센서부와, 제2 NUI부에 의해 감지되는 사용자의 제2 입력정보 및 제2 자세 센서부에 의해 감지되는 제2 자세정보와, 제2 통신부를 통해 제1 모바일 장치로부터 수신되는 제1 모바일 장치의 제1 입력정보 및 제1 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 선결된 공유조건을 만족할 때 제1 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식하는 제2 제어부를 포함하는 것을 특징으로 한다.
제1 및 제2 NUI부는 각각 사용자의 제1 및 제2 터치입력을 감지하는 제1 및 제2 터치 센서부를 포함할 수 있다. 이때, 제1 및 제2 터치 센서부는 각각 터치스크린을 포함할 수 있다.
이 경우, 제1 및 제2 터치입력은 사용자의 엄지와 검지가 각각 제1 터치 센서부를 터치한 상태에서 서로 접근하도록 스위핑하는 핀치인 제스쳐를 형성할 수 있다.
또한, 제1 및 제2 입력정보는 각각 제1 및 제2 터치 입력이 입력될 때 제1 및 제2 터치 센서부에 의해 감지되는 터치지점들의 좌표, 터치지점들의 타임스탬프, 터치입력 방향, 및 제1 및 제2 표시부의 크기를 포함할 수 있다.
제1 및 제2 자세 센서부의 각각은 자이로센서와 가속도 센서, 또는 가속도 센서와 지자기 센서를 포함할 수 있다.
이 경우, 제1 및 제2 자세정보는 각각 제1 및 제2 자세 센서부에 의해 감지되는 해당 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 더 포함할 수 있다.
선결된 공유조건은 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 제1 조건과 제1 및 제2 모바일 장치가 동일평면에 위치한 상태에서 제1 및 제2 터치입력이 동일 선상으로 발생하는 제2 조건 중의 적어도 하나를 포함할 수 있다. 이때, 제1 조건은 제1 및 제2 입력정보의 터치지점들의 타임스탬프를 토대로 결정될 수 있다. 또한, 제2 조건은 제1 및 제2 입력정보의 터치입력 방향 및 제1 및 제2 표시부의 크기와, 제1 및 제2 자세정보의 롤, 피치, 및 요우과 배향을 토대로 판단될 수 있다.
제1 및 제2 제어부는 선결된 공유조건을 90% 이상 만족할 때 제1 모바일 장치를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식할 수 있다.
또한, 제1 및 제2 제어부 중의 하나는 해당 NUI부에 의해 감지되는 사용자의 제3 입력 및/또는 해당 통신부를 통해 제1 및 제2 모바일 장치 중의 하나에 제1 및 제2 모바일 장치 중의 다른 하나로부터 수신되는 사용자의 제4 입력에 대응하여 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행할 수 있다.
미리 정해진 크로스디바이스 콘텐츠 공유 기능은 제1 및 제2 모바일 장치 중의 하나에 저장 또는 표시되는 콘텐츠를 제1 및 제2 모바일 장치 중의 다른 하나로 이동 또는 복사하거나 제1 및 제2 모바일 장치 중의 다른 하나에 동일하게 복제 또는 확장하여 표시하는 기능을 포함할 수 있다.
또한, 제1 및 제2 제어부 중의 하나는 해당 NUI부에 의해 사용자의 제3 입력이 감지될 때 감지되는 제3 입력이 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 제3 입력인 지를 판단하고, 미리 정해진 제3 입력인 것으로 판단되면 제3 입력에 대응하는 제1 기능을 수행함과 동시에 제1 기능에 대응하여 제1 및 제2 모바일 장치 중의 다른 하나로 전송할 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 해당 통신부를 통해 제1 및 제2 모바일 장치 중의 다른 하나로 전송할 수 있다. 이때, 제1 제어부와 제2 제어부 중의 다른 하나는 해당 통신부를 통해 제1 및 제2 모바일 장치 중의 하나로부터 수신되는 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 분석하여 해당 NUI부에 의해 사용자의 제4 입력이 감지될 때 감지된 제4 입력에 대응하는 제2 기능을 수행할 수 있다.
이 경우, 제3 입력과 제4 입력 중의 하나는 손가락으로 제1 표시부와 제1 표시부 중의 하나에 표시되는 콘텐츠 중에서 특정 콘텐츠를 선택한 다음 제1 및 제2 모바일 장치 중의 다른 하나에 인접한 제1 및 제2 표시부 중의 하나의 가장자리 까지 스위핑하는 제3 터치 제스쳐를 포함하고, 제3 입력 및 제4 입력 중의 다른 하나는 손가락에 의해 제3 터치 제스쳐에 연속하여 제1 및 제2 표시부 중의 하나의 가장자리에 대향하는 제1 및 제2 표시부 중의 다른 하나의 가장자리를 거쳐 제1 및 제2 표시부 다른 하나의 내부로 스위핑하는 제3 터치 제스쳐를 포함할 수 있다. 이때, 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 선택된 특정 콘텐츠를 제1 및 제2 모바일 장치 중의 하나에서 다른 하나로 이동시키는 기능을 포함할 수 있다. 또한, 제1 기능은 선택된 특정 콘텐츠를 제3 터치 제스쳐에 따라 이동시키는 것을 제1 및 제2 표시부 중의 하나에 표시함과 함께 제1 및 제2 모바일 장치 중의 다른 하나로 전송하는 기능을 포함하고, 제2 기능은 전송된 콘텐츠를 수신함과 함께 수신된 특정 콘텐츠를 제4 터치 제스쳐에 따라 제1 및 제2 모바일 장치 중의 다른 하나에 표시하는 기능을 포함할 수 있다.
또한, 제3 입력 및 제4 입력 중의 하나는 손가락으로 제1 및 제2 표시부 중의 하나에 표시되는 콘텐츠 중에서 하나 이상의 콘텐트를 스위핑하는 제3 터치 제스쳐를 포함하고, 제3 입력 및 제4 입력 중의 다른 하나는 손가락에 의해 제1 및 제2 표시부 중의 다른 하나의 특정 위치에서 제3 터치 제스쳐와 동일하게 스위핑하는 제4 터치 제스쳐를 포함할 수 있다. 이 경우, 제3 및 제4 터치 제스쳐는 각각 제1 및 제2 표시부의 대각선방향으로 스위핑될 수 있다. 이때, 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 제1 및 제2 표시부 중의 하나에서 선택된 하나 이상의 특정 콘텐츠를 제1 및 제2 표시부 중의 다른 하나의 특정 위치로 복사하는 기능을 포함할 수 있다.
선택적으로, 제3 입력 및 제4 입력 중의 하나는 손가락으로 제1 및 제2 표시부 중의 하나의 상단에서 하단까지 스위핑하는 제3 터치 제스쳐를 포함하고, 제3 입력 및 제4 입력 중의 다른 하나는 제3 터치 제스쳐와 동일하게 손가락으로 제1 및 제2 표시부중의 다른 하나의 상단에서 하단 까지 스위핑하는 제4 터치 제스쳐를 포함할 수 있다. 이때, 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 제1 및 제2 표시부 중의 하나에 표시되는 모든 콘텐츠를 제1 및 제2 표시부 중의 다른 하나로 복사하는 기능을 포함할 수 있다.
제1 기능은 선택된 하나 이상의 특정 콘텐츠를 제1 및 제2 모바일 장치 중의 다른 하나로 전송하는 기능을 포함하고, 제2 기능은 전송된 콘텐츠를 수신함과 함께 수신된 특정 콘텐츠를 제1 및 제2 표시부 중의 다른 하나에 표시하는 기능을 포함할 수 있다.
또한, 제3 입력과 제4 입력 중의 하나는 사용자의 엄지와 검지 중의 하나가 제1 및 제2 표시부 중의 하나에 표시된 영상을 터치한 상태에서 제1 및 제2 모바일 장치 중의 다른 하나와 인접한 제1 및 제2 표시부 중의 하나의 가장자리의 반대쪽 가장자리 쪽으로 스위핑하는 제3 터치 제스쳐를 포함하고, 제3 입력과 제4 대응 입력 중의 다른 하나는 사용자의 엄지와 검지 중의 다른 하나가 제1 및 제2 표시부 중의 다른 하나에 표시된 영상을 터치한 상태에서 제1 및 제2 모바일 장치 중의 하나와 인접한 제1 및 제2 표시부 중의 다른 하나의 가장자리의 반대쪽 가장자리 쪽으로 스위핑하는 제4 터치 제스쳐를 포함할 수 있다. 이때, 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 제1 및 제2 표시부 사이에 걸쳐 있는 영상의 크기를 확장하는 기능을 포함할 수 있다. 또한, 제1 기능은 사용자의 엄지와 검지 중의 하나에 의해 터치된 영상을 제1 및 제2 표시부 중의 하나의 반대쪽 가장자리 쪽으로 크기를 확장하는 기능을 포함하고, 제2 기능은 사용자의 엄지와 검지 중의 다른 하나에 의해 터치된 영상을 제1 및 제2 표시부 중의 다른 하나의 반대쪽 가장자리 쪽으로 크기를 확장하는 기능을 포함할 수 있다.
또한, 제3 입력과 제4 입력 중의 하나는 사용자의 엄지와 검지 중의 하나가 제1 및 제2 표시부 중의 하나에 표시된 영상을 터치한 상태에서 제1 및 제2 모바일 장치 중의 다른 하나와 인접한 제1 및 제2 표시부 중의 하나의 가장자리 쪽으로 스위핑하는 제3 터치 제스쳐를 포함하고, 제3 입력과 제4 입력 중의 다른 하나는 사용자의 엄지와 검지 중의 다른 하나가 제1 및 제2 표시부 중의 다른 하나에 표시된 영상을 터치한 상태에서 제1 및 제2 모바일 장치 중의 하나와 인접한 제1 및 제2 표시부 중의 다른 하나의 가장자리 쪽으로 스위핑하는 제4 터치 제스쳐를 포함할 수 있다. 이때, 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 제1 및 제2 표시부에 사이에 걸쳐 있는 영상의 크기를 축소하는 기능을 포함할 수 있다. 또한, 제1 기능은 사용자의 엄지와 검지 중의 하나에 의해 터치된 영상을 제1 및 제2 표시부 중의 하나의 가장자리 쪽으로 크기를 축소하는 기능을 포함하고, 제2 기능은 사용자의 엄지와 검지 중의 다른 하나에 의해 터치된 영상을 제1 및 제2 중의 다른 하나의 가장자리 쪽으로 크기를 축소하는 기능을 포함할 수 있다.
또한, 제3 입력과 제4 입력 중의 하나는 제1 및 제2 표시부 중의 하나를 제1 시간 동안 터치하는 제3 터치 제스쳐를 포함하고, 제3 입력과 제4 입력 중의 다른 하나는 제1 및 제2 표시부의 다른 하나를 제1 시간 동안 터치하는 제4 터치 제스쳐를 포함할 수 있다. 이때, 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 제1 및 제2 모바일 장치 중의 하나에 대한 터치입력에 대응하는 기능이 제1 및 제2 모바일 장치의 다른 하나에 복제되는 미러 기능을 포함할 수 있다. 이때, 제1 기능은 제1 및 제2 표시부 중의 하나가 터치된 시간을 제1 및 제2 모바일 장치 중의 다른 하나로 전송하는 기능을 포함하고, 제2 기능은 제1 및 제2 표시부 중의 다른 하나가 터치된 시간을 제1 및 제2 모바일 장치 중의 하나로 전송하는 기능을 포함할 수 있다.
제1 및 제2 모바일 장치는 각각 휴대폰, 리모콘, 태블릿 PC, 모바일 PC, 워치폰 및 PDA 중의 하나를 포함할 수 있다.
본 발명의 또 다른 실시 양상에 따르면, 제1 모바일 장치와, 제1 모바일장치와 통신 가능한 하나 이상의 제2 모바일장치를 포함하는 크로스디바이스 콘텐츠 공유 시스템의 콘텐츠 공유 방법은, 제1 모바일 장치에서 사용자의 제1 입력과 관련된 제1 입력정보와 제1 모바일 장치의 제1 자세정보를 감지하여 제2 모바일 장치로 전송하는 단계와; 제2 모바일 장치에서 사용자의 제2압력과 관련된 제2 입력 정보와 제2 모바일 장치의 제2 자세정보를 감지하여 제1 모바일 장치로 전송하는 단계와; 제1 모바일 장치에서, 감지된 제1 입력정보 및 제1 자세정보와 제2 모바일 장치로부터 수신된 제2 입력정보 및 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 선결된 공유조건을 만족할 때 제2 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 단계와; 제2 모바일 장치에서, 감지된 제2 입력정보 및 제2 자세정보와 제1 모바일 장치로부터 수신된 제1 입력정보 및 제1 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 선결된 공유조건을 만족할 때 제1 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 단계를 포함하는 것을 특징으로 한다.
제2 모바일 장치로 전송하는 전송 단계는 사용자에 의해 제1 모바일 장치에 입력되는 제1 터치 입력에 의해 터치되는 터치지점들의 좌표, 터치지점들의 타임스탬프, 터치입력 방향, 및 제1 모바일 장치의 제1 표시부의 크기를 포함하는 제1 입력정보를 감지하는 단계와, 제1 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 포함하는 제1 자세 정보를 감지하는 단계와, 감지된 제1 입력정보와 제1 자세정보를 제2 모바일 장치로 전송하는 단계를 포함할 수 있다.
제1 모바일 장치로 전송하는 전송 단계는 사용자에 의해 제2 모바일 장치에 입력되는 제2 터치 입력에 의해 터치되는 터치지점들의 좌표, 터치지점들의 타임스탬프, 터치입력 방향, 및 제2 모바일 장치의 제2 표시부의 크기를 포함하는 제2 입력정보를 감지하는 단계와, 제2 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 포함하는 제2 자세 정보를 감지하는 단계와, 감지된 제2 입력정보와 제2 자세정보를 제1 모바일 장치로 전송하는 단계를 포함할 수 있다.
제2 모바일 장치 또는 제1 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 단계는 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 제1 조건을 만족하는 지를 판단하는 단계와, 제1 및 제2 모바일 장치가 동일 평면에 위치한 상태에서 제1 및 제2 터치입력이 동일 선상으로 발생하는 제2 조건을 만족하는 지를 판단하는 단계 중에서 적어도 하나를 포함할 수 있다. 이때, 제1 조건을 만족하는 지를 판단하는 단계는 제1 및 제2 입력정보의 터치지점들의 타임스탬프를 토대로 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 지를 판단하는 단계를 포함할 수 있다. 또한, 제2 조건을 만족하는 지를 판단하는 단계는 제1 및 제2 자세정보의 롤, 피치, 및 요우를 토대로 제1 및 제2 모바일 장치가 동일평면에 위치하는 지를 판단하는 단계와, 제1 및 제2 입력정보의 터치입력 방향 및 제1 및 제2 모바일 장치의 제1 및 제2 표시부의 크기와, 제1 및 제2 자세정보의 배향을 토대로 제1 및 제2 터치입력이 동일선 상으로 발생하는 지를 판단하는 단계를 포함할 수 있다.
인식 단계는 제1 및 제2 조건을 일정비율 이상 만족할 때 제1 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 단계를 더 포함할 수 있다. 이때, 일정비율은 90% 이상일 수 있다.
또한, 본 발명의 크로스디바이스 콘텐츠 공유 시스템의 콘텐츠 공유 방법은, 제1 및 제2 모바일 장치 중의 하나에서, 감지되는 사용자의 제3 입력 및/또는 제1 및 제2 모바일 장치중의 다른 하나로부터 수신되는 사용자의 제4 입력에 대응하여 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행하는 단계를 더 포함할 수 있다.
미리 정해진 크로스디바이스 콘텐츠 공유 기능은 제1 및 제2 모바일 장치 중의 하나에 저장 또는 표시되는 콘텐츠를 제1 및 제2 모바일 장치 중의 다른 하나로 이동 또는 복사하거나 제1 및 제2 모바일 장치 중의 다른 하나에 동일하게 복제 또는 확장하여 표시하는 기능을 포함할 수 있다.
수행 단계는 제1 및 제2 모바일 장치 중의 하나에서 사용자의 제3 터치 입력이 감지될 때 감지되는 제3 터치 입력이 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 제3 터치 입력인 지를 판단하는 단계와, 미리 정해진 제3 터치 입력인 것으로 판단되면 제3 터치 입력에 대응하는 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 일부를 구성하는 제1 기능을 수행함과 동시에 제1 기능에 대응하여 제1 및 제2 모바일 장치 중의 다른 하나로 전송할 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 제1 및 제2 모바일 장치 중의 다른 하나로 전송하는 단계와, 제1 및 제2 모바일 장치 중의 다른 하나에서 제1 및 제2 모바일 장치 중의 하나로부터 수신되는 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 분석하고 사용자의 제4 터치 입력이 감지될 때 감지된 제4 터치 입력에 대응하는 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 나머지를 구성하는 제2 기능을 수행하는 단계를 포함할 수 있다.
도 1은 본 발명의 일 실시 예에 따른 제1 및 제2 모바일 장치를 포함하는 크로스디바이스 콘텐츠 공유 시스템을 도시하는 개략도,
도 2는 도 1에 도시된 크로스디바이스 콘텐츠 공유 시스템의 제1 모바일 장치의 구성을 도시한 블록도,
도 3은 도 2에 도시된 제1 모바일 장치의 제1 자세 센서부의 변형 예를 도시한 블록도,
도 4는 도 1에 도시된 크로스디바이스 콘텐츠 공유 시스템의 제1 모바일 장치의 크로스디바이스 콘텐츠 공유 동작을 예시하는 플로우챠트,
도 5는 도 2에 도시된 제1 모바일 장치의 제1 NUI 센서부와 제1 자세 센서부에 의해 감지되는 제1 입력정보와 제1 자세정보의 예를 예시하는 도면,
도 6는 도 13에 도시된 제2 모바일 장치의 제2 NUI 센서부와 제2 자세 센서부에 의해 감지되는 제2 입력정보와 제2 자세정보의 예를 예시하는 도면,
도 7 내지 도 12는 본 발명의 일 실시 예에 따른 크로스디바이스 콘텐츠 공유 시스템에 의해 수행되는 크로스디바이스 콘텐츠 공유 기능의 예를 예시하는 도면,
도 13은 도 1에 도시된 크로스디바이스 콘텐츠 공유 시스템의 제2 모바일 장치의 구성을 도시한 블록도,
도 14a 내지 도 14d는 본 발명의 일 실시 예에 따른 크로스디바이스 콘텐츠 공유 시스템의 다른 실시예를 도시하는 도면,
도 15는 도 1에 도시된 크로스디바이스 콘텐츠 공유 시스템의 제1 및 제2 모바일 장치를 공유 장치로 인식하는 다른 배치 예를 예시하는 도면,
도 16a 및 도 16b는 본 발명의 일 실시 예에 따른 크로스디바이스 콘텐츠 공유 시스템의 크로스디바이스 콘텐츠 공유 동작을 예시하는 플로우챠트이다.
이하, 본 발명의 실시 예들에 따른 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법을 첨부도면을 참조하여 더욱 상세하게 설명하면 다음과 같다.
도 1은 본 발명의 일 실시 예에 따른 제1 및 제2 모바일 장치(100, 200)를 포함하는 크로스디바이스 콘텐츠 공유 시스템(1)을 도시하는 개략도이다.
본 발명의 크로스디바이스 콘텐츠 공유 시스템(1)의 제1 및 제2 모바일 장치(100, 200)는 외부와 통신이 가능한 휴대 단말기들로써, 휴대폰, 리모콘, 태블릿 PC, 모바일 PC, 워치폰 및 PDA 등과 같이 사진, 동영상, 문서 등과 같은 보유 콘텐츠 또는 기능(이하, 콘텐츠라 함)을 다른 휴대 단말기와 공유하거나 교환해야 할 필요가 발생할 수 있는 모든 휴대 기기가 포함될 수 있다.
이하에서 제1 및 제2 모바일 장치(100, 200)는 본래의 음성통화 기능에 더하여 카메라를 이용한 영상촬영 기능과 인터넷을 이용한 데이터 통신 및 정보 검색 기능을 가지는 스마트폰인 것으로 가정한다.
제1 및 제2 모바일 장치(100, 200)는 콘텐츠를 서로 공유하거나 교환하기 위해 콘텐츠를 상대방 장치로 제공하거나 상대방 장치로부터 제공받을 수 있다. 그러나, 이하에서는 설명의 편의를 위해, 제1 모바일 장치(100)는 제2 모바일장치(200)로 콘텐츠를 제공하고 제2 모바일장치(200)는 제1 모바일 장치(100)로부터 콘텐츠를 제공받는 것으로 가정한다.
도 2는 본 발명의 일 실시 예에 의한 제1 모바일 장치(100)의 구성을 도시한 블록도이다.
본 발명의 일 실시 예의 제1 모바일 장치(100)는 제1 표시부(110), 제1 NUI부(120), 제1 키입력부(125), 제1 저장부(130), 제1 무선통신부(150), 제1 오디오 처리부(160), 제1 자세 센서부(170), 제1 카메라부(180), 및 제1 제어부(190)를 포함한다.
제1 표시부(110)는 제1 모바일 장치(100)의 동작 중 제1 제어부(190)로부터 입력받은 다양한 동영상 및 정지영상, 제한된 숫자의 문자들, 상태 정보 등을 포함하는 영상 데이터를 아날로그 신호로 변환하여 표시한다.
즉, 제1 표시부(110)는 제1 모바일 장치(100)의 이용에 따른 다양한 화면, 예컨대, 잠금 화면, 홈 화면, 어플리케이션 실행 화면, 메뉴 화면, 메시지 작성 화면, 통화 화면, 인터넷 화면, 키패드 화면 등을 제공할 수 있다.
이러한 제1 표시부(110)는 액정 표시 장치(Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode) 등의 평판 표시 패널의 형태로 구현될 수 있다.
제1 NUI부(120)는 사용자의 인터랙션 행위(interaction behavior)를 기반으로 사용자의 제1 입력을 감지하여 감지된 제1 입력신호를 제1 제어부(190)로 전달한다. 사용자의 인터랙션 행위는 예컨대, 사용자의 손가락에 의한 제1 터치 입력을 포함할 수 있다. 제1 제어부(190)는 제1 입력신호에 응답하여 제1 모바일 장치(100)의 해당 구성요소들을 제어한다.
이러한 제1 NUI부(120)는 사용자의 제1 터치입력을 감지하는 제1 터치 센서부(121)를 포함한다.
제1 터치 센서부(121)는 제1 표시부(110)의 전면에 장착된 터치스크린으로 구현될 수 있다.
제1 터치 센서부(121)의 터치스크린은 사용자가 본 발명에 따라 크로스디바이스 콘텐츠 공유 기능을 실행하기 위해 손가락으로 터치할 때 손가락에 의한 제1 터치 제스쳐를 감지하고, 손가락의 제1 터치 제스쳐에 의해 터치된 터치지점에 대응하는 제1 터치신호를 제1 제어부(190)에 전달한다. 제1 제어부(190)는 수신된 제1 터치신호에 기초하여 터치지점들의 좌표를 검출하고, 검출된 좌표들을 토대로 제1 터치 제스쳐의 터치입력 방향을 판단한다. 또한, 제1 제어부(190)는 도시하지 않은 타이머에 의해 터치가 발생할 때의 시간을 카운팅하여 터치지점들의 타임스탬프를 획득한다. 얻어진 터치지점들의 좌표, 터치입력 방향, 및 터치지점들의 타임스탬프는 제1 저장부(130)에 저장되고, 후술하는 제1 표시부(110)의 표시 크기와 함께, 제2 모바일 장치(200)를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하기 위한 제1 입력정보로 사용된다.
이러한 터치스크린은 저항막 방식(resistive type), 정전용량 방식(capacitive type), 압력 방식(pressure type) 등으로 구현될 수 있다.
제1 키입력부(125)는 제1 모바일 장치(100)의 기능 제어와 관련한 키 신호를 생성하여 제어부(190)로 전달한다. 키 신호는 전원 온/오프 신호, 볼륨 조절 신호, 화면 온/오프 신호 등으로 구분될 수 있다. 이를 위해, 제1 모바일 장치(100)의 케이스 측면 또는 전면 하측에는 모바일 장치 온/오프, 볼륨 조절, 화면 온/오프 등을 위한 사이드 키들이 형성된다. 제1 제어부(190)는 이러한 키 신호에 응답하여 해당 구성요소들을 제어한다.
제1 저장부(130)는 제1 제어부(190)의 처리 및 제어를 위한 펌웨어 또는 운영체체, 제1 모바일 장치(100)의 기능을 실행하기 위한 각종 프로그램 또는 어플리케이션, 제1 모바일 장치(100)의 메뉴구성 등과 같은 설정 정보, 제1 모바일 장치(100)의 장치 정보 등이 저장된다.
이러한 제1 저장부(130)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체로 구현될 수 있다.
제1 무선 통신부(150)는 제1 제어부(190)의 제어에 따라 제2 모바일 장치(200)의 제2 무선 통신부(250; 도 13 참조)와 통신을 수행한다.
또한, 제1 무선 통신부(150)는 본 발명에 따른 크로스디바이스 콘텐츠 공유 기능의 실행 시 제1 제어부(190)의 제어에 따라 후술하는 바와 같이 제1 입력정보와 제1 자세정보를 제2 모바일 장치(200)의 제2 무선 통신부(250)로 전송한다.
이와 같은 제1 무선 통신부(150)는, 근거리 무선통신을 위한 모듈, 즉, NFC(Near field communication), WiFi(Wireless fidelity), 블루투스(Bluetooth), 적외선 통신 장치(Infrared Data Association; 이하 'IrDA'), 지그비(Zigbee), 무선랜, UWB(Ultra-Wideband) 중의 적어도 하나의 모듈을 포함하여 구현될 수 있다.
이하에서는 설명의 편의를 위해 제1 및 제2 모바일 장치(100, 200)가 WiFi 모듈을 통해 무선으로 상호 연결되는 것으로 가정한다.
제1 오디오 처리부(160)는 제1 제어부(190)의 제어를 받아 마이크(MIC)로부터 입력된 음성 신호를 변조하여 음성 데이터로 변환하고, 제1 무선 통신부(150)로부터 입력된 음성 데이터 및 제1 저장부(130)에 저장된 음성 데이터를 음성신호로 복조하여 스피커(SPK)를 통해 음성으로 출력한다.
제1 자세 센서부(170)는 제1 모바일 장치(100)의 자세를 감지한다. 여기서, 제1 모바일 장치(100)의 자세는 제1 모바일 장치(100)의 롤(Roll), 피치(Pitch), 및 요우(Yaw)와, 제1 모바일 장치(100)의 가로 배향(Landscape orientation) 및 세로 배향(Portrait orientation)을 포함할 수 있다. 이러한 제1 모바일 장치(100)의 자세 정보는 제2 모바일 장치(200)를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하기 위한 제1 자세정보로 사용된다.
제1 모바일 장치(100)의 자세를 검출하기 위해, 제1 자세 센서부(170)는 자이로센서(171)와 가속도 센서(173)를 포함한다.
자이로 센서(171)는 사용자가 제1 모바일 장치(100)를 앞뒤 또는 좌우로 비틀어서 회전시키는 경우 제1 모바일 장치(100)의 회전관성(각속도)에 대응하는 제1 각속도 신호를 제1 제어부(190)에 전달한다. 제1 제어부(190)는 수신된 제1 각속도 신호에 기초하여 제1 모바일 장치(100)의 롤, 피치 및 요우를 판단한다. 이러한 자이로 센서(171)는 3축 자이로스코프로 구현될 수 있다.
가속도 센서(173)는 사용자가 제1 모바일 장치(100)를 앞뒤 또는 좌우로 비틀어서 회전시키는 경우 제1 모바일 장치(100)의 가속도에 대응하는 제1 가속도 신호를 제1 제어부(190)에 전달한다. 제1 제어부(190)는 수신된 제1 가속도 신호에 기초하여 제1 모바일 장치(100)의 가로 배향 및 세로 배향을 판단한다. 이러한 가속도 센서(173)는 3축 가속도 센서로 구현될 수 있다.
선택적으로, 도 3에 도시된 바와 같이, 제1 자세 센서부(170')는 가속도 센서(173')와 지자기 센서(175)를 포함할 수 있다.
가속도 센서(173')는 사용자가 제1 모바일 장치(100)를 앞뒤 또는 좌우로 비틀어서 회전시키는 경우 제1 모바일 장치(100)의 가속도에 대응하는 제1 가속도 신호를 제1 제어부(190)에 전달한다. 제1 제어부(190)는 수신된 제1 가속도 신호에 기초하여 제1 모바일 장치(100)의 롤과 피치, 및 가로와 세로 배향을 판단한다. 이러한 가속도 센서(173')는 가속도 센서(173)와 마찬가지로 3축 가속도 센서로 구현될 수 있다.
지자기 센서(175)는 사용자가 제1 모바일 장치(100)를 앞뒤 또는 좌우로 비틀어서 회전시키는 경우 제1 모바일 장치(100)의 방위각 방향에 대응하는 제1 방위각 방향 신호를 제1 제어부(190)에 전달한다. 제1 제어부(190)는 수신된 제1 방위각 방향 신호에 기초하여 제1 모바일 장치(100)의 요우를 판단한다. 이러한 지자기 센서(175)는 3축 지자기 센서로 구현될 수 있다.
제1 자세 센서부(170)는 자이로 센서(171), 가속도 센서(173, 173'), 및/또는 지자기 센서(175) 외에, 기울기 센서, 방향변위 센서 등과 같은 제1 모바일 장치(100)의 방향 전환을 감지할 수 있는 추가 센서를 더 포함할 수도 있다.
제1 카메라부(180)는 광신호를 비디오 신호를 변환하기 위한 것으로, 카메라 모듈로 구성될 수 있다. 카메라 모듈은 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 이렇게 처리된 화상 프레임은 제1 제어부(190)의 제어하에 제1 표시부(110)에 표시될 수 있다.
제1 제어부(190)는 제1 모바일 장치(100)의 중앙 처리장치로써, 제1 NUI부(120), 제1 키입력부(125) 등을 통해 입력되는 명령어의 해석과 자료의 연산, 비교 등의 처리를 제어하고, 입출력 포트 등을 통해 다양한 입력장치로부터 자료를 받아서 처리한 후 그 결과를 제1 표시부(110) 등의 출력장치로 보내는 일련의 과정을 제어하고 조정하는 일을 수행한다.
예컨대, 제1 제어부(190)는 제1 모바일 장치(100)에 적용되는 운영체제 및 각종 어플리케이션들을 포함하는 메뉴구성 정보를 제1 저장부(130)로부터 읽어와 실행한다.
그리고, 제1 제어부(190)는 제1 무선 통신부(150)를 통한 음성통화 및 데이터 통신을 위한 처리 및 제어를 수행하고, 제1 배터리부(195)에서 내부 구성요소들로의 전원 공급을 제어할 수 있다.
또한, 제1 제어부(190)는 본 발명에 따라 제1 NUI부(120)의 제1 터치센서부(121)에 의해 감지되는 사용자의 제1 입력, 즉, 제1 터치 제스쳐에 관련된 제1 입력정보 및 제1 센서부(170)의 자이로센서(171)와 가속도 센서(173)를 통해 감지된 제1 모바일장치(100)의 제1 자세정보와 제1 무선 통신부(150)를 통해 제2 모바일 장치(200)로부터 수신되는 제2 NUI부(220)의 제2 터치 센서부(221)에 의해 감지되는 사용자의 제2 입력과 관련된 제2 입력 정보 및 제2 모바일장치(200)의 제2 자세정보를 분석하여 도 4에 관하여 후술하는 바와 같이 선결된 공유조건을 만족하는 지를 판단하고, 선결된 공유조건을 만족할 때 제2 모바일 장치(200)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한다.
제2 모바일 장치(200)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한 후, 제1 제어부(190)는 제1 터치 센서부(121)의 터치스크린에 의해 감지되는 사용자의 크로스디바이스 콘텐츠 공유 기능을 수행하기 위한 제3 입력, 예컨대, 손가락으로 제1 터치 센서부(121)의 터치스크린을 터치하는 크로스디바이스 콘텐츠 공유 기능을 실행하기 위한 제3 터치 제스쳐에 대응하여 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행할 수 있다.
여기서, 미리 정해진 크로스디바이스 콘텐츠 공유 기능은 제1 모바일 장치(100)에 저장 또는 표시되는 콘텐츠를 제2 모바일 장치(200)로 이동 또는 복사하거나 제2 모바일 장치(200)에 동일하게 복제 또는 확장하여 표시하는 기능을 의미한다.
본 실시 예에서, 미리 정해진 크로스디바이스 콘텐츠 공유 기능은 제1 모바일 장치(100)에 저장 또는 표시되는 콘텐츠를 제2 모바일 장치(200)로 이동시키는 콘텐츠 이동기능(도 7 참조), 제1 모바일 장치(100)에 저장 또는 표시되는 콘텐츠를 제2 모바일 장치(200)에 복사하는 콘텐츠 복사 기능(도 8 및 도 9 참조), 콘텐츠 이동 기능을 통해 제1 모바일 장치(100)의 제1 표시부(110)와 제2 모바일 장치(200)의 제2 표시부(210) 사이에 걸쳐 있는 콘텐츠 영상의 크기를 확장하여 표시하는 콘텐츠 확장 기능(도 10 참조), 콘텐츠 이동 기능을 통해 제1 모바일 장치(100)의 제1 표시부(110)와 제2 모바일 장치(200)의 제2 표시부(210) 사이에 걸쳐 있는 콘텐츠 영상의 크기를 축소하여 표시하는 콘텐츠 축소 기능(도 11 참조), 및 제1 모바일 장치(100)의 제1 표시부(110)에 표시된 영상을 확대하거나 축소시키기 위한 핀치아웃 또는 핀치인 터치 제스쳐과 같은 터치스크린에 대한 터치 입력에 의해 제1 모바일 장치(100)의 제1 표시부(110)에 변화되어 표시되는 콘텐츠 화면을 제2 모바일 장치(200)의 제2 표시부(210)에 동일하게 복제하여 표시하는 미러 기능(도 12 참조)을 포함한다.
이러한 제1 제어부(190)는 CPU를 포함하며, 각각 구성요소의 동작을 제어하기 위한 내용, 위에서 설명한 콘텐츠 공유 기능을 제어하는 내용, 및 제2 모바일 장치(200)와 무선으로 접속하여 통신을 수행할 수 있게 하는 통신 프로그램 코드를 포함하도록 프로그램된 펌웨어 또는 운영체제를 실행하여 동작할 수 있다.
또한, 제1 제어부(190)는 운영체제를 저장하기 위한 플래시메모리 등의 비휘발성의 메모리와, CPU가 신속히 액세스할 수 있도록 저장된 운영체제의 적어도 일부를 로딩하는 DDR과 같은 휘발성의 메모리를 더 포함할 수 있다.
선택적으로, 제1 제어부(190)는 위에서 설명한 콘텐츠 공유 기능을 제어하기 위한 내용와 제2 모바일 장치(200)와 무선으로 접속하여 통신을 수행할 수 있게 하는 통신 프로그램 코드를 운영체제에 프로그램하여 구현하는 대신, 운영체제와 별도로 콘텐츠 공유 기능을 제어하기 위한 프로그램을 내장하도록 설계된 ASIC부 또는 어플리케이션을 포함하여 구현될 수 있다.
이하, 제2 모바일 장치(200)와 콘텐츠를 공유하는 제1 모바일 장치(100)의 크로스디바이스 공유 동작을 도 4를 참조하여 설명하면 다음과 같다.
먼저, 사용자가 제1 터치센서부(121)의 터치스크린 상에서 사용자의 인터랙션 행위를 기반으로 한 제1 터치 입력, 예컨대, 도 1 및 도 5에 도시한 바와 같이 엄지를 사용하여 제1 터치 센서부(121)의 터치스크린을 터치한 상태에서 제1 방향으로 스위핑하는 제1 터치 제스쳐를 입력하면, 터치스크린은 사용자의 제1 터치 제스쳐를 감지하고, 대응하는 제1 터치 신호를 제1 제어부(190)에 전달한다.
제1 제어부(190)는 수신된 제1 터치 신호를 토대로 위에서 설명한 바와 같이 터치지점들의 좌표와 터치입력 방향을 판단하고, 타이머에 의해 터치지점들의 타임스탬프를 획득한다. 또한, 제1 제어부(190)는 제1 저장부(130)에 저장된 장치정보로부터 제1 표시부(110)의 크기를 읽어온다(S100).
이렇게 얻어진 터치지점들의 좌표, 터치입력 방향, 터치지점들의 타임스탬프 및 제1 표시부(110)의 크기는 제1 입력정보를 구성한다.
또한, 제1 자세 센서부(170)의 자이로 센서(171)와 가속도 센서(173)는 각각 제1 모바일 장치(100)의 각속도와 가속도를 감지하고, 대응하는 제1 각속도 신호와 제1 가속도 감지신호를 제1 제어부(190)에 전달한다. 제1 제어부(190)는 수신된 제1 각속도 신호와 제1 가속도 감지신호를 토대로 제1 모바일 장치(100)의 제1 자세정보인 롤, 피치 및 요우와, 가로 또는 세로 배향을 판단한다(S110).
제1 제어부(190)에 의해 판단되는 제1 입력정보와 제1 자세정보는 제1 저장부(130)에 저장된다. 제1 입력정보와 제1 자세정보의 일 예는 도 5 에 도시되어 있다.
이와 동시에, 제1 제어부(190)는 제2 모바일장치(200)로부터 사용자의 제2 터치센서부(221)의 터치스크린에 의해 감지되는 제2 터치 입력, 예컨대, 도 1 및 도 6에 도시된 바와 같이 엄지와 검지 중의 다른 하나를 사용하여 제1 터치 센서부(121)의 터치스크린을 터치한 상태에서 제1 방향과 반대방향인 제2 방향으로 스위핑하는 제2 터치 제스쳐에 대응하는 제2 입력정보 및 제2 자세 센서부(270)에 의해 감지되는 제2 모바일장치(200)의 제2 자세정보를 제1 무선 통신부(150)를 통해 수신하고, 수신된 제2 입력정보와 제2 자세정보를 제1 저장부(130)에 저장한다(S120).
여기서, 제1 및 제2 터치 제스쳐는, 예컨대, 도 1에 도시된 바와 같이, 사용자의 엄지와 검지를 서로 접근하는 방향으로 스위핑하는 핀치인 제스쳐를 형성한다.
제2 제어부(290)에 의해 판단되는 제2 입력정보와 제2 자세정보의 예는 도 6 에 도시되어 있다.
이어서, 제1 제어부(190)는 판단된 제1 입력정보 및 제1 자세정보와 제2 모바일장치(200)로부터 수신되는 제2 입력정보 및 제2 모바일장치(200)의 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단한다(S130).
이때, 제1 제어부(190)는 제1 및 제2 터치 입력, 즉, 제1 및 제2 제1 터치 제스쳐가 동일시간 동안 동시에 발생하는 제1 조건을 일정비율 이상, 예컨대, 90% 이상, 만족하는 지를 판단할 수 있다. 즉, 제1 제어부(190)는 제1 및 제2 입력정보의 터치 시작 및 종료지점의 타임스탬프를 토대로 제1 및 제2 터치 제스쳐가 90% 이상 동일시간 동안 동시에 발생하는 지를 판단하는 지를 판단한다.
또한, 제1 제어부(190)는 제1 모바일 장치(100)와 제2 모바일 장치(200)가 동일평면에 위치한 상태에서 상기 제1 및 제2 터치입력이 동일 선상으로 발생하는 제2 조건을 일정비율 이상, 예컨대, 90% 이상 만족하는 지를 더 판단할 수 있다. 즉, 제1 제어부(190)는 제1 및 제2 자세정보의 롤(Roll), 피치(Pitch), 및 요우(Yaw)를 토대로 제1 모바일 장치(100)와 제2 모바일 장치(200)가 90% 이상 동일 평면에 위치하는 지를 판단한다. 또한, 제1 제어부(190)는 제1 및 제2 입력정보의 터치입력 방향 및 제1 및 제2 표시부(110, 210)의 표시 크기와 제1 및 제2 자세정보의 가로 또는 세로 배향을 토대로 도 1 및 도 15에 도시된 바와 같이 제1 및 제2 터치 제스쳐가 90% 이상 동일선 상으로 발생하는 지를 판단한다.
단계(S130)에서 판단결과 제1 입력정보 및 제1 자세정보와 제2 입력정보 및 제2 자세정보가 제1 및 제2 조건을 90% 이상 만족할 때, 제1 제어부(190)는 제2 모바일 장치(200)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한다(S140).
제2 모바일 장치(200)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한 후, 제1 제어부(190)는 제1 터치 센서부(121)의 터치스크린에 의해 사용자의 제3 터치입력, 예컨대, 엄지와 검지 중의 하나를 사용하여 제1 터치 센서부(121)의 터치스크린을 터치한 상태에서 스위핑하는 제3 터치 제스쳐가 감지될 때(도 7 내지 도 12 참조) 감지되는 제3 터치 제스쳐가 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 제3 터치 제스쳐인 지를 판단하고, 미리 정해진 제3 터치 제스쳐인 것으로 판단되면 제3 터치 제스쳐에 대응하는 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 일부를 구성하는 제1 기능을 수행함과 동시에 제1 기능에 대응하여 제2 모바일 장치(200)로 전송할 콘텐츠 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 제1 및 제2 무선 통신부(250)를 통해 제2 모바일 장치(200)로 전송한다(S150).
이때, 제2 제어부(290)는 제2 무선 통신부(250)를 통해 제1 모바일 장치(100)로부터 수신되는 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 분석하여 제2 터치센서부(221)의 터치스크린에 의해 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 사용자의 제4 터치 입력이 감지될 때 제4 터치 입력에 대응하는 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 나머지를 구성하는 제2 기능을 수행한다.
보다 상세히 설명하면, 도 7에 도시된 바와 같이, 미리 정해진 크로스디바이스 콘텐츠 공유 기능이 제1 모바일 장치(100)에 저장 또는 표시되는 특정 콘텐츠를 제2 모바일 장치(200)로 이동시키는 콘텐츠 이동기능일 경우, 제3 터치 입력은 터치스크린을 통해 제1 모바일 장치(100)의 제1 표시부(110)에 표시되는 콘텐츠 중에서 이동시키고자 하는 특정 콘텐츠를 예컨대 검지로 선택한 다음 제2 모바일 장치(200)에 인접한 제1 모바일 장치(100)의 제1 표시부(110)의 가장자리(111) 까지 스위핑하는 제1 가로방향 드래그 제스쳐를 포함하고, 제4 터치 입력은 제1 가로방향 드래그 제스쳐에 연속하여 검지로 제1 모바일 장치(100)의 제1 표시부(110)의 가장자리(111)에 대향하는 제2 모바일 장치(200)의 제2 표시부(210)의 가장자리(211)를 거쳐 제2 모바일 장치(200)의 제2 표시부(210) 상의 이동시키고자하는 위치로 스위핑하는 제2 가로방향 드래그 제스쳐를 포함할 수 있다.
이때, 제1 제어부(190)는 제1 기능으로써, 선택된 특정 콘텐츠를 제1 가로방향 드래그 제스쳐에 따라 이동시키는 것을 제1 모바일 장치(100)의 제1 표시부(110)에 표시함과 함께 선택된 특정 콘텐츠를 제2 모바일 장치(200)로 전송하는 기능을 수행하고, 제2 제어부(290)는 제2 기능으로써, 전송된 콘텐츠를 수신함과 함께 수신된 특정 콘텐츠를 제2 가로방향 드래그 제스쳐에 따라 제2 모바일 장치(100)의 제2 표시부(210)에 표시하는 기능을 수행할 수 있다.
또한, 도 8에 도시된 바와 같이, 미리 정해진 크로스디바이스 콘텐츠 공유 기능이 제1 모바일 장치(100)에 저장 또는 표시되는 콘텐츠를 제2 모바일 장치(200)에 복사하는 콘텐츠 복사 기능일 경우, 제3 터치 입력은 터치스크린 상에서 제1 모바일 장치(100)의 제1 표시부(110)에 표시되는 콘텐츠 중에서 복사하고자 하는 하나 이상의 콘텐츠를 검지로 스위핑하는 제1 대각선 방향 드래그 제스쳐를 포함하고, 제4 터치 입력은 터치스크린을 통해 제2 모바일 장치(200)의 제2 표시부(210)의 복사하고자 하는 특정위치에서 제1 대각선 방향 드래그 제스쳐과 동일하게 검지로 스위핑하는 제2 대각선 방향 드래그 제스쳐를 포함할 수 있다. 이 경우, 제1 및 제2 대각선 방향 드래그 제스쳐는 각각 제1 및 제2 표시부(110, 210)의 한 모서리에서 다른 모서리로 대각선 방향으로 스위핑될 수 있다.
이때, 제1 제어부(190)는 제1 기능으로써, 제1 대각선 방향 드래그 제스쳐에 의해 선택된 하나 이상의 특정 콘텐츠를 제2 모바일 장치(200)로 전송하는 기능을 수행하고, 제2 제어부(290)는 제2 기능으로써, 전송된 콘텐츠를 수신함과 함께 수신된 특정 콘텐츠를 제2 모바일 장치(200)의 제2 표시부(210)에 표시하는 기능을 수행할 수 있다.
또한, 도 9에 도시된 바와 같이, 미리 정해진 크로스디바이스 콘텐츠 공유 기능이 제1 모바일 장치(100)의 제1 표시부(110)에 표시되는 모든 콘텐츠를 제2 모바일 장치(200)의 제2 표시부(210)로 복사하는 콘텐츠 복사 기능일 경우, 제3 터치 입력은 검지로 제1 모바일 장치(100)의 제1 표시부(110)의 상단에서 하단까지 스위핑하는 제1 수직방향 드래그 제스쳐를 포함하고, 제4 터치 입력은 제1 수직방향 드래그 제스쳐와 동일하게 검지로 제2 모바일 장치(200)의 제2 표시부(210)의 상단에서 하단 까지 스위핑하는 제2 수직방향 드래그 제스쳐를 포함할 수 있다. 이때, 제1 제어부(190)는 제1 기능으로써, 제1 모바일 장치(100)의 제1 표시부(110)에 표시된 콘텐츠 전체를 제2 모바일 장치(200)로 전송하는 기능을 수행하고, 제2 제어부(290)는 제2 기능으로써, 전송된 콘텐츠를 수신함과 함께 수신된 콘텐츠를 제2 모바일 장치(200)의 제2 표시부(210)에 표시하는 기능을 수행할 수 있다.
또한, 도 10에 도시된 바와 같이, 미리 정해진 크로스디바이스 콘텐츠 공유 기능이 콘텐츠 이동 기능을 통해 제1 모바일 장치(100)의 제1 표시부(110)와 제2 모바일 장치(200)의 제2 표시부(210) 사이에 걸쳐 있는 콘텐츠 영상의 크기를 확장하는 기능일 경우, 제3 터치 입력은 사용자의 엄지와 검지 중의 하나, 예컨대, 엄지가 터치스크린 상에서 제1 표시부(110)에 표시된 영상을 터치한 상태에서 제2 모바일 장치(200)와 인접한 제1 모바일 장치(100)의 제1 표시부(110)의 가장자리(111)의 반대쪽 가장자리(112) 쪽으로 스위핑하는 제1 이격방향 핀치 제스쳐를 포함하고, 제4 터치 입력은 사용자의 엄지와 검지 중의 다른 하나, 즉, 검지가 터치스크린 상에서 제2 표시부(210)에 표시된 영상을 터치한 상태에서 제1 모바일 장치(100)와 인접한 제2 모바일 장치(200)의 제2 표시부(210)의 가장자리(211)의 반대쪽 가장자리(212) 쪽으로 스위핑하는 제2 이격방향 핀치 제스쳐를 포함할 수 있다. 이 경우, 제1 및 제2 이격방향 핀치 제스쳐는 핀치 아웃(Pinch out) 제스쳐를 구성한다.
이때, 제1 제어부(190)는 제1 기능으로써, 제1 이격방향 핀치 제스쳐에 따라 사용자의 엄지에 의해 터치된 영상을 제1 표시부(110)의 반대쪽 가장자리(112) 쪽으로 크기를 확장하는 기능을 수행하고, 제2 제어부(290)는 제2 기능으로써, 제2 이격방향 핀치 제스쳐에 따라 사용자의 검지에 의해 터치된 영상을 제2 표시부(210)의 반대쪽 가장자리(212) 쪽으로 크기를 확장하는 기능을 수행할 수 있다.
또한, 도 11에 도시된 바와 같이, 미리 정해진 크로스디바이스 콘텐츠 공유 기능이 콘텐츠 이동 기능을 통해 제1 모바일 장치(100)의 제1 표시부(110)와 제2 모바일 장치(200)의 제2 표시부(210) 사이에 걸쳐 있는 콘텐츠 영상의 크기를 축소하는 기능일 경우, 제3 터치 입력은 사용자의 엄지가 터치스크린 상에서 제1 모바일 장치(100)의 제1 표시부(110)에 표시된 영상을 터치한 상태에서 제1 표시부(110)의 가장자리(111) 쪽으로 스위핑하는 제1 접근방향 핀치 제스쳐를 포함하고, 제4 터치 입력은 사용자의 검지가 터치스크린 상에서 제2 모바일 장치(200)의 제2 표시부(210)에 표시된 영상을 터치한 상태에서 제2 표시부(210)의 가장자리(211) 쪽으로 스위핑하는 제2 접근방향 핀치 제스쳐를 포함할 수 있다. 이 경우, 제1 및 제2 접근방향 핀치 제스쳐는 핀치 인(Pinch in) 제스쳐를 구성한다.
이때, 제1 제어부(190)는 제1 기능으로써, 제1 접근방향 핀치 제스쳐에 따라 사용자의 엄지에 의해 터치된 영상을 제1 표시부(110)의 가장자리(111) 쪽으로 크기를 축소하는 기능을 수행하고, 제2 제어부(290)는 제2 기능으로써, 제2 접근방향 핀치 제스쳐에 따라 사용자의 검지에 의해 터치된 영상을 제2 표시부(210)의 가장자리(211) 쪽으로 크기를 축소하는 기능을 수행할 수 있다.
또한, 도 12에 도시된 바와 같이, 미리 정해진 크로스디바이스 콘텐츠 공유 기능이 제1 모바일 장치(100)의 제1 표시부(110)에 표시된 영상을 확대하거나 축소시키기 위한 핀치아웃 또는 핀치인 제스쳐와 같은 제1 터치센서부(121)의 터치스크린에 대한 터치 입력에 의해 제1 모바일 장치(100)의 제1 표시부(110)에 변화되어 표시되는 콘텐츠 화면을 제2 모바일 장치(200)의 제2 표시부(210)에 동일하게 복제하여 표시하는 미러 기능일 경우, 제3 터치 입력은 손가락으로 제1 표시부(110) 상의 터치스크린을 제1 시간 동안, 예컨대, 약 3초 동안 터치하는 제1 누름 제스쳐를 포함하고, 제4 터치 입력은 손가락으로 제2 표시부(210) 상의 터치스크린을 제1 시간과 동일한 제2 시간 동안 터치하는 제2 누름 제스쳐를 포함할 수 있다.
이때, 제1 제어부(190)는 제1 기능으로써, 제1 표시부(110) 상의 터치스크린이 터치되는 제1 시간을 제2 모바일 장치(200)로 전송함과 함께, 제2 표시부(210) 상의 터치스크린이 터치되는 제2 시간을 제2 모바일 장치(200)로부터 수신하고, 수신된 제2 시간을 제1 시간과 비교하여 발생 시점과 기간이 일치하는 지를 판단하고, 일치할 경우 제2 모바일장치(200)와 미러 기능을 시작함을 판단하여 제1 표시부(110)에 변화되어 표시되는 콘텐츠 화면 정보를 제1 무선 통신부(150)를 통해 제2 모바일 장치(200)로 전송하는 기능을 수행한다. 제2 제어부(290)는 제2 기능으로써, 제2 표시부(210) 상의 터치스크린이 터치된 시간을 제2 무선 통신부(250)를 통해 제1 모바일 장치(100)로 전송함과 함께, 제1 표시부(110) 상의 터치스크린이 터치되는 제1 시간을 제1 모바일 장치(100)로부터 수신하고, 수신된 제1 시간을 제2 시간과 비교하여 발생 시점과 기간이 일치하는 지를 판단하고, 일치할 경우 제1 모바일장치(100)와 미러 기능을 시작함을 판단하여 제1 모바일 장치(100)에서 전송되는 제1 표시부(110)의 콘텐츠 화면 정보를 수신하여 제2 표시부(210)에 표시하는 기능을 수행할 수 있다.
도 13은 본 발명의 일 실시예에 의한 제2 모바일 장치(200)의 구성을 도시한 블록도이다.
제2 모바일 장치(200)는 제2 표시부(210), 제2 NUI부(220), 제2 키입력부(225), 제2 저장부(230), 제2 무선통신부(250), 제1 오디오 처리부(260), 제2 자세 센서부(270), 제2 카메라부(280), 및 제2 제어부(290)를 포함한다.
제2 모바일 장치(200)의 구성요소들(210, 220, 225, 230, 250, 260, 270, 280, 290)은 본 발명에 따라 제1 모바일 장치(100)와 크로스디바이스 콘텐츠 공유 기능을 수행할 때 제2 제어부(290)가 제1 모바일 장치(100)로부터 콘텐츠를 전달받는 동작을 수행하는 것만 다를 뿐 제1 모바일장치(100)와 동일하다.
따라서, 제2 모바일 장치(200)의 구성요소들(210, 220, 225, 230, 250, 260, 270, 280, 290)에 대한 상세한 설명은 생략한다.
이상에서, 본 발명의 일 실시 예에 따른 크로스디바이스 콘텐츠 공유 시스템(1)은 제1 모바일 장치(100)의 콘텐츠를 제2 모바일장치(200)와 공유하는 것으로 예시 및 설명하였지만, 본 발명은 이것으로 한정되지 않는다. 예컨대, 본 발명의 크로스디바이스 콘텐츠 공유 시스템(1)은 제1 및 제2 모바일 장치(100, 200)의 설정 등을 변경할 필요 없이 위에서 설명한 제1 및 제2 모바일 장치(100, 200)의 터치입력 동작을 제2 및 제1 모바일 장치(200, 100)에 스위치하여 적용함으로써 제2 모바일 장치(200)의 콘텐츠를 제1 모바일 장치(100)와 공유하도록 동작할 수 있다. 또한, 본 발명의 일 실시 예에 따른 크로스디바이스 콘텐츠 공유 시스템(1)은 제1 및 제2 모바일 장치(100, 200)만을 포함하여 구성되는 것으로 예시 및 설명하였지만, 본 발명은 이것으로 한정되지 않는다. 예컨대, 크로스디바이스 콘텐츠 공유 시스템(1', 1", 1"', 1"")은 도 14a에 도시된 바와 같이 서로 크로스디바이스 공유 기능을 공유할 장치로 인식된 복수의 모바일 장치를 포함하거나, 도 14b 및 도 14c에 도시된 바와 같이 각각 두 개 이상의 모바일 장치가 서로 콘텐츠를 공유하도록 연결 배치되는 두 개 이상의 모바일 장치 그룹들 포함하거나, 도 14d에 도시된 바와 같이 서로 순차적으로 콘텐츠를 공유하도록 연결되는 복수의 모바일 장치를 포함할 수 있다.
또한, 본 발명의 일 실시 예에 따른 크로스디바이스 콘텐츠 공유 시스템(1)은 제1 및 제2 모바일 장치(100, 200) 간의 인식은 제1 및 제2 모바일 장치(100, 200)의 측면 가장자리(101, 201)를 서로 평행하게 맞대거나 접촉시킨 상태에서 수행되는 것으로만 예시 및 설명하였지만, 본 발명은 이것으로 한정되지 않는다. 예컨대, 도 15에 도시된 바와 같이, 제1 및 제2 모바일 장치(100, 200) 간의 인식은 제1 모바일 장치(100)의 측면 가장자리(101 또는 102)와 제2 모바일 장치(200)의 상부 또는 하부 가장자리(203, 또는 204), 또는 제1 모바일 장치(100)의 상부 또는 하부 가장자리(103, 또는 104)와 제2 모바일 장치(200)의 측면 가장자리(201 또는 202)를 서로 평행하게 맞대거나 접촉시킨 상태에서 수행될 수도 있다.
이하, 이상과 같이 구성된 본 발명의 일 실시 예에 따른 크로스디바이스 콘텐츠 공유 시스템(1)의 크로스디바이스 콘텐츠 공유 동작을 도 1과 도 16a 및 도 16b를 참조하여 설명하면 다음과 같다.
도 16a 및 도 16b를 참조하면, 제1 모바일 장치(100)의 사용자는 제2 모바일 장치(200)와 연결하여 사진, 동영상, 문서 등과 같은 콘텐츠를 공유하거나 교환할 수 있도록 하기 위해, 도 1에 도시된 바와 같이, 제1 및 제2 모바일 장치(100, 200)의 측면 가장자리(101, 201)를 평행하게 맞닿게 위치시킨 후, 엄지와 검지를 사용하여 제1 NUI부(120)의 제1 터치센서부(121)와 제2 NUI부(220)의 제2 터치센서부(221)에 제1 및 제2 터치 입력, 예컨대, 핀치인 터치 제스쳐를 구성하는 제1 및 제2 터치 제스쳐를 입력한다.
이에 따라, 제1 제어부(190)는 위에서 도 4에 관하여 설명한 바와 같이 제1 NUI부(120)의 제1 터치센서부(121)와 제1 센서부(170)로부터의 신호에 따라 터치지점들의 좌표, 터치입력 방향, 터치지점들의 타임스탬프, 및 제1 표시부(110)의 크기를 포함하는 제1 입력정보와 제1 모바일 장치(100)의 롤, 피치 및 요우와 가로 또는 세로 배향을 포함하는 제2 자세정보를 판단하고, 판단된 제1 입력정보와 제2 자세정보를 제1 무선 통신부(150)를 통해 제2 모바일장치(200)로 전송한다(S200).
마찬가지로, 제2 제어부(290)는 제2 NUI부(220)의 제2 터치센서부(221)와 제2 센서부(270)로부터의 신호에 따라 터치지점들의 좌표, 터치입력 방향, 터치지점들의 타임스탬프, 및 제2 표시부(210)의 크기를 포함하는 제2 입력정보와 제2 모바일 장치(200)의 롤, 피치 및 요우와 가로 또는 세로 배향을 포함하는 제2 자세정보를 판단하고, 판단된 제2 입력정보와 제2 자세정보를 제2 무선 통신부(250)를 통해 제1 모바일장치(100)로 전송한다(S210).
그 후, 제1 제어부(190)는 위에서 설명한 바와 같이 판단된 제1 입력정보 및 제1 자세정보와, 제2 모바일장치(200)로부터 수신된 제2 입력정보 및 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 판단결과, 제1 입력정보 및 제1 자세정보와 제2 입력정보 및 제2 자세정보가 선결된 공유조건을 만족할 때, 제2 모바일 장치(200)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한다(S220).
마찬가지로, 제2 제어부(290)는 판단된 제2 입력정보 및 제2 자세정보와, 제1 모바일장치(100)로부터 수신된 제1 입력정보 및 제1 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 판단결과, 제2 입력정보 및 제2 자세정보와 제1 입력정보 및 제1 자세정보가 선결된 공유조건을 만족할 때, 제1 모바일 장치(100)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한다(S230).
제2 모바일 장치(200)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한 후, 제1 터치 센서부(121)의 터치스크린에 의해 사용자의 제3 터치입력, 예컨대, 엄지와 검지 중의 하나를 사용하여 제1 터치 센서부(121)의 터치스크린을 터치한 상태에서 스위핑하는 제3 터치 제스쳐(도 7 내지 도 12 참조)가 감지될 때(S240), 제1 제어부(190)는 감지되는 제3 터치 제스쳐가 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 제3 터치 제스쳐인 지를 판단한다(S250).
단계(S250)에서 판단 결과 미리 정해진 제3 터치 제스쳐인 것으로 판단되면, 제1 제어부(190)는 제3 터치 제스쳐에 대응하는 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 일부를 구성하는 제1 기능을 수행함과 동시에 제1 기능에 대응하여 제2 모바일 장치(200)로 전송할 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 제1 무선 통신부(150)를 통해 제2 모바일 장치(200)로 전송한다(S260).
이때, 제2 제어부(290)는 제2 무선 통신부(250)를 통해 제1 모바일 장치(100)로부터 수신되는 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 분석하여 제2 터치센서부(221)의 터치스크린에 의해 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 사용자의 제4 터치 입력의 제4 터치 제스쳐(도 7 내지 도 12 참조)가 감지될 때 제4 터치 제스쳐에 대응하는 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 나머지를 구성하는 제2 기능을 수행한다(S270).
반대로, 제1 모바일 장치(100)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한 후, 제2 터치 센서부(221)의 터치스크린에 의해 사용자의 제3 터치입력, 즉, 엄지와 검지 중의 하나를 사용하여 제1 터치 센서부(121)의 터치스크린을 터치한 상태에서 스위핑하는 제3 터치 제스쳐가 감지될 때(S240'), 제2 제어부(292)는 감지되는 제3 터치 제스쳐가 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 제3 터치 제스쳐인지를 판단하고(S250'), 판단결과 미리 정해진 제3 터치 제스쳐인 것으로 판단되면 제3 터치 제스쳐에 대응하는 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 일부를 구성하는 제1 기능을 수행함과 동시에 제1 기능에 대응하여 제1 모바일 장치(100)로 전송할 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 제2 무선 통신부(250)를 통해 제1 모바일 장치(100)로 전송한다(S260').
이때, 제1 제어부(190)는 제1 무선 통신부(150)를 통해 제2 모바일 장치(200)로부터 수신되는 데이터 및/또는 미리 정해진 크로스디바이스 콘텐츠 공유기능 관련 정보를 분석하여 제1 터치센서부(121)의 터치스크린에 의해 미리 정해진 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 사용자의 제4 입력이 감지될 때 제4 입력에 대응하는 미리 정해진 크로스디바이스 콘텐츠 공유 기능의 나머지를 구성하는 제2 기능을 수행한다(S270').
이때, 미리 정해진 크로스디바이스 콘텐츠 공유 기능과, 제3 및 제4 터치 입력과, 제1 및 제2 기능은 위에서 도 7 내지 도 12와 관련하여 설명한 것과 동일하다. 따라서, 이에 대한 상세한 설명은 생략한다.
이와 같이, 본 발명의 일 실시 예에 따른 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법에 의하면, 제1 및 제2 제어부(190, 290)는 사용자에 터치되는 터치지점들의 좌표, 터치입력 방향, 터치지점들의 타임스탬프, 및 제1 및 제2 표시부(110, 210)의 크기를 포함하는 제1 및 제2 입력정보와 제1 및 제2 모바일 장치(100, 200)의 롤, 피치 및 요우와 가로 또는 세로 배향을 포함하는 제1 및 제2 자세정보를 생성과 동시에 서로에게 전송하고, 수신된 제1 및 제2 입력정보와 제1 및 제2 자세정보를 분석하여 선결된 공유조건, 예컨대, 제1 및 제2 터치 입력, 즉, 제1 및 제2 제1 터치 제스쳐가 동일시간 동안 동일선 상으로 동시에 발생하는 제1 조건 및/또는 제1 모바일 장치(100)와 제2 모바일 장치(200)가 동일평면에 위치한 상태에서 제1 및 제2 제1 터치 제스쳐가 동일 선상으로 발생하는 제2 조건을 일정비율 이상, 예컨대, 90% 이상, 만족하는 지를 판단하여 대응하는 제1 또는 제2 모바일 장치(100, 또는 200)를 미리 설정된 크로스디바이스 공유 기능을 공유할 장치로 인식한다. 그 결과, 본 발명의 모바일 장치(100, 200), 크로스디바이스 콘텐츠 공유 시스템(1,1',1", 1"', 1"") 및 그 콘텐츠 공유 방법은 크로스디바이스 콘텐츠 공유 어플리케이션 또는 프로그램, SNS 사이트, 정보전달 서비스, 간접적인 입력장치 등을 사용하지 않고 간단한 터치 제스처를 통해 인접한 모바일 장치들(100 및/또는 200)와 연결하여 사진, 동영상, 문서 등과 같은 콘텐츠를 공유하거나 교환할 수 있다.
이상과 같이 예시된 도면을 참조로 하여, 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적이 아닌 것으로 이해해야만 한다.
1,1',1", 1"', 1"": 크로스디바이스 콘텐츠 공유 시스템
100, 200: 모바일 장치 110, 210: 표시부
120, 220: NUI부 150, 250: 무선통신부
170, 170', 270: 자세 센서부 171, 271: 자이로 센서
173, 273: 가속도 센서 175: 지자기 센서
190, 290: 제어부

Claims (32)

  1. 영상을 표시하는 제1 표시부와;
    하나 이상의 외부 모바일 장치와 통신하는 제1 통신부와;
    사용자의 인터랙션 행위를 기반으로 한 입력을 감지하는 제1 NUI부와;
    모바일 장치의 자세를 감지하는 제1 자세 센서부와;
    상기 제1 NUI부에 의해 감지되는 제1 입력정보 및 상기 제1 자세 센서부에 의해 감지되는 상기 모바일 장치의 제1 자세정보와, 상기 외부 모바일 장치로부터 수신되는 상기 외부 모바일 장치의 제2 NUI부에 의해 감지되는 제2 입력 정보 및 상기 외부 모바일 장치의 제2 자세 센서부에 의해 감지되는 상기 외부 모바일 장치의 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 상기 선결된 공유조건을 만족할 때 상기 외부 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 제1 제어부를 포함하며,
    상기 선결된 공유조건은 상기 제1 및 제2 입력정보가 동일시간 동안 동일선 상으로 동시에 감지되는 제1 조건 또는 상기 모바일 장치와 상기 외부 모바일 장치가 동일평면에 위치한 상태에서 상기 제1 및 제2 입력정보가 동일 선상으로 감지되는 제2 조건 중 적어도 하나를 일정 값 이상 만족하는 것을 포함하는 것을 특징으로 하는 모바일 장치.
  2. 제1항에 있어서,
    상기 제1 및 제2 NUI부는 각각 상기 사용자의 제1 및 제2 터치입력을 감지하는 제1 및 제2 터치 센서부를 포함하는 것을 특징으로 하는 모바일 장치.
  3. 제2항에 있어서,
    상기 제1 및 제2 터치입력은 상기 사용자의 엄지와 검지가 각각 상기 제1 및 제2 터치 센서부를 터치한 상태에서 서로 접근하도록 스위핑하는 핀치인 제스쳐를 형성하는 것을 특징으로 하는 모바일 장치.
  4. 제2항에 있어서,
    상기 제1 및 제2 입력정보는 각각 상기 제1 및 제2 터치입력이 입력될 때 상기 제1 및 제2 터치 센서부에 의해 감지되는 터치지점들의 좌표, 상기 터치지점들의 타임스탬프, 터치입력 방향, 및 상기 제1 표시부와 상기 외부 모바일 장치의 제2 표시부의 크기를 포함하는 것을 특징으로 하는 모바일 장치.
  5. 제4항에 있어서,
    상기 제1 및 제2 자세 센서부의 각각은 자이로센서와 가속도 센서, 또는 가속도 센서와 지자기 센서를 포함하는 것을 특징으로 하는 모바일 장치.
  6. 제5항에 있어서,
    상기 제1 및 제2 자세정보는 각각 상기 제1 및 제2 자세 센서부에 의해 감지되는 해당 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 더 포함하는 것을 특징으로 하는 모바일 장치.
  7. 제6항에 있어서,
    상기 선결된 공유조건은 상기 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 제1 조건과 상기 모바일 장치와 상기 외부 모바일 장치가 동일 평면에 위치한 상태에서 상기 제1 및 제2 터치입력이 동일 선상으로 발생하는 제2 조건 중의 적어도 하나를 포함하는 것을 특징으로 하는 모바일 장치.
  8. 제7항에 있어서,
    상기 제1 조건은 상기 제1 및 제2 입력정보의 터치지점들의 타임스탬프를 토대로 결정되는 것을 특징으로 하는 모바일 장치.
  9. 제7항에 있어서,
    상기 제2 조건은 상기 제1 및 제2 입력정보의 터치입력 방향 및 제1 및 제2 표시부의 크기와, 상기 제1 및 제2 자세정보의 롤, 피치, 및 요우와 배향을 토대로 판단되는 것을 특징으로 하는 모바일 장치.
  10. 제1항에 있어서,
    제1 제어부는 상기 선결된 공유조건을 일정비율 이상 만족할 때 상기 외부 모바일 장치를 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 것을 특징으로 하는 모바일 장치.
  11. 제1항에 있어서,
    상기 제1 제어부는 상기 외부 모바일 장치에서 상기 제1 입력정보 및 제1 자세정보와 상기 제2 입력정보 및 제2 자세정보를 토대로 상기 선결된 공유조건을 만족하는 지를 판단하여 상기 모바일 장치를 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식할 수 있도록 상기 제1 입력정보 및 제1 자세정보를 상기 제1 통신부를 통해 상기 외부 모바일 장치로 전송하는 것을 특징으로 하는 모바일 장치.
  12. 제2항에 있어서,
    상기 제1 제어부는 상기 제1 NUI부에 의해 감지되는 사용자의 제3 터치입력과 상기 제1 통신부를 통해 상기 외부 모바일 장치로부터 수신되는 사용자의 제4 터치입력 중의 적어도 하나에 대응하여 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능의 일부를 구성하는 제1 기능을 수행함과 동시에, 상기 제1 기능에 대응하여 상기 외부 모바일 장치로 전송할 데이터와 미리 설정된 크로스디바이스 콘텐츠 공유기능 관련 정보 중의 적어도 하나를 상기 제1 통신부를 통해 상기 외부 모바일 장치로 전송하는 것을 특징으로 하는 모바일 장치.
  13. 제1항에 있어서,
    상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 상기 모바일 장치에 저장 또는 표시되는 콘텐츠를 상기 외부 모바일 장치로 이동 또는 복사하거나 상기 외부 모바일 장치에 동일하게 복제 또는 확장하여 표시하는 기능을 포함하는 것을 특징으로 하는 모바일 장치.
  14. 제1항에 있어서,
    상기 모바일 장치와 외부 모바일 장치는 각각 휴대폰, 리모콘, 태블릿 PC, 모바일 PC, 워치폰 및 PDA 중의 하나를 포함하는 것을 특징으로 하는 모바일 장치.
  15. 외부 모바일 장치와 통신 가능한 모바일 장치의 콘텐츠 공유 방법에 있어서,
    상기 모바일 장치에서 사용자의 인터랙션 행위를 기반으로 한 입력과 상기 모바일 장치의 자세를 감지하는 단계와;
    상기 감지된 사용자의 입력과 모바일 장치의 자세를 토대로 제1 입력정보와 상기 모바일 장치의 제1 자세정보를 판단하는 단계와;
    상기 외부 모바일 장치로부터 사용자의 제2 입력 정보와 상기 외부 모바일 장치의 제2 자세정보를 수신하는 단계와;
    상기 판단된 제1 입력정보 및 제1 자세정보와 상기 수신된 제2 입력 정보 및 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하는 단계와;
    상기 선결된 공유조건을 만족할 때 상기 외부 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 단계를 포함하며,
    상기 선결된 공유조건은 상기 제1 및 제2 입력정보가 동일시간 동안 동일선 상으로 동시에 감지되는 제1 조건 또는 상기 모바일 장치와 상기 외부 모바일 장치가 동일평면에 위치한 상태에서 상기 제1 및 제2 입력정보가 동일 선상으로 감지되는 제2 조건 중 적어도 하나를 일정 값 이상 만족하는 것을 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  16. 제15항에 있어서,
    상기 감지 단계는,
    제1 터치 센서부에 의해 상기 모바일 장치에 입력되는 제1 터치 입력을 감지하고 대응하는 제1 터치 감지신호를 발생하는 단계와;
    제1 자세 센서부에 의해 상기 모바일 장치의 자세를 감지하고 대응하는 제1 자세 감지신호를 발생하는 단계를 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  17. 제16항에 있어서,
    상기 제1 입력정보와 상기 모바일 장치의 제1 자세정보를 판단하는 단계는,
    상기 발생된 제1 터치 감지신호에 대응하여 상기 제1 터치 입력에 의해 터치되는 터치지점들의 좌표, 터치지점들의 타임스탬프, 터치입력 방향, 및 상기 모바일 장치의 제1 표시부의 크기를 판단하는 단계와;
    상기 발생된 제1 자세 감지신호를 토대로 상기 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 판단하는 단계를 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  18. 제17항에 있어서,
    상기 수신 단계는,
    사용자에 의해 상기 외부 모바일 장치에 입력되는 제2 터치 입력에 의해 터치되는 터치지점들의 좌표, 상기 터치지점들의 타임스탬프, 터치입력 방향, 및 상기 외부 모바일 장치의 제2 표시부의 크기를 수신하는 단계와;
    상기 외부 모바일 장치의 롤, 피치, 및 요우와, 배향 중의 적어도 하나를 수신하는 단계를 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  19. 제18항에 있어서,
    상기 선결된 공유조건을 만족하는 지를 판단하는 단계는,
    상기 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 제1 조건을 만족하는 지를 판단하는 단계와;
    상기 모바일 장치와 상기 외부 모바일 장치가 동일 평면에 위치한 상태에서 상기 제1 및 제2 터치입력이 동일 선상으로 발생하는 제2 조건을 만족하는 지를 판단하는 단계 중에서 적어도 하나를 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  20. 제19항에 있어서,
    상기 제1 조건을 만족하는 지를 판단하는 단계는,
    상기 제1 및 제2 입력정보의 터치지점들의 타임스탬프를 토대로 상기 제1 및 제2 터치입력이 동일시간 동안 동시에 발생하는 지를 판단하는 단계를 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  21. 제19항에 있어서,
    상기 제2 조건을 만족하는 지를 판단하는 단계는,
    상기 제1 및 제2 자세정보의 롤, 피치, 및 요우를 토대로 상기 모바일 장치와 상기 외부 모바일 장치가 동일평면에 위치하는 지를 판단하는 단계와;
    상기 제1 및 제2 입력정보의 터치입력 방향 및 상기 제1 및 제2 표시부의 크기와, 상기 제1 및 제2 자세정보의 배향을 토대로 상기 제1 및 제2 터치 입력이 동일선 상으로 발생하는 지를 판단하는 단계를 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  22. 제19항에 있어서,
    상기 선결된 공유조건을 만족하는 지를 판단하는 단계는 상기 제1 조건과 제2 조건을 일정 비율이상 만족할 때 상기 외부 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 단계를 포함하는 모바일 장치의 콘텐츠 공유 방법.
  23. 제15항에 있어서,
    상기 외부 모바일 장치에서 상기 제1 입력정보 및 제1 자세정보와 상기 제2 입력정보 및 제2 자세정보를 토대로 상기 선결된 공유조건을 만족하는 지를 판단하여 상기 모바일 장치를 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식할 수 있도록 상기 제1 입력정보 및 제1 자세정보를 상기 외부 모바일 장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  24. 제16항에 있어서,
    상기 모바일 장치에서 감지되는 사용자의 제3 터치 입력과 상기 외부 모바일 장치로부터 수신되는 사용자의 제4 터치 입력 중의 적어도 하나에 대응하여 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능의 일부를 구성하는 제1 기능을 수행하는 단계와;
    상기 제1 기능에 대응하여 상기 외부 모바일 장치로 전송할 데이터와 미리 설정된 크로스디바이스 콘텐츠 공유기능 관련 정보 중의 적어도 하나를 상기 외부 모바일 장치로 전송하는 단계를 더 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  25. 제15항에 있어서,
    상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 상기 모바일 장치에 저장 또는 표시되는 콘텐츠를 상기 외부 모바일 장치로 이동 또는 복사하거나 상기 외부 모바일 장치에 동일하게 복제 또는 확장하여 표시하는 기능을 포함하는 것을 특징으로 하는 모바일 장치의 콘텐츠 공유 방법.
  26. 외부와 통신 가능한 제1항 내지 제14항 중의 어느 한 항에 따른 제1 모바일 장치와;
    제1 모바일장치와 통신 가능한 하나 이상의 제2 모바일장치를 포함하며,
    상기 제1 모바일장치는, 영상을 표시하는 제2 표시부와, 상기 제1 모바일 장치와 통신하는 제2 통신부와, 사용자의 인터랙션 행위를 기반으로 한 입력을 감지하는 제2 NUI부와, 상기 제2 모바일 장치의 자세를 감지하는 제2 자세 센서부와, 상기 제2 NUI부에 의해 감지되는 상기 제2 입력정보 및 상기 제2 자세 센서부에 의해 감지되는 상기 제2 자세정보와, 상기 제2 통신부를 통해 상기 제1 모바일 장치로부터 수신되는 상기 제1 모바일 장치의 제1 입력정보 및 제1 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 상기 선결된 공유조건을 만족할 때 상기 제1 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 제2 제어부를 포함하며,
    상기 선결된 공유조건은 상기 제1 및 제2 입력정보가 동일시간 동안 동일선 상으로 동시에 감지되는 제1 조건 또는 상기 제1 모바일 장치와 상기 제2 모바일 장치가 동일평면에 위치한 상태에서 상기 제1 및 제2 입력정보가 동일 선상으로 감지되는 제2 조건 중 적어도 하나를 일정 값 이상 만족하는 것을 포함하는 것을 특징으로 하는 크로스디바이스 콘텐츠 공유 시스템.
  27. 제26항에 있어서,
    상기 제2 제어부는 상기 선결된 공유조건을 일정비율 이상 만족할 때 상기 제1 모바일 장치를 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 것을 특징으로 하는 크로스디바이스 콘텐츠 공유 시스템.
  28. 제26항에 있어서,
    상기 제2 제어부는 상기 제2 NUI부에 의해 감지되는 상기 사용자의 제3 입력과 상기 제2 통신부를 통해 상기 제2 모바일 장치에 상기 제1 모바일 장치로부터 수신되는 사용자의 제4 입력 중의 적어도 하나에 대응하여 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 수행하는 것을 특징으로 하는 크로스디바이스 콘텐츠 공유 시스템.
  29. 제26항에 있어서,
    상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능은 상기 제2 모바일 장치에 저장 또는 표시되는 콘텐츠를 상기 제1 모바일 장치로 이동 또는 복사하거나 상기 제1 모바일 장치에 동일하게 복제 또는 확장하여 표시하는 기능을 포함하는 것을 특징으로 하는 크로스디바이스 콘텐츠 공유 시스템.
  30. 제26항에 있어서,
    상기 제1 및 제2 모바일 장치의 제1 및 제2 제어부 중의 하나는 해당 NUI부에 의해 사용자의 제3 입력이 감지될 때 상기 감지되는 제3 입력이 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 수행하기 위해 미리 정해진 제3 입력인 지를 판단하고, 상기 미리 정해진 제3 입력인 것으로 판단되면 상기 제3 입력에 대응하는 제1 기능을 수행함과 동시에 상기 제1 기능에 대응하여 상기 제1 및 제2 모바일 장치 중의 다른 하나로 전송할 데이터와 미리 설정된 크로스디바이스 콘텐츠 공유기능 관련 정보 중의 적어도 하나를 해당 통신부를 통해 상기 제1 및 제2 모바일 장치 중의 다른 하나로 전송하는 것을 특징으로 하는 크로스디바이스 콘텐츠 공유 시스템.
  31. 제30항에 있어서,
    상기 제1 제어부와 제2 제어부 중의 다른 하나는 해당 통신부를 통해 상기 제1 및 제2 모바일 장치 중의 하나로부터 수신되는 상기 데이터와 상기 미리 설정된 크로스디바이스 콘텐츠 공유기능 관련 정보 중의 적어도 하나를 분석하여 해당 NUI부에 의해 상기 사용자의 제4 입력이 감지될 때 상기 감지되는 제4 입력에 대응하는 제2 기능을 수행하는 것을 특징으로 하는 크로스디바이스 콘텐츠 공유 시스템.
  32. 외부와 통신 가능한 제1항 내지 제14항 중의 어느 한 항에 따른 제1 모바일 장치와, 상기 제1 모바일장치와 통신 가능한 하나 이상의 제2 모바일장치를 포함하는 크로스디바이스 콘텐츠 공유 시스템의 콘텐츠 공유 방법에 있어서,
    상기 제1 모바일 장치에서 사용자의 제1 입력과 관련된 제1 입력정보와 상기 제1 모바일 장치의 제1 자세정보를 감지하여 상기 제2 모바일 장치로 전송하는 단계와;
    상기 제2 모바일 장치에서 사용자의 제2 입력과 관련된 제2 입력 정보와 상기 제2 모바일 장치의 제2 자세정보를 감지하여 상기 제1 모바일 장치로 전송하는 단계와;
    상기 제1 모바일 장치에서, 상기 감지된 제1 입력정보 및 제1 자세정보와 상기 제2 모바일 장치로부터 수신된 제2 입력정보 및 제2 자세정보를 분석하여 선결된 공유조건을 만족하는 지를 판단하고, 상기 선결된 공유조건을 만족할 때 상기 제2 모바일 장치를 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 단계와;
    상기 제2 모바일 장치에서, 상기 감지된 제2 입력정보 및 제2 자세정보와 상기 제1 모바일 장치로부터 수신된 제1 입력정보 및 제1 자세정보를 분석하여 상기 선결된 공유조건을 만족하는 지를 판단하고, 상기 선결된 공유조건을 만족할 때 상기 제1 모바일 장치를 상기 미리 설정된 크로스디바이스 콘텐츠 공유 기능을 공유할 장치로 인식하는 단계를 포함하며,
    상기 선결된 공유조건은 상기 제1 및 제2 입력정보가 동일시간 동안 동일선 상으로 동시에 감지되는 제1 조건 또는 상기 제1 모바일 장치와 상기 제2 모바일 장치가 동일평면에 위치한 상태에서 상기 제1 및 제2 입력정보가 동일 선상으로 감지되는 제2 조건 중 적어도 하나를 일정 값 이상 만족하는 것을 포함하는 것을 특징으로 하는 크로스디바이스 콘텐츠 공유 시스템의 콘텐츠 공유 방법.
KR1020140038141A 2014-03-31 2014-03-31 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법 KR102297025B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140038141A KR102297025B1 (ko) 2014-03-31 2014-03-31 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140038141A KR102297025B1 (ko) 2014-03-31 2014-03-31 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법

Publications (2)

Publication Number Publication Date
KR20150113732A KR20150113732A (ko) 2015-10-08
KR102297025B1 true KR102297025B1 (ko) 2021-09-03

Family

ID=54346605

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140038141A KR102297025B1 (ko) 2014-03-31 2014-03-31 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법

Country Status (1)

Country Link
KR (1) KR102297025B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11934651B2 (en) 2019-08-22 2024-03-19 Lg Electronics Inc. Mobile terminal with multiple screens and mapped coordinates
US20240031467A1 (en) * 2019-10-25 2024-01-25 Lg Electronics Inc. Mobile terminal, electronic device comprising mobile terminal, and method for controlling electronic device
WO2023200178A1 (ko) * 2022-04-15 2023-10-19 삼성전자 주식회사 롤러블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2503446A2 (en) 2011-03-23 2012-09-26 Acer Incorporated Portable devices, data transmission systems and display sharing methods thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8457651B2 (en) * 2009-10-02 2013-06-04 Qualcomm Incorporated Device movement user interface gestures for file sharing functionality
KR101738527B1 (ko) * 2010-12-07 2017-05-22 삼성전자 주식회사 모바일기기 및 그 제어방법
KR101804338B1 (ko) * 2011-11-08 2017-12-04 엘지전자 주식회사 이동 단말기

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2503446A2 (en) 2011-03-23 2012-09-26 Acer Incorporated Portable devices, data transmission systems and display sharing methods thereof

Also Published As

Publication number Publication date
KR20150113732A (ko) 2015-10-08

Similar Documents

Publication Publication Date Title
KR102394985B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
US10382606B2 (en) Mobile terminal and method for controlling the same
JP6887612B2 (ja) 端末機及びこれのイメージ処理方法（ｔｅｒｍｉｎａｌ ａｎｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄ ｔｈｅｒｅｏｆ）
KR101659032B1 (ko) 이동 단말기 및 그것의 제어방법
US9436348B2 (en) Method and system for controlling movement of cursor in an electronic device
KR101229699B1 (ko) 애플리케이션 간의 콘텐츠 이동 방법 및 이를 실행하는 장치
KR102187027B1 (ko) 이동단말기 및 그 제어방법
US9651989B2 (en) Mobile terminal
EP2801899B1 (en) Method, device and system for providing a private page
US10133310B2 (en) Mobile terminal and method for controlling the same
KR20210042071A (ko) 폴더블 전자 장치의 인터페이싱 방법 및 그 폴더블 전자 장치
KR102204554B1 (ko) 이동 단말기 및 그것의 제어방법
KR102228856B1 (ko) 이동단말기 및 그 제어방법
KR102155091B1 (ko) 이동단말기 및 그 제어방법
KR102265905B1 (ko) 디지털 디바이스 및 그 제어 방법
KR102164454B1 (ko) 개인 페이지 제공 방법 및 이를 위한 디바이스
CN104838352A (zh) 在多表面装置中的动作初始化
KR101861377B1 (ko) 이동 단말에서 모션 기반의 화면 제어 방법 및 이를 위한 이동 단말
EP3544287A1 (en) Method for setting image capture conditions and electronic device performing the same
KR102297025B1 (ko) 모바일 장치, 크로스디바이스 콘텐츠 공유 시스템 및 그 콘텐츠 공유 방법
KR102352390B1 (ko) 디지털 디바이스 및 그 제어 방법
CN116048313B (zh) 一种光标控制方法、光标控制设备及存储介质
KR102252509B1 (ko) 이동단말기 및 그 제어방법
JP5836556B2 (ja) 情報処理システム
KR102475336B1 (ko) 사용자 장치, 그의 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right