KR101688743B1 - 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템 - Google Patents

적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템 Download PDF

Info

Publication number
KR101688743B1
KR101688743B1 KR1020150144763A KR20150144763A KR101688743B1 KR 101688743 B1 KR101688743 B1 KR 101688743B1 KR 1020150144763 A KR1020150144763 A KR 1020150144763A KR 20150144763 A KR20150144763 A KR 20150144763A KR 101688743 B1 KR101688743 B1 KR 101688743B1
Authority
KR
South Korea
Prior art keywords
content
pattern
interaction
rti
visual characteristic
Prior art date
Application number
KR1020150144763A
Other languages
English (en)
Inventor
김상식
정성관
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150144763A priority Critical patent/KR101688743B1/ko
Application granted granted Critical
Publication of KR101688743B1 publication Critical patent/KR101688743B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템이 개시된다. 컴퓨터로 구현되는 방법은, 제1 디바이스로부터 상기 제1 디바이스 상에 표시된 컨텐츠에 대한 이동 요청을 수신하는 단계; 상기 이동 요청에 따라 상기 컨텐츠와 관련된 표시 영역의 시각특성 변화 패턴을 제어하는 단계; 상기 시각특성 변화 패턴에 대한 참조 패턴을 적어도 하나의 제2 디바이스로 전송하는 단계; 및 상기 제2 디바이스 중 상기 참조 패턴과 대응되는 조도 인식 패턴을 획득한 대상 디바이스로 상기 컨텐츠를 이동하는 단계를 포함한다.

Description

적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템{METHOD AND SYSTEM FOR COUPLING AMONG DEVICES USING ADAPTIVE PATTERN RECOGNITION}
본 발명의 실시예들은 직관적인 방식을 통해 디바이스 간에 컨텐츠를 이동시키는 컨텐츠 이동 기술에 관한 것이다.
디지털 사이니지(digital signage)는 사용자 주변의 광고판들이 사용자에게 유용한 정보 및 광고 정보 들을 제공함으로써 사용자들이 바라보고 원하는 정보를 얻을 수 있도록 하는 지능형 광고판이다.
그리고, 디지털 사이니지를 활용하기 위해서는 디지털 사이니지의 컨텐츠 중 사용자가 원하는 컨텐츠를 사용자의 단말기로 이동하고, 사용자의 단말기에서 디지털 사이니지로 컨텐츠를 이동할 수 있는 방법 및 시스템이 필요하다.
두 기기간 컨텐츠를 이동하기 위해서는 1) 기기 간 상호 인식 단계, 2) 기기 간 컨텐츠 이동 방향을 지정하는 단계, 3) 기기 간 데이터 전송 단계를 거쳐야만 한다.
현재의 시스템에서는 위 단계들을 명시적으로 하나씩 수행하는 명시적 컨텐츠 이동 기술과 사용자의 제스처에 따라 자동으로 위 단계들을 수행하는 묵시적 컨텐츠 이동 기술이 있다.
명시적 컨텐츠 이동 기술은 위 단계들을 명시적으로 사용자가 하나씩 수행해야 하는 방법이다. 그 예로, 블루투스를 이용하여 두 기기가 서로 인식하고, 사용자의 터치에 따라 한 기기에서 다른 기기로 컨텐츠를 이용하는 방법이 있다. 이 방법의 경우 사용자는 두 디바이스를 서로 연결하기 위하여 두 디바이스에 상대 디바이스의 ID를 입력해야 하는 등 불편함을 가지고 있다.
묵시적 컨텐츠 이동 기술은 Bump, QR, NFC 등 사용자가 두 디바이스의 충돌, QR 코드 촬영, NFC 터치 등의 정해진 제스처를 취하면 두 디바이스를 자동으로 커플링하고 두 디바이스간 컨텐츠/제어를 이동하는 방법이다. 묵시적 컨텐츠 이동 기술은 명시적 컨텐츠 이동 기술에 비해 두 기기 간 연결을 자동으로 해주기 때문에 사용자가 편리하게 느끼는 장점을 가지고 있다.
다양한 묵시적 컨텐츠 이동 기술이 존재하고 있지만, 기존의 각 기술들은 각각 단점들을 가지고 있다. 이 단점들은 정리하면, 사용하기 불편하거나(QR), 한 디바이스의 디스플레이에 별도의 코드를 표현해야 하거나(QR), 별도의 추가 장치를 부착해야 하거나(NFC), 여러 명의 동시 이용을 제공할 수 없는(Bump) 등 다양한 단점들을 가지고 있다.
사용자가 휴대용 디바이스를 손에 쥔 상태로 컨텐츠 디바이스의 컨텐츠를 선택할 경우 휴대용 디바이스로 컨텐츠를 이동함으로써 직관적으로 디바이스 간 컨텐츠 이동이 가능한 방법을 제공한다.
직관적인 제스처를 이용하여 이동할 컨텐츠 및 컨텐츠가 이동할 대상 디바이스를 선택하도록 함으로써 별도의 교육이나 부가 장치가 필요 없이 사용자가 원하는 컨텐츠를 원하는 디바이스로 이동시킬 수 있는 방법을 제공한다.
컨텐츠를 이동하려고 하는 사용자가 인터랙션을 수행하면서 동시에 컨텐츠의 내용을 인지하는데 방해되는 요소나 어려움을 주지 않고, 더욱이 디바이스 간 고속 커플링을 통해 사용자에게 긴 인터랙션 시간으로 인한 부담을 주지 않는 형태의 인터랙션 방법을 제공한다.
컴퓨터로 구현되는 방법에 있어서, 제1 디바이스로부터 상기 제1 디바이스 상에 표시된 컨텐츠에 대한 이동 요청을 수신하는 단계; 상기 이동 요청에 따라 상기 컨텐츠와 관련된 표시 영역의 시각특성 변화 패턴을 제어하는 단계; 상기 시각특성 변화 패턴에 대한 참조 패턴을 적어도 하나의 제2 디바이스로 전송하는 단계; 및 상기 제2 디바이스 중 상기 참조 패턴과 대응되는 조도 인식 패턴을 획득한 대상 디바이스로 상기 컨텐츠를 이동하는 단계를 포함하는 방법을 제공한다.
컴퓨터로 구현되는 방법에 있어서, 컨텐츠 디바이스에 표시된 컨텐츠의 시각특성 변화에 대해 조도 인식 패턴을 획득하는 단계; 상기 컨텐츠 디바이스에 대해 서버로부터 상기 컨텐츠의 시각특성 변화에 대한 참조 패턴을 수신하는 단계; 및 상기 조도 인식 패턴이 상기 참조 패턴과 대응되는 경우 상기 서버로 상기 컨텐츠의 이동을 요청하는 단계를 포함하는 방법을 제공한다.
컴퓨터로 구현되는 방법에 있어서, 제1 디바이스로부터 위치 정보를 포함하는 알림 메시지를 수신하는 단계; 및 상기 위치 정보를 기준으로 상기 제1 디바이스의 주변에 위치한 적어도 하나의 제2 디바이스로 컨텐츠 전송을 위한 준비 메시지를 전송하는 단계를 포함하고, 상기 제2 디바이스에서는 디스플레이에 적어도 하나의 컨텐츠를 표시하되 상기 준비 메시지에 따라 상기 표시된 컨텐츠 중 상기 제1 디바이스로의 전송이 가능한 컨텐츠에 변화를 주는 것을 특징으로 하는 방법을 제공한다.
적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 제1 디바이스로부터 상기 제1 디바이스 상에 표시된 컨텐츠에 대한 이동 요청을 수신하는 과정; 상기 이동 요청에 따라 상기 컨텐츠와 관련된 표시 영역의 시각특성 변화 패턴을 제어하는 과정; 상기 시각특성 변화 패턴에 대한 참조 패턴을 적어도 하나의 제2 디바이스로 전송하는 과정; 및 상기 제2 디바이스 중 상기 참조 패턴과 대응되는 조도 인식 패턴을 획득한 대상 디바이스로 상기 컨텐츠를 이동하는 과정을 처리하는 것을 특징으로 하는 시스템을 제공한다.
적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 컨텐츠 디바이스에 표시된 컨텐츠의 시각특성 변화에 대해 조도 인식 패턴을 획득하는 과정; 상기 컨텐츠 디바이스에 대해 서버로부터 상기 컨텐츠의 시각특성 변화에 대한 참조 패턴을 수신하는 과정; 및 상기 조도 인식 패턴이 상기 참조 패턴과 대응되는 경우 상기 서버로 상기 컨텐츠의 이동을 요청하는 과정을 처리하는 것을 특징으로 하는 시스템을 제공한다.
적어도 하나의 프로그램이 로딩된 메모리; 및 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라, 제1 디바이스로부터 위치 정보를 포함하는 알림 메시지를 수신하는 과정; 및 상기 위치 정보를 기준으로 상기 제1 디바이스의 주변에 위치한 적어도 하나의 제2 디바이스로 컨텐츠 전송을 위한 준비 메시지를 전송하는 과정을 처리하고, 상기 제2 디바이스에서는 디스플레이에 적어도 하나의 컨텐츠를 표시하되 상기 준비 메시지에 따라 상기 표시된 컨텐츠 중 상기 제1 디바이스로의 전송이 가능한 컨텐츠에 변화를 주는 것을 특징으로 하는 시스템을 제공한다.
본 발명의 실시예에 따르면, 사용자가 휴대용 디바이스를 손에 쥔 상태로 컨텐츠 디바이스의 컨텐츠를 선택할 경우 휴대용 디바이스로 컨텐츠를 이동함으로써 직관적으로 디바이스 간 컨텐츠 이동이 가능한 방법 및 시스템을 제공할 수 있다.
본 발명의 실시예에 따르면, 직관적인 제스처를 이용하여 이동할 컨텐츠 및 컨텐츠가 이동할 대상 디바이스를 선택하도록 함으로써 별도의 교육이나 부가 장치가 필요 없이 사용자가 원하는 컨텐츠를 원하는 디바이스로 이동시킬 수 있는 방법 및 시스템을 제공할 수 있다.
본 발명의 실시예에 따르면, 디바이스 사이에 조도 변화 및 인식 과정에 의해 발생하는 센서 신호 패턴을 이용하여 두 디바이스 간 커플링을 수행함으로써 한 디바이스의 디스플레이에 별도의 코드를 표현할 필요가 없으며 두 디바이스 간에 강한 충격이 필요 없는 컨텐츠 이동 방법 및 시스템을 제공할 수 있다.
본 발명의 실시예에 따르면, 조도 변화 패턴에 대한 다양한 센서 신호 패턴을 학습 과정에 의해 하나의 신호로 수렴하고 수렴된 신호와 인식된 신호 간의 교차 연관(cross-correlation)에 의해 신호간 유사성을 연산하고 이를 기반으로 디바이스 간 커플링을 수행함으로써 패턴 판단이 빠르고 용이해짐에 따라 고속 커플링이 가능한 방법 및 시스템을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디바이스 간 컨텐츠 이동 시스템을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 있어서 컨텐츠 이동을 위한 사용자 제스처 수행 과정을 설명하기 위한 예시 도면이다.
도 3은 본 발명의 일 실시예에 있어서 컨텐츠 밝기를 변화시키는 방법의 예시를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 있어서 컨텐츠 전송 환경의 일례를 설명하기 위한 도면이다.
도 5와 도 6은 본 발명의 일 실시예에 있어서 인터랙션 ID의 조합 예시를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 있어서 인터랙션 ID에 따른 컨텐츠 밝기 변화의 예시를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 있어서 패턴 정규화 과정을 설명하기 위한 예시 도면이다.
도 9는 본 발명의 일 실시예에 있어서 상호 상관 함수에 의한 패턴 유사성을 설명하기 위한 예시 도면이다.
도 10과 도 11은 본 발명의 일 실시예에 있어서 색상 정보가 포함된 인터랙션 ID의 조합 예시를 도시한 도면이다.
도 12와 도 13은 본 발명의 일 실시예에 있어서 컨텐츠 밝기 변화와 센서 인식 값 패턴을 설명하기 위한 예시 도면이다.
도 14는 본 발명의 일 실시예에 있어서 컨텐츠 전송 방법의 일례를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 있어서 전송 가능한 컨텐츠의 표현 방식을 설명하기 위한 예시 도면이다.
도 16은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명은 두 개의 디바이스 간에 단순한 제스처를 통하여 원하는 컨텐츠를 이동시키는 기술에 관한 것으로, 보다 상세하게는 사용자가 휴대용 디바이스를 손에 쥔 상태로 컨텐츠 디바이스의 컨텐츠를 선택할 경우 휴대용 디바이스로 컨텐츠를 이동함으로써 직관적으로 디바이스 간 컨텐츠 이동이 가능한 방법 및 시스템에 관한 것이다.
본 실시예에서는 디바이스 사이에 조도 변화 및 인식 과정에 의해 발생하는 센서 신호 패턴을 이용하여 두 디바이스 간 고속 커플링을 수행할 수 있으며, 특히 특정 조도 변화 패턴에 대한 다양한 센서 신호 패턴을 학습 과정에 의해 하나의 신호로 수렴하게 하고 수렴된 신호와 인식된 신호 간 교차 연관(cross-correlation)에 의해 신호간 유사성을 연산하고 이를 기반으로 디바이스 간 커플링을 수행할 수 있다.
도 1은 본 발명의 일 실시예에 따른 디바이스 간 컨텐츠 이동 시스템을 나타내는 도면이다. 도 1을 참고하면, 본 발명의 일 실시예에 따른 디바이스 간 컨텐츠 이동 시스템은 컨텐츠 디바이스(110)와 휴대용 디바이스(120)를 포함할 수 있다.
이때, 컨텐츠 디바이스(110)는 터치 입력이 가능한 디스플레이를 이용하여 사용자에게 컨텐츠를 제공할 수 있다. 예를 들어, 컨텐츠 디바이스(110)는 디지털 사이니지(digital signage)일 수 있다.
그리고, 휴대용 디바이스(120)는 이동성이 있는 모바일 기기로, 컨텐츠 디바이스와 마찬가지로 터치 입력이 가능한 디스플레이를 이용하여 사용자에게 컨텐츠를 제공할 수 있다. 예를 들어 휴대용 디바이스(120)는 스마트폰(smart phone), PDA(Personal Digital Assistant), 태블릿(tablet), 웨어러블 컴퓨터(wearable computer) 등과 같이 휴대 가능한 터치 디바이스일 수 있다.
특히, 본 발명에서 휴대용 디바이스(120)는 외부 빛에 의한 조도를 감지하는 수단, 일례로 조도 센서(illumination sensor), 카메라, 광 센서, 이미지 센서, RGB 센서 중 어느 하나를 포함하는 디바이스이다.
본 발명의 일 실시예에 따른 디바이스 간 컨텐츠 이동 시스템은 사용자가 휴대용 디바이스(120)를 쥐고 컨텐츠 디바이스(110)에 대해 터치 입력을 수행하면 사용자가 휴대용 디바이스(120)를 쥔 상태로 선택한 컨텐츠(100)를 휴대용 디바이스(120)로 이동할 수 있다.
사용자가 휴대용 디바이스(120)를 손에 쥔 상태로 컨텐츠 디바이스(110)에 입력한 터치 입력에 따라 컨텐츠 디바이스(110) 상에 표시된 컨텐츠(100)를 휴대용 디바이스(120)로 이동할 수 있다.
사용자는 도 2에 도시한 바와 같이 컨텐츠 디바이스(110) 앞에서 휴대용 디바이스(120)를 쥔 손을 컨텐츠 디바이스(110) 상에 표시된 컨텐츠(100)를 터치하는 것으로 원하는 컨텐츠(100)를 휴대용 디바이스(120)로 이동시킬 수 있다.
도 2에서 사용자는 휴대용 디바이스(120)를 쥔 손을 컨텐츠 디바이스(110)에 터치한 상태로 머물러 있게 된다. 이때 컨텐츠 디바이스(110)는 도 2의 (b)와 같이 터치 좌표를 인식할 수 있다.
컨텐츠 디바이스(110)는 사용자의 터치가 인식되면 터치 위치에 대응되는 컨텐츠(100)를 식별하고 해당 컨텐츠(100)의 밝기를 소정의 패턴으로 변화시킨다. 일 예로, 패턴이 <High-Low-High>라면 컨텐츠(100)가 표시된 영역의 밝기를 디스플레이 최대 밝기의 <80%-20%-80%>의 순서로 바꿀 수 있다. 컨텐츠(100)의 밝기를 변화시키는 방법은 컨텐츠 자체의 밝기를 변화시킬 수도 있고, 도 3에 도시한 바와 같이 컨텐츠 디바이스(110)의 디스플레이에 표시된 컨텐츠(100) 상에 일정 투명도(예를 들어, 20% 투과율)를 가진 흰색 레이어(101) 또는 검정색 레이어(102)를 오버레이 하여 구현 가능하다.
휴대용 디바이스(120)는 컨텐츠 디바이스(110)와 터치 상태로 머물러 있으므로 컨텐츠 디바이스(110) 상에 표시된 컨텐츠(100)의 밝기 변화는 휴대용 디바이스(120)의 조도 센서에 영향을 미치게 된다. 일 예로, 도 2의 휴대용 디바이스(120)에 존재하는 조도 센서는 200-10-200의 값을 가지게 되고 이를 기반으로 컨텐츠 디바이스(110) 상에 사용자가 선택한 컨텐츠(100)의 밝기가 High-Low-High의 형태로 변화하였음을 추측할 수 있다. 조도 센서 값을 통하여 컨텐츠 디바이스(110) 상의 컨텐츠 밝기가 변화하는 패턴을 추론한 휴대용 디바이스(120)는 이 패턴을 이용하여 컨텐츠 디바이스(110) 상에 표시된 컨텐츠(100)를 전송 받을 수 있다.
위 과정은 다음과 같이 정리될 수 있다.
A. 사용자 제스처 수행 단계
B. 인터랙션 ID 결정 단계
C. 참조 패턴 전송 단계
D. 밝기 변화 수행 단계
E. 밝기 패턴 인식 단계
F. 컨텐츠 전송 단계
단계 A~F의 구체적인 과정은 이하에서 상세하게 설명하기로 한다.
도 4는 본 발명의 일 실시예에 있어서, 컨텐츠 전송 환경의 예를 설명하기 위한 도면이다. 도 4는 컨텐츠 디바이스(110), 휴대용 디바이스(120), 및 서버(130)를 나타내고 있다. 도 4에서 점선은 구성 요소 간에 유/무선 네트워크를 이용하여 데이터가 송수신될 수 있음을 의미한다.
컨텐츠 디바이스(110)와 휴대용 디바이스(120)는 서버(130)의 주소를 알고 있으며 서버(130)로 데이터를 전송하거나 서버(130)로부터 데이터를 수신할 수 있다. 일 예로, 컨텐츠 디바이스(110)와 휴대용 디바이스(120)는 서버(130)와 관련된 웹/모바일 사이트의 접속 또는 서비스 전용 어플리케이션의 설치 및 실행이 가능하다.
컨텐츠 디바이스(110)와 휴대용 디바이스(120)는 WI-FI, LTE 등 기존의 통신 기술을 통하여 서버(130)와 연결될 수 있으며, 혹은 HTML5의 웹 소켓을 이용하여 연결될 수도 있다. 하나 이상의 컨텐츠 디바이스(110)와 하나 이상의 휴대용 디바이스(120)는 동시에 서버(13)와 연결될 수 있다.
A. 사용자 제스처 수행 단계
사용자 제스처 수행 단계는 사용자가 컨텐츠 디바이스(110)에 휴대용 디바이스(120)를 터치하는 단계이다.
예컨대, 도 2에 도시한 바와 같이 사용자는 휴대용 디바이스(120)를 쥔 손을 컨텐츠 디바이스(110) 상에 표시된 컨텐츠 중 이동을 원하는 컨텐츠(100)에 터치할 수 있다. 이때, 컨텐츠 디바이스(110)는 사용자의 터치에 대하여 터치 좌표와 터치 시간, 그리고 터치된 좌표를 기반으로 터치된 위치에 표시된 컨텐츠의 식별 정보(예컨대, ID 등)(이하, '컨텐츠 ID'라 칭함)를 인식할 수 있다.
사용자가 휴대용 디바이스(120)를 쥔 손으로 컨텐츠 디바이스(110)를 터치하면 컨텐츠 디바이스(110)는 자신의 식별 정보(예컨대, ID, 시리얼 넘버 등)(이하, '디바이스 ID'라 칭함)와 함께 컨텐츠 ID를 서버(130)로 전송한다.
컨텐츠 디바이스(110)는 디바이스 ID와 컨텐츠 ID를 서버(130)로 전송한 후 즉시 터치된 위치에 표시된 컨텐츠의 밝기를 조절하며, 예를 들어 컨텐츠의 밝기를 최대 밝기 대비 10% 밝기로 전환할 수 있다.
B. 인터랙션 ID 결정 단계
컨텐츠 디바이스(110)가 디바이스 ID와 컨텐츠 ID를 서버(130)로 전송하면 서버(130)는 컨텐츠 디바이스(110)로부터 수신한 디바이스 ID와 컨텐츠 ID의 쌍을 저장하고 저장된 ID 쌍에 할당할 인터랙션 ID를 결정한다. 인터랙션 ID는 시각특성(빛과 색)에 대한 변화 패턴을 정의할 수 있는 코드로서, 일례로 시각특성 변화 패턴을 정의하기 위해 밝기의 정도와 밝기 유지 시간을 포함하는 코드로 구성된다.
서버(130)는 인터랙션 ID로서 미리 여러 개의 밝기 패턴을 가지고 있을 수 있다. 그리고, 서버(130)는 아래 표 1과 같이 인터랙션 ID를 할당할 수 있다.
컨텐츠 디바이스 A, 컨텐츠 A 인터랙션 ID 3:
(80, 50), (20, 100), (60, 150)
컨텐츠 디바이스 B, 컨텐츠 C 인터랙션 ID 4:
(80, 100), (20, 200), (90, 50)
인터랙션 ID은 밝기 값과 밝기 유지 시간 값을 나타내는 데이터 쌍이 적어도 둘 이상 포함되어 구성될 수 있다. 표 1의 인터랙션 ID 3은 {(80, 50), (20, 100), (60, 150)}와 같고, 이때 하나의 데이터 쌍인 (80, 50)에서 앞의 값인 '80'은 컨텐츠의 밝기를 최대 밝기의 80%로 전환한다는 의미이고, 다음 값인 '50'은 밝기 유지 시간을 50ms 유지한다는 의미이다.
서버(130)는 컨텐츠 디바이스(110)로부터 디바이스 ID와 컨텐츠 ID를 수신하면 보유한 인터랙션 ID들 중 하나를 선택하여 컨텐츠 디바이스(110)로 할당한다. 사용자가 컨텐츠 디바이스 A에 표시된 컨텐츠 A를 선택한 경우 서버(130)는 인터랙션 ID 3을 할당함으로써 컨텐츠 디바이스 A에서 컨텐츠 A의 밝기를 최대 밝기 대비 80%로 50ms 유지하고, 최대 밝기 대비 20%로 100ms 유지하고, 최대 밝기 대비 60%로 150ms 동안 유지하도록 제어할 수 있다.
서버(130)는 다양한 밝기 패턴을 나타내는 인터랙션 ID들을 다수 보유하고 있으며, 도 5에 도시한 바와 같이 다양한 조합에 의해 다수의 인터랙션 ID 제공이 가능하다. 서버(130)는 밝기의 정도와 유지 시간의 다양한 조합, 그리고 길이(데이터 쌍의 개수)의 다양화를 통하여 다수의 인터랙션 ID를 생성 및 유지할 수 있다.
C. 참조 패턴 전송 단계
서버(130)는 컨텐츠 디바이스(110)에 대해 인터랙션 ID를 할당한 후 참조 패턴 전송을 수행한다. 이때, 참조 패턴은 컨텐츠 디바이스(110)가 서버(130)에서 할당된 인터랙션 ID에 따라 컨텐츠의 밝기 변화를 수행하는 과정에서 휴대용 디바이스(120)가 조도 센서를 통해 인식한 밝기 패턴과 비교하기 위한 기준 패턴을 의미한다.
참조 패턴은 도 6과 같이 인터랙션 ID 별로 적어도 하나 이상 생성될 수 있으며, 서버(130)는 인터랙션 ID를 할당한 후 해당 인터랙션 ID에 매핑된 참조 패턴 중 하나를 휴대용 디바이스(120)로 전송할 수 있다. 참조 패턴은 디바이스의 종류를 고려하여 생성될 수 있으며, 예를 들어 서버(130)에 연결된 휴대용 디바이스(120)가 갤럭시 S3 단말과 넥서스 7 단말의 두 대인 경우 서버(130)는 갤럭시 S3와 넥서스 7에 대응되는 참조 패턴을 각각의 단말로 전송한다.
참조 패턴의 생성은 현재 존재하는 모든 디바이스들에 대해 임의의 컨텐츠의 밝기를 특정 인터랙션 ID로 변화하면서 컨텐츠 위에 휴대용 디바이스(120)를 터치한 후 조도 센서 값의 변화 패턴을 수집하여 서버 구축 시 생성할 수 있다. 예를 들면, 서버 구축 시 관리자는 특정 이미지 컨텐츠의 밝기를 도 6의 인터랙션 ID 5의 step들에 따라 변화시키고 동시에 컨텐츠 앞에 갤럭시 S3 단말을 앞에 두어 조도 센서의 값 패턴을 수집함으로써 인터랙션 ID 5에 대한 갤럭시 S3 참조 패턴을 얻을 수 있고 이를 서버에 입력할 수 있다.
이러한 방법에 의해 서버(130)는 모든 디바이스의 종류에 대응되는 참조 패턴을 생성/유지할 수 있다. 이때, 모든 디바이스들은 서로 가진 조도 센서의 사양이 다르기 때문에 동일한 인터랙션 ID에 따라 동일한 컨텐츠가 밝기를 변화하더라도 도 6과 같이 디바이스 종류에 따라 서로 다른 참조 패턴이 나타날 수 있다.
서버(130)는 디바이스 ID와 컨텐츠 ID의 쌍에 인터랙션 ID를 할당한 후 접속 중인 휴대용 디바이스(120)로 해당 디바이스의 종류에 맞는 참조 패턴을 전송한다. 이때, 서버(130)는 휴대용 디바이스(120)와의 통신을 통해 휴대용 디바이스(120)의 디바이스 종류를 확인한 후 해당 디바이스 종류에 맞는 참조 패턴을 전송할 수 있다. 휴대용 디바이스(120)로 전송되는 참조 패턴은 해당 참조 패턴과 사전 매핑된 인터랙션 ID, 그리고 해당 인터랙션 ID가 할당된 디바이스 ID 및 컨텐츠 ID와 함께 휴대용 디바이스(120)로 전송된다.
휴대용 디바이스(120)는 서버(130)로부터 참조 패턴을 수신하는 즉시 조도 센서의 값을 모니터링 하기 시작하고 동시에 서버(130)로 참조 패턴의 수신에 대해 응답한다. 이에, 서버(130)는 휴대용 디바이스(120)로부터 응답이 수신되면 휴대용 디바이스(120)로 전송한 참조 패턴과 매핑된 인터랙션 ID와 해당 인터랙션 ID에 할당 디지털 사이니지 ID, 컨텐츠 ID를 컨텐츠 디바이스(110)로 전송한다.
D. 밝기 변화 수행 단계
컨텐츠 디바이스(110)는 <B. 인터랙션 ID 결정 단계>에서 설명한 것처럼 서버(130)로부터 할당된 인터랙션 ID가 수신되면 수신된 인터랙션 ID에 따라 사용자에 의해 터치된 컨텐츠의 밝기를 변화시킨다.
예컨대, 사용자가 휴대용 디바이스(120)를 쥔 손으로 컨텐츠 디바이스(110) 상의 컨텐츠를 터치함에 따라 컨텐츠 디바이스(110)가 서버(130)로부터 인터랙션 ID로서 {(80, 50), (20, 100), (60, 150)}를 수신한 것으로 가정한다.
도 7에 도시한 바와 같이, 컨텐츠 디바이스(110)는 컨텐츠(100)의 밝기를 디스플레이 최대 밝기 대비 80%로 50ms 동안 유지, 디스플레이 최대 밝기 대비 20%로 100ms 유지, 디스플레이 최대 밝기 대비 60%로 150ms 유지의 형태로 밝기 변화를 순차적으로 수행할 수 있다.
컨텐츠 디바이스(110)는 사용자가 터치한 컨텐츠에 대해 인터랙션 ID에 따른 밝기 변화를 모두 수행한 후 해당 컨텐츠의 밝기를 최대 밝기 대비 10%로 설정하고 밝기 변화 완료 메시지를 서버(130)로 전송한다. 이때, 밝기 변화 완료 메시지는 컨텐츠 디바이스(110)의 디바이스 ID와 컨텐츠 ID를 포함하여 서버(130)에게 해당 컨텐츠의 밝기 변화가 완료되었음을 알리는 것이다.
서버(130)는 컨텐츠 디바이스(110)로부터 밝기 변화 완료 메시지가 수신되면 해당 메시지를 접속 중인 휴대용 디바이스(120)에게 전송하고, 컨텐츠 디바이스(110)의 밝기 변화 완료 메시지를 수신한 휴대용 디바이스(120)는 조도 감지 완료 메시지를 서버(130)로 전송한다. 휴대용 디바이스(120)로부터 조도 감지 완료 메시지를 받은 서버(130)는 컨텐츠 디바이스(110)로 휴대용 디바이스(120)의 조도 감지 완료 메시지를 전달하며 조도 감지 완료 메시지를 받은 컨텐츠 디바이스(110)는 밝기 변화를 수행한 컨텐츠의 밝기를 원(default) 밝기로 변경하여 다른 인터랙션을 받을 준비를 마친다.
E. 밝기 패턴 인식 단계
휴대용 디바이스(120)는 <C. 참조 패턴 전송 단계>에서 서버(130)로부터 참조 패턴을 수신하게 된다.
휴대용 디바이스(120)는 서버(130)로부터 참조 패턴을 수신한 직후 조도 센서의 모니터링을 시작하여 서버(130)로부터 컨텐츠 디바이스(110)의 밝기 변화 완료 메시지가 도착할 때까지 조도 센서의 모니터링을 수행한다. 휴대용 디바이스(120)는 서버(130)로부터 컨텐츠 디바이스(110)의 밝기 변화 완료 메시지를 수신하면 조도 센서의 모니터링을 중지하고 조도 감지 완료 메시지를 서버(130)로 전송한다.
이후, 휴대용 디바이스(120)는 조도 센서의 모니터링을 통해 수집된 조도 센서 값 패턴(이하, '대상 패턴'이라 칭함)을 참조 패턴과 비교하여 참조 패턴과 일정 수준 이상 일치하면 <F. 컨텐츠 전송 단계>를 수행한다.
대상 패턴과 참조 패턴을 비교하는 방법은 패턴 정규화 및 상호 상관을 통하여 이루어지며 구체적인 단계는 다음과 같다.
① 패턴 정규화
휴대용 디바이스(120)는 참조 패턴과 대상 패턴을 비교하기 위하여 정규화 작업을 수행한다.
도 8은 패턴 정규화 과정을 설명하기 위한 예시 도면이다.
휴대용 디바이스(120)가 서버(130)로부터 수신한 참조 패턴이 도 8의 (a)와 같고, 휴대용 디바이스(120)에서 조도 센서의 모니터링을 통해 수집된 대상 패턴이 도 8의 (c)와 같은 경우, 휴대용 디바이스(120)는 참조 패턴과 대상 패턴 각각의 최대값을 이용하여 두 신호의 최대값/최소값을 1과 -1로 맞춘다. 즉, 도 8의 (a)에 도시된 참조 패턴은 최대값이 90이고 최소값이 0이므로 그 중간값 45를 기준으로 참조 패턴을 (값-45)/45에 맞추면 도 8의 (b)와 같이 정규화 된 패턴으로 나타난다. 또한, 도 8의 (c)에 도시된 대상 패턴은 최대값이 250이고 최소값이 0이므로 그 중간값 125를 기준으로 대상 패턴을 (값-125)/125에 맞추면 도 8의 (d)와 같이 정규화된 패턴으로 나타날 수 있다.
② 상호 상관
상호 상관(cross-correlation)은 두 신호 간 유사성을 비교하는 방식으로, 잘 알려진 방법이다. 본 발명은 상호 상관을 이용하여 참조 패턴과 대상 패턴을 비교하여 유사성이 일정 값 이상으로 측정되면 두 신호가 일치하는 것으로 판단하는 방법을 사용한다.
참조/대상 패턴은 조도 센서의 값을 측정하여 나타나는 패턴이므로 이산(discrete) 상호 상관(cross-correlation) 함수를 이용하여 정규화된 참조 패턴과 정규화된 대상 패턴을 연산한다.
도 8의 (b)와 (d)에 도시한 두 패턴의 신호를 상호 상관 함수에 의해 계산하면 두 신호가 시간 축 상에서 임의의 시간만큼 차이가 날 때 각 시간 차이에서의 두 신호의 유사성이 도 9와 같이 나타난다. 즉, 상호 상관 함수는 도 8의 (b)와 (d) 신호를 시간 차이 -550에서 500까지 차이가 나도록 이동한 후 각각의 신호를 연산 함으로써 도 9와 같은 그래프가 만들어진다. 도 8의 (b)와 (d)의 신호를 상호 상관 함수에 의해 연산하면 도 9와 같은 그래프로 나타나며, 시스템은 도 9에서 최대 값이 x좌표 0에서 0.96이므로 도 8의 두 신호 (b)와 (d)는 서로 간 시간 차이가 0만큼 나타날 때 두 신호의 유사성이 96%라고 판단할 수 있다.
도 8의 (a) 신호는 도 6의 인터랙션 ID 4가 컨텐츠 디바이스(110)의 컨텐츠에 적용되어 해당 컨텐츠의 밝기가 인터랙션 ID의 각 step에 따라 변화하였을 때 휴대용 디바이스(120)에 나타날 조도 센서 값 패턴의 예상치인 참조 패턴이고, 도 8의 (c) 신호는 휴대용 디바이스(120)이 실제 측정한 조도 센서의 값 패턴이다.
도 8의 두 신호 (b)와 (d)가 96%의 확률로 일치한다는 것은 도 8의 두 신호 (a)와 (c) 가 동일한 확률로 일치한다는 것을 의미한다. 결국, 시스템이 예상한 조도 센서 변화 패턴 예상치와 실제 측정된 값 패턴이 96%로 일치하므로, 이를 기반으로 시스템은 현재 도 8의 (c) 신호를 측정한 휴대용 디바이스(120)가 96% 확률로 컨텐츠 디바이스(110)의 밝기가 변화한 컨텐츠(밝기가 도 6의 인터랙션 ID 4와 각 step에 따라 변화한 컨텐츠) 앞에 실제로 존재하였고 그러므로 해당 휴대용 디바이스(120)가 도 8의 (c) 신호를 측정하였을 것이라고 추론한다.
<A. 사용자 제스처 수행 단계>에서 언급된 것처럼 컨텐츠 디바이스(110)의 컨텐츠에 터치가 일어나면 <B. 인터랙션 ID 결정 단계>, <C. 참조 패턴 전송 단계>, <D. 밝기 변화 수행 단계> 등이 이루어지므로, 시스템은 해당 휴대용 디바이스(120)가 사용자에 의해 컨텐츠를 터치했고 그때 도 6의 인터랙션 ID 4가 할당되어 도 8의 (c) 신호를 측정했다고 판단한다.
시스템은 위 확률이 임계값 이상이면 실제로 휴대용 디바이스(120)가 확실히 컨텐츠를 터치했다고 판단하여 사용자가 터치된 컨텐츠를 휴대용 디바이스(120)로 전송한다. 즉, 휴대용 디바이스(120)는 참조 패턴 수신 시 전송받은 인터랙션 ID, 휴대용 디바이스(120)의 디바이스 타입 및 컨텐츠 ID를 서버(130)로 전송하여 서버(130)에 컨텐츠를 요청하고 서버(130)는 컨텐츠 또는 컨텐츠 URL을 휴대용 디바이스(120)로 전송함으로써 휴대용 디바이스(120)는 컨텐츠 디바이스(110)에서 터치한 컨텐츠를 전송받게 된다.
또한, 휴대용 디바이스(120)는 서버(130)에 컨텐츠 전송을 요청할 때, 도 8의 (c)와 같은 대상 패턴을 같이 전달할 수 있다. 서버(130)로 전송된 인터랙션 ID, 휴대용 디바이스(120)의 디바이스 타입 및 휴대용 디바이스(120)의 대상 패턴은 서버(130)가 해당 인터랙션 ID에 매핑된 해당 디바이스 타입에 맞는 참조 패턴을 학습하는데 사용될 수 있다. 예를 들어, 갤럭시 S3 단말 한 대가 서버(130)에 연결되어 인터랙션을 수행하면 서버(130)는 참조 패턴 전송 단계에서 갤럭시 S3를 위한 참조 패턴을 휴대용 디바이스(120)로 전달한다. 휴대용 디바이스(120)는 인터랙션이 완료된 후 패턴이 일치함이 판단되면 자신이 갤럭시 S3이고 참조 패턴과 일치된 대상 패턴이 어떤 패턴이었는지 서버(130)로 전달한다. 갤럭시 S3의 참조 패턴과 일치한 대상 패턴을 전달 받은 서버(130)는 기존에 가지고 있던 갤럭시 S3의 참조 패턴과 수신한 대상 패턴간 차이를 학습하여 보완된 갤럭시 S3 참조 패턴을 생성한다. 이후 동일한 타입의 디바이스, 즉 갤럭시 S3에 의한 인터랙션이 일어날 경우 서버(130)는 새롭게 생성된 참조 패턴을 전달함으로써 참조 패턴과 대상 패턴 간 유사성이 극대화 될 수 있도록 한다.
F. 컨텐츠 전송 단계
휴대용 디바이스(120)는 <E. 밝기 패턴 인식 단계>에서 대상 패턴과 참조 패턴과의 비교를 통해 일정 수준 이상 일치한 경우 참조 패턴과 함께 전달된 컨텐츠 ID를 이용하여 서버(130)로 컨텐츠를 요청한다. 이에, 서버(130)는 휴대용 디바이스(120)의 컨텐츠 전송 요청에 따라 컨텐츠 ID에 해당하는 컨텐츠의 URL을 알고 있는 경우 해당 URL을 휴대용 디바이스(120)로 전송하거나, 혹은 컨텐츠 디바이스(110)에 해당 컨텐츠의 URL을 요청하여 휴대용 디바이스(120)로 전송할 수 있다. URL을 이용하는 것 이외에도 휴대용 디바이스(120)로 컨텐츠 자체를 직접 전송하는 것 또한 가능하다. 서버(130)가 컨텐츠 URL을 휴대용 디바이스(120)로 전송하면 휴대용 디바이스(120)는 디스플레이에 컨텐츠를 표현함으로써 컨텐츠 디바이스(110)- 휴대용 디바이스(120) 간 컨텐츠 전송이 완료되게 된다.
따라서, 본 발명에서는 컨텐츠 디바이스(110) 앞에서 사용자가 컨텐츠 디바이스(110)의 디스플레이에 휴대용 디바이스(120)를 터치함으로써 손쉽게 컨텐츠를 이동할 수 있다. 이때, 사용자가 컨텐츠 디바이스(110) 상에 표시된 여러 컨텐츠 중 한 컨텐츠를 터치하면 컨텐츠 디바이스(110)는 터치된 특정 컨텐츠의 밝기를 변화시키고 이에 휴대용 디바이스(120)는 조도 센서를 통해 인식한 대상 패턴을 서버(130)로부터 수신된 참조 패턴과 비교하여 일치하는 경우 해당 컨텐츠의 전송을 서버(130)로 요청한다. 이때, 서버(130)는 휴대용 디바이스(120)의 컨텐츠 전송 요청에 따라 컨텐츠 디바이스(110) 상에 표시된 여러 컨텐츠 중 휴대용 디바이스(120)의 사용자에 의해 터치된 컨텐츠를 휴대용 디바이스(120)로 전송할 수 있다.
상기에서는 밝기 패턴 인식을 위한 수단으로 조도 센서를 대표적인 예로 설명하고 있으나, 이에 한정되는 것은 아니며 카메라 또는 이미지 센서 등 밝기 패턴 인식이 가능한 다른 수단으로 대체될 수 있다. 카메라 또는 이미지 센서의 경우 조도 센서와 다르게 RGB의 색 정보를 얻을 수 있다. 카메라 또는 이미지 센서를 이용하는 실시예에서는 인터랙션 ID의 각 step이 밝기와 시간 정보 이외에 색상 정보를 더 가질 수 있다.
도 10에서 인터랙션 ID의 각 step은 RGB 정보를 포함하여 컨텐츠가 어떻게 밝기 및 색 변화를 수행할지 정보를 포함한다. 즉, 도 10에서 인터랙션 ID 3이 할당되면 컨텐츠 디바이스(110) 상에 표시된 컨텐츠는 step 1에서 밝기를 최대 밝기 대비 80%로 변환하고, 동시에 컨텐츠의 원 색상 정보에 대하여 RGB(200, 0, 0)을 적용하여 원 색상정보에서 R을 200/255만큼 적용하고, G를 0/255만큼 적용하며, B를 0/255만큼 적용하여 50ms동안 유지한다. 또한, step 2에서는 밝기를 최대밝기 대비 20%로 변환하고 색상을 원 색상 정보에 대하여 RGB(100, 100, 100)을 적용하여 원 색상정보에서 R을 100/255만큼 적용하고, G를 100/255만큼 적용하며, B를 100/255만큼 적용하여 100ms동안 유지한다. 마지막으로, step 3에서는 밝기를 최대밝기 대비 60%로 변환하고 색상을 원 색상 정보에 대하여 RGB(100, 100, 100)을 적용하여 원 색상정보에서 R을 100/255만큼 적용하고, G를 100/255만큼 적용하며, B를 100/255만큼 적용하여 100ms동안 유지한다.
이와 같이, 인터랙션 ID에 RGB 정보가 추가된 경우 해당 인터랙션 ID에 매핑되는 참조 패턴 또한 RGB 정보를 포함한다. 예를 들어, 참조 패턴은 RGB에 따라 도 11과 같은 형태로 나타난다. 참조 패턴은 인터랙션을 수행한 휴대용 디바이스(120)에서 카메라 또는 이미지 센서에서 나타날 것으로 생각되는 패턴이다. 밝기 패턴 인식 단계에서 휴대용 디바이스(120)는 카메라 또는 이미지 센서를 통해 대상 패턴을 추출하며 추출된 대상 패턴을 RGB로 나누어 각각의 신호를 정규화 하고, 또한 대응되는 참조 패턴과 상호 상관을 수행한다. 각 신호에 대한 상호 상관으로 각 상호 상관에 대한 결과 확률이 구해지며 이 확률이 일정 임계값 이상일 때 휴대용 디바이스(120)는 컨텐츠를 요청하게 된다. 휴대용 디바이스(120)는 컨텐츠 요청과 함께 RGB 정보를 포함한 대상 패턴을 서버(130)로 같이 전송함으로써 서버(130)의 RGB 참조 패턴이 업데이트 될 수 있도록 한다.
본 발명은 컨텐츠 디바이스(110)에 표시된 컨텐츠의 밝기를 인터랙션 ID에 따라 변경하고 이를 디스플레이 정면에 위치한 휴대용 디바이스(120)의 조도 센서로 인식하게 하여 밝기 변화 패턴을 추출하고 밝기 변화 패턴이 참조 패턴과 임계값 이상으로 일치하면 컨텐츠를 전송하는 기술이다.
일반적으로 밝기 변화 패턴을 조도 센서로 인식하려면 한번의 밝기 변화(step)가 조도 센서에 충분히 반영되어 조도 센서가 해당 밝기를 완전히 인식하도록 일정시간 지연을 가지고 동작하도록 시스템을 설계할 필요가 있다.
예를 들면, 도 12와 같이 컨텐츠의 밝기를 High-Low-High-Low로 변화시킨 경우, 조도 센서의 값은 시간에 따라 결과 그래프 선(1201)과 같이 일정 시간 지연을 가지고 주변 조도의 상태가 반영된다. 즉, 컨텐츠 밝기를 Low->High 로 시간 100에서 변경시켰음에도 불구하고 조도 센서의 값은 약 시간 350 정도에서 High의 밝기를 반영한다. 이는 조도 센서가 주변의 밝기를 완전히 반영하는 데 일정 지연시간이 소요되기 때문이다. 이러한 지연 시간은 밝기를 변화시킨 시간으로부터 변화된 밝기의 최소 80% 이상의 밝기가 센서 값으로 출력되었을 때까지의 시간을 '센서 값 지연시간'이라고 한다.
따라서, 임의의 밝기 패턴 High-Low-High-Low로 변화되는 패턴을 조도 센서로 인식하려고 하는 경우 각 변화는 조도 센서의 센서 값 지연시간을 고려하여 도 12의 화살표 지점처럼 조도 센서가 각 step의 밝기를 완전히 반영하기까지 다음 변화를 지연하여야 한다. 도 12를 기준으로 설명하면, 컨텐츠의 밝기를 High-Low-High-Low로 변경하며 이때의 조도 센서 값을 측정하고자 할 때 각 밝기 변화는 최소한 시간 350 정도 이후에 이루어져야 한다. 따라서, High-Low-High-Low 밝기 변화는 최소한 시간 1400 정도 소요되어야만 조도 센서가 완전히 밝기 변화를 그 출력 값에 반영할 수 있다.
조도 센서가 완전한 밝기 변화를 그 출력 값에 반영하면 시스템은 화살표 지점에서 조도 센서 값을 임계값과 비교함으로써 밝기 변화가 어떤 패턴으로 수행되었는지 추론할 수 있다.
도 12에서 각 화살표 지점에서 조도 센서 값을 임계값과 비교하면 시스템은 High-Low-High-Low의 결과를 얻는다. 이는 컨텐츠의 밝기 변화와 일치하므로 시스템은 조도 센서를 활용하여 컨텐츠의 밝기 변화 패턴을 추론할 수 있다. 이것이 밝기 변화 패턴을 조도 센서로 인식하여 원 변화 패턴을 추론하는 일반적인 방법이다. 그러나, 이 방법은 조도 센서의 지연시간 때문에 컨텐츠의 밝기 변화를 빠르게 수행할 수 없고 따라서 인터랙션 시간이 길어진다는 단점을 가진다.
반면에, 본 발명은 도 13의 (a)의 그래프 선(1301)과 같이 빠르게 밝기 변화를 하더라도 휴대용 디바이스(120)에서 밝기 변화 패턴을 인식하여 컨텐츠 전송을 수행할 수 있다. 도 13의 (a)에서 그래프 선(1301)은 인터랙션 ID의 step에 따라 High-Low-High-Low로 밝기 변화를 수행한 그래프이다. 빠르게 밝기 변화를 수행함으로써 휴대용 디바이스(120)의 조도 센서값은 그래프 선(1302)과 같이 밝기 정보를 완전히 반영하지 않은 상태에서 새로운 밝기 변화에 따라 조도 센서의 값이 변하는 것을 알 수 있다. 이러한 그래프 선(1302)과 같은 패턴을 인터랙션 ID High-Low-High-Low에 대한 참조 패턴으로 시스템에 저장해 놓으면, 휴대용 디바이스(120)가 인터랙션을 수행하고 이때 인터랙션 ID High-Low-High-Low 가 할당되고, 또한 그때의 휴대용 디바이스(120)의 대상 패턴이 도 13의 (b)와 같을 때, 휴대용 디바이스(120)는 도 13의 그래프 선(1302)과 같은 참조 패턴과 도 13의 (b)와 같은 대상 패턴 간 정규화 및 상호상관 과정을 통해 수신한 참조 패턴과 수집한 대상 패턴이 유사함을 추론할 수 있다. 이러한 원리로 시스템은 컨텐츠의 밝기 변화를 빠르게 수행할 수 있고 결과적으로 시스템은 사용자의 인터랙션 시간이 짧아지는 효과를 얻을 수 있다.
도 14는 본 발명의 일 실시예에 있어서 컨텐츠 디바이스와 휴대용 디바이스 간 컨텐츠를 이동하는 동작 절차를 도시한 순서도이다.
사용자의 휴대용 디바이스(120)에 의한 컨텐츠 디바이스(110)의 터치로 시작된 인터랙션은 실제 컨텐츠 전송이 이루어지기까지 서버(130)-컨텐츠 디바이스(110)-휴대용 디바이스(120) 간에 다양한 메시지를 전송하면서 태스크를 수행한다.
컨텐츠 디바이스(110)는 디스플레이 상에 표시된 컨텐츠에 대해 사용자에 의한 터치가 이루어지면 서버(130)로 IID(인터랙션 ID) 할당을 요청한다(1). 이때, 컨텐츠 디바이스(110)는 터치 위치에 디스플레이 된 컨텐츠 ID와 자신의 식별 정보인 디바이스 ID를 서버(130)로 전송한다.
서버(130)는 컨텐츠 디바이스(110)로부터 수신된 디바이스 ID와 컨텐츠 ID에 대해 IID를 할당하여 매핑한다(2). 그리고, 서버(130)는 할당된 IID, 해당 IID에 매핑된 디바이스 ID와 컨텐츠 ID, 해당 IID에 사전에 매핑된 참조 패턴을 휴대용 디바이스(120)로 전송한다(3).
휴대용 디바이스(120)는 서버(130)로부터 참조 패턴이 수신되면 참조 패턴의 수신 응답으로서 수신 완료 메시지를 서버(130)로 전송하고 조도 센서를 통한 인식 값 측정을 시작한다(4).
서버(130)는 서버(130)에 연결된 모든 휴대용 디바이스(120)로부터 참조 패턴에 대한 수신 완료 메시지가 수신될 때까지 대기한 후(5), 모든 휴대용 디바이스(120)로부터 수신 완료 메시지가 수신되면 컨텐츠 디바이스(110) 상의 컨텐츠 밝기 변화를 제어하기 위해 할당된 IID와 해당 IID에 매핑된 컨텐츠 ID를 IID를 요청한 컨텐츠 디바이스(110)로 전송한다(6).
컨텐츠 디바이스(110)는 서버(130)로부터 수신된 IID 값에 따라 컨텐츠 밝기 변화를 수행하고(7), IID 값에 따른 컨텐츠 밝기 변화가 완료되면 밝기 변화 완료 메시지를 서버(130)로 전송한다(8).
컨텐츠 디바이스(110)는 서버(130)에서 컨텐츠 디바이스(110)의 디바이스 ID와 컨텐츠 ID에 대해 할당된 IID를 해제함에 따라(9) 서버(130)로부터 IID 해제 메시지를 수신하면(10) 해당 컨텐츠의 밝기를 원 밝기로 복원한다.
휴대용 디바이스(120)는 서버(130)로부터 IID 해제 메시지를 수신하면(10) 조도 센서를 통해 인식된 대상 패턴과 서버(130)로부터 수신된 참조 패턴을 비교하여 대상 패턴이 참조 패턴과 일정 수준 이상 일치하면 참조 패턴 수신 시 함께 수신된 컨텐츠 ID를 이용하여 서버(130)로 해당 컨텐츠의 전송을 요청할 수 있다.
사용자에게 원터치 컨텐츠 전송을 제공하기 위하여 휴대용 디바이스(120)는 메시지 송수신, 조도 측정, 정규화 연산, 및 상호 상관 연산을 포함하는 전반의 동작을 앱을 통하여 수행할 수 있다.
휴대용 디바이스(120) 상의 앱은 일반적인 앱의 형태로 서비스 할 수도 있지만 백그라운드 서비스로서 동작할 때 그 성능이 극대화 될 수 있다. 예를 들어, 일반적인 앱의 경우 본 발명의 원터치 컨텐츠 전송 서비스를 이용하려고 하는 사용자는 1) 휴대용 디바이스(120)를 주머니나 가방에서 꺼낸 후, 2) 디바이스의 스크린을 on 시키고, 3) 잠금 해제를 하고, 4) 해당 앱 아이콘을 찾아, 5) 앱 아이콘을 터치하여 앱을 구동한 후 6) 컨텐츠 디바이스(110)에 디스플레이 되는 컨텐츠 중 사용자가 원하는 컨텐츠에 휴대용 디바이스(120)를 터치해야 한다. 그러나, 백그라운드 서비스로 동작시킨 경우 사용자는 원하는 컨텐츠가 있을 때 1) 휴대용 디바이스(120)를 주머니나 가방에서 꺼낸 후, 2) 컨텐츠 디바이스(110)에 디스플레이 되는 컨텐츠 중 사용자가 원하는 컨텐츠에 휴대용 디바이스(120)를 터치하기만 하면 컨텐츠를 수신할 수 있다.
본 발명의 시스템에서 휴대용 디바이스(120)를 위한 프로그램을 백그라운드 서비스 형태로 구축하기 위해서는 두 가지 설계 원칙을 따라야 한다.
1. 백그라운드 서비스 구동 시작 시점
백그라운드 서비스는 특정 시점에 휴대용 디바이스(120)에서 시작하여 사용자의 구동에 대한 인지 없이 지속적으로 동작하는 서비스이다. 따라서, 백그라운드 서비스는 사용자의 명시적인 구동 명령 없이도 동작할 수 있어야 하므로 휴대용 디바이스(120)가 전원 버튼에 의해 처음 시작할 때(power-on) 부팅 완료 후 부팅 완료 이벤트를 받아서 서비스가 시작할 수 있어야 한다.
백그라운드 서비스가 구동되면 휴대용 디바이스(120)의 서비스는 주기적으로 서버(130)로 알림 메시지를 보내어 현재 백그라운드 서비스가 구동되었음을 알린다. 이 알림 메시지는 실시예에 따라 휴대용 디바이스(120)의 위치를 서버(130)에 알리기 위하여 GPS, 실내 위치정보, 디바이스 ID, 주변 WIFI AP 정보 중 어느 하나를 포함할 수 있으며, 실시예에 따라 비가청 대역 음파를 이용하여 컨텐츠 디바이스(110)와 휴대용 디바이스(120) 간 디바이스 ID를 전송하고 이를 휴대용 디바이스(120)의 서비스가 휴대용 디바이스(120)의 마이크로 수신하여 서버(130)로 보내는 메시지에 주변 컨텐츠 디바이스(110)의 디바이스 ID를 전송할 수도 있다. 이 알림 메시지를 수신한 서버(130)는 휴대용 디바이스(120)의 알림 메시지에 존재하는 정보를 기반으로 휴대용 디바이스(120)의 주변에 위치하는 컨텐츠 디바이스(110)가 원터치 컨텐츠 전송을 할 수 있도록 준비시킨다.
2. 절전 모드 해제/재실행
기본적으로 휴대용 디바이스(120)의 화면이 꺼져있는 screen-off 상태에서 백그라운드 서비스는 절전 모드 상태에 있으며 이때 백그라운드 서비스는 웹브라우저를 구동하거나 다른 앱을 호출하는 작업을 수행할 수 없다.
휴대용 디바이스(120)는 서버(130)에 요청하여 컨텐츠를 수신하면 수신된 컨텐츠를 웹 브라우저나 사진 앱과 같은 다른 앱으로 전달하여 사용자에게 컨텐츠를 수신하였음을 보여주어야 한다. 이는 백그라운드 서비스가 휴대용 디바이스(120)의 화면에 나타나지 않고 사용자의 인지 없이 동작하는 프로그램이기 때문이다. 그러나, screen-off 상태에서 백그라운드 서비스가 웹브라우저 또는 앱을 호출할 수 없기 때문에 컨텐츠 수신 이후 백그라운드 서비스는 절전 모드를 강제로 해제해야 한다. 백그라운드 서비스에 의한 절전 모드 해제는 컨텐츠 수신 후 일어나며 컨텐츠 표현 후 절전 모드는 다시 실행된다. 백그라운드 서비스는 절전 모드 해제 후 웹 브라우저를 호출하여 수신된 컨텐츠의 URL을 표현할 수 있다. 웹 브라우저 호출 후 백그라운드 서비스는 다시 절전 모드를 실행함으로써 배터리 소모를 최소화 한다.
백그라운드 서비스 기반 원터치 컨텐츠 전송 시스템을 설명하면, 휴대용 디바이스(120)가 screen-off 상태에 있더라도 터치 한번으로 컨텐츠를 휴대용 디바이스(120)로 이동시킬 수 있다. 휴대용 디바이스(120)의 서비스는 휴대용 디바이스(120)가 부팅한 후부터 백그라운드에서 동작하면서 서버(130)와의 메시지 교환 및 조도 센서 값 측정을 수행하고, 인터랙션이 완료되어 서버(130)로부터 컨텐츠를 수신하면 절전 모드를 자동으로 해제하여 웹브라우저로 컨텐츠를 표현한다.
사용자가 원하는 컨텐츠 터치 과정은 여러 번 반복할 수 있으며 최종 휴대용 디바이스(120)에 전송된 컨텐츠를 확인하기 위해서 사용자가 잠금 해제를 수행하면 휴대용 디바이스(120)의 웹 브라우저에는 터치했던 모든 컨텐츠를 확인할 수 있다.
상기에서는 편의상 웹 브라우저로 설명했으나, 이에 한정되지 않으며 서비스가 컨텐츠를 갤러리 앱으로 전달하여 휴대용 디바이스(120)의 저장 장치에 컨텐츠를 자동 저장하는 것도 가능하다.
도 15의 (a)에 도시한 바와 같이, 컨텐츠 디바이스(110) 상에 복수 개의 다양한 컨텐츠가 디스플레이 될 수 있는데, 이때 컨텐츠가 원터치로 컨텐츠 디바이스(110)로부터 휴대용 디바이스(120)로 이동할 수 있는 컨텐츠인지, 아니면 단순히 바라볼 수만 있거나 터치만 가능한 인터랙티브 컨텐츠인지 구별할 수 있도록 하는 방법이 필요하다.
앞서 휴대용 디바이스(120)에서 컨텐츠 전송을 위한 앱이 백그라운드 서비스로 구동되면 주기적으로 서버(130)로 알림 메시지를 보내어 현재 백그라운드 서비스가 구동되었음을 알린다고 기술한 바 있다. 또한, 알림 메시지에는 휴대용 디바이스(120)의 위치정보를 전송하기 위하여 GPS, 실내 위치정보, 디바이스 ID, 주변 WIFI AP 정보, 주변 컨텐츠 디바이스 ID 정보 중 하나를 포함할 수 있다. 서버(130)는 휴대용 디바이스(120)로부터 알림 메시지를 수신하면 휴대용 디바이스(120)의 위치정보를 기준으로 휴대용 디바이스(120)의 주변에 위치한 컨텐츠 디바이스(110)에 준비 메시지를 보낼 수 있고, 준비 메시지를 받은 컨텐츠 디바이스(110)는 컨텐츠 별 전송 가능 여부를 표시해줄 수 있다. 예를 들어, 컨텐츠 디바이스(110)는 서버(130)로부터 준비 메시지가 수신되면 도 15의 (b)와 같이 전송 가능한 컨텐츠에 대해 컨텐츠가 표시된 영역의 테두리를 강조하는 표현 방식을 통해 사용자에게 해당 컨텐츠가 원터치로 휴대용 디바이스(120)에 전송 가능한 컨텐츠임을 알려 줄 수 있다.
휴대용 디바이스(120)에서의 컨텐츠 전송을 위한 앱이 백그라운드 서비스로 구동되는 경우, 컨텐츠 디바이스(110)는 사용자가 일정 거리 이내로 접근할 때 전송할 수 있는 컨텐츠에 도 15의 (b)와 같이 표현하게 되고 사용자가 멀어지는 경우 도 15의 (a)와 같이 원 상태로 복귀하게 된다.
상기에서는 컨텐츠 표시 영역의 테두리를 강조하는 표현 방식을 예로 설명하였으나, 이러한 것으로만 한정되지 않으며 컨텐츠가 표시된 영역에 마커를 표시하거나 컨텐츠가 표시된 영역의 적어도 일부를 변경(삭제, 강조 등)하는 등 사용자가 인지할 수 있는 다양한 표현 방법의 적용이 가능하다.
상기한 컨텐츠 이동 방법은 도 1 내지 도 15를 통해 설명한 상세 내용을 바탕으로 보다 단축된 동작들 또는 추가의 동작들을 포함할 수 있다. 또한, 둘 이상의 동작이 조합될 수 있고, 동작들의 순서나 위치가 변경될 수 있다.
도 16은 본 발명의 일 실시예에 있어서, 컴퓨터 시스템의 내부 구성의 일례를 설명하기 위한 블록도이다. 컴퓨터 시스템(1600)은 적어도 하나의 프로세서(processor)(1610), 메모리(memory)(1620), 주변장치 인터페이스(peripheral interface)(1630), 입/출력 서브시스템(I/O subsystem)(1640), 전력 회로(1650) 및 통신 회로(1660)를 적어도 포함할 수 있다. 이때, 컴퓨터 시스템(1600)은 컨텐츠 디바이스와 휴대용 디바이스 및 서버 시스템에 해당될 수 있다.
메모리(1620)는, 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(1620)는 컴퓨터 시스템(1600)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그밖에 다양한 데이터를 포함할 수 있다. 이때, 프로세서(1610)나 주변장치 인터페이스(1630) 등의 다른 컴포넌트에서 메모리(1620)에 액세스하는 것은 프로세서(1610)에 의해 제어될 수 있다.
주변장치 인터페이스(1630)는 컴퓨터 시스템(1600)의 입력 및/또는 출력 주변장치를 프로세서(1610) 및 메모리(1620)에 결합시킬 수 있다. 프로세서(1610)는 메모리(1620)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨터 시스템(1600)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템(1640)은 다양한 입/출력 주변장치들을 주변장치 인터페이스(1630)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템(1640)은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(1630)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템(1640)을 거치지 않고 주변장치 인터페이스(1630)에 결합될 수도 있다.
전력 회로(1650)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(1650)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(1660)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨터 시스템과 통신을 가능하게 할 수 있다. 또는 상술한 바와 같이 필요에 따라 통신 회로(1660)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨터 시스템과 통신을 가능하게 할 수도 있다.
이러한 도 16의 실시예는, 컴퓨터 시스템(1600)의 일례일 뿐이고, 컴퓨터 시스템(1600)은 도 16에 도시된 일부 컴포넌트가 생략되거나, 도 16에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨터 시스템은 도 16에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(1660)에 다양한 통신 방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨터 시스템(1600)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨터 시스템을 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.
본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 실시예에서의 컨텐츠 전송 서비스와 관련된 앱은 독립적으로 동작하는 프로그램 형태로 구현되거나, 혹은 특정 어플리케이션의 인-앱(in-app) 형태로 구성되어 상기 특정 어플리케이션 상에서 동작이 가능하도록 구현될 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (25)

  1. 컴퓨터로 구현되는 방법에 있어서,
    제1 디바이스로부터 상기 제1 디바이스 상에 표시된 컨텐츠에 대한 이동 요청을 수신하는 단계;
    상기 이동 요청에 따라 상기 컨텐츠와 관련된 표시 영역의 시각특성 변화 패턴을 제어하는 단계;
    상기 시각특성 변화 패턴에 대한 참조 패턴을 적어도 하나의 제2 디바이스로 전송하는 단계; 및
    상기 제2 디바이스 중 상기 참조 패턴과 대응되는 조도 인식 패턴을 획득한 대상 디바이스로 상기 컨텐츠를 이동하는 단계
    를 포함하고,
    상기 시각특성 변화 패턴을 제어하는 단계는,
    상기 이동 요청에 따라 상기 시각특성 변화 패턴이 정의된 인터랙션 ID를 할당하는 단계; 및
    상기 제1 디바이스로 상기 인터랙션 ID를 전송하여 상기 인터랙션 ID에 따른 시각특성 변화를 요청하는 단계
    를 포함하고,
    상기 인터랙션 ID를 할당하는 단계는,
    조도 인식을 위한 센서의 센서 값 지연시간보다 짧은 시각특성 변화 간격을 갖는 인터랙션 ID를 할당하는 것
    을 특징으로 하는 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 인터랙션 ID를 할당하는 단계는,
    밝기를 정의하는 적어도 하나의 코드와 상기 코드 별로 밝기의 유지 시간을 나타내는 시간 정보로 구성된 ID를 할당하는 것
    을 특징으로 하는 방법.
  4. 제1항에 있어서,
    상기 인터랙션 ID를 할당하는 단계는,
    밝기와 색을 정의하는 적어도 하나의 코드, 및 상기 코드 별로 밝기와 색의 유지 시간을 나타내는 시간 정보로 구성된 ID를 할당하는 것
    을 특징으로 하는 방법.
  5. 제1항에 있어서,
    상기 인터랙션 ID를 할당하는 단계는,
    상기 이동 요청마다 서로 다른 변화 패턴의 인터랙션 ID를 할당하는 것
    을 특징으로 하는 방법.
  6. 삭제
  7. 제1항에 있어서,
    상기 제1 디바이스에서는 상기 인터랙션 ID에 따라 상기 표시 영역 자체의 시각특성을 변화시키거나 상기 표시 영역에 일정 투명도를 가지는 레이어를 중첩시키는 것
    을 특징으로 하는 방법.
  8. 제1항에 있어서,
    상기 인터랙션 ID에 따른 시각특성 변화를 학습한 결과로부터 적어도 하나의 참조 패턴을 생성하여 상기 인터랙션 ID와 매핑하는 단계
    를 더 포함하고,
    상기 참조 패턴을 적어도 하나의 제2 디바이스로 전송하는 단계는,
    상기 인터랙션 ID에 매핑된 상기 적어도 하나의 참조 패턴 중 어느 하나를 상기 제2 디바이스로 전송하는 것
    을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 적어도 하나의 참조 패턴은 디바이스 종류 별로 생성되고,
    상기 참조 패턴을 적어도 하나의 제2 디바이스로 전송하는 단계는,
    상기 제2 디바이스 각각에 대하여 각 디바이스 종류에 대응되는 참조 패턴을 전송하는 것
    을 특징으로 하는 방법.
  10. 제8항에 있어서,
    상기 대상 디바이스로부터 상기 조도 인식 패턴을 수집하여 상기 인터랙션 ID에 대해 상기 적어도 하나의 참조 패턴을 학습하는 것
    을 특징으로 하는 방법.
  11. 제1항에 있어서,
    상기 컨텐츠를 이동하는 단계는,
    상기 대상 디바이스로부터 상기 컨텐츠에 대한 이동 요청이 수신되면 상기 대상 디바이스로 상기 컨텐츠를 이동하는 단계
    를 포함하고,
    상기 대상 디바이스에서 상기 조도 인식 패턴을 상기 참조 패턴과 비교하여 일정 수준 이상 일치하는 경우 상기 컨텐츠의 이동을 요청하는 것
    을 특징으로 하는 방법.
  12. 컴퓨터로 구현되는 방법에 있어서,
    컨텐츠 디바이스에 표시된 컨텐츠의 시각특성 변화에 대해 조도 인식 패턴을 획득하는 단계;
    상기 컨텐츠 디바이스에 대해 서버로부터 상기 컨텐츠의 시각특성 변화에 대한 참조 패턴을 수신하는 단계; 및
    상기 조도 인식 패턴이 상기 참조 패턴과 대응되는 경우 상기 서버로 상기 컨텐츠의 이동을 요청하는 단계
    를 포함하고,
    상기 서버에서는 상기 컨텐츠 디바이스로부터 상기 컨텐츠에 대한 이동 요청을 수신하는 경우 상기 컨텐츠와 관련된 표시 영역의 시각특성 변화 패턴을 제어하되, 상기 이동 요청에 따라 상기 시각특성 변화 패턴이 정의된 인터랙션 ID를 할당한 후 상기 컨텐츠 디바이스로 상기 인터랙션 ID를 전송하여 상기 인터랙션 ID에 따른 시각특성 변화를 요청하고,
    상기 인터랙션 ID는 조도 인식을 위한 센서의 센서 값 지연시간보다 짧은 시각특성 변화 간격을 가지는 것
    을 특징으로 하는 방법.
  13. 제12항에 있어서,
    상기 조도 인식 패턴을 획득하는 단계는,
    상기 컨텐츠의 표시 영역에 대해 밝기 및 색 중 적어도 하나의 시각특성의 변화 패턴을 인식하는 것
    을 특징으로 하는 방법.
  14. 제12항에 있어서,
    상기 조도 인식 패턴을 획득하는 단계는,
    조도 센서, 광 센서, RGB 센서, 이미지 센서 중 적어도 하나를 이용하여 상기 컨텐츠의 시각특성 변화에 대한 조도 인식 패턴을 인식하는 것
    을 특징으로 하는 방법.
  15. 제12항에 있어서,
    상기 조도 인식 패턴을 획득하는 단계는,
    조도 센서, 광 센서, RGB 센서, 이미지 센서 중 적어도 하나를 이용하여 센서 값 변화 패턴을 수집하고,
    상기 컨텐츠의 이동을 요청하는 단계는,
    상기 수집된 센서 값 변화 패턴을 상기 참조 패턴과 비교하여 일정 수준 이상 일치하는 경우 상기 컨텐츠의 이동을 요청하는 것
    을 특징으로 하는 방법.
  16. 제12항에 있어서,
    상기 컨텐츠의 이동을 요청하는 단계는,
    상기 조도 인식 패턴과 상기 참조 패턴에 대한 정규화를 수행하는 단계;
    상호 상관(cross-correlation) 연산을 통해 상기 정규화 된 조도 인식 패턴과 참조 패턴 간의 유사도를 계산하는 단계; 및
    상기 유사도가 임계값 이상이면 상기 조도 인식 패턴과 상기 참조 패턴을 동일 패턴으로 판단하여 상기 컨텐츠의 이동을 요청하는 것
    을 특징으로 하는 방법.
  17. 제12항에 있어서,
    상기 컴퓨터로 구현되는 방법은 상기 컴퓨터의 백그라운드 서비스 형태로 동작하는 프로그램의 제어에 따라 처리되는 것
    을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 백그라운드 서비스 형태의 프로그램은 상기 컴퓨터의 디스플레이 오프 상태에서 상기 컨텐츠를 요청하여 수신하는 것
    을 특징으로 하는 방법.
  19. 제17항에 있어서,
    상기 백그라운드 서비스 형태의 프로그램은 상기 컨텐츠를 표현하기 위한 웹 브라우저 또는 다른 어플리케이션을 호출하는 것
    을 특징으로 하는 방법.
  20. 제17항에 있어서,
    상기 서버에서는 상기 백그라운드 서비스 형태의 프로그램을 통한 요청에 따라 상기 컨텐츠 디바이스로 컨텐츠 전송을 위한 준비 메시지를 전송하고,
    상기 컨텐츠 디바이스에서는 상기 서버로부터 상기 준비 메시지가 수신되면 상기 컨텐츠의 전송 가능 여부를 표시하는 것
    을 특징으로 하는 방법.
  21. 삭제
  22. 삭제
  23. 적어도 하나의 프로그램이 로딩된 메모리; 및
    적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
    제1 디바이스로부터 상기 제1 디바이스 상에 표시된 컨텐츠에 대한 이동 요청을 수신하는 과정;
    상기 이동 요청에 따라 상기 컨텐츠와 관련된 표시 영역의 시각특성 변화 패턴을 제어하는 과정;
    상기 시각특성 변화 패턴에 대한 참조 패턴을 적어도 하나의 제2 디바이스로 전송하는 과정; 및
    상기 제2 디바이스 중 상기 참조 패턴과 대응되는 조도 인식 패턴을 획득한 대상 디바이스로 상기 컨텐츠를 이동하는 과정
    을 처리하고,
    상기 시각특성 변화 패턴을 제어하는 과정은,
    상기 이동 요청에 따라 상기 시각특성 변화 패턴이 정의된 인터랙션 ID를 할당하는 과정; 및
    상기 제1 디바이스로 상기 인터랙션 ID를 전송하여 상기 인터랙션 ID에 따른 시각특성 변화를 요청하는 과정
    을 포함하고,
    상기 인터랙션 ID를 할당하는 과정은,
    조도 인식을 위한 센서의 센서 값 지연시간보다 짧은 시각특성 변화 간격을 갖는 인터랙션 ID를 할당하는 것
    을 특징으로 하는 것을 특징으로 하는 시스템.
  24. 적어도 하나의 프로그램이 로딩된 메모리; 및
    적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는, 상기 프로그램의 제어에 따라,
    컨텐츠 디바이스에 표시된 컨텐츠의 시각특성 변화에 대해 조도 인식 패턴을 획득하는 과정;
    상기 컨텐츠 디바이스에 대해 서버로부터 상기 컨텐츠의 시각특성 변화에 대한 참조 패턴을 수신하는 과정; 및
    상기 조도 인식 패턴이 상기 참조 패턴과 대응되는 경우 상기 서버로 상기 컨텐츠의 이동을 요청하는 과정
    을 처리하고,
    상기 서버에서는 상기 컨텐츠 디바이스로부터 상기 컨텐츠에 대한 이동 요청을 수신하는 경우 상기 컨텐츠와 관련된 표시 영역의 시각특성 변화 패턴을 제어하되, 상기 이동 요청에 따라 상기 시각특성 변화 패턴이 정의된 인터랙션 ID를 할당한 후 상기 컨텐츠 디바이스로 상기 인터랙션 ID를 전송하여 상기 인터랙션 ID에 따른 시각특성 변화를 요청하고,
    상기 인터랙션 ID는 조도 인식을 위한 센서의 센서 값 지연시간보다 짧은 시각특성 변화 간격을 가지는 것을 특징으로 하는 시스템.
  25. 삭제
KR1020150144763A 2015-10-16 2015-10-16 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템 KR101688743B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150144763A KR101688743B1 (ko) 2015-10-16 2015-10-16 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150144763A KR101688743B1 (ko) 2015-10-16 2015-10-16 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160152029A Division KR101742444B1 (ko) 2016-11-15 2016-11-15 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101688743B1 true KR101688743B1 (ko) 2016-12-22

Family

ID=57723935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150144763A KR101688743B1 (ko) 2015-10-16 2015-10-16 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101688743B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140057150A (ko) * 2013-08-09 2014-05-12 한국과학기술원 터치 명령 및 특이 터치를 이용한 디바이스 간 컨텐츠 이동 시스템 및 방법
KR20150087821A (ko) * 2015-01-28 2015-07-30 한국과학기술원 특이 터치 및 정전식 센서를 이용한 디바이스 간 컨텐츠 이동 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140057150A (ko) * 2013-08-09 2014-05-12 한국과학기술원 터치 명령 및 특이 터치를 이용한 디바이스 간 컨텐츠 이동 시스템 및 방법
KR20150087821A (ko) * 2015-01-28 2015-07-30 한국과학기술원 특이 터치 및 정전식 센서를 이용한 디바이스 간 컨텐츠 이동 방법

Similar Documents

Publication Publication Date Title
EP3009816B1 (en) Method and apparatus for adjusting color
US9946861B2 (en) Method for processing fingerprint and electronic device thereof
KR102650444B1 (ko) 스마트 홈 시스템에서 스마트 홈 장치를 등록하기 위한 전자 장치 및 방법
KR102335925B1 (ko) 네트워크 서비스를 위한 전자장치와 게이트웨이, 및 이를 위한 동작 방법
KR102213190B1 (ko) 홈스크린 구성 방법 및 이를 이용한 전자 장치
US20180341400A1 (en) Electronic device for selecting external device and controlling the same and operating method thereof
EP2996023A1 (en) Method and electronic device for providing information
KR20160123044A (ko) 외부 전자 장치와 하이브리드 통신을 수행하는 전자 장치 및 방법
CN115686333A (zh) 用于控制物联网设备的方法、系统和计算机可读介质
JP6602045B2 (ja) ディスプレイを用いる入力処理方法及び装置
US20160066326A1 (en) Communication channel management method and electronic device supporting the same
US10999501B2 (en) Electronic device and method for controlling display of panorama image
US10438525B2 (en) Method of controlling display of electronic device and electronic device thereof
EP2998850A1 (en) Device for handling touch input and method thereof
KR20160051411A (ko) 외부의 물체를 제어하는 전자 장치 및 그 방법
KR101742444B1 (ko) 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템
EP3293655A1 (en) Below the lock user interface with mixed authentication settings
US10469649B2 (en) Electronic device and method for controlling the same
US20160110372A1 (en) Method and apparatus for providing location-based social search service
US10084793B2 (en) Electronic device for managing use of data from other electronic device and method for controlling the same
KR102201577B1 (ko) 쇼핑몰 관련 정보를 제공하는 방법 및 그 장치
KR20160068514A (ko) 터치 입력을 제어하는 전자 장치 및 방법
EP3054709B1 (en) Electronic apparatus and short-range communication method thereof
KR101688743B1 (ko) 적응형 패턴 인식 기반 고속 디바이스 커플링 방법 및 시스템
KR102246270B1 (ko) 전자 장치 및 그 연동 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191126

Year of fee payment: 4