KR20150121565A - 미러링 서비스를 수행하는 방법 및 장치 - Google Patents

Abstract

싱크 디바이스와 미러링 서비스를 수행하는 소스 디바이스에서 사용자 입력을 수신하여, 적어도 하나의 사용자 입력과 관련된 싱크 디바이스 또는 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 수신된 사용자 입력과 대응되는 동작을 검출하고, 검출된 동작에 기초하여 미러링 서비스를 제어하는 미러링 서비스를 수행하는 방법이 개시된다.

Description

미러링 서비스를 수행하는 방법 및 장치{Method and apparatus for performing mirroring service}

본 발명은 미러링 서비스를 수행하는 방법 및 장치에 관한 것으로서, 보다 상세하게는, 소스 디바이스와 싱크 디바이스 간에, 미러링 서비스를 수행하는 방법 및 미러링 서비스를 수행하는 소스 디바이스와 싱크 디바이스에 관한 것이다.

유무선 통신 네트워크의 발달로, 화면을 디스플레이 하여 사용자가 시각적으로 인식할 수 있는 데이터를 출력하는 전자기기들이 유무선 통신 네트워크를 통하여 상호 연결될 수 있다.

전자기기들 상호간은 유무선 통신 네트워크를 통하여 각종 데이터를 송수신할 수 있으며, 일 전자기기는 다른 전자기기를 원격으로 제어할 수 있다. 또는 일 전자기기를 다른 전자기기를 통하여 이용할 수 있다. 전술한 원격 제어나 전자기기들 간의 공유 이용을 위해서는 미러링(mirroring) 기술이 필요하다.

미러링 기술은 다양한 분야에서 연구되고 있는데 최근에는 스마트 카에 대한 연구가 활발해지면서 스마트 카와 단말기 간에 미러링을 수행하는 기술에 대한 관심도가 높아지고 있다.

스마트 카에서 사용되는 미러링 기술의 경우, 운전 도중에 스마트 기술을 이용한다는 점에서, 사용자의 안전을 고려한 미러링 기술의 개발에 대한 필요성이 높아지고 있다.

본 발명은 소스 디바이스와 싱크 디바이스간에 미러링 서비스 수행시, 소스 디바이스를 통한 사용자의 입력을 기초로 미러링 서비스를 제어하는 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 소스 디바이스가 미러링 서비스를 수행하는 방법은, 싱크 디바이스와 미러링 서비스를 수행하는 소스 디바이스에서 사용자 입력을 수신하는 단계; 적어도 하나의 사용자 입력과 관련된 상기 싱크 디바이스 또는 상기 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 상기 수신된 사용자 입력과 대응되는 동작을 검출하는 단계; 및 상기 검출된 동작에 기초하여 상기 미러링 서비스를 제어하는 단계를 포함한다.

본 발명의 일 실시예에 따른 소스 디바이스가 미러링 서비스를 수행하는 방법에 있어서, 상기 미러링 서비스를 제어하는 단계는, 상기 검출된 동작을 수행하는 대상을 결정하는 단계; 및 상기 결정된 대상에 상기 검출된 동작을 수행하기 위한 명령을 전송하는 단계를 포함한다.

본 발명의 일 실시예에 따른 소스 디바이스가 미러링 서비스를 수행하는 방법에 있어서, 상기 미러링 서비스를 제어하는 단계는, 상기 결정된 대상이 상기 소스 디바이스인 경우, 상기 전송된 명령에 따라 상기 검출된 동작을 수행하여, 상기 수행 결과를 상기 싱크 디바이스에 전송하고, 상기 결정된 대상이 상기 싱크 디바이스인 경우, 상기 싱크 디바이스에 상기 명령을 전송하는 단계를 포함한다.

본 발명의 일 실시예에 따른 소스 디바이스가 미러링 서비스를 수행하는 방법에 있어서, 상기 동작을 검출하는 단계는, 상기 소스 디바이스의 배치 상태를 결정하는 단계; 및 상기 결정된 배치 상태에 기초하여, 상기 수신된 사용자 입력에 대응되는 동작을 검출하는 단계를 포함한다.

본 발명의 일 실시예에 따른 소스 디바이스가 미러링 서비스를 수행하는 방법에 있어서, 상기 동작을 검출하는 단계는, 상기 수신한 사용자 입력을 조그 다이얼 인터페이스에서의 회전, 누름, 방향에 따라 식별되는 입력으로 변환하는 단계; 및 상기 변환된 입력에 대응되는 동작을 검출하는 단계를 포함한다.

본 발명의 일 실시예에 따른 소스 디바이스가 미러링 서비스를 수행하는 방법에 있어서, 상기 사용자 입력을 수신하는 단계는, 상기 사용자 입력을 수신한 경우, 햅틱 신호를 생성하는 단계; 및 상기 생성된 햅틱 신호에 기초하여 상기 소스 디바이스의 사용자 인터페이스를 제어하는 단계를 포함한다.

본 발명의 일 실시예에 따른 소스 디바이스가 미러링 서비스를 수행하는 방법에 있어서, 상기 검출된 동작에 대한 정보를 상기 싱크 디바이스에 전송하는 단계; 및 상기 검출된 동작을 수행하는 대상이 상기 소스 디바이스인 경우, 상기 싱크 디바이스로부터 상기 검출된 동작을 수행하기 위한 명령을 수신하는 단계를 더 포함하고, 상기 미러링 서비스를 제어하는 단계는, 상기 수신된 명령에 기초하여 상기 미러링 서비스를 제어할 수 있다.

본 발명의 일 실시예에 따른 싱크 디바이스가 미러링 서비스를 수행하는 방법은 소스 디바이스와 미러링 서비스를 수행하는 싱크 디바이스에서 상기 소스 디바이스가 획득한 사용자 입력 정보를 수신하는 단계; 상기 싱크 디바이스 또는 상기 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 상기 수신한 사용자 입력 정보에 대응되는 동작을 검출하는 단계; 및 상기 검출된 동작에 기초하여 상기 미러링 서비스를 제어하는 단계를 포함한다.

본 발명의 일 실시예에 따른 싱크 디바이스가 미러링 서비스를 수행하는 방법에 있어서, 상기 미러링 서비스를 제어하는 단계는, 상기 검출된 동작을 수행하는 대상을 결정하는 단계; 및 상기 결정된 대상에 상기 검출된 동작을 수행하기 위한 명령을 전송하는 단계를 포함한다.

본 발명의 일 실시예에 따른 싱크 디바이스가 미러링 서비스를 수행하는 방법에 있어서, 상기 미러링 서비스를 제어하는 단계는, 상기 결정된 대상이 상기 싱크 디바이스인 경우, 상기 전송된 명령에 따라 상기 검출된 동작을 수행하는 단계; 및 상기 결정된 대상이 상기 소스 디바이스인 경우, 상기 소스 디바이스에 상기 명령을 전송하는 단계를 포함한다.

본 발명의 일 실시예에 따른 소스 디바이스는 싱크 디바이스와 미러링 서비스를 수행하는 소스 디바이스에서 사용자 입력을 수신하는 디스플레이부; 및

적어도 하나의 사용자 입력과 관련된 상기 싱크 디바이스 또는 상기 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 상기 수신된 사용자 입력과 대응되는 동작을 검출하고, 상기 검출된 동작에 기초하여 상기 미러링 서비스를 제어하는 제어부를 포함한다.

본 발명의 일 실시예에 따른 소스 디바이스에 있어서, 상기 제어부는, 상기 검출된 동작을 수행하는 대상을 결정하고, 상기 결정된 대상이 상기 검출된 동작을 수행하도록 명령을 생성한다.

본 발명의 일 실시예에 따른 소스 디바이스에 있어서, 상기 제어부는, 상기 결정된 대상이 상기 소스 디바이스인 경우, 상기 전송된 명령에 따라 상기 검출된 동작을 수행하여, 상기 수행 결과를 상기 싱크 디바이스에 전송하고, 상기 결정된 대상이 상기 싱크 디바이스인 경우, 상기 싱크 디바이스에 상기 명령을 전송한다.

본 발명의 일 실시예에 따른 소스 디바이스에 있어서, 상기 소스 디바이스의 배치 정보를 획득하는 센싱부를 더 포함하고, 상기 제어부는, 상기 획득한 배치 정보에 기초하여 상기 소스 디바이스의 배치 상태를 결정하고, 상기 결정된 배치 상태에 기초하여, 상기 수신된 사용자 입력에 대응되는 동작을 검출한다.

본 발명의 일 실시예에 따른 소스 디바이스에 있어서, 상기 제어부는, 상기 수신된 사용자 입력을 조그 다이얼 인터페이스에서의 회전, 누름, 방향에 따라 식별되는 입력으로 변환하고, 상기 변환된 입력에 대응되는 동작을 검출한다.

본 발명의 일 실시예에 따른 소스 디바이스에 있어서, 상기 제어부는, 상기 사용자 입력이 수신된 경우, 햅틱 신호를 생성하고, 상기 생성된 햅틱 신호에 기초하여 상기 소스 디바이스의 사용자 인터페이스를 제어한다.

본 발명의 일 실시예에 따른 소스 디바이스에 있어서, 상기 검출된 동작에 대한 정보를 상기 싱크 디바이스에 전송하는 통신부를 더 포함하고, 상기 통신부는, 상기 검출된 동작을 수행하는 대상이 상기 소스 디바이스인 경우, 상기 싱크 디바이스로부터 상기 검출된 동작을 수행하기 위한 명령을 수신하고,

상기 제어부는, 상기 수신된 명령에 기초하여 상기 미러링 서비스를 제어한다.

본 발명의 일 실시예에 따른 싱크 디바이스는 소스 디바이스와 미러링 서비스를 수행하는 싱크 디바이스에서 상기 소스 디바이스가 획득한 사용자 입력 정보를 수신하는 통신부; 및 상기 싱크 디바이스 또는 상기 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 상기 수신한 사용자 입력 정보에 대응되는 동작을 검출하고, 상기 검출된 동작에 기초하여 상기 미러링 서비스를 제어한다.

본 발명의 일 실시예에 따른 싱크 디바이스에 있어서, 상기 제어부는, 상기 검출된 동작을 수행하는 대상을 결정하고, 상기 통신부는, 상기 결정된 대상에 상기 검출된 동작을 수행하기 위한 명령을 전송한다.

본 발명의 일 실시예에 따른 싱크 디바이스에 있어서, 상기 제어부는, 상기 결정된 대상이 상기 싱크 디바이스인 경우, 상기 전송된 명령에 따라 상기 검출된 동작을 수행하고, 상기 통신부는, 상기 결정된 대상이 상기 소스 디바이스인 경우, 상기 소스 디바이스에 상기 명령을 전송한다.

도 1은 본 발명의 일 실시예에 따른, 미러링 서비스를 수행하는 시스템을 설명하기 위한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 소스 디바이스에서 미러링 서비스를 수행하는 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 소스 디바이스가 사용자 입력에 대응되는 동작을 검출하여 미러링 서비스를 제어하는 구체적인 방법을 설명하기 위한 흐름도이다.
도 4 및 도 5는 본 발명의 일 실시예에 따른 소스 디바이스에 대한 입력과 조그 다이얼에 대한 입력을 대응시킨 결과를 도시한 도면이다.
도 6 은 본 발명의 일 실시예에 따른 소스 디바이스가 사용자의 터치 입력을 인식하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 소스 디바이스가 배치 상태에 따라 사용자 입력에 대응되는 동작을 결정하는 방법을 설명하기 위한 흐름도이다.
도 8a, 도 8b, 도 8c 및 도 8d는 본 발명의 일 실시예에 따라 소스 디바이스의 결정된 배치 상태에 기초하여 사용자 입력에 대응되는 동작을 검출하는 방법을 구체적으로 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따라 소스 디바이스가 사용자 입력을 수신함에 따라 햅틱 효과를 발생시키는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따라 UIBC(User Input Back Channel) 채널을 통해 소스 디바이스가 미러링 서비스를 수행하는 방법을 설명하기 위한 흐름도이다.
도 11은 본 발명의 일 실시예에 따라 홈 화면 어플리케이션이 실행되는 경우에 터치 입력 및 벤딩 입력이 수신됨에 따라 객체를 디스플레이 하는 방법을 설명하기 위한 도면이다.
도 12는 본 발명의 일 실시예에 따라 문서 뷰어 어플리케이션이 실행되는 경우에 터치 입력 및 벤딩 입력이 수신됨에 따라 객체를 디스플레이 하는 방법을 설명하기 위한 도면이다.
도 13 및 14는 본 발명의 일 실시예에 따라 화면에 디스플레이 되어 있는 어플리케이션과 관련된 객체를 디스플레이 하는 디바이스를 설명하기 위한 블록도이다.
도 15는 본 발명의 일 실시예에 따른 디바이스에 포함되어 있는 벤딩 센서의 위치를 설명하기 위한 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 본 발명의 일 실시예에 따른, 미러링 서비스를 수행하는 시스템(10)을 설명하기 위한 개념도이다. 도 1을 참조하면, 미러링 서비스를 수행하는 시스템(10)은 소스 디바이스(100) 및 싱크 디바이스(200)를 포함할 수 있다.

미러링 서비스를 수행하는데 있어서, 소스 디바이스(100)는 자체적으로 디스플레이하고 있는 화면을 그대로 싱크 디바이스(200)로 보내고, 싱크 디바이스(200)는 수신한 화면을 그대로 디스플레이 한다. 이하에서는, 화면을 제공하는 디바이스를 소스 디바이스(100)라 하고, 화면을 제공받는 디바이스를 싱크 디바이스(200)라 칭한다. 여기에서, 화면은 소스 디바이스(100)에서 사용자에 의해 선택된 객체에 따라 프로세스를 수행한 결과, 출력되는 데이터를 포함할 수 있다. 예를 들어, 화면은 이미지 데이터, 동영상 데이터 및 사운드 데이터 등을 포함할 수 있다.

소스 디바이스(100)는 사용자 입력(5)에 의해 객체가 선택되면, 선택된 객체에 대응되는 프로세스를 실행한다. 본 명세서에서 객체는 디바이스에 표시되어 사용자에 의해 조작되거나 사용자에 의해 의미가 정의될 수 있는 것을 일컫는다.

예를 들어 객체는, 어플리케이션 실행 이미지, 컨텐츠, 컨텐츠 실행 이미지에 나타나는 인물, 사물, 또는 어플리케이션 실행 이미지에 나타나는 아이콘을 포함할 수 있다. 어플리케이션은 디바이스에서 소정의 입력을 받아 소정 결과를 출력하는 프로그램을 일컫는다. 컨텐츠는 이미지, 동영상, 텍스트 등을 포함하는 소정 어플리케이션으로 실행될 수 있는 컨텐츠 자체 파일을 일컫는다. 인물, 사물 또는 아이콘은 컨텐츠 또는 어플리케이션이 실행되어 디바이스의 화면에 디스플레이 되는 인물, 사물, 또는 아이콘을 일컫는다.

또한, 객체에 관한 정보는 어플리케이션 실행 이미지 또는 컨텐츠에 대한 메타데이터를 포함할 수 있다. 예를 들어, 객체가 어플리케이션 실행 이미지일 경우, 본 명세서에서 객체에 관한 정보는, 어플리케이션의 이름(예를 들면, 구글 지도, 구글 플레이어), 어플리케이션이 제공하는 서비스의 내용(예를 들면, 지도 검색 서비스, 컨텐츠 재생), 어플리케이션의 입력 포맷(예를 들면, 파일의 형식, 크기), 디바이스가 어플리케이션을 구별하기 위한 어플리케이션의 식별 정보를 포함할 수 있다.

또한, 객체가 컨텐츠일 경우, 본 명세서에서 객체에 관한 정보는, 컨텐츠의 파일명, 접근 URL 주소, 컨텐츠 파일의 형식, 컨텐츠 파일의 크기 등을 포함할 수 있다. 또한, 객체가 컨텐츠 실행 이미지에 나타나는 인물, 사물일 경우, 본 명세서에서 객체에 관한 정보는, 인물 또는 사물의 이름, 종류를 포함할 수 있다. 또한, 객체가 컨텐츠 실행 이미지에 나타나는 아이콘일 경우, 본 명세서에서 객체에 관한 정보는 아이콘이 상징하는 의미, 아이콘이 조작되었을 때 실행되는 내용을 포함할 수 있다.

한편, 소스 디바이스(100)가 수신하는 사용자 입력(5)의 형태는 터치 입력, 호버링(hovering) 입력, 모션 입력 및 Text 입력 등이 포함될 수 있다. 소스 디바이스(100)는 수신한 사용자 입력(5)에 대응되는 동작을 기저장된 미러링 데이터 베이스로부터 검출할 수 있다.

여기에서, 미러링 데이터 베이스는 소스 디바이스(100)에서 사용자 입력(5)에 따라 실행 가능한 동작을 미리 결정해 놓은 정보가 포함될 수 있다. 사용자 입력(5)에 따라 실행 가능한 동작은 소스 디바이스(100)에서 사용자 입력(5)을 수신한 시점에 실행하고 있는 어플리케이션 또는 컨텐츠 등에 의해 결정될 수 있다. 사용자 입력(5)에 대응되는 소스 디바이스(100)의 구체적인 동작에 대해서는 도 4 및 도 5를 참고하여 구체적으로 후술하도록 한다.

싱크 디바이스(200)는 소스 디바이스(100)가 사용자에 의해 선택된 객체를 기초로 프로세스를 수행한 결과 출력되는 데이터를 수신한다. 싱크 디바이스(200)는 수신한 데이터를 디스플레이 하여 사용자에게 미러링 서비스를 제공할 수 있다.

한편, 도 1에 도시된 미러링 서비스를 수행하는 시스템(10)은 본 발명의 일 실시예일 뿐, 다수개의 소스 디바이스(100)와 싱크 디바이스(200)를 포함할 수도 있다. 미러링 서비스를 수행하는 적어도 하나의 소스 디바이스(100) 및 적어도 하나의 싱크 디바이스(200)는 1:1, 1:N, 또는 N:N 으로 연결되어 미러링을 실행할 수 있다.

소스 디바이스(100)와 싱크 디바이스(200)간에는 유무선 통신이 가능하다. 예를 들어, 소스 디바이스(100)와 싱크 디바이스(200)는 LAN(local area network), WAN(wide area network), WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), CDMA, WCDMA, 근거리 통신(NFC: Near Field Communication) 등과 같이 매우 다양한 통신 네트워크 표준에 따라 상호 연결될 수 있다.

소스 디바이스(100) 및 싱크 디바이스(200)는 태블릿, 스마트 폰, 헤드 유닛(head-unit), 스마트 TV, PC 및 랩탑 등을 포함한 전자 기기를 포함할 수 있다. 본 명세서에서는 설명의 편의상, 소스 디바이스(100)와 싱크 디바이스(200)를 각각 스마트 폰과 차량용 헤드 유닛으로 한정하여 설명하도록 한다. 이는 본 발명의 이해를 돕기 위한 한정일 뿐, 본 발명의 적용 대상이 스마트 폰과 차량용 헤드 유닛에 한정되는 것은 아니다.

이하에서는 도 2를 참고하여 소스 디바이스(100)에서 미러링 서비스를 수행하는 방법에 의해 구체적으로 설명하도록 한다.

도 2는 본 발명의 일 실시예에 따른 소스 디바이스(100)에서 미러링 서비스를 수행하는 방법을 설명하기 위한 흐름도이다.

단계 210에서, 소스 디바이스(100)는 사용자 입력을 수신한다. 소스 디바이스(100)는 싱크 디바이스(200)와 미러링 서비스를 수행하기 위해 연결되어 있는 상태에서, 다양한 형태의 사용자 입력을 감지할 수 있다.

예를 들어, 소스 디바이스(100)는 터치 입력, Text 입력, 호버링 입력 및 모션 입력 등을 감지할 수 있다. 소스 디바이스(100)가 감지 가능한 사용자 입력은 사용자의 설정에 의해 결정될 수 있다.

한편, 소스 디바이스(100)는 사용자 입력을 수신하는 경우, 사용자에게 입력이 수신되고 있음을 알리거나 수신 완료되었음을 알리는 신호를 출력할 수 있다.

예를 들어, 소스 디바이스(100)는 햅틱 효과를 통해 사용자에게 사용자 입력의 수신에 관한 정보를 제공할 수 있다. 소스 디바이스(100)는 사용자 입력을 수신한 경우, 햅틱 신호를 생성할 수 있다. 소스 디바이스(100)는 생성된 햅틱 신호에 기초하여, 진동 및 소리 등을 발생시킬 수 있다. 소스 디바이스(100)에서 발생되는 햅틱 효과로 인해, 사용자는 소스 디바이스(100)의 디스플레이부를 확인하지 않고도 사용자 입력이 수신되고 있는지 여부 등에 대한 정보를 획득할 수 있다. 이에 대해서는 도 8을 참고하여 구체적으로 후술하도록 한다.

단계 220에서, 소스 디바이스(100)는 기저장된 미러링 데이터 베이스로부터 수신된 사용자 입력과 대응되는 동작을 검출한다. 여기에서, 기저장된 미러링 데이터 베이스에는 적어도 하나의 사용자 입력과 관련된 싱크 디바이스 또는 소스 디바이스의 동작에 대한 정보가 포함될 수 있다.

수신된 사용자 입력과 대응되는 동작은 소스 디바이스(100)가 실행하고 있는 어플리케이션 또는 컨텐츠의 종류에 따라 상이할 수 있다. 예를 들어, 제 1 어플리케이션과 제 2 어플리케이션을 실행하고 있는 도중, 사용자 입력으로 소스 디바이스(100)를 두드리는 탭 입력이 수신된 경우, 각각의 어플리케이션에 따라 탭 입력과 대응되는 동작이 상이할 수 있다.

소스 디바이스(100)는 미러링 데이터 베이스를 기초로 수신된 사용자 입력과 대응되는 동작을 검출하여, 다양한 형태의 사용자 입력 도구를 대신할 수 있다. 예를 들어, 소스 디바이스(100)가 싱크 디바이스(200)인 차량용 헤드 유닛과 미러링 서비스를 수행하는 경우, 소스 디바이스(100)는 조그 다이얼(jog dial)과 같은 기존의 입력 장치의 역할을 수행할 수 있다.

소스 디바이스(100)는 수신한 사용자 입력을 조그 다이얼 인터페이스에서의 회전, 누름, 방향에 따라 식별되는 입력 형태로 변환할 수 있다. 따라서, 소스 디바이스(100)는 기존의 조그 다이얼 장치를 회전, 누름, 방향 변화 시켜서 생성했던 입력을 소스 디바이스(100)에서 감지 가능한 형태의 입력을 생성함으로써, 대신할 수 있다. 이에 대해서는 도 4 및 도 5를 참고하여 구체적으로 후술하도록 한다.

단계 230에서, 소스 디바이스(100)는 검출된 동작에 기초하여 미러링 서비스를 제어한다.

소스 디바이스(100)는 검출된 동작에 따라, 프로세스를 수행하여 싱크 디바이스(100)로 전송되는 화면을 제어할 수 있다. 예를 들어, 네비게이션 어플리케이션이 소스 디바이스(100)에서 실행되고 있는 경우, 소스 디바이스(100)에 의해 검출된 동작이 디스플레이 되고 있는 네비게이션의 화면을 확대하는 동작일 수 있다. 이러한 경우, 소스 디바이스(100)는 네비게이션 어플리케이션을 제어하여, 화면을 확대시킬 수 있다. 확대된 화면은 싱크 디바이스(200)로 전송되어, 사용자 입력에 따라 미러링 서비스가 제어된다.

한편, 미러링 데이터 베이스에는 적어도 하나의 사용자 입력에 대응되는 동작과 함께 동작을 수행하는 대상에 대한 정보도 포함될 수 있다. 여기에서, 사용자 입력에 대응되는 동작은 소스 디바이스(100)에서 수행되는 프로세스를 제어하는 동작일 수 있고, 싱크 디바이스(100)에서 수행되는 프로세스를 제어하는 동작일 수 있다.

소스 디바이스(100)에서 수행되는 프로세스의 일 예는 소스 디바이스(100)에 저장되어 있는 네비게이션 어플리케이션의 화면을 이동시키는 프로세스이다. 한편, 싱크 디바이스(100)에서 수행되는 프로세스의 일 예는 싱크 디바이스(100)로부터 출력되는 소리의 크기를 변화시키는 프로세스이다. 이에 대해서는 도 3을 참고하여 구체적으로 후술하도록 한다.

도 3은 본 발명의 일 실시예에 따른 소스 디바이스(100)가 사용자 입력에 대응되는 동작을 검출하여 미러링 서비스를 제어하는 구체적인 방법을 설명하기 위한 흐름도이다.

단계 310에서, 소스 디바이스(100)는 소스 디바이스(100)는 사용자 입력을 수신한다. 소스 디바이스(100)는 싱크 디바이스(200)와 미러링 서비스를 수행하기 위해 연결되어 있는 상태에서, 다양한 형태의 사용자 입력을 감지할 수 있다. 단계 310은, 도 2의 단계 210과 대응될 수 있다.

단계 320에서, 소스 디바이스(100)는 기저장된 미러링 데이터 베이스로부터 수신된 사용자 입력과 대응되는 동작을 검출한다. 여기에서, 기저장된 미러링 데이터 베이스에는 적어도 하나의 사용자 입력과 관련된 싱크 디바이스 또는 소스 디바이스의 동작에 대한 정보가 포함될 수 있다. 단계 320은, 도 2의 단계 220과 대응될 수 있다.

단계 330에서, 소스 디바이스(100)는 검출된 동작을 수행하는 대상을 결정한다. 여기에서, 검출된 동작을 수행하는 대상에는 소스 디바이스(100) 및 싱크 디바이스(200)가 포함될 수 있다. 한편, 소스 디바이스(100) 및 싱크 디바이스(200)가 각각 복수개 존재하는 경우, 소스 디바이스(100)는 복수개의 소스 디바이스 및 복수개의 싱크 디바이스들을 각각 식별하여 검출된 동작을 수행하는 대상을 결정할 수 있다.

단계 340에서, 소스 디바이스(100)는 검출된 동작을 수행하는 대상이 소스 디바이스(100)인지 여부를 확인한다. 다만, 이는 본 발명의 일 실시예일 뿐, 소스 디바이스(100)는 검출된 동작을 수행하는 대상이 싱크 디바이스(200)인지 여부를 확인할 수도 있다.

한편, 소스 디바이스(100)는 검출된 동작을 수행하는 대상이 확인되면, 확인된 대상에 전송할 명령을 생성할 수 있다. 소스 디바이스(100)에서 확인된 대상이 소스 디바이스(100)인 경우, 소스 디바이스(100)는 내부의 프로세스를 제어하기 위한 명령을 생성할 수 있다. 한편, 소스 디바이스(100)에서 확인된 대상이 싱크 디바이스(200)인 경우, 소스 디바이스(100)는 싱크 디바이스(200)를 제어하기 위한 명령을 생성할 수 있다.

단계 350에서, 소스 디바이스(100)는 검출된 동작을 수행한다. 소스 디바이스(100)는 검출된 동작에 따라 생성된 명령을 기초로 프로세스를 수행할 수 있다. 예를 들어, 검출된 동작이 화면을 확대하는 동작인 경우, 소스 디바이스(100)는 화면 확대 명령을 기초로 디스플레이 되는 화면의 크기를 확대시킬 수 있다.

다른 예에 따라, 검출된 동작이 실행중인 어플리케이션을 종료하는 동작인 경우, 소스 디바이스(100)는 어플리케이션 종료 명령을 기초로 실행중인 어플리케이션을 종료시킬 수 있다.

단계 360에서, 소스 디바이스(100)는 검출된 동작을 수행한 결과를 싱크 디바이스(200)에 전송한다. 소스 디바이스(100)는 사용자의 입력에 따른 미러링 서비스를 수행하기 위해, 검출된 동작을 수행한 결과를 싱크 디바이스(200)에 전송한다. 소스 디바이스(100)는 검출된 동작을 수행한 결과 변경된 소스 디바이스(100)의 화면을 싱크 디바이스(200)에 전송할 수 있다.

예를 들어, 소스 디바이스(100)가 사용자 입력에 따라 실행되고 있는 화면을 확대시킨 경우, 확대된 화면을 싱크 디바이스(200)에 전송할 수 있다. 다른 예를 들어, 소스 디바이스(100)가 사용자 입력에 따라 실행되고 있는 어플리케이션을 종료 시킨 경우에는, 어플리케이션이 종료된 후의 홈 화면을 싱크 디바이스(200)에 전송할 수 있다.

단계 360에서, 소스 디바이스(100)는 싱크 디바이스(200)에 검출된 동작을 수행하기 위한 명령을 전송한다.

소스 디바이스(100)에서 검출된 동작을 수행하는 대상이 싱크 디바이스(200)로 결정된 경우, 소스 디바이스(100)는 검출된 동작을 수행하기 위한 명령을 생성하여 싱크 디바이스(200)에게 전송한다. 여기에서, 소스 디바이스(100)는 싱크 디바이스(200)에 호환이 가능한 형태의 명령을 생성하여 전송할 수 있다.

예를 들어, 싱크 디바이스(200)를 제어하여, 출력되는 음향의 크기를 증가시키는 동작인 경우, 소스 디바이스(100)는 싱크 디바이스(200)에서 호환 가능한 음향의 크기를 증가시키는 명령을 생성하여 싱크 디바이스(200)에 전송할 수 있다.

싱크 디바이스(200)는 소스 디바이스(100)로부터 수신한 명령에 따라, 검출된 동작을 수행한다. 예를 들어, 싱크 디바이스(200)가 소스 디바이스(200)로부터 출력되는 음향의 크기를 증가시키는 명령을 수신한 경우, 싱크 디바이스(100)는 연결되어 있는 음향 출력부를 제어하여, 출력되는 음향의 크기를 증가시킬 수 있다.

소스 디바이스(100)는 사용자 입력에 대응되는 동작이 소스 디바이스(100)에서 수행되는 프로세스 인 경우, 해당 프로세스를 제어하는 명령을 발생시킨다. 소스 디바이스(100)에서 해당 프로세스를 수행하는 모듈은 발생된 명령을 기초로 프로세스를 수행한 결과를 출력할 수 있다.

도 4 및 도 5는 본 발명의 일 실시예에 따른 소스 디바이스(100)에 대한 입력과 조그 다이얼에 대한 입력을 대응시킨 결과를 도시한 도면이다.

본 발명의 일 실시예에 따른 소스 디바이스(100)는 미러링 데이터 베이스에 기초하여, 사용자로부터 수신한 입력을 다양한 입력 장치를 통한 입력과 대응시킬 수 있다.

예를 들어, 사용자는 소스 디바이스(100)를 통해 차량용 헤드 유닛에 대한 입력 장치로 사용되는 조그 다이얼(400)을 통한 입력을 대체할 수 있다. 도 4의 (a)를 참고하면, 소스 디바이스(100)는 사용자로부터 원을 그리는 형태의 터치 입력을 수신할 수 있다. 이는 도 4의 (b)에 도시되어 있는 조그 다이얼(400)을 통한 회전 입력과 대응될 수 있다.

본 발명의 일 실시예에 따른 소스 디바이스(100)는 종래에 사용되었던 입력 장치를 대체하는 역할을 수행하여, 사용자가 별도의 외부 입력 장치를 구비하지 않고도, 디바이스를 용이하게 제어할 수 있다.

또한, 소스 디바이스(100)는 도 4의 (a)에 도시되어 있는 형태의 사용자 입력 이외에도 다양한 형태의 입력을 수신할 수 있다. 이에 대해서는 이하에서, 도 5를 참고하여 설명하도록 한다.

도 5에는 조그 다이얼을 통한 다양한 입력 형태와 대응되는 소스 디바이스(100)의 입력 형태를 설명하기 위한 도면이 도시되어 있다.

도 5를 참고하면, 조그 다이얼을 회전시키는 입력은, 사용자가 소스 디바이스(100)의 디스플레이부를 터치한 채로 원을 그리는 제 1 입력과 대응될 수 있다.

소스 디바이스(100)는 제 1 입력이 수신되는 경우, 미리 저장된 미러링 데이터 베이스로부터 제 1 입력과 대응되는 동작을 검출할 수 있다. 미러링 데이터 베이스에는 제 1 입력과 대응되는 제 1 동작에 대한 정보와 제 1 동작을 수행하는 대상에 대한 정보가 포함될 수 있다.

예를 들어, 제 1 동작은 소스 디바이스(100)의 디스플레이부에 표시되는 커서를 이동시키는 동작일 수 있다. 소스 디바이스(100)는 미러링 데이터 베이스를 기초로 제 1 동작이 디스플레이부에 표시되는 커서를 이동시키는 동작이라는 정보와 제 1 동작을 수행하는 대상이 소스 디바이스(100)라는 정보를 검출할 수 있다.

소스 디바이스(100)는 검출된 정보에 따라 디스플레이부에 표시되는 커서를 이동시킨다. 커서의 이동에 따라 변화된 화면은 소스 디바이스(100)로부터 싱크 디바이스(200)로 전송되어, 사용자의 입력에 대응되는 미러링 서비스가 수행되게 된다.

다른 예에 따라, 조그 다이얼을 좌우로 이동시키는 입력은, 사용자가 소스 디바이스(100)의 디스플레이부를 터치한 채로 좌우로 드래그하는 제 2 입력과 대응될 수 있다. 소스 디바이스(100)는 제 2 입력과 대응되는 제 2 동작을 검출할 수 있다.

여기에서, 제 2 동작은 소스 디바이스(100)의 디스플레이부에 표시되는 컨텐츠를 앞뒤로 탐색하는 동작일 수 있다. 소스 디바이스(100)는 미러링 데이터 베이스를 기초로 제 2 동작이 디스플레이부에 표시되는 컨텐츠를 앞뒤로 탐색하는 동작이라는 정보와 제 2 동작을 수행하는 대상이 소스 디바이스(100)라는 정보를 검출할 수 있다.

소스 디바이스(100)는 검출된 정보에 따라 컨텐츠 목록상에서 현재 디스플레이부에 표시되는 컨텐츠의 앞이나 뒤에 위치한 컨텐츠를 탐색하여 디스플레이부에 표시한다. 탐색된 컨텐츠가 표시된 화면은 소스 디바이스(100)로부터 싱크 디바이스(200)로 전송되어, 사용자의 입력에 대응되는 미러링 서비스가 수행되게 된다.

또 다른 예에 따라, 조그 다이얼을 상하로 이동시키는 입력은, 사용자가 소스 디바이스(100)의 디스플레이부를 터치한 채로 상하로 드래그하는 제 3 입력과 대응될 수 있다. 소스 디바이스(100)는 제 3 입력과 대응되는 제 3 동작을 검출할 수 있다.

여기에서, 제 3 동작은 소스 디바이스(100)의 디스플레이부에 표시되는 이미지 영역을 전체 이미지 영역의 상단 또는 하단으로 이동시키는 동작일 수 있다. 소스 디바이스(100)는 미러링 데이터 베이스를 기초로 제 3 동작이 디스플레이부에 표시되는 이미지 영역을 상단 또는 하단로 이동시키는 동작이라는 정보와 제 3 동작을 수행하는 대상이 소스 디바이스(100)라는 정보를 검출할 수 있다.

소스 디바이스(100)는 검출된 정보에 따라 현재 디스플레이부에 표시되는 이미지를 전체 이미지 영역의 상단 또는 하단으로 이동시켜 디스플레이부에 표시한다. 이동 결과, 소스 디바이스(100)의 디스플레이부에 표시되는 이미지면은 소스 디바이스(100)로부터 싱크 디바이스(200)로 전송되어, 사용자의 입력에 대응되는 미러링 서비스가 수행되게 된다.

또 다른 예에 따라, 조그 다이얼을 누르는 입력은, 사용자가 소스 디바이스(100)의 디스플레이부를 터치한 채로 기설정된 시간 이상 유지하는 제 4 입력과 대응될 수 있다. 소스 디바이스(100)는 제 4 입력과 대응되는 제 4 동작을 검출할 수 있다.

여기에서, 제 4 동작은 소스 디바이스(100)의 디스플레이부에 표시되는 객체를 선택하는 동작일 수 있다. 객체는 전술한 바와 같이 디바이스에 표시되어 사용자에 의해 조작되거나 사용자에 의해 의미가 정의될 수 있는 것을 일컫는다.

예를 들어 객체는, 어플리케이션 실행 이미지, 컨텐츠, 컨텐츠 실행 이미지에 나타나는 인물, 사물, 또는 어플리케이션 실행 이미지에 나타나는 아이콘을 포함할 수 있다.

소스 디바이스(100)는 미러링 데이터 베이스를 기초로 제 4 동작이 디스플레이부에 표시되는 객체를 선택하는 동작이라는 정보와 제 4 동작을 수행하는 대상이 소스 디바이스(100)라는 정보를 검출할 수 있다.

소스 디바이스(100)는 검출된 정보에 따라 현재 디스플레이부에 표시되는 객체의 선택에 대응되는 프로세스를 수행한다. 선택된 객체에 대응되는 프로세스를 수행한 결과 출력되는 화면은 소스 디바이스(100)로부터 싱크 디바이스(200)로 전송되어, 사용자의 입력에 대응되는 미러링 서비스가 수행되게 된다.

한편, 소스 디바이스(100)는 하나의 입력 장치를 통한 입력 형태 뿐만 아니라 여러 개의 입력 장치를 통한 입력 형태 각각을 모두 대체할 수 있다. 예를 들어, 종래에는 차량에 별도로 구비된 볼륨 조절 버튼을 누르는 동작을 통해, 차량 내부에 출력되는 음향의 크기를 제어할 수 있다. 소스 디바이스(100)는 미러링 데이터 베이스에 저장된 정보에 기초하여, 볼륨 조절 버튼을 대체할 수 있다.

예를 들어, 볼륨 조절 버튼을 누르는 입력은, 사용자가 소스 디바이스(100)의 디스플레이부를 두 손으로 동시에 터치한 채로 상단 또는 하단으로 드래그하는 제 5 입력과 대응될 수 있다. 소스 디바이스(100)는 미러링 데이터 베이스에 기초하여 제 5 입력과 대응되는 제 5 동작을 검출할 수 있다.

미러링 데이터 베이스 상에 제 5 동작은 싱크 디바이스(200)로부터 출력되는 음향의 크기를 조절하는 동작일 수 있다. 소스 디바이스(100)는 미러링 데이터 베이스를 기초로 제 5 동작이 싱크 디바이스(200)로부터 출력되는 음향의 크기를 조절하는 동작이라는 정보와 제 5 동작을 수행하는 대상이 싱크 디바이스(200)라는 정보를 검출할 수 있다.

소스 디바이스(100)는 싱크 디바이스(200)의 볼륨을 조절하기 위한 명령을 생성하여, 싱크 디바이스(200)로 전송한다. 싱크 디바이스(200)는 수신한 명령을 기초로, 싱크 디바이스(200)와 연결되어 있는 음향 출력 모듈의 출력 크기를 조절할 수 있다.

도 6 은 본 발명의 일 실시예에 따른 소스 디바이스(100)가 사용자의 터치 입력(5)을 인식하는 방법을 설명하기 위한 도면이다.

도 6을 참고하면, 소스 디바이스(100)에는 다른 사람의 전화 번호를 검색하기 위한 연락처 어플리케이션이 실행되고 있다. 소스 디바이스(100)에서 실행되고 있는 연락처 어플리케이션의 이미지는 미러링 되어, 싱크 디바이스(200)에 디스플레이 될 수 있다.

사용자는 연락처 어플리케이션에서 원하는 대상의 연락처를 검색하기 위해, 대상을 식별할 수 있는 키워드를 소스 디바이스(100)에 입력할 수 있다. 예를 들어, 사용자는 소스 디바이스(100)에 ㄱ 이라는 터치 입력(5)을 입력할 수 있다. 소스 디바이스(100)는 사용자의 터치 입력을 감지하고, 사용자의 터치 입력에 따라 ㄱ 으로 시작되는 대상들의 연락처를 검색 할 수 있다.

소스 디바이스(100)에서 검색된 대상들의 연락처는 싱크 디바이스(200)에 미러링 될 수 있다. 싱크 디바이스(200)에는 검색된 대상들의 연락처가 디스플레이 될 수 있다. 사용자는 터치 입력(5)을 소스 디바이스(100)에 입력시키는 동작을 통해, 사용자가 원하는 정보가 싱크 디바이스(200)에 디스플레이 되도록 할 수 있다.

도 7은 본 발명의 일 실시예에 따른 소스 디바이스(100)가 배치 상태에 따라 사용자 입력에 대응되는 동작을 결정하는 방법을 설명하기 위한 흐름도이다.

단계 710에서, 소스 디바이스(100)는 사용자 입력을 수신한다. 소스 디바이스(100)는 싱크 디바이스(200)와 미러링 서비스를 수행하기 위해 연결되어 있는 상태에서, 다양한 형태의 사용자 입력을 감지할 수 있다. 단계 710은, 도 2의 단계 210과 대응될 수 있다.

단계 720에서, 소스 디바이스(100)는 획득한 센서 데이터를 기초로 배치 상태를 결정할 수 있다. 여기에서, 배치 상태는 소스 디바이스(100)가 사용자 입력을 수신한 시점에 놓여 있는 방향 및 각도 등을 의미할 수 있다.

한편, 소스 디바이스(100)는 가속도 센서 혹은 자이로 센서를 이용하여, 가로 또는 세로 방향 중 소스 디바이스(100)가 놓여 있는 어느 하나의 방향을 결정할 수 있다. 또한, 소스 디바이스(100)는 가속도 센서 혹은 자이로 센서를 이용하여 감지되는 센서 데이터를 통해, 소스 디바이스(100)가 거꾸로 놓여있는지 여부에 대한 정보도 획득할 수 있다.

단계 730에서, 소스 디바이스(100)는 결정된 배치 상태에 기초하여 수신된 사용자 입력에 대응되는 동작을 검출할 수 있다. 소스 디바이스(100)가 배치되어 있는 상태에 따라 사용자 입력이 다르게 수신될 수 있다. 예를 들어, 소스 디바이스(100)가 세로 방향으로 배치되어 있는 경우와 가로 방향으로 배치되어 있는 경우, 사용자가 좌우로 드래그하는 동작이 다르게 인식될 수 있다.

이하에서는 도 8a 내지 도 8d를 참고하여 소스 디바이스(100)가 배치 상태를 고려하여 사용자의 입력을 인식하는 방법에 대해 구체적으로 설명하도록 한다.

도 8a 내지 도 8d는 본 발명의 일 실시예에 따라 소스 디바이스(100)의 배치 상태에 기초하여 사용자 입력에 대응되는 동작을 검출하는 방법을 구체적으로 설명하기 위한 도면이다.

소스 디바이스(100)는 배치되어 있는 방향에 기초하여 사용자의 입력을 인식할 수 있다. 예를 들어, 소스 디바이스(100)는 자이로센서 또는 가속도 센서로부터 획득한 방향 정보 및 속도 정보를 포함하는 센싱 데이터에 기초하여, 사용자의 입력을 획득한 시점의 소스 디바이스(100)의 배치 상태를 판단할 수 있다.

도 8a에서 소스 디바이스(100)가 세로 정방향으로 배치된 도면과 도 8b에서 소스 디바이스(100)가 세로 역방향으로 배치된 도면을 비교하여, 소스 디바이스(100)가 사용자의 입력을 인식하는 방법에 대해 설명하도록 한다.

사용자가 소스 디바이스(100)를 손가락으로 터치한 채 오른쪽으로 드래그 하는 경우, 소스 디바이스(100)가 배치된 상태에 따라 사용자의 터치 입력을 인식하는 방향이 다를 수 있다. 예를 들어, 소스 디바이스(100)가 세로 정방향으로 배치된 경우에는, 사용자의 오른쪽으로 드래그 하는 입력을 오른쪽 방향으로 인식할 수 있다. 하지만, 소스 디바이스(100)가 세로 역방향으로 배치된 경우에는, 배치가 반대로 되어 있기 때문에 오른쪽으로 드래그 하는 입력을 왼쪽 방향으로 인식할 수 있다.

본 발명의 일 실시예에 따르면, 소스 디바이스(100)는 사용자의 입력을 기초로 프로세스를 수행하기 전에, 사용자의 입력이 수신된 시점의 소스 디바이스(100)의 배치 상태를 판단할 수 있다. 소스 디바이스(100)는 배치 상태를 판단한 결과, 소스 디바이스(100)가 세로 역방향으로 배치된 경우에는, 배치 상태를 고려하여, 사용자의 오른쪽으로 드래그 하는 입력을 오른쪽 방향으로 인식할 수 있도록 정정할 수 있다. 이러한 정정 과정을 통해, 소스 디바이스(100)는 배치 상태에 관계없이 사용자가 일관된 동작으로 소스 디바이스(100)에 정보를 입력할 수 있는 사용자 인터페이스를 제공할 수 있다.

또한, 소스 디바이스(100)는 하드웨어 버튼의 배열 또한, 소스 디바이스(100)의 배치 상태를 고려하여 제공할 수 있다. 예를 들어, 도 8a에서, 소스 디바이스(100)가 세로 정방향으로 배치된 경우에는 소스 디바이스(100)의 하단 좌측에 메뉴 버튼(820a)이 디스플레이 되고, 하단 우측에 백 버튼(830a)이 디스플레이 된다. 소스 디바이스(100)는 배치 상태를 고려하여, 사용자가 일관된 동작으로 소스 디바이스(100)에 정보를 입력할 수 있도록 소스 디바이스(100)가 세로 역방향으로 배치된 경우에는 소스 디바이스(100)의 상단 좌측에 메뉴 버튼(820b)을 디스플레이 하고, 상단 우측에 백 버튼(830b)을 디스플레이 할 수 있다.

다른 실시예에 따라 도 8c 및 도 8d를 참고하여, 소스 디바이스(100)가 가로 방향으로 배치된 경우, 사용자의 입력을 감지하는 방법에 대해 설명하도록 한다.

도 8c은 소스 디바이스(100)가 가로 정방향으로 배치된 도면이고 도 8d는 소스 디바이스(100)가 가로 역방향으로 배치된 도면이다.

소스 디바이스(100)가 가로 정방향으로 배치된 경우에는, 사용자가 오른쪽으로 드래그 하는 입력을 오른쪽 방향으로 인식할 수 있다. 여기에서, 소스 디바이스(100)의 가로 방향으로 인한 입력의 정정 과정은 세로 방향과 비교하여 우선적으로 수행되었다고 가정한다. 소스 디바이스(100)가 가로 역방향으로 배치된 경우에는, 배치가 반대로 되어 있기 때문에 오른쪽으로 드래그 하는 입력을 왼쪽 방향으로 인식할 수 있다.

본 발명의 일 실시예에 따르면, 소스 디바이스(100)는 사용자의 입력을 기초로 프로세스를 수행하기 전에, 사용자의 입력이 수신된 시점의 소스 디바이스(100)의 배치 상태를 판단할 수 있다. 소스 디바이스(100)는 배치 상태를 판단한 결과, 소스 디바이스(100)가 가로 역방향으로 배치된 경우에는, 배치 상태를 고려하여, 사용자의 오른쪽으로 드래그 하는 입력을 오른쪽 방향으로 인식할 수 있도록 정정할 수 있다. 이러한 정정 과정을 통해, 소스 디바이스(100)는 배치 상태에 관계없이 사용자가 일관된 동작으로 소스 디바이스(100)에 정보를 입력할 수 있는 사용자 인터페이스를 제공할 수 있다.

또한, 소스 디바이스(100)는 하드웨어 버튼의 배열 또한, 소스 디바이스(100)의 배치 상태를 고려하여 제공할 수 있다. 예를 들어, 도 8c에서, 소스 디바이스(100)가 가로 정방향으로 배치된 경우에는 소스 디바이스(100)의 우측 상단에 백 버튼(820c)이 디스플레이 되고, 우측 하단에 메뉴 버튼(830c)이 디스플레이 된다. 소스 디바이스(100)는 배치 상태를 고려하여, 사용자가 일관된 동작으로 소스 디바이스(100)에 정보를 입력할 수 있도록 소스 디바이스(100)가 가로 역방향으로 배치된 경우에는 소스 디바이스(100)의 좌측 상단에 백 버튼(820d)을 디스플레이하고, 좌측 하단에 백 버튼(830d)을 디스플레이 할 수 있다.

단계 740에서, 소스 디바이스(100)는 검출된 동작에 기초하여 미러링 서비스를 제어한다. 소스 디바이스(100)는 검출된 동작에 따라, 프로세스를 수행하여 싱크 디바이스(100)로 전송되는 화면을 제어할 수 있다.

예를 들어, 소스 디바이스(100)는 검출된 동작에 기초하여 이미지의 목록을 좌우로 이동시키는 동작을 수행할 수 있다. 소스 디바이스(100)는 검출된 동작을 수행하여, 이미지의 목록을 좌우로 이동시키는 화면을 싱크 디바이스(200)에 전송할 수 있다.

한편, 단계 740은 도 2의 단계 230과 대응될 수 있다.

도 9는 본 발명의 일 실시예에 따라 소스 디바이스(100)가 사용자 입력을 수신함에 따라 햅틱 효과를 발생시키는 방법을 설명하기 위한 도면이다.

소스 디바이스(100)는 사용자 입력을 수신하는 경우, 햅틱 신호를 생성할 수 있다. 또한, 소스 디바이스(100)는 생성된 햅틱 신호에 기초하여, 사용자 인터페이스를 제어할 수 있다. 예를 들어, 소스 디바이스(100)는 햅틱 신호가 생성되는 경우, 소스 디바이스(100)의 사용자 인터페이스를 통해 진동 신호 및 사운드 신호 등을 출력할 수 있다.

도 9를 참고하면, 소스 디바이스(100)는 사용자의 터치 입력이 수신되는 시점에 진동 신호를 출력한다. 사용자는 출력되는 진동 신호를 통해, 소스 디바이스(100)를 직접 응시하지 않고도, 소스 디바이스(100)에 사용자 입력이 수신되었는지 여부를 판단할 수 있다. 따라서, 사용자가 운전 등의 다른 활동에 집중하고 있는 경우, 별도로 소스 디바이스(100)를 응시하지 않고 소스 디바이스(100)의 싱크 디바이스(200)간에 미러링 서비스를 제어할 수 있다.

한편, 소스 디바이스(100)는 사용자 입력이 수신되는 시점, 사용자 입력이 진행되는 시점, 사용자 입력이 완료되는 시점에 각각 다른 햅틱 신호를 생성하여, 사용자에게 보다 정확한 정보를 제공할 수 있다.

예를 들어, 소스 디바이스(100)는 사용자 입력이 시작되는 시점에는 음향 신호를 발생시켜 소스 디바이스(100)에 사용자 입력이 수신되기 시작하였다는 정보를 제공할 수 있다. 또한, 소스 디바이스(100)는 사용자 입력이 수신되고 있는 동안에는 사운드 신호를 발생시킬 수 있다. 소스 디바이스(100)는 사용자 입력이 완료된 시점에서 사용자 입력이 시작되는 시점에서 발생된 음향 신호와 다른 종류의 음향 신호를 발생시켜, 소스 디바이스(100)에 사용자 입력이 수신 완료되었다는 정보를 제공할 수 있다.

도 10은 본 발명의 일 실시예에 따라 UIBC(User Input Back Channel) 채널을 통해 소스 디바이스(100)가 미러링 서비스를 수행하는 방법을 설명하기 위한 흐름도이다.

단계 1010에서, 소스 디바이스(100)는 사용자 입력을 수신한다. 소스 디바이스(100)는 싱크 디바이스(200)와 미러링 서비스를 수행하기 위해 연결되어 있는 상태에서, 다양한 형태의 사용자 입력을 감지할 수 있다. 단계 910은, 도 2의 단계 210과 대응될 수 있다.

단계 1020에서, 소스 디바이스(100)는 기저장된 미러링 데이터 베이스로부터 수신된 사용자 입력과 대응되는 동작을 검출한다. 여기에서, 기저장된 미러링 데이터 베이스에는 적어도 하나의 사용자 입력과 관련된 싱크 디바이스 또는 소스 디바이스의 동작에 대한 정보가 포함될 수 있다. 단계 920은, 도 2의 단계 220과 대응될 수 있다.

단계 1030에서, 소스 디바이스(100)는 검출된 동작에 대한 정보를 싱크 디바이스(200)에 전송한다. 검출된 동작에 대한 정보에는 소스 디바이스(100)가 실행하고 있거나 실행 중인 어플리케이션 또는 컨텐츠를 제어하는 방법에 대한 정보가 포함될 수 있다.

또한, 동작에 대한 정보에는 검출된 동작을 수행하는 대상에 대한 정보가 포함될 수 있다. 예를 들어, 검출된 동작은 소스 디바이스(100)가 수행하는 동작과 싱크 디바이스(200)가 수행하는 동작으로 분류될 수 있다.

단계 1040에서, 소스 디바이스(100)는 검출된 동작을 수행하는 대상이 소스 디바이스(100)인 경우, 싱크 디바이스(200)로부터 검출된 동작을 수행하기 위한 명령을 수신한다.

싱크 디바이스(200)는 UIBC 채널을 이용하여, 소스 디바이스(100)가 수행해야 하는 동작에 대한 정보를 소스 디바이스(100)에 전송할 수 있다. 여기에서 동작에 대한 정보에는 소스 디바이스(100)에게 검출된 동작을 지시하는 명령이 포함될 수 있다.

소스 디바이스(100)에서 수신한 사용자 입력을 분석하여, 검출된 동작에 대한 정보를 싱크 디바이스(200)에 전송하고, 싱크 디바이스(200)로부터 검출된 동작을 수행하기 위한 정보를 다시 수신함으로써, 기존에 사용되는 UIBC 채널을 이용할 수 있다.

한편, 싱크 디바이스(200)는 검출된 동작을 수행하는 대상이 싱크 디바이스(200)인 경우, 검출된 동작을 수행가능한 모듈에 제어 명령을 전송할 수 있다. 예를 들어, 검출된 동작이 싱크 디바이스(200)와 연결된 음향 모듈의 출력 크기를 조절하는 동작인 경우, 싱크 디바이스(200)는 음향 모듈에 출력 크기를 변화시키는 제어 명령을 전송할 수 있다.

단계 1050에서, 소스 디바이스(100)는 수신된 명령에 기초하여 미러링 서비스를 제어한다.

소스 디바이스(100)는 수신된 명령에 따라, 프로세스를 수행하여 싱크 디바이스(100)로 전송되는 화면을 제어할 수 있다.

도 11은 본 발명의 일 실시예에 따른 싱크 디바이스(200)가 미러링 서비스를 수행하는 방법을 설명하기 위한 흐름도이다.

단계 1110에서, 소스 디바이스(100)와 미러링 서비스를 수행하는 싱크 디바이스(200)는 소스 디바이스(100)가 획득한 사용자 입력 정보를 수신한다. 여기에서, 소스 디바이스(100)는 싱크 디바이스(200)와 미러링 서비스를 수행하기 위해 연결되어 있는 상태에서, 사용자 입력을 획득한다.

소스 디바이스(100)는 터치 입력, Text 입력, 호버링 입력 및 모션 입력 등 다양한 형태의 사용자 입력을 감지할 수 있다. 소스 디바이스(100)가 감지 가능한 사용자 입력은 사용자의 설정에 의해 결정될 수 있다.

단계 1120에서, 싱크 디바이스(200)는 미러링 데이터 베이스에 기초하여, 수신한 사용자 입력 정보에 대응되는 동작을 검출한다. 여기에서, 미러링 데이터 베이스는 적어도 하나의 사용자 입력과 관련된 싱크 디바이스(200) 또는 소스 디바이스(100)의 동작에 대한 정보를 포함할 수 있다.

한편, 수신된 사용자 입력과 대응되는 동작은 싱크 디바이스(200)가 미러링 하고 있는 화면의 종류에 따라 상이할 수 있다. 예를 들어, 싱크 디바이스(200)가 미러링 서비스의 실행에 따라 소스 디바이스(100)로부터 제 1 어플리케이션과 제 2 어플리케이션에을 실행하고 있는 화면을 수신하는 도중 사용자 입력으로 소스 디바이스(100)를 두드리는 탭 입력이 수신된 경우, 각각의 어플리케이션에 따라 탭 입력과 대응되는 동작이 상이할 수 있다.

단계 1130에서, 싱크 디바이스(200)는 검출된 동작에 기초하여, 미러링 서비스를 제어한다.

싱크 디바이스(200)는 검출된 동작에 따라, 소스 디바이스(100)에 요청하는 명령을 결정할 수 있다. 예를 들어, 소스 디바이스(100)로부터 네비게이션 어플리케이션이 실행되고 화면이 수신되고 있는 경우에는, 싱크 디바이스(200)에 의해 검출된 동작이 디스플레이 되고 있는 네비게이션의 화면을 확대하는 동작일 수 있다. 이러한 경우, 싱크 디바이스(200)는 소스 디바이스(100)에 네비게이션 어플리케이션의 화면을 확대시키는 명령을 전송할 수 있다.

소스 디바이스(100)는 싱크 디바이스(200)로부터 수신한 명령에 기초하여, 네비게이션 어플리케이션 실행에 따라 디스플레이 되는 화면을 확대시킬 수 있다. 확대된 화면은 싱크 디바이스(200)로 전송되어, 싱크 디바이스(200)의 디스플레이부에 표시될 수 있다.

한편, 미러링 데이터 베이스에는 적어도 하나의 사용자 입력에 대응되는 동작과 함께 동작을 수행하는 대상에 대한 정보도 포함되어 있다. 여기에서, 사용자 입력에 대응되는 동작은 소스 디바이스(100)에서 수행되는 프로세스를 제어하는 동작일 수 있고, 싱크 디바이스(200)에서 수행되는 프로세스를 제어하는 동작일 수 있다.

검출된 동작이 소스 디바이스(100)에서 수행되는 프로세스를 제어하는 동작인 경우, 싱크 디바이스(200)는 검출된 동작의 수행을 요청하는 명령을 소스 디바이스(100)에 전송한다. 한편, 검출된 동작이 싱크 디바이스(200)에서 수행되는 프로세스를 제어하는 동작인 경우, 싱크 디바이스(200)는 검출된 동작을 수행한다.

도 12는 본 발명의 일 실시예에 따른 싱크 디바이스(200)가 검출된 동작을 수행하는 대상을 결정하여 미러링 서비스를 수행하는 방법을 구체적으로 설명하기 위한 흐름도이다.

단계 1210에서, 소스 디바이스(100)와 미러링 서비스를 수행하는 싱크 디바이스(200)는 소스 디바이스(100)가 수신한 사용자 입력 정보를 수신한다. 여기에서, 소스 디바이스(100)는 싱크 디바이스(200)와 미러링 서비스를 수행하기 위해 연결되어 있는 상태에서, 사용자 입력을 획득한다. 단계 1210은 도 11의 단계 1110과 대응될 수 있다.

단계 1220에서, 싱크 디바이스(200)는 수신된 사용자 입력과 대응되는 동작을 기저장된 미러링 데이터 베이스로부터 검출한다. 단계 1220은 도 11의 단계 1120과 대응될 수 있다.

단계 1230에서, 싱크 디바이스(200)는 검출된 동작을 수행하는 대상을 결정한다. 여기에서, 검출된 동작을 수행하는 대상에는 소스 디바이스(100) 및 싱크 디바이스(200)가 포함될 수 있다. 한편, 소스 디바이스(100) 및 싱크 디바이스(100)가 각각 복수개 존재하는 경우, 소스 디바이스(100)는 복수개의 소스 디바이스 및 복수개의 싱크 디바이스들을 각각 식별하여 검출된 동작을 수행하는 대상을 결정할 수 있다.

단계 1240에서, 싱크 디바이스(200)는 검출된 동작을 수행하는 대상이 싱크 디바이스(200)인지 여부를 판단한다. 다만, 이는 본 발명의 일 실시예일 뿐, 싱크 디바이스(200)는 검출된 동작을 수행하는 대상이 소스 디바이스(100)인지 여부를 확인할 수도 있다.

단계 1250에서, 싱크 디바이스(200)는 검출된 동작을 수행한다. 검출된 동작을 수행하는 대상이 싱크 디바이스(200)인 경우, 싱크 디바이스(200)는 검출된 동작에 따라 생성된 명령을 기초로 프로세스를 수행할 수 있다. 예를 들어, 검출된 동작이 싱크 디바이스(200)와 연결된 음향 모듈의 출력 크기를 변경하는 동작인 경우, 싱크 디바이스(200)는 음향 모듈의 출력 크기를 검출된 동작에 따라 제어할 수 있다.

단계 1260에서, 싱크 디바이스(200)는 소스 디바이스(100)에 검출된 동작에 대한 정보를 전송한다. 싱크 디바이스(200)에서 검출된 동작을 수행하는 대상이 소스 디바이스(100)로 결정된 경우, 싱크 디바이스(200)는 검출된 동작을 수행하기 위한 명령을 생성하여 소스 디바이스(100)에게 전송한다. 여기에서, 싱크 디바이스(200)는 소스 디바이스(100)에 호환이 가능한 형태의 명령을 생성하여 전송할 수 있다.

도 13 및 14는 본 발명의 일 실시예에 따라 미러링 서비스를 수행하는 소스 디바이스(100)의 블록도를 도시한 도면이다.

도 13을 참고하면, 소스 디바이스(100)는 디스플레이부(110) 및 제어부(120)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 소스 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 소스 디바이스(100)는 구현될 수 있다.

예를 들어 본 발명의 일 실시예에 따른 소스 디바이스(100)는, 디스플레이부(110) 및 제어부(120) 이외에 통신부(130), 출력부(140), 센싱부(150), A/V 입력부(160) 및 메모리(170)를 더 포함할 수도 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

본 발명의 일 실시예에 따르면, 소스 디바이스(100)는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 본 발명의 일 실시예에 따라, 미러링 서비스를 수행하는 소스 디바이스(100)를 차량용 헤드 유닛과 연결하여 사용하는 경우, 소스 디바이스(100)는 스마트 폰일 수 있다.

디스플레이부(110)는 사용자가 미러링 서비스를 제어하기 위한 데이터를 입력하는 수단일 수 있다. 예를 들어, 디스플레이부(110)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 포함될 수 있으나 이에 한정되는 것은 아니다.

디스플레이부(110)는, 사용자의 터치 입력을 수신하고, 터치 입력을 유지 한 채 사용자가 제 1 방향으로 드래그하는 제 1 드래그 입력을 수신할 수 있다. 또한, 디스플레이부(110)는 사용자가 터치 입력을 유지한 채 원을 그리는 회전 입력을 수신할 수도 있다.

또한, 디스플레이부(110)는 기설정된 거리 내에서 수신되는 사용자의 호버링 입력을 수신할 수 있다. 디스플레이부(110)는 사용자의 호버링 입력이 감지되면, 사용자가 제 2 방향으로 호버링 하는 제 2 호버링 입력을 수신할 수 있다.

한편, 디스플레이부(110)는 터치 입력에 따라 출력되는 어플리케이션의 수행 결과 또는 선택된 컨텐츠 등을 표시할 수 있다. 디스플레이부(110)는, 제 1 드래그 입력에 따라 실행되는 제 1 동작의 실행 결과를 표시할 수 있다.

한편, 디스플레이부(110)는 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성될 수 있다. 디스플레이부(110)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 소스 디바이스(100)의 구현 형태에 따라 소스 디바이스(100)는 디스플레이부(110)를 2개 이상 포함할 수도 있다.

제어부(120)는 통상적으로 소스 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(120)는, 메모리(170)에 저장된 프로그램들을 실행함으로써, 디스플레이부(110), 통신부(130), 출력부(140), 센싱부(150), A/V 입력부(160), 메모리(170) 등을 전반적으로 제어할 수 있다.

제어부(120)는 미러링 데이터 베이스로부터 수신된 사용자 입력과 대응되는 동작을 검출한다. 여기에서, 미러링 데이터 베이스는 적어도 하나의 사용자 입력과 관련된 싱크 디바이스(200) 또는 소스 디바이스(100)의 동작에 대한 정보를 포함하고 메모리(170)에 저장될 수 있다.

제어부(120)는 검출된 동작을 수행하는 대상을 결정하고, 결정된 대상이 검출된 동작을 수행할 수 있도록 제어하는 명령을 생성할 수 있다. 소스 디바이스(100)는 결정된 대상이 소스 디바이스(100)인 경우에는, 생성된 명령에 따라 직접 검출된 동작을 수행할 수 있다. 한편, 소스 디바이스(100)는 결정된 대상이 싱크 디바이스(200)인 경우에는, 싱크 디바이스(200)가 검출된 동작을 수행하도록 하기 위한 명령을 생성할 수 있다. 또한, 제어부(120)는 생성된 명령이 싱크 디바이스(200)로 전달될 수 있도록 통신부(130)를 제어할 수 있다.

다른 실시예에 따라, 소스 디바이스(100)와 싱크 디바이스(200)간에 UIBC 채널을 이용하는 경우, 제어부(120)는 사용자 입력에 대한 정보를 싱크 디바이스(200)에 전송하도록 통신부(130)를 제어할 수 있다. 또한, 제어부(120)는 통신부(130)가 UIBC 채널을 통해 싱크 디바이스(200)로부터 수신한 명령에 기초하여 검출된 동작을 수행할 수 있다.

제어부(120)는 사용자 입력을 수신한 경우, 햅틱 신호를 생성할 수 있다. 제어부(120)는 생성된 햅틱 신호에 기초하여 소스 디바이스(100)의 사용자 인터페이스를 제어할 수 있다. 여기에서, 사용자 인터페이스는 디스플레이부(110)로 구현될 수 있다.

통신부(130)는, 소스 디바이스(100)와 싱크 디바이스(200)를 포함한 외부 디바이스 또는 소스 디바이스(100)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(130)는, 근거리 통신부(131), 이동 통신부(132) 및 방송 수신부(133)를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)(131)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부(132)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부(133)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 소스 디바이스(100)가 방송 수신부(133)를 포함하지 않을 수도 있다.

출력부(140)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 음향 출력부(141) 및 진동 모터(142) 등이 포함될 수 있다. 한편, 출력부(140)에서 출력되는 오디오 신호는 디스플레이부(100)로 전달되어, 디스플레이부(100)에 표시될 수 있다.

음향 출력부(141)는 통신부(130)로부터 수신되거나 메모리(170)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(141)는 소스 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(141)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

진동 모터(142)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(142)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(123)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.

센싱부(150)는, 소스 디바이스(100)의 상태 또는 소스 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(120)로 전달할 수 있다. 예를 들어, 센싱부(150)는 소스 디바이스(100)의 배치 정보를 포함하는 센싱 데이터를 획득할 수 있다. 예를 들어 소스 디바이스(100)의 방향 정보 또는 가속도 정보 등이 센싱부(150)를 통해 획득될 수 있다.

제어부(120)는 센싱부(150)에서 획득된 배치 정보에 기초하여 소스 디바이스(100)의 배치 상태를 결정할 수 있다. 제어부(120)는 결정된 배치 상태를 고려하여, 디스플레이부(110)에서 수신한 사용자 입력에 대응되는 동작을 검출할 수 있다.

한편, 센싱부(150)는, 지자기 센서(Magnetic sensor)(151), 가속도 센서(Acceleration sensor)(152), 온/습도 센서(153), 적외선 센서(154), 자이로스코프 센서(155), 위치 센서(예컨대, GPS)(156), 기압 센서(157), 근접 센서(158), 및 RGB 센서(illuminance sensor)(159) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

A/V(Audio/Video) 입력부(160)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(161)와 마이크로폰(162) 등이 포함될 수 있다. 카메라(161)은 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 제어부(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

카메라(161)에서 처리된 화상 프레임은 메모리(170)에 저장되거나 통신부(150)를 통하여 외부로 전송될 수 있다. 카메라(161)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.

마이크로폰(162)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(162)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(162)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

메모리(170)는, 제어부(120)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 미러링 서비스 수행시 싱크 디바이스(200)로 전송되는 데이터 등)을 저장할 수도 있다.

메모리(170)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 디바이스(100)는 인터넷(internet)상에서 메모리(170)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.

메모리(170)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(171), 터치 스크린 모듈(172), 알림 모듈(173) 등으로 분류될 수 있다.

UI 모듈(171)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈(172)은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(120)로 전달할 수 있다. 본 발명의 일 실시예에 따른 터치 스크린 모듈(172)은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈(172)은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

터치스크린의 터치 또는 근접 터치를 감지하기 위해 터치스크린의 내부 또는 근처에 다양한 센서가 구비될 수 있다. 터치스크린의 터치를 감지하기 위한 센서의 일례로 촉각 센서가 있다. 촉각 센서는 사람이 느끼는 정도로 또는 그 이상으로 특정 물체의 접촉을 감지하는 센서를 말한다. 촉각 센서는 접촉면의 거칠기, 접촉 물체의 단단함, 접촉 지점의 온도 등의 다양한 정보를 감지할 수 있다.

또한, 터치스크린의 터치를 감지하기 위한 센서의 일례로 근접 센서가 있다.

근접 센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.

알림 모듈(173)은 소스 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 소스 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다. 또한, 소스 디바이스(100)에서 발생되는 이벤트의 예로는 디스플레이부(110)에서 수신한 사용자 입력에 기초하여 발생되는 햅틱 신호에 기초하여, 사용자 입력이 수신됨을 알리는 신호를 발생시킬 수 있다.

알림 모듈(173)은 디스플레이부(110)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(141)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(142)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

도 15는 본 발명의 일 실시예에 따라 미러링 서비스를 수행하는 싱크 디바이스(200)의 블록도를 도시한 도면이다. 도 15를 참고하면, 싱크 디바이스(200)는 통신부(210) 및 제어부(220)를 포함할 수 있다.

도 15에 도시된 미러링 서비스를 수행하는 싱크 디바이스(200)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 15에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.

통신부(210)는 소스 디바이스(100)와 미러링 서비스를 수행하는 싱크 디바이스(200)에서 소스 디바이스(100)가 획득한 사용자 입력 정보를 수신한다. 여기에서, 소스 디바이스(100)는 싱크 디바이스(200)와 미러링 서비스를 수행하기 위해 연결되어 있는 상태에서, 사용자 입력을 획득한다.

소스 디바이스(100)는 터치 입력, 호버링 입력 및 모션 입력 등 다양한 형태의 사용자 입력을 감지할 수 있다. 소스 디바이스(100)가 감지 가능한 사용자 입력은 사용자의 설정에 의해 결정될 수 있다.

제어부(220)는 싱크 디바이스 또는 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 수신한 사용자 입력 정보에 대응되는 동작을 검출하고, 검출된 동작에 기초하여 미러링 서비스를 제어한다.

본 발명의 일 실시예에 따른 제어부(220)는 검출된 동작을 수행하는 대상을 결정하고, 결정된 대상에, 검출된 동작을 수행하도록 하기 위한 명령을 생성한다.

예를 들어, 제어부(220)에서 결정된 대상이 싱크 디바이스인 경우, 제어부(220)는 검출된 동작을 수행하도록 하기 위한 명령을 생성하고, 생성된 명령에 따라 동작을 수행할 수 있다.

한편, 제어부(220)에서 결정된 대상이 소스 디바이스인 경우, 제어부(220)는 통신부(210)에서 소스 디바이스(100)에 생성된 명령을 전송하도록 제어할 수 있다.

본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.

본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.

본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. "매커니즘", "요소", "수단", "구성"과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, "필수적인", "중요하게" 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다

5: 사용자 입력
10: 미러링 서비스를 수행하는 시스템
100: 소스 디바이스
200: 싱크 디바이스

Claims (21)

1. 싱크 디바이스와 미러링 서비스를 수행하는 소스 디바이스에서 사용자 입력을 수신하는 단계;
   적어도 하나의 사용자 입력과 관련된 상기 싱크 디바이스 또는 상기 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 상기 수신된 사용자 입력과 대응되는 동작을 검출하는 단계; 및
   상기 검출된 동작에 기초하여 상기 미러링 서비스를 제어하는 단계를 포함하는 소스 디바이스가 미러링 서비스를 수행하는 방법.
2. 제 1항에 있어서, 상기 미러링 서비스를 제어하는 단계는,
   상기 검출된 동작을 수행하는 대상을 결정하는 단계; 및
   상기 결정된 대상에 상기 검출된 동작을 수행하기 위한 명령을 전송하는 단계를 포함하는 소스 디바이스가 미러링 서비스를 수행하는 방법.
3. 제 2항에 있어서, 상기 미러링 서비스를 제어하는 단계는,
   상기 결정된 대상이 상기 소스 디바이스인 경우, 상기 전송된 명령에 따라 상기 검출된 동작을 수행하여, 상기 수행 결과를 상기 싱크 디바이스에 전송하고,
   상기 결정된 대상이 상기 싱크 디바이스인 경우, 상기 싱크 디바이스에 상기 명령을 전송하는 단계를 포함하는 소스 디바이스가 미러링 서비스를 수행하는 방법.
4. 제 1항에 있어서, 상기 동작을 검출하는 단계는,
   상기 소스 디바이스의 배치 상태를 결정하는 단계; 및
   상기 결정된 배치 상태에 기초하여, 상기 수신된 사용자 입력에 대응되는 동작을 검출하는 단계를 포함하는 소스 디바이스가 미러링 서비스를 수행하는 방법.
5. 제 1항에 있어서, 상기 동작을 검출하는 단계는,
   상기 수신한 사용자 입력을 조그 다이얼 인터페이스에서의 회전, 누름, 방향에 따라 식별되는 입력으로 변환하는 단계; 및
   상기 변환된 입력에 대응되는 동작을 검출하는 단계를 포함하는 소스 디바이스가 미러링 서비스를 수행하는 방법.
6. 제 1항에 있어서, 상기 사용자 입력을 수신하는 단계는,
   상기 사용자 입력을 수신한 경우, 햅틱 신호를 생성하는 단계; 및
   상기 생성된 햅틱 신호에 기초하여 상기 소스 디바이스의 사용자 인터페이스를 제어하는 단계를 포함하는 소스 디바이스가 미러링 서비스를 수행하는 방법.
7. 제 1항에 있어서,
   상기 검출된 동작에 대한 정보를 상기 싱크 디바이스에 전송하는 단계; 및
   상기 검출된 동작을 수행하는 대상이 상기 소스 디바이스인 경우, 상기 싱크 디바이스로부터 상기 검출된 동작을 수행하기 위한 명령을 수신하는 단계를 더 포함하고,
   상기 미러링 서비스를 제어하는 단계는,
   상기 수신된 명령에 기초하여 상기 미러링 서비스를 제어하는 소스 디바이스가 미러링 서비스를 수행하는 방법.
8. 소스 디바이스와 미러링 서비스를 수행하는 싱크 디바이스에서 상기 소스 디바이스가 획득한 사용자 입력 정보를 수신하는 단계;
   상기 싱크 디바이스 또는 상기 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 상기 수신한 사용자 입력 정보에 대응되는 동작을 검출하는 단계; 및
   상기 검출된 동작에 기초하여 상기 미러링 서비스를 제어하는 단계를 포함하는 싱크 디바이스가 미러링 서비스를 수행하는 방법.
9. 제 8항에 있어서, 상기 미러링 서비스를 제어하는 단계는,
   상기 검출된 동작을 수행하는 대상을 결정하는 단계; 및
   상기 결정된 대상에 상기 검출된 동작을 수행하기 위한 명령을 전송하는 단계를 포함하는 싱크 디바이스가 미러링 서비스를 수행하는 방법.
10. 제 9항에 있어서, 상기 미러링 서비스를 제어하는 단계는,
    상기 결정된 대상이 상기 싱크 디바이스인 경우, 상기 전송된 명령에 따라 상기 검출된 동작을 수행하는 단계; 및
    상기 결정된 대상이 상기 소스 디바이스인 경우, 상기 소스 디바이스에 상기 명령을 전송하는 단계를 포함하는 싱크 디바이스가 미러링 서비스를 수행하는 방법.
11. 싱크 디바이스와 미러링 서비스를 수행하는 소스 디바이스에서 사용자 입력을 수신하는 디스플레이부; 및
    적어도 하나의 사용자 입력과 관련된 상기 싱크 디바이스 또는 상기 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 상기 수신된 사용자 입력과 대응되는 동작을 검출하고, 상기 검출된 동작에 기초하여 상기 미러링 서비스를 제어하는 제어부를 포함하는 미러링 서비스를 수행하는 소스 디바이스.
12. 제 11항에 있어서, 상기 제어부는,
    상기 검출된 동작을 수행하는 대상을 결정하고, 상기 결정된 대상이 상기 검출된 동작을 수행하도록 명령을 생성하는 미러링 서비스를 수행하는 소스 디바이스.
13. 제 12항에 있어서, 상기 제어부는,
    상기 결정된 대상이 상기 소스 디바이스인 경우, 상기 전송된 명령에 따라 상기 검출된 동작을 수행하여, 상기 수행 결과를 상기 싱크 디바이스에 전송하고,
    상기 결정된 대상이 상기 싱크 디바이스인 경우, 상기 싱크 디바이스에 상기 명령을 전송하는 미러링 서비스를 수행하는 싱크 디바이스.
14. 제 11항에 있어서,
    상기 소스 디바이스의 배치 정보를 획득하는 센싱부를 더 포함하고,
    상기 제어부는,
    상기 획득한 배치 정보에 기초하여 상기 소스 디바이스의 배치 상태를 결정하고, 상기 결정된 배치 상태에 기초하여, 상기 수신된 사용자 입력에 대응되는 동작을 검출하는 미러링 서비스를 수행하는 소스 디바이스.
15. 제 11항에 있어서, 상기 제어부는,
    상기 수신된 사용자 입력을 조그 다이얼 인터페이스에서의 회전, 누름, 방향에 따라 식별되는 입력으로 변환하고, 상기 변환된 입력에 대응되는 동작을 검출하는 미러링 서비스를 수행하는 소스 디바이스.
16. 제 11항에 있어서, 상기 제어부는,
    상기 사용자 입력이 수신된 경우, 햅틱 신호를 생성하고, 상기 생성된 햅틱 신호에 기초하여 상기 소스 디바이스의 사용자 인터페이스를 제어하는 소스 디바이스.
17. 제 11항에 있어서,
    상기 검출된 동작에 대한 정보를 상기 싱크 디바이스에 전송하는 통신부를 더 포함하고,
    상기 통신부는,
    상기 검출된 동작을 수행하는 대상이 상기 소스 디바이스인 경우, 상기 싱크 디바이스로부터 상기 검출된 동작을 수행하기 위한 명령을 수신하고,
    상기 제어부는,
    상기 수신된 명령에 기초하여 상기 미러링 서비스를 제어하는 미러링 서비스를 수행하는 소스 디바이스.
18. 소스 디바이스와 미러링 서비스를 수행하는 싱크 디바이스에서 상기 소스 디바이스가 획득한 사용자 입력 정보를 수신하는 통신부; 및
    상기 싱크 디바이스 또는 상기 소스 디바이스의 동작에 대한 정보를 포함하는 미러링 데이터 베이스로부터 상기 수신한 사용자 입력 정보에 대응되는 동작을 검출하고, 상기 검출된 동작에 기초하여 상기 미러링 서비스를 제어하는 제어부를 포함하는 미러링 서비스를 수행하는 싱크 디바이스.
19. 제 18항에 있어서, 상기 제어부는,
    상기 검출된 동작을 수행하는 대상을 결정하고,
    상기 통신부는,
    상기 결정된 대상에 상기 검출된 동작을 수행하기 위한 명령을 전송하는 미러링 서비스를 수행하는 싱크 디바이스.
20. 제 19항에 있어서, 상기 제어부는,
    상기 결정된 대상이 상기 싱크 디바이스인 경우, 상기 전송된 명령에 따라 상기 검출된 동작을 수행하고,
    상기 통신부는,
    상기 결정된 대상이 상기 소스 디바이스인 경우, 상기 소스 디바이스에 상기 명령을 전송하는 미러링 서비스를 수행하는 싱크 디바이스.
21. 제 1 항 내지 제 10 항 중 어느 한 항에 의한 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images