KR101635054B1 - 복수의 단말을 일괄적으로 제어하는 단말 제어 방법 - Google Patents

Abstract

본 발명은 복수의 단말을 일괄적으로 제어하는 단말 제어 방법에 관한 것이다.
단말 제어 방법은 마스터 단말을 통해 제어하고자 하는 제어 객체를 식별하고 식별된 제어 객체에 대해 객체 검색 및 이미지 검색을 수행하여 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체에 대한 제어 명령을 상기 슬레이브 단말에 전달하여 타겟 객체를 제어하거나 또는 슬레이브 단말에서 마스터 단말을 통해 제어하고자 하는 제어 객체를 식별하고 식별된 제어 객체에 대해 객체 검색 및 이미지 검색을 수행하여 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체를 제어함으로써, 제어 객체가 수행하는 동작과 동일한 동작을 수행하도록 타겟 객체를 일괄적으로 제어하는 방법을 제안한다.

Description

복수의 단말을 일괄적으로 제어하는 단말 제어 방법{Method for controlling a plurality of terminals collectively}

아래의 설명은 복수의 단말을 일괄적으로 제어하는 단말 제어 방법에 관한 것으로, 구체적으로는, 제어하고자 하는 제어 객체에 대응하여 상기 제어 객체와 동일하거나 또는 유사한 동작을 수행하는 타겟 객체를 포함하는 슬레이브 단말을 일괄적으로 제어하는 단말 제어 방법에 관한 것이다.

단말에 설치된 프로그램을 실행하는데 있어서, 종래에는 단말에 설치된 프로그램을 선택하여 선택된 프로그램을 실행시켰다. 이 때, 프로그램을 실행해야 하는 단말이 하나인 경우, 사용자는 아주 간단하게 단말에 설치된 애플리케이션을 선택하여 프로그램을 동작시킨다. 그러나, 단말이 복수 개로 존재하는 경우, 사용자는 적게는 수십 개에서 많게는 수백 개의 단말의 프로그램을 일일이 선택하여 선택된 프로그램을 실행시킨다. 때문에, 이러한 프로그램 실행 방법은 복수의 단말의 프로그램을 실행시키는 경우, 시간이 오래 걸리며, 일일이 선택해야 하므로 프로그램의 실행 동작에 있어서 매우 번거롭다.

또한, 단말이 새 제품인 경우, 프로그램이 화면에 동일하게 배치되어 있는 반면, 기존에 사용하던 단말인 경우, 단말에 따라 프로그램이 화면에 상이하게 배치되어 있기 때문에, 사용자는 각 단말의 화면에서 해당 프로그램을 찾아야 하는 수고가 발생한다.

최근에는 이러한 문제점을 해결하기 위하여 단말과 단말을 연동하여 하나의 단말을 제어하여 서로 다른 단말을 제어하는 방법이 제안되었다. 구체적으로, 제안된 방법은 하나의 단말에 설치된 프로그램을 실행하면, 이에 따라 서로 다른 단말에 설치된 프로그램의 실행이 가능하다.

그러나, 이 경우, 단말들은 서로 동일한 프로그램이 설치되어 있어야 하며, 어느 하나의 단말에 설치된 프로그램의 버전 또는 업그레이드 상태가 상이한 경우, 제어가 불가능하다. 그래서, 사용자는 단말을 제어하는 동작 이후에, 실행되지 않은 단말에 대하여 추가적인 실행 동작이 요구된다.

따라서, 하나의 단말에 대한 제어만으로 별도의 사용자 조작 없이 다수의 단말을 간편하게 제어할 수 있는 방법이 필요하다.

본 발명은 마스터 단말의 화면에서 사용자가 선택한 제어 객체에 대응하여 선택된 제어 객체와 동일한 동작을 수행하도록 타겟 객체를 일괄적으로 제어하는 마스터 단말 및 제어 장치가 수행하는 단말 제어 방법을 제공할 수 있다.

본 발명은 마스터 단말과 슬레이브 단말에서 사용되는 프로그램에 매칭되는 제어 객체에 대응하여 타겟 객체를 일괄적으로 제어하는 마스터 단말 및 제어 장치가 수행하는 단말 제어 방법을 제공할 수 있다.

본 발명은 제어 객체와 타겟 객체 간에 속성 정보를 비교할 뿐만 아니라, 제어 객체의 이미지와 타겟 객체의 이미지를 이용한 이미지 패턴 매칭을 수행하는 마스터 단말 및 제어 장치가 수행하는 단말 제어 방법을 제공할 수 있다.

일실시예에 따른 제어 장치가 수행하는 단말 제어 방법은 마스터 단말을 통해 제어하고자 하는 제어 객체를 식별하는 단계; 슬레이브 단말의 화면을 분석하여 상기 식별된 제어 객체에 대해 마스터 단말과 슬레이브 단말 간의 객체 검색을 수행하는 단계; 상기 제어 객체가 검색되지 않은 경우, 상기 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행하는 단계; 상기 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체에 대한 제어 명령을 상기 슬레이브 단말에 전달하는 단계; 및 상기 슬레이브 단말로부터 제어 명령에 따른 실행 결과를 수신하여 수신한 실행 결과를 디스플레이하는 단계를 포함할 수 있다.

일실시예에 따른 제어 객체를 식별하는 단계는 상기 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따라 미리 설정된 제어 객체 중 적어도 하나의 제어 객체를 식별할 수 있다.

일실시예에 따른 제어 객체를 식별하는 단계는 상기 사용자가 입력한 좌표에 따른 제어 객체를 식별하는 경우, 상기 제어 객체와 관련된 특정 형태의 템플릿을 이용하여 제외 목록을 생성하는 단계; 및 상기 제외 목록에 기초해 마스터 단말의 화면의 제어 객체를 분석하여 상기 좌표가 포함되는 제어 객체의 속성 정보를 식별하는 단계를 포함할 수 있다.

일실시예에 따른 제외 목록을 생성하는 단계는 상기 특정 형태의 템플릿에 매칭되는 마스터 단말의 화면의 복수의 타겟 객체를 추출하여 추출한 복수의 타겟 객체 중에서 제어하고자 하는 대상이 아닌 타겟 객체에 대한 제외 목록을 생성할 수 있다.

일실시예에 따른 객체 검색을 수행하는 단계는 상기 슬레이브 단말의 화면의 타겟 객체를 분석하여 상기 타겟 객체의 속성 정보를 식별하는 단계; 및 상기 제어 객체의 속성 정보 및 상기 타겟 객체의 속성 정보를 비교하여 속성 정보를 통한 객체 검색을 수행하는 단계를 포함할 수 있다.

일실시예에 따른 객체 검색을 수행하는 단계는 상기 슬레이브 단말에서 상기 제어 객체의 속성 정보와 일치하는 타겟 객체의 속성 정보가 검색되는지에 대한 객체 검색을 수행할 수 있다.

일실시예에 따른 이미지 검색을 수행하는 단계는 상기 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말의 화면의 타겟 객체를 검색하는 단계; 및 상기 검색된 타겟 객체의 이미지와 상기 제어 객체의 이미지 간의 이미지 검색을 수행하는 단계를 포함할 수 있다.

일실시예에 따른 템플릿을 검색하는 단계는 상기 특정 형태의 템플릿의 스케일이 조절된 서로 다른 템플릿 및 제외 목록을 이용하여 슬레이브 단말의 화면의 타겟 객체를 검색하고, 상기 제외 목록은, 특정 형태의 템플릿에 매칭되는 마스터 단말의 화면의 복수의 타겟 객체를 추출하여 추출한 복수의 타겟 객체 중에서 제어하고자 하는 대상이 아닌 타겟 객체를 포함할 수 있다.

일실시예에 따른 이미지 검색을 수행하는 단계는 상기 이미지의 속성 및 이미지의 특징점 중 적어도 하나를 포함하는 이미지 특징 정보를 이용하여 이미지 검색을 수행할 수 있다.

일실시예에 따른 슬레이브 단말이 수행하는 단말 제어 방법은 마스터 단말을 통해 제어하고자 하는 제어 객체를 식별하는 단계; 상기 슬레이브 단말에서 상기 제어 객체의 속성 정보와 일치하는 타겟 객체의 속성 정보가 검색되는지에 대한 객체 검색을 수행하는 단계; 상기 제어 객체가 검색되지 않은 경우, 상기 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행하는 단계; 상기 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체를 제어하는 단계; 및 상기 제어된 타겟 객체의 실행 결과를 상기 마스터 단말에 전달하는 단계를 포함할 수 있다.

일실시예에 따른 제어 객체를 식별하는 단계는 상기 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따라 미리 설정된 제어 객체 중 적어도 하나의 제어 객체 식별할 수 있다.

일실시예에 따른 제어 객체를 식별하는 단계는 상기 사용자가 입력한 좌표에 따른 제어 객체를 식별하는 경우, 상기 제어 객체와 관련된 특정 형태의 템플릿을 이용하여 제외 목록을 생성하는 단계; 및 상기 제외 목록에 기초해 마스터 단말의 화면의 제어 객체를 분석하여 상기 좌표가 포함되는 제어 객체의 속성 정보를 식별하는 단계를 포함할 수 있다.

일실시예에 따른 객체 검색을 수행하는 단계는 상기 슬레이브 단말의 화면의 타겟 객체를 분석하여 상기 타겟 객체의 속성 정보를 식별하는 단계; 및 상기 타겟 객체의 속성 정보 및 상기 제어 객체의 속성 정보를 비교하여 객체 검색을 수행하는 단계를 포함할 수 있다.

일실시예에 따른 이미지 검색을 수행하는 단계는, 상기 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말의 화면의 타겟 객체를 검색하는 단계; 및 상기 검색된 타겟 객체의 이미지와 상기 제어 객체의 이미지 간의 이미지 검색을 수행하는 단계를 포함할 수 있다.

일실시예에 따른 이미지 검색을 수행하는 단계는 상기 이미지의 속성 및 이미지의 특징점 중 적어도 하나를 포함하는 이미지 특징 정보를 이용하여 이미지 검색을 수행할 수 있다.

일실시예에 따른 마스터 단말이 수행하는 단말 제어 방법은 상기 마스터 단말에서 제어하고자 하는 제어 객체를 식별하는 단계; 슬레이브 단말의 화면을 분석하여 슬레이브 단말에서 상기 제어 객체의 속성 정보와 일치하는 타겟 객체의 속성 정보가 검색되는지에 대한 객체 검색을 수행하는 단계; 상기 제어 객체가 검색되지 않은 경우, 상기 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행하는 단계; 상기 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체에 대한 제어 명령을 상기 슬레이브 단말에 전달하는 단계; 및 상기 슬레이브 단말로부터 제어 명령에 따른 실행 결과를 수신하는 단계를 포함할 수 있다.

일실시예에 따른 제어 객체를 식별하는 단계는 상기 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따른 미리 설정된 제어 객체 중 적어도 하나의 제어 객체를 식별할 수 있다.

일실시예에 따른 제어 객체를 식별하는 단계는, 상기 사용자가 입력한 좌표에 따른 제어 객체를 식별하는 경우, 상기 사용자가 입력한 화면의 좌표를 저장하는 단계; 상기 제어 객체와 관련된 특정 형태의 템플릿을 이용하여 제외 목록을 생성하는 단계; 및 상기 제외 목록에 기초해 마스터 단말의 화면의 제어 객체를 분석하여 상기 좌표가 포함되는 제어 객체의 속성 정보를 식별하는 단계를 포함할 수 있다.

일실시예에 따른 객체 검색을 수행하는 단계는, 상기 슬레이브 단말의 화면의 타겟 객체를 분석하여 상기 타겟 객체의 속성 정보를 식별하는 단계; 및 상기 제어 객체의 속성 정보 및 상기 타겟 객체의 속성 정보를 비교하여 속성 정보를 통한 객체 검색을 수행하는 단계를 포함할 수 있다.

일실시예에 따른 이미지 검색을 수행하는 단계는 상기 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말의 화면의 타겟 객체를 검색하는 단계; 및 이미지의 속성 및 이미지의 특징점 중 적어도 하나를 포함하는 이미지 특징 정보를 이용하여 상기 검색된 타겟 객체의 이미지와 상기 제어 객체의 이미지 간의 이미지 검색을 수행하는 단계를 포함할 수 있다.

일실시예에 따른 마스터 단말 및 제어 장치가 수행하는 단말 제어 방법은 마스터 단말의 화면에서 사용자가 선택한 제어 객체에 대응하여 선택된 제어 객체와 동일한 동작을 수행하도록 타겟 객체를 일괄적으로 제어함으로써, 마스터 단말에 대한 동작만으로 슬레이브 단말을 보다 간편하게 제어할 수 있다.

일실시예에 따른 마스터 단말 및 제어 장치가 수행하는 단말 제어 방법은 마스터 단말과 슬레이브 단말에서 사용되는 프로그램에 매칭하는 제어 객체에 대응하여 타겟 객체를 일괄적으로 제어함으로써, 보다 간편하면서 원활하게 타겟 객체를 제어할 수 있다.

일실시예에 따른 마스터 단말 및 제어 장치가 수행하는 단말 제어 방법은 제어 객체와 타겟 객체 간에 속성 정보를 비교할 뿐만 아니라, 제어 객체의 이미지와 타겟 객체의 이미지를 이용한 이미지 패턴 매칭을 수행함으로써, 이미지를 통해서 제어 객체와 동일하거나 유사한 타겟 객체를 추출할 수 있다.

도 1은 일실시예에 따른 마스터 단말, 제어 장치 및 슬레이브 단말에 대한 전체 구성도이다.
도 2는 일실시예에 따른 마스터 단말과 슬레이브 단말에 대한 전체 구성도이다.
도 3은 일실시예에 따른 마스터 단말의 화면을 분석하여 사용자가 입력한 제어 객체를 검출하는 동작을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 슬레이브 단말의 화면에 노출된 타겟 객체를 제어하는 동작을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 속성 정보를 이용하여 제어 객체에 대응하는 타겟 객체를 검색하는 동작을 설명하기 위한 도면이다.
도 6은 일실시예에 따른 제어 객체의 이미지를 이용해 타겟 객체를 검색하는 동작을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 제어 장치가 수행하는 단말 제어 방법을 설명하기 위한 흐름도이다.
도 8은 일실시예에 따른 슬레이브 단말이 수행하는 단말 제어 방법을 설명하기 위한 흐름도이다.
도 9는 일실시예에 따른 마스터 단말이 수행하는 단말 제어 방법을 설명하기 위한 흐름도이다.

이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 일실시예에 마스터 단말, 제어 장치 및 슬레이브 단말에 대한 전체 구성도이다.

도 1을 참고하면, 단말 제어 방법은 제어 장치(101), 마스터 단말(102) 및 슬레이브 단말(105) 간에 동작하는 제어 방법으로 제어 장치(101)를 통해 마스터 단말(102)의 조작에 따른 복수의 슬레이브 단말(105)을 일괄적으로 제어할 수 있는 방법을 제안하고 있다. 일례로, 마스터 단말(102)과 슬레이브 단말(105)은 스마트폰, 스마트 와치, 웨어러블 기기, 데스크 탑, 테블릿 PC, 셋탑박스, 텔레비전, 냉장고, 등의 제어가 가능한 모든 전자 기기를 포함할 수 있다.

구체적으로, 마스터 단말(102)은 화면에서 제어 객체(104)에 대응하여 제어 객체(104)와 동일한 동작을 수행하는 슬레이브 단말에 설치된 타겟 객체(106), (107), (108)를 일괄적으로 제어하는 단말일 수 있다. 일례로, 마스터 단말(102)은 복수의 슬레이브 단말(105)에 설치된 프로그램 또는 애플리케이션에 대한 테스트를 수행하기 위한 테스트 대상인 프로그램 또는 애플리케이션에 대한 실제적인 조작이 이루어지는 제어 단말일 수 있다.

여기서, 제어 객체(104)는 타겟 객체(106), (107), (108)에 대하여 일괄적으로 제어하기 위한 기준이 되는 객체일 수 있다. 그리고, 타겟 객체(106), (107), (108)는 제어하기 위한 기준이 되는 제어 객체(104)에 대응하여 동일하거나 또는 유사한 동작을 수행하는 객체일 수 있다. 일례로, 제어 객체(104)와 타겟 객체(106), (107), (108)는 단말에서 제어 가능한 프로그램, 애플리케이션 또는 프로그램에 대한 아이콘 선택, 매뉴얼 확인 등을 포함할 수 있다.

또한, 슬레이브 단말(105)는 마스터 단말(101)로부터 전달된 제어 명령에 따라 제어 객체(104)에 대응하는 타겟 객체(106), (107), (108)를 실행하고, 실행된 실행 결과를 마스터 단말(102) 또는 제어장치(101)에 전달하는 단말일 수 있다. 일례로, 슬레이브 단말(105)은 테스트를 위해 마스터 단말(102)에서 제어하고자 하는 제어 객체에 매칭되는 현재 설치된 프로그램 또는 애플리케이션에 대한 테스트가 이루어지는 테스트 대상 단말일 수 있다.

결국, 단말 제어 방법은 제어 객체(104)에 매칭하는 애플리케이션에 대응하여 슬레이브 단말(105)에 설치된 타겟 객체에 매칭하는 애플리케이션 또는 프로그램을 실행하기 위한 인터페이스를 제공하기 위한 방법일 수 있다. 또한, 단말 제어 방법은 타겟 객체에 매칭하는 애플리케이션 또는 프로그램에 따른 세부 동작으로써, 아이콘, 아이템, 매뉴얼 등의 인터페이스를 제공하기 위한 방법일 수 있다.

제어 장치(101)는 마스터 단말(102)을 통해 제어하고자 제어 객체를 식별할 수 있다. 이 때, 제어 장치(101)는 사용자에 의해 수동적으로 선택된 제어 객체를 식별하거나, 또는, 자동적으로 선택된 제어 객체 중 적어도 하나의 제어 객체를 식별할 수 있다. 일례로, 제어 장치(101)는 마스터 단말의 화면에서 사용자가 입력한 좌표를 수신하고, 수신한 좌표에 따른 제어 객체를 식별할 수 있다. 다른 일례로, 제어 장치(101)는 외부의 입력 정보에 따른 미리 설정된 제어 객체를 식별할 수 있다.

이때, 수동적으로 선택된 제어 객체를 식별하는 경우, 마스터 단말(102)은 제어 객체를 화면에 표시하고, 사용자로부터 화면에 표시된 제어 객체에 대한 선택을 입력 받을 수 있다. 이때, 마스터 단말(102)은 화면에서 사용자가 터치한 위치에 대한 좌표(103)를 추출할 수 있다. 여기서, 좌표(202)는 사용자에게 제공되는 마스터 단말(201)의 화면의 사용자 인터페이스 상에서 사용자가 터치한 위치를 의미할 수 있다. 일례로, 좌표(202)는 마스터 단말(201)의 화면의 비율에 따른 사용자가 선택한 위치에 대한 (x, y)의 좌표값을 가질 수 있다. 그리고, 마스터 단말(102)은 추출한 좌표(103) 및 캡쳐된 마스터 단말의 화면을 제어 장치(101)로 전달할 수 있다. 제어 장치(101)는 마스터 단말(102)로부터 수신한 좌표(103)를 이용하여 마스터 단말의 화면에서 사용자가 선택한 제어 객체(104)를 식별할 수 있다.

또한, 자동적으로 선택된 제어 객체를 식별하는 경우, 제어 장치(101)는 기계 학습을 통해 미리 설정된 입력 정보에 대하여 외부장치(109)에서 제공받을 수 있다. 다시 말해, 외부장치(109)는 제어 객체 또는 제어 장치(101)의 내부에서 동작하는 알고리즘 또는 외부의 입력 정보에 따라 미리 설정된 제어 객체를 식별할 수 있다. 그리고, 제어 장치(101)는 외부장치(109)로부터 제어하고자 하는 제어 객체에 대한 미리 설정된 입력 정보를 제공받을 수 있다.

이후, 제어 장치(101)는 식별한 제어 객체(104)에 대응하여 일괄적으로 제어하고자 하는 슬레이브 단말(105)로부터 캡쳐된 슬레이브 단말(105)의 화면을 수신할 수 있다. 일례로, 캡쳐된 슬레이브 단말(105)의 화면은 현재 슬레이브 단말(105)의 화면을 통해 표시된 사용자 인터페이스에 관한 것으로 홈 화면, 배경 화면, 특정 애플리케이션의 실행 화면 등이 캡쳐된 것일 수 있다. 그리고, 제어 장치(101)는 수신한 슬레이브 단말(105)의 화면의 타겟 객체를 분석하여 식별된 제어 객체(104)에 대해 마스터 단말(102)과 슬레이브 단말(105) 간의 객체 검색을 수행할 수 있다

여기서, 제어 장치(101)는 객체 검색을 통해 제어 객체(104)가 검색되지 않은 경우, 제어 객체의 이미지와 매칭되는 타겟 객체에 대해 이미지 검색을 수행할 수 있다. 이후, 제어 장치(101)는 객체 검색을 통해 확인된 타겟 객체(106), (107), (108) 또는 이미지 검색을 통해 확인된 타겟 객체(106), (107), (108)에 대한 제어 명령을 슬레이브 단말(105)에 전달할 수 있다. 이 때, 제어 장치(101)는 확인된 타겟 객체(106), (107), (108)에 대응하여 각 슬레이브 객체에 설치된 애플리케이션에 따른 프로그램을 실행시키기 위한 제어 명령을 전달할 수 있다.

그리고, 제어 명령에 따라 타겟 객체(106), (107), (108)를 실행한 경우, 각 슬레이브 단말(105)은 실행 결과를 제어 장치(101)로 전달할 수 있다. 반면, 제어 명령에 따라 타겟 객체(106), (107), (108)를 실행하지 못한 경우, 실행하지 못한 슬레이브 단말(105)은 타겟 객체에 대한 실행 오류와 관련된 오류 메시지를 제어 장치(101)로 전달할 수 있다.

제어 장치(101)는 슬레이브 단말(105)로부터 수신한 실행 결과에 대응하여 사용자가 확인할 수 있도록 타겟 객체에 따른 프로그램의 실행 결과를 디스플레이하거나, 오류 메시지를 마스터 단말(102)에 전달할 수 있다.

본 발명에서 제안하는 단말 제어 방법은 마스터 단말의 화면에 기초하여 제어하고자 하는 제어 객체를 식별함으로써, 마스터 단말(201)에 대하여 추가적인 제어 프로그램을 설치하거나 또는 슬레이브 단말(204)을 위한 시스템 설정을 하지 않고, 슬레이브 단말(204)을 간편하게 제어할 수 있다.

또한, 단말 제어 방법은 속성 정보를 이용한 객체 검색을 통해 동일한 객체를 검색하지 못하더라도 제어 객체(104)와 타겟 객체(106), (107), (108) 간에 이미지 패턴 매칭을 통해 제어 객체(203)와 유사한 특징을 갖는 타겟 객체(106), (107), (108)를 검색함으로써, 슬레이브 단말(105)에 설치된 타겟 객체(106), (107), (108)에 대하여 보다 유연하게 제어할 수 있다.

도 2는 일실시예에 따른 마스터 단말과 슬레이브 단말에 대한 전체 구성도이다.

도 2를 참고하면, 단말 제어 방법은 마스터 단말(201)과 슬레이브 단말(204) 간에 동작하는 제어 방법을 제안하고 있다. 여기서, 단말 제어 방법은 객체 검색 및 이미지 검색을 수행하는 주체에 따라 2 가지 실시예로 구현이 가능할 수 있다. 구체적으로, 마스터 단말(201)은 단말(204)에서 제어하고자 하는 제어 객체에 대한 객체 검색 및 이미지 검색을 수행하여 슬레이브 단말(204)을 제어할 수 있다. 반면, 슬레이브 단말(204)은 마스터 단말(201)을 통해 제어하고자 하는 제어 객체를 객체 검색과 이미지 검색을 수행하여, 직접적으로 타겟 객체를 제어할 수 있다.

제1 실시예에 따르면, 슬레이브 단말(204)은 마스터 단말(201)에서 제어하고자 하는 제어 객체에 대응하는 타겟 객체를 직접적으로 제어할 수 있다.

슬레이브 단말(204)은 마스터 단말(201)로부터 타겟 객체를 제어하기 위한 제어 명령을 수신할 수 있다. 마스터 단말(201)은 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체, 외부의 입력 정보에 따라 미리 설정된 제어 객체 중 적어도 하나의 제어 객체를 식별할 수 있다.

보다 구체적으로, 마스터 단말(201)은 식별한 제어 객체에 대하여 제어 객체의 좌표, 제어 객체의 속성 정보 및 제어 객체의 이미지 등을 포함하는 제어 객체에 관한 정보를 슬레이브 단말(204)로 전달할 수 있다. 그리고, 슬레이브 단말(204)은 수신한 제어 객체에 관한 정보를 분석하여 마스터 단말(201)을 통해 제어하고자 하는 제어 객체를 식별할 수 있다.

다시 말해, 슬레이브 단말(204)은 제어 객체에 관한 정보에 따른 마스터 단말(201)의 화면을 분석하여 제어하고자 하는 제어 객체를 식별할 수 있다. 즉, 슬레이브 단말(204)은 캡쳐된 마스터 단말(201)의 화면을 분석하여 제어 객체와 관련된 특정 형태의 템플릿에 따른 제어 객체에 대한 제외 목록을 생성할 수 있다. 그리고, 슬레이브 단말(204)은 제외 목록에 기초해 마스터 단말의 화면의 제어 객체를 분석하여 제어하고자 하는 제어 객체를 식별할 수 있다.

그리고, 슬레이브 단말(204)은 식별된 제어 객체에 대해 마스터 단말과 슬레이브 단말(204) 간의 객체 검색을 수행할 수 있다. 구체적으로, 슬레이브 단말(204)은 슬레이브 단말(204)의 화면의 타겟 객체를 분석하여 타겟 객체의 속성 정보를 식별할 수 있다. 그리고, 슬레이브 단말(204)은 타겟 객체의 속성 정보 및 제어 객체(203)의 속성 정보를 비교하여 슬레이브 단말 내에서 제어 객체(203)의 속성 정보와 동일한 정보를 갖는 타겟 객체가 존재하는지 여부에 대한 객체 검색을 수행할 수 있다.

여기서, 슬레이브 단말(204)은 제어 객체(203)에 대한 단말(204) 내 검색을 실패한 경우, 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행할 수 있다.

이후, 슬레이브 단말(204)은 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체를 제어할 수 있다. 다시 말해, 슬레이브 단말(204)은 타겟 객체에 매칭되는 애플리케이션을 실행하거나, 애플리케이션의 세부 동작에 의한 프로그램을 처리할 수 있다. 일례로, 슬레이브 단말(204)은 타겟 객체 매칭되는 MP3 플레이어의 세부 동작으로써, 실행, 정지, 되감기, 일시 정지 등의 프로그램을 처리할 수 있다.

그리고, 타겟 객체(205), (206), (207)에 대한 실행 유무에 따라 실행 결과 또는 에러 메시지를 마스터 단말(201)에 전달할 수 있다. 마스터 단말(201)은 각 슬레이브 단말(204)로부터 수신한 실행 결과를 화면에 표시하거나, 또는 에러 메시지를 화면에 표시할 수 있다.

제2 실시예에 따르면, 마스터 단말(201)은 단말(201)에서 제어하고자 하는 제어 객체에 대하여 객체 검색 및 이미지 검색을 수행함으로써, 일괄적으로 슬레이브 단말(204)에 설치된 타겟 객체를 제어할 수 있다.

구체적으로, 마스터 단말(201)은 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따라 미리 설정된 제어 객체 중 적어도 하나의 제어 객체를 식별할 수 있다.

그리고, 마스터 단말(201)은 슬레이브 단말(204)의 화면을 분석하여 식별된 제어 객체(203)에 대해 마스터 단말(201)과 슬레이브 단말(204) 간의 객체 검색을 수행할 수 있다. 여기서, 마스터 단말(201)은 일괄적으로 제어하고자 하는 슬레이브 단말(204)로부터 캡쳐된 화면을 수신하고, 수신한 각 슬레이브 단말(204)의 화면의 타겟 객체를 분석할 수 있다.

마스터 단말(201)은 제어 객체(203)의 속성 정보 및 분석된 슬레이브 단말(204)의 타겟 객체의 속성 정보를 비교하여 슬레이브 단말(204)에 설치된 타겟 객체에서 제어 객체(203)가 검색되는지에 대한 객체 검색을 수행할 수 있다. 여기서, 마스터 단말(201)은 객체 검색을 통해 제어 객체에 대한 검색을 실패한 경우를 고려하여 이미지 검색을 수행할 수 있다. 다시 말해, 마스터 단말(201)은 제어 객체가 검색되지 않은 경우, 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행할 수 있다.

이후, 마스터 단말(201)은 객체 검색을 통해 확인된 타겟 객체(205), (206), (207) 또는 이미지 검색을 통해 확인된 타겟 객체(205), (206), (207)에 대한 제어 명령을 슬레이브 단말(204)에 전달할 수 있다.

각 슬레이브 단말(204)은 제어 명령에 따라 타겟 객체(205), (206), (207)를 실행할 수 있다. 이 때, 각 슬레이브 단말(204)은 타겟 객체(205), (206), (207)에 매칭되는 애플리케이션, 프로그램, 애플리케이션의 동작과 관련된 세부 아이템 등을 제어할 수 있다.

그리고, 각 슬레이브 단말(204)은 타겟 객체(205), (206), (207)에 대한 실행 유무에 따라 실행 결과 또는 에러 메시지를 마스터 단말(201)에 전달할 수 있다. 마스터 단말(201)은 각 슬레이브 단말(204)로부터 수신한 실행 결과를 화면에 표시할 수 있다.

여기서, 마스터 단말(201)은 복수의 슬레이브 단말(204)로부터 각 실행 결과에 대하여 썸네일을 이용한 요약본 형태로 화면에 표시할 수 있다. 또한, 마스터 단말(201)은 슬레이브 단말(204)로부터 실행 결과를 수신한 순서 또는 슬레이브 단말(204)에 지정된 순서에 따라 각각의 실행 결과에 대하여 스와이프(swipe) 동작 등을 통해 화면에 표시할 수 있다.

도 3은 일실시예에 따른 마스터 단말의 화면을 분석하여 사용자가 입력한 제어 객체를 검출하는 동작을 설명하기 위한 도면이다.

도 3에서 설명하는 제어 객체를 검출하는 동작은 도 1의 제어 장치(101) 및 도 2의 마스터 단말(201)에서 동일하게 동작하는 구성이다. 이하에서는, 제어 객체를 검출하는 동작에 대하여 보다 명확하게 설명하기 위하여 제어 장치를 중심으로 동작을 설명하고자 한다.

제어 장치는 마스터 단말을 통해 제어하고자 하는 제어 객체에 대한 객체 검색 및 이미지 검색을 통해 제어 객체를 검출할 수 있다. 여기서, 제어 장치는 제어 객체와 관련된 정보에 기초하여 제어 객체를 식별할 수 있다.

여기서, 제어 장치는 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따라 미리 설정된 제어 객체 중 적어도 하나의 제어 객체를 식별할 수 있다. 여기서, 도 3은 사용자가 입력한 좌표에 따른 제어 객체를 검출하는 단편적인 예시로 표현되어 있다.

도 3의 (a)를 살펴보면, 제어 장치는 마스터 단말의 화면에서 사용자가 입력한 제어 객체(307)를 식별할 수 있다. 여기서, 제어 장치는 마스터 단말을 통해 제어하고자 하는 제어 객체(307)에 대하여 화면 상의 위치를 입력받을 수 있다. 그리고, 제어 장치는 입력된 화면 상의 위치에 대한 좌표를 추출하고, 추출한 좌표에 따른 제어 객체를 식별할 수 있다. 일례로, 제어 장치는 드래그, 클릭, 터치, 등의 사용자 동작에 대응하여 화면 상에 위치를 직접적으로 선택받을 수 있다.

도 3의 (a)에서 도시되어 있지 않지만, 제어 장치는 외부의 입력 정보에 따라 미리 설정된 제어 객체(307)를 식별할 수 있다. 이때, 제어 장치는 드래그, 클릭, 터치와 같은 동작들이 특정 순서에 따라 데이터화된 입력 정보에 기초하여 자동으로 선택된 제어 객체를 식별할 수 있다.

도 3의 (b)를 살펴보면, 제어 장치는 마스터 단말의 화면의 객체를 분석하여 좌표(301)가 포함되는 제어 객체를 식별하기 위한 제외 목록을 생성할 수 있다. 여기서, 제어 장치는 마스터 단말로부터 캡쳐된 화면을 수신하고, 수신한 화면에 기초하여 객체를 분석할 수 있다. 제어 장치는 좌표(301)를 둘러싸는 특정 형태의 템플릿(302)를 이용하여 특정 형태의 템플릿(302)에 매칭되는 마스터 단말의 화면의 복수의 제어 객체(303), (304), (305), (306)을 추출할 수 있다. 여기서, 특정 형태의 템플릿(302)은 좌표(301)를 포함하는 제어 객체와 관련된 이미지 형태를 의미할 수 있다. 일례로, 특정 형태의 템플릿(302)은 제어 객체가 갖는 아이콘의 모양에 따라 네모, 세모, 동그라미 등의 형태로 표현될 수 있다.

그리고, 제어 장치는 특정 형태의 템플릿(302)에 따라 추출된 복수의 제어 객체(303), (304), (305), (306) 중에서 마스터 단말을 통해 제어하고자 하는 대상이 아닌 제어 객체(304), (305), (306)에 대한 제외 목록을 생성할 수 있다. 여기서, 제외 목록은 마스터 단말의 화면에서 사용자가 선택하지 않은 제어 객체(304), (305), (306) 에 대한 리스트로써, 사용자가 선택한 제어 객체(307)를 추출하기 위해 사용될 수 있다. 추후, 제외 목록은 이미지 패턴 매칭을 수행하는 과정에서 타겟 객체에 대한 불필요한 매칭을 최소화하기 위해 사용이 가능할 수 있다.

여기서, 제외 목록을 생성하는 이유는, 마스터 단말의 화면 내에서 특정 형태의 템플릿(302)과 동일한 형태를 갖는 제어 객체(304), (305), (306)가 복수 개로 존재할 경우에 대비하기 위함일 수 있다. 다시 말해, 제어 장치는 마스터 단말의 화면 내에서 특정 형태의 템플릿(302)과 일치하는 복수의 제어 객체(303), (304), (305), (306)가 존재하더라도 마스터 단말을 통해 제어하고자 하는 제어 객체(307)를 보다 정확하게 식별하기 위해 제어 객체(304), (305), (306)에 대한 제외 목록을 생성할 수 있다.

또한, 제어 장치는 사용자가 선택한 제어 객체가 아닌 제어 객체에 대하여 불필요한 매칭을 최소화하기 위하여 특정 형태의 템플릿(302)을 통해 제외 대상이 되는 제어 객체(304), (305), (306)에 대한 제외 목록을 생성할 수 있다.

도 3의 (c)를 살펴보면, 제어 장치는 제외 목록에 기초해 마스터 단말의 화면의 제어 객체를 분석하여 좌표가 포함되는 제어 객체(306)의 속성 정보를 식별할 수 있다. 구체적으로, 제어 장치는 제어 객체(307)을 식별함에 있어서, 마스터 단말의 화면의 제어 객체(303), (304), (305), (306) 중 제외 목록에 포함된 제어 객체(304), (305), (306)를 제거한 나머지 제어 객체(303)를 검출할 수 있다. 다시 말해, 제어 장치는 제외 목록을 통해 좌표가 포함된 제어 객체(307)를 보다 편리하게 검출할 수 있다.

그리고, 제어 장치는 검출한 제어 객체(307)에 기초하여 화면에 관한 인터페이스 트리 구조를 이용하여 제어 객체(307)의 속성 정보를 식별할 수 있다. 여기서, 제어 장치는 마스터 단말의 화면에 관한 인터페이스 트리 구조를 파싱하여 하여 파싱된 인터페이스 트리 구조에 따른 제어 객체와 관련된 객체 ID 정보, 웹 ID 정보, 웹 이미지 소스 주소 정보, 웹 링크 주소 정보, 인덱스 정보 및 인터페이스 트리 구조에서 제어 객체가 해당되는 계층의 인덱스 정보 등을 포함하는 제어 객체(306)의 속성 정보를 식별할 수 있다.

도 4은 일실시예에 따른 슬레이브 단말의 화면에 노출된 타겟 객체를 제어하는 동작을 설명하기 위한 도면이다.

도 4에서 설명하는 타겟 객체를 제어하는 동작은 도 1의 제어 장치(101) 및 도 2의 마스터 단말(201)에서 동일하게 동작하는 구성이다. 이하에서는, 타겟 객체를 제어하는 동작에 대하여 보다 명확하게 설명하기 위하여 제어 장치를 중심으로 동작을 설명하고자 한다.

도 4의 (a)를 살펴보면, 슬레이브 단말은 마스터 단말 또는 제어 장치로부터 제어 명령 또는 제어 객체에 관한 정보를 수신할 수 있다.

제1 실시예에 따르면, 슬레이브 단말은 제어 명령을 이용하여 타겟 객체를 제어할 수 있다. 이 때, 제어 명령은 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체 중 적어도 하나를 포함할 수 있다.

제1 실시예에 따르면, 슬레이브 단말은 객체 검색을 통해 확인된 타겟 객체를 포함하는 제어 명령을 수신할 수 있다.

구체적으로, 제어 장치는 슬레이브 단말의 화면을 분석하여 식별된 제어 객체에 대해 마스터 단말과 슬레이브 단말 간의 객체 검색을 수행할 수 있다. 이 때, 제어 장치는 타겟 객체의 속성 정보와 제어 객체의 속성 정보를 비교하여 슬레이브 단말에서 제어 객체의 속성 정보와 일치하는 타겟 객체가 검색되는지에 대한 객체 검색을 수행할 수 있다.

그리고, 제어 장치는 슬레이브 단말의 타겟 객체의 속성 정보가 제어 객체의 속성 정보와 일치하면, 타겟 객체(402)의 속성 정보를 포함하는 제어 명령을 슬레이브 단말(401)에 전달할 수 있다.

이때, 슬레이브 단말(401)은 제어 명령에 포함된 타겟 객체의 속성 정보를 이용하여 화면 내에 타겟 객체(402)에 대하여 보다 정확하게 인지할 수 있다. 다시 말해, 슬레이브 단말(401)은 애플리케이션이 갖는 고유한 식별 정보를 이용하여 객체 검색을 수행함에 따라 제어하고자 하는 제어 객체에 대응하는 타겟 객체의 애플리케이션을 보다 정확하게 인지할 수 있다. 결국, 슬레이브 단말(401)은 화면의 타겟 객체(402)를 식별하기 위한 직접적인 정보를 전달받음으로써, 타겟 객체의 속성 정보에 대한 제어 명령을 이용해 타겟 객체(402)를 간편하게 제어할 수 있다.

제2 실시예에 따르면, 슬레이브 단말은 이미지 검색을 통해 타겟 객체를 포함하는 제어 명령을 수신할 수 있다.

제어 장치는 제어 객체의 이미지와 매칭되는 타겟 객체에 대해 이미지 검색을 수행할 수 있다. 제어 장치는 객체 검색을 통해 제어 객체가 검색되지 않은 경우, 또는 속성 정보를 통해 일치하는 슬레이브 단말을 검색하였지만, 보다 정확한 판단이 필요한 경우 등을 고려하여 이미지 패턴 매칭에 의한 이미지 검색을 수행할 수 있다.

구체적으로, 제어 장치는 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말의 화면의 타겟 객체를 검색할 수 있다. 제어 장치는 검색된 템플릿에 대응하는 타겟 객체의 이미지와 제어 객체의 이미지 간의 이미지 검색을 수행할 수 있다. 그리고, 제어 장치는 제어 객체와 동일하거나 유사한 타겟 객체가 검색되면, 검색된 타겟 객체에 대한 슬레이브 단말의 화면 상의 좌표(404)를 포함하는 제어 명령을 슬레이브 단말(401)로 전달할 수 있다.

즉, 제어 장치는 타겟 객체의 이미지와 제어 객체의 이미지 간의 이미지 특징 정보를 이용한 유사도를 판단함에 따라, 제어 객체의 이미지와 유사한 타겟 객체에 대한 식별 정보를 확인하기 어렵다. 그러나, 이러한 경우, 제어 장치는 슬레이브 단말(401)의 화면에 대하여 이미지 특징 정보에 따른 매칭을 수행함에 따라 제어 객체의 이미지와 유사한 타겟 객체가 슬레이브 단말(401)의 화면에서 어느 지점(위치)에 위치하였는지는 파악이 가능하다. 즉, 제어 장치는 이미지 특징 정보에 따른 유사점이 많이 발견된 위치를 파악할 수 있다.

따라서, 제어 장치는 슬레이브 단말(401)의 화면 상의 위치로써, 검색된 타겟 객체의 좌표(403)를 포함하는 제어 명령을 전달할 수 있다. 그리고, 슬레이브 단말(401)은 제어 명령에 포함된 타겟 객체의 좌표(403)에 대한 슬레이브 단말의 화면 상의 위치를 파악하고, 타겟 객체(403)를 선택할 수 있다.

제2 실시예에 따르면, 슬레이브 단말(401)은 제어 객체에 관한 정보를 이용하여 타겟 객체를 제어할 수 있다.

구체적으로, 슬레이브 단말(401)은 마스터 단말로부터 제어 객체에 대하여 제어 객체의 좌표, 제어 객체의 속성 정보 및 제어 객체의 이미지 등을 포함하는 제어 객체에 관한 정보를 수신할 수 있다. 그리고, 슬레이브 단말(401)은 수신한 제어 객체에 관한 정보를 분석하여 제어 객체 정보에 포함된 제어 객체를 식별할 수 있다.

슬레이브 단말(401)은 식별된 제어 객체에 대해 마스터 단말과 슬레이브 단말 간의 객체 검색을 수행하고, 제어 객체가 검색되지 않은 경우, 상기 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행할 수 있다.

도 4의 (b)를 살펴보면, 슬레이브 단말(401)은 제어 명령 또는 제어 객체 정보에 따라 선택된 타겟 객체(402)를 실행할 수 있다. 일례로, 슬레이브 단말(401)은 마스터 단말을 통해 제어된 제어 객체의 동작에 대응하여 프로그램 또는 애플리케이션을 실행할 수 있다. 그리고, 슬레이브 단말(401)은 실행된 타겟 객체(402)에 대한 실행 결과를 마스터 단말 또는 제어 장치로 전달할 수 있다.

여기서, 제어 장치는 제어 명령에 따라 실행된 타겟 객체의 실행 결과에 대하여 서로 상이한 콘텐츠를 포함할 수 있다. 상세하게, 마스터 단말과 슬레이브 단말은 동일한 기종의 단말이거나 또는 서로 상이한 단말일 수 있다. 따라서, 슬레이브 단말은 식별된 제어 객체에 대응하여 동일한 동작을 수행하는 타겟 객체를 포함하거나 동일한 동작을 수행하지 않지만, 유사한 동작을 수행하는 타겟 객체를 포함할 수 있다.

일례로, 제어 객체로 인터넷 익스플로러가 선택되었다고 가정했을 때, 타겟 객체는 제어 객체와 동일한 인터넷 익스플로러를 포함하거나 또는 인터넷 익스플로러의 기능과 동일한 웹 브라우저의 종류인 오페라(opera), 사파리(safari), 크롬(chrome), 파이어폭스(firefox)를 포함할 수 있다. 그리고, 슬레이브 단말은 제어 객체에 대응하여 동일하거나 유사한 기능을 수행하는 타겟 객체를 실행하고, 실행된 결과를 제어 장치에 전달할 수 있다. 따라서, 실행 결과는 제어 객체의 기능 측면에서 동일한 동작을 수행하는 타겟 객체들에 대하여 동일한 실행 결과 또는 서로 다른 실행 결과를 포함할 수 있다. 결국, 제어 장치는 제어하고자 하는 타겟 객체가 설치된 단말의 기종과 무관하게 제어 객체와 동일하거나 유사한 타겟 객체를 자유롭게 제어할 수 있다.

도 5는 일실시예에 따른 속성 정보를 이용하여 제어 객체에 대응하는 타겟 객체를 검색하는 동작을 설명하기 위한 도면이다.

도 5에서 설명하는 속성 정보를 이용하여 타겟 객체를 검색하는 동작은 도 1의 제어 장치(101) 및 도 2의 마스터 단말(201)에서 동일하게 동작하는 구성이다. 이하에서는, 속성 정보를 이용하여 제어 타겟 객체를 검색하는 동작에 대하여 보다 명확하게 설명하기 위하여 제어 장치를 중심으로 동작을 설명하고자 한다.

도 5를 참고하면, 제어 장치는 마스터 단말의 화면에서 사용자가 입력한 위치에 대한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따른 미리 설정된 제어 객체 중 적어도 하나의 제어 객체를 식별할 수 있다. 그리고, 제어 장치는 식별된 제어 객체(402)에 대해 마스터 단말(501)과 슬레이브 단말(504) 간의 객체 검색을 수행할 수 있다.

제1 실시예에 따르면, 제어 장치는 사용자가 입력한 위치에 대한 좌표에 따른 제어 객체를 식별할 수 있다.

구체적으로, 제어 장치는 제외 목록에 기초해 마스터 단말(501)의 화면의 제어 객체를 분석하여 좌표가 포함되는 제어 객체(502)의 속성 정보(503)를 식별할 수 있다. 다시 말해, 제어 장치는 제어 객체를 식별함에 있어서, 마스터 단말의 화면의 제어 객체 중에서 제외 목록에 포함된 제어 객체를 제거한 나머지 제어 객체를 검출할 수 있다. 그리고, 제어 장치는 제외 목록을 통해 좌표가 포함되지 않은 제어 객체를 제거시킴으로써, 좌표가 포함된 제어 객체를 보다 편리하게 검출할 수 있다.

제2 실시예에 따르면, 제어 장치는 외부의 입력 정보에 따라 제어 객체를 실행시키기 위한 이벤트를 따른 제어 객체를 식별할 수 있다.

상세하게, 제어 장치는 드래그, 클릭, 터치와 같은 동작들이 특정 순서에 따라 데이터화된 외부의 입력 정보에 따라 자동으로 선택된 이벤트에 대한 제어 객체를 식별할 수 있다. 여기서, 이벤트는 제어 객체 또는 타겟 객체에 매칭하는 특정 프로그램 또는 애플리케이션을 제어하기 위한 것 일 수 있다. 또한, 이벤트는 제어 객체 또는 타겟 객체에 매칭하는 특정 프로그램 또는 애플리케이션의 아이템, 메뉴, 아이콘 등의 오브젝트를 제어하기 위한 것일 수 있다.

일례로, 이벤트는 객체에 적용되는 복수의 동작을 의미할 수 있으며, 게임에 비교하면, '칼을 휘두르다', '스테이지를 이동한다' 등의 특정 상황에 대한 동작 순서를 포함할 수 있다. 그리고, 제어 장치는 미리 설정된 동작 순서에 대한 이벤트를 포함하는 입력 정보에 따라 선택된 제어 객체, 즉, 프로그램 또는 애플리케이션에서 사용되는 메뉴, 아이콘 등을 식별할 수 있다.

이후, 제어 장치는 마스터 단말(501)의 화면에 관한 인터페이스 트리 구조를 파싱할 수 있다. 그리고, 제어 장치는 파싱된 인터페이스 트리 구조에 따른 제어 객체와 관련된 객체 ID 정보, 제어 객체의 스타일을 설정해둔 웹 ID 정보, 제어 객체의 이미지와 관련된 웹 이미지 소스 주소 정보, 웹 이미지에 대한 웹 링크 주소 정보 및 제어 객체와 관련된 인터페이스 트리 구조에서 제어 객체가 해당되는 계층의 인덱스 정보 등을 포함하는 제어 객체의 속성 정보를 식별할 수 있다.

또한, 제어 장치는 슬레이브 단말(504)의 화면의 타겟 객체를 분석하여 타겟 객체를 식별하기 위한 타겟 객체의 속성 정보를 식별할 수 있다. 여기서, 제어 장치는 슬레이브 단말(504)의 화면에 관한 인터페이스 트리 구조를 파싱할 수 있다. 그리고, 제어 장치는 파싱된 인터페이스 트리 구조에 따른 타겟 객체와 관련된 객체 ID 정보, 타겟 객체의 스타일을 설정해둔 웹 ID 정보, 타겟 객체의 이미지와 관련된 웹 이미지 소스 주소 정보, 웹 이미지에 대한 웹 링크 주소 정보 및 타겟 객체와 관련된 인터페이스 트리 구조에서 타겟 객체가 해당되는 계층의 인덱스 정보 등을 포함하는 제어 객체의 속성 정보를 식별할 수 있다.

그리고, 제어 장치는 타겟 객체의 속성 정보와 제어 객체(502)의 속성 정보(503)를 비교하여 제어 객체(502)가 슬레이브 단말(504)에 설치된 타겟 객체에서 검색되는지에 대한 객체 검색을 수행할 수 있다. 다시 말해, 제어 장치는 속성 정보 간에 동일 여부에 따라 제어 객체(502)에 대응하는 타겟 객체(505)를 검색할 수 있다.

이 때, 제어 장치는 제어 객체(502) 및 타겟 객체(505) 간에 비교할 수 있는 다양한 속성 정보를 이용함으로써, 객체를 식별할 수 있는 복수의 파라미터를 통해 제어 객체(502) 및 타겟 객체(505)을 비교할 수 있다. 즉, 제어 장치는 타겟 객체(505)의 속성 정보(506)와 제어 객체(502)의 속성 정보(503)를 비교하여 객체 ID 정보가 상이한 경우, 타겟 객체(505)와 제어 객체(502)를 다르다고 판단할 수 있다. 그러나, 제어 장치는 객체 ID 정보뿐만 아니라, 타겟 객체(505)와 제어 객체(502) 간의 일치하는지 여부를 판단할 수 있는 웹 ID 정보, 웹 이미지 소스 주소 정보, 웹 링크 주소 정보, 인덱스 정보 등의 다양한 정보를 통해 객체들이 동일한지 판단할 수 있다. 이때, 제어 장치는 제어 객체(502) 및 타겟 객체(505)에 대한 속성 정보의 비교 순서에 따라 단계적으로 비교함에 따라 제어하고 하는 타겟 객체를 원활하게 선택 및 제어할 수 있다.

또한, 제어 장치는 제어 객체(502)와 타겟 객체(505) 간의 속성 정보에 있어서, 유사한 특징이 발견되지 않는 경우, 제어 객체(502)가 속하는 카테고리와 타겟 객체(505)가 속하는 카테고리를 비교할 수 있다. 여기서, 제어 객체(502)와 타겟 객체(505)가 동일한 카테고리에 존재하는 것은 제어 객체(502)와 타겟 객체(505)가 유사한 프로그램 또는 애플리케이션으로 분류되었다고 판단할 수 있다.

따라서, 제어 객체와 동일하지는 않지만, 제어 객체가 속하는 카테고리와 동일한 카테고리 내에 존재하면, 제어 객체(502)에 대응하는 타겟 객체(505)로 검색할 수 있다. 결국, 제어 장치는 타겟 객체(505)의 속성 정보(506)와 제어 객체(502)의 속성 정보(503)를 비교하여 속성 정보 간에 동일한지 여부를 판단함에 따른 객체 검색을 수행할 수 있다.

도 6는 일실시예에 따른 이미지를 이용해 타겟 객체를 검색하는 동작을 설명하기 위한 도면이다.

도 6에서 설명하는 이미지를 이용해 타겟 객체를 검색하는 동작은 도 1의 제어 장치(101) 및 도 2의 마스터 단말(201)에서 동일하게 동작하는 구성이다. 이하에서는, 이미지를 이용해 타겟 객체를 검색하는 동작에 대하여 보다 명확하게 설명하기 위하여 제어 장치를 중심으로 동작을 설명하고자 한다.

도 6를 참고하면, 제어 장치는 객체 검색을 통해 제어 객체가 검색되지 않은 경우, 제어 객체(602)의 이미지와 매칭되는 타겟 객체(604)에 대해 이미지 검색을 수행할 수 있다. 여기서, 제어 장치는 객체 검색을 통해 제어 객체에 대한 검색을 실패한 경우에 대응하여 이미지 검색을 수행할 수 있다.

구체적으로, 제어 장치는 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말의 화면의 타겟 객체를 검색할 수 있다. 이 때, 마스터 단말(601)은 특정 형태의 템플릿의 스케일이 조절된 서로 다른 템플릿을 이용하여 병렬적으로 타겟 객체를 검색할 수 있다. 여기서, 제어 장치는 마스터 단말(601) 및 슬레이브 단말이 갖는 화면에 따라 글꼴 크기, 타겟 객체와 관련된 템플릿의 크기 등이 차이가 날 수 있으므로, 템플릿에 대한 축소/확대를 통해 다양한 종류의 템플릿을 생성할 수 있다. 그리고, 제어 장치는 슬레이브 단말의 화면의 타겟 객체에 대하여 병렬적으로 서로 다른 템플릿을 매칭함으로써, 병렬적으로 매칭된 서로 다른 템플릿 중 일치하는 템플릿에 관한 타겟 객체를 검색할 수 있다.

일례로, 제어 장치는 템플릿에 대한 객체의 매칭 정도에 대하여 미리 정해진 점수를 넘는 타겟 객체에 대하여 매칭 목록을 생성할 수 있다. 여기서, 매칭 목록은 템플릿 매칭을 통해 후보 객체에 대한 목록을 의미할 수 있다.

그리고, 제어 장치는 제어 객체와 관련하여 생성한 제외 목록을 이용하여 슬레이브 단말(603)의 화면의 타겟 객체를 검색할 수 있다. 다시 말해, 제어 장치는 제외 목록을 이용하여 슬레이브 단말의 화면의 타겟 객체 중에서 제외 목록에 포함된 제어 객체와 일치하는 타겟 객체가 존재하는지 여부를 판단할 수 있다. 그리고, 제어 장치는 제외 목록에 포함된 제어 객체와 일치하는 타겟 객체가 존재하면, 일치하는 타겟 객체를 제외하면서 타겟 객체에 대하여 템플릿 매칭을 수행함으로써, 불필요한 매칭을 최소화할 수 있다.

이후, 제어 장치는 매칭 목록에 포함된 타겟 객체의 이미지에 대응하여 제어 객체의 이미지와의 이미지 검색을 수행할 수 있다. 상세하게, 제어 장치는 이미지의 속성 및 이미지의 특징점 중 적어도 하나를 포함하는 이미지 특징 정보를 이용하여 이미지 검색을 수행할 수 있다. 여기서, 이미지의 속성은 객체의 이미지에 대한 색상 정보 및 밝기 정보 등을 포함할 수 있다. 일례로, 이미지의 속성은 객체의 이미지에 대한 RGB, HSB, CMYK, XYZ 등의 색상 정보 및 밝기 또는 어두움 등의 밝기 정보를 포함할 수 있다. 그리고, 이미지의 특징점은 타겟 객체의 이미지가 갖는 특징점 및 제어 객체의 이미지가 갖는 특징점을 포함할 수 있다.

제어 장치는 이미지 특징 정보에 포함된 이미지의 속성에 따른 색상 정보를 이용하여 타겟 객체의 이미지에 대한 색상 정보와 제어 객체의 이미지에 대한 색상 정보 간의 일치 여부를 판단할 수 있다.

일례로, 제어 장치는 타겟 객체의 이미지에 대한 RGB 색상을 분석하고, 제어 객체의 이미지에 대한 RGB 색상을 비교하여 적정 수치 이상으로 일치하는 타겟 객체를 추출할 수 있다. 다시 말해, 제어 장치는 매칭 목록 내에서 제어 객체의 이미지에 대한 RGB 색상과 유사한 색상을 많이 보유하고 있는 타겟 객체 만을 추출할 수 있다.

그리고, 제어 장치는 일치 여부가 판단된 타겟 객체의 이미지에 대하여 이미지 특징 정보에 포함된 이미지 특징점을 이용하여 이미지 검색을 수행할 수 있다. 다시 말해, 제어 장치는 타겟 객체의 이미지가 갖는 특징점과 제어 객체의 이미지가 갖는 특징점을 매칭함으로써, 객체의 이미지가 갖는 특징에 따른 유사성을 판단할 수 있다. 그리고, 제어 장치는 이미지가 갖는 특징점에 따른 유사성이 높은 경우, 제어 객체와 동일하거나 또는 유사한 속성을 갖는 타겟 객체라고 판단할 수 있다.

이때, 제어 장치는 이미지 특징 정보에 포함된 이미지 특징점을 적용하여 제어 객체의 이미지와 동일한 이미지를 갖는 타겟 객체를 검색할 수 있다. 여기서, 제어 장치는 타겟 객체의 이미지가 갖는 특징점과 제어 객체의 이미지가 갖는 특징점을 추출할 수 있다. 그리고, 제어 장치는 타겟 객체의 이미지와 제어 객체의 이미지에 대한 각각의 특징점을 매칭하여 제어 객체의 이미지와 유사한 이미지를 갖는 타겟 객체를 검색할 수 있다.

결과적으로, 제어 장치는 각 객체의 속성 정보가 상이함에 따라 제어 객체로 검출하지 못하는 상황에 대응하여, 제어 장치는 이미지 특징 정보를 적용한 제어 객체(602)의 이미지의 특징점과 타겟 객체(604)의 이미지의 특징점에 따른 유사한 이미지를 갖는 타겟 객체를 검색할 수 있다.

일례로, 제어 객체(602)는 인터넷 익스플로러 버전 11, 이고, 타겟 객체(604)는 인터넷 익스플로러 버전 6, 이라고 가정할 때, 마스터 단말은 두 개의 객체 모두 인터넷 익스플로러에 해당하지만, 제어 객체(602)의 이미지와 타겟 객체(604)의 이미지는 각 버전에 따라 서로 다른 로고로 설정되어 있음에 따라 이미지 간에 차이가 존재한다. 여기서, 제어 객체(602)와 타겟 객체(604)는 객체 간의 이미지에 있어서 차이가 있을 뿐, 실제적으로 사용자에게 제공되는 기능의 따른 동작은 프로그램을 동일하다. 따라서, 정보를 제어 객체(602)의 이미지와 타겟 객체(604)의 이미지에 대하여 색상 정보, 특징 정보 등을 기반으로 이미지에 대한 패턴 매칭을 수행함으로써, 제어 객체의 이미지와 유사한 이미지를 갖는 타겟 객체를 검색할 수 있다.

그러므로, 정보를 제어 객체(602)의 이미지의 특징 정보와 타겟 객체(604)의 이미지의 특징 정보 간에 차이가 존재하더라고, 이미지 간의 특징 정보가 적정 수준을 만족하면, 동일한 이미지라도 판단하고, 이에 대한 타겟 객체를 검색할 수 있다.

도 7은 일실시예에 따른 제어 장치가 수행하는 단말 제어 방법을 설명하기 위한 흐름도이다.

단계(701)에서 마스터 단말(102)은 제어 객체와 관련된 정보를 제어 장치에 전달할 수 있다.

단계(702)에서 제어 장치(101)는 마스터 단말(102)로부터 수신한 정보를 이용하여 마스터 단말을 통해 제어하고자 하는 제어 객체를 식별할 수 있다.

단계(703)에서 제어 장치(101)는 슬레이브 단말(105)로부터 캡쳐된 화면을 수신하고, 수신한 슬레이브 단말(105)의 화면을 분석하여 식별된 제어 객체에 대해 마스터 단말(102)과 슬레이브 단말(105) 간의 객체 검색을 수행할 수 있다.

단계(704)에서 제어 장치(101)는 객체 검색을 통해 제어 객체가 슬레이브 단말에 설치된 타겟 객체에서 검색되는지는 여부를 판단할 수 있다. 제어 객체에 대한 검색을 실패하면, 단계(705)에서 제어 장치(101)는 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행할 수 있다. 여기서, 제어 장치(101)는 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말(105)의 화면의 타겟 객체를 검색하고, 검색된 타겟 객체의 이미지와 제어 객체의 이미지 간의 이미지 검색을 수행할 수 있다.

단계(706)에서 제어 장치(101)는 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체에 대한 제어 명령을 슬레이브 단말(105)에 전달할 수 있다.

단계(707)에서 슬레이브 단말(105)은 제어 명령에 따라 타겟 객체를 실행하고, 실행 결과를 제어 장치(101)로 전달할 수 있다. 여기서, 슬레이브 단말(105)은 타겟 객체에 매칭하는 애플리케이션, 프로그램 또는 프로그램 내에 제어 가능한 아이콘, 아이템, 매뉴얼, 실행, 삭제, 복사, 카테고리 설정 등을 제어할 수 있다. 그리고, 슬레이브 단말(105)은 타겟 객체를 실행하지 못한 경우, 이에 대한 에러 메시지를 제어 장치(101)로 전달할 수 있다.

단계(708)에서 제어 장치(101)는 슬레이브 단말(105)로부터 실행 결과를 수신하고, 수신한 실행 결과를 화면에 표시할 수 있다.

도 8은 일실시예에 따른 슬레이브 단말이 수행하는 단말 제어 방법을 설명하기 위한 흐름도이다.

단계(801)에서 마스터 단말(201)은 제어 객체와 관련된 정보를 슬레이브 단말(204)에 전달할 수 있다. 여기서, 마스터 단말(201)은 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따른 미리 설정된 제어 객체 중 적어도 하나의 제어 객체에 관한 정보를 전달할 수 있다.

단계(802)에서 슬레이브 단말(204)은 마스터 단말(201)로부터 수신한 제어 객체에 대한 정보를 이용하여 제어 객체를 식별할 수 있다.

단계(803)에서 슬레이브 단말(204)은 제어 객체에 대한 객체 검색을 수행할 수 있다. 다시 말해, 슬레이브 단말(204)은 슬레이브 단말의 화면을 분석하여 슬레이브 단말에서 상기 제어 객체의 속성 정보와 일치하는 타겟 객체의 속성 정보가 검색되는지에 대한 객체 검색을 수행할 수 있다.

단계(804)에서 슬레이브 단말(204)은 객체 검색을 통해 제어 객체가 검색되었는지 여부를 판단할 수 있다. 여기서 제어 객체에 대한 검색을 실패한 경우, 단계(805)에서 슬레이브 단말(204)은 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행할 수 있다.

단계(806)에서 슬레이브 단말(204)은 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체를 제어할 수 있다.

단계(807)에서 슬레이브 단말(204)은 제어된 타겟 객체의 실행 화면을 마스터 단말(201)에 전달할 수 있다. 또한, 슬레이브 단말(204)은 타겟 객체의 제어를 실패한 경우, 에러 메시지를 마스터 단말(201)에 전달할 수 있다.

단계(808)에서 마스터 단말(201)은 슬레이브 단말(204)로부터 수신한 실행 화면 또는 에러 메시지를 표시할 수 있다.

도 9는 일실시예에 따른 마스터 단말이 수행하는 단말 제어 방법을 설명하기 위한 흐름도이다.

단계(901)에서 마스터 단말(201)은 제어 객체와 관련된 정보를 이용하여 제어 객체를 식별할 수 있다.

단계(902)에서 마스터 단말(201)은 슬레이브 단말(204)로부터 캡쳐된 화면을 수신한 후, 수신한 슬레이브 단말(204)의 화면을 분석하여 제어 객체와 관련된 정보를 통해 식별된 제어 객체에 대해 마스터 단말(201)과 슬레이브 단말(204) 간의 객체 검색을 수행할 수 있다.

이 때, 마스터 단말(201)은 제어 객체의 속성 정보 및 분석된 슬레이브 단말(204)의 타겟 객체의 속성 정보를 비교하여 슬레이브 단말(204)에 설치된 타겟 객체에서 제어 객체가 검색되는지에 대한 객체 검색을 수행할 수 있다.

단계(903)에서 마스터 단말(201)은 객체 검색을 통해 제어 객체가 검색되었는지 여부를 판단할 수 있다. 여기서 제어 객체에 대한 검색을 실패한 경우, 단계(904)에서 마스터 단말(201)은 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행할 수 있다.

단계(905)에서 마스터 단말(201)은 단계(902)에서 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체에 대한 제어 명령을 슬레이브 단말(204)에 전달할 수 있다.

단계(906)에서 슬레이브 단말(204)은 제어 명령에 따라 타겟 객체를 실행하고, 실행 결과를 마스터 단말(201)로 전달할 수 있다.

단계(907)에서 마스터 단말(201)은 슬레이브 단말(204)로부터 수신한 실행 결과를 화면에 표시할 수 있다. 여기서, 마스터 단말(201)은 복수의 슬레이브 단말(204)로부터 각 실행 결과에 대하여 썸네일을 이용한 요약본 형태로 화면에 표시할 수 있다. 또한, 마스터 단말(201)은 슬레이브 단말(204)로부터 실행 결과를 수신한 순서 또는 슬레이브 단말(204)에 지정된 순서에 따라 각각의 실행 결과에 대하여 스와이프(swipe) 동작 등을 통해 화면에 표시할 수 있다.

여기서, 단말 제어 방법은 마스터 단말에 적용된 사용자 동작에 따라 슬레이브 단말에서도 사용자가 제어한 것과 같이 동작하도록 제어하는 방법에 관한 것이다. 즉, 단말 제어 방법은 마스터 단말에 대한 거울(미러링)과 같이 슬레이브 단말에서 동일한 동작을 수행하도록 제어할 수 있다.

본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

101: 제어 장치
102: 마스터 단말
103: 좌표
104: 제어 객체
105: 슬레이브 단말
106, 107, 108: 타겟 객체
109: 외부 장치

Claims (20)

1. 제어 장치가 수행하는 단말 제어 방법에 있어서,
   마스터 단말을 통해 제어하고자 하는 제어 객체를 식별하는 단계;
   슬레이브 단말의 화면을 분석하여 상기 식별된 제어 객체에 대해 마스터 단말과 슬레이브 단말 간의 객체 검색을 수행하는 단계;
   상기 제어 객체가 검색되지 않은 경우, 상기 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행하는 단계;
   상기 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체에 대한 제어 명령을 상기 슬레이브 단말에 전달하는 단계; 및
   상기 슬레이브 단말로부터 제어 명령에 따른 실행 결과를 수신하여 수신한 실행 결과를 디스플레이하는 단계
   를 포함하는 단말 제어 방법.
2. 제1항에 있어서,
   상기 제어 객체를 식별하는 단계는,
   상기 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따라 미리 설정된 제어 객체 중 적어도 하나의 제어 객체를 식별하는 단말 제어 방법.
3. 제1항에 있어서,
   상기 제어 객체를 식별하는 단계는,
   사용자가 입력한 좌표에 따른 제어 객체를 식별하는 경우,
   상기 제어 객체와 관련된 특정 형태의 템플릿을 이용하여 제외 목록을 생성하는 단계; 및
   상기 제외 목록에 기초해 마스터 단말의 화면의 제어 객체를 분석하여 상기 좌표가 포함되는 제어 객체의 속성 정보를 식별하는 단계
   를 포함하는 단말 제어 방법.
4. 제3항에 있어서,
   상기 제외 목록을 생성하는 단계는,
   상기 특정 형태의 템플릿에 매칭되는 마스터 단말의 화면의 복수의 타겟 객체를 추출하여 추출한 복수의 타겟 객체 중에서 제어하고자 하는 대상이 아닌 타겟 객체에 대한 제외 목록을 생성하는 단말 제어 방법.
5. 제1항에 있어서,
   상기 객체 검색을 수행하는 단계는,
   상기 슬레이브 단말의 화면의 타겟 객체를 분석하여 상기 타겟 객체의 속성 정보를 식별하는 단계; 및
   상기 제어 객체의 속성 정보 및 상기 타겟 객체의 속성 정보를 비교하여 속성 정보를 통한 객체 검색을 수행하는 단계
   를 포함하는 단말 제어 방법.
6. 제5항에 있어서,
   상기 객체 검색을 수행하는 단계는,
   상기 슬레이브 단말에서 상기 제어 객체의 속성 정보와 일치하는 타겟 객체의 속성 정보가 검색되는지에 대한 객체 검색을 수행하는 단말 제어 방법.
7. 제1항에 있어서,
   상기 이미지 검색을 수행하는 단계는,
   상기 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말의 화면의 타겟 객체를 검색하는 단계; 및
   상기 검색된 타겟 객체의 이미지와 상기 제어 객체의 이미지 간의 이미지 검색을 수행하는 단계
   를 포함하는 단말 제어 방법.
8. 제7항에 있어서,
   상기 타겟 객체를 검색하는 단계는,
   상기 특정 형태의 템플릿의 스케일이 조절된 서로 다른 템플릿 및 제외 목록을 이용하여 슬레이브 단말의 화면의 타겟 객체를 검색하고,
   상기 제외 목록은,
   특정 형태의 템플릿에 매칭되는 마스터 단말의 화면의 복수의 타겟 객체를 추출하여 추출한 복수의 타겟 객체 중에서 제어하고자 하는 대상이 아닌 타겟 객체를 포함하는 단말 제어 방법.
9. 제7항에 있어서,
   상기 이미지 검색을 수행하는 단계는,
   상기 이미지의 속성 및 이미지의 특징점 중 적어도 하나를 포함하는 이미지 특징 정보를 이용하여 이미지 검색을 수행하는 단말 제어 방법.
10. 슬레이브 단말이 수행하는 단말 제어 방법에 있어서,
    마스터 단말을 통해 제어하고자 하는 제어 객체를 식별하는 단계;
    상기 슬레이브 단말에서 상기 제어 객체의 속성 정보와 일치하는 타겟 객체의 속성 정보가 검색되는지에 대한 객체 검색을 수행하는 단계
    상기 제어 객체가 검색되지 않은 경우, 상기 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행하는 단계;
    상기 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체를 제어하는 단계; 및
    상기 제어된 타겟 객체의 실행 결과를 상기 마스터 단말에 전달하는 단계
    를 포함하는 단말 제어 방법.
11. 제10항에 있어서,
    상기 제어 객체를 식별하는 단계는,
    상기 마스터 단말의 화면에서 사용자가 입력한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따라 미리 설정된 제어 객체 중 적어도 하나의 제어 객체 식별하는 단말 제어 방법.
12. 제10항에 있어서,
    상기 제어 객체를 식별하는 단계는,
    사용자가 입력한 좌표에 따른 제어 객체를 식별하는 경우,
    상기 제어 객체와 관련된 특정 형태의 템플릿을 이용하여 제외 목록을 생성하는 단계; 및
    상기 제외 목록에 기초해 마스터 단말의 화면의 제어 객체를 분석하여 상기 좌표가 포함되는 제어 객체의 속성 정보를 식별하는 단계
    를 포함하는 단말 제어 방법.
13. 제10항에 있어서,
    상기 객체 검색을 수행하는 단계는,
    상기 슬레이브 단말의 화면의 타겟 객체를 분석하여 상기 타겟 객체의 속성 정보를 식별하는 단계; 및
    상기 타겟 객체의 속성 정보 및 상기 제어 객체의 속성 정보를 비교하여 객체 검색을 수행하는 단계
    를 포함하는 단말 제어 방법.
14. 제10항에 있어서,
    상기 이미지 검색을 수행하는 단계는,
    상기 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말의 화면의 타겟 객체를 검색하는 단계; 및
    상기 검색된 타겟 객체의 이미지와 상기 제어 객체의 이미지 간의 이미지 검색을 수행하는 단계
    를 포함하는 단말 제어 방법.
15. 제14항에 있어서,
    상기 이미지 검색을 수행하는 단계는,
    상기 이미지의 속성 및 이미지의 특징점 중 적어도 하나를 포함하는 이미지 특징 정보를 이용하여 이미지 검색을 수행하는 단말 제어 방법.
16. 마스터 단말이 수행하는 단말 제어 방법에 있어서,
    상기 마스터 단말에서 제어하고자 하는 제어 객체를 식별하는 단계;
    슬레이브 단말의 화면을 분석하여 슬레이브 단말에서 상기 제어 객체의 속성 정보와 일치하는 타겟 객체의 속성 정보가 검색되는지에 대한 객체 검색을 수행하는 단계;
    상기 제어 객체가 검색되지 않은 경우, 상기 제어 객체의 이미지와 매칭되는 이미지에 대응하는 타겟 객체에 대해 이미지 검색을 수행하는 단계;
    상기 객체 검색을 통해 확인된 타겟 객체 또는 이미지 검색을 통해 확인된 타겟 객체에 대한 제어 명령을 상기 슬레이브 단말에 전달하는 단계; 및
    상기 슬레이브 단말로부터 제어 명령에 따른 실행 결과를 수신하는 단계
    를 포함하는 단말 제어 방법.
17. 제16항에 있어서,
    상기 제어 객체를 식별하는 단계는,
    상기 마스터 단말의 화면에서 사용자가 입력한 위치에 대한 좌표에 따른 제어 객체 및 외부의 입력 정보에 따른 미리 설정된 제어 객체 중 적어도 하나의 제어 객체를 식별하는 단말 제어 방법.
18. 제16항에 있어서,
    상기 제어 객체를 식별하는 단계는,
    사용자가 입력한 좌표에 따른 제어 객체를 식별하는 경우,
    상기 사용자가 입력한 화면의 좌표를 저장하는 단계;
    상기 제어 객체와 관련된 특정 형태의 템플릿을 이용하여 제외 목록을 생성하는 단계; 및
    상기 제외 목록에 기초해 마스터 단말의 화면의 제어 객체를 분석하여 상기 좌표가 포함되는 제어 객체의 속성 정보를 식별하는 단계
    를 포함하는 단말 제어 방법.
19. 제16항에 있어서,
    상기 객체 검색을 수행하는 단계는,
    상기 슬레이브 단말의 화면의 타겟 객체를 분석하여 상기 타겟 객체의 속성 정보를 식별하는 단계; 및
    상기 제어 객체의 속성 정보 및 상기 타겟 객체의 속성 정보를 비교하여 객체 검색을 수행하는 단계
    를 포함하는 단말 제어 방법.
20. 제16항에 있어서,
    상기 이미지 검색을 수행하는 단계는,
    상기 제어 객체와 관련된 특정 형태의 템플릿에 매칭되는 슬레이브 단말의 화면의 타겟 객체를 검색하는 단계; 및
    이미지의 속성 및 이미지의 특징점 중 적어도 하나를 포함하는 이미지 특징 정보를 이용하여 상기 검색된 타겟 객체의 이미지와 상기 제어 객체의 이미지 간의 이미지 검색을 수행하는 단계
    를 포함하는 단말 제어 방법.

Images