KR20230087152A - 리모트컨트롤 시스템 - Google Patents

리모트컨트롤 시스템 Download PDF

Info

Publication number
KR20230087152A
KR20230087152A KR1020210175846A KR20210175846A KR20230087152A KR 20230087152 A KR20230087152 A KR 20230087152A KR 1020210175846 A KR1020210175846 A KR 1020210175846A KR 20210175846 A KR20210175846 A KR 20210175846A KR 20230087152 A KR20230087152 A KR 20230087152A
Authority
KR
South Korea
Prior art keywords
gesture
specific
input
graphic object
unit
Prior art date
Application number
KR1020210175846A
Other languages
English (en)
Inventor
김병수
Original Assignee
김병수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김병수 filed Critical 김병수
Priority to KR1020210175846A priority Critical patent/KR20230087152A/ko
Priority to PCT/KR2022/017739 priority patent/WO2023106661A1/ko
Publication of KR20230087152A publication Critical patent/KR20230087152A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/36—User authentication by graphic or iconic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language

Abstract

본 발명은 리모트컨트롤 시스템에 관한 것으로, 보다 상세하게는 제스처를 통해 동작이나 기능을 실행하거나 제어할 수 있는 리모트컨트롤 시스템에 관한 것이다.
본 발명의 일 실시예에 따른 제스처에 의해 작동하는 리모트컨트롤 시스템에 있어서, 입력부 및 출력부와, 입력되는 제스처에 대해 상호 매칭할 제스처 정보가 저장되는 저장부와, 상기 입력부, 출력부 또는 저장부 중 적어도 하나와 전기적으로 연결되어, 상기 제스처 동작을 인식하고 제어하는 제어부를 포함하며, 상기 제어부는, 상기 입력부에 의해 입력되는 제스처를 인식하고, 상기 인식된 제스처를 상기 저장부에 저장된 제스처 정보와 상호 매칭하고, 상기 매칭된 제스처 정보에 대응되는 동작을 실행하고 출력부로 출력한다.

Description

리모트컨트롤 시스템 {Remote control system}
본 발명은 리모트컨트롤 시스템에 관한 것으로, 보다 상세하게는 제스처를 통해 동작이나 기능을 실행하거나 제어할 수 있는 리모트컨트롤 시스템에 관한 것이다.
본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.
최근 기술이 발전하면서 스마트 TV, 스마트폰, AR, VR기기와 양방향 게임기, 스마트가전, 스마트 홈 오토메이션, 자동차의 스마트화와 전장화 등 열거하기 힘들 정도로 다양한 분야에서 수 많은 전자기기들이 나오고 있고, 또한 그와 더불어 매우 다양하고 수 많은 기능들을 제공하고 있다.
그러나, 다양하고 수 많은 전자기기들과 그들의 기능들이 매우 많이 늘어나는 것에 비해서 이 기능들을 원거리에서 편하게 작동을 시키는 리모트콘트롤 방식은 크게 발전하지 못하고 있다. 아직까지도 가장 많이 이용되는 리모트컨트롤 방식은 리모트콘트롤러에 각 기능에 대응되는 버튼이 있고, 원하는 기능의 버튼을 누르게 되면, 그에 대응되는 신호를 전자기기가 수신하고 제어부가 인지하여 해당 기능을 실행시키는 방식으로 실행된다. 이 버튼식 리모트콘트롤러를 이용하는 방식은 제공하는 기능 수만큼의 버튼을 리모트콘트롤러에 구비하고 사용자가 쉽게 해당 기능의 버튼을 선택해서 누를 때 가장 좋은 편의성을 제공하게 된다. 그러나, 오래 전 옛날 적은 수의 기능만을 가졌을 때는 그것이 가능했지만, 지금과 같은 속도의 기술발전의 시기에서는 버튼식 리모트콘트롤러를 이용하는 방식은 수 많은 버튼을 구비해야 하므로 커지고 무거워지면서 휴대하기가 어려워지고, 또한, 사용자가 수 많은 버튼 속에서 원하는 기능을 찾아서 실행시키는 것은 어려운 일이 되어 편의성을 잃게 된다. 현재까지의 상황으로 보면, 그나마 노래방기계의 리모트콘트롤러가 사용자가 이해하고 상업적으로 이용할 수 있는 가장 많은 수의 버튼을 가지는 리모트콘트롤러로 보인다.
그래서, 이를 극복하기 위해서 버튼식 리모트콘트롤러를 이용하는 방식에서 도입한 것이 4방향의 버튼과 확인버튼을 도입하고, 실행할 기능들을 화면에 보여주고 선택과 실행하게 하는 것이다. 예를 들자면, 현재 스마트 TV의 경우, 화면상의 여러 앱 중에서 특정 앱을 선택해서 실행시키거나, 특정 동영상을 재생, 정지시키거나, TV 홈쇼핑에서 구매를 하는 경우에 바로 대응되는 버튼이 없으므로, 4방향의 버튼으로 화면상에 표시된 기능을 찾아가서 선택하고 확인버튼을 눌러서 실행을 시키는 것이다.
그러나, 이 4방향 버튼을 많이 계속해서 누르고, 최종적으로 선택하고 확인버튼을 누르는 자체가 이미 사용자의 편의성을 낮추고 있는 것이다. 게다가, 앞으로 기능이 더 추가가 될수록 화면상의 기능을 찾아가기 위해서 사용자는 더욱 더 4방향 화살표버튼과 확인버튼을 많이 누르게 될 것이고, 이에 따라 사용자 편의성은 더 낮아질 것이다.
최근에는 리모트콘트롤러 대신에, 음성인식이나 3차원 공간마우스와 같은 방식도 시도되고 있으나, 음성인식의 경우 아직까지도 원하는 만큼의 인식률과 빠른 응답성이 보이지 않고 있으며, 사실, 음성으로 명령해서 실행을 시키는 것 자체도 귀찮은 것이기도 하다. 그리고, 3차원 공간마우스와 같은 경우, PC 마우스와 같이 빠르고 정확하게 선택하고 실행하는 응답성을 보여주지 못하고 있어서 크게 상용화가 되지 못하고 있다.
따라서, 현재 뿐만 아니라 앞으로 기술발전을 통해서 만들어질 수 많은 기능들을 원거리에서 편하고 쉽게 실행하면서도 동시에 빠른 반응성을 가지는 사용자의 편의성이 증대된 새로운 리모트콘트롤 시스템의 필요성이 대두되고 있다.
이에 관련하여, 대한민국 공개특허 제10-2010-0131213호에서는, 제스쳐-기반의 리모트콘트롤 시스템을 개시한다. 상기 제스쳐-기반의 리모컨 시스템은 카메라 모듈(300), 이미지 인식 모듈(100), 무선 송신기(400) 및 메인 제어 전자기기(200)를 포함한다. 이미지 인식 모듈(100)은 카메라 모듈(300)에 전기적으로 연결된다. 무선 송신기(400)는 이미지 인식 모듈(100)에 전기적으로 연결된다. 메인 제어 전자 기기(200)는 이미지 인식 모듈(100)에 분리 가능하도록 연결된다. 메인 제어 전자 기기(200)는 모니터(202)를 포함한다. 모션 제어 명령은 이미지 인식 모듈(100)을 갖는 카메라 모듈(300) 내에서 사용자의 이미지를 인식함에 의하여 얻어진다. 키 제어 명령은 이미지 인식 모듈(100)에 의하여, 상기 모션 제어 명령 및 키 코드 정보로부터 얻어진다. 상기 키 제어 명령은 이미지 인식 모듈(100)에 의하여 무선 송신기(400)로 전송된다. 상기 키 제어 명령은 상기 피제어 전자 기기를 제어하기 위하여, 상기 무선 송신기에 의해 피제어 전자 기기로 전송된다.
한국공개특허 제10-2010-0131213호
제스처를 이용하여 전자기기의 수 많은 기능을 원거리에서 편하고 쉽게 실행하면서도 동시에 빠른 반응성을 가지는 사용자의 편의성이 증대된 새로운 리모트콘트롤시스템을 제공하고자 한다.
또한, 상술한 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있음은 자명하다.
본 발명의 일 실시예에 따른 제스처에 의해 작동하는 리모트컨트롤시스템에 있어서, 입력부 및 출력부와, 입력되는 제스처에 대해 상호 매칭할 제스처 정보가 저장되는 저장부와, 상기 입력부, 출력부 또는 저장부 중 적어도 하나와 전기적으로 연결되어, 상기 제스처 동작을 인식하고 제어하는 제어부를 포함하며, 상기 제어부는, 상기 입력부에 의해 입력되는 제스처를 인식하고, 상기 인식된 제스처를 상기 저장부에 저장된 제스처 정보와 상호 매칭하고, 상기 매칭된 제스처정보에 대응되는 동작을 실행하고 출력부로 출력한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 사용자가 시스템 사용중에 특정기능이나 특정화면 혹은 특정출력상태를 특정제스처로 매칭등록하고 상기 매칭등록정보를 상기 저장부에 저장하며, 상기 특정제스처가 입력이 되면, 상기 특정기능을 수행하거나 특정화면으로 이동하거나 또는 특정출력상태로 만드는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정제스처가 입력이 되면, 상기 사용자가 등록저장한 특정기능이나 특정화면 혹은 특정출력상태와 제스처의 매칭등록리스트를 출력부에 출력하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정제스처가 입력이 되고 제스처정보와 매칭시에, 상기 특정제스처에 2개 이상의 특정기능이나, 특정화면 혹은 특정출력상태가 매칭이 되어 있어서 제스처매칭충돌이 발생이 되면, 출력부상에 상기 발생한 제스처매칭충돌의 리스트를 보여주어 사용자가 원하는 것을 확인하고 선택실행하게 하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 시스템과 시스템내에서 실행되는 앱은 네트워크를 통해서 각각의 서버와 연결이 되어 있고, 상기 제어부는, 상기 시스템이나 앱이 인증을 위한 암호로써 하나 이상의 제스처로 구성된 암호코드제스처를 상기 출력부에 표시를 하거나 또는 사용자가 확인할 수 있는 별도의 시스템으로 송신하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정제스처를 입력받으면, 제스처입력을 받아 동작실행을 시작하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정제스처를 입력받으면, 제스처입력을 받아 동작실행하는 것을 중지하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 상기 출력부를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체들에 대해 각각의 제스처그래픽을 지정하고, 상기 지정된 그래픽객체들과 제스처그래픽들에 대한 정보를 상기 입력부에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부에 저장하며, 상기 그래픽객체는, 상기 출력부를 통해 출력되는 각각의 메뉴항목, 앱 실행아이콘, 스트리밍되고 있는 동영상속의 특정 사물이나 사람, 문자열, 슬라이드 바의 한 부분, 그림이나 사진 속의 특정 사물이나 사람을 포함하며 출력부상에 출력되는 모든 객체들을 대상으로 하고, 상기 제스처그래픽에 대하여, 하나의 제스처그래픽은 하나 이상의 제스처만으로 구성되거나 혹은 하나 이상의 숫자와 하나 이상의 제스처의 조합으로 구성되는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 시스템과 시스템내에서 실행되는 앱은 네트워크를 통해서 각각의 서버와 연결이 되어 있고, 상기 제어부는, 상기 시스템이나 앱이 인증을 위한 암호로써 하나 이상의 제스처로 구성된 암호코드제스처를 제스처그래픽의 형태로 상기 출력부에 표시를 하거나 또는 사용자가 확인할 수 있는 별도의 시스템으로 송신하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정제스처가 입력이 된 후, 상기 출력부 상에 출력된 특정 그래픽객체에 지정된 제스처가 입력이 되면, 상기 그래픽객체에 연결된 기능 실행없이, 상기 그래픽객체를 선택 혹은 선택해제 상태로 하고, 상기 상태를 상기 그래픽객체에 표시하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정제스처가 입력이 되면, 상기 선택된 그래픽객체를 움직이거나 변형시킬 수 있게 하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, 특정제스처가 입력이 된 후, 상기 출력부 상에 출력된 특정 그래픽객체에 지정된 제스처가 입력이 되면, 상기 그래픽객체에 연결된 기능 실행없이 상기 그래픽객체를 선택하며, 선택된 상태를 상기 그래픽객체에 표시하고, 상기 그래픽객체와 관련된 추가기능들을 지정된 제스처그래픽과 함께 리스트로 보여주는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기제어부는, 상기 출력부 상에 출력된 특정 그래픽객체에 지정된 제스처가 입력이 되면, 상기 그래픽객체에 연결된 기능을 1번 실행하고, 상기 그래픽객체를 선택상태로 하고, 상기 선택상태를 상기 그래픽객체에 표시하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부는, On Off 신호를 보낼 수 있는 송신기를 가지는 시스템의 경우, 상기 송신기로부터 On 신호가 입력이 되면, 상기 선택된 그래픽객체에 연결되어 있는 기능을 1번 실행시키고, 사용자의 제스처를 카메라를 통해서 입력받는 시스템의 경우, 특정제스처가 입력이 되면, 상기 선택된 그래픽객체에 연결되어 있는 기능을 1번 실행시키는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 시스템에 설치되어 실행이 되는 앱이 있고, 상기 제어부는, 상기 시스템이나 상기 앱이 그래픽객체들에 지정되는 제스처그래픽들을 미리 지정하지 않고, 실행 중에 자체의 알고리즘으로 그래픽객체들마다 제스처그래픽들을 지정하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기 시스템에 설치되어 실행이 되는 앱이 있고, 상기 제어부는, 특정한 주기가 설정되면, 상기 시스템이나 앱이 실행 중에 자체의 알고리즘으로 상기 설정된 주기에 따라서 그래픽객체들에 지정된 제스처그래픽들을 변경하는 것을 특징으로 한다.
본 발명의 바람직한 특징에 따르면, 상기제어부는, 출력부상에 표시된 각 그래픽객체와 제스처그래픽의 지정관계를 선이나 말풍선을 이용해서 표시하는 것을
특징으로 한다.
본 발명의 실시 예에 의하면, 종래의 리모트컨트롤 시스템에서와 달리, 사용자가 원하는 기능에 대해서 직관적이면서도 쉽고 빠른 선택과 실행이 가능하게 하기 위해서 화면상에 있는 기능 실행을 목적으로 하는 앱 실행아이콘, 동영상 플레이어의 플레이 버튼, 홈쇼핑방송의 구매하기 버튼등과 같은 그래픽객체들에 대하여 각각의 제스처들을 지정한다. 그리고, 사용자가 특정 제스처를 취하면, 상기 예를 든 것과 같은 그래픽객체들에 지정된 제스처들을 화면상에 표시를 해준다. 이를 통해서 사용자는 실행하려는 화면상의 그래픽객체에 지정된 제스처를 알 수 있다. 그리고, 사용자가 그 중에서 하나의 제스처를 취하면 해당 그래픽객체에 지정이 되어 있는 기능이 실행이 된다. 이를 통해서 본 발명은 PC 마우스보다 더 직관적이면서 쉽고 빠르게 화면상의 원하는 기능을 선택하고 실행을 할 수 있는 장점을 가진다.
그리고, 추가적으로, 앱 제작자나 콘텐트 공급자(Content Provider)나 시스템 제작자등이 서버와 네트워크를 통해서 지정되는 제스처들을 실시간으로 설치, 삭제, 추가, 업데이트등을 가능하게 함으로써, 기존의 한 번 제조되면 기능이 고정되어 새로 기능을 추가 시킬 수 없는 리모트콘트롤 시스템과 달리, 언제든지 새로운 기능에 새로운 제스처 지정을 할 수 있는 장점을 가진다.
또한, 버튼을 포함하는 송신기를 구성하는 경우, 수많은 제스처를 각 상황마다 유연하게 사용할 수 있으므로 최소의 버튼으로 구성해도 사용자의 편의성을 잃지 않는 장점이 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 리모트컨트롤 시스템의 구성도.
도 2는 본 발명의 일 실시예에 따른 리모트컨트롤 시스템에 있어서, 입력부가 송신기와 수신기로 이루어지는 것을 보여주는 구성도.
도 3은 본 발명의 일 실시예에 따른 리모트콘트롤 시스템에 있어서, 스마트 TV 화면상에 앱실행 아이콘과 이에 매칭된 제스처를 보여주는 그림.
도 4는 본 발명의 일 실시예에 따른 리모트콘트롤 시스템에 있어서, 시스템내에 구동되는 앱과 시스템이나 앱이 네트워크로 서버와 연결되어 있는 것을 보여주는 그림.
도 5는 본 발명의 일 실시예에 따른 리모트콘트롤 시스템에 있어서, 스마트폰으로 암호코드제스처를 수신받은 것을 보여주는 그림.
도 6은 본 발명의 일 실시예에 따른 리모트콘트롤 시스템에 있어서, 스마트폰으로 제스처그래픽 표시형태의 암호코드제스처를 수신받은 것을 보여주는 그림.
도 7은 본 발명의 일 실시예에 따른 리모트콘트롤 시스템에 있어서, 슬라이드 바 업(Up) 그래픽객체의 연결된 기능이 1번 실행된 후, 그래픽객체가 선택이 된 상태로 변경된 것을 보여주는 그림.
본 개시에서 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시 예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 개시가 완전 하도록 하고, 해당 기술 분야에 속하는 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이다.
본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 해당 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작 시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하에서는 도면을 참조하여 다양한 실시 예들을 상세히 설명한다.
도1은 본 발명의 일 실시 예에 따른 제스처에 의해 작동하는 리모트컨트롤 시스템(100)의 개념적인 구성도이다. 입력부(110) 및 출력부(120)와, 입력되는 제스처에 대해 상호 매칭할 제스처 정보가 저장되는 저장부(130)와, 상기 입력부(110), 출력부(120) 또는 저장부(130) 중 적어도 하나와 전기적으로 연결되어, 상기 제스처 동작을 인식하고 제어하는 제어부(140)를 포함하며, 상기 제어부(140)는, 상기 입력부(110)에 의해 입력되는 제스처를 인식하고, 상기 인식된 제스처를 상기 저장부(130)에 저장된 제스처 정보와 상호 매칭하고, 상기 매칭된 제스처 정보에 대응되는 동작을 실행하고 출력부(120)로 출력한다.
상기 입력부(110)는 본 개시 내용의 일 실시 예에 따른 카메라 기반의 리모트콘트롤 시스템(100)에서 제스처 동작을 입력 받기 위한 카메라로 구성이 될 수 있으며, 사람이 손동작을 이용해서 제스처를 취하면, 이를 캡쳐해서 제스처를 입력 받는다.
또 다른 실시 예에 따른 리모트콘트롤 시스템(100)에서 도2와 같이 상기 입력부(110)는 제스처를 송신하는 송신기(111)와 송신한 신호를 수신하는 수신기(112)로 구성될 수 있다.
상기 출력부(120)는 후술하는 매칭된 제스처 정보에 대응되는 동작을 실행한 후 출력하기 위한 장치로서, 이미지나 영상을 출력할 수 있는 장치를 포함하는 구성이면 그 어떤 구성도 가능하다.
상기 저장부(130)는 입력되는 제스처에 대해 상호 매칭할 제스처 정보를 저장하는 장치이다.
그리고, 제어부(140)는 입력부(110)에 입력되는 제스처를 인식하고, 상기 인식된 제스처를 상기 저장부(130)에 저장되어 있는 제스처 정보와 상호 매칭하고 판단하여 대응되는 동작을 실행하고 출력부(120)에 출력하는 전체적인 과정을 제어하는 역할을 한다.
도3은 일 실시 예로서, 스마트TV 화면상에 실행되는 앱들이 표시되어 있다. 앱 실행 아이콘 app2 (310)와 매칭된 제스처 2 (320)의 정보는 저장부(130)에 저장이 된다. 제스처 2 (320)가 입력부(110)로 입력이 되면, 제어부(140)는 입력된 제스처 2 (320)를 저장부(130)에 있는 제스처정보와 매칭하고, 매칭이 확인이 되면, app2 (310)를 실행하고 출력부(120)로 출력한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 사용자가 시스템(100) 사용중에 특정기능이나 특정화면 혹은 특정출력상태를 특정제스처로 매칭등록하고 매칭등록정보를 상기 저장부(130)에 저장하며, 상기 특정제스처가 입력이 되면, 상기 특정기능을 수행하거나 특정화면으로 이동하거나 또는 특정출력상태로 만드는 것을 특징으로 한다.
현재 버튼식 리모콘의 불편한 부분중의 하나 예를 든다면, TV의 사운드를 스포츠모드에서 콘서트모드로 변경하는 경우이다. 사운드모드를 바꾸기 위해서는 사용자가 우선 메뉴버튼을 누르고, 여러 번의 화살표버튼을 눌러서, 제어판을 선택하고, 또 여러 번의 화살표 버튼을 눌러서 사운드를 선택하고. 이런식으로 버튼을 많이 눌러서 원하는 기능을 찾고 그 항목에서 최종적으로 확인버튼을 눌러주어야만 TV의 사운드를 콘서트모드로 바꾸어 줄 수 있다. 게다가, 사용자가 콘서트모드로 듣다가 영화를 보기위해서 극장모드로 바꾼다면 다시 상기의 과정을 다시 겪어야만 한다. 이는 버튼식 리모콘을 사용하는 한 피할 수 없는 매우 번거롭고 불편한 일이다.
이러한 불편함에 대해서, 본 발명은 해결책을 제시한다. 예를 들면, 상기와 같은 경우, 사용자는 제어판의 사운드를 선택하는 화면을 특정제스처로 등록을 해두는 것이다. 이후부터, 사용자는 이 등록된 특정제스처를 취하면 제어판의 사운드화면으로 즉시 이동하게 되고, 간편하고 빠르게 원하는 사운드를 선택할 수 있다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정제스처가 입력이 되면, 상기 사용자가 등록저장한 특정기능이나 특정화면 혹은 특정출력상태와 제스처의 매칭등록리스트를 출력부(120)에 출력하는 것을 특징으로 한다.
전술한 발명에서 사용자가 특정한 기능이나 특정화면 혹은 특정출력상태를 특정제스처로 등록을 많이 하게 되면, 사용자가 모두 기억을 해서 실행을 하는 것은 매우 불편하다. 따라서, 이러한 불편함에 대해서, 본 발명은 사용자가 등록한 내용들을 볼 수 있게 사용자가 특정제스처를 취하면 매칭리스트를 표시해주므로써 해결을 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정제스처가 입력이 되고 제스처정보와 매칭시에, 상기 특정제스처에 2개 이상의 특정기능이나, 특정화면 혹은 특정출력상태가 매칭이 되어 있어서 제스처매칭충돌이 발생이 되면, 출력부(120)상에 상기 발생한 제스처매칭충돌의 리스트를 보여주어 사용자가 원하는 것을 확인하고 선택실행하게 하는 것을 특징으로 한다.
예를 들면, 사용자가 특정제스처를 취했는데, 제스처정보와 매칭시에 상기 특정제스처에 시스템(100)의 특정기능과 사용자가 별도로 매칭등록한 기능, 이 2가지가 부딪혀서 시스템(100)이 실행을 하지 못할 수가 있다. 이러한 불편함에 대하여, 본 발명은 , 시스템(100)이 제스처매칭 충돌내용을 화면상에 보여주어서 사용자가 실행하기 원하는 기능을 선택 할 수 있게 해주므로써 해결을 한다.
본 발명의 바람직한 특징에 따르면, 상기 시스템(100)과 시스템(100)내에서 실행되는 앱(420)은 네트워크(440)를 통해서 각각의 서버(410, 430)와 연결이 되어 있고, 상기 제어부(140)는, 상기 시스템(100)이나 앱(420)이 인증을 위한 암호로써 하나 이상의 제스처로 구성된 암호코드제스처(510)를 상기 출력부(120)에 표시를 하거나 또는 사용자가 확인할 수 있는 별도의 시스템으로 송신하는 것을 특징으로 한다.
일실시 예로써, 해킹대비나 보안에 대한 방법중의 하나인 사용자인증을 위해서, 시스템(100)내에서 실행되는 특정 앱(420)은 도4와 같이 네트워크(440)로 연결된 서버(430)에서 기존의 방식은 숫자암호코드를 사용자의 핸드폰의 메시지로 보낸다. 그리고, 그 숫자암호코드를 사용자가 핸드폰에서 확인하고 앱(420)에 입력을 하면 사용자인증이 된다. 숫자는 0부터 9까지 총 10개로 구성이 되어 있다.
제스처는 이보다 훨씬 더 많이 구성할 수 있고, 이를 조합하면 숫자보다 더 많은 암호의 조합을 만들어 낼 수 있다. 게다가, 제스처는 정해진 위치의 버튼을 사용하지 않으므로 보안에서도 더 유리하다. 일 실시 예로써 도5는 제스처로 구성된 암호코드를 사용자의 핸드폰으로 보내는 예시이다. 본 발명은 이러한 제스처의 보안특성을 바탕으로 하나 이상의 제스처로 구성된 암호코드제스처(510)를 인증암호코드로 이용해서 높은 보안수준과 동시에 입력의 편의를 제공한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정제스처를 입력받으면, 제스처입력을 받아 동작실행을 시작하는 것을 특징으로 한다.
버튼식 리모콘은 버튼이 눌러지지만 않으면 동작이 실행이 되지 않는다. 따라서, 원하지 않는 경우에 동작이 되는 경우는 거의 없다고 볼 수 있다. 그러나, 제스처에 의한 리모트콘트를 시스템(100)은 발생의 가망성이 매우 높다. 특히, 카메라 기반으로 사람의 제스처를 받아서 동작하는 시스템(100)의 경우, 사용자가 실행의 의도 없이 행했던 몸짓에 시스템(100)이 특정의 제스처로 오해하여 실행을 시킬 수가 있다.
이러한 불편함에 대해서, 본 발명은 해결책을 제시한다. 원하지 않는 순간에 제스처가 입력되고 실행되는 것을 방지하기 위해서, 사용자가 특정제스처를 취해야만 시스템(100)이나 앱(420)이 사용자가 이제부터 실제로 입력하고 실행을 시킨다는 것을 인지하게 한다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정제스처를 입력받으면, 제스처입력을 받아 동작실행하는 것을 중지하는 것을 특징으로 한다.
상기의 원하지 않는 순간에 제스처가 입력되고 실행되는 것을 방지하기 위해서와 같이, 사용자가 특정제스처를 취해서 시스템(100)이나 앱(420)에 사용자가 제스처를 보내서 동작실행하는 것을 중지한다는 것을 알린다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 상기 출력부(120)를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체(310)들에 대해 각각의 제스처그래픽(320)을 지정하고, 상기 지정된 그래픽객체(310)들과 제스처그래픽(320)들에 대한 정보를 상기 입력부(110)에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부(130)에 저장하며, 상기 그래픽객체(310)는, 상기 출력부(120)를 통해 출력되는 각각의 메뉴항목, 앱 실행아이콘, 스트리밍되고 있는 동영상속의 특정 사물이나 사람, 문자열, 슬라이드 바의 한 부분, 그림이나 사진 속의 특정 사물이나 사람을 포함하며 출력부(120)상에 출력되는 모든 객체들을 대상으로 하고, 상기 제스처그래픽(320)에 대하여, 하나의 제스처그래픽(320)은 하나 이상의 제스처만으로 구성되거나 혹은 하나 이상의 숫자와 하나 이상의 제스처의 조합으로 구성되는 것을 특징으로 한다.
도3과 도7의 예시와 같이, 화면상에 그림, 앱 실행아이콘, 텍스트, 슬라이드 바, 디렉토리, 동영상 속의 사람이나 사물 등의 그래픽으로 만들어진 수 많은 객체들이 표시되어 있다. 그리고, 이 그래픽객체(310)들 중 특정 그래픽객체(310)들은 각각 연결된 기능들이 정해져 있다. 본 발명은 시스템 제작자나 앱 제작자 혹은 콘텐트 공급자(Content Provider)는 이 기능을 실행을 시키는 그래픽객체(310)들 각각에게 원하는 제스처를 지정해줄 수 있다. 사용자는 해당 제스처를 취함으로써 해당 그래픽객체에 대응되는 기능을 실행시킬 수 있다.
본 발명의 바람직한 특징에 따르면, 상기 시스템(100)과 시스템(100)내에서 실행되는 앱(420)은 네트워크(440)를 통해서 각각의 서버(410, 430)와 연결이 되어 있고, 상기 제어부(140)는, 상기 시스템(100)이나 앱(420)이 인증을 위한 암호로써 하나 이상의 제스처로 구성된 암호코드제스처를 제스처그래픽(320)의 형태로 상기출력부(120)에 표시를 하거나 또는 사용자가 확인할 수 있는 별도의 시스템으로 송신하는 것을 특징으로 한다.
앞선 발명에서 서술한 것처럼, 인증용 암호코드로써 하나 이상의 제스처로 구성된 암호코드제스처를 이용한다. 예를들면, 도5의 510과 같이, 암호코드제스처를 “LLLAAB”로 이용할 수 있다. 여기서 “L”, “A”, “B”는 예시로써, 각각 특정의 제스처를 뜻한다. 이를 제스처그래픽의 형태로 하면, 도6의 610과 같이, 제스처와 숫자를 같이 이용하여 “3L2AB”와 같이 반복되는 제스처를 숫자를 이용해서 간단하게 만들어주므로써, 본 발명은 편의를 더해준다..
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정제스처가 입력이 된 후, 상기 출력부(120)상에 출력된 특정 그래픽객체(310)에 지정된 제스처(320)가 입력이 되면, 상기 그래픽객체(310)에 연결된 기능 실행없이, 상기 그래픽객체(310)를 선택 혹은 선택해제 상태로 하고, 상기 상태를 상기 그래픽객체(310)에 표시하는 것을 특징으로 한다.
기존의 제스처 리모트콘트롤 시스템(100)은 기능이 연계되어 있는 그래픽객체(310)에 지정된 제스처를 입력받고 제스처정보와 매칭한 후 그 기능을 실행시키는 것이다. 그러나, 본 발명은 그래픽객체(310), 혹은, 기능을 선택 또는 해제까지만 하고 실행을 시키지 않는 것이다. 예를 들면, 도3의 app1 그래픽객체(330)는 실행없이 선택만 되고, 이 선택된 상태를 그래픽객체(330)에 표시를 한 것이다. 이는 기술적으로 보면, 선택과 실행을 나눈 것이다. 그리고, 그 그래픽객체(330)에 선택 혹은 해제가 된 상태를 표시를 해준다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정제스처가 입력이 되면, 상기 선택된 그래픽객체(310)를 움직이거나 변형시킬 수 있게 하는 것을 특징으로 한다.
예를 들면, 본 발명은, 사용자가 선택된 그래픽객체(310) 자체를 화면상에서 원하는 곳으로 움직이거나, 비틀거나, 회전시키거나, 가속도나, X, Y, Z 축의 각속도등을 입력받아서 움직일 수 있다. 그래픽객체(310) 자체만을 제어하는 재미를 줄 수 있다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 특정제스처가 입력이 된 후, 상기 출력부(120) 상에 출력된 특정 그래픽객체(310)에 지정된 제스처가 입력이 되면, 상기 그래픽객체(310)에 연결된 기능 실행없이 상기 그래픽객체(310)를 선택하며, 선택된 상태를 상기 그래픽객체(310)에 표시하고, 상기 그래픽객체(310)와 관련된 추가기능들을 지정된 제스처그래픽(320)과 함께 리스트로 보여주는 것을 특징으로 한다.
기능실행을 목적으로 하는 그래픽객체(310)는 지정된 제스처가 입력이 되면 실행이 되는 기능이 연결이 되어 있다. 이는 입력된 제스처가 매칭이 되면, 기능이 바로 실행이 된다. 그런데, 실제, 바로 실행이 되는 기능외에도 이 그래픽객체(310)와 관련된 추가기능들이 많이 있을 수 있다. 예를 들면, 그래픽객체(310)의 등록정보를 본다든지, 그래픽객체(310)를 복사하거나 지우는 기능등이 있을 수 있다. 그러나, 이 기능들 모두에 대해서 하나하나 그래픽객체(310)로 만들면 너무 많고 복잡해져서 사용자가 사용하기에 매우 불편한 상황이 될 수 있다. 따라서, 이러한 문제점에 대해서, 본 발명은 해결책을 제시한다. 상기의 그래픽객체(310)에 연결된 기능 외에 추가적인 기능들은 특정제스처가 입력이 된 후, 그래픽객체(310)에 지정된 제스처가 입력이 되면, 그래픽객체(310)와 연관된 추가기능이 제스처그래픽(320)과 함께 리스트로 화면상에 보여진다.
본 발명의 바람직한 특징에 따르면, 상기제어부(140)는, 상기 출력부(120) 상에 출력된 특정 그래픽객체(310)에 지정된 제스처가 입력이 되면, 상기 그래픽객체(310)에 연결된 기능을 1번 실행하고, 상기 그래픽객체(310)를 선택상태로 하고, 상기 상태를 상기 그래픽객체(310)에 표시하는 것을 특징으로 한다.
선술한 발명은 모든 그래픽객체(310)를 대상으로 선택과 해제를 하지만, 본 발명은 특정의 그래픽객체(310)만을 대상으로 한다. 특정의 그래픽객체(310)는 사용자가 제스처를 취해서 실행이 된 후에도, 그래픽객체(310)가 선택이 된 상태로 되고, 선택된 상태가 그래픽객체(310)에 표시가 된다. 예를 들어, 도7의 슬라이드바 업(Up) 기능을 가진 그래픽객체(730)에 지정된 제스처 e를 취하면, 슬라이드바 업(Up) 기능이 1번 실행되고, 그래픽객체(730)가 흑색으로 변경이 된다. 도7에 숫자나 한글자모나 영어알파벳, 기호나 혹은 그들의 조합으로 각각의 그래픽객체 옆에 각각의 제스처그래픽의 예시(710~750)로써 표시되어 있다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, On Off 신호를 보낼 수 있는 송신기(111)를 가지는 시스템(100)의 경우, 상기 송신기(111)로부터 On 신호가 입력이 되면, 상기 선택된 그래픽객체(310)에 연결되어 있는 기능을 1번 실행시키고, 사용자의 제스처를 카메라를 통해서 입력받는 시스템(100)의 경우, 특정제스처가 입력이 되면, 상기 선택된 그래픽객체(310)에 연결되어 있는 기능을 1번 실행시키는 것을 특징으로 한다.
선술한 발명들을 통해서, 선택된 그래픽객체(310), 혹은, 그와 연결된 기능은 기존에 지정된 제스처그래픽(320)을 이용하지 않고 다른 방식을 이용해서 실행을 시킬 수 있다. 예를 들면, 기능이 연결된 그래픽객체(310)가 선택이 되어 있는 상태에서, 버튼을 가진 송신기(111) 기반의 시스템(100)인 경우, 사용자는 해당 그래픽객체(310)에 원래 지정되어 있는 제스처그래픽(320)을 취할 필요 없이 간단히 버튼만 누르면 해당 기능이 실행이 된다. 원래 지정된 제스처를 재차 취할 필요가 없는 것이다. 그리고, 카메라기반으로 사용자의 몸짓으로 제스처를 입력받는 시스템(100)인 경우, 사용자는 해당 그래픽객체(310)에 지정되어 있는 비교적 복잡한 제스처를 취할 필요 없이, 매우 간단한 제스처, 즉, 검지 손가락을 접었다 펴면 해당 기능이 실행이 된다.
본 발명의 바람직한 특징에 따르면, 상기시스템(100)에 설치되어 실행이 되는 앱(420)이 있고, 상기 제어부(140)는, 상기 시스템(100)이나 상기 앱(420)이 그래픽객체(310)들에 지정되는 제스처그래픽(320)들을 미리 지정하지 않고, 실행 중에 자체의 알고리즘으로 그래픽객체(310)들마다 제스처그래픽(320)들을 지정하는 것을 특징으로 한다.
기존의 방식은 그래픽객체(310)와 제스처그래픽(320)은 개발하면서 하나하나 개발자가 지정을 해야한다. 많은 노력과 시간이 필요할 수가 있다. 이에 대해서 본 발명은 해결책을 제시한다. 시스템(100)이나 앱(420)이 자체의 알고리즘으로 실행중에 그래픽객체(310)마다 제스처그래픽(320)을 지정을 해준다.
본 발명의 바람직한 특징에 따르면, 상기 시스템(100)에 설치되어 실행이 되는 앱(420)이 있고, 상기 제어부(140)는, 특정한 주기가 설정되면, 상기 시스템(100)이나 앱(420)이 실행 중에, 상기 설정된 주기에 따라서 그래픽객체(310)들에 지정된 제스처그래픽(320)들을 변경하는 것을 특징으로 한다.
본 발명은 주기적으로 그래픽객체(310)들에 지정된 제스처그래픽(320)들을 변경해서 보안을 강화시킬 수 있다.
본 발명의 바람직한 특징에 따르면, 상기 제어부(140)는, 출력부(120)상에 표시된 각 그래픽객체(310)와 제스처그래픽(320)의 지정관계를 선이나 말풍선을 이용해서 표시하는 것을 특징으로 한다.
화면상에 그래픽객체(310)와 제스처그래픽(320)이 많이 있어서, 지정관계를 판단하기가 어려운 상황을 방지하기 위해서 선을 연결해서 보여주거나, 말풍선을 이용해서 그래픽객체(310)와 제스처그래픽(320)의 지정관계를 보여준다.
이상 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 설명하였지만, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 개시의 다양한 실시예들은 기기(machine)(예를 들어, 디스플레이 장치 또는 컴퓨터)에 의해 읽을 수 있는 저장 매체(storage medium)(예를 들어, 메모리)에 저장된 하나 이상의 인스트럭션들을 포함하는 소프트웨어로서 구현될 수 있다. 예를 들면, 기기의 프로세서(예를 들어, 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 인스트럭션들 중 적어도 하나의 인스트럭션을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 인스트럭션에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 인스트럭션들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 개시에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 리모트컨트롤시스템 110 : 입력부
111 : 송신기 112 : 수신기
120 : 출력부 130 : 저장부
140 : 제어부
310 : app2의 그래픽객체 320 : app2의 제스처그래픽
330 : 선택된 app1 그래픽객체의 상태표시
410 : 시스템 서버
420 : 시스템에 실행되는 애플리케이션(앱)
430 : 애플리케이션 서버
440 : 네트워크
510 : 암호코드제스처
610 : 암호코드제스처 제스처그래픽의 형태
710 : Platinum 앱의 제스처그래픽
720 : 슬라이드 바 다운(Down) 그래픽객체의 비선택된 상태표시
730 : 슬라이드 바 업(Up) 그래픽객체의 선택된 상태표시
740 : 제스처그래픽 표시예
750 : 제스처그래픽 표시예

Claims (17)

  1. 제스처에 의해 작동하는 리모트컨트롤 시스템에 있어서,
    입력부;
    출력부;
    입력되는 제스처에 대해 상호 매칭할 제스처 정보가 저장되는 저장부; 및
    상기 입력부, 출력부 또는 저장부 중 적어도 하나와 전기적으로 연결되어, 제스처 동작을 인식하고 제어하는 제어부;를 포함하며,
    상기 제어부는,
    상기 입력부에 의해 입력되는 제스처를 인식하고,
    상기 인식된 제스처를 상기 저장부에 저장된 제스처 정보와 상호 매칭하고,
    상기 매칭된 제스처 정보에 대응되는 동작을 실행하고 출력부로 출력하는 리모트컨트롤 시스템.
  2. 제 1 항에 있어서,
    상기 제어부는,
    사용자가 시스템 사용중에 특정기능이나 특정화면 혹은 특정출력상태를 특정제스처로 매칭등록하고, 상기 매칭등록정보를 상기 저장부에 저장하며,
    상기 특정제스처가 입력이 되면, 상기 특정기능을 수행하거나 특정화면으로 이동하거나 또는 특정출력상태로 만드는 것을 특징으로 하는 리모트 콘트롤시스템
  3. 제 2 항에 있어서,
    상기 제어부는,
    특정제스처가 입력이 되면, 상기 사용자가 등록저장한 특정기능이나 특정화면 혹은 특정출력상태와 제스처의 매칭등록리스트를 출력부에 출력하는 것을 특징으로 하는 리모트콘트롤 시스템
  4. 제 1 항에 있어서,
    상기 제어부는,
    특정제스처가 입력이 되고 제스처정보와 매칭시에, 상기 특정제스처에 2개 이상의 특정기능이나, 특정화면 혹은 특정출력상태가 매칭이 되어 있어서 제스처매칭충돌이 발생이 되면, 출력부상에 상기 발생한 제스처매칭충돌의 리스트를 보여주어 사용자가 원하는 것을 확인하고 선택실행하게 하는 것을 특징으로 하는 리모트콘트롤 시스템
  5. 제 1항에 있어서,
    상기 시스템과 시스템내에서 실행되는 앱은 네트워크를 통해서 각각의 서버와 연결이 되어 있고,
    상기 제어부는,
    상기 시스템이나 앱이 인증을 위한 암호로써 하나 이상의 제스처로 구성된 암호코드제스처를 상기 출력부에 표시를 하거나 또는 사용자가 확인할 수 있는 별도의 시스템으로 송신하는 것을 특징으로 하는 리모트콘트롤 시스템
  6. 제 1 항에 있어서,
    상기 제어부는,
    특정제스처를 입력받으면, 제스처입력을 받아 동작실행을 시작하는 것을 특징으로 하는 리모트콘트롤 시스템
  7. 제 1 항에 있어서,
    상기 제어부는,
    특정제스처를 입력받으면, 제스처입력을 받아 동작실행하는 것을 중지하는 것을 특징으로 하는 리모트콘트롤 시스템
  8. 제 1항에 있어서,
    상기 제어부는,
    상기 출력부를 통해 출력되는 기능 실행을 목적으로 하는 그래픽객체들에 대해 각각의 제스처그래픽을 지정하고, 상기 지정된 그래픽객체들과 제스처그래픽들에 대한 정보를 상기 입력부에 입력되는 제스처에 대해 상호 매칭할 제스처 정보로 저장부에 저장하며,
    상기 그래픽객체는,
    상기 출력부를 통해 출력되는 각각의 메뉴항목, 앱 실행아이콘, 스트리밍되고 있는 동영상속의 특정 사물이나 사람, 문자열, 슬라이드 바의 한 부분, 그림이나 사진 속의 특정 사물이나 사람을 포함하며 출력부상에 출력되는 모든 객체들을 대상으로 하고,
    상기 제스처그래픽에 대하여,
    하나의 제스처그래픽은 하나 이상의 제스처만으로 구성되거나 혹은 하나 이상의 숫자와 하나 이상의 제스처의 조합으로 구성되는 것을 특징으로 하는 리모트콘트롤 시스템
  9. 제 8항에 있어서,
    상기 시스템과 시스템내에서 실행되는 앱은 네트워크를 통해서 각각의 서버와 연결이 되어 있고,
    상기 제어부는,
    상기 시스템이나 앱이 인증을 위한 암호로써 하나 이상의 제스처로 구성된 암호코드제스처를 제스처그래픽의 형태로 상기 출력부에 표시를 하거나 또는 사용자가 확인할 수 있는 별도의 시스템으로 송신하는 것을 특징으로 하는 리모트콘트롤 시스템
  10. 제 8항에 있어서,
    상기 제어부는,
    특정제스처가 입력이 된 후, 상기 출력부 상에 출력된 특정 그래픽객체에 지정된 제스처가 입력이 되면,
    상기 그래픽객체에 연결된 기능 실행없이, 상기 그래픽객체를 선택 혹은 선택해제 상태로 하고, 상기 상태를 상기 그래픽객체에 표시하는 것을 특징으로 하는 리모트콘트롤 시스템
  11. 제 10항에 있어서,
    상기 제어부는,
    특정제스처가 입력이 되면, 상기 선택된 그래픽객체를 움직이거나 변형시킬 수 있게 하는 것을 특징으로 하는 리모트콘트롤 시스템
  12. 제 8항에 있어서,
    상기 제어부는,
    특정제스처가 입력이 된 후,
    상기 출력부 상에 출력된 특정 그래픽객체에 지정된 제스처가 입력이 되면,
    상기 그래픽객체에 연결된 기능 실행없이 상기 그래픽객체를 선택하며, 선택된 상태를 상기 그래픽객체에 표시하고,
    상기 그래픽객체와 관련된 추가기능들을 지정된 제스처그래픽과 함께 리스트로 보여주는 것을 특징으로 하는 리모트콘트롤 시스템
  13. 제 8항에 있어서,
    상기 제어부는,
    상기 출력부 상에 출력된 특정 그래픽객체에 지정된 제스처가 입력이 되면,
    상기 그래픽객체에 연결된 기능을 1번 실행하고, 상기 그래픽객체를 선택상태로 하고, 상기 선택상태를 상기 그래픽객체에 표시하는 것을 특징으로 하는 리모트콘트롤 시스템
  14. 제 10항 또는 제 13항에 있어서,
    상기 제어부는,
    On Off 신호를 보낼 수 있는 송신기를 가지는 시스템의 경우, 상기 송신기로부터 On 신호가 입력이 되면, 상기 선택된 그래픽객체에 연결되어 있는 기능을 1번 실행시키고,
    사용자의 제스처를 카메라를 통해서 입력받는 시스템의 경우, 특정제스처가 입력이 되면, 상기 선택된 그래픽객체에 연결되어 있는 기능을 1번 실행시키는 것을 특징으로 하는 리모트콘트롤 시스템
  15. 제 8항에 있어서,
    상기 시스템에 설치되어 실행이 되는 앱이 있고,
    상기 제어부는,
    상기 시스템이나 상기 앱이 그래픽객체들에 지정되는 제스처그래픽들을 미리 지정하지 않고, 실행 중에 자체의 알고리즘으로 그래픽객체들마다 제스처그래픽들을 지정하는 것을 특징으로 하는 리모트콘트롤 시스템
  16. 제 8항에 있어서,
    상기 시스템에 설치되어 실행이 되는 앱이 있고,
    상기 제어부는,
    특정한 주기가 설정되면, 상기 시스템이나 앱이 실행 중에 자체의 알고리즘으로 상기 설정된 주기에 따라서 그래픽객체들에 지정된 제스처그래픽들을 변경하는 것을 특징으로 하는 리모트콘트롤 시스템
  17. 제 8항에 있어서,
    상기 제어부는,
    출력부상에 표시된 각 그래픽객체와 제스처그래픽의 지정관계를 선이나 말풍선을 이용해서 표시하는 것을 특징으로 하는 리모트콘트롤 시스템
KR1020210175846A 2021-12-09 2021-12-09 리모트컨트롤 시스템 KR20230087152A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210175846A KR20230087152A (ko) 2021-12-09 2021-12-09 리모트컨트롤 시스템
PCT/KR2022/017739 WO2023106661A1 (ko) 2021-12-09 2022-11-11 리모트컨트롤 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210175846A KR20230087152A (ko) 2021-12-09 2021-12-09 리모트컨트롤 시스템

Publications (1)

Publication Number Publication Date
KR20230087152A true KR20230087152A (ko) 2023-06-16

Family

ID=86730771

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210175846A KR20230087152A (ko) 2021-12-09 2021-12-09 리모트컨트롤 시스템

Country Status (2)

Country Link
KR (1) KR20230087152A (ko)
WO (1) WO2023106661A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100131213A (ko) 2009-06-05 2010-12-15 탑시드 테크놀로지 코포레이션 제스쳐-기반의 리모컨 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213890B2 (en) * 2010-09-17 2015-12-15 Sony Corporation Gesture recognition system for TV control
US20120216152A1 (en) * 2011-02-23 2012-08-23 Google Inc. Touch gestures for remote control operations
KR101435773B1 (ko) * 2012-12-05 2014-08-28 김경희 스마트 tv 의 원격 제어 장치 및 원격 제어 방법.
KR101370263B1 (ko) * 2013-03-15 2014-03-04 전자부품연구원 제스처 기반의 전자기기 리모트 제어 방법 및 이를 위한 컴퓨터로 판독가능한 기록매체
KR102114612B1 (ko) * 2013-07-02 2020-05-25 엘지전자 주식회사 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100131213A (ko) 2009-06-05 2010-12-15 탑시드 테크놀로지 코포레이션 제스쳐-기반의 리모컨 시스템

Also Published As

Publication number Publication date
WO2023106661A1 (ko) 2023-06-15

Similar Documents

Publication Publication Date Title
RU2644142C2 (ru) Контекстный пользовательский интерфейс
JP2021073567A (ja) 音声制御方法、端末機器、クラウドサーバ及びシステム
US20150193036A1 (en) User terminal apparatus and control method thereof
US10009299B2 (en) Method of processing message and electronic device supporting the same
US20150193103A1 (en) User terminal apparatus and control method thereof
CN113805738B (zh) 一种控制按键的自定义设置方法、启动方法及显示设备
WO2013175236A2 (en) A collaborative home retailing system
CN107346115B (zh) 一种智能设备的控制方法、控制终端和智能设备
CN108959320A (zh) 预览视频搜索结果的方法和装置
CN113485626A (zh) 一种智能显示设备、移动终端和显示控制方法
KR101864276B1 (ko) 휴대 단말기의 동작 방법
EP3247123A1 (en) Image processing terminal for performing a different operation according to a force input and upgrade of software and method for upgrading the software
US20100180219A1 (en) Apparatus and method for providing user interface
KR20140104773A (ko) 디스플레이장치 및 그 제어방법
JP7457834B2 (ja) リモートコントロールシステム
CN113797527B (zh) 一种游戏处理方法、装置、设备、介质及程序产品
KR20230087152A (ko) 리모트컨트롤 시스템
US10845954B2 (en) Presenting audio video display options as list or matrix
US10579732B2 (en) Accessibility menu from remote control
CN106951171B (zh) 虚拟现实头盔的控制方法和装置
KR20230098315A (ko) 미디어 디바이스에 난독화된 개인 식별 번호 입력을 위한 시스템, 방법 및 미디어
CN114100121A (zh) 操作控制方法、装置、设备、存储介质及计算机程序产品
CN112905007A (zh) 一种虚拟现实设备及语音辅助交互方法
CN112316410A (zh) 基于电视游戏的控制方法、系统、设备及可读存储介质
CN115174997B (zh) 显示设备和媒资推荐方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal