KR20150057127A - 영상표시장치, 및 그 동작방법 - Google Patents

영상표시장치, 및 그 동작방법 Download PDF

Info

Publication number
KR20150057127A
KR20150057127A KR1020130140070A KR20130140070A KR20150057127A KR 20150057127 A KR20150057127 A KR 20150057127A KR 1020130140070 A KR1020130140070 A KR 1020130140070A KR 20130140070 A KR20130140070 A KR 20130140070A KR 20150057127 A KR20150057127 A KR 20150057127A
Authority
KR
South Korea
Prior art keywords
keyboard
input
finger
user
mode
Prior art date
Application number
KR1020130140070A
Other languages
English (en)
Inventor
백승민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130140070A priority Critical patent/KR20150057127A/ko
Publication of KR20150057127A publication Critical patent/KR20150057127A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 영상표시장치, 및 그 동작방법에 관한 것이다. 본 발명의 실시예에 따른 영상표시장치는, 카메라와, 디스플레이와, 키보드를 포함하며, 키보드 입력을 수신하는 입력부와, 제1 모드에서 키보드 입력에 대응하여, 문자를 표시하도록 제어하며, 제2 모드에서 키보드 입력에 대응하여, 마우스 동작을 수행하도록 제어하는 프로세서를 포함한다. 이에 의해, 사용자의 이용 편의성을 향상시킬 수 있게 된다.

Description

영상표시장치, 및 그 동작방법{Image display apparatus, and method for operating the same}
본 발명은 영상표시장치, 및 그 동작방법에 관한 것이며, 더욱 상세하게는 사용자의 이용 편의성을 향상시킬 수 있는 영상표시장치, 및 그 동작방법에 관한 것이다.
키보드를 구비한 영상표시장치 예를 들어, 노트북 컴퓨터는 문자 입력을 위해 키보드를 이용해야 하며, 커서 이동을 위해서는 별도로 마우스나 터치 패드를 이용해야 한다.
그러나, 문서 작업시, 문자 입력과, 마우스를 이용한 입력을 병행하는 경우가 빈번한 경우, 사용자의 손이 키보드에 위치하였다가, 다시 마우스나 터치 패드로 이동하여야 하는 불편함이 있다.
본 발명의 목적은, 사용자의 이용 편의성을 향상시킬 수 있는 영상표시장치, 및 그 동작방법을 제공함에 있다.
또한, 본 발명의 다른 목적은, 하나의 키보드를 이용하여, 문자 표시와 마우스 동작을 수행할 수 있는 영상표시장치, 및 그 동작방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 카메라와, 디스플레이와, 키보드를 포함하며, 키보드 입력을 수신하는 입력부와, 제1 모드에서 키보드 입력에 대응하여, 문자를 표시하도록 제어하며, 제2 모드에서 키보드 입력에 대응하여, 마우스 동작을 수행하도록 제어하는 프로세서를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 키보드 입력 장치를 구비하는 영상표시장치의 동작방법은, 제1 모드에서 키보드 입력을 수신하는 단계와, 키보드 입력에 대응하는 문자를 표시를 표시하는 단계와, 제2 모드에서 키보드 입력을 수신하는 단계와, 제2 모드에서의 키보드 입력에 대응하여, 마우스 동작을 수행하는 단계를 포함한다.
본 발명의 실시예에 따르면, 키보드를 구비한 영상표시장치에서, 제1 모드에서는 키보드 입력에 대응하는 문자 표시를 수행할 수 있으며, 제2 모드에서는 키보드 입력에 대응하여, 마우스 동작을 수행할 수 있게 된다. 이에 따라, 하나의 키보드를 이용하여, 문자 표시와 마우스 동작을 수행할 수 있게 된다. 결국, 사용자의 이용 편의성이 증대될 수 있게 된다.
특히, 제2 모드에서, 키보드 상에 제1 방향으로 연속 배열되는 키를 누르는 경우, 제1 방향으로 포인터를 이동시킬 수 있게 된다.
또한, 키보드 상에서, 사용자의 제1 손가락을 이용하여 소정키를 누르는 경우, 마우스와 같은 클릭 동작이 수행될 수 있게 된다.
한편, 영상표시장치에 부착된 카메라에서 촬영된 영상을 이용하여, 사용자의 제1 손가락과 제2 손가락을 구분함으로써, 제2 모드에서 좌클릭과 우클릭 동작을 구분할 수 있게 된다.
도 1은 본 발명의 일실시예에 따른 영상표시장치의 외관을 도시한 도면이다.
도 2는 도 1의 영상표시장치의 내부 블록도의 일예이다.
도 3은 종래의 영상표시장치의 동작을 설명하기 위해 참조되는 도면이다.
도 4는 본 발명의 일실시예에 따른 영상표시장치의 동작방법을 보여주는 순서도이다.
도 5a 내지 도 11c는 도 4의 동작방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
도 12는 본 발명 다른 실시예에 따른 영상표시장치의 외관을 도시한 도면이다.
도 13은 도 12의 원격제어장치의 제2 면을 도시한 도면이다.
도 14a 내지 도 14b는 도 12의 영상표시장치의 동작방법을 설명하기 위해 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 일실시예에 따른 영상표시장치의 외관을 도시한 도면이다.
도면을 참조하면, 본 발명의 일실시예에 따른 영상표시장치(100)는, 입력부로서 키보드(115), 디스플레이(180), 및 카메라(195)를 구비할 수 있다. 그리고, 키보드(115)를 통해 입력되는 내용을 디스플레이(180)에 표시할 수 있다.
도면에서는, 물리적인 키보드를 예시하나, 이와 달리, 터치 스크린 상에서, 이미지로 구현되는 키보드도 가능하다.
예를 들어, 영상표시장치(100)는, 랩탑 컴퓨터(노트북), 태블릿 PC, 키보드와 데스크 탑 컴퓨터를 포함하는 개념일 수 있다. 또한, 영상표시장치(100)는, 키보드를 구비한 원격제어장치에 의해 원격 제어 가능한, TV 등을 포함하는 개념일 수 있다.
한편, 본 발명의 실시예에 따른, 영상표시장치(100)는, 카메라(195)를 통해 촬영된 영상에 기초하여, 모드 전환, 또는 사용자의 손가락 등을 검출할 수 있다.
본 발명의 실시예에 따른, 영상표시장치(100)는, 제1 모드인 경우, 키보드 입력에 대응하여, 문자를 표시하며, 제2 모드에서 키보드 입력에 대응하여, 마우스 동작을 수행할 수 있다.
이에 따라, 하나의 키보드를 이용하여, 문자 표시와 마우스 동작을 수행할 수 있게 된다. 결국, 사용자의 이용 편의성이 증대될 수 있게 된다.
한편, 제1 모드는, 키보드 모드이고, 제2 모드는 마우스 모드일 수 있으며, 마우스 모드인 경우, 키보드 상에 제1 방향으로 연속 배열되는 키를 누르는 경우, 제1 방향으로 포인터를 이동시킬 수 있게 된다.
또한, 키보드 상에서, 사용자의 제1 손가락을 이용하여 소정키를 누르는 경우, 마우스와 같은 클릭 동작이 수행될 수 있게 된다.
한편, 영상표시장치(100)에 부착된 카메라(195)에서 촬영된 영상을 이용하여, 사용자의 제1 손가락과 제2 손가락을 구분함으로써, 제2 모드에서 좌클릭과 우클릭 동작을 구분할 수 있게 된다.
도 2는 도 1의 영상표시장치의 내부 블록도의 일예이다.
도면을 참조하면, 도 1의 영상표시장치(100)는, 입력부(110), 통신부(120), 메모리(140), 오디오 출력부(160), 프로세서(170), 디스플레이(180), 전원 공급부(190), 카메라(195)를 구비할 수 있다.
입력부(110)는, 문자 입력을 위한 키보드(115)를 구비할 수 있다. 키보드(115)는, 별도의 터치 패드가 구비되지 않아도 되며, 문자키, 숫자키, 특수키 등을 구비할 수 있다.
본 발명의 실시예에서는, 별도의 터치 패드나, 마우스 입력 없이, 키보드 만으로, 문자 입력 및 마우스 동작을 수행하는 것으로 한다.
통신부(120)는, 외부 장치와의 데이터 교환을 위해, 무선 통신을 수행할 수 있다. 이를 위해, 통신부(120)는, 이동통신 모듈(미도시), 무선 인터넷 모듈(미도시), 근거리 통신 모듈(미도시), 및 GPS 모듈(미도시) 등 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선 인터넷 모듈(미도시)을 통해, WiFi 통신을 수행할 수 있으며, 근거리 통신 모듈(미도시)를 통해, NFC(Near Field Communication) 통신을 수행할 수 있다.
한편, 통신부(120)는, 이동 단말기(미도시) 또는 외부 서버(미도시)와, 데이터를 교환할 수 있다. 구체적으로, 통신부(120)는, 이동 단말기 또는 서버로부터, 영상 컨텐츠 등 각종 데이터를 수신할 수 있다.
메모리(140)는, 영상표시장치(100) 내의 프로세서(170)의 처리 또는 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다.
한편, 메모리(140)는, 외부 장치에서 수신되는 컨텐츠 데이터를 일시적으로 또는 일정 기간 동안 저장할 수 있다.
오디오 출력부(160)는, 오디오 신호를 출력할 수 있다. 예를 들어, 디스플레이(180)에서 재생되는 컨텐츠의 오디오 신호를 출력할 수 있다. 한편, 오디오 출력부(160)는, 스피커를 구비할 수 있으며, 또는, 외부로 오디오 출력을 위한 오디오 출력 단자를 구비할 수도 있다.
프로세서(170)는, 영상표시장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.
예를 들어, 프로세서(170)는, 사용자 입력에 기초하여, 메모리(140)에 저장되거나, 통신부(120)를 통해 수신되는 영상 컨텐츠를 재생하여, 해당 비디오 신호와 오디오 신호를, 각각 디스플레이(180)와 오디오 출력부(160)에 출력할 수 있다.
본 발명의 실시예와 관련하여, 프로세서(170)는, 제1 모드에서 키보드 입력에 대응하여, 문자를 표시하도록 제어하며, 제2 모드에서 키보드 입력에 대응하여, 마우스 동작을 수행하도록 제어할 수 있다.
프로세서(170)는, 제2 모드에서의 키보드 입력이, 제1 방향으로 연속 배열되는 키들이 눌려지는 입력인 경우, 제1 방향으로 포인터를 이동하여 표시하도록 제어할 수 있다.
프로세서(170)는, 카메라(195)를 통해 사용자의 손 이미지를 획득하고, 사용자의 손 이미지 중, 사용자의 제1 손가락이 키보드의 소정 키를 누르는 지 여부를 판단하며, 사용자의 제1 손가락이, 제1 방향으로 연속 배열되는 키들을 누르면서 이동하는 경우, 제1 방향으로 포인터를 이동하여 표시하도록 제어할 수 있다.
프로세서(170)는, 카메라(195)를 통해 사용자의 손 이미지를 획득하고, 사용자의 손 이미지 중, 사용자의 제1 손가락 또는 제2 손가락이 키보드의 소정 키를 누르는 지 여부를 판단하며, 사용자의 제1 손가락이 키보드의 소정 키를 누르는 경우, 마우스의 좌클릭 동작을 수행하고, 사용자의 제2 손가락이 키보드의 소정 키를 누르는 경우, 마우스의 우클릭 동작을 수행하도록 제어할 수 있다.
프로세서(170)는, 카메라)195)를 통해 사용자의 손 이미지를 획득하고, 사용자의 손 이미지 중, 사용자의 제1 손가락 및 제2 손가락이 키보드의 소정 키들을 누르는 지 여부를 판단하며, 사용자의 제1 손가락 및 제2 손가락이 키보드의 소정 키들을 누르면서, 제1 방향으로 이동하는 경우, 디스플레이에 표시되는 화면 또는 리스트를 제1 방향으로 이동시키도록 제어할 수 있다.
프로세서(170)는, 모드 전환 입력에 의해, 제1 모드에서 제2 모드로 전환하며, 모드 전환 입력은, 키보드의 특정 키 입력 또는 사용자의 특정 제스쳐 입력에 대응할 수 있다.
전원 공급부(190)는, 프로세서(170)의 제어에 의해, 영상표시장치(100) 내의 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다.
특히, 전원 공급부(190)는, 영상표시장치(100)가 이동 가능한 장치인 경우, 별도의 배터리를 구비할 수 있다. 또는, 전원 공급부(190)는, AC 전원을 입력받는 AC 전원 단자를 구비하고, 입력되는 AC 전원을 DC 전원으로 변환하는 컨버터를 구비할 수 있다.
카메라(195)는, 사용자를 촬영하고, 촬영된 이미지를 영상표시장치(100) 내의 프로세서(170)로 전송할 수 있다. 도 1의 카메라(195)는, 하나의 카메라를 예시하나, 복수개의 카메라가 구비되는 것도 가능하다. 한편, 카메라(195)는, 2D 카메라 또는 3D 카메라일 수 있다.
도 3은 종래의 영상표시장치의 동작을 설명하기 위해 참조되는 도면이다.
도면을 참조하면, 종래의 영상표시장치(300)는, 문서 작성시, 문자 입력을 위해, 키보드를 사용하다가, 커서 이동 또는 도형 작성을 위해, 마우스(310) 또는 터치패드를 이용하여야 하는 불편함이 있었다.
특히, 문서 작업시, 문자 입력과, 마우스를 이용한 입력을 병행하는 경우가 빈번한 경우, 사용자의 손이 키보드에 위치하였다가, 다시 마우스나 터치 패드로 이동하여야 하는 불편함이 있다.
본 발명에서는 이러한 점을 해결하기 위해, 하나의 키보드를 이용하여, 문자 표시와 마우스 동작하도록 한다. 이에 대해서는 도 4 이하를 참조하여 기술한다.
도 4는 본 발명의 일실시예에 따른 영상표시장치의 동작방법을 보여주는 순서도이고, 도 5a 내지 도 11c는 도 4의 동작방법의 다양한 예를 설명하기 위해 참조되는 도면이다.
도 4를 참조하여 설명하면, 영상표시장치(100)는, 제1 모드에서 키보드 입력을 수신한다(S410). 이에 따라, 영상표시장치(100)는, 키보드 입력에 대응하는 문자를 표시를 표시한다(S415).
영상표시장치(100)의 프로세서(170)는, 별도의 전환 입력이 없는 경우, 디폴트 모드로서, 키보드가 키보드 입력 모드로 동작하도록 한다.
도 5a는 키보드가 제1 모드로서 동작하는 것을 예시한다.
도면과 같이, 사용자가 양손(500L,500R) 중 오른손(500R)을 이용하여, 키보드(115)의 j키(115j),k키(115k),l키(115l)를 순차적으로 누르는 경우, 프로세서(170)는, 문자 표시 모드로서, 해당 문자가 디스플레이(180)를 통해 표시되도록 제어한다. 즉, 디스플레이(180)에, 'jkl'이라는 문자(510)가 표시될 수 있다.
다음, 영상표시장치(100)는, 모드 전환 입력이 있는 지 여부를 판단한다(S420). 그리고, 모드 전환 입력이 있는 경우, 영상표시장치(100)는, 제2 모드에서 키보드 입력을 수신한다(S425). 그리고, 제2 모드에서의 키보드 입력에 대응하여, 마우스 동작을 수행한다(S430).
영상표시장치(100)는, 카메라(195)가 활성화된 상태에서, 사용자의 손에 대한 이미지를 획득할 수 있다.
그리고, 영상표시장치(100)의 프로세서(170)는, 사용자 손에 대한 이미지에 기초하여, 모드 전환 입력이 있는 지 여부를 판단할 수 있다.
예를 들어, 도 5b와 같이, 사용자의 양손(500L,500R) 중 오른손(500R)을 좌,우로 흔드는 경우, 영상표시장치(100)의 프로세서(170)는, 촬영 이미지를 통해, 이를 인식하고, 모드 전환 입력으로 판단할 수 있다.
이에 따라, 영상표시장치(100)의 프로세서(170)는, 키보드의 동작이 제1 모드에서 제2 모드로 동작하도록 제어할 수 있다.
즉, 도 5c와 같이, 사용자가 양손(500L,500R) 중 오른손(500R)을 이용하여, 키보드(115)의 j키(115j),k키(115k),l키(115l)를 순차적으로 누르는 경우, 특히, 드래그하는 경우, 프로세서(170)는, 마우스 모드로서, 커서 이동으로 판단할 수 있다. 그리고, 디스플레이(180)를 통해, 커서(505)가 우측 방향으로 이동하여 표시되도록 제어한다. 이에 따라, 하나의 키보드를 이용하여, 문자 표시와 마우스 동작을 수행할 수 있게 된다. 결국, 사용자의 이용 편의성이 증대될 수 있게 된다.
다음, 도 5d는 사용자가 키보드 상의 특정키 예를 들어, 스페이스 바 키(115SP)를 누르는 것을 예시한다. 이러한 경우, 영상표시장치(100)의 프로세서(170)는, 다시 제1 모드로 전환하도록 제어할 수 있다.
또는, 도 5b와 같이, 사용자의 양손(500L,500R) 중 오른손(500R)을 좌,우로 흔드는 경우, 영상표시장치(100)의 프로세서(170)는, 촬영 이미지를 통해, 이를 인식하고, 모드 전환 입력으로 판단할 수 있다. 이러한 경우, 영상표시장치(100)의 프로세서(170)는, 다시 제1 모드로 전환하도록 제어할 수 있다.
한편, 도 5a 내지 도 5d 외에, 제1 모드와 제2 모드에 대한 다양한 동작 예가 가능하다.
도 6a 내지 도 6d는, 도 5a 내지 도 5d와 유사하나, 모드 전환에 의한 제2 모드시에, 키보드를 누르지 않고, 키보드 상에, 사용자의 우측 이동을 나타내는 손 동작(600GR)이 있는 것에 그 차이가 있다. 이러한 경우, 영상표시장치(100)의 프로세서(170)는, 촬영 이미지를 통해, 사용자의 오른 손(500R)이 키보드 상에 위치한 상태에서, 우측 방향 이동 제스쳐를 취하는 것을 인식할 수 있다. 그리고, 이를 커서 우측 이동 입력으로 인식하여, 커서(505)를 우측으로 이동시킬 수 있다.
도 7a는, 키보드가 제1 모드로서 동작하는 것을 예시한다.
도면과 같이, 사용자가 양손(500L,500R) 중 왼손(500L)을 이용하여, 키보드(115)의 h키(115h),j키(115j),f키(115f)를 순차적으로 누르는 경우, 프로세서(170)는, 문자 표시 모드로서, 해당 문자가 디스플레이(180)를 통해 표시되도록 제어한다. 즉, 디스플레이(180)에, 'hgf'이라는 문자(510)가 표시될 수 있다.
한편, 도 7b와 같이, 사용자가, 특정키, 예를 들어, 함수키(115F4)를 누르는 경우, 영상표시장치(100)의 프로세서(170)는, 이를 모드 전환 입력으로 판단할 수 있다.
이에 따라, 영상표시장치(100)의 프로세서(170)는, 키보드의 동작이 제1 모드에서 제2 모드로 동작하도록 제어할 수 있다.
즉, 도 7c와 같이, 사용자가 양손(500L,500R) 중 오른손(500R)을 이용하여, 키보드(115)의 h키(115h),j키(115j),f키(115f)를 순차적으로 누르는 경우, 특히, 드래그하는 경우, 프로세서(170)는, 마우스 모드로서, 커서 이동으로 판단할 수 있다. 그리고, 디스플레이(180)를 통해, 커서(505)가 좌측 방향으로 이동하여 표시되도록 제어한다. 이에 따라, 하나의 키보드를 이용하여, 문자 표시와 마우스 동작을 수행할 수 있게 된다. 결국, 사용자의 이용 편의성이 증대될 수 있게 된다.
다음, 도 7d는 사용자가 키보드 상의 특정키, 예를 들어, 함수키(115F4)를 누르는 경우, 영상표시장치(100)의 프로세서(170)는, 이를 모드 전환 입력으로 판단할 수 있다. 이에 따라, 영상표시장치(100)의 프로세서(170)는, 다시 제1 모드로 전환하도록 제어할 수 있다.
도 8a 내지 도 8d는, 도 7a 내지 도 7d와 유사하나, 모드 전환에 의한 제2 모드시에, 키보드를 누르지 않고, 키보드 상에, 사용자의 좌측 이동을 나타내는 손 동작(600GL)이 있는 것에 그 차이가 있다. 이러한 경우, 영상표시장치(100)의 프로세서(170)는, 촬영 이미지를 통해, 사용자의 왼 손(500L)이 키보드 상에 위치한 상태에서, 좌측 방향 이동 제스쳐를 취하는 것을 인식할 수 있다. 그리고, 이를 커서 좌측 이동 입력으로 인식하여, 커서(505)를 좌측으로 이동시킬 수 있다.
도 9a 내지 도 9d는, 제2 모드로 동작하는 상태에서, 사용자의 손 동작에 따른 다양한 예를 예시한다.
먼저, 도 9a는, 사용자의 오른 손(500R) 중 검지(500F2)가 키보드 상에서 이동하는 것을 예시한다. 특히, 사용자의 오른 손(500R) 중 검지(500F2)가 키보드 상의 제연속으로 배열되는 키들을 누르는 경우를 예시한다.
영상표시장치(100)의 프로세서(170)는, 카메라(195)를 통해 촬영된 이미지에 기반하여, 사용자 손을 인식하고, 또한, 사용자 손가락을 인식할 수 있다. 그리고, 키보드 입력을 한 손가락이 다섯 손가락 중 검지인지 여부를 인식할 수 있다.
키보드를 통해 이동 입력을 한 손가락이 검지인 경우, 영상표시장치(100)의 프로세서(170)는, 마우스 모드로서, 커시 이동 동작을 수행하도록 제어할 수 있다. 즉, 검지 손가락의 이동 방향에 따라, 커서를 이동시키도록 제어할 수 있다.
다음, 도 9b는 사용자의 오른 손(500R) 중 검지(500F2) 또는 중지(500F3)를 이용하여, 키보드 상의 특정키를 누르는 경우를 예시한다.
영상표시장치(100)의 프로세서(170)는, 카메라(195)를 통해 촬영된 이미지에 기반하여, 사용자 손을 인식하고, 또한, 사용자 손가락을 인식할 수 있다. 그리고, 키보드 입력을 한 손가락이 다섯 손가락 중 검지인지 또는 중지인지 여부를 인식할 수 있다.
키보드 입력을 한 손가락이 검지인 경우, 영상표시장치(100)의 프로세서(170)는, 마우스 모드로서, 좌클릭 동작을 수행하도록 제어할 수 있다. 즉, 커서 위치에 있는 항목을 선택하는 것으로 동작하도록 제어할 수 있다.
또는, 키보드 입력을 한 손가락이 중지인 경우, 영상표시장치(100)의 프로세서(170)는, 마우스 모드로서, 우클릭 동작을 수행하도록 제어할 수 있다. 즉, 커서 위치에 있는 항목에서, 확대 메뉴(또는 풀다운 메뉴)가 표시되도록 제어할 수 있다.
다음, 도 9c는 사용자의 오른 손(500R) 중 검지(500F2)와 중지(500F3)를 이용하여, 키보드 상의 특정키들을 누른 상태에서 상,하 방향으로 이동하는 경우를 예시한다.
영상표시장치(100)의 프로세서(170)는, 카메라(195)를 통해 촬영된 이미지에 기반하여, 사용자의 오른 손(500R) 중 검지(500F2)와 중지(500F3)가 키보드 상의 특정키들을 누른 상태에서, 상 방향 또는 하 방향으로 이동하는 지 여부를 판단할 수 있다. 그리고, 상 방향 이동인 경우, 상방향 스크롤 입력으로서, 디스플레이에 표시되는 화면 또는 리스트를 상방향으로 이동시키거나, 상방향에 있던 화면 또는 리스트를 표시하도록 제어한다. 또는, 하 방향 이동인 경우, 하방향 스크롤 입력으로서, 디스플레이에 표시되는 화면 또는 리스트를 하방향으로 이동시키거나, 하방향에 있던 화면 또는 리스트를 표시하도록 제어한다.
다음, 도 9d는 사용자의 오른 손(500R) 중 검지(500F2)와 중지(500F3)를 이용하여, 키보드 상의 특정키들을 누른 상태에서 좌,우 방향으로 이동하는 경우를 예시한다.
영상표시장치(100)의 프로세서(170)는, 카메라(195)를 통해 촬영된 이미지에 기반하여, 사용자의 오른 손(500R) 중 검지(500F2)와 중지(500F3)가 키보드 상의 특정키들을 누른 상태에서, 좌 방향 또는 우 방향으로 이동하는 지 여부를 판단할 수 있다. 그리고, 좌 방향 이동인 경우, 좌방향 플릭킹 입력으로서, 디스플레이에 표시되는 화면 또는 리스트를 좌 방향으로 이동시키거나, 좌방향에 있던 화면 또는 리스트를 표시하도록 제어한다. 또는, 우 방향 이동인 경우, 우방향 플릭킹 입력으로서, 디스플레이에 표시되는 화면 또는 리스트를 우방향으로 이동시키거나, 우방향에 있던 화면 또는 리스트를 표시하도록 제어한다.
한편, 카메라(195)를 통해 촬영된 이미지는, 낮에 촬영된 이미지와 밤에 촬영된 이미지 등으로 구분될 수 있다. 특히, 밤에 촬영된 이미지는, 이미지 상에서, 사용자의 손 등을 color 기반으로 구분하기 힘들다. 이에 따라, 본 발명의 실시예서는, 밤에 촬영된 이미지에 대해서는, 휘도(luma) 기반으로 사용자의 손을 구분하도록 한다.
도 10a 내지 도 10c는 낮에 촬영되거나 주변 조도가 높은 상황에서 촬영된 카메라의 촬영 이미지(1010)를 예시한다.
영상표시장치(100)의 프로세서(170)는, 도 10a와 같은 촬영 이미지(1010)를 수신하고, 컬러(color) 기반으로, 키보드 영역(1015)을 판단한다.
그리고, 영상표시장치(100)의 프로세서(170)는, 에지 검출 등의 영상 검출 알고리즘을 사용하여, 도 10b와 같이, 사용자의 손 에지 영역(1025)을 검출한다.
그리고, 영상표시장치(100)의 프로세서(170)는, 손 에지 영역(1025) 중, 사용자의 손가락 중 검지 영역(1030F3), 중지 영역(1030F2)을 구분한다. 이에 의해, 사용자의 손가락 중 검지 영역과 중지 영역을 구분하여, 좌클릭, 우클릭 등과 같은 마우스 모드 동작이 가능해질 수 있게 된다.
도 11a 내지 도 11c는 밤에 촬영되거나 주변 조도가 낮은 상황에서 촬영된 카메라의 촬영 이미지(1110)를 예시한다.
영상표시장치(100)의 프로세서(170)는, 도 11a와 같은 촬영 이미지(1110)를 수신하고, 휘도(luma) 기반으로, 키보드 영역(1115)을 판단한다.
그리고, 영상표시장치(100)의 프로세서(170)는,에지 검출 등의 영상 검출 알고리즘을 사용하여, 도 11b와 같이, 사용자의 손 에지 영역(1125)을 검출한다. 특히, 키보드 영역에 대해서만, 에지 검출을 하여, 키 보드 상의 손 에지 영역(1125)을 검출한다.
그리고, 영상표시장치(100)의 프로세서(170)는, 손 에지 영역(1125) 중, 사용자의 손가락 중 검지 영역(1130F3), 중지 영역(1130F2)을 구분한다. 이에 의해, 주변 조도가 어두운 환경에서도, 사용자의 손가락 중 검지 영역과 중지 영역을 구분하여, 좌클릭, 우클릭과 같은 마우스 모드 동작이 가능해질 수 있게 된다.
도 12는 본 발명 다른 실시예에 따른 영상표시장치의 외관을 도시한 도면이고, 도 13은 도 12의 원격제어장치의 제2 면을 도시한 도면이다.
도 12를 참조하면, 본 발명의 실시예에 의한 영상표시장치(1200)는, 원격제어장치(1400)에 의해 제어되는 TV일 수 있다.
원격제어장치(1400)는 제1 면에, 전원키(1402) 등의 동작키들이 배치될 수 있다.
예를 들어, 동작키로서, 전원키, 홈 키, 검색키, 사방향키, 볼륨키, 등이 배치될 수 있다. 그 외 프로그램 가이드 표시를 위한 가이드 키, 무음키, 칼라키 등이 더 예시될 수 있다.
다음, 도 13을 참조하면, 원격제어장치(1400)의 제2 면(뒷 면)(1451)은, 원격제어장치(1400)의 제1 면(앞 면)(1401)의 반대면으로서, 문자키(1460)와 디스플레이(1470)가 배치될 수 있다.
문자키(1460)는, 숫자키(1462)와 영문키(1464)를 포함할 수 있다. 그 외, 문자키(1460)는, 엔터키, 기능키, 스페이스바키,엔터기 등의 각종 키들을 더 포함할 수 있다.
디스플레이(1470)는, 문자키(1460)에서 입력되는 문자를 표시할 수 있다.
한편, 문자키(1460)가 입력이 있는 경우, 원격제어장치(1400)는 영상표시장치(1200)로 문자키 정보를 전송한다. 이에 따라, 영상표시장치(1200)에 해당 문자가 표시될 수 있다.
한편, 원격제어장치(1400)의 제2 면(뒷 면)(1451)은, 본 발명의 실시예에 따른 키보드에 대응할 수 있다.
따라서, 본 발명의 실시예에 따른, 제1 모드에서 키보드 입력에 대응하는 문자 표시와, 제2 모드에서 키보드 입력에 대응하는 마우스 동작이 적용될 수 있다.
도 14a 내지 도 14b는 도 12의 영상표시장치의 동작방법을 설명하기 위해 참조되는 도면이다.
도 14a는 원격제어장치(1400)의 제2 면, 즉 키보드가 제1 모드로서 동작하는 것을 예시한다.
도면과 같이, 사용자가 키보드(1400)의 j키(1430j),k키(1430k),l키(1430l)를 순차적으로 누르는 경우, 영상표시장치(1200)의 프로세서(미도시)는, 문자 표시 모드로서, 해당 문자가 디스플레이(1280)를 통해 표시되도록 제어한다. 즉, 디스플레이(1280)에, 'jkl'이라는 문자(1710)가 표시될 수 있다.
한편, 이와 별개로, 원격제어장치(1400)에 구비되는 디스플레이(1470)에도 'jkl'이라는 문자가 표시될 수 있다.
다음, 도 14b는, 모드 전환 입력에 따라, 키보드(1400)가 제2 모드로서 전환되어, 제2 모드로서 도작하는 것을 예시한다.
도면과 같이, 사용자가 키보드(1400)의 j키(1430j),k키(1430k),l키(1430l)를 순차적으로 누르는 경우, 특히, 드래그하는 경우, 프로세서(미도시)는, 마우스 모드로서, 커서 이동으로 판단할 수 있다. 그리고, 디스플레이(1280)를 통해, 커서(1505)가 우측 방향으로 이동하여 표시되도록 제어한다. 이에 따라, 하나의 키보드를 이용하여, 문자 표시와 마우스 동작을 수행할 수 있게 된다. 결국, 사용자의 이용 편의성이 증대될 수 있게 된다.
본 발명에 따른 영상표시장치, 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명의 영상표시장치의 동작방법은 영상표시장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (12)

  1. 카메라;
    디스플레이;
    키보드를 포함하며, 키보드 입력을 수신하는 입력부; 및
    제1 모드에서 키보드 입력에 대응하여, 문자를 표시하도록 제어하며, 제2 모드에서 키보드 입력에 대응하여, 마우스 동작을 수행하도록 제어하는 프로세서;를 포함하는 것을 특징으로 하는 영상표시장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 제2 모드에서의 키보드 입력이, 제1 방향으로 연속 배열되는 키들이 눌려지는 입력인 경우, 상기 제1 방향으로 포인터를 이동하여 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 사용자의 손 이미지를 획득하고, 상기 사용자의 손 이미지 중, 상기 사용자의 제1 손가락이 상기 키보드의 소정 키를 누르는 지 여부를 판단하며, 상기 사용자의 제1 손가락이, 제1 방향으로 연속 배열되는 키들을 누르면서 이동하는 경우, 상기 제1 방향으로 포인터를 이동하여 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 사용자의 손 이미지를 획득하고, 상기 사용자의 손 이미지 중, 상기 사용자의 제1 손가락 또는 제2 손가락이 상기 키보드의 소정 키를 누르는 지 여부를 판단하며, 상기 사용자의 제1 손가락이 상기 키보드의 소정 키를 누르는 경우, 마우스의 좌클릭 동작을 수행하고, 상기 사용자의 제2 손가락이 상기 키보드의 소정 키를 누르는 경우, 마우스의 우클릭 동작을 수행하도록 제어하는 것을 특징으로 하는 영상표시장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 카메라를 통해 사용자의 손 이미지를 획득하고, 상기 사용자의 손 이미지 중, 상기 사용자의 제1 손가락 및 제2 손가락이 상기 키보드의 소정 키들을 누르는 지 여부를 판단하며, 상기 사용자의 제1 손가락 및 제2 손가락이 상기 키보드의 소정 키들을 누르면서, 제1 방향으로 이동하는 경우, 디스플레이에 표시되는 화면 또는 리스트를 제1 방향으로 이동시키도록 제어하는 것을 특징으로 하는 영상표시장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    모드 전환 입력에 의해, 상기 제1 모드에서 상기 제2 모드로 전환하며,
    상기 모드 전환 입력은,
    키보드의 특정 키 입력 또는 사용자의 특정 제스쳐 입력에 대응하는 것을 특징으로 하는 영상표시장치.
  7. 제1 모드에서 키보드 입력을 수신하는 단계;
    상기 키보드 입력에 대응하는 문자를 표시를 표시하는 단계;
    제2 모드에서 키보드 입력을 수신하는 단계;
    상기 제2 모드에서의 키보드 입력에 대응하여, 마우스 동작을 수행하는 단계;를 포함하는 것을 특징으로 하는 키보드 입력 장치를 구비하는 영상표시장치의 동작방법.
  8. 제7항에 있어서,
    상기 마우스 동작 수행 단계는,
    상기 제2 모드에서의 키보드 입력이, 제1 방향으로 연속 배열되는 키들이 눌려지는 입력인 경우, 상기 제1 방향으로 포인터를 이동하여 표시하는 것을 특징으로 하는 키보드 입력 장치를 구비하는 영상표시장치의 동작방법.
  9. 제7항에 있어서,
    상기 마우스 동작 수행 단계는,
    사용자의 손 이미지를 획득하는 단계;
    상기 사용자의 손 이미지 중, 상기 사용자의 제1 손가락이 상기 키보드의 소정 키를 누르는 지 여부를 판단하는 단계;
    상기 사용자의 제1 손가락이, 제1 방향으로 연속 배열되는 키들을 누르면서 이동하는 경우, 상기 제1 방향으로 포인터를 이동하여 표시하는 것을 특징으로 하는 키보드 입력 장치를 구비하는 영상표시장치의 동작방법.
  10. 제7항에 있어서,
    상기 마우스 동작 수행 단계는,
    사용자의 손 이미지를 획득하는 단계;
    상기 사용자의 손 이미지 중, 상기 사용자의 제1 손가락 또는 제2 손가락이 상기 키보드의 소정 키를 누르는 지 여부를 판단하는 단계;
    상기 사용자의 제1 손가락이 상기 키보드의 소정 키를 누르는 경우, 마우스의 좌클릭 동작을 수행하고, 상기 사용자의 제2 손가락이 상기 키보드의 소정 키를 누르는 경우, 마우스의 우클릭 동작을 수행하는 단계;를 포함하는 것을 특징으로 하는 키보드 입력 장치를 구비하는 영상표시장치의 동작방법.
  11. 제7항에 있어서,
    상기 마우스 동작 수행 단계는,
    사용자의 손 이미지를 획득하는 단계;
    상기 사용자의 손 이미지 중, 상기 사용자의 제1 손가락 및 제2 손가락이 상기 키보드의 소정 키들을 누르는 지 여부를 판단하는 단계;
    상기 사용자의 제1 손가락 및 제2 손가락이 상기 키보드의 소정 키들을 누르면서, 제1 방향으로 이동하는 경우, 디스플레이에 표시되는 화면 또는 리스트를 제1 방향으로 이동시키는 단계;를 포함하는 것을 특징으로 하는 키보드 입력 장치를 구비하는 영상표시장치의 동작방법.
  12. 제7항에 있어서,
    모드 전환 입력에 의해, 상기 제1 모드에서 상기 제2 모드로 전환하며,
    상기 모드 전환 입력은,
    키보드의 특정 키 입력 또는 사용자의 특정 제스쳐 입력에 대응하는 것을 특징으로 하는 키보드 입력 장치를 구비하는 영상표시장치의 동작방법.
KR1020130140070A 2013-11-18 2013-11-18 영상표시장치, 및 그 동작방법 KR20150057127A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130140070A KR20150057127A (ko) 2013-11-18 2013-11-18 영상표시장치, 및 그 동작방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130140070A KR20150057127A (ko) 2013-11-18 2013-11-18 영상표시장치, 및 그 동작방법

Publications (1)

Publication Number Publication Date
KR20150057127A true KR20150057127A (ko) 2015-05-28

Family

ID=53392054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130140070A KR20150057127A (ko) 2013-11-18 2013-11-18 영상표시장치, 및 그 동작방법

Country Status (1)

Country Link
KR (1) KR20150057127A (ko)

Similar Documents

Publication Publication Date Title
US10642432B2 (en) Information processing apparatus, information processing method, and program
US11775076B2 (en) Motion detecting system having multiple sensors
KR102090269B1 (ko) 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체
US9071790B2 (en) Remote control method, remote controller, remote control response method and set-top box
KR101493603B1 (ko) 외부 표시 장치와 접속가능한 표시 단말 장치 및 방법
JP6448900B2 (ja) 状況情報基盤の情報提供方法、そのシステム及びその記録媒体
CN101482790B (zh) 可于两显示元件上转移对象的电子装置及其控制方法
US20110126094A1 (en) Method of modifying commands on a touch screen user interface
EP2770423A2 (en) Method and apparatus for operating object in user device
KR20220124677A (ko) 디스플레이 장치 및 그 제어 방법
US20090283341A1 (en) Input device and control method thereof
TW201520882A (zh) 輸入設備及輸入管理系統
JPWO2012111227A1 (ja) タッチ式入力装置、電子機器および入力方法
CN103543825A (zh) 摄像机光标系统
US10338692B1 (en) Dual touchpad system
JP2013114645A (ja) 小型情報機器
JP2013161181A (ja) 表示制御装置および表示制御装置の制御方法
KR20150057127A (ko) 영상표시장치, 및 그 동작방법
KR20110013076A (ko) 카메라 시스템을 이용한 손짓 및 터치형 양손 반지 마우스 입력 장치
EP3521990A1 (en) Method for interacting with one or more of software applications using a touch sensitive display
KR101439178B1 (ko) 촬영부를 이용한 원격 제어 시스템 및 방법
US20160077795A1 (en) Display apparatus and method of controlling thereof
KR102466219B1 (ko) 사용자 행위에 기반한 컨텐츠 연관 정보를 제공하는 방법
KR102629413B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
KR20160016429A (ko) 반지 타입의 단말기 및 전자 기기

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination