KR102008692B1 - 전자 기기 및 전자 기기의 오브젝트 포인팅 방법 - Google Patents

전자 기기 및 전자 기기의 오브젝트 포인팅 방법 Download PDF

Info

Publication number
KR102008692B1
KR102008692B1 KR1020160087765A KR20160087765A KR102008692B1 KR 102008692 B1 KR102008692 B1 KR 102008692B1 KR 1020160087765 A KR1020160087765 A KR 1020160087765A KR 20160087765 A KR20160087765 A KR 20160087765A KR 102008692 B1 KR102008692 B1 KR 102008692B1
Authority
KR
South Korea
Prior art keywords
key
tag
event
screen
display
Prior art date
Application number
KR1020160087765A
Other languages
English (en)
Other versions
KR20180006825A (ko
Inventor
최명기
Original Assignee
최명기
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 최명기 filed Critical 최명기
Priority to KR1020160087765A priority Critical patent/KR102008692B1/ko
Publication of KR20180006825A publication Critical patent/KR20180006825A/ko
Application granted granted Critical
Publication of KR102008692B1 publication Critical patent/KR102008692B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 디스플레이를 갖는 전자 기기 등에 있어서 사용자 인터페이스(UI, User Interface) 또는 사용자 경험(UX, User Experience)에 관한 기술이다. 더욱 상세하게는 버튼 입력 방식의 입력 장치를 이용하는 기기에 있어서 사용자가 오브젝트 포인팅 동작을 쉽게 할 수 있도록 한 장치, 방법 및 그 방법을 실행하기 위해 매체에 저장된 컴퓨터프로그램에 관한 것이다.

Description

전자 기기 및 전자 기기의 오브젝트 포인팅 방법{A electronic device and a method of pointing object on the display thereof}
본 발명은 디스플레이를 갖는 전자 기기 등에 있어서 사용자 인터페이스(UI, User Interface) 또는 사용자 경험(UX, User Experience)에 관한 기술이다. 더욱 상세하게는 버튼 입력 방식의 입력 장치를 이용하는 기기에 있어서 사용자가 오브젝트 포인팅 동작을 쉽게 할 수 있도록 한 장치, 방법 및 그 방법을 실행하기 위해 매체에 저장된 컴퓨터프로그램에 관한 것이다.
일반적으로 사용자 인터페이스(User Interface, 이하 “UI”라 한다)는 사용자가 제품을 사용하면서 상호작용하게 되는 제품의 접점을 의미하고, 사용자 경험(User Experience, 이하 UX라 한다)은 제품을 사용하면서 사용자가 느끼는 총체적인 경험, 감정, 기억 등을 의미한다. 이러한 UI/UX는 제품에 대한 구매욕을 일으키는 결정적인 요소로 작용하기 때문에 그 디자인에 관한 기술은 매우 중요하다. UI/UX는 모든 제품에 있어서 중요하지만, 사용자가 항상 가까이 두고 상호작용하는 정보통신기기에 있어서는 그 중요성이 더욱 두드러진다.
예를 들어, 컴퓨터의 경우 UI/UX는 입력 장치로 주로 사용되는 키보드와 마우스를 매개로 하여 구현된다. 키보드는 버튼 방식의 입력 수단으로써, 실행하고자 하는 기능(명령) 이나 접근하고자 하는 화면상의 개체에 직접 작용한다. 예를 들어, 마이크로소프트사의 익스플로어러나 오피스 프로그램의 실행 중에 키보드의 “F1”키를 누르면 실행 중인 프로그램의 사용방법에 관한 도움말 기능이 수행된다. 동일한 기능을 실행시키기 위해 마우스를 이용할 때는 화면상의 포인터가 원하는 위치(화면상의 물음표 이미지나 도음말 메뉴)로 이동하도록 마우스를 드래그한 후 해당 위치에서 마우스 버튼을 클릭하여 실행한다.
키보드를 입력장치로 이용하는 경우는 버튼 누름 동작 하나로 원하는 기능을 바로 실행시킬 수 있어 동작접근성(원하는 기능을 실행시키기 위해 사용자에게 요구되는 동작)이 뛰어난 반면에, 사용자가 누르려는 버튼을 확인하기 위해서는 화면에서 눈을 떼어 키보드 상의 버튼 위치를 확인해야 하기 때문에 시야접근성(원하는 기능을 실행시키기 위해 사용자가 확보해야 하는 시야)은 좋지 않다.
반대로, 마우스를 입력장치로 이용하는 경우는 원하는 기능을 실행시키기 위해 마우스 드래그 동작과 마우스 버튼 클릭 동작이 요구되기 때문에 동작 접근성이 좋지 않지만, 사용자가 화면에서 눈을 떼지 않고도 마우스를 조작할 수 있기 때문에 시야 접근성이 우수하다.
전술한 키보드는 버튼 방식 입력 장치의 대표적인 예라 할 수 있다. 버튼 방식 입력 장치는 여러 개의 버튼(button)(이하, “키(key)”라고도 한다.) 중 어느 하나를 선택적으로 누르거나 또는 동시에 둘 이상의 버튼을 눌러 원하는 기능을 실행시킬 수 있도록 한 입력장치로써, 또 다른 예로는 TV, 오디오등 각종 전자기기의 리모콘이나 차량 내부의 센터페시아의 컨트롤 패널 부분의 스위치 버튼 등이 포함될 수 있다.
또한, 전술한 마우스는 포인터 방식 입력 장치의 대표적인 예라 할 수 있다. 포인터 방식 입력 장치는 화면상의 위치를 표상하는 포인터를 화면 상에서 움직여 원하는 기능을 선택 및 실행시킬 수 있도록 한 입력장치로써, 또 다른 예로는 노트북 등에 많이 포함되어 있는 터치 패드나, 스마트기기에 사용되는 터치 스크린 등을 들 수 있다.
앞서 컴퓨터의 경우를 예로 들어 설명한 바와 같이, 버튼 방식 입력 장치와 포인터 방식 입력 장치는 동작 접근성 및 시야 접근성에 있어서 서로 반대되는 특징을 가지고 있다. 즉, 버튼 방식 입력 장치는 동작 접근성이 우수하나 시야 접근성은 좋지 않고, 포인터 방식 입력 장치는 반대로 시야 접근성이 우수하나 동작 접근성이 좋지 않다. 이러한 차이점은 특히 대형 화면을 사용하는 기기에 있어서 더욱 뚜렷하게 나타날 수 있다.
사용자가 화면상에서 접근하고자 하는 개체에 접근하는 동작을 “포인팅” 동작이라고 하면, 포인터 방식 입력 장치는 사용자가 화면상의 포인터 이동을 보면서 원하는 개체에 접근하고 있는 것을 시각적으로 확인할 수 있었다. 즉 포인팅 동작에 대한 확인이 가능하였다. 반면에 버튼 방식 입력 장치는 포인팅 동작이 화면상으로 드러나지 않아 사용자가 원하는 개체에 접근하고 있는지 알 수 있는 방법이 없었다.
본 발명은 이러한 문제점을 개선하기 위한 것으로, 종래 버튼 방식 입력 장치를 이용하는 기기에 있어서 포인팅 동작을 시각적으로 확인할 수 있는 새로운 장치, 방법, 및 그 방법을 실행하기 위해 매체에 저장된 컴퓨터프로그램을 제공하는 것을 목적으로 한다.
또한, 본 발명은 이러한 종래의 버튼 방식의 입력 장치를 사용하는 기기에 있어서 우수한 동작 접근성은 유지하면서도 시야 접근성을 향상시킬 수 있는 새로운 장치, 방법 및 그 방법을 실행하기 위해 매체에 저장된 컴퓨터프로그램을 제공하는 것을 목적으로 한다.
또한, 본 발명은 종래 버튼 방식의 입력 장치를 사용하여 기기를 제어하던 기술에 부가하여 사용자가 화면상의 오브젝트를 선택할 수 있는 추가적인 장치, 방법 및 그 방법을 실행하기 위해 매체에 저장된 컴퓨터프로그램을 제공하는 것을 목적으로 한다.
이러한 목적을 달성하기 위한 본 발명의 화면상의 오브젝트 포인팅 장치는 디스플레이 화면상에서 사용자가 선택 가능한 오브젝트에 고유의 태그를 생성하는 태그 생성 모듈과, 입력장치로부터 키 터치 이벤트 및 키 입력 이벤트를 수신하여 키 이벤트에 따른 후속 처리 진행 여부를 판단하는 키 이벤트 수신 모듈과, 상기 키 이벤트 수신 모듈로 키 터치 이벤트가 수신되면 해당 버튼의 속성 값을 포함하는 태그들을 디스플레이 화면에 표시하는 태그 표시 모듈과, 사용자로부터 태그 입력이 완료되었는지를 판단하여 선택된 오브젝트에 관한 정보를 시스템 제어부로 전달하는 오브젝트 선택 처리 모듈을 한다.
또한, 상기 키 이벤트 수신 모듈은 키 입력 이벤트가 입력되면 해당 버튼의 속성 값을 포함하는 태그에 대한 선택으로 판단하고, 상기 태그 표시 모듈은 키 입력 이벤트가 입력된 해당 버튼의 속성 값을 디스플레이 화면 상에서 하이라이트 하는 것을 특징으로 한다.
또한, 이러한 목적을 달성하기 위한 본 발명의 화면상의 오브젝트 포인팅 장치는 디스플레이 화면상에서 사용자가 선택 가능한 하나 이상의 오브젝트에 고유의 태그를 부여하는 태그 생성 모듈과, 입력장치로부터 키 터치 이벤트 및 키 입력 이벤트를 수신하여 수신된 키 이벤트에 따른 후속 처리 진행 여부를 판단하는 키 이벤트 수신 모듈과, 상기 키 이벤트 수신 모듈에서 수신된 키 이벤트에 따라서 태그를 디스플레이 화면상에 디스플레이 하거나 태그를 디스플레이 화면상에서 하이라이트하는 태그 표시 모듈을 포함한다.
또한, 이러한 목적을 달성하기 위한 본 발명의 화면상의 오브젝트 포인팅 방법은 사용자가 화면상에서 선택 가능한 하나 이상의 오브젝트에 고유의 태그를 부여하는 태그 생성 단계와, 입력장치로부터 키 터치 이벤트 수신 여부를 판단하는 키 터치 이벤트 수신 여부 판단 단계와, 키 터치 이벤트 수신시 키 터치 이벤트가 수신된 해당 버튼의 속성 값을 포함하는 태그들을 디스플레이 화면상에 표시하는 태그 표시 단계를 포함한다.
또한, 상기 오브젝트 포인팅 방법은 키 입력 이벤트 수신 여부를 판단하는 키 입력 이벤트 수신 여부 판단 단계와, 태그 길이 전체에 대한 입력 완료 여부를 판단하는 태그 입력 종료 여부 판단 단계와, 입력 완료된 태그에 매칭되는 오브젝트가 선택되었음을 처리하는 오브젝트 선택 단계를 더 포함한다.
또한, 상기 화면상의 오브젝트 포인팅 방법은 상기 키 입력 이벤트 수신 여부 판단 단계에서 키 입력 이벤트가 입력된 해당 버튼의 속성 값을 디스플레이 화면 상에 하이라이트 하는 태그 하이라이트 단계를 더 포함한다.
또한, 이러한 목적을 달성하기 위한 본 발명의 화면상의 오브젝트 포인팅 방법은 태그 생성 모듈에 의해 사용자가 화면상에서 선택 가능한 하나 이상의 오브젝트에 고유의 태그를 부여하는 태그 생성 단계와, 키 이벤트 수신 모듈에 의해 입력장치로부터 키 터치 이벤트가 수신되었는지 판단하는 키 터치 이벤트 수신 여부 판단 단계와, 태그 표시 모듈에 의해 키 터치 이벤트가 수신된 해당 버튼의 속성 값을 포함하는 태그들을 디스플레이 화면상에 표시하는 태그 표시 단계와, 키 이벤트 수신 모듈에 의해 키 입력 이벤트 수신 여부를 판단하는 키 입력 이벤트 수신 여부 판단 단계와, 태그 표시 모듈에 의해 키 입력 이벤트가 입력된 해당 버튼의 속성 값을 디스플레이 화면 상에서 하이라이트 하는 태그 하이라이트 단계와,
오브젝트 선택 처리 모듈에 의해 태그 입력 종료 여부를 판단하는 태그 입력 종료 여부 판단 단계와, 오브젝트 선택 처리 모듈에 의해 태그 입력 종료로 판단되었을 경우 해당 태그에 매칭되는 오브젝트가 선택되었음을 시스템 제어부로 통보하는 오브젝트 선택 단계를 포함한다.
또한, 본 발명은 전술한 화면상의 오브젝트 포인팅 방법을 실행하기 위해 매체에 저장된 컴퓨터프로그램일 수 있다.
본 발명에 따르면 버튼 방식 입력 장치를 이용하여 화면상의 오브젝트를 선택하는 경우에 사용자가 터치하는 버튼을 통해 접근하고 있는 오브젝트가 화면에 표시됨으로써, 사용자의 포인팅 동작이 시각적으로 인식될 수 있다. 따라서 버튼 방식의 입력 장치가 가지는 우수한 동작 접근성은 유지하면서도 시야 접근성이 향상된다.
또한, 본 발명은 종래 사용자가 화면상의 오브젝트를 선택하던 방법 이외에 태그를 이용하여 오브젝트를 선택할 수 있는 새로운 장치 및 방법을 제시한다.
도1은 본 발명의 바람직한 일 실시예에 따른 화면상의 오브젝트 포인팅 장치가 적용된 기기를 도시한 블록도.
도2는 본 발명의 바람직한 일 실시예에 따른 화면상의 오브젝트 포인팅 장치의 상세 블록도.
도3은 본 발명의 바람직한 일 실시예에 따른 화면상의 오브젝트 포인팅 장치에 의한 오브젝트 선택 방법을 도시한 순서도.
도4는 입력장치의 일 예를 도시한 도면.
도5는 입력장치의 또 다른 일 예를 도시한 도면.
도6의 (a) ~ (c)는 입력장치를 구성하는 버튼을 도시한 도면.
도7 내지 도10은 본 발명에 따른 화면상의 오브젝트 포인팅 방법이 실행되는 화면의 일 예를 보여주는 이미지
도11 내지 도14는 본 발명에 따른 화면상의 오브젝트 포인팅 방법이 실행되는 화면의 또 다른 일 예를 보여주는 이미지
이하에서는 본 발명의 다양한 실시예가 첨부된 도면과 연관되어 기재된다. 본 발명의 다양한 실시예는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있다. 그러나, 이는 본 발명의 다양한 실시예를 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 다양한 실시예의 사상 및 기술 범위에 포함되는 모든 변경 및/또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명의 다양한 실시예에서 사용될 수 있는 “포함한다” 또는 “포함할 수 있다” 등의 표현은 개시(disclosure)된 해당 기능, 동작 또는 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작 또는 구성요소 등을 제한하지 않는다. 또한, 본 발명의 다양한 실시예에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 다양한 실시예에서 “또는” 또는 “A 또는/및 B 중 적어도 하나”등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B” 또는 “A 또는/및 B 중 적어도 하나” 각각은, A를 포함할 수도, B를 포함할 수도, 또는 A와 B 모두를 포함할 수도 있다.
본 발명의 다양한 실시예에서 사용된 “제1,”“제2,”“첫째,”또는“둘째,”등의 표현들은 본 발명의 다양한 실시예들의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 전자 장치와 제2 전자 장치는 모두 전자 장치이며, 서로 다른 전자 장치를 나타낸다. 예를 들어, 본 발명의 다양한 실시예의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명의 다양한 실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명의 다양한 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명의 다양한 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 다양한 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명의 화면상의 오브젝트 포인팅 장치가 사용되는 전자기기는 표시 기능이 포함된 장치일 수 있다. 예를 들면, 전자 기기는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 또는 웨어러블 장치(wearable device)(예: 전자 안경과 같은 headmounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 전자 문신, 또는 스마트 와치(smartwatch))중 적어도 하나를 포함할 수 있다.
또는 본 발명의 화면상의 오브젝트 포인팅 장치가 사용되는 전자기기는 표시 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들어, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSync™, 애플TV™, 또는 구글TV™), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
또는 본 발명의 화면상의 오브젝트 포인팅 장치가 사용되는 전자기기는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기 등), 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 또는 산업용 또는 가정용 로봇 중 적어도 하나를 포함할 수 있다.
또는 본 발명의 화면상의 오브젝트 포인팅 장치가 사용되는 전자기기는 표시 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다.
또는 본 발명의 화면상의 오브젝트 포인팅 장치가 사용되는 전자기기는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다.
또는 본 발명의 화면상의 오브젝트 포인팅 장치가 사용되는 전자기기는 플렉서블(flexible) 장치일 수 있다.
도1을 참조하면, 본 발명의 화면상의 오브젝트 포인팅 장치(100)가 사용되는 전자기기는 입력장치(10), 디스플레이(20), 시스템 제어부(30) 및 저장부(40)를 포함하여 구성된다. 입력장치(10), 디스플레이(20), 및 저장부(40)는 시스템 제어부(30)와 통신 가능하도록 유선 또는 무선을 통해 전기적으로 연결된다. 본 발명의 오브젝트 선택 장치(100)은 이러한 시스템 제어부(30)의 일부로 구성될 수 있다.
입력장치(10)는 버튼 방식 입력 장치로써 각 버튼에는 해당 버튼의 터치여부를 감지할 수 있는 터치 감지 수단이 부가되어 있다. 입력장치(10)는 예를 들어 도4에 도시된 바와 같은 통상의 컴퓨터 키보드 형태의 버튼 배열을 갖는 입력장치(10A)일 수 있다. 입력장치(10A)에는 글자, 숫자, 기호 등을 입력하거나 작동을 제어하는데 사용되는 키들이 배열되는 문자키 영역(10A1), 여러 가지 프로그램된 작업을 제어하는 기능키 영역(10A2), 숫자, 수학적 연산자 등의 입력이 편리하도록 구성된 숫자키 영역(10A3), 커서를 화면 여러 곳으로 이동하는데 사용되는 커서 이동 키 영역(10A4)과 그 밖의 Esc키, 화면인쇄키, 스크롤 잠금 키 등이 구성될 수 있다.
또는 입력장치(10)는 도5에 도시된 바와 같은 통상의 TV리모콘과 같은 형태의 키 배열을 갖는 입력장치(10B)일 수 있다. 입력장치(10B)에는 채널 번호를 입력할 수 있도록 숫자 키가 구성된 번호키 영역(10B1), 기기의 여러 가지 옵션을 작동시키거나 특정한 기능 제어를 위한 기능키 영역(10B2), 소리의 크기를 조절하는 데 사용되는 음량 조절 키(10B3), 채널을 증가 또는 감소하는데 사용되는 채널 탐색 키(10B4), 기기의 메뉴들 사이를 이동하거나 선택하는 데 사용되는 이동키 영역(10B5)과 그 밖의 전원키, 메뉴키, 음소거 키 등이 구성될 수 있다. (이하에서 입력장치를 그 형태에 관계 없이 통칭할 때는 도면번호 10으로 표기하고, 전술한 컴퓨터 키보드 형태일 경우는 도면번호10A, 전술한 TV리모콘 형태일 경우는 도면번호10B로 표기한다.)
입력장치(10)에 구성되는 각각의 키는 사용자가 해당 키를 터치하는 동작과 누르는 동작을 구분하여 감지할 수 있는 터치 감지 키(50)로 구성된다. 도6의 (a)를 참조하면, 터치 감지 키(50)는 입력장치(10) 외부 표면으로 노출되어 사용자가 손가락으로 누르게 되는 키캡(51)과, 사용자가 손가락을 키캡(51)에 올려두었을 때 그 터치 여부를 감지하는 터치센서부(52), 사용자가 손가락으로 키캡(51)을 아래로 누르면 그에 따라 누름 여부를 감지하는 스위치부(53)를 포함한다. 스위치부(53)로는 일반적인 돔스위치(dome-switch)가 사용될 수 있다. 돔스위치는 탄성을 갖는 고무돔의 아랫면에 도전성 컨택부가 구성되고, 이 도전성 컨택부가 PCB기판상의 접점 회로를 단락시킴으로서 동작한다. 이러한 돔스위치 이외에도 기계식 스위치, 멤브레인 스위치등이 사용될 수도 있다. 터치센서부(52)로는 일반적인 정전용량 방식(capacitive touch sensing)으로 구현되거나, 초음파 방식(surface acoustic wave touch sensing), 적외선 방식(Infrared touch sensing), 저항막 방식(resistive touch sensing)으로 구현될 수도 있다.
이러한 구조의 터치 감지 키(50)는 입력장치(10)를 구성하는 다수의 키 전체에 걸쳐 구성될 수 있으며, 또는 일부에만 구성될 수 있다. 예를 들어 키보드 타입의 입력장치(10A)에 있어서, 문자키 영역(10A1) 및/또는 숫자키 영역(10A3)만 터치 감지 키(50)로 구성되고 나머지는 터치 감지 기능이 없는 일반적인 키로 구성될 수도 있다. 마찬가지로 리모콘 타입의 입력장치(10B)에 있어서도, 번호키 영역(10B1) 및/또는 기능키 영역(10B2)만 터치 감지 키(50)로 구성되고 나머지는 터치 감지 기능이 없는 일반적인 키로 구성될 수도 있다.
터치 감지 키(50)는 사용자의 터치나 누름 동작에 따라 구분되는 키 이벤트를 발생시킨다. 도6(b)와 같이 사용자가 터치 감지 키(50)에 손가락을 가볍게 올려 놓은 상태가 되면 터치센서부(52)는 이를 감지하여 키 터치 이벤트를 발생시킨다. 이 상태는 사용자가 버튼(50)을 누르지는 않고 단지 가볍게 접촉만 하고 있는 경우이다. 키 터치 이벤트는 입력장치(10) 상의 각 키에 부여되는 고유의 키 아이디에 관한 정보와, 터치가 있을 경우 그에 관한 정보를 포함한다.
다음으로 도6(c)와 같이 사용자가 키(50)를 아래로 누르면 스위치부(53)가 이를 감지하여 키 입력 이벤트를 발생시킨다. 이 상태는 사용자가 스위치부(53)의 온/오프 상태가 변경될 정도로 키캡(51)을 아래로 누른 상태이다. 키 입력 이벤트는 입력장치(10) 상의 각 키에 부여되는 고유의 키 아이디에 관한 정보와, 키가 눌려졌을 경우 그에 관한 정보를 포함한다.
본 명세서 전체에 있어서 도6(b)와 같이 사용자가 손가락 등으로 키(50)에 접촉하였으나 스위치부(53)가 작동할 정도로 누르지는 않은 상태를 “터치” 상태, 도6(c)와 같이 사용자가 키(50)를 완전히 아래로 눌러서 스위치부(53)의 온/오프가 변경된 상태를 “누름” 상태라고 구분한다. 또한, 키 터치 이벤트 및 키 입력 이벤트를 모두 지칭하거나 양자를 구분하지 않고 어느 하나를 지칭할 때는 “키 이벤트”라고 한다.
터치센서부(52) 및 스위치부(53)에서 발생되는 키 터치 이벤트 및 키 입력 이벤트는 시스템 제어부(30)로 전달된다. 시스템 제어부(30)는 키 이벤트 입력에 따른 기능 처리를 수행한다. 사용자가 키(50)를 누른 상태에서 터치센서부(52)의 키 터치 이벤트와 스위치부(53)의 키 입력 이벤트가 동시에 발생될 수 있다. 이 경우는 키(50)가 눌려진 상태 이므로 시스템 제어부(30)는 키 터치 이벤트는 무시하고, 키 입력 이벤트만 처리하도록 구성될 수 있다.
디스플레이(20)는 도1의 기기에 채용되는 각종 화면 표시 장치일 수 있다. 디스플레이(20)는 시스템 제어부(30)에 의해 제어되어 이미지들을 다층(Multi-layer) 구조로 화면에 표시할 수 있다. 표시되는 이미지는 프로그램 실행 이미지이거나, 영화, 비디오, 동영상 등의 컨텐츠 이미지일 수 있다. 또는 전자 기기의 제어를 위한 각종 메뉴 화면을 표시하는 이미지일 수 있다. 디스플레이(20)는 브라운관(CRT), 플라즈마 디스플레이(PDP), 액정디스플레이(LCD), 엘이디(LED), 오엘이디(OLED), 플렉서블 디스플레이, 투명 디스플레이 등의 장치로 구성될 수 있다. 디스플레이(20)는 영화, 비디오, 동영상 등의 컨텐츠를 상영하거나, 기기에서 실행되는 프로그램 실행 화면을 표시하거나, 기기의 운전을 위한 메뉴 화면을 표시하는 용도로 사용될 수 있다.
오브젝트는 디스플레이(20) 화면상에서 보여지는 내용 중 사용자가 선택 가능하도록 구성된 개체를 의미한다. 예를 들어 컴퓨터 화면 상에서 보여지는 아이콘, 또는 하나의 프로그램 실행 창 내에서 보여지는 각각의 메뉴 항목, 연결 링크 등 일 수 있다. 본 발명은 사용자가 입력장치(10)를 이용하여 디스플레이 화면 상에 보여지는 이러한 오브젝트를 선택할 때, 오브젝트에 접근하는 포인팅 동작이 시각적으로 확인될 수 있도록 하는 기술을 제안한다.
저장부(40)는 디스크, 램(RAM), 롬(ROM) 또는 플래시 메모리 등으로 구성될 수 있다. 저장부(40)는 시스템 제어부(30)의 제어 하에, 전자 기기 내에서 생성되거나 외부장치(예, 서버, 데스크탑 PC, 태블릿 PC 등)로부터 수신한 데이터를 저장한다. 또한 저장부(40)는 복사 및 붙여 넣기(copy & paste)등을 위해 사용자가 메시지, 사진, 웹페이지, 문서 등에서 복사한 데이터를 임시 저장한다. 또한 저장부(40)는 전자 기기의 운영을 위한 다양한 설정 값을 저장한다.
저장부(40)는 부팅 프로그램 또는 적어도 하나 이상의 운영체제 및 어플리케이션들을 저장한다. 운영체제는 하드웨어와 어플리케이션 사이 그리고 어플리케이션들 사이의 인터페이스 역할을 하고, CPU, GPU, 저장부(40) 등의 컴퓨터 자원을 관리한다. 어플리케이션들은 내재화 어플리케이션(embedded application)과 서드파티 어플리케이션(3rd party application)으로 분류된다. 예컨대 내재화 어플리케이션은 웹 브라우저(Web browser), 이메일(email) 프로그램, 인스턴트 메신저(instant messenger) 등이다. 시스템 제어부(30)로 전원이 공급되면 먼저 부팅 프로그램이 시스템 제어부(30)의 메인메모리(main memory unit)로 로딩(loading)된다. 이러한 부팅 프로그램은 운영체제를 메인메모리로 로딩한다. 운영체제는 어플리케이션들을 메인메모리로 로딩한다.
시스템 제어부(30)는 하나 이상의 중앙처리유닛(Central Processing Unit; CPU)을 포함한다. 주지된 바와 같이 CPU는 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 컴퓨터 시스템의 핵심적인 제어 유닛이다. CPU는 데이터나 명령을 일시 저장하는 각종 레지스터들을 포함한다. 시스템 제어부(30)는 하나 이상의 그래픽처리유닛(Graphic Processing Unit; GPU)을 포함할 수 있다. GPU는 CPU를 대신하여, 그래픽과 관련한 자료의 연산 및 비교와, 명령어의 해석 및 실행 등을 수행하는 그래픽 제어 유닛이다. CPU과 GPU는 각각, 두 개 이상의 독립 코어(예, 쿼드 코어(quad-core))가 단일 집적 회로로 이루어진 하나의 패키지(package)로 통합될 수 있다. 즉 CPU들은 하나의 멀티 코어 프로세서로 통합된 것일 수 있다. 또한 다수의 GPU들도 하나의 멀티 코어 프로세서로 통합된 것일 수 있다. 또한 CPU와 GPU는 하나의 칩으로 통합(SoC; System on Chip)된 것일 수 있다. 또한 CPU와 GPU는 멀티 레이어(multi layer)로 패키징(packaging)된 것일 수 있다. 한편 어플리케이션 프로세서(Application Processor; AP)는 CPU 및 GPU를 포함할 수 있다.
시스템 제어부(30)는 메인메모리(main memory unit) 예컨대, 램(RAM)을 포함할 수 있다. 메인메모리는 저장부(40)로부터 로딩된 각종 프로그램 예컨대, 부팅 프로그램, 운영체제 및 어플리케이션들을 저장한다. 즉 시스템 제어부(30)는 이와 같은 프로그램에 액세스하여 프로그램의 명령을 해독하고, 해독 결과에 따른 기능(예컨대, 키 이벤트의 검출 및 처리)을 실행한다. 또한 시스템 제어부(30)는 저장부(40)에 기록(write)할 데이터를 임시 저장하고 저장부(40)로부터 읽어 온(read) 데이터를 임시 저장하는 캐시메모리를 포함할 수 있다.
본 발명의 화면상의 오브젝트 포인팅 장치(100)는 시스템 제어부(30) 내에 구성될 수 있다. 도2를 참조하면, 화면상의 오브젝트 포인팅 장치(100)는 태그 생성 모듈(110)을 포함한다. 태그(tag)는 하나의 화면 내에서 오브젝트 마다 부여되는 고유의 표지이다. 태그는 하나 또는 수개의 국문자, 영문자, 숫자, 특수문자, 이미지 등으로 구성될 수 있다. 좀 더 정확하게는 실행 중인 프로그램 상에서 전술한 입력장치(10)의 각 키의 아이디마다 부여된 속성 값들의 배열로 구성될 수 있다. 입력장치(10)의 각 키의 아이디마다 부여된 속성 값은 예를 들어 키보드 타입 입력장치(10A)의 경우 문자키 영역(10A1)에서는 영문자 A 부터 Z, 숫자 0 내지 9, 또는 기타 특수문자일 수 있다. 각 키의 아이디마다 부여된 속성 값은 실행되는 프로그램에 따라서 다른 값으로 변경될 수 있다. 예를 들어 영문자 Q키는 그 속성 값이 국문 자음 ‘ㅂ’ 또는 ‘ㅃ’으로 변경될 수 있다. 다시 말하면, 하나의 키 아이디가 가지는 속성 값은 고정불변의 값은 아니고 시스템 제어부(30)에서 실행되는 프로그램의 설정에 따라서 변경될 수 있는 값이다. 태그는 이러한 속성 값들의 배열로 이루어진다. 예를 들면 아래 <표1>과 같다.
그룹 태그
1 1, 2, 3, 4, 5, 6, 7, 8
2 21, 31, 42, 53, 64, 64
3 AB, AC, AD, B, C, ED, EA, EB, EX, EY
4 /, *, -, +, \, `
5 2, 3, 4, ㄱ, ㄷ, ㅌ, ㅎ, ㅠ, +, -, AB, CD, EA
6
Figure 112016067070517-pat00001
,
Figure 112016067070517-pat00002
,
Figure 112016067070517-pat00003
하나의 태그 그룹은 <표1>의 그룹1과 같이 한자리의 숫자로 구성될 수 있다. 또는 그룹2와 같이 두 자리의 숫자로 구성되거나 그 이상의 자리 수를 가질 수도 있다. 또는 그룹3과 같이 한자리 이상의 영문자로 구성될 수도 있다. 또는 그룹4와 같이 특수문자들로 구성될 수도 있다. 또는 그룹5와 같이 숫자, 국문자, 영문자, 특수문자등이 혼합되어 구성될 수도 있다. 또는 그룹6과 같이 제조 회사의 로고, 아이콘 등의 이미지들로 구성될 수도 있다. 그 외에 입력장치(10)상의 각 키의 아이디 마다 부여되는 속성 값들로 구성 가능한 다양한 조합으로 구성될 수도 있다.
한편, 사용자의 사용 편의성을 고려하면 태그는 사용자가 인지하기 좋으면서 짧은 길이로 구성되는 것이 바람직하다. 예를 들어 한 두 자리 이하의 영문자 조합으로 구성되면 짧은 자리수로 많은(적어도 26x26개) 오브젝트들을 매칭시킬 수 있다. 또는 입력장치(10)의 종류에 따라서 리모콘 타입의 입력 장치(10B)를 사용하는 경우에 있어서는 문자 자판(예, QWERTY자판)이 없는 경우가 대부분이므로 한 두 자리 이하의 숫자 조합으로 구성되는 것이 바람직하다.
태그 생성 모듈(110)은 디스플레이(20) 화면 상에서 사용자가 선택 가능한 오브젝트 마다 고유의 태그를 부여한다. 바람직하게는 태그 생성 모듈(110)은 오브젝트의 수에 따라서 각기 다른 고유의 태그를 부여할 수 있는 최소의 태그 길이를 산출하고, 산출된 최소 길이 이하로 구성된 태그를 생성한다.
또한, 화면상의 오브젝트 포인팅 장치(100)는 입력장치(10)로부터 키 터치 이벤트 및 키 입력 이벤트를 수신하여 키 이벤트에 따른 후속 처리 진행 여부를 판단하는 키 이벤트 수신 모듈(120)를 포함한다.
또한, 화면상의 오브젝트 포인팅 장치(100)는 키 이벤트 수신 모듈(120)에서 수신된 키 이벤트에 따라 키 터치 이벤트나 키 입력 이벤트에 해당하는 키에 해당하는 태그를 매칭하여 디스플레이(20)에 표시하는 태그 표시 모듈(130)을 포함한다.
또한, 화면상의 오브젝트 포인팅 장치(100)는 태그 입력이 완료되면 선택된 오브젝트에 관한 정보를 시스템 제어부(30)로 전달하는 오브젝트 선택 처리 모듈(140)을 포함한다.
다음은 도3을 참조하여 이러한 화면상의 오브젝트 포인팅 장치(100)를 이용한 화면상의 오브젝트 포인팅 방법에 대하여 상세히 설명한다.
본 발명의 화면상의 오브젝트 포인팅 방법은 태그 생성 모듈(110)에 의한 태그 생성 단계(S10)를 포함한다. 태그 생성 모듈(110)은 사용자가 화면상에서 선택 가능한 하나 이상의 오브젝트에 고유의 태그를 부여한다. 이 단계에서 각각의 오브젝트와 고유 태그는 화면상의 오브젝트 포인팅 장치(100) 내에 데이터 저장부(40)에 저장될 뿐 화면에 보여지지는 않는다. 본 발명에 따른 화면상의 오브젝트 포인팅 방법은 예를 들면 도7과 같은 컴퓨터 프로그램 화면상에서 실행되거나 또는 도11과 같은 TV화면상에서 실행될 수 있다. 태그 생성 단계(S10)에서는 이러한 화면상의 각각의 오브젝트에 대하여 태그를 부여한다. 도8과 도12는 화면상 오브젝트들에 태그를 부여한 결과를 보여주는 예들의 이미지이다. 사용자는 예정된 실행 명령을 통해 도8 및 도12와 같은 태그 부여 결과를 확인할 수 있다. 그러나 도8 및 도12와 같은 태그 부여 결과가 사용자에게 반드시 보여지지는 않아도 된다. 태그 생성 단계(S10)는 사용자가 지정한 특정 키 입력에 의한 처리에 의해 시작되거나, 프로그램의 실행이나 화면의 전환에 의해 자동으로 시작되도록 설정될 수도 있다.
다음으로 키 이벤트 수신 모듈(120)에 의한 키 터치 이벤트 수신 여부 판단 단계(S20)가 수행된다. 키 이벤트 수신 모듈(120)은 입력장치(10)로부터 키 터치 이벤트가 수신되면 그 정보를 태그 표시 모듈(130)로 전달한다. 키 터치 이벤트가 수신되지 않으면 태그 생성 모듈(110)에 의한 화면 갱신 여부 확인 단계(S100)가 수행된다. 화면이 갱신되어 화면상의 오브젝트에 변경이 있으면 태그 생성 모듈(110)은 각각의 오브젝트에 태그를 다시 부여 한다. 화면 갱신이 없으면 바로 키 터치 이벤트 수신 여부 판단 단계(S20)로 다시 되돌아 간다.
키 터치 이벤트 수신 여부 판단 단계(S20)에서 키 터치 이벤트가 수신되면 태그 표시 모듈(130)이 키 터치 이벤트가 수신된 해당 키 아이디의 속성 값을 포함하는 태그들을 디스플레이(20) 화면상에 표시하는 태그 표시 단계(S30)가 수행된다. 예를 들어, 도8과 같이 컴퓨터 화면상의 오브젝트에 태그가 부여된 상황에서 사용자가 입력장치(10A) 자판상의 “S” 버튼에 손가락을 터치하면 “S”버튼의 키 터치 이벤트가 키 이벤트 수신 모듈(120)로 수신되고, 태그 표시 모듈(130)은 “S”로 시작되는 태그들을 디스플레이(20) 화면에 표시한다. 도9는 그러한 결과의 일 예를 보여주는 이미지이다. 이를 참조하면, 도8과 같이 부여된 태그들 중에서 “S”로 시작되는 태그들만 화면상에 표시된 것을 볼 수 있다. 화면에 표시되는 태그들은 매칭되는 화면상의 오브젝트 위에 중첩되도록 표시되거나 인접하여 표시될 수 있다. 또는 화면에 표시되는 태그들은 매칭되는 오브젝트 위에 중첩되도록 표시되면서도 반투명하게 표시될 수도 있다. 또 다른 예로써 도12와 같이 TV화면상의 오브젝트에 태그가 부여된 상황에서 사용자가 입력장치(10B) 자판상의 “2”버튼에 손가락을 터치하면 “2”버튼의 키 터치 이벤트가 입력 수신 모듈(120)로 수신되고, 태그 표시 모듈(130)은 “2”로 시작되는 태그들을 디스플레이(20) 화면에 표시한다. 도13은 그러한 결과의 일 예를 보여주는 이미지이다. 이를 참조하면, 도11과 같이 부여된 태그들 중에서 “2”로 시작되는 태그들만 화면상에 표시된 것을 볼 수 있다. 이와 같이 사용자가 입력장치(10)의 버튼을 터치하면 터치한 해당 버튼으로 사용자가 선택할 수 있는 오브젝트에 매칭된 태그가 디스플레이(20) 화면상에 표시된다. 사용자는 입력장치(10)의 서로 다른 버튼들을 터치하면서 각 버튼들로 선택 가능한 오브젝트를 화면상으로 확인할 수 있다. 즉 종래의 기술과 달리 버튼 방식 입력장치(10)를 이용하는 경우에 있어서도 오브젝트 포인팅 동작이 시각적으로 가능해 진다.
다음으로 키 이벤트 수신 모듈(120)에 의한 키 입력 이벤트 수신 여부 판단 단계(S40)가 수행된다. 이 단계에서는 키 터치 이벤트가 수신되고 있는 해당 버튼을 사용자가 눌렀는지 여부를 판단한다. 입력장치(10)로부터 키 입력 이벤트가 수신 되면 해당 버튼의 속성 값을 포함하는 태그에 대한 선택으로 판단되어 태그 표시 모듈(130)에 의한 태그 하이라이트 단계(S50)가 수행되고, 키 입력 이벤트가 입력되지 않으면 전술한 키 터치 이벤트 수신 여부 판단 단계(S20)로 돌아간다.
태그 하이라이트 단계(S50)에서는 키 입력 이벤트가 입력된 해당 버튼의 속성 값을 디스플레이(20) 화면 상에서 하이라이트 한다. 예를 들어, 도9에서와 같이 “S”버튼을 터치하여 “S”로 시작되는 태그들이 화면에 표시된 상태에서 “S”버튼을 누르면 도10과 같이 “S”가 화면상에서 하이라이트 되어 사용자는 “S”버튼이 눌러졌고 “S”로 시작되는 태그들이 선택되었음을 인지할 수 있게 된다. 눌려진 버튼 “S”를 하이라이트 하는 방법으로써 도10과 같이 색을 변경하는 방법이 사용될 수 있으나 태그의 크기를 변경한다든가 배경 색을 변경하는 등의 다른 방법이 사용될 수도 있다. 또한, 태그 하이라이트 단계(S50)는 선택적인 단계로써 태그 하이라이트 단계(S50) 없이 바로 태그 입력 종료 여부 판단 단계(S60)가 수행될 수 도 있다.
다음으로 오브젝트 선택 처리 모듈(140)에 의한 태그 입력 종료 여부 판단 단계(S60)가 수행된다. 오브젝트 선택 처리 모듈(140)은 사용자가 태그 길이의 전체의 버튼을 모두 눌러 입력을 완료하였는지 판단한다. 예를 들어 태그의 길이가 두 자리인 경우, 도10에서와 같이 첫 번째 자리 “S”만 입력된 상태에서 아직 두 번째 자리 버튼의 입력이 필요하면 키 터치 이벤트 수신 여부 판단 단계(S20)로 돌아가 전술한 단계들(S20 ~ S60)을 반복한다. 태그의 길이가 세 자리 이상인 경우에도 마찬가지로 반복한다. 태그 길이 전체의 입력이 완료되면, 오브젝트 선택 처리 모듈(140)은 해당 태그에 매칭되는 오브젝트가 선택되었음을 시스템 제어부(30)로 통보하여 시스템 제어부(30)에 의해 해당 오브젝트 선택에 따른 후속 처리가 이루어질 수 있도록 한다.
본 발명의 다양한 실시예에 사용된 용어 “모듈”은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware)중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. “모듈”은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. “모듈”은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. “모듈”은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. “모듈”은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들면, 본 발명의 다양한 실시예에 따른 “모듈”은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(fieldprogrammable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예를 들어, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(computer-readable storage media)에 저장된 명령어로 구현될 수 있다. 상기 명령어는, 하나 이상의 제어 모듈에 의해 실행될 경우, 상기 하나 이상의 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 상기 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(sets of instructions) 또는 프로세스 등을 포함할 수 있다.
상기 컴퓨터로 판독 가능한 기록 매체에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 마그네틱 매체(magnetic media)와, CD-ROM(compact disc read only memory), DVD(digital versatile disc)와 같은 광기록 매체(optical media)와, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media)와, 그리고 ROM(read only memory), RAM(random access memory), 플래시 메모리 등과 같은 프로그램 명령(예: 프로그래밍 모듈)을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
본 발명의 다양한 실시예에 따른 모듈 또는 프로그래밍 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 본 발명의 다양한 실시예에 따른 모듈, 프로그래밍 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
그리고 본 명세서와 도면에 개시된 본 발명의 다양한 실시예들은 본 발명의 다양한 실시예에 따른 기술 내용을 쉽게 설명하고 본 발명의 실시예의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 실시예의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 다양한 실시예의 범위는 여기에 개시된 실시예들 이외에도 본 발명의 다양한 실시예의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 앞서 설명한 화면상의 오브젝트 포인팅 방법을 실행시키기 위해 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 컴퓨터 프로그램은 프로세서에 의해 처리되는 프로그래밍 가능한 기계 명령어를 포함하고, 고레벨 프로그래밍 언어(High-level Programming Language), 객체 지향 프로그래밍 언어(Object-oriented Programming Language), 어셈블리 언어 또는 기계 언어 등으로 구현될 수 있다. 또한 컴퓨터 프로그램은 유형의 컴퓨터 판독가능 매체에 기록될 수 있다. 컴퓨터 판독가능 저장매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 반송파(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터 판독가능 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행되는 것도 가능하다.
이상에서 설명한 바와 같이, 본 발명에 따르면 버튼 방식 입력 장치(10)를 이용하여 화면상의 오브젝트를 선택하는 경우에 사용자가 터치하는 버튼을 통해 접근하고 있는 오브젝트가 화면에 표시됨으로써, 사용자의 포인팅 동작이 시각적으로 인식될 수 있다. 따라서 버튼 방식의 입력 장치가 가지는 우수한 동작 접근성은 유지하면서도 시야 접근성이 향상된다.
또한, 본 발명은 종래 사용자가 화면상의 오브젝트를 선택하던 방법 이외에 태그를 이용하여 오브젝트를 선택할 수 있는 새로운 장치 및 방법을 제시한다.
10, 10A, 10B : 입력장치
20 : 디스플레이
30 : 시스템 제어부
40 : 저장부
100 : 화면상의 오브젝트 포인팅 장치
110 : 태그 생성 모듈
120 : 키 이벤트 수신 모듈
130 : 태그 표시 모듈
140 : 오브젝트 선택 처리 모듈
S10 : 태그 생성 단계
S20 : 키 터치 이벤트 수신 여부 판단 단계
S30 : 태그 표시 단계
S40 : 키 입력 이벤트 수신 여부 판단 단계
S50 : 태그 하이라이트 단계
S60 : 태그 입력 종료 여부 판단 단계
S70 : 오브젝트 선택 단계
S100 : 화면 갱신 여부 확인 단계

Claims (8)

  1. 시스템 제어부와,
    상기 시스템 제어부에 의해 제어되며 사용자가 선택 가능하도록 구성된 오브젝트를 화면에 표시하는 디스플레이와,
    상기 디스플레이와 물리적으로 이격되며, 사용자의 동작에 따라 구분되는 키 터치 이벤트 및 키 누름 이벤트를 생성하여 상기 시스템 제어부로 전달하는 버튼 방식의 입력장치를 포함하고,
    상기 시스템 제어부는 상기 디스플레이 화면에 표시되는 오브젝트에 고유의 태그를 부여하는 태그 생성 모듈과, 상기 입력장치로부터 수신되는 키 터치 이벤트 및 키 누름 이벤트를 수신하여 해당 키 이벤트에 따른 후속 처리 진행 여부를 판단하는 키 이벤트 수신 모듈과, 상기 키 이벤트 수신 모듈로 키 터치 이벤트가 수신되면 해당 키 아이디의 속성 값을 포함하는 태그만 상기 디스플레이 화면에 표시하여 포인팅 동작을 시각적으로 표시하는 태그 표시 모듈과, 태그 입력 완료 여부를 판단하여 선택된 오브젝트에 관한 정보를 상기 시스템 제어부로 전달하는 오브젝트 선택 처리 모듈을 포함하는 전자 기기.
  2. 제1항에 있어서,
    상기 입력장치는 사용자가 터치하는 동작과 누르는 동작을 구분하여 감지할 수 있는 터치 감지 키들을 포함하고,
    상기 터치 감지키는 외부 표면으로 노출되는 키캡과, 상기 키캡의 터치 여부를 감지하는 터치 센서부와, 상기 키캡의 누름 여부를 감지하는 스위치부를 포함하는 전자 기기.
  3. 제2항에 있어서,
    상기 태그 생성 모듈은 상기 디스플레이 화면에 표시되는 각각의 오브젝트 마다 서로 다른 고유의 태그가 부여될 수 있는 최소 태그 길이를 산출하여 산출된 최소 길이로 태그를 생성하는 전자 기기.
  4. 시스템 제어부, 사용자가 선택가능하도록 구성된 오브젝트를 화면에 표시하는 디스플레이, 및 디스플레이로부터 물리적으로 이격되며 사용자의 동작에 따른 키 터치 와 키 누름을 구분하여 감지할 수 있는 버튼 방식의 입력장치를 포함하는 전자기기의 오브젝트 포인팅 방법에 있어서,
    디스플레이 화면에 표시되는 하나 이상의 오브젝트에 고유의 태그를 부여하는 태그 생성 단계와,
    입력장치로부터 키 터치 이벤트 수신 여부를 판단하는 키 터치 이벤트 수신 여부 판단 단계와,
    상기 키 터치 이벤트 수신 여부 판단 단계에서 키 터치 이벤트가 수신된 것으로 판단되면 키 터치 이벤트가 수신된 해당 키 아이디의 속성 값을 포함하는 태그만 디스플레이 화면에 표시하여 포인팅 동작을 시각적으로 표시하는 태그 표시 단계와,
    입력장치로부터 키 누름 이벤트 수신 여부를 판단하는 키 누름 이벤트 수신 여부 판단 단계와,
    상기 키 누름 이벤트 수신 여부 판단 단계에서 키 누름 이벤트가 수신된 것으로 판단되면 태그 길이 전체에 대한 입력이 완료되었는지 여부를 판단하는 태그 입력 종료 여부 판단 단계와,
    상기 태그 입력 종료 여부 판단 단계에서 태그 입력이 종료된 것으로 판단된 경우 해당 태그에 매칭되는 오브젝트가 선택되었음을 시스템 제어부로 통보하는 오브젝트 선택 단계를 포함하는 오브젝트 포인팅 방법.
  5. 제4항에 있어서,
    상기 오브젝트 포인팅 방법은 상기 키 누름 이벤트 수신 여부 판단 단계에서 키 누름 이벤트가 수신된 것으로 판단되면 키 누름 이벤트가 수신된 해당 버튼의 속성 값을 디스플레이 화면에 하이라이트 하는 태그 하이라이트 단계를 더 포함하는 오브젝트 포인팅 방법.
  6. 제5항에 있어서,
    상기 오브젝트 포인팅 방법은 상기 키 터치 이벤트 수신 여부 판단 단계에서 키 터치 이벤트가 수신되지 않은 것으로 판단되면 디스플레이 화면의 오브젝트에 변경이 있는지 확인하는 화면 갱신 여부 확인 단계와,
    상기 화면 갱신 여부 확인 단계에서 화면이 갱신된 것으로 판단되면 갱신된 화면의 오브젝트에 태그를 다시 부여하는 단계를 더 포함하는 오브젝트 포인팅 방법.
  7. 삭제
  8. 삭제
KR1020160087765A 2016-07-11 2016-07-11 전자 기기 및 전자 기기의 오브젝트 포인팅 방법 KR102008692B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160087765A KR102008692B1 (ko) 2016-07-11 2016-07-11 전자 기기 및 전자 기기의 오브젝트 포인팅 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160087765A KR102008692B1 (ko) 2016-07-11 2016-07-11 전자 기기 및 전자 기기의 오브젝트 포인팅 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190094111A Division KR20190093544A (ko) 2019-08-02 2019-08-02 화면상의 오브젝트 포인팅 장치, 방법, 및 그 방법을 실행하기 위해 매체에 저장된 컴퓨터프로그램

Publications (2)

Publication Number Publication Date
KR20180006825A KR20180006825A (ko) 2018-01-19
KR102008692B1 true KR102008692B1 (ko) 2019-08-08

Family

ID=61025248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160087765A KR102008692B1 (ko) 2016-07-11 2016-07-11 전자 기기 및 전자 기기의 오브젝트 포인팅 방법

Country Status (1)

Country Link
KR (1) KR102008692B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110047349A (ko) * 2009-10-30 2011-05-09 주식회사 팬택 휴대용 단말기에서 터치와 가압을 이용하는 사용자 인터페이스 장치 및 방법
EP2776909A4 (en) * 2011-11-11 2015-09-02 Qualcomm Inc PROVIDING SHORTCUTS ASSOCIATED WITH A KEYBOARD
US8581870B2 (en) * 2011-12-06 2013-11-12 Apple Inc. Touch-sensitive button with two levels

Also Published As

Publication number Publication date
KR20180006825A (ko) 2018-01-19

Similar Documents

Publication Publication Date Title
CN108369456B (zh) 用于触摸输入设备的触觉反馈
US10296206B2 (en) Multi-finger touchpad gestures
CN109074276B (zh) 系统任务切换器中的选项卡
US10043488B2 (en) Electronic device and method of controlling display thereof
US9507519B2 (en) Methods and apparatus for dynamically adapting a virtual keyboard
WO2018019169A1 (zh) 二维码识别方法、设备和移动终端
CN110417988B (zh) 一种界面显示方法、装置及设备
US11150739B2 (en) Chinese character entry via a Pinyin input method
KR102202899B1 (ko) 복수의 어플리케이션 제공 방법 및 장치
US20180018067A1 (en) Electronic device having touchscreen and input processing method thereof
KR102270953B1 (ko) 전자 장치에서 화면을 표시하는 방법 및 이를 위한 전자 장치
KR20160015814A (ko) 전자 장치 및 이의 ui 표시 방법
US10481790B2 (en) Method and apparatus for inputting information by using on-screen keyboard
US20130335337A1 (en) Touch modes
US20160334952A1 (en) Terminal and method for sorting pages of user interface
US20170285932A1 (en) Ink Input for Browser Navigation
US9946458B2 (en) Method and apparatus for inputting text in electronic device having touchscreen
US20160004406A1 (en) Electronic device and method of displaying a screen in the electronic device
US20230291955A1 (en) User terminal apparatus, electronic apparatus, system, and control method thereof
KR20160001180A (ko) 가상 키보드의 디스플레이를 위한 방법 및 그 전자 장치
US20130159934A1 (en) Changing idle screens
US20150325254A1 (en) Method and apparatus for displaying speech recognition information
US20200142718A1 (en) Accessing application features from within a graphical keyboard
US20150293686A1 (en) Apparatus and method for controlling home screen
US10466863B1 (en) Predictive insertion of graphical objects in a development environment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right