KR20140090074A - 영상표시장치 및 그것의 제어방법 - Google Patents

영상표시장치 및 그것의 제어방법 Download PDF

Info

Publication number
KR20140090074A
KR20140090074A KR1020130149431A KR20130149431A KR20140090074A KR 20140090074 A KR20140090074 A KR 20140090074A KR 1020130149431 A KR1020130149431 A KR 1020130149431A KR 20130149431 A KR20130149431 A KR 20130149431A KR 20140090074 A KR20140090074 A KR 20140090074A
Authority
KR
South Korea
Prior art keywords
touch input
input window
touch
area
display unit
Prior art date
Application number
KR1020130149431A
Other languages
English (en)
Other versions
KR102291879B1 (ko
Inventor
방유석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to EP14000016.7A priority Critical patent/EP2752758A3/en
Priority to US14/148,583 priority patent/US9367234B2/en
Priority to CN201410006935.0A priority patent/CN103914222B/zh
Publication of KR20140090074A publication Critical patent/KR20140090074A/ko
Application granted granted Critical
Publication of KR102291879B1 publication Critical patent/KR102291879B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]

Abstract

영상표시장치 및 그것의 제어방법에 개시된다. 본 발명의 실시예들은 터치입력이 가능하도록 이루어진 디스플레이부와; 상기 디스플레이부에 인가되는 터치입력을 감지하는 감지부와; 터치입력창의 표시가 요청되면, 상기 디스플레이부에 출력되는 객체의 표시상태를 유지하면서 소정의 투명도를 갖는 터치입력창이 나타나도록 상기 디스플레이부를 제어하는 제어부를 포함하며, 상기 제어부는, 상기 터치입력창이 출력된 영역에 제1 터치입력이 감지되면, 상기 제1 터치입력의 움직임을 따라 이동하는 포인터를 상기 디스플레이부의 일 영역에 출력하고, 상기 포인터로 특정 객체를 포인팅하여 대응되는 제어명령이 입력되도록 제어하고, 상기 터치입력창을 벗어난 영역에 표시된 객체상에 제2 터치입력이 감지되면, 상기 객체에 상기 제2 터치입력에 대응되는 기능이 적용되도록 제어한다.

Description

영상표시장치 및 그것의 제어방법{IMAGE DISPLAY DEVICE AND CONTROLLING METHOD THEREOF}
본 발명은 영상표시장치 및 그것의 제어방법에 관한 것으로, 특히 디스플레이에의 터치입력이 가능한 영상표시장치 및 그것의 제어방법에 관한 것이다.
영상표시장치는 사용자가 시청을 할 수 있는 영상 및 소리를 출력하는 기능을 포함하는 장치이다. 이러한 영상표시장치는, 예를 들어, 휴대폰, 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이터(navigator) 등과 같은 영상표시장치와 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기를 모두 포함한다.
사용자는 영상표시장치를 통해서 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등과 같은 복합적인 기능에 대응되는 영상을 시청할 수 있다.
또한, 이와 같은 영상표시장치는 영상 시청을 위하여, 사용자가 다양한 기능을 쉽고 편리하게 검색하거나 선택하기 위한 사용자 인터페이스(User Interface, UI) 환경을 제공한다. 이러한 사용자 인터페이스의 하나로, 예를 들어 키보드(keyboard)나 마우스(mouse)와 같은 직관적인 입력장치가 사용된다.
한편, 영상표시장치가 보다 가볍고 심플한 디자인 형태로 개발되고, 점점 소형화 및 이동성이 강조됨에 따라, 상기한 키보드(keyboard)나 마우스(mouse)와 같은 별도의 입력장치를 구비하기 위한 물리적 공간이 더욱 제한되고 있다.
이에, 본 발명의 실시 예들은, 물리적인 공간을 차지하지 않는 가상의 입력장치가 디스플레이에 표시되도록 구현한 영상표시장치 및 그것의 제어방법을 제공하는데 그 목적이 있다.
또한, 본 발명의 실시 예들은, 디스플레이에 출력되는 화면을 가리지 않으면서 사용자가 원하는 위치에 가상의 입력장치가 표시될 수 있도록 구현한 영상표시장치 및 그것의 제어방법을 제공하는데 또 다른 목적이 있다.
또한, 본 발명의 실시 예들은, 디스플레이에 대한 다이렉트 터치입력과 가상의 입력장치를 사용하여 포인터에 의한 입력을 추가적인 동작없이 연속적으로 전환할 수 있고, 특정 조건에 따라서는 디스플레이에 대한 다이렉트 터치입력만 수행될 수 있도록 구현한 영상표시장치 및 그것의 제어방법을 제공하는데 또 다른 목적이 있다.
본 발명의 일 실시 예에 따른 영상표시장치는, 터치입력이 가능하도록 이루어진 디스플레이부와; 상기 디스플레이부에 인가되는 터치입력을 감지하는 감지부와; 터치입력창의 요청이 수신되면, 상기 디스플레이부에 출력되는 객체의 표시상태를 유지하면서 소정의 투명도를 갖는 터치입력창이 나타나도록 상기 디스플레이부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 터치입력창이 출력된 영역에 제1 터치입력이 감지되면, 상기 제1 터치입력의 움직임을 따라 비례하여 이동하는 포인터를 상기 디스플레이부의 일 영역에 출력하고, 상기 포인터로 특정 객체를 포인팅하여 대응되는 제어명령이 입력되도록 제어하고, 상기 터치입력창을 벗어나는 영역에 표시된 객체에 제2 터치입력이 감지되면, 상기 포인터가 사라지고 상기 객체에 상기 제2 터치입력에 대응되는 기능이 적용되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 터치입력창에서 기설정된 영역에 인가된 터치가 드래그되는 것에 응답하여, 상기 드래그되는 터치방향을 따라 상기 터치입력창이 이동하도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 드래그되는 터치방향을 따라 이동하는 터치입력창의 적어도 일부가 상기 디스플레이부의 기설정된 경계영역을 벗어나는 것이 감지되면, 상기 터치입력창이 상기 기설정된 경계영역을 기준으로 내부에 위치하도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 기설정된 영역에는, 터치에 따라 선택적으로 활성화되는 제1 모드 및 제2 모드에 대응되는 표시가 출력되고, 상기 제어부는, 상기 제1 모드에서는, 상기 터치입력창을 벗어난 배경화면 영역에 기설정된 터치가 감지되는 경우 상기 터치입력창 및 상기 포인터를 상기 디스플레이부로부터 사라지도록 제어하고, 상기 제2 모드에서는, 상기 터치입력창을 벗어난 배경화면 영역에 기설정된 터치가 감지되는 경우 상기 터치입력창 및 상기 포인터의 표시를 유지하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 터치입력창의 요청이 수신되면, 상기 터치입력창 및 상기 포인터가 상기 디스플레이부로부터 사리지기 이전에 출력되었던 위치에 각각 나타나도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 터치입력창은 적어도 제1 및 제2 영역을 포함하고, 상기 제어부는, 상기 제1 터치입력의 시작점이 상기 제1 영역에서 수행되는 경우, 상기 포인터가 가리키는 객체에 대해 더블 클릭 기능을 실행하고, 상기 제1 터치입력의 시작점이 상기 제2 영역에서 수행되는 경우, 상기 포인터가 출력된 영역과 관련된 적어도 하나의 기능을 실행하기 위한 메뉴 항목을 출력하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제1 및 제2 영역 중 상기 제1 터치입력의 시작점이 인가된 영역에 다른 영역과 시각적으로 구별되는 표시를 출력하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 제1 터치입력의 시작점이 위치하는 영역과 상기 제1 터치입력의 종료점이 위치하는 영역이 서로 다른 경우, 상기 제1 터치입력의 시작점이 위치한 영역에 대응되는 기능만 실행하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 제1 입력신호가 수신되면, 상기 디스플레이부의 미리 설정된 위치에 상기 제1 및 제2 영역을 분리하여 표시하고, 상기 제1 및 제2 영역 중 적어도 하나에 드래그 터치입력이 감지되는 것에 응답하여, 상기 드래그 터치입력의 움직임을 따라 이동하는 포인터가 상기 디스플레이부의 일 영역에 출력되도록 제어하고, 제2 입력신호가 수신되면, 하나의 터치입력창내에 상기 제1 및 제2 영역이 포함되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 사용자 설정에 기초하여, 상기 제1 및 제2 영역에서 실행되는 상기 제1 터치입력에 대응되는 기능을 전환하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 디스플레이부는, 감지된 본체의 기울기에 따라 결정된 방향으로 상기 객체를 출력하고, 상기 제어부는, 상기 제1 및 제2 영역의 표시방향이 상기 결정된 방향과 일치되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 사용자 입력에 근거하여, 상기 터치입력창의 크기가 변경되도록 상기 디스플레이부를 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 터치입력창의 크기가 상기 디스플레이부의 크기와 일치하는 경우, 상기 디스플레이부에 제3 터치입력이 감지되는 것에 응답하여 상기 제3 터치입력이 감지된 지점에 상기 포인터가 출력되도록 상기 디스플레이부를 제어하고, 상기 디스플레이부에 상기 제1 터치입력이 감지되는 것에 응답하여 상기 제1 터치입력의 움직임을 따라 이동하는 포인터를 상기 디스플레이부의 일 영역에 출력시키는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 터치입력창이 출력된 영역에서 시작된 제1 터치가 상기 터치입력창이 출력된 영역을 벗어나는 경우에도 상기 제1 터치를 따라 이동하는 포인터의 표시 상태를 유지하고, 상기 터치입력창을 벗어난 영역에 표시된 객체에 인가된 제2 터치가 상기 터치입력창이 출력된 영역으로 진입하는 경우에도 상기 제2 터치를 따라 이동하는 객체의 표시 상태를 유지하도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 터치입력창의 기설정된 영역에 터치입력이 인가되는 것에 응답하여, 상기 터치입력창의 투명도를 조절하기 위한 인디케이터 아이콘을 출력하고, 상기 인디케이터 아이콘의 조작에 따라, 상기 터치입력창의 투명도를 조절하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 터치입력창에 기설정된 터치가 인가되는 것에 응답하여, 상기 디스플레이부에 출력되는 화면과 관련된 적어도 하나의 제어 키가 상기 터치입력창내에 출력되도록 제어하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 터치입력창이 출력된 상태에서 제1 애플리케이션의 실행에 대응되는 윈도우 화면이 팝업되는 경우, 상기 터치입력창에서 상기 팝업된 윈도우 화면과 겹쳐지는 영역에 대한 터치입력을 비활성화시키는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 기설정된 우선순위에 근거하여, 상기 터치입력창의 표시 여부와 상기 터치입력창에서 상기 윈도우 화면과 겹쳐지는 영역에 대한 터치입력의 활성화 여부를 결정하는 것을 특징으로 한다.
일 실시예에서, 상기 제어부는, 상기 터치입력창이 출력된 영역에 상기 제1 터치입력이 감지되는 것에 응답하여, 상기 제1 터치입력에 대응되는 소리, 진동, 및 하이라이팅 효과 중 적어도 하나를 출력하도록 제어하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 영상표시장치의 제어방법은, 터치입력창의 요청을 수신하는 단계와; 상기 수신된 요청에 응답하여, 디스플레이부에 출력되는 객체의 표시상태를 유지하면서 소정의 투명도를 갖는 터치입력창을 상기 디스플레이부에 출력하는 단계와; 상기 터치입력창이 출력된 영역에 제1 터치입력이 감지되면, 상기 제1 터치입력의 움직임을 따라 비례하여 이동하는 포인터를 상기 디스플레이부의 일 영역에 출력하고, 상기 포인터로 특정 객체를 포인팅하여 대응되는 제어명령을 실행하도록 제어하는 단계와; 상기 터치입력창을 벗어난 영역에 표시된 객체에 제2터치입력이 감지되면, 상기 포인터가 사라지고 상기 객체에 상기 제2 터치입력에 대응되는 기능을 적용하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 실시 예에 따른 영상표시장치 및 그것의 제어방법에 의하면, 영상표시장치와 관련된 입력장치가 다른 객체들을 가리지 않으면서 화면내에 위치하도록 구현함으로써, 입력장치에 의한 물리적인 공간의 제한을 극복할 수 있다.
또한, 본 발명의 실시 예에 따른 영상표시장치 및 그것의 제어방법에 의하면, 사용자가 원하는 위치에 그리고 원하는 크기로 입력장치가 표시될 수 있도록 구현함으로써, 화면에 대한 입력 및 출력의 제한을 최소화하고, 사용자의 손이나 스타일러스 펜에 의하여 포인팅할 객체가 가려지는 불편이 없게 된다.
또한, 본 발명의 실시 예에 따른 영상표시장치 및 그것의 제어방법에 의하면, 화면에 표시된 작은 객체의 제어는 포인터에 의한 입력을 통해 수행하고 다른 객체의 제어는 다이렉트 터치입력을 수행할 수 있도록 함으로써, 제어하고자 하는 객체의 크기에 따라 또는 편의에 따라, 사용자가 보다 적합한 인터페이스 환경을 선택할 수 있는 편의를 제공한다.
도 1은 본 발명의 실시예에 따른 영상표시장치의 예시 구성을 보여주는 블록도이다.
도 2는 본 발명의 실시예에 따른 영상표시장치의 일 예로, 노트북 컴퓨터를 보인 도면이다.
도 3은 본 발명의 실시예에 따른 영상표시장치의 동작방법을 설명하기 위한 예시 흐름도이다.
도 4a 내지 도 4e는 본 발명의 실시예에 따라, 디스플레이부에 출력된 가상의 입력장치를 사용하여 화면을 제어하는 방법을 설명하기 위한 개념도들이다.
도 5a 내지 도 5c는 본 발명의 실시예에 따라, 디스플레이부에 출력된 가상의 입력장치를 이동하는 방법을 설명하기 위한 개념도들이다.
도 6a 및 도 6b는 본 발명의 실시예에 따라, 디스플레이부에 출력된 가상의 입력장치를 화면으로부터 해지 및 고정하는 방법을 설명하기 위한 개념도들이다.
도 7a 내지 도 7d는 본 발명의 실시예에 따라, 디스플레이부에 출력된 가상의 입력장치에서 서로 다른 기능을 실행하는 방법을 설명하기 위한 개념도들이다.
도 8은 본 발명의 실시예에 따른 가상의 입력장치를 디스플레이부의 복수의 영역에 출력하는 방법을 설명하기 위한 개념도이다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 영상표시장치의 화면 방향 또는 해상도 변경에 따라 가상의 입력장치를 출력하는 방법을 설명하기 위한 개념도들이다.
도 10은 본 발명의 실시예에 따라 가상의 입력장치의 크기를 조절하고, 크기 조절된 가상의 입력장치를 통해 입력을 수행하는 방법을 설명하기 위한 개념도이다.
도 11a 내지 도 11c는 본 발명의 실시예에 따라, 다이렉트 터치입력과 포인터에 의한 입력을 유지하는 방법과, 가상의 입력장치에 사용자에게 편리한 인터페이스 환경을 추가하는 방법을 설명하기 위한 개념도이다.
도 12는 본 발명의 실시예에 따라, 특정 애플리케이션에 따라 가상의 입력장치를 비활성화시키는 방법을 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.
본 명세서에서 설명되는 영상표시장치에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook) 등이 포함될 수 있다. 그러나, 본 명세서에 기재된 실시 예에 따른 구성은 영상표시장치에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 명세서에 개시된 일 실시 예에 따른 영상표시장치(100)를 나타내는 블록도이다.
상기 영상표시장치(100)는 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 감지부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 갖는 영상표시장치가 구현될 수도 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
무선 통신부(110)는 영상표시장치(100)와 무선 통신 시스템 사이 또는 영상표시장치(100)와 영상표시장치(100)가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 예를 들어, 무선 통신부(110)는 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114) 및 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
방송 수신 모듈(111)은 방송 채널을 통하여 외부의 방송 관리 서버로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다.
상기 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 상기 방송 관리 서버는, 방송 신호 및/또는 방송 관련 정보를 생성하여 송신하는 서버 또는 기 생성된 방송 신호 및/또는 방송 관련 정보를 제공받아 단말기에 송신하는 서버를 의미할 수 있다. 상기 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다.
상기 방송 관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 상기 방송 관련 정보는, 이동통신망을 통하여도 제공될 수 있다. 이러한 경우에는 상기 이동통신 모듈(112)에 의해 수신될 수 있다.
상기 방송 관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
상기 방송 수신 모듈(111)은, 예를 들어, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 물론, 상기 방송 수신 모듈(111)은, 상술한 디지털 방송 시스템뿐만 아니라 다른 방송 시스템에 적합하도록 구성될 수도 있다.
방송 수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(112)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
상기 이동통신 모듈(112)은 화상통화모드 및 음성통화모드를 구현하도록 이루어진다. 화상통화모드는 상대방의 영상을 보면서 통화하는 상태를 지칭하고, 음성통화모드는 상대방의 영상을 보지 않으면서 통화를 하는 상태를 지칭한다. 화상통화모드 및 음성통화모드를 구현하기 위하여 이동통신 모듈(112)은 음성 및 영상 중 적어도 하나를 송수신하도록 형성된다.
무선 인터넷 모듈(113)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 영상표시장치(100)에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN), WiFi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
근거리 통신 모듈(114)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신(short range communication) 기술로 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등이 이용될 수 있다.
위치정보 모듈(115)은 영상표시장치의 위치를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Position System) 모듈 또는 WiFi(Wireless Fidelity) 모듈이 있다.
도 1을 참조하면, A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 여기에는 카메라(121)와 마이크(122) 등이 포함될 수 있다. 카메라는(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부 기기로 전송될 수 있다. 또한, 카메라(121)에서 획득되는 화상 프레임으로부터 사용자의 위치 정보 등이 산출될 수 있다. 카메라(121)는 사용 환경에 따라 2개 이상이 구비될 수도 있다.
마이크(122)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 처리된 음성 데이터는 통화모드인 경우 이동통신 모듈(112)을 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크(122)에는 외부의 음향 신호를 입력 받는 과정에서 발생되는 잡음(noise)을 제거하기 위한 다양한 잡음 제거 알고리즘이 구현될 수 있다.
사용자 입력부(130)는 사용자로부터 인가되는 영상표시장치(100)의 동작을 제어하기 위한 제어명령에 따른 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
감지부(또는 센싱부, 140)는 영상표시장치(100)의 개폐 상태, 영상표시장치(100)의 위치, 사용자 접촉 유무, 영상표시장치의 방위, 영상표시장치의 가속/감속 등과 같이 영상표시장치(100)의 현 상태를 감지하여 영상표시장치(100)의 동작을 제어하기 위한 감지 신호 (또는 센싱 신호)를 발생시킨다. 예를 들어 감지부(140)는 영상표시장치(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 감지할 수 있다. 또한, 감지부(140)는 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등을 감지할 수도 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 이에는 디스플레이부(151), 음향 출력 모듈(153), 알람부(154) 및 햅틱 모듈(155) 등이 포함될 수 있다.
디스플레이부(151)는 영상표시장치(100)에서 처리되는 정보를 표시(출력)한다. 예를 들어, 영상표시장치가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 영상표시장치(100)가 화상 통화 모드 또는 촬영 모드인 경우에 디스플레이부(151)는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시한다.
디스플레이부(151)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전자잉크 디스플레이(e-ink display) 중에서 적어도 하나를 포함할 수 있다.
이들 중 일부 디스플레이는 그를 통해 외부를 볼 수 있도록 투명형 또는 광투과형으로 구성될 수 있다. 이는 투명 디스플레이라 호칭될 수 있는데, 상기 투명 디스플레이의 대표적인 예로는 TOLED(Transparant OLED) 등이 있다. 디스플레이부(151)의 후방 구조 또한 광 투과형 구조로 구성될 수 있다. 이러한 구조에 의하여, 사용자는 단말기 바디의 디스플레이부(151)가 차지하는 영역을 통해 단말기 바디(body)의 후방에 위치한 사물을 볼 수 있다.
영상표시장치(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수 있다. 예를 들어, 영상표시장치(100)에는 복수의 디스플레이부들이 하나의 면에 이격되거나 일체로 배치될 수 있고, 또한 서로 다른 면에 각각 배치될 수도 있다.
또한, 상기 디스플레이부(151)는 입체영상을 표시하는 입체 디스플레이부(152)로서 구성될 수 있다.
여기서, 입체영상은 3차원 입체영상(3-dimensional stereoscopic image)을 나타내며, 3차원 입체 영상(3-dimensional stereoscopic image)은 모니터나 스크린 상에서 사물이 위치한 점진적 깊이(depth)와 실체(reality)를 현실 공간과 동일하게 느낄 수 있도록 한 영상이다. 3차원 입체 영상은 양안시차(binocular disparity)를 이용하여 구현된다. 양안시차란 떨어져 있는 두 눈의 위치에 의하여 이루어지는 시차를 의미하는 것으로, 두 눈이 서로 다른 2차원 화상을 보고 그 화상들이 망막을 통하여 뇌로 전달되어 융합되면 입체 영상의 깊이 및 실제감을 느낄 수 있게 된다.
상기 입체 디스플레이부(152)에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다. 가정용 텔레비전 수신기 등에 많이 이용되는 스테레오스코픽 방식에는 휘스톤 스테레오스코프 방식 등이 있다.
상기 오토 스테레오스코픽 방식의 예로서, 패럴렉스 배리어(parallex barrier) 방식, 렌티큘러(lenticular) 방식, 집적영상(integral imaging) 방식, 스위츠블 렌즈(switchable lens) 등이 있다. 프로젝션 방식에는 반사형 홀로그래픽 방식, 투과형 홀로그래픽 방식 등이 있다.
일반적으로 3차원 입체 영상은 좌 영상(좌안용 영상)과 우 영상(우안용 영상)으로 구성된다. 좌 영상과 우 영상이 3차원 입체 영상으로 합쳐지는 방식에 따라, 좌 영상과 우 영상을 한 프레임 내 상하로 배치하는 탑-다운(top-down) 방식, 좌 영상과 우 영상을 한 프레임 내 좌우로 배치하는 L-to-R(left-to-right, side by side) 방식, 좌 영상과 우 영상의 조각들을 타일 형태로 배치하는 체커 보드(checker board) 방식, 좌 영상과 우 영상을 열 단위 또는 행 단위로 번갈아 배치하는 인터레이스드(interlaced) 방식, 그리고 좌 영상과 우 영상을 시간 별로 번갈아 표시하는 시분할(time sequential, frame by frame) 방식 등으로 나뉜다.
또한, 3차원 썸네일 영상은 원본 영상 프레임의 좌 영상 및 우 영상으로부터 각각 좌 영상 썸네일 및 우 영상 썸네일을 생성하고, 이를 합쳐서 하나의 3차원 썸네일 영상을 생성할 수 있다. 일반적으로 썸네일(thumbnail)은 축소된 화상 또는 축소된 정지영상을 의미한다. 이렇게 생성된 좌 영상 썸네일과 우 영상 썸네일은 좌 영상과 우 영상의 시차에 대응하는 깊이감(depth)만큼 화면 상에서 좌우 거리차를 두고 표시됨으로써 입체적인 공간감을 나타낼 수 있다.
3차원 입체영상의 구현에 필요한 좌 영상과 우 영상은 입체 처리부(미도시)에 의하여 입체 디스플레이부(152)에 표시될 수 있다. 입체 처리부는 3D 영상을 입력받아 이로부터 좌 영상과 우 영상을 추출하거나, 2D 영상을 입력받아 이를 좌 영상과 우 영상으로 전환하도록 이루어진다.
한편, 디스플레이부(151)와 터치 동작을 감지하는 센서(이하, '터치 센서'라 함)가 상호 레이어 구조를 이루는 경우(이하, '터치 스크린'이라 함)에, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 센서는, 예를 들어, 터치 필름, 터치 시트, 터치 패드 등의 형태를 가질 수 있다.
터치 센서는 디스플레이부(151)의 특정 부위에 가해진 압력 또는 디스플레이부(151)의 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는 터치 대상체가 터치 센서 상에 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다.
도 1을 참조하면, 상기 터치 스크린에 의해 감싸지는 영상표시장치의 내부 영역 또는 상기 터치 스크린의 근처에 근접 센서(141)가 배치될 수 있다. 근접 센서(141)는 상기 센싱부(140)의 일 예로서 구비될 수 있다. 상기 근접 센서(141)는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. 근접 센서(141)는 접촉식 센서보다는 그 수명이 길며 그 활용도 또한 높다.
상기 근접 센서(141)의 예로는 투과형 광전 센서, 직접 반사형 광전 센서, 미러 반사형 광전 센서, 고주파 발진형 근접 센서, 정전 용량형 근접 센서, 자기형 근접 센서, 적외선 근접 센서 등이 있다. 상기 터치 스크린이 정전식인 경우에는 전도성을 갖는 물체(이하, 포인터라 함)의 근접에 따른 전계의 변화로 상기 포인터의 근접을 검출하도록 구성된다. 이 경우 상기 터치 스크린(터치 센서)은 근접 센서로 분류될 수도 있다.
이하에서는 설명의 편의를 위해, 상기 터치 스크린 상에 포인터가 접촉되지 않으면서 근접되어 상기 포인터가 상기 터치 스크린 상에 위치함이 인식되도록 하는 행위를 "근접 터치(proximity touch)"라고 칭하고, 상기 터치 스크린 상에 포인터가 실제로 접촉되는 행위를 "접촉 터치(contact touch)"라고 칭한다. 상기 터치 스크린 상에서 포인터로 근접 터치가 되는 위치라 함은, 상기 포인터가 근접 터치될 때 상기 포인터가 상기 터치 스크린에 대해 수직으로 대응되는 위치를 의미한다.
상기 근접센서(141)는, 근접 터치와, 근접 터치 패턴(예를 들어, 근접 터치 거리, 근접 터치 방향, 근접 터치 속도, 근접 터치 시간, 근접 터치 위치, 근접 터치 이동 상태 등)을 감지한다. 상기 감지된 근접 터치 동작 및 근접 터치 패턴에 상응하는 정보는 터치 스크린상에 출력될 수 있다.
입체 디스플레이부(152)와 터치 센서가 상호 레이어 구조를 이루는 경우(이하, '입체 터치스크린'이라 함)나, 입체 디스플레이부(152)와 터치 동작을 감지하는 3차원 센서가 서로 조합되는 경우에는 상기 입체 디스플레이부(152)는 3차원의 입력 장치로도 사용될 수 있다.
상기 3차원 센서의 예로서, 상기 센싱부(140)는 근접 센서(141), 입체 터치센싱부(142), 초음파 센싱부(143), 카메라 센싱부(144)를 포함할 수 있다.
근접센서(141)는 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 터치를 가하는 감지대상(예를 들어, 사용자의 손가락이나 스타일러스 펜)와 검출면과의 거리를 측정한다. 단말기는 이러한 거리를 이용하여 입체영상의 어느 부분이 터치되었는지를 인식하게 된다. 특히, 터치스크린이 정전식인 경우에는 상기 감지대상의 근접에 따른 전계의 변화로 상기 감지대상의 근접 정도를 검출하고, 이러한 근접 정도를 이용하여 3차원상의 터치를 인식하도록 구성된다.
입체 터치센싱부(142)는 터치 스크린상에 가해지는 터치의 세기나 지속시간을 감지하도록 이루어진다. 예를 들어, 입체 터치센싱부(142)는 터치를 가하는 압력을 감지하고, 가압력이 강하면 이를 단말기의 내부를 향하여 터치 스크린과 보다 멀리 위치한 객체에 대한 터치로 인식한다.
초음파 센싱부(143)는 초음파를 이용하여, 감지대상의 위치정보를 인식하도록 이루어진다.
초음파 센싱부(143)는, 예를 들어 광 센서와 복수의 초음파 센서로 이루어질 수 있다. 광 센서는 광을 감지하도록 형성되며, 초음파 센서는 초음파를 감지하도록 형성된다. 광이 초음파보다 매우 빠르기 때문에, 광이 광 센서에 도달하는 시간은 초음파가 초음파 센서에 도달하는 시간보다 매우 빠르다. 따라서, 광을 기준 신호로 초음파가 도달하는 시간과의 시간차를 이용하여 파동 발생원의 위치를 산출할 수 있게 된다.
카메라 센싱부(144)는 카메라(121), 포토 센서, 레이저 센서 중 적어도 하나를 포함한다.
예를 들어, 카메라(121)와 레이저 센서는 서로 조합되어, 3차원 입체영상에 대한 감지대상의 터치를 감지한다. 카메라에 의하여 촬영된 2차원 영상에 레이저 센서에 의하여 감지된 거리정보가 더해지면, 3차원 정보가 획득될 수 있다.
또 다른 예로서, 포토 센서가 디스플레이 소자에 적층될 수 있다. 포토 센서는 터치 스크린에 근접한 감지대상의 움직임을 스캐닝하도록 이루어진다. 보다 구체적으로, 포토 센서는 행/열에 Photo Diode와 TR(Transistor)를 실장하여 Photo Diode에 인가되는 빛의 양에 따라 변화되는 전기적 신호를 이용하여 포토 센서 위에 올려지는 내용물을 스캔한다. 즉, 포토 센서는 빛의 변화량에 따른 감지대상의 좌표 계산을 수행하며, 이를 통하여 감지대상의 위치정보를 획득하게 된다.
음향 출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력할 수 있다. 음향 출력 모듈(153)은 영상표시장치(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력하기도 한다. 이러한 음향 출력 모듈(153)에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.
알람부(154)는 영상표시장치(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 영상표시장치(100)에서 발생 되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 터치 입력 등이 있다. 알람부(154)는 비디오 신호나 오디오 신호 이외에 다른 형태, 예를 들어 진동을 이용하여, 이벤트 발생을 알리기 위한 신호를 출력할 수도 있다. 상기 비디오 신호나 오디오 신호는 디스플레이부(151)나 음향 출력 모듈(153)을 통해서도 출력될 수 있어서, 디스플레이부(151) 및 음향 출력 모듈(153)은 알람부(154)의 일부로 분류될 수도 있다.
햅틱 모듈(haptic module)(155)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킨다. 햅틱 모듈(155)이 발생시키는 촉각 효과의 대표적인 예로는 진동이 될 수 있다. 햅택 모듈(155)이 발생하는 진동의 세기와 패턴 등은 사용자의 선택 또는 제어부의 설정에 의해 제어될 수 있다. 예를 들어, 상기 햅틱 모듈(155)은 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱 모듈(155)은, 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력, 피부 표면에 대한 스침, 전극(eletrode)의 접촉, 정전기력 등의 자극에 의한 효과와, 흡열이나 발열 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다.
햅틱 모듈(155)은 직접적인 접촉을 통해 촉각 효과의 전달할 수 있을 뿐만 아니라, 사용자가 손가락이나 팔 등의 근 감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱 모듈(155)은 영상표시장치(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(160)는 제어부(180)의 동작을 위한 프로그램을 저장할 수 있고, 입/출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)을 임시 저장할 수도 있다. 상기 메모리(160)는 상기 터치 스크린 상의 터치 입력시 출력되는 다양한 패턴의 진동 및 음향에 관한 데이터를 저장할 수 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory; RAM), SRAM(static random access memory), 롬(read-only memory; ROM), EEPROM(electrically erasable programmable read-only memory), PROM(programmable read-only memory), 자기 메모리, 자기 디스크 및 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 영상표시장치(100)는 인터넷(internet)상에서 상기 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage)와 관련되어 동작될 수도 있다.
인터페이스부(170)는 영상표시장치(100)에 연결되는 모든 외부 기기와의 통로 역할을 한다. 인터페이스부(170)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 영상표시장치(100) 내부의 각 구성요소에 전달하거나, 영상표시장치(100) 내부의 데이터가 외부 기기로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(170)에 포함될 수 있다.
한편, 식별 모듈은 영상표시장치(100)의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(user identify module; UIM), 가입자 인증 모듈(subscriber identity module; SIM), 범용 사용자 인증 모듈(universal subscriber identity module; USIM) 등을 포함할 수 있다. 식별 모듈이 구비된 장치(이하 '식별 장치')는, 스마트 카드(smart card) 형식으로 제작될 수 있다. 따라서 식별 장치는 상기 인터페이스부(170)를 통하여 단말기(100)와 연결될 수 있다.
또한, 상기 인터페이스부(170)는 영상표시장치(100)가 외부 크래들(cradle)과 연결될 때 상기 크래들로부터의 전원이 상기 영상표시장치(100)에 공급되는 통로가 되거나, 사용자에 의해 상기 크래들에서 입력되는 각종 명령 신호가 상기 영상표시장치(100)로 전달되는 통로가 될 수 있다. 상기 크래들로부터 입력되는 각종 명령 신호 또는 상기 전원은 상기 영상표시장치(100)가 상기 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수 있다.
제어부(controller, 180)는 통상적으로 영상표시장치(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등과 관련된 제어 및 처리를 수행한다. 제어부(180)는 멀티미디어 재생을 위한 멀티미디어 모듈(181)을 구비할 수도 있다. 멀티미디어 모듈(181)은 제어부(180) 내에 구현될 수도 있고, 제어부(180)와 별도로 구현될 수도 있다.
전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부의 전원을 인가 받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
여기에 설명되는 다양한 실시 예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시 예는 ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시 예들은 제어부(180) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
소프트웨어 코드는 적절한 프로그램 언어로 쓰여진 소프트웨어 애플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리(160)에 저장되고, 제어부(180)에 의해 실행될 수 있다.
한편, 본 발명의 실시예에 따른 영상표시장치(100)에 적용되는 터치입력장치는, 디스플레이부(151)에 출력되는 객체의 표시 상태를 유지하기 위해 소정의 투명도를 갖도록 이루어진다. 디스플레이부(151)에 터치입력장치가 출력되면, 감지부(140)는 출력된 터치입력장치에 인가되는 터치와 상기 터치입력장치를 벗어난 영역에 인가되는 터치를 구별하여 감지한다.
제어부(180)는, 상기 터치입력창이 출력된 영역에 제1 터치입력이 감지되는 것에 응답하여, 상기 제1 터치입력의 움직임에 비례하여 이동하는 포인터를 상기 디스플레이부에 출력하고, 상기 포인터로 상기 디스플레이부에 출력된 특정 객체를 포인팅하여 대응되는 제어명령을 실행한다. 또한, 상기 제어부(180)는, 상기 터치입력창을 벗어난 영역에 표시된 객체에 제2 터치입력이 감지되면, 상기 포인터를 사라지게 하고, 상기 객체에 상기 제2 터치입력에 대응되는 기능을 적용시킨다.
이하에서는, 도 2를 참조하여, 본 발명의 실시예에 따른 가상의 터치입력장치가 적용되는 영상표시장치(100)로, 노트북 컴퓨터를 예로 들어 설명하기로 한다.
도 2를 참조하면, 영상표시장치(100)의 디스플레이부(151)의 일 영역에는 마우스와 같은 포인팅 장치를 대신하여, 가상의 터치입력장치(500)가 디스플레이된다. 본 발명에 따른 실시예에서, 가상의 터치입력장치(500)는, 사용자의 터치입력에 대응하여 마우스 패드와 동일한 기능을 실행할 수 있다. 예를 들어, 디스플레이부(151)의 일 영역에는 상기 가상의 터치입력장치(500)에 터치가 인가되면 마우스 포인터를 디스플레이할 수 있다. 또한, 사용자는 디스플레이부(151)에 출력된 가상의 터치입력장치(500)에 손이나 스타일러스 펜을 얹고, 상, 하, 좌, 우, 대각방향 등의 원하는 방향으로 움직임으로써, 마우스 포인터를 제어할 수 있다.
구체적으로, 상기 영상표시장치(100)는 가상의 터치입력장치(500)에 인가되는 터치입력에 대응되는 움직임 정보로부터 마우스 포인터의 X, Y 좌표를 산출할 수 있다. 그리고, 상기 영상표시장치(100)는 산출된 X, Y 좌표에 따라 마우스 포인터를 표시할 수 있다. 또한, 상기 영상표시장치(100)는 가상의 터치입력장치(500)에 인가되는 터치입력의 압력, 방향, 속도, 및 횟수에 근거하여, 마우스 포인터의 형상(또는 크기), 이동방향, 이동속도, 및 이동거리가 결정될 수 있다. 또한, 상기 마우스 포인터는 화살표 형상 외에, 다양한 형상의 오브젝트, 예를 들어 점, 커서, 프롬프트, 외곽선 등의 형상으로 이루어질 수 있다.
한편, 상기 가상의 터치입력장치(500)는 디스플레이부(151)에 출력되고 있는 다양한 객체들의 표시가 가려지지 않도록 그리고 객체들에 대한 입력이 방해되지 않도록 소정의 투명도를 갖는다. 그리하여, 입력장치의 구비로 인한 공간상의 제약과 화면의 제약을 동시에 극복할 수 있게 된다.
또한, 상기 가상의 터치입력장치(500)는, 상기 디스플레이부(151)내에서 사용자가 원하는 위치로 이동가능하며, 사용자에 적합하도록 크기변경가능하다. 따라서, 사용자가 편리한 위치에 놓고 입력을 수행할 수 있고, 상기 포인터와 상기 마우스 포인터를 제어하기 위한 가상의 터치입력장치(500)가 서로 떨어져 있기 때문에, 사용자의 손이나 스타일러스 펜이 포인팅할 객체를 가리는 일이 없게 된다.
한편, 도 2에 도시된 노트북 컴퓨터(100)는 사용자 입력부(130)로, 예를 들어 키보드 입력장치가 도시되었으나, 키보드 입력장치를 대신하여 가상의 키보드가 디스플레이부(151)에 표시되도록 구현될 수도 있다.
이하에서는, 도 3과 도 4a 내지 도 4e를 참조하여, 본 발명의 실시예에 따라 가상의 입력장치가 디스플레이되는 영상표시장치(100)의 동작방법을 보다 구체적으로 설명하기로 한다.
도 3은 본 발명의 실시예에 따른 영상표시장치의 동작방법을 설명하기 위한 예시 흐름도이고, 도 4a 내지 도 4e는 본 발명의 실시예에 따라, 디스플레이부에 출력된 가상의 입력장치를 사용하여 화면을 제어하는 방법을 설명하기 위한 개념도들이다.
먼저, 상기 영상표시장치(100)의 제어방법은 기설정된 사용자 입력에 따라, 터치입력창의 요청을 수신하는 단계가 진행된다(S310).
여기서, 터치입력창의 요청에 대응되는 입력신호는 다양하게 구현될 수 있다. 예를 들어, 디스플레이부(151)의 일 영역, 예를 들어 하단 영역에 표시된 터치입력창에 대응되는 아이콘 또는 소프트키를 터치하거나, 또는 사용자 입력부(130)의 특정 키를 푸쉬(push)하여 상기 터치입력창의 온/오프(on/off) 기능을 실행하기 위한 제어명령을 입력할 수 있다. 또는, 예를 들어, 기설정된 음성명령(예, '마우스 패드!')이 입력되면, 상기 터치입력창의 요청으로 인식할 수 있다.
계속해서, 상기 영상표시장치(100)는 수신된 요청에 응답하여, 영상표시장치(100)의 디스플레이부(151, 도 1)에 출력되는 객체의 표시상태를 유지하면서 소정의 투명도를 갖는 터치입력창을 상기 디스플레이부(151)에 출력한다(S320).
여기서, 상기 소정의 투명도는 미리 설정된 값일 수 있다. 또한, 상기 터치입력창의 적어도 일부는 다른 영역과 다른 투명도 값을 가질 수 있다. 예를 들어, 상기 터치입력창의 경계영역은 기설정된 투명도 값보다 낮은 투명도로 표시되고, 다른 영역은 기설정된 투명도 값을 갖도록 설정될 수 있다. 그에 따라, 디스플레이부(151)에서 터치입력창의 표시 여부 및 표시 위치를 즉각적으로 인식할 수 있다.
예를 들어, 도 4a를 참조하면, 상기 터치입력창(500)은, 디스플레이부(151)의 일 영역에 팝업된 웹 페이지(401)와 배경화면(402)의 표시를 그대로 유지하기 위해, 소정의 투명도로 상기 디스플레이부(151)의 일 영역에 출력된다. 그리고, 디스플레이부(151)의 일 영역에는 터치입력창(500)에의 터치입력에 대응되는 포인터가 디스플레이된다. 또한, 터치입력창(500)이 디스플레이부(151)에 출력되면, 이러한 동작 상태를 알리기 위한 아이콘(450)이 디스플레이부(151)의 하단영역에 출력된다.
한편, 터치입력창(500)에의 터치입력에 대응되는 포인터는 디스플레이부(151)에 출력되는 모든 객체 및 화면을 제어할 수 있다. 예를 들어, 도 4a에서 터치입력창(500)이 표시된 영역과 웹 페이지(401)의 화면을 제어하기 위한 키 영역이 중첩되는 경우, 비록 웹 페이지(401)의 화면을 제어하기 위한 키 영역이 투명하게 표시되더라고 해당 키 영역을 비활성화시키고, 터치입력창(500)이 표시된 영역만 활성화되도록 제어할 수 있다. 또한, 터치입력창(500)이 표시된 영역위에 새로운 윈도우 화면이 팝업되는 경우에도 터치입력창(500)이 표시된 영역만 활성화되도록 제어할 수 있다.
다만, 이하에 보다 자세히 설명되는 바와 같이, 미리 설정된 특정 영역이나 특정 프로그램에 대해서는 터치입력창(500)을 잠금하거나 또는 터치입력창(500)에 인가된 터치입력을 유효하지 않은 것으로 처리할 수 있다.
이하에서는 도 4d를 참조하여, 본 발명의 실시예에 따른 터치입력창의 예로, 마우스 패드의 형상 및 기능을 보다 구체적으로 설명하기로 한다.
도 4d에 도시된 바와 같이, 터치입력창은 복수의 구별되는 영역들(501, 502, 503, 504) 포함할 수 있다. 또한, 상기 각 영역(501, 502, 503, 504)은 사용자의 손이나 스타일러스 펜 등에 의하여 이루어지는, 터치입력의 위치, 압력의 정도, 터치시간, 터치가 드래그되는 길이, 터치 횟수 등을 감지할 수 있다. 예를 들어, 제1영역(501)은 포인터를 제어하기 위한 마우스 패드 영역에 대응될 수 있다. 또한, 제2영역(502)은 마우스의 왼쪽 버튼, 즉 클릭 기능을 실행하기 위한 입력영역에 대응될 수 있다. 또한, 제3영역(503)은 터치입력창을 다른 위치로 이동시키거나 또는 특정 위치에 고정시키기 위한 피닝(pinning) 기능을 실행하기 위한 입력영역에 대응될 수 있다. 또한, 제4영역(504)은 마우스의 오른쪽 버튼, 즉 컨텍스트 메뉴를 출력하는 제어명령을 실행하기 위한 입력영역에 대응될 수 있다.
한편, 본 발명의 실시예에 따른 터치입력창이 이와 같은 형상 및 영역에 한정되는 것은 아니며, 사용자 입력에 근거하여 또는 사용자 편의에 따라 다양한 형상으로 구현가능하다. 또한, 도 4d의 터치입력창은 마우스 스크롤, 조이스틱 등과 같은 가상의 입력장치를 추가적으로 구비할 수 있다.
도 4e는 상술한 가상의 입력장치의 예시로, 가상의 키보드가 추가된 것을 도시한 것이다. 도 4e에 도시된 가상의 키보드의 키 배열방식은 활성화된 입력언어(예, 한국어, 영어, 일본어, 프랑스어 등) 및 입력가능한 키의 개수에 따라 달라질 수 있다.
비록, 도 4e에는 도시되지 않았지만, 제어부(180)는, 상기 가상의 키보드의 레이아웃을 상기 키보드의 키 배열방식에 따라 적합한 방식으로 조절하여 디스플레이부(151)에 출력시킬 수 있다. 또한, 상기 제어부(180)는 디스플레이부(151)에 표시된 포인터의 위치에 기초하여, 입력가능한 언어값을 획득하고, 획득된 언어값, 예를 들어 '한국어'로 레이아웃된 가상의 키보드가 출력될 수 있다. 이때, 본 발명의 실시예에 따른 가상의 터치입력창은 디스플레이부(151)의 입력 및 출력을 최대한 방해하지 않는 방향으로 표시되어야 하므로, 입력가능한 언어값에 대응되는 키들의 표시도 기설정된 투명도를 갖도록 형성된다. 또는, 상기 가상의 키보드의 각 키에 아무런 키 정보가 표시되지 않을 수 있다. 이러한 경우, 각 키에 대응되는 키 정보를 사용자가 알 수 있도록, 상기 가상의 키보드의 'FJ'키(또는 'ㄹ, ㅓ'키)(508, 509)에 대응되는 키위에 실제 키보드와 같이 '돌기'형상을 표시하거나 터치입력에 따라 소정의 진동이 출력되도록 할 수 있다. 한편, 포인터의 위치가 변경됨에 따라, 입력가능한 언어값이 다르게 획득되면, 상기 제어부(180)는 이를 감지하여 가상의 키보드의 레이아웃을 변경하여 출력할 수 있다.
계속해서 도 4e를 참조하면, 상기 가상의 키보드는 가상의 마우스에 대응되는 키를 더 포함할 수 있다. 예를 들어, 도 4e에 도시된 바와 같이, 디스플레이부(151)에 표시되는 포인터를 제어하기 위한 마우스(501)가 가상의 키보드의 중앙 영역에 표시되고, 마우스의 왼쪽 버튼(502)과 마우스의 오른쪽 버튼(504)이 가상의 키보드의 하단 영역에 출력될 수 있다. 또한, 상기 가상의 키보드 및 가상의 마우스에 대응되는 특정 키에 대해 터치입력이 감지되는 경우, 해당 키에 입력에 대응되는 표시, 예를 들어 음영효과 등이 표시될 수 있다. 또한, 디스플레이부(151)의 하단 영역에는 가상의 마우스 및 키보드장치가 활성화되었음을 나타내는 복수의 아이콘(450, 460)이 표시될 수 있다.
이와 같이 디스플레이부(151)에 터치입력창이 출력된 상태에서, 감지부(140)는 상기 터치입력창에 인가되는 터치입력이나 상기 터치입력창을 벗어난 영역에 인가되는 터치입력을 감지할 수 있다. 이때, 터치입력창내에서 수행된 터치입력은, 해당 입력장치에 대응되는 입력 데이터, 즉 마우스 입력 데이터 또는 키보드 입력 데이터로 변환하는 과정이 수반된다.
이를 위해, 본 발명에 따른 실시예에 따른 영상표시장치(100)의 메모리부(160)에 터치입력창이 표시된 영역에서 수행되는 터치에 대응되는 X, Y 좌표 및 좌표변화량을 인식하기 위한 터치 필터드라이버(touch filter driver) 프로그램이 저장될 수 있다. 이와 같은 터치 필터드라이버(touch filter driver) 프로그램은 메모리(160)에 미리 저장될 수도 있지만, 다른 외부장치 또는 서버로부터 다운로드받아 설치될 수도 있다.
예를 들어, 상기 터치입력창과 관련된 포인터의 X, Y 좌표는 터치입력창이 디스플레이부(151)에 출력되는 시점에 제어부(180)에 전달될 수 있다. 또한, 포인터의 X, Y 좌표변화량은 터치입력창에 터치가 인가될 때마다 제어부(180)에 전달될 수 있다. 제어부(180)는 상기 터치 필터드라이버(touch filter driver) 프로그램을 실행하여 전달받은 좌표값과 터치입력창이 표시된 영역의 좌표값(터치입력창의 활성화 여부도 판단할 수 있음)을 서로 비교하여, 전달받은 좌표값에 대응되는 터치가 터치입력창내에서 수행된 것인지 또는 터치입력창을 벗어난 영역에서 수행된 것인지를 판단한다. 제어부(180)에 전달된 좌표값이 터치입력창에 인가된 터치입력으로 판단되면, 상기 터치 필터드라이버(touch filter driver) 프로그램에 기정의된 디스크립터(descriptor)에 대응되는 제어명령이 실행된다.
이때, 기정의된 디스크립터(descriptor)는 이벤트 통지 방식으로 제어부(180)에 전달된다. 예를 들어, 터치입력창이 복수의 영역으로 구별된 경우, 이하에 보다 자세히 기술되는 바와 같이, 터치입력이 감지된 영역의 위치에 대응되는 디스크립터(descriptor)가 미리정의된 메시지 형태로 포맷팅(formatting)되어 제어부(180)에 전달되고, 제어부(180)는 전달받은 정보에 근거하여 터치입력이 감지된 영역에 대응되는 제어명령을 수행한다.
한편, 제어부(180)에 전달된 X, Y 좌표값이 터치입력창을 벗어난 영역에서 시작된 것으로 인식되면, 영상표시장치(100)내의 OS(Operatign System) 터치 입력 프로그램에 그대로 전달된다. 반면, 제어부(180)에 전달된 X, Y 좌표값 또는 좌표변화량이 터치입력창내에서 시작된 것으로 인식되면, OS 입력 프로그램(예, OS 키보드/마우스/조이스틱 등의 프로그램)에 전달되어, 터치입력창에 인가된 터치입력의 좌표값을 키보드, 마우스, 또는 조이스틱에 대응되는 입력 데이터로 변환한다.
이와 같이, 터치입력창이 출력된 영역에 제1 터치입력이 감지되는 것에 응답하여, 상기 제어부(180)는, 상기 제1 터치입력의 움직임에 비례하여 이동하는 포인터를 상기 디스플레이부(151)의 일 영역에 출력한다. 그리고, 상기 출력된 포인터로 특정 객체를 포인팅하여 대응되는 제어명령을 실행하도록 제어한다(S330).
여기서, 상기 제1 터치입력은 상기 터치입력창이 출력된 영역에서 시작되는 드래그 터치입력일 수 있다. 또한, 상기 제1 터치입력은 상기 출력된 포인터가 특정 객체를 포인팅한 상태에서 상기 터치입력창이 출력된 영역내에 인가되는 더블 숏 터치입력일 수 있다. 이하에서는 이와 같은 터치입력을 '간접 터치입력'이라 명명할 수 있다.
또한, 터치입력에 따라 출력되는 포인터의 형상은 기설정된 형상, 예를 들어 화살표 형상으로 구현가능하나 이에 한정되지 않고, 사용자의 선택에 따라 다양하게 변경되거나, 또는 포인터가 위치한 애플리케이션의 타입에 따라 적합한 형태로 자동 선택되도록 구현될 수 있다.
또한, 상기 제어부(180)는 터치입력창의 면적을 기준으로, 상기 제1 터치입력이 터치의 힘, 드래그되는 길이, 드래그되는 속도 등에 비례하여 또는 그와 동일하게 상기 포인터의 이동을 제어할 수 있다.
예를 들어, 출력된 터치입력창이 기설정된 크기보다 작아진 경우라면, 제1 터치입력이 드래그되는 길이에 대응되는 포인터의 이동거리가 보다 길게 변경될 수 있다. 또한, 예를 들어, 출력된 터치입력창이 기설정된 크기보다 커진 경우라면, 제1 터치입력이 드래그되는 길이에 대응되는 포인터의 이동거리가 보다 짧아질 수 있다. 또는, 예를 들어, 터치입력창이 출력된 영역에서 시작되는 제1 터치입력의 드래그 속도가 빨라질수록 포인터의 이동속도도 더 빨라질 수 있다.
또한, 상기 제어부(180)는 포인터가 위치한 영역의 속성에 따라, 제1 터치입력의 움직임에 비례하는 포인터의 이동속도가 달라지도록 제어할 수 있다. 예를 들어, 포인터가 위치한 영역의 속성이 복수의 메뉴 객체들을 포함하는 경우라면, 보다 정확한 제어를 위해, 제1 터치입력의 움직임에 비례하는 포인터의 이동속도가 기준값보다 느려질 수 있다.
또한, 상기 제어부(180)는, 상기 터치입력창이 출력된 영역에 상기 제1 터치입력이 감지되는 것에 응답하여, 상기 제1 터치입력에 대응되는 소리, 진동, 및 하이라이팅 효과 중 적어도 하나를 출력시킬 수 있다. 이때, 제1 터치입력에 대응되는 효과가 소리 또는 진동으로 출력되는 경우에는 인가되는 터치입력의 압력 및 속도에 비례하도록, 소리 또는 진동의 레벨이 다르게 출력될 수 있다.
도 4c를 참조하면, 터치입력창(500)의 일 영역에 드래그 터치입력을 인가함에 따라 디스플레이부(151)의 일 영역에 포인터(410)가 디스플레이된다. 사용자는 터치입력창(500)에 인가한 터치를 좌/우/상/하 방향으로 움직여서, 이에 비례하는 또는 이와 동일한 길이 및 방향으로 포인터(410)를 이동시킬 수 있다. 이때, 포인터(410)의 X, Y좌표값은, 상술한 바와 같이, 제어부(180)가 터치 필터드라이버 프로그램을 사용하여 터치입력에 대응되는 좌표값이 터치입력창내에서 시작된 것인지를 먼저 판단하고(필터링), 터치입력창내에서 시작된 것으로 판단된 경우 해당 입력장치에 적합한 입력데이터, 즉 마우스 입력 데이터로 좌표 변환하여 영상표시장치(100)의 OS프로그램에 전달한다. 사용자는 포인터(410)로 팝업된 웹 페이지(401)의 종료키(401a)를 포인팅하여, 팝업된 웹 페이지(401)를 종료시킬 수 있다.
한편, 상기 제어부(180)는, 상기 디스플레이부(151)에서 상기 터치입력창을 벗어난 영역에 표시된 객체에 제2 터치입력이 감지되면, 상기 출력된 포인터가 사라지도록 제어하고, 상기 객체에 상기 제2 터치입력에 대응되는 기능을 적용할 수 있다(S340).
여기서, 상기 제2 터치입력은 터치입력창이 출력된 영역을 벗어난 영역에서 시작되는 롱 터치입력 또는 드래그 터치입력일 수 있다. 또는, 상기 제2 터치입력은 상기 터치입력창을 벗어난 영역에 표시된 객체상에 인가되는 더블 숏 터치입력일 수 있다. 이하에서는 이와 같은 터치입력을 '직접 터치입력'이라 명명할 수 있다.
또한, 여기서, 제2 터치입력에 대응되는 기능은 객체의 속성에 따라 달라질 수 있다. 예를 들어, 제2 터치입력이 인가된 객체가 특정 애플리케이션의 아이콘인 이면, 제2 터치입력에 대응되는 기능은 아이콘에 대응되는 특정 애플리케이션의 실행명령일 수 있다. 또는 제2 터치입력이 인가된 객체가 특정 메뉴키이면, 제2 터치입력에 대응되는 기능은 해당 메뉴키에 대응되는 화면으로 진입하기 위한 실행명령일 수 있다.
도 4b를 참조하면, 사용자는 터치입력창(500)이 디스플레이부(151)에 표시되어 활성화된 상태에서도, 디스플레이부(151)에 표시된 특정 아이콘(420a)에 대한 직접 터치입력을 수행할 수 있다. 이때, 터치입력창(500)에의 터치를 통해 제어되는 포인터는 화면으로부터 사라진다. 이와 같이 터치입력이 터치입력창(500)을 벗어난 영역에서 시작된 경우에는, 제어부(180)는 터치입력이 인가된 지점에 대한 좌표값만을 산출하여 OS 프로그램에 전달한다. 사용자는 특정 아이콘(420a)에 직접 터치입력을 수행하여 대응되는 애플리케이션을 실행시킬 수 있다. 이때, 비록 도시되지는 않았지만, 사용자가 터치입력을 수행한 지점을 나타내는 상기 포인터와 구별되는 형상(예, 손모양의 표시자)이 함께 표시될 수 있다.
한편, 사용자는 이와 같이 직접 터치입력을 수행한 다음, 별다른 조작 없이 바로 간접 터치입력을 자연스럽게 이어서 수행할 수 있다. 예를 들어, 디스플레이부(151)에 표시된 큰 화면을 제어하기 위한 조작은 '직접 터치입력'에 의하여 수행하도록 하고, 디스플레이부(151)에 표시된 작은 객체들을 선택 및 제어하기 위한 조작은 포인터를 사용하는 '간접 터치입력'에 의하여 수행하도록 할 수 있다. 이러한 동작은 별다른 전환없이 이어서 그리고 번갈아가면서 수행가능하다.
이때, '간접 터치입력'을 위한 포인터는 타겟 대상에 위치하고, 포인터를 제어하기 위한 사용자의 손 또는 스타일러스 펜 등은 터치입력창에 또는 그 근처에 위치하므로, 사용자의 손이나 스타일러스 펜에 의하여 포인터나 타겟 대상이 가려지는 불편이 없게 된다.
이상에서 설명한 바와 같이, 본 발명의 실시예들에 따르면, 영상표시장치와 관련된 입력장치가 다른 객체들을 가리지 않으면서 화면내에 위치하도록 구현함으로써, 입력장치에 의한 물리적인 공간의 제한을 극복할 수 있다. 또한, 화면에 대한 입력 및 출력의 제한을 최소화하고, 사용자의 손이나 스타일러스 펜에 의하여 포인팅할 객체가 가려지는 불편이 없게 된다.
한편, 상술한 터치입력창(500)은 사용자가 원하는 위치에 표시되도록 할 수 있다. 이하에서는, 도 5a 내지 도 5c를 참조하여 디스플레이부에 출력된 가상의 입력장치를 원하는 위치로 이동시키는 방법을 설명하기로 한다.
터치입력창의 요청이 수신되면, 상기 디스플레이부(151)의 일 영역에 소정의 투명도를 갖는 터치입력이 나타난다. 터치입력창은, 도 4d를 참조하여 위에서 설명한 바와 같이, 다른 위치로 이동하거나 또는 특정 위치에 고정시키기 위한 피닝(pinning) 기능을 포함하는 일 영역 또는 버튼이 구비될 수 있다(이하, '피닝 키'로 명명하기로 함).
제어부(180)는 상기 터치입력창에서 기설정된 영역, 즉 피닝 키에 인가된 터치가 드래그되는 것에 응답하여, 상기 드래그되는 터치방향을 따라 상기 터치입력창을 이동시킬 수 있다.
예를 들어, 도 5a에 도시된 바와 같이, 사용자의 손이 터치입력창(500)의 피닝 키(503)를 터치한 상태에서, 터치입력창(500)을 원하는 위치 및 방향으로 이동시킬 수 있다. 이때, 피닝 키(503)에는 터치를 나타내는 표시, 예를 들어 음영효과 또는 투명도 감소 효과가 출력된다.
한편, 터치입력창에 인가되는 터치도 디스플레이부(151)에서의 X, Y 좌표값에 근거하므로, 활성화된 터치입력창은 적어도 디스플레이부(151)내에 위치하여야한다. 이에, 터치입력창이 디스플레이부(151)내에 위치하도록 경계영역을 설정할 수 있다.
구체적으로, 상기 피닝 키에 인가된 터치가 드래그되는 터치방향을 따라 이동하는 터치입력창의 적어도 일부가 상기 디스플레이부(151)의 기설정된 경계영역을 벗어나는 것이 감지되면, 상기 제어부(180)는 상기 터치입력창이 상기 기설정된 경계영역을 기준으로 내부에 위치하도록 상기 디스플레이부(151)를 제어할 수 있다.
이때, 경계영역을 벗어난 터치입력창이 디스플레이부(151)의 기설정된 경계영역의 내부로 돌아올 때, 마치 스프링이 달린 것과 같은 애니메이션 효과가 적용될 수 있다. 즉, 상기 터치입력창에 가속도 및 역가속도의 물리적인 운동법칙이 적용되어, 터치입력창이 기설정된 경계영역을 벗어난 거리, 터치에 따라 경계영역에 부딪히는 힘과 속도에 비례하는 만큼 튕겨져 돌아올 수 있다. 또한, 이때, 터치입력창이 복수의 경계영역에 연속하여 부딪히는 경우이면, 터치입력창이 튕겨져 돌아오는 방향이 다르게 변경될 수 있다.
예를 들어, 도 5b를 참조하면, 사용자가 터치입력창(500)의 피닝 키(503)를 터치한 상태에서, 터치입력창(500)을 디스프레이부(151)의 경계영역(401a)으로 가져가면(a), 사용자의 손이 터치입력착(500)을 드래그한 방향 및 힘의 역가속도로, 터치입력창(500)이 튕겨져서 디스플레이부(151)의 내부로 돌아온다(b).
한편, 다른 예에서는, 도 5c에 도시된 바와 같이, 디스플레이부(151)에서 특정 영역(401b), 예를 들어 직접 터치입력에 의하여 사용자 인터페이스가 나타나는 영역, 에 대해서는 경계영역을 더 두껍게 설정할 수 있다. 또는, 다른 예에서는 해당 영역내에 터치입력창에 표시되더라도, 표시된 터치입력창에 대한 터치를 유효하지 않은 것으로 처리할 수도 있다.
이하에서는, 사용자의 편의에 따라, 상술한 터치입력창을 화면으로부터 해지하거나 또는 화면에 지속적으로 고정시키는 방법을 기술하기로 한다.
이와 관련하여, 도 6a 및 도 6b는 본 발명의 실시예에 따라, 디스플레이부(151)에 출력된 가상의 입력장치를 화면으로부터 해지 및 고정시키는 방법을 설명하기 위한 개념도들이다.
상술한 것들 중 어느 하나의 방식으로 터치입력창의 요청이 수신되면, 상기 디스플레이부(151)에는 소정의 투명도를 갖는 터치입력창(500)이 출력된다. 터치입력창(500)의 기설정된 영역에는 이동을 가능하게 하는 피닝 키가 포함된다.
한편, 이와 같이 터치입려창의 기설정된 영역에는, 사용자의 터치에 따라 선택적으로 활성화되는 제1 모드 및 제2 모드에 대응되는 표시가 출력된다. 여기서, 제1 모드와 제2 모드의 구별은 기설정된 영역에 대한 투명도 변경하거나 또는 음영 효과를 출력하여 이루어질 수 있다. 또한, 제1 모드는 일반모드이고 제2 모드는 고정모드일 수 있다. 예를 들어, 사용자가 터치입력창(500)의 기설정된 영역을 숏 터치하면, 제1 모드에서 제2 모드로 변경될 수 있다. 그리고, 제2 모드로 변경된 상태에서, 다시 터치입력창(500)의 기설정된 영역을 숏 터치하면, 제2 모드에서 다시 제1 모드로 복귀할 수 있다.
제1 모드에서는, 상기 제어부(180)는 상기 터치입력창을 벗어난 배경화면 영역에 기설정된 터치가 감지되는 것에 응답하여, 상기 터치입력창 및 상기 포인터를 상기 디스플레이부(151)로부터 사라지도록 제어할 수 있다.
사라진 터치입력창은 디스플레이부(151)의 일 영역에 출력된 터치입력창의 아이콘을 터치하면, 다시 화면에 출력될 수 있다.
이때, 상기 제어부(180)는 상기 터치입력창의 요청이 수신되면, 상기 터치입력창 및 상기 포인터가 상기 디스플레이부로부터 사리지기 이전에 출력되었던 위치를 기억하여 해당 위치에 각각 나타나도록 제어한다.
한편, 제2 모드에서는, 상기 제어부(180)는 상기 터치입력창을 벗어난 배경화면 영역에 기설정된 터치가 감지되는 경우라도 상기 터치입력창 및 상기 포인터의 표시가 유지된다.
예를 들어, 도 6a에 도시된 바와 같이, 터치입력창(500)의 피닝 키(503)가 일반모드인 상태에서, 사용자가 터치입력창을 벗어난 배경화면 영역(602)을 터치하면(a), 터치입력창(500)과 포인터(610)가 화면으로부터 사라진다(b). 그리고, 터치입력창의 아이콘(650)에는 터치입력창이 비활성화 상태임을 나타내는 표시가 출력된다(650"). 반면, 도 6b에 도시된 바와 같이, 터치입력창(500)의 피닝 키(503)가 고정모드인 상태에서는(고정모드에 대응되는 표시가 출력됨), 사용자가 터치입력창을 벗어난 배경화면 영역(602)을 터치하더라도(a), 터치입력창(500)과 포인터(610)가 화면으로부터 사라지지 않고 유지된다(b).
이하에서는, 상술한 터치입력창이 복수의 영역을 포함하는 경우, 각 영역에서의 터치에 따라 서로 다른 기능이 실행되는 예시를 설명하기로 한다. 여기서는 설명하기 위한 목적으로 상기 터치입력창이 마우스 입력장치로 기능하는 예를 설명하였으나, 터치입력창이 가상의 키보드, 조이스틱 등과 같은 다른 입력장치가 추가 또는 변환되는 경우에도 실제 입력장치와 같은 기능을 구현하기 위한 예들이 마찬가지로 적용될 수 있을 것이다.
도 7a 내지 도 7d는 본 발명의 실시예에 따라, 디스플레이부에 출력된 가상의 입력장치에서 서로 다른 기능을 실행하는 방법을 설명하기 위한 개념도들이다. 그리고, 도 8은 본 발명의 실시예에 따른 가상의 입력장치를 디스플레이부의 복수의 영역에 출력하는 방법을 설명하기 위한 개념도이다.
터치입력창의 요청이 수신되면, 영상표시장치(100)의 디스플레이부(151)에는 소정의 투명도를 갖는 터치입력창이 출력된다. 출력된 터치입력창은 적어도 서로 다른 기능을 실행할 수 있는 제1 및 제2 영역을 포함할 수 있다.
보다 구체적으로, 터치입력창에 인가되는 제1 터치입력의 시작점이 제1 영역에서 수행되는 경우이면, 상기 제어부(180)는, 포인터가 가리키는 객체에 대해 클릭 또는 더블 클릭 기능을 실행할 수 있다.
또한, 터치입력창에 인가되는 제1 터치입력의 시작점이 상기 제1 영역과 구별되는 제2 영역에서 수행되는 경우이면, 상기 제어부(180)는, 상기 포인터가 출력된 지점 또는 영역과 관련된 적어도 하나의 기능을 실행하기 위한 메뉴 항목을 출력한다. 여기서, 포인터가 출력된 지점 또는 영역과 관련된 기능은, 제2 영역에 터치가 시작되는 순간 포인터가 위치한 지점에 의하여 결정된다.
그리고, 상기 제어부(180)는 상기 제1 및 제2 영역 중에서 상기 제1 터치입력의 시작점이 인가된 영역에 다른 영역과 시각적으로 구별되는 표시를 출력할 수 있다.
도 7a를 참조하면, 사용자가 터치입력창(500)의 왼쪽 하단 영역(502)을 숏 터치하면(a), 포인터(710)가 포인팅한 객체(701a)에 대한 더블 클릭 기능이 실행된다(b). 즉, 터치입력창(500)의 왼쪽 하단 영역(502)을 터치하면, 마우스의 왼쪽 버튼(MLB)과 동일한 기능이 실행된다. 그에 따라, 팝업된 웹 페이지(701)가 종료되었다.
계속해서, 도 7b를 참조하면, 디스플레이부(151)에 웹 페이지(701)가 팝업된 상태에서, 사용자가 터치입력창(500)의 오른쪽 하단 영역(504)을 숏 터치하면(a), 포인터(710)가 가리키는 지점과 관련된 적어도 하나의 기능을 실행하기 위한 컨텍스트 메뉴(730)가 출력된다(b). 즉, 터치입력창(500)의 오른쪽 하단 영역(504)을 터치하면, 마우스의 오른쪽 버튼(MRB)과 동일한 기능이 실행된다. 사용자는 터치입력창의 상단 영역(501)에 드래그 터치입력을 수행하여 포인터(710)가 선택하고자하는 항목, 예를 들어 '인쇄'항목(730c)을 포인팅하도록 제어할 수 있다(c).
한편, 상기 제어부(180)는, 터치입력창이 복수의 영역을 포함하는 경우, 터치입력창에 인가되는 제1 터치입력의 시작점이 위치한 영역과 제1 터치입력의 종료점이 위치한 영역이 서로 다른 경우, 상기 제1 터치입력의 시작점이 위치한 영역에 대응되는 기능만 실행하도록 제어할 수 있다.
즉, 터치입력창에서 시작된 터치입력의 속성은, 이후 터치입력창을 벗어나더라도 터치입력이 해제되기까지는 그 속성을 유지한다. 이는, 터치입력창을 벗어난 영역에서 시작된 터치입력이 이후 터치입력창내로 진입하는 경우에도 마찬가지로 적용된다.
예를 들어, 도 7c 및 도 7d를 참조하면, 사용자의 터치가 터치입력창(500)의 왼쪽 하단 영역(502)에서 시작된 경우, 이후 해당 터치가 왼쪽 하단 영역(502)을 벗어나 오른쪽 하단 영역(504)으로 이동하거나(도 7c), 또는 터치입력창(500)을 아예 벗어나더라도(도 7d) 마우스의 왼쪽 버튼(MLB)을 푸쉬한 것과 동일한 기능이 적용 및 유지된다. 이는, 사용자의 터치가 터치입력창(500)의 상단 영역(501), 또는 오른쪽 하단 영역(504)을 터치한 경우에도 마찬가지로 적용된다.
한편, 상술한 터치입력창에 포함되는 복수의 영역은 사용자 입력에 따라 또는 기설정된 조건을 만족하는 경우에, 디스플레이부(151)의 각 영역에 분리되어 출력될 수 있다.
구체적으로, 상기 제어부(180)는, 제1 입력신호가 수신되면, 상기 디스플레이부(151)의 미리 설정된 위치에 상기 제1 및 제2 영역을 분리하여 표시할 수 있다. 그리고, 분리된 제1 및 제2 영역 중 적어도 하나에 드래그 터치입력이 감지되는 것에 응답하여, 상기 드래그 터치입력의 움직임을 따라 이동하는 포인터를 상기 디스플레이부의 일 영역에 출력할 수 있다. 여기서, 상기 제1 입력신호는 특정 하드 키, 또는 소프트 키를 푸쉬하거나 또는 기설정된 제스처 또는 음성명령이 있는 경우에 인식될 수 있다.
예를 들어, 도 8을 참조하면, 제1 입력신호가 감지되면, 터치입력창(500)의 복수의 영역이 사용자가 양 손 위치에 편리하도록 디스플레이부(151)의 하단 좌/우측에 위치하거나(도 8의 (a)), 또는 자주 사용하지 않는 기능에 대응되는 키 영역, 예를 들어 마우스 오른쪽 버튼(MRB) 기능에 대응되는 영역은 사용자의 손이 잘 닿지 않는 디스플레이부(151)의 상단 일 측에 위치하도록 제어할 수 있다(도 8의 (b)(c)).
이때, 도 8에 도시된 분리된 각 영역의 면적은 사용자 입력에 근거하여, 또는 기설정된 시간 동안 감지된 터치입력의 면적에 따라서 결정 또는 변경될 수 있다.
또한 다른 예로, 터치입력창이 가상의 키보드로 구현되는 경우, 가상의 키보드에 포함된 키들의 면적은, 각 키에 감지되는 터치입력의 면적 또는 각 키의 위치에 근거하여 결정된다. 예를 들어, 감지된 터치입력의 면적이 기준값 이하이면 기설정된 크기를 유지하고, 감지된 터치입력의 면적이 기준값을 초과하는 경우에는, 사용자가 터치입력을 정확하게 수행할 수 있도록 각 키의 면적을 기설정된 크기보다 크게 변경할 수 있다. 또한, 예를 들어, 사용자의 엄지 손가락에 의하여 주로 터치되는 위치에 표시된 키는 기준값보다 큰 면적으로 표시할 수 있다.
한편, 상기 제어부(180)는, 제2 입력신호가 감지되면, 분리된 복수의 영역, 즉 제1 및 제2 영역이 다시 터치입력창(500)내에 포함되도록 제어할 수 있다. 여기서, 제2 입력신호는 제1 입력신호를 입력받은 키 또는 영역을 한번 더 터치하여 생성되거나(토글 기능), 또는 기설정된 제스처 또는 음성명령이 있는 경우에 인식될 수 있다.
또한, 상기 제어부(180)는 사용자 설정에 기초하여, 상기 제1 및 제2 영역에서 실행되는 상기 제1 터치입력에 대응되는 기능을 전환하도록 제어할 수 있다. 이때, 제1 및 제2 영역은 하나의 터치입력창(500)내에 포함되어 있든지 또는 디스플레이부(151)의 각 영역에 분리되어 있든지에 관계없이 기능 전환될 수 있다. 또한, 상기 사용자 설정은 영상표시장치(100)의 OS(Operting System) 설정과 일치되도록 자동 설정될 수 있다.
즉, 예를 들어, 영상표시장치(100)의 OS(Operting System) 설정이 오른손잡이로 설정된 경우이면, 터치입력창(500)의 왼쪽 하단 영역은 마우스 왼쪽 버튼 기능을 그리고 오른쪽 하단 영역은 마우스 오른쪽 버튼 기능으로 자동 설정된다. 반면, 영상표시장치(100)의 OS(Operting System) 설정이 왼손잡이로 설정된 경우이면, 사용자가 별다른 조작을 수행하지 않더라도 터치입력창(500)의 왼쪽 하단 영역은 마우스 오른쪽 버튼 기능을 그리고 오른쪽 하단 영역은 마우스 왼쪽 버튼 기능으로 자동 설정될 수 있다. 그에 따라, 사용자 맞춤의 사용자 인터페이스 환경을 제공할 수 있다.
이하에서는, 영상표시장치(100)의 화면 표시 방향 또는 해상도 변화에 따라 디스플레이부(151)에 터치입력창을 출력하는 방법을 설명하기로 한다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 영상표시장치의 화면 방향 또는 해상도 변경에 따라 가상의 입력장치를 출력하는 방법을 설명하기 위한 개념도들이다.
본 발명의 실시예에 따른 영상표시장치(100)의 감지부(140)는 영상표시장치 본체의 기울기 및/또는 디스플레이부(151)의 화면을 기준으로 센싱되는 사용자의 얼굴방향을 감지할 수 있다. 상기 디스플레이부(151)는, 감지된 본체의 기울기 및/또는 사용자의 얼굴방향에 따라 결정된 방향으로 화면의 객체를 출력한다.
계속해서, 상기 제어부(180)는, 터치입력창(500)의 제1 및 제2 영역의 표시방향을 상기 결정된 방향과 일치되게 제어할 수 있다.
예를 들어, 도 9a의 (a)에 도시된 바와 같이, 영상표시장치(100)가 가로방향으로 기울어지면, 화면의 객체들(901)과 배경화면(902)과 일치되는 가로방향으로 터치입력창(500)의 표시방향이 결정된다. 반면, 도 9a의 (b)에 도시된 바와 같이, 영상표시장치(100)가 세로방향으로 기울어지면, 화면의 객체들(901")과 배경화면(902")과 일치되는 세로방향으로 터치입력창(500)의 표시방향이 결정된다.
또한, 상기 제어부(180) 디스플레이부(151)의 화면의 해상도가 변경되더라도 터치입력창의 해상도(또는 DPI 값)는 기설정된 값(예, 400dpi)을 유지하도록 제어할 수 있다.
예를 들어, 도 9b를 참조하면, OS의 해상도가 변경되어 디스플레이부(151)에 출력되는 객체들(920)과 배경화면이 가로로 퍼져보이는 반면(920"), 터치입력창(500)은 종전의 해상도값을 그대로 유지하기므로, 형상이 변경되지 않는다.
한편, 상술한 터치입력창의 크기는 사용자 입력에 따라 조절가능하다. 예를 들어, 터치입력창은 디스플레이부(151)의 크기와 동일한 크기로 표시될 수 있다. 이러한 경우에는, 터치입력창이 활성화되면, 객체에 대한 '직접 터치입력'은 비활성화된다.
이와 관련하여, 도 10은 본 발명의 실시예에 따라 가상의 입력장치의 크기를 조절하는 방법과, 크기 조절된 가상의 입력장치를 통해 입력을 수행하는 방법을 설명하기 위한 개념도이다.
터치입력창의 요청에 따라, 소정의 투명도를 갖는 터치입력창이 디스플레이부(151)의 일 영역에 출력된다.
상기 제어부(180)는, 사용자 입력에 근거하여, 상기 터치입력창의 크기를 변경시킬 수 있다. 여기서, 상기 사용자 입력은 터치입력창에 인가된 복수의 터치지점을 안에서 바깥쪽으로 드래그하거나(크기 확장), 또는 바깥에서 안쪽으로 드래그하는(크기 축소) 터치입력일 수 있다. 또는, 복수의 크기 레벨이 미리 설정되어, 입력 횟수에 비례하여 점차적으로 크기 레벨이 증가하거나 또는 감소되는 특정 키의 입력일 수 있다.
예를 들어, 도 10a에 도시된 바와 같이, 사용자가 터치입력창(500)에 복수의 터치를 인가한 상태에서, 인가된 복수의 터치지점을 바깥쪽으로 드래그함에 따라, 도 10b에 도시된 바와 같이, 터치입력창의 크기가 확장되었다(500"). 이때, 크기 확장된 터치입력창(500")도 투명하게 디스플레이되기 때문에 확장된 부분과 겹쳐지는 배경화면이나 객체들이 그대로 비쳐서 보여진다.
터치입력창의 최대 크기는, 위에서 설명한 바와 같이 디스플레이부(151)의 크기와 일치할 수 있다.
이와 같이, 터치입력창의 크기가 디스플레이부(151)의 크기와 일치하는 경우, 상기 제어부(180)는, 상기 디스플레이부(151)에 제3 터치입력이 감지되는 것에 응답하여 상기 제3 터치입력이 감지된 지점에 포인터가 출력시킬 수 있다.
여기서, 제3 터치입력은 상술한 제1 터치입력 또는 제2 터치입력과 구별되는 롱 터치입력일 수 있다. 터치입력창을 디스플레이부(151)의 전 영역으로 사용하는 경우, 포인터를 원하는 위치로 이동하기 위하여 복수의 터치입력을 반복하거나 또는 터치입력의 드래그를 길게 수행해야하는 불편이 있다. 즉, 간접 터치입력의 단점을 직접 터치입력으로 보완할 수 있도록, 제3 터치입력에 따라, 포인터가 원하는 위치 또는 그 근처로 바로 올 수 있도록 변경할 수 있다.
계속해서, 제3 터치입력이 감지된 위치에 포인터가 출력된 상태에서, 상기 디스플레이부(151)에 제1 터치입력이 감지되면, 상기 제어부(180)는 상기 제1 터치입력의 움직임을 따라 이동하는 포인터를 상기 디스플레이부의 일 영역에 출력시킬 수 있다. 즉, 제3 터치입력에 따라 포인터를 원하는 위치의 근처로 오도록 한 다음, 보다 정밀한 제어는 화면에 터치 및 드래그를 수행함으로써, 포인터를 원하는 위치에 정확하게 이동시킬 수 있다.
예를 들어, 도 10b에서 크기 확장된 터치입력창(500")에 복수의 터치를 인가하여 바깥쪽으로 더 드래그하면, 도 10c와 같이 전 영역이 터치입력창이 된다. 전 영역에 디스플레이된 터치입력창은 영역의 구별은 사라지고, 포인터(910)만 디스플레이된다. 터치입력창의 활성화 여부는 디스플레이부(151)의 하단 영역에 출력된 터치입력창 아이콘(1050)의 표시 상태로 알 수 있다. 이와 같이, 디스플레이부(151)의 전 영역이 터치입력창이 되면, 디스플레이부(151)의 전 영역은 마우스 패드와 동일한 기능을 수행할 수 있다. 또한, 비록 도시되지는 않았지만, 디스플레이부(151)의 일 영역에는 마우스 오른쪽 버튼 기능을 수행하기 위한 부분 영역이 표시될 수 있다.
이때, 포인터를 원하는 위치로 이동하기 위해 디스플레이부(151)에 복수의 터치입력을 반복하거나 터치입력의 드래그를 길게 수행해야하는 불편을 해결하기 위해, 도 10d에 도시된 바와 같이, 사용자가 포인터를 이동하고 싶은 지점(910b)에 롱 터치입력을 수행하면, 제1 아이콘(820a) 근처에 있던 포인터(910)가 도 10e와 같이 롱 터치입력이 감지된 제2 아이콘(920b)상에 출력된다(910"). 이와 같이, 포인터(910")가 제2 아이콘(920b)을 포인팅한 상태에서, 사용자가 배경화면의 일 영역(객체가 표시되지 않은 지점)에 더블 숏 터치입력을 수행하면, 도 10f에 도시된 바와 같이 제2 아이콘(920b)에 대응되는 갤러리 애플리케이션의 실행화면(903)이 디스플레이부(151)에 출력된다.
한편, 디스플레이부(151)의 전 영역에 출력된 터치입력창을 원래 크기로 변경하려면, 터치입력창 아이콘 또는 특정 키를 터치하여 터치입력창이 사라지도록 한 다음, 다시 터치입력창을 요청하는 신호를 인가하면 기설정된 크기의 터치입력창이 디스플레이부(151)의 이전 위치에 출력된다.
이와 같이, 본 발명의 실시예에 따라 화면에 표시되는 가상의 터치입력창을 사용자가 원하는 위치에 그리고 원하는 크기로 입력장치가 표시될 수 있도록 구현함으로써, 화면에 대한 입력 및 출력의 제한을 최소화하고, 사용자의 손이나 스타일러스 펜에 의하여 포인팅할 객체가 가려지는 불편을 최소화할 수 있다.
이하에서는, 디스플레이부(151)에 투명하게 표시되는 터치입력창의 속성에 따라, 직접 터치입력에 대응되는 기능과 간접 터치입력에 대응되는 기능이 터치입력창을 통과하는 경우에도 연속되는 예시들을 설명하기로 한다.
도 11a 내지 도 11c는 본 발명의 실시예에 따라, 직접 터치입력과 포인터에 의한 간접 터치입력을 터치입력창에 관계없이 유지하는 방법과, 가상의 입력장치에 사용자에게 편리한 인터페이스 환경을 추가하는 방법을 설명하기 위한 개념도이다.
터치입력창의 요청에 따라, 소정의 투명도를 갖는 터치입력창이 디스플레이부(151)에 출력된 경우에도, 상기 제어부(180)는, 출력된 터치입력창이 출력된 영역에서 시작된 제1 터치가 상기 터치입력창이 출력된 영역을 벗어나는 경우에도 상기 제1 터치를 따라 이동하는 포인터의 표시 상태를 유지하도록 제어한다. 즉, 제1 터치가 종료되기까지는 터치입력창에 의하여 간접 터치입력이 방해되지 않는다.
또한, 상기 제어부(180)는, 출력된 터치입력창을 벗어난 영역에 표시된 객체에 인가된 제2 터치가 상기 터치입력창이 출력된 영역으로 진입하는 경우에도 상기 제2 터치를 따라 이동하는 객체의 표시 상태를 유지하도록 제어한다. 이때, 제2 터치가 터치입력창을 통과하는 경우이면, 제2 터치를 따라 이동하는 객체 또한 터치입력창을 통과하는 것으로 표시된다. 즉, 제2 터치가 종료되기까지는 터치입력창에 의해 입력 및 출력이 제한되지 않는다.
예를 들어, 도 11a를 참조하면, 도 11a의 (a)에서 화면에 터치입력창(500)이 출력된 상태에서, 사용자가 특정 아이콘(1120)에 직접 터치입력을 수행한 다음, 터치입력창(500)이 표시된 영역으로 드래그함에 따라, 도 11a의 (b)에 도시된 것처럼, 터치입력창(500)내에 상기 아이콘(1120)이 표시된다. 이때, 사용자가 아이콘(1120)에 인가한 터치를 유지한 상태로 계속 드래그를 수행함에 따라, 도 11a의 (c)와 같이 상기 아이콘(1120)이 터치입력창(500)을 통과하여 터치가 종료된 지점에 위치하게 된다. 즉, 직접 터치입력이 유지되는 동안에는 터치입력창의 영향을 받지 않도록 함으로써, 투명하게 디스플레이되는 터치입력창의 속성과 직접 터치입력을 수행하고자 하는 사용자의 의도가 충분히 반영된다.
또한, 계속해서, 도 11b를 참조하면, 도 11b의 (a)에서 터치입력창(500)에 인가된 터치가 터치입력창이 표시된 영역을 벗어나도록 드래그되는 경우에도, 드래그된 길이와 동일하게 또는 그에 비례하는 길이만큼 포인터(1110)가 이동하여 표시된다. 즉, 포인터에 의한 간접 터치입력이 터치입력창을 벗어나는 경우에도 계속 유지된다. 다만, 일단 터치입력창(500)을 벗어난 터치입력이 종료된 후에는, 다시 터치입력창내에서 터치가 수행되어야 포인터에 의한 간접 터치입력으로 인식됨은 물론이다.
한편, 사용자가 터치입력창이 출력된 영역을 보다 명확히 인식하기 위해, 즉, 입력장치로서의 표시를 보다 명확히 알기 위해, 기설정된 투명도를 조절하거나 또는 다른 객체들이 비쳐지지 않도록 블로킹(blocking)시켜야할 경우가 있다.
이를 위해, 상기 제어부(180)는, 출력된 터치입력창의 기설정된 영역에 터치입력이 인가되는 것에 응답하여, 상기 터치입력창의 투명도를 조절하기 위한 인디케이터 아이콘을 출력할 수 있다. 그러면, 상기 제어부(180)는 이와 같은 인디케이터 아이콘의 조작에 따라, 상기 터치입력창의 투명도를 조절할 수 있다.
예를 들어, 도 11c의 (a)에서, 사용자가 터치입력창(500)의 상단 영역을 롱 터치하면, 도 11c의 (b)와 같이, 터치입력창(500)의 상단 영역에 투명도 조절을 위한 인디케이터 아이콘(508)이 표시된다. 사용자가 인디케이터 아이콘(508)에 포함된 이동표시자를 일 방향으로 드래그함에 따라, 도 11c의 (c)와 같이 터치입력창(500)의 투명도가 감소된다(또는 증가된다). 그에 따라, 터치입력창(500)의 후면에 보이는 배경화면 또는 객체들이 보이지 않게 된다(또는 더욱 뚜렷하게 보여지게 된다).
한편, 현재 포인터가 위치가 지점에 출력되는 실행화면의 종류에 따라, 상기 터치입력창내에 사용자에게 편리한 인터페이스가 더 추가될 수 있다.
예를 들어, 상기 제어부(180)는, 출력된 터치입력창에 기설정된 터치가 인가되는 것에 응답하여, 상기 디스플레이부(151)에 출력된 화면과 관련된 적어도 하나의 제어 키를 터치입력창내에 출력시킬 수 있다.
도 10b에서, 포인터(1110)가 위치한 지점에 웹 페이지 화면(1103)이 출력되는 경우, 사용자가 터치입력창의 일 영역, 예를 들어 우측 경계영역을 롱 터치하면, 웹 페이지 화면(1103)을 스크롤하기 위한 스크롤 바(507)가 출력된다. 이때, 스크롤 바(507)가 출력된 영역에 대한 터치는 직접 터치입력으로 인식된다. 이에 의하면, 사용자가 포인터에 의한 간접 터치입력과 웹 페이지 화면(1103)의 스크롤 기능을 자주 번갈아가면서 수행해야할 때, 사용자의 손 또는 스타일러스 펜을 터치입력창내에서만 움직이면 되므로, 사용자에게 편리한 인터페이스 환경이 제공된다.
한편, 특정 애플리케이션에 따라서는 사용자의 직접 터치입력만 수행되는 것이 바람직한 경우가 있다. 이하에서는, 도 12를 참조하여, 특정 애플리케이션에 따라 가상의 입력장치를 비활성화시키는 방법을 설명하기로 한다.
터치입력창의 요청되면, 소정의 투명도를 갖는 터치입력창이 디스플레이부(151)에 출력된다.
이와 같이, 터치입력창이 출력된 상태에서 기설정된 제1 애플리케이션의 실행에 대응되는 윈도우 화면이 팝업되면, 상기 제어부(180)는 상기 터치입력창에서 상기 팝업된 윈도우 화면과 겹쳐지는 영역에 대한 터치입력을 비활성화시킬 수 있다. 또는 상기 제어부(180)는 출력된 터치입력창이 화면으로부터 사라지도록 제어할 수 있다.
이를 위해, 상기 제어부(180)는, 기설정된 우선순위에 근거하여, 상기 터치입력창의 표시 여부와 상기 터치입력창에서 상기 윈도우 화면과 겹쳐지는 영역에 대한 터치입력의 활성화 여부를 결정할 수 있다. 예를 들어, 터치입력창보다 우선순위가 높은 기설정된 애플리케이션, 기설정된 영역, 또는 기설정된 객체의 경우 터치입력창과 겹쳐진 부분에 대한 터치입력은 유효하지 않은 것으로 처리될 수 있다. 또는 가장 우선순위가 높게 설정된 애플리케이션, 영역, 또는 객체의 경우, 출력된 터치입력창이 화면으로부터 사라지거나 또는 터치입력창의 요청신호를 무시할 수 있다.
예를 들어, 도 12의 (a)를 참조하면, 디스플레이부(151)의 우측 경계영역에 터치입력창(500)이 출력된 상태에서, 사용자가 상기 우측 경계영역을 화면 중앙 방향으로 플리킹 터치하면, 해당 영역에 복수의 기설정된 아이콘들을 포함하는, 메뉴 영역(1240)이 표시된다. 이때, 메뉴 영역(1240)과 겹쳐지는 터치입력창(500)의 일부 영역은 도 12의 (b)와 같이 사라지거나 또는 터치입력이 유효하지 않도록 처리된다. 그러나, 메뉴 영역(1240)과 겹쳐지지 않는 터치입력창(500)의 일부 영역에서의 터치입력은 여전히 유효한 간접 터치입력으로 처리된다. 한편, 메뉴 영역(1240)에서 특정 아이콘(1241)이 선택되고 해당 아이콘(1241)에 대응되는 애플리케이션이 직접 터치입력만 수행하도록 설정된 경우이면, 도 12의 (c)에 도시된 바와 같이, 출력된 터치입력창(500)이 화면으로부터 사라지게 된다.
이상에서 설명한 바와 같이, 본 발명의 실시예에 따른 영상표시장치 및 그것의 제어방법에 의하면, 영상표시장치와 관련된 입력장치가 다른 객체를 가리지 않고 화면에 출력되도록 구현함으로써, 입력장치에 의한 물리적인 공간의 제한을 극복할 수 있다. 또한, 사용자가 원하는 위치에 그리고 원하는 크기로 입력장치가 표시될 수 있도록 구현함으로써, 화면에 대한 입력 및 출력의 제한을 최소화하고, 사용자 손이나 스타일러스 펜에 의하여 포인팅할 객체가 가려지는 불편이 없게 된다. 또한, 화면에 표시된 작은 객체의 제어는 포인터에 의한 입력을 통해 수행하고 다른 객체의 제어는 다이렉트 터치입력을 수행할 수 있도록 함으로써, 제어하고자 하는 객체의 크기에 따라 사용자가 보다 적합한 인터페이스 환경을 선택할 수 있는 편의를 제공한다.
나아가, 본 명세서에 개시된 일 실시 예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 나아가, 상기와 같이 설명된 영상표시장치 및 그것의 제어방법은 상기 설명된 실시 예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시 예들은 다양한 변형이 이루어질 수 있도록 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

Claims (20)

  1. 터치입력이 가능하도록 이루어진 디스플레이부;
    상기 디스플레이부에 인가되는 터치입력을 감지하는 감지부; 및
    터치입력창의 요청이 수신되면, 상기 디스플레이부에 출력되는 객체의 표시상태를 유지하면서 소정의 투명도를 갖는 터치입력창이 나타나도록 상기 디스플레이부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 터치입력창이 출력된 영역에 제1 터치입력이 인가되는 것에 응답하여, 상기 제1 터치입력의 움직임에 비례하여 이동하는 포인터를 상기 디스플레이부에 출력하고, 상기 포인터로 상기 디스플레이부에 출력된 특정 객체를 포인팅하여 대응되는 제어명령을 실행하고,
    상기 터치입력창을 벗어난 영역에 표시된 객체에 제2 터치입력이 감지되면, 상기 포인터를 사라지게 하고, 상기 객체에 상기 제2 터치입력에 대응되는 기능이 적용되는 것을 특징으로 하는 영상표시장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 터치입력창에서 기설정된 영역에 인가된 터치가 드래그되는 것에 응답하여, 상기 드래그되는 터치방향을 따라 상기 터치입력창이 이동하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상표시장치.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 드래그되는 터치방향을 따라 이동하는 터치입력창의 적어도 일부가 상기 디스플레이부의 기설정된 경계영역을 벗어나는 것이 감지되면,
    상기 터치입력창이 상기 기설정된 경계영역을 기준으로 내부에 위치하도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상표시장치.
  4. 제2항에 있어서,
    상기 기설정된 영역에는, 터치에 따라 선택적으로 활성화되는 제1 모드 및 제2 모드에 대응되는 표시가 출력되고,
    상기 제어부는,
    상기 제1 모드에서는, 상기 터치입력창을 벗어난 배경화면 영역에 기설정된 터치가 감지되는 경우 상기 터치입력창 및 상기 포인터를 상기 디스플레이부로부터 사라지도록 제어하고,
    상기 제2 모드에서는, 상기 터치입력창을 벗어난 배경화면 영역에 기설정된 터치가 감지되는 경우 상기 터치입력창 및 상기 포인터의 표시를 유지하도록 제어하는 것을 특징으로 하는 영상표시장치.
  5. 제4항에 있어서,
    상기 제어부는,
    상기 터치입력창의 요청이 수신되면, 상기 터치입력창 및 상기 포인터가 상기 디스플레이부로부터 사리지기 이전에 출력되었던 위치에 각각 나타나도록 제어하는 것을 특징으로 하는 영상표시장치.
  6. 제1항에 있어서,
    상기 터치입력창은 적어도 제1 및 제2 영역을 포함하고,
    상기 제어부는,
    상기 제1 터치입력의 시작점이 상기 제1 영역에서 수행되는 경우, 상기 포인터가 가리키는 객체에 대해 더블 클릭 기능을 실행하고,
    상기 제1 터치입력의 시작점이 상기 제2 영역에서 수행되는 경우, 상기 포인터가 출력된 영역과 관련된 적어도 하나의 기능을 실행하기 위한 메뉴 항목을 출력하는 것을 특징으로 하는 영상표시장치.
  7. 제6항에 있어서,
    상기 제어부는,
    상기 제1 및 제2 영역 중 상기 제1 터치입력의 시작점이 인가된 영역에 다른 영역과 시각적으로 구별되는 표시를 출력하는 것을 특징으로 하는 영상표시장치.
  8. 제6항에 있어서,
    상기 제어부는,
    상기 제1 터치입력의 시작점이 위치하는 영역과 상기 제1 터치입력의 종료점이 위치하는 영역이 서로 다른 경우, 상기 제1 터치입력의 시작점이 위치한 영역에 대응되는 기능만 실행하도록 제어하는 것을 특징으로 하는 영상표시장치.
  9. 제6항에 있어서,
    상기 제어부는,
    제1 입력신호가 수신되면, 상기 디스플레이부의 미리 설정된 위치에 상기 제1 및 제2 영역을 분리하여 표시하고, 상기 제1 및 제2 영역 중 적어도 하나에 드래그 터치입력이 감지되는 것에 응답하여, 상기 드래그 터치입력의 움직임을 따라 이동하는 포인터가 상기 디스플레이부의 일 영역에 출력되도록 제어하고,
    제2 입력신호가 수신되면, 하나의 터치입력창내에 상기 제1 및 제2 영역이 포함되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상표시장치.
  10. 제6항에 있어서,
    상기 제어부는,
    사용자 설정에 기초하여, 상기 제1 및 제2 영역에서 실행되는 상기 제1 터치입력에 대응되는 기능을 전환하도록 제어하는 것을 특징으로 하는 영상표시장치.
  11. 제6항에 있어서,
    상기 디스플레이부는, 감지된 본체의 기울기에 따라 결정된 방향으로 상기 객체를 출력하고,
    상기 제어부는, 상기 제1 및 제2 영역의 표시방향이 상기 결정된 방향과 일치되도록 제어하는 것을 특징으로 하는 영상표시장치.
  12. 제1항에 있어서,
    상기 제어부는,
    사용자 입력에 근거하여, 상기 터치입력창의 크기가 변경되도록 상기 디스플레이부를 제어하는 것을 특징으로 하는 영상표시장치.
  13. 제12항에 있어서,
    상기 제어부는,
    상기 터치입력창의 크기가 상기 디스플레이부의 크기와 일치하는 경우,
    상기 디스플레이부에 제3 터치입력이 감지되는 것에 응답하여 상기 제3 터치입력이 감지된 지점에 상기 포인터가 출력되도록 상기 디스플레이부를 제어하고,
    상기 디스플레이부에 상기 제1 터치입력이 감지되는 것에 응답하여 상기 제1 터치입력의 움직임을 따라 이동하는 포인터를 상기 디스플레이부의 일 영역에 출력시키는 것을 특징으로 하는 영상표시장치.
  14. 제1항에 있어서,
    상기 제어부는,
    상기 터치입력창이 출력된 영역에서 시작된 제1 터치가 상기 터치입력창이 출력된 영역을 벗어나는 경우에도 상기 제1 터치를 따라 이동하는 포인터의 표시 상태를 유지하고,
    상기 터치입력창을 벗어난 영역에 표시된 객체에 인가된 제2 터치가 상기 터치입력창이 출력된 영역으로 진입하는 경우에도 상기 제2 터치를 따라 이동하는 객체의 표시 상태를 유지하도록 제어하는 것을 특징으로 하는 영상표시장치.
  15. 제1항에 있어서,
    상기 제어부는,
    상기 터치입력창의 기설정된 영역에 터치입력이 인가되는 것에 응답하여, 상기 터치입력창의 투명도를 조절하기 위한 인디케이터 아이콘을 출력하고,
    상기 인디케이터 아이콘의 조작에 따라, 상기 터치입력창의 투명도를 조절하는 것을 특징으로 하는 영상표시장치.
  16. 제1항에 있어서,
    상기 제어부는,
    상기 터치입력창에 기설정된 터치가 인가되는 것에 응답하여, 상기 디스플레이부에 출력되는 화면과 관련된 적어도 하나의 제어 키가 상기 터치입력창내에 출력되도록 제어하는 것을 특징으로 하는 영상표시장치.
  17. 제1항에 있어서,
    상기 제어부는,
    상기 터치입력창이 출력된 상태에서 제1 애플리케이션의 실행에 대응되는 윈도우 화면이 팝업되는 경우, 상기 터치입력창에서 상기 팝업된 윈도우 화면과 겹쳐지는 영역에 대한 터치입력을 비활성화시키는 것을 특징으로 하는 영상표시장치.
  18. 제17항에 있어서,
    상기 제어부는,
    기설정된 우선순위에 근거하여, 상기 터치입력창의 표시 여부와 상기 터치입력창에서 상기 윈도우 화면과 겹쳐지는 영역에 대한 터치입력의 활성화 여부를 결정하는 것을 특징으로 하는 영상표시장치.
  19. 제1항에 있어서,
    상기 제어부는,
    상기 터치입력창이 출력된 영역에 상기 제1 터치입력이 감지되는 것에 응답하여, 상기 제1 터치입력에 대응되는 소리, 진동, 및 하이라이팅 효과 중 적어도 하나를 출력하도록 제어하는 것을 특징으로 하는 영상표시장치.
  20. 터치입력창의 요청을 수신하는 단계;
    상기 수신된 요청에 응답하여, 디스플레이부에 출력되는 객체의 표시상태를 유지하면서 소정의 투명도를 갖는 터치입력창을 화면에 출력하는 단계;
    상기 터치입력창이 출력된 영역에 제1 터치입력이 감지되면, 상기 제1 터치입력의 움직임에 비례하여 이동하는 포인터를 상기 디스플레이부의 일 영역에 출력하고, 상기 포인터로 특정 객체를 포인팅하여 대응되는 제어명령을 실행하도록 제어하는 단계; 및
    상기 터치입력창을 벗어난 영역에 표시된 객체에 제2터치입력이 감지되면, 상기 포인터를 사라지게 하고, 상기 객체에 상기 제2 터치입력에 대응되는 기능을 적용하는 단계를 포함하는 영상표시장치의 제어방법.
KR1020130149431A 2013-01-07 2013-12-03 영상표시장치 및 그것의 제어방법 KR102291879B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14000016.7A EP2752758A3 (en) 2013-01-07 2014-01-03 Image display device and controlling method thereof
US14/148,583 US9367234B2 (en) 2013-01-07 2014-01-06 Image display device and controlling method thereof
CN201410006935.0A CN103914222B (zh) 2013-01-07 2014-01-07 图像显示装置及其控制方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361749696P 2013-01-07 2013-01-07
US61/749,696 2013-01-07

Publications (2)

Publication Number Publication Date
KR20140090074A true KR20140090074A (ko) 2014-07-16
KR102291879B1 KR102291879B1 (ko) 2021-08-20

Family

ID=51737920

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130149431A KR102291879B1 (ko) 2013-01-07 2013-12-03 영상표시장치 및 그것의 제어방법

Country Status (1)

Country Link
KR (1) KR102291879B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170106827A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20170122056A (ko) * 2016-04-26 2017-11-03 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
WO2019151570A1 (ko) * 2018-02-05 2019-08-08 엘지전자 주식회사 디스플레이 장치

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230102557A (ko) * 2021-12-30 2023-07-07 주식회사 브이터치 사용자 입력을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
WO2024063368A1 (ko) * 2022-09-22 2024-03-28 삼성전자주식회사 터치 입력을 제어하기 위한 전자 장치 및 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5786805A (en) * 1996-12-27 1998-07-28 Barry; Edwin Franklin Method and apparatus for improving object selection on a computer display by providing cursor control with a sticky property
JP2009070370A (ja) * 2007-07-26 2009-04-02 Konami Digital Entertainment:Kk 仮想マウス装置、及び遊技機
JP2009119931A (ja) * 2007-11-12 2009-06-04 Denso Corp 車両用操作入力装置
KR20100080303A (ko) * 2008-12-29 2010-07-08 황재엽 터치스크린용 가상마우스 구현방법
KR20120139535A (ko) * 2011-06-17 2012-12-27 주식회사 잉카인터넷 마우스커서 표시 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5786805A (en) * 1996-12-27 1998-07-28 Barry; Edwin Franklin Method and apparatus for improving object selection on a computer display by providing cursor control with a sticky property
JP2009070370A (ja) * 2007-07-26 2009-04-02 Konami Digital Entertainment:Kk 仮想マウス装置、及び遊技機
JP2009119931A (ja) * 2007-11-12 2009-06-04 Denso Corp 車両用操作入力装置
KR20100080303A (ko) * 2008-12-29 2010-07-08 황재엽 터치스크린용 가상마우스 구현방법
KR20120139535A (ko) * 2011-06-17 2012-12-27 주식회사 잉카인터넷 마우스커서 표시 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170106827A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20170122056A (ko) * 2016-04-26 2017-11-03 삼성전자주식회사 전자 장치 및 전자 장치의 디스플레이를 이용한 적응적 터치 입력 방법
WO2019151570A1 (ko) * 2018-02-05 2019-08-08 엘지전자 주식회사 디스플레이 장치
US11789547B2 (en) 2018-02-05 2023-10-17 Lg Electronics Inc. Display apparatus

Also Published As

Publication number Publication date
KR102291879B1 (ko) 2021-08-20

Similar Documents

Publication Publication Date Title
US9367234B2 (en) Image display device and controlling method thereof
KR102223277B1 (ko) 이동 단말기 및 그것의 제어방법
US10409472B2 (en) Mobile terminal and method for controlling the same
KR101841121B1 (ko) 이동 단말기 및 이동 단말기의 제어방법
EP2979365B1 (en) Mobile terminal and method of controlling the same
US10101844B2 (en) Mobile terminal and method of controlling the same based on type of touch object used to apply touch input
KR101748668B1 (ko) 이동 단말기 및 그의 입체영상 제어방법
KR101366861B1 (ko) 이동 단말기 및 이의 제어방법
US20150042588A1 (en) Terminal and method for controlling the same
US9459785B2 (en) Electronic device and contents generation method thereof
KR20120060358A (ko) 이동 단말기 및 그 제어방법
KR20120106284A (ko) 이동 단말기 및 그 제어방법
KR20120079271A (ko) 이동 단말기 및 그 제어방법
KR20120122639A (ko) 이동 단말기 및 이동 단말기의 제어 방법
KR20170114435A (ko) 이동 단말기 및 그 제어방법
KR101873746B1 (ko) 이동 단말기 및 그 제어방법
KR102291879B1 (ko) 영상표시장치 및 그것의 제어방법
KR102157143B1 (ko) 이동 단말기 및 그것의 제어 방법
US8941648B2 (en) Mobile terminal and control method thereof
KR20120025107A (ko) 이동 단말기 및 이동 단말기에서의 터치 가이드 표시 방법
KR101833826B1 (ko) 이동 단말기 및 그 제어방법
KR101894581B1 (ko) 이동 단말기 및 이동 단말기의 제어 방법
KR101537594B1 (ko) 단말기 및 그 제어 방법
KR20130047247A (ko) 영상 표시 방법 및 영상 표시 장치
KR102068799B1 (ko) 이동 단말기 및 이의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)