KR101498623B1 - 휴대 단말기 및 그 제어방법 - Google Patents

휴대 단말기 및 그 제어방법 Download PDF

Info

Publication number
KR101498623B1
KR101498623B1 KR1020080060360A KR20080060360A KR101498623B1 KR 101498623 B1 KR101498623 B1 KR 101498623B1 KR 1020080060360 A KR1020080060360 A KR 1020080060360A KR 20080060360 A KR20080060360 A KR 20080060360A KR 101498623 B1 KR101498623 B1 KR 101498623B1
Authority
KR
South Korea
Prior art keywords
touch
tactile effect
touch input
pattern
detected
Prior art date
Application number
KR1020080060360A
Other languages
English (en)
Other versions
KR20100000744A (ko
Inventor
조선휘
김종환
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020080060360A priority Critical patent/KR101498623B1/ko
Priority to US12/485,877 priority patent/US9086755B2/en
Publication of KR20100000744A publication Critical patent/KR20100000744A/ko
Application granted granted Critical
Publication of KR101498623B1 publication Critical patent/KR101498623B1/ko
Priority to US14/738,416 priority patent/US10048756B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Abstract

본 발명은 발생하는 촉각효과의 세기, 패턴, 주파수 등을 이미지로 표시하여 다양한 동작 제어가 가능한 휴대 단말기 및 그 제어방법에 관한 것이다. 이에 따라, 사용자는 발생하는 촉각효과를 촉각에 의하지 않고도 시각에 의해서도 파악할 수 있다. 또한, 물체가 휴대 단말기로 근접할 때 발생하는 촉각효과를 이미지로 표현할 수 있다. 물체가 근접한 거리 등에 대응하여 이미지가 변하게 되므로 사용자는 이미지를 통해 근접물체의 상태를 알 수 있다.
휴대 단말기, 근접센서, 햅틱모듈

Description

휴대 단말기 및 그 제어방법{Mobile Terminal Capable of Previewing Different Channel}
본 발명은 휴대 단말기 및 그 제어방법에 관한 것으로, 더욱 상세하게는 발생하는 촉각효과의 세기, 패턴, 주파수 등을 이미지로 표시하여 다양한 동작 제어가 가능한 휴대 단말기 및 그 제어방법에 관한 것이다.
휴대 단말기는 휴대가 가능하면서 음성 및 영상 통화를 수행할 수 있는 기능, 정보를 입·출력할 수 있는 기능, 및 데이터를 저장할 수 있는 기능 등을 하나 이상 갖춘 휴대용 기기이다. 이러한 휴대 단말기는 그 기능이 다양화됨에 따라, 사진이나 동영상의 촬영, 음악 파일이나 동영상 파일의 재생, 게임, 방송의 수신, 무선 인터넷 등과 같은 복잡한 기능들을 갖추게 되었으며, 종합적인 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
이러한 멀티미디어 기기의 형태로 구현된 휴대 단말기에는, 복잡한 기능을 구현하기 위해 하드웨어나 소프트웨어적 측면에서 새로운 시도들이 다양하게 적용되고 있다. 일 예로 사용자가 쉽고 편리하게 기능을 검색하거나 선택하기 위한 유저 인터페이스(User Interface) 환경 등이 있다. 또한, 휴대 단말기는 사용자의 개성을 표현하기 위한 개인 휴대품으로 여겨지면서, 양면에서 보이는 양면 LCD(Liquid Crystal Display)나, 전면 터치스크린(touch screen) 등 다양한 형태의 디자인 변화도 요구되고 있다.
그런데, 휴대 단말기는 이동성이나 휴대성 등을 고려해야 하므로, 디스플레이(display)나 키패드(keypad) 등과 같은 사용자 인터페이스를 위한 공간 할당에 제약이 존재한다. 따라서, 휴대 단말기에서 제공되는 다양한 기능을 효율적으로 사용하기 위해서는 복잡한 구조의 메뉴를 순차적으로 선택하는 방식 대신 새로운 입출력 방식을 통해 휴대 단말기의 동작을 제어할 필요가 있다.
따라서, 본 발명의 목적은, 촉각효과를 발생하는 햅틱모듈과, 발생하는 촉각효과의 세기, 패턴, 주파수 등을 이미지로 표시하는 디스플레이부를 이용하여 다양한 동작 제어가 가능한 휴대 단말기 및 그 제어방법을 제공함에 있다.
또한, 본 발명의 목적은, 근접물체를 검출할 수 있는 근접센서와, 근접물체의 근접거리 등을 이미지로 표시하는 디스플레이부를 이용하여 다양한 동작 제어가 가능한 휴대 단말기 및 그 제어방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일예에 따른 휴대 단말기의 제어방법은, 촉각효과를 발생(generate)하는 햅틱모듈을 구비하는 휴대 단말기의 제어방법에 있어서, 상기 햅틱모듈을 동작시키는 햅틱신호의 생성(formation)여부를 감 지(sense)하는 단계; 및 감지한 햅틱신호에 따라 발생하는 촉각효과의 '패턴, 발생장소, 이동방향, 이동속도' 중 적어도 하나에 대응하도록 디스플레이 영역에 표시된 화면의 '선명도, 색상, 모양, 이동방향, 이동속도' 중 적어도 하나를 변화(change)하는 단계를 포함한다.
또한, 상기 목적을 달성하기 위한 본 발명의 일예에 따른 휴대 단말기는, 촉각효과를 발생하는 햅틱모듈; 화면을 표시하는 디스플레이 영역; 및 상기 햅틱모듈을 동작시키는 햅틱신호의 생성(formation)여부를 감지(sense)하고, 감지한 햅틱신호에 따라 발생하는 촉각효과의 '패턴, 발생장소, 이동방향, 이동속도' 중 적어도 하나에 대응하도록 상기 디스플레이 영역에 표시된 화면의 '선명도, 색상, 모양, 이동방향, 이동속도' 중 적어도 하나를 변화(change)하는 제어부를 포함한다.
그리고, 상기 목적을 달성하기 위하여 본 발명에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 프로세서가 읽을 수 있는 기록매체를 제공한다.
본 발명에 따르면, 햅틱신호에 의하여 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도를 이미지로 표현할 수 있다. 이에 따라, 사용자는 발생하는 촉각효과를 촉각에 의하지 않고도 시각에 의해서도 파악할 수 있다. 또한, 물체가 휴대 단말기로 근접할 때 발생하는 촉각효과를 이미지로 표현할 수 있다. 물체가 근접한 거리 등에 대응하여 이미지가 변하게 되므로 사용자는 이미지를 통해 근접물체의 상태를 알 수 있다. 휴대 단말기가 매너모드에 있어 촉각효과가 발생하지 않아도 사용자는 이미지를 통해 촉각효과를 파악할 수 있다. 따라서, 사용자는 이미지를 이용하여 편리하게 휴대 단말기의 상태를 파악하고 동작을 제어할 수 있다.
본 명세서에서 기술되는 휴대 단말기에는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등이 포함된다.
도 1은 본 발명의 일실시예에 따른 휴대 단말기의 블럭 구성도(block diagram)이다. 도 1을 참조하여 본 발명의 일실시예에 따른 휴대 단말기를 기능에 따른 구성요소 관점에서 살펴보겠다.
도 1을 참조하면, 본 휴대 단말기(100)는, 무선 통신부(110), A/V(Audio/Video) 입력부(120), 사용자 입력부(130), 센싱부(140), 출력부(150), 메모리(160), 인터페이스부(170), 제어부(180), 및 전원 공급부(190)를 포함할 수 있다. 이와 같은 구성요소들은 실제 응용에서 구현될 때 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다.
무선 통신부(110)는 방송수신 모듈(111), 이동통신 모듈(113), 무선 인터넷 모듈(115), 근거리 통신 모듈(117), 및 GPS 모듈(119) 등을 포함할 수 있다.
방송수신 모듈(111)은 방송 채널을 통하여 외부의 방송관리 서버로부터 방송 신호 및 방송관련 정보 중 적어도 하나를 수신한다. 이때, 방송 채널은 위성 채널, 지상파 채널 등을 포함할 수 있다. 방송관리 서버는, 방송 신호 및 방송 관련 정보 중 적어도 하나를 생성하여 송신하는 서버나, 기 생성된 방송 신호 및 방송관련 정보 중 적어도 하나를 제공받아 단말기에 송신하는 서버를 의미할 수 있다.
방송관련 정보는, 방송 채널, 방송 프로그램 또는 방송 서비스 제공자에 관련한 정보를 의미할 수 있다. 방송 신호는, TV 방송 신호, 라디오 방송 신호, 데이터 방송 신호를 포함할 뿐만 아니라, TV 방송 신호 또는 라디오 방송 신호에 데이터 방송 신호가 결합한 형태의 방송 신호도 포함할 수 있다. 방송관련 정보는, 이동통신망을 통하여도 제공될 수 있으며, 이 경우에는 이동통신 모듈(113)에 의해 수신될 수 있다. 방송관련 정보는 다양한 형태로 존재할 수 있다. 예를 들어, DMB(Digital Multimedia Broadcasting)의 EPG(Electronic Program Guide) 또는 DVB-H(Digital Video Broadcast-Handheld)의 ESG(Electronic Service Guide) 등의 형태로 존재할 수 있다.
방송수신 모듈(111)은, 각종 방송 시스템을 이용하여 방송 신호를 수신하는데, 특히, DMB-T(Digital Multimedia Broadcasting-Terrestrial), DMB-S(Digital Multimedia Broadcasting-Satellite), MediaFLO(Media Forward Link Only), DVB-H(Digital Video Broadcast-Handheld), ISDB-T(Integrated Services Digital Broadcast-Terrestrial) 등의 디지털 방송 시스템을 이용하여 디지털 방송 신호를 수신할 수 있다. 또한, 방송수신 모듈(111)은, 이와 같은 디지털 방송 시스템뿐만 아니라 방송 신호를 제공하는 모든 방송 시스템에 적합하도록 구성될 수 있다. 방송수신 모듈(111)을 통해 수신된 방송 신호 및/또는 방송 관련 정보는 메모리(160)에 저장될 수 있다.
이동통신 모듈(113)은, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호, 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈(115)은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 무선 인터넷 모듈(115)은 휴대 단말기(100)에 내장되거나 외장될 수 있다. 근거리 통신 모듈(117)은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다. GPS(Global Position System) 모듈(119)은 복수 개의 GPS 인공위성으로부터 위치 정보를 수신한다.
A/V(Audio/Video) 입력부(120)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(121)와 마이크(123) 등이 포함될 수 있다. 카메라(121)는 화상 통화모드 또는 촬영 모드에서 이미지 센서에 의해 얻어지는 정지영상 또는 동영상 등의 화상 프레임을 처리한다. 그리고, 처리된 화상 프레임은 디스플레이부(151)에 표시될 수 있다.
카메라(121)에서 처리된 화상 프레임은 메모리(160)에 저장되거나 무선 통신부(110)를 통하여 외부로 전송될 수 있다. 카메라(121)는 단말기의 구성 태양에 따라 2개 이상이 구비될 수도 있다.
마이크(123)는 통화모드 또는 녹음모드, 음성인식 모드 등에서 마이크로 폰(Microphone)에 의해 외부의 음향 신호를 입력받아 전기적인 음성 데이터로 처리한다. 그리고, 처리된 음성 데이터는 통화 모드인 경우 이동통신 모듈(113)를 통하여 이동통신 기지국으로 송신 가능한 형태로 변환되어 출력될 수 있다. 마이크 (123)는 외부의 음향 신호를 입력받는 과정에서 발생하는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘이 사용될 수 있다.
사용자 입력부(130)는 사용자가 단말기의 동작 제어를 위하여 입력하는 키 입력 데이터를 발생시킨다. 사용자 입력부(130)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 핑거 마우스 등으로 구성될 수 있다. 특히, 터치 패드가 후술하는 디스플레이부(151)와 상호 레이어 구조를 이룰 경우, 이를 터치 스크린(touch screen)이라 부를 수 있다.
센싱부(140)는 휴대 단말기(100)의 개폐 상태, 휴대 단말기(100)의 위치, 사용자 접촉 유무 등과 같이 휴대 단말기(100)의 현 상태를 감지하여 휴대 단말기(100)의 동작을 제어하기 위한 센싱 신호를 발생시킨다. 예를 들어 휴대 단말기(100)가 슬라이드 폰 형태인 경우 슬라이드 폰의 개폐 여부를 센싱할 수 있다. 또한, 전원 공급부(190)의 전원 공급 여부, 인터페이스부(170)의 외부 기기 결합 여부 등과 관련된 센싱 기능을 담당할 수 있다.
센싱부(140)는 근접센서(Proximity Sensor)(141)를 포함할 수 있다. 근접센서(141)는 접근하는 물체나, 근방에 존재하는 물체의 유무 등을 기계적 접촉이 없이 검출할 수 있도록 한다. 근접센서(141)는, 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 근접물체를 검출할 수 있다. 근접센서(141)는 구성 태양에 따라 2개 이상이 구비될 수 있다.
출력부(150)는 오디오 신호 또는 비디오 신호 또는 알람(alarm) 신호의 출력을 위한 것으로, 이에는 디스플레이부(151)와 음향출력 모듈(153), 알람부(155), 햅틱모듈(157) 등이 포함될 수 있다.
디스플레이부(151)는 휴대 단말기(100)에서 처리되는 정보를 표시 출력한다. 예를 들어 휴대 단말기(100)가 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시한다. 그리고 휴대 단말기(100)가 화상 통화 모드 또는 촬영 모드인 경우, 촬영되거나 수신된 영상을 각각 혹은 동시에 표시할 수 있으며, UI, GUI를 표시한다.
한편, 전술한 바와 같이, 디스플레이부(151)와 터치패드가 상호 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(151)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 만일, 디스플레이부(151)가 터치스크린으로 구성되는 경우, 터치 스크린 패널, 터치 스크린 패널 제어기 등을 포함할 수 있다. 이 경우, 터치 스크린 패널은 외부에 부착되는 투명한 패널로서, 휴대 단말기(100)의 내부 버스에 연결될 수 있다. 터치 스크린 패널은 접촉 결과를 주시하고 있다가, 터치입력이 있는 경우 대응하는 신호들을 터치 스크린 패널 제어기로 보낸다. 터치 스크린 패널 제어기는 그 신호들을 처리한 다음 대응하는 데이터를 제어부(180)로 전송하여, 제어부(180)가 터치입력이 있었는지 여부와 터치스크린의 어느 영역이 터치 되었는지 여부를 알 수 있도록 한다.
또한, 디스플레이부(151)는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수도 있다. 그리고, 휴대 단말기(100)의 구현 형태에 따라 디스플레이부(151)가 2개 이상 존재할 수도 있다. 예를 들어, 휴대 단말기(100)에 외부 디스플레이부(미도시)와 내부 디스플레이부(미도시)가 동시에 구비될 수 있다.
음향출력 모듈(153)은 호신호 수신, 통화모드 또는 녹음 모드, 음성인식 모드, 방송수신 모드 등에서 무선 통신부(110)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향출력 모듈(153)은 휴대 단말기(100)에서 수행되는 기능, 예를 들어, 호신호 수신음, 메시지 수신음 등과 관련된 음향 신호를 출력한다. 이러한 음향출력 모듈(153)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.
알람부(155)는 휴대 단말기(100)의 이벤트 발생을 알리기 위한 신호를 출력한다. 휴대 단말기(100)에서 발생하는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력 등이 있다. 알람부(155)는 오디오 신호나 비디오 신호 이외에 다른 형태로 이벤트 발생을 알리기 위한 신호를 출력한다. 예를 들면, 촉각효과 형태로 신호를 출력할 수 있다. 알람부(155)는 호 신호가 수신되거나 메시지가 수신된 경우, 이를 알리기 위한 신호를 출력할 수 있다. 또한, 알람부(155)는 키 신호가 입력된 경우, 키 신호 입력에 대한 피드백으로 신호를 출력할 수 있다. 이러한 알람부(155)가 출력하는 신호를 통해 사용자는 이벤트 발생을 인지할 수 있다. 물론 이벤트 발생 알림을 위한 신호는 디스플레이부(151)나 음향출력 모듈(153)를 통해서도 출력될 수 있다.
햅틱모듈(haptic module)(157)은 사용자가 느낄 수 있는 다양한 촉각효과를 발생시킨다. 햅틱모듈(157)이 발생시키는 촉각 효과의 대표적인 예로는 진동효과가 있다. 햅틱모듈(157)이 촉각효과로 진동을 발생시키는 경우, 햅택모듈(157)이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.
햅틱모듈(157)은 진동 외에도, 접촉 피부면에 대해 수직 운동하는 핀 배열에 의한 자극에 의한 효과, 분사구나 흡입구를 통한 공기의 분사력이나 흡입력을 통한 자극에 의한 효과, 피부 표면을 스치는 자극에 의한 효과, 전극(eletrode)의 접촉을 통한 자극에 의한 효과, 정전기력을 이용한 자극에 의한 효과, 흡열이나 발열이 가능한 소자를 이용한 냉온감 재현에 의한 효과 등 다양한 촉각 효과를 발생시킬 수 있다. 햅틱모듈(157)은 직접적인 접촉을 통해 촉각효과의 전달할 수 있을 뿐만 아니라, 사용자의 손가락이나 팔 등의 근감각을 통해 촉각 효과를 느낄 수 있도록 구현할 수도 있다. 햅틱모듈(157)은 휴대 단말기(100)의 구성 태양에 따라 2개 이상이 구비될 수 있다.
메모리(160)는 제어부(180)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입력되거나 출력되는 데이터들(예를 들어, 폰북, 메시지, 정지영상, 동영상 등)의 임시 저장을 위한 기능을 수행할 수도 있다.
메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타 입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 휴대 단말기(100)는 인터넷(internet) 상에서 메모리(150)의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영할 수도 있다.
인터페이스부(170)는 휴대 단말기(100)에 연결되는 모든 외부기기와의 인터페이스 역할을 수행한다. 휴대 단말기(100)에 연결되는 외부기기의 예로는, 유/무선 헤드셋, 외부 충전기, 유/무선 데이터 포트, 메모리 카드(Memory card), SIM/UIM card 등과 같은 카드 소켓, 오디오 I/O(Input/Output) 단자, 비디오 I/O(Input/Output) 단자, 이어폰 등이 있다. 인터페이스부(170)는 이러한 외부 기기로부터 데이터를 전송받거나 전원을 공급받아 휴대 단말기(100) 내부의 각 구성 요소에 전달할 수 있고, 휴대 단말기(100) 내부의 데이터가 외부 기기로 전송되도록 할 수 있다.
제어부(180)는 통상적으로 상기 각부의 동작을 제어하여 휴대 단말기(100)의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 화상 통화 등을 위한 관련된 제어 및 처리를 수행한다. 또한, 제어부(180)는 멀티 미디어 재생을 위한 멀티미디어 재생 모듈(181)을 구비할 수도 있다. 멀티미디어 재생 모듈(181)은 제어부(180) 내에 하드웨어로 구성될 수도 있고, 제어부(180)와 별도로 소프트웨어로 구성될 수도 있다.
그리고, 전원 공급부(190)는 제어부(180)의 제어에 의해 외부의 전원, 내부 의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급한다.
이상 본 발명과 관련된 휴대 단말기를 기능에 따른 구성요소 관점에서 살펴보았다. 이하에서는 도 2 및 도 3을 참조하여, 본 발명과 관련된 휴대 단말기를 외형에 따른 구성요소 관점에서 더욱 살펴보기로 한다. 이하에서는 설명의 편의상, 폴더 타입, 바 타입, 스윙타입, 슬라이더 타입 등과 같은 여러 타입의 휴대 단말기들 중에서 전면 터치스크린이 구비되어 있는, 바 타입 휴대 단말기를 예로 들어 설명한다. 그러나, 본 발명은 바 타입의 휴대 단말기에 한정되는 것은 아니고 전술한 타입을 포함한 모든 타입의 휴대 단말기에 적용될 수 있다.
도 2는 본 발명의 일실시예에 따른 휴대 단말기를 전면에서 바라본 사시도이다. 도 2를 참조하면, 본 휴대 단말기(100)의 외관을 이루는 케이스는, 프론트 케이스(100A-1)와 리어 케이스(100A-2)에 의해 형성된다. 프론트 케이스(100A-1)와 리어 케이스(100A-2)에 의해 형성된 공간에는 각종 전자부품들이 내장된다. 프론트 케이스(100A-1)와 리어 케이스(100A-2) 사이에는 적어도 하나의 중간 케이스들이 추가로 배치될 수도 있다. 이와 같은 케이스들은 합성수지를 사출하여 형성되거나, 금속 재질, 예를 들어 스테인레스 스틸(STS) 또는 티타늄(Ti) 등과 같은 금속 재질을 갖도록 형성될 수도 있다.
본체, 구체적으로 제1 프론트 케이스(100A-1)에는 디스플레이부(151), 제 1 음향출력모듈(153a), 제1 카메라(121a), 제1 사용자 입력부(130a)가 배치될 수 있다. 그리고, 리어 케이스(100A-2)의 측면에서는 제2 사용자 입력부(130b), 제3 사용자 입력부(130), 및 마이크(123)가 배치될 수 있다.
디스플레이부(151)는 정보를 시각적으로 표현하는 LCD(liquid crystal display), OLED(Organic Light Emitting Diodes) 등을 포함한다. 디스플레이부(151)에는 터치패드가 레이어 구조로 중첩됨으로써, 디스플레이부(151)가 터치 스크린으로 동작하여, 사용자의 터치에 의한 정보의 입력이 가능하도록 구성할 수도 있다.
제1 음향출력 모듈(153a)은 리시버 또는 스피커의 형태로 구현될 수 있다. 제1 카메라(121a)는 사용자 등에 대한 이미지 또는 동영상을 촬영하기에 적절하도록 구현될 수 있다. 그리고, 마이크(123)는 사용자의 음성, 기타 소리 등을 입력받기에 적절한 형태로 구현될 수 있다.
제1 내지 제3 사용자 입력부(130a, 130b, 130c)는 사용자 입력부(130)라 통칭할 수 있으며, 사용자가 촉각적인 느낌을 주면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다.
예를 들어, 사용자 입력부(130)는 사용자의 푸시 또는 터치 조작에 의해 명령 또는 정보를 입력받을 수 있는 돔 스위치 또는 터치 패드로 구현되거나, 키를 회전시키는 휠 또는 조그 방식이나 조이스틱과 같이 조작하는 방식 등으로도 구현될 수 있다. 기능적인 면에서, 제1 사용자 입력부(130a)는 시작, 종료, 통화 등과 같은 명령을 입력하기 위한 것이고, 제2 사용자 입력부(130b)는 동작 모드의 선택 등을 입력하기 위한 것이다. 또한, 제3 사용자 입력부(130c)는 휴대 단말기(100) 내의 특수한 기능을 활성화하기 위한 핫 키(hot-key)로서 작동할 수 있다.
도 3는 도 2에 도시한 휴대 단말기의 후면 사시도이다. 도 3를 참조하면, 리어케이스(100A-2)의 측면에서는 제4 사용자 입력부(130d), 제5 사용자 입력부(130d), 및 인터페이스부(170)가 배치될 수 있으며, 리어 케이스(100A-2)의 후면에는 제2 카메라(121b)가 추가로 장착될 수 있다.
제2 카메라(121b)는 제1 카메라(121a)와 실질적으로 반대되는 촬영 방향을 가지며, 제1 카메라(121a)와 서로 다른 화소를 가질 수 있다. 예를 들어, 제1 카메라(121a)는 화상 통화 등의 경우에 사용자의 얼굴을 촬영하여 상대방에 전송함에 무리가 없도록 저화소를 가지며, 제2 카메라(121b)는 일반적인 피사체를 촬영하고 바로 전송하지는 않는 경우가 많으므로 고 화소를 가지는 것이 바람직하다.
제2 카메라(121b)에 인접하게는 거울(125)과 플래쉬(126)가 추가로 배치될 수 있다. 거울(125)은 사용자가 제2 카메라(121b)를 이용하여 자신을 촬영(셀프 촬영)하고자 하는 경우에, 사용자 자신의 얼굴 등을 비춰볼 수 있게 한다. 플래쉬(126)는 제2 카메라(121b)로 피사체를 촬영하는 경우에 상기 피사체를 향해 빛을 비추게 된다.
리어 케이스(100A-2)에는 제2 음향출력 모듈(미도시)이 추가로 배치될 수도 있다. 제2 음향출력 모듈은 제1 음향출력 모듈(153a)와 함께 스테레오 기능을 구현할 수 있으며, 스피커폰 모드로 통화를 위하여 사용될 수도 있다.
또한, 제2 리어 케이스(100A-2)의 일 측에는 통화 등을 위한 안테나 외에 방송신호 수신용 안테나(미도시)가 배치될 수 있다. 안테나는 리어 케이스(100A-2)에서 인출 가능하게 설치될 수 있다.
인터페이스부(170)는 휴대 단말기(100)가 외부 기기와 데이터 교환 등을 할 수 있게 하는 통로가 된다. 예를 들어, 인터페이스부(170)는 유선 또는 무선으로, 이어폰과 연결하기 위한 접속단자, 근거리 통신을 위한 포트, 또는 휴대 단말기(100)에 전원을 공급하기 위한 전원공급 단자들 중 적어도 하나일 수 있다. 인터페이스부(170)는 SIM(subscriber identification module) 또는 UIM(user identity module), 정보 저장을 위한 메모리 카드 등의 외장형 카드를 수용하는 카드 소켓일 수도 있다.
그리고, 리어 케이스(100A-2) 측에는 휴대 단말기에 전원을 공급하기 위한 전원공급부(190)가 장착된다. 전원공급부(190)는, 예를 들어 충전 가능한 배터리로서, 충전 등을 위하여 리어 케이스(100A-2)에 착탈 가능하게 결합될 수 있다.
이상에서는 제2 카메라(121b) 등이 리어 케이스(100A-2)에 배치되는 것으로 설명하였으나, 반드시 이에 제한되는 것은 아니다. 또한, 제2 카메라(12b)가 별도로 구비되지 않더라도, 제1 카메라(121a)를 회전 가능하게 형성되어 제2 카메라(121b)의 촬영 방향까지 촬영 가능하게 구성될 수도 있다.
도 4는 본 발명의 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도이다. 도 4를 참조하면, 휴대 단말기로 전화가 걸려오거나, 메시지가 수신되거나, 구비된 터치스크린이 조작되는 등의 이벤트가 발생하면, 제어부(180)는 햅틱모듈(157)로 전송할 햅틱신호가 생성되는지 확인한다(S10). 햅틱신호에 따라 햅틱모듈(157)이 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 등이 결정된다.
그리고, 제어부(180)는 햅틱신호가 생성되었으면, 생성된 햅틱신호에 의하여 햅틱모듈(157)이 발생할 촉각효과의 패턴, 이동방향, 이동속도 등을 이미지로 시각화한다(S15). 제어부(180)는 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 등에 대응하도록 디스플레이 영역에 표시된 화면을 변화한다. 일예로, 제어부(180)는 디스플레이 영역에 표시된 선명도, 색상, 모양, 이동방향, 이동속도 중 적어도 하나가 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 등에 대응하도록 화면을 변화한다.
또한, 제어부(180)는 촉각효과를 시각화한 이미지를 디스플레이 영역에 표시할 수 있다. 이미지는 상기 발생할 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 등에 대응하여 선명도, 색상, 모양, 표시장소, 이동방향, 이동속도 등이 변한다. 이미지는 휴대 단말기의 배터리 잔량이나 현재 시각 등을 나타내는 인디케이터 아이콘, 대응하는 메뉴를 실행할 수 있는 메뉴아이콘, 휴대 단말기에서 발생하는 촉각효과가 이동하는 방향을 따라 이동하는 움직이는 아이콘 등이다.
제어부(180)가 촉각효과에 대응하는 이미지를 디스플레이 영역에 표시할 경우(S20), 디스플레이부(151)에 표시되는 디스플레이 영역 중 촉각효과가 발생하는 영역 혹은 그 주변영역에 표시할 수 있다. 제어부(180)는 이미지를 디스플레이부(151)에 표시하면서 생성한 햅틱신호를 햅틱모듈(157)로 전송한다. 햅틱모듈(157)은 전송한 햅틱신호에 따라 촉각효과를 발생한다. 사용자는 햅틱모듈(157)에서 발생하는 촉각효과를 촉각으로 확인하면서, 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 등을 디스플레이 영역에 표시된 이미지를 통해 시각으로 확인한다. 휴대 단말기가 매너 모드로 진입하여 촉각효과가 발생하지 않는 경우에도, 사용자는 발생했을 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 등을 이미지를 통해 시각으로 확인한다.
제어부(180)는 햅틱신호가 변했는지 확인한다(S25). 햅틱신호가 변하면 햅틱신호에 의하여 햅틱모듈(157)에서 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 변한다. 제어부(180)는 휴대 단말기에서 다른 이벤트가 발생할 경우 다른 햅틱신호를 생성한다. 이 경우, 제어부(180)는 햅틱신호가 변한 것으로 확인한다. 제어부(180)는 휴대 단말기로 사용자 명령이 입력되는 이벤트가 발생하는 경우, 입력되는 사용자 명령에 대응하는 햅틱신호를 생성할 수 있다.
만일, 햅틱신호가 종료된 경우(S30), 제어부(180)는 촉각효과를 시각화한 이미지를 디스플레이 영역에서 삭제한다(S35). 사용자는 햅틱모듈(157)에서 촉각효과 발생이 종료된 것을 촉각에 의하여 확인하고, 촉각효과를 시각화한 이미지가 디스플레이 영역에서 삭제된 것을 보게 됨으로서 촉각효과 종료를 시각에 의하여 확인한다.
만일, 햅틱신호가 종료된 것이 아니라면(S30), 제어부(180)는 변한 햅틱신호에 의하여 발생하는 촉각효과를 이미지로 시각화하여 디스플레이 영역에 표시한다(S15, S20). 햅틱신호가 변하면 햅틱모듈(157)에 의하여 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 변한다. 앞서 디스플레이 영역에 표시한 촉각효과 시각화 이미지는 선명도, 색상, 모양, 표시장소, 이동방 향, 이동속도 중 적어도 하나가 변한 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나에 대응하도록 변한다.
즉, 제어부(180)는 다른 햅틱신호에 의하여 발생하는 촉각효과에 대응하도록 디스플레이 영역에 표시한 촉각효과 시각화 이미지를 달리한다.
이와 같은 과정에 의해, 사용자는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도를 시각을 통해 확인할 수 있다.
도 5는 본 발명의 휴대 단말기의 제어방법 중 햅틱신호를 생성하는 방법에 대한 설명에 제공되는 흐름도이다. 본 실시예에서 디스플레이 영역이 구비된 디스플레이부(151)는 터치스크린이다. 제어부(180)는 터치스크린이 터치된 경우 햅틱모듈(157)에서 촉각효과가 발생하도록 햅틱신호를 생성한다. 사용자는 발생하는 촉각효과를 통해 터치스크린이 터치된 것을 촉각을 통해 확인할 수 있다.
제어부(180)는 터치된 영역, 시간, 압력 등의 터치패턴에 대응하는 햅틱신호를 생성한다. 햅틱모듈(157)은 터치된 영역, 시간, 압력 등의 터치패턴에 대응하여 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 변하는 촉각효과를 발생한다. 사용자는 발생한 촉각효과의 패턴, 발생장소, 이동방향, 이동속도를 촉각을 통해 확인할 수 있다. 햅틱신호가 대응하는 터치패턴은 설정에 따라 변경 가능하며 본 발명의 권리범위를 제한하지 아니한다.
또한, 제어부(180)는 햅틱신호에 의하여 발생한 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나에 선명도, 색상, 모양, 표시장소, 이동방향, 이동속도 중 적어도 하나가 대응하도록 촉각효과를 시각화한 이미지를 터치스 크린에 표시한다. 따라서, 사용자는 터치스크린으로 어떤 터치가 입력되었는지 시각을 통해 확인할 수 있다.
제어부(180)는 터치스크린이 터치된 것을 감지하면(S50), 터치된 영역이 변화되었는지 감지한다(S55). 터치된 영역의 변화는 터치스크린에 표시한 아이콘을 드래그하는 경우 등에 발생한다. 제어부(180)는 터치된 영역의 변화방향이나 변화속도에 대응하는 촉각효과를 발생시키는 햅틱신호를 생성한다(S60). 햅틱모듈(157)은 햅틱신호에 의하여 터치된 영역의 변화방향 또는 변화속도에 패턴, 발생장소, 이동방향, 이동속도 중 하나가 대응하는 촉각효과를 발생한다. 또한, 제어부(180)는 생성한 햅틱신호가 발생하는 촉각효과에 선명도, 색상, 모양, 표시장소, 이동방향, 이동속도 중 적어도 하나가 대응하는 이미지를 터치스크린에 표시하거나, 터치스크린에 표시된 화면을 변화한다. 따라서 사용자는 촉각 또는 시각에 의하여 터치스크린으로 어떤 패턴의 터치가 입력되었는지 확인할 수 있다.
제어부(180)는 터치된 영역이 변화하지 않은 경우에, 터치가 소정영역에서 소정시간 이상 지속되었는지 확인한다(S65). 터치가 소정시간 이상 지속되는 경우는, 터치스크린에 표시한 볼률 조절용 아이콘, 재생속도 조절용 아이콘 등을 소정 시간 이상 지속된 경우이다.
제어부(180)는 터치가 지속된 시간이나 압력에 대응하는 햅틱신호를 생성하여 햅틱모듈(157)로 전송한다(S70). 햅틱모듈(157)은 햅틱신호에 의하여 터치가 지속된 시간이나 압력에 패턴, 발생장소, 이동방향, 이동속도 중 하나가 대응하는 촉각효과를 발생한다. 또한, 제어부(180)는 생성한 햅틱신호가 발생하는 촉각효과 에 선명도, 색상, 모양, 표시장소, 이동방향, 이동속도 중 하나가 대응하는 이미지를 터치스크린에 표시하거나, 터치스크린에 표시된 화면을 변화한다. 따라서, 터치 지속시간이나 압력에 대응한 촉각효과가 햅틱모듈(157)에서 발생하고, 이미지가 디스플레이 영역에 표시된다.
제어부(180)는 터치된 영역이 변화하거나, 터치가 소정시간 이상 지속된 것이 아닌 경우에, 디스플레이 영역 중 적어도 2개의 영역이 멀티터치 되는지 확인한다(S75). 멀티터치는, 디스플레이 영역에 표시한 키보드 중 'Shift' 키와, '알파벳' 키가 동시에 터치된 경우 등에 발생한다.
제어부(180)는 멀티터치된 영역들의 개수 또는 거리에 대응한 촉각효과를 발생시키는 햅틱신호를 생성한다(S80). 햅틱모듈(157)은 햅틱신호에 의하여 멀티터치된 영역들의 개수나 거리에 패턴, 발생장소, 이동방향, 이동속도 중 하나가 대응하는 촉각효과를 발생한다. 또한, 제어부(180)는 생성한 햅틱신호가 발생하는 촉각효과에 선명도, 색상, 모양, 표시장소, 이동방향, 이동속도 중 하나가 대응하는 이미지를 터치스크린에 표시하거나, 터치스크린에 표시된 화면을 변화한다. 따라서, 멀티터치된 영역의 개수 또는 거리에 대응한 촉각효과가 햅틱모듈(157)에서 발생하고, 사용자는 촉각 또는 시각을 통해 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 등을 확인할 수 있다.
터치된 영역이 변화하거나, 터치가 소정시간 이상 지속되거나, 멀티터치되지 않아도, 제어부(180)는 터치패턴에 따라 휴대 단말기로 입력된 명령을 감지한다. 제어부(180)는 입력된 명령에 대응하는 촉각효과를 발생하는 햅틱신호를 생성한 다(S85). 햅틱모듈(157)은 햅틱신호에 따라 촉각효과를 발생한다. 제어부(180)는 햅틱신호가 발생하는 촉각효과에 대응하는 이미지를 터치스크린에 표시하거나, 터치스크린에 표시된 화면을 변화한다.
다음의 도 6 내지 도 27은 본 발명에 따른 휴대 단말기의 제어방법을 디스플레이부에 표시되는 화면과 함께 설명하기 위해 참조되는 도면이다.
본 실시예에서 예로 들고 있는 촉각효과의 패턴이나, 발생장소, 이동방향, 이동속도 또는 터치패턴은 본 발명의 권리범위를 한정하지 아니한다. 본 실시예에서 예로 들고 있는 화면의 선명도, 색상, 모양, 표시장소, 이동방향, 이동속도 등의 변화는 본 발명의 권리범위를 한정하지 아니한다.
제어부(180)는 휴대 단말기로 전화가 걸려오거나 메시지가 수신되거나, 알람이 울리는 등의 이벤트가 발생하는 촉각효과를 발생시키는 햅틱신호를 생성한다. 제어부(180)는 휴대 단말기가 매너 모드가 아닌 경우, 생성한 햅틱신호를 햅틱모듈(157)로 전송한다. 햅틱모듈(157)은 햅틱신호에 따라 소정의 패턴, 발생장소, 이동방향, 이동속도를 가지는 촉각효과를 발생한다.
도 6 내지 27은 제어부(180)가 생성한 햅틱신호에 의해 발생하는 촉각효과를 시각화한 이미지를 디스플레이부의 디스플레이 영역(151a)에 표시한 예 또는 발생하는 촉각효과에 대응하도록 디스플레이 영역(151a)에 표시한 화면을 변화하는 예를 도시한다.
도 6에서와 같이 휴대 단말기로 전화가 걸려오면 촉각효과가 발생한다. 제 어부(180)는 촉각효과의 패턴 중 세기에 대응하도록 길이 또는 내부 색상이 변하는 바(bar) 모양의 이미지(201)를 디스플레이 영역(151a)에 표시한다. 본 실시예는 세기에 대응하여 바 이미지(201)의 길이 또는 내부 색상이 변하는 예를 도시한다. 그러나 촉각효과의 패턴 중 주파수 또는 발생장소, 이동방향, 이동속도 중 하나에 대응하도록 제어부(180)는 바(bar) 모양의 이미지(201)의 길이 또는 내부 색상을 달리할 수 있다.
제어부(180)는 (a)에서와 같이 세기가 약한 촉각효과를 발생하는 햅틱신호를 감지한 경우, 바 이미지(201) 내부 중 '201a' 영역만 진한 색상으로 표시한다. 제어부(180)는 (b)에서와 같이 세기가 강한 촉각효과를 발생하는 햅틱신호를 감지한 경우, 바 이미지(201) 내부 중 '201b' 영역만 진한 색상으로 표시한다.
즉, 제어부(180)는 바 이미지(201)의 내부 색상을 촉각효과의 세기에 대응하도록 변화한다. 사용자는 바 이미지(201)의 내부 색상을 시각적으로 확인함으로서 발생하는 촉각효과의 세기를 알 수 있다. 제어부(180)는 바 이미지(201)의 내부 색상 외에도 길이를 촉각효과의 세기에 대응하도록 표시할 수 있다.
도 7은 제어부(180) 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나에 대응하도록 반지름 또는 내부 색상이 변하는 원 모양의 이미지(202)를 디스플레이 영역에 표시한 예이다. 본 실시예에서 제어부(180)는 원 이미지(202)의 반지름이 촉각효과의 세기에 대응되도록 디스플레이 영역에 표시한다. 또한, 제어부(180)는 원 이미지(202)의 색상도 촉각효과의 세기에 대응하도록 디스플레이 영역에 표시한다.
사용자는 촉각효과의 세기가 약한 경우(도 7의 (a)) 디스플레이 영역(151a)에 표시된 원 아이콘(202)과, 촉각효과의 세기가 강한 경우(도 7의 (b)) 디스플레이 영역(151a)에 표시된 원 이미지(202)의 반지름과 색상을 시각적으로 확인할 수 있다. 제어부(180)는 촉각효과의 세기가 클수록 디스플레이 영역(151a)에 표시하는 원 이미지의 반지름이 커지거나 또는 색상이 진해지도록 한다. 따라서, 사용자는 발생하는 촉각효과의 세기를 촉각 외에도 시각을 통해 확인할 수 있다.
도 8은 제어부(180)가 촉각효과를 시각화한 이미지의 선명도를 촉각효과의 패턴 중 세기에 대응하도록 표시한 예이다.
(a)에서와 같이 촉각효과의 세기가 약할 경우, 제어부(180)는 디스플레이 영역(151a)에 표시된 바 이미지(201)의 선명도가 약해지도록 한다. (b)에서와 같이 촉각효과의 세기가 강할 경우, 제어부(180)는 디스플레이 영역에 표시된 바 이미지(201)의 선명도가 강해지도록 한다.
사용자는 제어부(180)가 디스플레이 영역에 표시한 촉각효과를 시각화한 이미지의 선명도를 통해 시각적으로 촉각효과의 세기를 확인할 수 있다. 제어부(180)는 설정에 따라 이미지의 선명도가 촉각효과의 패턴 중 주파수 등에 대응하도록 변화하여 표시할 수 있다.
도 9는 제어부(180)가 촉각효과를 시각화한 이미지의 색상을 촉각효과의 패턴에 대응하도록 표시한 예이다.
(a)에서와 같이 촉각효과의 패턴이 A인 경우, 제어부(180)는 촉각효과를 시각화한 바 아이콘(201)의 색상이 Yellow가 되도록 디스플레이 영역(151a)에 표시한 다. (b)에서와 같이 촉각효과의 패턴이 B인 경우, 제어부(180)는 촉각효과를 시각화한 바 이미지(201)의 색상이 Orange가 되도록 디스플레이 영역에 표시한다.
사용자는 제어부(180)가 디스플레이 영역에 표시한 촉각효과를 시각화한 이미지의 색상을 통해 시각적으로 촉각효과의 패턴을 확인할 수 있다. 제어부(180)는 설정에 따라 이미지의 색상이 촉각효과의 패턴 중에서도 세기, 주파수에 대응하도록 표시할 수 있다.
촉각효과의 패턴이란 시간에 따라 변하는 촉각효과의 세기를 의미한다. 만일 촉각효과의 세기가 주기적으로 변하면, 촉각효과 패턴은 주파수를 가진다. 그러나, 촉각효과의 세기가 주기적으로 변하지 않을 경우, 촉각효과 패턴은 시간에 따라 변하는 촉각효과의 세기의 모양을 나타낸다.
도 10은 제어부(180)가 촉각효과를 시각화한 이미지의 모양을 촉각효과의 패턴 중 주파수에 대응하도록 표시한 예이다.
(a)에서와 같이 촉각효과의 주파수가 Low인 경우, 제어부(180)는 촉각효과를 시각화한 이미지(203)를 디스플레이 영역(151a)에 표시한다. (b)에서와 같이 촉각효과의 주파수가 High로 높아진 경우, 제어부(180)는 촉각효과를 시각화한 이미지(203)의 모양이 좀 더 복잡해지도록 디스플레이 영역에 표시한다.
사용자는 제어부(180)가 디스플레이 영역에 표시한 촉각효과를 시각화한 이미지의 모양을 통해 시각적으로 촉각효과의 주파수를 확인할 수 있다. 제어부(180)는 설정에 따라 이미지의 모양이 촉각효과의 패턴 또는 패턴 중 세기에 대응하도록 표시할 수 있다.
도 11 내지 도 25는 디스플레이부(151)가 터치스크린인 경우이다. 도 5를 참고로 설명한 바와 같이, 제어부(180)는 터치스크린의 터치패턴(ex)터치된 영역 변화, 터치 지속시간, 터치압력, 터치된 영역의 개수 등)에 대응하는 햅틱신호를 생성한다. 햅틱모듈(157)은 햅틱신호에 따라 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 터치패턴에 대응하는 촉각효과를 발생한다. 또한, 제어부(180)는 터치스크린의 터치패턴에 따라 발생하는 촉각효과를 이미지로 시각화하여 디스플레이 영역(151a)에 표시하여 사용자에게 피드백한다. 또한, 제어부(180)는 터치스크린의 터치패턴에 따라 발생하는 촉각효과에 대응하도록 디스플레이 영역(151a)에 표시된 화면을 변화한다. 사용자는 터치패턴에 대응하여 발생하는 촉각효과를 시각적으로 확인할 수 있다. 이하, 각 도면을 설명한다.
도 11은 사용자가 아이콘(204)을 터치함에 따라 발생하는 촉각효과를 원 이미지(205)로 시각화하여 디스플레이 영역(151a)에 표시한 예이다. 도 7를 참고로 설명한 바와 같이 원 이미지(205)의 선명도, 색상, 모양, 표시장소 등은 발생하는 촉각효과의 패턴, 발생장소 등에 대응한다.
제어부(180)는 설정된 바에 따라 촉각효과를 시각화한 원 이미지(205)를 터치된 영역인 아이콘(204) 위에 겹치게 표시할 수 있다(도 11의 (a)). 또는, 제어부(180)는 설정된 바에 따라 촉각효과를 시각화한 원 이미지(205)를 터치된 아이콘(204)의 주변 영역에 표시할 수 있다(도 11의 (b)).
제어부(180)가 생성한 햅틱신호에 의하여 발생하는 촉각효과는 터치패턴 또 는 터치스크린을 통해 입력된 명령에 대응한다. 즉, 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 등 적어도 하나가 터치패턴 또는 터치패턴에 따라 휴대 단말기로 입력된 명령에 대응한다. 따라서, 다른 종류의 아이콘이 터치될 때마다 다른 형태의 촉각효과가 발생할 수 있다. 또한, 같은 종류의 아이콘이 터치되어도 터치패턴에 따라 다른 형태의 촉각효과가 발생할 수 있다. 제어부(180)는 아이콘 터치시 발생하는 촉각효과에 대응하는 선명도, 색상, 모양, 표시장소 등을 가지는 이미지를 터치된 아이콘이 표시된 영역 또는 그 주변영역에 표시한다.
도 12 내지 17은 터치된 영역이 변화하는 경우 발생하는 촉각효과를 이미지로 시각화한 예이다. 제어부(180)는 터치스크린의 소정영역이 터치된 후, 드래그 등을 통해 터치된 영역이 변하면, 터치된 영역 변화방향 또는 변화속도 등에 대응하는 촉각효과를 발생하는 햅틱신호를 생성한다.
만일 사용자가 아이콘 선택 후 드래그하면, 햅틱모듈(157)은 드래그된 영역을 따라 이동하는 촉각효과를 발생한다. 촉각효과의 세기는 드래그 속도가 빠를 경우 강해질 수 있다. 진도의 패턴, 주파수, 이동방향, 이동속도도 터치된 영역의 변화방향 또는 변화속도에 대응할 수 있다. 즉, 제어부(180)는 터치된 영역의 변화방향 또는 변화속도에 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 대응되는 촉각효과를 발생시키는 햅틱신호를 생성한다.
제어부(180)는 생성한 햅틱신호에 의하여 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나에 대응하는 이미지를 디스플레이 영역에 표시한다. 사용자는 이미지를 통하여 터치된 영역 변화에 대응하는 촉각효과를 시각적으로 확인할 수 있다.
도 12, 13은 제어부(180)가 촉각효과의 형태를 물결모양의 이미지로 표시한 경우이다.
도 12에서 사용자가 스크롤바를 터치한 후 '207'에서 '208'로 드래그하면, 제어부(180)는 디스플레이 영역의 '207'에서 '208'로 이동하는 촉각효과를 발생하는 햅틱신호를 생성한다. 사용자는 스크롤바를 터치한 후 드래그함에 따라 발생하는 촉각효과를 촉각을 통해 확인한다.
제어부(180)는 햅틱신호가 발생하는 촉각효과를 시각화한 이미지(209)를 생성하여 디스플레이 영역(151a)에 표시한다(도 12의 (a)). 디스플레이 영역(151a)에 표시한 물결모양의 이미지는 발생한 촉각효과의 이동방향과 같은 방향으로 흘러가는 물결모양의 이미지이다.
사용자가 (b)에서와 같이 스크롤바를 '208'에서 '207'로 드래그하면, 제어부(180)는 디스플레이 영역의 '208'에서 '207'로 이동하는 촉각효과를 발생하는 햅틱신호를 생성한다. 사용자는 스크롤바를 드래그하면서 발생하는 촉각효과를 촉각을 통해 확인할 수 있다.
제어부(180)는 (b)에 도시된 바와 같이 촉각효과의 이동방향과 같은 방향으로 흘러가는 물결모양의 이미지(209)를 디스플레이 영역(151a)에 표시한다. 따라서, 사용자는 시각을 통해서도 발생하는 촉각효과를 확인할 수 있다.
도 13은 스크롤바의 드래그 속도에 따라 물결모양의 이미지(212, 214)가 변 하는 예를 도시한다.
스트롤바의 드래그 속도가 변하면 발생하는 촉각효과의 이동속도가 변한다. 따라서, 물결모양 이미지(212,214)의 선명도, 세기, 패턴, 이동방향, 이동속도 중 적어도 하나도 촉각효과의 이동속도에 대응하여 변한다.
(a)는 물결모양(212) 사이의 간격(213)이 이동속도에 대응하여 변하는 예를 도시한다. 도시된 바와 같이, 제어부(180)는 촉각효과의 이동속도가 증가하면 물결모양(212) 사이의 간격(213)을 넓힌다.
(b)는 물결모양(214)의 두께가 이동속도에 대응하여 변하는 예를 도시한다. 도시한 바와 같이, 제어부(180)는 촉각효과의 이동속도가 증가하면 물결모양(215)의 누께를 넓힌다.
따라서, 사용자는 발생하는 촉각효과의 이동속도를 물결모양 이미지의 간격, 두께를 통해 시각적으로 확인할 수 있다. 제어부(180)는 물결모양 이미지의 선명도, 색상, 모양, 이동방향, 이동속도도 드래그에 따라 발생하는 촉각효과의 패턴, 발생장소, 이동방향에 대응하도록 표시할 수 있다.
도 14는 디스플레이 영역(151a)에 현재 재생 중인 비디오 또는 오디오 파일의 재생시점이나 음량크기를 나타내는 상태바(215, 218)가 표시된 화면을 도시한다.
(a)에 도시된 바와 같이 사용자는 재생시점 상태바(215)를 터치하여 '216'에서 '217'로 드래그하여 재생시점을 조절할 수 있다. 제어부(180)는 상태바(215)가 드래그됨에 따라 햅틱신호를 생성한다. 생성한 햅틱신호에 의하여 발생한 촉각효 과는 상태바(215)의 드래그 방향 또는 속도에 대응하는 이동방향 또는 이동속도를 가지는 촉각효과를 발생한다.
제어부(180)는 발생한 촉각효과에 대응하도록 상태바(215)의 선명도, 색상, 모양 등을 변화하여 표시한다. 예를 들어 '216' 영역에서 '217'으로 상태바가 드래그되는 도중에 상태바(215)의 선명도를 약화시킨다. 사용자는 상태바(215)의 선명도를 통해 촉각효과가 발생하였음을 시각적으로 알 수 있다. 또는, 제어부(180)는 발생한 촉각효과의 이동방향에 대응하여, '216'에 표시된 상태바의 선명도를 '217'에 표시된 상태바의 선명도보다 약하게 할 수 있다. 따라서, 사용자는 시각적으로 촉각효과의 형태를 파악할 수 있다.
(b)와 (c)는 음량크기를 나타내는 상태바(218)가 터치 후 드래그되는 경우 변하는 모양과 색상을 도시한다. 사용자가 (b)에서와 같이 음량크기 상태바(218)를 '219'에서 '220'으로 터치 후 드래그하면 '219'에서 '220'으로 촉각효과가 이동한다. 촉각효과의 이동거리가 짧거나 세기가 약하므로 제어부(180)는 음량크기 상태바(218)의 색상을 Green으로 표시한다.
그러나, (c)에서와 같이 음량크기 상태바(218)를 '221'에서 '222'로 터치 후 드래그하면 '221'에서 '222'로 이동하는 촉각효과의 이동거리가 더 길거나 세기가 강하므로, 제어부(180)는 음량크기 상태바(218)의 색상을 Red로 표시한다. 또한 촉각효과의 이동방향에 대응하도록 상태바(218)의 모양을 변화하여 표시한다.
이렇듯, 제어부(180)는 상태바의 터치 변화에 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 대응되는 촉각효과를 발생하는 햅틱신호를 생성한다. 또 한, 햅틱신호에 의하여 발생하는 촉각효과의 형태에 선명도, 색상, 모양, 이동방향, 이동속도 중 적어도 하나가 대응되는 상태바를 디스플레이 영역에 표시한다. 따라서, 사용자는 발생하는 촉각효과의 형태를 시각적으로 확인할 수 있다.
도 15는 디스플레이 영역에 표시한 아이콘이 터치된 후 드래그됨에 따라 상기 터치된 영역이 변화하는 경우의 화면을 도시한다.
도시한 바와 같이, 사용자는 아이콘을 터치한 후 (a)의 '223'에서 (b)의 '224'로 드래그할 수 있다. 제어부(180)는 터치 후 아이콘이 드래그된 방향, 속도 등에 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 대응하는 촉각효과를 발생하는 햅틱신호를 생성한다. 도 15에서 제어부(180)는 드래그된 방향, 속도에 대응하는 이동방향, 이동속도를 가지는 촉각효과를 발생하는 햅틱신호를 생성한다.
사용자는 '223'에서 '224'로 아이콘을 드래그함에 따라 발생하는 촉각효과를 촉각을 통해 확인한다.
또한, 제어부(180)는 발생한 촉각효과의 이동방향, 이동속도에 선명도, 색상, 모양, 이동방향, 이동속도 중 적어도 하나가 대응하는 아이콘의 잔상(225)을 디스플레이 영역에 표시한다. 도 15의 (b)에서 제어부(180)는 발생한 촉각효과의 이동방향, 이동속도에 이동방향, 이동속도가 대응하는 아이콘의 잔상(225)을 표시한다. 따라서, 사용자는 발생한 촉각효과의 형태를 시각을 통해서도 확인할 수 있다.
그 외에도, 제어부(180)는 촉각효과의 패턴, 발생장소 등 적어도 하나에 상기 아이콘 잔상의 선명도, 색상, 모양, 이동방향, 이동속도 중 적어도 하나가 대응하도록 표시할 수 있다.
도 16은 디스플레이 영역에 표시되는 컨텐츠 영역이 이동되도록 상기 컨텐츠 영역이 터치된 후 드래그됨에 따라 상기 터치된 영역이 변화하는 경우를 도시한 예이다.
제어부(180)는 디스플레이 영역에 컨텐츠 중의 하나인 사진(picture 001)을 표시한다. 디스플레이 영역을 통해 표시되는 사진 영역이 이동되도록 사용자는 (a)의 사진 영역 중 '226'을 터치하여 (b)의 '228'로 드래그할 수 있다.
사용자가 컨텐츠 이동명령을 터치스크린을 통해 입력함에 따라 제어부(180)는 디스플레이 영역에 표시되는 컨텐츠 영역을 이동한다. 또한, 표시되는 컨텐츠 영역이 이동됨을 촉각에 의하여 알 수 있도록 촉각효과를 발생시키는 햅틱신호를 생성한다.
제어부(180)에 의하여 생성된 햅틱신호가 발생하는 촉각효과는 그 이동방향 및 이동속도가 터치된 영역의 드래그방향 및 이동속도에 대응한다. 따라서, 사용자는 촉각효과 형태를 통해 컨텐츠 영역이 드래그되는 것을 확인할 수 있다.
또한, 제어부(180)는 드래그되는 컨텐츠의 잔상(227)의 이동방향 및 이동속도가 발생한 촉각효과의 이동방향 및 이동속도에 대응하도록 표시한다. 촉각효과의 이동속도가 빠르면, 잔상(227)의 이동속도도 빠르다. 따라서, 사용자는 촉각효과가 발생하는 형태를 컨텐츠의 잔상(227)을 통하여 시각적으로 확인할 수 있다.
제어부(180)는 촉각효과의 패턴, 발생장소 중 어느 하나도 터치된 영역의 드래그 방향 또는 이동속도에 대응하도록 하는 햅틱신호를 발생할 수 있다. 또한, 제어부(180)는 잔상의 이동방향, 이동속도 뿐만 아니라 선명도, 색상, 모양도 발생한 촉각효과의 형태에 대응하도록 표시할 수 있다.
도 17은 제어부(180)가 디스플레이 영역에 문자를 입력하거나 입력한 문자를 삭제할 수 있는 문자입력창(229)과, 상기 문자입력창을 통해 입력된 문자가 표시되는 문자표시창(230)을 표시한 예를 도시하고 있다. 문자입력창은 키패드, 키보드 또는 다른 형태의 문자입력키의 집합으로 이루어질 수 있다.
제어부(180)는 문자표시창(230)에 표시된 커서가 터치된 후 드래그되면, 드래그방향 또는 속도에 대응하는 촉각효과를 발생하는 햅틱신호를 생성한다. 촉각효과의 이동방향 또는 이동속도는 문자표시창(230)에 표시된 커서의 이동방향 또는 이동속도에 대응한다.
즉, 사용자는 (a)의 '231'에서 (b)의 '232'로 커서를 드래그한다. 드래그방향 및 드래그속도에 대응하는 이동방향 및 이동속도를 가지는 촉각효과가 발생한다. 사용자는 커서의 이동을 발생한 촉각효과를 통해 확인할 수 있다.
제어부(180)는 또한, 발생한 촉각효과의 이동방향 및 이동속도에 대응하도록 커서의 잔상(233)을 변화하여 문자표시창(230)에 표시한다. 예를 들어, 제어부(180)는 촉각효과의 이동속도가 빠르면, 잔상의 이동속도도 빠르게 표시한다. 따라서, 사용자는 발생하는 촉각효과의 형태를 시각적으로도 확인할 수 있다.
제어부(180)는 발생하는 촉각효과의 이동방향, 이동속도 뿐만 아니라 패턴, 발생장소도 터치된 영역의 변화방향 또는 속도에 대응되도록 할 수 있다. 또한, 제어부(180)는 잔상의 선명도, 색상, 모양, 이동방향, 이동속도 중 적어도 하나가 발생하는 촉각효과의 형태에 대응하도록 표시할 수 있다.
도 18 내지 23은 터치스크린의 소정영역에서 터치가 소정시간 이상 지속되는 경우 발생하는 촉각효과의 형태에 대응하여 디스플레이 영역에 표시된 이미지의 예이다.
제어부(180)는 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 터치스크린의 소정영역에서 감지된 터치의 지속시간 또는 압력에 대응하는 촉각효과를 발생시키는 햅틱신호를 생성한다. 또한, 제어부(180)는 생성한 햅틱신호에 의하여 발생한 촉각효과의 형태에 선명도, 색상, 모양, 이동방향, 이동속도 중 적어도 하나가 대응하는 이미지를 표시한다. 사용자는 발생한 촉각효과의 형태를 촉각 또는 시각을 통해 확인할 수 있다.
도 18은 사용자가 현재 재생중인 파일의 재생시점을 변경시킬 수 있는 명령용 키(234)를 소정시간 이상 터치한 경우의 디스플레이 영역(151a)에 표시되는 화면이다.
(a)에 도시된 바와 같이 사용자가 명령용 키(234)를 소정시간 이상 터치하면, 제어부(180)는 명령용 키 터치 지속시간 또는 압력에 세기가 대응하는 촉각효과를 발생하는 햅틱신호를 생성한다. 사용자는 발생한 촉각효과의 세기에 따라 명령용 키(234)가 계속 터치되고 있음을 알 수 있다. 촉각효과의 세기는 명령요 키(234)의 터치 지속시간이나 압력에 대응하여 증가한다.
제어부(180)는 (b)에 도시된 바와 같이, 시간에 따라 변하는 촉각효과의 세 기를 나타내는 그래프 모양의 이미지(235)를 명령용 키(234) 주변에 표시한다. 사용자는 그래프 이미지(235)를 통해 발생하는 촉각효과의 세기를 시각을 통해 확인할 수 있다.
촉각효과의 세기뿐만 아니라, 패턴, 주파수, 이동방향, 이동속도 등의 형태도 터치 지속시간이나 압력에 대응하도록 변할 수 있다. 제어부(180)는 발생하는 촉각효과의 형태 중 적어도 하나에 선명도, 색상, 모양, 이동방향, 이동속도가 변하는 이미지를 디스플레이 영역에 표시한다. 따라서, 사용자는 시각을 통해 발생하는 촉각효과의 형태를 확인할 수 있다.
도 19, 20, 21은 디스플레이 영역(151a)에 표시한 촉각효과를 시각화한 이미지의 색상이 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나에 대응하여 변하는 예를 도시하고 있다.
촉각효과를 시각화한 이미지는 도 19에 도시된 바와 같이 디스플레이 영역(151a)에 표시한 문자일 수 있다.
제어부(180)는 (a)와 같이, 현재 재생중인 비디오 파일(movie 001)의 음량 크기를 조절할 수 있는 상태바(218)를 디스플레이 영역(151a)에 표시한다. 사용자는 상태바(218) 중 볼륨 증가명령 키(235)를 소정시간 이상 터치함으로서 음량의 크기를 증가할 수 있다.
제어부(180)는 음량의 크기가 조절됨에 따라 촉각효과의 세기를 증가시키는 햅틱신호를 생성한다. 사용자는 음량이 증가함에 따라 발생하는 촉각효과의 세기가 점점 커지는 것을 촉각을 통해 확인할 수 있다.
제어부(180)는 (b)와 (c)에 도시된 바와 같이, 상태바(218)의 터치가 지속됨에 따라 증가하는 음량의 크기를 나타내는 문자(236,237)를 표시할 수 있다. 제어부(180)는 문자(236,237)의 색상을 촉각효과의 세기에 대응하여 변화하여 표시한다. (b)와 같이 발생하는 촉각효과의 세기가 약할 경우 문자의 색상을 Green으로 표시한다. (c)와 같이 발생하는 촉각효과의 세기가 강할 경우 문자의 색상을 Red로 표시한다.
따라서, 사용자는 촉각효과의 세기를 촉각뿐만 아니라 문자의 색상을 통해 확인할 수 있다.
촉각효과를 시각화한 이미지는 도20, 21에 도시된 바와 같이 디스플레이 영역(151a)에 표시한 오브젝트 내부영역, 오브젝트 테두리 중 적어도 하나일 수 있다. 여기서, 오브젝트는 아이콘, 메뉴창, 문자입력창, 상기 문자입력창을 구성하는 문자입력키, 문자표시창, 상기 문자표시창에 표시된 커서 중 적어도 하나일 수 있다.
도 20은 디스플레이 영역에 표시된 명령입력창(238) 중 아래방향 이동키(239)를 소정시간 이상 터치한 경우의 화면이다. 제어부(180)는 아래방향 이동키(239)가 터치됨에 따라 아래방향으로 이동하는 촉각효과를 발생하는 햅틱신호를 생성한다. 사용자는 발생한 촉각효과를 촉각을 통해 확인함으로서 아래방향 이동키(239)가 터치되고 있는 것을 알 수 있다.
제어부(180)는 터치의 지속시간 또는 압력이 증가함에 따라 아래방향으로 이동하는 촉각효과의 세기를 증가시킬 수 있는 햅틱신호를 생성한다. 또한, 제어 부(180)는 촉각효과의 세기를 시각적으로 확인할 수 있는 아래방향 이동키(239)의 색상을 Green(도 20의 (a))에서 Red(도 20의 (b))로 변화하여 표시한다. 사용자는 발생한 촉각효과의 형태를 색상을 통해 확인할 수 있다.
제어부(180)는 터치된 아래방향 이동키(239)의 선명도나 색상이 발생한 촉각효과의 형태 중 적어도 하나에 대응하도록 표시할 수 있다.
도 21은 문자를 입력할 수 있는 문자입력창의 하나인 키패드(229)와, 키패드(229)를 통해 입력된 문자가 표시되는 문자표시창(230)이 도시된 도이다.
제어부(180)는 사용자가 키패드(229)를 구성하는 문자입력키(229a)를 소정시간 이상 터치하는 경우, 터치 지속시간 또는 압력에 대응하는 세기를 가지는 촉각효과를 발생시키는 햅틱신호를 생성한다. 터치 지속시간이 증가하거나 압력이 증가할수록 촉각효과의 세기도 증가한다.
제어부(180)는 문자입력키(229a)의 색상이나, 문자표시창(230)의 테두리(230a)의 색상을 통해 발생하는 촉각효과의 세기를 나타낸다. (a)에서와 같이 발생하는 촉각효과의 세기가 약하면 문자입력키(229a)의 색상이나, 문자표시창(230)의 테두리(230a)의 색상을 Green으로 표시한다. (b)에서와 같이 발생하는 촉각효과의 세기가 강하면 문자입력키(229a)의 색상이나, 문자표시창(230)의 테두리(230a)의 색상을 Red로 표시한다. 따라서, 사용자는 발생하는 촉각효과의 세기를 색상을 통해 알 수 있다.
제어부(180)가 문자입력키(229a)를 터치하는 경우 발생하는 촉각효과의 세기뿐만 아니라, 패턴, 주파수도 터치 지속시간이나 압력이 대응할 수 있다. 이 경 우, 제어부(180)는 발생하는 촉각효과의 세기뿐만 아니라 패턴, 주파수에 대응하도록 상기 문자입력키(229a)의 색상이나, 문자표시창(230)의 테두리(230a)의 색상을 변화하여 표시할 수 있다.
그 외에, 제어부(180)는 문자, 오브젝트 내부영역, 오브젝트 테두리의 선명도, 모양 중 적어도 하나가 발생하는 촉각효과에 대응하도록 표시할 수 있다.
도 22는 디스플레이 영역(151a)에 표시된 메뉴아이콘(240)이 소정시간 이상 터치되는 경우이다.
(a)에 도시된 바와 같이 메뉴아이콘(240)이 터치되면, (b)에 도시된 바와 같이 터치된 메뉴아이콘(240)에 대응되는 메뉴창(241)이 디스플레이 영역에 스크롤되어 표시된다. 메뉴창(241)이 스크롤되어 표시되는 과정에서 제어부(180)는 메뉴아이콘(240)의 터치 지속시간이나 압력에 대응하는 촉각효과를 발생시키는 햅틱신호를 생성한다. 사용자는 메뉴창(241)이 스크롤되는 것을 발생한 촉각효과를 통해 확인할 수 있다.
스크롤 과정에서 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나는 터치 지속시간이나 압력에 대응한다. 제어부(180)는 메뉴창(241)이 스크롤되는 방향, 속도, 선명도, 색상, 모양 중 적어도 하나가 발생하는 촉각효과의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나에 대응하도록 표시한다.
사용자는 메뉴창(241)이 스크롤되는 방향, 속도, 선명도, 색상, 모양 등을 통해 발생하는 촉각효과의 형태를 확인할 수 있다. 예를 들어 스크롤되는 방향과 촉각효과의 이동방향은 같다. 또한, 스크롤 속도와 촉각효과의 이동속도도 같도록 설정할 수 있다.
따라서, 사용자는 터치 지속시간이나 압력에 대응하여 변하는 촉각효과의 형태를 스크롤되는 메뉴창을 통하여 시각적으로 확인할 수 있다.
도 23에서 제어부(180)는 디스플레이 영역(151a)에 문자입력창의 하나인 키보드(243)와, 키보드(243)를 통해 입력된 문자가 표시되는 문자표시창(242)을 표시한다.
문자입력창은 키보드 외에, 키패드나 다른 명령입력키의 집합으로 구성될 수 있다. 사용자는 키보드(243)를 구성하는 명령입력키를 터치하여 휴대 단말기로 문자가 입력되도록 한다.
(a)에 도시된 바와 같이 키보드(243)를 구성하는 문자입력키 중 문자삭제명령키(244)가 소정시간 이상 터치될 수 있다. 제어부(180)는 문자삭제명령키(244)가 터치됨에 따라 문자표시창(242)에 표시된 문자들을 삭제한다.
제어부(180)가 문자표시창(242)에 표시된 문자들을 삭제하는 과정에서, 제어부(180)는 문자삭제명령키(244)의 터치 지속시간 또는 압력에 대응하도록 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 변하는 촉각효과를 발생하는 햅틱신호를 생성한다.
예를 들어, 제어부(180)는 터치 지속시간 또는 압력이 증가할 경우, 문자표시창(242)에 표시된 문자들을 삭제하는 과정에서 발생하는 촉각효과의 세기가 증가하도록 햅틱신호를 생성할 수 있다.
또한, 제어부(180)는 발생하는 촉각효과의 형태를 시각을 통해 확인할 수 있도록 문자표시창(242)에서 문자가 지워지는 방향, 속도, 선명도, 색상, 모양 등을 변화할 수 있다.
예를 들어, (b)에 도시된 바와 같이, 제어부(180)는 촉각효과가 이동하는 방향을 따라서 문자가 오른쪽에서 왼쪽으로 지워지도록 문자표시창(244)을 표시할 수 있다.
또한, (c)에 도시된 바와 같이, 제어부(180)는 촉각효과가 이동하는 방향을 따라서 문자가 문자표시창(244)의 화면 밖으로 사라지는 효과를 표시함으로서 문자표시창(244)에 표시된 문자를 삭제할 수 있다.
또한, (d)에 도시된 바와 같이, 제어부(180)는 촉각효과가 이동하는 방향을 따라서 문자가 문자표시창(244)의 위에서 아래로 점차로 지워지도록 할 수 있다.
상기와 같이 제어부(180)는 문자가 지워지는 방향, 속도, 선명도, 색상, 모양 등을 발생하는 촉각효과의 형태에 대응하도록 디스플레이 영역에 표시하여 사용자가 발생하는 촉각효과의 형태를 시각을 통해 확인할 수 있도록 한다.
도 24 내지 25는 제어부(180)가 디스플레이 영역(151a) 중 터치된 영역을 적어도 2개 이상 감지하는 경우 표시되는 화면의 예가 도시된 도이다.
사용자는 디스플레이 영역(151a) 중 적어도 2개의 영역을 멀티터치할 수 있다. 제어부(180)는 멀티터치가 감지된 경우, 터치가 감지된 영역들의 개수 또는 영역들 사이의 거리에 대응하도록 이동방향, 이동속도, 패턴, 발생장소 중 적어도 하나가 변하는 촉각효과를 발생시키는 햅틱신호를 생성한다.
또한, 제어부(180)는 발생한 촉각효과의 형태에 이동방향, 이동속도, 색상, 모양, 패턴 중 적어도 하나가 대응되는 이미지를 디스플레이 영역에 표시한다. 사용자는 디스플레이 영역에 표시되는 이미지를 통해 촉각효과의 형태를 확인할 수 있다.
도 24에서 제어부(180)는 디스플레이 영역에 문자를 입력하거나 입력한 문자를 삭제할 수 있는 수 있는 문자입력창의 하나인 키패드(229)와, 키패드(229)를 통해 입력된 문자가 표시되는 문자표시창(230)을 도시하고 있다.
사용자는 (a)에 도시된 바와 같이 키패드(229) 영역 중 두 개의 문자입력키(245,246)을 동시에 터치할 수 있다. 제어부(180)는 소정시간 이내에 터치되는 문자입력키(245,246)가 증가할수록 더 강한 세기의 촉각효과를 발생하는 햅틱신호를 생성한다.
또한, 제어부(180)는 발생하는 촉각효과의 세기를 사용자가 시각을 통해 확인할 수 있도록 문자입력키(245,256) 또는 문자표시창(230) 중 커서(231)의 색상을 Green에서 (b)에 도시된 바와 같이 Red로 변화시킨다.
따라서, 사용자는 발생하는 촉각효과의 세기를 시각을 통해 확인할 수 있다.
또한, (b)에 도시된 바와 같이, 제어부(180)는 촉각효과의 세기에 대응하도록 반지름이나 색상이 변하는 원 이미지(247)를 터치된 문자입력키(247,248) 주변에 표시할 수 있다. 원 이미지(247)를 통해 사용자는 발생하는 촉각효과의 세기를 확인할 수 있다.
소정시간의 차이를 두고 문자입력키(245,246)이 순차적으로 터치된 경우, 제어부(180)는 하나의 문자입력키(245)에서 다른 문자입력키(246)로 이동하는 촉각효과를 발생시키는 햅틱신호를 생성할 수 있다. 이 경우, 제어부(180)는 문자입력키(245,246)나 원 이미지(247,248)의 선명도, 색상, 모양, 이동방향, 이동속도 중 적어도 하나가 발생하는 촉각효과의 형태에 대응하도록 표시한다.
도 25는 제어부(180)가 디스플레이 영역에 컨텐츠(Picture 001)를 표시한 경우, 사용자가 컨텐츠가 표시된 영역 중 적어도 2개의 영역을 터치후 서로 다른 방향으로 드래그하여 컨텐츠의 표시배율을 변경하는 경우의 예를 도시하고 있다.
컨텐츠의 표시배율이 변경되는 경우 발생하는 촉각효과의 이동방향, 이동속도, 패턴, 발생장소 중 적어도 하나는 터치된 컨텐츠 영역의 개수, 거리, 이동방향, 이동속도에 대응한다. 예를 들어, 제어부(180)는 (a)에 도시된 바와 같이 컨텐츠 영역 중 '249'와 '250'이 터치된 후, (b)에 도시된 바와 같이 '251'과 '252'로 드래그되면 컨텐츠 확대방향으로 이동하는 촉각효과를 발생하는 햅틱신호를 생성한다.
발생하는 촉각효과의 세기나 이동속도는 터치된 영역의 개수, 드래그 속도나 방향, 터치 지속시간이나 압력 등에 대응한다.
제어부(180)는 (b)에 도시된 바와 같이 발생하는 촉각효과의 형태에 이동방향, 이동속도, 선명도, 색상, 모양 중 적어도 하나가 대응하는 컨텐츠의 잔상(253)을 표시한다. 예를 들어, 촉각효과의 이동속도가 빠르면, 컨텐츠 잔상(253)의 이동속도도 빠르다.
따라서, 사용자는 발생하는 촉각효과의 형태를 시각을 통해 확인할 수 있다.
도 26 내지 27은 근접센서에 따라 검출된 근접물체와의 거리, 근접물체의 이동방향, 근접물체의 이동속도 중 적어도 하나에 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나가 대응하는 촉각효과를 발생시키는 햅틱신호를 생성하고, 발생하는 촉각효과를 이미지로 시각화하는 예가 도시된 도이다.
도 26의 (a)에 도시된 바와 같이, 사용자의 손가락이 디스플레이부(151)에 근접하는 경우, 제1 바디 등에 설치된 근접센서(141)가 이를 감지하여 근접신호를 출력한다. 이때, 사용자의 손가락이 위치한 거리(z), 서로 다른 근접신호를 출력하도록 구성할 수 있다. 즉, 일반적으로 근접센서에 검출물체가 접근하여 근접신호가 출력되는 거리를 검출거리라고 하는데, 이와 같이 검출거리가 서로 다른 근접센서를 복수로 사용하여, 각 근접센서에서 출력되는 근접신호를 비교하면 근접물체가 어느 정도 근접하였는지 알 수 있다.
또한, 검출영역이 서로 다른 근접센서를 복수로 배치하여 이들 근접센서 중에서 어느 근접센서로부터 근접신호가 출력되는지를 파악하여, 근접물체가 디스플레이부(151)의 어느 영역으로 접근하는지 여부와, 검출물체가 디스플레이부(151)에 근접하여 이동하는지 여부 등을 식별할 수 있다. 이에 따라, 제어부(180)는 사용자의 손가락 등의 근접한 위치에 대응하는 터치키를 선택하여 대응하는 햅틱신호를 출력하도록 제어할 수도 있다.
(b)는 근접물체와의 거리가 가까워지거나, 근접물체가 소정거리 이내에 소정 시간 이상 존재하는 경우, 햅틱신호가 발생하는 촉각효과의 세기값을 제어부(180)가 합산한 값(255)이 도시된 그래프이다.
도시된 바와 같이, 합산값(255)이 소정값(254)을 초과하는 경우 제어부(180)은 디스플레이 영역의 터치감지를 차단하거나 차단을 해제한다. 본 발명의 실시예에서, 제어부(180)는
Figure 112008045748303-pat00001
시간이 경과한 후 합산값(255)이 소장값(254)을 초과함에 따라 터치감지를 차단하거나 해제한다.
도 27은 근접센서(141)가 검출한 근접물체와의 거리, 근접물체의 근접방향 또는 근접속도 적어도 하나에 대응하여 선명도, 색상, 모양, 흔들림 패턴, 흔들림 주파수 중 적어도 하나가 변하는 오브젝트(256)를 도시하고 있다.
제어부(180)는 근접물체와의 거리, 근접물체의 근접방향 또는 근접속도 중 적어도 하나에 이동방향, 이동속도, 패턴, 발생장소 중 적어도 하나가 대응하는 촉각효과를 발생하는 촉각효과를 생성한다. 또한, 제어부(180)는 발생한 촉각효과의 형태 중 적어도 하나에 선명도, 색상, 모양, 흔들림 패턴, 흔들림 주파수 중 적어도 하나가 대응하는 오브젝트(256)를 디스플레이 영역에 표시한다.
본 실시예에서 제어부(180)는 근접물체와의 거리가 가까울수록 세기가 강한 촉각효과를 발생시키는 햅틱신호를 생성한다. 또한, 발생하는 촉각효과의 세기가 강할수록 디스플레이 영역(151a)에 표시된 오브젝트(256)가 많이 흔들리도록 한다. 즉, (a)와 같이 사용자의 손가락 등이 멀리 있을 때보다 (b)와 같이 사용자의 손가락이 가까이 있을 때 오브젝트(256)의 흔들림이 더 강해진다.
사용자는 따라서, 발생하는 촉각효과의 형태를 촉각 외에 시각을 통해서도 확인할 수 있다. 특히, 본 실시예에서 디스플레이 영역에 표시된 오브젝트는 아바타이지만, 필요에 따라 다양한 종류의 아이콘일 수 있다.
그리고, 본 발명에 따른 휴대 단말기 및 그 동작 제어방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
한편, 본 발명은 MSM(Mobile Station Modem) 등과 같이 휴대 단말기에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
도 1은 본 발명의 일실시예에 따른 휴대 단말기의 블럭도,
도 2는 본 발명의 일실시예에 따른 휴대 단말기의 전면 사시도,
도 3은 본 발명의 일실시예에 따른 휴대 단말기의 후면 사시도,
도 4 내지 5는 본 발명의 일실시예에 따른 휴대 단말기의 제어방법에 대한 설명에 제공되는 흐름도,
도 6 내지 27은 본 발명의 일실시예에 따른 휴대 단말기의 제어방법의 설명에 참조되는 도면이다.
* 도면의 주요 부분에 대한 부호의 설명 *
110 : 무선 통신부 120 : A/V 입력부
130 : 사용자 입력부 140 : 센싱부
150 : 출력부 160 : 메모리
170 : 인터페이스부 180 : 제어부

Claims (53)

  1. 촉각효과를 발생하는 햅틱 모듈과, 터치 입력을 수신하고 정보를 표시하는 터치스크린을 구비하는 휴대 단말기의 제어방법에 있어서,
    터치 영역, 터치 지속 시간 및 터치 압력 중 적어도 하나를 포함하는 터치 패턴을 구비하는 터치 입력을 상기 터치스크린을 통해 검출하는 단계;
    상기 검출된 터치 입력에 대응하여 상기 햅틱 모듈을 제어하기 위한 햅틱 신호를 생성하는 단계;
    상기 햅틱 모듈을 통해 상기 햅틱 신호에 대응하는 진동을 출력하는 단계;
    상기 진동이 출력되는 동안, 상기 진동을 시각화한 미리 결정된 이미지를 상기 터치스크린에 표시하는 단계;
    상기 터치 패턴의 변화에 대응하여, 상기 미리 결정된 이미지의 모양을 변경하는 단계; 및
    상기 터치 입력이 더 이상 검출되지 않는 경우, 상기 터치스크린에 표시된 상기 미리 결정된 이미지를 제거하는 단계를 포함하는 휴대 단말기의 제어방법.
  2. 제1항에 있어서,
    상기 출력 중인 진동의 세기, 패턴, 발생 장소, 이동 방향 및 이동 속도 중 적어도 하나에 따라 상기 터치스크린에 표시된 화면을 변경하는 단계를 더 포함하는 휴대 단말기의 제어방법.
  3. 제1항에 있어서,
    상기 미리 결정된 이미지는, 상기 터치 입력이 검출되는 터치스크린 상의 위치에 표시되는 원형 이미지임을 특징으로 하는 휴대 단말기의 제어방법.
  4. 제3항에 있어서,
    상기 검출된 터치 입력의 지속 시간에 따라 상기 진동의 세기 및 패턴 중 적어도 하나를 변경하는 단계; 및
    상기 검출된 터치 입력의 지속 시간에 따라 상기 원형 이미지의 모양을 변경하는 단계를 더 포함하는 휴대 단말기의 제어방법.
  5. 제3항에 있어서,
    상기 검출된 터치 입력의 압력 세기에 따라 상기 진동의 세기 및 패턴 중 적어도 하나를 변경하는 단계; 및
    상기 검출된 터치 입력의 압력 세기에 따라 상기 원형 이미지의 모양을 변경하는 단계를 더 포함하는 휴대 단말기의 제어방법.
  6. 제3항에 있어서,
    상기 검출된 터치 입력의 터치 영역 변화에 따라 상기 진동의 세기 및 패턴 중 적어도 하나를 변경하는 단계; 및
    상기 검출된 터치 입력의 터치 영역 변화에 따라 상기 원형 이미지의 모양을 변경하는 단계를 더 포함하는 휴대 단말기의 제어방법.
  7. 제1항에 있어서,
    상기 검출된 터치 입력의 터치 패턴에 따라 상기 출력 중인 진동의 세기, 패턴, 발생 장소, 이동 방향 및 이동 속도 중 적어도 하나를 변경하는 단계를 더 포함하는 휴대 단말기의 제어방법.
  8. 제1항에 있어서,
    상기 미리 결정된 이미지의 모양은 원을 포함하고,
    상기 미리 결정된 이미지가 표시되고 있는 위치와 인접한 영역을 통해 상기 터치 입력이 수신되는 경우, 상기 미리 결정된 이미지의 모양을 변경하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  9. 제1항에 있어서,
    상기 출력 중인 진동의 지속 시간은 상기 검출된 터치 입력의 지속 시간에 대응하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  10. 제2항에 있어서, 상기 화면을 변경하는 단계는,
    상기 미리 결정된 이미지의 색상, 윤곽의 색상, 선명도, 모양 및 위치 중 적어도 하나를 변경하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  11. 제2항에 있어서, 상기 화면을 변경하는 단계는,
    상기 터치 입력이 상기 화면에 표시된 항목의 인접 영역에서 검출되는 경우, 상기 터치스크린에 표시된 항목을 변경하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  12. 제2항에 있어서,
    상기 출력 중인 진동의 세기, 패턴, 발생 장소, 이동 방향 및 이동 속도 중 적어도 하나는 상기 검출된 터치 입력의 터치 영역, 터치 지속 시간 및 터치 압력 중 적어도 하나에 대응하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  13. 제1항에 있어서,
    상기 미리 결정된 이미지는 적어도 하나의 물결선을 구비하는 물결 이미지이고,
    상기 적어도 하나의 물결선은 상기 검출된 터치 입력의 지속 시간 및 압력 중 적어도 하나에 대응하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  14. 제2항에 있어서,
    상기 검출된 터치 입력은 상기 화면에 표시된 복수의 객체들 중 하나를 터치 앤 드래그하는 입력이고,
    상기 복수의 객체들은 진행 바, 아이콘, 컨텐츠 항목 및 커서 중 적어도 하나를 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  15. 제14항에 있어서, 상기 화면을 변경하는 단계는,
    상기 복수의 객체들 중 어느 하나가 이동된 경우, 해당 객체의 뒤로 잔상의 흔적이 남겨지도록 상기 검출된 터치 앤 드래그 입력에 잔상 효과를 적용하는 단계; 및
    상기 잔상의 선명도, 색상, 모양, 이동 방향 및 이동 속도 중 적어도 하나를 변경하는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  16. 제2항에 있어서,
    메뉴 아이콘을 상기 터치스크린에 표시하는 단계; 및
    상기 메뉴 아이콘에 대한 터치 입력이 검출된 경우, 상기 메뉴 아이콘에 대응하는 메뉴 화면이 상기 터치스크린의 일 경계로부터 스크롤되어 표시하는 단계를 더 포함하고,
    상기 진동은 상기 메뉴 화면이 스크롤되는 속도, 방향, 선명도, 색상 및 모양 중 적어도 하나에 대응하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  17. 제2항에 있어서,
    입력된 문자들을 수신하거나, 상기 입력된 문자들을 편집하거나, 혹은 상기 입력된 문자들을 표시하는 문자 편집 화면을 표시하는 단계를 더 포함하고,
    상기 문자 편집 화면은 삭제 명령키를 포함하고, 상기 삭제 명령키에 대한 터치 입력이 일정 시간 동안 검출되는 경우 상기 문자 편집 화면에 표시된 하나 이상의 문자들을 삭제하며,
    상기 진동은 상기 하나 이상의 문자들이 삭제되는 속도, 방향 및 방식 중 적어도 하나에 대응하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  18. 제2항에 있어서,
    근접센서에서 발생한 신호로부터 휴대 단말기와 근접물체와의 거리, 근접물체의 이동방향, 근접물체의 이동속도에 관한 정보를 검출하는 단계를 더 포함하고,
    상기 진동의 패턴, 발생장소, 이동방향, 이동속도 중 적어도 하나는 상기 근접물체와의 거리, 근접물체의 이동방향, 근접물체의 이동속도 중 적어도 하나에 대응하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  19. 제18항에 있어서,
    상기 진동의 세기가 임계치를 초과하는 경우, 상기 터치 입력을 더 이상 검출하지 않는 단계를 더 포함하는 것을 특징으로 하는 휴대 단말기의 제어방법.
  20. 촉각효과를 발생하는 햅틱 모듈;
    터치 입력을 수신하고 정보를 표시하는 터치스크린; 및
    터치 영역, 터치 지속 시간 및 터치 압력 중 적어도 하나를 포함하는 터치 패턴을 구비하는 터치 입력을 상기 터치스크린을 통해 검출하고, 상기 검출된 터치 입력에 대응하여 상기 햅틱 모듈을 제어하기 위한 햅틱 신호를 생성하며, 상기 햅틱 모듈을 통해 상기 햅틱 신호에 대응하는 진동을 출력하고, 상기 진동이 출력되는 동안, 상기 진동을 시각화한 미리 결정된 이미지를 상기 터치스크린에 표시하며, 상기 터치 패턴의 변화에 따라 상기 미리 결정된 이미지의 모양을 변경하고, 상기 터치 입력이 더 이상 검출되지 않는 경우 상기 터치스크린에 표시된 상기 미리 결정된 이미지를 제거하는 제어부를 포함하는 휴대 단말기.
  21. 제20항에 있어서,
    상기 제어부는, 상기 출력 중인 진동의 세기, 패턴, 발생 장소, 이동 방향 및 이동 속도 중 적어도 하나에 따라 상기 터치스크린에 표시된 화면을 변경하는 것을 특징으로 하는 휴대 단말기.
  22. 제20항에 있어서,
    상기 미리 결정된 이미지는, 상기 터치 입력이 검출되는 터치스크린 상의 위치에 표시되는 원형 이미지임을 특징으로 하는 휴대 단말기.
  23. 제22항에 있어서,
    상기 제어부는, 상기 검출된 터치 입력의 지속 시간에 따라 상기 진동의 세기 및 패턴 중 적어도 하나를 변경하고, 상기 검출된 터치 입력의 지속 시간에 따라 상기 원형 이미지의 모양을 변경하는 것을 특징으로 하는 휴대 단말기.
  24. 제22항에 있어서,
    상기 제어부는, 상기 검출된 터치 입력의 압력 세기에 따라 상기 진동의 세기 및 패턴 중 적어도 하나를 변경하고, 상기 검출된 터치 입력의 압력 세기에 따라 상기 원형 이미지의 모양을 변경하는 것을 특징으로 하는 휴대 단말기.
  25. 제22항에 있어서,
    상기 제어부는, 상기 검출된 터치 입력의 터치 영역 변화에 따라 상기 진동의 세기 및 패턴 중 적어도 하나를 변경하고, 상기 검출된 터치 입력의 터치 영역 변화에 따라 상기 원형 이미지의 모양을 변경하는 것을 특징으로 하는 휴대 단말기.
  26. 제20항에 있어서,
    상기 제어부는, 상기 검출된 터치 입력의 터치 패턴에 따라 상기 출력 중인 진동의 세기, 패턴, 발생 장소, 이동 방향 및 이동 속도 중 적어도 하나를 변경하는 것을 특징으로 하는 휴대 단말기.
  27. 제20항에 있어서,
    상기 미리 결정된 이미지의 모양은 원을 포함하고,
    상기 제어부는, 상기 미리 결정된 이미지가 표시되고 있는 위치와 인접한 영역을 통해 상기 터치 입력이 수신되는 경우 상기 미리 결정된 이미지의 모양을 변경하는 것을 특징으로 하는 휴대 단말기.
  28. 제20항에 있어서,
    상기 출력 중인 진동의 지속 시간은 상기 검출된 터치 입력의 지속 시간에 대응하는 것을 특징으로 하는 휴대 단말기.
  29. 제21항에 있어서,
    상기 제어부는, 상기 미리 결정된 이미지의 색상, 윤곽의 색상, 선명도, 모양 및 위치 중 적어도 하나를 변경하는 것을 특징으로 하는 휴대 단말기.
  30. 제20항에 있어서,
    상기 미리 결정된 이미지는 적어도 하나의 물결선을 구비하는 물결 이미지이고,
    상기 적어도 하나의 물결선은 상기 검출된 터치 입력의 지속 시간 및 압력 중 적어도 하나에 대응하는 것을 특징으로 하는 휴대 단말기.
  31. 제21항에 있어서,
    상기 출력 중인 진동의 세기, 패턴, 발생 장소, 이동 방향 및 이동 속도 중 적어도 하나는 상기 검출된 터치 입력의 터치 영역, 터치 지속 시간 및 터치 압력 중 적어도 하나에 대응하는 것을 특징으로 하는 휴대 단말기.
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
KR1020080060360A 2008-06-25 2008-06-25 휴대 단말기 및 그 제어방법 KR101498623B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080060360A KR101498623B1 (ko) 2008-06-25 2008-06-25 휴대 단말기 및 그 제어방법
US12/485,877 US9086755B2 (en) 2008-06-25 2009-06-16 Mobile terminal and method of controlling the mobile terminal
US14/738,416 US10048756B2 (en) 2008-06-25 2015-06-12 Mobile terminal and method of controlling the mobile terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080060360A KR101498623B1 (ko) 2008-06-25 2008-06-25 휴대 단말기 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20100000744A KR20100000744A (ko) 2010-01-06
KR101498623B1 true KR101498623B1 (ko) 2015-03-04

Family

ID=41446779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080060360A KR101498623B1 (ko) 2008-06-25 2008-06-25 휴대 단말기 및 그 제어방법

Country Status (2)

Country Link
US (2) US9086755B2 (ko)
KR (1) KR101498623B1 (ko)

Families Citing this family (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7958456B2 (en) 2005-12-23 2011-06-07 Apple Inc. Scrolling list with floating adjacent index symbols
KR100842733B1 (ko) * 2007-02-05 2008-07-01 삼성전자주식회사 터치스크린을 구비한 멀티미디어 재생장치의 사용자인터페이스 방법
KR101498623B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법
JP4600548B2 (ja) * 2008-08-27 2010-12-15 ソニー株式会社 再生装置、再生方法、およびプログラム
US8984431B2 (en) 2009-03-16 2015-03-17 Apple Inc. Device, method, and graphical user interface for moving a current position in content at a variable scrubbing rate
JP5197521B2 (ja) * 2009-07-29 2013-05-15 京セラ株式会社 入力装置
US9110515B2 (en) * 2009-08-19 2015-08-18 Nuance Communications, Inc. Method and apparatus for text input
JP5278259B2 (ja) * 2009-09-07 2013-09-04 ソニー株式会社 入力装置、入力方法及びプログラム
US8624933B2 (en) 2009-09-25 2014-01-07 Apple Inc. Device, method, and graphical user interface for scrolling a multi-section document
KR101660978B1 (ko) * 2009-12-24 2016-09-29 삼성전자주식회사 휴대 단말기의 진동발생 장치 및 방법
JP5216160B2 (ja) * 2010-02-16 2013-06-19 シャープ株式会社 液晶表示装置
US20110199342A1 (en) * 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
JP2011186636A (ja) * 2010-03-05 2011-09-22 Sony Corp 情報処理装置および方法、並びにプログラム
US8587422B2 (en) 2010-03-31 2013-11-19 Tk Holdings, Inc. Occupant sensing system
DE102011006448A1 (de) 2010-03-31 2011-10-06 Tk Holdings, Inc. Lenkradsensoren
DE102011006649B4 (de) 2010-04-02 2018-05-03 Tk Holdings Inc. Lenkrad mit Handsensoren
KR20110113931A (ko) * 2010-04-12 2011-10-19 삼성전자주식회사 휴대 단말기의 터치스크린 패널 운용 장치 및 방법
US8773470B2 (en) * 2010-05-07 2014-07-08 Apple Inc. Systems and methods for displaying visual information on a device
US8451255B2 (en) 2010-05-14 2013-05-28 Arnett Ryan Weber Method of providing tactile feedback and electronic device
EP2386934B1 (en) * 2010-05-14 2015-08-05 BlackBerry Limited Method of providing tactile feedback and electronic device
KR101167399B1 (ko) * 2010-05-31 2012-07-19 삼성전기주식회사 햅틱 디바이스
JP5552947B2 (ja) * 2010-07-30 2014-07-16 ソニー株式会社 情報処理装置、表示制御方法及び表示制御プログラム
KR101780020B1 (ko) * 2010-09-02 2017-09-19 삼성전자주식회사 인터페이스 방법 및 장치
US20120066624A1 (en) * 2010-09-13 2012-03-15 Ati Technologies Ulc Method and apparatus for controlling movement of graphical user interface objects
US9496841B2 (en) * 2010-10-21 2016-11-15 Nokia Technologies Oy Recording level adjustment using a distance to a sound source
US8797284B2 (en) * 2011-01-05 2014-08-05 Motorola Mobility Llc User interface and method for locating an interactive element associated with a touch sensitive interface
JP5585505B2 (ja) * 2011-03-17 2014-09-10 セイコーエプソン株式会社 画像供給装置、画像表示システム、画像供給装置の制御方法、画像表示装置、及び、プログラム
JPWO2012137946A1 (ja) * 2011-04-06 2014-07-28 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
US9383820B2 (en) 2011-06-03 2016-07-05 Apple Inc. Custom vibration patterns
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
US9829978B2 (en) * 2011-08-17 2017-11-28 Project Ray Ltd. Interface layer and operating system facilitating use, including by blind and visually-impaired users, of touch-screen-controlled consumer electronic devices
KR101891858B1 (ko) * 2011-09-06 2018-08-24 임머숀 코퍼레이션 햅틱 출력 장치 및 햅틱 출력 장치에서 햅틱 효과를 생성하는 방법
US9395868B2 (en) 2011-12-06 2016-07-19 Google Inc. Graphical user interface window spacing mechanisms
JP5842013B2 (ja) * 2012-01-13 2016-01-13 京セラ株式会社 電子機器及び電子機器の制御方法
CN103218104B (zh) * 2012-01-19 2018-06-01 联想(北京)有限公司 一种电子终端及控制电子终端震动方向的方法
WO2013114792A1 (ja) * 2012-01-31 2013-08-08 パナソニック株式会社 触感呈示装置および触感呈示方法
WO2013154720A1 (en) 2012-04-13 2013-10-17 Tk Holdings Inc. Pressure sensor including a pressure sensitive material for use with control systems and methods of using the same
DE112013002387T5 (de) 2012-05-09 2015-02-12 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Bereitstellung taktiler Rückkopplung für Operationen in einer Benutzerschnittstelle
DE112013002409T5 (de) 2012-05-09 2015-02-26 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche für die Anzeige zusätzlicher Informationen in Reaktion auf einen Benutzerkontakt
EP2847660B1 (en) 2012-05-09 2018-11-14 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
AU2013259642A1 (en) 2012-05-09 2014-12-04 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
DE112013002412T5 (de) 2012-05-09 2015-02-19 Apple Inc. Vorrichtung, Verfahren und grafische Benutzeroberfläche zum Bereitstellen von Rückmeldung für das Wechseln von Aktivierungszuständen eines Benutzerschnittstellenobjekts
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
AU2013259630B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to gesture
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
CN104364726B (zh) * 2012-06-14 2018-08-31 三菱电机株式会社 显示装置
JP5812944B2 (ja) * 2012-06-26 2015-11-17 京セラ株式会社 入力デバイス、制御方法及び携帯端末装置
KR101946365B1 (ko) * 2012-08-20 2019-02-11 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
US20140071060A1 (en) * 2012-09-11 2014-03-13 International Business Machines Corporation Prevention of accidental triggers of button events
JP6260622B2 (ja) 2012-09-17 2018-01-17 ティーケー ホールディングス インク．Ｔｋ Ｈｏｌｄｉｎｇｓ Ｉｎｃ． 単一層力センサ
KR20140036846A (ko) * 2012-09-18 2014-03-26 삼성전자주식회사 국부적인 피드백을 제공하는 사용자 단말 장치 및 그 방법
KR101621524B1 (ko) 2012-11-02 2016-05-31 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US20140157167A1 (en) * 2012-12-05 2014-06-05 Huawei Technologies Co., Ltd. Method and Device for Controlling Icon
US9817566B1 (en) * 2012-12-05 2017-11-14 Amazon Technologies, Inc. Approaches to managing device functionality
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
KR102001332B1 (ko) 2012-12-29 2019-07-17 애플 인크. 콘텐츠를 스크롤할지 선택할지 결정하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN104903834B (zh) 2012-12-29 2019-07-05 苹果公司 用于在触摸输入到显示输出关系之间过渡的设备、方法和图形用户界面
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
KR101905174B1 (ko) 2012-12-29 2018-10-08 애플 인크. 사용자 인터페이스 계층을 내비게이션하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스
EP2957995A4 (en) * 2013-02-13 2016-11-09 Nec Corp INPUT DEVICE AND ITS CONTROL METHOD, AND PROGRAM
US10001914B2 (en) * 2013-03-21 2018-06-19 Nokia Technologies Oy Method and apparatus for causing a deformation representation
KR101957150B1 (ko) * 2013-05-09 2019-03-13 엘지디스플레이 주식회사 햅틱 겸용 터치스크린 및 그 구동 방법
JP6231774B2 (ja) * 2013-05-23 2017-11-15 キヤノン株式会社 電子機器およびその制御方法
KR101375613B1 (ko) * 2013-08-14 2014-03-20 건국대학교 산학협력단 레이저를 이용하여 촉감을 제공하는 전자 장치 및 이를 이용한 방법
KR20150026565A (ko) * 2013-09-03 2015-03-11 엘지전자 주식회사 디스플레이 장치 및 그것의 제어방법
WO2015052961A1 (ja) * 2013-10-08 2015-04-16 株式会社ソニー・コンピュータエンタテインメント 情報処理装置
JP5953283B2 (ja) * 2013-10-31 2016-07-20 京セラドキュメントソリューションズ株式会社 表示制御装置及び電子機器
TWI502474B (zh) * 2013-11-28 2015-10-01 Acer Inc 使用者介面的操作方法與電子裝置
JP5972253B2 (ja) * 2013-12-27 2016-08-17 京セラドキュメントソリューションズ株式会社 表示入力装置、情報処理装置
JP6300604B2 (ja) * 2014-04-01 2018-03-28 キヤノン株式会社 触感制御装置、触感制御方法及びプログラム
KR102128631B1 (ko) * 2014-05-02 2020-07-01 주식회사 포스코아이씨티 사진, 음성, 및 터치정보가 결합된 메시지 송수신 방법
US9582100B2 (en) * 2014-06-26 2017-02-28 International Business Machines Corporation Generating device input using vibrations from surface features
JP6390213B2 (ja) * 2014-06-30 2018-09-19 ブラザー工業株式会社 表示制御装置、表示制御方法及び表示制御プログラム
KR102241074B1 (ko) * 2014-07-22 2021-04-16 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
CN110072131A (zh) 2014-09-02 2019-07-30 苹果公司 音乐用户界面
USD776713S1 (en) * 2014-12-17 2017-01-17 Rgi Informatics, Llc Display device with a timeline graphical user interface
KR102049649B1 (ko) * 2014-12-22 2019-11-27 폭스바겐 악티엔 게젤샤프트 손가락 기반 컨트롤 바 및 상기 컨트롤 바의 사용
KR102325339B1 (ko) * 2014-12-24 2021-11-11 삼성전자주식회사 사용자의 움직임을 검출하여 사용자 입력을 수신하는 방법 및 이를 위한 장치
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
KR102351500B1 (ko) * 2015-05-12 2022-01-17 엘지전자 주식회사 이동단말기 및 그 제어방법
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US20170060241A1 (en) * 2015-08-26 2017-03-02 Fujitsu Ten Limited Input device, display device, method of controlling input device, and program
JP6886236B2 (ja) * 2015-09-30 2021-06-16 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
EP3458872B1 (en) * 2016-05-19 2021-04-07 Harman International Industries, Incorporated Gesture-enabled audio device with visible feedback
WO2018053803A1 (zh) * 2016-09-23 2018-03-29 华为技术有限公司 一种压力触控方法及终端
US10297120B2 (en) * 2016-12-13 2019-05-21 Disney Enterprises, Inc. Haptic effect generation system
US11762445B2 (en) * 2017-01-09 2023-09-19 Inmusic Brands, Inc. Systems and methods for generating a graphical representation of audio signal data during time compression or expansion
EP3612915A4 (en) 2017-04-17 2020-02-26 Facebook, Inc. HAPTIC COMMUNICATION SYSTEM USING SKIN ACTUATORS FOR SIMULATION OF CONTINUOUS HUMAN TOUCH
US10992795B2 (en) 2017-05-16 2021-04-27 Apple Inc. Methods and interfaces for home media control
US11431836B2 (en) 2017-05-02 2022-08-30 Apple Inc. Methods and interfaces for initiating media playback
US10928980B2 (en) 2017-05-12 2021-02-23 Apple Inc. User interfaces for playing and managing audio items
EP3622377B1 (en) * 2017-05-12 2023-02-22 Razer (Asia-Pacific) Pte. Ltd. Apparatus, computer-readable medium and apparatus of controlling feedback parameters
US20220279063A1 (en) 2017-05-16 2022-09-01 Apple Inc. Methods and interfaces for home media control
CN111343060B (zh) 2017-05-16 2022-02-11 苹果公司 用于家庭媒体控制的方法和界面
US20200086215A1 (en) * 2017-05-22 2020-03-19 Sony Corporation Information processing apparatus, information processing method, and program
US10955922B2 (en) * 2017-11-29 2021-03-23 International Business Machines Corporation Simulating tactile information for haptic technology
KR102441746B1 (ko) * 2017-12-22 2022-09-08 삼성전자주식회사 복수의 디스플레이를 이용하여 사용자 인터페이스를 제공하는 방법, 및 이를 위한 전자 장치
KR102169236B1 (ko) * 2018-09-21 2020-10-27 주식회사 알엔디플러스 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
US20220244784A1 (en) * 2019-05-28 2022-08-04 Sony Group Corporation Information processing device, information processing method, and program
EP3948517A1 (en) 2019-05-31 2022-02-09 Apple Inc. User interfaces for audio media control
US11010121B2 (en) 2019-05-31 2021-05-18 Apple Inc. User interfaces for audio media control
CN111552420A (zh) * 2020-03-25 2020-08-18 瑞声科技(新加坡)有限公司 一种触摸交互方法、装置、终端设备及存储介质
US11822769B2 (en) * 2020-06-12 2023-11-21 Rohde & Schwarz Gmbh & Co. Kg Radar target simulator
JP2022012116A (ja) * 2020-07-01 2022-01-17 コニカミノルタ株式会社 情報処理装置、情報処理装置の制御方法及びプログラム
US11392291B2 (en) 2020-09-25 2022-07-19 Apple Inc. Methods and interfaces for media control with dynamic feedback
KR102256042B1 (ko) * 2020-10-13 2021-05-25 삼성전자 주식회사 입력을 유도하는 전자 장치 및 방법.
CN112506341B (zh) * 2020-12-01 2022-05-03 瑞声新能源发展(常州)有限公司科教城分公司 一种振动效果的生成方法、装置、终端设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070039113A (ko) * 2004-08-02 2007-04-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 압력 의존 시각적 피드백을 가지는 터치 스크린
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5298883A (en) * 1992-01-17 1994-03-29 Pilney Richard G Proximity alert system
JP2001134382A (ja) * 1999-11-04 2001-05-18 Sony Corp 図形処理装置
US6677965B1 (en) * 2000-07-13 2004-01-13 International Business Machines Corporation Rubber band graphical user interface control
US6963762B2 (en) * 2001-05-23 2005-11-08 Nokia Corporation Mobile phone using tactile icons
KR100769783B1 (ko) * 2002-03-29 2007-10-24 가부시끼가이샤 도시바 표시 입력 장치 및 표시 입력 시스템
US20040204000A1 (en) * 2002-05-30 2004-10-14 Aaron Dietrich Mobile communication device including an array sensor
JP4115198B2 (ja) * 2002-08-02 2008-07-09 株式会社日立製作所 タッチパネルを備えた表示装置
US7199786B2 (en) * 2002-11-29 2007-04-03 Daniel Suraqui Reduced keyboards system using unistroke input and having automatic disambiguating and a recognition method using said system
EP3121697A1 (en) 2004-07-30 2017-01-25 Apple Inc. Mode-based graphical user interfaces for touch sensitive input devices
JP4473685B2 (ja) * 2004-09-01 2010-06-02 任天堂株式会社 ゲーム装置およびゲームプログラム
US7408886B2 (en) * 2004-09-20 2008-08-05 Sony Ericsson Mobile Communication Ab Method for providing mobile phone user with accurate capability indicator
US20080098331A1 (en) * 2005-09-16 2008-04-24 Gregory Novick Portable Multifunction Device with Soft Keyboards
KR100877829B1 (ko) * 2006-03-21 2009-01-12 엘지전자 주식회사 스크롤링 기능을 갖는 단말기 및 그 스크롤링 방법
US7890863B2 (en) * 2006-10-04 2011-02-15 Immersion Corporation Haptic effects with proximity sensing
US7890778B2 (en) * 2007-01-06 2011-02-15 Apple Inc. Power-off methods for portable electronic devices
US8116807B2 (en) * 2007-01-07 2012-02-14 Apple Inc. Airplane mode indicator on a portable multifunction device
KR100832260B1 (ko) * 2007-02-03 2008-05-28 엘지전자 주식회사 이동통신 단말기 및 그 제어방법
US7979805B2 (en) * 2007-05-21 2011-07-12 Microsoft Corporation Button discoverability
US20090102805A1 (en) * 2007-10-18 2009-04-23 Microsoft Corporation Three-dimensional object simulation using audio, visual, and tactile feedback
TW200930015A (en) * 2007-12-26 2009-07-01 Htc Corp A user interface of portable device and operating method thereof
TWI362673B (en) * 2007-12-31 2012-04-21 Htc Corp Touch sensor keypad with tactile feedback mechanisms
US9857872B2 (en) * 2007-12-31 2018-01-02 Apple Inc. Multi-touch display screen with localized tactile feedback
KR20080049696A (ko) 2008-05-07 2008-06-04 (주)씨에스랩글로벌 전면 터치스크린을 구비한 휴대용 단말기에서의 향상된 게임 방법
US20090284532A1 (en) * 2008-05-16 2009-11-19 Apple Inc. Cursor motion blurring
KR101498623B1 (ko) 2008-06-25 2015-03-04 엘지전자 주식회사 휴대 단말기 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070039113A (ko) * 2004-08-02 2007-04-11 코닌클리케 필립스 일렉트로닉스 엔.브이. 압력 의존 시각적 피드백을 가지는 터치 스크린
JP2008033739A (ja) * 2006-07-31 2008-02-14 Sony Corp 力覚フィードバックおよび圧力測定に基づくタッチスクリーンインターラクション方法および装置

Also Published As

Publication number Publication date
US20150301604A1 (en) 2015-10-22
US10048756B2 (en) 2018-08-14
US9086755B2 (en) 2015-07-21
KR20100000744A (ko) 2010-01-06
US20090322695A1 (en) 2009-12-31

Similar Documents

Publication Publication Date Title
KR101498623B1 (ko) 휴대 단말기 및 그 제어방법
KR101524616B1 (ko) 자이로센서를 구비한 휴대 단말기 및 그 제어방법
KR101540779B1 (ko) 휴대 단말기 및 그 제어방법
KR101470543B1 (ko) 터치스크린을 구비하는 휴대 단말기 및 그 동작 제어방법
KR101553842B1 (ko) 멀티 햅틱 효과를 제공하는 휴대 단말기 및 그 제어방법
KR101474963B1 (ko) 휴대 단말기 및 그 제어방법
KR101517967B1 (ko) 휴대 단말기 및 그 제어방법
KR101482115B1 (ko) 자이로센서를 구비한 휴대 단말기 및 그 제어방법
KR101512041B1 (ko) 휴대 단말기 및 그 제어방법
KR101509007B1 (ko) 진동 모듈을 구비하는 휴대 단말기 및 그 동작방법
KR101414766B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR101505191B1 (ko) 휴대 단말기 및 그 동작 제어방법
KR20100021863A (ko) 휴대 단말기 및 그 구동 방법
KR20100030968A (ko) 단말기 및 그의 메뉴 디스플레이 방법
KR20100027502A (ko) 플렉서블 디스레이부를 구비한 휴대 단말기 및 그 제어방법
KR20110101683A (ko) 휴대 단말기 및 그 제어방법
KR101504682B1 (ko) 휴대 단말기 및 그 제어방법
KR20090037618A (ko) 휴대 단말기 및 그 포인터 제어방법
KR20090024594A (ko) 휴대단말기 및 메뉴검색 피드백 방법
KR20150066422A (ko) 애플리케이션의 메시지 전송방법
KR20100021859A (ko) 휴대 단말기 및 그 구동 방법
KR101442111B1 (ko) 휴대 단말기 동작 제어방법 및 휴대 단말기
KR101532006B1 (ko) 휴대 단말기 및 그 동작방법
KR20110037654A (ko) 이동 단말기에서의 터치 신호 처리 방법 및 이를 이용한 이동 단말기
KR101501950B1 (ko) 휴대 단말기 및 그 동작 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180124

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190123

Year of fee payment: 5