KR20100063042A - 햅틱 사용자 인터페이스 - Google Patents

햅틱 사용자 인터페이스 Download PDF

Info

Publication number
KR20100063042A
KR20100063042A KR1020107004169A KR20107004169A KR20100063042A KR 20100063042 A KR20100063042 A KR 20100063042A KR 1020107004169 A KR1020107004169 A KR 1020107004169A KR 20107004169 A KR20107004169 A KR 20107004169A KR 20100063042 A KR20100063042 A KR 20100063042A
Authority
KR
South Korea
Prior art keywords
user interface
haptic
interface component
array
controller
Prior art date
Application number
KR1020107004169A
Other languages
English (en)
Inventor
필립 존 린드베르그
사미 요하네스 니에멜라
Original Assignee
노키아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 노키아 코포레이션 filed Critical 노키아 코포레이션
Publication of KR20100063042A publication Critical patent/KR20100063042A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

햅틱 요소들의 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하는 단계; 상기 적어도 하나의 햅틱 사용자 인터페이스 성분 중 하나와 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하는 단계; 및 상기 적어도 하나의 사용자 인터페이스 성분 중 상기 하나의 활성화와 관련된 소프트웨어 코드를 실행하는 단계를 포함하는 방법이 제공된다. 상응하는 장치, 컴퓨터 프로그램 제품 및 사용자 인터페이스도 역시 제공된다.

Description

햅틱 사용자 인터페이스{Haptic User Interface}
본 발명은 일반적으로 사용자 인터페이스에 관련되고, 특히 햅틱 사용자 인터페이스에 관련된다.
전자 장치를 제어하기 위한 사용자용 사용자 인터페이스는 최초의 전자 장치 이후로 계속 발달해 왔다. 전형적으로, 디스플레이는 출력을 위해 사용되고, 키패드는 특히 휴대용의 전자 장치의 경우 입력을 위해 사용된다.
그러나, 휴대용의 전자 장치와 관련된 문제점이 있는데, 이것은 디스플레이를 볼 수 없는 경우에도 사용자가 장치와 상호작용하고자 원할 수 있다는 점이다.
이러한 문제점을 완화하기 위한 한 가지 공지된 방법은 음성 합성 및 음성 인식을 이용하는 것이다. 음성 합성 기법은 장치가 스피커 또는 헤드폰을 통해 사용자에게 데이터를 출력하는 경우이다. 음성 인식 기법은 사용자 입력을 수신하기 위하여 장치가 사용자로부터의 음성 명령을 해석하는 경우이다. 그러나, 사용자가 조용한 상태에서 장치와 상호작용하고자 하는 상황이 여전히 존재한다.
결과적으로, 개선된 사용자 인터페이스가 필요하다.
전술된 내용을 고려하면, 본 발명의 목적은 전술된 문제점을 해결하거나 적어도 감소시키는 것이다.
일반적으로, 이러한 목적들은 첨부된 독립항 특허청구범위에 의하여 달성된다.
본 발명의 제1 측면에 따르면, 햅틱 요소들의 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하는 생성 단계; 적어도 하나의 햅틱 사용자 인터페이스 성분 중 하나와 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하는 단계; 및 적어도 하나의 사용자 인터페이스 성분 중 하나의 활성화와 관련된 소프트웨어 코드를 실행하는 단계를 포함하는 것을 특징으로 하는 방법이 제공된다.
적어도 하나의 햅틱 사용자 인터페이스 성분 각각은 관심 대상인 햅틱 사용자 인터페이스 성분을 표시하는 기하학적 구조(geometrical configuration)를 가지고 생성될 수 있다.
상기 생성 단계는 햅틱 요소 어레이를 이용하여 복수 개의 사용자 인터페이스 성분을 생성하는 단계를 포함할 수 있고, 복수 개의 사용자 인터페이스 성분들 각각은 미디어 콘트롤러 어플리케이션을 제어하기 위한 개별 소프트웨어 코드와 관련될 수 있다.
복수 개의 사용자 인터페이스 성분들은, 미디어 일시정지, 미디어 재생, 볼륨 증가, 볼륨 감소, 앞으로 건너뛰기 및 뒤로 건너뛰기 동작들과 관련될 수 있다.
상기 생성 단계는 경보(alert)와 관련된 사용자 인터페이스 성분을 생성하는 단계를 포함할 수 있다.
상기 생성 단계는 온라인 활동 모니터링(online activity monitoring)과 관련된 사용자 인터페이스 성분을 생성하는 단계를 포함할 수 있다.
본 발명의 제2 측면은, 콘트롤러; 및 햅틱 요소들의 어레이를 포함하고, 콘트롤러는 햅틱 요소들의 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하도록 구현되며; 콘트롤러는 사용자 인터페이스 성분과 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하도록 구현되고; 콘트롤러는 검출에 대한 응답으로서, 사용자 인터페이스 성분의 활성화와 관련된 소프트웨어 코드를 실행하도록 구현되는 것을 특징으로 하는 장치이다.
상기 장치는 이동 통신 단말기 내에 포함할 수 있다.
콘트롤러는 더 나아가 관심 대상인 햅틱 사용자 인터페이스 성분을 표시하는 기하학적 구조를 가지는 적어도 하나의 햅틱 사용자 인터페이스 성분 각각을 생성하도록 구성될 수 있다.
복수 개의 사용자 인터페이스 성분들 각각은, 미디어 콘트롤러 어플리케이션을 제어하기 위한 개별 소프트웨어 코드와 관련될 수 있다.
복수 개의 사용자 인터페이스 성분들은 미디어 일시정지, 미디어 재생, 볼륨 증가, 볼륨 감소, 앞으로 건너뛰기 및 뒤로 건너뛰기 동작들과 관련될 수 있다.
본 발명의 제3 측면은, 햅틱 요소들의 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하기 위한 수단; 적어도 하나의 햅틱 사용자 인터페이스 성분 중 하나와 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하기 위한 수단; 및 적어도 하나의 사용자 인터페이스 성분 중 하나의 활성화와 관련된 소프트웨어 코드를 실행하기 위한 수단을 포함하는 것을 특징으로 하는 장치이다.
본 발명의 제4 측면은, 소프트웨어 명령어들을 실행할 수 있는 콘트롤러 내에서 실행되면, 제1 측면에 따르는 방법을 수행하는 소프트웨어 명령어들을 포함하는 컴퓨터 프로그램 제품이다.
본 발명의 제5 측면은, 햅틱 요소들의 어레이를 포함하는 사용자 인터페이스인데, 사용자 인터페이스는 햅틱 요소들의 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하도록 구현되고; 사용자 인터페이스는 사용자 인터페이스 성분에 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하도록 구성되며; 및 사용자 인터페이스는 검출에 대한 응답으로서, 사용자 인터페이스 성분의 활성화와 관련된 소프트웨어 코드를 실행하도록 구성된다.
제1 측면의 모든 특징이 제2, 제3, 제4 및 제5 측면에 적용될 수 있다.
본 발명의 다른 목적, 특징 및 장점들은 후술되는 상세한 설명으로부터, 첨부된 종속 청구항들로부터, 및 첨부 도면으로부터 명백해질 것이다.
일반적으로, 청구항에서 사용되는 모든 용어는 명백하게 그렇지 않다고 정의되지 않는 한 당업계의 일반적 의미에 따라서 해석되어야 한다. 명백하게 그렇지 않다고 정의되지 않는 한, "하나/그 [요소, 장치, 성분, 수단, 단계 등]"에 대한 참조는 요소, 장치, 성분, 수단, 단계 등의 적어도 하나의 인스턴스를 참조하는 것으로 개방적으로 해석되어야 한다. 본 명세서에서 개시된 모든 방법의 단계들은 명백하게 진술되지 않는 한 개시된 정확한 순서로 수행될 필요는 없다.
본 발명의 실시예들이 첨부된 도면을 참조하여 다음과 같이 상세하게 설명될 것이다.
도 1은 본 발명이 적용될 수 있는 환경의 일 예인 셀룰러 원격 통신 시스템의 개념적 도면이다.
도 2a 내지 도 2c는 본 발명의 일 실시예에 따른 이동 단말기를 예시하는 도면들이다.
도 3은 도 2에 도시된 이동 단말기의 내부 성분, 소프트웨어 및 프로토콜 구조를 표시하는 개념적 블록도이다.
도 4a 및 도 4b는 도 2에 도시된 이동 단말기 내에 구현될 수 있는 미디어 제어를 위한 햅틱 사용자 인터페이스를 사용하는 것을 예시한다.
도 5는 도 2에 도시된 이동 단말기 내에 구현될 수 있는 경보를 위한 사용자 인터페이스를 사용하는 것을 예시한다.
도 6은 도 2에 도시된 이동 단말기 내에 구현될 수 있는 활동 모니터링(online activity monitoring)을 위한 사용자 인터페이스를 사용하는 것을 예시한다.
도 7은 도 2에 도시된 이동 단말기 내에서 실행될 수 있는 본 발명의 일 실시예에 따르는 방법을 예시하는 흐름도이다.
본 발명은 이제부터 본 발명의 특정 실시예들이 도시된 첨부 도면을 참조하여 더 상세히 설명될 것이다. 그러나, 본 발명은 여러 다른 형태로서도 구현될 수 있으며 본 명세서에 설명되는 실시예들에 한정되는 것으로 이해되어서는 안 된다. 이러한 실시예들은 예시적인 목적으로 제공됨으로써 이러한 개시 사항이 완전하고 온전하도록 하는 것이며, 본 발명의 기술적 범위를 완전하게 당업자에게 전달할 것이다. 명세서 전체를 통하여 유사한 부재 번호는 유사한 구성 요소를 가리킨다.
도 1은 본 발명이 적용될 수 있는 셀룰러 원격 통신 시스템의 예를 도시한다. 도 1의 원격 통신 시스템에서, 셀룰러 음성 통화, www/wap 브라우징, 셀룰러 비디오 통화, 데이터 통화, 팩스 송신, 음악 송신, 정지 화상 송신, 영상 송신, 전자식 메시지 송신과 전자 상거래와 같은 다양한 원격 통신 서비스가 본 발명에 따르는 이동 단말기(100) 및 다른 이동 단말기(106) 또는 고정식 전화기(119)와 같은 다른 장치들 사이에서 수행될 수 있다. 이동 단말기(100)의 상이한 실시예들 및 상이한 상황에서, 언급된 원격 통신 서비스들 중 상이한 것들이 가용하거나 가용하지 않을 수 있다는 점에 주의하여야 한다; 본 발명은 이러한 관점에서 어떠한 서비스의 특정 집합에 한정되는 것이 아니다. 이동 단말기(100)는 BluetoothTM 또는 적외선 광과 같은 로컬 연결을 이용하여 예를 들어 헤드셋과 같은 로컬 장치(101)에 연결된다.
이동 단말기(100, 106)는 기지국(104, 109)을 경유하여 RF 링크(102, 108)를 통하여 이동식 원격 통신 네트워크(110)에 접속된다. 이동식 원격 통신 네트워크(110)는 이를테면 GSM, UMTS, D-AMPS, CDMA2000, FOMA 및 TD-SCDMA와 같은 모든 상업적으로 구현 가능한 이동식 원격 통신 표준과 호환될 수 있다.
이동식 원격 통신 네트워크(110)는 광역 통신망(112)에 동작 가능하도록 연결되는데, 광역 통신망은 인터넷이거나 그의 일부일 수 있다. 서버(115)는 데이터 저장소(114)를 가지며, 인터넷 클라이언트 컴퓨터(116)와 같이 광역 통신망(112)에 접속된다.
공중 교환 전화 네트워크(public switched telephone network, PSTN)(18)가 공지된 방식으로 이동 원격 통신 네트워크(110)에 접속된다. 고정식 전화기(119)를 포함하는 다양한 전화 단말기들이 PSTN(118)에 접속된다.
이동 단말기(100)의 실시예(200)의 정면도는 도 2a에서 좀더 상세하게 도시된다. 이동 단말기(200)는 스피커 또는 이어폰(222), 마이크로폰(225), 디스플레이(223), 및 일군의 키(224)를 포함한다.
도 2b는 이동 단말기(200)의 측면도로서, 키패드(224)가 도면에 제공된다. 더 나아가, 햅틱 어레이(226)의 부분들은 이동 단말기(200)의 뒷면에 보일 수 있다. 햅틱 어레이(226)가 반드시 이동 단말기(200)의 뒷면에 위치할 필요가 없다는 점에 주의하여야 한다; 햅틱 어레이(226)는 동등하게 정면 상에 디스플레이(223) 옆에 위치하거나 다른 측면에 위치할 수도 있다. 또는, 몇 개의 햅틱 어레이(226)들이 하나 또는 그 이상의 표면에 제공될 수 있다.
도 2c는 이동 단말기(200)의 배면도다. 여기에서는 햅틱 어레이(226)가 좀더 상세하게 보일 수 있다. 이러한 햅틱 어레이는 행렬 형태로 배열된 많은 햅틱 요소(227, 228)들을 포함한다. 각 햅틱 요소(227, 228)들의 상태는 적어도 올라가거나 내려진 상태에서는 콘트롤러(도 3의 331)에 의하여 제어될 수 있다. 햅틱 요소(227)는 채워진 원으로서 도 2c에 표시되는 올려진 상태에 있으며, 햅틱 요소(228)는 원의 외곽선에 의하여 도 2c에 표시되는 내려진 상태에 있다. 또는, 다른 실시예에서는 햅틱 요소(227, 228)들은 올려진 상태 및 내려진 상태 사이의 상태로도 제어될 수 있다. 사용자가 내려진 요소 및 올려진 요소 사이의 차이점을 느낄 수 있기 때문에, 출력 정보는 햅틱 어레이(226)의 요소들을 상이한 조합으로 제어함에 의하여 콘트롤러(도 3의 331)로부터 사용자에게 제공될 수 있다. 더 나아가, 햅틱 요소와의 사용자 접촉이 감지되고 콘트롤러(도 3의 331)로 공급될 수 있다. 다시 말하면, 사용자가 하나 또는 그 이상의 햅틱 요소를 누르거나 접촉하면, 이것은 콘트롤러에 의하여 어떤 햅틱 요소를 사용자가 누르거나 접촉하였는지에 대한 정보를 이용하여 사용자 입력으로서 해석될 수 있다. 햅틱 요소와의 사용자 접촉은 예를 들어 커패시턴스, 인덕턴스 등을 이용하여 기계적인 방식으로 모든 적절한 방식으로 검출될 수 있다. 사용자 접촉은 각 햅틱 요소에서 검출되거나 햅틱 요소들의 그룹에서 검출될 수 있다. 또는, 사용자 접촉은 예를 들어 관심 대상인 햅틱 요소 및 하나 또는 그 이상의 인접 햅틱 요소들 사이의 저항 또는 커패시턴스의 변화를 검출함으로써 검출될 수 있다. 그러므로, 콘트롤러는 언제 사용자가 햅틱 요소를 누르는지 검출할 수 있고, 또한 어떤 햅틱 요소들이 영향받는지 검출할 수 있다. 또는, 예를 들어 압력과 같은 강도(intensity)에 대한 정보가 역시 콘트롤러로 제공된다.
이동 단말기(200)의 내부 성분, 소프트웨어 및 프로토콜 구조가 도 3을 참조하여 설명될 것이다. 이동 단말기는 이단말기의 전체 동작을 담당하며 상용화된 CPU(Central Processing Unit), DSP(Digital Signal Processor) 또는 다른 모든 전자적으로 프로그램 가능한 논리 장치에 의하여 바람직하게 구현되는 콘트롤러(331)를 포함한다. 콘트롤러(331)는 이를테면 RAM 메모리, ROM 메모리, EEPROM 메모리, 플래시 메모리, 하드 드라이브, 광 기억 장치 또는 이들의 조합인 관련 전자식 메모리(332)를 포함한다. 메모리(332)는 콘트롤러(331)에 의해 다양한 목적을 위해 이용되는데, 이들 중 하나는 이동 단말기 내의 다양한 소프트웨어를 위한 데이터 및 프로그램 명령어를 저장하는 것이다. 소프트웨어는 실시간 운영 체계(336), 인간-기계 인터페이스(MMI)를 위한 드라이버(339), 다양한 어플리케이션들은 물론 어플리케이션 핸들러(338)를 포함한다. 어플리케이션은 미디어 플레이어 어플리케이션(340), 알람 어플리케이션(alarm application)(341), 및 다양한 다른 어플리케이션(342), 이를테면 음성 통화, 비디오 통화, 웹 브라우징, 메시징, 문서 판독 및/또는 문서 편집을 위한 어플리케이션, 인스턴트 메시징 어플리케이션, 전화 번호부 어플리케이션, 달력 어플리케이션, 제어판 어플리케이션, 하나 이상의 비디오 게임, 노트 패드 어플리케이션, 등을 포함할 수 있다.
MMI(339)는 또한 하나 또는 그 이상의 하드웨어 콘트롤러를 포함할 수 있는데, 이들과 MMI 드라이버가 햅틱 어레이(326), 디스플레이(323/223), 키패드(324/224), 및 다양한 다른 입출력 장치(329), 이를테면 마이크로폰, 스피커, 바이브레이터, 통화음(ringtone) 발생기, LED 표시기 등과 함께 동작한다. 주지되는 바와 같이, 사용자는 이에 따라서 구현된 인간-기계 인터페이스를 통하여 이동 단말기를 조작할 수 있다. 햅틱 어레이(326)는 MMI(339)로부터의 전기적 제어 신호를 햅틱 어레이(326)의 개별 햅틱 요소의 기계적 제어 동작으로 변환하는 전기자기적 수단을 포함하거나 이에 연결된다.
소프트웨어는 또한 공통적으로 부재 번호 337로 표시되고 로컬 연결을 위하여 RF 인터페이스(333), 및 선택적으로는 블루투스TM 인터페이스(334) 및/또는 IrDA 인터페이스(335)를 위한 통신 서비스(전송, 네트워크 및 연결성)를 제공하는 다양한 모듈, 통신 프로토콜 스택, 드라이버 등을 포함한다. RF 인터페이스(333)는 기지국으로의 무선 링크를 설립하고 유지하기 위한 적절한 무선 회로부(예컨대, 도 1의 링크(102) 및 기지국(104))는 물론 내장 또는 외장 안테나를 포함한다. 당업자에게는 주지된 바와 같이, 무선 회로부는 함께 무선 수신기 및 송신기를 형성하는 일련의 아날로그 및 디지털 전자 성분을 포함한다. 이러한 성분들에는 예를 들어 대역 통과 필터, 증폭기, 믹서, 국부 발진기, 저역 통과 필터, AD/DA 변환기 등이 포함된다.
또한, 이동 단말기는 SIM 카드(330) 및 이와 관련된 리더기를 가진다. 주지되는 바와 같이, SIM 카드(330)는 로컬 작업 및 데이터 메모리를 위한 프로세서를 포함한다.
이제 본 발명의 일 실시예에 따르는 사용자 인터페이스를 제공하는 시나리오가 제공된다.
도 4a 및 도 4b는 도 2의 이동 단말기 내에 구현될 수 있는 미디어 제어를 위한 햅틱 사용자 인터페이스의 사용 과정을 예시한다. 사용자 인터페이스 성분은 이동 단말기(400)(이를테면 이동 단말기(200))의 햅틱 어레이(426)(이를테면 햅틱 어레이(226))의 햅틱 요소를 들어올림으로써 생성된다. 결과적으로, 도 4a에 도시된 바와 같이, 이를테면 "재생" 성분(452), "다음" 성분(453), "이전" 성분(450), "볼륨 증가" 성분(451), "볼륨 감소" 성분(454)" 및 "진행" 성분(455)과 같은 사용자 인터페이스 성분들은 햅틱 어레이의 상응하는 햅틱 요소들을 들어올림으로써 생성된다. 성분들의 기하학적 구조 또는 형상은 각각 종래의 심벌들과 상응한다. 또는, 성분들은 햅틱 요소를 내림으로써 생성될 수 있으며, 이를 통하여 사용자 인터페이스 성분과 관련되지 않은 햅틱 요소들이 올려진 상태에 있게 되고, 이것은 예를 들어 사용자 인터페이스가 원치 않는 활성화를 막기 위하여 잠겼다는 것을 나타내기 위하여 이용될 수 있다. 이러한 성분에 대한 사용자 압력이 또한 검출될 수 있으며, 이를 통하여 해당 성분과 관련된 소프트웨어 코드가 실행된다. 결과적으로, 사용자는 예를 들어 다음 트랙으로 스킵하기 위하여 다음 성분(453)을 누르기만 하면 된다. 이를 통하여 사용자가 디스플레이를 볼 수 없는 상황에도 직관적이고 용이한 사용자 입력이 가능해진다. 만일 사용자가 재생 성분(452)을 누르면, 음악과 같은 미디어가 재생되기 시작하고, 이동 단말기(400)의 햅틱 어레이(426)는 도 4b에 도시된 것처럼 변경된다. 여기서, 일시 정지 성분(457)이 도 4a의 재생 성분(452)이 이전에 발생된 지점에서 이제 생성되었다. 다시 말하면, 미디어 플레이어 어플리케이션의 상태에 상응하여 제어기(331)로부터 출력이 생성되는데, 이 경우에 비-재생 상태로부터 도 4b의 재생 상태로 천이한다. 행렬 스타일 햅틱 어레이의 일반적이고 적응적인 성질 때문에, 햅틱 어레이(426)는 모든 적당한 출력을 위해 사용될 수 있다. 이동 단말기(400)는 이에 의하여 사용자에게 출력을 제공하거나 사용자로부터 입력을 수신할 수 있고, 이를 통하여 사용자로 하여금 터치만을 이용하여 이동 단말기를 이용하도록 허용한다. 본 명세서에서는 햅틱 요소들이 행렬 형태로 제공되나, 햅틱 요소들의 모든 적합한 구성도 역시 이용될 수 있다.
도 5는 도 2의 이동 단말기 내에 구현될 수 있으며 경보(alert)용으로 사용자 인터페이스를 이용하는 것을 예시하는 도면이다. 여기서, 경보(560)는 이동 단말기(500)(이를테면 이동 단말기(200))의 햅틱 어레이(526)(이를테면 햅틱 어레이(226))에서 생성된다. 비록 이 예에서 경보(560)가 메시지가 수신된 것을 표시하고 있는 봉투를 묘사하고 있지만, 경보는 회의, 경보, 저 전압 경고 등을 위한 메모를 포함하는 어떤 적당한 경보도일 수 있다. 선택적으로, 사용자가 햅틱 어레이(526)의 경보(560)를 누르면, 디폴트 동작이 수행될 수 있다. 예를 들면, 경보가 메시지 경보일 때, 이동 단말기(500)는 사용자가 음성 합성을 이용하여 사용자에게 메시지를 출력함으로써, 사용자가 해당 메시지를 들을 수 있도록 할 수 있다.
도 6은 도 2의 이동 단말기 내에 구현될 수 있는 온라인 활동 모니터링을 위하여 사용자 인터페이스를 이용하는 것을 예시한다. 도시된 실시예에서, 상이한 구역들(zones, 661-665)은 활동의 상이한 타입과 관련된다. 이러한 구역들은 다양한 콘텐츠 채널로 매핑되어 사용자에게 감춤-사용 시나리오(blind-use scenario) 내의 활동을 모니터링할 능력을 제공한다. 예를 들어, 도시된 실시예에서 센터 구역(663)은 개인적 지인(personal contact)들로부터의 메시지와 관련되고, 상좌 구역(661)은 MySpace® 활동과 관련되며, 상우 구역(662)은 FlickrTM 활동과 관련되고, 하우 구역(664)은 페이스북(Facebook) 활동과 관련되며, 하좌 구역(665)은 특정 블로그 활동과 관련된다. 또는, 이러한 구역들은 사용자에 의하여 구성될 수도 있다. 활동 정보는 서버(도 1의 115)로부터 이동 네트워크(도 1의 110) 및 광역 네트워크(도 1의 112)를 이용하여 이동 단말기로 수신된다. 예를 들어, 프로토콜 RSS(Really Simple Syndication)는 활동 정보를 수신하는데 이용될 수 있다. 선택적으로, 사용자가 구역(661-665) 중 어느 하나 내의 사용자 인터페이스 성분을 누르면, 이동 단말기(600)는 음성 합성을 이용하여 관심 대상인 사성에 관련된 문장(statement)을 출력함으로써 응답할 수 있다. 예를 들어, 사용자가 FlickrTM과 관련된 우상 구역(664) 내의 사용자 인터페이스 성분 위를 누르면, 이동 단말기(600)는 "오늘 당신의 그림 그림에 대해 5개의 새로운 언급이 있습니다"라고 말함으로써 응답할 수 있다. 사용자가 햅틱 요소와 상호 작용하면(예컨대 누름에 의해), 이것은 또한 선택적으로 메타데이터를 생성할 수 있다. 이러한 메타데이터는 이동 단말기(600) 내에서 이용되거나 콘텐츠 소스에 전달되어, 해당 사용자가 이러한 상호작용과 관련된 콘텐츠를 알고 있으며 심지어 소비한 바 있다는 점을 진술할 수 있다. 이것은 사용자 및 관련 외부 개체 사이의 통신 및 양호한 정렬(alignment)을 지원하는 메타데이터의 고가치 정보를 비록 낮은 레벨이지만 추가한다.
도 7은 도 2의 이동 단말기 내에서 실행될 수 있는 본 발명의 일 실시예에 따르는 방법을 예시하는 흐름도이다. 최초 햅틱 사용자 인터페이스(UI) 성분 생성 단계(780)에서, 햅틱 사용자 인터페이스 성분들이 이동 단말기(200)의 햅틱 어레이(226)에서 생성된다. 예를 들어, 이것은 전술된 도 4a에 더욱 상세히 도시될 수 있다.
햅틱 UI 성분 검출 단계(782)에서, 사용자 입력은 햅틱 어레이를 이용하여 검출된다. 이에 대한 상세한 사항은 전술된 도 2c와 관련하여 설명된다.
관련 코드 실행 단계(784)에서, 콘트롤러는 이전 단계의 사용자 입력과 관련된 코드를 실행한다. 예를 들어, 사용자 입력이 미디어 플레이어 내에서 음악을 재생하는 것에 관련되면, 콘트롤러는 음악을 재생하기 위한 코드를 실행한다.
비록 본 발명이 이동 단말기 내의 실시예를 이용하여 설명되었지만, 본 발명은 휴대용 컴퓨터, 휴대용 mp3 플레이어, 휴대용 게임 장치, 랩-톱 컴퓨터, 데스크탑 컴퓨터와 같은 햅틱 사용자 인터페이스의 장점을 이용할 수 있는 모든 타입의 휴대용 장치에 적용가능하다.
본 발명은 몇 가지 실시예를 참조하여 주로 설명되었다. 그러나, 당업자에게는 주지된 바와 같이, 본 명세서에 개시된 실시예들 이외의 다른 실시예들도 역시 첨부된 특허청구범위에 의하여 정의되는 본 발명의 기술적 사상에 속할 수 있다는 것이 쉽게 이해될 것이다.
본 발명은 사용자 인터페이스에 적용될 수 있고, 특히 햅틱 사용자 인터페이스에 적용될 수 있다.

Claims (14)

  1. 햅틱 요소들의 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하는 생성 단계;
    상기 적어도 하나의 햅틱 사용자 인터페이스 성분 중 하나와 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하는 단계; 및
    상기 적어도 하나의 사용자 인터페이스 성분 중 상기 하나의 활성화와 관련된 소프트웨어 코드를 실행하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 적어도 하나의 햅틱 사용자 인터페이스 성분 각각은 관심 대상인 햅틱 사용자 인터페이스 성분을 표시하는 기하학적 구조(geometrical configuration)를 가지고 생성되는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 생성 단계는,
    상기 햅틱 요소 어레이를 이용하여 복수 개의 사용자 인터페이스 성분을 생성하는 단계를 포함하고,
    상기 복수 개의 사용자 인터페이스 성분들 각각은 미디어 콘트롤러 어플리케이션을 제어하기 위한 개별 소프트웨어 코드와 관련되는 것을 특징으로 하는 방법.
  4. 제3항에 있어서,
    상기 복수 개의 사용자 인터페이스 성분들은, 미디어 일시정지, 미디어 재생, 볼륨 증가, 볼륨 감소, 앞으로 건너뛰기 및 뒤로 건너뛰기 동작들과 관련되는 것을 특징으로 하는 방법.
  5. 제1항에 있어서, 상기 생성 단계는,
    경보(alert)와 관련된 사용자 인터페이스 성분을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 생성 단계는,
    온라인 활동 모니터링(online activity monitoring)과 관련된 사용자 인터페이스 성분을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 장치에 있어서,
    콘트롤러; 및
    햅틱 요소들의 어레이를 포함하고,
    상기 콘트롤러는 햅틱 요소들의 상기 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하도록 구현되며;
    상기 콘트롤러는 상기 사용자 인터페이스 성분과 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하도록 구현되고;
    상기 콘트롤러는 상기 검출에 대한 응답으로서, 상기 사용자 인터페이스 성분의 활성화와 관련된 소프트웨어 코드를 실행하도록 구현되는 것을 특징으로 하는 장치.
  8. 제7항에 있어서,
    상기 장치는 이동 통신 단말기 내에 포함되는 것을 특징으로 하는 장치.
  9. 제7항에 있어서, 상기 콘트롤러는 더 나아가,
    관심 대상인 햅틱 사용자 인터페이스 성분을 표시하는 기하학적 구조를 가지는 상기 적어도 하나의 햅틱 사용자 인터페이스 성분 각각을 생성하도록 구성되는 것을 특징으로 하는 장치.
  10. 제7항에 있어서, 상기 복수 개의 사용자 인터페이스 성분들 각각은,
    미디어 콘트롤러 어플리케이션을 제어하기 위한 개별 소프트웨어 코드와 관련되는 것을 특징으로 하는 장치.
  11. 제10항에 있어서, 상기 복수 개의 사용자 인터페이스 성분들은,
    미디어 일시정지, 미디어 재생, 볼륨 증가, 볼륨 감소, 앞으로 건너뛰기 및 뒤로 건너뛰기 동작들과 관련되는 것을 특징으로 하는 장치.
  12. 햅틱 요소들의 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하기 위한 수단;
    상기 적어도 하나의 햅틱 사용자 인터페이스 성분 중 하나와 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하기 위한 수단; 및
    상기 적어도 하나의 사용자 인터페이스 성분 중 상기 하나의 활성화와 관련된 소프트웨어 코드를 실행하기 위한 수단을 포함하는 것을 특징으로 하는 장치.
  13. 소프트웨어 명령어들을 실행할 수 있는 콘트롤러 내에서 실행되면, 제1항에 따르는 방법을 수행하는 소프트웨어 명령어들을 포함하는 컴퓨터 프로그램 제품.
  14. 사용자 인터페이스에 있어서,
    햅틱 요소들의 어레이를 포함하며,
    상기 사용자 인터페이스는 햅틱 요소들의 상기 어레이를 이용하여 적어도 하나의 햅틱 사용자 인터페이스 성분을 생성하도록 구현되고;
    상기 사용자 인터페이스는 상기 사용자 인터페이스 성분에 관련된 적어도 하나의 햅틱 요소에 적용되는 사용자 입력을 검출하도록 구성되며; 및
    상기 사용자 인터페이스는 상기 검출에 대한 응답으로서, 상기 사용자 인터페이스 성분의 활성화와 관련된 소프트웨어 코드를 실행하도록 구성되는 것을 특징으로 하는 사용자 인터페이스.
KR1020107004169A 2007-08-02 2008-06-25 햅틱 사용자 인터페이스 KR20100063042A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/832,914 US20090033617A1 (en) 2007-08-02 2007-08-02 Haptic User Interface
US11/832,914 2007-08-02

Publications (1)

Publication Number Publication Date
KR20100063042A true KR20100063042A (ko) 2010-06-10

Family

ID=40304952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107004169A KR20100063042A (ko) 2007-08-02 2008-06-25 햅틱 사용자 인터페이스

Country Status (5)

Country Link
US (1) US20090033617A1 (ko)
EP (1) EP2183658A2 (ko)
KR (1) KR20100063042A (ko)
CN (1) CN101815976A (ko)
WO (1) WO2009015950A2 (ko)

Families Citing this family (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7644282B2 (en) 1998-05-28 2010-01-05 Verance Corporation Pre-processed information embedding system
US6737957B1 (en) 2000-02-16 2004-05-18 Verance Corporation Remote control signaling using audio watermarks
EP2782337A3 (en) 2002-10-15 2014-11-26 Verance Corporation Media monitoring, management and information system
US20060239501A1 (en) 2005-04-26 2006-10-26 Verance Corporation Security enhancements of digital watermarks for multi-media content
US8020004B2 (en) 2005-07-01 2011-09-13 Verance Corporation Forensic marking using a common customization function
US8781967B2 (en) 2005-07-07 2014-07-15 Verance Corporation Watermarking in an encrypted domain
US20160187981A1 (en) 2008-01-04 2016-06-30 Tactus Technology, Inc. Manual fluid actuator
US8570295B2 (en) 2008-01-04 2013-10-29 Tactus Technology, Inc. User interface system
US8456438B2 (en) 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US9552065B2 (en) 2008-01-04 2017-01-24 Tactus Technology, Inc. Dynamic tactile interface
US8179375B2 (en) * 2008-01-04 2012-05-15 Tactus Technology User interface system and method
US9298261B2 (en) 2008-01-04 2016-03-29 Tactus Technology, Inc. Method for actuating a tactile interface layer
US9423875B2 (en) 2008-01-04 2016-08-23 Tactus Technology, Inc. Dynamic tactile interface with exhibiting optical dispersion characteristics
US8947383B2 (en) 2008-01-04 2015-02-03 Tactus Technology, Inc. User interface system and method
US9557915B2 (en) 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US9274612B2 (en) 2008-01-04 2016-03-01 Tactus Technology, Inc. User interface system
US9052790B2 (en) 2008-01-04 2015-06-09 Tactus Technology, Inc. User interface and methods
US9720501B2 (en) 2008-01-04 2017-08-01 Tactus Technology, Inc. Dynamic tactile interface
US8547339B2 (en) 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US8243038B2 (en) 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US8154527B2 (en) 2008-01-04 2012-04-10 Tactus Technology User interface system
US9063627B2 (en) 2008-01-04 2015-06-23 Tactus Technology, Inc. User interface and methods
US9588683B2 (en) 2008-01-04 2017-03-07 Tactus Technology, Inc. Dynamic tactile interface
US8553005B2 (en) 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US9372565B2 (en) 2008-01-04 2016-06-21 Tactus Technology, Inc. Dynamic tactile interface
US9128525B2 (en) 2008-01-04 2015-09-08 Tactus Technology, Inc. Dynamic tactile interface
US8970403B2 (en) 2008-01-04 2015-03-03 Tactus Technology, Inc. Method for actuating a tactile interface layer
US8922510B2 (en) 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US9612659B2 (en) 2008-01-04 2017-04-04 Tactus Technology, Inc. User interface system
US9588684B2 (en) 2009-01-05 2017-03-07 Tactus Technology, Inc. Tactile interface for a computing device
WO2010078596A1 (en) 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
WO2010078597A1 (en) * 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
US9024908B2 (en) * 2009-06-30 2015-05-05 Microsoft Technology Licensing, Llc Tactile feedback display screen overlay
CN102483675B (zh) 2009-07-03 2015-09-09 泰克图斯科技公司 用户界面增强系统
US8854314B2 (en) * 2009-09-29 2014-10-07 Alcatel Lucent Universal interface device with housing sensor array adapted for detection of distributed touch input
EP2517089A4 (en) 2009-12-21 2016-03-09 Tactus Technology USER INTERFACE SYSTEM
CN102725716B (zh) 2009-12-21 2016-04-13 泰克图斯科技公司 用户界面系统
US9239623B2 (en) 2010-01-05 2016-01-19 Tactus Technology, Inc. Dynamic tactile interface
US8619035B2 (en) * 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
US8847894B1 (en) * 2010-02-24 2014-09-30 Sprint Communications Company L.P. Providing tactile feedback incident to touch actions
WO2011112984A1 (en) 2010-03-11 2011-09-15 Tactus Technology User interface system
KR20130136905A (ko) 2010-04-19 2013-12-13 택투스 테크놀로지, 아이엔씨. 사용자 인터페이스 시스템
US9791928B2 (en) 2010-04-26 2017-10-17 Nokia Technologies Oy Apparatus, method, computer program and user interface
US9715275B2 (en) 2010-04-26 2017-07-25 Nokia Technologies Oy Apparatus, method, computer program and user interface
US9733705B2 (en) 2010-04-26 2017-08-15 Nokia Technologies Oy Apparatus, method, computer program and user interface
US8626553B2 (en) * 2010-07-30 2014-01-07 General Motors Llc Method for updating an electronic calendar in a vehicle
US8838978B2 (en) 2010-09-16 2014-09-16 Verance Corporation Content access management using extracted watermark information
KR20140043697A (ko) 2010-10-20 2014-04-10 택투스 테크놀로지, 아이엔씨. 사용자 인터페이스 시스템 및 방법
WO2012054780A1 (en) 2010-10-20 2012-04-26 Tactus Technology User interface system
US20120242584A1 (en) 2011-03-22 2012-09-27 Nokia Corporation Method and apparatus for providing sight independent activity reports responsive to a touch gesture
JP5716503B2 (ja) * 2011-04-06 2015-05-13 ソニー株式会社 情報処理装置、情報処理方法およびコンピュータプログラム
KR101238210B1 (ko) * 2011-06-30 2013-03-04 엘지전자 주식회사 이동 단말기
US8923548B2 (en) 2011-11-03 2014-12-30 Verance Corporation Extraction of embedded watermarks from a host content using a plurality of tentative watermarks
US9323902B2 (en) 2011-12-13 2016-04-26 Verance Corporation Conditional access using embedded watermarks
US9571606B2 (en) 2012-08-31 2017-02-14 Verance Corporation Social media viewing system
US20140075469A1 (en) 2012-09-13 2014-03-13 Verance Corporation Content distribution including advertisements
US8869222B2 (en) * 2012-09-13 2014-10-21 Verance Corporation Second screen content
US9405417B2 (en) 2012-09-24 2016-08-02 Tactus Technology, Inc. Dynamic tactile interface and methods
WO2014047656A2 (en) 2012-09-24 2014-03-27 Tactus Technology, Inc. Dynamic tactile interface and methods
WO2014081808A1 (en) * 2012-11-20 2014-05-30 Arizona Board Of Regents, A Body Corporate Of The State Of Arizona, Acting For And On Behalf Of Arizon State University Responsive dynamic three-dimensional tactile display using hydrogel
US9262794B2 (en) 2013-03-14 2016-02-16 Verance Corporation Transactional video marking system
US9557813B2 (en) 2013-06-28 2017-01-31 Tactus Technology, Inc. Method for reducing perceived optical distortion
US9251549B2 (en) 2013-07-23 2016-02-02 Verance Corporation Watermark extractor enhancements based on payload ranking
US9208334B2 (en) 2013-10-25 2015-12-08 Verance Corporation Content management using multiple abstraction layers
US9471143B2 (en) 2014-01-20 2016-10-18 Lenovo (Singapore) Pte. Ltd Using haptic feedback on a touch device to provide element location indications
US9182823B2 (en) 2014-01-21 2015-11-10 Lenovo (Singapore) Pte. Ltd. Actuating haptic element of a touch-sensitive device
JP2017514345A (ja) 2014-03-13 2017-06-01 ベランス・コーポレイション 埋め込みコードを用いた対話型コンテンツ取得
CN107067893B (zh) * 2017-07-03 2019-08-13 京东方科技集团股份有限公司 一种盲文显示面板、盲文显示装置及盲文显示方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2243117B (en) * 1990-04-20 1994-04-20 Technophone Ltd Portable radio telephone
US5717423A (en) * 1994-12-30 1998-02-10 Merltec Innovative Research Three-dimensional display
US6909424B2 (en) * 1999-09-29 2005-06-21 Gateway Inc. Digital information appliance input device
AU2002348831A1 (en) * 2001-12-12 2003-06-23 Koninklijke Philips Electronics N.V. Display system with tactile guidance
US7253807B2 (en) * 2002-09-25 2007-08-07 Uievolution, Inc. Interactive apparatuses with tactiley enhanced visual imaging capability and related methods
US7245292B1 (en) * 2003-09-16 2007-07-17 United States Of America As Represented By The Secretary Of The Navy Apparatus and method for incorporating tactile control and tactile feedback into a human-machine interface
US20050141677A1 (en) * 2003-12-31 2005-06-30 Tarmo Hyttinen Log system for calendar alarms
US7382357B2 (en) * 2005-04-25 2008-06-03 Avago Technologies Ecbu Ip Pte Ltd User interface incorporating emulated hard keys
US7952498B2 (en) * 2007-06-29 2011-05-31 Verizon Patent And Licensing Inc. Haptic computer interface

Also Published As

Publication number Publication date
WO2009015950A3 (en) 2009-06-11
EP2183658A2 (en) 2010-05-12
WO2009015950A2 (en) 2009-02-05
CN101815976A (zh) 2010-08-25
US20090033617A1 (en) 2009-02-05

Similar Documents

Publication Publication Date Title
KR20100063042A (ko) 햅틱 사용자 인터페이스
US9575655B2 (en) Transparent layer application
US10579148B2 (en) Tactile apparatus link
US11010052B2 (en) Computing devices having dynamically configurable user input devices, and methods of operating the same
US9313309B2 (en) Access to contacts
EP2153631B1 (en) Improved method and apparatus for switching between different modes in a mobile communication terminal
US20090303185A1 (en) User interface, device and method for an improved operating mode
US20080233937A1 (en) Mobile communication terminal and method
CN1959617A (zh) 用于在便携式终端中显示菜单的方法
JP2009537916A (ja) メニューナビゲーションにおけるサウンドフィードバック
CN101889261A (zh) 提供能够检测菜单或背景上的多种形式的触摸的ui的方法及使用该方法的多媒体装置
KR20090077950A (ko) 경보 신호를 제공하는 방법
KR20110040865A (ko) 터치 패드 및 이를 포함하는 전자 장치
CN1956472A (zh) 在便携式终端中分析信息并执行与其相应的功能的方法
CN101369213B (zh) 便携式电子设备以及控制该便携式电子设备的方法
US20140059151A1 (en) Method and system for providing contact specific delivery reports
CN106961518A (zh) 一种音频播放模式的切换方法及移动终端
CN106843903B (zh) 一种智能移动终端的用户行为模式应用方法和装置
CN109981896B (zh) 获取电子装置状态信息的方法、电子装置及可读存储介质
KR20040086941A (ko) 이동통신 단말기의 연주 방법

Legal Events

Date Code Title Description
A201 Request for examination
E601 Decision to refuse application