KR101397227B1 - 전자 장치를 위한 촉각 사용자 인터페이스 - Google Patents
전자 장치를 위한 촉각 사용자 인터페이스 Download PDFInfo
- Publication number
- KR101397227B1 KR101397227B1 KR1020127007238A KR20127007238A KR101397227B1 KR 101397227 B1 KR101397227 B1 KR 101397227B1 KR 1020127007238 A KR1020127007238 A KR 1020127007238A KR 20127007238 A KR20127007238 A KR 20127007238A KR 101397227 B1 KR101397227 B1 KR 101397227B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- input
- touch input
- electronic device
- touch
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
- G06F3/04142—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position the force sensing means being located peripherally, e.g. disposed at the corners or at the side of a touch sensing plate
Abstract
전자 장치를 위한 촉각 인터페이스는 컴플라이언트 부분, 컴플라이언트 부분 내에 임베드된 제1 입력 센서 및 제2 입력 센서를 포함한다. 제1 및 제2 센서들은 적어도 공통 디멘션에서 또는 공통 축 부근에 가해지는 촉각 입력 힘들에 대한 응답으로 차동 출력 신호를 생성한다. 프로세서는 그 차동 출력 신호들을 검출하고 터치 입력 장치에서의 촉각 입력으로서 해석한다.
Description
본 개시는 일반적으로 전자 장치들을 위한 및 전자 장치들에서의 터치 사용자 인터페이스들에 관련하고, 더 특별하게는 전자 장치들을 위한 또는 전자 장치들에서의 수직, 횡측, 회전 입력들 또는 이것들의 조합을 검출하는 촉각(tactile) 입력 장치 및 이에 대응하는 방법들에 관련한다.
전자 장치들을 위한 터치 감지 입력 장치들이 일반적으로 알려져 있다. 예를 들어, "Touch Screen with Rotationally Isolated Force Sensor"라고 타이틀된 미국 특허 번호 7,190,350은 스크린 상에서의 터치 입력들의 위치를 판정하는 하나 이상의 센서를 구비한 터치 스크린을 개시한다. 미국 특허 번호 7,190,350은 또한 터치 위치의 판정에 대한 왜곡의 효과들을 감소시키는 유연한 재료(pliable material)를 개시한다.
장치의 표면에 수직으로 가해지는 힘을 감지할 능력이 있는 많은 입력 장치에서의 도전과제는 조립 중에 센서의 불필요한 프리로딩(pre-loading)을 감소시키는 것이다. 이 문제는 변위(displacement) 또는 스트레인(strain)을 이용하여 힘을 측정하는 센서들에 내재해 있다. 그러한 센서들의 예시들은 여러 가지 중에서도 힘 감지 저항들, 스트레인 게이지들 및 용량성 힘 센서들을 포함한다. 또한, 몇몇의 입력 장치 응용들에서, 횡측 힘(lateral force) 또는 변위를 감지하는 것 및/또는 회전을 감지하는 것이 바람직하다. 조이스틱은 이러한 유형의 입력들을 감지할 수 있는 알려진 입력 장치의 예시이다. 그러나, 현재 조이스틱들은 부피가 큰 경향이 있고, 예를 들어 셀룰러 폰들 및 다른 얇은 휴대용 전자 장치들에서 요구되는, 비교적 얇은 폼 팩터들에서 쉽게 구현되지 않는다. 또한, 기존의 입력 장치 응용들은 제어가, 장치가 이용되거나 식별이 수행되는 환경 또는 동작 상황을 고려하지 않는 현저한 약점과 연관된다.
본 발명의 여러 국면, 특징 및 장점이 이하에 기술된 첨부된 도면들과 함께 이하의 상세한 설명을 신중히 고려하면 당업자들에게 더 충분히 명백해질 것이다. 도면들은 명쾌함을 위해 간략화될 수 있고 반드시 일정한 비례로 도시되지 않을 수 있다.
도 1은 휴대용 전자 장치의 블록도.
도 2는 휴대용 전자 장치의 터치 입력 장치에서의 센서 배열을 도해한 도면.
도 3은 휴대용 전자 장치의 터치 입력 장치에서의 센서 배열을 도해한 도면.
도 4는 휴대용 전자 장치의 터치 입력 장치에서의 센서 배열을 도해한 도면.
도 5는 전자 장치에서 터치 입력을 검출하는 방법의 흐름도.
도 2는 휴대용 전자 장치의 터치 입력 장치에서의 센서 배열을 도해한 도면.
도 3은 휴대용 전자 장치의 터치 입력 장치에서의 센서 배열을 도해한 도면.
도 4는 휴대용 전자 장치의 터치 입력 장치에서의 센서 배열을 도해한 도면.
도 5는 전자 장치에서 터치 입력을 검출하는 방법의 흐름도.
전자 장치를 위한 또는 전자 장치에서의 터치 입력들을 검출하기 위한 터치 인터페이스 및 대응하는 방법들이 개시된다. 일 구현에 따르면, 터치 입력에 응답하여 전자 장치의 유연한 표면 부분 내에 임베드된 제1 센서를 이용하여 제1 신호가 생성된다. 터치 입력에 응답하여 유연한 부분으로부터 제거된 제2 센서로 제2 신호가 생성되는데, 여기서 제1 센서 신호와 제2 센서 신호 간의 차이는 전자 장치에서의 터치 입력을 나타낸다. 제1 및 제2 센서들의 출력과 결합된 입력을 갖는 프로세서는 제1 및 제2 센서들의 출력 신호들 간의 차이에 기초하여 입력 신호를 판정한다. 터치 인터페이스는 터치 인터페이스의 표면에 실질적으로 평행한 평면에서 횡측 입력들, 터치 인터페이스의 표면에 수직인 입력들, 회전 입력들, 및 이것들의 조합들을 검출하도록 구성될 수 있다.
도 1에서, 휴대용 전자 장치(PED: portable electronic device)는 일반적으로 메모리(130)와 결합된 프로세서(120)를 지닌 하우징(110) 및 이하에서 더 논의되는 바와 같이 사용자로부터 터치 입력들을 수신하기 위한 터치 인터페이스를 포함하는 사용자 인터페이스를 포함한다. 사용자 인터페이스는 또한 키패드 및 다른 전통적인 사용자 입력들을 포함할 수 있다. PED는 또한 당업자에게 알려진 바와 같은 오디오 입력들 및 출력들 및 데이터 입력 및 출력 포트들을 포함할 수 있다. 프로세서는 하나 이상의 마이크로프로세서, 마이크로컨트롤러, 디지털 신호 처리기, 상태 기계, 논리 회로, 아날로그 회로 또는 오퍼레이션 또는 프로그래밍 명령어들에 기초하여 정보를 처리하는 몇몇 다른 장치로서 구현될 수 있는데, 상기 명령어들은 펌웨어 또는 드라이버들 또는 애플리케이션 기반 소프트웨어로서 구현될 수 있다. 대안적으로, 프로세서는 디지털적으로 프로그래밍 가능한 프로세서 또는 어떤 다른 프로그램 가능한 프로세서에 상당하는 하나 이상의 하드웨어 회로로서 구현될 수 있다. 메모리는 RAM 또는 ROM과 같은 휘발성 또는 비휘발성 메모리로서 또는 이들의 조합으로서 구현될 수 있다.
예시적 PED는 셀룰러 또는 무선 전화기, PDA, 리모트 컨트롤 유닛으로서, 또는 어떤 다른 휴대용 핸드헬드 장치로서 구현될 수 있다. 더 일반적으로, 여기서 기술되는 터치 입력 장치들은 휴대용 전자 장치 응용들이 아닌 응용들에서 채택될 수 있다. 그러한 응용들은 촉각 입력 장치가 채택될 수 있는 사용자 인터페이스를 포함하는 광대한 다수의 여러 장비들 중에서도 데스크탑, 노트북 및 랩탑 컴퓨터들, 워크스테이션들, POS 스테이션들(point-of-sale stations), 현금 인출기들, 및 자동차 콘솔들을 포함하지만 이에 제한되지는 않는다. 따라서, 여기서의 기술의 이익을 받는 당업자에게는 그렇게 기술된 터치 입력 장치들이 여러 휴대용 및 고정 호스트 장치에서 구현될 수 있다는 것이 명백할 것이다.
몇몇 실시예에서, 호스트 장치는 무선 또는 유선 모뎀들로서 구현될 수 있는 하나 이상의 트랜스시버 유닛(transceiver unit)(140)을 포함한다. 무선 통신 장치로서 구현되는 PED는 대응하는 무선 통신 프로토콜들, 예를 들어 여러 프로토콜들 중에서도 DECT, GSM, UMTS, LTE 및 WiMAX에 부합하는 하나 이상의 무선 트랜스시버를 포함할 수 있다. 몇몇 전자 장치는 또한 GPS, GLONASS 또는 Galileo 또는 다른 위성 수신기 같은 위선 네비게이션 수신기를 포함한다. XM-Sirius 수신기들과 같은 몇몇 위성 기반 라디오 수신기는 또한 네비게이션을 위해 이용될 수 있는 능력이 있다. PED는 또한 다른 장치들과 통신하기 위해 블루투스 또는 IrDA 같은 단거리 트랜스시버를 포함할 수 있다.
도 1에서, PED는 하우징의 일부분에서 노출되거나 노출될 수 있는 촉각 상호작용 영역을 포함하는 유연한 표면(160)을 포함하는 촉각 또는 터치 입력 장치(150)를 포함하고, 그 부분에서 사용자는 유연한 표면과 상호작용할 수 있다. 표면(160)은 여기서 유연한 것으로 언급되지만, 그 유연성은 사용자에게 쉽게 인지되지 못 할 수 있다. 유연한 표면(160)은 촉각 입력 힘을 센서들에게 전할 만큼 충분히 유연해야만 하고, 이는 이하에서 더 논의된다. 따라서 어느 정도는, 유연한 표면의 최소 유연성은 센서들의 감도에 의해 지시된다. 유연한 표면을 형성하는 데에 이용될 수 있는 예시적 물질들은 유리, 금속들, 플라스틱들, 및 엘라스토머들(elastomers)을 포함하지만 이에 제한되지는 않는다. 그러한 물질들의 유연성은 고유의 물질 특성뿐만 아니라 그것이 형성하는 유연한 표면의 치수들 및 설계 모두에 실질적으로 의존하여 변할 수 있다.
도 2(a)는 촉각 입력들을 검출하도록 구성된 예시적 터치 입력 장치를 도해한다. 그러한 입력들은 선택을 하는 것, 파일 또는 문서를 여는 것, 명령을 실행하는 것, 프로그램을 시작하는 것, 메뉴를 보는 것, 및 이와 유사한 것으로서 해석될 수 있다. 이 행동들은 또한 디스플레이 스크린 상에서 포인터 또는 커서 또는 아이콘과 같은 오브젝트를 옮기는 것을 포함한다. 터치 입력 장치는 입력 및 출력 양쪽 모두의 인터페이스로서, 예를 들어 각각 터치패드 및 디스플레이로서 동작하도록 구성될 수 있다. 다시 말해서, 몇몇 실시예에서, 터치패드는 PED와 같은 전자 장치의 필수 부분을 형성하거나, 또는 그것의 외부 액세서리인 디스플레이 장치에 통합된다. 다른 구현들에서, 터치패드는 임의의 디스플레이 장치와 별개일 수 있다.
도 1에서, 촉각 입력 장치는 특정 촉각 입력에 대한 응답으로 서로 다른 출력들을 생성하는 제1 및 제2 센서들(170, 180)을 포함하는데, 이 센서들의 차동 출력은 의도된 입력에 대응하도록 해석된다. 차동 출력 신호를 생성하기 위해, 제1 및 제2 센서들은 적어도 하나의 공통 디멘션, 방향 또는 축에서 또는 이를 따라 입력을 검출하거나 감지한다. 공통 축은 터치 인터페이스의 표면에 평행한 x-y 평면에, 또는 x-y 평면에 수직인 z축을 따라, 또는 이들의 어떤 조합으로 존재할 수 있다. 이러한 축들을 따른 또는 그 부근의 입력들은 유연한 표면의 촉각 입력 영역에서 수직, 횡측 또는 회전 움직임 또는 이것들의 어떤 조합에 의해 생성될 수 있다. 비록, 오직 두 개의 센서가 여기서 논의된 예시들에서 개시되지만, 다른 실시예들은 관심 있는 각각의 디멘션을 따라 움직임을 검출하는 다수의 센서를 연관시킬 수 있다.
제1 및 제2 센서들은 일반적으로 제1 및 제2 센서들이 터치 입력 장치에서의 특정 촉각 입력에 대한 응답으로 상이한 출력들을 생성하도록 구성된다. 그러한 구성은 센서들을 물리적으로 분리함으로써 및/또는 상이한 정도의 유연성을 갖는 물질들에 센서들을 임베드함으로써 구현될 수 있다. 일 실시예에서, 제1 센서는 유연한 표면과 결합되어 유연한 표면과 촉각 상호작용이 제1 센서에 의한 출력을 생성하도록 한다. 예를 들어, 제1 센서는 (1) 접착제를 이용하여 유연한 표면의 후면에 단순하게 부착될 수 있고; (2) 유연한 표면의 터치 영역 내에 또는 아래에 임베드될 수 있고; 또는 (3) 유연한 표면 내에 몰딩될(molded) 수 있다. 앞선 예시적 배열들에서, 제1 센서는 유연한 표면의 터치 영역의 적어도 일부분을 구성하여, 제1 센서와의 촉각 상호작용이 유연한 물질 내의 센서의 변위를 야기시키도록 한다. 다른 실시예에서, 제1 센서는 인쇄 회로 기판의 나머지로부터 기계적으로 고립되는 내부 인쇄 회로 기판 상에 놓여질 수 있다. 이 배열에서, 제1 센서 및 제2 센서 모두는 인쇄 회로 기판 상에 서로 인접할 수 있는데, 여기서 제1 센서는 그 주변에 기계적인 컷아웃을 갖고 또한 유연한 표면에 연결된다.
제2 센서는 제2 센서가 주어진 촉각 입력에 대한 응답으로 제1 센서의 출력에 상대적으로 상이한 출력을 생성하는 한, 유연한 표면을 형성하는 유연한 물질 내에 임베드될 수 있다. 예를 들어, 제2 센서는 하우징 내의 인쇄 회로 기판 상에 놓여질 수 있다. 다른 실시예에서, 제2 센서는 가요성 커넥터에 의해 주 인쇄 회로 기판에 부착된 더 작은 인쇄 회로 기판 상에 또는 이것 내에 배치되고; 그것은 접착제에 의해 하우징의 내부 표면에, 예를 들어 제1 센서가 유연한 표면을 갖는 하우징의 전면에 결합되는 경우에 하우싱의 후면에 부착될 수 있다.
도 2a에서, 제1 센서(170)는 하우징(110)의 넓은 면에 위치한 유연한 표면(160) 내에 배치되고, 제2 센서(180)는 하우징(110) 내에 배치된다. 유사한 구성이 도 3a에 도해된다. 도 2a에서, 유연한 표면(160)은 일반적으로 하우징(110)의 사용자 접근 가능 부분 상에 접촉 또는 촉각 상호작용 표면을 포함하는데, 여기서 유연한 표면은 신체의 부분, 스타일러스 또는 다른 수단과의 상호작용에 의해 유발되는 촉각 입력에 의해 가해지는 힘에 의해 보통 인지 하지 못할 정도로 변형될 수 있다. 일반적으로, 유연한 표면은 수직, 횡측 또는 회전 움직임 또는 그러한 입력들의 어떤 조합에 응답하는 터치 입력 장치의 컴플라이언트 부분(compliant portion)이다. 그러한 입력 힘들은 그에 따라 제1 및 제2 센서들 중 적어도 하나에 전달된다. 입력 힘들이 두 센서들에 전달되는 한, 그 입력 힘들은 차동적으로 전달된다. 유연한 표면은 실질적으로 평면이거나 곡면이거나 질감 있거나 또는 이와 유사할 수 있다.
일 구현에서, 제1 및 제2 센서들은 모두 적어도 하나의 공통 디멘션, 방향 또는 축을 따라 움직임을 측정하거나 입력을 검출하는 능력이 있는 동적 힘 센서들이다. 동적 힘 센서들은 전형적으로 가해진 힘에 대한 응답으로 발생하는 어떤 움직임을 검출한다. 그러한 움직임 센서들의 예들은 여러 센서 중에서 가속도계들, 예를 들어 MEMS 및 압전기 기반 장치들, 및 자이로스코프들을 포함한다.
차동 힘 센서의 이용은 장치 표면으로의 정적 배치에 의지하는 힘 센서들의 정밀한 조립에 대한 필요를 제거한다. 이것은 힘 센서 구현의 비용과 조립 복잡도를 감소시킨다. 또한, 이하에서 더 상세하게 설명될 바와 같이, 촉각 입력들을 검출 또는 측정하기 위한 차동 센서 신호의 이용은 움직임 아티팩트들 및 의도하지 않은 제스처들로 인한 움직임을 제거한다. 차동 센서 배열은 터치 입력 장치의 갑작스러운 변위들이 푸시(push) 또는 릴리스 입력 이벤트들로서 해석되지 않을 가능성을 감소시킨다. 차동 센서를 이용하면, 예를 들어 걷기로부터 및 장치의 전체적인 움직임에서 초래하는 터치 입력 장치의 움직임은 잘못된 입력들을 야기하지 않을 것인데, 그 이유는 그러한 움직임은 센서들 모두에게 동일한 힘을 전달하기 때문이다. 도 1에서, 예를 들어, 제1 및 제2 센서들(170, 180) 모두는 의도되지 않은 장치(100)의 움직임으로부터 동일한 힘을 감지한다. 따라서, 제1 센서(170)와 제2 센서(180) 간의 상대적 움직임은 0으로 되고 잘못된 입력으로서 간주될 것이다. 몇몇 실시예에서, 두 개의 센서 신호 출력 간의 차이가 0 또는 사전 결정된 임계치 아래인 경우에, 터치 입력은 또한 노이즈로서 버려질 수 있다. 그러한 임계치는 모델링 또는 실험적 또는 경험적 증거에 기초할 수 있다.
도 2b-2d에서, 일반적으로, 촉각 힘이 유연한 표면에 수직 또는 직각으로 가해지는 경우에, 제1 센서(170)는 수직 방향으로의 힘에 영향을 받거나 이를 검출한다. 일반적으로, 촉각 입력 장치에 가해지는 수직 힘은 횡측 및 수직 성분들 모두를 갖는 힘의 성분일 수 있다. 제1 센서는 그 후 수신된 입력을 촉각 입력에 비례하는 전자 출력 신호로 변환한다. 제2 센서(180)는 또한 제1 센서와 동일한 방향으로 수직 힘에 영향을 받거나 이를 검출한다. 제2 센서는 그 후 또한 수신된 입력을 비례 전자 출력 신호로 변환한다. 제1 및 제2 센서들의 각각의 출력은 프로세서, 예를 들어 도 1의 프로세서(120)에 연결된다. 그러나, 제1 및 제2 센서들의 각각에 의해 검출되는 입력은 상이하고, 따라서 제1 및 제2 센서들에 의해 생성되는 출력 신호들 또한 상이하다. 따라서 프로세서는 촉각 입력 장치에 가해지는 수직 힘에 대한 응답으로 센서들에 의해 생성되는 상이한 출력 신호들을 수신하고 또한 그 차동 신호를 입력 신호로서 해석한다. 수직 힘의 제거 또한, 프로세서에 의해 촉각 입력으로서 또한 해석될 수 있는, 제1 및 제2 센서들에 의한 출력 신호들의 생성을 초래한다. 프로세서는 입력 신호들을, 수직 촉각 입력들이 수신된 상황에 따라서 몇 개의 상이한 입력 명령들 중 하나에 매핑하도록 구성될 수 있다.
도 3b-3d에서, 일반적으로, 촉각 힘이 유연한 표면에 평행하게 또는 실질적으로 평행하게 가해지는 경우에, 제1 센서(170)는 유연한 평면에 평행한 x-y 평면을 따른 방향으로의 힘에 영향을 받거나 이를 검출한다. 일반적으로, 촉각 입력 장치에 가해지는 횡측 힘은 수직 및 횡측 성분들 모두를 갖는 힘의 성분일 수 있다. 제1 센서는 그 후 수신된 입력을 촉각 입력에 비례하는 전기 출력 신호로 변환한다. 유사하게, 제2 센서(180)는 또한 제1 센서와 동일한 방향으로 횡측 힘에 영향을 받거나 이를 검출한다. 제2 센서는 그 후 또한 수신된 입력을 비례 전기 출력 신호로 변환한다. 제1 및 제2 센서들의 각각의 출력은 프로세서, 예를 들어 도 1에서의 프로세서(120)에 연결된다. 그러나, 제1 및 제2 센서들의 각각에 의해 검출되는 입력은 상이하고, 따라서 제1 및 제2 센서들에 의해 생성되는 출력 신호들 또한 상이하다. 프로세서는 따라서 촉각 입력 장치에 가해지는 횡측 힘에 대한 응답으로 제1 및 제2 센서들에 의해 생성되는 상이한 출력 신호들을 수신하고 또한 그 차동 신호를 입력 신호로서 해석한다. 횡측 힘의 제거 또한 프로세서에 의해 촉각 입력으로서 해석될 수 있는, 제1 제2 센서들에 의한 출력 신호들의 생성을 초래한다. 프로세서는 입력 신호들을 횡측 촉각 입력들이 수신된 상황에 따라서 몇 개의 상이한 입력 명령들 중 하나에 매핑하도록 구성될 수 있다.
도 4a에서, 제1 센서(170)는 하우징(110)의 좁은 측면에 위치한 유연한 표면(160) 내에 배치되고, 제2 센서(180)는 하우징(110) 내에 배치된다. 유연한 표면(160)은 일반적으로 하우징(110)의 사용자 접근 가능 부분에 접촉 또는 촉각 상호작용 표면을 포함하는데, 여기서 유연한 표면은 신체 부분, 스타일러스 또는 다른 수단과의 상호작용에 의해 야기되는 촉각 입력에 의해 가해지는 힘에 의해 변형될 수 있다. 유연한 표면(160)은 제1 및 제2 센서들 중 적어도 하나에 전달되는 회전 입력 힘들에 응답하는 터치 입력 장치의 컴플라이언트 부분이다. 적당한 회전 입력 힘이 양 센서들에 전달되는 한, 그 입력 힘은 차동적으로 전달된다.
도 4b-4d에서, 일반적으로, 회전 촉각 힘이 유연한 표면에 가해지는 경우에, 제1 센서(170)는 회전 힘에 영향을 받거나 이를 검출하고, 그 후 수신된 입력을 촉각 입력에 비례하는 전기 출력 신호로 변환한다. 유사하게, 제2 센서(180)는 또한 제1 센서와 동일한 디멘션으로 또는 동일한 축 부근에서 회전 힘에 영향을 받거나 또는 이를 검출한다. 제2 센서는 그 후, 또한 수신된 입력을 비례 전기 출력 신호로 변환한다. 제1 및 제2 센서들의 각각의 출력은 프로세서, 예를 들어 도 1에서의 프로세서(120)에 연결된다. 그러나, 제1 및 제2 센서들의 각각에 의해 검출되는 입력은 상이하고, 따라서 센서들의 각각에 의해 생성되는 출력 신호 또한 상이하다. 프로세서는 따라서 촉각 입력 장치에 가해지는 회전 입력에 대한 응답으로 제1 및 제2 센서들에 의해 생성된 상이한 출력 신호들을 수신하고 또한 그 차동 신호를 입력 신호로서 해석한다. 회전 힘의 제거 또한 프로세서에 의해 촉각 입력으로서 해석될 수 있는, 제1 및 제2 센서들에 의한 출력 신호들의 생성을 초래할 수 있다. 프로세서는 회전 촉각 입력들이 수신된 상황에 따라서 입력 신호들을 몇 개의 상이한 입력 명령들 중 하나에 매핑하도록 구성될 수 있다.
도 5는 터치 인터페이스 장치에서 촉각 또는 터치 입력을 검출하기 위한 프로세스 흐름도(500)이다. 510에서, 촉각 사용자 인터페이스, 예를 들어 도 1에서의 터치 입력 장치(150)의 유연한 표면(160)과의 또는 이것에서의 상호작용에 의해 또는 이를 통해 촉각 입력이 제공된다. 도 5에서, 520에서, 터치 인터페이스 장치에서의 터치 입력에 응답하여 제1 센서에 의해 제1 신호가 생성된다. 유사하게, 530에서, 터치 인터페이스 장치에서의 터치 입력에 대한 응답으로 제2 센서에 의해 제2 신호가 생성된다. 블록들(520 및 530)에서의 제1 및 제2 센서들에 의한 제1 및 제2 신호들의 생성은 터치 인터페이스 장치에서의 터치 입력에 응답하여 동시에 또는 실질적으로 동시에 발생한다. 540에서, 제1 센서 신호와 제2 센서 신호 간의 차이에 기초하여 터치 입력이 판정된다.
본 개시 및 이것의 최적의 모드들이 소유를 확립하고 당업자가 동일한 것을 제조하고 이용할 수 있게 하도록 설명되었지만, 여기서 개시되는 예시적 실시예들에 대한 균등물들이 있고, 예시적 실시예들에 의해서가 아니라 첨부된 청구항들에 의해 제한되어야 하는 본 발명의 범위 및 사상에서부터 벗어나지 않은 채 수정들 및 변형들이 이루어질 수 있다는 것이 이해될 것이고 인식될 것이다.
Claims (16)
- 전자 장치에서 터치 입력을 검출하는 방법으로서,
상기 전자 장치의 유연한 부분 내에 임베드된 제1 센서로 상기 전자 장치의 상기 유연한 부분의 표면에 수직인 축 주위를 피벗하는(pivotal) 터치 입력에 응답하여 제1 신호를 생성하는 단계;
상기 전자 장치의 상기 유연한 부분에서부터 분리된(removed) 제2 센서로 상기 전자 장치의 상기 유연한 부분의 상기 표면에서의 상기 터치 입력에 응답하여 제2 신호를 생성하는 단계;
상기 제1 센서 신호와 상기 제2 센서 신호 간의 차이에 기초하여 상기 전자 장치의 상기 유연한 부분의 표면에 수직인 축 주위를 피벗하는 상기 터치 입력을 검출하는 단계
를 포함하는 터치 입력 검출 방법. - 전자 장치로서,
상기 전자 장치의 하우징 내에 배치된 프로세서; 및
상기 프로세서와 결합되는 터치 입력 장치
를 포함하고,
상기 터치 입력 장치는 터치 입력 표면을 갖는 컴플라이언트 부분(compliant portion), 상기 터치 입력 장치의 상기 컴플라이언트 부분 내에 임베드된 제1 입력 센서, 및 제2 입력 센서를 포함하고, 상기 제1 센서 및 상기 제2 센서는 상기 프로세서와 결합되고,
상기 제1 입력 센서는 상기 터치 입력 장치의 상기 컴플라이언트 부분의 상기 터치 입력 표면에서의 터치 입력에 응답하여 상기 터치 입력 표면에 수직인 축 주위를 피벗하고,
상기 프로세서는 상기 터치 입력 장치의 상기 컴플라이언트 부분의 상기 터치 입력 표면에서의 상기 터치 입력에 응답하여 상기 제1 센서와 상기 제2 센서 간의 상대적인 피벗 움직임(relative pivotal movement)을 검출하도록 구성되고,
상기 제1 센서와 상기 제2 센서 간의 상기 상대적인 피벗 움직임은 상기 터치 입력 장치의 입력에 비례하는
전자 장치. - 제2항에 있어서,
상기 제1 입력 센서 및 상기 제2 입력 센서는 가속도계들인 전자 장치. - 제2항에 있어서,
상기 제1 입력 센서 및 상기 제2 입력 센서는 동적 힘 센서(dynamic force sensor)들인 전자 장치. - 제2항에 있어서,
외부 표면이 상기 하우징의 일부를 형성하는 전자 장치. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/545,292 | 2009-08-21 | ||
US12/545,292 US8456430B2 (en) | 2009-08-21 | 2009-08-21 | Tactile user interface for an electronic device |
PCT/US2010/042594 WO2011022152A2 (en) | 2009-08-21 | 2010-07-20 | Tactile user interface for an electronic device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120058558A KR20120058558A (ko) | 2012-06-07 |
KR101397227B1 true KR101397227B1 (ko) | 2014-05-20 |
Family
ID=43531109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020127007238A KR101397227B1 (ko) | 2009-08-21 | 2010-07-20 | 전자 장치를 위한 촉각 사용자 인터페이스 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8456430B2 (ko) |
EP (1) | EP2473899A2 (ko) |
KR (1) | KR101397227B1 (ko) |
CN (1) | CN102625929A (ko) |
RU (1) | RU2519351C2 (ko) |
WO (1) | WO2011022152A2 (ko) |
Families Citing this family (78)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8547339B2 (en) | 2008-01-04 | 2013-10-01 | Tactus Technology, Inc. | System and methods for raised touch screens |
US9274612B2 (en) | 2008-01-04 | 2016-03-01 | Tactus Technology, Inc. | User interface system |
US8922502B2 (en) | 2008-01-04 | 2014-12-30 | Tactus Technology, Inc. | User interface system |
US9298261B2 (en) | 2008-01-04 | 2016-03-29 | Tactus Technology, Inc. | Method for actuating a tactile interface layer |
US8456438B2 (en) | 2008-01-04 | 2013-06-04 | Tactus Technology, Inc. | User interface system |
US8207950B2 (en) | 2009-07-03 | 2012-06-26 | Tactus Technologies | User interface enhancement system |
US9612659B2 (en) | 2008-01-04 | 2017-04-04 | Tactus Technology, Inc. | User interface system |
US8243038B2 (en) | 2009-07-03 | 2012-08-14 | Tactus Technologies | Method for adjusting the user interface of a device |
US9552065B2 (en) | 2008-01-04 | 2017-01-24 | Tactus Technology, Inc. | Dynamic tactile interface |
US9128525B2 (en) | 2008-01-04 | 2015-09-08 | Tactus Technology, Inc. | Dynamic tactile interface |
US9063627B2 (en) | 2008-01-04 | 2015-06-23 | Tactus Technology, Inc. | User interface and methods |
US9423875B2 (en) | 2008-01-04 | 2016-08-23 | Tactus Technology, Inc. | Dynamic tactile interface with exhibiting optical dispersion characteristics |
US9588683B2 (en) | 2008-01-04 | 2017-03-07 | Tactus Technology, Inc. | Dynamic tactile interface |
US8947383B2 (en) | 2008-01-04 | 2015-02-03 | Tactus Technology, Inc. | User interface system and method |
US8154527B2 (en) | 2008-01-04 | 2012-04-10 | Tactus Technology | User interface system |
US8922510B2 (en) | 2008-01-04 | 2014-12-30 | Tactus Technology, Inc. | User interface system |
US9052790B2 (en) | 2008-01-04 | 2015-06-09 | Tactus Technology, Inc. | User interface and methods |
US9557915B2 (en) | 2008-01-04 | 2017-01-31 | Tactus Technology, Inc. | Dynamic tactile interface |
US8922503B2 (en) | 2008-01-04 | 2014-12-30 | Tactus Technology, Inc. | User interface system |
US9430074B2 (en) | 2008-01-04 | 2016-08-30 | Tactus Technology, Inc. | Dynamic tactile interface |
US20160187981A1 (en) | 2008-01-04 | 2016-06-30 | Tactus Technology, Inc. | Manual fluid actuator |
US9720501B2 (en) | 2008-01-04 | 2017-08-01 | Tactus Technology, Inc. | Dynamic tactile interface |
US9588684B2 (en) | 2009-01-05 | 2017-03-07 | Tactus Technology, Inc. | Tactile interface for a computing device |
US8456430B2 (en) * | 2009-08-21 | 2013-06-04 | Motorola Mobility Llc | Tactile user interface for an electronic device |
US9239623B2 (en) | 2010-01-05 | 2016-01-19 | Tactus Technology, Inc. | Dynamic tactile interface |
US20110187651A1 (en) * | 2010-02-03 | 2011-08-04 | Honeywell International Inc. | Touch screen having adaptive input parameter |
WO2011112984A1 (en) | 2010-03-11 | 2011-09-15 | Tactus Technology | User interface system |
KR20130136905A (ko) | 2010-04-19 | 2013-12-13 | 택투스 테크놀로지, 아이엔씨. | 사용자 인터페이스 시스템 |
WO2011133605A1 (en) * | 2010-04-19 | 2011-10-27 | Tactus Technology | Method of actuating a tactile interface layer |
KR20140043697A (ko) | 2010-10-20 | 2014-04-10 | 택투스 테크놀로지, 아이엔씨. | 사용자 인터페이스 시스템 및 방법 |
CN103109255A (zh) | 2010-10-20 | 2013-05-15 | 泰克图斯科技公司 | 用户接口系统 |
JP2012221425A (ja) * | 2011-04-13 | 2012-11-12 | Fujitsu Ten Ltd | 操作装置 |
US8890823B2 (en) * | 2012-01-09 | 2014-11-18 | Motorola Mobility Llc | System and method for reducing occurrences of unintended operations in an electronic device |
DE112013002288T5 (de) | 2012-05-03 | 2015-04-16 | Apple Inc. | Momentkompensierter Biegebalkensensor zur Lastmessung auf einer Biegebalken-gestützten Plattform |
GB2505661A (en) * | 2012-09-06 | 2014-03-12 | Teknologian Tutkimuskeskus Vtt Oy | Force sensitive touch screen using strain gauges |
US9405417B2 (en) | 2012-09-24 | 2016-08-02 | Tactus Technology, Inc. | Dynamic tactile interface and methods |
WO2014047656A2 (en) | 2012-09-24 | 2014-03-27 | Tactus Technology, Inc. | Dynamic tactile interface and methods |
WO2014098946A1 (en) | 2012-12-17 | 2014-06-26 | Changello Enterprise Llc | Force detection in touch devices using piezoelectric sensors |
US9035752B2 (en) | 2013-03-11 | 2015-05-19 | Amazon Technologies, Inc. | Force sensing input device under an unbroken exterior portion of a device |
WO2014149023A1 (en) * | 2013-03-15 | 2014-09-25 | Rinand Solutions Llc | Force sensing of inputs through strain analysis |
US9753436B2 (en) | 2013-06-11 | 2017-09-05 | Apple Inc. | Rotary input mechanism for an electronic device |
US9557813B2 (en) | 2013-06-28 | 2017-01-31 | Tactus Technology, Inc. | Method for reducing perceived optical distortion |
CN109634447B (zh) | 2013-08-09 | 2022-04-19 | 苹果公司 | 用于电子设备的触觉开关 |
WO2015061498A1 (en) * | 2013-10-22 | 2015-04-30 | Tactus Technology, Inc. | Dynamic tactile interface |
US10120478B2 (en) | 2013-10-28 | 2018-11-06 | Apple Inc. | Piezo based force sensing |
AU2015100011B4 (en) | 2014-01-13 | 2015-07-16 | Apple Inc. | Temperature compensating transparent force sensor |
US10048802B2 (en) | 2014-02-12 | 2018-08-14 | Apple Inc. | Rejection of false turns of rotary inputs for electronic devices |
US10190891B1 (en) | 2014-07-16 | 2019-01-29 | Apple Inc. | Optical encoder for detecting rotational and axial movement |
KR20230097197A (ko) | 2014-09-02 | 2023-06-30 | 애플 인크. | 웨어러블 전자 디바이스 |
JP6515185B2 (ja) | 2015-03-05 | 2019-05-15 | アップル インコーポレイテッドApple Inc. | 方向依存光学特性を有する光学エンコーダを有する時計、手首装着型電子デバイス及びウェラブル電子デバイス |
KR102163612B1 (ko) | 2015-03-08 | 2020-10-08 | 애플 인크. | 회전 및 병진 가능한 입력 메커니즘을 갖는 시계 |
US10018966B2 (en) | 2015-04-24 | 2018-07-10 | Apple Inc. | Cover member for an input mechanism of an electronic device |
US9612170B2 (en) | 2015-07-21 | 2017-04-04 | Apple Inc. | Transparent strain sensors in an electronic device |
US10055048B2 (en) | 2015-07-31 | 2018-08-21 | Apple Inc. | Noise adaptive force touch |
US9874965B2 (en) | 2015-09-11 | 2018-01-23 | Apple Inc. | Transparent strain sensors in an electronic device |
US9886118B2 (en) | 2015-09-30 | 2018-02-06 | Apple Inc. | Transparent force sensitive structures in an electronic device |
US9891651B2 (en) | 2016-02-27 | 2018-02-13 | Apple Inc. | Rotatable input mechanism having adjustable output |
US10006820B2 (en) | 2016-03-08 | 2018-06-26 | Apple Inc. | Magnetic interference avoidance in resistive sensors |
US10209830B2 (en) | 2016-03-31 | 2019-02-19 | Apple Inc. | Electronic device having direction-dependent strain elements |
US10551798B1 (en) | 2016-05-17 | 2020-02-04 | Apple Inc. | Rotatable crown for an electronic device |
US10409421B2 (en) * | 2016-06-12 | 2019-09-10 | Apple Inc. | Devices and methods for processing touch inputs based on adjusted input parameters |
US10061399B2 (en) | 2016-07-15 | 2018-08-28 | Apple Inc. | Capacitive gap sensor ring for an input device |
US10019097B2 (en) | 2016-07-25 | 2018-07-10 | Apple Inc. | Force-detecting input structure |
US10133418B2 (en) | 2016-09-07 | 2018-11-20 | Apple Inc. | Force sensing in an electronic device using a single layer of strain-sensitive structures |
US10444091B2 (en) | 2017-04-11 | 2019-10-15 | Apple Inc. | Row column architecture for strain sensing |
US10664074B2 (en) | 2017-06-19 | 2020-05-26 | Apple Inc. | Contact-sensitive crown for an electronic watch |
US10962935B1 (en) | 2017-07-18 | 2021-03-30 | Apple Inc. | Tri-axis force sensor |
US10309846B2 (en) | 2017-07-24 | 2019-06-04 | Apple Inc. | Magnetic field cancellation for strain sensors |
US11360440B2 (en) | 2018-06-25 | 2022-06-14 | Apple Inc. | Crown for an electronic watch |
US11561515B2 (en) | 2018-08-02 | 2023-01-24 | Apple Inc. | Crown for an electronic watch |
CN211293787U (zh) | 2018-08-24 | 2020-08-18 | 苹果公司 | 电子表 |
US11181863B2 (en) | 2018-08-24 | 2021-11-23 | Apple Inc. | Conductive cap for watch crown |
US10782818B2 (en) | 2018-08-29 | 2020-09-22 | Apple Inc. | Load cell array for detection of force input to an electronic device enclosure |
CN209625187U (zh) | 2018-08-30 | 2019-11-12 | 苹果公司 | 电子手表和电子设备 |
US11194298B2 (en) | 2018-08-30 | 2021-12-07 | Apple Inc. | Crown assembly for an electronic watch |
US11194299B1 (en) | 2019-02-12 | 2021-12-07 | Apple Inc. | Variable frictional feedback device for a digital crown of an electronic watch |
JP2023504923A (ja) | 2019-12-09 | 2023-02-07 | 華為技術有限公司 | タッチ領域調整方法及び機器 |
US11550268B2 (en) | 2020-06-02 | 2023-01-10 | Apple Inc. | Switch module for electronic crown assembly |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008171138A (ja) * | 2007-01-10 | 2008-07-24 | Toshiba Corp | 入力装置および入力方法 |
JP2009087311A (ja) * | 2007-09-11 | 2009-04-23 | Alps Electric Co Ltd | 入力装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR940001227A (ko) * | 1992-06-15 | 1994-01-11 | 에프. 제이. 스미트 | 터치 스크린 디바이스 |
US5708460A (en) * | 1995-06-02 | 1998-01-13 | Avi Systems, Inc. | Touch screen |
GB2313195A (en) | 1996-05-02 | 1997-11-19 | Univ Bristol | Data entry device |
US6573883B1 (en) | 1998-06-24 | 2003-06-03 | Hewlett Packard Development Company, L.P. | Method and apparatus for controlling a computing device with gestures |
US6834249B2 (en) * | 2001-03-29 | 2004-12-21 | Arraycomm, Inc. | Method and apparatus for controlling a computing system |
US20020149571A1 (en) | 2001-04-13 | 2002-10-17 | Roberts Jerry B. | Method and apparatus for force-based touch input |
FI117488B (fi) * | 2001-05-16 | 2006-10-31 | Myorigo Sarl | Informaation selaus näytöllä |
US20020171629A1 (en) | 2001-05-21 | 2002-11-21 | Archibald Steven W. | Low power measurement circuit for position sensor |
KR100994774B1 (ko) * | 2004-04-29 | 2010-11-16 | 삼성전자주식회사 | 키 입력 장치 및 방법 |
FI119746B (fi) | 2004-06-24 | 2009-02-27 | Nokia Corp | Elektronisen laitteen ohjaaminen |
EP2296078A3 (en) * | 2004-07-30 | 2014-12-10 | Apple Inc. | Touch-sensitive electronic apparatus for media applications, and methods therefor |
CN101258536A (zh) * | 2005-05-09 | 2008-09-03 | 桑迪欧科技公司 | 多维输入装置 |
US7903090B2 (en) * | 2005-06-10 | 2011-03-08 | Qsi Corporation | Force-based input device |
DK1806643T3 (da) | 2006-01-06 | 2014-12-08 | Drnc Holdings Inc | Fremgangsmåde til at indføre kommandoer og/eller tegn til en bærbar kommunikationsindretning, der er udstyret med en inklinationssensor |
KR20090065040A (ko) * | 2007-12-17 | 2009-06-22 | 삼성전자주식회사 | 동작과 터치를 이용한 이중 포인팅 장치 및 방법 |
US8456430B2 (en) * | 2009-08-21 | 2013-06-04 | Motorola Mobility Llc | Tactile user interface for an electronic device |
-
2009
- 2009-08-21 US US12/545,292 patent/US8456430B2/en not_active Expired - Fee Related
-
2010
- 2010-07-20 EP EP10734632A patent/EP2473899A2/en not_active Withdrawn
- 2010-07-20 CN CN2010800371961A patent/CN102625929A/zh active Pending
- 2010-07-20 RU RU2012110600/08A patent/RU2519351C2/ru not_active IP Right Cessation
- 2010-07-20 WO PCT/US2010/042594 patent/WO2011022152A2/en active Application Filing
- 2010-07-20 KR KR1020127007238A patent/KR101397227B1/ko not_active IP Right Cessation
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008171138A (ja) * | 2007-01-10 | 2008-07-24 | Toshiba Corp | 入力装置および入力方法 |
JP2009087311A (ja) * | 2007-09-11 | 2009-04-23 | Alps Electric Co Ltd | 入力装置 |
Also Published As
Publication number | Publication date |
---|---|
US8456430B2 (en) | 2013-06-04 |
US20110043457A1 (en) | 2011-02-24 |
RU2519351C2 (ru) | 2014-06-10 |
WO2011022152A3 (en) | 2011-07-21 |
CN102625929A (zh) | 2012-08-01 |
EP2473899A2 (en) | 2012-07-11 |
KR20120058558A (ko) | 2012-06-07 |
WO2011022152A2 (en) | 2011-02-24 |
RU2012110600A (ru) | 2013-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101397227B1 (ko) | 전자 장치를 위한 촉각 사용자 인터페이스 | |
KR102120930B1 (ko) | 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스 | |
CN108469878B (zh) | 终端装置及其控制方法和计算机可读存储介质 | |
CN102426490A (zh) | 电子设备、处理方法和程序 | |
US20070070046A1 (en) | Sensor-based touchscreen assembly, handheld portable electronic device having assembly, and method of determining touch location on a display panel | |
CN111630480B (zh) | 触摸面板装置 | |
US20080100572A1 (en) | Touchless User Interface for a Mobile Device | |
KR20190090260A (ko) | 지문 인식을 위한 방법, 전자 장치 및 저장 매체 | |
JP2001306245A (ja) | ポインティング装置及びポインタ移動方法 | |
KR100715200B1 (ko) | 자기력 감지 센서를 이용한 데이터 입력 장치 및 이를이용한 3차원 좌표 산출 방법 | |
US20210089133A1 (en) | Gesture detection system | |
US20110134082A1 (en) | Information input system, method for inputting information and information input program | |
US9965053B2 (en) | Touchpen for capacitive touch panel and method of detecting a position of a touchpen | |
CN107544624B (zh) | 一种智能穿戴产品 | |
JP5368134B2 (ja) | 携帯電子機器 | |
WO2013079267A1 (en) | Capacitive proximity sensing in a handheld device | |
US20120287049A1 (en) | Gravity sensing input system, gravity sensing input method and electronic device thereof | |
US10990222B2 (en) | Calibration of trackpad | |
JPH0954653A (ja) | ペン型ポインティングデバイス | |
EP3365760A1 (en) | Device with mechanical keys and capacitance measurement | |
KR20110019248A (ko) | 디스플레이 장치 어셈블리 및 디스플레이 장치의 케이스 어셈블리 | |
JP6282223B2 (ja) | 入力機器 | |
KR101621227B1 (ko) | 입력장치 및 그를 이용한 컴퓨터 단말의 입력 제어방법 | |
US20140333537A1 (en) | Pointing device with integrated keyboard | |
CN104254829A (zh) | 具有投影装置的通信设备和用于运行具有投影装置的通信设备的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20170428 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |