KR101421638B1 - 터치 검출 방법 및 이를 이용하는 터치 제어 장치 - Google Patents
터치 검출 방법 및 이를 이용하는 터치 제어 장치 Download PDFInfo
- Publication number
- KR101421638B1 KR101421638B1 KR1020130006428A KR20130006428A KR101421638B1 KR 101421638 B1 KR101421638 B1 KR 101421638B1 KR 1020130006428 A KR1020130006428 A KR 1020130006428A KR 20130006428 A KR20130006428 A KR 20130006428A KR 101421638 B1 KR101421638 B1 KR 101421638B1
- Authority
- KR
- South Korea
- Prior art keywords
- touch
- input signal
- voice
- detection circuit
- control circuit
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 172
- 230000009471 action Effects 0.000 claims abstract description 24
- 238000000034 method Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 2
- 230000006399 behavior Effects 0.000 description 28
- 230000006870 function Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 10
- 210000000282 nail Anatomy 0.000 description 6
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000004905 finger nail Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- -1 pen Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005201 scrubbing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
터치 검출 방법 및 이를 이용하는 터치 제어 장치가 제공된다. 터치 제어 장치는 터치 유닛을 가진다. 터치 검출 방법은 다음의 단계들을 포함한다. 터치 유닛 상에서 입력 도구의 터치 행동에 의해 생성되는 음성 입력 신호 및 터치 입력 신호가 검출되고 기록된다. 입력 도구 및 그것의 터치 행동은 음성 입력 신호 및 터치 입력 신호에 따라 식별된다. 여기에서 터치 입력 신호는 터치 유닛 상에서 입력 도구의 터치 행동에 대응하는 터치 특성을 나타내고, 음성 입력 신호는 입력 도구의 유형을 식별하기 위해 이용된다.
Description
본 발명은 일반적으로 터치 신호 검출 기술에 관한 것이며, 보다 구체적으로, 음성 입력 신호가 식별을 위해 이용되는 터치 검출 방법 및 이를 이용하는 터치 제어 장치에 관한 것이다.
터치 제어 장치들(예를 들면, 스마트 폰들(smart phones))은 터치 검출 기술들의 발전에 따라 광범위하게 이용되어 왔다. 채용된 터치 검출 기술들에 기초하여, 기존의 터치 제어 장치들은 저항성, 용량성, 광학성, 음파, 및 전자기적 터치 제어 장치들로 분류될 수 있다.
일반적으로 말하면, 임의의 터치 제어 장치는 터치 제어 장치의 터치-감지 표면상에서 이용자에 의해 수행되는 클릭들(clicks) 또는 제스처들(gestures)을 검출하기 위해 이용된다. 터치 제어 장치상에서 작동하는 물건을 식별하기 위해, 일 예로서 광학성 터치 제어 장치를 들면, 마크(mark)(예를 들면, 바코드(barcode))는 물건을 식별하기 위해 이용될 터치 제어 장치의 터치-감지 표면과 접촉하는 물건의 부분의 앞에 배치되어야 한다. 또는, 물건은 그 형태에 기초하여 식별될 수도 있다. 그러나, 이러한 식별 기술들은 매우 작고 얇게 설계되는 경향이 있는 오늘날의 터치 제어 장치들(예를 들면, 스마트 폰들)에 적합하지 않다.
즉, 전술한 터치 제어 장치들 중 어느 것도 입력 수단(예를 들면, 손가락 또는 스타일러스(stylus))의 유형을 효과적으로 식별할 수 없다.
따라서, 본 발명은, 입력 수단 및 터치 행동들의 유형을 효과적으로 식별될 수 있는, 터치 검출 방법 및 터치 제어 장치에 대한 것이다.
본 발명은 터치 제어 장치에 적응되는 터치 검출 방법을 제공한다. 상기 터치 제어 장치는 터치 유닛(touch unit)을 가진다. 상기 터치 검출 방법은 다음 단계들을 포함한다. 상기 터치 유닛 상에서 입력 도구의 터치 행동에 의해 생성되는 음성 입력 신호 및 터치 입력 신호가 검출되고 기록된다. 상기 입력 도구 및 그것의 상기 터치 행동은 상기 음성 입력 신호 및 상기 터치 입력 신호에 따라 식별된다. 여기에서 상기 터치 입력 신호는 상기 터치 유닛 상에서 상기 입력 도구의 상기 터치 행동에 대응하는 터치 특성을 나타내고, 상기 음성 입력 신호는 상기 입력 도구의 상기 유형을 식별하기 위해 이용된다.
본 발명은 터치 유닛, 음성 검출 회로, 터치 검출 회로, 저장 회로, 및 제어 회로를 포함하는 터치 제어 장치를 제공한다. 상기 음성 검출 회로는 상기 터치 유닛에 결합되며, 상기 터치 유닛 상에서 입력 도구의 터치 행동에 의해 생성되는 음성 입력 신호를 검출하도록 구성된다. 상기 터치 검출 회로는 상기 터치 유닛에 결합되며, 상기 터치 유닛 상에서 상기 입력 도구의 상기 터치 행동에 의해 생성되는 터치 입력 신호를 검출하도록 구성된다. 상기 저장 회로는 상기 음성 검출 회로 및 상기 터치 검출 회로에 결합되며, 상기 음성 입력 신호 및 상기 터치 입력 신호를 저장하도록 구성된다. 상기 제어 회로는 상기 저장 회로, 상기 음성 검출 회로, 및 상기 터치 검출 회로에 결합되며, 상기 음성 입력 신호 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 그것의 상기 터치 행동을 식별하도록 구성된다. 여기에서 상기 터치 입력 신호는 상기 터치 유닛 상에서 상기 입력 도구의 상기 터치 행동에 대응하는 터치 특성을 나타내며, 상기 음성 입력 신호는 상기 입력 도구의 상기 유형을 식별하기 위해 이용된다.
위에서 설명된 바와 같이, 본 발명의 실시예들은, 입력 도구 및 터치 행동의 유형이 터치 유닛 상에서 입력 도구의 터치 행동에 의해 생성되는 음성 입력 신호 및 터치 입력 신호에 따라 식별될 수 있는, 터치 검출 방법 및 터치 제어 장치를 제공한다.
본 발명의 이들 및 다른 대표적인 실시예들, 특징들, 측면들 및 이점들이 설명될 것이며, 첨부 도면들과 함께 판독할 때 대표적인 실시예들의 상세한 설명에 보다 분명히 드러날 것이다.
첨부 도면들은 본 발명의 추가적인 이해를 제공하기 위해 포함되고, 본 명세서에 통합되며 본 명세서의 일부를 구성한다. 도면들은 본 발명의 실시예들을 예시하며, 설명과 함께, 본 발명의 원리들을 설명하기 위해 작용한다.
도 1은 본 발명의 제 1 실시예에 따른 터치 제어 장치의 블록도이다.
도 2는 본 발명의 제 1 실시예에 따른 터치 검출 방법의 흐름도이다.
도 3은 본 발명의 제 2 실시예에 따른 터치 검출 방법의 흐름도이다.
도 4는 본 발명의 제 2 실시예에 따라, 터치 입력 신호가 검출되는지 결정하는 흐름도이다.
도 5는 본 발명의 제 2 실시예에 따라, 허용 가능한 시간 기간 동안 터치 입력 신호가 검출되는지 결정하는 다이어그램이다.
도 6은 본 발명의 제 3 실시예에 따른 터치 검출 방법의 흐름도이다.
도 7은 본 발명의 제 4 실시예에 따른 터치 검출 방법의 흐름도이다.
도 8은 본 발명의 제 5 실시예에 따른 터치 검출 방법의 흐름도이다.
도 9는 본 발명의 제 6 실시예에 따른 터치 검출 방법의 흐름도이다.
도 1은 본 발명의 제 1 실시예에 따른 터치 제어 장치의 블록도이다.
도 2는 본 발명의 제 1 실시예에 따른 터치 검출 방법의 흐름도이다.
도 3은 본 발명의 제 2 실시예에 따른 터치 검출 방법의 흐름도이다.
도 4는 본 발명의 제 2 실시예에 따라, 터치 입력 신호가 검출되는지 결정하는 흐름도이다.
도 5는 본 발명의 제 2 실시예에 따라, 허용 가능한 시간 기간 동안 터치 입력 신호가 검출되는지 결정하는 다이어그램이다.
도 6은 본 발명의 제 3 실시예에 따른 터치 검출 방법의 흐름도이다.
도 7은 본 발명의 제 4 실시예에 따른 터치 검출 방법의 흐름도이다.
도 8은 본 발명의 제 5 실시예에 따른 터치 검출 방법의 흐름도이다.
도 9는 본 발명의 제 6 실시예에 따른 터치 검출 방법의 흐름도이다.
본 발명의 본 선례들에 대한 참조가 아래에서 상세히 이루어질 것이며, 이 예들은 첨부 도면들에 예시된다. 가능한 경우, 동일한 참조 번호들은 동일하거나 유사한 부분들을 지칭하기 위하여 도면들 및 설명에서 이용된다.
터치 제어 장치(예를 들면, 터치패드(touchpad))로 하여금 상이한 입력 도구들에 의해 생성되는 입력 신호들을 효과적으로 식별하게 하기 위해, 본 발명의 실시예는, 입력 도구 및 터치 행동의 유형이 터치 제어 장치에 의해 생성되는 터치 입력 신호와 함께 터치 제어 장치상에서 입력 도구에 의해 생성되는 음성 입력 신호(예를 들면, 스크러빙(scrubbing)음, 충격음)를 이용함으로써 식별되는, 터치 검출 방법을 제공한다. 그렇게 함으로써, 터치 신호들의 검출의 정확성 및 터치 제어 장치의 용도의 유연성 둘 다가 효과적으로 개선된다. 또한, 상기 터치 검출 방법을 이용하는 터치 제어 장치도 본 발명의 실시예에 의해 제공된다. 본 발명의 대표적인 실시예들은 첨부 도면들을 참조하여 아래에서 설명될 것이다.
제 1 실시예
도 1은 본 발명의 제 1 실시예에 따른 터치 제어 장치의 블록도이다. 도 1을 참조하면, 터치 제어 장치(10)는 터치 유닛(15), 음성 검출 회로(16), 터치 검출 회로(17), 저장 회로(18), 및 제어 회로(19)를 포함한다. 또한, 터치 제어 장치(10)는 프로세서(processor)(11), 메모리(memory)(12), 입/출력(I/O: input/output) 장치(13), 및 전원(14) 중 적어도 하나를 더 포함할 수 있다. 터치 제어 장치(10)는 개인용 휴대 정보 단말기(PDA: personal digital assistant), 스마트 폰, 전자책(e-book), 게임 콘솔(game console), 태블릿 PC(tablet PC), 또는 데스크톱 PC(desktop PC)일 수 있다. 그러나, 터치 제어 장치(10)의 구현은 여기에 제한되지 않는다. 또한, 본 실시예에서의 터치 제어 장치(10)는 다른 회로 요소들을 더 포함할 수 있으며, 이는 본 발명에서 제한되지 않는다.
프로세서(11)는 터치 제어 장치(10)의 전반적인 작동을 제어한다. 본 실시예에서, 프로세서(11)는 마이크로-프로세서(micro-processor) 또는 중앙 처리 유닛(CPU: central processing unit)일 수 있다. 그러나, 본 발명은 그에 제한되지 않는다. 메모리(12)는 임의의 비-휘발성 메모리(예를 들면, 동적 랜덤 액세스 메모리(DRAM: dynamic random access memory) 또는 정적 랜덤 액세스 메모리(SRAM: static random access memory)) 또는 비-휘발성 메모리들의 상이한 유형들의 조합일 수 있다. 또한, 메모리(12)는 하드 디스크(hard disc), 광학 디스크(optical disc), 및 외부 저장 장치(예를 들면, 메모리 카드(memory card) 또는 플래시 드라이브(flash drive))를 더 포함할 수 있다. 여기에서 메모리(12)의 구현은 제한되지 않는다. I/O 장치(13)는 버튼(button), 마우스(mouse), 이어폰(earphone), 마이크로폰(microphone), 또는 스피커(speaker)일 수 있다. 전원(14)은 터치 제어 장치(10)에 전력을 공급한다. 전원(14)은 배터리(battery)일 수 있다.
터치 유닛(15)은 터치 스크린(touch screen), 터치패드, 터치 버튼, 및/또는 터치 스크롤 휠(touch scroll wheel)을 포함할 수 있으며, 저항성, 용량성, 광학성, 음파, 또는 전자기적 터치 감지 기술을 이용함으로써 구현될 수 있다. 여기에서 터치 유닛(15)의 유형은 제한되지 않는다. 예를 들면, 이용자는 터치 유닛(15) 상에 입력 도구(예를 들면, 손가락 또는 스타일러스)를 클릭하거나 슬라이드(slide)함으로써 터치 유닛(15) 상에서 입력 신호들을 생성할 수 있다..
음성 검출 회로(16)는 터치 유닛(15)에 결합되며, 터치 유닛(15) 상에서 입력 도구의 터치 행동에 의해 생성되는 음성 입력 신호를 검출하도록 구성된다. 본 실시예에서, 음성 검출 회로(16)는 마이크로폰들과 같은, 하나 이상의 수음 장치들을 포함한다. 또한, 음성 검출 회로(16)는 잡음들을 필터링(filtering)하기 위해 잡음 필터를 포함할 수도 있다.
터치 검출 회로(17)는 터치 유닛(15)에 결합되며, 터치 유닛(15) 상에서 입력 도구의 터치 행동에 의해 생성되는 터치 입력 신호를 검출하도록 구성된다. 본 실시예에서, 터치 검출 회로(17)는 터치-감지 패널 제어기이다.
전술한 터치 행동은 터치 유닛(15) 상의 하나 이상의 터치 위치들에서 입력 도구의 클릭 또는 슬라이드일 수 있다는 것이 언급되어야 한다. 또한, 입력 도구는 인체의 임의의 부분(예를 들면, 손톱, 손가락 패드, 손가락 마디, 손가락 끝, 또는 뺨), 사무용 도구(예를 들면, 펜(pen), 마커(marker), 화필(brush pen), 고무 지우개), 또는 임의의 다른 물건일 수 있다. 입력 도구의 유형은 본 발명에서 제한되지 않는다.
저장 회로(18)는 음성 검출 회로(16) 및 터치 검출 회로(17)에 결합되며, 음성 입력 신호 및 터치 입력 신호를 저장하도록 구성된다. 저장 회로(18)는 임의의 비-휘발성 메모리(예를 들면, DRAM 또는 SRAM) 또는 상이한 비-휘발성 메모리들의 조합일 수 있다.
제어 회로(19)는 음성 검출 회로(16), 터치 검출 회로(17), 및 저장 회로(18)에 결합되며, 음성 입력 신호 및 터치 입력 신호에 따라 터치 유닛(15) 상에서 작동하는 입력 도구 및 그것의 터치 행동들을 식별하도록 구성된다. 특히, 본 실시예에서, 터치 입력 신호는 터치 유닛(15) 상의 입력 도구의 터치 행동에 대응하는, 터치 특성 또는 터치 위치와 같은, 터치 정보를 나타내기 위해 이용되고, 음성 입력 신호는 입력 도구의 유형을 식별하기 위해 이용된다. 예를 들면, 제어 회로(19)는 터치 유닛(15) 상에서 이용자의 입력 도구에 의해 생성되는 음성 신호(예를 들면, 신호의 파형, 주파수, 및 지속 시간) 및 터치 신호(예를 들면, 터치 동작의 좌표, 면적, 압력, 및 지속 시간)에 기초하여, "손톱(fingernail)"(또는 임의의 다른 유형의 입력 도구)과 같은 현재의 입력 도구 및 "스크래치(scratch)"(또는 임의의 다른 유형의 터치 행동)와 같은 터치 행동을 식별할 수 있다.
프로세서(11), 메모리(12), I/O 장치(13), 전원(14), 터치 유닛(15), 음성 검출 회로(16), 터치 검출 회로(17), 저장 회로(18), 및 제어 회로(19)는 논리 회로 요소들로 구성되는 하드웨어(hardware) 장치들이며, 각각 위에서 설명된 기능들을 실행하도록 구성된다는 것이 언급되어야 한다. 또한, 이들 장치들은 터치 제어 장치(10)의 메모리(12)에 저장되는 소프트웨어 프로그램들(software programs) 또는 펌웨어 프로그램들(firmware programs)로서 구현될 수도 있다. 예를 들면, 대표적인 실시예에서, 전술한 기능들을 실행하기 위한 이들 소프트웨어 프로그램들 또는 펌웨어 프로그램은 각각 상기 기능들을 실행하기 위해 터치 제어 장치(10)의 프로세서(11)에 로딩(loading)된다.
도 2는 본 발명의 제 1 실시예에 따른 터치 감지 방법의 흐름도이다. 도 1 및 도 2를 참조하면, 단계 S202에서, 음성 감지 회로(16) 및 터치 감지 회로(17)는 각각 음성 입력 신호 및 터치 입력 신호를 검출하며, 그것들을 저장 회로(18)에 기록한다. 여기에서 음성 입력 신호 및 터치 입력 신호는 터치 유닛(15) 상에서 입력 도구의 터치 행동에 의해 생성된다. 다음으로, 단계 S204에서, 제어 회로(19)는 기록된 음성 입력 신호 및 터치 입력 신호에 따라 입력 도구 및 그것의 터치 행동을 식별한다.
본 발명의 제 2 실시예에서, 터치 제어 장치는 그 후에 검출된 터치 입력 신호와 함께 먼저 검출된 음성 입력 신호에 기초하는 대응하는 명령을 생성한다.
제 2 실시예
제 2 실시예에서의 터치 제어 장치의 하드웨어 구조는 제 1 실시예에서의 터치 제어 장치의 하드웨어 구조와 대체로 동일하다. 차이점은 제 2 실시예에서, 터치 제어 장치는 먼저 입력 도구에 의해 생성되는 음성 입력 신호를 검출하고, 그 후 동일한 입력 도구에 의해 생성되는 음성 입력 신호 및 터치 입력 신호에 따라 입력 도구 및 그것의 터치 행동을 식별한다는 것이다. 그렇게 함으로써, 터치 제어 장치는 전술한 식별 결과에 따라 대응하는 특정-용도(application-specific) 명령을 생성할 수 있으며, 따라서 터치 제어 장치의 용도의 유연성이 크게 개선된다.
도 3은 본 발명의 제 2 실시예에 따른 터치 검출 방법의 흐름도이다. 도 1 및 도 3을 참조하면, 단계 S302에서, 음성 검출 회로(16)는 터치 유닛(15) 상에서 음성 입력 신호를 검출한다. 그 후, 단계 S304에서, 음성 검출 회로(16)는 음성 입력 신호가 검출되는지 결정한다. 음성 검출 회로(16)가 음성 입력 신호를 검출하지 않으면, 단계 S304 후, 음성 검출 회로(16)는 단계 S302를 다시 실행한다.
단계 S304에서 음성 검출 회로(16)가 음성 입력 신호를 검출하면, 단계 S306에서, 제어 회로(19)는 검출된 음성 입력 신호가 미리 결정된 음성 모델에 일치하는지 결정한다. 예를 들면, 제어 회로(19)는 검출된 음성 입력 신호의 음성 모델을 저장 회로(18) 내의 복수의 미리 결정된 음성 모델들 각각과 비교하며, 검출된 음성 입력 신호의 음성 모델이 미리 결정된 음성 모델들 중 적어도 하나와 동일하거나 유사한지 결정한다. 따라서, 제어 회로(19)는 음성 입력 신호를 생성하는 입력 도구의 관련 정보가 이미 저장 회로(18)에 기록되었는지 효과적으로 결정할 수 있다. 제어 회로(19)가 검출된 음성 입력 신호가 임의의 미리 결정된 음성 모델들에 일치하지 않는다고 결정하면, 단계 S306 후, 음성 검출 회로(16)는 단계 S302를 다시 실행한다.
또한, 단계 S306에서 제어 회로(19)가 검출된 음성 입력 신호가 미리 결정된 음성 모델에 일치한다고 결정하면, 단계 S308에서, 제어 회로(19)는 저장 회로(18)에 음성 입력 신호 및 그것의 발생 시간을 기록한다. 또한, 단계 S310에서, 제어 회로(19)는 터치 검출 회로(17)가 상기 발생 시간 후 허용 가능한 시간 기간 동안 터치 입력 신호를 검출하는지 결정한다.
아래에서, 제어 회로가 도 3의 단계 S310에서 터치 검출 회로가 터치 입력 신호를 검출하는지 결정하는 방법이 도 4를 참조하여 설명된다.
도 4는 본 발명의 제 2 실시예에 따라, 터치 입력 신호가 검출되는지 결정하는 흐름도이다. 도 1 및 도 4를 참조하면, 단계 S402에서, 터치 검출 회로(17)는 허용 가능한 시간 기간 동안 터치 유닛(15) 상에서 터치 감지 값의 변화를 검출한다. 여기에서 터치 감지 값은 터치 유닛(15) 상의 이용자 또는 입력 도구의 터치 위치에 대응한다. 일 예로서 용량성 터치 유닛(15)을 들면, 용량성 터치 유닛(15) 상의 터치 감지 값은 결합 커패시턴스(coupling capacitance)이고, 결합 커패시턴스는 보통 이용자에 의해 수행된 터치 동작에 응답하여 생성된다. 특히, 전술한 터치 감지 값의 변화는 결합 커패시턴스의 변화이다.
다음으로, 단계 S404에서, 제어 회로(19)는 허용 가능한 시간 기간 동안 터치 검출 회로(17)에 의해 검출된 터치 감지 값의 변화(예를 들면, 결합 커패시턴스의 변화)가 터치 검출 레벨보다 큰지 결정한다. 여기에서 터치 검출 레벨은 음성 검출 회로(16)에 의해 이전에 검출된 음성 입력 신호에 일치하는 미리 결정된 음성 모델에 대응한다. 또한, 상이한 미리 결정된 음성 모델들은 상이한 터치 검출 레벨들에 대응할 수 있다. 예들로서 손톱이 터치 유닛(15)을 터치하는 경우 생성되는 음(sound)에 대응하는 미리 결정된 음성 모델 및 손가락 패드가 터치 유닛(15)을 터치하는 경우 생성되는 음에 대응하는 미리 결정된 음성 모델을 들면, 손톱이 터치 유닛(15)을 터치하는 경우 생성되는 면적은 보통 손가락 패드가 터치 유닛(15)을 터치하는 경우 생성되는 면적보다 작다. 따라서, 터치 유닛(15)을 터치하는 손톱에 대응하는 터치 검출 레벨은 터치 유닛(15)을 터치하는 손가락 패드에 대응하는 터치 검출 레벨보다 낮은 값으로 설정될 수 있다. 그러나, 본 발명은 그에 제한되지는 않으며, 각각의 미리 결정된 음성 모델에 대응하는 터치 검출 레벨은 실제 설계 요건에 따라 설정될 수 있다.
단계 S404에서 제어 회로(19)가 터치 감지 값의 변화가 터치 검출 레벨보다 크다고 결정하면, 단계 S406에서, 제어 회로(19)는 허용 가능한 시간 기간 동안 음성 검출 회로(16)에 의해 이전에 수신된 음성 입력 신호에 대응하는 터치 입력 신호를 검출한다고 결정한다. 또한, 단계 S404에서 제어 회로(19)가 터치 감지 값의 변화가 터치 검출 레벨보다 크지 않다고 결정하면, 단계 S408에서, 제어 회로(19)는 터치 검출 회로(17)가 허용 가능한 시간 기간 동안 음성 검출 회로(16)에 의해 이전에 수신된 음성 입력 신호에 대응하는 터치 입력 신호를 검출하지 않는다고 결정한다.
단계 S310에서 언급된 허용 가능한 시간 기간은 음성 입력 신호 및 터치 입력 신호를 동시에 발생하게 하기 위해 이용된다는 것이 언급되어야 한다. 즉, 음성 검출 회로가 음성 입력 신호를 검출한 후, 터치 검출 회로가 허용 가능한 시간 기간 동안 터치 입력 신호를 검출하면, 터치 입력 신호 및 음성 입력 신호는 동일한 터치 행동에 의해 생성된다. 따라서, 먼저 검출된 음성 입력 신호는 식별 목적을 위해 이용될 수 있다(즉, 먼저 검출된 음성 입력 신호는 유효 신호이다). 이 단계는 아래에서 도 5를 참조하여 설명될 것이다.
도 5는 본 발명의 제 2 실시예에 따라, 허용 가능한 시간 기간 동안 터치 입력 신호가 검출되는지 결정하는 다이어그램이다. 도 5를 참조하면, 시간(t1)에서 음성 검출 회로(16)는 음성 입력 신호(501)를 검출하고, 시간 기간(T1)(예를 들면, 100ms) 동안 음성 입력 신호(501)가 지속적으로 검출된다. 따라서, 시간(t1) 후의 허용 가능한 시간 기간(T) 동안, 터치 검출 회로(17)가 터치 입력 신호를 검출하는지는 음성 입력 신호(501)가 유효한지를 결정한다(즉, 먼저 검출된 음성 입력 신호(501)가 식별 목적을 위해 이용될 수 있다). 또한, 본 실시예에서, 허용 가능한 시간 기간(T)은 100ms 보다 길고 500ms 보다 짧다(예를 들면, 200ms). 그러나, 본 발명은 그에 제한되지 않으며, 허용 가능한 시간 기간(T)의 지속 시간은 실제 설계 요건에 따라 결정될 수 있다. 예를 들면, 허용 가능한 시간 기간(T)은 긍정 오류율(false positive rate)을 감소시키기 위해 80ms로 짧아질 수 있다.
다음으로, 시간(t2)에서 터치 검출 회로(17)는 터치 입력 신호(502)를 검출하고, 시간 기간(T2)(예를 들면, 100ms) 동안 터치 입력 신호(502)가 지속적으로 검출된다. 여기에서 시간(t2)은 시간(t1) 후의 허용 가능한 시간 기간(T) 내이기 때문에, 터치 입력 신호(502) 및 음성 입력 신호(501)는 동일한 터치 행동에 의해 생성되는 것으로 결정된다. 따라서, 음성 입력 신호(501)는 유효인 것으로 결정되며, 입력 도구를 식별하기 위해 이용될 수 있다.
도 1 및 도 3을 다시 참조하면, 단계 S310에서, 터치 검출 회로(17)가 허용 가능한 시간 기간 동안 어느 터치 입력 신호도 검출하지 않는다면, 이전에 검출된 음성 입력 신호는 무효인 것으로 결정되고, 단계 S310 후, 음성 검출 회로(16)는 단계 S302를 다시 실행한다. 또한, 터치 검출 회로(17)가 허용 가능한 시간 기간 동안 터치 입력 신호(예를 들면, 도 5의 터치 입력 신호(502))를 검출하면, 단계 S312에서, 제어 회로(19)는 위에서 획득된 미리 결정된 음성 모델 및 검출된 터치 입력 신호에 따라 입력 도구 및 그것의 터치 행동을 식별한다. 예를 들면, 제어 회로(19)가 검출된 음성 입력 신호의 음성 모델이 "손가락 마디"에 대응하는 미리 결정된 음성 모델과 동일하다고 결정하면, 제어 회로(19)는 음성 입력 신호를 생성하는 입력 도구가 "손가락 마디"라는 것을 식별한다. 또한, 제어 회로(19)는 검출된 터치 입력 신호의 위치, 지속 시간, 및 슬라이드 거리에 기초하여 입력 도구의 터치 행동을 식별할 수 있다.
그 후, 단계 S314에서, 제어 회로(19)는 식별된 입력 도구 및 그것의 터치 행동에 따라 특정-용도 명령을 생성한다. 예를 들면, 제어 회로(19)가 입력 도구는 "손가락 마디"이고 터치 행동은 "클릭"인 것을 식별하는 경우, 그 후 제어 회로(19)에 의해 생성되는 특정-용도 명령은 클릭된 파일(file) 상에 발행되는 "오려두기(cut)" 명령이다. 또는, 제어 회로(19)가 입력 도구가 "손톱"이고 터치 행동이 "클릭"인 것을 식별하는 경우, 그 후 제어 회로(19)에 의해 생성되는 특정-용도 명령은 클릭된 파일 상에 발행되는 "삭제(delete)" 명령이다. 그러나, 본 발명은 앞서 말한 예들에 제한되지 않는다. 예를 들면, 이용자가 터치 유닛(15)을 손가락 마디로 클릭하는 경우, 대응하는 특정-용도 명령은 "마우스의 오른쪽 버튼을 프레스 다운(press down)하는 것"이고, 이용자가 터치 유닛(15)을 손톱으로 위로 또는 아래로 스크래치하는 경우, 대응하는 특정-용도 명령은 "마우스 휠로 위 또는 아래로 스크롤하는 것"이다. 손톱으로 사진을 잘라내는 것 및 손가락 패드로 사진을 이동하는 것 또는 파일을 여는 것과 같은, 다른 용도들도 구현될 수 있다. 또 다른 예에서, 제어 회로(19)가 터치 행동이 "원(circle)"인 것을 식별하는 경우, "이전의 동작을 재개하는 것" 명령은 입력 도구의 유형에 상관없이 실행된다.
특정-용도 명령이 제어 회로(19) 또는 프로세서(11)에 의해 생성될 수 있다는 것이 주의되어야 한다. 구체적으로, 제어 회로(19)는 유효한 음성 입력 신호 및 터치 입력 신호를 프로세서(11)에 단지 기록 및 송신하고, 프로세서(11)는 신호들을 특정-용도 명령으로 변환한다.
또한, 본 실시예는 다수의 터치 위치들에서의 터치 입력 신호도 지원한다. 예를 들면, 이용자가 다섯 개의 손톱들로 터치 유닛(15) 상의 면적을 둘러싸는 경우, 대응하는 특정-용도 명령은 이러한 면적 내의 모든 파일들을 삭제하는 것이다.
즉, 전술한 특정-용도 명령은 입력 도구 및 그것의 터치 행동의 유형에 기초하여 정의되며, 특정 기능에 대응한다. 또한, 특정-용도 명령은 설계 또는 실제 요건들에 따라 조정될 수 있다. 또한, 구현되는 동안, 제어 회로(19)는 복수의 접속 식별들(CIDs: contact identifications)을 설정하며, 각각의 CID를 입력 도구에 대응할 수 있다. 따라서, 제어 회로(19)가 특정-용도 명령을 생성하는 것이 필요한 경우, 제어 회로는 음성 입력 신호에 대응하는 CID에 관하여 조회하고, CID 및 터치 행동에 따라 대응하는 특정-용도 명령을 생성한다.
제 3 실시예
제 3 실시예에서의 터치 제어 장치의 하드웨어 구조는 제 1 실시예에서의 터치 제어 장치의 하드웨어 구조와 대체로 동일하고, 제 3 실시예에서의 터치 검출 방법은 제 2 실시예에서의 터치 검출 방법과 유사하다. 차이점은 제 3 실시예에서, 터치 제어 장치가 검출된 음성 입력 신호가 임의의 미리 결정된 음성 모델에 일치하지 않는다고 결정하면, 터치 제어 장치는 검출된 터치 입력 신호에 따라 기본 명령을 생성한다는 것이다. 그렇게 함으로써, 어느 음성 입력 신호도 식별 목적을 위해 이용될 수 없는 경우 터치 제어 장치는 여전히 필수 기능들을 수행할 수 있으며, 따라서 터치 제어 장치의 용도의 유연성이 개선된다. 즉, 전술한 기본 명령의 기능은 기본 터치 행동에 기초하여 결정된다.
도 6은 본 발명의 제 3 실시예에 따른 터치 검출 방법의 흐름도이다. 도 1 및 도 6을 참조하면, 단계 S602에서, 음성 검출 회로(16)는 터치 유닛(15) 상에서 음성 입력 신호를 검출한다. 그 후, 단계 S604에서, 음성 검출 회로(16)는 음성 입력 신호가 검출되는지 결정한다. 음성 검출 회로(16)가 어느 음성 입력 신호도 검출하지 않으면, 단계 S604 후, 음성 검출 회로(16)는 단계 S602를 다시 실행한다.
단계 S604에서 음성 검출 회로(16)가 음성 입력 신호를 검출하면, 단계 S606에서, 제어 회로(19)는 검출된 음성 입력 신호가 미리 결정된 음성 모델에 일치하는지 결정한다. 제어 회로(19)가 검출된 음성 입력 신호가 임의의 미리 결정된 음성 모델에 일치하지 않는다고 결정하면, 단계 S606 후, 음성 검출 회로(16)는 단계 S602를 다시 실행한다.
다른 한편으로는, 단계 S606에서 제어 회로(19)가 검출된 음성 입력 신호가 미리 결정된 음성 모델에 일치한다고 결정하면, 단계 S608에서, 제어 회로(19)는 음성 입력 신호 및 그것의 발생 시간을 저장 회로(18) 내에 기록한다. 또한, 단계 S610에서, 제어 회로(19)는 터치 검출 회로(17)가 상기 발생 시간 후 허용 가능한 시간 기간 동안 터치 입력 신호를 검출하는지 결정한다. 터치 검출 회로(17)가 허용 가능한 시간 기간 동안 어느 터치 입력 신호도 검출하지 않으면, 단계 S610 후, 음성 검출 회로(16)는 단계 S602를 다시 실행하며, 저장 회로(18) 내에 기록된 음성 입력 신호를 무효인 것으로 결정한다. 다른 한편으로는, 터치 검출 회로(17)가 허용 가능한 시간 기간 동안 터치 입력 신호(예를 들면, 도 4의 터치 입력 신호(402))를 검출하면, 단계 S612에서, 제어 회로(19)는 위에서 획득된 미리 결정된 음성 모델 및 검출된 터치 입력 신호에 따라 입력 도구 및 그것의 터치 행동을 식별한다. 다음으로, 단계 S614에서, 제어 회로(19)는 식별된 입력 도구 및 터치 행동에 따라 특정-용도 명령을 생성한다.
다른 한편으로는, 단계 S606에서 제어 회로(19)가 음성 검출 회로(16)에 의해 검출된 음성 입력 신호가 임의의 미리 결정된 음성 모델에 일치하지 않는다고 결정하면, 단계 S616에서, 제어 회로(19)는 터치 검출 회로(17)가 터치 입력 신호를 검출하는지 결정한다. 터치 검출 회로(17)가 임의의 터치 입력 신호를 검출하지 않으면, 단계 S616 후, 음성 검출 회로(16)는 단계 S602를 다시 실행한다. 단계 S616에서 터치 검출 회로(17)가 터치 입력 신호를 검출하면, 단계 S618에서, 제어 회로(19)는 검출된 터치 입력 신호에 따라 기본 명령을 생성한다. 기본 명령은 단일 위치에서의 클릭, 다수 위치들에서의 클릭, 단일 위치에서의 롱 프레스(long press), 다수 위치들에서의 롱 프레스, 또는 드래그(drag) 동작과 같은, 터치 행동에 대응하는 기본 작동 명령이다.
제 4 실시예
제 4 실시예에서의 터치 제어 장치의 하드웨어 구조는 제 1 실시예에서의 터치 제어 장치의 하드웨어 구조와 대체로 동일하고, 제 4 실시예의 터치 검출 방법은 위에서 설명된 제 1, 제 2, 및 제 3 실시예들 중 임의의 것에 대한 부가적인 구현이다. 구체적으로, 제 4 실시예에서, 터치 제어 장치가 음성 입력 신호를 검출하는 경우, 터치 제어 장치는 음성 입력 신호에 대응하는 터치 검출 레벨을 적응적으로 조정한다. 따라서, 터치 제어 장치는 상이한 음성 입력 신호에 대해 적절한 터치 검출 레벨 및 대응하는 미리 결정된 음성 모델을 설정할 수 있으며, 따라서 터치 제어 장치의 검출 정확성은 터치 검출 레벨을 초과하는 터치 입력 신호들로 인해 감소되지 않을 것이다.
도 7은 본 발명의 제 4 실시예에 따른 터치 검출 방법의 흐름도이다. 도 1 및 도 7을 참조하면, 단계 S702에서, 음성 검출 회로(16)는 터치 유닛(15) 상에서 음성 입력 신호를 검출하다. 그 후, 단계 S704에서, 음성 검출 회로(16)는 음성 입력 신호가 검출되는지 결정한다. 음성 검출 회로(16)가 어느 음성 입력 신호도 검출하지 않으면, 단계 S704 후, 음성 검출 회로(16)는 단계 S702를 다시 실행한다.
단계 S704에서 음성 검출 회로(16)가 음성 입력 신호를 검출하면, 단계 S706에서, 제어 회로(19)는 음성 검출 회로(16)에 의해 검출된 음성 입력 신호가 미리 결정된 음성 모델에 일치하는지 결정한다. 제어 회로(19)가 검출된 음성 입력 신호가 임의의 미리 결정된 음성 모델에 일치하지 않는다고 결정하면, 단계 S706 후, 음성 검출 회로(16)는 단계 S702를 다시 실행한다.
또한, 단계 S706에서 제어 회로(19)가 음성 검출 회로(16)에 의해 검출된 음성 입력 신호가 미리 결정된 음성 모델에 일치한다고 결정하면, 단계 S708에서, 제어 회로(19)는 음성 입력 신호 및 그것의 발생 시간을 저장 회로(18) 내에 기록한다. 다음으로, 단계 S710에서, 터치 검출 회로(17)는 허용 가능한 시간 기간 동안 터치 유닛(15) 상에서 터치 감지 값의 변화를 검출한다. 또한, 단계 S712에서, 제어 회로(19)는 허용 가능한 시간 기간 동안 터치 감지 값의 변화에 따라, 미리 결정된 음성 모델(즉, 음성 검출 회로(16)에 의해 검출된 음성 입력 신호에 일치하는 미리 결정된 음성 모델)에 대응하는 터치 검출 레벨을 업데이트(update)한다. 그렇게 함으로써, 그 다음에 음성 검출 회로(16)가 또 다른 음성 입력 신호를 검출하고, 음성 입력 신호가 전술한 미리 결정된 음성 모델에 일치하는 경우, 제어 회로(19)는 대응하는 터치 입력 신호가 업데이트된 터치 검출 레벨에 따라 검출되는지 결정할 수 있다.
위에서 언급된 제 2, 제 3, 및 제 4 실시예 각각에서, 터치 제어 장치는 항상 음성 입력 신호를 먼저 검출하고, 그 후 입력 도구에 대응하는 음성 입력 신호 및 터치 입력 신호에 따라 입력 도구 및 그것의 터치 행동을 식별한다는 것이 언급되어야 한다. 그러나, 특정 하드웨어 조건에 따라 또는 특정 소프트웨어 실행 환경에서, 터치 제어 장치는 먼저 입력 도구의 터치 행동에 의해 생성된 터치 입력 신호를 검출하며, 그 후 이에 의해 생성된 음성 입력 신호를 수신할 수 있다. 그렇게 함으로써, 본 발명은 또한 음성 입력 신호와 함께 터치 입력 신호를 이용함으로써 식별이 이행되는 터치 제어 장치를 제공하며, 이는 다음 제 5 실시예를 참조하여 설명될 것이다.
제 5 실시예
제 5 실시예에서의 터치 제어 장치의 하드웨어 구조는 제 1 실시예에서의 터치 제어 장치의 하드웨어 구조와 대체로 동일하고, 제 5 실시예에서의 터치 검출 방법은 제 2 실시예에서의 터치 검출 방법과 유사하다. 차이점은 제 5 실시예에서, 터치 제어 장치는 먼저 입력 도구에 의해 생성된 터치 입력 신호를 검출하며, 그 후 동일한 입력 도구에 의해 생성된 터치 입력 신호 및 음성 입력 신호에 따라 입력 도구 및 그것의 터치 행동을 식별한다는 것이다. 그렇게 함으로써, 터치 제어 장치는 앞서 말한 식별 결과에 따라 대응하는 특정-용도 명령을 생성할 수 있으며, 따라서 터치 제어 장치의 용도의 유연성이 개선된다.
도 8은 본 발명의 제 5 실시예에 따른 터치 검출 방법의 흐름도이다. 도 1 및 도 8을 참조하면, 단계 S802에서, 터치 검출 회로(17)는 터치 유닛(15) 상에서 터치 입력 신호를 검출한다. 그 후, 단계 S804에서, 제어 회로(19)는 터치 검출 회로(17)가 터치 입력 신호를 검출하는지 결정한다. 터치 검출 회로(17)가 어느 터치 입력 신호도 검출하지 않으면, 단계 S804 후, 터치 검출 회로(17)는 단계 S802를 다시 실행한다.
단계 S804에서 터치 검출 회로(17)가 터치 입력 신호를 검출하면, 단계 S806에서, 제어 회로(19)는 터치 입력 신호 및 그것의 발생 시간을 기록한다. 그 후, 단계 S808에서, 제어 회로(19)는 음성 검출 회로(16)가 상기 발생 시간 후 허용 가능한 시간 기간 동안 음성 입력 신호를 검출하는지 결정한다. 음성 검출 회로(16)가 허용 가능한 시간 기간 동안 어느 음성 입력 신호도 검출하지 않으면, 이전에 검출된 터치 입력 신호는 무효인 것으로 결정되고, 단계 S808 후, 터치 검출 회로(17)는 단계 S802를 다시 실행한다. 다른 한편으로는, 음성 검출 회로(16)가 허용 가능한 시간 기간 동안 음성 입력 신호를 검출하면, 단계 S810에서, 제어 회로(19)는 음성 입력 신호 및 터치 입력 신호에 따라 입력 도구 및 그것의 터치 행동의 유형을 식별한다.
예를 들면, 제어 회로(19)는 음성 검출 회로(16)에 의해 검출된 음성 입력 신호의 음성 모델을 저장 회로(18) 내의 복수의 미리 결정된 음성 모델들과 순차적으로 비교하고, 음성 입력 신호의 음성 모델이 이들 미리 결정된 음성 모델들 중 적어도 하나와 동일하거나 유사한지 결정한다. 음성 검출 회로(16)에 의해 검출된 음성 입력 신호가 미리 결정된 음성 모델에 일치하면, 제어 회로(19)는 이러한 미리 결정된 음성 모델 및 터치 검출 회로(17)에 의해 검출된 이전의 터치 입력 신호에 따라 입력 도구 및 그것의 터치 행동을 식별한다.
그 후, 단계 S812에서, 제어 회로(19)는 단계 S810에서 식별된 입력 도구 및 터치 행동에 따라 특정-용도 명령을 생성한다.
제 6 실시예
제 6 실시예에서의 터치 제어 장치의 하드웨어 구조는 제 1 실시예의 터치 제어 장치의 하드웨어 구조와 대체로 동일하고, 제 6 실시예에서의 터치 검출 방법은 제 3 실시예에서의 터치 검출 방법과 유사하다. 차이점은 제 6 실시예에서, 터치 제어 장치가 터치 입력 신호를 검출한 후 허용 가능한 시간 기간 동안 어느 대응하는 음성 입력 신호도 터치 제어 장치에 의해 검출되지 않으면, 터치 제어 장치는 이전에 검출된 터치 입력 신호에 따라 기본 명령을 생성할 수 있다는 것이다. 그렇게 함으로써, 어느 음성 입력 신호도 식별 목적을 위해 이용될 수 없는 경우, 터치 제어 장치는 필수 기능들을 여전히 수행하며, 따라서 터치 제어 장치의 용도의 유연성이 개선된다.
도 9는 본 발명의 제 6 실시예에 따른 터치 검출 방법의 흐름도이다. 도 1 및 도 9를 참조하면, 단계 S902에서, 터치 검출 회로(17)는 터치 유닛(15) 상에서 터치 입력 신호를 검출한다. 그 후, 단계 S904에서, 제어 회로(19)는 터치 검출 회로(17)가 터치 입력 신호를 검출하는지 결정한다. 터치 검출 회로(17)가 어느 터치 입력 신호도 검출하지 않으면, 단계 S904 후, 터치 검출 회로(17)는 단계 S902를 다시 실행한다.
단계 S904에서 터치 검출 회로(17)가 터치 입력 신호를 검출하면, 단계 S906에서, 제어 회로(19)는 터치 입력 신호 및 그것의 발생 시간을 기록한다. 그 후, 단계 S908에서, 제어 회로(19)는 음성 검출 회로(16)가 상기 발생 시간 후 허용 가능한 시간 기간 동안 음성 입력 신호를 검출하는지 결정한다. 음성 검출 회로(16)가 허용 가능한 시간 기간 동안 음성 입력 신호를 검출하면, 단계 S910에서, 제어 회로(19)는 음성 입력 신호 및 터치 입력 신호에 따라 입력 도구 및 그것의 터치 행동의 유형을 식별한다. 다음으로, 단계 S912에서, 제어 회로(19)는 단계 S910에서 식별된 입력 도구 및 그것의 터치 행동에 따라 특정-용도 명령을 생성한다.
다른 한편으로는, 단계 S908에서 음성 검출 회로(16)가 허용 가능한 시간 기간 동안 어느 음성 입력 신호도 검출하지 않으면, 단계 S914에서, 제어 회로(19)는 터치 검출 회로(17)에 의해 이전에 검출된 터치 입력 신호에 따라 기본 명령을 생성한다.
또한, 본 실시예에서, 터치 제어 장치(10)가 음성 검출 회로(16)의 기능을 턴 온(turn on)할지 턴 오프(turn off)할지 결정할 수 있다는 것이 언급되어야 한다. 예를 들면, 전력 소비 또는 시스템 부하를 감소시키기 위해, 터치 제어 장치(10)는 음성 검출 회로(16)의 기능을 선택적으로 턴 오프할 수 있다. 예를 들면, 전원(14)이 저 전력 알람 메시지(alarm message)를 발행하는 경우, 제어 회로(19)는 그것의 작동을 일시적으로 중지하도록 음성 검출 회로(16)를 제어하며, 따라서 단지 기본 명령들이 생성되고 그에 따라 전력 소비가 감소된다. 또는, 터치 제어 장치(10)가 파일 편집 모드로 진입하는 경우, 제어 회로(19)는 특정-용도 명령들을 발행함으로써 파일 편집의 효율성을 증가시키기 위해 음성 검출 회로(16)를 시작할 수 있다. 일 예로서 스타일러스 슬롯(stylus slot)을 가진 스마트 폰을 들면, 이용자가 슬롯의 밖으로 스타일러스를 취하는 경우, 스마트 폰은 터치 스크린(touch screen)을 터치하는 입력 도구가 스타일러스인지 또는 이용자의 손가락인지 식별하기 위해 음성 검출 회로의 기능을 시작한다.
위에서 언급된 바와 같이, 본 발명의 실시예에 의해 제공되는 터치 검출 방법 및 터치 제어 장치에서, 터치 유닛 상에서 입력 도구의 터치 행동에 의해 생성된 음성 입력 신호 및 터치 입력 신호가 검출되고, 음성 입력 신호는 미리 결정된 음성 모델과 비교되며, 따라서 입력 도구 및 터치 행동의 유형은 미리 결정된 음성 모델 및 터치 입력 신호를 따라 식별될 수 있다. 또한, 특정-용도 명령은 입력 도구 및 그것의 터치 행동의 유형에 따라 생성된다. 그렇게 함으로써, 음성 입력 신호와 함께 터치 입력 신호를 식별함으로써, 터치 신호들의 검출의 정확성 및 터치 제어 장치의 용도의 유연성 둘 다가 효율적으로 개선될 수 있다.
다양한 수정예들 및 변형예들이 본 발명의 범위 또는 사상에서 벗어남 없이 본 발명의 구조로 제작될 수 있다는 것이 당업자들에게 분명할 것이다. 앞서 말한 내용을 고려하여, 이 발명의 수정예들 및 변형예들이 다음 청구항들 및 그 등가물들의 범위에 포함된다면, 본 발명은 이 발명의 수정예들 변형예들을 커버한다는 것이 의도된다.
Claims (18)
- 터치 제어 장치에 적응되는 터치 검출 방법으로서,
상기 터치 제어 장치는 터치 유닛을 갖고,
상기 터치 검출 방법은,
상기 터치 유닛 상에서 입력 도구의 터치 행동에 의해 생성되는 음성 입력 신호 및 터치 입력 신호를 검출하고 기록하는 단계;
상기 음성 입력 신호 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는 단계로서, 상기 터치 입력 신호는 상기 터치 유닛 상에서 상기 입력 도구의 상기 터치 행동에 대응하는 터치 특성을 나타내고, 상기 음성 입력 신호는 상기 입력 도구의 유형을 식별하기 위해 이용되는, 상기 입력 도구 및 상기 터치 행동을 식별하는 단계;
상기 식별된 입력 도구의 유형이 제1 유형이면, 상기 제1 유형 및 상기 터치 행동에 따른 제1 기능에 대응하는 특정 용도 명령을 생성하는 단계; 및
상기 식별된 입력 도구의 유형이 제2 유형이면, 상기 제2 유형 및 상기 터치 행동에 따른 제2 기능에 대응하는 특정 용도 명령을 생성하는 단계를 포함하는 터치 검출 방법. - 청구항 1에 있어서,
상기 음성 입력 신호 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는 단계는,
상기 음성 입력 신호가 검출되는지 결정하는 단계;
상기 음성 입력 신호가 검출되는 경우, 상기 음성 신호가 미리 결정된 음성 모델에 일치하는지 결정하는 단계;
상기 음성 입력 신호가 상기 미리 결정된 음성 모델에 일치하는 경우, 상기 음성 입력 신호의 발생 시간을 기록하는 단계, 및 상기 발생 시간 후 허용 가능한 시간 기간 동안 상기 터치 입력 신호가 검출되는지 결정하는 단계; 및
상기 허용 가능한 시간 기간 동안 상기 터치 입력 신호가 검출되는 경우, 상기 미리 결정된 음성 모델 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는 단계를 포함하는, 터치 검출 방법. - 청구항 2에 있어서,
상기 음성 입력 신호가 상기 미리 결정된 음성 모델에 일치하지 않는 경우, 상기 터치 입력 신호가 검출되는지 결정하는 단계; 및
상기 터치 입력 신호가 검출되는 경우, 상기 터치 입력 신호에 따라 기본 명령을 생성하는 단계로서, 상기 기본 명령에 대응하는 기능은 상기 터치 행동에 따라 결정되는, 상기 기본 명령을 생성하는 단계를 더 포함하는, 터치 검출 방법. - 청구항 2에 있어서,
상기 허용 가능한 시간 기간 동안 상기 터치 입력 신호가 검출되는지 결정하는 단계는,
상기 허용 가능한 시간 기간 동안 터치 위치에 대응하는 터치 감지 값의 변화를 검출하는 단계;
상기 변화가 터치 검출 레벨보다 큰지 결정하는 단계; 및
상기 변화가 상기 터치 검출 레벨보다 큰 경우, 상기 터치 입력 신호가 검출된다고 결정하는 단계를 포함하는, 터치 검출 방법. - 청구항 4에 있어서,
상기 음성 입력 신호의 상기 발생 시간을 기록하는 단계는,
상기 허용 가능한 시간 기간 동안 상기 터치 감지 값의 상기 변화에 따라 상기 미리 결정된 음성 모델에 대응하는 상기 터치 검출 레벨을 업데이트(update)하는 단계를 더 포함하는, 터치 검출 방법. - 청구항 1에 있어서,
상기 터치 입력 신호가 검출되는지 결정하는 단계;
상기 터치 입력 신호가 검출되는 경우, 상기 터치 입력 신호의 발생 시간을 기록하는 단계, 및 상기 발생 시간 후 허용 가능한 시간 기간 동안 상기 음성 입력 신호가 검출되는지 결정하는 단계; 및
상기 허용 가능한 시간 기간 동안 상기 음성 입력 신호가 검출되는 경우, 상기 음성 입력 신호 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는 단계를 더 포함하는, 터치 검출 방법. - 청구항 6에 있어서,
상기 허용 가능한 시간 기간 동안 상기 음성 입력 신호가 검출되는지 결정하는 단계는,
상기 음성 입력 신호가 미리 결정된 음성 모델에 일치하는지 결정하는 단계; 및
상기 음성 입력 신호가 상기 미리 결정된 음성 모델에 일치하는 경우, 상기 음성 신호가 검출된다고 결정하는 단계를 포함하고,
상기 음성 입력 신호 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는 단계는,
상기 미리 결정된 음성 모델 및 상기 터치 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는 단계를 포함하는, 터치 검출 방법. - 청구항 6에 있어서,
상기 허용 가능한 시간 기간 동안 상기 음성 입력 신호가 검출되지 않으면, 상기 터치 입력 신호에 따라 기본 명령을 생성하는 단계로서, 상기 기본 명령에 대응하는 기능은 상기 터치 행동에 따라 결정되는, 상기 기본 명령을 생성하는 단계를 더 포함하는, 터치 검출 방법. - 청구항 1에 있어서,
상기 터치 특성은 위치, 강도, 면적, 및 지속 시간 중 적어도 하나를 포함하는, 터치 검출 방법. - 터치 유닛;
상기 터치 유닛에 결합되고, 상기 터치 유닛 상에서 입력 도구의 터치 행동에 의해 생성되는 음성 입력 신호를 검출하는, 음성 검출 회로;
상기 터치 유닛에 결합되고, 상기 터치 유닛 상에서 상기 입력 도구의 상기 터치 행동에 의해 생성되는 터치 입력 신호를 검출하는, 터치 검출 회로;
상기 음성 검출 회로 및 상기 터치 검출 회로에 결합되고, 상기 음성 입력 신호 및 상기 터치 입력 신호를 저장하는, 저장 회로; 및
상기 저장 회로, 상기 음성 검출 회로, 및 상기 터치 검출 회로에 결합되고, 상기 음성 입력 신호 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는 제어 회로로서, 상기 터치 입력 신호는 상기 터치 유닛 상에서 상기 입력 도구의 상기 터치 행동에 대응하는 터치 특성을 나타내고, 상기 음성 입력 신호는 상기 입력 도구의 유형을 식별하기 위해 이용되는, 상기 제어 회로를 포함하고,
상기 식별된 입력 도구의 유형이 제1 유형이면, 상기 제어 회로는 상기 제1 유형 및 상기 터치 행동에 따른 제1 기능에 대응하는 특정 용도 명령을 생성하고,
상기 식별된 입력 도구의 유형이 제2 유형이면, 상기 제어 회로는 상기 제2 유형 및 상기 터치 행동에 따른 제2 기능에 대응하는 특정 용도 명령을 생성하는, 터치 제어 장치. - 청구항 10에 있어서,
상기 음성 검출 회로는 상기 음성 신호가 검출되는지 결정하고,
상기 음성 검출 회로가 상기 음성 입력 신호를 검출하는 경우, 상기 제어 회로는 상기 음성 입력 신호가 미리 결정된 음성 모델에 일치하는지 결정하고,
상기 음성 입력 신호가 상기 미리 결정된 음성 모델에 일치하는 경우, 상기 제어 회로는 상기 음성 입력 신호의 발생 시간을 기록하고, 상기 터치 검출 회로가 상기 발생 시간 후 허용 가능한 시간 기간 동안 상기 터치 입력 신호를 검출하는지 결정하며,
상기 터치 검출 회로가 상기 허용 가능한 시간 기간 동안 상기 터치 입력 신호를 검출하는 경우, 상기 제어 회로는 상기 미리 결정된 음성 모델 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는, 터치 제어 장치. - 청구항 11에 있어서,
상기 제어 회로가 상기 음성 입력 신호가 상기 미리 결정된 음성 모델에 일치한다고 결정한다고 결정하는 경우, 상기 제어 회로는 상기 터치 검출 회로가 상기 터치 입력 신호를 검출하는지 결정하고
상기 터치 검출 회로가 상기 터치 입력 신호를 검출하는 경우, 상기 제어 회로는 상기 터치 입력 신호에 따라 기본 명령을 생성하며,
상기 기본 명령에 대응하는 기능은 상기 터치 행동에 따라 결정되는, 터치 제어 장치. - 청구항 11에 있어서,
상기 터치 검출 회로는 상기 허용 가능한 시간 기간 동안 상기 터치 유닛 상에서 터치 감지 값의 변화를 검출하고, 상기 터치 감지 값은 터치 위치에 대응하며,
상기 제어 회로는 상기 변화가 터치 검출 레벨보다 큰지 결정하고,
상기 변화가 상기 터치 검출 레벨보다 큰 경우, 상기 제어 회로는 상기 터치 검출 회로가 상기 터치 입력 신호를 검출한다고 결정하는, 터치 제어 장치. - 청구항 13에 있어서,
상기 제어 회로는 상기 허용 가능한 시간 기간 동안 상기 터치 감지 값의 상기 변화에 따라 상기 미리 결정된 음성 모델에 대응하는 상기 터치 검출 레벨을 더 업데이트(update)하는, 터치 제어 장치. - 청구항 10에 있어서,
상기 제어 회로는 상기 터치 검출 회로가 상기 터치 입력 신호를 검출하는지 결정하고,
상기 터치 검출 회로가 상기 터치 입력 신호를 검출하는 경우, 상기 제어 회로는 상기 터치 입력 신호의 발생 시간을 기록하고, 상기 터치 검출 회로가 상기 발생 시간 후 허용 가능한 시간 기간 동안 상기 음성 입력 신호를 검출하는지 결정하며,
상기 터치 검출 회로가 상기 허용 가능한 시간 기간 동안 상기 음성 입력 신호를 검출하는 경우, 상기 제어 회로는 상기 음성 입력 신호 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는, 터치 제어 장치. - 청구항 15에 있어서,
상기 제어 회로는 상기 음성 입력 신호가 미리 결정된 음성 모델에 일치하는지 결정하고,
상기 제어 회로가 상기 음성 입력 신호가 상기 미리 결정된 음성 모델에 일치한다고 결정하는 경우, 상기 제어 회로는 상기 음성 검출 회로가 상기 음성 입력 신호를 검출한다고 결정하고, 상기 미리 결정된 음성 모델 및 상기 터치 입력 신호에 따라 상기 입력 도구 및 상기 터치 행동을 식별하는, 터치 제어 장치. - 청구항 15에 있어서,
상기 터치 검출 회로가 상기 허용 가능한 시간 기간 동안 상기 음성 입력 신호를 검출하지 않는 경우, 상기 제어 회로는 상기 터치 입력 신호에 따라 기본 명령을 생성하고,
상기 기본 명령에 대응하는 기능은 상기 터치 행동에 따라 결정되는, 터치 제어 장치. - 청구항 10에 있어서,
상기 터치 특성은 위치, 강도, 면적, 및 지속 시간 중 적어도 하나를 포함하는, 터치 제어 장치.
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261638501P | 2012-04-26 | 2012-04-26 | |
US61/638,501 | 2012-04-26 | ||
TW101130305 | 2012-08-21 | ||
TW101130305A TWI502411B (zh) | 2012-04-26 | 2012-08-21 | 觸控偵測方法與觸控偵測裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20130121006A KR20130121006A (ko) | 2013-11-05 |
KR101421638B1 true KR101421638B1 (ko) | 2014-07-22 |
Family
ID=49476803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130006428A KR101421638B1 (ko) | 2012-04-26 | 2013-01-21 | 터치 검출 방법 및 이를 이용하는 터치 제어 장치 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20130285942A1 (ko) |
JP (1) | JP5481581B2 (ko) |
KR (1) | KR101421638B1 (ko) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109582180A (zh) | 2011-10-18 | 2019-04-05 | 卡内基梅隆大学 | 用于分类触敏表面上的触摸事件的方法和设备 |
KR20140114766A (ko) | 2013-03-19 | 2014-09-29 | 퀵소 코 | 터치 입력을 감지하기 위한 방법 및 장치 |
US9612689B2 (en) | 2015-02-02 | 2017-04-04 | Qeexo, Co. | Method and apparatus for classifying a touch event on a touchscreen as related to one of multiple function generating interaction layers and activating a function in the selected interaction layer |
US9013452B2 (en) | 2013-03-25 | 2015-04-21 | Qeexo, Co. | Method and system for activating different interactive functions using different types of finger contacts |
US20150309640A1 (en) * | 2014-04-23 | 2015-10-29 | Robert Bosch Tool Corporation | Touch sensitive control for a tool |
US9329715B2 (en) | 2014-09-11 | 2016-05-03 | Qeexo, Co. | Method and apparatus for differentiating touch screen users based on touch event analysis |
US11619983B2 (en) | 2014-09-15 | 2023-04-04 | Qeexo, Co. | Method and apparatus for resolving touch screen ambiguities |
US10606417B2 (en) | 2014-09-24 | 2020-03-31 | Qeexo, Co. | Method for improving accuracy of touch screen event analysis by use of spatiotemporal touch patterns |
US10282024B2 (en) | 2014-09-25 | 2019-05-07 | Qeexo, Co. | Classifying contacts or associations with a touch sensitive device |
US9904450B2 (en) | 2014-12-19 | 2018-02-27 | At&T Intellectual Property I, L.P. | System and method for creating and sharing plans through multimodal dialog |
US10642404B2 (en) | 2015-08-24 | 2020-05-05 | Qeexo, Co. | Touch sensitive device with multi-sensor stream synchronized data |
KR20180085855A (ko) * | 2017-01-19 | 2018-07-30 | 삼성디스플레이 주식회사 | 터치 센서 및 이의 구동 방법 |
US11009989B2 (en) | 2018-08-21 | 2021-05-18 | Qeexo, Co. | Recognizing and rejecting unintentional touch events associated with a touch sensitive device |
US10942603B2 (en) | 2019-05-06 | 2021-03-09 | Qeexo, Co. | Managing activity states of an application processor in relation to touch or hover interactions with a touch sensitive device |
US11231815B2 (en) | 2019-06-28 | 2022-01-25 | Qeexo, Co. | Detecting object proximity using touch sensitive surface sensing and ultrasonic sensing |
US11592423B2 (en) | 2020-01-29 | 2023-02-28 | Qeexo, Co. | Adaptive ultrasonic sensing techniques and systems to mitigate interference |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980032331A (ko) * | 1996-10-04 | 1998-07-25 | 제프리엘.포맨 | 터치스크린 포인팅 디바이스의 분리 |
KR20020075283A (ko) * | 2001-03-23 | 2002-10-04 | 세이코 엡슨 가부시키가이샤 | 좌표 입력 장치, 액정 표시 장치, 유기 발광 표시 장치,표시 장치 및 전자 장치 |
KR20120004569A (ko) * | 2010-07-07 | 2012-01-13 | 한국과학기술원 | 모바일 기기 인터페이스 장치, 방법 및 이를 위한 기록매체 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62163133A (ja) * | 1986-01-14 | 1987-07-18 | Daikin Ind Ltd | 電子黒板 |
JPH07261932A (ja) * | 1994-03-18 | 1995-10-13 | Hitachi Ltd | センサ内蔵型液晶表示装置及びこれを用いた情報処理システム |
GB2323447B (en) * | 1994-09-15 | 1998-11-18 | Sony Uk Ltd | Multi-channel signal mixing consoles |
JPH09190268A (ja) * | 1996-01-11 | 1997-07-22 | Canon Inc | 情報処理装置およびその方法 |
JP3624070B2 (ja) * | 1997-03-07 | 2005-02-23 | キヤノン株式会社 | 座標入力装置及びその制御方法 |
JPH10301702A (ja) * | 1997-04-30 | 1998-11-13 | Ricoh Co Ltd | ペン型入力装置及びそのパタ−ン認識方法 |
WO2006091753A2 (en) * | 2005-02-23 | 2006-08-31 | Zienon, L.L.C. | Method and apparatus for data entry input |
US8766925B2 (en) * | 2008-02-28 | 2014-07-01 | New York University | Method and apparatus for providing input to a processor, and a sensor pad |
JP4899108B2 (ja) * | 2008-08-24 | 2012-03-21 | 照彦 矢上 | 腕時計型電子メモ装置 |
US9123341B2 (en) * | 2009-03-18 | 2015-09-01 | Robert Bosch Gmbh | System and method for multi-modal input synchronization and disambiguation |
US8514187B2 (en) * | 2009-09-30 | 2013-08-20 | Motorola Mobility Llc | Methods and apparatus for distinguishing between touch system manipulators |
US8890823B2 (en) * | 2012-01-09 | 2014-11-18 | Motorola Mobility Llc | System and method for reducing occurrences of unintended operations in an electronic device |
-
2012
- 2012-12-14 US US13/714,428 patent/US20130285942A1/en not_active Abandoned
-
2013
- 2013-01-21 KR KR1020130006428A patent/KR101421638B1/ko active IP Right Grant
- 2013-04-04 JP JP2013078228A patent/JP5481581B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19980032331A (ko) * | 1996-10-04 | 1998-07-25 | 제프리엘.포맨 | 터치스크린 포인팅 디바이스의 분리 |
KR20020075283A (ko) * | 2001-03-23 | 2002-10-04 | 세이코 엡슨 가부시키가이샤 | 좌표 입력 장치, 액정 표시 장치, 유기 발광 표시 장치,표시 장치 및 전자 장치 |
KR20120004569A (ko) * | 2010-07-07 | 2012-01-13 | 한국과학기술원 | 모바일 기기 인터페이스 장치, 방법 및 이를 위한 기록매체 |
Non-Patent Citations (1)
Title |
---|
3 차원 오브젝트 직접조작을 위한 데이터 글러브 기반의 멀티모달 인터페이스 설계(임미정 외 1인, 한국HCI학회 2006년도 학술대회.) * |
Also Published As
Publication number | Publication date |
---|---|
KR20130121006A (ko) | 2013-11-05 |
JP5481581B2 (ja) | 2014-04-23 |
US20130285942A1 (en) | 2013-10-31 |
JP2013229020A (ja) | 2013-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101421638B1 (ko) | 터치 검출 방법 및 이를 이용하는 터치 제어 장치 | |
US9329767B1 (en) | User-specific customization based on characteristics of user-interaction | |
US10082888B2 (en) | Stylus modes | |
WO2015033609A1 (ja) | 情報処理装置、入力方法およびプログラム | |
US20150160731A1 (en) | Method of recognizing gesture through electronic device, electronic device, and computer readable recording medium | |
US20140340321A1 (en) | Mistouch identification method and device using the same | |
US9857879B2 (en) | Finger gesture sensing device | |
KR20140131061A (ko) | 터치 스크린 동작 방법 및 그 전자 장치 | |
US20110254806A1 (en) | Method and apparatus for interface | |
CN116507995A (zh) | 带有虚拟轨迹板的触摸屏显示器 | |
KR20100129124A (ko) | 전자 디바이스 터치스크린을 위한 사용자 인터페이스 장치 및 방법 | |
KR20160046668A (ko) | 기능 실행 방법 및 이를 구현한 전자장치 | |
CN109791460A (zh) | 软件定义的图标与多个可扩展层的相互作用 | |
TWI502411B (zh) | 觸控偵測方法與觸控偵測裝置 | |
CN103984433A (zh) | 用于控制触摸键操作的方法和设备 | |
US8378980B2 (en) | Input method using a touchscreen of an electronic device | |
US20150063577A1 (en) | Sound effects for input patterns | |
KR20140137629A (ko) | 이어폰 연결을 감지하는 휴대 단말 및 방법 | |
CN109582171A (zh) | 使用电容悬停模式的对新触摸姿势的手指标识 | |
EP2657827A2 (en) | Touch detection method and touch control device using the same | |
CN105373323A (zh) | 用于操作电子设备的方法、操作装置和电子设备 | |
JP7299693B2 (ja) | 筆記入力装置及び筆記入力システム | |
CN108491325B (zh) | 文件系统测试方法、装置、存储介质及终端 | |
WO2016197430A1 (zh) | 信息输出的方法、终端和计算机存储介质 | |
CN105373209A (zh) | 移动终端的控制方法、装置及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
FPAY | Annual fee payment |
Payment date: 20170616 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20180628 Year of fee payment: 5 |