KR20080089569A - 비디오-기반의 수기 입력 방법 및 장치 - Google Patents

비디오-기반의 수기 입력 방법 및 장치 Download PDF

Info

Publication number
KR20080089569A
KR20080089569A KR1020087014276A KR20087014276A KR20080089569A KR 20080089569 A KR20080089569 A KR 20080089569A KR 1020087014276 A KR1020087014276 A KR 1020087014276A KR 20087014276 A KR20087014276 A KR 20087014276A KR 20080089569 A KR20080089569 A KR 20080089569A
Authority
KR
South Korea
Prior art keywords
stylus
image
handwriting input
sound
stroke
Prior art date
Application number
KR1020087014276A
Other languages
English (en)
Other versions
KR101033451B1 (ko
Inventor
켈빈 쉬어
Original Assignee
인터내셔널 비지네스 머신즈 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터내셔널 비지네스 머신즈 코포레이션 filed Critical 인터내셔널 비지네스 머신즈 코포레이션
Publication of KR20080089569A publication Critical patent/KR20080089569A/ko
Application granted granted Critical
Publication of KR101033451B1 publication Critical patent/KR101033451B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • Character Discrimination (AREA)

Abstract

수기 입력을 위한 방법 및 장치 뿐만 아니라 컴퓨터 기록 매체가 공개된다. 본 발명은 사용자가 (특별한 컬러 포인트 또는 광 포인트와 같은) 특별한 마크를 갖는 스타일러스로 필기면 상에서 필기할 때 디지털 카메라로 미가공 스트로크를 포함하는 화상을 포착하고 마이크로폰으로 필기 사운드를 수신하는 단계로서, 상기 화상과 사운드에는 타임스탬프가 부착되는 것인, 상기 포착 및 수신 단계와; 포착된 화상을 스타일러스 상의 특별한 마크와 비교함으로써 미가공 스트로크의 화상을 추출하는 단계와; 수신된 필기 사운드를 이용하여 미가공 스트로크로부터 "유효 스트로크"를 검색하는 단계에 의해 구현된다. 게다가, 본 발명은 내장된 디지털 카메라를 구비한 (노트북 및 PDA 등과 같은) 컴퓨터 시스템에 대해 터치 센서를 제공하지 않고도 사용자가 종이 상에서 필기할 수 있도록 해주는 수기 입력을 위한 저비용의 무선의 방법 및 장치를 공개한다.
Figure P1020087014276
수기 입력, 마크, 유효 스트로크, 필기 사운드

Description

비디오-기반의 수기 입력 방법 및 장치{VIDEO-BASED HANDWRITING INPUT METHOD AND APPARATUS}
본 발명은 대체로 수기 입력 방법 및 장치에 관한 것으로, 더 구체적으로는 온라인 문자 인식(OLCR)용 디지털 카메라로 실시간 수기 스트로크의 화상 데이터를 포착함에 의한 수기 입력 방법 및 장치에 관한 것이다.
컴퓨터 기술의 신속한 발전과 더불어, PDA 또는 휴대용 컴퓨터(HPC)와 같은 수기 인식 서브시스템으로 사용자의 수기 입력을 받아들이기 위한 많은 정보 처리 장치들이 나타나고 있다. 수기 인식 서브시스템은 대개, PDA와 같은 소형 모바일 장치에 텍스트를 입력하거나, 한자와 같은 입력하기 어려운 문자를 컴퓨터에 입력하는 환경에서 유용하다. 사용자는 펜-모양의 장치에 의해 수기 데이터 및 심볼을 컴퓨터에 입력할 수 있다. 이에 대응하여, 사용자의 수기 입력을 인식할 수 있는 많은 수기 문자 인식 장치가 나타나고 있다.
수기 입력 분야에서, 온라인 문자 인식(OLCR) 및 광학 문자 인식(OCR)이라고 알려진 수기 문자 인식에 대한 2개의 접근법이 있다. OCR 접근법은 때때로 오프라인 수기 인식이라 언급된다. 일반적으로, 온라인 문자 인식(OLCR) 기술은 동적 수기 정보를 채택하는 반면, 모든 오프라인 수기 인식은 정적 수기 정보를 채택한다. 모든 OCR 시스템은, 화상 파일로서의 기존 문서로부터 텍스트를 컴퓨터 내에 읽어들이기 위해 광학 스캐너와 같은 입력 장치를 대개 사용하며, 데이터 인지 및 데이터 재구축(예를 들어, 그 패턴을 분석하고 그들이 상징하는 문자를 식별)에 의해 그 화상 파일을 처리하여 편집이나 이후의 사용을 위한 텍스트 파일을 생성한다. OLCR 기술에 비해, OCR 기술은 스트로크 방향, 스트로크 순서, 첨두부 압력 또는 속도와 같은 실시간 동적 수기 정보를 특징물로 얻을 수 없기 때문에, 인식 속도에서 악영향을 받는다.
OLCR 기술은, 디지타이징 타블렛 상에서 문자들을 하나씩 쓰고, 그 다음 인식 소프트웨어에 의해 이들 문자들을 인식하기 위해, 수기 입력 장치로서 스타일러스를 사용한다. OLCR 기술은 스트로크 방향, 스트로크 순서, 첨두부 압력 또는 속도와 같은 동적 수기 정보를 특징물로 채택하기 때문에, 일반적으로 더 나은 인식 정확도를 제공하며, 현재의 수기 입력 장치에 널리 이용된다.
현재, OLCR 기술을 이용하는 종래의 수기 입력 장치는 대개, 예를 들어 디지타이징 타블렛과 같은 패드 표면에 접촉하는 펜 스트로크를 감지하고 기록하기 위해 자기 센서 또는 압력 센서를 병합한 터치 감지 패드를 요구한다. 종래의 디지타이징 타블렛은 대개 외부 스마트 스타일러스와 연결된 와이어를 가진다.
IBM사의 Thinkscribe는, 전통적인 종이-기반의 필기 시스템을 갖는 디지타이징 타블렛을 구비한 수기 디지타이저를 통합한 장치이다. 디지타이징 타블렛은 무선 주파수 결합된 스타일러스로부터 전자기 신호를 수신할 수 있는 활성 영역을 포함한다. 이 장치는 스트로크 및 연관된 타이밍에서 사용자의 수기 입력을 기록하 며, 원래의 타이밍 정보에 따라 사용자의 수기 입력을 재생할 수 있다. 사용자는 디지털 타블렛 또는 종이 상에서 전송될 문서를 작성할 것이다. 디지타이징 타블렛은, 스트로크 및 연관된 이벤트들을 나타내는 데이터 흐름을 생성하고, 그 데이터 흐름을 비휘발성 메모리에 기록한다. 데이터 흐름 내의 연관된 이벤트들은, 입력 장치에 의해 자동 발생된 이벤트와, 사용자가 기동한 이벤트로 일반적으로 분류될 수 있다. 자동 발생된 이벤트들은 사용자로부터의 특정한 입력없이 발생되어 검출되고 기록되는 이벤트이다. 예를 들어, 스타일러스가 필기면과 접촉하고 있다는 것을 가리키는 펜다운 이벤트, 및 스타일러스가 필기면으로부터 들어올려졌다는 것을 가리키는 펜업 이벤트가 정의될 수 있다. "잉크 자국"은 펜다운과 펜업 이벤트 사이에 기록된 일련의 펜좌표로서 정의될 수 있다.
전술한 모든 입력 장치는, 패드 표면 상에서 접촉하고 있는 펜 스트로크를 감지하고 기록하기 위해 자기 센서 또는 압력 센서를 병합한 터치 감지형 패드를 요구한다. 이 패드는 기존 PDA나 개인용 컴퓨터에 대한 추가의 비용이다. 이 패드는 또한 크기가 커서, 소지하기에 어렵거나, PDA에 내장하여 동작할 때 스크린 면적을 점유한다. 패드는 대개 컴퓨터에 패드를 접속시키는 와이어와, 펜을 패드에 접속시키는 와이어를 가진다. 가끔 상황이 지저분해 진다.
다른 타입의 인식 시스템에서, 인식 목적을 위해, 순수 디지털 카메라 입력이 이용될 수 있으나, 처리 및 결과가 정확하지 않다.
비교적 고해상도의 내장된 디지털 카메라를 구비한 많은 컴퓨터 시스템들(예를 들어, 노트북 PC, 퍼베이시브 장치, PDA 등)이 더 많이 시장에 출시됨에 따라, 이와 같은 퍼베이시브 장치에서 수기 인식 프로세스에서의 사용을 위한 디지털 카메라에 디지털 비디오 데이터를 제공하는 것이 유익할 것이다. 따라서, 터치 센서 없이, 그리고 센서를 컴퓨터(또는 퍼베이시브 장치 등)에 접속하는 와이어나, 스타일러스(또는 펜)를 센서에 연결하는 와이어 없이, 사용자가 종이 상에서 기록할 수 있도록 해주는 용이하고 저비용의 해결책으로서, 전술한 단점들이 극복하기 위해 저비용의 디지털 카메라를 장착한 해결책을 제공하는 것이 유익할 것이다.
본 발명의 목적은, 내장된 디지털 카메라를 구비한 (노트북 및 PDA 등과 같은) 컴퓨터 시스템에 대해 터치 센서를 제공하지 않고 사용자가 종이 상에서 필기할 수 있도록 해주는 수기 입력을 위한 저비용의 무선 방법 및 장치를 제공하는 것이다.
본 발명은, 잉크 자국이 아니라, 특별한 마크(특별한 컬러 포인트 또는 광 포인트)의 누적된 궤적(예를 들어, 미가공 스트로크)를 검색한 다음, 그 미가공 스트로크로부터 유효 스트로크를 검색하는 것을 공개한다. 따라서, 본 발명의 또 다른 목적은, 실제 종이 환경, 또는 잉크 자국이 있지 않은 비-종이 환경에 대해 사용될 수 있는 수기 입력을 위한 방법 및 장치를 제공하는 것이다.
본 발명의 제1 양태에 따르면, 사용자가 특별한 마크(예를 들어, 특별한 컬러 포인트 또는 광 포인트)를 갖는 스타일러스로 필기면 상에 필기할 때 미가공 스트로크를 포함하는 화상을 포착하고 필기 사운드를 수신하는 단계로서, 상기 화상과 사운드는 타임-스탬프 부착되는 것인, 상기 포착 및 수신 단계와; 상기 포착된 화상을 상기 스타일러스 상의 특별한 마크와 비교하여 미가공 스트로크의 화상을 추출하는 단계와; 상기 수신된 필기 사운드를 이용하여 상기 미가공 스트로크로부터 유효 스트로크를 검색하는 단계에 의해 구현되는 방법 및 장치가 제공된다.
본 발명의 제1 양태에 따르면, 사용자가 특별한 마크를 갖는 스타일러스로 필기면 상에 필기할 때, 유효 스트로크를 포함하는 화상을 포착하고 필기 사운드를 수신하는 단계로서, 상기 화상과 사운드는 타임-스탬프 부착되는 것인, 상기 포착 및 수신 단계와; 사운드 비존재 기간에 대응하는 화상 데이터를 제거하고 나머지 화상 데이터를 기록하는 단계; 및 상기 기록된 데이터를 상기 스타일러스 상의 특별한 마크와 비교함으로써 유효 스트로크를 검색하는 단계에 의해 구현되는 방법 및 장치가 제공된다.
본 발명의 제1 양태에 따르면, 사용자가 특별한 마크를 갖는 스타일러스로 상기 필기면 상에 필기하려고 상기 스타일러스를 상기 필기면에 접촉시킬 때 유효 스트로크를 포함하는 화상을 포착하기 위한 디지털 화상 포착 수단을 인에이블하는 단계로서, 상기 화상은 타임-스탬프 부착되는 것인, 상기 인에이블하는 단계; 상기 스타일러스가 상기 필기면 상에서 들어올려질 때 상기 디지털 화상 포착 수단을 디스에이블하는 단계; 및 상기 포착된 화상을 상기 스타일러스 상의 특별한 마크와 비교함으로써 유효 스트로크를 추출하는 단계에 의해 구현되는 방법 및 장치가 제공된다.
본 발명 및 그 잇점들의 더 깊은 이해를 위해, 공개되는 실시예의 이하의 상 세한 설명이 첨부된 도면과 연계하여 고려될 것이다.
도 1 및 도 2는 본 발명을 구현하는 상이한 정보 처리 시스템을 각각 예시하는 도면이다.
도 3은 본 발명에 대해 사용되는 스타일러스(130)를 도시한 도면이다.
도 4는 본 발명에 따른 수기 입력 처리의 플로차트이다.
도 5는 필기면 상에서 타겟 영역을 정의하기 위해 사용자가 스크린을 통해 컴퓨터 시스템과 대화할 수 있는 도면이다.
도 6은 디지털 카메라에 의해 포착한 화상 프레임들의 시퀀스이다.
도 7은 단계 450을 수행하는 일례이다.
도 8은 단계 450을 통해 도 6에 도시된 미가공 스트로크를 처리한 결과를 도시한 도면이다. 여기서, 도 6에 도시된 실선만이 스토리지에 저장된다.
용어
상세한 설명을 통해 이하의 용어들이 사용될 것이다.
스트로크 -- 펜 또는 스타일러스의 트랙. 스트로크는, 도 7에 도시된 미가공 스트로크 화상(700)의 실선 및 점선과 같이, 필기면 또는 종이면 상에 또는 이에 근접하여 씌어진 텍스트, 마크, 라인, 및/또는 형상을 포함한다.
잉크 자국 -- 잉크 자국은, 도 7에 도시된 미가공 스트로크 화상(700)의 실선과 같이, 문자 그 자체를 가리키는, 종이의 표면상에 씌어진 텍스트를 포함한다.
이하에서 본 발명의 실시예가 기술될 것이다. 공개된 실시예는 예시를 위한 것이다. 따라서, 당업자라면 본 발명의 사상 및 범위로부터 벗어나지 않고 많은 변경 및 수정이 있을 수 있다는 것을 이해할 것이다. 첨부된 도면들 전체에 걸쳐, 유사한 부분에는 유사한 참조번호가 할당된다.
도 1 및 도 2는 본 발명을 구현한 상이한 정보 처리 시스템을 각각 예시하고 있다. 도 1에서, PDA(100) 또는 유사한 퍼베이시브 컴퓨팅 장치는 내장된 디지털 카메라(110), 빌트인 마이크로폰(120), 및 수기 입력 모듈(미도시)을 포함한다. 사용자가 미리정의된 영역 내에서 필기면 또는 종이(140) 상에서 스타일러스(130)로 필기하면, 디지털 카메라(110)가 미리 정의된 영역 내의 실시간 스트로크를 포함하는 화상을 포착할 것이다. 이 모듈은 스타일러스(130)의 움직임의 실시간 스트로크의 화상에 대응하는 동적 비디오 데이터 출력을 생성하는 기능을 포함한다. 유사하게, 사용자가 필기면 상의 미리 정의된 영역 내에서 필기할 때, 스타일러스(130)는 필기면에 접촉하고 항상 사운드를 생성한다. 마이크로폰(120)은 필기면 상에서의 스타일러스(130)의 움직임의 소리를 픽업한다. 이 모듈은 그 사운드에 대응하는 오디오 데이터 출력을 생성하는 기능을 포함한다. 스타일러스(130)의 첨두부(150)는, 이 모듈이 디지털 카메라(110)에 의해 포착된 화상으로부터 실시간 미가공 스트로크들의 화상을 추출하기 위한 특별한 컬러를 포함한다. PDA 또는 유사한 퍼베이시브 장치는 디지털 카메라(110)에 의해 포착된 화상과, 마이크로 폰(120)에 의해 픽업된 사운드를 수신할 수 있고, 실시간 미가공 스트로크의 화상을 추출한 다음, 그로부터, 도 4에 도시된 본 발명의 수기 입력 모듈에 따른 인식을 위한 유효 스트로크를 검색할 수 있다.
유사하게, 도 2의 컴퓨터(200)는 호스트(210), 스크린(220), 및 수기 입력 모듈(미도시)을 포함한다. 처리를 위한 대응하는 동적 비디오 데이터를 생성하기 위한 실시간 미가공 스트로크의 화상을 포착하기 위해 스크린(220) 상에는 디지털 카메라(110)가 있다. 호스트(210)는, 대응하는 오디오 데이터를 생성하기 위해 종이(140) 상에서 스타일러스로 필기할 때의 사운드를 픽업하기 위해 마이크로폰(120)을 포함할 수 있다.
도 3은 본 발명에 대해 사용될 수 있는 스타일러스(130)를 도시한다. 스타일러스(130)는, 기본적으로, 실제 종이 상에 필기할 수 있는 특별한 컬러 포인트를 갖는 펜(잉크 펜)이거나, 실제 종이 상에 잉크 자국을 남겨놓도록 필기할 수 없는, 특별한 컬러 포인트를 갖는 플라스틱 스타일러스이다. 이 특별한 컬러 포인트는 양호하게는 스타일러스의 첨두부(150)에 위치한다. 이 특별한 컬러 포인트는 수기 입력 모듈이 디지털 카메라(110)에 의해 포착된 화상으로부터 실시간 스트로크의 화상을 추출하기 위한 기준으로서 제공된다. 특별한 컬러의 목적이, 디지털 카메라(110)에 의해 포착된 화상으로부터 실시간 스트로크의 화상을 추출하기 위한 기준으로 제공되기 위함이기 때문에, 필기 환경의 색상과는 상이한 임의의 색상이어도 된다. 특별한 색상은 양호하게는 사용자에 의해 변경되도록 설계된다. 특별한 컬러 포인트는, 본 발명의 구현시, 첨두부(150)의 위치만으로 제한되지는 않는다. 한편, 스타일러스(130)는 또한 디지털 카메라(110)에 의해 포착된 화상으로부터 실시간 스트로크의 화상을 추출하기 위한 기준으로서 첨두부(150)의 부근에 광 포인트(예를 들어, LED 광)를 제공할 수도 있다.
스타일러스(130)는 마이크로-스위치(160) 및 내장형 부저(170)를 역시 포함한다. 스타일러스(130)가 필기면과 접촉할 때, 마이크로-스위치(160)는 턴온되어 부저(170)를 인에이블하고 소정 주파수의 사운드를 발생한다. 이와 같은 종류의 스타일러스는, 휴대용 컴퓨터, PDA, 또는 임의의 유사한 퍼베이시브 컴퓨팅 장치와 같은 컴퓨터 시스템 상의 마이크로폰(120)이 좋지 못할 때에만 필요하다.
도 4는 본 발명에 따른 수기 입력 처리의 플로차트를 도시한다. 도 4에 도시된 A-A' 부분은 본 발명에 따른 입력 모듈이다. 먼저, 단계(410)에서, 사용자는 사용자의 수기 입력을 위해 필기면(140) 상에서 타겟 영역을 정의하기 위해 수기 입력 이전에 타겟 영역을 정의하는 단계를 수행한다. 타겟 영역은 화상을 포착하는 디지털 카메라(110)에 대한 유효 영역이다. 도 5에 도시된 바와 같이, 사용자는 필기면상에서 타겟 영역을 정의하기 위해 스크린(220)을 통해 컴퓨터 시스템과 대화할 수 있다. 게다가, 디지털 카메라에 의해 포착된 필기면 상의 직사각형의 화상은 사다리꼴이 될 것이다. 따라서, 필기면 상에서 타겟 영역을 정의한 후에, 사다리꼴을 스크린(220)에 도시된 직사각형(190)으로 되변환하기 위해 간단한 수학적 변형이 수행될 수 있다. 수학적 변형은 당업자에 의해 용이하게 달성된다. 이와 같이, 스트로크의 화상을 얻은 후에, 후속 단계(433)에서 기술된 바와 같이 스트로크의 화상에 대한 수학적 변형이 요구된다. 실제로, 변형은 후속된 수기 인식 프로세스에서 수행될 수 있기 때문에, 수기 입력 프로세스 동안에 수학적 변형은 요구되지 않는다는 점에 주목해야 한다.
사용자가 특별한 컬러 포인트를 갖는 스타일러스로 필기면의 타겟 영역 상에서 필기할 때, 디지털 카메라(110)에 의해 포착된 화상과 마이크로폰(120)에 의해 수신된 사운드는, 스트로크의 화상에 대응하는 비디오 데이터와, 사운드에 대응하는 오디오 데이터를 생성하기 위해 개별적으로 처리될 것이다(단계 430, 440).
미가공 스트로크의 화상을 얻는 단계(430)는 3개의 부단계들로 나누어지며, 아래와 같다:
단계(431)에서, 화상을 포착하고 타임-스탬프를 부착하는 단계가 수행된다. 디지털 프레임은 일반적으로 초당 30프레임의 속도로 화상을 포착한다. 디지털 카메라에 의해 포착된 필기면의 타겟 영역 내의 화상 시퀀스에 추가하여, 화상들에는 타임스탬프가 부착된다. 그 다음, 단계(432)에서, 스트로크에 관련되지 않은 모든 무관한 화상들(예를 들어, 손과 스타일러스의 화상)을 걸러내고, 프레임들의 포착된 화상을 스타일러스 상의 특별한 컬러 포인트(또는 광)의 컬러를 비교함으로써 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 궤적, 즉 "미가공 스트로크"만을 남겨두기 위해, 포착된 화상들로부터의 미가공 스트로크들의 화상을 추출하는 단계가 수행된다. 단계(433)에서, 디지털 카메라가 화상을 포착할 때 미가공 스트로크의 화상의 스큐를 보정하기 위해 미가공 스트로크의 타임스탬프 부착된 화상을 변형하고 정규화하도록, 전술한 도 5에 관련된 설명과 유사한, 미가공 스트로크의 화상을 수학적 변형 및 정규화하는 단계가 수행된다. 마찬가지로, 변형은 후 속된 수기 인식 프로세스에서 수행될 수 있기 때문에, 수기 입력 프로세스 동안에 단계(433)는 요구되지 않는다.
도 6은 디지털 카메라에 의해 포착된 화상 프레임들의 시퀀스를 도시하고 있다. 디지털 카메라는 초당 30 프레임의 속도로 화상을 포착하기 때문에, 도 6에서는 프레임들의 일부만이 도시되어 있다. 디지털 카메라는 타겟 영역 내의 뷰 필드내에 나타나는 모든 화상들을 포착한다. 따라서, 만일 사용자가 실제 종이 상에서 필기할 수 있는 잉크 펜/특별한 컬러 포인트(또는 광 포인트)를 갖는 스타일러스로, 예를 들어, 종이와 같은 필기면 상에서 필기를 한다면, 잉크 자국의 화상, 스타일러스, 스타일러스 상의 "특별한 컬러 포인트(또는 광 포인트)", 및 사용자의 손이 각 프레임 내에 실제로 도시되어 있다.
이해의 편의를 위해, 도 6의 각 프레임 내의 특별한 컬러 포인트(또는 광 포인트)의 움직임의 자취는 "누적된 궤적"이라 불린다. 도 6에 도시된 스트로크들은 실선과 점선을 포함한다. 여기서, 실선으로 표시된 펜의 잉크 자국은 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 누적된 궤적과 중첩하고, 점선은 펜이 필기면으로부터 들어 올려질 때 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 누적된 궤적을 나타낸다. 따라서, 도 6의 각 프레임에 도시된 바와 같이, 각 프레임은 잉크 자국의 화상, 스타일러스, 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 "누적된 궤적", 및 사용자의 손을 포함한다. 여기서, 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 "누적된 궤적"은 희망하는 "미가공 스트로크"를 구성한다. 각 프레임의 화상들은 도 6에 도시된 점선들의 화상을 실제로는 포함하지 않으며, 점선의 소정 위치에서 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)만을 도시하고 있다.
스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 특별한 컬러(또는 광)를 이용함으로써, 잉크 자국, 특별한 컬러 포인트(또는 광 포인트)가 아닌 스타일러스 및 사용자의 손의 화상을 용이하게 걸러내고, 특별한 컬러 포인트(또는 광 포인트)의 누적된 궤적의 비디오 데이터를 스토리지에 남겨두기 위해 본 발명이 수행될 수 있다. 단계(432)를 수행한 후에, 스토리지에 저장된 비디오 데이터는, "미가공 스트로크", 즉, 도 6의 프레임 9 내의 실선 및 점선을 포함하는, 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 누적된 궤적에 대응한다.
만일 사용자가 특별한 컬러 포인트를 갖는 스타일러스/펜으로 비-종이 필기면 상에서 필기한다면, 스트로크의 잉크 자국은 없다. 따라서, 디지털 카메라에 의해 포착된 프레임들에 도시된 바와 같이, 그 프레임들은, 잉크 자국없이, 스타일러스, 특별한 컬러 포인트(또는 광 포인트), 및 사용자 손의 화상을 포함할 것이다. 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 누적된 궤적은 희망하는 미가공 스트로크를 구성한다.
단계(440)에서, 필기면 상에서 스타일러스(130)의 움직임의 사운드를 마이크로폰으로 픽업하기 위해, 필기 사운드를 수신하고 타임스탬프를 부착하는 단계가 수행된다. 사운드의 샘플링 레이트는 8000Hz로서, 디지털 카메라로 화상을 포착하는 속도(예를 들어, 전술한 30 프레임/초)보다 훨씬 크다. 본 발명이 구현될 때, 화상(또는 프레임) 포착 속도보다 훨씬 큰 임의의 사운드 샘플링 속도가 이용가능 하며, 전술한 8000 Hz만으로 한정되는 것은 아니다. 마찬가지로, 마이크로폰에 의해 수신된 사운드에도 역시 타임스탬프가 부착된다. 전술된 바와 같이, 불량한 마이크로폰의 경우, 사용자는 도 3에 도시된 바와 같이, 마이크로-스위치(160) 및 내장형 부저(170)를 포함하는 종류의 스타일러스를 필요로 할 것이다.
단계(450)에서, 미가공 스트로크의 상기 타임스탬프 부착되고 정규화된 화상을, 타임스탬프에 의해 정렬시킨 상기 타임스탬프 부착된 사운드와 비교함으로써, 사운드 비존재 기간에 대응하는 정규화된 미가공 스트로크를 제거하고 정규화된 유효 스트로크를 남겨두기 위해, 미가공 스트로크로부터 유효 스트로크를 검색하는 최종 필터링 단계가 수행된다. 만일 사용자가 특별한 컬러 포인트(150)를 갖는 잉크 펜으로 종이에 필기한다면, 종이 상의 잉크 자국은 전술한 유효 스트로크에 대응한다.
도 7은 단계(450)를 수행하는 예를 도시한다. 필기면 상에서 "I"를 쓸 때, 디지털 카메라(110)에 의해 포착된 미가공 스트로크(700)의 화상들은 도 7에 도시된 실선("I"), 및 점선들, 즉 세그먼트 '$ 에서 d$까지를 포함한다. 사실상, 실선과 점선은, 스타일러스가 필기면과 접촉할 때, 및 스타일러스가 필기면으로부터 들어 올려질 때 각각 누적되는 궤적이다. 마이크로폰(120)에 의해 픽업된 사운드 신호(710)는 기간, '$, b$, d$에만 나타난다. 스트로크들 '$에서 d$까지의 화상의 세그먼트는 각각 사운드 신호 '$에서 d$까지의 기간에 대응한다. 이 기간은 스타일러스가 필기면으로부터 들어 올려지는 사운드 비존재 기간을 가리키며, 스트로크들의 화상의 점선에 대응한다. 따라서, 단계(450)을 수행한 후에, 사운드 비존재 기간에 대응하는 세그먼트들을 제거하기 위해 미가공 스트로크의 화상과 사운드를 비교함으로써 연관된 사운드 신호를 갖는 세그먼트 '$, b$, d$가 남겨지고 저장된다. 세그먼트 '$, b$, d$는 도 7에서 실선 "I"로서의 희망하는 "유효 스트로크"를 구성한다. 마찬가지로, 도 6에 도시된 미가공 스트로크는 단계(450) 이후에 처리되고, 그 결과는 도 8에 도시되어 있듯이, 도 6의 실선만이 스토리지에 저장된다.
단계(450)를 수행함으로써 얻어진 유효 스트로크는 인식을 위해 수기 인식 엔진에 공급될 것이다(단계 460). 본 발명의 목적은 인식을 위해 수기 입력의 유효 스트로크를 제공하는 것이다. 따라서, 수기 인식 엔진은 임의의 적절한 수기 인식 시스템일 수 있다.
본 발명은, 잉크 자국이 아니라, 스타일러스 상의 특별한 컬러 포인트(광 포인트)의 누적된 궤적(예를 들어, 미가공 스트로크)를 검색하고, 그 다음, 미가공 스트로크로부터 유효 스트로크를 추출하는 것이다. 따라서, 본 발명에 따른 수기 입력의 방법은, 실제의 종이 환경에 대해, 또는 스트로크의 잉크 자국이 있지 않은 비-종이 환경에 대해 사용될 수 있다.
비록 전술한 내용이 본 발명의 양호한 실시예를 설명하고 있으나, 본 발명은 하드웨어, 소프트웨어, 또는 이들의 조합으로 구현될 수 있다는 것을 깨달아야 한다. 따라서, 그 형태나 세부사항에서 기타의 변경이 있을 수 있다. 예를 들어, 대안으로서, 스타일러스가 필기면과 접촉할 때, 디지털 카메라가 인에이블되고, 스타일러스가 필기면으로부터 들어 올려질 때, 디지털 카메라가 디스에이블된다. 이와 같이, 스타일러스는 필기면으로부터 들어 올려지면, 화상을 포착하는 디지털 카 메라 기능이 디스에이블된다. 본 발명은 이런식으로 화상을 포착하고, 그 다음, 유효 스트로크를 검색함으로써 구현될 수 있다. 따라서, 전술한 미가공 스트로크로부터 유효 스트로크를 검색하는 단계(450)는 생략될 수 있다.
추가적으로, 도 4에 도시된 실시예와는 상반되는 본 발명의 대안에 따르면, 디지털 카메라(110)에 의해 포착된 화상은 (도 4의 단계 430, 440과 같이) 먼저 별도로 처리되지 않을 것이다. 대안적인 실시예에 따르면, 본 발명은, 디지털 카메라(110)에 포착된 타임스탬프 부착된 화상을, 사운드 비존재 기간에 대응하는 화상을 제거하기 위해 타임스탬프를 정렬함으로써 마이크로폰(120)에 의해 수신된 타임스탬프 부착된 화상과 비교하고, 도 6에 도시된 바와 같이, 잉크 자국의 화상, 스타일러스, 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 누적된 궤적의 실선, 및 사용자의 손만을 남겨놓음으로써 구현된다. 여기서, 스타일러스 상의 특별한 컬러 포인트 또는 광 포인트)의 누적된 궤적의 실선은 희망하는 "유효 스트로크"를 구성한다. 그 다음, 스트로크에 관련되지 않은 모든 무관한 화상(예를 들어, 손 및 스타일러스의 화상)을 걸러내기 위해 유효 스트로크를 검색하는 단계가 수행되고, 프레임들의 포착된 화상을 스타일러스 상의 특별한 컬러 포인트(또는 광)의 컬러와 비교함으로써, 스타일러스 상의 특별한 컬러 포인트(또는 광 포인트)의 누적된 궤적, 즉, "유효 스트로크"만을 남겨놓게 된다.
본 발명의 프로세스들은, 명령어들의 컴퓨터 판독가능한 매체의 형태 및 다양한 형태로 배포될 수 있으며, 그러한 배포를 행하기 위해 실제로 사용된 신호 포함 매체의 특정한 유형에 관계없이 본 발명은 동등하게 적용된다는 것을, 당업자라 면 이해할 것이라는 점에 주목하는 것이 중요하다. 컴퓨터 판독가능한 매체의 예로서는, 플로피 디스크, 하드 디스크 드라이브, RAM, CD-ROM, DVD-ROM과 같은 기록가능한 매체와, 디지털 및 아날로그 통신 링크, 예를 들어 무선 주파수 및 광파 전송과 같은 전송 형태를 이용하는 유무선 통신 링크와 같은 전송형 매체를 포함한다. 컴퓨터 판독가능한 매체는 특정한 데이터 처리 시스템에서의 실제적 사용을 위해 디코딩되는 코딩된 형태를 취할 수도 있다.
전술된 내용은 본 발명을 예시하기 위한 것이며 제한적인 의미로 해석해서는 안된다. 비록 본 발명의 몇가지 실시예들이 기술되었지만, 당업자라면 본 발명의 신규한 교시 내용 및 잇점들로부터 실질적으로 벗어나지 않고 실시예들에서 많은 변형이 가능하다는 것을 쉽게 이해할 것이다. 따라서, 이와 같은 모든 변형은 특허청구범위에 정의된 본 발명의 범위 내에 속한다. 특허청구범위에서, 수단과 기능의 조합절은 기술된 기능을 수행하기 위한 구조를 포함하는 것으로 의도된 것이며, 구조적 등가물 뿐만 아니라 등가 구조물도 포함한다. 따라서, 전술한 내용은 본 발명을 예시하기 위한 것이며, 본 발명을 설명된 특정 실시예만으로 제한하기 위한 것이 아님을 이해해야 한다. 따라서, 기타 실시예들 뿐만 아니라 공개된 실시예들에 대한 임의의 변형들은 본 발명의 범위 내에 포함되는 것으로 의도되었다. 본 발명은 특허청구범위에 의해 한정되며, 그 등가물도 포함된다.

Claims (10)

  1. 비디오-기반의 수기 입력 방법에 있어서,
    사용자가 특별한 마크를 갖는 스타일러스로 필기면 상에서 필기할 때, 미가공 스트로크를 포함하는 화상을 포착하고 필기 사운드를 수신하는 단계로서, 상기 화상 및 사운드는 타임-스탬프 부착되는 것인, 상기 포착 및 수신 단계와;
    상기 포착된 화상을 상기 스타일러스 상의 특별한 마크와 비교함으로써 미가공 스트로크의 화상을 추출하는 단계와;
    상기 수신된 필기 사운드를 이용함으로써 상기 미가공 스트로크로부터 유효 스트로크를 검색하는 단계
    를 포함하는 비디오-기반의 수기 입력 방법.
  2. 비디오-기반의 수기 입력 방법에 있어서,
    사용자가 특별한 마크를 갖는 스타일러스로 필기면 상에서 필기할 때, 유효 스트로크를 포함하는 화상을 포착하고 필기 사운드를 수신하는 단계로서, 상기 화상 및 사운드는 타임-스탬프 부착되는 것인, 상기 포착 및 수신 단계와;
    사운드 비존재 기간에 대응하는 화상 데이터를 제거하고 잔여 화상 데이터를 기록하는 단계와;
    상기 기록된 화상을 상기 스타일러스 상의 특별한 마크와 비교함으로써 유효 스트로크를 검색하는 단계
    를 포함하는 비디오-기반의 수기 입력 방법.
  3. 비디오-기반의 수기 입력 장치에 있어서,
    특별한 마크를 갖는 스타일러스와;
    미가공 스트로크를 포함하는 화상을 포착하기 위한 디지털 화상 포착 수단으로서, 상기 화상은 타임-스탬프 부착되는 것인, 상기 디지털 화상 포착 수단과;
    사용자가 특별한 마크를 갖는 상기 스타일러스로 필기면 상에서 필기할 때, 필기 사운드를 수신하기 위한 필시 사운드 수신 수단으로서, 상기 사운드는 타임-스탬프 부착되는 것인, 상기 필기 사운드 수신 수단과;
    상기 포착된 화상을 상기 스타일러스 상의 특별한 마크와 비교함으로써 미가공 스트로크의 화상을 추출하기 위한 미가공 스트로크 화상 추출 수단과;
    상기 수신된 필기 사운드를 이용하여 상기 미가공 스트로크로부터 유효 스트로크를 검색하기 위한 유효 스트로크 검색 수단
    을 포함하는 비디오-기반의 수기 입력 장치.
  4. 비디오-기반의 수기 입력 장치에 있어서,
    특별한 마크를 갖는 스타일러스와;
    유효 스트로크를 포함하는 화상을 포착하기 위한 디지털 화상 포착 수단으로서, 상기 화상은 타임-스탬프 부착되는 것인, 상기 디지털 화상 포착 수단과;
    사용자가 특별한 마크를 갖는 상기 스타일러스로 필기면 상에서 필기할 때, 필기 사운드를 수신하기 위한 필기 사운드 수신 수단으로서, 상기 사운드는 타임-스탬프 부착되는 것인, 상기 필기 사운드 수신 수단과;
    사운드 비존재 기간에 대응하는 화상 데이터를 제거하여 남은 화상 데이터를 기록하기 위한 화상 데이터 기록 수단과;
    상기 기록된 화상 데이터를 상기 스타일러스 상의 특별한 마크와 비교함으로써 유효 스트로크를 검색하기 위한 유효 스트로크 검색 수단
    을 포함하는 비디오-기반의 수기 입력 장치.
  5. 비디오-기반의 수기 입력 방법에 있어서,
    사용자가 특별한 마크를 갖는 상기 스타일러스로 필기면 상에서 필기하기 위해 상기 스타일러스를 상기 필기면상에 접촉시킬 때 유효 스트로크를 포함하는 화상을 포착하기 위한 디지털 화상 포착 수단을 인에이블하는 단계로서, 상기 화상은 타임-스탬프 부착되는 것인, 상기 인에이블하는 단계와;
    상기 스타일러스가 상기 필기면으로부터 들어 올려질 때 상기 디지털 화상 포착 수단을 디스에이블하는 단계와;
    상기 포착된 화상을 상기 스타일러스 상의 특별한 마크와 비교함으로써 유효 스트로크를 추출하는 단계
    를 포함하는 비디오-기반의 수기 입력 방법.
  6. 비디오-기반의 수기 입력 장치에 있어서,
    디지털 화상 포착 수단과;
    특별한 마크를 가지며, 사용자가 특별한 마크를 갖는 스타일러스로 필기면 상에서 필기하려고 상기 스타일러스를 상기 필기면에 접촉시킬 때, 유효 스트로크를 포함하는 화상을 포착하기 위한 상기 디지털 화상 포착 수단을 인에이블하고, 상기 스타일러스가 상기 필기면으로부터 들어올려질 때 상기 디지털 화상 포착 수단을 디스에이블하는 스타일러스로서, 상기 화상은 타임-스탬프 부착되는 것인, 상기 스타일러스와;
    상기 포착된 화상을 상기 스타일러스 상의 특별한 마크와 비교함으로써 유효 스트로크를 추출하기 위한 유효 스트로크 추출 수단
    을 포함하는 비디오-기반의 수기 입력 장치.
  7. 데이터 처리 시스템으로서, 제3, 4, 및 6항 중 어느 한 항에 따른 수기 입력 장치를 포함하는 데이터 처리 시스템.
  8. 퍼베이시브 장치에 있어서, 제3항, 제4항, 및 6항 중 어느 한 항에 따른 수기 입력 장치를 포함하는 퍼베이시브 장치.
  9. 디지털 화상 포착 수단 및 필기 사운드 수신 수단을 갖는 데이터 처리 시스템으로서, 제1항, 2항, 및 제5항 중 어느 한 항에 따른 수기 입력 방법을 실행하는 수기 입력 모듈을 포함하는 데이터 처리 시스템.
  10. 프로그램을 저장한 컴퓨터 기록 매체로서, 상기 프로그램은 데이터 처리 시스템으로 하여금 제1항, 제2항, 및 제5항 중 어느 한 항에 따른 수기 입력 방법을 실행하도록 하는 프로그램 코드를 포함하는 것인, 기록 매체.
KR1020087014276A 2005-12-30 2006-12-04 비디오-기반의 수기 입력 방법 및 장치 KR101033451B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW094147480A TWI301590B (en) 2005-12-30 2005-12-30 Handwriting input method, apparatus, system and computer recording medium with a program recorded thereon of capturing video data of real-time handwriting strokes for recognition
TW94147480 2005-12-30

Publications (2)

Publication Number Publication Date
KR20080089569A true KR20080089569A (ko) 2008-10-07
KR101033451B1 KR101033451B1 (ko) 2011-05-09

Family

ID=37682845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020087014276A KR101033451B1 (ko) 2005-12-30 2006-12-04 비디오-기반의 수기 입력 방법 및 장치

Country Status (6)

Country Link
US (1) US7889928B2 (ko)
JP (1) JP5015954B2 (ko)
KR (1) KR101033451B1 (ko)
CN (1) CN101317148B (ko)
TW (1) TWI301590B (ko)
WO (1) WO2007077070A1 (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101657825B (zh) * 2006-05-11 2014-02-19 普莱姆传感有限公司 根据深度图对人形进行建模
US8166421B2 (en) * 2008-01-14 2012-04-24 Primesense Ltd. Three-dimensional user interface
US9035876B2 (en) 2008-01-14 2015-05-19 Apple Inc. Three-dimensional user interface session control
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
US8077975B2 (en) * 2008-02-26 2011-12-13 Microsoft Corporation Handwriting symbol recognition accuracy using speech input
JP4927009B2 (ja) * 2008-03-12 2012-05-09 ヤフー株式会社 手書き文字認識装置
TWI382352B (zh) * 2008-10-23 2013-01-11 Univ Tatung 視訊手寫文字輸入裝置及其方法
US8423916B2 (en) * 2008-11-20 2013-04-16 Canon Kabushiki Kaisha Information processing apparatus, processing method thereof, and computer-readable storage medium
TWI510966B (zh) * 2009-01-19 2015-12-01 Wistron Corp 用於一電子裝置之輸入系統及相關方法
US8565479B2 (en) * 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
TW201116060A (en) * 2009-10-27 2011-05-01 Avermedia Tech Inc Portable electronic apparatus and channel-switching method of the same
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US20130016058A1 (en) * 2010-04-22 2013-01-17 Sharp Kabushiki Kaisha Electronic device, display method and computer-readable recording medium storing display program
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US9201501B2 (en) 2010-07-20 2015-12-01 Apple Inc. Adaptive projector
JP5791131B2 (ja) 2010-07-20 2015-10-07 アップル インコーポレイテッド 自然な相互作用のための相互作用的現実拡張
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US8959013B2 (en) 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8872762B2 (en) 2010-12-08 2014-10-28 Primesense Ltd. Three dimensional user interface cursor control
CN106125921B (zh) 2011-02-09 2019-01-15 苹果公司 3d映射环境中的凝视检测
US8533595B2 (en) * 2011-04-19 2013-09-10 Autodesk, Inc Hierarchical display and navigation of document revision histories
US8874525B2 (en) 2011-04-19 2014-10-28 Autodesk, Inc. Hierarchical display and navigation of document revision histories
US8533593B2 (en) * 2011-04-19 2013-09-10 Autodesk, Inc Hierarchical display and navigation of document revision histories
US8533594B2 (en) * 2011-04-19 2013-09-10 Autodesk, Inc. Hierarchical display and navigation of document revision histories
US9377865B2 (en) 2011-07-05 2016-06-28 Apple Inc. Zoom-based gesture user interface
US8881051B2 (en) 2011-07-05 2014-11-04 Primesense Ltd Zoom-based gesture user interface
US9459758B2 (en) 2011-07-05 2016-10-04 Apple Inc. Gesture-based interface with enhanced features
US9030498B2 (en) 2011-08-15 2015-05-12 Apple Inc. Combining explicit select gestures and timeclick in a non-tactile three dimensional user interface
US9218063B2 (en) 2011-08-24 2015-12-22 Apple Inc. Sessionless pointing user interface
US9122311B2 (en) 2011-08-24 2015-09-01 Apple Inc. Visual feedback for tactile and non-tactile user interfaces
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
CN102426496B (zh) * 2011-09-29 2014-03-26 广东威创视讯科技股份有限公司 一种触摸装置
US9430035B2 (en) * 2011-12-30 2016-08-30 Intel Corporation Interactive drawing recognition
US9229534B2 (en) 2012-02-28 2016-01-05 Apple Inc. Asymmetric mapping for tactile and non-tactile user interfaces
US9377863B2 (en) 2012-03-26 2016-06-28 Apple Inc. Gaze-enhanced virtual touchscreen
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
JP5377708B2 (ja) * 2012-05-11 2013-12-25 株式会社東芝 データ処理システム、データ処理方法およびプログラム
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
JP6048189B2 (ja) * 2013-02-08 2016-12-21 株式会社リコー 投影システム、画像生成プログラム、情報処理装置及び画像生成方法
KR102170321B1 (ko) * 2013-06-17 2020-10-26 삼성전자주식회사 파지된 물체를 이용한 모션을 인식하는 장치 및 방법, 시스템
CN105308535A (zh) * 2013-07-15 2016-02-03 英特尔公司 无需用手的协助
JP2015032050A (ja) * 2013-07-31 2015-02-16 株式会社東芝 表示制御装置、表示制御方法およびプログラム
US9665206B1 (en) * 2013-09-18 2017-05-30 Apple Inc. Dynamic user interface adaptable to multiple input tools
CN104951145B (zh) * 2014-03-24 2018-08-10 联想(北京)有限公司 信息处理方法和装置
CN109582203B (zh) * 2014-05-23 2022-03-08 三星电子株式会社 用于再现内容的方法和装置
CN105988567B (zh) * 2015-02-12 2023-03-28 北京三星通信技术研究有限公司 手写信息的识别方法和装置
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
CN105635783A (zh) * 2015-12-31 2016-06-01 田雪松 多媒体文件制作方法
CN106201033A (zh) * 2016-07-25 2016-12-07 惠州学院 手写智能输入笔
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
JP2019061590A (ja) * 2017-09-28 2019-04-18 富士ゼロックス株式会社 情報処理装置、情報処理システム及びプログラム
JP7219076B2 (ja) * 2018-12-07 2023-02-07 シャープ株式会社 筆記入力装置及び筆記入力システム
CN111081117A (zh) * 2019-05-10 2020-04-28 广东小天才科技有限公司 一种书写检测方法及电子设备
TWI731650B (zh) * 2020-04-15 2021-06-21 宏碁股份有限公司 觸控筆、觸控電子裝置與觸控系統
CN111949132A (zh) * 2020-08-19 2020-11-17 麦片科技（深圳）有限公司 一种基于点读笔的手势控制方法及点读笔
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities
US11868608B1 (en) * 2023-03-20 2024-01-09 Microsoft Technology Licensing, Llc Interposer for secure inking by stylus

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3673579A (en) * 1970-08-26 1972-06-27 Robert Michael Graven Drawingboard ii, a graphical input-output device for a computer
US4914709A (en) * 1989-06-02 1990-04-03 Eastman Kodak Company Method for identifying unrecognizable characters in optical character recognition machines
US5321770A (en) * 1991-11-19 1994-06-14 Xerox Corporation Method for determining boundaries of words in text
JP3344018B2 (ja) * 1993-07-29 2002-11-11 カシオ計算機株式会社 情報認識装置
US5566678B1 (en) * 1993-09-10 1999-11-30 Cadwell Ind Inc Digital eeg noise synthesizer
JPH07200173A (ja) * 1993-12-28 1995-08-04 Casio Comput Co Ltd 手書装置
US6636635B2 (en) * 1995-11-01 2003-10-21 Canon Kabushiki Kaisha Object extraction method, and image sensing apparatus using the method
US5798509A (en) * 1996-01-02 1998-08-25 Intermec Corporation Scanner with direct pixel accessing from multiple pixel memory array
JPH1078844A (ja) * 1996-09-05 1998-03-24 Sharp Corp カメラによる情報入力装置及びそのためのプログラムを記録した媒体
US5866856A (en) * 1997-02-28 1999-02-02 Electronics For Imaging, Inc. Marking device for electronic presentation board
JPH10301702A (ja) * 1997-04-30 1998-11-13 Ricoh Co Ltd ペン型入力装置及びそのパタ−ン認識方法
US6300955B1 (en) * 1997-09-03 2001-10-09 Mgi Software Corporation Method and system for mask generation
US6088018A (en) 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
TW373389B (en) 1998-08-28 1999-11-01 Transpacific Ip Ltd A kind of visual signal input device and method connectable with computer
JP3462986B2 (ja) * 1998-08-31 2003-11-05 株式会社日立製作所 カメラ付きペン型入力装置
AUPQ291299A0 (en) 1999-09-17 1999-10-07 Silverbrook Research Pty Ltd A self mapping surface and related applications
GB2353501A (en) * 1999-08-26 2001-02-28 John Heppell Computerised system for recording movements of a marker pen on a whiteboard
JP3895892B2 (ja) * 1999-09-22 2007-03-22 株式会社東芝 マルチメディア情報収集管理装置およびプログラムを格納した記憶媒体
JP2001184161A (ja) * 1999-12-27 2001-07-06 Ricoh Co Ltd 情報入力方法、情報入力装置、筆記入力装置、筆記データ管理方法、表示制御方法、携帯型電子筆記装置および記録媒体
US6527464B2 (en) * 2000-01-18 2003-03-04 Winston Delano Lee Fingertip pen/stylus
US20020048404A1 (en) * 2000-03-21 2002-04-25 Christer Fahraeus Apparatus and method for determining spatial orientation
US6686579B2 (en) * 2000-04-22 2004-02-03 International Business Machines Corporation Digital pen using speckle tracking
US6568593B2 (en) * 2000-07-14 2003-05-27 Trumpf Gmbh + Co. System and method for identification of tools and parts of tools for a fabricating machine
US20020163511A1 (en) 2000-11-29 2002-11-07 Sekendur Oral Faith Optical position determination on any surface
JP2002196873A (ja) * 2000-12-27 2002-07-12 Ntt Docomo Inc 手書きデータ入力装置及び方法並びに個人認証装置及び方法
US6782144B2 (en) * 2001-03-12 2004-08-24 Multiscan Corp. Document scanner, system and method
GB2374266A (en) * 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
JP2003058313A (ja) * 2001-08-17 2003-02-28 Brother Ind Ltd データ入力装置
JP3982606B2 (ja) * 2001-09-06 2007-09-26 株式会社ケンウッド メッセージ表示装置、メッセージ表示システム、メッセージ表示方法およびメッセージ表示プログラム
US6712698B2 (en) 2001-09-20 2004-03-30 Igt Game service interfaces for player tracking touch screen display
US20030084215A1 (en) 2001-10-29 2003-05-01 Chi-Ti Kao Handwriting and video input function included portable electronic device
US7257255B2 (en) 2001-11-21 2007-08-14 Candledragon, Inc. Capturing hand motion
WO2003044726A1 (en) * 2001-11-22 2003-05-30 Silverbrook Research Pty Ltd Sensing device with ambient light minimisation
US20040047505A1 (en) 2001-12-26 2004-03-11 Firooz Ghassabian Stylus computer
WO2004023382A1 (de) 2002-09-04 2004-03-18 Fachhochschule Regensburg Biometrisches akustisches schreibsystem und verfahren zur personenidentifikation und handschriftenerkennung mittels biometrischer daten
JP4112967B2 (ja) * 2002-12-24 2008-07-02 大日本印刷株式会社 電子ペンを利用した採点システム及び入力記号認識システム、採点処理プログラム、並びに入力記号認識プログラム
US7415667B2 (en) * 2003-01-31 2008-08-19 Ricoh Company, Ltd. Generating augmented notes and synchronizing notes and document portions based on timing information
US20040201602A1 (en) 2003-04-14 2004-10-14 Invensys Systems, Inc. Tablet computer system for industrial process design, supervisory control, and data management
EP1620828B1 (en) * 2003-04-29 2014-12-24 Anoto AB Methods, apparatus, computer program and storage medium for position decoding
US7668375B2 (en) 2003-09-26 2010-02-23 Khomo Malome T Method of employing a chirographic stylus
JP3882805B2 (ja) * 2003-10-27 2007-02-21 ソニー株式会社 筆跡情報生成方法、筆跡情報生成装置及び文字入力装置
US7424154B2 (en) 2003-11-10 2008-09-09 Microsoft Corporation Boxed and lined input panel
US20050111735A1 (en) 2003-11-21 2005-05-26 International Business Machines Corporation Video based handwriting recognition system and method
JP2005267034A (ja) * 2004-03-17 2005-09-29 Brother Ind Ltd 画像入力装置
JP4417159B2 (ja) * 2004-04-01 2010-02-17 大日本印刷株式会社 改竄可能性検出システム及びプログラム
GB2413419B (en) * 2004-04-23 2007-12-27 Hewlett Packard Development Co Digital pen system
US20050281437A1 (en) * 2004-05-17 2005-12-22 Renate Fruchter Talking paper
US7536051B2 (en) * 2005-02-17 2009-05-19 Microsoft Corporation Digital pen calibration by local linearization
US7580576B2 (en) * 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document

Also Published As

Publication number Publication date
KR101033451B1 (ko) 2011-05-09
US7889928B2 (en) 2011-02-15
JP2009522631A (ja) 2009-06-11
TW200725428A (en) 2007-07-01
WO2007077070A1 (en) 2007-07-12
TWI301590B (en) 2008-10-01
CN101317148B (zh) 2010-09-29
CN101317148A (zh) 2008-12-03
JP5015954B2 (ja) 2012-09-05
US20070154116A1 (en) 2007-07-05

Similar Documents

Publication Publication Date Title
KR101033451B1 (ko) 비디오-기반의 수기 입력 방법 및 장치
US8625900B2 (en) Video-based biometric signature data collection
TWI382352B (zh) 視訊手寫文字輸入裝置及其方法
CA2501118A1 (en) Method of combining data entry of handwritten symbols with displayed character data
EP1876596A3 (en) Recording and reproducing data
US20170300746A1 (en) Organizing Written Notes Using Contextual Data
US9335838B2 (en) Tagging of written notes captured by a smart pen
JP2008123265A (ja) アイデア抽出支援システム及び方法
CN115623336B (zh) 一种亿级摄像设备的图像跟踪方法及装置
JP2010154089A (ja) 会議システム
CN104571603B (zh) 一种空中手写系统及手写笔
CN102473178A (zh) 用于实现对媒体对象的组织的方法和计算机程序产品
TWI426420B (zh) Hand track identification system and method thereof
TW200816062A (en) Video-based handwriting input method and apparatus
CN115565188B (zh) 一种点写笔及应用点写笔的书写轨迹记录方法及系统
Iwata et al. Capturing digital ink as retrieving fragments of document images
US10248214B2 (en) Wearable device for writing and drawing
JP6561547B2 (ja) コンピュータプログラム及び画像処理装置
US20160162446A1 (en) Electronic device, method and storage medium
US20150049945A1 (en) Image processing apparatus and image processing method
CN110348306A (zh) 一种手写输入方法及系统
CN111428445A (zh) 文档的生成方法和电子设备
CN111090360A (zh) 一种基于点阵编码技术协同音乐创作的方法
CN111611203A (zh) 电子装置及手写板系统
Florez et al. Discovery of interpretable time series in video data through distribution of spatiotemporal gradients

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee