SK3096A3 - Method of stroke segmentation for handwritten input - Google Patents

Description

SPÔSOB SEGMENTÁCIE ŤAHOV PRE RUKOPISNÝ VSTUP

Oblasť techniky

Tento vynález sa všeobecne týka rozpoznávania rukopisu a predovšetkým spôsobu segmentácie ťahov pre rukopisný vstup.

Doterajší stav techniky

Strojové rozpoznávanie ľudského rukopisu je veľmi zložitá záležitosť a so súčasným prudkým rozširovaním výpočtových prostriedkov s možnosťou vstupu pomocou pera sa stalo dôležitou úlohou, ktorej sa treba venovať. Existuje veľké množstvo rôznych prístupov k jeho riešeniu. Jedným užitočným prístupom je rozdelenie rukopisu do postupnosti základných pohybov alebo ťahov a použitie týchto ťahov, ktoré sú určitým spôsobom parametrizované, ako vstupov znakového rozpoznávača.

Kľúčovou podmienkou u rozpoznávača na základe ťahov je, že mnohé prípady rovnakej znakovej triedy (napr. písmena A písané v rôznych časoch rôznymi pisateľmi) by mali byt zakaždým rozdelené do podobného súboru ťahov. Toto pomáha zabezpečiť, že rozpoznávanie nie je príliš zložité, lebo popis znakových prípadov sa bude javiť znakovému rozpoznávaču podobne. Ideálne by všetky prípady daného znaku vždy obsahovali rovnaký počet ťahov, všetky ťahy by boli v rovnakej relatívnej polohe a popisy vlastností ťahov by boli veľmi podobné vo všetkých prípadoch. Tento ideál nie je v praxi dosiahnuteľný, ale presnosť rozpoznávania môže byt zlepšená do tej miery, do akej sa mu možno priblížiť.

V jednom z doteraz používaných spôsobov sú hranice ťahov umiestnené v bodoch, kde rýchlosť pera vo vertikálnom (alebo y) smere je nulová, tzn. v bodoch, kde sa písmo začína pohybovať hore či dole. Vznikajúce súbory ťahov môžu byť teda nazvané ťahy hore a ťahy dole. Tento spôsob je diskutovaný v práci Mermelstein & Eden, Experiments on Computer Recognition of

Connected Handwritten Words, v Information and Control, zv. 7, str. 255 - 270, 1964. Jednou z nevýhod tohto spôsobu je skutočnosť, že je príliš citlivý na zmeny vo vertikálnom smere a necitlivý na zmeny v horizontálnom smere. Veľa znakov je ale zložených z horizontálnych častí - napr. vodorovná čiarka t a tri nožičky E sú obvykle oveľa viac horizontálne ako vertikálne, dokonca i u nedbalého rukopisu. Segmentovač ťahov založený na rýchlosti v smere y rozdelí niekedy horizontálnu časť do jedného ťahu, ale často ju rozdelí do dvoch, troch či viacerých ťahov, jednoducho kvôli drobnému chveniu pera vo vertikálnom smere. Toto vedie k nízkej rozpoznávacej presnosti, lebo mnohé prípady rovnakého znaku budú často segmentované do rozdielne vyzerajúcich súborov ťahov. Pokusy opraviť nepresnosti tohto spôsobu, zahrňujúce požiadavku minimálnej zmeny vo vertikálnom smere pred vytvorením nového ťahu, mali len obmedzenú úspešnosť a veľa rovnakých základných problémov stále zostáva.

Iný súčasný spôsob rieši tento problém umiestnením hraníc ťahov do bodov, kde zakrivenie je vo svojom lokálnom maxime a presahuje určitú prahovú hodnotu, ktorá zodpovedá ostrým ohybom v rukopise. Pretože sa ostrý ohyb môže vyskytnúť bez ohladu na smer, ktorým sa pero pohybuje, nie je táto metóda citlivá na orientáciu rôznych častí rukopisného vstupu ako sú slová alebo znaky. Technika založená na zakrivení má ale tiež svoje nedostatky. Predpokladajme napr., že niekto píše L s veľmi pozvolným zakrivením, skôr ako so zakrivením ostrým, takže začne vyzerať viac ako C. V tomto prípade môže spôsob zlyhať pri segmentácii L, pokial nebolo dosiahnuté prahové zakrivenie požadované pre hranice ťahov. Púhe zníženie prahovej hodnoty problém nerieši, lebo to by viedlo len k neprimeranému počtu ťahov. Príliš veľký počet jednotlivých ťahov je rovnako nežiaduci, ako ich príliš malý počet, lebo to opäť znamená, že mnohé prípady rovnakého znaku sú často segmentované do rôznych typov ťahov.

Je teda potrebný spôsob segmentácie, ktorý je presnejší a nemá nedostatky uvedených spôsobov, ako je spôsob rýchlosti v smere y a existujúci spôsob zakrivenia.

Podstata vynálezu

V súlade s predloženým vynálezom je realizovaný spôsob segmentácie rukopisného vstupu do ťahov, ktorých počet je konzistentný pre mnoho prípadov každej jednotlivej znakovej triedy.

Predložený vynález poskytuje spôsob segmentácie rukopisného vstupu do ťahov, ktoré sú si podobné tvarom a umiestnením pre mnoho prípadov každej jednotlivej znakovej triedy na vstupe.

Spôsob podlá predloženého vynálezu všeobecne zahrňuje krok výpočtu derivácie alebo okamžité hodnoty zmeny zakrivenia v bodoch rukopisného vstupu. Tento spôsob potom vyberá ako body hranice ťahu určité body (alebo obrazové prvky) vo vstupe, ktoré ležia medzi bodom vysokej derivácie zakrivenia a následným bodom nízkej derivácie zakrivenia. Takéto hraničné body nie sú ovplyvnené absolútnymi hodnotami zakrivenia, ale skôr len relatívnymi zmenami v zakrivení.

Prehlad obrázkov na výkresoch

Obr. 1 zobrazuje vývojový diagram postupu identifikovania hraníc ťahov v súlade s výhodným uskutočnením predloženého vynálezu.

Obr. 2 zobrazuje segmentáciu rukopisného vstupu do ťahov vytvorenú predchádzajúcim spôsobom rýchlosti v smere y.

Obr. 3 zobrazuje segmentáciu rukopisného vstupu do ťahov vytvorenú predchádzajúcim spôsobom zakrivenia.

Obr. 4 zobrazuje segmentáciu rukopisného vstupu do ťahov vytvorenú výhodným uskutočnením predloženého vynálezu.

Obr. 5 zobrazuje body vytvárajúce písmeno L tak, ako sú prijaté z digitizéra.

Obr. 6 zobrazuje body vytvárajúce písmeno L po prevzorkovaní na konštantné vzdialenosti v súlade s výhodným uskutočnením predloženého vynálezu.

Na obr. 7 je rozložený pohľad zobrazujúci výpočet zakrivenia vo výhodnom uskutočnení predloženého vynálezu.

Obr. 8 graficky zobrazuje hodnoty zakrivenia vypočítané pre každý bod v obr. 7.

Obr. 9 graficky zobrazuje derivácie hodnôt zakrivenia vypočítané pre každý bod z obr. 7.

Príklady uskutočnenia vynálezu

Rukopisný znakový vstup je zvyčajne získavaný od užívateľa vo forme oddelených spojitých segmentov. Oddelený spojitý segment sa skladá z jedného či viacero ťahov pera, kde ťah pera je stopa, ktorú pero zanecháva počas doby svojho kontaktu so vstupným zariadením, ako je digitalizačná tabuľka alebo papier.

V predloženom vynáleze sú rozpoznávané jednotky rukopisného vstupu, tvorené jedným či viacerými oddelenými spojitými segmentmi. Rukopisný vstup je vstup, ktorý je snímaný elektronicky, čo zahrňuje, ale nie je obmedzené na nasledujúce: rukopisný vstup, elektronický vstup, vstup snímaný tlakom ako je tlačový vstup, vstup prijímaný elektronicky, ako napríklad faxom, prijímačom rádiového vyhľadávacieho systému alebo iným zariadením.

Ťah je vyjadrený ako postupnosť bodov vzorkovaných v približne pravidelných intervaloch vstupným zariadením. Každý bod je učený minimálne súradnicami x a y. Ťahy môžu byt snímané elektronicky za použitia digitalizačnej tabulky alebo inak môžu byť odvodené od skanovaného alebo faxovaného obrazu procesom riadkovej detekcie v obraze; takéto metódy elektronického snímania sú v odbore známe. Vo výhodnom spôsobe je rukopisný vstup prijímaný zariadením ako je osobný číslicový pomocník (PDA) alebo iné zariadenie. Ďalšie prostriedky, ktoré slúžia na príjem rukopisného vstupu, zahrňujú, ale nie sú obmedzené na nasledujúce: počítače, modemy, prijímače rádiového vyhladávacieho systému, telefóny, číslicové televízie, interakčné televízie, zariadenia majúce digitalizačný tablet, telefaxové zariadenia, skanovacie zariadenia a ďalšie zariadenia schopné snímať rukopisný vstup. Všeobecne, keď sú ťahy snímané elektronicky, je každý bod vyjadrený obrazovým prvkom tak, že ťah je vyjadrený ako rad obrazových prvkov na zariadení.

V súlade s predloženým vynálezom môže byť rukopisný vstup vo forme alfanumerických znakov, ideografických znakov alebo iných foriem znakov či symbolov písanej komunikácie.

Obr. 2 a obr. 3 zobrazujú segmentáciu ťahov alfanumerického rukopisného vstupu s vysokou pravdepodobnosťou nepresností v interpretácii vstupu, keď segmentácia ťahov príde do rozpoznávača na základe ťahov. Obr. 4 zobrazuje segmentáciu ťahov rovnakého alfanumerického vstupu ako na obr. 2 a obr. 3, kde je segmentácia ťahov vykonávaná v súlade s predloženým vynálezom a takáto segmentácia ťahov má vysokú pravdepodobnosť presnej interpretácie pri príchode do rozpoznávača na základe ťahov.

Obr. 1 zobrazuje vývojový diagram výhodného spôsobu v súlade s predloženým vynálezom. Rukopisný vstup z digitizéra či iného zariadenia je prijímaný vo forme súradníc x a y 110 (s pridruženými stavmi zdvihnutého alebo spusteného pera). Typicky sú tieto body prezentované obrazovými prvkami. Predložená metóda všeobecne prevzorkováva rukopisný vstup za účelom získania bodov, ktoré sú rovnomerne rozmiestnené v celej dĺžke rukopisného vstupu 120. Obr. 5 zobrazuje príklad písmena L 500 ako rad bodov alebo obrazových prvkov pred prevzorkovaním. Obr. 6 zobrazuje to isté písmeno L 600 ako rad bodov alebo obrazových prvkov po prevzorkovaní. Prevzorkovanie sa deje použitím medzibodovej vzdialenosti d 610, ktorá je konštantná v celom rukopisnom vstupe. Najlepšie je hodnota d vybraná tak, že stredná hodnota vstupnej výšky rukopisného vstupu je približne v rozmedzí 15krát až 30krát d. Napríklad na obr. 6 je hodnota d vybraná tak, že stredná hodnota výšky písmena v slove je približne v rozmedzí 15krát až 30krát d.

Výhodné uskutočnenie na obr. 1 vypočítava zakrivenie v každom prevzorkovanom bode 130. Obr. 7 ilustruje graficky popis dát pre výpočet zakrivenia v bode R 710. Zakrivenie v prevzorkovanom bode R 710. je definované ako vzdialenosť k bodu nasledujúcemu po R (bod R + 1 730) od bodu P 720, získanému lineárnou projekciou od bodu predchádzajúcemu R (R - 1, 750) cez vlastné R. Táto vzdialenosť je znázornená na obr. 7 ako prvok 740. Zakrivenie v koncových bodoch rukopisného vstupu je definované ako rovnaké v zodpovedajúcich najbližších susedných bodoch. Zakrivenie vo vnútorných bodoch rukopisného vstupu môže byť tiež vypočítané projekciou dvoch bodov vzdialených od R, skôr ako jedného bodu (a použitím bodu, ktorý je dva body pred R, skôr ako bodu R - 1), aby bol získaný odhad odolnejší voči chybám. Obr. 8 zobrazuje graficky hodnoty zakrivenia získané pre body znázornené na obr. 7.

Napríklad vyššie zmienený príklad písmena L s pozvoľným zahnutím môže byť segmentovaný do vertikálneho a horizontálneho ťahu, pokiaľ dve rovné časti L sú podstatne rovnejšie ako ohyb medzi nimi. Zakrivenie by sa teda zvyšovalo smerom k ohybu (t.j. derivácia zakrivenia by bola vysoká) a znižovalo smerom od ohybu (derivácia zakrivenia by bola nízka), čo dovoluje mať hranicu ťahu v ohybe, alebo blízko neho, ak je to žiadané.

Ak bolo vo výhodnom uskutočnení predloženého vynálezu už raz získané zakrivenie pre každý prevzorkovaný bod, skupina zakrivenia pre prevzorkované body môže byt vyhladená, aby boli minimalizované akékoľvek známe artefakty zavedené digitalizačným procesom. Typ vyhladenia, ktoré má byt vykonané, by mal byt štandardný spôsob, ktorý je vybraný na základe konkrétnych digitalizačných znakov. Toto môže zahrňovat spriemerovanie hodnoty bodu s jeho susednými bodmi (váženie bodu samého a najbližších vyšších bodov) a náhrady hodnoty zakrivenia v zmienenom bode vypočítaným priemerom. Ideálne by velkost tu použitého vyhladzovacieho okna mala byt širšia v oblastiach nízkeho zakrivenia písma a užšia v oblastiach velkého zakrivenia, aby boli minimalizované straty dôležitých informácií pri vyhladzovacom procese. Pretože je predmetom vyhladzovania zakrivenie samé, jedným výhodným spôsobom vyhladzovania je výpočet počiatočných zakrivení, kde vyhladenie je založené na týchto zakriveniach, a jootom znovuvyhladenie založené na novo vypočítaných zakriveniach.

Vo výhodnom uskutočnení predloženého vynálezu je pre každý prevzorkovaný bod vypočítaná absolútna hodnota zakrivenia vynásobením každej zápornej hodnoty zakrivenia hodnotou -1. Absolútne hodnoty zakrivenia sú pre výpočet derivácií zakrivenia používané skôr ako skutočné hodnoty zakrivenia, pretože celkove výhodné uskutočnenia predloženého vynálezu sa zaoberajú iba ostrostou ohybov v písme a nie ktorým smerom sa daný ohyb zakrivuje.

Ako je zobrazené na obr. 1, proces ďalej pokračuje výpočtom derivácie zakrivenia v každom prevzorkovanom bode 140. Podlá obr. 7 je derivácia zakrivenia v bode R definovaná ako absolútna hodnota zakrivenia v bode R +1 mínus absolútna hodnota zakrivenia v bode R - 1 delené dvoma (t.j. sklon krivky zakreslených hodnôt zakrivenia). Obr. 9 graficky zobrazuje deriváciu zakrivenia získanú v každom bode uvedenom na obr. 7. Podobne ako pri použití viac ako dvoch bodov na získanie presnejšej hodnoty zakrivenia, ako je popísané vyššie, derivácia zakrivenia by mohla byť vypočítaná pomocou širšieho okna (päť bodov oproti trom), kde existujú relevantné body a užšieho okna (dva body oproti trom), tam, kde je to nutné. Pretože derivácia zakrivenia nemôže byt vypočítaná v koncových bodoch napísaného segmentu, derivácia zakrivenia v koncových bodoch je jednoducho definovaná ako rovnaká v zodpovedajúcich susedných bodoch.

Podľa obr. 1 a 9 výhodné uskutočnenie spôsobu ďalej skúma novo vypočítané pole hodnôt derivácií zakrivenia za účelom určenia bodov, kde je derivácia vo svojom lokálnom maxime 910 (definovanom tak, že zahrňuje body na konci obratu krivky a začínajúce klesať) alebo kde je derivácia vo svojom lokálnom minime 920 (definovanom tak, že zahrňuje body na konci obratu krivky a začínajúca stúpať). Pre každú oblasť vstupu (v čase) po lokálnom maxime a pred lokálnym sekcie (vyjadrený v dĺžke oblúka minimom je určený stredový bod sekcie) 930. Tento stredový bod je definovaný ako M 930. .Pokiaľ rozdiel medzi hodnotami lokálneho maxima a lokálneho minima sekcie prekročí prahovú hodnotu T' 940 a absolútna hodnota zakrivenia v bode M prekročí určitú prahovú hodnotu T (820), bod M je vybraný ako hranica ťahu 150.

Parametre T' a T musia byť odhadnuté a závisia od jednotiek, v ktorých sú merané zakrivenie a derivácia zakrivenia. Presné hodnoty tu nie sú kritické, ak je používaný znakový rozpoznávač tolerujúci chyby. Pri vykonávaní akéhokoľvek experimentálneho vyladenia týchto alebo akýchkoľvek iných parametrov na vytvorenie špecifického uskutočnenia vynálezu je požadovaným cieľom dosiahnutie čo najrovnorodejšej segmentácie pre mnoho prípadov jednotlivých znakových tried. Toto by malo byť vykonané empiricky, skúmaním ako procedúra segmentuje rôzne skutočné vzorky písma, ktoré má byt rozpoznávané.

Okrem už popísaných zvolených hraničných bodov ťahov sú ako hraničné body ťahov zvolené body, kde sa pero zdvíha či spúšťa. Vo výhodnom uskutočnení predloženého vynálezu môžu byť hraničné body založené na derivácii zakrivenia posunuté až o dva body, čo spôsobí, že padnú do bodov, kde absolútne hodnoty zakrivenia sú maximálne 160. Posunutím hraničných bodov založených na derivácii zakrivenia môže byť zlepšené určenie hraničných bodov ťahov tým, že ako miera zakrivenia, tak derivácia zakrivenia poskytnú rovnaké hranice ťahu. Táto výhodná aplikácia predloženého vynálezu je ale vykonávaná pre daný bod iba vtedy, ak nebude vytvorený žiaden ťah zvolený z menej ako troch bodov.

Súbor hraničných bodov ťahu definuje v súlade s predloženým vynálezom súbor zodpovedajúcich ťahov. Tieto ťahy môžu byť potom postúpené znakovému rozpoznávaču na základe ťahov za účelom rozpoznávania rukopisného vstupu.

Predložený vynález a jeho výhodné uskutočnenia sa týkajú nových presnejších metód segmentácie ťahov. V súlade s predloženým vynálezom je vo vela prípadoch rukopisného vstupu vstup zakaždým opakovane rozdelený do podobných súborov ťahov. Napríklad, ak je rukopisným vstupom písmeno L, napísané v rôznych časoch rôznymi pisateľmi, predložený vynález a jeho výhodné uskutočnenie by zakaždým presnejšie rozdelili vstup písmena L do podobných hraničných bodov segmentácie ťahov bez ohladu na rozdiely rôznych pisateľov. Takáto segmentácia ťahov by pomohla v zaistení presnejšej interpretácie rozpoznávačom na základe ťahov.

Odborníci v danom odbore zistia, že je možné použiť množstvo uskutočnení predkladaného vynálezu. Jedno zrejmé rozšírenie je z prípadu tu popísaného tlačeného rukopisu pre prípad spojovaného písma. Predkladaný spôsob segmentácie ťahov je nezávislý na spôsobe oddeľovania znakov, a teda techniky dovolujúce spracovanie spojovaného písma môžu ľahko využiť tu popísaný spôsob segmentácie ťahov. Iným uskutočnením by mohla byť segmentácia skanovaného alebo nespriahnutého písma do ťahov. Priamy spôsob aplikácie predloženého vynálezu na takýto problém by spočíval v stenčení písma, aby bola dosiahnutá konštantná šírka napísanej krivky. Hranice ťahov by potom mohli byt stanovené ako v bodoch založených na derivácii zakrivenia, tak v priesečníkových bodoch, pretože chýbajúca časová informácia spôsobuje, že priesečníky a dotýkajúce sa ohyby vyzerajú podobne.

Claims (8)

1. Spôsob rozpoznávania rukopisného znaku zloženého z množiny sfarbených obrazových bodov, zahrňujúci kroky:

- výpočet hodnoty derivácie zakrivenia pre každý z množiny sfarbených obrazových bodov, kde každá hodnota derivácie zakrivenia predstavuje rýchlosť zmeny absolútneho zakrivenia v zodpovedajúcom obrazovom bode,

- výber súboru hraníc ťahov tak, že každá hranica ťahu leží medzi sfarbeným obrazovým ‘bodom s vysokou hodnotou derivácie zakrivenia a následným sfarbeným obrazovým bodom s nízkou hodnotou derivácie zakrivenia,

- určenie súboru ťahov tak, že každá hranica ťahov je umiestnená na konci ťahu,

- výpočet aspoň jednej hodnoty vlastnosti ťahu pre každý ťah, za účelom vytvorenia sady vlastností znaku,

- použitie sady vlastností znaku na určenie identity zmieneného rukopisného znaku.

2. Spôsob podlá nároku 1, kde sfarbený obrazový bod s vysokou hodnotou derivácie zakrivenia má lokálne maximálnu hodnotu derivácie zakrivenia a následný sfarbený obrazový bod s nízkou hodnotou derivácie zakrivenia má lokálne minimálnu hodnotu derivácie zakrivenia.

3. Spôsob podlá nároku 2, kde každá hranica ťahu leží v bode polovičnej vzdialenosti medzi sfarbeným obrazovým bodom s lokálne maximálnou hodnotou derivácie zakrivenia a sfarbeným obrazovým bodom s lokálne minimálnou hodnotou derivácie zakrivenia.

4. Spôsob podlá nároku 1, kde každá hranica ťahu leží v bode lokálne maximálnej absolútnej hodnoty zakrivenia.

5. Spôsob rozpoznávania rukopisného znaku zloženého z postupnosti bodov, kde každý bod pozostáva z hodnôt troch priestorových súradníc, zahrňujúci kroky:

- výpočet hodnoty derivácie zakrivenia pre každý z množiny bodov, kde každá hodnota derivácie zakrivenia predstavuje rychlost zmeny absolútneho zakrivenia v zodpovedajúcom bode,

- výber súboru hraníc tahov tak, že každá hranica tahu leží medzi bodom s vysokou hodnotou derivácie zakrivenia a následným bodom s nízkou hodnotou derivácie zakrivenia,

- určenie súboru tahov tak, že každá hranica tahov je umiestnená na konci tahu,

- výpočet aspoň jednej hodnoty vlastnosti tahu pre každý tah, za účelom vytvorenia sady vlastností znaku,

- použitie sady vlastností znaku na určenie identity zmieneného rukopisného znaku.

6. Spôsob podlá nároku 5, kde bod s vysokou hodnotou derivácie zakrivenia má lokálne maximálnu hodnotu derivácie zakrivenia a následný bod s nízkou hodnotou derivácie zakrivenia má lokálne minimálnu hodnotu derivácie zakrivenia.

7. Spôsob podlá nároku 6, kde každá hranica tahu leží v bode polovičnej vzdialenosti medzi bodom s lokálne maximálnou hodnotou derivácie zakrivenia a bodom s lokálne minimálnou hodnotou derivácie zakrivenia.

8. Spôsob podlá nároku 5, kde každá hranica tahu leží v bode lokálne maximálnej absolútnej hodnoty zakrivenia.

Popis k obrázku č. 1

110

120

130

140

150

160

170 príjem vstupu ako postupnosti (x, y) bodov prevzorkovanie tak, že body sú rozmiestnené v rovnakých vzdialenostiach výpočet veľkosti zakrivenia v každom bode výpočet derivácie zakrivenia v každom bode identifikácia hraníc ťahov ako bodov v prostriedku medzi lokálnym maximom a minimom derivácie zakrivenia dostavenie hraníc ťahov za účelom korekcie malých chýb merania odovzdanie detekovaných hraníc ťahov na ďalšie použitie v rozpoznávacom procese