JP6102241B2 - 文字入力プログラム，文字入力装置および文字入力方法 - Google Patents

Description

本発明は，ユーザの文字入力を支援する文字入力プログラム，文字入力装置および文字入力方法に関するものである。

従来から，ユーザは，キーボード等の入力機器を用いて，情報処理装置への文字入力を行っている。近年，スマートフォンやタブレット端末などのスマート端末の普及にともなって，タッチパネル上に表示されたソフトウェアキーボードを用いて文字入力が行われるケースも増えている。

なお，指紋センサにより識別される指紋に対応付けられたプログラムを起動する技術が知られている。また，指紋センサで識別される指紋に対応する文字コードを生成する技術が知られている。また，押下された入力キーと，該入力キーを押下した指から読み取った指紋との組合せに対応する数字等のキーコードを出力する技術が知られている。

特開２００２−４１１６９号公報 特開２００３−７６４８２号公報 特開２００６−３４３８１２号公報

例えば，スマートフォンなどの小型のスマート端末で文字入力を行う際に，タッチパネルの画面上にソフトウェアキーボードが表示されると，それ以外の表示エリアが狭くなるため，画面に表示される情報が少なくなってしまうという問題がある。そのため，画面に表示された情報を見ながら文字入力を行うことが，容易ではなかった。

また，例えば，小型のスマート端末などでソフトウェアキーボードを用いた文字入力を行う場合，タッチパネルの画面に表示される１つ１つのキーが小さいため，誤タッチする可能性が高く，ユーザにとっては使いにくいという問題がある。

一側面では，本発明は，ユーザの文字入力を支援する技術を提供することを目的とする。

１態様では，開示するプログラムはコンピュータを，次のように機能させる。すなわち，前記プログラムは，前記プログラムがインストールされて実行されるコンピュータに，センサから得られるユーザの生体情報を取得し，生体情報の取得に対応して，入力が確定されていない文字である未確定文字として，取得された生体情報に対応付けられた複数の文字のうちの第１の文字を特定し，第１の文字を，センサとは別に設けられた画面に表示し，取得された生体情報の変化から，ユーザによるセンサに対するスライド操作を認識し，センサに対するスライド操作に応じて，取得された生体情報に対応する複数の文字のうちの第２の文字に未確定文字を変更する処理を実行させる。

１態様では，容易な操作での文字入力が可能となる。

本実施の形態による端末の外観の例を示す図である。 本実施の形態による端末の機能構成例を示す図である。 本実施の形態による文字入力部を備える端末を実現するコンピュータのハードウェア構成例を示す図である。 本実施の形態による指認識データの例を示す図である。 本実施の形態による文字対応データの例を示す図である。 本実施の形態による未確定文字の変更の例（１）を説明する図である。 本実施の形態による未確定文字の変更の例（２）を説明する図である。 本実施の形態の文字入力部による文字入力処理フローチャートである。

以下，本実施の形態について，図を用いて説明する。

図１は，本実施の形態による端末の外観の例を示す図である。

図１に示す端末１０は，本実施の形態の例において，ユーザが文字入力を行うコンピュータである。図１に示す端末１０は，例えばスマートフォンなどの小型のスマート端末であるものとする。なお，本実施の形態による文字入力の技術によって，ユーザが文字入力を行う対象の端末１０が，必ずしもスマート端末である必要はない。例えば，端末１０が，ＰＣ（Personal Computer ）などであってもよい。

端末１０は，タッチパネル１１，センサ１２を備える。タッチパネル１１は，表示機能と入力機能とを兼ね備えた機器である。センサ１２は，例えば，指紋や指静脈，手のひら静脈などのユーザの生体情報の読み取りを行う機器である。センサ１２は，図１に示すような端末１０の内蔵機器でもよいし，端末１０にインタフェースで接続される外部機器でもよい。

図２は，本実施の形態による端末の機能構成例を示す図である。

本実施の形態による端末１０は，ユーザによる端末１０への文字入力を支援する文字入力部１００を備える。文字入力部１００は，生体情報取得部１１０，指特定部１２０，文字特定部１３０，操作認識部１４０，操作対応部１５０，出力部１６０，指認識情報記憶部１７０，文字対応情報記憶部１８０を備える。

指認識情報記憶部１７０は，ユーザの指と生体情報との対応が記録された指認識情報を記憶する記憶部である。文字対応情報記憶部１８０は，ユーザの指と文字との対応が記録された文字対応情報を記憶する記憶部である。

生体情報取得部１１０は，センサ１２から得られるユーザの生体情報を取得する。取得される生体情報は，センサ１２の読み取りデータであってもよいし，センサ１２の読み取りデータの解析により得られる生体の特徴を抽出したデータであってもよい。

指特定部１２０は，指認識情報記憶部１７０の指認識情報を参照し，生体情報取得部１１０により取得された生体情報に対応する指を特定する。より具体的には，指特定部１２０は，生体情報取得部１１０により取得された生体情報と，指認識情報記憶部１７０の指認識情報に登録された生体情報とのマッチングを行う。指特定部１２０は，マッチングにより一致すると判断された生体情報に対応する指の情報を，指認識情報記憶部１７０の指認識情報から取得し，生体情報取得部１１０により取得された生体情報に対応する指の情報として特定する。

文字特定部１３０は，生体情報取得部１１０による生体情報の取得に対応して，入力が確定されていない文字である未確定文字を特定する。ここで特定される未確定文字は，本実施の形態による文字入力において，例えば最初に未確定状態で画面に表示される，初期の未確定文字である。

例えば，文字特定部１３０は，文字対応情報記憶部１８０の文字対応情報を参照し，指特定部１２０により特定された指に対応する文字を，初期の未確定文字とする。より具体的には，文字特定部１３０は，文字対応情報記憶部１８０の文字対応情報から，指特定部１２０により特定された指の情報に対応する文字を取得し，初期の未確定文字として特定する。なお，１つの指の情報に対応する文字が複数ある場合は，文字特定部１３０は，それら複数の文字のうちの１つを，初期の未確定文字として特定する。

操作認識部１４０は，生体情報取得部１１０により取得された生体情報の変化から，ユーザによるセンサ１２に対する操作を認識する。例えば，操作認識部１４０は，生体情報取得部１１０により取得された生体情報の変化から，ユーザによるセンサ１２に対するスライド操作を認識する。例えば，生体情報取得部１１０により取得される複数の生体情報について，特徴点の位置の時間変化を追跡するなどにより，センサ１２に対してユーザが指をスライドさせた方向を特定することが可能である。また，例えば，操作認識部１４０は，生体情報取得部１１０により生体情報が取得されなくなった場合に，ユーザがセンサ１２から指を離す操作を行ったことを認識する。

操作対応部１５０は，操作認識部１４０により認識された操作に対応して，未確定文字を変更する，未確定文字を確定する，文字を消去するなど，文字入力に関する処理を行う。例えば，操作対応部１５０は，操作認識部１４０により認識されたスライド操作に応じて，未確定文字を変更する。また，例えば，操作対応部１５０は，操作認識部１４０により認識されたセンサ１２から指を離す操作に応じて，未確定文字を確定する。

出力部１６０は，未確定文字を端末１０の画面に表示する。例えば，出力部１６０は，文字特定部１３０により特定された未確定文字を，タッチパネル１１の画面の文字入力欄に，未確定状態で表示する。

図３は，本実施の形態による文字入力部を備える端末を実現するコンピュータのハードウェア構成例を示す図である。

図２に示す文字入力部１００を備える端末１０を実現するコンピュータ１は，例えば，ＣＰＵ（Central Processing Unit ）２，主記憶となるメモリ３，記憶装置４，通信装置５，入力装置６，出力装置７等を備える。記憶装置４は，例えばＨＤＤ（Hard Disk Drive ）等の外部記憶装置や，不揮発性メモリ等の補助記憶装置などである。入力装置６は，例えばキーボード・マウスやセンサ等の入力機器などである。出力装置７は，例えばディスプレイ等の表示装置などである。例えば，図１に示す端末１０が備えるタッチパネル１１は，入力装置６と出力装置７とを兼ねる。

図２に示す文字入力部１００および文字入力部１００が備える各機能部は，端末１０を実現するコンピュータ１が備えるＣＰＵ２，メモリ３等のハードウェアと，ソフトウェアプログラムとによって実現することが可能である。コンピュータ１が実行可能なプログラムは，記憶装置４に記憶され，その実行時にメモリ３に読み出され，ＣＰＵ２により実行される。

コンピュータ１は，可搬型記録媒体から直接プログラムを読み取り，そのプログラムに従った処理を実行することもできる。また，コンピュータ１は，サーバコンピュータからプログラムが転送されるごとに，逐次，受け取ったプログラムに従った処理を実行することもできる。さらに，このプログラムは，コンピュータ１で読み取り可能な記録媒体に記録しておくことができる。

以下，本実施の形態による文字入力の技術について，より具体的な例を用いて説明する。以下では，生体情報の例として，主に指紋データを用いた例の説明を行う。生体情報が指紋データである場合，端末１０のセンサ１２は，指紋センサとなる。

図４は，本実施の形態による指認識データの例を示す図である。

図４に示す指認識データ１７５は，指認識情報記憶部１７０に記憶された指認識情報の一例を示す。図４に示す指認識データ１７５は，指ＩＤ，指紋データの情報を持つ。指ＩＤは，ユーザの各指を識別する識別情報である。指紋データは，あらかじめ登録されたユーザの各指の指紋データである。

ここでは，図４に示す指認識データ１７５において，各指ＩＤ“ｆ０１”〜“ｆ０５”が，それぞれユーザの右手の人差し指，中指，薬指，小指，親指の指紋データに対応付けられているものとする。本実施の形態による文字入力の機能を利用するユーザは，文字入力に使用する指の指紋を，指認識データ１７５にあらかじめ登録する作業を行う。

図５は，本実施の形態による文字対応データの例を示す図である。

図５に示す文字対応データ１８５は，文字対応情報記憶部１８０に記憶された文字対応情報の一例を示す。図５に示す文字対応データ１８５では，指ＩＤごとに文字群が割り当てられており，指ＩＤと文字番号との組合せから文字が特定できるようになっている。

図５に示す文字対応データ１８５では，指ＩＤ“ｆ０１”には「あ行」と「か行」のひらがな文字が割り当てられている。同様に，指ＩＤ“ｆ０２”には「さ行」と「た行」のひらがな文字が，指ＩＤ“ｆ０３”には「な行」と「は行」のひらがな文字が，指ＩＤ“ｆ０４”には「ま行」と「や行」のひらがな文字が，指ＩＤ“ｆ０５”には「ら行」と「わ行」と「ん」のひらがな文字が割り当てられている。

図５の文字対応データ１８５に示すように，本実施の形態の例では，ユーザは，複数の指を使って文字入力を行うものとする。複数の指を使って文字入力を行うようにすることで，ユーザがセンサ１２に指を当ててから文字を確定するまでのスライド操作を減らすことができ，スライド操作のミスによる誤入力を抑止できる。

例えば，タッチパネル１１の画面に表示された文字入力エリアにカーソルがある状態で，本実施の形態による文字入力の機能を利用したいユーザは，入力したい文字に対応する指をセンサ１２に当て，指紋認証を行う。このとき，文字入力部１００の生体情報取得部１１０は，センサ１２により得られるユーザの指紋データの取得を開始する。

なお，指紋センサによる指紋の情報の読み取りには，ユーザが指紋センサに当てた指を動かさない状態でユーザの指紋の情報を読み取る方法や，ユーザが指紋センサに当てた指をスライドさせてそのユーザの指紋の情報を読み取る方法がある。本実施の形態による指紋認証は，これらのいずれの方法で行われてもよい。

指特定部１２０は，生体情報取得部１１０により取得された指紋データと，指認識データ１７５に登録された指紋データとのマッチングにより，ユーザがセンサ１２に当てた指の指ＩＤを特定する。ここでは，指特定部１２０は，生体情報取得部１１０により取得された指紋データとマッチする，指認識データ１７５に登録された指紋データに対応する指ＩＤが，ユーザがセンサ１２に当てた指の指ＩＤであると判断する。

文字特定部１３０は，指特定部１２０により特定された指ＩＤで文字対応データ１８５を参照し，初期の未確定文字を特定する。本実施の形態の例では，文字対応データ１８５において指ＩＤに対応する文字群のうち，文字番号“５”に対応する文字を，初期の未確定文字とする。例えば，指特定部１２０により特定された指ＩＤが“ｆ０１”である場合，図５に示す文字対応データ１８５から，文字番号“５”に対応する文字「あ」が，初期の未確定文字として特定される。出力部１６０は，特定された初期の未確定文字を，タッチパネル１１の画面の文字入力エリアに未確定状態で表示する。

ユーザは，画面に表示された未確定文字を変更したい場合，センサ１２に当てた指をスライドさせる操作を行う。未確定文字を変更するためのスライド操作の方向については，例えば上下方向や左右方向，斜め方向など，任意の設計が可能である。本実施の形態の例では，ユーザは，上下方向のスライド操作で未確定文字の変更を行うものとする。

操作認識部１４０は，生体情報取得部１１０により取得される指紋データの変化から，ユーザがセンサ１２に対して指をスライドさせるスライド操作を認識する。このとき，ユーザが指をスライドさせた方向も認識される。操作対応部１５０は，文字対応データ１８５を参照し，認識されたスライド方向に応じた未確定文字の変更を行う。

本実施の形態の例では，図５に示す文字対応データ１８５において，スライド方向が上方向である場合には，文字番号が少なくなる方に未確定文字が変更され，スライド方向が下方向である場合には，文字番号が多くなる方に未確定文字が変更されるものとする。例えば，操作する指の指ＩＤが“ｆ０１”である場合，スライド方向が上であれば「あ→い→う→え→お」の順に未確定文字が変更され，スライド方向が下であれば「あ→か→き→く→け→こ」の順に未確定文字が変更される。また，ユーザは，入力したい文字が行き過ぎた場合に，さらに逆方向に指をスライドさせることで，例えば「あ→い→う→え→う」といったように，未確定文字を戻すこともできる。なお，未確定文字が文字番号“１”の「お」であるときにさらに上方向へのスライド操作が行われた場合に，文字番号“１０”の「こ」に未確定文字を変更するように設計してもよい。

操作認識部１４０は，生体情報取得部１１０により指紋データが取得されなくなった場合に，ユーザがセンサ１２から指を離す操作を行ったと判断する。本実施の形態の例では，操作認識部１４０によりユーザがセンサ１２から指を離す操作を行ったと判断された場合に，操作対応部１５０は，その時点での未確定文字を確定文字とする。出力部１６０は，タッチパネル１１の画面の文字入力エリアに未確定状態で表示されている文字を，確定状態に変更する。

なお，ユーザによる左右方向のスライド操作が認識された場合に，未確定文字を確定するなどの設計も可能である。また，ユーザによる左方向のスライド操作が認識された場合に１文字消去するなど，未確定文字の変更や確定以外の機能を，ユーザのスライド操作に割り当てる設計を行ってもよい。

図６は，本実施の形態による未確定文字の変更の例（１）を説明する図である。

例えば，ユーザが右手の人差し指をセンサ１２に当てて指紋認証を行うと，図４に示す指認識データ１７５と図５に示す文字対応データ１８５とから，初期の未確定文字「あ」が特定される。このとき，タッチパネル１１の画面の文字入力エリア２００には，未確定状態で「あ」が表示される（図６の（１））。図６において，アンダーバー付きの文字は，未確定文字であることを示している。

ユーザが，センサ１２に当てた右手の人差し指を上方向にスライドすると，文字入力エリア２００の未確定文字が「い」に変更される（図６の（２））。さらに，ユーザが，センサ１２に当てた右手の人差し指を上方向にスライドすると，文字入力エリア２００の未確定文字が「う」に変更される（図６の（３））。この状態で，ユーザが，センサ１２から指を離すと，未確定状態の文字「う」が確定状態に変更される（図６の（４））。

図７は，本実施の形態による未確定文字の変更の例（２）を説明する図である。

図７に示す例は，タッチパネル１１の画面にさらに文字選択メニュー２０１が表示される例である。この例では，ユーザは，画面に表示された文字選択メニュー２０１をスクロールする感覚で，スライド操作を行うことができる。例えば，ユーザが，センサ１２に当てた右手の人差し指を上方向にスライドすると，文字選択メニュー２０１が上方向にスクロールされ，未確定文字が「あ→い→う→... 」と変更される。また，例えば，ユーザが，センサ１２に当てた右手の人差し指を下方向にスライドすると，文字選択メニュー２０１が下方向にスクロールされ，未確定文字が「あ→か→き→... 」と変更される。

図８は，本実施の形態の文字入力部による文字入力処理フローチャートである。

文字入力部１００は，タッチパネル１１の画面に表示された文字入力エリア２００にカーソルがあるかを判定する（ステップＳ１０）。文字入力エリア２００にカーソルがあれば（ステップＳ１０のＹＥＳ），生体情報取得部１１０は，センサ１２により得られるユーザの指紋データの取得を開始する（ステップＳ１１）。

指特定部１２０は，指紋データが取得されたかを判定する（ステップＳ１２）。指紋データが取得されれば（ステップＳ１２のＹＥＳ），指特定部１２０は，指認識データ１７５を参照し，生体情報取得部１１０により取得された指紋データに対応する指を特定する（ステップＳ１３）。ここでは，指認識データ１７５から，生体情報取得部１１０により取得された指紋データに対応する指ＩＤが取得される。なお，図８のフローチャートでは省略されているが，生体情報取得部１１０により取得された指紋データとマッチする，指認識データ１７５に登録された指紋データがない場合には，指紋認証に失敗したと判断され，指は特定されない。

文字特定部１３０は，文字番号を示すカウンタｋの値を５に初期化する（ステップＳ１４）。文字特定部１３０は，文字対応データ１８５を参照し，指特定部１２０により特定された指に対応する，文字番号ｋ（＝５）の文字を，初期の未確定文字に特定する（ステップＳ１５）。出力部１６０は，特定された初期の未確定文字を，文字入力エリア２００に未確定状態で表示する（ステップＳ１６）。

操作認識部１４０は，生体情報取得部１１０により取得された指紋データの変化から，ユーザによるスライド操作が認識されたかを判定する（ステップＳ１７）。スライド操作が認識されなければ（ステップＳ１７のＮＯ），操作認識部１４０は，ステップＳ２３の処理に進む。

スライド操作が認識されれば（ステップＳ１７のＹＥＳ），操作認識部１４０は，そのスライド方向を判定する（ステップＳ１８）。スライド方向が上方向である場合には（ステップＳ１８の上），操作対応部１５０は，文字番号を示すカウンタｋの値をデクリメントする（ステップＳ１９）。スライド方向が下方向である場合には（ステップＳ１８の下），操作対応部１５０は，文字番号を示すカウンタｋの値をインクリメントする（ステップＳ２０）。操作対応部１５０は，未確定文字を，文字番号ｋの文字に変更する（ステップＳ２１）。出力部１６０は，文字入力エリア２００に表示されている未確定文字を，変更された未確定文字に更新する（ステップＳ２２）。

操作認識部１４０は，ユーザによるセンサ１２から指を離す操作が認識されたかを判定する（ステップＳ２３）。指を離す操作が認識されなければ（ステップＳ２３のＮＯ），操作認識部１４０は，ステップＳ１７の処理に進む。

指を離す操作が認識されれば（ステップＳ２３のＹＥＳ），操作対応部１５０は，未確定文字を確定する（ステップＳ２４）。出力部１６０は，文字入力エリア２００に表示されている未確定文字を，確定状態に変更する（ステップＳ２５）。

以上説明したように，本実施の形態による文字入力の技術によって，ユーザは，容易な操作で文字入力ができるようになる。例えば小型のスマート端末において，タッチパネル１１の画面上にソフトウェアキーボードを表示しなくてもよいので，文字入力を行うユーザに対して多くの情報を提供でき，また文字の誤入力の可能性を低くできる。

以上，本実施の形態について説明したが，本発明はその主旨の範囲において種々の変形が可能であることは当然である。

例えば，本実施の形態では，ひらがなを入力する例について説明したが，本実施の形態による文字入力の技術を，カタカナ，数字，アルファベット，記号など，他の文字種の入力に適用することも可能である。例えば，ユーザに左右方向のスライド操作で文字種を選択させ，上下方向のスライド操作で文字を選択させるという実施も可能である。

また，例えば，本実施の形態では，複数の指にそれぞれ文字群を割り当てて文字入力を行う例を説明したが，１つの指による操作で文字入力を行うようにする設計も可能である。例えば，ひらがなの入力において，ユーザに左右方向のスライド操作で「あ行」，「か行」などの行を選択させ，上下方向のスライド操作で「あ段」，「い段」などの段を選択させるという実施も可能である。

１０ 端末
１１ タッチパネル
１２ センサ
１００ 文字入力部
１１０ 生体情報取得部
１２０ 指特定部
１３０ 文字特定部
１４０ 操作認識部
１５０ 操作対応部
１６０ 出力部
１７０ 指認識情報記憶部
１８０ 文字対応情報記憶部

Claims (4)

1. コンピュータに，
   センサから得られるユーザの生体情報を取得し，
   前記生体情報の取得に対応して，入力が確定されていない文字である未確定文字として，前記取得された生体情報に対応付けられた複数の文字のうちの第１の文字を特定し，
   前記第１の文字を，前記センサとは別に設けられた画面に表示し，
   前記取得された生体情報の変化から，前記ユーザによる前記センサに対するスライド操作を認識し，
   前記センサに対する前記スライド操作に応じて，前記取得された生体情報に対応する前記複数の文字のうちの第２の文字に前記未確定文字を変更する
   処理を実行させるための文字入力プログラム。
2. 前記コンピュータに，さらに，
   記憶部に記憶された指と生体情報との対応を参照し，前記取得された生体情報に対応する指を特定する処理を実行させ，
   前記未確定文字を特定する処理では，記憶部に記憶された指と文字との対応を参照し，前記特定された指に対応する文字を特定する
   ことを特徴とする請求項１に記載の文字入力プログラム。
3. センサから得られるユーザの生体情報を取得する生体情報取得部と，
   前記生体情報の取得に対応して，入力が確定されていない文字である未確定文字として，前記取得された生体情報に対応付けられた複数の文字のうちの第１の文字を特定する文字特定部と，
   前記第１の文字を，前記センサとは別に設けられた画面に表示する出力部と，
   前記取得された生体情報の変化から，前記ユーザによる前記センサに対するスライド操作を認識する操作認識部と，
   前記センサに対する前記スライド操作に応じて，前記取得された生体情報に対応する前記複数の文字のうちの第２の文字に前記未確定文字を変更する操作対応部とを備える
   ことを特徴とする文字入力装置。
4. コンピュータが，
   センサから得られるユーザの生体情報を取得し，
   前記生体情報の取得に対応して，入力が確定されていない文字である未確定文字として，前記取得された生体情報に対応付けられた複数の文字のうちの第１の文字を特定し，
   前記第１の文字を，前記センサとは別に設けられた画面に表示し，
   前記取得された生体情報の変化から，前記ユーザによる前記センサに対するスライド操作を認識し，
   前記センサに対する前記スライド操作に応じて，前記取得された生体情報に対応する前記複数の文字のうちの第２の文字に前記未確定文字を変更する処理を実行する
   ことを特徴とする文字入力方法。

Images