JP6413391B2 - 変換装置、変換プログラム、及び変換方法 - Google Patents

Description

本発明は、手書き入力の変換技術に関する。

近年、携帯電話、タブレット端末等の携帯型の情報処理端末から、電子メール、テキストチャット等を利用してメッセージを交換することが広く行われるようになっている。

日本語を含め複数の言語において、言葉では表現できない部分を絵文字で表現する絵文字文化が若者を中心に定着している。このような絵文字の入力の利便性を高めるために、例えば、入力が確定された文字と関連付けられた文字の読みと一致する読みを有する絵文字を絵文字辞書部から検索し、検索された絵文字を入力候補として表示部に表示する技術、入力された新たな文節と同じ感情カテゴリの顔文字生成用データに基づいて、後接文節の表示（顔文字）と、後接文節のよみ（半角カタカナ）とを組み合わせて、新たな絵文字として生成する技術等が提案されている。

特開２０１２−４８４０６号公報 特開２００８−２２６０１９号公報

熊本忠彦、外２名、"感情辞書"、[online]、インターネット＜URL:// http://www.kde.cs.tsukuba.ac.jp/~zjw/wiki/index.php?%E6%84%9F%E6%83%85%E8%BE%9E%E6%9B%B8＞

上述した技術では、絵文字は予め単語と対応付けられており、キー入力により入力された単語に対応付けられた絵文字を表示しており、絵文字を手書きで入力することができない。

近年の携帯型の情報処理端末では、タッチパネルを採用した表示部が広く普及している。このような情報処理端末では、手書き文字認識を備え、タッチパネル上での手書き文字入力を可能とする場合が多い。手書き文字認識では、英数字、漢字、カタカナ、ひらがな等の文字を、字型情報及びストローク情報を用いて認識している。

一方、文字と異なり、絵文字の形は定義されていないため、表現は入力者によって異なっている。従って、手書きされた絵文字を字型情報及びストローク情報を用いて認識することは困難である。

従って、１つの側面では、本発明は、手書き入力を行う箇所の文章の文脈を利用して、手書き入力の変換候補を生成することを目的とする。

一態様によれば、編集対象の文書のいずれかの箇所についての手書き入力を受け付ける手書き入力部と、前記箇所の前、後、又は、周辺の文書の分析によって得られたコンテキストに応じて、受け付けた前記手書き入力の変換候補を生成する変換部とを有し、前記変換部は、更に、前記手書き入力に対して文字認識を行う文字認識部と、前記文字認識の結果、絵文字が候補にない場合、入力済み文字列から感情表現に結びつく単語を検索することで、該感情表現が該入力済み文字列内にあるか否かを判定し、判定結果を示す前記コンテキストを記憶部に記憶する感情表現判定部と、前記文字認識の結果、前記絵文字が候補にある場合、前記記憶部から前記コンテキストを読み込み、該コンテキストを用いて、前記文字認識の結果における該絵文字の候補順位を変更する候補順位付け部とを有する変換装置が提供される。

また、上記課題を解決するための手段として、変換プログラム、変換方法、及び変換プログラムを記憶した記憶媒体とすることもできる。

手書き入力を行う箇所の文章の文脈を利用して、手書き入力の変換候補を生成することができる。

第１の絵文字の入力方法を説明するための図である。 第２の絵文字の入力方法を説明するための図である。 絵文字と文字コードの対応付けの例を示す図である。 被験者による手書き文字の例を示す図である。 絵文字の例を示す図である。 絵文字の入力例を説明するための図である。 本実施例における情報処理端末のハードウェア構成を示す図である。 情報処理端末の第１の機能構成例を示す図である。 本実施例における字型辞書のデータ例を示す図である。 第１の機能構成例のにおける手書き入力部による手書き入力処理を説明するためのフローチャート図である。 図８の第１の機能構成例における手書き文字認識処理を説明するためのフローチャート図（その１）である。 図８の第１の機能構成例における手書き文字認識処理を説明するためのフローチャート図（その２）である。 図８の第１の機能構成例における処理シーケンスを示す図である。 情報処理端末の第２の機能構成例を示す図である。 図１４の第２の機能構成例における手書き入力処理を説明するためのフローチャート図である。 図１４の第２の機能構成例における手書き文字認識処理を説明するためのフローチャート図である。 図１４の第２の機能構成例における処理シーケンスを示す図である。 感情辞書のデータ例を示す図である。 ボーナススコアの取得例を説明するための図である。 ユーザが手書きで第１の文字列を入力した場合の処理例を説明するための図（その１）である。 ユーザが手書きで第１の文字列を入力した場合の処理例を説明するための図（その２）である。 ユーザが手書きで第２の文字列を入力した場合の処理例を説明するための図（その１）である。 ユーザが手書きで第２の文字列を入力した場合の処理例を説明するための図（その２）である。 ユーザが手書きで第２の文字列を入力した場合の処理例を説明するための図（その３）である。

以下、本発明の実施の形態を図面に基づいて説明する。先ず、携帯電話、タブレット端末等の携帯型の情報処理端末（以下、単に「情報処理端末」と言う。）での絵文字の入力方法について説明する。絵文字の入力方法は、大きく２つの方法がある。

先ず、第１の絵文字の入力方法は、入力モードを変更して絵文字を選択する方法である。図１（Ａ）及び図１（Ｂ）は、第１の絵文字の入力方法を説明するための図である。図１（Ａ）では、情報処理端末のＯＳ（Operating System）がAndroidである場合の文字入力画面１ａを例示している。

文字入力画面１ａは、テキストを編集する編集領域２ａと、選択された入力モード２ｃで入力可能な文字型の一覧を表示する選択領域２ｂとを有する。入力モード２ｃは、絵文字モード、記号モード、顔文字モード等であり、各入力モード２ｃは、タブで示される。

絵文字モードは、予め用意された複数の絵文字９から１つを選択して入力するためのモードである。各絵文字９は、異なる感情を表現した顔型の絵である。記号モードは、予め用意された等号（＝）、不等号（＜、＞）、単位（％、￥、＆、・・・）等の複数の記号から１つを選択して入力するためのモードである。顔文字モードは、感情を表現した複数の記号の組み合せ（(^^)、(≧0≦)、・・・）の一覧から１つの組み合せを選択するためのモードである。

情報処理端末のユーザが、文字入力画面１ａの選択領域２ｂ上でタブ「絵文字」を指３で選択すると、絵文字モードが選択され、種々の絵文字９が一覧表示される。ユーザは、更に、選択領域２ｂに一覧表示された種々の絵文字９から指３で１つの絵文字９を選択すると、編集領域２ａに選択した絵文字９が表示される。

図１（Ｂ）では、情報処理端末のＯＳがｉＯＳである場合の文字入力画面１ｂを例示している。文字入力画面１ｂは、テキストを編集する編集領域２ｅと、選択された入力モード２ｇで入力可能な文字型の一覧を表示する選択領域２ｆとを有する。入力モード２ｇは、絵文字モード、記号モード、顔文字モード等であり、各入力モード２ｇは、夫々を表すアイコンで選択可能なように表示される。

ユーザが、文字入力画面１ｂの選択領域２ｆ上で絵文字モードのアイコンを指３で選択すると、絵文字モードが選択され、種々の絵文字９が一覧表示される。ユーザは、更に、選択領域２ｆに一覧表示された種々の絵文字９から指３で１つの絵文字９を選択すると、編集領域２ｅに選択した絵文字９が表示される。

第２の絵文字の入力方法は、嬉しい、楽しい、怒る等の感情を表す文字列の入力に応じて、感情を表現した絵文字への変換を行う方法である。日本では、かな漢字変換が第２の絵文字の入力方法に相当する。かな漢字変換は、ユーザが入力した文字列に対応する絵文字と、ひらがな、カタカナ、漢字等の種々の表記体系による同じ読みの種々の単語とを抽出して表示する変換の一例である。

図２（Ａ）及び図２（Ｂ）は、第２の絵文字の入力方法を説明するための図である。図２（Ａ）では、情報処理端末のＯＳがAndroidである場合の文字入力画面１ｃを例示している。

文字入力画面１ｃは、テキストを編集する編集領域２ａと、ソフトキー表示領域２ｄ−１と、ユーザがソフトキー表示領域２ｄ−１から入力した文字列に対応する候補を表示する候補表示領域２ｄ−２とを有する。

ユーザが、文字入力画面１ｃのソフトキー表示領域２ｄ−１上で文字を選択して入力された文字列に対して、候補表示領域２ｄ−２に候補が表示される。候補には絵文字、単語が含まれる。この例では、文字列「おこる」の入力に応じて、怒った感情を表す複数の絵文字９が候補表示領域２ｄ−２に一覧表示される。ユーザは、候補表示領域２ｄ−２から１つの絵文字又は単語を選択する。

図２（Ｂ）では、情報処理端末のＯＳがｉＯＳである場合の文字入力画面１ｄを例示している。文字入力画面１ｄは、テキストを編集する編集領域２ｅと、ソフトキー表示領域２ｈ−１と、ユーザがソフトキー表示領域２ｈ−１から入力した文字列に対応する候補を表示する候補表示領域２ｈ−２とを有する。

ユーザが、文字入力画面１ｄのソフトキー表示領域２ｈ−１上で文字を選択して入力された文字列に対して、候補表示領域２ｈ−２に候補が表示される。候補には絵文字、単語が含まれる。この例では、文字列「おこる」の入力に応じて、怒った感情を表す複数の絵文字９が候補表示領域２ｈ−２に一覧表示される。ユーザは、候補表示領域２ｈ−２から１つの絵文字又は単語を選択する。

次に、手書き文字認識処理について説明する。手書き文字認識処理によって、手書きの文字等をテキスト化することができる。図３は、手書き文字認識処理の例を示す図である。図３において、手書き文字認識処理部４は、情報処理端末の電子メール、スケジュール、メモ帳等のアプリケーションから呼び出されることにより、手書き文字認識処理を行う。

ユーザが、情報処理端末の手書き入力領域２ｐ上で文字「鴎」を手書きすると、手書き文字認識処理部４は、入力領域２ｐに力された文字「鴎」の字型情報４ａとストローク情報４ｂとを取得して、字型辞書４ｃを参照することにより、夫々から認識候補４ａ−２及び４ｂ−２を得る。候補統合部４ｅは、認識候補４ａ−２及び４ｂ−２を統合して、認識候補４ｆを出力する。認識候補４ｆは、戻り値として読み出し元へ通知される。

字型辞書４ｃは、通常、文字、絵文字等の１文字毎の字型と、文字内の線、点等の座標及び筆順と、文字コードとを有する。

字型情報４ａは、文字の形を示す情報であり、ビットマップによるフォントデータから作成される。文字コードが割り当てられている文字の場合、字型情報４ａの作成は可能である。

ストローク情報４ｂは、１文字毎の筆順を示す情報である。文字の筆順は、右から左、上から下へと書くように大まかな規則はあるが、１文字内の線又は点の位置、線の長さ等は個人差がある。従って、図４に例示されるように、Ａさん、Ｂさん、・・・Ｎさん等の複数の被験者に同一文字「鴎」を入力させて、各人のストローク情報４ｂを採取し、その採取した情報を統合し編集して、文字「鴎」の標準的なストローク情報４ｂを作成する。

次に、絵文字９の字型及びストローク（筆順）について考察する。絵文字９の字型に関して、同様な感情表現においても、また、異なる感情表現であっても、似たような形が多く存在する。

図５（Ａ）及び図５（Ｂ）は、絵文字の例を示す図である。図５（Ａ）及び図５（Ｂ）の各々において、８個の絵文字９は、同様な感情表現と、異なる感情表現とを含み、同様の輪郭で描画されている場合が多い。

次に、絵文字９のストロークに関して、図６（Ａ）〜図６（Ｄ）は、絵文字の入力例を説明するための図である。図６（Ａ）は、ユーザが入力する絵文字９を示す。図６（Ｂ）から図６（Ｄ）は、異なるユーザが情報処理端末の手書き文字入力を行う文字入力画面１で、図６（Ａ）の絵文字９の手書き例を示す。図６（Ａ）の絵文字９は、人が緊迫したときの感情を表している。

文字入力画面１は、編集領域２ａと、候補表示領域２ｄ−２と、手書き入力領域２ｄ−３とを有する。手書き入力領域２ｄ−３上でユーザが指３等により手書きした文字、絵文字等から入力候補となる文字が候補表示領域２ｄ−２に表示される。候補表示領域２ｄ−２では、手書き文字認識処理部４によって最も確からしいと判断した文字又は絵文字が、一番左に表示される。右の文字ほど、手書き文字認識処理部４が一致度が低いと判断した候補となる。

図６（Ｂ）の手書き例では、絵文字９の輪郭があり、目及び口があり、手を丸（○）で表現している。図６（Ｃ）の手書き例では、絵文字９の顔の輪郭があり、目及び口があり、手を線で表現している。図６（Ｄ）の手書き例では、絵文字９の輪郭がなく、目及び口があり、手を丸（○）で表現している。

また、顔の輪郭、目、口、手の書き順はない。例えば、顔の輪郭を最初に描く場合、最後に描く場合等様々である。

絵文字９は、文字の筆順のように、右から左、上から下への規則がなく、外側から中心へ、又は、中心から外側へと書くこともできる。文字の筆順のような大まかな規則がない。

従って、上述した字型情報４ａ及びストローク情報４ｂを用いた文字認識では、十分な精度を得られず、ユーザが意図した絵文字の入力と実際の認識結果が異なる場合がある。誤認識の可能性が高くなる。

例えば、図６（Ｂ）では、絵文字９が候補表示領域２ｄ−２に一覧されていない。図６（Ｃ）では、候補表示領域２ｄ−２において、絵文字９は左から７番目に位置する。図６（Ｄ）では、候補表示領域２ｄ−２において、絵文字９は左から５番目に位置する。絵文字９の字型及びストロークだけでは、十分な精度を得られない。

また、図５で説明したように、絵文字９は、同様な形を示すため、種々の感情表現の絵文字９が候補として候補表示領域２ｄ−２に一覧される可能性がある。

このように、絵文字９は、ユーザの感情を表現することを目的としている。しかしながら、上述したような、字型情報４ａ、ストローク情報４ｂ、及び字型辞書４ｃを用いた手書き文字認識処理では、感情表現が考慮されていない。発明者は、手書き文字認識処理において、既に文字認識した文字列から、ユーザが表現しようとした感情を特定すれば、絵文字９の文字認識精度を改善できると考えた。

本実施例では、入力された文章（文字列）から感情表現を特定し、文章と共に入力される絵文字の認識時に特定した感情表現を考慮することで、絵文字の認識精度を改善する。

図７は、本実施例における情報処理端末のハードウェア構成を示す図である。図７において、情報処理端末５は、コンピュータによって制御されるタブレット型、携帯電話等の情報処理装置であって、ＣＰＵ（Central Processing Unit）１１と、主記憶装置１２と、ユーザＩ／Ｆ（インターフェース）１６と、通信Ｉ／Ｆ１７と、ドライブ装置１８とを有し、バスＢに接続される。

ＣＰＵ１１は、主記憶装置１２に格納されたプログラムに従って情報処理端末５を制御する。主記憶装置１２には、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等が用いられ、ＣＰＵ１１にて実行されるプログラム、ＣＰＵ１１での処理に必要なデータ、ＣＰＵ１１での処理にて得られたデータ等を記憶又は一時保存する。主記憶装置１２に格納されているプログラムが、ＣＰＵ１１に実行されることによって、各種処理が実現される。

ユーザＩ／Ｆ１６は、ＣＰＵ１１の制御のもとに必要な各種情報を表示し、また、ユーザによる操作入力を可能とするタッチパネル等である。通信Ｉ／Ｆ１７による通信は無線又は有線に限定されるものではない。

情報処理端末５によって行われる処理を実現するプログラムは、ネットワークを介してダウンロードされる。或いは、予め情報処理端末５の主記憶装置１２に記憶されていても良い。

ドライブ装置１８は、ドライブ装置１８にセットされた記憶媒体１９（例えば、ＳＤカード等）と情報処理端末５とのインターフェースを行う。主記憶装置１２及び／又は記憶媒体１９が記憶部１３０に相当し、後述される種々のデータ、テーブル等を記憶する。

図８は、情報処理端末の第１の機能構成例を示す図である。図８において、情報処理端末５は、主に、手書き入力部５１と、文字認識エンジン部５２とを有する。手書き入力部５１と、文字認識エンジン部５２とは、対応するプログラムをＣＰＵ１１が実行することによって行われる処理により実現される。情報処理端末５は、文章の編集領域へのユーザ入力を文字又は絵文字へと変換する変換装置に相当する。

また、記憶部１３０には、字型情報４ａ及びストローク情報４ｂを含む手書き情報３１、字型辞書３２、文字候補リスト３３、感情辞書３４、感情スコア３５、スタック領域３６、認識スコアテーブル３７、認識結果３８、確定文字列３９等が記憶される。

手書き入力部５１は、ユーザの手書き入力に係るインタフェースを提供する処理部であり、手書き情報取得部５１１と、認識ＡＰＩ呼出部５１２と、候補選択部５１３とを有する。

手書き情報取得部５１１は、ユーザが文字入力画面１の手書き入力領域２ｄ−３上で手書きした文字を解析して、字型情報４ａとストローク情報４ｂとを取得する。取得した字型情報４ａとストローク情報４ｂとを含む手書き情報３１が記憶部１３０に格納される。

認識ＡＰＩ呼出部５１２は、文字認識エンジン部５２をＡＰＩ（Application Programming Interface）を介して呼び出す。

候補選択部５１３は、文字認識エンジン部５２からの戻り値である認識結果３８を候補表示領域２ｄ−２に一覧表示して、ユーザが選択した絵文字９又は文字を確定文字列３９に追加する。

文字認識エンジン部５２は、手書き入力部５１からの呼び出しに応じて、手書き文字認識を行う処理部である。文字認識エンジン部５２は、ユーザの手書き入力を認識することで変換候補を生成する変換候補生成部に相当する。また、文字認識エンジン部５２は、文字認識部５２１と、感情表現判定部５２２と、絵文字候補順位付け部５２３とを有する。

文字認識部５２１は、字型辞書３２を参照して、手書き情報３１に基づいて、手書き文字認識処理を実行する。手書き文字認識処理によって、手書き入力との一致度を示す認識スコアが算出される。手書き文字認識処理によって候補となった文字及び／又は絵文字９を示す文字候補リスト３３が記憶部１３０に記憶される。文字候補リスト３３は、候補毎に、文字コードと、認識スコアとを示すリストである。

感情表現判定部５２２は、既に入力した文字列を含む確定文字列３９から、感情辞書３４を参照して、感情表現に結びつく単語を検索する。感情表現判定部５２２は、検索した単語の感情スコア３５を求めて、求めた感情スコア３５に基づいて再度、感情辞書３４を参照して感情ラベルを取得する。感情表現判定部５２２は、感情スコア３５又は感情ラベルに基づいて、所定方法によりボーナススコアを取得し、取得した感情ラベルとボーナススコアとをスタック領域３６に記憶する。

絵文字候補順位付け部５２３は、スタック領域３６に記憶されたボーナススコアを用いて、文字候補リスト３３内の絵文字候補の認識スコアを調整する。具体的には、文字候補リスト３３内の絵文字毎に、感情ラベルと認識スコアとを対応付けた認識スコアテーブル３７を記憶部１３０に作成し、感情表現判定部５２２が取得した感情ラベル以外の各絵文字９の認識スコアからボーナススコアを減点する。感情表現判定部５２２が特定した感情ラベルと異なる感情ラベルを持つ絵文字９の認識スコアを減点することで、無用な候補の表示を抑止できる。

絵文字候補順位付け部５２３は、調整後の認識スコアに基づいて、絵文字候補の順位付けを変更した認識結果３８を記憶部１３０に出力する。認識結果３８は、調整後の認識スコアに基づいて絵文字候補を並べ替えて一覧にした候補リストを含む。認識結果３８は、文字認識エンジン部５２の呼び出し元である手書き入力部５１の認識ＡＰＩ呼出部５１２に戻り値として通知される。

手書き情報３１は、手書き入力部５１の手書き情報取得部５１１によって手書き文字を解析した結果得られる字型情報４ａ及びストローク情報４ｂ（図３）を含む。

本実施例における字型辞書３２では、図３の字型辞書４ｃの字型（文字、絵文字等）、座標・筆順情報、文字コードの項目に加えて、感情ラベルの項目が追加される。

文字候補リスト３３は、手書き情報３１に基づいて、ユーザが手書きした文字に類似する文字候補及び絵文字候補を一覧で示すリストであり、候補毎に、文字コード、認識スコア等が対応付けられている。

感情辞書３４は、感情表現に結びつく単語毎に、単語が表す感情との対応関係を示したデータファイル又はデータベースである。感情辞書３４では、「ある感情を有する単語はその感情を表現する感情語群と共起しやすく、逆の感情を表現する感情語群とは共起しにくい」という仮定のもと、ある単語と対比的な感情を有する２つの感情語群との共起の仕方を数値で示している（非特許文献１を参照のこと）。本実施例の感情ラベルは非特許文献１における感情語に相当し、本実施例の感情スコアは非特許文献１の、対比的な感情を有する２つの感情語間での共起の仕方を示した数値に相当する。

感情スコア３５は、確定文字列３９から検索された感情表現に結びつく単語が、ある感情を表現する確率を示す。感情スコア３５は、感情表現判定部５２２によって、所定計算により求められる。

スタック領域３６は、感情表現判定部５２２が判定した感情ラベルと、ボーナススコアとを記憶する領域である。

認識スコアテーブル３７は、文字候補リスト３３でリストされる文字又は絵文字９のうち、絵文字９を抽出して、絵文字９毎に、感情ラベル、認識スコアを対応付けたテーブルである。感情ラベルは、本実施例の字型辞書３２を参照することで対応付けられる。

認識結果３８は、絵文字候補順位付け部５２３によって絵文字９の候補順が変更された後の、文字候補及び絵文字候補を含む候補を昇順にして示したデータである。

確定文字列３９は、ユーザによって認識結果３８から選択され入力された文字列を示すデータである。

図９は、本実施例における字型辞書のデータ例を示す図である。図９において、本実施例の字型辞書３２は、図３の字型辞書４ｃの項目に加えて、絵文字９に対しては、感情ラベルが付加されたデータファイル又はデータベースである。

字型は、文字又は絵文字の形を示し、文字又は絵文字を描画したビットマップのデータである。座標・筆順情報は、字型において、筆順に従って点、線等の座標を示した情報である。文字においては、図４で説明したように複数の被験者の標準的な筆順に従う。絵文字９の筆順は、基本的には定められるものではないが、文字における大まかな規則（左から右、上から下）を適用すればよい。文字コードは、各字型に割り当てられた１６進のコードを示す。

感情ラベルは、感情を表現する単語を示す。例えば、感情ラベルとして、「怒り」、「嬉しい」、「悲しい」、「緊迫」等の単語が示される。

図１０は、図８の第１の機能構成例における手書き入力部による手書き入力処理を説明するためのフローチャート図である。図１０において、手書き入力部５１の手書き情報取得部５１１は、文字入力画面１の手書き入力領域２ｄ−３上へのユーザによる手書き文字の入力を検出すると（ステップＳ１１）、手書きされた文字の字型情報４ａ及びストローク情報４ｂを取得する（ステップＳ１２）。字型情報４ａ及びストローク情報４ｂを示す手書き情報３１が記憶部１３０に記憶される。

そして、認識ＡＰＩ呼出部５１２は、ＡＰＩを介して、文字認識エンジン部５２を呼び出す（ステップＳ１３）。文字認識エンジン部５２による文字認識処理が行われ、手書き文字の認識結果３８が戻り値で通知される。

次に、候補選択部５１３は、認識結果３８の認識スコアに基づいて、候補表示領域２ｄ−２に候補となる文字、絵文字９等を降順に表示する（ステップＳ１４）。そして、候補選択部５１３は、ユーザが候補表示領域２ｄ−２から選択した文字を編集領域２ａに表示すると共に、確定文字列３９に追加する（ステップＳ１５）。

次に、文字認識エンジン部５２による手書き文字認識処理を図１１及び図１２で説明する。図１１及び図１２は、図８の第１の機能構成例における手書き文字認識処理を説明するためのフローチャート図である。

図１１において、文字認識エンジンン部５２の文字認識部５２１は、字型辞書３２を参照し、手書き情報３１に基づいて、文字認識を行って、文字候補リスト３３を作成する（ステップＳ４０）。

そして、文字候補リスト３３の文字コードを用いて字型辞書３２を参照することで、文字候補リスト３３に絵文字９が候補として含まれているか否かが判断される（ステップＳ４１）。文字候補リスト３３に絵文字９が含まれている場合、絵文字候補順位付け処理部５２３による絵文字候補順位付け処理（図１２）が行われる。文字候補リスト３３に絵文字９が含まれていない場合、感情表現判定部５２２による感情表現判定処理が行われる。ステップＳ４２からＳ４７が、感情表現判定処理に相当する。

感情表現判定部５２２は、記憶部１３０から確定文字列３９を読み込み（ステップＳ４２）、既に入力済みの文字列が存在するか否かを判断する（ステップＳ４３）。入力済みの文字列が存在しない場合、感情表現判定部５２２は、感情表現判定処理を終了する。

一方、入力済みの文字列が存在する場合、入力済みの文字列から感情表現に結びつく単語を検索する（ステップＳ４４）。確定文字列３９に存在する単語毎に、感情辞書３４に登録されている単語であるか否かを検索すればよい。

感情表現判定部５２２は、感情表現に結びつく単語を検索できたか否かを判断する（ステップＳ４５）。確定文字列３９に感情表現に結びつく単語を検索できなかった（単語が存在しなかった）場合、感情表現判定部５２２は、感情表現判定処理を終了する。文字認識エンジン部５２での手書き文字認識処理が終了する。

一方、確定文字列３９に感情表現に結びつく単語が存在する場合、感情表現判定部５２２は、感情スコアを算出し、感情辞書３４を参照して、感情スコアに基づいて感情ラベルを特定する（ステップＳ４６）。

そして、感情表現判定部５２２は、感情ラベルに対応するボーナススコアを取得して、スタック領域３６に格納する（ステップＳ４７）。ボーナススコアは、例えば、感情辞書３４から特定した感情ラベルの感情スコアから算出しても良い。又は、感情ラベル毎に予めボーナススコアを用意しておき、感情辞書３４から特定した感情ラベルに対応するボーナススコアを取得するようにしても良い。

次に、絵文字候補順位付け部５２３による絵文字候補順位付け処理が行われる。図１２のステップＳ５１からＳ５４が、絵文字候補順位付け処理に相当する。

図１２にて、絵文字候補順位付け部５２３は、文字候補リスト３３から絵文字９を抽出して、絵文字９毎に、感情ラベルと認識スコアとを対応付けた認識スコアテーブル３７を記憶部１３０に作成する（ステップＳ５１）。感情ラベルは、感情辞書３４を参照して取得する。認識スコアは、文字候補リスト３３の認識スコアである。

そして、絵文字候補順位付け部５２３は、認識スコアテーブル３７を参照して、文字候補リスト３３内の絵文字９のうち、スタック領域３６の感情ラベルを持たない絵文字９があるか否かを判断する（ステップＳ５２）。文字候補リスト３３内にスタック領域３６の感情ラベルを持たない絵文字９が含まれていない場合、絵文字候補順位付け部５２３は、認識スコアの順に候補を示して認識結果３８とする（ステップＳ５２−２）。

一方、文字候補リスト３３内にスタック領域３６の感情ラベルを持たない絵文字９が含まれている場合、絵文字候補順位付け部５２３は、スタック領域３６からボーナススコアを取得する（ステップＳ５３）。

そして、絵文字候補順位付け部５２３は、文字候補リスト３３において、スタック領域３６の感情ラベルを持たない絵文字９の認識スコアからボーナススコアを減点し（ステップＳ５４）、絵文字９の候補順位を調整後の認識スコアに基づいて変更して認識結果３８とする（ステップＳ５５）。そして、文字認識エンジン部５２による手書き文字認識処理が終了する。
図１３は、図８の第１の機能構成例における処理シーケンスを示す図である。図１３において、ユーザ８が文字入力画面１への入力を開始し（ステップＳ６１）、一文字を入力する（ステップＳ６２）。

手書き入力部５１の手書き情報取得部５１１は手書き情報３１（字型情報４ａ及びストローク情報４ｂ）を取得し（ステップＳ６３）、認識ＡＰＩ呼出部５１２がＡＰＩを介して文字認識エンジン部５２を呼び出す（ステップＳ６４）。

文字認識エンジン部５２では、文字認識部５２１が、手書き情報３１を用いて、手書き文字を認識して（ステップＳ６５）、文字候補リスト３３を作成する（ステップＳ６６）。文字候補リスト３３の文字コードを用いて字型辞書３２を参照することで、文字候補リスト３３に絵文字９が候補として含まれているか否かが判断される（ステップＳ６７）。

絵文字９が候補として存在しない場合、感情表現判定部５２２による感情表現判定処理が行われる。感情表現判定部５２２は、入力済み文字列に感情表現に結びつく単語があるか否かを判断する（ステップＳ６８）。感情表現がある場合、感情表現判定部５２２は、単語に関連する感情表現に対応するボーナススコアを算出して（ステップＳ６９）、ボーナススコアをスタックする（ステップＳ７０）。文字認識エンジン部５２での処理を終了する。

一方、絵文字９が候補として存在する場合、絵文字候補順位付け部５２３による絵文字候補順位付け処理が行われる。絵文字候補順位付け部５２３は、スタック領域３６にスタックされたボーナススコアを読み込んで（ステップＳ７１）、絵文字候補のうちスタック領域３６にスタックされた感情ラベルとが一致しない絵文字候補があるか否かを判断する（ステップＳ７２）。

感情ラベルと一致しない絵文字候補が存在しない場合、絵文字候補順位付け部５２３は、ステップＳ７４へと進む。感情ラベルと一致しない絵文字候補がある場合、絵文字候補順位付け部５２３は、絵文字候補の認識スコアからボーナススコアを減点する（ステップＳ７３）。

絵文字候補順位付け部５２３は、認識スコアに従って並べ替える（ステップＳ７４）。認識結果３８を手書き入力部５１に通知した後、文字認識エンジン部５２での処理を終了する。

手書き入力部５１の選択候補部５１３は、文字認識エンジン部５２から通知された認識結果３８に基づいて、文字候補及び／又は絵文字候補を候補表示領域２ｄ−２に表示する（ステップＳ７５）。ユーザ８は、候補表示領域２ｄ−２から候補を１つ選択する（ステップＳ７６）。そして、ステップＳ６２へと戻り、ユーザ８が次の一文字を入力することにより（ステップＳ６２）、上述した同様の処理が繰り返し行われる。

上述した第１の機能構成例では、絵文字候補順位付け候補処理を文字認識エンジン部５２で行っていたが、手書き入力部５１で行うようにしてもよい。

図１４は、情報処理端末の第２の機能構成例を示す図である。図１４において、情報処理端末５は、主に、手書き入力部５１と、文字認識エンジン部５２とを有する。手書き入力部５１と、文字認識エンジン部５２とは、対応するプログラムをＣＰＵ１１が実行することによって行われる処理により実現される。

また、記憶部１３０には、字型情報４ａ及びストローク情報４ｂを含む手書き情報３１、字型辞書３２、文字候補リスト３３、感情辞書３４、感情スコア３５、スタック領域３６、認識スコアテーブル３７、認識結果３８等が記憶される。

手書き入力部５１は、手書き情報取得部５１１と、認識ＡＰＩ呼出部５１２と、絵文字候補順位付け部５２３−２と、候補選択部５１３とを有する。また、文字認識エンジン部５２は、文字認識部５２１と、感情表現判定部５２２とを有する。

図８の第１の機能構成例との違いは、手書き入力部５１が、絵文字候補順位付け部５２３−２を有する点であり、その他は同様であるので、その説明を省略する。

絵文字候補順位付け部５２３−２は、認識結果３８に絵文字９が含まれる場合、スタック領域３６に記憶されたボーナススコアを用いて、絵文字９の認識スコアを調整し、認識スコアに従って候補を並べ替える。

手書き入力部５１による手書き入力処理について説明する。図１５は、図１４の第２の機能構成例における手書き入力処理を説明するためのフローチャート図である。図１５中、図１０及び図１２と同様のステップには同様の符号を付してある。

図１５において、手書き入力部５１の手書き情報取得部５１１は、文字入力画面１の手書き入力領域２ｄ−３上へのユーザによる手書き文字の入力を検出すると（ステップＳ１１）、手書きされた文字の字型情報４ａ及びストローク情報４ｂを取得する（ステップＳ１２）。字型情報４ａ及びストローク情報４ｂを示す手書き情報３１が記憶部１３０に記憶される。

そして、認識ＡＰＩ呼出部５１２は、ＡＰＩを介して、文字認識エンジン部５２を呼び出す（ステップＳ１３）。文字認識エンジン部５２による文字認識処理が行われ、手書き文字の文字候補リスト３３と、文字候補リスト３３内の絵文字９の有無を示す情報とを取得する。

絵文字候補順位付け部５２３−２は、文字候補リスト３３が絵文字９を含むか否かを絵文字９の有無を示す情報を参照して判断する（ステップＳ１３−２）。文字候補リスト３３が絵文字９を含まない場合、絵文字候補順位付け部５２３−２は、認識結果３８において絵文字９の順位の変更は不要であるため、文字候補リスト３３の認識スコアの順に候補を示して認識結果とする（ステップＳ１３−４）。

次に、候補選択部５１３は、認識スコアに基づいて、認識結果を候補表示領域２ｄ−２に表示する（ステップＳ１４）。そして、候補選択部５１３は、ユーザが候補表示領域２ｄ−２から選択した文字を編集領域２ａに表示すると共に、確定文字列３９に追加する（ステップＳ１５）。

一方、文字候補リスト３３が絵文字９を含む場合、絵文字９の順位の変更が必要であるため、絵文字候補順位付け部５２３−２は、絵文字候補順位付け処理を行う。絵文字候補順位付け処理は、第１の機能構成例と同様に、ステップＳ５１からＳ５５に相当するため、その説明を省略する。

絵文字候補順位付け部５２３−２による絵文字候補順位付け処理の後、候補選択部５１３は、変更後の認識スコアに基づいて、認識結果３８を候補表示領域２ｄ−２に表示する（ステップＳ１４）。そして、候補選択部５１３は、ユーザが候補表示領域２ｄ−２から選択した文字を編集領域２ａに表示すると共に、確定文字列３９に追加する（ステップＳ１５）。

手書き文字認識部５２による手書き文字認識処理について説明する。図１６は、図１４の第２の機能構成例における手書き文字認識処理を説明するためのフローチャート図である。図１６中、図１１と同様のステップには同様の符号を付し、その説明を省略する。

図１６において、文字認識により得た文字候補リスト３３に絵文字９が含まれていない場合（ステップＳ４１のＮＯ）、文字認識エンジン部５２は、文字候補リスト３３と、文字候補リスト３３は絵文字９を含んでいないことを示す情報とを、手書き入力部５１への戻り値とし（ステップＳ４８）、手書き文字認識処理を終了する。

また、文字認識により得た文字候補リスト３３に絵文字９が含まれている場合、（ステップＳ４１のＹＥＳ）、文字認識エンジン部５２は、感情表現判定部５２２による感情表現判定処理の終了に応じて、文字認識エンジン部５２は、文字候補リスト３３と、文字候補リスト３３は絵文字９を含んでいることを示す情報とを、手書き入力部５１への戻り値とし（ステップＳ４８）、手書き文字認識処理を終了する。

図１７は、図１４の第２の機能構成例における処理シーケンスを示す図である。図１７において、ユーザ８が文字入力画面１への入力を開始し（ステップＳ８１）、一文字を入力する（ステップＳ８２）。

手書き入力部５１の手書き情報取得部５１１は手書き情報３１（字型情報４ａ及びストローク情報４ｂ）を取得し、認識ＡＰＩ呼出部５１２がＡＰＩを介して文字認識エンジン部５２を呼び出す（ステップＳ８４）。

文字認識エンジン部５２では、文字認識部５２１が、手書き情報３１を用いて、手書き文字を認識して（ステップＳ８５）、文字候補リスト３３を作成する（ステップＳ８６）。文字候補リスト３３の文字コードを用いて字型辞書３２を参照することで、文字候補リスト３３に絵文字９が候補として含まれているか否かが判断される（ステップＳ８７）。

絵文字９が候補として存在しない場合、感情表現判定部５２２による感情表現判定処理が行われる。感情表現判定部５２２は、入力済み文字列に感情表現に結びつく単語があるか否かを判断する（ステップＳ８８）。感情表現がある場合、感情表現判定部５２２は、単語に関連する感情表現に対応するボーナススコアを算出して（ステップＳ８９）、ボーナススコアをスタックする（ステップＳ９０）。文字候補リスト３３と、絵文字９が無いことを示す情報とが、手書き入力部５１に提供され、文字認識エンジン部５２での処理を終了する。

一方、絵文字９が候補として存在する場合、文字候補リスト３３と、絵文字９が有ることを示す情報とが、手書き入力部５１に提供される。手書き入力部５１において、絵文字候補順位付け部５２３−２による絵文字候補順位付け処理が行われる。絵文字候補順位付け部５２３−２は、文字候補リストを取得して（ステップＳ９１）、スタック領域３６にスタックされたボーナススコアを読み込み（ステップＳ９２）、絵文字候補のうちスタック領域３６にスタックされた感情ラベルとが一致しない絵文字候補があるか否かを判断する（ステップＳ９３）。

感情ラベルと一致しない絵文字候補が存在しない場合、絵文字候補順位付け部５２３−２は、ステップＳ９５へと進む。感情ラベルと一致しない絵文字候補がある場合、絵文字候補順位付け部５２３−２は、絵文字候補の認識スコアからボーナススコアを減点する（ステップＳ９４）。

絵文字候補順位付け部５２３−２は、認識スコアに従って並べ替える（ステップＳ９５）。選択候補部５１３は、認識スコアを並べ替えた認識結果３８に基づいて、文字候補及び／又は絵文字候補を候補表示領域２ｄ−２に表示する（ステップＳ９６）。ユーザ８は、候補表示領域２ｄ−２から候補を１つ選択する（ステップＳ９７）。そして、ステップＳ８２へと戻り、ユーザ８が次の一文字を入力することにより（ステップＳ８２）、上述した同様の処理が繰り返し行われる。

図１８は、感情辞書のデータ例を示す図である。図１８において、感情辞書３４は、非特許文献１に基づくデータ構造を有し、単語毎に感情軸における値が対応付けられている。感情辞書３４は、例えば、単語、感情軸１、感情軸２、感情軸３等の項目を有する。ここでは、感情軸は、代表的な３軸とする。

感情軸１は、「悲しい」と、逆の表現を示す「楽しい」とにおいて、単語がいずれに共起し易いかを示す。感情軸２は、「怒り」と、逆の表現を示す「嬉しい」とにおいて、単語がいずれに共起し易いかを示す。感情軸３は、「緊迫」と、逆の表現を示す「のどか」とにおいて、単語がいずれに共起し易いかを示す。

感情軸の値が１に近い程、単語の感情が「楽しい」、「嬉しい」、「のどか」を表現していることを示す。感情軸の値が０に近い程、単語の感情が「悲しい」、「怒り」、「緊迫」を表現していることを示す。

次に、ユーザ８が入力した文字列に「台風」があった場合の、ボーナススコアの取得例について説明する。図１９は、ボーナススコアの取得例を説明するための図である。図１９において、図１８の感情辞書３４より、単語「台風」は、感情軸１の値「0.351」から「悲しい」感情を示し、感情軸２の値「0.459」から「楽しい」よりは「怒り」の感情を示し、感情軸３の値「0.203」から「緊迫」した感情を示す、と判断する。

この感情軸１から３の値から、最も０寄り、又は、最も１寄りの感情を特定する。単語「台風」の場合は、感情軸３の「緊迫」が最も表現し得る感情であると判断する。この感情軸３の値「0.203」を小数点２以下を四捨五入し値「０．２」を求め、更に、１０倍して整数「２」を得る。値「２」をボーナススコアとし、スタック領域３６に、感情ラベルとして「緊迫」を記憶し、ボーナススコアとして値「２」を記憶する。

ボーナススコアの取得方法は、上述したの計算方法に限定されない。例えば、感情軸１〜３の感情を表す「悲しい」、「楽しい」、「怒り」、「嬉しい」、「緊迫」、及び「のどか」の言葉毎に、予めボーナススコアを定めたテーブルを用意しておいても良い。このテーブルを参照して、ボーナススコアを求めればよい。

次に、感情表現に結びつく単語を１つ含む第１の文字列で本実施例を説明する。ユーザ８が手書きで入力する第１の文字列を、「台風が来る？＜絵文字＞」とする。この絵文字９は、緊迫した感情を描画した「緊迫」した顔の絵文字である。この例では、感情表現に結びつく単語は「台風」である。

図２０及び図２１は、ユーザが手書きで第１の文字列を入力した場合の処理例を説明するための図である。図２０において、Ａ１：ユーザ８が文字入力画面１の手書き入力領域２ｄ−３上でユーザが指３等により１文字目「台」を入力すると、確定文字列３９にはそれ以前に入力した文字はないため、感情表現に結びつく単語の検索は行われない。

Ａ２：ユーザ８が１文字目「台」を入力し終わると、手書き文字認識処理を開始する。文字候補リスト３３に絵文字９はないため、文字候補リスト３３の認識スコアに従って候補表示領域２ｄ−２に候補が表示される。

Ａ３：ユーザ８が候補表示領域２ｄ−２の候補の中から「台」を選択して入力を確定する。「台」が確定文字列３９に追加される。

Ａ４：ユーザ８が２文字目「風」を入力すると、確定文字列３９には「台」が記憶されているため、感情辞書３４を参照して感情表現に結びつく単語の検索を行うが、１文字「台」に対応する感情表現は検索できず、確定文字列３９には感情表現に結びつく単語はないと判断する。

Ａ５：２文字目「風」をＡ２〜Ａ３と同じように処理することで、確定文字列３９に２文字目「風」が記憶される。確定文字列３９に記憶されている文字列は「台風」となる。

Ａ６：ユーザ８が３文字目「が」を入力すると、確定文字列３９には既に「台風」が記憶されているため、感情辞書３４を参照しながら確定文字列３９から感情表現に結びつく単語を検索する。この場合、「台風」が感情表現に結びつく単語として検索される。

感情辞書３４において、「台風」に対応付られる感情軸１〜３の感情スコアのうち、最も０に近い値、又は、最も１に近い値を取得し、また、取得した値で方向づけられる感情ラベルも取得する。「台風」の例の場合、感情ラベル「緊迫」が最も感情を表現していると判断し、その感情スコア「０．２０３」を求め、又は、予め用意した感情ラベルとボーナススコアの対応表からボーナススコアを取得する。感情ラベル「緊迫」及びボーナススコア「２」がスタック領域３６に格納される。

Ａ７：３文字目「が」をＡ２〜Ａ３と同じように処理することで、確定文字列３９に３文字目「が」が記憶される。確定文字列３９に記憶されている文字列は「台風が」となる。図２１のＡ８へと進む。

Ａ８：ユーザ８が４文字目「来」と、５文字目「る」と、６文字目「？」とを入力すると、１文字毎にＡ４〜Ａ５と同じように処理することで、確定文字列３９に４文字目「来」と、５文字目「る」と、６文字目「？」とが記憶される。確定文字列３９に記憶されている文字列は「台風が来る？」となる。

Ａ９：ユーザ８が「緊迫」した感情を表現するために手書き入力領域２ｄ−３上で絵文字９ｈを描くと、感情辞書３４を参照して、確定文字列３９から文字列「台風」以降に感情表現に結びつく単語を検索するが、手書きの絵文字９ｈに該当する単語はないと判断する。

Ａ１０：ユーザ８が手書きの絵文字９ｈを入力し終わり、手書き文字認識処理を開始する。文字候補リスト３３に絵文字９が含まれるため、スタック領域３６から感情ラベル「緊迫」とボーナススコア「２」とを読み込む。

文字候補リスト３３の絵文字９と認識スコアとを抽出して認識スコアテーブル３７が作成される。この例では、４つの絵文字９が認識スコアテーブル３７にリストされる。また、絵文字９の感情ラベルは、本実施例の字型辞書３２を参照して取得し、絵文字９に対応付けて認識スコアテーブル３７に記憶される。

Ａ１１：スタック領域３６から取得した感情ラベル「緊迫」と、認識スコアテーブル３７の各絵文字９が持つ感情ラベルとを照合する。認識スコアテーブル３７から該当する感情ラベルを持たない絵文字９を特定する。特定した絵文字９の認識スコアからからボーナススコアを減点する。この例では、認識スコアテーブル３７において、感情ラベル「緊迫」の絵文字９以外では３つの絵文字９がある。

この３つの絵文字９の感情ラベルに対応する認識スコア「８」、「６」、及び「５」の各々からボーナススコア「２」を減点する。認識スコアを変更後の認識スコアテーブル３７において、認識スコアの降順に並べ替えると、感情ラベル「緊迫」の絵文字９が第１候補として示される。文字候補リスト３３に変更後の認識スコアを適用して認識結果とする。

Ａ１２：認識結果を手書き入力領域２ｄ−３に表示し、ユーザ８が候補の中から感情ラベル「緊迫」を持つ絵文字９を選択して入力を確定する。確定文字列３９に感情ラベル「緊迫」を持つ絵文字９が記憶される。第１の文字列の入力が確定する。

次に、感情表現に結びつく単語を２つ含む場合を第２の文字列として、本実施例を説明する。ユーザ８が手書きで入力する第２の文字列は、「台風が来て、被害が大きい＜絵文字＞」とする。この絵文字９は、緊迫した感情を描画した「悲しい」顔の絵文字である。この例では、感情表現に結びつく単語は「台風」と「被害」である。

図２２から図２４は、ユーザが手書きで第２の文字列を入力した場合の処理例を説明するための図である。図２２において、Ｂ１：ユーザ８が文字入力画面１の手書き入力領域２ｄ−３上でユーザが指３等により１文字目「台」を入力すると、確定文字列３９にはそれ以前に入力した文字はないため、感情表現に結びつく単語の検索は行われない。

Ｂ２：ユーザ８が１文字目「台」を入力し終わると、手書き文字認識処理を開始する。文字候補リスト３３に絵文字９はないため、文字候補リスト３３の認識スコアに従って候補表示領域２ｄ−２に候補が表示される。

Ｂ３：ユーザ８が候補表示領域２ｄ−２の候補の中から「台」を選択して入力を確定する。「台」が確定文字列３９に追加される。

Ｂ４：ユーザ８が２文字目「風」を入力すると、確定文字列３９には「台」が記憶されているため、感情辞書３４を参照して感情表現に結びつく単語の検索を行うが、１文字「台」に対応する感情表現は検索できず、確定文字列３９には感情表現に結びつく単語はないと判断する。

Ｂ５：２文字目「風」をＢ２〜Ｂ３と同じように処理することで、確定文字列３９に２文字目「風」が記憶される。確定文字列３９に記憶されている文字列は「台風」となる。

Ｂ６：ユーザ８が３文字目「が」を入力すると、確定文字列３９には既に「台風」が記憶されているため、感情辞書３４を参照しながら確定文字列３９から感情表現に結びつく単語を検索する。この場合、「台風」が感情表現に結びつく単語として検索される。

感情辞書３４において、「台風」に対応付られる感情軸１〜３の感情スコアのうち、最も０に近い値、又は、最も１に近い値を取得し、また、取得した値で方向づけられる感情ラベルも取得する。「台風」の例の場合、感情ラベル「緊迫」が最も感情を表現していると判断し、この例では、その感情スコア「０．２０３」から所定の計算方法によってボーナススコアを取得する。感情ラベル「緊迫」及びボーナススコア「２」がスタック領域３６に格納される。

Ｂ７：３文字目「が」をＢ２〜Ｂ３と同じように処理することで、確定文字列３９に２文字目「が」が記憶される。確定文字列３９に記憶されている文字列は「台風が」となる。図２３のＢ８へと進む。

Ｂ８：ユーザ８が４文字目「来」と、５文字目「て」と、６文字目「、」と、７文字目「被」とを入力すると、１文字毎にＢ４〜Ｂ５と同じように処理することで、確定文字列３９に４文字目「来」と、５文字目「て」と、６文字目「、」と、７文字目「被」とが記憶される。確定文字列３９に記憶されている文字列は「台風が来る」となる。

Ｂ９：ユーザ８が８文字目「害」を入力すると、確定文字列３９には「被」が記憶されているため、感情辞書３４を参照して感情表現に結びつく単語の検索を行うが、１文字「被」に対応する感情表現は検索できず、確定文字列３９には感情表現に結びつく単語はないと判断する。

Ｂ１０：８文字目「害」をＢ２〜Ｂ３と同じように処理することで、確定文字列３９に８文字目「害」が記憶される。確定文字列３９に記憶されている文字列は「台風が来て、被害」となる。

Ｂ１１：ユーザ８が９文字目「が」を入力すると、確定文字列３９には既に「被害」が記憶されているため、感情辞書３４を参照しながら確定文字列３９から感情表現に結びつく単語を検索する。この場合、「被害」が感情表現に結びつく単語として検索される。

感情辞書３４において、「被害」に対応付られる感情軸１〜３の感情スコアのうち、最も０に近い値、又は、最も１に近い値を取得し、また、取得した値で方向づけられる感情ラベルも取得する。「被害」の例の場合、感情ラベル「悲しい」が最も感情を表現していると判断し、この例では、予め用意した感情ラベルとボーナススコアの対応表からボーナススコア「２」を取得する。感情ラベル「悲しい」及びボーナススコア「２」がスタック領域３６に格納される。

Ｂ１２：９文字目「が」をＢ２〜Ｂ３と同じように処理することで、確定文字列３９に９文字目「が」が記憶される。確定文字列３９に記憶されている文字列は「台風が来て、被害が」となる。図２４のＢ１３へと進む。

Ｂ１３：ユーザ８が「悲しい」感情を表現するために手書き入力領域２ｄ−３上で絵文字９ｈを描くと、感情辞書３４を参照して、確定文字列３９から文字列「台風」以降に感情表現に結びつく単語を検索するが、手書きの絵文字９ｈに該当する単語はないと判断する。

Ｂ１４：ユーザ８が手書きの絵文字９ｈを入力し終わり、手書き文字認識処理を開始する。文字候補リスト３３に絵文字９が含まれるため、スタック領域３６から感情ラベル「緊迫」及びボーナススコア「２」と、感情ラベル「悲しい」及びボーナススコア「２」と、を読み込む。

文字候補リスト３３の絵文字９と認識スコアとを抽出して認識スコアテーブル３７が作成される。この例では、４つの絵文字９が認識スコアテーブル３７にリストされる。また、絵文字９の感情ラベルは、本実施例の字型辞書３２を参照して取得し、絵文字９に対応付けて認識スコアテーブル３７に記憶される。

Ｂ１５：スタック領域３６から取得した感情ラベル「緊迫」と、認識スコアテーブル３７の各絵文字９が持つ感情ラベルとを照合する。認識スコアテーブル３７から該当する感情ラベルを持たない絵文字９を特定して、特定した絵文字９に対応する認識スコアからボーナススコアを減点する。この場合、４つの絵文字９の全てが感情ラベル「緊迫」を持たないため、４つの絵文字９の各認識スコアからボーナススコア「２」を減点する。

また、スタック領域３６から取得した感情ラベル「悲しい」と、認識スコアテーブル３７の各絵文字９が持つ感情ラベルとを照合する。認識スコアテーブル３７から該当する感情ラベルを持たない絵文字９を特定して、特定した絵文字９に対応する認識スコアからボーナススコアを減点する。この場合、３つの絵文字９が感情ラベル「悲しい」を持たないため、３つの絵文字９の各認識スコアからボーナススコア「２」を更に減点する。

感情ラベル「のどか」の絵文字９に対応する認識スコア「８」からは、ボーナススコアの合計４が減点され、変更後の認識スコアは「４」となる。感情ラベル「悲しい」の絵文字９に対応する認識スコア「７」からは、ボーナススコアの合計４が減点され、変更後の認識スコアは「３」となる。また、感情ラベル「楽しい」の絵文字９に対応する認識スコア「５」からは、ボーナススコアの合計４が減点され、変更後の認識スコアは「１」となる。

一方、感情ラベル「悲しい」の絵文字９に対応する認識スコア「６」からは、ボーナススコア「２」のみが減点され、変更後の認識スコアは「４」となる。

認識スコアの変更前及び１回目の変更後の認識スコアテーブル３７では、感情ラベルは、
「のどか」、
「嬉しい」、
「悲しい」、
「楽しい」の順であったのが、２回目の変更後の認識スコアテーブル３７において、認識スコアの降順に並べ替えると、感情ラベルは、
「のどか」、
「悲しい」、
「嬉しい」、
「楽しい」の順となる。感情ラベル「悲しい」が、絵文字９の中で３番目の候補であったのに対して、２番目の候補となる。文字候補リスト３３に変更後の認識スコアを適用して認識結果とする。

Ｂ１５：絵文字の候補順位が入れ替わった認識結果を手書き入力領域２ｄ−３に表示し、ユーザ８が候補の中から感情ラベル「悲しい」を持つ絵文字９を選択して入力を確定する。確定文字列３９に感情ラベル「悲しい」を持つ絵文字９が記憶される。第２の文字列の入力が確定する。

また、手書きで絵文字９を挿入する場合では、確定文字列３９に基づいて、挿入箇所の前、後、又は周辺の単語から感情ラベルを特定することで、上述したように、精度良い認識順序で絵文字９の候補を提示することができる。

このうように確定文字列３９に含まれる感情表現に結びつく単語に関連する感情ラベルに基づいて認識スコアを調整することで、絵文字の候補順位を精度良く改善することができる。

よって、本実施例では、字型情報４ａ及びストローク情報４ｂを用いることのできない、筆順や、定型の字型が存在しない、即ち、書く人夫々で異なり書き方のルールがない絵文字９についても、適切な候補を提示することができる。

本発明は、具体的に開示された実施例に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。

以上の本実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
編集対象の文書のいずれかの箇所についての手書き入力を受け付ける手書き入力部と、
前記箇所の前、後、又は、周辺の文書の分析によって得られたコンテキストに応じて、受け付けた前記手書き入力の変換候補を生成する変換部と
を有する変換装置。
（付記２）
前記変換部は、
前記手書き入力に対して文字認識を行う文字認識部と、
前記文字認識の結果、絵文字が候補にない場合、入力済み文字列から感情表現に結びつく単語を検索することで、該感情表現が該入力済み文字列内にあるか否かを判定し、判定結果を示す前記コンテキストを記憶部に記憶する感情表現判定部と、
前記文字認識の結果、前記絵文字が候補にある場合、前記記憶部から前記コンテキストを読み込み、該コンテキストを用いて、前記文字認識の結果における該絵文字の候補順位を変更する候補順位付け部と
を有する付記１記載の変換装置。
（付記３）
前記変換部は、
前記手書き入力に対して文字認識を行う文字認識部と、
前記文字認識の結果、絵文字が候補にない場合、入力済み文字列から感情表現に結びつく単語を検索することで、該感情表現が該入力済み文字列内にあるか否かを判定し、判定結果を示す前記コンテキストを記憶部に記憶する感情表現判定部とを有し、
前記手書き入力部は、
前記文字認識の結果と、絵文字が候補にある場合には、前記記憶部から前記コンテキストを読み込み、該コンテキストを用いて、前記文字認識の結果における該絵文字の候補順位を変更する候補順位付け部と
を有する付記１記載の変換装置。
（付記４）
前記記憶部は、単語毎に、感情を表す複数の感情ラベルと、該感情の程度を示す感情スコアとを対応付けた感情辞書を記憶し、
前記感情表現判定部は、前記感情辞書をから、前記入力済み文字列内の単語の前記感情ラベルと、前記感情スコアとを取得し、該感情ラベルと該感情スコアとを示す前記コンテキストを前記記憶部に記憶する付記２又は３記載の変換装置。
（付記５）
前記記憶部は、字型毎に感情を表す単語を示す感情ラベルを対応付けた字型辞書データを記憶し、
前記文字認識部は、前記字型辞書データを参照して、前記文字認識の結果に、前記感情ラベルを含め、
前記候補順位付け部は、前記文字認識の結果の前記絵文字のうち、前記コンテキストで示される感情レベル以外の感情レベルを持つ絵文字の、前記手書き入力との一致度を示す認識スコアを、該コンテキストで示される点数で減点する付記４の変換装置。
（付記６）
コンピュータに、
編集対象の文書のいずれかの箇所についての手書き入力を受け付け、
前記箇所の前、後、又は、周辺の文書の分析によって得られたコンテキストに応じて、受け付けた前記手書き入力の変換候補を生成する
処理を実行させる変換プログラム。
（付記７）
コンピュータが、
編集対象の文書のいずれかの箇所についての手書き入力を受け付け、
前記箇所の前、後、又は、周辺の文書の分析によって得られたコンテキストに応じて、受け付けた前記手書き入力の変換候補を生成する
処理を行う変換方法。

５ 情報処理端末
１１ ＣＰＵ
１２ 主記憶装置
１３ 補助記憶装置
１４ 入力装置
１５ 表示装置
１６ 出力装置
１７ 通信Ｉ／Ｆ
１８ ドライブ
１９ 記憶媒体
３１ 手書き情報
３２ 字型辞書
３３ 文字候補リスト
３４ 感情辞書
３５ 感情スコア
３６ スタック領域
３７ 認識スコアテーブル
３８ 認識結果
３９ 確定文字列
５１ 手書き入力部
５１１ 手書き情報取得部
５１２ 認識ＡＰＩ呼出部
５１３ 候補選択部
５２ 文字認識エンジン部
５２１ 文字認識部
５２２ 感情表現判定部
５２３ 絵文字候補順位付け部
１３０ 記憶部

Claims (4)

1. 編集対象の文書のいずれかの箇所についての手書き入力を受け付ける手書き入力部と、
   前記箇所の前、後、又は、周辺の文書の分析によって得られたコンテキストに応じて、受け付けた前記手書き入力の変換候補を生成する変換部とを有し、
   前記変換部は、更に、
   前記手書き入力に対して文字認識を行う文字認識部と、
   前記文字認識の結果、絵文字が候補にない場合、入力済み文字列から感情表現に結びつく単語を検索することで、該感情表現が該入力済み文字列内にあるか否かを判定し、判定結果を示す前記コンテキストを記憶部に記憶する感情表現判定部と、
   前記文字認識の結果、前記絵文字が候補にある場合、前記記憶部から前記コンテキストを読み込み、該コンテキストを用いて、前記文字認識の結果における該絵文字の候補順位を変更する候補順位付け部と
   を有する変換装置。
2. 編集対象の文書のいずれかの箇所についての手書き入力を受け付ける手書き入力部と、
   前記箇所の前、後、又は、周辺の文書の分析によって得られたコンテキストに応じて、受け付けた前記手書き入力の変換候補を生成する変換部とを有し、
   前記変換部は、更に、
   前記手書き入力に対して文字認識を行う文字認識部と、
   前記文字認識の結果、絵文字が候補にない場合、入力済み文字列から感情表現に結びつく単語を検索することで、該感情表現が該入力済み文字列内にあるか否かを判定し、判定結果を示す前記コンテキストを記憶部に記憶する感情表現判定部とを有し、
   前記手書き入力部は、
   前記文字認識の結果と、絵文字が候補にある場合には、前記記憶部から前記コンテキストを読み込み、該コンテキストを用いて、前記文字認識の結果における該絵文字の候補順位を変更する候補順位付け部と
   を有する変換装置。
3. コンピュータに、
   編集対象の文書のいずれかの箇所についての手書き入力を受け付け、
   前記箇所の前、後、又は、周辺の文書の分析によって得られたコンテキストに応じて、受け付けた前記手書き入力の変換候補を生成する
   処理を実行させ、
   前記変換候補の生成では、前記コンピュータに、
   前記手書き入力に対して文字認識を行わせ、
   前記文字認識の結果、絵文字が候補にない場合、入力済み文字列から感情表現に結びつく単語を検索させることで、該感情表現が該入力済み文字列内にあるか否かを判定させ、判定結果を示す前記コンテキストを記憶部に記憶させ、
   前記文字認識の結果、前記絵文字が候補にある場合、前記記憶部から前記コンテキストを読み込み、該コンテキストを用いて、前記文字認識の結果における該絵文字の候補順位を変更させる変換プログラム。
4. コンピュータが、
   編集対象の文書のいずれかの箇所についての手書き入力を受け付け、
   前記箇所の前、後、又は、周辺の文書の分析によって得られたコンテキストに応じて、受け付けた前記手書き入力の変換候補を生成する
   処理を行い、
   前記変換候補の生成では、前記コンピュータが、
   前記手書き入力に対して文字認識を行い、
   前記文字認識の結果、絵文字が候補にない場合、入力済み文字列から感情表現に結びつく単語を検索することで、該感情表現が該入力済み文字列内にあるか否かを判定し、判定結果を示す前記コンテキストを記憶部に記憶し、
   前記文字認識の結果、前記絵文字が候補にある場合、前記記憶部から前記コンテキストを読み込み、該コンテキストを用いて、前記文字認識の結果における該絵文字の候補順位を変更する変換方法。

Images