JP5691512B2 - 入力支援装置、入力支援方法、およびプログラム - Google Patents

入力支援装置、入力支援方法、およびプログラム Download PDF

Info

Publication number
JP5691512B2
JP5691512B2 JP2010293057A JP2010293057A JP5691512B2 JP 5691512 B2 JP5691512 B2 JP 5691512B2 JP 2010293057 A JP2010293057 A JP 2010293057A JP 2010293057 A JP2010293057 A JP 2010293057A JP 5691512 B2 JP5691512 B2 JP 5691512B2
Authority
JP
Japan
Prior art keywords
state
user
input
information
support apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010293057A
Other languages
English (en)
Other versions
JP2011221985A (ja
Inventor
▲徳▼郎 山口
▲徳▼郎 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2010293057A priority Critical patent/JP5691512B2/ja
Priority to US13/064,406 priority patent/US9280716B2/en
Publication of JP2011221985A publication Critical patent/JP2011221985A/ja
Application granted granted Critical
Publication of JP5691512B2 publication Critical patent/JP5691512B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1444—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456—Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、入力支援装置、入力支援方法、およびプログラムに関する。
例えば、ＰＣ（Personal Computer）などのコンピュータの普及や、タッチスクリーンを用いた操作パネルなどのような表示画面上で操作が可能なデバイスの普及に伴い、ユーザが文字などを入力する入力方法は多様化している。また、その一方で、例えば金融機関などの店舗における用紙（紙媒体の一例）への記入など、ユーザが文字などを手書きで入力する機会は、依然として存在している。
このような中、ユーザが手書きで文字などを入力する場合の処理に関する様々な技術が開発されている。手書きで入力された文字を認識する場合における負荷を軽減し、金融機関などにおける事務処理の負荷の軽減を図る技術としては、例えば、特許文献１が挙げられる。また、タブレット上に配置された文字などを入力するためのシートの位置、および角度を検出することにより、当該シート上に入力された文字などの認識する技術としては、例えば、特許文献２が挙げられる。
また、ユーザによる入力を支援する技術も開発されている。記載項目が決まっている文書の作成を支援する技術としては、例えば、特許文献３が挙げられる。
特開平１−１００６７２号公報 特開２００２−２３９３８号公報 特開平６−１７６０１５号公報
例えば特許文献１や特許文献２に示すように、ユーザが手書きで文字などを入力する場合の処理に関する従来の技術は、例えば操作パネルやペンカーソルなどを用いたデジタル入力方式を用いることによって、ユーザにより手書きで入力された文字などを装置が認識する場合の負荷の軽減を図っている。
ここで、例えばユーザが金融機関などの店舗において用紙（紙媒体）などに手書きで記入を行う場合には、ユーザが記入しなければならない項目が複数あり、また、記載例や注意事項なども煩雑である場合がある。そのため、ユーザが記入の際に必要となる情報を容易に見つけることができないことが、起こりうる。
しかしながら、ユーザが手書きで文字などを入力する場合の処理に関する従来の技術では、ユーザによる手書き入力を支援することについて考慮がなされていない。そのため、ユーザが手書きで文字などを入力する場合の処理に関する従来の技術を用いたとしても、手書きで文字を入力するユーザの利便性の向上を図ることは、望むべくもない。
また、ユーザが手書きで文字などを入力する場合の処理に関する従来の技術は、例えば操作パネルやペンカーソルなどを用いたデジタル入力方式を用いる技術であるので、例えばユーザが紙媒体に記入をする場合には、当該従来の技術を適用することは、困難である。
また、例えば特許文献３に示すユーザによる入力を支援する従来の技術は、ユーザが必要に応じて記載項目に対応するメッセージや例文などを選択することによって、選択されたメッセージや例文などのユーザによる入力を支援するための情報の内容を画面に表示する。
しかしながら、ユーザによる入力を支援する従来の技術では、ユーザによる所定の操作がなされなければ、ユーザによる入力を支援するための情報の内容は画面に表示されない。したがって、ユーザによる入力を支援する従来の技術を用いる場合にはユーザに負担がかかることから、ユーザによる入力を支援する従来の技術を用いたとしても、ユーザの利便性の向上を図ることができるとは限らない。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることが可能な、新規かつ改良された入力支援装置、入力支援方法、およびプログラムを提供することにある。
上記課題を解決するために、本発明の第１の観点によれば、机上面または上記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援装置であって、上記ユーザの位置を示す位置情報または上記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、上記ユーザの身体に関する状態を示す人物状態情報として検出する検出部と、上記検出部が検出した上記人物状態情報に基づいて、１、または２以上の上記ユーザの状態を推定する状態推定部と、上記状態推定部が推定した上記ユーザの状態に基づいて、１、または２以上の上記ユーザに提示する内容を示す提示情報を決定する提示情報決定部と、上記提示情報決定部において決定された上記提示情報が示す内容をユーザに提示する情報提示部と、を備え、上記検出部は、上記机上面に載置された上記紙媒体に付された上記紙媒体の種類を示す種類判別情報を、赤外光を用いて上記机上面の反対側からさらに検出し、上記状態推定部は、さらに上記検出部において検出された上記種類判別情報が示す上記紙媒体の種類に基づいて、上記ユーザの状態を推定する入力支援装置が提供される。
かかる構成により、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
また、上記検出部は、上記机上面における上記ユーザによる入力の位置を示す入力位置情報と、上記ユーザによる入力の内容を示す入力内容情報のうちのいずれか一方または双方を、上記ユーザによる入力の状態を示す入力状態情報としてさらに検出し、上記状態推定部は、上記検出部が検出した上記人物状態情報と、上記検出部が検出した上記入力状態情報とに基づいて、上記ユーザの状態を推定してもよい。
また、上記状態推定部は、上記ユーザの身体に関する状態と上記入力の状態とに関する条件を複数設け、上記人物状態情報と上記入力状態情報とに基づいて、上記複数の条件それぞれを満たすか否かを判定し、複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定してもよい。
また、上記状態推定部は、上記人物状態情報、および上記入力状態情報それぞれに基づいて、上記ユーザの状態を推定してもよい。
また、上記検出部は、上記机上面に載置された上記紙媒体に付された上記紙媒体の種類を示す種類判別情報をさらに検出し、上記状態推定部は、さらに上記検出部において検出された上記種類判別情報が示す上記紙媒体の種類に基づいて、上記ユーザの状態を推定してもよい。
また、少なくとも上記人物状態情報と上記ユーザの状態の推定結果候補とが対応付けられている状態データが記憶された状態データベースを管理する状態学習部をさらに備え、上記状態学習部は、上記検出部が検出した上記人物状態情報と、上記状態データベースとに基づいて、上記人物状態情報に対応する上記ユーザの状態の推定結果候補を特定し、上記状態推定部は、上記状態学習部が特定した上記ユーザの状態の推定結果候補に基づいて、上記ユーザの状態を推定してもよい。
また、上記状態推定部は、上記ユーザの状態の推定結果を上記状態学習部へ伝達して、上記状態学習部に、上記状態データベースに対する上記状態データの登録、更新、または削除を行わせてもよい。
また、外部装置と通信を行う通信部をさらに備え、上記状態学習部は、上記通信部が受信した、上記外部装置から送信された要求に基づいて、上記状態データベースに対する上記状態データの登録、更新、または削除を行ってもよい。
また、上記目的を達成するために、本発明の第２の観点によれば、机上面または上記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援方法であって、上記ユーザの位置を示す位置情報または上記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、上記ユーザの身体に関する状態を示す人物状態情報として検出し、上記机上面に載置された上記紙媒体に付された上記紙媒体の種類を示す種類判別情報を、赤外光を用いて上記机上面の反対側から検出するステップと、上記検出するステップにおいて検出された上記人物状態情報と、検出された上記種類判別情報が示す上記紙媒体の種類とに基づいて、１、または２以上の上記ユーザの状態を推定するステップと、上記推定するステップにおいて推定された上記ユーザの状態に基づいて、１、または２以上の上記ユーザに提示する内容を示す提示情報を決定するステップと、上記決定するステップにおいて決定された上記提示情報が示す内容をユーザに提示するステップと、を有する入力支援方法が提供される。
かかる方法を用いることによって、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
また、上記目的を達成するために、本発明の第２の観点によれば、机上面または上記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援装置に用いることが可能なプログラムであって、上記ユーザの位置を示す位置情報または上記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、上記ユーザの身体に関する状態を示す人物状態情報として検出し、上記机上面に載置された上記紙媒体に付された上記紙媒体の種類を示す種類判別情報を、赤外光を用いて上記机上面の反対側から検出するステップ、上記検出するステップにおいて検出された上記人物状態情報と、検出された上記種類判別情報が示す上記紙媒体の種類とに基づいて、１、または２以上の上記ユーザの状態を推定するステップ、上記推定するステップにおいて推定された上記ユーザの状態に基づいて、１、または２以上の上記ユーザに提示する内容を示す提示情報を決定するステップ、上記決定するステップにおいて決定された上記提示情報が示す内容をユーザに提示するステップ、をコンピュータに実行させるためのプログラムが提供される。
かかるプログラムを用いることによって、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
本発明によれば、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
本発明の第１の実施形態に係る入力支援装置の構成の一例を示すブロック図である。 本発明の実施形態に係る入力支援装置における推定処理の一例を説明するための説明図である。 本発明の実施形態に係る提示情報の一例を示す説明図である。 本発明の第１の実施形態に係る入力支援装置における処理の一例を説明するための説明図である。 本発明の第１の実施形態に係る入力支援装置における処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における位置情報の検出処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における位置情報の検出処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における姿勢情報の検出処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における姿勢情報の検出処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における姿勢情報の検出処理の他の例を示す説明図である。 本発明の実施形態に係る入力支援装置における提示の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における提示の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における入力位置・入力内容検出処理の一例を示す説明図である。 本発明の第２の実施形態に係る入力支援装置の構成の一例を示すブロック図である。 本発明の実施形態に係る状態データベースの一例を示す説明図である。 本発明の第２の実施形態に係る入力支援装置における処理の一例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
（本発明の実施形態に係る入力支援方法）
本発明の実施形態に係る入力支援装置（以下、総称して「入力支援装置１０００」と示す場合がある。）の構成について説明する前に、本発明の実施形態に係る入力支援方法について説明する。以下では、本発明の実施形態に係る入力支援方法に係る処理を入力支援装置１０００が行うものとして説明する。
以下では、入力支援装置１０００が、例えばユーザが机上面に載置された紙媒体（例えば記入用紙など）に手書きで記入を行う場合において、ユーザによる手書き入力を支援する場合を主に例に挙げて説明する。なお、本発明の実施形態に係る入力支援装置１０００が支援する対象は、紙媒体への手書き入力に限られない。例えば、入力支援装置１０００は、机上面に表示された画像（例えば記入用紙に相当する画像）に対するユーザによる手書き入力を支援することも可能である。
また、入力支援装置１０００が手書き入力を支援する対象としては、ユーザによる文字の入力が挙げられるが、入力支援装置１０００が手書き入力を支援する対象は、上記に限られない。例えば、入力支援装置１０００は、複数の選択項目の中から１または２以上の項目を選択する入力など、文字入力以外のユーザによる入力を支援することも可能である。
上述したように、ユーザによる入力を支援する従来の技術では、ユーザによる所定の操作がなされなければユーザを支援するための情報の内容が画面に表示されないので、ユーザに負担を強いることとなる。よって、ユーザによる入力を支援する従来の技術を用いたとしても、ユーザの利便性の向上を図ることができるとは限らない。
また、例えばユーザが金融機関などの店舗において手書きで入力を行う場合、文字などの入力が求められる事項としては、例えばユーザの個人情報などのユーザのプライバシーに係る事項が挙げられる。そのため、ユーザによる手書き入力を支援する場合には、例えば、隠すべき情報の内容をユーザに対して表示しないことや、プライバシーに係る事項については音声では提示しないなど、ユーザに提示する情報に応じてユーザに提示する情報の内容やユーザに提示する方法を変えることが、プライバシーを保護する観点から望ましい。
そこで、本発明の実施形態に係る入力支援装置１０００は、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示することにより、ユーザによる手書き入力を支援する。ここで、入力支援装置１０００は、手書き入力を行うユーザの状態を推定し、推定結果に基づいて、推定結果に対応する情報の内容をユーザに提示するので、ユーザは、入力支援装置１０００に対して提示を要求するための操作を特段行う必要はない。したがって、入力支援装置１０００は、例えばユーザによる入力を支援する従来の技術のようにユーザに負担をかけることはないので、当該従来の技術を用いる場合よりも、ユーザの利便性をより向上させることができる。
また、入力支援装置１０００は推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示するので、入力支援装置１０００は、ユーザに特段の操作を強いることなく、プライバシーを保護した上で手書き入力の支援のための情報の内容を、ユーザに提示することが可能である。
ここで、本発明の実施形態に係る入力支援装置１０００がユーザに提示する手書き入力の支援のための情報（以下、「提示情報」と示す。）が示す内容としては、例えば、ユーザが記入する紙媒体の記入例（見本）を示す画像や、記入の際の注意事項を示す文字、記入内容に誤りがあった場合の該当箇所を示す画像、各種注意メッセージなどが挙げられる。なお、本発明の実施形態に係る提示情報は、ユーザが手書き入力を行っている場合に提示されるデータに限られない。例えば、入力支援装置１０００は、ユーザが記入する紙媒体の選択に迷っていることを推定して、係員を呼び出す旨のメッセージをユーザに提示することができる（ユーザが手書き入力を行う前に提示される提示情報の内容の一例）。また、入力支援装置１０００は、例えば、ユーザが記入を完了したことを推定して、記入した紙媒体を提出する場所を示す地図画像をユーザに提示することも可能である（ユーザが手書き入力を完了した後に提示される提示情報の内容の一例）。
また、本発明の実施形態に係る入力支援装置１０００が提示情報の内容をユーザに提示する提示方法としては、例えば、入力支援装置１０００が備える表示デバイス（例えば後述する表示部）や外部装置が備える表示デバイスに表示する方法（視覚的な提示）が挙げられる。なお、本発明の実施形態に係る提示情報の提示方法は、上記に限られない。例えば、本発明の実施形態に係る入力支援装置１０００は、音声（音楽も含む。以下、同様とする。）による提示（聴覚的な提示）や、振動による提示（触覚的な提示）、温度変化による温度提示（触覚的な提示）、風による風提示（触覚的な提示）など、ユーザの五感に訴える様々な提示方法を用いて提示を行うことができる。ここで、入力支援装置１０００は、例えば、音量や音源の方向などのパラメータを用いて音声による提示を行い、振動方向や振動間隔などのパラメータを用いて振動による提示を行う。また、入力支援装置１０００は、例えば、机上面の温度分布をパラメータとして用いて温度提示を行い、風力や風向などのパラメータを用いて風提示を行う。
上記のように、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示することによって、入力支援装置１０００は、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
より具体的には、入力支援装置１０００は、例えば下記の（１）の処理（検出処理）〜（４）の処理（提示処理）を行うことによって、ユーザの利便性の向上を図る。
（１）検出処理
入力支援装置１０００は、手書き入力を行うユーザの状態を推定するために用いる情報（以下、総称して「検出情報」と示す。）を検出する。本発明の実施形態に係る検出情報としては、例えば、ユーザの身体に関する状態（以下、「人物状態」と示す場合がある。）を示す人物状態情報と、ユーザによる机上面または机上面に載置された紙媒体への入力の状態を示す入力状態情報とが挙げられる。なお、本発明の実施形態に係る検出情報は、上記に限られない。例えば、ユーザが机上面に載置された紙媒体に入力（記入）を行う場合、入力支援装置１０００は、紙媒体に付された紙媒体の種類を示す種類判別情報を、検出情報として当該紙媒体から検出することも可能である。ここで、本発明の実施形態に係る種類判別情報は、例えばバーコードの形式で紙媒体に付されるが、紙媒体に種類判別情報を付す方法は、上記に限られない。
ここで、本発明の実施形態に係る人物状態情報としては、例えば、ユーザの位置を示す位置情報またはユーザの姿勢を示す姿勢情報のうちのいずれか一方、または双方が挙げられる。ユーザの位置および／またはユーザの姿勢を検出することによって、入力支援装置１０００は、支援対象のユーザの身体的な状態を特定することができる。よって、入力支援装置１０００は、後述する（２）の処理（推定処理）において、特定されるユーザの身体的な状態に対応する状態に基づいて、ユーザの状態を推定することが可能となる。
また、本発明の実施形態に係る入力状態情報としては、例えば、机上面におけるユーザによる入力の位置を示す入力位置情報と、ユーザによる入力の内容を示す入力内容情報のうちのいずれか一方、または双方が挙げられる。机上面におけるユーザによる入力の位置および／またはユーザによる入力の内容を検出することによって、入力支援装置１０００は、例えば支援対象のユーザが机上面（または紙媒体上）のどこに何を入力しているのかなど、ユーザによる入力の状態を特定することができる。よって、入力支援装置１０００は、後述する（２）の処理（推定処理）において、特定される入力の状態に対応する状態に基づいて、ユーザの状態を推定することが可能となる。また、例えば、紙媒体から検出した種類判別情報に基づいて特定される机上面に載置された紙媒体と、ユーザによる入力の状態の特定結果とを用いることによって、入力支援装置１０００は、ユーザにより入力された内容に誤りがあるか否かを判定することも可能である。
入力支援装置１０００は、（１）の処理において、例えば上記のような検出情報を検出する。なお、入力支援装置１０００は、人物状態情報、入力状態情報、および種類判別情報の全てを、検出情報として検出することに限られない。例えば、入力支援装置１０００は、人物状態情報と入力状態情報とのうちのいずれか一方を、検出情報として検出することも可能である。また、人物状態情報、入力状態情報、および種類判別情報の具体的な検出方法については、後述する。
（２）推定処理
上記（１）の処理（検出処理）において検出情報が検出されると、入力支援装置１０００は、検出した検出情報に基づいて、１、または２以上の手書き入力を行うユーザの状態を推定する。
より具体的には、入力支援装置１０００は、例えば、検出された検出情報それぞれを用いたユーザの状態の推定、および／または、検出された検出情報を組合せたユーザの状態の推定によって、１または２以上のユーザの状態を推定する。また、入力支援装置１０００は、例えば推定結果を学習し、学習結果を用いて推定を行うことも可能である。なお、入力支援装置１０００における推定処理の具体例については、後述する。
ここで、入力支援装置１０００は、各時点において検出された人物状態情報や入力状態情報を用いてユーザの状態を推定するが、入力支援装置１０００における処理は、上記に限られない。例えば、入力支援装置１０００は、複数の人物状態情報を用いて人物状態の時系列変化や、複数の入力状態情報を用いた入力状態の時系列変化を検出して、検出した時系列変化の情報を用いてユーザの状態を推定することも可能である。なお、入力支援装置１０００は、上記時系列変化の情報の検出を、上記（１）の処理（検出処理）において行ってもよい。以下では、本発明の実施形態に係る人物状態情報には、人物状態の時系列変化の情報が含まれうるものとし、また、本発明の実施形態に係る入力状態情報には、入力状態の時系列変化の情報が含まれうるものとして説明する。
（３）提示情報決定処理
上記（２）の処理（推定処理）においてユーザの状態が推定されると、入力支援装置１０００は、推定したユーザの状態に基づいて、１、または２以上の提示情報を決定する。
より具体的には、入力支援装置１０００は、推定結果（例えばＩＤで表される。）と提示内容や提示方法などを示す情報とが、推定結果ごとに対応付けて記録された提示情報データベース（提示情報の一例）を用いることによって、推定したユーザの状態に対応する提示情報を決定する。ここで、本発明の実施形態に係る提示内容を示す情報としては、例えば、ユーザに提示するメッセージを示すテキストデータや、ユーザに提示する画像（静止画像／動画像）を示す画像データ、ユーザに提示する音声を示す音声データなどが挙げられる。また、本発明の実施形態に係る提示内容を示す情報は、上記各データが記憶されている場所を示す情報（例えばファイルパス）であってもよい。
また、提示情報データベースには、推定結果ごとに優先度が設定されていてもよい。推定結果ごとに優先度が設定されることによって、入力支援装置１０００は、後述する（４）の処理（提示処理）において、優先度に基づいて表示順序や表示内容を調整してユーザに提示することが可能となる。なお、本発明の実施形態に係る提示情報が、例えばＲＤＢ（Relational DataBase）などのデータベースに限られないことは、言うまでもない。
（４）提示処理
上記（３）の処理において提示情報が決定されると、入力支援装置１０００は、決定された提示情報に基づいて、提示情報が示す内容をユーザに提示する。
ここで、上記（３）の処理において複数の提示情報が決定され、提示情報に優先度が設定されている場合には、入力支援装置１０００は、例えば、設定されている優先度に基づいて、提示情報の提示順序や提示内容を調整してユーザに提示する。より具体的には、入力支援装置１０００は、例えば、優先度が高い順に提示情報が示す内容をユーザに提示する。また、例えば、提示情報に設定されている提示情報の内容を表示する領域を示す表示指定領域が、複数の提示情報で重なっている場合には、入力支援装置１０００は、優先度がより高い提示情報を表示指定領域に表示させ、他の提示情報の表示位置を、他の提示情報と重ならない領域に表示させる。また、決定された複数の提示情報の中に、優先度が同一の提示情報がある場合には、入力支援装置１０００は、例えば、推定結果を示すＩＤ（例えば数字で表される。）が小さい方を優先的に提示する。なお、提示情報に優先度が設定されている場合における提示処理が、上記に限られないことは、言うまでもない。
入力支援装置１０００は、例えば上記（１）の処理（検出処理）〜（４）の処理（提示処理）を、本発明の実施形態に係る提示方法に係る処理として行う。上記（１）の処理（検出処理）〜（４）の処理（提示処理）を行うことによって、入力支援装置１０００は、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示することが可能となる。
したがって、例えば上記（１）の処理（検出処理）〜（４）の処理（提示処理）を行うことによって、入力支援装置１０００は、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。
（本発明の実施形態に係る入力支援装置）
次に、上述した本発明の実施形態に係る提示方法に係る処理を行うことが可能な、本発明の実施形態に係る入力支援装置１０００の構成の一例について説明する。以下では、本発明の実施形態に係る入力支援装置１０００が、例えば金融機関や公共機関などの記載台や窓口におけるユーザの手書き入力を支援する場合を例に挙げて説明する。なお、本発明の実施形態に係る入力支援装置１０００が、上記の用途に用いられることに限られないことは、言うまでもない。
［第１の実施形態に係る入力支援装置］
図１は、本発明の第１の実施形態に係る入力支援装置１００の構成の一例を示すブロック図である。
入力支援装置１００は、例えば、検出部１０２と、状態推定部１０４と、提示情報決定部１０６と、情報提示部１０８とを備える。
また、入力支援装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read Only Memory；図示せず）、ＲＡＭ（Random Access Memory；図示せず）、記憶部（図示せず）などを備えてもよい。入力支援装置１００は、例えば、データの伝送路としてのバス（bus）により各構成要素間を接続する。
ここで、制御部（図示せず）は、例えばＭＰＵ（Micro Processing Unit）や各種機能を実現するための集積回路などで構成され、入力支援装置１００全体を制御する役目を果たす。また、制御部（図示せず）は、例えば状態推定部１０４や提示情報決定部１０６など、本発明の実施形態に係る提示方法に係る処理を行う役目を果たしてもよい。ＲＯＭ（図示せず）は、例えば制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、例えば制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。記憶部（図示せず）は、入力支援装置１００が備える記憶手段であり、アプリケーションや様々なデータを記憶する。また、例えば、上述した提示情報データベースや、後述する状態データベースなどの本発明の実施形態に係るデータベースやデータは、記憶部（図示せず）に記憶されていてもよい。ここで、記憶部（図示せず）としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
検出部１０２は、例えば、位置検出部１１０と、姿勢検出部１１２と、入力位置検出部１１４と、入力内容検出部１１６とを備え、上記（１）の処理（検出処理）を主導的に行う役目を果たす。
位置検出部１１０は、例えば複数のカメラアレイや、圧力センサなどで構成され、ユーザの位置を検出して位置情報を生成する（位置情報の検出）。また、姿勢検出部１１２は、例えばレーザレンジファインダなどで構成され、ユーザの姿勢を検出して姿勢情報を生成する（姿勢情報の検出）。つまり、位置検出部１１０と姿勢検出部１１２とは、本発明の実施形態に係る人物状態情報を生成する役目を果たす。
なお、図１では、検出部１０２が位置情報および姿勢情報の双方を検出する例を示しているが、検出部１０２の構成は、上記に限られない。例えば、入力支援装置１００は、位置検出部１１０および姿勢検出部１１２の双方を備えない構成（すなわち、人物状態情報を検出しない構成）をとることができ、また、位置検出部１１０および姿勢検出部１１２のうちのいずれか一方を備える構成（すなわち、位置情報または姿勢情報のいずれかを検出する構成）をとることも可能である。
また、位置検出部１１０と姿勢検出部１１２との構成は、上記に限られない。例えば、入力支援装置１００は、ユーザの位置を特定する可能な任意のデバイス（またはデバイスの組合せ）を位置検出部１１０として備えることができ、また、ユーザの姿勢を特定する可能な任意のデバイス（またはデバイスの組合せ）を姿勢検出部１１２として備えることができる。
入力位置検出部１１４は、例えば赤外線カメラなどで構成され、ユーザが手書き入力に用いる入力装置の入力ポイントを検出して入力位置情報を生成する（入力位置情報の検出）。ここで、本発明の実施形態に係る入力装置としては、例えばペンなどが挙げられ、また、本発明の実施形態に係る入力装置の入力ポイントとしては、例えばペン先が挙げられる。また、入力位置検出部１１４は、机上面に載置された用紙（紙媒体の一例。以下、同様とする。）に付されたバーコードを読み取り、種類判別情報を検出する役目を果たしてもよい。
また、入力内容検出部１１６は、例えば、超音波センサと赤外線センサで構成され、ユーザの記入内容を検出して入力内容情報を生成する（入力内容情報の検出）。なお、入力内容検出部１１６の構成は、超音波と赤外線とを組み合わせた文字認識の方式を用いてユーザの記入内容を検出する構成に限られない。例えば、本発明の実施形態に係る入力内容検出部１１６は、ユーザの手書き入力の内容を検出可能な任意の方式を実現するための構成をとることが可能である。
つまり、入力位置検出部１１４と入力内容検出部１１６とは、本発明の実施形態に係る入力状態情報を生成する役目を果たす。なお、図１では、検出部１０２が入力位置情報および入力内容情報の双方を検出する例を示しているが、検出部１０２の構成は、上記に限られない。例えば、入力支援装置１００は、入力位置検出部１１４および入力内容検出部１１６の双方を備えない構成（すなわち、入力状態情報を検出しない構成）をとることができ、また、入力位置検出部１１４および入力内容検出部１１６のうちのいずれか一方を備える構成（すなわち、入力位置情報または入力内容情報のいずれかを検出する構成）をとることも可能である。
検出部１０２は、例えば、上記のような構成を有する位置検出部１１０、姿勢検出部１１２、入力位置検出部１１４、および入力内容検出部１１６を備えることによって、上記（１）の処理（検出処理）を主導的に行う。なお、本発明の実施形態に係る検出部１０２が、検出部１０２を構成する各構成要素間でセンサ類を共有することが可能な構成をとることができることは、言うまでもない。
状態推定部１０４は、例えば、人物状態推定部１１８と、入力状態推定部１２０と、組合せ推定部１２２とを備え、上記（２）の処理（推定処理）を主導的に行う役目を果たす。より具体的には、状態推定部１０４は、検出部１０２から伝達される検出情報に基づいて、１、または２以上の手書き入力を行うユーザの状態を推定する。そして、状態推定部１０４は、例えば、推定結果を示す識別情報を、提示情報決定部１０６へ伝達する。以下では、識別情報を「状態ＩＤ」と示す場合がある。
人物状態推定部１１８は、検出部１０２から伝達される、ユーザの身体に関する状態を示す人物状態情報に基づいて、ユーザの状態を推定する。
例えば、人物状態推定部１１８は、伝達される位置情報が示すユーザの位置が、所定の範囲内にないときには、ユーザが通常入力を行う位置から外れていると推定する。上記の場合には、入力支援装置１００は、例えば、上記所定の範囲内にユーザを誘導するための提示を行う。また、人物状態推定部１１８は、例えば、伝達される姿勢情報が、ユーザが頭を何度も傾けたことを示すときには、ユーザが係員など探していると推定する。上記の場合には、入力支援装置１００は、例えば、係員にユーザが探していることを知らせるために、例えばランプを点灯させることによる視覚的な通知や、音声による聴覚的な通知を行う。また、例えば上記のように視覚的な通知や聴覚的な通知を行う場合には、入力支援装置１００は、ユーザに対してもその旨を提示することとなる。また、人物状態推定部１１８は、位置情報と姿勢情報とが伝達される場合には、上記のような位置情報、姿勢情報それぞれに基づく推定を行うことができ、また、位置情報および姿勢情報を組み合わせて推定を行うことも可能である。なお、人物状態推定部１１８における推定の例が、上記に限られないことは、言うまでもない。
入力状態推定部１２０は、検出部１０２から伝達される、入力の状態を示す入力状態情報に基づいて、ユーザの状態を推定する。
例えば、入力状態推定部１２０は、伝達される入力位置情報が示す入力位置が所定の範囲内にないときには、入力を行う位置から外れていると推定する。上記の場合には、入力支援装置１００は、例えば、エラーメッセージや警告メッセージをユーザに提示する。ここで、入力状態推定部１２０は、例えば検出された種類判別情報をさらに用いることによって、用紙における記入欄から外れていることを推定することが可能である。また、入力状態推定部１２０は、例えば、伝達される入力内容情報に基づいて入力内容に誤りがあることを推定する。入力状態推定部１２０は、例えば、ユーザが住所を記入した場合、記入された内容と一致する地名が存在しない場合には、入力内容に誤りがあることを推定する。上記の場合には、入力支援装置１００は、例えばエラーメッセージや警告メッセージをユーザに提示する。また、入力状態推定部１２０は、入力位置情報と入力内容情報とが伝達される場合には、上記のような入力位置情報、入力内容情報それぞれに基づく推定を行うことができ、また、入力位置情報および入力内容情報を組み合わせて推定を行うことも可能である。なお、入力状態推定部１２０における推定の例が、上記に限られないことは、言うまでもない。
組合せ推定部１２２は、人物状態情報と入力状態情報とに基づいて、ユーザの状態を推定する。
例えば、姿勢情報が重心位置を示す場合、組合せ推定部１２２は、当該重心位置、当該重心位置の分散、および所定の閾値に基づいて、ユーザの前屈み量の度合い（例えば、大、中、小の三段階で表される。）を特定する。そして、組合せ推定部１２２は、例えば、特定したユーザの前屈み量の度合いと、位置情報が示すユーザの位置と、入力位置情報が示す入力位置とに基づいて、机上面のどの入力欄にユーザが記載を行っているかを推定する。また、組合せ推定部１２２は、検出された種類判別情報をさらに用いることによって、机上面に載置された用紙のどの入力欄にユーザが記載を行っているかを推定することが可能である。
また、組合せ推定部１２２は、入力内容情報に基づいて入力内容に誤りがあることを推定した場合には、さらにユーザの前屈み量の度合いに基づいて、ユーザの状態を推定することも可能である。例えば、上記の場合において、ユーザの前屈み量が大きいときには、組合せ推定部１２２は、ユーザが入力の誤りに気づいていない状態（すなわち、ユーザに対する注意喚起が必要な状態）であると推定する。また、上記の場合において、ユーザの前屈み量が小さいときには、組合せ推定部１２２は、ユーザが記入する内容に迷っている状態（すなわち、係員などの呼び出しを促すメッセージが必要な可能性がある状態）であると推定する。
組合せ推定部１２２は、例えば上記のようにユーザの身体に関する状態と入力の状態とを段階的に推定することによって、ユーザの状態を推定する。ここで、組合せ推定部１２２は、例えば２クラスのパターン識別器であるサポートベクターマシーン（Support Vector Machine：ＳＶＣ）などの識別手法を用いることによって、上記段階的な推定を実現することができる。
なお、組合せ推定部１２２における推定方法は、上記に限られない。例えば、組合せ推定部１２２は、設定された複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定することもできる。より具体的には、組合せ推定部１２２は、例えば、ユーザの身体に関する状態と入力の状態とに関する条件を複数設け、伝達される人物状態情報と入力状態情報とに基づいて、当該複数の条件それぞれを満たすか否かを判定する。そして、組合せ推定部１２２は、複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定する。
図２は、本発明の実施形態に係る入力支援装置１００における推定処理の一例を説明するための説明図であり、入力支援装置１００（より厳密には、状態推定部１０４）がユーザの状態の推定に用いるテーブルの一例を示している。図２に示すように、状態推定部１０４が推定するユーザの状態としては、例えば、“記入開始状態”や、“ユーザが用紙の選択に迷っている状態”、“ユーザが記入箇所に迷っている状態”などが挙げられる。なお、入力支援装置１００が推定するユーザの状態は、図２に示す例に限られない。例えば、入力支援装置１００は、“ユーザが用紙に記入を行っている状態”や、“用紙への記入に誤りがある状態”など様々な状態が挙げられる。
また、図２に示す条件１、条件２、…は、状態推定部１０４が、人物状態情報や入力状態情報などに基づいて推定する各状態を示している。状態推定部１０４を構成する組合せ推定部１２２は、検出部１０２から伝達される人物状態情報や入力状態情報などに基づいて、条件を満たしている（図２に示すＴ）、または、条件を満たしていない（図２に示すＦ）を、条件ごとに判定する。そして、組合せ推定部１２２は、判定結果の組合せに対応する状態（図２に示す推定状態）を、ユーザの状態として推定する。
例えば、ユーザが記入箇所に迷っている状態としては、（ａ）位置情報が示すユーザの位置が、書き込みが可能な所定の範囲内にあること、（ｂ）姿勢情報が示す姿勢が、ユーザが書き込みを行うことが可能な姿勢であること、（ｃ）入力位置情報が示す入力位置が、ユーザが記入を行うことが可能な位置であること、（ｄ）入力内容情報が示す入力内容が、例えば数秒など所定の時間変化していないこと、の４つの条件を満たす場合が挙げられる。
よって、状態推定部１０４を構成する組合せ推定部１２２は、例えば図２に示すようなテーブルを用いることによって、複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定することができる。
なお、本発明の実施形態に係る状態推定部１０４がユーザの状態の推定に用いるテーブルは、図２に示す例に限られない。例えば、状態推定部１０４は、同一のユーザの状態を異なる条件の組合せに対応付けることによって、同一のユーザの状態を異なるユーザの状態として推定することも可能である。入力内容に誤りがある状態を例に挙げると、状態推定部１０４は、例えば、入力の誤りがある閾値以下（または閾値未満。以下、同様とする。）の場合には、注意喚起のメッセージを提示するための状態として推定する。また、状態推定部１０４は、例えば、入力の誤りがある閾値を超えた場合（または閾値以上の場合。以下、同様とする。）には、係員を呼び出す旨のメッセージを提示する。状態推定部１０４は、同一のユーザの状態であっても条件の組合せに応じて異なる状態ＩＤとすることによって、同一のユーザの状態に対して異なる提示を行うことができる。
また、入力支援装置１００が、ユーザの入力内容（例えば、氏名や、口座番号など）に基づいて、ユーザの年齢や性別などのユーザの属性を示す属性情報を取得する機能を有している場合には、状態推定部１０４は、属性情報に対応する条件を推定の条件の一つとすることによって、同一のユーザの状態を異なる条件の組合せに対応付けることも可能である。上記によって、状態推定部１０４は、同一のユーザの状態であっても、例えばユーザの年齢層などの属性に応じて、ユーザに提示する内容や方法を変化させることができる。
状態推定部１０４は、例えば、人物状態推定部１１８、入力状態推定部１２０、および組合せ推定部１２２を備えることによって、上記（２）の処理（推定処理）を主導的に行う。なお、本発明の実施形態に係る状態推定部１０４は、人物状態推定部１１８、入力状態推定部１２０、および組合せ推定部１２２で構成される例に限られない。例えば、状態推定部１０４は、検出部１０２の構成に応じて、人物状態推定部１１８、入力状態推定部１２０、および組合せ推定部１２２のうちの、いずれかを備える構成をとることも可能である。
再度図１を参照して、本発明の第１の実施形態に係る入力支援装置１００の構成の一例について説明する。提示情報決定部１０６は、上記（３）の処理（提示情報決定処理）を主導的に行う役目を果たす。より具体的には、提示情報決定部１０６は、例えば、提示情報データベース（提示情報の一例）を用いることによって、推定したユーザの状態に対応する提示情報を決定する。
図３は、本発明の実施形態に係る提示情報の一例を示す説明図であり、提示情報データベース１２４の一例を示している。ここで、本発明の実施形態に係る提示情報データベース１２４は、例えば、ＸＭＬ（Extensible Markup Language）などの意味・構造を記述する言語によって記述される。なお、本発明の実施形態に係る提示情報データベース１２４が、ＸＭＬなどの意味・構造を記述する言語によって記述されることに限られないことは、言うまでもない。
図３に示す“状態ＩＤ”は、状態推定部１０４において推定された推定結果を識別するための識別情報である。提示情報決定部１０６は、状態推定部１０４から伝達される状態ＩＤ（識別情報）を用いて提示情報データベースを検索することによって、状態推定部１０４における推定結果に対応する提示情報を特定することができる。
図３に示す“提示情報の種別”は、メッセージや注意喚起（注意喚起のメッセージ）など、提示情報が示す内容を示している。また、図３に示す“ファイル名”は、提示情報の内容を示すデータを特定するものである。なお、図３では、ファイル名のみが記載されているが、当該ファイルが記憶されている場所（いわゆるファイルパス）が記録されていてもよい。ここで、本発明の実施形態に係るメッセージとしては、例えば、記入開始状態において提示される「いらっしゃいませ」、「こちらでご記入ください」や、記入終了状態において提示される「ありがとうございました」などが挙げられる。また、本発明の実施形態に係る注意喚起のメッセージとしては、例えば、入力内容に誤りがある状態において提示される、誤りがある箇所のハイライト表現や、記入する内容に迷っている状態において提示される、係員を呼び出す旨のメッセージなどが挙げられる。
なお、本発明の実施形態に係る提示情報が示す内容は、上記のようなメッセージに限られない。例えば、入力支援装置１００は、ユーザが記入を行う項目の記入例や、デジタル・サイネージのように広告を提示することも可能である。
また、図３に示す“表示指定領域”は、提示情報の内容を表示部（後述する）などの表示画面に表示する場合における表示領域（表示面積や表示形状）を示している。また、図３に示す“優先度”は、提示情報それぞれの重要度を示す指標であり、上述したように、入力支援装置１００は、提示情報に設定されている優先度に基づいて、提示順序や提示内容を調整する。図３に示すような提示情報データベースを用いることによって、入力支援装置１００は、優先度を用いたビュー・マネジメント手法を用いて、ユーザに提示情報の内容を提示することができる。
ここで、本発明の実施形態に係る優先度は、図３に示すように予め設定されるが、本発明の実施形態に係る優先度は、予め設定されることに限られない。例えば、入力支援装置１００は、ユーザの属性を示す属性情報を取得した場合には、属性情報に基づいて、優先度を調整することも可能である。属性情報が示すユーザの年齢に基づいて、ユーザが高齢者層に該当する場合には、入力支援装置１００は、例えば、表示される文字が大きな提示情報の優先度をより高く設定する。
提示情報決定部１０６は、例えば、状態推定部１０４から伝達される状態ＩＤ（識別情報）と、図３に示すような提示情報データベースを用いて、１、または２以上の提示情報を決定する。なお、本発明の実施形態に係る提示情報は、図３に示す提示情報データベースに限られない。例えば、本発明の実施形態に係る提示情報は、提示方法や、上述した音量や音源の方向などの提示に係るパラメータなどの情報をさらに含んでいてもよい。
また、提示情報決定部１０６は、情報提示部１０８における提示情報の提示を管理する役目を果たしてもよい。より具体的には、提示情報決定部１０６は、例えば、提示情報が示す内容の提示を開始させる制御信号や、提示情報が示す内容や表示方式を変更させる制御信号、提示情報が示す内容の提示を停止させる制御信号などの、各種制御信号を情報提示部１０８に伝達することによって、情報提示部１０８における提示情報の提示を管理する。
再度図１を参照して、本発明の第１の実施形態に係る入力支援装置１００の構成の一例について説明する。情報提示部１０８は、上記（４）の処理（提示処理）を行う役目を果たす。
より具体的には、情報提示部１０８は、提示情報決定部１０６から伝達される制御信号に基づいて、当該制御信号に対応する提示情報の提示、提示内容などの変更、提示の停止を行う。ここで、情報提示部１０８が提示に用いる提示情報の内容を示す各種データは、例えば記憶部（図示せず）に記憶され、提示情報の提示を行う場合には、情報提示部１０８は、伝達される制御信号に基づいて記憶部（図示せず）から提示情報を適宜読み出す。そして、情報提示部１０８は、読み出した提示情報のデコード処理などの各種処理を行って、提示を行う。
ここで、図１では、情報提示部１０８が、提示情報の内容を視覚的にユーザに提示することが可能な表示部１２６を備える構成を示している。表示部１２６としては、例えば、液晶ディスプレイ（Liquid Crystal Display：ＬＣＤ）や有機ＥＬディスプレイ（organic ElectroLuminescence display）、表示スクリーンおよびプロジェクタから構成される映像投影機器などが挙げられる。なお、表示部１２６は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
なお、本発明の実施形態に係る情報提示部１０８の構成は、図１に示す構成に限られない。例えば、本発明の実施形態に係る情報提示部１０８は、ＤＳＰ（Digital Signal Processor）と、増幅器（アンプ）やスピーカなどから構成される音声出力デバイスとを備えてもよい。上記の場合には、入力支援装置１００は、音声による提示（聴覚的な提示）を実現することが可能となる。また、本発明の実施形態に係る情報提示部１０８は、例えば、振動による提示（触覚的な提示）や、温度変化による温度提示（触覚的な提示）、風による風提示（触覚的な提示）など、ユーザの五感に訴える様々な提示方法を実現するためのデバイスを備えていてもよい。
第１の実施形態に係る入力支援装置１００は、例えば図１に示す構成によって、上記（１）の処理（検出処理）〜（４）の処理（提示処理）を行うことが可能である。よって、入力支援装置１００は、例えば図１に示す構成によって、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。
なお、本発明の第１の実施形態に係る入力支援装置１００の構成は、図１に示す構成に限られない。例えば、入力支援装置１００は、通信部（後述する）を備え、ネットワークなどを介して（または直接的に）外部装置と通信を行うことも可能である。
［第１の実施形態に係る入力支援装置１００における処理の具体例］
次に、本発明の第１の実施形態に係る入力支援装置１００における処理についてより具体的に説明する。以下では、入力支援装置１００が、人物状態情報、入力状態情報、および種類判別情報を検出する場合を例に挙げて、処理の一例について説明する。また、以下では、入力支援装置１００が、位置情報および姿勢情報の双方を人物状態情報として検出し、また、入力位置情報および入力内容情報を入力状態情報として検出する場合を例に挙げて説明する。
図４は、本発明の第１の実施形態に係る入力支援装置１００における処理の一例を説明するための説明図であり、入力支援装置１００のハードウェア構成の一例を示している。
図４を参照すると、入力支援装置１００は、机上面１５０と、表示スクリーン１５２と、映像投影器１５４と、対象物までの距離を計測する機能を有する距離計測器１５６と、ユーザの重心位置を計測する機能を有する重心位置計測器１５８と、表示スクリーン１５２に接地された際に生じる陰影を検出する映像取得器１６０とを備える。ここで、表示スクリーン１５２および映像投影器１５４は、例えば情報提示部１０８の役目を果たす。距離計測器１５６および重心位置計測器１５８は位置検出部１１０および姿勢検出部１１２としての役目を果たす。また、映像取得器１６０は、入力位置検出部１１４としての役目を果たす。つまり、距離計測器１５６、重心位置計測器１５８、および映像取得器１６０は、検出部１０２としての役目を果たす。なお、入力支援装置１００のハードウェア構成は、図４に示す構成に限られない。例えば、入力支援装置１００は、状態推定部１０４および提示情報決定部１０６の役目を果たす処理装置（コンピュータ）を備える。また、入力支援装置１００は、入力位置検出部１１４としての役目を果たす赤外線カメラ（図示せず）を備えていてもよい。
また、図４では、ユーザが手書き入力を行う装置としてペン形状の入力装置３００を示し、ユーザが入力を行う対象として、机上面１５０に載置された用紙４００を示している。上述したように、入力支援装置１００は、例えば、入力位置検出部１１４としての役目を果たす赤外線カメラを用いて、入力装置３００の入力ポイントを検出することによって入力内容情報を検出することが可能である。
以下、入力支援装置１００が図４に示す構成である場合を例に挙げて、入力支援装置１００の処理の一例について説明する。なお、以下では、入力支援装置１００が赤外線カメラ（図示せず）を備えている場合を例に挙げて、入力支援装置１００の処理の一例について説明する。図５は、本発明の第１の実施形態に係る入力支援装置１００における処理の一例を示す説明図である。
入力支援装置１００は、ユーザが検出されたか否かを判定する（Ｓ１００）。ここで、入力支援装置１００は、ユーザが検出されているか否かを、例えばフラグを用いて管理する。
より具体的には、入力支援装置１００は、例えば、重心位置計測器１５８が検出した圧力値が所定の閾値を超えたと判定した場合に、ユーザが検出されたと判定する。そして、入力支援装置１００は、上記フラグを検出されたことを示す状態とし、検出されたと判定されなくなるまで当該フラグの状態を保持する。また、入力支援装置１００は、圧力値が所定の閾値を超えたと判定されなくなった場合には、上記フラグを検出されていないことを示す状態とし、検出されたと判定されるまで当該フラグの状態を保持する。
例えば、ユーザが入力支援装置１００の前（重心位置計測器１５８上）に立つと、ユーザの体重により圧力値が閾値を超えるので、入力支援装置１００は、上記フラグを検出されたことを示す状態とする。
なお、本発明の実施形態に係る入力支援装置１００におけるユーザの検出方法は、上記に限られない。例えば、入力支援装置１００は、位置検出部１１０としての役目を果たす距離計測器１５６を用いてユーザを検出することも可能である。より具体的には、入力支援装置１００は、例えば、距離計測器１５６が検出した距離値（位置情報の一例）が、所定の閾値より小さくなり、かつ、当該閾値より小さい状態が一定時間継続している場合に、ユーザが検出されたと判定する。また、入力支援装置１００は、例えば、位置検出部１１０としての役目を果たす複数の撮像装置（図示せず）を机上面１５０の周辺に配置し、入力支援装置１００の周辺に人物が存在しないときの画像（基準画像）と、撮像した画像（撮像画像）とを比較することによって、ユーザを検出することも可能である。より具体的には、入力支援装置１００は、例えば、上記基準画像と撮像画像とについて、背景差分や肌色検出などの手法を用いることによって、ユーザを検出する。
ステップＳ１００においてユーザが検出されたと判定されない場合には、入力支援装置１００は、ユーザが検出されたと判定されるまで処理を進めない。
また、ステップＳ１００においてユーザが検出されたと判定された場合には、入力支援装置１００は、位置情報と姿勢情報とを検出する位置・姿勢検出処理を行う（Ｓ１０２）。
〔位置・姿勢検出処理の一例〕
〔１〕位置情報の検出処理の一例
入力支援装置１００は、例えば、重心位置計測器１５８の検出結果に基づいて、ユーザの位置を検出する。ここで、ユーザがはいている靴の形状によって、重心位置計測器１５８において圧力が検出されるポイント数量は変化する。しかしながら、例えば、人間の体重がとり得る常識的な範囲で検出の閾値を設定することによって、当該閾値を超えたポイント位置（または閾値以上のポイント位置。以下、同様とする。）からユーザの足の形状を推定することが可能である。よって、入力支援装置１００は、上記推定によって、ユーザが推定された位置に立っていることを検出することができる。
図６、図７は、本発明の実施形態に係る入力支援装置１００における位置情報の検出処理の一例を示す説明図である。ここで、図６、図７は、入力支援装置１００が、重心位置計測器１５８の検出結果に基づいて、ユーザの位置を検出する例を示している。
入力支援装置１００は、重心位置計測器１５８において一定面積以上の圧力値が閾値を超えた領域が検出されたか否かを判定する（Ｓ２００）。ステップＳ２００において一定面積以上の圧力値が閾値を超えた領域が検出されたと判定されない場合には、入力支援装置１００は、検出されたと判定されるまで処理を進めない。
また、ステップＳ２００において一定面積以上の圧力値が閾値を超えた領域が検出されたと判定された場合には、入力支援装置１００は、当該領域における重心位置を算出する（Ｓ２０２）。そして、入力支援装置１００は、算出された重心位置をユーザの位置として検出する。図７は、入力支援装置１００が算出した重心位置の一例を示している。入力支援装置１００は、例えば、重心位置計測器１５８の特定の位置を原点とした座標系を用いて、重心位置を座標で表す。
入力支援装置１００は、例えば図６に示す処理によって、ユーザの位置を検出して位置情報（例えば重心位置を示す座標データ）を生成する。
なお、本発明の実施形態に係る入力支援装置１００における位置検出処理は、上記に限られない。例えば、入力支援装置１００は、距離計測器１５６が検出した距離値を用いて上記重心位置を補正することも可能である。また、入力支援装置１００は、例えば、距離計測器１５６が検出した距離値そのものを位置情報としてもよい。
〔２〕姿勢情報の検出方法の一例
位置情報が検出されると、入力支援装置１００は、例えば、重心位置計測器１５８を用いて、姿勢情報を検出する。より具体的には、入力支援装置１００は、例えば、検出された位置の周囲に検出される圧力値の分布によって、ユーザの身体の重心位置や圧力分布の分散などを算出し、算出した値を姿勢情報とする。
図８、図９は、本発明の実施形態に係る入力支援装置１００における姿勢情報の検出処理の一例を示す説明図である。ここで、図８、図９は、入力支援装置１００が、重心位置計測器１５８の検出結果に基づいて、ユーザの姿勢を検出する例を示している。図９に示す座標（ｘ１，ｙ１）、（ｘ２，ｙ２）は、重心位置を示しており、また、図９に示す座標（ｘ３，ｙ３）、（ｘ４，ｙ４）は、圧力が最も高い位置（以下、「最圧位置」と示す場合がある。）を示している。
入力支援装置１００は、重心位置と最圧位置とのユークリッド距離を算出する（Ｓ３００）。
ステップＳ３００においてユークリッド距離が算出されると、入力支援装置１００は、ユークリッド距離が閾値α以上であるか否かを判定する（Ｓ３０２）。ここで、閾値αは、ユーザの前屈み量の度合いを判定するための第１の閾値であり、前屈み量が小程度であるか否かを判定するためのものである。
ステップＳ３０２においてユークリッド距離が閾値α以上であると判定されない場合には、入力支援装置１００は、前屈み量が小であると判定する（Ｓ３０４）。そして、入力支援装置１００は、判定結果に応じた姿勢情報を生成して（Ｓ３１２）、処理を終了する。
また、ステップＳ３０２においてユークリッド距離が閾値α以上であると判定された場合には、入力支援装置１００は、ユークリッド距離が閾値β以上であるか否かを判定する（Ｓ３０６）。ここで、閾値βは、ユーザの前屈み量の度合いを判定するための第２の閾値（第２の閾値＞第１の閾値）であり、前屈み量が中程度であるか否かを判定するためのものである。
ステップＳ３０６においてユークリッド距離が閾値β以上であると判定されない場合には、入力支援装置１００は、前屈み量が中であると判定する（Ｓ３０８）。そして、入力支援装置１００は、判定結果に応じた姿勢情報を生成して（Ｓ３１２）、処理を終了する。
また、ステップＳ３０２においてユークリッド距離が閾値β以上であると判定された場合には、入力支援装置１００は、前屈み量が大であると判定する（Ｓ３１０）。そして、入力支援装置１００は、判定結果に応じた姿勢情報を生成して（Ｓ３１２）、処理を終了する。
入力支援装置１００は、例えば図８に示す処理によって、ユーザがどの程度入力支援装置１００寄りに傾いているか（例えば机上面１５０寄りに傾いているか）を判定し、前屈み量をクラスタリングする。そして、入力支援装置１００は、クラスタリングした結果を示す姿勢情報（例えば前屈みの程度を示すデータ）を生成する。
なお、本発明の実施形態に係る入力支援装置１００における姿勢情報の検出処理は、上記に限られない。例えば、入力支援装置１００は、姿勢検出部１１２としての役目を果たす距離計測器１５６を用いて、机上面１５０の基準位置を基準としたユーザの頭部の位置を示す頭部位置を検出し、検出した頭部位置に基づいて、ユーザの姿勢を検出することも可能である。より具体的には、入力支援装置１００は、例えば、検出した頭部位置を保持し、頭部位置の時系列のデータに基づいて、頭部位置の移動速度を算出することによって、例えば、ユーザが立位姿勢においてどの程度前屈みになり、どのように頭部が傾いているかを示す値（以下、「前傾姿勢値」と示す場合がある。）を、姿勢情報として検出する。
図１０は、本発明の実施形態に係る入力支援装置１００における姿勢情報の検出処理の他の例を示す説明図である。ここで、図１０は、入力支援装置１００が、距離計測器１５６の検出結果に基づいて、ユーザの姿勢を検出する場合における例を示している。
入力支援装置１００は、例えば、図１０に示す各項目の組合せに応じて姿勢情報を生成する。
入力支援装置１００は、距離計測器１５６が検出した距離値を用いて、ユーザの上半身部分の人体モデルを設定する。ここで、入力支援装置１００は、例えば、予め距離値と対応付けられた人体モデルを、距離計測器１５６が検出した距離値に基づいて選択することによって、人体モデルを設定する。また、入力支援装置１００は、設定した人体モデルにおける頭部と推定可能な位置を算出する。そして、入力支援装置１００は、算出される頭部位置の変化を追跡することによって、ユーザの頭部位置の動作を推定し、例えば図８に示すような閾値処理を用いて前屈みの度合いを推定する。
なお、入力支援装置１００における頭部位置の動作の推定方法は、頭部と推定可能な位置の変化を追跡する方法に限られない例えば、入力支援装置１００は、上半身部分全体の位置変化に基づいて、間接的にユーザの頭部位置を推定してもよい。
また、図１０に示す頭部移動速度とは、ＸＹＺ軸のいずれかまたは全ての軸に対しての移動速度である。ユーザの前傾姿勢にのみ着目する場合には、入力支援装置１００は、例えば、入力支援装置１００に垂直な軸の移動速度を、上記算出される頭部位置に基づいて算出する。また、ユーザの左右方向の姿勢に着目する場合には、入力支援装置１００は、例えば、入力支援装置１００に平行な軸の移動速度を、上記算出される頭部位置に基づいて算出する。そして、入力支援装置１００は、算出される移動速度について、例えば図８に示すような閾値処理を用いて移動速度の度合いを推定する。
また、図１０に示す頭部移動加速度は、頭部の移動速度に基づいて算出される。そして、入力支援装置１００は、算出される頭部移動加速度について、例えば図８に示すような閾値処理を用いて頭部移動加速度の度合いを推定する。
例えばユーザの前傾姿勢は、頭部位置、頭部移動速度、頭部移動加速度で表すことが可能であるが、例えば図１０に示す姿勢情報に示すように、入力支援装置１００は、頭部がどのように傾いたかを表現した状態で表すことが可能である。なお、本発明の実施形態に係る入力支援装置１００が、頭部位置、頭部移動速度、頭部移動加速度の各値を、姿勢情報とすることができることは、言うまでもない。また、検出対象のユーザと人体モデルとに身長差が存在する場合であっても、例えば上記上半身部分の人体モデルの拡大や縮小を行うことによって、入力支援装置１００は、頭部位置、頭部移動速度、頭部移動加速度の値をより正確に算出することができる。なお、検出対象のユーザの身長の程度は、例えば、机上面１５０の周辺に配置された位置検出部１１０としての役目を果たす複数の撮像装置（図示せず）が撮像した画像からユーザの目を検出することによって、推定することが可能であるが、ユーザの身長の推定方法は、上記に限られない。
入力支援装置１００は、例えば上記のような処理を行うことによって、位置情報と姿勢情報とを人物状態情報として検出する。なお、本発明の実施形態に係る位置・姿勢検出処理が、上記に示す処理に限られないことは、言うまでもない。
再度図５を参照して、本発明の第１の実施形態に係る入力支援装置１００における処理の一例について説明する。ステップＳ１０２において位置・姿勢検出処理が行われると、入力支援装置１００は、検出された人物状態情報に基づいて、人物状態に応じて提示する提示情報を決定する（Ｓ１０４）。ここで、入力支援装置１００は、上記（２）の処理（推定処理）および（３）の処理（提示情報決定処理）を行うことによって、提示情報を決定する。
そして、入力支援装置１００は、決定した提示情報提示情報に基づいて、提示情報が示す内容をユーザに提示する（上記（４）の処理（提示処理））。なお、入力支援装置１００は、上記のように提示情報を決定するごとに提示処理を行うが、入力支援装置１００における処理は、上記に限られない。例えば、入力支援装置１００は、図５に示す各処理が行われた後に、決定された提示情報の内容を提示することも可能である。また、入力支援装置１００は、例えば定期的に決定された提示情報の内容を提示してもよい。
〔提示の一例〕
図１１、図１２は、本発明の実施形態に係る入力支援装置１００における提示の一例を示す説明図である。ここで、図１１は、ユーザが入力中の状態と推定された場合に、ユーザに対して視覚的に提示される提示情報の内容の一例を示している。また、図１２は、ユーザの入力が終了した状態と推定された場合に、ユーザに対して視覚的に提示される提示情報の内容の一例を示している。
図１１に示すように、ユーザが入力中の状態と推定された場合には、入力支援装置１００は、例えば用紙４００の周辺に提示情報の内容（図１１に示すＡ、Ｂ）を提示する。ここで、図１１に示すＡは、用紙４００に対応する用紙の記入例（見本）を提示するものであり、また、図１１に示すＢは、記入の際の注意事項を提示するものである。
ここで、ユーザが入力中の状態と推定される場合としては、例えば、検出された位置情報が示す位置が、重心位置計測器１５８における所定の範囲内に存在し、かつ、距離計測器１５６の距離値に基づき推定されたユーザの頭部と推定される位置が机上面１５０上に存在する場合が挙げられる。上記重心位置計測器１５８における所定の範囲内としては、例えば、図４に示す重心位置計測器１５８における入力支援装置１００側の半分の領域内が挙げられる。なお、入力支援装置１００におけるユーザが入力中の状態の推定方法は、上記に限られない。例えば、入力支援装置１００は、入力装置３００の動きから得られるストローク情報によって判別される記入文字の情報（例えば、特開２００２−２３９３８号公報参照。）などを組み合わせることによって、推定精度を高めることが可能である。
また、図１２に示すように、ユーザの入力が終了した状態と推定され、かつ入力内容に誤りがあったと推定されたときには、入力支援装置１００は、用紙４００における入力内容に誤りがある箇所をハイライト表示し（図１２に示すＣ）、注意喚起のメッセージ（図１２に示すＤ）を提示する。また、ユーザの入力が終了した状態と推定された場合には、入力支援装置１００は、用紙４００をどこに持っていけばよいかをユーザに通知するために、地図（図１２に示すＥ）を提示する。
ここで、ユーザの入力が終了した状態と推定される場合としては、例えば、検出された位置情報が示す位置が、重心位置計測器１５８における所定の範囲内に存在し、かつ、距離計測器１５６の距離値に基づき推定されたユーザの頭部と推定される位置が机上面１５０にない（または、机上面１５０から所定の距離以上離れている）場合が挙げられる。上記重心位置計測器１５８における所定の範囲内としては、例えば、図４に示す重心位置計測器１５８における中央の領域内が挙げられる。また、入力支援装置１００は、ユーザの頭部と推定される位置の検出結果に基づいて、ユーザの伸びをするような動作を検出して、検出された場合にユーザの入力が終了した状態と推定してもよい。また、入力内容に誤りがあったと推定される場合としては、例えば、入力装置３００の動きから得られるストローク情報が、塗りつぶしの動きや取消線を引く動きを示す場合などが挙げられる。入力支援装置１００は、上記のような動きの情報を組み合わせることによって、推定精度を向上させることが可能である。
入力支援装置１００は、例えば図１１、図１２に示すように、検出されたユーザの位置や姿勢、位置や姿勢の時系列の変化に基づいてユーザの状態の推定を行い、例えばリアルタイムに認識される手書き文字入力に必要な記入項目の例示や注意喚起などのような、推定結果に対応する提示情報をユーザに提示する。なお、本発明の実施形態に係る入力支援装置１００における視覚的な提示が、図１１、図１２に示す例に限られないことは、言うまでもない。
再度図５を参照して、本発明の第１の実施形態に係る入力支援装置１００における処理の一例について説明する。ステップＳ１０４の処理が行われると、入力支援装置１００は、用紙の種類が判別されたか否かを判定する（Ｓ１０６）。ここで、入力支援装置１００は、用紙から種類判別情報が検出され、かつ、検出された種類判別情報が示す用紙（紙媒体）の種類を特定できた場合に、用紙の種類が判別されたと判定する。入力支援装置１００は、例えば、映像取得器１６０が用紙２０４の裏面に印刷されたバーコード（種類判別情報の一例）を撮像し、処理装置（図４では図示せず）において識別する。入力支援装置１００は、例えば、種類判別情報と、用紙（紙媒体）の種類、項目の位置、内容などが記録された紙媒体情報とが対応付けて記録されたテーブルを用いて、検出された種類判別情報に対応する用紙を特定する。なお、入力支援装置１００におけるステップＳ１０６の処理が、上記に限られないことは、言うまでもない。
ステップＳ１０６において用紙の種類が判別されたと判定されない場合には、入力支援装置１００は、図５に示す処理を終了する。なお、図５に示す処理は、一度終了すれば再度行われない類の処理ではなく、繰り返し行われる。
また、ステップＳ１０６において用紙の種類が判別されたと判定された場合には、入力支援装置１００は、入力位置情報と入力内容情報との検出を行う入力位置・入力内容検出処理を行う（Ｓ１０８）。
〔入力位置・入力内容検出処理の一例〕
図１３は、本発明の実施形態に係る入力支援装置１００における入力位置・入力内容検出処理の一例を示す説明図である。
入力支援装置１００は、入力位置の測定（Ｓ４００）と、入力内容の測定（Ｓ４０２）とを行い、測定結果に基づいて入力位置および入力内容を検出する（Ｓ４０４）。ここで、入力支援装置１００は、例えば、特開２００２−２３９３８号公報に記載の方法を用いることによって、用紙４００における入力位置の検出や、入力されている文字をリアルタイムに認識する。
入力支援装置１００は、例えば図１３に示す処理を行うことによって、入力位置および入力内容を検出して、入力位置情報と入力内容情報とを入力状態情報として検出する。なお、本発明の実施形態に係る入力支援装置１００における入力位置、入力内容の検出方法が、上記に限られないことは、言うまでもない。
再度図５を参照して、本発明の第１の実施形態に係る入力支援装置１００における処理の一例について説明する。ステップＳ１０８において入力位置・入力内容検出処理が行われると、入力支援装置１００は、検出された入力状態情報に基づいて、入力状態に応じて提示する提示情報を決定する（Ｓ１１０）。ここで、入力支援装置１００は、上記（２）の処理（推定処理）および（３）の処理（提示情報決定処理）を行うことによって、提示情報を決定する。そして、入力支援装置１００は、決定した提示情報提示情報に基づいて、提示情報が示す内容をユーザに提示する（上記（４）の処理（提示処理））。
ステップＳ１１０の処理が行われると、入力支援装置１００は、入力内容に誤りがあるか否かを判定する（Ｓ１１２）。ここで、入力支援装置１００は、例えば、入力装置３００の動きから得られるストローク情報に基づく推定を行うことによって、ステップＳ１１２の判定を行うが、本発明の実施形態に係る入力支援装置１００におけるステップＳ１１２の処理は、上記に限られない。
ステップＳ１１２において入力内容に誤りがあると判定されない場合には、入力支援装置１００は、処理を終了する。
また、ステップＳ１１２において入力内容に誤りがあると判定された場合には、入力支援装置１００は、誤り訂正のための提示情報を決定し（Ｓ１１４）、提示情報が示す内容をユーザに提示する（上記（４）の処理（提示処理））。
第１の実施形態に係る入力支援装置１００は、例えば図５に示す処理を行うことによって、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示する。
ここで、入力支援装置１００は、例えば、ユーザの位置や姿勢を示す情報や、位置や姿勢の時系列の変化を示す情報に基づいて、リアルタイムに認識される手書き文字入力に必要な記入項目の例示や注意喚起などのような目的に則した提示情報の内容をユーザに提示する。また、入力支援装置１００は、ユーザの位置や姿勢の変化などの入力支援装置１００の周りの環境の変化に応じて、入力支援装置１００がユーザの状態を推定して、推定結果に対応する提示情報の内容をユーザに提示する。つまり、入力支援装置１００は、提示される情報をユーザに制御させるのではなく、例えば、必要な情報の必要な場所への表示や、隠すべき情報の非提示、提示方法の切り替えなどを自動的に行うことが可能である。したがって、入力支援装置１００は、従来から行われてきた手書きによる入力方法を変更することなく、ユーザに対して適切な手書き文字入力の支援を行うことが可能となる。
したがって、例えば図５に示す処理を行うことによって、入力支援装置１００は、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。なお、本発明の第１の実施形態に係る入力支援装置１００における処理が、図５に示す処理に限られないことは、言うまでもない。
［第２の実施形態に係る入力支援装置］
本発明の実施形態に係る入力支援装置１０００は、例えば図１に示す構成をとることによって、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。しかしながら、本発明の実施形態に係る入力支援装置１０００の構成は、例えば図１に示す構成に限られない。そこで、次に、本発明の第２の実施形態に係る入力支援装置（以下、「入力支援装置２００」と示す場合がある。）について説明する。
図１４は、本発明の第２の実施形態に係る入力支援装置２００の構成の一例を示すブロック図である。また、図１４では、ネットワーク５００を示している。ここで、ネットワーク５００としては、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などの有線ネットワーク、基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless Wide Area Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission Control Protocol/Internet Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
図１４を参照すると、入力支援装置２００は、図１に示す第１の実施形態に係る入力支援装置１００と基本的に同様の構成を有するが、入力支援装置２００と入力支援装置１００とを比較すると、入力支援装置２００は、通信部２０２と、状態学習部２０４とをさらに備えている。また、入力支援装置２００と入力支援装置１００とを比較すると、入力支援装置２００は、状態推定部２０６の機能が、図１に示す状態推定部１０４と異なる。
入力支援装置２００では、状態推定部２０６が、状態学習部２０４が管理する状態データベースに記録されているユーザの状態の推定結果候補（例えば、状態ＩＤで表される。）を用いて、ユーザの状態を推定する。ここで、本発明の実施形態に係る状態データベースとは、検出情報（例えば、人物状態情報および／または入力状態情報）と、ユーザの状態の推定結果候補とが対応付けられている状態データが記憶されたデータベースである。本発明の実施形態に係る状態データは、例えば、状態データベースにおける１レコードに該当する。
また、入力支援装置２００では、状態推定部２０６において推定が行われた場合には、状態推定部２０６は、ユーザの状態の推定結果を状態学習部２０４へ伝達して、状態学習部２０４に、状態データベースを更新させる。ここで、本発明の実施形態に係る状態データベースの更新とは、例えば、状態データを登録、更新、または削除することをいう。
上記のように、ユーザの状態が推定された場合に推定結果に基づいて状態データベースを更新することによって、入力支援装置２００は、推定されるユーザの状態を学習することが可能となる。また、入力支援装置２００は、ユーザの状態の推定結果候補をさらに用いて、ユーザの状態を推定する。
したがって、入力支援装置２００は、上述した第１の入力支援装置１００よりも、さらに推定精度の向上を図ることができる。
また、入力支援装置２００は、通信部２０２を備えることによって、通信部２０２が受信した外部装置から送信された要求に基づいて、状態データベースを更新することが可能である。以下では、上記外部装置から送信された要求を「更新要求」と示す場合がある。ここで、更新要求には、例えば、状態データベースに対する操作命令や、状態データが含まれるが、本発明の実施形態に係る更新要求は、上記に限られない。なお、本発明の実施形態に係る更新要求は、外部装置が主体的に送信してもよいし、または、入力支援装置２００が、定期的／非定期的に外部装置に対して更新要求の送信を要求した結果、外部装置から送信されるものであってもよい。
ここで、一般的にユーザの属性や利用用途、利用場所によっては、本発明の実施形態に係る入力支援装置１０００に係る推定に関して、実稼働する前の事前のキャリブレーションが必要になる場合がある。上記の場合であっても、例えば企業や公共機関などにおいて複数の入力支援装置２００が運用される際に、複数ある入力支援装置２００をネットワーク５００で接続し、各入力支援装置２００が、他の入力支援装置２００における推定結果を示す取得データのサンプル内容を、他の入力支援装置２００から受信して学習することによって、入力支援装置２００におけるキャリブレーションコストを軽減することができる。
上記のように、本発明の第２の実施形態に係る入力支援装置２００は、学習機能を有することによって、ユーザの状態の推定精度のさらなる向上を図る。また、本発明の第２の実施形態に係る入力支援装置２００は、ネットワーク５００を介して外部装置（例えば他の入力支援装置２００）と通信を行い、当該外部装置における推定結果に係るデータを用いて学習を行う機能を有することによって、ユーザの状態の推定精度のさらなる向上に加え、さらにキャリブレーションコストの軽減を図る。
以下、本発明の第２の実施形態に係る入力支援装置２００の構成について、より具体的に説明する。
通信部２０２は、入力支援装置２００が備える通信手段であり、ネットワーク５００を介して（あるいは、直接的に）、他の入力支援装置２００などの外部装置と無線／有線で通信を行う。ここで、通信部２０２としては、例えば、通信アンテナおよびＲＦ（Radio Frequency）回路や、ＬＡＮ端子および送受信回路などが挙げられるが、通信部２０２の構成は、上記に限られない。例えば、通信部２０２は、ネットワーク５００を介して外部装置と通信可能な任意の構成をとることができる。
状態学習部２０４は、状態データベースを管理し、入力支援装置２００における学習に係る処理を主導的に行う役目を果たす。ここで、状態学習部２０４は、例えばＭＰＵや各種機能を実現するための集積回路などで構成される。また、上記ＭＰＵや集積回路は、状態推定部２０６や提示情報決定部１０６の役目を果たしていてもよい。
より具体的には、状態学習部２０４は、例えば、状態推定部２０６から問い合わせがあった場合には、上記問い合わせに含まれる検出情報に基づいて状態データベース２１０を検索し、当該問い合わせに対応する問い合わせ結果（ユーザの推定結果候補の一例）を状態推定部２０６に返す。ここで、状態学習部２０４は、例えば、ユーザの状態を示す可能性が高い順に１または２以上の状態ＩＤを、上記問い合わせ結果として状態推定部２０６へ伝達する。
なお、状態学習部２０４が状態推定部２０６へ伝達する問い合わせ結果は、上記に限られない。状態データベース２１０が、例えばユーザ属性や時間帯などの付帯情報を状態データとしてさらに含む場合には、状態学習部２０４は、上記状態ＩＤに加えてさらに上記付帯情報が紐付けられたデータを上記問い合わせ結果として状態推定部２０６へ伝達することも可能である。
図１５は、本発明の実施形態に係る状態データベースの一例を示す説明図である。ここで、図１５は、ユーザの状態を示す状態ＩＤと付帯情報とが対応付けられた状態データベースの一例を示している。本発明の実施形態に係る属性情報としては、例えば図１５に示すように、年齢層や性別、時間帯などのデータが挙げられるが、本発明の実施形態に係る属性情報は、上記に限られない。例えば、入力支援装置２００は、用途に応じた属性情報を用いることが可能である。
入力支援装置２００は、検出情報と状態ＩＤ（ユーザの状態の推定結果候補の一例）とが対応付けられている状態データが記録された状態データベース２１０に加え、さらに図１５に示すような状態ＩＤと付帯情報とが対応付けられた状態データベースを用いてもよい。なお、本発明の実施形態に係る入力支援装置２００は、検出情報と状態ＩＤとが対応付けられている状態データが記録された状態データベースと、図１５に示すような状態ＩＤと付帯情報とが対応付けられた状態データベースとを用いること限られない。例えば、入力支援装置２００は、検出情報、状態ＩＤ、および付帯情報が対応付けられている状態データが記録された状態データベースを用いることも可能である。
状態学習部２０４は、例えば上記のような状態データベースを用い、例えば採用回数が多いもの程ユーザの状態を示す可能性が高いものと判定して、当該判定結果に応じた問い合わせ結果を状態推定部２０６へ伝達する。よって、入力支援装置２００では、ユーザの状態の推定における効率化を図ることができる。
また、状態学習部２０４は、状態推定部２０６から推定結果が伝達された場合や、外部装置から送信された更新要求が通信部２０２から伝達された場合に、状態データベースを更新する。状態学習部２０４が上記のように状態データベースを更新することによって、入力支援装置２００は、学習を行うことができる。
ここで、入力支援装置２００が他の入力支援装置２００（外部装置）から送信された更新要求に基づいて状態データベースを更新することによって学習を行う意義について説明する。例えば、ある時間帯において高齢者層のユーザが多く利用する入力支援装置２００（以下、「第１の入力支援装置２００」と示す場合がある。）があった場合、第１の入力支援装置２００と同一の場所に設置された入力支援装置２００（以下、「第２の入力支援装置２００」と示す場合がある。）においても、同様の傾向がみられることが推測される。ここで、上記同様の傾向とは、同一の場所（例えばサービス提供場所）に設置された同種の装置は、同じようなサービスを期待するユーザによって同じような時間帯に使用される可能性が高いことをいう。上記のような場合、各入力支援装置２００が、検出情報と状態ＩＤとに加え、ユーザの属性や時間帯などの付帯情報が対応付けられた状態情報を共有することによって、各入力支援装置２００における推定精度をより高めることが可能となる。
なお、図１４では、入力支援装置２００が状態データベース２１０を記憶する例を示しているが、本発明の実施形態に係る入力支援装置２００の構成は、上記に限られない。例えば、本発明の実施形態に係る入力支援装置２００は、状態データベースを記憶せず、状態学習部２０４が、サーバ（外部装置の一例）に記憶された状態データベースを用いて処理を行ってもよい。複数の入力支援装置２００が通信可能なサーバ（外部装置の一例）に、状態データベースが記憶され、当該状態データベースが各入力支援装置２００の推定結果に基づいて更新されることによって、各入力支援装置２００における推定精度をより高めることが可能である。
ここで、入力支援装置２００におけるユーザの属性を示す属性情報の取得方法としては、例えば、記入内容情報に基づいて取得する方法が挙げられる。より具体的には、入力支援装置２００は、例えば、用紙の氏名欄へのユーザの入力内容から「ユーザの氏名」を属性情報として取得することができる。また、ユーザが手書き入力する用紙が金融機関の用紙である場合には、入力支援装置２００は、例えば、検出した口座番号に基づいてユーザの情報（例えば年齢層や性別、業種など）をサーバなどの外部装置から取得し、取得したユーザの情報を属性情報とすることも可能である。
入力支援装置２００は、例えば上記のように取得した属性情報を、状態ＩＤ（ユーザの状態の推定結果の一例）と対応付けて状態データベースに登録する。また、時間帯を付帯情報として登録する場合には、入力支援装置２００は、例えば下記のような処理を行う。入力支援装置２００は、例えば使用開始時間や推定を行った時間などの入力支援装置２００が使用された時間を記憶し、記憶した時間を予めカテゴライズされた時間帯（例えば、２時間間隔など）に当てはめることによって、時間帯を特定する。そして、入力支援装置２００は、例えば特定した時間帯を示す情報と状態ＩＤとを対応付けて状態データベースに登録する。また、入力支援装置２００は、例えば、上記属性情報、上記時間帯を示す情報、および状態ＩＤを対応付けて状態データベースに登録してもよい。
また、入力支援装置２００は、上記のように取得されたユーザの属性や時間帯などの付帯情報と検出情報とを用いて、検出情報、状態ＩＤおよび付帯情報が対応付けられた状態データを記憶する状態データベースを検索することによって、予めいくつかの状態（推定結果候補）に絞った上で推定を行うことが可能となる。したがって、入力支援装置２００は、推定速度の向上を図ることができる。また、例えば、実稼働する前の新たな入力支援装置２００や学習が進んでいない入力支援装置２００は、キャリブレーションの簡略化を図ることができ、また、推定精度の向上を図ることができる。
例えば、上記第１の入力支援装置２００を例に挙げると、第１の入力支援装置２００は、例えば時間帯ごとに異なるテーブルが状態データベース内に設けられた状態データベースを用いることによって、時間帯を条件として参照する場合のレコード量を削減することが可能となる。より具体的には、第１の入力支援装置２００は、例えば、現在の時間帯を特定し、状態データベース内における特定された時間帯に合致するテーブルを参照する。よって、第１の入力支援装置２００は、状態データベース全体を検索する場合と比較して、参照するレコード量を削減することができる。したがって、第１の入力支援装置２００では、推定結果候補の検索時間の短縮が図られ、その結果、推定速度の向上が図られる。
また、上記第２の入力支援装置２００を例に挙げると、第２の入力支援装置２００は、第１の入力支援装置２００と同様に、ある時間帯において高齢者層のユーザによって多く利用されることが想定される。ここで、第２の入力支援装置２００は、学習によって第１の入力支援装置２００と同様の状態データベースを用いて推定を行うことが可能となる。したがって、第２の入力支援装置２００は、キャリブレーションの簡略化を図ることができ、また、第１の入力支援装置２００と同様に推定精度の向上を図った状態で、ユーザに提示情報の内容の提示を行うことができる。
本発明の第２の実施形態に係る入力支援装置２００は、例えば、図１４に示す構成によって、ユーザの状態の推定精度のさらなる向上と、キャリブレーションコストの軽減とを図ることができる。なお、本発明の第２の実施形態に係る入力支援装置２００の構成は、図１４に示す構成に限られない。例えば、本発明の第２の実施形態に係る入力支援装置２００は、通信部２０２を備えない構成（いわゆる、スタンドアロンの構成）をとることも可能である。上記の構成であっても、本発明の第２の実施形態に係る入力支援装置２００は、学習を行うことが可能であるので、ユーザの状態の推定精度のさらなる向上を図ることが可能である。
［第２の実施形態に係る入力支援装置２００における処理の具体例］
次に、本発明の第２の実施形態に係る入力支援装置２００における処理についてより具体的に説明する。以下では、入力支援装置２００が、図５に示す第１の実施形態に係る入力支援装置１００における処理と同様に、人物状態情報、入力状態情報、および種類判別情報を検出する場合を例に挙げて、処理の一例について説明する。また、以下では、図５に示す第１の実施形態に係る入力支援装置１００における処理と同様に、入力支援装置２００が、位置情報および姿勢情報の双方を人物状態情報として検出し、また、入力位置情報および入力内容情報を入力状態情報として検出する場合を例に挙げて説明する。
図１６は、本発明の第２の実施形態に係る入力支援装置２００における処理の一例を示す説明図である。ここで、図１６は、ユーザが検出されている状態を前提とし、当該状態から、ユーザが検出されずかつ入力が終了したと推定されるまでの期間を１つのステップとして表した図である。また、図１６では、状態データベース２１０を示している。ここで、図１６に示す状態データベース２１０は、図１４に示すように入力支援装置２００に記憶されたものであってもよいし、または、サーバなどの外部装置に記憶されたものであってもよい。
入力支援装置２００は、ユーザが検出されずかつ入力が終了したと推定されたか否かを判定する（Ｓ５００）。
ステップＳ５００においてユーザが検出されずかつ入力が終了したと推定されたと判定されない場合には、入力支援装置２００は、図５に示すステップＳ１０２と同様に、位置情報と姿勢情報とを検出する位置・姿勢検出処理を行う（Ｓ５０２）。
ステップＳ５０２において位置・姿勢検出処理が行われると、入力支援装置２００は、検出された人物状態情報に基づいて、人物状態に応じて提示する提示情報を決定する（Ｓ５０４）。そして、入力支援装置２００は、決定した提示情報提示情報に基づいて、提示情報が示す内容をユーザに提示する（上記（４）の処理（提示処理））。
ここで、入力支援装置２００は、上記（２）の処理（推定処理）および（３）の処理（提示情報決定処理）を行うことによって、提示情報を決定する。なお、入力支援装置２００は、上記（２）の処理において、例えば、人物状態情報に基づいて状態データベース２１０を参照し、ユーザの状態の推定に係る確率（例えばユーザの状態の推定結果候補に基づいて算出される）を加味することによって、ユーザの状態の推定精度の向上を図る。
ステップＳ５０４の処理が行われると、入力支援装置２００は、図５に示すステップＳ１０６と同様に、用紙の種類が判別されたか否かを判定する（Ｓ５０６）。
ステップＳ５０６において用紙の種類が判別されたと判定されない場合には、入力支援装置２００は、後述するステップＳ５１６の処理を行う。
また、ステップＳ５０６において用紙の種類が判別されたと判定された場合には、入力支援装置２００は、図５に示すステップＳ１０８と同様に、入力位置情報と入力内容情報との検出を行う入力位置・入力内容検出処理を行う（Ｓ５０８）。
ステップＳ５０８において入力位置・入力内容検出処理が行われると、入力支援装置２００は、検出された入力状態情報に基づいて、入力状態に応じて提示する提示情報を決定する（Ｓ５１０）。そして、入力支援装置２００は、決定した提示情報提示情報に基づいて、提示情報が示す内容をユーザに提示する（上記（４）の処理（提示処理））。
ここで、入力支援装置２００は、上記（２）の処理（推定処理）および（３）の処理（提示情報決定処理）を行うことによって、提示情報を決定する。また、入力支援装置２００は、ステップＳ５０４と同様に、上記（２）の処理において、例えば、入力状態情報に基づいて状態データベース２１０を参照し、ユーザの状態の推定に係る確率を加味することによって、ユーザの状態の推定精度の向上を図る。
ステップＳ５１０の処理が行われると、入力支援装置２００は、図５に示すステップＳ１１２と同様に、入力内容に誤りがあるか否かを判定する（Ｓ５１２）。
ステップＳ１１２において入力内容に誤りがあると判定されない場合には、入力支援装置２００は、後述するステップＳ５１６の処理を行う。
また、ステップＳ５１２において入力内容に誤りがあると判定された場合には、入力支援装置１００は、誤り訂正のための提示情報を決定し（Ｓ５１４）、提示情報が示す内容をユーザに提示する（上記（４）の処理（提示処理））。なお、入力支援装置２００は、ステップＳ５１４の処理において、例えば、入力状態情報に基づいて状態データベース２１０を参照し、ユーザの状態の推定に係る確率を加味することによって、ユーザの状態の推定精度の向上を図る。
ステップＳ５０６において用紙の種類が判別されたと判定されない場合、ステップＳ５１２において入力内容に誤りがあると判定されない場合、または、ステップＳ５１４の処理が行われると、入力支援装置２００は、状態データベース２１０への登録処理を行う（Ｓ５１６）。そして、入力支援装置２００は、図１６に示す処理を終了する。なお、図１６に示す処理は、例えばユーザが検出されている場合に、繰り返し行われる。
また、ステップＳ５００においてユーザが検出されずかつ入力が終了したと推定されたと判定された場合には、入力支援装置２００は、推定結果の評価処理を行い（Ｓ５１８）、図１６に示す処理を終了する。
ここで、入力支援装置２００は、例えば、人物状態と入力状態に加えて、時間帯や入力支援装置２００の設置状況、ユーザの属性などにより分類することによって評価を行う。ここで、入力支援装置２００は、例えば、Ｋ近傍法（k-nearest neighbor algorithm）などの統計分類の手法を用いて分類を行うが、ステップＳ５１８の処理は、上記に限られない。上記の場合には、入力支援装置２００は、ステップＳ５０２、Ｓ５１０、Ｓ５１４において、例えば、検出情報、または、検出情報および付帯情報に対応する分類結果（可能性が高い分類結果）を用いて算出された確率を用いて推定を行うこととなる。
第２の実施形態に係る入力支援装置２００は、例えば図１６に示す処理を行うことによって、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示する。ここで、入力支援装置２００は、状態データベース２１０を用いて推定を行い、ユーザの状態が推定された場合には推定結果に基づいて状態データベースを更新することによって推定されるユーザの状態を学習する。
したがって、入力支援装置２００は、上述した第１の実施形態に係る入力支援装置１００と同様の効果に加え、入力支援装置１００よりもさらに推定精度の向上を図ることができる。
また、入力支援装置２００は、他の入力支援装置２００（外部装置の一例）と通信を行い、当該他の入力支援装置２００における学習結果を状態データベース２１０に反映させることが可能である。したがって、入力支援装置２００は、実稼働する前の状態や学習が進んでいない状態であったとしても、上記のように他の入力支援装置２００における学習結果を状態データベース２１０に反映させることによって、キャリブレーションの簡略化を図ることができ、また、推定精度の向上を図ることができる。
なお、本発明の第２の実施形態に係る入力支援装置２００における処理が、図１６に示す処理に限られないことは、言うまでもない。
以上のように、本発明の実施形態に係る入力支援装置１０００は、本発明の実施形態に係る提示方法に係る、上記（１）の処理（検出処理）〜（４）の処理（提示処理）を行う。上記（１）の処理（検出処理）〜（４）の処理（提示処理）を行うことによって、入力支援装置１０００は、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示することが可能となる。よって、入力支援装置１０００は、提示される情報をユーザに制御させるのではなく、例えば、必要な情報の必要な場所への表示や、隠すべき情報の非提示、提示方法の切り替えなどを自動的に行うことができるので、従来から行われてきた手書きによる入力方法を変更することなく、ユーザに対して適切な手書き文字入力の支援を行うことができる。
したがって、入力支援装置１０００は、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。
以上、本発明の実施形態として入力支援装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、金融機関や公共機関などの記載台や窓口、机など、ユーザが手書き入力を行いうる様々な装置に適用することが可能である。
また、本発明の実施形態は、例えば、教育機関や一般家庭内における正しい姿勢での学習のサポートや、家庭内における記入の状況に合わせて解答を提示する試験勉強支援、一般企業などにおいて複数のユーザがデザインやロードマップの作成などを手書きで行う場合の支援など、様々なユースケースに適用することができる。
（本発明の実施形態に係るプログラム）
コンピュータを、本発明の実施形態に係る入力支援装置として機能させるためのプログラム（例えば、上記（１）の処理（検出処理）〜（４）の処理（提示処理）を実現するためのプログラムや、図５、図１６に示す処理を実現するためのプログラム）によって、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
（本発明の実施形態に係るプログラムを記録した記録媒体）
また、上記では、コンピュータを、本発明の実施形態に係る入力支援装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
ここで、上記プログラムを記憶させた記録媒体としては、例えば、フロッピー（登録商標）ディスクや、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが挙げられる。また、上記プログラムは、ネットワークを介して装置にダウンロードされてもよい。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記では、本発明の実施形態に係る入力支援装置が、例えばレーザレンジファインダなどの距離画像センサや感圧センサなどの位置取得センサ、机上面の陰影を取得する赤外線カメラをユーザの状態推定の手段として用いることを示したが、本発明の実施形態に係るユーザの状態推定の手段は、上記に限られない。例えば、本発明の実施形態に係る入力支援装置は、複数のカメラアレイによる対象物の３次元位置取得手法や、熱源分布を取得するセンサ、振動を検知するセンサなどを組み合わせた手法を、ユーザの状態推定の手段として用いることもできる。
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
１００、２００、１０００ 入力支援装置
１０２ 検出部
１０４、２０６ 状態推定部
１０６ 提示情報決定部
１０８ 情報提示部
２０２ 通信部
２０４ 状態学習部
５００ ネットワーク

Claims (10)

  1. 机上面または前記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援装置であって、
    前記ユーザの位置を示す位置情報または前記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、前記ユーザの身体に関する状態を示す人物状態情報として検出する検出部と、
    前記検出部が検出した前記人物状態情報に基づいて、１、または２以上の前記ユーザの状態を推定する状態推定部と、
    前記状態推定部が推定した前記ユーザの状態に基づいて、１、または２以上の前記ユーザに提示する内容を示す提示情報を決定する提示情報決定部と、
    前記提示情報決定部において決定された前記提示情報が示す内容をユーザに提示する情報提示部と、
    を備え、
    前記検出部は、前記机上面に載置された前記紙媒体に付された前記紙媒体の種類を示す種類判別情報を、赤外光を用いて前記机上面の反対側からさらに検出し、
    前記状態推定部は、さらに前記検出部において検出された前記種類判別情報が示す前記紙媒体の種類に基づいて、前記ユーザの状態を推定することを特徴とする、入力支援装置。
  2. 前記検出部は、前記机上面における前記ユーザによる入力の位置を示す入力位置情報と、前記ユーザによる入力の内容を示す入力内容情報のうちのいずれか一方または双方を、前記ユーザによる入力の状態を示す入力状態情報としてさらに検出し、
    前記状態推定部は、前記検出部が検出した前記人物状態情報と、前記検出部が検出した前記入力状態情報とに基づいて、前記ユーザの状態を推定することを特徴とする、請求項１に記載の入力支援装置。
  3. 前記状態推定部は、
    前記ユーザの身体に関する状態と前記入力の状態とに関する条件を複数設け、
    前記人物状態情報と前記入力状態情報とに基づいて、前記複数の条件それぞれを満たすか否かを判定し、
    複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定することを特徴とする、請求項２に記載の入力支援装置。
  4. 前記状態推定部は、前記人物状態情報、および前記入力状態情報それぞれに基づいて、前記ユーザの状態を推定することを特徴とする、請求項２に記載の入力支援装置。
  5. 前記提示情報には優先度が設定され、
    前記情報提示部は、前記提示情報決定部が複数の提示情報を決定した場合には、決定された前記提示情報に設定されている優先度に基づいて、提示順序、および／または、提示方法を調整して提示することを特徴とする、請求項１に記載の入力支援装置。
  6. 少なくとも前記人物状態情報と前記ユーザの状態の推定結果候補とが対応付けられている状態データが記憶された状態データベースを管理する状態学習部をさらに備え、
    前記状態学習部は、前記検出部が検出した前記人物状態情報と、前記状態データベースとに基づいて、前記人物状態情報に対応する前記ユーザの状態の推定結果候補を特定し、
    前記状態推定部は、前記状態学習部が特定した前記ユーザの状態の推定結果候補に基づいて、前記ユーザの状態を推定することを特徴とする、請求項１に記載の入力支援装置。
  7. 前記状態推定部は、前記ユーザの状態の推定結果を前記状態学習部へ伝達して、前記状態学習部に、前記状態データベースに対する前記状態データの登録、更新、または削除を行わせることを特徴とする、請求項６に記載の入力支援装置。
  8. 外部装置と通信を行う通信部をさらに備え、
    前記状態学習部は、前記通信部が受信した、前記外部装置から送信された要求に基づいて、前記状態データベースに対する前記状態データの登録、更新、または削除を行うことを特徴とする、請求項６に記載の入力支援装置。
  9. 机上面または前記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援方法であって、
    前記ユーザの位置を示す位置情報または前記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、前記ユーザの身体に関する状態を示す人物状態情報として検出し、前記机上面に載置された前記紙媒体に付された前記紙媒体の種類を示す種類判別情報を、赤外光を用いて前記机上面の反対側から検出するステップと、
    前記検出するステップにおいて検出された前記人物状態情報と、検出された前記種類判別情報が示す前記紙媒体の種類とに基づいて、１、または２以上の前記ユーザの状態を推定するステップと、
    前記推定するステップにおいて推定された前記ユーザの状態に基づいて、１、または２以上の前記ユーザに提示する内容を示す提示情報を決定するステップと、
    前記決定するステップにおいて決定された前記提示情報が示す内容をユーザに提示するステップと、
    を有することを特徴とする、入力支援方法。
  10. 机上面または前記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援装置に用いることが可能なプログラムであって、
    前記ユーザの位置を示す位置情報または前記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、前記ユーザの身体に関する状態を示す人物状態情報として検出し、前記机上面に載置された前記紙媒体に付された前記紙媒体の種類を示す種類判別情報を、赤外光を用いて前記机上面の反対側から検出するステップ、
    前記検出するステップにおいて検出された前記人物状態情報と、検出された前記種類判別情報が示す前記紙媒体の種類とに基づいて、１、または２以上の前記ユーザの状態を推定するステップ、
    前記推定するステップにおいて推定された前記ユーザの状態に基づいて、１、または２以上の前記ユーザに提示する内容を示す提示情報を決定するステップ、
    前記決定するステップにおいて決定された前記提示情報が示す内容をユーザに提示するステップ、
    をコンピュータに実行させるためのプログラム。
JP2010293057A 2010-03-24 2010-12-28 入力支援装置、入力支援方法、およびプログラム Expired - Fee Related JP5691512B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010293057A JP5691512B2 (ja) 2010-03-24 2010-12-28 入力支援装置、入力支援方法、およびプログラム
US13/064,406 US9280716B2 (en) 2010-03-24 2011-03-23 Apparatus for sensing user condition to assist handwritten entry and a method therefor

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010067697 2010-03-24
JP2010067697 2010-03-24
JP2010293057A JP5691512B2 (ja) 2010-03-24 2010-12-28 入力支援装置、入力支援方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2011221985A JP2011221985A (ja) 2011-11-04
JP5691512B2 true JP5691512B2 (ja) 2015-04-01

Family

ID=44656557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010293057A Expired - Fee Related JP5691512B2 (ja) 2010-03-24 2010-12-28 入力支援装置、入力支援方法、およびプログラム

Country Status (2)

Country Link
US (1) US9280716B2 (ja)
JP (1) JP5691512B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130057553A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Font Management
JP5767575B2 (ja) * 2011-11-28 2015-08-19 日本放送協会 位置計測装置及び位置計測システム
JP2014137627A (ja) 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
JP6122357B2 (ja) * 2013-06-28 2017-04-26 キヤノン株式会社 情報処理装置、文書合成システム、情報処理方法、及びプログラム
JP6189170B2 (ja) * 2013-10-16 2017-08-30 セコム株式会社 姿勢推定装置
JP2015180988A (ja) * 2014-03-03 2015-10-15 カシオ計算機株式会社 記入ガイド表示装置、記入ガイド表示方法、およびプログラム
JP2016110631A (ja) * 2014-12-02 2016-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 状態推定装置、状態推定方法およびプログラム
JP6358069B2 (ja) * 2014-12-10 2018-07-18 カシオ計算機株式会社 情報出力制御装置及びプログラム
JP6540222B2 (ja) * 2015-05-19 2019-07-10 大日本印刷株式会社 手書き入力装置
JP6010683B1 (ja) * 2015-06-02 2016-10-19 フロンティアマーケット株式会社 情報処理装置
CN204670627U (zh) * 2015-06-08 2015-09-30 京东方科技集团股份有限公司 一体式智能桌面设备
JP2017091299A (ja) * 2015-11-12 2017-05-25 富士ゼロックス株式会社 文書作成支援装置、文書作成支援システム及びプログラム
US10650565B2 (en) * 2017-06-02 2020-05-12 Apple Inc. Rendering animated user input strokes
JP2020129018A (ja) * 2019-02-07 2020-08-27 株式会社日立製作所 動作評価システムおよび方法
US10936801B2 (en) 2019-03-25 2021-03-02 International Business Machines Corporation Automated electronic form generation with context cues
JP7392315B2 (ja) * 2019-08-05 2023-12-06 株式会社リコー 表示装置、表示方法、プログラム
JP2021026528A (ja) * 2019-08-06 2021-02-22 Kddi株式会社 プログラム、情報処理方法、及び情報処理装置
CN110990588B (zh) * 2019-12-10 2023-04-11 黄淮学院 一种在统一识别框架下手写体文本识别器的自然语言模型小型化的方法
JP2022091577A (ja) * 2020-12-09 2022-06-21 株式会社リコー 情報処理装置、情報処理方法、プログラム、情報処理システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972496A (en) * 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
JPH0827681B2 (ja) * 1987-12-04 1996-03-21 株式会社東芝 対話型操作装置
JP2509982B2 (ja) * 1988-06-09 1996-06-26 富士通株式会社 ガイダンス画面制御方式
JPH06176015A (ja) 1992-12-09 1994-06-24 Toshiba Corp 文書作成支援装置
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
JP3350845B2 (ja) 1997-06-10 2002-11-25 栗田工業株式会社 湿式塗装ブース処理剤
JPH11249795A (ja) * 1998-03-04 1999-09-17 Casio Comput Co Ltd 筆記データ入力装置およびそのプログラム記録媒体
US6611259B1 (en) * 2000-02-16 2003-08-26 Telefonaktiebolaget Lm Ericsson (Publ) System and method for operating an electronic reading device user interface
JP2002023938A (ja) 2000-07-05 2002-01-25 Jekku:Kk 手書き文字入力システム及び記録媒体
CN1252576C (zh) * 2000-12-15 2006-04-19 丁系统有限责任公司 笔形光鼠标装置及其控制方法
US7164367B2 (en) * 2001-08-30 2007-01-16 America Online, Inc. Component-based, adaptive stroke-order system
JP2003280783A (ja) * 2002-03-20 2003-10-02 Fuji Xerox Co Ltd 表示システム及び表示方法
US7492946B2 (en) * 2004-05-24 2009-02-17 Michael James Elder System, method and computer program for an integrated digital workflow for processing a paper form
JP4954467B2 (ja) * 2004-12-08 2012-06-13 株式会社エヌ・ティ・ティ・ドコモ 通知用ユーザ状態管理装置、通知制御装置、および情報通知方法
JP2007226577A (ja) * 2006-02-23 2007-09-06 Dainippon Printing Co Ltd デジタルペンを利用したデータ入力処理システム、端末装置およびコンピュータプログラム
JP2007279971A (ja) * 2006-04-05 2007-10-25 Kenwood Corp エージェント装置及びエージェントシステム
JP4773261B2 (ja) * 2006-04-26 2011-09-14 日立オムロンターミナルソリューションズ株式会社 帳票処理装置
US8275243B2 (en) * 2006-08-31 2012-09-25 Georgia Tech Research Corporation Method and computer program product for synchronizing, displaying, and providing access to data collected from various media
JP2008234401A (ja) * 2007-03-22 2008-10-02 Fujifilm Corp ユーザ・インターフェイス装置およびその動作制御方法
JP2008269588A (ja) * 2007-03-29 2008-11-06 Matsushita Electric Ind Co Ltd 認識装置、認識方法及び認識プログラム
US8358964B2 (en) * 2007-04-25 2013-01-22 Scantron Corporation Methods and systems for collecting responses
FR2919406B1 (fr) * 2007-07-23 2009-10-23 Commissariat Energie Atomique Procede et dispositif de reconnaissance de position ou de mouvement d'un dispositif ou d'un etre vivant.
US8517834B2 (en) * 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
JP5600953B2 (ja) * 2010-02-05 2014-10-08 沖電気工業株式会社 情報処理装置、情報処理システムおよび情報処理方法

Also Published As

Publication number Publication date
US9280716B2 (en) 2016-03-08
JP2011221985A (ja) 2011-11-04
US20110235915A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5691512B2 (ja) 入力支援装置、入力支援方法、およびプログラム
US20240046643A1 (en) Augmented Reality, Computer Vision, and Digital Ticketing Systems
US9986419B2 (en) Social reminders
WO2021082753A1 (zh) 蛋白质的结构信息预测方法、装置、设备及存储介质
US8527348B2 (en) Short-range communication enabled location service
US20190079591A1 (en) System and method for human gesture processing from video input
Quintana et al. Augmented reality annotations to assist persons with Alzheimers and their caregivers
US11113485B2 (en) Method to correlate an object with a localized tag
US9020918B2 (en) Information registration device, information registration method, information registration system, information presentation device, informaton presentation method, informaton presentaton system, and program
US7805246B2 (en) View-independent tagging of geospatial entities in images
US8948451B2 (en) Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program
KR20140078518A (ko) 외부 기기 관리 방법, 외부 기기의 동작 방법, 호스트 단말, 관리 서버 및 외부 기기
WO2018159736A1 (ja) 情報処理装置、端末装置、情報処理方法、情報出力方法、接客支援方法及び記録媒体
US11289084B2 (en) Sensor based semantic object generation
US8615435B2 (en) Short-range communication enabled location service
US20170228105A1 (en) Generation of Media Content for Transmission to a Device
JP2019036201A (ja) 出力制御装置、出力制御方法及び出力制御プログラム
JP2013041413A (ja) 記入支援システム、サーバ装置、記入支援装置、及びプログラム
JP7476881B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018109893A (ja) 情報処理方法、装置、及びプログラム
JPH11249779A (ja) 見学者案内支援装置および方法
TW202004619A (zh) 自助結帳系統、方法與裝置
US10446154B2 (en) Collaborative recognition apparatus and method
JP7452524B2 (ja) 情報処理装置、及び情報処理方法
WO2022199078A1 (zh) 商品动态信息生成方法、装置、设备及计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150119

R150 Certificate of patent or registration of utility model

Ref document number: 5691512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees