JP5691512B2 - 入力支援装置、入力支援方法、およびプログラム - Google Patents

入力支援装置、入力支援方法、およびプログラム Download PDF

Info

Publication number
JP5691512B2
JP5691512B2 JP2010293057A JP2010293057A JP5691512B2 JP 5691512 B2 JP5691512 B2 JP 5691512B2 JP 2010293057 A JP2010293057 A JP 2010293057A JP 2010293057 A JP2010293057 A JP 2010293057A JP 5691512 B2 JP5691512 B2 JP 5691512B2
Authority
JP
Japan
Prior art keywords
state
user
input
information
support apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010293057A
Other languages
English (en)
Other versions
JP2011221985A (ja
Inventor
▲徳▼郎 山口
▲徳▼郎 山口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2010293057A priority Critical patent/JP5691512B2/ja
Priority to US13/064,406 priority patent/US9280716B2/en
Publication of JP2011221985A publication Critical patent/JP2011221985A/ja
Application granted granted Critical
Publication of JP5691512B2 publication Critical patent/JP5691512B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334Foot operated pointing devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/1444Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields
    • G06V30/1456Selective acquisition, locating or processing of specific regions, e.g. highlighted text, fiducial marks or predetermined fields based on user interactions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、入力支援装置、入力支援方法、およびプログラムに関する。
例えば、PC(Personal Computer)などのコンピュータの普及や、タッチスクリーンを用いた操作パネルなどのような表示画面上で操作が可能なデバイスの普及に伴い、ユーザが文字などを入力する入力方法は多様化している。また、その一方で、例えば金融機関などの店舗における用紙(紙媒体の一例)への記入など、ユーザが文字などを手書きで入力する機会は、依然として存在している。
このような中、ユーザが手書きで文字などを入力する場合の処理に関する様々な技術が開発されている。手書きで入力された文字を認識する場合における負荷を軽減し、金融機関などにおける事務処理の負荷の軽減を図る技術としては、例えば、特許文献1が挙げられる。また、タブレット上に配置された文字などを入力するためのシートの位置、および角度を検出することにより、当該シート上に入力された文字などの認識する技術としては、例えば、特許文献2が挙げられる。
また、ユーザによる入力を支援する技術も開発されている。記載項目が決まっている文書の作成を支援する技術としては、例えば、特許文献3が挙げられる。
特開平1−100672号公報 特開2002−23938号公報 特開平6−176015号公報
例えば特許文献1や特許文献2に示すように、ユーザが手書きで文字などを入力する場合の処理に関する従来の技術は、例えば操作パネルやペンカーソルなどを用いたデジタル入力方式を用いることによって、ユーザにより手書きで入力された文字などを装置が認識する場合の負荷の軽減を図っている。
ここで、例えばユーザが金融機関などの店舗において用紙(紙媒体)などに手書きで記入を行う場合には、ユーザが記入しなければならない項目が複数あり、また、記載例や注意事項なども煩雑である場合がある。そのため、ユーザが記入の際に必要となる情報を容易に見つけることができないことが、起こりうる。
しかしながら、ユーザが手書きで文字などを入力する場合の処理に関する従来の技術では、ユーザによる手書き入力を支援することについて考慮がなされていない。そのため、ユーザが手書きで文字などを入力する場合の処理に関する従来の技術を用いたとしても、手書きで文字を入力するユーザの利便性の向上を図ることは、望むべくもない。
また、ユーザが手書きで文字などを入力する場合の処理に関する従来の技術は、例えば操作パネルやペンカーソルなどを用いたデジタル入力方式を用いる技術であるので、例えばユーザが紙媒体に記入をする場合には、当該従来の技術を適用することは、困難である。
また、例えば特許文献3に示すユーザによる入力を支援する従来の技術は、ユーザが必要に応じて記載項目に対応するメッセージや例文などを選択することによって、選択されたメッセージや例文などのユーザによる入力を支援するための情報の内容を画面に表示する。
しかしながら、ユーザによる入力を支援する従来の技術では、ユーザによる所定の操作がなされなければ、ユーザによる入力を支援するための情報の内容は画面に表示されない。したがって、ユーザによる入力を支援する従来の技術を用いる場合にはユーザに負担がかかることから、ユーザによる入力を支援する従来の技術を用いたとしても、ユーザの利便性の向上を図ることができるとは限らない。
本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることが可能な、新規かつ改良された入力支援装置、入力支援方法、およびプログラムを提供することにある。
上記課題を解決するために、本発明の第1の観点によれば、机上面または上記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援装置であって、上記ユーザの位置を示す位置情報または上記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、上記ユーザの身体に関する状態を示す人物状態情報として検出する検出部と、上記検出部が検出した上記人物状態情報に基づいて、1、または2以上の上記ユーザの状態を推定する状態推定部と、上記状態推定部が推定した上記ユーザの状態に基づいて、1、または2以上の上記ユーザに提示する内容を示す提示情報を決定する提示情報決定部と、上記提示情報決定部において決定された上記提示情報が示す内容をユーザに提示する情報提示部と、を備え、上記検出部は、上記机上面に載置された上記紙媒体に付された上記紙媒体の種類を示す種類判別情報を、赤外光を用いて上記机上面の反対側からさらに検出し、上記状態推定部は、さらに上記検出部において検出された上記種類判別情報が示す上記紙媒体の種類に基づいて、上記ユーザの状態を推定する入力支援装置が提供される。
かかる構成により、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
また、上記検出部は、上記机上面における上記ユーザによる入力の位置を示す入力位置情報と、上記ユーザによる入力の内容を示す入力内容情報のうちのいずれか一方または双方を、上記ユーザによる入力の状態を示す入力状態情報としてさらに検出し、上記状態推定部は、上記検出部が検出した上記人物状態情報と、上記検出部が検出した上記入力状態情報とに基づいて、上記ユーザの状態を推定してもよい。
また、上記状態推定部は、上記ユーザの身体に関する状態と上記入力の状態とに関する条件を複数設け、上記人物状態情報と上記入力状態情報とに基づいて、上記複数の条件それぞれを満たすか否かを判定し、複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定してもよい。
また、上記状態推定部は、上記人物状態情報、および上記入力状態情報それぞれに基づいて、上記ユーザの状態を推定してもよい。
また、上記検出部は、上記机上面に載置された上記紙媒体に付された上記紙媒体の種類を示す種類判別情報をさらに検出し、上記状態推定部は、さらに上記検出部において検出された上記種類判別情報が示す上記紙媒体の種類に基づいて、上記ユーザの状態を推定してもよい。
また、少なくとも上記人物状態情報と上記ユーザの状態の推定結果候補とが対応付けられている状態データが記憶された状態データベースを管理する状態学習部をさらに備え、上記状態学習部は、上記検出部が検出した上記人物状態情報と、上記状態データベースとに基づいて、上記人物状態情報に対応する上記ユーザの状態の推定結果候補を特定し、上記状態推定部は、上記状態学習部が特定した上記ユーザの状態の推定結果候補に基づいて、上記ユーザの状態を推定してもよい。
また、上記状態推定部は、上記ユーザの状態の推定結果を上記状態学習部へ伝達して、上記状態学習部に、上記状態データベースに対する上記状態データの登録、更新、または削除を行わせてもよい。
また、外部装置と通信を行う通信部をさらに備え、上記状態学習部は、上記通信部が受信した、上記外部装置から送信された要求に基づいて、上記状態データベースに対する上記状態データの登録、更新、または削除を行ってもよい。
また、上記目的を達成するために、本発明の第2の観点によれば、机上面または上記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援方法であって、上記ユーザの位置を示す位置情報または上記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、上記ユーザの身体に関する状態を示す人物状態情報として検出し、上記机上面に載置された上記紙媒体に付された上記紙媒体の種類を示す種類判別情報を、赤外光を用いて上記机上面の反対側から検出するステップと、上記検出するステップにおいて検出された上記人物状態情報と、検出された上記種類判別情報が示す上記紙媒体の種類とに基づいて、1、または2以上の上記ユーザの状態を推定するステップと、上記推定するステップにおいて推定された上記ユーザの状態に基づいて、1、または2以上の上記ユーザに提示する内容を示す提示情報を決定するステップと、上記決定するステップにおいて決定された上記提示情報が示す内容をユーザに提示するステップと、を有する入力支援方法が提供される。
かかる方法を用いることによって、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
また、上記目的を達成するために、本発明の第2の観点によれば、机上面または上記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援装置に用いることが可能なプログラムであって、上記ユーザの位置を示す位置情報または上記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、上記ユーザの身体に関する状態を示す人物状態情報として検出し、上記机上面に載置された上記紙媒体に付された上記紙媒体の種類を示す種類判別情報を、赤外光を用いて上記机上面の反対側から検出するステップ、上記検出するステップにおいて検出された上記人物状態情報と、検出された上記種類判別情報が示す上記紙媒体の種類とに基づいて、1、または2以上の上記ユーザの状態を推定するステップ、上記推定するステップにおいて推定された上記ユーザの状態に基づいて、1、または2以上の上記ユーザに提示する内容を示す提示情報を決定するステップ、上記決定するステップにおいて決定された上記提示情報が示す内容をユーザに提示するステップ、をコンピュータに実行させるためのプログラムが提供される。
かかるプログラムを用いることによって、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
本発明によれば、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
本発明の第1の実施形態に係る入力支援装置の構成の一例を示すブロック図である。 本発明の実施形態に係る入力支援装置における推定処理の一例を説明するための説明図である。 本発明の実施形態に係る提示情報の一例を示す説明図である。 本発明の第1の実施形態に係る入力支援装置における処理の一例を説明するための説明図である。 本発明の第1の実施形態に係る入力支援装置における処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における位置情報の検出処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における位置情報の検出処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における姿勢情報の検出処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における姿勢情報の検出処理の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における姿勢情報の検出処理の他の例を示す説明図である。 本発明の実施形態に係る入力支援装置における提示の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における提示の一例を示す説明図である。 本発明の実施形態に係る入力支援装置における入力位置・入力内容検出処理の一例を示す説明図である。 本発明の第2の実施形態に係る入力支援装置の構成の一例を示すブロック図である。 本発明の実施形態に係る状態データベースの一例を示す説明図である。 本発明の第2の実施形態に係る入力支援装置における処理の一例を示す説明図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(本発明の実施形態に係る入力支援方法)
本発明の実施形態に係る入力支援装置(以下、総称して「入力支援装置1000」と示す場合がある。)の構成について説明する前に、本発明の実施形態に係る入力支援方法について説明する。以下では、本発明の実施形態に係る入力支援方法に係る処理を入力支援装置1000が行うものとして説明する。
以下では、入力支援装置1000が、例えばユーザが机上面に載置された紙媒体(例えば記入用紙など)に手書きで記入を行う場合において、ユーザによる手書き入力を支援する場合を主に例に挙げて説明する。なお、本発明の実施形態に係る入力支援装置1000が支援する対象は、紙媒体への手書き入力に限られない。例えば、入力支援装置1000は、机上面に表示された画像(例えば記入用紙に相当する画像)に対するユーザによる手書き入力を支援することも可能である。
また、入力支援装置1000が手書き入力を支援する対象としては、ユーザによる文字の入力が挙げられるが、入力支援装置1000が手書き入力を支援する対象は、上記に限られない。例えば、入力支援装置1000は、複数の選択項目の中から1または2以上の項目を選択する入力など、文字入力以外のユーザによる入力を支援することも可能である。
上述したように、ユーザによる入力を支援する従来の技術では、ユーザによる所定の操作がなされなければユーザを支援するための情報の内容が画面に表示されないので、ユーザに負担を強いることとなる。よって、ユーザによる入力を支援する従来の技術を用いたとしても、ユーザの利便性の向上を図ることができるとは限らない。
また、例えばユーザが金融機関などの店舗において手書きで入力を行う場合、文字などの入力が求められる事項としては、例えばユーザの個人情報などのユーザのプライバシーに係る事項が挙げられる。そのため、ユーザによる手書き入力を支援する場合には、例えば、隠すべき情報の内容をユーザに対して表示しないことや、プライバシーに係る事項については音声では提示しないなど、ユーザに提示する情報に応じてユーザに提示する情報の内容やユーザに提示する方法を変えることが、プライバシーを保護する観点から望ましい。
そこで、本発明の実施形態に係る入力支援装置1000は、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示することにより、ユーザによる手書き入力を支援する。ここで、入力支援装置1000は、手書き入力を行うユーザの状態を推定し、推定結果に基づいて、推定結果に対応する情報の内容をユーザに提示するので、ユーザは、入力支援装置1000に対して提示を要求するための操作を特段行う必要はない。したがって、入力支援装置1000は、例えばユーザによる入力を支援する従来の技術のようにユーザに負担をかけることはないので、当該従来の技術を用いる場合よりも、ユーザの利便性をより向上させることができる。
また、入力支援装置1000は推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示するので、入力支援装置1000は、ユーザに特段の操作を強いることなく、プライバシーを保護した上で手書き入力の支援のための情報の内容を、ユーザに提示することが可能である。
ここで、本発明の実施形態に係る入力支援装置1000がユーザに提示する手書き入力の支援のための情報(以下、「提示情報」と示す。)が示す内容としては、例えば、ユーザが記入する紙媒体の記入例(見本)を示す画像や、記入の際の注意事項を示す文字、記入内容に誤りがあった場合の該当箇所を示す画像、各種注意メッセージなどが挙げられる。なお、本発明の実施形態に係る提示情報は、ユーザが手書き入力を行っている場合に提示されるデータに限られない。例えば、入力支援装置1000は、ユーザが記入する紙媒体の選択に迷っていることを推定して、係員を呼び出す旨のメッセージをユーザに提示することができる(ユーザが手書き入力を行う前に提示される提示情報の内容の一例)。また、入力支援装置1000は、例えば、ユーザが記入を完了したことを推定して、記入した紙媒体を提出する場所を示す地図画像をユーザに提示することも可能である(ユーザが手書き入力を完了した後に提示される提示情報の内容の一例)。
また、本発明の実施形態に係る入力支援装置1000が提示情報の内容をユーザに提示する提示方法としては、例えば、入力支援装置1000が備える表示デバイス(例えば後述する表示部)や外部装置が備える表示デバイスに表示する方法(視覚的な提示)が挙げられる。なお、本発明の実施形態に係る提示情報の提示方法は、上記に限られない。例えば、本発明の実施形態に係る入力支援装置1000は、音声(音楽も含む。以下、同様とする。)による提示(聴覚的な提示)や、振動による提示(触覚的な提示)、温度変化による温度提示(触覚的な提示)、風による風提示(触覚的な提示)など、ユーザの五感に訴える様々な提示方法を用いて提示を行うことができる。ここで、入力支援装置1000は、例えば、音量や音源の方向などのパラメータを用いて音声による提示を行い、振動方向や振動間隔などのパラメータを用いて振動による提示を行う。また、入力支援装置1000は、例えば、机上面の温度分布をパラメータとして用いて温度提示を行い、風力や風向などのパラメータを用いて風提示を行う。
上記のように、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示することによって、入力支援装置1000は、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
より具体的には、入力支援装置1000は、例えば下記の(1)の処理(検出処理)〜(4)の処理(提示処理)を行うことによって、ユーザの利便性の向上を図る。
(1)検出処理
入力支援装置1000は、手書き入力を行うユーザの状態を推定するために用いる情報(以下、総称して「検出情報」と示す。)を検出する。本発明の実施形態に係る検出情報としては、例えば、ユーザの身体に関する状態(以下、「人物状態」と示す場合がある。)を示す人物状態情報と、ユーザによる机上面または机上面に載置された紙媒体への入力の状態を示す入力状態情報とが挙げられる。なお、本発明の実施形態に係る検出情報は、上記に限られない。例えば、ユーザが机上面に載置された紙媒体に入力(記入)を行う場合、入力支援装置1000は、紙媒体に付された紙媒体の種類を示す種類判別情報を、検出情報として当該紙媒体から検出することも可能である。ここで、本発明の実施形態に係る種類判別情報は、例えばバーコードの形式で紙媒体に付されるが、紙媒体に種類判別情報を付す方法は、上記に限られない。
ここで、本発明の実施形態に係る人物状態情報としては、例えば、ユーザの位置を示す位置情報またはユーザの姿勢を示す姿勢情報のうちのいずれか一方、または双方が挙げられる。ユーザの位置および/またはユーザの姿勢を検出することによって、入力支援装置1000は、支援対象のユーザの身体的な状態を特定することができる。よって、入力支援装置1000は、後述する(2)の処理(推定処理)において、特定されるユーザの身体的な状態に対応する状態に基づいて、ユーザの状態を推定することが可能となる。
また、本発明の実施形態に係る入力状態情報としては、例えば、机上面におけるユーザによる入力の位置を示す入力位置情報と、ユーザによる入力の内容を示す入力内容情報のうちのいずれか一方、または双方が挙げられる。机上面におけるユーザによる入力の位置および/またはユーザによる入力の内容を検出することによって、入力支援装置1000は、例えば支援対象のユーザが机上面(または紙媒体上)のどこに何を入力しているのかなど、ユーザによる入力の状態を特定することができる。よって、入力支援装置1000は、後述する(2)の処理(推定処理)において、特定される入力の状態に対応する状態に基づいて、ユーザの状態を推定することが可能となる。また、例えば、紙媒体から検出した種類判別情報に基づいて特定される机上面に載置された紙媒体と、ユーザによる入力の状態の特定結果とを用いることによって、入力支援装置1000は、ユーザにより入力された内容に誤りがあるか否かを判定することも可能である。
入力支援装置1000は、(1)の処理において、例えば上記のような検出情報を検出する。なお、入力支援装置1000は、人物状態情報、入力状態情報、および種類判別情報の全てを、検出情報として検出することに限られない。例えば、入力支援装置1000は、人物状態情報と入力状態情報とのうちのいずれか一方を、検出情報として検出することも可能である。また、人物状態情報、入力状態情報、および種類判別情報の具体的な検出方法については、後述する。
(2)推定処理
上記(1)の処理(検出処理)において検出情報が検出されると、入力支援装置1000は、検出した検出情報に基づいて、1、または2以上の手書き入力を行うユーザの状態を推定する。
より具体的には、入力支援装置1000は、例えば、検出された検出情報それぞれを用いたユーザの状態の推定、および/または、検出された検出情報を組合せたユーザの状態の推定によって、1または2以上のユーザの状態を推定する。また、入力支援装置1000は、例えば推定結果を学習し、学習結果を用いて推定を行うことも可能である。なお、入力支援装置1000における推定処理の具体例については、後述する。
ここで、入力支援装置1000は、各時点において検出された人物状態情報や入力状態情報を用いてユーザの状態を推定するが、入力支援装置1000における処理は、上記に限られない。例えば、入力支援装置1000は、複数の人物状態情報を用いて人物状態の時系列変化や、複数の入力状態情報を用いた入力状態の時系列変化を検出して、検出した時系列変化の情報を用いてユーザの状態を推定することも可能である。なお、入力支援装置1000は、上記時系列変化の情報の検出を、上記(1)の処理(検出処理)において行ってもよい。以下では、本発明の実施形態に係る人物状態情報には、人物状態の時系列変化の情報が含まれうるものとし、また、本発明の実施形態に係る入力状態情報には、入力状態の時系列変化の情報が含まれうるものとして説明する。
(3)提示情報決定処理
上記(2)の処理(推定処理)においてユーザの状態が推定されると、入力支援装置1000は、推定したユーザの状態に基づいて、1、または2以上の提示情報を決定する。
より具体的には、入力支援装置1000は、推定結果(例えばIDで表される。)と提示内容や提示方法などを示す情報とが、推定結果ごとに対応付けて記録された提示情報データベース(提示情報の一例)を用いることによって、推定したユーザの状態に対応する提示情報を決定する。ここで、本発明の実施形態に係る提示内容を示す情報としては、例えば、ユーザに提示するメッセージを示すテキストデータや、ユーザに提示する画像(静止画像/動画像)を示す画像データ、ユーザに提示する音声を示す音声データなどが挙げられる。また、本発明の実施形態に係る提示内容を示す情報は、上記各データが記憶されている場所を示す情報(例えばファイルパス)であってもよい。
また、提示情報データベースには、推定結果ごとに優先度が設定されていてもよい。推定結果ごとに優先度が設定されることによって、入力支援装置1000は、後述する(4)の処理(提示処理)において、優先度に基づいて表示順序や表示内容を調整してユーザに提示することが可能となる。なお、本発明の実施形態に係る提示情報が、例えばRDB(Relational DataBase)などのデータベースに限られないことは、言うまでもない。
(4)提示処理
上記(3)の処理において提示情報が決定されると、入力支援装置1000は、決定された提示情報に基づいて、提示情報が示す内容をユーザに提示する。
ここで、上記(3)の処理において複数の提示情報が決定され、提示情報に優先度が設定されている場合には、入力支援装置1000は、例えば、設定されている優先度に基づいて、提示情報の提示順序や提示内容を調整してユーザに提示する。より具体的には、入力支援装置1000は、例えば、優先度が高い順に提示情報が示す内容をユーザに提示する。また、例えば、提示情報に設定されている提示情報の内容を表示する領域を示す表示指定領域が、複数の提示情報で重なっている場合には、入力支援装置1000は、優先度がより高い提示情報を表示指定領域に表示させ、他の提示情報の表示位置を、他の提示情報と重ならない領域に表示させる。また、決定された複数の提示情報の中に、優先度が同一の提示情報がある場合には、入力支援装置1000は、例えば、推定結果を示すID(例えば数字で表される。)が小さい方を優先的に提示する。なお、提示情報に優先度が設定されている場合における提示処理が、上記に限られないことは、言うまでもない。
入力支援装置1000は、例えば上記(1)の処理(検出処理)〜(4)の処理(提示処理)を、本発明の実施形態に係る提示方法に係る処理として行う。上記(1)の処理(検出処理)〜(4)の処理(提示処理)を行うことによって、入力支援装置1000は、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示することが可能となる。
したがって、例えば上記(1)の処理(検出処理)〜(4)の処理(提示処理)を行うことによって、入力支援装置1000は、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。
(本発明の実施形態に係る入力支援装置)
次に、上述した本発明の実施形態に係る提示方法に係る処理を行うことが可能な、本発明の実施形態に係る入力支援装置1000の構成の一例について説明する。以下では、本発明の実施形態に係る入力支援装置1000が、例えば金融機関や公共機関などの記載台や窓口におけるユーザの手書き入力を支援する場合を例に挙げて説明する。なお、本発明の実施形態に係る入力支援装置1000が、上記の用途に用いられることに限られないことは、言うまでもない。
[第1の実施形態に係る入力支援装置]
図1は、本発明の第1の実施形態に係る入力支援装置100の構成の一例を示すブロック図である。
入力支援装置100は、例えば、検出部102と、状態推定部104と、提示情報決定部106と、情報提示部108とを備える。
また、入力支援装置100は、例えば、制御部(図示せず)や、ROM(Read Only Memory;図示せず)、RAM(Random Access Memory;図示せず)、記憶部(図示せず)などを備えてもよい。入力支援装置100は、例えば、データの伝送路としてのバス(bus)により各構成要素間を接続する。
ここで、制御部(図示せず)は、例えばMPU(Micro Processing Unit)や各種機能を実現するための集積回路などで構成され、入力支援装置100全体を制御する役目を果たす。また、制御部(図示せず)は、例えば状態推定部104や提示情報決定部106など、本発明の実施形態に係る提示方法に係る処理を行う役目を果たしてもよい。ROM(図示せず)は、例えば制御部(図示せず)が使用するプログラムや演算パラメータなどの制御用データを記憶する。RAM(図示せず)は、例えば制御部(図示せず)により実行されるプログラムなどを一時的に記憶する。記憶部(図示せず)は、入力支援装置100が備える記憶手段であり、アプリケーションや様々なデータを記憶する。また、例えば、上述した提示情報データベースや、後述する状態データベースなどの本発明の実施形態に係るデータベースやデータは、記憶部(図示せず)に記憶されていてもよい。ここで、記憶部(図示せず)としては、例えば、ハードディスクなどの磁気記録媒体や、フラッシュメモリなどの不揮発性メモリなどが挙げられる。
検出部102は、例えば、位置検出部110と、姿勢検出部112と、入力位置検出部114と、入力内容検出部116とを備え、上記(1)の処理(検出処理)を主導的に行う役目を果たす。
位置検出部110は、例えば複数のカメラアレイや、圧力センサなどで構成され、ユーザの位置を検出して位置情報を生成する(位置情報の検出)。また、姿勢検出部112は、例えばレーザレンジファインダなどで構成され、ユーザの姿勢を検出して姿勢情報を生成する(姿勢情報の検出)。つまり、位置検出部110と姿勢検出部112とは、本発明の実施形態に係る人物状態情報を生成する役目を果たす。
なお、図1では、検出部102が位置情報および姿勢情報の双方を検出する例を示しているが、検出部102の構成は、上記に限られない。例えば、入力支援装置100は、位置検出部110および姿勢検出部112の双方を備えない構成(すなわち、人物状態情報を検出しない構成)をとることができ、また、位置検出部110および姿勢検出部112のうちのいずれか一方を備える構成(すなわち、位置情報または姿勢情報のいずれかを検出する構成)をとることも可能である。
また、位置検出部110と姿勢検出部112との構成は、上記に限られない。例えば、入力支援装置100は、ユーザの位置を特定する可能な任意のデバイス(またはデバイスの組合せ)を位置検出部110として備えることができ、また、ユーザの姿勢を特定する可能な任意のデバイス(またはデバイスの組合せ)を姿勢検出部112として備えることができる。
入力位置検出部114は、例えば赤外線カメラなどで構成され、ユーザが手書き入力に用いる入力装置の入力ポイントを検出して入力位置情報を生成する(入力位置情報の検出)。ここで、本発明の実施形態に係る入力装置としては、例えばペンなどが挙げられ、また、本発明の実施形態に係る入力装置の入力ポイントとしては、例えばペン先が挙げられる。また、入力位置検出部114は、机上面に載置された用紙(紙媒体の一例。以下、同様とする。)に付されたバーコードを読み取り、種類判別情報を検出する役目を果たしてもよい。
また、入力内容検出部116は、例えば、超音波センサと赤外線センサで構成され、ユーザの記入内容を検出して入力内容情報を生成する(入力内容情報の検出)。なお、入力内容検出部116の構成は、超音波と赤外線とを組み合わせた文字認識の方式を用いてユーザの記入内容を検出する構成に限られない。例えば、本発明の実施形態に係る入力内容検出部116は、ユーザの手書き入力の内容を検出可能な任意の方式を実現するための構成をとることが可能である。
つまり、入力位置検出部114と入力内容検出部116とは、本発明の実施形態に係る入力状態情報を生成する役目を果たす。なお、図1では、検出部102が入力位置情報および入力内容情報の双方を検出する例を示しているが、検出部102の構成は、上記に限られない。例えば、入力支援装置100は、入力位置検出部114および入力内容検出部116の双方を備えない構成(すなわち、入力状態情報を検出しない構成)をとることができ、また、入力位置検出部114および入力内容検出部116のうちのいずれか一方を備える構成(すなわち、入力位置情報または入力内容情報のいずれかを検出する構成)をとることも可能である。
検出部102は、例えば、上記のような構成を有する位置検出部110、姿勢検出部112、入力位置検出部114、および入力内容検出部116を備えることによって、上記(1)の処理(検出処理)を主導的に行う。なお、本発明の実施形態に係る検出部102が、検出部102を構成する各構成要素間でセンサ類を共有することが可能な構成をとることができることは、言うまでもない。
状態推定部104は、例えば、人物状態推定部118と、入力状態推定部120と、組合せ推定部122とを備え、上記(2)の処理(推定処理)を主導的に行う役目を果たす。より具体的には、状態推定部104は、検出部102から伝達される検出情報に基づいて、1、または2以上の手書き入力を行うユーザの状態を推定する。そして、状態推定部104は、例えば、推定結果を示す識別情報を、提示情報決定部106へ伝達する。以下では、識別情報を「状態ID」と示す場合がある。
人物状態推定部118は、検出部102から伝達される、ユーザの身体に関する状態を示す人物状態情報に基づいて、ユーザの状態を推定する。
例えば、人物状態推定部118は、伝達される位置情報が示すユーザの位置が、所定の範囲内にないときには、ユーザが通常入力を行う位置から外れていると推定する。上記の場合には、入力支援装置100は、例えば、上記所定の範囲内にユーザを誘導するための提示を行う。また、人物状態推定部118は、例えば、伝達される姿勢情報が、ユーザが頭を何度も傾けたことを示すときには、ユーザが係員など探していると推定する。上記の場合には、入力支援装置100は、例えば、係員にユーザが探していることを知らせるために、例えばランプを点灯させることによる視覚的な通知や、音声による聴覚的な通知を行う。また、例えば上記のように視覚的な通知や聴覚的な通知を行う場合には、入力支援装置100は、ユーザに対してもその旨を提示することとなる。また、人物状態推定部118は、位置情報と姿勢情報とが伝達される場合には、上記のような位置情報、姿勢情報それぞれに基づく推定を行うことができ、また、位置情報および姿勢情報を組み合わせて推定を行うことも可能である。なお、人物状態推定部118における推定の例が、上記に限られないことは、言うまでもない。
入力状態推定部120は、検出部102から伝達される、入力の状態を示す入力状態情報に基づいて、ユーザの状態を推定する。
例えば、入力状態推定部120は、伝達される入力位置情報が示す入力位置が所定の範囲内にないときには、入力を行う位置から外れていると推定する。上記の場合には、入力支援装置100は、例えば、エラーメッセージや警告メッセージをユーザに提示する。ここで、入力状態推定部120は、例えば検出された種類判別情報をさらに用いることによって、用紙における記入欄から外れていることを推定することが可能である。また、入力状態推定部120は、例えば、伝達される入力内容情報に基づいて入力内容に誤りがあることを推定する。入力状態推定部120は、例えば、ユーザが住所を記入した場合、記入された内容と一致する地名が存在しない場合には、入力内容に誤りがあることを推定する。上記の場合には、入力支援装置100は、例えばエラーメッセージや警告メッセージをユーザに提示する。また、入力状態推定部120は、入力位置情報と入力内容情報とが伝達される場合には、上記のような入力位置情報、入力内容情報それぞれに基づく推定を行うことができ、また、入力位置情報および入力内容情報を組み合わせて推定を行うことも可能である。なお、入力状態推定部120における推定の例が、上記に限られないことは、言うまでもない。
組合せ推定部122は、人物状態情報と入力状態情報とに基づいて、ユーザの状態を推定する。
例えば、姿勢情報が重心位置を示す場合、組合せ推定部122は、当該重心位置、当該重心位置の分散、および所定の閾値に基づいて、ユーザの前屈み量の度合い(例えば、大、中、小の三段階で表される。)を特定する。そして、組合せ推定部122は、例えば、特定したユーザの前屈み量の度合いと、位置情報が示すユーザの位置と、入力位置情報が示す入力位置とに基づいて、机上面のどの入力欄にユーザが記載を行っているかを推定する。また、組合せ推定部122は、検出された種類判別情報をさらに用いることによって、机上面に載置された用紙のどの入力欄にユーザが記載を行っているかを推定することが可能である。
また、組合せ推定部122は、入力内容情報に基づいて入力内容に誤りがあることを推定した場合には、さらにユーザの前屈み量の度合いに基づいて、ユーザの状態を推定することも可能である。例えば、上記の場合において、ユーザの前屈み量が大きいときには、組合せ推定部122は、ユーザが入力の誤りに気づいていない状態(すなわち、ユーザに対する注意喚起が必要な状態)であると推定する。また、上記の場合において、ユーザの前屈み量が小さいときには、組合せ推定部122は、ユーザが記入する内容に迷っている状態(すなわち、係員などの呼び出しを促すメッセージが必要な可能性がある状態)であると推定する。
組合せ推定部122は、例えば上記のようにユーザの身体に関する状態と入力の状態とを段階的に推定することによって、ユーザの状態を推定する。ここで、組合せ推定部122は、例えば2クラスのパターン識別器であるサポートベクターマシーン(Support Vector Machine:SVC)などの識別手法を用いることによって、上記段階的な推定を実現することができる。
なお、組合せ推定部122における推定方法は、上記に限られない。例えば、組合せ推定部122は、設定された複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定することもできる。より具体的には、組合せ推定部122は、例えば、ユーザの身体に関する状態と入力の状態とに関する条件を複数設け、伝達される人物状態情報と入力状態情報とに基づいて、当該複数の条件それぞれを満たすか否かを判定する。そして、組合せ推定部122は、複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定する。
図2は、本発明の実施形態に係る入力支援装置100における推定処理の一例を説明するための説明図であり、入力支援装置100(より厳密には、状態推定部104)がユーザの状態の推定に用いるテーブルの一例を示している。図2に示すように、状態推定部104が推定するユーザの状態としては、例えば、“記入開始状態”や、“ユーザが用紙の選択に迷っている状態”、“ユーザが記入箇所に迷っている状態”などが挙げられる。なお、入力支援装置100が推定するユーザの状態は、図2に示す例に限られない。例えば、入力支援装置100は、“ユーザが用紙に記入を行っている状態”や、“用紙への記入に誤りがある状態”など様々な状態が挙げられる。
また、図2に示す条件1、条件2、…は、状態推定部104が、人物状態情報や入力状態情報などに基づいて推定する各状態を示している。状態推定部104を構成する組合せ推定部122は、検出部102から伝達される人物状態情報や入力状態情報などに基づいて、条件を満たしている(図2に示すT)、または、条件を満たしていない(図2に示すF)を、条件ごとに判定する。そして、組合せ推定部122は、判定結果の組合せに対応する状態(図2に示す推定状態)を、ユーザの状態として推定する。
例えば、ユーザが記入箇所に迷っている状態としては、(a)位置情報が示すユーザの位置が、書き込みが可能な所定の範囲内にあること、(b)姿勢情報が示す姿勢が、ユーザが書き込みを行うことが可能な姿勢であること、(c)入力位置情報が示す入力位置が、ユーザが記入を行うことが可能な位置であること、(d)入力内容情報が示す入力内容が、例えば数秒など所定の時間変化していないこと、の4つの条件を満たす場合が挙げられる。
よって、状態推定部104を構成する組合せ推定部122は、例えば図2に示すようなテーブルを用いることによって、複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定することができる。
なお、本発明の実施形態に係る状態推定部104がユーザの状態の推定に用いるテーブルは、図2に示す例に限られない。例えば、状態推定部104は、同一のユーザの状態を異なる条件の組合せに対応付けることによって、同一のユーザの状態を異なるユーザの状態として推定することも可能である。入力内容に誤りがある状態を例に挙げると、状態推定部104は、例えば、入力の誤りがある閾値以下(または閾値未満。以下、同様とする。)の場合には、注意喚起のメッセージを提示するための状態として推定する。また、状態推定部104は、例えば、入力の誤りがある閾値を超えた場合(または閾値以上の場合。以下、同様とする。)には、係員を呼び出す旨のメッセージを提示する。状態推定部104は、同一のユーザの状態であっても条件の組合せに応じて異なる状態IDとすることによって、同一のユーザの状態に対して異なる提示を行うことができる。
また、入力支援装置100が、ユーザの入力内容(例えば、氏名や、口座番号など)に基づいて、ユーザの年齢や性別などのユーザの属性を示す属性情報を取得する機能を有している場合には、状態推定部104は、属性情報に対応する条件を推定の条件の一つとすることによって、同一のユーザの状態を異なる条件の組合せに対応付けることも可能である。上記によって、状態推定部104は、同一のユーザの状態であっても、例えばユーザの年齢層などの属性に応じて、ユーザに提示する内容や方法を変化させることができる。
状態推定部104は、例えば、人物状態推定部118、入力状態推定部120、および組合せ推定部122を備えることによって、上記(2)の処理(推定処理)を主導的に行う。なお、本発明の実施形態に係る状態推定部104は、人物状態推定部118、入力状態推定部120、および組合せ推定部122で構成される例に限られない。例えば、状態推定部104は、検出部102の構成に応じて、人物状態推定部118、入力状態推定部120、および組合せ推定部122のうちの、いずれかを備える構成をとることも可能である。
再度図1を参照して、本発明の第1の実施形態に係る入力支援装置100の構成の一例について説明する。提示情報決定部106は、上記(3)の処理(提示情報決定処理)を主導的に行う役目を果たす。より具体的には、提示情報決定部106は、例えば、提示情報データベース(提示情報の一例)を用いることによって、推定したユーザの状態に対応する提示情報を決定する。
図3は、本発明の実施形態に係る提示情報の一例を示す説明図であり、提示情報データベース124の一例を示している。ここで、本発明の実施形態に係る提示情報データベース124は、例えば、XML(Extensible Markup Language)などの意味・構造を記述する言語によって記述される。なお、本発明の実施形態に係る提示情報データベース124が、XMLなどの意味・構造を記述する言語によって記述されることに限られないことは、言うまでもない。
図3に示す“状態ID”は、状態推定部104において推定された推定結果を識別するための識別情報である。提示情報決定部106は、状態推定部104から伝達される状態ID(識別情報)を用いて提示情報データベースを検索することによって、状態推定部104における推定結果に対応する提示情報を特定することができる。
図3に示す“提示情報の種別”は、メッセージや注意喚起(注意喚起のメッセージ)など、提示情報が示す内容を示している。また、図3に示す“ファイル名”は、提示情報の内容を示すデータを特定するものである。なお、図3では、ファイル名のみが記載されているが、当該ファイルが記憶されている場所(いわゆるファイルパス)が記録されていてもよい。ここで、本発明の実施形態に係るメッセージとしては、例えば、記入開始状態において提示される「いらっしゃいませ」、「こちらでご記入ください」や、記入終了状態において提示される「ありがとうございました」などが挙げられる。また、本発明の実施形態に係る注意喚起のメッセージとしては、例えば、入力内容に誤りがある状態において提示される、誤りがある箇所のハイライト表現や、記入する内容に迷っている状態において提示される、係員を呼び出す旨のメッセージなどが挙げられる。
なお、本発明の実施形態に係る提示情報が示す内容は、上記のようなメッセージに限られない。例えば、入力支援装置100は、ユーザが記入を行う項目の記入例や、デジタル・サイネージのように広告を提示することも可能である。
また、図3に示す“表示指定領域”は、提示情報の内容を表示部(後述する)などの表示画面に表示する場合における表示領域(表示面積や表示形状)を示している。また、図3に示す“優先度”は、提示情報それぞれの重要度を示す指標であり、上述したように、入力支援装置100は、提示情報に設定されている優先度に基づいて、提示順序や提示内容を調整する。図3に示すような提示情報データベースを用いることによって、入力支援装置100は、優先度を用いたビュー・マネジメント手法を用いて、ユーザに提示情報の内容を提示することができる。
ここで、本発明の実施形態に係る優先度は、図3に示すように予め設定されるが、本発明の実施形態に係る優先度は、予め設定されることに限られない。例えば、入力支援装置100は、ユーザの属性を示す属性情報を取得した場合には、属性情報に基づいて、優先度を調整することも可能である。属性情報が示すユーザの年齢に基づいて、ユーザが高齢者層に該当する場合には、入力支援装置100は、例えば、表示される文字が大きな提示情報の優先度をより高く設定する。
提示情報決定部106は、例えば、状態推定部104から伝達される状態ID(識別情報)と、図3に示すような提示情報データベースを用いて、1、または2以上の提示情報を決定する。なお、本発明の実施形態に係る提示情報は、図3に示す提示情報データベースに限られない。例えば、本発明の実施形態に係る提示情報は、提示方法や、上述した音量や音源の方向などの提示に係るパラメータなどの情報をさらに含んでいてもよい。
また、提示情報決定部106は、情報提示部108における提示情報の提示を管理する役目を果たしてもよい。より具体的には、提示情報決定部106は、例えば、提示情報が示す内容の提示を開始させる制御信号や、提示情報が示す内容や表示方式を変更させる制御信号、提示情報が示す内容の提示を停止させる制御信号などの、各種制御信号を情報提示部108に伝達することによって、情報提示部108における提示情報の提示を管理する。
再度図1を参照して、本発明の第1の実施形態に係る入力支援装置100の構成の一例について説明する。情報提示部108は、上記(4)の処理(提示処理)を行う役目を果たす。
より具体的には、情報提示部108は、提示情報決定部106から伝達される制御信号に基づいて、当該制御信号に対応する提示情報の提示、提示内容などの変更、提示の停止を行う。ここで、情報提示部108が提示に用いる提示情報の内容を示す各種データは、例えば記憶部(図示せず)に記憶され、提示情報の提示を行う場合には、情報提示部108は、伝達される制御信号に基づいて記憶部(図示せず)から提示情報を適宜読み出す。そして、情報提示部108は、読み出した提示情報のデコード処理などの各種処理を行って、提示を行う。
ここで、図1では、情報提示部108が、提示情報の内容を視覚的にユーザに提示することが可能な表示部126を備える構成を示している。表示部126としては、例えば、液晶ディスプレイ(Liquid Crystal Display:LCD)や有機ELディスプレイ(organic ElectroLuminescence display)、表示スクリーンおよびプロジェクタから構成される映像投影機器などが挙げられる。なお、表示部126は、例えばタッチスクリーンなど、表示とユーザ操作とが可能なデバイスであってもよい。
なお、本発明の実施形態に係る情報提示部108の構成は、図1に示す構成に限られない。例えば、本発明の実施形態に係る情報提示部108は、DSP(Digital Signal Processor)と、増幅器(アンプ)やスピーカなどから構成される音声出力デバイスとを備えてもよい。上記の場合には、入力支援装置100は、音声による提示(聴覚的な提示)を実現することが可能となる。また、本発明の実施形態に係る情報提示部108は、例えば、振動による提示(触覚的な提示)や、温度変化による温度提示(触覚的な提示)、風による風提示(触覚的な提示)など、ユーザの五感に訴える様々な提示方法を実現するためのデバイスを備えていてもよい。
第1の実施形態に係る入力支援装置100は、例えば図1に示す構成によって、上記(1)の処理(検出処理)〜(4)の処理(提示処理)を行うことが可能である。よって、入力支援装置100は、例えば図1に示す構成によって、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。
なお、本発明の第1の実施形態に係る入力支援装置100の構成は、図1に示す構成に限られない。例えば、入力支援装置100は、通信部(後述する)を備え、ネットワークなどを介して(または直接的に)外部装置と通信を行うことも可能である。
[第1の実施形態に係る入力支援装置100における処理の具体例]
次に、本発明の第1の実施形態に係る入力支援装置100における処理についてより具体的に説明する。以下では、入力支援装置100が、人物状態情報、入力状態情報、および種類判別情報を検出する場合を例に挙げて、処理の一例について説明する。また、以下では、入力支援装置100が、位置情報および姿勢情報の双方を人物状態情報として検出し、また、入力位置情報および入力内容情報を入力状態情報として検出する場合を例に挙げて説明する。
図4は、本発明の第1の実施形態に係る入力支援装置100における処理の一例を説明するための説明図であり、入力支援装置100のハードウェア構成の一例を示している。
図4を参照すると、入力支援装置100は、机上面150と、表示スクリーン152と、映像投影器154と、対象物までの距離を計測する機能を有する距離計測器156と、ユーザの重心位置を計測する機能を有する重心位置計測器158と、表示スクリーン152に接地された際に生じる陰影を検出する映像取得器160とを備える。ここで、表示スクリーン152および映像投影器154は、例えば情報提示部108の役目を果たす。距離計測器156および重心位置計測器158は位置検出部110および姿勢検出部112としての役目を果たす。また、映像取得器160は、入力位置検出部114としての役目を果たす。つまり、距離計測器156、重心位置計測器158、および映像取得器160は、検出部102としての役目を果たす。なお、入力支援装置100のハードウェア構成は、図4に示す構成に限られない。例えば、入力支援装置100は、状態推定部104および提示情報決定部106の役目を果たす処理装置(コンピュータ)を備える。また、入力支援装置100は、入力位置検出部114としての役目を果たす赤外線カメラ(図示せず)を備えていてもよい。
また、図4では、ユーザが手書き入力を行う装置としてペン形状の入力装置300を示し、ユーザが入力を行う対象として、机上面150に載置された用紙400を示している。上述したように、入力支援装置100は、例えば、入力位置検出部114としての役目を果たす赤外線カメラを用いて、入力装置300の入力ポイントを検出することによって入力内容情報を検出することが可能である。
以下、入力支援装置100が図4に示す構成である場合を例に挙げて、入力支援装置100の処理の一例について説明する。なお、以下では、入力支援装置100が赤外線カメラ(図示せず)を備えている場合を例に挙げて、入力支援装置100の処理の一例について説明する。図5は、本発明の第1の実施形態に係る入力支援装置100における処理の一例を示す説明図である。
入力支援装置100は、ユーザが検出されたか否かを判定する(S100)。ここで、入力支援装置100は、ユーザが検出されているか否かを、例えばフラグを用いて管理する。
より具体的には、入力支援装置100は、例えば、重心位置計測器158が検出した圧力値が所定の閾値を超えたと判定した場合に、ユーザが検出されたと判定する。そして、入力支援装置100は、上記フラグを検出されたことを示す状態とし、検出されたと判定されなくなるまで当該フラグの状態を保持する。また、入力支援装置100は、圧力値が所定の閾値を超えたと判定されなくなった場合には、上記フラグを検出されていないことを示す状態とし、検出されたと判定されるまで当該フラグの状態を保持する。
例えば、ユーザが入力支援装置100の前(重心位置計測器158上)に立つと、ユーザの体重により圧力値が閾値を超えるので、入力支援装置100は、上記フラグを検出されたことを示す状態とする。
なお、本発明の実施形態に係る入力支援装置100におけるユーザの検出方法は、上記に限られない。例えば、入力支援装置100は、位置検出部110としての役目を果たす距離計測器156を用いてユーザを検出することも可能である。より具体的には、入力支援装置100は、例えば、距離計測器156が検出した距離値(位置情報の一例)が、所定の閾値より小さくなり、かつ、当該閾値より小さい状態が一定時間継続している場合に、ユーザが検出されたと判定する。また、入力支援装置100は、例えば、位置検出部110としての役目を果たす複数の撮像装置(図示せず)を机上面150の周辺に配置し、入力支援装置100の周辺に人物が存在しないときの画像(基準画像)と、撮像した画像(撮像画像)とを比較することによって、ユーザを検出することも可能である。より具体的には、入力支援装置100は、例えば、上記基準画像と撮像画像とについて、背景差分や肌色検出などの手法を用いることによって、ユーザを検出する。
ステップS100においてユーザが検出されたと判定されない場合には、入力支援装置100は、ユーザが検出されたと判定されるまで処理を進めない。
また、ステップS100においてユーザが検出されたと判定された場合には、入力支援装置100は、位置情報と姿勢情報とを検出する位置・姿勢検出処理を行う(S102)。
〔位置・姿勢検出処理の一例〕
〔1〕位置情報の検出処理の一例
入力支援装置100は、例えば、重心位置計測器158の検出結果に基づいて、ユーザの位置を検出する。ここで、ユーザがはいている靴の形状によって、重心位置計測器158において圧力が検出されるポイント数量は変化する。しかしながら、例えば、人間の体重がとり得る常識的な範囲で検出の閾値を設定することによって、当該閾値を超えたポイント位置(または閾値以上のポイント位置。以下、同様とする。)からユーザの足の形状を推定することが可能である。よって、入力支援装置100は、上記推定によって、ユーザが推定された位置に立っていることを検出することができる。
図6、図7は、本発明の実施形態に係る入力支援装置100における位置情報の検出処理の一例を示す説明図である。ここで、図6、図7は、入力支援装置100が、重心位置計測器158の検出結果に基づいて、ユーザの位置を検出する例を示している。
入力支援装置100は、重心位置計測器158において一定面積以上の圧力値が閾値を超えた領域が検出されたか否かを判定する(S200)。ステップS200において一定面積以上の圧力値が閾値を超えた領域が検出されたと判定されない場合には、入力支援装置100は、検出されたと判定されるまで処理を進めない。
また、ステップS200において一定面積以上の圧力値が閾値を超えた領域が検出されたと判定された場合には、入力支援装置100は、当該領域における重心位置を算出する(S202)。そして、入力支援装置100は、算出された重心位置をユーザの位置として検出する。図7は、入力支援装置100が算出した重心位置の一例を示している。入力支援装置100は、例えば、重心位置計測器158の特定の位置を原点とした座標系を用いて、重心位置を座標で表す。
入力支援装置100は、例えば図6に示す処理によって、ユーザの位置を検出して位置情報(例えば重心位置を示す座標データ)を生成する。
なお、本発明の実施形態に係る入力支援装置100における位置検出処理は、上記に限られない。例えば、入力支援装置100は、距離計測器156が検出した距離値を用いて上記重心位置を補正することも可能である。また、入力支援装置100は、例えば、距離計測器156が検出した距離値そのものを位置情報としてもよい。
〔2〕姿勢情報の検出方法の一例
位置情報が検出されると、入力支援装置100は、例えば、重心位置計測器158を用いて、姿勢情報を検出する。より具体的には、入力支援装置100は、例えば、検出された位置の周囲に検出される圧力値の分布によって、ユーザの身体の重心位置や圧力分布の分散などを算出し、算出した値を姿勢情報とする。
図8、図9は、本発明の実施形態に係る入力支援装置100における姿勢情報の検出処理の一例を示す説明図である。ここで、図8、図9は、入力支援装置100が、重心位置計測器158の検出結果に基づいて、ユーザの姿勢を検出する例を示している。図9に示す座標(x1,y1)、(x2,y2)は、重心位置を示しており、また、図9に示す座標(x3,y3)、(x4,y4)は、圧力が最も高い位置(以下、「最圧位置」と示す場合がある。)を示している。
入力支援装置100は、重心位置と最圧位置とのユークリッド距離を算出する(S300)。
ステップS300においてユークリッド距離が算出されると、入力支援装置100は、ユークリッド距離が閾値α以上であるか否かを判定する(S302)。ここで、閾値αは、ユーザの前屈み量の度合いを判定するための第1の閾値であり、前屈み量が小程度であるか否かを判定するためのものである。
ステップS302においてユークリッド距離が閾値α以上であると判定されない場合には、入力支援装置100は、前屈み量が小であると判定する(S304)。そして、入力支援装置100は、判定結果に応じた姿勢情報を生成して(S312)、処理を終了する。
また、ステップS302においてユークリッド距離が閾値α以上であると判定された場合には、入力支援装置100は、ユークリッド距離が閾値β以上であるか否かを判定する(S306)。ここで、閾値βは、ユーザの前屈み量の度合いを判定するための第2の閾値(第2の閾値>第1の閾値)であり、前屈み量が中程度であるか否かを判定するためのものである。
ステップS306においてユークリッド距離が閾値β以上であると判定されない場合には、入力支援装置100は、前屈み量が中であると判定する(S308)。そして、入力支援装置100は、判定結果に応じた姿勢情報を生成して(S312)、処理を終了する。
また、ステップS302においてユークリッド距離が閾値β以上であると判定された場合には、入力支援装置100は、前屈み量が大であると判定する(S310)。そして、入力支援装置100は、判定結果に応じた姿勢情報を生成して(S312)、処理を終了する。
入力支援装置100は、例えば図8に示す処理によって、ユーザがどの程度入力支援装置100寄りに傾いているか(例えば机上面150寄りに傾いているか)を判定し、前屈み量をクラスタリングする。そして、入力支援装置100は、クラスタリングした結果を示す姿勢情報(例えば前屈みの程度を示すデータ)を生成する。
なお、本発明の実施形態に係る入力支援装置100における姿勢情報の検出処理は、上記に限られない。例えば、入力支援装置100は、姿勢検出部112としての役目を果たす距離計測器156を用いて、机上面150の基準位置を基準としたユーザの頭部の位置を示す頭部位置を検出し、検出した頭部位置に基づいて、ユーザの姿勢を検出することも可能である。より具体的には、入力支援装置100は、例えば、検出した頭部位置を保持し、頭部位置の時系列のデータに基づいて、頭部位置の移動速度を算出することによって、例えば、ユーザが立位姿勢においてどの程度前屈みになり、どのように頭部が傾いているかを示す値(以下、「前傾姿勢値」と示す場合がある。)を、姿勢情報として検出する。
図10は、本発明の実施形態に係る入力支援装置100における姿勢情報の検出処理の他の例を示す説明図である。ここで、図10は、入力支援装置100が、距離計測器156の検出結果に基づいて、ユーザの姿勢を検出する場合における例を示している。
入力支援装置100は、例えば、図10に示す各項目の組合せに応じて姿勢情報を生成する。
入力支援装置100は、距離計測器156が検出した距離値を用いて、ユーザの上半身部分の人体モデルを設定する。ここで、入力支援装置100は、例えば、予め距離値と対応付けられた人体モデルを、距離計測器156が検出した距離値に基づいて選択することによって、人体モデルを設定する。また、入力支援装置100は、設定した人体モデルにおける頭部と推定可能な位置を算出する。そして、入力支援装置100は、算出される頭部位置の変化を追跡することによって、ユーザの頭部位置の動作を推定し、例えば図8に示すような閾値処理を用いて前屈みの度合いを推定する。
なお、入力支援装置100における頭部位置の動作の推定方法は、頭部と推定可能な位置の変化を追跡する方法に限られない例えば、入力支援装置100は、上半身部分全体の位置変化に基づいて、間接的にユーザの頭部位置を推定してもよい。
また、図10に示す頭部移動速度とは、XYZ軸のいずれかまたは全ての軸に対しての移動速度である。ユーザの前傾姿勢にのみ着目する場合には、入力支援装置100は、例えば、入力支援装置100に垂直な軸の移動速度を、上記算出される頭部位置に基づいて算出する。また、ユーザの左右方向の姿勢に着目する場合には、入力支援装置100は、例えば、入力支援装置100に平行な軸の移動速度を、上記算出される頭部位置に基づいて算出する。そして、入力支援装置100は、算出される移動速度について、例えば図8に示すような閾値処理を用いて移動速度の度合いを推定する。
また、図10に示す頭部移動加速度は、頭部の移動速度に基づいて算出される。そして、入力支援装置100は、算出される頭部移動加速度について、例えば図8に示すような閾値処理を用いて頭部移動加速度の度合いを推定する。
例えばユーザの前傾姿勢は、頭部位置、頭部移動速度、頭部移動加速度で表すことが可能であるが、例えば図10に示す姿勢情報に示すように、入力支援装置100は、頭部がどのように傾いたかを表現した状態で表すことが可能である。なお、本発明の実施形態に係る入力支援装置100が、頭部位置、頭部移動速度、頭部移動加速度の各値を、姿勢情報とすることができることは、言うまでもない。また、検出対象のユーザと人体モデルとに身長差が存在する場合であっても、例えば上記上半身部分の人体モデルの拡大や縮小を行うことによって、入力支援装置100は、頭部位置、頭部移動速度、頭部移動加速度の値をより正確に算出することができる。なお、検出対象のユーザの身長の程度は、例えば、机上面150の周辺に配置された位置検出部110としての役目を果たす複数の撮像装置(図示せず)が撮像した画像からユーザの目を検出することによって、推定することが可能であるが、ユーザの身長の推定方法は、上記に限られない。
入力支援装置100は、例えば上記のような処理を行うことによって、位置情報と姿勢情報とを人物状態情報として検出する。なお、本発明の実施形態に係る位置・姿勢検出処理が、上記に示す処理に限られないことは、言うまでもない。
再度図5を参照して、本発明の第1の実施形態に係る入力支援装置100における処理の一例について説明する。ステップS102において位置・姿勢検出処理が行われると、入力支援装置100は、検出された人物状態情報に基づいて、人物状態に応じて提示する提示情報を決定する(S104)。ここで、入力支援装置100は、上記(2)の処理(推定処理)および(3)の処理(提示情報決定処理)を行うことによって、提示情報を決定する。
そして、入力支援装置100は、決定した提示情報提示情報に基づいて、提示情報が示す内容をユーザに提示する(上記(4)の処理(提示処理))。なお、入力支援装置100は、上記のように提示情報を決定するごとに提示処理を行うが、入力支援装置100における処理は、上記に限られない。例えば、入力支援装置100は、図5に示す各処理が行われた後に、決定された提示情報の内容を提示することも可能である。また、入力支援装置100は、例えば定期的に決定された提示情報の内容を提示してもよい。
〔提示の一例〕
図11、図12は、本発明の実施形態に係る入力支援装置100における提示の一例を示す説明図である。ここで、図11は、ユーザが入力中の状態と推定された場合に、ユーザに対して視覚的に提示される提示情報の内容の一例を示している。また、図12は、ユーザの入力が終了した状態と推定された場合に、ユーザに対して視覚的に提示される提示情報の内容の一例を示している。
図11に示すように、ユーザが入力中の状態と推定された場合には、入力支援装置100は、例えば用紙400の周辺に提示情報の内容(図11に示すA、B)を提示する。ここで、図11に示すAは、用紙400に対応する用紙の記入例(見本)を提示するものであり、また、図11に示すBは、記入の際の注意事項を提示するものである。
ここで、ユーザが入力中の状態と推定される場合としては、例えば、検出された位置情報が示す位置が、重心位置計測器158における所定の範囲内に存在し、かつ、距離計測器156の距離値に基づき推定されたユーザの頭部と推定される位置が机上面150上に存在する場合が挙げられる。上記重心位置計測器158における所定の範囲内としては、例えば、図4に示す重心位置計測器158における入力支援装置100側の半分の領域内が挙げられる。なお、入力支援装置100におけるユーザが入力中の状態の推定方法は、上記に限られない。例えば、入力支援装置100は、入力装置300の動きから得られるストローク情報によって判別される記入文字の情報(例えば、特開2002−23938号公報参照。)などを組み合わせることによって、推定精度を高めることが可能である。
また、図12に示すように、ユーザの入力が終了した状態と推定され、かつ入力内容に誤りがあったと推定されたときには、入力支援装置100は、用紙400における入力内容に誤りがある箇所をハイライト表示し(図12に示すC)、注意喚起のメッセージ(図12に示すD)を提示する。また、ユーザの入力が終了した状態と推定された場合には、入力支援装置100は、用紙400をどこに持っていけばよいかをユーザに通知するために、地図(図12に示すE)を提示する。
ここで、ユーザの入力が終了した状態と推定される場合としては、例えば、検出された位置情報が示す位置が、重心位置計測器158における所定の範囲内に存在し、かつ、距離計測器156の距離値に基づき推定されたユーザの頭部と推定される位置が机上面150にない(または、机上面150から所定の距離以上離れている)場合が挙げられる。上記重心位置計測器158における所定の範囲内としては、例えば、図4に示す重心位置計測器158における中央の領域内が挙げられる。また、入力支援装置100は、ユーザの頭部と推定される位置の検出結果に基づいて、ユーザの伸びをするような動作を検出して、検出された場合にユーザの入力が終了した状態と推定してもよい。また、入力内容に誤りがあったと推定される場合としては、例えば、入力装置300の動きから得られるストローク情報が、塗りつぶしの動きや取消線を引く動きを示す場合などが挙げられる。入力支援装置100は、上記のような動きの情報を組み合わせることによって、推定精度を向上させることが可能である。
入力支援装置100は、例えば図11、図12に示すように、検出されたユーザの位置や姿勢、位置や姿勢の時系列の変化に基づいてユーザの状態の推定を行い、例えばリアルタイムに認識される手書き文字入力に必要な記入項目の例示や注意喚起などのような、推定結果に対応する提示情報をユーザに提示する。なお、本発明の実施形態に係る入力支援装置100における視覚的な提示が、図11、図12に示す例に限られないことは、言うまでもない。
再度図5を参照して、本発明の第1の実施形態に係る入力支援装置100における処理の一例について説明する。ステップS104の処理が行われると、入力支援装置100は、用紙の種類が判別されたか否かを判定する(S106)。ここで、入力支援装置100は、用紙から種類判別情報が検出され、かつ、検出された種類判別情報が示す用紙(紙媒体)の種類を特定できた場合に、用紙の種類が判別されたと判定する。入力支援装置100は、例えば、映像取得器160が用紙204の裏面に印刷されたバーコード(種類判別情報の一例)を撮像し、処理装置(図4では図示せず)において識別する。入力支援装置100は、例えば、種類判別情報と、用紙(紙媒体)の種類、項目の位置、内容などが記録された紙媒体情報とが対応付けて記録されたテーブルを用いて、検出された種類判別情報に対応する用紙を特定する。なお、入力支援装置100におけるステップS106の処理が、上記に限られないことは、言うまでもない。
ステップS106において用紙の種類が判別されたと判定されない場合には、入力支援装置100は、図5に示す処理を終了する。なお、図5に示す処理は、一度終了すれば再度行われない類の処理ではなく、繰り返し行われる。
また、ステップS106において用紙の種類が判別されたと判定された場合には、入力支援装置100は、入力位置情報と入力内容情報との検出を行う入力位置・入力内容検出処理を行う(S108)。
〔入力位置・入力内容検出処理の一例〕
図13は、本発明の実施形態に係る入力支援装置100における入力位置・入力内容検出処理の一例を示す説明図である。
入力支援装置100は、入力位置の測定(S400)と、入力内容の測定(S402)とを行い、測定結果に基づいて入力位置および入力内容を検出する(S404)。ここで、入力支援装置100は、例えば、特開2002−23938号公報に記載の方法を用いることによって、用紙400における入力位置の検出や、入力されている文字をリアルタイムに認識する。
入力支援装置100は、例えば図13に示す処理を行うことによって、入力位置および入力内容を検出して、入力位置情報と入力内容情報とを入力状態情報として検出する。なお、本発明の実施形態に係る入力支援装置100における入力位置、入力内容の検出方法が、上記に限られないことは、言うまでもない。
再度図5を参照して、本発明の第1の実施形態に係る入力支援装置100における処理の一例について説明する。ステップS108において入力位置・入力内容検出処理が行われると、入力支援装置100は、検出された入力状態情報に基づいて、入力状態に応じて提示する提示情報を決定する(S110)。ここで、入力支援装置100は、上記(2)の処理(推定処理)および(3)の処理(提示情報決定処理)を行うことによって、提示情報を決定する。そして、入力支援装置100は、決定した提示情報提示情報に基づいて、提示情報が示す内容をユーザに提示する(上記(4)の処理(提示処理))。
ステップS110の処理が行われると、入力支援装置100は、入力内容に誤りがあるか否かを判定する(S112)。ここで、入力支援装置100は、例えば、入力装置300の動きから得られるストローク情報に基づく推定を行うことによって、ステップS112の判定を行うが、本発明の実施形態に係る入力支援装置100におけるステップS112の処理は、上記に限られない。
ステップS112において入力内容に誤りがあると判定されない場合には、入力支援装置100は、処理を終了する。
また、ステップS112において入力内容に誤りがあると判定された場合には、入力支援装置100は、誤り訂正のための提示情報を決定し(S114)、提示情報が示す内容をユーザに提示する(上記(4)の処理(提示処理))。
第1の実施形態に係る入力支援装置100は、例えば図5に示す処理を行うことによって、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示する。
ここで、入力支援装置100は、例えば、ユーザの位置や姿勢を示す情報や、位置や姿勢の時系列の変化を示す情報に基づいて、リアルタイムに認識される手書き文字入力に必要な記入項目の例示や注意喚起などのような目的に則した提示情報の内容をユーザに提示する。また、入力支援装置100は、ユーザの位置や姿勢の変化などの入力支援装置100の周りの環境の変化に応じて、入力支援装置100がユーザの状態を推定して、推定結果に対応する提示情報の内容をユーザに提示する。つまり、入力支援装置100は、提示される情報をユーザに制御させるのではなく、例えば、必要な情報の必要な場所への表示や、隠すべき情報の非提示、提示方法の切り替えなどを自動的に行うことが可能である。したがって、入力支援装置100は、従来から行われてきた手書きによる入力方法を変更することなく、ユーザに対して適切な手書き文字入力の支援を行うことが可能となる。
したがって、例えば図5に示す処理を行うことによって、入力支援装置100は、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。なお、本発明の第1の実施形態に係る入力支援装置100における処理が、図5に示す処理に限られないことは、言うまでもない。
[第2の実施形態に係る入力支援装置]
本発明の実施形態に係る入力支援装置1000は、例えば図1に示す構成をとることによって、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。しかしながら、本発明の実施形態に係る入力支援装置1000の構成は、例えば図1に示す構成に限られない。そこで、次に、本発明の第2の実施形態に係る入力支援装置(以下、「入力支援装置200」と示す場合がある。)について説明する。
図14は、本発明の第2の実施形態に係る入力支援装置200の構成の一例を示すブロック図である。また、図14では、ネットワーク500を示している。ここで、ネットワーク500としては、例えば、LAN(Local Area Network)やWAN(Wide Area Network)などの有線ネットワーク、基地局を介した無線WAN(WWAN;Wireless Wide Area Network)などの無線ネットワーク、あるいは、TCP/IP(Transmission Control Protocol/Internet Protocol)などの通信プロトコルを用いたインターネットなどが挙げられる。
図14を参照すると、入力支援装置200は、図1に示す第1の実施形態に係る入力支援装置100と基本的に同様の構成を有するが、入力支援装置200と入力支援装置100とを比較すると、入力支援装置200は、通信部202と、状態学習部204とをさらに備えている。また、入力支援装置200と入力支援装置100とを比較すると、入力支援装置200は、状態推定部206の機能が、図1に示す状態推定部104と異なる。
入力支援装置200では、状態推定部206が、状態学習部204が管理する状態データベースに記録されているユーザの状態の推定結果候補(例えば、状態IDで表される。)を用いて、ユーザの状態を推定する。ここで、本発明の実施形態に係る状態データベースとは、検出情報(例えば、人物状態情報および/または入力状態情報)と、ユーザの状態の推定結果候補とが対応付けられている状態データが記憶されたデータベースである。本発明の実施形態に係る状態データは、例えば、状態データベースにおける1レコードに該当する。
また、入力支援装置200では、状態推定部206において推定が行われた場合には、状態推定部206は、ユーザの状態の推定結果を状態学習部204へ伝達して、状態学習部204に、状態データベースを更新させる。ここで、本発明の実施形態に係る状態データベースの更新とは、例えば、状態データを登録、更新、または削除することをいう。
上記のように、ユーザの状態が推定された場合に推定結果に基づいて状態データベースを更新することによって、入力支援装置200は、推定されるユーザの状態を学習することが可能となる。また、入力支援装置200は、ユーザの状態の推定結果候補をさらに用いて、ユーザの状態を推定する。
したがって、入力支援装置200は、上述した第1の入力支援装置100よりも、さらに推定精度の向上を図ることができる。
また、入力支援装置200は、通信部202を備えることによって、通信部202が受信した外部装置から送信された要求に基づいて、状態データベースを更新することが可能である。以下では、上記外部装置から送信された要求を「更新要求」と示す場合がある。ここで、更新要求には、例えば、状態データベースに対する操作命令や、状態データが含まれるが、本発明の実施形態に係る更新要求は、上記に限られない。なお、本発明の実施形態に係る更新要求は、外部装置が主体的に送信してもよいし、または、入力支援装置200が、定期的/非定期的に外部装置に対して更新要求の送信を要求した結果、外部装置から送信されるものであってもよい。
ここで、一般的にユーザの属性や利用用途、利用場所によっては、本発明の実施形態に係る入力支援装置1000に係る推定に関して、実稼働する前の事前のキャリブレーションが必要になる場合がある。上記の場合であっても、例えば企業や公共機関などにおいて複数の入力支援装置200が運用される際に、複数ある入力支援装置200をネットワーク500で接続し、各入力支援装置200が、他の入力支援装置200における推定結果を示す取得データのサンプル内容を、他の入力支援装置200から受信して学習することによって、入力支援装置200におけるキャリブレーションコストを軽減することができる。
上記のように、本発明の第2の実施形態に係る入力支援装置200は、学習機能を有することによって、ユーザの状態の推定精度のさらなる向上を図る。また、本発明の第2の実施形態に係る入力支援装置200は、ネットワーク500を介して外部装置(例えば他の入力支援装置200)と通信を行い、当該外部装置における推定結果に係るデータを用いて学習を行う機能を有することによって、ユーザの状態の推定精度のさらなる向上に加え、さらにキャリブレーションコストの軽減を図る。
以下、本発明の第2の実施形態に係る入力支援装置200の構成について、より具体的に説明する。
通信部202は、入力支援装置200が備える通信手段であり、ネットワーク500を介して(あるいは、直接的に)、他の入力支援装置200などの外部装置と無線/有線で通信を行う。ここで、通信部202としては、例えば、通信アンテナおよびRF(Radio Frequency)回路や、LAN端子および送受信回路などが挙げられるが、通信部202の構成は、上記に限られない。例えば、通信部202は、ネットワーク500を介して外部装置と通信可能な任意の構成をとることができる。
状態学習部204は、状態データベースを管理し、入力支援装置200における学習に係る処理を主導的に行う役目を果たす。ここで、状態学習部204は、例えばMPUや各種機能を実現するための集積回路などで構成される。また、上記MPUや集積回路は、状態推定部206や提示情報決定部106の役目を果たしていてもよい。
より具体的には、状態学習部204は、例えば、状態推定部206から問い合わせがあった場合には、上記問い合わせに含まれる検出情報に基づいて状態データベース210を検索し、当該問い合わせに対応する問い合わせ結果(ユーザの推定結果候補の一例)を状態推定部206に返す。ここで、状態学習部204は、例えば、ユーザの状態を示す可能性が高い順に1または2以上の状態IDを、上記問い合わせ結果として状態推定部206へ伝達する。
なお、状態学習部204が状態推定部206へ伝達する問い合わせ結果は、上記に限られない。状態データベース210が、例えばユーザ属性や時間帯などの付帯情報を状態データとしてさらに含む場合には、状態学習部204は、上記状態IDに加えてさらに上記付帯情報が紐付けられたデータを上記問い合わせ結果として状態推定部206へ伝達することも可能である。
図15は、本発明の実施形態に係る状態データベースの一例を示す説明図である。ここで、図15は、ユーザの状態を示す状態IDと付帯情報とが対応付けられた状態データベースの一例を示している。本発明の実施形態に係る属性情報としては、例えば図15に示すように、年齢層や性別、時間帯などのデータが挙げられるが、本発明の実施形態に係る属性情報は、上記に限られない。例えば、入力支援装置200は、用途に応じた属性情報を用いることが可能である。
入力支援装置200は、検出情報と状態ID(ユーザの状態の推定結果候補の一例)とが対応付けられている状態データが記録された状態データベース210に加え、さらに図15に示すような状態IDと付帯情報とが対応付けられた状態データベースを用いてもよい。なお、本発明の実施形態に係る入力支援装置200は、検出情報と状態IDとが対応付けられている状態データが記録された状態データベースと、図15に示すような状態IDと付帯情報とが対応付けられた状態データベースとを用いること限られない。例えば、入力支援装置200は、検出情報、状態ID、および付帯情報が対応付けられている状態データが記録された状態データベースを用いることも可能である。
状態学習部204は、例えば上記のような状態データベースを用い、例えば採用回数が多いもの程ユーザの状態を示す可能性が高いものと判定して、当該判定結果に応じた問い合わせ結果を状態推定部206へ伝達する。よって、入力支援装置200では、ユーザの状態の推定における効率化を図ることができる。
また、状態学習部204は、状態推定部206から推定結果が伝達された場合や、外部装置から送信された更新要求が通信部202から伝達された場合に、状態データベースを更新する。状態学習部204が上記のように状態データベースを更新することによって、入力支援装置200は、学習を行うことができる。
ここで、入力支援装置200が他の入力支援装置200(外部装置)から送信された更新要求に基づいて状態データベースを更新することによって学習を行う意義について説明する。例えば、ある時間帯において高齢者層のユーザが多く利用する入力支援装置200(以下、「第1の入力支援装置200」と示す場合がある。)があった場合、第1の入力支援装置200と同一の場所に設置された入力支援装置200(以下、「第2の入力支援装置200」と示す場合がある。)においても、同様の傾向がみられることが推測される。ここで、上記同様の傾向とは、同一の場所(例えばサービス提供場所)に設置された同種の装置は、同じようなサービスを期待するユーザによって同じような時間帯に使用される可能性が高いことをいう。上記のような場合、各入力支援装置200が、検出情報と状態IDとに加え、ユーザの属性や時間帯などの付帯情報が対応付けられた状態情報を共有することによって、各入力支援装置200における推定精度をより高めることが可能となる。
なお、図14では、入力支援装置200が状態データベース210を記憶する例を示しているが、本発明の実施形態に係る入力支援装置200の構成は、上記に限られない。例えば、本発明の実施形態に係る入力支援装置200は、状態データベースを記憶せず、状態学習部204が、サーバ(外部装置の一例)に記憶された状態データベースを用いて処理を行ってもよい。複数の入力支援装置200が通信可能なサーバ(外部装置の一例)に、状態データベースが記憶され、当該状態データベースが各入力支援装置200の推定結果に基づいて更新されることによって、各入力支援装置200における推定精度をより高めることが可能である。
ここで、入力支援装置200におけるユーザの属性を示す属性情報の取得方法としては、例えば、記入内容情報に基づいて取得する方法が挙げられる。より具体的には、入力支援装置200は、例えば、用紙の氏名欄へのユーザの入力内容から「ユーザの氏名」を属性情報として取得することができる。また、ユーザが手書き入力する用紙が金融機関の用紙である場合には、入力支援装置200は、例えば、検出した口座番号に基づいてユーザの情報(例えば年齢層や性別、業種など)をサーバなどの外部装置から取得し、取得したユーザの情報を属性情報とすることも可能である。
入力支援装置200は、例えば上記のように取得した属性情報を、状態ID(ユーザの状態の推定結果の一例)と対応付けて状態データベースに登録する。また、時間帯を付帯情報として登録する場合には、入力支援装置200は、例えば下記のような処理を行う。入力支援装置200は、例えば使用開始時間や推定を行った時間などの入力支援装置200が使用された時間を記憶し、記憶した時間を予めカテゴライズされた時間帯(例えば、2時間間隔など)に当てはめることによって、時間帯を特定する。そして、入力支援装置200は、例えば特定した時間帯を示す情報と状態IDとを対応付けて状態データベースに登録する。また、入力支援装置200は、例えば、上記属性情報、上記時間帯を示す情報、および状態IDを対応付けて状態データベースに登録してもよい。
また、入力支援装置200は、上記のように取得されたユーザの属性や時間帯などの付帯情報と検出情報とを用いて、検出情報、状態IDおよび付帯情報が対応付けられた状態データを記憶する状態データベースを検索することによって、予めいくつかの状態(推定結果候補)に絞った上で推定を行うことが可能となる。したがって、入力支援装置200は、推定速度の向上を図ることができる。また、例えば、実稼働する前の新たな入力支援装置200や学習が進んでいない入力支援装置200は、キャリブレーションの簡略化を図ることができ、また、推定精度の向上を図ることができる。
例えば、上記第1の入力支援装置200を例に挙げると、第1の入力支援装置200は、例えば時間帯ごとに異なるテーブルが状態データベース内に設けられた状態データベースを用いることによって、時間帯を条件として参照する場合のレコード量を削減することが可能となる。より具体的には、第1の入力支援装置200は、例えば、現在の時間帯を特定し、状態データベース内における特定された時間帯に合致するテーブルを参照する。よって、第1の入力支援装置200は、状態データベース全体を検索する場合と比較して、参照するレコード量を削減することができる。したがって、第1の入力支援装置200では、推定結果候補の検索時間の短縮が図られ、その結果、推定速度の向上が図られる。
また、上記第2の入力支援装置200を例に挙げると、第2の入力支援装置200は、第1の入力支援装置200と同様に、ある時間帯において高齢者層のユーザによって多く利用されることが想定される。ここで、第2の入力支援装置200は、学習によって第1の入力支援装置200と同様の状態データベースを用いて推定を行うことが可能となる。したがって、第2の入力支援装置200は、キャリブレーションの簡略化を図ることができ、また、第1の入力支援装置200と同様に推定精度の向上を図った状態で、ユーザに提示情報の内容の提示を行うことができる。
本発明の第2の実施形態に係る入力支援装置200は、例えば、図14に示す構成によって、ユーザの状態の推定精度のさらなる向上と、キャリブレーションコストの軽減とを図ることができる。なお、本発明の第2の実施形態に係る入力支援装置200の構成は、図14に示す構成に限られない。例えば、本発明の第2の実施形態に係る入力支援装置200は、通信部202を備えない構成(いわゆる、スタンドアロンの構成)をとることも可能である。上記の構成であっても、本発明の第2の実施形態に係る入力支援装置200は、学習を行うことが可能であるので、ユーザの状態の推定精度のさらなる向上を図ることが可能である。
[第2の実施形態に係る入力支援装置200における処理の具体例]
次に、本発明の第2の実施形態に係る入力支援装置200における処理についてより具体的に説明する。以下では、入力支援装置200が、図5に示す第1の実施形態に係る入力支援装置100における処理と同様に、人物状態情報、入力状態情報、および種類判別情報を検出する場合を例に挙げて、処理の一例について説明する。また、以下では、図5に示す第1の実施形態に係る入力支援装置100における処理と同様に、入力支援装置200が、位置情報および姿勢情報の双方を人物状態情報として検出し、また、入力位置情報および入力内容情報を入力状態情報として検出する場合を例に挙げて説明する。
図16は、本発明の第2の実施形態に係る入力支援装置200における処理の一例を示す説明図である。ここで、図16は、ユーザが検出されている状態を前提とし、当該状態から、ユーザが検出されずかつ入力が終了したと推定されるまでの期間を1つのステップとして表した図である。また、図16では、状態データベース210を示している。ここで、図16に示す状態データベース210は、図14に示すように入力支援装置200に記憶されたものであってもよいし、または、サーバなどの外部装置に記憶されたものであってもよい。
入力支援装置200は、ユーザが検出されずかつ入力が終了したと推定されたか否かを判定する(S500)。
ステップS500においてユーザが検出されずかつ入力が終了したと推定されたと判定されない場合には、入力支援装置200は、図5に示すステップS102と同様に、位置情報と姿勢情報とを検出する位置・姿勢検出処理を行う(S502)。
ステップS502において位置・姿勢検出処理が行われると、入力支援装置200は、検出された人物状態情報に基づいて、人物状態に応じて提示する提示情報を決定する(S504)。そして、入力支援装置200は、決定した提示情報提示情報に基づいて、提示情報が示す内容をユーザに提示する(上記(4)の処理(提示処理))。
ここで、入力支援装置200は、上記(2)の処理(推定処理)および(3)の処理(提示情報決定処理)を行うことによって、提示情報を決定する。なお、入力支援装置200は、上記(2)の処理において、例えば、人物状態情報に基づいて状態データベース210を参照し、ユーザの状態の推定に係る確率(例えばユーザの状態の推定結果候補に基づいて算出される)を加味することによって、ユーザの状態の推定精度の向上を図る。
ステップS504の処理が行われると、入力支援装置200は、図5に示すステップS106と同様に、用紙の種類が判別されたか否かを判定する(S506)。
ステップS506において用紙の種類が判別されたと判定されない場合には、入力支援装置200は、後述するステップS516の処理を行う。
また、ステップS506において用紙の種類が判別されたと判定された場合には、入力支援装置200は、図5に示すステップS108と同様に、入力位置情報と入力内容情報との検出を行う入力位置・入力内容検出処理を行う(S508)。
ステップS508において入力位置・入力内容検出処理が行われると、入力支援装置200は、検出された入力状態情報に基づいて、入力状態に応じて提示する提示情報を決定する(S510)。そして、入力支援装置200は、決定した提示情報提示情報に基づいて、提示情報が示す内容をユーザに提示する(上記(4)の処理(提示処理))。
ここで、入力支援装置200は、上記(2)の処理(推定処理)および(3)の処理(提示情報決定処理)を行うことによって、提示情報を決定する。また、入力支援装置200は、ステップS504と同様に、上記(2)の処理において、例えば、入力状態情報に基づいて状態データベース210を参照し、ユーザの状態の推定に係る確率を加味することによって、ユーザの状態の推定精度の向上を図る。
ステップS510の処理が行われると、入力支援装置200は、図5に示すステップS112と同様に、入力内容に誤りがあるか否かを判定する(S512)。
ステップS112において入力内容に誤りがあると判定されない場合には、入力支援装置200は、後述するステップS516の処理を行う。
また、ステップS512において入力内容に誤りがあると判定された場合には、入力支援装置100は、誤り訂正のための提示情報を決定し(S514)、提示情報が示す内容をユーザに提示する(上記(4)の処理(提示処理))。なお、入力支援装置200は、ステップS514の処理において、例えば、入力状態情報に基づいて状態データベース210を参照し、ユーザの状態の推定に係る確率を加味することによって、ユーザの状態の推定精度の向上を図る。
ステップS506において用紙の種類が判別されたと判定されない場合、ステップS512において入力内容に誤りがあると判定されない場合、または、ステップS514の処理が行われると、入力支援装置200は、状態データベース210への登録処理を行う(S516)。そして、入力支援装置200は、図16に示す処理を終了する。なお、図16に示す処理は、例えばユーザが検出されている場合に、繰り返し行われる。
また、ステップS500においてユーザが検出されずかつ入力が終了したと推定されたと判定された場合には、入力支援装置200は、推定結果の評価処理を行い(S518)、図16に示す処理を終了する。
ここで、入力支援装置200は、例えば、人物状態と入力状態に加えて、時間帯や入力支援装置200の設置状況、ユーザの属性などにより分類することによって評価を行う。ここで、入力支援装置200は、例えば、K近傍法(k-nearest neighbor algorithm)などの統計分類の手法を用いて分類を行うが、ステップS518の処理は、上記に限られない。上記の場合には、入力支援装置200は、ステップS502、S510、S514において、例えば、検出情報、または、検出情報および付帯情報に対応する分類結果(可能性が高い分類結果)を用いて算出された確率を用いて推定を行うこととなる。
第2の実施形態に係る入力支援装置200は、例えば図16に示す処理を行うことによって、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示する。ここで、入力支援装置200は、状態データベース210を用いて推定を行い、ユーザの状態が推定された場合には推定結果に基づいて状態データベースを更新することによって推定されるユーザの状態を学習する。
したがって、入力支援装置200は、上述した第1の実施形態に係る入力支援装置100と同様の効果に加え、入力支援装置100よりもさらに推定精度の向上を図ることができる。
また、入力支援装置200は、他の入力支援装置200(外部装置の一例)と通信を行い、当該他の入力支援装置200における学習結果を状態データベース210に反映させることが可能である。したがって、入力支援装置200は、実稼働する前の状態や学習が進んでいない状態であったとしても、上記のように他の入力支援装置200における学習結果を状態データベース210に反映させることによって、キャリブレーションの簡略化を図ることができ、また、推定精度の向上を図ることができる。
なお、本発明の第2の実施形態に係る入力支援装置200における処理が、図16に示す処理に限られないことは、言うまでもない。
以上のように、本発明の実施形態に係る入力支援装置1000は、本発明の実施形態に係る提示方法に係る、上記(1)の処理(検出処理)〜(4)の処理(提示処理)を行う。上記(1)の処理(検出処理)〜(4)の処理(提示処理)を行うことによって、入力支援装置1000は、手書き入力を行うユーザの状態を推定し、推定結果に対応する情報の内容を推定結果に対応する方法でユーザに提示することが可能となる。よって、入力支援装置1000は、提示される情報をユーザに制御させるのではなく、例えば、必要な情報の必要な場所への表示や、隠すべき情報の非提示、提示方法の切り替えなどを自動的に行うことができるので、従来から行われてきた手書きによる入力方法を変更することなく、ユーザに対して適切な手書き文字入力の支援を行うことができる。
したがって、入力支援装置1000は、ユーザが手書きで入力を行う場合においてユーザの利便性の向上を図ることができる。
以上、本発明の実施形態として入力支援装置を挙げて説明したが、本発明の実施形態は、かかる形態に限られない。本発明の実施形態は、例えば、金融機関や公共機関などの記載台や窓口、机など、ユーザが手書き入力を行いうる様々な装置に適用することが可能である。
また、本発明の実施形態は、例えば、教育機関や一般家庭内における正しい姿勢での学習のサポートや、家庭内における記入の状況に合わせて解答を提示する試験勉強支援、一般企業などにおいて複数のユーザがデザインやロードマップの作成などを手書きで行う場合の支援など、様々なユースケースに適用することができる。
(本発明の実施形態に係るプログラム)
コンピュータを、本発明の実施形態に係る入力支援装置として機能させるためのプログラム(例えば、上記(1)の処理(検出処理)〜(4)の処理(提示処理)を実現するためのプログラムや、図5、図16に示す処理を実現するためのプログラム)によって、ユーザが手書きで入力を行う場合において、ユーザの利便性の向上を図ることができる。
(本発明の実施形態に係るプログラムを記録した記録媒体)
また、上記では、コンピュータを、本発明の実施形態に係る入力支援装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本発明の実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
ここで、上記プログラムを記憶させた記録媒体としては、例えば、フロッピー(登録商標)ディスクや、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW等の光ディスク、磁気テープ、不揮発性のメモリカード、ROMなどが挙げられる。また、上記プログラムは、ネットワークを介して装置にダウンロードされてもよい。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記では、本発明の実施形態に係る入力支援装置が、例えばレーザレンジファインダなどの距離画像センサや感圧センサなどの位置取得センサ、机上面の陰影を取得する赤外線カメラをユーザの状態推定の手段として用いることを示したが、本発明の実施形態に係るユーザの状態推定の手段は、上記に限られない。例えば、本発明の実施形態に係る入力支援装置は、複数のカメラアレイによる対象物の3次元位置取得手法や、熱源分布を取得するセンサ、振動を検知するセンサなどを組み合わせた手法を、ユーザの状態推定の手段として用いることもできる。
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
100、200、1000 入力支援装置
102 検出部
104、206 状態推定部
106 提示情報決定部
108 情報提示部
202 通信部
204 状態学習部
500 ネットワーク

Claims (10)

  1. 机上面または前記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援装置であって、
    前記ユーザの位置を示す位置情報または前記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、前記ユーザの身体に関する状態を示す人物状態情報として検出する検出部と、
    前記検出部が検出した前記人物状態情報に基づいて、1、または2以上の前記ユーザの状態を推定する状態推定部と、
    前記状態推定部が推定した前記ユーザの状態に基づいて、1、または2以上の前記ユーザに提示する内容を示す提示情報を決定する提示情報決定部と、
    前記提示情報決定部において決定された前記提示情報が示す内容をユーザに提示する情報提示部と、
    を備え、
    前記検出部は、前記机上面に載置された前記紙媒体に付された前記紙媒体の種類を示す種類判別情報を、赤外光を用いて前記机上面の反対側からさらに検出し、
    前記状態推定部は、さらに前記検出部において検出された前記種類判別情報が示す前記紙媒体の種類に基づいて、前記ユーザの状態を推定することを特徴とする、入力支援装置。
  2. 前記検出部は、前記机上面における前記ユーザによる入力の位置を示す入力位置情報と、前記ユーザによる入力の内容を示す入力内容情報のうちのいずれか一方または双方を、前記ユーザによる入力の状態を示す入力状態情報としてさらに検出し、
    前記状態推定部は、前記検出部が検出した前記人物状態情報と、前記検出部が検出した前記入力状態情報とに基づいて、前記ユーザの状態を推定することを特徴とする、請求項1に記載の入力支援装置。
  3. 前記状態推定部は、
    前記ユーザの身体に関する状態と前記入力の状態とに関する条件を複数設け、
    前記人物状態情報と前記入力状態情報とに基づいて、前記複数の条件それぞれを満たすか否かを判定し、
    複数の条件それぞれの判定結果の組合せに基づいて、ユーザの状態を推定することを特徴とする、請求項2に記載の入力支援装置。
  4. 前記状態推定部は、前記人物状態情報、および前記入力状態情報それぞれに基づいて、前記ユーザの状態を推定することを特徴とする、請求項2に記載の入力支援装置。
  5. 前記提示情報には優先度が設定され、
    前記情報提示部は、前記提示情報決定部が複数の提示情報を決定した場合には、決定された前記提示情報に設定されている優先度に基づいて、提示順序、および/または、提示方法を調整して提示することを特徴とする、請求項1に記載の入力支援装置。
  6. 少なくとも前記人物状態情報と前記ユーザの状態の推定結果候補とが対応付けられている状態データが記憶された状態データベースを管理する状態学習部をさらに備え、
    前記状態学習部は、前記検出部が検出した前記人物状態情報と、前記状態データベースとに基づいて、前記人物状態情報に対応する前記ユーザの状態の推定結果候補を特定し、
    前記状態推定部は、前記状態学習部が特定した前記ユーザの状態の推定結果候補に基づいて、前記ユーザの状態を推定することを特徴とする、請求項1に記載の入力支援装置。
  7. 前記状態推定部は、前記ユーザの状態の推定結果を前記状態学習部へ伝達して、前記状態学習部に、前記状態データベースに対する前記状態データの登録、更新、または削除を行わせることを特徴とする、請求項6に記載の入力支援装置。
  8. 外部装置と通信を行う通信部をさらに備え、
    前記状態学習部は、前記通信部が受信した、前記外部装置から送信された要求に基づいて、前記状態データベースに対する前記状態データの登録、更新、または削除を行うことを特徴とする、請求項6に記載の入力支援装置。
  9. 机上面または前記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援方法であって、
    前記ユーザの位置を示す位置情報または前記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、前記ユーザの身体に関する状態を示す人物状態情報として検出し、前記机上面に載置された前記紙媒体に付された前記紙媒体の種類を示す種類判別情報を、赤外光を用いて前記机上面の反対側から検出するステップと、
    前記検出するステップにおいて検出された前記人物状態情報と、検出された前記種類判別情報が示す前記紙媒体の種類とに基づいて、1、または2以上の前記ユーザの状態を推定するステップと、
    前記推定するステップにおいて推定された前記ユーザの状態に基づいて、1、または2以上の前記ユーザに提示する内容を示す提示情報を決定するステップと、
    前記決定するステップにおいて決定された前記提示情報が示す内容をユーザに提示するステップと、
    を有することを特徴とする、入力支援方法。
  10. 机上面または前記机上面に載置された紙媒体に対してユーザが手書きで入力を行うことが可能な入力装置を用いた、ユーザによる手書き入力を支援する入力支援装置に用いることが可能なプログラムであって、
    前記ユーザの位置を示す位置情報または前記ユーザの姿勢を示す姿勢情報のうちのいずれか一方または双方を、前記ユーザの身体に関する状態を示す人物状態情報として検出し、前記机上面に載置された前記紙媒体に付された前記紙媒体の種類を示す種類判別情報を、赤外光を用いて前記机上面の反対側から検出するステップ、
    前記検出するステップにおいて検出された前記人物状態情報と、検出された前記種類判別情報が示す前記紙媒体の種類とに基づいて、1、または2以上の前記ユーザの状態を推定するステップ、
    前記推定するステップにおいて推定された前記ユーザの状態に基づいて、1、または2以上の前記ユーザに提示する内容を示す提示情報を決定するステップ、
    前記決定するステップにおいて決定された前記提示情報が示す内容をユーザに提示するステップ、
    をコンピュータに実行させるためのプログラム。
JP2010293057A 2010-03-24 2010-12-28 入力支援装置、入力支援方法、およびプログラム Expired - Fee Related JP5691512B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010293057A JP5691512B2 (ja) 2010-03-24 2010-12-28 入力支援装置、入力支援方法、およびプログラム
US13/064,406 US9280716B2 (en) 2010-03-24 2011-03-23 Apparatus for sensing user condition to assist handwritten entry and a method therefor

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010067697 2010-03-24
JP2010067697 2010-03-24
JP2010293057A JP5691512B2 (ja) 2010-03-24 2010-12-28 入力支援装置、入力支援方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2011221985A JP2011221985A (ja) 2011-11-04
JP5691512B2 true JP5691512B2 (ja) 2015-04-01

Family

ID=44656557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010293057A Expired - Fee Related JP5691512B2 (ja) 2010-03-24 2010-12-28 入力支援装置、入力支援方法、およびプログラム

Country Status (2)

Country Link
US (1) US9280716B2 (ja)
JP (1) JP5691512B2 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130057553A1 (en) * 2011-09-02 2013-03-07 DigitalOptics Corporation Europe Limited Smart Display with Dynamic Font Management
JP5767575B2 (ja) * 2011-11-28 2015-08-19 日本放送協会 位置計測装置及び位置計測システム
JP2014137627A (ja) 2013-01-15 2014-07-28 Sony Corp 入力装置、出力装置および記憶媒体
JP6122357B2 (ja) * 2013-06-28 2017-04-26 キヤノン株式会社 情報処理装置、文書合成システム、情報処理方法、及びプログラム
JP6189170B2 (ja) * 2013-10-16 2017-08-30 セコム株式会社 姿勢推定装置
JP2015180988A (ja) * 2014-03-03 2015-10-15 カシオ計算機株式会社 記入ガイド表示装置、記入ガイド表示方法、およびプログラム
JP2016110631A (ja) * 2014-12-02 2016-06-20 三星電子株式会社Samsung Electronics Co.,Ltd. 状態推定装置、状態推定方法およびプログラム
JP6358069B2 (ja) * 2014-12-10 2018-07-18 カシオ計算機株式会社 情報出力制御装置及びプログラム
JP6540222B2 (ja) * 2015-05-19 2019-07-10 大日本印刷株式会社 手書き入力装置
JP6010683B1 (ja) * 2015-06-02 2016-10-19 フロンティアマーケット株式会社 情報処理装置
CN204670627U (zh) * 2015-06-08 2015-09-30 京东方科技集团股份有限公司 一体式智能桌面设备
JP2017091299A (ja) * 2015-11-12 2017-05-25 富士ゼロックス株式会社 文書作成支援装置、文書作成支援システム及びプログラム
US10650565B2 (en) * 2017-06-02 2020-05-12 Apple Inc. Rendering animated user input strokes
JP2020129018A (ja) * 2019-02-07 2020-08-27 株式会社日立製作所 動作評価システムおよび方法
US10936801B2 (en) 2019-03-25 2021-03-02 International Business Machines Corporation Automated electronic form generation with context cues
JP7392315B2 (ja) * 2019-08-05 2023-12-06 株式会社リコー 表示装置、表示方法、プログラム
JP2021026528A (ja) * 2019-08-06 2021-02-22 Kddi株式会社 プログラム、情報処理方法、及び情報処理装置
CN110990588B (zh) * 2019-12-10 2023-04-11 黄淮学院 一种在统一识别框架下手写体文本识别器的自然语言模型小型化的方法
JP2022091577A (ja) * 2020-12-09 2022-06-21 株式会社リコー 情報処理装置、情報処理方法、プログラム、情報処理システム

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4972496A (en) * 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
JPH0827681B2 (ja) * 1987-12-04 1996-03-21 株式会社東芝 対話型操作装置
JP2509982B2 (ja) * 1988-06-09 1996-06-26 富士通株式会社 ガイダンス画面制御方式
JPH06176015A (ja) 1992-12-09 1994-06-24 Toshiba Corp 文書作成支援装置
US6081261A (en) * 1995-11-01 2000-06-27 Ricoh Corporation Manual entry interactive paper and electronic document handling and processing system
JP3350845B2 (ja) 1997-06-10 2002-11-25 栗田工業株式会社 湿式塗装ブース処理剤
JPH11249795A (ja) * 1998-03-04 1999-09-17 Casio Comput Co Ltd 筆記データ入力装置およびそのプログラム記録媒体
US6611259B1 (en) * 2000-02-16 2003-08-26 Telefonaktiebolaget Lm Ericsson (Publ) System and method for operating an electronic reading device user interface
JP2002023938A (ja) 2000-07-05 2002-01-25 Jekku:Kk 手書き文字入力システム及び記録媒体
CN1252576C (zh) * 2000-12-15 2006-04-19 丁系统有限责任公司 笔形光鼠标装置及其控制方法
US7164367B2 (en) * 2001-08-30 2007-01-16 America Online, Inc. Component-based, adaptive stroke-order system
JP2003280783A (ja) * 2002-03-20 2003-10-02 Fuji Xerox Co Ltd 表示システム及び表示方法
US7492946B2 (en) * 2004-05-24 2009-02-17 Michael James Elder System, method and computer program for an integrated digital workflow for processing a paper form
JP4954467B2 (ja) * 2004-12-08 2012-06-13 株式会社エヌ・ティ・ティ・ドコモ 通知用ユーザ状態管理装置、通知制御装置、および情報通知方法
JP2007226577A (ja) * 2006-02-23 2007-09-06 Dainippon Printing Co Ltd デジタルペンを利用したデータ入力処理システム、端末装置およびコンピュータプログラム
JP2007279971A (ja) * 2006-04-05 2007-10-25 Kenwood Corp エージェント装置及びエージェントシステム
JP4773261B2 (ja) * 2006-04-26 2011-09-14 日立オムロンターミナルソリューションズ株式会社 帳票処理装置
US8275243B2 (en) * 2006-08-31 2012-09-25 Georgia Tech Research Corporation Method and computer program product for synchronizing, displaying, and providing access to data collected from various media
JP2008234401A (ja) * 2007-03-22 2008-10-02 Fujifilm Corp ユーザ・インターフェイス装置およびその動作制御方法
JP2008269588A (ja) * 2007-03-29 2008-11-06 Matsushita Electric Ind Co Ltd 認識装置、認識方法及び認識プログラム
US8358964B2 (en) * 2007-04-25 2013-01-22 Scantron Corporation Methods and systems for collecting responses
FR2919406B1 (fr) * 2007-07-23 2009-10-23 Commissariat Energie Atomique Procede et dispositif de reconnaissance de position ou de mouvement d'un dispositif ou d'un etre vivant.
US8517834B2 (en) * 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
JP5600953B2 (ja) * 2010-02-05 2014-10-08 沖電気工業株式会社 情報処理装置、情報処理システムおよび情報処理方法

Also Published As

Publication number Publication date
US9280716B2 (en) 2016-03-08
JP2011221985A (ja) 2011-11-04
US20110235915A1 (en) 2011-09-29

Similar Documents

Publication Publication Date Title
JP5691512B2 (ja) 入力支援装置、入力支援方法、およびプログラム
US20240046643A1 (en) Augmented Reality, Computer Vision, and Digital Ticketing Systems
US9986419B2 (en) Social reminders
WO2021082753A1 (zh) 蛋白质的结构信息预测方法、装置、设备及存储介质
US8527348B2 (en) Short-range communication enabled location service
US20190079591A1 (en) System and method for human gesture processing from video input
Quintana et al. Augmented reality annotations to assist persons with Alzheimers and their caregivers
US11113485B2 (en) Method to correlate an object with a localized tag
US9020918B2 (en) Information registration device, information registration method, information registration system, information presentation device, informaton presentation method, informaton presentaton system, and program
US7805246B2 (en) View-independent tagging of geospatial entities in images
US8948451B2 (en) Information presentation device, information presentation method, information presentation system, information registration device, information registration method, information registration system, and program
KR20140078518A (ko) 외부 기기 관리 방법, 외부 기기의 동작 방법, 호스트 단말, 관리 서버 및 외부 기기
WO2018159736A1 (ja) 情報処理装置、端末装置、情報処理方法、情報出力方法、接客支援方法及び記録媒体
US11289084B2 (en) Sensor based semantic object generation
US8615435B2 (en) Short-range communication enabled location service
US20170228105A1 (en) Generation of Media Content for Transmission to a Device
JP2019036201A (ja) 出力制御装置、出力制御方法及び出力制御プログラム
JP2013041413A (ja) 記入支援システム、サーバ装置、記入支援装置、及びプログラム
JP7476881B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018109893A (ja) 情報処理方法、装置、及びプログラム
JPH11249779A (ja) 見学者案内支援装置および方法
TW202004619A (zh) 自助結帳系統、方法與裝置
US10446154B2 (en) Collaborative recognition apparatus and method
JP7452524B2 (ja) 情報処理装置、及び情報処理方法
WO2022199078A1 (zh) 商品动态信息生成方法、装置、设备及计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130815

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140610

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150119

R150 Certificate of patent or registration of utility model

Ref document number: 5691512

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees