JP6884233B2 - 自筆支援装置、自筆支援方法およびプログラム - Google Patents

Description

本開示は、手書きで文字を書く際の列やバランスの崩れを防ぐためのガイドを行う自筆支援装置、自筆支援方法およびプログラムに関する。

現在、現実空間に仮想現実物体などの視覚的な情報を付加して、人が観察する現実世界を拡張する拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。特開２０１６−１９４７４４号公報（以下において、特許文献１という。）には、仮想的な物体（以下において「ＡＲ物体」という。）に対する現実物体の奥行き方向の位置関係を表示制御する方法が開示されている。手がＡＲ物体よりも手前にある場合、手の影をＡＲ物体の表面に描画させることにより、ＡＲ物体が自分の手よりどのくらい離れているかを使用者が認識しやすくする画像表示方法が開示されている。

また、特開２００８−０２７２２３号公報（以下において、特許文献２という。）は、映像に対応する触覚を映像空間に位置する対象物をなぞることにより知覚させる、ＡＲ物体の存在を現実に近いものとする技術が提案されている。特許文献２には、映像提示手段として、シースルー型ヘッドマウントディスプレイ、ディスプレイとハーフミラーとよりなるシースルー型ディスプレイ、ディスプレイからの映像を投射するプロジェクタ等が挙げられている。映像提示手段が対象物を触る使用者の指より眼に近い位置関係にある場合、指の上に映像が乗り、ＡＲ物体が指よりも手前に知覚されてしまうという問題点があるが、映像提示手段を指より眼から遠い位置関係にすることにより、指の上に映像が表示されるという不具合を解消できることが開示されている。

一方、手書きする必要がある書類等に対し、文字を書き込む際に、列やバランスが崩れてしまうのを防ぐための手書き支援システムが国際公開第２０１６／１２１３６２号（以下において、特許文献３という。）において提案されている。特許文献３の装置は、ＡＲ技術を利用したものであり、画像表示面において表示される手本となる像の鏡像画像をハーフミラーで反射させ、使用者にその反射像（虚像）を筆記面に一致して視認させるように構成されている。

しかしながら、特許文献３の自筆支援装置において、使用者の筆記時の手の下にあるべき虚像が、手の上に重なって表示されてしまうために、奥行き知覚に問題が発生し、筆記時に強い違和感を覚える場合がある。人間の奥行き知覚は、両眼性と単眼性との２つの視覚情報に基づいて得られる。ハーフミラーを用いた虚像（ＡＲ物体）が筆記面に投影される構成においては、「両眼視差」からは、ＡＲ物体が、手よりも奥に存在すると判断される。一方、現実には、ＡＲ物体が現実の現実物体である手と重なり、手を透けて視認されてしまうことから、「単眼性の遮蔽効果」によりＡＲ物体が手の手前に存在するように判断されてしまう。使用者はこの両眼性と単眼性からの視覚情報を同時に取得することになるため、この情報のずれによって、使用者には強い違和感が生じる。

本開示は、上記事情に鑑みてなされたものであって、使用時に使用者が感じる違和感を低減して自筆支援機能を向上させることができる自筆支援装置、自筆支援方法およびプログラムを提供することを目的とする。

本開示の自筆支援装置は、画像表示面に表示された画像の虚像を、画像表示面と対向する筆記面で目視可能に、画像表示面からの光を反射し、かつ筆記面側が目視可能に、筆記面側からの光を透過する、筆記面との間に空間を隔てて配置されたビームスプリッタと、
画像表示面に、筆記対象領域を示す複数の画像オブジェクトを含む第１の画像を表示し、ビームスプリッタと筆記面との間の空間に筆記具を含む現実物体が挿入された場合に、複数の画像オブジェクトのうち、筆記面上で現実物体と重なり、かつ筆記具の先端とは重ならない画像オブジェクトを非表示にする制御を行う画像表示制御部とを備える。

本開示の自筆支援装置においては、筆記面上における現実物体の画像データを取得する物体位置センサを備え、画像表示制御部が、物体位置センサにより取得された画像データから求められた現実物体の筆記面における座標情報と、予め備えられている各画像オブジェクトの座標情報とに基づいて、非表示にする画像オブジェクトを特定するものであってもよい。

本開示の自筆支援装置においては、現実物体が、筆記具と筆記具を保持する使用者の手である場合において、画像表示制御部が、現実物体の筆記面における座標情報から特定された使用者の手の左右および筆記具の先端位置を示す情報と、各画像オブジェクトの座標情報とに基づいて、非表示にする画像オブジェクトを特定するものであってもよい。

本開示の自筆支援装置においては、使用者からの利き手情報を受け付ける利き手情報受付部を備え、現実物体が、筆記具と筆記具を保持する使用者の手である場合において、画像表示制御部が、利き手情報および現実物体の筆記面における座標情報に基づいて特定された筆記具の先端位置を示す情報と、各画像オブジェクトの座標情報とに基づいて、非表示にする画像オブジェクトを特定するものであってもよい。

本開示の自筆支援装置においては、画像表示制御部が、現実物体の筆記面における座標情報として、筆記面における現実物体の投影領域の上端、下端、左端および／または右端の位置座標を取得し、使用者の手が右手である場合には、筆記面における現実物体の投影領域の上端より下に下端を有する画像オブジェクトであって、左端が筆記具の先端位置より右側にある画像オブジェクトを非表示にする画像オブジェクトとして特定し、使用者の手が左手である場合には、筆記面における現実物体の投影領域の上端より下に下端を有する画像オブジェクトであって、右端が先端位置より左側にある画像オブジェクトを非表示にする画像オブジェクトとして特定するものあってもよい。
ここで、上下、左右は、使用者から筆記面を見た筆記面の上下、左右で規定する。

本開示の自筆支援装置においては、画像表示制御部が、使用者の手が右手である場合には、現実物体の投影領域の左端を筆記具の先端位置として設定し、使用者の手が左手である場合には、現実物体の投影領域の右端を筆記具の先端位置として設定するものであってもよい。

本開示の自筆支援装置においては、画像表示制御部が、第１の画像とは異なる第２の画像を、第１の画像に重ねて画像表示面に表示するものであってもよい。

本開示の自筆支援装置においては、画像表示制御部が、第１の画像の非表示にする画像オブジェクトの表示領域に、筆記具の先端が重なる画像オブジェクトに関する情報を第２の画像として表示するものであってもよい。

本開示の自筆支援方法は、筆記面において虚像として視認される、筆記対象領域を示す複数の画像オブジェクトを含む第１の画像を画像表示面に表示させ、
筆記面と画像表示面との間の空間に筆記具を含む現実物体が挿入された場合に、複数の画像オブジェクトのうち、筆記面において現実物体と重なり、かつ、筆記具の先端とは重ならない画像オブジェクトを非表示にする。

本開示のプログラムは、本開示の自筆支援方法をコンピュータに実現させるプログラムである。

本開示の自筆支援装置によれば、画像表示制御部が、画像表示面に、筆記対象領域を示す複数の画像オブジェクトを含む第１の画像を表示し、ビームスプリッタと筆記面との間の空間に筆記具を含む現実物体が挿入された場合に、複数の画像オブジェクトのうち、筆記面で現実物体と重なり、かつ筆記具の先端とは重ならない画像オブジェクトを非表示にする制御を行う。係る構成によれば、使用者の筆記具を持つ手に重なって虚像が表示されるのを抑制することができるため、虚像と手の位置との位置情報に関して使用者が感じる違和感を低減することができる。したがって、自筆支援機能を向上させることができる。

本発明の実施形態に係る自筆支援装置の概略構成を示す斜視図である。 図１に示す自筆支援装置の概略構成を示す側面図である。 画像表示面および筆記面に表示される画像を示す模式図である。 画像表示制御部を実現するタブレット型コンピュータを示す斜視図である。 本実施形態の自筆支援装置を構成する画像表示制御部およびその他の構成要素の関係を模式的に示すブロック図である。 本実施形態の自筆支援装置において表示される画像および使用者により視認される状態を説明するための図である。 非表示処理画像を説明するための図である。 非表示する画像オブジェクトの特定方法を説明するための表示領域、画像オブジェクトの位置座標の定義を示す図である。 非表示画像オブジェクトの特定方法を説明するための現実物体の筆記面にける投影領域の上下端および左右端の情報を示す図である。 筆記具を保持する手の左右を特定するフローを示す図である。 画像オブジェクトの表示、非表示を判断するフローを示す図である。 演算ブロックダイアグラムの設計変更例を示す図である。 第１の画像に第２の画像を重ねて表示した場合の画像表示方法を説明するための図である。 第２の画像を手に重ねて表示した場合の、使用者からみた筆記面の状態を示す図である。 比較例２の表示方法における、使用者からみた筆記面の状態を説明する図である。

以下、本発明の実施の形態について図面を参照して説明する。

図１は、本発明の実施形態の自筆支援装置の概略構成を斜視図であり、図２は、本実施形態の自筆支援装置１における筆記面、ビームスプリッタの一形態であるハーフミラーのミラー面および画像表示面の位置関係を示す側面図である。

図１、図２に示すように、本実施形態の自筆支援装置１は、画像表示面３２に表示された画像の虚像を、画像表示面３２と対向する筆記面１２で目視可能に、画像表示面３２からの光を反射し、かつ筆記面１２側が目視可能に、筆記面１２側からの光を透過する、筆記面１２との間に空間を隔てて配置されたハーフミラー２０と、画像表示面３２に、筆記対象領域を示す複数の画像オブジェクトを含む第１の画像を表示し、ハーフミラー２０と筆記面１２との間の空間に筆記具７４を含む現実物体７０が挿入された場合に、複数の画像オブジェクトのうち、筆記面１２上で現実物体７０と重なり、かつ筆記具７４の先端とは重ならない画像オブジェクトを非表示にする制御を行う画像表示制御部３５とを備えている。

本実施形態の自筆支援装置１は、筆記媒体１０が載置される支持台５とその支持台５上にハーフミラー２０および画像提示体３０の支持部材４０を位置させるための支持軸６を備えている。ハーフミラー２０と支持部材４０は支持軸６に沿って上下に移動できるように構成されていることが好ましい。画像表示面３２を有する画像提示体３０は、画像表示面３２がハーフミラー２０のミラー面２２と向かい合うように、支持部材４０に支持されている。支持部材４０は、画像提示体３０を載置するための支持板４１を備えている。支持板４１は画像提示体３０の画像表示面３２に表示される画像をミラー面２２に映すことができる透明度を有する。

自筆支援装置１においては、画像表示面３２と対向して位置する筆記面１２との間にハーフミラー２０が配置されている。本構成により、自筆支援装置１においては画像表示面３２に表示された画像の虚像が、視認可能に筆記面１２に表示される。筆記面１２は、画像表示面３２に対向する面であって、画像表示面３２に表示される画像の虚像が視認される面である。なお、以下において、自筆支援装置１を使用する際に、虚像が視認される面に載置される、使用者が文字、絵などを筆記する用紙等の筆記媒体１０の表面を筆記面１２と見做して説明する。

本実施形態においては、筆記面１２とミラー面２２との光学距離が、ミラー面２２と画像表示面３２との間の光学距離と等しくなるように、ハーフミラー２０、画像表示面３２および筆記面１２の位置は調整されている。但し、ハーフミラー２０において反射させた虚像が、筆記面１２に所望の大きさで視認可能とされる構成であれば本構成に限らない。画像表示面３２は、例えば、ディスプレイあるいはディスプレイを備えたタブレット型コンピュータおよびスマートフォンなどの画像提示体３０のパネル面から構成される。

図３の左図が画像提示体３０の画像表示面３２に表示される第１の画像１００Ａであり、右図が筆記面１２に目視される、第１の画像１００Ａの反射像（虚像）１００Ｂである。図３に示すように、画像表示面３２には、筆記面１２に表示すべき像１００Ｂの鏡像（左右反転像）となる第１の画像１００Ａが表示される。ここで例示されている像１００Ｂは、はがきの表書きの住所、宛先等を記載すべき領域のレイアウト画像である。

図２に示すように、使用者がハーフミラー２０のミラー面２２側の観察部６０から筆記面１２を見たときに、画像表示面３２に表示された第１の画像１００Ａがミラー面２２で反射されて視認される反射像（虚像）１００Ｂが筆記面１２に一致して見えるのである。すなわち、本明細書において「筆記面に虚像が表示される」とは、筆記面１２に像が直接投影されているかのように見える状態を意味する。しかし、実際には、使用者は、ミラー面２２で反射された鏡像画像の虚像を見ているのであり、プロジェクタによる画像表示のように像が直接投影表示されているわけではない。

ハーフミラー２０は画像表示面３２と対向するミラー面２２を備えている。ハーフミラー２０は、画像表示面３２からの光を反射し、筆記面側からの光を透過するものであればよく、ミラー面２２に入射する光の一部を反射し、一部を透過させるものであればその機能を奏する。図２に示すように、観察部６０から筆記面１２を視認することができ、また、その筆記面１２に、ハーフミラー２０により反射された画像表示面３２に表示される鏡像画像の鏡像（そもそも表示すべき像）を重ねて視認できる反射率および透過率を有するものであればよい。すなわち、本明細書においてハーフミラー２０は、画像表示面からの光を反射して、筆記面に虚像が一致して視認されるものであればよく、透過率と反射率が１：１であるものに限られない。

本実施形態において、ハーフミラー２０のミラー面２２は、画像提示体３０側の面にあり、筆記面１２、ミラー面２２および画像表示面３２は互いに平行に、画像表示面３２とミラー面２２との光学距離ｈ_１と、ミラー面２２と筆記面１２との光学距離ｈ_２とが等しくなるように位置される。すなわち、ミラー面２２の任意の点Ｏから、この任意の点Ｏを通ってミラー面２２と垂直に交わる垂線の画像表示面３２との交点Ａまでの光学距離ｈ_１と、同一垂線の筆記面１２との交点Ｂまでの光学距離ｈ_２とが等しい。

本構成において、画像表示面３２とミラー面２２との光学距離ｈ_１は、支持板４１の厚みｄ_１と屈折率ｎ_１との積ｎ_１・ｄ_１と、支持板４１の下面４４とミラー面２２との距離Ｌ_１との和すなわち、ｈ_１＝ｎ_１・ｄ_１＋Ｌ_１で表される。また、ミラー面２２と筆記面１２との光学距離ｈ_２は、ハーフミラー２０の厚みｄ_２と屈折率ｎ_２との積ｎ_２・ｄ_２と、ハーフミラー２０の下面２４と筆記面１２との距離Ｌ_２との和、すなわち、ｈ_２＝ｎ_２・ｄ_２＋Ｌ_２で表される。

このように、本実施形態の自筆支援装置１においては、光学距離ｈ_１とｈ_２が等しくなるようにハーフミラー２０の位置および画像提示体３０の位置が調整されていることにより、画像表示面３２に表示される画像の虚像を、筆記面１２に目視可能に表示させることができる。

画像表示制御部３５は画像表示面３２への画像表示を制御する機能を担う。画像表示制御部３５は、筆記面１２において虚像として視認される、筆記対象領域を示す複数の画像オブジェクトＯｂｎ（ｎ＝１，２，…）を含む第１の画像１００Ａを画像表示面３２に表示させ、筆記面１２と画像表示面３２との間の空間に筆記具７４を含む現実物体７０が挿入された場合に、複数の画像オブジェクトのうち、筆記面１２上で現実物体７０と重なり、かつ、筆記具７４の先端とは重ならない画像オブジェクトを非表示にする自筆支援方法を実行する。

ここで、筆記面１２とハーフミラー２０との間の空間に挿入される筆記具７４を含む現実物体７０としては、主として、筆記具７４と筆記具７４を保持する使用者の手７６が想定される。

画像表示制御部３５は、中央処理装置（ＣＰＵ：Central Processing Unit）、主記憶装置、補助記憶装置、入出力インターフェースおよび通信インターフェースなどの周知のハードウェア構成を備えたコンピュータに実装されている。コンピュータには上述の自筆支援方法を実現するための自筆支援プログラムがインストールされており、このプログラムを実行することにより、画像表示制御部３５として機能する。

なお、自筆支援プログラムは、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。またはネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに外部からアクセス可能な状態で記憶され、自筆支援装置を設置する設置者、あるいは、自筆支援装置の使用者の要求に応じてコンピュータにダウンロードされ、インストールされる。自筆支援プログラムは、コンピュータを自筆支援装置のための画像表示制御部として機能させるためのアプリケーションソフトウェアとして提供されうる。

本実施形態においては、画像表示面３２を備えた画像提示体３０として、例えば、図４に示すようなタブレット型コンピュータを適用することができる。タブレット型コンピュータは、画像表示面３２を構成するディスプレイと、そのディスプレイと同一面側に備えられている、物体位置センサ３６として機能するインカメラ（以下においてインカメラ３６ともいう。）とを備えている。

図５は、本実施形態の自筆支援装置１を構成する画像表示制御部３５およびその他の構成要素の関係を模式的に示すブロック図である。画像表示制御部３５は、筆記面１２に表示すべき画像の鏡像画像の画像データを保持する画像データ保持部３７と、非表示とする画像オブジェクトを特定する演算処理を行う演算部３８とを備えている。

物体位置センサ３６は、タブレット型コンピュータに備えられているインカメラに限らず、支持部材４０の一部等に備えられた、カメラ、赤外線センサおよび超音波センサなどであってもよい。

画像データ保持部３７は、第１の画像の画像データを記憶する記憶部である。画像データ保持部３７には、第１の画像として、ハガキ用のレイアウト画像の他、各種のレイアウト画像等の画像データが保持されており、筆記媒体に応じて適切な画像データが演算部３８に読み出される構成とすることができる。また、画像データ保持部３７には、第１の画像に含まれる複数の筆記対象画像オブジェクトの座標情報が保持されている。

使用者は画像表示面３２に表示された画像と筆記面１２とをハーフミラー２０を介して視認する。現実物体７０は使用者の手７６と筆記具７４であり、使用者により移動される。物体位置センサ３６は現実物体７０がハーフミラー２０と筆記面１２との間に挿入された場合、それを検出し、筆記面１２上における現実物体７０の画像データを取得する。また、物体位置センサ３６では手７６の動きを検出し、常にもしくは一定時間毎など予め設定されたタイミングで現実物体の画像データを取得するように設定してもよい。

画像表示制御部３５の演算部３８において、物体位置センサ３６により取得された画像データから求められた現実物体７０の筆記面１２における座標情報と、画像データ保持部３７に予め備えられている各画像オブジェクトの座標情報とに基づいて、非表示にする画像オブジェクトを特定し、画像表示制御部３５は、その画像オブジェクトを非表示とした画像の鏡像画像を画像表示面３２に表示する。

このとき、画像表示制御部３５の演算部３８は、物体位置センサ３６により取得された画像データから、現実物体７０の筆記面１２における座標情報を求める演算を行う。なお、物体位置センサ３６がさらに演算部を備えている場合には、物体位置センサ３６側で現実物体の座標情報を求め、その座標情報を画像表示制御部３５に送信するように構成してもよい。

現実物体の座標情報としては、例えば、現実物体の筆記面における投影領域の上端、下端、左端および右端の位置座標が挙げられる。投影領域の上下左右端の位置座標をすべて取得してもよいが、非表示する画像オブジェクトを特定するために最低限必要な座標情報を求めればよい。

ここで、筆記面に表示される画像について図６および図７を参照して説明する。以下において、筆記面１２は、はがき１０の表面であり、筆記面１２に表示すべき画像は、はがき用のレイアウト画像１００とする。レイアウト画像１００は、住所、宛名等の記入領域のそれぞれが筆記対象領域を示す画像オブジェクトＯｂ_１〜Ｏｂ_８を含む。既述の通り、画像表示面３２には、筆記面１２に視認されるレイアウト画像１００の鏡像画像が表示されるが、視覚的に理解しやすいように、図６以降の図面においては、筆記面に視認されるレイアウト画像１００を示して説明する。

図６のＡに示すように、はがき１０の筆記面１２にレイアウト画像１００を表示する際、筆記面１２とハーフミラーとの間の空間に筆記具７４を含む現実物体７０が挿入される場合について説明する。この場合、使用者が、筆記面１２を目視した場合、画像オブジェクトＯｂ_２、Ｏｂ_３およびＯｂ_４のそれぞれの一部が手７６および筆記具７４と重なって見える。図６のＢのように、筆記面１２と一致して見えるべき画像オブジェクトＯｂ_２〜Ｏｂ_４が手や筆記具の表面に目視されると、筆記面と画像との奥行き感に使用者は強い違和感を覚える。そのため、画像表示制御部３５は、図６のＣに示すように、手７６および筆記具７４と重なって表示される画像オブジェクトＯｂ_２、Ｏｂ_３およびＯｂ_４のうち、筆記具の先端７４Ｐと重なっている画像オブジェクトＯｂ_４以外の画像オブジェクトＯｂ_２、Ｏｂ_３を非表示とする制御を行う。

図７のＡに示す元のレイアウト画像１００から、現実物体７０と重なり、かつ筆記具７４の先端７４Ｐと重ならない画像オブジェクトＯｂ_２、Ｏｂ_３を非表示とした非表示処理画像１０１を作成する。そして、この非表示処理画像１０１を筆記面１２に表示させると図７のＣ（図６のＣ）に示す視野像１１２が得られる。

図７のＣのように画像オブジェクトＯｂ_２、Ｏｂ_３が非表示とされると、手と重なって目視される画像オブジェクトの領域が減るため、使用者の違和感を低減し、自然な使用感を使用者に与えることができる。

画像表示制御部３５において、非表示にする画像オブジェクトを特定する方法の一例を説明する。

図８は筆記面１２の筆記領域１２Ａの座標規定を説明するための図である。図８に示すように、筆記面１２をｘｙ平面で表す。ｘｙ平面は、使用者が使用時に筆記面を目視した場合における左右にｘ軸、上下にｙ軸をとり、左右の右向をｘ軸の正、上下の上向きをｙ軸の正とする。そして、筆記領域１２Ａの上端のｙ座標をＹ_ＭＡＸ、下端のｙ座標をＹ_ＭＩＮ、左端のｘ座標をＸ_ＭＩＮおよび右端のｘ座標をＸ_ＭＡＸとする。

画像表示制御部３５の画像データ保持部３８には、筆記面１２に表示される第１の画像１００に含まれる各画像オブジェクトＯｂ_ｎ（ｎ＝１、２、…８）の座標情報として、図８に示すｘｙ平面における各画像オブジェクトＯｂ_ｎの上下端および左右端の位置座標（上端のｙ座標Ｙ_ｎＴ、下端のｙ座標Ｙ_ｎＢ、左端のｘ座標Ｘ_ｎＬ、右端のｘ座標Ｘ_ｎＲ）が予め保持されている。

図９は、現実物体７０の筆記面１２における投影領域の上下端および左右端の座標を説明するための図である。ここで、投影領域とは、現実物体７０を筆記面１２に垂直投影した領域である。画像データから投影領域が得られ、投影領域の上端、下端、左端および右端の座標情報を取得するが、この際の上端のｙ座標をＹ_Ｔ、下端のｙ座標をＹ_Ｂ、左端のｘ座標をＸ_Ｌ、右端のｘ座標をＸ_Ｒとする。なお、図９に示すように投影領域の下端Ｙ_Ｂが筆記領域１２Ａの下端Ｙ_ＭＩＮと一致しており、筆記領域１２Ａの下端Ｙ_ＭＩＮに対して投影領域がＸ方向に幅をもって重なっている場合には、下端Ｙ_Ｂの左端のｘ座標をＸ_Ｂ１、下端Ｙ_Ｂの右端のｘ座標をＸ_Ｂ２とする。

図８および図９に規定した座標系に基づいて、各画像オブジェクト毎に表示、非表示を判定する。この際、手の左右および筆記具の先端位置を示す情報を特定した後に、それらの情報と、各画像オブジェクトの座標情報とに基づいて、各画像オブジェクトの表示、非表示を特定する。

図１０は、手の左右、すなわち、筆記具を保持する手が左手であるか右手であるかを特定し、かつ、筆記具の先端位置を特定するフローを示す図である。

まず、現実物体の投影領域の下端Ｙ_Ｂが筆記領域１２Ａの下端Ｙ_ＭＩＮと一致しているか否かを判定する（ＳＴ１）。

Ｙ_Ｂ＝Ｙ_ＭＩＮである場合（ＳＴ１：ＹＥＳ）、現実物体の投影領域の左端Ｘ_Ｌが現実物体の投影領域の下端Ｙ_Ｂの左端Ｘ_Ｂ１よりも小さいか否かを判断する（ＳＴ２）。ここで、Ｘ_Ｌ＜Ｘ_Ｂ１である場合（ＳＴ２：ＹＥＳ）、筆記具を保持する手が右手であると判断し、このとき左端の位置を筆記具の先端位置（Ｘ_Ｐ，Ｙ_Ｐ）として設定する（ＳＴ４）。他方、Ｘ_Ｌ＜Ｘ_Ｂ１でない場合（ＳＴ２：ＮＯ）、左手であると判断し、このとき左端の位置を筆記具の先端位置（Ｘ_Ｐ，Ｙ_Ｐ）として設定する（ＳＴ５）。

Ｙ_Ｂ＝Ｙ_ＭＩＮでない場合（ＳＴ１：ＮＯ）、現実物体の投影領域の右端Ｘ_Ｒが投影領域の右端Ｘ_ＭＡＸであるか否かを判断する（ＳＴ３）。ここで、Ｘ_Ｒ＝Ｘ_ＭＡＸである場合（ＳＴ３：ＹＥＳ）、筆記具を保持する手が右手であると判断し、このとき左端の位置を筆記具の先端位置（Ｘ_Ｐ，Ｙ_Ｐ）として設定する（ＳＴ４）。Ｘ_Ｒ＝Ｘ_ＭＡＸでない場合（ＳＴ３：ＮＯ）、左手であると判断し、このとき左端の位置を筆記具の先端位置（Ｘ_Ｐ，Ｙ_Ｐ）として設定する（ＳＴ５）。

以上のフローにしたがって、手７６の左右、および筆記具７４の先端７４Ｐの位置座標（Ｘ_Ｐ、Ｙ_Ｐ）を特定する。以下においては、この筆記具を握っている手を利き手と称している。

なお、現実物体の画像データから筆記具の先端位置を特定する方法としては、上記の方法に限られず、投影領域から、先端先細りの領域、あるいは線状の領域を検出して先端位置として特定する方法などであってもよい。さらに、投影領域から筆記具の先端を特定して、その左右どちらに投影領域が広がっているかによって手の左右を特定することもできる。

図１１は、各画像オブジェクトについて、非表示とするか表示とするかを決定するフローを示す図である。

まず、画像オブジェクトＯｂ_ｎの下端Ｙ_ｎＢが現実物体の投影領域の上端より下であるか否かを判断する（ＳＴ１１）。

Ｙ_ｎＢ＜Ｙ_Ｔであり（ＳＴ１１：ＹＥＳ）、利き手が右手である場合（ＳＴ１２：右）、画像オブジェクトの左端Ｘ_ｎＬが現実物体の左端Ｘ_Ｌ（＝筆記具の先端位置）よりも右にあるか否かを判断する（ＳＴ１３）。ここで、Ｘ_ｎＬ＞Ｘ_Ｌである場合（ＳＴ１３：ＹＥＳ）、非表示と決定する（ＳＴ１５）。他方、Ｘ_ｎＬ＞Ｘ_Ｌでない場合（ＳＴ１３：ＮＯ）、表示と決定する（ＳＴ１６）。

Ｙ_ｎＢ＜Ｙ_Ｔであり（ＳＴ１１：ＹＥＳ）、利き手が左手である場合（ＳＴ１２：左）、画像オブジェクトの右端Ｘ_ｎＲが現実物体の右端Ｘ_Ｒ（＝筆記具の先端位置）よりも左にあるか否かを判断する（ＳＴ１４）。ここで、Ｘ_ｎＲ＜Ｘ_Ｒである場合（ＳＴ１４：ＹＥＳ）、非表示と決定する（ＳＴ１５）。他方、Ｘ_ｎＲ＜Ｘ_Ｒでない場合（ＳＴ１３：ＮＯ）、表示と決定する（ＳＴ１５）。

一方、Ｙ_ｎＢ＜Ｙ_Ｔでない場合（ＳＴ１１：ＮＯ）、表示と決定する（ＳＴ１６）。

各画像オブジェクトに関して上記のフローに沿って表示、非表示を決定して、非表示とする画像オブジェクトを特定する。

画像表示制御部３５は、例えば、以上のようにして、現実物体７０の投影領域と筆記面１２で重なりを有するが、筆記具７４の先端７４Ｐとは重ならない画像オブジェクトを非表示とした非表示処理画像１０１を作成して、その鏡像画像を画像表示面３２に表示する。

なお、上記においては、画像表示制御部３５において、筆記具を保持する手の左右を特定したが、使用者の利き手の情報をあらかじめ使用者が指定するようにしてもよい。図１２は、自筆支援装置１を構成する画像表示制御部３５およびその他の構成要素についての設計変更例のブロック図である。利き手情報受付部３９を備えている点でのみ図５に示した構成と異なる。利き手情報受付部３９は、例えば、タブレット型コンピュータのタッチパネルにより実現することができる。
使用者が利き手情報を入力するので、画像表示制御部３５において、筆記具７４を持つ手７６の左右を特定するフローを実施する必要がないため、より速い処理が可能となる。

画像表示制御部３５は、さらに、第１の画像とは異なる第２の画像を、第１の画像と重ねて画像表示面３２に表示させるように構成されていてもよい。第２の画像は、例えば、記入領域に記載すべき内容について示すガイド画像である。

第２の画像として「宛名」などの記入すべき情報に関するガイド画像１２２を表示させる方法について図１３を参照して説明する。

図１３のＡに示すレイアウト画像１００において、上記実施形態と同様にして図１３のＢに示す非表示処理画像１０１を作成する。この非表示処理画像１０１の作成時に特定された筆記具７４の先端７４Ｐの位置情報から、使用者が記入しようとしている領域の画像オブジェクトを特定する。具体的には、筆記具７４の先端７４Ｐが重なっている画像オブジェクトＯｂ_４を、記入対象の画像オブジェクトとして特定する。そして、この画像オブジェクトＯｂ_４に関する情報、例えば、記入すべき事項を示すガイド画像１２２を第２の画像として選択する。非表示処理画像１０１の上層のレイヤーにガイド画像１２２を重ねたオーバーレイ画像１０２を作成する。

そして、図１３のＣに示すように、筆記面１２上に、筆記具７４を持つ手７６が挿入されると、図１３のＤに示す視野像１１３のように、使用者には、ガイド画像１２２が手７６に一部重なるように目視される。この場合も、使用者は筆記面１２と一致して表示される各画像オブジェクトＯｂ_１、Ｏｂ_４〜Ｏｂ_８の上に手７６が位置しているように認識できる。さらに、ガイド画像１２２により、記入すべき内容がすぐにわかるため、作業を効率よく進めることができる。なお、ガイド画像１２２は、非表示画像オブジェクトの領域とは異なる領域に表示されていてもよい。しかし、ガイド画像１２２が手と重なり、手の手前に存在するように認識されることによりレイアウト画像を含む非表示処理画像１０１が手の奥に存在するように使用者に感じさせることができ、違和感を低減する効果がより高まるため好ましい。

なお、「宛名」を示すガイド画像１２２のように表示領域が小さく、非表示処理画像１０１中の画像オブジェクトが存在しない領域に表示可能な場合には、レイアウト画像１００にガイド画像１２２を合成した合成画像を作成し、合成画像を画像表示面３２に表示するようにしてもよい。

さらに、図１４に示すように、ガイド画像１２２の全域が手の表面に表示するようにしてもよい。レイアウト画像にガイド画像１２２が重ならないため、現実物体７０の奥にレイアウト画像が位置し、ガイド画像１２２が現実物体７０の手前に位置するように知覚しやすくなり、奥行き知覚の違和感をさらに解消することができる。

なお、はがき表書き用のガイド画像１２２としては、「宛名」の他、例えば、「住所」「郵便番号」などが挙げられる。これらの画像データも画像データ保持部３７に記憶されており、演算部３８は、筆記面の筆記具の先端の位置に応じて適切なガイド画像を読み出し、表示させることができる。

上記の実施形態で説明したように、複数の画像オブジェクトを含む筆記面に表示される画像において、現実物体の位置に応じて画像オブジェクトの表示、非表示を制御するので、複雑な画像処理等を行う必要がなく、非表示処理画像の処理速度を非常に早くすることができ、現実物体が移動した場合にも、違和感なく使用することができる。

上記実施形態においては、画像提示体３０がタブレット型コンピュータから構成され、画像表示制御部３５を内包する構成として説明したが、画像提示体３０はコンピュータを含まない単なるディスプレイから構成されていてもよい。その場合、画像提示体３０が、画像表示制御部が実装された別体のコンピュータと、無線もしくは有線で接続される構成としてもよい。

第１の画像としては、例えば、上述したはがきの宛名面（表面）の他、手紙やはがきの文面（裏面）のレイアウトやマス目、達筆のナビゲート、お絵かきのフレーム、および役所や銀行などにおける記入書類のレイアウトなどが挙げられる。

なお、本発明の自筆支援装置は、書面作成の支援の他、手術支援、手術教育、組立作業支援、実験作業支援などにも適用可能である。

以下、実施例および比較例について説明する。

実施例および比較例では、図１に示す装置において、物体位置センサはカメラとし、物体位置センサから筆記面までの距離を約３００ｍｍとした。筆記面にはがきの宛名書き面が位置されており、第１の画像として住所、宛名などの記入位置を示すレイアウト画像を用いた。現実物体である使用者の手（の甲）の高さは約５０ｍｍとした。カメラで取得したＲＧＢ情報（画像データ）から手の存在位置を決定した。各実施例および比較例は自筆支援装置内の画像表示制御部の作用が異なる。

[実施例１]
上記実施形態において、図６および図７を参照して説明した方法に沿って、レイアウト画像中の、現実物体である手および筆記具の投影領域に重なり、かつ筆記具の先端と重ならない画像オブジェクトを非表示とした非表示処理画像１０１を筆記面に表示させた（図７参照）。これにより、使用者には図７のＣに示す視野像１１２が視認されるようにした。

[実施例２]
上記実施形態において、図１３を参照して説明した方法にしたがって、実施例１の非表示処理画像１０１に、筆記面における手の位置に応じて、筆記すべき内容を表示するガイド画像を重ねて表示させた。これにより、使用者には図１３のＤに示すガイド画像１２２が手に一部重なる視野像１１３が視認されるようにした。

[比較例１]
筆記面上に現実物体７０が挿入されても、レイアウト画像１００を非表示処理することなくそのまま表示させた。すなわち、図６のＢに示す視野像１１１のように、レイアウト画像１００が手に重なって目視されるようにした。

[比較例２]
図１５に示すように、レイアウト画像と重なる現実物体７０の投影領域に対応する領域の輪郭を抽出し、この輪郭よりも広い領域１５５を非表示処理した非表示処理画像１５２を作成し、画像表示面に表示させた。これにより、図１５に示すように、現実物体の投影領域よりも広い領域が非表示とされた像を筆記面に表示させた。この場合、使用者による視野像１１４において、非表示処理画像１５２が使用者の手７６の奥に視認され、手７６の周りに非表示処理により画像が表示されていない領域が手７６より広い範囲に広がっており、手７６の影が表示されているように観察された。

以上の実施例１、２および比較例１、２の表示方法において、使用者によるユーザビリティを比較した。２０人に、ランダムな順に各例の表示方法による表示をおこなった状態で、はがき表面に宛名を筆記させる試験を行い、以下の評価を行った。

＜宛名記入するのにかかった時間＞
筆記開始から終了までの時間（秒）を測定した。

＜宛名の中心からのずれ量＞
宛名字重心のレイアウト中心から横方向にずれた量の和（ｍｍ）を求めた。

＜宛名を記入する体験の自然さ＞
不自然１から自然５の５段階で被験者にアンケートを取った。官能評価である。

各例についての評価結果の平均値を表１に示す。

表１に示すように、比較例１、２に比べて実施例１、２は記入時間が短かった。また、比較例１と比べて、実施例１、２は、奥行の違和感が少ないという評価結果が得られた。比較例２では、奥行の違和感は少ないが、中心からのずれ量が実施例と比較して大きかった。これは、レイアウトの一部情報の欠落による影響と考えられる。なお、実施例１、２の方法は、比較例２のように、現実物体の投影領域の輪郭を抽出し、それより広い領域を非表示処理して非表示処理画像を表示する処理と比較して演算負荷が小さいため、手の動きにより追従した非表示処理画像を表示させることができた。そのために、実施例１、２に関して体験の自然さの評価において比較例２よりも高い評価結果が得られたと考えられる。

２０１８年１月２３日に出願された日本国特許出願特願２０１８−００８８１３の開示はその全体が参照により本明細書に取り込まれる。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (10)

1. 画像表示面に表示された画像の虚像を、前記画像表示面と対向する筆記面で目視可能に、前記画像表示面からの光を反射し、かつ前記筆記面側が目視可能に、前記筆記面側からの光を透過する、前記筆記面との間に空間を隔てて配置されたビームスプリッタと、
   前記画像表示面に、筆記対象領域を示す複数の画像オブジェクトを含む第１の画像を表示し、前記ビームスプリッタと前記筆記面との間の空間に筆記具を含む現実物体が挿入された場合に、前記複数の画像オブジェクトのうち、前記筆記面上で前記現実物体と重なり、かつ前記筆記具の先端とは重ならない画像オブジェクトを非表示にする制御を行う画像表示制御部と、
   を備えた自筆支援装置。
2. 前記筆記面上における前記現実物体の画像データを取得とする物体位置センサを備え、
   前記画像表示制御部が、前記物体位置センサにより取得された前記画像データから求められた前記現実物体の前記筆記面における座標情報と、予め備えられている各画像オブジェクトの座標情報とに基づいて、前記非表示にする画像オブジェクトを特定する請求項１に記載の自筆支援装置。
3. 前記現実物体が、前記筆記具と該筆記具を保持する使用者の手である場合において、
   前記画像表示制御部が、前記現実物体の前記筆記面における座標情報から特定された前記使用者の手の左右および前記筆記具の先端位置を示す情報と、各画像オブジェクトの座標情報とに基づいて、前記非表示にする画像オブジェクトを特定する請求項２に記載の自筆支援装置。
4. 使用者からの利き手情報を受け付ける利き手情報受付部を備え、
   前記現実物体が、前記筆記具と該筆記具を保持する使用者の手である場合において、
   前記画像表示制御部が、前記利き手情報および前記現実物体の前記筆記面における座標情報に基づいて特定された前記筆記具の先端位置を示す情報と、各画像オブジェクトの座標情報とに基づいて、前記非表示にする画像オブジェクトを特定する請求項２に記載の自筆支援装置。
5. 前記画像表示制御部が、
   前記現実物体の前記筆記面における座標情報として、前記筆記面における前記現実物体の投影領域の上端、下端、左端および／または右端の位置座標を取得し、
   前記使用者の手が右手である場合には、前記筆記面における前記現実物体の投影領域の上端より下に下端を有する画像オブジェクトであって、左端が前記筆記具の先端位置より右側にある画像オブジェクトを前記非表示する画像オブジェクトとして特定し、
   前記使用者の手が左手である場合には、前記筆記面における前記現実物体の投影領域の上端より下に下端を有する画像オブジェクトであって、右端が先端位置より左側にある画像オブジェクトを前記非表示にする画像オブジェクトとして特定する請求項３または４に記載の自筆支援装置。
6. 前記画像表示制御部が、
   前記使用者の手が右手である場合には、前記現実物体の投影領域の左端を前記筆記具の先端位置として設定し、
   前記使用者の手が左手である場合には、前記現実物体の投影領域の右端を前記筆記具の先端位置として設定する請求項５に記載の自筆支援装置。
7. 前記画像表示制御部が、前記第１の画像とは異なる第２の画像を、前記第１の画像に重ねて前記画像表示面に表示する請求項１から６のいずれか１項に記載の自筆支援装置。
8. 前記画像表示制御部が、前記第１の画像の前記非表示にする画像オブジェクトの表示領域に、前記筆記具の先端が重なる画像オブジェクトに関する情報を前記第２の画像として表示する請求項７に記載の自筆支援装置。
9. 筆記面において虚像として視認される、筆記対象領域を示す複数の画像オブジェクトを含む第１の画像を画像表示面に表示させ、
   前記筆記面と画像表示面との間の空間に筆記具を含む現実物体が挿入された場合に、前記複数の画像オブジェクトのうち、前記筆記面上で前記現実物体と重なり、かつ、前記筆記具の先端とは重ならない画像オブジェクトを非表示にする自筆支援方法。
10. 請求項９に記載の自筆支援方法をコンピュータに実現させるプログラム。

Images