JPWO2011058656A1 - ハンドヘルド点字変換装置、点字変換方法、点字変換プログラム及び記憶媒体 - Google Patents

Abstract

ハンドヘルド点字変換装置は、点字表示部と、撮像手段と、文字認識手段と、点字変換手段と、表示制御手段と、を備え、文字の読み取りから点字の出力までを一台で完結する。また、上記のハンドヘルド点字変換装置は、片手で持てるぐらいのサイズである。点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、当該単位点字表示部は、複数の可動式の部材を有する。そして、表示制御手段は、単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより撮影画像に存在する文字又は文字列に対するハンドヘルド点字変換装置の位置関係の適否を表示する。また、表示制御手段は、他の単位点字表示部が有する部材を動作させることにより点字を表示する。

Description

本発明は、文字を点字変換する手法に関する。

視覚障害者用の文字閲覧装置としては、一列分の文字の電子データを点字に変換し表示する点字表示装置が知られている。

特許文献１は、コンピュータ内のテキストデータを点字変換して表示する電子データ表示システムを記載している。

特表２００３−５０２６９９号公報

しかし、上記の点字表示装置は、印刷物の文字などをその場で簡単に点字に変換することができないなどの問題点があった。

本発明が解決しようとする課題としては、上記のようなものが例として挙げられる。本発明は、ユーザが携帯し易く、印刷物の文字などをその場で簡単に点字変換することができる点字変換装置を提供することを課題とする。

請求項１に記載の発明は、ユーザが片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、を備え、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする。

請求項９に記載の発明は、ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影工程と、前記撮影工程の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、を備え、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御工程は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする。

請求項１０に記載の発明は、ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置により実行される点字変換プログラムであって、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、として前記ハンドヘルド点字変換装置を機能させ、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする。

ハンドヘルド点字変換装置の構成を示すブロック図の一例である。 ハンドヘルド点字変換装置の構造を示すブロック図の一例である。 ハンドヘルド点字変換装置の機能構成を示すブロック図の一例である。 点字表示部の平面図の一例である。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 点字表示及び位置関係適否表示の例を示す。 撮像画像中の各文字列の横軸方向の境界を示した図の一例である。 撮像画像中の各文字列の範囲を示した図の一例である。 点字セル数Ｎｓの算出方法の一例である。 点字対象文字列の位置及び使用する単位点字表示部を示した図の一例である。 移動前後の点字対象文字列の位置関係を示す図の一例である。 本実施例の処理手順を示すフローチャートの一例である。

本発明の１つの観点では、ユーザが片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、を備え、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示する。

上記のハンドヘルド点字変換装置は、点字表示部と、撮像手段と、文字認識手段と、点字変換手段と、表示制御手段と、を備え、文字の読み取りから点字の出力までを一台で完結する。また、上記のハンドヘルド点字変換装置は、片手で持てるぐらいのサイズである。これにより、ユーザが携帯し易く、身近にある文字をその場で簡単に点字変換することができる点字変換装置を提供することが可能となる。また、点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、当該単位点字表示部は、複数の可動式の部材を有する。ここで、部材とは、ピンまたは球などの部材である。そして、表示制御手段は、単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより撮影画像に存在する文字又は文字列に対するハンドヘルド点字変換装置の位置関係の適否を表示する。また、表示制御手段は、他の単位点字表示部が有する部材を動作させることにより点字を表示する。このように、ハンドヘルド点字変換装置は、単位点字表示部を複数組み合わせることで、点字を表示すると共に利用者の操作を誘導することができる。従って、ハンドヘルド点字変換装置の製作コストの抑制、軽量化、小型化等を実現することができる。

上記のハンドヘルド点字変換装置の一態様では、前記単位点字表示部は並べて設置され、表示制御部は、前記単位点字表示部のうち両端に位置する単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示する。このように、ハンドヘルド点字変換装置は、両端の単位点字表示部により位置関係の適否を表示することで、誘導したい方向を利用者に明確に伝達することが可能となる。

上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記ハンドヘルド点字変換装置の位置が前記撮影画像に存在する文字又は文字列に対していずれの方向にずれているかを示す。この態様では、ハンドヘルド点字変換装置が文字を適正に読み取れなかった場合、ユーザは、所定の部材の動作を指で確認することで、文字又は文字列に対してハンドヘルド点字変換装置の位置がずれている方向を知ることができる。

上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字の有無を示す。この態様では、ユーザは、所定の部材の動作を指で確認することで、撮影画像に文字が存在するか否かを知ることができる。また、ユーザは、撮影画像に文字が存在するにも関わらず点字が表示されていなければ、文字認識できなかった又は点字変換できなかったことを知ることができる。

上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字列が横書きであるか縦書きであるかを示す。この態様では、ユーザは、所定の部材の動作を指で確認することで、撮影画像に存在する文字列が横書きであるか縦書きであるかを判断して適切な方向にハンドヘルド点字変換装置を移動させることができる。

上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字列の頭文字の方向を示す。ここで、「頭文字」とは、撮影画像中に表示された１又は複数の文字列のうち、利用者が最初に読むべき文字を指す。この態様では、ユーザは、所定の部材の動作を指で確認することで、撮影画像中に存在する文字列の頭文字の方向にハンドヘルド点字変換装置を移動させることができる。

上記のハンドヘルド点字変換装置の他の一態様では、前記表示制御手段は、前記一部の単位点字表示部が有する部材を昇降させて凸形状を形成したりしなかったりする動作を振動させて行うことにより前記位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を昇降させて凸形状を形成したりしなかったりすることで点字を表示する。この態様では、ユーザは、点字表示部のうち、位置関係の適否を表示する部分と点字を表示する部分とを判然と区別して認識することができる。

上記のハンドヘルド点字変換装置の他の一態様では、前記点字変換手段は、点字表示の対象となる文字列を構成する各文字の平均文字幅を算出すると共に、当該文字列に相当する点字の数を算出し、前記表示制御手段は、前記ハンドヘルド点字変換装置の移動した場合、前記平均文字幅と前記点字の数とに基づき、点字の表示を変更する。この態様では、表示制御手段は、文字の平均文字幅と文字列全体に相当する点字の数とを考慮して点字を再表示する。ここで、「点字の数」とは、１の単位点字表示部により文字列全体の点字を表示する場合に必要な点字の表示の回数を指す。このようにすることで、ハンドヘルド点字変換装置は、１文字で２以上の点字を要する漢字等の文字が文字列に含まれている場合であっても、当該文字列を移動して読み取る間、当該文字列の点字を平均的な間隔で表示することができる。

本発明の別の観点では、ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影工程と、前記撮影工程の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、を備え、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御工程は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示する。ハンドヘルド点字変換装置は、この方法を用いることで、ユーザの身近にある文字をその場で点字変換することができる。

本発明のさらに別の観点では、ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置により実行される点字変換プログラムであって、前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、として前記ハンドヘルド点字変換装置を機能させ、前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、前記単位点字表示部は、複数の可動式の部材を有し、前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示する。ハンドヘルド点字変換装置は、この点字変換プログラムを実行することで、ユーザの身近にある文字をその場で点字変換することができる。好適な例では、点字変換プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。

［構成］
まず、本発明の本実施例に係るハンドヘルド点字変換装置１の構成について図１乃至図４を用いて説明する。

（ハードウェア構成）
図１は、本発明の本実施例に係るハンドヘルド点字変換装置１を模式的に表した図である。図示のように、ハンドヘルド点字変換装置１は、点字表示部１０、ＣＰＵ１１、ＲＡＭ１２、ＲＯＭ１３、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７を備える。

点字表示部１０は、図示のように複数の可動式ピン２１を備え、これを昇降させて凸形状を形成することにより点字を表示する。可動式ピン２１の配置などの詳細については後述する。

カメラ１５は、ユーザが印刷物の上にハンドヘルド点字変換装置１を置くことにより、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、撮影画像をＣＰＵ１１に送信する。カメラ１５は、たとえば、ＣＣＤカメラとすることができる。

ＣＰＵ１１は、予めＲＡＭ１２又はＲＯＭ１３に記憶されたプログラムを実行することにより、カメラ１５から取得した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ；光学文字認識）処理を実行することで、文字の認識を行う。ＣＰＵ１１は、ＲＡＭ１２及びＲＯＭ１３といったメモリに記憶された漢字と読みとを対応つけた辞書情報と、読みと点字、又は、文字と点字とを対応付けた点字定義情報とを参照し、認識した文字を点字に変換する。そして、ＣＰＵ１１は、変換した点字を点字表示部１０に表示させる。

電源１４は、ハンドヘルド点字変換装置１に電力を供給する。レンズ１６は、カメラのレンズであり、照明用ＬＥＤ１７は、カメラ１５が文字を撮影する際に必要な光源である。

図２は、本発明の本実施例に係るハンドヘルド点字変換装置１の構造を示す。図２（ａ）はハンドヘルド点字変換装置１の内部構造を示す側面透視図であり、図２（ｂ）はハンドヘルド点字変換装置１の内部構造を破線で表示した俯瞰図である。ハンドヘルド点字変換装置１は、ユーザが片手で保持した状態で移動させることが可能なハンドヘルド型装置であり、内部に点字表示部１０、電源１４、カメラ１５、レンズ１６、照明用ＬＥＤ１７、システムコントローラ１９、を備える。カメラ１５とシステムコントローラ１９、システムコントローラ１９と点字表示部１０、システムコントローラ１９と電源１４はそれぞれ配線により電気的に接続されている。

点字表示部１０は、ユーザが片手の親指及び小指でこのハンドヘルド点字変換装置１を保持した状態で人差し指、中指及び薬指の少なくともいずれかの指で点字表示部１０に接触可能な位置に配置されている。

カメラ１５、レンズ１６及び照明用ＬＥＤ１７は、点字表示部１０の直下周辺に配置されている。本実施例では、点字表示部１０の直下部分とこの部分から所定距離以内の部分を直下周辺とする。所定距離とは、例えば３ｃｍである。

システムコントローラ１９は、ＣＰＵ１１、ＲＡＭ１２及びＲＯＭ１３を含んでおり、ハンドヘルド点字変換装置１全体の制御を行う。電源１４は、例えば電池などで構成され、システムコントローラ１９に電力を供給し、システムコントローラ１９を介し、各部品に電力を供給する。なお、電源１４が、システムコントローラ１９を介さず、各部品に直接電力を供給するようにしてもよい。

（機能構成）
図３は、本実施例のハンドヘルド点字変換装置１の機能構成を示すブロック図の一例である。これらの機能は、図１に示す構成要素により実現される。

ハンドヘルド点字変換装置１は、上述したように、カメラ１５と、ＣＰＵ１１と、ＲＯＭ１３と、点字表示部１０とを備える。ＣＰＵ１１は、予め用意されたプログラムを実行することにより、文字認識部１０１、点字変換部１０２及び表示制御部１０３として機能する。ＲＯＭ１３は、辞書情報及び点字定義情報を記憶している。なお、辞書情報及び点字定義情報の一部はＲＡＭ１２に記憶されていてもよい。

カメラ１５は、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し、撮影画像をＣＰＵ１１に送信する。カメラ１５は、本発明における撮影手段として機能する。

文字認識部１０１は、カメラ１５から受信した撮影画像に対し、文字の有無を検知し、文字が有る場合はＯＣＲ処理を実行することで、文字の認識を行う。また、文字認識部１０１は、撮影画像を縦軸及び横軸による２次元座標平面とした場合における認識した文字列の相対的な位置（以後、単に「位置Ｐｒ」と呼ぶ。）、及び当該文字列に沿った直線が２次元座標の横軸に対してなす角度（以後、単に「角度Θｒ」と呼ぶ。）、及び当該文字列の長さ（以後、単に「文字列長Ｌｒ」と呼ぶ。）の情報を取得する。

点字変換部１０２は、文字認識部１０１が認識した文字が漢字である場合は、まず、漢字と読みとを対応付けた辞書情報に基づいて漢字を読みに変換し、次に、読みと点字とを対応付けた点字定義情報に基づいて読みを点字に変換する。点字変換部１０２は、文字認識部１０１が認識した文字がひらがな、カタカナ、数字及びアルファベットである場合は、これらと点字とを対応付けた点字定義情報に基づいて点字に変換する。なお、点字変換部１０２は、検知した文字全てを点字に変換するようにしてもよく、一部（例えば、点字表示部１０で表示可能な文字数）のみを点字に変換するようにしてもよい。そして、点字変換部１０２は、変換した点字の情報（以下、「点字情報」という。）を、表示制御部１０３に供給する。

表示制御部１０３は、点字変換部１０２が変換した点字を点字表示部１０に表示させる。さらに、表示制御部１０３は、ハンドヘルド点字変換装置１の現在の位置が適切か否か知らせると共に、必要に応じて移動方向を適切な方向に誘導するための表示（以後、「位置関係適否表示」とよぶ。）を、点字表示部１０に表示させる。以後では、表示制御部１０３が可動式ピン２１を昇らせて凸形状を形成することを、「可動式ピン２１を立たせる」とも表現する。

点字表示部１０は、上述したように、可動式ピン２１を昇降させて凸形状を形成することにより点字表示や位置関係適否表示などを行う。

（点字変換部の構成）
次に、点字表示部１０の構成について図４を用いて説明する。図４は、点字表示部１０の平面図を示す。

点字表示部１０は、第１点字モジュール１０ｘと、第２点字モジュール１０ｙと、を備える。第１点字モジュール１０ｘと第２点字モジュール１０ｙとは、それぞれ可動式ピン２１を３２個備える。即ち、点字表示部１０は、第１点字モジュール１０ｘと第２点字モジュール１０ｙとが連続的に並べられることで、計６４個の可動式ピン２１が配置される。

可動式ピン２１は２列４行の計８個で１つの単位点字表示部２２を構成する。従って、点字表示部１０は、合計８つの単位点字表示部２２Ｌ、２２Ａ乃至２２Ｆ、２２Ｒが横並びに配置されている。

このうち、単位点字表示部２２Ａ乃至２２Ｆは、点字を表示する部分に相当する。具体的には、単位点字表示部２２Ａ乃至２２Ｆは、各々が８個の可動式ピン２１を昇降し、凸形状を形成することにより点字を表示する。そして、単位点字表示部２２Ａ乃至２２Ｆは、１つ又は２つで１文字を表す。以後では、単位点字表示部２２Ａ乃至２２Ｆに配置された可動式ピン２１を、「第１ピン」と称す。

一方、単位点字表示部２２Ｌ、２２Ｒは、可動式ピン２１の全部または一部を突出させることで、文字の有無の表示又は位置関係適否表示を行う。これにより、単位点字表示部２２Ｌ、２２Ｒは、読み取る対象となる文字列をカメラ１５により適切に撮像させ、利用者によるハンドヘルド点字変換装置１の移動操作の誘導を行う。以後では、単位点字表示部２２Ｌ、２２Ｒに配置された可動式ピン２１を、「第２ピン」と呼ぶ。

［第２ピンの動作制御］
次に、表示制御部１０３が実行する第２ピンの制御方法について説明する。概略的には、表示制御部１０３は、第２ピンを立たせることで、ハンドヘルド点字変換装置１の移動方向（以後、単に「移動方向」と呼ぶ。）を誘導する。具体的には、表示制御部１０３は、原則的に、利用者がハンドヘルド点字変換装置１に置いた指に対して、移動方向を修正したい方向に位置する第２ピンを立たせると共に、他の方向に位置する第２ピンを下げる。なお、この際、読み取りの対象となる文字列の方向は変わらないものとする。つまり、利用者は、読み取りの対象となる文字列が記載された書類などの方向は変えず、ハンドヘルド点字変換装置１の移動方向を修正する。

以後、この具体例について、図５乃至図１０を参照しつつ、１５のパターン（具体例１乃至具体例１５）に場合分けしてそれぞれ説明する。

なお、図５乃至図１０では、突出していないピンを「○」で表し、突出しているピンを「○の中に×」で表す。また、図中の四角枠８０は、点字変換される文字又は文字列（「点字対象文字」と呼ぶ。）の範囲を示す。以後では、「横軸方向」とは、四角枠８０の長辺方向を指し、図１２で後述する撮像画像のｘ座標を定める横軸方向と一致する。また、単位点字表示部２２Ｌ、２２Ｒの２列４行に配置された各可動式ピン２１を、図面上の左から順に列番号を付すと共に、上から順に行番号を付して特定する。

１．点字対象文字がない場合
図５（ａ）は、点字対象文字がない場合の可動式ピン２１の状態を示す。図５（ａ）に示すように、この場合、表示制御部１０３は、全ての第２ピンを立たせない。

２．点字対象文字はあるが、認識不可能な文字である場合
図５（ｂ）は、点字対象文字が点字定義情報にない場合の可動式ピン２１の状態を示す。図５（ｂ）に示すように、表示制御部１０３は、この場合、単位点字表示部２２Ｌの四隅に相当する第１行目及び第４行目の第２ピンを立たせると共に、単位点字表示部２２Ｒの四隅に相当する第１行目及び第４行目の第２ピンを立たせる。

３．点字対象文字があり、かつ、認識可能な文字である場合
図５（ｃ）は、点字対象文字が点字定義情報にあり、点字表示可能な場合の可動式ピン２１の状態を示す。図５（ｃ）に示すように、この場合、表示制御部１０３は、点字対象文字「パイオニア」を、点字変換部１０２から供給された点字情報に基づき、単位点字表示部２２Ａ乃至２２Ｆが備える第１ピンで点字表示する。具体的には、表示制御部１０３は、点字対象文字の各文字の位置に従い、「パ」を単位点字表示部２２Ａ、２２Ｂで点字表示し、「イ」を単位点字表示部２２Ｃで点字表示し、「オ」を単位点字表示部２２Ｄで点字表示し、「ニ」を単位点字表示部２２Ｅで点字表示し、「ア」を単位点字表示部２２Ｆでそれぞれ点字表示する。

また、表示制御部１０３は、単位点字表示部２２Ｌの四隅に相当する第１行目及び第４行目の第２ピンを立たせると共に、単位点字表示部２２Ｒの四隅に相当する第１行目及び第４行目の第２ピンを立たせる。

４．点字対象文字があり、かつ、点字対象文字が行の最後に相当する場合
図６（ａ）は、点字対象文字が行の最後に相当する場合の可動式ピン２１の状態を示す。図６（ａ）に示すように、この場合、表示制御部１０３は、点字対象文字である「イオニア」をそれぞれ単位点字表示部２２Ａ乃至２２Ｄの第１ピンで点字表示している。また、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒの第２ピンのうち、単位点字表示部２２Ｌの四隅の第２ピンのみを立たせることで、点字対象文字が行の最後であることを利用者に知らせる。

５．点字対象文字があり、かつ、点字対象文字が行の最初（最先端）に相当する場合
図６（ｂ）は、点字対象文字が行の最先端に相当する場合の可動式ピン２１の状態を示す。図６（ｂ）に示すように、この場合、表示制御部１０３は、点字対象文字「パイオ」を、その位置に従い、単位点字表示部２２Ｃ乃至２２Ｆが備える第１ピンで点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｒの四隅の第２ピンのみを立たせることで、点字対象文字が行の最先端であることを利用者に知らせる。

６．点字対象文字があり、かつ、反時計回りに角度の調整が必要な場合
図６（ｃ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して時計回りに所定角度（以後、「角度Θｔｈ」と呼ぶ。）以上ずれていることにより、点字表示ができない場合の可動式ピン２１の状態を示す。ここで、角度Θｔｈとは、例えば２０°であり、文字認識部１０１が点字対象文字を正確に認識することができない角度を指す。この場合、表示制御部１０３は、全ての可動式ピン２１のうち、単位点字表示部２２Ｌの第４行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第１行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｌの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は下方へ修正が必要であることを示し、単位点字表示部２２Ｒの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は上方へ修正が必要であることを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１の移動方向を反時計回りに回転させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の左側を下方へ、右側を上方へ移動させ、その結果、ハンドヘルド点字変換装置１の移動方向を反時計回りに修正することになる。

７．点字対象文字があり、かつ、時計回りに角度の調整が必要な場合
図７（ａ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して角度Θｔｈ以上反時計回りにずれていることにより、点字表示ができない場合の可動式ピン２１の状態を示す。この場合、表示制御部１０３は、全ての可動式ピン２１のうち、単位点字表示部２２Ｌの第１行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第４行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｌの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は上方へ修正が必要であることを示し、単位点字表示部２２Ｒの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は下方へ修正が必要であることを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を時計回りに回転させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の左側を上方へ、右側を下方へ移動させ、その結果、ハンドヘルド点字変換装置１の移動方向を時計回りに修正することになる。

８．点字対象文字があり、かつ、装置の左側を上方にずらす必要がある場合
図７（ｂ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して角度Θｔｈ以内の範囲で反時計回りにずれていることにより、ハンドヘルド点字変換装置１の左側を上方にずらす必要がある場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。

この場合、表示制御部１０３は、単位点字表示部２２Ａ乃至２２Ｆが備える第１ピンにより点字対象文字を点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第１行目及び第４行目の計４つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｌの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は上方へ修正が必要であることを示す一方、単位点字表示部２２Ｒの上側及び下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は修正が必要でないことを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の左側を上方へ修正することになる。

９．点字対象文字があり、かつ、装置の右側を上方にずらす必要がある場合
図７（ｃ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して時計回りに角度Θｔｈ以内の範囲でずれていることにより、ハンドヘルド点字変換装置１の右側を上方にずらす必要がある場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。

表示制御部１０３は、単位点字表示部２２Ａ乃至２２Ｆが備える第１ピンにより点字対象文字を点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１行目及び第４行目の計４つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第１行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｒの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は上方へ修正が必要であることを示す一方、単位点字表示部２２Ｌの上側及び下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は修正が必要でないことを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の右側を上方へ修正することになる。

１０．点字対象文字があり、かつ、装置の左側を下方にずらす必要がある場合
図８（ａ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して時計回りに角度Θｔｈ以内の範囲でずれていることにより、ハンドヘルド点字変換装置１の左側を下方にずらす必要がある場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。

表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第４行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第１行目及び第４行目の計４つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｌの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は下方へ修正が必要であることを示す一方、単位点字表示部２２Ｒの上側及び下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は修正が必要でないことを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の左側を下方へ修正することになる。

１１．点字対象文字があり、かつ、装置の右側を下方にずらす必要がある場合
図８（ｂ）は、撮像画像の横軸方向が、点字対象文字の文字列の方向に対して反時計回りに角度Θｔｈ以内の範囲でずれていることにより、ハンドヘルド点字変換装置１の右側を下方にずらす必要がある場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。

表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１行目及び第４行目の計４つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第４行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｒの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の右側は下方へ修正が必要であることを示す一方、単位点字表示部２２Ｌの上側及び下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の左側は修正が必要でないことを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１の右側を下方へ修正することになる。

１２．点字対象文字があり、かつ、装置全体を下方にずらす必要がある場合
図８（ｃ）は、文字認識可能な範囲で、点字対象文字に対してハンドヘルド点字変換装置１全体が上方にずれている場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。

表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第４行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第４行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｒ、２２Ｌの下側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の全体を下方へ修正する必要があることを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１全体を下方へ修正することになる。

１３．点字対象文字があり、かつ、装置全体を上方にずらす必要がある場合
図９（ａ）は、文字認識可能な範囲で、点字対象文字に対してハンドヘルド点字変換装置１全体が下方にずれている場合の可動式ピン２１の状態を示す。なお、文字認識部１０１は、全ての点字対象文字を正しく認識したとする。

表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１行目の２つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第１行目の２つの第２ピンを立たせる。即ち、表示制御部１０３は、単位点字表示部２２Ｒ、２２Ｌの上側の第２ピンを立たせることにより、ハンドヘルド点字変換装置１の全体を上方へ修正する必要があることを示す。これにより、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。これに応じて、利用者はハンドヘルド点字変換装置１全体を上方へ修正することになる。

１４．点字対象文字が縦書きであり、かつ、認識可能な場合
図９（ｂ）は、点字対象文字が縦書きであり、かつ、文字認識部１０１が全ての点字対象文字を正しく認識した場合の可動式ピン２１の状態を示す。

この場合、表示制御部１０３は、点字対象文字を単位点字表示部２２Ａ乃至２２Ｆの第１ピンにより点字表示する。また、表示制御部１０３は、単位点字表示部２２Ｌの第２ピンのうち第１列目の４つの第２ピンを立たせると共に、単位点字表示部２２Ｒの第２ピンのうち第２列目の４つの第２ピンを立たせる。即ち、表示制御部１０３は、点字対象文字が縦書きの場合、立たせる第２ピンを縦方向に並べる。このようにすることで、表示制御部１０３は、文字列に合わせてハンドヘルド点字変換装置１を移動させるように利用者の操作を誘導する。

また、点字対象文字が縦書きであり、かつ、上記の４から１３のいずれかである場合は、単位点字表示部２２Ｌの第１行目の２つの第２ピンの代わりに第１行１列目および第２行１列目の２つの第２ピンを、単位点字表示部２２Ｌの第４行目の２つの第２ピンの代わりに第３行１列目および第４行１列目の２つの第２ピンを、単位点字表示部２２Ｒの第１行目の２つの第２ピンの代わりに第１行２列目および第２行２列目の２つの第２ピンを、単位点字表示部２２Ｒの第４行目の２つの第２ピンの代わりに第３行２列目および第４行目２列目の２つの第２ピンを立たせる。このようにすることで、縦書きに合わせた操作を利用者に誘導すると同時にハンドヘルド点字変換装置１の移動方向の修正を促すことができる。

１５．頭文字方向を誘導する場合
次に、文書にハンドヘルド点字変換装置１を乗せて利用者の指示により又は自動的に点字処理を開始する場合であって、当該文書の最初に読むべき文字（以後、「頭文字」とも呼ぶ。）の方向を誘導するときの可動式ピン２１の制御について図１０を用いて説明する。ここで、「文書」とは、読み取る対象となる文書その他文字が記載された情報伝達媒体を指す。

図１０（ａ）は、左上方向に頭文字がある場合の可動式ピン２１の状態を示す。また、図１０（ｂ）は、右上方向に頭文字がある場合の可動式ピン２１の状態を示す。図１０（ｃ）は、左下方向に頭文字がある場合の可動式ピン２１の状態を示す。図１０（ｄ）は、右下方向に頭文字がある場合の可動式ピン２１の状態を示す。なお、以後の図１０（ａ）乃至（ｄ）の単位点字表示部２２Ａ乃至２２Ｆの状態は、一例であり、頭文字の方向の誘導には直接関連しない。

この場合、表示制御部１０３は、利用者がハンドヘルド点字変換装置１に置いた指に対して、移動方向を修正したい方向に位置する第２ピンを立てると共に、他の方向に位置する第２ピンを下げる。具体的には、図１０（ａ）に示すように、左上方向に頭文字がある場合、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｌの第１列目及び第２列目の計４つの第２ピンを立たせる。また、図１０（ｂ）に示すように、右上方向に頭文字がある場合、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｒの第１列目及び第２列目の計４つの第２ピンを立たせる。さらに、図１０（ｃ）に示すように、左下方向に頭文字がある場合、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｌの第３列目及び第４列目の計４つの第２ピンを立たせる。また、図１０（ｄ）に示すように、右下方向に頭文字がある場合、表示制御部１０３は、単位点字表示部２２Ｌ、２２Ｒが備える第２ピンのうち、単位点字表示部２２Ｒの第３列目及び第４列目の計４つの第２ピンを立たせる。

次に、文字認識部１０１が撮像画像から頭文字部分を特定する具体的方法について説明する。例えば、ハンドヘルド点字変換装置１は、頭文字部分を特定する場合、文書に記載された文字列の集合の全体（以後、単に「文書全体」と呼ぶ。）を表した撮像画像をカメラ１５から取得し、当該撮像画像から頭文字部分を推定する。これについて図１１を用いて説明する。図１１は、文書全体が表された撮像画像の一例を示す。文字認識部１０１は、まず、文書全体の各文字列が記載された範囲を特定する。例えば、文字認識部１０１は、図１１の縦線に示すように、まず文書中の各文字列の横幅の境界を特定する。次に、文字認識部１０１は、各文字列の左側の境界のうち、第１行目の境界が字下げ分だけずれており、２行目以降の境界が揃っている又は所定差以内で同一直線上にある点、及び、各文字列の右側の境界が各行でばらばらになっている点を確認する。上述の所定差は、例えば字下げに相当するスペース未満の値に設定される。そして、文字認識部１０１は、上述の２点から、頭文字部分が第１行目の最も左に位置する文字であると判断する。そして、その後、図１０（ａ）に示すように、表示制御部１０３は、ハンドヘルド点字変換装置１を左上に移動させるように利用者の操作を誘導する。

図１１に示す例の他、ハンドヘルド点字変換装置１が最初に文書に載せられた場合、文書全体の各文字列は、角度Θｒが１８０°、即ち、上下逆にずれていたり、角度Θｒの絶対値が角度Θｔｈ以上になる可能性がある。この場合、表示制御部１０３は、上述した図６（ｃ）の具体例６及び図７（ａ）の具体例７等に従い第２ピンを適宜制御する。これにより、表示制御部１０３は、利用者の操作を誘導し、各文字列と撮像画像の横軸とを一致させることができる。

次に、頭文字方向の誘導を終了する条件について説明する。例えば、表示制御部１０３は、以下の（ａ）乃至（ｅ）のいずれかの条件又はこれらを任意に組み合わせた条件が満たされた場合、頭文字方向の誘導を終了する。

（ａ）撮像画像に文字がない場合。即ち図５（ａ）に示す具体例１の状態に至った場合。

（ｂ）文字列の右側の境界に到達した場合。即ち、図６（ａ）に示す具体例４の状態に至った場合。

（ｃ）文字列の左側の境界に到達した場合。即ち、図６（ｂ）に示す具体例５の状態に至った場合。

（ｄ）文書の第１行目の文字列の上の境界に到達した場合。即ち、図８（ｃ）に示す１具体例２の状態から図５（ａ）に示す具体例１の状態に至った場合。

（ｅ）文書の最後の行の文字列の下の境界に到達した場合。即ち、図９（ａ）に示す具体例１３の状態から図５（ａ）に示す具体例１の状態に至った場合。

以上のように、ハンドヘルド点字変換装置１は、種々の場合に、第２ピンを用いて利用者の操作を適切に誘導することができる。

［文字認識方法及び点字変換方法］
次に、文字認識方法及び点字変換方法について説明する。概略的には、文字認識部１０１は、読み取る対象となる文字列の文字列長Ｌｒ及び文字数（以後、「文字数Ｎｒ」と呼ぶ。）から当該文字列を構成する各文字の平均文字幅（以後、単に「平均文字幅Ｗｒ」と呼ぶ。）を計算する。次に、点字変換部１０２は、当該文字列が点字に変換された場合の当該点字を表現するのに必要な単位点字表示部２２の数（以後、「点字セル数Ｎｓ」と呼ぶ。）を計算する。そして、表示制御部１０３は、ハンドヘルド点字変換装置１が移動した場合、平均文字幅Ｗｒと点字セル数Ｎｓとに基づき、当該文字列の点字を平均的な間隔で表示する。

まず、ハンドヘルド点字変換装置１が点字表示のため文書上に載せられた場合に当該装置が実行する処理について図１２を用いて説明する。図１２は、カメラ１５から取得された撮像画像の一例を示す。図１２に示す撮像画像５０は、横書きの複数の文字列から構成されている。なお、以後では、撮像画像５０上の相対的な位置を、左上の角を原点とした横軸上の位置（「ｘ座標」とも呼ぶ。）と縦軸上の位置（「ｙ座標」とも呼ぶ。）との２次元座標により「（ｘ、ｙ）」のように表す。ここで、「ｘ」は、ｘ座標の値（０≦ｘ≦１０００）を示し、「ｙ」は、ｙ座標の値（０≦ｙ≦１０００）を示す。また、図１２中の横の破線は、ｙ座標の中央、即ち「ｙ＝５００」となる位置を示し、縦の破線は、ｘ座標の中央、即ち「ｘ＝５００」となる位置を示す。なお、撮像画像５０中の各文字列７０は、説明の便宜上、破線枠又は実線枠により境界が図示されている。

まず、文字認識部１０１は、撮像画像５０から破線の四角枠に示す複数の文字列７０を認識する。そして、文字認識部１０１は、文字列７０のそれぞれの位置Ｐｒ、角度Θｒ、及び文字列長Ｌｒを算出する。ここで、文字認識部１０１は、各文字列７０の左上の角の座標と右下の角の座標との組をそれぞれ各文字列７０の位置Ｐｒとして取得する。また、文字認識部１０１は、例えば、各文字列の横幅の左側の境界のｘ座標と右側の境界のｘ座標との差分の絶対値を文字列長Ｌｒとして特定する。

次に、文字認識部１０１は、認識した複数の文字列７０から、撮像画像５０の中央に位置する中央座標（５００、５００）を含む文字列７０、又は当該中央座標に最も近い文字列７０を点字対象の文字列として特定する。ここでは、文字認識部１０１は、各文字列７０の位置Ｐに基づき、中央座標を含む実線枠により囲まれた文字列７０ｘを点字対象となる文字列（以後、「点字対象文字列」と呼ぶ。）として特定する。即ち、破線枠により囲まれた文字列７０ｙは、点字対象文字列ではない。

次に、点字変換部１０２は、点字対象文字列である文字列７０ｘの文字数Ｎｒをカウントし、当該文字数Ｎｒにより文字列７０ｘの文字列長Ｌｒを割った値を平均文字幅Ｗｒとする。即ち、点字変換部１０２は、以下の式（１）により平均文字幅Ｗｒを算出する。

Ｗｒ＝Ｌｒ／Ｎｒ 式（１）
そして、点字変換部１０２は、文字列７０ｘの各文字を点字に変換した後、文字列７０ｘの点字セル数Ｎｓを算出する。この処理について図１３を用いて説明する。図１３は、文字列７０ｘから点字セル数Ｎｓを算出する処理を示す概念図である。

図１３の第１行目は、撮像画像５０中に表示された文字列７０ｘをそのまま示したものである。第１行目の文字列は、漢字も含めて２６個の文字を有する。即ち、文字数Ｎｒは、２６である。図１３の第２行目は、文字列７０ｘの漢字をかなに変換（かな変換）した文字列を示す。第２行目は、３１個の文字を有する。

図１３の第３行目は、第２行目の各文字を点字により表現するのに必要な単位点字表示部２２の数（点字セル数）を列挙したものである。ここでは、数字及び濁点を含むかな文字並びに大文字のアルファベットの点字セル数を２とし、他の文字の点字セル数を１とする。そして、第３行目に示すように、点字変換部１０２は、各文字の点字セル数の和を算出することで、文字列７０ｘを点字表示するのに必要な点字セル数Ｎｓが４５であると特定する。

また、点字変換部１０２は、文字列７０ｘの点字セル数Ｎｓを算出後、点字対象文字列である文字列７０ｘの中央に位置する文字（以後、「中央文字」と呼ぶ。）を特定する。具体的には、点字変換部１０２は、撮像画像の中心に位置する座標（５００、５００）の位置、即ち、図１３の破線の交点に最も近い文字列７０ｘ中の文字を中央文字として特定する。即ち、点字変換部１０２は、図１３に示す破線枠７１Ａ中の文字「う」を中央文字として特定する。

そして、表示制御部１０３は、中央文字を含め、単位点字表示部２２Ａ乃至２２Ｆの６セルにより点字表示可能な文字を点字表示する。具体的には、表示制御部１０３は、図１３に示す破線枠７１Ｂ中の６セル分の文字「くどうきし」を単位点字表示部２２Ａ乃至２２Ｆにより点字表示する。

なお、点字対象文字列が撮像画像５０の横幅の全てに渡って表示されない場合、表示制御部１０３は、上述の処理と異なる方法により、点字表示すべき文字列を決定する。これについて図１４を用いて説明する。

図１４は、「かな列」からなる点字対象文字列の位置及び使用する単位点字表示部２２Ａ乃至２２Ｆを示した図である。図１４（ａ）から図１４（ｄ）にかけて、ハンドヘルド点字変換装置１は徐々に右方向に移動している。ここでは、「かな列」のかなに相当する「かなれつ」は、必要な点字セル数がそれぞれ１文字につき１であるとする。また、破線枠７２は、点字対象となる文字の存在範囲（以後、「点字対象範囲」と呼ぶ。）を示す。

まず、図１４（ａ）では、点字対象文字列の一部が撮像画像の右端に表示されている。この場合、表示制御部１０３は、点字対象文字列が破線枠７２により示される点字対象範囲内に存在しないと判断し、単位点字表示部２２Ａ乃至２２Ｆによる点字表示は行わない。

次に、図１４（ｂ）では、点字対象文字列のうち、「かな」部分が点字対象範囲内に存在する。この場合、表示制御部１０３は、点字対象範囲に占める「かな」の位置に基づき、「かな」をかな変換した「かな」のうち「か」を単位点字表示部２２Ｅにより点字表示し、「な」を単位点字表示部２２Ｆにより点字表示する。なお、点字対象範囲内に存在する点字対象文字列のうち、一つのかなを表現するのに二つの単位点字表示部が必要な文字が含まれている場合（たとえば、濁音がつく文字）は、一つ目の文字のみを単位点字表示部２２Ｅおよび２２Ｆにより点字表示するようにすればよい。

そして、図１４（ｃ）では、点字対象文字列が全て点字対象範囲内に存在する。この場合、表示制御部１０３は、「かな列」の各文字が点字対象位置７２に占める位置に基づき、「かな列」をかな変換した「かなれつ」のうち「か」を単位点字表示部２２Ｂにより点字表示し、「な」を単位点字表示部２２Ｃにより点字表示し、「れ」を単位点字表示部２２Ｄにより点字表示し、「つ」を単位点字表示部２２Ｅにより点字表示する。

最後に、図１４（ｄ）では、点字対象文字列の一部「な列」が点字対象範囲内に存在する。この場合、表示制御部１０３は、「な列」の各文字が点字対象範囲に占める位置に基づき、「な列」をかな変換した「なれつ」のうち「な」を単位点字表示部２２Ａにより点字表示し、「れ」を単位点字表示部２２Ｂにより点字表示し、「つ」を単位点字表示部２２Ｃにより点字表示する。なお、点字対象範囲内に存在する点字対象文字列のうち、一つのかなを表現するのに二つの単位点字表示部が必要な文字が含まれている場合は、二つ目の文字のみを単位点字表示部２２Ａにより点字表示する。

以上のように、表示制御部１０３は、点字対象文字列が撮像画像の横幅全体にわたって存在しない場合には、点字対象範囲に存在する文字のみを点字表示する。また、表示制御部１０３は、点字対象範囲中の文字の位置に基づき当該文字を点字表示する単位点字表示部２２を変える。

次に、ハンドヘルド点字変換装置１の位置が移動した場合の処理について説明する。この場合、文字認識部１０１は、一定の間隔で撮像画像をカメラ１５から取得し、上述の処理を実行することにより点字対象文字列を特定する。そして、文字認識部１０１は、特定した点字対象文字列が前回特定した点字対象文字列と同一であるか否か判定する。

そして、点字対象文字列が変わっている場合、文字認識部１０１は、再び上述した処理を最初から繰り返して行う。即ち、文字認識部１０１は、新たな撮像画像中の文字列を特定し、位置Ｐｒ等の情報を取得する処理を開始する。なお、点字対象文字列が撮像画像５０の横幅の全てに渡って表示されている場合、一文字分移動しても点字対象文字列は一部変更される。従って、この場合、文字認識部１０１は、点字対象文字列が変わっているとみなす。

一方、点字対象文字列が同一の場合、点字変換部１０２は、前の撮像画像の点字対象文字列の位置Ｐｒ（以後、「位置Ｐｒ１」と呼ぶ。）と新たな撮像画像の点字対象文字列の位置Ｐｒ（以後、「位置Ｐｒ２」と呼ぶ。）とのずれ（以後、「移動幅」と呼ぶ。）を算出する。ここで、「前の撮像画像」とは、現在の点字表示に対応する撮像画像を指す。そして、点字変換部１０２は、移動幅に応じて、平均文字幅Ｗｒと点字セル数Ｎｓとに基づき点字表示をずらす。

これについて、図１５（ａ）を用いて説明する。図１５（ａ）は、移動前後の文字列の位置関係を示す図の一例である。ここでは、移動前の文字列を白抜き文字により表し、移動後の文字列を太字文字により表している。また、図１５（ａ）では、横軸方向の移動幅を「ｄｘ」と表記し、縦軸方向の移動幅を「ｄｙ」と表記している。

まず、点字変換部１０２は、位置Ｐｒ１及び位置Ｐｒ２に基づき移動幅ｄｘと移動幅ｄｙとを算出する。そして、点字変換部１０２は、移動幅ｄｘと、文字数Ｎｒを点字セル数Ｎｓにより除算して得られた値（Ｎｒ／Ｎｓ）を平均文字幅Ｗｒに乗じて得た値（以後、「平均セル幅Ｗｓ」と呼ぶ。）と、を比較する。即ち、平均セル幅Ｗｓは、以下の式（２）を満たす。

Ｗｓ＝Ｗｒ×Ｎｒ／Ｎｓ 式（２）
そして、移動幅ｄｘが平均セル幅Ｗｓより大きい又は所定差以内であると点字変換部１０２が判断した場合、表示制御部１０３は、点字表示を単位点字表示部２２の１個分だけ、ずれた方向（図１５（ａ）の場合、右方向）にスライドして表示する。上述の所定差は、例えば実験等に基づき予め定められる。即ち、表示制御部１０３は、例えば点字表示を右方向に単位点字表示部２２の１個分だけスライドする場合、単位点字表示部２２Ａ乃至２２Ｅの点字表示をそれぞれ単位点字表示部２２Ｂ乃至２２Ｆにより表示し、単位点字表示部２２Ａでは新たな文字に対応する点字を表示する。これにより、表示制御部１０３は、点字対象文字列の点字を平均的な間隔で表示することができる。これに加え、移動幅ｄｙが所定値以上の場合、表示制御部１０３は、例えば図８（ｃ）又は図９（ａ）に示すように、第２ピンにより利用者の操作を誘導する。なお、移動幅ｄｘが平均セル幅Ｗｓより小さい場合、点字表示を変えない（スライドしない）が移動幅ｄｘを、次回の移動幅ｄｘに加算し、次回の移動幅ｄｘが最後に点字表示をスライドしてからの移動幅になるようにする。

一方、点字対象文字列が１文字分以上移動したことにより点字対象文字列が変更した場合について図１５（ｂ）を用いて説明する。この場合、文字認識部１０１は、移動前後の点字対象文字列で部分的に一致する文字列を探し、その移動距離に基づき点字をずらす。これについて図１５（ｂ）を用いて説明する。図１５（ｂ）は、移動前後の点字対象文字列の位置関係を示す図の一例である。ここでは、図１５（ａ）と同様、移動前の点字対象文字列を白抜き文字により表し、移動後の点字対象文字列を太字文字により表している。また、図１５（ｂ）では、移動前後の点字対象文字列における先端文字の横軸方向の移動幅を「ｄｘ１」と表記し、部分的に一致した文字列「技術に）立脚」の横軸方向の移動幅を「ｄｘ２」と表記し、縦軸方向の移動幅を「ｄｙ」と表記している。

まず、文字認識部１０１は、移動幅ｄｘ１、ｄｘ２、ｄｙをそれぞれ算出する。そして、点字変換部１０２は、移動幅ｄｘ２を平均セル幅Ｗｓにより除算して得られた値（ｄｘ２／Ｗｓ）を算出する。そして、表示制御部１０３は、上述の値（ｄｘ２／Ｗｓ）に相当する単位点字表示部２２の数だけ、ずれた方向（図１５（ｂ）の場合、右方向）に点字表示をスライドして再表示する。これにより、表示制御部１０３は、この場合であっても、点字対象文字列の点字を平均的な間隔で表示することができる。なお、上述の値（ｄｘ２／Ｗｓ）が少数を含む場合、点字変換部１０２は、四捨五入その他所定の場合に整数値に繰り上げてもよい。上述の処理に加え、移動幅ｄｙが所定値以上の場合、表示制御部１０３は、例えば図８（ｃ）又は図９（ａ）に示すように、第２ピンにより利用者の操作を誘導する。上述の所定値は、実験等により予め設定される。また、表示制御部１０３は、移動幅ｄｘ１に基づき、点字対象文字列のうち現在点字表示している文字の位置を把握し、例えば図６（ｂ）に示すように、位置関係適否表示を行う。

一方、移動前後の点字対象文字列に部分的に一致する文字列がない場合、文字認識部１０１は、点字対象文字列を特定する処理から全ての処理を再実行する。

［処理フロー］
次に、本実施例による点字変換処理について図１６を参照して説明する。この処理は、図１に示すシステムコントローラ１９が予め用意されたプログラムを実行することにより実現される。図１６は点字変換処理のフローチャートである。

ユーザは、点字表示したい文字が存在する印刷物等の上にハンドヘルド点字変換装置１を置いて、点字変換処理のスイッチをＯＮにする（ステップＳ１）。カメラ１５は、ハンドヘルド点字変換装置１の周辺の所定範囲を撮影し（ステップＳ２）、撮影画像を文字認識部１０１に送信する。

次に、文字認識部１０１は、受信した撮影画像に文字が存在するか否かを判定する（ステップＳ３）。そして、撮影画像に文字が存在する場合（ステップＳ３；Ｙｅｓ）、表示制御部１０３は、第２ピンによる位置関係適否表示を行う（ステップＳ４）。例えば、表示制御部１０３は、図１０に示すような位置関係適否表示を行うことにより、頭文字方向を利用者に知らせる。他の例では、表示制御部１０３は、文字列が縦書きである場合、図９（ｂ）に示す位置関係適否表示を行い、利用者に縦書きであることを知らせる。また、表示制御部１０３は、文字列がずれている場合、図６（ｃ）等に示すような位置関係適否表示を行い、利用者にずれている方向を知らせる。

一方、撮像画像に文字がない場合（ステップＳ３；Ｎｏ）、表示制御部１０３は、点字表示及び位置関係適否表示を全てクリアする（ステップＳ５）。即ち、表示制御部１０３は、第１ピン及び第２ピンを、図５（ａ）に示す状態になるように制御する。

次に、ステップＳ５の実行後、文字認識部１０１は、点字対象文字列を特定する（ステップＳ５）。具体的には、文字認識部１０１は、撮像画像中の複数の文字列から撮像画像の中央に位置する文字列を点字対象文字列として特定する。

そして、点字変換部１０２は、点字対象文字列の平均文字幅Ｗｒ及び点字セル数Ｎｓを算出する（ステップＳ７）。具体的には、点字変換部１０２は、式（１）に基づき平均文字幅Ｗｒを算出する。また、点字変換部１０２は、図１３に示すように、点字対象文字列の漢字をかなに変換した後、必要な点字セル数Ｎｓを算出する。

次に、表示制御部１０３は、中央文字の前後６セル分の点字表示を行う（ステップＳ８）。ここで、中央文字は、上述したように、撮像画像の中心に最も近い点字対象文字列中の文字を指す。

次に、文字認識部１０１は、撮影画像の変化に基づいて装置が移動したか否かを判定する（ステップＳ９）。そして、装置が移動した場合（ステップＳ９；Ｙｅｓ）、表示制御部１０３は、ステップＳ１０の処理を実行する。具体的には、点字変換部１０２は、移動前後で点字対象文字列が同一又は部分的に一致する場合、横軸の移動幅を算出すると共に、式（２）に示すように、平均文字幅Ｗｒ及び点字セル数Ｎｓに基づき平均セル幅Ｗｓを算出する。そして、表示制御部１０３は、当該移動幅と平均セル幅Ｗｓとに基づきスライドすべき単位点字表示部２２の数を特定して点字を再表示する。これにより、表示制御部１０３は、点字対象文字列の点字を平均的な間隔で表示することができる。一方、移動前後で点字対象文字列の一致部分が特定できない場合等では、ハンドヘルド点字変換装置１は、ステップＳ４乃至Ｓ８の処理を再実行する。

一方、装置が移動していない場合（ステップＳ９；Ｎｏ）、表示制御部１０３は、表示を継続する（ステップＳ１１）。

次に、ハンドヘルド点字変換装置１は、スイッチがＯＦＦになったか否かを判定する（ステップＳ１２）。スイッチがＯＦＦになっていない場合（ステップＳ１２；Ｎｏ）、処理はステップＳ２に戻り、ステップＳ２乃至Ｓ１１を繰り返す。スイッチがＯＦＦになった場合（ステップＳ１２；Ｙｅｓ）、処理を終了する。

［変形例］
次に、本実施例の変形例について説明する。以下の変形例は、任意に組み合わせて上述の実施例に適用することができる。

表示制御部１０３は、上述の説明に加え、第２ピンを立たせる際に、素早く上下に震動させてもよい。これにより、表示制御部１０３は、利用者が第１ピンによる点字表示と第２ピンによる位置関係適否表示とを混同するのを防ぐことができる。

上述の実施例では、第１点字モジュール１０ｘと第２点字モジュール１０ｙは、単位点字表示部２２をそれぞれ４つ備えることとしているが、本発明はこれに限られない。具体的には、ユーザにとって最も指先で認識しやすい数にするとよい。この場合であっても、表示制御部１０３は、いずれか２つの単位点字表示部２２を第２ピンとして使用する。また、1つの単位点字表示部２２を可動式ピン２１は２列４行の計８個の可動式ピン２１で構成することとしたが、これに限らず、たとえば、２行３列の計６個の可動式ピン２１で構成することとしてもよい。

上述の実施例では、印刷物の文字を点字変換することとしているが、本発明はこれに限られない。印刷された文字でなくても、カメラが撮影可能な文字であれば点字変換できる。

［第２ピンの動作制御］のセクションの説明では、表示制御部１０３は、原則的に、利用者がハンドヘルド点字変換装置１に置いた指に対して、移動方向を修正したい方向に位置する第２ピンを立たせると共に、他の方向に位置する第２ピンを下げていた。しかし、本発明が適用可能な方法はこれに限定されない。これに代えて、表示制御部１０３は、第２ピンを障害物として機能させてもよい。即ち、表示制御部１０３は、原則的に、利用者がハンドヘルド点字変換装置１に置いた指に対して、移動方向を修正したい方向に位置する第２ピンを下げると共に、他の方向に位置する第２ピンを立たせてもよい。これによっても、ハンドヘルド点字変換装置１は、適切に利用者の操作を誘導することができる。他の例では、表示制御部１０３は、第１ピン及び第２ピンを昇降させる代わりに、これらを振動させてもよい。

１ ハンドヘルド点字変換装置
１０ 点字表示部
１１ ＣＰＵ
１４ 電源
１５ カメラ
１６ レンズ
１７ 照明用ＬＥＤ
１９ システムコントローラ
１０１ 文字認識部
１０２ 点字変換部
１０３ 表示制御部

Claims (11)

1. ユーザが片手で保持した状態で移動させることが可能なハンドヘルド点字変換装置であって、
   前記ハンドヘルド点字変換装置を保持している手の少なくとも一本の指が接触可能な位置に配置され、点字を表示する点字表示部と、
   前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、
   前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、
   前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、
   前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段と、を備え、
   前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、
   前記単位点字表示部は、複数の可動式の部材を有し、
   前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とするハンドヘルド点字変換装置。
2. 前記単位点字表示部は並べて設置され、
   表示制御部は、前記単位点字表示部のうち両端に位置する単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示することを特徴とする請求項１に記載のハンドヘルド点字変換装置。
3. 前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記ハンドヘルド点字変換装置の位置が前記撮影画像に存在する文字又は文字列に対していずれの方向にずれているかを示すことを特徴とする請求項１に記載のハンドヘルド点字変換装置。
4. 前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字の有無を示すことを特徴とする請求項１乃至３のいずれか一項に記載のハンドヘルド点字変換装置。
5. 前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字列が横書きであるか縦書きであるかを示すことを特徴とする請求項１乃至４のいずれか一項に記載のハンドヘルド点字変換装置。
6. 前記表示制御手段は、前記一部の単位点字表示部が有する部材を動作させることにより、前記撮影画像に存在する文字列の頭文字の方向を示すことを特徴とする請求項１乃至５のいずれか一項に記載のハンドヘルド点字変換装置。
7. 前記表示制御手段は、前記一部の単位点字表示部が有する部材を昇降させて凸形状を形成したりしなかったりする動作を振動させて行うことにより前記位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を昇降させて凸形状を形成したりしなかったりすることで点字を表示することを特徴とする請求項１乃至６のいずれか一項に記載のハンドヘルド点字変換装置。
8. 前記点字変換手段は、点字表示の対象となる文字列を構成する各文字の平均文字幅を算出すると共に、当該文字列に相当する点字の数を算出し、
   前記表示制御手段は、前記ハンドヘルド点字変換装置が移動した場合、前記平均文字幅と前記点字の数とに基づき、点字の表示を変更することを特徴とする請求項１乃至７に記載のハンドヘルド点字変換装置。
9. ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置が実行する点字変換方法であって、
   前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影工程と、
   前記撮影工程の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識工程と、
   前記文字認識工程が認識した文字の一部又は全部を点字に変換する点字変換工程と、
   前記点字変換工程が変換した点字を前記点字表示部に表示させる表示制御工程と、を備え、
   前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、
   前記単位点字表示部は、複数の可動式の部材を有し、
   前記表示制御工程は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする点字変換方法。
10. ユーザが片手で保持した状態で移動させることが可能であり、保持している手の少なくとも一本の指が接触可能な位置に配置されて点字を表示する点字表示部を備えるハンドヘルド点字変換装置により実行される点字変換プログラムであって、
    前記ハンドヘルド点字変換装置周辺の所定範囲を撮影する撮影手段と、
    前記撮影手段の撮影画像に存在する文字の有無を検知し、存在する文字を認識する文字認識手段と、
    前記文字認識手段が認識した文字の一部又は全部を点字に変換する点字変換手段と、
    前記点字変換手段が変換した点字を前記点字表示部に表示させる表示制御手段、として前記ハンドヘルド点字変換装置を機能させ、
    前記点字表示部は、各々が１つの点字に対応する複数の単位点字表示部を有し、
    前記単位点字表示部は、複数の可動式の部材を有し、
    前記表示制御手段は、前記単位点字表示部のうち一部の単位点字表示部が有する部材を動作させることにより前記撮影画像に存在する文字又は文字列に対する前記ハンドヘルド点字変換装置の位置関係の適否を表示すると共に、前記一部の単位点字表示部以外の単位点字表示部が有する部材を動作させることにより点字を表示することを特徴とする点字変換プログラム。
11. 請求項１０に記載の点字変換プログラムを記憶したことを特徴とする記憶媒体。

Images