JP6432553B2 - 文書読解支援システム - Google Patents

Description

この発明は、文書読解支援システムに関するものである。

従来から、印刷用紙の消費量削減の目的や、印刷枚数を所望の枚数内に収める目的のために、画像形成装置においては集約印刷などの技術が利用されている。集約印刷では、例えば１ページの用紙内に、複数ページの原稿の画像が配置されて印刷される。このような集約印刷は、Ｎｉｎ１集約印刷とも呼ばれる。Ｎは１枚の用紙に印刷される原ページの画像の数を表す。例えば２ｉｎ１集約印刷という場合、１枚の用紙に２頁分の画像が印刷されることを意味する。

また特許文献１には、Ｎｉｎ１集約印刷により印刷された印刷物の可読性・判読性向上を目的とした技術が開示されている。特許文献１には、複数のＮｉｎ１モードを設定可能な情報処理装置であって、各Ｎｉｎ１モードに基づく異なるレイアウト結果を同一ページ内に複数出力する試し出力モードを設定する設定手段と、その設定に基づき、各Ｎｉｎ１モードに基づくレイアウト結果を同一ページに複数レイアウトして画像形成装置に出力する制御手段とを有する情報処理装置が開示されている。

特開２００５−３４８２０５号公報

しかしながら、文書のデータに基づき集約印刷を行うと、原画像に比べて画像が縮小されて印刷されるため、その文書に含まれる文字のサイズが小さくなってしまい、その結果、印刷物の可読性や判読性が問題となる。例えば４ｉｎ１集約印刷により印刷物を得たものの、文字が小さ過ぎる、文字が不鮮明であるなどの理由により文字が判読できない場合がある。この場合、１枚の用紙内に印刷されるページ数がより少ない２ｉｎ１集約印刷、あるいは１枚の用紙に１ページを印刷する通常印刷による再印刷を行うことができるが、再印刷は用紙の消費量が増大するために好ましくない。

特許文献１は、複数のＮｉｎ１モードに基づくレイアウト結果を試し出力して確認することにより、最適なモードを選択する技術である。しかしながら、この技術ではあくまで複数のＮｉｎ１レイアウトから最適なモードを選択するための技術であって、出力された印刷物に形成された文字の判読性や可読性の向上については言及していない。

この発明の目的は、既に印刷された印刷物の可読性や判読性を、ウェアラブル端末装置を用いて補償することにより、文字の判読を補助する文書読解支援システムを提供することである。

この発明は、印刷物上の文字の判読を補助する文書読解支援システムに関する。この文書読解支援システムは、画像形成装置と、頭部装着型端末装置とを備える。画像形成装置は、文書データに基づいて用紙上に画像を形成し、印刷物として出力する。頭部装着型端末装置は、ユーザーの頭部に装着され、その印刷物を閲覧するための透過型の頭部装着型端末装置である。

また画像形成装置は、画像形成要求受け付け部と、文書データ取得部と、画像形成部と、文書データ送信部とを備える。画像形成要求受け付け部は、画像形成の要求を受け付ける。文書データ取得部は、文書データを取得する。画像形成部は、画像形成要求受け付け部により画像形成の要求が受け付けられると、文書データ取得部により取得された文書データに基づき、用紙上に画像を形成し、印刷物として出力する。文書データ送信部は、文書データ取得部により取得された文書データを頭部装着型端末装置に送信する。

頭部装着型端末装置は、文書データ受信部と、データ格納部と、表示部と、撮像部と、注視画像検出部と、文字サイズ判定部と、表示制御部とを備える。文書データ受信部は、文書データ送信部から送信された文書データを受信する。データ格納部は、文書データ受信部により受信された文書データを格納する。表示部は、ユーザーが視認可能な電子表示を表示すると共に、外景を透過しうる光学透過式の表示部である。撮像部は、外景を撮像する。注視画像検出部は、頭部装着型端末装置を装着したユーザーにより印刷物が閲覧された状態において、外景として撮像部により撮像されたその印刷物の像に基づいて、ユーザーが注視している注視画像を検出する。文字サイズ判定部は、撮像部によって撮像された印刷物の像における、注視画像検出部によって検出された注視画像内の文字の大きさが所定の閾値未満か否かを判定する。表示制御部は、文字サイズ判定部により文字の大きさが閾値未満であると判定されると、データ格納部に格納された文書データに基づき、ユーザーが視認可能な注視画像の拡大像を、電子表示として表示部に表示させる。

この発明は、ユーザーが、頭部装着型端末装置を装着した状態で文書、特に集約印刷された文書の印刷物を閲覧する際に、印刷物上の文字の判読を補助する。具体的には、ユーザーによって視認される文字の大きさが所定の閾値未満の場合、頭部装着型端末装置の表示部に、ユーザーが注視している注視画像の拡大像が表示される。その結果、既に印刷された印刷物にサイズが小さすぎて判読が難しい文字が存在する場合であっても、拡大像として表示された内容を読み取ることで、印刷された文書の読解がより容易になる。

この発明の一実施形態に係る文書読解支援システムの全体像を示す概略図である。 この発明の一実施形態に係る文書読解支援システム全体の構成を示すブロック図である。 画像形成装置としての複合機の制御部の構成を示すブロック図である。 頭部装着型端末装置の制御部の構成を示すブロック図である。 この発明の一実施形態に係る文書読解支援システムにおいて、画像形成装置において画像が形成される際の処理の流れを示すフローチャートである。 この発明の一実施形態に係る文書読解支援システムにおいて、頭部装着型端末装置を頭部に装着したユーザーが、印刷された文書を閲覧した際の処理の流れを示すフローチャートである。 ６ｉｎ１のレイアウトを有する集約印刷物を、頭部装着型端末装置を装着したユーザーが閲覧している状態を示す概略図である。 表示部に表示される拡大像の表示様式の一例を示す図である。 表示部に表示される拡大像の表示様式の一例を示す図である。 表示部に表示される拡大像の表示様式の一例を示す図である。 表示部に表示される拡大像の表示様式の一例を示す図である。

以下、この発明の実施の形態を説明する。図１は、この発明の一実施形態に係る文書読解支援システムの全体像を示す概略図である。図２は、この発明の一実施形態に係る文書読解支援システム全体の構成を示すブロック図である。

図１および図２を参照して、この発明の一実施形態に係る文書読解支援システム１は、画像形成装置としての複合機１１と、頭部装着型端末装置としてのメガネ型ウェアラブル端末４０とを備える。図１および図２に示す通り、メガネ型ウェアラブル端末４０は、光学透過式の表示部４１を備えている。印刷物１０は、複合機１１から排出トレイ３０に出力された文書の印刷物である。ユーザーは、メガネ型ウェアラブル端末４０を装着した状態で、この文書の印刷物１０を閲覧する。

画像形成装置としての複合機１１は、制御部１２と、表示操作部１３と、画像読み取り部１４と、画像形成部１５と、ハードディスク１６と、ネットワーク５と接続するためのネットワークインターフェース部１８とを備える。

制御部１２は、複合機１１全体の制御を行う。制御部１２は、例えば、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶装置などにより実現できる。

表示操作部１３は、複合機１１側から発信する情報やユーザーの入力内容を表示する表示画面２１を含む。表示操作部１３は、例えば印刷部数や階調性等の画像形成の条件や電源のオンまたはオフを入力させるキー入力操作装置を含む。

画像読み取り部１４は、スキャナーなどの読取り装置と共に、セットされた原稿を自動的に読み取り位置へ搬送する自動原稿搬送装置（ＡＤＦ（Ａｕｔｏ Ｄｏｃｕｍｅｎｔ Ｆｅｅｄｅｒ））２２とを含む。画像読み取り部１４は、ＡＤＦ２２によって搬送された原稿の画像や載置台上に載置された原稿の画像を読み取る。

画像形成部１５は、トナーを用いて現像を行う現像装置２３を含む。画像形成部１５は、後述する画像形成要求受け付け部により画像形成の要求が受け付けられると、後述する文書データ取得部により取得された文書データに基づき、用紙上に画像を形成する。画像形成部１５により画像を形成された用紙は、印刷物１０として複合機１１の排出トレイ３０（図１）に出力される。

ハードディスク１６は、送信された画像データや入力された画像処理条件等の格納を行う。また、後述する文書データ取得部３２により取得された文書データを記憶する。

なお、複合機１１は、画像データの書き出しや読み出しを行うＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）や現像剤によって形成された可視化像を転写する用紙を搬送する用紙搬送部等を備えるが、これらについては、図示および説明を省略する。また、図２中の矢印は、制御信号や制御、画像に関するデータの流れを示している。

複合機１１は、画像読み取り部１４により読み取られた原稿を用いて画像形成部１５において画像を形成し、用紙に印刷することにより、複写機として作動する。また、複合機１１は、ネットワークインターフェース部１８を通じて、ネットワーク５経由で送信された画像データを用いて、画像形成部１５において画像を形成し、用紙に印刷することにより、プリンターとして作動する。すなわち、複合機１１は、画像処理に関し、複写機能、プリンター機能等の複数の機能を有する。さらに、各機能に対しても、詳細に設定可能な機能を有する。

頭部装着型端末装置（メガネ型ウェアラブル端末）４０は、光学透過式の表示部４１と、制御部４２と、撮像部としての撮像センサー４５と、データ格納部としての半導体メモリ４６と、ネットワークインターフェース部４８とを備える。

表示部４１は、ユーザーが視認可能な電子表示を表示すると共に、外景を透過しうる光学透過式の表示部である。すなわち、メガネやゴーグルのレンズなどと同様に、ユーザーは、この表示部４１を通して外景の像（例えば用紙に印刷された画像など）を視認することができる。一方、メガネやゴーグルのレンズなどとは異なり、この表示部４１には、ユーザーが視認できる状態で電子表示が表示される。この電子表示が表示された状態においては、ユーザーは、外景と電子表示の両方を同時に視認することができる。これにより、ユーザーは、外景の像を視認しながら、補足情報として表示される電子表示を参照することができる。表示部４１の例としては、ガラス製やプラスチック製のレンズであって、電子表示の表示機能を有するレンズを含む表示部などが挙げられる。

制御部４２は、メガネ型ウェアラブル端末４０全体の制御を行う。制御部４２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの制御装置と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶装置などにより実現できる。

撮像部としての撮像センサー４５は、上記外景を撮像する。撮像センサー４５は、通常メガネ型ウェアラブル端末４０を装着したユーザーの視野範囲が撮像できる位置、すなわち、装着時におけるユーザーの頭部の前方側に設けられる。撮像センサー４５による撮像は、連続的に行ってもよく、一定の時間間隔を経て断続的に行ってもよい。

半導体メモリ４６は、データ格納部として機能する。データ格納部としての半導体メモリ４６は、画像形成装置からネットワーク５を通じて送信され、ネットワークインターフェース部４８を通して後述する文書データ受信部により受信された文書データを格納する。加えて、ユーザーにより指定された画像処理条件等の格納を行う。

図３は、画像形成装置としての複合機１１の制御部１２の構成を示すブロック図である。制御部１２は、画像形成要求受け付け部３１と、文書データ取得部３２と、文書データ送信部３３とを備える。

画像形成要求受け付け部３１は、複合機１１の表示操作部１３のキー操作や、ネットワーク５に接続されたコンピュータなどの端末からの指示によって行われた画像形成の要求を受け付ける。

文書データ取得部３２は、文字を含む文書データを取得する。文書データは、画像読み取り部１４が文書を読み取るか、コンピュータなどの端末からネットワーク５を介して複合機１１に送信された文書データを受け取ることにより取得される。

文書データ送信部３３は、文書データ取得部３２により取得された文書データを、ネットワーク５を通して、メガネ型ウェアラブル端末４０に送信する。

図４は、メガネ型ウェアラブル端末４０の制御部４２の構成を示すブロック図である。メガネ型ウェアラブル端末４０の制御部４２は、文書データ受信部５１と、注視画像検出部５３と、文字サイズ判定部５５と、表示制御部５７と、エッジ検出部６３とを備える。

文書データ受信部５１は、複合機１１の文書データ送信部３３から送信された文書データを受信する。文書データは、ネットワーク５を介して複合機１１の文書データ送信部３３から直接受信されるか、途中にサーバーを介して受信される。文書データ受信部５１により受信された文書データは、半導体メモリ４６に格納される。

注視画像検出部５３は、メガネ型ウェアラブル端末４０を装着したユーザーにより印刷物１０が閲覧された状態において、外景として撮像センサー４５により撮像された印刷物１０の像に基づいて、ユーザーが注視している注視画像を検出する。注視画像を検出する装置および方法は公知であり、既存の装置や方法を用いて注視画像を検出する。一例としては、印刷物１０の画像に注視画像を特定する標識の画像（例えば、バーコードや二次元コードなど）を形成しておき、注視画像検出部５３がその標識を読み取ることにより注視画像が特定されるようにしてもよい。

文字サイズ判定部５５は、撮像センサー４５によって撮像された印刷物１０の像における、注視画像検出部５３によって検出された注視画像内の文字の大きさが、所定の閾値未満か否かを判定する。このときの判定対象となる文字の大きさとは、用紙に印刷された文字の大きさではなく、撮像センサー４５により撮像された像に含まれる文字の大きさである。したがって、判定対象の文字の大きさは可変であり、印刷物１０と撮像センサー４５の距離に依存する。これは、実際にユーザーが印刷物を視認した際に、目を印刷物に近づけると文字が読みやすくなり、逆に目を印刷物から離すと、印刷物上の文字が読みにくくなることを反映している。すなわち、メガネ型ウェアラブル端末４０をユーザーが装着した状態において、撮像センサー４５と印刷物１０の間の距離が近くなると、判定対象の文字サイズは大きくなり、その逆に、撮像センサー４５と印刷物１０の間の距離が遠くなると判定対象の文字サイズは小さくなる。そのため、初期状態では文字の大きさが閾値未満であっても、表示部４１を印刷物１０に近づけるに連れて閾値を超えることがある。

文字サイズ判定部５５により文字の大きさが閾値未満であると判定されると、表示制御部５７は、半導体メモリ４６に格納された文書データに基づき、ユーザーが視認可能な注視画像の拡大像を、電子表示として表示部４１に表示させる。通常、拡大像は、メガネ型ウェアラブル端末４０を装着した状態で印刷物１０をユーザーが視認した状態において、その印刷物１０の実像と重畳しないように表示される。

また、表示部４１を印刷物に近づけることにより、注視画像検出部５３によって検出された注視画像内の文字の大きさが閾値を超えた場合には、拡大像の表示は停止される。

また表示制御部５７は、タイマー部６１を有していてもよい。タイマー部６１は、表示部４１の電子表示を、所定の時間のみ表示するよう制御する。表示開始後、所定の時間が経過すると、電子表示の表示は停止される。

エッジ検出部６３は、印刷物１０の端部を検出する。メガネ型ウェアラブル端末４０がエッジ検出部６３を備える場合において、エッジ検出部６３が印刷物１０の端部を検出すると、表示制御部５７は、メガネ型ウェアラブル端末４０を装着したユーザーにより印刷物１０が閲覧された状態において、エッジ検出部６３により検出された印刷物１０の端部の外側近傍に拡大像が視認されるように、表示部４１に拡大像の電子表示を表示する。

次に、この文書読解支援システム１を用いて、画像を形成する場合、および形成された文書を閲覧する場合の処理について、図面を参照しながら説明する。図５は、画像形成装置としての複合機１１を用いて、用紙上に文字の画像を形成する場合の処理の流れを示すフローチャートである（図５における、ステップＳ１１〜Ｓ１４（以下、「ステップ」を省略する）。

ユーザーは、まず、複合機（ＭＦＰ：Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１１にて、画像形成の要求を行う。複合機１１の画像形成要求受け付け部３１は、その要求を受け付け、文書データ取得部３２は、画像形成の基礎となる文書データを取得する（Ｓ１１）。

画像形成要求受け付け部３１により画像形成の要求が受け付けられると、画像形成部１５は、文書データ取得部３２により取得された文書データに基づき、用紙上に画像を形成する（Ｓ１２）。画像が形成された用紙は、排出トレイ３０（図１）上に印刷物（例えば、集約印刷物１００）として出力される。

また文書データ取得部３２により取得された文書データは、文書データ送信部３３により、ネットワークインターフェース部１８およびネットワーク５を通じて、メガネ型ウェアラブル端末４０に送信される（Ｓ１３）。メガネ型ウェアラブル端末４０においては、その文書データを、ネットワークインターフェース部４８を介して、文書データ受信部５１が受信する。文書データ受信部５１により受信された文書データは、半導体メモリ４６に格納される（Ｓ１４）。これにより、文書データと、印刷物上の画像とが関連付けられる。

次に、この文書読解支援システム１において、複合機１１により上述のように出力された文書の印刷物を、メガネ型ウェアラブル端末４０を装着したユーザーが閲覧する場合の処理について、図面を参照しながら説明する。

図６は、頭部装着型端末装置としてのメガネ型ウェアラブル端末４０を装着したユーザーが、印刷された文書を閲覧した際の処理の流れを示すフローチャートである（図６における、Ｓ２１〜Ｓ３０）。また図７は、上述のようにして得られた集約印刷物１００（この場合、６ｉｎ１のレイアウトを有する集約印刷物）を、メガネ型ウェアラブル端末４０を装着したユーザーが閲覧している状態を示す概略図である。

まず、ユーザーは、メガネ型ウェアラブル端末４０を装着し（Ｓ２１）、集約印刷物１００を閲覧する（Ｓ２２）。表示部４１は光学透過式、いわゆるシースルー型の表示部であり、外景を透過しうる。そのため、ユーザーは、その表示部４１を通して集約印刷物１００の文字を視認できる。この状態で、撮像センサー４５は、外景の像として集約印刷物１００の像を撮像する。

次に注視画像検出部５３は、撮像センサー４５により撮像された集約印刷物１００の像に基づいて、ユーザーが注視している注視画像を検出する（Ｓ２３）。図７においては、ユーザーの注視点１０７を含むページＥ（１０５）が注視画像である。このとき、表示制御部５７は、集約印刷物１００に含まれる６つの原画像のページのうち、注視画像を含むページ、すなわちページＥ（１０５）を「アクティブページ」に設定する（Ｓ２４）。「アクティブページ」とは、後述する所定の条件を満たす場合に、そのページの一部または全部の拡大像が電子表示として表示部４１に表示され得るページである。

このようにしてアクティブページが設定された後、文字サイズ判定部５５は、撮像センサー４５によって撮像された集約印刷物１００の像における、注視画像検出部５３によって検出されたページＥ（１０５）内の文字の大きさが、所定の閾値未満か否かを判定する（Ｓ２５）。例えば文字のサイズの閾値が１０ポイントである場合に、撮像センサー４５によって撮像された集約印刷物１００の像におけるページＥ（１０５）内の文字の大きさが１２ポイントである場合（Ｓ２６における「ＮＯ」の場合）、表示部４１には拡大像は表示されない。一方、撮像センサー４５によって撮像された集約印刷物１００の像におけるページＥ（１０５）内の文字の大きさが８ポイントである場合（Ｓ２６における「ＹＥＳ」の場合）、ユーザーによる文字の判読が困難なおそれがあることから、ページＥ（１０５）の一部または全部の拡大像が表示部４１に表示される（Ｓ２７）。この状態でメガネ型ウェアラブル端末４０を装着したユーザーが集約印刷物１００を閲覧すると、集約印刷物１００の像と、注視点１０７周辺の拡大像の両方が視認できる。

表示部４１に電子表示が表示された状態で、メガネ型ウェアラブル端末４０を装着したユーザーが集約印刷物１００を閲覧した状態の、表示部４１に表示される拡大像の表示例を図８〜１１に示す。図８においては、集約印刷物１００の右端部より外側に吹き出し形式の拡大像１２０が表示されている。この表示に際し、エッジ検出部６３は、集約印刷物１００の端部を検出し、表示制御部５７は、ユーザーによって視認される拡大像１２０の像が集約印刷物１００の像と重畳しないように吹き出しの位置を制御する。この状態で、メガネ型ウェアラブル端末４０を装着したユーザーが集約印刷物１００を閲覧すると、図８に示すような拡大像１２０が視認できる。拡大像１２０は、集約印刷物１００上の画像に関連付けられた状態で半導体メモリ４６に格納されている文書データに基づき、表示される像である。拡大像１２０では、文字１２１が拡大されて表示されており、注視画像であるページＥ（１０５）を含む画像に含まれる文字の判読、および文書の内容の読解が容易にできるようユーザーによる文書の読解を支援する。

なお、図８においては、集約印刷物１００の６ｉｎ１のレイアウトに含まれる６つのページのうち、ページＥ（１０５）を除くページＡ〜ＤおよびＦ（１０１、１０２、１０３、１０４、１０６）はアクティブページではない。そのため、仮にページＥ以外のページＡ〜ＤおよびＦにサイズが小さい文字が含まれていても、それらのページの拡大像は表示されないように、表示制御部５７によって制御される。

拡大像１２０が表示部４１に表示された後、表示制御部５７のタイマー部６１は、表示時間を管理し、所定の時間のみ表示するように制御する。表示後、所定の時間が過ぎると、拡大像１２０の表示が停止される。

図９は、別の実施形態による拡大像の表示例を示している。図８に示す実施形態と同様に、注視点１０７を含むページＥ（１０５）の像に文字サイズが閾値未満の文字１２１が含まれる場合、注視点１０７の周辺のページＥ（１０５）の一部の拡大像１２０が吹き出し形式で表示される。併せて、同じアクティブページであるページＥ（１０５）内に、集約印刷物１００の紙面上での文字サイズが文字１２１と同じか、それ以下の文字１２３を含む場合、文字１２３周辺の拡大像１２２も表示される。拡大像１２２は、集約印刷物１００上の画像に関連付けられた状態で半導体メモリ４６に格納されている文書データに基づき、表示される像である。このとき、拡大像１２２は、集約印刷物１００の像および拡大像１２０と重畳しない状態で表示されるよう、表示制御部５７により制御されている。

図１０は、さらに別の実施形態による拡大像の表示例を示している。アクティブページＥ（１０５）の一部のみを拡大した図８および図９に示す実施形態とは異なり、図１０に示す実施形態においては、ページＥ（１０５）の像に文字サイズが閾値未満の文字１２５が含まれる場合、注視点１０７を含むページＥ（１０５）全体の拡大像１２４が吹き出し形式で表示される。拡大像１２４は、集約印刷物１００上の画像に関連付けられた状態で半導体メモリ４６に格納されている文書データに基づき、表示される像である。

図１１は、さらに別の実施形態による拡大像の表示例を示している。図１１は、メガネ型ウェアラブル端末４０を装着したユーザーが、最初にページＥ（１０５）を注視した後、注視位置が、ページＦ（１０６）の注視点１０８に移動した直後の状態を示す。注視位置の移動により、アクティブページは、最初の注視画像であるページＥ（１０５）から、次の注視画像であるページＦ（１０６）へと移行される。このとき、文字サイズ判定部５５により、ページＦ（１０６）に閾値未満の文字１２７が含まれると判断されると、ページＦ（１０６）の一部の拡大像１２６が吹き出し形式で表示される。拡大像１２６は、集約印刷物１００上の画像に関連付けられた状態で半導体メモリ４６に格納されている文書データに基づき、表示される像である。

このとき、ページＥ（１０５）の拡大像１２４の表示は直ちに停止されるのではなく。拡大画像１２４の表示後、タイマー部６１によって管理される所定の時間が経過するまでは拡大画像１２４の表示が継続される。そのため、図１１においては、ページＦ（１０６）の一部の拡大像１２６と、ページＥ（１０５）の拡大像１２４の両方が表示されている。その後、所定の期間が経過すると、ページＥ（１０５）の拡大像１２４の表示は停止され、ページＦ（１０６）の一部の拡大像１２６のみの表示が継続される。なお、図１１に示すように、拡大像１２６は、集約印刷物１００の像および拡大像１２４と重畳しないように表示されるよう、表示制御部５７により制御されている。

このようにして拡大像１２０、１２２、１２４、および１２６が表示され、タイマー部６１により所定の表示期間が経過したと判断されるまでそれぞれの拡大像の表示が継続される（Ｓ２８およびＳ２９）。表示期間が満了すると、拡大像１２０、１２２、１２４、および１２６の表示が停止される（Ｓ３０）。

以上が一連の流れである。なお上記実施形態においては、頭部装着型端末装置がメガネ型ウェアラブル端末４０である場合について説明したが、頭部装着型端末装置はメガネ型ウェアラブル端末のみに限定されない。この発明において使用できる他の頭部装着型端末装置の例としては、片眼型端末や、ゴーグル型端末、ヘルメット型端末などが挙げられる。但し、装着のし易さや装着時の安定性、視認性の高さなどから片眼型端末やメガネ型ウェアラブル端末が好ましい。頭部装着型端末装置の装着部は、ユーザーの頭部に装着可能にする部材からなり、その構造は限定されないが、装着部の例としては、メガネのフレーム、ヘルメット、バンド、ゴーグル、片耳を利用して観察者の頭部に装着されるフレーム、またはそれらの類似構造物の、ユーザーが頭部に装着するために必要な構造を有する部材が挙げられる。また装着部の構成材料については適宜選択可能である。

撮像部は撮像センサーに限定されず、撮像用のカメラなどであってもよい。

上記実施形態においては、印刷物１００がＮｉｎ１集約印刷である例について説明したが、通常の印刷物（１枚の用紙に１ページを印刷する１ｉｎ１レイアウトによる印刷物）にも適用できる。

またタイマー部６１は省略が可能である。例えば、タイマー部６１を設けずに、撮像センサー４５が撮像する像がアクティブページの像と一致しなくなった時点で直ちに拡大像の表示を停止するように設定してもよい。

また表示制御部５７による拡大像の表示の制御様式にも限定はなく、例えばエッジ検出部６３についても省略が可能である。

上記実施形態においては、データ格納部として半導体メモリ４６の例を説明したが、データ格納部は半導体メモリ４６に限定されない。例えば、ハードディスク等の他の記憶手段であってもよい。

今回開示された実施の形態および実施例はすべての点で例示であって、どのような面からも制限的なものではないと理解されるべきである。本発明の範囲は上記した説明ではなく、特許請求の範囲によって規定され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

この発明にかかる文書読解支援システムは、頭部装着型端末装置を通じて印刷物を閲覧することにより、既に印刷された印刷物の可読性や判読性を補償できるため、Ｎｉｎ１集約印刷などにより得られる、一枚の用紙に印刷される文字が小さい印刷物が利用される場において、特に好適に利用される。

１ 文書読解支援システム、５ ネットワーク、１０ 文書、１１ 複合機、１２ 制御部、１３ 表示操作部、１４ 画像読み取り部、１５ 画像形成部、１６ ハードディスク、１８ ネットワークインターフェース部、２１ 表示画面、２２ ＡＤＦ、２３ 現像装置、３０ 排出トレイ、３１ 画像形成要求受け付け部、３２ 文書データ取得部、３３ 文書データ送信部、４０ 頭部装着型端末装置（メガネ型ウェアラブル端末）、４１ 表示部、４２ 制御部、４５ 撮像センサー、４６ 半導体メモリ、４８ ネットワークインターフェース部、５１ 文書データ受信部、５３ 注視画像検出部、５５ 文字サイズ判定部、５７ 表示制御部、６１ タイマー部、６３ エッジ検出部、１００ 集約印刷物、１０１ １枚目のページ（ページＡ）、１０２ ２枚目のページ（ページＢ）、１０３ ３枚目のページ（ページＣ）、１０４ ４枚目のページ（ページＤ）、１０５ ５枚目のページ（ページＥ）、１０６ ６枚目のページ（ページＦ）、１０７ 注視点、１０８ 注視点、１２０ 拡大像、１２１ 拡大された文字、１２２ 拡大像、１２３ 拡大された文字、１２４ 拡大像、１２５ 拡大された文字、１２６ 拡大像、１２７ 拡大された文字。

Claims (7)

1. 文書データに基づいて用紙上に画像を形成し、印刷物として出力する画像形成装置と、
   ユーザーの頭部に装着され、前記印刷物を閲覧するための透過型の頭部装着型端末装置とを備えた、前記印刷物上の文字の判読を補助する文書読解支援システムであって、
   前記画像形成装置は、
   画像形成の要求を受け付ける画像形成要求受け付け部と
   前記文書データを取得する文書データ取得部と、
   前記画像形成要求受け付け部により前記画像形成の要求が受け付けられると、前記文書データ取得部により取得された前記文書データに基づき、前記用紙上に画像を形成し、印刷物として出力する画像形成部と、
   前記文書データ取得部により取得された前記文書データを前記頭部装着型端末装置に送信する文書データ送信部とを備え、
   前記頭部装着型端末装置は、
   前記文書データ送信部から送信された前記文書データを受信する文書データ受信部と、
   前記文書データ受信部により受信された前記文書データを格納するデータ格納部と、
   ユーザーが視認可能な電子表示を表示すると共に、外景を透過しうる光学透過式の表示部と、
   前記外景を撮像する撮像部と、
   前記頭部装着型端末装置を装着したユーザーにより前記印刷物が閲覧された状態において、前記外景として前記撮像部により撮像された前記印刷物の像に基づいて、前記ユーザーが注視している注視画像を検出する注視画像検出部と、
   前記撮像部によって撮像された前記印刷物の像における、前記注視画像検出部によって検出された前記注視画像内の文字の大きさが、所定の閾値未満か否かを判定する文字サイズ判定部と、
   前記文字サイズ判定部により、前記文字の大きさが閾値未満であると判定されると、前記データ格納部に格納された前記文書データに基づき、前記ユーザーが視認可能な前記注視画像の拡大像を、電子表示として前記表示部に表示させる表示制御部とを備え、
   前記文書データは、複数のページに区分された原画像を含み、
   前記印刷物は、複数のページに区分された前記原画像を１枚の用紙上に集約した集約印刷により得られる集約印刷物である、
   文書読解支援システム。
2. 前記表示部に表示される前記拡大像は、前記原画像の各ページの一部または全体の拡大像である、請求項１に記載の文書読解支援システム。
3. 前記表示制御部は、前記原画像の前記複数のページのうち、前記注視画像検出部により検出された前記注視画像が含まれるページを、前記拡大像が表示されるアクティブページに設定し、
   前記文字サイズ判定部により、前記文字の大きさが所定の閾値未満であると判断されると、前記表示制御部は、前記アクティブページの一部または全部の拡大像を電子表示として前記表示部に表示し、前記アクティブページ以外のページは拡大像を表示しないように制御する、請求項１に記載の文書読解支援システム。
4. 前記表示制御部は、前記電子表示を所定の時間のみ表示するよう制御する、請求項１〜３のいずれか１項に記載の文書読解支援システム。
5. 文書データに基づいて用紙上に画像を形成し、印刷物として出力する画像形成装置と、
   ユーザーの頭部に装着され、前記印刷物を閲覧するための透過型の頭部装着型端末装置とを備えた、前記印刷物上の文字の判読を補助する文書読解支援システムであって、
   前記画像形成装置は、
   画像形成の要求を受け付ける画像形成要求受け付け部と
   前記文書データを取得する文書データ取得部と、
   前記画像形成要求受け付け部により前記画像形成の要求が受け付けられると、前記文書データ取得部により取得された前記文書データに基づき、前記用紙上に画像を形成し、印刷物として出力する画像形成部と、
   前記文書データ取得部により取得された前記文書データを前記頭部装着型端末装置に送信する文書データ送信部とを備え、
   前記頭部装着型端末装置は、
   前記文書データ送信部から送信された前記文書データを受信する文書データ受信部と、
   前記文書データ受信部により受信された前記文書データを格納するデータ格納部と、
   ユーザーが視認可能な電子表示を表示すると共に、外景を透過しうる光学透過式の表示部と、
   前記外景を撮像する撮像部と、
   前記頭部装着型端末装置を装着したユーザーにより前記印刷物が閲覧された状態において、前記外景として前記撮像部により撮像された前記印刷物の像に基づいて、前記ユーザーが注視している注視画像を検出する注視画像検出部と、
   前記撮像部によって撮像された前記印刷物の像における、前記注視画像検出部によって検出された前記注視画像内の文字の大きさが、所定の閾値未満か否かを判定する文字サイズ判定部と、
   前記文字サイズ判定部により、前記文字の大きさが閾値未満であると判定されると、前記データ格納部に格納された前記文書データに基づき、前記ユーザーが視認可能な前記注視画像の拡大像を、電子表示として前記表示部に表示させる表示制御部とを備え、
   前記頭部装着型端末装置は、さらに、前記印刷物の端部を検出するエッジ検出部を備え、
   前記表示制御部は、前記頭部装着型端末装置を装着した前記ユーザーにより前記印刷物が閲覧された状態において、前記エッジ検出部により検出された前記印刷物の端部の外側近傍に、前記ユーザーに前記注視画像が拡大された状態で視認されるように、前記表示部に前記電子表示を表示する、文書読解支援システム。
6. 前記拡大像は、吹き出し形式で表示される、請求項１〜５のいずれか１項に記載の文書読解支援システム。
7. 前記画像形成部は、前記注視画像を特定する標識の画像を、前記文書データに基づく前記画像と共に形成し、
   前記注視画像検出部は、前記標識の画像を読み取ることにより前記注視画像を特定する、請求項１〜６のいずれか１項に記載の文書読解支援システム。
   

Images