JP6303723B2 - 表示制御装置および表示制御装置の制御プログラム - Google Patents

Description

本発明は、表示制御装置および表示制御装置の制御プログラムに関し、より特定的には、サーバーから取得した重合せ画像を、文書の画像に対して重ね合わせて表示する表示制御装置および表示制御装置の制御プログラムに関する。

近年、セキュリティに対する関心が高まってきており、企業が保持している機密情報や個人情報などの秘匿情報（機密データ）の漏洩が問題となっている。これらの問題に対処するために、企業では、電子化された秘匿情報にアクセス権限を設けたり、記録媒体の持ち込みおよび持ち出しを制限したりするなどの措置が取られている。電子化された秘匿情報の場合、上記のようなＩＴ（Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）メカニズムを用いた対策を実施することによってある程度のガードをすることが可能である。

一方、企業およびその他の組織で行なわれる会議やミーティングでは、秘匿情報を用紙などに印刷した印刷物を資料として参加者に配付することが多い。この場合、秘匿情報を印刷した印刷物の持ち出しや複写を管理することは難しく、参加者によるこれらの行為に対して、上記のようなＩＴメカニズムを用いたガードを行うことはできない。この事実が、セキュリティの維持を難しくしている。

印刷物からの秘匿情報の漏洩を防止する技術として、印刷物に表示されたＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ、拡張現実）マーカーを通じて、印刷物の所有者の端末
がアクセスしてきた場合に、ＡＲサーバーから印刷物の所有者の端末に対して秘匿情報をＡＲデータとして配信する技術が提案されている。

図１５は、ＡＲマーカーを用いた従来の技術を概略的に示す図である。

図１５を参照して、この技術では、画像形成装置は、図１５（ａ）に示すように、印刷物（紙文書）ＤＣを出力する。印刷物ＤＣは、ＡＲマーカーＭＫを含んでいる。印刷物ＤＣは、本来、秘匿情報を含んでいるが、この秘匿情報はＡＲマーカーＭＫによって隠されている。したがって、印刷物ＤＣの所有者（以降、所有者と記すことがある）は、印刷物ＤＣを見ただけでは秘匿情報の内容を把握することができない。

秘匿情報を見たい場合、所有者は、メガネ型のウェアラブルディスプレイ１１００などの携帯通信端末でＡＲマーカーＭＫを読み取る。ＡＲマーカーＭＫを読み取ったウェアラブルディスプレイ１１００は、ＡＲサーバー（図示無し）にアクセスし、ＡＲサーバーからＡＲデータを取得する。そしてウェアラブルディスプレイ１１００は、図１５（ｂ）に示すように、印刷物ＤＣの画像に対して、ＡＲデータの画像ＩＭを重ね合わせた画像ＳＩを表示部に表示する。ＡＲデータの画像ＩＭは、ＡＲマーカーＭＫの位置に基づいて決定した表示位置に表示される。その結果、所有者は、ウェアラブルディスプレイ１１００を通じて、秘匿情報であるＡＲデータの画像ＩＭを見ることができる。

ＡＲマーカーに関する従来の技術は、たとえば下記特許文献１〜４などに開示されている。

下記特許文献１には、ＡＲタグ付きの基本原稿の画像を撮像し、撮像した画像からＡＲタグを抽出し、そのＡＲタグに関連付けられている拡張現実用付加情報をサーバー装置から取得し、その拡張現実用付加情報を、撮像した画像に重畳させて表示する携帯通信端末が開示されている。

下記特許文献２には、撮像装置による撮像画像を表示装置に表示させる携帯端末装置が開示されている。この携帯端末装置は、撮像画像内で画像形成装置のＡＲマーカーが検出された場合に、ＡＲ操作パネルデータに基づいてＡＲ操作パネルを撮像画像に重畳させて表示させるＡＲ処理部と、撮像画像内で画像形成装置のＡＲマーカーが検出された場合に、ＡＲ操作パネルデータをサーバー装置から取得し、ＡＲ操作パネルに対するユーザー操作に対応する要求をサーバー装置へ送信する通信処理部とを有している。

下記特許文献３には、情報処理装置と検索装置とからなる情報処理システムが開示されている。情報処理装置は、撮像部と、撮像の倍率を変更する撮像倍率変更部と、撮像画像とタグ表示画像を合成して表示する表示部とを備えている。情報処理装置は、その位置、撮像倍率、撮像方向、および撮像画角からなる情報を検索装置に送信する。検索装置は、送信された情報からタグ表示画像を生成するためのタグ情報を検索部により検索し、所定のタグ情報を情報処理装置に送信する。情報処理装置のタグ表示画像生成部は、送信されたタグ情報から表示部が表示するタグ表示画像を生成する。

下記特許文献４には、カメラによって取得した現実映像中におけるＡＲマーカーをＡＲオブジェクトに変換して映像中に表示する画像合成装置が開示されている。この画像合成装置は、現実画像中におけるＡＲマーカーが、緊急用や警告などを示す看板や標識である場合などには、ＡＲオブジェクトを透明表示するとともに、ＡＲオブジェクトに対応する現実画像をコピーして、現実画像の最前面に重畳表示する。

特開２０１３−０２６９２２号公報 特開２０１３−０２５６３８号公報 特開２０１２−２１６９３５号公報 特開２０１２−１６４１５７号公報

ＡＲマーカーに関する従来の技術には、利便性が低いという問題があった。これについいて以下に説明する。

図１６は、印刷物ＤＣの画像におけるＡＲマーカーＭＫの周囲にメモ書きが存在している場合に、従来のウェアラブルディスプレイ１１００が表示する印刷物ＤＣの画像ＳＩ１００を模式的に示す図である。

図１６（ａ）を参照して、所有者が、印刷物ＤＣにおけるＡＲマーカーＭＫの周囲にメモ書きＭＲを追加し、その後、ウェアラブルディスプレイ１１００で印刷物ＤＣを見た場合を想定する。この場合、図１６（ｂ）に示すように、ウェアラブルディスプレイ１１００の表示部に表示される画像ＳＩ１００では、追加されたメモ書きＭＲの上にＡＲデータの画像ＩＭ１００が表示され、追加されたメモ書きＭＲが隠れてしまう。

図１７は、印刷物ＤＣに対して所有者がメモ書きを追加しようとした場合に、従来のウェアラブルディスプレイ１１００が表示する印刷物ＤＣの画像ＳＩ１０１を模式的に示す図である。

図１７（ａ）を参照して、ウェアラブルディスプレイ１１００の表示部に表示された画像ＳＩ１０１を見ながら、所有者が、画像ＳＩ１０１に含まれるＡＲデータの画像ＩＭ１０１にメモ書きを追加しようとした場合を想定する。この場合、ウェアラブルディスプレイ１１００の表示部には、メモ書きを追加しようとするペン先ＰＮが表示される。しかし、図１７（ｂ）に示すように、ペン先ＰＮが、ＡＲデータの画像ＩＭ１０１の領域に入り込むと、ＡＲデータの画像ＩＭ１０１によってペン先ＰＮが覆われ、ペン先ＰＮが隠れてしまう。

このように、携帯通信端末などで、ＡＲマーカーに対応するＡＲデータの画像を表示した場合、ＡＲデータの画像の下に存在するメモ書きや物体が見えなくなり、利便性の低下を招いていた。

本発明は、上記課題を解決するためのものであり、その目的は、利便性の高い表示制御装置および表示制御装置の制御プログラムを提供することである。

本発明の一の局面に従う表示制御装置は、サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得手段と、サーバーから重合せ画像のデータを取得する第２の画像取得手段と、第１の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第１の表示手段と、文書の画像における、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別手段と、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在していると第１の判別手段にて判別した場合に、第１の表示態様とは異なる第２の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第２の表示手段とを備え、第２の表示態様の重合せ画像は、第１の表示態様の重合せ画像を重ね合わせる領域内に存在する、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が見えるような表示態様であり、かつ第１の表示態様の重合せ画像を重ね合わせる領域に含まれているマーカーが見えない表示態様である。

上記表示制御装置において好ましくは、第１の表示手段にて第１の表示態様の重合せ画像を表示した後で、第１の判別手段は、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別し、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のいずれも存在していないと第１の判別手段にて判別した場合に、第１の表示手段は、第１の表示態様の重合せ画像を表示し続ける。

上記表示制御装置において好ましくは、第１の判別手段は、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および筆記具の先端のうち少なくともいずれか一方が存在しているか否かを判別する。

本発明の他の局面に従う表示制御装置は、サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得手段と、サーバーから重合せ画像のデータを取得する第２の画像取得手段と、第１の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第１の表示手段と、文書の画像における、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別手段と、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在していると第１の判別手段にて判別した場合に、第１の表示態様とは異なる第２の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第２の表示手段とを備え、第１の判別手段は、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および筆記具の先端のうち少なくともいずれか一方が存在しているか否かを判別し、第２の表示手段にて第２の表示態様の重合せ画像を表示した場合に、第１の表示態様の重合せ画像を重ね合わせる領域内に存在していた筆記具の先端が、第１の表示態様の重合せ画像を重ね合わせる領域外へ移動したか否かを判別する第２の判別手段と、筆記具の先端が第１の表示態様の重合せ画像を重ね合わせる領域外へ移動したと第２の判別手段にて判別した場合に、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書きが存在しているか否かを判別する第３の判別手段とをさらに備え、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書きが存在していると第３の判別手段にて検知した場合に、第２の表示手段は、第２の表示態様の重合せ画像を表示し続け、第２の表示態様の重合せ画像は、第１の表示態様の重合せ画像を重ね合わせる領域内に存在する、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が見えるような表示態様である。

上記表示制御装置において好ましくは、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書きが存在していないと第３の判別手段にて判別した場合に、第２の表示手段は、第２の表示態様の重合せ画像の表示を停止し、第１の表示手段は、第１の表示態様の重合せ画像を表示する。

上記表示制御装置において好ましくは、第２の表示手段は、第１の表示態様の重合せ画像の少なくとも一部を透明にする方法、第１の表示態様の重合せ画像の位置およびサイズのうち少なくとも一方を変更する方法、ならびに第１の表示態様の重合せ画像に対して、文書に追加されたメモ書きの画像、および文書以外の物体の画像のうち少なくともいずれか一方を追加する方法のうち少なくともいずれか１つの方法を用いて第２の表示態様の重合せ画像を作成する作成手段と、作成手段にて作成した第２の表示態様の重合せ画像を表示する作成後表示手段とを含む。

本発明のさらに他の局面に従う表示制御装置は、サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得手段と、サーバーから重合せ画像のデータを取得する第２の画像取得手段と、第１の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第１の表示手段と、文書の画像における、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別手段と、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在していると第１の判別手段にて判別した場合に、第１の表示態様とは異なる第２の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第２の表示手段とを備え、第２の表示手段は、第１の表示態様の重合せ画像の少なくとも一部を透明にする方法、第１の表示態様の重合せ画像の位置およびサイズのうち少なくとも一方を変更する方法、ならびに第１の表示態様の重合せ画像に対して、文書に追加されたメモ書きの画像、および文書以外の物体の画像のうち少なくともいずれか一方を追加する方法のうち少なくともいずれか１つの方法を用いて第２の表示態様の重合せ画像を作成する作成手段と、作成手段にて作成した第２の表示態様の重合せ画像を表示する作成後表示手段とを含み、作成手段は、第１の表示態様の重合せ画像の少なくとも一部を透明にする方法を用いて第２の表示態様の重合せ画像を作成する場合に、第１の表示態様の重合せ画像における少なくともマーカーと重なる部分を透明にせず、第２の表示態様の重合せ画像は、第１の表示態様の重合せ画像を重ね合わせる領域内に存在する、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が見えるような表示態様である。

本発明のさらに他の局面に従う表示制御装置の制御プログラムは、サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得ステップと、サーバーから重合せ画像のデータを取得する第２の画像取得ステップと、第１の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第１の表示ステップと、文書の画像における、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別ステップと、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在していると第１の判別ステップにて判別した場合に、第１の表示態様とは異なる第２の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第２の表示ステップとをコンピューターに実行させ、第２の表示態様の重合せ画像は、第１の表示態様の重合せ画像を重ね合わせる領域内に存在する、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が見えるような表示態様であり、かつ第１の表示態様の重合せ画像を重ね合わせる領域に含まれているマーカーが見えない表示態様である。
本発明のさらに他の局面に従う表示制御装置の制御プログラムは、サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得ステップと、サーバーから重合せ画像のデータを取得する第２の画像取得ステップと、第１の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第１の表示ステップと、文書の画像における、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別ステップと、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在していると第１の判別ステップにて判別した場合に、第１の表示態様とは異なる第２の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第２の表示ステップとをコンピューターに実行させ、第１の判別ステップにおいて、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および筆記具の先端のうち少なくともいずれか一方が存在しているか否かを判別し、第２の表示ステップにて第２の表示態様の重合せ画像を表示した場合に、第１の表示態様の重合せ画像を重ね合わせる領域内に存在していた筆記具の先端が、第１の表示態様の重合せ画像を重ね合わせる領域外へ移動したか否かを判別する第２の判別ステップと、筆記具の先端が第１の表示態様の重合せ画像を重ね合わせる領域外へ移動したと第２の判別ステップにて判別した場合に、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書きが存在しているか否かを判別する第３の判別ステップとをさらにコンピューターに実行させ、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書きが存在していると第３の判別ステップにて検知した場合に、第２の表示ステップにおいて、第２の表示態様の重合せ画像を表示し続け、第２の表示態様の重合せ画像は、第１の表示態様の重合せ画像を重ね合わせる領域内に存在する、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が見えるような表示態様である。
本発明のさらに他の局面に従う表示制御装置の制御プログラムは、サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得ステップと、サーバーから重合せ画像のデータを取得する第２の画像取得ステップと、第１の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第１の表示ステップと、文書の画像における、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別ステップと、第１の表示態様の重合せ画像を重ね合わせる領域内に、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が存在していると第１の判別ステップにて判別した場合に、第１の表示態様とは異なる第２の表示態様の重合せ画像を文書の画像に対して重ね合わせて表示する第２の表示ステップとをコンピューターに実行させ、第２の表示ステップは、第１の表示態様の重合せ画像の少なくとも一部を透明にする方法、第１の表示態様の重合せ画像の位置およびサイズのうち少なくとも一方を変更する方法、ならびに第１の表示態様の重合せ画像に対して、文書に追加されたメモ書きの画像、および文書以外の物体の画像のうち少なくともいずれか一方を追加する方法のうち少なくともいずれか１つの方法を用いて第２の表示態様の重合せ画像を作成する作成ステップと、作成ステップにて作成した第２の表示態様の重合せ画像を表示する作成後表示ステップとを含み、作成ステップにおいて、第１の表示態様の重合せ画像の少なくとも一部を透明にする方法を用いて第２の表示態様の重合せ画像を作成する場合に、第１の表示態様の重合せ画像における少なくともマーカーと重なる部分を透明にせず、第２の表示態様の重合せ画像は、第１の表示態様の重合せ画像を重ね合わせる領域内に存在する、文書に追加されたメモ書き、および文書以外の物体のうち少なくともいずれか一方が見えるような表示態様である。

本発明によれば、利便性の高い表示制御装置および表示制御装置の制御プログラムを提供することができる。

本発明の一実施の形態におけるＡＲデータ配信システムの構成を示すブロック図である。 本発明の一実施の形態におけるＡＲデータ配信システムの基本的な動作を概念的に示す図である。 本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、メモ書き、および印刷物ＤＣ以外の物体のいずれも存在していない場合に表示される画像ＳＩを模式的に示す図である。 本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内にメモ書きが存在している場合に表示される、第１の変更方法を用いて作成された画像ＳＩ１を模式的に示す図である。 印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に印刷物ＤＣ以外の物体が存在している場合に表示される、第１の変更方法を用いて作成された画像ＳＩ１を模式的に示す図である。 本発明の一実施の形態において、ウェアラブルディスプレイ１００が画像ＳＩ１を表示した後における、ウェアラブルディスプレイ１００の動作を説明する図である。 本発明の一実施の形態において、第１の変更方法を採用した場合のウェアラブルディスプレイ１００の動作を示すフローチャートである。 本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内にメモ書きが存在している場合に表示される、第２の変更方法を用いて作成された画像ＳＩ２を模式的に示す図である。 本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に印刷物ＤＣ以外の物体が存在している場合に表示される、第２の変更方法を用いて作成された画像ＳＩ１を模式的に示す図である。 本発明の一実施の形態において、ウェアラブルディスプレイ１００が画像ＳＩ２を表示した後における、ウェアラブルディスプレイ１００の動作を説明する図である。 本発明の一実施の形態において、第２の変更方法を採用した場合のウェアラブルディスプレイ１００の動作を示すフローチャートである。 本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内にメモ書きが存在している場合に表示される、第３の変更方法を用いて作成された画像ＳＩ３Ａを模式的に示す図である。 本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に印刷物ＤＣ以外の物体が存在している場合に表示される、第３の変更方法を用いて作成された画像ＳＩ３Ｂを模式的に示す図である。 本発明の一実施の形態において、第３の変更方法を採用した場合のウェアラブルディスプレイ１００の動作を示すフローチャートである。 ＡＲマーカーを用いた従来の技術を概略的に示す図である。 印刷物ＤＣの画像におけるＡＲマーカーＭＫの周囲にメモ書きが存在している場合に、従来のウェアラブルディスプレイ１１００が表示する印刷物ＤＣの画像ＳＩ１００を模式的に示す図である。 印刷物ＤＣに対して所有者がメモ書きを追加しようとした場合に、従来のウェアラブルディスプレイ１１００が表示する印刷物ＤＣの画像ＳＩ１０１を模式的に示す図である。

以下、本発明の一実施の形態について、図面に基づいて説明する。

以下の実施の形態においては、表示制御装置がウェアラブルディスプレイである場合について説明する。表示制御装置は、たとえば携帯電話やスマートフォンなどのウェアラブルディスプレイ以外の携帯通信端末であってもよい。また表示制御装置は、携帯通信端末と通信を行うサーバー、画像形成装置、デジタルカメラ、またはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などであってもよい。

［ＡＲデータ配信システムの構成］

始めに、ＡＲデータ配信システムの構成について説明する。

図１は、本発明の一実施の形態におけるＡＲデータ配信システムの構成を示すブロック図である。

図１を参照して、ＡＲデータ配信システムは、ウェアラブルディスプレイ１００（表示制御装置の一例）と、ＡＲサーバー２００（サーバーの一例）と、ネットワーク３００とを備えている。ウェアラブルディスプレイ１００と、ＡＲサーバー２００とは、ネットワーク３００を通じて相互に接続されている。

ネットワーク３００は、たとえば有線または無線のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの専用回線を用いたものである。ネットワーク３００は、ＴＣＰ／ＩＰ（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ／Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）のプロトコルを用いて各種機器を接続する。ネットワーク３００に接続された機器は、お互いに各種データのやり取りが可能となっている。なお、ウェアラブルディスプレイ１００とＡＲサーバー２００とは、インターネットを通じて相互に接続されていてもよい。

ウェアラブルディスプレイ１００は、頭部に装着されるメガネ型のディスプレイである。ウェアラブルディスプレイ１００は、ウェアラブルディスプレイ１００全体を制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１０と、ＣＰＵ１１０からの指示に従って、ネットワーク３００を介してＡＲサーバー２００などの外部機器との通信を行うネットワークＩ／Ｆ１２０と、ＣＰＵ１１０が実行する制御プログラムを格納するＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３０と、ＣＰＵ１１０の作業用のメモリであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４０と、各種情報を記憶する記憶部１５０と、各種情報を表示する表示部１６０と、撮像を行うカメラ１７０と、ＡＲデータの画像を重ね合わせる画像合成部１８０とを含んでいる。ＣＰＵ１１０は、ネットワークＩ／Ｆ１２０、ＲＯＭ１３０、ＲＡＭ１４０、記憶部１５０、表示部１６０、カメラ１７０、および画像合成部１８０の各々と相互に接続されている。記憶部１５０は、ウェアラブルディスプレイ１００の所有者に関する情報であって、ＡＲサーバー２００からの認証を受けるための情報（たとえばユーザーＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）およびパスワード）を記憶している。

ＡＲサーバー２００は、たとえばＰＣよりなっている。ＡＲサーバー２００は、ＡＲサーバー２００全体を制御するＣＰＵ２１０と、ＣＰＵ２１０からの指示に従って、ネットワーク３００を介してウェアラブルディスプレイ１００などの外部機器との通信を行うネットワークＩ／Ｆ２２０と、ＣＰＵ２１０が実行する制御プログラムを格納するＲＯＭ２３０と、ＣＰＵ２１０の作業用のメモリであるＲＡＭ２４０と、各種情報を記憶する記憶部２５０とを含んでいる。ＣＰＵ２１０は、ネットワークＩ／Ｆ２２０、ＲＯＭ２３０、ＲＡＭ２４０、および記憶部２５０の各々と相互に接続されている。記憶部２５０は、ＡＲサーバー管理情報として、ＡＲマーカーのＩＤと、そのＡＲマーカーのＩＤに紐付けられたＡＲデータとを記憶している。

［ＡＲデータ配信システムの動作］

次に、本実施の形態におけるＡＲデータ配信システムの動作について説明する。

図２は、本発明の一実施の形態におけるＡＲデータ配信システムの基本的な動作を概念的に示す図である。

図２を参照して、印刷物ＤＣは、文字などが印刷された紙文書であり、ＡＲマーカーＭＫ（たとえばＱＲコード（登録商標）など）が表示されている。マーカーＭＫは、たとえばＡＲサーバー２００に関する情報（たとえばＡＲサーバー２００のＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ））、およびＡＲマーカーのＩＤの情報などを含んでいる。

所有者が、ウェアラブルディスプレイ１００を用いて印刷物ＤＣを見ると、ウェアラブルディスプレイ１００のカメラ１７０は、印刷物ＤＣの画像を取得する（処理ＰＲ１）。ウェアラブルディスプレイ１００は、印刷物ＤＣの画像に含まれているＡＲマーカーＭＫを認識する（処理ＰＲ２）。次にウェアラブルディスプレイ１００は、ＡＲマーカーＭＫに含まれている情報に基づいてＡＲサーバー２００にアクセスし、所有者のユーザーＩＤおよびパスワード、ならびにＡＲマーカーのＩＤの情報をＡＲサーバー２００に送信する（処理ＰＲ３）。ＡＲサーバー２００は、ユーザーＩＤおよびパスワードを受信すると、ウェアラブルディスプレイ１００の認証を行う。ＡＲサーバー２００は、ウェアラブルディスプレイ１００の認証後、ＡＲサーバー管理情報の中から、受信したＡＲマーカーのＩＤに紐付けられたＡＲデータを抽出する（処理ＰＲ４）。続いてＡＲサーバー２００は、抽出したＡＲデータをウェアラブルディスプレイ１００に送信する（処理ＰＲ５）。ウェアラブルディスプレイ１００は、ＡＲデータを受信（取得）すると、印刷物ＤＣの画像に対して、第１の表示態様のＡＲデータの画像ＩＭ（第１の表示態様の重合せ画像の一例）を重ね合わせた画像ＳＩを表示部１６０（メガネレンズ部）に表示する（処理ＰＲ６）。なお、ＡＲデータの画像ＩＭの表示態様は、受信したＡＲデータの画像のデフォルトの表示態様である。その結果、所有者は、ウェアラブルディスプレイ１００を通じて、ＡＲデータの画像を見ることができる。

ウェアラブルディスプレイ１００は、画像ＳＩを表示した後で、ＡＲデータ領域（機密データ領域）ＲＧ内に、印刷物ＤＣに追加されたメモ書き、および印刷物ＤＣ以外の物体（たとえば筆記具の先端（ペン先））のいずれも存在していない場合に、第１の表示態様のＡＲデータの画像ＩＭを表示し続ける。

図３は、本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、メモ書き、および印刷物ＤＣ以外の物体のいずれも存在していない場合に表示される画像ＳＩを模式的に示す図である。

図３（ａ）を参照して、印刷物ＤＣの元となる文書データには、秘匿情報が含まれている。この文書データは、ＡＲデータ領域ＲＧによって秘匿情報が隠された状態で、印刷物ＤＣとして印刷される。ＡＲデータ領域ＲＧは、印刷物ＤＣにおいて秘匿情報が表示されるべき位置に設けられる。ＡＲデータ領域ＲＧは、ＡＲマーカーＭＫが表示された領域と、ＡＲマーカーＭＫの周辺部の無地の（不透明な）領域とで構成されている。

印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書き、および印刷物ＤＣ以外の物体のいずれも存在していない場合、ウェアラブルディスプレイ１００は、ＡＲデータの画像の表示態様を変更せず、図３（ｂ）に示す画像ＳＩを表示部１６０に表示し続ける。画像ＳＩは、ＡＲデータの画像ＩＭを、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧに対して重ね合わせたものである。

一方、ウェアラブルディスプレイ１００は、画像ＳＩを表示した後で、ＡＲデータ領域（機密データ領域）ＲＧ内に印刷物ＤＣに追加されたメモ書き、および印刷物ＤＣ以外の物体のうちいずれか一方が存在している場合に、第１の表示態様のＡＲデータの画像を第２の表示態様のＡＲデータの画像に変更し、変更後のＡＲデータの画像を表示する。

具体的には、ウェアラブルディスプレイ１００は、以下の第１の変更方法、第２の変更方法、または第３の変更方法を用いて、第２の表示態様のＡＲデータの画像を作成し、作成したＡＲデータの画像を表示する。

（第１の変更方法）

第１の変更方法は、第１の表示態様のＡＲデータの画像の少なくとも一部を透明にする方法で、第２の表示態様のＡＲデータの画像を作成するものである。

図４は、本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内にメモ書きが存在している場合に表示される、第１の変更方法を用いて作成された画像ＳＩ１を模式的に示す図である。

図４（ａ）を参照して、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きＭＲが存在している場合、ウェアラブルディスプレイ１００は、図４（ｂ）に示す画像ＳＩ１を表示部１６０に表示する。画像ＳＩ１は、第２の表示態様のＡＲデータの画像ＩＭ１を、印刷物ＤＣの画像のＡＲデータ領域ＲＧに対して重ね合わせたものである。

ＡＲデータの画像ＩＭ１は、第１の表示態様のＡＲデータの画像ＩＭの少なくとも一部を透明にする方法で（第１の変更方法で）作成されたものである。

ＡＲデータの画像ＩＭ１は、メモ書きＭＲが見えるように、少なくともメモ書きＭＲの存在する部分を透明にする方法で作成されることが好ましい。

ＡＲデータの画像ＩＭ１は、ＡＲデータの画像ＩＭにおけるＡＲマーカーＭＫの周辺部を透明にし（透過画像にし）、ＡＲデータの画像ＩＭにおける少なくともＡＲマーカーＭＫと重なる部分ＰＴを透明にしないことにより作成されることが好ましい。これにより、画像ＳＩ１においてＡＲマーカーＭＫが見えることを防ぐことができる。

図５は、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に印刷物ＤＣ以外の物体が存在している場合に表示される、第１の変更方法を用いて作成された画像ＳＩ１を模式的に示す図である。

図５（ａ）を参照して、所有者が、印刷物ＤＣの画像ＳＩを見ながら、ＡＲデータの画像ＩＭにメモ書きを追加しようとした場合、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内には筆記具のペン先ＰＮ（筆記具の先端の一例）が侵入する。この場合にも、ウェアラブルディスプレイ１００は、図５（ｂ）に示す画像ＳＩ１を表示部１６０に表示する。画像ＳＩ１は、図４（ｂ）に示す画像ＳＩ１と同一のものである。ＡＲデータの画像ＩＭ１は、ペン先ＰＮが見えるように、少なくともペン先ＰＮの存在する部分を透明にする方法で作成されることが好ましい。

印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内にペン先ＰＮが侵入し、ウェアラブルディスプレイ１００が画像ＳＩ１を表示した後で、ウェアラブルディスプレイ１００は、さらに次の動作を行ってもよい。

図６は、本発明の一実施の形態において、ウェアラブルディスプレイ１００が画像ＳＩ１を表示した後における、ウェアラブルディスプレイ１００の動作を説明する図である。

図６（ａ）を参照して、ウェアラブルディスプレイ１００が画像ＳＩ１を表示した後で、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に存在していたペン先ＰＮがＡＲデータ領域ＲＧ外へ移動した場合を想定する。この場合、ウェアラブルディスプレイ１００は、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きが存在しているか否かを判別する。

印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きＭＲが存在していない場合、ウェアラブルディスプレイ１００は、画像ＳＩ１の表示を停止する。ウェアラブルディスプレイ１００は、画像ＳＩ１の代わりに画像ＳＩを表示部１６０に表示する。これにより、ＡＲデータの画像をデフォルトの表示状態に戻すことができる。

図６（ｂ）を参照して、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きＭＲが存在している場合、ウェアラブルディスプレイ１００は、画像ＳＩ１を表示し続ける。これにより、所有者がペン先ＰＮをＡＲデータ領域ＲＧ外へ移動させた後も、印刷物ＤＣに追加されたメモ書きＭＲが見える状態を維持することができる。

図７は、本発明の一実施の形態において、第１の変更方法を採用した場合のウェアラブルディスプレイ１００の動作を示すフローチャートである。

図７を参照して、ウェアラブルディスプレイ１００のＣＰＵ１１０は、カメラ１７０を用いて印刷物の画像を取り込むと（Ｓ１０１）、印刷物の画像にＡＲマーカーが含まれているか否かを判別する（Ｓ１０３）。

ステップＳ１０３において、印刷物の画像にＡＲマーカーが含まれていない場合（Ｓ１０３でＮＯ）、ＡＲデータを取得する必要は無いので、ＣＰＵ１１０は、ステップＳ１０１の処理へ進む。

ステップＳ１０３において、印刷物の画像にＡＲマーカーが含まれていると判別した場合（Ｓ１０３でＹＥＳ）、ＣＰＵ１１０は、ＡＲマーカーに含まれている情報に基づいてＡＲサーバー２００にアクセスし、ＡＲサーバー２００に対してＡＲデータの送信を要求する（Ｓ１０５）。次にＣＰＵ１１０は、ＡＲサーバーからＡＲデータを取得したか否かを判別する（Ｓ１０７）。

ステップＳ１０７において、ＡＲサーバーからＡＲデータを取得したと判別した場合（Ｓ１０７でＹＥＳ）、ＣＰＵ１１０は、第１の表示態様のＡＲデータの画像を表示部１６０に表示する（Ｓ１０９）。続いてＣＰＵ１１０は、印刷物ＤＣの画像におけるＡＲデータ領域内にペン先またはメモ書きが存在するか否かを判別する（Ｓ１１１）。

ステップＳ１０７において、ＡＲサーバーからＡＲデータを取得しないと判別した場合（Ｓ１０７でＮＯ）、またはステップＳ１１１において、ＡＲデータ領域内にペン先およびメモ書きのいずれも存在しないと判別した場合（Ｓ１１１でＮＯ）、ＣＰＵ１１０は処理を終了する。

ステップＳ１１１において、ＡＲデータ領域内にペン先およびメモ書きのうち少なくともいずれか一方が存在していると判別した場合（Ｓ１１１でＹＥＳ）、ＣＰＵ１１０は、第１の表示態様のＡＲデータの画像におけるＡＲマーカーＭＫと重なる部分以外の部分（周辺部）を透過表示（透過画像）に変更し（Ｓ１１３）、変更後のＡＲデータの画像である第２の表示態様のＡＲデータの画像を表示部１６０に表示する（Ｓ１１５）。次にＣＰＵ１１０は、ＡＲデータ領域内にペン先が存在するか否かを判別する（Ｓ１１７）。

ステップＳ１１７において、ＡＲデータ領域内にペン先が存在しないと判別した場合（Ｓ１１７でＮＯ）、ＣＰＵ１１０は処理を終了する。

ステップＳ１１７において、ＡＲデータ領域内にペン先が存在すると判別した場合（Ｓ１１７でＹＥＳ）、ＣＰＵ１１０は、ペン先がＡＲデータ領域外へ移動したか否かを判別する（Ｓ１１９）。ペン先がＡＲデータ領域外へ移動したと判別するまで、ＣＰＵ１１０はステップＳ１１９の処理を繰り返す。

ステップＳ１１９において、ペン先がＡＲデータ領域外へ移動したと判別した場合（Ｓ１１９でＹＥＳ）、ＣＰＵ１１０は、ＡＲデータ領域内にメモ書きが存在しているか否かを判別する（Ｓ１２１）。

ステップＳ１２１において、ＡＲデータ領域内にメモ書きが存在していると判別した場合（Ｓ１２１でＹＥＳ）、ＣＰＵ１１０は、変更後のＡＲデータの画像である第２の表示態様のＡＲデータの画像の表示を維持し（Ｓ１２３）、処理を終了する。

ステップＳ１２１において、ＡＲデータ領域内にメモ書きが存在していないと判別した場合（Ｓ１２１でＮＯ）、ＣＰＵ１１０は、元のＡＲデータの画像である第１の表示態様のＡＲデータの画像を表示部１６０に表示し（Ｓ１２５）、処理を終了する。

（第２の変更方法）

第２の変更方法は、第１の表示態様のＡＲデータの画像の位置およびサイズのうち少なくとも一方を変更することによって、第２の表示態様のＡＲデータの画像を作成するものである。

図８は、本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内にメモ書きが存在している場合に表示される、第２の変更方法を用いて作成された画像ＳＩ２を模式的に示す図である。

図８（ａ）を参照して、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きＭＲが存在している場合、ウェアラブルディスプレイ１００は、図８（ｂ）に示す画像ＳＩ２を表示部１６０に表示する。画像ＳＩ２は、第２の表示態様のＡＲデータの画像ＩＭ２を、印刷物ＤＣの画像のＡＲデータ領域ＲＧの一部に対して重ね合わせたものである。

ＡＲデータの画像ＩＭ２は、第１の表示態様のＡＲデータの画像ＩＭ１の位置およびサイズを変更する方法で（第２の変更方法で）作成されたものである。ＡＲデータの画像ＩＭ２は、ＡＲデータの画像ＩＭの位置およびサイズのうち一方のみを変更する方法で作成されたものであってもよい。

ＡＲデータの画像ＩＭ２は、メモ書きＭＲが見えるような位置およびサイズに設定されることが好ましい。図８（ｂ）では、ＡＲデータの画像ＩＭ２の縦方向の長さおよび横方向の長さは、ＡＲデータの画像ＩＭ１の縦方向の長さおよび横方向の長さの約７０％に縮小されている。ＡＲデータの画像ＩＭ２の中心点は、ＡＲデータ領域ＲＧの中心点に比べて左下側に移動している。その結果、ＡＲデータ領域ＲＧの中心点よりも右側に記載されているメモ書きＭＧが見えるようになっている。

ＡＲデータの画像ＩＭ２は、印刷物ＤＣの画像内に収まるように、ＡＲマーカーＭＫと重なるように配置されることが好ましい。これにより、画像ＳＩ２においてＡＲマーカーＭＫが見えることを防ぐことができる。

図９は、本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に印刷物ＤＣ以外の物体が存在している場合に表示される、第２の変更方法を用いて作成された画像ＳＩ１を模式的に示す図である。

図９（ａ）を参照して、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に筆記具のペン先ＰＮが侵入した場合にも、ウェアラブルディスプレイ１００は、図９（ｂ）に示す画像ＳＩ２を表示部１６０に表示する。画像ＳＩ２は、図８（ｂ）に示す画像ＳＩ２と同一のものである。ＡＲデータの画像ＩＭ１は、ペン先ＰＮが見えるように、少なくともペン先ＰＮの存在する部分を透明にする方法で作成されることが好ましい。

印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内にペン先ＰＮが侵入し、ウェアラブルディスプレイ１００が画像ＳＩ２を表示した後で、ウェアラブルディスプレイ１００は、さらに次の動作を行ってもよい。

図１０は、本発明の一実施の形態において、ウェアラブルディスプレイ１００が画像ＳＩ２を表示した後における、ウェアラブルディスプレイ１００の動作を説明する図である。

図１０（ａ）を参照して、ウェアラブルディスプレイ１００が画像ＳＩ２を表示した後で、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に存在していたペン先ＰＮがＡＲデータ領域ＲＧ外へ移動した場合を想定する。

上述の場合において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きＭＲが存在していないときは、ウェアラブルディスプレイ１００は、画像ＳＩ２の表示を停止する。ウェアラブルディスプレイ１００は、画像ＳＩ２の代わりに画像ＳＩを表示部１６０に表示する。これにより、ＡＲデータの画像をデフォルトの表示状態に戻すことができる。

図１０（ｂ）を参照して、上述の場合において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きＭＲが存在しているときは、ウェアラブルディスプレイ１００は、画像ＳＩ２を表示し続ける。これにより、所有者がペン先ＰＮをＡＲデータ領域ＲＧ外へ移動させた後も、印刷物ＤＣに追加されたメモ書きＭＲが見える状態を維持することができる。

図１１は、本発明の一実施の形態において、第２の変更方法を採用した場合のウェアラブルディスプレイ１００の動作を示すフローチャートである。

図１１を参照して、ウェアラブルディスプレイ１００のＣＰＵ１１０は、始めに図７に示すフローチャートにおけるステップＳ１０１〜Ｓ１１１の処理に対応するステップＳ２０１〜Ｓ２１１の処理を実行する。これらの処理の説明は繰り返さない。

ステップＳ２１１において、ＡＲデータ領域内にペン先およびメモ書きのうち少なくともいずれか一方が存在していると判別した場合（Ｓ２１１でＹＥＳ）、ＣＰＵ１１０は、印刷物（紙文書）の画像内に収まるように、第１の表示態様のＡＲデータの画像の位置およびサイズを変更し、第２の表示態様のＡＲデータの画像である変更後のＡＲデータの画像を作成する（Ｓ２１３）。次にＣＰＵ１１０は、変更後のＡＲデータの画像を表示部１６０に表示する（Ｓ２１５）。その後ＣＰＵ１１０は、図７に示すフローチャートにおけるステップＳ１１７以降の処理に対応するステップＳ２１７以降の処理を実行する。これらの処理の説明は繰り返さない。

ステップＳ２１１において、ＡＲデータ領域内にペン先およびメモ書きのいずれも存在していないと判別した場合（Ｓ２１１でＮＯ）、ＣＰＵ１１０は処理を終了する。

（第３の変更方法）

第３の変更方法は第１の表示態様のＡＲデータの画像に対して、印刷物に追加されたメモ書き、および印刷物以外の物体の画像のうち少なくともいずれか一方を追加することによって、第２の表示態様のＡＲデータの画像を作成するものである。

図１２は、本発明の一実施の形態において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内にメモ書きが存在している場合に表示される、第３の変更方法を用いて作成された画像ＳＩ３Ａを模式的に示す図である。

図１２（ａ）を参照して、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きＭＲが存在している場合、ウェアラブルディスプレイ１００は、図１２（ｂ）に示す画像ＳＩ３Ａを表示部１６０に表示する。画像ＳＩ３Ａは、第２の表示態様のＡＲデータの画像ＩＭ３Ａを、印刷物ＤＣの画像のＡＲデータ領域ＲＧに対して重ね合わせたものである。

ＡＲデータの画像ＩＭ３Ａは、第１の表示態様のＡＲデータの画像ＩＭに対して、メモ書きＭＧの画像を追加（合成）する方法で（第３の変更方法で）作成されたものである。

図１３は、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に印刷物ＤＣ以外の物体が存在している場合に表示される、第３の変更方法を用いて作成された画像ＳＩ３Ｂを模式的に示す図である。

図１３（ａ）を参照して、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に筆記具のペン先ＰＮが侵入した場合、ウェアラブルディスプレイ１００は、図１３（ｂ）に示す画像ＳＩ３Ｂを表示部１６０に表示する。画像ＳＩ３Ｂは、第２の表示態様のＡＲデータの画像ＩＭ３Ｂを、印刷物ＤＣの画像のＡＲデータ領域ＲＧに対して重ね合わせたものである。

ＡＲデータの画像ＩＭ３Ｂは、第１の表示態様のＡＲデータの画像ＩＭに対して、ペン先ＰＮの画像を追加（合成）する方法で（第３の変更方法で）作成されたものである。

ＡＲデータの画像ＩＭ３ＡおよびＩＭ３Ｂは、ウェアラブルディスプレイ１００によって作成されたものであってもよい。ウェアラブルディスプレイ１００がＡＲデータの画像ＩＭ３ＡまたはＩＭ３Ｂを作成する場合、ウェアラブルディスプレイ１００は、作成したＡＲデータの画像ＩＭ３ＡまたはＩＭ３ＢをＡＲサーバー２００に送信し、ＡＲサーバー２００は、記憶しているＡＲデータを、受信したＡＲデータの画像ＩＭ３ＡまたはＩＭ３Ｂのものに更新してもよい。

ＡＲデータの画像ＩＭ３ＡおよびＩＭ３Ｂは、ＡＲサーバー２００によって作成されたものであってもよい。ＡＲサーバー２００がＡＲデータの画像ＩＭ３ＡまたはＩＭ３Ｂを作成する場合、ウェアラブルディスプレイ１００は、印刷物ＤＣの画像に含まれるメモ書きまたはペン先の画像のデータをＡＲサーバー２００に送信し、メモ書きまたはペン先の画像が追加されたＡＲデータをＡＲサーバー２００から受信する。また、ＡＲサーバー２００がＡＲデータの画像ＩＭ３ＡまたはＩＭ３Ｂを作成する場合、ＡＲサーバー２００は、記憶しているＡＲデータを、作成したＡＲデータの画像ＩＭ３ＡまたはＩＭ３Ｂのものに更新してもよい。

ウェアラブルディスプレイ１００が画像ＳＩ３Ｂを表示した後で、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に存在していたペン先ＰＮがＡＲデータ領域ＲＧ外へ移動した場合において、印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きが存在していないときは、ウェアラブルディスプレイ１００は、ウェアラブルディスプレイ１００は、画像ＳＩ３Ｂの代わりに画像ＳＩを表示部１６０に表示する。印刷物ＤＣの画像におけるＡＲデータ領域ＲＧ内に、印刷物ＤＣに追加されたメモ書きＭＲが存在しているときは、ウェアラブルディスプレイ１００は、画像ＳＩ３Ｂを表示し続ける。

図１４は、本発明の一実施の形態において、第３の変更方法を採用した場合のウェアラブルディスプレイ１００の動作を示すフローチャートである。

図１４を参照して、ウェアラブルディスプレイ１００のＣＰＵ１１０は、始めに図７に示すフローチャートにおけるステップＳ１０１〜Ｓ１１１の処理に対応するステップＳ３０１〜Ｓ３１１の処理を実行する。これらの処理の説明は繰り返さない。

ステップＳ３１１において、ＡＲデータ領域内にペン先およびメモ書きのうち少なくともいずれか一方が存在していると判別した場合（Ｓ３１１でＹＥＳ）、ＣＰＵ１１０は、
第１の表示態様のＡＲデータの画像に対して、メモ書きまたはペン先の画像を合成し、第２の表示態様のＡＲデータの画像である合成後のＡＲデータの画像を作成する（Ｓ３１３）。次にＣＰＵ１１０は、ＡＲサーバー２００が記憶するＡＲデータを、合成後のＡＲデータに更新する（Ｓ３１４）。次にＣＰＵ１１０は、合成後のＡＲデータの画像を表示部１６０に表示する（Ｓ３１５）。その後ＣＰＵ１１０は、図７に示すフローチャートにおけるステップＳ１１７以降の処理に対応するステップＳ３１７以降の処理を実行する。これらの処理の説明は繰り返さない。

ステップＳ３１１において、ＡＲデータ領域内にペン先およびメモ書きのいずれも存在していないと判別した場合（Ｓ３１１でＮＯ）、ＣＰＵ１１０は処理を終了する。

［実施の形態の効果］

上述の実施の形態によれば、印刷物の画像におけるＡＲデータ領域内に、印刷物に追加されたメモ書き、および印刷物以外の物体の内いずれか一方が存在している場合に、デフォルトの表示態様とは異なる表示態様のＡＲデータの画像を、印刷物の画像に重ね合わせる。これにより、所有者は、ＡＲデータの画像と、ＡＲデータ領域内に存在するメモ書きや物体（ペン先など）との両方を見ることができ、ＡＲデータの画像に対しても、印刷物に印刷されている通常の画像と同様の方法で、特別な操作をすることなくメモ書きを追加することができる。その結果、利便性を向上することができる。

特に、第１の表示態様のＡＲデータの画像の少なくとも一部を透明にする方法、第１の表示態様のＡＲデータの画像の位置およびサイズのうち少なくとも一方を変更する方法、ならびに第１の表示態様のＡＲデータの画像に対して、文書に追加されたメモ書き、および文書以外の物体の画像を追加する方法のうち少なくともいずれか一つの方法を用いて、第２の表示態様のＡＲデータの画像を作成することにより、ＡＲデータ領域内に存在するメモ書きやペン先が見えやすくなる。

［その他］

ウェアラブルディスプレイは、印刷物に印刷された文書の画像の他、ホワイトボードなどに描かれた文書の画像や、タブレットなどのディスプレイに表示された文書の画像を取得してもよい。

ウェアラブルディスプレイは、第１の表示態様のＡＲデータの画像を、印刷物の画像に対して重ね合わせた画像を表示せずに、ＡＲデータ領域内に印刷物に追加されたメモ書き、および印刷物以外の物体のうちいずれか一方が存在しているか否かの判別を行い、判別結果に基づいて、第１の表示態様のＡＲデータの画像を重ね合わせるか、第２の表示態様を重ね合わせるかを決定してもよい。

ウェアラブルディスプレイは、印刷物の画像におけるＡＲデータ領域内にペン先が侵入した場合の他、所有者の指などが侵入した場合などにおいても、第２の表示形態のＡＲデータの画像を、印刷物の画像に対して重ね合わせて表示するようにしてもよい。

図７、図１１、および図１４に示すフローチャートの各処理については、ウェアラブルディスプレイが実行する代わりに、ＡＲサーバーが実行するようにしてもよい。

第１〜第３の変更方法は、適宜組み合わせることが可能である。たとえば第１の変更方法と第２の変更方法とを組み合わせることにより、第１の表示形態のＡＲデータの画像を透明化し、かつ第１の表示形態のＡＲデータの画像の位置およびサイズを変更したものを、第２の表示態様のＡＲデータの画像として用いてもよい。

上述の実施の形態における処理は、ソフトウェアにより行なっても、ハードウェア回路を用いて行なってもよい。また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザーに提供することにしてもよい。プログラムは、ＣＰＵなどのコンピューターにより実行される。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

上述の実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１００，１１００ ウェアラブルディスプレイ
１１０ ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）
１２０，２２０ ネットワークＩ／Ｆ
１３０，２３０ ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）
１４０，２４０ ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）
１５０，２５０ 記憶部
１６０ 表示部
１７０ カメラ
１８０ 画像合成部
２００ ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）サーバー
３００ ネットワーク
ＤＣ 印刷物
ＩＭ，ＩＭ１，ＩＭ２，ＩＭ３Ａ，ＩＭ３Ｂ，ＩＭ１００，ＩＭ１０１ ＡＲデータの画像
ＭＫ ＡＲマーカー
ＭＲ メモ書き
ＰＮ ペン先
ＰＲ１，ＰＲ２，ＰＲ３，ＰＲ４，ＰＲ５，ＰＲ６ 処理
ＰＴ ＡＲデータの画像の一部分
ＲＧ ＡＲデータ領域
ＳＩ，ＳＩ１，ＳＩ２，ＳＩ３Ａ，ＳＩ３Ｂ，ＳＩ１００，ＳＩ１０１ ＡＲデータの画像を重ね合わせた画像

Claims (10)

1. サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得手段と、
   前記サーバーから重合せ画像のデータを取得する第２の画像取得手段と、
   第１の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第１の表示手段と、
   前記文書の画像における、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別手段と、
   前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在していると前記第１の判別手段にて判別した場合に、前記第１の表示態様とは異なる第２の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第２の表示手段とを備え、
   前記第２の表示態様の前記重合せ画像は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に存在する、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が見えるような表示態様であり、かつ前記第１の表示態様の前記重合せ画像を重ね合わせる領域に含まれている前記マーカーが見えない表示態様である、表示制御装置。
2. 前記第１の表示手段にて前記第１の表示態様の前記重合せ画像を表示した後で、前記第１の判別手段は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別し、
   前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のいずれも存在していないと前記第１の判別手段にて判別した場合に、前記第１の表示手段は、前記第１の表示態様の前記重合せ画像を表示し続ける、請求項１に記載の表示制御装置。
3. 前記第１の判別手段は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および筆記具の先端のうち少なくともいずれか一方が存在しているか否かを判別する、請求項１または２に記載の表示制御装置。
4. サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得手段と、
   前記サーバーから重合せ画像のデータを取得する第２の画像取得手段と、
   第１の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第１の表示手段と、
   前記文書の画像における、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別手段と、
   前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在していると前記第１の判別手段にて判別した場合に、前記第１の表示態様とは異なる第２の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第２の表示手段とを備え、
   前記第１の判別手段は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および筆記具の先端のうち少なくともいずれか一方が存在しているか否かを判別し、
   前記第２の表示手段にて前記第２の表示態様の前記重合せ画像を表示した場合に、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に存在していた筆記具の先端が、前記第１の表示態様の前記重合せ画像を重ね合わせる領域外へ移動したか否かを判別する第２の判別手段と、
   筆記具の先端が前記第１の表示態様の前記重合せ画像を重ね合わせる領域外へ移動したと前記第２の判別手段にて判別した場合に、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書きが存在しているか否かを判別する第３の判別手段とをさらに備え、
   前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書きが存在していると前記第３の判別手段にて検知した場合に、前記第２の表示手段は、前記第２の表示態様の前記重合せ画像を表示し続け、
   前記第２の表示態様の前記重合せ画像は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に存在する、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が見えるような表示態様である、表示制御装置。
5. 前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書きが存在していないと前記第３の判別手段にて判別した場合に、前記第２の表示手段は、前記第２の表示態様の前記重合せ画像の表示を停止し、前記第１の表示手段は、前記第１の表示態様の前記重合せ画像を表示する、請求項４に記載の表示制御装置。
6. 前記第２の表示手段は、
   前記第１の表示態様の前記重合せ画像の少なくとも一部を透明にする方法、前記第１の表示態様の前記重合せ画像の位置およびサイズのうち少なくとも一方を変更する方法、ならびに前記第１の表示態様の前記重合せ画像に対して、前記文書に追加されたメモ書きの画像、および前記文書以外の物体の画像のうち少なくともいずれか一方を追加する方法のうち少なくともいずれか１つの方法を用いて前記第２の表示態様の前記重合せ画像を作成する作成手段と、
   前記作成手段にて作成した前記第２の表示態様の前記重合せ画像を表示する作成後表示手段とを含む、請求項１〜５のいずれかに記載の表示制御装置。
7. サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得手段と、
   前記サーバーから重合せ画像のデータを取得する第２の画像取得手段と、
   第１の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第１の表示手段と、
   前記文書の画像における、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別手段と、
   前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在していると前記第１の判別手段にて判別した場合に、前記第１の表示態様とは異なる第２の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第２の表示手段とを備え、
   前記第２の表示手段は、
   前記第１の表示態様の前記重合せ画像の少なくとも一部を透明にする方法、前記第１の表示態様の前記重合せ画像の位置およびサイズのうち少なくとも一方を変更する方法、ならびに前記第１の表示態様の前記重合せ画像に対して、前記文書に追加されたメモ書きの画像、および前記文書以外の物体の画像のうち少なくともいずれか一方を追加する方法のうち少なくともいずれか１つの方法を用いて前記第２の表示態様の前記重合せ画像を作成する作成手段と、
   前記作成手段にて作成した前記第２の表示態様の前記重合せ画像を表示する作成後表示手段とを含み、
   前記作成手段は、前記第１の表示態様の前記重合せ画像の少なくとも一部を透明にする方法を用いて前記第２の表示態様の前記重合せ画像を作成する場合に、前記第１の表示態様の前記重合せ画像における少なくとも前記マーカーと重なる部分を透明にせず、
   前記第２の表示態様の前記重合せ画像は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に存在する、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が見えるような表示態様である、表示制御装置。
8. サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得ステップと、
   前記サーバーから重合せ画像のデータを取得する第２の画像取得ステップと、
   第１の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第１の表示ステップと、
   前記文書の画像における、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別ステップと、
   前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在していると前記第１の判別ステップにて判別した場合に、前記第１の表示態様とは異なる第２の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第２の表示ステップとをコンピューターに実行させ、
   前記第２の表示態様の前記重合せ画像は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に存在する、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が見えるような表示態様であり、かつ前記第１の表示態様の前記重合せ画像を重ね合わせる領域に含まれている前記マーカーが見えない表示態様である、表示制御装置の制御プログラム。
9. サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得ステップと、
   前記サーバーから重合せ画像のデータを取得する第２の画像取得ステップと、
   第１の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第１の表示ステップと、
   前記文書の画像における、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別ステップと、
   前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在していると前記第１の判別ステップにて判別した場合に、前記第１の表示態様とは異なる第２の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第２の表示ステップとをコンピューターに実行させ、
   前記第１の判別ステップにおいて、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および筆記具の先端のうち少なくともいずれか一方が存在しているか否かを判別し、
   前記第２の表示ステップにて前記第２の表示態様の前記重合せ画像を表示した場合に、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に存在していた筆記具の先端が、前記第１の表示態様の前記重合せ画像を重ね合わせる領域外へ移動したか否かを判別する第２の判別ステップと、
   筆記具の先端が前記第１の表示態様の前記重合せ画像を重ね合わせる領域外へ移動したと前記第２の判別ステップにて判別した場合に、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書きが存在しているか否かを判別する第３の判別ステップとをさらにコンピューターに実行させ、
   前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書きが存在していると前記第３の判別ステップにて検知した場合に、前記第２の表示ステップにおいて、前記第２の表示態様の前記重合せ画像を表示し続け、
   前記第２の表示態様の前記重合せ画像は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に存在する、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が見えるような表示態様である、表示制御装置の制御プログラム。
10. サーバーに関する情報を含むマーカーが表示された文書の画像を取得する第１の画像取得ステップと、
    前記サーバーから重合せ画像のデータを取得する第２の画像取得ステップと、
    第１の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第１の表示ステップと、
    前記文書の画像における、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在しているか否かを判別する第１の判別ステップと、
    前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が存在していると前記第１の判別ステップにて判別した場合に、前記第１の表示態様とは異なる第２の表示態様の前記重合せ画像を前記文書の画像に対して重ね合わせて表示する第２の表示ステップとをコンピューターに実行させ、
    前記第２の表示ステップは、
    前記第１の表示態様の前記重合せ画像の少なくとも一部を透明にする方法、前記第１の表示態様の前記重合せ画像の位置およびサイズのうち少なくとも一方を変更する方法、ならびに前記第１の表示態様の前記重合せ画像に対して、前記文書に追加されたメモ書きの画像、および前記文書以外の物体の画像のうち少なくともいずれか一方を追加する方法のうち少なくともいずれか１つの方法を用いて前記第２の表示態様の前記重合せ画像を作成する作成ステップと、
    前記作成ステップにて作成した前記第２の表示態様の前記重合せ画像を表示する作成後表示ステップとを含み、
    前記作成ステップにおいて、前記第１の表示態様の前記重合せ画像の少なくとも一部を透明にする方法を用いて前記第２の表示態様の前記重合せ画像を作成する場合に、前記第１の表示態様の前記重合せ画像における少なくとも前記マーカーと重なる部分を透明にせず、
    前記第２の表示態様の前記重合せ画像は、前記第１の表示態様の前記重合せ画像を重ね合わせる領域内に存在する、前記文書に追加されたメモ書き、および前記文書以外の物体のうち少なくともいずれか一方が見えるような表示態様である、表示制御装置の制御プログラム。