図1は、ドキュメント閲覧システム100の全体的な構成の例を示す図である。図2は、画像形成装置1のハードウェア構成の例を示す図である。図3は、エアタグサーバ2のハードウェア構成の例を示す図である。図4は、タブレット型端末装置3Tのハードウェア構成の例を示す図である。図5は、眼鏡型端末装置3Mのハードウェア構成の例を示す図である。図6は、印刷物5の例を示す図である。図7は、全体ドキュメント50の例を示す図である。
ドキュメント閲覧システム100は、図1に示すように、画像形成装置1、エアタグサーバ2、端末装置3、および通信回線4などによって構成される。ドキュメント閲覧システム100は、ドキュメント(文書)に関するデータを管理し、ドキュメントの閲覧のサービスをユーザに提供する。
画像形成装置1、エアタグサーバ2、および端末装置3は、通信回線4を介して互いに通信を行うことができる。通信回線4として、インターネット、いわゆるLAN(Local Area Network)回線、または携帯電話回線などが用いられる。
画像形成装置1は、図2に示すように、CPU(Central Processing Unit)10a、RAM(Random Access Memory)10b、ROM(Read Only Memory)10c、補助記憶装置10d、タッチパネルディスプレイ10e、操作キーパネル10f、NIC(Network Interface Card)10g、モデム10h、スキャンユニット10i、およびプリントユニット10jなどによって構成される。
タッチパネルディスプレイ10eは、ユーザに対するメッセージを示す画面、ユーザがコマンドまたは情報を入力するための画面、およびCPU10aなどが実行した処理の結果を示す画面などを表示する。また、タッチパネルディスプレイ10eは、タッチされた位置を示す信号をCPU10aへ送る。
操作キーパネル10fは、いわゆるハードウェアキーボードであって、テンキー、スタートキー、ストップキー、およびファンクションキーなどによって構成される。
NIC10gは、TCP/IP(Transmission Control Protocol/Internet Protocol)などのプロトコルによってエアタグサーバ2または端末装置3と通信を行う。
モデム10hは、ファクシミリ端末との間でG3などのプロトコルで画像データをやり取りする。
スキャンユニット10iは、セットされた用紙をスキャンすることによって画像データを生成する。
プリントユニット10jは、スキャンユニット10iによって読み取られた画像または他の装置から受信した画像などを用紙に印刷する。
ROM10cまたは補助記憶装置10dには、上述のコピーなどの機能を実現するためのプログラムが記憶されている。さらに、ドキュメント管理プログラム1Pが記憶されている。ドキュメント管理プログラム1Pは、ドキュメントを登録したり提供したりするためのプログラムである。
これらのプログラムは、必要に応じてRAM10bにロードされ、CPU10aによって実行される。補助記憶装置10dとして、ハードディスクまたはSSD(Solid State Drive)などが用いられる。
エアタグサーバ2は、エアタグを表示するためのデータを記憶し、適宜、端末装置3へ提供する。「エアタグ」は、一般に、実物またはその画像に対して仮想的に添付される情報を意味する。カメラを通じて撮影される被写体(建物または展示品など)に対して添付する案内書きまたは説明書きが、エアタグの一例である。
エアタグサーバ2として、いわゆるサーバ機が用いられる。または、いわゆるクラウドサーバを用いてもよい。
エアタグサーバ2は、図3に示すように、CPU20a、RAM20b、ROM20c、補助記憶装置20d、およびNIC20eなどによって構成される。
NIC20eは、TCP/IPなどのプロトコルによって画像形成装置1または端末装置3と通信を行う。
ROM20cまたは補助記憶装置20dには、エアタグ管理プログラム2Pが記憶されている。エアタグ管理プログラム2Pは、RAM20bにロードされ、CPU20aによって実行される。補助記憶装置20dとして、ハードディスクまたはSSDなどが用いられる。
端末装置3は、画像形成装置1またはエアタグサーバ2から提供されるデータに基づいてドキュメントの全部分または一部分を表示する。端末装置3として、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、または眼鏡型コンピュータなどが用いられる。
「眼鏡型コンピュータ」は、ウェアラブルコンピュータの一種であり、グーグル社のグーグルグラスのような、眼鏡のように顔に装着するタイプのコンピュータである。
以下、端末装置3として、タブレットコンピュータまたは眼鏡型コンピュータが用いられる場合を例に説明する。前者および後者をそれぞれ「タブレット型端末装置3T」および「眼鏡型端末装置3M」と区別して記載することがある。
タブレット型端末装置3Tは、図4に示すように、CPU30a、RAM30b、ROM30c、フラッシュメモリ30d、タッチパネルディスプレイ30e、操作ボタン群30f、デジタルカメラ30g、および無線通信装置30hなどが用いられる。
タッチパネルディスプレイ30eは、フラット型ディスプレイ(例えば、液晶ディスプレイ)およびタッチパネルによって構成される。フラット型ディスプレイは、種々の画像を表示する。特にドキュメントを表示するために用いられる。タッチパネルは、ユーザがタッチした位置を検知し、その位置をCPU30aへ通知する。
操作ボタン群30fは、ホーム画面に戻るためのボタン、何かを確定するためのボタン、音量を調整するためのボタン、および電源のオン/オフを切り換えるためのボタンなどによって構成される。
デジタルカメラ30gは、種々の画像を撮影する。特にドキュメントの閲覧用の用紙を撮影するために用いられる。
無線通信装置30hは、通信回線4を構成する基地局を介してTCP/IPなどのプロトコルによって画像形成装置1またはエアタグサーバ2と通信を行う。無線通信装置30hの通信方式として、例えば、Wi−Fi、LTE(Long Term Evolution)、W−CDMA(Wideband-Code Division Multiple Access)、またはPHS(Personal Handy-phone System)などが用いられる。
ROM30cまたはフラッシュメモリ30dには、クライアントプログラム3Pが記憶されている。クライアントプログラム3Pは、RAM30bにロードされ、CPU30aによって実行される。
眼鏡型端末装置3Mは、図5に示すように、CPU31a、RAM31b、ROM31c、フラッシュメモリ31d、ディスプレイ31e、操作ボタン群31f、デジタルカメラ31g、および無線通信装置31hなどが用いられる。
CPU31a、RAM31b、ROM31c、フラッシュメモリ31d、ディスプレイ31e、操作ボタン群31f、デジタルカメラ31g、および無線通信装置31hの役割は、それぞれ、タブレット型端末装置3TのCPU30a、RAM30b、ROM30c、フラッシュメモリ30d、タッチパネルディスプレイ30e、操作ボタン群30f、デジタルカメラ30g、および無線通信装置30hと基本的に同様である。
ただし、画像を再現する方式が、タッチパネルディスプレイ30eとディスプレイ31eとでは、相違する。タッチパネルディスプレイ30eは、上述の通り、液晶ディスプレイのような平面型のディスプレイが用いられる。一方、ディスプレイ31eは、柄の根元に設けられたプロジェクタからレンズの端部付近に設けられたプリズムへ光を発することによって、画像を再現する。
クライアントプログラム3Pが、ROM31cまたはフラッシュメモリ31dに記憶されており、RAM31bにロードされ、CPU31aによって実行される。
ところで、ドキュメント閲覧システム100は、PDF(Portable Document Format)などのファイルを単に提供するだけでなく、AR(Augmented Reality)の技術によってドキュメントを再現することができる。この際に、印刷物5(図6参照)が用いられる。印刷物5は、複数のユーザに配付されている。
以下、ある会社においてドキュメント閲覧システム100が使用される場合を例に説明する。
各従業員つまり各ユーザは、1台ずつ端末装置3を有する。以下、ユーザU1、ユーザU2、ユーザU3、…が有する端末装置3を「端末装置31」、「端末装置32」、「端末装置33」、…と区別して記載する。
印刷物5には、図6(A)のように、非機密コンテンツ51および呼出用マーカ57が印刷されている。非機密コンテンツ51は、図7のような、1ページ全体に記されるドキュメント(以下、「全体ドキュメント50」と記載する。)を構成するコンテンツのうちの機密でないコンテンツである。呼出用マーカ57は、エアタグサーバ2から機密コンテンツ52を呼び出すために用いられる。機密コンテンツ52は、全体ドキュメント50を構成するコンテンツのうちの機密のコンテンツである。
ユーザが眼鏡型端末装置3Mを掛けて印刷物5を見ると、呼出用マーカ57に基づいて機密コンテンツ52のデータがエアタグサーバ2からダウンロードされ、図6(B)のように、機密コンテンツ52が非機密コンテンツ51とともに印刷物5に印刷されているかのように見える。タブレット型端末装置3Tで印刷物5を撮影しながら見た場合も、同様に見える。
このように、ドキュメント閲覧システム100によると、ARが実現される。呼出用マーカ57として、ARマーカが用いられる。
さらに、ドキュメント閲覧システム100によると、印刷物5を有しないユーザにも、全体ドキュメント50を提供することができる。
以下、印刷物5を有するユーザおよび有しないユーザそれぞれへの全体ドキュメント50の提供の仕組みを説明する。
図8は、画像形成装置1の機能的構成の例を示す図である。図9は、エアタグサーバ2の機能的構成の例を示す図である。図10は、端末装置3の機能的構成の例を示す図である。
ドキュメント管理プログラム1Pによると、図8に示す全体ドキュメント取得部101、機密部分指定受付部102、マーカ発行部103、全体ドキュメント登録部104、全体ドキュメント記憶部105、エアタグ登録指令部106、印刷物生成部107、ドキュメントデータ送信部121、送信先記憶部122、表示終了要否判別部123、および表示終了指令部124などの機能が画像形成装置1に実現される。
エアタグ管理プログラム2Pによると、図9に示すエアタグ登録部201、エアタグ記憶部202、ユーザ属性判別部203、エアタグデータ送信部204、閲覧者追加部205、閲覧状況記憶部206、全体ドキュメント送信指令部207、および閲覧者削除部208などの機能がエアタグサーバ2に実現される。
クライアントプログラム3Pによると、図10に示すマーカ検知部301、エアタグ要求部302、エアタグ表示部303、全体ドキュメント表示部304、および表示終了通知部305などの機能が端末装置3に実現される。
〔閲覧のためのデータおよび印刷物の準備〕
図11は、全体ドキュメント記憶部105の例を示す図である。図12は、エアタグ記憶部202の例を示す図である。図13は、閲覧状況記憶部206の例を示す図である。
画像形成装置1において、全体ドキュメント記憶部105には、図11に示すように、全体ドキュメント50ごとに、それを表示するための画像データ60が呼出用マーカ57と対応付けられて記憶される。
また、エアタグサーバ2において、エアタグ記憶部202には、図12に示すように、エアタグつまり機密コンテンツ52ごとに、それを表示するための画像データ62が呼出用マーカ57と対応付けられて記憶される。
画像データ60および画像データ62は、例えば、次のような方法で用意される。ユーザは、パーソナルコンピュータにインストールされている表計算ソフトまたはワープロソフトなどのアプリケーションで全体ドキュメント50を作成する。そして、この全体ドキュメント50のデータを、PDF、GIF(Graphics Interchange Format)、またはJPEG(Joint Photographic Experts Group)などのフォーマットの画像データに変換し、画像形成装置1へアップロードする。
または、ユーザは、全体ドキュメント50が印刷された印刷物を画像形成装置1のスキャンユニット10iに読み取らせることによって、全体ドキュメント50の画像データを画像形成装置1に用意してもよい。
画像形成装置1において、全体ドキュメント取得部101は、ユーザが用意した画像データを画像データ60として取得する。
機密部分指定受付部102は、全体ドキュメント50の中の機密コンテンツ52を次のようにユーザに指定させる。
機密部分指定受付部102は、全体ドキュメント取得部101によって取得された画像データ60に基づいて全体ドキュメント50をタッチパネルディスプレイ10eに表示させる。ここで、ユーザは、秘匿したい部分を、指で囲むなどして指定する。さらに、印刷物5の必要な部数(以下、「発行部数Sa」と記載する。)を指定する。
すると、機密部分指定受付部102は、指定された部分を機密コンテンツ52の範囲として受け付ける。さらに、指定された発行部数Saを受け付ける。
マーカ発行部103は、機密部分指定受付部102によって範囲の指定が受け付けられた機密コンテンツ52に対して、ユニークな呼出用マーカ57を発行する。
全体ドキュメント登録部104は、全体ドキュメント取得部101によって取得された画像データ60を、マーカ発行部103によって発行された呼出用マーカ57と対応付けて全体ドキュメント記憶部105に記憶させる。これにより、画像データ60が全体ドキュメント記憶部105に登録される。
エアタグ登録指令部106は、機密部分指定受付部102によって範囲の指定が受け付けられた機密コンテンツ52を登録するようにエアタグサーバ2へ指令する。この際に、この機密コンテンツ52の画像データを画像データ62として、マーカ発行部103によって発行された呼出用マーカ57およびユーザによって指定された発行部数Saとともにエアタグサーバ2へ送信する。画像データ62のフォーマットとして、PDF、GIF、またはJPEGなどが用いられる。
エアタグサーバ2において、エアタグ登録部201は、登録の指令とともに画像データ62および呼出用マーカ57を受信すると、両者を対応付けてエアタグ記憶部202に記憶させる。これにより、画像データ62がエアタグ記憶部202に登録される。
また、閲覧状況記憶部206には、図13に示すように、機密コンテンツ52ごとに、閲覧状況データ63が記憶される。機密コンテンツ52の画像データ62が新たにエアタグ記憶部202に登録されると、この機密コンテンツ52の閲覧状況データ63がエアタグ登録部201によって生成され、閲覧状況記憶部206に記憶される。
閲覧状況データ63の「印刷部数」は、この機密コンテンツ52の印刷物5の部数である。つまり、この機密コンテンツ52が何枚の用紙に印刷されたのかを意味する。初期値は、画像形成装置1から受信した(つまり、ユーザが指定した)発行部数Saである。「閲覧中端末装置数」は、現在、画像データ62によって機密コンテンツ52が表示されている端末装置3の台数である。初期値は、「0」である。「閲覧端末装置識別子」は、現在、画像データ62によって機密コンテンツ52が表示されている端末装置3の識別子である。当初は、いずれの端末装置3の識別子も示されない。閲覧端末装置識別子として、IP(Internet Protocol)アドレスまたはMAC(Media Access Control)アドレスなどが用いられる。
画像形成装置1において、印刷物生成部107は、ユーザが指定した発行部数Saの印刷物5を次のように生成する。
印刷物生成部107は、印刷物5を次のように生成する。全体ドキュメント50から機密コンテンツ52を削除する。機密コンテンツ52が削除された部分の所定の位置(例えば、中心)に、呼出用マーカ57を配置する。そして、これらの処理が施された全体ドキュメント50をプリントユニット10jによって、発行部数Saの白紙に印刷する。これにより、発行部数Saの印刷物5が生成される。
〔ドキュメントの提供および表示の処理〕
ユーザは、自分の端末装置3のデジタルカメラ30gまたは31gを印刷物5の印刷面の方へ向ける。すると、デジタルカメラ30gまたは31gによって印刷面の画像が撮影される。なお、タブレット型端末装置3Tにおいては、撮影された画像がタッチパネルディスプレイ30eに表示される。
この端末装置3において、マーカ検知部301は、撮影が開始されると、撮影された画像の中から呼出用マーカ57を検知する。撮影中、マーカ検知部301は、所定の時間(例えば、1秒)ごとに検知を行う。
エアタグ要求部302は、マーカ検知部301によって呼出用マーカ57が検知されると、この呼出用マーカ57に対応するエアタグを、エアタグサーバ2に対して要求する。この際に、この呼出用マーカ57をエアタグサーバ2へ通知する。
エアタグサーバ2において、ユーザ属性判別部203は、エアタグの要求元であるユーザの属性を判別する。具体的には、このユーザが印刷物5の所有者であるか否かを判別する。判別の方法は、次の通りである。
ユーザ属性判別部203は、要求とともに端末装置3から通知された呼出用マーカ57に対応する閲覧状況データ63を閲覧状況記憶部206(図13参照)の中から読み出し、この閲覧状況データ63に示される閲覧中端末装置数と印刷部数とを比較する。そして、閲覧中端末装置数が印刷部数未満であれば、このユーザが印刷物5の所有者であると判別する。閲覧中端末装置数が印刷部数以上であれば、このユーザが印刷物5の所有者でないと判別する。
このユーザが印刷物5の所有者であるとユーザ属性判別部203によって判別された場合に、エアタグデータ送信部204および閲覧者追加部205は次の処理を実行する。
エアタグデータ送信部204は、このユーザの端末装置3から通知された呼出用マーカ57に対応する画像データ62をエアタグ記憶部202(図12参照)から読み出す。そして、この画像データ62をこの端末装置3へ送信する。
閲覧者追加部205は、この端末装置3の識別子(例えば、IPアドレス)を、閲覧状況記憶部206に記載されている、この呼出用マーカ57に対応する閲覧状況データ63の「閲覧端末装置識別子」に書き加えるとともに、「閲覧中端末装置数」に「1」を加算する。
一方、このユーザが印刷物5の所有者でないとユーザ属性判別部203によって判別された場合は、全体ドキュメント送信指令部207は、画像データ60をこの端末装置3へ送信するように画像形成装置1に対して指令する。この際に、この呼出用マーカ57およびこの端末装置3の識別子を画像形成装置1へ通知する。
画像形成装置1において、ドキュメントデータ送信部121は、エアタグサーバ2からの要求を受け付けると、要求とともに通知された呼出用マーカ57に対応する画像データ60を全体ドキュメント記憶部105(図11参照)の中から読み出す。そして、要求とともに通知された識別子に基づいて、読み出した画像データ60を端末装置3へ送信する。
なお、ドキュメントデータ送信部121は、この画像データ60の送信の要否をこの端末装置へ問い合わせ、必要である旨の返信があった場合に、この画像データ60を送信してもよい。
送信先記憶部122は、この呼出用マーカ57とこの端末装置3の識別子とを対応付けて記憶する。
端末装置3において、エアタグ表示部303は、エアタグサーバ2から画像データ62を受信すると、この画像データ62によって表わされる機密コンテンツ52をタッチパネルディスプレイ30eまたはディスプレイ31eによって次のように表示する。
タブレット型端末装置3Tの場合は、エアタグ表示部303は、デジタルカメラ30gによって撮影されタッチパネルディスプレイ30eによって表示された画像(印刷物5の画像)の中の、呼出用マーカ57の位置を検知する。そして、印刷物5の画像の中のこの位置にこの機密コンテンツ52の中心が一致するように、この機密コンテンツ52を重ねて表示させる。
以上の処理によると、例えば、図6(A)に示した印刷物5の全体が撮影された場合は、図6(B)に示したように、印刷物5の画像の上に機密コンテンツ52が表示される。
一方、眼鏡型端末装置3Mの場合は、エアタグ表示部303は、デジタルカメラ31gによって撮影された画像の中の、呼出用マーカ57の位置を検知する。そして、この位置にこの機密コンテンツ52の中心が一致するように、この機密コンテンツ52をディスプレイ31eに表示させる。
以上の処理によると、例えば、図6(A)に示した印刷物5の全体を、ユーザが眼鏡型端末装置3Mを掛けて見た場合は、図6(B)に示した状態とほぼ同じように、印刷物5が見える。
全体ドキュメント表示部304は、画像形成装置1から画像データ60を受信すると、この画像データ60によって表わされる全体ドキュメント50をタッチパネルディスプレイ30eまたはディスプレイ31eに表示させる。
〔閲覧の終了〕
エアタグ表示部303は、機密コンテンツ52を表示し始めた後、マーカ検知部301によって呼出用マーカ57が検知されなくなると、時間を計り始める。そして、再び呼出用マーカ57が検知されることなく所定の時間(例えば、1分)が経過したら、機密コンテンツ52の表示を終了する。
表示終了通知部305は、機密コンテンツ52の表示が終了したら、その旨をエアタグサーバ2へ通知する。この際に、この機密コンテンツ52に対応する呼出用マーカ57をエアタグサーバ2へ送信する。
エアタグサーバ2において、閲覧者削除部208は、表示の終了の通知とともに呼出用マーカ57を受信すると、呼出用マーカ57に対応する閲覧状況データ63の閲覧端末装置識別子から、送信元である端末装置3のIPアドレスを削除する。さらに、閲覧中端末装置数を「1」減らす。
画像形成装置1において、表示終了要否判別部123は、エアタグサーバ2において記憶されている閲覧状況データ63のうち、閲覧中端末装置数が「0」になったものを監視する。そして、「0」になった閲覧状況データ63が見つかったら、この閲覧状況データ63の呼出用マーカ57に対応付けられてIPアドレスが送信先記憶部122に記憶されている端末装置3における全体ドキュメント50の表示を終了すべきであると、判別する。
表示終了指令部124は、その端末装置3へ、全体ドキュメント50の表示を終了するように指令する。指令後、そのIPアドレスおよびその呼出用マーカ57は、送信先記憶部122から削除される。
なお、閲覧中端末装置数が「0」になった閲覧状況データ63をエアタグサーバ2が監視し、エアタグサーバ2から画像形成装置1へその閲覧状況データ63の呼出用マーカ57を通知するようにしてもよい。
または、閲覧中端末装置数に関わらず、いずれかのユーザの端末装置3において全体ドキュメント50の表示の終了の指令が入力され、この指令がこの端末装置3から画像形成装置1へ送信されてきた場合に、表示終了指令部124は、その全体ドキュメント50の表示を終了すべきであると判別してもよい。
端末装置3において、全体ドキュメント表示部304は、全体ドキュメント50の表示の終了の指令を画像形成装置1から受信すると、全体ドキュメント50の表示を終了する。このユーザは、印刷物5を有するユーザであっても有しないユーザであってもよい。
〔使用例〕
図14〜図16は、各装置の、ある会議における処理の流れの例を示すシーケンス図である。
次に、ドキュメント閲覧システム100の使用の一形態を、図14〜図16を参照しながら、以下の場合を例に説明する。会議の配付物として、5人のユーザU1〜U5に1枚ずつ印刷物5(図6(A)参照)が予め配付されている。その後、ユーザU6が急遽、会議に参加することになったが、ユーザU6の印刷物5は、用意されていない。
会議の主催者は、会議用の資料を全体ドキュメント50として用意する。画像形成装置1は、この全体ドキュメント50の画像データ60を取得し(図14の#701)、呼出用マーカ57を新たに発行する(#702)。そして、画像データ60を全体ドキュメント記憶部105に登録する(#703)。
さらに、主催者は、全体ドキュメント50の中の機密にする部分を指定するとともに、発行部数Saとして「5」を指定する。
画像形成装置1は、機密にする部分の指定および発行部数Saの指定を受け付けると(#704)、この部分を機密コンテンツ52として抽出し、この機密コンテンツ52を登録するようにエアタグサーバ2へ指令する(#705)。この際に、この機密コンテンツ52の画像データ62を生成し、ステップ#702で発行した呼出用マーカ57および受け付けた発行部数Saとともにエアタグサーバ2へ送信する。
エアタグサーバ2は、登録の指令を受信すると(#721)、指令とともに送信されてきた画像データ62と呼出用マーカ57とを対応付けてエアタグ記憶部202(図12参照)に登録する(#722)。さらに、閲覧状況データ63を生成し、閲覧状況記憶部206(図13参照)に登録する(#723)。閲覧状況データ63には、送信されてきた呼出用マーカ57および発行部数Saが示される。
また、画像形成装置1は、発行部数Sa(つまり5枚)の白紙に非機密コンテンツ51および呼出用マーカ57を印刷することによって、印刷物5を生成する(#706)。
そして、主催者は、ユーザU1〜U5それぞれに印刷物5を1枚ずつ配付する。以上の処理および作業によって、会議の準備が完了する。
ユーザU1〜U5は、会議の会場へ集合する。そして、会議が始まったら、自分の印刷物5を、自分の端末装置3を介して閲覧する。例えば、5人のうちのユーザU1が最初に端末装置31を介して印刷物5を閲覧する。
端末装置31は、印刷物5の撮影を開始する(#741)。そして、呼出用マーカ57を検知すると(#742)、エアタグをエアタグサーバ2に対して要求する(#743)。この際に、検知した呼出用マーカ57をエアタグサーバ2へ送信する。なお、その後も端末装置31は、同じ呼出用マーカ57を検知することがあるが、要求は、撮影の開始後の最初に検知した際に1回だけ行えばよい。他の端末装置3も、同様である。
エアタグサーバ2は、要求を受信すると(#724)、要求とともに送信されてきた呼出用マーカ57に対応する閲覧状況データ63に基づいて、要求元のユーザ(本例では、ユーザU1)が印刷物5の所有者であるか否かを判別する(#725)。具体的には、この閲覧状況データ63に示される閲覧中端末装置数が印刷部数未満であれば、ユーザU1が印刷物5の所有者であると判別する。本例では、印刷部数が「5」であり、現時点で閲覧中端末装置数が「0」なので、印刷物5の所有者であると判別する。
エアタグサーバ2は、印刷物5の所有者であると判別すると、この呼出用マーカ57に対応する画像データ62をエアタグ記憶部202から読み出し(#726)、端末装置31へ送信する(#727)。そして、閲覧状況データ63の閲覧端末装置識別子に端末装置31のIPアドレスを追加するとともに、閲覧中端末装置数に「1」を加算する(図15の#728)。
端末装置31は、画像データ62を受信すると(#744)、画像データ62に基づいて機密コンテンツ52を表示する(#745)。
ユーザU2〜U5も同様に、自分の端末装置32〜35を介して自分の印刷物5を閲覧する。すると、端末装置32〜35は、端末装置31と同様の処理を行う(#741〜#745)。この際に、エアタグサーバ2も、端末装置32〜35それぞれからの要求に基づいて同様の処理を行う(#724〜#728)。
ユーザU6は、遅れて会議に参加する。しかし、印刷物5を持っていないのでユーザU1〜U5のいずれかに印刷物5を見せてもらう。この際に、自分の端末装置3つまり端末装置36を介して印刷物5を見る。
端末装置36は、端末装置31と同様、印刷物5の撮影を開始し(#761)、呼出用マーカ57を検知すると(#762)、エアタグをエアタグサーバ2に対して要求する(#763)。この際に、検知した呼出用マーカ57をエアタグサーバ2へ送信する。
エアタグサーバ2は、要求を受信すると(#729)、要求とともに送信されてきた呼出用マーカ57に対応する閲覧状況データ63に基づいて、要求元のユーザ(本例では、ユーザU6)が印刷物5の所有者であるか否かを判別する(#730)。判別の方法は、ステップ#725と同様である。
既に閲覧中端末装置数が印刷部数に達しているので、エアタグサーバ2は、ユーザU6が印刷物5の所有者でないと、判別する。
そこで、エアタグサーバ2は、画像データ60を端末装置36へ送信するように画像形成装置1に対して要求する(#732)。この際に、端末装置36から受信した呼出用マーカ57および端末装置36のIPアドレスを画像形成装置1へ送信する。
画像形成装置1は、要求を受信すると(#707)、要求とともに送信されてきた呼出用マーカ57に対応する画像データ60を全体ドキュメント記憶部105から読み出す(#708)。読み出した画像データ60を、要求とともに送信されてきたIPアドレスへ宛てて送信する(#709)。そして、この呼出用マーカ57とIPアドレスとを対応付けて送信先記憶部122に記録しておく(#710)。
端末装置36は、画像データ60を受信すると(#764)、画像データ60に基づいて全体ドキュメント50を表示する(#766)。
これにより、ユーザU6は、印刷物5を有していなくても、機密コンテンツ52を見ることができる。しかも、全体ドキュメント50には非機密コンテンツ51も含まれているので、端末装置36の撮影範囲から印刷物5が逸れた後も、非機密コンテンツ51を見ることができる。
印刷物5を参照する必要がなくなると、ユーザU1は、印刷物5を見なくなる。よって、端末装置31の撮影範囲から印刷物5が外れる。
端末装置31は、印刷物5から呼出用マーカ57を検知しなくなって所定の時間が経過すると(#746)、機密コンテンツ52を表示するのを終了する(#747)。そして、表示を終了した旨をエアタグサーバ2へ通知する(図16の#748)。この際に、この呼出用マーカ57をエアタグサーバ2へ送信する。
エアタグサーバ2は、通知を受信すると(#733)、通知とともに送信されてきた呼出用マーカ57に対応する閲覧状況データ63の閲覧端末装置識別子から端末装置31を削除するとともに、閲覧中端末装置数を「1」減らす(#734)。
ユーザU2〜U5も、ユーザU1と同様に行動する。よって、端末装置32〜35も端末装置31と同様の処理を行い(#746〜#748)、エアタグサーバ2も、端末装置32〜35からの通知に応じて同様の処理を行う(#733、#734)。これにより、閲覧中端末装置数が「0」になる。
画像形成装置1は、閲覧中端末装置数が「0」になった閲覧状況データ63を検知した場合に、または、ユーザU1〜U5のいずれかが表示の終了の指令を入力し(#749)、この指令が端末装置31〜35のいずれかから送信されてきたら(#750、#711)、全体ドキュメント50の表示を終了すべきであると判別し(#712)画像データ60の送信先(提供先)つまり端末装置36へ、表示の終了を指令する(#713)。
端末装置36は、画像形成装置1からの指令を受信すると(#766)、全体ドキュメント50を表示するのを終了する(#767)。
図17は、画像形成装置1の全体的な処理の流れの例を示すフローチャートである。図18は、エアタグサーバ2の全体的な処理の流れの例を示すフローチャートである。図19は、端末装置3の全体的な処理の流れの例を示すフローチャートである。
次に、画像形成装置1、エアタグサーバ2、および端末装置3それぞれの全体的な処理の流れを、フローチャートを参照しながら説明する。
画像形成装置1は、ユーザによる操作または他の装置からの指令などに応じて、図17に示す処理を実行する。
ユーザが新たな全体ドキュメント50を用意し画像形成装置1へ入力すると(#801でYes)、画像形成装置1は、新たな呼出用マーカ57を発行し(#802)、その全体ドキュメント50の画像データ60を、その呼出用マーカ57と対応付けて全体ドキュメント記憶部105(図11参照)に登録する(#803)。
さらに、機密にする範囲および発行部数Saをユーザが指定すると、画像形成装置1は、それらの指定を受け付け(#804)、その範囲を機密コンテンツ52として登録するようにエアタグサーバ2へ指令する(#805)。この際に、その機密コンテンツ52の画像データ62、指定された発行部数Sa、およびステップ#802で発行した呼出用マーカ57をエアタグサーバ2へ送信する。
または、ある端末装置3へ画像データ60を送信するようにエアタグサーバ2から要求された場合は(#806でYes)、画像形成装置1は、その端末装置3を全体ドキュメント記憶部105から読み出し(#807)、その端末装置3へ送信する(#808)。そして、その端末装置3のIPアドレスをその画像データ60の呼出用マーカ57と対応付けて送信先記憶部122に登録する(#809)。
または、ある全体ドキュメント50の表示の終了の指令が端末装置3から送信されてきた場合は(#810)、画像形成装置1は、その全体ドキュメント50の表示を終了すべきであると判別し、その全体ドキュメント50の画像データ60の送信先である端末装置3へ、表示を終了するように指令する(#811)。そして、その端末装置3およびその全体ドキュメント50の呼出用マーカ57を送信先記憶部122から削除する(#812)。なお、ある閲覧状況データ63の閲覧中端末装置数が「0」になった場合に、その閲覧状況データ63に係る全体ドキュメント50の表示を終了するように指令してもよい。
画像形成装置1は、全体ドキュメント50の配信のサービスを提供している間、適宜、ステップ#801〜#812の処理を実行する。
エアタグサーバ2は、他の装置からの指令などに応じて、図18に示す処理を実行する。
新たな機密コンテンツ52(エアタグ)の登録の指令が、この機密コンテンツ52の画像データ62、呼出用マーカ57、および発行部数Saとともに画像形成装置1から送信されてきた場合は(#821でYes)、エアタグサーバ2は、この画像データ62をこの呼出用マーカ57と対応付けてエアタグ記憶部202(図12参照)に登録するとともに、その呼出用マーカ57およびその発行部数Saなどを示す閲覧状況データ63を新たに生成し閲覧状況記憶部206(図13参照)に登録する(#822)。
または、機密コンテンツ52のデータつまり画像データ62を端末装置3から要求された場合は(#823でYes)、エアタグサーバ2は、その端末装置3のユーザが印刷物5の所有者であるか否かを判別する(#824)。
印刷物5の所有者であると判別した場合は(#825でYes)、エアタグサーバ2は、その画像データ62をエアタグ記憶部202から読み出してその端末装置3へ送信する(#826)。一方、所有者でないと判別した場合は(#825でNo)、エアタグサーバ2は、その機密コンテンツ52が含まれる全体ドキュメント50の画像データ60をその端末装置3へ送信するように、画像形成装置1に対して要求する(#827)。なお、これらの画像データ60および画像データ62は、その端末装置3から要求とともに送信されてきた呼出用マーカ57に基づいて識別することができる。
または、表示の終了の通知が端末装置3から送信されてきた場合は(#828でYes)、エアタグサーバ2は、その端末装置3のIPアドレスの削除および閲覧中端末装置数からの「1」の減算の処理を行う(#829)。
画像形成装置1は、エアタグの配信のサービスを提供している間、適宜、ステップ#821〜#829の処理を実行する。
端末装置3は、ユーザによる操作または他の送信からの指令などに応じて、図19に示す処理を実行する。
端末装置3は、ユーザが所定の操作を行うと撮影を開始する(#841)。撮影した画像の中から呼出用マーカ57を検知すると(#842でYes)、その呼出用マーカ57に対応する機密コンテンツ52(エアタグ)の画像データ62をエアタグサーバ2に対して要求する(#843)。
その結果、画像データ62を受信した場合は(#844でYes)、端末装置3は、その画像データ62に基づいて機密コンテンツ52を表示する(#845)。
その後、端末装置3は、撮影を継続する。そして、所定の時間、撮影した画像の中から呼出用マーカ57が検知されなくなったら(#846でNo)、機密コンテンツ52を表示するのを終了する(#847)。または、ユーザが所定の操作を行った際に終了してもよい。そして、表示を終了した旨をエアタグサーバ2へ通知する(#848)。
一方、ステップ#843における要求の結果、画像データ60を受信した場合は(#844でNo)、端末装置3は、その画像データ60に基づいて全体ドキュメント50を表示する(#849)。
その後、表示の終了の指令が画像形成装置1から送信されてきたら(#850でYes)、端末装置3は、全体ドキュメント50の表示を終了する(#851)。
または、全体ドキュメント50の表示を終了するようにユーザが指令した場合は(#852でYes)、端末装置3は、その旨を画像形成装置1へ指令する(#853)。
本実施形態によると、印刷物5を有しないユーザがいる場合であっても、印刷物5を複数のユーザで共用することなく、ARマーカに対応するコンテンツを各ユーザへ従来よりも好適に提供することができる。
図20は、配付者データ64の例を示す図である。図21は、配信基準データ65の例を示す図である。
本実施形態では、エアタグサーバ2のユーザ属性判別部203(図9参照)は、エアタグ(機密コンテンツ52)の要求元であるユーザが印刷物5を有しているか否かを、そのエアタグの呼出用マーカ57に対応する閲覧状況データ63(図13参照)の閲覧中端末装置数と印刷部数とを比較することによって判別した。しかし、次の方法によって判別してもよい。
閲覧状況データ63の代わりに配付者データ64を閲覧状況記憶部206に記憶させておく。配付者データ64には、図20に示すように、印刷物5を配付したユーザの端末装置3のIPアドレスが示される。
ユーザ属性判別部203は、あるユーザの端末装置3からエアタグを要求された場合に、この端末装置3のIPアドレスがこのエアタグの配付者データ64に示されていれば、このユーザが印刷物5を有していると判別する。示されていなければ、印刷物5を有しないと判別する。
本実施形態では、全体ドキュメント送信指令部207は、ユーザが印刷物5を有しないとユーザ属性判別部203によって判別された場合に、そのユーザの端末装置3への画像データ60の送信を画像形成装置1へ指令したが、呼出用マーカ57を端末装置3が検知した回数または検知し続けた時間に応じて指令してもよい。
具体的には、エアタグサーバ2に、図21に示すように、閲覧状況記憶部206に、閲覧状況データ63の代わりに配信基準データ65を用意しておく。配信基準データ65には、基準アクセス回数および基準検知時間と、その機密コンテンツ52の呼出用マーカ57とが、示される。
端末装置3は、撮影中、最初に呼出用マーカ57を検知すると、その呼出用マーカ57に対応するエアタグ(機密コンテンツ52)をエアタグサーバ2へ要求する。その後、呼出用マーカ57を検知し続けている間、端末装置3は、その旨をエアタグサーバ2へ通知し続ける。
全体ドキュメント送信指令部207は、その呼出用マーカ57に対応する配信基準データ65に示される基準検知時間、その呼出用マーカ57が通知され続けた場合に、そのユーザの端末装置3への画像データ60の送信を画像形成装置1へ指令する。すなわち、印刷物5をユーザがじっと見続けている場合に、指令する。これにより、画像形成装置1によって、その呼出用マーカ57に対応する画像データ60が端末装置3へ送信される。端末装置3は、画像データ60を受信すると、機密コンテンツ52を表示するのを止め、全体ドキュメント50を表示する。なお、ユーザ属性判別部203によってそのユーザが印刷物5の所有者でないと判別されたことを、さらに、画像形成装置1への指令の条件として加えてもよい。
または、端末装置3は、エアタグサーバ2へ要求した後、引き続きその呼出用マーカ57を検知している間、要求も通知も行わない。しかし、一旦、その呼出用マーカ57を検知できなくなった後、再びその呼出用マーカ57を検知した場合は、要求を行う。つまり、再び機密コンテンツ52へのアクセスを試みる。
全体ドキュメント送信指令部207は、その呼出用マーカ57に基づく要求の回数が、その呼出用マーカ57に対応する配信基準データ65に示される基準アクセス回数に達したら、そのユーザの端末装置3への画像データ60の送信を画像形成装置1へ指令する。これにより、その呼出用マーカ57に対応する画像データ60が端末装置3へ送信され全体ドキュメント50が表示される。なお、ユーザ属性判別部203によってそのユーザが印刷物5の所有者でないと判別されたことを、さらに、画像形成装置1への指令の条件として加えてもよい。
本実施形態では、画像形成装置1は、印刷物5を所有者でないと判別されたユーザの端末装置3へ、無条件に画像データ60を送信したが、制限を設けてもよい。画像データ60を登録したユーザまたは管理者が設定をオンにした場合にのみ、送信するようにしてもよい。または、その端末装置3のIPアドレスが所定のデータベースに登録されている場合にのみ、送信するようにしてもよい。
呼出用マーカ57をエアタグサーバ2へ送信してきた端末装置3が発行部数Saを超えた場合に、エアタグサーバ2は、これらの端末装置3すべてへ全体ドキュメント50のデータつまり画像データ60の要否を問い合せてもよい。そして、必要である旨の回答を送信してきた端末装置3のユーザを、印刷物5を有しないユーザであると判別し、この端末装置3へ画像データ60を送信するように画像形成装置1へ指令すればよい。なお、発行部数Saを超えるまでは、各端末装置3へ機密コンテンツ52のデータつまり画像データ62を送信しておけばよい。
印刷物5を所有しないユーザのために、画像形成装置1は、画像データ60の送信先である端末装置3の台数分だけ、印刷物5をさらに生成してもよい。生成は、会議の終了の際に行ってもよいし、全体ドキュメント50の表示の終了の際に行ってもよい。または、画像データ60を送信するごとに行ってもよい。または、その端末装置3から印刷の指令が一定の時間帯(例えば、画像データ60の提供後、所定の時間が経過するまでの時間帯)にあった場合に行ってもよい。所定の時間は、例えば、10分である。管理者が任意に設定できるようにしてもよい。
そして、印刷物5の新たに生成した部数だけ、エアタグ記憶部202に記憶されている、その印刷物5に対応する閲覧状況データ63の発行部数を増加させておく。
1つの全体ドキュメント50に複数の機密コンテンツ52が含まれる場合は、これらの機密コンテンツ52の1つずつにユニークな呼出用マーカ57を発行してもよい。この場合は、エアタグサーバ2は、印刷物5の所有者であると判別されたユーザの端末装置3へ、検知された呼出用マーカ57に対応する機密コンテンツ52の画像データ62のみ送信する。一方、画像形成装置1は、印刷物5の所有者でないと判別されたユーザの端末装置3へ検知された呼出用マーカ57に対応する画像データ60を送信する。
本実施形態では、閲覧中端末装置数が「0」になり、または、端末装置3から指令があった場合に、印刷物5の所有者でないユーザの端末装置3において全体ドキュメント50の表示を終了した。しかし、全体ドキュメント50ごとに表示の期限を決めておき、その期限を過ぎたら表示を終了してもよい。
エアタグサーバ2の機能を画像形成装置1に備えてもよい。そして、画像形成装置1が画像データ60の送信だけでなく画像データ62の送信などを行ってもよい。
その他、ドキュメント閲覧システム100、画像形成装置1、エアタグサーバ2、端末装置3の全体または各部の構成、処理内容、処理順序、データベースの構成などは、本発明の趣旨に沿って適宜変更することができる。