JP5946965B2 - 表示システム、表示方法、及びプログラム - Google Patents

Description

本発明は、表示システム、表示方法、及びプログラムに関する。

近年普及しているスマートフォンやタブレット端末等の情報端末は、新聞、雑誌、広告、カタログ等の紙媒体のドキュメントがデータ化された、ワード形式、テキスト形式、ＰＤＦ形式等のドキュメント画像を表示部に表示することができる。また、情報端末は、表示部に表示されたドキュメント画像（例えば、ＰＤＦ形式の文書画像）の表示状態をユーザの操作に応じて変化させる機能を備えている。例えば、ユーザが指を情報端末の表示画面にタッチした状態でスライドさせるとドキュメント画像がスクロールしたり、ユーザが二本の指を情報端末の表示画面にタッチした状態でその間隔を広げたり狭めたりするとドキュメント画像が拡大縮小したりする。

また、特許文献１には、例えば雑誌、広告、カタログ等の紙媒体に掲載された情報をデータ化して情報端末の表示部に表示するための技術が記載されている。

特開２００２−０４１４９７号公報

しかしながら従来の技術では、情報が掲載された紙媒体がＡ４サイズやＡ３サイズ等、比較的大きいと、データ化したドキュメント画像をスマートフォンなどの表示画面が小さい情報端末に視認できる文字の大きさで表示する場合、ドキュメント画像の一部の領域しか表示されない。また、デスクトップコンピュータやノートパソコンのように表示画面の大きい端末用にレイアウト設定されたドキュメント画像を表示画面が小さい情報端末に表示する場合も同様である。このため、従来の技術は、ユーザにとって操作性が悪いという問題があった。

本発明は、上記課題に鑑みてなされたものであり、その目的は、表示画面のサイズより大きいサイズのドキュメント画像を表示する場合に、ドキュメント画像を閲覧する際の操作性を高めることができる表示システム、表示方法、及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る表示システムは、携帯端末に搭載され、表示領域のサイズより大きいサイズのドキュメント画像を表示する表示画面と、前記表示画面に沿って設定された仮想面上における前記携帯端末の変位方向及び変位量を算出する算出手段と、前記算出手段により算出された前記変位方向及び前記変位量に基づいて、前記表示画面に表示されている前記ドキュメント画像の部分領域に替えて表示される部分領域を、該ドキュメント画像から特定する特定手段と、を含むことを特徴とする。

また、前記表示システムは、前記携帯端末に搭載され、画像を順次撮像する撮像手段を備えていてもよい。また、前記算出手段は、前記撮像手段により撮像された複数の撮像画像における特徴点の位置の変化に基づいて、前記変位方向及び前記変位量を算出してもよい。

また、前記算出手段は、さらに、前記複数の撮像画像における特徴点の間隔の変化に基づいて、前記表示画面に表示される前記ドキュメント画像の部分領域の表示倍率を算出してもよい。また、前記特定手段は、前記算出手段により算出された前記変位方向、前記変位量及び前記表示倍率に基づいて、前記ドキュメント画像から前記部分領域を特定してもよい。

また、前記表示システムは、ユーザから一時停止要求を受け付ける受付手段をさらに含んでもよい。また、前記特定手段は、一時停止要求が受け付けられた場合、該一時停止が解除されるまでの間における前記携帯端末の前記変位量を、前記部分領域を特定する際に算出される前記変位量から除いてもよい。

また、前記表示システムは、ユーザから一時停止要求を受け付ける受付手段をさらに含んでもよい。また、前記算出手段は、前記受付手段により前記一時停止要求が受け付けられた場合、該一時停止が解除されるまで、前記変位量の算出処理を停止してもよい。

また、前記受付手段は、前記表示画面へのタッチを検出するタッチ検出手段であって、前記表示画面にタッチされた状態が所定時間経過したタイミングで前記一時停止要求を受け付けたと判定し、前記タッチされた状態が解除されたタイミングで前記一時停止が解除されたと判定してもよい。

また、前記表示システムは、前記表示画面へのタッチを検出するタッチ検出手段をさらに含み、前記表示画面にタッチされた状態が所定時間経過した場合は、前記表示画面がタッチされている間、前記表示画面には、該表示画面にタッチされたときに該表示画面に表示されていた前記ドキュメント画像の部分領域が表示され続ける構成としてもよい。

また、前記表示システムは、前記算出手段により算出された前記変位方向及び前記変位量に基づいて前記表示画面に表示されている前記ドキュメント画像の部分領域に替えて表示される部分領域が、前記ドキュメント画像の範囲内にあるか否かを判定する判定手段をさらに含み、前記表示画面に表示される部分領域が前記ドキュメント画像の範囲内にない場合は、前記特定手段は、前記ドキュメント画像の端部の部分領域を特定してもよい。

また、前記表示システムは、機の変位量に対する、前記撮像手段により撮像された複数の撮像画像における特徴点の位置の変位量を決定するキャリブレーション処理手段をさらに含んでもよい。

また、本発明に係る表示方法は、表示領域のサイズより大きいサイズのドキュメント画像を表示する、携帯端末に搭載される表示画面に沿って設定された仮想面上における該携帯端末の変位方向及び変位量を算出する算出ステップと、前記算出ステップにより算出された前記変位方向及び前記変位量に基づいて、前記表示画面に表示されている前記ドキュメント画像の部分領域に替えて表示される部分領域を、該ドキュメント画像から特定する特定ステップと、を含むことを特徴とする。

また、本発明に係るプログラムは、表示領域のサイズより大きいサイズのドキュメント画像を表示する、携帯端末に搭載される表示画面に沿って設定された仮想面上における該携帯端末の変位方向及び変位量を算出する算出手段、及び、前記算出手段により算出された前記変位方向及び前記変位量に基づいて、前記表示画面に表示されている前記ドキュメント画像の部分領域に替えて表示される部分領域を、該ドキュメント画像から特定する特定手段、としてコンピュータを機能させるためのプログラムである。このプログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのコンピュータ可読情報記憶媒体に格納されてもよい。

本発明によれば、例えば情報端末の表示画面に表示されているドキュメント画像における部分領域が、該情報端末の変位方向及び変位量に基づいて特定される、該ドキュメント画像における部分領域に切り替えられて表示される。よって、表示画面のサイズより大きいサイズのドキュメント画像を表示する場合に、ドキュメント画像を閲覧する際の操作性を高めることができる。

本発明の実施形態に係る表示システムの利用態様を示す図である。 表示システムのハードウェア構成図である。 表示システムの機能ブロック図である。 前フレーム画像及び現フレーム画像を示す図である。 表示領域の移動前後の座標を示す図である。 前フレーム画像及び現フレーム画像を示す図である。 表示システムの動作フロー図である。 表示領域の移動前後の座標を示す図である。 現フレーム画像を示す図である。 キャリブレーション処理部の動作フロー図である。 キャリブレーション処理部における補正係数の算出方法を説明するための図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の実施形態に係る表示システムの利用態様を示す図である。表示システム１０は、スマートフォンやタブレット端末等の情報端末である。ここでは一例としてスマートフォンを挙げる。表示システム１０の表示部６（表示画面）には、例えばＰＤＦ形式のドキュメント画像が表示される。ドキュメント画像は、インターネット等の通信ネットワークから表示システム１０にダウンロードされてもよいし、メモリカード等の記録媒体から表示システム１０に保存されてもよい。以下では、ドキュメント画像の一例として、Ａ３サイズの商品カタログがＰＤＦ形式に変換され、インターネットからダウンロードされたカタログ画像を挙げる。商品カタログには、例えば複数の商品の写真やその価格等の情報が掲載されている。なお、表示部６に表示されるドキュメント画像は、ウェブページやワードファイル等、任意のファイル形式のドキュメント画像でよい。

ユーザがＡ３サイズの商品カタログに対応するカタログ画像全体（以下、全カタログ画像という。）を表示システム１０にダウンロードすると、表示部６には、所定の領域のカタログ画像（以下、部分画像という。）が表示される。例えば図１（ａ）に示すように、表示部６に、商品カタログに掲載されている商品「リンゴ」の写真と価格の情報が表示される。ここでユーザは、商品カタログに掲載されている他の商品の情報を表示部６に表示させたいとき、すなわち表示部６に表示されている部分画像をスクロールさせたいときは、手に持った表示システム１０を所望の方向に動かす。例えば図１（ａ）に示すように、ユーザは表示システム１０を矢印方向（Ｘ方向）に動かす。これにより表示部６に表示されている部分画像が、図１（ｂ）に示すように表示システム１０の動きに応じてスクロールする。図１（ｂ）には、商品「リンゴ」の画像の一部（価格等）と、その右隣の商品「チェリー」の画像の一部（写真等）が表示されている。このように、ユーザは、紙媒体としての商品カタログがあたかも表示システム１０の前に実在しているかのように、表示システム１０を任意の方向に動かしながら表示部６に表示された部分画像をスクロールさせて、商品カタログの情報を閲覧することができる。図１には、仮想的な商品カタログを点線で示している。

なお、ドキュメント画像のサイズは、一般的に文字を視認できる程度の大きさで表示した場合の全体の画像の外形サイズであり、例えばＰＤＦ形式の場合はＡ４サイズ等、予め設定されているサイズである。本表示システムは、ドキュメント画像に含まれる文字を視認できる程度の大きさで表示したときに、ドキュメント画像の外形サイズが表示画面のサイズを超えてはみ出すような場合に、ドキュメント画像全体を簡易な操作により閲覧することを可能にするものである。

図２は、表示システム１０のハードウェア構成図である。同図に示すように、表示システム１０は、通信部１、ＣＰＵ２、メモリ３、記憶部４、カメラ５（撮像手段）、及び表示部６（表示画面）を含むコンピュータである。これらのハードウェア要素はバスにより相互にデータの授受が可能に接続されている。

通信部１は、例えばインターネットにより情報の送受信を行う。ＣＰＵ２は装置各部を制御したり、各種の情報処理を実行したりする。メモリ３は、各種のプログラムやデータを保持する。またメモリ３には、ＣＰＵ２の作業領域も確保される。表示部６は、文書や写真等のドキュメント画像（ここではカタログ画像）を表示する。また表示部６は、タッチパネルの機能を有する。

カメラ５は所定のフレームレートで表示システム１０の前方に存在する撮像対象物の画像を順次撮像する。カメラ５の撮影モードは、例えば一定の周期で撮像する動画モードとする。またスマートフォンホが動いているときは一定の周期で撮影し、スマートフォンが静止しているときは撮影しない構成としてもよい。なおスマートフォンが動いているか否かの判断は、スマートフォンに搭載された加速度センサにより検知することができる。これによりスマートフォンが静止しているときに撮影を停止できるためバッテリーの減少を抑制できる。

またカメラ５は表示部６の裏面側に設けられている。カメラ５の撮像方向は、表示画面に対して略直交していることが好ましい。記憶部４は、フレームメモリ４ａ及びドキュメント画像ＤＢ４ｂを含む。フレームメモリ４ａには、カメラ５により所定のフレームレート（例えば３０ｆｐｓ）で撮像された撮像画像が順次記憶される。ドキュメント画像ＤＢ４ｂには、通信ネットワークや記録媒体等を介して取得されたドキュメント画像（ここでは全カタログ画像）と、表示システム１０により特定されたドキュメント画像（ここでは部分画像）とが記憶される。

図３は、表示システム１０の機能ブロック図である。同図に示すように、表示システム１０は、タッチ検出部１１（タッチ検出手段、受付手段）、画像取得部１２、特徴点抽出処理部１３、変位量算出処理部１４（算出手段）、表示領域判定部１５（判定手段）、ドキュメント画像特定部１６（特定手段）、及びキャリブレーション処理部１７（キャリブレーション処理手段）を含んでいる。これらの要素はメモリ３に格納されたプログラムをＣＰＵ２が実行することにより実現される。このプログラムはＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどのコンピュータ可読情報記憶媒体から表示システム１０にインストールされてもよいし、インターネット等の通信ネットワークからダウンロードされてもよい。

タッチ検出部１１は、ユーザが指やペン等により表示部６の表示面をタッチした場合にそのタッチ位置を検出する。またタッチ検出部１１は、同じタッチ位置においてタッチ状態が連続して所定時間が経過したか否か、すなわち長タッチがあるか否かを判定する。タッチ検出部１１におけるタッチ位置の検出方法は、タッチパネルにおける周知の技術を用いることができ、例えば静電容量方式を用いることができる。

画像取得部１２は、フレームメモリ４ａ又はカメラ５から現在のフレーム画像（現フレーム画像）を取得する。また画像取得部１２は、フレームメモリ４ａから直前のフレーム画像（前フレーム画像）を取得する。フレームメモリ４ａには、カメラ５で撮像された現フレーム画像と、現フレームよりも前のフレーム画像とが記憶されており、順次更新される。図４には、図１に示すようにユーザが表示システム１０をＸ方向に動かした場合の、２フレームの撮像画像を示している。なお、表示部６には、画像取得部１２により取得された各フレーム画像は表示されず、部分画像が表示される。

特徴点抽出処理部１３は、画像取得部１２により取得された現フレーム画像及び前フレーム画像において、それぞれに対応する画像の特徴点を抽出する。特徴点抽出処理部１３は、現フレーム画像の特徴点と前フレーム画像の特徴点を用いて、現フレーム画像と前フレーム画像のマッチングを行う。図４には、前フレーム画像の３つの特徴点ａ１，ｂ１，ｃ１と、これに対応する現フレーム画像の３つの特徴点ａ２，ｂ２，ｃ２を示している。画像の特徴点の抽出方法は、周知の技術を用いることができ、例えばＳＩＦＴ法を用いることができる。

変位量算出処理部１４は、表示部６（表示画面）に沿って設定された仮想面上（図１の仮想カタログ）における表示システム１０の変位方向及び変位量を算出する。なお仮想面は、表示画面と平行な面である。具体的には、変位量算出処理部１４は、特徴点抽出処理部１３により行われた処理結果に基づいて、前フレーム画像を基準とした現フレーム画像の移動ベクトルＶ、すなわちユーザが表示システム１０を動かした距離（変位量）及び方向（変位方向）を算出する。例えば図４では、Ｘ方向の移動距離を、特徴点ａの座標を用いて、｜ｘａ２−ｘａ１｜の式により算出することができる。なお、変位量算出処理部１４は、複数の撮像画像において対応する特徴点の複数のペアによりそれぞれ移動ベクトルＶを算出し、その平均値を、前フレーム画像を基準とした現フレーム画像の移動ベクトルＶとしてもよい。また変位量算出処理部１４は、加速度センサにより変位方向及び変位量を算出してもよい。

また変位量算出処理部１４は、ユーザが表示システム１０を動かす前の表示部６の表示領域Ｅ１の座標Ｐ１と、上記算出した移動ベクトルＶとに基づいて、ユーザが表示システム１０を動かした後の表示部６の表示領域Ｅ２の座標Ｐ２を算出する。表示領域Ｅは、表示部６における画像表示領域であり、全カタログ画像の部分的な領域である。表示領域Ｅの座標Ｐは、全カタログ画像における表示領域Ｅの位置を特定するための座標（基準位置）である。例えば、図５に示すように全カタログ画像をＸＹ座標平面とした場合、全カタログ画像の左上端のＸＹ座標を基準（０，０）とすると、ユーザが表示システム１０を動かす前の表示部６に表示された部分画像の内容から、移動前の表示領域Ｅ１の左上端の座標Ｐ１（ｘ１、ｙ１）を算出することができる。また座標Ｐ１に表示領域Ｅの縦横の長さを加算することにより、表示領域Ｅの範囲を規定する全ての頂点の座標を算出することができる。

変位量算出処理部１４は、座標Ｐ１と移動ベクトルＶに基づいて、ユーザが表示システム１０を動かした後の表示領域Ｅの座標Ｐ２を、以下の式（１）により算出する。
Ｐ２＝Ｐ１＋Ｖ×α・・・（１）
上記式（１）において、αは補正係数である。補正係数αは、表示システム１０の水平方向（ＸＹ座標平面内）の移動量に対する、表示部６に表示される部分画像のスクロール量を規定するための値である。補正係数αは、後述するキャリブレーション処理部１７により決定される。なお、補正係数αは、キャリブレーション処理部１７によらず、予め設定された固定値であってもよいし、手動で変更可能な可変値であってもよい。

さらに変位量算出処理部１４は、特徴点抽出処理部１３により抽出された特徴点に基づいて、現フレーム画像の表示倍率Ｚを算出する。具体的には、変位量算出処理部１４は、まず、前フレーム画像内の２つの特徴点間の距離ｔ１と、該特徴点に対応する現フレーム画像内の２つの特徴点間の距離ｔ２に基づき、以下の式（２）より変化率Ｃを算出する。
Ｃ＝ｔ２／ｔ１・・・（２）

例えば、図６に示すように、表示システム１０を撮像対象物（図６では花）に近づけると撮像画像は拡大され、２つの特徴点間の距離が大きくなる。そこで、前フレーム画像内の特徴点Ｃ１１、Ｃ１２間の距離ｔ１（＝｜Ｃ１１−Ｃ１２｜）と、現フレーム画像内の特徴点Ｃ２１、Ｃ２２間の距離ｔ２（＝｜Ｃ２１−Ｃ２２｜）に基づき、現フレーム画像の変化率Ｃを算出することができる。

次に変位量算出処理部１４は、算出した変化率Ｃに基づいて現フレーム画像の表示倍率Ｚを算出する。前フレーム画像の表示倍率をＺ１とすると、現フレーム画像の表示倍率Ｚ２は、以下の式（３）により算出される。
Ｚ２＝Ｚ１＋Ｃ×β・・・（３）
上記式（３）において、βは補正係数である。補正係数βは、表示システム１０のＸＹ座標平面に垂直な方向（Ｚ方向）の移動量に対する、表示部６に表示される部分画像の拡大縮小量を規定するための値である。補正係数βは、表示システム１０の移動量に対する部分画像の拡大縮小量が最適となるように実験等により予め決定される。

表示領域判定部１５は、全カタログ画像のＸＹ座標平面において、ユーザが表示システム１０を動かした後の表示領域Ｅが全カタログ画像の範囲からはみ出たか否かを判定する。具体的には、図５に示す移動後の表示領域Ｅ２の範囲を特定する４つの頂点の座標のうち少なくとも何れか１つの頂点の座標（基準位置）が、全カタログ画像の範囲外にあるか否かを判定する。

ドキュメント画像特定部１６は、変位量算出処理部１４により算出された変位方向及び変位量に基づいて、表示部６に表示されている部分画像に替えて表示される部分画像を、全カタログ画像から特定する。具体的には、ドキュメント画像特定部１６は、変位量算出処理部１４により算出された、移動後の表示領域Ｅ２の座標Ｐ２と現フレーム画像の表示倍率Ｚ２に基づいて、ドキュメント画像ＤＢ４ｂに記憶されている全カタログ画像から、移動後の部分画像を特定する。

表示部６は、該表示部６に表示されている部分画像を、ドキュメント画像特定部１６により特定された部分画像に更新して表示する。例えば、表示部６は、図１（ａ）に示す部分画像を、図１（ｂ）に示す部分画像に更新して表示する。キュメント画像特定部１６により特定された部分画像を順次表示することにより、表示画面における画像のスクロールが実現される。

キャリブレーション処理部１７は、表示システム１０の移動量に対する、表示部６に表示される部分画像のスクロール量を規定するための補正値（補正係数α）を算出する。例えば補正係数αを２に設定すると、上記式（１）より、ユーザが表示システム１０をＸ方向に１０ｃｍ動かした場合、表示部６の部分画像は２０ｃｍスクロールする。ここでキャリブレーション処理部１７は、ユーザが表示システム１０を水平方向（ＸＹ座標平面内）に動かすときの最大幅が、表示部６に表示される全カタログ画像の横幅Ｗ（図５参照）に相当するように補正係数αを決定する。キャリブレーション処理部１７の具体的な動作は後述する。

図７は、表示システム１０の動作フロー図である。ここでは一例として、ユーザが表示システム１０を図１（ａ）の状態から図１（ｂ）の状態に動かしたときの表示システム１０の動作について説明する。なお便宜上、図１（ａ）の状態のときにカメラ５により撮像された撮像画像を図４に示す前フレーム画像とし、図１（ｂ）の状態のときにカメラ５により撮像された撮像画像を図４に示す現フレーム画像とする。

表示部６に図１（ａ）の部分画像（商品「リンゴ」）が表示されているときにユーザが表示システム１０をＸ方向に任意の距離だけ動かすと、以下の動作が実行される。

タッチ検出部１１は、表示部６の表示面がユーザにより長タッチされたか否かを判定する（Ｓ１０１）。例えば、タッチ検出部１１は、表示面の任意の位置がタッチされた状態で１秒間経過した場合に、長タッチありと判定する。

長タッチがない場合は、画像取得部１２は、フレームメモリ４ａから前フレーム画像及び現フレーム画像（図４参照）を取得する（Ｓ１０２）。

次に、特徴点抽出処理部１３は、Ｓ１０２で取得された前フレーム画像及び現フレーム画像（図４参照）において、それぞれに対応する特徴点を抽出し（Ｓ１０３）、画像マッチングを行う（Ｓ１０４）。

次に、変位量算出処理部１４は、Ｓ１０３，Ｓ１０４の処理結果に基づいて、表示システム１０の移動ベクトルＶを算出する（Ｓ１０５）。ここでは図４より、移動ベクトルＶとして、「右（Ｘ）方向、｜ｘａ２−ｘａ１｜」が算出される。

次に、変位量算出処理部１４は、ユーザが表示システム１０を動かす前（図１（ａ）参照）の表示領域Ｅ１の座標Ｐ１と、移動ベクトルＶとに基づいて、上記式（１）より、ユーザが表示システム１０を動かした後（図１（ｂ）参照）の表示領域Ｅ２の座標Ｐ２を算出する（Ｓ１０６）。図８（ａ）（ｂ）には、図１（ａ）（ｂ）に対応する表示領域Ｅ及び座標Ｐを示している。なお、変位量算出処理部１４は、キャリブレーション処理部１７から補正係数αを受け取った場合は、補正係数αを考慮して座標Ｐ２を算出する。

次に、変位量算出処理部１４は、Ｓ１０３で抽出された特徴点に基づいて、現フレーム画像の表示倍率Ｚ２を算出する（Ｓ１０７）。図１（ａ）（ｂ）の例では、表示システム１０はＸＹ座標平面内の移動であるため、表示倍率Ｚ２は１となる。一方、例えば図６に示すように、図１（ｂ）の状態からユーザが表示システム１０をＺ方向（ユーザの目から遠ざかる方向）に動かした場合は、表示倍率Ｚ２は上記式（３）より、Ｚ１＋（ｔ２／ｔ１）βとなる。

次に、表示領域判定部１５は、全カタログ画像を含むＸＹ座標平面において、ユーザが表示システム１０を動かした後（図８（ｂ）参照）の表示領域Ｅ２が全カタログ画像の範囲からはみ出たか否かを判定する（Ｓ１０８）。

ユーザが表示システム１０を動かした後の表示領域Ｅ２が全カタログ画像の範囲からはみ出ていない場合、ドキュメント画像特定部１６は、Ｓ１０６，Ｓ１０７で算出された、移動後の表示領域Ｅ２の座標Ｐ２と現フレーム画像の表示倍率Ｚ２に基づいて部分画像を特定する（Ｓ１０９）。具体的には、ドキュメント画像特定部１６は、全カタログ画像のうち座標Ｐ２を基準とした表示領域Ｅ２の範囲について表示倍率をＺ２に設定した部分画像を特定する。

表示部６は、表示部６に現在表示されている部分画像（図１（ａ）参照）を、Ｓ１１０で特定された部分画像に更新して表示する（Ｓ１１０）。なお、表示倍率Ｚ２が図６に示すように変更（ここでは拡大）された場合は、表示部６には、例えば図９に示す、拡大された部分画像が表示される。

Ｓ１０８で、ユーザが表示システム１０を動かした後の表示領域Ｅ２が全カタログ画像の範囲からはみ出た場合は、Ｓ１０１に戻る。これにより、部分画像の更新は行われず、表示部６には直前の部分画像が表示され続ける。例えば表示部６には、全カタログ画像の端部の画像が表示され続ける。なお、ユーザが表示システム１０を動かした後の表示領域Ｅ２が全カタログ画像の範囲からはみ出た場合に、警告を表す音声又はメッセージをユーザに通知してもよいし、自機（ここではスマートフォン）を振動させて通知してもよい。

Ｓ１０１で長タッチありと判断された場合は、タッチ検出部１１はさらに、表示面からタッチが離れたか否かを判定する（Ｓ１１１）。タッチが離れた場合はＳ１０２の処理に移行し、タッチが離れていない場合はＳ１１１の処理を繰り返す。これにより、ユーザが表示面をタッチしている間は、Ｓ１０２以降の処理は行われないため部分画像の更新がされず、直前の部分画像が表示され続ける。この処理によれば、例えば表示部６に図１（ｂ）の部分画像が表示されているときにユーザが指で表示面をタッチしたまま姿勢を変えたり別の場所へ移動したりしても、図１（ｂ）の部分画像の表示を維持することができる。そして、ユーザは、姿勢を替えたり移動したりした後の状態で、再び部分画像の閲覧を続けることができる。

図１０は、キャリブレーション処理部１７の動作フロー図である。例えばユーザが表示システム１０においてメニュー画面からキャリブレーションモードを選択すると、キャリブレーション処理部１７はキャリブレーション動作を実行する。キャリブレーション処理部１７は、キャリブレーション動作を実行して、上記式（１）の補正係数αを決定する。

まず、キャリブレーション処理部１７は、ユーザに対して表示システム１０を所望の範囲で動かすように指示する（Ｓ２０１）。

ユーザが表示システム１０を動かすと、画像取得部１２は、フレームメモリ４ａから前フレーム画像及び現フレーム画像を取得する（Ｓ２０２）。次に、特徴点抽出処理部１３は、Ｓ２０２で取得された前フレーム画像及び現フレーム画像においてそれぞれに対応する特徴点を抽出し（Ｓ２０３）、画像マッチングを行う（Ｓ２０４）。次に、変位量算出処理部１４は、Ｓ２０３，Ｓ２０４の処理結果に基づいて、表示システム１０の移動ベクトルＶｋを算出する（Ｓ２０５）。

次に、変位量算出処理部１４は、ユーザが表示システム１０を動かす前の表示領域Ｅ１の座標Ｐｋ１と、移動ベクトルＶｋとに基づいて、以下の式（４）により、ユーザが表示システム１０を動かした後の表示領域Ｅｎの座標Ｐｋｎを算出する（Ｓ２０６）。
Ｐｋｎ＝Ｐｋ１＋Ｖｋ・・・（４）

Ｓ２０１〜Ｓ２０６の処理は、ユーザが表示システム１０を動かす動作を止めてキャリブレーションモードの終了操作を行うまで繰り返される。例えば図１１に示すように、ユーザが表示システム１０を左から右へ所望の距離Ｌだけ動かす間、Ｓ２０１〜Ｓ２０６の処理がｎ回繰り返される。

ユーザがキャリブレーションモードの終了操作を行うと、キャリブレーション処理部１７は、フレーム毎の表示領域Ｅの頂点の座標Ｐｋ１〜Ｐｋｎを抽出する（Ｓ２０８）。

次に、キャリブレーション処理部１７は、Ｓ２０８で抽出された座標Ｐｋ１〜Ｐｋｎに基づいて、ユーザが所望する距離Ｌを算出する（Ｓ２０９）。具体的には、例えば図１１に示すＸＹ座標平面において、Ｘ座標の値が最も小さい座標Ｐｋ１と、Ｘ座標の値が最も大きい座標Ｐｋｎとに基づいて距離Ｌを算出する。なお、距離Ｌは、｜ｘ（Ｐｋｎ）−ｘ（Ｐｋ１）｜＋Ｓｘ（表示領域ＥのＸ方向の幅）、により算出することができる。

次に、キャリブレーション処理部１７は、Ｓ２０９で算出された距離Ｌ（図１１参照）と、全カタログ画像の幅Ｗ（図５参照）に基づいて補正係数αを算出する（Ｓ２１０）。例えば、ユーザが表示システム１０をＸ方向に距離Ｌだけ１回動かしたときに、表示部６において全カタログ画像の横幅（距離Ｗ）がスクロールするように設定する場合は、キャリブレーション処理部１７は、以下の式（５）により補正係数αを算出する。
α＝Ｗ／Ｌ・・・（５）

Ｓ２１０で算出された補正係数αは、図７のＳ１０６の処理において上記式（１）に用いられる。なお、Ｙ方向及びＺ方向についても同様に補正係数を算出することができる。これにより、ユーザは、所望の範囲における表示システム１０の動作により、カタログ画像の全体をスクロールして閲覧することができる。なお、キャリブレーション動作を行わずに、補正係数を予め設定しておいてもよい。

本発明は上記実施形態に限定されない。例えば、ユーザが表示部６の表示面を指でスライドさせた場合、表示部６に表示されている部分画像を、指のスライド動作に応じてスクロールさせてもよい。

また、表示システム１０は、カメラ５がユーザの手の動きを認識し、手の動きに応じた処理を実行する機能を含んでもよい。例えば、全カタログ画像が複数ページで構成されている場合に、ユーザがカメラ５の前で手でページをめくる所定の動作を行うと、表示部６に表示された部分画像のページが変わる構成を含んでもよい。なお、ページをめくった後に表示される部分画像は、ページをめくる前の表示領域の座標と同じ座標に対応する画像としてもよいし、新たなページ内の先頭の画像を表示してもよい。

また、表示システム１０は、ユーザが部分画像の表示されている状態の表示画面（タッチパネル）上で指やペンで印を描いた場合、再びその部分画像の該当領域が表示されると、描かれた印を表示するように構成してもよい。この場合、表示システム１０は、表示されている部分画像の座標と関連付けて描いた印を記憶しておき、再びその座標を含む部分領域が表示される際に、関連付けて記憶された印を重ねて表示する。

ここで、本発明の表示システム１０は、上記のように携帯端末（たとえばスマートフォン）で構成されていてもよいし、携帯端末とサーバとを含んで構成されていてもよい。後者の表示システム１０では、例えば、携帯端末がカメラ５及び表示部６（表示画面）を含み、サーバが変位量算出処理部１４及びドキュメント画像特定部１６を含んでいる構成とすることができる。

なお、上記実施形態では、表示部（表示画面）６にタッチされた状態が所定時間経過してから該タッチされた状態が解除されるまでの間、スマートフォン（表示システム１０）の変位量の算出処理を停止している。すなわち、上記実施形態では、タッチ検出部１１は、表示部（表示画面）６にタッチされた状態が所定時間経過したタイミングで一時停止要求を受け付けたと判定し、タッチされた状態が解除されたタイミングで一時停止が解除されたと判定している。ユーザから一時停止要求及び解除の要求を受け付ける受付手段としては、上記のタッチ検出部１１の態様に限られず、周知の任意の方法を利用することができる。

また、表示部６にタッチされた状態が所定時間経過してから該タッチされた状態が解除されるまでの間、すなわち一時停止中に、スマートフォン（表示システム１０）の変位量を他の処理に利用する場合、変位量算出処理部１４は、上記変位量の算出処理を継続してもよい。この場合、ドキュメント画像特定部１６は、一時停止中におけるスマートフォン（表示システム１０）の変位量を、部分領域を特定する際に算出される変位量から除いて、部分画像を特定する処理を行えばよい。つまりドキュメント画像特定部１６は、一時停止中に変位量算出処理部１４により算出された変位量を無視して部分画像を特定する処理を行えばよい。

１０ 表示システム、１ 通信部、２ ＣＰＵ、３ メモリ、４ 記憶部、４ａ フレームメモリ、４ｂ ドキュメント画像ＤＢ、５ カメラ、６ 表示部、１１ タッチ検出部、１２ 画像取得部、１３ 特徴点抽出処理部、１４ 変位量算出処理部、１５ 表示領域判定部、１６ ドキュメント画像特定部、１７ キャリブレーション処理部。

Claims (8)

1. 携帯端末に搭載され、表示領域のサイズより大きいサイズのドキュメント画像を表示する表示画面と、
   前記表示画面に沿って設定された仮想面上における前記携帯端末の変位方向及び変位量を算出する算出手段と、
   前記算出手段により算出された前記変位方向及び前記変位量に基づいて、前記表示画面に表示されている前記ドキュメント画像の部分領域に替えて表示される部分領域を、該ドキュメント画像から特定する特定手段と、
   ユーザから、前記ドキュメント画像のスクロールの一時停止の要求を示す第１の操作と、前記スクロールの一時停止の解除要求を示す第２の操作とを受け付ける受付手段と、を含み、
   前記受付手段により前記第１の操作が受け付けられた場合は、
   前記特定手段が、前記第２の操作が受け付けられるまでの間における前記携帯端末の前記変位量を、前記部分領域を特定する際に算出される前記変位量から除くか、又は、前記算出手段が、前記第２の操作が受け付けられるまでの間、前記変位方向及び前記変位量の算出処理を停止し、かつ、
   前記表示画面には、前記第２の操作が受け付けられるまでの間、前記第１の操作が受け付けられたときに該表示画面に表示されていた前記ドキュメント画像の部分領域と同一の画像が同一の表示倍率で表示され続ける、
   ことを特徴とする表示システム。
2. 前記受付手段は、前記表示画面へのタッチを検出するタッチ検出手段であって、
   前記表示画面にタッチされた状態が所定時間経過したタイミングで前記第１の操作を受け付けたと判定し、前記タッチされた状態が解除されたタイミングで前記第２の操作を受け付けたと判定することを特徴とする請求項１に記載の表示システム。
3. 前記表示画面へのタッチを検出するタッチ検出手段をさらに含み、
   前記表示画面にタッチされた状態が所定時間経過した場合は、前記表示画面がタッチされている間、前記表示画面には、該表示画面にタッチされたときに該表示画面に表示されていた前記ドキュメント画像の部分領域と同一の画像が同一の表示倍率で表示され続けることを特徴とする請求項１又は２に記載の表示システム。
4. 前記携帯端末に搭載され、画像を順次撮像する撮像手段を備え、
   前記携帯端末の変位量に対する、前記撮像手段により撮像された複数の撮像画像における特徴点の位置の変位量を決定するキャリブレーション処理手段をさらに含むことを特徴とする請求項１から３の何れか１項に記載の表示システム。
5. 前記携帯端末の変位量に対する、前記表示画面に表示される前記ドキュメント画像のスクロール量を規定するための補正係数を決定するキャリブレーション処理手段をさらに含み、
   前記キャリブレーション処理手段は、ユーザが前記携帯端末を第１方向に所望の距離だけ移動させたときに、前記ドキュメント画像の前記第１方向の全幅がスクロールするように、前記補正係数を決定する、
   ことを特徴とする請求項１から３の何れか１項に記載の表示システム。
6. 前記補正係数をαとし、ユーザが前記携帯端末を前記第１方向に移動させる所望の距離をＬとし、前記ドキュメント画像の前記第１方向の全幅をＷとしたとき、前記キャリブレーション処理手段は、前記補正係数αを次式により算出し、
   α＝Ｗ／Ｌ
   前記ドキュメント画像の座標平面における前記携帯端末が移動する前の座標をＰ１とし、前記携帯端末の変位方向及び変位量を示す移動ベクトルをＶとしたとき、前記算出手段は、前記座標平面における前記携帯端末が移動した後の座標Ｐ２を、次式により算出し、
   Ｐ２＝Ｐ１＋Ｖ×α
   前記特定手段は、前記算出手段により算出された前記座標Ｐ２に基づいて、前記ドキュメント画像から前記部分領域を特定する、
   ことを特徴とする請求項５に記載の表示システム。
7. コンピュータによって実行される表示方法であって、
   前記コンピュータが、表示領域のサイズより大きいサイズのドキュメント画像を表示する、携帯端末に搭載される表示画面に沿って設定された仮想面上における該携帯端末の変位方向及び変位量を算出する算出ステップと、
   前記コンピュータが、前記算出ステップにより算出された前記変位方向及び前記変位量に基づいて、前記表示画面に表示されている前記ドキュメント画像の部分領域に替えて表示される部分領域を、該ドキュメント画像から特定する特定ステップと、
   前記コンピュータが、ユーザから、前記ドキュメント画像のスクロールの一時停止の要求を示す第１の操作と、前記スクロールの一時停止の解除要求を示す第２の操作とを受け付ける受付ステップと、を含み、
   前記受付ステップにおいて前記第１の操作が受け付けられた場合は、前記コンピュータが、
   前記特定ステップにおいて、前記第２の操作が受け付けられるまでの間における前記携帯端末の前記変位量を、前記部分領域を特定する際に算出される前記変位量から除くか、又は、前記算出ステップにおいて、前記第２の操作が受け付けられるまでの間、前記変位方向及び前記変位量の算出処理を停止し、かつ、
   前記表示画面に、前記第２の操作が受け付けられるまでの間、前記第１の操作が受け付けられたときに該表示画面に表示されていた前記ドキュメント画像の部分領域と同一の画像を同一の表示倍率で表示させ続ける、
   ことを特徴とする表示方法。
8. 表示領域のサイズより大きいサイズのドキュメント画像を表示する、携帯端末に搭載される表示画面に沿って設定された仮想面上における該携帯端末の変位方向及び変位量を算出する算出手段、
   前記算出手段により算出された前記変位方向及び前記変位量に基づいて、前記表示画面に表示されている前記ドキュメント画像の部分領域に替えて表示される部分領域を、該ドキュメント画像から特定する特定手段、及び、
   ユーザから、前記ドキュメント画像のスクロールの一時停止の要求を示す第１の操作と、前記スクロールの一時停止の解除要求を示す第２の操作とを受け付ける受付手段、としてコンピュータを機能させるプログラムであって、
   前記受付手段において前記第１の操作が受け付けられた場合は、
   前記特定手段において、前記第２の操作が受け付けられるまでの間における前記携帯端末の前記変位量を、前記部分領域を特定する際に算出される前記変位量から除くか、又は、前記算出手段において、前記第２の操作が受け付けられるまでの間、前記変位方向及び前記変位量の算出処理を停止し、かつ、
   前記表示画面に、前記第２の操作が受け付けられるまでの間、前記第１の操作が受け付けられたときに該表示画面に表示されていた前記ドキュメント画像の部分領域と同一の画像を同一の表示倍率で表示させ続ける、
   プログラム。

Images