JP5463405B1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

Abstract

【課題】タッチスクリーン上の閲覧ページから所望の情報を簡易に抽出すること。
【解決手段】情報処理装置１００は、マークアップ言語で記述されたページを表示し、触れられた画面上の位置情報を入力するタッチスクリーンと、前記位置情報をもとに移動の始点と終点とが一致する場合に、前記始点と終点とが一致した閉領域からなる指定領域を作成する作成手段と、前記指定領域の位置座標を、前記ページの原点に対する位置座標に変換する変換手段と、前記変換手段により変換された位置座標に基づいて前記指定領域に対応するタグが示す情報を抽出する抽出手段とを具備する。
【選択図】図１

Description

この発明は、タッチスクリーンに表示されたＷｅｂページから所望の情報を抽出する情報処理装置、情報処理方法およびプログラムに関する。

スマートフォンやタブレットのようなインターネット接続端末が普及し、いつでもどこでも情報検索が可能となっている。取得した情報を保存する方法として、その情報を閲覧できるページをブックマーク登録する方法がある。しかしながら、インターネット接続できない環境では登録したページを閲覧することができず、また閲覧ページによっては更新されてしまい、保存したときの情報が失われる可能性もある。一方で、インターネットのページを登録すると不必要な情報も含めて保存することになり、保存した情報が何か明確にならない。

マルチタッチスクリーンを持つインターネット接続端末にはいくつか情報を保存する方法がある。１つ目は、スクリーンに表示されている情報を画像として保存するスクリーンショットがある。例えば、iPad（登録商標）ではHOMEボタンとSleep/wakeボタンを同時に押下することでスクリーンに表示されている情報を画像として保存できる（例えば、非特許文献１を参照）。近年では、画面全体ではなく、指で指定した領域の画像を保存するスクリーンショットがある。例えばXPeria（登録商標） Tablet Sのスモールアプリに登録されている『クリップ』アプリである（例えば、非特許文献２を参照）。これは、スクリーンに表示されている情報の中で、指で指定した領域のみを画像情報として切り取り、保存できるアプリケーションである。

「アップル - iPhone 5 - iPhoneの便利な使い方をご紹介します。」、［online］、［平成２４年９月２４日検索］、インターネット〈ＵＲＬ：http://www.apple.com/jp/iphone/iphone-5/tips/〉 「Xperia Tabletの新アプリ『スクラップブック』：C-TECバックルーム３：So-netブログ」［online］、［平成２４年９月２４日検索］、インターネット〈ＵＲＬ：http://ctec3.blog.so-net.ne.jp/2012-09-13-5〉

ところが、上述した方法では、スクリーン内に表示されている情報を画像として切り取るので、閲覧性及び可読性が失われる場合がある。例えば、スマートフォンやタブレット端末は表示可能なスクリーンが小さいために、保存したい情報を全てスクリーン上に表示できない場合がある。画面を縮小する方法も考えられるが、文字が小さくなって読みづらくなり、また、写真の画像も荒くなるため、閲覧性、可読性が低くなる。

この発明は上記事情に着目してなされたもので、その目的とするところは、タッチスクリーン上の閲覧ページから所望の情報を簡易に抽出できる情報処理装置、情報処理方法およびプログラムを提供することにある。

上記目的を達成するためにこの発明の第１の態様は、マークアップ言語で記述されたページを表示し、触れられた画面上の位置情報を入力するタッチスクリーンと、前記位置情報をもとに移動の始点と終点とが一致する場合に、前記始点と終点とが一致した閉領域からなる指定領域を作成する作成手段と、前記指定領域の位置座標を、前記ページの原点に対する位置座標に変換する変換手段と、前記変換手段により変換された位置座標に基づいて前記指定領域に対応するタグが示す情報を抽出する抽出手段とを具備するものである。

第１の態様によれば、画面上で指定された領域の情報を保存する際に、指定された領域に一部が含まれているような要素（タグが示す画像やテキスト等）も欠落の無い形で保存することが可能となる。画像を直接切出す技術に比べると、領域を荒っぽく指定しても情報の欠落が出ない、ウインドウ枠外に隠れている要素も一部が領域にかかっていれば欠落しない等の利点がある。したがって、簡単な操作で、指定された領域に対応する情報を有意性及び可読性の高い情報として抽出することが可能となる。

本発明の第２の態様は、上記第１の態様において、前記抽出手段において、タグの抽出対象は、テキスト、画像、及び図形を示すタグのうちの少なくとも１つである。
第２の態様によれば、一部のテキストを指定領域とすることで文脈全部を切り取ることができ、一部の画像を指定領域とすることで画面表示上の拡大縮小率やスクロール状態にかかわらず画質を落とさずに元画像の画質で画像を切り取ることが可能となる。図形にリンクが張られていれば、そのリンクを抽出して保存し、図形が単なる図形であれば、その図形の全体を切り取る。

本発明の第３の態様は、上記第１又は第２の態様において、前記抽出手段で抽出したタグが示す情報に対応する見出しを補完情報として抽出し、前記タグが示す情報に前記補完情報を対応付ける補完手段をさらに具備するものである。
例えば、保存したい情報のみを切り取って保存しても、後でその情報を見返した時に、その情報を保存した理由がわかりにくくなることがある。これは、保存したいと考えたきっかけがその保存した情報に含まれていないことが問題である。このように第３の態様によれば、切り取った情報を理解しやすい形で補完することができる。

本発明の第４の態様は、上記第３の態様において、前記タグが示す情報と前記補完情報とを対応付けて表示する表示手段をさらに具備するものである。
第４の態様によれば、タグが示す情報が補完情報と共に表示されるため、切り取った情報の有意性をさらに高めることが可能となる。

すなわちこの発明によれば、タッチスクリーン上の閲覧ページから所望の情報を簡易に抽出できる情報処理装置、情報処理方法およびプログラムを提供することができる。

この発明の一実施形態に係る情報処理装置の機能構成を示すブロック図。 図１の情報処理装置のタッチスクリーンの画面表示内容の一例を示す図。 図１の情報処理装置の処理概要を示すフローチャート。 操作種類判別処理を示すフローチャート。 指定領域切り取り処理を示すフローチャート。 指定領域データ投入判定処理を示すフローチャート。 作成ボタン押下判定処理を示すフローチャート。 指定領域を作成した状態を示す図。 始点と終点が一致した状態の判断方法を説明するための図。 指定領域作成後にデータ投入する状態を示す図。 ＨＴＭＬタグの抽出方法を説明するための図。 抽出した情報の一例を示す図。 切り取った情報に補完情報を加えた情報を示す図。 切り取った情報の再レイアウトを示す図。

以下、図面を参照してこの発明に係る実施形態を説明する。
図１は、本発明の一実施形態に係る情報処理装置の機能構成を示すブロック図である。情報処理装置１００は、制御部１、タッチスクリーン２および記憶部３を備え、例えば、スマートフォンやタブレットのようなインターネットに接続可能な端末で構成される。タッチスクリーン２は、タッチ操作による操作情報を入力する操作入力部２１と、制御部１による表示制御に従って文字や画像等を表示する表示部２２とを有する。制御部１は、操作種類判別部１１と、指定領域切り取り処理部１２と、指定領域データ投入判定処理部１３と、作成ボタン押下判定処理部１４とを有し、一般的なＷｅｂブラウザ機能を備えている。記憶部３は、指定領域を作成する際に指の位置を保存する第１のデータベース３１と、切り取った情報に補完情報を追加して保存する第２のデータベース３２とを有する。

図２に、情報処理装置１００のタッチスクリーン２の画面表示内容の一例を示す。端末の画面のレイアウトは、ブラウザによるインターネットの閲覧ページの表示に加え、利用者が切り取った保存したい情報を格納するデータ投入領域とデータ投入領域に投入された複数の情報を再表示するための作成ボタンで構成される。例えば、このＷｅｂブラウザ上に表示されている情報は、ＨＴＭＬ等のマークアップ言語で記述された文書（Ｗｅｂページ）であるものとする。

利用者が行う操作は一般的なブラウザ操作（ピンチイン／アウトで拡大縮小、指を弾いた方向に画面のスクロール）と、指定領域を切り取る操作と、切り取った指定領域をデータ投入する操作と、データ投入した複数の切り取った情報を再表示するために作成ボタンを押下する操作である。

以下、図３乃至図７のフローチャートを用いて、このように構成された情報処理装置１００の動作について説明する。先ず、図３に情報処理装置１００の処理概要を示す。処理１０１において、指がタッチスクリーンに触れていない状態から指が触れると、Touch Startイベントが起きる（処理１０２）。その後、処理１１２にて、操作種類判別部１１は、上記に示した操作の種類を判別する操作種類判別処理を行う。

［操作種類判別処理］
図４に、操作種類判別処理（処理１１２）の詳細を示す。処理２０１において、操作種類判別部１１は、タッチスクリーンに触れたときがシングルタップか、ダブルタップか、それ以外かを判断する（処理２０１、処理２０２）。ダブルタップと判断されたとき、操作種類判別部１１は、指定領域を切り取る操作と判断し、画面上に存在する指定領域を削除した（処理２０３）後に、状態Ｓ１に遷移する（処理１２１）。

一方、操作種類判別部１１は、シンブルタップと判断したときは、さらに指が指定領域内に存在するかどうかを判断する。このとき、指定領域内に指が存在した場合は切り取った指定領域をデータ投入する操作と判断し、処理１２２にて状態Ｓ２に遷移する。また、指が指定領域内に存在しないが、処理２０６において作成ボタンに指が存在する場合は（）、データ投入した複数の切り取った情報を再表示するために作成ボタンを押下する操作と判断し、処理１２３にて状態Ｓ３に遷移する。指定領域内にも作成ボタン上にも指が存在しない場合は一般的なブラウザ操作と判断し、処理１２４にて状態Ｓ４に遷移する。この場合、処理１１６にて、制御部は、通常のブラウザ操作処理を行う。

［指定領域切り取り処理］
図５に、指定領域切り取り処理（処理１１３）の詳細を示す。処理３０１において、指定領域切り取り処理部１２は、指がタッチスクリーンから離れずに移動しているかを判断する。指がタッチスクリーンから離れずに移動している場合は、すでに指定領域が作成されているか判断する（処理３０２）。まだ指定領域が作成されていない場合、指定領域切り取り処理部１２は、処理３０３おいて指の現在位置を第１のデータベース３１に保存する。そして、処理３０４おいて第１のデータベース３１に保存されている指の現在位置において、最新のTouch Startイベント時の指の現在位置から現在の指の位置までの位置情報を時系列に線でつなぎ画面に表示する。指定領域切り取り処理部１２は、処理３０５にて図８のような始点と終点が一致した状態と判断すると、処理３０６にてその始点と終点が一致した閉領域からなる指定領域を作成して切り取り、その状態を保持する。処理３０５の始点と終点が一致しているかの判断方法は、例えば、図９のように始点を中心とした円領域を作成し、その範囲に指が戻ってきたら始点と終点が一致したと判断する方法がある。

［指定領域データ投入判定処理］
次に、図６に指定領域データ投入判定処理（処理１１４）の詳細を示す。この処理は処理１１３で作成されて切り取られた指定領域の上に指が触れると起こる処理である。指定領域データ投入判定処理部１３は、図１０に示すように、その指が指定領域に触れた状態から指を離さずに移動しているかを処理４０１で判断する。移動している場合は、指の現在位置がデータ投入領域内に有るかどうか判断する（処理４０２）。指の現在位置がデータ投入領域内に無い場合は処理４０７にて指の現在位置に上記切り取られた指定領域の中心が重なるように移動させる。このようにすることで、データ投入までの指が指定領域を動かしていることが利用者に提示される。

利用者が指定領域の移動を確認しながら、指をデータ投入領域に移動させると、指定領域データ投入判定処理部１３は、処理４０４にて指定領域がデータ投入されたと判断し、処理４０５に遷移する。処理４０５にて、指定領域内の情報から指定領域に含まれているテキスト又は画像のＨＴＭＬのタグを抽出する。なお、１つの指定領域に複数のテキスト又は画像が含まれる場合には、その全てのＨＴＭＬのタグを抽出する。

ここで、ＨＴＭＬタグの抽出方法について述べる。指定領域を図１１に示すようにメッシュ状に分割し、各点はスクリーン座標系の原点からの位置座標になるので、スクロール量及び拡大縮小率から各点の閲覧ページの原点に対する位置座標に変換する。一方で、各タグには、各ＨＴＭＬタグの閲覧ページの原点に対するタグの原点の位置および幅と高さを持つ。ゆえに、各点がどのＨＴＭＬタグの領域にあるかを調べることで、指定領域として切り取った箇所がどのＨＴＭＬタグの部分であるかを抽出できる。また他の抽出手法として、指定領域に含まれているテキスト／画像を文字／画像認識し、文字／画像の認識結果と閲覧ページに含まれるタグ内に記述されているテキスト／画像データを照合することにより、指定領域がどのＨＴＭＬタグの部分であるかを抽出することができる。

そして、指定領域データ投入判定処理部１３は、抽出したＨＴＭＬタグが<img>であれば、そのタグが読み込んでいる画像情報を保存する。抽出したＨＴＭＬタグが<p>や<textarea>であればそのタグ内に書かれているテキストデータを保存する。抽出したタグが<canvas>であればgetImageData()関数で画像の有無を判断し、有りの場合は画像データを保存し、またmasureText()関数でテキストの有無（返り値が０ならばテキスト無し）を判断し、有りの場合はテキストデータを保存する。なお、上記タグは一例であり、抽出するタグは、これらに限定されるものではない。

次に、指定領域データ投入判定処理部１３は、抽出したタグが書かれている行より小さい行の中で最も近いＨＴＭＬタグ<h1>、<h2>、<h3>、<h4>、<h5>、<h6>、<article>のいずれかのタグを探索し、発見した場合は上記抽出したＨＴＭＬタグの情報の補完情報として保存する。<h1>、<h2>、<h3>、<h4>、<h5>、<h6>、<article>は、一般的に見出しやタイトルとして使われるタグである。保存方法は、例えば図１２のように、タイトル等の補完情報と抽出したタグの情報（テキストまたは画像）とを対応付けて第２のデータベース３２に登録する。最後に処理４０６で指定領域を削除する。

［作成ボタン押下判定処理］
次に、作成ボタン押下判定処理（処理１１５）の詳細を図７に示す。この処理は処理１１４でデータ投入された情報をもとに再表示する。作成ボタン押下判定処理部１４は、処理５０１にて指が離れたこと検知するTouch Endイベントが起きたかどうかを判断し、指が離れる前の指の位置座標が作成ボタン上にあるの否かを処理５０２で判断する。作成ボタンが押下されたと判断すると、図１２のような第２のデータベース３２からタイトル、次にテキストまたは画像という順番に逐次的に並べ直し（処理５０３）、再構成した情報を画面に表示する（処理５０４）。例えば、図１３のように、例えば、指定領域に対応する段落が抽出された場合は、この段落に最も近いタイトルが補完情報として追加され、タイトル、段落の順番に再レイアウトされる。

以上述べたように、本実施形態の情報処理装置１００によれば、例えば、図１４に示すように、一部のテキストを指定領域とすることで文脈全部を切り取ることができ、一部の画像を指定領域とすることで画面表示上の拡大縮小率やスクロール状態にかかわらず画質を落とさずに元画像の画質で画像を切り取り保存することができる。さらに、切り取った情報は、後でその情報を見返した時にも理解しやすいように補完情報を付加した後に、再レイアウトして表示される。

したがって、上記実施形態によれば、画面上で指定された領域の情報を保存する際に、指定された領域に一部が含まれているような要素（タグが示す画像やテキスト等）も欠落の無い形で保存することが可能となる。画像を直接切出す技術に比べると、領域を荒っぽく指定しても情報の欠落が出ない、ウインドウ枠外に隠れている要素も一部が領域にかかっていれば欠落しない等の利点がある。したがって、簡単な操作で、指定された領域に対応する情報を有意性及び可読性の高い情報として抽出することが可能となる。

なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

１００…情報処理装置、１…制御部、２…タッチスクリーン、３…記憶部、１１…操作種類判別部、１２…指定領域切り取り処理部、１３…指定領域データ投入判定処理部、１４…作成ボタン押下判定処理部、２１…操作入力部、２２…表示部、３１…第１のデータベース、３２…第２のデータベース。

Claims (7)

1. マークアップ言語で記述されたページを表示し、触れられた画面上の位置情報を入力するタッチスクリーンと、
   前記位置情報をもとに移動の始点と終点とが一致する場合に、前記始点と終点とが一致した閉領域からなる指定領域を作成する作成手段と、
   前記指定領域の位置座標を、前記ページの原点に対する位置座標に変換する変換手段と、
   前記変換手段により変換された位置座標に基づいて前記指定領域に対応するタグが示す情報を抽出する抽出手段と、
   前記抽出手段で抽出したタグが示す情報に対応する見出しを補完情報として抽出し、前記タグが示す情報に前記補完情報を対応付ける補完手段とを具備することを特徴とする情報処理装置。
2. 前記抽出手段において、タグの抽出対象は、テキスト、画像、及び図形を示すタグのうちの少なくとも１つであることを特徴とする請求項１に記載の情報処理装置。
3. 前記タグが示す情報と前記補完情報とを対応付けて表示する表示手段をさらに具備することを特徴とする請求項１又は２に記載の情報処理装置。
4. マークアップ言語で記述されたページを表示し、触れられた画面上の位置情報を入力するタッチスクリーンを有する情報処理装置により実行される方法であって、
   前記位置情報をもとに移動の始点と終点とが一致する場合に、前記始点と終点とが一致した閉領域からなる指定領域を作成する作成ステップと、
   前記指定領域の位置座標を、前記ページの原点に対する位置座標に変換する変換ステップと、
   前記変換ステップにより変換された位置座標に基づいて前記指定領域に対応するタグが示す情報を抽出するステップと、
   前記抽出ステップで抽出したタグの直前の見出しを補完情報として抽出し、前記タグが示す情報に前記補完情報を対応付ける補完ステップとを有することを特徴とする情報処理方法。
5. 前記抽出ステップにおいて、タグの抽出対象は、テキスト、画像、及び図形を示すタグのうちの少なくとも１つであることを特徴とする請求項４に記載の情報処理方法。
6. 前記タグが示す情報と前記補完情報とを対応付けて表示する表示ステップをさらに具備することを特徴とする請求項４又は５に記載の情報処理方法。
7. 請求項１乃至３のいずれか１項に記載の情報処理装置を構成する各手段としてコンピュータを機能させるプログラム。

Images