JP5913774B2 - Ｗｅｂサイトを共有する方法、電子機器およびコンピュータ・プログラム - Google Patents

Description

本発明は、電子機器が表示しているＷｅｂサイトを他の電子機器に直感的な操作で表示する技術に関する。

ネットワークに接続できる複数の電子機器が近接した場所に同時に存在するときに、ある電子機器で表示する所定のＵＲＬのＷｅｂサイトを他の電子機器に表示したい場合がある。たとえば、会議の参加者の一人が特定のＷｅｂサイトのページを自らの電子機器やプロジェクタに表示して説明する場合に、他の参加者も自らの電子機器に同じページを迅速に表示できれば都合がよい。

特許文献１は、カメラで広告を撮影したユーザ端末が当該広告を掲載している会社のＷｅｂサイトにアクセスする発明を開示する。ユーザ端末では、撮影した画像がＵＲＬを含む場合は文字認識でＵＲＬを特定する。撮影した画像がＵＲＬを含まない場合は、当該企業の会社名とＵＲＬを関連付けたテーブルを利用してＵＲＬを特定する。ユーザ端末では特定したＵＲＬをブラウザに設定してＷｅｂサイトにアクセスする。

特許文献２は、カメラ付き携帯電話で撮影した画像から、当該画像に関連するＷｅｂサイトへ誘導する発明を開示する。携帯電話はＷｅｂサイト画像検索サービス提供サーバ（サーバ）とネットワークを通じて接続される。サーバは、画像の特徴量に応じた類似度別にＷｅｂサイトのＵＲＬを関連付けたデータ・ベースを備えている。サーバは、携帯電話から受け取った画像から特徴量を抽出してデータ・ベースを検索してＵＲＬを抽出する。サーバは抽出したＵＲＬを携帯電話に送る。非特許文献１は、スマートフォンが撮影した画像から文字を認識して、対象物に関する情報を表示する技術を開示する。ユーザは写真撮影をすれば文字を入力しないでも必要な情報を検索することができる。

特開２００２−２７８８５７号公報 特開２００３−２７１６５０号公報

"google goggle"、［online］、［平成２６年１月６日検索］、インターネット〈URL:http://en.wikipedia.org/wiki/Google_Goggles〉

ＵＲＬを共有する１つの方法として、送り手の参加者からその場で当該ＵＲＬを聞いた受け手の参加者が直接ブラウザに入力することが考えられる。しかし、文字数の長いＵＲＬでは送り手と受け手の参加者のいずれも負担が大きく時間もかかる。他の方法として、送り手の参加者が当該ＵＲＬを電子メールで受け手の参加者に転送する方法がある。しかし、転送の相手が多い場合には特に送り手の参加者の負担が大きくやはり時間もかかる。他の方法としてＳＮＳで送信する方法があるが、必要な相手にだけ送ることができない。

送り手の参加者が当該ＵＲＬのＱＲ（登録商標）コードを作成して画面に表示し、受け手の参加者がカメラ撮影する方法もあるが、送り手の参加者の負担が大きく時間がかかる。送り手の参加者の負担が大きい場合は特に当該ＵＲＬを送り難くなり、また、時間がかかることは会議の中断をもたらすために好ましくない。特許文献１の発明では、ＵＲＬを完全に撮影できれば、簡単に当該Ｗｅｂサイトにアクセスできるが、アドレス・ウィンドウが小さかったり、ＵＲＬが長かったりして完全にＵＲＬを撮影できない場合は適用できない。また、会社名とＵＲＬを関連付けたテーブルが必要になるため、共有できる範囲が制約を受ける。

特許文献２の発明では、あらかじめ画像の内容とＵＲＬを関連付けたデータ・ベースを提供するサーバが必要となる。しかし、データ・ベースは、特定企業のＷｅｂサイトのＵＲＬを広告の内容に関連付けることは可能だとしても、その作成および維持には膨大なコストが発生する。しかも、ジャンルを予想できない無数のＷｅｂページへのアクセスに適用することはできない。また、非特許文献１の技術では、画像から認識した文字に関連するサイトにアクセスすることはできるが、撮影した画像のＷｅｂサイトにアクセスすることはできない。

そこで本発明の目的は、Ｗｅｂサイトをその場で直感的な操作で共有する方法を提供することにある。さらに本発明の目的は、送り手に負担をかけないでＷｅｂサイトを共有する方法を提供することにある。さらに本発明の目的は、検索の対象とするＷｅｂサイトに関する専用のデータ・ベースを利用しないでＷｅｂサイトを共有する方法を提供することにある。さらに本発明の目的は、そのような方法を実現する電子機器およびコンピュータ・プログラムを提供することにある。

本発明の電子機器は、カメラ・モジュールから画像データを取得することができる。カメラ・モジュールは電子機器の筐体に収納しても、有線または無線で電子機器に接続できるようにしてもよい。カメラ・モジュールがネットワーク上のＷｅｂサイトのサイト画像を撮影する。撮影画像が含む文字を認識して作成したキーワードでネットワークを検索して複数の検索サイトを取得する。さらに各検索サイトと撮影画像の近似度を評価する。

上記構成では、キーワードで対象となる検索サイトを絞り込み、つづいて、撮影画像と検索サイトの近似度を評価することで対象とするＷｅｂサイトの推定の精度を向上させる。受け手はその場でカメラ撮影をするだけで、被写体となっている撮影画像のＷｅｂサイトにアクセスすることができる。本発明では、対象とするＷｅｂサイトを特徴付ける専用のデータ・ベースを利用する必要がない。撮影画像と検索サイトから文字集合の領域で背景画像から区分したカテゴリー領域を特定し、カテゴリー領域に関する近似度を評価することで、近似度を評価する精度を向上させることができる。

カテゴリー領域は、ヘッダ領域、フッタ領域、ナビゲーション領域、本文領域およびキャプション領域からなるグループから選択したいずれか１つまたは複数の要素を含むことができる。近似度を評価するときは、カテゴリー領域ごとにキーワードの近似度を評価することができる。さらにカテゴリー領域のイメージから抽出した特徴データの近似度を評価することもできる。

このとき特徴データは、カテゴリー領域の座標、サイズ、背景色、文字数、文字サイズ、および文字色からなるグループから選択したいずれか１つの要素または複数の要素を含むようにすることができる。また、撮影画像と検索サイトのそれぞれにおけるカテゴリー領域の配置パターンの近似度を評価することもできる。検索サイトと撮影画像の近似度の評価は、サイト画像における撮影画像の位置に対応する検索サイトの評価領域を画定し、撮影画像と評価領域について評価することができる。

近似度の評価は、撮影画像が含むカテゴリー領域と評価領域が含むカテゴリー領域の配置パターンを比較して行うことができる。撮影画像と評価領域のそれぞれに基準サイズを設定することで、表示倍率やピクセル・サイズが異なってもカテゴリー領域のサイズや文字サイズの差を利用して近似度を評価することができる。

評価領域の位置は、撮影画像が含むヘッダ領域、フッタ領域、またはナビゲーション領域の撮影画像における位置を推定して画定することができる。ヘッダ領域またはフッタ領域を推定する際に縦スクロール・バーの位置を判断し、ナビゲーション領域を推定する際に横スクロール・バーの位置を判断するとソース・デバイスのユーザがＵＲＬの共有のためにスクロール・バーの操作する必要がなくなる。本文領域とキャプション領域は、それらが含む文字数を計算して推定することができる。

本発明により、Ｗｅｂサイトをその場で直感的な操作で共有する方法を提供することができた。さらに本発明により、送り手に負担をかけないでＷｅｂサイトを共有する方法を提供することができた。さらに本発明により、検索の対象とするＷｅｂサイトに関する専用のデータ・ベースを利用しないでＷｅｂサイトを共有する方法を提供することができた。さらに本発明により、そのような方法を実現する電子機器およびコンピュータ・プログラムを提供することができた。

本実施の形態にかかるスマートフォン１０のハードウェアの概略の構成を説明するための図である。 スマートフォン１０が搭載するＵＲＬ共有システム１００の構成を説明するための機能ブロック図である。 ＵＲＬ共有システム１００の動作手順を説明するためのフローチャートである。 ソース・デバイスが表示しているＷｅｂサイトの画像の一例を説明するための図である。 サイト特徴抽出部１０３がカテゴリー領域を特定しその名称を推定する手順を説明するためのフローチャートである。 サイト特徴抽出部１０３が作成したキーワード・リストの一例を示す図である。 サイト特徴抽出部１０３が作成したイメージ・リストの一例を示す図である。 撮影画像３００と検索サイト画像３８０の関係を説明するための図である。 サイト評価部１０５が評価領域３７０ａのサイズと位置を画定する手順を説明するためのフローチャートである。 評価領域の同定方法をおよびカテゴリー領域の配置パターンの比較方法を説明するための図である。

［ハードウェア］
図１は、スマートフォン１０のハードウェアの概略の構成を説明するための図である。スマートフォン１０は、ノートブック型パーソナル・コンピュータ（ノートＰＣ）、デスクトップ型パーソナル・コンピュータ（デスクトップＰＣ）、またはタブレット端末などの本発明が適用できる電子機器の一例である。スマートフォン１０は、ＣＰＵ１１、システム・メモリ１３、Ｉ／Ｏインターフェース１５、ＳＳＤ１７、タッチスクリーン１９、無線モジュール２１およびカメラ・モジュール２３などを含んでいる。

ＳＳＤ１７は、図２に記載するＵＲＬ共有システム１００を構成するソフトウェアを格納する。無線モジュール２１は、ＵＲＬ共有システム１００がＷＷＷネットワーク１５０に接続するためのインターフェースを提供する。カメラ・モジュール２３は、ＣＭＯＳイメージ・センサまたはＣＣＤイメージ・センサを備え、所定のフレーム・レートで撮影した画像のイメージ・データをＵＲＬ共有システム１００に出力する。タッチスクリーン１９は、タッチ・パネルを組み込んでタッチ操作が可能なディスプレイであるが、本発明の適用に関する限りはタッチ操作ができない通常のディスプレイでもよい。

本発明が適用できる電子機器は、デジタル・カメラが撮影したイメージ・データを処理でき、かつ、Ｗｅｂサイトにアクセスしてタッチスクリーン１９のようなディスプレイにＷｅｂ画像を表示できるプログラムの実行可能なデバイスであればよい。したがって、必ずしもカメラ・モジュール２３およびタッチスクリーン１９をＵＲＬ共有システム１００と同じ筐体に搭載する必要はない。ここにＷｅｂサイトはそれぞれＵＲＬ（Uniform Resource Locator）を備える複数のＷｅｂページの集合をいう。本明細書では、ＵＲＬを指定してＷＷＷネットワーク１５０からＷｅｂページのＨＴＴＰデータを取得することをＷｅｂサイトにアクセスするということにし、ＷｅｂサイトをＷｅｂページと同じ意味で使用する。なお、本発明に関する限りスマートフォン１０のハードウェアの構成は周知であるため詳細な説明は省略する。

［ＵＲＬ共有システム］
図２は、スマートフォン１０が搭載するＵＲＬ共有システム１００の構成を説明するための機能ブロック図である。図３は、ＵＲＬ共有システム１００の動作手順を説明するためのフローチャートである。ＵＲＬ共有システム１００は、画像取得部１０１、サイト特徴抽出部１０３、サイト評価部１０５、サイト・アクセス部１０９、および画像データ出力部１０７を含んでいる。

ＵＲＬ共有システム１００は、他の電子機器（以後、ソース・デバイスという。）のディスプレイが表示するＷｅｂサイトを撮影した画像（以後、撮影画像という。）の特徴を分析し、ＷＷＷネットワーク１５０を検索して得たＷｅｂサイトの画像（以後、検索サイト画像という。）と撮影画像との近似度を評価して撮影画像のＵＲＬを推定し、スマートフォン１０のタッチスクリーン１９に推定したＵＲＬのＷｅｂサイトを表示するための処理をする。スマートフォン１０のユーザがＷｅｂサイトを撮影すれば、ＵＲＬ共有システム１００が自動的にタッチスクリーン１９に同一のＷｅｂサイトを表示する。

ＷＷＷネットワーク１５０は、インターネットまたはイントラネットのようなＷＷＷサービスを提供する複数のＷＷＷサーバ１５１ａ〜１５１ｃを接続している。ＷＷＷサーバ１５１ａ〜１５１ｃは、スマートフォン１０のようなＷＷＷクライアントがリクエストするＵＲＬに対応したＷｅｂサイトを有するときに、ＨＴＭＬ、ＸＨＴＭＬといったようなＷＷＷクライアントのＷｅｂブラウザで表示できるマークアップ言語で記述したＨＴＴＰデータを含むレスポンスを返送する。

スマートフォン１０のＷｅｂブラウザは、マークアップ言語を翻訳してタッチスクリーン１９に表示するためのイメージ・データを作成する。ＵＲＬ共有システム１００は、ＳＳＤ１７が格納するＯＳ、デバイス・ドライバ、Ｗｅｂブラウザ、および本発明のために作成したプログラムなどのソフトウェアと、それを実行するＣＰＵ１１、システム・メモリ１３およびＩ／Ｏインターフェース１５などのハードウェアとの協働で構成している。

最初に図２に示すＵＲＬ共有システム１００の構成要素の概要を説明する。画像取得部１０１はソース・デバイスのディスプレイが表示するＷｅｂサイトの画像（以後、サイト画像という。）を撮影したカメラ・モジュール２３から撮影画像のイメージ・データを受け取って、図３のブロック２０５の手順を実行する。ここに、Ｗｅｂブラウザのウィンドウ（ブラウザ・ウィンドウ）、ディスプレイおよびＷｅｂサイトのピクセル・サイズおよび表示倍率などによりソース・デバイスのディスプレイが表示する画像はサイト画像の一部の場合がある。

サイト特徴抽出部１０３は、ＷＷＷネットワーク１５０からＨＴＴＰデータを取得するための複数のＨＴＴＰユーザ・エージェント、およびgoogle（登録商標）、yahoo（登録商標）などの汎用の検索エンジンを含んでいる。サイト特徴抽出部１０３はブロック２０７から２１７の手順を実行して画像取得部１０１から受け取った撮影画像の特徴を分析してキーワードを作成する。サイト特徴抽出部１０３は、作成したキーワードでＷＷＷネットワーク１５０を検索してヒットしたＷｅｂサイト（以後、検索サイトという。）のＨＴＴＰデータを取得する。

サイト評価部１０５は、サイト特徴抽出部１０３から受け取った検索サイトのＨＴＴＰデータをレンダリングして。画像データ出力部１０７がサイト・アクセス部１０９から受け取るイメージ・データと同じデータ形式のイメージ・データを作成するレンダリング・エンジンを含む。サイト評価部１０５は、ブロック２１８から２２９の手順を実行して撮影画像と検索サイトを比較しソース・デバイスが表示していたＷｅｂサイトのＵＲＬを推定する。

サイト・アクセス部１０９はInternet Explorer（登録商標）、Firefox（登録商標）、Safari（登録商標）、Chrome（登録商標）、またはOpera（登録商標）などのＷｅｂブラウザを含んでいる。サイト・アクセス部１０９は、無線モジュール２１を通じてＷＷＷネットワーク１５０にアクセスして取得したＷｅｂサイトのＨＴＴＰデータをレンダリングして作成したイメージ・データを画像データ出力部１０７に送る。

サイト・アクセス部１０９は、サイト評価部１０５が推定した最も優先度が高いサイト画像のイメージ・データをブロック２３１の手順を実行して画像データ出力部１０７に送る。画像データ出力部１０７は、サイト・アクセス部１０９から受け取ったイメージ・データをタッチスクリーン１９が表示できるデータ形式に変換してタッチスクリーン１９に出力する。

つぎに図３の手順にしたがって、ＵＲＬ共有システム１００の詳細な動作を説明する。ブロック２０１で、ＵＲＬの共有元になるソース・デバイスがＷＷＷネットワーク１５０にアクセスして、所定のＵＲＬに対応するＷｅｂサイトを表示している。ソース・デバイスは、ノートＰＣ、デスクトップＰＣ、タブレット端末、またはスマートフォンのように、ＷＷＷネットワーク１５０にアクセスして、ディスプレイにＷｅｂサイトを表示できる電子機器またはこれらの電子機器に接続してＷｅｂサイトを表示するプロジェクタとすることができる。

ＨＴＴＰユーザ・エージェントが異なると、アクセスしたＷｅｂサイトが同一でも、異なったＨＴＴＰデータが返送される場合がある。ブロック２０３でサイト特徴抽出部１０３のＨＴＴＰユーザ・エージェントをソース・デバイスのＨＴＴＰユーザ・エージェントに合致するように設定する。ＷＷＷサーバ１５１ａ〜１５１ｃは、サイト特徴抽出部１０３のリクエストが含むＨＴＴＰユーザ・エージェントの識別子を認識するとそれに適合するＨＴＴＰデータを返送する。ここでは、ソース・デバイスのＨＴＴＰユーザ・エージェントがノートＰＣのＷｅｂブラウザに適合することを前提にして説明するが、本発明はスマートフォンまたはタブレット端末などのＷｅｂブラウザに適合するユーザ・エージェントを使用するソース・デバイスにも適用できる。

ブロック２０５では、カメラ・モジュール２３がソース・デバイスのディスプレイまたはプロジェクタのスクリーンが表示するサイト画像を撮影すると画像取得部１０１が撮影画像のイメージ・データをサイト特徴抽出部１０３に送る。ブロック２０７でサイト特徴抽出部１０３は、天地方向を修正するために必要に応じて回転させた撮影画像に対して周知のＯＣＲ（Optical Character Reader）技術を適用して撮影画像が含むすべての文字を抽出する。

さらにサイト特徴抽出部１０３は、当該文字が配置されている領域（以後、カテゴリー領域といい、詳細は後述する。）を特定する。文字情報の抽出とカテゴリー領域の特定方法については図４、図５を参照して説明する。図４は、ソース・デバイスのディスプレイが表示していた画像を撮影した撮影画像の一例を説明するための図である。図４（Ａ）の撮影画像３００はサイト画像の最上部の近辺領域に相当し、図４（Ｂ）の撮影画像３０１は同一のサイト画像の最下部の近辺領域に相当する。サイト画像は、ソース・デバイスのブラウザ・ウィンドウ内に表示されるが、図４ではブラウザ・ウィンドウの四方の枠のなかで縦スクロール・バー３５１と横スクロール・バー３５３だけを示し、通常は上に表示するタイトル・バー、ツール・バー、タブ、アドレス・バーおよびメニュー・バーなどの枠は省略している。

撮影画像３００は一例としてヘッダ領域３０３、タイトル領域３０５、ナビゲーション領域３０７、本文領域３０９ａ〜３０９ｃ、およびイメージ領域３１１を含んでいる。ヘッダ領域３０３は当該Ｗｅｂサイトのサイト名、企業名、ロゴ、画像などを掲載する領域に相当する。タイトル領域３０５は、当該Ｗｅｂサイトが含むＷｅｂページのタイトルを掲載する領域に相当しＷｅｂページごとに存在する。

本文領域３０９ａ〜３０９ｃは主として文字を掲載する領域に相当する。イメージ領域３１１は、写真、模様、記号または図形などのイメージを掲載する領域に相当する。本文領域３０９ａ〜３０９ｃおよびイメージ領域３１１は当該Ｗｅｂページの主要なコンテンツを掲載する領域に相当する。ナビゲーション領域３０７は、当該Ｗｅｂサイト内の他のＷｅｂページまたは他のＷｅｂサイトへリンクした文字や当該Ｗｅｂサイトのメニューなどを掲載する領域に相当する。

先に説明した理由で、撮影画像３００、３０１はサイト画像の一部の領域になっている。撮影画像３００は縦スクロール・バー３５１が最上端に位置し、横スクロール・バー３５３が最左端に位置しており、左端部および上端部はブラウザ・ウィンドウの内縁に一致しているが右側および下側の一部がブラウザ・ウィンドウから外れている。このときソース・デバイスでは縦スクロール・バー３５１および横スクロール・バー３５３を操作して、ブラウザ・ウィンドウ内でサイト画像を移動させて隠れていた領域を表示することができる。

撮影画像３０１は縦スクロール・バー３５１が最下端に位置し、横スクロール・バー３５３が最右端に位置している。撮影画像３０１は、下端部と右端部がスクロール・バーの内縁に一致しているが、左側および上側の一部がブラウザ・ウィンドウから外れている。撮影画像３００は、上端部の近辺にヘッダ領域３０３を含み、左端部の近辺にナビゲーション領域３０７を含んでいる。これに対して撮影画像３０１は、右端部の近辺にキャプション領域３１３を含み下端部の近辺にフッタ領域３１５を含んでいる。キャプション領域３１３は、イメージ領域３１１の内容を説明する文字を掲載する領域に相当する。フッタ領域３１５は、著作権表記、会社案内、プライバシー・ポリシーなどを説明する文字や小画像などを掲載する領域に相当する。

通常のＷｅｂデザインでは、ヘッダ領域３０３をサイト画像の最上部の近辺に配置し、フッタ領域３１５を最下部の近辺に配置し、ナビゲーション領域３０７を最左端側または最右端の近辺に配置する。本実施の形態では、このような通常のＷｅｂデザインが採用している各領域の特徴的な配置に着目してサイト画像のＵＲＬを推定する。タイトル領域３０５、ナビゲーション領域３０７、本文領域３０９ａ〜３０９ｃ、イメージ領域３１１、キャプション領域３１３およびフッタ領域３１５のコンテンツはＷｅｂページに相当する。一例では、Ｗｅｂページのコンテンツに貼り付けられたハイパーリンクにアクセスして同一のＷｅｂサイトの他のＷｅｂページに移動したときには、Ｗｅｂページの表示は変化するがヘッダ領域３０３およびナビゲーション領域３０７の表示は変化しない。

なお、ここに説明したＷｅｂサイトのパターン構成はあくまで本発明を説明するための一例にすぎない。たとえばナビゲーション領域３０７が複数存在する場合や、ナビゲーション領域３０７がスクロール・バーを備える場合もある。またフッタ領域３１５、イメージ領域３１１またはキャプション領域３１３が存在しなかったりするＷｅｂサイトも存在する。さらに本文領域３０９ａ〜３０９ｃ、イメージ領域３１１およびキャプション領域３１３の配置もＷｅｂサイトのデザインに応じて異なる。

また、ソース・デバイスがタブレット端末またはスマートフォンの場合は、通常スクロール・バーが存在しない代わりにタッチ操作でスクロールすることができる。そして、フリック操作で画面を上下方向にスクロールするとヘッダ領域も同時に動いたり、左右方向にはスクロールできなかったりする場合がある。ＵＲＬ共有システム１００は、このようにさまざまな態様でソース・デバイスに表示されるサイト画像を撮影してそのＵＲＬを推定する。

撮影画像３００、３０１を構成するヘッダ領域３０３、タイトル領域３０５、本文領域３０９ａ〜３０９ｃ、ナビゲーション領域３０７、キャプション領域３１３およびフッタ領域３１５といった領域要素は、撮影画像の中の配置やイメージの特徴で推定することができる。これらの領域要素は、当該Ｗｅｂサイトを特徴付ける情報を含んでおり、先に述べたカテゴリー領域に相当する。カテゴリー領域には、ＵＲＬの推定に利用可能な、Ｗｅｂブラウザのアドレス・ウィンドウおよび表示しているＷｅｂページのタイトルなどを表示するＷｅｂブラウザのタブも含めることもできる。

アドレス・ウィンドウが完全なＵＲＬを表示する場合には、ＯＣＲで撮影画像３００、３０１のＵＲＬを認識すれば容易に当該Ｗｅｂサイトにアクセスできるが、本発明は撮影画像３００、３０１が含むアドレス・ウィンドウが小さいために完全なＵＲＬを含まない場合、Ｗｅｂブラウザがアドレス・ウィンドウを含まない場合、およびアドレス・ウィンドウがソース・デバイスのディスプレイの表示領域から隠れている場合などに特に有効である。

なお、周知のオブジェクト認識技術を使ってイメージ領域３１１のイメージが含むオブジェクトを認識して相当する名称を抽出することもできる。この場合は、イメージ領域３１１もカテゴリー領域に含めることができる。サイト特徴抽出部１０３は、撮影画像３００、３０１に対応するＷｅｂサイトのＨＴＴＰデータを取得できないため撮影画像３００、３０１のイメージ・データだけからカテゴリー領域の名称を推定する必要がある。しかも、カメラ・モジュール２３が撮影した時点でソース・デバイスのディスプレイが表示している撮影画像のサイト画像における位置は一定していない。

スマートフォン１０がＷｅｂサイトを撮影する前に、ソース・デバイスにおいて縦スクロール・バー３５１および横スクロール・バー３５３を操作して、サイト画像の左上コーナーとブラウザ・ウィンドウの左上のコーナー３２１が一致するようにすれば、ヘッダ領域３０３およびナビゲーション領域３０７の推定が容易になる。また、撮影画像３０１のように、サイト画像の右下のコーナーとブラウザ・ウィンドウの右下のコーナー３２３が一致するようにすればフッタ領域３１５の推定は容易になる。

しかし、本実施の形態では、ソース・デバイスのユーザがディスプレイの表示に対して余分な操作をしないでもＵＲＬの共有をすることができる。このことは、ソース・デバイスのユーザが会議でディスプレイにＷｅｂサイトの任意の位置を表示して説明しているときに、他の参加者が当該Ｗｅｂサイトを表示するディスプレイを撮影するだけで当該ＷｅｂサイトのＵＲＬを共有できるため討論を中断しなくてもよいという利点がある。

図５は、サイト特徴抽出部１０３がカテゴリー領域を特定しその名称を推定する手順を説明するためのフローチャートである。カテゴリー領域の外延を画定する境界には視覚で認識できるライン状の枠や背景色で区別した枠がない場合がある。したがって、撮影画像３００、３０１のイメージ・データから境界の枠を探してカテゴリー領域の範囲を特定することができない場合がある。ブロック４０１でサイト特徴抽出部１０３は、撮影画像３００、３０１のイメージ・データに対してＯＣＲ技術を適用しすべての文字を認識する。

各カテゴリー領域は、文字を含まない背景画像の領域を挟んで相互に区分されたまとまりのある文字の集合を形成している。以後この、文字の集合を文字の島ということにする。ブロック４０３でサイト特徴抽出部１０３は、文字の島の範囲を矩形領域として特定し、たとえばブラウザ・ウィンドウの左上のコーナー３２１に一致する撮影画像３００の左上のコーナーを原点として、本文領域３０９ａの左上のコーナー３２５の座標で撮影画像３００における本文領域３０９ａの位置を特定する。このときサイト特徴抽出部１０３は、文字の島の周囲にラインまたは背景色の境界として矩形状の枠を認識したときは、当該枠の範囲をカテゴリー領域と特定し、枠を認識しないときは文字の集合の外延が形成する矩形状の領域をカテゴリー領域と特定することができる。

ブロック４０５でサイト特徴抽出部１０３は、特定した各カテゴリー領域について縦横サイズ、背景色、文字数、文字サイズおよび文字色といったカテゴリー領域のイメージを特徴付ける特徴データを抽出する。縦横サイズおよび文字サイズは、ソース・デバイスのディスプレイの解像度、またはサイト画像を表示しているときの画面の表示倍率などで変化するため、検索サイトとの比較の際にはそのまま利用することはできない。

サイト特徴抽出部１０３は、撮影画像３００、３０１と検索サイトの同じ部位に基準サイズを設定し、基準サイズに対する相対値として縦横サイズおよび文字サイズを計算することで、それらを後に行う検索サイトとの近似度の評価に利用することができる。通常、本文領域３０９ａ〜３０９ｃでは文字に同一のポイントを採用し、かつ、カテゴリー領域の中で文字数が最も多い。サイト特徴抽出部１０３は特定したカテゴリー領域のなかで、たとえば最も多くの文字を含むカテゴリー領域の文字サイズを基準サイズにしてカテゴリー領域の縦横サイズおよび文字サイズの相対値を計算することができる。

また、サイト特徴抽出部１０３は、ブロック４５３、４５５、４５７で説明するように撮影画像３００、３０１のコーナーがブラウザ・ウィンドウのコーナー３２１、３２３に一致すると判断してヘッダ領域３０３、フッタ領域３１５、ナビゲーション領域３０７を認識できる場合がある。この場合はヘッダ領域３０３、フッタ領域３１５の上下方向のサイズＬ１、Ｌ２（図１０参照）またはナビゲーション領域３０７の左右方向のサイズＬ４（図１０参照）を基準サイズにして、各カテゴリー領域の縦横サイズおよび文字サイズの相対値を計算することができる。

ヘッダ領域３０３およびナビゲーション領域３０７は、文字に複数の色を使用している場合がある。サイト特徴抽出部１０３は、カテゴリー領域が含む文字の色とその数を特定する。さらにサイト特徴抽出部１０３は、カテゴリー領域の背景色を特定する。ここまでの手順では、カテゴリー領域の存在および特徴は特定できたがその名称は特定できていない。本発明では、カテゴリー領域の名称を特定しないでも撮影画像３００、３０１のＵＲＬを推定できるが、検索サイトについてはＨＴＴＰデータからカテゴリー領域の正確な名称を得ることができるため、カテゴリー領域の名称を撮影画像と検索サイトの近似度の評価に利用することができる。したがって、以下の手順でカテゴリー領域の名称を推定して近似度の評価に利用する。

ブロック４０７でサイト特徴抽出部１０３は、撮影画像３００、３０１が縦スクロール・バー３５１または横スクロール・バー３５３を含むかどうかを判断する。縦スクロール・バー３５１と横スクロール・バー３５３の存否は、あらかじめテンプレートとして登録した画像のパターンと比較して判断することができる。撮影画像３００がスクロール・バーの画像を含む場合は、ブロック４５１に移行し、含まない場合はブロック４０９に移行する。

サイト特徴抽出部１０３はブロック４５１で縦スクロール・バー３５１が最上端に位置するか否かを判断する。縦スクロール・バー３５１が最上端に位置する場合は、サイト特徴抽出部１０３はブロック４５３で撮影画像３００の最上端の近辺に位置する文字の島から特定した矩形状の領域をヘッダ領域３０３と推定することができる。ヘッダ領域３０３がロゴを含む場合がある。ロゴは通常ヘッダ領域３０３のロゴ以外の文字または他のカテゴリー領域の文字よりもサイズが大きいので、文字の島が所定値以上のサイズの文字を含むか、あるいはそこに含む文字のサイズのバラツキが大きい場合にだけヘッダ領域３０３を推定することもできる。

縦スクロール・バー３５１が最上端に位置しない場合は、ブロック４５５で縦スクロール・バー３５１が最下端に位置するか否かを判断する。縦スクロール・バー３５１が最下端に位置する場合は、サイト特徴抽出部１０３はブロック４５７で撮影画像３００の最下端の近辺に位置する文字の島から特定した矩形状の領域をフッタ領域３１５と推定することができる。サイト特徴抽出部１０３は縦スクロール・バー３５１が最下端に位置しない場合は、ブロック４５９で横スクロール・バー３５３が最左端または最右端に位置するか否かを判断する。

いずれにも位置しない場合はブロック４０９に移行し、いずれかに位置する場合はブロック４６１に移行する。ナビゲーション領域３０７は通常サイト画像の左端および右端またはいずれか一方の近辺に位置する。ブロック４６１でサイト特徴抽出部１０３は横スクロール・バー３５３の位置に応じて、撮影画像３００の最左端または最右端の近辺に上下に所定値より長い矩形状の文字の島が存在するか否かを判断する。存在する場合はブロック４６５に移行し存在しない場合はブロック４６３に移行する、サイト特徴抽出部１０３はブロック４６５で最左端または最右端の近辺に位置する文字の島から特定した矩形状の領域をナビゲーション領域３０７と推定することができる。

ナビゲーション領域３０７の背景は、その他の領域と色が異なる場合がある。ブロック４６３でサイト特徴抽出部１０３は、最左端または最右端の近辺にある文字の島の背景色と隣接する文字の島の背景色または文字の島以外の領域の色を比較して、一致する場合は識別できないと判断してブロック４０９に移行し、異なる場合はブロック４６５に移行する。ブロック４６５でサイト特徴抽出部１０３は、最左端または最右端の近辺にある文字の島から特定した矩形状の領域をナビゲーション領域３０７と推定することができる。

ブロック４０７からブロック４０９に移行するのは、撮影画像３００、３０１を表示するＷｅｂブラウザがウィンドウ形式で表示されているためにスクロール・バーが画面の表示領域から外れている場合、サイト画像のピクセル・サイズが小さいためにスクロール・バーを利用する必要がない場合、またはＷｅｂブラウザがスクロール・バーをサポートしないタイプの場合などである。ブロック４０９でサイト特徴抽出部１０３は、いまだ名称を推定していない文字の島の文字数が所定値以上か否かを判断する。所定値以上の場合はブロック４１１に移行し、所定値未満の場合はブロック４１３に移行する。

本文領域３０９ａ〜３０９ｃが含む文字数は、通常他のカテゴリー領域が含む文字数よりも多い。ブロック４１１でサイト特徴抽出部１０３は、所定数以上の文字を含む文字の島から特定した矩形状の領域を本文領域３０９ａ〜３０９ｃと推定することができる。このとき、サイト特徴抽出部１０３は、文字サイズまたは文字色が均一である場合に限って本文領域３０９ａ〜３０９ｃを推定するようにしてもよい。

ブロック４１３でサイト特徴抽出部１０３は、撮影画像３００がイメージ領域３１１を含むか否かを判断する。イメージ領域３１１を含む場合はブロック４１５に移行し含まない場合はカテゴリー領域を特定する処理を終了する。イメージ領域３１１の近辺には、キャプション領域３１３の他に本文領域３０９ａ〜３０９ｃも存在する。しかし、キャプション領域３１３が含む文字数は、本文領域３０９ａ〜３０９ｃが含む文字数よりも少ない場合が多い。ブロック４１５でサイト特徴抽出部１０３は、イメージ領域３１１の周囲に隣接する文字の島のなかで最も文字数の少ない文字の島から特定した矩形状の領域をキャプション領域３１３と推定することができる。

ブロック４１７までの間に、いずれのカテゴリー領域も推定することができない場合は、サイト特徴抽出部１０３はブロック４０１に戻って判定基準を緩和して、最低１個の本文領域を推定するまで手順を繰り返すことができる。図５の手順では、撮影画像のサイト画像における位置が特定できないため、スクロール・バー３５１、３５３が存在しないときはヘッダ領域３０３、フッタ領域３１５、およびナビゲーション領域３０７の名称を推定していない。ただし、本実施の形態ではカテゴリー領域の名称が推定できなくても、撮影画像と評価領域（図８参照）の対応するカテゴリー領域同士を比較して近似度を評価することができる。

サイト特徴抽出部１０３は、カテゴリー領域の名称を推定し、かつカテゴリー領域ごとの特徴データを抽出してブロック２０７の手順を終えるとブロック２０９に移行する。ブロック２０９でサイト特徴抽出部１０３は、各カテゴリー領域が含む文字から検索エンジンによる検索に適したキーワードを作成して図６に示すキーワード・リスト２５０を作成する。サイト特徴抽出部１０３は検索エンジンに入力する検索式をカテゴリー領域と関連付けて作成することができる。

ヘッダ領域３０３は、一般的に検索エンジンが重要視する情報を含むため、そこに含む文字はすべてキーワードとすることができる。その他のカテゴリー領域が含むキーワードは、普通名詞、固有名詞、または数詞のなかで辞書に掲載している単語を選択することができる。さらにキーワードには、日付、人名、地名などのあらかじめ登録したジャンルに含まれる単語を選択することができる。あるいはキーワードは、単語に加えて文または文を意味がわかる範囲で区切った文節などを選択することができる。

図６は、一例として現存のＷｅｂサイトから作成したキーワード・リストの一部を示している。ブロック２１１でサイト特徴抽出部１０３は、撮影画像３００、３０１から特定したカテゴリー領域のイメージの特徴を示す特徴データで図７に一例として示すイメージ・リスト２６０を作成する。イメージ・リスト２６０は一例として、カテゴリー領域ごとのレコードに対して座標、領域サイズ、背景色、文字数、文字サイズ、および文字色からなる特徴データを記述するフィールドで構成している。イメージ・リスト２６０は、さらにアルファベット、漢字、ラテン文字などの文字タイプおよび言語の種類を含むようにしてもよい。

一例として、座標は、撮影画像３００、３０１の原点に対するカテゴリー領域の左上コーナーの座標（たとえば３２５）とし、領域サイズはカテゴリー領域の縦横のサイズとし、背景色はカテゴリー領域を占める最も面積が大きい色とし、文字数はカテゴリー領域が含む文字数とし、文字サイズはカテゴリー領域が含む全文字のサイズの平均値とし、文字色はカテゴリー領域が含む文字に使用するすべての色とすることができる。

ブロック２１３でサイト特徴抽出部１０３はキーワード・リスト２５０に登録したキーワードを利用して周知の検索エンジンに入力する検索式を作成する。検索式は検索エンジンに入力するためのキーワードと論理記号の組み合わせに相当する。ここでは、ソース・デバイスが表示していたＷｅｂサイトを確実にヒットさせるために、比較的緩やかな検索式を作成することが望ましい。

ＯＣＲでは誤認識の可能性もあるため、検索エンジンが精度の高い部分一致の検索をできる場合を除いて長い文字列をキーワードにすると適切なＷｅｂサイトがヒットしない場合がある。たとえばサイト特徴抽出部１０３は、複数のカテゴリー領域を特定していた場合はカテゴリー領域間をＯＲ論理で結合し、同一のカテゴリー領域の中のキーワード間はＡＮＤ論理で結合し、キーワードが文または文節の場合はＯＣＲの誤認識を想定してＯＲ論理で他のキーワードに結合した検索式を作成することができる。

サイト特徴抽出部１０３は他の例として、キーワード・リスト２５０のカテゴリー領域を考慮しないで、たとえば撮影画像３００、３０１の全体から抽出した出現頻度の多い所定数の名詞をＡＮＤ論理で結合して検索式を作成することができる。検索エンジンは、検索式の規模を制約する場合もある。サイト特徴抽出部１０３は、利用する検索エンジンの入力条件を考慮して適切な規模の検索式を作成する。ブロック２１５でサイト特徴抽出部１０３は、検索エンジンに検索式を入力してＷＷＷネットワーク１５０を検索する。

ブロック２１７で、検索エンジンはヒットした検索サイトのなかで上位から一例として５０個の検索サイトのＨＴＴＰデータを取得してサイト評価部１０５に出力する。このときサイト評価部１０５に出力する複数の検索サイトを１次ＵＲＬランキングということにする。サイト評価部１０５は、受け取ったＨＴＴＰデータを処理が終了するまでシステム・メモリ１３に一時的に記憶する。サイト評価部１０５は、検索サイトと撮影画像３００、３０１をイメージ同士で比較するために、サイト・アクセス部１０９のＷｅｂブラウザが画像データ出力部１０７に出力するイメージ・データと同じ形式のイメージ・データを作成することができる。このイメージ・データは検索サイト画像に相当する。

図８は、撮影画像３００と検索サイト画像３８０の関係を説明するための図である。サイト画像３６０は、ソース・デバイスがＷＷＷネットワークから取得したＷｅｂサイトのイメージ・データである。撮影画像３００はサイト画像３６０の一部のイメージ・データである。検索サイト画像３８０は、１次ＵＲＬランキングに記述された１つの検索サイトのイメージ・データである。ここでサイト画像３６０と検索サイト画像３８０の同一性を評価するためには、撮影画像３００を検索サイト画像３８０が含むか否かを判断する必要があるため、評価領域３７０ａ〜３７０ｃを設定する。評価領域３７０ａ〜３７０ｃは検索サイト画像３８０のさまざまな領域のイメージ・データで、同一性の判断のために撮影画像３００と比較対象になる領域である。

仮にサイト画像３６０と検索サイト画像３８０のＵＲＬが同一だとしたときに、撮影画像３００から両者の同一性を推定するためには、対応する評価領域３７０ａ〜３７０ｃのサイズ、検索サイト画像３８０における評価領域３７０ａ〜３７０ｃの位置（座標）、および撮影画像３００と評価領域３７０ａ〜３７０ｃのコンテンツの同一性を評価する必要がある。ここでは、検索サイト画像３８０における評価領域３７０ａの位置とサイト画像３６０における撮影画像３００の位置が同じとし、評価領域３７０ｂ、３７０ｃは位置が異なるものとして説明する。なお、撮影画像３００と評価領域３７０ａのサイズは基準サイズに対して同じ比率にして比較できるようにする。

撮影画像３００と評価領域３７０ａはコンテンツを比較する価値があるが、撮影画像３００と評価領域３７０ｂ、３７０ｃのコンテンツを比較してもサイト画像３６０と検索サイト画像３８０のＵＲＬの同一性は評価できない。ブロック２１８でサイト評価部１０５は、１次ＵＲＬランキングの上位の検索サイトから順番に撮影画像３００と検索サイト画像３８０の近似度を評価するために、撮影画像３００に対応する評価領域３７０ａの縦横サイズと検索サイト画像３８０における位置を特定する処理をする。図９は、評価領域３７０ａの縦横サイズと位置を特定する手順を説明するためのフローチャートである。

サイト評価部１０５は、サイト特徴抽出部１０３がブロック２０７で撮影画像３００のイメージ・データからカテゴリー領域を特定した方法で、検索サイト画像３８０の各カテゴリー領域を特定することができる。サイト評価部１０５は、ＨＴＴＰデータから直接カテゴリー領域を特定してもよい。サイト画像３６０と検索サイト画像３８０は、同一のＵＲＬのＷｅｂサイトであったしてもブラウザ・ウィンドウの表示倍率およびディスプレイのピクセル・サイズなどが異なれば両者のイメージ・データの画像は相似になるため、イメージで比較するためには両者にそれぞれ基準サイズを設定する。

ブロック５０１でサイト評価部１０５は、撮影画像３００と検索サイト画像３８０のいずれかのカテゴリー領域のサイズをそれぞれの基準サイズに設定する。この基準サイズは、図５のブロック４０５でカテゴリー領域の縦横サイズおよび文字サイズを計算するために設定した基準サイズとすることができる。サイト評価部１０５は一例として、撮影画像３００が含む縦スクロール・バー３５１が最上端または最下端にあるときに、イメージ・リスト２６０と検索サイト画像３８０のそれぞれのヘッダ領域またはフッタ領域の上下方向のサイズＬ１、Ｌ２（図１０参照）のいずれかを基準サイズとすることができる。

サイト評価部１０５は他の例として、撮影画像３００が含む横スクロール・バー３５３が最左端または最右端に位置するときに、イメージ・リスト２６０と検索サイト画像３８０のそれぞれのナビゲーション領域の左右方向のサイズＬ４（図１０参照）を基準サイズとすることができる。サイト評価部１０５は、さらに他の例として、それぞれの本文領域の文字サイズを基準サイズとすることができる。サイト評価部１０５は、ブラウザ・ウィンドウの枠を基準サイズにしてもよい。

ブロック５０３でサイト評価部１０５は、撮影画像３００の基準サイズと撮影画像３００の縦横サイズの比を使って、検索サイト画像３８０の基準サイズから評価領域３７０ａの縦横サイズを計算して評価領域３７０ａのサイズを画定する。ブロック５０５、５０７では、キーワード・リスト２５０がヘッダ領域またはフッタ領域を含む場合はブロック５５１に移行する。サイト評価部１０５はブロック５５１で、図１０の距離Ｌ１、Ｌ２で示した位置に対応する検索サイト画像３８０の位置にヘッダ領域またはフッタ領域の境界を位置付けるように評価領域３７０ａの上下方向の位置を画定する。

ブロック５０９で、キーワード・リスト２５０がナビゲーション領域を含む場合は、サイト評価部１０５はブロック５５３で、図１０の距離Ｌ４で示した位置に対応する検索サイト画像３８０の位置にナビゲーション領域の境界を位置付けるように評価領域３７０ａの左右方向の位置を画定する。ナビゲーション領域が最右端に存在する場合も同様に画定することができる。

ブロック５１１でサイト評価部１０５は、検索サイト画像３８０の中で評価領域３７０ａを所定の短い距離ずつ順番に移動させて、ブロック５１３で撮影画像３００が含むカテゴリー領域のパターンと評価領域３７０ａが含むカテゴリー領域のパターンを比較して、パターンが一致するとみなせる評価領域３７０ａの位置を探索する。このときブロック５５１で評価領域３７０ａの上下方向の位置が画定していれば、左右方向にだけ移動させることができる。

ブロック５５３で評価領域３７０ａの左右方向の位置が画定していれば、上下方向にだけ移動させることができる。上下方向と左右方向のいずれの位置も画定していればその時点で評価領域３７０ａの位置は画定していることになるためさらに移動させる必要はないが、念のためパターンを評価してもよい。いずれの方向の位置も画定していない場合は、撮影画像３００と評価領域３７０ａのカテゴリー領域のパターンが一致するとみなせるまで移動させる。

カテゴリー領域のパターンは、図１０（Ａ）の本文領域３０９ｂに代表的に示すように、撮影画像３００および評価領域３７０ａの対応するカテゴリー領域の名称、位置、縦横サイズ（Ｘ×Ｙ）および他のカテゴリー領域との距離Ｚなどで評価することができる。ブロック５１５では、カテゴリー領域のパターンが一致するとみなしたときに評価領域３７０ａの位置を画定する。カテゴリー領域のパターンが一致しない場合は、ブロック５５７で当該検索サイトを破棄して次の検索サイトを評価する。

つづいて図３のブロック２１９でサイト評価部１０５は、図６のキーワード・リストを使って、１次ＵＲＬランキングの高い順番に並んだ各検索サイトに対してキーワード評価をする。サイト評価部１０５はキーワード評価を、位置を画定した評価領域３７０ａのレンダリング前のＨＴＴＰデータまたはレンダリング後のイメージ・データのいずれかに対して行うことができる。イメージ・データに対してキーワード評価をする場合は、サイト特徴抽出部１０３と同等のＯＣＲ技術を利用して評価領域３７０ａの文字認識を行うことができる。

サイト評価部１０５は一例として、キーワード・リスト２５０が含むカテゴリー領域に対応する評価領域３７０ａのカテゴリー領域が、キーワード・リスト２５０のキーワードを含むか否かを判断してヒットしたキーワード数を加算しキーワードの近似度を計算することができる。このとき、ヘッダ領域３０３およびフッタ領域３１５のキーワードには他のカテゴリー領域よりも重み付けしてもよい。

ブロック２２１でサイト評価部１０５は、キーワード評価の結果、近似度の高い検索サイトから順番に一例として２０個のＵＲＬを並べた２次ＵＲＬランキングを生成する。ブロック２２３でサイト評価部１０５は図７のイメージ・リスト２６０を使って２次ＵＲＬランキングの順位の高い検索サイトから順番にカテゴリー領域のイメージを評価する。イメージ評価では、イメージ・リスト２６０が含むカテゴリー領域に対応する評価領域３７０ａのカテゴリー領域が、イメージ・リスト２６０のフィールドごとの特徴データを含むか否かを判断しヒットした特徴データの数を加算してイメージの近似度を計算することができる。

たとえばサイト評価部１０５は、イメージ・リスト２６０の中のヘッダ領域の文字色が、黒、赤、白を含む場合に、対応する評価領域３７０ａが含むヘッダ領域の文字色が黒、赤、白を含む場合に合致すると判定し、１つでも一致しない色がある場合は不一致と判定することができる。座標、領域サイズ、文字サイズについては、所定の誤差の範囲であれば一致すると判定することができる。文字数については、完全に一致する場合だけ一致すると判定することができる。

ブロック２２５でサイト評価部１０５は、イメージ評価の結果、近似度の高い順番にたとえば１０個の検索サイトを並べた３次ＵＲＬランキングを作成する。ブロック２２７でサイト評価部１０５は、３次ＵＲＬランキングの順位の高い検索サイトから順番にカテゴリー領域の配置パターンの評価をする。配置パターンの評価では、撮影画像３００および評価領域３７０ａにおける各カテゴリー領域の配置の近似度を評価する。サイト評価部１０５は、撮影画像３００と評価領域３７０ａの対応するカテゴリー領域に対して、図１０（Ａ）にサイズＺとして示した他のカテゴリー領域との間隔の差、各カテゴリー領域のコーナー３２５の座標の差、撮影画像３００または評価領域３７０ａの面積に対するカテゴリー領域の合計面積の割合の差、または各カテゴリー領域の色分布の差などを計算して配置パターンの近似度を数値化することができる。

ブロック２２９でサイト評価部１０５は、配置パターン評価の結果、近似度の高い順番にたとえば５個の検索サイトを並べた４次ＵＲＬランキングを作成してＨＴＴＰデータとともにサイト・アクセス部１０９に送る。ブロック２３１でサイト・アクセス部１０９は、４次ＵＲＬランキングの中の最上位に位置する検索サイトを表示するためのＨＴＴＰデータをレンダリングして作成したイメージ・データを画像データ出力部１０７に送る。さらにサイト・アクセス部１０９は、４次ＵＲＬランキングが示す２番目以降の検索サイトに関するページタイトルおよび本文などのＵＲＬをリンクした簡単な情報をリスト形式で作成して別のタブに表示するためのイメージ・データを画像データ出力部１０７に送る。

これまでの処理でＵＲＬの推定が正確に行われていれば、タッチスクリーン１９にはソース・デバイスが表示していた撮影画像３００のＷｅｂサイトと同一のＵＲＬのＷｅｂサイトのサイト画像が表示される。本実施の形態では、撮影画像３００から抽出したキーワードで検索して得た検索サイトに対して、さらにキーワード評価、イメージ評価、配置パターン評価をすることでＵＲＬの推定精度を高めることができる。推定したＵＲＬのＷｅｂサイトが撮影画像３００のＷｅｂサイトに一致しない場合は、Ｗｅｂブラウザのタブを切り換えて２番目以降の検索サイトにアクセスすることができる。

ブロック２０７〜ブロック２３１の手順は、すべてが本発明の必須の要素ではなく、さらに、その順番も本発明の思想の範囲内で変更してもよい。たとえば、ブロック２１９のキーワード評価、ブロック２２３のイメージ評価、およびブロック２２７の配置パターン評価は必ずしもすべて実行する必要はなくいずれか１つまたは２つでもよい。また、これらの順番を入れ替えることもできる。また、キーワード評価、イメージ評価および配置パターン評価の方法も一例を説明しただけであり、本明細書に基づいて当業者が容易に想起できる範囲の方法はすべて本発明の範囲に含む。

これまで本発明について図面に示した特定の実施の形態をもって説明してきたが、本発明は図面に示した実施の形態に限定されるものではなく、本発明の効果を奏する限り、これまで知られたいかなる構成であっても採用することができることはいうまでもないことである。

１０ スマートフォン
１００ ＵＲＬ共有システム
２５０ キーワード・リスト
２６０ イメージ・リスト
３００、３０１ 撮影画像
３０３ ヘッダ領域
３０５ ページタイトル領域
３０７ ナビゲーション領域
３０９ａ〜３０９ｃ 本文領域
３１１ イメージ領域
３１３ キャプション領域
３１５ フッタ領域
３２１、３２３、３２５ コーナー
３５１ 縦スクロール・バー
３５３ 横スクロール・バー
３６０ サイト画像
３８０ 検索サイト画像
３７０ａ〜３７０ｃ 評価領域

Claims (20)

1. ネットワーク上のＷｅｂサイトにアクセスするために、カメラ・モジュールから画像データを取得することが可能な電子機器に、
   前記Ｗｅｂサイトのサイト画像を撮影した前記カメラ・モジュールから撮影画像を取得するステップと、
   前記撮影画像が含む文字を認識してキーワードを作成するステップと、
   前記キーワードで前記ネットワークを検索して複数の検索サイトを取得するステップと、
   各検索サイトと前記撮影画像の近似度を評価するステップと
   を有する処理をさせるためのコンピュータ・プログラム。
2. 前記撮影画像と前記検索サイトのそれぞれから文字集合の領域で区分したカテゴリー領域を特定するステップを有し、
   前記近似度を評価するステップが、前記カテゴリー領域に関する近似度を評価するステップを含む請求項１に記載のコンピュータ・プログラム。
3. 前記カテゴリー領域が、ヘッダ領域、フッタ領域、ナビゲーション領域、本文領域およびキャプション領域からなるグループから選択したいずれか１つまたは複数の要素を含む請求項２に記載のコンピュータ・プログラム。
4. 前記近似度を評価するステップが前記カテゴリー領域ごとに前記キーワードの近似度を評価するステップを含む請求項２に記載のコンピュータ・プログラム。
5. 前記近似度を評価するステップが、前記カテゴリー領域のイメージから抽出した特徴データの近似度を評価するステップを含む請求項２に記載のコンピュータ・プログラム。
6. 前記特徴データが、前記カテゴリー領域の座標、サイズ、背景色、文字数、文字サイズ、および文字色からなるグループから選択したいずれか１つの要素または複数の要素を含む請求項５に記載のコンピュータ・プログラム。
7. 前記近似度を評価するステップが、
   前記サイト画像における前記撮影画像の位置に対応する前記検索サイトの評価領域を画定するステップと、
   前記撮影画像と前記評価領域の近似度を評価するステップと
   を含む請求項２に記載のコンピュータ・プログラム。
8. 前記近似度を評価するステップが、前記撮影画像と前記評価領域におけるそれぞれの前記カテゴリー領域の配置パターンの近似度を評価するステップを含む請求項７に記載のコンピュータ・プログラム。
9. 前記近似度を評価するステップが、前記撮影画像と前記評価領域のそれぞれに基準サイズを設定するステップを含む請求項７に記載のコンピュータ・プログラム。
10. 前記評価領域を画定するステップが、
    前記撮影画像が含むヘッダ領域、フッタ領域、またはナビゲーション領域の前記撮影画像における位置を特定するステップと、
    前記特定した位置から前記評価領域の位置を画定するステップと
    を含む請求項７に記載のコンピュータ・プログラム。
11. 前記ヘッダ領域または前記フッタ領域を特定するステップが、縦スクロール・バーの位置を判断するステップを含む請求項１０に記載のコンピュータ・プログラム。
12. 前記ナビゲーション領域を特定するステップが、横スクロール・バーの位置を判断するステップを含む請求項１０に記載のコンピュータ・プログラム。
13. 前記本文領域を、前記カテゴリー領域が含む文字数を計算して特定する請求項３に記載のコンピュータ・プログラム。
14. 第１の電子機器が表示するネットワーク上のＷｅｂサイトを第２の電子機器が表示する方法であって、
    前記Ｗｅｂサイトのサイト画像を撮影したカメラ・モジュールから撮影画像を取得するステップと、
    前記撮影画像が含む文字を認識してキーワードを作成するステップと、
    前記キーワードで前記ネットワークを検索して複数の検索サイト画像を取得するステップと、
    各検索サイト画像と前記撮影画像の近似度を評価するステップと、
    前記近似度の高い検索サイト画像を前記第２の電子機器が表示するステップと
    を有する方法。
15. 前記近似度を評価するステップが、
    前記検索サイト画像に対して前記撮影画像に対応する評価領域を設定するステップと、
    前記撮影画像と前記評価領域の近似度を評価するステップ
    を含む請求項１４に記載の方法。
16. 前記撮影画像と前記評価領域からそれぞれ文字集合の領域を特定するステップを有し、
    前記近似度を評価するステップが、前記文字集合の領域ごとに前記撮影画像から抽出したキーワードと前記評価領域から抽出したキーワードを比較するステップを有する請求項１５に記載の方法。
17. 前記撮影画像と前記評価領域からそれぞれ文字集合の領域を特定するステップを有し、
    前記近似度を評価するステップが、前記撮影画像と前記評価領域のそれぞれの前記文字集合の領域のイメージを比較するステップを有する請求項１５に記載の方法。
18. 前記撮影画像と前記評価領域からそれぞれ文字集合の領域を特定するステップを有し、
    前記近似度を評価するステップが、前記撮影画像と前記評価領域における前記文字集合の領域の配置パターンを比較するステップを有する請求項１５に記載の方法。
19. 前記表示した近似度の高い検索サイト画像よりも近似度が低い前記検索サイトのリストを前記第２の電子機器が表示するステップを有する請求項１４に記載の方法。
20. 他の電子機器が表示したＷｅｂサイトを撮影するカメラ・モジュールから画像データを取得することが可能な電子機器であって、
    ネットワークにアクセスすることが可能なネットワーク・デバイスと、
    前記カメラ・モジュールが撮影した撮影画像から作成したキーワードで前記ネットワークを検索し所定数の検索サイトを取得するサイト特徴抽出部と、
    各検索サイトと前記撮影画像の近似度を評価するサイト評価部と、
    ディスプレイに前記近似度の高いＷｅｂサイトのイメージ・データを出力する画像データ出力部と
    を有する電子機器。

Images