JP5278093B2 - 記事関連情報提供方法、装置、プログラム、記録媒体 - Google Patents

Description

本発明は、情報誌の記事に関連する情報を携帯端末装置に表示させる方法、装置、プログラム、記録媒体に関するものである。
本発明は特に、情報誌の記事としては掲載されていない関連情報を携帯端末装置に表示させる場合に有用である。
なお、情報誌とは、住宅・不動産情報、求人情報、ショッピング情報、飲食店情報、演劇レジャー情報など多岐にわたる生活情報を記事と広告で伝える雑誌（通常は定期刊行物）である。情報誌には、有料販売される刊行物や、無料配布される刊行物（フリーペーパー）がある。

情報誌の普及に伴って、各種の情報誌が無料誌の形態をとって、紙媒体としての利便性を生かして、人通りの多い繁華街や駅の周辺に配備されて、配布されている。
近時、情報誌に掲載された記事や広告などについての関連情報を、インターネットを用いて、携帯端末装置に配信するサービスが提供されている。

ここで、情報誌の記事に掲載されていない関連情報を配信する方法を説明する。
《 Ａ．二次元コード 》
たとえば、住宅情報誌が、多数の不動産物件の情報を掲載する情報源として流通している。この住宅情報誌は、限られた紙面に、多数の住宅物件記事や住宅物件広告などを掲載するために、１物件あたりの掲載量（文字数や写真の大きさなど）に制限が設けられている。
そこで、紙面に掲載されていない関連情報を読者に提供するために、二次元コードを用いて、読者をＷｅｂサイト（住宅情報サイト）にアクセスさせて、その関連情報を閲覧させる方法がある。
たとえば、特許文献１では、求人情報誌の二次元コードを、携帯電話のカメラで撮影して、ＵＲＬを復号して、インターネットの該当Ｗｅｂサイトに接続して、求人情報や求職情報を取得させる技術が開示されている。
《 Ｂ．画像検索 》
あるいは、住宅情報誌などの情報誌では、記事の画像（住宅の概観写真など）を検索キーとして用いて、記事の関連情報を検索させて、読者に提供させる方法がある。
たとえば、非特許文献１では、携帯電話で、画像を撮影して、撮影画像の特徴データを求めて、これをインターネットの該当Ｗｅｂサイトに送信させて、特徴データに対応する情報を、携帯電話に表示させる技術が開示されている。
《 Ｃ．物件番号のキー入力 》
また、住宅情報誌では、動産物件毎に振られている固有の物件コード（文字列）を読者にキー入力させて、物件の情報を検索させて、情報を読者に提供する方法がある。

特開２００６−３９７８５号公報（段落番号「０００７」〜段落番号「００１１」、図１）

オリンパス株式会社新事業企画部、"Sync★R（シンクる）"、サービス概要−特長（Sync★Rの概要）、オリンパス株式会社、[online]、[平成２１年３月２日検索]、インターネット＜http://gwmj.jp/＞

しかしながら、《 Ａ．二次元コード 》の方法では、二次元コードが、大きな面積を必要とするので、誌面のデザインを損なうし、１件の記事に掲載できる文字数が削がれてしまうという問題点がある。
また、《 Ｂ．画像検索 》の方法では、マンションなどの不動産物件の外観が似ている場合には、それぞれの外観画像を識別することが難しいという問題点がある。
また、《 Ｃ．物件番号のキー入力》の方法では、読者に物件コードをキー入力させる手間を要するし、物件コードとして誤った文字を入力する恐れもある。

本発明は以上のような点を解決するためになされたものであって、本発明の課題は、情報誌に掲載する記事の情報量を削減することなく容易に記事を識別できて、情報誌の記事に掲載されていない関連情報を提供する方法、装置、プログラム、記録媒体を提供することである。

本発明は、以下の各態様に記載の手段により、前記課題を解決する。すなわち、本願発明の第１の発明は、記事番号画像判定データと、記事関連データを有する記事データベースと、を用いる記事関連情報提供方法であって、
記事番号を含む情報誌の記事を電子カメラで撮影して撮影画像データを生成するステップと、
撮影画像データから矩形領域画像を切り取り、矩形領域画像の画像属性データを作成して、この画像属性データに対して縦横比判定データと色判定データと色面積比判定データと平均画像データを含んだ記事番号画像判定データを適用して、
矩形領域画像の領域縦横寸法比を算出する工程と、
矩形領域画像の輪郭線近傍の画素を背景画素として抽出して、背景画素が有するＲＧＢ値を用いて、ＨＳＶ色相系のＨ値に変換して、領域色とする工程と、
矩形領域画像の画素数に対して、領域色を有する画素数で除して、領域色面積比を算出する工程と、
縦横比判定データに適合する領域縦横寸法比データを有する矩形領域画像が１つの場合には、これを記事番号画像と判定する工程と、
色判定データに適合する領域色を有する矩形領域画像が１つの場合には、これを記事番号画像と判定する工程と、
色面積比判定データに適合する領域色面積比を有する矩形領域画像が１つの場合には、これを記事番号画像と判定する工程と、
矩形領域画像と平均画像とを比較して、最も大きな類似度の矩形領域画像を記事番号画像と判定する工程と、から記事番号画像データを抽出する記事番号画像抽出ステップと、
抽出された記事番号画像データを文字認識して文字列を得て、この文字列を記事番号とする記事番号認識ステップと、
記事番号に基づいて、記事データベースを検索して、得られた記事関連データを読み取って、携帯端末装置に返信する関連記事検索返信ステップと、
携帯端末装置が記事関連データを表示する関連記事表示ステップと、
を含んだ手順でなされることを特徴とする記事関連情報提供方法である。

このように、情報誌の記事を撮影した画像を用いて記事番号（＝記事を識別する情報）を文字認識して、その記事番号で検索した結果（＝記事に関連する情報。たとえば、情報誌に掲載されていない情報）を、携帯端末装置に表示させることが可能である。なお、本発明の説明で用いる「記事番号」とは、数字に英字や漢字を組み合わせた文字列のことである。

本願発明の第２の発明は、縦横比判定データと色判定データと色面積比判定データと平均画像データを含む、記事番号画像判定データを格納する画像属性格納領域と、
記事関連データを有する記事データベースを格納する記事格納領域と、
を備える記憶手段と、
携帯端末装置が送信する撮影画像を受信する撮影画像受信手段と、
受信した撮影画像から矩形領域画像を切り取り、矩形領域画像の画像属性データを作成して、この画像属性データに対して記事番号画像判定データを適用して、記事番号画像と判定した記事番号画像データを抽出する機能と、
矩形領域画像の領域縦横寸法比を算出する機能と、
矩形領域画像の輪郭線近傍の画素を背景画素として抽出して、背景画素が有するＲＧＢ値を用いて、ＨＳＶ色相系のＨ値に変換して、領域色とする機能と、
矩形領域画像の画素数に対して、領域色を有する画素数で除して、領域色面積比を算出する機能と、
縦横比判定データに適合する領域縦横寸法比データを有する矩形領域画像が１つの場合には、これを記事番号画像と判定する機能と、
色判定データに適合する領域色を有する矩形領域画像が１つの場合には、これを記事番号画像と判定する機能と、
色面積比判定データに適合する領域色面積比を有する矩形領域画像が１つの場合には、これを記事番号画像と判定する機能と、
矩形領域画像と平均画像とを比較して、最も大きな類似度の矩形領域画像を記事番号画像と判定する機能と、
を含んだ記事番号画像抽出手段と、
抽出された記事番号画像を文字認識して文字列を得て、この文字列を記事番号とする記事番号認識手段と、
記事番号に基づいて、記事データベースを検索して、得られた記事関連データを携帯端末装置に返信する関連記事検索返信手段と、
を備えることを特徴とする関連情報サーバー装置である。

本願発明の第３の発明は、コンピューターに組込むことによって、コンピューターを本願第２の発明に記載の関連情報サーバー装置として動作させるコンピュータープログラムである。

本願発明によれば、
（１）情報誌の記事を撮影した画像から、その記事を識別する記事番号を自動的に文字認識することが可能である。
（２）文字認識した記事番号を検索キーにて、記事データベースを検索して、記事に関連する情報を取得して携帯端末装置に表示させることが可能である。
従って、本発明によれば、携帯電話のカメラが情報誌の記事を撮影した画像を用いて、その記事の関連情報（たとえば、情報誌に掲載されていない情報）を携帯端末装置に表示させることができるという効果がある。

図１は、本発明の実施の形態による記事関連情報提供システム１の概要を説明する図である。（実施例１） 図２は、記事が掲載された誌面５００の例である。 図３は、読者による携帯端末装置３００の大まかな操作手順を説明する図である。 図４は、携帯端末装置３００の表示画面３０２の説明図である。 図５は、記事関連情報提供システム１の大まかな処理の流れを説明する図である。 図６は、記事番号画像の例である。 図７は、記事番号画像抽出処理を詳細に説明する図である。 図８は、画像属性データ３９７を説明する図である。 図９は、記事番号画像判定データ１９１を説明する図である。 図１０は、平均画像１９１１を説明する図である。 図１１は、記事番号画像文字認識処理を詳細に説明する図である。 図１２は、記事番号画像である。 図１３は、携帯端末装置３００の詳細な構成図である。 図１４は、関連情報サーバー装置１００の詳細な構成図である。 図１５は、記事番号画像判定フローチャートである。

以下、図面等を参照しながら、本発明の実施の形態について、更に詳しく説明する。

図１は、本発明の実施の形態による記事関連情報提供システム１の概要を説明する図である。
記事関連情報提供システム１は、関連情報サーバー装置１００と携帯端末装置３００とから構成される。
携帯端末装置３００は、基地局６００と無線接続して、ゲートウェー８００を介して、ネットワーク９００上の関連情報サーバー装置１００と接続する。
携帯端末装置３００は、既存の携帯電話やスマートフォンで、電子カメラを具備して、後述する専用プログラムを搭載する。
携帯端末装置３００の電子カメラは、情報誌の誌面５００に掲載された記事を撮影して、ＲＧＢ値を有するカラーデジタルデータ（＝画像データ）を生成する。

関連情報サーバー装置１００は、周知技術であるＯＣＲによるプログラムを備えたサーバーコンピューターに、後述する専用プログラムを搭載したものである。
また、関連情報サーバー装置１００は、既存のデータベースシステムを備える。

図２は、誌面５００の例である。
誌面５００は、複数の記事から構成されている。
記事には、予め定められた割付デザインの記事番号が含まれている。
例示された住宅誌の誌面５００は、１８件の住宅物件記事から構成されている。記事の部分拡大図５１０には、記事番号が含まれている。記事番号の拡大図５９５は、この「記事番号」の割付デザインが、緑の色帯に白抜きされた６桁の文字列であることを示している。

次に、図３を用いて、読者による携帯端末装置３００の大まかな操作手順を説明する。
（１）読者は、携帯端末装置３００の電子カメラを用いて、記事番号を含む情報誌の記事を撮影して、撮影画像を関連情報サーバー装置１００に送信する。
（２）携帯端末装置３００が関連情報サーバー装置１００から記事に掲載されていない関連情報を受信して、表示部に表示するので、読者は、これを目視する。

ここで、図４を用いて、携帯端末装置３００の表示画面を説明する。
図４の（ａ）は、撮影画像３９１の表示画面３０４の例である。
例示されている表示画面３０４の撮影画像３９１には、記事番号「資４３０３５６」の画像３９５が含まれている。

図４の（ｂ）は、関連情報サーバー装置１００から受信した関連情報の表示画面３０４の例である。この表示画面３０４に表示されている関連情報は、情報誌の記事に掲載されていない情報である。

次に、図５を用いて、記事関連情報提供システム１の大まかな処理の流れを説明する。
（１）《撮影画像の作成》携帯端末装置３００は、電子カメラが撮像して作成した撮影画像を、関連情報サーバー装置１００に送信する。

（２）《記事番号画像の抽出》関連情報サーバー装置１００は、携帯端末装置３００から撮影画像を受信して、この撮影画像から記事番号画像を抽出する。
（３）《記事番号画像の文字認識》関連情報サーバー装置１００は、記事番号画像を文字認識処理して記事番号文字列を読み出す。
（４）《関連情報の検索》サーバー装置１００は、記事番号を検索キーにして、記事データベースを検索して、記事に掲載されていない関連情報を取得する。
（５）《関連情報の返信》サーバー装置１００は、記事に掲載されていない関連情報を、関連携帯端末装置１００に返信する。

（６）《記事に掲載されていない関連情報の表示》携帯端末装置３００は、サーバー装置１００が返信した記事に掲載されていない関連情報を受信して表示する。

図６は、記事番号画像の例である。
記事番号画像３９５は、記事番号「資４３０３５６」のカラー画像である。
この記事番号画像３９５は、「緑」色の「矩形」に、一文字の漢字と６桁の全角数字による記事番号「資４３０３５６」が、白抜きで割付けられた画像であり、記事番号画像３９５の縦横寸法比は「１７：２」である。

次に、図７を用いて、（２）《記事番号画像の抽出》の処理の流れを詳細に説明する。

図７は、（２）《記事番号画像の抽出》の処理を詳細に説明する図である。
（２−１）《輪郭部抽出》サーバー装置１００は、受信したカラーの撮影画像３９１（＝二次元画像）の各画素のＲＧＢ値の相加平均を算出して濃淡値として、各画素のＲＧＢ値をこの濃淡値に書き換えて更新することでグレー処理して、グレー処理した撮影画像を作成する。次に、相加平均値の最高値の二分の一を閾値として、グレー処理した撮影画像を二値化処理して、撮影画像の二値化画像を生成する。この二値化画像の黒画素領域の黒画素の中から、白画素と接する黒画素の並びを辿って抽出して、抽出した黒画素を輪郭部画素とする。
なお、グレー処理において、濃淡値としてＲＧＢ値の相加平均値を用いる方法は、１つの例である。たとえば、Ｇ値を濃淡値としてグレー処理しても良いし、ＲＧＢ値をそれぞれ濃淡値としてグレー処理して、複数のグレー処理した撮影画像を作成しても良い。また、二値化処理において、ＲＧＢ値の二分の一の閾値を用いる方法は、１つの例である。たとえば、他の値を閾値として用いてもよいし、複数の閾値を用いて、複数の二値化画像を生成するようにしてもよい。
（２−２）《矩形領域画像切り取り》サーバー装置１００は、Ｄｏｕｇｌａｓ−Ｐｅｕｃｋｅｒアルゴリズムを用いて、輪郭部の画素を間引いて、残った画素を用いて線分を作成して、輪郭線を生成する。次に、サーバー装置１００は、生成した輪郭線の辺の個数が４つで、各頂点の角度が９０度程度（たとえば、頂点の角度＝７３度以上、すなわちｃｏｓθ ＝ ０．３未満）であれば、各頂点の座標値を用いて、撮影画像３９１から、四角形画像を切り取り、各頂点の座標値から、四角形画像の傾き角度を算出して、この四角形画像の傾き角度が０度（水平）になるようにアフィン変換にて回転させて、回転させて水平にした四角形画像を矩形領域画像３９３とする。
ここで、Ｄｏｕｇｌａｓ−Ｐｅｕｃｋｅｒアルゴリズムとは、輪郭部画素（＝点）上の２つの点を両端とする線分を引き、２つの点の間に存在する全ての点と線分との距離が閾値（たとえば、輪郭線の長さ × ０．０２ ）以下であれば、２つの点の間に存在する全ての点を間引き処理して除き、間引く点が無くなるまでこの間引き処理を繰り返して、残った点を結線して線分を作成して直線近似するアルゴリズムである。
なお、直線近似処理において、Ｄｏｕｇｌａｓ−Ｐｅｕｃｋｅｒアルゴリズムを用いる方法は、１つの例である。他のアルゴリズムを用いて、輪郭部画素を直線近似処理して輪郭線を算出しても良い。

（２−３）《画像属性作成》サーバー装置１００は、この矩形領域画像３９３の画像属性データ３９７を作成する。

ここで、図８を用いて、画像属性データ３９７を説明する。画像属性データ３９７は、記事番号画像３９５の画像属性を記述したものである。
図８の（ａ）は、画像属性データ３９７の形式を説明する図である。
画像属性データ３９７は、領域縦横寸法比３９７２と、領域色３９７３と、領域色面積比３９７４と、から構成される。

領域縦横寸法比３９７２は、矩形領域画像３９３の横寸法（長い辺）を縦寸法（短い辺）で除した値の範囲を示す値である。なお、矩形領域画像３９３の横寸法と縦寸法として、矩形領域の横方向の画素の数と、縦方向の画素の数とを用いても良い。
領域色３９７３は、矩形領域画像３９３の周辺部の画素の色である。領域色３９７３は、ＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色相系のＨ（＝色相）の値の範囲を現す情報である。

領域色面積比３９７４は、領域色を有する領域部分の面積を矩形領域画像３９３の面積で除して算出した値である。なお、面積として、領域色を有する領域部分の画素数と、矩形領域画像３９３の画素数を用いてもよい。

図８の（ｂ）は、画像属性データ３９７の例である。
例示されている画像属性データ３９７は、「８．５、１２０°、１１」である。
この例の意味は、記事番号画像３９５の領域縦横寸法比３９７２が「８．５」であって、記事番号画像３９５の領域色３９７３が、色相の値が「１２０°」（すなわち、緑色）であって、記事番号画像３９５の領域色面積比３９７４が「１１」であるということである。

図７に戻り、説明を続ける。
（２−４）《記事番号画像抽出》サーバー装置１００は、画像属性データ３９７に対して、記事番号画像判定データ１９１を適用して、記事番号画像であると画像判定された矩形領域画像３９３が１つの場合には、記事番号画像３９５として抽出する。
記事番号画像であると画像判定された矩形領域画像３９３が複数ある場合には、矩形領域画像３９３に対して、記事番号画像判定データのテンプレート二次元画像（＝平均画像。詳細は後述する）を適用して、まず、矩形領域画像３９３を横方向と縦方向に独立して拡大・縮小して、テンプレート二次元画像の横と縦の画素数とに一致させた変形画像を生成した後に、相互相関関数（たとえば、類似度を算出できるということが数学的にすでにわかっている下記の数式１）を用いて類似度を算出して、最も類似度の高い矩形領域画像３９３を記事番号画像３９５として抽出する。

なお、ｔは、テンプレート二次元画像である。
Ｍは、テンプレート二次元画像の横方向の画素数である。
Ｎは、テンプレート二次元画像の縦方向の画素数である。
ｆは、矩形領域画像３９３を横方向と縦方向に独立して拡大・縮小して、テンプレート二次元画像ｔの横と縦の画素数（Ｍ×Ｎ）と一致させた変形画像である。
ｋは、変形画像ｆまたは平均画像ｔの横方向の画素位置である。
ｌは、変形画像ｆまたは平均画像ｔの縦方向の画素位置である。
ｆ［ｋ］［ｌ］は、変形画像ｆの画素位置（ｋ、ｌ）の画素値（０または１）である。
ｔ［ｋ］［ｌ］は、テンプレート二次元画像ｔの画素位置（ｋ、ｌ）の画素値（０または１）である。
オーバーライン付ｆは、変形画像ｆの画素値の平均値である。
オーバーライン付ｔは、テンプレート二次元画像ｔの画素値の平均値である。

ここで、図９と図１０を用いて、記事番号画像判定データ１９１を説明する。
図９の（ａ）は、記事番号画像判定データ１９１の形式を説明する図である。
記事番号画像判定データ１９１は、縦横比判定データ１９１２と色判定データ１９１３と色面積比判定データ１９１４とを有する属性判定データと、平均画像１９１１（＝テンプレート二次元画像）と、から構成される。

平均画像１９１１は、全ての記事番号の記事番号画像３９５の同じ位置にある画素の値を平均した画素で構成されたビットマップデータである。（詳細は後述する）
縦横比判定データ１９１２は、比の値の範囲を表す数値である。
色判定データ１９１３は、色相の値（＝Ｈ値）の範囲を表す数値である。
色面積比判定データ１９１４は、比の値の範囲を表す数値である。

図９の（ｂ）は、記事番号画像判定データ１９１の例である。
例示されている記事番号画像判定データ１９１は、「（１７／２±０．５）、（１００°−１６０°）、（３：１１）、（図中のビットマップ画像）」である。
この例の意味は、記事番号画像判定データ１９１の平均画像１９１１が、例示されたビットマップ画像であって、記事番号画像判定データ１９１の縦横寸法比判定データ１９１２が「１７／２±０．５」の値の範囲であって、記事番号画像判定データ１９１の色判定データ１９１３が、色相の値が「１００°から１６０°」の値の範囲（すなわち、緑色）であって、記事番号画像判定データ１９１の色面積比判定データ１９１４が「１１／１±０．３」の値の範囲であるということである。

図１０は、平均画像１９１１を説明する図である。
記事番号が、漢字「資」と６桁の数字から構成されている場合に、６桁の数字が全て「０」から「９」までの９種類の記事番号画像（すなわち、記事番号画像３９５ａ「資００００００」と、記事番号画像３９５ｂ「資１１１１１１」と、・・・、記事番号画像３９５ｊ「資９９９９９９」など）を用意して、９種類の記事番号画像のそれぞれの同じ位置にある画素の値の相加平均を算出して、その相加平均値を平均画像１９１１の同じ位置の画素の値とする。

次に、図１１を用いて、（３）《記事番号画像の文字認識》の処理を詳細に説明する。
（３−１）《天地余白部除去》サーバー装置１００は、二値化された、黒地に白抜き文字の記事番号画像１９３から、白抜き文字列の上下に存在する余白部（＝白抜き文字の白画素を含まない水平方向に配列した画素）を除去した二値化画像１９５を作成する。

ここで、図１２を用いて、記事番号画像の《天地余白部除去》を図解する。
図１２には、二値化した記事番号画像１９３と、白画素ヒストグラム１９４１が例示されている。
例示された二値化記事番号画像１９３は、黒地に白抜き文字の画像である。二値化した記事番号画像１９３は、水平方向（＝行）と垂直方向（＝列）に配列した画素により構成されている。二値化した記事番号画像１９３の天地付近には、白抜き文字の白画素を含まない黒行１９３１（白画素を含まない行。余白部）が存在する。
例示された白画素ヒストグラム１９４１は、二値化した記事番号画像１９３の各行に含まれる白画素の個数を表すヒストグラムである。ヒストグラム１９４１の縦軸は、記事番号画像１９３の行位置に対応する。ヒストグラム１９４１の横軸は、記事番号画像１９３行中の白画素の個数を表す。
ここで、白画素ヒストグラム１９４１を参照して、白画素の個数が０個の黒行１９４５の位置を読み取って、黒行の位置に相当する黒行１９３１を二値化した記事番号画像１９３から除去することで、記事番号画像の天地余白部を除去した矩形画像１９５を作成することができる。

図１１に戻り、説明を続ける。
（３−２）《数字部６等分》サーバー装置１００は、天地の余白部を除去した二値化画像１９５の文字列の数字部分が６桁の数字を割付けていることがわかっているので、二値化画像１９５の数字部分を６等分に分割する。
（３−３）《左右余白部除去》サーバー装置１００は、数字部を６等分した画像１９６から、天地余白部を除去したときと同様に、左右余白部（＝白抜き文字の白画素を含まない垂直方向に配列した画素）を除去した数字画像１９７を作成する。
（３−４）《記事番号認識》サーバー装置１００は、ＯＣＲプログラム１８０を呼び出して、二値化された数字画像１９７を渡して、ＯＣＲプログラム１８０がこれをＯＣＲ辞書データ１９２と照合して文字認識した数字コードを受け取る。

図１３は、携帯端末装置３００の詳細な構成図である。
携帯端末装置３００は、ＣＰＵ３０１と、表示部３０２と、操作部３０３と、カメラ部３０４と、ネットワーク通信部３０８と、記憶部３０９と専用プログラムとを備える。
ＣＰＵ３０１と、表示部３０２と、入力部３０３と、カメラ部３０４と、通信部３０８と、記憶部３０９とは、ＢＵＳ１９９で接続される。

ＣＰＵ３０１は、中央演算装置である。
表示部３０２は、液晶表示装置や有機ＥＬ表示装置である。
操作部３０３は、キーボタンである。操作部３０２は、表示部１０３に表示されたソフトキーボタンであってもよい。
カメラ部３０４は、撮影対象を露光記録した撮像素子から電気信号を読み出してデジタル画像データを生成する電子カメラである。電子カメラ３０４は、情報誌の記事を撮影して撮影画像データを生成する。
マイク３０５は、音声を入力する装置である。
スピーカー３０６は、音声を出力する装置である。
電源部３０７は、２次電池である。
通信部３０８は、基地局と相互に無線信号を通信する装置である。

記憶部３０９は、半導体メモリーや磁気メモリーである。
記憶部３０９は、撮影画像格納領域３０９１と、関連情報格納領域３０９２とを備えて、オペレーティングシステム３８５と、専用プログラムとを記憶する。
撮影画像格納領域３０９１は、撮影画像データ３９１を格納する。
関連情報格納領域３０９２は、記事関連データ３９２を格納する。

オペレーティングシステム３８５は、携帯端末装置３００のハードウェア（たとえば、ＣＰＵ３０１と、表示部３０２と、入力部３０３と、カメラ部３０４と、ネットワーク通信部３０８と、記憶部３０９と、ＢＵＳ３９９など）を管理・制御して、応用ソフトウエア（たとえば、専用プログラム）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。

このほかに、撮影画像送信手段３１０と、関連情報受信表示手段３２０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ３０１に解釈・実行されることによって機能する。

撮影画像送信手段３１０は、電子カメラ３０４が生成した撮影画像を通信部３０８および基地局を介して、関連情報サーバー装置１００に送信する。
関連情報受信表示手段３２０は、関連情報サーバー装置１００が返信する記事関連データを、基地局および通信部３０８を介して、受信して、これを表示部３０２に表示する。

図１４は、関連情報サーバー装置１００の詳細な構成図である。
関連情報サーバー装置１００は、ＣＰＵ１０１と、ネットワーク通信部１０４と、記憶部１０９と専用プログラムとを備える。
ＣＰＵ１０１と、ネットワーク通信部１０４と、記憶部１０９とは、ＢＵＳ１９９で接続される。

ＣＰＵ１０１は、中央演算装置である。
ネットワーク通信部１０４は、ＬＡＮアダプターである。

記憶部１０９は、半導体メモリーや磁気メモリーである。
記憶部１０９は、画像判定格納領域０９１と、記事格納領域０９３とを備えて、ＯＣＲプログラム１８０と、オペレーティングシステム１８５と、専用プログラムとを記憶する。

画像判定格納領域０９１は、記事番号画像判定データ１９１を格納する。
記事格納領域０９３は、記事データベース１９３を格納する。
記事データベース１９３は、記事関連データ（たとえば、情報誌に掲載されていないデータ）を有するデータベースである。

ＯＣＲプログラム１８０は、周知技術であるＯＣＲによるプログラムである。
ＯＣＲプログラム１８０は、文字画像を受け取って、この文字画像に対して、このプログラムが具備する漢字ＯＣＲ辞書データを適用して、文字認識処理して、文字コードを出力する。
オペレーティングシステム１８５は、コンピューターのハードウェア（たとえば、ＣＰＵ１０１と、ネットワーク通信部１０４と、記憶部１０９と、ＢＵＳ１９９など）を管理・制御して、応用ソフトウエア（たとえば、画像認識プログラム１８０や専用プログラムなど）に対して、これらのハードウェアを利用できるようなサービスを提供する基本ソフトウエアである。

このほかに、記事番号画像抽出手段１２０と、記事番号認識手段１３０と、関連記事返信手段１４０と、撮影画像受信手段１７０と、を備える。これらの各手段は、それぞれの専用プログラムによって実現され、専用プログラムがＣＰＵ１０１に解釈・実行されることによって機能する。

撮影画像受信１７０は、携帯端末装置３００が送信する撮影画像３９１をネットワーク通信部１０４を介して受信する。

記事番号画像抽出手段１２０は、受信した撮影画像データ３９１から記事番号画像３９５を抽出する。
詳細には、記事番号画像抽出手段１２０は、画像属性データ３９７を作成して、作成した画像属性データ３９７に対して、記事番号画像判定データ１９１を適用して、矩形領域画像が記事番号画像であると判定された場合には、記事番号画像３９５として抽出する。

記事番号画像抽出手段１２０は、輪郭部抽出機能と、矩形領域画像切取機能と、属性情報作成機能と、画像判定機能とを備える。

輪郭部抽出機能は、図７にて説明した（２−１）《輪郭部抽出》の処理を行う機能であって、以下の３つの部分から構成されて、カラーの撮影画像３９１から輪郭部画素を抽出する。
（１）カラーの撮影画像３９１の各画素のＲＧＢ値を基に所定の濃淡値算出方法で濃淡値を算出して、算出した濃淡値にて画素のＲＧＢ値を更新して、グレー処理した撮影画像を生成する。
（２）グレー処理した撮影画像に対して、所定の閾値で二値化して、二値化画像を生成する。
（３）二値化画像の黒画素領域の黒画素の中から、白画素と接する黒画素の並びを辿って抽出して、抽出した黒画素を輪郭部画素とする。

矩形領域画像切取機能は、図７にて説明した（２−２）《矩形領域画像切り取り》の処理を行う機能であって、以下の３つの部分から構成されて、カラーの撮影画像３９１から矩形領域画像３９３を切り取る。
（１）輪郭部画素の並びから取り出した２つの画素を両端として生成した線分と、両端とする２つの画素の間に存在する画素と、の距離が所定の閾値以下である線分を輪郭線とする。
（２）輪郭線の辺の個数が４つで、各頂点の角度が９０度程度（たとえば、頂点の角度＝７３度以上、すなわちｃｏｓθ ＝ ０．３未満）であれば、各頂点の座標値を読み取る。
各頂点の座標値を用いて、撮影画像３９１から、四角形画像を切り取る。
（３）各頂点の座標値から、四角形画像の傾き角度を算出して、この四角形画像の傾き角度が０度（水平）になるようにアフィン変換にて回転させて、回転させて水平にした四角形画像を矩形領域画像３９３とする。

属性情報作成機能は、矩形領域画像データ３９３を用いて、以下の３つの処理により、画像属性データ３９７を作成する。
（１）二値化された矩形領域画像、あるいは、矩形領域画像３９３の水平方向の画素数を垂直方向の画素数で除して、領域縦横寸法比を算出する。
（２）また、矩形領域画像３９３の輪郭線近傍の画素を背景画素として抽出して、背景画素のＲＧＢ値を用いて、ＨＳＶ色相系のＨ値に変換して、領域色とする。
（３）また、矩形領域画像３９３の画素数に対して、領域色を有する画素数で除して、領域色面積比を算出する。

画像判定機能は、切り取った矩形領域画像データ３９３、および、作成した画像属性データ３９７を用いて、記事番号画像判定データ１９１と照合して、以下の４つの処理により、矩形領域画像データの中から記事番号画像データ３９５を判定して抽出する。
（１）領域縦横寸法比データ３９７２が、縦横比判定データ１９１２の示す範囲の値に含まれる場合には、矩形領域画像データを矩形領域画像候補として保持する。ここで、保持した矩形領域画像候補が１つの場合には、矩形領域画像候補を記事番号画像と判定する。
（２）保持した矩形領域画像候補が２つ以上の場合には、保持した矩形領域画像候補の領域色３９７３が、色判定データ１９１３の示す範囲の値に含まれる場合には、改めて矩形領域画像候補として保持する。ここで、保持した矩形領域画像候補が１つの場合には、矩形領域画像候補を記事番号画像と判定する。
（３）保持した矩形領域画像候補が２つ以上の場合には、保持した矩形領域画像候補の領域色面積比３９７４が、色面積比判定データ１９１４の示す範囲の値に含まれる場合には、改めて矩形領域画像候補として保持する。ここで、保持した矩形領域画像候補が１つの場合には、矩形領域画像候補を記事番号画像と判定する。
（４）保持した矩形領域画像候補が２つ以上の場合には、平均画像１９１１とそれぞれの矩形領域画像候補との類似度を、相関関数を用いて算出して、最も大きな類似度の矩形領域画像候補を記事番号画像と判定する。

記事番号認識手段１３０は、抽出された記事番号画像３９５を文字認識して、文字列を受け取り、この文字列を用いて記事番号を作成する。

記事番号認識手段１３０は、天地余白部除去機能と、左右余白部除去機能と、左右余白部除去機能と、文字認識機能と、を備える。
天地余白部除去機能は、二値化した記事番号画像を構成する行列配列に対して、中心部から周辺部に向かって、１行ずつを読み取り、行中の白画素の個数を計測して、白画素が０個の行（黒行）が見つかったら、その行より周辺部の行を、二値化した記事番号画像１９３から除去する。ここで、二値化した記事番号画像は、黒地に白抜き文字の画像である。
数字部６等分機能は、記事番号画像の数字部分の割付情報を用いて、記事番号画像１９５の数字部分を６等分して、数字部を６等分した画像１９６を作成する。
左右余白部除去機能は、数字部を６等分した画像１９６を構成する行列配列に対して、中心部から周辺部に向かって、１列ずつを読み取り、列中の白画素の個数を計測して、白画素が０個の列（黒列）が見つかったら、その列より周辺部の列を、数字部を６等分した画像１９６から除去して、二値化した数字画像を作成する。
文字認識機能は、ＯＣＲプログラム１８０を呼び出して、二値化した数字画像を渡して、ＯＣＲプログラム１８０がこれをＯＣＲ辞書データ１９２と照合して文字認識した数字コードを受け取る。

関連記事検索返信手段１４０は、記事番号で構成される検索キーを作成して、記事データベースを検索して、得られた記事関連データを読み取って、携帯端末装置３００に返信する。

図１５は、記事番号画像抽出処理のフローチャートである。
（１）縦横比判定処理：記事番号画像抽出手段１２０の画像判定機能は、画像属性データ３９７の領域縦横寸法比データ３９７２と、記事番号画像判定データ１９１の縦横比判定データ１９１２と照合して、領域縦横寸法比データ３９７２が、縦横比判定データ１９１２の示す範囲の値に含まれる場合には、矩形領域画像データを矩形領域画像候補として保持する。（ステップＳ１１０）。
（２）保持した矩形領域画像候補数が２つ以上存在するか否かを判定する。
保持した矩形領域画像候補数が１つのみ存在する場合には、ステップＳ１２５に進む。
２つ以上存在する場合には、ステップＳ１３０に進む。
なお、保持した矩形領域画像候補数が０個の場合には、終了する。（ステップＳ１２０）
（３）記事番号画像確定処理：記事番号画像抽出手段１２０の画像判定機能は、その矩形領域画像候補を記事番号画像と判定して、終了する。（ステップＳ１２５）
（４）色判定処理：記事番号画像抽出手段１２０の画像判定機能は、保持した矩形領域画像候補の領域色３９７３と記事番号画像判定データの色判定データ１９１３とを照合して、領域色３９７３が、色判定データ１９１３の示す範囲の値に含まれる場合には、改めて矩形領域画像候補として保持する。（ステップＳ１３０）
（５）保持した矩形領域画像候補数が２つ以上存在するか否かを判定する。
保持した矩形領域画像候補数が１つのみ存在する場合には、ステップＳ１４５に進む。２つ以上存在する場合には、ステップＳ１５０に進む。
なお、保持した矩形領域画像候補数が０個の場合には、終了する。（ステップＳ１４０）
（６）記事番号画像確定処理：記事番号画像抽出手段１２０の画像判定機能は、その矩形領域画像候補を記事番号画像と判定して、終了する。（ステップＳ１４５）
（７）面積比判定処理：記事番号画像抽出手段１２０の画像判定機能は、保持した矩形領域画像候補の領域色面積比３９７４と記事番号画像判定データの色面積比判定データ１９１４とを照合して、領域色面積比３９７４が、色面積比判定データ１９１４の示す範囲の値に含まれる場合には、改めて矩形領域画像候補として保持する。（ステップＳ１５０）
（８）保持した矩形領域画像候補数が２つ以上存在するか否かを判定する。
保持した矩形領域画像候補数が１つのみ存在する場合には、ステップＳ１５５に進む。２つ以上存在する場合には、ステップＳ１７０に進む。
なお、保持した矩形領域画像候補数が０個の場合には、終了する。（ステップＳ１６０）
（９）記事番号画像確定処理：記事番号画像抽出手段１２０の画像判定機能は、その矩形領域画像候補を記事番号画像と判定して、終了する。（ステップＳ１６５）
（１０）平均画像照合処理：記事番号画像抽出手段１２０の画像判定機能は、保持した矩形領域画像候補と平均画像１９１１との類似度を、相関関数を用いて算出して、最も大きな類似度の矩形領域画像候補を記事番号画像と判定する。
画像照合して、類似度を算出して、最も大きな類似度の矩形領域画像候補を、記事番号画像と判定して、終了する。（ステップＳ１７０）

背景の色帯より濃い色の番号として割付デザインされた「記事番号」の例を説明する。
背景の色帯より濃い色の番号の記事番号画像では、二値化された記事画像は、白地に黒文字となる。そこで、二値化された記事番号画像１９３を色反転処理してから、（３）《記事番号画像の文字認識》の処理を行う。

異なる種類の情報誌（たとえば、Ａ社の住宅情報誌と、Ｂの住宅情報誌）の例を説明する。
異なる種類の情報誌では、それぞれ異なる割付デザインの記事番号が用いられる。
そこで、読者は、それぞれの情報誌に対応した携帯端末装置３００の専用プログラムを選択してから、記事関連情報提供システムの処理を行う。

１ 記事関連情報提供システム
１００ 関連情報サーバー装置
１１０ 画像属性作成手段
１２０ 記事番号画像抽出手段
１３０ 記事番号認識手段
１４０ 関連記事返信手段
１７０ 撮影画像受信手段
１８０ ＯＣＲプログラム
１８５ オペレーティングシステム
１９１ 記事番号画像判定データ
１９３ 記事データベース
１９５ 天地の余白を除去した二値化画像
１９６ 数字部を６等分した画像
１９７ 数字画像
３００ 携帯端末装置
３０２ 撮影画像の表示画面
３９１ 撮影画像
３９３ 矩形領域画像
３９５ 記事番号画像
３９７ 画像属性データ

Claims (3)

1. 記事番号画像判定データと、記事関連データを有する記事データベースと、を用いる記事関連情報提供方法であって、
   記事番号を含む情報誌の記事を電子カメラで撮影して撮影画像データを生成するステップと、
   撮影画像データから矩形領域画像を切り取り、矩形領域画像の画像属性データを作成して、この画像属性データに対して縦横比判定データと色判定データと色面積比判定データと平均画像データを含んだ記事番号画像判定データを適用して、
   矩形領域画像の領域縦横寸法比を算出する工程と、
   矩形領域画像の輪郭線近傍の画素を背景画素として抽出して、背景画素が有するＲＧＢ値を用いて、ＨＳＶ色相系のＨ値に変換して、領域色とする工程と、
   矩形領域画像の画素数に対して、領域色を有する画素数で除して、領域色面積比を算出する工程と、
   縦横比判定データに適合する領域縦横寸法比データを有する矩形領域画像が１つの場合には、これを記事番号画像と判定する工程と、
   色判定データに適合する領域色を有する矩形領域画像が１つの場合には、これを記事番号画像と判定する工程と、
   色面積比判定データに適合する領域色面積比を有する矩形領域画像が１つの場合には、これを記事番号画像と判定する工程と、
   矩形領域画像と平均画像とを比較して、最も大きな類似度の矩形領域画像を記事番号画像と判定する工程と、から記事番号画像データを抽出する記事番号画像抽出ステップと、
   抽出された記事番号画像データを文字認識して文字列を得て、この文字列を記事番号とする記事番号認識ステップと、
   記事番号に基づいて、記事データベースを検索して、得られた記事関連データを読み取って、携帯端末装置に返信する関連記事検索返信ステップと、
   携帯端末装置が記事関連データを表示する関連記事表示ステップと、
   を含んだ手順でなされることを特徴とする記事関連情報提供方法。
2. 縦横比判定データと色判定データと色面積比判定データと平均画像データを含む、記事番号画像判定データを格納する画像属性格納領域と、
   記事関連データを有する記事データベースを格納する記事格納領域と、
   を備える記憶手段と、
   携帯端末装置が送信する撮影画像を受信する撮影画像受信手段と、
   受信した撮影画像から矩形領域画像を切り取り、矩形領域画像の画像属性データを作成して、この画像属性データに対して記事番号画像判定データを適用して、記事番号画像と判定した記事番号画像データを抽出する機能と、
   矩形領域画像の領域縦横寸法比を算出する機能と、
   矩形領域画像の輪郭線近傍の画素を背景画素として抽出して、背景画素が有するＲＧＢ値を用いて、ＨＳＶ色相系のＨ値に変換して、領域色とする機能と、
   矩形領域画像の画素数に対して、領域色を有する画素数で除して、領域色面積比を算出する機能と、
   縦横比判定データに適合する領域縦横寸法比データを有する矩形領域画像が１つの場合には、これを記事番号画像と判定する機能と、
   色判定データに適合する領域色を有する矩形領域画像が１つの場合には、これを記事番号画像と判定する機能と、
   色面積比判定データに適合する領域色面積比を有する矩形領域画像が１つの場合には、これを記事番号画像と判定する機能と、
   矩形領域画像と平均画像とを比較して、最も大きな類似度の矩形領域画像を記事番号画像と判定する機能と、
   を含んだ記事番号画像抽出手段と、
   抽出された記事番号画像を文字認識して文字列を得て、この文字列を記事番号とする記事番号認識手段と、
   記事番号に基づいて、記事データベースを検索して、得られた記事関連データを携帯端末装置に返信する関連記事検索返信手段と、
   を備えることを特徴とする関連情報サーバー装置。
3. コンピューターに組込むことによって、コンピューター請求項２に記載の関連情報サーバー装置として動作させるコンピュータープログラム。

Images