JPWO2011046127A1

JPWO2011046127A1 - データ収集システム、携帯端末、シール及びデータ収集方法

Info

Publication number: JPWO2011046127A1
Application number: JP2011536145A
Authority: JP
Inventors: 藤原　隆平; 隆平藤原
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-10-14
Filing date: 2010-10-13
Publication date: 2013-03-07
Also published as: WO2011046127A1; US20120205440A1

Abstract

データ収集システムが、画像入力手段と、コード解読手段と、画像分析手段と、サーバとを備える。画像入力手段は、携帯端末に搭載されており、分析対象である表示デバイスの画像である分析対象画像を取得する。コード解読手段は、分析対象画像から分析対象に対応して設けられた光学的に読み取り可能なコードの画像であるコード画像部分を取り出し、コード画像部分からコードの記述を抽出する。画像分析手段は、コードの記述に含まれる画像種別データに応じて画像分析アルゴリズムを選択し、選択された画像分析アルゴリズムを用いて分析対象画像の画像分析を行って表示デバイスの表示データを抽出する。サーバは、携帯端末と通信可能であり、表示データを格納するデータ蓄積部を備えている。

Description

本発明は、データ収集システム、携帯端末、シール及びデータ収集方法に関し、特に、携帯端末による画像取り込みによってデータを収集するシステムに関する。

近年では、手軽に使える体温計をはじめとする健康用機器やゲーム機など、低価格な一般大衆向け機器に液晶デジタル表示が広く用いられるようになった。このような様々な表示データを読み取って収集し、収集したデータを用いて個人の活動パターンなどを分析すれることにより、新たな価値を創造することが期待されている。

その一方で、近年、カメラ付き携帯電話機その他の携帯端末は、測定機器の表示部やバーコードや２次元コードの画像を入力し、画像処理により、数値認識やコード分析等を行うことができるようになってきた。このような技術として、特許文献１は、人手入力負担を軽減するものとして、管理サーバと通信網を利用して管理サーバと通信可能なカメラ付き携帯電話とからなる検針システムを開示している。この検診システムでは、管理サーバが、需要家データベースと各月の計量メータの数値を記録する使用量データベースとを備えており、カメラ付き携帯電話は撮影した計量メータの表示面の画像を電子メールで管理サーバに送信し、管理サーバは受信した画像を文字認識することで計量メータの数値を読み取り使用量を算出する。また、特許文献２では、読み取り画像分析処理負担を軽減するものとして、携帯型情報端末装置において、読み取り領域が視認可能なように表示部に枠表示を行う枠表示プログラムを備える携帯型情報端末装置を開示している。

特開２００９−３７２７９号公報特開２００４−２８７８０８号公報

本発明の目的は、歩数計や水道メータなどデータ送信機能のない多様な電子機器が人に向けた表示情報をカメラ付の携帯端末により取り込み、分析して、所望のサーバに収集することができるデータ収集システムを提供することにある。

電子機器の表示と、同機器表示周辺に配置した画像コードとを同時に画像で取り込み、画像コードが示す分析アルゴリズム、収集サーバアドレスなどの情報にしたがって、機器表示画像を端末とサーバで分担して分析処理することにより、端末操作の簡便性と機器表示の多様性や情報応用システムへの適応性を格段に向上する。

本発明の一の観点においては、データ収集システムが、分析対象である表示デバイスの画像である分析対象画像を取得する、携帯端末に搭載された画像入力手段と、分析対象画像から分析対象に対応して設けられた光学的に読み取り可能なコードの画像であるコード画像部分を取り出し、コード画像部分からコードの記述を抽出するコード解読手段と、コードの記述に含まれる画像種別データに応じて画像分析アルゴリズムを選択し、選択された画像分析アルゴリズムを用いて分析対象画像の画像分析を行って表示デバイスの表示データを抽出する画像分析手段と、表示データを格納するデータ蓄積部を備え、携帯端末と通信可能なサーバとを備える。

本発明の他の観点においては、携帯端末が、分析対象である表示デバイスの画像である分析対象画像を取得する画像入力手段と、分析対象画像から分析対象に対応して設けられた光学的に読み取り可能なコードの画像であるコード画像部分を取り出し、コード画像部分からコードの記述を抽出するコード解読手段と、コードの記述に含まれる画像種別データに応じて画像分析アルゴリズムを選択し、選択された画像分析アルゴリズムを用いて分析対象画像の画像分析を行う画像分析手段と、画像分析によって得られたデータをサーバに送信するための無線送受信部とを備える。

本発明の更に他の観点においては、表示デバイスからのデータ収集に用いられるシールが、第１の枠と、第１の枠の内側に設けられた、光学的に読み取り可能なコードと、第１の枠の内側に設けられ、表示デバイスに対応する位置にある第２の枠とを備えている。コードには、表示デバイスの画像に対して用いられるべき画像分析アルゴリズムに対応する画像種別データが記述されている。

本発明の更に他の観点においては、データ収集方法が、分析対象である表示デバイスの画像である分析対象画像を携帯端末に設けられた画像入力手段によって取得するステップと、分析対象画像から分析対象に対応して設けられた光学的に読み取り可能なコードの画像であるコード画像部分を取り出すステップと、コード画像部分からコードの記述を抽出するステップと、コードの記述に含まれる画像種別データに応じて画像分析アルゴリズムを選択するステップと、選択された画像分析アルゴリズムを用いて分析対象画像の画像分析を行って表示デバイスの表示データを抽出するステップと、表示データをサーバに格納するステップとを備える。

本発明によれば、多様な画像に対応して容易にその画像に含まれる情報を収集し、所望のサーバに送ることができる。

本発明の一実施形態のデータ収集システムの構成と、その第１の応用例を示すブロック図である。本発明の一実施形態のデータ収集システムの構成と、その第２の応用例を示すブロック図である。本発明の一実施形態におけるカメラ付き携帯電話機の構成を示すブロック図である。本発明の一実施形態におけるデータサーバの構成を示すブロック図である。本発明の他の実施形態におけるカメラ付き携帯電話機の構成を示すブロック図である。

図１、図２は、本発明の一実施形態のデータ収集システムの構成を示すブロック図である。本実施形態のデータ収集システムは、携帯端末を用いてデータを収集し、収集したデータをサーバに蓄積するシステムであり、具体的には、カメラ付き携帯電話機７と、データサーバ９と、マッシュアップサーバ１０とを備えている。カメラ付き携帯電話機７は、画像処理の対象である表示デバイスを撮像して画像２０を取得し、その画像２０に対して画像処理を行う。この画像処理によって得られたデータは、ネットワーク８を介してカメラ付き携帯電話機７からデータサーバ９に送られる。

本実施形態のデータ収集システムは、カメラ付き携帯電話機７を共通に用いながら、様々な表示デバイスから表示データを収集することができるように構成されている。図１は、液晶デジット表示を持つ家電機器から表示データを読み取り、個人データとして蓄積するとともに、健康管理サービスなどにデータを活用するシステムへの応用例を示している。図１の応用例では、体温計１から表示データが読み取られて集積される。一方、図２は、メータ（例えば、体重計）のメータ表示部１２から表示データを読み取り、読み取った表示データを管理するシステムとしての応用例を示している。

データの収集元の表示デバイスには、データ読み取りを容易化するための標示が設けられる。詳細には、体温計１の液晶表示部２から表示データが読み取られる図１の応用例では、体温計１にシール３が貼り付けられている。シール３は、液晶表示部２に対応する位置に開口が設けられている。シール３の外縁と開口の縁には第１の枠５、第２の枠６が印刷されている。体温計１の液晶表示部２からのデータ読み取りにおいては、第１の枠５、第２の枠６が画像処理の対象の位置を識別するために使用される。加えて、第１の枠５の内側に２次元コード４が印刷されている。２次元コード４は、液晶表示部２に表示される画像種別（文字、輪郭図形等）を示す画像種別データと、体温計１から読み取られたデータを蓄積すべき場所を示す記述（例えば、情報の種類、サーバ名、ポート番号、並びにフォルダ名及びファイル名を示すＵＲＬ等を示す記述）を含んでいる。なお、本実施形態では、２次元コード４が使用されるが、その代わりに、光学的に読み取り可能な他のコード（例えば、通常のバーコード）も使用可能である。ただし、情報の記憶密度を向上させるという観点からは、２次元コードの使用が好適である。

一方、メータのメータ表示部１２からデータが読み取られる図２の応用例では、メータの前に透明アクリル板１１を置いた状態で画像読み取りが行われる。透明アクリル板１１には、シール３と同様のシール１３が貼り付けられている。シール１３には、第１の枠１５、第２の枠１６が印刷されており、メータ表示部１２からのデータ読み取りにおいては、第１の枠１５、第２の枠１６が画像処理の対象の位置を識別するために使用される。加えて、第１の枠１５の内側に２次元コード１４が印刷されている。２次元コード１４には、メータ表示部１２に表示される画像種別（文字、輪郭図形等）を示す情報と、メータ表示部１２から読み取られたデータを蓄積すべき場所を示す記述（例えば、情報の種類、サーバ名、ポート番号、並びにフォルダ名及びファイル名を示すＵＲＬ等）を示す記述がなされている。透明アクリル板１１を用いる応用例は、筺体に凹凸がある機器等、シールを貼るのに適していない機器からデータを読み取る場合に適している。なお、図２では、透明アクリル板１１が用いられているが、ガラスなどアクリル以外の透明な材料の板を用いることができることは当業者には自明的である。

ここで、図１、図２のいずれにおいても、画像処理対象の近傍に、画像種別を示す情報が記述された２次元コード（４や１４）が設けられていること、及び、画像処理の対象が第１の枠（５や１５）及び第２の枠（６や１６）によって予め指定されていることに留意されたい。本実施形態のデータ収集システムでは、２次元コードと２つの枠を利用することにより、データ読み取りが容易化されている。

体温計１の液晶表示部２から読み取られた表示データ、及びメータのメータ表示部１２から読み取られた表示データは、データサーバ９に蓄積されて保存される。マッシュアップサーバ１０は、データサーバ９に保存されたデータを有効活用するためのマッシュアップサービスを提供する。マッシュアップサーバ１０は、ネットワーク８を介してデータサーバ９から蓄積された個人データを取得し、携帯電話機７のブラウザを介してユーザに健康サービスを提供する。マッシュアップサービスは、当業者には周知の技術であり、その詳細は説明しない。

図３は、カメラ付き携帯電話機７の構成を示すブロック図である。携帯電話機７は、カメラ２１と、操作部２２と、ＣＰＵ２３と、記憶装置２４と、表示部２５と、無線送受信部２６とＩＤ部２７とを備えている。カメラ２１は、表示デバイス（例えば、体温計１の液晶表示部２及びメータのメータ表示部１２）の画像を撮影するために使用される。操作部２２、表示部２５は、携帯電話機７のマンマシンインターフェースとして機能する。無線送受信部２６は、ネットワーク８を介して通信を行うために使用される。ＩＤ部２７は、携帯電話機７に与えられた端末識別コード２７ａを記憶するメモリである。端末識別コード２７ａは、データ収集システム全体についてユニークに定められている。

記憶装置２４には、データ収集システムの処理に必要な様々なソフトウェアプログラムがインストールされている。具体的には、記憶装置２４には、画像取り込みモジュール３１と、２次元コード解析モジュール３２と、制御モジュール３３と、特徴抽出モジュール３４と、ブラウザ３５とがインストールされている。これらのソフトウェアプログラムがＣＰＵ２３を用いて実行されることにより、カメラ付き携帯電話機７が所望の動作を行う。２次元コード解析モジュール３２は、画像２０から２次元コード４、１４を検出し、分析する。特徴抽出モジュール３４は、画像２０から輪郭等の画像の特徴を抽出する。制御モジュール３３は、データサーバ９、マッシュアップサーバ１０と個別に通信リンクを構成しブラウザ３５を介してマッシュアップサーバ１０のデータを表示部２５に表示する。特徴抽出モジュール３４には、複数の画像分析アルゴリズムと複数の参照画像データとが用意されており、図３の符号３４ａ、３４ｂは、それぞれ、そのうちの一つの画像分析アルゴリズム、参照画像データを示している。

カメラ付き携帯電話機７の特徴抽出モジュール３４は、２次元コード４、１４に記述された画像種別に応じて実際に画像分析に使用される画像分析アルゴリズム３４ａと参照画像データ３４ｂとを選択する。

ここで、カメラ付き携帯電話機７は、画像２０に対する画像処理を単独で行う場合もあり、また、画像２０に対する画像処理をカメラ付き携帯電話機７とデータサーバ９とで分担する場合もある。軽い画像処理しか必要がない場合には、カメラ付き携帯電話機７単独で画像処理を行うことが望ましい。一方、重い画像処理が必要である場合には、カメラ付き携帯電話機７とデータサーバ９とで分担して画像処理を行うことが望ましい。いずれの画像処理が選ばれるかは、２次元コード４、１４に記述された画像種別によって決定される。カメラ付き携帯電話機７単独で画像処理が行われる場合には、画像処理によって得られたデータがデータサーバ９に送られる。一方、カメラ付き携帯電話機７とデータサーバ９とで分担して画像処理が行われる場合には、カメラ付き携帯電話機７の画像処理によって中間的に得られたデータ（例えば、第２の枠６や１６に囲まれた部分だけ抽出したデータで、以下、「中間処理画像データ」という。）がデータサーバ９に送られる。その中間処理画像データからデータサーバ９の画像処理によって所望の表示データが最終的に抽出される。

なお、あらゆる画像種別に対応可能になるように画像分析アルゴリズムと参照画像データを携帯電話機７の特徴抽出モジュール３４に用意することは、実装上、現実的ではない。そこで、データサーバ９その他のサーバ（例えば、マッシュアップサーバ１０）から必要な画像分析アルゴリズム３４ａと参照画像データ３４ｂを携帯電話機７にダウンロードしてもよい。

一方、図４は、データサーバ９の構成を示すブロック図である。データサーバ９は、通信部４１と、ＣＰＵ４２と、記憶装置４３と、時計４４とを備えている。記憶装置４３には、個人データ蓄積領域５１が用意されており、この個人データ蓄積領域５１に、カメラ付き携帯電話機７を用いて収集されたデータが端末識別コード２７ａと対応づけて蓄積される。加えて、記憶装置４３には、画像取り込みモジュール５２、制御モジュール５３、特徴抽出モジュール５４と、画像パターン比較モジュール５５とがインストールされている。画像取り込みモジュール５２は、携帯電話機７から送られてきた中間処理画像データを一時的に蓄積する。特徴抽出モジュール５４は、分析プログラムライブラリ５６に登録されている分析プログラム５６ａを用いて中間処理画像データから特徴抽出を行う。画像パターン比較モジュール５５は、特徴抽出モジュール５４による特徴抽出によって生成された画像データと画像パターンライブラリ５７に登録されている比較画像データとを比較して類似度分析を行い、これにより、所望の表示データ（数値データや文字データ）を最終的に取り出す。

続いて、表示デバイスの表示データを、携帯電話機７を用いて収集する手順について詳細に説明する。まず、図１を参照しながら、体温計１の液晶表示器２の表示データを収集する手順について説明する。

ユーザが携帯電話機７で体温計１のシール３を中心に撮影すると、携帯電話機７の画像取り込みモジュール３１は、画像２０に含まれている第１の枠５を認識し、第１の枠５の内部の画像から２次元コード４を切り取り、切り取った２次元コード４を２次元コード解析モジュール３２に送る。ここで、第１の枠５の存在及びその形状は予め既知であるから、画像取り込みモジュール３１の認識アルゴリズムを第１の枠５に合わせて作成しておくことにより、第１の枠５の内部の画像の切り出し、及び、２次元コード４の切り取りを正確に行うことができる。即ち、第１の枠５が規定されていることにより、画像取り込みモジュール３１に画像２０の分析対象部位を正確に認識させることができる。また、第１の枠５の形状を既知とすることで、自動焦点や自動ズームなど光学的な制御で画像の切り出し精度をあげることができ、携帯電話機７のラフな撮影操作でも台形補正など画像修整により分析精度が向上することができる。

２次元コード解析モジュール３２は、２次元コード４を画像分析し、２次元コード４から抽出したデータを制御モジュール３３に送る。２次元コード４には、第２の枠６の内部の画像の種別を示す画像種別データと、データの格納先のＵＲＬ（接続先のサーバのアドレスなど）が記述されている。制御モジュール３３は、２次元コード４の画像種別データから第２の枠６内の液晶表示部２の画像が液晶デジット表示であることを認識し、第２の枠６内の画像に対してパターンマッチによる数字の認識の画像処理を行うべきであることを判断する。このとき、制御モジュール３３は、画像処理を携帯電話機７単独で行うと判断し、パターンマッチに使用される画像分析アルゴリズム３４ａ及び参照画像データ３４ｂを指定して特徴抽出モジュール３４に伝える。

一方、画像取り込みモジュール３１は第２の枠６を認識して、第２の枠６の内部の画像を抽出し特徴抽出モジュール３４に送る。ここで、第２の枠６の存在及びその形状は予め既知であるから、画像取り込みモジュール３１の認識アルゴリズムを第２の枠６に合わせて作成しておけば、第２の枠６の内部の画像の取り出しを正確に行うことができる。即ち、第２の枠６が規定されていることにより、画像取り込みモジュール３１に画像２０の分析対象部位を正確に認識させることができる。

特徴抽出モジュール３４は制御モジュール３３によって指定された画像分析アルゴリズム３４ａに基づいて画像分析を行い、枠内に表示されていた体温計１の液晶表示部２から数字などの表示データを抽出し、制御モジュール３３に送る。更に、制御モジュール３３は２次元コード４から抽出されたデータから表示データの格納先のＵＲＬを知り、画像種別データと、特徴抽出モジュール３４による画像分析によって得られた表示データ（数字など）と、格納先のＵＲＬを、無線送受信部２６を介してデータサーバ９に送信する。その際、携帯電話機７がシステム上唯一であることを示す端末識別コード２７ａをＩＤ部２７より読みだして添付する。

携帯電話機７から送信された前記データ（画像種別データ、表示データ、端末識別コード２７ａ）は、ネットワーク８を経由して、データサーバ９に送られる。データサーバ９の制御モジュール５３は、端末識別コード２７ａで特定される個人データ蓄積領域５１のうち格納先ＵＲＬで特定される領域に時計４４から知る書き込み時刻毎に受信データ（画像種別データ、表示データ、端末識別コード２７ａ）を格納する。

一方、携帯電話機７はユーザがサービス契約を結んで既知であるマッシュアップサーバ１０のウエブページを、ブラウザ３５を起動して呼び出す。マッシュアップサーバ１０はデータサーバ９の個人データ蓄積領域５１に蓄積された携帯電話機７のユーザの個人情報を読み出し、ウエブページに編集してブラウザ解読へ提供する。データサーバ９の情報をマッシュアップサーバ１０が新しいサービス提供のために取り出すことは一般にマッシュアップといわれるウエブサービスの応用方法としてよく知られている。マッシュアップサーバ１０は、測定された時点の体温のみならず、データサーバ９に蓄積されている過去の情報を利用した異常の警告やバイオリズムの告知など、新たな情報サービスとして体温計１の付加価値を提供することができる。

次に、図２で示すようなメータ表示部１２からの表示データの読み取りの手順を説明する。図１の体温計１の例のように第２の枠６の内部の画像が液晶デジット表示のように比較的認識しやすい場合は携帯電話機７の処理能力で画像分析を行うことが可能である。しかし、メータ表示部１２の針の状態を読み取る場合などは特徴抽出処理の負担が重く、携帯電話機７の処理能力では実装上問題である。そこで、メータ表示部１２からの表示データの読み取りでは、携帯電話機７とデータサーバ９とで分担して画像処理を行う。以下、詳細に説明する。

透明アクリル板１１には、第１の枠１５、第２の枠１６、２次元コード１４が印刷された図１のシール３と同等のシール１３が貼られている。中空の第２の枠１６の内側にメータ表示部１２が収まるようにかざしてメータ表示部１２を携帯電話機７で撮影することでメータ表示部１２が指し示す表示データをデータサーバ９に送ることができる。

詳細には、ユーザが携帯電話機７で透明アクリル板１１のシール１３越しにメータ表示部１２を撮影すると、先の体温計１の場合と同様に、携帯電話機７の画像取り込みモジュール３１がまず第１の枠１５を認識して、第１の枠１５の内部の画像から２次元コード１４の部分を切り取って２次元コード解析モジュール３２に送る。２次元コード解析モジュール３２は画像から読み取った２次元コード１４を画像分析し、抽出したデータを制御モジュール３３に送る。制御モジュール３３では２次元コード１４に記述された画像種別データから、第２の枠１６で特定される透明アクリル板１１の背後の画像種別がメータであることを認識する。制御モジュール３３は、画像種別がメータであることを認識すると、画像処理を携帯電話機７とデータサーバ９とで分担して行うことを決定する。即ち、制御モジュール３３は、携帯電話機７が画像２０から輪郭データを中間処理画像データとして抽出する一方で、データサーバ９が中間処理画像データから最終的に表示データを抽出する手順を選択する。この選択に応じて、制御モジュール３３は、第２の枠１６内の画像から輪郭データを抽出する画像分析アルゴリズム３４ａを特定し特徴抽出モジュール３４に伝える。

一方、画像取り込みモジュール３１は第２の枠１６を認識して、第２の枠１６の内部の画像を抽出し特徴抽出モジュール３４に送る。特徴抽出モジュール３４は制御モジュール３３から指定された画像分析アルゴリズム３４ａを用いて輪郭データを抽出し、輪郭データを中間処理画像データとして制御モジュール３３に送る。制御モジュール３３は２次元コード解析モジュール３２が抽出したデータから接続先のサーバの通信アドレスなどデータの格納先のＵＲＬを知り、画像種別データと中間処理画像データと格納先のＵＲＬとを、無線送受信部２６を介してデータサーバ９に送信する。その際、携帯電話機７がシステム上唯一であることを示す端末識別コード２７ａをＩＤ部２７より読みだしてデータに添付する。

携帯電話機７から送信されたデータはネットワーク８を経由して、データサーバ９の制御モジュール５３に届く。データサーバ９の制御モジュール５３は、送られてきた画像種別データから判断して中間処理画像データを記憶装置２４に一時保管し、分析プログラムライブラリ５６からメータ画像の分析プログラム５６ａを指定して特徴抽出モジュール５４にメータ画像の分析を指示する。特徴抽出モジュール５４では指定された分析プログラム５６ａが稼働し、中間処理画像データから特徴を抽出する。画像パターン比較モジュール５５は、画像パターンライブラリ５７から比較画像データ５７ａを読み出し、特徴抽出モジュール５４で特徴を抽出して得られた画像データと比較画像データ５７ａを比較することにより、メータの示す数値を分析する。画像パターン比較モジュール５５は、分析結果を制御モジュール５３に送り、制御モジュール５３は端末識別コード２７ａで特定される個人データ蓄積領域５１のうち、格納先として指定されたＵＲＬで特定される領域に、時計４４から知る書き込み時刻毎に格納する。このように図２のメータ表示部１２の画像の分析においては、２次元コード１４に記述された画像種別データに従って、画像の分析が携帯端末機７とデータサーバ９の分担で行われる。

読み取られた表示データは、体温計１の応用例と同様にマッシュアップによって利用方法が可能である。このような表示データの読み取り方法は、工場での巡回監視や異常警告などに利用できる。なお、多様な画像分析アルゴリズムに対応する場合や、分析処理が複雑な場合にはデータサーバ９に画像処理を任せることも可能である。ただし、この場合には、携帯電話機７から特徴を落とさず画像２０のデータを送る必要があるので通信量が増えることになる。

上述の実施形態では、分析対象の周囲に２つの枠を規定する方法としてシール３、１３が用いられているが、他に様々な方法によって枠を規定してもよい。例えば、図５に示されているように、携帯電話機７に読み取り光源１８が設けられ、この読み取り光源１８による照射光３０によって第１の枠、第２の枠が規定されてもよい。

一実施形態では、読み取り光源１８にＬＥＤ（light emitting diode）が使用され、そのＬＥＤが光ビームを照射することにより、第１の枠５が規定されてもよい。画像取り込みモジュール３１では光ビームの照射がされた部分であるＬＥＤ発光照射部分６２の明るさが周囲と異なることから、画像２０から図１のシール３の第１の枠５で囲まれた部分を抽出することができる。また、第２の枠６は、体温計１の液晶表示部２の光反射率が周囲と異なる構造にすることで容易に実現することができる。

ＬＥＤを用いた読み取り光源１８の代わりに、ＭＥＭＳ（Micro Electro
Mechanical Systems）技術で作られた鏡によりレーザ光を反射させて描画するレーザーマーカを読み取り光源１８として用いてもよい。レーザーマーカを用いて、図１のシール３の第１の枠５、第２の枠６に相当する像を描画することでシール３に枠を印刷することと同等の効果がある。

ここで、スライドスイッチ１９の操作に応じて読み取り光源１８の集光レンズの焦点距離を変化させたり、ＭＥＭＳ稼動範囲を変化させたりすることによって読み取り光源１８の照射範囲、描画範囲が可変である構成を採用することにより、画像取り込みモジュール３１では分析範囲を絞ることができるので分析処理の効率があがる。例えば、図５の破線６３で示されている領域よりもＬＥＤ発光照射部分６２を狭くすれば、分析範囲を絞ることができる。

なお、混乱が起きないように、画像分析アルゴリズムや分析リファレンスとの対応付けに使用される２次元コードの画像種別コードと情報読み取り対象の家電機器とサーバの対応付けに使用されるＵＲＬ情報の管理は、システム運用者が一元的に行うことが望ましい。

以上に説明されているように、本実施形態のデータ収集システムでは、２次元コード４、１４に画像種別データが記録されているので、画像分析アルゴリズムや参照画像データを最適に選択することが可能となり、多様な画像利用への対応が拡大し、さらに読み取り精度も向上する。加えて、第１の枠、第２の枠を予め規定しておくことによって分析部位を指定することにより、読み取り精度を向上することができる。本実施形態のシステムによれば、人だけを対象としていた情報表示から情報を抽出してデジタルデータ化することでネットワーク化された情報処理サービスを利用することができる。現状ではネットワーク化されていない安価な電子機器からも情報を収集することが可能となり、これらに新しい付加価値を提供することができる。

以上、実施形態を参照して本願発明を説明したが、本願発明は、上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２００９年１０月１４日に提出された日本出願２００９−２３７６１６を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

分析対象である表示デバイスの画像である分析対象画像を取得する、携帯端末に搭載された画像入力手段と、
前記分析対象画像から前記分析対象に対応して設けられた光学的に読み取り可能なコードの画像であるコード画像部分を取り出し、前記コード画像部分から前記コードの記述を抽出するコード解読手段と、
前記コードの記述に含まれる画像種別データに応じて画像分析アルゴリズムを選択し、選択された前記画像分析アルゴリズムを用いて前記分析対象画像の画像分析を行って前記表示デバイスの表示データを抽出する画像分析手段と、
前記表示データを格納するデータ蓄積部を備え、前記携帯端末と通信可能なサーバとを備える
データ収集システム。
請求項１のデータ収集システムであって、
前記コード解読手段は、前記分析対象画像に含まれている第１の枠を認識し、前記第１の枠の内部の画像から前記コード画像部分を取り出し、
前記画像分析手段は、前記第１の枠の内部の画像に含まれている第２の枠を認識し、前記第２の枠の内部の画像を、前記画像分析アルゴリズムを用いて分析して前記表示データを抽出する
データ収集システム。
請求項２に記載のデータ収集システムであって、
前記携帯端末が、前記第１の枠を規定する照射光を照射する光源を有する
データ収集システム。
請求項３に記載のデータ収集システムであって、
前記照射光の照射範囲が可変である
データ収集システム。
請求項１乃至４のいずれかに記載のデータ収集システムであって、
前記コード解読手段は前記携帯端末に設けられ、
前記画像分析手段が、前記携帯端末に用意され、前記分析対象画像から前記表示データを抽出する携帯端末側画像分析手段を含み、
前記携帯端末は、前記携帯端末側画像分析手段によって得られた前記表示データを前記サーバに送信するように構成された
データ収集システム。
請求項１乃至４のいずれかに記載のデータ収集システムであって、
前記コード解読手段は前記携帯端末に設けられ、
前記画像分析手段が、
前記携帯端末に用意された携帯端末側画像分析手段と、
前記サーバに用意されたサーバ側画像分析手段
とを含み、
前記携帯端末側画像分析手段は、前記分析対象画像に対して画像分析を行うことによって中間処理画像データを生成する機能を有しており、
前記携帯端末は、前記中間処理画像データを前記サーバに送信するように構成され、
前記サーバ側画像分析手段は、前記中間処理画像データに対して画像分析を行うことによって前記表示データを抽出し、
前記サーバは、前記サーバ側画像分析手段によって得られた前記表示データを前記データ蓄積部に格納するように構成された
データ収集システム。
請求項６に記載のデータ収集システムであって、
前記コードの記述に含まれる前記画像種別データが第１画像種別を示す場合、前記携帯端末側画像分析手段が前記携帯端末側画像分析手段によって前記表示データを抽出するような第１画像分析アルゴリズムを選択すると共に前記携帯端末は、前記携帯端末側画像分析手段によって得られた前記表示データを前記サーバに送信し、
前記コードの記述に含まれる前記画像種別データが第２画像種別を示す場合、前記携帯端末側画像分析手段が前記携帯端末側画像分析手段と前記サーバ側画像分析手段とで分担して前記表示データを抽出するような第２画像分析アルゴリズムを選択し、前記携帯端末が前記携帯端末側画像分析手段によって得られた前記中間処理画像データを前記サーバに送信し、且つ、前記サーバ側画像分析手段が前記中間処理画像データに対して画像分析を行うことによって前記表示データを抽出する
データ収集システム。
請求項１乃至７のいずれかに記載のデータ収集システムであって、
前記コードの記述には、前記表示データの格納先を示す格納先情報が含まれる
データ収集システム。
分析対象である表示デバイスの画像である分析対象画像を取得する画像入力手段と、
前記分析対象画像から前記分析対象に対応して設けられた光学的に読み取り可能なコードの画像であるコード画像部分を取り出し、前記コード画像部分から前記コードの記述を抽出するコード解読手段と、
前記コードの記述に含まれる画像種別データに応じて画像分析アルゴリズムを選択し、選択された前記画像分析アルゴリズムを用いて前記分析対象画像の画像分析を行う画像分析手段と、
前記画像分析によって得られたデータをサーバに送信するための無線送受信部
とを備える
携帯端末。
請求項９の携帯端末であって、
前記コード解読手段は、前記分析対象画像に含まれている第１の枠を認識し、前記第１の枠の内部の画像から前記コード画像部分を取り出し、
前記画像分析手段は、前記第１の枠の内部の画像に含まれている第２の枠を認識し、前記第２の枠の内部の画像に対して前記画像分析を行う
携帯端末。
請求項１０に記載の携帯端末であって、
前記携帯端末が、前記第１の枠を規定する照射光を照射する光源を有する
携帯端末。
請求項１１に記載の携帯端末であって、
前記照射光の照射範囲が可変である
携帯端末。
請求項９乃至１２のいずれかに記載の携帯端末であって、
前記画像分析手段が、前記分析対象画像から前記表示デバイスの表示データを抽出するように構成され、
前記無線送受信部は、前記表示データを前記サーバに送信する
携帯端末。
請求項９乃至１２のいずれかに記載の携帯端末であって、
前記画像分析手段が、前記分析対象画像に対して画像分析を行うことによって、前記サーバにおいて前記表示デバイスの表示データを抽出するために使用される中間処理画像データを生成する機能を有しており、
前記無線送受信部は、前記中間処理画像データを前記サーバに送信するように構成された
携帯端末。
請求項１４に記載の携帯端末であって、
前記コードの記述に含まれる前記画像種別データが第１画像種別を示す場合、前記画像分析手段が前記表示データを抽出するような第１画像分析アルゴリズムを選択すると共に前記無線送受信部は、前記画像分析手段によって得られた前記表示データを前記サーバに送信し、
前記コードの記述に含まれる前記画像種別データが第２画像種別を示す場合、前記画像分析手段が前記分析対象画像から前記中間処理画像データを生成する第２画像分析アルゴリズムを選択し、前記無線送受信部は、前記画像分析手段によって得られた前記中間処理画像データを前記サーバに送信する
携帯端末。
表示デバイスからのデータ収集に用いられるシールであって、
第１の枠と、
前記第１の枠の内側に設けられた、光学的に読み取り可能なコードと、
前記第１の枠の内側に設けられ、前記表示デバイスに対応する位置にある第２の枠
とを備え、
前記コードには、前記表示デバイスの画像に対して用いられるべき画像分析アルゴリズムに対応する画像種別データが記述されている
シール。
分析対象である表示デバイスの画像である分析対象画像を携帯端末に設けられた画像入力手段によって取得するステップと、
前記分析対象画像から前記分析対象に対応して設けられた光学的に読み取り可能なコードの画像であるコード画像部分を取り出すステップと、
前記コード画像部分から前記コードの記述を抽出するステップと、
前記コードの記述に含まれる画像種別データに応じて画像分析アルゴリズムを選択するステップと、
選択された前記画像分析アルゴリズムを用いて前記分析対象画像の画像分析を行って前記表示デバイスの表示データを抽出するステップと、
前記表示データをサーバに格納するステップ
とを備える
データ収集方法。
請求項１７に記載のデータ収集方法であって、
前記表示デバイスに、第１の枠と、前記第１の枠の内側に設けられた前記表示デバイスに対応する位置にある第２の枠と、前記第１の枠の内側に設けられた前記コードとを有するシールを貼り付けるステップを備え、
前記コード画像部分を取り出すステップは、
前記分析対象画像に含まれている第１の枠を認識するステップと、
前記第１の枠の内部の画像から前記コード画像部分を取り出すステップ
とを備え、
前記表示データを抽出するステップは、
前記第１の枠の内部の画像に含まれている第２の枠を認識するステップと、
前記第２の枠の内部の画像を、前記画像分析アルゴリズムを用いて分析して前記表示データを抽出するステップ
とを備える
データ収集方法。
請求項１７に記載のデータ収集方法であって、
更に、
前記表示デバイスの前に、第１の枠と、前記第１の枠の内側に設けられた前記表示デバイスに対応する位置にある第２の枠と、前記第１の枠の内側に設けられた前記コードとを有するシールが貼り付けられた透明板を位置させるステップを備え、
前記コード画像部分を取り出すステップは、
前記分析対象画像に含まれている第１の枠を認識するステップと、
前記第１の枠の内部の画像から前記コード画像部分を取り出すステップ
とを備え、
前記表示データを抽出するステップは、
前記第１の枠の内部の画像に含まれている第２の枠を認識するステップと、
前記第２の枠の内部の画像を、前記画像分析アルゴリズムを用いて分析して前記表示データを抽出するステップ
とを備える
データ収集方法。