JP6915111B1 - リアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラム - Google Patents

Abstract

【課題】 対象物に表示されている表示データを検出してデータを集約することが可能な、リアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラムを提供することを目的とする。【解決手段】 リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、端末１００に対象物２００を周囲から動画像で撮影する撮影モジュール１１１と、撮影した動画像を基に、対象物２００を認識する対象物認識モジュール１２１と、撮影した動画像と認識した対象物２００を基に、対象物に表示されている表示データを検出するデータ検出モジュール１２２と、を備える。【選択図】図１

Description

本発明は、撮影した動画像と認識した対象物を基に、対象物に表示されている表示データを検出するリアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラムに関するものである。

近年、体温計や血圧計等のバイタル計測機器を中心にＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）連携に対応した機器が増えている。これらは主に、メーカーの提供するアプリケーションやクラウドサービスと連携し、その測定データを蓄積していく（非特許文献１）。

オムロン株式会社、"オムロン ウェアラブル血圧計 HeartGuide"、"Wearable Blood Pressure Monitor HCR-6900T-M"、[online]、[令和２年１月２３日検索]、インターネット（URL:https://www.healthcare.omron.co.jp/sp/hcr-6900t/）

上記の非特許文献１には、ウェアラブルデバイスである血圧計で血圧を測定し、ＩｏＴによりデータを蓄積して解析する技術が記載されている。

上述のように、一般に、機器自体をＩｏＴ連携に対応することで、メーカーの提供するアプリケーションやクラウドサービスと連携し、その測定データを蓄積していくことが可能となっている。

しかしながら、機器のすべてについて、同一メーカーの連携対応製品を買い揃えた場合は、一つのサービスにデータが蓄積されていくが、医療機関や家庭において、血圧計はＡ社製、体温計はＢ社製、のように揃っていない状況も多々ある。その場合、データが対応サービス毎に蓄積していくことになり、管理が煩雑になりやすく、また、データが一箇所に集まっている場合と比較すると、データを蓄積させている意味合いも薄まる。さらに、現状保有している機器が連携に対応していない機器の場合、機器の買い替えが必要となる。

この課題に対して、本発明者らは、既存の機器をそのまま利用できるよう、光学的に表示情報を読み取ることで、連携機能の有無や機器のメーカーに縛られずデータを集約することが可能となることに着目した。また、機器とは別の撮影手段を用いることで、機器との通信が不要となり、紙媒体の情報についても、同様に測定データを蓄積することが可能となることに着目した。

本発明は、撮影した動画像と認識した対象物を基に、対象物に表示されている表示データを検出するリアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

第１の特徴に係る発明は、
リアルタイムでデータを検出するリアルタイムデータ検出システムであって、
対象物を周囲から動画像で撮影する撮影手段と、
前記撮影した動画像を基に、前記対象物の３次元的な形状を認識することにより、前記対象物の種類を認識する前記対象物を認識する対象物認識手段と、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するデータ検出手段と、
前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正する歪み補正手段と、
前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去する反射光除去手段と、
を備えることを特徴とするリアルタイムデータ検出システムを提供する。

第１の特徴に係る発明によれば、リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、前記撮影手段が、対象物を周囲から動画像で撮影すると、前記対象物認識手段が、前記撮影した動画像を基に前記対象物の３次元的な形状を認識することにより、前記対象物の種類を認識し、データ検出手段が、前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出し、歪み補正手段が、前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正し、反射光除去手段が、前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去する。

第１の特徴に係る発明は、リアルタイムデータ検出システムのカテゴリであるが、リアルタイムデータ検出方法、およびプログラムであっても同様の作用、効果を奏する。

第２の特徴に係る発明は、第１の特徴に係る発明であるリアルタイムデータ検出システムであって、
前記対象物認識手段において、前記対象物の認識が不可能な場合、前記撮影手段により動画像を再度取得して前記対象物の認識に必要なデータを補完し、
前記データ検出手段において、前記対象物の表示データの検出が不可能な場合、前記撮影手段により動画像を再度取得して前記表示データの検出に必要なデータを補完することを特徴とするリアルタイムデータ検出システムを提供する。

第２の特徴に係る発明によれば、第１の特徴に係る発明であるリアルタイムデータ検出システムにおいて、前記対象物認識手段において、前記対象物の認識が不可能な場合、前記撮影手段により動画像を再度取得して前記対象物の認識に必要なデータを補完し、前記データ検出手段において、前記対象物の表示データの検出が不可能な場合、前記撮影手段により動画像を再度取得して前記表示データの検出に必要なデータを補完する。

第３の特徴に係る発明は、第１又は第２の特徴に係る発明であるリアルタイムデータ検出システムであって、
前記認識した対象物を登録する対象物登録手段と、
前記対象物に前記検出した表示データの文字列を紐づけて保存するデータ保存手段と、
を備えることを特徴とするリアルタイムデータ検出システムを提供する。

第３の特徴に係る発明によれば、第１又は第２の特徴に係る発明であるリアルタイムデータ検出システムにおいて、対象物登録手段が、認識した対象物を登録し、前記データ保存手段が、前記対象物に前記検出した表示データの文字列を紐づけて保存する。

第４の特徴に係る発明は、第３の特徴に係る発明であるリアルタイムデータ検出システムであって、
前記対象物認識手段は、データ種別識別子を認識してデータの種別を特定し、
前記データ保存手段は、前記対象物に前記検出した表示データの文字列を紐づけて保存する際に、併せてデータの種別を保存することを特徴とするリアルタイムデータ検出システムを提供する。

第４の特徴に係る発明によれば、第３の特徴に係る発明であるリアルタイムデータ検出システムにおいて、前記対象物認識手段は、データ種別識別子を認識してデータの種別を特定し、前記データ保存手段は、前記対象物に前記検出した表示データの文字列を紐づけて保存する際に、併せてデータの種別を保存する。

第５の特徴に係る発明は、
リアルタイムでデータを検出するリアルタイムデータ検出方法において、
対象物を周囲から動画像で撮影するステップと、
前記撮影した動画像を基に、前記対象物の３次元的な形状を認識することにより、前記対象物の種類を認識するステップと、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するステップと、
前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正するステップと、
前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去するステップと、
を備えることを特徴とするリアルタイムデータ検出方法を提供する。

第６の特徴に係る発明は、
リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、
対象物を周囲から動画像で撮影するステップ、
前記撮影した動画像を基に、前記対象物の３次元的な形状を認識することにより、前記対象物の種類を認識するステップ、
前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するステップ、
前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正するステップ、
前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去するステップ、
を備えることを特徴とするプログラムを提供する。

本発明によれば、撮影した動画像と認識した対象物を基に、対象物に表示されている表示データを検出するリアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラムを提供することが可能となる。

図１は、本発明の好適な実施形態の概要図である。 図２は、リアルタイムデータ検出処理のフローチャート図である。 図３は、本発明の構成と、端末１００の機能ブロックと各機能の関係を示す図である。 図４は、歪み補正処理、反射光除去処理、対象物登録処理、データ保存処理を行う場合の本発明の構成と、端末１００の機能ブロックと各機能の関係を示す図である。 図５は、表示データ検出処理のフローチャート図である。 図６は、登録処理のフローチャート図である。 図７は、対象物２００の外観を表す特徴点を取得する場合の模式図である。 図８は、対象物２００の表示エリアを認識して、歪み補正処理を行う場合の模式図である。 図９は、対象物２００Ａの表示エリアを認識して反射光除去処理を行う場合の模式図である。 図１０は、対象物２００Ｂの表示エリアを認識して反射光除去処理を行う場合の模式図である。 図１１は、対象物２００の別の一例である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。

［リアルタイムデータ検出システムの概要］
図１は、本発明の好適な実施形態の概要図である。この図１に基づいて、本発明の概要を説明する。リアルタイムデータ検出システムは、端末１００、対象物２００から構成される。また、ここでは患者の体温や血圧等のバイタルデータを蓄積していくリアルタイムデータ検出システムを例として説明するが、取り扱うデータは、バイタルデータに限定されることはない。

なお、図１において、端末１００の数は一つに限らず複数であってもよい。また、対象物２００の数は二つに限らず、一つであっても三つ以上であってもよい。ここでは、体温計の対象物２００Ａと、血圧計の対象物２００Ｂの二つを図示している。対象物２００Ａと対象物２００Ｂは、対象者３００のバイタルデータを測定したものであるとする。対象者３００は、患者、被介護者、バイタルデータを管理したいリアルタイムデータ検出システムの利用者等であるものとする。また、ここでの利用者４００は、医師、看護師、介護士、作業療法士、理学療法士、診療助手、受付担当者、対象者３００自身等であり、端末１００を操作するリアルタイムデータ検出システムの利用者であるものとする。

端末１００は、図３に示すように、撮影部１１０、制御部１２０、記憶部１３０、通信部１４０、入力部１５０、出力部１６０から構成される。撮影部１１０は、制御部１２０、記憶部１３０と協働して撮影モジュール１１１を実現する。また、制御部１２０は、記憶部１３０と協働して対象物認識モジュール１２１、データ検出モジュール１２２を実現する。図３では、対象物認識モジュール１２１とデータ検出モジュール１２２を、端末１００に備える構成を記載しているが、外部のクラウドサービス等で対象物認識モジュール１２１とデータ検出モジュール１２２の処理を行ってもよい。その場合には、端末１００の通信部１４０を介して、必要なデータの送受信を行うものとする。

端末１００は、リアルタイムデータ検出システムを使用する利用者４００が所持する端末装置である。端末１００は、対象物２００をリアルタイム（撮影と共に動画像データが記憶される）の動画像で撮影するための撮影部１１０を備える端末であり、例えば、スマートフォン、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。端末１００として図示しているスマートフォン端末は、その一例にすぎない。

図２は、リアルタイムデータ検出システムが行うリアルタイムデータ検出処理のフローチャート図である。図２のリアルタイムデータ検出システムにおいて、はじめに、端末１００の撮影モジュール１１１は、対象物２００を周囲から動画像で撮影する（ステップＳ１０１）。ここでの対象物２００は、対象者３００の体温を測定した体温計である対象物２００Ａと、対象者３００の血圧を測定した血圧計である対象物２００Ｂの２つである。利用者４００が端末１００を操作して、対象物２００Ａと対象物２００Ｂを連続して撮影するものとする。撮影する動画像は、対象物の認識と表示データを検出するために十分な解像度とフレーム数を備えるものとし、併せて、深度情報を取得してもよい。ここでの深度情報の取得は、赤外線を利用した深度センサによる取得、デュアルカメラの結像距離差を利用した三角測量による取得、単眼カメラと機械学習による推定による取得、画像の特徴点とモーションセンサの情報から３次元マップを構成することによる取得、等、の方法を用いることで可能となる。また、ここで、対象物２００の撮影の前後に、対象者３００を特定することが可能なデータ種別識別子を併せて撮影してもよい。データ種別識別子について、詳しくは後述する。

次に、端末１００の対象物認識モジュール１２１は、前回データがあるかどうかの確認を行う（ステップＳ１０２）。ここでの前回データとは、「前回ループ以前での動画像の取得により得られた、認識に必要な蓄積されたデータ」であるとする。ここで、前回データがある場合にはステップＳ１０３へと進み、前回データがない場合にはステップＳ１０４へと進む。ここでは、１回目のループであるためにステップＳ１０４へと進む。

端末１００の対象物認識モジュール１２１は、ステップＳ１０１で撮影した動画像を基に、対象物２００の認識処理を行う（ステップＳ１０４）。この認識処理は、ステップＳ１０１の動画撮影と並行して行ってよい。ここでは、まず体温計である対象物２００Ａを、１つ目の対象物２００として認識する。対象物２００Ａの認識を、より高速かつ確実に行うために、事前に対象物２００Ａを機器として登録しておいてもよい。対象物２００を認識するために、機器の外観について３次元的な形状を取得する。

認識処理について、模式図を用いて説明する。図７は、対象物２００の外観形状を表す特徴点を取得する場合の模式図である。丸い点がそれぞれの画像における対象物２００の外観の特徴点を表しており、様々な角度からの特徴点を基に、特徴点の位置合わせ（３次元レジストレーション）を行い、統一座標系に配置された一つの点群として統合を行う。図７では、簡易的に図７の上部の３方向から撮影された画像の特徴点を基に、下部に統合した特徴点の点群の図を示している。このように、機器である対象物２００の外観形状についての認識を行う。

対象物認識モジュール１２１は、認識が成功したか否かを判断し（ステップＳ１０５）成功した場合は、ステップＳ１０６に処理を移す。もし、ステップＳ１０４で対象物２００の認識が不可能な場合には、対象物認識モジュール１２１は、ステップＳ１０１に戻って撮影モジュール１１１に再度の撮影を指示し動画像を再度取得する。その後のステップＳ１０２では、前回データがある場合に相当するため、ステップＳ１０３へと進み、対象物の認識に必要なデータを補完する。対象物認識モジュール１２１は、ステップＳ１０３の補完により、ステップＳ１０４で対象物２００の認識が成功したと判断した場合には、次のステップＳ１０６へと進む。

ここで、対象物の認識に必要なデータとは、認識のために必要な動画像の一コマを切り抜いた静止画のフレームである。連続的に撮影された動画像から別のフレームを得ることで、対象物２００の認識のための最初のフレーム（データ）を別のフレームで補完することが可能となる。特に、動画像であれば、連続的に対象物２００を別角度から撮影することが可能であり、最初の撮影で対象物２００の外見形状の特徴点の位置合わせができていない場合であっても、別のフレームから位置合わせを行うことで認識に必要なデータを補完し、対象の認識が可能となる。このように、認識が不可能である場合に、それまでの認識途中のデータを蓄積し、次の撮影で得られたフレームにより、対象物２００の認識が完了するまで、フレームを補完する処理を繰り返す。

次に、端末１００のデータ検出モジュール１２２は、前回データがあるかどうかの確認を行う（ステップＳ１０６）。ここでの前回データとは、「前回ループ以前での動画像の取得により得られた、検出に必要な蓄積されたデータ」であるとする。ここで、前回データがある場合にはステップＳ１０７へと進み、前回データがない場合にはステップＳ１０８へと進む。ここでは、１回目のループであるためにステップＳ１０８へと進む。

端末１００のデータ検出モジュール１２２は、対象物２００Ａに表示されている表示データを後述する表示データ検出処理で検出する（ステップＳ１０８）。ここでは、対象物２００Ａの表示データである「３６．５」を検出する。

データ検出モジュール１２２は、検出が成功したかを判断し（ステップＳ１０９）、検出が成功したと判断した場合には、ステップＳ１１０へ進む。もし、ステップＳ１０８で対象物２００Ａの表示データの検出が不可能な場合には、データ検出モジュール１２２は、ステップＳ１０１に戻って撮影モジュール１１１に再度の撮影を指示し動画像を取得する。ステップＳ１０２からステップＳ１０５の処理は、不要であればスキップしてもよい。その後のステップＳ１０６では、前回データがある場合に相当するため、ステップＳ１０７へと進み、表示データの検出に必要なデータを補完する。具体的には、先の撮影で、検出が不可能となった検出途中のデータに対して、この検出で足りなかったデータを、再度の動画像で取得した動画像のフレームで補完することで、表示データを検出する。データ検出モジュール１２２は、ステップＳ１０７の補完により、ステップＳ１０８で対象物２００Ａの表示データの検出が成功したと判断した場合には、次のステップＳ１１０へと進む。

このように、検出が不可能である場合に、それまでの検出途中のデータを蓄積し、次の撮影で得られたフレームにより、対象物２００Ａの表示データの検出が完了するまで、再度の撮影によりフレームを補完する処理を繰り返す。

次に、端末１００は撮影を終了するかどうかを確認する（ステップＳ１１０）。撮影を終了しない場合には、ステップＳ１０１へと戻る。撮影を終了するかどうかは、利用者４００が端末１００の入力部１５０を介して指定してもよいし、予め設定した対象物２００の表示データを検出したかどうかにより、自動で判定してもよい。終了の自動判定を行う場合には、対象物２００をいくつ認識するかの数を指定してもよいし、対象物２００Ａと対象物２００Ｂを認識したらという指定でもよい。図１及び図２では、「対象物２００Ａと対象物２００Ｂの表示データを検出したら撮影を終了する」という設定が予め設定されているものとする。ここでは、対象物２００Ａの表示データは検出済みであるが、対象物２００Ｂの表示データは検出済みではないため、ステップＳ１０１へと戻る。

ステップＳ１０１へと戻り、端末１００の撮影モジュール１１１は、対象物２００を引き続き動画像で撮影する。ここでは、２つ目の対象物として血圧計である対象物２００Ｂを撮影するものとする。以下、対象物２００Ｂの認識と表示データの検出について、フローチャートの必要部分のみ説明する。

ステップＳ１０４で、端末１００の対象物認識モジュール１２１は、２つ目の対象物として血圧計である対象物２００Ｂを認識する。対象物２００Ｂについても、対象物２００Ａと同じように、事前に登録しておいてもよい。認識が失敗した場合には、動画像を再度取得して対象物の認識に必要なデータを補完するものとする。

ステップＳ１０８で、データ検出モジュール１２２は、対象物２００Ｂに表示されている表示データを後述する表示データ検出処理で検出する。ここでは、対象物２００Ｂの表示データである「１４３／９２」を検出する。検出が失敗した場合には、動画像を再度取得して対象物の表示データの検出に必要なデータを補完するものとする。

最後に、ステップＳ１１０として、端末１００は、撮影を終了するかどうかを確認する。ここでは、対象物２００Ａの表示データも対象物２００Ｂの表示データも検出済みであるため撮影を終了する。

このように、対象者３００のバイタルデータを測定した体温計である対象物２００Ａと、血圧計である対象物２００Ｂを動画像で撮影して、それを基に対象物を認識して表示データを検出することで、体温である「３６．５」度というデータと、血圧である「１４３」ｍｍＨｇ／「９２」ｍｍＨｇというデータをリアルタイムに検出することが可能である。検出したデータと併せて、撮影した日時を保存していくことで、対象者３００のデータを集約することが可能となる。また、対象物２００はＩｏＴ対応である必要がないため、連携機能の有無や機器のメーカーに縛られることなく、既存の機器を利用可能である。

以上のように、本発明によれば、撮影した動画像と認識した対象物を基に、対象物に表示されている表示データを検出するリアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラムを提供することが可能となる。

［各機能の説明］
図３は、本発明の構成と、端末１００の機能ブロックと各機能の関係を示す図である。端末１００は、撮影部１１０、制御部１２０、記憶部１３０、通信部１４０、入力部１５０、出力部１６０から構成される。なお、図３において、端末１００の数は一つに限らず複数であってもよい。また、対象物２００の数は二つに限らず、一つであっても三つ以上であってもよい。ここでは、体温計の対象物２００Ａと、血圧計の対象物２００Ｂの二つを図示している。対象物２００Ａと対象物２００Ｂは、対象者３００のバイタルデータを測定したものであるとする。対象者３００は、患者、被介護者、バイタルデータを管理したいリアルタイムデータ検出システムの利用者等であるものとする。また、利用者４００は、医師、看護師、介護士、作業療法士、理学療法士、診療助手、受付担当者、対象者３００自身等であり、端末１００を操作するリアルタイムデータ検出システムの利用者である。

端末１００は、リアルタイムデータ検出システムを使用する利用者４００が所持する端末装置である。端末１００は、対象物２００を動画像で撮影するための撮影部１１０を備える端末であり、例えば、スマートフォン、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。端末１００として図示しているスマートフォン端末は、その一例にすぎない。

端末１００は、撮影部１１０として、撮像素子やレンズ等により動画像の撮影が可能なデバイスを備える。撮影する動画像は、対象物の認識と表示データを検出するために十分な解像度とフレーム数を備えるものとする。通常の可視画像の動画に併せて、深度情報を取得可能な赤外線画像、三角測量に利用可能なデュアルカメラの画像、等を撮影可能であってもよい。撮影部１１０は、制御部１２０、記憶部１３０と協働して撮影モジュール１１１を実現する。

制御部１２０として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備える。制御部１２０は、記憶部１３０と協働して対象物認識モジュール１２１、データ検出モジュール１２２を実現する。ここでは、対象物認識モジュール１２１とデータ検出モジュール１２２を、端末１００に備える構成を記載しているが、外部のクラウドサービス等で対象物認識モジュール１２１とデータ検出モジュール１２２の処理を行ってもよい。その場合には、端末１００の通信部１４０を介して、必要なデータの送受信を行うものとする。

記憶部１３０として、半導体メモリやハードディスクによる、データのストレージ部を備える。データの保存先は、端末１００が連携したクラウドサービスやデータベース等であってもよい。

通信部１４０として、他の機器と通信可能にするためのデバイスを備える。図３では、無線方式の通信を想定して図示しているが、有線方式であってもよい。

入力部１５０は、利用者４００がリアルタイムデータ検出システムを利用するために必要な機能を備えるものとする。入力を実現するための例として、タッチパネル機能を実現する液晶ディスプレイ、キーボード、マウス、ペンタブレット、装置上のハードウェアボタン、音声認識を行うためのマイク等を備えることが可能である。入力方法により、本発明は特に機能を限定されるものではない。

出力部１６０は、利用者４００がリアルタイムデータ検出システムを利用するために必要な機能を備えるものとする。出力を実現するための例として、液晶ディスプレイ、ＰＣのディスプレイ、プロジェクターへの投影等の表示と音声出力等の形態が考えられる。出力方法により、本発明は特に機能を限定されるものではない。

［リアルタイムデータ検出システムの拡張］
図４は、歪み補正処理、反射光除去処理、対象物登録処理、データ保存処理を行う場合の本発明の構成と、端末１００の機能ブロックと各機能の関係を示す図である。ここでは、歪み補正処理、反射光除去処理、対象物登録処理、データ保存処理のすべてを行う構成を図示しているが、図３の構成に加えて、それぞれの処理を単体で組み込んでもよい。端末１００の構成は、図３の構成に加えて、制御部１２０が記憶部１３０と協働して歪み補正モジュール１２３と反射光除去モジュール１２４を実現する。また、同じく制御部１２０は、記憶部１３０と通信部１４０と協働して、対象物登録モジュール１２５とデータ保存モジュール１２６を実現する。端末１００は、通信網５００を介して、データベース６００との通信が可能であるとする。データベース６００は、リアルタイムデータ検出システムに必要なデータを保存可能なデータベースである。ここでは、データベースとして説明するが、外部のサーバやクラウドサービス、又は仮想装置の記憶部であってもよい。通信網５００は、インターネット等の公衆通信網でも専用通信網でもよく、端末１００とサーバデータベース６００間の通信を可能とする。対象者３００は、個人の識別が可能な２次元バーコード等のデータ種別識別子７００を所持してもよい。データ種別識別子７００は、対象者３００の識別のために利用者４００が所持・使用してもよい。また、対象物２００に対して、データ種別識別子を付加してもよい。ここでは、対象物２００Ａのデータ種別識別子７００Ａ、対象物２００Ｂのデータ種別識別子７００Ｂとする。

上述した図４の各モジュールが実行する処理について、図２のフローチャート図を用いて、主な差分を説明する。

まず、端末１００の撮影モジュール１１１は、対象物２００を周囲から動画像で撮影する（ステップＳ１０１）。ここでの対象物２００は、図４の上部に示した対象者３００の体温を測定した体温計である対象物２００Ａと、対象者３００の血圧を測定した血圧計である対象物２００Ｂの２つである。また、ここで、対象者３００がデータ種別識別子７００を備える場合には、対象物２００の撮影の際に、データ種別識別子７００を併せて撮影する。対象者３００がデータ種別識別子７００を備える場合、データ種別識別子７００には、対象者３００を識別するために必要な情報と、リアルタイムデータ検出システムにおいてどのデータ種別を利用するかという情報と、データのグルーピングを行うために必要な情報と、が含まれるものとする。また、対象物２００Ａがデータ種別識別子７００Ａを備える場合、対象物２００Ｂがデータ種別識別子７００Ｂを備える場合には、特に意識せずとも撮影の際にデータ種別識別子７００Ａ、データ種別識別子７００Ｂが撮影される。対象物２００がデータ種別識別子７００を備える場合、データ種別識別子７００には、対象物２００を識別するために必要な情報と、リアルタイムデータ検出システムにおいてどのデータ種別を利用するかという情報と、データのグルーピングを行うために必要な情報と、が含まれるものとする。このデータ種別識別子７００は、例えば二次元バーコード等にも変換可能で、端末１００の撮影モジュール１１１で撮影することで、対象者３００又は対象物２００を識別可能なものとする。図４においては、データ種別識別子７００、データ識別子７００Ａ、データ識別子７００ＢはＱＲコードであるものとする。ここでは、データ種別識別子７００、データ識別子７００Ａ、データ識別子７００Ｂのすべてを備える場合を記載したが、データ種別識別子７００のみ、又は、データ識別子７００Ａとデータ識別子７００Ｂのみ、としてもよいものとする。

ここで、端末１００の対象物認識モジュール１２１は、データベース６００から必要なデータを取得する。この処理は、端末１００での処理開始時に行っておいてもよい。ここでの必要なデータとは、機器データや対象者データである。機器データとは、対象物２００Ａや対象物２００Ｂがどのような機器であるかを特定するためのデータである。対象物２００の機種や種別、画像認識を高速に行うための撮影した画像を基にした外観データ、対象物２００とグルーピングする機器（別の対象物２００）の情報等を含むものとする。また、対象者データとは、対象者３００のＩＤ、氏名、年齢、生年月日、性別、データ種別、対象者３００とグルーピングする機器（対象物２００）の情報等である。機器データや対象者データは、事前にデータベース６００に登録するものとする。データベース６００への登録処理の詳細は、後述する。

次に、端末１００の対象物認識モジュール１２１は、前回データがあるかどうかの確認を行う（ステップＳ１０２）。ここでの前回データとは、「前回ループ以前での動画像の取得により得られた認識に必要な蓄積されたデータ」であるとする。ここで、前回データがある場合にはステップＳ１０３へと進み、前回データがない場合にはステップＳ１０４へと進む。ここでは、１回目のループであるためにステップＳ１０４へと進む。

端末１００の対象物認識モジュール１２１は、ステップＳ１０１で撮影した動画像を基に、対象物２００の認識処理を行う（ステップＳ１０４）。この認識処理は、ステップＳ１０１の動画撮影と並行して行ってよい。ここでは、まず体温計である対象物２００Ａを、１つ目の対象物２００として認識する。対象物２００を認識するために、取得した機器データを利用する。この機器データを利用することで、より高速かつ高精度に特定することが可能となる。対象物２００Ａを体温計と特定することで、「ＸＸ．Ｘ」という表示データは、「ＸＸ．Ｘ度」という単位で体温を示すものであることが分かる。ステップＳ１０２で、併せて、端末１００の対象物認識モジュール１２１は、ステップＳ１０１で撮影した動画像のデータ種別識別子７００とデータ種別識別子７００Ａを基に、データの種別を特定する。ここでは、データ種別識別子７００を基に、ヘルス記録（個人単位）のデータ種別であると特定される。また、併せて、データ種別識別子を基に、対象者３００についても特定する。更に、データ種別識別子７００Ａを基に、対象物２００Ａが対象者３００の使用する体温計であること、同じく対象者３００が使用する機器に、血圧計である対象物２００Ｂがあることも、併せて特定してもよい。前述したように、ステップＳ１０４の処理は、クラウドで行ってもよい。その場合、ステップＳ１０１の動画像撮影と同時に、クラウドに対してストリーミングで撮影した動画像を転送してよいものとする。

対象物認識モジュール１２１は、認識が成功したか否かを判断し（ステップＳ１０５）成功した場合は、ステップＳ１０６に処理を移す。もし、ステップＳ１０４で対象物２００の認識が不可能な場合には、対象物認識モジュール１２１は、ステップＳ１０１に戻って撮影モジュール１１１に再度の撮影を指示し動画像を再度取得する。その後のステップＳ１０２では、前回データがある場合に相当するため、ステップＳ１０３へと進み、対象物の認識に必要なデータを補完する。対象物認識モジュール１２１は、ステップＳ１０３の補完により、ステップＳ１０４で対象物２００の認識が成功したと判断した場合には、次のステップＳ１０６へと進む。

ここで、対象物の認識に必要なデータとは、認識のために必要な動画像の一コマを切り抜いた静止画のフレームである。連続的に撮影された動画像から別のフレームを得ることで、対象物２００の認識のための最初のフレーム（データ）を別のフレームで補完することが可能となる。特に、動画像であれば、連続的に対象物２００を別角度から撮影することが可能であり、最初の撮影で対象物２００の外見形状の特徴点の位置合わせができていない場合であっても、別のフレームから位置合わせを行うことで認識に必要なデータを補完し、対象の認識が可能となる。このように、認識が不可能である場合に、それまでの認識途中のデータを蓄積し、次の撮影で得られたフレームにより、対象物２００の認識が完了するまで、フレームを補完する処理を繰り返す。

次に、端末１００のデータ検出モジュール１２２は、前回データがあるかどうかの確認を行う（ステップＳ１０６）。ここでの前回データとは、「前回ループ以前での動画像の取得により得られた検出に必要な蓄積されたデータ」であるとする。ここで、前回データがある場合にはステップＳ１０７へと進み、前回データがない場合にはステップＳ１０８へと進む。ここでは、１回目のループであるためにステップＳ１０８へと進む。

端末１００のデータ検出モジュール１２２は、対象物２００Ａに表示されている表示データを後述する表示データ検出処理で検出する（ステップＳ１０８）。ここでは、対象物２００Ａに表示データである「３６．５」を検出する。ステップＳ１０８の処理は、クラウドで行ってもよい。その場合、ステップＳ１０１の動画像撮影と同時に、クラウドに対してストリーミングで撮影した動画像を転送してよいものとする。

データ検出モジュール１２２は、検出が成功したかを判断し（ステップＳ１０９）、検出が成功したと判断した場合には、ステップＳ１１０へ進む。もし、ステップＳ１０８で対象物２００Ａの表示データの検出が不可能な場合には、データ検出モジュール１２２は、ステップＳ１０１に戻って撮影モジュール１１１に再度の撮影を指示し動画像を取得する。ステップＳ１０２からステップＳ１０５の処理は、不要であればスキップしてもよい。その後のステップＳ１０６では、前回データがある場合に相当するため、ステップＳ１０７へと進み、表示データの検出に必要なデータを補完する。具体的には、先の撮影で、検出が不可能となった検出途中のデータに対して、この検出で足りなかったデータを、再度の動画像で取得した動画像のフレームで補完することで、表示データを検出する。データ検出モジュール１２２は、ステップＳ１０７の補完により、ステップＳ１０８で対象物２００Ａの表示データの検出が成功したと判断した場合には、次のステップＳ１１０へと進む。

次に、端末１００は撮影を終了するかどうかを確認する（ステップＳ１１０）。撮影を終了しない場合には、ステップＳ１０１へと戻る。撮影を終了するかどうかは、利用者４００が端末１００の入力部１５０を介して指定してもよいし、予め設定した対象物２００の表示データを検出したかどうかにより、自動で判定してもよい。終了の自動判定を行う場合には、対象物２００をいくつ認識するかの数を指定してもよいし、対象物２００Ａと対象物２００Ｂを認識したらという指定でもよい。ここでは、「対象物２００Ａと対象物２００Ｂの表示データを検出したら撮影を終了する」という設定が予め設定されているものとする。ここでは、対象物２００Ａの表示データは検出済みであるが、対象物２００Ｂの表示データは検出済みではないため、ステップＳ１０１へと戻る。

ステップＳ１０１へと戻り、端末１００の撮影モジュール１１１は、対象物２００を引き続き動画像で撮影する。ここでは、２つ目の対象物として血圧計である対象物２００Ｂを撮影するものとする。以下、対象物２００Ｂの認識と表示データの検出について、フローチャートの必要部分のみ説明する。

ここで、端末１００の対象物認識モジュール１２１は、データベース６００から必要なデータを再取得してもよいし、先のフローで取得したデータを保持している場合には、それを利用してもよい。

ステップＳ１０４で、端末１００の対象物認識モジュール１２１は、２つ目の対象物として血圧計である対象物２００Ｂを認識する。対象物２００を認識するために、機器の外観について３次元的な形状を取得する。取得した対象物２００Ｂの形状は、データベース６００の登録内容と比較して、より簡単に特定することが可能となる。対象物２００Ｂを血圧計と特定することで、検出した数字データ「ＹＹＹ／ＺＺ」は、「ＹＹＹｍｍＨｇ」「ＺＺｍｍＨｇ」という単位で、最高血圧と最低血圧を示すものであることがわかる。併せて、端末１００の対象物認識モジュール１２１は、ステップＳ１０１で撮影した動画像のデータ種別識別子７００Ｂを基に、データの種別を特定する。データ種別識別子７００Ｂを基に、対象物２００Ｂが対象者３００の使用する血圧計であること、同じく対象者３００が使用する機器に、体温計である対象物２００Ａがあることも、特定してもよい。認識が失敗した場合には、動画像を再度取得して対象物の認識に必要なデータを補完するものとする。

ステップＳ１０８で、データ検出モジュール１２２は、対象物２００Ｂに表示されている表示データを後述する表示データ検出処理で検出する。ここでは、対象物２００Ｂの表示データである「１４３／９２」を検出する。検出が失敗した場合には、動画像を再度取得して対象物の表示データの検出に必要なデータを補完するものとする。

最後に、ステップＳ１１０として、端末１００は、撮影を終了するかどうかを確認する。ここでは、対象物２００Ａの表示データも対象物２００Ｂの表示データも検出済みであるため撮影を終了する。

リアルタイムデータ検出処理を終了する前に、端末１００のデータ保存モジュール１２６は、対象物２００と表示データの文字列と併せて、データの種別を保存するために、データベース６００に送信する。ここでは、「対象物２００Ａ（体温計）、体温：３６．５度」「対象物２００Ｂ（血圧計）、最高血圧１４３ｍｍＨｇ／最低血圧９２ｍｍＨｇ」という対象物２００と表示データの文字列と併せて、「ヘルス記録（個人単位）」というデータ種別を保存する。併せて、ステップＳ１０７で特定した対象者３００のデータや、動画を撮影した日時を保存して紐づけすることで、対象者３００のデータを集約して、時系列の確認を行うことも可能となる。これらの紐づけのために、データ種別識別子７００、データ種別識別子７００Ａとデータ種別識別子７００Ｂの一部又は全てを使用してよい。データベース６００は端末１００から対象物２００と表示データの文字列と併せて、データの種別を受信し、データベースに保存する。端末１００にだけでなく、データベース６００にも、「対象物２００、表示データの文字列、データ種別、対象者３００、動画の撮影日時」を保存して、データを集約しておくことで、蓄積したデータを人工知能等で解析して、バイタルデータに乱れがあるときに対象者３００や利用者４００に対する警告を行う等の、データの応用利用が容易に可能となる。

以上のように、本発明によれば、撮影した動画像と認識した対象物を基に、対象物に表示されている表示データを検出するリアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラムを提供することが可能となる。

図２のフローチャート図では、リアルタイムデータ検出システムへのログイン処理とログアウト処理についての記載は省略しているが、必要に応じて行ってもよい。ログイン処理を行うことで、端末１００を使用する利用者４００、又は対象者３００を特定することができる。外部のサーバやデータベースやクラウドサービス等と連携する場合には、ログインするために必要なアカウント情報と認証情報を、ログイン要求と併せて外部に送信するものとする。アカウント情報とは、氏名やニックネームやＩＤ等であり、認証情報とは、パスワードやパスフレーズ、指紋や虹彩、等であるものとする。単体で処理を完結する場合には、ログイン要求を外部に送信する必要はなく、既に設定済みの項目等を反映させるのみでよい。

［表示データ検出処理］
図５は、表示データ検出処理のフローチャート図である。図２のステップＳ１０８の「表示データの検出」に相当する。

表示データ検出処理において、まず、端末１００のデータ検出モジュール１２２は、対象物２００の表示データの表示エリアの認識を行う（ステップＳ５０１）。表示エリアの認識は、自動で行っても手動で行ってもよい。自動で行う場合には、例えば、撮影した動画像の二値化画像から表示エリアの輪郭を取得し、その輪郭を直線近似し、平行な辺の組とみなせそうな４辺とその交点を算出することで、表示エリアの認識が可能である。また、対象物２００の表示エリアの近くに、特定のマーク等をマーカーとして配置しておき、それを基に認識を行うことで、表示エリアの画像認識は、より簡単に行うことが可能となる。また、手動で行う場合には、取得した対象物２００の動画像の画像を端末１００の出力部１６０に表示して、入力部１５０を介して利用者４００に表示エリアの矩形を指定させればよい。

次に、端末１００の歪み補正モジュール１２３は、ステップＳ５０１で認識した表示エリアが歪んでいる場合に、撮影した動画像の画像データの歪みを補正する（ステップＳ５０２）。歪みがない場合には、歪み補正を行わずスキップしてもよい。表示エリアに歪みがあるかないかは、表示エリアの矩形の４頂点の座標で確認することができる。歪み補正は、例えば、表示エリアの矩形の４頂点の座標を用いて、透視変換等の手法を用いて行うことが可能である。歪みの補正方法について、既存の手法を利用してよく、本発明を限定するものではない。

図８は、対象物２００の表示エリアを認識して、歪み補正処理を行う場合の模式図である。図８上部の３枚の模式図は、表示エリア認識処理として、撮影した動画像の二値化画像から表示エリアの輪郭を取得し、その輪郭を直線近似し、平行な辺の組とみなせる４辺とその交点を算出する処理を図示している。また、図８最下部の模式図は、表示エリアの矩形の４頂点の座標を用いて、透視変換によって歪みを補正する処理を図示している。

図５に戻って、端末１００の反射光除去モジュール１２４は、表示エリアの表示データを検出するために、動画像から補完して反射光を除去する（ステップＳ５０３）。

図９は、対象物２００Ａの表示エリアを認識して反射光除去処理を行う場合の模式図である。また、図１０は、対象物２００Ｂの表示エリアを認識して反射光除去処理を行う場合の模式図である。図９、図１０において、それぞれ、上段に表示エリアの撮影画像、下段に反射光除去処理後の画像を図示している。反射光除去処理として、まず、表示エリアのヒストグラムを算出し、反射光とそれ以外を分離する輝度の境界値を決める。次に、算出した輝度の境界値を閾値として表示エリアの二値化を行い、反射光部分が黒くなるようなマスク画像を生成する。最後に前のフレームの画像に、今回の表示領域画像にマスクをかけたものを足し合わせる。という処理を行う。この処理によって、前のフレームが存在し、前のフレームの画像と反射光の位置がずれている場合には、適切に反射光を除去することが可能である。

図５に戻って、最後に端末１００のデータ検出モジュール１２２は、補正した画像を基に表示データの検出を行う（ステップＳ５０４）。図９の下段の反射光除去処理後の例では、一番左の画像は、前のフレームが存在しないため、反射光が除去されていないので、数字が３６．５であるのか３８．５であるのか判別できない。それに対して、一番右の画像は、除去処理前は、数字が３６．５であるのか３８．９であるのか判別できなかったが、反射光除去処理を行ったことにより、３６．５と判別できるようになっている。また、図１０の下段の反射光除去処理後の例では、一番左の画像は、同じく前のフレームが存在しないため、反射光が除去されていないので、数字が判別できない。それに対して、真ん中の画像と一番右の画像は、反射光除去処理を行ったことにより、数字が１４３と判別できるようになっている。

以上のように、表示データ検出処理の際に、歪み補正処理と反射光除去処理を行うことによって、より高精度に表示データを検出することが可能となり、撮影した動画像と認識した対象物を基に、対象物に表示されている表示データを高精度に検出するリアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラムを提供することが可能となる。

［登録処理］
図６は、登録処理のフローチャート図である。機器データと対象者データを、予めデータベース６００に登録しておく場合の処理である。

はじめに、端末１００の対象物登録モジュール１２５は、リアルタイムデータ検出システムで利用する機器である対象物２００の登録処理を行う（ステップＳ６０１）。ここでの登録処理とは、撮影した動画像を基に認識した対象物２００がどのような機器であるかを特定し、データベース６００へと登録することである。図６のフローでは、対象者３００の体温を測定した体温計である対象物２００Ａと、対象者３００の血圧を測定した血圧計である対象物２００Ｂの２つの登録処理を行うものとする。この登録により、毎回の動画像から対象物２００Ａの認識を、より高速かつ確実に行うことが可能となる。登録処理のために、端末１００の撮影モジュール１１１により対象物２００を周囲から動画像で撮影する。次に、対象物認識モジュール１２１が、機器特定用の特徴を検出して、機器の外観について３次元的な形状を取得することにより、対象物２００を特定する。対象物２００の特定のために必要な情報は、データベース６００や外部から取得してもよい。また、対象物２００の特定が難しい場合には、端末１００を操作する利用者４００により、入力や修正を行ってもよい。また、必要に応じて、対象物２００の表示データの表示エリアを設定可能としてよい。特定した対象物２００について、データベース６００への登録を行う。登録する方法としては、端末１００の入力部１５０を介して、使用機器である対象物２００が、体温計であるのか、血圧計であるのか、等を指定して登録してもよい。また、併せて、使用機器ごとに値の設定を行ってもよい。例えば、体温計である対象物２００Ａであれば、検出した数字データ「３６．５」は、「３６．５度」という単位で体温を示すものであること、血圧計である対象物２００Ｂであれば、検出した数字データ「１４３／９８」は、「１４３ｍｍＨｇ」「９２ｍｍＨｇ」という単位で、最高血圧と最低血圧を示すものであることを登録しておく。

次に、データベース６００は端末１００から対象物２００Ａである体温計と、対象物２００Ｂである血圧計の機器データを受信し、データベースに登録する（ステップＳ６０２）。

次に、端末１００の対象物登録モジュール１２５は、リアルタイムデータ検出システムを利用する対象者３００の登録処理を行う（ステップＳ６０３）。ここでの登録処理とは、対象者３００のＩＤ、氏名、年齢、生年月日、性別、データ種別等を登録することである。ここでデータ種別とは、リアルタイムデータ検出システムにおいて、どのような対象物２００や対象者３００を利用するかを指定可能なものとする。例えば、「ヘルス記録（個人単位）、顧客記録（顧客単位）、施設記録（エリア単位）、その他」等である。どのようにデータ種別を指定するかは、ヘルス記録（個人単位）、顧客記録（顧客単位）、施設記録（エリア単位）等の端末１００の出力部１６０に表示するメニューから設定可能としてもよい。また、どのような方法で対象者３００を識別するかは、ＱＲコード、ＢＡＲＣＯＤＥ、ＯＣＲ、ＯＭＲ、等の端末１００の出力部１６０に表示するメニューから設定可能としてもよい。対象者を事前に登録しておくことで、病院等の施設でリアルタイムデータ検出システムを利用する場合等、利用者４００が端末１００で撮影する対象者３００と対象物２００が複数いる場合にも、適切に対象者３００に対して個人単位にヘルス記録である表示データを紐づけることが可能となる。

次に、データベース６００は端末１００から対象者３００のデータを受信し、データベースに登録する（ステップＳ６０４）。

このように、事前に機器データと対象者データをデータベース６００に登録しておくことにより、動画像から対象物２００を認識する処理や、対象者３００と対象物２００Ａと対象物２００Ｂとを紐づける処理を、より高速かつ確実に行うことが可能となる。

［対象物の拡張例］
図１１は、対象物２００の別の一例である。対象物２００を機器に限らず、カルテ等の紙面としてもよい。また、同様の内容を表示したディスプレイの撮影画像や、撮影部１１０を使用しないキャプチャ画像であってもよい。その場合、文字列として数値を検出するだけでなく、値を算出することとしてもよい。図１１において、例えば「（１）視覚的アナログスケール」では、手書きのバツ印が何パーセントの位置に書き込まれたかを、０から１００までの線分の長さと、検出したバツ印の位置から求めることが可能である。また、「（２）数値評価スケール」や「（３）表情尺度スケール」等で、手書きの丸印の位置から該当する数値を検出することとしてもよい。このように、リアルタイムデータ検出システムの対象をＩｏＴ機器に限らず、別の撮影手段を用いることで、機器との通信が不要となり、紙媒体の情報についても、同様に測定データを蓄積することが可能となる。

以上のように、本発明によれば、撮影した動画像と認識した対象物を基に、対象物に表示されている表示データを検出するリアルタイムデータ検出システム、リアルタイムデータ検出方法、およびプログラムを提供することが可能となる。

上述した手段、機能は、コンピュータが、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される形態であってもよいし、フレキシブルディスク、ＣＤ、ＤＶＤ、コンパクトメモリ等のコンピュータ読取可能な記録媒体に記録された形態で提供される形態であってもよい。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１００ 端末、２００ 対象物、３００ 利用者、４００ 対象者、５００ 通信網、６００ データベース、７００ データ種別識別子

Claims (6)

1. リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、
   対象物を周囲から動画像で撮影する撮影手段と、
   前記撮影した動画像を基に、前記対象物の３次元的な形状を認識することにより、前記対象物の種類を認識する前記対象物を認識する対象物認識手段と、
   前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するデータ検出手段と、
   前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正する歪み補正手段と、
   前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去する反射光除去手段と、
   を備えることを特徴とするリアルタイムデータ検出システム。
2. 前記対象物認識手段において、前記対象物の認識が不可能な場合、前記撮影手段により動画像を再度取得して前記対象物の認識に必要なデータを補完し、
   前記データ検出手段において、前記対象物の表示データの検出が不可能な場合、前記撮影手段により動画像を再度取得して前記表示データの検出に必要なデータを補完することを特徴とする請求項１に記載のリアルタイムデータ検出システム。
3. 前記認識した対象物を登録する対象物登録手段と、
   前記対象物に前記検出した表示データの文字列を紐づけて保存するデータ保存手段と、
   を備えることを特徴とする請求項１又は請求項２に記載のリアルタイムデータ検出システム。
4. 前記対象物認識手段は、データ種別識別子を認識してデータの種別を特定し、
   前記データ保存手段は、前記対象物に前記検出した表示データの文字列を紐づけて保存する際に、併せてデータの種別を保存することを特徴とする請求項３に記載のリアルタイムデータ検出システム。
5. リアルタイムでデータを検出するリアルタイムデータ検出方法において、
   対象物を周囲から動画像で撮影するステップと、
   前記撮影した動画像を基に、前記対象物の３次元的な形状を認識することにより、前記対象物の種類を認識するステップと、
   前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するステップと、
   前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正するステップと、
   前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去するステップと、
   を備えることを特徴とするリアルタイムデータ検出方法。
6. リアルタイムでデータを検出するリアルタイムデータ検出システムにおいて、
   対象物を周囲から動画像で撮影するステップ、
   前記撮影した動画像を基に、前記対象物の３次元的な形状を認識することにより、前記対象物の種類を認識するステップ、
   前記撮影した動画像と前記認識した対象物を基に、前記対象物に表示されている表示データと前記表示データの表示エリアを検出するステップ、
   前記表示エリアが歪んでいる場合に、前記撮影した動画像の画像データの歪みを補正するステップ、
   前記表示エリアの表示データを検出するために、前記撮影した動画像から補完して反射光を除去するステップ、
   を備えることを特徴とするプログラム。

Images