本出願が開示する実施形態を、図面を参照しつつ詳細に説明する。以下の実施形態では、電子機器の例として携帯電話を用いて説明を行う。
(実施形態1)
以下の実施形態1では、健康管理に関するサービスを提供する情報提供装置と、健康管理に関するサービスを利用する利用者の携帯電話とを含む情報提供システムについて説明する。情報提供装置は、体重計、血圧計および歩数計等の様々な測定器より測定された測定値を利用者ごとに管理し、測定値を分析して、分析結果を利用者に提供する。携帯電話は、測定器の計測値を読み取って情報提供装置に送信し、情報提供装置から分析結果を受信する。
図1を参照しながら、実施形態1に係る情報提供システムの構成について説明する。図1に示すように、情報提供システムは、携帯電話100と、基地局200と、情報提供装置300aおよび300bと、音声認識装置400と、を含む。以下の説明では、情報提供装置300aおよび300bをいずれであるかを特定することなく情報提供装置300と総称することがある。
携帯電話100は、健康測定器の計測した計測値を読み取り、情報提供装置300へ送信する機能を有する。健康測定器は、健康に関する数値を計測する測定器である。健康測定器は、例えば、体重を計測する体重計、体重に加えて体脂肪率等を計測する体組成計、体温を計測する体温計、血圧を計測する血圧計、脈拍を計測する脈拍計、歩数を計測する歩数計、歩行を含む運動による活動量を計測する活動量計を含む。
携帯電話100は、健康測定器をカメラで撮影することにより、健康測定器が備える表示部に表示される計測値を読み取る。このように表示部に表示される計測値をカメラで撮影することにより、携帯電話100は、健康測定器が通信機能を持たなくても、健康測定器の計測した計測値を読み取ることができる。読み取られた計測値は、携帯電話100が有する通信機能によって情報提供装置300へ送信される。携帯電話100による計測値の読み取りの詳細については後述する。
基地局200、情報提供装置300、および音声認識装置400は、ネットワーク500によって通信可能に接続される。
基地局200は、通信圏内に所在する携帯電話100との間に無線通信回線を確立し、携帯電話100がこの無線通信回線を通じて他の装置と通信することを可能にする。以下では、説明を簡単にするため、携帯電話100の通信に関して説明する場合に、基地局200に関する記載を省略することがある。
情報提供装置300は、携帯電話100から送信される計測値を、携帯電話100の利用者のID(識別番号)および日時(タイムスタンプ)と対応付けて記憶する。情報提供装置300は、それぞれの利用者の識別番号と対応付けて、複数の種類の健康測定器の計測値を記憶することができる。そして、情報提供装置300は、こうして蓄積された計測値に基づいて分析処理を行い、健康に関するアドバイス等の情報を携帯電話100へ送信する。情報提供装置300は、複数存在し、それぞれが異なる運営業者によって運営される。
音声認識装置400は、他の装置から送信される音声情報の内容を音声認識処理によって解析し、解析した内容を送信元の装置へ送信する。例えば、携帯電話100が利用者の音声を記録した音声情報を音声認識装置400へ送信すると、音声認識装置400は、音声情報の内容を音声認識処理によって解析し、解析した内容をテキストデータとして携帯電話100へ送信する。このような仕組みにより、携帯電話100の音声操作が実現される。
情報提供システムの構成は、図1に示した例に限定されない。例えば、情報提供システムに含まれる各種装置の数は、図1に示した数よりも多くてもよいし、少なくてもよい。情報提供システムは、音声認識装置400を含まなくてもよい。情報提供装置300が家庭内のパソコンであり、基地局200が家庭内の無線LANルータであってもよい。
図2を参照しながら、情報提供システムの動作の概要について説明する。図2に示す動作に先立って、健康測定器が計測を実行し、計測値が健康測定器の表示部に表示されているものとする。この状態で、携帯電話100は、カメラを用いて健康測定器を撮影する(ステップS11)。そして、携帯電話100は、撮影された画像に含まれる計測値の位置および種別を判定する(ステップS12)。本出願における撮影は、シャッターが切られたとき(レリーズボタンが押されたとき)に画像を取得することに限定されず、いわゆるライブビューのように、画像を表示部に表示しながら継続的に取得することも含む。
こうして計測値の位置および種別を判定した後、携帯電話100は、撮影された画像から計測値を読み取る(ステップS13)。画像に含まれる計測値の読み取りは、公知の文字認識技術を用いて実現できる。携帯電話100は、読み取った計測値を、付加情報と共に情報提供装置300へ送信する(ステップS14)。付加情報は、情報提供装置300に計測値を分析に利用するために必要な情報である。付加情報は、例えば、計測値の種別を示す値、計測値の単位を示す値等を含む。
撮影された画像から複数の計測値が読み取られた場合、携帯電話100は、計測値を別々に送信してもよいし、まとめて送信してもよい。携帯電話100は、複数の種類の健康測定器から取得した計測値を記憶しておき、何らかのタイミングでそれらをまとめて情報提供装置300へ送信してもよい。この場合、携帯電話100は、それぞれの計測値と対応付けて、計測値を取得した日時を記憶しておき、記憶しておいた日時を送信時に付加情報に含める。
情報提供装置300が複数存在する場合、携帯電話100は、予め決められた情報提供装置300へ計測値および付加情報を送信してもよいし、撮影された画像から取得されたメーカ、種別等の情報に応じて、送信先の情報提供装置300を決定してもよい。
情報提供装置300は、携帯電話100から送信された計測値を、携帯電話100の利用者のIDおよびタイムスタンプと対応付けて記憶する(ステップS15)。利用者のIDは、付加情報から取得してもよいし、携帯電話100から情報提供装置300へ計測値を送信するパケットのヘッダの値に基づいて取得してもよい。タイムスタンプは、付加情報から取得してもよいし、計測値を受信した際の情報提供装置300の計時部の値に基づいて取得してもよい。タイムスタンプは、付加情報から取得する場合、計測値が読み取られた日時、または計測値が送信された日時を示し、情報提供装置300の計時部の値に基づいて取得する場合、計測値が受信された日時を示す。
その後、情報提供装置300は、記憶している計測値に基づいて分析処理を実行する(ステップS16)。分析処理は、何らかの計測値を受信する度に実行してもよいし、特定の種類の計測値(例えば、体重)を受信する度に実行してもよい。あるいは、分析処理は、予め決められた時刻に実行してもよい。
分析処理では、携帯電話100の利用者に関する複数の計測値の経時的な変化等に基づいて、健康に関する分析が行われる。情報提供装置300には複数の利用者に関する計測値が蓄積されるため、情報提供装置300は、分析処理において、複数の利用者に関する計測値を統計的に処理した情報を利用してもよい。
情報提供装置300は、分析結果を携帯電話100へ送信する(ステップS17)。携帯電話100は、送信された分析結果を表示する(ステップS18)。分析結果は、電子メールとして携帯電話100へ送信してもよいし、他の所定の形式で携帯電話100へ送信してもよい。計測値および付加情報がHTTP(HyperText Transfer Protocol)リクエストとして送信され、分析結果がHTML(HyperText Markup Language)形式で応答されるように構成してもよい。
このように、健康測定器から読み取られた計測値を蓄積して分析することにより、個別の計測値からは気付くことが難しい情報を利用者に提供することができる。
図3を参照しながら、携帯電話100の構成について説明する。図3に示すように、携帯電話100は、タッチスクリーンディスプレイ2と、ボタン3と、照度センサ4と、近接センサ5と、通信ユニット6と、レシーバ7と、マイク8と、ストレージ9と、コントローラ10と、スピーカ11と、カメラ12と、カメラ13と、コネクタ14と、加速度センサ15と、方位センサ16と、ジャイロスコープ17と、GPS(Global Positioning System)レシーバ18とを有する。
タッチスクリーンディスプレイ2は、ディスプレイ2Aと、タッチスクリーン2Bとを有する。ディスプレイ2Aは、液晶ディスプレイ(LCD:Liquid Crystal Display)、有機ELディスプレイ(OELD:Organic Electro−Luminescence Display)、または無機ELディスプレイ(IELD:Inorganic Electro−Luminescence Display)等の表示デバイスを備える。ディスプレイ2Aは、文字、画像、記号、および図形等を表示する。
タッチスクリーン2Bは、タッチスクリーン2Bに対する指、ペン、またはスタイラスペン等の接触を検出する。タッチスクリーン2Bは、複数の指、ペン、またはスタイラスペン等がタッチスクリーン2Bに接触した位置を検出することができる。以下の説明では、タッチスクリーン2Bに対して接触する指、ペン、またはスタイラスペン等を、「接触オブジェクト(接触物)」と呼ぶことがある。
タッチスクリーン2Bの検出方式は、静電容量方式、抵抗膜方式、表面弾性波方式(または超音波方式)、赤外線方式、電磁誘導方式、および荷重検出方式等の任意の方式でよい。以下の説明では、説明を簡単にするため、利用者は携帯電話100を操作するために指を用いてタッチスクリーン2Bに接触するものと想定する。
携帯電話100は、タッチスクリーン2Bにより検出された接触、接触が検出された位置、接触が検出された位置の変化、接触が検出された間隔、および接触が検出された回数の少なくとも1つに基づいてジェスチャの種別を判別する。ジェスチャは、タッチスクリーン2Bに対して行われる操作である。携帯電話100によって判別されるジェスチャは、例えば、タッチ、ロングタッチ、リリース、スワイプ、タップ、ダブルタップ、ロングタップ、ドラッグ、フリック、ピンチイン、およびピンチアウトを含むがこれらに限定されない。
ボタン3は、利用者によって操作される。コントローラ10はボタン3と協働することによってボタン3に対する操作を検出する。ボタン3に対する操作は、例えば、クリック、ダブルクリック、トリプルクリック、プッシュ、およびマルチプッシュを含むが、これらに限定されない。
照度センサ4は、携帯電話100の周囲光の照度を検出する。照度は、光の強さ、明るさ、または輝度を示す。照度センサ4は、例えば、ディスプレイ2Aの輝度の調整に用いられる。近接センサ5は、近隣の物体の存在を非接触で検出する。近接センサ5は、磁界の変化または超音波の反射波の帰還時間の変化等に基づいて物体の存在を検出する。近接センサ5は、例えば、タッチスクリーンディスプレイ2が顔に近付けられたことを検出する。照度センサ4および近接センサ5は、一つのセンサとして構成されていてもよい。照度センサ4は、近接センサとして用いられてもよい。
通信ユニット6は、無線により通信する。通信ユニット6によってサポートされる通信方式は、無線通信規格である。無線通信規格として、例えば、2G、3G、4G等のセルラーフォンの通信規格がある。セルラーフォンの通信規格として、例えば、LTE(Long Term Evolution)、W−CDMA(Wideband Code Division Multiple Access)、CDMA2000、PDC(Personal Digital Cellular)、GSM(登録商標)(Global System for Mobile Communia,ctions)、PHS(Personal Handy−phone System)等がある。無線通信規格として、さらに、例えば、WiMAX(Worldwide Interoperability for Microwave Access)、IEEE802.11、Bluetooth(登録商標)、IrDA(Infrared Data Association)、NFC(Near Field Communication)等がある。通信ユニット6は、上述した通信規格の1つまたは複数をサポートしていてもよい。
レシーバ7およびスピーカ11は、音出力部である。レシーバ7およびスピーカ11は、コントローラ10から送信される音信号を音として出力する。レシーバ7は、例えば、通話時に相手の声を出力するために用いられる。スピーカ11は、例えば、着信音および音楽を出力するために用いられる。レシーバ7およびスピーカ11の一方が、他方の機能を兼ねてもよい。マイク8は、音入力部である。マイク8は、利用者の音声等を音信号へ変換してコントローラ10へ送信する。
ストレージ9は、プログラムおよびデータを記憶する。ストレージ9は、コントローラ10の処理結果を一時的に記憶する作業領域としても利用される。ストレージ9は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ9は、複数の種類の記憶媒体を含んでよい。ストレージ9は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ9は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ9に記憶されるプログラムには、フォアグランドまたはバックグランドで実行されるアプリケーションと、アプリケーションの動作を支援する制御プログラムとが含まれる。アプリケーションは、例えば、ディスプレイ2Aに画面を表示させ、タッチスクリーン2Bによって検出されるジェスチャに応じた処理をコントローラ10に実行させる。制御プログラムは、例えば、OSである。アプリケーションおよび制御プログラムは、通信ユニット6による無線通信または非一過的な記憶媒体を介してストレージ9に導入されてもよい。
ストレージ9は、例えば、制御プログラム9A、メールアプリケーション9B、ブラウザアプリケーション9C、健康管理アプリケーション9D、使用機器情報9X、判定情報9Y、および設定データ9Zを記憶する。制御プログラム9Aは、携帯電話100を稼働させるための各種制御に関する機能を提供する。制御プログラム9Aは、例えば、検出される操作に応じて、アプリケーションを起動または終了させる。
メールアプリケーション9Bは、電子メールの作成、送信、受信、および表示等のための電子メール機能を提供する。ブラウザアプリケーション9Cは、WEBページを表示するためのWEBブラウジング機能を提供する。
健康管理アプリケーション9Dは、健康測定器の表示部に表示される計測値を読み取って情報提供装置300へ送信する機能と、情報提供装置300から送信される分析結果をディスプレイ2Aに表示する機能とを提供する。
使用機器情報9Xには、携帯電話100の利用者が使用する健康測定器(以下、「使用機器」ということがある)の外観上の特徴を示す情報と、その健康測定器が表示する計測値の位置および種別を示す情報とが含まれる。健康測定器の外観上の特徴を示す情報は、例えば、形状(健康測定器全体または一部の形状)、色、計測値の字形、計測値の配置、計測値の近傍に存在する文字列または記号、健康測定器の表面に存在するその他の文字またはシンボルとその位置、の少なくとも1つを含む。健康測定器の表示部に複数の計測値が同時に表示される場合、計測値の位置および種別を示す情報には、それぞれの計測値に対応する情報が含まれる。健康測定器の表示部に表示される計測値が切り替わる場合、計測値の位置および種別を示す情報には、計測値が表示される順序に関する情報が含まれる。
後述するように、使用機器情報9Xには、携帯電話100が新たな健康測定器から計測値を読み取る度に情報が追加される。使用機器情報9Xは、当初は、空であってもよいし、予め選択された健康測定器に対応する情報を保持していてもよい。
判定情報9Yには、撮影された画像のどこにどの計測値が存在するかを判定するための情報が含まれる。具体的には、判定情報9Yには、市場に存在する健康測定器毎に、外観上の特徴に関する情報と、健康測定器が表示する計測値の位置および種別を示す情報とが対応付けて格納される。健康測定器の外観上の特徴を示す情報は、例えば、形状(健康測定器全体または一部の形状)、色、計測値の字形、計測値の配置、計測値の近傍に存在する文字列または記号、健康測定器の表面に存在するその他の文字またはシンボルとその位置、の少なくとも1つを含む。健康測定器の表示部に複数の計測値が同時に表示される場合、計測値の位置および種別を示す情報には、それぞれの計測値に対応する情報が含まれる。健康測定器の表示部に表示される計測値が切り替わる場合、計測値の位置および種別を示す情報には、計測値が表示される順序に関する情報が含まれる。
判定情報9Yには、外観上の特徴がほぼ同じで、表示される計測値の位置および種別が同じ複数の機種をまとめて、1つの健康測定器として情報を格納してもよい。判定情報9Yは、市場に存在する全ての健康測定器に関する情報を網羅しなくてもよい。
判定情報9Yには、未知の健康測定器からも計測値を読み取ることができるように、抽象化された情報も含まれる。具体的には、判定情報9Yには、計測値の種別毎に、計測値の近傍に存在する可能性の高い文字またはシンボルに関する情報が格納される。一般に、計測値の近傍には、計測値の名称または単位の少なくとも一方が存在する。このような名称または単位を計測値の種別と対応付けて格納しておくことにより、名称または単位を手がかりとして、その近傍の計測値を検出し、その計測値の種別を判定することが可能になる。この場合、計測値の検出を容易にするために、名称または単位とともに、それに対応する計測値の相対位置を格納してもよい。例えば、単位を格納する場合、その左側に計測値が存在する旨をさらに格納してもよい。
判定情報9Yには、抽象化された情報として、さらに、計測値の種別毎に、計測値の範囲に関する情報が格納される。例えば、計測値が体温である場合、その範囲として、35℃から40℃の範囲が格納される。例えば、計測値が最高血圧である場合、その範囲として、100mmHgから200mmHgの範囲が格納される。画像中に数値が検出された場合に、その数値を範囲と照合することにより、その数値が計測値であるかと、どの種別の計測値であるかと、を判定することができる。
判定情報9Yには、抽象化された情報として、さらに、計測値の配置に関する情報が格納される。複数の計測値が同時に表示される場合、計測値の配置は、メーカまたは健康測定器毎に法則性を有することがある。例えば、脈拍計の場合、上から順に最高血圧、最低血圧、脈拍数が縦に表示されることが多い。画像中に複数の数値が検出された場合にそれらの数値の配置を法則性と照合することにより、それらの数値が計測値であるかと、それぞれがどの種別の計測値であるかと、を判定することができる。
判定情報9Yには、健康測定器のメーカおよび種別を判定するための情報も含まれる。具体的には、判定情報9Yには、メーカ毎に、表示される計測値の字形に関する情報が格納される。さらに、判定情報9Yには、メーカ毎別に、健康測定器の表面に印字、刻印、または貼付される会社の名称またはシンボルに関する情報が格納される。さらに、判定情報9Yには、メーカ毎および健康測定器の種別に、健康測定器の表面に印字、刻印、または貼付される型番に関する情報が格納される。判定情報9Yには、健康測定器の外観上の特徴に関する情報と対応付けて、健康測定器のメーカおよび種別を判定するための情報が格納される。判定情報9Yに含まれる上記の抽象化された情報は、健康測定器のメーカまたは種別毎に格納されてもよい。
設定データ9Zは、携帯電話100の動作に関する各種の設定に関する情報を含む。
コントローラ10は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System−on−a−chip)、MCU(Micro Control Unit)、およびFPGA(Field−Programmable Gate Array)を含むが、これらに限定されない。コントローラ10は、携帯電話100の動作を統括的に制御して各種の機能を実現する。
具体的には、コントローラ10は、ストレージ9に記憶されているデータを必要に応じて参照しつつ、ストレージ9に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ10は、データおよび命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、ディスプレイ2A、通信ユニット6、マイク8、およびスピーカ11を含むが、これらに限定されない。コントローラ10は、検出部の検出結果に応じて、制御を変更することがある。検出部は、例えば、タッチスクリーン2B、ボタン3、照度センサ4、近接センサ5、レシーバ7、カメラ12、カメラ13、加速度センサ15、方位センサ16、ジャイロスコープ17、およびGPSレシーバ18を含むが、これらに限定されない。
コントローラ10は、例えば、健康管理アプリケーション9Dを実行することにより、健康測定器の表示部に表示される計測値を読み取って情報提供装置300へ送信する機能と、情報提供装置300から送信される分析結果をディスプレイ2Aに表示する機能とを実現する。
カメラ12は、フロントフェイスに面している物体を撮影するインカメラである。カメラ13は、バックフェイスに面している物体を撮影するアウトカメラである。カメラ13は、健康測定器を撮影するためにも用いられる。
コネクタ14は、他の装置が接続される端子である。コネクタ14は、USB(Universal Serial Bus)、HDMI(登録商標)(High−Definition Multimedia Interface)、ライトピーク(サンダーボルト(登録商標))、イヤホンマイクコネクタのような汎用的な端子であってもよい。コネクタ14は、Dockコネクタのような専用の端子でもよい。コネクタ14に接続される装置は、例えば、外部ストレージ、スピーカ、および通信装置を含むが、これらに限定されない。
加速度センサ15は、携帯電話100に働く加速度の方向および大きさを検出する。方位センサ16は、地磁気の向きを検出する。ジャイロスコープ17は、携帯電話100の角度および角速度を検出する。加速度センサ15、方位センサ16およびジャイロスコープ17の検出結果は、携帯電話100の位置および姿勢の変化を検出するために、組み合わせて利用される。GPSレシーバ18は、携帯電話100の位置を検出する。
図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、通信ユニット6による無線通信で他の装置からダウンロードされてもよい。図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、ストレージ9に含まれる読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。図3においてストレージ9が記憶するプログラムおよびデータの一部または全部は、コネクタ14に接続される読み取り装置が読み取り可能な非一過的な記憶媒体に記憶されていてもよい。非一過的な記憶媒体は、例えば、CD(登録商標)、DVD(登録商標)、Blu−ray(登録商標)等の光ディスク、光磁気ディスク、磁気記憶媒体、メモリカード、およびソリッドステート記憶媒体を含むが、これらに限定されない。
図3に示した携帯電話100の構成は例であり、本発明の要旨を損なわない範囲において適宜変更してよい。例えば、図3に示した例では、携帯電話100が2つのカメラを備えるが、携帯電話100は、カメラ13のみを備えてもよい。図3に示した例では、携帯電話100が位置および姿勢を検出するために4種類のセンサを備えるが、携帯電話100は、このうちいくつかのセンサを備えなくてもよい。あるいは、携帯電話100は、位置および姿勢の少なくとも1つを検出するための他の種類のセンサを備えてもよい。
図4〜図6を参照しながら、携帯電話100による計測値の読み取りの例について説明する。図4は、カメラ13によって撮影された画像に含まれる体組成計40の例を示す図である。体組成計40は、表示部41と、表面に印字されたメーカ名44と、体脂肪率を計測するための電極45とを有する。表示部41には、体重を示す計測値42aと、体脂肪率を示す計測値43aとが表示されている。さらに、計測値42aの右隣には、体重の単位がKgであることを示す単位42bが表示され、計測値43aの右隣には、体脂肪率が百分率で表示されていることを示すシンボル43bが表示されている。
このような体組成計40が画像に含まれる場合、携帯電話100は、数値である計測値42aおよび計測値43aと、計測値42aの近傍の単位42bと、計測値43aの近傍のシンボル43bとを検出する。さらに、携帯電話100は、計測値42aおよび計測値43aを含む体組成計40の外観上の特徴に関する情報を取得する。例えば、体組成計40の形状40a、体組成計40の色、表示部41の位置、表示部41に表示される情報の字体および配置、メーカ名44を構成する文字、メーカ名44の字体および位置、電極45および電極45の位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値42aが体重を示しており、計測値43aが体脂肪率を示していると判定する。そして、携帯電話100は、文字認識処理によって、体重および体脂肪率を数値データとして取得する。
図5は、カメラ13によって撮影された画像に含まれる活動量計50の例を示す図である。活動量計50は、表示部51と、表面に印字された型番54と、ボタン55と、ボタン56とを有する。表示部51には、歩数を示す計測値52aと、消費カロリーを示す計測値53aとが表示されている。さらに、計測値52aの右隣には、歩数の単位が歩(STEP)であることを示す単位52bが表示され、計測値53aの右隣には、消費カロリーの単位がKcalであることを示す単位53bが表示されている。
このような活動量計50が画像に含まれる場合、携帯電話100は、数値である計測値52aおよび計測値53aと、計測値52aの近傍の単位52bと、計測値53aの近傍の単位53bとを検出する。さらに、携帯電話100は、計測値52aおよび計測値53aを含む活動量計50の外観上の特徴に関する情報を取得する。例えば、活動量計50の形状50a、活動量計50の色、表示部51の位置、表示部51に表示される情報の字体および配置、型番54を構成する文字、型番54の字体および位置、ボタン55および56の形状および位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値52aが歩数を示しており、計測値53aが消費カロリーを示していると判定する。そして、携帯電話100は、文字認識処理によって、歩数および消費カロリーを数値データとして取得する。計測値52aが歩数を示しており、計測値53aが消費カロリーを示していると携帯電話100が判定するタイミングは、文字認識処理を行った後でもよい。
図6は、カメラ13によって撮影された画像に含まれる血圧計60の例を示す図である。血圧計60は、表示部61と、ボタン65とを有する。表示部61には、最高血圧を示す計測値62aと、最低血圧を示す計測値63aと、脈拍数を示す計測値64aとが表示されている。さらに、計測値62aの左隣には、計測値62aが最高血圧を示すことを表す名称62bが印字され、計測値63aの左隣には、計測値63aが最低血圧を示すことを表す名称63bが印字され、計測値64aの左隣には、計測値64aが脈拍数を示すことを表す名称64bが印字されている。
このような血圧計60が画像に含まれる場合、携帯電話100は、数値である計測値62a、計測値63a、および計測値64aと、計測値62aの近傍の名称62bと、計測値63aの近傍の名称63bと、計測値64aの近傍の名称64bとを検出する。さらに、携帯電話100は、計測値62a、計測値63a、および計測値64aを含む血圧計60の外観上の特徴に関する情報を取得する。例えば、血圧計60の形状60a、血圧計60の色、表示部61の位置、表示部61に表示される情報の字体および配置、名称62b〜64bを構成する文字、名称62b〜64bの字体および位置、ボタン65の形状および位置等が、外観上の特徴に関する情報として取得される。
携帯電話100は、取得したこれらの情報を使用機器情報9Xおよび判定情報9Yの少なくとも一方と照合することにより、計測値62aが最高血圧を示しており、計測値63aが最低血圧を示しており、計測値64aが脈拍数を示していると判定する。そして、携帯電話100は、文字認識処理によって、最高血圧、最低血圧、および脈拍数を数値データとして取得する。
図7および図8を参照しながら、情報提供装置300の構成について説明する。図7に示すように、情報提供装置300は、通信ユニット301と、コントローラ302と、ストレージ303とを有する。通信ユニット301は、所定のプロトコルに基づく他の装置との通信を可能にする。
コントローラ302は、CPU(Central Processing Unit)等の演算処理装置である。コントローラ302は、情報提供装置300の動作を統括的に制御して各種の機能を実現する。具体的には、コントローラ302は、ストレージ303に記憶されているデータを必要に応じて参照しつつ、ストレージ303に記憶されているプログラムに含まれる命令を実行する。そして、コントローラ302は、データおよび命令に応じて各種の情報処理を実行する。
コントローラ302は、例えば、分析プログラム304を実行することにより、蓄積されている計測値に基づく分析処理を実行する。
ストレージ303は、プログラムおよびデータを記憶する。ストレージ303は、コントローラ302の処理結果を一時的に記憶する作業領域としても利用される。ストレージ303は、半導体記憶媒体、および磁気記憶媒体等の任意の非一過的(non−transitory)な記憶媒体を含んでよい。ストレージ303は、複数の種類の記憶媒体を含んでよい。ストレージ303は、メモリカード、光ディスク、または光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。ストレージ303は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
ストレージ303は、例えば、分析プログラム304、および計測値情報306を記憶する。分析プログラム304は、蓄積されている計測値に基づく分析処理を実行するための機能を提供する。
計測値情報306には、携帯電話100から送信される計測値が蓄積される。計測値情報306の例を図8に示す。図8に示すように、計測値情報306は、利用者ID、タイムスタンプ、および種別といった項目と、計測値とその種別を示す名称とが対応付けて格納される複数の項目とを有する。利用者IDの項目には、携帯電話100の利用者を識別するための識別子が格納される。タイムスタンプの項目には、計測値が読み取られた日時、計測値が送信された日時、または計測値が受信された日時が格納される。種別の項目には、計測値が読み取られた健康測定器の種別を示す値が格納される。
図8に示す例のように、計測値情報306は、複数の種類の計測値が時系列に格納できるように構成される。このため、情報提供装置300は、複数の種類の計測値の経時的な変化に基づいて、健康に関する高度な分析を行うことができる。
図9および図10を参照しながら、携帯電話100が計測値を読み取って送信する処理の手順について説明する。図9は、計測値を読み取って送信する処理の手順を示すフローチャートである。図10は、計測値を読み取って送信する場合の画面遷移の例を示す図である。図9および図10に示す動作は、携帯電話100のコントローラ10が健康管理アプリケーション9Dを実行することによって実現される。
図9に示す手順を実行するために、コントローラ10は、まず、健康管理アプリケーション9Dを起動する。健康管理アプリケーション9Dの起動は、例えば、利用者の操作の検出を契機として実行される。健康管理アプリケーション9Dを起動するための操作は、他のアプリケーションを起動するための操作と同様の、メニューに対する操作、またはアイコンに対する操作であってもよい。あるいは、健康管理アプリケーション9Dを起動するための操作は、ロック画面上での操作であってもよい。
ロック画面は、携帯電話100を待機状態から通常の状態へ移行させるための操作が行われる画面である。図10に示すステップS21では、ロック画面31がディスプレイ2Aに表示されている。ロック画面31上には、ロック解除アイコン31a、カメラアイコン31b、および計測値読み取りアイコン31cが配置されている。
ロック解除アイコン31aをフリックまたはドラッグによってカメラアイコン31bの方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、写真撮影のためのアプリケーションを起動する。ロック解除アイコン31aをフリックまたはドラッグによって計測値読み取りアイコン31cの方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、健康管理アプリケーション9Dを起動する。ロック解除アイコン31aをフリックまたはドラッグによって他の方向へ移動させる操作がタッチスクリーン2Bによって検出された場合、コントローラ10は、ホーム画面または待機状態への移行前に表示されていた画面をディスプレイ2Aに表示させる。
このように、ロック画面に対する操作によって健康管理アプリケーション9Dを起動するように構成することにより、利用者が、健康測定器からの計測値の読み取りを迅速に開始することが可能になる。
健康管理アプリケーション9Dが起動されると、図9に示すように、コントローラ10は、まず、カメラ13を起動する(ステップS101)。そして、コントローラ10は、カメラ13を用いて画像を撮影し(ステップS102)、撮影された画像をディスプレイ2Aに表示する(ステップS103)。
この段階では、図10のステップS22に示すように、画像の撮影のための撮影画面32がディスプレイ2Aに表示される。利用者が体組成計に載った状態でカメラ13を体組成計へ向けると、ステップS22に示すように、体重および体脂肪率を表示部に表示している体組成計が撮影される。
続いて、コントローラ10は、カメラ13が撮影する画像中の数字を検出する(ステップS104)。画像中の数字を検出できない場合、すなわち、計測値を表示している健康測定器が写っていない場合(ステップS105,No)、コントローラ10は、ステップS102以降を再実行する。
カメラ13が撮影する画像中の数字を検出できた場合(ステップS105,Yes)、コントローラ10は、数字の近傍の文字を検出する(ステップS106)。さらに、コントローラ10は、数字を含む機器の形状および色を取得し(ステップS107)、機器に含まれるその他の文字およびシンボルを検出する(ステップS108)。そして、コントローラ10は、検出した数字、文字、およびシンボルの配置を取得する(ステップS109)。ステップS106〜S108の順番は、これに限定されない。
こうして健康測定器の外観上の特徴に関する情報を取得した後、コントローラ10は、取得した情報を使用機器情報9Xと照合する(ステップS110)。外観上の特徴に関する情報の一致の度合いが所定値より高い健康測定器が存在する場合、すなわち、画像中の使用機器が検出された場合(ステップS111,Yes)、コントローラ10は、ステップS115以降を実行する。
画像中の使用機器が検出されない場合(ステップS111,No)、コントローラ10は、使用機器以外の健康測定器を検出するために、取得した健康測定器の外観上の特徴に関する情報を判定情報9Yと照合する(ステップS112)。照合によって画像中の健康測定器を特定できない場合(ステップS113,No)、コントローラ10は、ステップS102以降を再実行する。
照合によって画像中の健康測定器が特定された場合(ステップS113,Yes)、コントローラ10は、特定した健康測定器の情報を使用機器情報9Xに追加する(ステップS114)。具体的には、ステップS104からステップS109で取得された外観上の特徴に関する情報が、ステップS113で特定された健康測定器に対応する判定情報9Y中のデータの計測値の位置および種別を示す情報と対応付けて、使用機器情報9Xに追加される。このように、新たに認識された健康測定器の情報を使用機器情報9Xに格納することにより、その健康測定器に関する処理が次回以降高速化される。その後、コントローラ10は、ステップS115以降を実行する。
ステップS115で、コントローラ10は、検出結果表示画面をディスプレイ2Aに表示させる(ステップS115)。そして、コントローラ10は、撮影された画像に含まれる健康測定器のメーカ名および種別を検出結果表示画面上に表示する(ステップS116)。
続いて、コントローラ10は、カメラ13を用いて画像を撮影し(ステップS117)、撮影された画像を検出結果表示画面上に表示する(ステップS118)。そして、コントローラ10は、画像中の計測値を検出し(ステップS119)、検出した計測値を検出結果表示画面上に表示する(ステップS120)。
この段階では、ディスプレイ2Aには、例えば、図10のステップS23に示すような検出結果表示画面33が表示される。検出結果表示画面33は、画像表示領域33aと、送信ボタン33bと、検出結果表示領域33cとを有する。画像表示領域33aは、撮影された画像が表示される領域である。コントローラ10は、撮影された画像のうち、計測値が表示されている領域を拡大して画像表示領域33aに表示する。このため、健康測定器の表示部を見にくい状況でも、利用者は計測値を容易に把握することができる。利用者が、ステップS120において、タッチスクリーン2Bまたはボタン3等を用いて検出結果を修正できるように、携帯電話100を構成してもよい。
送信ボタン33bは、計測値および付加情報の情報提供装置300への送信の実行を指示するためのボタンである。検出結果表示領域33cは、撮影された画像を解析することによって得られた情報が表示される領域である。
続いて、コントローラ10は、計測値および付加情報の送信指示がなされたかを判定する(ステップS121)。送信指示がなされていない場合(ステップS121,No)、コントローラ10は、ステップS117以降を再実行する。このように、コントローラ10は、送信指示がなされるまで、画像の取得、画像の表示、計測値の検出、および検出値の表示を繰り返す。このため、携帯電話100は、画像に含まれる計測値が変化した場合に、その変化を検出結果に反映させることができる。
例えば、体組成計の場合、計測値が安定するまでにしばらく時間を要することがある。この場合でも、コントローラ10は、計測値の検出を繰り返して実行するので、最新の計測値を検出結果に反映させることができる。さらに、体組成計の場合、利用者の操作に応じて、または時間の経過に応じて、表示部に表示される計測値の種類が変化することがある。この場合でも、コントローラ10は、計測値の検出を繰り返して実行するので、図10のステップS24に示すように、新たに表示された計測値を検出結果に反映させることができる。新たに表示された計測値の種別を判定するために、コントローラ10は、ステップS119において、計測値の近傍の文字またはシンボルの検出と、検出した文字またはシンボルと判定情報9Yとの照合とを実行してもよい。
さらに、コントローラ10は、撮影された画像のうち、計測値が表示されている領域を拡大して画像表示領域33aに表示する処理を繰り返して実行するので、手ぶれによって画像がぶれても、画像中の同じ部分を表示させ続けることができる。このため、携帯電話100は、表示される画像の視認性を高めることができる。
さらに、画像の解析が繰り返して実行されるため、健康測定器の型番を携帯電話100に読み取らせて健康測定器の種別と健康測定器の表示部に表示される計測値の位置および種別とを確定させ、その後に計測値を携帯電話100に読み取らせるという運用を利用者が行うこともできる。
送信指示がなされた場合(ステップS121,Yes)、コントローラ10は、通信ユニット6に、検出した計測値と付加情報とを情報提供装置300へ送信するように指示する(ステップS122)。送信指示は、例えば、検出結果表示画面33に表示される計測値を確認した利用者が、図10のステップS24に示すように、指F1を用いて送信ボタン33bをタップすることによって行われる。
その後、情報提供装置300から分析結果が送信されると、分析結果をディスプレイ2Aに表示する。例えば、コントローラ10は、例えば、図10のステップS25に示す分析結果画面34をディスプレイ2Aに表示する。分析結果画面34は、複数の種別の計測値の経時的な変化を示す履歴表示領域34aと、分析処理によって得られたアドバイスが表示されるアドバイス表示領域34bとを有する。
本出願の開示する実施形態は、発明の要旨および範囲を逸脱しない範囲で変更することができる。さらに、本出願の開示する実施形態およびその変形例は、適宜組み合わせることができる。例えば、上記の実施形態は、以下のように変形してもよい。
例えば、図3および図7に示した各プログラムは、複数のモジュールに分割されていてもよいし、他のプログラムと結合されていてもよい。
携帯電話100の機能と情報提供装置300の機能は、適宜配置を変更してもよい。例えば、情報提供装置300の機能を携帯電話100が実行してもよい。すなわち、携帯電話100が、計測値の読み取りに加えて、計測値の蓄積および分析を実行してもよい。
あるいは、携帯電話100の機能の一部を情報提供装置300が実行してもよい。携帯電話100の機能の一部を情報提供装置300が実行する場合、画像に含まれる計測値の位置と種別を判定するための処理を情報提供装置300が実行してもよい。この場合、図11に示すように、携帯電話100が画像を情報提供装置300へ送信し、使用機器情報9Xとの照合および判定情報9Yとの照合の両方を情報提供装置300が実行するように構成してもよい。あるいは、図12に示すように、使用機器情報9Xとの照合を携帯電話100が実行して計測値の位置等の判定が不能の場合に携帯電話100が画像を情報提供装置300へ送信し、判定情報9Yとの照合を情報提供装置300が実行するように構成してもよい。図11に示す構成では、携帯電話100の負荷が軽減されるとともに、健康測定器の新機種への対応が容易になる。図12に示す構成では、健康測定器の新機種への対応を容易にしつつ、計測値の位置等の判定に要する時間を短縮することができる。
携帯電話100の機能の一部を情報提供装置300が実行する場合、図13に示すように、携帯電話100が画像および付加情報を情報提供装置300へ送信し、情報提供装置300が計測値の位置等の判定に加えて、計測値の読み取りを実行するように構成してもよい。図13に示す構成では、携帯電話100の負荷がさらに軽減される。
あるいは、携帯電話100の機能の一部を情報提供装置300以外の他の装置に実行させてもよい。例えば、図14に示すように、計測値の位置等の判定を行う機器判定装置600を情報提供システムに追加してもよい。
上記の実施例では、携帯電話100が健康測定器の表示部に表示される計測値を読み取る例について説明したが、計測値の読み取り方はこれに限定されない。例えば、携帯電話100は、アナログ式の健康測定器が有する針と目盛りの位置関係から計測値を読み取ってもよい。
体重計または体組成計等の体重を計測する測定器の計測値を読み取る場合、利用者は、携帯電話100を持ったままで測定器に載ると考えられる。そこで、携帯電話100の重量が計測値に与える影響を除去するために、携帯電話100の重量を予め記憶しておき、計測値を表示している機器が体重を計測する測定器の場合には、体重を示す計測値から携帯電話100の重量を控除するように携帯電話100を構成してもよい。
計測値を数値としてだけではなく、携帯電話100が容易に読み取ることができる符号として表示するように健康測定器を構成してもよい。この場合、計測値だけでなく、計測値の種別および単位等を符号化してもよい。符号化は、例えば、一次元バーコードまたは二次元バーコード用いて実現できる。あるいは、健康測定器の表示部が7セグメントディスプレイの場合、各文字を構成する要素の点滅パターンを符号に割り当てることによって符号化を実現してもよい。
健康測定器に年齢、身長、性別等の利用者の個人情報が登録されている場合、計測値だけでなく、それらの個人情報を表示部に表示するように健康測定器を構成してもよい。このように構成することにより、携帯電話100に登録されていない個人情報を携帯電話100が健康測定器から取得し、情報提供装置300へ送信する等して分析に役立てることが可能になる。個人情報は、文字として健康測定器の表示部に表示されてもよいし、上記のように符号化されて表示されてもよい。個人情報は、予め情報提供装置300に記憶されてもよい。
(実施形態2)
実施形態1では、携帯電話100が、健康測定器の表示部に表示される計測値を撮影した画像から、文字認識処理によって計測値に対応する数値データを読み取る例を説明した。このとき、カメラで捕捉中のイメージデータに含まれる計測値以外のオブジェクトが、イメージデータから画像を取得するときの露出量などの調整に影響を与えるので、携帯電話100により画像から読み取られる計測値の精度にばらつきが生じる恐れがある。特に、健康測定器の表示部41がグレースケールの液晶パネル上に黒色の文字を表示する7セグメントディスプレイで構成される場合、イメージデータ内に含まれる白色のオブジェクトの割合により、イメージデータから取得される画像において計測値が不鮮明となってしまう。計測値の精度が悪いと、情報提供装置300において利用者の健康状態について正しい分析を行うことができず、健康管理に関するサービスの品質も低下してしまう。そこで、以下では、携帯電話100が、健康測定器の表示部が撮影された画像から、表示部に表示されている計測値を精度良く読み取るための制御の例について説明する。
健康管理アプリケーション9Dは、実施形態1で説明した機能に加えて、以下に説明する機能を提供する。健康管理アプリケーション9Dは、カメラ13により捕捉中の健康測定器のイメージデータの輝度分布に基づいて、健康測定器の表示部のイメージ(像)が映し出されているイメージデータにおける領域を特定する機能を提供する。さらに、健康管理アプリケーション9Dは、特定した領域を対象とする測光処理を実行する機能とを提供する。
コントローラ10は、健康管理アプリケーション9Dを実行することにより、カメラ13により捕捉中の健康測定器のイメージデータの輝度分布に基づいて、健康測定器の表示部のイメージ(像)が映し出されているイメージデータにおける領域を特定する。さらに、コントローラ10は、健康管理アプリケーション9Dを実行することにより、特定した領域を対象とする測光処理を実行する。
図15は、カメラでイメージデータを補足している状態の一例を示す図である。図15は、健康測定器である体組成計40のイメージデータを補足する場合を示している。ユーザは、撮影対象である体組成計40の表示部41のイメージデータがタッチスクリーンディスプレイ2(ディスプレイ2A)に表示されている状況を確認しつつ、カメラ13及び携帯電話100を操作する。コントローラ10は、図15に示すように、ユーザの操作に応じて、カメラ13により捕捉できる体組成計40のイメージデータI1をディスプレイ2Aに表示する。
図16は、図15に示すイメージデータの輝度分布の一例を示す図である。図16に示す横軸は輝度値、縦軸は輝度値の頻度を示す。コントローラ10は、図15に示すイメージデータI1の輝度分布を算出する。図15に示すイメージデータI1には、図16に示すように、ピークとなる輝度値“α”及び輝度値“β”が含まれている。ユーザは、撮影対象である体組成計40の表示部41に焦点をあてて、カメラ13及び携帯電話100を操作しているので、イメージデータI1には、体組成計40の表示部41のイメージが多く含まれている。さらに、体組成計40の表示部41が、グレースケールで文字情報を表示する液晶パネルで構成される場合には、表示部41を構成する各画素の輝度値は概ね同じ値となる。よって、ピークとなる輝度値“α”及び輝度値“β”のいずれか一方が表示部41である可能性が高いものと判断できる。
図17は、図16に示す輝度分布においてピークとなる輝度値を有する画素のイメージデータI1における位置の一例を示す図である。図17は、図16に示す輝度分布においてピークとなっている輝度値“α”を有する画素PαのイメージデータI1における位置の例を示している。
図18は、体組成計40の表示部41のイメージが映し出されている領域の候補として切り出される領域の一例を示す図である。ユーザは、撮影対象である体組成計40の表示部41に焦点をあてて、カメラ13及び携帯電話100を操作しているので、イメージデータI1には、体組成計40の表示部41のイメージが多く含まれているものと予測できる。そこで、コントローラ10は、輝度分布においてピークとなっている輝度値“α”を有する画素PαのイメージデータI1における位置(図17)を参照し、図18に示す画素Pαが集中している領域Aαを、体組成計40の表示部41のイメージが映し出されている領域の候補としてイメージデータI1から切り出す。例えば、コントローラ10は、体組成計40の表示部41のイメージが映し出されている領域の候補をイメージデータI1から切り出す場合、例えば、ピークとなる輝度値を有する画素Pαが集中している領域を含む最小の矩形で切り出す。コントローラ10は、矩形で切り出す場合に限られず、例えば、画素Pαが集中している領域の形状に応じて、円形、楕円形、三角形など種々の形状で切り出すことができる。
コントローラ10は、体組成計40の表示部41のイメージが映し出されている領域の候補としてイメージデータI1から切り出した領域Aαに対して、文字認識処理を実行する。そして、コントローラ10は、領域Aαにおいて文字情報を認識できた場合には、領域Aαを体組成計40の表示部41のイメージが映し出されている領域として特定する。
領域Aαを体組成計40の表示部41のイメージが映し出されている領域として特定できた場合には、コントローラ10は、領域Aαを対象とする測光処理を実行する。コントローラ10は、領域Aαを対象とする測光処理を実行する場合、分割測光、中央重点測光、スポット測光のいずれを用いてもよい。コントローラ10は、分割測光を用いて測光処理を行う場合、領域Aαを複数の領域に分割し、分割した各領域の光量の平均から露出量を決定するための制御値を算出する。コントローラ10は、中央重点測光を用いて測光処理を行う場合、領域Aαの中央部分の領域の光量に重点をおいて、露出量を決定するための制御値を算出する。コントローラ10は、スポット測光を用いて測光処理を行う場合、領域Aαのごく一部分の光量を基準として、露出量を決定するための制御値を算出する。
図19は、携帯電話100がカメラ13で捕捉中のイメージデータから健康測定器の表示部のイメージが映し出されている領域を特定し、特定した領域を対象とする測光処理を実行する処理の手順の一例を説明する。図19に示す処理手順は、コントローラ10が、健康管理アプリケーション9Dを起動することにより開始される。健康管理アプリケーション9Dの起動は、実施形態1と同様に、例えば、利用者の操作の検出を契機として実行される。
コントローラ10は、健康管理アプリケーション9Dを起動した後、カメラ13を起動し、カメラ13で捕捉中のイメージデータI1(図15など参照)の輝度分布(図16参照)を算出する(ステップS201)。続いて、コントローラ10は、輝度分布においてピークとなっている輝度値(例えば、α)を1つ選択する(ステップS202)。
続いて、コントローラ10は、ピークとなっている輝度値を有する画素(例えば、Pα)が集中するイメージデータI1の領域(例えば、Aα、図18参照)を切り出す(ステップS203)。
続いて、コントローラ10は、ステップS203で切り出した領域(例えば、Aα)に対して文字認識処理を実行し、領域内で文字情報を検出できるか否かを判定する(ステップS204)。
コントローラ10は、判定の結果、ステップS203で切り出した領域内に文字情報を検出できた場合には(ステップS204、Yes)、ステップS203で切り出した領域を、体組成計40の表示部41のイメージが映し出されているイメージデータI1における領域として特定する(ステップS205)。
続いて、コントローラ10は、ステップS205で特定した領域を対象とする測光処理を実行する(ステップS206)。そして、コントローラ10は、測光処理の結果に基づいて、イメージデータを撮影して画像を取得する際の露出量を調整し(ステップS207)、図19に示す処理手順を終了する。
ステップS204において、コントローラ10は、判定の結果、ステップS203で切り出した領域内に文字情報を検出できなかった場合には(ステップS204、No)、ピークとなっている輝度値のうち、未選択のものがあるかどうかを判定する(ステップS208)。判定の結果、未選択のものがある場合には(ステップS208、Yes)、コントローラ10は、ステップS202に戻り、未選択の輝度値の中から1つ輝度値を選択し、上述した手順を実行する。一方、判定の結果、未選択のものがない場合には(ステップS208、No)、コントローラ10は、そのまま、図19に示す処理手順を終了する。
上述してきたように、実施形態2にて、携帯電話100は、健康管理アプリケーション9Dを実行することにより、カメラ13により捕捉する体組成計40のイメージデータの輝度分布に基づいて、健康測定器の表示部のイメージ(像)が映し出されているイメージデータ内の領域を特定する。さらに、コントローラ10は、健康管理アプリケーション9Dを実行することにより、特定した領域を対象とする測光処理を実行する。このため、実施形態2によれば、健康測定器の表示部が撮影された画像から、表示部に表示されている計測値を精度良く読み取ることができる。
実施形態2にて、携帯電話100は、輝度分布においてピークとなる輝度値に対応するイメージデータ内の領域を、表示部のイメージが映し出されている領域の候補として切り出す。そして、携帯電話100は、候補として切り出した領域内に文字情報(例えば、7セグ)を検出できた場合には、ピークとなる輝度値に対応するイメージデータ内の領域を、表示部のイメージが映し出されている領域として特定する。ユーザは、撮影対象である体組成計40の表示部41に焦点をあてて、カメラ13及び携帯電話100を操作しているので、イメージデータI1には、体組成計40の表示部41のイメージが多く含まれているものと予測できる。よって、輝度分布でピークとなる輝度値に対応するイメージデータ内の該当領域を、表示部が映し出されている領域として処理を進める方法も有効ではあるが、該当領域に文字情報を認識できれば、より確実に表示部のイメージが映し出されている領域を特定できる。
実施形態2では、体組成計40のイメージデータの輝度分布に基づいて表示部41の領域を特定するので、例えば、カメラ13の位置が体組成計40に対して正対していない位置にある場合であっても、表示部41に表示されている計測値を精度良く読み取ることができる。すなわち、表示部41の画像を斜めから撮影した場合であっても、表示部41を対象とする測光処理を実行するので、表示部41から反射する光や表示部への写りこみなどの影響などを受けることなく、表示部41に表示されている計測値を読み取ることができる。
実施形態2では、カメラにより捕捉中の体組成計のイメージデータの輝度分布に基づいて、体組成計の表示部のイメージが映し出されているイメージデータ内の領域を特定する例を説明した。例えば、体組成計に対して、体組成計の表示部のイメージが映し出されているイメージデータ内の領域を特定するようなパターンデザインを設けてもよい。
図20は、体組成計の表示部のイメージが映し出されているイメージデータ内の領域を特定するためのパターンデザインの一例を示す図である。図20に示すように、パターンデザインは、体組成計40の表示部41の4つの角のうち、体組成計40の表示部41を3つの角に内接するように配置される3つの四角形41aと、表示部41を取り囲む直線41bとで構成される。コントローラ10は、カメラ13で体組成計40のイメージデータを補足する際に、図20に示すパターンデザインを認識することで、体組成計40の表示部41のイメージが映し出されているイメージデータ内の領域を特定する。コントローラ10は、パターンマッチングにより、図20に示すパターンデザインを読み取ってもよいし、イメージデータからエッジを抽出して、図20に示すパターンデザインを読み取ってもよい。
図20に示すパターンデザインを用いて、体組成計40の表示部41のイメージが映し出されている領域を特定するだけではなく、表示部41の表示内容や表示内容の変化を検出することにより、表示部41の領域を特定するようにしてもよい。例えば、コントローラ10は、カメラ13で捕捉中の体組成計のイメージデータの文字認識処理を実行し、“測定中”の文字を検出できた場合には、その文字の位置を目安として表示部41のイメージが映し出されている領域を特定する。あるいは、コントローラ10は、カメラ13で捕捉中の体組成計40のイメージデータのフレーム間差分をとって、計測実行中の表示部41に表示される表示内容の変化を検出できた場合には、変化があった箇所を目安とし表示部41のイメージが映し出されている領域を特定する。表示内容の変化には、体重の計測値が確定するまでの数字の変化や、体重表示から体脂肪表示を行う場合の変化などがある。
あるいは、カメラ13で体組成計40の表示部41のイメージデータを捕捉する際に、表示部41に合わせるためのガイド枠などをディスプレイ2Aに表示させるようにしてもよい。この場合には、カメラ13で補足するイメージデータのうち、ガイド枠の内側の領域を表示部41のイメージが映し出されている領域として特定する。
実施形態2では、体組成計40の表示部41の領域を特定する例を説明したが、体組成計40以外の体温計、血圧を計測する血圧計、脈拍を計測する脈拍計、歩数を計測する歩数計、歩行を含む運動による活動量を計測する活動量計などの他の健康測定器の表示部についても、体組成計40の場合と同様の方法で特定できる。
実施形態2において、体組成計40の表示部41の色温度や光源の種類を事前に判明している場合、携帯電話100は、表示部41の領域の色温度や光源の種類に応じたホワイトバランスの調整を行うこともできる。
実施形態2において、携帯電話100は、表示部41のイメージが映し出されている領域を対象とする測光処理の結果に応じて、ISO感度を変更するようにしてもよい。
実施形態2において、携帯電話100は、使用機器情報9X及び判定情報9Yなどを利用することにより、カメラ13で捕捉中の体組成計40のイメージデータにおいて表示部41が映し出されている領域をある程度絞りこんだ後、絞り込んだ領域の輝度分布に基づいて、表示部41が映し出されている領域を特定するようにしてもよい。
携帯電話100は、表示部41の領域を対象とする測光処理の結果に基づいて露出量を調整して撮影した画像から計測値を取得した後、使用機器情報9X及び判定情報9Yなどを用いて、実施形態1と同様の処理(図9のステップS105,Yes〜ステップS122)を実行してよい。
上記の実施形態では、電子機器の例として、携帯電話について説明したが、添付の請求項に係る携帯電子機器は、携帯電話に限定されない。添付の請求項に係る電子機器は、携帯電話以外の携帯電子機器であってもよい。携帯電子機器は、例えば、タブレット、携帯型パソコン、デジタルカメラ、メディアプレイヤ、電子書籍リーダ、ナビゲータ、およびゲーム機を含むが、これらに限定されない。添付の請求項に係る電子機器は、携帯電子機器以外の電子機器であってもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例および代替可能な構成を具現化するように構成されるべきである。