(実施の形態1)
以下に、本発明を実施するための形態に係るリモコン装置、情報処理方法、プログラムについて、図面を参照して説明する。なお、図中同一または相当する部分には同一符号を付す。
本実施の形態1に係るリモコン装置は、端末装置の一例である携帯端末から構成される。携帯端末は、通常のスマートフォンの機能に加えて、使用者が正当な使用権限を有しているか否かを自動的に判別し、正当な使用権限を有していると判別した場合に、制御対象装置への操作指示を受け付け、制御対象装置に指示を通知或いは送信する機能を備える。
以下の説明では、理解を容易にするため、制御対象装置を車両5とし、操作の種類を、ドア装置53によるドアのロック及びその解除、エアコン装置56によるエアコンのオン・オフ、オーディオ装置57のオン・オフとして、説明する。
実施の形態1に係る電子制御システム100の構成を、図1に示す。電子制御システム100は、ユーザが保持してリモコン装置として使用する携帯端末1と、制御対象の車両5とを含む。なお、携帯端末1は、特許請求の範囲における情報処理装置の一例である。
携帯端末1は、いわゆるスマートフォンであり、ユーザの顔の画像、指紋、声紋等の生体情報と、ユーザが携帯端末1を操作する際の特有の挙動、操作状態等によるユーザの癖情報とを用いる認証機能を備える。
携帯端末1は、図2Aに示すように、携帯端末1の正面に、ユーザの顔を撮影するインカメラ11Aと、スピーカ12Aと、通話用のマイク(マイクロフォン)12Bと、操作入力部14と表示部19とを兼ねるタッチパネルとを備えている。また、携帯端末1は側面に、ユーザの指紋を検出する左指紋センサ15A及び右指紋センサ15Bを備えている。携帯端末1は内部に、携帯端末1の傾きを検出する傾き検出部13と、携帯端末1の現在位置を検出する位置検出部16とを備える。また、携帯端末1は背面に、ユーザから見た人間、風景、物体等を撮影することができるメインカメラ11Bを備える。
以下、インカメラ11Aとメインカメラ11Bとを総称して、撮影部11と称する。また、スピーカ12Aと通話用のマイク12Bとを総称して、音声入出力部12と称する。また、左指紋センサ15A及び右指紋センサ15Bを総称して、指紋検出部15と称する。
図2Bは、携帯端末1の構成を示すブロック図である。携帯端末1は、近距離通信部10と、撮影部11と、音声入出力部12と、傾き検出部13と、操作入力部14と、指紋検出部15と、位置検出部16と、端末記憶部17と、端末制御部18と、表示部19と、電話通信部20とを備える。
近距離通信部10は、Bluetooth(登録商標)、Wi-Fi、赤外線通信などの近距離無線通信装置から構成され、制御対象の車両5の制御装置と無線通信し、信号を送受信する。撮影部11は、図2Aに示したインカメラ11Aとメインカメラ11Bとを含む。撮影部11には、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)センサ等の撮像素子を用いたカメラ、ビデオカメラ等、静止画または動画を撮影し、静止画または動画を取得することが可能な各種カメラを用いることができる。
音声入出力部12は、図2Aに示したスピーカ12Aと、通話用のマイク12Bとを含む。スピーカ12Aは、音声通話で受信した音声等を出力する。通話用のマイク12Bは、ユーザの音声をピックアップする装置である。
傾き検出部13は、携帯端末1の傾き、揺れ等を検出するセンサである。傾き検出部13は、加速度センサ、角度センサ等の携帯端末1の傾きを検出できる各種センサを用いて構成することができる。なお、加速度センサ、角度センサ等のセンサの個数は単数及び複数のどちらでもよい。また、センサは一種類及び複数種類を組み合わせたものでもよい。
操作入力部14は、ユーザからの操作を入力することができる装置である。
指紋検出部15は、ユーザの指紋を検出するセンサである。指紋検出部15は、図2Aに示した左指紋センサ15A及び右指紋センサ15Bを含む。
位置検出部16は、携帯端末1の現在位置を検出することができる装置である。位置検出部16は、GPS(Global Positioning System)等の、携帯端末1の現在位置を検出することができる装置を用いて構成することができる。
端末記憶部17は、認証処理プログラム170と、認証用生体情報データベース171と、認証用ユーザの癖データベース172と、スコア値テーブル173と、ID/PW記憶部174と、リモコン制御プログラム175と、制御対象テーブル176とを含む。
認証処理プログラム170は、ユーザを認証する処理を行うプログラムである。
認証用生体情報データベース171は、ユーザの生体情報に関する情報と認証結果とを保存するデータベースである。認証用ユーザの癖データベース172は、携帯端末1を操作する際のユーザ特有の癖に関する情報と認証結果とを保存するデータベースである。ここで、ユーザ特有の癖とは、ユーザが携帯端末1を操作する際の挙動、表示部19の画面とユーザの顔の距離、キーストローク、持ち方、携帯端末1が使用される位置、通信環境等、携帯端末1の操作時におけるユーザ特有の振る舞いのことをいう。
スコア値テーブル173は、認証処理のために、後述するスコア値を保持するテーブルである。
ID/PW記憶部174は、携帯端末1に予め設定されている端末識別情報(Identifier:ID)とパスワードとを記憶する。
リモコン制御プログラム175は、操作画面を表示し、ユーザの操作画面への操作に応答して、制御対象装置に操作信号を送信するプログラムである。プログラムの詳細は後述する。制御対象テーブル176は、制御対象の装置とその制御内容を保持するテーブルである。
端末制御部18は、端末記憶部17に記憶された各種プログラムを実行する。また、端末制御部18は、近距離通信部10と、撮影部11と、音声入出力部12と、傾き検出部13と、操作入力部14と、指紋検出部15と、位置検出部16、電話通信部20とから各種データを取得して処理し、端末記憶部17に保存する。
表示部19は、端末制御部18で実行される各種プログラムの処理内容を表示する。また、表示部19は、撮影部11で撮影された静止画、動画等の画像、操作入力部14から入力されたデータ等を表示することもできる。表示部19は、操作入力部14上に積層されており、図2Aに示したタッチパネルを構成する。
電話通信部20は、端末制御部18の制御に従って、基地局との間で、電話通信用の無線信号を送受信する。
次に、携帯端末1のハードウエア構成の一例を、図2Cを参照しつつ説明する。携帯端末1は、各種プログラムを実行するプロセッサ21と、各種プログラムを展開するためのメモリ22と、各種表示用データを出力する表示コントローラ23と、各種表示用データを表示する表示装置24と、撮影部11、音声入出力部12等を接続するためのI/Oポート25と、各種プログラム及び各種データを保存する記憶部26と、車両5との間で通信データを送受信する近距離通信装置27と、電話通信装置28とを備える。プロセッサ21と、メモリ22と、表示コントローラ23と、I/Oポート25と、記憶部26と、近距離通信装置27と、電話通信装置28と、はデータバス29を介して相互に接続されている。
プロセッサ21は、記憶部26に記憶された各種プログラムを読み出してメモリ22に展開し、実行する。プロセッサ21は、CPU(Central Processing Unit)、MPU(Micro-processing Unit)等の処理装置から構成される。メモリ22は、RAM(Random Access Memory)、フラッシュメモリ等の揮発性または不揮発性の半導体メモリといった記憶素子および記憶媒体から構成される。
表示コントローラ23は、表示装置24に各種表示用データを出力するコントローラである。表示コントローラ23は、ビデオカード、GPU(Graphics Processing Unit)、グラフィックボード等の映像信号出力装置から構成される。表示装置24は、LCD(Liquid Crystal Display)モニタ、有機EL(Electroluminescence)モニタ等の表示装置から構成される。
I/Oポート25は、撮影部11と、音声入出力部12と、傾き検出部13と、操作入力部14と、指紋検出部15と、位置検出部16とを接続することができる接続用ポートである。I/Oポート25は、USB(Universal Serial Bus)ポート、IEEE1394ポート等、装置及びセンサを接続することができる各種ポートから構成される。
記憶部26は、プロセッサ21で実行する各種プログラム、各種プログラムで使用する各種データを保存する装置である。記憶部26は、HDD(Hard Disk Drive)、SSD(Solid State Drive)等の不揮発性記憶装置から構成される。
近距離通信装置27は、車両5との間で近距離無線通信を行うことができる。近距離通信装置27は、無線LAN(Local Area Network)、Bluetooth(登録商標)等の、無線通信による比較的近距離の通信を行う各種器機から構成される。近距離通信装置27は、近距離通信部10を構成する。電話通信装置28は、図示せぬ基地局との間で電話通信を行う通信装置を備える。電話通信装置28は、電話通信部20を構成する。
プロセッサ21が、端末記憶部17に記憶された認証処理プログラム170を実行することにより、図2Dに示すように、端末制御部18に、本人認証部181が実現される。これにより、ユーザの本人認証が実行される。プロセッサ21が、端末記憶部17に記憶されたリモコン制御プログラム175を実行することにより、図2Dに示すように、端末制御部18に、操作メニューを表示する操作メニュー表示部182、操作メニューへの操作に対応する操作信号を送信する操作指示部183、初期登録部184が実現される。これにより、携帯端末1は、車両5のリモコン装置として機能することができる。
本人認証部181は、ユーザの生体情報を用いた生体認証と、携帯端末1の操作態様の履歴情報に基づいて、現在の携帯端末1の操作態様がユーザの操作の癖に合致していれば高いポイントを与える癖認証と、を実行する。
操作メニュー表示部182は、表示部19に、図6に例示するように、操作対象と操作内容を示すボタンを含む操作メニューを表示する。
操作指示部183は、表示された操作メニュー上のボタンへのユーザのタッチ動作に応答し、タッチされたボタンに相当する指示を、近距離通信部10を介して車両5に送信する。
初期登録部184は、車両5の情報を登録して、携帯端末1をリモコン装置として使用可能とする処理を行う。
一方、車両5は、図2Eに示す構成を有する。図示するように、車両5は、携帯端末1から構成されたリモコン装置による遠隔操作の対象とされる装置であり、近距離通信部50と、装置制御部51と、記憶部52と、ドア装置53と、ウインドウ装置54と、イグニッション装置55と、エアコン装置56と、オーディオ装置57と、...を備える。
近距離通信部50は、携帯端末1の近距離通信部10との間で近距離無線通信を行う。
装置制御部51は、近距離通信部50を介して、携帯端末1からの操作指示を受信し、指示に従って、制御対象装置であるドア装置53、ウインドウ装置54、イグニッション装置55、エアコン装置56、オーディオ装置57...を制御する。装置制御部51は、CPU等のプロセッサ等から構成される。
記憶部52は、装置制御部51に制御動作を実行させるための動作プログラムを記憶する。
また、記憶部52は、リモコン操作の対象となるリモコン対象リストを記憶する。図5に図示するように、リモコン対象リストは、リモコン操作の対象となる装置と、操作の内容と、装置の識別番号とを含む。例えば、図5に示すように、ドア装置53がリモコン操作の対象となっている。操作の内容は、ドアのロックとリリースである。ドア装置53の装置IDは、D1である。また、記憶部52は、この装置のリモコンを認証するための認証情報を記憶している。
次に、本人認証部181で実行される携帯端末1におけるユーザの認証方法について、図3Aから図3Dを参照しつつ説明する。
前提として、認証用生体情報データベース171には、ユーザの操作により、予め、ユーザの、指紋、顔、虹彩パターンなどの生体情報が登録されているものとする。
図2Bに示した携帯端末1の端末制御部18は、指紋検出部15による指紋検出等のユーザによる携帯端末1の操作があった場合、他のプログラムから要求があった場合には、生体情報を取得する。端末制御部18の取得する生体情報のデータは、図2Aに示したインカメラ11Aで撮影したユーザの顔の画像、通話用のマイク12Bでピックアップしたユーザの音声、インカメラ11Aで撮影したユーザの虹彩の画像、指紋検出部15で検出した指紋等である。
例えば、ユーザが、図2Aに示した表示部19の正面をユーザの顔と対向させる位置に携帯端末1を持ってきた場合、端末制御部18は、図2Aに示したインカメラ11Aでユーザの顔の画像を撮影し、ユーザの生体情報として取得する。また、ユーザが携帯端末1から他者へ電話をかけ通話をした場合、端末制御部18は、通話用のマイク12Bでピックアップしたユーザの音声を、ユーザの生体情報として取得する。ユーザが携帯端末1を持ち、図2Aに示した表示部19の正面と顔とを一定距離よりも近づけた場合、端末制御部18は、インカメラ11Aで撮影したユーザの虹彩の画像を、ユーザの生体情報として取得する。ユーザが携帯端末1を予め定められた時間以上持った場合、端末制御部18は、指紋検出部15で検出した指紋を、ユーザの生体情報として取得する。
例えば、図3Aに示す、2019年3月1日の12時22分23秒において、ユーザが、図2Aに示した表示部19の正面をユーザの顔と対向させる位置に携帯端末1を持ってきたものとする。端末制御部18は、インカメラ11Aからユーザの顔が画像を撮影し、ユーザの生体情報として携帯端末1に保存する。端末制御部18は、携帯端末1に予め登録されているユーザの顔の画像における特徴量と、インカメラ11Aから取得したユーザの顔の画像における特徴量とを比較し、類似度を求める。
この類似度からスコア値を求める。スコア値は、予め登録されているデータの特徴量と、端末制御部18の取得したデータの特徴量とが一致する場合に上限値、不一致の場合に下限値とする。一致または不一致以外の場合には、特徴量の類似度に応じて設定される値がスコア値となる。
スコア値の上限値及び下限値は、図2Bに示した携帯端末1の端末記憶部17に記憶されているスコア値テーブル173に記憶されている。このスコア値テーブル173に設定されたスコア値を、図3Dに示す。スコア値テーブル173には、生体情報におけるスコア値の上限値及び下限値として、-100~100が設定されている。また、ユーザの癖のデータにおけるスコア値の上限値及び下限値として、-50~50が設定されている。
ここでは、特徴量が一致し、図3Dに示したスコア値テーブル173に設定された生態情報の上限値100をスコア値に設定すると仮定する。端末制御部18は、取得した生体情報のデータ及び求めたスコア値を、図2Bに示す認証用生体情報データベース171に書き込む。認証用生体情報データベース171のテーブルを図3Bに示す。認証用生体情報データベース171のテーブルには、端末制御部18が生体情報を取得した日時と、取得した生体情報の種類と、取得した情報と、スコア値との各項目が含まれる。
端末制御部18は、図3Bに示した認証用生体情報データベース171のテーブルの日時の項目に、生体情報を取得した日時である2019年3月1日の12時22分23秒を書き込む。端末制御部18は、取得した生体情報の種類の項目に顔と書き込む。端末制御部18は、取得した情報の項目に、インカメラ11Aから取得したユーザの顔の画像のデータを書き込む。端末制御部18は、スコア値の項目に100を書き込む。
次に、端末制御部18は、ユーザの癖のデータを取得する。このユーザの癖とは、ユーザが携帯端末1を使用する時の挙動、操作状態、場所、通信状態等、ユーザ特有の振る舞いをいう。端末制御部18の取得するユーザの癖のデータは、生体情報を取得した時と同じ日時のデータである。例えば、図3Aに示す2019年3月1日の12時22分23秒において、端末制御部18は、図2Aに示したインカメラ11Aで撮影したユーザの顔の画像から求めたユーザの顔と表示部19の画面との距離、傾き検出部13で求めた携帯端末1の傾き角度、操作入力部14で求めたキー操作のストロークのデータ、近距離通信部10から取得した通信環境の情報、位置検出部16から取得した携帯端末1の位置情報等を、ユーザの癖のデータとして取得する。
端末制御部18は、携帯端末1に予め登録されているユーザの癖に関する各データにおける特徴量と、取得したユーザの癖に関する各データにおける特徴量とを比較し、類似度を求める。端末制御部18は、求めた類似度をもとに、ユーザの癖に関する各データにおけるスコア値を求める。このスコア値は、図3Dに示したスコア値テーブル173に設定された上限値50から下限値-50の範囲内の値となる。
端末制御部18は、取得したユーザの癖のデータと求めたスコア値とを、図2Bの端末記憶部17に保存した認証用ユーザの癖データベース172に書き込む。認証用ユーザの癖データベース172のテーブルを、図3Cに示す。認証用ユーザの癖データベース172のテーブルには、端末制御部18がユーザの癖のデータを取得した日時と、ユーザの癖の種類と、取得したデータと、スコア値との各項目が含まれる。
例えば、端末制御部18は、図3Cに示した認証用ユーザの癖データベース172のテーブルの日時の項目に生体情報を取得した日時と同じ2019年3月1日の12時22分23秒を書き込む。端末制御部18は、ユーザの癖の項目に、顔と画面との距離と書き込む。端末制御部18は、取得した情報の項目に250mmを書き込む。この250mmは、インカメラ11Aで撮影したユーザの顔の画像から、端末制御部18により求められたユーザの顔と画面との距離である。
端末制御部18は、求めたユーザの顔と画面との距離の値と、携帯端末1に登録されているユーザの顔と画面との距離の値とを比較し、その類似度からスコア値を求める。ここでは、距離は一致ではないが類似度が高いものとして、求められたスコア値を35とする。端末制御部18は、図3Cに示したテーブルのスコア値の項目に35と書き込む。
続いて、端末制御部18は、傾き検出部13で求めた携帯端末1の傾き角度等、得られたユーザの癖に関するデータを図3Cに示した認証用ユーザの癖データベース172のテーブルの各項目に書き込む。全てのユーザの癖に関するデータの書き込みが終わると、端末制御部18は、図3Bに示した認証用生体情報データベース171及び図3Cに示した認証用ユーザの癖データベース172における同じ日時のスコア値とを合計する。
例えば、図3Bに示した認証用生体情報データベース171における2019年3月1日の12時22分23秒の日時において、生体情報のスコア値100である。また、同じ日時において、図3Cに示した認証用ユーザの癖データベース172におけるユーザの癖のスコア値は、上から順に35、40、-15、25、42である。この生体情報のスコア値100とユーザの癖のスコア値35、40、-15、25、42とを合計すると227となる。
端末制御部18は、図3Dに示したスコア値テーブル173から合計値の項目に設定されたスコア値を取得する。端末制御部18は、合計した生体情報及びユーザの癖のスコア値と、スコア値テーブル173から合計値の項目に設定されたスコア値とを比較する。端末制御部18は、合計した生体情報及びユーザの癖のスコア値が、スコア値テーブル173の合計値の項目に設定されたスコア値以上であれば、携帯端末1を使用しているユーザを正しいユーザとして認証し、スコア値以下であればユーザを正しいユーザではないとして認証しない。
例えば、図3Dに示したスコア値テーブル173には、スコア値の合計値として200が設定されている。端末制御部18は、求めたスコア値の合計値227と、スコア値テーブル173に設定されたスコア値の合計値200とを比較する。求めたスコア値の合計値がスコア値テーブル173に設定されたスコア値の合計値以上であるため、端末制御部18は、携帯端末1を操作しているユーザを正しいユーザとして認証する。
本人認証部181で実行される携帯端末1におけるユーザの認証方法は、認証処理プログラム170として端末記憶部17に記憶されている。端末制御部18の本人認証部181は、指紋検出部15による指紋検出等のユーザによる携帯端末1の操作があった場合、他のプログラムから要求があった場合に、認証処理プログラム170を実行してユーザの認証を行う。
認証処理プログラム170が実行する認証処理について、図4に示す認証処理のフローチャートを参照しつつ、以下に説明する。端末制御部18の本人認証部181は、認証処理プログラム170が起動すると、ユーザの顔の画像、指紋等の生体情報を取得する(ステップS1)。続いて、端末制御部18の本人認証部181は、ユーザの癖に関するデータを取得する(ステップS2)。
端末制御部18の本人認証部181は、携帯端末1に予め登録されている生体情報の特徴量と、取得した生体情報の特徴量とを比較し、類似度を求める。端末制御部18の本人認証部181は、求めた類似度から、図3Dのスコア値テーブル173に設定された生体情報のスコア値の上限値から下限値の範囲内でスコア値を求める。また、端末制御部18の本人認証部181は、携帯端末1に予め登録されているユーザの癖のデータにおける特徴量と、取得したユーザの癖のデータにおける特徴量とを比較し、類似度を求める。端末制御部18の本人認証部181は、求めた類似度から、図3Dのスコア値テーブル173に設定されたユーザの癖のスコア値の上限値から下限値の範囲内でスコア値を求める(ステップS3)。
端末制御部18の本人認証部181は、取得した生体情報のデータ及び求めたスコア値を、図2Bに示す認証用生体情報データベース171に書き込む。また、端末制御部18の本人認証部181は取得したユーザの癖のデータと求めたスコア値とを、図2Bの端末記憶部17に保存した認証用ユーザの癖データベース172に書き込む(ステップS4)。
端末制御部18の本人認証部181は、同じ日時における生体情報及びユーザの癖のデータにおけるスコア値を合計する(ステップS5)。端末制御部18の本人認証部181は、図3Dに示したスコア値テーブル173から合計値の項目に設定されたスコア値を取得する。端末制御部18の本人認証部181は、合計した生体情報及びユーザの癖のスコア値と、スコア値テーブル173から合計値の項目に設定されたスコア値とを比較する(ステップS6)。
端末制御部18の本人認証部181は、合計した生体情報及びユーザの癖のスコア値が、スコア値テーブル173から合計値の項目に設定されたスコア値(閾値)以上であれば(ステップS6;YES)、携帯端末1を使用しているユーザを正しいユーザとして認証する(ステップS7)。
続いて、端末制御部18の本人認証部181は、携帯端末1に予め登録されている生体情報の特徴量と取得した生体情報の特徴量との平均値を求める。端末制御部18の本人認証部181は、求めた平均値により携帯端末1に登録されている生体情報の特徴量を更新する。また、端末制御部18の本人認証部181は、携帯端末1に予め登録されているユーザの癖のデータにおける特徴量と、取得したユーザの癖のデータにおける特徴量との平均値を求める。端末制御部18の本人認証部181は、求めた平均値により携帯端末1に登録されているユーザの癖のデータにおける特徴量を更新する(ステップS8)。
また、合計した生体情報及びユーザの癖のスコア値が、スコア値テーブル173から合計値の項目に設定されたスコア値(閾値)以下であれば(ステップS6;NO)、端末制御部18の本人認証部181は、図2Bに示した表示部19にユーザが異なる旨のメッセージを表示させる(ステップS9)。端末制御部18の本人認証部181は、携帯端末1の操作が困難な状態に設定した上で、ステップS1へ戻る。この携帯端末1の操作が困難な状態は、例えば、図2Aに示した表示部19の画面をグレーアウトさせ、操作入力部14からの入力を受け付けないようにした状態である。なお、この認証処理プログラム170は、特許請求の範囲におけるユーザ認証手段の一例である。
このように、上述のユーザの認証方法を行うことにより、携帯端末1を使用するユーザが、ユーザ本人か否かを判別することができる。実施の形態1においては、上述のユーザの認証方法を行うことにより、携帯端末1を使用するユーザが、ユーザ本人と認証された場合、制御対象装置のリモコン装置として使用できるようにし、携帯端末1を使用するユーザが、ユーザ本人と認証されなかった場合、リモコン装置としての使用をできないようにする。
ユーザは、携帯端末1をリモコンとして使用する場合、表示装置24に表示された初期画面に含まれている「リモコン」アイコンを操作(タッチ)する。「リモコン」アイコンの操作に応答して、端末制御部18の操作メニュー表示部182は、図7に示す操作メニュー表示処理を開始する。操作メニュー表示処理を開始すると、端末制御部18の操作メニュー表示部182は、まず、図4を参照して説明した認証処理(ステップS11)を実行する。
図4に示した認証処理において、ユーザ本人であると認証されれば(ステップS12:Yes)、端末制御部18の操作メニュー表示部182は、制御対象テーブル176に記憶されている図5に示すリモコン対象リストに従って、図6に示す操作メニューを合成し、表示部19に表示させる(ステップS13)。一方、認証不成立の場合(ステップS12:No)、端末制御部18の操作メニュー表示部182は、図6に示す操作メニューを表示せず、正しいユーザでは無い旨のメッセージを表示する(ステップS14)。端末制御部18の操作メニュー表示部182は、操作が困難な状態に設定し、処理を終了する。
ステップS13の処理で図6に示す操作メニューが表示されると、ユーザは指示したい操作に対応するボタンを押下(タッチ)する。ボタンの押下に応答して、端末制御部18の操作指示部183は、図8に示す操作指示処理を開始する。操作指示処理を開始すると、端末制御部18の操作指示部183は、まず、図4を参照して説明した認証処理(ステップS21)を実行する。
認証処理において、ユーザ本人であると認証されれば(ステップS22:Yes)、端末制御部18の操作指示部183は、操作されたボタンに対応する指示信号を、近距離通信部10を介して送信する(ステップS23)。この指示信号は、送信元の携帯端末1の端末IDと、送信元の携帯端末1を認証するための認証情報と、操作対象の装置の装置IDと、操作の内容とを含む。
一方、認証不成立の場合(ステップS22:No)、端末制御部18の操作指示部183は、操作信号を送信せず、正しいユーザでは無い旨のメッセージを図2Bに示した表示部19に表示させる(ステップS24)。端末制御部18の操作指示部183は、操作が困難な状態に設定し、処理を終了する。
制御対象の車両5の装置制御部51は、ステップS23で送信された指示信号を、近距離通信部50を介して受信する。装置制御部51は、操作信号を受信すると、図9に示す装置制御処理を開始する。まず、受信した端末ID、認証情報に基づいて、送信元の携帯端末1が権限を有するか否を判別する端末認証処理を実行する(ステップS31)。
認証成功の場合(ステップS32:Yes)、受信した操作信号に含まれている装置IDで特定される装置に、操作内容で指定される制御を実行させ(ステップS33)、処理を終了する。一方、認証不成功の場合(ステップS32:No)、何もせずに処理を終了する。
このようにして、生体情報とユーザの操作の癖に基づいた認証処理を行うことにより、高い信頼度を有しつつ簡単な操作で装置を操作できるリモコン装置を提供できる。
(実施の形態2)
次に、リモコン装置をよりセキュアに使用できる実施の形態2について説明する。
まず、本実施の形態において、携帯端末1を、車両5のリモコンとして登録設定する利用者登録の処理について図10を参照して説明する。まず、携帯端末1の端末制御部18は、例えば、ユーザの操作に応答して、近距離通信部10を介して、車両5に、設定リクエストを送信する(ステップS101)。車両5の装置制御部51は、例えば、近距離通信部50を介して、設定リクエストを受信する。その携帯端末1をリモコンとして設定する場合、車両5の装置制御部51は、ユーザの操作に応答して、設定許可信号を送信する(ステップS501)。
以後、携帯端末1の端末制御部18と車両5の装置制御部51との間の通信が自動的に繰り返される。まず、携帯端末1の端末制御部18は、近距離通信部50を介して、設定許可信号を受信する。端末制御部18は、受信した設定許可信号に応答して、ID/PW記憶部174に記憶されている端末IDとPW(パスワード)を車両5宛に送信する(ステップS102)。装置制御部51は、送信された端末IDとPW(パスワード)とを記憶部52に格納する。
続いて、端末制御部18は、秘密鍵と公開鍵を生成する。端末制御部18は、秘密鍵を端末記憶部17のセキュアな領域に記憶する(ステップS103)。ここで、セキュアな領域とは、端末記憶部17の記憶領域のうち、ユーザ認証が成功するまではアクセスできない領域を意味する。
車両5の装置制御部51は、携帯端末1の正当性を確認するために、チャレンジデータを生成する。装置制御部51は、生成したチャレンジデータを携帯端末1に送信する(ステップS502)。携帯端末1の端末制御部18は、秘密鍵で受信したチャレンジデータにデジタル署名を付け、公開鍵とともに車両5に送信する(ステップS104)。
車両5の装置制御部51は、チャレンジデータとデジタル署名と公開鍵とを受信する。装置制御部51は、受信したチャレンジデータとデジタル署名とに基づいて、携帯端末1の正当性を検証する。検証成功の場合、装置制御部51は、携帯端末1の公開鍵を記憶部52に保存する(ステップS503)。車両5の装置制御部51は、例えば、乱数を発生させる等して、携帯端末1と車両5とに共通する共通鍵を生成し、記憶部52に保存する。さらに、車両5の装置制御部51は、生成した共通鍵を、携帯端末1の公開鍵で暗号化して、携帯端末1に送信する(ステップS504)。
携帯端末1の端末制御部18は、共通鍵を受信し、秘密鍵でこれを復号化する。携帯端末1の端末制御部18は、複合化した共通鍵を端末記憶部17のセキュアな領域に保存する(ステップS105)。携帯端末1の端末制御部18は、復号化した共通鍵で、自己の端末IDとリモコン制御プログラム175のアプリケーションIDとを暗号化する。端末制御部18は、暗号化した端末IDと、アプリケーションIDとに、共通鍵で生成したデジタル署名を付け、車両5に送信する(ステップS106)。車両5の装置制御部51は、携帯端末1の端末ID、デジタル署名等を受信する。装置制御部51は、受信したデジタル署名に基づいて、端末ID等の受信情報の正当性を検証する(ステップS505)。検証成功の場合、車両5の装置制御部51は、端末ID等の受信情報を、記憶部52に保存する(ステップS506)。
続いて、車両5の装置制御部51は、自己のデジタルキーのハッシュ値を求める。装置制御部51は、求めたハッシュ値を公開鍵で暗号化して、携帯端末1に送信する(ステップS507)。携帯端末1の端末制御部18は、暗号化されたデジタルキーのハッシュ値を受信し、秘密鍵でこれを復号する。端末制御部18は、復号したデジタルキーのハッシュ値を端末記憶部17のセキュアな領域に保存する(ステップS107)。以上の処理で、携帯端末1が車両5のリモコン装置として登録される。
次に、このようにして初期登録した携帯端末1を用いて車両5を制御する処理を、図11を参照して説明する。実施の形態1で説明したように、ユーザは、例えば、図6に例示した操作メニューを携帯端末1の表示部19に表示させる。ユーザは、操作したい内容に応じて、操作メニュー上のボタンにタッチする。図2Dに示した端末制御部18の操作指示部183は、これを操作要求処理として特定する(ステップS111)。
次に、図2Dに示した端末制御部18の本人認証部181は、ユーザの正当性を判別する認証処理を実行する(ステップS112)。認証処理の内容自体は、図4を参照して説明した処理と同一である。認証に成功すると、端末制御部18の操作指示部183は、タッチされたボタンに応じて、制御コマンドを生成し、車両5に送信する(ステップS113)。例えば、図6に示したドア装置のロックのボタンがタッチされていれば、端末制御部18の操作指示部183は、図5に示したリモコン対象リストを参照して、装置IDについて、ロックすることを指示する制御コマンドを生成し、車両5に送信する。
図2Eに示した装置制御部51は、制御コマンドを受信し、記憶部52に保存する。続いて、装置制御部51は、乱数を発生してチャレンジデータを生成し、これを共通鍵で暗号化して、携帯端末1に送信し、再度の認証を要求する(ステップS511)。
携帯端末1の端末制御部18は、チャレンジデータを受信して保存する。続いて、図2Dに示した端末制御部18の本人認証部181は、図4に示した認証処理を実行する(ステップS114)。これにより、ユーザの正当性を判別する。ここで、認証に成功すると、端末制御部18は、車両5の装置ID、自携帯端末1の端末ID及びリモコン制御プログラム175のアプリケーションID、受信したチャレンジデータのハッシュ値、登録時に受信したデジタルキーのハッシュ値、を共通鍵で暗号化し、これらを車両5に送信する(ステップS115)。
車両5の装置制御部51は、受信したデータを共通鍵で復号し、各データが正しいものか検証する(ステップS512)。検証成功の場合、装置制御部51は、先に受信していた制御コマンドに従って装置を制御する(ステップS513)。例えば、受信したコマンドが、「装置ID=D1について、ロックする」という内容であれば、図5に示したリモコン対象リストを参照し、ドア装置53のキーをロックする制御を行う。このようにして、登録した携帯端末1を用いて車両5を制御することが可能となる。
(実施の形態3)
実施の形態1及び2においては、1台の携帯端末1を1人のユーザしか使用することができない。しかし、この発明はこれに限定されず、種々の変形が可能である。以下、1台の携帯端末1を複数人で使用可能とする例を説明する。
この例では、図12に示すように、ユーザAとユーザBが携帯端末1をリモコン装置として共用する例を説明する。ただし、人数は任意である。ユーザAは、この携帯端末1の本来のユーザであり、生体情報及びユーザの癖により認証される。以下、主ユーザと呼ぶ。一方、ユーザBは、ユーザAにより使用が認められた者であり、以下、副ユーザと呼ぶ。また、主ユーザと副ユーザとを総称して、ユーザと呼ぶ。
副ユーザの生体情報は、予め、図2Bに示した携帯端末1の端末記憶部17に保存された認証用生体情報データベース171の副ユーザ用の領域に格納されている。ここでは、顔認証用の顔画像が格納されているものと仮定する。また、副ユーザに関しては、図13に示すスコア値テーブル137Aにおいて、ユーザの癖に関係する認証データが0に設定されている。これにより、生体認証が成功したときには、リモコン装置としての携帯端末1の操作が認められる。
さらに、図14に示すリモコン対象リストのように、副ユーザが操作できる装置には制限が設定されている。主ユーザには制限はない。なお、主ユーザの操作可能範囲と副ユーザの操作可能範囲は、同一でもよい。
次に、このように設定された場合の動作を図10及び図11を参照して説明する。まず、登録動作については、図10に示した処理と同一でよい。次に、リモコン装置として実際に使用する場合、図11の操作処理を実行する。まず、ユーザは、例えば、図6に例示した操作メニューを携帯端末1の表示部19に表示させる。ユーザは、操作したい内容に応じて、操作メニュー上のボタンにタッチする。図2Dに示した端末制御部18の操作指示部183は、これを操作要求処理として特定する(ステップS111)。
続いて、図2Dに示した端末制御部18の本人認証部181は、ユーザの正当性を判別する認証処理を実行する(ステップS112)。認証処理の内容自体は、図4を参照して説明した処理と同一である。ここで、携帯端末1を操作するユーザが主ユーザの場合、ユーザは、生体認証とユーザの癖の認証により正当なユーザと判別される。一方、携帯端末1を操作するユーザが副ユーザの場合、ユーザは、専用エリアに記憶されている生体情報を用いた認証により正当なユーザと判別される。これにより、携帯端末1の端末制御部18は、ステップS111でその時点の、携帯端末1を操作するユーザが主ユーザであるか、副ユーザであるかを判別することができる。
携帯端末1の端末制御部18は、ステップS113において、ステップS111で操作されたボタンが、操作している操作者に認められているか否かを、図14に示したリモコン対象リストから判別する。携帯端末1の端末制御部18は、操作可の場合のみ、制御コマンドを車両5に送信する。
例えば、副ユーザが図2Eに示したドア装置53のロックのリリース、イグニッション装置55のオン(イグニッションオン)の操作を指示したものとする。図14に示したリモコン対象リストには、副ユーザは、ドア装置53、イグニッション装置55を操作不可と設定されている。したがって、この場合、携帯端末1の端末制御部18は、制御コマンドを車両5に送信しない。
また、例えば、副ユーザが図2Eに示したエアコン装置56のオンの操作を指示したものとする。図14に示したリモコン対象リストには、副ユーザは、エアコン装置56を操作可と設定されている。したがって、この場合、携帯端末1の端末制御部18は、制御コマンドを車両5に送信する。
したがって、主ユーザは、リモコン装置を用いて全ての操作ができ、副ユーザは一部の限られた操作のみが可能となる。このため、主ユーザ、副ユーザにそれぞれ、異なるセキュリティレベルの設定が可能となる。
なお、携帯端末1では制御コマンドの送信/非送信を判断せず、制御対象装置が操作コマンドを実行/不実行を判別するようにしてもよい。この場合、例えば、ステップS113、ステップS115で送信する信号に主ユーザであるか、副ユーザであるかを示すユーザ識別情報を含める。装置制御部51は、ステップS513で、制御コマンドを実行する際に、ユーザ識別情報に基づいて、制御コマンドにより指示された操作がそのユーザに認められているか否かを判別し、認められている場合のみ、制御コマンドに沿って制御を行う。
このような構成とすれば、1台の携帯端末1を複数人で使用し、かつ、操作できる内容に差を設定することが可能となる。
(実施の形態4)
実施の形態1から3においては、1台の携帯端末1しか使用することができない。しかし、この発明はこれに限定されず、種々の変形が可能である。以下、複数台の携帯端末1を使用可能とする例を説明する。
この例では、図15に示すように、ユーザAとユーザBとがそれぞれ、携帯端末1Aおよび携帯端末1Bをリモコン装置として使用して、1台の車両5を操作する例を説明する。ただし、人数と端末数は任意である。また、全ての携帯端末1に実施の形態3の設定がしてあってもよいし、一部の携帯端末1に実施の形態3の設定がしてあってもよい。ここで、ユーザAを、以下、主ユーザと呼ぶ。携帯端末1Aは、主ユーザ用の携帯端末であり、以下、主端末1Aと呼ぶ。一方、ユーザBは、ユーザAにより使用が認められた者であり、以下、副ユーザと呼ぶ。副ユーザの使用する携帯端末を、以下、副端末1Bと呼ぶ。
なお、副端末1Bの端末記憶部17及び車両5の記憶部52には、図14に示したリモコン対象リストが保存されている。これにより、副端末1Bの操作に制限を設定することができる。
次に、このように設定された場合の動作を図11及び図17を参照して説明する。
(利用者登録処理)
まず、主端末1Aについては、利用者登録処理は、図10に示した処理と同一である。一方、副端末1Bについては、図17に示す、以下の利用者登録処理が必要となる。なお、以下の処理は、主端末1A及び副端末1Bの認証は成功していることを前提とする。また、主端末1Aは、副端末1Bで操作可能な範囲として、図14に示したリモコン対象リストに基づいて、図16に示す権限情報を設定しておく。
続いて、副端末1Bの利用者登録処理について、図17を参照しつつ、以下に説明する。主端末1Aの端末制御部18は、例えば、ユーザからの操作に応答して、副端末1Bに、車両5との共通鍵で暗号化されたデジタルキーのハッシュ値と図16に示す権限情報と、主端末1Aの署名とを副端末1Bに送信する(ステップS121)。車両5との共通鍵は、図10に示した利用者登録処理のステップS104で車両5から受信した共通鍵である。副端末1Bの端末制御部18は、暗号化されたデジタルキーのハッシュ値、主端末1Aの署名等を受信し、記憶部52に保存する。また、副端末1Bの端末制御部18は、端末記憶部17に保存された図14に示したリモコン対象リストを、主端末1Aから受信した権限情報に基づいて設定する。なお、ステップS121は、請求の範囲における権限通知手段の一例である。また、副端末1Bの端末制御部18は、請求の範囲における設定手段の一例である。
続いて、副端末1Bの端末制御部18は、秘密鍵と公開鍵のペアを生成し、端末記憶部17のセキュアな領域に記憶する(ステップS201)。副端末1Bの端末制御部18は、副端末1Bの認証を車両5にリクエストする(ステップS202)。
車両5の装置制御部51は、認証のリクエストに応答して、認証要求情報を副端末1Bに送信する(ステップS531)。副端末1Bの端末制御部18は、認証要求情報に応答して、ステップS201で生成した公開鍵と、主端末1Aから受信した権限情報と、副端末1Bの端末IDと、副端末1BのユーザIDと、認証要求に対する認証応答情報と、自端末の署名とを生成し、車両5に送信する(ステップS203)。
車両5の装置制御部51は、これらの情報を受信し、認証応答情報と副端末1Bの署名と主端末1Aの署名とを検証し、副端末1Bの正当性を検証する(ステップS532)。
検証成功、即ち、認証に成功した場合、車両5の装置制御部51は、副端末1Bの端末ID、アプリケーションID、ユーザ権限等の情報、副端末1Bの公開鍵を記憶部52に保存する(ステップS533)。車両5の装置制御部51は、副端末1Bの公開鍵で、共通鍵(主端末1Aと車両5の共通鍵)を暗号化して副端末1Bに送信する(ステップS534)。
副端末1Bの端末制御部18は、受信した共通鍵を秘密鍵で復号化し、端末記憶部17のセキュアな領域に保存する(ステップS204)。一方、車両5の装置制御部51は、副端末1Bの公開鍵で、副端末1Bの端末IDを暗号化して主端末1Aに送信する(ステップS535)。
主端末1Aの装置制御部51は、受信した副端末1Bの端末IDを復号化し、端末記憶部17のセキュアな記憶領域に保存する(ステップS122)。以上の処理で副端末1Bの登録が完了する。
副端末1Bの登録完了後、副端末1Bを用いて車両5を制御する手順は、図11に示した実施の形態3での機器操作処理と実質的に同一である。
実施の形態3と同様に、副端末1Bが認められていない装置に対する操作または認められていない操作を選択した場合には、その操作は、副端末1B或いは車両5に保存された権限情報に基づく判別により、無視される。副端末1Bの端末制御部18が、権限情報に基づいて、選択出来ないボタンを非表示或いは非選択可能表示とする等してもよい。
また、一度登録した副端末を削除する必要が生ずる場合がある。一度登録した副端末を削除する処理は、主端末1Aだけで可能とすることが望ましい。以下、一度登録した副端末を削除する処理である利用者登録削除処理について、図18を参照しつつ説明する。
主ユーザは、主端末1Aで認証を行った後、図2Bに示した主端末1Aの端末制御部18に、端末記憶部17のセキュアな領域から、削除対象の副端末(ここでは副端末1B)の端末IDを読み出させる。主端末1Aの端末制御部18は、読み出した端末IDを共通鍵で暗号化する(ステップS131)。
主端末1Aの端末制御部18は、自端末の認証のリクエストを車両5に送信する(ステップS132)。車両5の装置制御部51は、認証のリクエストのチャレンジデータを生成し、主端末1Aに送信する(ステップS541)。
主端末1Aの端末制御部18は、削除対象の副端末1Bの端末IDとアプリケーションIDとユーザ情報とを共通鍵で暗号化すると共に署名情報を作成し、車両5に送信する(ステップS133)。車両5の装置制御部51は、暗号化された端末ID、署名情報等を受信し、受信した署名情報に基づいて、受信した端末ID、ユーザ情報等の正当性を検証する(ステップS542)。
検証成功の場合、車両5の装置制御部51は、認証成功の旨を主端末1Aに通知する(ステップS543)。主端末1Aの端末制御部18は、削除する副端末1Bの端末IDを共通鍵で暗号化して、車両5に送信する(ステップS134)。車両5の装置制御部51は、暗号化された端末IDを受信し、受信した情報に基づき、副端末1Bの登録情報を削除する(ステップS544)。
続いて、車両5の装置制御部51は、新しい共通鍵を生成し、主端末1Aの公開鍵で暗号化する。車両5の装置制御部51は、暗号化された共通鍵を主端末1Aに送信する(ステップS545)。主端末1Aの端末制御部18は、セキュア領域に保存されている共通鍵を更新する(ステップS135)。
以上の処理により、車両5及び主端末1Aから副端末1Bの情報が削除され、副端末1Bはリモコン装置として使用できなくなる。
(実施の形態5)
実施の形態5に係る携帯端末1では、上記実施の形態1から4に係る携帯端末1、主端末1A、および副端末1Bで実行される認証処理とは異なり、携帯端末1を使用するユーザの生体情報による認証の結果がユーザ本人か否か明確に判断できないグレーな場合に、ユーザの癖のデータを用いて認証する。これにより、生体情報による認証で携帯端末1を使用するユーザがユーザ本人か否か明確に判断できないグレーな場合にも、ユーザの癖のデータを用いてユーザ本人を認証することができる。
実施の形態5に係る携帯端末1の構成を示すブロック図を、図19に示す。この携帯端末1は、端末記憶部17Aに、実施の形態5に係るユーザの認証処理を行うための認証処理プログラム170Aと、携帯端末1で取得したユーザの生体情報をまとめた認証用生体情報データベース171Aと、携帯端末1で取得したユーザの癖のデータをまとめた認証用ユーザの癖データベース172Aと、携帯端末1の傾き状態を記憶するための傾き情報テーブル177とを備える。
認証処理プログラム170Aは、携帯端末1で取得したユーザの生体情報及びユーザの癖のデータに基づいてユーザを認証する処理を行うプログラムである。認証用生体情報データベース171Aは、ユーザの生体情報に関する情報と認証に用いる認証値とを保存するためのデータベースである。認証用ユーザの癖データベース172Aは、携帯端末1を操作する際のユーザ特有の癖に関する情報、認証の合格条件等を保存するためのデータベースである。ここで、ユーザ特有の癖とは、ユーザが携帯端末1を操作する際の挙動、表示部19の画面とユーザの顔の距離、キーストローク、持ち方、携帯端末1が使用される位置、特定の通信網への接続回数、特定のアプリケーションの起動、操作等、ユーザ固有のものをいう。
傾き情報テーブル177は、傾き検出部13により検出された携帯端末1の傾き角度と、取得日時、取得のための待機時間を記憶するためのテーブルである。なお、認証用生体情報データベース171Aと、認証用ユーザの癖データベース172Aと、傾き情報テーブル177とについて、詳細は後述する。
図2Cに示した携帯端末1のプロセッサ21により、図19示した携帯端末1の端末記憶部17Aに記憶された認証処理プログラム170Aを実行することにより、端末制御部18に図20に示す情報処理ブロックが実現される。これにより、携帯端末1は、ユーザ本人の顔の画像、指紋、声紋等の生体情報と、ユーザが携帯端末1を操作する際の特有の挙動、操作状態等によるユーザの癖のデータとに基づいて、ユーザ本人を認証し、携帯端末1における各種機能を実行することができる。
情報処理ブロックは、近距離通信部10、撮影部11等から認証用の生体情報及びユーザの癖のデータを取得する認証用情報取得部185と、ユーザを本人か否か認証する認証判定部186と、表示部19に認証結果を表示させる認証結果表示部187と、認証判定部186からの指示により端末記憶部17Aに記憶された各種データベース及びテーブルの情報を更新する認証用情報更新部188とを備える。
認証用情報取得部185は、近距離通信部10、撮影部11等から認証用の生体情報及びユーザの癖を取得する。認証判定部186は、認証用情報取得部185から取得した認証用の生体情報及びユーザの癖と、端末記憶部17Aの各種データベースに記憶された認証値、合格条件等に基づいて、ユーザの認証を行う。認証結果表示部187は、認証判定部186からユーザの認証結果を受信し、表示部19に認証結果に応じてメッセージ、画像等を表示させる。認証用情報更新部188は、認証判定部186からの指示に基づいて、端末記憶部17Aに記憶された各種データベース、テーブルに記憶されたデータを更新する。
なお、認証用情報取得部185で取得される各生体情報は、請求の範囲における第1の生体情報、第2の生体情報の一例である。また、各生体情報によるユーザの認証は、請求の範囲における第1の認証手段、第2の認証手段の一例である。
次に、端末記憶部17Aに記憶される認証用生体情報データベース171Aと、認証用ユーザの癖データベース172Aと、傾き情報テーブル177との各テーブルの構成について、図21Aから図21Cを参照しつつ以下に説明する。まず、認証用生体情報データベース171Aのテーブルには、図21Aに示すように、顔、音声等の生体情報の種類と、ユーザ本人の生体情報である登録情報と、登録情報と図20に示した認証用情報取得部185で取得した生体情報とから求められる認証値の平均値が記憶されている。認証用生体情報データベース171Aのテーブルに記憶されている登録情報は、ユーザ本人の生体情報である。登録情報には、携帯端末1で認証処理を行う前に予め登録された情報であり、ユーザ本人を認証できた場合に更新される。登録情報には、例えば、生体情報の種類が顔であれば顔画像から求めた特徴量が、生体情報の種類が音声であれば音声データまたは音声データから求めた特徴量または音声データとその特徴量の両方が、生体情報の種類が虹彩であれば虹彩データが、生体情報の種類が指紋であれば指紋の画像から求めた特徴量が、それぞれ記憶されている。
本実施の形態において、生体情報の類似の判定は、認証値により行われる。認証値は、登録情報と、図20に示した認証用情報取得部185で取得した生体情報とを比較した結果を基に求められる値である。認証値は、登録情報と認証用情報取得部185で取得した生体情報とが類似する場合に0に近づき、類似しない場合に1に近づく。認証用生体情報データベース171Aには、認証値の平均値と、認証値を判定するための閾値である認証閾値と、認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた認証許容値とが含まれる。
まず、認証値の平均値は、登録情報と、認証用情報取得部185で取得した生体情報から求められた認証値との平均の値である。認証閾値は、登録情報と、認証用情報取得部185で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以下の場合、ユーザをユーザ本人と判定するための基準となる値である。認証閾値は、ユーザの認証の状況に合わせて変動する値であり、予め上限値が定めされている。上限値は、その値以上となった場合、ユーザをユーザ本人と生体情報のみで認証すべきではないとされる値である。例えば、認証閾値のデフォルト値を、登録情報と認証用情報取得部185で取得した生体情報とが類似する場合に近づく0と類似しない場合に近づく1との間の0.4であれば、認証閾値の上限値は0.45といった具合である。また、認証許容値は、登録情報と認証用情報取得部185で取得した生体情報とを比較し、比較した結果を基に求められた認証値が、この値以上の場合、ユーザをユーザ本人ではないと判定するための基準となる値である。認証許容値は、上述のとおり認証閾値にユーザがグレーな場合を示す認証許容範囲値を含めた値であるため、認証閾値と認証許容範囲値との変動に応じて、変動する値である。認証許容値には、予め上限値が定められており、これを最大認証許容値と呼ぶ。最大認証許容値は、この値以上の場合、ユーザを他人と判断すべきとされる値である。例えば、登録情報と認証用情報取得部185で取得した生体情報とが類似する場合に近づく0と類似しない場合に近づく1との中間の0.5である。
認証閾値と認証許容値との間の値を認証許容範囲値といい、ユーザがユーザ本人か否かグレーな場合を示す値である。認証値が認証許容範囲値内である場合、ユーザがユーザ本人か否かを生体情報だけで判断せず、ユーザ特有のユーザの癖が合格条件に合致している場合に、ユーザ本人と認証し、合致してない場合、ユーザ本人と認証しないものとする。ユーザの癖によるユーザの認証を、以下では、補助認証と称する。認証許容範囲値は、この範囲に収まる認証値であればユーザ本人として概ね考えれば良いと思われる値を、予め定めたものである。例えば、類似する場合に近づく0と、類似しない場合に近づく1との一割以下の0.08である。なお、認証閾値が上限値になった場合、最大認証許容値から認証閾値が上限値を引いた値になる。例えば、認証閾値の上限値が0.45、最大認証値が0.5であれば、認証許容範囲値は0.05といった具合である。したがって、認証閾値が上限値になっている場合、認証閾値が上限値になっていない場合よりも認証許容範囲値の値は小さな値をとる。
次に、認証用ユーザの癖データベース172Aのテーブルについて、図21Bを参照しつつ、以下に説明する。認証用ユーザの癖データベース172Aのテーブルには、通信接続、イベント実行等のユーザの癖の種類と、図20に示した認証用情報取得部185で取得した取得情報と、各ユーザの癖における最新状況と、各ユーザの癖の合格条件とが記憶されている。取得情報には、例えば、ユーザの癖の種類が通信接続であれば接続先のアドレス、SSID(Service Set Identifier)、BSSID(Basic Service Set Identifier)等が、ユーザの癖の種類がイベント実行であれば予めスケジュール帳に保存されたイベントの行われる場所の名称、住所等の場所情報が、ユーザの癖の種類が顔と端末装置との距離であれば距離が、デバイス接続であれば接続先のデバイスを示す名称、ID等が、それぞれ記憶されている。
各ユーザの癖における最新状況には、例えば、ユーザの癖の種類が通信接続であれば、取得情報に示された通信接続先にこれまで接続等された合計回数である。通信接続先への接続等の合計回数は、初期値が0であり、通信接続先への接続等により回数が加算されていく。また、ユーザの癖の種類がイベント実行であれば、取得情報に記憶されている場所とユーザの現在地との間の距離が記憶される。ユーザの癖の種類が顔と携帯端末1との距離であれば、それまでユーザがユーザ本人と認証された際に算出された顔と携帯端末1との距離の平均距離が記憶される。顔と携帯端末1との平均距離は、ユーザがユーザ本人と認証される度に更新される。なお、顔と携帯端末1との平均距離の初期値は、図21Aに示した生体情報を、携帯端末1でユーザ本人の認証を行う前に予め登録する際に求められた距離とする。
また、ユーザの癖の種類がデバイス接続であれば、取得情報に記憶された名称、ID等が示すデバイスに接続されているか否かが記憶されている。デバイス接続は、例えば、Bluetooth(登録商標)によりペア設定されたデバイスと携帯端末1との接続である。各ユーザの癖の合格条件は、各ユーザの癖の信頼性を担保できる条件を予め定めた条件である。
次に、傾き情報テーブル177のテーブルを、図21Cに示す。傾き情報テーブル177は、図20に示した傾き検出部13から取得された携帯端末1の傾きを示す角度と、その角度を取得した取得日時、傾きを検出するめのインターバルとなる待機時間とを記憶している。携帯端末1の傾きを示す角度は、待機時間が経過する毎に図20に示した認証用情報取得部185により傾き検出部13から取得され、更新される。また、その角度を更新する際、角度を取得した取得日時も更新される。
本実施の形態に係る携帯端末1は、電源投入後処理のイニシャライズ処理の実行が完了すると、もしくは、スリープ状態から復帰すると、認証が成功するまで各機能の操作を許さないロック状態に入る。このロック状態に入る、若しくは、各機能の操作を行う際に認証が要求されると、図19に示した携帯端末1の端末制御部18は、端末記憶部17Aに記憶された認証処理プログラム170Aを実行し、ユーザがユーザ本人か否かを判別する。認証処理プログラム170Aによるユーザの認証処理は、予め定められた認証間隔によりバックグラウンドで行われる。
このため、認証処理プログラム170Aによるユーザの認証処理を、実施の形態1から4における認証処理として用いる場合、主端末1A及び副端末1Bが起動している間、随時バックグランドで主ユーザ及び副ユーザを認証するようにしておき、その認証結果を図7から図11、図17、図18に示したフローチャートの各ステップで用いるようすればよい。端末制御部18により実行される認証処理プログラム170Aの処理について、図22A及び図22Bに示す認証処理のフローチャートを参照しつつ、以下に説明する。
まず、図22Aを参照する。本実施の形態においては、生体情報としてユーザの顔画像を用いるものとする。図20に示した認証用情報取得部185は、撮影部11に携帯端末1を操作しているユーザの顔写真を撮影させる。具体的には、認証用情報取得部185は、携帯端末1の正面に向き合っているユーザの顔写真を、インカメラ11Aで撮影させる。認証用情報取得部185は、撮影部11から撮影したユーザの顔写真を取得する(ステップS601)。認証用情報取得部185は、取得したユーザの顔写真がブレていないか判定する(ステップS602)。ユーザの顔写真がブレていた場合(ステップS602;NO)、認証用情報取得部185は、撮影部11にユーザの顔写真の撮影をリトライさせる(ステップS603)。また、ユーザの顔写真がブレていなかった場合(ステップS602;YES)、認証用情報取得部185は、撮影部11に撮影させたユーザの顔写真からユーザの顔が検出できるか判定する(ステップS604)。
ユーザの顔写真からユーザの顔が検出できない場合(ステップS604;NO)、認証用情報取得部185は、撮影部11にユーザの顔写真の撮影をリトライさせる(ステップS603)。なお、ユーザの顔写真からユーザの顔が検出できない場合、今操作しているユーザにこれ以上操作をさせないようにロックをかける、他の認証方法を利用する旨のメッセージを表示する等をしてもよい。また、ユーザの顔写真からユーザの顔が検出できた場合(ステップS604;YES)、認証用情報取得部185は、検出したユーザの顔の画像の特徴量を求める。認証用情報取得部185は、求めたユーザの顔の画像の特徴量を認証判定部186に送信する。
認証判定部186は、図19に示した端末記憶部17Aに記憶されている認証用生体情報データベース171Aを取得する。認証判定部186は、図21Aに示した認証用生体情報データベース171Aのテーブルから、生体情報の種類のうち「顔」に対応付けられた登録情報に記憶された顔画像の特徴量と、認証値の認証許容値及び認証閾値を取得する。認証判定部186は、認証用生体情報データベース171Aから取得した登録情報の顔画像の特徴量と、認証用情報取得部185から受信した顔画像の特徴量とを比較し、比較の結果を基に顔の認証値を求める。認証判定部186は、求めた顔の認証値が認証用生体情報データベース171Aから取得した認証閾値以上か判定する(ステップS605)。
求めた顔の認証値が認証閾値以上の場合(ステップS605;YES)、認証判定部186は、求めた顔の認証値が認証用生体情報データベース171Aから取得した認証許容値以下か判定する(ステップS606)。求めた顔の認証値が認証許容値以下の場合(ステップS606;YES)、携帯端末1を使用しているユーザがユーザ本人か否かグレーであるため、認証判定部186はユーザの癖による認証である補助認証を実行する。まず、認証判定部186は、認証用情報取得部185に近距離通信部10から現在接続している通信接続先を取得させる。認証判定部186は、認証用情報取得部185から、取得させた近距離通信部10の現在の通信接続先を受信する。
続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。認証判定部186は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。例えば、図21Bに示すように、「通信接続」の取得情報にはSSIDであるABC_WLANと123WLANとが記憶されている。このABC_WLANでは、接続した回数に31回、合格条件として接続回数が100回以上と記憶されている。また、123WLANでは、接続した回数に157回、合格条件として接続回数が100回以上と記憶されている。なお、以下では合格条件を満たす場合を信頼するものと呼び、合格条件を満たさない場合を信頼しないものと呼ぶ。
認証判定部186は、認証用情報取得部185から受信した近距離通信部10の現在の通信接続先と、認証用ユーザの癖データベース172Aから取得した取得情報とを比較し、現在の通信接続先が信頼する接続先か否か判定する(ステップS607)。ここで、例えば、近距離通信部10の現在の通信接続先としてSSIDのABC_WLANが取得されているものとする。認証用ユーザの癖データベース172Aに記憶されたユーザの癖の種類「通信接続」の取得情報におけるABC_WLANは、接続した回数が31回であり、合格条件の接続回数が100回以上である。このため、現在の通信接続先は信頼する通信接続先ではないため(ステップS607;YES)、信頼するイベントを実行しているか否かを判定する(ステップS608)。
認証判定部186は、認証用情報取得部185に操作入力部14から直前に実行したイベントの内容を取得させる。認証判定部186は、携帯端末1に備えられたカレンダーから現在の日時に予定があるか否かと、その予定が行われる場所の情報とを取得する。認証判定部186は、その日に予定が無かった場合、信頼するイベントの実行ではないものとし(ステップS608;YES)、顔と携帯端末1との距離を算出する(ステップS609)。また、その日に予定があった場合、認証判定部186は、認証用情報取得部185に位置検出部16から、現在の位置情報を取得させる。続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。
認証判定部186は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類のうち、「イベント実行」に対応つけられた取得情報と合格条件とを取得する。例えば、図21Bに示すように、「イベント実行」の取得情報にはイベントが行われる場所として「○×公園」及び「△●映画館」が記憶され、その両方の合格条件として「距離が100m以内」と記憶されているものとする。
ここで、例えば、携帯端末1に備えられたカレンダーに、現在の日時に行われるイベントの場所として「○×公園」が記憶されているものとする。認証判定部186は、認証用情報取得部185に位置検出部16から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「○×公園」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「○×公園」の位置情報との間の距離が113mとする。この場合、信頼するイベントの実行ではないものとし(ステップS608;YES)、顔と携帯端末1との距離を算出する(ステップS609)。ユーザの顔と携帯端末1との距離は、図1に示したインカメラ11Aで撮影した携帯端末1の正面に向き合うユーザの顔写真における、ユーザの顔の占める割合を基づいて算出する。
続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。認証判定部186は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類のうち「顔と端末装置との距離」に対応つけられた平均距離、合格条件を取得する。例えば、図21Bに示すように、「顔と端末装置との距離」の平均距離には262mm、合格条件に平均距離のプラスマイナス20mmと記憶されている。
認証判定部186は、ステップS509で算出したユーザの顔と携帯端末1との距離が、認証用ユーザの癖データベース172Aから取得した合格条件に設定された設定範囲内か否か判定する(ステップS610)。具体的には、認証用ユーザの癖データベース172Aから取得した平均距離は262mm、合格条件は、平均距離のプラスマイナス20mmであるので、242mmから282mmの範囲か否かを判定する。
ステップS509で算出したユーザの顔と携帯端末1との距離が、242mmから282mmの範囲である場合(ステップS610;YES)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。認証用情報更新部188に、図19に示した認証用生体情報データベース171A及び認証用ユーザの癖データベース172Aに記憶された各種データを更新させる(ステップS611)。
具体的には、認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの生体情報の種類「顔」に対応つけられた登録情報を、登録情報に記憶されていた顔画像の特徴量に認証判定部186が認証用情報取得部185から受信した顔画像の特徴量を加え、更新する。続いて、認証用情報更新部188は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルのユーザの癖の種類「通信接続」に対応つけられた最新状況に記憶されている回数に1を加え、更新する。また、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類「顔と端末装置との距離」に対応つけられた最新状況を、記憶されている平均距離とステップS609で算出された「顔と端末装置との距離」から求められた平均距離で更新する。
このように、認証用生体情報データベース171Aに記憶された生体情報、及び、認証用ユーザの癖データベース172Aに記憶されたユーザの癖を更新することにより、ユーザの生体情報及びユーザの癖の精度が向上する。このため、ユーザの認証の精度を向上させることができる。
また、認証判定部186により求められた顔の認証値が、認証値の認証閾値以上でない場合(ステップS605;NO)、認証判定部186は、認証用情報取得部185に近距離通信部10から現在接続している通信接続先を取得させる。認証判定部186は、認証用情報取得部185から、取得させた近距離通信部10の現在の通信接続先を受信する。続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。認証判定部186は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類のうち「通信接続」に対応つけられた取得情報、回数、合格条件を取得する。認証判定部186は、認証用情報取得部185から受信した近距離通信部10の現在の通信接続先と、認証用ユーザの癖データベース172Aから取得した取得情報とを比較し、現在の通信接続先が信頼する接続先か否か判定する(ステップS612)。
ここで、例えば、近距離通信部10の現在の通信接続先としてSSIDの123WLANが取得されているものとする。認証用ユーザの癖データベース172Aに記憶されたユーザの癖の種類「通信接続」の取得情報における123WLANは、接続した回数が156回であり、合格条件の接続回数が100回以上である。このため、現在の通信接続先は信頼する通信接続先であるため(ステップS612;YES)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。その後、認証判定部186は、認証間隔を現在の認証間隔よりも長くする(ステップS613)。これは、現在の通信接続先が信頼する通信接続先であれば、ユーザ本人は自宅、職場等の信頼する環境に居るものと考えられるためである。この場合、認証間隔を現在の認証間隔よりも長くして認証の頻度を下げ、必要最低限の回数、認証を行うようにすれば良い。
ここで、例えば、近距離通信部10の現在の通信接続先としてSSIDのABC_WLANが取得されているものとする。認証用ユーザの癖データベース172Aに記憶されたユーザの癖の種類「通信接続」の取得情報におけるABC_WLANは、接続した回数が31回であり、合格条件の接続回数が100回以上である。このため、現在の通信接続先は信頼する通信接続先ではないため(ステップS612;NO)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証せず、認証間隔を現在の認証間隔よりも長くしない。
ここで、ステップS607において、例えば、近距離通信部10の現在の通信接続先としてSSIDの123WLANが取得されているものとする。認証用ユーザの癖データベース172Aに記憶されたユーザの癖の種類「通信接続」の取得情報における123WLANは、接続した回数が156回であり、合格条件の接続回数が100回以上である。このため、現在の通信接続先は信頼する通信接続先であるため(ステップS607;NO)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。
また、ここで、ステップS608において、例えば、携帯端末1に備えられたカレンダーに、現在の日時に行われるイベントの場所として「△●映画館」が記憶されているものとする。認証判定部186は、認証用情報取得部185に位置検出部16から取得させた現在の位置情報と、現在の日時に行われるイベントの場所である「△●映画館」の位置情報とを比較する。例えば、現在の位置情報と、イベントの場所である「△●映画館」の位置情報との間の距離が72mとする。この場合、信頼するイベントの実行であるもとのし(ステップS608;NO)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。その後、認証判定部186は、認証間隔を現在の認証間隔よりも長くする(ステップS613)。
認証判定部186は、ユーザの顔と携帯端末1との距離を算出する(ステップS614)。続いて、認証判定部186は、図19に示した端末記憶部17Aから認証用ユーザの癖データベース172Aを取得する。認証判定部186は、ステップS614で算出したユーザの顔と携帯端末1との距離が、認証用ユーザの癖データベース172Aから取得した合格条件に設定された設定範囲内か否か判定する(ステップS615)。ステップS609で算出したユーザの顔と携帯端末1との距離が、設定範囲内である場合(ステップS615;YES)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人と認証する。認証判定部186は、認証用情報更新部188に、図19に示した認証用生体情報データベース171A及び認証用ユーザの癖データベース172Aに記憶された各種データを更新させる(ステップS611)。
具体的には、認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの生体情報の種類「顔」に対応つけられた登録情報を、登録情報に記憶されていた顔画像の特徴量にステップS605で認証判定部186が認証用情報取得部185から受信した顔画像の特徴量を加え、更新する。
続いて、認証用情報更新部188は、図21Bに示した認証用ユーザの癖データベース172Aのテーブルのユーザの癖の種類「通信接続」に対応つけられた、最新状況に記憶されている回数に1を加え、更新する。続いて、認証用情報更新部188は、認証用ユーザの癖データベース172Aのテーブルのユーザの癖の種類「イベント実行」に対応つけられた最新状況を、ステップS608;NOで求めたイベントの場所と携帯端末1との間の距離を書き込み、更新する。また、図21Bに示した認証用ユーザの癖データベース172Aのテーブルに記憶されているユーザの癖の種類「顔と端末装置との距離」に対応つけられた最新状況を、最新状況に記憶されている平均距離とステップS614で算出された「顔と端末装置との距離」から求められた平均距離で更新する。
ステップS614で算出したユーザの顔と携帯端末1との距離が、設定範囲内でない場合(ステップS615;NO)、認証判定部186は、認証用情報更新部188に、図19に示した認証用生体情報データベース171A及び認証用ユーザの癖データベース172Aに記憶された各種データを更新させない。
また、認証判定部186により求められた顔の認証値が、認証値の認証許容値以下でない場合(ステップS606;NO)、及び、ステップS610で顔と端末装置との距離が設定範囲内でなかった場合(ステップS610;NO)、認証判定部186は、携帯端末1を使用しているユーザをユーザ本人ではないと判断する。認証判定部186は、図20に示した認証結果表示部187に、表示部19へ認証できなかった旨を表示させる。続いて、認証判定部186は、携帯端末1に備えられている既存の生体認証手段を呼び出す。ここでは、既存の生体認証手段として指紋認証を呼び出すものとする。認証判定部186は、指紋認証を実行する(ステップS616)。
指紋認証ができた場合(ステップS617;YES)、認証判定部186からの指示により、認証用情報取得部185は、撮影部11に携帯端末1を操作しているユーザの顔写真を撮影させる。認証用情報取得部185は、撮影部11から撮影したユーザの顔写真の画像を取得し、ユーザの顔の画像の特徴量を求める。認証用情報取得部185は、認証判定部186に求めたユーザの顔の画像の特徴量を送信する。認証判定部186は、受信したユーザの顔の画像の特徴量を図20に示した認証用情報更新部188に送信する。認証用情報更新部188は、受信したユーザの顔の画像の特徴量を、図21Aに示した認証用生体情報データベース171Aのテーブルの生体情報の種類「顔」に対応つけられた登録情報に記憶されていた顔画像の特徴量に加え、更新する(ステップS618)。認証判定部186は、ステップS601へ戻り、ステップS601以降のステップを実行する。
また、指紋認証ができなかった場合(ステップS617;NO)、認証判定部186は、図20に示した認証結果表示部187に、表示部19へ認証できなかった旨を表示させる。続いて、認証判定部186は、図20に示した認証結果表示部187にログイン画面を表示部19に表示させる(ステップS619)。
ここで、図22Bに移動する。認証判定部186は、生体認証及び補助認証が予め定めされた設定回数成功したか否かを判定する(ステップS620)。この設定回数は、例えば、連続で10回、携帯端末1が起動してから合計で20回等、任意の回数である。生体認証及び補助認証が予め定めされた設定回数成功した場合(ステップS620;YES)、認証判定部186は、設定回数分の認証で求められた顔の認証値の平均値を求める(ステップS621)。具体的には、認証判定部186は、図19に示した認証用生体情報データベース171Aを、端末記憶部17Aから取得する。認証判定部186は、図21Aに示した認証用生体情報データベース171Aのテーブルから、生体情報の種類のうち「顔」に対応付けられた認証値の平均値を取得する。認証判定部186は、ステップS605で求めた顔の認証値と、認証用生体情報データベース171Aから取得した認証値の平均値とを足して2で割り、顔の認証値の平均値を算出する。また、生体認証及び補助認証が予め定めされた設定回数成功しなかった場合(ステップS620;NO)、ステップS621からステップS623の処理をスキップし、ステップS624へ進む。
認証判定部186は、ステップS621で求めた顔の認証値の平均値を、認証用情報更新部188に送信する。認証用情報更新部188は、受信した顔の認証値の平均値と、予め設定された認証閾値の上限値とを比較する。顔の認証値の平均値が予め設定された認証閾値の上限値以上である場合、認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、認証閾値の上限値を書き込み、更新する。また、顔の認証値の平均値が予め設定された認証閾値の上限値以下である場合、認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの、生体情報の種類のうち「顔」に対応付けられた認証閾値に、ステップS621で求めた顔の認証値の平均値を書き込み、更新する(ステップS622)。
続いて、認証用情報更新部188は、認証許容値を更新する(ステップS623)。具体的には、ステップS621で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以上である場合、認証用情報更新部188は、予め設定された最大認証許容値を認証許容値とする。また、ステップS621で求めた顔の認証値の平均値が、予め設定された認証閾値の上限値以下である場合、ステップS621で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以下であれば、その足した値を認証許容値とする。ステップS621で求めた顔の認証値の平均値とデフォルトの認証許容範囲値とを足した値が最大認証許容値以上であれば、最大認証許容値を認証許容値とする。認証用情報更新部188は、図19に示した認証用生体情報データベース171Aを、端末記憶部17Aから取得する。認証用情報更新部188は、図21Aに示した認証用生体情報データベース171Aのテーブルの、生体情報の種類のうち「顔」に対応付けられた認証許容値に、求めた認証許容値を書き込み、更新する。
図20に示した認証用情報取得部185は、傾き検出部13から携帯端末1の傾きの角度を取得する。続いて、認証用情報取得部185は、図示しないタイマから現在の日時情報を取得する(ステップS624)。認証用情報取得部185は、取得した携帯端末1の傾きの角度と現在の日時情報とを認証判定部186に送信する。認証判定部186は、受信した携帯端末1の傾きの角度と現在の日時情報とを、認証用情報更新部188に送信する。認証用情報更新部188は、図19に示した端末記憶部17Aに記憶された傾き情報テーブル177に、受信した携帯端末1の傾きの角度と現在の日時情報とを書き込み、保存する(ステップS625)。
認証判定部186は、図21Cに示した傾き情報テーブル177のテーブルに記憶されている待機時間を取得する。認証判定部186は、認証用情報取得部185に取得した待機時間を送信する。認証用情報取得部185は、受信した待機時間の間、近距離通信部10、撮影部11等からのデータの取得を待機する(ステップS626)。待機時間が終了すると、認証用情報取得部185は、傾き検出部13から携帯端末1の傾きの角度を取得する。続いて、認証用情報取得部185は、図示しないタイマから現在の日時情報を取得する(ステップS627)。認証用情報取得部185は、取得した携帯端末1の傾きの角度と現在の日時情報とを認証判定部186に送信する。
認証判定部186は、図21Cに示した傾き情報テーブル177のテーブルに記憶されている携帯端末1の角度を取得する。認証判定部186は、認証用情報取得部185から受信した携帯端末1の傾きの角度と、傾き情報テーブル177から取得した携帯端末1の角度とを比較し、角度が変化してないか否かを判定する(ステップS628)。携帯端末1の角度の変化が、予め定められた設定値の角度、例えば、30度以上の場合(ステップS628;NO)、認証判定部186は、ユーザにより携帯端末1が動かされ何某かの操作が行われたものと判断し、図22Aに示したステップS601に戻る。その後、認証判定部186は、ステップS601以降の処理を実行する。
また、携帯端末1の角度の変化が、予め定められた設定値の角度以下の場合(ステップS628;YES)、認証判定部186は、ユーザにより携帯端末1が動かされていないものと判断する。続いて、認証判定部186は、ユーザを認証するタイミングになったか否かを判定する(ステップS629)。ユーザを認証するタイミングは、予め設定された認証間隔の時間が経過したタイミングである。ユーザを認証するタイミングになっている場合(ステップS629;YES)、認証判定部186は、図22Aに示したステップS601に戻る。その後、認証判定部186は、ステップS601以降の処理を実行する。ユーザを認証するタイミングになっていない場合(ステップS629;NO)、認証判定部186はステップS625に戻る。認証判定部186は、ステップS625からステップS629までの処理を実行する。
なお、上記の実施の形態において、生体情報から求められた認証値と認証閾値とが同じ値となった場合には、生体情報から求められた認証値が認証閾値以下、または、生体情報から求められた認証値が認証閾値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。また、生体情報から求められた認証値と認証許容値とが同じ値となった場合には、生体情報から求められた認証値が認証許容値以下、または、生体情報から求められた認証値が認証許容値以上の、どちらの場合として、認証が成功したか否かを判定してもよい。
以上の通り、上記実施の形態5に係る携帯端末1で実行される認証処理は、携帯端末1を使用するユーザの生体情報による認証の結果がユーザ本人か否か明確に判断できないグレーな場合に、ユーザの癖のデータを用いて認証する。これにより、生体情報による認証で携帯端末1を使用するユーザがユーザ本人か否か明確に判断できないグレーな場合にも、ユーザの癖のデータを用いてユーザ本人を認証することができる。また、携帯端末1において行われるユーザの認証処理は、携帯端末1の稼働中、バックグラウンドで実行されるとともに、ユーザの生体情報とユーザの癖とを更新していくことにより、認証の制度を向上させることができる。これにより、使用者の操作負担を軽減しつつ、セキュリティを確保することができる。
(変形例1)
上記の実施の形態1から5において、理解を容易にするため、制御対象装置を車両5として説明した。しかしながら、制御対象装置は車両5に限らず、例えば、各種家電、スマートホーム、PC(Personal Computer)、ロボット等、いずれの装置でもよい。
(変形例2)
上記の実施の形態1から5において、図3Dおよび図13に示したスコア値を求めるための、携帯端末1に登録された生体情報及びユーザの癖のデータは、ユーザを認証するごとに更新され、精度を高めるようにしてもよい。また、図3Dに示したスコア値テーブル173および図13に示したスコア値テーブル173Aのスコア値の項目に設定されている値は、ユーザが適宜設定できるようにしてもよい。
(変形例3)
上記の実施の形態1から5では、ユーザの認証処理を図2Bに示した認証処理プログラム170または図19に示した認証処理プログラム170Aを実行することにより実現するものとした。この認証処理プログラム170または認証処理プログラム170Aで行われる各ステップの全部または一部を、ASIC(Application Specific Integrated Circuit)、システムLSI(Large-scale Integration)等の半導体チップ、各種回路素子により構成される回路等により実現するようにしてもよい。
なお、上記の実施の形態1から5では、保存する、登録する、記憶する、格納するとの語が用いられているが、これらは、同義の語として用いられているものとする。
また、本発明の実施の形態1から5では、主端末1A及び副端末1Bは、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、主端末1A及び副端末1Bにおける各機能を実現するためのプログラムを、コンピュータが読み取り可能なCD-ROM(Compact Disc Read Only Memory)、DVD-ROM(Digital Versatile Disc Read Only Memory)などの記録媒体に格納して配布し、このプログラムをコンピュータにインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。そして、各機能をOS(Operating System)とアプリケーションとの分担、またはOSとアプリケーションとの協同により実現する場合には、アプリケーションのみを記録媒体に格納してもよい。
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この開示を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして請求の範囲内及びそれと同等の開示の意義の範囲内で施される様々な変形が、この開示の範囲内とみなされる。
本出願は、2019年4月26日に出願された日本国特許出願特願2019-086866号に基づく。本明細書中に日本国特許出願特願2019-086866号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。