JP7445207B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及びプログラムに関する。

特許文献１には、運転者の視界に入る各種の対象物と、運転者の顔向き又は視線方向との関係に基づいて運転者の動作又は状態を判定し、その判定結果に応じた制御処理を車載システムに実行させる監視装置が開示されている。当該監視装置は、例えば、運転者の顔向き又は視線方向が対象物に対して所定範囲内にある場合に、運転者は対象物を注視しているものと判定する。

国際公開第２００７／１０５７９２号

特許文献１に例示されている監視装置は、運転者が対象物を注視しているか否かを判定するために、検出した顔向き又は視線方向の検出値をそのまま用いている。しかし、顔向き及び視線方向の検出値には、個人差がある。このような場合には、判定精度が低くなる可能性があった。

そこで、本発明は、上述の問題を解決できる情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

本発明の一つの観点によれば、対象者の顔向きを検出する顔向き検出手段と、前記対象者の視線方向を検出する視線方向検出手段と、前記顔向きの時系列データにおける第１標準偏差と、前記視線方向の時系列データにおける第２標準偏差とを算出し、前記第１標準偏差と前記第２標準偏差との一致度に基づいて、前記対象者に操作対象物に対する操作の意思があるか否かを判定する操作判定手段と、を備える情報処理装置が提供される。

本発明の他の観点によれば、対象者の顔向きを検出するステップと、前記対象者の視線方向を検出するステップと、前記顔向きの時系列データにおける第１標準偏差と、前記視線方向の時系列データにおける第２標準偏差とを算出し、前記第１標準偏差と前記第２標準偏差との一致度に基づいて、前記対象者に操作対象物に対する操作の意思があるか否かを判定するステップと、を備える情報処理方法が提供される。

本発明のさらに他の観点によれば、コンピュータに、対象者の顔向きを検出するステップと、前記対象者の視線方向を検出するステップと、前記顔向きの時系列データにおける第１標準偏差と、前記視線方向の時系列データにおける第２標準偏差とを算出し、前記第１標準偏差と前記第２標準偏差との一致度に基づいて、前記対象者に操作対象物に対する操作の意思があるか否かを判定するステップと、を実行させるためのプログラムが提供される。

第１実施形態における車両構造の一例を示す外観図である。 第１実施形態における車載システムの機能の一例を示す機能ブロック図である。 第１実施形態における認証情報記憶部が記憶する情報の一例を示す図である。 第１実施形態における車載システムのハードウェア構成の一例を示すブロック図である。 第１実施形態における車載システムの処理の一例を示すフローチャートである。 第１実施形態における対象者の操作意思の判定方法を説明する図である。 第１実施形態における対象者の操作意思の判定方法を説明する図である。 第２実施形態における車載システムの処理の一例を示すフローチャートである。 第３実施形態における車載システムの機能の一例を示す機能ブロック図である。 第３実施形態における車載システムの処理の一例を示すフローチャートである。 第４実施形態における車載システムの処理の一例を示すフローチャートである。 第５実施形態における情報処理装置の構成を示すブロック図である。 変形実施形態における車両構造の一例を示す外観図である。

以下、図面を参照して、本発明の例示的な実施形態を説明する。図面において同様の要素又は対応する要素には同一の符号を付し、その説明を省略又は簡略化することがある。

［第１実施形態］
図１は、本実施形態における車両構造の一例を示す外観図である。図１では、車両１の本体の右側面に、カメラ２とＬＥＤ３が鉛直方向に並べて設けられている。なお、図示されていない左側面にも同様にカメラ２とＬＥＤ３が設けられているものとする。カメラ２及びＬＥＤ３の設置数は、任意である。

カメラ２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを備えたデジタルカメラ等である。カメラ２は、後述する車載システム１０に通信ケーブル（不図示）を介して接続されており、撮影した撮影画像を車載システム１０に出力する。カメラ２の種類は、撮影対象、撮影時間及び使用環境に応じて適宜選択され得る。

ＬＥＤ３は、車載システム１０における処理の実行状態又は処理結果を、発光の有無又は色によって示す発光装置である。

図２は、本実施形態における車載システム１０の機能の一例を示す機能ブロック図である。車載システム１０は、ＥＣＵ（Engine Control Unit）、及びＥＣＵと連携して車両１内の各機器を制御する複数のコントローラを含むコントロールユニットである。車載システム１０の機能を実現する構成要素は、車両１に直接的に設けられなくてもよい。具体的には、車載システム１０の機能は、ネットワーク上のサーバにおいて実現されてもよい。この場合、車両１のカメラ２及びＬＥＤ３が、無線通信ネットワークを介して、ネットワーク上のサーバと常時接続される。

図２に示すように、車載システム１０は、画像取得部１１、認証部１２、認証情報記憶部１３、顔向き検出部１４、視線方向検出部１５、操作判定部１６、制御部１７、認証情報登録部１８を備える。

画像取得部１１は、車両１に設けられたカメラ２において撮影された撮影画像を取得する。画像取得部１１は、撮影画像を解析し、撮影画像内に含まれる人物の顔画像を検出する。当該人物は、後述する認証処理及び判定処理の対象となるため、以下では「対象者」という。図１の場合には、人物Ｐが対象者である。

認証部１２は、撮影画像から取得された対象者の顔画像と登録者の登録顔画像との顔照合によって対象者に対する認証処理を実行する。

認証情報記憶部１３は、車両１を操作する権限を有する登録者の認証情報を記憶する。認証情報は、ユーザの入力操作に基づいて、後述する認証情報登録部１８により登録される。

図３は、本実施形態における認証情報記憶部１３が記憶する情報の一例を示す図である。ここでは、認証情報のデータ項目として、登録者の顔画像、登録日時、ユーザ区分、閾値、操作権限が挙げられている。登録日時は、認証情報を登録した日時である。ユーザ区分は、ユーザを分類する情報である。

図３では、ユーザ区分の具体例として、“車両所有者”、“家族”、“ゲスト”の３つが挙げられている。閾値は、対象者に車両１の操作を許可するか否かを判定する判定処理で用いられる値である。本実施形態における判定処理で用いられる閾値は、対象者に応じて予め設定される。操作権限は、ユーザが車両１を操作できる権限のレベルを示す。閾値の詳細を、図６及び図７を参照して後述する。

顔向き検出部１４は、画像取得部１１において取得された撮影画像に含まれる対象者の顔向きを検出する。一方、視線方向検出部１５は、画像取得部１１において取得された撮影画像に含まれる対象者の視線方向を検出する。本実施形態では、顔向き検出部１４及び視線方向検出部１５は、それぞれ別々に設けられているが、一つに統合してもよい（後述する第５実施形態の方向検出部１００Ａ）。

本実施形態では、“顔向き”は、カメラ２の光軸の軸方向を０°とした場合において顔の正面方向と光軸とのなす角度とする。同様に、“視線方向”は、対象者の眼球の光軸方向と、カメラ２の光軸方向とのなす角度とする。なお、視線方向は、顔方向と、顔における黒目の位置関係とに基づいて検出することもできる。顔方向及び視線方向は、公知のアルゴリズムにより算出し得る。

操作判定部１６は、顔向きに関するばらつき（以下「第１ばらつき」という。）と視線方向に関するばらつき（以下、「第２ばらつき」という。）との一致度に基づいて判定処理を実行する。具体的には、操作判定部１６は、所定時間内における第１ばらつきと第２ばらつきとの差分が予め設定された閾値以下である場合に、車両１の操作を許可する判定結果を出力する。

以下、操作判定部１６における、ばらつきの一致度の計算方法の具体例を説明する。なお、計算方法は、顔方向に関する第１ばらつきと視線方向に関する第２ばらつきとの一致度を算出できるものであればよく、計算方法は以下の方法Ａ・Ｂのみに限られない。

先ず、標準偏差を用いて時系列データのばらつきを求める方法Ａについて説明する。方法Ａの手順は以下の通りである。
［方法Ａ］
Ａ１：顔向きと、視線方向のそれぞれの時系列データに対し標準偏差を計算する。
Ａ２：Ａ１で計算された両者の標準偏差（第１ばらつき及び第２ばらつき）の差分を計算する。
Ａ３：Ａ２で計算された第１ばらつきと第２ばらつきとの差分と、予め設定した閾値とを比較する。
Ａ４：差分が閾値以下であった場合は車両１の操作を実行する。

また、操作判定部１６は、所定時間内における顔向きと視線方向との相関が予め設定された閾値以上である場合に、車両１の操作を許可する判定結果を出力するように構成してもよい。方法Ｂの手順は以下の通りである。
［方法Ｂ］
Ｂ１：顔向きと、視線方向のそれぞれの時系列データに対し標準偏差を計算する。
Ｂ２：顔向き、視線方向の標準偏差と平均値を求め、顔向き及び視線方向の共分散を計算する。
Ｂ３：Ｂ１及びＢ２で計算された標準偏差と共分散から相関係数を計算し、予め設定された閾値と比較する。
Ｂ４：相関係数が閾値以上であった場合は車両１の操作を実行する。

例えば、時刻又は天候による日光の明るさ、街灯などの照明光の有無、あるいは、対象者が日陰にいるか日向にいるかなどの環境条件によって、顔向き及び視線方向の検出精度が変化する可能性がある。しかし、両者の標準偏差（第１ばらつき及び第２ばらつき）が変化する傾向は類似すると考えられる。すなわち、一方が大きく（小さく）なれば、他方も大きく（小さく）なる。そのため、上記のような環境条件においても、第１ばらつきと第２ばらつきとの差分は、ある程度の範囲内で一定に維持される。同様に、顔向きと視線方向との相関も、ある程度の範囲内で一定に維持される。よって、閾値が適切である限り、上記のような環境条件による顔向き及び視線方向の検出精度の変化にもかかわらず、操作判定部１６は、対象者の操作意思の有無を適切に判定することができる。

制御部１７は、認証部１２における認証結果及び操作判定部１６における判定結果に基づいて車両１を制御する。本実施形態では、制御部１７は、車両１に設けられたドア装置における施錠状態を制御する。しかし、制御部１７が実行する車両１の制御の内容は特に限定されない。制御部１７は、車両１の照明を点灯させてもよい。あるいは、制御部１７は、車両１のエンジンを起動してもよいし、車両１を対象者の近傍まで自律走行させてもよい。さらに、制御部１７は、判定処理の実行状態又は判定結果に基づいて、車両１に設けられたＬＥＤ（発光装置）３における発光状態（例えば、色又は点滅パターン）も制御する。これは対象者に判定処理の進行を知らせるためである。ＬＥＤ３の制御の具体例を後述する。

認証情報登録部１８は、車両所有者等のユーザから入力された認証情報を認証情報記憶部１３に登録する。認証情報は、様々なタイミングで登録され得る。例えばユーザが車両１の販売店において購入手続きを行う際に、顔画像を撮影することで登録できる。このとき、閾値は、ユーザが直視している状態で撮影した時系列の登録用画像に基づいて、ユーザごとに自動的に算出すると好適である。なお、認証情報の登録処理は、認証された人物が車載システム１０から任意のタイミングで行ってもよい。

例えば、ユーザは、スマートフォンやタブレットなどの端末のカメラを使って、顔画像を撮影し、当該端末にインストールされたアプリケーションを使って、認証情報を生成してもよい。この場合、アプリケーションに入力された認証情報が、モバイルネットワーク等を介して、車載システム１０へ送信される。あるいは、ユーザは、車両１に搭載されたカメラ２を使って、顔画像を撮影してもよい。この場合、カメラ２から車載システム１０へ送信された顔画像のデータに基づいて、認証情報が生成及び登録される。

図４は、本実施形態における車載システム１０のハードウェア構成の一例を示すブロック図である。図４に示すように、車載システム１０は、演算、制御及び記憶を行うコンピュータとして、ＣＰＵ（Central Processing Unit）１０１と、ＲＡＭ（Random Access Memory）１０２と、ＲＯＭ（Read Only Memory）１０３と、ストレージ１０４と、通信Ｉ／Ｆ（Interface）１０５と、表示装置１０６と、入力装置１０７とを備える。各装置は、バス、配線、駆動装置等を介して相互に接続される。

ＣＰＵ１０１は、ＲＯＭ１０３又はストレージ１０４に記憶されたプログラムに従って所定の動作を行うとともに、車載システム１０の各部を制御する機能を有するプロセッサである。ＲＡＭ１０２は、揮発性記憶媒体から構成され、ＣＰＵ１０１の動作に必要な一時的なメモリ領域を提供する。

ＲＯＭ１０３は、不揮発性記憶媒体から構成され、車載システム１０の動作に用いられるプログラム等の必要な情報を記憶する。ストレージ１０４は、不揮発性記憶媒体から構成され、車載システム１０の動作用プログラムやデータを記憶する。ストレージ１０４は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）により構成される。

通信Ｉ／Ｆ１０５は、イーサネット（登録商標）、Ｗｉ－Ｆｉ（登録商標）、４Ｇ等の規格に基づく通信インターフェースであり、他の装置との通信を行うためのモジュールである。

表示装置１０６は、動画、静止画、文字等を表示する液晶ディスプレイ、ＯＬＥＤ（Organic Light Emitting Diode）ディスプレイ等であって、ユーザへの情報の提示に用いられる。

入力装置１０７は、キーボード、ポインティングデバイス、ボタン等であって、ユーザによる操作を受け付ける。表示装置１０６及び入力装置１０７は、タッチパネルとして一体に形成されていてもよい。

なお、図４に示されているハードウェア構成は一例であり、これら以外の装置が追加されていてもよく、一部の装置が設けられていなくてもよい。また、一部の装置が同様の機能を有する別の装置に置換されていてもよい。また、本実施形態の一部の機能がネットワークを介して他の装置により提供されてもよく、本実施形態の機能が複数の装置に分散されて実現されてもよい。このように、図４に示されているハードウェア構成は適宜変更可能である。

以下、図５乃至図７を参照しながら、本実施形態における車載システム１０の動作について説明する。なお、対象者には、「車両を操作する場合にはカメラをＸ秒間見つめること」等の操作方法を予め通知しておくものとする。

図５は、本実施形態における車載システム１０の処理の一例を示すフローチャートである。この処理は、カメラ２の撮影処理中に繰り返し実行される。

ステップＳ１０１において、車載システム１０（画像取得部１１）は、カメラ２により撮影された、車両１の外部の撮影画像を取得する。

ステップＳ１０２において、車載システム１０（画像取得部１１）は、撮影画像を解析し、撮影画像内に人物の顔を検出したか否かを判定する。ここで、車載システム１０が、撮影画像内に人物の顔を検出したと判定した場合（ステップＳ１０２：ＹＥＳ）には、処理はステップＳ１０３へ移行する。

これに対し、車載システム１０（画像取得部１１）が、撮影画像内に人物の顔を検出しないと判定した場合（ステップＳ１０２：ＮＯ）には、処理はステップＳ１０１に戻る。

ステップＳ１０３において、車載システム１０（画像取得部１１）は、撮影画像内から人物の顔画像を取得する。次に、車載システム１０（認証部１２）は、顔画像から顔特徴量を算出すると（ステップＳ１０４）、顔特徴量に基づいて認証情報記憶部１３を参照して顔認証を実行する（ステップＳ１０５）。その後、処理はステップＳ１０６へ移行する。

ステップＳ１０６において、車載システム１０（認証部１２）は、対象者の認証に成功したか否かを判定する。ここで、車載システム１０が対象者の認証に成功したと判定した場合（ステップＳ１０６：ＹＥＳ）には、処理はステップＳ１０７へ移行する。

これに対し、車載システム１０（認証部１２）が対象者の認証に失敗したと判定した場合（ステップＳ１０６：ＮＯ）には、処理はステップＳ１０１へ戻る。

ステップＳ１０７において、車載システム１０（顔向き検出部１４及び視線方向検出部１５）は、対象者の顔向き及び視線方向を算出する。このとき、制御部１７は、ＬＥＤ３を第１の発光状態にする。第１の発光状態は、操作意思判定中であることを示す。

ステップＳ１０８において、車載システム１０（操作判定部１６）は、顔向き及び視線方向が閾値以内であるか否かを判定する。ここで、車載システム１０（操作判定部１６）が、顔向き及び視線方向が閾値以内であると判定した場合（ステップＳ１０８：ＹＥＳ）には、処理はステップＳ１０９へ移行する。

これに対し、車載システム１０（操作判定部１６）が、顔向き及び視線方向が閾値以内ではないと判定した場合（ステップＳ１０８：ＮＯ）には、処理はステップＳ１０７へ戻り、認証された対象者に対する処理が繰り返される。ステップＳ１０８の処理により、よそ見をしている人物は、処理対象から除かれる。

ステップＳ１０９において、車載システム１０（操作判定部１６）は、単位時間当たりの顔向き及び視線方向を蓄積する。

ステップＳ１１０において、車載システム１０（操作判定部１６）は、顔向き及び視線方向の各々のばらつきを算出する。

ステップＳ１１１において、車載システム１０（操作判定部１６）は、顔向き及び視線方向のばらつきの一致度を算出する。

ステップＳ１１２において、車載システム１０（操作判定部１６）は、一致度は閾値以内であるか否かを判定する。なお、ステップＳ１１２における閾値は、上述したステップＳ１０８における閾値とは異なる。ステップＳ１０８における閾値は、顔方向及び視線方向がそれぞれ一定の範囲内に収まっているが否かを判定するための値である。また、ステップＳ１０８における閾値は、顔方向及び視線方向のそれぞれについて予め設定される。一方、ステップＳ１１２における閾値は、顔方向及び視線方向のばらつきの一致度が一定の範囲内に収まっているか否かを判定するための値である。各閾値は、対象者に応じて予め設定される。

ここで、車載システム１０（操作判定部１６）が、一致度は閾値以内であると判定した場合（ステップＳ１１２：ＹＥＳ）には、処理はステップＳ１１３へ移行する。すなわち、車載システム１０は、顔向きと視線方向の時系列でのばらつきの一致度が閾値以内である場合には、対象者は車両１の操作意思が有るものとみなす。この場合、制御部１７は、ＬＥＤ３を第２の発光状態にする。第２の発光状態は、操作意思判定に成功したことを示す。

これに対し、車載システム１０（操作判定部１６）が、一致度は閾値以内ではないと判定した場合（ステップＳ１１２：ＮＯ）には、処理はステップＳ１０７へ戻る。すなわち、車載システム１０は、対象者は車両１の操作意思が無いものとみなす。この場合、制御部１７は、ＬＥＤ３を第３の発光状態にする。第３の発光状態は、操作意思判定に失敗したことを示す。

図６及び図７は、本実施形態における対象者の操作意思の判定方法を説明する図である。図６においては、対象者に車両１の操作を許可する場合を示している。図７は、対象者に車両１の操作を許可しない場合を示している。図６及び図７における実線の円ＴＨは、ばらつきの一致度を判定するための閾値を示すものである。

ここでは、所定のサンプリング周期で取得された画像から、時系列データとして顔向き及び視線方向がそれぞれＰａｎ方向及びＴｉｌｔ方向で検出された場合を説明する。

Ｐａｎ方向の顔向き、Ｐａｎ方向の視線方向、Ｔｉｌｔ方向の顔向き、Ｔｉｌｔ方向の視線方向の時系列データは、それぞれ以下のように表される。Ｎ（１≧１）は、撮影画像のフレーム番号を示す。
Ｐａｎ方向の顔向き ＝ {θ_Ｆ（１）,θ_Ｆ（２）,…,θ_Ｆ（Ｎ）}
Ｐａｎ方向の視線方向 ＝ {θ_Ｅ（１）,θ_Ｅ（２）,…,θ_Ｅ（Ｎ）}
Ｔｉｌｔ方向の顔向き ＝ {Φ_Ｆ（１）,Φ_Ｆ（２）,…,Φ_Ｆ（Ｎ）}
Ｔｉｌｔ方向の視線方向 ＝ {Φ_Ｅ（１）,Φ_Ｅ（２）,…,Φ_Ｅ（Ｎ）}

例えば、撮影画像（映像）のフレームレートが、例えば３フレーム／秒であり、操作判定部１６における処理の単位時間が３秒間である場合には、合計９０フレーム分の撮影画像から顔向き及び視線方向の時系列データがそれぞれ取得される。すなわち、Ｎは９０となる。

次に、各時系列データについて算出された標準偏差をそれぞれＳ_ＦＰ、Ｓ_ＥＰ、Ｓ_ＦＴ、Ｓ_ＥＴとすると、Ｐａｎ方向、Ｔｉｌｔ方向の各々の角度の標準偏差同士の差分Ｄ１、Ｄ２は、以下の式のように計算される。
Ｄ１＝Ｓ_ＦＰ － Ｓ_ＥＰ
Ｄ２＝Ｓ_ＦＴ － Ｓ_ＥＴ

これらの二乗平均は、Ｓｑｒｔ（Ｄ_１ ^２＋ Ｄ_２ ^２）である。図６において破線で示されている円Ｃ１は、この二乗平均の値を半径とする円に相当する。一方、図６の円ＴＨは、対象者がカメラ２を直視している時に、上述した計算方法で算出した二乗平均の値を半径とする円に相当する。

図６において、円Ｃ１は、円ＴＨの内側に位置している。このような場合には、対象者Ｐ１がカメラ２を直視している、すなわち、対象者は車両１の操作意思を有すると判定される。

一方、図７においては、対象者Ｐ１は顔向きはカメラ２に対して正面方向であるが、視線方向が正面方向から外れている状態が示されている。このような状態において、上述した計算方法によって二乗平均を計算すると、その値は図７において破線で示される円Ｃ２のように表される。このような場合には、対象者Ｐ１がカメラ２を直視していない、すなわち、対象者は車両１の操作意思を有していないと判定される。

ステップＳ１１３において、車載システム１０（制御部１７）は、操作対象の装置に対して制御情報を出力し、車両１を操作する。車載システム１０（制御部１７）は、例えば、車両１のドア装置を解錠状態に制御する。

本実施形態によれば、対象者（搭乗者）が荷物や子供を抱えている等、手が塞がっている状態であっても、ドアの解錠等の車両操作が可能になる。このため、対象者の利便性を大幅に向上させることができる。

また、車両１の表示装置１０６に認証に必要な情報や動作が表示されない構成である。このため、セキュリティ性も担保できる。

車両１に外向きのカメラ２を設け、当該カメラ２を車載システム１０に接続することで容易に実現できる構成であるため、導入コストは少なく、実装が容易な利点がある。

顔向きや視線方向の検出値を直接用いるのではなく、時系列における顔向きのばらつき及び視線方向のばらつきをそれぞれ計算する。そして、計算された顔向きのばらつき（第１ばらつき）及び視線方向のばらつき（第２ばらつき）の一致度と、対象者毎に予め設定されている閾値とを比較することにより、検出値の個人差に対して頑健になる効果を奏する。

また、対象者が他の人物と会話をしながら車両に近づく場合には、顔は他の人物の方向を向けつつも視線は車両を見る場合が考えられるが、単位時間の中で顔方向と視線方向がそれぞれの方向で変化しなければ、その差分はカメラ２を直視している場合と同等の値になる。これにより、対象者は車両１の操作意思があるものと判定される。

さらに、一変形例としては、図５のステップＳ１０８において、車載システム１０（操作判定部１６）は、視線方向が視線方向に係る閾値以内であるか否かを判定するように構成し得る。すなわち、一致度と比較される閾値（ステップＳ１１２参照）とは別に、視線方向に基づいて以降の判定処理（例えばステップＳ１０９～Ｓ１１２）を実行するか否かの閾値を設ければ、車両に視線を向けない限りは以降の判定処理が実行されないため、利便性の向上と誤判定の低減が実現できる。同様に、車載システム１０（操作判定部１６）は、顔方向が顔方向に係る閾値以内であるか否かを判定するように構成し得る。この場合には、顔方向に対する閾値のみを別途設定すればよい。

さらに、両者（顔向きのばらつき及び視線方向のばらつき）の一致度から判定する構成のため、認証中に照明環境が変動したとしても頑健な認証が可能となる。その結果、車室外(屋外)環境における認証精度の向上が期待できる。

［第２実施形態］
本実施形態は、車載システム１０(制御部１７)が、対象者が携帯する発信機からの信号に基づいてカメラ２における撮影処理を開始する点で第１実施形態とは異なっている。なお、本実施形態では、対象者による発信機（例えば、スマートキー）に対する積極的な操作は必要ないものとする。

図８は、本実施形態における車載システム１０の処理の一例を示すフローチャートである。この処理は、例えば車両１がエンジンを停止して駐車中である場合に、図５に示す処理の開始前に実行される。

ステップＳ２０１において、車載システム１０（制御部１７）は、対象者が携帯する発信機からの電波を受信したか否かを判定する。ここで、車載システム１０が、発信機からの電波を受信したと判定した場合（ステップＳ２０１：ＹＥＳ）には、処理はステップＳ２０２へ移行する。これに対し、車載システム１０が、発信機からの電波を受信していないと判定した場合（ステップＳ２０１：ＮＯ）には、ステップＳ２０１の処理が繰り返される。

ステップＳ２０２において、車載システム１０（制御部１７）は、カメラ２を起動して撮影処理を開始する。そして、図８の処理の終了に伴い、図５に示す処理が開始される。

本実施形態によれば、対象者が携帯する発信機からの信号（電波）を受信することで、対象者の車両１への接近を検出できる。これにより、車載システム１０は、適切なタイミングでカメラ２による撮影処理を実行できる。また、エンジンが停止している状態では、車載システム１０による電力消費を最小限に抑えることができる。

［第３実施形態］
図９は、本実施形態における車載システム１０の機能の一例を示す機能ブロック図である。図９に示すように、本実施形態の車載システム１０は、距離検出部１９をさらに備える点で上述した実施形態とは異なっている。距離検出部１９は、カメラ２により撮影された撮影画像に基づいて車両１から対象者までの距離を検出する。これに伴い、認証部１２は、距離検出部１９において検出された距離が所定距離以下である対象者について判定処理を実行する。

図１０は、本実施形態における車載システム１０の処理の一例を示すフローチャートである。この処理は、図５に示すステップＳ１０３とステップＳ１０４との間に実行され得る。

ステップＳ３０１において、車載システム１０（距離検出部１９）は、顔画像から人物の目間距離を算出する。目間距離は、両目の中心点の間の距離である。目間距離は、人物がカメラ２に近いほど長くなり、遠いほど短くなる。

ステップＳ３０２において、車載システム１０（距離検出部１９）は、算出された目間距離に基づいて車両１から対象者までの距離を検出する。

ステップＳ３０３において、車載システム１０（操作判定部１６）は、検出された距離に基づいて、対象者が車両１から所定距離内に存在するか否かを判定する。ここで、車載システム１０（操作判定部１６）が、対象者は車両１から所定距離内に存在すると判定した場合（ステップＳ３０３：ＹＥＳ）には、処理は図５に示すステップＳ１０４へ移行する。

これに対し、車載システム１０（操作判定部１６）が、対象者は車両１から所定距離内に存在しないと判定した場合（ステップＳ３０３：ＮＯ）には、処理は図５に示すステップＳ１０１へ移行する。

本実施形態によれば、検出された距離が所定距離以下である対象者についてのみ、判定処理が実行される。このため、判定処理における対象者を適切に絞り込むことができる。この結果、車載システム１０（制御部１７）は、対象者が車両１の近くに存在する場合に、ドアの解錠操作等の制御を適切なタイミングで実行できる。

なお、一変形例では、車載システム１０の距離検出部１９は、対象者が携帯する発信機（前記実施形態２）から受信する電波の強度に基づいて、対象者から車両１までの距離を判定してもよい。

［第４実施形態］
本実施形態は、距離検出部１９が、画像における対象者の顔部又は頭部の領域の大きさに基づいて、車両１から対象者までの距離を検出する点で上述した第３実施形態とは異なっている。

図１１は、本実施形態における車載システム１０の処理の一例を示すフローチャートである。この処理は、図１０の場合と同様に、図５に示すステップＳ１０３とステップＳ１０４との間に実行され得る。

ステップＳ４０１において、車載システム１０（距離検出部１９）は、顔画像における人物の顔領域の大きさを算出する。算出される顔領域の大きさは、人物がカメラ２に近いほど大きくなり、遠いほど小さくなる。なお、顔領域の大きさの代わりに、頭部の大きさを算出してもよい。

ステップＳ４０２において、車載システム１０（距離検出部１９）は、算出された顔領域の大きさに基づいて車両１から対象者までの距離を検出する。

ステップＳ４０３において、車載システム１０（操作判定部１６）は、検出された距離に基づいて、対象者が車両１から所定距離内に存在するか否かを判定する。ここで、車載システム１０（操作判定部１６）が、対象者は車両１から所定距離内に存在すると判定した場合（ステップＳ４０３：ＹＥＳ）には、処理は図５に示すステップＳ１０４へ移行する。

これに対し、車載システム１０（操作判定部１６）が、対象者は車両１から所定距離内に存在しないと判定した場合（ステップＳ４０３：ＮＯ）には、処理は図５に示すステップＳ１０１へ移行する。

本実施形態によれば、検出された距離が所定距離以下である対象者についてのみ、判定処理が実行される。このため、判定処理における対象者を適切に絞り込むことができる。この結果、車載システム１０（制御部１７）は、対象者が車両１の近くに存在する場合に、ドアの解錠操作等の制御を適切なタイミングで実行できる。

［第５実施形態］
図１２は、本実施形態における情報処理装置１００の構成を示すブロック図である。図１２に示すように、情報処理装置１００は、方向検出部１００Ａ及び判定部１００Ｂを備える。方向検出部１００Ａは、カメラにおいて撮影された画像に含まれる対象者の顔向き及び視線方向の少なくとも一方を検出する。判定部１００Ｂは、顔向き及び視線方向の少なくとも一方の時系列でのばらつきに基づいて、対象者に操作対象物の操作を許可するか否かの判定処理を実行する。本実施形態によれば、対象者に操作対象物の操作を許可するか否かを高精度で判定できる。

［変形実施形態］
以上、実施形態を参照して本発明を説明したが、本発明は上述の実施形態に限定されるものではない。本願発明の構成及び詳細には本発明の要旨を逸脱しない範囲で、当業者が理解し得る様々な変形をできる。例えば、いずれかの実施形態の一部の構成を、他の実施形態に追加した実施形態、あるいは他の実施形態の一部の構成と置換した実施形態も本発明を適用し得る実施形態であると理解されるべきである。

上述した実施形態では、操作判定部１６が顔向きに関する第１ばらつきと視線方向に関する第２ばらつきとの一致度に基づいて判定処理を実行する場合について説明した。しかし、操作判定部１６は、顔向き及び視線方向の少なくとも一方の時系列でのばらつきに基づいて、対象者に車両１の操作を許可するか否かの判定処理を実行してもよい。例えば、視線方向（あるいは顔向き）の時系列でのばらつきのみに着目して判定処理を実行する場合には、２種類のばらつきを考慮する場合よりも判定処理を簡単に実行できる利点がある。

上述した実施形態では、対象者の顔画像を用いて認証処理を行う場合について説明したが、本発明に用いる生体情報は顔画像のみに限られない。例えば、車載システム１０（認証部１２）は、顔画像の代わりに虹彩画像や耳介画像等の他の生体情報を用いて認証処理を行ってもよい。また、車載システム１０は、異なる種類の生体情報の組み合わせに基づいて認証処理を行ってもよい。

上述した実施形態では、認証部１２は、操作判定部１６における処理の前に実行する場合について説明した。しかし、認証部１２における認証処理は、操作判定部１６における処理の後に実行してもよい。すなわち、認証部１２は、操作判定部１６において車両１の操作が許可された対象者について認証処理を実行してよい。この場合、認証処理の対象者を絞り込むことが可能である。

同様に、認証部１２における認証処理と操作判定部１６における判定処理を並列に実行してもよい。この場合、認証処理及び判定処理を直列に場合よりも処理速度が向上する利点がある。

上述した実施形態では、対象者が携帯する発信機からの信号を受信したときに、対象者が車両１に接近したものとみなしてカメラ２を起動する場合について説明した。しかし、カメラ２の起動条件はこれに限られない。例えば、車両１側に人感センサを別途設け、当該人感センサにおける検出信号に基づいてカメラ２を起動してもよい。この場合も、カメラ２の稼働時間を短縮できるため、省電力化の効果を奏する。

操作判定部１６における判定結果に基づいて制御可能な装置は、車両１のみに限られない。パーソナルコンピュータやスマートフォン等におけるログイン制御、建物に設けられたドア装置の施錠制御等にも適用できる。例えば、対象者が建物の入口に設置されたカメラ付きのインターホンのボタンを押下すると、カメラは対象者の画像を撮影する。これにより、インターホンに接続された制御装置は、撮影されたカメラ画像に基づいて、判定処理及び認証処理を実行し、対象者が建物の住人として予め登録されている場合にはドアを解錠できる。その他に、本発明は、ドローン、コミュニケーションロボット、及びロボット掃除機など、車両１以外の様々な道具も対象である。

上述した実施形態においては、方向検出処理、認証処理及び判定処理の全ての処理が車両１の車載システム１０において実行される場合について説明した。しかし、方向検出処理、認証処理及び判定処理の一部又は全部の処理は、車載システム１０と無線通信によって接続されたサーバコンピュータにおいて実行されてもよい。この場合、車載システム１０は、車両１のカメラ２によって撮影された画像をサーバコンピュータに送信し、サーバコンピュータ側から受信した処理結果に基づいて車両１を制御すればよい。処理性能に優れたサーバコンピュータを用いることにより、処理を高速化できる効果を奏する。

上述した実施形態においては、カメラ２が車両１の外部を撮影する外向きのカメラである場合について説明したが、カメラ２が車室内を撮影する内向きのカメラである場合も同様である。車室内を撮影する内向きのカメラを設ける場合には、車載システム１０は車室内における運転者の顔向き及び視線方向の少なくとも一方に基づいて操作意思の有無を判定し、運転席に座っている人物に対する注意喚起処理や走行速度の制御処理等を行うことが可能である。自動運転が実用化された場合には、運転者の操作意思に応じて運転者の近くまで車両１を自立走行させてもよい。

上述した実施形態においては、車両１の外側面に設けられたカメラ２の撮影画像を用いて処理を行う場合について説明したが、他のカメラの撮影画像を用いてもよい。図１３は、変形実施形態における車両構造の一例を示す外観図である。図１３では、ドライブレコーダのカメラ４で撮影した撮影画像を用いる場合が示されている。この場合、車両１の本体に認証専用のカメラ２を予め設けなくて済む。このため、車両１の製造コストを低減できる、車両１の外観に影響を及ぼさない、後からでも任意に取り付けられる等の利点がある。

また、ドライブレコーダのカメラ４は、車室内の前方だけでなく後方にも設けられる場合が多い。このため、顔認証及び操作判定は複数の位置において実行可能となり、利便性がさらに向上する。

カメラ２及びカメラ４としては、可視光カメラの代わりに、赤外光カメラを用いてもよいし、可視光カメラと赤外光カメラの両方を用いてもよい。赤外光カメラを用いる場合には、暗い場所や夜間においても対象者の画像を撮影できる利点がある。さらに、車両１の外部における照明条件あるいは撮影の時間帯に応じて撮影するカメラの種類を自動的に切り換えてもよい。

さらに、紙や写真によるなりすましを防止するために、操作判定処理の後、対象者に対して顔を動かす等の所定の動作を最終認証として要求するように構成することもできる。

上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。

該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード等を用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。

上述の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
カメラにおいて撮影された画像に含まれる対象者の顔向き及び視線方向の少なくとも一方を検出する方向検出部と、
前記顔向き及び前記視線方向の少なくとも一方の時系列でのばらつきに基づいて、前記対象者に操作対象物の操作を許可するか否かの判定処理を実行する判定部と、
を備える情報処理装置。

（付記２）
前記判定部は、前記顔向きに関する第１ばらつきと前記視線方向に関する第２ばらつきとの一致度に基づいて前記判定処理を実行する、
付記１に記載の情報処理装置。

（付記３）
前記判定部は、所定時間内における前記第１ばらつきと前記第２ばらつきとの差分が予め設定された閾値以下である場合に、前記操作対象物の操作を許可する、
付記２に記載の情報処理装置。

（付記４）
前記判定部は、所定時間内における前記顔向きと前記視線方向との相関が予め設定された閾値以上である場合に、前記操作対象物の操作を許可する、
付記１に記載の情報処理装置。

（付記５）
前記判定部は、前記視線方向が予め設定された他の閾値以下である場合に、前記判定処理を行う、
付記３又は４に記載の情報処理装置。

（付記６）
前記閾値は、前記対象者に応じて予め設定される、
付記３乃至５のいずれかに記載の情報処理装置。

（付記７）
前記他の閾値は、前記対象者に応じて予め設定される、
付記５に記載の情報処理装置。

（付記８）
前記判定処理における判定結果に基づいて前記操作対象物を制御する制御部、
をさらに備える付記１乃至７のいずれかに記載の情報処理装置。

（付記９）
前記画像から取得された前記対象者の顔画像と登録者の登録顔画像との顔照合によって前記対象者に対する認証処理を実行する認証部、
をさらに備え、
前記制御部は、前記認証処理における認証結果及び前記判定処理における前記判定結果に基づいて前記操作対象物を制御する、
付記８に記載の情報処理装置。

（付記１０）
前記判定部は、前記認証部において前記登録者として認証された前記対象者について前記判定処理を実行する、
付記９に記載の情報処理装置。

（付記１１）
前記認証部は、前記判定部において前記操作が許可された前記対象者について前記認証処理を実行する、
付記９に記載の情報処理装置。

（付記１２）
前記認証処理及び前記判定処理は並列に実行される、
付記９に記載の情報処理装置。

（付記１３）
前記制御部は、前記対象者が携帯する発信機からの信号に基づいて前記カメラにおける撮影処理を開始する、
付記８乃至１２のいずれかに記載の情報処理装置。

（付記１４）
前記制御部は、前記操作対象物に設けられた人感センサの検出信号に基づいて前記カメラにおける撮影処理を開始する、
付記８乃至１２のいずれかに記載の情報処理装置。

（付記１５）
前記制御部は、前記判定結果に基づいて、前記操作対象物に設けられたドア装置における施錠状態を制御する、
付記８乃至１４のいずれかに記載の情報処理装置。

（付記１６）
前記制御部は、前記判定処理の実行状態又は前記判定結果に基づいて、前記操作対象物に設けられた発光装置における発光状態を制御する、
付記８乃至１５のいずれかに記載の情報処理装置。

（付記１７）
前記画像に基づいて前記操作対象物から前記対象者までの距離を検出する距離検出部をさらに備え、
前記判定部は、前記距離が所定距離以下である前記対象者について前記判定処理を実行する、
付記１乃至１６のいずれかに記載の情報処理装置。

（付記１８）
前記画像に基づいて前記操作対象物から前記対象者までの距離を検出する距離検出部をさらに備え、
前記認証部は、前記距離が所定距離以下である前記対象者について前記認証処理を実行する、
付記９乃至１２のいずれかに記載の情報処理装置。

（付記１９）
前記距離検出部は、前記画像における前記対象者の目間距離に基づいて前記距離を検出する、
付記１７又は１８に記載の情報処理装置。

（付記２０）
前記距離検出部は、前記画像における前記対象者の顔部又は頭部の領域の大きさに基づいて前記距離を検出する、
付記１７又は１８に記載の情報処理装置。

（付記２１）
前記操作対象物は、車両である、
付記１乃至２０のいずれかに記載の情報処理装置。

（付記２２）
カメラにおいて撮影された画像に含まれる対象者の顔向き及び視線方向の少なくとも一方を検出するステップと、
前記顔向き及び前記視線方向の少なくとも一方の時系列でのばらつきに基づいて、前記対象者に操作対象物の操作を許可するか否かの判定処理を実行するステップと、
を備える情報処理方法。

（付記２３）
コンピュータに、
カメラにおいて撮影された画像に含まれる対象者の顔向き及び視線方向の少なくとも一方を検出するステップと、
前記顔向き及び前記視線方向の少なくとも一方の時系列でのばらつきに基づいて、前記対象者に操作対象物の操作を許可するか否かの判定処理を実行するステップと、
を実行させるためのプログラムが記録された記録媒体。

１・・・車両
２、４・・・カメラ
３・・・ＬＥＤ
１０・・・車載システム
１１・・・画像取得部
１２・・・認証部
１３・・・認証情報記憶部
１４・・・顔向き検出部
１５・・・視線方向検出部
１６・・・操作判定部
１７・・・制御部
１８・・・認証情報登録部
１９・・・距離検出部
１００・・・情報処理装置
１００Ａ・・・方向検出部
１００Ｂ・・・判定部

Claims (11)

1. 対象者の顔向きを検出する顔向き検出手段と、
   前記対象者の視線方向を検出する視線方向検出手段と、
   前記顔向きの時系列データにおける第１標準偏差と、前記視線方向の時系列データにおける第２標準偏差とを算出し、前記第１標準偏差と前記第２標準偏差との一致度に基づいて、前記対象者に操作対象物に対する操作の意思があるか否かを判定する操作判定手段と、
   を備える情報処理装置。
2. 前記第１標準偏差と前記第２標準偏差との間の差分が閾値以内である場合、前記操作判定手段は、前記対象者が操作者であると判定する、
   請求項１に記載の情報処理装置。
3. 前記対象者を撮影した時系列の登録用画像に基づいて、前記閾値を算出する認証情報登録手段、
   をさらに備える請求項２に記載の情報処理装置。
4. 前記閾値は、前記対象者に応じて予め設定される、
   請求項２又は３に記載の情報処理装置。
5. 前記操作判定手段における判定結果に基づいて前記操作対象物を制御する制御手段、
   をさらに備える請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記対象者の顔画像と登録者の登録顔画像との顔照合によって前記対象者に対する認証処理を実行する認証手段、
   をさらに備え、
   前記制御手段は、前記認証手段における認証結果及び前記操作判定手段における前記判定結果に基づいて前記操作対象物を制御する、
   請求項５に記載の情報処理装置。
7. 前記操作対象物は、車両である、
   請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記操作判定手段は、前記視線方向が前記視線方向に係る閾値以内であるか否かを判定可能であり、前記視線方向が前記視線方向に係る閾値以内であると判定された際に、前記第１標準偏差と前記第２標準偏差との一致度に基づいて、前記対象者に前記操作対象物に対する操作の意思があるか否かを判定する、
   請求項１に記載の情報処理装置。
9. 前記操作判定手段は、前記顔向きが前記顔向きに係る閾値以内であるか否かを判定可能であり、前記顔向きが前記顔向きに係る閾値以内であると判定された際に、前記第１標準偏差と前記第２標準偏差との一致度に基づいて、前記対象者に前記操作対象物に対する操作の意思があるか否かを判定する、
   請求項１に記載の情報処理装置。
10. 対象者の顔向きを検出するステップと、
    前記対象者の視線方向を検出するステップと、
    前記顔向きの時系列データにおける第１標準偏差と、前記視線方向の時系列データにおける第２標準偏差とを算出し、前記第１標準偏差と前記第２標準偏差との一致度に基づいて、前記対象者に操作対象物に対する操作の意思があるか否かを判定するステップと、
    を備える情報処理方法。
11. コンピュータに、
    対象者の顔向きを検出するステップと、
    前記対象者の視線方向を検出するステップと、
    前記顔向きの時系列データにおける第１標準偏差と、前記視線方向の時系列データにおける第２標準偏差とを算出し、前記第１標準偏差と前記第２標準偏差との一致度に基づいて、前記対象者に操作対象物に対する操作の意思があるか否かを判定するステップと、
    を実行させるためのプログラム。

Images