JP7552872B2 - 情報処理装置、情報処理システム、情報処理方法、プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理システム、情報処理方法、プログラムに関する。

人物の生体認証を行う場合、生体の撮影画像への写り込みの位置が正位置に近いことが求められる。関連技術として特許文献１、特許文献２、特許文献３が開示されている。

特開２００９－２１１１６６号公報 特開２００８－１４３２２０号公報 特開２０１０－２５７２４９号公報 特開２０１７－１８３９０３号公報

特許文献１には、認証対象の顔を向けるべき方向を指示するガイド画像を認証時に表示する技術が開示されている。
特許文献２には、プロジェクタ及び表示制御装置がドアの内部に配設されており、プロジェクタは、表示制御装置を通じて取得した入力画面情報及び案内画面情報に基づき入力画面及び案内画面を投射して表示する技術が開示されている。
特許文献３には、車内に設置されたカメラから窓を通して車外の撮影を行うこと、プロジェクタを用いて透過型スクリーンである窓に警告画像を表示すること開示されている。
特許文献４には、プロジェクタから照明画像を出力させ、出力された照明画像をカメラにより撮影するように制御する技術が開示されている。

ところで撮影画像によりユーザを認証する技術などにおいては、透明な投影面で隔たれた空間を跨いで撮影装置と撮影対象のユーザとが位置する場合でも適切な位置でユーザを撮影することが求められていた。

そこでこの発明は、上述の課題を解決する情報処理装置、情報処理システム、情報処理方法、プログラムを提供することを目的としている。

本発明の第１の態様によれば、情報処理装置は、投影面の光の透過を透過状態に制御しているタイミングで撮影装置が投影面を隔てて位置する撮影対象を撮影するよう制御し、前記投影面の光の透過を透過抑制状態に制御しているタイミングで投影画像を前記投影面に投影するよう制御するタイミング制御手段と、を備える。

本発明の第２の態様によれば、情報処理システムは、投影面の光の透過を透過状態に制御しているタイミングで撮影装置が投影面を隔てて位置する撮影対象を撮影するよう制御し、前記投影面の光の透過を透過抑制状態に制御しているタイミングで投影画像を前記投影面に投影するよう制御するタイミング制御手段と、を備える。

本発明の第３の態様によれば、情報処理方法は、投影面の光の透過を透過状態に制御しているタイミングで撮影装置が投影面を隔てて位置する撮影対象を撮影するよう制御し、前記投影面の光の透過を透過抑制状態に制御しているタイミングで投影画像を前記投影面に投影するよう制御する。

本発明の第４の態様によれば、プログラムは、情報処理装置のコンピュータを、投影面の光の透過を透過状態に制御しているタイミングで撮影装置が投影面を隔てて位置する撮影対象を撮影するよう制御し、前記投影面の光の透過を透過抑制状態に制御しているタイミングで投影画像を前記投影面に投影するよう制御するタイミング制御手段、として機能させる。

本発明によれば、透明な投影面で隔たれた空間を跨いで撮影装置と撮影対象のユーザとが位置する場合でも適切な位置でユーザを撮影することができる。

本実施形態による認証装置を含む認証システムの概要を示す図である。 本実施形態による認証装置のハードウェア構成図である。 本実施形態による認証装置の機能ブロック図である。 本実施形態による透過状態と透過抑制状態との切り替えの例を示す図である。 本実施形態による案内画像の投影例を示す図である。 本実施形態による案内画像の詳細を示す図である。 本実施形態による認証装置の処理フローを示す図である。 本実施形態による透過状態における他の制御状態を示す図である。 本実施形態による認証装置の最小構成を示す図である。 本実施形態による最小構成の認証装置の処理フローを示す図である。

以下、本発明の一実施形態による認証システムを図面を参照して説明する。
図１は本実施形態による認証装置を含む認証システムの概要を示す図である。
図１で示すように本実施形態による情報処理システムの一態様である認証システム１００は、車両５の車内に設けられた認証装置１（処理装置）、撮影装置２、投影装置３と、投影面４とにより構成される。認証装置１はドライブレコーダやナビゲーション装置などの内部に設けられていてよい。投影面４は一例としては車両５の運転席横の窓ガラスである。本実施形態において投影面４を構成する窓ガラスは、認証装置１の制御により、光の透過度合を変更制御できる。

一例として窓ガラスは特殊なフィルムが貼られており、フィルム内の粒子の整列状態が電圧のオンオフによって変化することで光の透過度合が変化する。認証装置１の制御により窓ガラスによって構成される投影面４の透過度合を制御し、光の透過状態、光の透過抑制状態の２つの状態に制御することができる。光の透過状態は、例えば透過率が所定値以上で通常の窓ガラスと同様の透過率の状態である。光の透過抑制状態は、例えば透過率が所定閾値未満で、窓ガラスに貼られたフィルムに電圧をかけることにより曇りガラスのように透過率が低くなる状態である。なお透過率を制御できる窓ガラスの技術は公知の技術である。

認証装置１は撮影装置２を制御して認証対象のユーザの顔の撮影画像を取得する。認証装置１は投影装置３を制御して投影面４に案内画像（移動案内情報）を投影する。案内画像は、撮影画像において写るべき位置に移動する移動方向をユーザに通知するための画像情報である。認証装置１は、認証時に投影面４の透過度合を制御して透過状態、透過抑制状態が短時間で繰り返し切り替わるよう制御する。認証装置１は、投影面４を透過状態に制御している場合には、撮影装置２を用いて撮影を行う。認証装置１は、投影面４を透過抑制状態に制御している場合には、投影装置３を用いて案内画像を投影面４に投影する。投影面４を透過抑制状態にすることにより投影面４に案内画像が写り、認証対象のユーザは案内画像を見ながら自分を適切な位置に移動することができる。

図２は認証装置のハードウェア構成図である。
この図が示すように認証装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信モジュール１０５、データベース１０６等の各ハードウェアを備えたコンピュータである。

図３は認証装置の機能ブロック図である。
認証装置１は認証制御プログラムを起動する。これにより認証装置１は、撮影制御部１１、透過度合制御部１２、移動方向判定部１３、投影制御部１４、タイミング制御部１５、認証部１６の各機能を発揮する。また認証装置１は登録画像記憶部１７、案内画像記憶部１８を記憶する。

撮影制御部１１は、撮影装置２の撮影制御を行う。
透過度合制御部１２は、光の透過度合が変更される投影面４の透過状態から透過抑制状態への変更制御または透過抑制状態から透過状態への変更制御を行う。
移動方向判定部１３は、撮影装置２が撮影した撮影画像に写る人物の位置と、撮影画像において予め規定された人物の位置とを比較して、撮影画像に写る人物が当該撮影画像において写るべき位置に移動する移動方向を判定する。
投影制御部１４は、移動方向を示す案内画像の投影装置３による投影面４への投影を制御する。
タイミング制御部１５は、投影面４を透過状態に制御しているタイミングで撮影装置２が撮影し、投影面４を透過抑制状態に制御しているタイミングで案内画像を投影面４に投影するよう制御する。
認証部１６は、投影面４を透過状態に制御しているタイミングで撮影装置２が撮影して生成した撮影画像に写る人物の生体情報に基づいて認証を行う。
登録画像記憶部１７は、運転手の顔画像を記憶する。
案内画像記憶部１８は、案内画像を記憶する。

図４は透過状態と透過抑制状態との切り替えの例を示す図である。
図４（ａ）は透過状態を示す。図４（ｂ）は透過抑制状態を示す。投影面４が透過状態（ａ）に制御されているタイミングで、撮影装置２がユーザの顔を撮影する。投影面４が透過抑制状態（ｂ）に制御されているタイミングで、投影装置３が案内画像の投影面４への投影を行う。

図５は案内画像の投影例を示す図である。
図６は案内画像の詳細を示す図である。
案内画像は図５で示すように車両５のドアの窓ガラスに投影される。また案内画像はより詳細に説明すると、一例として図６で示すように顔の位置を示す枠６１と、目などの顔のパーツの位置６２と、顔の移動方向を示す矢印６３とが含まれるような移動方向をユーザに案内するための画像情報である。

図７は認証装置の処理フローを示す図である。
次に認証装置の処理の詳細を説明する。
撮影制御部１１は撮影開始タイミングを検知すると撮影装置２を制御して撮影を行う。例えば撮影制御部１１は、車両５の運転者が保持するスマートキーの発信する信号を検出すると、撮影開始タイミングであると検知する（ステップＳ１０１）。撮影制御部１１は他の方法でユーザが近くにいることを検知して、撮影開始タイミングであることを検知してよい。撮影制御部１１は車両５が停止中である場合も車両５のバッテリを電源に撮影制御を繰り返してもよい。

撮影制御部１１は、撮影開始タイミングであると検知すると、撮影装置２の撮影を制御する（ステップＳ１０２）。撮影制御部１１は撮影装置２から撮影画像を取得する。撮影制御部１１は撮影画像を取得するとタイミング制御部１５へ撮影画像を取得したことを通知する取得通知を出力する。撮影制御部１１は撮影画像に人の顔が写っているかを判定する（ステップＳ１０３）。撮影制御部１１は撮影画像に人の顔が写っている場合には、移動方向判定部１３へ撮影画像を出力する。撮影制御部１１は、撮影画像に人物の顔が写っていないと判定した場合には、撮影を繰り返してよい。撮影制御部１１は撮影終了を検知するまで撮影するよう撮影装置２を制御してよい。撮影制御部１１は一例として、スマートキーの信号の受信が途絶えた場合に撮影終了と検知してよい。

移動方向判定部１３は撮影画像を取得すると、撮影画像に写る人物の顔の位置を算出する（ステップＳ１０４）。移動方向判定部１３は、例えば公知の顔認識技術により顔を認識して、撮影画像中の顔の認識範囲が示す矩形の頂点などを算出しいてよい。移動方向判定部１３は他の方法により顔の位置を算出してよい。移動方向判定部１３は撮影画像に写る人物の顔の位置と、予め規定された人物の顔の位置とを比較して、撮影方向に写る人物の顔の位置が、予め規定された人物の顔の位置に一致するための移動方向を算出する（ステップＳ１０５）。移動方向判定部１３は移動方向を投影制御部１４に出力する。移動方向判定部１３は、撮影方向に写る人物の顔の位置が、予め規定された人物の顔の位置に一致する場合には、移動方向を投影制御部１４に出力しなくてもよい。

タイミング制御部１５は、撮影制御部１１から撮影画像の取得通知を取得すると、投影面４を透過抑制状態に制御するよう透過度合制御部１２に指示する。透過度合制御部１２は投影面４を透過抑制状態に制御する（ステップＳ１０６）。透過度合制御部１２は透過抑制状態に制御するとタイミング制御部１５へ透過抑制状態を示す状態通知を出力する。タイミング制御部１５は透過抑制状態の状態通知を取得すると、投影制御部１４へ投影を指示する指示通知を出力する。

投影制御部１４は移動方向を取得すると、その移動方向に顔を移動させることを促す移動方向に応じた矢印６３と、顔の位置を示す枠６１と、目の位置６２とを示す案内画像を案内画像記憶部１８から取得する。投影制御部１４は、タイミング制御部１５から指示通知を取得すると、案内画像を投影面４へ投影する（ステップＳ１０７）。これにより、透過抑制状態の投影面４に案内画像が投影される。

透過抑制状態の投影面４に案内画像が投影されるので車両５の外部に位置するユーザは、投影面４に投影された案内画像を視認することができる。ユーザは案内画像を確認して、自身の立ち位置や顔の位置を移動させる。この際、ユーザは自分の目が案内画像に表示される目の位置６２に正対するように移動する。

投影制御部１４は案内画像を投影すると、タイミング制御部１５へ投影したことを示す投影通知を出力する。タイミング制御部１５は、所定期間の投影画像の投影を認識すると、投影制御部１４へ投影中止を示す中止情報を出力し、透過度合制御部１２へ透過抑制状態から透過状態に制御するよう指示する指示情報を出力する。透過度合制御部１２は透過抑制状態から透過状態へ制御する（ステップＳ１０８）。投影制御部１４は透過抑制状態から透過状態へ切り替わるタイミングでタイミング制御部１５の制御に基づいて投影画像の投影を停止する。

タイミング制御部１５は、透過抑制状態から透過状態へ切り替わるタイミングで撮影制御部１１へ撮影を行うよう指示する指示情報を出力する。撮影制御部１１は、透過抑制状態から透過状態へ切り替わるタイミングで撮影装置２の撮影を制御する（ステップＳ１０９）。タイミング制御部１５は、認証部１６から認証成功を示す情報を取得したかを判定する（ステップＳ１１０）。タイミング制御部１５は、認証成功を示す情報を取得していない場合には、ステップＳ１０２からの処理を繰り返す。タイミング制御部１５は、認証部１６から認証成功を示す情報を取得した場合には、タイミング制御を停止し、撮影制御部１１へ撮影の停止を指示、投影制御部１４へ案内画像の投影の停止を指示し、投影面４の透過状態の制御を停止する（ステップＳ１１１）。

上述の処理により、認証部１６で認証成功するまで、透過状態における人物の撮影と、透過抑制状態における投影面４への案内画像の投影が行われる。撮影制御部１１は撮影装置２から撮影画像を取得する度に、撮影画像を認証部１６へ出力する。認証部１６は撮影画像を取得すると、登録画像記憶部１７に登録されている運転者の顔の登録画像を取得する。認証部１６は撮影画像と登録画像とを比較して認証処理を行う。この認証処理は公知の技術を用いてよい。

認証部１６は、認証処理が成功するとタイミング制御部１５へ認証成功を出力する。また認証部１６は、認証処理が成功すると、制御対象６へ認証成功を出力する（ステップＳ１１２）。例えば制御対象６はドアロックの解除装置であり、解除装置は認証成功を示す情報を出力すると、車両５のドアのロックを解除する。

以上の処理によれば、車両５の内部に設けられた認証装置の制御により、車両５の内部の撮影装置２が投影面４の透過状態のタイミングで認証対象の人物の撮影を行い、車両５の内部の投影装置３が投影面４の透過抑制状態のタイミングで案内画像を投影面４に投影する。そして、タイミング制御部１５が投影面４の透過状態と透過抑制状態を切り替える制御を行い、透過状態の際に撮影されるよう撮影制御部１１を制御し、透過抑制状態の際に投影画像が投影されるよう透過度合制御部１２を制御する。またタイミング制御部１５は認証成功と判定するまで、それらの制御を繰り返す。なおタイミング制御部１５は、投影面４の透過状態における撮影と、透過抑制状態における案内画像の投影面４への投影との切り替えを、数十ミリ秒や数百ミリ秒などの短時間で切り替える。これによりユーザは、案内画像が点滅なく投影面４に投影されているように認識でき、案内画像の点滅による不快さが軽減された状況で、案内画像を見ながら認証を行うことができる。

図８は透過状態における他の制御状態を示す図である。
上述の例では透過状態においては、タイミング制御部１５の制御により投影制御部１４は案内画像の投影面４への投影を停止している。しかしながら、タイミング制御部１５は、透過状態においても投影制御部１４への投影の停止を指示せずに、投影を続けるよう制御してもよい。しかしながら透過状態においては、投影面４は光を透過するため、案内画像の光は投影面４を透過して、その光は認証対象のユーザに当たる。この状況で撮影装置２がユーザの顔を撮影する。これにより、撮影装置２は、夜などの暗い状況においても、ユーザの顔が明るく映る撮影画像を生成することができる。

なおタイミング制御部１５は、明るさの度合が低い環境を検出した場合に、投影面４を透過状態に制御しているタイミングで、案内画像を投影するよう制御してよい。例えば、タイミング制御部１５は、撮影画像に写る人物の背景の輝度が所定の閾値未満である場合や、照度センサなどから得た値が夜や暗い場所であるような照度である場合に、明るさの度合が低い環境であると検出してよい。またはタイミング制御部１５は認証部１６から認証結果が示す認証スコアの情報を取得して、認証スコアの値が閾値よりも低い場合には顔の撮影状態が悪いと判定し、投影面４を透過状態に制御しているタイミングで、案内画像を投影するよう制御してよい。

上述の処理において撮影制御部１１は撮影画像中の人物の顔の大きさなどに基づいて、人物までの距離が適切な距離であると判定し、タイミング制御部１５へ撮影画像を取得したことを通知する取得通知を出力し、また認証部１６へ撮影画像を出力し、移動方向判定部１３へ撮影画像を出力するようにしてもよい。

以上説明したように上述の認証装置の処理によれば、透明な投影面で隔たれた空間を跨いで撮影装置と撮影対象のユーザとが位置する場合でも適切な位置でユーザを撮影することができる。

なお本実施形態においては、認証システム１００は、認証装置１と撮影装置２と投影装置３は車両５の内部に設けられ、認証装置１が車の窓ガラスを投影面４として案内画像を投影する制御を行う。しかしながら他の実施形態においては、部屋などの閉空間に認証装置１と撮影装置２と投影装置３が設けられ、認証装置１が閉空間と外部とを隔てた投影面４に透過抑制状態において案内画像を投影する制御と、透過状態において撮影する制御とを行う繰り返し行うものであってもよい。なお、投影面４は、透過状態、透過抑制状態に制御できるものであれば、窓ガラス以外の透明な部材であってよい。

また上述の実施形態においては、投影面４は運転席の横の窓ガラスである場合の例を用いて説明したが、車両５の周囲のどの窓ガラス（フロントガラスなど）が投影面４として構成されてもよい。

また上述の各実施形態では、車両５に備わる認証装置１が上述した各処理を行っている。しかしながら、それらの処理の一部が、認証サーバなどの認証装置１と通信接続された外部のコンピュータ装置で行われてよい。例えば、認証装置１と認証サーバとで認証システム１００を構成する。認証システム１００は、認証部１６と登録画像記憶部１７の機能を備えて、認証サーバが同様に認証処理を行ってもよい。認証装置１は認証サーバから認証結果を取得し、その結果に基づいて上述の処理と同様に、その後の処理を行う。

図９は認証装置の最小構成を示す図である。
図１０は最小構成の認証装置の処理フローを示す図である。
認証装置１は、少なくとも、タイミング制御手段９１を備える。
タイミング制御手段９１は、投影面４の光の透過を透過状態に制御しているタイミングで撮影装置２が投影面を隔てて位置する撮影対象を撮影するよう制御し（ステップＳ７０１）、投影面４の光の透過を透過抑制状態に制御しているタイミングで投影画像を投影面４に投影するよう制御する（ステップＳ７０２）。

上述の各装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１・・・認証装置（情報処理装置）
２・・・撮影装置
３・・・投影装置
４・・・投影面
１１・・・撮影制御部
１２・・・透過度合制御部
１３・・・移動方向判定部
１４・・・投影制御部
１５・・・タイミング制御部
１６・・・認証部
１７・・・登録画像記憶部
１８・・・案内画像記憶部

Claims (9)

1. 投影面の光の透過を透過状態に制御しているタイミングで撮影装置が投影面を隔てて位置する撮影対象を撮影するよう制御し、前記投影面の光の透過を透過抑制状態に制御しているタイミングで投影画像を前記投影面に投影するよう制御するタイミング制御手段と、
   前記撮影装置の撮影制御を行う撮影制御手段と、
   前記撮影装置が撮影した撮影画像に写る人物の位置または前記人物の顔の位置と、撮影画像において予め規定された人物の位置または前記人物の顔の位置とを比較して、前記撮影画像に写る人物が当該撮影画像において写るべき位置に移動する移動方向を判定する移動方向判定手段と、
   前記移動方向を示す移動案内情報の投影装置による前記投影面への投影を制御する投影制御手段と、
   を備える情報処理装置。
2. 前記投影面を前記透過状態に制御しているタイミングで前記撮影装置が撮影して生成した撮影画像を取得し、当該撮影画像に写る前記撮影対象である人物の顔情報に基づいて認証処理を行う認証手段と、
   を備える請求項１に記載の情報処理装置。
3. 前記光の透過度合が変更される投影面の前記透過状態から前記透過抑制状態への変更制御または前記透過抑制状態から前記透過状態への変更制御を行う透過度合制御手段と、
   を備える請求項１または請求項２に記載の情報処理装置。
4. 前記撮影装置は前記投影面を隔てて位置する人物を撮影する請求項１から請求項３の何れか一項に記載の情報処理装置。
5. 前記タイミング制御手段は、明るさの度合が低い環境を検出した場合に、前記投影面を前記透過状態に制御しているタイミングで、前記移動案内情報を前記投影面に投影するよう制御する
   請求項１から請求項４の何れか一項に記載の情報処理装置。
6. 前記移動案内情報は、人の顔のパーツと移動方向とを前記投影面に表示する画像情報である
   請求項１から請求項５の何れか一項に記載の情報処理装置。
7. 投影面の光の透過を透過状態に制御しているタイミングで撮影装置が投影面を隔てて位置する撮影対象を撮影するよう制御し、前記投影面の光の透過を透過抑制状態に制御しているタイミングで投影画像を前記投影面に投影するよう制御するタイミング制御手段と、
   前記撮影装置の撮影制御を行う撮影制御手段と、
   前記撮影装置が撮影した撮影画像に写る人物の位置または前記人物の顔の位置と、撮影画像において予め規定された人物の位置または前記人物の顔の位置とを比較して、前記撮影画像に写る人物が当該撮影画像において写るべき位置に移動する移動方向を判定する移動方向判定手段と、
   前記移動方向を示す移動案内情報の投影装置による前記投影面への投影を制御する投影制御手段と、
   を備える情報処理システム。
8. 投影面の光の透過を透過状態に制御しているタイミングで撮影装置が投影面を隔てて位置する撮影対象を撮影するよう制御し、前記投影面の光の透過を透過抑制状態に制御しているタイミングで投影画像を前記投影面に投影するよう制御し、
   前記撮影装置の撮影制御を行い、
   前記撮影装置が撮影した撮影画像に写る人物の位置または前記人物の顔の位置と、撮影画像において予め規定された人物の位置または前記人物の顔の位置とを比較して、前記撮影画像に写る人物が当該撮影画像において写るべき位置に移動する移動方向を判定し、
   前記移動方向を示す移動案内情報の投影装置による前記投影面への投影を制御する
   処理方法。
9. 情報処理装置のコンピュータを、
   投影面の光の透過を透過状態に制御しているタイミングで撮影装置が投影面を隔てて位置する撮影対象を撮影するよう制御し、前記投影面の光の透過を透過抑制状態に制御しているタイミングで投影画像を前記投影面に投影するよう制御するタイミング制御手段、
   前記撮影装置の撮影制御を行う撮影制御手段、
   前記撮影装置が撮影した撮影画像に写る人物の位置または前記人物の顔の位置と、撮影画像において予め規定された人物の位置または前記人物の顔の位置とを比較して、前記撮影画像に写る人物が当該撮影画像において写るべき位置に移動する移動方向を判定する移動方向判定手段、
   前記移動方向を示す移動案内情報の投影装置による前記投影面への投影を制御する投影制御手段、
   として機能させるプログラム。

Images