JP7401338B2 - 情報処理装置、プログラム及び情報処理方法 - Google Patents
情報処理装置、プログラム及び情報処理方法 Download PDFInfo
- Publication number
- JP7401338B2 JP7401338B2 JP2020026831A JP2020026831A JP7401338B2 JP 7401338 B2 JP7401338 B2 JP 7401338B2 JP 2020026831 A JP2020026831 A JP 2020026831A JP 2020026831 A JP2020026831 A JP 2020026831A JP 7401338 B2 JP7401338 B2 JP 7401338B2
- Authority
- JP
- Japan
- Prior art keywords
- face images
- area
- row
- determination threshold
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 13
- 238000003672 processing method Methods 0.000 title claims description 4
- 230000001815 facial effect Effects 0.000 claims description 94
- 238000009826 distribution Methods 0.000 claims description 54
- 238000001514 detection method Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 20
- 238000012545 processing Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000012937 correction Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000004378 air conditioning Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/593—Recognising seat occupancy
Description
本発明は、情報処理装置、プログラム及び情報処理方法に関する。
従来、カメラの撮影画像により車室内の乗員を検知する技術が知られている。例えば、特許文献１は、カメラの撮影画像から複数個の顔領域を検出する処理を実行する顔領域検出部と、複数個の顔領域のうちのいずれか２個以上の顔領域を含む座席領域が存在するか否かを判定する第１判定部と、２個以上の顔領域を含む座席領域が存在する状態の継続時間が基準時間を超えたか否かを判定する第２判定部と、継続時間が基準時間を超えたとき、警告を出力する制御を実行する警告出力制御部と、を備える乗員検知装置を開示する。
撮影画像から顔画像が複数検出された場合に、これら複数の顔画像に対応する乗員が着座した位置の前後関係を判定したい場合がある。例えば、車両において、乗員の好みに応じて空調を変更する場合に、乗員の着座位置の前後関係を判定したい場合がある。
本発明は上記事情に鑑みてなされたものであり、車室内を撮影した撮影画像から、乗員が着座した位置の前後関係を判定する判定精度を向上させることを目的とする。
上記課題を解決するため、本発明の情報処理装置は、車両の車室内を撮影した撮影画像から、前記車両に搭乗した乗員の顔画像を検出する検出部と、前記検出部により複数の顔画像が検出された場合に、検出された前記複数の顔画像の面積を判定しきい値と比較して、前記複数の顔画像の各々に対応する乗員の着座位置の前後を判定する判定部と、を備え、前記判定部は、前記撮影画像を、前記車両の長手方向に平行な方向で、運転席を含む第１領域と、助手席を含む第２領域とに分割し、前記第１領域又は前記第２領域で前記複数の顔画像が検出された場合に、前記複数の顔画像の面積を前記判定しきい値と比較して、前記複数の顔画像の各々に対応する乗員の着座位置の前後を判定することを特徴とする。
本発明によれば、車室内を撮影した撮影画像から、乗員が着座した位置の前後関係を判定する判定精度を向上させることができる。
図１は、本発明を適用した情報通信システム１のシステム構成を示す図である。
情報通信システム１は、車両３に搭載された車載装置１０と、車載装置１０にサービスを提供するサーバ装置１００とを備え、これらの装置が通信ネットワーク網５を介して相互にデータ通信可能な構成である。サーバ装置１００は、本発明の情報処理装置に相当する。通信ネットワーク網５は、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）専用通信回線、基地局等を含む移動体通信網等によって構築される。
情報通信システム１は、車両３に搭載された車載装置１０と、車載装置１０にサービスを提供するサーバ装置１００とを備え、これらの装置が通信ネットワーク網５を介して相互にデータ通信可能な構成である。サーバ装置１００は、本発明の情報処理装置に相当する。通信ネットワーク網５は、例えば、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）専用通信回線、基地局等を含む移動体通信網等によって構築される。
図２は、車載装置１０の構成を示す図である。
車載装置１０は、無線通信部１１、カメラ１３、操作部１５、電装装置１７及び制御部２０を備える。車載装置１０は、車両３の車室内を撮影したカメラ１３の撮影画像をサーバ装置１００に送信し、サーバ装置１００から受信した情報に基づいて電装装置１７を制御する。
車載装置１０は、無線通信部１１、カメラ１３、操作部１５、電装装置１７及び制御部２０を備える。車載装置１０は、車両３の車室内を撮影したカメラ１３の撮影画像をサーバ装置１００に送信し、サーバ装置１００から受信した情報に基づいて電装装置１７を制御する。
無線通信部１１は、制御部２０の制御に従ってサーバ装置１００と通信を行い、各種のデータを送受信する。
図３は、車両３のシート配列の一例を示す図である。
ここで車両３が備えるシートのシート配列の一例について説明する。本実施形態の車両３は、第１列５１、第２列５３及び第３列５５の３列からなる３列シートを備える。第１列５１は、シート５１ａ及びシート５１ｂの２つのシートを有する。第２列５３は、シート５３ａ、シート５３ｂ及びシート５３ｃの３つのシートを有する。第３列５５は、シート５５ａ及びシート５５ｂの２つのシートを有する。本実施形態において、第１列５１は、本発明の前列に相当する。また、第２列５３は、本発明の後列に相当する。
ここで車両３が備えるシートのシート配列の一例について説明する。本実施形態の車両３は、第１列５１、第２列５３及び第３列５５の３列からなる３列シートを備える。第１列５１は、シート５１ａ及びシート５１ｂの２つのシートを有する。第２列５３は、シート５３ａ、シート５３ｂ及びシート５３ｃの３つのシートを有する。第３列５５は、シート５５ａ及びシート５５ｂの２つのシートを有する。本実施形態において、第１列５１は、本発明の前列に相当する。また、第２列５３は、本発明の後列に相当する。
カメラ１３は、車両３の車室内を撮影する。本実施形態のカメラ１３は、第１列５１及び第２列５３に着座した乗員の顔を撮影可能なように向き、画角、設置位置等が設定されている。カメラ１３は、例えば、ダッシュボード、ルームミラー、天井等に設置可能である。本実施形態では、車室内に１つのカメラ１３を設置した場合について説明するが、複数のカメラ１３を車室内に設置してもよい。カメラ１３は、制御部２０の制御に従って車室内を撮影し、生成した撮影画像を制御部２０に出力する。
操作部１５は、乗員の操作を受け付ける受付部として機能する。操作部１５は、スイッチやボタン等のハードウェアを備え、操作を受け付けたハードウェアに対応した操作信号を制御部２０に出力する。
電装装置１７は、車両３に搭載された電子装置であり、例えば、車室内の空調を制御する空気調和装置や、オーディオ装置、パワーシート等が含まれる。
電装装置１７は、制御部２０の制御に従って動作する。例えば、空気調和装置は、制御部２０により設定された温度及び風量で動作し、オーディオ装置は、制御部２０により選択された音楽を再生する。また、パワーシートは、シート位置や、背もたれの角度を、制御部２０の制御に従って変更する。
電装装置１７は、制御部２０の制御に従って動作する。例えば、空気調和装置は、制御部２０により設定された温度及び風量で動作し、オーディオ装置は、制御部２０により選択された音楽を再生する。また、パワーシートは、シート位置や、背もたれの角度を、制御部２０の制御に従って変更する。
制御部２０は、記憶部２１と、プロセッサ２３とを備えるコンピュータである。
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、フラッシュメモリ等のメモリにより構成される。プロセッサ２３は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro-processing unit）により構成される。
記憶部２１は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random access memory）、フラッシュメモリ等のメモリにより構成される。プロセッサ２３は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro-processing unit）により構成される。
記憶部２１は、プロセッサ２３が実行するコンピュータプログラムと、車載装置１０を識別する識別情報である車載装置ＩＤと、車両３を運転する乗員のユーザＩＤとを記憶する。車両３を複数の乗員が運転する場合、記憶部２１は、複数のユーザＩＤを記憶する。
制御部２０は、予め設定された条件が成立した場合に、カメラ１３に撮影を実行させ、車室内を撮影した撮影画像を取得する。制御部２０は、取得した撮影画像を含む識別要求を、通信ネットワーク網５を介してサーバ装置１００に送信する。識別要求は、撮影画像に撮影された乗員を識別し、識別した乗員に関する情報を取得する要求である。また、識別要求には、撮影画像の他に、車載装置ＩＤが含まれる。また、予め設定された条件には、例えば、操作部１５が操作を受け付けた場合、ドアロックが解除され、ドアロックの解除から所定時間を経過した場合等が挙げられる。また、車両３のシートに乗員の着座を検出するセンサを設け、このセンサにより乗員がシートに着座したことが検出された場合を予め設定された条件に含めてもよい。
図４は、サーバ装置１００の構成を示す図である。
サーバ装置１００は、通信部１０１と、サーバ制御部１１０とを備え、車載装置１０に対してサービスを提供する。サーバ装置１００が提供するサービスには、例えば、車載装置１０から撮影画像を受信し、受信した撮影画像に撮影された乗員を特定するサービスが含まれる。また、サービスには、特定した乗員の好みの音楽や、シート位置や、背もたれの角度、空気調和装置の温度等を車載装置１０に通知するサービスが含まれる。
サーバ装置１００は、通信部１０１と、サーバ制御部１１０とを備え、車載装置１０に対してサービスを提供する。サーバ装置１００が提供するサービスには、例えば、車載装置１０から撮影画像を受信し、受信した撮影画像に撮影された乗員を特定するサービスが含まれる。また、サービスには、特定した乗員の好みの音楽や、シート位置や、背もたれの角度、空気調和装置の温度等を車載装置１０に通知するサービスが含まれる。
通信部１０１は、通信ネットワーク網５に接続され、サーバ制御部１１０の制御に従い、車載装置１０と相互にデータ通信を行う。
サーバ制御部１１０は、記憶部１２０と、プロセッサ１３０とを備えるコンピュータである。記憶部１２０は、ＲＯＭやＲＡＭ等のメモリと、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のストレージ装置とを備える。
記憶部１２０は、プロセッサ１３０が実行するコンピュータプログラムの他に、ユーザ情報テーブル１２１、顔画像テーブル１２３及び補正係数１２５を記憶する。
図５は、ユーザ情報テーブル１２１の構成を示す図である。
ユーザ情報テーブル１２１は、車両３を運転する運転者の個人識別情報と、運転者の顔画像である登録顔画像とを、車両３を識別する車載装置ＩＤに対応づけて登録したテーブルである。個人識別情報と登録顔画像とを総称してユーザ情報という。個人識別情報には、ユーザＩＤと、パスワードとが含まれる。
本システムの利用者は、例えば、スマートフォン等の携帯端末を利用して、個人識別情報であるユーザＩＤやパスワード、携帯端末で撮影した顔画像をサーバ装置１００に送信して登録する。
ユーザ情報テーブル１２１は、車両３を運転する運転者の個人識別情報と、運転者の顔画像である登録顔画像とを、車両３を識別する車載装置ＩＤに対応づけて登録したテーブルである。個人識別情報と登録顔画像とを総称してユーザ情報という。個人識別情報には、ユーザＩＤと、パスワードとが含まれる。
本システムの利用者は、例えば、スマートフォン等の携帯端末を利用して、個人識別情報であるユーザＩＤやパスワード、携帯端末で撮影した顔画像をサーバ装置１００に送信して登録する。
図６は、顔画像テーブル１２３の構成を示す図である。
顔画像テーブル１２３には、カメラ１３の撮影画像から検出された顔画像が、このカメラ１３を搭載した車両３の車載装置ＩＤに対応づけて登録されている。顔画像テーブル１２３には、顔画像として第１列顔画像と、第２列顔画像とが登録される。サーバ制御部１１０は、カメラ１３の撮影画像を第１領域３１と第２領域３３との２つの領域に分割する。サーバ制御部１１０は、車両３の長手方向に平行な方向で、撮影画像を第１領域３１と第２領域３３とに分割する。第１領域３１は、図３に示すように、運転席を含む領域であり、第２領域３３は、図３に示すように、助手席を含む領域である。サーバ制御部１１０は、第１領域３１及び第２領域３３で顔画像を検出し、１つの領域に２つの顔画像が検出された場合、これらの顔画像を顔画像テーブル１２３に登録する。サーバ制御部１１０は、２つ検出した顔画像のうち、面積が大きい顔画像を第１列顔画像に分類して顔画像テーブル１２３に登録し、面積が小さい顔画像を第２列顔画像に分類して顔画像テーブル１２３に登録する。
また、顔画像テーブル１２３には、登録された顔画像の面積を示す画素数が、顔画像に対応づけて登録される。
顔画像テーブル１２３には、カメラ１３の撮影画像から検出された顔画像が、このカメラ１３を搭載した車両３の車載装置ＩＤに対応づけて登録されている。顔画像テーブル１２３には、顔画像として第１列顔画像と、第２列顔画像とが登録される。サーバ制御部１１０は、カメラ１３の撮影画像を第１領域３１と第２領域３３との２つの領域に分割する。サーバ制御部１１０は、車両３の長手方向に平行な方向で、撮影画像を第１領域３１と第２領域３３とに分割する。第１領域３１は、図３に示すように、運転席を含む領域であり、第２領域３３は、図３に示すように、助手席を含む領域である。サーバ制御部１１０は、第１領域３１及び第２領域３３で顔画像を検出し、１つの領域に２つの顔画像が検出された場合、これらの顔画像を顔画像テーブル１２３に登録する。サーバ制御部１１０は、２つ検出した顔画像のうち、面積が大きい顔画像を第１列顔画像に分類して顔画像テーブル１２３に登録し、面積が小さい顔画像を第２列顔画像に分類して顔画像テーブル１２３に登録する。
また、顔画像テーブル１２３には、登録された顔画像の面積を示す画素数が、顔画像に対応づけて登録される。
補正係数１２５は、撮影画像に撮影された顔画像の面積を補正する係数である。
記憶部１２０は、撮影画像に撮影された乗員の性別や、年齢、撮影された顔の向きに応じた補正係数１２５をそれぞれ記憶する。
撮影された顔画像が女性の顔であった場合に、顔画像の面積を増加させる補正係数１２５として、例えば、「１．２」が用意されている。サーバ制御部１１０は、検出した顔画像に含まれる毛髪の長さに基づいて乗員の性別を判定してもよいし、顔画像から、左目端点、右目端点、鼻頂点、口左端、口右端、顎の先等の特徴点を検出して乗員の性別を判定してもよい。
記憶部１２０は、撮影画像に撮影された乗員の性別や、年齢、撮影された顔の向きに応じた補正係数１２５をそれぞれ記憶する。
撮影された顔画像が女性の顔であった場合に、顔画像の面積を増加させる補正係数１２５として、例えば、「１．２」が用意されている。サーバ制御部１１０は、検出した顔画像に含まれる毛髪の長さに基づいて乗員の性別を判定してもよいし、顔画像から、左目端点、右目端点、鼻頂点、口左端、口右端、顎の先等の特徴点を検出して乗員の性別を判定してもよい。
また、撮影された顔画像の年齢が設定値以下（例えば、１０歳以下）であると判定される場合に、顔画像の面積を増加させる補正係数１２５として、例えば、「１．５」が用意されている。サーバ制御部１１０は、検出した顔画像のサイズ（画素数）が所定値よりも小さい場合、検出した顔画像の乗員の年齢が設定値以下であると判定する。
また、撮影された顔画像の向き、例えば、ロール角、ピッチ角及びヨー角の少なくとも１つが設定角度以上である場合の補正係数１２５が用意されている。例えば、サーバ制御部１１０は、検出した顔画像から、左目端点、右目端点、鼻頂点、口左端、口右端、顎の先等の特徴点を検出し、検出した特徴点の位置関係に基づいてロール角、ピッチ角及びヨー角を判定してもよい。
プロセッサ１３０は、ＣＰＵやＭＰＵにより構成される。サーバ制御部１１０は、記憶部１２０が記憶するコンピュータプログラムをプロセッサ１３０が実行することで各種の機能的構成を実現する。サーバ制御部１１０は、機能的構成として検出部１３１、判定部１３３及び設定部１３５を備える。
検出部１３１は、車載装置１０から識別要求を受信すると、受信した識別要求に含まれる撮影画像を取得する。検出部１３１は、取得した撮影画像を、第１領域３１と第２領域３３との２つの領域に分割する。検出部１３１は、第１領域３１と、第２領域３３とのそれぞれの領域に対して顔画像の検出を行う。
顔画像の検出方法は任意であり、例えば、検出部１３１は、撮像画像に含まれる目、眉毛、鼻、口等の特徴点を検出することで顔画像を検出してもよい。また、検出部１３１は、予め用意されたテンプレート画像を撮影画像上で動かし、テンプレート画像との一致度がしきい値以上の領域を顔画像として検出するテンプレートマッチングを行ってもよい。
検出部１３１は、撮影画像から、検出した乗員の顔を含む所定範囲の画像を、顔画像として抽出する。本実施形態では、検出部１３１は、乗員の顔を含む矩形の画像を顔画像として抽出する。検出部１３１は、抽出した顔画像を判定部１３３に出力する。
判定部１３３は、検出部１３１により顔画像が検出された場合、検出された顔画像の乗員が第１列５１のシートに着座しているのか、第２列５３のシートに着座しているのかを判定する。判定部１３３は、設定部１３５が設定した判定しきい値を用いて、顔画像の乗員が第１列５１のシートに着座しているのか、第２列５３のシートに着座しているのかを判定する。
まず、判定部１３３は、検出部１３１が検出した顔画像の面積を算出する。具体的には、判定部１３３は、顔画像の画素数を計数し、計数結果の画素数を顔画像の面積として使用する。
次に、判定部１３３は、算出した顔画像の乗員の性別や、年齢、顔の向き等を判定する。判定部１３３は、判定した顔画像の乗員が女性である場合や、年齢が設定値以下である場合、顔の向きを示すロール角、ピッチ角及びヨー角の少なくとも１つが設定角度以上である場合、対応する補正係数１２５により顔画像の面積を示す画素数を補正する。
次に、判定部１３３は、算出した顔画像の面積を判定しきい値と比較する。判定部１３３は、顔画像の面積を示す画素数が、判定しきい値以下である場合、顔画像に対応する乗員は、第３列５５に着座していると判定する。また、判定部１３３は、顔画像の面積を示す画素数が、判定しきい値よりも大きい場合、顔画像に対応する乗員は、第１列５１に着座していると判定する。
また、判定部１３３は、設定部１３５が判定しきい値を生成していない場合、学習中である旨を車載装置１０に通知する。学習とは、顔画像の面積から、乗員が第２列５３に着座しているのか、第３列５５に着座しているのかを判定する判定しきい値を生成するための学習を意味する。
設定部１３５は、判定しきい値を設定する。判定しきい値は、撮影画像から検出した顔画像の乗員が、第１列５１のシートに着座しているのか、第２列５３のシートに着座しているのかを、顔画像の面積に基づいて判定するしきい値である。
第１列５１に着座した乗員の顔画像の面積と、第２列５３に着座した乗員の顔画像の面積とは、カメラ１３からの距離の二乗に反比例する。カメラ１３と、乗員との距離は、カメラ１３の取り付け位置や車種によって異なり、カメラ１３の撮影画像から乗員までの距離を推測するためには、事前のキャリブレーションが必要になり、ユーザには手間のかかる作業となる。
このため、本実施形態では、設定部１３５が、以下に示す手順により、第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員の顔画像とを判別する判定しきい値を設定する。そして、判定部１３３が、設定部１３５が設定した判定しきい値を用いて、撮影画像から検出した顔画像の乗員が第１列５１に着座しているのか、第２列５３に着座しているのかを判定する。
このため、本実施形態では、設定部１３５が、以下に示す手順により、第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員の顔画像とを判別する判定しきい値を設定する。そして、判定部１３３が、設定部１３５が設定した判定しきい値を用いて、撮影画像から検出した顔画像の乗員が第１列５１に着座しているのか、第２列５３に着座しているのかを判定する。
まず、設定部１３５は、識別要求に含まれる撮影画像に２つの顔画像が検出された場合、検出された顔画像の面積を示す画素数をそれぞれ求める。設定部１３５は、２つの顔画像の画素数を比較し、画素数が多い顔画像と、この顔画像の画素数とを第１列顔画像に分類して顔画像テーブル１２３に登録する。設定部１３５は、識別要求に含まれる車載装置ＩＤに対応づけて顔画像と、画素数とを顔画像テーブル１２３に登録する。
また、設定部１３５は、２つの顔画像のうち、画素数が少ない顔画像と、この顔画像の画素数とを第２列顔画像に分類して顔画像テーブル１２３に登録する。設定部１３５は、識別要求に含まれる車載装置ＩＤに対応づけて顔画像と、画素数とを顔画像テーブル１２３に登録する。
また、設定部１３５は、２つの顔画像のうち、画素数が少ない顔画像と、この顔画像の画素数とを第２列顔画像に分類して顔画像テーブル１２３に登録する。設定部１３５は、識別要求に含まれる車載装置ＩＤに対応づけて顔画像と、画素数とを顔画像テーブル１２３に登録する。
次に、設定部１３５は、判定しきい値を設定する。設定部１３５は、第１列顔画像の面積の分布と、第２列顔画像の面積の分布とに基づいて判定しきい値を設定する。
まず、設定部１３５は、識別要求から取得した車載装置ＩＤに対応づけて顔画像テーブル１２３に登録された第１列顔画像の画素数の平均値と、標準偏差とを求める。同様に、設定部１３５は、識別要求から取得した車載装置ＩＤに対応づけて顔画像テーブル１２３に登録された第２列顔画像の画素数の平均値と、標準偏差とを求める。
まず、設定部１３５は、識別要求から取得した車載装置ＩＤに対応づけて顔画像テーブル１２３に登録された第１列顔画像の画素数の平均値と、標準偏差とを求める。同様に、設定部１３５は、識別要求から取得した車載装置ＩＤに対応づけて顔画像テーブル１２３に登録された第２列顔画像の画素数の平均値と、標準偏差とを求める。
設定部１３５は、生成した第１列顔画像の画素数の平均値と、標準偏差とに基づいて確率密度関数を算出する。設定部１３５は、算出した確率密度関数に基づいて、第１列顔画像の面積の正規分布を示す曲線７１を、記憶部１２０が備えるメモリに展開する。第１列顔画像の面積の正規分布は、本発明の第１正規分布に対応する。
また、設定部１３５は、生成した第２列顔画像の画素数の平均値と、標準偏差とに基づいて確率密度関数を算出する。設定部１３５は、算出した確率密度関数に基づいて、第２列顔画像の面積の正規分布を示す曲線７３を、記憶部１２０が備えるメモリに展開する。第２列顔画像の面積の正規分布は、本発明の第２正規分布に対応する。
また、設定部１３５は、生成した第２列顔画像の画素数の平均値と、標準偏差とに基づいて確率密度関数を算出する。設定部１３５は、算出した確率密度関数に基づいて、第２列顔画像の面積の正規分布を示す曲線７３を、記憶部１２０が備えるメモリに展開する。第２列顔画像の面積の正規分布は、本発明の第２正規分布に対応する。
図７は、顔画像の面積の正規分布を示す図である。
図７において、破線で示す曲線７１は、第１列５１に分類された顔画像の面積の正規分布を示す。また、図７において実線で示す曲線７３は、第２列５３に分類された顔画像の面積の正規分布を示す。図７において、縦軸は乗員数を示し、横軸は顔画像の画素数（ピクセル）を示す。
図７において、破線で示す曲線７１は、第１列５１に分類された顔画像の面積の正規分布を示す。また、図７において実線で示す曲線７３は、第２列５３に分類された顔画像の面積の正規分布を示す。図７において、縦軸は乗員数を示し、横軸は顔画像の画素数（ピクセル）を示す。
図８は、第１列５１に分類された顔画像の面積の正規分布と、第２列５３に分類された顔画像の面積の正規分布との和の曲線７５を示す図である。
図８に示す曲線７５は、第１列５１に分類された顔画像の面積の正規分布と、第２列５３に分類された顔画像の面積の正規分布との和を示す。すなわち、図７に示す曲線７１と曲線７３との和を示す。
図８に示す曲線７５は、第１列５１に分類された顔画像の面積の正規分布と、第２列５３に分類された顔画像の面積の正規分布との和を示す。すなわち、図７に示す曲線７１と曲線７３との和を示す。
設定部１３５は、２つの正規分布の和を求めると、求めた正規分布の和を示す曲線７５において、乗員数が極小値となる画素数を判定する。設定部１３５は、乗員数が極小値を取る画素数を検出できなかった場合、エラーを出力する。また、設定部１３５は、乗員数が極小値を取る画素数を検出した場合、この画素数を判定しきい値に設定する。
次に、設定部１３５は、設定した判定しきい値に対する信頼度Ｃ（Ｔ）を算出する。
設定部１３５は、下記に示す式（１）により信頼度Ｃ（Ｔ）を算出する。
式（１）において、Ｔは判定しきい値を示す。μＦは、第１列５１における顔画像の面積の平均値を示す。σＦは、第１列５１における顔画像の面積の標準偏差を示す。μＲは、第２列５３における顔画像の平均値を示す。σＲは、第２列５３における顔画像の標準偏差を示す。また、ｆ（ｘ）は、第１列５１に分類された顔画像の面積の正規分布と、第２列５３に分類された顔画像の面積の正規分布との和を示す確率密度関数であり、ｘは画素数を示す。
設定部１３５は、下記に示す式（１）により信頼度Ｃ（Ｔ）を算出する。
式（１）において、Ｔは判定しきい値を示す。μＦは、第１列５１における顔画像の面積の平均値を示す。σＦは、第１列５１における顔画像の面積の標準偏差を示す。μＲは、第２列５３における顔画像の平均値を示す。σＲは、第２列５３における顔画像の標準偏差を示す。また、ｆ（ｘ）は、第１列５１に分類された顔画像の面積の正規分布と、第２列５３に分類された顔画像の面積の正規分布との和を示す確率密度関数であり、ｘは画素数を示す。
設定部１３５は、生成したＣ（Ｔ）の値を、予め設定した基準値と比較し、Ｃ（Ｔ）の値が基準値よりも小さい場合、判定しきい値に基づいて第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員の顔画像とを区別することはできないと判定する。この場合、設定部１３５は、学習中である旨を車載装置１０に通知する。
図９は、サーバ装置１００の動作を示すフローチャートである。
図９に示すフローチャートを参照しながらサーバ装置１００の動作について説明する。
まず、サーバ制御部１１０は、車載装置１０から識別要求を受信したか否かを判定する（ステップＳ１）。サーバ制御部１１０は、識別要求を受信していない場合（ステップＳ１／ＮＯ）、処理を開始せずに識別要求を受信するまで待機する。
図９に示すフローチャートを参照しながらサーバ装置１００の動作について説明する。
まず、サーバ制御部１１０は、車載装置１０から識別要求を受信したか否かを判定する（ステップＳ１）。サーバ制御部１１０は、識別要求を受信していない場合（ステップＳ１／ＮＯ）、処理を開始せずに識別要求を受信するまで待機する。
また、サーバ制御部１１０は、識別要求を受信した場合（ステップＳ１／ＹＥＳ）、識別要求に含まれる車載装置ＩＤを取得する（ステップＳ２）。サーバ制御部１１０は、取得した車載装置ＩＤに対応づけて記憶部１２０に記憶させた信頼度を取得し、取得した信頼度の数値が基準値よりも大きいか否かを判定する（ステップＳ３）。
サーバ制御部１１０は、取得した信頼度の数値が基準値よりも大きい場合（ステップＳ３／ＹＥＳ）、識別要求に含まれる撮影画像を取得し、取得した撮影画像を解析して顔画像を検出する（ステップＳ４）。ステップＳ４は、本発明の検出手順及び検出ステップに相当する。サーバ制御部１１０は、撮影画像から顔画像を検出できなかった場合（ステップＳ４／ＮＯ）、識別要求を受信した車載装置１０に、撮影画像の再送を要求する（ステップＳ５）。
また、サーバ制御部１１０は、撮影画像から顔画像を検出した場合（ステップＳ４／ＹＥＳ）、検出した顔画像の面積である画素数を算出する（ステップＳ６）。ここで、サーバ制御部１１０は、撮影画像から複数の顔画像を検出した場合、検出した複数の顔画像の面積をそれぞれ算出する。
次に、サーバ制御部１１０は、撮影画像の第１領域３１又は第２領域３３から２つの顔画像が検出されたか否かを判定する（ステップＳ７）。サーバ制御部１１０は、車室の運転席側の領域である第１領域３１、又は助手席側の座席である第２領域３３から２つの２つの顔画像が検出されたか否かを判定する。サーバ制御部１１０は、撮影画像の第１領域３１又は第２領域３３から２つの顔画像が検出されなかった場合（ステップＳ７／ＮＯ）、ステップＳ４で検出した顔画像から特徴量を抽出し、抽出した特徴量に基づいて乗員を特定する（ステップＳ１０）。サーバ制御部１１０は、特定した乗員のユーザＩＤを車載装置１０に通知する（ステップＳ１１）。
また、サーバ制御部１１０は、撮影画像の第１領域３１又は第２領域３３から２つの顔画像が検出された場合（ステップＳ７／ＹＥＳ）、検出された複数の顔画像の面積を判定しきい値とそれぞれ比較し、顔画像の前後を判定する（ステップＳ８）。すなわち、サーバ制御部１１０は、面積が判定しきい値以下の顔画像を、第２列５３に着座した乗員の顔画像と判定する。また、サーバ制御部１１０は、面積が判定しきい値よりも大きい顔画像を、第１列５１に着座した乗員の顔画像と判定する。ステップＳ８は、本発明の判定手順及び判定ステップに相当する。
次に、サーバ制御部１１０は、顔画像の前後の判定に成功したか否かを判定する（ステップＳ９）。サーバ制御部１１０は、例えば、２つの顔画像を第１列５１に着座した乗員の顔画像であると判定した場合や、２つの顔画像を第２列５３に着座した乗員の顔画像であると判定した場合には、判定失敗と判定する（ステップＳ９／ＮＯ）。また、サーバ制御部１１０は、２つの顔画像を、第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員の顔画像とに分離した場合、判定成功と判定する（ステップＳ９／ＹＥＳ）。
サーバ制御部１１０は、判定成功と判定した場合、それぞれの顔画像から特徴量を抽出し、抽出した特徴量に基づいて乗員を特定する（ステップＳ１０）。サーバ制御部１１０は、特定した乗員のユーザＩＤと、このユーザＩＤの乗員が第１列５１のシートに着座しているのか、第２列５３のシートに着座しているのかを示す情報とを車載装置１０に通知する（ステップＳ１１）。また、サーバ制御部１１０は、判定失敗と判定した場合（ステップＳ９／ＮＯ）、ステップＳ１５の処理に移行し、判定しきい値を再設定する。ステップＳ１５以降の処理については後述する。
また、サーバ制御部１１０は、ステップＳ３の判定において、信頼度が基準値以下であると判定した場合（ステップＳ３／ＮＯ）、識別要求に含まれる撮影画像を取得し、取得した撮影画像から顔画像を検出する（ステップＳ１２）。サーバ制御部１１０は、撮影画像から顔画像を検出すると、撮影画像の第１領域３１又は第２領域３３から２つの顔画像が検出されたか否かを判定する（ステップＳ１３）。
サーバ制御部１１０は、撮影画像の第１領域３１又は第２領域３３から２つの顔画像が検出されなかった場合（ステップＳ１３／ＮＯ）、判定しきい値の学習中である旨を車載装置１０に通知し(ステップＳ２０)、この処理フローを終了する。
また、サーバ制御部１１０は、撮影画像の第１領域３１又は第２領域３３から２つの顔画像を検出した場合（ステップＳ１３／ＹＥＳ）、検出した顔画像の面積である画素数をそれぞれ算出する（ステップＳ１４）。サーバ制御部１１０は、顔画像の面積をそれぞれ算出すると、算出した顔画像の面積や、顔画像テーブル１２３に登録された顔画像等に基づいて判定しきい値を設定する（ステップＳ１５）。ステップＳ１５の詳細については、図１０に示すフローチャートを参照しながら説明する。
次に、サーバ制御部１１０は、ステップＳ１５の処理により判定しきい値を設定することができず、ステップＳ１５の処理の結果がエラー出力となったか否かを判定する（ステップＳ１６）。サーバ制御部１１０は、ステップＳ１５の処理の結果がエラー出力である場合（ステップＳ１６／ＹＥＳ）、判定しきい値の学習中である旨を車載装置１０に通知し(ステップＳ２０)、この処理フローを終了する。
また、サーバ制御部１１０は、ステップＳ１５の処理の結果がエラー出力ではない場合（ステップＳ１６／ＮＯ）、すなわち、判定しきい値を設定することができた場合、ステップＳ８の判定に用いる判定しきい値を、設定した判定しきい値に更新する（ステップＳ１７）。その後、サーバ制御部１１０は、上述した式（１）により信頼度を算出し（ステップＳ１８）、算出した信頼度を車載装置ＩＤに対応づけて記憶部１２０に記憶させる（ステップＳ１９）。その後、サーバ制御部１１０は、判定しきい値の学習中である旨を車載装置１０に通知し(ステップＳ２０)、この処理フローを終了する。
図１０は、図９のステップＳ１５の詳細な手順を示すフローチャートである。
図１０に示すフローチャートを参照しながらステップＳ１５の詳細な手順について説明する。
まず、サーバ制御部１１０は、ステップＳ２で取得した車載装置ＩＤに対応づけて顔画像テーブル１２３に登録した顔画像、及び顔画像の面積を示す画素数を取得する（ステップＳ１５１）。
図１０に示すフローチャートを参照しながらステップＳ１５の詳細な手順について説明する。
まず、サーバ制御部１１０は、ステップＳ２で取得した車載装置ＩＤに対応づけて顔画像テーブル１２３に登録した顔画像、及び顔画像の面積を示す画素数を取得する（ステップＳ１５１）。
サーバ制御部１１０は、第１列５１に分類された顔画像の面積の平均値、及び標準偏差を算出し、第２列５３に分類された顔画像の面積の平均値、及び標準偏差を算出する（ステップＳ１５２）。
次に、サーバ制御部１１０は、算出した顔画像の面積の平均値及び標準偏差に基づき、確率密度関数を、第１列５１及び第２列５３でそれぞれ算出する（ステップＳ１５３）。サーバ制御部１１０は、算出した確率密度関数に基づいて、第１列５１に分類された顔画像の面積の正規分布を示す曲線７１と、第２列５３に分類された顔画像の面積の正規分布を示す曲線７３とを記憶部１２０のメモリにそれぞれ展開する（ステップＳ１５４）。
次に、サーバ制御部１１０は、第１列５１に分類された顔画像の面積の正規分布を示す曲線７１と、第２列５３に分類された顔画像の面積の正規分布を示す曲線７３との和を求め、求めた和を示す曲線７５を記憶部１２０のメモリに展開する（ステップＳ１５５）。
サーバ制御部１１０は、正規分布を示す曲線７１及び曲線７３の和を示す曲線７５を生成すると、この曲線７５において、乗員数が極小値となる画素数を検出する（ステップＳ１５６）。
サーバ制御部１１０は、正規分布を示す曲線７１及び曲線７３の和を示す曲線７５を生成すると、この曲線７５において、乗員数が極小値となる画素数を検出する（ステップＳ１５６）。
次に、サーバ制御部１１０は、乗員数が極小値となる画素数が検出できたか否かを判定する（ステップＳ１５７）。サーバ制御部１１０は、乗員数が極小値となる画素数を検出できなかった場合（ステップＳ１５７／ＮＯ）、エラーを出力する（ステップＳ１５９）。また、サーバ制御部１１０は、乗員数が極小値となる画素数を検出できた場合（ステップＳ１５７／ＹＥＳ）、検出した画素数を判定しきい値に設定する（ステップＳ１５８）。
上述した説明では、第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員の顔画像との前後を判定する場合について説明したが、第２列５３に着座した乗員の顔画像と、第３列５５に着座した乗員の顔画像とを対象として、顔画像の前後を判定してもよい。この場合、第２列５３は、本発明の前列に相当する。また、第３列５５は、本発明の後列に相当する。
以上説明したように本実施形態のサーバ装置１００は、検出部１３１と、判定部１３３とを備える。
検出部１３１は、車両３の車室内を撮影した撮影画像から、車両に搭乗した乗員の顔画像を検出する。
判定部１３３は、検出部１３１により複数の顔画像が検出された場合に、検出された複数の顔画像の面積を判定しきい値と比較して、複数の顔画像の各々に対応する乗員の着座位置の前後を判定する。
検出部１３１は、車両３の車室内を撮影した撮影画像から、車両に搭乗した乗員の顔画像を検出する。
判定部１３３は、検出部１３１により複数の顔画像が検出された場合に、検出された複数の顔画像の面積を判定しきい値と比較して、複数の顔画像の各々に対応する乗員の着座位置の前後を判定する。
また、判定部１３３は、撮影画像を、車両３の長手方向に平行な方向で、運転席を含む第１領域３１と、助手席を含む第２領域３３とに分割する。判定部１３３は、第１領域３１又は第２領域３３で複数の顔画像が検出された場合に、複数の顔画像の面積を判定しきい値と比較して、複数の顔画像の各々に対応する乗員の着座位置の前後を判定する。
従って、検出された複数の顔画像の面積を判定しきい値と比較することで、検出された顔画像に対応する乗員の着座位置が前列であるのか、後列であるのかを判定することができる。このため、乗員が着座した位置の前後関係の判定精度を向上させることができる。
従って、検出された複数の顔画像の面積を判定しきい値と比較することで、検出された顔画像に対応する乗員の着座位置が前列であるのか、後列であるのかを判定することができる。このため、乗員が着座した位置の前後関係の判定精度を向上させることができる。
また、サーバ装置１００は、判定しきい値を設定する設定部１３５を備える。設定部１３５は、検出された複数の顔画像の面積と、判定しきい値との比較の結果、複数の顔画像の各々に対応する乗員の着座位置の前後を判定することができない場合に、判定しきい値を再設定する。
従って、乗員の着座位置の前後を判定することができない場合に、判定しきい値を再設定することで、乗員の着座位置の前後の判定精度を高めることができる。
従って、乗員の着座位置の前後を判定することができない場合に、判定しきい値を再設定することで、乗員の着座位置の前後の判定精度を高めることができる。
また、サーバ装置１００は、複数の撮影画像から検出された複数の顔画像を記憶する記憶部１２０を備える。
サーバ装置１００は、１の撮影画像から検出された複数の顔画像を、複数の顔画像の面積の大小関係に基づいて、前列と後列とに分類して記憶部１２０に記憶させる。
設定部１３５は、前列に分類された顔画像の面積の分布と、後列に分類された顔画像の面積の分布とに基づいて判定しきい値を設定する。
従って、顔画像の面積を判定しきい値と比較することにより、検出された顔画像に対応する乗員の着座位置が前列であるのか、後列であるのかを判定する精度を高めることができる。
サーバ装置１００は、１の撮影画像から検出された複数の顔画像を、複数の顔画像の面積の大小関係に基づいて、前列と後列とに分類して記憶部１２０に記憶させる。
設定部１３５は、前列に分類された顔画像の面積の分布と、後列に分類された顔画像の面積の分布とに基づいて判定しきい値を設定する。
従って、顔画像の面積を判定しきい値と比較することにより、検出された顔画像に対応する乗員の着座位置が前列であるのか、後列であるのかを判定する精度を高めることができる。
設定部１３５は、前列に分類された顔画像の面積の平均値及び標準偏差に基づき、前列に分類された顔画像の面積の第１正規分布を生成し、後列に分類された顔画像の面積の平均値及び標準偏差に基づき、後列に分類された顔画像の面積の第２正規分布を生成する。
また、設定部１３５は、生成した第１正規分布及び第２正規分布に基づいて判定しきい値を生成する。
従って、精度の高い判定しきい値を生成することができ、乗員の着座位置の前後の判定精度をさらに高めることができる。
また、設定部１３５は、生成した第１正規分布及び第２正規分布に基づいて判定しきい値を生成する。
従って、精度の高い判定しきい値を生成することができ、乗員の着座位置の前後の判定精度をさらに高めることができる。
［変形例１］
変形例１では、判定しきい値を上述した実施形態とは異なる方法により算出する。変形例１において、サーバ制御部１１０は、撮影画像から２つの顔画像を検出すると、検出した２つの顔画像の面積をそれぞれ求め、求めた顔画像の面積を顔画像テーブル１２３に登録する。このとき、サーバ制御部１１０は、検出された２つの顔画像を第１列５１と第２列５３とに分類することなく顔画像テーブル１２３に登録する。そして、サーバ制御部１１０は、登録された顔画像の面積の平均値を求め、求めた顔画像の面積の平均値を判定しきい値に設定する。この変形例１では、判定しきい値の算出が容易になり、判定しきい値を設定する時間を短縮することができる。
変形例１では、判定しきい値を上述した実施形態とは異なる方法により算出する。変形例１において、サーバ制御部１１０は、撮影画像から２つの顔画像を検出すると、検出した２つの顔画像の面積をそれぞれ求め、求めた顔画像の面積を顔画像テーブル１２３に登録する。このとき、サーバ制御部１１０は、検出された２つの顔画像を第１列５１と第２列５３とに分類することなく顔画像テーブル１２３に登録する。そして、サーバ制御部１１０は、登録された顔画像の面積の平均値を求め、求めた顔画像の面積の平均値を判定しきい値に設定する。この変形例１では、判定しきい値の算出が容易になり、判定しきい値を設定する時間を短縮することができる。
［変形例２］
変形例２は、撮影画像に撮影された顔画像が、第１列５１、第２列５３及び第３列５５のいずれに着座した乗員の顔画像であるかを判定する実施例である。すなわち、この変形例では、サーバ制御部１１０は、第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員との顔画像とを判定する第１判定しきい値と、第２列５３に着座した乗員の顔画像と、第３列５５に着座した乗員の顔画像とを判定する第２判定しきい値とを生成する。この変形例２において、第１列５１は、本発明の前列に相当する。また、第２列５３及び第３列５５は、本発明の後列に相当する。
変形例２は、撮影画像に撮影された顔画像が、第１列５１、第２列５３及び第３列５５のいずれに着座した乗員の顔画像であるかを判定する実施例である。すなわち、この変形例では、サーバ制御部１１０は、第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員との顔画像とを判定する第１判定しきい値と、第２列５３に着座した乗員の顔画像と、第３列５５に着座した乗員の顔画像とを判定する第２判定しきい値とを生成する。この変形例２において、第１列５１は、本発明の前列に相当する。また、第２列５３及び第３列５５は、本発明の後列に相当する。
この変形例２では、カメラ１３が、第１列５１、第２列５３及び第３列５５を撮影可能なように向き、画角、設置位置等が設定されている。
サーバ制御部１１０は、図９及び図１０のフローチャートに示す手順に従い、撮影画像の第１領域３１又は第２領域３３から３つの顔画像を検出した場合、検出した顔画像を図６に示す顔画像テーブル１２３に登録する。すなわち、顔画像テーブル１２３には、第１列顔画像と、第２列顔画像と、第３列顔画像とが、顔画像の画素数に対応づけてそれぞれ登録される。
サーバ制御部１１０は、図１０に示すフローチャートに従い、第１列５１に分類した顔画像と、第２列５３に分類した顔画像と、第３列５５に分類した顔画像との画素数の平均値と標準偏差とをそれぞれ求める。そして、サーバ制御部１１０は、求めた顔画像の画素数の平均値と標準偏差とに基づいて確率密度関数をそれぞれ算出する。
サーバ制御部１１０は、第１列５１に分類した顔画像の画素数の平均値及び標準偏差から求めた確率密度関数により第１正規分布を示す曲線７１を記憶部１２０のメモリに生成する。また、サーバ制御部１１０は、第２列５３に分類した顔画像の画素数の平均値及び標準偏差から求めた確率密度関数により第２正規分布を示す曲線７３を記憶部１２０のメモリに生成する。また、サーバ制御部１１０は、第３列５５に分類した顔画像の画素数の平均値及び標準偏差から求めた確率密度関数により第３正規分布を示す曲線を記憶部１２０のメモリに生成する。
サーバ制御部１１０は、第１列５１に分類した顔画像の画素数の平均値及び標準偏差から求めた確率密度関数により第１正規分布を示す曲線７１を記憶部１２０のメモリに生成する。また、サーバ制御部１１０は、第２列５３に分類した顔画像の画素数の平均値及び標準偏差から求めた確率密度関数により第２正規分布を示す曲線７３を記憶部１２０のメモリに生成する。また、サーバ制御部１１０は、第３列５５に分類した顔画像の画素数の平均値及び標準偏差から求めた確率密度関数により第３正規分布を示す曲線を記憶部１２０のメモリに生成する。
また、サーバ制御部１１０は、第１正規分布、第２正規分布及び第３正規分布の３つの曲線の和を求め、求めた和の曲線において、乗員数が極小値をとる画素数を判定する。ここでは、極小値として、第１列５１に分類した顔画像の画素数と、第２列５３に分類した顔画像の画素数との境界値となる極小値と、第２列５３に分類した顔画像の画素数と、第３列５５に分類した顔画像の画素数との境界値となる極小値とが検出される。サーバ制御部１１０は、第１列５１に分類した顔画像の画素数と、第２列５３に分類した顔画像の画素数との境界値となる極小値を、第１判定しきい値に設定する。また、サーバ制御部１１０は、第２列５３に分類した顔画像の画素数と、第３列５５に分類した顔画像の画素数との境界値となる極小値を、第２判定しきい値に設定する。
また、ユーザの家族構成によっては、車両３の３列すべてに乗員が着座するケースが少ない場合もある。例えば、ユーザが第１列５１と第２列５３、又は第１列５１と第３列５５とに着座するケースが想定される。このような場合、サーバ制御部１１０は、上述した実施形態と同様に、撮影画像から２つの顔画像が検出された場合に、検出された顔画像の面積である画素数を算出し、顔画像と、算出した画素数とを顔画像テーブル１２３に登録してもよい。
この場合、サーバ制御部１１０によって生成される判定しきい値は、第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員の顔画像とを判定するしきい値、又は第１列５１に着座した乗員の顔画像と、第３列５５に着座した乗員の顔画像とを判定するしきい値となる。すなわち、ユーザが車両３の第１列５１と第２列５３に着座するケースが、第１列５１と第３列５５に着座するケースよりも多い場合、第１列５１に着座した乗員の顔画像と、第２列５３に着座した乗員の顔画像とを判定する判定しきい値が生成される。また、ユーザが車両３の第１列５１と第３列５５に着座するケースが、第１列５１と第２列５３に着座するケースよりも多い場合、第１列５１に着座した乗員の顔画像と、第３列５５に着座した乗員の顔画像とを判定する判定しきい値が生成される。
［変形例３］
変形例３では、図９に示すフローチャートのステップＳ８において顔画像の前後を判定するときに、車両３の座席情報を加味して判定を行う。
車両３の座席情報とは、車両３に搭載されたシートの列数、及び各列におけるシートの数を示す情報である。例えば、図３に示すシート配列の場合、車両３が、第１列５１、第２列５３及び第３列５５の３列シートを有し、第１列５１は、シート数が２、第２列５３はシート数が３、第３列５５は、シート数が２である。車両３の座席情報は、車載装置１０の車両３への設置時等に、ユーザが操作部１５を操作して入力してもよいし、車載装置１０が他のサーバ装置からダウンロードしてもよい。車載装置１０の制御部２０は、取得した車両３の座席情報を記憶部２１に記憶させる。制御部２０は、サーバ装置１００に識別要求を送信するときに、車両３の座席情報を記憶部２１から読み出し、識別要求と共に座席情報をサーバ装置１００に送信する。
変形例３では、図９に示すフローチャートのステップＳ８において顔画像の前後を判定するときに、車両３の座席情報を加味して判定を行う。
車両３の座席情報とは、車両３に搭載されたシートの列数、及び各列におけるシートの数を示す情報である。例えば、図３に示すシート配列の場合、車両３が、第１列５１、第２列５３及び第３列５５の３列シートを有し、第１列５１は、シート数が２、第２列５３はシート数が３、第３列５５は、シート数が２である。車両３の座席情報は、車載装置１０の車両３への設置時等に、ユーザが操作部１５を操作して入力してもよいし、車載装置１０が他のサーバ装置からダウンロードしてもよい。車載装置１０の制御部２０は、取得した車両３の座席情報を記憶部２１に記憶させる。制御部２０は、サーバ装置１００に識別要求を送信するときに、車両３の座席情報を記憶部２１から読み出し、識別要求と共に座席情報をサーバ装置１００に送信する。
また、車両３の座席情報に代えて、車両３の車種を識別する車種情報を車載装置１０の記憶部２１に記憶させておいてもよい。車載装置１０は、サーバ装置１００に識別要求を送信するときに、識別要求と共に車種情報をサーバ装置１００に送信する。サーバ装置１００は、受信した車種情報に基づいて座席情報を、他のサーバ装置から取得する、又は記憶部１２０から読み出す。
例えば、車両３の第１列５１のシート５１ａ、５１ｂと、第２列５３のシート５３ａ、５３ｂと、に乗員が着座していると仮定する。この場合、図９の示すフローチャートのステップＳ４で検出される顔画像の数は４つである。
変形例３では、サーバ制御部１１０が、検出された顔画像の数と車両３の座席情報とを組み合わせて判定する。
例えば、サーバ制御部１１０が、判定しきい値に基づき、第１列５１に着座したした乗員の顔画像の数を１つと判定し、第２列５３に着座した乗員の顔画像の数を２つと判定したと仮定する。この場合、サーバ制御部１１０は、車両３の座席情報が示す第２列５３のシート数が３つであることから、第１領域３１において、第２列５３に分類される顔画像の最大数を２と判定する。このため、サーバ制御部１１０は、第２列に着座した乗員の顔画像を２つと判定した場合であっても、顔画像の前後の判定は、判定成功と判定する。
例えば、サーバ制御部１１０が、判定しきい値に基づき、第１列５１に着座したした乗員の顔画像の数を１つと判定し、第２列５３に着座した乗員の顔画像の数を２つと判定したと仮定する。この場合、サーバ制御部１１０は、車両３の座席情報が示す第２列５３のシート数が３つであることから、第１領域３１において、第２列５３に分類される顔画像の最大数を２と判定する。このため、サーバ制御部１１０は、第２列に着座した乗員の顔画像を２つと判定した場合であっても、顔画像の前後の判定は、判定成功と判定する。
また、サーバ制御部１１０は、２つの顔画像を第１列５１に着座した乗員の顔画像と判定したと仮定する。この場合、サーバ制御部１１０は、車両３の座席情報が示す第１列５１のシート数が２つであることから、第１領域３１において、第１列５１に分類される顔画像の最大数を１と判定する。このため、サーバ装置１００は、第１列に着座した乗員の顔画像を２つと判定した場合、顔画像の前後の判定は、判定失敗と判定する。
上述した実施形態は、あくまでも本発明の一態様を例示するものであって、本発明の要旨を逸脱しない範囲で任意に変形、及び応用が可能である。例えば、上述した実施形態では、第１列顔画像に分類された顔画像の面積の正規分布を示す曲線７１と、第２列顔画像に分類された顔画像の面積の正規分布を示す曲線７３とが交差する交差点の画素数を、判定しきい値に設定してもよい。
また、図２に示す車載装置１０、及び図４に示すサーバ装置１００の構成は、これらの装置が備える機能を主な処理内容に応じて分類して示した概略図である。車載装置１０及びサーバ装置１００の構成は、処理内容に応じて、さらに多くのブロックに分割することもできる。また、この機能ブロックは、図２及び図４に示す１つのブロックによりさらに多くの処理を実行するように構成しても良い。また、各ブロックの処理は、１つのハードウェアで実行してもよいし、複数のハードウェアで実行してもよい。また、各ブロックの処理は、１つのプログラムで実現してもよいし、複数のプログラムで実現してもよい。
また、車載装置１０の構成は、図１１に示す構成であってもよい。
図１１に示す車載装置１０は、無線通信部１１、操作部１５及び制御部２０を備え、カメラ１３及び電装装置１７を備えていない。しかし、カメラ１３及び電装装置１７は、制御部２０に接続され、制御部２０の制御により動作する。
図１１に示す車載装置１０は、無線通信部１１、操作部１５及び制御部２０を備え、カメラ１３及び電装装置１７を備えていない。しかし、カメラ１３及び電装装置１７は、制御部２０に接続され、制御部２０の制御により動作する。
また、図９及び図１０に示すフローチャートの処理単位は、サーバ装置１００のサーバ制御部１１０の処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって本発明が制限されることはない。
また、サーバ制御部１１０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、サーバ制御部１１０の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできるし、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、本発明の情報処理方法をコンピュータにより実現する場合、このコンピュータに実行させるプログラムを記録媒体、又はプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、記録媒体には、フレキシブルディスク、ＨＤＤ（Hard Disk Drive）、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ、Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ、光磁気ディスクが挙げられる。また、記録媒体として、フラッシュメモリ、カード型記録媒体等の可搬型、或いは固定式の記録媒体を挙げることもできる。また、上記記録媒体は、表示装置が備える内部記憶装置であるＲＡＭ、ＲＯＭ、ＨＤＤ等の不揮発性記憶装置であってもよい。
１ 情報通信システム
３ 車両
５ 通信ネットワーク網
１０ 車載装置
１１ 無線通信部
１３ カメラ
１５ 操作部
１７ 電装装置
２０ 制御部
２１ 記憶部
２３ プロセッサ
３１ 第１領域
３３ 第２領域
５１ 第１列
５３ 第２列
５５ 第３列
５１ａ、５１ｂ、５３ａ、５３ｂ、５３ｃ、５５ａ、５５ｂ シート
７１、７３、７５ 曲線
１００ サーバ装置
１０１ 通信部
１１０ サーバ制御部
１２０ 記憶部
１２１ ユーザ情報テーブル
１２３ 顔画像テーブル
１２５ 補正係数
１３０ プロセッサ
１３１ 検出部
１３３ 判定部
１３５ 設定部
３ 車両
５ 通信ネットワーク網
１０ 車載装置
１１ 無線通信部
１３ カメラ
１５ 操作部
１７ 電装装置
２０ 制御部
２１ 記憶部
２３ プロセッサ
３１ 第１領域
３３ 第２領域
５１ 第１列
５３ 第２列
５５ 第３列
５１ａ、５１ｂ、５３ａ、５３ｂ、５３ｃ、５５ａ、５５ｂ シート
７１、７３、７５ 曲線
１００ サーバ装置
１０１ 通信部
１１０ サーバ制御部
１２０ 記憶部
１２１ ユーザ情報テーブル
１２３ 顔画像テーブル
１２５ 補正係数
１３０ プロセッサ
１３１ 検出部
１３３ 判定部
１３５ 設定部
Claims (7)
- 車両の車室内を撮影した撮影画像から、前記車両に搭乗した乗員の顔画像を検出する検出部と、
前記検出部により複数の顔画像が検出された場合に、検出された前記複数の顔画像の面積を判定しきい値と比較して、前記複数の顔画像の各々に対応する乗員の着座位置の前後を判定する判定部と、を備え、
前記判定部は、前記撮影画像を、前記車両の長手方向に平行な方向で、運転席を含む第１領域と、助手席を含む第２領域とに分割し、
前記第１領域又は前記第２領域で前記複数の顔画像が検出された場合に、前記複数の顔画像の面積を前記判定しきい値と比較して、前記複数の顔画像の各々に対応する乗員の着座位置の前後を判定する、ことを特徴とする情報処理装置。 - 前記判定しきい値を設定する設定部を備え、
前記設定部は、検出された複数の前記顔画像の面積と、前記判定しきい値との比較の結果、複数の前記顔画像の各々に対応する乗員の着座位置の前後を判定することができない場合に、前記判定しきい値を再設定する、ことを特徴とする請求項１記載の情報処理装置。 - 複数の前記撮影画像から検出された複数の顔画像を記憶する記憶部を備え、
前記記憶部は、１の前記撮影画像から検出された複数の顔画像を、前記複数の顔画像の面積の大小関係に基づいて、前列と後列とに分類して記憶し、
前記設定部は、前記前列に分類された顔画像の面積の分布と、前記後列に分類された顔画像の面積の分布とに基づいて前記判定しきい値を設定する、
ことを特徴とする請求項２記載の情報処理装置。 - 前記設定部は、
前記前列に分類された顔画像の面積の平均値及び標準偏差に基づき、前記前列に分類された顔画像の面積の第１正規分布を生成し、
前記後列に分類された顔画像の面積の平均値及び標準偏差に基づき、前記後列に分類された顔画像の面積の第２正規分布を生成し、
生成した前記第１正規分布及び前記第２正規分布に基づいて前記判定しきい値を設定する、ことを特徴とする請求項３記載の情報処理装置。 - 前記設定部は、前記判定しきい値として、前記車両の第１列のシートに着座した乗員の顔画像と、第２列のシートに着座した乗員の顔画像とを判定する第１判定しきい値と、前記第２列のシートに着座した乗員の顔画像と、第３列のシートに着座した乗員の顔画像とを判定する第２判定しきい値とを設定し、
前記記憶部は、１の前記撮影画像から検出された３つの顔画像を、前記顔画像の面積の大小関係に基づき、前記前列である第１列と、前記後列である第２列及び第３列に分類して記憶し、
前記設定部は、
前記第１列に分類された顔画像の面積の平均値及び標準偏差に基づき、前記第１列に分類された顔画像の面積の第１正規分布を生成し、
前記第２列に分類された顔画像の面積の平均値及び標準偏差に基づき、前記第２列に分類された顔画像の面積の第２正規分布を生成し、
前記第３列に分類された顔画像の面積の平均値及び標準偏差に基づき、前記第３列に分類された顔画像の面積の第３正規分布を生成し、
生成した前記第１正規分布、前記第２正規分布及び前記第３正規分布に基づいて前記第１判定しきい値と前記第２判定しきい値とを設定する、ことを特徴とする請求項３記載の情報処理装置。 - コンピュータに、
車両の車室内を撮影した撮影画像から、前記車両に搭乗した乗員の顔画像を検出する検出手順と、
前記検出手順により複数の顔画像が検出された場合に、検出された前記複数の顔画像の面積を判定しきい値と比較して、前記複数の顔画像の各々に対応する乗員の着座位置の前後を判定する判定手順と、を実行させ、
前記判定手順は、前記撮影画像を、前記車両の長手方向に平行な方向で、運転席を含む第１領域と、助手席を含む第２領域とに分割し、
前記第１領域又は前記第２領域で前記複数の顔画像が検出された場合に、前記複数の顔画像の面積を前記判定しきい値と比較して、前記複数の顔画像の各々に対応する乗員の着座位置の前後を判定する、ことを特徴とするプログラム。 - 車両の車室内を撮影した撮影画像から、前記車両に搭乗した乗員の顔画像を検出する検出ステップと、
前記検出ステップにより複数の顔画像が検出された場合に、検出された前記複数の顔画像の面積を判定しきい値と比較して、前記複数の顔画像の各々に対応する乗員の着座位置の前後を判定する判定ステップと、を有し、
前記判定ステップは、前記撮影画像を、前記車両の長手方向に平行な方向で、運転席を含む第１領域と、助手席を含む第２領域とに分割し、
前記第１領域又は前記第２領域で前記複数の顔画像が検出された場合に、前記複数の顔画像の面積を前記判定しきい値と比較して、前記複数の顔画像の各々に対応する乗員の着座位置の前後を判定する、ことを特徴とする情報処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020026831A JP7401338B2 (ja) | 2020-02-20 | 2020-02-20 | 情報処理装置、プログラム及び情報処理方法 |
| EP21155834.1A EP3869394B1 (en) | 2020-02-20 | 2021-02-08 | Information processing apparatus, program, and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020026831A JP7401338B2 (ja) | 2020-02-20 | 2020-02-20 | 情報処理装置、プログラム及び情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021131739A JP2021131739A (ja) | 2021-09-09 |
| JP7401338B2 true JP7401338B2 (ja) | 2023-12-19 |
Family
ID=74591741
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020026831A Active JP7401338B2 (ja) | 2020-02-20 | 2020-02-20 | 情報処理装置、プログラム及び情報処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3869394B1 (ja) |
| JP (1) | JP7401338B2 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007276577A (ja) | 2006-04-04 | 2007-10-25 | Takata Corp | 対象物検出システム、作動装置制御システム、車両、対象物検出方法 |
| JP2008052029A (ja) | 2006-08-24 | 2008-03-06 | Takata Corp | 撮像システム、車両乗員検出システム、作動装置制御システム、車両 |
| JP2008199515A (ja) | 2007-02-15 | 2008-08-28 | Fujifilm Corp | 同乗者着座姿勢検出・判定装置及び方法 |
| WO2019180876A1 (ja) | 2018-03-22 | 2019-09-26 | 三菱電機株式会社 | 体格推定装置および体格推定方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI532620B (zh) * | 2013-06-24 | 2016-05-11 | Utechzone Co Ltd | Vehicle occupancy number monitor and vehicle occupancy monitoring method and computer readable record media |
| US11479147B2 (en) * | 2017-07-31 | 2022-10-25 | Ford Global Technologies, Llc | Vehicle occupancy management systems and methods |
| WO2019146043A1 (ja) | 2018-01-25 | 2019-08-01 | 三菱電機株式会社 | 乗員検知装置、乗員検知システム及び乗員検知方法 |
| JP7210965B2 (ja) * | 2018-09-26 | 2023-01-24 | 株式会社アイシン | 室内監視装置 |
| DE112020007252T8 (de) * | 2020-05-29 | 2023-05-04 | Mitsubishi Electric Corporation | Insassen-Detektionsvorrichtung, Alleine-Gelassenen-Kindalarmsystem, Verfahren zum Detektieren eines Insassen und Verfahren zum Ausgeben eines Alarms über ein allein gelassenes Kind |
-
2020
- 2020-02-20 JP JP2020026831A patent/JP7401338B2/ja active Active
-
2021
- 2021-02-08 EP EP21155834.1A patent/EP3869394B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007276577A (ja) | 2006-04-04 | 2007-10-25 | Takata Corp | 対象物検出システム、作動装置制御システム、車両、対象物検出方法 |
| JP2008052029A (ja) | 2006-08-24 | 2008-03-06 | Takata Corp | 撮像システム、車両乗員検出システム、作動装置制御システム、車両 |
| JP2008199515A (ja) | 2007-02-15 | 2008-08-28 | Fujifilm Corp | 同乗者着座姿勢検出・判定装置及び方法 |
| WO2019180876A1 (ja) | 2018-03-22 | 2019-09-26 | 三菱電機株式会社 | 体格推定装置および体格推定方法 |
Non-Patent Citations (1)
| Title |
|---|
| 後藤 祐，ディリクレ過程事前分布ＥＭアルゴリズムによる顔画像検出，電子情報通信学会技術研究報告 Ｖｏｌ．１０８ Ｎｏ．４３２，日本，社団法人電子情報通信学会，2009年，Ｖｏｌ．１０８ Ｎｏ．４３２，p.37－p.42 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3869394B1 (en) | 2024-04-17 |
| EP3869394A1 (en) | 2021-08-25 |
| JP2021131739A (ja) | 2021-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5127392B2 (ja) | 分類境界確定方法及び分類境界確定装置 | |
| US20050196069A1 (en) | Method, apparatus, and program for trimming images | |
| US9928404B2 (en) | Determination device, determination method, and non-transitory storage medium | |
| US20120148117A1 (en) | System and method for facial identification | |
| US7542591B2 (en) | Target object detecting method, apparatus, and program | |
| US8055016B2 (en) | Apparatus and method for normalizing face image used for detecting drowsy driving | |
| EP2079039A2 (en) | Face collation apparatus | |
| JP6509361B2 (ja) | 駐車支援装置及び駐車支援方法 | |
| US20130286161A1 (en) | Three-dimensional face recognition for mobile devices | |
| JP4915413B2 (ja) | 検出装置および方法、並びに、プログラム | |
| US20160267339A1 (en) | Image processing apparatus and method of generating face image | |
| JP4364275B2 (ja) | 画像処理方法、画像処理装置及びコンピュータプログラム | |
| KR20220041901A (ko) | 자동차 캐빈 내 이미지 처리 | |
| JP4647289B2 (ja) | 画像処理方法および装置並びにプログラム | |
| JP7401338B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| KR102591758B1 (ko) | 차량 내 승객 감지장치 및 그 제어방법 | |
| CN113840757B (zh) | 一种显示屏调整方法及装置 | |
| WO2021044566A1 (ja) | 体格判定装置および体格判定方法 | |
| CN108140119B (zh) | 用于将乘客信息提供给车辆的安全装置的方法和设备 | |
| US11915495B2 (en) | Information processing apparatus, and recording medium | |
| JP4922097B2 (ja) | カメラシステム | |
| JP2008277904A (ja) | 画像処理装置、画像方向判別方法及び画像方向判別プログラム、再生装置、再生方法及び再生プログラム、並びにデジタルスチルカメラ | |
| US20230343111A1 (en) | Computer implemented method, computer system and non-transitory computer readable medium for detecting an occupancy of a seat in a vehicle cabin | |
| JP7444224B2 (ja) | 人物特定装置、人物特定方法およびプログラム | |
| JP2007038859A (ja) | 表示機器制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231128 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7401338 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |