JP6417962B2

JP6417962B2 - 情報処理装置、情報処理方法及び記憶媒体

Info

Publication number: JP6417962B2
Application number: JP2015011251A
Authority: JP
Inventors: 貴司丸山; 増田　誠; 誠増田; 孝光渡辺
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2015-01-23
Filing date: 2015-01-23
Publication date: 2018-11-07
Anticipated expiration: 2035-01-23
Also published as: JP2016136332A

Description

本発明は、情報処理装置、情報処理方法及び記憶媒体に関する。

自動車、二輪車、船舶又は航空機等の多様な移動体に関し、運転者が異常状態で運転することに起因する事故が発生する場合がある。例えば自動車に関しては、居眠り運転や酒気帯び運転、脇見運転等が挙げられる。事故防止を図るためには、運転者が異常状態で運転していることが検知された場合に、何らかの対策が行われることが望ましい。そのために、運転者が異常状態であるか否かを判定するための技術が開発されている。

例えば、下記特許文献１では、撮影された顔画像から運転者の眼の開閉及び口の動き又は手の動きを検出し、検出結果に基づいて運転者の覚醒状態、眠気に対する葛藤状態、居眠りの初期状態、及び居眠り状態を判定する技術が開示されている。

特許０５３４３６３１号公報

しかし、運転者の顔には例えば目が細いといった個人差があるため、上記特許文献１に記載された技術では個人差に起因する誤判定が生じる場合があった。そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、運転者の個人差に起因する誤判定を抑制することが可能な、新規かつ改良された情報処理装置、情報処理方法及び記憶媒体を提供することにある。

上記課題を解決するために、本発明のある観点によれば、運転者の運転中の映像を取得する映像取得部と、前記運転者に固有の識別器を取得する識別器取得部と、前記映像取得部により取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出する特徴量算出部と、前記識別器取得部により取得された前記識別器を用いて、前記特徴量算出部により算出された前記特徴量から前記運転者の運転状態を判定する運転状態判定部と、前記運転者が運転する移動体の移動状態を判定する移動状態判定部と、前記移動状態判定部により判定された前記移動状態に基づいて、前記運転状態判定部による判定結果から誤判定を検出する誤判定検出部と、前記誤判定検出部により検出された前記誤判定に係る前記映像を用いて前記識別器を更新する更新部と、を備える情報処理装置が提供される。

前記更新部は、前記運転状態が異常であると判定され、前記移動状態は正常であると判定された場合の前記誤判定に係る前記映像を用いて前記識別器を更新してもよい。

前記誤判定検出部は、前記運転状態判定部による判定結果を前記運転者に通知して正誤を示す情報を受け付け、受け付けた前記正誤を示す情報に基づいて前記誤判定を検出してもよい。

前記誤判定検出部は、前記正誤を示す情報を音声認識により受け付けてもよい。

前記更新部は、前記運転状態が異常であると判定された判定結果が誤りであるとする情報が受け付けられた場合に、前記識別器を更新してもよい。

前記更新部は、更新した前記識別器を、前記識別器取得部による前記識別器の取得元へ返却して置き換えさせてもよい。

前記更新部は、前記誤判定に係る前記映像を示す情報を、前記識別器取得部による前記識別器の取得元へ返却して蓄積させてもよい。

前記運転状態判定部は、前記運転者が居眠り状態であることを異常として判定してもよい。

前記情報処理装置は、前記識別器を記憶する識別器記憶部をさらに備え、前記識別器取得部は、前記識別器記憶部から前記識別器を取得してもよい。

前記識別器取得部は、記憶媒体から前記識別器を取得してもよい。

前記情報処理装置は、他の装置と通信する通信部をさらに備え、前記識別器取得部は、前記通信部を介して前記識別器を取得してもよい。

また、上記課題を解決するために、本発明の別の観点によれば、運転者の運転中の映像を取得することと、前記運転者に固有の識別器を取得することと、取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出することと、取得された前記識別器を用いて、算出された前記特徴量から前記運転者の運転状態を判定することと、前記運転者が運転する移動体の移動状態を判定することと、判定された前記移動状態に基づいて、前記運転状態の判定結果から誤判定を検出することと、検出された前記誤判定に係る前記映像を用いて前記識別器を更新することと、を含む情報処理方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、映像に含まれる運転者の顔部分の特徴量から前記運転者の運転状態を識別する識別器と、前記運転者が運転する移動体の移動状態に基づいて、前記識別器による識別結果が誤りであると過去に判定された前記映像に含まれる前記運転者の顔部分の特徴量を示す情報と、を記憶する記憶媒体が提供される。

以上説明したように本発明によれば、運転者の個人差に起因する誤判定を抑制することが可能である。

本実施形態に係る運転支援装置の論理的な構成の一例を示すブロック図である。本実施形態に係る運転支援装置において実行される運転支援処理の流れの一例を示すフローチャートである。本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜＜１．概要＞＞
本発明の一実施形態に係る運転支援装置は、運転者が異常な運転状態で移動体を運転することを防止する。運転者とは、移動体を操作する人である。また、移動体とは、人により進行方向や速度等の操作が行われる物体であり、例えば車、船舶、航空機、自動二輪車又は自転車等である。運転状態とは、運転者が居眠り状態であるか否か、脇見運転であるか否か、酒気帯び状態であるか否か等の、運転者の状態を意味するものとする。本実施形態に係る運転支援装置は、例えば車の運転者が居眠り状態で運転することを防止する。

例えば、居眠り状態に関しては、運転者の顔画像から、目を閉じているか否か等を判定することで異常状態を判定可能とも考えられる。しかしながら、目の大きさ、位置、角度等をはじめ、顔の輪郭や髪型など、顔部分は個人差が大きいため、個人差に起因して誤判定が生じ得る。例えば、目が細い人物は、居眠り状態ではないにも関わらず居眠り状態であると誤判定され得る。

そこで、本実施形態に係る運転支援装置は、運転者に固有の識別器を、運転者に固有の教師データを用いて適宜修正する。詳しくは、運転支援装置は、誤判定されたデータに正しいラベルを付した教師データを新たに採用しながら、運転者に固有の識別器を更新する。これにより、例えば目が細いといった運転者に固有の特徴に対応した識別器が生成されることとなり、運転者の個人差に起因する誤判定が抑制される。

以上、本実施形態に係る運転支援装置の概要を説明した。続いて、図１を参照して、本実施形態に係る運転支援装置の構成例を説明する。

＜＜２．構成例＞＞
図１は、本実施形態に係る運転支援装置１の論理的な構成の一例を示すブロック図である。図１に示すように、運転支援装置１は、状態判定装置１０、識別器格納装置２０、通知装置３０、入力装置４０及び操舵装置５０を含む。

（１）状態判定装置１０
状態判定装置１０は、運転者が異常状態であるか否かを判定する情報処理装置である。図１に示すように、状態判定装置１０は、識別器取得部１１、映像取得部１２、特徴量算出部１３、運転状態判定部１４、移動状態判定部１５、誤判定検出部１６及び更新部１７を含む。

（１−１）識別器取得部１１
識別器取得部１１は、運転者に固有の識別器を取得する機能を有する。例えば、識別器取得部１１は、後述する特徴量算出部１３により特定された運転者の識別器を、後述する識別器格納装置２０から取得する。識別器は、運転者が異常状態であるか正常状態であるかを識別するためのデータである。識別器は、重回帰分析などの統計的手法に基づいて生成されてもよいし、ニューラルネットワーク、サポートベクターマシーン、関連ベクトルマシン、部分空間法、ＳＯＭ（Self Organization Map）法などを用いて生成されてもよい。

（１−２）映像取得部１２
映像取得部１２は、運転者の運転中の映像（動画／静止画）を取得する機能を有する。例えば、映像取得部１２は、カメラ、ステレオカメラ、近赤外線カメラ等から移動体を運転する運転者の、運転中の映像を取得する。

（１−３）特徴量算出部１３
特徴量算出部１３は、映像取得部１２により取得された映像に含まれる運転者の顔部分の特徴量を算出する機能を有する。例えば、特徴量算出部１３は、まず映像から運転者の顔部分を検出する。顔検出技術としては、例えば「P.Viola and M.Jones，“Rapid object Dtection using a Boosted Cascade of Simple Featuers，” Proc.of IEEE Conf.CVPR,1，pp.511-518，2001．」に記載された技術を適用可能である。次いで、特徴量算出部１３は、検出した顔部分から、顔認証技術を用いて運転者が誰であるかを特定する。顔認証技術としては、例えば「河原智一，西山正志，山口修，“直行相互部分空間法を用いた顔認識，” 情報処理学会研究会報告 CVIM，pp.17-24，2005．」に記載された技術が適用可能である。そして、特徴量算出部１３は、検出した顔部分の特徴量を算出する。特徴量としては、例えばＨＯＧ（Histograms of Oriented Gradients）特徴量、又は顔の特徴点座標等が用いられてもよい。特徴算出技術としては、例えば「Dalal．N，Triggs．B，“Histograms of Oriented Gradients for Human Detection，” IEEE CVPR，pp．886-893，2005．」又は「COOTES TF，EDWARDS G，TAYLOR C，“Active appearance models，” IEEE Transactions on Pattern Analysis and Machine Intelligence，23（6），681-685，2001.」に記載された技術が適用可能である。

（１−４）運転状態判定部１４
運転状態判定部１４は、識別器取得部１１により取得された識別器を用いて、特徴量算出部１３により算出された特徴量から運転者の運転状態を判定する機能を有する。例えば、運転状態判定部１４は、識別器に特徴量を入力することで、運転状態が正常であるか異常であるかを判定する。例えば、運転状態判定部１４は、運転者が居眠り状態であることを異常状態として判定してもよい。また、運転状態判定部１４は、運転者が居眠り状態でないことを正常状態として判定してもよい。運転状態判定部１４は、例えば運転者が目を閉じていると判定される状態で所定時間経過した場合に、異常状態であると判定する。

（１−５）移動状態判定部１５
移動状態判定部１５は、運転者が運転する移動体の移動状態を判定する機能を有する。移動状態とは、移動体の軌道がふらついているか否か、道路状態や周囲を移動する他の移動体等の周囲の状況に応じた移動を移動体が行っているか等の、移動体の状態を意味するものとする。例えば、移動状態判定部１５は、運転者が操作するハンドルが揺れているか否か、ハンドルの回転量と道路のカーブとが一致しているか否か、アクセルペダルの踏込量が異常であるか否か等に基づいて、移動状態が正常であるか否かを判定する。移動状態が正常であるとは、例えばハンドルが揺れておらず、ハンドルの回転量と道路のカーブとが一致しており、アクセルペダルの踏込量が適切である場合を指す。

（１−６）誤判定検出部１６
誤判定検出部１６は、移動状態判定部１５により判定された移動状態に基づいて、運転状態判定部１４による判定結果から誤判定を検出する機能を有する。例えば、誤判定検出部１６は、運転状態判定部１４により判定された運転状態は正常であるが、移動状態判定部１５により判定された移動状態が異常である場合に、運転状態判定部１４による判定結果は誤判定であると判定する。また、誤判定検出部１６は、運転状態判定部１４により判定された運転状態は異常であるが、移動状態判定部１５により判定された移動状態が正常である場合に、運転状態判定部１４による判定結果は誤判定であると判定する。

また、誤判定検出部１６は、運転者からのフィードバックを用いて誤判定を検出してもよい。例えば、誤判定検出部１６は、運転状態判定部１４による判定結果を運転者に通知して正誤を示す情報を受け付け、受け付けた正誤を示す情報に基づいて誤判定を検出する。誤判定検出部１６は、後述する通知装置３０を介して判定結果を通知し、入力装置４０を介して正誤を示す情報のフィードバックを受け付ける。例えば、誤判定検出部１６は、運転状態が異常であると判定された場合に、警告音と共に「居眠り運転でしたか？」と運転者へ問い合わせ、運転者に否定された場合に運転状態の判定結果は誤判定であると判定する。これにより、誤判定検出部１６による誤判定の検出精度が向上し得る。なお、誤判定検出部１６は、正誤を示す情報を音声認識により受け付けてもよい。手による操作が要されないので、ユーザは正誤を示す情報の入力に過度に気を取られずに済み、事故が防止される。

誤判定検出部１６は、運転者からのフィードバックが虚偽であるか否かを判定してもよい。例えば、誤判定検出部１６は、運転者から誤りであるとフィードバックされる割合や頻度、通知してからの応答時間、又は運転状態判定部１４による判定結果等に基づいて、虚偽であるか否かを判定してもよい。これにより、誤判定検出部１６は、虚偽のフィードバックにより、例えば正しく判定された運転状態の異常が誤判定であると訂正されることを回避することが可能となる。

上記説明したように、誤判定検出部１６は、運転状態判定部１４による運転状態の判定結果、移動状態判定部１５による移動状態の判定結果、及び運転者からのフィードバックを組み合わせて、運転状態判定部１４による誤判定を検出し得る。組み合わせの方法は任意である。以下、組み合わせの一例を表１に示す。

上記表１における最終検出結果とは、誤判定検出部１６が、運転状態、フィードバック及び移動状態を組み合わせた結果、最終的に出力する誤判定であるか否かの検出結果を示す。また、識別器の更新とは、後述する更新部１７による識別器の更新が行われるか否かを示す。

（１−７）更新部１７
更新部１７は、誤判定検出部１６により検出された誤判定に係る映像を用いて識別器を更新する機能を有する。例えば、更新部１７は、まず、識別器取得部１１により取得された識別器の元となった教師データを特徴量情報記憶部２２から取得する。そして、更新部１７は、取得した既存の教師データに、誤判定に係る運転者の顔部分の映像又はその特徴量に正しいラベル（教師値）を与えた新たな教師データを加えて、新たな識別器を生成する。

例えば、更新部１７は、運転状態が異常であると判定され、移動状態は正常であると判定された場合の誤判定に係る映像から算出した特徴量を用いて識別器を更新してもよい。これにより、識別器は、運転状態が正常であるにも関わらず異常であると識別することがより少なくなり、運転状態判定部１４による誤判定が防止され得る。また、更新部１７は、運転状態が正常であると判定され、移動状態は異常であると判定された場合の誤判定に係る映像から算出した特徴量を用いて識別器を更新してもよい。これにより、識別器は、運転状態が異常であるにも関わらず正常であると識別することがより少なくなり、運転状態判定部１４による誤判定が防止され得る。このように、更新部１７は、識別器の識別精度を向上させることができる。

また、更新部１７は、運転状態が異常であると判定された判定結果が誤りであるとする情報のフィードバックが受け付けられた場合に、識別器を更新してもよい。これにより、更新部１７は、運転状態が異常であるとする判定結果は誤りであり、実際は正常であったことが運転者からフィードバックされた場合に、識別器を更新する。また、更新部１７は、運転状態が異常であるとする判定結果が正しく、実際に異常であったことが運転者からフィードバックされた場合に、識別器を更新しない。これにより、更新部１７は、誤判定がされた場合に教師データの更新機会を限定することが可能となり、誤った教師データを用いて識別器を更新することを回避することができる。

更新部１７は、更新した識別器を、識別器取得部１１による識別器の取得元へ返却して置き換えさせてもよい。これにより、識別器記憶部２１に記憶される識別器が更新されるので、運転状態判定部１４は、次回の判定の際に精度が向上した識別器を使用することが可能となる。また、更新部１７は、誤判定に係る映像を示す情報を、識別器取得部１１による識別器の取得元へ返却して蓄積させてもよい。例えば、更新部１７は、誤判定に係る運転者の顔部分の映像又はその特徴量に正しいラベルを与えた教師データを、誤判定に係る映像を示す情報として識別器記憶部２１に蓄積させる。これにより、誤判定を生じていた、即ち既存の教師データでは不足していた正しい教師データが追加的に蓄積されることとなり、更新部１７は、更新の度に識別器の識別精度を徐々に向上させることができる。

（２）識別器格納装置２０
識別器格納装置２０は、識別器に関する情報を格納する情報処理装置である。図１に示すように、識別器格納装置２０は、識別器記憶部２１及び特徴量情報記憶部２２を含む。

（２−１）識別器記憶部２１
識別器記憶部２１は、映像に含まれる運転者の顔部分の特徴量から運転者の運転状態を識別する識別器を記憶する機能を有する。更新部１７による更新があった場合、識別器記憶部２１は、更新部１７により更新された識別器を既存の識別器に置き換えて記憶する。

（２−２）特徴量情報記憶部２２
特徴量情報記憶部２２は、識別器記憶部２１に記憶される識別器の元となる教師データを記憶する機能を有する。教師データは、例えば運転者の顔部分の映像又はその特徴量、及び正常状態であるか異常状態であるかを示すラベルから成る情報である。例えば、特徴量情報記憶部２２は、複数の運転者に共通する基本的な教師データに加えて、各運転者に固有な教師データを記憶する。詳しくは、特徴量情報記憶部２２は、運転者が運転する移動体の移動状態に基づいて、識別器による識別結果が誤りであると過去に判定された映像に含まれる、運転者の顔部分の特徴量を示す情報を記憶してもよい。例えば、特徴量情報記憶部２２は、誤判定された特徴量を記憶してもよいし、誤判定された特徴量の算出対象となった顔部分の映像を記憶してもよい。これにより、既存の教師データでは不足していた正しい教師データが追加的に蓄積されるので、更新部１７により更新される識別器の識別精度が徐々に向上する。

なお、識別器格納装置２０は、多様な形態で実現され得る。

例えば、識別器格納装置２０は、図１に示したように運転支援装置１内に含まれていてもよい。その場合、識別器取得部１１は、運転支援装置１に含まれる識別器記憶部２１から識別器を取得する。

例えば、識別器格納装置２０は、運転支援装置１とは別箇に形成される記憶媒体等のハードウェアとして形成されてもよい。その場合、識別器取得部１１は、記憶媒体として形成された識別器格納装置２０から識別器を取得してもよい。具体的なハードウェアの例としては、識別器格納装置２０は、例えば移動体を起動するための鍵、運転免許証、ＩＣカード、ＳＤカード又はＵＳＢメモリ等に含まれ得る。その場合、運転者は、移動体を乗り換えても、乗り換え先の移動体に識別器格納装置２０を読み取らせることで、乗り換え前の移動体において更新された識別器を継続して使用することが可能であるし、教師データを継続して識別器格納装置２０に蓄積することが可能である。

例えば、識別器格納装置２０は、運転支援装置１とネットワークを介して接続される、クラウド上のサーバとして形成されてもよい。その場合、運転支援装置１は、他の装置と通信する通信部をさらに備え、識別器取得部１１は、通信部を介して識別器を取得してもよい。これにより、運転者は、移動体を乗り換えても、乗り換え先の移動体からサーバに接続することで、乗り換え前の移動体において更新された識別器を継続して使用することが可能であるし、教師データを継続して識別器格納装置２０に蓄積することが可能である。

（３）通知装置３０
通知装置３０は、運転者へ情報を通知する機能を有する。例えば、通知装置３０は、スピーカ、カーナビゲーションシステムの表示装置又は振動装置等により実現される。本実施形態に係る通知装置３０は、誤判定検出部１６による制御に基づき、運転状態判定部１４による判定結果を運転者へ通知する。

（４）入力装置４０
入力装置４０は、運転者からの各種入力を受け付ける装置である。例えば、入力装置４０は、カーナビゲーションシステムの表示装置と一体的に形成されるタッチパネル、ボタン、マイク等により実現される。本実施形態に係る入力装置４０は、通知装置３０により通知された判定結果の正誤を示す情報の入力を受け付ける。

（５）操舵装置５０
操舵装置５０は、移動体の操舵を行う機能を有する。本実施形態に係る操舵装置５０は、状態判定装置１０により異常状態であると判定された場合に、運転者に代わって操舵して安全確保を行う。例えば、操舵装置５０は、運転状態が異常であるという判定結果が誤判定でないと検出された場合、又は運転状態が正常であるという判定結果が誤判定であると検出された場合に、例えば移動体が車であれば車を路肩へ寄せて、停車させるための制御を行う。これにより、居眠り運転等に起因する事故が未然に防止される。

以上、本実施形態に係る運転支援装置１の構成例を説明した。続いて、図２を参照して、本実施形態に係る運転支援装置１の動作処理例を説明する。

＜＜３．動作処理例＞＞
図２は、本実施形態に係る運転支援装置１において実行される運転支援処理の流れの一例を示すフローチャートである。

図２に示すように、まず、ステップＳ１０２で、映像取得部１２は、映像を取得する。例えば、映像取得部１２は、移動体を運転する運転者の、運転中の映像を取得する。

次いで、ステップＳ１０４で、特徴量算出部１３は、特徴量を算出する。例えば、特徴量算出部１３は、映像取得部１２により取得された映像から運転者の顔部分を検出し、顔部分から運転者を特定し、顔部分の特徴量を算出する。

次に、ステップＳ１０６で、識別器取得部１１は、運転者固有の識別器を取得する。例えば、識別器取得部１１は、特徴量算出部１３により特定された運転者の識別器を、識別器格納装置２０から取得する。

次いで、ステップＳ１０８で、運転状態判定部１４は、運転状態を判定する。例えば、運転状態判定部１４は、識別器取得部１１により取得された識別器に、特徴量算出部１３により算出された特徴量を入力することで、運転者の運転状態が正常であるか異常であるかを判定する。

運転状態は正常であると判定された場合（Ｓ１１０／ＮＯ）、処理は終了する。

一方で、運転状態は異常であると判定された場合（Ｓ１１０／ＹＥＳ）、ステップＳ１１２で、移動状態判定部１５は、移動状態を判定する。例えば、移動状態判定部１５は、運転者が操作するハンドルが揺れているか否か、ハンドルの回転量と道路のカーブとが一致しているか否か、アクセルペダルの踏込量が異常であるか否か等に基づいて、移動状態が正常であるか否かを判定する。

次いで、ステップＳ１１４で、誤判定検出部１６は、運転者からのフィードバックを受け付ける。例えば、誤判定検出部１６は、運転状態が異常である旨の判定結果を運転者へ通知し、当該判定結果の正誤を示す情報の音声入力を受け付ける。

次に、ステップＳ１１６で、誤判定検出部１６は、ステップＳ１０８における運転状態の判定結果から誤判定を検出する。例えば、誤判定検出部１６は、ステップＳ１０８における運転状態の判定結果、ステップＳ１１２における移動状態判定部１５による移動状態の判定結果、及びステップＳ１１４における運転者からのフィードバックを組み合わせて、誤判定を検出する。

誤判定が検出された場合（Ｓ１１８／ＹＥＳ）、ステップＳ１１８で、更新部１７は、教師データを更新する。例えば、更新部１７は、識別器取得部１１により取得された識別器の元となった教師データを特徴量情報記憶部２２から取得し、誤判定に係る運転者の顔部分の映像又はその特徴量に正しいラベル（教師値）を与えた新たな教師データを加える。また、更新部１７は、新たな教師データを識別器格納装置２０へ返却して、特徴量情報記憶部２２に記憶されている教師データに新たな教師データを追加的に蓄積させる。

そして、ステップＳ１２０で、更新部１７は、識別器を更新する。例えば、更新部１７は、上記ステップＳ１１８で更新された教師データを用いて、識別器を生成する。また、更新部１７は、更新した識別器を識別器格納装置２０へ返却して、識別器記憶部２１に記憶されている識別器を置き換えさせる。

一方で、誤判定が検出されない場合（Ｓ１１８／ＮＯ）、運転状態が異常であることが確認されたので、ステップＳ１１２で、操舵装置５０は安全確保を行う。例えば、操舵装置５０は、例えば移動体が車であれば車を路肩へ寄せて、停車させるための制御を行う。

なお、上記フローでは、状態判定装置１０が運転状態は異常であると判定した場合に誤判定を検出する例を説明したが、本技術はかかる例に限定されない。例えば、状態判定装置１０は、運転状態が正常であると判定した場合に、誤判定検出してもよい。

以上、本実施形態に係る運転支援装置１の動作処理例を説明した。

＜＜４．ハードウェア構成＞＞
最後に、図３を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図３は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図３に示す情報処理装置９００は、例えば、図１に示した運転支援装置１を実現し得る。本実施形態に係る運転支援装置１による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。

図３に示すように、情報処理装置９００は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）９０１、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）９０２、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、センサ９１５及び撮像装置９１７を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。

ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、状態判定装置１０、及び操舵装置５０を形成し得る。

ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（ＰｅｒｉｐｈｅｒａｌＣｏｍｐｏｎｅｎｔＩｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。

入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。入力装置９０６は、例えば、入力装置４０を形成し得る。

出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。上記表示装置及び上記音声出力装置は、例えば、通知装置３０を形成し得る。

ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、識別器格納装置２０を形成し得る。

ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。ドライブ９０９は、例えば、識別器格納装置２０を形成し得る。

接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）などによりデータ伝送可能な外部機器との接続口である。接続ポート９１１は、例えば、識別器格納装置２０に接続され得る。

通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＬＴＥ（ＬｏｎｇＴｅｒｍＥｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（ＷｉｒｅｌｅｓｓＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（ＡｓｙｍｍｅｔｒｉｃＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒＬｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、ネットワーク９２０を介して識別器格納装置２０と通信し得る。

なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、ＷＡＮ（ＷｉｄｅＡｒｅａＮｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ−ＶｉｒｔｕａｌＰｒｉｖａｔｅＮｅｔｗｏｒｋ）などの専用回線網を含んでもよい。

センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ、生体センサ、圧力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。本実施形態では、移動状態判定部１５は、センサ９１５によるセンシング結果を用いて移動状態を判定し得る。

撮像装置９１７は、撮像レンズ、絞り、ズームレンズ、及びフォーカスレンズ等により構成されるレンズ系、レンズ系に対してフォーカス動作やズーム動作を行わせる駆動系、レンズ系で得られる撮像光を光電変換して撮像信号を生成する固体撮像素子アレイ等を有する。固体撮像素子アレイは、例えばＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）センサアレイや、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）センサアレイにより実現されてもよい。撮像装置９１７は、デジタル信号とされた撮影画像のデータを出力する。本実施形態では、映像取得部１２は、撮像装置９１７による撮像結果を取得し得る。

以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。

なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

＜＜５．まとめ＞＞
以上、図１〜図３を参照して、本発明の一実施形態について詳細に説明した。上記説明したように、状態判定装置１０は、映像に含まれる運転者の顔部分の特徴量から当該運転者に固有の識別器を用いて運転者の運転状態を判定し、移動体の移動状態に基づいて運転状態の判定結果から誤判定を検出して、誤判定に係る映像を用いて識別器を更新する。運転者に固有の識別器が、当該運転者について誤判定された映像に基づき更新されるので、識別器による当該運転者の運転状態の識別精度が向上する。これにより、例えば目が細いといった運転者に固有の特徴に対応した識別器が生成されることとなり、運転者の個人差に起因する誤判定を抑制することができる。

また、状態判定装置１０は、運転状態の判定結果を運転者に通知して正誤を示す情報のフィードバックを受け付け、受け付けたフィードバックに基づいて誤判定を検出してもよい。これにより、誤った判定結果に基づいて識別器が更新されることが回避されるので、識別精度がより向上する。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、運転者の顔部分の映像に基づいて運転状態が判定されると説明したが、本発明はかかる例に限定されない。例えば、運転者の姿勢変化、視線の方向、又は表情等に基づいて運転状態が判定されてもよい。また、映像以外にも、例えば運転者の声、体温、血圧、呼吸、心拍、脈拍、発汗、座席上の体重移動等に基づいて運転状態が判定されてもよい。

なお、本明細書においてフローチャート及びシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。

１運転支援装置
１０状態判定装置
１１識別器取得部
１２映像取得部
１３特徴量算出部
１４運転状態判定部
１５移動状態判定部
１６誤判定検出部
１７更新部
２０識別器格納装置
２１識別器記憶部
２２特徴量情報記憶部
３０通知装置
４０入力装置
５０操舵装置

Claims

運転者の運転中の映像を取得する映像取得部と、
前記運転者に固有の識別器を取得する識別器取得部と、
前記映像取得部により取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出する特徴量算出部と、
前記識別器取得部により取得された前記識別器を用いて、前記特徴量算出部により算出された前記特徴量から前記運転者の運転状態を判定する運転状態判定部と、
前記運転者が運転する移動体の移動状態を判定する移動状態判定部と、
前記移動状態判定部により判定された前記移動状態に基づいて、前記運転状態判定部による判定結果から誤判定を検出する誤判定検出部と、
前記誤判定検出部により検出された前記誤判定に係る前記映像を用いて前記識別器を更新する更新部と、
を備える情報処理装置。
前記更新部は、前記運転状態が異常であると判定され、前記移動状態は正常であると判定された場合の前記誤判定に係る前記映像を用いて前記識別器を更新する、請求項１に記載の情報処理装置。
前記誤判定検出部は、前記運転状態判定部による判定結果を前記運転者に通知して正誤を示す情報を受け付け、受け付けた前記正誤を示す情報に基づいて前記誤判定を検出する、請求項１又は２に記載の情報処理装置。
前記誤判定検出部は、前記正誤を示す情報を音声認識により受け付ける、請求項３に記載の情報処理装置。
前記更新部は、前記運転状態が異常であると判定された判定結果が誤りであるとする情報が受け付けられた場合に、前記識別器を更新する、請求項３又は４に記載の情報処理装置。
前記更新部は、更新した前記識別器を、前記識別器取得部による前記識別器の取得元へ返却して置き換えさせる、請求項１〜５のいずれか一項に記載の情報処理装置。
前記更新部は、前記誤判定に係る前記映像を示す情報を、前記識別器取得部による前記識別器の取得元へ返却して蓄積させる、請求項６に記載の情報処理装置。
前記運転状態判定部は、前記運転者が居眠り状態であることを異常として判定する、請求項１〜７のいずれか一項に記載の情報処理装置。
前記情報処理装置は、前記識別器を記憶する識別器記憶部をさらに備え、
前記識別器取得部は、前記識別器記憶部から前記識別器を取得する、請求項１〜８のいずれか一項に記載の情報処理装置。
前記識別器取得部は、記憶媒体から前記識別器を取得する、請求項１〜８のいずれか一項に記載の情報処理装置。
前記情報処理装置は、他の装置と通信する通信部をさらに備え、
前記識別器取得部は、前記通信部を介して前記識別器を取得する、請求項１〜８のいずれか一項に記載の情報処理装置。
運転者の運転中の映像を取得することと、
前記運転者に固有の識別器を取得することと、
取得された前記映像に含まれる前記運転者の顔部分の特徴量を算出することと、
取得された前記識別器を用いて、算出された前記特徴量から前記運転者の運転状態を判定することと、
前記運転者が運転する移動体の移動状態を判定することと、
判定された前記移動状態に基づいて、前記運転状態の判定結果から誤判定を検出することと、
検出された前記誤判定に係る前記映像を用いて前記識別器を更新することと、
を含む情報処理方法。
映像に含まれる運転者の顔部分の特徴量から前記運転者の運転状態を識別する識別器と、
前記運転者が運転する移動体の移動状態に基づいて、前記識別器による識別結果が誤りであると過去に判定された前記映像に含まれる前記運転者の顔部分の特徴量を示す情報と、
を記憶する記憶媒体。