WO2017056385A1

WO2017056385A1 - 情報処理装置、情報処理方法、及びプログラム

Info

Publication number: WO2017056385A1
Application number: PCT/JP2016/003885
Authority: WO
Inventors: 卓青木; 健人赤間; 小柳津　秀紀; 康孝平澤; 雄飛近藤
Original assignee: ソニー株式会社
Priority date: 2015-09-29
Filing date: 2016-08-26
Publication date: 2017-04-06
Also published as: US20180268700A1; EP3358547A1; US10692379B2; EP3358547A4

Abstract

本技術の一形態に係る情報処理装置は、検出部と、推定部と、判定部とを具備する。前記検出部は、入力画像から対象物体を検出する。前記推定部は、前記検出された対象物体の姿勢を推定する。前記判定部は、前記推定された姿勢をもとに前記対象物体が滑る可能性を判定する。

Description

情報処理装置、情報処理方法、及びプログラム

　本技術は、例えば自動車の運転時等において、運転者への注意喚起を行う情報処理装置、情報処理方法、及びプログラムに関する。

　自動緊急ブレーキや衝突回避システムなどの、緊急時の事故回避技術が一般的になってきている。また事故を回避するために運転者等に注意を喚起するシステムも開発されている。例えば特許文献１には、データベースから読み出された天気情報や道路情報をもとに、自車の前方を走行する自転車が転倒しやすいか否かが判定される。前方の自転車が転倒しやすい場合には、運転者にその旨の警告が行われる（特許文献１の明細書段落［００４３］－［００４９］等）。

　また特許文献２には、路面センサにより検出された路面からの反射光をもとに、路面状態（乾燥路／雪道／ウェット路等）を判定可能な判定装置について記載されている。この判定装置では、反射光の水平偏光成分及び垂直偏光成分の反射強度に加え、反射光の信号強度に基づいて、路面状態が判定されている。これにより路面状態を正確に判定して、運転者に知らせることが可能となっている（特許文献２の明細書段落［０００７］［００２４］－［００３２］等）。

特開２００９－１２２８５４号公報特開平１１－２３０８９８号公報

　このように事故等を未然に防ぐための有効な情報を運転者等に提供して、注意喚起を行うことが可能な技術が求められている。

　以上のような事情に鑑み、本技術の目的は、有効な情報を提供して注意喚起を行うことが可能となる情報処理装置、情報処理方法、及びプログラムを提供することにある。

　上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、推定部と、判定部とを具備する。
　前記検出部は、入力画像から対象物体を検出する。
　前記推定部は、前記検出された対象物体の姿勢を推定する。
　前記判定部は、前記推定された姿勢をもとに前記対象物体が滑る可能性を判定する。

　この情報処理装置では、推定された姿勢をもとに対象物体が滑る可能性を高精度に判定することができる。この結果、事故等を防止するための有効な情報を運転者等に提供して注意を喚起することが可能となる。

　前記検出部は、前記入力画像から歩行者を検出可能であってもよい。この場合、前記判定部は、推定された前記歩行者の姿勢をもとに、前記歩行者が滑る可能性を判定してもよい。
　これにより例えば滑って転倒した歩行者との接触事故等を未然に防止することが可能となる。

　前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であってもよい。この場合、前記推定部は、少なくとも前記運転者の姿勢を推定してもよい。また前記判定部は、前記推定された前記運転者の姿勢をもとに、前記二輪車が滑る可能性を判定してもよい。
　これにより例えば滑って転倒した二輪車及びその運転者との接触事故等を未然に防止することが可能となる。

　前記推定部は、前記二輪車の姿勢を推定してもよい。この場合、前記判定部は、前記推定された前記二輪車及び前記運転者の各々の姿勢をもとに、前記二輪車が滑る可能性を判定してもよい。
　これにより二輪車が滑る可能性を高精度に判定することができる。

　前記判定部は、前記推定された姿勢をもとに前記対象物体に関する特徴点と、前記対象物体の路面との接触点とを算出し、前記特徴点と前記接触点とを結ぶ直線の前記路面に対する角度をもとに、前記滑る可能性を判定してもよい。
　これにより対象物体が滑る可能性を高精度に判定することができる。

　前記特徴点は、前記対象物体の重心点であってもよい。
　重心点を用いることで対象物体が滑る可能性を高精度に判定することができる。

　前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であってもよい。この場合、前記判定部は、前記特徴点として、前記運転者の重心点、又は前記二輪車及びその運転者の全体の重心点を算出してもよい。

　前記情報処理装置は、さらに、路面状態に関する路面情報を取得する取得部を具備してもよい。この場合、前記判定部は、前記取得された路面情報をもとに、前記滑る可能性を判定してもよい。
　これにより対象物体が滑る可能性を高精度に判定することができる。

　前記判定部は、前記取得された路面情報をもとに路面の滑りやすさを判定し、前記判定された滑りやすさをもとに、前記滑る可能性を判定してもよい。
　これにより対象物体が滑る可能性を高精度に判定することができる。

　前記路面情報は、前記路面の傾斜角度を含んでもよい。この場合、前記判定部は、前記路面の傾斜角度をもとに、前記直線の前記路面に対する角度を算出してもよい。
　これにより対象物体が滑る可能性を高精度に判定することができる。

　前記推定部は、前記検出された対象物体の骨格を推定してもよい。
　これにより対象物体の姿勢を高精度に推定することができる。

　前記情報処理装置は、移動体装置に搭載されるものであり、さらに、前記判定された滑る可能性をもとに、前記移動体装置の運転に関する危険を回避するための危険回避情報を生成して出力する出力部を具備してもよい。
　これにより移動体装置の運転者に注意を喚起することが可能となり、歩行者等との接触事故等を防止することができる。

　前記出力部は、前記滑る可能性が高いと判定された前記対象物体を識別可能な画像を出力してもよい。
　これにより例えば滑って転倒してしまう歩行者等に対して注意を向けさせることが可能となり、接触事故等を防止することが可能となる。

　前記出力部は、前記滑る可能性が高いと判定された前記対象物体に設定される危険領域を含む画像を出力してもよい。
　これにより例えば運転者は安全な経路等を容易に把握することが可能となる。

　本技術の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、入力画像から対象物体を検出することを含む。
　前記検出された対象物体の姿勢が推定される。
　前記推定された姿勢をもとに前記対象物体が滑る可能性が判定される。

　本技術の一形態に係るプログラムは、コンピュータに以下のステップを実行させる。
　入力画像から対象物体を検出するステップ。
　前記検出された対象物体の姿勢を推定するステップ。
　前記推定された姿勢をもとに前記対象物体が滑る可能性を判定するステップ。

　以上のように、本技術によれば、有効な情報を提供して注意喚起を行うことが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施形態に係る危険回避装置を搭載する移動体装置の一例としての自動車の構成例を示す外観図である。図１に示す自動車の構成例を示すブロック図である。危険回避装置の機能的な構成例を示すブロック図である。骨格推定の一例を説明するための図である。滑る可能性の判定動作の一例を示すフローチャートである。滑る可能性の判定方法の一例を説明するための図である。警告出力部により出力される危険回避画像の一例を示す図である。第２の実施形態に係る危険回避装置の機能的な構成例を示すブロック図である。第２の実施形態に係る滑る可能性の判定動作の一例を示すフローチャートである。路面の滑りやすさ判定の一例を示すフローチャートである。最終的な滑る可能性の判定動作の一例を示すフローチャートである。図１１に示す処理の際に参照可能なテーブル情報の一例である。他の実施形態に係る危険回避装置の機能的な構成例を示すブロック図である。路面状態と閾値との関係を示すテーブル情報の一例である。他の実施形態に係る滑る可能性の判定動作の一例を示すフローチャートである。自転車及びその運転者の姿勢推定の他の実施形態を説明するための図である。

　以下、本技術に係る実施形態を、図面を参照しながら説明する。

　＜第１の実施形態＞
　［自動車の構成］
　図１は、本技術の第１の実施形態に係る危険回避装置を搭載する移動体装置の一例としての自動車の構成例を示す外観図である。図２はそのブロック図である。

　図１に示すように、自動車１００は、距離センサ１０、フロントカメラ１１、及び車内撮影カメラ１２を有する。また図２に示すように、自動車１００は、操舵装置１５、制動装置１６、車体加速装置１７、舵角センサ２０、車輪速センサ２１、ブレーキスイッチ２２、アクセルセンサ２３、制御部３０、表示装置３５、及び危険回避装置４０を有する。

　距離センサ１０は、例えば自動車１００のフロント部の略中央に設置され、自動車１００とその移動方向に存在する物体との距離に関する情報を検出する。距離センサ１０は、例えばミリ波レーダや赤外線レーザ等を用いた種々のセンサで構成される。

　フロントカメラ１１は、例えば自動車１００のキャビンまたはルーフ部に設置され、自動車１００の前方視野を所定のフレームレートで撮影する。フロントカメラ１１で撮影された撮影画像は制御部３０を介して危険回避装置４０へ出力され、自車の前方に存在する対象物体の滑る可能性が判定される。フロントカメラ１１は、例えば、ＣＭＯＳやＣＣＤ等のイメージセンサで構成される。

　図１に示すように、本実施形態では、対象物体１として、歩行者２と、自転車３及びその運転者４とを例に挙げて説明を行う。その他、バイク等の他の二輪車や自動三輪車等の運転者に対しても本技術は適用可能である。

　車内撮影カメラ１２は、自動車１００のキャビンに設置され、キャビン内部の様子を所定のフレームレートで撮影する。車内撮影カメラ１２により撮影された画像により、例えば同乗者の有無やその乗車位置等が判定可能である。

　なお距離センサ１０、フロントカメラ１１及び車内撮影カメラ１２は、それらの出力が図２に示すように制御部３０へ供給される構成に代えて、危険回避装置４０へ供給されるように構成されてもよい。

　操舵装置１５は、典型的にはパワーステアリング装置で構成され、運転者のハンドル操作を操舵輪へ伝達する。制動装置１６は、各車輪に取り付けられたブレーキ作動装置及びこれらを作動させる油圧回路を含み、各車輪の制動力を制御する。車体加速装置１７は、スロットルバルブや燃料噴射装置等を含み、駆動輪の回転加速度を制御する。

　制御部３０は、自動車１００に搭載された各機構の動作を制御する。例えば制御部３０は、運転者によるハンドルやアクセル等の操作をもとに、自動車１００の制動、操舵、及び加速等を制御する。例えば制御部３０は、運転者のハンドル操作を検出する舵角センサ２０の出力に基づき、操舵量及び操舵方向を検出し、操舵装置１５を制御する。

　また制御部３０は、全車輪又は一部の車輪に設置された車輪速センサ２１の出力に基づき、車両の車体速度を算出するとともに、車輪のロック（スリップ）が防止されるように制動装置１６を制御する。さらに制御部３０は、運転者のアクセルペダル操作量を検出するアクセルセンサ２３の出力に基づき、車体加速装置１７を制御する。

　ブレーキスイッチ２２は、運転者のブレーキ操作（ブレーキペダルの踏み込み）を検出するためのもので、ＡＢＳ制御等の際に参照される。

　制御部３０は、操舵装置１５、制動装置１６、及び車体加速装置１７を個別に制御する場合は勿論、これらの複数を協調制御してもよい。これにより、操舵（旋回）時、制動時、加速時等において、自動車１００を所望とする姿勢に制御することが可能となる。

　また制御部３０は、上述した運転者の各種操作とは無関係に、操舵装置１５、制動装置１６、及び車体加速装置１７を制御することが可能に構成される。例えば、自動車１００は自動運転機能を備えていてもよく、この場合、上記各センサやカメラの出力に基づき、制御部３０が主体的に上記各装置を制御する。

　表示装置３５は、例えば液晶やＥＬ（Electro-Luminescence）等を用いた表示部を有し、地図情報やナビゲーション情報等を表示部に表示する。また表示装置３５は、危険回避装置３５から出力される危険回避画像を表示する。表示装置３５としては、典型的には、カーナビゲーション装置が用いられる。またフロントガラス等の所定の位置に、ＡＲ（Augmented Reality：拡張現実）画像を表示させる装置が用いられてもよい。

　危険回避装置４０は、後に詳しく説明するように、フロントカメラ１１により撮影された画像から対象物体１を検出し、当該対象物体１が路面に対して滑る可能性を算出する。対象物体１の滑る可能性とは、対象物体１の路面に接触している部分が、路面に沿って滑ってしまう可能性である。すなわち危険回避装置４０により、歩行者２が足を滑らせてしまう可能性や、自転車３の車輪が滑ってしまう可能性を算出することが可能である。

　危険回避装置４０は、本実施形態に係る情報処理装置に相当し、例えばＣＰＵ、ＲＡＭ、及びＲＯＭ等のコンピュータに必要なハードウェアを有する。ＣＰＵがＲＯＭに予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る危険回避方法（情報処理方法）が実行される。

　危険回避装置４０の具体的な構成は限定されず、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また危険回避装置４０は、制御部３０の一部として構成されてもよい。

　図３は、危険回避装置４０の機能的な構成例を示すブロック図である。危険回避装置４０は、画像取得部４１、物体検出部４２、姿勢推定部４３、及び可能性判定部４４、及び警告出力部４５を有する。例えば危険回避装置４０のＣＰＵが所定のプログラムを実行することで、各機能ブロックが構成される。

　画像取得部４１は、フロントカメラ１１により撮影された画像を取得する（以下、当該画像を入力画像と記載する）。物体検出部４２は、入力画像から歩行者２と、自転車３及びその運転者４とをそれぞれ検出する。歩行者２や自転車３の検出は、テンプレートマッチングや画像スキャニング等の、任意の画像解析技術により実行されてよい。

　姿勢推定部４３は、検出された歩行者２及び運転者４の姿勢を推定する。姿勢推定部４３は、パーツ推定部４６及び骨格検出部４７を有する。すなわち本実施形態では、歩行者２及び運転者４の骨格の位置をもとに姿勢が判定される。

　図４は、骨格推定の一例を説明するための図である。図４中の白丸５０、これを結ぶ線５１、及び頭部５２により、歩行者２及び運転者４の各々の骨格が表現される。図４では、歩行者２及び運転者４の各々の重心点５５と、路面Ｒに対する歩行者２及び自転車３の接地点５６とが図示されている。これらの点は、滑る可能性を判定する際に用いられる。

　骨格推定は、ボーン推定やスケルトン推定ともいわれ、周知の技術を用いて実行可能である。その一例を歩行者２を参照して説明すると、まず算出したい骨格のモデル、すなわち図４に示す白丸５０の位置や数、それらを結ぶ線５１等のモデルが予め設定される。

　骨格のモデルは、典型的には、人体の実際の骨格に準じて設定され、例えば頭、太もも、腰等の複数の主要パーツが設定され、当該パーツの重心点やパーツ間の関節部に白丸５０が設定される。またパーツの位置に基づいて、白丸５０を結ぶ線５１が設定される。

　パーツ推定部４６により、入力画像内の歩行者２の画像（部分画像）をもとに、入力画像内の歩行者２について、上記で設定された各パーツの位置が算出される。例えば種々の姿勢における各パーツの画像がテンプレート画像として記憶される。これらテンプレート画像と歩行者２の画像とをマッチングすることで、歩行者２の各パーツの位置を算出可能である。

　骨格検出部４７により、算出された各パーツの位置をもとに、白丸５０、線５１、及び頭部５２が設定されて、歩行者２の骨格が検出される。

　なお自動車１００のフロント部にデプスセンサを搭載し、デプスセンサにより得られた歩行者２のデプス画像（距離画像）をもとに、機械学習で得られたパラメータを用いて、各パーツの位置を推定することも可能である。例えば歩行者２の画像内の画素が１つ選択され、当該画素を含む所定の領域のデプス情報（距離情報）が取得される。このデプス情報をもとに、上記パラメータを用いて、選択された画素がどのパーツに含まれるかが判定される。歩行者２の画像内の各画素について同じ処理が実行されることで、歩行者２の各パーツの位置を算出可能である。これにより歩行者２の骨格が推定される。

　デプス情報に代えて、画素のＲＧＢ情報が用いられてもよい。すなわち選択された画素の周囲のＲＧＢ情報をもとに、機械学習で得られたパラメータを用いて、選択画素が含まれるパーツを判定することが可能である。その他、ステレオカメラを用いた方法等、任意の技術により骨格推定が実行されてよい。なお自転車３の運転者４の骨格も同様に推定可能である。

　可能性判定部４４は、推定された姿勢、すなわち図４に示す骨格から、歩行者２及び自転車３が滑る可能性を判定する。特に本実施形態では、対象物体１として検出された自転車３及びその運転者４については、運転者４の姿勢をもとに滑る可能性が判定される。以下、対象物体１としての自転車３及びその運転者４のことを、自転車３及び運転者４の一方のみを記載して説明する場合がある。例えば自転車３及びその運転４の姿勢のことを、自転車３の姿勢と記載する場合がある。

　警告出力部４５は、判定された滑る可能性をもとに、自動車１００の運転に関する危険を回避するための危険回避情報を出力する。典型的には、歩行者２及び自転車３が滑って転倒した場合に、自動車１００が当該歩行者２や、自転車３及びその運転者４と接触してしまうことを回避するための情報を出力する。危険回避情報は、例えば画像や音声等により出力される。

　［滑る可能性の判定動作］
　図５は、滑る可能性の判定動作の一例を示すフローチャートである。まず物体検出部４２により、歩行者２及び自転車３がそれぞれ検出される（ステップ１０１）。次に姿勢推定部４３により、歩行者２及び自転車３の各々の姿勢が推定される（ステップ１０２）。続いて可能性判定部４４により、推定された姿勢をもとにした滑る可能性の判定が実行される。

　例えば姿勢が傾いていると、路面Ｒとの接地点５６に、路面Ｒに沿った横方向の力が加わり滑る可能性が出てくる。従って接地点５６に作用する横方向の力に着目して滑る可能性が判定される。後述するように、本実施形態では、路面Ｒは水平方向に広がっているとみなされる。従って接地点５６に作用する横方向の力とは、水平方向の力となる。

　図６は、滑る可能性の判定方法の一例を説明するための図である。まず歩行者２に関する特徴点として、歩行者２の重心点５５が算出される（ステップ１０３）。重心点５５の座標（ｘ_ave，ｙ_ave）は、以下の式により算出される。

　なおパラメータは以下の通りである。
　Ｎ…設定されたパーツの数
　Ｗｉ…各パーツの質量
　（ｘｉ，ｙｉ）…各パーツの位置座標
　Ｗ…歩行者の総質量（＝Ｗ₁＋・・・・＋Ｗ_N）

　各パーツの質量Ｗｉ、及び総質量Ｗは、予め設定されている。例えば人体の各パーツの平均的な質量が用いられる。なお男性、女性、成人、子供等を区別して、各パーツの質量がそれぞれ記憶されていてもよい。例えば入力画像から歩行者２の種別が判定され、該当する各パーツの質量が読み出される。

　各パーツの位置座標は、姿勢推定により推定されたパーツの位置をもとに算出され、典型的には、各パーツの重心点の位置が用いられる。なお骨格を表す白丸５１の位置座標をもとに、各パーツの位置座標が算出されてもよい。例えばパーツの両端の関節部分の白丸５１の中心点が、当該パーツの位置座標として用いられてもよい。

　歩行者２の路面Ｒとの接触点、すなわち接地点５６（座標（ｘ_ground，ｙ_ground））が算出される（ステップ１０４）。本実施形態では、推定された骨格の最下点が接地点５６として算出される。また路面Ｒは水平方向（ｘ軸方向）に広がっているとして、滑る可能性が判定される。

　なお本実施形態では、両足が路面Ｒに付いている場合には、滑らないと判定される。従って滑る可能性の判定は、片足のみが路面Ｒについている歩行者２に対して実行される。これに代えて、例えば両足の各々の接地点の中心点を、改めて歩行者２の接地点５６として、両足で立っている場合の滑る可能性が判定されてもよい。

　なお自転車３の運転者４については、自転車３の車輪の最下点が、接地点５６となる（図４参照）。当該最下点は、例えば入力画像から検出された自転車３の画像をもとに算出することが可能である。

　接地点５６に作用する水平方向（ｘ軸方向）の力Ｆ_hor、及び垂直方向（Ｙ軸方向）の力Ｆ_virが、以下の式により算出される。

　Ｇを重力加速度、重心点５５に作用する垂直方向の力Ｆとすると、Ｆ＝ＷＧとなる。この力Ｆの、重心点５５と接地点５６とを結ぶ直線Ｌの延在方向に作用する成分力をＦ１とすると、Ｆ１＝ＷＧｃｏｓθとなる。この力Ｆ１の水平／垂直方向の成分力が、上記の力Ｆ_hor及び力Ｆ_virとなる。

　角度θは、中心点５５の座標（ｘ_ave，ｙ_ave）及び接地点５６の座標（ｘ_ground，ｙ_ground）を用いて以下の式により算出される。

　一般的に水平面上に静止している物体に水平方向の力を作用させた場合に、物体が動き出す条件は、当該力が、垂直抗力×静止摩擦係数よりも大きくなることである。すなわち水平方向の力／垂直抗力が静止摩擦係数よりも大きくなることが条件となる。この点に着目して、本実施形態では、以下の式に示すように、力の比としてＦ_hor／Ｆ_virが算出される（ステップ１０５）。

　算出された力の比＝ｔａｎθが、所定の閾値よりも大きいか否か判定される（ステップ１０６）。力の比が閾値よりも大きい場合には（ステップ１０６のＹｅｓ）、歩行者２及び自転車３は、滑る可能性が高いと判定される（ステップ１０７）。力の比が閾値よりも小さい場合には（ステップ１０６のＮｏ）、歩行者２及び自転車３は、滑る可能性が低いと判定される（ステップ１０８）。

　閾値は、例えば乾燥路、雪道、ウェット路等の種々の路面状態において、実際に滑りやすい姿勢を検証して、設定される。各路面状態において算出される値の平均値が用いられてもよいし、最も滑りやすい路面状態での算出値が用いられてもよい。閾値の算出に、各路面状態における静止摩擦係数や動摩擦係数が参照されてもよい。その他、閾値の算出方法は任意に設定されてよい。例えば実験やシミュレーションにより得られたデータに基づいて、機械学習等により閾値を算出することも可能である。

　また滑る可能性の判定対象が、歩行者である場合と、自転車である場合とで、互いに異なる閾値が設定されてもよい。例えば平均移動速度の違い、重心点の高さの違い、総重量の違い等に着目して、異なる閾値がそれぞれ算出されてもよい。

　力の比＝ｔａｎθからもわかるように、角度θが算出されれば、滑る可能性は判定可能である。すなわち重心点５５と接地点５６とを結ぶ直線Ｌの垂直方向に対する角度θをもとに滑る可能性は判定可能である。ここで重心点５５と接地点５６とを結ぶ直線Ｌの路面Ｒに対する角度をθ'とすると、θ'＝π－θとなる。従って当該角度θ'を算出することでも、滑る可能性を判定することが可能である。

　対象物体１の重心点５５と接地点５６とに着目することで、対象物体１の滑る可能性を高精度に判定することが可能である。なお滑る可能性について、段階的な評価が行われてもよい。すなわち可能性が非常に低い、低い、普通、高い、非常に高い等の複数の段階で、滑る可能性が判定されてもよい。

　図７は、警告出力部４５により出力される危険回避情報としての危険回避画像の一例を示す図である。危険回避画像６０は、少なくとも滑る可能性が高いと判定された歩行者２や自転車３を識別可能な画像である。図７に示す例では、各対象物体１の種別（歩行者２／自転車３）、滑る可能性の高低、各対象物体１に設定される危険領域６１、及び危険回避経路６２が表示される。

　危険領域６１は、歩行者２や自転車３が滑って転倒した場合に、当該歩行者２等が移動してくる可能性のある領域である。例えば歩行者２及び自転車３ごとに危険領域６１のサイズが予め設定しており、歩行者２等を中心に当該危険領域６１が設定される。あるいは、歩行者２や自転車３の移動方向や移動速度をもとに、動的に危険領域６１が設定されてもよい。なお図７に示す例では、滑る可能性が低い歩行者２についても危険領域６１が表示されているが、滑る可能性が高い対象物体１のみに危険領域６１が表示されてもよい。

　危険回避経路６２は、各対象物体１に設定された危険領域６１を回避するルートを示す画像である。例えば自車の現状の走行動作から自車の予測経路が算出され、当該予測経路を基準として危険回避経路６２が算出される。あるいは例えばナビゲーション情報等をもとに予め設定されていた経路を基準として、危険回避経路６２が算出されてもよい。また道路情報や地図情報等が適宜利用されてもよい。

　危険回避画像６０が表示されることで、自動車１００の運転者に対して、滑って転倒してしまう可能性の高い歩行者２等に注意を向けさせることが可能となり、転倒した歩行者２等との接触事故等を防止することが可能となる。また危険領域６１や危険回避経路６２が表示されることで、運転者は、安全な経路等を容易に把握することが可能となる。なお各対象物体１の滑る可能性や危険回避経路６２等が、音声により運転者に報知されてもよい。

　以上、本実施形態に係る危険回避装置４０では、推定された姿勢をもとに歩行者２及び自転車３が滑る可能性を高精度に判定することができる。これにより事故等を防止するための有効な危険回避情報を自動車１００の運転者等に提供して注意を喚起することが可能となる。この結果、滑って転倒した歩行者２や自転車３の運転者４との接触事故等を未然に防止することができる。

　＜第２の実施形態＞
　本技術の第２の実施形態に係る危険回避装置について説明する。これ以降の説明では、上記の実施形態で説明した自動車１００及び危険回避装置４０における構成及び作用と同様な部分については、その説明を省略又は簡略化する。

　本実施形態では、対象物体の姿勢のみならず、路面状態に関する路面情報も利用して、対象物体が滑る可能性が判定される。路面情報は、危険回避装置が搭載される自動車に設置された路面センサから取得される。

　路面センサは、例えば自動車のフロント部の下方に設置される。本実施形態では、路面センサとして偏光カメラが用いられ、路面の水平偏光画像及び垂直偏光画像が生成される。生成された水平偏光画像及び垂直偏光画像は、危険回避装置に出力され、各偏光画像の強度をもとに路面状態が検出される。

　本実施形態では、滑りにくい路面状態として、乾燥路が検出される。また滑りやすい路面状態として、ウェット路及び雪路が検出される。すなわち本実施形態では、３種類の路面状態が検出可能であり、いずれかの路面状態が検出されない場合には路面状態は不明と判定される。なお検出可能な路面状態の種類は限定されず、例えば凍結状態等が検出されてもよい。あるいはアスファルト、土等の、路面を構成する物質（材料、素材）が検出されてもよい。

　路面状態を検出する方法は限定されず、例えば路面を撮影した撮影画像の色情報をもとに路面状態が検出されてもよい。あるいはデプスセンサやステレオカメラ等が用いられてもよい。

　図８は、危険回避装置の機能的な構成例を示すブロック図である。図９は、滑る可能性の判定動作の一例を示すフローチャートである。本実施形態に係る危険回避装置２４０は、姿勢判定部２４６、偏光画像取得部２４７、路面状態検出部２４８、及び路面判定部２４９を有する。

　まず姿勢判定部２４６により、対象物体が滑りやすい姿勢か否かが判定される（ステップ２０１）。この判定は、推定された対象物体の姿勢をもとに実行され、具体的には、第１の実施形態で説明した図５の処理と略同様の処理が実行される。

　図５のステップ１０７にて滑る可能性が高いと判定された場合には、対象物体は滑りやすい姿勢であると判定される。図５のステップ１０８にて滑る可能性が低いと判定された場合には、対象物体は滑りやすい姿勢ではないと判定される。

　次に路面の滑りやすさが判定される（ステップ２０２）。図１０は、路面の滑りやすさ判定の一例を示すフローチャートである。偏光画像取得部２４７により路面の水平偏光画像及び垂直偏光画像が取得される。そして路面状態検出部２４８により、各偏光画像の強度をもとに路面状態が検出される（ステップ３０１）。偏光画像取得部２４７及び路面状態検出部２４８は、本実施形態に係る取得部に相当する。

　路面判定部２４９により、路面が滑りやすいが否か判定される。具体的には、路面状態が乾燥路か否か判定され（ステップ３０２）、Ｙｅｓの場合には、路面は滑りにくいと判定される（ステップ３０３）。

　路面状態が乾燥路ではない場合には（ステップ３０２のＮｏ）、路面状態が雪路及びウェット路のいずれか一方であるか否かが判定される（ステップ３０４）。路面状態が雪路かウェット路である場合には、路面は滑りやすいと判定される（ステップ３０５）。路面状態が雪路及びウェット路のいずれにも該当しない場合には、路面状態は不明と判定される（ステップ３０６）。

　姿勢の滑りやすさと、路面の滑りやすさとをもとに、可能性判定部２４４により、対象物体の最終的な滑る可能性が判定される（図９のステップ２０３）。

　図１１は、最終的な滑る可能性の判定動作の一例を示すフローチャートである。まず路面状態が不明か否か判定され（ステップ４０１）、Ｙｅｓの場合には滑る可能性は不明と判定される（ステップ４０２）。あるいは、第１の実施形態と略同様に、姿勢の滑りやすさがそのまま最終的な滑る可能性として判定されてもよい。

　路面状態が不明でない場合は（ステップ４０１のＮｏ）、路面状態及び姿勢の両方とも滑りにくいか否かが判定される。すなわち滑りにくい路面かつ滑りにくい姿勢であるか否かが判定される（ステップ４０３）。路面状態及び姿勢の両方とも滑りにくい場合には（ステップ４０３のＹｅｓ）、対象物体の滑る可能性は低いと判定される（ステップ４０４）。

　路面状態及び姿勢の両方ともが滑りにくい場合に該当しない、すなわち路面状態及び姿勢の少なくとも一方が滑りやすい場合には（ステップ４０３のＮｏ）、対象物体は滑る可能性が高いと判定される（ステップ４０５）。

　図１１に示す判定処理は、図１２に示すようなテーブル情報をもとに実行されてもよい。また図１２のテーブル情報内に例示すように、路面の滑りやすさ及び姿勢の滑りやすさの組み合わせに応じて、対象物体の滑る可能性が段階的に評価されてもよい。図１２に示す例では、路面状態及び姿勢がともに滑りやすい場合には、滑る可能性が非常に高いと判定される。

　以上本実施形態に係る危険回避装置２４０では、対象物体の姿勢及び路面状態の両方の滑りやすさをもとに、対象物体の滑る可能性が判定される。これにより対象物体が滑る可能性を高精度に判定することが可能となる。本実施形態に係る危険回避画像として、滑る可能性や危険領域に加えて路面状態が表示されてもよい。

　＜その他の実施形態＞
　本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

　図１３は、他の実施形態に係る危険回避装置の機能的な構成例を示すブロック図である。本危険回避装置３４０では、閾値設定部３４９により、路面状態に応じた閾値が読み出されて設定される。例えば図１４に示すテーブル情報のように、乾燥路には高い閾値が設定され、ウェット路にはやや低い閾値が設定される。また雪路には低い閾値が設定される。すなわち本実施形態では、路面状態検出３４８により検出された路面状態に応じて動的に閾値が設定される。なお各閾値は、例えば各路面状態に対して統計的に算出された値、あるいは機械学習等により算出された値が使用される。

　図１５は、本実施形態に係る滑る可能性の判定動作の一例を示すフローチャートである。ステップ５０１からステップ５０５までは、図５に示すステップ１０１からステップ１０５までと略同様である。ステップ５０５にて力の比＝Ｆ_hor／Ｆ_vir＝ｔａｎθが算出されると、路面状態が不明か否か判定され（ステップ５０６）、Ｙｅｓの場合には滑る可能性は不明と判定される（ステップ５０７）。路面状態が不明でない場合は（ステップ５０６のＮｏ）、路面状態に応じた閾値をもとに、対象物体の滑る可能性が判定される（ステップ５０８、５０９、及び５１０）

　このように路面状態に応じて閾値を動的に設定することで、対象物体の滑る可能性を高精度に判定することができ、衝突事故等を防ぐための有効な情報を自動車の運転者に提供することができる。

　図１６は、自転車３及びその運転者４の姿勢推定の他の実施形態を説明するための図である。図１６に示すように、運転者４のみならず自転車３についても骨格が検出されてよい。例えば自転車３について予め複数のパーツが設定され、入力画像をもとに、自転車３の各パーツの位置が推定される。その際には、歩行者２や運転者４等の骨格推定と同様な技術が用いられてよい。

　自転車３の各パーツの位置が推定されれば、各パーツに対応して予め設定された白丸５１及び線５２が設定される。これにより自転車３の姿勢を推定することができる。推定された自転車３及び運転者４の各々の姿勢をもとに、自転車３及びその運転者４の全体の姿勢が高精度に推定可能となる。

　滑る可能性の判定においては、自転車３及びその運転者４の全体の重心点９５が算出される。また自転車３の骨格をもとに、その最下点が路面Ｒとの接地点５６として検出される。これら重心点９５及び接地点５６をもとに、高精度に滑る可能性を判定することができる。また自転車３の車輪部分の白丸５１ａ－５１ｅをもとに、バンドルの操舵量が推定され、操舵量が大きい場合には滑る可能性が高いと判定されてもよい。ずれにせよ自転車３の姿勢も合わせて推定することで、滑る可能性の判定精度は向上する。

　上記では、対象物体の滑る可能性の判定において、路面が水平歩行に広がっているとされた。これに代えて、対象物体が立っている実際の路面の傾斜角度の情報が、路面情報として取得されて滑る可能性の判定に用いられてもよい。

　路面の傾斜角度の情報は、例えばフロントカメラにより撮影された撮影画像から算出される。あるいは偏光カメラやデプスセンサ等により取得された路面の偏光画像やデプス画像等をもとに、傾斜角度の情報が取得されてもよい。あるいはＧＰＳ等により取得した現在地情報、及び地図情報や道路交通情報等から、目の前の歩行者等がいる路面の傾斜角度の情報が取得されてもよい。予め傾斜角度のパターンが何種類か準備され、そのうちから最も近い傾斜角度が選択されてもよい。

　取得された傾斜角度の情報を用いて、例えば図６に示す重心点５５と接地点５６とを結ぶ直線Ｌの垂直方向に対する角度θ、あるいは重心点５５と接地点５６とを結ぶ直線Ｌの路面Ｒに対する角度θ'が適宜算出される。これらの角度を用いて、傾斜している路面Ｒに対して、対象物体が滑る可能性を高精度に判定することが可能となる。

　上記では、滑る可能性を判定するための特徴点として、対象物体の重心点が算出された。これに限定されず、特徴点として、頭部や腰部の重心点が用いられてもよい。

　姿勢をもとにした滑る可能性の判定基準として、特徴点と接触点とを結ぶ直線の路面に対する角度とは異なるパラメータが用いられてもよい。例えば各パーツの位置関係等に基づいて、滑る可能性が判定されてもよい。また対象物体の画像（部分画像）等を入力として、機械学習等により滑る可能性が判定されてもよい。

　左右のサイドカメラやリアカメラ等により撮影された撮影画像をもとに、自動車の左右や後方に存在する対象物体の滑る可能性が判定されてもよい。

　フロントカメラ等の各種カメラやセンサ、制動装置や操舵装置を含む自動車、及び本技術に係る危険回避装置を含むシステムは、本技術に係る危険回避システムの一実施形態に相当する。もちろんこれらの構成に限定されるわけではない。

　本技術は、自動車ばかりでなく、二輪車や自動三輪車等の種々の移動体装置に適用可能であり、またそれらのシミュレーション装置やゲームなどの様々な技術分野にも適用可能である。また本技術は、移動体装置に適用される場合にのみならず、監視システム等にも適用可能である。例えば橋の上や駅のホーム等を歩く歩行者等の滑る可能性を判定して、本人や周囲の人に報知するといったことも可能である。

　以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

　なお、本技術は以下のような構成も採ることができる。
（１）入力画像から対象物体を検出する検出部と、
　前記検出された対象物体の姿勢を推定する推定部と、
　前記推定された姿勢をもとに前記対象物体が滑る可能性を判定する判定部と
　を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
　前記検出部は、前記入力画像から歩行者を検出可能であり、
　前記判定部は、推定された前記歩行者の姿勢をもとに、前記歩行者が滑る可能性を判定する
　情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
　前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であり、
　前記推定部は、少なくとも前記運転者の姿勢を推定し、
　前記判定部は、前記推定された前記運転者の姿勢をもとに、前記二輪車が滑る可能性を判定する
　情報処理装置。
（４）（３）に記載の情報処理装置であって、
　前記推定部は、前記二輪車の姿勢を推定し、
　前記判定部は、前記推定された前記二輪車及び前記運転者の各々の姿勢をもとに、前記二輪車が滑る可能性を判定する
　情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
　前記判定部は、前記推定された姿勢をもとに前記対象物体に関する特徴点と、前記対象物体の路面との接触点とを算出し、前記特徴点と前記接触点とを結ぶ直線の前記路面に対する角度をもとに、前記滑る可能性を判定する
　情報処理装置。
（６）（５）に記載の情報処理装置であって、
　前記特徴点は、前記対象物体の重心点である
　情報処理装置。
（７）（５）に記載の情報処理装置であって、
　前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であり、
　前記判定部は、前記特徴点として、前記運転者の重心点、又は前記二輪車及びその運転者の全体の重心点を算出する
　情報処理装置。
（８）（１）から（７）のうちいずれか１つに記載の情報処理装置であって、さらに、
　路面状態に関する路面情報を取得する取得部を具備し、
　前記判定部は、前記取得された路面情報をもとに、前記滑る可能性を判定する
　情報処理装置。
（９）（８）に記載の情報処理装置であって、
　前記判定部は、前記取得された路面情報をもとに路面の滑りやすさを判定し、前記判定された滑りやすさをもとに、前記滑る可能性を判定する
　情報処理装置。
（１０）（８）又は（９）に記載の情報処理装置であって、
　前記路面情報は、前記路面の傾斜角度を含み、
　前記判定部は、前記路面の傾斜角度をもとに、前記直線の前記路面に対する角度を算出する
　情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
　前記推定部は、前記検出された対象物体の骨格を推定する
　情報処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理装置であって、
　前記情報処理装置は、移動体装置に搭載されるものであり、さらに、前記判定された滑る可能性をもとに、前記移動体装置の運転に関する危険を回避するための危険回避情報を生成して出力する出力部を具備する
　情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
　前記出力部は、前記滑る可能性が高いと判定された前記対象物体を識別可能な画像を出力する
　情報処理装置。
（１４）（１２）又は（１３）に記載の情報処理装置であって、
　前記出力部は、前記滑る可能性が高いと判定された前記対象物体に設定される危険領域を含む画像を出力する
　情報処理装置。

　Ｒ…路面
　Ｌ…重心点と接地点とを結ぶ直線
　１…対象物体
　２…歩行者
　３…自転車
　４…自転車の運転者
　４０、２４０、３４０…危険回避装置
　４１…画像取得部
　４２…物体検出部
　４３…姿勢推定部
　４４、２４４…可能性判定部
　４５…警告出力部
　５５、９５…重心点
　５６…接地点
　６０…危険回避画像
　６１…危険領域
　６２…危険回避経路
　１００…自動車
　２４６…姿勢判定部
　２４７…偏光画像取得部
　２４８、３４８…路面状態検出部
　２４９…路面判定部
　３４９…閾値設定部

Claims

　入力画像から対象物体を検出する検出部と、
　前記検出された対象物体の姿勢を推定する推定部と、
　前記推定された姿勢をもとに前記対象物体が滑る可能性を判定する判定部と
　を具備する情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記検出部は、前記入力画像から歩行者を検出可能であり、
　前記判定部は、推定された前記歩行者の姿勢をもとに、前記歩行者が滑る可能性を判定する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であり、
　前記推定部は、少なくとも前記運転者の姿勢を推定し、
　前記判定部は、前記推定された前記運転者の姿勢をもとに、前記二輪車が滑る可能性を判定する
　情報処理装置。
　請求項３に記載の情報処理装置であって、
　前記推定部は、前記二輪車の姿勢を推定し、
　前記判定部は、前記推定された前記二輪車及び前記運転者の各々の姿勢をもとに、前記二輪車が滑る可能性を判定する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記判定部は、前記推定された姿勢をもとに前記対象物体に関する特徴点と、前記対象物体の路面との接触点とを算出し、前記特徴点と前記接触点とを結ぶ直線の前記路面に対する角度をもとに、前記滑る可能性を判定する
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記特徴点は、前記対象物体の重心点である
　情報処理装置。
　請求項５に記載の情報処理装置であって、
　前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であり、
　前記判定部は、前記特徴点として、前記運転者の重心点、又は前記二輪車及びその運転者の全体の重心点を算出する
　情報処理装置。
　請求項１に記載の情報処理装置であって、さらに、
　路面状態に関する路面情報を取得する取得部を具備し、
　前記判定部は、前記取得された路面情報をもとに、前記滑る可能性を判定する
　情報処理装置。
　請求項８に記載の情報処理装置であって、
　前記判定部は、前記取得された路面情報をもとに路面の滑りやすさを判定し、前記判定された滑りやすさをもとに、前記滑る可能性を判定する
　情報処理装置。
　請求項８に記載の情報処理装置であって、
　前記路面情報は、前記路面の傾斜角度を含み、
　前記判定部は、前記路面の傾斜角度をもとに、前記直線の前記路面に対する角度を算出する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記推定部は、前記検出された対象物体の骨格を推定する
　情報処理装置。
　請求項１に記載の情報処理装置であって、
　前記情報処理装置は、移動体装置に搭載されるものであり、さらに、前記判定された滑る可能性をもとに、前記移動体装置の運転に関する危険を回避するための危険回避情報を生成して出力する出力部を具備する
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記出力部は、前記滑る可能性が高いと判定された前記対象物体を識別可能な画像を出力する
　情報処理装置。
　請求項１２に記載の情報処理装置であって、
　前記出力部は、前記滑る可能性が高いと判定された前記対象物体に設定される危険領域を含む画像を出力する
　情報処理装置。
　入力画像から対象物体を検出し、
　前記検出された対象物体の姿勢を推定し、
　前記推定された姿勢をもとに前記対象物体が滑る可能性を判定する
　ことをコンピュータが実行する情報処理方法。
　入力画像から対象物体を検出するステップと、
　前記検出された対象物体の姿勢を推定するステップと、
　前記推定された姿勢をもとに前記対象物体が滑る可能性を判定するステップと
　をコンピュータに実行させるプログラム。