JP6919567B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本技術は、例えば自動車の運転時等において、運転者への注意喚起を行う情報処理装置、情報処理方法、及びプログラムに関する。

自動緊急ブレーキや衝突回避システムなどの、緊急時の事故回避技術が一般的になってきている。また事故を回避するために運転者等に注意を喚起するシステムも開発されている。例えば特許文献１には、データベースから読み出された天気情報や道路情報をもとに、自車の前方を走行する自転車が転倒しやすいか否かが判定される。前方の自転車が転倒しやすい場合には、運転者にその旨の警告が行われる（特許文献１の明細書段落［００４３］−［００４９］等）。

また特許文献２には、赤外線カメラにより撮影された車両前方の画像を解析することで、自車が進行する領域内に歩行者がいるか否かが判定される。また進行領域外の歩行者の移動を検出することで、歩行者が進行領域に侵入する危険度が判定される。領域内の歩行者や危険度が高い歩行者に対しては、狭指向性の警告音が出力される（特許文献２の明細書段落［００５１］［００５２］［００６８］等）。

特開２００９−１２２８５４号公報 特開２０１４−５２８８３号公報

このように事故等を未然に防ぐための有効な情報を運転者等に提供して、注意喚起を行うことが可能な技術が求められている。

以上のような事情に鑑み、本技術の目的は、有効な情報を提供して注意喚起を行うことが可能となる情報処理装置、情報処理方法、及びプログラムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、検出部と、推定部と、予測部とを具備する。
前記検出部は、入力画像から対象物体を検出する。
前記推定部は、前記検出された対象物体の姿勢を推定する。
前記予測部は、前記推定された姿勢をもとに前記対象物体の動作を予測する。

この情報処理装置では、推定された姿勢をもとに対象物体の動作を高精度に予測することができる。この結果、事故等を防止するための有効な情報を運転者等に提供して注意を喚起することが可能となる。

前記検出部は、前記入力画像から歩行者を検出可能であってもよい。この場合、前記予測部は、推定された前記歩行者の姿勢をもとに、前記歩行者の動作を予測してもよい。
これにより例えば歩行者との接触事故等を未然に防止することが可能となる。

前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であってもよい。この場合、前記推定部は、少なくとも前記運転者の姿勢を推定してもよい。また前記予測部は、前記推定された前記運転者の姿勢をもとに、前記二輪車及びその運転者の動作を予測してもよい。
これにより例えば二輪車との接触事故等を未然に防止することが可能となる。

前記推定部は、前記二輪車の姿勢を推定してもよい。この場合、前記予測部は、前記推定された前記二輪車及びその運転者の各々の姿勢をもとに、前記二輪車及びその運転者の動作を予測してもよい。
これにより二輪車及びその運転者の動作を高精度に予測することができる。

前記予測部は、前記推定された姿勢をもとに前記対象物体に関する特徴点を算出し、前記算出された特徴点の位置をもとに、前記対象物体の動作を予測してもよい。
これにより対象物体の動作を容易に予測することができる。

前記特徴点は、前記対象物体の重心点であってもよい。
重心点の位置を用いることで対象物体の動作を高精度に予測することができる。

前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であってもよい。この場合、前記予測部は、前記特徴点として、前記運転者の重心点、又は前記二輪車及びその運転者の全体の重心点を算出してもよい。

前記予測部は、前記推定された姿勢をもとに前記対象物体の路面との１以上の接触点を算出し、前記特徴点と前記１以上の接触点との相対的な位置関係をもとに、前記動作を予測してもよい。
これにより対象物体の動作を高精度に予測することができる。

前記予測部は、前記対象物体の移動方向を予測してもよい。
これにより対象物体との接触事故等を未然に防止することができる。

前記予測部は、前記対象物体の急加速を予測してもよい。
これにより対象物体との接触事故等を未然に防止することができる。

前記推定部は、前記検出された対象物体の骨格を推定してもよい。
これにより対象物体の姿勢を高精度に推定することができる。

前記情報処理装置は、移動体装置に搭載されるものであり、さらに、前記予測された前記対象物体の動作をもとに、前記移動体装置の運転に関する危険を回避するための危険回避情報を生成して出力する出力部を具備してもよい。
これにより移動体装置の運転者の注意を喚起することが可能となり、歩行者等との接触事故等を防止することができる。

前記出力部は、前記移動体装置と前記対象物体との接触の可能性を判定し、当該判定された可能性の情報を出力してもよい。
これにより運転者の注意を喚起することが可能となり、歩行者等との接触事故等を防止することができる。

前記予測部は、前記対象物体の移動方向を予測可能であってもよい。この場合、前記出力部は、前記予測された移動方向を含む画像を出力してもよい。
これにより例えば移動体装置の経路に近づいてくる歩行者等に注意を向けさせることが可能となり、接触事故等を防止することが可能となる。

前記出力部は、前記移動体装置と前記対象物体との接触の可能性がある危険領域を含む画像を出力してもよい。
これにより例えば運転者は安全な経路等を容易に把握することが可能となる。

本技術の一形態に係る情報処理方法は、コンピュータにより実行される情報処理方法であって、入力画像から対象物体を検出することを含む。
前記検出された対象物体の姿勢が推定される。
前記推定された姿勢をもとに前記対象物体の動作が予測される。

本技術の一形態に係るプログラムは、コンピュータに以下のステップを実行させる。
入力画像から対象物体を検出するステップ。
前記検出された対象物体の姿勢を推定するステップ。
前記推定された姿勢をもとに前記対象物体の動作を予測するステップ。

以上のように、本技術によれば、有効な情報を提供して注意喚起を行うことが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施形態に係る危険回避装置を搭載する移動体装置の一例としての自動車の構成例を示す外観図である。 図１に示す自動車の構成例を示すブロック図である。 危険回避装置の機能的な構成例を示すブロック図である。 骨格推定の一例を説明するための図である。 静止している状態の歩行者が所定の方向（紙面右方向）に歩き出す際の姿勢（骨格）を示す模式図である。 静止状態から歩き出す際の他のパターンの姿勢を示す模式図である。 直進している自転車及びその運転者が、所定の方向（紙面右方向）に方向転換する際の（骨格）を示す模式図である。 危険回避装置による処理例を示すフローチャートである。 歩行者及び自転車の移動方向の予測動作の一例を示すフローチャートである。 歩行者両足処理の一例を示すフローチャートである。 歩行者片足処理の一例を示すフローチャートである。 自転車処理の一例を示すフローチャートである。 警告出力部により出力される危険回避画像の一例を示す図である。 動作予測の他の実施形態を説明するための図である。 自転車及びその運転者の姿勢推定の他の実施形態を説明するための図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

＜第１の実施形態＞
［自動車の構成］
図１は、本技術の第１の実施形態に係る危険回避装置を搭載する移動体装置の一例としての自動車の構成例を示す外観図である。図２はそのブロック図である。

図１に示すように、自動車１００は、距離センサ１０、フロントカメラ１１、及び車内撮影カメラ１２を有する。また図２に示すように、自動車１００は、操舵装置１５、制動装置１６、車体加速装置１７、舵角センサ２０、車輪速センサ２１、ブレーキスイッチ２２、アクセルセンサ２３、制御部３０、表示装置３５、及び危険回避装置４０を有する。

距離センサ１０は、例えば自動車１００のフロント部の略中央に設置され、自動車１００とその移動方向に存在する物体との距離に関する情報を検出する。距離センサ１０は、例えばミリ波レーダや赤外線レーザ等を用いた種々のセンサで構成される。

フロントカメラ１１は、例えば自動車１００のキャビンまたはルーフ部に設置され、自動車１００の前方視野を所定のフレームレートで撮影する。フロントカメラ１１で撮影された撮影画像は制御部３０を介して危険回避装置４０へ出力され、自車の前方に存在する対象物体の動作が予測される。フロントカメラ１１は、例えば、ＣＭＯＳやＣＣＤ等のイメージセンサで構成される。

図１に示すように、本実施形態では、対象物体１として、歩行者２と、自転車３及びその運転者４とを例に挙げて説明を行う。その他、バイク等の他の二輪車や自動三輪車等の運転者に対しても本技術は適用可能である。

車内撮影カメラ１２は、自動車１００のキャビンに設置され、キャビン内部の様子を所定のフレームレートで撮影する。車内撮影カメラ１２により撮影された画像により、例えば同乗者の有無やその乗車位置等が判定可能である。

なお距離センサ１０、フロントカメラ１１及び車内撮影カメラ１２は、それらの出力が図２に示すように制御部３０へ供給される構成に代えて、危険回避装置４０へ供給されるように構成されてもよい。

操舵装置１５は、典型的にはパワーステアリング装置で構成され、運転者のハンドル操作を操舵輪へ伝達する。制動装置１６は、各車輪に取り付けられたブレーキ作動装置及びこれらを作動させる油圧回路を含み、各車輪の制動力を制御する。車体加速装置１７は、スロットルバルブや燃料噴射装置等を含み、駆動輪の回転加速度を制御する。

制御部３０は、自動車１００に搭載された各機構の動作を制御する。例えば制御部３０は、運転者によるハンドルやアクセル等の操作をもとに、自動車１００の制動、操舵、及び加速等を制御する。例えば制御部３０は、運転者のハンドル操作を検出する舵角センサ２０の出力に基づき、操舵量及び操舵方向を検出し、操舵装置１５を制御する。

また制御部３０は、全車輪又は一部の車輪に設置された車輪速センサ２１の出力に基づき、車両の車体速度を算出するとともに、車輪のロック（スリップ）が防止されるように制動装置１６を制御する。さらに制御部３０は、運転者のアクセルペダル操作量を検出するアクセルセンサ２３の出力に基づき、車体加速装置１７を制御する。

ブレーキスイッチ２２は、運転者のブレーキ操作（ブレーキペダルの踏み込み）を検出するためのもので、ＡＢＳ制御等の際に参照される。

制御部３０は、操舵装置１５、制動装置１６、及び車体加速装置１７を個別に制御する場合は勿論、これらの複数を協調制御してもよい。これにより、操舵（旋回）時、制動時、加速時等において、自動車１００を所望とする姿勢に制御することが可能となる。

また制御部３０は、上述した運転者の各種操作とは無関係に、操舵装置１５、制動装置１６、及び車体加速装置１７を制御することが可能に構成される。例えば、自動車１００は自動運転機能を備えていてもよく、この場合、上記各センサやカメラの出力に基づき、制御部３０が主体的に上記各装置を制御する。

表示装置３５は、例えば液晶やＥＬ（Electro-Luminescence）等を用いた表示部を有し、地図情報やナビゲーション情報等を表示部に表示する。また表示装置３５は、危険回避装置３５から出力される危険回避画像を表示する。表示装置３５としては、典型的には、カーナビゲーション装置が用いられる。またフロントガラス等の所定の位置に、ＡＲ（Augmented Reality：拡張現実）画像を表示させる装置が用いられてもよい。

危険回避装置４０は、後に詳しく説明するように、フロントカメラ１１により撮影された画像から対象物体１を検出し、当該対象物体１の動作を予測する。すなわち撮影された時点から未来に向けての対象物体１の次の動作を予測する。例えば対象物体１の移動方向や急加速の有無等が予測可能である。

危険回避装置４０は、本実施形態に係る情報処理装置に相当し、例えばＣＰＵ、ＲＡＭ、及びＲＯＭ等のコンピュータに必要なハードウェアを有する。ＣＰＵがＲＯＭに予め記録されている本技術に係るプログラムをＲＡＭにロードして実行することにより、本技術に係る危険回避方法（情報処理方法）が実行される。

危険回避装置４０の具体的な構成は限定されず、例えばＦＰＧＡ（Field Programmable Gate Array）等のＰＬＤ(Programmable Logic Device)、その他ＡＳＩＣ（Application Specific Integrated Circuit）等のデバイスが用いられてもよい。また危険回避装置４０は、制御部３０の一部として構成されてもよい。

図３は、危険回避装置４０の機能的な構成例を示すブロック図である。危険回避装置４０は、画像取得部４１、物体検出部４２、姿勢推定部４３、物体移動予測部４４、自車移動予測部４５、危険度判定部４６、及び警告出力部４７を有する。例えば危険回避装置４０のＣＰＵが所定のプログラムを実行することで、各機能ブロックが構成される。

画像取得部４１は、フロントカメラ１１により撮影された画像を取得する（以下、当該画像を入力画像と記載する）。物体検出部４２は、入力画像から歩行者２と、自転車３及びその運転者４とをそれぞれ検出する。歩行者２や自転車３の検出は、テンプレートマッチングや画像スキャニング等の、任意の画像解析技術により実行されてよい。

姿勢推定部４３は、検出された歩行者２及び運転者４の姿勢を推定する。姿勢推定部４３は、パーツ推定部４８及び骨格検出部４９を有する。すなわち本実施形態では、歩行者２及び運転者４の骨格の位置をもとに姿勢が判定される。

図４は、骨格推定の一例を説明するための図である。図４中の白丸５０、これを結ぶ線５１、及び頭部５２により、歩行者２及び運転者４の各々の骨格が表現される。図４では、歩行者２及び運転者４の各々の重心点５５と、路面Ｒに対する歩行者２及び自転車３の接地点５６と、ｘｙ座標系が図示されている。これらは、歩行者２等の次の動作を予測する際に用いられる。

骨格推定は、ボーン推定やスケルトン推定ともいわれ、周知の技術を用いて実行可能である。その一例を歩行者２を参照して説明すると、まず算出したい骨格のモデル、すなわち図４に示す白丸５０の位置や数、それらを結ぶ線５１等のモデルが予め設定される。

骨格のモデルは、典型的には、人体の実際の骨格に準じて設定され、例えば頭、太もも、腰等の複数の主要パーツが設定され、当該パーツの重心点やパーツ間の関節部に白丸５０が設定される。またパーツの位置に基づいて、白丸５０を結ぶ線５１が設定される。

パーツ推定部４８により、入力画像内の歩行者２の画像（部分画像）をもとに、入力画像内の歩行者２について、上記で設定された各パーツの位置が算出される。例えば種々の姿勢における各パーツの画像がテンプレート画像として記憶される。これらテンプレート画像と歩行者２の画像とをマッチングすることで、歩行者２の各パーツの位置を算出可能である。

骨格検出部４９により、算出された各パーツの位置をもとに、白丸５０、線５１、及び頭部５２が設定されて、歩行者２の骨格が検出される。

なお自動車１００のフロント部にデプスセンサを搭載し、デプスセンサにより得られた歩行者２のデプス画像（距離画像）をもとに、機械学習で得られたパラメータを用いて、各パーツの位置を推定することも可能である。例えば歩行者２の画像内の画素が１つ選択され、当該画素を含む所定の領域のデプス情報（距離情報）が取得される。このデプス情報をもとに、上記パラメータを用いて、選択された画素がどのパーツに含まれるかが判定される。歩行者２の画像内の各画素について同じ処理が実行されることで、歩行者２の各パーツの位置を算出可能である。これにより歩行者２の骨格が推定される。

デプス情報に代えて、画素のＲＧＢ情報が用いられてもよい。すなわち選択された画素の周囲のＲＧＢ情報をもとに、機械学習で得られたパラメータを用いて、選択画素が含まれるパーツを判定することが可能である。その他、ステレオカメラを用いた方法等、任意の技術により骨格推定が実行されてよい。なお自転車３の運転者４の骨格も同様に推定可能である。

物体移動予測部４４は、推定された姿勢、すなわち図４に示す骨格から、歩行者２及び自転車３に乗った運転者４の動作を予測する。なお対象物体１として自転車３及びその運転者４が検出された場合は、自転車３及びその運転者４の姿勢をもとに、自転車３及びその運転者４の動作を予測する。

ここで自転車３及びその運転者４の姿勢は、例えば運転者４の姿勢や自転車３の各々の姿勢のいずれか、もしくは両方をもとに推定可能である。また自転車３及びその運転者４の次の動作とは、ハンドル操作やペダル操作等の運転者４の動作と、直進、カーブ、及び急発進等の自転車３の動作との両方を含む。以下、自転車３及びその運転者４の姿勢及び動作のことを、単に運転者４の姿勢や自転車３の動作等、運転者４又は自転車３のみを記載して説明する場合がある。

自車移動予測部４５は、自動車１００の次の動作を予測する。典型的には、自車移動予測部４５により、自動車１００がこれから進む予測経路が算出される。例えば予測経路は、現状の車体速度、操舵量、操舵方向、又は駆動輪の回転加速度等から算出される。あるいはナビゲーション装置等に設定された目的地の情報、ＧＰＳ等により取得した現在地情報、及び地図情報や道路交通情報等をもとに、予測経路が算出されてもよい。なお自動車１００の他の動作が予測されてもよい。

危険度判定部４６は、物体移動予測部４４により予測された対象物体１の動作と、自車移動予測部４５により予測された予測経路等とをもとに、危険度を判定する。典型的には、歩行者１や自転車３（運転者４）と自動車１００との間で接触事故や衝突事故等が起こる可能性が判定される。例えば予測された歩行者２等の移動方向の先に（延長上に）、自動車１００の予測経路が重なる、あるいは非常に近接する場合には、危険度が高いと判定される。

また予測された歩行者２等の移動方向等をもとに歩行者２等の予測経路が算出され、当該予測経路と自動車１００の予測経路が重なる、あるいは非常に近接する場合に、危険度が高いと判定されてもよい。上記の歩行者２等の予測経路が、物体移動予測部４４により算出されてもよい。

また自転車３等の急加速が予測され、その急加速の方向が、自動車１００の予測経路に向かう方向である場合に、危険度が高く判定されてもよい。なお自動車１００が進むと予測される道路全体を予測経路として、上記と同様の危険度判定が実行されてもよい。

予測経路に代えて、未来の所定のタイミング、典型的には撮影直後のタイミングにおける自動車１００の位置、及び対象物体１の位置がそれぞれ予測され、危険度が判定されてもよい。

警告出力部４７は、判定された危険度をもとに、自動車１００の運転に関する危険を回避するための危険回避情報を出力する。すなわち歩行者２等との接触事故等を回避するための情報が出力される。危険回避情報は、例えば画像や音声等により出力される。危険度判定部４６及び警告出力部４７により、本実施形態に係る出力部が実現される。

［対象物体の動作予測］
姿勢に基づいた次の動作の予測について詳しく説明する。例えば直進からの左右への方向転換、カーブ動作中の他の方向への転換、急発進や急停止等の静動の変化等、歩行者２や自転車３が取り得る動作として、種々の動作が考えられる。このような方向転換や急発進等の動作の切替え時、換言すると次の動作が開始する直前の歩行者２等の姿勢を検証する。そして種々の動作について、次の動作への切替え時の姿勢に関する特徴を抽出し、本実施形態に係る動作予測を実現する。

そのために本発明者は、対象物体１の重心点５５、及び路面Ｒとの接触点である接地点５６に着目した。すなわち次の動作への切替え時に、重心点５５の位置や、重心点５５と接地点５６との相対的な位置関係が変化することを見出した。この重心点５５の位置の変化等を、次の動作への切替え時の姿勢に関する特徴として抽出し、以下に説明する本技術に係る動作予測を考案した。

図５は、静止している状態の歩行者２が所定の方向（紙面右方向）に歩き出す際の姿勢（骨格）を示す模式図である。各姿勢において重心点５５、左足ＦＬと路面Ｒとの接地点５６Ｌ、及び右足ＦＲと路面Ｒとの接地点５６Ｒが算出されている。なお各接地点５６Ｌ及び５６Ｒから鉛直方向に接地点ラインＬ１及びＬ２が設定されている。

図５のＰ１は、歩行者２が両足で立ち静止している状態である。図５のＰ５は、右足ＦＲ（進行方向に対して後ろ足）を前に一歩踏み出した状態であり、歩き出しの状態である。図５のＰ２からＰ４は、静止状態から歩き出し状態への切替え時の姿勢であり、歩き出す直前の姿勢である。

図５のＰ１では、重心点５５が接地点ラインＬ１及びＬ２の間の領域に含まれる。なお接地点ラインＬ１上の位置及びＬ２上の位置も、上記の領域内とする。Ｐ２では、接地点ラインＬ１及びＬ２の間の領域内で、重心点５５が右側、すなわち歩き出す方向に向けて移動する。Ｐ３では、右足ＦＲ（後ろ足）が上げられ、接地点５６が１つになる。重心点５５は、左足ＦＬ（前足）の接地点５６Ｌ上、すなわち接地点ラインＬ１上と略等しい位置となる。

図５のＰ４では、右足ＦＲが進行方向に出されるとともに体重が移動され、重心点５５が接地点ラインＬ１よりも右側（前方側）に移動する。Ｐ５では、右足ＦＲが踏み出され、重心点５５は接地点ラインＬ１及びＬ２の間の領域に含まれる。

図６は、静止状態から歩き出す際の他のパターンの姿勢を示す模式図である。図６Ａは、両足で立っている状態から進行方向（紙面右方向）に向けて姿勢を傾ける場合の図であり、重心点５５が接地点ラインＬ１及びＬ２の間の領域から右側の外部に移動している。すなわち重心点５５は進行方向に向けて、接地点ラインＬ１及びＬ２の間の領域から外れる。

図６Ｂは、両足で立っている状態から左足（前足）を一歩踏み出す場合の図である。左足ＦＬを路面Ｒから上げると接地点５６は１つになり、重心点５５は接地点ラインＬ２よりも右側に外れる。

図６Ｃは、左足ＦＬのみで立っている状態から進行方向（紙面右方向）に向けて姿勢を傾ける場合の図であり、重心点５５は接地点ラインＬ１よりも右側に移動する。

図５のＰ４、図６Ａ−Ｃをもとに、発明者は、静止状態からの歩き出しに関して歩き出す直前の姿勢の特徴として、以下の点を見出した。
接地点５６が２つ（両足で立っている状態）であり、重心点５５が接地点ラインＬ１及びＬ２の間の領域から外れている。この場合、重心点５５が外れている側に向けて、歩行者２は歩き出す。
接地点５６が１つ（片足で立っている状態）であり、重心点５５が接地点ライン（Ｌ１又はＬ２）上になく接地点ラインから外れている。この場合、重心点５５が外れている側に向けて、歩行者２は歩き出す。

なお上記では、紙面右方向に歩き出す場合を説明したが、紙面左方向に歩き出す場合も同様である。また静止状態からの歩き出しに限定されず、紙面垂直方向に沿って直進している歩行者２が左右に方向を転換する場合も、同様に予測可能である。

図７は、直進している自転車３及びその運転者４が、所定の方向（紙面右方向）に方向転換する際の（骨格）を示す模式図である。各姿勢において重心点５５、車輪３ａと路面Ｒとの接地点５６が算出されている。当該接地点５６は、例えば入力画像から検出された自転車３の画像をもとに算出することが可能である。接地点５６からは、鉛直方向に延在する接地点ラインＬが設定されている。

図７のＰ１は、自転車３が紙面垂直方向の手前側に向けて直進している状態である。Ｐ図７のＰ４は、ハンドル３ｂが右側、運転者４から見ると左側に切られた状態であり、方向を右方向に転換し始めた状態である。図７のＰ２からＰ３は、直進状態から方向を転換する状態への切替え時の姿勢であり、ハンドル３ｂを切る直前の姿勢である。

図７のＰ１では、重心点５５は、接地点ラインＬ上と略等しい位置となる。図のＰ２からＰ３にかけて、進行方向（紙面右方向）に向けて体重が移動され、重心点５５が接地点ラインＬよりも右側に移動する。Ｐ４のハンドル３ｂを切り始めた状態でも、重心点５５は接地点ラインＬよりも右側に位置している。

図７のＰ２−Ｐ４をもとに、発明者は、自転車３の方向転換の直前の姿勢の特徴として、重心点５５が接地点ラインＬよりも進行方向に向けて外れているという点を見出した。なお左方向への転換も同様である。また紙面奥側に向けて直進している自転車３の方向転換も同様に予測可能である。

図８は、危険回避装置４０による処理例を示すフローチャートである。物体移動予測部４４により、歩行者２及び自転車３（運転者４）の各々の移動方向が予測される（ステップ１０１）。自車移動予測部４５により自動１００の移動方向（予測経路）が予測される（ステップ１０２）。危険度判定部４６により衝突等の危険度が判定され、警告出力部４７により、危険回避情報が出力される（ステップ１０３）。

図９は、歩行者２及び自転車３の移動方向の予測動作の一例を示すフローチャートである。まず物体検出部４２により、歩行者２及び自転車３がそれぞれ検出される（ステップ２０１）。次に姿勢推定部４３により、歩行者２及び自転車３の各々の姿勢が推定される（ステップ２０２）。

歩行者２及び運転者４の各々の特徴点として、重心点５５が算出される（ステップ２０３）。図４を参照して説明すると、重心点５５の座標（ｘ_ave，ｙ_ave）は、以下の式により算出される。

なおパラメータは以下の通りである。
Ｎ…骨格を推定する際に設定されたパーツの数
Ｗｉ…各パーツの質量
（ｘｉ，ｙｉ）…各パーツの位置座標
Ｗ…歩行者及び運転者の総質量（＝Ｗ₁＋・・・・＋Ｗ_N）

各パーツの質量Ｗｉ、及び総質量Ｗは、予め設定されている。例えば人体の各パーツの平均的な質量が用いられる。なお男性、女性、成人、子供等を区別して、各パーツの質量がそれぞれ記憶されていてもよい。例えば入力画像から歩行者２の種別が判定され、該当する各パーツの質量が読み出される。

各パーツの位置座標は、姿勢推定により推定されたパーツの位置をもとに算出され、典型的には、各パーツの重心点の位置が用いられる。なお骨格を表す白丸５１の位置座標をもとに、各パーツの位置座標が算出されてもよい。例えばパーツの両端の関節部分の白丸５１の中心点が、当該パーツの位置座標として用いられてもよい。

歩行者２等の路面Ｒとの接触点、すなわち接地点５６が算出される（ステップ２０４）。歩行者２については、推定された骨格の最下点が接地点５６として算出される。自転車３については、車輪３ａの最下点が接地点５６として算出される。

検出された対象物体１が歩行者２であるか否か判定される（ステップ２０５）。対象物体１が歩行者２である場合には（ステップ２０５のＹｅｓ）、歩行者２が両足で立っているか否か判定され（ステップ２０６）、Ｙｅｓの場合は歩行者両足処理が実行される（ステップ２０７）。歩行者２が片足で立っている場合は（ステップ２０６のＮｏ）、歩行者片足処理が実行される（ステップ２０８）。

ステップ２０６にて対象物体１が歩行者２ではないと判定された場合には（Ｎｏ）、自転車処理が実行される（ステップ２０９）。

図１０は、歩行者両足処理の一例を示すフローチャートである。まず重心が両足の間にあるか、すなわち図５等に示す重心点５５が接地点ラインＬ１及びＬ２の間の領域に含まれるか否か判定される（ステップ３０１）。重心が両足の間にある場合は（ステップ３０１のＹｅｓ）、歩行者２は静止していると判定される（ステップ３０２）。

なお過去の入力画像をもとに歩行者２の移動履歴がわかる場合等において、歩行者２がまっすぐ歩いている場合には、ステップ３０２にて、直進が継続されたと判定されてもよい。

重心が両足の間に無い場合には（ステップ３０１のＮｏ）、重心が両足よりも左側にあるか、すなわち重心点５５が接地点ラインＬ１及びＬ２の間の領域に対して左側に外れているか否か判定される（ステップ３０３）。重心が左側に外れている場合は（ステップ３０３のＹｅｓ）、歩行者２は左に曲がると判定される（ステップ３０４）。

なおフロントカメラ１１により歩行者２を撮影する方向から見ての左であり、すなわち自動車１００の前方視野において歩行者２は左に方向を転換すると判定される。歩行者２が自動車１００側に向けて歩いている場合には、歩行者２自身は右に曲がることになる。

重心が右側に外れている場合は（ステップ３０３のＮｏ）、歩行者２は右に曲がると判定される（ステップ３０５）。すなわち自動車１００の前方視野において、歩行者２は右に方向を転換すると判定される。

上記の処理を、座標を用いて表すと、以下のようになる。
ｘ_{ground_r}≦ｘ_ave≦ｘ_{ground_l}の場合は、静止状態と判定
ｘ_ave＜ｘ_{ground_r}の場合は、左方向に移動と判定
ｘ_ave＞ｘ_{ground_l}の場合は、右方向に移動と判定
なおｘ_{ground_l}及びｘ_{ground_r}は、左右の足の接地点５６Ｌ及び５６Ｒの各々のｘ座標である。

図１１は、歩行者片足処理の一例を示すフローチャートである。まず重心が路面Ｒに立っている足の上にあるか、すなわち図５等に示す重心点５５が接地点ライン（Ｌ１又はＬ２）上にあるか否か判定される（ステップ４０１）。なお重心点５５が厳密に接地点ライン上に位置する場合に限定されず、接地点ラインと近接する場合に、重心が足の上にあると判定されてもよい。

例えば接地点ラインを中心として、所定の幅（ｘ方向での大きさ）を有し、ｙ軸方向に延在する接地点領域が設定される。当該接地点領域内に重心点５５が含まれる場合に、重心が足の上にあると判定される。

重心が足の上にある場合には（ステップ４０１のＹｅｓ）、歩行者２は静止していると判定される（ステップ４０２）。重心が足の上に無い場合には（ステップ４０１のＮｏ）、重心が接地している足よりも左側にあるか、すなわち重心点５５が接地点ライン（又は接地点領域）に対して左側に外れているか否か判定される（ステップ４０３）。重心が左側に外れている場合（ステップ４０３のＹｅｓ）、歩行者２は左に曲がると判定される（ステップ４０４）。重心が右側に外れている場合は（ステップ４０３のＮｏ）、歩行者２は右に曲がると判定される（ステップ４０５）。

上記の処理を、座標を用いて表すと、以下のようになる。
ｘ_ave＝ｘ_groundの場合は、静止状態と判定
ｘ_ave＜ｘ_groundの場合は、左方向に移動と判定
ｘ_ave＞ｘ_groundの場合は、右方向に移動と判定
なおｘ_groundは、片足の接地点（５６Ｌ又は５６Ｒ）のｘ座標である。また接地点領域が設定される場合には、接地点領域の最小ｘ座標及び最大ｘ座標を基準として判定が実行される。

図１２は、自転車処理の一例を示すフローチャートである。まず重心が車輪の接地点５６の上にあるか、すなわち図７等に示す重心点５５が接地点ラインＬ上にあるか否か判定される（ステップ５０１）。なお重心点５５が厳密に接地点ラインＬ上に位置する場合に限定されず、接地点ラインＬと近接する場合に、重心が接地点５６上にあると判定されてもよい。すなわち上記した接地点領域が設定されてもよい。

重心が接地点の上にある場合には（ステップ５０１のＹｅｓ）、自転車３は直進していると判定される（ステップ５０２）。重心が接地点５６の上に無い場合には（ステップ５０１のＮｏ）、重心が接地点５６よりも左側にあるか、すなわち重心点５５が接地点ラインＬ１（又は接地点領域）に対して左側に外れているか否か判定される（ステップ５０３）。重心が左側に外れている場合（ステップ５０３のＹｅｓ）、自転車３は左に曲がると判定される（ステップ５０４）。重心が右側に外れている場合は（ステップ５０３のＮｏ）、自転車３は右に曲がると判定される（ステップ５０５）。

上記の処理を、座標を用いて表すと、以下のようになる。
ｘ_ave＝ｘ_groundの場合は、静止状態と判定
ｘ_ave＜ｘ_groundの場合は、左方向に移動と判定
ｘ_ave＞ｘ_groundの場合は、右方向に移動と判定
なおｘ_groundは、車輪の接地点５６のｘ座標である。また接地点領域が設定される場合には、接地点領域の最小ｘ座標及び最大ｘ座標を基準として判定が実行される。

このように対象物体１の重心点５５の位置、及び重心点５５と接地点５６との相対的な位置関係に着目することで、対象物体１の動作を容易にまた高精度に予測することが可能である。

図１３は、警告出力部４７により出力される危険回避情報としての危険回避画像の一例を示す図である。危険回避画像６０は、各対象物体１の種別（歩行者２／自転車３）、各対象物体１との接触の可能性、各対象物体１の移動方向６１、接触の可能性がある危険領域６２、及び危険回避経路６３が表示される。

図１３に示す例では、自転車３及びその運転者４の移動方向６１として、右下斜め方向が表示されている。例えば歩行者２の移動方向６１のように真横のみならず、斜め方向が移動方向６１として算出されてもよい。例えば重心点５５の位置や車輪の向き等をもとに、詳しい移動方向を算出可能である。

なお車輪の向きは、入力画像から算出可能である。また後述する自転車３の骨格推定により算出することも可能である。また過去の入力画像をもとに算出可能な自転車の移動履歴が適宜利用されてもよい。

危険領域６２は、予測した移動方向６１に沿って自転車３等が移動した場合に、自動車１００と接触する可能性がある領域である。例えば歩行者２及び自転車３ごとに危険領域６２のサイズが予め設定されており、自転車３等を中心に当該危険領域６２が設定される。あるいは自転車３等の移動速度や加速等の予測に基づいて、動的に危険領域６２が設定されてもよい。

危険回避経路６３は、衝突する可能性のある対象物体１ごとに表示される危険領域６２を回避するルートを示す画像である。例えば自車移動予測部４５により予測された予測経路を基準として、安全な回避経路６３が算出される。危険回避経路６３を算出するために、ナビゲーション情報や現在地情報、または道路情報等が適宜利用されてよい。

危険回避画像６０が表示されることで、自動車１００の運転者に対して、衝突の可能性のある自転車３等に注意を向けさせることが可能となり、接触事故等を防止することが可能となる。また危険領域６２や危険回避経路６３が表示されることで、運転者は、安全な経路等を容易に把握することが可能となる。なお各対象物体１の移動方向や接触の可能性、危険回避経路６３等が、音声により運転者に報知されてもよい。

以上、本実施形態に係る危険回避装置４０では、推定された姿勢をもとに歩行者２及び自転車３（運転者４）の動作を高精度の予測することができる。これにより事故等を防止するための有効な危険回避情報を自動車１００の運転者等に提供して注意を喚起することが可能となる。この結果、例えば歩行者２や自転車３により急な方向転換等が行わる場合でも、接触事故等を未然に防止することができる。

＜その他の実施形態＞
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。

例えば上記では、左右への方向転換を例にして、推定した姿勢をもとにした次の動作の予測について説明した。これに限定されず、種々の動作において、重心点の位置や接地点との相対的な位置関係に着目して、動作予測が行われてよい。

図１４は、動作予測の他の実施形態を説明するための図である。例えば歩行者２等が急加速する場合には、急加速する前に体の重心が下げられて体が屈められる場合が多い。すなわち図１４のＰ１からＰ２にかけて示すように重心点５５が下方に下げられ、Ｐ３にて一気に急加速される。この急加速前の姿勢の特徴に着目して、重心点５５が下げられている場合には、急加速が行われると予測する。

重心が下げられていると判定するために、重心点５５の位置に代えて、あるいは加えて足の部分Ｆや背中の部分Ｂの骨格の位置が判定されてもよい。すなわち足が曲げられているか否か、あるいは背中を丸めて体を屈めているか否かが判定されてもよい。重心点５５の左右の移動と組み合わせて判定することで、急加速する方向も予測可能である。これにより急に走り出す歩行者２や自転車３等との接触事故を防止することが可能となる。

また重心点５５と接地点５６とを結ぶ直線の路面Ｒに対する傾斜角度が算出されてもよい。当該傾斜角度θは、例えば中心点５５の座標（ｘ_ave，ｙ_ave）及び接地点５６の座標（ｘ_ground，ｙ_ground）を用いて算出可能である。傾斜角度θが小さい場合には、体が十分に傾いていると判定し、急発進もしくは急な方向転換が行われると予測することが可能である。

歩行者２の足の開きが大きい場合に、急発進もしくは急な方向転換を予測することも可能である。

上でも述べたが、過去の入力画像から対象物体の動作の履歴を取得し、次の動作への予測に利用することで、高い精度で動作予測をすることが可能である。

図１５は、自転車３及びその運転者４の姿勢推定の他の実施形態を説明するための図である。図１５に示すように、運転者４のみならず自転車３についても骨格が検出されてよい。例えば自転車３について予め複数のパーツが設定され、入力画像をもとに、自転車３の各パーツの位置が推定される。その際には、歩行者２や運転者４等の骨格推定と同様な技術が用いられてよい。

自転車３の各パーツの位置が推定されれば、各パーツに対応して予め設定された白丸５１及び線５２が設定される。これにより自転車３の姿勢を推定することができる。推定された自転車３及び運転者４の各々の姿勢をもとに、自転車３及びその運転者４全体の姿勢が高精度に推定可能となる。

次の動作の予測においては、自転車３及びその運転者４の全体の重心点９５が算出される。また自転車３の骨格をもとに、その最下点が路面Ｒとの接地点５６として検出される。これら重心点９５及び接地点５６をもとに、高精度に動作を予測することができる。例えば自転車３の車輪部分の白丸５１ａ−５１ｅをもとに、ハンドル３ｂの操舵量が推定可能となり、移動方向等を詳細に予測することが可能となる。また運転者４の姿勢と自転車３の姿勢との組み合わせをもとに、非常に精度の高い動作予測も可能となる。

上記では、動作予測を実行するための特徴点として、対象物体の重心点が算出された。これに限定されず、特徴点として、頭部や腰部の重心点が用いられてもよい。

左右のサイドカメラやリアカメラ等により撮影された撮影画像をもとに、自動車の左右や後方に存在する対象物体の動作が予測されてもよい。

フロントカメラ等の各種カメラやセンサ、制動装置や操舵装置を含む自動車、及び本技術に係る危険回避装置を含むシステムは、本技術に係る危険回避システムの一実施形態に相当する。もちろんこれらの構成に限定されるわけではない。

本技術は、自動車ばかりでなく、二輪車や自動三輪車等の種々の移動体装置に適用可能であり、またそれらのシミュレーション装置やゲームなどの様々な技術分野にも適用可能である。また本技術は、移動体装置に適用される場合にのみならず、監視システム等にも適用可能である。例えば橋の上や駅のホーム等を歩く歩行者等の動作を予測して、転落等の危険がある場合に、本人や周囲の人に報知するといったことも可能である。

以上説明した本技術に係る特徴部分のうち、少なくとも２つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。

なお、本技術は以下のような構成も採ることができる。
（１）入力画像から対象物体を検出する検出部と、
前記検出された対象物体の姿勢を推定する推定部と、
前記推定された姿勢をもとに前記対象物体の動作を予測する予測部と
を具備する情報処理装置。
（２）（１）に記載の情報処理装置であって、
前記検出部は、前記入力画像から歩行者を検出可能であり、
前記予測部は、推定された前記歩行者の姿勢をもとに、前記歩行者の動作を予測する
情報処理装置。
（３）（１）又は（２）に記載の情報処理装置であって、
前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であり、
前記推定部は、少なくとも前記運転者の姿勢を推定し、
前記予測部は、前記推定された前記運転者の姿勢をもとに、前記二輪車及びその運転者の動作を予測する
情報処理装置。
（４）（３）に記載の情報処理装置であって、
前記推定部は、前記二輪車の姿勢を推定し、
前記予測部は、前記推定された前記二輪車及びその運転者の各々の姿勢をもとに、前記二輪車及びその運転者の動作を予測する
情報処理装置。
（５）（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記予測部は、前記推定された姿勢をもとに前記対象物体に関する特徴点を算出し、前記算出された特徴点の位置をもとに、前記対象物体の動作を予測する
情報処理装置。
（６）（５）に記載の情報処理装置であって、
前記特徴点は、前記対象物体の重心点である
情報処理装置。
（７）（５）に記載の情報処理装置であって、
前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であり、
前記予測部は、前記特徴点として、前記運転者の重心点、又は前記二輪車及びその運転者の全体の重心点を算出する
情報処理装置。
（８）（５）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記予測部は、前記推定された姿勢をもとに前記対象物体の路面との１以上の接触点を算出し、前記特徴点と前記１以上の接触点との相対的な位置関係をもとに、前記動作を予測する
情報処理装置。
（９）（１）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記予測部は、前記対象物体の移動方向を予測する
情報処理装置。
（１０）（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記予測部は、前記対象物体の急加速を予測する
情報処理装置。
（１１）（１）から（１０）のうちいずれか１つに記載の情報処理装置であって、
前記推定部は、前記検出された対象物体の骨格を推定する
情報処理装置。
（１２）（１）から（１１）のうちいずれか１つに記載の情報処理装置であって、
前記情報処理装置は、移動体装置に搭載されるものであり、さらに、前記予測された前記対象物体の動作をもとに、前記移動体装置の運転に関する危険を回避するための危険回避情報を生成して出力する出力部を具備する
情報処理装置。
（１３）（１２）に記載の情報処理装置であって、
前記出力部は、前記移動体装置と前記対象物体との接触の可能性を判定し、当該判定された可能性の情報を出力する
情報処理装置。
（１４）（１２）又は（１３）に記載の情報処理装置であって、
前記予測部は、前記対象物体の移動方向を予測可能であり、
前記出力部は、前記予測された移動方向を含む画像を出力する
情報処理装置。
（１５）（１２）から（１４）のうちいずれか１つに記載の情報処理装置であって、
前記出力部は、前記移動体装置と前記対象物体との接触の可能性がある危険領域を含む画像を出力する
情報処理装置。

Ｒ…路面
Ｌ、Ｌ１、Ｌ２…接地点ライン
１…対象物体
２…歩行者
３…自転車
４…自転車の運転者
４０…危険回避装置
４１…画像取得部
４２…物体検出部
４３…姿勢推定部
４４…物体移動予測部
４５…自車移動予測部
４６…危険度判定部
４７…警告出力部
５５、９５…重心点
５６、５６Ｌ、５６Ｒ…接地点
６０…警告画像
６１…移動方向
６２…危険領域
６３…危険回避経路
１００…自動車

Claims (13)

1. カメラにより撮影された画像である入力画像から対象物体を検出する検出部と、
   前記検出された対象物体の姿勢を推定する推定部と、
   前記推定された姿勢をもとに前記対象物体の動作を予測する予測部と
   を具備し、
   前記予測部は、
   前記推定された姿勢をもとに、前記対象物体の重心点、及び前記対象物体の路面との１以上の接触点を算出し、
   前記１以上の接触点の数、及び前記カメラの撮影方向から見た場合の左右方向における前記重心点の位置と前記１以上の接触点の各々の位置との相対的な位置関係をもとに、前記動作を予測する
   情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記予測部は、前記１以上の接触点の数の変化、及び前記左右方向における前記重心点の位置と前記１以上の接触点の各々の位置との相対的な位置関係の変化をもとに、前記動作を予測する
   情報処理装置。
3. 請求項１又は２に記載の情報処理装置であって、
   前記予測部は、
   前記左右方向において、前記重心点が、前記１以上の接触点のいずれに対しても左側に位置する場合には、前記対象物体は左側に移動すると予測し、
   前記左右方向において、前記重心点が、前記１以上の接触点のいずれに対しても右側に位置する場合には、前記対象物体は右側に移動すると予測する
   情報処理装置。
4. 請求項３に記載の情報処理装置であって、
   前記検出部は、前記入力画像から歩行者を検出可能であり、
   前記予測部は、
   前記１以上の接触点の数が２つの場合には前記歩行者は両足で立っていると判定し、前記１以上の接触点の数が１つの場合には前記歩行者は片足で立っていると判定し、
   前記歩行者が両足で立っていると判定した場合に、前記左右方向において、前記重心点が前記両足に対応する２つの前記接触点のいずれに対しても左側に位置する場合には、前記歩行者は左側に移動すると予測し、前記重心点が前記両足に対応する２つの前記接触点のいずれに対しても右側に位置する場合には、前記歩行者は右側に移動すると予測し、
   前記歩行者が片足で立っていると判定した場合に、前記左右方向において、前記重心点が前記片足に対応する１つの前記接触点に対して左側に位置する場合には、前記歩行者は左側に移動すると予測し、前記重心点が前記片足に対応する１つの前記接触点に対して右側に位置する場合には、前記歩行者は右側に移動すると予測する
   情報処理装置。
5. 請求項３又は４に記載の情報処理装置であって、
   前記検出部は、前記入力画像から二輪車及びその運転者を検出可能であり、
   前記予測部は、前記１以上の接触点の数が１つの場合に、前記左右方向において、前記運転者の重心点が前記二輪車の車輪に対応する１つの前記接触点に対して左側に位置する場合には、前記二輪車及び前記運転者は左側に移動すると予測し、前記運転者の重心点が前記車輪に対応する１つの前記接触点に対して右側に位置する場合には、前記二輪車及び前記運転者は右側に移動すると予測する
   情報処理装置。
6. 請求項１から５のうちいずれか１項に記載の情報処理装置であって、
   前記予測部は、鉛直方向において前記重心点が下方へ移動した場合には、前記対象物体の急加速を予測する
   情報処理装置。
7. 請求項１から６のうちいずれか１項に記載の情報処理装置であって、
   前記推定部は、前記検出された対象物体の骨格を推定する
   情報処理装置。
8. 請求項１から７のうちいずれか１項に記載の情報処理装置であって、
   前記情報処理装置は、移動体装置に搭載されるものであり、さらに、前記予測された前記対象物体の動作をもとに、前記移動体装置の運転に関する危険を回避するための危険回避情報を生成して出力する出力部を具備する
   情報処理装置。
9. 請求項８に記載の情報処理装置であって、
   前記出力部は、前記移動体装置と前記対象物体との接触の可能性を判定し、当該判定された可能性の情報を出力する
   情報処理装置。
10. 請求項８又は９に記載の情報処理装置であって、
    前記予測部は、前記対象物体の移動方向を予測可能であり、
    前記出力部は、前記予測された移動方向を含む画像を出力する
    情報処理装置。
11. 請求項８から１０のうちいずれか１項に記載の情報処理装置であって、
    前記出力部は、前記移動体装置と前記対象物体との接触の可能性がある危険領域を含む画像を出力する
    情報処理装置。
12. コンピュータが実行する情報処理方法であって、
    カメラにより撮影された画像である入力画像から対象物体を検出する検出ステップと、
    前記検出された対象物体の姿勢を推定する推定ステップと、
    前記推定された姿勢をもとに前記対象物体の動作を予測する予測ステップと
    を含み、
    前記予測ステップは、
    前記推定された姿勢をもとに、前記対象物体の重心点、及び前記対象物体の路面との１以上の接触点を算出し、
    前記１以上の接触点の数、及び前記カメラの撮影方向から見た場合の左右方向における前記重心点の位置と前記１以上の接触点の各々の位置との相対的な位置関係をもとに、前記動作を予測する
    情報処理方法。
13. コンピュータに情報処理方法を実行させるプログラムであって、
    前記情報処理方法は、
    カメラにより撮影された画像である入力画像から対象物体を検出する検出ステップと、
    前記検出された対象物体の姿勢を推定する推定ステップと、
    前記推定された姿勢をもとに前記対象物体の動作を予測する予測ステップと
    を含み、
    前記予測ステップは、
    前記推定された姿勢をもとに、前記対象物体の重心点、及び前記対象物体の路面との１以上の接触点を算出し、
    前記１以上の接触点の数、及び前記カメラの撮影方向から見た場合の左右方向における前記重心点の位置と前記１以上の接触点の各々の位置との相対的な位置関係をもとに、前記動作を予測する
    プログラム。

Images