JP6617651B2 - 歩行者検出装置、歩行者検出方法 - Google Patents

Description

本発明は、車両の周辺に存在する歩行者を検出する技術に関し、特に、車道を横断しようとしている歩行者を、実際に横断し始める前の段階で検出する技術に関する。

画像認識技術が進歩したことによって、今日では、車載カメラで得られた撮影画像から、車両の周囲に存在する歩行者を十分な精度で検出することが可能となっている。そして、次の開発目標としては、検出した歩行者が歩道を歩いているだけなのか、歩道を出て車道を横断しようとしているのかを、十分な精度で判別可能とすることが求められるようになってきた。

このような要請に対しては、歩行者の位置の時系列変化および移動速度の時系列変化を検出することによって、歩行者が車道を横断しようとしているか否かを判別しようとする技術が提案されている（特許文献１）。この提案の技術では、検出した時系列変化が、歩行者が車道を横断しようとする時の時系列変化のパターンに該当するか否かに基づいて、歩行者が車道を横断しようとしているか否かを判別している。

特開２０１０−１０２４３７号公報

しかし、上記の提案されている技術は、歩行者が車道を横断する動きを検出しているので、検出した時点では既に横断し始めており、横断し始める前の段階で、横断しようとしている歩行者を検出できるわけではないという問題があった。

この発明は、従来技術における上述した課題に鑑みてなされたものであり、車道を横断しようとしている歩行者を、横断し始める前の段階で、精度良く検出することが可能な技術の提供を目的とする。

上述した課題を解決するために本発明の歩行者検出装置および歩行者検出方法は、車載カメラの撮影画像の中で車道から所定距離の範囲内に存在する対象歩行者を検出する。そして、対象歩行者の視線方向が、車道の向こう側に存在する横断の目的地に留まっている状態が、所定の注視時間に亘って継続している場合には、対象歩行者が横断の目的地を注視したものと判断する。また、車道を走行する車両に対する安全確認を行ったか否かについても、対象歩行者の視線方向に基づいて判断する。その結果、対象歩行者が、横断の目的地の注視、または安全確認の何れか一方の動作を行ってから、所定時間内に他方の動作を行っていた場合に、車道の横断意思を有する横断前歩行者として検出する。

本願の発明者らが新たに見出した知見によれば、車道を横断しようとする歩行者は、横断するに先立って、１００％といって良いほどの高い確率で、横断しようとする目的地の注視と、横断しようとする車道を走行する車両に対する安全確認とを行う。従って、横断の目的地の注視と、車両に対する安全確認とを所定時間内に行った対象歩行者を、車道の横断意思を有する横断前歩行者として検出してやれば、車道を横断しようとしている歩行者を、実際に横断し始める前の段階で、精度良く検出することが可能となる。

本実施例の歩行者検出装置１００を搭載した車両１を示す説明図である。 本実施例の歩行者検出装置１００の内部構成を示すブロック図である。 本実施例の歩行者検出装置１００が車道を横断しようとしている歩行者を検出するために実行する横断前歩行者検出処理の前半部分のフローチャートである。 横断前歩行者検出処理の後半部分のフローチャートである。 車載カメラ２で得られた撮影画像を例示した説明図である。 撮影画像の中から対象歩行者を抽出する方法を示した説明図である。 対象歩行者が横断の目的地を注視したか否かを判断する方法についての説明図である。 対象歩行者が行う安全確認動作の一態様についての説明図である。 対象歩行者が行う安全確認動作の他の態様についての説明図である。 対象歩行者が行う安全確認動作の更なる他の態様についての説明図である。 対象歩行者の中から横断前歩行者を抽出するための基本的な考え方についての説明図である。 対象歩行者の中から横断前歩行者を抽出する方法についての説明図である。 横断前歩行者の抽出結果を出力する様子を例示した説明図である。 第１変形例の歩行者検出装置１５０の内部構成を示すブロック図である。 第２変形例の横断前歩行者検出処理が対象歩行者の中から横断前歩行者を抽出する方法についての説明図である。

以下では、上述した本願発明の内容を明確にするために実施例について説明する。
Ａ．装置構成 ：
図１には、本実施例の歩行者検出装置１００を搭載した車両１の大まかな構成が示されている。図示されるように、車両１には、歩行者検出装置１００に加えて、車載カメラ２や、モニター３、スピーカー４、ナビゲーション装置（以下、ナビ装置）１０などが搭載されている。
車載カメラ２は、所定の時間間隔で前方の状況を撮影して、得られた撮影画像を歩行者検出装置１００に出力する。
ナビ装置１０は、地図データを記憶しており、車両１の現在位置を検出して、現在位置の周辺の地図データを歩行者検出装置１００に出力する。

歩行者検出装置１００は、車載カメラ２から受け取った撮影画像を解析して、撮影画像に写った歩行者を検出する。更に、検出した歩行者が、車道を横断しようとしている歩行者であるか否かを、歩行者が横断を開始する前の段階で判断する。歩行者が横断を開始する前の段階で、横断しようとしているか否かを判断する方法については、後ほど詳しく説明する。尚、以下では、車道を横断しようとしているが未だ横断を開始していない歩行者を「横断前歩行者」と称することにする。
また、本実施例の歩行者検出装置１００には、ナビ装置１０も接続されている。そこで、歩行者が横断前歩行者であるか否かを判断するに際しては、車両１の現在位置の情報や、周辺の地図情報をナビ装置１０から取得して利用することもできる。
そして、歩行者検出装置１００は、撮影画像に写った歩行者の中から横断前歩行者を検出した結果を、モニター３やスピーカー４を用いて運転者に出力する。

図２には、本実施例の歩行者検出装置１００の内部構成が示されている。図示されるように歩行者検出装置１００は、撮影画像取得部１０１と、歩行者検出部１０２と、車道検出部１０３と、対象歩行者検出部１０４と、視線方向取得部１０５と、注視判断部１０６と、安全確認判断部１０７と、横断前歩行者検出部１０８とを備えている。
尚、これらの「部」は、本実施例の歩行者検出装置１００が、撮影画像中の歩行者の中から横断前歩行者を検出するために備える機能に着目して、歩行者検出装置１００の内部を便宜的に分類した抽象的な概念である。従って、歩行者検出装置１００がこれらの「部」に物理的に区分されることを表すものではない。これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。

撮影画像取得部１０１は、車載カメラ２に接続されており、車載カメラ２が車両１の前方を撮影した撮影画像を一定の時間周期で取得して、歩行者検出部１０２や車道検出部１０３に出力する。
歩行者検出部１０２は、撮影画像取得部１０１から受け取った撮影画像を解析することによって、撮影画像中に写った歩行者を検出する。撮影画像中に写った歩行者を検出する方法については、画像中で歩行者の特徴を有する部分を検出するなど、周知の種々の方法を用いることができる。
車道検出部１０３は、撮影画像取得部１０１から受け取った撮影画像を解析することによって、撮影画像中に写った車道を検出する。車道の両側には白線が引かれているので、撮影画像の中から白線を検出することによって車道を検出することができる。また、ナビ装置１０は、車両１の現在位置を検出すると共に、車道の位置情報を含んだ地図情報を記憶している。そこで、車道検出部１０３は、撮影画像中の車道を検出するに際して、ナビ装置１０から車両１の現在位置や地図情報を取得して、これらの情報も利用しながら車道を検出しても良い。

対象歩行者検出部１０４は、歩行者検出部１０２から取得した歩行者の検出結果と、車道検出部１０３から取得した車道の検出結果とに基づいて、対象歩行者を検出する。ここで、対象歩行者とは、歩行者検出部１０２で検出された歩行者の中で、横断前歩行者であるか否かを判断する対象となる歩行者である。例えば、歩行者が車道から十分に離れた位置にいる場合、その歩行者が車道を横断しようとしていないことは、判断するまでもなく明らかである。逆に言えば、車道から一定距離以内にいる歩行者について、その歩行者が横断前歩行者であるか否かを判断すればよい。そこで、対象歩行者検出部１０４は、歩行者検出部１０２で検出された歩行者の中から、横断前歩行者であるか否かの判断対象となる歩行者（すなわち、対象歩行者）を、車道検出部１０３で検出された車道の位置の情報に基づいて検出する。

視線方向取得部１０５は、対象歩行者検出部１０４で検出された対象歩行者について、視線の方向を取得する。本実施例では、対象歩行者の視線の方向は、撮影画像取得部１０１が取得した撮影画像を解析して、対象歩行者の顔の向きを検出することによって、視線の方向を取得するものとする。もちろん、視線の向きを検出して無線で送信する専用の機器を歩行者に装着して貰い、歩行者から無線で送信されてきた視線の向きを取得しても良い。あるいは、道路脇に監視カメラおよび解析装置を設置して、歩行者の画像を解析して得られた視線の向きを無線で送信するようにしておき、無線で送信されてきた視線の向きを取得しても良い。

注視判断部１０６は、対象歩行者についての視線の向きと、車道の位置の情報とに基づいて、対象歩行者が、車道の向こう側に存在する横断の目的地を注視したか否かを判断する。
また、安全確認判断部１０７は、対象歩行者についての視線の向きと、車道の位置の情報とに基づいて、対象歩行者が、車道を走行する車両に対する安全確認を行ったか否かを判断する。対象歩行者が横断の目的地を注視したか否か、あるいは安全確認を行ったか否かを判断する方法については後ほど詳しく説明する。

そして、横断前歩行者検出部１０８は、横断の目的地を注視する動作と、車両に対する安全確認の動作とを、対象歩行者が所定の時間内に行った場合に、その対象歩行者を横断前歩行者として検出する。詳細には後述するが、本願発明者らが見出した新たな知見によれば、車道を横断しようとする歩行者は、横断の目的地を注視する動作と、車両に対する安全確認の動作とを、横断前に実行することが分かっている。従って、これら2つの動作を所定時間内に行った対象歩行者を横断前歩行者として検出してやれば、車道を横断しようとしている歩行者を、その歩行者が横断を開始する前の段階で、精度良く検出することができる。横断前歩行者検出部１０８は、こうして横断前歩行者を検出した結果を、モニター３あるいはスピーカー４を用いて出力する。

Ｂ．横断前歩行者検出処理 ：
図３および図４には、本実施例の歩行者検出装置１００が横断前歩行者を検出する処理の詳細なフローチャートが示されている。
図示されるように、横断前歩行者検出処理では先ず始めに、車載カメラ２が撮影した撮影画像を取得する（Ｓ１００）。そして、取得した撮影画像を解析することによって、撮影画像中の歩行者を検出し（Ｓ１０１）、更に、撮影画像の中から車道を検出する（Ｓ１０２）。前述したように、撮影画像中の歩行者は、撮影画像中で歩行者の特徴を有する部分を探索することによって検出することができる。また、撮影画像中の車道は、車道の両側に存在する白線や、路肩の段差などが写った部分を抽出することによって、検出することができる。

そして、歩行者の中から対象歩行者を抽出する（Ｓ１０３）。前述したように対象歩行者とは、横断前歩行者であるか否かを判断する対象となる歩行者である。対象歩行者を抽出する方法について、具体例を用いて説明する。
例えば、撮影画像が、図５に例示した画像であったとすると、撮影画像中の歩行者を検出する。図６（ａ）には、撮影画像中から歩行者Ａ〜Ｈの８人の歩行者が検出された様子が示されている。続いて、撮影画像中の車道を検出する。図６（ｂ）では、撮影画像中から検出された車道を、斜線を付すことによって表示している。

また、車載カメラ２は車両１に対して固定されているから、撮影画像上での歩行者Ａ〜Ｈや車道の位置は、実空間内での車両１を基準とする相対位置に読み替えることができる。そこで、図６（ａ）に示した歩行者Ａ〜Ｈの中で、車道までの距離が所定距離以内の歩行者を、対象歩行者として抽出する。これは、車道から十分に離れた位置にいる歩行者は、車道を横断しようとしているとは考えられないので、車道の近くにいる歩行者を対象歩行者として抽出しておけば十分と考えられるためである。
その結果、図６（ｃ）に示したように、撮影画像中の８人の歩行者Ａ〜Ｈの中から、歩行者Ｈを除いた７人の歩行者Ａ〜Ｇが、対象歩行者として抽出される。

尚、例えば、車道の中央に柵が設けられるなどして、歩行者が車道を横断することは考えられない状況も起こり得る。あるいは、車道の片側には歩道があるが、反対側には歩道が無いなどの理由で、歩行者が車道を横断することは考えられない状況も起こり得る。そこで、撮影画像を解析して、このような状況が検出された場合には、このような状況の歩行者を除いて、それ以外の歩行者を対象歩行者として抽出しても良い。
あるいは、歩行者が車道を横断することは考えられない道路範囲を、ナビ装置１０の地図情報に記憶しておく。そして、車道から所定距離以内の歩行者であっても、そのような道路範囲にいる歩行者を除いて、それ以外の歩行者を対象歩行者として抽出しても良い。

以上のようにして、撮影画像中の歩行者の中から対象歩行者を抽出したら（図３のＳ１０３）、対象歩行者を１人選択して（Ｓ１０４）、その対象歩行者の視線方向を取得する（Ｓ１０５）。本実施例では、撮影画像中で対象歩行者の頭部の画像を解析して、顔の向きを検出することによって、視線方向を取得する。
もちろん、道路脇に設置した監視カメラおよび解析装置を用いて、歩行者の視線の向きを検出して、無線で送信されてきた検出結果を受信することによって視線方向を取得しても良い。あるいは、歩行者に専用の機器を装着して貰うことによって、視線の向きを検出し、検出結果を無線で送信することによって、歩行者の視線方向を受信することとしても良い。

続いて、対象歩行者の視線方向が、車道の向こう側に存在する横断の目的地の方向を向いているか否かを判断する（Ｓ１０６）。前述したように、対象歩行者は車道までの距離が所定距離以内の範囲にいる歩行者であるから、対象歩行者の近くには車道が存在している。そこで、その車道の向こう側を対象歩行者が見ているか否かを判断する。

図７には、対象歩行者の視線方向が、横断の目的地の方向を向いているか否かを判断する方法が示されている。例えば、図７（ａ）に示すように、対象歩行者の体の真正面を車道が横切るような状態で、対象歩行者の視線方向（本実施例では顔の向き）が車道に対して直交している場合には、対象歩行者の視線方向が横断の目的地の方向を向いているものと判断できる。
また、図７（ｂ）に例示したように、対象歩行者の体の向きが車道に対して大きく斜めに傾いている場合でも、対象歩行者の視線方向が、車道に対して直交する方向に対して−４５°〜＋４５°の範囲内にある場合には、対象歩行者の視線方向が横断の目的地の方向を向いているものと判断できる。
これに対して、図７（ｃ）に例示したように、対象歩行者の体の向きが車道に対して斜めに傾いていない場合でも、対象歩行者の視線方向が車道に対して直交する方向に対して、−４５°〜＋４５°の範囲内にない場合には、対象歩行者の視線方向が横断の目的地の方向を向いていないものと判断できる。

また、図７（ｄ）に例示したように、対象歩行者の視線方向が、水平方向から下向きに所定角度（例えば２０°）よりも大きく傾いている場合には、対象歩行者の視線方向が横断の目的地の方向を向いていないものと判断できる。
あるいは、図７（ｅ）に例示したように、対象歩行者の視線方向が、水平方向から上向きに所定角度（例えば１０°）よりも大きく傾いている場合にも、対象歩行者の視線方向が横断の目的地の方向を向いていないものと判断できる。

図３のＳ１０６では、以上のようにして、対象歩行者の視線方向が、車道の向こう側に存在する横断の目的地の方向を向いているか否かを判断する。
その結果、視線方向が横断の目的地の方向を向いていると判断した場合には（Ｓ１０６：ｙｅｓ）、今度は、その方向で所定の注視時間以上（例えば、１００ｍｓｅｃ以上）に亘って、視線方向が留まっているか否かを判断する（Ｓ１０７）。そして、注視時間以上に亘って視線方向が留まっていると判断した場合には（Ｓ１０７：ｙｅｓ）、Ｓ１０４で選択した対象歩行者についての注視フラグをＯＮに設定する（Ｓ１０８）。ここで、注視フラグとは、対象歩行者が車道の向こう側に存在する横断の目的地を注視したことを示すフラグである。また、注視フラグは、対象歩行者毎に（図６に示した例では、歩行者Ａ〜Ｇのそれぞれに対して）設定されている。一般に、人間が何かを注視する時には、所定時間以上（例えば、１００ｍｓｅｃ以上）の間、視線が留まることが知られている。従って、対象歩行者の視線方向が、車道の向こう側に存在する横断の目的地の方向に、所定の注視時間以上に亘って視線が留まっていれば、横断の目的地を注視したと考えて良い。そこで、このような場合には、選択中の対象歩行者についての注視フラグをＯＮに設定するのである。

これに対して、視線方向が横断の目的地の方向を向いているが（Ｓ１０６：ｙｅｓ）、その方向を向いてから、未だ注視時間が経過していないと判断した場合には（Ｓ１０７：ｎｏ）、選択中の対象歩行者についての注視フラグをＯＦＦに設定する（Ｓ１０９）。
また、そもそも視線方向が横断の目的地の方向を向いていない場合は（Ｓ１０６：ｎｏ）、視線方向が注視時間以上に亘って留まっているか否かを判断することなく、選択中の対象歩行者についての注視フラグをＯＦＦに設定する（Ｓ１０９）。

続いて、本実施例の歩行者検出装置１００は、対象歩行者が、車道を走行する車両に対する安全確認を行ったか否かを判断する（図４のＳ１１０）。すなわち、前述したように対象歩行者の近くには車道が存在するから、対象歩行者が、その車道を走行する車両に対する安全確認を行ったか否かを判断する。対象歩行者が安全確認を行ったか否かは、対象歩行者の視線方向に基づいて、次のようにして判断する。

例えば、図８に示したように、対象歩行者の視線方向が、対象歩行者に対して車道の側を、所定の移動速度の範囲内で、所定角度以上、一方向に移動するという特徴的な動きをした場合に、その対象歩行者は安全確認を行ったものと判断する。
これは、そのような特徴的な視線の動きは、車道を走行する車両を眼で追いかける場合に現れるものであるため、そのような視線の動きをしていれば、車道を走行する車両に対する安全確認を行ったものと考えられるためである。

また、図９に例示したように、対象歩行者の視線方向が、車道に向かって左右何れか一方の方向で所定の確認時間以上に亘って留まった後、他方の方向にも確認時間以上に亘って留まるというという特徴的な動きをした場合に、その対象歩行者は安全確認を行ったものと判断する。あるいは、このような視線の移動を繰り返す場合にも、その対象歩行者は安全確認を行ったものと判断する。
これは、そのような特徴的な視線の動きは、歩行者が左右の安全を確認する際に行う場合に現れるものであるため、そのような視線の動きをしていれば、車道を走行する車両に対する安全確認を行ったものと考えられるためである。
尚、歩行者が左右の安全を確認したか否かを判断するために用いる所定の確認時間は、前述した注視時間と同じ時間（例えば、１００ｍｓｅｃ以上の時間）とすることができる。また、左右の一方の方向と他方の方向とは、所定の確認角度（代表的には９０°）以上離れた角度であることを確認しておくことが望ましい。

更には、図１０に例示したように、対象歩行者の視線方向が、車道に沿った方向を向いている状態から、車道に直交する状態を超えて移動するという特徴的な動きをした場合に、その対象歩行者は安全確認を行ったものと判断する。
これは、そのような特徴的な視線の動きは、歩行者が後方の安全を確認する場合に現れるものであるため、そのような視線の動きをしていれば、車道を走行する車両に対する安全確認を行ったものと考えられるためである。尚、このような視線の動きをする前の視線方向と、車道に直交する状態を超えて移動した後の視線方向とは、所定の振り返り角度（代表的には１２０°）以上離れた角度であることを確認しておくことが望ましい。

図４のＳ１１０では、対象歩行者が車道を走行する車両に対する安全確認を行ったか否かを、以上のような方法で、対象歩行者の視線方向に基づいて判断する。
その結果、対象歩行者が安全確認を行ったと判断した場合は、選択中の対象歩行者（すなわち、図３のＳ１０４で選択した対象歩行者）についての安全確認フラグをＯＮに設定する（Ｓ１１１）。ここで、安全確認フラグとは、対象歩行者が、車道を走行する車両に対する安全確認を行ったことを示すフラグである。安全確認フラグも、前述した注視フラグと同様に、対象歩行者毎に設定されている。
これに対して、対象歩行者が安全確認を行っていないと判断した場合は、選択中の対象歩行者についての安全確認フラグをＯＦＦに設定する（Ｓ１１２）。

こうして、選択中の対象歩行者についての注視フラグおよび安全確認フラグを設定したら、それまでに設定した注視フラグおよび安全確認フラグの履歴に基づいて、その対象歩行者が横断前歩行者に該当するか否かを判断する（Ｓ１１３）。対象歩行者が横断前歩行者に該当するか否かを判断する方法については後述する。尚、横断前歩行者とは、前述したように、車道を横断する意思を有しているが、実際には未だ横断を開始していない歩行者のことである。
その結果、横断前歩行者に該当すると判断した場合は（Ｓ１１３：ｙｅｓ）、選択中の対象歩行者は横断前歩行者であると認定する（Ｓ１１４）。これに対して、横断前歩行者に該当しないと判断した場合は（Ｓ１１３：ｎｏ）、選択中の対象歩行者は横断前歩行者ではないと認定する（Ｓ１１５）。

以上のようにして、選択中の対象歩行者について、横断前歩行者に該当するか否かを認定したら（Ｓ１１４、Ｓ１１５）、全ての対象歩行者を選択したか否かを判断する（Ｓ１１６）。すなわち、図３のＳ１０４では、Ｓ１０３で抽出された対象歩行者の中から１人の歩行者が選択されており、続くＳ１０５〜図４のＳ１１５では、その歩行者に対して上述した一連の処理が行われる。そこで、選択した1人の対象歩行者についての処理が終了したら、Ｓ１１６では、未だ処理が終了していない対象歩行者（すなわち、選択していない対象歩行者）が存在しているか否かを判断するのである。
その結果、未だ選択していない対象歩行者が存在している場合は（Ｓ１１６：ｎｏ）、図３のＳ１０４に戻って、新たな対象歩行者を選択した後、選択したその対象歩行者に対して、上述した続く一連の処理（Ｓ１０５〜図４のＳ１１５）を行う。
このような操作を繰り返しているうちに、やがては全ての対象歩行者を選択したと判断される（Ｓ１１６：ｙｅｓ）。そこでこの場合は、横断前歩行者と認定された歩行者を抽出する（Ｓ１１７）。

ここで、本実施例の歩行者検出装置１００が、Ｓ１１３の処理で、対象歩行者が横断前歩行者に該当するか否かを判断する方法について説明する。
図１１には、対象歩行者が横断前歩行者に該当するか否かを判断するための基本的な考え方が示されている。先ず、車道を横断する歩行者は、横断開始の直前に、横断の目的地を注視する場合と、車道を走行する車両に対して安全確認を行う場合とがある。ここで、本願の発明者らが新たに見出した知見によれば、横断開始の直前に歩行者が横断の目的地を注視していた場合でも、その歩行者は車両への安全確認を行わずに横断したわけではなく、目的地を注視する前には安全確認を行っている（図１１（ａ）参照のこと）。
同様なことは、横断開始の直前に歩行者が安全確認を行っていた場合にも当て嵌まる。すなわち、横断開始の直前に歩行者が安全確認を行っていた場合、その歩行者は横断の目的地を注視することなく横断したわけではなく、車両への安全確認を行う前には、横断の目的地を注視している（図１１（ｂ）参照のこと）。
そこで、１０箇所以上の様々な地点で、実際に車道を横断した１００人以上の歩行者について、横断開始前の動きを観察した。その結果、車道を横断した歩行者は、１００％の確率で、横断の直前に、横断の目的地を注視する動きと、車両への安全確認とを行っていることが確かめられた。

このことから、横断の目的地を注視する動きと、車両への安全確認を行う動きの２つの動きを、所定の遡及時間（例えば、３秒）以内に行った場合には、車道を横断しようとしているものと考えて良い（図１１（ｃ）参照のこと）。また、車道を横断しようとしても横断を思い止まることも起こり得るから、これら２つの動きを所定時間以内に行った場合でも、その後、一定時間（例えば、５秒）が経過した後は、車道の横断を思い止まったものと判断しても良い。
本実施例の歩行者検出装置１００は、以上のような考え方に基づいて、対象歩行者が横断前歩行者に該当するか否かを判断する。

図１２は、対象歩行者が横断前歩行者に該当するか否かを判断する方法を示した説明図である。図４のＳ１１３で言及したように、対象歩行者が横断前歩行者に該当するか否かは、それまでに設定した注視フラグおよび安全確認フラグの履歴に基づいて判断される。
図１２（ａ）には、図６に例示した対象歩行者Ａ〜Ｇのそれぞれについて、注視フラグおよび安全確認フラグの設定が、時間の経過と共に切り換わる様子が概念的に示されている。図中で左側から右側に向かって延びる黒い直線は、注視フラグおよび安全確認フラグの何れも設定されていない（すなわち、何れのフラグもＯＦＦに設定されている）ことを表しており、粗い斜線を付した部分は注視フラグがＯＮに設定されていることを表している。また、細かい斜線を付した部分は、安全確認フラグがＯＮに設定されていることを表している。

例えば、対象歩行者Ａについては、暫くの期間に亘って注視フラグがＯＮに設定された後、何れのフラグもＯＦＦに設定された状態が続き、その後、安全確認フラグがＯＮに設定されて、その状態が現在時点まで継続されている。
また、対象歩行者Ｂについては、注視フラグおよび安全確認フラグの何れもＯＮに設定されていない。更に、対象歩行者Ｃについては、注視フラグがＯＮになった後、直ぐに続けて安全確認フラグがＯＮになり、再び注視フラグがＯＮに設定された後、注視フラグおよび安全確認フラグの何れもＯＮに設定されていない状態となって、その状態が現在時点まで継続されている。
尚、前述したように、注視フラグは横断の目的地を注視したことを表すフラグであり、安全確認フラグは車道を走行する車両への安全確認を行ったことを表すフラグである。横断の目的地の注視と、車両への安全確認とは同時に行うことができないから、注視フラグと安全確認フラグとが同時にＯＮに設定されることはない。

このように、対象歩行者のそれぞれについての注視フラグおよび安全確認フラグの履歴が分かれば（図１２（ａ）参照のこと）、対象歩行者が車道を横断しようとしているか否か、すなわち横断前歩行者に該当するか否かを判断することができる。
例えば、対象歩行者Ａについては、注視フラグがＯＮに設定された後、暫くの時間が経過した後に安全確認フラグがＯＮに設定されている。そこで、図１２（ｂ）に示したように、安全確認フラグがＯＮに設定された時点ａで、所定の遡及時間（例えば３秒間）を遡る間に、注視フラグがＯＮに設定されているか否かを判断する。図示されるように、対象歩行者Ａについては、時点ａから遡ること遡及時間以内では注視フラグがＯＮに設定されていない。このため、安全確認フラグあるいは注視フラグの一方がＯＮに設定されてから遡及時間以内に、他方のフラグがＯＮにされていないので、横断前歩行者には該当しないと判断される。

また、対象歩行者Ｃについては、注視フラグがＯＮに設定された後、直ぐに安全確認フラグがＯＮに設定されている。このため、図１２（ｃ）に示したように、安全確認フラグがＯＮに設定された時点ｂから遡ること遡及時間以内に、注視フラグがＯＮに設定されている。従って、対象歩行者Ｃは、時点ｂで横断前歩行者に該当すると判断される。
更に、対象歩行者Ｃについては、時点ｂ以降の時点でも、安全確認フラグがＯＮに設定されている間は、遡及時間を遡る期間内に注視フラグがＯＮに設定されている。このため、時点ｂ以降も、対象歩行者Ｃは横断前歩行者に該当すると判断され続ける。更に加えて、安全確認フラグがＯＦＦになって２回目に注視フラグがＯＮになった後は、２回目の注視フラグがＯＮになっている時点から遡及時間を遡る期間内に注視フラグがＯＮに設定されているので、対象歩行者Ｃは、横断前歩行者に該当すると判断され続ける。そして、２回目の注視フラグがＯＦＦになった後も、時点ｃまでの間は、遡及時間を遡る期間内に注視フラグがＯＮに設定された状態と、安全確認フラグがＯＮに設定された状態とが存在する。このため、対象歩行者Ｃは、時点ｃまでの間、横断前歩行者に該当すると判断され続けることになる。

図４のＳ１１３では、選択中の対象歩行者（すなわち、図３のＳ１０４で選択した歩行者）について、以上のような方法で、横断前歩行者に該当するか否かを判断する。その結果、横断前歩行者に該当すると判断した場合には（Ｓ１１３：ｙｅｓ）、その選択中の対象歩行者を横断前歩行者として認定して、その旨を記憶する（Ｓ１１４）。これに対して、横断前歩行者に該当しないと判断した場合には（Ｓ１１３：ｎｏ）、その選択中の対象歩行者は横断前歩行者ではないと認定して、その旨を記憶する（Ｓ１１５）。

その後、前述したように、全ての対象歩行者を選択したか否かを判断して（Ｓ１１６）、全ての対象歩行者を選択したと判断したら（Ｓ１１６：ｙｅｓ）、横断前歩行者と認定された歩行者を抽出する（Ｓ１１７）。
そして、抽出された横断前歩行者が存在するか否かを判断して（Ｓ１１８）、横断前歩行者が存在していた場合は（Ｓ１１８：ｙｅｓ）、横断前歩行者が存在する旨を、車室内に設けられたモニター３およびスピーカー４を用いて出力する（Ｓ１１９）。

図１３には、モニター３の画面上に横断前歩行者の抽出結果を出力した様子が例示されている。図示されているように、モニター３の画面上には、車載カメラ２で車両１の前方を撮影した撮影画像が表示されている。前述したように、撮影画像には８人の歩行者Ａ〜Ｈが写っているが、その中で横断前歩行者として抽出された歩行者Ｇには、破線の矩形で示したマーカー画像ｍが重ねて表示されている。このため、車両１の運転者は、８人の歩行者Ａ〜Ｈの中で、特に注意を払わなければならない歩行者が歩行者Ｇであることを、直ちに認識することができる。
加えて、本実施例の歩行者検出装置１００では、横断前歩行者を抽出した結果、抽出された横断前歩行者が存在していた場合には（Ｓ１１８：ｙｅｓ）、横断前歩行者が存在する旨の音声（例えば、「歩行者が横断しようとしています」など）をスピーカー４から出力するようになっている。

こうして、横断前歩行者が存在する旨を出力したら（Ｓ１１９）、図３および図４に示した横断前歩行者検出処理を終了するか否かを判断する（Ｓ１２０）。その結果、処理を終了しない場合は（Ｓ１２０：ｎｏ）、処理の先頭に戻って、車載カメラ２から撮影画像を取得した後（図３のＳ１００）、続く上述した一連の処理を開始する。
一方、図４のＳ１１７で、横断前歩行者と認定された歩行者を抽出した結果、横断前歩行者と認定された歩行者が存在していなかった場合は（Ｓ１１８：ｎｏ）、横断前歩行者が存在する旨を出力することなく、横断前歩行者検出処理を終了するか否かを判断する（Ｓ１２０）。その結果、処理を終了しない場合は（Ｓ１２０：ｎｏ）、処理の先頭に戻って、車載カメラ２から撮影画像を取得した後（図３のＳ１００）、続く上述した一連の処理を開始する。
また、Ｓ１２０で処理を終了すると判断した場合は（Ｓ１２０：ｙｅｓ）、横断前歩行者検出処理を終了する。

このように、本実施例の歩行者検出装置１００は、歩行者が実際に車道を横断し始める前の段階で、横断しようとしている歩行者（すなわち横断前歩行者）を検出することができる。また、横断前歩行者を検出するに際しては、図１１を用いて前述したように、歩行者が横断の目的地を注視する動きと、車道を走行する車両に対する安全確認を行う動きとを、所定の時間内に行ったか否かに基づいて検出しているので、高い精度で横断前歩行者を検出することができる。
その結果、車両１の前方に多くの歩行者が存在するような場合でも、車道を横断しようとしている歩行者を、精度良く、しかも実際に横断し始める前の段階で検出することができるので、運転者の歩行者に対する監視負担を大幅に軽減することが可能となる。
例えば、図１３に示した例では、車両１の前方には８人の歩行者Ａ〜Ｈが存在するが、この段階では、何れの歩行者についても、実際には未だ横断を開始していないので、何れの歩行者が車道を横断しようとしているかを判断することは困難である。しかし、本実施例の歩行者検出装置１００では、歩行者Ｇが実際に車道を横断し始める前の段階で、運転者に対して歩行者Ｇが車道を横断しようとしていることを知らせることができるので、運転者の監視負担を大幅に軽減することが可能となる。

加えて、本実施例の歩行者検出装置１００では、横断前歩行者が存在する場合には、その旨の音声をスピーカー４から出力する（図１３参照のこと）。このため、運転者は通常の通りに前方を視認しながら運転していれば、モニター３を監視していなくても、横断前歩行者が抽出されたことを直ちに認識することができる。そして、その段階でモニター３の画面を見れば、何れの歩行者が横断前歩行者であるかを、マーカー画像ｍによって直ちに認識することが可能となる。

Ｃ．変形例 ：
上述した本実施例には幾つかの変形例を考えることができる。以下では、これら変形例について、本実施例との相違点を中心として簡単に説明する。

Ｃ−１．第１変形例 ：
上述した本実施例の歩行者検出装置１００では、対象歩行者の視線方向が、図８に示した特徴的な動き（すなわち、対象歩行者に対して車道の側を、所定の移動速度の範囲内で、所定角度以上、一方向に移動する動き）をした場合に、その対象歩行者は、車道を走行する車両を眼で追いかけたものと推定して、車両に対する安全確認を行ったものと判断した。
しかし、車道を走行する車両の位置を検出して、対象歩行者の視線方向が、車両の方向を向いているか否かを判断しても良い。そして、車両の位置が移動するに伴って、対象歩行者の視線方向も移動している場合に、その対象歩行者は、車両に対する安全確認を行ったものと判断してもよい。

図１４には、このような第１変形例の歩行者検出装置１５０の内部構成が示されている。図１４に示した第１変形例の歩行者検出装置１５０は、図２を用いて前述した本実施例の歩行者検出装置１００に対して、車両検出部１０９が追加されているが、その他の点については本実施例の歩行者検出装置１００と同様である。
第１変形例の歩行者検出装置１５０が備える車両検出部１０９は、撮影画像取得部１０１から受け取った車載カメラ２の撮影画像を解析して、撮影画像中の車両の位置を検出し、その結果を安全確認判断部１０７に出力する。尚、ここでは、車両検出部１０９は撮影画像を解析することによって車両の位置を検出するものとして説明するが、車両検出部１０９が車両の位置を検出する方法は、周知の種々の方法を用いることができる。例えば、ミリ波などのレーダーや、ソナーなどの出力に基づいて車両の位置を検出してもよい。
安全確認判断部１０７は、視線方向取得部１０５から対象歩行者の視線方向を取得し、車両検出部１０９から車両の位置を取得する。そして、対象歩行者の視線方向が、車両の動きを追いかけて移動している場合に、その対象歩行者は車両に対する安全確認を行ったものと判断する。

こうすれば、対象歩行者の視線が実際に車両を追いかけている場合に、安全確認を行ったと判断することになるので、対象歩行者が車両に対する安全確認を行ったか否かを、より一層、正確に判断することができる。その結果、変形例の歩行者検出装置１５０は、横断前歩行者を更に精度良く検出することが可能となる。

Ｃ−２．第２変形例 ：
図１２を用いて前述したように、本実施例の横断前歩行者検出処理では、現在時点から所定の遡及時間を遡る期間内で、安全確認フラグおよび注視フラグがＯＮになっている対象歩行者を、横断前歩行者として検出した。
しかし、現在時点から遡及時間を遡って、安全確認フラグおよび注視フラグがＯＮになっている対象歩行者を探索するのではなく、安全確認フラグおよび注視フラグのそれぞれについて、ＯＮ状態が有効に継続する有効継続時間を設定しておいてもよい。そして、安全確認フラグおよび注視フラグの何れについてもＯＮ状態が継続している対象歩行者を、横断前歩行者として検出することとしても良い。

図１５には、上述した第２変形例の横断前歩行者検出処理で、対象歩行者の中から横断前歩行者を検出する様子を示す説明図である。例えば、図１５（ａ）に示した例では、対象歩行者の注視フラグがＯＮからＯＦＦになった時点ｄで、所定時間の有効継続時間が設定される。そして、時点ｄから有効継続時間が経過するまでの期間内で、安全確認フラグがＯＮになっている間は、その対象歩行者を横断前歩行者として検出する。
尚、図１５（ａ）に示した例では、時点ｄから有効継続時間が経過した後も安全確認フラグがＯＮのままとなっている。しかし、注視フラグのＯＮ状態が有効に継続する有効継続時間が終了しているので、時点ｄから有効継続時間が経過した後は、横断前歩行者として検出されなくなる。

また、図１５（ｂ）に示した例では、対象歩行者の注視フラグがＯＮからＯＦＦになった時点ｅで所定時間の有効継続時間が設定され、時点ｅから有効継続時間が経過するまでの期間内で、安全確認フラグがＯＮになっている間は、その対象歩行者は横断前歩行者として検出される。そして、安全確認フラグがＯＮからＯＦＦになると、その時点ｆから、今度は安全確認フラグの有効継続時間が設定される。尚、図１５（ｂ）では、安全確認フラグの有効継続時間については図示が省略されている。
このため、安全確認フラグがＯＦＦになった後も、注視フラグの有効継続時間が経過するまでの間は、注視フラグおよび安全確認フラグがＯＮになった状態が継続しているので、この期間でも対象歩行者は横断前歩行者として検出されることになる。

尚、以上の説明では、初めに注視フラグがＯＮになり、その後に安全確認フラグがＯＮになる場合を例に用いて説明したが、初めに安全確認フラグがＯＮになり、その後に注視フラグがＯＮになる場合についても、全く同様な説明が当て嵌まる。
また、以上の説明では、注視フラグと安全確認フラグとで、有効継続時間の長さに違いは無いものとして説明した。しかし、注視フラグと安全確認フラグとで、有効継続時間の長さを異ならせてもよい。

例えば、図１５（ｃ）に例示したように、安全確認フラグの有効継続時間については、図１５（ａ）あるいは図１５（ｂ）に例示した注視フラグの有効継続時間よりも、短い時間に設定しても良い。
前述したように、注視フラグとは、対象歩行者が横断の目的地を注視したことを示すフラグであり、安全確認フラグとは、対象歩行者が車両に対する安全確認を行ったことを示すフラグである。そして、横断の目的地は一度確認しておけば時間が経過しても状況が変化することは考えにくいので、車道を横断しようとする歩行者は、横断の目的地を確認してから時間が経過しても、再度確認すること無く、そのまま横断を開始し勝ちである。
これに対して、車両に対する安全確認は時間が経過すると状況が変化して安全では無くなっている可能性があるので、車道を横断しようとする歩行者は、安全確認してから時間が経過し多場合には、再度、安全確認してから横断を開始する傾向がある。
このことから、安全確認フラグの有効継続時間を、注視フラグの有効継続時間よりも短い時間に設定しておけば、横断前歩行者をより一層精度良く検出することが可能となる。

以上、本実施例および各種の変形例について説明したが、本発明は上記の実施例および各種の変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。

１…車両、 ２…車載カメラ、 ３…モニター、 ４…スピーカー、
１０…ナビ装置、 １００…歩行者検出装置、 １０１…撮影画像取得部、
１０２…歩行者検出部、 １０３…車道検出部、 １０４…対象歩行者検出部、
１０５…視線方向取得部、 １０６…注視判断部、 １０７…安全確認判断部、
１０８…横断前歩行者検出部、 １０９…車両検出部、
１５０…歩行者検出装置。

Claims (12)

1. 車載カメラ（２）から得られた撮影画像を解析することによって、該撮影画像に写った歩行者を検出する歩行者検出装置（１００、１５０）であって、
   前記撮影画像の中から車道を検出する車道検出部（１０３）と、
   前記撮影画像の中で、前記車道から両側方向へ所定距離の範囲内に存在する歩行者を、対象歩行者として検出する対象歩行者検出部（１０４）と、
   前記対象歩行者の視線方向についての情報を取得する視線方向取得部（１０５）と、
   前記対象歩行者の視線方向が前記車道の向こう側に存在する横断の目的地に留まっている状態が、所定の注視時間に亘って継続している場合に、前記対象歩行者が前記横断の目的地を注視したものと判断する注視判断部（１０６）と、
   前記対象歩行者が前記車道を走行する車両に対する安全確認を行ったか否かを、前記対象歩行者の視線方向に基づいて判断する安全確認判断部（１０７）と、
   前記横断の目的地の注視または前記安全確認の何れか一方の動作を行ってから、所定時間内に他方の動作を行った前記対象歩行者を、前記車道の横断意思を有する横断前歩行者として検出する横断前歩行者検出部（１０８）と
   を備える歩行者検出装置。
2. 請求項１に記載の歩行者検出装置であって、
   前記横断前歩行者検出部は、前記横断の目的地を注視してから第１の前記所定時間内に前記安全確認を行うか、若しくは、前記安全確認をしてから、前記第１の所定時間よりも短い第２の前記所定時間内に前記横断の目的地を注視した前記対象歩行者を、前記横断前歩行者として検出する
   ことを特徴とする歩行者検出装置。
3. 請求項１または請求項２に記載の歩行者検出装置であって、
   前記視線方向取得部は、前記撮影画像に写った前記対象歩行者の画像を解析することによって、前記対象歩行者の視線方向についての情報を取得する
   ことを特徴とする歩行者検出装置。
4. 請求項１ないし請求項３の何れか一項に記載の歩行者検出装置であって、
   前記注視判断部は、前記対象歩行者の視線方向が、前記車道に対して直角な方向から４５度以内の角度範囲内になかった場合には、前記横断の目的地を注視していないと判断する
   ことを特徴とする歩行者検出装置。
5. 請求項１ないし請求項４の何れか一項に記載の歩行者検出装置であって、
   前記注視判断部は、前記対象歩行者の視線方向が、水平方向に対して所定の上限角度以上、上向きであった場合には、前記横断の目的地を注視していないと判断する
   ことを特徴とする歩行者検出装置。
6. 請求項１ないし請求項５の何れか一項に記載の歩行者検出装置であって、
   前記注視判断部は、前記対象歩行者の視線方向が、水平方向に対して所定の下限角度以上、下向きであった場合には、前記横断の目的地を注視していないと判断する
   ことを特徴とする歩行者検出装置。
7. 請求項１ないし請求項６の何れか一項に記載の歩行者検出装置であって、
   前記安全確認判断部は、前記対象歩行者の視線方向が、前記対象歩行者に対して前記車道の側を、所定の移動速度範囲内で所定の角度以上、一方向に移動した場合に、前記車道を走行する車両に対する安全確認を行ったものと判断する
   ことを特徴とする歩行者検出装置。
8. 請求項７に記載の歩行者検出装置であって、
   前記車道を走行する車両を検出する車両検出部（１０９）を備え、
   前記安全確認判断部は、前記対象歩行者の視線方向が、前記車道を走行する車両の移動と共に移動する場合に、前記車両に対する安全確認を行ったものと判断する
   ことを特徴とする歩行者検出装置。
9. 請求項１ないし請求項８の何れか一項に記載の歩行者検出装置であって、
   前記安全確認判断部は、前記対象歩行者の視線方向が、前記車道に向かって左右何れか一方の方向に移動した後、他方の方向に移動した場合に、前記車道を走行する車両に対する安全確認を行ったものと判断する
   ことを特徴とする歩行者検出装置。
10. 請求項９に記載の歩行者検出装置であって、
    前記安全確認判断部は、前記対象歩行者の視線方向が前記左右何れか一方に向いた時の前記視線方向と、前記左右他方に向いた時の前記視線方向とが、９０°以上離れている場合に、前記車道を走行する車両に対する安全確認を行ったものと判断する
    ことを特徴とする歩行者検出装置。
11. 請求項１ないし請求項１０の何れか一項に記載の歩行者検出装置であって、
    前記安全確認判断部は、前記対象歩行者の視線方向が、前記車道に沿った方向から、前記車道に向かって直交する方向を経由して、前記車道に対して直交しなくなる方向まで移動した場合に、前記車道を走行する車両に対する安全確認を行ったものと判断する
    ことを特徴とする歩行者検出装置。
12. 車載カメラ（２）から得られた撮影画像を解析することによって、該撮影画像に写った歩行者を検出する歩行者検出方法であって、
    前記撮影画像の中から車道を検出する工程（Ｓ１０２）と、
    前記撮影画像の中で、前記車道から両側方向へ所定距離の範囲内に存在する歩行者を、対象歩行者として検出する工程（Ｓ１０３）と、
    前記対象歩行者の視線方向についての情報を取得する工程（Ｓ１０５）と、
    前記対象歩行者の視線方向が前記車道の向こう側に存在する横断の目的地に留まっている状態が、所定の注視時間に亘って継続している場合に、前記対象歩行者が前記横断の目的地を注視したものと判断する工程（Ｓ１０７）と、
    前記対象歩行者が前記車道を走行する車両に対する安全確認を行ったか否かを、前記対象歩行者の視線方向に基づいて判断する工程（Ｓ１１０）と、
    前記横断の目的地の注視または前記安全確認の何れか一方の動作を行ってから、所定時間内に他方の動作を行った前記対象歩行者を、前記車道の横断意思を有する横断前歩行者として検出する工程（Ｓ１１３）と
    を備える歩行者検出方法。

Images