JPWO2016092650A1 - 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム - Google Patents

Abstract

画像処理装置（１２０）において、抽出部（１２１）は、撮影画像（１０１）から複数の対象物を抽出する。予測部（１２２）は、抽出部（１２１）により抽出された複数の対象物の間の将来の距離を予測する。分類部（１２３）は、予測部（１２２）により予測された将来の距離に基づいて、抽出部（１２１）により抽出された複数の対象物をグループに分類する。処理部（１２４）は、撮影画像（１０１）を強調表示画像（１０２）に加工する。強調表示画像（１０２）は、分類部（１２３）により分類された複数の対象物をグループごとに強調表示した画像である。

Description

本発明は、画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラムに関するものである。

従来、運転者の視認状態を走行情報として提供することで運転を支援する走行情報提供装置がある（例えば、特許文献１参照）。この走行情報提供装置は、車両の周辺の対象物を、対象物の属性によりいくつかのグループに分類し、それぞれのグループを異なる色で表示する。対象物としては、他の車両、歩行者、標識、信号、横断歩道等がある。対象物の「属性」とは、例えば、対象物の種別及び距離のことである。

国際公開第２００８／０２９８０２号

従来の走行情報提供装置は、車両の周辺の対象物のうち、種別が同じであり、互いの間の現在の距離が閾値以下である対象物を同じグループに分類する。対象物のグルーピングの際に、対象物の間の将来の距離は考慮されない。

例えば、互いに接近して立っている４人の歩行者のうち、１人の歩行者が走り出す姿勢をとっていたとする。この場合、走り出そうとしている歩行者と残りの３人の歩行者との間の現在の距離は小さいが、将来の距離は大きくなると考えられる。しかし、従来の走行情報提供装置は、４人の歩行者を同じグループとして表示する。そのため、運転者は、走り出そうとしている歩行者と残りの３人の歩行者とを別々に視認しにくい。その結果、歩行者が実際に走り出した際に、運転者が、その歩行者に気づくのが遅れてしまい、安全運転に支障をきたすことになる。

上記のように、対象物の間の現在の距離が閾値以下でも、対象物の間の将来の距離によっては、対象物を別々に視認すべき場合がある。しかし、従来の技術では、そのような場合に適したグルーピングができないという課題があった。

本発明は、例えば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することを目的とする。

本発明の一の態様に係る画像処理装置は、
移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出部と、
前記抽出部により抽出された複数の対象物の間の将来の距離を予測する予測部と、
前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類する分類部と、
前記撮影画像を、前記分類部により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する処理部とを備える。

本発明では、対象物の間の現在の距離に関わらず、対象物の間の将来の距離に基づいて、対象物がグループに分類される。このため、本発明によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することが可能となる。

実施の形態１に係る車載表示システムの構成を示すブロック図。 実施の形態１に係る車載表示システムの動作を示すフローチャート。 実施の形態１に係る対象物データの例を示す表。 実施の形態１に係る分類処理の手順を示すフローチャート。 実施の形態１に係る関係性テーブルの例を示す表。 実施の形態１に係る強調表示画像の例を示す図。 実施の形態１に係る強調表示画像の例を示す図。 実施の形態１に係る強調表示画像の例を示す図。 実施の形態１に係る強調表示画像の例を示す図。 実施の形態２に係る関係性テーブルの例を示す表。 本発明の実施の形態に係る車載表示システムのハードウェア構成の例を示す図。

以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一又は相当する部分には、同一符号を付している。実施の形態の説明において、同一又は相当する部分については、その説明を適宜省略又は簡略化する。

実施の形態１．
まず、本実施の形態の概要について説明する。

本実施の形態では、撮影される対象物が、対象物の間の現在の距離に関わらず、対象物の間の将来の距離に基づいて、いくつかのグループに分類され、グループごとに強調表示される。即ち、対象物のグルーピングの際に、対象物の間の将来の距離が考慮される。「強調表示」とは、ある画像に映っている対象物を枠で囲ったり、色づけしたりして、その画像内で対象物を視認しやすくすることである。対象物としては、車両、人間、動物といった移動する対象物と、標識、信号、横断歩道といった移動しない対象物とがある。車両としては、自動車、自動二輪車、自転車等がある。対象物は、属性を有する。「属性」とは、例えば、対象物の種別及び距離及び速度のことである。属性の一種である「種別」とは、対象物の現在の状態に関わらず、対象物を区分することができる特性又は種類のことである。例えば、対象物が現在移動していなくても、移動する能力を持っていれば、その対象物の種別は、移動する対象物である。種別には階層があると考えることができる。例えば、移動する対象物の下層には、車両、人間、動物といった下位の種別がある。車両の下層には、自動車、自動二輪車、自転車等のさらに下位の種別がある。属性の一種である「距離」とは、前述した「対象物の間の現在の距離」及び「対象物の間の将来の距離」のことではなく、対象物が撮影された地点から対象物までの距離のことである。

例えば、互いに接近して立っている４人の人間のうち、１人の人間が走り出す姿勢をとっていたとする。この場合、走り出そうとしている人間と残りの３人の人間との間の現在の距離は小さいが、将来の距離は大きくなると考えられる。仮に４人の人間が同じグループとしてまとめて強調表示された場合、走り出そうとしている人間と残りの３人の人間とを別々に視認することは難しい。本実施の形態では、４人の人間の間の将来の距離が考慮され、走り出そうとしている人間と残りの３人の人間とが異なるグループに分類される。そして、４人の人間を撮影した画像が、１人の人間を１つのグループとして強調表示し、残りの３人の人間を別のグループとしてまとめて強調表示した画像に加工される。そのため、加工された画像を見た者は、走り出そうとしている人間と残りの３人の人間とを別々に視認しやすい。

本実施の形態では、対象物のグルーピングの際に、対象物の間の関係性も考慮される。

例えば、停まっている１台の車両から離れた位置で、１人の人間が、その車両に向かっていたとする。この場合、停まっている車両と車両に向かっている人間との間の現在の距離は大きいが、将来の距離は０になると考えられる。また、停まっている車両と車両に向かっている人間との間には、車両及びその車両に乗る人間という関係性があると考えられる。仮に１台の車両と１人の人間とが異なるグループとして別々に強調表示された場合、停まっている車両と車両に向かっている人間とをまとめて視認することは難しい。しかし、このような場合は、両方をまとめて視認できたほうが効率的である。本実施の形態では、１台の車両と１人の人間との間の関係性が考慮され、停まっている車両と車両に向かっている人間とが同じグループに分類される。そして、１台の車両と１人の人間とを撮影した画像が、１台の車両と１人の人間とを１つのグループとしてまとめて強調表示した画像に加工される。そのため、加工された画像を見た者は、停まっている車両と車両に向かっている人間とをまとめて視認しやすくなる。

例えば、本実施の形態は、運転の支援に適用することができる。本実施の形態では、車両の周辺にある対象物の移動予測の結果、又は、対象物間の関係性の推定の結果に基づくグルーピングによって、車両の周辺状況に関し、視認性の高い表示が可能となる。よって、運転者の安全確認に資することができる。

次に、本実施の形態の詳細として、本実施の形態に係るシステムの構成、本実施の形態に係るシステムの動作、本実施の形態の効果を順番に説明する。

＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る車載表示システム１００の構成を示すブロック図である。

図１に示すように、車載表示システム１００は、撮像装置１１０と、画像処理装置１２０と、データ記憶装置１３０と、表示装置１４０とを備える。

撮像装置１１０は、例えば、ステレオカメラ又はレーダである。撮像装置１１０は、車両２００に搭載される。撮像装置１１０は、車両２００の周辺を撮影して撮影画像１０１を得る。撮影画像１０１は、移動する対象物を少なくとも１つ含む複数の対象物を撮影した画像である。

画像処理装置１２０は、例えば、コンピュータである。画像処理装置１２０は、車両２００に搭載されてもよいし、運転者によって車両２００に持ち込まれてもよいし、車両２００の外部に設置されてもよい。画像処理装置１２０は、抽出部１２１と、予測部１２２と、分類部１２３と、処理部１２４とを備える。

抽出部１２１は、撮像装置１１０から撮影画像１０１を取得する。抽出部１２１は、取得した撮影画像１０１から複数の対象物を抽出する。前述したように、複数の対象物には、移動する対象物が少なくとも１つ含まれる。

抽出部１２１は、抽出した複数の対象物について、主に、以下の３つの処理を行う。

第１の処理として、抽出部１２１は、抽出した複数の対象物の間の現在の距離Ｄｃを算出する。「現在」とは、具体的には、撮像装置１１０により撮影画像１０１が撮影された時点のことである。「複数の対象物の間の現在の距離」とは、２つの対象物がある場合には、当該２つの対象物の一方と他方との間の現在の距離のことであり、３つ以上の対象物がある場合には、当該３つ以上の対象物のそれぞれと他の対象物との間の現在の距離のことである。

第２の処理として、抽出部１２１は、抽出した複数の対象物のそれぞれの種別を判定する。例えば、抽出部１２１は、対象物の種別が移動する対象物なのか、それとも移動しない対象物なのかを判定する。本実施の形態では、抽出部１２１は、移動する対象物については、対象物の種別が車両であるか、人間であるか、それとも動物であるかを判定する。さらに、抽出部１２１は、車両については、対象物の種別が自動車であるか、自動二輪車であるか、それとも自転車であるかを判定する。

第３の処理として、抽出部１２１は、種別が移動する対象物であると判定した対象物の現在の速度Ｖｃを推定する。例えば、抽出部１２１は、種別が車両又は人間であると判定した対象物の現在の速度Ｖｃを推定する。

予測部１２２は、抽出部１２１により抽出された複数の対象物の間の将来の距離Ｄｆを予測する。「将来」とは、具体的には、現在から数秒又は数十秒又は数分後の時点のことである。「複数の対象物の間の将来の距離」とは、２つの対象物がある場合には、当該２つの対象物の一方と他方との間の将来の距離のことであり、３つ以上の対象物がある場合には、当該３つ以上の対象物のそれぞれと他の対象物との間の将来の距離のことである。例えば、予測部１２２は、抽出部１２１により種別が移動する対象物であると判定された対象物の過去の挙動から、その対象物の移動予測を行い、移動予測の結果に基づいて、移動後の対象物と他の対象物との間の距離を将来の距離Ｄｆとして算出する。「過去の挙動」とは、対象物が抽出部１２１により最初に抽出されてから、抽出部１２１により得られた情報を時刻ごとにまとめたデータであり、後述する対象物データ１３１に相当する。

移動予測の処理の一種として、予測部１２２は、抽出部１２１により種別が人間であると判定された対象物の姿勢が走り出す姿勢であるかどうかを判断する。予測部１２２は、判断結果に基づいて、抽出部１２１により種別が人間であると判定された対象物と抽出部１２１により抽出された他の対象物との間の将来の距離Ｄｆを予測する。

分類部１２３は、予測部１２２により予測された将来の距離Ｄｆに基づいて、抽出部１２１により抽出された複数の対象物をグループに分類する。即ち、分類部１２３は、抽出部１２１により抽出された複数の対象物のうち、予測部１２２により予測された互いの間の将来の距離Ｄｆが閾値Ｔａより大きい対象物を異なるグループに分類する。分類部１２３は、抽出部１２１により抽出された複数の対象物のうち、予測部１２２により予測された互いの間の将来の距離Ｄｆが閾値Ｔａより小さい対象物を同じグループに分類する。分類部１２３は、抽出部１２１により抽出された複数の対象物のうち、予測部１２２により予測された互いの間の将来の距離Ｄｆが閾値Ｔａと同じ対象物については、同じグループに分類してもよいし、異なるグループに分類してもよい。

本実施の形態では、分類部１２３は、さらに、予測部１２２により予測された将来の距離Ｄｆと抽出部１２１により判定された種別とに基づいて、抽出部１２１により抽出された複数の対象物の間の関係性を推定する。分類部１２３は、推定した関係性によって当該複数の対象物をグループに分類する。例えば、分類部１２３は、２つの対象物の間に、以下の２種類のいずれかの関係性があることを推定したときに、当該２つの対象物を同じグループに分類する。

第１の種類の関係性として、分類部１２３は、２つの対象物の間に、一方の対象物に他方の対象物が近づくという関係性があることを推定したときに、当該２つの対象物を同じグループに分類する。例えば、分類部１２３は、抽出部１２１により抽出された複数の対象物に、抽出部１２１により種別が人間であると判定された第１対象物と、抽出部１２１により種別が車両であると判定された第２対象物とが含まれ、予測部１２２により予測された第１対象物と第２対象物との間の将来の距離Ｄｆが閾値Ｔａより小さく、抽出部１２１により推定された第２対象物の現在の速度Ｖｃ２の大きさが０である場合に、第１対象物と第２対象物との間に、車両及びその車両に乗る人間という関係性があることを推定する。即ち、分類部１２３は、人間である第１対象物と車両である第２対象物との組み合わせについて、Ｄｆ＜ＴａかつＶｃ２＝０という条件が成立した場合に、第１対象物と第２対象物とを同じグループに分類する。ここでいう「車両」には、自動車及び自転車の両方が含まれる。また、例えば、分類部１２３は、抽出部１２１により抽出された複数の対象物に、抽出部１２１によりそれぞれ種別が人間であると判定された第１対象物と第２対象物とが含まれ、予測部１２２により予測された第１対象物と第２対象物との間の将来の距離Ｄｆが閾値Ｔａより小さい場合に、第１対象物と第２対象物との間に、近づく人間同士という関係性があることを推定する。即ち、分類部１２３は、それぞれ人間である第１対象物と第２対象物との組み合わせについて、Ｄｆ＜Ｔａという条件が成立した場合に、第１対象物と第２対象物とを同じグループに分類する。

第２の種類の関係性として、分類部１２３は、２つの対象物の間に、列をなして移動する対象物という関係性があることを推定したときに、当該２つの対象物を同じグループに分類する。具体的には、分類部１２３は、抽出部１２１により抽出された複数の対象物に、抽出部１２１により種別が移動する対象物であると判定された第１対象物と第２対象物とが存在し、次の条件が成立した場合に、第１対象物と第２対象物との間に、列をなして移動する対象物という関係性があることを推定する。１つ目の条件は、抽出部１２１により算出された第１対象物と第２対象物との間の現在の距離Ｄｃと、予測部１２２により予測された第１対象物と第２対象物との間の将来の距離Ｄｆとの差が閾値Ｔｂより小さいという条件である。２つ目の条件は、抽出部１２１により推定された第１対象物と第２対象物の現在の速度Ｖｃ１，Ｖｃ２の大きさが０より大きいという条件である。３つ目の条件は、速度Ｖｃ１，Ｖｃ２の大きさの差が他の閾値Ｔｃより小さいという条件である。即ち、分類部１２３は、それぞれ移動する対象物である第１対象物と第２対象物との組み合わせについて、｜Ｄｃ−Ｄｆ｜＜Ｔｂかつ｜Ｖｃ１｜＞０かつ｜Ｖｃ２｜＞０かつ｜Ｖｃ１−Ｖｃ２｜＜Ｔｃという条件が成立した場合に、第１対象物と第２対象物とを同じグループに分類する。この場合の第１対象物及び第２対象物は、例えば、抽出部１２１により種別が自転車であると判定された対象物である。その場合、分類部１２３により推定される関係性は、列をなして走る自転車という関係性である。なお、「差」は、絶対値であるとする。また、速度Ｖｃ１，Ｖｃ２は、方向を含むベクトルとする。分類部１２３は、速度Ｖｃ１，Ｖｃ２のなす角を用いて関係性を推定してもよい。具体的には、分類部１２３は、上記２つ目の条件と、上記３つ目の条件と、速度Ｖｃ１，Ｖｃ２のなす角が他の閾値Ｔｄより小さいという条件が成立した場合に、第１対象物と第２対象物との間に、列をなして移動する対象物という関係性があることを推定する。即ち、分類部１２３は、それぞれ移動する対象物である第１対象物と第２対象物との組み合わせについて、｜Ｖｃ１｜＞０かつ｜Ｖｃ２｜＞０かつ｜Ｖｃ１−Ｖｃ２｜＜Ｔｃかつ「Ｖｃ１，Ｖｃ２のなす角」＜Ｔｄという条件が成立した場合に、第１対象物と第２対象物とを同じグループに分類する。このような条件を用いても、結果的には、抽出部１２１により算出された第１対象物と第２対象物との間の現在の距離Ｄｃと、予測部１２２により予測された第１対象物と第２対象物との間の将来の距離Ｄｆとの差に基づいて複数の対象物を同じグループに分類したことになる。

分類部１２３は、上記の２種類以外にも、様々な関係性を推定してよい。

処理部１２４は、撮影画像１０１を強調表示画像１０２に加工する。強調表示画像１０２は、分類部１２３により分類された複数の対象物をグループごとに強調表示した画像である。例えば、強調表示画像１０２は、分類部１２３により分類された複数の対象物をグループごとに１つの枠で囲んだ画像である。処理部１２４は、強調表示画像１０２を表示装置１４０に入力する。

データ記憶装置１３０は、例えば、ＨＤＤ（Ｈａｒｄ・Ｄｉｓｋ・Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ・Ｓｔａｔｅ・Ｄｒｉｖｅ）である。データ記憶装置１３０は、車両２００に搭載されてもよいし、運転者によって車両２００に持ち込まれてもよいし、車両２００の外部に設置されてもよい。データ記憶装置１３０は、対象物データ１３１と、関係性テーブル１３２とを記憶する。対象物データ１３１は、画像処理装置１２０の抽出部１２１により抽出された複数の対象物のそれぞれについて、抽出部１２１の算出結果、判定結果、推定結果等を記録したデータである。対象物データ１３１は、画像処理装置１２０の予測部１２２により参照される。関係性テーブル１３２は、互いの間に関係性がある対象物の種別の組み合わせを予め定義したテーブルである。関係性テーブル１３２は、画像処理装置１２０の分類部１２３により参照される。

表示装置１４０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ・Ｃｒｙｓｔａｌ・Ｄｉｓｐｌａｙ）又はＨＵＤ（Ｈｅａｄ−Ｕｐ・Ｄｉｓｐｌａｙ）である。表示装置１４０は、車両２００に搭載される。表示装置１４０は、画像処理装置１２０の処理部１２４により入力される強調表示画像１０２を出力する。表示装置１４０は、入力部１４１と、出力部１４２とを備える。

入力部１４１は、画像処理装置１２０の処理部１２４から強調表示画像１０２の入力を受ける。即ち、入力部１４１には、強調表示画像１０２が入力される。

出力部１４２は、入力部１４１に入力された強調表示画像１０２を出力する。

前述したように、強調表示画像１０２は、移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像１０１が加工されて得られる画像であって、予測された当該複数の対象物の間の将来の距離Ｄｆに基づいてグループに分類された当該複数の対象物をグループごとに強調表示した画像である。本実施の形態では、対象物のグルーピングの際に、対象物の間の将来の距離Ｄｆが考慮されている。そのため、対象物の間の将来の距離Ｄｆが考慮されない場合と比較して、より適切なグルーピングが行われている。即ち、対象物の間の現在の距離Ｄｃが小さくても、対象物の間の将来の距離Ｄｆが大きくなると予測される場合、強調表示画像１０２では、それらの対象物が別々に強調表示される。そのため、車両２００の運転者は、それらの対象物を別々に視認しやすい。このように、本実施の形態では、対象物の間の将来の距離Ｄｆに応じて、運転者が視認すべき単位ごとに対象物を強調表示することで、安全運転を支援することができる。

画像処理装置１２０と、データ記憶装置１３０と、表示装置１４０は、一体であってもよいし、いずれか２つが一体で他の１つが別体であってもよいし、１つ１つが別体であってもよい。例えば、表示装置１４０は、車両２００に搭載されたナビゲーション装置又はＤＡ（Ｄｉｓｐｌａｙ・Ａｕｄｉｏ）又はＨＵＤとして実装される。画像処理装置１２０は、スマートフォン、タブレット、携帯電話機といった携帯端末として実装される。或いは、画像処理装置１２０は、サーバコンピュータとして実装される。或いは、画像処理装置１２０は、表示装置１４０とともにナビゲーション装置として実装される。データ記憶装置１３０は、画像処理装置１２０とともに携帯端末又はサーバコンピュータとして実装される。或いは、データ記憶装置１３０は、表示装置１４０とともにナビゲーション装置として実装される。或いは、データ記憶装置１３０は、画像処理装置１２０及び表示装置１４０とは別体の記憶媒体として実装される。携帯端末は、運転者によって車両２００に持ち込まれ、有線又は無線により撮像装置１１０及び表示装置１４０と通信を行う。サーバコンピュータは、データセンタ等に設置され、インターネット等のネットワークを介して撮像装置１１０及び表示装置１４０と通信を行う。

なお、本実施の形態に係るシステムは、車載表示システム１００以外の表示システムであってもよい。即ち、本実施の形態は、車両２００の運転の支援以外の用途に適用することができる。例えば、本実施の形態は、住宅、オフィス等のセキュリティ監視の支援にも適用することができる。その場合、撮像装置１１０及び表示装置１４０は車両２００以外の場所に適宜設置される。

＊＊＊動作の説明＊＊＊
図２は、本実施の形態に係る表示方法に相当する、車載表示システム１００の動作を示すフローチャートである。図３は、対象物データ１３１の例を示す表である。

図２のＳ１１は、撮像処理である。図２のＳ１２は、抽出処理である。図２のＳ１３は、予測処理である。図２のＳ１４は、分類処理である。図２のＳ１５は、画像処理である。図２のＳ１６は、表示処理である。Ｓ１２〜Ｓ１５は、本実施の形態に係る画像処理方法、或いは、本実施の形態に係る画像処理プログラムの処理手順に相当する、画像処理装置１２０の動作である。

図２のＳ１１において、撮像装置１１０は、車両２００の周辺を撮影して撮影画像１０１を得る。例えば、撮像装置１１０がステレオカメラであれば、撮影画像１０１は、車両２００の周辺が映った三次元の静止画像又は動画像である。撮像装置１１０がレーダであれば、撮影画像１０１は、車両２００の周辺の障害物までの距離を示すレーダ画像である。

図２のＳ１２において、画像処理装置１２０の抽出部１２１は、Ｓ１１で得られた撮影画像１０１から対象物を抽出する。抽出部１２１は、抽出した対象物の属性を判断する。

具体的には、抽出部１２１は、抽出した対象物ごとに、Ｓ１１で得られた撮影画像１０１から対象物の特徴量を抽出する。例えば、データ記憶装置１３０には、対象物の種別ごとに、対象物の特徴量の基準値又は基準範囲が予め記憶されている。抽出部１２１は、ニューラルネットワーク、機械学習といったパターン認識の機能を持つソフトウェアである識別器を用いて、抽出した特徴量を基準値又は基準範囲と比較することで、抽出した対象物の種別を判定する。抽出部１２１は、現在の時刻と、抽出した特徴量と、判定した種別とを記録したデータを、図３に示す対象物データ１３１としてデータ記憶装置１３０に書き込む。

抽出部１２１は、抽出した対象物ごとに、Ｓ１１で得られた撮影画像１０１から対象物の現在の相対位置を算出する。「現在の相対位置」とは、例えば、車両２００から対象物までの現在の距離及び方向である。例えば、撮像装置１１０がステレオカメラであれば、抽出部１２１は、ステレオカメラの視差に基づいて、車両２００から対象物までの距離及び方向を算出する。撮像装置１１０がレーダであれば、抽出部１２１は、レーダの観測値から距離及び方向を算出する。図３に示すように、対象物データ１３１には、抽出部１２１により算出された現在の相対位置も記録される。

抽出部１２１は、抽出した対象物ごとに、算出した現在の相対位置と他の対象物の現在の相対位置との差である現在の距離Ｄｃを算出する。図３には示していないが、対象物データ１３１には、抽出部１２１により算出された現在の距離Ｄｃも記録されてよい。

抽出部１２１は、抽出した対象物ごとに、同じ対象物を前回も抽出したかどうかを、今回抽出した特徴量と前回抽出した特徴量との比較によって判断する。抽出部１２１は、同じ対象物を前回も抽出したと判断した場合、算出した現在の相対位置と前回算出した相対位置とから、対象物の現在の速度Ｖｃを推定する。例えば、抽出部１２１は、データ記憶装置１３０から、撮像装置１１０により撮影画像１０１が前回撮影された時刻と、今回抽出した特徴量に近い特徴量とを記録した対象物データ１３１を読み取る。今回抽出した特徴量と前回抽出した特徴量とが近いかどうかは、前述した識別器を用いて判断される。抽出部１２１は、読み取った対象物データ１３１に記録された相対位置と、今回算出した現在の相対位置と、読み取った対象物データ１３１に記録された時刻と、現在の時刻といった情報から、対象物の現在の速度Ｖｃを算出する。車両２００が走行したことにより車両２００の位置が変化していた場合、抽出部１２１は、読み取った対象物データ１３１に記録された相対位置を、車両２００の位置の変化に基づいて補正した上で、対象物の現在の速度Ｖｃを算出する。なお、抽出部１２１は、現在の相対位置と前回の相対値とを参照するだけでなく、相対位置の一連の時系列データから、対象物の平均速度を算出してもよい。図３に示すように、対象物データ１３１には、抽出部１２１により推定された現在の速度Ｖｃも記録される。

図２のＳ１３において、画像処理装置１２０の予測部１２２は、Ｓ１２で種別が移動する対象物であると判定された対象物ごとに、Ｓ１２でデータ記憶装置１３０に書き込まれた対象物データ１３１及び過去に書き込まれた対象物データ１３１を参照して、対象物の移動予測を行う。移動予測には、例えば、カルマンフィルタ又はパーティクルフィルタを用いることができる。Ｓ１２で判定された種別が人間である場合、予測部１２２は、姿勢推定により人間が走り出す姿勢になったかを判定し、将来の速度を予測する。姿勢推定の手法としては、例えば、前述した識別器を用いて、人間が走り出す姿勢とそうでない姿勢とを学習して姿勢を識別する手法を用いることができる。

具体的には、予測部１２２は、Ｓ１２で種別が移動する対象物であると判定された対象物ごとに、同じ対象物が過去から継続して抽出されていたかどうかを、Ｓ１２で抽出された特徴量と抽出部１２１により過去に抽出された特徴量との比較によって判断する。予測部１２２は、同じ対象物が過去から継続して抽出されていたと判断した場合、相対位置及び速度の履歴から、対象物の将来の相対位置を予測する。「将来の相対位置」とは、例えば、車両２００から対象物までの将来の距離及び方向である。例えば、予測部１２２は、データ記憶装置１３０から、Ｓ１２で抽出された特徴量に近い特徴量を記録した対象物データ１３１を読み取る。Ｓ１２で抽出された特徴量と過去に抽出された特徴量とが近いかどうかは、前述した識別器を用いて判断される。予測部１２２は、読み取った対象物データ１３１に記録された相対位置及び速度及び時刻と、Ｓ１２で算出された現在の相対位置、及び、Ｓ１２で推定された速度、及び、現在の時刻とから、対象物の相対位置及び速度の時系列変化を分析する。車両２００が走行したことにより車両２００の位置が変化していた場合、予測部１２２は、読み取った対象物データ１３１に記録された相対位置を、車両２００の位置の変化に基づいて補正した上で、対象物の相対位置及び速度の時系列変化を分析する。予測部１２２は、分析結果から対象物の将来の相対位置を予測する。

予測部１２２は、Ｓ１２で種別が移動する対象物であると判定された対象物ごとに、予測した将来の相対位置と他の対象物の将来の相対位置との差である将来の距離Ｄｆを算出する。

図２のＳ１４において、画像処理装置１２０の分類部１２３は、Ｓ１３で予測された将来の距離Ｄｆに基づいて、Ｓ１２で抽出された対象物をグループに分類する。即ち、分類部１２３は、Ｓ１２で抽出された対象物ごとに、対象物が属するグループを決定する。Ｓ１４の詳細については後述する。

図２のＳ１５において、画像処理装置１２０の処理部１２４は、Ｓ１１で得られた撮影画像１０１を加工して強調表示画像１０２を生成する。強調表示画像１０２は、Ｓ１２で抽出された対象物をＳ１４で決定されたグループごとに強調表示した画像である。例えば、強調表示画像１０２は、Ｓ１２で抽出された対象物をＳ１４で決定されたグループごとに１つの枠で囲んだ画像である。

図２のＳ１６において、表示装置１４０は、Ｓ１５で生成された強調表示画像１０２を出力する。

図２のＳ１７において、車両２００の運転が終了していれば、フローは終了する。車両２００の運転が終了していなければ、フローはＳ１１に戻る。車両２００の運転の「終了」とは、例えば、車両２００の駆動源であるエンジン又はモータの停止である。

図４は、図２のＳ１４である分類処理の手順を示すフローチャートである。図５は、関係性テーブル１３２の例を示す表である。

図４のＳ２１において、画像処理装置１２０の分類部１２３は、図２のＳ１２で抽出された対象物のうち、任意の２つの対象物である第１対象物と第２対象物とを選択する。

図４のＳ２２において、分類部１２３は、データ記憶装置１３０から、Ｓ２１で選択した第１対象物と第２対象物とについて図２のＳ１２でデータ記憶装置１３０に書き込まれた対象物データ１３１を参照して、第１対象物の種別と、第２対象物の種別とを特定する。即ち、分類部１２３は、Ｓ２１で選択した第１対象物と第２対象物との種別の組み合わせを特定する。

図４のＳ２３において、分類部１２３は、Ｓ２２で特定した種別の組み合わせをデータ記憶装置１３０に記憶された関係性テーブル１３２で検索する。

図５に示すように、関係性テーブル１３２では、「第１対象物」及び「第２対象物」である２つの対象物の種別の組み合わせごとに、「条件」と、「条件」が満たされた場合に「第１対象物」と「第２対象物」との間に「関係性」があるかどうかが定義されている。ある「条件」が満たされたときに、その「条件」が満たされた場合には「関係性」があると定義されていれば、「第１対象物」と「第２対象物」とが同じグループに分類される。一方、ある「条件」が満たされたときに、その「条件」が満たされた場合には「関係性」がないと定義されていれば、「第１対象物」と「第２対象物」とが異なるグループに分類される。

例えば、人間と別の人間との組み合わせに対しては、人間と別の人間との間の将来の距離Ｄｆが閾値Ｔａより大きいという条件Ｃ１が満たされた場合に、特定の関係性がないと推定すべきことが定義されている。

人間と自動車との組み合わせに対しては、人間と自動車との間の将来の距離Ｄｆが閾値Ｔａより小さく、自動車の現在の速度Ｖｃ２の大きさが０であるという条件Ｃ２が満たされた場合に、自動車及びその自動車に乗る人間という関係性があると推定すべきことが定義されている。

人間と自転車との組み合わせに対しては、人間と自転車との間の将来の距離Ｄｆが閾値Ｔａより小さく、自転車の現在の速度Ｖｃ２の大きさが０であるという条件Ｃ３が満たされた場合に、自転車及びその自転車に乗る人間という関係性があると推定すべきことが定義されている。

自転車と別の自転車との組み合わせに対しては、自転車と別の自転車との間の現在の距離Ｄｃと、自転車と別の自転車との間の将来の距離Ｄｆとの差が閾値Ｔｂより小さく、自転車と別の自転車との現在の速度Ｖｃ１，Ｖｃ２の大きさが０より大きく、自転車と別の自転車との現在の速度Ｖｃ１，Ｖｃ２の大きさの差が閾値Ｔｃより小さいという条件Ｃ４が満たされた場合に、列をなして走る自転車という関係性があると推定すべきことが定義されている。

自動車と別の自動車との組み合わせに対しては、常に真であるという条件Ｃ５が満たされた場合に、特定の関係性がないと推定すべきことが定義されている。即ち、無条件で関係性がないと推定すべきことが定義されている。

図４のＳ２４において、分類部１２３は、図２のＳ１３で予測された第１対象物と第２対象物との間の将来の距離Ｄｆが、Ｓ２３で検索した種別の組み合わせに対して関係性テーブル１３２で定義されている条件を満たすかどうかを判定する。分類部１２３は、必要に応じて、さらに、図２のＳ１２で算出された第１対象物と第２対象物との間の現在の距離Ｄｃと、図２のＳ１２で推定された第１対象物の現在の速度Ｖｃ１と、図２のＳ１２で推定された第２対象物の現在の速度Ｖｃ２とのうちいずれか又は全てが、Ｓ２３で検索した種別の組み合わせに対して関係性テーブル１３２で定義されている条件を満たすかどうかを判定する。分類部１２３は、条件が満たされていると判定した場合、その条件が満たされた場合に第１対象物と第２対象物との間に関係性があると関係性テーブル１３２で定義されているかどうかを判定する。関係性があると関係性テーブル１３２で定義されていた場合、分類部１２３は、第１対象物と第２対象物とを同じグループに分類する。一方、条件が満たされていないと分類部１２３が判定した場合、或いは、関係性がないと関係性テーブル１３２で定義されていた場合、分類部１２３は、第１対象物と第２対象物とを異なるグループに分類する。

図４のＳ２５において、図２のＳ１２で抽出された対象物から選択可能な２つの対象物の組み合わせがＳ２１で全て選択済であれば、フローは終了する。未選択の２つの対象物の組み合わせがあれば、フローはＳ２１に戻る。

図６から図９は、強調表示画像１０２の例を示す図である。

図６の例では、１人の人間３０１と３人の人間３０２〜３０４とが別々の枠３０５，３０６で囲まれている。

例えば、互いに接近して立っている４人の人間３０１〜３０４のうち、１人の人間３０１が走り出す姿勢をとっていたとする。この場合、１人の人間３０１と残りの３人の人間３０２〜３０４との間の現在の距離Ｄｃは小さいが、将来の距離Ｄｆは大きくなると考えられる。人間３０１が第１対象物であり、人間３０２が第２対象物であり、図２のＳ１３で予測される人間３０１と人間３０２との間の将来の距離Ｄｆが閾値Ｔａより大きい場合、前述した条件Ｃ１が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ１が満たされた場合には、特定の関係性がないと推定できる。よって、図４のＳ２４において、分類部１２３は、人間３０１と人間３０２との間に関係性がないと推定し、人間３０１と人間３０２とを異なるグループに分類する。一方、分類部１２３は、図示していない関係性テーブル１３２における別の定義に基づいて、人間３０２と人間３０３とを同じグループに分類する。同様に、分類部１２３は、人間３０２と人間３０４とを同じグループに分類する。図２のＳ１５において、処理部１２４は、図６に示すような強調表示画像１０２を生成する。

図７の例では、人間３１１と自動車３１２とがまとめて１つの枠３１３で囲まれている。

例えば、人間３１１が、停まっている自動車３１２から離れた位置で、自動車３１２に向かっていたとする。この場合、人間３１１と自動車３１２との間の現在の距離Ｄｃは大きいが、将来の距離Ｄｆは０になると考えられる。人間３１１が第１対象物であり、自動車３１２が第２対象物であり、図２のＳ１３で予測される人間３１１と自動車３１２との間の将来の距離Ｄｆが閾値Ｔａより小さく、図２のＳ１２で推定される自動車３１２の現在の速度Ｖｃ２の大きさが０である場合、前述した条件Ｃ２が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ２が満たされた場合には、自動車３１２及びその自動車３１２に乗る人間３１１という関係性があると推定できる。よって、図４のＳ２４において、分類部１２３は、人間３１１と自動車３１２とを同じグループに分類する。図２のＳ１５において、処理部１２４は、図７に示すような強調表示画像１０２を生成する。

図８の例では、２台の自転車３２１，３２２がまとめて１つの枠３２３で囲まれている。

例えば、２台の自転車３２１，３２２が列をなして走っていたとする。この場合、２台の自転車３２１，３２２の間の現在の距離Ｄｃと将来の距離Ｄｆとの差はほとんどないと考えられる。自転車３２１が第１対象物であり、自転車３２２が第２対象物であり、図２のＳ１２で算出される自転車３２１と自転車３２２との間の現在の距離Ｄｃと、図２のＳ１３で予測される自転車３２１と自転車３２２との間の将来の距離Ｄｆとの差が閾値Ｔｂより小さく、図２のＳ１２で推定される自転車３２１と自転車３２２との現在の速度Ｖｃ１，Ｖｃ２の大きさが０より大きく、図２のＳ１２で推定される自転車３２１と自転車３２２との現在の速度Ｖｃ１，Ｖｃ２の大きさの差が閾値Ｔｃより小さい場合、図２のＳ１２で算出される自転車３２１と自転車３２２との間の現在の距離Ｄｃに関わらず、前述した条件Ｃ４が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ４が満たされた場合には、列をなして走る自転車３２１，３２２という関係性があると推定できる。よって、図４のＳ２４において、分類部１２３は、自転車３２１と自転車３２２とを同じグループに分類する。図２のＳ１５において、処理部１２４は、図８に示すような強調表示画像１０２を生成する。

なお、上記の例において、分類部１２３は、条件Ｃ４が満たされているかどうかに代えて、或いは、条件Ｃ４が満たされているかどうかに加えて、図２のＳ１３における後方の自転車３２２の移動予測の結果から、後方の自転車３２２が前方の自転車３２１の移動軌跡を辿っているかどうかを判定してもよい。

また、上記の例において、処理部１２４は、図８に示すような強調表示画像１０２の代わりに、図９に示すような強調表示画像１０２を生成してもよい。図８に示した強調表示画像１０２は、車両２００の側方を撮影した画像であり、その画像に映っている２台の自転車３２１，３２２がまとめて１つの枠３２３で囲まれている。一方、図９に示す強調表示画像１０２は、車両２００の前方を撮影した画像であり、その画像に映っている前方の自転車３２１と、その画像には映っていない後方の自転車３２２の代わりとなるマーク３２４及び矢印３２５とがまとめて１つの枠３２３で囲まれている。図９に示した強調表示画像１０２では、マーク３２４及び矢印３２５を１つの対象物とみなすことができる。

＊＊＊効果の説明＊＊＊
本実施の形態では、対象物の間の現在の距離Ｄｃに関わらず、対象物の間の将来の距離Ｄｆに基づいて、対象物がグループに分類される。このため、本実施の形態によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することが可能となる。

図６の例では、４人の人間３０１〜３０４のうち、１人の人間３０１が走り出す姿勢をとっている。そのため、画像処理装置１２０は、１人の人間３０１と残りの３人の人間３０２〜３０４との間の現在の距離Ｄｃは小さいが、将来の距離Ｄｆは大きくなると予測する。画像処理装置１２０は、１人の人間３０１と残りの３人の人間３０２〜３０４とを別々の枠３０５，３０６で囲んだ強調表示画像１０２を生成する。この強調表示画像１０２を見た運転者は、少なくとも人間３０１が走り出した瞬間から、人間３０１を残りの３人の人間３０２〜３０４とは別に視認することができる。したがって、運転者が、走り出す人間３０１に注意を向けやすくなり、安全運転が可能となる。

本実施の形態では、さらに、対象物の間の関係性によって対象物がグループに分類される。このため、本実施の形態によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを、より適切に分類することが可能となる。

図７の例では、人間３１１が自動車３１２に向かっている。そのため、画像処理装置１２０は、人間３１１と自動車３１２との間の現在の距離Ｄｃは大きいが、将来の距離Ｄｆは小さくなると予測する。画像処理装置１２０は、人間３１１と自動車３１２との間に、自動車３１２及びその自動車３１２に乗る人間３１１という関係性があると推定する。画像処理装置１２０は、人間３１１と自動車３１２とをまとめて１つの枠３１３で囲んだ強調表示画像１０２を生成する。この強調表示画像１０２を見た運転者は、人間３１１が自動車３１２に乗り込む前から、人間３１１と自動車３１２とをまとめて視認することができる。したがって、運転者が、他の物にも注意を向けやすくなり、対象物と対象物との間の領域についても注意すべき領域として認識でき、安全運転が可能となる。

実施の形態２．
本実施の形態について、主に実施の形態１との差異を説明する。

以下では、本実施の形態に係るシステムの構成、本実施の形態に係るシステムの動作、本実施の形態の効果を順番に説明する。

＊＊＊構成の説明＊＊＊
本実施の形態に係る車載表示システム１００の構成は、図１に示した実施の形態１のものと同じである。

本実施の形態において、画像処理装置１２０の抽出部１２１は、人間については、対象物の種別が子供であるかどうかを判定する。抽出部１２１は、種別が子供又は動物であると判定した対象物の動きの変化量Ｍａを算出する。

抽出部１２１は、人間については、さらに、対象物の種別が自動車の運転席から出てきた人間であるかどうか、及び、対象物の種別が自動車の後部座席から出てきた人間であるかどうかを判定する。

本実施の形態において、画像処理装置１２０の分類部１２３は、抽出部１２１により抽出された複数の対象物に、抽出部１２１により種別が人間であると判定された第１対象物と、抽出部１２１により種別が子供又は動物であると判定された第２対象物とが含まれ、抽出部１２１により算出された第２対象物の動きの変化量Ｍａが他の閾値Ｔｅより大きい場合に、第１対象物と第２対象物とを異なるグループに分類する。なお、第１対象物は、抽出部１２１により種別が子供でないと判定された対象物でもよいし、抽出部１２１により種別が子供であると判定された対象物でもよい。

本実施の形態において、画像処理装置１２０の処理部１２４は、分類部１２３により過去に同じグループに分類されていた２つ以上の対象物のうち、少なくとも１つの対象物が分類部１２３により残りの対象物と異なるグループに分類された場合に、強調表示画像１０２における強調表示の形式として当該少なくとも１つの対象物と当該残りの対象物とで異なる形式を用いる。例えば、これまでグループＡに含まれていた対象物がグループＡから離れて独自のグループＢを形成するとき、グループＡに属する対象物をこれまでと同じ太さ及び色の枠で囲み、グループＢに属する対象物をグループＡより太いか又はグループＡと異なる色の枠で囲むことが考えられる。或いは、グループＢに属する対象物をこれまでグループＡを囲んでいた枠と同じ太さ及び色の枠で囲み、グループＡに属する対象物をグループＢより太いか又はグループＢと異なる色の枠で囲むことが考えられる。前者の場合は、グループＢに属する対象物に対する注意を、より強く喚起できる。後者の場合は、グループＡに属する対象物に対する注意を、より強く喚起できる。

＊＊＊動作の説明＊＊＊
以下、本実施の形態に係る表示方法に相当する、車載表示システム１００の動作について、図２を用いて説明する。

図２のＳ１１については、実施の形態１のものと同じである。

図２のＳ１２において、抽出部１２１は、種別が子供又は動物であると判定した対象物ごとに、同じ対象物が過去から継続して抽出されていたかどうかを、Ｓ１２で抽出された特徴量と抽出部１２１により過去に抽出された特徴量との比較によって判断する。抽出部１２１は、同じ対象物が過去から継続して抽出されていたと判断した場合、相対位置及び速度の履歴から、対象物の動きの変化量Ｍａを算出する。なお、抽出部１２１は、相対位置及び速度の履歴の代わりに、対象物のオプティカルフローを計算し、計算結果から、対象物の動きの変化量Ｍａを算出してもよい。図示していないが、抽出部１２１によりデータ記憶装置１３０に書き込まれる対象物データ１３１には、抽出部１２１により算出された動きの変化量Ｍａも記録される。

図２のＳ１２における抽出部１２１の他の動作については、実施の形態１のものと同じである。

図２のＳ１３及びＳ１４については、実施の形態１のものと同じである。ただし、本実施の形態では、関係性テーブル１３２の構成が実施の形態１と異なる。

図１０は、関係性テーブル１３２の例を示す表である。

図１０に示すように、関係性テーブル１３２では、「第１対象物」及び「第２対象物」である２つの対象物の種別の組み合わせごとに、図５に示したものと同じである「条件」と「関係性」とに加えて、グルーピングが解除された場合に「第１対象物と「第２対象物」とのうち、どちらの対象物を、より強く強調表示するかを示す「解除後強調対象物」が定義されている。「グルーピングが解除された場合」とは、同じグループに分類されていた２つの対象物が異なるグループに分類される場合のことをいう。

例えば、人間と自動車との組み合わせに対しては、人間が自動車の運転席から出てきたという条件Ｃ６が満たされた場合に、人間を、より強く強調表示すること、及び、人間が自動車の後部座席から出てきたという条件Ｃ７が満たされた場合に、自動車を、より強く強調表示することが定義されている。

人間と動物との組み合わせに対しては、人間と動物との間の将来の距離Ｄｆが閾値Ｔａより小さいという条件Ｃ８が満たされた場合に、動物及びその動物を連れている人間という関係性があると推定すべきこと、及び、動物の動きの変化量Ｍａが閾値Ｔｅより大きいという条件Ｃ９が満たされた場合に、動物を、より強く強調表示することが定義されている。

なお、ある２つの対象物の種別の組み合わせに対して定義されている複数の条件が同時に満たされる場合に、それら複数の条件の中に、関係性があると推定される条件と、関係性がないと推定される条件とが混じっているときは、関係性がないと推定される条件が優先される。例えば、人間と動物との組み合わせに対して、条件Ｃ８と条件Ｃ９との両方が満たされているとしても、条件Ｃ９が優先され、人間と動物とが異なるグループに分類される。関係性がないと推定される２つ以上の条件が同時に満たされる場合には、例えば、それぞれの条件について予め設定された優先順位に従うものとする。

例えば、人間が動物を連れて歩いていたとする。人間が第１対象物であり、動物が第２対象物であり、図２のＳ１３で予測される人間と動物との間の将来の距離Ｄｆが閾値Ｔａより小さい場合、前述した条件Ｃ８が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ８が満たされた場合には、動物及びその動物を連れている人間という関係性があると推定できる。よって、図４のＳ２４において、分類部１２３は、人間と動物とを同じグループに分類する。

その後、動物が突発的な動作を頻繁にしたとする。図２のＳ１２で算出された動物の動きの変化量Ｍａが閾値Ｔｅより大きくなった場合、条件Ｃ８よりも優先度の高い条件Ｃ９が満たされる。分類部１２３は、関係性テーブル１３２を参照することで、条件Ｃ９が満たされた場合には、特定の関係性がないと推定できる。よって、図４のＳ２４において、分類部１２３は、人間と動物とを異なるグループに分類する。なお、分類部１２３は、条件Ｃ９が満たされた場合には、人間及び人間が連れている危険な動物という関係性を推定することで、人間と動物とを異なるグループに分類している、と考えてもよい。

上記のように、分類部１２３は、関係性テーブル１３２で定義された、関係性がないと推定される条件が満たされた場合に、グルーピングを解除する。

図２のＳ１５において、処理部１２４は、Ｓ１１で得られた撮影画像１０１を加工して強調表示画像１０２を生成する。Ｓ１４で同じグループに分類されていた２つ以上の対象物のうち、少なくとも１つの対象物がＳ１４で残りの対象物と異なるグループに分類された場合、処理部１２４は、データ記憶装置１３０に記憶された関係性テーブル１３２を参照して、いずれか一方のグループに分類された対象物を、他方のグループに分類された対象物よりも強く強調表示した画像を強調表示画像１０２として生成する。

＊＊＊効果の説明＊＊＊
本実施の形態では、過去に同じグループに分類されていた２つ以上の対象物のうち、少なくとも１つの対象物が残りの対象物と異なるグループに分類された場合に、強調表示の形式として当該少なくとも１つの対象物と当該残りの対象物とで異なる形式が用いられる。このため、本実施の形態によれば、他の対象物とまとめて視認していた対象物が個別に視認すべき対象物に変わったことを明示することが可能となる。

例えば、大人と一緒に歩いている子供、又は、飼い主に連れられている動物が暴れ出したときは、子供又は動物に注意する必要がある。本実施の形態では、そのような場合、グルーピングを解除して子供又は動物に注意を向けやすくすることができる。

人間が自動車から降りてきたときも、人間又は自動車に注意する必要がある。本実施の形態では、そのような場合、グルーピングを解除して人間又は自動車に注意を向けやすくすることができる。

図１１は、本発明の実施の形態に係る車載表示システム１００のハードウェア構成の例を示す図である。

図１１において、車載表示システム１００は、コンピュータであり、出力装置９１０、入力装置９２０、記憶装置９３０、処理装置９４０といったハードウェアを備える。ハードウェアは、抽出部１２１と、予測部１２２と、分類部１２３と、処理部１２４といった画像処理装置１２０の各部によって利用される。

出力装置９１０は、例えば、表示装置１４０、プリンタ、通信モジュールである。出力装置９１０は、画像処理装置１２０の各部によってデータ、情報、信号の出力又は送信のために利用される。

入力装置９２０は、例えば、撮像装置１１０、キーボード、マウス、タッチパネル、通信モジュールである。入力装置９２０は、画像処理装置１２０の各部によってデータ、情報、信号の入力又は受信のために利用される。

記憶装置９３０は、例えば、データ記憶装置１３０、ＲＯＭ（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）、ＨＤＤ、ＳＳＤである。記憶装置９３０には、プログラム９３１、ファイル９３２が記憶される。プログラム９３１には、画像処理装置１２０の各部の処理を実行するプログラムが含まれる。ファイル９３２には、画像処理装置１２０の各部によって演算、加工、読み取り、書き込み、利用、入力、出力等が行われるデータ、情報、信号等が含まれる。例えば、データ記憶装置１３０に記憶されるファイル９３２には、対象物データ１３１と、関係性テーブル１３２とが含まれる。

処理装置９４０は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）である。処理装置９４０は、バス等を介して他のハードウェアデバイスと接続され、それらのハードウェアデバイスを制御する。処理装置９４０は、記憶装置９３０からプログラム９３１を読み出し、プログラム９３１を実行する。処理装置９４０は、画像処理装置１２０の各部によって演算、加工、読み取り、書き込み、利用、入力、出力等を行うために利用される。なお、複数の処理装置９４０が連携してプログラム９３１を実行してもよい。例えば、撮影画像１０１を強調表示画像１０２に加工する処理部１２４の処理をＧＰＵが実行し、その他の抽出部１２１と予測部１２２と分類部１２３の処理をＣＰＵが実行するようにしてもよい。

画像処理装置１２０の各部は、「部」を「回路」、「装置」、「機器」に読み替えたものであってもよい。また、画像処理装置１２０の各部は、「部」を「工程」、「手順」、「処理」に読み替えたものであってもよい。即ち、画像処理装置１２０の各部は、ソフトウェアのみ、ハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせで実現される。ソフトウェアは、プログラム９３１として、記憶装置９３０に予め記憶されていてもよいし、インターネット等のネットワークからダウンロードされて記憶装置９３０に記憶されてもよいし、着脱可能な記録媒体から移動又はコピーされて記憶装置９３０に記憶されてもよい。プログラム９３１は、画像処理装置１２０の各部としてコンピュータを機能させるものである。或いは、プログラム９３１は、画像処理装置１２０の各部の処理をコンピュータに実行させるものである。ハードウェアは、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ・Ｓｐｅｃｉｆｉｃ・Ｉｎｔｅｇｒａｔｅｄ・Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ・Ｐｒｏｇｒａｍｍａｂｌｅ・Ｇａｔｅ・Ａｒｒａｙ）といった集積回路であってもよいし、ディスクリート素子の組み合わせであってもよい。

以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、いくつかを組み合わせて実施しても構わない。或いは、これらの実施の形態のうち、いずれか１つ又はいくつかを部分的に実施しても構わない。例えば、これらの実施の形態の説明において「部」として説明するもののうち、いずれか１つのみを採用してもよいし、いくつかの任意の組み合わせを採用してもよい。なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

１００ 車載表示システム、１０１ 撮影画像、１０２ 強調表示画像、１１０ 撮像装置、１２０ 画像処理装置、１２１ 抽出部、１２２ 予測部、１２３ 分類部、１２４ 処理部、１３０ データ記憶装置、１３１ 対象物データ、１３２ 関係性テーブル、１４０ 表示装置、１４１ 入力部、１４２ 出力部、２００ 車両、３０１〜３０４ 人間、３０５，３０６ 枠、３１１ 人間、３１２ 自動車、３１３ 枠、３２１，３２２ 自転車、３２３ 枠、３２４ マーク、３２５ 矢印、９１０ 出力装置、９２０ 入力装置、９３０ 記憶装置、９３１ プログラム、９３２ ファイル、９４０ 処理装置。

Claims (15)

1. 移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出部と、
   前記抽出部により抽出された複数の対象物の間の将来の距離を予測する予測部と、
   前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類する分類部と、
   前記撮影画像を、前記分類部により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する処理部と
   を備える画像処理装置。
2. 前記分類部は、前記抽出部により抽出された複数の対象物のうち、前記予測部により予測された互いの間の将来の距離が閾値より大きい対象物を異なるグループに分類する、請求項１に記載の画像処理装置。
3. 前記分類部は、前記抽出部により抽出された複数の対象物のうち、前記予測部により予測された互いの間の将来の距離が閾値より小さい対象物を同じグループに分類する、請求項１に記載の画像処理装置。
4. 前記抽出部は、抽出した複数の対象物のそれぞれの種別を判定し、
   前記分類部は、前記予測部により予測された将来の距離と前記抽出部により判定された種別とに基づいて、前記抽出部により抽出された複数の対象物の間の関係性を推定し、推定した関係性によって当該複数の対象物をグループに分類する、請求項１に記載の画像処理装置。
5. 前記抽出部は、種別が車両であると判定した対象物の現在の速度を推定し、
   前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が人間であると判定された第１対象物と、前記抽出部により種別が車両であると判定された第２対象物とが含まれ、前記予測部により予測された前記第１対象物と前記第２対象物との間の将来の距離が閾値より小さく、前記抽出部により推定された前記第２対象物の現在の速度の大きさが０である場合に、前記第１対象物と前記第２対象物とを同じグループに分類する、請求項４に記載の画像処理装置。
6. 前記抽出部は、抽出した複数の対象物の間の現在の距離を算出するとともに、種別が移動する対象物であると判定した対象物の現在の速度を推定し、
   前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が移動する対象物であると判定された第１対象物と第２対象物とが存在し、前記抽出部により算出された前記第１対象物と前記第２対象物との間の現在の距離と、前記予測部により予測された前記第１対象物と前記第２対象物との間の将来の距離との差が閾値より小さく、前記抽出部により推定された前記第１対象物と前記第２対象物との現在の速度の大きさが０より大きく、前記抽出部により推定された前記第１対象物と前記第２対象物との現在の速度の大きさの差が他の閾値より小さい場合に、前記第１対象物と前記第２対象物とを同じグループに分類する、請求項４に記載の画像処理装置。
7. 前記第１対象物及び前記第２対象物は、前記抽出部により種別が自転車であると判定された対象物である、請求項６に記載の画像処理装置。
8. 前記抽出部は、種別が子供又は動物であると判定した対象物の動きの変化量を算出し、
   前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が人間であると判定された第１対象物と、前記抽出部により種別が子供又は動物であると判定された第２対象物とが含まれ、前記抽出部により算出された前記第２対象物の動きの変化量が閾値より大きい場合に、前記第１対象物と前記第２対象物とを異なるグループに分類する、請求項４に記載の画像処理装置。
9. 前記処理部は、前記分類部により過去に同じグループに分類されていた２つ以上の対象物のうち、少なくとも１つの対象物が前記分類部により残りの対象物と異なるグループに分類された場合に、前記強調表示画像における強調表示の形式として当該少なくとも１つの対象物と当該残りの対象物とで異なる形式を用いる、請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記抽出部は、抽出した複数の対象物のそれぞれの種別を判定し、
    前記予測部は、前記抽出部により種別が人間であると判定された対象物の姿勢が走り出す姿勢であるかどうかを判断し、判断結果に基づいて、前記抽出部により種別が人間であると判定された対象物と前記抽出部により抽出された他の対象物との間の将来の距離を予測する、請求項１から３のいずれか１項に記載の画像処理装置。
11. 前記強調表示画像は、前記分類部により分類された複数の対象物をグループごとに１つの枠で囲んだ画像である、請求項１から１０のいずれか１項に記載の画像処理装置。
12. 請求項１から１１のいずれか１項に記載の画像処理装置と、
    車両に搭載され、前記車両の周辺を撮影して前記撮影画像を得る撮像装置と、
    前記車両に搭載され、前記強調表示画像を出力する表示装置と
    を備える車載表示システム。
13. 移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像が加工されて得られる強調表示画像であって、予測された当該複数の対象物の間の将来の距離に基づいてグループに分類された当該複数の対象物をグループごとに強調表示した強調表示画像が入力される入力部と、
    前記入力部に入力された強調表示画像を出力する出力部と
    を備える表示装置。
14. 抽出部が、移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出し、
    予測部が、前記抽出部により抽出された複数の対象物の間の将来の距離を予測し、
    分類部が、前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類し、
    処理部が、前記撮影画像を、前記分類部によりグループに分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する画像処理方法。
15. コンピュータに、
    移動する対象物を少なくとも１つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出処理と、
    前記抽出処理により抽出された複数の対象物の間の将来の距離を予測する予測処理と、
    前記予測処理により予測された将来の距離に基づいて、前記抽出処理により抽出された複数の対象物をグループに分類する分類処理と、
    前記撮影画像を、前記分類処理により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する画像処理と
    を実行させる画像処理プログラム。

Images