JP6227165B2 - 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム - Google Patents

画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP6227165B2
JP6227165B2 JP2016563338A JP2016563338A JP6227165B2 JP 6227165 B2 JP6227165 B2 JP 6227165B2 JP 2016563338 A JP2016563338 A JP 2016563338A JP 2016563338 A JP2016563338 A JP 2016563338A JP 6227165 B2 JP6227165 B2 JP 6227165B2
Authority
JP
Japan
Prior art keywords
objects
unit
extraction unit
image
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016563338A
Other languages
English (en)
Other versions
JPWO2016092650A1 (ja
Inventor
諒介 佐々木
諒介 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2016092650A1 publication Critical patent/JPWO2016092650A1/ja
Application granted granted Critical
Publication of JP6227165B2 publication Critical patent/JP6227165B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラムに関するものである。
従来、運転者の視認状態を走行情報として提供することで運転を支援する走行情報提供装置がある(例えば、特許文献1参照)。この走行情報提供装置は、車両の周辺の対象物を、対象物の属性によりいくつかのグループに分類し、それぞれのグループを異なる色で表示する。対象物としては、他の車両、歩行者、標識、信号、横断歩道等がある。対象物の「属性」とは、例えば、対象物の種別及び距離のことである。
国際公開第2008/029802号
従来の走行情報提供装置は、車両の周辺の対象物のうち、種別が同じであり、互いの間の現在の距離が閾値以下である対象物を同じグループに分類する。対象物のグルーピングの際に、対象物の間の将来の距離は考慮されない。
例えば、互いに接近して立っている4人の歩行者のうち、1人の歩行者が走り出す姿勢をとっていたとする。この場合、走り出そうとしている歩行者と残りの3人の歩行者との間の現在の距離は小さいが、将来の距離は大きくなると考えられる。しかし、従来の走行情報提供装置は、4人の歩行者を同じグループとして表示する。そのため、運転者は、走り出そうとしている歩行者と残りの3人の歩行者とを別々に視認しにくい。その結果、歩行者が実際に走り出した際に、運転者が、その歩行者に気づくのが遅れてしまい、安全運転に支障をきたすことになる。
上記のように、対象物の間の現在の距離が閾値以下でも、対象物の間の将来の距離によっては、対象物を別々に視認すべき場合がある。しかし、従来の技術では、そのような場合に適したグルーピングができないという課題があった。
本発明は、例えば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することを目的とする。
本発明の一の態様に係る画像処理装置は、
移動する対象物を少なくとも1つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出部と、
前記抽出部により抽出された複数の対象物の間の将来の距離を予測する予測部と、
前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類する分類部と、
前記撮影画像を、前記分類部により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する処理部とを備える。
本発明では、対象物の間の現在の距離に関わらず、対象物の間の将来の距離に基づいて、対象物がグループに分類される。このため、本発明によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することが可能となる。
実施の形態1に係る車載表示システムの構成を示すブロック図。 実施の形態1に係る車載表示システムの動作を示すフローチャート。 実施の形態1に係る対象物データの例を示す表。 実施の形態1に係る分類処理の手順を示すフローチャート。 実施の形態1に係る関係性テーブルの例を示す表。 実施の形態1に係る強調表示画像の例を示す図。 実施の形態1に係る強調表示画像の例を示す図。 実施の形態1に係る強調表示画像の例を示す図。 実施の形態1に係る強調表示画像の例を示す図。 実施の形態2に係る関係性テーブルの例を示す表。 本発明の実施の形態に係る車載表示システムのハードウェア構成の例を示す図。
以下、本発明の実施の形態について、図を用いて説明する。なお、各図中、同一又は相当する部分には、同一符号を付している。実施の形態の説明において、同一又は相当する部分については、その説明を適宜省略又は簡略化する。
実施の形態1.
まず、本実施の形態の概要について説明する。
本実施の形態では、撮影される対象物が、対象物の間の現在の距離に関わらず、対象物の間の将来の距離に基づいて、いくつかのグループに分類され、グループごとに強調表示される。即ち、対象物のグルーピングの際に、対象物の間の将来の距離が考慮される。「強調表示」とは、ある画像に映っている対象物を枠で囲ったり、色づけしたりして、その画像内で対象物を視認しやすくすることである。対象物としては、車両、人間、動物といった移動する対象物と、標識、信号、横断歩道といった移動しない対象物とがある。車両としては、自動車、自動二輪車、自転車等がある。対象物は、属性を有する。「属性」とは、例えば、対象物の種別及び距離及び速度のことである。属性の一種である「種別」とは、対象物の現在の状態に関わらず、対象物を区分することができる特性又は種類のことである。例えば、対象物が現在移動していなくても、移動する能力を持っていれば、その対象物の種別は、移動する対象物である。種別には階層があると考えることができる。例えば、移動する対象物の下層には、車両、人間、動物といった下位の種別がある。車両の下層には、自動車、自動二輪車、自転車等のさらに下位の種別がある。属性の一種である「距離」とは、前述した「対象物の間の現在の距離」及び「対象物の間の将来の距離」のことではなく、対象物が撮影された地点から対象物までの距離のことである。
例えば、互いに接近して立っている4人の人間のうち、1人の人間が走り出す姿勢をとっていたとする。この場合、走り出そうとしている人間と残りの3人の人間との間の現在の距離は小さいが、将来の距離は大きくなると考えられる。仮に4人の人間が同じグループとしてまとめて強調表示された場合、走り出そうとしている人間と残りの3人の人間とを別々に視認することは難しい。本実施の形態では、4人の人間の間の将来の距離が考慮され、走り出そうとしている人間と残りの3人の人間とが異なるグループに分類される。そして、4人の人間を撮影した画像が、1人の人間を1つのグループとして強調表示し、残りの3人の人間を別のグループとしてまとめて強調表示した画像に加工される。そのため、加工された画像を見た者は、走り出そうとしている人間と残りの3人の人間とを別々に視認しやすい。
本実施の形態では、対象物のグルーピングの際に、対象物の間の関係性も考慮される。
例えば、停まっている1台の車両から離れた位置で、1人の人間が、その車両に向かっていたとする。この場合、停まっている車両と車両に向かっている人間との間の現在の距離は大きいが、将来の距離は0になると考えられる。また、停まっている車両と車両に向かっている人間との間には、車両及びその車両に乗る人間という関係性があると考えられる。仮に1台の車両と1人の人間とが異なるグループとして別々に強調表示された場合、停まっている車両と車両に向かっている人間とをまとめて視認することは難しい。しかし、このような場合は、両方をまとめて視認できたほうが効率的である。本実施の形態では、1台の車両と1人の人間との間の関係性が考慮され、停まっている車両と車両に向かっている人間とが同じグループに分類される。そして、1台の車両と1人の人間とを撮影した画像が、1台の車両と1人の人間とを1つのグループとしてまとめて強調表示した画像に加工される。そのため、加工された画像を見た者は、停まっている車両と車両に向かっている人間とをまとめて視認しやすくなる。
例えば、本実施の形態は、運転の支援に適用することができる。本実施の形態では、車両の周辺にある対象物の移動予測の結果、又は、対象物間の関係性の推定の結果に基づくグルーピングによって、車両の周辺状況に関し、視認性の高い表示が可能となる。よって、運転者の安全確認に資することができる。
次に、本実施の形態の詳細として、本実施の形態に係るシステムの構成、本実施の形態に係るシステムの動作、本実施の形態の効果を順番に説明する。
***構成の説明***
図1は、本実施の形態に係る車載表示システム100の構成を示すブロック図である。
図1に示すように、車載表示システム100は、撮像装置110と、画像処理装置120と、データ記憶装置130と、表示装置140とを備える。
撮像装置110は、例えば、ステレオカメラ又はレーダである。撮像装置110は、車両200に搭載される。撮像装置110は、車両200の周辺を撮影して撮影画像101を得る。撮影画像101は、移動する対象物を少なくとも1つ含む複数の対象物を撮影した画像である。
画像処理装置120は、例えば、コンピュータである。画像処理装置120は、車両200に搭載されてもよいし、運転者によって車両200に持ち込まれてもよいし、車両200の外部に設置されてもよい。画像処理装置120は、抽出部121と、予測部122と、分類部123と、処理部124とを備える。
抽出部121は、撮像装置110から撮影画像101を取得する。抽出部121は、取得した撮影画像101から複数の対象物を抽出する。前述したように、複数の対象物には、移動する対象物が少なくとも1つ含まれる。
抽出部121は、抽出した複数の対象物について、主に、以下の3つの処理を行う。
第1の処理として、抽出部121は、抽出した複数の対象物の間の現在の距離Dcを算出する。「現在」とは、具体的には、撮像装置110により撮影画像101が撮影された時点のことである。「複数の対象物の間の現在の距離」とは、2つの対象物がある場合には、当該2つの対象物の一方と他方との間の現在の距離のことであり、3つ以上の対象物がある場合には、当該3つ以上の対象物のそれぞれと他の対象物との間の現在の距離のことである。
第2の処理として、抽出部121は、抽出した複数の対象物のそれぞれの種別を判定する。例えば、抽出部121は、対象物の種別が移動する対象物なのか、それとも移動しない対象物なのかを判定する。本実施の形態では、抽出部121は、移動する対象物については、対象物の種別が車両であるか、人間であるか、それとも動物であるかを判定する。さらに、抽出部121は、車両については、対象物の種別が自動車であるか、自動二輪車であるか、それとも自転車であるかを判定する。
第3の処理として、抽出部121は、種別が移動する対象物であると判定した対象物の現在の速度Vcを推定する。例えば、抽出部121は、種別が車両又は人間であると判定した対象物の現在の速度Vcを推定する。
予測部122は、抽出部121により抽出された複数の対象物の間の将来の距離Dfを予測する。「将来」とは、具体的には、現在から数秒又は数十秒又は数分後の時点のことである。「複数の対象物の間の将来の距離」とは、2つの対象物がある場合には、当該2つの対象物の一方と他方との間の将来の距離のことであり、3つ以上の対象物がある場合には、当該3つ以上の対象物のそれぞれと他の対象物との間の将来の距離のことである。例えば、予測部122は、抽出部121により種別が移動する対象物であると判定された対象物の過去の挙動から、その対象物の移動予測を行い、移動予測の結果に基づいて、移動後の対象物と他の対象物との間の距離を将来の距離Dfとして算出する。「過去の挙動」とは、対象物が抽出部121により最初に抽出されてから、抽出部121により得られた情報を時刻ごとにまとめたデータであり、後述する対象物データ131に相当する。
移動予測の処理の一種として、予測部122は、抽出部121により種別が人間であると判定された対象物の姿勢が走り出す姿勢であるかどうかを判断する。予測部122は、判断結果に基づいて、抽出部121により種別が人間であると判定された対象物と抽出部121により抽出された他の対象物との間の将来の距離Dfを予測する。
分類部123は、予測部122により予測された将来の距離Dfに基づいて、抽出部121により抽出された複数の対象物をグループに分類する。即ち、分類部123は、抽出部121により抽出された複数の対象物のうち、予測部122により予測された互いの間の将来の距離Dfが閾値Taより大きい対象物を異なるグループに分類する。分類部123は、抽出部121により抽出された複数の対象物のうち、予測部122により予測された互いの間の将来の距離Dfが閾値Taより小さい対象物を同じグループに分類する。分類部123は、抽出部121により抽出された複数の対象物のうち、予測部122により予測された互いの間の将来の距離Dfが閾値Taと同じ対象物については、同じグループに分類してもよいし、異なるグループに分類してもよい。
本実施の形態では、分類部123は、さらに、予測部122により予測された将来の距離Dfと抽出部121により判定された種別とに基づいて、抽出部121により抽出された複数の対象物の間の関係性を推定する。分類部123は、推定した関係性によって当該複数の対象物をグループに分類する。例えば、分類部123は、2つの対象物の間に、以下の2種類のいずれかの関係性があることを推定したときに、当該2つの対象物を同じグループに分類する。
第1の種類の関係性として、分類部123は、2つの対象物の間に、一方の対象物に他方の対象物が近づくという関係性があることを推定したときに、当該2つの対象物を同じグループに分類する。例えば、分類部123は、抽出部121により抽出された複数の対象物に、抽出部121により種別が人間であると判定された第1対象物と、抽出部121により種別が車両であると判定された第2対象物とが含まれ、予測部122により予測された第1対象物と第2対象物との間の将来の距離Dfが閾値Taより小さく、抽出部121により推定された第2対象物の現在の速度Vc2の大きさが0である場合に、第1対象物と第2対象物との間に、車両及びその車両に乗る人間という関係性があることを推定する。即ち、分類部123は、人間である第1対象物と車両である第2対象物との組み合わせについて、Df<TaかつVc2=0という条件が成立した場合に、第1対象物と第2対象物とを同じグループに分類する。ここでいう「車両」には、自動車及び自転車の両方が含まれる。また、例えば、分類部123は、抽出部121により抽出された複数の対象物に、抽出部121によりそれぞれ種別が人間であると判定された第1対象物と第2対象物とが含まれ、予測部122により予測された第1対象物と第2対象物との間の将来の距離Dfが閾値Taより小さい場合に、第1対象物と第2対象物との間に、近づく人間同士という関係性があることを推定する。即ち、分類部123は、それぞれ人間である第1対象物と第2対象物との組み合わせについて、Df<Taという条件が成立した場合に、第1対象物と第2対象物とを同じグループに分類する。
第2の種類の関係性として、分類部123は、2つの対象物の間に、列をなして移動する対象物という関係性があることを推定したときに、当該2つの対象物を同じグループに分類する。具体的には、分類部123は、抽出部121により抽出された複数の対象物に、抽出部121により種別が移動する対象物であると判定された第1対象物と第2対象物とが存在し、次の条件が成立した場合に、第1対象物と第2対象物との間に、列をなして移動する対象物という関係性があることを推定する。1つ目の条件は、抽出部121により算出された第1対象物と第2対象物との間の現在の距離Dcと、予測部122により予測された第1対象物と第2対象物との間の将来の距離Dfとの差が閾値Tbより小さいという条件である。2つ目の条件は、抽出部121により推定された第1対象物と第2対象物の現在の速度Vc1,Vc2の大きさが0より大きいという条件である。3つ目の条件は、速度Vc1,Vc2の大きさの差が他の閾値Tcより小さいという条件である。即ち、分類部123は、それぞれ移動する対象物である第1対象物と第2対象物との組み合わせについて、|Dc−Df|<Tbかつ|Vc1|>0かつ|Vc2|>0かつ|Vc1−Vc2|<Tcという条件が成立した場合に、第1対象物と第2対象物とを同じグループに分類する。この場合の第1対象物及び第2対象物は、例えば、抽出部121により種別が自転車であると判定された対象物である。その場合、分類部123により推定される関係性は、列をなして走る自転車という関係性である。なお、「差」は、絶対値であるとする。また、速度Vc1,Vc2は、方向を含むベクトルとする。分類部123は、速度Vc1,Vc2のなす角を用いて関係性を推定してもよい。具体的には、分類部123は、上記2つ目の条件と、上記3つ目の条件と、速度Vc1,Vc2のなす角が他の閾値Tdより小さいという条件が成立した場合に、第1対象物と第2対象物との間に、列をなして移動する対象物という関係性があることを推定する。即ち、分類部123は、それぞれ移動する対象物である第1対象物と第2対象物との組み合わせについて、|Vc1|>0かつ|Vc2|>0かつ|Vc1−Vc2|<Tcかつ「Vc1,Vc2のなす角」<Tdという条件が成立した場合に、第1対象物と第2対象物とを同じグループに分類する。このような条件を用いても、結果的には、抽出部121により算出された第1対象物と第2対象物との間の現在の距離Dcと、予測部122により予測された第1対象物と第2対象物との間の将来の距離Dfとの差に基づいて複数の対象物を同じグループに分類したことになる。
分類部123は、上記の2種類以外にも、様々な関係性を推定してよい。
処理部124は、撮影画像101を強調表示画像102に加工する。強調表示画像102は、分類部123により分類された複数の対象物をグループごとに強調表示した画像である。例えば、強調表示画像102は、分類部123により分類された複数の対象物をグループごとに1つの枠で囲んだ画像である。処理部124は、強調表示画像102を表示装置140に入力する。
データ記憶装置130は、例えば、HDD(Hard・Disk・Drive)又はSSD(Solid・State・Drive)である。データ記憶装置130は、車両200に搭載されてもよいし、運転者によって車両200に持ち込まれてもよいし、車両200の外部に設置されてもよい。データ記憶装置130は、対象物データ131と、関係性テーブル132とを記憶する。対象物データ131は、画像処理装置120の抽出部121により抽出された複数の対象物のそれぞれについて、抽出部121の算出結果、判定結果、推定結果等を記録したデータである。対象物データ131は、画像処理装置120の予測部122により参照される。関係性テーブル132は、互いの間に関係性がある対象物の種別の組み合わせを予め定義したテーブルである。関係性テーブル132は、画像処理装置120の分類部123により参照される。
表示装置140は、例えば、LCD(Liquid・Crystal・Display)又はHUD(Head−Up・Display)である。表示装置140は、車両200に搭載される。表示装置140は、画像処理装置120の処理部124により入力される強調表示画像102を出力する。表示装置140は、入力部141と、出力部142とを備える。
入力部141は、画像処理装置120の処理部124から強調表示画像102の入力を受ける。即ち、入力部141には、強調表示画像102が入力される。
出力部142は、入力部141に入力された強調表示画像102を出力する。
前述したように、強調表示画像102は、移動する対象物を少なくとも1つ含む複数の対象物を撮影した撮影画像101が加工されて得られる画像であって、予測された当該複数の対象物の間の将来の距離Dfに基づいてグループに分類された当該複数の対象物をグループごとに強調表示した画像である。本実施の形態では、対象物のグルーピングの際に、対象物の間の将来の距離Dfが考慮されている。そのため、対象物の間の将来の距離Dfが考慮されない場合と比較して、より適切なグルーピングが行われている。即ち、対象物の間の現在の距離Dcが小さくても、対象物の間の将来の距離Dfが大きくなると予測される場合、強調表示画像102では、それらの対象物が別々に強調表示される。そのため、車両200の運転者は、それらの対象物を別々に視認しやすい。このように、本実施の形態では、対象物の間の将来の距離Dfに応じて、運転者が視認すべき単位ごとに対象物を強調表示することで、安全運転を支援することができる。
画像処理装置120と、データ記憶装置130と、表示装置140は、一体であってもよいし、いずれか2つが一体で他の1つが別体であってもよいし、1つ1つが別体であってもよい。例えば、表示装置140は、車両200に搭載されたナビゲーション装置又はDA(Display・Audio)又はHUDとして実装される。画像処理装置120は、スマートフォン、タブレット、携帯電話機といった携帯端末として実装される。或いは、画像処理装置120は、サーバコンピュータとして実装される。或いは、画像処理装置120は、表示装置140とともにナビゲーション装置として実装される。データ記憶装置130は、画像処理装置120とともに携帯端末又はサーバコンピュータとして実装される。或いは、データ記憶装置130は、表示装置140とともにナビゲーション装置として実装される。或いは、データ記憶装置130は、画像処理装置120及び表示装置140とは別体の記憶媒体として実装される。携帯端末は、運転者によって車両200に持ち込まれ、有線又は無線により撮像装置110及び表示装置140と通信を行う。サーバコンピュータは、データセンタ等に設置され、インターネット等のネットワークを介して撮像装置110及び表示装置140と通信を行う。
なお、本実施の形態に係るシステムは、車載表示システム100以外の表示システムであってもよい。即ち、本実施の形態は、車両200の運転の支援以外の用途に適用することができる。例えば、本実施の形態は、住宅、オフィス等のセキュリティ監視の支援にも適用することができる。その場合、撮像装置110及び表示装置140は車両200以外の場所に適宜設置される。
***動作の説明***
図2は、本実施の形態に係る表示方法に相当する、車載表示システム100の動作を示すフローチャートである。図3は、対象物データ131の例を示す表である。
図2のS11は、撮像処理である。図2のS12は、抽出処理である。図2のS13は、予測処理である。図2のS14は、分類処理である。図2のS15は、画像処理である。図2のS16は、表示処理である。S12〜S15は、本実施の形態に係る画像処理方法、或いは、本実施の形態に係る画像処理プログラムの処理手順に相当する、画像処理装置120の動作である。
図2のS11において、撮像装置110は、車両200の周辺を撮影して撮影画像101を得る。例えば、撮像装置110がステレオカメラであれば、撮影画像101は、車両200の周辺が映った三次元の静止画像又は動画像である。撮像装置110がレーダであれば、撮影画像101は、車両200の周辺の障害物までの距離を示すレーダ画像である。
図2のS12において、画像処理装置120の抽出部121は、S11で得られた撮影画像101から対象物を抽出する。抽出部121は、抽出した対象物の属性を判断する。
具体的には、抽出部121は、抽出した対象物ごとに、S11で得られた撮影画像101から対象物の特徴量を抽出する。例えば、データ記憶装置130には、対象物の種別ごとに、対象物の特徴量の基準値又は基準範囲が予め記憶されている。抽出部121は、ニューラルネットワーク、機械学習といったパターン認識の機能を持つソフトウェアである識別器を用いて、抽出した特徴量を基準値又は基準範囲と比較することで、抽出した対象物の種別を判定する。抽出部121は、現在の時刻と、抽出した特徴量と、判定した種別とを記録したデータを、図3に示す対象物データ131としてデータ記憶装置130に書き込む。
抽出部121は、抽出した対象物ごとに、S11で得られた撮影画像101から対象物の現在の相対位置を算出する。「現在の相対位置」とは、例えば、車両200から対象物までの現在の距離及び方向である。例えば、撮像装置110がステレオカメラであれば、抽出部121は、ステレオカメラの視差に基づいて、車両200から対象物までの距離及び方向を算出する。撮像装置110がレーダであれば、抽出部121は、レーダの観測値から距離及び方向を算出する。図3に示すように、対象物データ131には、抽出部121により算出された現在の相対位置も記録される。
抽出部121は、抽出した対象物ごとに、算出した現在の相対位置と他の対象物の現在の相対位置との差である現在の距離Dcを算出する。図3には示していないが、対象物データ131には、抽出部121により算出された現在の距離Dcも記録されてよい。
抽出部121は、抽出した対象物ごとに、同じ対象物を前回も抽出したかどうかを、今回抽出した特徴量と前回抽出した特徴量との比較によって判断する。抽出部121は、同じ対象物を前回も抽出したと判断した場合、算出した現在の相対位置と前回算出した相対位置とから、対象物の現在の速度Vcを推定する。例えば、抽出部121は、データ記憶装置130から、撮像装置110により撮影画像101が前回撮影された時刻と、今回抽出した特徴量に近い特徴量とを記録した対象物データ131を読み取る。今回抽出した特徴量と前回抽出した特徴量とが近いかどうかは、前述した識別器を用いて判断される。抽出部121は、読み取った対象物データ131に記録された相対位置と、今回算出した現在の相対位置と、読み取った対象物データ131に記録された時刻と、現在の時刻といった情報から、対象物の現在の速度Vcを算出する。車両200が走行したことにより車両200の位置が変化していた場合、抽出部121は、読み取った対象物データ131に記録された相対位置を、車両200の位置の変化に基づいて補正した上で、対象物の現在の速度Vcを算出する。なお、抽出部121は、現在の相対位置と前回の相対値とを参照するだけでなく、相対位置の一連の時系列データから、対象物の平均速度を算出してもよい。図3に示すように、対象物データ131には、抽出部121により推定された現在の速度Vcも記録される。
図2のS13において、画像処理装置120の予測部122は、S12で種別が移動する対象物であると判定された対象物ごとに、S12でデータ記憶装置130に書き込まれた対象物データ131及び過去に書き込まれた対象物データ131を参照して、対象物の移動予測を行う。移動予測には、例えば、カルマンフィルタ又はパーティクルフィルタを用いることができる。S12で判定された種別が人間である場合、予測部122は、姿勢推定により人間が走り出す姿勢になったかを判定し、将来の速度を予測する。姿勢推定の手法としては、例えば、前述した識別器を用いて、人間が走り出す姿勢とそうでない姿勢とを学習して姿勢を識別する手法を用いることができる。
具体的には、予測部122は、S12で種別が移動する対象物であると判定された対象物ごとに、同じ対象物が過去から継続して抽出されていたかどうかを、S12で抽出された特徴量と抽出部121により過去に抽出された特徴量との比較によって判断する。予測部122は、同じ対象物が過去から継続して抽出されていたと判断した場合、相対位置及び速度の履歴から、対象物の将来の相対位置を予測する。「将来の相対位置」とは、例えば、車両200から対象物までの将来の距離及び方向である。例えば、予測部122は、データ記憶装置130から、S12で抽出された特徴量に近い特徴量を記録した対象物データ131を読み取る。S12で抽出された特徴量と過去に抽出された特徴量とが近いかどうかは、前述した識別器を用いて判断される。予測部122は、読み取った対象物データ131に記録された相対位置及び速度及び時刻と、S12で算出された現在の相対位置、及び、S12で推定された速度、及び、現在の時刻とから、対象物の相対位置及び速度の時系列変化を分析する。車両200が走行したことにより車両200の位置が変化していた場合、予測部122は、読み取った対象物データ131に記録された相対位置を、車両200の位置の変化に基づいて補正した上で、対象物の相対位置及び速度の時系列変化を分析する。予測部122は、分析結果から対象物の将来の相対位置を予測する。
予測部122は、S12で種別が移動する対象物であると判定された対象物ごとに、予測した将来の相対位置と他の対象物の将来の相対位置との差である将来の距離Dfを算出する。
図2のS14において、画像処理装置120の分類部123は、S13で予測された将来の距離Dfに基づいて、S12で抽出された対象物をグループに分類する。即ち、分類部123は、S12で抽出された対象物ごとに、対象物が属するグループを決定する。S14の詳細については後述する。
図2のS15において、画像処理装置120の処理部124は、S11で得られた撮影画像101を加工して強調表示画像102を生成する。強調表示画像102は、S12で抽出された対象物をS14で決定されたグループごとに強調表示した画像である。例えば、強調表示画像102は、S12で抽出された対象物をS14で決定されたグループごとに1つの枠で囲んだ画像である。
図2のS16において、表示装置140は、S15で生成された強調表示画像102を出力する。
図2のS17において、車両200の運転が終了していれば、フローは終了する。車両200の運転が終了していなければ、フローはS11に戻る。車両200の運転の「終了」とは、例えば、車両200の駆動源であるエンジン又はモータの停止である。
図4は、図2のS14である分類処理の手順を示すフローチャートである。図5は、関係性テーブル132の例を示す表である。
図4のS21において、画像処理装置120の分類部123は、図2のS12で抽出された対象物のうち、任意の2つの対象物である第1対象物と第2対象物とを選択する。
図4のS22において、分類部123は、データ記憶装置130から、S21で選択した第1対象物と第2対象物とについて図2のS12でデータ記憶装置130に書き込まれた対象物データ131を参照して、第1対象物の種別と、第2対象物の種別とを特定する。即ち、分類部123は、S21で選択した第1対象物と第2対象物との種別の組み合わせを特定する。
図4のS23において、分類部123は、S22で特定した種別の組み合わせをデータ記憶装置130に記憶された関係性テーブル132で検索する。
図5に示すように、関係性テーブル132では、「第1対象物」及び「第2対象物」である2つの対象物の種別の組み合わせごとに、「条件」と、「条件」が満たされた場合に「第1対象物」と「第2対象物」との間に「関係性」があるかどうかが定義されている。ある「条件」が満たされたときに、その「条件」が満たされた場合には「関係性」があると定義されていれば、「第1対象物」と「第2対象物」とが同じグループに分類される。一方、ある「条件」が満たされたときに、その「条件」が満たされた場合には「関係性」がないと定義されていれば、「第1対象物」と「第2対象物」とが異なるグループに分類される。
例えば、人間と別の人間との組み合わせに対しては、人間と別の人間との間の将来の距離Dfが閾値Taより大きいという条件C1が満たされた場合に、特定の関係性がないと推定すべきことが定義されている。
人間と自動車との組み合わせに対しては、人間と自動車との間の将来の距離Dfが閾値Taより小さく、自動車の現在の速度Vc2の大きさが0であるという条件C2が満たされた場合に、自動車及びその自動車に乗る人間という関係性があると推定すべきことが定義されている。
人間と自転車との組み合わせに対しては、人間と自転車との間の将来の距離Dfが閾値Taより小さく、自転車の現在の速度Vc2の大きさが0であるという条件C3が満たされた場合に、自転車及びその自転車に乗る人間という関係性があると推定すべきことが定義されている。
自転車と別の自転車との組み合わせに対しては、自転車と別の自転車との間の現在の距離Dcと、自転車と別の自転車との間の将来の距離Dfとの差が閾値Tbより小さく、自転車と別の自転車との現在の速度Vc1,Vc2の大きさが0より大きく、自転車と別の自転車との現在の速度Vc1,Vc2の大きさの差が閾値Tcより小さいという条件C4が満たされた場合に、列をなして走る自転車という関係性があると推定すべきことが定義されている。
自動車と別の自動車との組み合わせに対しては、常に真であるという条件C5が満たされた場合に、特定の関係性がないと推定すべきことが定義されている。即ち、無条件で関係性がないと推定すべきことが定義されている。
図4のS24において、分類部123は、図2のS13で予測された第1対象物と第2対象物との間の将来の距離Dfが、S23で検索した種別の組み合わせに対して関係性テーブル132で定義されている条件を満たすかどうかを判定する。分類部123は、必要に応じて、さらに、図2のS12で算出された第1対象物と第2対象物との間の現在の距離Dcと、図2のS12で推定された第1対象物の現在の速度Vc1と、図2のS12で推定された第2対象物の現在の速度Vc2とのうちいずれか又は全てが、S23で検索した種別の組み合わせに対して関係性テーブル132で定義されている条件を満たすかどうかを判定する。分類部123は、条件が満たされていると判定した場合、その条件が満たされた場合に第1対象物と第2対象物との間に関係性があると関係性テーブル132で定義されているかどうかを判定する。関係性があると関係性テーブル132で定義されていた場合、分類部123は、第1対象物と第2対象物とを同じグループに分類する。一方、条件が満たされていないと分類部123が判定した場合、或いは、関係性がないと関係性テーブル132で定義されていた場合、分類部123は、第1対象物と第2対象物とを異なるグループに分類する。
図4のS25において、図2のS12で抽出された対象物から選択可能な2つの対象物の組み合わせがS21で全て選択済であれば、フローは終了する。未選択の2つの対象物の組み合わせがあれば、フローはS21に戻る。
図6から図9は、強調表示画像102の例を示す図である。
図6の例では、1人の人間301と3人の人間302〜304とが別々の枠305,306で囲まれている。
例えば、互いに接近して立っている4人の人間301〜304のうち、1人の人間301が走り出す姿勢をとっていたとする。この場合、1人の人間301と残りの3人の人間302〜304との間の現在の距離Dcは小さいが、将来の距離Dfは大きくなると考えられる。人間301が第1対象物であり、人間302が第2対象物であり、図2のS13で予測される人間301と人間302との間の将来の距離Dfが閾値Taより大きい場合、前述した条件C1が満たされる。分類部123は、関係性テーブル132を参照することで、条件C1が満たされた場合には、特定の関係性がないと推定できる。よって、図4のS24において、分類部123は、人間301と人間302との間に関係性がないと推定し、人間301と人間302とを異なるグループに分類する。一方、分類部123は、図示していない関係性テーブル132における別の定義に基づいて、人間302と人間303とを同じグループに分類する。同様に、分類部123は、人間302と人間304とを同じグループに分類する。図2のS15において、処理部124は、図6に示すような強調表示画像102を生成する。
図7の例では、人間311と自動車312とがまとめて1つの枠313で囲まれている。
例えば、人間311が、停まっている自動車312から離れた位置で、自動車312に向かっていたとする。この場合、人間311と自動車312との間の現在の距離Dcは大きいが、将来の距離Dfは0になると考えられる。人間311が第1対象物であり、自動車312が第2対象物であり、図2のS13で予測される人間311と自動車312との間の将来の距離Dfが閾値Taより小さく、図2のS12で推定される自動車312の現在の速度Vc2の大きさが0である場合、前述した条件C2が満たされる。分類部123は、関係性テーブル132を参照することで、条件C2が満たされた場合には、自動車312及びその自動車312に乗る人間311という関係性があると推定できる。よって、図4のS24において、分類部123は、人間311と自動車312とを同じグループに分類する。図2のS15において、処理部124は、図7に示すような強調表示画像102を生成する。
図8の例では、2台の自転車321,322がまとめて1つの枠323で囲まれている。
例えば、2台の自転車321,322が列をなして走っていたとする。この場合、2台の自転車321,322の間の現在の距離Dcと将来の距離Dfとの差はほとんどないと考えられる。自転車321が第1対象物であり、自転車322が第2対象物であり、図2のS12で算出される自転車321と自転車322との間の現在の距離Dcと、図2のS13で予測される自転車321と自転車322との間の将来の距離Dfとの差が閾値Tbより小さく、図2のS12で推定される自転車321と自転車322との現在の速度Vc1,Vc2の大きさが0より大きく、図2のS12で推定される自転車321と自転車322との現在の速度Vc1,Vc2の大きさの差が閾値Tcより小さい場合、図2のS12で算出される自転車321と自転車322との間の現在の距離Dcに関わらず、前述した条件C4が満たされる。分類部123は、関係性テーブル132を参照することで、条件C4が満たされた場合には、列をなして走る自転車321,322という関係性があると推定できる。よって、図4のS24において、分類部123は、自転車321と自転車322とを同じグループに分類する。図2のS15において、処理部124は、図8に示すような強調表示画像102を生成する。
なお、上記の例において、分類部123は、条件C4が満たされているかどうかに代えて、或いは、条件C4が満たされているかどうかに加えて、図2のS13における後方の自転車322の移動予測の結果から、後方の自転車322が前方の自転車321の移動軌跡を辿っているかどうかを判定してもよい。
また、上記の例において、処理部124は、図8に示すような強調表示画像102の代わりに、図9に示すような強調表示画像102を生成してもよい。図8に示した強調表示画像102は、車両200の側方を撮影した画像であり、その画像に映っている2台の自転車321,322がまとめて1つの枠323で囲まれている。一方、図9に示す強調表示画像102は、車両200の前方を撮影した画像であり、その画像に映っている前方の自転車321と、その画像には映っていない後方の自転車322の代わりとなるマーク324及び矢印325とがまとめて1つの枠323で囲まれている。図9に示した強調表示画像102では、マーク324及び矢印325を1つの対象物とみなすことができる。
***効果の説明***
本実施の形態では、対象物の間の現在の距離Dcに関わらず、対象物の間の将来の距離Dfに基づいて、対象物がグループに分類される。このため、本実施の形態によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを適切に分類することが可能となる。
図6の例では、4人の人間301〜304のうち、1人の人間301が走り出す姿勢をとっている。そのため、画像処理装置120は、1人の人間301と残りの3人の人間302〜304との間の現在の距離Dcは小さいが、将来の距離Dfは大きくなると予測する。画像処理装置120は、1人の人間301と残りの3人の人間302〜304とを別々の枠305,306で囲んだ強調表示画像102を生成する。この強調表示画像102を見た運転者は、少なくとも人間301が走り出した瞬間から、人間301を残りの3人の人間302〜304とは別に視認することができる。したがって、運転者が、走り出す人間301に注意を向けやすくなり、安全運転が可能となる。
本実施の形態では、さらに、対象物の間の関係性によって対象物がグループに分類される。このため、本実施の形態によれば、グループごとに強調表示される対象物について、別々に視認すべき対象物とまとめて視認すべき対象物とを、より適切に分類することが可能となる。
図7の例では、人間311が自動車312に向かっている。そのため、画像処理装置120は、人間311と自動車312との間の現在の距離Dcは大きいが、将来の距離Dfは小さくなると予測する。画像処理装置120は、人間311と自動車312との間に、自動車312及びその自動車312に乗る人間311という関係性があると推定する。画像処理装置120は、人間311と自動車312とをまとめて1つの枠313で囲んだ強調表示画像102を生成する。この強調表示画像102を見た運転者は、人間311が自動車312に乗り込む前から、人間311と自動車312とをまとめて視認することができる。したがって、運転者が、他の物にも注意を向けやすくなり、対象物と対象物との間の領域についても注意すべき領域として認識でき、安全運転が可能となる。
実施の形態2.
本実施の形態について、主に実施の形態1との差異を説明する。
以下では、本実施の形態に係るシステムの構成、本実施の形態に係るシステムの動作、本実施の形態の効果を順番に説明する。
***構成の説明***
本実施の形態に係る車載表示システム100の構成は、図1に示した実施の形態1のものと同じである。
本実施の形態において、画像処理装置120の抽出部121は、人間については、対象物の種別が子供であるかどうかを判定する。抽出部121は、種別が子供又は動物であると判定した対象物の動きの変化量Maを算出する。
抽出部121は、人間については、さらに、対象物の種別が自動車の運転席から出てきた人間であるかどうか、及び、対象物の種別が自動車の後部座席から出てきた人間であるかどうかを判定する。
本実施の形態において、画像処理装置120の分類部123は、抽出部121により抽出された複数の対象物に、抽出部121により種別が人間であると判定された第1対象物と、抽出部121により種別が子供又は動物であると判定された第2対象物とが含まれ、抽出部121により算出された第2対象物の動きの変化量Maが他の閾値Teより大きい場合に、第1対象物と第2対象物とを異なるグループに分類する。なお、第1対象物は、抽出部121により種別が子供でないと判定された対象物でもよいし、抽出部121により種別が子供であると判定された対象物でもよい。
本実施の形態において、画像処理装置120の処理部124は、分類部123により過去に同じグループに分類されていた2つ以上の対象物のうち、少なくとも1つの対象物が分類部123により残りの対象物と異なるグループに分類された場合に、強調表示画像102における強調表示の形式として当該少なくとも1つの対象物と当該残りの対象物とで異なる形式を用いる。例えば、これまでグループAに含まれていた対象物がグループAから離れて独自のグループBを形成するとき、グループAに属する対象物をこれまでと同じ太さ及び色の枠で囲み、グループBに属する対象物をグループAより太いか又はグループAと異なる色の枠で囲むことが考えられる。或いは、グループBに属する対象物をこれまでグループAを囲んでいた枠と同じ太さ及び色の枠で囲み、グループAに属する対象物をグループBより太いか又はグループBと異なる色の枠で囲むことが考えられる。前者の場合は、グループBに属する対象物に対する注意を、より強く喚起できる。後者の場合は、グループAに属する対象物に対する注意を、より強く喚起できる。
***動作の説明***
以下、本実施の形態に係る表示方法に相当する、車載表示システム100の動作について、図2を用いて説明する。
図2のS11については、実施の形態1のものと同じである。
図2のS12において、抽出部121は、種別が子供又は動物であると判定した対象物ごとに、同じ対象物が過去から継続して抽出されていたかどうかを、S12で抽出された特徴量と抽出部121により過去に抽出された特徴量との比較によって判断する。抽出部121は、同じ対象物が過去から継続して抽出されていたと判断した場合、相対位置及び速度の履歴から、対象物の動きの変化量Maを算出する。なお、抽出部121は、相対位置及び速度の履歴の代わりに、対象物のオプティカルフローを計算し、計算結果から、対象物の動きの変化量Maを算出してもよい。図示していないが、抽出部121によりデータ記憶装置130に書き込まれる対象物データ131には、抽出部121により算出された動きの変化量Maも記録される。
図2のS12における抽出部121の他の動作については、実施の形態1のものと同じである。
図2のS13及びS14については、実施の形態1のものと同じである。ただし、本実施の形態では、関係性テーブル132の構成が実施の形態1と異なる。
図10は、関係性テーブル132の例を示す表である。
図10に示すように、関係性テーブル132では、「第1対象物」及び「第2対象物」である2つの対象物の種別の組み合わせごとに、図5に示したものと同じである「条件」と「関係性」とに加えて、グルーピングが解除された場合に「第1対象物と「第2対象物」とのうち、どちらの対象物を、より強く強調表示するかを示す「解除後強調対象物」が定義されている。「グルーピングが解除された場合」とは、同じグループに分類されていた2つの対象物が異なるグループに分類される場合のことをいう。
例えば、人間と自動車との組み合わせに対しては、人間が自動車の運転席から出てきたという条件C6が満たされた場合に、人間を、より強く強調表示すること、及び、人間が自動車の後部座席から出てきたという条件C7が満たされた場合に、自動車を、より強く強調表示することが定義されている。
人間と動物との組み合わせに対しては、人間と動物との間の将来の距離Dfが閾値Taより小さいという条件C8が満たされた場合に、動物及びその動物を連れている人間という関係性があると推定すべきこと、及び、動物の動きの変化量Maが閾値Teより大きいという条件C9が満たされた場合に、動物を、より強く強調表示することが定義されている。
なお、ある2つの対象物の種別の組み合わせに対して定義されている複数の条件が同時に満たされる場合に、それら複数の条件の中に、関係性があると推定される条件と、関係性がないと推定される条件とが混じっているときは、関係性がないと推定される条件が優先される。例えば、人間と動物との組み合わせに対して、条件C8と条件C9との両方が満たされているとしても、条件C9が優先され、人間と動物とが異なるグループに分類される。関係性がないと推定される2つ以上の条件が同時に満たされる場合には、例えば、それぞれの条件について予め設定された優先順位に従うものとする。
例えば、人間が動物を連れて歩いていたとする。人間が第1対象物であり、動物が第2対象物であり、図2のS13で予測される人間と動物との間の将来の距離Dfが閾値Taより小さい場合、前述した条件C8が満たされる。分類部123は、関係性テーブル132を参照することで、条件C8が満たされた場合には、動物及びその動物を連れている人間という関係性があると推定できる。よって、図4のS24において、分類部123は、人間と動物とを同じグループに分類する。
その後、動物が突発的な動作を頻繁にしたとする。図2のS12で算出された動物の動きの変化量Maが閾値Teより大きくなった場合、条件C8よりも優先度の高い条件C9が満たされる。分類部123は、関係性テーブル132を参照することで、条件C9が満たされた場合には、特定の関係性がないと推定できる。よって、図4のS24において、分類部123は、人間と動物とを異なるグループに分類する。なお、分類部123は、条件C9が満たされた場合には、人間及び人間が連れている危険な動物という関係性を推定することで、人間と動物とを異なるグループに分類している、と考えてもよい。
上記のように、分類部123は、関係性テーブル132で定義された、関係性がないと推定される条件が満たされた場合に、グルーピングを解除する。
図2のS15において、処理部124は、S11で得られた撮影画像101を加工して強調表示画像102を生成する。S14で同じグループに分類されていた2つ以上の対象物のうち、少なくとも1つの対象物がS14で残りの対象物と異なるグループに分類された場合、処理部124は、データ記憶装置130に記憶された関係性テーブル132を参照して、いずれか一方のグループに分類された対象物を、他方のグループに分類された対象物よりも強く強調表示した画像を強調表示画像102として生成する。
***効果の説明***
本実施の形態では、過去に同じグループに分類されていた2つ以上の対象物のうち、少なくとも1つの対象物が残りの対象物と異なるグループに分類された場合に、強調表示の形式として当該少なくとも1つの対象物と当該残りの対象物とで異なる形式が用いられる。このため、本実施の形態によれば、他の対象物とまとめて視認していた対象物が個別に視認すべき対象物に変わったことを明示することが可能となる。
例えば、大人と一緒に歩いている子供、又は、飼い主に連れられている動物が暴れ出したときは、子供又は動物に注意する必要がある。本実施の形態では、そのような場合、グルーピングを解除して子供又は動物に注意を向けやすくすることができる。
人間が自動車から降りてきたときも、人間又は自動車に注意する必要がある。本実施の形態では、そのような場合、グルーピングを解除して人間又は自動車に注意を向けやすくすることができる。
図11は、本発明の実施の形態に係る車載表示システム100のハードウェア構成の例を示す図である。
図11において、車載表示システム100は、コンピュータであり、出力装置910、入力装置920、記憶装置930、処理装置940といったハードウェアを備える。ハードウェアは、抽出部121と、予測部122と、分類部123と、処理部124といった画像処理装置120の各部によって利用される。
出力装置910は、例えば、表示装置140、プリンタ、通信モジュールである。出力装置910は、画像処理装置120の各部によってデータ、情報、信号の出力又は送信のために利用される。
入力装置920は、例えば、撮像装置110、キーボード、マウス、タッチパネル、通信モジュールである。入力装置920は、画像処理装置120の各部によってデータ、情報、信号の入力又は受信のために利用される。
記憶装置930は、例えば、データ記憶装置130、ROM(Read・Only・Memory)、RAM(Random・Access・Memory)、HDD、SSDである。記憶装置930には、プログラム931、ファイル932が記憶される。プログラム931には、画像処理装置120の各部の処理を実行するプログラムが含まれる。ファイル932には、画像処理装置120の各部によって演算、加工、読み取り、書き込み、利用、入力、出力等が行われるデータ、情報、信号等が含まれる。例えば、データ記憶装置130に記憶されるファイル932には、対象物データ131と、関係性テーブル132とが含まれる。
処理装置940は、例えば、CPU(Central・Processing・Unit)、GPU(Graphics・Processing・Unit)である。処理装置940は、バス等を介して他のハードウェアデバイスと接続され、それらのハードウェアデバイスを制御する。処理装置940は、記憶装置930からプログラム931を読み出し、プログラム931を実行する。処理装置940は、画像処理装置120の各部によって演算、加工、読み取り、書き込み、利用、入力、出力等を行うために利用される。なお、複数の処理装置940が連携してプログラム931を実行してもよい。例えば、撮影画像101を強調表示画像102に加工する処理部124の処理をGPUが実行し、その他の抽出部121と予測部122と分類部123の処理をCPUが実行するようにしてもよい。
画像処理装置120の各部は、「部」を「回路」、「装置」、「機器」に読み替えたものであってもよい。また、画像処理装置120の各部は、「部」を「工程」、「手順」、「処理」に読み替えたものであってもよい。即ち、画像処理装置120の各部は、ソフトウェアのみ、ハードウェアのみ、或いは、ソフトウェアとハードウェアとの組み合わせで実現される。ソフトウェアは、プログラム931として、記憶装置930に予め記憶されていてもよいし、インターネット等のネットワークからダウンロードされて記憶装置930に記憶されてもよいし、着脱可能な記録媒体から移動又はコピーされて記憶装置930に記憶されてもよい。プログラム931は、画像処理装置120の各部としてコンピュータを機能させるものである。或いは、プログラム931は、画像処理装置120の各部の処理をコンピュータに実行させるものである。ハードウェアは、例えば、ASIC(Application・Specific・Integrated・Circuit)、FPGA(Field・Programmable・Gate・Array)といった集積回路であってもよいし、ディスクリート素子の組み合わせであってもよい。
以上、本発明の実施の形態について説明したが、これらの実施の形態のうち、いくつかを組み合わせて実施しても構わない。或いは、これらの実施の形態のうち、いずれか1つ又はいくつかを部分的に実施しても構わない。例えば、これらの実施の形態の説明において「部」として説明するもののうち、いずれか1つのみを採用してもよいし、いくつかの任意の組み合わせを採用してもよい。なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。
100 車載表示システム、101 撮影画像、102 強調表示画像、110 撮像装置、120 画像処理装置、121 抽出部、122 予測部、123 分類部、124 処理部、130 データ記憶装置、131 対象物データ、132 関係性テーブル、140 表示装置、141 入力部、142 出力部、200 車両、301〜304 人間、305,306 枠、311 人間、312 自動車、313 枠、321,322 自転車、323 枠、324 マーク、325 矢印、910 出力装置、920 入力装置、930 記憶装置、931 プログラム、932 ファイル、940 処理装置。

Claims (15)

  1. 移動する対象物を少なくとも1つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出部と、
    前記抽出部により抽出された複数の対象物の間の将来の距離を予測する予測部と、
    前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類する分類部と、
    前記撮影画像を、前記分類部により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する処理部と
    を備える画像処理装置。
  2. 前記分類部は、前記抽出部により抽出された複数の対象物のうち、前記予測部により予測された互いの間の将来の距離が閾値より大きい対象物を異なるグループに分類する、請求項1に記載の画像処理装置。
  3. 前記分類部は、前記抽出部により抽出された複数の対象物のうち、前記予測部により予測された互いの間の将来の距離が閾値より小さい対象物を同じグループに分類する、請求項1に記載の画像処理装置。
  4. 前記抽出部は、抽出した複数の対象物のそれぞれの種別を判定し、
    前記分類部は、前記予測部により予測された将来の距離と前記抽出部により判定された種別とに基づいて、前記抽出部により抽出された複数の対象物の間の関係性を推定し、推定した関係性によって当該複数の対象物をグループに分類する、請求項1に記載の画像処理装置。
  5. 前記抽出部は、種別が車両であると判定した対象物の現在の速度を推定し、
    前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が人間であると判定された第1対象物と、前記抽出部により種別が車両であると判定された第2対象物とが含まれ、前記予測部により予測された前記第1対象物と前記第2対象物との間の将来の距離が閾値より小さく、前記抽出部により推定された前記第2対象物の現在の速度の大きさが0である場合に、前記第1対象物と前記第2対象物とを同じグループに分類する、請求項4に記載の画像処理装置。
  6. 前記抽出部は、抽出した複数の対象物の間の現在の距離を算出するとともに、種別が移動する対象物であると判定した対象物の現在の速度を推定し、
    前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が移動する対象物であると判定された第1対象物と第2対象物とが存在し、前記抽出部により算出された前記第1対象物と前記第2対象物との間の現在の距離と、前記予測部により予測された前記第1対象物と前記第2対象物との間の将来の距離との差が閾値より小さく、前記抽出部により推定された前記第1対象物と前記第2対象物との現在の速度の大きさが0より大きく、前記抽出部により推定された前記第1対象物と前記第2対象物との現在の速度の大きさの差が他の閾値より小さい場合に、前記第1対象物と前記第2対象物とを同じグループに分類する、請求項4に記載の画像処理装置。
  7. 前記第1対象物及び前記第2対象物は、前記抽出部により種別が自転車であると判定された対象物である、請求項6に記載の画像処理装置。
  8. 前記抽出部は、種別が子供又は動物であると判定した対象物の動きの変化量を算出し、
    前記分類部は、前記抽出部により抽出された複数の対象物に、前記抽出部により種別が人間であると判定された第1対象物と、前記抽出部により種別が子供又は動物であると判定された第2対象物とが含まれ、前記抽出部により算出された前記第2対象物の動きの変化量が閾値より大きい場合に、前記第1対象物と前記第2対象物とを異なるグループに分類する、請求項4に記載の画像処理装置。
  9. 前記処理部は、前記分類部により過去に同じグループに分類されていた2つ以上の対象物のうち、少なくとも1つの対象物が前記分類部により残りの対象物と異なるグループに分類された場合に、前記強調表示画像における強調表示の形式として当該少なくとも1つの対象物と当該残りの対象物とで異なる形式を用いる、請求項1から8のいずれか1項に記載の画像処理装置。
  10. 前記抽出部は、抽出した複数の対象物のそれぞれの種別を判定し、
    前記予測部は、前記抽出部により種別が人間であると判定された対象物の姿勢が走り出す姿勢であるかどうかを判断し、判断結果に基づいて、前記抽出部により種別が人間であると判定された対象物と前記抽出部により抽出された他の対象物との間の将来の距離を予測する、請求項1から3のいずれか1項に記載の画像処理装置。
  11. 前記強調表示画像は、前記分類部により分類された複数の対象物をグループごとに1つの枠で囲んだ画像である、請求項1から10のいずれか1項に記載の画像処理装置。
  12. 請求項1から11のいずれか1項に記載の画像処理装置と、
    車両に搭載され、前記車両の周辺を撮影して前記撮影画像を得る撮像装置と、
    前記車両に搭載され、前記強調表示画像を出力する表示装置と
    を備える車載表示システム。
  13. 移動する対象物を少なくとも1つ含む複数の対象物を撮影した撮影画像が加工されて得られる強調表示画像であって、予測された当該複数の対象物の間の将来の距離に基づいてグループに分類された当該複数の対象物をグループごとに強調表示した強調表示画像が入力される入力部と、
    前記入力部に入力された強調表示画像を出力する出力部と
    を備える表示装置。
  14. 抽出部が、移動する対象物を少なくとも1つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出し、
    予測部が、前記抽出部により抽出された複数の対象物の間の将来の距離を予測し、
    分類部が、前記予測部により予測された将来の距離に基づいて、前記抽出部により抽出された複数の対象物をグループに分類し、
    処理部が、前記撮影画像を、前記分類部によりグループに分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する画像処理方法。
  15. コンピュータに、
    移動する対象物を少なくとも1つ含む複数の対象物を撮影した撮影画像から当該複数の対象物を抽出する抽出処理と、
    前記抽出処理により抽出された複数の対象物の間の将来の距離を予測する予測処理と、
    前記予測処理により予測された将来の距離に基づいて、前記抽出処理により抽出された複数の対象物をグループに分類する分類処理と、
    前記撮影画像を、前記分類処理により分類された複数の対象物をグループごとに強調表示した強調表示画像に加工する画像処理と
    を実行させる画像処理プログラム。
JP2016563338A 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム Active JP6227165B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/082679 WO2016092650A1 (ja) 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2016092650A1 JPWO2016092650A1 (ja) 2017-04-27
JP6227165B2 true JP6227165B2 (ja) 2017-11-08

Family

ID=56106901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016563338A Active JP6227165B2 (ja) 2014-12-10 2014-12-10 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム

Country Status (5)

Country Link
US (1) US10235768B2 (ja)
JP (1) JP6227165B2 (ja)
CN (1) CN107004363B (ja)
DE (1) DE112014007249B4 (ja)
WO (1) WO2016092650A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11371851B2 (en) * 2018-12-21 2022-06-28 Volkswagen Aktiengesellschaft Method and system for determining landmarks in an environment of a vehicle

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017056385A1 (ja) * 2015-09-29 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
EP3358546A4 (en) 2015-09-29 2019-05-01 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US10200581B2 (en) * 2016-03-31 2019-02-05 Peter G. Hartwell Heads down intelligent display and processing
RU2714091C1 (ru) * 2016-06-27 2020-02-11 Ниссан Мотор Ко., Лтд. Способ отслеживания объектов и устройство отслеживания объектов
CN118781305A (zh) * 2017-03-17 2024-10-15 麦克赛尔株式会社 Ar显示装置和ar显示方法
US10000153B1 (en) * 2017-08-31 2018-06-19 Honda Motor Co., Ltd. System for object indication on a vehicle display and method thereof
US10713940B2 (en) 2017-10-31 2020-07-14 Waymo Llc Detecting and responding to traffic redirection for autonomous vehicles
AU2018358932B2 (en) 2017-10-31 2020-12-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
US10401862B2 (en) * 2017-10-31 2019-09-03 Waymo Llc Semantic object clustering for autonomous vehicle decision making
CN110110189A (zh) * 2018-02-01 2019-08-09 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
GB201804195D0 (en) 2018-03-15 2018-05-02 Blue Vision Labs Uk Ltd Visual vehicle tracking through noise and occlusions using crowd-sourced maps
US10497161B1 (en) * 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
DE102018005561A1 (de) 2018-07-09 2020-01-09 AKO Vermittlungs- und Beratungsgesellschaft UG Verfahren zur Verkehrsinformation
US10650600B2 (en) 2018-07-10 2020-05-12 Curious Company, LLC Virtual path display
US10818088B2 (en) 2018-07-10 2020-10-27 Curious Company, LLC Virtual barrier objects
WO2020026381A1 (ja) * 2018-08-01 2020-02-06 楽天株式会社 警告装置、警告方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
JP7211674B2 (ja) * 2018-09-27 2023-01-24 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム
JP7203563B2 (ja) * 2018-10-29 2023-01-13 日立Astemo株式会社 移動体挙動予測装置
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
CN109624858B (zh) * 2019-01-04 2021-02-02 斑马网络技术有限公司 外后视镜的图像显示方法及装置
CN109886335B (zh) * 2019-02-21 2021-11-26 厦门美图之家科技有限公司 分类模型训练方法及装置
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11320830B2 (en) * 2019-10-28 2022-05-03 Deere & Company Probabilistic decision support for obstacle detection and classification in a working area
JP7198232B2 (ja) * 2020-01-28 2022-12-28 株式会社デンソー 物体検出装置
FR3107349B1 (fr) * 2020-02-14 2022-01-14 Amadeus Sas Procédé et système de carte et de navigation assistées par caméra
JP7561535B2 (ja) 2020-06-04 2024-10-04 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
US11514618B2 (en) * 2020-11-06 2022-11-29 Adobe Inc. Generation of object hierarchies for logical selection of groups of objects in vector designs
JP7347464B2 (ja) * 2021-03-16 2023-09-20 トヨタ自動車株式会社 画像処理装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450189B2 (ja) 1998-06-16 2003-09-22 ダイハツ工業株式会社 歩行者検知システム及びその制御方法
JP2006224740A (ja) 2005-02-16 2006-08-31 Advics:Kk 車両用走行支援装置
JP2007172541A (ja) 2005-12-26 2007-07-05 Toyota Motor Corp 運転支援装置
US7671725B2 (en) 2006-03-24 2010-03-02 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
WO2008029802A1 (fr) 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
CN101681244B (zh) * 2007-05-09 2012-02-29 松下电器产业株式会社 显示装置、显示方法、显示程序
JP2009040107A (ja) 2007-08-06 2009-02-26 Denso Corp 画像表示制御装置及び画像表示制御システム
JP5338273B2 (ja) 2008-11-24 2013-11-13 株式会社デンソー 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP5198346B2 (ja) * 2009-04-23 2013-05-15 本田技研工業株式会社 車両周辺監視装置
JP2011150475A (ja) 2010-01-20 2011-08-04 Toyota Motor Corp 周辺監視装置
CN102782740B (zh) * 2010-03-01 2015-04-15 本田技研工业株式会社 车辆周围监测装置
US9073484B2 (en) 2010-03-03 2015-07-07 Honda Motor Co., Ltd. Surrounding area monitoring apparatus for vehicle
JP2012153256A (ja) 2011-01-26 2012-08-16 Toyota Motor Corp 画像処理装置
JP2012169826A (ja) 2011-02-14 2012-09-06 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像処理方法
JP5533766B2 (ja) 2011-04-05 2014-06-25 株式会社デンソー 車両用表示装置
JP5859741B2 (ja) * 2011-04-15 2016-02-16 トヨタ自動車株式会社 運転支援装置
JP5895728B2 (ja) * 2012-06-15 2016-03-30 株式会社デンソー 車群管理装置
KR101405583B1 (ko) * 2012-10-30 2014-06-10 현대자동차주식회사 차량 속도 추정 장치 및 방법
JP5578254B2 (ja) 2013-05-14 2014-08-27 株式会社デンソー 画像生成装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11371851B2 (en) * 2018-12-21 2022-06-28 Volkswagen Aktiengesellschaft Method and system for determining landmarks in an environment of a vehicle

Also Published As

Publication number Publication date
JPWO2016092650A1 (ja) 2017-04-27
CN107004363B (zh) 2020-02-18
CN107004363A (zh) 2017-08-01
US10235768B2 (en) 2019-03-19
DE112014007249T5 (de) 2017-08-31
WO2016092650A1 (ja) 2016-06-16
DE112014007249B4 (de) 2022-11-03
US20170301107A1 (en) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6227165B2 (ja) 画像処理装置及び車載表示システム及び表示装置及び画像処理方法及び画像処理プログラム
Bila et al. Vehicles of the future: A survey of research on safety issues
CN107380164B (zh) 基于计算机视觉的驾驶员辅助系统和支持系统
US9881221B2 (en) Method and system for estimating gaze direction of vehicle drivers
CN106611512B (zh) 前车起步的处理方法、装置和系统
CN103448653B (zh) 车辆碰撞报警系统和方法
EP3367363A1 (en) Parking support method and parking support device
EP3367365A1 (en) Parking support information display method and parking support device
CN105719311B (zh) 用于检测目标的车辆系统及其操作方法
US20140354684A1 (en) Symbology system and augmented reality heads up display (hud) for communicating safety information
JP2009037622A (ja) 画像を評価するための方法および装置
CN101269635A (zh) 视场监视设备
US20190340448A1 (en) Event prediction system, event prediction method, program, and recording medium having same recorded therein
JP2007249841A (ja) 画像認識装置
JP5267330B2 (ja) 画像処理装置および方法
CN107924265B (zh) 显示装置、显示方法以及存储介质
EP3681151A1 (en) Image processing device, image processing method, and image display system
WO2019193928A1 (ja) 車両システム、空間領域推測方法及び空間領域推測装置
Rajendar et al. Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection
JP5811918B2 (ja) 注視対象物推定装置、方法、及びプログラム
Rill et al. Collision avoidance using deep learning-based monocular vision
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
JP7269694B2 (ja) 事象発生推定のための学習データ生成方法・プログラム、学習モデル及び事象発生推定装置
Bhagat et al. Driver gaze fixation and pattern analysis in safety critical events

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171010

R150 Certificate of patent or registration of utility model

Ref document number: 6227165

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250