JP6828587B2 - 画像処理システム、画像処理方法、情報処理装置及び記録媒体 - Google Patents

画像処理システム、画像処理方法、情報処理装置及び記録媒体 Download PDF

Info

Publication number
JP6828587B2
JP6828587B2 JP2017100700A JP2017100700A JP6828587B2 JP 6828587 B2 JP6828587 B2 JP 6828587B2 JP 2017100700 A JP2017100700 A JP 2017100700A JP 2017100700 A JP2017100700 A JP 2017100700A JP 6828587 B2 JP6828587 B2 JP 6828587B2
Authority
JP
Japan
Prior art keywords
image
vehicle
processing system
unit
procedure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017100700A
Other languages
English (en)
Other versions
JP2018195237A (ja
Inventor
功一 鈴木
功一 鈴木
純一郎 井川
純一郎 井川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017100700A priority Critical patent/JP6828587B2/ja
Priority to DE102018111935.6A priority patent/DE102018111935A1/de
Priority to US15/983,693 priority patent/US10740629B2/en
Priority to CN201810482208.XA priority patent/CN108932470B/zh
Publication of JP2018195237A publication Critical patent/JP2018195237A/ja
Application granted granted Critical
Publication of JP6828587B2 publication Critical patent/JP6828587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)

Description

本発明は、画像処理システム、画像処理方法、情報処理装置及び記録媒体に関する。
従来、車両の周辺を撮影した画像に基づいて、渋滞の要因等を調べる技術が知られている。
例えば、システムは、渋滞の要因を判断するため、まず、各車両のそれぞれの周辺を撮像した画像を収集する。次に、収集された画像に基づいて、システムが、渋滞の先頭となる車両を検知する。そして、システムは、先頭となる車両が位置する先頭地点を複数の方向から撮像した画像に基づいて、渋滞の要因を判断する。このようにして、システムが、交通の渋滞を検知し、かつ、渋滞の要因を判断できる技術が知られている（例えば、特許文献１等である）。
特開２００８−６５５２９号公報
しかしながら、従来の技術では、同じようなパラメータで撮像された画像等のデータが車両から収集されやすく、偏りが生じやすい。このように、データのバランスが悪い状態で、画像に基づいて機械学習が行われると、機械学習の精度に影響が出やすい。しかし、従来の技術では、機械学習等に用いられる画像等のデータのバランスが把握できない課題が生じる。
そこで、本発明の実施形態に係る画像処理システムは、機械学習等に用いられる画像等のデータのバランスを把握できることを目的にする。
一側面によれば、車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムでは、
前記車両は、
前記撮像装置によって撮像される前記車両の周辺を示す第１画像を取得する第１画像取得部と、
前記第１画像が撮像されたときの車両の位置を示す位置データを前記情報処理装置に送信する位置データ送信部と
を有し、
前記情報処理装置は、
前記位置データ送信部から、前記位置データを受信する位置データ受信部と、
機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する第２画像取得部と、
撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化部と、
前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析部と
を有する。
以上のような構成であると、画像処理システムは、第２画像のパラメータを位置データ及び第２画像に基づいて判定することができる。そして、画像処理システムは、各第２画像をグループ化し、パラメータのバランスを解析することができる。このようにすると、後段で行われる機械学習等に用いられる画像等のデータに偏りがないかが分かる。
さらに、バランスが悪い場合には、画像処理システムは、バランスが悪いのを良くするために、画像を補充する等によって、バランスを良くすることができる。
機械学習等に用いられる画像等のデータのバランスを把握できる。
本発明の一実施形態に係る画像処理システムの全体構成例及びハードウェア構成例を示す図である。 本発明の第１実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。 本発明の第１実施形態に係る画像処理システムによるバランスの解析例を示す図である。 車両におけるナビゲーション例を示す図である。 本発明の第１実施形態に係る画像処理システムによる機械学習等の処理例を示すフローチャートである。 本発明の第２実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。 本発明の第３実施形態に係る画像処理システムによる第３画像の選択例を示すフローチャートである。 本発明の一実施形態に係る車両が走行する車道及び画像の一例を示す図である。 本発明の第３実施形態に係る画像処理システムによる第３画像の選択の変形例を示すフローチャートである。 本発明の第３実施形態に係る画像処理システムによる第３画像の候補となる画像の生成例を示す図である。 本発明の第１実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。 本発明の第２実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。 本発明の一実施形態に係る画像処理システムによる処理結果例を示す図である。 比較例を示す図である。
以下、本発明の実施形態について、添付の図面を参照しながら説明する。
＜第１実施形態＞
＜全体構成例及びハードウェア構成例＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成例及びハードウェア構成例を示す図である。図示する例では、画像処理システムＩＳは、撮像装置の例であるカメラＣＭと、情報処理装置の例であるサーバＳＲとを有する。
図示するように、車両ＣＡには、撮像装置の例であるカメラＣＭが搭載される。そして、カメラＣＭは、車両ＣＡの周辺を撮像して画像を生成する。例えば、図示するように、カメラＣＭは、車両ＣＡの前方を撮像する。次に、カメラＣＭによって生成された画像は、画像取得装置ＩＭに取得される。さらに、車両ＣＡには、ＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）ＣＴ及び通信装置ＣＤが搭載される。
画像取得装置ＩＭは、例えば、電子回路、ＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）又はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算装置及び制御装置を有する。そして、画像取得装置ＩＭは、ハードディスク等の補助記憶装置を更に有し、カメラＣＭから取得した画像を記憶する。さらに、画像取得装置ＩＭは、アンテナ及び処理ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の通信器を有し、ネットワークＮＷを介してサーバＳＲ等の外部装置に、画像を送信する。
ＥＣＵＣＴは、演算装置及び制御装置の例である。また、ＥＣＵＣＴは、メモリ等の記憶装置に接続される。
通信装置ＣＤは、ネットワークＮＷを介して、外部装置とデータを送受信する通信を行う。例えば、通信装置ＣＤは、アンテナ及び処理回路等である。
なお、カメラＣＭ及び画像取得装置ＩＭは、複数の装置であってもよい。また、車両ＣＡは、複数台あってもよい。
一方で、サーバＳＲは、ネットワーク等を介して、車両ＣＡに接続される。また、サーバＳＲは、例えば、ＣＰＵＳＨ１、記憶装置ＳＨ２、入力装置ＳＨ３、出力装置ＳＨ４及び通信装置ＳＨ５を有する。
そして、サーバＳＲが有する各ハードウェア資源は、バスＳＨ６によって相互に接続される。また、各ハードウェア資源は、バスＳＨ６によって、信号及びデータを送受信する。
ＣＰＵＳＨ１は、演算装置及び制御装置である。記憶装置ＳＨ２は、メモリ等の主記憶装置である。また、記憶装置ＳＨ２は、補助記憶装置を更に有してもよい。入力装置ＳＨ３は、キーボード等であって、ユーザからの操作を入力する。出力装置ＳＨ４は、ディスプレイ等であって、ユーザに処理結果等を出力する。通信装置ＳＨ５は、コネクタ又はアンテナ等であって、ネットワークＮＷ又はケーブル等を介して外部装置とデータを送受信する。
なお、サーバＳＲは、図示する構成に限られず、例えば、各装置を更に有してもよい。また、サーバＳＲは、複数の装置であってもよい。
＜全体処理例＞
図２は、本発明の第１実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。この図では、図２（Ａ）に、車両ＣＡ（図１参照）側での処理を示し、一方で、図２（Ｂ）に、サーバＳＲ（図１参照）側での処理を示す。
ステップＳＡ０１では、画像処理システムは、車両ＣＡが有する撮像装置によって、撮像する。以下、第１画像の例であって、ステップＳＡ０１で撮像される画像を「画像ＩＭＧ１」という。例えば、車両ＣＡ側では、画像ＩＭＧ１が、あらかじめ設定される周期ごとに撮像される。
ステップＳＡ０２では、画像処理システムは、車両ＣＡからサーバＳＲに位置データを送信する。例えば、位置データは、車両ＣＡが位置する１０ｍ（メートル）ごとの座標又はリンク番号等を示すデータである。
なお、リンク番号は、道路地図において、ノード（ｎｏｄｅ）と、ノードとの間に位置する道路区間を特定できる番号である。また、ノードは、道路網における結節点であって、具体的には、交差点等である。すなわち、リンク番号が分かると、あらかじめ入力される地図データ等に基づいて、画像処理システムは、車両ＣＡが位置する道路を特定できる。具体的には、リンク番号は、"ｈｔｔｐ:／／ｗｗｗ.ｄｒｍ.ｊｐ／ｄａｔａｂａｓｅ／ｅｘｐｒｅｓｓｉｏｎ.ｈｔｍｌ"に記載される番号等である。
また、位置データは、テキストデータ等であるため、画像データ等と比較すると、データ量が小さい。そのため、ステップＳＡ０２では、画像処理システムは、通信量を小さくできる。
ステップＳＢ０１では、画像処理システムは、車両ＣＡから送信される位置データを受信する。すなわち、ステップＳＡ０２が行われると、画像処理システムは、サーバＳＲ側で位置データを受信する。
ステップＳＡ０３では、画像処理システムは、車両ＣＡ側で、第１画像をキャッシュする。すなわち、ステップＳＡ０１によって撮像される画像ＩＭＧ１を車両ＣＡ側で保存する。なお、画像ＩＭＧ１は、位置データ等の位置データ、画像ＩＭＧ１が撮像されたパラメータ等と対応付けされて、保存されるのが望ましい。
ステップＳＢ０２では、画像処理システムは、サーバＳＲ側で、第２画像を取得する。第２画像は、あらかじめ入力される画像、定期的に車両ＣＡから送信される画像又はこれらの組み合わせ等である。すなわち、第２画像は、外部装置等から収集された画像であればよく、入力されるルート等は、限定されない。なお、第２画像及び第１画像は、一部が同じ画像であってもよい。以下、第２画像の例を「画像ＩＭＧ２」という。
ステップＳＢ０３では、画像処理システムは、サーバＳＲ側で、画像ＩＭＧ２をグループ化し、バランスを解析する。まず、どのようなパラメータによって解析を行うかは、あらかじめサーバＳＲに設定される。
パラメータは、画像ＩＭＧ２が撮像された条件等である。具体的には、パラメータは、画像ＩＭＧ２が撮像されたそれぞれの時刻又は画像ＩＭＧ２が撮像されたそれぞれの天候等である。
例えば、パラメータは、画像ＩＭＧ２を画像処理して判定される。例えば、画像ＩＭＧ２の明るさ等を画像処理して調べると、画像処理システムは、天候又は時刻等を推定できる。また、画像ＩＭＧ２をオプティカルフロー処理すると、画像処理システムは、車速等を推定できる。なお、パラメータの判定には、センサデータ等が用いられてもよい。例えば、車速センサのデータに基づいて、車速が判定されてもよい。他にも、気象データ等を外部装置から取得して、天候のパラメータが判定されてもよい。同様に、時刻データを取得して、時刻のパラメータが判定されてもよい。また、位置データから、画像が撮像された位置等のパラメータが判定されてもよい。
さらに、パラメータは、画像ＩＭＧ２を撮像したそれぞれの撮像装置が搭載された車両の車種、画像ＩＭＧ２を撮像したそれぞれの撮像装置が取り付けられた位置又は画像ＩＭＧ２を撮像したそれぞれの撮像装置の機種等である。これらは、後段で画像認識処理が行われる場合には、パラメータに設定されるのが望ましい。
また、パラメータは、画像ＩＭＧ２を撮像された時点においてヘッドライトがハイビーム設定であったかロービーム設定であったか等の車両の制御情報等である。このような制御情報は、後段で画像認識処理が行われる場合には、パラメータに設定されるのが望ましい。
他にも、パラメータは、画像ＩＭＧ２を撮像された周辺の渋滞状態、混雑状態、空き状態又は車速等を示すデータである。このようなデータは、後段で交通情報が用いられる場合には、パラメータに設定されるのが望ましい。なお、車速は、例えば、１０ｋｍ／ｈ（キロメートル毎時）区切り等でもよい。
さらにまた、パラメータは、画像ＩＭＧ２を撮像した車両が位置したレーン等を示すレーンデータである。このようなレーンデータは、後段で交通情報が用いられる又は画像認識処理が行われる場合には、パラメータに設定されるのが望ましい。
ステップＳＢ０３では、画像処理システムは、まず、同一のパラメータの画像ＩＭＧ２を１つのグループにする。そして、画像処理システムは、各グループの画像がほぼ均等であるかのバランスを解析する。例えば、バランスは、以下のように解析される。
図３は、本発明の第１実施形態に係る画像処理システムによるバランスの解析例を示す図である。例えば、画像処理システムは、図示するように、画像ＩＭＧ２を３つの条件「条件１」、「条件２」及び「条件３」にグループ分けする。具体的には、パラメータが「天候」であるとする。そして、「条件１」は、「晴れ」のグループ、「条件２」は、「曇り」のグループ、「条件３」は、「雨」のグループであるとする。図では、条件を横軸とし、縦軸を画像数とする。この例は、「条件１」のグループに属する画像が、画像ＩＭＧ２に多い例である。具体的には、「晴れ」の日に撮像された画像が多く集まり、その次に、「曇り」の日に撮像された画像が多い。そして、「雨」の日に撮像された画像が少ない場合の例となる。以下、図示するようなバランスである場合を例に説明する。
このような例であると、画像処理システムは、「条件１」に偏りがあり、バランスが悪いとする解析結果を出力する。具体的には、「条件１」を基準にすると、「条件２」となる画像は、「条件１」の画像より、差分ＤＦ１だけ少ない。さらに、「条件１」を基準にすると、「条件３」となる画像は、「条件１」の画像より、差分ＤＦ２だけ少ない。一方で、画像処理システムは、差分がない又は差分が所定の値以下であれば、バランスが良いとする解析結果を出力する。そして、バランスが悪いという解析結果である場合には、画像処理システムは、バランスを調整すると判断する。
図２（Ｂ）に戻り、ステップＳＢ０４では、画像処理システムは、サーバＳＲ側にて、バランスを調整するか否かを判断する。すなわち、ステップＳＢ０３による解析結果に基づいて、画像処理システムは、バランスを調整するか否かを判断する。
次に、バランスを調整すると画像処理システムが判断すると（ステップＳＢ０４でＹＥＳ）、画像処理システムは、ステップＳＢ０５に進む。一方で、バランスを調整しないと画像処理システムが判断すると（ステップＳＢ０４でＮＯ）、画像処理システムは、ステップＳＢ０７に進む。
ステップＳＢ０５では、画像処理システムは、サーバＳＲ側から車両側に、画像を要求する。すなわち、ステップＳＢ０５では、画像処理システムは、図３に示す例では、差分ＤＦ１及び差分ＤＦ２が少なくなるように、調整する。具体的には、図３に示す例では、画像処理システムは、差分ＤＦ１を少なくするため、「条件２」を満たす画像を車両ＣＡに要求する。同様に、画像処理システムは、差分ＤＦ２を少なくするため、「条件３」を満たす画像を車両ＣＡに要求する。
ステップＳＡ０４では、画像処理システムは、画像が要求されたか否かを判断する。すなわち、ステップＳＢ０５が行われると、画像処理システムは、画像が要求されたと判断する。
次に、画像が要求されたと画像処理システムが判断すると（ステップＳＡ０４でＹＥＳ）、画像処理システムは、ステップＳＡ０５に進む。一方で、画像が要求されなかったと画像処理システムが判断すると（ステップＳＡ０４でＮＯ）、画像処理システムは、図２（Ａ）に示す処理を終了する。
ステップＳＡ０５では、画像処理システムは、要求された画像を第１画像から選択して（以下第１画像から選択された画像を「第３画像」という。）送信する。すなわち、図３に示す例では、画像処理システムは、画像ＩＭＧ１のうち、「条件２」及び「条件３」を満たす画像を選び、第３画像として車両ＣＡからサーバＳＲに送信する。
ステップＳＢ０６では、画像処理システムは、第３画像を受信する。すなわち、画像処理システムは、ステップＳＡ０５によって送信された画像ＩＭＧ１をサーバＳＲ側で受信する。
ステップＳＡ０４、ステップＳＡ０５、ステップＳＢ０５及びステップＳＢ０６のように、いわゆるｐｕｓｈ通信によって、画像処理システムは、差分を補充できる第３画像を追加してバランスを調整する。
ステップＳＢ０７では、画像処理システムは、機械学習等を行う。例えば、以下のように、ナビゲーションを行う場合があるとする。
図４は、車両におけるナビゲーション例を示す図である。
例えば、図示するように、車両ＣＡが目的地に向かって走行しているとする。そして、目的地に向かう経路上、図示するように、車両ＣＡは、前方にある交差点ＣＲを右折する経路（図では、矢印で示す経路である。）を走行する場面である。すなわち、この場面は、いわゆるカーナビゲーション装置が車両ＣＡに搭載されている場合には、交差点ＣＲを右折するように、車両ＣＡを運転するドライバに対して、音声、画像又はこれらの組み合わせ等で、カーナビゲーション装置が案内を行う場面である。
また、車両ＣＡは、例えば、外部装置から地図データＤＭを受信したり、又は、地図データＤＭを記録媒体によって入力したりして取得すると、自車両の位置、交差点ＣＲの位置及び目的地が交差点ＣＲを右折した方向にある等を把握することができる。
以下、図示するような場面を例に説明するが、画像処理システムが使用される場面は、図示するような場面に限られず、例えば、交差点以外の場面で使用されてもよい。
そして、図示するように、経路を案内する上で、交差点ＣＲ付近に設置される看板ＬＭを目印に、カーナビゲーション装置が案内を行うと望ましい状態であるとする。このような場合には、車両ＣＡでは、車両ＣＡの前方が撮像装置によって撮像され、撮像された画像に写る看板ＬＭが画像認識される。このような画像認識を行うには、看板ＬＭが写る画像に基づいて、例えば、以下のように、機械学習が行われるのが望ましい。
図５は、本発明の第１実施形態に係る画像処理システムによる機械学習等の処理例を示すフローチャートである。図２に示すステップＳＢ０７では、例えば、図示するような処理が行われる。
ステップＳＢ０７０１では、画像処理システムは、機械学習に用いられる画像のバランスが良いか否かを判断する。すなわち、図２に示すステップＳＡ０４、ステップＳＡ０５、ステップＳＢ０５及びステップＳＢ０６等によって、バランスが調整されると、機械学習に用いられる画像は、図３に示すような偏りが少なく、バランスの良い状態である場合が多い。このような場合には、画像処理システムは、機械学習に用いられる画像のバランスが良いと判断する。
次に、機械学習に用いられる画像のバランスが良いと画像処理システムが判断すると（ステップＳＢ０７０１でＹＥＳ）、画像処理システムは、ステップＳＢ０７０２に進む。一方で、機械学習に用いられる画像のバランスが良くないと画像処理システムが判断すると（ステップＳＢ０７０１でＮＯ）、画像処理システムは、図５に示す処理を終了する。
ステップＳＢ０７０２では、画像処理システムは、看板の学習等を行う。具体的には、画像処理システムは、図４に示すように、看板ＬＭを案内に使う場合には、看板ＬＭが写っている画像を用いて学習を行う。このようにすると、画像処理システムは、画像に写る看板ＬＭを画像認識することができる。
ステップＳＢ０７０３では、画像処理システムは、認識精度が向上したか否かを判断する。この例では、画像処理システムは、画像内に写る看板ＬＭを画像認識できる認識精度が向上したか否かを判断する。すなわち、ステップＳＢ０７０２による学習によって、認識精度が学習前の認識精度より向上したか否かによって、画像処理システムは、認識精度が向上したか否かを判断する。
次に、認識精度が向上したと画像処理システムが判断すると（ステップＳＢ０７０３でＹＥＳ）、画像処理システムは、ステップＳＢ０７０４に進む。一方で、認識精度が向上しないと画像処理システムが判断すると（ステップＳＢ０７０３でＮＯ）、画像処理システムは、図５に示す処理を終了する。
ステップＳＢ０７０４では、画像処理システムは、学習データベースを更新する。すなわち、画像処理システムは、以降のカーナビゲーション等では、更新済みの学習データベースが使われるようにする。なお、学習データベースは、画像処理システム以外の外部装置に使われる構成でもよい。
＜第２実施形態＞
第１実施形態のように、バランスをｐｕｓｈ通信によって調整するのではなく、車両ＣＡ側、いわゆるローカル管理によって、バランスが調整されてもよい。
以下、第１実施形態と同様の全体構成及びハードウェア構成である場合を例にする。したがって、重複する説明は、省略する。以下、異なる点を中心に説明する。第１実施形態とは、全体処理が異なる。
図６は、本発明の第２実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。なお、図では、第１実施形態と同様の処理には、同一の符号を付し、説明を省略する。
ステップＳＢ２０では、画像処理システムは、サーバＳＲから車両ＣＡに、解析結果を送信する。すなわち、画像処理システムは、ステップＳＢ０３によって解析された画像のバランスを示すデータをローカル側へ送信する。
ステップＳＡ２０では、画像処理システムは、車両ＣＡ側で、解析結果を受信する。すなわち、画像処理システムは、ステップＳＢ２０によって送信された解析結果を示すデータを車両ＣＡ側で受信する。このようにすると、車両ＣＡは、例えば、サーバＳＲ側にある画像が図３に示すような状態であるのを把握できる。したがって、車両ＣＡは、どのようなパラメータの画像をサーバＳＲに送信すると、バランスが良くなるかを解析結果に基づいて把握できる。
ステップＳＡ２１では、画像処理システムは、車両ＣＡ側で、解析結果に基づいて第２画像を第１画像から選択する。具体的には、図３に示す例では、画像処理システムは、車両ＣＡ側で、画像ＩＭＧ１のうち、「条件２」及び「条件３」を満たす第３画像を選び、ステップＳＡ０５で送信するようにする。
したがって、ステップＳＡ２１で選択された画像がサーバＳＲに送信されると、画像処理システムは、ステップＳＡ０５で送信された画像によって、画像ＩＭＧ２のバランスを調整することができる。
＜第３実施形態＞
車両ＣＡは、第３画像を更に以下のように選択する構成でもよい。
以下、図４に示すように、カーナビゲーションにおいて、路上にある看板ＬＭのような被写体を案内に用いる場合を例に説明する。すなわち、車両ＣＡは、看板ＬＭが写る画像をサーバＳＲに送信するのが望ましい。例えば、以下のような処理によって第３画像が選択されてもよい。
図７は、本発明の第３実施形態に係る画像処理システムによる第３画像の選択例を示すフローチャートである。例えば、図７に示す処理は、第１画像をキャッシュ後、車両ＣＡ側で、第３画像がサーバＳＲに送信される前のいずれかのタイミングで行われる。
また、以下の説明は、車両ＣＡが走行する左側に現れる被写体を写した画像を収集する設定であるとする。なお、設定は、左側に限られず、右側とする等の他の設定でもよい。
ステップＳ３１１では、画像処理システムは、車両ＣＡが走行中の車道が３レーン以上であるか否かを判断する。例えば、画像処理システムは、画像ＩＭＧ１に対して白線を検出する画像処理等を行い、走行方向ＲＤに対して直交する方向に白線がいくつあるかを数えると、車両ＣＡが走行中の車道のレーン数を算出できる。
次に、車両ＣＡが走行中の車道が３レーン以上であると画像処理システムが判断すると（ステップＳ３１１でＹＥＳ）、画像処理システムは、ステップＳ３１２に進む。一方で、車両ＣＡが走行中の車道が３レーン以上でないと画像処理システムが判断すると（ステップＳ３１１でＮＯ）、画像処理システムは、処理を終了する。
ステップＳ３１２では、画像処理システムは、車両ＣＡが一番左側のレーンを走行しているか否かを判断する。例えば、画像処理システムは、画像ＩＭＧ１に対する画像処理又は車両ＣＡの位置等から、車両ＣＡが一番左側のレーンに位置しているかを把握できる。
次に、車両ＣＡが一番左側のレーンを走行していると画像処理システムが判断すると（ステップＳ３１２でＹＥＳ）、画像処理システムは、ステップＳ３１３に進む。一方で、車両ＣＡが一番左側のレーンを走行していないと画像処理システムが判断すると（ステップＳ３１２でＮＯ）、画像処理システムは、処理を終了する。
ステップＳ３１３では、画像処理システムは、現在走行している条件下で撮像された画像ＩＭＧ１を第３画像の候補に選択する。
例えば、以下のような車道を走行する車両ＣＡを例に説明する。
図８は、本発明の一実施形態に係る車両が走行する車道及び画像の一例を示す図である。図示するように、車両ＣＡは、走行方向ＲＤ（図では、下から上に向かう方向となる。）へ走行しているとする。この例では、車道は、左レーンＬＡＬと、中央レーンＬＡＣと、右レーンＬＡＲとがある。したがって、このような車道を車両ＣＡが走行していると、ステップＳ３１１では、画像処理システムは、車両ＣＡが走行中の車道が３レーン以上であると判断する（ステップＳ３１１でＹＥＳ）。
そして、左レーンＬＡＬを車両ＣＡが走行していると、ステップＳ３１２では、画像処理システムは、車両ＣＡが一番左側のレーンを走行していると判断する（ステップＳ３１２でＹＥＳ）。
図示するような３レーン以上の車道を車両ＣＡが走行している場合には、左レーンＬＡＬを走行している間に撮像された画像でないと、画像には、看板ＬＭのような車両ＣＡが走行する左側に現れる被写体が写らない。具体的には、左レーンＬＡＬを車両ＣＡが走行している間に撮像される画像は、例えば、画像ＩＭＧ３１のようになる。一方で、中央レーンＬＡＣを車両ＣＡが走行している間に撮像される画像は、例えば、画像ＩＭＧ３２のようになる。
左レーンＬＡＬでは、撮像装置の画角に看板ＬＭが入るのに対して、中央レーンＬＡＣ又は右レーンＬＡＲでは、撮像装置の画角に看板ＬＭが入らない場合が多い。そのため、図示するように、画像ＩＭＧ３１には、看板ＬＭが写るのに対して、画像ＩＭＧ３２には、看板ＬＭが写らない場合が多い。したがって、画像ＩＭＧ３１のように、画像処理システムは、左レーンＬＡＬを走行している間に撮像された画像を第３画像の候補とする（ステップＳ３１３）。一方で、画像ＩＭＧ３２等の画像は、第３画像に選択されないようにすると、サーバＳＲに、画像ＩＭＧ３２等の画像が送信されないため、画像処理システムは、通信量を削減できる。
つまり、画像ＩＭＧ３１のように、機械学習によって画像認識させたい被写体が撮像できる位置に車両ＣＡがいる場合に撮像された画像に第３画像を絞ることで、画像処理システムは、通信量を削減できる。
なお、図７に示す処理は、例えば、以下のような処理でもよい。
図９は、本発明の第３実施形態に係る画像処理システムによる第３画像の選択の変形例を示すフローチャートである。図７と比較すると、図９に示す処理は、ステップＳ３１３がステップＳ３２１となる点が異なる。以下、異なる点を中心に説明し、同一の処理には同一の符号を付して説明を省略する。
ステップＳ３１３では、画像処理システムは、画像ＩＭＧ１の右側を削除し、削除後の画像を第３画像の候補に選択する。具体的には、ステップＳ３１３では、画像処理システムは、以下のような画像を生成する。
図１０は、本発明の第３実施形態に係る画像処理システムによる第３画像の候補となる画像の生成例を示す図である。例えば、図示するような画像ＩＭＧ１が第１画像として作像され、キャッシュされるとする。ステップＳ３１３では、画像処理システムは、画像ＩＭＧ１を加工して、画像ＩＭＧ３３又は画像ＩＭＧ３４を生成する。
具体的には、画像ＩＭＧ３３は、図示するように、画像ＩＭＧ１の右側が削除された画像である。このようにすると、画像ＩＭＧ３３は、画像ＩＭＧ１より少ないデータ量の画像となる。
同様に、画像ＩＭＧ３４は、画像ＩＭＧ１の右側が塗り潰された画像である。このようにすると、画像ＩＭＧ３４は、右側のデータが送信不要であると判断されるため、画像ＩＭＧ１より少ない通信量で送信できる画像となる。
機械学習等（ステップＳＢ０７）では、学習の対象となる被写体が写っている画像が用いられる。そのため、画像において、看板ＬＭ等の被写体が写る範囲以外は、機械学習等には、不要のデータとなることが多い。そこで、図示するように、画像処理システムは、画像ＩＭＧ１を加工して、機械学習等に用いられない範囲を画像ＩＭＧ１から削除又はサーバＳＲに送信されないように制限する。このようにすると、画像処理システムは、通信量を削減できる。
＜機能構成例＞
図１１は、本発明の第１実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。例えば、画像処理システムＩＳは、図示するように、第１画像取得部ＩＳＦ１と、位置データ送信部ＩＳＦ２と、第２画像取得部ＩＳＦ３と、位置データ受信部ＩＳＦ４と、グループ化部ＩＳＦ５と、解析部ＩＳＦ６とを有する。また、画像処理システムＩＳは、図示するように、画像要求部ＩＳＦ７と、画像受信部ＩＳＦ８と、学習部ＩＳＦ９と、案内部ＩＳＦ１０と、地図データ取得部ＩＳＦ１１とを更に有する機能構成であるのが望ましい。以下、図示する機能構成を例に説明する。
第１画像取得部ＩＳＦ１は、カメラＣＭ等の撮像装置によって撮像される車両ＣＡの周辺を示す画像ＩＭＧ１等の第１画像を取得する第１画像取得手順を行う。例えば、第１画像取得部ＩＳＦ１は、画像取得装置ＩＭ（図１参照）等によって実現される。
位置データ送信部ＩＳＦ２は、車両ＣＡの位置を示す位置データＰＯＳをサーバＳＲに送信する位置データ送信手順を行う。例えば、位置データ送信部ＩＳＦ２は、通信装置ＣＤ（図１参照）等によって実現される。
第２画像取得部ＩＳＦ３は、画像ＩＭＧ２等の第２画像を取得する第２画像取得手順を行う。例えば、第２画像取得部ＩＳＦ３は、通信装置ＳＨ５（図１参照）等によって実現される。
位置データ受信部ＩＳＦ４は、位置データ送信部ＩＳＦ２から位置データＰＯＳを取得する位置データ受信手順を行う。例えば、位置データ受信部ＩＳＦ４は、通信装置ＳＨ５（図１参照）等によって実現される。
グループ化部ＩＳＦ５は、撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化手順を行う。例えば、グループ化部ＩＳＦ５は、ＣＰＵＳＨ１（図１参照）等によって実現される。
解析部ＩＳＦ６は、複数のグループに属する第２画像の数についてグループ間のバランス解析し、解析結果ＡＮＳを出力する解析手順を行う。例えば、解析部ＩＳＦ６は、ＣＰＵＳＨ１（図１参照）等によって実現される。
画像要求部ＩＳＦ７は、解析結果ＡＮＳに基づいて、画像ＩＭＧ１から選ばれ、かつ、バランスを調整する画像ＩＭＧ３等の第３画像を車両ＣＡに要求する画像要求手順を行う。例えば、画像要求部ＩＳＦ７は、通信装置ＳＨ５（図１参照）等によって実現される。
画像受信部ＩＳＦ８は、画像ＩＭＧ３を車両ＣＡから受信する画像受信手順を行う。例えば、画像受信部ＩＳＦ８は、通信装置ＳＨ５（図１参照）等によって実現される。
学習部ＩＳＦ９は、画像ＩＭＧ２及び画像ＩＭＧ３等に基づいて、学習を行い、学習データベースＤＢを生成する学習手順を行う。例えば、学習部ＩＳＦ９は、ＣＰＵＳＨ１（図１参照）等によって実現される。
案内部ＩＳＦ１０は、地図データＤＭ及び学習データベースＤＢに基づいて、車両ＣＡが走行する経路をドライバＤＶに案内する案内手順を行う。例えば、案内部ＩＳＦ１０は、ＥＣＵＣＴ（図１参照）等によって実現される。
地図データ取得部ＩＳＦ１１は、車両ＣＡの現在位置、目的地及び現在位置から目的地までの途中を示す地図データＤＭを取得する地図データ取得手順を行う。例えば、地図データ取得部ＩＳＦ１１は、通信装置ＣＤ（図１参照）等によって実現される。
また、機能構成は、例えば、以下のような機能構成でもよい。
図１２は、本発明の第２実施形態に係る画像処理システムの機能構成例を示す機能ブロック図である。図１１と比較すると、車両ＣＡが、選択部ＩＳＦ２０と、画像送信部ＩＳＦ２１と、解析結果受信部ＩＳＦ２２とを有する点が異なる。以下、図１１と異なる点を中心に説明する。
選択部ＩＳＦ２０は、解析結果ＡＮＳに基づいて、画像ＩＭＧ１から画像ＩＭＧ３を選択する選択手順を行う。例えば、選択部ＩＳＦ２０は、ＥＣＵＣＴ（図１参照）等によって実現される。
画像送信部ＩＳＦ２１は、画像ＩＭＧ３をサーバＳＲに送信する画像送信手順を行う。例えば、画像送信部ＩＳＦ２１は、通信装置ＣＤ（図１参照）等によって実現される。
解析結果受信部ＩＳＦ２２は、解析結果ＡＮＳを受信する解析結果受信手順を行う。例えば、解析結果受信部ＩＳＦ２２は、通信装置ＣＤ（図１参照）等によって実現される。
以上のような構成であると、画像処理システムＩＳは、まず、第２画像取得部ＩＳＦ３によって、画像ＩＭＧ２を取得できる。さらに、画像処理システムＩＳは、位置データ等によって、画像ＩＭＧ２のそれぞれのパラメータを判定することができる。
パラメータは、画像ＩＭＧ２のそれぞれの撮像条件等を示す。例えば、パラメータは、画像ＩＭＧ２が撮像された時刻、天候、画像ＩＭＧ２を撮像した車両の車種、カメラＣＭの機種、画像ＩＭＧ２を撮像した車両の制御情報、画像ＩＭＧ２を撮像した周辺の渋滞状態、画像ＩＭＧ２を撮像した周辺の混雑状態、画像ＩＭＧ２を撮像した周辺の空き状態、画像ＩＭＧ２を撮像した車両の車速、画像ＩＭＧ２を撮像した車両が位置したレーン又はこれらの組み合わせ等である。そして、パラメータが同一であると、画像は、同一のグループにグループ分けされる。したがって、パラメータが把握できると、解析部ＩＳＦ６は、図３に示すように、バランスを解析できる。
機械学習等では、画像の条件に偏りがあると、機械学習の結果である学習データベースＤＢを用いた処理の精度が悪くなる場合が多い。例えば、学習データベースＤＢを利用して、渋滞の予測等の交通情報を生成する処理又はカーナビゲーションにおける画像認識等が車両ＣＡ等で行われる。
画像処理システムＩＳは、解析結果ＡＮＳによって、機械学習等に用いられる画像のバランスを把握できる。そして、画像処理システムＩＳは、学習データベースＤＢを生成するための画像のバランスによって、学習データベースＤＢを利用した処理の精度等が予測できる。例えば、バランスの良し悪しによって、渋滞の的中率、検出率又は画像認識による所定の被写体の認識率等が、高いか否か等が予測できる。
そして、画像処理システムＩＳは、バランスが把握できると、例えば、図１１に示すように、車両ＣＡに、バランスを良くする第３画像を送信するように要求できる。同様に、画像処理システムＩＳは、バランスが把握できると、解析結果ＡＮＳを車両ＣＡに送信することによって、車両ＣＡにバランスを良くする第３画像を送信させることができる。
したがって、以上のような構成であると、例えば、以下のような効果を奏する。
図１３は、本発明の一実施形態に係る画像処理システムによる処理結果例を示す図である。まず、図１３（Ａ）は、図３と同様のバランスである解析結果ＡＮＳを示す図である。そして、画像ＩＭＧ３が送信されると、「条件２」及び「条件３」を満たす画像が補充される。なお、画像処理システムＩＳは、「条件１」を満たす画像が情報処理装置に送信されるのを制限するのが望ましい。
このようにすると、画像処理システムＩＳは、例えば、図１３（Ｂ）に示すように、各条件を満たすそれぞれの画像数をほぼ同一にすることによって、バランスを良くすることができる。
教師ありの機械学習等は、学習に用いられるデータ、つまり、いわゆる教師データに偏りがあり、バランスが悪いと、後段で行われる処理の処理精度が悪くなる場合が多い。一方で、画像等のデータは、調整がないとバランスが悪くなる場合が多い。例えば、渋滞予測を行う処理を行うため、渋滞している状態の画像と、渋滞していない状態の画像とを収集する場合では、渋滞していない状態が多いため、渋滞していない状態の画像の方が集まりやすい。
他にも、大都市圏又は幹線道路等は、車両が多いため、画像が集まりやすい。これに対して、地方又は一般道等は、大都市圏又は幹線道路等と比較して画像が集まりにくい。したがって、条件を位置又は道路等にすると、大都市圏又は幹線道路等で撮像された画像が多く、バランスが悪くなる場合が多い。同様に、気候は、季節等によっては、「雨」の日が多くなる場合がある。このような場合には、「雨」の条件で撮像された画像が集まりやすくなる。他にも、朝又は昼の時刻に撮像された画像は、集まりやすく、夜の時刻に撮像された画像は、集まりにくい場合が多い。
そこで、第３画像を補充して、バランスを改善すると、画像処理システムＩＳは、精度の良い処理を行うようにするための機械学習等を行うことができる。また、図１３（Ｂ）に示すように、既に十分な量に達しているデータは、収集が制限されると、無駄なデータを収集しないようにすることができるため、データを送信する通信量を減らし、通信コスト又はデータを保存する記憶領域を小さくすることができる。
また、図１１及び図１２に示すような構成では、画像処理システムＩＳは、精度良く看板等を検出できるようになるため、ドライバＤＶにメッセージＭＳ等によって、案内において、目印となる看板等を精度良く知らせることができる。
＜比較例＞
図１４は、比較例を示す図である。例えば、図示するように、バランスを調整するのに、データを消す方法が考えられる。具体的には、図１３（Ａ）と同様のバランスである場合において、「条件１」及び「条件２」となる画像を「条件３」となる画像数になるまで削除する。このような方法で、バランスを調整すると、消された画像が無駄となる。
＜その他の実施形態＞
案内部ＩＳＦ１０及び地図データ取得部ＩＳＦ１１は、撮像装置を搭載した車両以外の車両が有してもよい。
本発明に係る実施形態は、情報処理装置又は情報処理システム等のコンピュータに、上記の画像処理方法に係る各手順を実行させるためのプログラムによって実現されてもよい。また、プログラムは、コンピュータが読み取り可能な記録媒体に格納して頒布することができる。
さらに、上記に説明した各装置は、複数の装置であってもよい。そして、上記の画像処理方法に係る各手順の全部又は一部は、並列、分散又は冗長して実行されてもよい。
以上、本発明の好ましい実施例について説明したが、本発明は、説明した実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形又は変更が可能である。
ＩＳ 画像処理システム
ＣＭ カメラ
ＳＲ サーバ
ＣＡ 車両
ＤＭ 地図データ
ＰＯＳ 位置データ
ＬＭ 看板
ＩＭＧ１、ＩＭＧ２、ＩＭＧ３ 画像

Claims (7)

  1. 車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムであって、
    前記車両は、
    前記撮像装置によって撮像される前記車両の周辺を示す第１画像を取得する第１画像取得部と、
    前記第１画像が撮像されたときの車両の位置を示す位置データを前記情報処理装置に送信する位置データ送信部と
    を有し、
    前記情報処理装置は、
    前記位置データ送信部から、前記位置データを受信する位置データ受信部と、
    機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する第２画像取得部と、
    撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化部と、
    前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析部と、
    前記解析部による解析結果に基づいて、前記第１画像から選ばれ、且つ、前記バランスを調整する第３画像を、前記車両から受信する画像受信部と、
    前記第２画像及び前記第３画像に基づいて学習を行い、学習データベースを生成する学習部と
    を有する画像処理システム。
  2. 前記車両は、
    前記解析部による解析結果を受信する解析結果受信部と、
    前記解析結果に基づいて、前記バランスを調整する第３画像を前記第１画像から選択する選択部と、
    前記第３画像を前記情報処理装置に送信する画像送信部と
    を更に有する請求項１に記載の画像処理システム。
  3. 前記車両の現在位置、目的地及び現在位置から目的地までの途中を示す地図データを取得する地図データ取得部と、
    前記地図データ及び前記学習データベースに基づいて、前記車両が走行する経路を案内する案内部と
    を更に有し、
    前記案内部は、目印を用いて、交差点を案内する請求項１又は２に記載の画像処理システム。
  4. 前記パラメータは、前記第２画像が撮像された位置、前記第２画像が撮像された道路、
    前記第２画像が撮像された時刻、天候、前記第２画像を撮像した車両の車種、前記撮像装置の機種、前記第２画像を撮像した車両の制御情報、前記第２画像を撮像した周辺の渋滞状態、前記第２画像を撮像した周辺の混雑状態、前記第２画像を撮像した周辺の空き状態、前記第２画像を撮像した車両の車速、前記第２画像を撮像した車両が位置したレーン又はこれらの組み合わせである請求項１乃至３のいずれか１項に記載の画像処理システム。
  5. 車両に搭載される撮像装置と、前記撮像装置と接続される情報処理装置とを有する画像処理システムが行う画像処理方法であって、
    前記車両が、前記撮像装置によって撮像される前記車両の周辺を示す第１画像を取得する第１画像取得手順と、
    前記車両が、前記第１画像が撮像されたときの車両の位置を示す位置データを前記情報処理装置に送信する位置データ送信手順と
    を有し、
    前記情報処理装置が、前記位置データ送信手順によって送信される前記位置データを受信する位置データ受信手順と、
    前記情報処理装置が、機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する第２画像取得手順と、
    前記情報処理装置が、撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化手順と、
    前記情報処理装置が、前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析手順と、
    前記解析手順による解析結果に基づいて、前記第１画像から選ばれ、且つ、前記バランスを調整する第３画像を、前記車両から受信する画像受信手順と、
    前記第２画像及び前記第３画像に基づいて学習を行い、学習データベースを生成する学習手順と
    を有する
    画像処理方法。
  6. 車両に搭載される撮像装置と接続される情報処理装置であって、
    前記撮像装置によって撮像される前記車両の周辺を示す第１画像が撮像されたときの車両の位置を示す位置データを受信する位置データ受信部と、
    機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する画像取得部と、
    撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化部と、
    前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析部と、
    前記解析部による解析結果に基づいて、前記第１画像から選ばれ、且つ、前記バランスを調整する第３画像を、前記車両から受信する画像受信部と、
    前記第２画像及び前記第３画像に基づいて学習を行い、学習データベースを生成する学習部と
    を有する
    情報処理装置。
  7. 車両に搭載される撮像装置と接続されるコンピュータに画像処理方法を実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体であって、
    前記コンピュータが、前記撮像装置によって撮像される前記車両の周辺を示す第１画像が撮像されたときの車両の位置を示す位置データを受信する位置データ受信手順と、
    前記コンピュータが、機械学習用の複数の第２画像であって、前記位置データに基づく前記車両の位置に関連する複数の第２画像を取得する画像取得手順と、
    前記コンピュータが、撮像時の条件を示すパラメータに基づいて、前記複数の第２画像を複数のグループにグループ分けするグループ化手順と、
    前記コンピュータが、前記複数のグループに属する前記第２画像の数について前記グループ間のバランスを解析する解析手順と、
    前記解析手順による解析結果に基づいて、前記第１画像から選ばれ、且つ、前記バランスを調整する第３画像を、前記車両から受信する画像受信手順と、
    前記第２画像及び前記第３画像に基づいて学習を行い、学習データベースを生成する学習手順と
    を実行させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。
JP2017100700A 2017-05-22 2017-05-22 画像処理システム、画像処理方法、情報処理装置及び記録媒体 Active JP6828587B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017100700A JP6828587B2 (ja) 2017-05-22 2017-05-22 画像処理システム、画像処理方法、情報処理装置及び記録媒体
DE102018111935.6A DE102018111935A1 (de) 2017-05-22 2018-05-17 Bildverarbeitungssystem, Bildverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Aufzeichnungsmedium
US15/983,693 US10740629B2 (en) 2017-05-22 2018-05-18 Image processing system, image processing method, information processing device and recording medium
CN201810482208.XA CN108932470B (zh) 2017-05-22 2018-05-18 图像处理系统、图像处理方法、信息处理装置和记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017100700A JP6828587B2 (ja) 2017-05-22 2017-05-22 画像処理システム、画像処理方法、情報処理装置及び記録媒体

Publications (2)

Publication Number Publication Date
JP2018195237A JP2018195237A (ja) 2018-12-06
JP6828587B2 true JP6828587B2 (ja) 2021-02-10

Family

ID=64271858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017100700A Active JP6828587B2 (ja) 2017-05-22 2017-05-22 画像処理システム、画像処理方法、情報処理装置及び記録媒体

Country Status (4)

Country Link
US (1) US10740629B2 (ja)
JP (1) JP6828587B2 (ja)
CN (1) CN108932470B (ja)
DE (1) DE102018111935A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6688970B2 (ja) * 2016-07-15 2020-04-28 パナソニックＩｐマネジメント株式会社 画像認識システム
US10635940B1 (en) * 2018-12-11 2020-04-28 Capital One Services, Llc Systems and methods for updating image recognition models
WO2021125063A1 (ja) * 2019-12-18 2021-06-24 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラムおよび移動体
CN111325984B (zh) * 2020-03-18 2023-05-05 阿波罗智能技术(北京)有限公司 样本数据的获取方法、装置和电子设备
WO2021212500A1 (zh) * 2020-04-24 2021-10-28 华为技术有限公司 提供道路拥堵原因的方法和装置
DE102020206433A1 (de) * 2020-05-25 2021-11-25 Hitachi Astemo, Ltd. Computerprogrammprodukt und Trainingssteuervorrichtung für künstliche Intelligenz
JP7494666B2 (ja) * 2020-09-09 2024-06-04 トヨタ自動車株式会社 情報管理システムおよびこれに用いられる車載装置、携帯端末、画像管理サーバ
JP7452377B2 (ja) * 2020-10-21 2024-03-19 株式会社豊田中央研究所 走行車線判定装置及び走行車線判定プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001233150A (ja) * 2000-02-22 2001-08-28 Yazaki Corp 車両用危険判断装置及び、車両用周辺監視装置
US7176813B2 (en) * 2004-09-10 2007-02-13 Xanavi Informatics Corporation System and method for processing and displaying traffic information in an automotive navigation system
JP4207941B2 (ja) * 2005-09-02 2009-01-14 パナソニック株式会社 画像表示装置及び画像生成装置
JP4935145B2 (ja) * 2006-03-29 2012-05-23 株式会社デンソー カーナビゲーション装置
JP2008012636A (ja) * 2006-07-07 2008-01-24 Toyota Motor Corp 人物識別システム
JP4929933B2 (ja) 2006-09-06 2012-05-09 株式会社デンソー 渋滞要因判断システム
CN101593518A (zh) * 2008-05-28 2009-12-02 中国科学院自动化研究所 实际场景语料和有限状态网络语料的平衡方法
CN101630363B (zh) * 2009-07-13 2011-11-23 中国船舶重工集团公司第七〇九研究所 复杂背景下彩色图像人脸的快速检测方法
CN102495901B (zh) * 2011-12-16 2014-10-15 山东师范大学 通过局部均值保持实现类数据平衡的方法
ITRM20130274A1 (it) * 2013-05-08 2014-11-09 Smart I S R L Sistema di sensori ottici distribuiti ed intelligenti per il controllo adattivo, predittivo ed on-demand dell'illuminazione pubblica
JP6223059B2 (ja) * 2013-08-21 2017-11-01 キヤノン株式会社 撮像装置、その制御方法およびプログラム
JP2015161592A (ja) * 2014-02-27 2015-09-07 パイオニア株式会社 ナビゲーション装置、通信装置、サーバ装置、制御方法、プログラム及び記憶媒体
CN104077499B (zh) * 2014-05-25 2018-01-05 南京理工大学 基于有监督上采样学习的蛋白质‑核苷酸绑定位点预测方法
JP6569138B2 (ja) * 2015-03-04 2019-09-04 三菱重工機械システム株式会社 車軸数検出装置、車種判別システム、車軸数検出方法及びプログラム
CN106504111A (zh) * 2016-09-19 2017-03-15 清华大学 异常电力用户挖掘中类分布不平衡问题的解决方法

Also Published As

Publication number Publication date
US10740629B2 (en) 2020-08-11
CN108932470A (zh) 2018-12-04
CN108932470B (zh) 2021-07-13
DE102018111935A1 (de) 2018-11-22
JP2018195237A (ja) 2018-12-06
US20180336426A1 (en) 2018-11-22

Similar Documents

Publication Publication Date Title
JP6828587B2 (ja) 画像処理システム、画像処理方法、情報処理装置及び記録媒体
CN111626208B (zh) 用于检测小目标的方法和装置
CN109520744B (zh) 自动驾驶车辆的驾驶性能测试方法和装置
US10642268B2 (en) Method and apparatus for generating automatic driving strategy
WO2009118988A1 (en) Driving support device, driving support method, and driving support program
JP7131990B2 (ja) 交通状況判定システム及び交通状況判定装置
WO2018061619A1 (ja) 経路探索装置、経路探索システム及びコンピュータプログラム
US20160293005A1 (en) Traveling environment evaluation system
US11062154B2 (en) Non-transitory storage medium storing image transmission program, image transmission device, and image transmission method
CN115116024B (zh) 用于车道线标注的验证方法及相关生成方法、相关设备
JP5378002B2 (ja) 車両動作推定装置、車両動作推定方法および車両動作推定プログラム
CN114252081B (zh) 定位方法、装置、设备及存储介质
JP7136138B2 (ja) 地図生成用データ収集装置及び地図生成用データ収集方法ならびに車両
JP5790224B2 (ja) 地図表示システム、方法およびプログラム
EP3189512B1 (en) Methods and server for generating flow data
JP6933069B2 (ja) 経路探索装置
JP2015125060A (ja) 経路探索装置及びその方法、並びに経路を探索するためのコンピュータプログラム及びコンピュータプログラムを記録した記録媒体
CN113470353A (zh) 一种交通等级确定方法、装置、存储介质及电子设备
CN115662167B (zh) 自动驾驶地图构建方法、自动驾驶方法及相关装置
CN114056337A (zh) 车辆行驶行为预测方法、装置及计算机程序产品
CN107730890B (zh) 一种基于实时场景下车流车速预测的智能交通方法
KR102302486B1 (ko) 도시 도로의 운행 속도 처리 방법, 도시 도로의 운행 속도 처리 장치, 기기 및 비휘발성 컴퓨터 저장 매체
CN114821495B (zh) 信息处理装置、信息处理系统及方法、非暂时性存储介质
KR102091555B1 (ko) 차량의 경로별 도착시간 추정 시스템
CN114495505A (zh) 拥堵路段通过时长的预测方法、装置、介质及服务器

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210104

R151 Written notification of patent or utility model registration

Ref document number: 6828587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151