JP7487178B2 - 情報処理方法、プログラム、及び、情報処理装置 - Google Patents

情報処理方法、プログラム、及び、情報処理装置 Download PDF

Info

Publication number
JP7487178B2
JP7487178B2 JP2021511392A JP2021511392A JP7487178B2 JP 7487178 B2 JP7487178 B2 JP 7487178B2 JP 2021511392 A JP2021511392 A JP 2021511392A JP 2021511392 A JP2021511392 A JP 2021511392A JP 7487178 B2 JP7487178 B2 JP 7487178B2
Authority
JP
Japan
Prior art keywords
data
feature
unit
analysis
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021511392A
Other languages
English (en)
Other versions
JPWO2020203241A1 (ja
Inventor
晴義 米川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of JPWO2020203241A1 publication Critical patent/JPWO2020203241A1/ja
Application granted granted Critical
Publication of JP7487178B2 publication Critical patent/JP7487178B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本技術は、情報処理方法、プログラム、及び、情報処理装置に関し、特に、ニューラルネットワークを用いたモデルの解析を行う場合に用いて好適な情報処理方法、プログラム、及び、情報処理装置に関する。
従来、画像パターン認識装置にニューラルネットワークが用いられている（例えば、特許文献１参照）。
特開平５－６１９７６号公報
一方、ニューラルネットワークを用いたモデルの学習状況を解析できるようにすることが望まれている。
本技術は、このような状況に鑑みてなされたものであり、ニューラルネットワークを用いたモデルの学習状況を解析できるようにするものである。
本技術の一側面の情報処理方法は、ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成ステップと、複数の前記特徴マップの前記特徴データに基づく解析用データを生成する解析用データ生成ステップとを含み、前記解析用データには、１つの前記入力データから複数の前記特徴マップを生成する前記モデルの所定の階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記解析用データの第１の方向には、同じ前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記第１の方向と直交する第２の方向には、異なる前記入力データの互いに対応する前記特徴マップの前記特徴データが並べられている。
本技術の一側面のプログラムは、ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成ステップと、複数の前記特徴マップの前記特徴データに基づく解析用データを生成する解析用データ生成ステップとを含み、前記解析用データには、１つの前記入力データから複数の前記特徴マップを生成する前記モデルの所定の階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記解析用データの第１の方向には、同じ前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記第１の方向と直交する第２の方向には、異なる前記入力データの互いに対応する前記特徴マップの前記特徴データが並べられている処理をコンピュータに実行させる。
本技術の一側面の情報処理装置は、ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成部と、複数の前記特徴マップの前記特徴データに基づく解析用データを生成する解析用データ生成部とを備え、前記解析用データには、１つの前記入力データから複数の前記特徴マップを生成する前記モデルの所定の階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記解析用データの第１の方向には、同じ前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記第１の方向と直交する第２の方向には、異なる前記入力データの互いに対応する前記特徴マップの前記特徴データが並べられている。
本技術の一側面においては、ニューラルネットワークを用いたモデルにおいて入力デー
タから生成される特徴マップの特徴を数値で表す特徴データが生成され、複数の前記特徴
マップの前記特徴データに基づく解析用データが生成され、前記解析用データには、１つの前記入力データから複数の前記特徴マップを生成する前記モデルの所定の階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記解析用データの第１の方向には、同じ前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記第１の方向と直交する第２の方向には、異なる前記入力データの互いに対応する前記特徴マップの前記特徴データが並べられる。
車両制御システムの構成例を示すブロック図である。 物体認識モデルの第１の実施の形態を示す図である。 特徴マップの例を示す図である。 本技術を適用した情報処理装置の構成例を示すブロック図である。 学習状況解析処理を説明するためのフローチャートである。 画素値の分散が大きい特徴マップと画素値の分散が小さい特徴マップの例を示す図である。 特徴マップを一列に並べた例を示す図である。 特徴マップを２次元に並べた例を示す図である。 分散ベクトル及び分散ベクトルの画像の例を示す図である。 解析用データの例を示す図である。 学習の進行に伴う解析用データの変化の様子の第１の例を示す図である。 学習初期と学習末期の特徴マップの例を示す図である。 解析用データの例を示す図である。 正則化が強すぎる場合の解析用データの例を示す図である。 正則化が弱すぎる場合の解析用データの例を示す図である。 物体認識モデルの第２の実施の形態を示す図である。 学習の進行に伴う解析用データの変化の様子の第２の例を示す図である。 図１７のＥの解析用データを拡大した図である。 ミリ波画像と撮影画像の第１の例を示す図である。 ミリ波画像と撮影画像の第２の例を示す図である。 ミリ波画像と撮影画像の第３の例を示す図である。 ミリ波画像から生成される特徴マップの例を示す図である。 特徴マップの画素値のヒストグラムの例を示す図である。 特徴マップの画素値の度数分布に基づく解析用データの例を示す図である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．実施の形態
２．学習状況の解析事例
３．変形例
４．その他
＜＜１．実施の形態＞＞
まず、図１乃至図１５を参照して、本技術の実施の形態について説明する。
＜車両制御システム１００の構成例＞
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両１０を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜物体認識モデル２０１の構成例＞
図２は、物体認識モデル２０１の構成例を示している。物体認識モデル２０１は、例えば、図１の車両制御システム１００の車外情報検出部１４１に用いられる。
物体認識モデル２０１には、例えば、車両１０の前方を撮影した画像データである撮影画像（例えば、撮影画像２０２）が入力データとして入力される。そして、物体認識モデル２０１は、撮影画像に基づいて、車両１０の前方の車両の認識処理を行い、認識結果を示す画像データである出力画像（例えば、出力画像２０３）を出力データとして出力する。
物体認識モデル２０１は、畳み込みニューラルネットワーク（ＣＮＮ）を用いたモデルであり、特徴抽出層２１１及び予測層２１２を備える。
特徴抽出層２１１は、複数の階層を備え、各階層は、畳み込み層、プーリング層等からなる。特徴抽出層２１１の各階層は、それぞれ所定の演算により、撮影画像の特徴を示す１以上の特徴マップを生成し、次の階層に供給する。また、特徴抽出層２１１の一部の階層は、特徴マップを予測層２１２に供給する。
なお、特徴抽出層２１１の各階層において生成される特徴マップのサイズ（画素数）は異なり、階層が進むにつれて徐々に小さくなる。
図３は、図２の特徴抽出層２１１の点線の四角で囲まれている中間層である階層２２１において生成され、出力される特徴マップ２３１－１乃至特徴マップ２３１－ｎの例を示している。
階層２２１では、１つの撮影画像に対してｎ個の特徴マップ２３１－１乃至特徴マップ２３１－ｎが生成される。特徴マップ２３１－１乃至特徴マップ２３１－ｎは、例えば、縦３８個×横３８個の画素が２次元に並べられた画像データである。また、特徴マップ２３１－１乃至特徴マップ２３１－ｎは、予測層２１２において認識処理に用いられる特徴マップのうち、最もサイズの大きい特徴マップである。
なお、以下、階層毎に、各撮影画像から生成される特徴マップに１から始まるシリアル番号がそれぞれ割り当てられるものとする。例えば、階層２２１において１つの撮影画像から生成される特徴マップ２３１－１乃至特徴マップ２３１－ｎに、１からｎまでのシリアル番号がそれぞれ割り当てられるものとする。同様に、他の階層において１つの撮影画像から生成される特徴マップに、１からＮまでのシリアル番号がそれぞれ割り当てられるものとする。なお、Ｎは、その階層で１つの撮影画像から生成される特徴マップの数を示す。
予測層２１２は、特徴抽出層２１１から供給される特徴マップに基づいて、車両１０の前方の車両の認識処理を行う。予測層２１２は、車両の認識結果を示す出力画像を出力する。
＜情報処理装置３０１の構成例＞
図４は、図２の物体認識モデル２０１等のニューラルネットワークを用いたモデル（以下、学習モデルと称する）の学習に用いられる情報処理装置３０１の構成例を示している。
情報処理装置３０１は、入力部３１１、学習部３１２、学習状況解析部３１３、出力制御部３１４、及び、出力部３１５を備える。
入力部３１１は、各種のデータや指示等の入力に用いる入力デバイスを備え、入力されたデータや指示等に基づいて入力信号を生成し、学習部３１２に供給する。例えば、入力部３１１は、学習モデルの学習用の教師データの入力に用いられる。
学習部３１２は、学習モデルの学習処理を行う。なお、学習部３１２の学習方法は、特定の方法に限定されない。また、学習部３１２は、学習モデルにおいて生成される特徴マップを学習状況解析部３１３に供給する。
学習状況解析部３１３は、学習部３１２から供給される特徴マップに基づいて、学習部３１２による学習モデルの学習状況の解析等を行う。学習状況解析部３１３は、特徴データ生成部３２１、解析用データ生成部３２２、解析部３２３、及び、パラメータ設定部３２４を備える。
特徴データ生成部３２１は、特徴マップの特徴を数値で表す特徴データを生成し、解析用データ生成部３２２に供給する。
解析用データ生成部３２２は、複数の特徴マップの特徴データを並べた（配列した）解析用データを生成し、解析部３２３及び出力制御部３１４に供給する。
解析部３２３は、解析用データに基づいて、学習モデルの学習状況の解析処理を行い、解析結果を示すデータをパラメータ設定部３２４に供給する。
パラメータ設定部３２４は、学習モデルの学習状況の解析結果に基づいて、学習モデルの学習用の各種のパラメータを設定する。パラメータ設定部３２４は、設定したパラメータを示すデータを学習部３１２に供給する。
出力制御部３１４は、出力部３１５による各種の情報の出力を制御する。例えば、出力制御部３１４は、出力部３１５による解析用データの表示を制御する。
出力部３１５は、視覚情報、聴覚情報等の各種の情報を出力可能な出力デバイスを備える。例えば、出力部３１５は、ディスプレイ、スピーカ等を備える。
＜学習状況解析処理＞
次に、図５のフローチャートを参照して、情報処理装置３０１により実行される学習状況解析処理について説明する。
この処理は、例えば、学習部３１２により学習モデルの学習処理が開始されたとき、開始される。
なお、以下、図２の物体認識モデル２０１の学習処理が行われ、その学習状況の解析を行う場合を例に挙げて説明する。また、以下、物体認識モデル２０１の階層２２１において、１つの撮影画像から５１２個の特徴マップが生成される場合を例に挙げて説明する。
ステップＳ１において、特徴データ生成部３２１は、特徴データを生成する。例えば、特徴データ生成部３２１は、次式（１）により、特徴マップの画素値の散らばり具合を示す分散を算出する。
Figure 0007487178000001
式（１）のｖａｒは、特徴マップの画素値の分散を示している。Ｉは、特徴マップの列方向（縦方向）の画素数から１を引いた値を示し、Ｊは、特徴マップの行方向（横方向）の画素数から１を引いた値を示す。Ａｉ,ｊは、特徴マップの座標（ｉ，ｊ）の画素値を示している。ｍｅａｎは、特徴マップの画素値の平均を示し、式（２）により算出される。
なお、図６のＡは、画素値の分散が大きい特徴マップの例を示しており、図６のＢは、画素値の分散が小さい特徴マップの例を示している。画素値の分散が大きい特徴マップほど、撮影画像の特徴を捉えている可能性が高く、画素値の分散が小さい特徴マップほど、撮影画像の特徴を捉えている可能性が低くなる。
例えば、学習部３１２は、教師データが入力される毎に、物体認識モデル２０１の学習処理を行うとともに、物体認識モデル２０１の階層２２１において教師データに含まれる撮影画像から生成された複数の特徴マップを、特徴データ生成部３２１に供給する。特徴データ生成部３２１は、各特徴マップの画素値の分散を算出し、算出した分散を示す特徴データを解析用データ生成部３２２に供給する。
ステップＳ２において、解析用データ生成部３２２は、解析用データを生成する。
図７は、物体認識モデル２０１の階層２２１において生成される特徴マップを一列に並べた例を示している。特徴マップは、有用な情報を含んでいるが、物体認識モデル２０１の学習状況の解析にはあまり適していない。例えば、２００枚の撮影画像が学習処理に用いられた場合、階層２２１では、合計１０２，４００個（＝５１２個×２００）もの特徴マップが生成される。従って、特徴マップをそのまま用いて物体認識モデル２０１の学習状況の解析を行うのは、情報量が多すぎて難しい。
これに対して、解析用データ生成部３２２は、階層２２１において複数の撮影画像から生成された複数の特徴マップの特徴データを所定の順に並べることにより、情報量を圧縮して、１つの解析用データを生成する。
図８は、物体認識モデル２０１の階層２２１において、２００枚の撮影画像から生成された特徴マップを２次元に並べた例を示している。図内の縦方向の列は、撮影画像の番号を示し、横方向の行は、特徴マップの番号を示している。各行には、各撮影画像から生成された５１２個の特徴マップが、左から右に番号順に並べられている。例えば、１行目には、１番目の撮影画像から生成された５１２個の特徴マップが、左から右に番号順に並べられている。
そして、解析用データ生成部３２２は、撮影画像毎に、各撮影画像から生成された５１２個の特徴マップに基づく５１２個の特徴データ（各特徴マップの分散）を、対応する特徴マップの番号順に並べることにより、５１２次元のベクトル（以下、分散ベクトルと称する）を生成する。例えば、図８の撮影画像１に対して、撮影画像１から生成された特徴マップ１乃至特徴マップ５１２に基づく５１２個の特徴データを要素とする１つの分散ベクトルが生成される。そして、撮影画像１乃至撮影画像２００に対する分散ベクトル１乃至分散ベクトル２００が生成される。
図９は、分散ベクトル、及び、分散ベクトルを画像化した例を示している。分散ベクトルの画像は、分散ベクトルの各要素（特徴データ）の値に応じた色を示す画素を横方向に順番に並べたものである。例えば、画素の色は、画素値である特徴データの値（特徴マップの分散）が小さくなるほど赤くなり、画素値である特徴データの値（特徴マップの分散）が大きくなるほど青くなるように設定されている。なお、分散ベクトルの画像は、実際にはカラーの画像であるが、ここではグレースケールの画像により示されている。
そして、解析用データ生成部３２２は、各撮影画像の分散ベクトルの要素（特徴データ）を画素とする画像データからなる解析用データを生成する。
図１０は、図８の特徴マップに基づいて生成された解析用データを画像化した例を示している。なお、解析用データの画素の色は、例えば、図９の分散ベクトルの画像と同様に、画素値である特徴データの値が小さくなるほど赤くなり、画素値である特徴データの値が大きくなるほど青くなるように設定されている。なお、解析用データの画像は、実際にはカラーの画像であるが、ここではグレースケールの画像により示されている。また、解析用データのｘ軸方向（横方向）は、特徴マップの番号を示し、ｙ軸方向（縦方向）は、撮影画像の番号を示している。
図１０の解析用データでは、図８の特徴マップと同じ並び順に、各特徴マップの特徴データが並べられている。すなわち、解析用データのｘ軸方向（横方向）には、同じ撮影画像から生成された５１２個の特徴マップにそれぞれ基づく５１２個の特徴データが、特徴マップの番号順に並べられている。また、解析用データのｙ軸方向には、異なる撮影画像の互いに対応する（同じ番号の）特徴マップに基づく特徴データが、撮影画像の番号順に並べられている。図内の白丸は、１００番目の撮影画像１００の２００番目の特徴マップ２００に対応する画素の位置を示している。
解析用データ生成部３２２は、生成した解析用データを解析部３２３及び出力制御部３１４に供給する。
出力部３１５は、例えば、出力制御部３１４の制御の下に、解析用データを表示する。
ステップＳ３において、解析部３２３は、解析用データを用いて、学習状況の解析を行う。
図１１は、学習の進行に伴う解析用データの変化の様子の例を示している。図１１のＡ乃至Ｅの解析用データは、学習の進行順に並べられており、図１１のＡの解析用データが最も古く、図１１のＥの解析用データが最も新しい。
学習の初期段階の図１１のＡの解析用データでは、横線（ｘ軸方向のライン）及び縦線（ｙ軸方向のライン）が多い。一方、学習が進むにつれて、横線及び縦線が減少し、図１１のＥの解析用データでは、横線は存在せず、縦線も１０本程度になっている。
ここで、横線は、例えば、画素値（特徴データの値）が所定の閾値以上の画素が所定の閾値以上存在するｘ軸方向の行とする。縦線は、例えば、画素値（特徴データの値）が所定の閾値以上の画素が所定の閾値以上存在するｙ軸方向の列とする。また、横線及び縦線の数は、解析用データのｘ軸方向の行及びｙ軸方向の列毎にカウントされる。すなわち、複数の横線又は複数の縦線が隣接していて１本の線のように見えても、それぞれ別の線としてカウントされる。
そして、この例に示されるように、解析用データの横線がなく、縦線が所定の範囲内に収束するのが理想的な状態であり、学習モデルの学習が適切に行われている状態である。
具体的には、撮影画像の内容に関わらず画素値の分散が大きくなる特徴マップ（以下、高分散特徴マップと称する）が存在する場合、解析用データの高分散特徴マップに対応する列に縦線が現れる。高分散特徴マップは、撮影画像の内容に関わらず撮影画像の特徴を抽出し、学習モデルの物体の認識に寄与する可能性が高い特徴マップである。
一方、撮影画像の内容に関わらず画素値の分散が小さくなる特徴マップ（以下、低分散特徴マップと称する）が存在する場合、解析用データの低分散特徴マップに対応する列には縦線が現れない。低分散特徴マップは、撮影画像の内容に関わらず撮影画像の特徴を抽出せず、学習モデルの物体の認識に寄与する可能性が低い特徴マップである。
従って、高分散特徴マップが多くなるほど、解析用データの縦線の数が多くなり、高分散特徴マップが少なくなるほど、解析用データの縦線の数が少なくなる。
なお、高分散特徴マップは、必ずしも学習モデルの認識対象となる物体（例えば、車両）の認識に寄与するとは限らず、学習が十分でない場合は認識対象以外の物体の認識に寄与する場合もある。ただし、学習モデルが適切に学習されていれば、高分散特徴マップは、学習モデルの認識対象となる物体の認識に寄与する特徴マップとなる。
ここで、一般的に、ニューラルネットワークを用いた学習モデルの学習処理において、過学習の抑制やニューラルネットワークの軽量化等のために、正則化処理が行われる。この正則化処理により、撮影画像から抽出する特徴量の種類が、ある程度絞られる。すなわち、撮影画像の特徴を抽出することが可能な特徴マップ、すなわち、高分散特徴マップの数が、ある程度絞られる。
例えば、図１２に示されるように、学習の初期においては、高分散特徴マップが数多く存在するが、学習の末期には、高分散特徴マップの数が絞り込まれる。
従って、例えば、図１３の矢印で示されるように、解析用データの縦線の数が所定の範囲内に収束するのが、正則化が正常に行われている理想的な状態である。
一方、図１４に示されるように、学習が進むにつれて、解析用データの縦線の数が減少しすぎたり、０になったりするのは、正則化が強すぎて、撮影画像の特徴を十分に抽出できていない状態である。また、図１５に示されるように、学習が進んでも、解析用データの縦線の数が減少しないのは、正則化が弱すぎて、撮影画像から抽出する特徴の種類を絞り切れていない状態である。
そこで、解析部３２３は、解析用データの縦線の数が所定の範囲内に収束した場合、学習処理の正則化が正常に行われていると判定する。一方、解析部３２３は、解析用データの縦線の数が所定の範囲を超える値に収束した場合、又は、縦線の数が収束しない場合、正則化が弱すぎると判定する。また、解析部３２３は、解析用データの縦線の数が所定の範囲未満の値に収束した場合、正則化が強すぎると判定する。
なお、正則化処理を行わない場合であっても、学習が進むにつれて、解析用データの縦線の数は減少し、収束する。この場合、解析用データの縦線の数は、正則化処理を行わない場合と比較して大きな値で収束するが、正則化処理を行う場合と同様に、縦線の数に基づいて学習処理が正常に行われているか否かを判定することが可能である。
また、ほとんどの特徴マップの画素値の分散が大きくなる撮影画像（以下、高分散撮影画像と称する）が存在する場合、解析用データの高分散撮影画像に対応する行に横線が現れる。一方、ほとんどの特徴マップの画素値の分散が小さくなる撮影画像（以下、低分散撮影画像と称する）が存在する場合、解析用データの低分散撮影画像に対応する行に横線は現れない。
従って、高分散撮影画像と低分散撮影画像が混在している場合、解析用データに横線が現れる。これは、各特徴マップの役割分担が十分にできておらず、すなわち、各特徴マップが抽出する特徴が明確に分かれておらず、撮影画像の内容により、各特徴マップが抽出する特徴にバラツキがある状態を示している。
従って、解析用データの横線の数は少ないほどよく、横線の数が０となるのが最も理想的な状態である。
そこで、解析部３２３は、解析用データの横線の数が所定の閾値未満の値に収束した場合、学習処理が正常に行われていると判定する。一方、解析部３２３は、解析用データの横線の数が所定の閾値以上の値に収束した場合、又は、横線の数が収束しない場合、学習処理が正常に行われていないと判定する。
そして、解析部３２３は、学習状況の解析結果を示すデータをパラメータ設定部３２４に供給する。
ステップＳ４において、パラメータ設定部３２４は、解析結果に基づいて、学習処理のパラメータを調整する。例えば、パラメータ設定部３２４は、解析部３２３により正則化が強すぎると判定された場合、正則化処理に用いる正則化パラメータの値を現在の値より小さくする。一方、パラメータ設定部３２４は、解析部３２３により正則化が弱すぎると判定された場合、正則化パラメータの値を現在の値より大きくする。なお、正則化パラメータの値が大きくなるほど、正則化が強くなり、正則化パラメータの値が小さくなるほど、正則化が弱くなる。パラメータ設定部３２４は、調整後の正則化パラメータを示すデータを学習部３１２に供給する。
学習部３１２は、正則化パラメータの値をパラメータ設定部３２４により設定された値に設定する。これにより、学習モデルの学習処理において、正則化がより正常に行われるようになる。
なお、例えば、ユーザが、出力部３１５において表示された解析用データを参照して、正則化パラメータ等の学習用のパラメータの調整を行うようにしてもよい。
ステップＳ５において、学習状況解析部３１３は、学習部３１２による学習処理が終了したか否かを判定する。まだ学習処理が終了していないと判定された場合、処理はステップＳ１に戻る。その後、ステップＳ５において、学習処理が終了したと判定されるまで、ステップＳ１乃至ステップＳ５の処理が繰り返し実行される。
一方、ステップＳ５において、学習処理が終了したと判定された場合、学習状況解析処理は終了する。
以上のようにして、学習部３１２による学習モデルの学習状況を解析することができる。また、解析結果に基づいて、学習処理のパラメータを適切に設定し、学習精度を高めたり、学習時間を短縮したりすることができる。
また、ユーザは、解析用データを視認することにより、学習モデルの学習状況を容易に認識することができる。
＜＜２．学習状況の解析事例＞＞
次に、図１６乃至図２２を参照して、図４の情報処理装置３０１を用いて学習モデルの学習状況を解析した事例について説明する。
なお、以上の説明では、撮影画像に基づいて車両の認識処理を行う物体認識モデル２０１の学習状況を解析する例を示したが、情報処理装置３０１の解析対象となる学習モデルが用いる画像データの種類や認識対象となる物体の種類は、特に限定されない。以下では、車両１０の前方を撮影した撮影画像、及び、車両１０の前方を監視するミリ波レーダから出力されるミリ波画像に基づいて、車両１０の前方の車両の認識処理を行う物体認識モデルの学習状況を解析した事例について説明する。
＜物体認識モデル４０１の構成例＞
図１６は、学習状況の解析を行う対象となった学習モデルである物体認識モデル４０１の構成例を示している。物体認識モデル４０１は、例えば、図１の車両制御システム１００の車外情報検出部１４１に用いられる。
物体認識モデル４０１には、例えば、車両１０の前方を撮影した画像データである撮影画像（例えば、撮影画像４０２）、及び、車両１０の前方を監視するミリ波レーダから出力されるミリ波画像（例えば、ミリ波画像４０３）が入力データとして入力される。なお、ミリ波画像は、例えば、車両１０の前方の物体により反射されたミリ波レーダの受信信号の強度の分布を鳥瞰図により表した画像データである。そして、物体認識モデル４０１は、撮影画像及びミリ波画像に基づいて、車両１０の前方の車両の認識処理を行い、認識結果を示す画像データである出力画像（例えば、出力画像４０４）を出力データとして出力する。
物体認識モデル４０１は、ＤＳＳＤ（Deconvolutional Single Shot Detector）を用いた学習モデルである。物体認識モデル４０１は、特徴抽出層４１１、特徴抽出層４１２、結合部４１３、及び、予測層４１４を備える。
特徴抽出層４１１は、図２の物体認識モデル２０１の特徴抽出層２１１と同様の構成を有している。特徴抽出層４１１の各階層は、それぞれ所定の演算により、撮影画像の特徴を示す特徴マップを生成し、次の階層に供給する。また、特徴抽出層４１１の一部の階層は、特徴マップを結合部４１３に供給する。
特徴抽出層４１２は、階層構造を有しており、各階層は、畳み込み層、プーリング層等からなる。特徴抽出層４１２の各階層は、それぞれ所定の演算により、ミリ波画像の特徴を示す特徴マップを生成し、次の階層に供給する。また、特徴抽出層４１２の一部の階層は、特徴マップを結合部４１３に供給する。さらに、特徴抽出層４１２は、ミリ波画像を撮影画像と同じカメラ座標系の画像に変換する。
結合部４１３は、特徴抽出層４１１と特徴抽出層４１２の互いに対応する階層から出力される特徴マップを結合して、予測層４１４に供給する。
予測層４１４は、結合部４１３から供給される特徴マップに基づいて、車両１０の前方の車両の認識処理を行う。予測層４１４は、車両の認識結果を示す出力画像を出力する。
なお、物体認識モデル４０１は、カメラ用ネットワーク４２１、ミリ波レーダ用ネットワーク４２２、及び、結合用ネットワーク４２３に分かれる。
カメラ用ネットワーク４２１は、結合対象とならない特徴マップを撮影画像から生成する、特徴抽出層４１１の前半部分を含む。
ミリ波レーダ用ネットワーク４２２は、結合対象とならない特徴マップをミリ波画像から生成する、特徴抽出層４１２の前半部分を含む。
結合用ネットワーク４２３は、結合対象となる特徴マップを生成する特徴抽出層４１１の後半部分、結合対象となる特徴マップを生成する特徴抽出層４１２の後半部分、結合部４１３、及び、予測層４１４を含む。
ここで、物体認識モデル４０１の学習処理を行い、学習後の物体認識モデル４０１を用いて車両１０の前方の車両の認識処理を行ったところ、何も認識できずに、車両の認識に失敗する結果に終わった。
そこで、図５を参照して上述した学習状況解析処理により、物体認識モデル４０１の学習状況の解析を行った。具体的には、図１６の太い枠線で囲まれている特徴抽出層４１１の中間層である階層４３１で生成され、出力される特徴マップ、及び、特徴抽出層４１２の中間層である階層４３２で生成され、出力される特徴マップの解析処理を行った。なお、階層４３１で生成される特徴マップは、予測層４１４の認識処理に用いられる特徴抽出層４１１の特徴マップのうち、最もサイズの大きい特徴マップである。階層４３２で生成される特徴マップは、予測層４１４の認識処理に用いられる特徴抽出層４１２の特徴マップのうち、最もサイズの大きい特徴マップである。
そして、特徴抽出層４１１の階層４３１で生成される特徴マップに基づく解析用データは、先に示した図１１に示されるように、学習処理が進むにつれて、横線が消え、縦線の数が所定の範囲内に収束した。
一方、特徴抽出層４１２の階層４３２で生成される特徴マップに基づく解析用データは、図１７のＡ乃至Ｅに示されるように、学習処理が進んでも、横線が消えずに残った。すなわち、特徴抽出層４１２において、学習が適切に行われておらず、ミリ波画像の特徴が適切に抽出されていないことが分かった。なお、図１７のＡ乃至Ｅの解析用データは、図１１のＡ乃至Ｅと同様に、学習の進行順に並べられている。図１８は、図１７のＥの解析用データを拡大したものである。
そこで、解析用データに横線が現れる原因を探るために、横線が現れた行に対応する撮影画像及びミリ波画像が調査された。
図１９乃至図２１は、図１８の矢印で示される、解析用データの横線が現れた行に対応するミリ波画像及び撮影画像を模式的に示している。図１９乃至図２１のＡは、ミリ波画像をグレースケールの画像に変換したものであり、図１９乃至図２１のＢは、撮影画像を線図にしたものである。
そして、図１９乃至図２１のＡの撮影画像の例に示されるように、解析用データの横線が現れている行では、全て車両１０が高速道路の中央車線を走行していることが分かった。
また、図２２は、解析用データの横線が現れている行の特徴マップの例を示している。ミリ波画像５０１は、解析用データの横線が現れている行のミリ波画像をグレースケールの画像に変換したものであり、特徴マップ５０２－１乃至特徴マップ５０２－４は、ミリ波画像５０１から生成された特徴マップの一部である。
特徴マップ５０２－１乃至特徴マップ５０２－４では、車両１０の前方の左右の端付近において画素値が大きく変化している。これにより、ミリ波画像から生成された特徴マップでは、車両１０の前方の車両ではなく、車両の前方の左右の壁等に対応する特徴が抽出されやすいことが分かる。
これにより、特徴抽出層４１２は、車両１０の前方の車両よりも、左右の壁等の認識に適している可能性があることが分かった。
このように、解析用データを用いることにより、物体認識モデル４０１が車両の認識に失敗する原因を容易に特定することができた。
＜＜３．変形例＞＞
以下、上述した本技術の実施の形態の変形例について説明する。
解析用データに用いる特徴データは、上述した特徴マップの画素値の分散に限定されるものではなく、特徴マップの特徴を表す他の数値を用いることが可能である。
例えば、特徴マップの画素値の平均値、最大値、中央値等を特徴データに用いることが可能である。
また、例えば、次式（３）により計算される特徴マップのノルムを特徴データに用いても良い。
Figure 0007487178000002
式（３）のｎｏｒｍは、特徴マップのノルムを示している。ｎ、ｍは、任意の数を示している。他の記号は、上述した式（１）と同様である。
特徴マップのノルムは、特徴マップの画素値の平均値に対する各画素の画素値の散らばり具合が大きくなるほど大きくなり、特徴マップの画素値の平均値に対する各画素の画素値の散らばり具合が小さくなるほど小さくなる。従って、特徴マップのノルムは、特徴マップの画素値の散らばり具合を示す。
さらに、例えば、特徴マップの画素値の度数分布を特徴データに用いてもよい。
図２３は、特徴マップの画素値のヒストグラム（度数分布）の例を示している。横軸は、特徴マップの画素値に基づく階級を示している。すなわち、特徴マップの画素値が複数の階級に分類されている。縦軸は、度数を示している。すなわち、画素値が各階級に属する特徴マップの画素の個数を示している。
そして、複数の入力画像（例えば、上述した撮影画像又はミリ波画像等）から生成された複数の特徴マップに基づいて、図２４に示される解析用データが生成される。
図２４の解析用データ５２１は、ヒストグラムの階級毎に生成される２次元の度数マップ５２２－１乃至度数マップ５２２－ｍをｚ軸方向（奥行き方向）に並べた３次元のデータである。
具体的には、度数マップ５２２－１のｘ軸方向（横方向）は、特徴マップの番号を示し、ｙ軸方向は、入力画像の番号を示している。
度数マップ５２２－１では、各入力画像の特徴マップのヒストグラムの１番目の階級の度数が、対応する特徴マップの番号順にｘ軸方向（横方向）に並べられている。また、異なる入力画像の同じ番号の特徴マップに対応する度数が、対応する入力画像の番号順にｙ軸方向（縦方向）に並べられている。
度数マップ５２２－２乃至度数マップ５２２－ｍについても同様に、各撮影画像の特徴マップのヒストグラムのｉ番目（ｉ＝２～ｍ）の階級の度数が、ｘ軸方向及びｙ軸方向に並べられている。
度数マップ５２２－１乃至度数マップ５２２－ｍは、例えば、それぞれ上述した２次元の解析用データと同様に、縦線及び横線に基づいて、学習状況の解析に用いることができる。また、例えば、解析用データ５２１は、ｚ軸方向の線に基づいて、学習状況の解析に用いることができる。
また、例えば、１以上の画像データから生成される複数の特徴マップに基づく特徴データのうち、所定の条件を満たす特徴データのみを抽出し、抽出した特徴データを含む解析用データを生成するようにしてもよい。例えば、特徴データが特徴マップの画素値の分散である場合、１つの画像データから生成された複数の特徴マップに基づく特徴データのうち、値が所定の閾値以上の特徴データを抽出し、抽出した特徴データを含む解析用データを生成するようにしてもよい。この場合、解析用データには、画素値の分散が所定の閾値以上の特徴マップの特徴データ（＝画素値の分散）のみが含まれる。
さらに、例えば、１以上の画像データに対してニューラルネットワークの異なる階層において生成された複数の特徴マップに基づいて解析用データを生成するようにしてもよい。例えば、各階層において生成された特徴マップの特徴データをｘ軸方向及びｙ軸方向の２次元に配列した階層毎のデータを、ｚ軸方向に積層することにより、３次元の解析用データを生成するようにしてもよい。すなわち、この解析用データにおいては、ｘ軸方向及びｙ軸方向に、同じ階層において生成された特徴マップの特徴データが並べられ、ｚ軸方向に、異なる階層において生成された特徴マップの特徴データが並べられる。
また、以上の説明では、学習処理と並行して学習状況の解析処理を行う例を示したが、例えば、学習状況の解析処理は、学習処理の終了後に行うことも可能である。例えば、学習処理中に生成される特徴マップを蓄積しておき、学習処理後に蓄積された特徴マップに基づいて、解析用データを生成して、学習状況の解析を行うようにしてもよい。
さらに、学習処理の解析対象となる学習モデルは、上述した例に限定されず、ニューラルネットワークを用いた学習モデル全般を対象とすることができる。例えば、車両以外の物体を認識する認識モデル、及び、車両を含む複数の物体を認識する認識モデルも対象となる。また、入力データが画像データ以外の学習モデルも対象となる。例えば、音声データを入力データとする音声認識モデルや、文章データを入力データとする文章解析モデル等も対象となる。
＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ１０００において、CPU（Central Processing Unit）１００１，ROM（Read Only Memory）１００２，RAM（Random Access Memory）１００３は、バス１００４により相互に接続されている。
バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及びドライブ１０１０が接続されている。
入力部１００６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、例えば、記録部１００８に記録されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成ステップと、
複数の前記特徴マップの前記特徴データに基づく解析用データを生成する解析用データ生成ステップと
を含む情報処理方法。
（２）
前記解析用データには、複数の前記特徴マップの前記特徴データが並べられている
前記（１）に記載の情報処理方法。
（３）
前記解析用データには、１つの前記入力データから複数の前記特徴マップを生成する前記モデルの所定の階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられている
前記（２）に記載の情報処理方法。
（４）
前記解析用データの第１の方向には、同じ前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記第１の方向と直交する第２の方向には、異なる前記入力データの互いに対応する前記特徴マップの前記特徴データが並べられている
前記（３）に記載の情報処理方法。
（５）
前記特徴データは、前記特徴マップの画素値の散らばり具合を示す
前記（４）に記載の情報処理方法。
（６）
前記解析用データの前記第１の方向の線及び前記第２の方向の線に基づいて、前記モデルの学習状況の解析を行う解析ステップを
さらに含む前記（５）に記載の情報処理方法。
（７）
前記モデルの学習状況の解析結果に基づいて、前記モデルの学習用のパラメータを設定するパラメータ設定ステップを
さらに含む前記（６）に記載の情報処理方法。
（８）
前記パラメータ設定ステップにおいて、前記解析用データの前記第２の方向の線の数に基づいて、前記モデルの学習用の正則化パラメータが設定される
前記（７）に記載の情報処理方法。
（９）
前記特徴データは、前記特徴マップの画素値の度数分布を示し、
前記解析用データには、前記モデルの前記階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが３次元に並べられている
前記（３）に記載の情報処理方法。
（１０）
前記入力データは、画像データであり、
前記モデルは、物体の認識処理を行う
前記（１）乃至（９）のいずれかに記載の情報処理方法。
（１１）
前記モデルは、車両の認識処理を行う
前記（１０）に記載の情報処理方法。
（１２）
前記入力データは、ミリ波レーダの受信信号の強度の分布を鳥瞰図により表す画像データである
前記（１１）に記載の情報処理方法。
（１３）
前記モデルは、前記画像データをカメラ座標系の画像に変換する
前記（１２）に記載の情報処理方法。
（１４）
前記解析用データは、複数の前記特徴マップの前記特徴データのうち所定の条件を満たす前記特徴データを含む
前記（１）に記載の情報処理方法。
（１５）
ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成ステップと、
複数の前記特徴マップの前記特徴データを並べた解析用データを生成する解析用データ生成ステップと
を含む処理をコンピュータに実行させるためのプログラム。
（１６）
ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成部と、
複数の前記特徴マップの前記特徴データを並べた解析用データを生成する解析用データ生成部と
を備える情報処理装置。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０ 車両， １００ 車両制御システム， １４１ 車外情報検出部， ２０１ 物体認識モデル， ２１１ 特徴抽出層， ２２１ 階層， ３０１ 情報処理装置， ３１２ 学習部， ３１３ 学習状況解析部， ３２１ 特徴データ生成部， ３２２ 解析用データ生成部， ３２３ 解析部， ３２４ パラメータ設定部， ４０１ 物体認識モデル ４１１，４１２ 特徴抽出層， ４２１ カメラ用ネットワーク， ４２２ ミリ波レーダ用ネットワーク， ４２３ 結合用ネットワーク， ４３１，４３２ 階層

Claims (13)

  1. ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成ステップと、
    複数の前記特徴マップの前記特徴データに基づく解析用データを生成する解析用データ生成ステップと
    を含み、
    前記解析用データには、１つの前記入力データから複数の前記特徴マップを生成する前記モデルの所定の階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記解析用データの第１の方向には、同じ前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記第１の方向と直交する第２の方向には、異なる前記入力データの互いに対応する前記特徴マップの前記特徴データが並べられている
    情報処理方法。
  2. 前記特徴データは、前記特徴マップの画素値の散らばり具合を示す
    請求項１に記載の情報処理方法。
  3. 前記解析用データの前記第１の方向の線及び前記第２の方向の線に基づいて、前記モデルの学習状況の解析を行う解析ステップを
    さらに含む請求項２に記載の情報処理方法。
  4. 前記モデルの学習状況の解析結果に基づいて、前記モデルの学習用のパラメータを設定するパラメータ設定ステップを
    さらに含む請求項３に記載の情報処理方法。
  5. 前記パラメータ設定ステップにおいて、前記解析用データの前記第２の方向の線の数に基づいて、前記モデルの学習用の正則化パラメータが設定される
    請求項４に記載の情報処理方法。
  6. 前記特徴データは、前記特徴マップの画素値の度数分布を示し、
    前記解析用データには、前記モデルの前記階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが３次元に並べられている
    請求項１に記載の情報処理方法。
  7. 前記入力データは、画像データであり、
    前記モデルは、物体の認識処理を行う
    請求項１に記載の情報処理方法。
  8. 前記モデルは、車両の認識処理を行う
    請求項７に記載の情報処理方法。
  9. 前記入力データは、ミリ波レーダの受信信号の強度の分布を鳥瞰図により表す画像データである
    請求項８に記載の情報処理方法。
  10. 前記モデルは、前記画像データをカメラ座標系の画像に変換する
    請求項９に記載の情報処理方法。
  11. 前記解析用データは、複数の前記特徴マップの前記特徴データのうち所定の条件を満たす前記特徴データを含む
    請求項１に記載の情報処理方法。
  12. ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成ステップと、
    複数の前記特徴マップの前記特徴データに基づく解析用データを生成する解析用データ生成ステップと
    を含み、
    前記解析用データには、１つの前記入力データから複数の前記特徴マップを生成する前記モデルの所定の階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記解析用データの第１の方向には、同じ前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記第１の方向と直交する第２の方向には、異なる前記入力データの互いに対応する前記特徴マップの前記特徴データが並べられている
    処理をコンピュータに実行させるためのプログラム。
  13. ニューラルネットワークを用いたモデルにおいて入力データから生成される特徴マップの特徴を数値で表す特徴データを生成する特徴データ生成部と、
    複数の前記特徴マップの前記特徴データに基づく解析用データを生成する解析用データ生成部と
    を備え、
    前記解析用データには、１つの前記入力データから複数の前記特徴マップを生成する前記モデルの所定の階層において複数の前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記解析用データの第１の方向には、同じ前記入力データから生成された複数の前記特徴マップの前記特徴データが並べられ、前記第１の方向と直交する第２の方向には、異なる前記入力データの互いに対応する前記特徴マップの前記特徴データが並べられている
    情報処理装置。
JP2021511392A 2019-03-29 2020-03-17 情報処理方法、プログラム、及び、情報処理装置 Active JP7487178B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019065378 2019-03-29
JP2019065378 2019-03-29
PCT/JP2020/011601 WO2020203241A1 (ja) 2019-03-29 2020-03-17 情報処理方法、プログラム、及び、情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2020203241A1 JPWO2020203241A1 (ja) 2020-10-08
JP7487178B2 true JP7487178B2 (ja) 2024-05-20

Family

ID=72668318

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021511392A Active JP7487178B2 (ja) 2019-03-29 2020-03-17 情報処理方法、プログラム、及び、情報処理装置

Country Status (7)

Country Link
US (1) US20220172484A1 (ja)
EP (1) EP3951663A4 (ja)
JP (1) JP7487178B2 (ja)
KR (1) KR20210142604A (ja)
CA (1) CA3134088A1 (ja)
MX (1) MX2021011219A (ja)
WO (1) WO2020203241A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165753A1 (en) 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
WO2018230832A1 (en) 2017-06-15 2018-12-20 Samsung Electronics Co., Ltd. Image processing apparatus and method using multi-channel feature map

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058951B2 (ja) 1991-09-03 2000-07-04 浜松ホトニクス株式会社 画像パターン認識装置
US10515304B2 (en) * 2015-04-28 2019-12-24 Qualcomm Incorporated Filter specificity as training criterion for neural networks
US20190026588A1 (en) * 2017-07-19 2019-01-24 GM Global Technology Operations LLC Classification methods and systems
WO2019039279A1 (ja) * 2017-08-22 2019-02-28 ソニー株式会社 信号処理装置、および信号処理方法、プログラム、移動体、並びに、信号処理システム
EP3617947A1 (en) * 2018-08-30 2020-03-04 Nokia Technologies Oy Apparatus and method for processing image data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018165753A1 (en) 2017-03-14 2018-09-20 University Of Manitoba Structure defect detection using machine learning algorithms
WO2018230832A1 (en) 2017-06-15 2018-12-20 Samsung Electronics Co., Ltd. Image processing apparatus and method using multi-channel feature map

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Matthew D. Zeiler et al.，Visualizing and Understanding Convolutional Networks，arxiv.org，2013年11月28日，https://arxiv.org/abs/1311.2901

Also Published As

Publication number Publication date
EP3951663A4 (en) 2022-05-04
WO2020203241A1 (ja) 2020-10-08
JPWO2020203241A1 (ja) 2020-10-08
MX2021011219A (es) 2021-10-22
CA3134088A1 (en) 2020-10-08
US20220172484A1 (en) 2022-06-02
KR20210142604A (ko) 2021-11-25
EP3951663A1 (en) 2022-02-09

Similar Documents

Publication Publication Date Title
US11531354B2 (en) Image processing apparatus and image processing method
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
US20210116930A1 (en) Information processing apparatus, information processing method, program, and mobile object
KR102613792B1 (ko) 촬상 장치, 화상 처리 장치 및 화상 처리 방법
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US11501461B2 (en) Controller, control method, and program
US20230215196A1 (en) Information processing apparatus, information processing method, and program
US20230230368A1 (en) Information processing apparatus, information processing method, and program
US11363212B2 (en) Exposure control device, exposure control method, program, imaging device, and mobile body
US20200302780A1 (en) Information processing apparatus, information processing method, moving object, and vehicle
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
EP4160526A1 (en) Information processing device, information processing method, information processing system, and program
US20220277556A1 (en) Information processing device, information processing method, and program
US20220383749A1 (en) Signal processing device, signal processing method, program, and mobile device
US20230245423A1 (en) Information processing apparatus, information processing method, and program
WO2021193103A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
JP7497298B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2024024471A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2023054090A1 (ja) 認識処理装置、認識処理方法、および認識処理システム
WO2022019117A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
US20230377108A1 (en) Information processing apparatus, information processing method, and program
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240508

R150 Certificate of patent or registration of utility model

Ref document number: 7487178

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150