JP6923362B2 - 操舵角決定装置、自動運転車 - Google Patents

操舵角決定装置、自動運転車 Download PDF

Info

Publication number
JP6923362B2
JP6923362B2 JP2017106180A JP2017106180A JP6923362B2 JP 6923362 B2 JP6923362 B2 JP 6923362B2 JP 2017106180 A JP2017106180 A JP 2017106180A JP 2017106180 A JP2017106180 A JP 2017106180A JP 6923362 B2 JP6923362 B2 JP 6923362B2
Authority
JP
Japan
Prior art keywords
steering angle
network
steering
value
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017106180A
Other languages
English (en)
Other versions
JP2018199473A (ja
Inventor
和寿 石丸
和寿 石丸
ホセイン テヘラニニキネジャド
ホセイン テヘラニニキネジャド
ジョン ヴィジャイ
ジョン ヴィジャイ
誠一 三田
誠一 三田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota School Foundation
Denso Corp
Original Assignee
Toyota School Foundation
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota School Foundation, Denso Corp filed Critical Toyota School Foundation
Priority to JP2017106180A priority Critical patent/JP6923362B2/ja
Publication of JP2018199473A publication Critical patent/JP2018199473A/ja
Application granted granted Critical
Publication of JP6923362B2 publication Critical patent/JP6923362B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Description

本開示は、自動操舵に関する。
特許文献1は、移動物体を追跡する技術に関し、移動物体の移動シーンを選択し、選択された移動シーンに基づき追跡パラメータを推定する手法を開示している。
特開2012−059224号公報
上記先行技術は、移動シーンの選択の精度、さらには追跡自体の精度が不十分であった。本開示は、上記を踏まえ、進行方向のシーンに基づく自動操舵の精度を向上させることを解決課題とする。
本開示の一形態は、進行方向のシーンに応じた操舵角(zk)を出力する操舵角決定部(S200)と;前記操舵角出力部によって出力された操舵角を修正して得られる値を、操舵角の最終値(xk)として出力する最終値出力部(S300)とを備え;前記最終値出力部は、過去に出力した最終値に基づき、前記修正を実施し;前記操舵角出力部は;前記進行方向のシーンを撮像して得られる画像から取得された入力データが入力されると、複数回のプーリング処理によって7×7までに情報が圧縮された前記入力データの特徴量を表すシーン特徴量(λ)を出力する特徴量出力部(210)と;前記シーン特徴量が入力されると、操舵角を出力する操舵角出力部(220)とを備える操舵角決定装置である。この形態によれば、進行方向のシーンに基づく特徴量を用いる点、及び、過去に出力した最終値に基づき修正された値が出力される点によって、進行方向のシーンに基づく自動操舵の精度が向上する。
本開示の他の形態は、進行方向のシーンに応じた操舵角を出力する操舵角決定部と;前記操舵角出力部によって出力された操舵角を修正して得られる値を、操舵角の最終値として出力する最終値出力部とを備え;前記最終値出力部は、過去に出力した最終値に基づき、前記修正を実施する操舵角決定装置である。この形態によれば、過去に出力した最終値に基づき修正された値が出力される点によって、進行方向のシーンに基づく自動操舵の精度が向上する。
本開示の他の形態は、進行方向のシーンを撮像して得られる画像から取得された入力データが入力されると、前記入力データの特徴量を表すシーン特徴量を出力する特徴量出力部と;前記シーン特徴量が入力されると、操舵角を出力する操舵角出力部と;を備える操舵角決定装置である。この形態によれば、進行方向のシーンに基づく特徴量を用いる点によって、進行方向のシーンに基づく自動操舵の精度が向上する。
自動運転車の概略を示すブロック図。 操舵角決定処理を示すフローチャート。 初期値決定処理を実現するためのネットワーク構造。 最終値決定処理を実現するためのネットワーク構造。 学習の手順を示すフローチャート。 エキスパートネットワークの構造図。 ゲーティングネットワークの構造図。 最終値決定処理を実現するためのネットワーク構造(実施形態3)。
実施形態1を説明する。図1に示す自動運転車1は、少なくとも自動操舵が可能なレベル以上の自動運転車である。自動運転車1は、ECU10を搭載する。
ECU10は、カメラECUである。ECU10は、カメラ21とカメラ22とから撮像データとして各画素のRGB値を取得し、後述する操舵角決定処理を実行する。
カメラ21,22は、自動運転車1の前方が撮像範囲内となるように搭載されている。カメラ21,22は、ステレオカメラを構成している。
ECU10は、この撮像データによって表される画像に基づき、図2に示す操舵角決定処理によって操舵角xkを決定し、ステアリング装置15に入力する。xに併記された添え字は、時刻を表す。kは、現在時刻を表す。
ステアリング装置15は、図示しないECUや、モータ等を備える。ステアリング装置15は、ECU10から入力された操舵角xkを実現するための動作をすると共に、操舵角xkに応じてステアリングホイール17を回転させる。
ECU10は、自動操舵機能がオンに設定されている間、繰り返し、操舵角決定処理を実行する。ステアリング装置15は、自動操舵機能がオフに設定されている間、電動パワーステアリング装置として機能する。
ECU10は、操舵角決定処理を開始すると、S100として、撮像データを取得する。続いて、撮像データに基づき、S200として初期値決定処理を実行することによって、初期値zkを得る。最後に、S300として、初期値zkを用いて最終値決定処理を実行することによって、最終値xkを得る。最終値xkは、先述したステアリング装置15に入力される操舵角xkのことである。
図3に示すように、初期値決定処理は、畳み込みニューラルネットワーク210(以下、CNN210)と、初期値決定部220との動作によって実現される。
撮像データは、入力データに変換される。入力データは、CNN210に入力される。入力データは、227ピクセル×227ピクセルである。入力データの各ピクセルには、輝度値と、距離を示す値とが対応付けられている。距離とは、自動運転車1からの距離のことである。
入力データは、畳み込み層によって、中間データC1に変換される。中間データC1は、プーリング層によって、中間データMP1に変換される。本実施形態では、MAXプーリングを用いる。中間データMP1は、正規化層による局所コントラスト正規化によって、中間データLRN1に変換される。LRNは、Local Contrast Normalizationの頭字語である。
以下、図3に示すように、畳み込み層による中間データC2、プーリング層による中間データMP2、正規化層による中間データLRN2、畳み込み層による中間データC3,C4,C5順次、得られる。中間データから抽出される7ピクセル×7ピクセル×256のデータを、シーン特徴量λと呼ぶ。時刻kにおけるシーン特徴量は、λkと表される。
初期値決定部220は、シーン特徴量λkが入力されると、初期値zkを出力する。初期値決定部220は、エクストラツリーに基づく回帰関数(Extra trees-based regression function)によって構成されている。エクストラツリーは、ランダムフォレストの一種であり、分類および回帰のための集団学習法(アンサンブル学習法ともいう)である。
次に、最終値決定処理について説明する。図4に示すように、最終値決定処理における入力は過去値xk-2,過去値xk-1及び初期値zkであり、出力は最終値xkである。過去値xk-1は、前回の最終値決定処理における最終値xkである。xk-2は、前々回の最終値決定処理における最終値xkである。最終値決定処理は、初期値zkを、過去値xk-2及び過去値xk-1に基づき修正する処理である。以下、入力値としての3つの値を入力値セットと呼ぶ。
入力値セットは、第1ネットワーク構造310に入力される。具体的には、入力値セットは、ゲーティングネットワーク311と、エキスパートネットワーク群320とのそれぞれに入力される。エキスパートネットワーク群320は、第1エキスパートネットワーク321と、第2エキスパートネットワーク322と、第3エキスパートネットワーク323とを備える。入力値セットは、第1〜第3エキスパートネットワーク321〜323のそれぞれに入力される。上記各種ネットワークの詳細については、これらの学習について後述する際に説明する。
ゲーティングネットワーク311は、入力値セットが入力されると、重みgk 1,重みgk 2,及び重みgk 3を出力する。gk 1+gk 2+gk 3=1である。
重みgk 1は,直進するための操舵角を、最終値xkとして出力すべき尤もらしさを意味する。重みgk 2は,右に操舵するための操舵角を、最終値xkとして出力すべき尤もらしさを意味する。重みgk 3は,左に操舵するための操舵角を、最終値xkとして出力すべき尤もらしさを意味する。
本実施形態におけるゲーティングネットワーク311は、重みgk 1,重みgk 2,及び重みgk 3の何れか1つの値が1に決定する。このため、残りの2つの値はゼロになる。つまり、本実施形態におけるゲーティングネットワーク311は、直進すべきか、右に操舵すべきか、左に操舵すべきかを、一意に決定していることになる。
第1エキスパートネットワーク321は、入力値セットが入力されると、操舵角θk 1を出力する。操舵角θk 1は、直進すべきであると仮定した場合に、入力値セットから導かれる操舵角である。
第2エキスパートネットワーク322は、入力値セットが入力されると、操舵角θk 2を出力する。操舵角θk 2は、右に操舵すべきであると仮定した場合に、入力値セットから導かれる操舵角である。
第3エキスパートネットワーク323は、入力値セットが入力されると、操舵角θk 3を出力する。操舵角θk 3は、左に操舵すべきであると仮定した場合に、入力値セットから導かれる操舵角である。
ゲーティングネットワーク311及びエキスパートネットワーク群320からの出力は、第2ネットワーク構造330に入力される。第2ネットワーク構造330に入力されるのは、3つの値である。具体的にはθk 1×gk 1、θk 2×gk 2、θk 3×gk 3が入力される。gk 1、gk 2、gk 3のうちの2つはゼロであるので、実質的にはエキスパートネットワーク群320から出力された3つの値のうち、値が1である重みに対応する値のみが入力されることになる。
第2ネットワーク構造330は、リファインメントネットワークである。第2ネットワーク構造330は、2層の隠れ層から構成される。2層のそれぞれは、32のユニットから構成される。1層目と2層目とのユニットは、全結合されている。入力層と第1層目とのユニットも全結合されており、第2層目のユニットと出力層とも全結合されている。第2ネットワーク構造330による微調整を経て、最終値xkが出力される。
以下、上記した各種ネットワークの学習について説明する。図5に示すように、初めに、CNN210の教師あり学習を実施する。真値として与える情報は、入力データにおける各ピクセルが、自車が走行すべき道路面であるか否かを示す情報である。この学習を経ることによって、CNN210は、シーン特徴量λとして、道路面に関する特徴量を出力できるようになる。
続いて、S420として、初期値決定部220の教師あり学習を実施する。真値として与える情報は、運転者がステアリングホイール17を操作することによって定まる操舵角であり、図3には真値δkとして示されている。初期値決定部220は、このような学習によって、シーン特徴量λkに応じて適切な初期値zkを出力することができるように、エクストラツリーに基づく回帰関数を決定する。
次に、S430としてエキスパートネットワーク群320の教師あり学習を実施する。図6に示された添え字iは、1,2,3の何れかである。以下ではi=1として、第1エキスパートネットワーク321を例にとって説明する。第1エキスパートネットワーク321は、図6に示すように、1層の隠れ層を有する。この隠れ層は、32のユニットから構成される。入力層および隠れ層は、全結合されている。
上記隠れ層の各ユニットは、LSTMから構成されている。LSTMは、Long Short-Term Memoryの頭字語である。LSTMは、リカレントニューラルネットワークの一種である。LSTMは、選択的な忘却や、長期的な依存関係の学習ができるという特徴を有する。このため、初期値zkを、過去値xk-2及び過去値xk-1に基づき修正する処理に適している。
学習データは、入力値セットと真値δkとの多数の組み合わせである。つまり、初期値zk,過去値xk-1,過去値xk-2,真値δkの組み合わせについて、kを3以上の整数として、多数のkの場合を学習データとする。第1エキスパートネットワーク321は、直進のための操舵角を出力するネットワークであるので、実際に直進している場合のみを抽出して学習データとする。抽出は、人が実施する。
図6に示すように、入力値セットを入力層に入力した場合に出力されるxk 1が、δkに一致するように、各ユニットの学習を実施する。
i=2,3の場合、つまり第2エキスパートネットワーク322,第3エキスパートネットワーク323の場合についても同様な学習を実施する。
S430の学習を経ることによって、操舵角の決定について、過去の操舵角を加味して現在の操舵角を決定できるようになるので、人が操作した場合と近い操舵角が出力できるようになる。
次に、S440として、ゲーティングネットワーク311の教師あり学習を実施する。ゲーティングネットワーク311の構造および学習は、エキスパートネットワーク群320の場合と類似しているので、エキスパートネットワーク群320の場合と異なる点を主に説明する。
図7に示すように、出力層は、重みgk 1,重みgk 2,及び重みgk 3の各値を出力する。このため、学習データは、入力値セットと、重みgk 1,重みgk 2,及び重みgk 3の真値との多数の組み合わせである。
重みgk 1,重みgk 2,及び重みgk 3の真値は、エキスパートネットワーク群320の学習の際にi=1,2,3と分類した結果を流用する。例えば、i=1に分類された入力値セットについて学習させる場合は、gk 1=1,gk 2=gk 3=0が真値になる。
S440の学習を経ることによって、直進すべきか、右に操舵すべきか、左に操舵すべきかの判断結果として、人が判断した場合と近い出力が得られるようになる。
最後に、S450として、第2ネットワーク構造330の教師あり学習を実施する。第2ネットワーク構造330のための学習データは、図4に示されるように、学習済みのゲーティングネットワーク311及びエキスパートネットワーク群320からの出力値と、真値δkとである。第2ネットワーク構造330から出力されるxkが真値δkに一致するように、第2ネットワーク構造330を構成する各ユニットの学習が実施される。S450の学習を経ることによって、滑らかな操舵が実現される。
本実施形態によれば、人が操作した場合と近い操舵が自動で実行できる。特に、シーン特徴量λは、複数回のプーリング処理によって、7×7までに情報が圧縮されたデータであるので、シーンの識別用として適している。この点が、上記効果に大きく貢献している。
また、過去値xk-2及び過去値xk-1に基づく修正を実施する点も、上記効果に大きく貢献している。これは、上記の修正が、ステアリング操作の学習と相性が良いからである。つまり、人が操作する場合においても、ステアリングホイールの操作量の決定において、現在において視認している前景だけではなく、過去における操作量を加味していると考えられるからである。
但し、人が操作する場合に、過去における操作量を加味しているということは、従来、明確に認知されていた訳ではない。むしろ、本実施形態の自動運転車1によって、従来よりも優れた自動操舵を実現できるという実験結果から「人が操作する場合に、過去における操作量を加味していることが推論できる」という知見が得られたと考えるべきである。
なお、本実施形態の操舵角決定処理は、パーティクルフィルタと同様な働きをしていると考えられる。つまり、操舵角決定処理は、物体の検出と追跡を同時に行う逐次追跡アルゴリズムを実現している。具体的には、現状態から起こり得る多数の次状態を、多数のパーティクルに見立て、全パーティクルの尤度に基づいた重み付け平均を次状態として予測しながら追跡を実行する処理と同種の処理であるといえる。
但し、操舵角決定処理は、特に、CNN210を用いて自動車の進行方向のシーンを高精度に特定している点において、通常のパーティクルフィルタを用いる手法よりも、人が操作した場合と近い操舵が実現される。
実施形態2を説明する。実施形態2の説明は、実施形態1と異なる点を主な対象とする。特に説明しない点は、実施形態1と同じである。
実施形態2では、最終値決定処理を実施しない。ECU10は、ステアリング装置15に対して、初期値zkを入力する。ステアリング装置15は、初期値zkを用いて操舵を実現する。
本実施形態によっても、CNN210を用いているので、人が操作した場合と近い操舵が実現される。
実施形態3を説明する。実施形態3の説明は、実施形態1と異なる点を主な対象とする。特に説明しない点は、実施形態1と同じである。
図8に示すように、実施形態3においては、ゲーティングネットワーク311にGPS信号が入力される。実施形態3においては、ゲーティングネットワーク311の学習においてもGPS信号が真値として入力される。このため、ゲーティングネットワーク311の出力の精度が更に向上する。
ECU10は操舵角決定装置に、CNN210は特徴量出力部に、初期値決定部220は操舵角出力部に、S200は操舵角決定部に、S300は最終値出力部に対応する。
本開示は、本明細書の実施形態や実施例、変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例、変形例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下のものが例示される。
実施形態で説明した各種のネットワークについて、構造や、学習のさせ方を変更してもよい。例えば、CNN210の学習において、具体的な状況を示す情報をシーンの真値として与えてもよい。具体的な状況とは、例えば、高速道路の走行中、郊外路の走行中、駐車場を走行中、高速道路のランプウェイを走行中等である。或いは、CNN210を構成する層の配置を、変更してもよい。
エキスパートネットワーク群320を構成する各々のエキスパートネットワークがどのような出力を担当するかの構造を、変更してもよい。例えば、5つのエキスパートネットワークを用意し、直進、大きく右に操舵、小さく右に操舵、大きく左に操舵、小さく左に操舵の5パターンを担当させてもよい。
実施形態2のように初期値zkを用いて操舵を実現する形態であっても、最終値決定処理を実施してもよい。
ゲーティングネットワークが出力する各値は、ゼロ又は1でなくてもよく、ゼロより大きく1より小さい値でもよい。
第2ネットワーク構造330は、無くてもよい。
最終値決定処理において過去値として用いる値の数は、2つでなくてもよく、少なくとも1つあればよい。
自動操舵を適用する対象は、自動車に限られず、操舵を伴う輸送用機器であればよい。
進行方向は、前方に限られず、例えば後方でもよい。つまり、本開示の自動操舵をバック時に適用してもよい。この場合は、後方を撮像するカメラを備えるのが好ましい。
上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。
1 自動運転車、10 ECU、210 畳み込みニューラルネットワーク、220 初期値決定部

Claims (8)

  1. 進行方向のシーンに応じた操舵角(zk)を出力する操舵角決定部(S200)と、
    前記操舵角決定部によって出力された操舵角を修正して得られる値を、操舵角の最終値(xk)として出力する最終値出力部(S300)とを備え、
    前記最終値出力部は、過去に出力した最終値に基づき、前記修正を実施し、
    前記操舵角決定部は、
    前記進行方向のシーンを撮像して得られる画像から取得された入力データが入力されると、複数回のプーリング処理によって7×7までに情報が圧縮された前記入力データの特徴量を表すシーン特徴量(λ)を出力する特徴量出力部(210)と、
    前記シーン特徴量が入力されると、操舵角を出力する操舵角出力部(220)とを備える
    操舵角決定装置。
  2. 前記操舵角決定部は、教師あり学習によって学習済みである
    請求項1に記載の操舵角決定装置。
  3. 前記最終値出力部は、教師あり学習によって学習済みである
    請求項1または請求項に記載の操舵角決定装置。
  4. 前記最終値出力部は、第1ネットワーク構造(310)と、第2ネットワーク構造(330)とを備え、
    前記第1ネットワーク構造は、前記修正を実施し、
    前記第2ネットワーク構造は、前記第1ネットワーク構造によって修正された値を調整して、前記最終値として出力する
    請求項1から請求項の何れか一項に記載の操舵角決定装置。
  5. 前記第1ネットワーク構造は、ゲーティングネットワーク(311)と、エキスパートネットワーク(321,322,323)とを有し、
    前記ゲーティングネットワーク及び前記エキスパートネットワークは、LSTMによって構成されたユニットを含むことによって、前記修正を実現する
    請求項に記載の操舵角決定装置。
  6. 前記特徴量出力部は、畳み込みニューラルネットワークによって構成されている
    請求項1に記載の操舵角決定装置。
  7. 前記特徴量出力部は、教師あり学習によって学習済みである
    請求項1または請求項に記載の操舵角決定装置。
  8. 請求項1から請求項の何れか一項に記載の操舵角決定装置と、
    前記最終値を用いて、操舵を実現するステアリング装置と、
    を備える自動運転車。
JP2017106180A 2017-05-30 2017-05-30 操舵角決定装置、自動運転車 Active JP6923362B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017106180A JP6923362B2 (ja) 2017-05-30 2017-05-30 操舵角決定装置、自動運転車

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017106180A JP6923362B2 (ja) 2017-05-30 2017-05-30 操舵角決定装置、自動運転車

Publications (2)

Publication Number Publication Date
JP2018199473A JP2018199473A (ja) 2018-12-20
JP6923362B2 true JP6923362B2 (ja) 2021-08-18

Family

ID=64666960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017106180A Active JP6923362B2 (ja) 2017-05-30 2017-05-30 操舵角決定装置、自動運転車

Country Status (1)

Country Link
JP (1) JP6923362B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900002853A1 (it) * 2019-02-27 2020-08-27 Magneti Marelli Spa "Sistema per ottenere la predizione di un’azione di un veicolo e procedimento corrispondente"
JP7319094B2 (ja) * 2019-06-06 2023-08-01 日野自動車株式会社 運転支援制御装置
CN112686812B (zh) * 2020-12-10 2023-08-29 广州广电运通金融电子股份有限公司 银行卡倾斜矫正检测方法、装置、可读存储介质和终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013193490A (ja) * 2012-03-16 2013-09-30 Nsk Ltd 電動パワーステアリング装置
JP2014024448A (ja) * 2012-07-26 2014-02-06 Fuji Heavy Ind Ltd 車両の操舵支援装置
JP6236296B2 (ja) * 2013-11-14 2017-11-22 株式会社デンソーアイティーラボラトリ 学習装置、学習プログラム、及び学習方法
US10909329B2 (en) * 2015-05-21 2021-02-02 Baidu Usa Llc Multilingual image question answering
US9965705B2 (en) * 2015-11-03 2018-05-08 Baidu Usa Llc Systems and methods for attention-based configurable convolutional neural networks (ABC-CNN) for visual question answering
JP6565615B2 (ja) * 2015-11-06 2019-08-28 株式会社デンソー 車両制御装置

Also Published As

Publication number Publication date
JP2018199473A (ja) 2018-12-20

Similar Documents

Publication Publication Date Title
US11176416B2 (en) Perception device
US11402848B2 (en) Collision-avoidance system for autonomous-capable vehicles
US20220311926A1 (en) Real-time hdr video for vehicle control
JP6615933B2 (ja) 知的地形特定のための方法及び装置、車両搭載端末、並びに車両
CN110065500B (zh) 处理传感器数据的方法、相应设计的预处理单元以及车辆
JP6923362B2 (ja) 操舵角決定装置、自動運転車
US20150353011A1 (en) Apparatus for providing around view and vehicle including the same
CN109204308B (zh) 车道保持算法的确定方法、车道保持的控制方法及系统
JP2002230530A (ja) 車線離脱防止方法
US20230342894A1 (en) Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data
US9894348B2 (en) Driver assistance for a vehicle
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
CN116645650A (zh) 用于摄像机到地面的对准的方法和系统
US11860627B2 (en) Image processing apparatus, vehicle, control method for information processing apparatus, storage medium, information processing server, and information processing method for recognizing a target within a captured image
JP6905433B2 (ja) 車両行動予測装置、車両行動予測方法および車両行動予測用のニューラルネットワークの学習方法
DE112020001581T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
US11600078B2 (en) Information processing apparatus, information processing method, vehicle, information processing server, and storage medium
JP7122394B2 (ja) 撮像部制御装置
CN115443651A (zh) 基于车辆摄像头在车辆上的位置和基于当前运动参数来确定摄像头图像的当前聚焦区域
JP6693387B2 (ja) 画像処理装置
JP7351889B2 (ja) 車室内監視・状況理解感知方法及びそのシステム
CN114639125B (zh) 基于视频图像的行人意图预测方法、装置及电子设备
US20220165067A1 (en) Method, system and computer program product for detecting movements of the vehicle body in the case of a motor vehicle
JP7116613B2 (ja) 画像処理装置および画像処理方法
WO2022244800A1 (ja) 画像処理アルゴリズム評価装置

Legal Events

Date Code Title Description
A80 Written request to apply exceptions to lack of novelty of invention

Free format text: JAPANESE INTERMEDIATE CODE: A80

Effective date: 20170613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210729

R150 Certificate of patent or registration of utility model

Ref document number: 6923362

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250