JP7272243B2 - 車両走行方法、目標位置入力アプリケーション - Google Patents
車両走行方法、目標位置入力アプリケーション Download PDFInfo
- Publication number
- JP7272243B2 JP7272243B2 JP2019210980A JP2019210980A JP7272243B2 JP 7272243 B2 JP7272243 B2 JP 7272243B2 JP 2019210980 A JP2019210980 A JP 2019210980A JP 2019210980 A JP2019210980 A JP 2019210980A JP 7272243 B2 JP7272243 B2 JP 7272243B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- target position
- image
- information
- communication terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
特許文献2には、運転者が乗車した状態で、自車両の駐車を支援する駐車支援装置が記載されている。本駐車支援装置において、車載カメラの撮像画像に基づいて俯瞰画像が作成され、俯瞰画像に基づいて自車両が停止可能な位置が取得され、俯瞰画像に停止可能な位置を表す画像および自車両を表す画像が重ねて表示される。また、目標位置は車両において運転者によって入力される。
そのうちの照合ECU12は、情報通信端末8や携帯キー(以下、スマートキーと称する)22から送信された情報であるリモート情報に含まれる識別情報の照合等を行うものである。PVM(panoramic view monitor)ECU14は、例えば、車両に設けられた複数(本実施例においては、4つ)の車載撮像装置としての車載カメラ24の撮像画像等に基づいてパノラマ画像を作成するものである。車両にはIR灯光器26も設けられるため、暗くてもパノラマ画像を作成することができる。
なお、スマートキー22の自車両に対する相対位置は、照合ECU12ではなく、CSRECU16等の別のECUにおいて取得されるようにすることもできる。
また、情報通信端末8から送信されたリモート情報に入庫指示情報が含まれ、かつ、リモート情報に含まれる識別情報が合致した場合には、入庫(駐車)後、盗難防止装置56がロックされ、HV/EFIアクチュエータ30actが停止させられる。
なお、駆動源は、電動モータを備え、エンジンを備えていないものとしたり、電動モータを備えず、エンジンを備えたものとしたりすること等もできる。
撮像装置104のレンズを向けることにより画像である撮像画像が取得され、ディスプレイ106に表示される。一方、AI(artificial intelligence)により撮像画像に基づいて路面の勾配、高さ制限になり得る物体(以下、単に高さ制限と称する)の有無等が取得され、これら路面の勾配、高さ制限等と、予め入力されている自車両の大きさとに基づいて、自車両が停止可能である位置である停止可能位置が抽出される。そして、その停止可能位置を表す画像SP(以下、停止枠画像SPと称する)が、図4(A)に示すように、AR(Augmented Reality)技術を利用してディスプレイ106に撮像画像に重ねて表示される。なお、図4(A)は、停止枠画像SPが1つの場合を示すが、停止枠画像SPは複数表示される場合がある。
自車両の大きさは、例えば、自車両の前後方向の長さ、幅方向の長さ、ルーフまでの高さ等で表すことができる。
AIにより入力された目標位置に自車両が停止可能であると判定された場合には、図4(B)に示すように、撮像画像上の、その入力された目標位置に自車両を表す画像である自車両画像Xが重ねて表示される。その目標位置に自車両が停止不能であると判定された場合には、図4(C)に示すように、撮像画像上の、その入力された目標位置に自車両の外形を破線で示す画像である破線画像Yが重ねて表示されるとともに、停止できないことを表す画像である停止不可情報画像Zが別の部分に重ねて表示される。
また、運転者はAR表示された自車両画像Xの向きをディスプレイ106において変更することにより、目標位置における自車両の向きを変更することができる。
GPS受信機112、方位センサ110、ジャイロセンサ108等により、撮像装置104により撮像画像が得られた時点の、情報通信端末8の位置、撮像装置104の向き、垂直軸線に対する傾斜角度が取得される。そして、図3に示すように、撮像装置104の向き、傾斜角度(光軸の傾斜角度)θ、設定倍率、水平方向,垂直方向の各々のレンズの画角(垂直方向の画角をφとする)等に基づいて、目標位置の情報通信端末8に対する相対位置が取得される。
運転者は自車両を出庫させる場合に、車両の外において、情報通信端末8を操作する。また、入庫させる場合に、スマートキー22を持って車両から降りて、例えば、図7に示すように、運転者Hは位置P1において目標位置である入庫位置(駐車位置)へ情報通信端末8を向けて操作する。
S21において、目標位置関連情報が検出されたか否か(目標位置関連情報を含むリモート情報が受信されたか否か)が判定される。判定がYESである場合には、S22において、車載カメラ24の撮像画像に基づいて俯瞰画像が取得される。また、S23において、スマートキー22の自車両に対する相対位置が取得され、情報通信端末8の自車両に対する相対位置が補正され、S24において、補正された情報通信端末8の自車両に対する相対位置に基づいて、目標位置関連情報に基づいて取得された目標位置の情報通信端末8に対する相対位置が補正され、これら補正された情報通信端末8の自車両に対する相対位置と、目標位置の情報通信端末8に対する相対位置とに基づいて、目標位置の自車両に対する相対位置が取得される。そして、S25において、俯瞰画像において目標位置が設定される。S26において、自車両が目標位置へ走行する経路、運転計画が作成されて、制御指令値が作成されて運転マネジャ18に供給される。S27において、運転マネジャ18は、制御指令値をHV/EFIシステム30、EPSシステム32、SBWシステム34に供給するとともに、制御指令値に基づいて、EPBアクチュエータ36act、ブレーキアクチュエータ38act等を制御する。自車両が制御されるのであり、目標位置へ走行させられる。
このように、本実施例においては、目標位置の入力の利便性を向上させることができる。
この場合において、広角レンズを用いることにより、車両と目標位置とが離れていても、1つの撮像画像に車両と目標位置とを含ませることができる場合がある。
なお、図7において、運転者Hは、撮像装置104により位置P1において目標位置が含まれる画像を撮像し、位置P2に移動して自車両Vが含まれる画像を撮像することもできる。本実施例においては、第1相対位置情報および情報通信端末8の絶対位置情報と、第2相対位置情報および情報通信端末8の絶対位置情報とが目標位置関連情報として作成されて、送信される。
前記情報通信端末が、端末撮像装置と、その端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部とを含み、
前記端末表示部に表示された前記撮像画像上に、前記目標位置を入力する目標位置入力工程と、
前記目標位置入力工程において入力された前記目標位置に関する情報である目標位置関連情報を作成する目標位置関連情報作成工程と、
前記目標位置関連情報作成工程において作成された前記目標位置関連情報を前記自車両に送信する送信工程と、
前記情報通信端末から送信され、前記自車両において受信した前記目標位置関連情報に基づいて前記目標位置を設定し、前記自車両を制御することにより前記目標位置へ走行させる自車両制御工程と
を含む車両走行方法。
目標位置関連情報は、例えば、(i)目標位置の絶対位置を表す情報を含むものとしたり、(ii)目標位置の情報通信端末に対する相対位置を表す情報である第1相対位置情報を含むものとしたり、(iii)自車両の情報通信端末に対する相対位置または情報通信端末の自車両に対する相対位置を表す情報である第2相対位置情報および第1相対位置情報を含むものとしたり、(iii)情報通信端末の位置、姿勢、方位等を表す情報および目標位置が表示された撮像画像情報等を含むものとしたりすること等ができる。
また、撮像画像は、動画であっても静止画であってもよい。
前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、前記目標位置入力工程において入力された前記目標位置に前記自車両を停止可能であるか否かを判定する判定工程と、
前記判定工程の判定結果を表す画像を、前記端末表示部に表示された前記撮像画像上に重ねて表示する判定結果AR表示工程と
を含む(1)項に記載の車両走行方法。
また、目標位置に自車両を停止可能であるか否かは、自車両の大きさのみならず、路面勾配、高さ制限の有無等に基づいて判定されるようにすることができる。
停止可能位置が抽出される場合には、路面勾配、高さ制限の有無等も考慮される。また、停止可能位置は、撮像画像上に1つ以上抽出されることが多い。
オペレータである運転者は、スマートキーと情報通信端末とを所持していることが多い。そのため、スマートキーの自車両に対する相対位置は情報通信端末の自車両に対する相対位置と同じであると考えることができる。
前記情報通信端末が、端末撮像装置と、その端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部とを含み、
前記端末撮像装置が前記目標位置を含む領域に向けられることにより得られた撮像画像と、前記端末表示部に表示された前記撮像画像上に入力された前記目標位置とに基づいて、前記目標位置に関する情報である目標位置関連情報を作成する目標位置関連情報作成ステップと、
前記目標位置関連情報作成ステップにおいて作成された前記目標位置関連情報を前記車両に送信する送信ステップと
を含む目標位置入力アプリケーション。
本目標位置入力アプリケーションは、(1)項ないし(4)項のいずれかに記載の車両走行方法が実行される場合に、情報通信端末において実行されるようにすることができる。
前記停止可否判定ステップにおける判定結果を表す画像を、前記端末表示部に表示された前記撮像画像上の前記入力された前記目標位置に重ねて表示させる判定結果AR表示ステップとを含む(5)項に記載の目標位置入力アプリケーション。
なお、判定結果を表す画像は、目標位置から外れた位置に表示されるようにすることもできる。
自車両が停止可能な位置は、例えば、AIを利用して抽出することができる。例えば、路面勾配が小さく、高さ制限がない位置であって、前記自車両の大きさ以上の位置は停止可能位置であると抽出され得る。
情報通信端末の状態、換言すると、端末撮像装置の状態は姿勢等取得装置によって取得されるようにすることができる。姿勢等取得装置は、例えば、方位センサとジャイロセンサとの少なくとも一方を含むものとすることができる。方位センサによれば情報通信端末(端末撮像装置)の向きを取得することができ、ジャイロセンサによれば情報通信端末の垂直軸線または水平軸線に対する傾斜角度を取得することができる。
車両において、車両において取得された画像データに、撮像画像に目標位置が表示された画像を合わせることにより、目標位置を特定し、設定することができる。また、車両において取得された画像には、GIS情報、Googleマップ、車載カメラの撮像画像、その撮像画像に基づいて取得された俯瞰画像等が該当する。
なお、その他、撮像装置の設定倍率、画角等の情報も含ませることができる。
前記目標位置関連情報作成ステップが、前記自車両の前記情報通信端末に対する相対位置である第2相対位置を取得する第2相対位置取得ステップを含み、前記目標位置関連情報を、前記第1相対位置情報と、前記第2相対位置取得ステップにおいて取得された前記第2相対位置を表す情報である第2相対位置情報とを含むものとして作成する(8)項に記載の目標位置入力アプリケーション。
前記目標位置関連情報作成ステップが、前記目標位置関連情報を、前記目標位置撮像画像に基づいて取得された前記目標位置の前記情報通信端末に対する第1相対位置を表す情報である第1相対位置情報と、前記自車両撮像画像に基づいて取得された前記自車両の前記情報通信端末に対する第2相対位置を表す情報である第2相対位置情報とを含むものとして作成する(8)項に記載の目標位置入力アプリケーション。
前記情報通信端末の端末撮像装置が前記目標位置を含む領域に向けられることにより得られた画像である撮像画像を取得する撮像画像取得工程と、
前記撮像画像取得工程において取得され、前記情報通信端末の端末表示部に表示された撮像画像上に前記目標位置を入力する目標位置入力工程と、
前記目標位置入力工程において入力された前記目標位置に関する情報である目標位置関連情報を作成して、前記自車両に送信する送信工程と、
前記情報通信端末から送信されて、前記車両において受信した前記目標位置関連情報に基づいて、前記車両において取得された画像データ上に前記目標位置を設定する目標位置設定工程と
を含む目標位置設定方法。
本項に記載の特徴は、(1)項ないし(4)項に記載の車両走行方法、(5)項ないし(12)項に記載の目標位置入力アプリケーション、(14)項ないし(16)項に記載の車両走行システムに適用することができる。
前記情報通信端末が、
端末撮像装置と、
前記端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部と、
前記端末表示部に表示された撮像画像に目標位置を入力可能な端末入力装置と、
前記端末入力装置によって入力された前記目標位置に関する情報である目標位置関連情報を送信する端末送信装置と
を含み、
前記車両が、
前記情報通信端末から送信された前記目標位置関連情報を受信する車両受信装置と、
前記車両受信装置において受信した前記目標位置関連情報に基づいて、前記目標位置の前記自車両に対する相対位置を取得し、前記自車両を制御することにより、前記目標位置へ走行させる車両制御装置と
を含む車両走行システム。
前記自車両の周辺を表す画像データを取得する画像データ取得部と、
その画像データ取得部によって取得された前記画像データに、前記目標位置関連情報に基づいて取得された前記目標位置を設定する目標位置設定部と
を含み、
前記車両制御装置が、前記目標位置設定部によって設定された前記目標位置まで前記自車両を走行させる経路を作成し、運転計画を作成する経路等作成部を含む(14)項に記載の車両走行システム。
前記車両制御装置が、
前記スマートキーとの通信により前記スマートキーの位置を取得し、そのスマートキーの位置に基づいて前記情報通信端末の位置を補正し、前記目標位置を補正する目標位置補正部と
を含む(14)項または(15)項に記載の車両走行システム。
Claims (4)
- 情報通信端末と車両との通信に基づいて、前記車両である自車両を制御して目標位置へ走行させる車両走行方法であって、
前記情報通信端末が、端末撮像装置と、その端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部とを含み、
前記自車両が、コンピュータを主体とする車両制御装置を含み、
前記情報通信端末において実行される、
(a)前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、オペレータの操作によって前記端末表示部に表示された前記撮像画像上に入力された目標位置に、前記自車両を停止可能であるか否かを判定する判定工程と、
(b)前記判定工程において前記目標位置に前記自車両を停止可能であると判定された場合と停止不能であると判定された場合とで、異なる画像を前記端末表示部に表示された前記撮像画像上に重ねて表示する判定結果AR表示工程と、
(c)前記判定結果AR表示工程において表示された画像に基づいて決定された前記目標位置に関する情報である目標位置関連情報を作成する目標位置関連情報作成工程と、
(d)前記目標位置関連情報作成工程において作成された前記目標位置関連情報を前記自車両に送信する送信工程と、
前記車両制御装置において実行される、前記情報通信端末から送信され、前記自車両において受信した前記目標位置関連情報に基づいて前記目標位置を設定し、前記自車両を制御することにより前記目標位置へ走行させる自車両制御工程と
を含む車両走行方法。 - 当該車両走行方法が、前記オペレータによって前記目標位置が入力される前に前記情報通信端末において実行される、前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、前記自車両が停止可能な位置である停止可能位置を抽出し、前記停止可能位置を表す画像である停止可能位置画像を前記端末表示部によって表示された前記撮像画像の前記停止可能位置に重ねて表示する停止可能位置画像AR表示工程を含み、前記停止可能位置画像AR表示工程において前記停止可能位置画像が前記撮像画像に重ねて表示された画像上に、前記オペレータによって前記目標位置が入力される請求項1に記載の車両走行方法。
- 車両と情報通信端末との通信に基づいて前記車両である自車両を制御して目標位置へ走行させる車両走行システムにおいて、前記情報通信端末に記憶され、実行される目標位置入力アプリケーションであって、
前記情報通信端末が、端末撮像装置と、その端末撮像装置が向けられることにより得られた画像である撮像画像を表示する端末表示部とを含み、
前記端末撮像装置が前記目標位置を含む領域に向けられることにより得られた撮像画像と、前記端末表示部に表示された前記撮像画像上に入力された前記目標位置とに基づいて、前記撮像画像上の前記入力された前記目標位置に前記自車両が停止可能であるか否かを、予め記憶された前記自車両の大きさに基づいて判定する停止可否判定ステップと、
前記停止可否判定ステップにおいて、前記目標位置に前記自車両を停止可能であると判定された場合と停止不能であると判定された場合とで、異なる画像を前記端末表示部に表示された前記撮像画像上に重ねて表示する判定結果AR表示ステップと、
前記判定結果AR表示ステップにおいて表示された画像に基づいて決定された前記目標位置に関する情報である目標位置関連情報を作成する目標位置関連情報作成ステップと、
前記目標位置関連情報作成ステップにおいて作成された前記目標位置関連情報を前記車両に送信する送信ステップと
を含む目標位置入力アプリケーション。 - 当該目標位置入力アプリケーションが、前記停止可否判定ステップの前に設けられ、前記撮像画像と、予め入力された前記自車両の大きさとに基づいて、前記端末表示部に表示された前記撮像画像上の前記自車両が停止可能な位置である停止可能位置を抽出し、前記停止可能位置を表す画像を、前記撮像画像の前記抽出された前記停止可能位置に重ねて表示する停止可能位置画像AR表示ステップを含む請求項3に記載の目標位置入力アプリケーション。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019210980A JP7272243B2 (ja) | 2019-11-22 | 2019-11-22 | 車両走行方法、目標位置入力アプリケーション |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019210980A JP7272243B2 (ja) | 2019-11-22 | 2019-11-22 | 車両走行方法、目標位置入力アプリケーション |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021079892A JP2021079892A (ja) | 2021-05-27 |
JP7272243B2 true JP7272243B2 (ja) | 2023-05-12 |
Family
ID=75963918
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019210980A Active JP7272243B2 (ja) | 2019-11-22 | 2019-11-22 | 車両走行方法、目標位置入力アプリケーション |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7272243B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011051403A (ja) | 2009-08-31 | 2011-03-17 | Fujitsu Ltd | 駐車支援装置 |
DE102016214433A1 (de) | 2016-08-04 | 2018-02-08 | Volkswagen Aktiengesellschaft | Ablenkungsfreies Fernsteuern eines Kraftfahrzeugs mit einem Parkassistenzsystem |
JP2019043429A (ja) | 2017-09-05 | 2019-03-22 | 三菱電機株式会社 | 自動駐車装置 |
JP2019073190A (ja) | 2017-10-17 | 2019-05-16 | パナソニックIpマネジメント株式会社 | プログラムおよび駐車支援装置 |
US20190166338A1 (en) | 2017-11-28 | 2019-05-30 | Jaguar Land Rover Limited | Projection apparatus |
JP2019119233A (ja) | 2017-12-28 | 2019-07-22 | 日産自動車株式会社 | 駐車制御方法及び駐車制御装置 |
JP2019161549A (ja) | 2018-03-15 | 2019-09-19 | 株式会社デンソーテン | 車両遠隔操作装置及び車両遠隔操作方法 |
-
2019
- 2019-11-22 JP JP2019210980A patent/JP7272243B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011051403A (ja) | 2009-08-31 | 2011-03-17 | Fujitsu Ltd | 駐車支援装置 |
DE102016214433A1 (de) | 2016-08-04 | 2018-02-08 | Volkswagen Aktiengesellschaft | Ablenkungsfreies Fernsteuern eines Kraftfahrzeugs mit einem Parkassistenzsystem |
JP2019043429A (ja) | 2017-09-05 | 2019-03-22 | 三菱電機株式会社 | 自動駐車装置 |
JP2019073190A (ja) | 2017-10-17 | 2019-05-16 | パナソニックIpマネジメント株式会社 | プログラムおよび駐車支援装置 |
US20190166338A1 (en) | 2017-11-28 | 2019-05-30 | Jaguar Land Rover Limited | Projection apparatus |
JP2019119233A (ja) | 2017-12-28 | 2019-07-22 | 日産自動車株式会社 | 駐車制御方法及び駐車制御装置 |
JP2019161549A (ja) | 2018-03-15 | 2019-09-19 | 株式会社デンソーテン | 車両遠隔操作装置及び車両遠隔操作方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021079892A (ja) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11377099B2 (en) | Parking assist system | |
US20200398825A1 (en) | Parking assist system | |
EP3290301B1 (en) | Parking assist device | |
US20200398826A1 (en) | Parking assist system | |
JP7275520B2 (ja) | 車両制御装置 | |
US11364897B2 (en) | Parking assist system | |
US11584364B2 (en) | Vehicle control device, vehicle, operation method for vehicle control device and storage medium | |
US11364933B2 (en) | Vehicle control system | |
US11256247B2 (en) | Vehicle control system | |
US20220309803A1 (en) | Image display system | |
JP2021163066A (ja) | 駐車枠認識システム、及び、駐車枠認識システムを備えた駐車支援システム | |
US11327479B2 (en) | Vehicle control system | |
US20210158702A1 (en) | Vehicle control apparatus, vehicle control method, and storage medium | |
US20200398865A1 (en) | Parking assist system | |
JP7000401B2 (ja) | 車両制御装置、車両、車両制御装置の動作方法およびプログラム | |
JP7272243B2 (ja) | 車両走行方法、目標位置入力アプリケーション | |
JP2021094938A (ja) | 車両用表示装置及び駐車支援システム | |
US11327480B2 (en) | Vehicle control system | |
JP6998359B2 (ja) | 駐車支援システム | |
CN113460037B (zh) | 驻车辅助系统 | |
US20220299993A1 (en) | Remote operation system | |
US20230311917A1 (en) | Control device, control method, and computer-readable recording medium | |
US20240140403A1 (en) | Moving body control device, moving body control method, and moving body control program | |
CN112977418A (zh) | 驻车辅助系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220125 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230410 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7272243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |