JP4522880B2 - 車両操縦システム - Google Patents
車両操縦システム Download PDFInfo
- Publication number
- JP4522880B2 JP4522880B2 JP2005033038A JP2005033038A JP4522880B2 JP 4522880 B2 JP4522880 B2 JP 4522880B2 JP 2005033038 A JP2005033038 A JP 2005033038A JP 2005033038 A JP2005033038 A JP 2005033038A JP 4522880 B2 JP4522880 B2 JP 4522880B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- vehicle
- priority
- captured image
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Steering Control In Accordance With Driving Conditions (AREA)
- Traffic Control Systems (AREA)
Description
本発明は上記事情に鑑みてなされたもので、車両を遠隔操作する遠隔操作装置の表示画面に車両の外界を撮像して得た適切な画像を表示することが可能な車両操縦システムを提供することを目的としている。
各撮像装置221,…,22nは、例えば可視光領域や赤外線領域にて撮像可能なCCDカメラやCMOSカメラ等からなる複数の第1〜第nカメラ311,…,31nおよび画像処理部321,…,32nを備えて構成され、各カメラ311,…,31nは車両から見た所定方向の外界(例えば、前方と、右側方と、左側方と、後方等)を撮像する。各画像処理部321,…,32nは、各カメラ311,…,31nの撮像により得られた画像に対して、例えばフィルタリングや二値化処理、さらに、データ削減やデータ圧縮等の所定の画像処理を行うと共に、撮像時刻(撮像側時刻Ta)のデータを付加して画像データを生成し、電子制御ユニット(ECU)24へ出力する。
ここで、車速センサは車両の速度(車速)を検出し、操舵角センサはステアリングホイールの回転角度であるハンドル角(操舵角)の方向と大きさを検出し、ジャイロセンサは水平面内での自車両の向きや鉛直方向に対する傾斜角度(例えば、車両の前後方向軸の鉛直方向に対する傾斜角度や車両重心の上下方向軸回りの回転角であるヨー角等)および傾斜角度の変化量(例えば、ヨーレート等)を検出する。
また、方向指示器スイッチは運転者による方向指示器の操作の有無に係るオン/オフ信号を出力し、ブレーキスイッチは運転者によるブレーキ操作の有無に係るオン/オフ信号を出力し、ワイパースイッチは降雨や降雪等の天候状態に応じたワイパー作動の有無に係るオン/オフ信号を出力する。
制御信号受信部42は、遠隔操作装置10bから発信される制御信号を受信し、データ出力部41および走行制御部43に入力する。
また、走行制御部43の操向制御部52は、遠隔操作装置10bから発信される制御信号に応じて車両を走行させるために必要とされる操舵トルクを算出する。そして、この操舵トルクをEPSアクチュエータ25から出力させるためのトルク指令を出力し、EPSアクチュエータ25を駆動する。
時刻判定部63は、通信装置61を介して受信した画像データから撮像側時刻Taを抽出すると共に、遠隔操作装置10bでの現在時刻(表示側時刻Tb)を取得し、撮像側時刻Taと表示側時刻Tbとの時間差(Tb−Ta)を検知する。そして、検知した時間差(Tb−Ta)が所定の第1時間遅れ#T1(例えば、0.2s等)または第2時間遅れ#T2(例えば、0.5s等)以下であるか否かを判定し、この判定結果を表示制御部64および制御信号出力部68に出力する。
例えば時間差(Tb−Ta)が所定の第1時間遅れ#T1以下である場合には、図3(a)に示すように、時間差(Tb−Ta)の大きさが許容範囲内であることを示す青色枠Faにより画像データGを表示するように設定する。
また、時間差(Tb−Ta)が所定の第1時間遅れ#T1よりも大きく、かつ、所定の第2時間遅れ#T2以下である場合には、図3(b)に示すように、所定の注意喚起画像Gaを画像記憶部65から取得して画像データGに付加し、黄色枠Fbにより画像データGを表示するように設定する。
また、時間差(Tb−Ta)が所定の第2時間遅れ#T2よりも大きい場合には、図3(c)に示すように、所定の警告画像Gbを画像記憶部65から取得して画像データGに付加し、赤色枠Fcにより画像データGを表示するように設定する。
さらに、表示制御部64は、通信装置61を介して受信した車両状態量のデータに基づき複数の画像データの表示優先度を設定し、表示装置66において画像データを表示可能な画像データ表示領域の領域数に応じて、画像データの表示装置66での表示形態を設定する。
さらに、表示画面D上には、車両の走行挙動に係る文字情報を表示する文字情報表示領域Deが設定されている。
また、表示画面D上には、例えば、操作入力部67を構成する非常停止指示スイッチDcおよび車両操作スイッチDdが設けられ、例えば操作者が表示画面D上の非常停止指示スイッチDcを指先での接触等により選択すると、車両の走行停止を指示する制御信号が通信装置61を介して車両制御装置10aに発信されるようになっている。また、車両操作スイッチDdは、例えば車両の複数の移動状態(例えば、前進、後退、前進右折、前進左折、後退右折、後退左折等)を指示する複数のスイッチを備え、例えば操作者が車両操作スイッチDdの適宜のスイッチを指先での接触等により選択すると、選択されたスイッチに応じた車両の移動を指示する制御信号が通信装置61を介して車両制御装置10aに発信されるようになっている。
制御信号出力部68は、操作者による操作入力に応じた制御信号および時刻判定部63による判定結果に応じた制御信号、例えば時間差(Tb−Ta)が所定の第2時間遅れ#T2よりも大きい場合に車両の走行停止を指示する制御信号等を、通信装置61を介して車両制御装置10aに発信する。
先ず、図4に示すステップS01においては、各撮像装置221,…,22nの撮像により得られた画像を取得する。
次に、ステップS02においては、取得した画像に対して、例えばフィルタリングや二値化処理、さらに、データ削減やデータ圧縮等の所定の画像処理を行う。
次に、ステップS03においては、画像に撮像時刻(撮像側時刻Ta)のデータを付加して画像データを生成する。
そして、ステップS04においては、生成した画像データを出力し、一連の処理を終了する。
先ず、図5に示すステップS11においては、通信により車両制御装置10aから画像データを取得し、取得した画像データに付加されている撮像側時刻Taを抽出する。
次に、ステップS12においては、遠隔操作装置10bでの現在時刻(表示側時刻Tb)を取得する。
そして、ステップS13においては、撮像側時刻Taと表示側時刻Tbとの時間差(Tb−Ta)が所定の第1時間遅れ#T1(例えば、0.2s等)以下であるか否かを判定する。
この判定結果が「NO」の場合には、後述するステップS16に進む。
一方、この判定結果が「YES」の場合には、ステップS14に進む。
そして、ステップS14においては、例えば図3(a)に示すように、時間差(Tb−Ta)の大きさが許容範囲内であることを示す青色枠Faにより画像データGを通常表示するように設定する。
そして、ステップS15においては、表示設定に応じて画像データを表示し、一連の処理を終了する。
この判定結果が「YES」の場合には、ステップS17に進み、このステップS17においては、図3(b)に示すように、所定の注意喚起画像Gaを画像記憶部65から取得して画像データGに付加し、黄色枠Fbにより画像データGを表示するように設定し、上述したステップS15に進む。
一方、この判定結果が「NO」の場合には、ステップS18に進み、このステップS18においては、図3(c)に示すように、所定の警告画像Gbを画像記憶部65から取得して画像データGに付加し、赤色枠Fcにより画像データGを表示するように設定し、上述したステップS15に進む。
先ず、図6に示すステップS21においては、通信により車両制御装置10aから車両状態量のデータを取得する。
次に、ステップS22においては、車両の速度Vが所定速度#Vよりも大きいか否かを判定する。
この判定結果が「YES」の場合には、後述するステップS26に進む。
一方、この判定結果が「NO」の場合には、ステップS23に進む。
この判定結果が「NO」の場合には、後述するステップS27に進む。
一方、この判定結果が「YES」の場合には、ステップS24に進む。
そして、ステップS24においては、車両から見て前方と後方とを撮像する各撮像装置221,222により得られる2つの画像の表示優先度を示す各カメラ値C_F,C_Bに対して、最も優先度が低い値である「0」を設定する。
そして、ステップS25においては、右側方と左側方とを撮像する各撮像装置223,224により得られる2つの画像の表示優先度を示す各カメラ値C_R,C_Lに対して、優先度が中程度の値である「1」を設定し、後述するステップS36に進む。
この判定結果が「NO」の場合、つまり車両が後退している場合には、後述するステップS33に進む。
一方、この判定結果が「YES」の場合、つまり車両が前進している場合には、後述するステップS28に進む。
また、ステップS27においては、シフトポジションがR(リバース)であるか否かを判定する。
ステップS27の判定結果が「NO」の場合、つまりシフトポジションがD(ドライブ)であって、車両が前進している場合には、ステップS28に進む。
一方、ステップS27の判定結果が「YES」の場合、つまり車両が後退している場合には、後述するステップS33に進む。
そして、ステップS29においては、操舵方向が中立状態つまりステアリングホイールの回転角度であるハンドル角(操舵角)が所定の中点近傍の値であって、実質的に操舵量がゼロであると判定される状態であるか否かを判定する。
この判定結果が「YES」の場合には、上述したステップS25に進む。
一方、この判定結果が「NO」の場合には、ステップS30に進む。
そして、ステップS30においては、操舵方向が右方向であるか否かを判定する。
ステップS30の判定結果が「YES」の場合には、ステップS31に進み、このステップS31においては、右側方カメラ値C_Rに対して、優先度が中程度の値である「1」を設定し、左側方カメラ値C_Lに対して、最も優先度が低い値である「0」を設定し、後述するステップS36に進む。
一方、ステップS30の判定結果が「NO」の場合には、ステップS32に進み、このステップS32においては、右側方カメラ値C_Rに対して、最も優先度が低い値である「0」を設定し、左側方カメラ値C_Lに対して、優先度が中程度の値である「1」を設定し、後述するステップS36に進む。
そして、ステップS34においては、操舵方向が中立状態であるか否かを判定する。
この判定結果が「YES」の場合には、上述したステップS25に進む。
一方、この判定結果が「NO」の場合には、ステップS35に進む。
そして、ステップS35においては、操舵方向が右方向であるか否かを判定する。
ステップS35の判定結果が「YES」の場合には、上述したステップS32に進む。
一方、ステップS35の判定結果が「NO」の場合には、上述したステップS31に進む。
この判定結果が「YES」の場合には、後述するステップS41に進む。
一方、この判定結果が「NO」の場合には、ステップS37に進む。
そして、ステップS37においては、各カメラ値C_F,C_B,C_R,C_Lにおいて、最も優先度が高い値である「2」が設定されているカメラ値が存在するか否かを判定する。
ステップS37の判定結果が「NO」の場合には、ステップS38に進み、このステップS38においては、優先度が中程度の値である「1」が設定されているカメラ値に対応する2つの画像データを2つの画像データ表示領域に表示するように設定し、一連の処理を終了する。
一方、ステップS37の判定結果が「YES」の場合には、ステップS39に進む。
そして、ステップS40においては、優先度が中程度の値である「1」が設定されているカメラ値に対応する画像データを2つの画像データ表示領域の他方に表示するように設定し、一連の処理を終了する。なお、優先度が中程度の値である「1」が設定されているカメラ値に対応する複数の画像データが存在する場合には、例えば複数の画像データを所定時間毎に交互に表示(時分割表示)するように設定したり、例えば複数の画像データを適宜に縮小して同時に画像データ表示領域に表示(領域分割表示)するように設定する。
この判定結果が「YES」の場合には、ステップS42に進み、このステップS42においては、最も優先度が高い値である「2」が設定されているカメラ値に対応する画像データを、表示可能な1つの画像データ表示領域に単独で表示するように設定し、一連の処理を終了する。
一方、この判定結果が「NO」の場合には、ステップS43に進み、このステップS43においては、優先度が中程度の値である「1」が設定されているカメラ値に対応する画像データを、表示可能な1つの画像データ表示領域に表示するように設定し、一連の処理を終了する。なお、優先度が中程度の値である「1」が設定されているカメラ値に対応する複数の画像データが存在する場合には、時分割表示あるいは領域分割表示を行う。
また、撮像側時刻Taと表示側時刻Tbとの時間差(Tb−Ta)に応じて、遠隔操作装置10bの表示画面上で注意喚起や警告を行うことにより、画像データと実際の車両の外界の状態との間に過剰な差異が生じている虞がある場合に不適切に車両が運転されてしまうことを抑制することができる。
10a 車両制御装置(運転制御装置)
10b 遠隔操作装置
11 撮像装置(撮像手段)
221,…,22n 第1〜第n撮像装置(撮像手段)
23 車両状態量センサ(車両状態量検出手段)
63 時刻判定部(時間差検知手段)
64 表示制御部(表示手段、警報手段)
Claims (1)
- 遠隔操作装置と、該遠隔操作装置から発信される制御信号を受信して車両を運転可能な運転制御装置とを備える車両操縦システムであって、
車両に搭載されて車両の外界を撮像する撮像手段により撮像された撮像画像を、前記遠隔操作装置の表示画面上の2つの表示領域に表示する表示手段と、
車両の状態に係る車両状態量を検出する車両状態量検出手段とを備え、
前記表示手段は、車両に搭載された複数の前記撮像手段により撮像された撮像画像の表示優先度を前記車両状態量検出手段により検出された車両状態量に応じて設定し、前記表示優先度に応じて前記撮像画像を前記遠隔操作装置の表示画面上に表示し、
前記複数の前記撮像手段は、車両の前方と後方と右側方と左側方とをそれぞれ撮像する前記撮像手段を備え、
前記撮像画像は、前記前方と前記後方と前記右側方と前記左側方とのそれぞれの前記撮像画像であって、
前記車両が前進または後退する場合での前記前方および前記後方の前記撮像画像の前記表示優先度は、一方が最も高い高優先度かつ他方が最も低い低優先度であり、
前記車両の操舵方向が右方向または左方向の場合での前記右側方および前記左側方の前記撮像画像の前記表示優先度は、一方および他方が前記高優先度よりも低くて前記低優先度よりも高い中優先度、または、一方が前記中優先度かつ他方が前記低優先度であり、
前記表示手段は、前記高優先度の前記撮像画像が存在する場合には、該撮像画像を前記2つの前記表示領域の一方に表示し、かつ、前記2つの前記表示領域の他方に前記中優先度の前記撮像画像を表示し、
前記表示手段は、前記高優先度の前記撮像画像が存在し、かつ、前記右側方および前記左側方の前記撮像画像の前記表示優先度が前記中優先度である場合には、前記高優先度の前記撮像画像を前記2つの前記表示領域の一方に表示し、かつ、前記2つの前記表示領域の他方において前記右側方および前記左側方の前記撮像画像を時分割表示あるいは領域分割表示することを特徴とする車両操縦システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005033038A JP4522880B2 (ja) | 2005-02-09 | 2005-02-09 | 車両操縦システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005033038A JP4522880B2 (ja) | 2005-02-09 | 2005-02-09 | 車両操縦システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006221339A JP2006221339A (ja) | 2006-08-24 |
JP4522880B2 true JP4522880B2 (ja) | 2010-08-11 |
Family
ID=36983646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005033038A Expired - Fee Related JP4522880B2 (ja) | 2005-02-09 | 2005-02-09 | 車両操縦システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4522880B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4286876B2 (ja) | 2007-03-01 | 2009-07-01 | 富士通テン株式会社 | 画像表示制御装置 |
DE102009041587A1 (de) * | 2009-09-15 | 2011-03-17 | Valeo Schalter Und Sensoren Gmbh | Fahrerassistenzeinrichtung für ein Kraftfahrzeug und Verfahren zum Unterstützen eines Fahrers beim Überwachen eines autonomen Parkvorgangs eines Kraftfahrzeugs |
DE102011003231A1 (de) * | 2011-01-27 | 2012-08-02 | Robert Bosch Gmbh | Verfahren zum automatischen Durchführen eines Fahrmanövers |
CN106572630B (zh) * | 2014-07-30 | 2020-05-15 | 洋马株式会社 | 远程操作装置 |
JP2017123627A (ja) * | 2016-01-06 | 2017-07-13 | シャープ株式会社 | 画像処理装置、画像処理システム、移動体、画像処理方法、および画像処理プログラム |
JP6727971B2 (ja) * | 2016-07-19 | 2020-07-22 | 株式会社クボタ | 作業車 |
JP6959532B2 (ja) * | 2018-05-30 | 2021-11-02 | 株式会社豊田自動織機 | 産業車両用遠隔操作システム |
WO2020071222A1 (ja) * | 2018-10-05 | 2020-04-09 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 情報処理方法、及び、情報処理システム |
JP7350500B2 (ja) * | 2019-03-28 | 2023-09-26 | 日産自動車株式会社 | 遠隔操作用画像の表示方法及び遠隔操作装置 |
JP7072553B2 (ja) * | 2019-12-06 | 2022-05-20 | ヤンマーパワーテクノロジー株式会社 | 遠隔制御システム |
JP7438017B2 (ja) | 2020-05-11 | 2024-02-26 | Go株式会社 | コンピュータプログラム、遠隔制御装置、及び遠隔制御方法 |
KR102384404B1 (ko) * | 2020-10-29 | 2022-04-08 | 주식회사 아이에이 | 카메라 기반 차량 주행 정보 제어 시스템 및 카메라 기반 차량 주행 정보 제어 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11202937A (ja) * | 1998-01-14 | 1999-07-30 | Sugino Mach Ltd | 全方向移動ロボット |
JP2003195941A (ja) * | 2001-12-26 | 2003-07-11 | Matsushita Electric Ind Co Ltd | 移動体を移動させるサービスを提供する方法 |
JP2004021514A (ja) * | 2002-06-14 | 2004-01-22 | Matsushita Electric Ind Co Ltd | 交通情報表示システム及び撮像画像送信装置並びに車載用の情報表示装置と記憶媒体 |
JP2004265046A (ja) * | 2003-02-28 | 2004-09-24 | Denso Corp | 情報通信システムおよび情報出力装置 |
JP2004295360A (ja) * | 2003-03-26 | 2004-10-21 | Denso Corp | 車両遠隔運転装置および車両遠隔運転方法 |
-
2005
- 2005-02-09 JP JP2005033038A patent/JP4522880B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11202937A (ja) * | 1998-01-14 | 1999-07-30 | Sugino Mach Ltd | 全方向移動ロボット |
JP2003195941A (ja) * | 2001-12-26 | 2003-07-11 | Matsushita Electric Ind Co Ltd | 移動体を移動させるサービスを提供する方法 |
JP2004021514A (ja) * | 2002-06-14 | 2004-01-22 | Matsushita Electric Ind Co Ltd | 交通情報表示システム及び撮像画像送信装置並びに車載用の情報表示装置と記憶媒体 |
JP2004265046A (ja) * | 2003-02-28 | 2004-09-24 | Denso Corp | 情報通信システムおよび情報出力装置 |
JP2004295360A (ja) * | 2003-03-26 | 2004-10-21 | Denso Corp | 車両遠隔運転装置および車両遠隔運転方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2006221339A (ja) | 2006-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4522880B2 (ja) | 車両操縦システム | |
US11308718B2 (en) | Vehicular vision system | |
JP6447886B2 (ja) | 車載用電子ミラー | |
CN102149573A (zh) | 显示装置 | |
WO2013015021A1 (ja) | 車両の運転支援装置 | |
US10706292B2 (en) | Information processing apparatus and program | |
JP2015139128A (ja) | 車両用周辺監視装置 | |
JP2007221200A (ja) | 車両周辺監視装置 | |
WO2012127576A1 (ja) | 車両周辺監視装置 | |
JP2015102898A (ja) | 道路標識判断装置 | |
KR20190046579A (ko) | 다중 카메라 제어 시스템 및 다중 카메라 영상 출력 제어 방법 | |
KR101394740B1 (ko) | 자동차용 표시장치 및 그 제어 방법 | |
JP7434730B2 (ja) | 車両用情報表示装置及び車両用制御装置 | |
CN111201160A (zh) | 牵引辅助装置 | |
JP4566822B2 (ja) | 車両用画像表示装置 | |
JP4375153B2 (ja) | 車両用表示装置 | |
JP5073703B2 (ja) | 車両用表示装置 | |
JP4574378B2 (ja) | 車両の駐車支援システム | |
JP2004328246A (ja) | 車載映像表示装置 | |
US20200213486A1 (en) | Vehicle camera system and method | |
US10745026B2 (en) | Control device and method for a driver assistance system of a vehicle | |
KR19980061720A (ko) | 도로환경 인식기능을 갖는 차량 | |
JP2007283862A (ja) | 車両用周辺監視装置 | |
JPH09295539A (ja) | 車載監視システムと車運転時の監視方法 | |
JP7388338B2 (ja) | 運転支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071129 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20091126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100129 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100518 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100526 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130604 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130604 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140604 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |