TW201923499A - 移動體控制系統、移動體控制方法及程式 - Google Patents

移動體控制系統、移動體控制方法及程式 Download PDF

Info

Publication number
TW201923499A
TW201923499A TW107126254A TW107126254A TW201923499A TW 201923499 A TW201923499 A TW 201923499A TW 107126254 A TW107126254 A TW 107126254A TW 107126254 A TW107126254 A TW 107126254A TW 201923499 A TW201923499 A TW 201923499A
Authority
TW
Taiwan
Prior art keywords
stop position
moving body
unit
moving
distance
Prior art date
Application number
TW107126254A
Other languages
English (en)
Inventor
寺島和昭
梶原裕輝
Original Assignee
日商瑞薩電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商瑞薩電子股份有限公司 filed Critical 日商瑞薩電子股份有限公司
Publication of TW201923499A publication Critical patent/TW201923499A/zh

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/16—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger operated by remote control, i.e. initiating means not mounted on vehicle
    • B60T7/18—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger operated by remote control, i.e. initiating means not mounted on vehicle operated by wayside apparatus
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B60Q5/006—Arrangement or adaptation of acoustic signal devices automatically actuated indicating risk of collision between vehicles or with pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T8/00—Arrangements for adjusting wheel-braking force to meet varying vehicular or ground-surface conditions, e.g. limiting or varying distribution of braking force
    • B60T8/17—Using electrical or electronic regulation means to control braking
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0263—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic strips
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Measurement Of Optical Distance (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本發明之課題在於：使用由SfM演算法所得的偵測距離之結果，而控制「至滿足既定安全基準之停止位置目的地之移動」。 作為上述課題之解決手段，本發明之移動體控制系統1，包含：SfM部2，使用SfM演算法，偵測至「由單眼攝影機拍攝的物體」的距離；第一停止位置輸出部3，輸出第一停止位置；第二停止位置計算部4，計算較第一停止位置更為先前的第二停止位置；及控制部5，控制移動體之移動。控制部5進行控制，以將移動體停止在第二停止位置，若滿足預定之出發條件，則進行控制而使出發。SfM部2在移動體出發後，使用單眼攝影機所拍攝的影像，偵測「至物體的距離」。當控制部5獲得由SfM部2偵測物體距離的結果後，其將該偵測結果用於控制移動。

Description

移動體控制系統、移動體控制方法及程式
本發明係關於「移動體控制系統、移動體控制方法及程式」；例如，係關於伴隨「使用SfM(從運動求得結構)演算法之距離偵測」的「移動體控制系統、移動體控制方法及程式」。
近年，有人著眼於使用攝影機偵測「至物體的距離」之技術。使用立體攝影機的技術中，可利用朝向相同方向之兩個攝影機之視差，藉此測量距離。由於立體攝影機具備兩個攝影機，故費用較高。又，有人提案以不使用立體攝影機的方式測量距離之各式各樣的手法。
其中之一，吾人知悉可使用單眼攝影機測量「至物體的距離」之演算法，亦即SfM(Structure from Motion，從運動求得結構)演算法。SfM係一種影像處理演算法，其基於可從單眼攝影機獲得的影像，進行「離物體之距離偵測」及「物體之變化偵測」，藉此推定攝影機自身的位置。
關於此點，例如，專利文獻1中揭露一種使用SfM計算攝影機位置，並製作立體地圖之技術。又，專利文獻2中揭露一種將「由立體攝影機進行之距離偵測」及「使用SfM之距離偵測」併用，而偵測被攝體距離之技術。
此外，在將使用SfM之影像處理技術搭載於車載裝置之情況下，可偵測自己的車以外之物體的變化，可偵測自己的車以外之物體與自己的車的距離，並可推定自己的車的位置。又，自己的車以外的物體，包含：靜止物體及其他車輛或人這樣的移動物體。至今為止，由SfM進行之距離偵測並非十分精確，但藉由提高輸入之畫素數或在處理內容上下功夫，精確度不足的情形係持續被改善。因此，由SfM進行之距離偵測的應用技術受到期待。 [習知技術文獻] [專利文獻]
[專利文獻1]日本特開2015－219745號公報 [專利文獻2]日本特開2012－123296號公報
[發明所欲解決之問題]
SfM基本上係用於一邊改變攝影機的視點一邊處理被拍攝之複數片影像。亦即，若對於搭載於車上的攝影機加以考量，所謂「攝影機的視點改變」，係對應於「自己的車在移動」之情形。因此，使用單眼攝影機與SfM偵測距離時，無法於自己的車停止的狀態下偵測物體的距離。然而，雖然無法偵測靜止中物體的距離，若物體在移動時，即便自己的車為停止之狀態，亦能偵測物體的距離。其原因在於，取代攝影機視點的改變，物體的位置發生改變之故。亦即，自己的車為靜止的狀態下，無法對於靜止物體進行根據SfM之距離偵測。
因此，在將自己的車停止於「滿足既定的安全基準之停止位置」後，而從該停止位置再度出發時，需在前進超過該停止位置既定距離L的量之後，才能獲得由SfM進行之距離偵測的結果。此可謂，並不適宜將「由SfM進行之距離偵測的結果」用於「自己的車的移動控制」。其原因在於：在自己的車前進既定距離L的量前，並無法獲得由SfM進行之距離偵測的結果，因此在對環境的掌握不足的狀態下，將自己的車移動至滿足既定安全基準之該停止位置目的地。
其它課題與新穎特徵，可從本說明書之記載及附加圖式明瞭。 [解決問題之方式]
依一實施態樣，移動體控制系統，包含：第二停止位置計算部，計算較滿足既定安全基準之第一停止位置更為先前的第二停止位置；及控制部，控制該移動體的移動。該控制部進行控制，以使該移動體停止在該第二停止位置，若滿足預定之出發條件，則進行控制以使自該第二停止位置出發。該SfM部在該移動體自該第二停止位置出發後，使用由單眼攝影機拍攝的影像，偵測「至物體的距離」。 [發明之效果]
依該一實施態樣，可使用由SfM演算法偵測距離的結果，控制移動至滿足既定安全基準之停止位置目的地。
為了說明之明確化，以下記載及圖式係適當省略及簡化。又，各圖式中，同一元件係賦予同一符號，並因應必要省略重複說明。
＜實施態樣的概要＞ 在就實施態樣之細節加以說明前，首先，就實施態樣的概要加以說明。圖1係表示依「實施態樣的概要」之移動體控制系統1的構成之一例的方塊圖。移動體控制系統1，具有SfM部2、第一停止位置輸出部3、第二停止位置計算部4及控制部5。移動體控制系統1，例如係搭載於汽車等移動體，而控制移動體移動的系統。又，移動體不限於汽車，亦可為移動型機器人等。
SfM部2使用SfM演算法，偵測至「被拍攝之物體」的距離，該物體係藉由「拍攝移動體的移動方向前方之單眼攝影機」加以拍攝。又，此單眼攝影機係設置於移動體，以拍攝移動體的移動方向前方。SfM部2對於由此單眼攝影機獲得的影像，進行根據SfM演算法之處理，藉此，偵測至「拍攝之物體」的距離。又，此物體可為任何被攝體，亦包含標示於路面之標誌。
第一停止位置輸出部3，輸出「滿足既定安全基準之第一停止位置」。更詳言之，第一停止位置輸出部3，將「位於『移動中之目前移動體的位置前方』的停止位置」，輸出為「第一停止位置」。作為第一停止位置，例如，舉凡設置於路口的停止線(亦即，標示於路口之前的道路上，明示車輛停止位置之線)，但不限於此，只要是為了滿足既定安全基準而受移動體要求之停止位置即可。例如，第一停止位置，亦可為與停止中的先行車輛距離既定距離量的位置。又，此既定安全基準，可為法律規定的基準，亦可為任意規格所規定的基準，亦可為企業(例如，汽車製造商等)等獨自訂立的基準。第一停止位置輸出部3，將「位於『移動中之目前移動體位置前方』的停止位置」，輸出為「第一停止位置」。
又，為了輸出第一停止位置，第一停止位置輸出部3只要藉由任意的取得處理來取得第一停止位置即可。例如，亦可基於從「設置於道路並對於移動體發送表示第一停止位置的資訊之『通信裝置』」接收的資訊，輸出第一停止位置；亦可將基於「來自『單眼攝影機或是其它感測器』的資訊」而偵測之停止位置(例如停止線的位置)，輸出為第一停止位置。又，亦可將乘座於車輛的使用者所指示的位置，輸出為第一停止位置。
第二停止位置計算部4，計算較「第一停止位置輸出部3所輸出之第一停止位置」更為先前的第二停止位置。例如，第二停止位置計算部4，將「較第一停止位置以預定之距離量更為先前的位置」，做為「第二停止位置」。
控制部5控制移動體的移動。當藉由第二停止位置計算部4計算出第二停止位置，控制部5控制移動體以將移動體停止在此第二停止位置。又，在移動體停止於第二停止位置後，若滿足預定之出發條件，控制部5控制移動體以使移動體從第二停止位置出發。在此，當控制部5獲得由SfM部2偵測物體距離的結果後，將此偵測結果用於控制移動體移動。又，控制部5可進行任意之「使用由SfM部2偵測物體距離的結果」之控制。例如，控制部5亦可進行車輛的控制，以將與「在前方移動的其他車輛」的距離維持在適切値，但並不限於「使用由SfM部2偵測物體距離的結果之控制」。
SfM演算法中，當攝影機在移動時，無論攝影對象為靜止物體或是移動物體，均可偵測「至物體的距離」。因此，當移動體從第二停止位置出發，SfM部2使用由單眼攝影機拍攝的影像，偵測「至物體的距離」。亦即，SfM部2使用從第二停止位置出發後拍攝之影像，偵測「至物體的距離」。因此，在移動體存在於較第一停止位置更為先前的時點，控制部5可利用SfM部2之偵測結果。
就移動體控制系統1之效果，參雜比較例加以說明。又，在此，係假定「移動體係進行自動駕駛的車輛之情形」而加以說明。圖2係就「依比較例之移動體控制系統的動作」加以說明之示意圖。又，圖3係就移動體控制系統1的動作加以說明之示意圖。又，如圖3所示，第一停止位置與第二停止位置之間的區間，稱為「預備區間」。
依比較例之移動體控制系統中，藉由自動駕駛控制移動，以將自己的車停止在滿足既定安全基準之停止位置，亦即第一停止位置。又，當自己的車為停止中之情形，如上所述，係無法使用SfM演算法偵測「至靜止物體的距離」。在此，若自己的車再度出發，而自己的車移動「SfM演算法所要求的既定移動距離」的話，則可偵測「至靜止物體的距離」。然而，比較例之移動體控制系統中，由於係在第一停止位置停車，因此，在未進行根據SfM演算法之距離偵測處理的狀態下，會造成「移動至第一停止位置目的地」的情形。亦即，在對環境掌握不足的狀態下，會使自己的車移動超過「滿足既定安全基準之基準線」亦即第一停止位置。
相對於此，移動體控制系統1如下進行動作。如上所述，移動體控制系統1中，計算較第一停止位置更為先前的第二停止位置，並控制由自動駕駛所致之移動，以將自己的車停止在第二停止位置。又，移動體控制系統1中，使自己的車停止在第二停止位置後，若滿足預定之出發條件，便控制自己的車從第二停止位置出發。亦即，自己的車首先係在預備區間內移動。又，在此預備區間內，可使用SfM演算法偵測「至物體的距離」。亦即，到達第一停止位置前，可利用由SfM部2偵測距離的結果。從而，依移動體控制系統1，可在使用由SfM部2偵測距離的結果而滿足既定安全基準的前提下，控制超過「滿足既定安全基準之基準線亦即第一停止位置」之移動。
又，移動體控制系統1中，不限於上述效果，亦可發揮如下效果。亦即，由於移動體控制系統1中，並非使用立體攝影機，而係使用單眼攝影機進行距離偵測，因此，相較於使用立體攝影機之情形，可降低費用。
＜實施態樣1＞ 接著，就實施態樣之細節加以說明。圖4係表示依實施態樣1之車輛控制系統100的硬體構成之一例的方塊圖。又，車輛控制系統100係上述移動體控制系統1之一例，其為搭載於汽車10並控制汽車10移動的系統。
如圖4所示，車輛控制系統100，具有：攝影機11、攝影機ECU(Camera Electronic Control Unit，攝影機電子控制單元)12、ECU(Electronic Control Unit，電子控制單元)13、剎車ECU(Brake Electronic Control Unit，剎車電子控制單元)14、油門ECU(Throttle Electronic Control Unit，油門電子控制單元)15、轉向ECU(Steer Electronic Control Unit，轉向電子控制單元)16及揚聲器17。
攝影機11為單眼攝影機，設於汽車10以拍攝汽車10之移動方向。圖4所示的例子中，具體而言，攝影機11係設於汽車10之前方，以拍攝汽車10的前方。
攝影機ECU12係「取得攝影機11所拍攝的影像，並進行包含SfM的影像處理」之ECU。ECU13係「使用攝影機ECU12的處理結果，並控制汽車10的移動」之ECU。ECU13，對於剎車ECU14、油門ECU15及轉向ECU16，輸出控制訊號。又，因應必要，ECU13向揚聲器17進行既定之輸出。例如，將因應ECU13的處理結果之通知，從揚聲器17輸出。剎車ECU14係控制汽車10的剎車動作之ECU，其依照來自ECU13的控制訊號，而控制剎車(未圖示)。油門ECU15係控制汽車10的油門動作之ECU，依照來自ECU13之控制訊號，而控制油門(未圖示)。轉向ECU16係控制汽車10的方向盤動作之ECU，依照來自ECU13的控制訊號，而控制方向盤(未圖示)。
接著，就攝影機ECU12的構成及ECU13的構成加以說明。圖5係表示攝影機ECU的構成之一例的方塊圖。又，圖6係表示ECU13的構成之一例的方塊圖。如圖5所示，攝影機ECU12，具有：內部匯流排121、本地儲存體122、介面123、DSP(Digital Signal Processor，數位信號處理器)124、CPU(Central Processing Unit，中央處理器)125、外部儲存體介面126及攝影機介面127。又，如圖6所示，ECU13，具有：內部匯流排131、本地儲存體132、介面133、DSP134、CPU135、外部儲存體介面136及揚聲器控制介面137。
內部匯流排121、131，係SoC(System-on-a-chip，系統單晶片)內部的匯流排。攝影機ECU12內的各模組經由內部匯流排121進行資料的通信。又，ECU13內的各模組經由內部匯流排131進行資料的通信。
本地儲存體122、132，係SoC內部的儲存體。亦即，本地儲存體122係設於攝影機ECU12內部的儲存體，本地儲存體132係設於ECU13內部的儲存體。本地儲存體122、132，例如係SRAM(Static Random Access Memory，靜態隨機存取記憶體)。本地儲存體122、132係配置於匯流排上，各模組為了儲存或參照資料，而存取之。又，亦可設置複數之本地儲存體122、132。
介面123、133係用來與外部通信之介面。亦即，介面123，係用來與攝影機ECU12或其他裝置(例如，ECU13)連接之介面。又，介面133，係用來與ECU13或其他裝置(例如，攝影機ECU12)連接之介面。介面123、133可為類比介面，亦可為數位介面，亦可為以任意之通信規格規定之介面。
DSP124、134，係影像處理用之處理器。CPU125、135，係控制SoC整體之處理器。又，亦可設置複數DSP124、134。又，同樣亦可設置複數CPU125、135。外部儲存體介面126、136，係用來與外部儲存體(未圖示)通信之介面。又，外部儲存體，例如係DRAM(Dynamic Random Access Memory，動態隨機存取記憶體)，用來儲存大量資料。
攝影機介面127係用來與攝影機11連接之介面。攝影機介面127，例如，可為以MIPI(Mobile Industry Processor Interface，行動產業處理器接口)規格為基準之介面，亦可為數位輸入用LVTTL－IF(Low-voltage TTL，低電壓電晶體－電晶體邏輯)，亦可為EtherNet(乙太網路)等。揚聲器控制介面137係用於揚聲器17之控制介面，其可為類比介面，亦可為數位介面。
接著，就車輛控制系統100的功能構成加以說明。圖7係表示車輛控制系統100的功能構成之一例的方塊圖。如圖7所示，車輛控制系統100，具有：SfM部101、物體偵測部102、物體距離偵測部103、自動駕駛控制部104、目標位置計算部105及車控制部106。
圖7所示的各元件，例如，DSP124、134，或是CPU125、135，係藉由讀取而執行「儲存於本地儲存體122、132等任意之儲存體的軟體(電腦程式)」，而加以實現。亦即，處理器執行「包含用來進行各元件之後述處理的命令群之程式」，藉此實現圖7所示之各元件。如此，車輛控制系統100，具備作為電腦的功能。
作為一例，SfM部101及物體偵測部102，係於攝影機ECU12中實現；物體距離偵測部103、自動駕駛控制部104、目標位置計算部105及車控制部106，係於ECU13中實現。然而，藉由對於攝影機ECU12與ECU13之其他功能分配，亦可實現圖7所示的各元件。又，攝影機ECU12或是ECU13之其中任一者，亦可實現圖7所示之所有元件。又，雖然本實施態樣中，設有攝影機ECU12與ECU13兩個ECU，然而，亦可將它們整合為一個ECU，藉此構成車輛控制系統100。
又，上述程式，可使用各種非暫時性電腦可讀取媒體進行儲存，而供給至電腦。非暫時性電腦可讀媒體包含各種具有實體的記錄媒體。非暫時性電腦可讀取媒體的例子，包含：磁性記錄媒體(例如軟碟、磁帶、硬碟機)、光磁性記錄媒體(例如磁光碟)、CD－ROM(Read Only Memory，唯讀記憶體)、CD－R(可錄光碟)、CD－R／W(可重複錄寫光碟)、半導體儲存體(例如，光罩式唯讀記憶體、PROM(Programmable ROM，可程式化唯讀記憶體)、EPROM(Erasable PROM，可擦拭可規劃式唯讀記憶體)、快閃記憶體及RAM(Random Access Memory，隨機存取記憶體))。又，亦可藉由各種暫時性電腦可讀取媒體，向電腦供給程式。暫時性電腦可讀取媒體的例子，包含：電訊號、光訊號及電磁波。暫時性電腦可讀取媒體，可經由電線及光導纖維等有線通信路或是無線通信路，向電腦供給程式。
SfM部101對應於圖1之SfM部2，其使用SfM演算法，而從攝影機11所拍攝的影像，偵測「拍攝之物體的變化」及「至拍攝之物體與攝影機11的距離」。又，關於SfM演算法，由於為公眾所知，故省略其細節說明。本實施態樣中，SfM部101基於自己的車移動時由攝影機11所拍攝的影像，偵測「至物體的距離」。從而，SfM部101，使用「自己的車移動至『停止位置(具體而言，例如第二停止位置)』期間所拍攝的影像」，偵測「至物體的距離」；又，使用「自己的車從『停止位置(例如，前揭第二停止位置)』出發後所拍攝的影像」，偵測「至物體的距離」。
物體偵測部102，對於攝影機11所拍攝的影像，進行預定之影像辨識處理，藉此識別此影像中的物體。又，關於影像辨識處理，可使用周知之任意的影像辨識處理。例如，物體偵測部102進行使用HoG(Histogram of Gradient，方向梯度直方圖)特徵量與SVM(Support Vector Machine，支援向量機)的影像辨識處理，藉此識別而偵測物體。
物體距離偵測部103，偵測至預定之物體的距離。如上所述，藉由物體偵測部102，識別影像中的物體。物體距離偵測部103，針對「由物體偵測部102識別的物體當中，作為距離之偵測對象而相當於預定之物體者」，將其與「從SfM部101獲得之距離資訊」相對應，藉此，偵測至「距離之偵測對象亦即至物體」的距離。在根據SfM部101之距離偵測中，獲得關於影像中之整體被攝體的距離資訊。因此，物體距離偵測部103，使用物體偵測部102之識別結果，從由SfM部101獲得之距離資訊，取出作為距離之偵測對象而預定之物體(例如，人、車、標誌、停止線等)與自己的車(攝影機11)之間的距離。
自動駕駛控制部104，使用物體距離偵測部103之偵測結果，產生用來控制「剎車、油門及方向盤」之移動指示資訊，藉此控制自動駕駛。自動駕駛控制部104，具體而言，例如，使用「從物體距離偵測部103獲得的資訊」及「藉由和『與汽車10進行通信之外部裝置(例如，紅綠燈、標誌、其他車輛等)』通信而獲得的資訊」，而產生用來在預定之移動路線移動之移動指示資訊。移動指示資訊，包含用來控制剎車、油門及方向盤的訊號。
又，自動駕駛控制部104，在進行使自己的車停止之控制時，輸出滿足既定安全基準之第一停止位置。亦即，自動駕駛控制部104，係對應於圖1之第一停止位置輸出部3。於自己的車移動中，在滿足任意之停止條件時，自動駕駛控制部104，將「位在目前自己的車位置前方之滿足既定安全基準的停止位置」，決定為第一停止位置。又，任意之停止條件，例如可為紅綠燈之停止燈號，亦可為偵測到「存在行進方向前方且妨害移動的物體」，亦可為來自乘座之使用者的指示。
自動駕駛控制部104，在進行使自己的車停止的控制時，產生用來在第一停止位置停止之移動指示資訊，而輸出至車控制部106。又，自動駕駛控制部104，在進行使自己的車停止之控制時，向目標位置計算部105輸出表示第一停止位置的資訊。作為一例，自動駕駛控制部104使用藉由物體距離偵測部103偵測到之至「既定物體(例如，停止線等所謂表示停止位置的標誌)」的距離資訊，決定第一停止位置，並產生用來在此第一停止位置停止之移動指示資訊。
又，自動駕駛控制部104，在自己的車於第二停止位置停止後，若滿足預定之出發條件，則向車控制部106輸出指示再度出發之移動指示資訊。自動駕駛控制部104，例如，判斷目前自己的車的狀態是否為可再度出發的狀態。例如，自己的車因偵測到「賦予應暫時停止義務的標誌，亦即停止線」而於第二停止位置停止時，由於停止後經過既定時間，而成為可再度出發的狀態。又，例如，自己的車因偵測到物體而停止於第二停止位置時，由於偵測到該物體已不存在時，而成為可再度出發的狀態。又，例如，當乘座於汽車10之使用者進行「用來再度出發之操作指示」，亦可成為可再度出發的狀態。
若目前自己的車的狀態成為可再度出發的狀態，則自動駕駛控制部104參照界定「再度出發時之移動條件」的設定檔資訊，藉由界定有設定檔資訊的移動條件(例如，以設定檔資訊界定之加速條件)，產生移動指示資訊以進行再度出發。向車控制部106通知「產生之移動指示資訊」，藉此進行從第二停止位置之再度出發。若進行從第二停止位置之再度出發，可藉由SfM部101偵測「至物體的距離」。從而，在自己的車到達第一停止位置前，自動駕駛控制部104可將「由SfM部101偵測距離之結果」用於「自己的車之移動控制」。
目標位置計算部105係對應於「圖1之第二停止位置計算部4」，其計算「較自動駕駛控制部104輸出之第一停止位置更為先前的第二停止位置」。目標位置計算部105將「較第一停止位置以預定之距離d的量更為先前的位置(亦即，較第一停止位置靠近自己的車距離d的量之位置)」，計算為「第二停止位置」。此距離d，只要是「可由SfM部101進行距離偵測」之「移動距離」即可。距離d係基於使用之SfM演算法及攝影機11等條件決定之値，例如，係從數公分至數十公分左右。
又，目標位置計算部105亦可基於根據SfM部101偵測之結果，修正計算出的第二停止位置。此時，具體而言，目標位置計算部105係基於從SfM部101獲得之距離資訊，來修正以距離d之量較第一停止位置更為先前的位置，亦即第二停止位置。例如，當移動物體存在預備區間內或其周圍，目標位置計算部105亦可修正第二停止位置，以使其從該物體偏離既定距離的量。此時，修正後之第二停止位置，係從修正前之停止位置向前後偏離。又，目標位置計算部105亦可基於物體距離偵測部103所輸出的物體距離，修正第二停止位置。如此，藉由修正第二停止位置，可進而提高因於第二停止位置停止後再度出發而向預備區間移動時之安全性。
目標位置計算部105將計算出的「第二停止位置」(惟，若為修正後的情形，係「修正後之第二停止位置」)，向車控制部106輸出。
車控制部106，依照從自動駕駛控制部104輸出之移動指示資訊，分別控制剎車、油門及方向盤。亦即，車控制部106，分別對於剎車ECU14、油門ECU15及轉向ECU16，輸出控制訊號。在此，當從「目標位置計算部105」通知「第二停止位置」時，車控制部106進行控制以停止於「第二停止位置」而非「第一停止位置」。又，自動駕駛控制部104及車控制部106，係對應於圖1之控制部5。
接著，就車輛控制系統100之動作例加以說明。圖8係表示移動中的汽車10停止時之車輛控制系統100的動作之一例的流程圖。以下，邊參照圖8邊進行說明。
步驟100(S100)中，攝影機ECU12導入由攝影機11所拍攝的影像。又，步驟101(S101)中，攝影機ECU12將取入的影像，經由外部儲存體介面126而向外部儲存體開展(未圖示)。進而，步驟102(S102)中，攝影機ECU12將相當於影像處理之處理單位的區域，從儲存於外部儲存體之影像中截出，而向本地儲存體122開展。
接著，進行步驟103及步驟104之處理。又，雖然如圖8所示的流程圖中，係並行進行步驟103之處理及步驟104之處理，但亦可在其中一方之處理後進行另一方之處理。
步驟103(S103)中，物體偵測部102識別影像中的物體。步驟104(S104)中，SfM部101對於影像，進行根據SfM演算法之影像處理。
接著，步驟105(S105)中，物體距離偵測部103基於在步驟103中獲得之識別結果與在步驟104中獲得之距離資訊，偵測識別出之每一物體的距離資訊。
接著，步驟106(S106)中，自動駕駛控制部104決定第一停止位置。又，自動駕駛控制部104，例如基於步驟105之偵測結果，而決定第一停止位置。又，自動駕駛控制部104產生用來停止於第一停止位置之移動指示資訊。
接著，步驟107(S107)中，目標位置計算部105對於步驟106中決定之第一停止位置，計算較此停止位置更為先前的第二停止位置。又，如上所述，目標位置計算部105會因應必要修正計算出之第二停止位置。
接著，步驟108(S108)中，車控制部106進行控制，以將自己的車停止於「從目標位置計算部105輸出之『第二停止位置』」。
藉由上述步驟，使汽車10停止於第一停止位置之前的第二停止位置。
接著，就汽車10從第二停止位置再度出發時之車輛控制系統100的動作加以說明。圖9係表示停止中的汽車10再度出發時之車輛控制系統100的動作之一例的流程圖。以下，邊參照圖9邊進行說明。
步驟200(S200)中，自動駕駛控制部104判斷是否滿足預定之出發條件。直到滿足預定之出發條件，反覆進行步驟200(步驟200中為「否」)，若滿足預定之出發條件，則轉移至步驟201。
步驟201(S201)中，自動駕駛控制部104使車輛出發。亦即，自動駕駛控制部104向車控制部106輸出「指示再度出發之移動指示資訊」。又，車控制部106基於此移動指示資訊而控制移動。
步驟202(S202)中，若汽車10移動了「可由SfM部101進行距離偵測之移動距離的量」，則可取得使用SfM演算法之距離資訊。
步驟203(S203)中，若取得使用SfM演算法之距離資訊，自動駕駛控制部104會開始「使用此距離資訊的自動駕駛控制」。亦即，會實現平常駕駛狀態。又，在此時點，汽車10係位於預備區間，而並未超過第一停止位置。
在此，就藉由車輛控制系統100控制之汽車10的動作加以說明。圖10係表示「『藉由依本實施態樣之車輛控制系統100，而控制移動』的汽車10之動作例」及「『藉由依比較例之車輛控制系統，而控制移動』的汽車之動作例」的圖式。又，圖10係藉由表示汽車的速度之時間變化的圖形，來表示兩者的動作之不同。在此，係假定在以速度S1移動的狀態下，於時刻T1，開始停止於第一停止位置之控制，並於時刻T4開始出發動作。又，圖形中，係表示停止時，以固定之加速度(減速度)減速的例子。
依比較例之車輛控制系統中，於時刻T1，進行用來停止於第一停止位置之控制。因此，汽車以「用來停止在第一停止位置之加速度(減速度)」減速，而於時刻T3停止在第一停止位置。又，於時刻T4，從第一停止位置出發。從而，比較例之車輛控制系統中，會發生：無法根據SfM演算法進行距離偵測的狀態持續著，而移動至第一停止位置目的地的狀態。
相對於此，依本實施態樣之車輛控制系統100中，進行用以在第二停止位置停止之控制。因此，汽車10以「用來在第二停止位置停止之加速度(減速度)」減速，而於時刻T2停止在第二停止位置。又，於時刻T4，從第二停止位置出發。從而，汽車10在剛再度出發後，移動至預備區間。若參照圖10，從時刻T4至時刻T5的期間，汽車10在預備區間移動。因此，在超過第一停止位置前，能使用SfM演算法偵測「至物體的距離」。亦即，自動駕駛控制部104在超過第一停止位置前，可實現利用「由SfM部2偵測距離的結果」之自動駕駛狀態。
又，若暫時決定好的第一停止位置因某種原因(例如，偵測到新的物體)而改變時，目標位置計算部105會因應此改變，而更新第二停止位置。圖11係表示第一停止位置變為較原第一停止位置更為先前時之汽車10的動作例之圖形。以固定的加速度進行減速為前提下，對於更新後的第一停止位置之停止時刻，成為較時刻T3更前的時刻T3’；對於更新後的第二停止位置之停止時刻，成為較時刻T2更前的時刻T2’。從而，藉由依本實施態樣之車輛控制系統100進行控制之汽車10，從時刻T1開始減速，並在較時刻T2更前的時刻T2’，停止在第二停止位置。又，於時刻T4，從第二停止位置出發。
雖然圖11係表示第一停止位置變為較原第一停止位置更為先前時之汽車10的動作例，然而，在第一停止位置變為較原第一停止位置更為(位於行進方向的)前方之情形亦相同。圖12係表示第一停止位置變為較原第一停止位置更為(位於行進方向的)前方時之汽車10的動作例之圖形。以固定的加速度減速為前提下，在更新後的第一停止位置停止的情形之停止時刻，成為較時刻T3為後之時刻T3’；而在更新後的第二停止位置停止的情形之停止時刻，成為較時刻T2為後之時刻T2’。從而，藉由依本實施態樣之車輛控制系統100進行控制之汽車10，從時刻T1開始減速，在較時刻T2為後的時刻T2’，停止在第二停止位置，又，於時刻T4，從第二停止位置出發。
＜實施態樣2＞ 接著，就實施態樣2加以說明。本實施態樣中，於「汽車10停止在第二停止位置時，監視汽車10周圍是否存在物體」這點上，係與實施態樣1不同。
圖13係表示依實施態樣2之車輛控制系統200的功能構成之一例的方塊圖。圖13所示的車輛控制系統200，在追加有「監視部201及移動判斷部202」這點上，係與圖7所示之車輛控制系統100不同。以下，就車輛控制系統200之構成及動作加以說明，並省略重複的說明。
監視部201，在汽車10停止期間，監視汽車10周圍是否存在物體。本實施態樣中，監視部201基於來自SfM部101之輸出，監視汽車10周圍是否存在物體。因此，本實施態樣中，SfM部101在汽車10在第二停止位置停止後，亦實施「使用SfM演算法之影像處理」。詳言之，本實施態樣中，在汽車10於第二停止位置停止後，至滿足預定之出發條件的期間，SfM部101對於由攝影機11拍攝的影像，使用SfM演算法進行影像處理，並偵測影像中的變化。SfM部101，輸出影像中各畫素的變化。又，由於汽車10在停止於第二停止位置期間，亦由SfM部101進行影像處理，因此，本實施態樣中，於「至停止於第二停止位置之移動期間，停止期間，及從第二停止位置出發後」，SfM部101進行使用SfM演算法之處理。
監視部201基於SfM部101所偵測到的變化，判斷物體存在。當汽車10停止期間，SfM部101偵測到影像中的變化時，表示移動物體存在攝影機11之攝影範圍內。從而，監視部201在藉由SfM部101偵測到變化的情形，會判斷「在汽車10周圍，更具體而言，在攝影機11之攝影範圍內」，存在移動物體。
又，監視部201基於由SfM部101偵測變化的結果，判斷移動物體的存在位置。具體而言，首先，監視部201基於SfM部101偵測到之每個畫素的變化，判斷移動後的物體在影像上的大小。SfM部101之偵測結果，表示每個畫素的變化方向及變化大小。又，鄰接之複數個畫素係相同變化的情形(亦即，向相同方向移動的情形)，考量這些畫素係對應於相同移動物體。因此，監視部201藉由標號(Labeling)等演算法，來識別相同變化之畫素群。此畫素群的大小，係與攝影機11及移動物體的距離反比例。從而，監視部201判斷此畫素群的大小。如此，判斷移動後的物體在影像上的大小。
又，監視部201基於判斷後的大小，判斷移動後的物體的存在位置是否在距離汽車10既定的範圍內。例如，當移動後的物體在影像上的大小為預定之臨界值以上之情形，亦即，當構成畫素群之畫素數在預定之臨界值以上之情形，監視部201判斷移動後的物體的存在位置係距離汽車10既定的範圍內。又，此既定的範圍，亦可為預備區間。此時，監視部201判斷物體是否存在預備區間內。監視部201將監視結果向移動判斷部202輸出。
移動判斷部202，藉由監視部201判斷汽車10周圍不存在物體時，通知自動駕駛控制部104可進行移動。更具體而言，移動判斷部202，在藉由監視部201判斷物體不存在既定的範圍內時，通知自動駕駛控制部104可進行移動。
自動駕駛控制部104在滿足預定之出發條件，且藉由監視部201判斷汽車10周圍不存在物體時，使汽車10出發。更具體而言，自動駕駛控制部104在滿足預定之出發條件，且藉由監視部201判斷物體不存在既定的範圍內時，使汽車10出發。亦即，自動駕駛控制部104在滿足預定之出發條件，且從移動判斷部收到表示可移動的通知時，向車控制部106輸出「指示再度出發之移動指示資訊」。
又，本實施態樣中，監視部201使用SfM部101之變化偵測結果，進行物體之監視，但監視部201不限於變化偵測，亦可藉由任意之方法，於停止的期間，監視物體之存在與否。例如，監視部201亦可不使用SfM部101之變化偵測結果，而使用SfM部101之距離偵測結果，來監視物體之存在。此時，監視部201可基於SfM部101偵測到之關於移動後的物體之距離，判斷移動後的物體之存在位置，是否在距離汽車10既定的範圍內。又，監視部201亦可藉由SfM部101以外的其它偵測機構，來監視有無物體。
接著，就汽車10從第二停止位置再度出發時之車輛控制系統200的動作加以說明。圖14係表示停止中的汽車10再度出發時之車輛控制系統200的動作之一例的流程圖。圖14所示的流程圖，在追加有「步驟251及步驟252」這點上，係與圖9所示的流程圖不同。
依實施態樣2之車輛控制系統200中，首先，於步驟251(S251)，監視部201監視物體是否存在。又，於步驟252(S252)，監視部201判斷汽車10周圍是否存在物體。基於此判斷結果，移動判斷部202決定是否通知自動駕駛控制部104可進行移動。當藉由監視部201判斷出物體存在時(步驟252中為「是」)，則繼續監視物體。相對於此，當藉由監視部201判斷出汽車10周圍不存在物體時(步驟252中為「否」)，則轉移至步驟200進行處理。步驟200中，判斷是否滿足出發條件，當不滿足出發條件時，繼續監視物體。當滿足出發條件時，轉移至步驟201進行處理。在轉移到步驟201以後的處理，係與依實施態樣1之車輛控制系統100相同。
在此，就藉由車輛控制系統200進行控制之汽車10的動作加以說明。圖15係表示「『藉由依本實施態樣之車輛控制系統200而控制移動』之汽車10的動作例」及「『藉由依比較例之車輛控制系統而控制移動』之汽車的動作例」之圖式。為了比較而理解圖15與圖10，本實施態樣中，於時刻T2停止在第二停止位置後，由監視部201監視物體是否存在。
又，本實施態樣中，若暫時決定好的第一停止位置亦因某種原因(例如，偵測到新的物體)改變時，目標位置計算部105會因應此改變而更新第二停止位置。圖16係表示第一停止位置變為較原第一停止位置更為先前時之汽車10的動作例之圖形。又，圖17係表示第一停止位置變為較原第一停止位置更遠時之汽車10的動作例之圖形。若暫時決定好的第一停止位置改變時，如圖16或圖17所示，變為從時刻T2’起進行監視部201之監視。
以上，就實施態樣2加以說明。依本實施態樣之車輛控制系統200中，於汽車10停止期間，監視汽車10周圍是否存在物體，當滿足預定之出發條件，且判斷汽車10周圍不存在物體時，使汽車10出發。亦即，由於有物體存在時會抑制出發，故可實現更為安全的自動駕駛。又，本實施態樣中，當物體之存在位置位於距離汽車10既定的範圍內時，監視部201會抑制出發。因此，不會發生不必要的抑制出發。
＜實施態樣3＞ 接著，就實施態樣3加以說明。本實施態樣中，在汽車10停止在第二停止位置時，當汽車10周圍存在物體，藉由揚聲器進行既定之輸出這點上，係與實施態樣2不同。以下，就與實施態樣2之相異點加以說明。
本實施態樣中，當判斷汽車10周圍存在物體，監視部201進而藉由揚聲器17進行既定之輸出。又，藉由揚聲器17進行之輸出，可為對於汽車10車外之警報，亦可為對於車內之警報。例如，對於車內之警報，亦可為因物體存在而進行通知以抑制出發狀態之聲響輸出。又，向車外之警報，亦可為促使從汽車10周圍退去之聲響輸出。
本實施態樣中，在侵入汽車10周圍的物體為人體時，進行向車外之警報。因此，監視部201基於SfM部101所偵測的每個畫素之變化，判斷移動後的物體在影像上的形狀，而當判斷出的形狀為預定之形狀時，藉由揚聲器17向汽車10的外部進行既定之輸出。例如，監視部201在判斷出的形狀為縱長的形狀時，將物體識別成人體，並向外部實施聲響輸出。物體是否為人體的判斷方法，不限於此。例如，亦可使用物體偵測部102之識別結果。亦即，當藉由物體偵測部102，識別出存在汽車10周圍的物體為人體時，監視部201亦可藉由揚聲器17向汽車10的外部進行既定之輸出。
接著，就汽車10從第二停止位置再度出發時之本實施態樣的車輛控制系統200的動作加以說明。圖18係表示停止中的汽車10再度出發時之車輛控制系統200的動作之一例的流程圖。圖18所示的流程圖，在追加有「步驟2520、步驟2521及步驟2522」這點上，係與圖14所示的流程圖相異。步驟2520～2522，係在步驟252中判斷出物體存在時進行之處理。
本實施態樣中，於步驟252，藉由監視部201判斷出物體存在時(步驟252中為「是」)，轉移至步驟2520進行處理。
步驟2520(S2520)中，判斷存在的物體是否為人體。當物體為人體時(步驟2520中為「是」)，轉移到步驟2521進行處理，當物體並非人體時(步驟2520中為「否」)，轉移至步驟2522進行處理。
步驟2521(S2521)中，監視部201向汽車10的外部及內部進行既定之聲響輸出。亦即，監視部201進行對於位在汽車10周圍的人物之警報，並進行對於乘座在汽車10之使用者的警報。相對於此，步驟2522(S2522)中，監視部201僅對於汽車10內部，進行既定之聲響輸出。若藉由步驟2521或是步驟2522進行聲響輸出，則繼續監視物體。
以上，就實施態樣3加以說明。若依本實施態樣之車輛控制系統200，當汽車10周圍存在物體時，便會藉由揚聲器17進行既定之輸出。從而，可進行適當的警報。又，尤其當物體為人體時，會向汽車10的外部進行警報。因此，可對於該人物，進行促使移動之聲響等既定的警報。
以上，基於實施態樣具體說明由本發明者所創作之發明，但本發明不限於已述之實施態樣，只要在不脫離其要旨的範圍，亦可進行各種改變，自不待言。例如，上述實施態樣中，攝影機11係設置於汽車10前方，以拍攝汽車10前方之單眼攝影機，然而，攝影機11只要設於汽車10以拍攝汽車10之移動方向即可，例如，亦可為設於汽車10後方而拍攝後方的單眼攝影機。此時，變為在朝向後方的汽車10之移動及停止時，進行上述控制。又，攝影機11亦可為構成拍攝汽車10周圍之環場攝影系統的攝影機之一。藉由如此之構成，無需於搭載環場攝影系統之汽車10追加攝影機11，即可實現上述控制。
1‧‧‧移動體控制系統
2、101‧‧‧SfM部(從運動求得結構部)
3‧‧‧第一停止位置輸出部
4‧‧‧第二停止位置計算部
5‧‧‧控制部
10‧‧‧汽車
11‧‧‧攝影機
12‧‧‧攝影機ECU(攝影機電子控制單元)
13‧‧‧ECU(電子控制單元)
14‧‧‧剎車ECU(剎車電子控制單元)
15‧‧‧油門ECU(油門電子控制單元)
16‧‧‧轉向ECU(轉向電子控制單元)
17‧‧‧揚聲器
100、200‧‧‧車輛控制系統
102‧‧‧物體偵測部
103‧‧‧物體距離偵測部
104‧‧‧自動駕駛控制部
105‧‧‧目標位置計算部
106‧‧‧車控制部
121、131‧‧‧內部匯流排
122、132‧‧‧本地儲存體
123、133‧‧‧介面
124、134‧‧‧DSP(數位信號處理器)
125、135‧‧‧CPU(中央處理器)
126、136‧‧‧外部儲存體介面
127‧‧‧攝影機介面
137‧‧‧揚聲器控制介面
201‧‧‧監視部
202‧‧‧移動判斷部
S1‧‧‧速度
S100~S2522‧‧‧步驟
T1~T5‧‧‧時刻
【圖1】表示依「實施態樣的概要」之移動體控制系統的構成之一例的方塊圖。 【圖2】係就依比較例之移動體控制系統的動作加以說明之示意圖。 【圖3】係就依「實施態樣的概要」之移動體控制系統的動作加以說明之示意圖。 【圖4】表示依實施態樣1之車輛控制系統的硬體構成之一例的方塊圖。 【圖5】表示攝影機ECU(Camera Electronic Control Unit，攝影機電子控制單元)的構成之一例的方塊圖。 【圖6】表示ECU的構成之一例的方塊圖。 【圖7】表示依實施態樣1之車輛控制系統的功能構成之一例的方塊圖。 【圖8】表示移動中的汽車停止時之依實施態樣1之車輛控制系統的動作之一例的流程圖。 【圖9】表示停止中的汽車再度出發時之依實施態樣1之車輛控制系統的動作之一例的流程圖。 【圖10】表示「藉由依實施態樣1之車輛控制系統而進行移動之控制的汽車之動作例」及「藉由依比較例之車輛控制系統而進行移動之控制的汽車之動作例」的圖式。 【圖11】表示第一停止位置變為較原第一停止位置更為先前的情形之汽車的動作例之圖形。 【圖12】表示第一停止位置變為較原第一停止位置更遠的情形之汽車的動作例之圖形。 【圖13】表示依實施態樣2之車輛控制系統的功能構成之一例的方塊圖。 【圖14】表示停止中的汽車再度出發時之依實施態樣2之車輛控制系統的動作之一例的流程圖。 【圖15】表示「藉由依實施態樣2之車輛控制系統而進行移動之控制的汽車之動作例」及「藉由依比較例之車輛控制系統而進行移動之控制的汽車之動作例」的圖式。 【圖16】表示第一停止位置變為較原第一停止位置更為先前的情形之汽車的動作例之圖形。 【圖17】表示第一停止位置變為較原第一停止位置更遠的情形之汽車的動作例之圖形。 【圖18】表示停止中之汽車再度出發時之依實施態樣3之車輛控制系統的動作之一例的流程圖。

Claims (13)

  1. 一種移動體控制系統，包含： 從運動求得結構部，其使用從運動求得結構演算法，偵測至由單眼攝影機所拍攝的物體的距離，該單眼攝影機拍攝移動體之移動方向前方； 第一停止位置輸出部，其輸出滿足既定安全基準之第一停止位置； 第二停止位置計算部，其計算較該第一停止位置更為先前的第二停止位置；及 控制部，控制該移動體的移動； 該控制部進行控制，以將該移動體停止在該第二停止位置，若滿足預定之出發條件，則進行控制以使從該第二停止位置出發； 該從運動求得結構部使用該移動體從該第二停止位置出發後由該單眼攝影機所拍攝的影像，而偵測至物體的距離； 當該控制部獲得由該從運動求得結構部偵測物體距離的結果後，其將該偵測結果用於控制該移動體的移動。
  2. 如請求項1所述之移動體控制系統，其中， 該第二停止位置計算部基於該從運動求得結構部之偵測結果，修正計算出之該第二停止位置。
  3. 如請求項1所述之移動體控制系統，更包含： 監視部，於該移動體停止的期間，監視該移動體周圍是否存在物體； 當滿足預定之出發條件，且藉由該監視部判斷該移動體周圍不存在物體時，該控制部使該移動體出發。
  4. 如請求項3所述之移動體控制系統，其中， 該從運動求得結構部，在停止於該第二停止位置後，至滿足該預定之出發條件為止之期間，對於由該單眼攝影機所拍攝的影像，使用該從運動求得結構演算法偵測影像中的變化； 該監視部，基於該從運動求得結構部所偵測到的變化，判斷有物體存在。
  5. 如請求項4所述之移動體控制系統，其中， 該監視部，基於該從運動求得結構部所偵測到的每個畫素的變化，判斷移動後的物體在影像上的大小，並基於判斷出的大小，判斷該移動後的物體之存在位置是否在距離該移動體既定的範圍內； 當滿足預定之出發條件，且藉由該監視部判斷出在該既定的範圍內不存在物體時，該控制部使該移動體出發。
  6. 如請求項4所述之移動體控制系統，其中， 該監視部，基於由該從運動求得結構部所偵測到之關於移動後的物體之距離，判斷該移動後的物體之存在位置是否在距離該移動體既定的範圍內； 當滿足預定之出發條件，且藉由該監視部判斷出在該既定的範圍內不存在物體時，該控制部使該移動體出發。
  7. 如請求項3所述之移動體控制系統，更包含揚聲器； 該監視部，在判斷出該移動體周圍不存在物體時，藉由該揚聲器進行既定的輸出。
  8. 如請求項7所述之移動體控制系統，其中， 該監視部，基於該從運動求得結構部偵測到的每個畫素之變化，判斷移動後的物體在影像上的形狀，當判斷出的形狀為預定之形狀時，藉由該揚聲器向該移動體的外部進行既定的輸出。
  9. 如請求項7所述之移動體控制系統，更包含： 物體偵測部，對於藉由該單眼攝影機所拍攝出的影像，進行預定之影像辨識處理，藉此，識別該影像中的物體； 當該監視部藉由該物體偵測部，識別出該物體為人體時，其藉由該揚聲器向該移動體的外部進行既定的輸出。
  10. 如請求項1所述之移動體控制系統，更包含該單眼攝影機。
  11. 如請求項1所述之移動體控制系統，其中， 該單眼攝影機，係構成拍攝該移動體周圍之環場攝影系統的攝影機之一。
  12. 一種移動體控制方法，包含以下步驟： 計算較滿足既定安全基準之第一停止位置更為先前的第二停止位置； 進行控制以使移動體停止在該第二停止位置； 當滿足預定之出發條件，進行控制以使從該第二停止位置出發； 當該移動體從該第二停止位置出發後，使用從運動求得結構演算法，偵測至由單眼攝影機所拍攝的物體的距離，該單眼攝影機拍攝該移動體的移動方向前方；及 當獲得偵測物體距離的結果後，使用該偵測結果控制該移動體的移動。
  13. 一種程式，於電腦執行以下步驟： 從運動求得結構步驟，使用從運動求得結構演算法，偵測至由單眼攝影機所拍攝的物體的距離，該單眼攝影機拍攝移動體的移動方向前方； 第一停止位置輸出步驟，輸出滿足既定安全基準之第一停止位置； 第二停止位置計算步驟，計算較該第一停止位置更為先前的第二停止位置；及 控制步驟，控制該移動體的移動； 該控制步驟中，進行控制以將該移動體停止在該第二停止位置，當滿足預定之出發條件時，則進行控制以使從該第二停止位置出發； 該從運動求得結構步驟中，使用在該移動體從該第二停止位置出發後由該單眼攝影機所拍攝的影像，偵測至物體的距離； 該控制步驟中，當獲得該從運動求得結構步驟中偵測物體距離的結果後，將該偵測結果用於控制該移動體的移動。
TW107126254A 2017-08-02 2018-07-30 移動體控制系統、移動體控制方法及程式 TW201923499A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017149853A JP2019028870A (ja) 2017-08-02 2017-08-02 移動体制御システム、移動体制御方法、及びプログラム
JP2017-149853 2017-08-02

Publications (1)

Publication Number Publication Date
TW201923499A true TW201923499A (zh) 2019-06-16

Family

ID=63173901

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107126254A TW201923499A (zh) 2017-08-02 2018-07-30 移動體控制系統、移動體控制方法及程式

Country Status (5)

Country Link
US (1) US10974719B2 (zh)
EP (1) EP3438779B1 (zh)
JP (1) JP2019028870A (zh)
CN (1) CN109388136B (zh)
TW (1) TW201923499A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7242040B2 (ja) * 2019-03-20 2023-03-20 学校法人明治大学 移動体制御装置、移動体制御方法及びコンピュータプログラム
CN112612271A (zh) * 2020-12-15 2021-04-06 广东智源机器人科技有限公司 运载物的传输方法、送餐设备和存储介质

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899616B2 (en) * 1997-10-22 2011-03-01 Intelligent Technologies International, Inc. Method for obtaining information about objects outside of a vehicle
US6842684B1 (en) * 2003-09-17 2005-01-11 General Motors Corporation Methods and apparatus for controlling a brake system
US20070255498A1 (en) * 2006-04-28 2007-11-01 Caterpillar Inc. Systems and methods for determining threshold warning distances for collision avoidance
CN101234601A (zh) * 2007-01-30 2008-08-06 南京理工大学 基于单目视觉的汽车巡航控制方法及其实现系统
CN101750049B (zh) * 2008-12-05 2011-12-21 南京理工大学 基于道路和车辆自身信息的单目视觉车距测量方法
CN101559753A (zh) * 2009-05-27 2009-10-21 北京工业大学 基于单目机器视觉的汽车主动安全系统及其控制方法
DE102010002929A1 (de) 2010-03-16 2011-09-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur automatischen Längsführung eines Kraftfahrzeugs
JP2012123296A (ja) 2010-12-10 2012-06-28 Sanyo Electric Co Ltd 電子機器
JP6324968B2 (ja) 2012-09-20 2018-05-16 ウェイモ エルエルシー 道路天候条件検出
US8473144B1 (en) * 2012-10-30 2013-06-25 Google Inc. Controlling vehicle lateral lane positioning
US9256791B2 (en) * 2012-12-04 2016-02-09 Mobileye Vision Technologies Ltd. Road vertical contour detection
US9558584B1 (en) * 2013-07-29 2017-01-31 Google Inc. 3D position estimation of objects from a monocular camera using a set of known 3D points on an underlying surface
US9201424B1 (en) * 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
US9509979B2 (en) * 2013-11-26 2016-11-29 Mobileye Vision Technologies Ltd. Stereo auto-calibration from structure-from-motion
US9280826B2 (en) * 2013-12-10 2016-03-08 GM Global Technologies Operations LLC Distance determination using a monoscopic imager in a vehicle
US9607230B2 (en) * 2014-04-16 2017-03-28 Honda Motor Co., Ltd. Mobile object control apparatus and target object detecting apparatus
JP6327455B2 (ja) 2014-05-19 2018-05-23 パナソニックＩｐマネジメント株式会社 基地局装置、映像情報処理装置、３次元マップ生成システムおよび３次元マップ生成方法
JP2016132421A (ja) * 2015-01-22 2016-07-25 トヨタ自動車株式会社 自動運転装置
US9711050B2 (en) * 2015-06-05 2017-07-18 Bao Tran Smart vehicle
US9592766B1 (en) * 2015-08-25 2017-03-14 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adjusting a stopping position
US20170113608A1 (en) * 2015-10-27 2017-04-27 Caterpillar Inc. System and method for operating a machine
JP6752024B2 (ja) * 2016-02-12 2020-09-09 日立オートモティブシステムズ株式会社 画像処理装置
US10054947B2 (en) * 2016-08-17 2018-08-21 Omnitracs, Llc Emergency stopping for autonomous commercial vehicles
US10318826B2 (en) * 2016-10-07 2019-06-11 Ford Global Technologies, Llc Rear obstacle detection and distance estimation
US10082796B2 (en) * 2016-10-27 2018-09-25 Ford Global Technologies, Llc Pedestrian face detection
US10620310B2 (en) * 2016-11-29 2020-04-14 Waymo Llc Rotating radar platform

Also Published As

Publication number Publication date
CN109388136A (zh) 2019-02-26
US20190039607A1 (en) 2019-02-07
CN109388136B (zh) 2023-10-10
EP3438779A1 (en) 2019-02-06
EP3438779B1 (en) 2022-08-31
JP2019028870A (ja) 2019-02-21
US10974719B2 (en) 2021-04-13

Similar Documents

Publication Publication Date Title
JP6647423B2 (ja) 運転支援装置および運転支援方法
JP6358409B2 (ja) 車両の運転支援制御方法及び制御装置
US11363235B2 (en) Imaging apparatus, image processing apparatus, and image processing method
JP2018027772A (ja) ステレオカメラに基づく自律走行方法、自律走行装置及びコンピュータプログラム
US20150092988A1 (en) Object detection system
JP5678147B2 (ja) 移動物体を検出するための検知システム及び検知方法
BR112017026089B1 (pt) Dispositivo de controle de veículo e método de controle de veículo
JP6166249B2 (ja) 交通支援装置
JP7202304B2 (ja) 衝突予測装置、衝突予測方法及びプログラム
JP2017045396A (ja) 画像記録装置および画像記録方法
JP2012221134A (ja) 運転支援装置
US10247551B2 (en) Vehicle image processing device for environment recognition
TW201923499A (zh) 移動體控制系統、移動體控制方法及程式
JP2021140423A (ja) 車両制御装置
JP5717416B2 (ja) 運転支援制御装置
JP2009241648A (ja) 運転支援装置
JP6605978B2 (ja) 減速案内システム、減速案内方法、及び減速案内プログラム
JP2009020647A (ja) 立体物検出方法および立体物検出装置
KR101622041B1 (ko) 근거리 선행차량 감지시스템 및 방법
JP7351761B2 (ja) 緊急車両推定装置及び緊急車両推定方法
TW201132542A (en) Method and device for keeping safe distance between two consecutive vehicles on road
JPH11213295A (ja) 車両割り込み検出回路及びそれを用いた追突警報装置
US11763679B2 (en) Notification system and notification method
KR102614325B1 (ko) 차량의 사고 이벤트를 분석하기 위한 전자 장치 및 그 동작방법
JP2017084019A (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム