RU2733198C1

RU2733198C1 - Способ управления движением транспортного средства и устройство управления движением транспортного средства

Info

Publication number: RU2733198C1
Application number: RU2020101708A
Authority: RU
Inventors: Ясухито САНО; Хироюки ТАКАНО; Юити ТАКЕДА
Original assignee: Ниссан Мотор Ко., Лтд.
Priority date: 2017-06-20
Filing date: 2017-06-20
Publication date: 2020-09-29
Also published as: EP3644293A4; EP3644293B1; CN110741421A; CN110741421B; US11136034B2; KR20200007879A; WO2018235171A1; EP3644293A1; US20200377100A1; CA3067952A1; MX2019014872A; BR112019027273A2; JP6773223B2; JPWO2018235171A1

Abstract

Изобретение относится к способу и устройству управления движением транспортного средства. Способ управления движением транспортного средства включает в себя изучение точек, через которые двигалось транспортное средство, на основании изображений окружения транспортного средства, снятых камерой, установленной на транспортном средстве. Способ управления движением содержит этапы, на которых изучают траекторию движения транспортного средства на основании сигнала транспортного средства, полученного от транспортного средства при изучении точек, определяют, прошло ли транспортное средство точки, если транспортное средство прошло какую-либо из упомянутых точек, выполняют управление движением транспортного средства с использованием траектории движения и определяют, прошло ли транспортное средство следующую точку, на основании изображений, снятых камерой. Устройство управления движением транспортного средства содержит схему обучения, которая изучает точки и схему управления движением. Схема обучения изучает траекторию движения транспортного средства на основании сигнала транспортного средства, полученного от транспортного средства. Схема управления движением определяет, прошло ли транспортное средство точки, на основании изображений, снятых камерой. Достигается повышение точности передвижения. 2 н. и 6 з.п. ф-лы, 10 ил.

Description

Область техники, к которой относится изобретение

[0001]

Настоящее изобретение относится к способу управления движением и устройству управления движением.

УРОВЕНЬ ТЕХНИКИ

[0002]

До сих пор было известно трехмерное устройство измерения положения, которое измеряет трехмерное положение объекта на основании разности между положениями объекта на изображениях, снятых камерой в разное время, и величиной движения камеры (см. Патентную литературу 1). В патентной литературе 1 среди извлеченных характерных точек, извлеченных из целевого изображения обработки, извлеченные характерные точки, исключая те, трехмерные положения которых определены, используются для проверки в сравнении с характерными точками, извлеченными из следующего целевого изображения обработки, чтобы тем самым исключить увеличение времени обработки.

СПИСОК ЦИТИРОВАННЫХ ИСТОЧНИКОВ

ПАТЕНТНАЯ ЛИТЕРАТУРА

[0003]

Патентная литература 1: Публикация заявки на патент Японии № 2014–106092

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

[0004]

Измеряя трехмерные положения окружающих объектов (характерных точек) с помощью камеры, как описано выше, можно создать карту, сформированную из трехмерных положений объектов (характерных точек), а также идентифицировать точки на карте, которые прошло транспортное средство. Кроме того, можно составить план движения, чтобы снова проходить точки, по которым проезжало транспортное средство, и осуществлять управление движением транспортного средства в соответствии с планом движения.

[0005]

Когда выполняется управление движением транспортного средства, камера может использоваться для точной проверки, прошло ли транспортное средство точки снова. Однако точность определения величины движения транспортного средства, обнаруженной с помощью визуальной одометрии с использованием камеры, снижается по мере увеличения расстояния от транспортного средства до характерных точек. Это приводит к большой ошибке между величиной движения на карте и реальной величиной движения. Следовательно, в случае, когда план движения транспортного средства составлен с использованием величины движения транспортного средства, обнаруженной посредством визуальной одометрии, и управление движением транспортного средства выполняется в соответствии с планом движения, возможно транспортное средство не сможет двигаться в соответствии с реальным окружением.

[0006]

Настоящее изобретение было создано с учетом такой проблемы уровня техники, и его задачей является точное перемещение в соответствии с реальным окружением.

РЕШЕНИЕ ПРОБЛЕМЫ

[0007]

Способ управления движением для устройства управления движением в соответствии с аспектом настоящего изобретения содержит: изучение точек, по которым двигалось транспортное средство, на основании изображений окружения транспортного средства, снятых камерой, установленной на транспортном средстве; изучение траектории движения транспортного средства на основании сигналов транспортного средства, полученных от транспортного средства; определение, прошло ли транспортное средство точки, на основании изображений, снятых камерой; если транспортное средство прошло какую-либо из точек, выполнение управления движением транспортного средства с использованием траектории движения, изученной на основании сигналов транспортного средства, в качестве целевой траектории от какой-либо из точек до следующей точки; и определение, прошло ли транспортное средство следующую точку, на основании изображений, снятых камерой.

ПОЛЕЗНЫЕ ЭФФЕКТЫ ИЗОБРЕТЕНИЯ

[0008]

Согласно аспекту настоящего изобретения возможно точное движение в соответствии с реальным окружением.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0009]

[Фиг. 1] Фиг. 1 – функциональная блок–схема, иллюстрирующая всю конфигурацию устройства управления движением в соответствии с вариантом осуществления.

[Фиг. 2] Фиг. 2 является блок–схемой, иллюстрирующей пример работы обучающего блока 23.

[Фиг. 3] Фиг. 3 является блок–схемой, иллюстрирующей пример работы блока 31 управления движением.

[Фиг. 4A] Фиг. 4A – это схема, иллюстрирующая положение транспортного средства, движущегося прямо, когда угол установки (угол рыскания) камеры (12a, 12b) является правильным.

[Фиг. 4B] Фиг. 4B – это схема, иллюстрирующая положение транспортного средства, движущегося прямо, когда угол установки (угол рыскания) камеры (12a, 12b) наклонен.

[Фиг. 4C] Фиг. 4C – это схема, иллюстрирующая траекторию поворота транспортного средства, когда положение установки камеры (12a, 12b) в направлении вперед–назад транспортного средства является правильным.

[Фиг. 4D] На фиг. 4D показана схема, иллюстрирующая траекторию поворота транспортного средства, когда положение установки камеры (12a, 12b) в направлении вперед–назад транспортного средства смещено.

[Фиг. 5] Фиг. 5 является блок–схемой, иллюстрирующей пример процедуры автоматической калибровки.

[Фиг. 6A] Фиг. 6A – это схема, иллюстрирующая относительные положения контрольных точек (CK1–CK4) относительно характерных точек (FP1–FP4), относительные положения характерных точек (FP1–FP4) относительно друг друга и целевую траекторию (одометрия транспортного средства: От TJ1 до TJ4) от каждой контрольной точки (CK1 до CK4) на карте, которые изучены с помощью визуальной одометрии.

[Фиг. 6B] Фиг. 6B – это схема, иллюстрирующая фактическое движение транспортного средства, и иллюстрирует относительные положения контрольных точек (CK1–CK4) относительно характерных точек (FP1–FP4), относительные положения характерных точек (FP1–FP4) относительно друг друга, и целевую траекторию (одометрия транспортного средства: От TJ1 до TJ4) от каждой контрольной точки (от CK1 до CK4).

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0010]

Далее будет подробно описан вариант осуществления с обращением к чертежам.

[0011]

<Устройство управления движением>

Полная конфигурация устройства управления движением согласно варианту осуществления будет описана с обращением к фиг. 1. Устройство управления движением включает в себя камеру (12a, 12b), датчик 13 транспортного средства, записывающее устройство 15, которое записывает данные, полученные от камеры (12a, 12b) и датчика 13 транспортного средства, исполнительный механизм 14 транспортного средства, который выполняет управление движением транспортного средства, и контроллер 11.

[0012]

Камера (12а, 12b) представляет собой стереокамеру, установленную на транспортном средстве, и формирует данные изображения путем захвата изображений окружения транспортного средства. Камера (12а, 12b) способна получать информацию о глубине в отношении объектов вокруг транспортного средства на основании информации о параллаксе путем захвата изображений объектов одновременно с множества различных направлений. Другими словами, с использованием камеры (12а, 12b) могут быть измерены трехмерные положения объектов вокруг транспортного средства. Разумеется, информация о расстоянии может быть получена из одного изображения, полученного с помощью монокулярной камеры.

[0013]

Датчик 13 транспортного средства установлен на транспортном средстве и обнаруживает различные элементы информации (сигналы транспортного средства), полученные от транспортного средства. Датчик 13 транспортного средства включает в себя, например, датчик скорости транспортного средства, который определяет скорость движения транспортного средства (скорость транспортного средства), датчик скорости вращения колес, который определяет скорости вращения колес транспортного средства, трехосевой датчик ускорения (датчик G) который определяет ускорения (включая замедления) транспортного средства в направлениях по трём осям, датчик угла поворота рулевого колеса, который определяет угол поворота рулевого колеса (включая угол поворота), гироскопический датчик, который определяет угловую скорость транспортного средства, и датчик скорости рыскания, который определяет скорость рыскания.

[0014]

Исполнительный механизм 14 транспортного средства представляет собой блок привода, который выполняет операции акселератора, тормоза и рулевого управления, связанные с движением транспортного средства. Исполнительный механизм 14 транспортного средства включает в себя, например, исполнительный механизм педали акселератора, который управляет педалью акселератора, исполнительный механизм тормоза, который управляет силой торможения, и исполнительный механизм рулевого управления, который управляет углом поворота.

[0015]

Контроллер 11 изучает точки и траекторию движения, которые прошло транспортное средство, на основании данных, полученных от камеры (12a, 12b) и датчика 13 транспортного средства, и выполняет управление движением транспортного средства посредством управления исполнительным механизмом 14 транспортного средства на основании результата изучения. Следует отметить, что управление движением, выполняемое в этом варианте осуществления, должно быть таким, чтобы транспортное средство управлялось для движения на основании изученной траектории движения, и управляемым является по меньшей мере одно из исполнительного механизма педали ускорения, исполнительного механизма тормоза и исполнительного механизма рулевого управления исполнительного механизма 14. Между тем, управление движением может использоваться при автономном управлении, при котором вызывается движение транспортного средства без вмешательства пользователя, и при ручном управлении, при котором вызывается движение транспортного средства на основании вмешательства пользователя. При использовании в ручном режиме управления система управления движением помогает вмешательству пользователя таким образом, что транспортное средство может двигаться на основании траектории движения.

[0016]

Контроллер 11 может быть реализован с использованием микрокомпьютера общего назначения, включающего в себя ЦП (центральный процессор), память и блок ввода–вывода. В контроллере 11 установлена компьютерная программа (программа управления движением), обеспечивающая функционирование контроллера 11 в качестве устройства управления движением, и компьютерная программа сохранена в памяти. Выполняя компьютерную программу, контроллер 11 функционирует как множество схем (21, 22, 23, 31) обработки информации, включенных в устройство управления движением. Между тем, в варианте осуществления будет представлен пример, в котором множество схем (21, 22, 23, 31) обработки информации, включенных в устройство управления движением, реализуются программным обеспечением. Однако, разумеется, схемы (21, 22, 23, 31) обработки информации могут быть конфигурированы путем подготовки специализированного аппаратного обеспечения для выполнения операций обработки информации, которые будут представлены ниже. Кроме того, каждая из множества схем (21, 22, 23, 31) обработки информации может быть конфигурирована с использованием отдельной части аппаратного обеспечения. Кроме того, электронный блок управления (ECU), используемый для другого управления транспортным средством, также может использоваться в качестве схем (21, 22, 23, 31) обработки информации.

[0017]

Контроллер 11 включает в себя блок 21 получения изображения, блок 22 получения сигналов транспортного средства, блок 23 обучения и блок 31 управления движением в качестве множества схем обработки информации. Блок 23 обучения включает в себя блок 29 изучения контрольных точек и блок 30 изучения одометрии транспортного средства. Блок 31 управления движением включает в себя блок 24 проверки прохождения, блок 25 задания целевой траектории и блок 26 управления транспортным средством.

[0018]

Записывающее устройство 15 записи включает в себя блок 27 записи изображения траектории и блок 28 записи траектории, которые хранят результаты обучения посредством блока 23 обучения. Блок 27 записи изображения траектории записывает результат обучения блоком 29 изучения контрольных точек, а блок 28 записи траектории записывает результат изучения блоком 30 изучения одометрии транспортного средства.

[0019]

Блок 21 получения изображения получает данные изображения, снятые камерой (12a, 12b). В частности, блок 21 получения изображения одновременно получает данные изображения и метку времени, указывающую для них время захвата изображения. Блок 22 получения сигналов транспортного средства получает результаты обнаружения от датчика 13 транспортного средства в виде сигналов транспортного средства, полученных от транспортного средства. В частности, блок 22 получения сигналов транспортного средства одновременно получает сигналы транспортного средства и отметку времени, указывающую время их обнаружения. Принимая отметки времени, указывающие время захвата изображения и время обнаружения вместе с данными изображения и сигналами транспортного средства, можно связать данные изображения и сигналы транспортного средства друг с другом с точки зрения оси времени.

[0020]

Блок 23 обучения (схема обучения) способен одновременно изучать точки (контрольные точки), по которым прошло транспортное средство, и параллельно траекторию движения .

[0021]

Блок 29 изучения контрольных точек вычисляет карту, положение транспортного средства на карте и траекторию движения транспортного средства на основании данных изображения с камеры (12a, 12b). Способ расчета не ограничен конкретным образом, и можно использовать существующий способ. Например, во–первых, характерные точки извлекаются из изображения с камеры (12a, 12b), и трехмерные положения характерных точек идентифицируются на основании процесса стереосогласования характерных точек и информации параллакса. Затем захват изображения повторяется во время движения транспортного средства, и выполняется процесс сопоставления характерных точек между кадрами (изображениями). В результате может быть вычислена траектория движения транспортного средства. Посредством этих процессов сопоставления блок 29 изучения контрольных точек может указывать трехмерные положения множества характерных точек, выделенных из множества кадров на одной карте (включая карту окружения). В то же время блок 29 изучения контрольных точек может идентифицировать положение транспортного средства на карте и траекторию движения транспортного средства. Следует отметить, что траектория движения транспортного средства, рассчитанная на основании изображений с камеры (12a, 12b), будет называться «визуальной одометрией (VO)».

[0022]

Кроме того, блок 29 изучения контрольных точек запоминает точки (контрольные точки), по которым прошло транспортное средство, на основании данных изображения с камеры (12a, 12b). В частности, блок 29 изучения контрольных точек изучает контрольную точку на основании изображения, снятого, когда транспортное средство прошло точку. Например, блок 29 изучения контрольных точек может изучать контрольную точку на основании положений характерных точек, извлеченных из изображения на изображении, или трехмерных положений характерных точек.

[0023]

Результат изучения блоком 29 изучения контрольных точек, включая карту, данные изображения, связанные с контрольными точками, и информацию о положении на характерных точках, записывается в блоке 27 записи изображения траектории.

[0024]

Блок 30 изучения одометрии транспортного средства вычисляет и изучает траекторию движения транспортного средства на основании сигналов транспортного средства, обнаруженных датчиком 13 транспортного средства. Способ вычисления траектории движения не ограничен конкретным образом, и можно использовать существующий способ. Например, угол рыскания транспортного средства (включая ориентацию и направление движения транспортного средства) может быть рассчитан путем вычисления скорости рыскания по разности углов поворота между правым и левым колесами и интегрирования скорости рыскания. Разумеется, можно использовать датчик скорости рыскания. Кроме того, величина движения транспортного средства может быть вычислена из величины вращения колес транспортного средства. Траектория движения транспортного средства, рассчитанная на основании сигналов транспортного средства, будет называться «одометрией транспортного средства». Результат обучения, включая траекторию движения транспортного средства, записывается в блок 28 записи траектории. Следует отметить, что блок 30 изучения одометрии транспортного средства может изучать траекторию движения, разделенную в контрольных точках, или изучать траекторию транспортного средства, не разделяя ее. В случае разделения траектории способ разделения не ограничен. Траектория может быть разделена с интервалами заданного времени или разделена по ситуациям (например, движение по прямой, поворот, автострада, местная дорога и перекресток).

[0025]

Следует отметить, что блок 29 изучения контрольных точек и блок 30 изучения одометрии транспортного средства способны изучать контрольные точки и траекторию движения (одометрию транспортного средства) во время движения транспортного средства. Контрольные точки и траектория движения (одометрия транспортного средства) могут быть изучены одновременно, или одна из них может быть изучена раньше другой.

[0026]

Таким образом, блок 23 обучения способен одновременно изучать контрольные точки и траекторию движения (одометрию транспортного средства).

[0027]

Блок 31 управления движением (схема управления движением) выполняет управление движением транспортного средства на основании контрольных точек, изученных блоком 23 обучения, и траектории движения между контрольными точками. В частности, блок 31 управления движением проверяет, прошло ли транспортное средство снова контрольную точку, и выполняет управление движением транспортного средства, используя траекторию движения (одометрию транспортного средства), изученную на основании сигналов транспортного средства, в качестве целевой траектории между контрольными точками.

[0028]

Блок 31 управления движением составляет план движения транспортного средства на карте, созданной блоком 29 изучения, на основании инструкции от пользователя. План движения включает в себя начальное местоположение (включая текущее местоположение), местоположение назначения и контрольные точки для прохождения маршрута движения от начального местоположения к местоположению назначения. Блок 31 управления движением выполняет управление движением транспортного средства в соответствии с планом движения.

[0029]

Блок 24 проверки прохождения определяет, прошло ли транспортное средство контрольную точку. В частности, блок 24 проверки прохождения сначала считывает изображение (записанное изображение), снятое, когда транспортное средство прошло контрольную точку, и информацию о положении относительно характерных точек на записанном изображении из блока 27 записи изображения траектории. Затем блок 24 проверки прохождения сопоставляет характерные точки на изображении (целевом изображении), снятом при управлении движением, и характерные точки на записанном изображении. Если успешно сопоставленные характерные точки удовлетворяют заданному условию, можно определить, что положение и ориентация камеры в контрольной точке были воспроизведены при управлении движением. В частности, можно определить, что целевое изображение было получено с тем же положением и ориентацией камеры, что и в тот момент, когда было получено записанное изображение. Затем в этом случае блок 24 проверки прохождения определяет, что транспортное средство прошло контрольную точку.

[0030]

Изучение контрольной точки на основании изображения заключается в изучении положения транспортного средства в связи с характерными точками, извлеченными из окружения транспортного средства. По этой причине отклонение между контрольной точкой на карте, которая является результатом обучения, и соответствующей реальной контрольной точкой значительно мало. Таким образом, высокая степень воспроизводимости позволяет подтвердить прохождение контрольной точки при управлении движением.

[0031]

Следует отметить, что то, соответствуют ли успешно сопоставленные характерные точки заданному условию, можно определить, например, с помощью следующего способа. Во–первых, число характерных точек, извлеченных из записанного изображения, составляет Fs. Среди характерных точек, выделенных из целевого изображения, число характерных точек, которые успешно сопоставленными с характерными точками, извлеченными из записанного изображения, составляет Fn. Например, если смещение положения характерной точки относительно транспортного средства между записанным изображением и целевым изображением меньше заданного значения, то эта характерная точка определяется как успешно сопоставленная. Точность прохождения для изображения (Z) определяется как Z=Fn/Fs. Точность прохождения для изображения указывает на возможность прохождения контрольной точки транспортным средством а. Если достоверность прохождения для изображения ниже 0,8, достоверность прохождения изображения низкая, и поэтому блок 24 проверки прохождения определяет, что успешно сопоставленные характерные точки не соответствуют заданному условию, то есть транспортное средство не прошло контрольную точку. Если достоверность прохождения для изображения составляет 0,8 или выше, блок 24 проверки прохождения определяет, что успешно сопоставленные характерные точки соответствуют заданному условию, то есть транспортное средство прошло контрольную точку.

[0032]

Следует отметить, что блок 24 проверки прохождения может дополнительно проверять степень воспроизведения ориентации транспортного средства в контрольной точке по траектории движения (одометрия транспортного средства) на основании сигналов транспортного средства. Блок 24 проверки прохождения считывает траекторию движения (одометрию транспортного средства) в точке, когда транспортное средство прошло контрольную точку, из блока 28 записи траектории и идентифицирует направление движения транспортного средства в точке, когда транспортное средство прошло контрольную точку (изученное направление движения). Затем блок 24 проверки прохождения сопоставляет направление движения транспортного средства, обнаруженное при управлении движением на основании изображения, и изученное направление движения. Блок 24 проверки прохождения может определять, что транспортное средство прошло контрольную точку, если успешно сопоставленные характерные точки удовлетворяют заданному условию, а также направления движения успешно сопоставлены друг с другом. Например, если разность углов между направлением движения при управлении движением и изученным направлением движения составляет 5° или менее, блок 24 проверки прохождения может определить, что направления движения успешно сопоставлены друг с другом.

[0033]

Кроме того, если величина смещения камеры, вычисленная из сопоставления характерных точек, то есть величина смещения от контрольной точки, является заданным значением (2 м) или больше него, достоверность прохождения для изображения равна нулю (Z=0). В этом случае блок 24 проверки прохождения может определить, что транспортное средство не прошло контрольную точку. В качестве альтернативы, блок 24 проверки прохождения может вычислить расстояние от целевой траектории, заданной блоком 25 задания целевой траектории, до местоположения транспортного средства и определить, что транспортное средство не прошло контрольную точку, если расстояние является заданным значением (2 м) или больше него.

[0034]

Блок 25 задания целевой траектории задаёт траекторию движения (одометрию транспортного средства), полученную с использованием сигналов транспортного средства, в качестве целевой траектории между контрольными точками. В частности, когда блок 24 проверки прохождения подтверждает прохождение первой контрольной точки, блок 25 задания целевой траектории считывает траекторию движения из первой контрольной точки во вторую контрольную точку из блока 28 записи траектории и устанавливает считанную траекторию движения как целевую траекторию до второй контрольной точки (следующей контрольной точки). Вторая контрольная точка – это контрольная точка, которую планируется пройти после первой контрольной точки в плане движения.

[0035]

Блок 25 задания целевой траектории вычисляет величины смещения относительно целевой траектории на основании положения и направления движения транспортного средства в точке, когда блок 24 проверки прохождения подтвердил прохождение первой контрольной точки. Блок 25 задания целевой траектории вычисляет величину смещения положения транспортного средства от первой контрольной точки в точке, когда прохождение первой контрольной точки было подтверждено, и величину смещения направления движения транспортного средства относительно целевой траектории в точке, когда прохождение первой контрольной точки было подтверждено, в качестве величин смещения относительно целевой траектории. Блок 25 задания целевой траектории корректирует целевую траекторию на основании величин смещения. В частности, блок 25 задания целевой траектории корректирует целевую траекторию таким образом, что величины смещения положения транспортного средства и направления движения корректируются. Без корректировки целевой траектории, величины сдвига положения транспортного средства и направления движения в точке, когда прохождение первой контрольной точки было подтверждено, также будут присутствовать во второй контрольной точке. Путем корректировки целевой траектории на основании величины смещения можно побудить транспортное средство двигаться по скорректированной целевой траектории. Следовательно, может быть вызвано движение транспортного средства к следующей контрольной точке (второй контрольной точке). Соответственно, вероятность того, что транспортное средство пройдет следующую контрольную точку (вторую контрольную точку), может быть повышена.

[0036]

Блок 26 управления транспортным средством управляет исполнительным механизмом 14 транспортного средства так, что транспортное средство движется по той же траектории, что и траектория движения между точками, заданными или скорректированными блоком 25 задания целевой траектории. Способ управления не ограничен конкретным способом, и может использоваться существующий способ. Например, блок 26 управления транспортным средством может управлять исполнительным механизмом 14 транспортного средства, используя управление (например, ПИД–управление), которое выдаёт в качестве обратной связи траекторию движения, вычисленную по сигналам транспортного средства при управлении движением.

[0037]

<Способ управления движением>

Далее будет описан пример работы устройства управления движением с обращением к фиг. 2 и 3. Сначала будет описан пример работы блока 23 обучения с обращением к фиг. 2.

[0038]

На этапе S01 блок 21 получения изображения захватывает изображение окружения транспортного средства с помощью камеры (12a, 12b) и получает изображение. Блок 21 получения изображения синхронизирует моменты захвата изображения для камеры (12a, 12b) друг с другом и периодически захватывает изображение с заданной частотой кадров (от 1 до 5 кадров в секунду).

[0039]

Переходя к этапу S03, блок 29 изучения контрольных точек извлекает характерные точки из изображения, снятого камерой (12a, 12b).

[0040]

Переходя к этапу S05, блок 29 изучения контрольных точек идентифицирует трехмерные положения характерных точек на основании процесса стереосогласования характерных точек и информации параллакса на изображении. Затем блок 29 изучения контрольных точек изучает относительное положение транспортного средства относительно характерных точек как точку, которую прошло транспортное средство (контрольная точка). Блок 29 изучения контрольных точек записывает результат обучения, включая данные изображения, связанные с контрольной точкой, и информацию о положении в отношении характерных точек в блоке 27 записи изображения траектории. В этом примере работы нет необходимости выполнения процесса сопоставления характерных точек между кадрами (изображениями). Другими словами, нет необходимости создания карты, указывающей трехмерные положения множества характерных точек, извлеченных из множества кадров.

[0041]

Переходя к этапу S07, блок 30 изучения одометрии транспортного средства вычисляет и изучает траекторию движения транспортного средства на основании сигналов транспортного средства, обнаруженных датчиком 13 транспортного средства. Блок 30 изучения одометрии транспортного средства записывает результат обучения, включая траекторию движения транспортного средства, в блок 28 записи траектории. Следует отметить, что работа не ограничена этим примером, и этапы S01–S05 и этап S07 могут выполняться одновременно или этап S07 может выполняться перед этапами S01–S05.

[0042]

Далее будет описан пример работы блока 31 управления движением с обращением к фиг.3. На этапе S11 блок 24 проверки прохождения считывает изображение (записанное изображение), снятое, когда транспортное средство прошло контрольную точку, и информацию о положении в отношении характерных точек на записанных изображениях из блока 27 записи изображения траектории.

[0043]

Переходя к этапу S13, блок 21 получения изображения захватывает изображение окружения транспортного средства с помощью камеры (12a, 12b) и получает изображение. Блок 21 получения изображения синхронизирует моменты захвата изображения для камеры (12a, 12b) друг с другом и многократно захватывает изображение с заданной частотой кадров (от 1 до 5 кадров в секунду).

[0044]

Переходя к этапу S15, блок 24 проверки прохождения извлекает характерные точки в изображении (целевом изображении), полученном на этапе S13. Переходя к этапу S17, блок 24 проверки прохождения сопоставляет характерные точки, выделенные на этапе S15, и характерные точки в считанном записанном изображении.

[0045]

Переходя к этапу S19, блок 24 проверки прохождения вычисляет направление движения транспортного средства посредством одометрии транспортного средства. Переходя к этапу S21, блок 24 проверки прохождения вычисляет результат сопоставления характерных точек как достоверность прохождения для изображения (Z). Переходя к этапу S23, блок 24 проверки прохождения определяет, составляет ли достоверность прохождения для изображения (Z) 0,8 или выше. Кроме того, блок 24 проверки прохождения сравнивает друг с другом направление движения транспортного средства в точке, когда транспортное средство прошло контрольную точку (изученное направление движения), и направление движения при управлении движением, вычисленное на этапе S19. Блок 24 проверки прохождения определяет, равна ли разность углов между направлением движения при управлении движением и изученным направлением движения 5° или менее.

[0046]

Если достоверность прохождения изображения (Z) составляет 0,8 или выше и разность углов составляет 5° или менее (ДА на этапе S23), блок 24 проверки прохождения определяет, что транспортное средство прошло контрольную точку, и переходит к этапу S25. С другой стороны, если достоверность прохождения изображения (Z) ниже 0,8 или разность углов больше 5° (НЕТ на этапе S23), блок 24 проверки прохождения определяет, что транспортное средство не прошло контрольную точку, и возвращается к этапу S13.

[0047]

На этапе S25 блок 25 задания целевой траектории задаёт траекторию движения (одометрию транспортного средства), изученную на этапе S07, в качестве целевой траектории для следующей контрольной точки из положения транспортного средства в точке, когда прохождение контрольной точки было подтверждено как базовое положение (ДА на этапе S23).

[0048]

Переходя к этапу S27, блок 25 задания целевой траектории вычисляет величины смещения относительно целевой траектории из положения транспортного средства в точке, когда прохождение контрольной точки было подтверждено в качестве базового положения. В частности, блок 25 задания целевой траектории вычисляет величину смещения положения транспортного средства от контрольной точки и величину смещения направления движения транспортного средства относительно целевой траектории. Переходя к этапу S29, блок 25 задания целевой траектории корректирует целевую траекторию, заданную на этапе S25, на основании величин смещения таким образом, что величины смещения положения транспортного средства и направления движения корректируются.

[0049]

Переходя к этапу S31, блок 24 проверки прохождения устанавливает следующую контрольную точку. В частности, блок 24 проверки прохождения считывает изображение (записанное изображение), снятое в точке, когда транспортное средство прошло следующую контрольную точку, и информацию о положении в характерных точках на записанном изображении из блока 27 записи изображения траектории.

[0050]

Переходя к этапу S33, блок 26 управления транспортным средством управляет исполнительным механизмом 14 транспортного средства таким образом, что транспортное средство движется по той же траектории, что и траектория движения, скорректированная на этапе S29. Переходя к этапу S35, блок 31 управления движением определяет, достигло ли транспортное средство места назначения в плане движения, и многократно выполняет этапы S11–S33, пока транспортное средство не достигнет места назначения.

[0051]

<Калибровка>

Далее будет описана калибровка камеры (12а, 12b) относительно ее положения установки и угла установки. Между отдельными камерами (12a, 12b) имеют место отклонения в положении установки и угле установки. Кроме того, положение и угол установки камеры (12а, 12b) могут, возможно, изменяться в зависимости от расстояния или времени в пути. Положение установки или угол установки камеры (12a, 12b) в период, в котором выполняется управление движением транспортного средства (период включения), может, возможно, отличаться от положения установки или угла установки в период, в котором изучались контрольные точки и траектория движения (период выключения).

[0052]

Если положение установки или угол установки камеры (12a, 12b) смещены, может быть правильно вычислена величина движения камеры (12a, 12b), но не может быть правильно вычислена величина движения транспортного средства. Например, даже если скорость транспортного средства одинакова, различие угла установки (угла наклона) камеры (12а, 12b) изменяет скорость перемещения для характерных точек на изображениях. Это приводит к ошибке в величине движения транспортного средства. Кроме того, хотя ориентация транспортного средства, движущегося прямо, может быть правильно вычислена, когда угол установки (угол рыскания) камеры (12a, 12b) является правильным, как показано на фиг. 4A, движение транспортного средства не может быть вычислено правильно. когда угол установки наклонен, как показано на фиг. 4B. Также, как показано на фиг. 4C и 4D, если положение установки камеры (12a, 12b) смещено в направлении вперед–назад транспортного средства, может быть правильно вычислена траектория движения камеры (12a, 12b), но траектория движения транспортного средства не может быть вычислена правильно, когда транспортное средство выполняет поворот.

[0053]

Ввиду этого желательно выполнить калибровку (автоматическую калибровку) камеры (12a, 12b) относительно ее положения установки или угла установки во время движения. Пример процедуры автоматической калибровки будет описан с обращением к фиг. 5.

[0054]

Во–первых, на этапе S51 блок 21 получения изображения захватывает изображения окружения транспортного средства с помощью камеры (12a, 12b) и получает изображения. Переходя к этапу S53, блок 29 изучения контрольных точек идентифицирует трехмерные положения характерных точек на основании процесса стереосогласования по характерным точкам и информации параллакса. Затем блок 29 изучения контрольных точек выполняет процесс сопоставления характерных точек между кадрами (изображениями) для вычисления траектории движения (визуальной одометрии) транспортного средства. Блок 29 изучения контрольных точек вычисляет величину движения камеры (12a, 12b) по визуальной одометрии.

[0055]

Переходя к этапу S55, датчик скорости вращения колеса определяет скорость вращения каждого колеса, а блок 30 изучения одометрии транспортного средства определяет величину вращения каждого колеса путем интегрирования скорости вращения по времени. Переходя к этапу S57, блок 30 изучения одометрии транспортного средства обнаруживает величину поворота транспортного средства (угол рыскания), используя гироскопический датчик. Переходя к этапу S59, блок 30 изучения одометрии транспортного средства вычисляет траекторию движения (одометрию транспортного средства) для транспортного средства на основании величины вращения каждого колеса и величины поворота транспортного средства (угол рыскания).

[0056]

Переходя к этапу S61, контроллер 11 определяет, движется ли транспортное средство в области, в которой может быть выполнена калибровка. В частности, контроллер 11 проверяет, является ли область, в которой движется транспортное средство, областью, в которой может быть получено необходимое количество характерных точек для вычисления визуальной одометрии. Если транспортное средство движется в области, где изменение яркости изображения мало, или в области, где количество света мало, контроллер 11 определяет, что область, в которой движется транспортное средство, не является областью, в которой может быть выполнена калибровка, и прекращает обработку для калибровки.

[0057]

Следует отметить, что визуальная одометрия включает в себя оценку направления движения камеры (12a, 12b) при отслеживании множества характерных точек посредством процесса сопоставления характерных точек между кадрами. По этой причине можно продолжать измерять направление движения, используя множество характерных точек даже в области, где удаленные объекты не видны, области, где характерные точки являются мигающими точками, и области, где транспортное средство не может двигаться прямо, например на извилистой дороге.

[0058]

Если определено, что область, в которой движется транспортное средство, является областью, в которой может быть выполнена калибровка, контроллер 11 переходит к этапу S63, на котором он сравнивает траекторию движения транспортного средства, вычисленную на этапе S53 (первое значение движения: визуальная одометрия) и траекторию движения транспортного средства, вычисленную на этапе S59 (второе значение движения: одометрия транспортного средства) друг с другом, чтобы вычислить разность между траекториями движения в результате сравнения. Переходя к этапу S65, контроллер 11 корректирует выходные значения из камеры (12a, 12b) на основании разности между траекториями движения. Выходные значения из камеры (12a, 12b) включают в себя положения характерных точек на изображении, выводимом из камеры (12a, 12b). В частности, контроллер 11 вычисляет смещения положения установки и угла установки (угол рыскания, угол наклона) камеры (12а, 12b) на основании результата сравнения между визуальной одометрией и одометрией транспортного средства. Затем контроллер 11 корректирует положения характерных точек на изображении таким образом, что эти смещения корректируются. Таким образом, камера (12a, 12b) может быть откалибрована во время движения, и можно точно определить положение установки и угол установки камеры (12a, 12b).

[0059]

Следует отметить, что выходное значение в направлении движения транспортного средства и выходное значение в направлении, перпендикулярном направлению движения, могут быть скорректированы как выходные значения из камеры (12a, 12b). Таким образом, в случае, если имеется ошибка в направлении, параллельном направлению движения транспортного средства, можно точно скорректировать выходное значение в перпендикулярном направлении.

[0060]

Кроме того, выходные значения из камеры (12a, 12b) могут корректироваться, когда транспортное средство движется прямо. Другими словами, обработка может быть проведена далее после подтверждения на этапе S61 по фиг.5, что транспортное средство движется прямо. В частности, камеру (12а, 12b) калибруют по отношению к ее углу установки (углу рыскания), используя тот факт, что «транспортное средство направлено вперед и движется прямо». Когда транспортное средство движется прямо, характерные точки на изображениях демонстрируют постоянное движение. Поэтому возможно стабильно определять характерные точки, не теряя их. Таким образом, использование визуальной одометрии позволяет точно определить, движется ли транспортное средство прямо. Даже когда транспортное средство движется зигзагообразно, может быть извлечена локальная зона, в которой транспортные средства движутся прямо, и в ней может быть выполнена калибровка. Таким образом, время работы системы может быть увеличено.

[0061]

Как описано выше, согласно варианту осуществления могут быть достигнуты следующие полезные эффекты.

[0062]

В устройстве управления движением в соответствии с вариантом осуществления создается карта, сформированная из трехмерных положений объектов вокруг транспортного средства и, в то же время, изучаются точки (контрольные точки) на карте, которые прошло транспортное средство, и траектория движения (одометрия транспортного средства), и управление движением транспортного средства выполняется таким образом, что транспортное средство снова проходит изученные контрольные точки и движется по изученной траектории движения (одометрия транспортного средства).

[0063]

В варианте осуществления траектория движения (одометрия транспортного средства) транспортного средства изучается на основании сигналов транспортного средства, полученных от транспортного средства. Точность величины локального движения, изученной с помощью одометрии транспортного средства, выше точности величины локального движения, изученной с помощью визуальной одометрии. В частности, точность величины локального движения, полученной на основании изображений, на которых расстояние до характерных точек велико, значительно ниже. Для решения этой проблемы контрольные точки изучаются с помощью камеры (12a, 12b), а траектория движения определяется с помощью одометрии транспортного средства. Таким образом можно уменьшить отклонение между траекторией движения (одометрией транспортного средства) между изученными точками и реальной траекторией движения и, таким образом, выполнять точное управление движением в соответствии с реальным окружением.

[0064]

Кроме того, устройство управления движением согласно варианту осуществления создает карту, сформированную из трехмерных положений объектов вокруг транспортного средства, и в то же время изучает точки (контрольные точки) на карте, которые прошло транспортное средство, и траекторию движения (одометрия транспортного средства) между пройденными контрольными точками, и выполняет управление движением транспортного средства таким образом, что транспортное средство снова проходит изученные контрольные точки и движется по изученной траектории движения (одометрия транспортного средства).

[0065]

Таким образом, траектория движения, полученная с помощью одометрии транспортного средства, которая является точной, может использоваться в качестве целевой траектории между контрольными точками, когда выполняется управление движением. Таким образом, транспортное средство не сильно отклоняется от реальной траектории движения, так что не будет выполнено никакое значительное корректирующее управление. Таким образом, может быть вызвано движение транспортного средства по траектории движения с высокой степенью воспроизведения.

[0066]

Изучение точки (контрольной точки) на основании изображения заключается в изучении положения транспортного средства в связи с характерными точками, извлеченными из окружения. По этой причине отклонение между точкой на карте, которая является результатом обучения, и соответствующей действительной точкой в значительной степени мало. Таким образом, отклонение траектории движения между контрольными точками может быть исправлено путем проверки прохождения контрольной точки. Однако чем больше расстояние до характерных точек, тем ниже точность определения величины движения транспортного средства, полученной с помощью визуальной одометрии. Тогда, в случае, если траектория движения изучается посредством визуальной одометрии, отклонение, содержащееся в траектории движения, является большим. Следовательно, в точке (контрольной точке) будет обнаружено большое смещение положения, и после этого будет выполнено значительное корректирующее управление.

[0067]

Как показано на фиг. 6A и 6B, путём задания положений транспортного средства на коротких расстояниях от характерных точек (FP1–FP4) в качестве контрольных точек (CK1–CK4), соответственно, можно точно определять прохождение контрольных точек (CK1–CK4). С другой стороны, траектории движения, полученные с помощью одометрии транспортного средства, которые являются точными, используются в качестве целевых траекторий (TJ1–TJ4) между контрольными точками (CK1–CK4).

[0068]

В соответствии с этим вариантом осуществления траектории движения, полученные с помощью одометрии транспортного средства, которая является точной, могут использоваться в качестве целевых траекторий между контрольными точками. Таким образом, значительное корректирующее рулевое управление не будет выполняться, и может быть вызвано движение транспортного средства по траектории движения с высокой степенью воспроизведения. Поэтому возможно выполнить точное управление движением в соответствии с реальным окружением.

[0069]

Как показано на фиг. 6A, относительные положения контрольных точек (CK1–CK4) относительно характерных точек (FP1–FP4) на карте, изученной с помощью визуальной одометрии, могут быть точно вычислены с помощью визуальной одометрии. Однако относительные положения характерных точек (FP1–FP4) относительно друг друга не являются точными. По этой причине на карте, полученной с помощью визуальной одометрии, траектории цели (от TJ1 до TJ4) между контрольными точками (от CK1 до CK4) являются оторванными друг от друга, как показано на фиг. 6A. Здесь, как показано на фиг.6B, целевые траектории (TJ1–TJ4) между контрольными точками (CK1–CK4) фактически являются непрерывной траекторией, и траектории, по которым транспортное средство однажды двигалось, могут быть точно воспроизведены. Другими словами, можно выполнять управление движением транспортного средства таким образом, чтобы транспортное средство снова проходило изученные контрольные точки (CK1–CK4) и двигалось по изученным траекториям движения (TJ1–TJ4). Напротив, если целевые траектории (не показаны) заданы между контрольными точками (CK1–CK4), чтобы определить одну непрерывную траекторию на карте, показанной на фиг. 6A, транспортное средство будет значительно отклоняться от фактической траектории движения. Следовательно, в одной из контрольных точек (CK1–CK4) будет обнаружено большое смещение положения, и после этого будет выполнено значительное корректирующее управление.

[0070]

Когда контрольные точки изучены, траектория движения транспортного средства между контрольными точками также может быть изучена на основании сигналов транспортного средства, полученных от транспортного средства. Другими словами, можно изучить траектории движения, разделенные в каждой контрольной точке. В качестве альтернативы, могут быть изучены траектории движения, разделенные с заданными интервалами времени или по ситуации (например, движение по прямой, поворот, автострада, местная дорога и перекресток). Это позволяет локально изучать точные траектории движения.

[0071]

При определении того, что транспортное средство прошло контрольную точку, контроллер 11 устанавливает траекторию движения (одометрию транспортного средства) от контрольной точки до следующей контрольной точки в качестве целевой траектории и корректирует целевую траекторию, используя положение и направление движения транспортного средства в точке, когда контроллер 11 определил, что транспортное средство прошло контрольную точку. Если определено, что транспортное средство не прошло контрольную точку, контроллер 11 запрещает коррекцию заданной целевой траектории. Таким образом можно предотвратить коррекцию целевой траектории из положения транспортного средства, которое не является базовым положением.

[0072]

Контроллер 11 вычисляет расстояние между целевой траекторией и положением транспортного средства и определяет, что транспортное средство не прошло контрольную точку, если расстояние является заданным значением или более. Если расстояние от целевой траектории до положения транспортного средства составляет заданное значение или более, достоверность прохождения для изображения (Z), вероятно, будет низкой. Другими словами, транспортное средство, вероятно, не прошло контрольную точку. Таким образом, контроллер 11 определяет, что транспортное средство не прошло контрольную точку, если расстояние от целевой траектории до положения транспортного средства равно заданному значению или более. Таким образом коррекция целевой траектории запрещается. Следовательно, можно предотвратить коррекцию целевой траектории на основании неверной информации (положение транспортного средства, которое не является базовым положением).

[0073]

Содержание настоящего изобретения было описано выше посредством варианта осуществления. Однако специалистам в данной области техники очевидно, что настоящее изобретение не ограничено описанием, но могут быть выполнены различные изменения и модификации.

СПИСОК УСЛОВНЫХ ОБОЗНАЧЕНИЙ

[0074]

12a, 12b - камера

23 - блок обучения (схема обучения)

31 - блок управления движением (схема управления движением)

CK1 – CK4 - Контрольная точка (точка)

FP1 – FP4 – Характерная точка

TJ1 - TJ4 - Целевая траектория

Claims

1. Способ управления движением транспортного средства, включающий в себя изучение точек, через которые двигалось транспортное средство, на основании изображений окружения транспортного средства, снятых камерой, установленной на транспортном средстве, и выполнение управления движением транспортного средства таким образом, чтобы транспортное средство снова проходило изученные точки, причём способ управления движением содержит этапы, на которых:

изучают траекторию движения транспортного средства на основании сигнала транспортного средства, полученного от транспортного средства при изучении точек;

определяют, прошло ли транспортное средство точки, на основании изображений, снятых камерой, при выполнении управления движением;

если транспортное средство прошло какую-либо из упомянутых точек, выполняют управление движением транспортного средства с использованием траектории движения, изученной на основании сигнала транспортного средства, в качестве целевой траектории от какой-либо из упомянутых точек до следующей точки; и

определяют, прошло ли транспортное средство следующую точку, на основании изображений, снятых камерой.

2. Способ управления движением по п.1, в котором траектория движения транспортного средства между точками изучается на основании сигнала транспортного средства, полученного от транспортного средства при изучении точек.

3. Способ управления движением по п.1 или 2, дополнительно содержащий этапы, на которых:

если определено, что транспортное средство прошло какую-либо из точек, задают траекторию движения от какой-либо из точек в следующую точку в качестве целевой траектории;

корректируют целевую траекторию с использованием положения и направления движения транспортного средства в точке, если определено, что транспортное средство прошло какую-либо из точек; и

запрещают коррекцию заданной целевой траектории, если определено, что транспортное средство не прошло какую-либо из точек.

4. Способ управления движением по п.3, дополнительно содержащий этап, на котором вычисляют расстояние от целевой траектории до местоположения транспортного средства,

при этом определяется, что транспортное средство не прошло какую-либо из точек, если расстояние является заданным значением или более.

5. Способ управления движением по п.1 или 2, дополнительно содержащий этапы, на которых:

обнаруживают первое значение движения транспортного средства на основании изображения окружения транспортного средства;

обнаруживают второе значение движения транспортного средства на основании сигнала транспортного средства, выводимого из транспортного средства;

сравнивают первое значение движения и второе значение движения друг с другом; и

корректируют выходные значения с камеры на основании результатов сравнения.

6. Способ управления движением по п.5, в котором выходное значение в направлении движения транспортного средства и выходное значение в направлении, перпендикулярном направлению движения, корректируются как выходные значения из камеры.

7. Способ управления движением по п.5, в котором коррекция выходных значений выполняется, когда транспортное средство движется прямо.

8. Устройство управления движением транспортного средства, содержащее:

схему обучения, которая изучает точки, через которые прошло транспортное средство, на основании изображений окружения транспортного средства, снятых камерой, установленной на транспортном средстве; и

схему управления движением, которая выполняет управление движением транспортного средства таким образом, что транспортное средство снова проходит изученные точки,

причем схема обучения изучает траекторию движения транспортного средства на основании сигнала транспортного средства, полученного от транспортного средства,

схема управления движением

определяет, прошло ли транспортное средство точки, на основании изображений, снятых камерой, и

если транспортное средство прошло какую-либо из точек, выполняет управление движением путём использования траектории движения, изученной на основании сигнала транспортного средства, в качестве целевой траектории от какой-либо из точек до следующей точки, и

определяет, прошло ли транспортное средство следующую точку, на основании изображений, снятых камерой.